CN106933227B - 一种引导智能机器人的方法以及电子设备 - Google Patents
一种引导智能机器人的方法以及电子设备 Download PDFInfo
- Publication number
- CN106933227B CN106933227B CN201710210449.4A CN201710210449A CN106933227B CN 106933227 B CN106933227 B CN 106933227B CN 201710210449 A CN201710210449 A CN 201710210449A CN 106933227 B CN106933227 B CN 106933227B
- Authority
- CN
- China
- Prior art keywords
- scene
- intelligent robot
- input operation
- dimensional model
- display screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000004891 communication Methods 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 14
- 238000010408 sweeping Methods 0.000 description 9
- 244000269722 Thea sinensis Species 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种引导智能机器人的方法以及电子设备中,所述方法包括:通过电子设备的深度摄像头、动作追踪摄像头以及接收器获得一空间场景的参数信息;基于所述参数信息构建与所述空间场景对应的三维模型;通过所述电子设备的第一摄像头实时采集所述空间场景的第一场景的图像并显示在所述电子设备的显示屏上;获得针对所述显示屏输入操作;基于所述三维模型,将所述输入操作转换为行进路径;将所述行进路径发送给智能机器人。本发明技术方案可以根据实时采集的空间场景的第一场景的图像,在电子设备的显示屏上的输入操作,基于所述三维模型,将所述输入操作转换为智能机器人移动的行进路径,可以准确控制智能机器人的移动路线。
Description
技术领域
本发明涉及电子设备技术领域,更具体的说,涉及一种引导智能机器人的方法以及电子设备。
背景技术
扫地机器人是现有智能家居系统中常用的电子设备,可以自动打扫室内环境,为人们的日常生活带来了较大的便利,节省了人们日常打扫室内卫生的时间,能够时刻保持室内环境的清洁。
现有的扫地机器人一般是通过碰撞感应器控制移动方向,当扫地机器人遇到障碍物时,自动后退转动预设角度继续打扫其他位置。因此,现有的扫地机器人在打扫地面时候的运动路线是基于碰撞感应器检测信号的随机方向变动。
通过上述描述可知,现有的扫地机器人的移动路线随机,无法准确控制,打扫房间耗时间较长,效率较低。
发明内容
为了解决上述问题,本发明提供了一种引导智能机器人的方法以及电子设备,可以根据实时采集的空间场景的第一场景的图像,在电子设备的显示屏上的输入操作,以生成智能机器人的行进路径,可以准确控制智能机器人的移动路线。
为了实现上述目的,本发明提供如下技术方案:
一种引导智能机器人的方法,所述方法应用于电子设备,所述方法包括:
通过电子设备的深度摄像头、动作追踪摄像头以及红外发射器以及与所述红外发射器匹配的接收器获得一空间场景的参数信息;
基于所述参数信息构建与所述空间场景对应的三维模型;
通过所述电子设备的第一摄像头实时采集所述空间场景的第一场景的图像并显示在所述电子设备的显示屏上,以还原所述第一场景;
获得针对所述显示屏输入操作;
基于所述三维模型,将所述输入操作转换为行进路径;
将所述行进路径发送给智能机器人。
优选的,在上述方法中,所述方法还包括:
获得与所述智能机器人的连接信息;
基于用于表征所述电子设备与所述智能机器人成功连接的连接信息,在所述显示屏上显示虚拟标识,所述虚拟标识与所述第一摄像头实时采集的所述第一场景的图像融合显示;
其中,所述输入操作为针对所述虚拟标识的移动操作。
优选的,在上述方法中,所述第一场景中包括所述智能机器人;
所述检测针对所述显示屏输入操作包括:
通过所述第一摄像头实时采集所述空间场景的第一场景的图像并显示在所述电子设备的显示屏上,所述图像中包括智能机器人对象;
其中,所述输入操作为在所述显示屏上针对所述智能机器人对象的移动操作。
优选的,在上述方法中,所述三维模型为所述空间场景的三维地图;
所述方法还包括:
将所述三维地图发送给所述智能机器人。
优选的,在上述方法中,所述基于所述三维模型,将所述输入操作转换为行进路径包括:
将所述第一场景与所述三维模型进行匹配;
将所述输入操作转换为与所述三维模型匹配的三维空间的路径信息。
本发明还提供了一种电子设备,所述电子设备包括:处理器;与所述处理器分别连接的通信模块、显示屏、第一摄像头、深度摄像头、动作追踪摄像头、红外发射器以及与所述红外发射器匹配的接收器;
所述深度摄像头、所述动作追踪摄像头、所述红外发射器以及所述接收器用于获得一空间场景的参数信息;
所述第一摄像头用于实时采集所述空间场景的第一场景的图像;
所述显示屏用于显示所述第一场景的图像,以还原所述第一场景;
所述处理器用于基于所述参数信息构建与所述空间场景对应的三维模型,获得针对所述显示屏输入操作,基于所述三维模型,将所述输入操作转换为行进路径,通过所述通信模块将所述行进路径发送给智能机器人。
优选的,在上述电子设备中,所述处理器还用于获得与所述智能机器人的连接信息,基于用于表征所述电子设备与所述智能机器人成功连接的连接信息,驱动所述显示屏显示虚拟标识,使得所述虚拟标识与所述第一摄像头实时采集的所述第一场景的图像融合显示;
其中,所述输入操作为针对所述虚拟标识的移动操作。
优选的,在上述电子设备中,当第一场景状包括所述智能机器人时,所述第一摄像头实时采集所述空间场景的第一场景的图像,并显示在所述显示屏上,所述图像中包括智能机器人对象;
其中,所述处理器基于在所述显示屏上针对所述智能机器人对象的移动操作识别所述输入操作。
优选的,在上述电子设备中,所述三维模型为所述空间场景的三维地图;
所述处理器还用于通过所述通信模块,将所述三维地图发送给所述智能机器人。
优选的,在上述电子设备中,所述处理器基于所述三维模型,将所述输入操作转换为行进路径的方法包括:将所述第一场景与所述三维模型进行匹配;将所述输入操作转换为与所述三维模型匹配的三维空间的路径信息。
通过上述描述可知,本发明技术方案提供的引导智能机器人的方法以及电子设备中,可以根据实时采集的空间场景的第一场景的图像,在电子设备的显示屏上的输入操作,基于所述三维模型,将所述输入操作转换为智能机器人移动的行进路径,可以准确控制智能机器人的移动路线。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种引导智能机器人的方法的流程示意图;
图2为本发明实施例提供的一种空间场景的结构示意图;
图3为本发明实施例提供的一种电子设备的显示屏显示所述第一场景的图像的原理示意图;
图4为本发明实施例提供的一种将所述输入操作转换为行进路径的原理示意图;
图5为本发明实施例提供的另一种引导智能机器人的方法的流程示意图;
图6为本发明实施例提供的另一种电子设备的显示屏显示所述第一场景的图像的原理示意图;
图7为本发明实施例提供的另一种空间场景的结构示意图;
图8为本发明实施例提供的另一种电子设备的显示屏显示所述第一场景的图像的原理示意图;
图9为本发明实施例提供的一种将所述输入操作转换为行进路径的方法的流程示意图;
图10为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了使本发明实施例提供的技术方案更加清楚,下面结合附图对上述方案进行详细描述。
参考图1,图1为本发明实施例提供的一种引导智能机器人的方法的流程示意图,所述方法用于电子设备,所述电子设备包括:处理器、通信模块、显示屏、第一摄像头、深度摄像头、动作追踪摄像头、红外发射器以及与所述红外发射器匹配的接收器。
如图1所示,该方法包括:
步骤S11:通过电子设备的深度摄像头、动作追踪摄像头以及红外发射器以及与所述红外发射器匹配的接收器获得一空间场景的参数信息。
如图2所示,图2为本发明实施例提供的一种空间场景的结构示意图,该空间场景的三维空间中具有多个物体,如图2所示,所述物体包括:电视11、电视柜12、茶几13以及沙发14。所述空间场景中的物体设置可以根据需求设定,不局限于图2所示实施方式。
通过电子设备的深度摄像头、动作追踪摄像头以及红外发射器以及与所述红外发射器匹配的接收器可以获取所述空间场景中各个物体在预设三维直角坐标系O-XYZ中的参数信息,所述参数信息包括:所述空间场景的体积信息、所述物体在所述空间场景中的位置信息以及景深信息。其中,可以设定三维直角坐标系O-XYZ中,X轴与Y轴的XY平面为水平面,Z轴为竖直向上的方向。
对于所述空间场景的体积信息,同样可以通过电子设备的深度摄像头、动作追踪摄像头以及红外发射器以及与所述红外发射器匹配的接收器可以获取,或者,直接将空间场景的已知体积信息输入并存储到所述电子设备。其中,所述空间场景的体积信息包括所述空间的形状以及边线尺寸。如当所述空间场景为立方体的房间,其体积信息包括房间的立方体结构以及立方体的长宽高,如当所述空间场景为圆柱形房间时,其体积信息包括房间的圆柱形结构以及圆柱形的高以及底面圆形的半径。
步骤S12:基于所述参数信息构建与所述空间场景对应的三维模型。
所述三维模型根据所述参数信息构建,通过所述三维模型能够确定所述空间场景中的位置信息。
当获得所述参数信息后,可以基于所述参数信息建立所述空间场景的三维模型,所述三维模型可以为所述空间场景的三维地图,以真实展示所述空间场景及其内部物体的布局。其他实施方式中,所述三维模型可以为基于所述三维地图的虚拟图像,如所述三维模型可以为与所述空间场景具有相同空间体积的虚拟花园图像。如对于图2所示空间场景,电视柜12、茶几13以及沙发14对应位置为具有相同景深的草丛或是野花,在电视11以及四周墙壁位置为篱笆,地面避免上未布置物体的表面为道路。
步骤S13:通过所述电子设备的第一摄像头实时采集所述空间场景的第一场景的图像并显示在所述电子设备的显示屏上,以还原所述第一场景。
如图2所示空间场景中区域A表示第一场景,则通过电子设备的第一摄像头实时采集第一场景的图像,并实时的在其显示屏上显示区域A的图像,以还原所述第一场景。其中,第一摄像头为不同于深度摄像头以及动作追踪摄像头的图像采集装置,第一摄像头可以为普通的光学成像摄像头。电子设备可以设置两个所述第一摄像头,一个作为前置摄像头,设置在显示屏正面的非显示区,另一个作为后置摄像头设置背离所述显示屏的背面。
如图3所示,图3为本发明实施例提供的一种电子设备的显示屏显示所述第一场景的图像的原理示意图,通过所述电子设备的第一摄像头实时采集所述空间场景的第一场景的图像,并通过电子设备的显示屏21实时显示第一场景的图像,以还原所述第一场景。其中,在显示屏中可以显示三维直角坐标系O-XYZ或是不显示三维直角坐标系O-XYZ。
步骤S14:获得针对所述显示屏输入操作。
电子设备中显示屏21为触摸显示面板,以便于感知用户直接针对显示屏21的输入操作。显示屏21可以为液晶触摸显示面板或是OLED触摸显示面板等。
步骤S15:基于所述三维模型,将所述输入操作转换为行进路径。
如4所示,图4为本发明实施例提供的一种将所述输入操作转换为行进路径的原理示意图,用户直接通过显示屏21执行输入操作,输入操作可以为在显示屏21上的滑动操作。在步骤S14中,输入操作为如图4中在显示屏21上预设区域环绕显示图像中茶几一周的滑动轨迹。
在上述步骤S11和步骤S12中,获得了所述空间场景的参数信息,并根据所述参数信息建立了对应的三维模型,此时根据输入操作在显示屏21上的滑动轨迹,可以获取输出操作的滑动轨迹对应在所述三维模型中的轨迹信息,从而将所述轨迹信息转换为所述行进路径。具体的,可以通过显示屏感知不同时刻手指的触摸位置,将所述触摸位置转换为所述三维模型中的位置坐标,将不同时刻手指的触摸位置的位置坐标按照时序连接获得所述行进路径。
如图4所示,可以在所述显示屏21显示的第一场景的图像中显示所述行进路径,所述行进路径如图4中茶几图像四周的箭头所示。其他实施方式中,也可以不显示所述行进路径。
步骤S16:将所述行进路径发送给智能机器人。
可以通过通信模块将所述行进路径发送给所述智能机器人,所述智能机器人根据所述行进路径进行运动。
当所述智能机器人为图2中所示的扫地机器人15时,通过本发明实施例所述方法,可以通过电子设备的显示屏设置行进路径,以精确控制扫地机器人15的移动路线,以精确快速的打扫所述空间场景地面上的垃圾,相对于现有技术中随机运动扫地方式,降低了打扫时间,提高了工作效率。
本发明实施例所述方法还包括:当所述智能机器人按照所述行进路径完成运动以后,向所述电子设备反馈完成指令,所述电子设备获取所述完成指令以后,相应用户输入的休息指令,并将所述休息指令发送给所述智能机器人。所述休息指令用于控制所述智能机器人移动所述空间场景的位置后处于待机状态,以等待所述电子设备发送其他指令。
如图5所示,图5为本发明实施例提供的另一种引导智能机器人的方法的流程示意图,图5所示方法基于图1所示方式,在步骤S13与步骤S14之间,即在所述显示屏上实时显示所述第一场景的图像后,在获得针对所述显示屏输入操作之前,所述方法还包括:
步骤S21:获得与所述智能机器人的连接信息。
所述电子设备与所述智能机器人可以通过该蓝牙信号或是红外信号进行无线通信连接。
步骤S22:基于用于表征所述电子设备与所述智能机器人成功连接的连接信息,在所述显示屏上显示虚拟标识,所述虚拟标识与所述第一摄像头实时采集的所述第一场景的图像融合显示。
当获取到表征所述电子设备与所述智能机器人成功连接的连接信息时,在图3所示第一场景的图像中显示虚拟标识,所述虚拟标识与所述第一摄像头实时采集的所述第一场景的图像融合显示,此时,显示屏21显示的第一场景的图像如图6所示,图6为本发明实施例提供的另一种电子设备的显示屏显示所述第一场景的图像的原理示意图,图6所示实施方式,在第一场景的实时图像中增加了虚拟标识22。
当执行上述步骤S14时,所述输入操作用于拖动所述虚拟标识22,以改变所述虚拟标识22在所述第一场景的图像中的位置信息,此时,所述输入操作为针对所述虚拟标识22的移动操作。通过所述输入操作改变所述虚拟标识22在所述第一场景的图像中的位置,通过获取各个时刻所述虚拟标识22的位置,以便于获得所述输入操作。
所述虚拟标识22的形状结构可以根据需求设定,所述虚拟标识22包括虚拟的动物、虚拟的人物以及虚拟物体等。在图6所示实施方式中,所述虚拟标识22为一朵花,其他实施方式中还可以为一个动态的虚拟动物,通过所述输入操作拖动所述虚拟动物时候,所述虚拟动物在所述第一场景的图像中模拟真实动物的运动姿态按照与所述输入动作对应的轨迹进行运动。可以通过该虚拟动物或是虚拟人物在所述第一场景中的足迹图案在所述显示屏21中展示所述行进路径。
所述虚拟标识22在所述第一场景的图像中的初始位置可以任意显示。当所述虚拟标识22被移动至行进路径的起始端,获取路径识别指令,并执行所述路径识别指令后,开始识别获取所述输入操作。此时,所述输入操作为针对所述虚拟标识22的移动操作。
图2所示空间场景中,智能机器人15位于所述空间场景内,且位于所述第一场景外,即位于区域A之外,因此,当电子设备通过显示屏实施显示第一场景的图像时,图像中未有所述智能机器人15。
可以通过执行所述输入操作,改变所述虚拟标识22在所述三维模型中的位置信息,以获得所述行进路径。此时,电子设备根据所述输入操作,确定所述行进路径在所述三维模型中的起始端的位置信息以及终止端的位置信息。当所述智能机器人15获得所述行进路径后,根据自身当前的位置信息以及所述起始端的位置信息自动导航到所述起始端对应的位置,或是所述电子设备根据所述智能机器人15当前的位置信息以及所述起始端的位置信息对所述智能机器人15进行导航控制,控制所述智能机器人15运动到所述起始端对应的位置。之后,所述智能机器人15根据所述行进路径运动至所述终止位端。
如图7所示,图7为本发明实施例提供的另一种空间场景的结构示意图,图7所示实施方式与图2所示实施方式不同在于,图7中智能机器人15位于区域A内,所述第一场景中包括所述智能机器人15。此时,通过电子设备的显示屏21实时显示所述第一场景的图像时,实时显示的图像如图8所示。
参考图8,图8为本发明实施例提供的另一种电子设备的显示屏显示所述第一场景的图像的原理示意图,通过所述第一摄像头实时采集所述空间场景的第一场景的图像并显示在所述电子设备的显示屏21上,所述图像中包括智能机器人对象151。
对于图8所示第一场景的实时图像,获得所述行进路径时,可以按照上述实施方式,首先通过所述输入操作改变所述虚拟标识22在所述第一场景的图像中的位置,通过获取各个时刻所述虚拟标识22的位置,识别所述输入操作,进而将识别的所述输入操作转换为行进路径,此时,当生成所述行进路径以后,所述智能机器人15再根据所述行进路径运动。
其他实施方式中,对于图8所示第一场景的实时图像,获得所述行进路径时,还可以通过在图8所示图像中直接拖动所述智能机器人对象151,将所述智能机器人对象151移动至预设的行进路径的起始端,与此同时,基于所述智能机器人对象151在所述显示屏21上位置的改变,获得所述智能机器人对象151在所述三维模型中的实时位置,根据所述实时位置控制所述智能机器人15在所述空间场景中实时运动,通过输入操作拖动所述智能机器人对象151,以实时控制所述智能机器人在所述空间场景中的移动路线。也就是说,当通过在所述显示屏21上将所述智能机器人对象151由第一位置拖到第二位置的同时,获得所述智能机器人对象151在所述三维模型中的实时位置,控制所述智能机器人15在所述空间场景中与所述智能机器人对象151同步移动,由所述空间场景对应所述第一位置的地点移动到对应所述第二位置的地点,且所述智能机器人15在所述空间场景中的移动轨迹与所述智能机器人对象151在所述图像中的移动轨迹同步。
当通过输入操作拖动所述智能机器人对象151,以实时控制所述智能机器人在所述空间场景中的移动路线时,所述输入操作为在所述显示屏21上针对所述智能机器人对象151的移动操作。此时,用户可以通过显示屏21实时控制所述智能机器人15在所述空间场景中的移动轨迹。
本发明实施例所述引导智能机器人的方法中,所述三维模型为所述空间场景的三维地图,在形成所述三维地图之后,在将所述输入操作转换为行进路径之前,所述引导智能机器人的方法还包括:将所述三维地图发送给所述智能机器人。
本发明实施例中,所述基于所述三维模型,将所述输入操作转换为行进路径的方法如图9所示,图9为本发明实施例提供的一种将所述输入操作转换为行进路径的方法的流程示意图,该方法包括:
步骤S31:将所述第一场景与所述三维模型进行匹配。
步骤S32:将所述输入操作转换为与所述三维模型匹配的三维空间的路径信息。
通过将所述第一场景与所述三维模型进行匹配,可以确定第一场景的图像中的任意一点在所述三维模型中的位置信息,将不同时刻的位置信息依次连线即可获得所述行进路径。
通过上述描述可知,本发明是实例所述引导智能机器人的方法中,可以根据实时采集的空间场景的第一场景的图像,在电子设备的显示屏上的输入操作,基于所述三维模型,将所述输入操作转换为智能机器人移动的行进路径,可以准确控制智能机器人的移动路线。
基于上述引导智能机器人的方法实施例,本发明另一实施例提供了一种电子设备,所述电子设备可以执行上述引导智能机器人的方法,所述电子设备如图10所示,图10为本发明实施例提供的一种电子设备的结构示意图,该电子设备包括:处理器31;与所述处理器31分别连接的通信模块32、显示屏21、第一摄像头33、深度摄像头34、动作追踪摄像头35、红外发射器36以及与所述红外发射器36匹配的接收器37。
本发明实施例中,所述电子设备可以为手机、平板电脑以及智能穿戴设备等具有显示屏的电子设备。其中,第一摄像头为不同于所述深度摄像头34与所述动作追踪摄像头35的摄像头,可以为普通的光学摄像头。
所述深度摄像头34、所述动作追踪摄像头35、所述红外发射器36以及所述接收器37用于获得一空间场景的参数信息。所述第一摄像头33用于实时采集所述空间场景的第一场景的图像。所述显示屏21用于显示所述第一场景的图像,以还原所述第一场景。所述处理器31用于基于所述参数信息构建与所述空间场景对应的三维模型,获得针对所述显示屏21输入操作,基于所述三维模型,将所述输入操作转换为行进路径,通过所述通信模块32将所述行进路径发送给智能机器人。
所述处理器31还用于获得与所述智能机器人的连接信息,基于用于表征所述电子设备与所述智能机器人成功连接的连接信息,驱动所述显示屏21显示虚拟标识,使得所述虚拟标识与所述第一摄像头33实时采集的所述第一场景的图像融合显示;其中,所述输入操作为针对所述虚拟标识的移动操作。此时,可以通过所述输入操作拖动所述虚拟标识,根据所述虚拟标识在所述第一场景中的位置信息,确定所述行进路径。具体的,可以根据所述虚拟标识在所述第一场景中的位置信息获取其对应在所述三维模型中位置信息,进而根据其对应在所述三维模型中位置信息确定所述行进路径。此时,可以通过输入操作拖动虚拟表示确定行进路径,进而通过所述行进路径控制所述智能机器人在所述空间场景中的移动轨迹。
当第一场景状包括所述智能机器人时,所述第一摄像头33实时采集所述空间场景的第一场景的图像,并显示在所述显示屏21上,所述图像中包括智能机器人对象;其中,所述处理器32基于在所述显示屏21上针对所述智能机器人对象的移动操作识别所述输入操作。此时,可以通过所述输入操作拖动所述显示屏21中显示的智能机器人对象,实时的控制智能机器人的移动轨迹,使得空间场景中的智能机器人的移动与所述显示屏中所述智能机器人对象的移动同步,使得智能机器人跟随所述智能机器人对象移动。
可选的,所述三维模型为所述空间场景的三维地图;所述处理器31还用于通过所述通信模块,将所述三维地图发送给所述智能机器人。这样,所述智能机器人可以基于所述三维地图,响应所述电子设备的指令,按照指定行进路径移动。
本发明实施例所述电子设备中,所述处理器31基于所述三维模型,将所述输入操作转换为行进路径的方法包括:将所述第一场景与所述三维模型进行匹配;将所述输入操作转换为与所述三维模型匹配的三维空间的路径信息。
具体的,所述第一摄像头33可以为后置1600万像素摄像头,所述深度摄像头可以为TOF深度摄像头,再通过一颗红外线发射器和接收器以及一颗动作追踪摄像头实现运动追踪、深度测量、环境感知等功能,进而实现AR功能。通过不同的应用,所述电子设备还可以根据拍摄的实景展示你需要的虚拟场景,如自然、宇宙等景象。
本发明实施例所述电子设备可以根据实时采集的空间场景的第一场景的图像,在显示屏上的输入操作,基于所述三维模型,将所述输入操作转换为智能机器人移动的行进路径,可以准确控制智能机器人的移动路线。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的电子设备而言,由于其与实施例公开的引导智能机器人的方法实施例相对应,所以描述的比较简单,相关之处参见方法实施例对应部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (7)
1.一种引导智能机器人的方法,其特征在于,所述方法应用于电子设备,所述方法包括:
通过电子设备的深度摄像头、动作追踪摄像头以及红外发射器以及与所述红外发射器匹配的接收器获得一空间场景的参数信息;
基于所述参数信息构建与所述空间场景对应的三维模型;
通过所述电子设备的第一摄像头实时采集所述空间场景的第一场景的图像并显示在所述电子设备的显示屏上,以还原所述第一场景;
获得针对所述显示屏输入操作;
基于所述三维模型,将所述输入操作转换为行进路径;
将所述行进路径发送给智能机器人;
其中,所述输入操作为针对虚拟标识的移动操作,通过改变所述虚拟标识在所述三维模型中的位置信息获得所述行进路径;所述智能机器人位于所述空间场景内,且位于所述第一场景外;所述电子设备根据所述输入操作,确定所述行进路径在所述三维模型中的起始端的位置信息以及终止端的位置信息;当所述智能机器人获得所述行进路径后,根据所述智能机器人的当前位置以及所述起始端的位置信息,所述智能机器人自动导航到所述起始端对应的位置,或是所述电子设备将所述智能机器人导航到所述起始端对应的位置。
2.根据权利要求1所述的方法,其特征在于,所述三维模型为所述空间场景的三维地图;
所述方法还包括:
将所述三维地图发送给所述智能机器人。
3.根据权利要求1所述的方法,其特征在于,所述基于所述三维模型,将所述输入操作转换为行进路径包括:
将所述第一场景与所述三维模型进行匹配;
将所述输入操作转换为与所述三维模型匹配的三维空间的路径信息。
4.一种电子设备,其特征在于,包括:处理器;与所述处理器分别连接的通信模块、显示屏、第一摄像头、深度摄像头、动作追踪摄像头、红外发射器以及与所述红外发射器匹配的接收器;
所述深度摄像头、所述动作追踪摄像头、所述红外发射器以及所述接收器用于获得一空间场景的参数信息;
所述第一摄像头用于实时采集所述空间场景的第一场景的图像;
所述显示屏用于显示所述第一场景的图像,以还原所述第一场景;
所述处理器用于基于所述参数信息构建与所述空间场景对应的三维模型,获得针对所述显示屏输入操作,基于所述三维模型,将所述输入操作转换为行进路径,通过所述通信模块将所述行进路径发送给智能机器人;
其中,所述输入操作为针对虚拟标识的移动操作,通过改变所述虚拟标识在所述三维模型中的位置信息获得所述行进路径;所述智能机器人位于所述空间场景内,且位于所述第一场景外;所述电子设备根据所述输入操作,确定所述行进路径在所述三维模型中的起始端的位置信息以及终止端的位置信息;当所述智能机器人获得所述行进路径后,根据所述智能机器人的当前位置以及所述起始端的位置信息,所述智能机器人自动导航到所述起始端对应的位置,或是所述电子设备将所述智能机器人导航到所述起始端对应的位置。
5.根据权利要求4所述的电子设备,其特征在于,所述处理器还用于获得与所述智能机器人的连接信息,基于用于表征所述电子设备与所述智能机器人成功连接的连接信息,驱动所述显示屏显示虚拟标识,使得所述虚拟标识与所述第一摄像头实时采集的所述第一场景的图像融合显示;
其中,所述输入操作为针对所述虚拟标识的移动操作。
6.根据权利要求4所述的电子设备,其特征在于,所述三维模型为所述空间场景的三维地图;
所述处理器还用于通过所述通信模块,将所述三维地图发送给所述智能机器人。
7.根据权利要求4所述的电子设备,其特征在于,所述处理器基于所述三维模型,将所述输入操作转换为行进路径的方法包括:将所述第一场景与所述三维模型进行匹配;将所述输入操作转换为与所述三维模型匹配的三维空间的路径信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710210449.4A CN106933227B (zh) | 2017-03-31 | 2017-03-31 | 一种引导智能机器人的方法以及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710210449.4A CN106933227B (zh) | 2017-03-31 | 2017-03-31 | 一种引导智能机器人的方法以及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106933227A CN106933227A (zh) | 2017-07-07 |
CN106933227B true CN106933227B (zh) | 2020-12-18 |
Family
ID=59425046
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710210449.4A Active CN106933227B (zh) | 2017-03-31 | 2017-03-31 | 一种引导智能机器人的方法以及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106933227B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107745381B (zh) * | 2017-09-29 | 2018-10-12 | 南京昱晟机器人科技有限公司 | 一种机器人及其识别路障的方法 |
CN107632608A (zh) * | 2017-10-09 | 2018-01-26 | 珠海格力电器股份有限公司 | 控制被控电子设备移动的方法、装置及电子设备 |
CN108196456A (zh) * | 2018-01-22 | 2018-06-22 | 青岛海尔空调器有限总公司 | 一种智能家居感控方法、装置及空调 |
CN108646917B (zh) * | 2018-05-09 | 2021-11-09 | 深圳市骇凯特科技有限公司 | 智能设备控制方法及装置、电子设备和介质 |
CN108958689A (zh) * | 2018-07-27 | 2018-12-07 | 广州视源电子科技股份有限公司 | 显示屏状态控制系统、状态控制方法、装置和存储介质 |
WO2021056428A1 (zh) * | 2019-09-27 | 2021-04-01 | 珊口(深圳)智能科技有限公司 | 智能终端、控制系统及与移动机器人的交互方法 |
CN112587378B (zh) * | 2020-12-11 | 2022-06-07 | 中国科学院深圳先进技术研究院 | 基于视觉的外骨骼机器人足迹规划系统、方法及存储介质 |
CN114371632A (zh) * | 2021-12-29 | 2022-04-19 | 达闼机器人有限公司 | 智能设备控制方法、装置、服务器和存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101154110A (zh) * | 2006-09-29 | 2008-04-02 | 三星电子株式会社 | 基于真实空间的图像来控制移动装置的方法、设备和介质 |
JP2009025898A (ja) * | 2007-07-17 | 2009-02-05 | Toyota Motor Corp | 経路計画装置、経路計画方法及び移動体 |
CN101968364A (zh) * | 2009-07-27 | 2011-02-09 | 宏达国际电子股份有限公司 | 导航路径仿真方法、导航装置及计算机程序产品 |
CN101995256A (zh) * | 2009-08-11 | 2011-03-30 | 宏达国际电子股份有限公司 | 行程规划方法、装置及所使用的计算机程序产品 |
EP2287694B1 (en) * | 2009-08-18 | 2013-04-24 | Deere & Company | Distributed visual guidance for a mobile robotic device |
CN104732289A (zh) * | 2015-03-20 | 2015-06-24 | 深圳支付界科技有限公司 | 一种配送路径规划方法及系统 |
CN106020210A (zh) * | 2016-08-05 | 2016-10-12 | 江苏高科物流科技股份有限公司 | 一种基于无线终端的自动导引小车控制方法及系统 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4630146B2 (ja) * | 2005-07-11 | 2011-02-09 | 本田技研工業株式会社 | 位置管理システムおよび位置管理プログラム |
US8392036B2 (en) * | 2009-01-08 | 2013-03-05 | Raytheon Company | Point and go navigation system and method |
TW201305761A (zh) * | 2011-07-21 | 2013-02-01 | Ememe Robot Co Ltd | 自走機器人及其定位方法 |
KR102061511B1 (ko) * | 2013-04-26 | 2020-01-02 | 삼성전자주식회사 | 청소 로봇, 홈 모니터링 장치 및 그 제어 방법 |
CN104460663A (zh) * | 2013-09-23 | 2015-03-25 | 科沃斯机器人科技(苏州)有限公司 | 智能手机控制清扫机器人的方法 |
CN103926927A (zh) * | 2014-05-05 | 2014-07-16 | 重庆大学 | 一种室内移动机器人双目视觉定位与三维建图方法 |
KR102183012B1 (ko) * | 2014-05-28 | 2020-11-25 | 삼성전자주식회사 | 모바일 기기, 청소로봇 및 그 제어방법 |
CN104536445B (zh) * | 2014-12-19 | 2018-07-03 | 深圳先进技术研究院 | 移动导航方法和系统 |
EP3065042B1 (en) * | 2015-02-13 | 2018-11-07 | LG Electronics Inc. | Mobile terminal and method for controlling the same |
-
2017
- 2017-03-31 CN CN201710210449.4A patent/CN106933227B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101154110A (zh) * | 2006-09-29 | 2008-04-02 | 三星电子株式会社 | 基于真实空间的图像来控制移动装置的方法、设备和介质 |
JP2009025898A (ja) * | 2007-07-17 | 2009-02-05 | Toyota Motor Corp | 経路計画装置、経路計画方法及び移動体 |
CN101968364A (zh) * | 2009-07-27 | 2011-02-09 | 宏达国际电子股份有限公司 | 导航路径仿真方法、导航装置及计算机程序产品 |
CN101995256A (zh) * | 2009-08-11 | 2011-03-30 | 宏达国际电子股份有限公司 | 行程规划方法、装置及所使用的计算机程序产品 |
EP2287694B1 (en) * | 2009-08-18 | 2013-04-24 | Deere & Company | Distributed visual guidance for a mobile robotic device |
CN104732289A (zh) * | 2015-03-20 | 2015-06-24 | 深圳支付界科技有限公司 | 一种配送路径规划方法及系统 |
CN106020210A (zh) * | 2016-08-05 | 2016-10-12 | 江苏高科物流科技股份有限公司 | 一种基于无线终端的自动导引小车控制方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN106933227A (zh) | 2017-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106933227B (zh) | 一种引导智能机器人的方法以及电子设备 | |
US10518414B1 (en) | Navigation method, navigation system, movement control system and mobile robot | |
CN109643127B (zh) | 构建地图、定位、导航、控制方法及系统、移动机器人 | |
US20220083058A1 (en) | Systems and methods for initializing a robot to autonomously travel a trained route | |
CN113284240B (zh) | 地图构建方法及装置、电子设备和存储介质 | |
CN111202472B (zh) | 扫地机器人的终端地图构建方法、终端设备及清扫系统 | |
EP3424395B1 (en) | Method and apparatus for performing cleaning operation by cleaning device | |
KR101966127B1 (ko) | 로봇 청소기 시스템 및 그 제어방법 | |
JP5898022B2 (ja) | 自走式機器 | |
JP6348741B2 (ja) | 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法 | |
WO2015039621A1 (zh) | 智能手机控制清扫机器人的方法 | |
KR101753361B1 (ko) | 청소 로봇을 이용한 스마트 청소 시스템 | |
KR20180118219A (ko) | 이동형 원격현전 로봇과의 인터페이싱 | |
CN207115193U (zh) | 一种用于处理任务区域的任务的移动电子设备 | |
CN101504728A (zh) | 一种电子设备的遥控系统及其遥控方法 | |
CN105120251A (zh) | 一种3d场景展示方法及装置 | |
CN105204505A (zh) | 一种基于扫地机器人定位视频采集和制图的系统及方法 | |
CN108803586B (zh) | 一种扫地机器人的工作方法 | |
KR101819589B1 (ko) | 이동형 프로젝션 기술을 이용한 증강현실 시스템 및 그 운영 방법 | |
CN211022482U (zh) | 清洁机器人 | |
CN103092205A (zh) | 一种基于预设运动路径的移动机器人及其控制方法 | |
WO2018228254A1 (zh) | 一种移动电子设备以及该移动电子设备中的方法 | |
US20160112279A1 (en) | Sensor-based Distributed Tangible User Interface | |
KR20150097049A (ko) | 네추럴 ui를 이용한 자율서빙 로봇 시스템 | |
US20210245368A1 (en) | Method for virtual interaction, physical robot, display terminal and system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |