CN108459598B - 一种用于处理任务区域的任务的移动电子设备以及方法 - Google Patents
一种用于处理任务区域的任务的移动电子设备以及方法 Download PDFInfo
- Publication number
- CN108459598B CN108459598B CN201710735143.0A CN201710735143A CN108459598B CN 108459598 B CN108459598 B CN 108459598B CN 201710735143 A CN201710735143 A CN 201710735143A CN 108459598 B CN108459598 B CN 108459598B
- Authority
- CN
- China
- Prior art keywords
- electronic device
- mobile electronic
- module
- picture
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 title claims description 36
- 230000033001 locomotion Effects 0.000 claims abstract description 36
- 230000007613 environmental effect Effects 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 description 11
- 238000004140 cleaning Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000010408 sweeping Methods 0.000 description 4
- 241001122767 Theaceae Species 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008054 signal transmission Effects 0.000 description 3
- 230000006378 damage Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
用于处理任务区域的任务的移动电子设备包括第一无线信号收发器、处理器、定位模块、路径规划模块以及运动模块。第一无线信号收发器可通信地连接至第二移动电子设备,获取来自第二移动电子设备的指令,指令包括所述移动电子设备待处理的目的任务区域的名称;处理器可通信地连接至所述第一无线信号收发器,确定与所述目的任务区域的名称相对应的环境空间;定位模块可通信地连接至处理器,记录移动电子设备的当前所在位置与环境空间之间的距离范围;路径规划模块可通信地连接至处理器,根据任务区域的名称,生成路径规划方案;运动模块可通信地连接至路径规划模块和定位模块,根据路径规划方案和定位模块记录的距离范围,进行任务。
Description
技术领域
本发明涉及电子设备领域。具体而言,本发明涉及智能机器人系统领域。
背景技术
传统的扫地机器人按扫描的地图自主定位和移动或者碰撞反弹变向随机行走,同时清扫地面。因此,传统的扫地机器人因为制图和定位技术不成熟或不精确,在工作过程中无法完全判断地面复杂状况,容易出现失去位置与方向的情况。此外,某些机型由于不具备定位能力,只能通过碰撞反弹的物理原理来变向,甚至会造成家居用品或者机器人自身损坏甚至人身伤害,对用户造成干扰等问题。
发明内容
本发明的实施例提出了一种基于手机终端拍摄图片,并在手机终端对照片或者选定的具体目标区域进行定义命名图片子空间名称,通过APP 或者机器人的麦克收音,机器人通过语音识别将语音指令和命名的区域名称关联,并在由指令所指示的区域完成任务。本发明的实施例通过语音或者App发送指令至机器人,使机器人自动到达定义的图片子空间名称内完成任务,便于机器人的自动清扫。
根据本发明的一方面的实施例,提供了一种用于处理任务区域的任务的移动电子设备,包括第一无线信号收发器、处理器、定位模块、路径规划模块以及运动模块,其中所述第一无线信号收发器可通信地连接至第二移动电子设备,配置为获取来自所述第二移动电子设备的指令,所述指令包括所述移动电子设备待处理的目的任务区域的名称,所述任务区域的名称与所述移动电子设备中的图片库的图片子空间相关联;所述处理器可通信地连接至所述第一无线信号收发器,配置为确定与所述目的任务区域的名称相对应的环境空间;所述定位模块可通信地连接至所述处理器,配置为记录所述移动电子设备的当前所在位置与所述环境空间之间的距离范围;所述路径规划模块可通信地连接至所述处理器,配置为根据所述任务区域的名称,生成路径规划方案;所述运动模块可通信地连接至所述路径规划模块和所述定位模块,配置为根据所述路径规划方案和所述定位模块记录的所述距离范围,进行所述任务。
根据本发明的一方面的实施例,提供了一种在移动电子设备中用于处理任务区域的任务的方法,所述移动电子设备包括第一无线信号收发器、处理器、定位模块、路径规划模块以及运动模块,其中通过可通信地连接至第二移动电子设备的所述第一无线信号收发器,获取来自所述第二移动电子设备的指令,所述指令包括所述移动电子设备待处理的目的任务区域的名称,所述目的任务区域的名称与所述移动电子设备中的图片库中的图片子空间相关联;通过可通信地连接至所述第一无线信号收发器的所述处理器,确定与所述目的任务区域的名称相对应的环境空间;通过可通信地连接至所述处理器的所述定位模块,记录所述移动电子设备的当前所在位置与所述环境空间之间的距离范围;通过可通信地连接至所述处理器的所述路径规划模块,根据所述任务区域的名称,生成路径规划方案;通过可通信地连接至所述路径规划模块和所述定位模块的所述运动模块,根据所述路径规划方案和所述定位模块记录的所述距离范围,进行所述任务。
附图简要说明
本发明的更完整的理解通过参照关联附图描述的详细的说明书所获得,在附图中相似的附图标记指代相似的部分。
图1示出根据本发明的一个实施例的移动电子设备所在系统的示意图。
图2示出根据本发明的一个实施例的方法流程图。
具体实施方式
图1示出根据本发明的一个实施例的移动电子设备所在系统的示意图。
参照图1,移动电子设备100包括但不限于扫地机器人、工业自动化机器人、服务型机器人、排险救灾机器人、水下机器人、空间机器人、无人机等。可以理解,为了与以下的第二移动电子设备140相区别,移动电子设备100也可以称为第一移动电子设备100。
第二移动电子设备140包括但不限于:手机、平板电脑、笔记本电脑、遥控器等。移动电子设备可选地包含操作界面。在一个可选的实施方式中,第二移动电子设备是手机,操作界面是手机APP。
移动电子设备100与充电桩160之间的信号传输方式包括但不限于:蓝牙、WIFI、ZigBee、红外、超声波、超宽带(Ultra-wide Bandwidth, UWB)等,在本实施例中以信号传输方式是WIFI为例进行描述。
任务区域表示移动电子设备100执行任务的场地。例如,当移动电子设备100的任务为清扫地面时,任务区域表示扫地机器人需要清扫的区域。又例如,当移动电子设备100的任务为排险救灾时,任务区域表示该排险救灾机器人需要抢险的区域。任务场所表示包含整个任务区域的场地。
如图1所示,用于处理任务区域的任务的移动电子设备100包括第一无线信号收发器102、处理器104、定位模块106、路径规划模块108以及运动模块110。第一无线信号收发器102可通信地连接至第二移动电子设备140,配置为获取来自第二移动电子设备140的指令,该指令包括指示移动电子设备100待处理的目的任务区域的名称,该目的任务区域的名称与移动电子设备100中的图片库中的图片子空间相关联。
第二移动电子设备140例如可以是手机。第二移动电子设备140包括第二摄像头144、第二处理器146和第二无线信号收发器142。第二移动电子设备140的用户利用第二摄像头144拍摄任务区域的多个图片。第二处理器146可通信地连接至第二摄像头144,根据用户的指令,为所拍摄的多个图片定义至少一个图片子空间。
例如,手机拍摄照片后,第二移动电子设备140的第二无线信号收发器142将照片传输至移动电子设备100,从而在移动电子设备100中形成图片库。例如,该图片库可以存储在移动电子设备100的充电桩180处,或者存储在移动电子设备100的服务器处,或者存储在移动电子设备100 的云端中等。在图片库中,处理器104或第二处理器146根据用户的指示,定义不同类型图片子空间名称。名称例如,处理器104或第二处理器146 定义六个子空间,例如,卧室、客厅、客厅、走廊、书房、整个家,等等。注意,一些图片可以同时属于不同的图片子空间。例如,用户既可以将客厅的图片包含在名称为客厅的图片子空间中,也可以将客厅的图片包含在名称为整个家的图片子空间中。
此外,处理器104,更具体地,处理器104中的图像处理器1040为图片库中的每一个图像建立坐标系,并对任务区内的每一个点赋予相应的坐标值,从而建立环境空间地图。该坐标系例如,可以以充电桩180作为坐标原点。
第二无线信号收发器142可通信地连接至第二处理器146,配置为将至少一个图片子空间中的名称作为待处理的目的任务区域的名称发送至移动电子设备100。
可选地,移动电子设备100的处理器104或第二处理器146还配置为根据用户的指令,对至少一个图片子空间的名称进行进一步的细分。例如,用户也可以将拍摄的图片进行画圈选择,存入图片库或者空间名称中,从而对图片子空间进行进一步的细分。例如,移动电子设备100的处理器 104或第二处理器146可以根据用户的画圈以及文字输入,进一步定义图片名称为卧室床边、客厅茶几、客厅餐桌等,并存储在由处理器104可访问的存储中,例如,充电桩180的存储器中,服务器中,或者云端等。
进一步地,例如,第二移动电子设备140的用户希望移动电子设备 100清扫客厅,因此,第二移动电子设备140的用户向移动电子设备100 发送指令“客厅”。第二移动电子设备140的用户可以采用语音的形式发送指令,也可以利用APP输入文字“客厅”,以表示该指令。
第一无线信号收发器102获取来自第二移动电子设备140的指令,指令中包含移动电子设备100待处理的目的任务区域的名称,例如用户想要清扫的任务区域为客厅,该任务区域的名称“客厅”与移动电子设备 100中的图片库中的图片子空间,也即命名为客厅的图片子空间相关联。
处理器104可通信地连接至第一无线信号收发器102,配置为确定与该目的任务区域的名称相对应的环境空间。环境空间,也即环境空间地图,可以在移动电子设备100首次使用时由移动电子设备100所建立,可以,例如,采用如下几种方式中的任一种:
以下分别描述移动设备100首次使用时建立室内环境地图的多种方式。
方式一:移动电子设备100(例如机器人)包含摄像头,且第二移动电子设备140的用户佩戴定位接收器
移动电子设备100还包括第一摄像头112,其中,第二移动电子设备140还包括第二无线信号收发器142,移动电子设备100被配置为工作在建立地图模式。第一无线信号收发器102和第二无线信号收发器142分别可通信地连接至多个参考无线信号源,配置为根据从多个参考无线信号源获取的信号强度,确定移动电子设备100和第二移动电子设备140的位置。例如,可通过本领域已知的任何方法将从参考无线信号源处接收到的信号转换为距离信息,上述方法包括但不限于:飞行时间算法(Time of Flight,ToF)、到达角度算法(Angleof Arrival,AoA)、到达时间差算法 (Time Difference of Arrival,TDOA)和接收信号强度算法(Received Signal Strengh,RSS)。
运动模块110被配置为根据移动电子设备100和第二移动电子设备 140的位置,跟随第二移动电子设备140的运动。例如,移动电子设备 100包含单目摄像头112,第二移动电子设备140的用户佩戴有无线定位接收器手环,或用户手持装备有无线定位接收器外设的手机。使用单目摄像头112可以降低硬件成本与计算代价,采用单目摄像头实现与采用深度摄像头一样的效果。可以不需要图像深度信息。距离深度信息通过超声波传感器与激光传感器感知。本实施例中,以单目摄像头为例进行说明,本领域技术人员应能理解,也可以采用深度摄像头等作为移动电子设备100 的摄像头。移动电子设备100通过自身的无线定位接收器跟随用户。例如,首次使用,第二移动电子设备140的用户通过手机APP实现与移动电子设备100的交互完成室内建立地图。通过室内放置的固定位置的无线信号发射组作为参考点,例如,UWB,第二移动电子设备140的手机APP和移动电子设备100中的无线信号模块读取对各个信号源的信号强度(RSS),来确定第二移动电子设备140的用户和移动电子设备100在室内的位置。并且,移动电子设备100的运动模块110根据智能充电桩发送的实时位置信息(手机和机器人位置),完成用户跟随。
第一摄像头112被配置为在运动模块110运动时拍摄多个图像,该多个图像包含特征信息和对应的拍摄位置信息。例如,跟随过程中由机器人的单目摄像头完成建图。在跟随的过程中,移动电子设备100利用第一摄像头112,例如单目摄像头,对整个室内布局进行拍摄,并将拍下的含大量特征的图像及其对应的拍摄位置信息以及移动电子设备100跟随路径坐标,经过本地无线通信网络(WIFI、蓝牙、ZigBee等)实时传送至存储器116中。在图1中,存储器116被显示包含在移动电子设备100中。可选地,存储器116也可以包含在智能充电桩180中,也即云端。
图像处理模器104可通信地连接至第一摄像头112,被配置为通过对该多个图像进行拼接,提取该多个图像中的特征信息和拍摄位置点信息,生成图像地图。例如,图像处理模器104根据移动电子设备100的第一摄像头112的高度和内外参数,经由处理器104中的图像处理器1040对第一摄像头112所拍摄的大量图像进行地图拼接创建,特征选择提取(例如SIFT、SURF算法等),特征点位置信息添加,进而生成室内图像地图信息(含大量图像特征点),再将处理后的图像地图信息存储在存储器116 中。相机(摄像头)的内参数指与相机自身特性相关的参数,比如相机的镜头焦距、像素大小等;相机的外参数是在世界坐标系中(充电桩室内实际坐标系)的参数,比如相机的位置、旋转方向、角度等。相机拍摄的照片有自己的相机坐标系,故需要相机内外参数实现坐标系的转换。
方式二:移动电子设备100(机器人)包含摄像头以及可显示相机校正黑白棋盘,第二移动电子设备140的用户无需佩戴定位接收器。
可选地,在另一实施例中,移动电子设备100还包括显示屏118,移动电子设备100被配置为工作在建立地图模式,第二移动电子设备140 包括第二摄像头144,第一无线信号收发器142可通信地连接至多个参考无线信号源,配置为根据从多个参考无线信号源获取的信号强度,确定移动电子设备100的位置。
第一摄像头112被配置为检测第二移动电子设备140的位置。可选地,移动电子设备100还包括超声波传感器及激光传感器,可以检测移动电子设备100与第二移动电子设备140之间的距离。
运动模块110被配置为根据移动电子设备100和第二移动电子设备 140的位置,跟随第二移动电子设备140的运动。例如,首次使用,第二移动电子设备140的用户通过手机APP实现与移动电子设备100的用户交互来完成室内建立地图。通过室内放置的固定位置的无线信号发射组 (UWB等)作为参考点,移动电子设备100中的第一无线信号收发器102 读取对各个信号源的信号强度(RSS),来确定移动电子设备100在室内的位置。通过移动电子设备100的第一摄像头112,例如单目摄像头、超声波传感器及激光传感器114实现对第二移动电子设备100的用户的目标定位与跟随。例如,第二移动电子设备140的用户可以通过手机APP设定跟随距离,从而移动电子设备100根据该跟随距离和实时测量的与第二移动电子设备140之间的角度,调整与第二移动电子设备140之间的距离和角度。跟随过程中移动电子设备100实时发送跟随路径坐标至智能充电桩 180。
此外,移动电子设备100的显示屏118被配置为显示例如黑白色棋盘。处理器104中的图像处理器1040可通信地连接至第二摄像头144,被配置为接收来自第二摄像头144在运动模块110运动时拍摄的多个图像。例如,处理器104中的图像处理器1040可通过第一无线信号收发器102 和第二无线信号收发器142,接收来自第二摄像头144所拍摄的多个图像。其中,多个图像包括移动电子设备100的显示为黑白色棋盘的显示屏118 的图像。处理器104中的图像处理器1040还被配置为通过对多个图像进行拼接,提取多个图像中的特征信息和拍摄位置点信息,生成图像地图。在该方式中第二移动电子设备140的用户无需佩戴定位接收器,故第二移动设备140,例如手机相机的外参数需要通过标定图进行相机标定。标定图片是黑白相间的矩形构成的棋盘图。
例如,移动电子设备100,也即机器人包含第一摄像头112,例如为单目摄像头,及可显示黑白色相机校正棋盘的显示屏118。用户无需佩戴无线定位接收器手环,也无需用户手持装备无线定位接收器外设的手机,移动电子设备100通过视觉跟随用户,第二移动电子设备140的用户使用手机APP拍照完成建图。例如,每到达一个房间,第二移动电子设备140的用户通过手机APP启动房间建图应用,此时的移动电子设备100的液晶显示屏118显示用于校正相机的经典黑白色棋盘。移动电子设备100同时将此时自身的坐标及方向信息发送至定位模块106。此时,第二移动电子设备140的用户使用手机APP拍摄该房间环境,拍摄的照片需要包括移动电子设备100的液晶显示屏中的黑白色棋盘。第二移动电子设备140的用户根据房间布局情况拍摄多张照片(照片均需要拍到机器人液晶屏中的黑白色棋盘),并通过手机APP将拍下的含房间环境及移动电子设备100,例如机器人100的图像经过本地无线通信网络(WIFI、蓝牙、ZigBee等) 传送至存储器116中。根据移动电子设备100,例如机器人当时的位置和方向信息、摄像头112的高度和内外参数,经由处理器104中的图像处理器1040对第二移动电子设备140的用户拍摄的大量图像进行地图拼接创建,特征选择提取,特征点位置信息添加,生成室内图像特征点地图信息,再将处理后的图像地图信息存储在存储器116中。
方式三:移动电子设备100(机器人)不包含摄像头,第二移动电子设备140的用户佩戴定位接收器。
可选地,在另一个实施例中,第二移动电子设备140还包括第二无线信号收发器142和第二摄像头144。第二无线信号收发器142可通信地连接至多个参考无线信号源,配置为根据从多个参考无线信号源获取的信号强度,确定第二移动电子设备140的位置。第二摄像头144被配置为拍摄任务场所的多个图像。处理器104中的图像处理器1040可通信地连接至第二摄像头140,被配置为通过对多个图像进行拼接,提取多个图像中的特征信息和拍摄位置点信息,生成图像地图。
例如,在该实施例中,移动电子设备100,例如机器人不包含单目摄像头且机器人不跟随第二移动电子设备140的用户。第二移动电子设备 140的用户佩戴无线定位接收器手环,或用户手持装备有无线定位接收器外设的手机,使用手机APP完成室内建图。例如,首次使用,第二移动电子设备140的用户通过手机APP或用户佩戴的无线定位接收器手环或手机装备的无线定位接收器外设实现室内建立地图。通过室内放置的固定位置的参考无线信号源(UWB等)作为参考点,第二移动电子设备140中的无线信号收发器142读取对各个参考无线信号源的信号强度(Received Signal Strength,RSS)来确定该第二移动电子设备140的用户在室内的位置。每到达一个房间,第二移动电子设备140的用户通过手机APP启动房间建图程序。第二移动电子设备140的用户使用手机APP拍摄该房间环境,例如,根据房间布局情况可拍摄多张照片。第二移动电子设备140的手机 APP将记录每次拍摄的第二摄像头144的位姿信息以及第二无线信号收发器142记录的第二移动电子设备140,例如手机相对地面的高度信息和其在室内的位置信息,并通过本地无线通信网络(WIFI、蓝牙、ZigBee等)传送至存储器116中。根据第二摄像头144的内外参数信息以及拍摄时的位姿信息、高度信息及位置信息,经由处理器104中的图像处理器对拍摄的大量图像进行地图拼接创建,特征选择提取,特征点位置信息添加,生成室内图像特征点地图信息,再将处理后的图像地图信息存储在存储器 116中。
处理器104中的图像处理器1040可通信地连接至第一无线信号收发器102,配置为提取包含选定区域的照片的特征信息,并通过比较提取的特征信息和存储的包含位置信息的图像地图的特征信息,确定与照片中的选定区域相对应的实际坐标范围。该位置信息指在建立地图过程中,图像地图中图像特征点的定位信息,即实际坐标位置。该位置信息例如包括充电桩180的位置和/或移动电子设备100本身的位置。例如,处理器104中的图像处理器1040可以将充电桩180的位置作为坐标原点。
方式四:用户可以在室内,例如天花板上布置至少一个摄像头,通过该至少一个摄像头采集的包括移动电子设备100在内的多个图片。该至少一个摄像头将图片信息经由移动电子设备100的第一无线信号收发器 102传输至移动电子设备100的图像处理器1040。然后图像处理器1040 识别任务区的图像中的移动电子设备100的特征信息,以及为图像建立坐标系,并对任务区内的每一个点赋予相应的坐标值,从而建立环境空间地图。
方式五:移动电子设备100利用第一摄像头112,例如深度摄像头在移动电子设备100运动的同时所采集的平面图形信息和图形中的物体的距离信息,并将包括平面图形信息和距离信息的多个三维信息发送给图像处理器1040;图像处理器1040可通信地连接至第一无线信号收发器102,配置为处理所接收的多个三维信息;再由可通信地连接至图像处理器 1040的地图模块根据图像处理器1040处理后的多个三维信息,通过绘制三维的任务区的图像,获取任务区的环境空间地图。
移动电子设备100中的处理器104可通信地连接至第一无线信号收发器102,配置为确定与目的任务区域的名称相对应的环境空间。例如,移动电子设备100可以先确定与目的任务区域的名称相对应的图片子空间;然后根据图片子空间,确定与图片子空间对应的环境空间。
例如,移动电子设备100的存储器116中存储了首次使用时建立室内环境地图过程中所建立的环境地图,例如室内图像地图信息,其中包括图像特征点及其位置信息。此外,移动电子设备100的存储器116中还包括图片子空间的名称与表示该子空间的至少一张代表性的图片之间的对应关系。例如,存储器116中可以存储示例客厅的代表性的图片,且该照片被命名为客厅。以下以客厅的代表性的图片为例进行说明。本领域技术人员可以理解,该实施例也适用于其他类型的房间。
处理器104首先通过语音识别等技术,确定与接收到的指令“客厅”所对应的图片子空间,例如代表性的图片。例如,处理器104检索保存在移动电子设备100中的图片库的名称,找到命名为“客厅”的代表性图片。
处理器104中包括图像处理器1040,然后,该图像处理器1040提取例如,该客厅的代表性图片中的特征信息和位置信息,并进一步利用图像特征点匹配算法(如SIFT,SURF等)与存储器116中的室内环境地图(含位置信息)进行快速比对分析。图像特征点可以采用基于尺度不变特征变换(Scale Invariant Feature Transform,SIFT)算法或加速稳健特征(Speeded Up Robust Features,SURF)算法识别上述特征。采用SIFT算法,需要在存储器116中存储参考图像。图像处理器1040首先识别存储在存储器110 中的参考图像的对象的关键点,提取SIFT特征,然后通过比较存储器110中的各个关键点SIFT特征与新采集的图像的SIFT特征,再基于K最邻近算法(K-Nearest Neighbor KNN)的匹配特征,来识别新图像中的对象。SURF算法是基于近似的2D哈尔小波(Haar wavelet)响应,并利用积分图像(integral images)进行图像卷积,使用了基于Hessian矩阵的测度去构造检测子(Hessianmatrix-based measure for the detector),并使用了基于分布的描述子(adistribution-based descriptor)。
可选地或者附加地,确定与客厅的代表性的图片相对应的室内实际区域的坐标范围可以通过坐标映射转换确定任务区域的实际坐标范围。移动电子设备100中存储的客厅的代表性的图片中的特征点将与图像地图中的图像特征点匹配,即可确定移动电子设备100中的图像中的特征点的实际坐标位置。同时,匹配后可以计算出客厅的代表性的图片所在的相机坐标系相对充电桩所在的实际世界坐标系的坐标系转换关系。例如,在移动电子设备100的存储器中存储的图片库中的客厅的代表性的图片中包含了沙发、茶几和电视柜等特征点和这些家具各自的坐标范围。此外,移动电子设备100的存储器中存储的环境地图中也包括客厅中的沙发、茶几和电视柜。图像处理器1040将图片库中的客厅的图片和环境地图进行比对,提取特征信息,并且比较各自的坐标值,进行坐标变化,从而得出需要进行清扫的客厅的实际的世界坐标范围。
定位模块106可通信地连接至处理器104,配置为记录移动电子设备100的当前所在位置和环境空间,例如与客厅之间的距离范围。例如,定位模块106将充电桩180所在处设为坐标原点,图像中的每一个点对应一个坐标值(X,Y)。定位模块106和编码器使得移动电子设备100知道自己目前的位置。定位模块106是计算移动电子设备100在室内位置的模块。移动电子设备100在工作时需要时刻知道自己的室内位置,都通过定位模块106来实现。
路径规划模块108可通信地连接至处理器104,配置为根据任务区域的名称,生成路径规划方案。可选地,路径规划模块108还用于采用基于网格的生成树路径规划算法,对选定区域进行路径规划。例如,路径规划模块108采用基于网格的生成树路径规划算法(Grid-based Spanning Tree Path Planning)实现对选定目标清扫区域的清扫路径规划。该方法将对应坐标区域采用网格化处理,对网格建立树节点并生成树,然后使用包围生成树的哈密尔顿回路(Hamiltonian path)作为清扫该区域的优化清扫路径。
此外,初始时,移动电子设备100位于智能充电桩180处。对于移动电子设备100如何从智能充电桩180到达选定区域的坐标范围区域,路径规划模块108将读取首次使用时移动电子设备100跟随到达该区域的路径(如果移动电子设备100采用跟随模式),或者采用第二移动电子设备 140的用户建图过程中的行走路径作为到达该区域的路径(如果首次使用时,移动电子设备100不跟随用户的情况),并将该路径与选定区域优化清扫路径合成清扫任务路径。该合成可以将两段路径做简单顺序连接,第一段路径实现到达目标清扫区域,第二段路径实现对圈定清扫区域的优化覆盖,完成清洁任务。
然后,上述任务被发送至移动电子设备100自动执行。例如,运动模块110可通信地连接至路径规划模块108,配置为根据路径规划方案,进行运动。
可选地,移动电子设备100还包括第一摄像头112和存储器116,用于在进行任务的同时拍摄目的任务区域的图片。第一无线信号收发器102 进一步可通信地连接至所述第一摄像头112,用于获取第一摄像头112拍摄的任务区域的图片,并将图片存储在所述存储器116中,并与图片子空间相对应。例如,移动电子设备100的第一摄像头112在拍摄了客厅的图像后,存储在存储器116中,例如,可以存储在名称为客厅的图片子空间之中。又例如,移动电子设备100在进行卧室清扫时,拍摄卧室的照片并将现在卧室的布局存入卧室子空间名称中,从而通过自学习的方式将图片添加到移动电子设备100的对应的图片库中。
可选地或者附加地,移动电子设备100,例如,机器人100还包括编码器和惯性测量模块(IMU),以辅助第一摄像头112获取移动电子设备100,例如机器人的位置和姿态。例如当机器人被遮蔽,不在第一摄像头112的视线中时,编码器和IMU都还能提供机器人的位置和姿态。例如,编码器可以作为里程计,通过记录机器人轮子的转动信息,来计算机器人走过的轨迹。
可选地或者附加地,移动电子设备100还可包含传感器114,传感器114将移动电子设备100周围的障碍物信息发送至运动模块110。运动模110还配置为调整移动电子设备100的运动方位以避开障碍物。可以理解,因为安装的高度不同,安装在移动电子设备100上的第一摄像头 112与安装在移动电子设备100上的传感器114的高度不同,因此第一摄像头112所拍摄的障碍物信息与传感器所拍摄的障碍物可能不同,因为可能存在遮蔽。第一摄像头112可以通过旋转,俯仰等方式改变视觉方向,以获取更广的视觉范围。此外,传感器114可以安装在比较低的水平位置,而这个位置有可能是第一摄像头112的盲区,物体不出现在第一摄像头112的视角中,那么就得依靠这些传统传感器112来避障。可选地,摄像头112可以获取障碍物信息,并结合超声和激光传感器 114的信息。单目摄像头112获得的图像做物体识别,超声和激光传感器114测距。
可选地或者可替代地,传感器114包括超声波传感器和/或激光传感器。第一摄像头112和传感器114可以相互辅助。例如,如有遮蔽时,在被遮蔽的局部,移动电子设备100需要靠自身的激光传感器、超声波传感器114等来进行避障。
例如,移动电子设备100搭载的激光传感器、超声波传感器对移动电子设备100周围静态、动态环境进行检测,辅助避开静态、动态障碍物以及调整最优路径。
图2示出了根据本发明的一个实施例的在移动电子设备中的方法 200的流程图。在移动电子设备中用于处理任务区域的任务的方法200。
图2示出了在移动电子设备中用于处理任务区域的任务的方法200。移动电子设备包括第一无线信号收发器、处理器、定位模块、路径规划模块以及运动模块,其中,方法200包括,在块210中,通过可通信地连接至第二移动电子设备的所述第一无线信号收发器,获取来自所述第二移动电子设备的指令,所述指令包括所述移动电子设备待处理的目的任务区域的名称,所述目的任务区域的名称与移动电子设备中的图片库中的图片子空间相关联;在块220中,通过可通信地连接至所述第一无线信号收发器的所述处理器,确定与所述目的任务区域的名称相对应的环境空间;在块 230中,通过可通信地连接至所述处理器的所述定位模块,记录所述移动电子设备的当前所在位置与所述环境空间之间的距离范围;在块240中,通过可通信地连接至所述处理器的所述路径规划模块,根据所述任务区域的名称,生成路径规划方案;在块250中,通过可通信地连接至所述路径规划模块和所述定位模块的所述运动模块,根据所述路径规划方案和所述定位模块记录的所述距离范围,进行所述任务。
可选地或者可替代地,方法200还包括确定与所述目的任务区域的名称相对应的图片子空间;根据所述图片子空间,确定与所述图片子空间对应的所述环境空间。
可选地或者可替代地,其中,所述移动电子设备还包括摄像头和存储器,方法200还包括在进行所述任务的同时拍摄所述目的任务区域的图片;通过可通信地连接至所述摄像头的所述第一无线信号收发器;获取所述摄像头拍摄的任务区域的图片,将所述图片存储在所述存储器中,以及与所述图片子空间相对应。
可选地或者可替代地,其中,移动电子设备还包括可通信地连接至所述处理器的编码器和惯性测量模块,方法200还包括通过所述编码器和所述惯性测量模块,辅助所述摄像头获取所述移动电子设备的位置和姿态。
可选地或者可替代地,其中,移动电子设备还包括充电桩,其中所述充电桩包括所述处理器、所述路径规划模块和所述定位模块。
可选地或者可替代地,其中,移动电子设备还可包含传感器,方法 200还包括通过所述传感器,将所述移动电子设备周围的障碍物信息发送至所述运动模块,通过所述运动模块,调整所述移动电子设备的运动方位以避开所述障碍物。
可选地或者可替代地,其中传感器包括超声波传感器和/或激光传感器。
在前面的描述中,已经参考具体示例性实施例描述了本发明;然而,应当理解,在不脱离本文所阐述的本发明的范围的情况下,可以进行各种修改和变化。说明书和附图应以示例性的方式来看待,而不是限制性的,并且所有这些修改旨在被包括在本发明的范围内。因此,本发明的范围应由本文的一般实施例及其合法等效物、而不是仅由上述具体实施例来确定。例如,任何方法或过程实施例中的步骤可以任何顺序执行,并且不限于在具体实施例中呈现的明确顺序。另外,在任何装置实施例中的部件和/或元件可以各种排列组装或以其他方式操作地配置,以产生与本发明基本相同的结果,因此不限于具体实施例中的具体配置。
以上已经关于具体实施例描述了益处、其他优点和问题的解决方案;然而,任何益处、优点或问题的解决方案,或可引起任何特定益处、优点或方案发生或变得更明显的任何元件不应被解释为关键的、必需的或基本的特征或部件。
如本文所使用的,术语“包括”、“包含”或其任何变型旨在引用非排他性的包含,使得包括元件列表的过程、方法、物品、组合物或装置不仅包括所述的那些元件,而且也可以包括未明确列出的或固有的主要的过程、方法、物品、组合物或装置。除了未具体叙述的那些之外,在本发明的实践中使用的上述结构、布局、应用、比例、元件、材料或部件的其它组合和/或修改可以被改变,或者以其他方式特别适用于特定的环境、制造规格、设计参数或其他操作要求,而不脱离其大体原则。
虽然本文已经参考某些优选实施例描述了本发明,但是本领域技术人员将容易理解,在不脱离本发明的精神和范围的情况下,其他应用可以替代本文所阐述的那些。因此,本发明仅由下述权利要求书限定。
Claims (2)
1.一种用于处理任务区域的任务的移动电子设备,包括第一无线信号收发器、处理器、定位模块、路径规划模块以及运动模块,其中:
所述第一无线信号收发器可通信地连接至第二移动电子设备,配置为获取来自所述第二移动电子设备的指令,所述指令包括所述移动电子设备待处理的目的任务区域的名称,所述目的任务区域的名称与所述移动电子设备中的图片库中的图片子空间相关联;
所述处理器可通信地连接至所述第一无线信号收发器,配置为确定与所述目的任务区域的名称相对应的环境空间;
所述定位模块可通信地连接至所述处理器,配置为记录所述移动电子设备的当前所在位置与所述环境空间之间的距离范围;
所述路径规划模块可通信地连接至所述处理器,配置为根据所述任务区域的名称,生成路径规划方案;
所述运动模块可通信地连接至所述路径规划模块和所述定位模块,配置为根据所述路径规划方案和所述定位模块记录的所述距离范围,进行所述任务;
所述处理器还配置为:
确定与所述目的任务区域的名称相对应的图片子空间;
根据所述图片子空间,确定与所述图片子空间对应的所述环境空间;
所述移动电子设备还包括摄像头和存储器,用于在进行所述任务的同时拍摄所述目的任务区域的图片;
所述第一无线信号收发器进一步可通信地连接至所述摄像头,用于获取所述摄像头拍摄的任务区域的图片,并将所述图片存储在所述存储器中,并与所述图片子空间相对应;
所述移动电子设备还包括可通信地连接至所述处理器的编码器和惯性测量模块,配置为辅助所述摄像头获取所述移动电子设备的位置和姿态;
所述移动电子设备还包括充电桩,其中所述充电桩包括所述处理器、所述路径规划模块和所述定位模块;
所述移动电子设备还可包含传感器,所述传感器将所述移动电子设备周围的障碍物信息发送至所述运动模块,所述运动模块还配置为调整所述
移动电子设备的运动方位以避开所述障碍物;
其中所述传感器包括超声波传感器和/或激光传感器。
2.一种用于处理任务区域的任务的方法,所述方法在移动电子设备中,所述移动电子设备包括第一无线信号收发器、处理器、定位模块、路径规划模块以及运动模块,其中:
通过可通信地连接至第二移动电子设备的所述第一无线信号收发器,获取来自所述第二移动电子设备的指令,所述指令包括所述移动电子设备待处理的目的任务区域的名称,所述目的任务区域的名称与所述移动电子设备中的图片库中的图片子空间相关联;
通过可通信地连接至所述第一无线信号收发器的所述处理器,确定与所述目的任务区域的名称相对应的环境空间;
通过可通信地连接至所述处理器的所述定位模块,记录所述移动电子设备的当前所在位置与所述环境空间之间的距离范围;
通过可通信地连接至所述处理器的所述路径规划模块,根据所述任务区域的名称,生成路径规划方案;
通过可通信地连接至所述路径规划模块和所述定位模块的所述运动模块,根据所述路径规划方案和所述定位模块记录的所述距离范围,进行所述任务;
所述方法还包括:
确定与所述目的任务区域的名称相对应的图片子空间;
根据所述图片子空间,确定与所述图片子空间对应的所述环境空间;
所述移动电子设备还包括摄像头和存储器,所述方法还包括:
在进行所述任务的同时拍摄所述目的任务区域的图片;
通过可通信地连接至所述摄像头的所述第一无线信号收发器,
获取所述摄像头拍摄的任务区域的图片,
将所述图片存储在所述存储器中,以及
与所述图片子空间相对应;
所述移动电子设备还包括可通信地连接至所述处理器的编码器和惯性测量模块,所述方法还包括:通过所述编码器和所述惯性测量模块,辅助所述摄像头获取所述移动电子设备的位置和姿态;
所述移动电子设备还包括充电桩,其中所述充电桩包括所述处理器、所述路径规划模块和所述定位模块;
所述移动电子设备还可包含传感器,所述方法还包括
通过所述传感器,将所述移动电子设备周围的障碍物信息发送至所述运动模块,
通过所述运动模块,调整所述移动电子设备的运动方位以避开所述障碍物;
其中所述传感器包括超声波传感器和/或激光传感器。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710735143.0A CN108459598B (zh) | 2017-08-24 | 2017-08-24 | 一种用于处理任务区域的任务的移动电子设备以及方法 |
PCT/CN2018/090585 WO2019037517A1 (zh) | 2017-08-24 | 2018-06-11 | 一种用于处理任务区域的任务的移动电子设备以及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710735143.0A CN108459598B (zh) | 2017-08-24 | 2017-08-24 | 一种用于处理任务区域的任务的移动电子设备以及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108459598A CN108459598A (zh) | 2018-08-28 |
CN108459598B true CN108459598B (zh) | 2024-02-20 |
Family
ID=63220307
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710735143.0A Active CN108459598B (zh) | 2017-08-24 | 2017-08-24 | 一种用于处理任务区域的任务的移动电子设备以及方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN108459598B (zh) |
WO (1) | WO2019037517A1 (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102866706A (zh) * | 2012-09-13 | 2013-01-09 | 深圳市银星智能科技股份有限公司 | 一种采用智能手机导航的清扫机器人及其导航清扫方法 |
CN103439973A (zh) * | 2013-08-12 | 2013-12-11 | 桂林电子科技大学 | 自建地图家用清洁机器人及清洁方法 |
CN103884330A (zh) * | 2012-12-21 | 2014-06-25 | 联想(北京)有限公司 | 信息处理方法、可移动电子设备、引导设备和服务器 |
CN105115498A (zh) * | 2015-09-30 | 2015-12-02 | 长沙开山斧智能科技有限公司 | 一种机器人定位导航系统及其导航方法 |
CN105352508A (zh) * | 2015-10-22 | 2016-02-24 | 深圳创想未来机器人有限公司 | 机器人定位导航方法及装置 |
CN105629970A (zh) * | 2014-11-03 | 2016-06-01 | 贵州亿丰升华科技机器人有限公司 | 一种基于超声波的机器人定位避障方法 |
CN106292697A (zh) * | 2016-07-26 | 2017-01-04 | 北京工业大学 | 一种移动设备的室内路径规划与导航方法 |
CN106371446A (zh) * | 2016-12-03 | 2017-02-01 | 河池学院 | 一种室内机器人导航定位系统 |
CN106774315A (zh) * | 2016-12-12 | 2017-05-31 | 深圳市智美达科技股份有限公司 | 机器人自主导航方法和装置 |
CN207067803U (zh) * | 2017-08-24 | 2018-03-02 | 炬大科技有限公司 | 一种用于处理任务区域的任务的移动电子设备 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007317112A (ja) * | 2006-05-29 | 2007-12-06 | Funai Electric Co Ltd | 自走式装置及び自走式掃除機 |
CN105259898B (zh) * | 2015-10-13 | 2017-11-28 | 江苏拓新天机器人科技有限公司 | 一种智能手机控制的扫地机器人 |
CN106444502B (zh) * | 2016-09-28 | 2019-09-20 | 捷开通讯(深圳)有限公司 | 一种智能家具系统及其控制方法 |
CN106725119A (zh) * | 2016-12-02 | 2017-05-31 | 西安丰登农业科技有限公司 | 一种基于三维模型定位的扫地机器人导航系统 |
CN106709937A (zh) * | 2016-12-21 | 2017-05-24 | 四川以太原力科技有限公司 | 一种扫地机器人的控制方法 |
CN106647766A (zh) * | 2017-01-13 | 2017-05-10 | 广东工业大学 | 一种基于复杂环境的uwb‑视觉交互的机器人巡航方法及系统 |
-
2017
- 2017-08-24 CN CN201710735143.0A patent/CN108459598B/zh active Active
-
2018
- 2018-06-11 WO PCT/CN2018/090585 patent/WO2019037517A1/zh active Application Filing
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102866706A (zh) * | 2012-09-13 | 2013-01-09 | 深圳市银星智能科技股份有限公司 | 一种采用智能手机导航的清扫机器人及其导航清扫方法 |
CN103884330A (zh) * | 2012-12-21 | 2014-06-25 | 联想(北京)有限公司 | 信息处理方法、可移动电子设备、引导设备和服务器 |
CN103439973A (zh) * | 2013-08-12 | 2013-12-11 | 桂林电子科技大学 | 自建地图家用清洁机器人及清洁方法 |
CN105629970A (zh) * | 2014-11-03 | 2016-06-01 | 贵州亿丰升华科技机器人有限公司 | 一种基于超声波的机器人定位避障方法 |
CN105115498A (zh) * | 2015-09-30 | 2015-12-02 | 长沙开山斧智能科技有限公司 | 一种机器人定位导航系统及其导航方法 |
CN105352508A (zh) * | 2015-10-22 | 2016-02-24 | 深圳创想未来机器人有限公司 | 机器人定位导航方法及装置 |
CN106292697A (zh) * | 2016-07-26 | 2017-01-04 | 北京工业大学 | 一种移动设备的室内路径规划与导航方法 |
CN106371446A (zh) * | 2016-12-03 | 2017-02-01 | 河池学院 | 一种室内机器人导航定位系统 |
CN106774315A (zh) * | 2016-12-12 | 2017-05-31 | 深圳市智美达科技股份有限公司 | 机器人自主导航方法和装置 |
CN207067803U (zh) * | 2017-08-24 | 2018-03-02 | 炬大科技有限公司 | 一种用于处理任务区域的任务的移动电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN108459598A (zh) | 2018-08-28 |
WO2019037517A1 (zh) | 2019-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108459597B (zh) | 一种用于处理任务区域的任务的移动电子设备以及方法 | |
US9710919B2 (en) | Image-based surface tracking | |
CN106871878B (zh) | 手持测距装置及利用其创建空间模型的方法、存储介质 | |
US8446492B2 (en) | Image capturing device, method of searching for occlusion region, and program | |
JP7236565B2 (ja) | 位置姿勢決定方法、装置、電子機器、記憶媒体及びコンピュータプログラム | |
CN207115193U (zh) | 一种用于处理任务区域的任务的移动电子设备 | |
KR101775591B1 (ko) | 데이터베이스 생성의 목적을 위한 대화식 및 자동 3-d 오브젝트 스캐닝 방법 | |
US9646384B2 (en) | 3D feature descriptors with camera pose information | |
US10341647B2 (en) | Method for calibrating a camera and calibration system | |
EP2993894B1 (en) | Image capturing method and electronic apparatus | |
WO2018140107A1 (en) | System for 3d image filtering | |
CN207488823U (zh) | 一种移动电子设备 | |
WO2019001237A1 (zh) | 一种移动电子设备以及该移动电子设备中的方法 | |
CN207067803U (zh) | 一种用于处理任务区域的任务的移动电子设备 | |
US10949579B2 (en) | Method and apparatus for enhanced position and orientation determination | |
JPWO2018078863A1 (ja) | ドローン制御システム、方法及びプログラム | |
JP2016085602A (ja) | センサ情報統合方法、及びその装置 | |
CN110119189B (zh) | Slam系统的初始化、ar控制方法、装置和系统 | |
JP4880925B2 (ja) | 設定装置 | |
WO2018228258A1 (zh) | 一种移动电子设备以及该移动电子设备中的方法 | |
JP4754283B2 (ja) | 監視システム及び設定装置 | |
CN108459598B (zh) | 一种用于处理任务区域的任务的移动电子设备以及方法 | |
CN115830280A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
US20230177781A1 (en) | Information processing apparatus, information processing method, and information processing program | |
CN109309709B (zh) | 一种可远端控制无人装置的控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |