CN207488823U - 一种移动电子设备 - Google Patents

Abstract

移动电子设备包括深度摄像头、无线信号收发器、图像处理器、地图模块、定位模块以及运动模块，无线信号收发器获取由深度摄像头在移动电子设备运动的同时所采集的平面图形信息和图形中的物体的距离信息，包括平面图形信息和距离信息的多个三维信息发送给图像处理器；图像处理器处理接收的多个三维信息；地图模块根据图像处理器处理后的多个三维信息，通过绘制三维的任务区的图像，获取任务区地图；定位模块记录移动电子设备的当前所在位置与任务区地图中的坐标原点之间的距离；运动模块根据任务区地图，规划路径，根据路径进行运动。本实用新型的有益效果是：进行室内地图绘制，实现最优路径规划和更精确的定位，可以提高机器人的工作效率。

Description

一种移动电子设备

技术领域

本实用新型涉及电子设备领域。具体而言，本实用新型涉及智能机器人系统领域。

背景技术

传统的扫地机器人按扫描的地图自主定位和移动或者碰撞反弹变向随机行走，同时清扫地面。因此，传统的扫地机器人因为制图和定位技术不成熟或不精确，在工作过程中无法完全判断地面复杂状况，容易出现失去位置与方向的情况。此外，某些机型由于不具备定位能力，只能通过碰撞反弹的物理原理来变向，甚至会造成家居用品或者机器人自身损坏甚至人身伤害，对用户造成干扰等问题。

实用新型内容

本实用新型的实施例所述的移动电子设备系统，例如机器人系统利用深度摄像头，例如RGB-D摄像头，进行室内地图绘制，实现最优路径规划和更精确的定位，解决传统的扫地机器人制图和定位不精确的问题。实施例中所述的机器人系统具有准确的定位和地图绘制，可以提高机器人的工作效率，同时减轻用户的工作负荷。

本实用新型的一个实施例公开了一种移动电子设备，包括至少一个深度摄像头、无线信号收发器、图像处理器、地图模块、定位模块以及运动模块，其中：所述无线信号收发器可通信地连接到所述至少一个深度摄像头，配置为获取由所述至少一个深度摄像头在所述移动电子设备运动的同时所采集的平面图形信息和所述图形中的物体的距离信息，并将包括所述平面图形信息和所述距离信息的多个三维信息发送给图像处理器；所述图像处理器可通信地连接至所述无线信号收发器，配置为处理所接收的多个三维信息；所述地图模块可通信地连接至所述图像处理器，配置为根据所述图像处理器处理后的多个三维信息，通过绘制三维的任务区的图像，获取任务区地图；所述定位模块可通信地连接至所述地图模块，配置为记录所述移动电子设备的当前所在位置与所述任务区地图中的坐标原点之间的距离；以及所述运动模块可通信地连接至所述定位模块，配置为根据所述任务区地图，规划路径，并根据所述路径进行运动。

本实用新型的另一个实施例公开了一种移动电子设备中的方法，所述移动电子设备包括至少一个深度摄像头、无线信号收发器、图像处理器、地图模块、定位模块以及运动模块，其中所述方法包括：通过可通信地连接到所述至少一个深度摄像头的所述无线信号收发器，获取由所述至少一个深度摄像头所采集的平面图形信息和所述图形中的物体的距离信息，并将包括所述平面图形信息和所述距离信息的三维信息发送给图像处理器；通过可通信地连接至所述无线信号收发器的所述图像处理器，处理所接收的多个三维信息；通过可通信地连接至所述图像处理器的所述地图模块，根据所述图像处理器处理后的多个三维信息，通过绘制三维的任务区的图像，获取任务区地图；通过可通信地连接至所述地图模块的所述定位模块，记录所述移动电子设备的当前所在位置与所述任务区地图中的坐标原点之间的距离；以及通过可通信地连接至所述定位模块所述运动模块，根据所述任务区地图，规划路径，并根据所述路径进行运动。

附图说明

本实用新型的更完整的理解通过参照关联附图描述的详细的说明书所获得，在附图中相似的附图标记指代相似的部分。

图1示出根据本实用新型的一个实施例的移动电子设备所在系统的示意图。

图2示出了根据本实用新型的一个实施例的移动电子设备中的处理器的框图。

图3A-3D示出了根据本实用新型的一个实施例的移动电子设备的示意图。

图4示出了根据本实用新型的一个实施例的在移动电子设备中的方法流程图。

具体实施方式

实施例一

图1示出根据本实用新型的一个实施例的移动电子设备100的示意图。

参照图1，移动电子设备100包括但不限于扫地机器人、工业自动化机器人、服务型机器人、排险救灾机器人、水下机器人、空间机器人、无人机、自动驾驶汽车上等。

移动电子设备100与充电桩160之间的信号传输方式包括但不限于：蓝牙、 WIFI、ZigBee、红外、超声波、UWB等，在本实施例中以信号传输方式是WIFI为例进行描述。

可选地，实施例的系统还包括第二移动电子设备，例如，手机APP，与第一移动电子设备100的无线信号收发器102相通信，该第二移动电子设备能直观地显示3D建模信息，以及方便用户操作等。

任务区表示移动电子设备100执行任务的场地。例如，当移动电子设备100 为扫地机器人时，任务区表示扫地机器人需要清扫的区域。又例如，当移动电子设备100为排险救灾机器人时，任务区表示该排险救灾机器人需要抢险的场所。

如图1所示，在一个实施例中，移动电子设备100包括深度摄像头108、无线信号收发器102、图像处理器1040、地图模块1042、定位模块1044以及运动模块106。图2示出了根据本实用新型的一个实施例的移动电子设备中的处理器104的框图。处理器104包括图像处理器1040，地图模块1042，定位模块1044，数据处理器1046和避障模块1048。此外，移动电子设备100还包括编码器和惯性测量单元(Inertial Measurement Unit，IMU)，这两部分由移动电子设备100，也即机器人100自身携带。此外，移动电子设备100还可以包括存储器110、数据处理器1046，该两个实体可以在机器人100身上，也可以在充电桩160内部，可选地在充电桩160内部。存储器110、数据处理器1046 这两部功能是存储和处理图像信息、数据信息等。存储器110可通信地连接至处理器104。数据处理器1046位于处理器104中。如在图2中所示，数据处理器1046连接至定位模块1044。充电桩160可以是云端设备的一个例子，具有存储和处理数据的功能。

如图1所示，无线信号收发器102可通信地连接到至少一个深度摄像头 108，配置为获取由至少一个深度摄像头108在移动电子设备100运动的同时所采集的平面图形信息和该图形中的物体的距离信息，并将包括平面图形信息和距离信息的多个三维信息发送给图像处理器1040。深度摄像头108，例如为Red Green Blue-Depth(RGB-D)摄像头，在移动设备100移动的过程中，持续采集视野范围内的平面图形信息和图形中的物体的距离信息。距离信息，也即深度信息指的是图像中每一个像素点到镜头的直线距离，这个飞行距离通过光的飞行时间来计算。RGB-D摄像头108获取的深度信息，相对于拍摄位置，既可以勾画出图中的3D模型。RGB-D摄像头108是3D摄像头，检测平面图像(普通的2D图像)和深度信息向无线信号收发器102传回3D信息，用于对任务区进行3D 建模。

图像处理器1040可通信地连接至无线信号收发器102，配置为处理所接收的多个三维信息。例如，图像处理器1040可以为平面图像建立二维坐标系，对室内每一个点赋予相应的坐标值。图像处理器1040可以将充电桩160作为坐标原点，为室内的每一个点赋予坐标值(X,Y)，此外，图像处理器1040还为每个点关联其对应的深度。图像处理器1040将RGB-D摄像头108拍摄到的图像以及图像中的每个像素的深度信息整合，提取图像特征，以及提取图像中的深度信息，结合拍摄图像的位置，建立3D室内模型。

例如，深度摄像头108中拍摄下的平面图形信息和该图形中的物体的距离信息传至图像处理器1040进行处理分析。图像处理器1040的功能是识别图像中的物体的特征。可选地，图形处理器1040可以采用基于尺度不变特征变换 (Scale Invariant FeatureTransform，SIFT)算法或加速稳健特征(Speeded Up Robust Features,SURF)算法识别上述特征。采用SIFT算法，需要在存储器110中存储参考图像。图像处理器1040首先识别存储在存储器110中的参考图像的对象的关键点，提取SIFT特征，然后通过比较存储器110中的各个关键点SIFT特征与新采集的图像的SIFT特征，再基于K最邻近算法(K-NearestNeighbor KNN) 的匹配特征，来识别新图像中的对象。SURF算法是基于近似的2D哈尔小波(Haar wavelet)响应，并利用积分图像(integral images)进行图像卷积，使用了基于Hessian矩阵的测度去构造检测子(Hessian matrix-based measure for the detector)，并使用了基于分布的描述子(a distribution-based descriptor)。本领域技术人员可以理解，图像处理器1040、地图模块1042和定位模块1044可以都包含在处理器104中。以下将结合图2对处理器104进行进一步的描述。

地图模块1042可通信地连接至图像处理器1040，配置为根据图像处理器 1040处理后的多个三维信息，通过绘制三维的任务区的图像，获取任务区地图。地图模块1042结合图像处理模块建立室内3D模型，该3D模型就是一张3D 地图。

定位模块1044可通信地连接至地图模块1042，配置为记录移动电子设备 100的当前所在位置与任务区地图中的坐标原点之间的距离。例如，定位模块 1044对处理过后的平面图像建立平面直角坐标系，将充电桩160所在处设为坐标原点，图像中的每一个点对应一个坐标值(X,Y)，标记出移动电子设备100的位置与轮廓，实现对室内地图制定。定位模块1044和编码器使得机器人100知道自己目前的位置，3D建模需要机器人100的位置信息和图像深度信息。定位模块1044是计算机器人100在室内位置的模块，3D建模需要有机器人100拍摄时的室内位置信息，以及机器人100在工作时都都要时刻知道自己的室内位置，都通过定位模块1044来实现。

然后，运动模块106可通信地连接至定位模块1044，配置为根据任务区地图，规划路径，并根据该路径进行运动。例如，运动模块106将从出发点以S型路径行走扫描室内建模。

此外，移动电子设备100，例如，机器人100还包括机器人编码器和惯性测量模块(IMU)，以辅助摄像头108获取移动电子设备100，例如机器人的位置和姿态。例如当机器人被遮蔽，不在摄像头视线中时，编码器和IMU都还能提供机器人的位置和姿态。例如，编码器可以作为里程计，通过记录机器人轮子的转动信息，来计算机器人走过的轨迹。

可选地或者附加地，任务区的图像还包括至少一个第一障碍物。图像处理器 1040还配置为识别任务区的图像中的该至少一个第一障碍物的特征信息。根据 RGB-D摄像头108建立的室内3D模型包含室内任何实体，其中包含障碍物。如上所讨论的，图像处理器1040可以使用SIFT或者SURF算法进行图像识别。定位模块1044还配置为比较至少一个第一障碍物的特征信息与坐标原点，识别至少一个障碍物的位置与轮廓。避障模块1048和运动模块106还配置为根据所定位的移动电子设备100的位置和所识别的至少一个第一障碍物的位置与轮廓，规划路径，并根据路径进行运动。例如，当清扫位置信息和机器人位置信息都确认之后，移动电子设备100中的路径规划模块1044将规划出能避开障碍物的最优路径，将路径信息通过无线网络传至机器人100的运动模块106，则机器人100按照此路径出发至清扫地点开始任务。基于RGB-D摄像头108的 3D建模能绘制出任何实体的外形和位置，比如勾画出一张桌子、椅子，机器人 100在路径规划时需要绕过这些实体，例如障碍物。

可选地或者附加地，运动模块106正在运动，且深度摄像头108实时地采集任务区的图像，图像处理器1040和定位模块1044还用于动态地确定移动电子设备100的特征信息、位置和轮廓。

可选地或者附加地，移动电子设备100还可包含传感器112，传感器112 将移动电子设备100周围的第二障碍物信息发送至运动模块106。运动模块 106还配置为调整移动电子设备100的运动方位以避开第二障碍物。可以理解，因为安装的高度不同，安装在移动电子设备100上的深度摄像头108与安装在移动电子设备100上的传感器112的高度不同，因此深度摄像头108所拍摄的障碍物信息与传感器所拍摄的障碍物可能不同，因为可能存在遮蔽。深度摄像头108可以通过旋转，俯仰等方式改变视觉方向，以获取更广的视觉范围。运动模块106综合深度摄像头108所拍摄的第一障碍物信息和传感器112所感知的第二障碍物信息，进行避障规划路径。这些传感器112辅助深度摄像头108，例如，这些传感器112可以安装在比较低的水平位置，而这个位置有可能是摄像头108的盲区，物体不出现在摄像头108视角中，那么就得依靠这些传统传感器112来避障。

可选地或者可替代地，传感器112包括超声波传感器和/或激光传感器。可以理解，第一障碍物和第二障碍物可以是相同的，也可以是不同的。因此，深度摄像头108和传感器112可以相互辅助。例如，如有遮蔽时，在被遮蔽的局部，机器人100需要靠自身的激光传感器、超声波传感器112等来进行避障。

例如，在移动电子设备100，例如机器人100移动过程中，移动电子设备 100中的图像处理器1040与定位模块1044利用深度摄像头108对移动电子设备100周围的环境进行3D建模，以确保机器人100位置信息准确，同时，机器人100搭载的激光传感器、超声波传感器也对机器人周围静态、动态环境进行检测，辅助避开静态、动态障碍物以及调整最优路径。

可选地或者可替代地，如果单个深度摄像头108的镜头视角有限，可同时使用安装在移动电子设备100上的多个深度摄像头108，以覆盖更广的区域。

可选地或者可替代地，移动电子设备100还包括充电桩160，其中充电桩 160包括处理器104。例如，充电桩160包括图像处理器1040和定位模块1042。

可选地或者可替代地，地图模块1042采用可视同时定位和绘制地图技术(Visual-Simultaneous localization and mapping，VSLAM)根据图像处理器1040处理后的多个三维信息。机器人100在某一已知位置(定位模块1044)，通过深度摄像头108拍摄周围，即可获得周围的图像信息以及图像中每个像素的深度信息(距离信息)，根据这些信息，建立局部3D模型，当机器人100走过整个室内时，那么所有的局部模型结合起来，即是室内整体的3D模型，这个3D模型即为地图，是个3D室内地图。

实施例二

图3A-3D示出了根据本实用新型的一个实施例的移动电子设备100的示意图。以下以移动电子设备100为机器人300为例进行说明。

参照图3A-3D，机器人300主要由主机体310，无线收发器320，微处理器330，传感器340，和充电桩350五部分组成。用户可通过无线收发器320、微处理器330和充电桩350实现某区域内的定点功能，通过传感器340辅助主机体310完成指定的功能操作。

参照图3A和图3B，主机体310为微处理器330和传感器340的载体，微处理器330可以协助主机体310的控制单元执行移动等功能。

参照图3C和图3D，无线收发器320可通过手机、电脑等移动电子设备，发送蓝牙、WIFI、ZigBee、红外、超声波等通信信号，也可以与微处理器330和充电桩350进行位置信息交互功能，并将位置信息以指令的方式发送至微处理器330。

参照图3B，微处理器330设在主机体310上，可以接收无线收发器320 发送的指令并对接收到的指令进行程序处理，将处理后的结果传输至主机体310 控制单元，执行相应的任务。微处理器330也可以发射蓝牙、WIFI、ZigBee、红外、超声波等通信信号至充电桩350，实现自动回桩充电功能。

参照图3A，传感器340可以实时检测周围环境，实现智能避障、通信信号检测与发射的功能。

参照图3D，充电桩350可以接收无线收发器320发射的信号，同时也可以接收微处理器330发出的通信信号，实现位置信息交互功能，从而引导微处理器330控制主机体310实现回桩充电的功能。

实施例三

图4示出了一种在移动电子设备中的方法400，移动电子设备100包括至少一个深度摄像头108、无线信号收发器102、图像处理器1040、地图模块1042、定位模块1044以及运动模块106，其中方法400包括：在块410中，通过可通信地连接到至少一个深度摄像头108的无线信号收发器102，获取由至少一个深度摄像头108所采集的平面图形信息和图形中的物体的距离信息，并将包括平面图形信息和距离信息的三维信息发送给图像处理器1040；在块420中，通过可通信地连接至无线信号收发器102的图像处理器1040，处理所接收的多个三维信息；在块430中，通过可通信地连接至图像处理器1040的地图模块 1042，根据图像处理器1040处理后的多个三维信息，通过绘制三维的任务区的图像，获取任务区地图；在块440中，通过可通信地连接至地图模块1042的 1044定位模块，记录移动电子设备100的当前所在位置与任务区地图中的坐标原点之间的距离；以及在块450中，通过可通信地连接至定位模块1044的运动模块106，根据任务区地图，规划路径，并根据路径进行运动。

可选地或者可替代地，其中任务区的图像还包括至少一个第一第一障碍物，方法400还包括(图中未示出)通过图像处理器1040，识别任务区的图像中的至少一个第一障碍物的特征信息；通过定位模块1044，比较至少一个第一障碍物的特征信息与坐标原点，识别至少一个第一障碍物的位置与轮廓；通过运动模块106，根据任务区地图、由定位模块1044所定位的移动电子设备100的位置和所识别的至少一个第一障碍物的位置与轮廓，规划路径，并根据路径进行运动。

可选地或者可替代地，方法400还包括通过运动模块106进行运动；通过至少一个深度摄像头108实时地采集任务区的图像；以及通过图像处理器1040 和定位模块1044，动态地确定移动电子设备100的特征信息、位置和轮廓。可选地或者可替代地，方法400还包括(图中未示出)：通过可通信地连接到处理器104的编码器和惯性测量模块，辅助至少一个深度摄像头108获取移动电子设备100的位置和姿态。

可选地或者可替代地，在方法400中，移动电子设备100还包括充电桩 160，其中充电桩160包括图像处理器1040和定位模块1044。

可选地或者可替代地，移动电子设备100还可包含传感器112，方法400 还包括通过传感器112将移动电子设备100周围的第二障碍物信息发送至运动模块106；以及通过运动模块106调整移动电子设备100的运动方位以避开第二障碍物。

可选地或者可替代地，其中传感器112包括超声波传感器和/或激光传感器。

可选地或者可替代地，其中地图模块1042采用可视同时定位和绘制地图技术(Visual-Simultaneous localization and mapping，VSLAM)根据图像处理器处理后的多个三维信息，通过绘制三维的任务区的图像，获取任务区地图。

在前面的描述中，已经参考具体示例性实施例描述了本实用新型；然而，应当理解，在不脱离本文所阐述的本实用新型的范围的情况下，可以进行各种修改和变化。说明书和附图应以示例性的方式来看待，而不是限制性的，并且所有这些修改旨在被包括在本实用新型的范围内。因此，本实用新型的范围应由本文的一般实施例及其合法等效物、而不是仅由上述具体实施例来确定。例如，任何方法或过程实施例中的步骤可以任何顺序执行，并且不限于在具体实施例中呈现的明确顺序。另外，在任何装置实施例中的部件和/或元件可以各种排列组装或以其他方式操作地配置，以产生与本实用新型基本相同的结果，因此不限于具体实施例中的具体配置。

以上已经关于具体实施例描述了益处、其他优点和问题的解决方案；然而，任何益处、优点或问题的解决方案，或可引起任何特定益处、优点或方案发生或变得更明显的任何元件不应被解释为关键的、必需的或基本的特征或部件。

如本文所使用的，术语“包括”、“包含”或其任何变型旨在引用非排他性的包含，使得包括元件列表的过程、方法、物品、组合物或装置不仅包括所述的那些元件，而且也可以包括未明确列出的或固有的主要的过程、方法、物品、组合物或装置。除了未具体叙述的那些之外，在本实用新型的实践中使用的上述结构、布局、应用、比例、元件、材料或部件的其它组合和/或修改可以被改变，或者以其他方式特别适用于特定的环境、制造规格、设计参数或其他操作要求，而不脱离其大体原则。

虽然本文已经参考某些优选实施例描述了本实用新型，但是本领域技术人员将容易理解，在不脱离本实用新型的精神和范围的情况下，其他应用可以替代本文所阐述的那些。因此，本实用新型仅由下述权利要求书限定。

Claims (8)

1.一种移动电子设备，包括至少一个深度摄像头、无线信号收发器、图像处理器、地图模块、定位模块以及运动模块，其中：

所述无线信号收发器可通信地连接到所述至少一个深度摄像头，配置为获取由所述至少一个深度摄像头在所述移动电子设备运动的同时所采集的平面图形信息和所述图形中的物体的距离信息，并将包括所述平面图形信息和所述距离信息的多个三维信息发送给图像处理器；

所述图像处理器可通信地连接至所述无线信号收发器，配置为处理所接收的多个三维信息；

所述地图模块可通信地连接至所述图像处理器，配置为根据所述图像处理器处理后的多个三维信息，通过绘制三维的任务区的图像，获取任务区地图；

所述定位模块可通信地连接至所述地图模块，配置为记录所述移动电子设备的当前所在位置与所述任务区地图中的坐标原点之间的距离；以及

所述运动模块可通信地连接至所述定位模块，配置为根据所述任务区地图，规划路径，并根据所述路径进行运动。

2.根据权利要求1所述的移动电子设备，其中所述任务区的图像还包括至少一个第一障碍物，

所述图像处理器还配置为识别所述任务区的图像中的所述至少一个第一障碍物的特征信息；

所述定位模块还配置为比较所述至少一个第一障碍物的特征信息与所述坐标原点，识别所述至少一个第一障碍物的位置与轮廓；

所述运动模块还配置为根据所述任务区地图、由所述定位模块所定位的所述移动电子设备的位置和所识别的至少一个第一障碍物的位置与轮廓，规划路径，并根据所述路径进行运动。

3.根据权利要求2所述的移动电子设备，其中所述运动模块正在运动，且所述至少一个深度摄像头实时地采集所述任务区的图像；

所述图像处理器和所述定位模块还用于动态地确定所述移动电子设备的特征信息、位置和轮廓。

4.根据权利要求1所述的移动电子设备，还包括

可通信地连接到所述处理器的编码器和惯性测量模块，配置为辅助所述至少一个深度摄像头获取所述移动电子设备的位置和姿态。

5.根据权利要求1-4中任一项所述的移动电子设备，还包括充电桩，其中所述充电桩包括所述图像处理器、所述地图模块和所述定位模块。

6.根据权利要求1-4中任一项所述的移动电子设备，还可包含传感器，所述传感器将所述移动电子设备周围的第二障碍物信息发送至所述运动模块，所述运动模块还配置为调整所述移动电子设备的运动方位以避开所述第二障碍物。

7.根据权利要求6所述的移动电子设备，所述传感器包括超声波传感器和/或激光传感器。

8.根据权利要求1所述的移动电子设备，其中所述地图模块采用可视同时定位和绘制地图技术(Visual-Simultaneous localization and mapping，VSLAM)根据所述图像处理器所述处理后的多个三维信息，通过绘制三维的任务区的图像，获取任务区地图。