CN109890573A - 移动机器人的控制方法、装置、移动机器人及存储介质 - Google Patents

移动机器人的控制方法、装置、移动机器人及存储介质 Download PDF

Info

Publication number
CN109890573A
CN109890573A CN201980000368.9A CN201980000368A CN109890573A CN 109890573 A CN109890573 A CN 109890573A CN 201980000368 A CN201980000368 A CN 201980000368A CN 109890573 A CN109890573 A CN 109890573A
Authority
CN
China
Prior art keywords
mobile robot
human body
image
attitude command
mobile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980000368.9A
Other languages
English (en)
Other versions
CN109890573B (zh
Inventor
崔彧玮
陈英时
王子敬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shan Kou (shanghai) Intelligent Technology Co Ltd
Original Assignee
Shan Kou (shanghai) Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shan Kou (shanghai) Intelligent Technology Co Ltd filed Critical Shan Kou (shanghai) Intelligent Technology Co Ltd
Priority to CN202210301317.3A priority Critical patent/CN114603559A/zh
Publication of CN109890573A publication Critical patent/CN109890573A/zh
Application granted granted Critical
Publication of CN109890573B publication Critical patent/CN109890573B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0016—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the operator's input device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Abstract

一种移动机器人的控制方法、装置、移动机器人及存储介质，对视觉传感装置所摄取的图像进行识别，且判断该视觉传感装置所摄取的空间范围内存在人体时，根据关于该人体的至少一幅图像来确定该人体发出的姿态指令，且根据该姿态指令控制移动机器人执行相应操作，该控制方法，可以准确的识别人的姿态指令，提高移动机器人指令执行的准确性和灵活性，并根据姿态指令实时控制移动机器人的运行，以改善移动机器人与用户的互动性，提高移动机器人运行的人性化，增强用户体验。

Description

移动机器人的控制方法、装置、移动机器人及存储介质
技术领域
本申请涉及数据处理技术领域，特别是涉及一种移动机器人的控制方法、装置、移动机器人及存储介质。
背景技术
移动机器人是自动执行工作的机器装置。它既可以接受人类指挥，又可以运行预先编排的程序，也可以根据以人工智能技术制定的原则纲领行动。这类移动机器人可用在室内或室外，可用于工业或家庭，可用于取代保安巡视、取代人们清洁地面，还可用于家庭陪伴、辅助办公等。
具体地，清洁机器人可受人控制(操作人员手持遥控器)或按照一定的设定规则自行在房间内完成地面清洁工作，其可以清扫地面上的毛发、灰尘、碎屑等地面杂物。现有的移动机器人大都只能接受较为机械化的控制指令，与用户的互动性不高，难以给用户提供较佳的用户体验。
发明内容
鉴于以上所述现有技术的缺点，本申请的目的在于提供一种移动机器人的控制方法、装置、移动机器人及存储介质，用于解决现有技术中移动机器人大都只能接受较为机械化的控制指令，与用户的互动性不高，难以给用户提供较佳的用户体验的问题。
为实现上述目的及其他相关目的，本申请的第一方面提供一种移动机器人的控制方法，其中，所述移动机器人包含视觉传感装置，包括：监测来自所述视觉传感装置的图像；识别所述图像以确定在所述视觉传感装置所摄取的空间范围内是否有人体；当确定在所述空间范围内有所述人体时，通过检测来自所述视觉传感装置的至少一幅图像来确定藉由所述人体发出的姿态指令；基于所述姿态指令控制所述移动机器人执行相应操作。
在本申请的第一方面的某些实施方式中，所述识别所述图像以确定在所述视觉传感装置所摄取的空间范围内是否有人体的步骤包括：识别所述图像以确定在所述视觉传感装置所摄取的空间范围内是否有面向所述移动机器人的人体。
在本申请的第一方面的某些实施方式中，所述识别图像以确定在所述视觉传感装置所摄取的空间范围内是否有人体的步骤包括：利用经机器学习而设置的第一算法，识别所监测的图像；其中，所述第一算法是利用包含面部的人体图像的样本图像进行机器学习而得的；根据识别结果确定在所述空间范围内是否有面向所述移动机器人的人体。
在本申请的第一方面的某些实施方式中，所述识别图像以确定在所述视觉传感装置所摄取的空间范围内是否有人体的步骤包括：在所述移动机器人移动期间，根据对所监测的至少两幅图像的比对结果，得到相对于静态目标发生移动行为的人体及其移动信息；其中所述人体在所述至少两幅图像中呈现的位置具有不确定变化属性。
在本申请的第一方面的某些实施方式中，所述通过检测来自所述视觉传感装置的至少一幅图像来确定藉由人体发出的姿态指令的步骤包括：获取在一检测时长内的至少一幅图像；检测所述至少一幅图像以确定藉由人体所发出的姿态指令。
在本申请的第一方面的某些实施方式中，所述检测至少一幅图像以确定藉由人体所发出的姿态指令的步骤包括：检测依时序所获取的至少一幅图像以确定人体所发出的候选姿态指令，并重复上述检测步骤，以得到对应每次执行的多个候选姿态指令；基于所得到的多个候选姿态指令确定藉由人体所发出的姿态指令。
在本申请的第一方面的某些实施方式中，所述通过检测来自所述视觉传感装置的至少一幅图像来确定藉由人体发出的姿态指令的步骤包括：利用经机器学习而设置的第二算法检测所述至少一幅图像以确定藉由人体发出的姿态指令。
在本申请的第一方面的某些实施方式中，所述姿态指令包括以下至少一种：靠近姿态指令、远离姿态指令、降噪姿态指令。
在本申请的第一方面的某些实施方式中，还包括验证发出所述姿态指令的人体的权限的步骤。
在本申请的第一方面的某些实施方式中，所述验证发出姿态指令的人体的权限的步骤包括：当经验证确定具有权限的人体为多个时，选择其中一个具有权限的人体，以便识别所选择的具有权限的人体的姿态指令，并执行相应操作。
在本申请的第一方面的某些实施方式中，所述基于姿态指令控制所述移动机器人执行相应操作的步骤包括：在确定所述姿态指令时，定位相应人体相对于移动机器人的位置信息；基于所述位置信息和所述姿态指令，控制移动机器人的移动操作。
在本申请的第一方面的某些实施方式中，所述基于位置信息和姿态指令，控制移动机器人的移动操作的步骤包括：基于所述位置信息和所述姿态指令，规划移动机器人的导航路线；依据所规划的导航路线控制移动机器人的移动操作。
在本申请的第一方面的某些实施方式中，所述移动机器人为清洁机器人；对应地，所述基于位置信息和姿态指令，规划移动机器人的导航路线的步骤包括：基于所述位置信息、所述姿态指令以及未清洁的区域，规划移动机器人的导航路线。
在本申请的第一方面的某些实施方式中，所述移动机器人为清洁机器人；对应地，所述基于姿态指令控制所述移动机器人执行相应操作的步骤包括：基于姿态指令调整所述移动机器人中清洁装置当前所处的状态。
在本申请的第一方面的某些实施方式中，当基于姿态指令调整所述移动机器人中清洁装置处于低噪状态时，还包括：获取语音指令，并基于所获取的语音指令控制所述移动机器人执行相应操作。
为实现上述目的及其他相关目的，本申请的第二方面提供一种移动机器人，包括：视觉传感装置，用于获取图像；执行装置，用于基于所接收的控制指令执行相应操作；控制装置，与所述视觉传感装置相连，用于执行如上所述的控制方法，以向所述执行装置输出对应所述姿态指令的控制指令。
在本申请的第二方面的某些实施方式中，所述控制装置执行基于姿态指令控制所述移动机器人执行相应操作的步骤包括：在确定所述姿态指令时，定位相应人体相对于移动机器人的位置信息；基于所述位置信息和所述姿态指令，向所述执行装置输出包含相应移动操作的控制指令。
在本申请的第二方面的某些实施方式中，所述执行装置包括移动装置；所述控制装置执行基于位置信息和所述姿态指令，向所述执行装置输出包含相应移动操作的控制指令的步骤包括：基于所述位置信息和所述姿态指令，规划移动机器人的导航路线；将包含所述导航路线的控制指令输出至所述执行装置，以供所述执行装置依据所述导航路线执行移动操作。
在本申请的第二方面的某些实施方式中，所述移动机器人为清洁机器人；对应地，所述控制装置执行基于位置信息和姿态指令，规划移动机器人的导航路线的步骤包括：基于所述位置信息、所述姿态指令以及未清洁的区域，规划移动机器人的导航路线。
在本申请的第二方面的某些实施方式中，所述执行装置包括清洁装置；对应地，所述控制装置基于姿态指令控制所述移动机器人执行相应操作的步骤包括：基于姿态指令调整所述清洁装置当前所处的状态。
在本申请的第二方面的某些实施方式中，还包括：语音处理装置，用于获取语音指令；当述基于姿态指令调整所述清洁系统处于低噪状态时，所述控制装置还基于所获取的语音指令控制所述执行装置执行相应操作。
为实现上述目的及其他相关目的，本申请的第三方面提供一种用于移动机器人的控制装置，其中，所述移动机器人包括视觉传感装置和执行装置，所述控制装置包括：输入单元，用于接收自所述视觉传感装置所摄取的图像；存储单元，用于存储至少一个程序以及来自移动机器人的视觉传感装置所摄取的图像；处理单元，用于调用所述至少一个程序并执行如上所述的控制方法；输出单元，用于将所述处理单元执行所述控制方法所产生的控制指令输出至相应执行装置。
为实现上述目的及其他相关目的，本申请的第四方面提供一种计算机存储介质，存储至少一种程序，所述至少一种程序在被调用时执行如上所述的控制方法。
如上所述，本申请的移动机器人的控制方法、装置、移动机器人及存储介质，对视觉传感装置所摄取的图像进行识别，且判断该视觉传感装置所摄取的空间范围内存在人体时，根据关于该人体的至少一幅图像来确定该人体发出的姿态指令，且根据该姿态指令控制移动机器人执行相应操作。本申请的移动机器人的控制方法，可以准确的识别人的姿态指令，提高移动机器人指令执行的准确性和灵活性，并根据姿态指令实时控制移动机器人的运行，以改善移动机器人与用户的互动性，提高移动机器人运行的人性化，增强用户体验。
附图说明
图1显示为本申请的移动机器人的控制方法在一具体实施例中的流程示意图。
图2显示为本申请一具体实施例中确定视觉传感装置所摄取的空间范围内是否有人体的流程示意图。
图3显示为本申请的一具体实施例中选取的两帧图像的图像示意图。
图4显示为本申请的一具体实施例中选取的两帧图像的图像示意图。
图5显示为本申请的一具体实施例中基于姿态指令控制移动机器人执行相应操作的流程示意图。
图6显示为本申请的移动机器人在一具体实施例中的组成示意图。
图7显示为本申请的用于移动机器人的控制装置在一具体实施例中的组成示意图。
具体实施方式
以下由特定的具体实施例说明本申请的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本申请的其他优点及功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。
在下述描述中，参考附图，附图描述了本申请的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本申请的精神和范围的情况下进行模块组成以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本申请的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本申请。虽然在一些实例中术语第一、第二等在本文中用来描述各种元件，但是这些元件不应当被这些术语限制。这些术语仅用来将一个元件与另一个元件进行区分。再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。下面结合附图及具体实施方式对本申请作进一步详细的说明。
下面结合附图及具体实施方式对本申请作进一步详细的说明。
移动机器人基于控制指令执行相应操作。所述移动机器人为自动执行特定工作的机器装置，它既可以接受人们指挥，又可以运行预先编排的程序，也可以根据以人工智能技术制定的原则纲领行动。这类移动机器人可用在室内或室外，可用于工业或家庭，可用于取代保安巡视、取代人们清洁地面，还可用于家庭陪伴、辅助办公等。以最为常见的清洁机器人为例，清洁机器人，又名自动扫地机、智能吸尘器等，是智能家用电器的一种，能完成清扫、吸尘、擦地工作。具体地，清洁机器人可受人控制(操作人员手持遥控器)或按照一定的设定规则自行在房间内完成地面清洁工作，其可以清扫地面上的毛发、灰尘、碎屑等地面杂物。现有的移动机器人大都只能接受较为机械化的控制指令，与用户的互动性不高，难以给用户提供较佳的用户体验。
有鉴于此，本申请公开一种移动机器人的控制方法，通过移动机器人的视觉传感装置时刻获取其视场范围内的图像，且通过对获取的图像的识别，判断其视场范围内是否有人，当有人时，进而判断人的姿态指令，并根据该姿态指令控制移动机器人执行相应的操作。本申请的移动机器人的控制方法，由于在识别姿态指令时还识别人体，故而有效减少某些姿态指令的误识别率，例如，减少误将假人的姿态识别成一姿态指令的情形；以及根据姿态指令实时控制移动机器人的运行，以改善移动机器人与用户的互动性，提高移动机器人运行的人性化和识别准确率。
在此，参阅图1，图1显示为本申请的移动机器人的控制方法在一具体实施例中的流程示意图。其中，所述移动机器人的控制方法可由移动机器人包括的处理装置来执行。其中，所述处理装置为一种能够进行数值运算、逻辑运算及数据分析的电子设备，其包括但不限于：CPU、GPU、FPGA等，以及用于暂存运算期间所产生的中间数据的易失性存储器等。所述移动机器人包含视觉传感装置。所述视觉传感装置为摄像装置或TOF传感器等可利用二维或三维数据描绘空间范围内物体表面形状、颜色、结构等。所述移动机器人包括但不限于：家庭陪伴式移动机器人、清洁机器人、巡逻式移动机器人、擦玻璃的机器人等。
其中，所述移动机器人至少包括一个摄像装置。所述摄像装置在移动机器人所在位置摄取视场范围内的图像。在一些实施例中，所述摄像装置设置于所述移动机器人顶部、肩部或背部，且主光轴垂直于所述移动机器人的行进平面、或主光轴与所述移动机器人的行进方向一致。在另一些实施例中，所述主光轴还可与所述移动机器人的行进方向在垂直于所述行进平面的方向上呈一定的夹角(比如0°至90°之间的夹角)的设置，以获得更大的摄像范围。在又一些实施例中，所述摄像装置的主光轴的设置还可以有很多其他的方式，例如摄像装置可以以一定的规律或者随机的进行转动，此时摄像装置的光轴与移动机器人行进方向的角度则处于时刻变化的状态，所以所述摄像装置的安装方式以及摄像装置的主光轴的状态不以本实施例中的列举为限。在此，所述移动机器人包含至少一个摄像装置，其可按照上述任一实施例所提供的装配方式装配在移动机器人上，并用于获取执行所述控制方法所需的图像。所述摄像装置包括但不限于：照相机、视频摄像机、集成有光学系统或CCD芯片的摄像模块、集成有光学系统和CMOS芯片的摄像模块等。又或者所述摄像装置包括但不限于鱼眼摄像模块、广角(或非广角)摄像模块中的任一种。
所述TOF传感器基于TOF技术。TOF技术属于光学非接触式三维深度测量感知方式中的一种，其具有构成面阵列的照射单元，每个照射单元用于探测相应测量点的深度数据。其中，单个照射单元举例通过给目标连续发送光脉冲，然后接收从物体返回的光，通过探测这些发射和接收光脉冲的飞行(往返)时间来得到目标物距离。TOF的各照射单元都是对光进行高频调制之后再进行发射，一般采用LED或激光(包含激光二极管和VCSEL(VerticalCavity Surface Emitting Laser，垂直腔面发射激光器))来发射高性能脉冲光，本申请的实施例中，采用激光来发射高性能脉冲光。脉冲可达到100MHz左右，主要采用红外光。TOF传感器应用的原理有以下两类，1)基于光学快门的方法；主要实现方式为：发射一束脉冲光波，通过光学快门快速精确获取照射到三维物体后反射回来的光波的时间差t，由于光速c已知，只要知道照射光和接收光的时间差，来回的距离可以通过公示d＝t/2·c。2)基于连续波强度调制的方法；主要实现方式为：发射一束照明光，利用发射光波信号与反射光波信号的相位变化来进行距离测量。其中，照射单元中的照明模组的波长一般是红外波段，且需要进行高频率调制。照射单元中的感光模组与普通手机摄像模组类似，由芯片，镜头，线路板等部件构成，TOF感光芯片每一个像元对发射光波的往返相机与物体之间的具体相位分别进行记录，通过数据处理单元提取出相位差，由公式计算出深度信息。TOF传感器的体积小，可以直接输出被探测物体的深度数据，且TOF传感器的深度计算结果不受物体表面灰度和特征的影响，可以非常准确的进行三维探测，利用深度数据及所对应的测量点阵位置得到可直接用于监测的图像，或将各测量点阵位置的深度数据进行被平滑处理后，得到用于监测的图像。所述TOF传感器可安装于所述移动机器人的体侧。
参阅图1，图1显示为本申请的移动机器人的控制方法在一具体实施例中的流程示意图。如图所示，所述移动机器人的控制方法包括以下步骤：
步骤S1：监测来自所述视觉传感装置的图像；所述视觉传感器装置的供电系统可受移动机器人的供电系统控制，当移动机器人上电期间，所述述视觉传感器装置都处于获取图像状态。例如，在移动机器人处于充电期间、工作期间或回充期间都可以通过所述视觉传感装置获取其视场范围内的图像，所述处理装置通过逐帧监测或跳帧监测的方式来获取所述视觉传感装置所摄取的图像。所述移动机器人例如为清洁机器人，清洁机器人在充电期间、工作期间或回充期间拍摄多帧图像。换言之，在步骤S1中，处理装置在移动机器人上电的情况下持续获取视觉传感装置所摄取的多帧图像。其中，所述充电期间包含正在充电的时间段、和充电完成且仍与充电器连接的时间段。工作期间包括但不限于：移动机器人基于所接收的指令执行相应操作的时间段。例如，基于巡逻指令进行移动并巡逻的时间段。又如，基于清洁指令进行移动并清洁的时间段。再如，基于转发控制信号的指令进行移动并寻找控制对象的时间段等。所述回充期间包含移动机器人的供电系统监测到电池内的储能低于预设电荷量(或电压值)而自主返回充电器的时间段。
需要说明的是，上述各期间并非彼此互斥的，例如，沿回充路线进行清洁的期间既是回充期间也是工作期间。因此，根据实际应用场景而划分的获取图像的期间，均可被视为所述处理装置获取图像期间的具体示例。
步骤S2：识别所述图像以确定在所述视觉传感装置所摄取的空间范围内是否有人体。其中，所述空间范围为根据所述视觉传感装置所能摄取的视场范围，以及其所处空间而划定的空间范围。例如，视觉传感装置设置于移动机器人顶部中间，并具有接近180°的视场范围，当移动机器人位于一房间中时，所述视觉传感装置可摄取所述房间内的、移动机器人顶部以上的、接近180°的视场范围的空间范围内所有未被遮挡的物体，并得到相应的图像。在所摄取的图像中包含房间内摆设的物品、墙壁、天花板等，当有人进入该空间范围内时，所摄取的图像也包含人。
在此，为提高姿态指令的识别准确率，本步骤所识别的人体为可发出姿态指令的人，而非保持一定姿态的装饰用品，如用于展示服装的假人等。为此，在一些示例中，所述移动机器人中的处理装置可利用预设的针对人体的图像特征对所摄取的图像进行匹配，以及利用预设的针对假人的图像特征进行筛选，由此确认识别到人体。
在另一些示例中，为减少后续步骤的响应次数，降低系统内耗，所述步骤S2包括：识别图像以确定在所述视觉传感装置所摄取的空间范围内面向所述移动机器人的人体。可与前述示例类似地，所述移动机器人中的处理装置可利用预设的包含人体面部的图像特征对所摄取的图像进行匹配，以及利用预设的针对假人的图像特征进行筛选，由此确认识别到面向所述移动机器人的人体。
在又一些示例中，请参阅图2，图2显示为本申请一具体实施例中确定视觉传感装置所摄取的空间范围内是否有人体的流程示意图。其中，所述识别图像以确定在所述视觉传感装置所摄取的空间范围内是否有人体的步骤包括步骤S21和步骤S22。
在所述步骤S21中，利用经机器学习而设置的第一算法，识别所监测的图像；其中，所述第一算法是利用包含面部的人体图像的样本图像进行机器学习而得的。
在所述步骤S22中，根据识别结果确定在所述空间范围内是否有面向所述移动机器人的人体。
在一些实施例中，所述第一算法可为第一神经网络算法。在某些实施例中，所述第一神经网络算法可以为基于卷积神经网络结构的神经网络算法，所述网络结构包括输入层、至少一层隐藏层和至少一层输出层。其中，所述输入层用于接收所拍摄的图像或者经预处理后的图像；所述隐藏层包含卷积层和激活函数层，甚至还可以包含归一化层、池化层、融合层中的至少一种等；所述输出层用于输出标记有人体识别结果的图像。所述连接方式根据各层在神经网络结构中的连接关系而确定。例如，基于数据传输而设置的前后层连接关系，基于各隐藏层中卷积核尺寸而设置与前层数据的连接关系，以及全连接等。根据所设置的针对所述第一算法的训练集，可将包含真人图像的样本图像作为正面样本，将包含假人图像及无人图像的样本图像作为负面样本，所训练出的第一算法可用于识别人体。经训练得到的第一算法在使用时用来识别人体敏感区域在图像中的位置及其置信度，并根据包含预设人体置信区间的筛选条件来筛选图像中的位置，并输出所识别出的人体在图像中的位置。其中，所述人体敏感区间包括但不限于：头部区间、肩部区间、手臂区间、躯干区间、腿部区间等。所述人体敏感区间还包括位于上述任一区域内的特征点、或特征点的组合等。例如所述特征点包括但不限于：面部的特征点、肩部轮廓处的特征点、肘部(或膝部)的特征点、躯干轮廓的特征点等。其中，所述预设的人体置信区间包括但不限于以下至少一种或多种组合：关于各人体敏感区域的人体置信区间的数值范围，关于各人体敏感区域的特征点的数量。以包含面部区域的人体置信区间的筛选条件为例，移动机器人中预设的筛选条件包括：经第一算法得到的面部区域内的各特征点的置信度均落入预设人体置信区间、且经第一算法得到的所述面部区域内的特征点的数量满足预设数量阈值，移动机器人通过识别符合该筛选条件的图像来确定可发出姿态指令的人体及其在图像中的位置区域。
根据所设置的针对所述第一算法的训练集，还可将包含真人面部图像的样本图像作为正面样本，将包含假人图像及无人图像的样本图像作为负面样本，所训练出的第一算法可用于识别面向移动机器人的人体。
以用户面向移动机器人时所发出的姿态指令为有效指令为例，所述第一算法的训练集包含：包括人体面部的样本图像为带有面部特征的正面样本图像以及不带有面部特征的负面样本图像。所述人体面部举例包括面部五官的轮廓、眼睛、鼻子、嘴巴等面部区域。在根据该样本图像对所述第一算法进行训练的过程中，可设置部分比例的样本图像作为训练集，且剩余部分的样本图像作为测试集。例如，设置80％的样本图像作为训练集以及20％的样本图像作为测试集。所得到的第一算法被预设至移动机器人的存储器中，以便处理装置运行时使用。
经训练得到的第一算法在使用时用来识别人体的面部敏感区域在图像中的位置及其置信度，基于预设的由面部敏感区域所构成的面部置信区间，对所识别出的面部敏感区域在图像中的位置及其置信度进行筛选，以输出面向移动机器人的人体。其中，所述面部敏感区域包括但不限于：眼部区间、鼻部区间、脸颊区间、嘴部区间、耳部区间等。所述人体敏感区间还包括位于上述任一区域内的特征点、或特征点的组合等。例如所述特征点包括但不限于：眼角处的特征点、鼻尖处的特征点、嘴角处的特征点、基于预设脸颊模板而设置的特征点、耳部轮廓的特征点等。其中，所述面部置信区间包括但不限于以下至少一种或多种组合：关于各人体敏感区域的置信区间的数值范围，关于各人体敏感区域的特征点的数量，基于不同人体敏感区域之间所构成的几何关系而设置的置信区间。在一些示例中，移动机器人中预设的面部筛选条件包括：预设由至少两种面部敏感区域内的特征点所构成的几何关系的置信区间，当利用经第一算法而得到的对应特征点所构成的几何关系落入所述置信区间时，移动机器人确定可发出姿态指令的人体及其在图像中的位置区域。其中，所述至少两种面部敏感区域内的特征点包括但不限于：眼部区域和鼻部区域的特征点，鼻部区域和嘴部区域的特征点，眼部区域、鼻部区域和脸颊区域的特征点等。所述几何关系包括但不限于：多个特征点所构成的几何图形的线的比例、角度比例等。所述几何图形包括但不限于三角形。
在另一些示例中，所述样本图像为多幅图像合并后所形成的图像、或基于多幅图像所形成的视频段，其中所述多幅图像为截取于人体的身体姿态变化和/或面部表情变化的视频。其中，身体姿态变化包括但不限于以下至少一种或多种的集合：四肢姿态变化、头部姿态变化、躯干姿态变化。其中，四肢姿态变化举例包括伸腿(或收腿)、手臂弯曲(或手臂伸直)、手指弯曲(或手指伸直)等。头部姿态变化举例包括歪头、仰头、低头等。躯干姿态变化举例包括前倾、后仰、侧弯等。所述面部表情变化包括但不限于以下至少一种或多种的集合：眼睛表情变化、嘴的表情变化、脸颊的表情变化等。其中眼睛表情变化举例包括眨眼、瞪眼、眯眼等。嘴的表情变化举例包括张嘴、闭嘴、笑、哭等。脸颊的表情变化举例包括配合嘴、鼻和眼表情变化时脸颊表情。在根据该样本图像对所述第一算法进行训练的过程中，可设置部分比例的样本图像作为训练集，且剩余部分的样本图像作为测试集。例如，设置80％的样本图像作为训练集以及20％的样本图像作为测试集。所得到的第一算法被预设至移动机器人的存储器中，以便处理装置运行时使用。
处理装置运行所述第一算法并在所述图像中识别出所述空间范围内具有面向所述移动机器人的人体时，所述第一算法所输出的图像中包含在所述图像中所述人体所在的指定区域中所添加的矩形框，以标识该矩形框内具有面向所述移动机器人的人体。在识别到图像中的人体后，可以执行姿态指令识别步骤以针对性的对所述矩形框内的人体的姿态进行识别，提高姿态识别的准确性。其中，所述姿态指令识别步骤将在后续详述。
在此，根据当前更新的样本图像对所述第一算法进行更新。其中，所述第一算法的训练和更新需要很大的计算量，对搭载运行的设备的硬件要求非常高，在一些实施例中，所述第一算法的训练和更新可放在云端服务器中完成，以减小对本地移动机器人的运行压力，降低对移动机器人的硬件的需求，且提高移动机器人的执行效率，且可充分利用云端服务器的强大的处理功能使方法的执行更为快速、更为精确。
在又一些实施例中，移动机器人在移动期间，例如在清洁期间、在回充移动期间，需要准确识别可发出姿态指令的人体，以减少对假人的误判，利用至少两幅图像来识别人体。为此，所述识别图像以确定在所述视觉传感装置所摄取的空间范围内是否有人体的步骤包括步骤S21'。
所述步骤S21'包括：在所述移动机器人移动期间，根据对所监测的至少两幅图像的比对结果，得到相对于静态目标发生移动行为的人体及其移动信息；其中所述人体在所述至少两幅图像中呈现的位置具有不确定变化属性。采用步骤S21'也可以在人体识别时，有效减少将人体形象的木偶以及显示于图片或显示屏上的人体图像误判为发出姿态指令的有效的人体的情形。
其中，所述移动机器人包括移动装置，移动装置可包括行走机构和行走驱动机构，所述行走机构可设置于所述移动机器人本体的底部，所述行走驱动机构内置于所述机器人本体内。所述行走机构可例如包括两个直行行走轮和至少一个辅助转向轮的组合，所述两个直行行走轮分别设于机器人本体的底部的相对两侧，所述两个直行行走轮可分别由对应的两个行走驱动机构实现独立驱动，即，左直行行走轮由左行走驱动机构驱动，右直行行走轮由右行走驱动机构驱动。所述的万向行走轮或直行行走轮可具有偏置下落式悬挂系统，以可移动方式紧固，例如以可旋转方式安装到机器人本体上，且接收向下及远离机器人本体偏置的弹簧偏置。所述弹簧偏置允许万向行走轮或直行行走轮以一定的着地力维持与地面的接触及牵引。在实际的应用中，所述至少一个辅助转向轮未参与的情形下，所述两个直行行走轮主要用于前进和后退，而在所述至少一个辅助转向轮参与并与所述两个直行行走轮配合的情形下，就可实现转向和旋转等移动。所述行走驱动机构可包括驱动电机和控制所述驱动电机的控制电路，利用所述驱动电机可驱动所述行走机构中的行走轮实现移动。在具体实现上，所述驱动电机可例如为可逆驱动电机，且所述驱动电机与所述行走轮的轮轴之间还可设置有变速机构。所述行走驱动机构可以可拆卸地安装到机器人本体上，方便拆装和维修。在本实施例中，所述移动机器人在行走的状态下通过所述视觉传感装置拍摄图像，即处理装置在移动装置的工作状态下获取视觉传感装置所摄取的图像。在实施例中，所述图像例如为在一个连续的时间段内获取的图像，或者在两个或者多个间断的时间段内分别获取的图像。所述至少两幅图像为视觉传感装置在部分重叠视场内所摄取的图像，所述视觉传感装置例如为摄像装置，所述摄像装置在上电期间摄取其视场范围内的视频图像，所述两幅图像可为所述摄像装置所摄取的视频图像中的两帧图像。
在一些实施例中，所述相对静态目标举例但不限于：球、鞋、墙壁、花盆、衣帽、屋顶、灯、树、桌子、椅子、冰箱、电视、沙发、袜、平铺物体、杯子等。其中，平铺物体包括但不限于平铺在地板上的地垫、地砖贴图，以及挂在墙壁上的挂毯、挂画等。
其中，所述处理装置所选取的两帧图像应为所述视觉传感装置在部分重叠视场内所摄取的图像。即处理装置确定选取第一帧图像和第二帧图像的依据是两帧图像中包含图像重叠区域，且该重叠视场内包含所述静态目标，以对该重叠视场中相对静态目标发生移动行为的人体进行监控。为了保证选取的两帧图像的比对结果的有效性，还可对所述第一帧图像和所述第二帧图像的图像重叠区域的占比进行设定，例如设置所述图像重叠区域分别占所述第一帧图像和所述第二帧图像的比例至少为50％(但并不局限于此，依据实际情况可以设定不同的第一帧图像和所述第二帧图像的比例)。所述第一帧图像和第二帧图像的选取应具有一定的连续性，在保证两者具有一定比例的图像重叠区域的同时，还可根据获取的图像对人体的移动轨迹的连续性进行判断。下面将举例几种选取所述图像的方式，该举例中描述的图像选取方法只是一些特定的方式，在实际应用中选取所述第一帧图像和所述第二帧图像的方式并不以此为限，其他可以保证选取的该两帧图像为相对连续的图像且具有设定比例的图像重叠区域的图像选取方式均可应用于本申请中。
在一些实施方式中，所述移动机器人包括所述视觉传感装置，所述处理装置依据视觉传感装置的视场范围在具有重叠视场的第一位置和第二位置处分别选取第一帧图像和第二帧图像。
例如，视觉传感装置可以拍摄视频，由于视频是由图像帧构成的，在移动机器人移动期间，处理装置连续或不连续地采集所获取的视频中的图像帧以获得多帧图像，且根据预设的间隔帧数选取第一帧图像和第二帧图像，两帧图像具有部分重叠区域，然后处理装置根据选用的两帧图像进行图像比对。
又如，在移动机器人移动期间，处理装置可以预先设定视觉传感装置拍摄图像的时间间隔，且获取经视觉传感装置拍摄的不同时刻下的多帧图像；在多帧图像中，选取两帧图像进行比对，所述时间间隔应至少小于移动机器人移动一个视场范围所花费的时长，以保证该两帧图像中选取的两帧图像之间存在部分重叠的部分。
又如，所述视觉传感装置以预设的时间周期摄取其视场范围内的图像，然后处理装置获取经视觉传感装置以预设时间周期摄取的不同时刻下的图像，且选取其中两张图像作为第一帧图像和第二帧图像，该两帧图像之间存在部分重叠的部分。其中，所述时间周期可由时间单位表示，或者所述时间周期由图像帧的间隔数量来表示。
再如，所述移动机器人与智能终端通信，所述智能终端可以通过特定的APP(应用程序)对所述时间周期进行修改。例如在打开所述APP后，在所述智能终端的触摸屏上显示所述时间周期的修改界面，通过对所述修改界面的触摸操作，完成对所述时间周期的修改；又或者直接向所述移动机器人发送时间周期修改指令以对所述时间周期进行修改，所述时间周期修改指令，例如为包括修改指令的语音，所述语音例如为“周期修改为3秒”。又如，所述语音为“图像帧间隔修改为5幅”。其中，所述人体在所述至少两幅图像中呈现的位置具有不确定变化属性。例如，所述人体在所述移动机器人的移动过程中进行整体移动或进行局部移动，所述部分移动例如为人体的头、胳膊或腿等部分的局部移动。且，所述人体在所述移动机器人的移动过程中进行整体移动或局部移动时，其移动具有不确定变化属性。在一些实施例中，所述移动机器人通过所述移动装置在预先构建的地图中进行移动，且视觉传感装置摄取移动过程中的多帧图像，处理装置自所述多帧图像中选取两帧图像的进行比对，按照图像选取的次序，选取的两帧图像分别为第一帧图像和第二帧图像，且所述移动机器人在第一帧图像对应的位置为第一位置，所述移动机器人在第二帧图像对应的位置为第二位置，该两帧图像具有图像重叠区域，且视觉传感装置的重叠视场内具有静态目标，由于所述移动机器人处于移动的状态，静态目标在第二帧图像中的位置相对于第一帧图像中的位置进行了确定性的变化，且静态目标在该两帧图像中的位置的确定性的变化幅度与所述移动机器人在第一位置和第二位置的移动信息相关，该移动信息例如为所述移动机器人从所述第一位置到所述第二位置的移动距离和姿态变化信息。在一些实施例中，所述移动机器人包括位置测量装置，利用所述移动机器人的位置测量装置获取所述移动机器人的移动信息，且根据所述移动信息测量所述第一位置和第二位置之间的相对位置信息。
所述位置测量装置包括但不限于均设置在移动机器人的位移传感器、测距传感器、角度传感器、陀螺仪、双目视觉传感装置、速度传感器等。在移动机器人移动期间，位置测量装置不断侦测移动信息并提供给处理装置。所述位移传感器、陀螺仪、速度传感器等可被集成在一个或多个芯片中。所述测距传感器和悬崖传感器可设置在移动机器人的体侧。例如，清洁机器人中的测距传感器被设置在壳体的边缘；清洁机器人中的悬崖传感器被设置在移动机器人底部。根据移动机器人所布置的传感器的类型和数量，处理装置所能获取的移动信息包括但不限于：位移信息、角度信息、与障碍物之间的距离信息、速度信息、行进方向信息等。例如，所述位置测量装置为设置于所述移动机器人的马达的计数传感器，利用马达运转的圈数进行计数以获得所述移动机器人自第一位置移动至第二位置的相对位移，以及利用马达运转的角度获取姿态信息等。
在另一些实施中，以所述地图为一种栅格地图为例，预先确定单位栅格长度与实际位移之间的映射关系，按照移动机器人在移动期间所得到的移动信息，确定移动机器人从第一位置到第二位置移动的栅格数，进而获得该两位置的相对位置信息。
以所述预先构建的地图为一种矢量地图为例，预先确定单位矢量长度与实际位移之间的映射关系，按照移动机器人在移动期间所得到的移动信息，确定移动机器人从第一位置到第二位置移动的矢量长度，进而获得该两位置的相对位置信息。该矢量长度可以图像的像素为单位进行计算。且所述静态目标在第二帧图像中的位置相对于第一帧图像中的位置进行了与所述相对位置信息对应的矢量长度的偏移，所以第二帧图像中摄取的静态目标相对于第一帧图像中摄取的静态目标的移动是可以根据所述移动机器人的相对位置信息确定的，具有确定性的变化属性。而所述重叠视场内的所述人体在所选取的两帧图像中的移动不符合上述的确定性的变化属性。
请参阅图3，图3显示为本申请的一具体实施例中选取的两帧图像的图像示意图。在本实施例中，设定所述视觉传感装置的主光轴垂直于行进平面，因此，视觉传感装置所摄取的二维图像所在平面与移动机器人的行进平面具有平行关系。以此设置方式，我们用视觉传感装置所摄取的实体对象在投影图像中的位置来表示该实体对象投影至所述移动机器人的行进平面的位置，且利用所述实体对象在投影图像中的位置相对于所述移动机器人移动方向的角度来表征该实体对象投影至所述移动机器人的行进平面的位置相对于所述移动机器人移动方向的角度。在图3中选取的两帧图像分别为第一帧图像和第二帧图像，且所述移动机器人在第一帧图像对应的位置为第一位置P1，所述移动机器人在第二帧图像对应的位置为了距离的变化，而未发生姿态的变化，在此只需要测量两者的相对位移即可获得移动机器人在第二位置P2，该实施例中，所述移动机器人从所述第一位置P1到所述第二位置P2只发生第一位置P1和第二位置P2的相对位置信息。该两帧图像具有图像重叠区域，且视觉传感装置的重叠视场内具有如图3所示的静态目标O，由于所述移动机器人处于移动的状态，静态目标O在第二帧图像中的位置相对于第一帧图像中的位置进行了确定性的变化，且静态目标O在该两帧图像中的位置的确定性的变化幅度与所述移动机器人在第一位置P1和第二位置P2的移动信息相关，该移动信息在该实施例中例如为所述移动机器人从所述第一位置P1到所述第二位置P2的移动距离。在该实施例中，所述移动机器人包括位置测量装置，利用所述移动机器人的位置测量装置获取所述移动机器人的移动信息。又如，所述位置测量装置测量移动机器人的行进速度，并利用行进速度及所行进的时长计算自第一位置移动至第二位置的相对位移。在另一些实施例中，所述位置测量装置为GPS(GlobalPositioning System，全球定位系统)，根据该GPS在第一位置和第二位置的定位信息，获取所述第一位置P1和第二位置P2之间的相对位置信息。如图3所示，静态目标O在第一帧图像中的投影为静态目标投影O1，静态目标O在第二帧图像中的位置为静态目标投影O2，且从图3中可以清楚的看到在第一帧图像中的静态目标投影O1变化到了第二帧图像图像中静态目标投影O2的位置，两者在图像中的位置发生了变化，且静态目标投影O2相对静态目标投影O1在图像中的变化距离与所述第一位置P1和第二位置P2之间的相对位移呈一确定的比例，可以通过单位实际距离对应图像中的像素的比例而确定性的获得静态目标投影O2相对静态目标投影O1在图像中的变化距离。所以第二帧图像中摄取的静态目标相对于第一帧图像中摄取的静态目标的移动是可以根据所述移动机器人的相对位置信息确定的，具有确定性的变化属性。而所述重叠视场内的所述人体在所选取的两帧图像中的移动不符合上述的确定性的变化属性。
在又一些实施例中，所述位置测量装置为基于测量无线信号而定位的装置，例如，所述位置测量装置为蓝牙(或WiFi)定位装置；位置测量装置根据在第一位置P1和第二位置P2各自对所接收的无线定位信号的功率进行测量，来确定各位置相对于预设无线定位信号发射装置的相对位置，藉此以获取所述第一位置P1和第二位置P2之间的相对位置信息。
而当移动机器人在移动期间，在摄取的第一帧图像和第二帧图像中存在人体时，则该人体的移动具有不确定性的变化属性。请参阅图4，图4显示为本申请的一具体实施例中选取的两帧图像的图像示意图。在本实施例中，设定所述视觉传感装置的主光轴垂直于行进平面，因此，视觉传感装置所摄取的二维图像所在平面与移动机器人的行进平面具有平行关系。以此设置方式，我们用视觉传感装置所摄取的实体对象在投影图像中的位置来表示该实体对象投影至所述移动机器人的行进平面的位置，且利用所述实体对象在投影图像中的位置相对于所述移动机器人移动方向的角度来表征该实体对象投影至所述移动机器人的行进平面的位置相对于所述移动机器人移动方向的角度。图4中选取的两帧图像分别为第一帧图像和第二帧图像，且所述移动机器人在第一帧图像对应的位置为第一位置P1'，所述移动机器人在第二帧图像对应的位置为第二位置P2'，该实施例中，所述移动机器人从所述第一位置P1'到所述第二位置P2'只发生了距离的变化，而未发生姿态的变化，在此只需要测量两者的相对位移即可获得移动机器人在第一位置P1'和第二位置P2'的相对位置信息。该两帧图像具有图像重叠区域，且视觉传感装置的重叠视场内具有如图4所示的人体Q，在该实施例中，所述人体Q进行的是整体移动，即该人体的位置发生了变化，且所述移动机器人从所述第一位置移动至所述第二位置的过程中，所述人体Q进行了整体移动且成为了新位置上的人体Q'，人体Q在第二帧图像中的位置相对于第一帧图像中的位置进行了不确定性的变化，即人体Q在该两帧图像中的位置的变化幅度与所述移动机器人在第一位置P1'和第二位置P2'的移动信息没有相关性，通过移动机器人在第一位置P1'和第二位置P2'的移动信息并不能推算出所述人体Q在该两帧图像中位置的变化，该移动信息在该实施例中例如为所述移动机器人从所述第一位置P1'到所述第二位置P2'的移动距离。在该实施例中，所述移动机器人包括位置测量装置，利用所述移动机器人的位置测量装置获取所述移动机器人的移动信息。又如，所述位置测量装置测量移动机器人的行进速度，并利用行进速度及所行进的时长计算自第一位置移动至第二位置的相对位移。在另一些实施例中，所述位置测量装置为GPS系统或基于测量无线信号而定位的装置，根据该GPS系统或基于测量无线信号而定位的装置在第一位置和第二位置的定位信息，获取所述第一位置P1'和第二位置P2'之间的相对位置信息。如图4所示，人体Q在第一帧图像中的投影为人体投影Q1，人体Q'在第二帧图像中的位置为人体投影O2，而当所述人体Q是一个静态目标时，其在第二帧图像中的投影应为投影Q2'，即人体投影Q2'是人体投影Q1在移动机器人从第一位置P1'移动至第二位置P2'的过程中发生确定性的变化后的图像投影位置，而本实施例中，并不能根据所述移动机器人在第一位置P1'和第二位置P2'的移动信息推算出所述人体Q在该两帧图像中位置的变化，该人体Q在移动机器人的移动过程中具有不确定变化属性。
在一些实施方式中，所述处理装置还根据所述至少两帧图像的比对检测出相对于静态目标发生移动行为的人体及其移动信息。其中，所述人体为在所述第一帧图像和第二帧图像中具有不确定变化属性的目标，所述人体应处于视觉传感装置在摄取第一帧图像和第二帧图像时的重叠视场内，即人体在图像中的投影应处于第一帧图像和第二帧图像对应的图像重叠区域内，且人体相对所述第一帧图像和第二帧图像的图像重叠区域内的静态目标发生了整体移动行为或局部移动行为。
在一些实施例中，所述处理装置基于所述移动装置在所述至少两帧图像之间的时间内的移动信息，对所述至少两帧图像进行图像补偿；在一些实施例中，所述移动机器人从第一位置到第二位置的移动过程中，由于移动产生了移动信息，此处，所述移动信息为所述移动机器人从第一位置到所述第二位置的相对位移和相对姿态变化，根据所述位置测量装置可测得所述移动信息，根据所述视觉传感装置摄取的图像中的单位长度与实际长度的比例关系，以获得第二帧图像和第一帧图像的图像重叠区域内静态目标的投影图像的位置的确定性的相对位移，根据所述移动机器人具有的姿态检测装置获取所述移动机器人的相对姿态变化，进而根据移动信息对所述第一帧图像或第二帧图像进行图像补偿。例如，根据移动信息对所述第一帧图像进行图像补偿或根据移动信息对所述第二帧图像进行图像补偿。
所述处理装置还用以将经图像补偿后的所述至少两帧图像作相减处理形成差分图像，即将补偿后的第二帧图像与原始的第一帧图像作相减处理形成差分图像，或将补偿后的第一帧图像与原始的第二帧图像作相减处理形成差分图像。当所述第一帧图像和所述第二帧图像的图像重叠区域中，不具有相对静态目标发生移动行为的人体时，经补偿后的图像相减结果应为零，关于所述第一帧图像和所述第二帧图像的图像重叠区域的差分图像中应不包含任何特征，即补偿后的第二帧图像与原始的第一帧图像的图像重叠区域相同，或补偿后的第一帧图像与原始的第二帧图像的图像重叠区域相同。当所述第一帧图像和所述第二帧图像的图像重叠区域中，具有相对静态目标发生整体移动行为或局部移动行为的人体时，经补偿后的图像相减结果不为零，关于所述第一帧图像和所述第二帧图像的图像重叠区域的差分图像中包含差异特征，即补偿后的第二帧图像与原始的第一帧图像的图像重叠区域并不相同，存在不能重合的部分，或补偿后的第一帧图像与原始的第二帧图像的图像重叠区域并不相同，存在不能重合的部分。如果仅当经补偿后的两帧图像的图像重叠区域的差分图像中存在所述差异特征，或经补偿后的两帧图像的图像重叠区域不能完全重合，且该差异特征与预设的人体特征对应，即判断存在人体，会造成误判。例如，所述第一帧图像和所述第二帧图像中同时存在可以点亮的人形木偶，当所述移动机器人处于所述第一位置处，所述重叠视场内存在一个灯被关闭的人形木偶，而当所述移动机器人处于所述第二位置处，所述重叠视场内的所述人形木偶被点亮时，按照上述步骤，由此摄取的第一帧图像和第二帧图像的图像重叠区域中存在特异的特征，图像经补偿后的图像重叠区域的差分结果并不能为零，即图像经补偿后的图像重叠区域不能完全重合，因此，仅采用上述方式进行人体的判断，该人形木偶会被误判为人体。所以，在满足差分图像不为零的情况下，还需根据该差分图像可获得关于该人体在所述视觉传感装置摄取第一帧图像和第二帧图像的时间内的第一移动轨迹，即在所述重叠视场内存在对应所述第一移动轨迹的人体，该第一移动轨迹可以为局部移动或整体移动。
人体的移动一般是连续性的移动，为了提高系统的准确性和有效性，在此，需要进一步跟踪所述人体以确认该人体为具有不确定变化属性的人体。
所述处理装置根据人体的跟踪获得人体的移动轨迹；若所述人体的移动轨迹为连续时，则将所述人体确认为具有不确定变化属性的人体。在一些实施例中，在所述视觉传感装置摄取的多帧图像中，继续获取所述移动机器人在从第二位置移动至第三位置时摄取的视场范围内的第三帧图像，所述第一帧图像、所述第二帧图像以及所述第三帧图像为依次获取的图像，所述第二帧图像与所述第三帧图像具有图像重叠区域，且对所述第二帧图像和所述第三帧图像进行比对检测，且当第二帧图像和经补偿后的第三帧图像作相减处理的图像重叠区域部分的差分图像不为零，即差分图像存在差异特征，且该差异特征同时存在于所述第二帧图像和所述第三帧图像，该差异特征与所述第一帧图像和所述第二帧图像的比对获得的差异特征相同或近似，且该差异特征与所述预设的人体的特征信息对应，则根据该差分图像获得所述人体在所述视觉传感装置摄取所述第二帧图像和所述第三帧图像的时间中的第二移动轨迹，当所述第一移动轨迹和所述第二移动轨迹为连续时，则将所述人体确认为有效的人体。为了保证对人体的鉴别的准确性，可以依次获取视觉传感装置在相对连续的时间上的更多帧图像，且新获取的图像与相邻的图像均进行比对检测，进而获得关于所述人体的更多的移动轨迹，以进行人体是否为具有连续的移动轨迹的人体的判断，保证判断结果的准确性。
在另一些实施例中，还用以根据所述人体的图像特征对所述人体进行跟踪。其中，所述图像特征包括预设的对应人体的图形特征，或者对人体经图像处理算法而得到的图像特征。其中，所述图像处理算法包括但不限于以下至少一种：灰度处理、锐化处理、轮廓提取、角提取、线提取以及利用经机器学习得到的图像处理算法。利用经机器学习而得到的图像处理算法包括但不限于：神经网络算法、聚类算法等。在所述视觉传感装置摄取的多帧图像中，继续获取所述移动机器人在从第二位置移动至第三位置时摄取的视场范围内的第三帧图像，所述第一帧图像、所述第二帧图像以及所述第三帧图像为依次获取的图像，所述第二帧图像与所述第三帧图像具有图像重叠区域，根据所述人体的图像特征在所述第三帧图像中进行人体的查找，所述视觉传感装置在摄取所述第二帧图像和所述第三帧图像的重叠视场范围内存在静态目标，且根据所述移动机器人在所述第二位置和所述第三位置的相对位置信息，以及所述人体在所述第二帧图像和所述第三帧图像中关于一相同静态目标的位置变化(整体移动)或局部移动，获取所述人体在所述视觉传感装置摄取所述第二帧图像和所述第三帧图像的时间内的第二移动轨。当所述第一移动轨迹和所述第二移动轨迹为连续时，则将所述人体确认为有效的人体。为了保证对人体鉴别的准确性，可以获取更多帧图像，且新获取的图像与相邻的图像均根据所述人体的图像特征对所述人体进行跟踪，进而获得关于所述人体的更多的移动轨迹，以进行人体是否为有效的人体的判断，保证判断结果的准确性。
在一些实施方式中，所述处理装置还根据所述至少两帧图像中对应的特征信息的匹配操作检测出人体。该特征信息包括以下至少一种：特征点、特征线、特征颜色等。
所述处理装置分别提取所述至少两帧图像中的各个特征点，将提取的所述至少两帧图像中各个特征点在一参考三维坐标系上进行匹配；其中，所述参考三维坐标系是通过对移动空间进行三维建模形成的，所述参考三维坐标系上标识有移动空间内所有静态目标中各个特征点的坐标。所述静态目标的特征点举例包括与相应的静态目标对应的角点、端点、拐点等。在一些实施例中，对应一静态目标的特征点的集合可形成该静态目标的外部轮廓，即可通过一些特征点的集合识别出对应的静态目标。用户可预先通过识别条件对移动机器人的移动空间中的所有静态目标进行图像识别，以分别获得关于各所述静态目标的特征点，并将各特征点的坐标标识在所述参考三维坐标系上。用户还可根据一定的格式手动上传各所述静态目标的特征点的坐标，并将其标识在所述参考三维坐标系上。
所述处理装置将所述至少两帧图像中未在所述参考三维坐标系上实现匹配的对应特征点所组成的特征点集合与预设的人体的特征信息进行比对，当两者匹配，且该特征点集合在所述视觉传感装置摄取所述第一帧图像和所述第二帧图像的时间内相对所述静态目标发生了整体移动行为或局部移动行为，该特征点集合即可能为人体，进而形成了关于该特征点集合的第一移动轨迹，则该特征点集合检测为人体。
人体的移动一般是连续性的移动，为了提高系统的准确性和有效性，在此，需要进一步跟踪所述人体以确认该人体为具有不确定变化属性的人体。
所述处理装置根据人体的跟踪获得人体的移动轨迹；若所述人体的移动轨迹为连续时，则将所述人体确认为具有不确定变化属性的人体。在一些实施例中，在所述视觉传感装置摄取的多帧图像中，继续获取所述移动机器人在从第二位置移动至第三位置时摄取的视场范围内的第三帧图像，所述第一帧图像、所述第二帧图像以及所述第三帧图像为依次获取的图像，所述第二帧图像与所述第三帧图像具有图像重叠区域，且对所述第二帧图像和所述第三帧图像进行比对检测，当第二帧图像和经补偿后的第三帧图像作相减处理的图像重叠区域部分的差分图像不为零，即差分图像存在差异特征，且该差异特征同时存在于所述第二帧图像和所述第三帧图像，该差异特征与所述第一帧图像和所述第二帧图像的比对获得的差异特征相同或近似，且该差异特征与所述预设的人体的特征信息对应，则根据该差分图像获得所述人体在所述视觉传感装置摄取所述第二帧图像和所述第三帧图像的时间中的第二移动轨迹，当所述第一移动轨迹和所述第二移动轨迹为连续时，则将所述人体确认为有效的人体。为了保证对人体的鉴别的准确性，可以依次获取视觉传感装置在相对连续的时间上的更多帧图像，且新获取的图像与相邻的图像均进行比对检测，进而获得关于所述人体的更多的移动轨迹，以进行人体是否为具有连续的移动轨迹的人体的判断，保证判断结果的准确性。
在另一些实施例中，还用以根据所述人体的图像特征对所述人体进行跟踪。其中，所述图像特征包括预设的对应人体的图形特征，或者对人体经图像处理算法而得到的图像特征。其中，所述图像处理算法包括但不限于以下至少一种：灰度处理、锐化处理、轮廓提取、角提取、线提取以及利用经机器学习得到的图像处理算法。利用经机器学习而得到的图像处理算法包括但不限于：神经网络算法、聚类算法等。在所述视觉传感装置摄取的多帧图像中，继续获取所述移动机器人在从第二位置移动至第三位置时摄取的视场范围内的第三帧图像，所述第一帧图像、所述第二帧图像以及所述第三帧图像为依次获取的图像，所述第二帧图像与所述第三帧图像具有图像重叠区域，根据所述人体的图像特征在所述第三帧图像中进行人体的查找，所述视觉传感装置在摄取所述第二帧图像和所述第三帧图像的重叠视场范围内存在静态目标，且根据所述移动机器人在所述第二位置和所述第三位置的相对位置信息，以及所述人体在所述第二帧图像和所述第三帧图像中关于一相同静态目标的位置变化(整体移动)或局部移动，获取所述人体在所述视觉传感装置摄取所述第二帧图像和所述第三帧图像的时间内的第二移动轨迹。当所述第一移动轨迹和所述第二移动轨迹为连续时，则将所述人体确认为有效的人体。为了保证对人体鉴别的准确性，可以获取更多帧图像，且新获取的图像与相邻的图像均根据所述人体的图像特征对所述人体进行跟踪，进而获得关于所述人体的更多的移动轨迹，以进行人体是否为有效的人体的判断，保证判断结果的准确性。
需要说明的是，上述各识别人体的示例并非相互排斥，根据实际算法设计和计算优化需要，将上述各示例进行组合或以上述各示例基础上进行改进的方案均应视为基于本申请技术思想下的具体示例。
所述步骤S3包括：当确定在所述空间范围内有所述人体时，通过检测来自所述视觉传感装置的至少一幅图像来确定藉由所述人体发出的姿态指令。
在一些实施例中，借助于前述步骤S2中已识别的人体在相应图像中的图像位置区域，在检测姿态指令时，可基于所述图像位置区域及移动机器人的移动信息，在后续获取的至少一幅图像中确定相应人体在图像中的大致位置区域，以及基于所确定的大致位置区域来检测姿态指令。其中，根据移动机器人的移动信息，将步骤S2中所得到的对应人体的图像位置区域在后续获取的至少一幅图像中进行像素移动，并基于像素移动后的图像位置区域进行扩大或缩小或增加偏移量等操作，以得到所述大致位置区域。
在又一些实施例中，为提高姿态指令的识别准确性，所述步骤S3包括步骤S31和S32。
在步骤S31中，获取在一检测时长内的至少一幅图像。例如，所述视觉传感装置可以为摄像装置，所述摄像装置可以拍摄视频，视频是由图像帧构成的，摄像装置可以预先设定的时间间隔摄取不同时刻下的多帧图像；在多帧图像其中，以所述检测时长为周期，在每个所述检测时长内获取至少一幅图像。所述检测时长可以为时间长度或帧间隔数。
又如，所述移动机器人与智能终端通信，所述智能终端可以通过特定的APP(应用程序)对所述时间间隔和/或所述检测时长进行修改。例如在打开所述APP后，在所述智能终端的触摸屏上显示检测时长的修改界面，通过对所述修改界面的触摸操作，完成对所述检测时长的修改；又或者直接向所述移动机器人发送检测时长修改指令以对所述检测时长进行修改，所述检测时长修改指令，例如为包括修改指令的语音，所述语音例如为“检测时长的时间修改为2秒”。又如，所述语音为“检测时长的帧间隔数修改为5幅”。
在步骤S32中，所述处理装置检测所述至少一幅图像以确定藉由人体所发出的姿态指令。在一些实施例中，所述步骤S32还包括：检测依时序所获取的至少一幅图像以确定人体所发出的候选姿态指令，并重复上述检测步骤，以得到对应每次执行的多个候选姿态指令；且基于所得到的多个候选姿态指令确定藉由人体所发出的姿态指令。例如，在一实施例中，所述处理装置以时序获取了10幅图像，且对所述10幅图像分别进行检测，获取并确定各幅图像中的人体的候选姿态指令，其中，所有所述10幅图像中的候选姿态指令均为表示“停止运行”的姿态指令，则基于所述多个相同的候选姿态指令确定所述人体所发出的指令为“停止运行”的指令；而在另一实施例中，所述处理装置依时序获取了10幅图像，且对所述10幅图像分别进行检测，获取并确定各幅图像中的人体的候选姿态指令，其中，前5幅图像的候选姿态指令为表示“停止运行”的姿态指令，后5幅图像的候选姿态指令为表示“靠近人体移动”的姿态指令，获取的10幅图像中的候选姿态指令并不一致，则人体当前发出的姿态指令为无效指令，直接忽略。通过对依次获取的多幅图像进行识别的结果来确定所述人体所发出的姿态指令，可以提高移动机器人指令判断的准确性，且防止用户的误操作。
在另一些实施例中，还可利用机器学习的方法检测来自所述视觉传感装置的至少一幅图像来确定藉由人体发出的姿态指令，其中，所述步骤S3还包括利用经机器学习而设置的第二算法检测所述至少一幅图像以确定藉由人体发出的姿态指令。
在一些实施例中，所述第二算法可为一种包含第二神经网络结构的算法。在某些实施例中，所述第二神经网络模型可以为卷积神经网络，所述网络结构包括输入层、至少一层隐藏层和至少一层输出层。其中，所述输入层用于接收所拍摄的图像或者经预处理后的图像；所述隐藏层包含卷积层和激活函数层，甚至还可以包含归一化层、池化层、融合层中的至少一种等；所述输出层用于输出标记有物体种类标签的图像。所述连接方式根据各层在神经网络模型中的连接关系而确定。例如，基于数据传输而设置的前后层连接关系，基于各隐藏层中卷积核尺寸而设置与前层数据的连接关系，以及全连接等。在一些实施例中，可以预先根据姿态指令样本对所述第二算法进行训练，所述姿态指令样本可以包括多种人体姿态以及对应各所述人体姿态的执行指令，例如所述人体姿态为用户双手在胸前打叉时，该人体姿态对应的执行指令为令所述移动机器人停止运行；当所述人体姿态为用户的手掌处于张开状态且掌心面对人体时，该人体姿态对应的执行指令为令所述移动机器人执行靠近所述用户的移动；当所述人体姿态为用户的手处于握拳状态时，该人体姿态对应的执行指令为令所述移动机器人执行远离所述用户的移动。所述人体姿态以及对应的执行指令还可以有其他的组合形式和表现形式，在实际应用中还可以跟根据用户的操作习惯自行设定或修改，不以上述列举的为限。在根据该姿态指令样本对所述第二算法进行训练的过程中，可设置部分比例的姿态指令样本作为训练集，且剩余部分的姿态指令样本作为测试集。例如，设置80％的姿态指令样本作为训练集以及20％的姿态指令样本作为测试集。
所述第二算法可根据训练结果对来自所述视觉传感装置的一幅图像来确定藉由人体发出的姿态指令。或者根据所述第二算法对依时序获取的多幅图像进行识别，以获得分别对应各所述图像的姿态指令，且所述多幅图像对应的姿态指令均相同时，则该姿态指令为有效指令，且可根据所述有效的姿态指令控制所述移动机器人执行相应操作。而当所述多幅图像对应的姿态指令存在不同时，则人体当前发出的姿态指令为无效指令，直接忽略。
在另一些实施例中，还可将依时序获取的多幅图像合并成一幅图像，且将该合并后形成的合并图像输入所述第二算法中进行姿态识别。其中，举例将获取的所述多幅图像的各像素点的像素值进行求和后取平均，以形成对应各像素点的平均值的合并图像，且将该合并图像输入所述第二算法中进行姿态的识别。例如获取N幅图像，且将N幅图像的像素根据二维坐标系进行平均化处理，例如所述N幅图像中一像素点位置处对应的坐标分别为(X1，Y1)、(X2，Y2)、(X3，Y3)、······(XN，YN)，则在合并后的合并图像中的该像素点对应的坐标为((X1+X2+X3+······XN)/N，(Y1+Y2+Y3+······YN)/N)。且以此方法获取合并后的合并图像中的其他像素点的坐标，进而获得所述合并图像。需要说明的是，上述平均化处理的方式还可以由归一化处理替换，在此不再详述。
在一些实施例中，还用以根据当前更新的姿态指令样本对所述第二神经网络模型进行更新。其中，所述第二神经网络模型的训练和更新需要很大的计算量，对搭载运行的设备的硬件要求非常高，在一些实施例中，所述第二神经网络模型的训练和更新可放在云端服务器中完成，以减小对本地移动机器人的运行压力，降低对移动机器人的硬件的需求，且提高移动机器人的执行效率，且可充分利用云端服务器的强大的处理功能使方法的执行更为快速、更为精确。
在步骤S4：所述移动机器人的处理装置基于所述姿态指令控制所述移动机器人执行相应操作。
在此，处理装置所执行的相应操作可仅与移动机器人所识别出的姿态指令相关，也可以与移动机器人所识别出的姿态指令和当识别出姿态指令时所处的状态相关。
参阅图4，图4显示为本申请的一具体实施例中基于姿态指令控制移动机器人执行相应操作的流程示意图。其中，所述步骤S4还包括步骤S41和步骤S42。
在所述步骤S41中，在确定所述姿态指令时，定位相应人体相对于移动机器人的位置信息。
在此，当所确定的姿态指令包括使移动机器人移动的移动指令，特别是所包含的移动指令为使移动机器人相对于人体进行移动的移动指令时，定位所述人体相对于移动机器人的位置信息。例如，若所述姿态指令为令所述移动机器人执行靠近人体的移动，则定位人体相对于移动机器人的位置信息，并确定执行靠近人体的导航路线。又如，若所述人体姿态为令所述移动机器人执行远离人体的移动，则定位人体相对于移动机器人的位置信息，并确定执行远离人体的导航路线。
其中，定位所述位置信息的方式包括但不限于：1)预先构建图像坐标系与物理空间坐标系的对应关系，获取当前时刻图像帧和上一时刻图像帧中相匹配的人体特征的位置，并依据所述对应关系和所述位置确定机器人相对于人体的位置及姿态。在此，可援引公开号为CN107680135A的技术方案来定位移动机器人相对于人体的位置信息，在此不再详述。
2)利用装配在移动机器人的三维测量装置，来测量人体相对于移动机器人的位置信息。例如，利用移动机器人的多个视觉传感装置所获取的包含同一人体的图像，并基于该多幅图像测量人体相对于移动机器人的位置信息。
3)所述移动机器人上装配有光轴垂直于移动机器人的移动平面的摄像装置和移动传感装置，其中，所述摄像装置为一种视觉传感装置，移动传感装置用于测量移动机器人移动期间的位移和姿态。利用该摄像装置分别在移动机器人移动至第一位置和第二位置处能够拍摄到人体的位置摄取第一投影图像和第二投影图像，并利用移动传感装置获取第一位置和第二位置的位置信息，其中所述位置信息包括第一位置和第二位置之间的位移、在第一位置时的角度信息和在第二位置时的角度信息等；基于从所述第一投影图像和第二投影图像中所识别出的人体相对于移动机器人在第一位置及第二位置各自的角度信息、以及所述第一位置和第二位置，确定所述人体相对于移动机器人的位置信息。
在所述步骤S42中，基于所述位置信息和所述姿态指令，控制移动机器人的移动操作。在一些应用中，所述处理装置基于所述位置信息和所述姿态指令，规划移动机器人的导航路线；且依据所规划的导航路线控制移动机器人的移动操作。
以所述靠近姿态指令对应的人体姿态例如为用户的手掌处于张开状态且掌心面对人体，且根据所述位置信息和靠近姿态指令为例，在识别所述姿态指令后，处理装置规划第一导航路线，并控制所述移动机器人依据所述第一导航路线向靠近人体的方向移动。以所述远离姿态指令对应的人体姿态例如为用户的手处于握拳状态，且根据所述位置信息和远离姿态指令为例，在识别所述姿态指令后，处理装置规划第二导航路线，并控制所述移动机器人依据所述第二导航路线向远离人体的方向移动。
对应地，所述基于位置信息和姿态指令，规划移动机器人的导航路线的步骤还包括：基于所述位置信息、所述姿态指令以及未清洁的区域，规划移动机器人的导航路线。在一些实施例中，可提前根据VSLAM(Visual Simultaneous Localization and Mapping，基于视觉的即时定位与地图构建)技术帮助清洁机器人构建地图。所述地图例如为栅格地图，且设定该单位栅格尺寸与物理空间的单位尺寸之间的映射关系，确定清洁机器人与所述清洁机器人所处空间范围内的静态目标之间的位置关系；与此同时，清洁机器人还根据其对应所述栅格地图中的位置实时标记所述栅格地图中已经被所述清洁机器人清洁过的区域或未清洁的区域。
当所识别的姿态指令包含移动指令时，处理装置根据所述位置信息、所述姿态指令以及所述清洁机器人所处空间范围内的未清洁区域，规划导航路线，该导航路线可选择最大化的覆盖所述未清洁区域的导航路线。例如，当所识别的姿态指令表示远离姿态指令，即控制所述移动机器人向远离人体的方向移动时，根据所述位置信息、所述姿态指令以及所述清洁机器人相对于人体的位置信息，可以获得三条导航路线，且该三条导航路线覆盖的未清洁区域对应的栅格数依次增加，处理装置选择第三条导航路控制所述清洁机器人向远离所述人体的方向移动。
在一些实施例中，所述移动机器人的控制方法还包括验证发出所述姿态指令的人体的权限的步骤，以防止无权限的用户对所述移动机器人的误操作，保障移动机器人使用的安全性。其中，可采用预先录入具有使用权限的用户的脸部图像的方式；或者在所述移动机器人移动期间统计已识别的用户脸部图像的图像特征，并将所统计占比超过预设统计阈值的用户脸部图像的图像特征确定为具有使用权限的用户的脸部图像等。
在一些示例中，当所述移动机器人确定在所述视觉传感装置所摄取的空间范围内有人体时，即根据预先录入的脸部图像对所述人体进行面部识别，以判断当前人体是否为对所述移动机器人具有操作权限的人体，当当前人体不具有对所述移动机器人的操作权限时，忽略当前检测到的人体，且不对当前人体发出的姿态进行识别。当当前人体具有对所述移动机器人的操作权限时，进一步执行所述步骤S3和步骤S4，以对该人体发出的姿态指令进行识别，并根据识别的姿态指令控制所述移动机器人执行相应的操作。其中，在步骤S3中，识别姿态指令的方式进一步包括：根据所识别的具有权限的人体在图像中的位置区域，在后续获取的至少一幅图像中识别所述姿态指令。例如，根据移动机器人的移动方向和移动位移，估计所述具有权限的人体在图像中的位置区域在后续获得的至少一幅图像中的对应位置区域，并在所估计的位置区域内识别所述姿态指令，以提高识别效率。又如，利用图像跟踪技术，估计所述具有权限的人体在后续获得的至少一幅图像中的对应位置区域，并在所估计的位置区域内识别所述姿态指令。
当所识别出的具有权限的人体为多个时，所述移动机器人可以选择并追踪任一具有权限的人体，并通过执行步骤S3和S4来执行相应人体所发出的姿态指令。
在一些示例中，所述移动机器人以所识别出的具有权限的人体在图像中所占位置区域的比例选择其中一个具有权限的人体，并通过执行步骤S3和S4来执行相应人体所发出的姿态指令。例如，所述移动机器人当识别出三个具有权限的人体时，在识别所述人体的图像中确定三个人体的图像区域在所述图像中各自占用的像素比例，并选择其中最大像素比例所对应的人体作为姿态指令的发出者，进而通过在后续图像中估计相应人体在图像中的位置区域，来识别姿态指令，并基于所识别的姿态指令执行相应操作。
在另一些示例中，所述移动机器人按照经测量得到的移动机器人与具有权限的各人体之间的距离，选择并追踪其中一个具有权限的人体所发出的姿态指令。例如，所述移动机器人选择响应最近的具有权限的人体所发出的姿态指令。其中，测量所述移动机器人与具有权限的各人体之间的距离的方式包括但不限于利用前述任一中定位所述位置信息的方式来确定所述移动机器人与具有权限的各人体之间的距离。例如，所述移动机器人通过识别图像中的人脸，验证各具有权限的人体，并结合装配在移动机器人的三维测量装置，来测量各具有权限的人体相对于移动机器人的位置信息，根据所得到的相对位置信息选择距离移动机器人最近的具有权限的人体，并识别其所发出的姿态指令。
在上述任一种移动机器人与用户的交互过程中，为及时确认用户所发出的姿态指令，所述方法还包括：向用户展示响应所述姿态指令的步骤。其中，所述姿态指令包括但不限于前述任一示例中所提及的姿态指令。所述向用户展示响应姿态指令的方式可包括以下至少一种：通过控制设置在移动机器人上的声、光等装置向用户展示对姿态指令的响应；利用移动机器人所通信连接的多媒体设备向用户展示对姿态指令的响应；以及控制移动器机人的移动装置执行预设的响应动作等。
例如，移动机器人在基于姿态指令执行相应操作同时或之前，通过调节设置在移动机器人表面的LED的灯光亮度、颜色等来向用户展示执行了相应姿态指令。又如，移动机器人预先与智能终端通信连接，当移动机器人基于姿态指令执行相应操作的同时或之前，通过指示所述智能终端的麦克风、振动器等执行相应操作，以向用户展示响应所述姿态指令。再如，移动机器人在基于姿态指令执行相应操作同时或之前，按照预设响应动作来向用户展示执行了相应姿态指令，其中，响应动作举例包括：转圈、前后反复移动、左右摇摆等。
对于清洁机器人来说，除了能够响应上述任一示例所提供的姿态指令和权限验证之外，还可执行基于姿态指令调整所述移动机器人中清洁装置当前所处的状态的步骤。其中，在一些清洁机器人的工作场景下，当清洁机器人按照预设导航路线执行清扫操作期间，其清洁装置中的电机产生的噪声将影响用户，故而，当用户发出的姿态指令表示控制清洁机器人降低噪声时，所述移动机器人根据该姿态指令调整所述清洁装置当前的状态。所述清洁装置的状态按照清洁模式分可分为强吸模式的状态、安静模式的状态；按照运行情况分可分为包括但不限于开启状态、关闭状态、待机状态等。其中，低噪状态可对应于安静模式的状态、关闭状态、待机状态等噪声分贝低于预设分贝阈值所处的状态。
其中，使清洁机器人的噪声高于分贝阈值的原因主要在于其中清洁装置的运行。所述清洁装置至少包括清扫组件和吸尘组件。所述清扫组件可包括位于所述清洁机器人的壳体的底部的清洁边刷以及与用于控制所述清洁边刷的边刷电机，其中，所述清洁边刷的数量可为两个，分别对称设置于所述壳体后端的相对两侧，所述清洁边刷可采用旋转清洁边刷，可在所述边刷电机的控制下作旋转。所述吸尘组件可包括集尘室和吸尘器，其中，所述集尘室内置于所述壳体，所述吸尘器包括真空泵，所述吸尘器的出气口与所述集尘室连通，所述吸尘器的进气口设于所述壳体的底部。
在一些实施方式中，为便于与清洁机器人交互，所述清洁机器人还包括语音处理装置，其用于识别语音指令。其中，所述语音处理装置可包含语音输入单元和识别单元。所述语音输入单元举例为麦克风。识别单元举例为与麦克风相连的处理器，所述处理器可与清洁机器人中的处理装置中的处理器共用或单独配置。在一些示例中，所述识别单元获取语音输入单元所提供的语音信息，并将所述语音信息转换为文字信息，从而提取其中的语音指令。在另一些示例中，所述识别单元将所获取的语音信息输送至用于识别语音指令的神经网络，由此得到相应的语音指令。
在清洁装置(如真空泵等)工作期间，其产生的噪声分贝值高于所述分贝阈值，这使得设置所述语音处理装置持续地处于高噪声环境，在此期间语音处理装置难于从所收集的语音信号中识别语音指令。例如，在清洁机器人执行清洁操作期间，由于清洁装置的噪声分贝值高于分别阈值，故而，利用公开号为KR1020150014237A专利文件所提及的清洁机器人的控制方案，使用带有方向性的语音输入单元来获取语音指令的识别准确率极低，从而导致无法利用该方案与清洁机器人进行直接交互。
为此，在一些实施例中，所述姿态指令还包括降噪姿态指令，所述降噪姿态指令对应的人体姿态。例如所述降噪姿态指令为用户的用户双手在胸前保持交叉姿势。根据所述降噪姿态指令，所述处理装置控制所述清洁机器人的清洁装置转为处于低噪声状态。举例根据所述降噪姿态指令，处理装置令所述真空泵停止运行。或者所述真空泵的运行有多个档位，所述处理装置还可根据所述降噪姿态指令，控制所述真空泵的运行档位降低至预设的低噪声档位。
当基于姿态指令调整所述移动机器人中清洁装置处于低噪状态时，所述方法还包括：获取语音指令，并基于所获取的语音指令控制所述移动机器人执行相应操作的步骤。例如，所述语音指令中包含对应所述清洁机器人所在空间范围的实体对象信息，该实体对象信息还可预先根据图像识别和定位方法标识于所述清洁机器人所处的地图中。所述语音指令例如为“去桌子处打扫”，则清洁机器人根据桌子这一实体对象信息，规划其当前位置移动至桌子处的导航路线，且根据当前规划的导航路线控制清洁机器人移动至桌子处执行清洁操作。所述语音指令还可例如为“桌子”，则清洁机器人根据桌子这一实体对象信息，规划其当前位置移动至桌子处的导航路线，且根据当前规划的导航路线控制清洁机器人移动至桌子处，默认该清洁机器人移动至桌子处后执行清洁操作。在清洁装置处于低噪状态时，获取语音指令，可以防止所述清洁装置在运行过程中产生的噪音，而导致无法准确获取所述语音指令。
本申请的移动机器人的控制方法，对视觉传感装置所摄取的图像进行识别，且判断该视觉传感装置所摄取的空间范围内存在人体时，根据关于该人体的至少一幅图像来确定该人体发出的姿态指令，且根据该姿态指令控制移动机器人执行相应操作。本申请的移动机器人的控制方法，可以准确的识别人的姿态指令，提高移动机器人指令执行的准确性，并根据姿态指令实时控制移动机器人的运行，以改善移动机器人与用户的互动性，提高移动机器人运行的人性化，增强用户体验。
参阅图6，图6显示为本申请的移动机器人在一具体实施例中的组成示意图。移动机器人10包括视觉传感装置11、执行装置12、以及控制装置13。
所述视觉传感装置11用于获取图像。其中，所述视觉传感装置11为摄像装置或TOF传感器等可利用二维或三维数据描绘空间范围内物体表面形状、颜色、结构等。所述移动机器人10包括但不限于：家庭陪伴式移动机器人、清洁机器人、巡逻式移动机器人、擦玻璃的机器人等。
其中，所述移动机器人10至少包括一个摄像装置。所述摄像装置在移动机器人10所在位置摄取视场范围内的图像。在一些实施例中，所述摄像装置设置于所述移动机器人10顶部、肩部或背部，且主光轴垂直于所述移动机器人10的行进平面、或主光轴与所述移动机器人10的行进方向一致。在另一些实施例中，所述主光轴还可与所述移动机器人10的行进方向在垂直于所述行进平面的方向上呈一定的夹角(比如0°至90°之间的夹角)的设置，以获得更大的摄像范围。在又一些实施例中，所述摄像装置的主光轴的设置还可以有很多其他的方式，例如摄像装置可以以一定的规律或者随机的进行转动，此时摄像装置的光轴与移动机器人10行进方向的角度则处于时刻变化的状态，所以所述摄像装置的安装方式以及摄像装置的主光轴的状态不以本实施例中的列举为限。在此，所述移动机器人10包含至少一个摄像装置，其可按照上述任一实施例所提供的装配方式装配在移动机器人10上，并用于获取执行所述控制方法所需的图像。所述摄像装置包括但不限于：照相机、视频摄像机、集成有光学系统或CCD芯片的摄像模块、集成有光学系统和CMOS芯片的摄像模块等。又或者所述摄像装置包括但不限于鱼眼摄像模块、广角(或非广角)摄像模块中的任一种。
所述TOF传感器基于TOF技术。TOF技术属于光学非接触式三维深度测量感知方式中的一种，其具有构成面阵列的照射单元，每个照射单元用于探测相应测量点的深度数据。其中，单个照射单元举例通过给目标连续发送光脉冲，然后接收从物体返回的光，通过探测这些发射和接收光脉冲的飞行(往返)时间来得到目标物距离。TOF的各照射单元都是对光进行高频调制之后再进行发射，一般采用LED或激光(包含激光二极管和VCSEL(VerticalCavity Surface Emitting Laser，垂直腔面发射激光器))来发射高性能脉冲光，本申请的实施例中，采用激光来发射高性能脉冲光。脉冲可达到100MHz左右，主要采用红外光。TOF传感器应用的原理有以下两类，1)基于光学快门的方法；主要实现方式为：发射一束脉冲光波，通过光学快门快速精确获取照射到三维物体后反射回来的光波的时间差t，由于光速c已知，只要知道照射光和接收光的时间差，来回的距离可以通过公示d＝t/2·c。2)基于连续波强度调制的方法；主要实现方式为：发射一束照明光，利用发射光波信号与反射光波信号的相位变化来进行距离测量。其中，照射单元中的照明模组的波长一般是红外波段，且需要进行高频率调制。照射单元中的感光模组与普通手机摄像模组类似，由芯片，镜头，线路板等部件构成，TOF感光芯片每一个像元对发射光波的往返相机与物体之间的具体相位分别进行记录，通过数据处理单元提取出相位差，由公式计算出深度信息。TOF传感器的体积小，可以直接输出被探测物体的深度数据，且TOF传感器的深度计算结果不受物体表面灰度和特征的影响，可以非常准确的进行三维探测，利用深度数据及所对应的测量点阵位置得到可直接用于监测的图像，或将各测量点阵位置的深度数据进行被平滑处理后，得到用于监测的图像。所述TOF传感器可安装于所述移动机器人10的体侧。
所述执行装置12用于基于所接收的控制指令执行相应操作。
所述控制装置13与所述视觉传感装置11相连，所述控制装置13为一种能够进行数值运算、逻辑运算及数据分析的电子设备，其包括但不限于：CPU、GPU、FPGA等，以及用于暂存运算期间所产生的中间数据的易失性存储器等。所述控制装置13用于执行控制方法，以向所述执行装置12输出对应所述姿态指令的控制指令。所述控制方法参阅图1及关于图1的相关描述，在此不加赘述。
在一些实施例中，所述执行装置12包括移动装置，移动装置可包括行走机构和行走驱动机构，所述行走机构可设置于所述移动机器人10本体的底部，所述行走驱动机构内置于所述机器人本体内。所述行走机构可例如包括两个直行行走轮和至少一个辅助转向轮的组合，所述两个直行行走轮分别设于机器人本体的底部的相对两侧，所述两个直行行走轮可分别由对应的两个行走驱动机构实现独立驱动，即，左直行行走轮由左行走驱动机构驱动，右直行行走轮由右行走驱动机构驱动。所述的万向行走轮或直行行走轮可具有偏置下落式悬挂系统，以可移动方式紧固，例如以可旋转方式安装到机器人本体上，且接收向下及远离机器人本体偏置的弹簧偏置。所述弹簧偏置允许万向行走轮或直行行走轮以一定的着地力维持与地面的接触及牵引。在实际的应用中，所述至少一个辅助转向轮未参与的情形下，所述两个直行行走轮主要用于前进和后退，而在所述至少一个辅助转向轮参与并与所述两个直行行走轮配合的情形下，就可实现转向和旋转等移动。所述行走驱动机构可包括驱动电机和控制所述驱动电机的控制电路，利用所述驱动电机可驱动所述行走机构中的行走轮实现移动。在具体实现上，所述驱动电机可例如为可逆驱动电机，且所述驱动电机与所述行走轮的轮轴之间还可设置有变速机构。所述行走驱动机构可以可拆卸地安装到机器人本体上，方便拆装和维修。
所述控制装置13执行基于姿态指令控制所述移动机器人10执行相应操作的步骤包括：在确定所述姿态指令时，定位相应人体相对于移动机器人10的位置信息；以及基于所述位置信息和所述姿态指令，向所述执行装置12输出包含相应移动操作的控制指令。
其中，所述在确定所述姿态指令时，定位相应人体相对于移动机器人10的位置信息的步骤中，当所确定的姿态指令包括使移动机器人10移动的移动指令，特别是所包含的移动指令为使移动机器人10相对于人体进行移动的移动指令时，定位所述人体相对于移动机器人10的位置信息。例如，若所述姿态指令为令所述移动机器人10执行靠近人体的移动，则定位人体相对于移动机器人10的位置信息，并确定执行靠近人体的导航路线。又如，若所述人体姿态为令所述移动机器人10执行远离人体的移动，则定位人体相对于移动机器人10的位置信息，并确定执行远离人体的导航路线。
其中，定位所述位置信息的方式包括但不限于：1)预先构建图像坐标系与物理空间坐标系的对应关系，获取当前时刻图像帧和上一时刻图像帧中相匹配的人体特征的位置，并依据所述对应关系和所述位置确定机器人相对于人体的位置及姿态。在此，可援引公开号为CN107680135A的技术方案来定位移动机器人10相对于人体的位置信息，在此不再详述。
2)利用装配在移动机器人10的三维测量装置，来测量人体相对于移动机器人10的位置信息。例如，利用移动机器人10的多个视觉传感装置11所获取的包含同一人体的图像，并基于该多幅图像测量人体相对于移动机器人10的位置信息。
3)所述移动机器人10上装配有光轴垂直于移动机器人10的移动平面的摄像装置和移动传感装置，其中，所述摄像装置为一种视觉传感装置11，移动传感装置用于测量移动机器人10移动期间的位移和姿态。利用该摄像装置分别在移动机器人10移动至第一位置和第二位置处能够拍摄到人体的位置摄取第一投影图像和第二投影图像，并利用移动传感装置获取第一位置和第二位置的位置信息，其中所述位置信息包括第一位置和第二位置之间的位移、在第一位置时的角度信息和在第二位置时的角度信息等；基于从所述第一投影图像和第二投影图像中所识别出的人体相对于移动机器人10在第一位置及第二位置各自的角度信息、以及所述第一位置和第二位置，确定所述人体相对于移动机器人10的位置信息。
在一些实施例中，所述控制装置13基于所述位置信息和所述姿态指令，向所述执行装置12输出包含相应移动操作的控制指令的步骤还包括：所述控制装置13基于所述位置信息和所述姿态指令，规划移动机器人10的导航路线；以及将包含所述导航路线的控制指令输出至所述执行装置12，以供所述执行装置12依据所述导航路线执行移动操作。
以所述靠近姿态指令对应的人体姿态例如为用户的手掌处于张开状态且掌心面对人体，且根据所述位置信息和靠近姿态指令为例，在识别所述姿态指令后，控制装置13规划第一导航路线，并控制所述移动机器人10的移动装置依据所述第一导航路线向靠近人体的方向移动。以所述远离姿态指令对应的人体姿态例如为用户的手处于握拳状态，且根据所述位置信息和远离姿态指令为例，在识别所述姿态指令后，控制装置13规划第二导航路线，并控制所述移动机器人10的移动装置依据所述第二导航路线向远离人体的方向移动。
对应地，所述基于位置信息和姿态指令，规划移动机器人的导航路线的步骤还包括：基于所述位置信息、所述姿态指令以及未清洁的区域，规划移动机器人的导航路线。在一些实施例中，可提前根据VSLAM(Visual Simultaneous Localization and Mapping，基于视觉的即时定位与地图构建)技术帮助清洁机器人构建地图。所述地图例如为栅格地图，且设定该单位栅格尺寸与物理空间的单位尺寸之间的映射关系，确定清洁机器人与所述清洁机器人所处空间范围内的静态目标之间的位置关系；与此同时，清洁机器人还根据其对应所述栅格地图中的位置实时标记所述栅格地图中已经被所述清洁机器人清洁过的区域或未清洁的区域。
当所识别的姿态指令包含移动指令时，处理装置根据所述位置信息、所述姿态指令以及所述清洁机器人所处空间范围内的未清洁区域，规划导航路线，该导航路线可选择最大化的覆盖所述未清洁区域的导航路线。例如，当所识别的姿态指令表示远离姿态指令，即控制所述移动机器人向远离人体的方向移动时，根据所述位置信息、所述姿态指令以及所述清洁机器人相对于人体的位置信息，可以获得三条导航路线，且该三条导航路线覆盖的未清洁区域对应的栅格数依次增加，处理装置选择第三条导航路控制所述清洁机器人向远离所述人体的方向移动。
在一些实施例中，所述移动机器人的控制装置还验证发出所述姿态指令的人体的权限，以防止无权限的用户对所述移动机器人的误操作，进一步提高用户体验，且保障移动机器人使用的安全性。其中，控制装置可采用预先录入具有使用权限的用户的脸部图像的方式；或者在所述移动机器人移动期间统计已识别的用户脸部图像的图像特征，并将所统计占比超过预设统计阈值的用户脸部图像的图像特征确定为具有使用权限的用户的脸部图像等。
当所述控制装置确定在所述视觉传感装置所摄取的空间范围内有人体时，即根据预先录入的脸部图像对所述人体进行面部识别，以判断当前人体是否为对所述移动机器人具有操作权限的人体，当当前人体不具有对所述移动机器人的操作权限时，忽略当前检测到的人体，且不对当前人体发出的姿态进行识别。当当前人体具有对所述移动机器人的操作权限时，进一步执行前述步骤S3和步骤S4，以对该人体发出的姿态指令进行识别，并根据识别的姿态指令控制所述移动机器人执行相应的操作。其中，在步骤S3中，控制装置识别姿态指令的方式进一步包括：根据所识别的具有权限的人体在图像中的位置区域，在后续获取的至少一幅图像中识别所述姿态指令。例如，根据移动机器人的移动方向和移动位移，控制装置估计所述具有权限的人体在图像中的位置区域在后续获得的至少一幅图像中的对应位置区域，并在所估计的位置区域内识别所述姿态指令，以提高识别效率。又如，控制装置利用图像跟踪技术，估计所述具有权限的人体在后续获得的至少一幅图像中的对应位置区域，并在所估计的位置区域内识别所述姿态指令。
当所识别出的具有权限的人体为多个时，所述控制装置可以选择并追踪任一具有权限的人体，并通过执行步骤S3和S4来执行相应人体所发出的姿态指令。
在一些示例中，所述控制装置以所识别出的具有权限的人体在图像中所占位置区域的比例选择其中一个具有权限的人体，并通过执行步骤S3和S4来执行相应人体所发出的姿态指令。例如，所述控制装置当识别出三个具有权限的人体时，在识别所述人体的图像中确定三个人体的图像区域在所述图像中各自占用的像素比例，并选择其中最大像素比例所对应的人体作为姿态指令的发出者，进而通过在后续图像中估计相应人体在图像中的位置区域，来识别姿态指令，并基于所识别的姿态指令执行相应操作。
在另一些示例中，所述控制装置按照经测量得到的移动机器人与具有权限的各人体之间的距离，选择并追踪其中一个具有权限的人体所发出的姿态指令。例如，所述控制装置选择响应最近的具有权限的人体所发出的姿态指令。其中，测量所述移动机器人与具有权限的各人体之间的距离的方式包括但不限于利用前述任一中定位所述位置信息的方式来确定所述移动机器人与具有权限的各人体之间的距离。例如，所述控制装置通过识别图像中的人脸，验证各具有权限的人体，并结合装配在移动机器人的三维测量装置，来测量各具有权限的人体相对于移动机器人的位置信息，根据所得到的相对位置信息选择距离移动机器人最近的具有权限的人体，并识别其所发出的姿态指令。
在上述任一种移动机器人与用户的交互过程中，为及时确认用户所发出的姿态指令，所述控制装置还执行向用户展示响应所述姿态指令的步骤。其中，所述姿态指令包括但不限于前述任一示例中所提及的姿态指令。
在此，根据所述控制装置与设置在移动机器人的可交互装置的数据连接关系，控制装置向用户展示响应姿态指令的方式可包括以下至少一种：通过控制设置在移动机器人上的声、光等装置向用户展示对姿态指令的响应；利用移动机器人所通信连接的多媒体设备向用户展示对姿态指令的响应；以及控制移动器机人的移动装置执行预设的响应动作等。
例如，控制装置在基于姿态指令执行相应操作同时时或之前，通过调节设置在移动机器人表面的LED的灯光亮度、颜色等来向用户展示执行了相应姿态指令。又如，控制装置预先通过设置在移动机器人中的通信模块与一智能终端通信连接，当控制装置基于姿态指令执行相应操作的同时或之前，通过指示所述智能终端的麦克风、振动器等执行相应操作，以向用户展示响应所述姿态指令。再如，控制装置在基于姿态指令执行相应操作同时或之前，按照预设响应动作控制移动装置，以向用户展示执行了相应姿态指令，其中，响应动作举例包括：转圈、前后反复移动、左右摇摆等。
当移动机器人10为清洁机器人时，控制装置除了能执行前述提及的任一示例的控制操作和权限验证之外，所述控制装置13还可执行基于姿态指令调整所述清洁机器人中清洁装置当前所处的状态的步骤。其中，所述执行装置12还包括清洁装置。在一些清洁机器人的工作场景下，当清洁机器人按照预设导航路线执行清扫操作期间，其清洁装置中的电机产生的噪声将影响用户，故而，当用户发出的姿态指令表示控制清洁机器人降低噪声时，所述移动机器人10的控制装置13根据该姿态指令调整所述清洁装置当前的状态。所述清洁装置的状态按照清洁模式分可分为强吸模式的状态、安静模式的状态；按照运行情况分可分为包括但不限于开启状态、关闭状态、待机状态等。其中，低噪状态可对应于安静模式的状态、关闭状态、待机状态等噪声分贝低于预设分贝阈值所处的状态。
其中，使清洁机器人的噪声高于分贝阈值的原因主要在于其中清洁装置的运行。所述清洁装置至少包括清扫组件和吸尘组件。所述清扫组件可包括位于所述清洁机器人的壳体的底部的清洁边刷以及与用于控制所述清洁边刷的边刷电机，其中，所述清洁边刷的数量可为两个，分别对称设置于所述壳体后端的相对两侧，所述清洁边刷可采用旋转清洁边刷，可在所述边刷电机的控制下作旋转。所述吸尘组件可包括集尘室和吸尘器，其中，所述集尘室内置于所述壳体，所述吸尘器包括真空泵，所述吸尘器的出气口与所述集尘室连通，所述吸尘器的进气口设于所述壳体的底部。
在一些实施方式中，为便于与清洁机器人交互，所述清洁机器人还包括语音处理装置，其用于识别语音指令。其中，所述语音处理装置可包含语音输入单元和识别单元。所述语音输入单元举例为麦克风。识别单元举例为与麦克风相连的处理器，所述处理器可与清洁机器人中的处理装置中的处理器共用或单独配置。在一些示例中，所述识别单元获取语音输入单元所提供的语音信息，并将所述语音信息转换为文字信息，从而提取其中的语音指令。在另一些示例中，所述识别单元将所获取的语音信息输送至用于识别语音指令的神经网络，由此得到相应的语音指令。
在清洁装置(如真空泵等)工作期间，其产生的噪声分贝值高于所述分贝阈值，这使得设置所述语音处理装置持续地处于高噪声环境，在此期间语音处理装置难于从所收集的语音信号中识别语音指令。例如，在清洁机器人执行清洁操作期间，由于清洁装置的噪声分贝值高于分别阈值，故而，利用公开号为KR1020150014237A专利文件所提及的清洁机器人的控制方案，使用带有方向性的语音输入单元来获取语音指令的识别准确率极低，从而导致无法利用该方案与清洁机器人进行直接交互。
在所述控制装置13基于姿态指令调整所述清洁系统处于低噪状态时，基于所获取的语音指令控制所述执行装置12执行相应操作。例如，所述语音指令中包含对应所述清洁机器人所在空间范围的实体对象信息，该实体对象信息还可预先根据图像识别和定位方法标识于所述清洁机器人所处的地图中。所述语音指令例如为“去桌子处打扫”，则清洁机器人根据桌子这一实体对象信息，规划其当前位置移动至桌子处的导航路线，且根据当前规划的导航路线控制清洁机器人移动至桌子处执行清洁操作。所述语音指令还可例如为“桌子”，则清洁机器人根据桌子这一实体对象信息，规划其当前位置移动至桌子处的导航路线，且根据当前规划的导航路线控制清洁机器人移动至桌子处，默认该清洁机器人移动至桌子处后执行清洁操作。在清洁装置处于低噪状态时，获取语音指令，可以防止所述清洁装置在运行过程中产生的噪音，而导致无法准确获取所述语音指令。
参阅图7，图7显示为本申请的用于移动机器人的控制装置在一具体实施例中的组成示意图。
所述移动机器人包括视觉传感装置和执行装置。所述移动机器人包括但不限于：家庭陪伴式移动机器人、清洁机器人、巡逻式移动机器人、擦玻璃的机器人等。其中，所述视觉传感装置包括摄像装置或TOF传感器等可利用二维或三维数据描绘空间范围内物体表面形状、颜色、结构等。所述执行装置例如包括移动装置和清洁装置。
在此，所述控制装置20包括输入单元21、存储单元22、处理单元23以及输出单元24。
所述输入单元21用于接收自所述视觉传感装置所摄取的图像，所述视觉传感装置在所述移动机器人所在位置摄取视场范围内的图像。
所述存储单元22用于存储至少一个程序以及来自移动机器人的视觉传感装置所摄取的图像；所述存储单元22可包括高速随机存取存储器，并且还可包括非易失性存储器，例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。在某些实施例中，存储单元22还可以包括远离一个或多个处理单元23的存储单元22，例如经由RF电路或外部端口以及通信网络访问的网络附加存储单元22，其中所述通信网络可以是因特网、一个或多个内部网、局域网(LAN)、广域网(WLAN)、存储局域网(SAN)等，或其适当组合。
所述处理单元23用于调用所述至少一个程序并执行控制方法。所述处理装置23为一种能够进行数值运算、逻辑运算及数据分析的电子设备，其包括但不限于：CPU、GPU、FPGA等。所述控制方法参阅图1及关于图1的相关描述，在此不加赘述。
所述输出单元24用于将所述处理单元23执行所述控制方法所产生的控制指令输出至相应执行装置。
本申请另一实施例中，还公开一种计算机可读的存储介质，所述计算机可读的存储介质存储至少一种程序，所述至少一种程序在被调用时执行所述控制方法。其中，所述控制方法参阅图1及关于图1的相关描述，在此不加赘述。
另外需要说明的是，通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请的部分或全部可借助软件并结合必需的通用硬件平台来实现。基于这样的理解，本申请还提供一种计算机存储介质，所述存储介质存储有至少一个程序，所述程序在被调用时执行前述的任一所述的导航方法。
基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可包括其上存储有机器可执行指令的一个或多个机器可读介质，这些指令在由诸如计算机、计算机网络或其他电子设备等一个或多个机器执行时可使得该一个或多个机器根据本申请的实施例来执行操作。例如执行机器人的控制方法中的各步骤等。机器可读介质可包括，但不限于，软盘、光盘、CD-ROM(紧致盘-只读存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、或适于存储机器可执行指令的其他类型的介质/机器可读介质。其中，所述存储介质可位于机器人也可位于第三方服务器中，如位于提供某应用商城的服务器中。在此对具体应用商城不做限制，如小米应用商城、华为应用商城、苹果应用商城等。
本申请可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims (23)

1.一种移动机器人的控制方法，其中，所述移动机器人包含视觉传感装置，其特征在于，包括：
监测来自所述视觉传感装置的图像；
识别所述图像以确定在所述视觉传感装置所摄取的空间范围内是否有人体；
当确定在所述空间范围内有所述人体时，通过检测来自所述视觉传感装置的至少一幅图像来确定藉由所述人体发出的姿态指令；
基于所述姿态指令控制所述移动机器人执行相应操作。
2.根据权利要求1所述的移动机器人的控制方法，其特征在于，所述识别所述图像以确定在所述视觉传感装置所摄取的空间范围内是否有人体的步骤包括：识别所述图像以确定在所述视觉传感装置所摄取的空间范围内是否有面向所述移动机器人的人体。
3.根据权利要求1或2所述的移动机器人的控制方法，其特征在于，所述识别图像以确定在所述视觉传感装置所摄取的空间范围内是否有人体的步骤包括：
利用经机器学习而设置的第一算法，识别所监测的图像；其中，所述第一算法是利用包含面部的人体图像的样本图像进行机器学习而得的；
根据识别结果确定在所述空间范围内是否有面向所述移动机器人的人体。
4.根据权利要求1或2所述的移动机器人的控制方法，其特征在于，所述识别图像以确定在所述视觉传感装置所摄取的空间范围内是否有人体的步骤包括：
在所述移动机器人移动期间，根据对所监测的至少两幅图像的比对结果，得到相对于静态目标发生移动行为的人体及其移动信息；其中所述人体在所述至少两幅图像中呈现的位置具有不确定变化属性。
5.根据权利要求1所述的移动机器人的控制方法，其特征在于，所述通过检测来自所述视觉传感装置的至少一幅图像来确定藉由人体发出的姿态指令的步骤包括：
获取在一检测时长内的至少一幅图像；
检测所述至少一幅图像以确定藉由人体所发出的姿态指令。
6.根据权利要求5所述的移动机器人的控制方法，其特征在于，所述检测至少一幅图像以确定藉由人体所发出的姿态指令的步骤包括：
检测依时序所获取的至少一幅图像以确定人体所发出的候选姿态指令，并重复上述检测步骤，以得到对应每次执行的多个候选姿态指令；
基于所得到的多个候选姿态指令确定藉由人体所发出的姿态指令。
7.根据权利要求1或5所述的移动机器人的控制方法，其特征在于，所述通过检测来自所述视觉传感装置的至少一幅图像来确定藉由人体发出的姿态指令的步骤包括：
利用经机器学习而设置的第二算法检测所述至少一幅图像以确定藉由人体发出的姿态指令。
8.根据权利要求1所述的移动机器人的控制方法，其特征在于，所述姿态指令包括以下至少一种：靠近姿态指令、远离姿态指令、降噪姿态指令。
9.根据权利要求1所述的移动机器人的控制方法，其特征在于，还包括验证发出所述姿态指令的人体的权限的步骤。
10.根据权利要求1所述的移动机器人的控制方法，其特征在于，所述验证发出姿态指令的人体的权限的步骤包括：当经验证确定具有权限的人体为多个时，选择其中一个具有权限的人体，以便识别所选择的具有权限的人体的姿态指令，并执行相应操作。
11.根据权利要求1所述的移动机器人的控制方法，其特征在于，所述基于姿态指令控制所述移动机器人执行相应操作的步骤包括：
在确定所述姿态指令时，定位相应人体相对于移动机器人的位置信息；
基于所述位置信息和所述姿态指令，控制移动机器人的移动操作。
12.根据权利要求11所述的移动机器人的控制方法，其特征在于，所述基于位置信息和姿态指令，控制移动机器人的移动操作的步骤包括：
基于所述位置信息和所述姿态指令，规划移动机器人的导航路线；
依据所规划的导航路线控制移动机器人的移动操作。
13.根据权利要求12所述的移动机器人的控制方法，其特征在于，所述移动机器人为清洁机器人；对应地，所述基于位置信息和姿态指令，规划移动机器人的导航路线的步骤包括：基于所述位置信息、所述姿态指令以及未清洁的区域，规划移动机器人的导航路线。
14.根据权利要求1所述的移动机器人的控制方法，其特征在于，所述移动机器人为清洁机器人；对应地，所述基于姿态指令控制所述移动机器人执行相应操作的步骤包括：
基于姿态指令调整所述移动机器人中清洁装置当前所处的状态。
15.根据权利要求14所述的移动机器人的控制方法，其特征在于，当基于姿态指令调整所述移动机器人中清洁装置处于低噪状态时，还包括：获取语音指令，并基于所获取的语音指令控制所述移动机器人执行相应操作。
16.一种移动机器人，其特征在于，包括：
视觉传感装置，用于获取图像；
执行装置，用于基于所接收的控制指令执行相应操作；
控制装置，与所述视觉传感装置相连，用于执行如权利要求1-10中任一所述的控制方法，以向所述执行装置输出对应所述姿态指令的控制指令。
17.根据权利要求16所述的移动机器人，其特征在于，所述控制装置执行基于姿态指令控制所述移动机器人执行相应操作的步骤包括：
在确定所述姿态指令时，定位相应人体相对于移动机器人的位置信息；
基于所述位置信息和所述姿态指令，向所述执行装置输出包含相应移动操作的控制指令。
18.根据权利要求17所述的移动机器人，其特征在于，所述执行装置包括移动装置；所述控制装置执行基于位置信息和所述姿态指令，向所述执行装置输出包含相应移动操作的控制指令的步骤包括：
基于所述位置信息和所述姿态指令，规划移动机器人的导航路线；
将包含所述导航路线的控制指令输出至所述执行装置，以供所述执行装置依据所述导航路线执行移动操作。
19.根据权利要求18所述的移动机器人，其特征在于，所述移动机器人为清洁机器人；对应地，所述控制装置执行基于位置信息和姿态指令，规划移动机器人的导航路线的步骤包括：基于所述位置信息、所述姿态指令以及未清洁的区域，规划移动机器人的导航路线。
20.根据权利要求16所述的移动机器人，其特征在于，所述执行装置包括清洁装置；对应地，所述控制装置基于姿态指令控制所述移动机器人执行相应操作的步骤包括：
基于姿态指令调整所述清洁装置当前所处的状态。
21.根据权利要求20所述的移动机器人，其特征在于，还包括：语音处理装置，用于获取语音指令；
当述基于姿态指令调整所述清洁系统处于低噪状态时，所述控制装置还基于所获取的语音指令控制所述执行装置执行相应操作。
22.一种用于移动机器人的控制装置，其中，所述移动机器人包括视觉传感装置和执行装置，其特征在于，所述控制装置包括：
输入单元，用于接收自所述视觉传感装置所摄取的图像；
存储单元，用于存储至少一个程序以及来自移动机器人的视觉传感装置所摄取的图像；
处理单元，用于调用所述至少一个程序并执行如权利要求1-14中任一所述的控制方法；
输出单元，用于将所述处理单元执行所述控制方法所产生的控制指令输出至相应执行装置。
23.一种计算机存储介质，其特征在于，存储至少一种程序，所述至少一种程序在被调用时执行如权利要求1-15中任一所述的控制方法。
CN201980000368.9A 2019-01-04 2019-01-04 移动机器人的控制方法、装置、移动机器人及存储介质 Expired - Fee Related CN109890573B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210301317.3A CN114603559A (zh) 2019-01-04 2019-01-04 移动机器人的控制方法、装置、移动机器人及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/070418 WO2020140271A1 (zh) 2019-01-04 2019-01-04 移动机器人的控制方法、装置、移动机器人及存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210301317.3A Division CN114603559A (zh) 2019-01-04 2019-01-04 移动机器人的控制方法、装置、移动机器人及存储介质

Publications (2)

Publication Number Publication Date
CN109890573A true CN109890573A (zh) 2019-06-14
CN109890573B CN109890573B (zh) 2022-05-03

Family

ID=66938508

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980000368.9A Expired - Fee Related CN109890573B (zh) 2019-01-04 2019-01-04 移动机器人的控制方法、装置、移动机器人及存储介质
CN202210301317.3A Pending CN114603559A (zh) 2019-01-04 2019-01-04 移动机器人的控制方法、装置、移动机器人及存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210301317.3A Pending CN114603559A (zh) 2019-01-04 2019-01-04 移动机器人的控制方法、装置、移动机器人及存储介质

Country Status (3)

Country Link
US (1) US10545497B1 (zh)
CN (2) CN109890573B (zh)
WO (1) WO2020140271A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110320911A (zh) * 2019-07-01 2019-10-11 百度在线网络技术（北京）有限公司 无人车控制方法、装置、无人车及存储介质
CN110815221A (zh) * 2019-11-11 2020-02-21 路邦科技授权有限公司 一种仿生机器人的安全控制系统及其控制方法
CN110967196A (zh) * 2019-11-21 2020-04-07 清华大学苏州汽车研究院（相城） 一种汽车碰撞试验中假人膝部位移测量方法
CN111089590A (zh) * 2019-12-09 2020-05-01 泉州装备制造研究所 一种视觉和激光融合的移动机器人跟踪人腿方法
CN111752294A (zh) * 2019-08-27 2020-10-09 广州极飞科技有限公司 一种飞行控制方法及相关装置
CN113116224A (zh) * 2020-01-15 2021-07-16 科沃斯机器人股份有限公司 机器人及其控制方法
CN113509104A (zh) * 2021-04-25 2021-10-19 珠海格力电器股份有限公司 一种清扫方法、存储介质和清洁机器人
CN113509102A (zh) * 2020-04-10 2021-10-19 松下知识产权经营株式会社 吸尘器系统和吸尘器
CN113679298A (zh) * 2021-08-27 2021-11-23 美智纵横科技有限责任公司 机器人的控制方法、控制装置、机器人和可读存储介质
CN113854904A (zh) * 2021-09-29 2021-12-31 北京石头世纪科技股份有限公司 清洁设备的控制方法、装置、清洁设备和存储介质
CN114680732A (zh) * 2020-12-25 2022-07-01 苏州宝时得电动工具有限公司 一种清洁机器人及其清洁控制方法
CN114764420A (zh) * 2022-04-07 2022-07-19 青岛沃柏斯智能实验科技有限公司 一种实验室集成照明管理系统

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7289309B2 (ja) * 2018-09-06 2023-06-09 株式会社 資生堂 画像解析装置、画像解析方法およびプログラム
US10747314B1 (en) * 2019-04-02 2020-08-18 GM Global Technology Operations LLC Tracking system with infrared camera
CN112069863B (zh) * 2019-06-11 2022-08-19 荣耀终端有限公司 一种面部特征的有效性判定方法及电子设备
JP7415356B2 (ja) * 2019-07-29 2024-01-17 セイコーエプソン株式会社 プログラム移送システムおよびロボットシステム
CN112336295A (zh) * 2019-08-08 2021-02-09 上海安翰医疗技术有限公司 磁性胶囊内窥镜的控制方法、装置、存储介质、电子装置
CN112686981B (zh) * 2019-10-17 2024-04-12 华为终端有限公司 画面渲染方法、装置、电子设备及存储介质
US11679497B2 (en) * 2020-05-21 2023-06-20 Intrinsic Innovation Llc Distributed robotic demonstration learning
CN111917178B (zh) * 2020-06-23 2023-07-14 国网浙江乐清市供电有限公司 一种运维一体化变电站的巡视方法
US20220184801A1 (en) * 2020-12-14 2022-06-16 Honda Research Institute Europe Gmbh Controlling an autonomous working device based on physical interaction
CN113093732B (zh) * 2021-03-12 2023-02-24 武汉联一合立技术有限公司 智能消杀系统及方法
CN113295156A (zh) * 2021-05-08 2021-08-24 西安达升科技股份有限公司 一种agv融合导航系统及方法
CN113442110A (zh) * 2021-07-23 2021-09-28 上海中通吉网络技术有限公司 快递超市自动取件机器人及其工作方法
CN113487603A (zh) * 2021-07-28 2021-10-08 佛山市南海区广工大数控装备协同创新研究院 一种基于目标检测算法的配件装包检查方法
CN114219832B (zh) * 2021-11-29 2023-04-07 浙江大华技术股份有限公司 人脸跟踪方法、装置及计算机可读存储介质
CN114571490A (zh) * 2022-01-24 2022-06-03 深圳银星智能集团股份有限公司 机器人系统、机器人系统的控制方法及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6957712B2 (en) * 2001-04-18 2005-10-25 Samsung Gwangju Electronics Co., Ltd. Robot cleaner, system employing the same and method for re-connecting to external recharging device
CN106584472A (zh) * 2016-11-30 2017-04-26 北京贝虎机器人技术有限公司 用于控制自主移动式设备的方法及装置
CN107480600A (zh) * 2017-07-20 2017-12-15 中国计量大学 一种基于深度卷积神经网络的手势识别方法
CN107498555A (zh) * 2017-08-11 2017-12-22 上海思依暄机器人科技股份有限公司 一种动作透传方法、装置及机器人
EP3159123A4 (en) * 2014-06-17 2018-08-08 Yujin Robot Co., Ltd. Device for controlling driving of mobile robot having wide-angle cameras mounted thereon, and method therefor
CN108888204A (zh) * 2018-06-29 2018-11-27 炬大科技有限公司 一种扫地机器人呼唤装置及呼唤方法
CN109033978A (zh) * 2018-06-28 2018-12-18 济南大学 一种基于纠错策略的cnn-svm混合模型手势识别方法
CN109086754A (zh) * 2018-10-11 2018-12-25 天津科技大学 一种基于深度学习的人体姿态识别方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10058786A1 (de) * 2000-11-27 2002-06-13 Philips Corp Intellectual Pty Verfahren zum Steuerung eines eine akustische Ausgabeeinrichtung aufweisenden Geräts
JP3996015B2 (ja) * 2002-08-09 2007-10-24 本田技研工業株式会社 姿勢認識装置及び自律ロボット
CN100417223C (zh) * 2005-12-30 2008-09-03 浙江工业大学 基于全方位视觉传感器的智能安保装置
TW201123031A (en) * 2009-12-24 2011-07-01 Univ Nat Taiwan Science Tech Robot and method for recognizing human faces and gestures thereof
CN102193621A (zh) * 2010-03-17 2011-09-21 三星电子（中国）研发中心 基于视觉的交互式电子设备控制系统及其控制方法
CN102945672B (zh) * 2012-09-29 2013-10-16 深圳市国华识别科技开发有限公司 一种多媒体设备语音控制系统及方法
KR102094347B1 (ko) 2013-07-29 2020-03-30 삼성전자주식회사 자동 청소 시스템, 청소 로봇 및 그 제어 방법
CN105334851A (zh) * 2014-08-12 2016-02-17 深圳市银星智能科技股份有限公司 一种可感应手势的移动设备
CN106569489A (zh) * 2015-10-13 2017-04-19 录可系统公司 具有视觉导航功能的扫地机器人及其导航方法
TW201839557A (zh) * 2017-04-24 2018-11-01 金寶電子工業股份有限公司 執行互動功能的電子裝置及其執行方法
CN107450729B (zh) * 2017-08-10 2019-09-10 上海木木机器人技术有限公司 机器人交互方法及装置
US10436590B2 (en) 2017-11-10 2019-10-08 Ankobot (Shanghai) Smart Technologies Co., Ltd. Localization system and method, and robot using the same
CN108724203A (zh) * 2018-03-21 2018-11-02 北京猎户星空科技有限公司 一种交互方法及装置
CN108670128A (zh) * 2018-05-21 2018-10-19 深圳市沃特沃德股份有限公司 语音控制扫地机器人的方法和扫地机器人

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6957712B2 (en) * 2001-04-18 2005-10-25 Samsung Gwangju Electronics Co., Ltd. Robot cleaner, system employing the same and method for re-connecting to external recharging device
EP3159123A4 (en) * 2014-06-17 2018-08-08 Yujin Robot Co., Ltd. Device for controlling driving of mobile robot having wide-angle cameras mounted thereon, and method therefor
CN106584472A (zh) * 2016-11-30 2017-04-26 北京贝虎机器人技术有限公司 用于控制自主移动式设备的方法及装置
CN107480600A (zh) * 2017-07-20 2017-12-15 中国计量大学 一种基于深度卷积神经网络的手势识别方法
CN107498555A (zh) * 2017-08-11 2017-12-22 上海思依暄机器人科技股份有限公司 一种动作透传方法、装置及机器人
CN109033978A (zh) * 2018-06-28 2018-12-18 济南大学 一种基于纠错策略的cnn-svm混合模型手势识别方法
CN108888204A (zh) * 2018-06-29 2018-11-27 炬大科技有限公司 一种扫地机器人呼唤装置及呼唤方法
CN109086754A (zh) * 2018-10-11 2018-12-25 天津科技大学 一种基于深度学习的人体姿态识别方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110320911A (zh) * 2019-07-01 2019-10-11 百度在线网络技术（北京）有限公司 无人车控制方法、装置、无人车及存储介质
CN111752294A (zh) * 2019-08-27 2020-10-09 广州极飞科技有限公司 一种飞行控制方法及相关装置
CN111752294B (zh) * 2019-08-27 2021-06-15 广州极飞科技股份有限公司 一种飞行控制方法及相关装置
CN110815221A (zh) * 2019-11-11 2020-02-21 路邦科技授权有限公司 一种仿生机器人的安全控制系统及其控制方法
CN110967196A (zh) * 2019-11-21 2020-04-07 清华大学苏州汽车研究院（相城） 一种汽车碰撞试验中假人膝部位移测量方法
CN111089590A (zh) * 2019-12-09 2020-05-01 泉州装备制造研究所 一种视觉和激光融合的移动机器人跟踪人腿方法
CN111089590B (zh) * 2019-12-09 2021-10-15 泉州装备制造研究所 一种视觉和激光融合的移动机器人跟踪人腿方法
CN113116224A (zh) * 2020-01-15 2021-07-16 科沃斯机器人股份有限公司 机器人及其控制方法
CN113116224B (zh) * 2020-01-15 2022-07-05 科沃斯机器人股份有限公司 机器人及其控制方法
CN113509102A (zh) * 2020-04-10 2021-10-19 松下知识产权经营株式会社 吸尘器系统和吸尘器
CN114680732A (zh) * 2020-12-25 2022-07-01 苏州宝时得电动工具有限公司 一种清洁机器人及其清洁控制方法
CN113509104A (zh) * 2021-04-25 2021-10-19 珠海格力电器股份有限公司 一种清扫方法、存储介质和清洁机器人
CN113679298A (zh) * 2021-08-27 2021-11-23 美智纵横科技有限责任公司 机器人的控制方法、控制装置、机器人和可读存储介质
CN113854904A (zh) * 2021-09-29 2021-12-31 北京石头世纪科技股份有限公司 清洁设备的控制方法、装置、清洁设备和存储介质
CN114764420A (zh) * 2022-04-07 2022-07-19 青岛沃柏斯智能实验科技有限公司 一种实验室集成照明管理系统
CN114764420B (zh) * 2022-04-07 2024-03-19 青岛沃柏斯智能实验科技有限公司 一种实验室集成照明管理系统

Also Published As

Publication number Publication date
CN109890573B (zh) 2022-05-03
US10545497B1 (en) 2020-01-28
WO2020140271A1 (zh) 2020-07-09
CN114603559A (zh) 2022-06-10

Similar Documents

Publication Publication Date Title
CN109890573A (zh) 移动机器人的控制方法、装置、移动机器人及存储介质
CN108247647B (zh) 一种清洁机器人
US11142121B2 (en) Interaction method and apparatus of mobile robot, mobile robot, and storage medium
WO2020113452A1 (zh) 移动目标的监控方法、装置、监控系统及移动机器人
CN102681661B (zh) 在玩游戏中使用三维环境模型
US20180046874A1 (en) System and method for marker based tracking
US10412283B2 (en) Dual aperture 3D camera and method using differing aperture areas
CN103562968B (zh) 用于相对于每个用户的视点来渲染共享数字界面的系统
CN105190703A (zh) 使用光度立体来进行3d环境建模
CN104515992B (zh) 一种利用超声波进行空间扫描定位的方法及装置
Akhtar et al. A metaheuristic bat-inspired algorithm for full body human pose estimation
CN103907138B (zh) 信息处理设备和显示控制方法
CN109431381A (zh) 机器人的定位方法及装置、电子设备、存储介质
CN109643127A (zh) 构建地图、定位、导航、控制方法及系统、移动机器人
CA3073920C (en) Collision detection, estimation, and avoidance
JP2021530814A (ja) 位置ベクトルを使用して半球曖昧性を解決するための方法およびシステム
CN105653031B (zh) 带有多个视图、显示器以及物理学的姿势输入
US11776242B2 (en) Augmented reality deep gesture network
EP3491418A1 (en) Detector for an optical detection of at least one object
CN107085422A (zh) 一种基于Xtion设备的多功能六足机器人的远程控制系统
CN113116224B (zh) 机器人及其控制方法
GB2527207A (en) Mobile human interface robot
KR20180039439A (ko) 공항용 안내 로봇 및 그의 동작 방법
US20180181195A1 (en) Head-Mounted Sensor System
CN108780319A (zh) 软件更新方法、系统、移动机器人及服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: No.888, Huanhu West 2nd Road, Lingang New District, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 201306

Applicant after: Shanghai akobert robot Co.,Ltd.

Address before: 201306 Shanghai Pudong New Area Nanhui new town 888 West Road two

Applicant before: ANKOBOT (SHANGHAI) SMART TECHNOLOGIES Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220503