CN112230652A - 行走机器人及其移动控制的方法、计算机存储介质 - Google Patents

行走机器人及其移动控制的方法、计算机存储介质 Download PDF

Info

Publication number
CN112230652A
CN112230652A CN202010922549.1A CN202010922549A CN112230652A CN 112230652 A CN112230652 A CN 112230652A CN 202010922549 A CN202010922549 A CN 202010922549A CN 112230652 A CN112230652 A CN 112230652A
Authority
CN
China
Prior art keywords
human body
image
current frame
walking robot
target human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010922549.1A
Other languages
English (en)
Inventor
曾雄
黄家华
胡年宗
杨华军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anker Innovations Co Ltd
Original Assignee
Anker Innovations Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anker Innovations Co Ltd filed Critical Anker Innovations Co Ltd
Priority to CN202010922549.1A priority Critical patent/CN112230652A/zh
Publication of CN112230652A publication Critical patent/CN112230652A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了一种行走机器人及其移动控制的方法、计算机存储介质。该方法包括：获取行走机器人的第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像；基于第一图像和第二图像，得到合成后的当前帧图像；对当前帧图像进行特征提取得到有效特征点；将当前帧图像的有效特征点与预存的人体预设特征点进行匹配；若匹配成功，则说明当前帧图像中存在与预存的人体预设特征点对应的目标人体。可见，能够通过将采集的图像的有效特征点与预存的人体预设特征点进行匹配来判断是否存在目标人体，进而可以用于对目标人体执行有效的避让措施。这样，在存在诸如行动不便的老人或者尚未正常行走的小孩这样的目标人体时，能够进行主动避让，防止发生碰撞。

Description

行走机器人及其移动控制的方法、计算机存储介质
技术领域
本申请涉及智能家居领域，特别涉及一种行走机器人移动控制的方法、行走机器人及计算机存储介质。
背景技术
随着人工智能(Artificial Intelligence，AI)的发展，在各种场景中都会涉及各种各样的行走机器人。例如，在居家环境中的扫地机器人等。
以扫地机器人为例，扫地机器人在工作过程中，可能会遇到诸如家具或者墙壁等固定障碍物，进而能够基于预定的移动策略进行避让。但是同时，也可能会遇到行动不便甚至残疾的老人、或者还未正常走路的宝宝等，在没有其他成年家人照料的情况下，他们很容易与扫地机器人发生磕碰等意外，因此非常有必要对扫地机器人设置避开措施，从而避免与这些人群之间的碰撞事故。
发明内容
在发明内容部分中引入了一系列简化形式的概念，这将在具体实施方式部分中进一步详细说明。本发明的发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。
本发明提供了一种行走机器人移动控制的方法、行走机器人及计算机存储介质。
第一方面，本发明实施例提供了一种行走机器人移动控制的方法，包括：
获取所述行走机器人的第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像；
基于所述第一图像和所述第二图像，得到合成后的当前帧图像；
对所述当前帧图像进行特征提取，得到所述当前帧图像的有效特征点；
将所述当前帧图像的所述有效特征点与预存的人体预设特征点进行匹配；
若匹配成功，则说明所述当前帧图像中存在与所述预存的人体预设特征点对应的目标人体。
在一个实施例中，还包括：对所述目标人体执行避让措施。
在一个实施例中，还包括：控制所述行走机器人停止移动，并判断所述目标人体是否处于移动状态；如果确定所述目标人体不处于移动状态，则：判断所述目标人体与所述行走机器人之间的距离是否大于预设安全距离；在所述距离小于或等于所述预设安全距离的情况下，控制所述行走机器人改变前进方向以避开所述目标人体；在所述距离大于所述预设安全距离的情况下，控制所述行走机器人继续前进。
在一个实施例中，还包括：控制所述行走机器人停止移动，并判断所述目标人体是否处于移动状态；如果确定所述目标人体处于移动状态，则：控制所述行走机器人继续前进，并计算所述目标人体与所述行走机器人之间的相对距离和方位；根据所述相对距离和方位判断所述行走机器人与所述目标人体是否会发生碰撞；如果确定存在碰撞的可能性，则控制所述行走机器人改变前进方向以避开所述目标人体；否则控制所述行走机器人继续前进。
在一个实施例中，所述相对距离和方位是采用块匹配法或者图像匹配法来确定的。
在一个实施例中，所述有效特征点包括全局特征点和/或局部特征点，
其中，所述全局特征点包括以下至少一项：人体身高、外形轮廓；
其中，所述局部特征点包括以下至少一项：人脸特征，四肢、躯干的特征。
在一个实施例中，所述全局特征点包括外形轮廓，
得到所述当前帧图像的有效特征点，包括：
对所述当前帧图像进行预处理，然后基于预处理后的图像采用特征提取算法提取得到外形轮廓。
在一个实施例中，所述预处理包括二值化处理和/或图像滤波。
在一个实施例中，将所述当前帧图像的所述有效特征点与预存的人体预设特征点进行匹配，包括：
基于所述有效特征点生成特征描述子；
计算所述当前帧图像的所述有效特征点的所述特征描述子与所述预存的人体预设特征点对应的预设描述子之间的相似度，并根据所述相似度判断是否匹配。
在一个实施例中，如果所述相似度大于预设的相似度阈值，则确定匹配成功。
在一个实施例中，其中所述匹配使用尺度不变特征转换算法。
第二方面，本发明实施例提供了一种行走机器人，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面所述方法的步骤。
第三方面，提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述方法的步骤。
此可见，本发明实施例能够通过将采集的图像的有效特征点与预存的人体预设特征点进行匹配来判断是否存在目标人体，进而在确定目标人体时能够执行有效的避让措施。这样，在存在诸如行动不便的老人或者尚未正常行走的小孩这样的目标人体时，能够进行主动避让，防止发生碰撞，保障了这些目标人体的安全，且保证了机器人的正常运行。
附图说明
通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是本发明实施例的扫地机器人的一个示意性框图；
图2是本发明实施例的行走机器人移动控制的方法的一个示意性流程图；
图3是本发明实施例的深度信息的示意图；
图4是本发明实施例的行走机器人移动控制的方法的另一示意性流程图；
图5是本发明实施例的行走机器人移动控制的装置的一个示意框图；
图6是本发明实施例的行走机器人的一个示意框图。
具体实施方式
在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
为了彻底理解本发明，将在下列的描述中提出详细的结构，以便阐释本发明。显然，本发明的施行并不限定于该技术领域的技术人员所熟习的特殊细节。本发明的较佳实施例详细描述如下，然而除了这些详细描述外，本发明还可以具有其他实施方式，不应当解释为局限于这里提出的实施例。
应当理解的是，在此使用的术语的目的仅在于描述具体实施例并且不作为本发明的限制，单数形式的“一”、“一个”和“所述/该”也意图包括复数形式，除非上下文清楚指出另外的方式。当在本说明书中使用术语“包含”和/或“包括”时，其指明存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或附加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组合。本发明中所使用的术语“上”、“下”、“前”、“后”、“左”、“右”以及类似的表述只是为了说明的目的，并非限制。
本发明中所引用的诸如“第一”和“第二”的序数词仅仅是标识，而不具有任何其他含义，例如特定的顺序等。而且，例如，术语“第一部件”其本身不暗示“第二部件”的存在，术语“第二部件”本身不暗示“第一部件”的存在。
本发明实施例可以应用于各种行走机器人，也可以称为自移动设备。为了描述的方便，本说明书以扫地机器人为例进行阐述。
智能规划型扫地机器人是智能家居产品中比较受消费者青睐的产品，目前扫地机器人能够基于激光导航和视觉导航进行室内区域建图，从而解决了机器人在室内未知运动路径情况下乱跑乱撞、漏扫、重复扫、清洁效率低下的问题。
一般地，基于视觉地图构建导航系统(Simultaneously Localization AndMapping，SLAM)的扫地机器人，其机器顶部安装有摄像头，通过摄像头拍摄的图像能够确定扫地机器人的位姿。例如，可以通过提取连续两帧天花板图像中的特征点，对特征点进行匹配，得到两帧图像中相同的特征点，运用三角测距和相似三角形原理，计算两帧之间的平移和旋转向量，得到机器人的位姿。同时通过天花板视觉定位和惯性定位相结合的方式，能够保证定位精度和自主性、实时性。然而，如若家庭中有行动不便甚至残疾的老人，或者还未正常走路的宝宝，在未有家人照料的情况下，很容易与机器人发生磕碰的意外发生，特别是在没有注意到机器人的位置的时候，摔倒不仅容易造成脑部受伤，甚至造成骨折、脑颅内出血危及生命，因此机器人在清扫过程中，非常有必要对人进行识别、对老人和小孩采取远离避开措施。
如图1是示出的是本发明实施例中的扫地机器人(或下文简称为机器人)的一个示意性框图。
示例性地，本发明实施例中的扫地机器人(或下文简称为机器人)具有图像采集装置。例如为摄像装置，可以包括两个摄像头，或者可以称为双目相机。
两个摄像头可以安装在机器人的顶部，例如安装在顶部靠近机器人前进方向的一侧。两个摄像头的光轴可以平行或者可以具有预定角度。两个摄像头可以被固定安装，或者可以进行旋转。
摄像头的光轴可以与机器人的前进方向呈预设角度，该预设角度可以为0°至180°之间的某一值，例如该预设角度为45°或30°等。摄像头的光轴还可以与垂直于地面的垂线之间呈另一预设角度，该另一预设角度可以为-20°至30°之间的某一值，例如该另一预设角度为0°或15°等。
可理解，图像采集装置可以拍摄视频或图像，例如，两个摄像头可以同时拍摄，得到同一时刻的两张图像。
示例性地，本发明实施例中的扫地机器人(或下文简称为机器人)具有存储装置和缓存装置。
其中，存储装置中可以存储有处理器所执行各种操作的计算机指令或程序，例如系统工作程序和图像处理程序等。存储装置可以为非易失性存储介质，示例性地为快闪存储器(Flash Memory)，例如可以是以下任一种：嵌入式多媒体卡(Embedded Multi MediaCard，EMMC)、Nor Flash、Nand Flash等。
其中，缓存装置可以存储缓存数据，例如在图像处理过程中的缓存图像数据。缓存装置可以为易失性存储介质，示例性地为同步动态随机存取存储器(Synchronous DynamicRandom-Access Memory，SDRAM)、双倍速率同步动态随机存储器(Double Data RateSDRAM，DDR SDRAM)、DDR2、DDR3等。
示例性地，本发明实施例中的扫地机器人(或下文简称为机器人)具有清扫装置，可以用于清洁地面灰尘垃圾，例如可以包括边刷组件、滚刷组件(也称为中扫组件)等。其中，边刷组件可以位于机器人前端一侧或者两侧，滚刷组件可以位于机器人的机身底部中间位置，滚刷组件和边刷组件在电机的控制下将垃圾扫入内部尘盒入口，再由风机(无刷电机)控制风扇将垃圾吸入尘盒内部。
示例性地，本发明实施例中的扫地机器人(或下文简称为机器人)具有运动控制装置，可以用于带动机器人在地面移动，例如可以包括边轮及驱动电机组件(也称为速度控制单元)，万向轮转向组件(也称为方位控制单元)等。其中，边轮驱动电机可以控制边轮分别以不同速度和转角带动机器人向某一方向移动。
示例性地，本发明实施例中的扫地机器人(或下文简称为机器人)具有运动控制处理器，用于输出脉冲宽度调制(Pulse Width Modulation，PWM)信号驱动电机运转，并调节运动控制装置速度和方位角度等。其中，该处理器可以为嵌入式单片机，如STM32单片机。
另外，本发明实施例中的扫地机器人(或下文简称为机器人)可以被预先配置有最大移动线速度和最大旋转角速度，这样能够保证其工作安全，延长使用寿命。其中，最大移动线速度和最大旋转角速度可以预先存储在存储装置中。
作为一例，最大移动线速度可以为30cm/s，最大旋转角速度可以为90°/s。从而扫地机器人在移动过程中，其线速度小于30cm/s，其旋转角速度小于90°/s。可理解的是，最大移动线速度和最大旋转角速度也可以被设定为其他的值，本发明对此不限定。
示例性地，本发明实施例中的扫地机器人(或下文简称为机器人)还可以具有传感器，例如超声波传感器、红外传感器、激光传感器等，传感器可以用于提取扫地机器人所在的环境的信息，例如二维平面信息。
下面将结合图2至图4描述本发明实施例中的行走机器人移动控制的方法。
如图2是本发明实施例中的行走机器人移动控制的方法的一个示意性流程图。图2所示的方法可以由行走机器人实现，作为一例，可以由如图1所示的扫地机器人实现，具体地可以由其处理器实现。该方法包括：
S10，获取所述行走机器人的第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像；
S20，基于所述第一图像和所述第二图像，得到合成后的当前帧图像；
S30对所述当前帧图像进行特征提取，得到所述当前帧图像的有效特征点；
S40，将所述当前帧图像的所述有效特征点与预存的人体预设特征点进行匹配；
S50，若匹配成功，则说明所述当前帧图像中存在与所述预存的人体预设特征点对应的目标人体。
示例性地，图2所示的方法可以在行走机器人按照预定路线行进的过程中执行。
示例性地，S10可以获取图像采集装置所包含的两个摄像头分别采集的第一图像和第二图像，可理解，第一图像和第二图像是针对于同一场景同时拍摄得到的。
示例性地，S20中，可以将第一图像和第二图像进行拼接合成得到当前帧图像。可选地，当前帧图像所在的平面可以与机器人前进的方向垂直。可选地，当前帧图像所在的平面可以与双摄像头之间的对称轴垂直。
图像采集装置包括双摄像头，例如第一摄像头和第二摄像头。示例性地，S10中，可以获取第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像。
示例性的，第一摄像头和第二摄像头可以具有相同的物理属性，例如帧率、图像分辨率等。其中，图像采集装置在进行图像采集时，帧率可以为20帧每秒或者可以为其他值，也就是说，图像采集装置可以进行连续采集，可理解，可以通过不同时刻所采集的图像来确定目标对象是否处于运动状态。其中，第一图像和第二图像可以具有相同的图像分辨率，例如均为640×480或其他值。
本发明实施例中，第一摄像头的光轴和第二摄像头的光轴之间可以具有预定角度或者具有可调角度，即两个光轴不相互平行。相应地，S20可以通过立体矫正来实现。
具体地，S20可以包括：使用各自的单应变换矩阵，将第一图像和第二图像投影到同一平面，得到第一投影图像和第二投影图像；通过将第一投影图像和第二投影图像拼接合成，得到当前帧图像。可选地，还可以进一步包括根据第一投影图像和第二投影图像，基于极线约束(Epipolar Constraint)，得到当前帧图像中各个像素的深度信息。
示例性地，对第一图像进行投影可以使用第一单应变换矩阵，对第二图像进行投影可以使用第二单应变换矩阵。其中，第一单应变换矩阵和第二单应变换矩阵可以是在对第一摄像头和第二摄像头进行标定阶段所确定的。
示例性地，投影的平面可以与第一图像所在的第一平面呈第一夹角，与第二图像所在的第二平面呈第二夹角，第一夹角可以等于或不等于第二夹角。在一种实现方式中，第一夹角等于第二夹角。示例性地，投影的平面(即当前帧图像所在的平面)可以与机器人前进的方向垂直。
本发明实施例中，深度信息可以用三维数据进行表示，例如可以表示在世界坐标系下的三维坐标，即位置信息。
其中，世界坐标系可以表示为OcXcYcZc，如图3中所示。世界坐标系的原点Oc可以为第一摄像头与第二摄像头的中心连线的中点，也可以称为相机坐标系原点。世界坐标系的坐标轴Zc可以垂直于当前帧图像所在的平面并且Zc的正向远离机器人(如与机器人前进的方向)。世界坐标系的坐标轴Yc与地面垂直且Yc的正向远离地面。可理解，世界坐标系的坐标轴Xc可以基于右手系法则进行确定，这里不再详细描述。可理解的是，世界坐标系表示的坐标值可以为距离的单位，如mm等。
另外，还可以定义当前帧图像所在的平面的图像坐标系，依然如图3所示，图像坐标系表示为CXY。其中，图像坐标系的原点C为图像平面的中心，其位于世界坐标系的Zc轴上。图像坐标系的X轴和Y轴相互垂直，且图像坐标系的X轴与世界坐标系的Xc轴同向，图像坐标系的Y轴与世界坐标系的Yc轴反向。可以理解的是，对于当前帧图像中的每个点，都可以用图像坐标系(x,y)表示其坐标值，并且坐标值(x,y)的单位可以为mm等。
可以看出，世界坐标系的XcYc平面与图像坐标系的XY平面是相互平行的，并且这两个平面之间具有距离C-Oc，即图像坐标系的原点C与世界坐标系的原点Oc之间的距离。可理解，如果将图像采集装置等效为原点位于Oc的相机，那么该距离表示等效相机的相机焦距，即f＝C-Oc，可以通过C点在世界坐标系中的坐标值来得到。
另外，还可以为图像中的像素定义离散的像素坐标系。作为一例，如图3中虚线所示，像素坐标系表示为OUV，可以以电荷耦合器件(Charge Coupled Device，CCD)的图像平面的左上角顶点为原点O，U轴和V轴分别平行于图像坐标系的X轴和Y轴。可以理解的是，对于当前帧图像中的每个像素，都可以用像素坐标系(u,v)表示其坐标值，并且坐标值(u,v)的单位可以为pixel等。
本领域技术人员可理解，图像采集装置所采集的图像是标准电信号的形式，随后可以通过模数转换被转换为数字图像。每幅数字图像的存储形式可以是M×N的数组，M行N列的图像数据中的每一个元素的数值代表的是该图像点的灰度。M×N的数组中的每个元素都是像素，并且像素坐标系就是以像素为单位的图像坐标系。
示例性地，S20中的当前帧图像可以具有深度信息，且深度信息可以用图像所采集到的对象在世界坐标系中的位置来表示。例如，结合图3，假设真实场景中存在物体BP，在采集到的图像中，其为对象D(即图3中小箭头示出的D)。那么可以根据相似三角形原理，得出P点在世界坐标系中的位置，表示为P(XcP,YcP,ZcP)。其中，作为一个示例，物体BP可以为人体。
示例性地，S20之后，可以根据目标对象的深度信息，确定目标对象与机器人之间的相对距离和方位。依然结合图3，假设目标对象为BP，那么可以将P与Oc之间的距离作为目标对象与机器人之间的距离，将OcB与Zc轴之间的角度作为目标对象相对于机器人的方位。应注意，也可以采用其他的方式来表示距离和方位，这里不再一一罗列。
示例性地，S30中，可以采用任何可用的特征提取算法，得到有效特征点。具体地，S30中可以得到当前帧图像中的目标对象的有效特征点。
假设目标对象为人体，在一种实现方式中，S30可以包括：通过行人检测确定当前帧图像中存在人体，随后通过特征提取得到该人体的有效特征点。
作为一例，有效特征点可以包括全局特征点，例如可以包括但不限于人体身高、外形轮廓等。
其中，可以根据目标对象的深度信息，得到人体身高，例如结合图3，可以根据P点的世界坐标P(XcP,YcP,ZcP)确定人体身高。
其中，可以通过下式方式得到外形轮廓：对当前帧图像进行预处理，然后基于预处理后的图像采用特征提取算法提取得到外形轮廓。其中，当前帧图像可以为表示室内环境的彩色图像(如RGB图像)。预处理可以包括二值化处理(用于得到灰度图像)和/或图像滤波。特征提取算法可以包括OpenCV程序中Canny算子算法。
作为另一例，有效特征点可以包括局部特征点，例如可以包括但不限于人脸特征，四肢、躯干的特征。其中，人脸特征可以包括但不限于：人眼、鼻子、耳朵、嘴巴。
作为再一例，有效特征点可以包括人体步态特征，例如包括但不限于步长、步行速度等。
另外，示例性地，在S30中得到有效特征点之后，还可以进一步包括：基于有效特征点再生成特征描述子。
示例性地，S40中的人体预设特征点可以是用户预先存储在存储装置中的。具体地，机器人可以具有预设模式，用户可以选择机器人的预设模式，并且在进入预设模式后，通过采集家庭成员的人物图像，并通过提取得到家庭成员的人体预设特征点，并将人体预设特征点存储在存储装置中。
具体地，用户可以采集家庭成员的正面、侧面、坐立等多个场景的人物图像，通过矫正后，再提取关键特征点得到家庭成员的人体预设特征点。
其中，家庭成员可以包括但不限于用户本人及其父母、配偶、子女、其他亲戚朋友等。可选地，在预存人体预设特征点时，还可以添加其他备注信息，例如老人、小孩等。
示例性地，S40中可以包括：采用尺度不变特征转换(Scale-invariant featuretransform，SIFT)算法，将所述有效特征点与预存的人体预设特征点进行匹配。可理解，在存储装置中可以预存有与多个家庭成员对应的多个人体预设特征点，那么S40中，可以与多个人体预设特征点逐一地进行匹配。
由于SIFT算法是一种不随图像尺度旋转变化而变化的特征，因此SIFT特征不会随着图像的放大缩小，或者旋转而改变，同时由于在提取特征时做的一些特殊处理，使得SIFT特征对于光照变化也有比较强的适应性。
本发明实施例中，由于预存的人体预设特征点与S30中提取得到的有效特征点可能具有不同的尺度，而SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；SIFT所查找到的关键点是一些十分突出，不会因光照，仿射变换和噪音等因素而变化的点，如角点、边缘点、暗区的亮点及亮区的暗点等；因此使用SIFT具有更好的鲁棒性。
作为一个实施例，可以计算当前帧图像的有效特征点的特征描述子与预存的人体预设特征点对应的预设描述子之间的相似度，并判断是否匹配。
可理解，如果计算得到的相似度大于预设的相似度阈值，则确定匹配成功。如果有效特征点的特征描述子与多个预存的人体预设特征点的预设描述子之间的相似度都大于相似度阈值，那么可以确定与相似度最大的那个预存的人体预设特征点的预设描述子匹配成功。
举例来说，预存的可能包括：家庭成员A1的人体预设特征点、家庭成员A2的人体预设特征点、家庭成员A3的人体预设特征点。通过S40中的匹配，可能发现与家庭成员A2的人体预设特征点匹配成功。
可理解，若匹配成功，则说明当前帧图像中存在与预存的人体预设特征点对应的目标人体。可选地，在S40之后，如果匹配成功，还可以包括：对目标对象进行标记。具体地，可以将当前帧图像中的目标对象标记为匹配成功的预存的人体预设特征点对应的目标人体。如上述的举例，如果有效特征点与家庭成员A2的人体预设特征点匹配成功，那么可以将当前帧图像中的目标对象标记为：“家庭成员A2”。
示例性地，如果S40匹配不成功，说明当前帧图像中不存在目标人体，那么S40之后可以包括可以按照预定路线继续行进。
示例性地，S50之后还可以包括：对S40匹配成功的目标人体执行避让措施，如图4所述，进一步地：控制机器人停止移动，并判断目标人体是否处于移动状态；(1)如果确定所述目标人体不处于移动状态，则：判断所述目标人体与所述行走机器人之间的距离是否大于预设安全距离；在所述距离小于或等于所述预设安全距离的情况下，控制所述行走机器人改变前进方向以避开所述目标人体；在所述距离大于所述预设安全距离的情况下，控制所述行走机器人继续前进。(2)如果确定所述目标人体处于移动状态，则：控制所述行走机器人继续前进，并计算所述目标人体与所述行走机器人之间的相对距离和方位；根据所述相对距离和方位判断所述行走机器人与所述目标人体是否会发生碰撞；如果确定存在碰撞的可能性，则控制所述行走机器人改变前进方向以避开所述目标人体；否则控制所述行走机器人继续前进。
其中，判断目标人体是否处于移动状态可以包括：在行走机器人停止移动(即行人机器人处于静止状态)的情况下，根据图像采集装置所得到的至少两帧当前帧图像来判断目标人体是否移动。
举例来说，可以基于t1时刻采集的第一图像和第二图像得到t1时刻当前帧图像(简称为t1图像)；可以基于t2时刻采集的第一图像和第二图像得到t2时刻当前帧图像(简称为t2图像)。随后，可以基于目标人体在t1图像中的位置以及目标人体在t2图像中的位置，来判断目标人体是否移动。
可理解，基于更多帧图像来进行判断，可以使得判断的结果更加准确。另外，还可以根据目标人体在不同的帧图像中的位置变化，确定目标人体的移动速度等。
在一个实施例中，如果目标人体在多帧图像中的位置不变，或者，如果图像采集装置在不同的时间采集到的图像不变，则可以确定目标人体不处于移动状态，即目标人体处于静止状态。此时，可以计算目标人体与机器人之间的距离，例如可以根据目标人体在世界坐标系中的位置来计算其与机器人之间的距离，随后判断该距离是否大于预设安全距离。其中，预设安全距离可以根据机器人的尺寸、图像采集装置的位置、目标人体的大小等中的至少一个进行预先设定并存储在存储装置中。如果该距离大于预设安全距离，说明机器人不会与目标人体发生碰撞，则可以控制机器人继续前进，也就是说，无需更改前进方向或移动方位，按照预定路线继续行进。相反，如果该距离小于预设安全距离，说明机器人不会与目标人体存在碰撞的风险，机器人需要避开目标人体才能不发生碰撞，则控制机器人改变前进方向进行移动，例如机器人可以远离目标人体或者绕过目标人体进行移动。
这样，如果对于行动不便的老人或者未能正常行走的小孩，这些目标人体基本处于静止状态而不是处于移动状态，此时可以控制机器人进行主动避障，防止与目标人体发生碰撞。
在另一个实施例中，如果确定目标人体处于移动状态，那么可以控制机器人按照预定路线进行行进，并在进一步行进过程中根据目标人体与机器人之间的相对距离和方位来进行避障。
示例性地，可以采用块匹配法或者图像匹配法来确定相对距离(表示为ΔL)和方位(表示为β)。其中，块匹配法是指，通过运动估计来估计物体的位移，得到运动矢量；对得到的运动矢量进行运动补偿，从而对前一帧图像中的物体由于运动而产生的位移进行调整，得到当前帧图像的预测帧。其中，图像匹配法，例如可以是基于特征(Feature-Based)的图像匹配方法，首先从图像中提取具有物理意义的显著结构特征(包括特征点、特征线或边缘以及具有显著性的形态区域)，然后对所提取的特征结构进行匹配并估计变换函数将其他图像内容进行对齐。可理解，关于块匹配法或者图像匹配法可以参照已有技术中的相关描述，此处不再详细展开。
这样，对于处于移动状态的目标人体来说，可以排除这些目标人体是行动不便的老人或者未能正常行走的小孩，一般可以确认为正常成年人，由于正常成年人会有意识地避开机器人，不容易发生碰撞，因此可以控制机器人继续按照预定路线前进，在行进过程中再进行判断避让即可，如此能够提高机器人行进效率，避免造成过长时间的耽误。例如，对于扫地机器人而言，能够提高清扫的效率，缩短清扫的时间。
由此可见，本发明实施例能够通过将采集的图像的有效特征点与预存的人体预设特征点进行匹配来判断是否存在目标人体，进而在确定目标人体时能够执行有效的避让措施。这样，在存在诸如行动不便的老人或者尚未正常行走的小孩这样的目标人体时，能够进行主动避让，防止发生碰撞，保障了这些目标人体的安全，且保证了机器人的正常运行。
本发明实施例还提供了一种行走机器人移动控制的装置，如图5所示，该装置可以包括获取单元510、图像合成单元520、特征提取单元530、匹配单元540、确定单元550。其中，该装置可以为机器人，如图1所示的扫地机器人；或者该装置可以为机器人所包含的处理器。
获取单元510可以用于获取所述行走机器人的第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像；
图像合成单元520可以用于基于所述第一图像和所述第二图像，得到合成后的当前帧图像；
特征提取单元530可以用于对所述当前帧图像进行特征提取，得到所述当前帧图像的有效特征点；
匹配单元540可以用于将所述当前帧图像的所述有效特征点与预存的人体预设特征点进行匹配；
确定单元550可以用于若匹配成功，则说明所述当前帧图像中存在与所述预存的人体预设特征点对应的目标人体。
示例性地，还可以包括避让单元，用于对目标人体执行避让措施。其中，避让单元可以结合如图1所示的运动控制处理器来实现。
示例性地，该装置还可以进一步包括判断单元和计算单元。
其中，判断单元可以用于判断目标人体是否处于移动状态。在确定目标人体处于移动状态的情况下，可以进一步用于判断是否可能发生碰撞。在确定目标人体处于静止状态的情况下，可以进一步用于判断机器人与目标人体之间的距离是否大于预设安全距离。
其中，计算单元可以包括距离计算单元和方位计算单元。在确定目标人体处于移动状态的情况下，距离计算单元可以用于计算目标人体与机器人之间的相对距离，方位计算单元可以用于计算目标人体相对于机器人的方位。在确定目标人体处于静止状态的情况下，距离计算单元可以用于计算目标人体与机器人之间的距离。
可以理解的是，图5中所示的装置能够用于实现上述图2或图4所示的方法的过程，为避免重复，这里不再赘述。
本发明实施例还提供了一种行走机器人，包括存储器和处理器，如图6所示，存储器上存储有计算机程序用于由处理器执行，并且当计算机程序被处理器执行时，能够实现前述结合图2或图4所描述的方法的步骤。
其中，存储器和处理器之间可以通过总线进行连接，并且行走机器人还可以根据需要具有其他组件和结构。
其中，处理器可以是中央处理单元(CPU)、图像处理单元(GPU)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制系统中的其它组件以执行期望的功能。处理器用于执行根据本发明实施例的图2或图4所描述的方法的相应步骤。例如，处理器可以包括一个或多个嵌入式处理器、处理器核心、微型处理器、逻辑电路、硬件有限状态机(Finite State Machine，FSM)、数字信号处理器(Digital Signal Processing，DSP)或它们的组合。
存储器用于存储各种类型的数据以支持图2或图4所描述的方法的操作。例如可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质。存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(SynchlinkDRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。
另外，可选地，行走机器人还可以包括传感器、输入装置、输出装置等。例如，输入装置包括触摸屏、麦克风等；输出装置包括显示屏、扬声器等，可以向外部(例如用户)输出各种信息。
在一个实施例中，在存储器中的计算机程序被处理器运行时执行以下步骤：获取所述行走机器人的第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像；基于所述第一图像和所述第二图像，得到具有合成后的当前帧图像；对所述当前帧图像进行特征提取，得到所述当前帧图像的有效特征点；将所述当前帧图像的所述有效特征点与预存的人体预设特征点进行匹配；若匹配成功，则说明所述当前帧图像中存在与所述预存的人体预设特征点对应的目标人体。
本发明实施例中，行走机器人可以为扫地机器人，也称为自清洁设备等。通过本发明实施例的方法，能够通过特征点匹配判断是否存在目标人体，尤其地在确定存在诸如老人或小孩等目标人体时，进行主动避让，防止发生碰撞。
此外，根据本发明实施例，还提供了一种存储介质，在存储介质上存储了程序指令，在程序指令被计算机或处理器运行时用于执行本发明实施例的图2或图4所示的方法的相应步骤。存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。
在一个实施例中，程序指令在被计算机或处理器运行时可以执行根据本发明实施例的行走机器人移动控制的方法，包括：获取所述行走机器人的第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像；基于所述第一图像和所述第二图像，得到合成后的当前帧图像；对所述当前帧图像进行特征提取，得到所述当前帧图像的有效特征点；将所述当前帧图像的所述有效特征点与预存的人体预设特征点进行匹配；若匹配成功，则说明所述当前帧图像中存在与所述预存的人体预设特征点对应的目标人体。
另外，本发明实施例还提供了一种计算机程序代码，该代码可以被处理器执行，且该代码被处理器执行时，能够实现：获取所述行走机器人的第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像；基于所述第一图像和所述第二图像，得到合成后的当前帧图像；对所述当前帧图像进行特征提取，得到所述当前帧图像的有效特征点；将所述当前帧图像的所述有效特征点与预存的人体预设特征点进行匹配；若匹配成功，则说明所述当前帧图像中存在与所述预存的人体预设特征点对应的目标人体。
由此可见，本发明实施例中能够基于双摄像头来确定目标物体的深度信息，从而确保对于目标物体的距离判断更加准确；并且无需过多的传感器能够降低硬件成本。通过将采集的图像的有效特征点与预存的人体预设特征点进行匹配来判断是否存在目标人体，进而在确定目标人体时能够执行有效的避让措施。这样，在存在诸如行动不便的老人或者尚未正常行走的小孩这样的目标人体时，能够进行主动避让，防止发生碰撞，保障了这些目标人体的安全，且保证了机器人的正常运行。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(Digital SignalProcessing，DSP)来实现根据本发明实施例的物品分析设备中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种行走机器人移动控制的方法，其特征在于，包括：
获取所述行走机器人的第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像；
基于所述第一图像和所述第二图像，得到合成后的当前帧图像；
对所述当前帧图像进行特征提取，得到所述当前帧图像的有效特征点；
将所述当前帧图像的所述有效特征点与预存的人体预设特征点进行匹配；
若匹配成功，则说明所述当前帧图像中存在与所述预存的人体预设特征点对应的目标人体。
2.根据权利要求1所述的方法，其特征在于，还包括：对所述目标人体执行避让措施。
3.根据权利要求1或2所述的方法，其特征在于，还包括：
控制所述行走机器人停止移动，并判断所述目标人体是否处于移动状态；
如果确定所述目标人体不处于移动状态，则：判断所述目标人体与所述行走机器人之间的距离是否大于预设安全距离；在所述距离小于或等于所述预设安全距离的情况下，控制所述行走机器人改变前进方向以避开所述目标人体；在所述距离大于所述预设安全距离的情况下，控制所述行走机器人继续前进。
4.根据权利要求3所述的方法，其特征在于，
如果确定所述目标人体处于移动状态，则：控制所述行走机器人继续前进，并计算所述目标人体与所述行走机器人之间的相对距离和方位；根据所述相对距离和方位判断所述行走机器人与所述目标人体是否会发生碰撞；如果确定存在碰撞的可能性，则控制所述行走机器人改变前进方向以避开所述目标人体；否则控制所述行走机器人继续前进。
5.根据权利要求4所述的方法，其特征在于，所述相对距离和方位是采用块匹配法或者图像匹配法来确定的。
6.根据权利要求1所述的方法，其特征在于，所述有效特征点包括全局特征点和/或局部特征点，
其中，所述全局特征点包括以下至少一项：人体身高、外形轮廓；
其中，所述局部特征点包括以下至少一项：人脸特征，四肢、躯干的特征。
7.根据权利要求6所述的方法，其特征在于，所述全局特征点包括外形轮廓，所述得到所述当前帧图像的有效特征点，包括：
对所述当前帧图像进行预处理，然后基于预处理后的图像采用特征提取算法提取得到外形轮廓。
8.根据权利要求1所述的方法，其特征在于，将所述当前帧图像的所述有效特征点与预存的人体预设特征点进行匹配，包括：
基于所述有效特征点生成特征描述子；
计算所述当前帧图像的所述有效特征点的所述特征描述子与所述预存的人体预设特征点对应的预设描述子之间的相似度；
若所述相似度大于预设的相似度阈值，则确定匹配成功。
9.一种行走机器人，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述方法的步骤。
CN202010922549.1A 2020-09-04 2020-09-04 行走机器人及其移动控制的方法、计算机存储介质 Pending CN112230652A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010922549.1A CN112230652A (zh) 2020-09-04 2020-09-04 行走机器人及其移动控制的方法、计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010922549.1A CN112230652A (zh) 2020-09-04 2020-09-04 行走机器人及其移动控制的方法、计算机存储介质

Publications (1)

Publication Number Publication Date
CN112230652A true CN112230652A (zh) 2021-01-15

Family

ID=74115829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010922549.1A Pending CN112230652A (zh) 2020-09-04 2020-09-04 行走机器人及其移动控制的方法、计算机存储介质

Country Status (1)

Country Link
CN (1) CN112230652A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112845143A (zh) * 2021-03-04 2021-05-28 广州大学华软软件学院 一种生活垃圾分类智能分拣系统及方法
CN113569712A (zh) * 2021-07-23 2021-10-29 北京百度网讯科技有限公司 信息交互方法、装置、设备以及存储介质
CN114259188A (zh) * 2022-01-07 2022-04-01 美智纵横科技有限责任公司 清洁设备、图像处理方法和装置、可读存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070080479A (ko) * 2006-02-07 2007-08-10 삼성전자주식회사 이동 로봇 제어 장치 및 방법
CN105058389A (zh) * 2015-07-15 2015-11-18 深圳乐行天下科技有限公司 一种机器人系统、机器人控制方法及机器人
CN105955051A (zh) * 2016-06-20 2016-09-21 北京小米移动软件有限公司 智能家居设备控制方法及装置
WO2017041730A1 (zh) * 2015-09-09 2017-03-16 北京进化者机器人科技有限公司 一种移动机器人避障导航的方法和系统
CN106737687A (zh) * 2017-01-17 2017-05-31 暨南大学 基于可见光定位导航的室内机器人系统
CN107092252A (zh) * 2017-04-11 2017-08-25 杭州光珀智能科技有限公司 一种基于机器视觉的机器人主动避障方法及其装置
CN109074652A (zh) * 2016-03-30 2018-12-21 株式会社爱考斯研究 图像识别装置、移动体装置以及图像识别程序
CN109955257A (zh) * 2017-12-22 2019-07-02 深圳市优必选科技有限公司 一种机器人的唤醒方法、装置、终端设备和存储介质
WO2019151387A1 (ja) * 2018-01-31 2019-08-08 Ｇｒｏｏｖｅ Ｘ株式会社 経験に基づいて行動する自律行動型ロボット
WO2019196313A1 (zh) * 2018-04-10 2019-10-17 平安科技（深圳）有限公司 机器人行走障碍检测方法、装置、计算机设备和存储介质
CN110802594A (zh) * 2019-11-08 2020-02-18 珠海市一微半导体有限公司 一种手势控制方法、芯片及遛娃机器人
WO2020125406A1 (zh) * 2018-12-20 2020-06-25 Oppo广东移动通信有限公司 安全监护方法、装置、终端及计算机可读存储介质
US20200272155A1 (en) * 2019-02-22 2020-08-27 Honda Motor Co., Ltd. System and method for implementing pedestrian avoidance strategies for a mobile robot

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070080479A (ko) * 2006-02-07 2007-08-10 삼성전자주식회사 이동 로봇 제어 장치 및 방법
CN105058389A (zh) * 2015-07-15 2015-11-18 深圳乐行天下科技有限公司 一种机器人系统、机器人控制方法及机器人
WO2017041730A1 (zh) * 2015-09-09 2017-03-16 北京进化者机器人科技有限公司 一种移动机器人避障导航的方法和系统
CN109074652A (zh) * 2016-03-30 2018-12-21 株式会社爱考斯研究 图像识别装置、移动体装置以及图像识别程序
CN105955051A (zh) * 2016-06-20 2016-09-21 北京小米移动软件有限公司 智能家居设备控制方法及装置
CN106737687A (zh) * 2017-01-17 2017-05-31 暨南大学 基于可见光定位导航的室内机器人系统
CN107092252A (zh) * 2017-04-11 2017-08-25 杭州光珀智能科技有限公司 一种基于机器视觉的机器人主动避障方法及其装置
CN109955257A (zh) * 2017-12-22 2019-07-02 深圳市优必选科技有限公司 一种机器人的唤醒方法、装置、终端设备和存储介质
WO2019151387A1 (ja) * 2018-01-31 2019-08-08 Ｇｒｏｏｖｅ Ｘ株式会社 経験に基づいて行動する自律行動型ロボット
WO2019196313A1 (zh) * 2018-04-10 2019-10-17 平安科技（深圳）有限公司 机器人行走障碍检测方法、装置、计算机设备和存储介质
WO2020125406A1 (zh) * 2018-12-20 2020-06-25 Oppo广东移动通信有限公司 安全监护方法、装置、终端及计算机可读存储介质
US20200272155A1 (en) * 2019-02-22 2020-08-27 Honda Motor Co., Ltd. System and method for implementing pedestrian avoidance strategies for a mobile robot
CN110802594A (zh) * 2019-11-08 2020-02-18 珠海市一微半导体有限公司 一种手势控制方法、芯片及遛娃机器人

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨大伟;姬梦婷;张汝波;毛琳;: "移动机器人行人目标活动区域快速检测算法", 大连民族大学学报, no. 03 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112845143A (zh) * 2021-03-04 2021-05-28 广州大学华软软件学院 一种生活垃圾分类智能分拣系统及方法
CN113569712A (zh) * 2021-07-23 2021-10-29 北京百度网讯科技有限公司 信息交互方法、装置、设备以及存储介质
CN113569712B (zh) * 2021-07-23 2023-11-14 北京百度网讯科技有限公司 信息交互方法、装置、设备以及存储介质
CN114259188A (zh) * 2022-01-07 2022-04-01 美智纵横科技有限责任公司 清洁设备、图像处理方法和装置、可读存储介质

Similar Documents

Publication Publication Date Title
CN112230652A (zh) 行走机器人及其移动控制的方法、计算机存储介质
KR101327736B1 (ko) Ａｖｍ탑뷰 기반 주차지원 시스템
US10867401B2 (en) Method and device for the estimation of car ego-motion from surround view images
WO2017078001A1 (ja) 障害物検知装置
Knoop et al. Sensor fusion for 3D human body tracking with an articulated 3D body model
WO2019090833A1 (zh) 定位系统、方法及所适用的机器人
JP4355341B2 (ja) 深度データを用いたビジュアルトラッキング
CN108481327B (zh) 一种增强视觉的定位装置、定位方法及机器人
Kim et al. Visual odometry algorithm using an RGB-D sensor and IMU in a highly dynamic environment
JP5023186B2 (ja) ３ｄワーピング手法と固有対象物運動（ｐｏｍ）の検出の組み合わせに基づく対象物の動き検出システム
EP3430593B1 (en) Method for detecting an object alongside a road of a motor vehicle, computing device, driver assistance system as well as motor vehicle
Maier et al. Vision-based humanoid navigation using self-supervised obstacle detection
Einhorn et al. Attention-driven monocular scene reconstruction for obstacle detection, robot navigation and map building
CN108544494A (zh) 一种基于惯性和视觉特征的定位装置、方法及机器人
CN114972427A (zh) 一种基于单目视觉的目标跟踪方法、终端设备及存储介质
CN112450820B (zh) 位姿优化方法、移动机器人及存储介质
Naser et al. Infrastructure-free NLoS obstacle detection for autonomous cars
KR20130045743A (ko) 이동 로봇 및 이의 목표물 추적 방법
US20180322347A1 (en) Driver Assistance System Featuring Adaptive Processing of Image Data of the Surroundings
Foix Salmerón et al. Exploitation of time-of-flight (ToF) cameras
JP5785515B2 (ja) 歩行者検出装置及び方法、並びに車両用衝突判定装置
Schamm et al. Vision and ToF-based driving assistance for a personal transporter
Wang et al. A real-time monocular vision-based obstacle detection
KR101071061B1 (ko) 차량의 특징점을 이용한 운전 보조 장치 및 방법과 이에 사용되는 마이크로프로세서 및 기록매체
CN115552487A (zh) 人体躺姿检测方法及使用该方法的移动机器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination