CN106054897A - 一种可以进行人体跟随的机器人 - Google Patents

一种可以进行人体跟随的机器人 Download PDF

Info

Publication number
CN106054897A
CN106054897A CN201610563780.XA CN201610563780A CN106054897A CN 106054897 A CN106054897 A CN 106054897A CN 201610563780 A CN201610563780 A CN 201610563780A CN 106054897 A CN106054897 A CN 106054897A
Authority
CN
China
Prior art keywords
robot
sensor
unit
human body
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610563780.XA
Other languages
English (en)
Inventor
林绿德
庄永军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sanbao Innovation Intelligence Co ltd
Original Assignee
QIHAN TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by QIHAN TECHNOLOGY Co Ltd filed Critical QIHAN TECHNOLOGY Co Ltd
Priority to CN201610563780.XA priority Critical patent/CN106054897A/zh
Publication of CN106054897A publication Critical patent/CN106054897A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种可以进行人体跟随的机器人,包括3D传感器、人体识别单元、机器人控制单元以及运动系统单元,所述3D传感器依次通过人体识别单元、机器人控制单元连接到运动系统单元。本发明突破传统移动机器人单一的跟随处理方式,将基于图像处理和红外处理共同结合,且在2D图像的基础上延伸到3D图像,细致到图像的每个像素颜色上,使得跟随机器人在识别目标人物更加准确,根据识别做出不同的控制,与传统跟随机器人相比,更能准确识别出目标人物和不容易受到干扰,实现移动机器人智能跟随可特定服务目标用户,更好实现人机交互的智能性,完成用户发出的指定任务。

Description

一种可以进行人体跟随的机器人
技术领域
本发明涉及一种机器人,具体是一种可以进行人体跟随的机器人。
背景技术
随着机器人的研究越来越深,增强人机交互的智能性是目前探讨的热点之一。智能跟随是移动机器人的研究领域中占主要部分的应用需求,且实现移动机器人智能跟随可特定服务目标用户,更好实现人机交互的智能性,完成用户发出的指定任务。目前移动机器人的跟随方式有基于图像处理、基于红外处理以及基于超声波等的跟随技术。若采用基于超声波的跟随技术,其可探测的距离较短,且在探测范围内难以辨别出不同目标,无法做到跟踪特定目标任务;同样如果只采用基于红外处理的跟随技术也难以确定特定的目标人物。所以只采用简单的一种处理跟随技术会无法确定特定的目标人物,即便识别出了目标人物,目标人物的跟踪也容易受到干扰,易丢失目标人物。
发明内容
本发明的目的在于提供一种可以进行人体跟随的机器人,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
一种可以进行人体跟随的机器人,包括3D传感器、人体识别单元、机器人控制单元以及运动系统单元,所述3D传感器依次通过人体识别单元、机器人控制单元连接到运动系统单元;3D传感器利用3D摄像机的红外线发射器将发出的红外线覆盖整个3D摄像头可视范围,红外摄像头通过接收反射光线得到包括目标人体在内的周围环境深度信息图像,与此同时,RGB摄像头得到彩色环境图像,深度图像和彩色图像一起构成3D图像分别输出,3D传感器以每秒30帧的速度生成景深图像流,并实时3D再现周围环境;人体识别单元对接收到的3D传感器的图像数据进行识别,确定所跟踪的目标人体在视频图像中的具体位置;机器人控制单元根据确定目标人体与机器人的距离远近及方向,控制机器人进行前进、左转、右转以及停止;运动系统单元通过PID算法驱动直流电机最终实现机器人的运动和转向。
作为本发明再进一步的方案:所述3D传感器设置于机器人的头部。
与现有技术相比,本发明的有益效果是:本发明突破传统移动机器人单一的跟随处理方式,将基于图像处理和红外处理共同结合,且在2D图像的基础上延伸到3D图像,细致到图像的每个像素颜色上,使得跟随机器人在识别目标人物更加准确,根据识别做出不同的控制,与传统跟随机器人相比,更能准确识别出目标人物和不容易受到干扰,实现移动机器人智能跟随可特定服务目标用户,更好实现人机交互的智能性,完成用户发出的指定任务。
附图说明
图1为可以进行人体跟随的机器人的原理框图;
图2为可以进行人体跟随的机器人的软件工作总流程;
图3为可以进行人体跟随的机器人的运动系统单元流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,本发明实施例中,一种可以进行人体跟随的机器人,包括3D传感器、人体识别单元、机器人控制单元以及运动系统单元,所述3D传感器依次通过人体识别单元、机器人控制单元连接到运动系统单元;3D传感器利用3D摄像机的红外线发射器将发出的红外线覆盖整个3D摄像头可视范围,红外摄像头通过接收反射光线得到包括目标人体在内的周围环境深度信息图像,与此同时,RGB摄像头得到彩色环境图像,深度图像和彩色图像一起构成3D图像分别输出,3D传感器以每秒30帧的速度生成景深图像流,并实时3D再现周围环境;人体识别单元对接收到的3D传感器的图像数据进行识别,确定所跟踪的目标人体在视频图像中的具体位置;机器人控制单元根据确定目标人体与机器人的距离远近及方向,控制机器人进行前进、左转、右转以及停止;运动系统单元通过PID算法驱动直流电机最终实现机器人的运动和转向;所述3D传感器设置于机器人的头部。
本发明的工作原理是:请参阅图1,3D传感器是利用3D摄像机的红外线发射器将发出的红外线覆盖整个3D摄像头可视范围,红外摄像头通过接收反射光线得到包括目标人体在内的周围环境深度信息图像,与此同时,RGB摄像头得到彩色环境图像,深度图像和彩色图像一起构成3D图像分别输出。传感器以每秒30帧的速度生成景深图像流,并实时3D再现周围环境。人体识别单元是对接收到的3D传感器的图像数据进行识别,确定所跟踪的目标人体在视频图像中的具体位置。机器人控制单元是根据确定目标人体与机器人的距离远近及方向,控制机器人进行前进,左转,右转以及停止,从而实现目标人体的跟踪。运动系统单元是通过PID算法驱动直流电机最终实现机器人的运动和转向。
软件工作总流程如图2所示:
1.用户对机器人发出开始跟随的指令,机器人接受指令开始执行。
2.3D传感器收到指令,利用3D摄像机的红外线发射器将发出的红外线覆盖整个3D摄像头可视范围,红外摄像头通过接收反射光线得到包括目标人体在内的周围环境深度信息图像,与此同时,RGB摄像头得到彩色环境图像,深度图像和彩色图像一起构成3D图像分别输出。传感器以每秒30帧的速度生成景深图像流,并实时3D再现周围环境。
3.对接收到3D传感器的图像数据进行识别,确定所跟踪的目标人体在视频图像中的具体位置。
4.得到目标人体具体位置后,确定目标移动的人体与机器人的距离远近及方位。
5. 根据目标距离以及方位,开始实时地控制机器人进行前进,左转,右转以及停止,从而实现目标人体的实时跟踪。
机器人运动系统单元得到目标重心在图像中的位置信息形成机器人左转或右转的控制指令,根据目标到机器人的距离形成机器人前进或停止的指令。然后发送指令控制机器人进行运动。
本发明涉及一种基于3D传感器的人体跟随机器人,3D传感器是基于图像处理和红外的两种结合方法,且在2D图像的基础上延伸到3D图像,细致到图像的每个像素颜色上。首先3D传感器的红外线发射器发出的红外线覆盖整个3D传感器可视范围,通过接收反射光线确定得到目标人体的深度信息,并在计算机中进行3D成像,生成的3D图像和深度信息共同用于人体识别,捕捉到用户的手势或肢体动作后对人体的几十个部位进行实时追踪,且会根据识别信息的不同对跟随机器人做出不同的控制。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。

Claims (2)

1.一种可以进行人体跟随的机器人,包括3D传感器、人体识别单元、机器人控制单元以及运动系统单元,其特征在于,所述3D传感器依次通过人体识别单元、机器人控制单元连接到运动系统单元;3D传感器利用3D摄像机的红外线发射器将发出的红外线覆盖整个3D摄像头可视范围,红外摄像头通过接收反射光线得到包括目标人体在内的周围环境深度信息图像,与此同时,RGB摄像头得到彩色环境图像,深度图像和彩色图像一起构成3D图像分别输出,3D传感器以每秒30帧的速度生成景深图像流,并实时3D再现周围环境;人体识别单元对接收到的3D传感器的图像数据进行识别,确定所跟踪的目标人体在视频图像中的具体位置;机器人控制单元根据确定目标人体与机器人的距离远近及方向,控制机器人进行前进、左转、右转以及停止;运动系统单元通过PID算法驱动直流电机最终实现机器人的运动和转向。
2.根据权利要求1所述的可以进行人体跟随的机器人,其特征在于,所述3D传感器设置于机器人的头部。
CN201610563780.XA 2016-07-18 2016-07-18 一种可以进行人体跟随的机器人 Pending CN106054897A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610563780.XA CN106054897A (zh) 2016-07-18 2016-07-18 一种可以进行人体跟随的机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610563780.XA CN106054897A (zh) 2016-07-18 2016-07-18 一种可以进行人体跟随的机器人

Publications (1)

Publication Number Publication Date
CN106054897A true CN106054897A (zh) 2016-10-26

Family

ID=57188526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610563780.XA Pending CN106054897A (zh) 2016-07-18 2016-07-18 一种可以进行人体跟随的机器人

Country Status (1)

Country Link
CN (1) CN106054897A (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106426170A (zh) * 2016-11-01 2017-02-22 安徽爱依特科技有限公司 一种跟随移动摄影机器人的跟随移动算法
CN106426180A (zh) * 2016-11-24 2017-02-22 深圳市旗瀚云技术有限公司 一种基于人脸追踪进行智能跟随的机器人
CN106774325A (zh) * 2016-12-23 2017-05-31 湖南晖龙股份有限公司 基于超声波、蓝牙和视觉的跟随机器人
CN106724215A (zh) * 2016-12-08 2017-05-31 枣庄学院 一种跑步专用折叠座椅
CN106843280A (zh) * 2017-02-17 2017-06-13 深圳市踏路科技有限公司 一种机器人智能跟随系统
CN107330369A (zh) * 2017-05-27 2017-11-07 芜湖星途机器人科技有限公司 人体识别机器人
CN107608392A (zh) * 2017-09-19 2018-01-19 浙江大华技术股份有限公司 一种目标跟随的方法及设备
WO2018148878A1 (zh) * 2017-02-15 2018-08-23 深圳市前海中康汇融信息技术有限公司 视场自适应调节的智能机器人及其控制方法
CN108527366A (zh) * 2018-03-22 2018-09-14 北京理工华汇智能科技有限公司 基于景深距离的机器人跟随方法及装置
WO2018228462A1 (en) * 2017-06-15 2018-12-20 Zhejiang Geely Holding Group Co., Ltd. Mobile power for outdoor power supply
CN109051321A (zh) * 2018-09-14 2018-12-21 山东上拓教育咨询有限公司 一种智能自动跟随的低温生鲜物流配送箱
CN110103241A (zh) * 2019-06-13 2019-08-09 河北工业职业技术学院 照明机器人、照明机器人控制方法及控制装置
CN110515384A (zh) * 2019-09-09 2019-11-29 深圳市三宝创新智能有限公司 一种基于视觉标识的人体跟随方法及机器人
CN112015171A (zh) * 2019-05-31 2020-12-01 北京京东振世信息技术有限公司 一种智能音箱和控制智能音箱的方法、装置和存储介质
CN112157660A (zh) * 2020-11-05 2021-01-01 珠海市一微半导体有限公司 一种具有跟踪功能的移动机器人及目标跟踪方法
TWI742644B (zh) * 2020-05-06 2021-10-11 東元電機股份有限公司 跟隨移動平台及其方法
CN113959432A (zh) * 2021-10-20 2022-01-21 上海擎朗智能科技有限公司 移动设备的跟随路径的确定方法、装置及存储介质
TWI776609B (zh) * 2021-07-27 2022-09-01 東元電機股份有限公司 人機協作載物車

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203300127U (zh) * 2013-06-18 2013-11-20 西北师范大学 儿童教学监护机器人
CN105425806A (zh) * 2015-12-25 2016-03-23 深圳先进技术研究院 移动机器人的人体探测与跟踪方法及装置
CN105678288A (zh) * 2016-03-04 2016-06-15 北京邮电大学 目标跟踪方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203300127U (zh) * 2013-06-18 2013-11-20 西北师范大学 儿童教学监护机器人
CN105425806A (zh) * 2015-12-25 2016-03-23 深圳先进技术研究院 移动机器人的人体探测与跟踪方法及装置
CN105678288A (zh) * 2016-03-04 2016-06-15 北京邮电大学 目标跟踪方法和装置

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106426170A (zh) * 2016-11-01 2017-02-22 安徽爱依特科技有限公司 一种跟随移动摄影机器人的跟随移动算法
CN106426180A (zh) * 2016-11-24 2017-02-22 深圳市旗瀚云技术有限公司 一种基于人脸追踪进行智能跟随的机器人
CN106724215A (zh) * 2016-12-08 2017-05-31 枣庄学院 一种跑步专用折叠座椅
CN106774325A (zh) * 2016-12-23 2017-05-31 湖南晖龙股份有限公司 基于超声波、蓝牙和视觉的跟随机器人
WO2018148878A1 (zh) * 2017-02-15 2018-08-23 深圳市前海中康汇融信息技术有限公司 视场自适应调节的智能机器人及其控制方法
CN106843280A (zh) * 2017-02-17 2017-06-13 深圳市踏路科技有限公司 一种机器人智能跟随系统
CN106843280B (zh) * 2017-02-17 2021-03-16 深圳市卓兴半导体科技有限公司 一种机器人智能跟随系统
CN107330369A (zh) * 2017-05-27 2017-11-07 芜湖星途机器人科技有限公司 人体识别机器人
WO2018228462A1 (en) * 2017-06-15 2018-12-20 Zhejiang Geely Holding Group Co., Ltd. Mobile power for outdoor power supply
CN107608392A (zh) * 2017-09-19 2018-01-19 浙江大华技术股份有限公司 一种目标跟随的方法及设备
CN108527366A (zh) * 2018-03-22 2018-09-14 北京理工华汇智能科技有限公司 基于景深距离的机器人跟随方法及装置
CN109051321A (zh) * 2018-09-14 2018-12-21 山东上拓教育咨询有限公司 一种智能自动跟随的低温生鲜物流配送箱
CN112015171A (zh) * 2019-05-31 2020-12-01 北京京东振世信息技术有限公司 一种智能音箱和控制智能音箱的方法、装置和存储介质
CN110103241B (zh) * 2019-06-13 2021-08-27 河北工业职业技术学院 照明机器人、照明机器人控制方法及控制装置
CN110103241A (zh) * 2019-06-13 2019-08-09 河北工业职业技术学院 照明机器人、照明机器人控制方法及控制装置
CN110515384A (zh) * 2019-09-09 2019-11-29 深圳市三宝创新智能有限公司 一种基于视觉标识的人体跟随方法及机器人
TWI742644B (zh) * 2020-05-06 2021-10-11 東元電機股份有限公司 跟隨移動平台及其方法
CN112157660A (zh) * 2020-11-05 2021-01-01 珠海市一微半导体有限公司 一种具有跟踪功能的移动机器人及目标跟踪方法
TWI776609B (zh) * 2021-07-27 2022-09-01 東元電機股份有限公司 人機協作載物車
CN113959432A (zh) * 2021-10-20 2022-01-21 上海擎朗智能科技有限公司 移动设备的跟随路径的确定方法、装置及存储介质
CN113959432B (zh) * 2021-10-20 2024-05-17 上海擎朗智能科技有限公司 移动设备的跟随路径的确定方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN106054897A (zh) 一种可以进行人体跟随的机器人
US20230324684A1 (en) Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking
US11614803B2 (en) Individually interactive multi-view display system for non-stationary viewing locations and methods therefor
US7705876B2 (en) Stereoscopic image display
US20150248167A1 (en) Controlling a computing-based device using gestures
EP3243331B1 (en) Devices, systems and methods for auto-delay video presentation
CN103353935B (zh) 一种用于智能家居系统的3d动态手势识别方法
US20120200667A1 (en) Systems and methods to facilitate interactions with virtual content
US11755122B2 (en) Hand gesture-based emojis
EP3688562A1 (en) Physical boundary guardian
EP3422149B1 (en) Methods, apparatus, systems, computer programs for enabling consumption of virtual content for mediated reality
CN109199240A (zh) 一种基于手势控制的扫地机器人控制方法及系统
CN104656893A (zh) 一种信息物理空间的远程交互式操控系统及方法
JP2011152593A (ja) ロボット操作装置
Jo et al. Chili: viewpoint control and on-video drawing for mobile video calls
CN107918482A (zh) 沉浸式vr系统中避免过度刺激的方法与系统
Rocca et al. Head pose estimation by perspective-n-point solution based on 2d markerless face tracking
CN105014675A (zh) 一种狭窄空间智能移动机器人视觉导航系统及方法
CN205827240U (zh) 一种可以进行人体跟随的机器人
WO2023280082A1 (zh) 一种手柄inside-out视觉6自由度定位方法及系统
JPWO2018146922A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN108052901A (zh) 一种基于双目的手势识别智能无人机远程操控方法
CN108521594A (zh) 一种基于体感相机手势识别的自由视点视频播放方法
Gao et al. Real-time visual representations for mixed reality remote collaboration
Gelb et al. Augmented reality for immersive remote collaboration

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190603

Address after: 518000 Guangdong 28, Shenzhen, Futian District, Huafu street, No. 5001 Huanggang Road, Shenzhen Industrial upper city (two phase of the Southern District)

Applicant after: Shenzhen Sanbao Innovation Intelligence Co.,Ltd.

Address before: 518000 20th Floor of Times Science and Technology Building on the Northeast Side of the Junction of Shennan Avenue and Nongyuan Road, Futian District, Shenzhen City, Guangdong Province

Applicant before: QIHAN TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20161026

RJ01 Rejection of invention patent application after publication