CN106155093A - 一种基于计算机视觉的机器人跟随人体的系统和方法 - Google Patents

一种基于计算机视觉的机器人跟随人体的系统和方法 Download PDF

Info

Publication number
CN106155093A
CN106155093A CN201610581929.7A CN201610581929A CN106155093A CN 106155093 A CN106155093 A CN 106155093A CN 201610581929 A CN201610581929 A CN 201610581929A CN 106155093 A CN106155093 A CN 106155093A
Authority
CN
China
Prior art keywords
human body
robot
scene
image
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610581929.7A
Other languages
English (en)
Inventor
王威
谈笑
胡义轩
袁泽寰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201610581929.7A priority Critical patent/CN106155093A/zh
Publication of CN106155093A publication Critical patent/CN106155093A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/12—Target-seeking control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于计算机视觉的机器人跟随人体的系统，包括视频采集模块、物体检测模块和运动控制模块，该系统利用深度相机采集获取当前场景的深度图像及RGB图像，将采集到的图像进行处理，检测场景中的体并确定人体在场景中的位置，再根据获取的人体位置驱动机器人靠近人体，当人体在深度相机所检测的深度范围内时对人体进行跟随。本发明针对已有技术中存在的机器人定位及跟随问题，本发明通过利用视觉设备获取被跟随对象的图像信息，利用计算机视觉技术检测被跟随对象的与机器人的相对位置信息，将信息反馈到机器人运动控制单元，进而实现跟随，一方面提高机器人的检测范围，另一方面也提高了机器人跟随的鲁棒性。

Description

一种基于计算机视觉的机器人跟随人体的系统和方法
技术领域
本发明涉及一种机器人跟随人体的系统和方法，尤其涉及一种基于计算机视觉的机器人跟随人体的系统和方法。
背景技术
目前市场上的机器人跟随功能大都使用激光传感器或者其他辅助定位方式对目标进行定位，进而实现跟随，另外还需要被跟随对象与机器人保持在一定的距离范围内或者手动发送位置信息，机器人才能进行跟随。当被跟随对象超出机器人的跟随范围内时，机器人将无法得到定位信息，也不会做出跟随的行动，导致机器人的智能化降低，应用范围受到限制，难以推广到实际的应用中，已经不能满足人们的要求。
发明内容
本发明的目的在于提供一种基于计算机视觉的机器人跟随人体的系统和方法，解决现有技术存在的缺憾。
本发明采用如下技术方案实现：
一种基于计算机视觉的机器人跟随人体的系统，其特征在于，包括视频采集模块、物体检测模块和运动控制模块，其中：
所述视频采集模块由深度相机构成，用于获取当前场景的深度图像及RGB图像；
所述物体检测模块将采集到的图像进行处理，检测场景中的人体并确定人体在场景中的位置；
所述运动控制模块根据获取的人体位置，驱动机器人靠近人体，当人体在深度相机所检测的深度范围内时，对人体进行跟随。
进一步的，该系统利用深度相机采集获取当前场景的深度图像及RGB图像，将采集到的图像进行处理，检测场景中的人体并确定人体在场景中的位置，再根据获取的人体位置驱动机器人靠近人体，当人体在深度相机所检测的深度范围内时对人体进行跟随。
本发明的有益技术效果是：针对已有技术中存在的机器人定位及跟随问题，本发明通过利用视觉设备获取被跟随对象的图像信息，利用计算机视觉技术检测被跟随对象的与机器人的相对位置信息，将信息反馈到机器人运动控制单元，进而实现跟随，一方面提高机器人的检测范围，另一方面也提高了机器人跟随的鲁棒性。
附图说明
图1是本发明的人体检测流程图。
图2是本发明的人体跟随流程图。
图3是本发明的人体寻找流程图。
具体实施方式
通过下面对实施例的描述，将更加有助于公众理解本发明，但不能也不应当将申请人所给出的具体的实施例视为对本发明技术方案的限制，任何对部件或技术特征的定义进行改变和/或对整体结构作形式的而非实质的变换都应视为本发明的技术方案所限定的保护范围。
本发明的主要实现思想是：机器人对摄像头拍摄的视频图片进行相应特征提取，并使用提取的特征数据进行分类，完成对人体的检测和识别。与传统图像识别系统，本机器人中使用了快速检测物体区域算法，对视频帧中的物体能够近乎于实时（24fps）进行检测，从而使得物体识别的处理时间与准确度能够得到较大的提高。机器人对摄像头拍摄的视频连续帧进行分析、提取特征，实现对视频中出现的人体进行检测识别。首先采用快速物体预检测算法寻找可能出现人体的候选区域，然后对候选区域采用帧之间的运动约束和分类器进行进一步筛选和识别。
对特征进行快速预检测，使用支持向量机SVM对图片的像素块分布进行分类，与传统检测算法不同的是经过此快速预检测之后，原来生成的上万个图像备选区域将被降至几千个。而且此快速预检测最快能达到了几百帧每秒。但是此预检测得出的结果会存在有一定的噪声与误差。因此需要通过运动约束来对误差备选图进行筛选，由于机器人对人进行追踪的特殊性，被追踪物体将处于运动状态，而非被追踪物体将具有一定的像素稳定性，根据此特性对图片中的误差检测做约束筛选。由此可见在下一帧中误差预测将被约束筛选除去。
在图1中，机器人检测到人体后，通过计算机视觉对人体进行定位及定向，随后慢慢逼近人体，直至人体在机器人深度相机的深度范围内，并计算点云数量，并得到人体点云的中心位置，机器人以给位置为参考点，对人体进行跟随。在图2和图3中的机器人跟随人体的过程中，难免会因为被检测人速度过快或者其他事件离开机器人视线的情况，这时候机器人需要进行人体的寻找工作，并继续跟随人体。
本实施例具体实施的方式和步骤：
Step1：机器人对摄像头拍摄的视频连续帧进行分析，提取特征，实现对视频中出现的人体进行快速检测识别，得到可能出现人体的候选区域；
Step2：若检测到人体，通过运动约束来对误差备选图进行筛选，由于机器人对人进行追踪的特殊性，被追踪物体将处于运动状态，而非被追踪物体将具有一定的像素稳定性，根据此特性对图片中的误差检测做约束筛选；
Step3：估算被检测到的人体在机器人视角中的位置，机器人转动一定角度，面向被检测人体；
Step4：若被检测人体在机器人视角的深度范围内，则对被测人体进行跟随，否则机器人前进；
Step5：跟随过程中如果目标丢失，机器人进行目标寻找，并回到Step1；其中搜寻的方式为：先进行原地搜寻，即机器人旋转360度，每旋转45度，进行一次快速人体检测；若仍未发现人体，则导航至另一地点继续寻找。
本实施例通过运动约束来对误差备选图进行筛选，提高人体检测精度，利用视觉实现目标的定位及定向，进而对机器人进行运动控制，本实施例中的快速物体检测识别算法及机器人跟随总体方案均属于要求保护的对象。
当然，本发明还可以有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可以根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (2)

1.一种基于计算机视觉的机器人跟随人体的系统，其特征在于，包括视频采集模块、物体检测模块和运动控制模块，其中：
所述视频采集模块由深度相机构成，用于获取当前场景的深度图像及RGB图像；
所述物体检测模块将采集到的图像进行处理，检测场景中的人体并确定人体在场景中的位置；
所述运动控制模块根据获取的人体位置，驱动机器人靠近人体，当人体在深度相机所检测的深度范围内时，对人体进行跟随。
2.一种基于计算机视觉的机器人跟随人体的方法，其特征在于，该系统利用深度相机采集获取当前场景的深度图像及RGB图像，将采集到的图像进行处理，检测场景中的体并确定人体在场景中的位置，再根据获取的人体位置驱动机器人靠近人体，当人体在深度相机所检测的深度范围内时对人体进行跟随。
CN201610581929.7A 2016-07-22 2016-07-22 一种基于计算机视觉的机器人跟随人体的系统和方法 Pending CN106155093A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610581929.7A CN106155093A (zh) 2016-07-22 2016-07-22 一种基于计算机视觉的机器人跟随人体的系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610581929.7A CN106155093A (zh) 2016-07-22 2016-07-22 一种基于计算机视觉的机器人跟随人体的系统和方法

Publications (1)

Publication Number Publication Date
CN106155093A true CN106155093A (zh) 2016-11-23

Family

ID=58060511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610581929.7A Pending CN106155093A (zh) 2016-07-22 2016-07-22 一种基于计算机视觉的机器人跟随人体的系统和方法

Country Status (1)

Country Link
CN (1) CN106155093A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106426180A (zh) * 2016-11-24 2017-02-22 深圳市旗瀚云技术有限公司 一种基于人脸追踪进行智能跟随的机器人
CN106774325A (zh) * 2016-12-23 2017-05-31 湖南晖龙股份有限公司 基于超声波、蓝牙和视觉的跟随机器人
CN107170011A (zh) * 2017-04-24 2017-09-15 杭州司兰木科技有限公司 一种机器人视觉跟踪方法及系统
WO2018107916A1 (zh) * 2016-12-14 2018-06-21 南京阿凡达机器人科技有限公司 一种基于环境地图的机器人安防巡检方法及其机器人
CN108527366A (zh) * 2018-03-22 2018-09-14 北京理工华汇智能科技有限公司 基于景深距离的机器人跟随方法及装置
CN108734077A (zh) * 2017-12-01 2018-11-02 北京猎户星空科技有限公司 引领设备控制方法及装置
CN108724172A (zh) * 2017-12-01 2018-11-02 北京猎户星空科技有限公司 引领设备控制方法及装置
CN113272752A (zh) * 2019-01-12 2021-08-17 株式会社Zmp 自主行驶车辆、配送系统以及程序

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130211594A1 (en) * 2012-02-15 2013-08-15 Kenneth Dean Stephens, Jr. Proxy Robots and Remote Environment Simulator for Their Human Handlers
CN103268616A (zh) * 2013-04-18 2013-08-28 北京工业大学 多特征多传感器的移动机器人运动人体跟踪方法
CN104820998A (zh) * 2015-05-27 2015-08-05 成都通甲优博科技有限责任公司 一种基于无人机动平台的人体检测与跟踪方法及装置
CN104977934A (zh) * 2015-07-09 2015-10-14 深圳中科智酷机器人科技有限公司 一种机器人系统及基于机器人系统的人体探测和跟踪方法
CN105425806A (zh) * 2015-12-25 2016-03-23 深圳先进技术研究院 移动机器人的人体探测与跟踪方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130211594A1 (en) * 2012-02-15 2013-08-15 Kenneth Dean Stephens, Jr. Proxy Robots and Remote Environment Simulator for Their Human Handlers
CN103268616A (zh) * 2013-04-18 2013-08-28 北京工业大学 多特征多传感器的移动机器人运动人体跟踪方法
CN104820998A (zh) * 2015-05-27 2015-08-05 成都通甲优博科技有限责任公司 一种基于无人机动平台的人体检测与跟踪方法及装置
CN104977934A (zh) * 2015-07-09 2015-10-14 深圳中科智酷机器人科技有限公司 一种机器人系统及基于机器人系统的人体探测和跟踪方法
CN105425806A (zh) * 2015-12-25 2016-03-23 深圳先进技术研究院 移动机器人的人体探测与跟踪方法及装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106426180A (zh) * 2016-11-24 2017-02-22 深圳市旗瀚云技术有限公司 一种基于人脸追踪进行智能跟随的机器人
WO2018107916A1 (zh) * 2016-12-14 2018-06-21 南京阿凡达机器人科技有限公司 一种基于环境地图的机器人安防巡检方法及其机器人
CN106774325A (zh) * 2016-12-23 2017-05-31 湖南晖龙股份有限公司 基于超声波、蓝牙和视觉的跟随机器人
CN107170011A (zh) * 2017-04-24 2017-09-15 杭州司兰木科技有限公司 一种机器人视觉跟踪方法及系统
CN107170011B (zh) * 2017-04-24 2019-12-17 杭州艾芯智能科技有限公司 一种机器人视觉跟踪方法及系统
CN108734077A (zh) * 2017-12-01 2018-11-02 北京猎户星空科技有限公司 引领设备控制方法及装置
CN108724172A (zh) * 2017-12-01 2018-11-02 北京猎户星空科技有限公司 引领设备控制方法及装置
CN108527366A (zh) * 2018-03-22 2018-09-14 北京理工华汇智能科技有限公司 基于景深距离的机器人跟随方法及装置
CN113272752A (zh) * 2019-01-12 2021-08-17 株式会社Zmp 自主行驶车辆、配送系统以及程序
CN113272752B (zh) * 2019-01-12 2023-11-17 株式会社Zmp 自主行驶车辆、配送系统以及程序

Similar Documents

Publication Publication Date Title
CN106155093A (zh) 一种基于计算机视觉的机器人跟随人体的系统和方法
US12056816B2 (en) Automated spatial indexing of images based on floorplan features
US10445887B2 (en) Tracking processing device and tracking processing system provided with same, and tracking processing method
EP2710554B1 (en) Head pose estimation using rgbd camera
JP6095018B2 (ja) 移動オブジェクトの検出及び追跡
EP2917754B1 (en) Image processing method, particularly used in a vision-based localization of a device
CN105678288B (zh) 目标跟踪方法和装置
US8842162B2 (en) Method and system for improving surveillance of PTZ cameras
JP6510247B2 (ja) 測量データ処理装置、測量データ処理方法およびプログラム
CN110706258B (zh) 对象追踪方法及装置
JP2013535896A (ja) 熱画像座標を用いた保安用カメラ追跡監視システム及び方法
JP6551226B2 (ja) 情報処理システム、情報処理方法及びプログラム
CN103248822A (zh) 摄像终端的对焦方法及摄像终端
CN104952104A (zh) 一种三维人体姿态估计方法和装置
CN110738667A (zh) 一种基于动态场景的rgb-d slam方法和系统
WO2016005252A1 (en) Method and device for image extraction from a video
Diamantatos et al. Android based electronic travel aid system for blind people
Wang et al. Fast filtering-based temporal saliency detection using Minimum Barrier Distance
Lefaudeux et al. Real-time visual perception: detection and localisation of static and moving objects from a moving stereo rig
Jin et al. Real-time multi-view 3D object tracking in cluttered scenes
Yu et al. Fusing semantic segmentation and object detection for visual SLAM in dynamic scenes
CN114648567A (zh) 一种基于单目视觉的水下场景深度评估方法和系统
Lu et al. Detection and Elimination of Dynamic Feature Points Based on YOLO and Geometric Constraints
Yu et al. Detecting and identifying people in mobile videos
JP2009087238A (ja) 画像追尾プログラム、装置、及び方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20161123