CN105760824A - 一种运动人体跟踪方法和系统 - Google Patents
一种运动人体跟踪方法和系统 Download PDFInfo
- Publication number
- CN105760824A CN105760824A CN201610073052.0A CN201610073052A CN105760824A CN 105760824 A CN105760824 A CN 105760824A CN 201610073052 A CN201610073052 A CN 201610073052A CN 105760824 A CN105760824 A CN 105760824A
- Authority
- CN
- China
- Prior art keywords
- people
- sound
- sound source
- cloud terrace
- human
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000009471 action Effects 0.000 claims abstract description 27
- 230000008569 process Effects 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 7
- 239000002245 particle Substances 0.000 claims description 7
- 238000002156 mixing Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 5
- 230000002123 temporal effect Effects 0.000 claims description 3
- 230000005236 sound signal Effects 0.000 abstract 1
- 230000003068 static effect Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 5
- 230000002045 lasting effect Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种运动人体跟踪方法和系统，包括以下步骤：接收声音信号；接收视频信号；计算声源与系统的相对距离和声源与系统正方向的夹角，判断声源是否位于摄像头的摄像范围；若机器人在静止中，采用三帧差法得出当前帧的运动区域，在运动区域检测是否有人体，根据被跟随人在当前视频帧的大小和位置发出行动指令；若机器人在运动中，预测被跟踪人在当前帧中的活动区域，对预测活动区域进行人体识别，根据被跟随人在当前视频帧的大小和位置发出行动指令。本发明技术方案可以有效地检测到被跟随人在自主移动机器人平台摄像头视野中的位置，解决了被跟随人的部分身体被遮挡情况下跟踪失败的问题，有效实现对被跟随人运动的跟踪，并降低了成本。
Description
技术领域
本发明涉及自动化技术领域，特别涉及一种运动人体跟踪方法和系统。
背景技术
近年来，机器人技术作为高新科技，已经逐步地渗透进我们生活的方方面面，从生产车间到医院，机器人所发挥的作用不可估量。传统的工业机器人适用于结构化环境，完成重复性作业任务，而现代机器人则希望同人类一起在相同的非结构化空间和环境中协同作业，实时在线完成非确定性的任务，当代机器人研究的领域已经从结构环境下的定点作业中走出来，向航空航天、星际探索、军事侦察攻击、水下地下管道、疾病检查治疗、抢险救灾等非结构环境下的自主作业方面发展；传统机器人属于多输入和单末端输出系统，而现代机器人则属于多输入和多末端输出系统；传统机器人在灵巧作业、在线感知、对人的行为和抽象命令的理解、认知与决策能力等诸多方面远逊于人，无法与人实现高效的沟通和交流。未来的机器人将在人类不能或难以到达的已知或未知环境里为人类工作，其中很多功能都是基于机器人的人体识别与跟随功能。因此，为了满足人们更高的需求，提高人机互动技术，机器人人体识别与跟随功能是亟需解决的关键问题。
人跟随研究的相关技术主要包括三个方面：被跟随人的检测，被跟随人的的跟踪和机器人在跟随过程中的避障。国际上有许多组织在研究机器人人体识别及跟随方法。有些基于RGBD传感器(如Kinect、Xtion和奥比中光)作人体跟随移动机器人控制系统；此外，特殊装备房也广泛地用于识别目标人物。一个智能环境探测器被用于探测机器人的周围环境、实现人体识别和稳定地跟随人体。东京大学在试验中把多个镭射距离传感器设置成一个系统，该系统能够识别人体腿部并跟踪行人；或是设定3个镭射距离传感器分别检测人体的腿部、上身和头部，从而实现对人体的跟踪，但是这些装置是被固定的。
上述方法在实际应用中都存在缺陷。RGBD传感器有如下缺点：1)目标人物不能被遮挡；2)不适于移动平台；3)此外特殊装备房也是花费昂贵且机器人的活动范围受限。镭射测距传感器虽然测量角度广阔，但是如果用于识别人的腿部，那么机器人将很难判断哪两支脚是目标人物的，同时也失效于穿裙子的女性。
发明内容
本发明提供一种运动人体跟踪方法和系统，能够通过声音定位技术和帧差法技术和人体检测技术相结合，可以有效地检测到被跟随人在自主移动机器人平台摄像头视野中的位置；进而采用光流法或粒子滤波和卡尔曼滤波等基于视觉的运动物体跟踪方法实现对被跟随人运动的跟踪，在一定程度上解决了被跟随人被遮挡的问题，保证了机器人对目标的持续跟踪；并通过控制自主移动机器人平台运动实现对被跟随人的跟随；所采用普通摄像头作为跟随传感器，降低了系统成本，有效地解决了采用其他传感器成本昂贵的问题。
本发明的技术方案提供了一种运动人体跟踪方法，包括以下步骤：
S101：系统采集声音信号和声音到达各自位置的时间信息，并发送给中央控制器；
S102：判断是否为“跟随指令”，若否，则返回S101；
S103：计算声源与系统的相对距离和声源与系统正方向的夹角β；
S104：判断声源是否位于摄像头的摄像范围，若是，则转向S106；
S105：云台转动β角度；
S106：中央控制器控制打开彩色摄像头进行视频采集；
S107：采用三帧差法对连续三帧图像进行分析，得出当前帧的运动区域；
S108：判断活动区域是否符合要求，若小于下阈值则转向S101，若大于上阈值则转向S106；
S109：提取当前视频帧中符合要求的运动区域；
S110：人体检测器根据离线训练得到的人体检测分类器判断是否检测到人体，若否，则转向S101；
S111：得到被跟踪人的活动区域；
S112：判断人活动区域相对系统的夹角与声源相对系统夹角是否匹配，若小于阈值，则转向S101；
S113：确定被跟踪人的活动区域；
S114：提取当前被跟踪人的人体特征，训练目标人体识别器，所述人体特征包括但不限于颜色、纹理、边缘轮廓、尺寸；
S115：根据被跟随人在当前视频帧的大小和位置发出行动指令；
S116：判断是否收到“停止跟随”命令，若是则转向S124；
S117：彩色摄像头进行视频采集；
S118：预测被跟踪人在当前帧中的活动区域；
S119：判断是否预测成功，若预测失败则转向S122；
S120：使用目标人体识别器对预测跟踪人活动区域进行人体识别；
S121：判断人体识别是否成功，若成功则转向S123；
S122：机器人停止运动，并转向S106；
S123：提取被跟踪人的人体特征，更新人体识别器，转向S115；
S124：结束。
进一步的，自主移动机器人通过声音传感器探测声音信号；
4个声音传感器均布在自主移动机器人外围四周，1个声音传感器位于云台顶部；
5个阵列式声音传感器均为固定式安装，不随云台运动而运动。
进一步的，所述夹角β为声源与系统正方向的夹角；
顺时针方向时β值为正，逆时针方向时β值为负。
进一步的，在步骤S104中，所述判断声源是否位于摄像头的摄像范围，若否，则转向S106，进一步包括：
彩色摄像头的拍摄水平视场角为α；
若|β|<α/2-θ，则声源位于摄像头的摄像范围；
若|β|>＝α/2-θ，则声源位于摄像头的摄像范围之外；
所述θ为阈值，保证声源可以完全位于彩色摄像头视野内。
进一步的，在步骤S110中，所述人体检测器根据所述物体的特征值判断是否检测到人体，进一步包括：
采用HOG和HAAR特征或采用DPM模型，采取SVM学习方法或Adaboost学习方法，离线训练人体模型，生成人体检测分类器；
由所述人体检测分类器判断是否检测到人体。
进一步的，在步骤S115中，所述根据被跟随人在当前视频帧的大小和位置发出行动指令，进一步包括：
当前视频帧中运动区域的大小变化对应被跟踪人距离摄像头的远近；
位于当前视频帧中的位置变化对应被跟踪人位于系统正方向的方位角度变化；
根据所述运动区域的大小变化和所述位于当前视频帧中的位置变化来判断被跟随人的运动方向。
进一步的，在步骤S118中，所述预测被跟踪人在当前帧中的活动区域，进一步包括：
根据上一帧中提取得被跟踪人人体特征进行预测；
所述预测位置的方法包括单一跟踪算法和融合算法；
所述单一跟踪算法包括光流法，粒子滤波跟踪算法和卡尔曼滤波跟踪算法；
所述融合算法为采用多种跟踪算法以提高算法的有效性。
本发明的技术方案还提供了一种运动人体跟踪系统，包括：中央控制器单元，声音传感器单元，摄像头单元，运动单元，云台，其中，
中央控制器单元用于分析声音信号，处理视频信息，控制云台的旋转，计算自主移动机器人的位置和被跟随人的运动轨迹，并向运动单元发出控制命令；
声音传感器单元用于接收声音信号，并向中央控制器单元发送声音信息；
摄像头单元用于获得自主移动机器人平台所处环境的图像信息，向中央控制器单元发送图像信号；
运动单元用于接收控制命令，并进行运动；
云台根据中央控制单元的命令进行旋转，调整摄像头拍摄角度。
进一步的，自主移动机器人安装有5个声音传感器；
4个声音传感器均布在自主移动机器人外围四周，一个声音传感器位于云台顶部；
5个阵列式声音传感器均为固定式安装，不随云台运动而运动。
进一步的，摄像头单元和中央控制器单元位于自主移动机器人的云台；
云台可360度自由旋转，保证摄像头处在合适的角度；
云台位于自主移动机器人的上方。
本发明技术方案能够通过声音定位技术和帧差法技术和人体检测技术相结合，可以有效地检测到被跟随人在自主移动机器人平台摄像头视野中的位置；进而采用光流法或粒子滤波等基于视觉的运动物体跟踪方法实现对被跟随人运动的跟踪，在一定程度上解决了被跟随人被遮挡的问题，保证了机器人对目标的持续跟踪；并通过控制自主移动机器人平台运动实现对被跟随人的跟随；所采用普通摄像头作为跟随传感器，降低了系统成本，有效地解决了采用其他传感器成本昂贵的问题。
本发明的其它特征和优点将在随后的说书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例一中运动人体跟踪方法流程图；
图2为本发明实施例一中运动人体跟踪系统结构图；
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
图1为本发明实施例一中运动人体跟踪方法流程图。如图1所示，该流程包括以下步骤：
S101：系统采集声音信号和声音到达各自位置的时间信息，并发送给中央控制器。
自主移动机器人通过声音传感器探测声音信号；
4个声音传感器均布在自主移动机器人外围四周，1个声音传感器位于云台顶部；
5个阵列式声音传感器均为固定式安装，不随云台运动而运动。
S102：判断是否为“跟随指令”，若否，则返回S101。
由中央控制单元接收来自声音传感器的信号，识别是否为“跟随指令”。
S103：计算声源与系统的相对距离和声源与系统正方向的夹角β。
由中央控制单元接收来自声音传感器的信号，计算声源与系统的相对距离和声源与系统正方向的夹角β；
顺时针方向时β值为正，逆时针方向时β值为负。
步骤S104：判断声源是否位于摄像头的摄像范围，若是，则转向步骤S106。
彩色摄像头的拍摄广角为α；
若|β|<α/2-θ，则声源位于摄像头的摄像范围；
若|β|>＝α/2-θ，则声源位于摄像头的摄像范围之外；
所述θ为阈值，保证声源可以完全位于彩色摄像头视野内。
S105：云台转动β角度。
S106：中央控制器控制打开彩色摄像头进行视频采集。
S107：采用三帧差法对连续三帧图像进行分析，得出当前帧的运动区域。
S108：判断活动区域是否符合要求，若小于下阈值则转向S101，若大于上阈值则转向S106。
S109：提取当前视频帧中符合要求的运动区域。
S110：人体检测器根据离线训练得到的人体检测分类器判断是否检测到人体，若否，则转向S101。
采用HOG和HAAR特征或采用DPM模型，采取SVM学习方法或Adaboost学习方法，离线训练人体模型，生成人体检测分类器；
由所述人体检测分类器判断是否检测到人体。
S111：得到被跟踪人的活动区域。
S112：判断人活动区域相对系统的夹角与声源相对系统夹角是否匹配，若小于阈值，则转向S101。
S113：确定被跟踪人的活动区域。
S114：提取当前被跟踪人的人体特征，训练人体跟踪器，所述人体特征包括但不限于颜色、纹理、边缘轮廓、尺寸。
S115：根据被跟随人在当前视频帧的大小和位置发出行动指令。
当前视频帧中运动区域的大小变化对应被跟踪人距离摄像头的远近；
位于当前视频帧中的位置变化对应被跟踪人位于系统正方向的方位角度变化；
根据所述运动区域的大小变化和所述位于当前视频帧中的位置变化来判断被跟随人的运动方向。
S116：判断是否收到“停止跟随”命令，若是，则转向S124。
S117：彩色摄像头进行视频采集。
S118：预测被跟踪人在当前帧中的活动区域。
根据上一帧中提取得被跟踪人人体特征进行预测；
所述预测位置的方法包括单一跟踪算法和融合算法；
所述单一跟踪算法包括光流法，粒子滤波跟踪算法和卡尔曼滤波跟踪算法；
所述光流法利用图像序列关于时间(t)与空间(x,y)的灰度变化来估计位置速度场；
所述粒子滤波跟踪算法首先对提取到的当前视频帧中被跟随人的运动区域进行特征提取，随后通过寻找一组在状态空间传播的随机样本对特征概率密度函数进行近似，以样本特征均值代替积分运算，从而获得状态最小方差分布，即被跟随人在下一视频帧中的位置；
所述融合算法为采用多种跟踪算法以提高算法的有效性。
S119：判断是否预测成功，若预测失败则转向S122。
S120：使用目标人体识别器对预测跟踪人活动区域进行人体识别。
S121：判断人体识别是否成功，若成功则转向S123。
S122：机器人停止运动，并转向S106。
S123：提取被跟踪人的人体特征，更新人体识别器，转向S115。
S124：结束。
为了实现上述服务器代码更新的流程，本实施例还提供了一种运动人体跟踪系统，图2为本发明实施例一中运动人体跟踪系统结构图。如图2所示，该系统包括：中央控制器单元201，声音传感器单元202，摄像头单元203，运动单元204，云台205，其中，
中央控制器单元用于分析声音信号，处理视频信息，控制云台的旋转，计算自主移动机器人的位置和被跟随人的运动轨迹，并向运动单元发出控制命令；
声音传感器单元用于接收声音信号，并向中央控制器单元发送声音信息；
摄像头单元用于获得自主移动机器人平台所处环境的图像信息，向中央控制器单元发送图像信号；
运动单元用于接收控制命令，并进行运动；
云台根据中央控制单元的命令进行旋转，调整摄像头拍摄角度。
进一步的，自主移动机器人安装有5个声音传感器；
4个声音传感器均布在自主移动机器人外围四周，1个声音传感器位于云台顶部；
5个阵列式声音传感器均为固定式安装，不随云台运动而运动。
进一步的，摄像头单元和中央控制器单元位于自主移动机器人的云台；
云台可360度自由旋转，保证摄像头处在合适的角度；
云台位于自主移动机器人的上方。
本发明技术方案能够通过声音定位技术和帧差法技术和人体检测技术相结合，可以有效地检测到被跟随人在自主移动机器人平台摄像头视野中的位置；进而采用光流法或粒子滤波等基于视觉的运动物体跟踪方法实现对被跟随人运动的跟踪，在一定程度上解决了被跟随人被遮挡的问题，保证了机器人对目标的持续跟踪；并通过控制自主移动机器人平台运动实现对被跟随人的跟随；所采用普通摄像头作为跟随传感器，降低了系统成本，有效地解决了采用其他传感器成本昂贵的问题。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或自动化设备产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有自动化设备上实施的电子设备产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由电子器件和计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些电子器件、计算机程序指令或电子设备器件到通用电子设备、专用电子设备、附属电子设备或其他类型的电子设备以产生一个自动化设备机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些电子器件、计算机程序指令或电子设备器件也可使用在能引导计算机或其他可编程数据处理设备以特定方式工作的自动化设备的可读存储器中，使得存储在该自动化设备可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些电子器件、计算机程序指令或电子设备器件也可装载到自动化设备或其他可编程数据处理设备上，使得在自动化或其他可编程设备上执行一系列操作步骤以产生自动化的处理，从而在自动化设备或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种运动人体跟踪方法，其特征在于，包括以下步骤：
S101：系统采集声音信号和声音到达各自位置的时间信息，并发送给中央控制器；
S102：判断是否为“跟随指令”，若否，则返回S101；
S103：计算声源与系统的相对距离和声源与系统正方向的夹角β；
S104：判断声源是否位于摄像头的摄像范围，若是，则转向S106；
S105：云台转动β角度；
S106：中央控制器控制打开彩色摄像头进行视频采集；
S107：采用三帧差法对连续三帧图像进行分析，得出当前帧的运动区域；
S108：判断活动区域是否符合要求，若小于下阈值则转向S101，若大于上阈值则转向S106；
S109：提取当前视频帧中符合要求的运动区域；
S110：人体检测器根据离线训练得到的人体检测分类器判断是否检测到人体，若否，则转向S101；
S111：得到被跟踪人的活动区域；
S112：判断人活动区域相对系统的夹角与声源相对系统夹角是否匹配，若小于阈值，则转向S101；
S113：确定被跟踪人的活动区域；
S114：提取当前被跟踪人的人体特征，训练目标人体识别器，所述人体特征包括但不限于颜色、纹理、边缘轮廓、尺寸；
S115：根据被跟随人在当前视频帧的大小和位置发出行动指令；
S116：判断是否收到“停止跟随”命令，若是则转向S124；
S117：彩色摄像头进行视频采集；
S118：预测被跟踪人在当前帧中的活动区域；
S119：判断是否预测成功，若预测失败则转向S122；
S120：使用目标人体识别器对预测跟踪人活动区域进行人体识别；
S121：判断人体识别是否成功，若成功则转向S123；
S122：机器人停止运动，并转向S106；
S123：提取被跟踪人的人体特征，更新人体识别器，转向S115；
S124：结束。
2.根据权利要求1所述的方法，其特征在于，进一步包括：
自主移动机器人通过声音传感器探测声音信号；
4个声音传感器均布在自主移动机器人外围四周，1个声音传感器位于云台顶部；
5个阵列式声音传感器均为固定式安装，不随云台运动而运动。
3.根据权利要求1所述的方法，其特征在于，进一步包括：
所述夹角β为声源与系统正方向的夹角；
顺时针方向时β值为正，逆时针方向时β值为负。
4.根据权利要求1所述的方法，其特征在于，在步骤S104中，所述判断声源是否位于摄像头的摄像范围，若否，则转向S106，进一步包括：
彩色摄像头的拍摄水平视场角为α；
若|β|<α/2-θ，则声源位于摄像头的摄像范围；
若|β|>＝α/2-θ，则声源位于摄像头的摄像范围之外；
所述θ为阈值，保证声源可以完全位于彩色摄像头视野内。
5.根据权利要求1所述的方法，其特征在于，在步骤S110中，所述人体检测器根据所述物体的特征值判断是否检测到人体，进一步包括：
采用HOG和HAAR特征或采用DPM模型，采取SVM学习方法或Adaboost学习方法，离线训练人体模型，生成人体检测分类器；
由所述人体检测分类器判断是否检测到人体。
6.根据权利要求1所述的方法，其特征在于，在步骤S115中，所述根据被跟随人在当前视频帧的大小和位置发出行动指令，进一步包括：
当前视频帧中运动区域的大小变化对应被跟踪人距离摄像头的远近；
位于当前视频帧中的位置变化对应被跟踪人位于系统正方向的方位角度变化；
根据所述运动区域的大小变化和所述位于当前视频帧中的位置变化来判断被跟随人的运动方向。
7.根据权利要求1所述的方法，其特征在于，在步骤S118中，所述预测被跟踪人在当前帧中的活动区域，进一步包括：
根据上一帧中提取得被跟踪人人体特征进行预测；
所述预测位置的方法包括单一跟踪算法和融合算法；
所述单一跟踪算法包括光流法，粒子滤波跟踪算法和卡尔曼滤波跟踪算法；
所述融合算法为采用多种跟踪算法以提高算法的有效性。
8.一种运动人体跟踪系统，其特征在于，包括：中央控制器单元，声音传感器单元，摄像头单元，运动单元，云台，其中，
中央控制器单元用于分析声音信号，处理视频信息，控制云台的旋转，计算自主移动机器人的位置和被跟随人的运动轨迹，并向运动单元发出控制命令；
声音传感器单元用于接收声音信号，并向中央控制器单元发送声音信息；
摄像头单元用于获得自主移动机器人平台所处环境的图像信息，向中央控制器单元发送图像信号；
运动单元用于接收控制命令，并进行运动；
云台根据中央控制单元的命令进行旋转，调整摄像头拍摄角度。
9.根据权利要求8所述的系统，其特征在于，进一步包括：
自主移动机器人安装有5个声音传感器；
4个声音传感器均布在自主移动机器人外围四周，一个声音传感器位于云台顶部；
5个阵列式声音传感器均为固定式安装，不随云台运动而运动。
10.根据权利要求8所述的系统，其特征在于，进一步包括：
摄像头单元和中央控制器单元位于自主移动机器人的云台；
云台可360度自由旋转，保证摄像头处在合适的角度；
云台位于自主移动机器人的上方。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610073052.0A CN105760824B (zh) | 2016-02-02 | 2016-02-02 | 一种运动人体跟踪方法和系统 |
| PCT/CN2017/071510 WO2017133453A1 (zh) | 2016-02-02 | 2017-01-18 | 一种运动人体跟踪方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610073052.0A CN105760824B (zh) | 2016-02-02 | 2016-02-02 | 一种运动人体跟踪方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105760824A true CN105760824A (zh) | 2016-07-13 |
| CN105760824B CN105760824B (zh) | 2019-02-01 |
Family
ID=56329903
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610073052.0A Active CN105760824B (zh) | 2016-02-02 | 2016-02-02 | 一种运动人体跟踪方法和系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN105760824B (zh) |
| WO (1) | WO2017133453A1 (zh) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106228576A (zh) * | 2016-07-27 | 2016-12-14 | 潘燕 | 用于为目标跟踪处理图像的系统 |
| CN106296731A (zh) * | 2016-07-27 | 2017-01-04 | 潘燕 | 一种复杂场景下的目标车辆视频跟踪系统 |
| CN106295523A (zh) * | 2016-08-01 | 2017-01-04 | 马平 | 一种基于svm的公共场合人流量检测方法 |
| CN106886746A (zh) * | 2016-12-27 | 2017-06-23 | 浙江宇视科技有限公司 | 一种识别方法及后端服务器 |
| CN106934380A (zh) * | 2017-03-19 | 2017-07-07 | 北京工业大学 | 一种基于HOG和MeanShift算法的室内行人检测和跟踪方法 |
| WO2017133453A1 (zh) * | 2016-02-02 | 2017-08-10 | 北京进化者机器人科技有限公司 | 一种运动人体跟踪方法和系统 |
| CN107816985A (zh) * | 2017-10-31 | 2018-03-20 | 南京阿凡达机器人科技有限公司 | 人体检测装置及方法 |
| CN108737362A (zh) * | 2018-03-21 | 2018-11-02 | 北京猎户星空科技有限公司 | 注册方法、装置、设备和存储介质 |
| CN108762309A (zh) * | 2018-05-03 | 2018-11-06 | 浙江工业大学 | 一种基于假设卡尔曼滤波的人体目标跟随方法 |
| CN109460031A (zh) * | 2018-11-28 | 2019-03-12 | 科大智能机器人技术有限公司 | 一种基于人体识别的自动牵引车的跟随系统 |
| CN109992008A (zh) * | 2017-12-29 | 2019-07-09 | 深圳市优必选科技有限公司 | 一种机器人的目标跟随方法及装置 |
| CN110297472A (zh) * | 2019-06-28 | 2019-10-01 | 上海商汤智能科技有限公司 | 设备控制方法、终端、受控设备、电子设备和存储介质 |
| CN110309759A (zh) * | 2019-06-26 | 2019-10-08 | 深圳市微纳集成电路与系统应用研究院 | 基于人体图像识别的光源控制方法 |
| CN110457884A (zh) * | 2019-08-06 | 2019-11-15 | 北京云迹科技有限公司 | 目标跟随方法、装置、机器人及可读取存储介质 |
| CN110653812A (zh) * | 2018-06-29 | 2020-01-07 | 深圳市优必选科技有限公司 | 一种机器人的交互方法、机器人及具有存储功能的装置 |
| CN111050271A (zh) * | 2018-10-12 | 2020-04-21 | 北京微播视界科技有限公司 | 用于处理音频信号的方法和装置 |
| CN111580049A (zh) * | 2020-05-20 | 2020-08-25 | 陕西金蝌蚪智能科技有限公司 | 动态目标声源跟踪监测方法及终端设备 |
| CN111650558A (zh) * | 2020-04-24 | 2020-09-11 | 平安科技（深圳）有限公司 | 定位声源用户的方法、装置和计算机设备 |
| CN112261365A (zh) * | 2020-10-19 | 2021-01-22 | 西北工业大学 | 一种自容式水下声光监测记录装置及记录方法 |
| CN112487869A (zh) * | 2020-11-06 | 2021-03-12 | 深圳优地科技有限公司 | 机器人路口通行方法、装置和智能设备 |
| CN113238552A (zh) * | 2021-04-28 | 2021-08-10 | 深圳优地科技有限公司 | 机器人及其运动方法、装置及计算机可读存储介质 |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108872999B (zh) * | 2018-04-28 | 2022-05-17 | 苏州赛腾精密电子股份有限公司 | 一种物体识别方法、装置、识别设备及存储介质 |
| CN109711246B (zh) * | 2018-09-30 | 2023-05-02 | 鲁东大学 | 一种动态物体识别方法、计算机装置及可读存储介质 |
| CN109318243B (zh) * | 2018-12-11 | 2023-07-07 | 珠海一微半导体股份有限公司 | 一种视觉机器人的声源跟踪系统、方法和清洁机器人 |
| CN111028267B (zh) * | 2019-12-25 | 2023-04-28 | 郑州大学 | 一种移动机器人单目视觉跟随系统及跟随方法 |
| CN111127799A (zh) * | 2020-01-20 | 2020-05-08 | 南通围界盾智能科技有限公司 | 一种跟踪报警探测器及一种探测器的跟踪方法 |
| CN112530267B (zh) * | 2020-12-17 | 2022-11-08 | 河北工业大学 | 一种基于计算机视觉的机械臂智能示教方法及应用 |
| CN113516481B (zh) * | 2021-08-20 | 2024-05-14 | 支付宝(杭州)信息技术有限公司 | 刷脸意愿的确认方法、装置和刷脸设备 |
| CN113984763B (zh) * | 2021-10-28 | 2024-03-26 | 内蒙古大学 | 一种基于视觉识别的驱虫剂药效实验装置及方法 |
| CN114972436B (zh) * | 2022-06-13 | 2024-02-23 | 西安交通大学 | 一种基于时空域联合信息的运动磨粒检测跟踪方法及系统 |
| CN116501892B (zh) * | 2023-05-06 | 2024-03-29 | 广州番禺职业技术学院 | 一种基于物联网自动跟随系统的实训知识图谱构建方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103984315A (zh) * | 2014-05-15 | 2014-08-13 | 成都百威讯科技有限责任公司 | 一种家用多功能智能机器人 |
| US20150015674A1 (en) * | 2010-10-08 | 2015-01-15 | SoliDDD Corp. | Three-Dimensional Video Production System |
| CN105094136A (zh) * | 2015-09-14 | 2015-11-25 | 桂林电子科技大学 | 自适应麦克风阵列的声音定位救援机器人及其使用方法 |
| CN105184214A (zh) * | 2015-07-20 | 2015-12-23 | 北京进化者机器人科技有限公司 | 一种基于声源定位和人脸检测的人体定位方法和系统 |
| CN105234940A (zh) * | 2015-10-23 | 2016-01-13 | 上海思依暄机器人科技有限公司 | 机器人及其控制方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102348068B (zh) * | 2011-08-03 | 2014-11-26 | 东北大学 | 一种基于头部姿态控制的随动远程视觉系统 |
| CN104299351B (zh) * | 2014-10-22 | 2016-06-15 | 常州大学 | 智能预警灭火机器人 |
| CN105760824B (zh) * | 2016-02-02 | 2019-02-01 | 北京进化者机器人科技有限公司 | 一种运动人体跟踪方法和系统 |
-
2016
- 2016-02-02 CN CN201610073052.0A patent/CN105760824B/zh active Active
-
2017
- 2017-01-18 WO PCT/CN2017/071510 patent/WO2017133453A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150015674A1 (en) * | 2010-10-08 | 2015-01-15 | SoliDDD Corp. | Three-Dimensional Video Production System |
| CN103984315A (zh) * | 2014-05-15 | 2014-08-13 | 成都百威讯科技有限责任公司 | 一种家用多功能智能机器人 |
| CN105184214A (zh) * | 2015-07-20 | 2015-12-23 | 北京进化者机器人科技有限公司 | 一种基于声源定位和人脸检测的人体定位方法和系统 |
| CN105094136A (zh) * | 2015-09-14 | 2015-11-25 | 桂林电子科技大学 | 自适应麦克风阵列的声音定位救援机器人及其使用方法 |
| CN105234940A (zh) * | 2015-10-23 | 2016-01-13 | 上海思依暄机器人科技有限公司 | 机器人及其控制方法 |
Non-Patent Citations (1)
| Title |
|---|
| 赵海文等: "基于主动视觉和超声的机器人目标跟踪系统", 《计算机工程》 * |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017133453A1 (zh) * | 2016-02-02 | 2017-08-10 | 北京进化者机器人科技有限公司 | 一种运动人体跟踪方法和系统 |
| CN106296731A (zh) * | 2016-07-27 | 2017-01-04 | 潘燕 | 一种复杂场景下的目标车辆视频跟踪系统 |
| CN106228576A (zh) * | 2016-07-27 | 2016-12-14 | 潘燕 | 用于为目标跟踪处理图像的系统 |
| CN106295523A (zh) * | 2016-08-01 | 2017-01-04 | 马平 | 一种基于svm的公共场合人流量检测方法 |
| CN106886746A (zh) * | 2016-12-27 | 2017-06-23 | 浙江宇视科技有限公司 | 一种识别方法及后端服务器 |
| CN106886746B (zh) * | 2016-12-27 | 2020-07-28 | 浙江宇视科技有限公司 | 一种识别方法及后端服务器 |
| CN106934380A (zh) * | 2017-03-19 | 2017-07-07 | 北京工业大学 | 一种基于HOG和MeanShift算法的室内行人检测和跟踪方法 |
| CN107816985A (zh) * | 2017-10-31 | 2018-03-20 | 南京阿凡达机器人科技有限公司 | 人体检测装置及方法 |
| CN107816985B (zh) * | 2017-10-31 | 2021-03-05 | 南京阿凡达机器人科技有限公司 | 人体检测装置及方法 |
| CN109992008A (zh) * | 2017-12-29 | 2019-07-09 | 深圳市优必选科技有限公司 | 一种机器人的目标跟随方法及装置 |
| CN108737362A (zh) * | 2018-03-21 | 2018-11-02 | 北京猎户星空科技有限公司 | 注册方法、装置、设备和存储介质 |
| CN108737362B (zh) * | 2018-03-21 | 2021-09-14 | 北京猎户星空科技有限公司 | 注册方法、装置、设备和存储介质 |
| CN108762309A (zh) * | 2018-05-03 | 2018-11-06 | 浙江工业大学 | 一种基于假设卡尔曼滤波的人体目标跟随方法 |
| CN108762309B (zh) * | 2018-05-03 | 2021-05-18 | 浙江工业大学 | 一种基于假设卡尔曼滤波的人体目标跟随方法 |
| CN110653812B (zh) * | 2018-06-29 | 2021-06-04 | 深圳市优必选科技有限公司 | 一种机器人的交互方法、机器人及具有存储功能的装置 |
| CN110653812A (zh) * | 2018-06-29 | 2020-01-07 | 深圳市优必选科技有限公司 | 一种机器人的交互方法、机器人及具有存储功能的装置 |
| CN111050271A (zh) * | 2018-10-12 | 2020-04-21 | 北京微播视界科技有限公司 | 用于处理音频信号的方法和装置 |
| CN111050271B (zh) * | 2018-10-12 | 2021-01-29 | 北京微播视界科技有限公司 | 用于处理音频信号的方法和装置 |
| CN109460031A (zh) * | 2018-11-28 | 2019-03-12 | 科大智能机器人技术有限公司 | 一种基于人体识别的自动牵引车的跟随系统 |
| CN110309759A (zh) * | 2019-06-26 | 2019-10-08 | 深圳市微纳集成电路与系统应用研究院 | 基于人体图像识别的光源控制方法 |
| CN110297472A (zh) * | 2019-06-28 | 2019-10-01 | 上海商汤智能科技有限公司 | 设备控制方法、终端、受控设备、电子设备和存储介质 |
| CN110457884A (zh) * | 2019-08-06 | 2019-11-15 | 北京云迹科技有限公司 | 目标跟随方法、装置、机器人及可读取存储介质 |
| CN111650558A (zh) * | 2020-04-24 | 2020-09-11 | 平安科技（深圳）有限公司 | 定位声源用户的方法、装置和计算机设备 |
| CN111650558B (zh) * | 2020-04-24 | 2023-10-10 | 平安科技（深圳）有限公司 | 定位声源用户的方法、装置和计算机设备 |
| CN111580049A (zh) * | 2020-05-20 | 2020-08-25 | 陕西金蝌蚪智能科技有限公司 | 动态目标声源跟踪监测方法及终端设备 |
| CN111580049B (zh) * | 2020-05-20 | 2023-07-14 | 陕西金蝌蚪智能科技有限公司 | 动态目标声源跟踪监测方法及终端设备 |
| CN112261365A (zh) * | 2020-10-19 | 2021-01-22 | 西北工业大学 | 一种自容式水下声光监测记录装置及记录方法 |
| CN112487869A (zh) * | 2020-11-06 | 2021-03-12 | 深圳优地科技有限公司 | 机器人路口通行方法、装置和智能设备 |
| CN113238552A (zh) * | 2021-04-28 | 2021-08-10 | 深圳优地科技有限公司 | 机器人及其运动方法、装置及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105760824B (zh) | 2019-02-01 |
| WO2017133453A1 (zh) | 2017-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105760824A (zh) | 一种运动人体跟踪方法和系统 | |
| US11842500B2 (en) | Fault-tolerance to provide robust tracking for autonomous and non-autonomous positional awareness | |
| US11257223B2 (en) | Systems and methods for user detection, identification, and localization within a defined space | |
| US10611023B2 (en) | Systems and methods for performing occlusion detection | |
| Luber et al. | People tracking in rgb-d data with on-line boosted target models | |
| EP3131311B1 (en) | Monitoring | |
| US20200184658A1 (en) | Monitoring method and device for mobile target, monitoring system and mobile robot | |
| WO2016085717A1 (en) | Systems and methods for performing simultaneous localization and mapping using machine vision systems | |
| CN105184214A (zh) | 一种基于声源定位和人脸检测的人体定位方法和系统 | |
| Huang et al. | Multitarget visual tracking based effective surveillance with cooperation of multiple active cameras | |
| CN110287907B (zh) | 一种对象检测方法和装置 | |
| CN105760846A (zh) | 基于深度数据的目标检测与定位方法及系统 | |
| KR101460313B1 (ko) | 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 장치 및 방법 | |
| Chavda et al. | Moving object tracking using PTZ camera in video surveillance system | |
| Nguyen et al. | Confidence-aware pedestrian tracking using a stereo camera | |
| US11209796B2 (en) | Surveillance system with intelligent robotic surveillance device | |
| US11468684B2 (en) | Situational awareness monitoring | |
| Sun et al. | Real-time and fast RGB-D based people detection and tracking for service robots | |
| Kim et al. | Traffic Accident Detection Based on Ego Motion and Object Tracking | |
| Cielniak et al. | Appearance-based tracking of persons with an omnidirectional vision sensor | |
| Bahadori et al. | Real-time tracking of multiple people through stereo vision | |
| Higuchi et al. | TweetGlue: Leveraging a crowd tracking infrastructure for mobile social augmented reality | |
| CN111968157B (zh) | 一种应用于高智能机器人的视觉定位系统及方法 | |
| Yan et al. | Using lightweight YOLOv5 model on wearable devices for indoor natural gas work behavior recognition | |
| Chakravarty et al. | Person tracking, pursuit & interception by mobile robot |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: Building 65, No. 17, Jiujiang Road, Tongji New Economic Zone, Jimo District, Qingdao City, Shandong Province, 266200 Patentee after: Qingdao Evolver xiaopang Robot Technology Co.,Ltd. Address before: Room 02-A426, 2nd Floor, Block B, No. 22, Information Road, Haidian District, Beijing 100029 Patentee before: BEIJING EVOLVER ROBOTICS Co.,Ltd. |
|
| CP03 | Change of name, title or address |