CN109831616A - 一种基于单目摄像头的人脸跟随方法及其装置 - Google Patents
一种基于单目摄像头的人脸跟随方法及其装置 Download PDFInfo
- Publication number
- CN109831616A CN109831616A CN201711178388.4A CN201711178388A CN109831616A CN 109831616 A CN109831616 A CN 109831616A CN 201711178388 A CN201711178388 A CN 201711178388A CN 109831616 A CN109831616 A CN 109831616A
- Authority
- CN
- China
- Prior art keywords
- frame
- face
- rotational angle
- follows
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于单目摄像头的实时人脸跟随方法，包括：步骤100，利用PICO人脸检测技术对图像进行检测，将一个检测周期内检测到的第一帧图像中的人脸作为正样本；步骤200，在第一帧图像中的正样本区域标记人脸跟随框；步骤300，在第n帧图像中，以第n‑1帧图像中人脸跟随框的中心点作为原点，同比例放大所述人脸跟随框m倍作为第n帧图像的人脸检测区域，其中n与m均为大于等于2整数；步骤400，检测所述第n帧图像的人脸检测区域，得到第n帧人脸跟随框的中心坐标；步骤500，采用梯度算法比对所述第n帧人脸跟随框的中心坐标与所述第n‑1帧图像中的人脸跟随框的中心点坐标，并计算单目摄像头在跟随过程中的预估转动角度，从而实时跟踪人脸。
Description
技术领域
本发明涉及图像处理领域，特别是涉及一种基于单目摄像头的机器人头部跟随人脸的方法。
背景技术
机器人人脸跟随方法包含人脸检测跟随和机器人头部运动的控制两个部分。本发明中机器人头部可以做类似云台的左右和上下运动，故所述的跟随运动主要是机器人头部在水平和竖直方向上的运动。要保证机器人能实时跟随人脸运动，首先机器人应能在其视野范围实时检测到人脸。因此人脸跟随算法的实时性直接影响了整个人脸跟随算法的实时性，但这类算法往往受限于计算机硬件和操作系统的配置；有些算法在个人电脑上运行可以达到实时，但在arm系统上运行性能下降很多。
由于一般安装在机器人上，并用于人脸跟踪的的单目摄像头视野范围较小，并且无法估计准确的深度信息，给机器人头部转动角度的精确估计带来很大挑战；如果不能精准地控制机器人头部的跟随转动，会导致用户走出机器人的视野范围从而丢失目标。
另一方面人脸的运动不是简单的匀速运动，机器人头部跟随人脸运动时也存在滞后，再加上预估机器人头部转动角度时存在误差，这些因素容易导致机器人头部转动不连续，容易出现来回摆动无法停止的现象。情况严重时目标丢失后机器人头部会盲动；因此单纯预估机器人的转动角度不做额外处理是不能解决这些问题的。
此外，还必须考虑到人脸检测异常(即未检测到人脸)的情况。此时因得不到人脸框的确切坐标，将无法估计机器人头部转动的角度，机器人得不到准确的转动角度，会出现不动或盲动的情况。
发明内容
基于上述内容，本发明针对人脸识别跟随模块在arm系统上运算性能较低的问题，提供了一种基于单目摄像头的机器人头部跟随人脸的方法，来保证后续人脸跟随时的算法的实时性。
一种基于单目摄像头的实时人脸跟随方法，包括：
步骤100，利用PICO人脸检测技术对图像进行检测，将一个检测周期内检测到的第一帧图像中的人脸作为正样本，
步骤200，在第一帧图像中的正样本区域标记人脸跟随框；
步骤300，在第n帧图像中，以第n-1帧图像中人脸跟随框的中心点作为原点，同比例放大所述人脸跟随框m倍作为第n帧图像的人脸检测区域，其中n与m均为大于等于2整数；
步骤400，检测所述第n帧图像的人脸检测区域，得到第n帧人脸跟随框的中心坐标；
步骤500，采用梯度算法比对所述第n帧人脸跟随框的中心坐标与所述第n-1帧图像中的人脸跟随框的中心点，并计算单目摄像头在跟随过程中的预估转动角度。
优选地，所述梯度算法采用以单目摄像头中心点作为原点的笛卡尔直角坐标系。
优选地，其特征在于，所述第n帧图像上的预估转动角度包括：X轴方向的转动角度与Y轴方向的转动角度
优选地，其特征在于，所述梯度算法所计算的预估转动角度在X轴方向的转动角度为：
其中为当前帧X轴方向转动角度，为上一帧x轴方向转动角度，Xn为人脸中心点在当前帧X轴方向的坐标值，Vd为机器人头部转动速度，Vm为人脸在机器人摄像头中移动速度。
所述预估转动角度在Y轴方向的转动角度为：
其中为当前帧X轴方向转动角度，为上一帧轴方向转动角度，Yn为人脸中心点在当前帧轴方向的坐标值，Vd为机器人头部转动速度，Vm为人脸在机器人摄像头中移动速度。
优选地，还包括基于所述预估转动角度的转动方向，平滑处理所述的预估转动角度，作为单目摄像头的实时跟随角度。
优选地，所述平滑处理所述的预估转动角度的步骤包括：当包括第n帧在内的所预估的所述预估转动角度的转动方向一致时，则将所述预估转动角度作为单目摄像头的转动角度。
优选地，所述平滑处理所述的预估转动角度的步骤还包括：当包括第n帧在内的所预估的所述预估转动角度的转动方向不一致时，所述单目摄像头的转动角度为：βn＝βn-1+α*(In-1-βn-1)，其中，βn为当前帧单目摄像头需要转动的的角度，βn-1为上一帧单目摄像头需转动的角度，In-1为预估的机器人转动角度；α为大于0小于1的变量，其中βn，βn-1与In-1包括X轴与Y轴2个方向上的转动角度。
一种基于单目摄像头的实时人脸跟随装置，其特征在于，包括：
一人脸检测模块，所述人脸检测模块利用PICO人脸检测技术对图像进行检测，将一个检测周期内检测到的第一帧图像中的人脸作为正样本
一人脸跟随框标记模块，在第一帧图像中的正样本区域标记人脸跟随框；
一人脸跟随框同比放大模块，在第n帧图像中，以第n-1帧图像中人脸跟随框的中心点作为原点，同比例放大所述人脸跟随框m倍作为第n帧图像的人脸检测区域，其中n与m均为大于等于2整数；
所述人脸检测模块检测所述第n帧图像的人脸检测区域，得到第n帧人脸跟随框的中心坐标；
以及一梯度算法模块，采用所述梯度算法模块比对所述第n帧人脸跟随框的中心坐标与所述第n-1图像中的人脸跟随框的中心点坐标，并计算单目摄像头在跟随过程中的预估转动角度。
优选地，所述梯度算法模块采用以单目摄像头中心点作为原点的笛卡尔直角坐标系。
优选地，所述梯度算法模块用于：计算所述第n帧图像上的预估转动角度，所述预估转动角度包括X轴方向的转动角度与Y轴方向的转动角度
优选地，所述梯度算法模块用于：计算的预估转动角度在X轴方向的转动角度为：
其中为当前帧X轴方向转动角度，为上一帧x轴方向转动角度，Xn为人脸中心点在当前帧X轴方向的坐标值，Vd为机器人头部转动速度，Vm为人脸在机器人摄像头中移动速度。
所述预估转动角度在Y轴方向的转动角度为：
其中为当前帧X轴方向转动角度，为上一帧轴方向转动角度，Yn为人脸中心点在当前帧轴方向的坐标值，Vd为机器人头部转动速度，Vm为人脸在机器人摄像头中移动速度。
优选地，还包括平滑处理模块，所述平滑处理模块基于所述预估转动角度的转动方向，平滑处理所述的预估转动角度，作为单目摄像头的实时跟随角度。
优选地，所述平滑处理模块当包括第n帧在内的所预估的所述预估转动角度的转动方向一致时，则将所述预估转动角度作为单目摄像头的转动角度。
优选地，所述平滑处理模块当包括第n帧在内的所预估的所述预估转动角度的转动方向不一致时，平滑处理所述单目摄像头的转动角度为：βn＝βn-1+α*(In-1-βn-1)，其中，βn为当前帧单目摄像头需要转动的的角度，βn-1为上一帧单目摄像头需转动的角度，In-1为预估的机器人转动角度；α为大于0小于1的变量，其中βn，βn-1与In-1包括X轴与Y轴2个方向上的转动角度。
综上所述，本发明针对机器人视野范围较窄的问题，提供了一种基于单目摄像头的实时人脸跟随方法，预估人脸运动方向和速度，从而避免机器人跟随人脸过程中丢失目标；对机器人的运动进行平滑处理，使得机器人运动更流畅，避免来回摆动；针对经过运动角度预估仍可能丢失目标的问题，使得机器人处于待机状态，避免漫无目的的盲动。
附图说明
图1为人脸跟随过程的流程步骤示意图；
图2为人脸跟随过程的流程示意图；
图3为人脸跟随过程的局部流程示意图；
图4为人脸跟随过程的单目摄像头跟随转动的示意图
图5为人脸跟随过程中设置人脸检测区域的示意图；
图6为机器人转动角度估测过程中坐标区间划分的示意图；
图7为处理人脸跟随过程中未检测到人脸的情况的示意图；
图8为一种基于单目摄像头的实时人脸跟随装置的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进一步详细说明。下述参照附图对本发明实施方式的说明旨在对本发明的总体发明构思进行解释，而不应当理解为对本发明的一种限制。
另外，在下面的详细描述中，为便于解释，阐述了许多具体细节以提供对本披露实施例的全面理解。但一个或多个实施例在没有这些具体细节的情况下也可以被实施。
如图1及图2所示，步骤100，利用PICO人脸检测技术对图像进行检测，将一个检测周期内检测到的第一帧图像中的人脸作为正样本。
其中，人脸检测技术主要采用Pixel Intensity Comparison-basedObjectdetection(pico，基于像素值比较的物体检测)。该方法也是基于CascadedAdaboost结构来实现检测算法；Cascaded Adaboost常用Haar-Like特征来表示人脸，该特征计算的是某一区域的像素积分图；与Haar-Like特征不同的是，pico通过比较图片中不同位置的像素值来计算特征用以表示人脸，因此从理论上而言pico比Haar还要快；在计算得到表示人脸的特征后，接着用这些特征训练弱分类器；通过Adaboost算法选择若干个最能代表人脸的弱分类器构成强分类器，这些强分类器级联组成类似树状结构的层叠分类器。
另外，视频为从机器人摄像头发送的实时视频流中读取第一帧视频；一般正常实时视频流每秒包含25帧，每两帧的时间间隔为40毫秒。
步骤200，在第一帧图像中的正样本区域标记人脸跟随框；其中，若人脸框初始值为空，则在当前帧整张图片中做人脸检测，获取人脸坐标框位置。若人脸框初始值非空，则根据该人脸框初始值在原图像中选取一块区域作为人脸检测的候选区域。
步骤300，在第n帧图像中，以第n-1帧图像中人脸跟随框的中心点作为原点，同比例放大所述人脸跟随框m倍作为第n帧图像的人脸检测区域，其中n与m均为大于等于2整数。其中第n帧一般指第2帧以上的当前帧，第n-1帧则指代第一帧与前一帧的情况。具体地，如图5所示，以初始人脸框的中心点为原点，将初始人脸框的宽高同比例地拓展到3倍大小。
综上，如图1至图3所示，在步骤100-步骤300中：101首先读取视频文件中一帧图像；102检测所述图像中的人脸框坐标位置；103若检测到人脸，保存所述人脸框坐标位置作为下一帧图像中的人脸初始位置；重复执行如下步骤：读取视频文件中相邻下一帧图像；若上一帧检测到人脸，则将上一帧图像中人脸框位置作为当前帧图像中的人脸初始位置；104在人脸初始位置邻域内做人脸检测。
另外，由于候选区域面积已通过步骤300被限定在一较小的确定的范围内，故此时人脸检测速度较快。
步骤400，检测所述第n帧图像的人脸检测区域，得到第n帧人脸跟随框的中心坐标；在所述人脸检测区域的候选框中调用pico人脸检测技术执行人脸检测。
步骤500，采用梯度算法比对所述第n帧人脸跟随框的中心坐标与所述第n-1帧图像中的人脸跟随框的中心点，并计算单目摄像头在跟随过程中的预估转动角度。
具体地，如图5及图6所示，步骤500所述的梯度算法采用以单目摄像头中心点作为原点的笛卡尔直角坐标系。其中，人脸坐标框的坐标是以屏幕显示时的左上角作为坐标原点，以水平方向向右为x轴，竖直方向向下为y轴建立坐标系。
优选地，所述第n帧图像上的预估转动角度包括：X轴方向的转动角度与Y轴方向的转动角度如图2所示，相当于图2的角度1。
所述梯度算法所计算的预估转动角度在X轴方向的转动角度为：
其中为当前帧X轴方向转动角度，为上一帧x轴方向转动角度，Xn为人脸中心点在当前帧X轴方向的坐标值，Vd为机器人头部转动速度，Vm为人脸在机器人摄像头中移动速度。
所述预估转动角度在Y轴方向的转动角度为：
其中为当前帧X轴方向转动角度，为上一帧轴方向转动角度，Yn为人脸中心点在当前帧轴方向的坐标值，Vd为机器人头部转动速度，Vm为人脸在机器人摄像头中移动速度。
如图4所示，A为机器人所在位置，S箭头所指为机器人视线方向，X为左右方向；I1，I2分别代表上一帧和当前帧机器人左右转动角度；r1，r2分别代表人脸的位置(以角度坐标表示为：r1＝d1*I1，r2＝d2*I2，)；x1，x2分别为人脸在机器人摄像头中的X轴坐标；由于人脸是绕着机器人运动的，且考虑到人脸在机器人视野范围内运动距离不大，因此可认为d1≈d2，及若人步行速度为Vp，机器人头部转动速度为Vd，人脸在机器人摄像头中移动速度为Vm，则r2-r1＝Vp*t，I2-I1＝Vd*t，x2–x1＝Vm*t(t代表人脸移动时间)；则有或机器人头部转动速度Vm为固定参数不难获取；人步行速度Vp约为1.0m/s-1.5m/s,因此人脸在机器人摄像头坐标系内运动速度Vm和Vp存在对应关系；我们通过记录移动距离(x2–x1)及运动时间t可以粗略估算得到Vm，再通过多次求平均得到较精确的值；由此我们可以粗略估计得到
K为一个系数用于限制估计的转动角度的范围；k越大则所得转动角度增量越大，机器人头部转动越快；k越小则所得转动角度增量越小，机器人头部转动趋慢；k根据我们的实验结果处于0.01875到0.03125之间，一般取0.020625。
另外，如图5及图6所示，其中，将x轴划分为若干区间，越靠近坐标原点(区间3，4)对应水平方向的转动角度最慢；越远离坐标原点(区间1，6)对应水平方向的转动角度最快；处于中间的区域(区间2，5)对应水平方向的转动角度也居中；上述公式本质上是将Y轴划分为若干区间，计算人脸中心点y坐标所在y轴的区间，获得对应水平方向的转动角度。
将x轴划分为若干区间，计算人脸中心点x坐标所在x轴的区间，获得对应水平方向的转动角度，其中下标t代表第n帧图像，在区间3,4的转动角度相当于单目摄像头初始的角度；
将y轴划分为若干区间，计算人脸中心点y坐标所在y轴的区间，获得对应水平方向的转动角度。
优选地，如图1及图2所示，还包括步骤600，基于所述预估转动角度的转动方向，平滑处理所述的预估转动角度，作为单目摄像头的实时跟随角度。
优选地，所述平滑处理所述的预估转动角度的步骤包括：当包括第n帧在内的所预估的所述预估转动角度的转动方向一致时，则将所述预估转动角度作为单目摄像头的转动角度。
具体地，预估完机器人转动角度后，还需要对机器人转动动作进行平滑操作，包括：统计前面若干帧(N帧)机器人头部转动方向；若方向全部一致则驱动机器人转动到角度In-1,即S300步骤中上一帧预估的机器人转动角度。
优选地，所述平滑处理所述的预估转动角度的步骤还包括：当包括第n帧在内的所预估的所述预估转动角度的转动方向不一致时，所述单目摄像头的转动角度为：βn＝βn-1+α*(In-1-βn-1)，其中，βn为当前帧单目摄像头需要转动的的角度，βn-1为上一帧单目摄像头需转动的角度，In-1为预估的机器人转动角度；α为大于0小于1的变量，其中βn，βn-1与In-1包括X轴与Y轴2个方向上的转动角度。
具体地，预估完机器人转动角度后，还需要对机器人转动动作进行平滑操作，包括：统计前面若干帧(N帧)机器人头部转动方向；若方向不完全一致，则将前面M帧机器人转动角度求得加权平均值得到角度，求取加权平均值时采用了运动平均的公式：βn＝βn-1+α*(In-1-βn-1)
上述公式中，α为一常量，位于0到1之间；当α趋于0时βn-1≈βn，即当前帧所估计转动角度与上一帧的转动角度趋近于相同，此时机器人头部转动很慢难以实现实时跟随；当α趋于1时，当前帧所估计得转动角度βn等于估计值In-1，此时因βn和In-1可能相差较大，会导致机器人头部转动不平稳，出现较大的扰动，呈现微抖动的状态。
另外，如图2及图5所示，当人脸跟随流程结束后若未检测到人脸，则进入处理未检测到人脸的分支；
如图4所示，步骤401首先判断是否连续N次未检测到人脸；
如图4所示，若少于N次未检测到人脸，则按步骤402根据人脸中心图像中的坐标估计机器人头部转动的角度；
若超过N次未检测到人脸，则按步骤403首先判断是否连续N+T次未检测到人脸；
若少于N+T次未检测到人脸，则按步骤404将机器人转动角度设为最后一次检测到人脸时的角度；
若等于或超过N+T次未检测到人脸，则按步骤405将机器人转动角度设为零度。
如图8所示，本发明包括一种基于单目摄像头的实时人脸跟随装置11，其中，包括：
一人脸检测模块10，所述人脸检测模块利用PICO人脸检测技术对图像进行检测，将一个检测周期内检测到的第一帧图像中的人脸作为正样本
一人脸跟随框标记模块20，在第一帧图像中的正样本区域标记人脸跟随框；
一人脸跟随框同比放大模块30，在第n帧图像中，以第n-1帧图像中人脸跟随框的中心点作为原点，同比例放大所述人脸跟随框m倍作为第n帧图像的人脸检测区域，其中n与m均为大于等于2整数；
所述人脸检测模块10检测所述第n帧图像的人脸检测区域，得到第n帧人脸跟随框的中心坐标；
以及一梯度算法模块40，采用所述梯度算法模块比对所述第n帧人脸跟随框的中心坐标与所述第n-1图像中的人脸跟随框的中心点坐标，并计算单目摄像头在跟随过程中的预估转动角度。
优选地，所述梯度算法模块40采用以单目摄像头中心点作为原点的笛卡尔直角坐标系。
优选地，所述梯度算法模块40用于：计算所述第n帧图像上的预估转动角度，所述预估转动角度包括X轴方向的转动角度与Y轴方向的转动角度
优选地，所述梯度算法模块40用于：计算的预估转动角度在X轴方向的转动角度为：
其中为当前帧X轴方向转动角度，为上一帧x轴方向转动角度，Xn为人脸中心点在当前帧X轴方向的坐标值，Vd为机器人头部转动速度，Vm为人脸在机器人摄像头中移动速度。
所述预估转动角度在Y轴方向的转动角度为：
其中为当前帧X轴方向转动角度，为上一帧轴方向转动角度，Yn为人脸中心点在当前帧轴方向的坐标值，Vd为机器人头部转动速度，Vm为人脸在机器人摄像头中移动速度。
优选地，还包括平滑处理模块50，所述平滑处理模块50基于所述预估转动角度的转动方向，平滑处理所述的预估转动角度，作为单目摄像头的实时跟随角度。
优选地，所述平滑处理模块50当包括第n帧在内的所预估的所述预估转动角度的转动方向一致时，则将所述预估转动角度作为单目摄像头的转动角度。
优选地，所述平滑处理模块50当包括第n帧在内的所预估的所述预估转动角度的转动方向不一致时，平滑处理所述单目摄像头的转动角度为：βn＝βn-1+α*(In-1-βn-1)，其中，βn为当前帧单目摄像头需要转动的的角度，βn-1为上一帧单目摄像头需转动的角度，In-1为预估的机器人转动角度；α为大于0小于1的变量，其中βn，βn-1与In-1包括X轴与Y轴2个方向上的转动角度。
综上所述，本发明针对机器人视野范围较窄的问题，提供了一种基于单目摄像头的实时人脸跟随方法，预估人脸运动方向和速度，从而避免机器人跟随人脸过程中丢失目标；对机器人的运动进行平滑处理，使得机器人运动更流畅，避免来回摆动；针对经过运动角度预估仍可能丢失目标的问题，使得机器人处于待机状态，避免漫无目的的盲动。
以上所述实施例仅表达了本发明的一种实施方式，其描述较为具体和详细，但并不能因此理解为对本发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明的保护范围应以所附权利要求为准。
Claims (14)
1.一种基于单目摄像头的实时人脸跟随方法，其特征在于，包括：
步骤100，利用PICO人脸检测技术对图像进行检测，将一个检测周期内检测到的第一帧图像中的人脸作为正样本，
步骤200，在第一帧图像中的正样本区域标记人脸跟随框；
步骤300，在第n帧图像中，以第n-1帧图像中人脸跟随框的中心点作为原点，同比例放大所述人脸跟随框m倍作为第n帧图像的人脸检测区域，其中n与m均为大于等于2整数；
步骤400，检测所述第n帧图像的人脸检测区域，得到第n帧人脸跟随框的中心坐标；
步骤500，采用梯度算法比对所述第n帧人脸跟随框的中心坐标与所述第n-1帧图像中的人脸跟随框的中心点坐标，并计算单目摄像头在跟随过程中的预估转动角度。
2.根据权利要求1所述的方法，其特征在于，所述梯度算法采用以单目摄像头中心点作为原点的笛卡尔直角坐标系。
3.根据权利要求2所述的方法，其特征在于，所述第n帧图像上的预估转动角度包括：X轴方向的转动角度与Y轴方向的转动角度
4.根据权利要求3所述的方法，其特征在于，所述梯度算法所计算的预估转动角度在X轴方向的转动角度为：
其中为当前帧X轴方向转动角度，为上一帧x轴方向转动角度，Xn为人脸中心点在当前帧X轴方向的坐标值，Vd为机器人头部转动速度，Vm为人脸在机器人摄像头中移动速度。
所述预估转动角度在Y轴方向的转动角度为：
其中为当前帧X轴方向转动角度，为上一帧轴方向转动角度，Yn为人脸中心点在当前帧轴方向的坐标值，Vd为机器人头部转动速度，Vm为人脸在机器人摄像头中移动速度。
5.根据权利要求4所述的基于单目摄像头的实时人脸跟随方法，其特征在于，还包括：步骤600，基于所述预估转动角度的转动方向，平滑处理所述的预估转动角度，作为单目摄像头的实时跟随角度。
6.根据权利要求5所述的基于单目摄像头的实时人脸跟随方法，其特征在于，所述平滑处理所述的预估转动角度的步骤包括：当包括第n帧在内的所预估的所述预估转动角度的转动方向一致时，则将所述预估转动角度作为单目摄像头的转动角度。
7.根据权利要求6所述的基于单目摄像头的实时人脸跟随方法，其特征在于，所述平滑处理所述的预估转动角度的步骤还包括：当包括第n帧在内的所预估的所述预估转动角度的转动方向不一致时，所述单目摄像头的转动角度为：βn＝βn-1+α*(In-1-βn-1)，其中，βn为当前帧单目摄像头需要转动的的角度，βn-1为上一帧单目摄像头需转动的角度，In-1为预估的机器人转动角度；α为大于0小于1的变量，其中βn，βn-1与In-1包括X轴与Y轴2个方向上的转动角度。
8.一种基于单目摄像头的实时人脸跟随装置，其特征在于，包括：
一人脸检测模块，所述人脸检测模块利用PICO人脸检测技术对图像进行检测，将一个检测周期内检测到的第一帧图像中的人脸作为正样本
一人脸跟随框标记模块，在第一帧图像中的正样本区域标记人脸跟随框；
一人脸跟随框同比放大模块，在第n帧图像中，以第n-1帧图像中人脸跟随框的中心点作为原点，同比例放大所述人脸跟随框m倍作为第n帧图像的人脸检测区域，其中n与m均为大于等于2整数；
所述人脸检测模块检测所述第n帧图像的人脸检测区域，得到第n帧人脸跟随框的中心坐标；
以及一梯度算法模块，采用所述梯度算法模块比对所述第n帧人脸跟随框的中心坐标与所述第n-1图像中的人脸跟随框的中心点坐标，并计算单目摄像头在跟随过程中的预估转动角度。
9.根据权利要求8所述的装置，其特征在于，所述梯度算法模块采用以单目摄像头中心点作为原点的笛卡尔直角坐标系。
10.根据权利要求9所述的装置，其特征在于，所述梯度算法模块用于：计算所述第n帧图像上的预估转动角度，所述预估转动角度包括X轴方向的转动角度与Y轴方向的转动角度
11.根据权利要求10所述的装置，其特征在于，所述梯度算法模块用于：计算的预估转动角度在X轴方向的转动角度为：
其中为当前帧X轴方向转动角度，为上一帧x轴方向转动角度，Xn为人脸中心点在当前帧X轴方向的坐标值，Vd为机器人头部转动速度，Vm为人脸在机器人摄像头中移动速度。
所述预估转动角度在Y轴方向的转动角度为：
其中为当前帧X轴方向转动角度，为上一帧轴方向转动角度，Yn为人脸中心点在当前帧轴方向的坐标值，Vd为机器人头部转动速度，Vm为人脸在机器人摄像头中移动速度。
12.根据权利要求11所述的装置，其特征在于，还包括平滑处理模块，所述平滑处理模块基于所述预估转动角度的转动方向，平滑处理所述的预估转动角度，作为单目摄像头的实时跟随角度。
13.根据权利要求12所述的装置，其特征在于，所述平滑处理模块当包括第n帧在内的所预估的所述预估转动角度的转动方向一致时，则将所述预估转动角度作为单目摄像头的转动角度。
14.根据权利要求13所述的装置，其特征在于，所述平滑处理模块当包括第n帧在内的所预估的所述预估转动角度的转动方向不一致时，平滑处理所述单目摄像头的转动角度为：βn＝βn-1+α*(In-1-βn-1)，其中，βn为当前帧单目摄像头需要转动的的角度，βn-1为上一帧单目摄像头需转动的角度，In-1为预估的机器人转动角度；α为大于0小于1的变量，其中βn，βn-1与In-1包括X轴与Y轴2个方向上的转动角度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711178388.4A CN109831616B (zh) | 2017-11-23 | 2017-11-23 | 一种基于单目摄像头的人脸跟随方法及其装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711178388.4A CN109831616B (zh) | 2017-11-23 | 2017-11-23 | 一种基于单目摄像头的人脸跟随方法及其装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109831616A true CN109831616A (zh) | 2019-05-31 |
| CN109831616B CN109831616B (zh) | 2022-07-26 |
Family
ID=66858159
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711178388.4A Active CN109831616B (zh) | 2017-11-23 | 2017-11-23 | 一种基于单目摄像头的人脸跟随方法及其装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109831616B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110619656A (zh) * | 2019-09-05 | 2019-12-27 | 杭州宇泛智能科技有限公司 | 基于双目摄像头的人脸检测跟踪方法、装置及电子设备 |
| CN110751149A (zh) * | 2019-09-18 | 2020-02-04 | 平安科技（深圳）有限公司 | 目标对象标注方法、装置、计算机设备和存储介质 |
| CN111696142A (zh) * | 2020-06-12 | 2020-09-22 | 广东联通通信建设有限公司 | 一种快速人脸检测方法及系统 |
| WO2021026804A1 (zh) * | 2019-08-14 | 2021-02-18 | 深圳市大疆创新科技有限公司 | 基于云台的目标跟随方法、装置、云台和计算机存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2012170A1 (en) * | 2007-07-06 | 2009-01-07 | Harman Becker Automotive Systems GmbH | Head-tracking system and operating method thereof |
| CN102098499A (zh) * | 2011-03-24 | 2011-06-15 | 杭州华三通信技术有限公司 | 一种云台摄像机控制方法及其装置和系统 |
| CN102819847A (zh) * | 2012-07-18 | 2012-12-12 | 上海交通大学 | 基于ptz移动摄像头的运动轨迹提取方法 |
| CN103905733A (zh) * | 2014-04-02 | 2014-07-02 | 哈尔滨工业大学深圳研究生院 | 一种单目摄像头对人脸实时跟踪的方法及系统 |
| CN104184932A (zh) * | 2013-05-20 | 2014-12-03 | 浙江大华技术股份有限公司 | 球机控制方法及装置 |
| CN104866805A (zh) * | 2014-02-20 | 2015-08-26 | 腾讯科技（深圳）有限公司 | 人脸实时跟踪的方法和装置 |
| US20160202756A1 (en) * | 2015-01-09 | 2016-07-14 | Microsoft Technology Licensing, Llc | Gaze tracking via eye gaze model |
| CN107172359A (zh) * | 2017-07-03 | 2017-09-15 | 天津智汇时代科技有限公司 | 摄像头人脸跟踪系统及人脸跟踪方法 |
-
2017
- 2017-11-23 CN CN201711178388.4A patent/CN109831616B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2012170A1 (en) * | 2007-07-06 | 2009-01-07 | Harman Becker Automotive Systems GmbH | Head-tracking system and operating method thereof |
| CN102098499A (zh) * | 2011-03-24 | 2011-06-15 | 杭州华三通信技术有限公司 | 一种云台摄像机控制方法及其装置和系统 |
| CN102819847A (zh) * | 2012-07-18 | 2012-12-12 | 上海交通大学 | 基于ptz移动摄像头的运动轨迹提取方法 |
| CN104184932A (zh) * | 2013-05-20 | 2014-12-03 | 浙江大华技术股份有限公司 | 球机控制方法及装置 |
| CN104866805A (zh) * | 2014-02-20 | 2015-08-26 | 腾讯科技（深圳）有限公司 | 人脸实时跟踪的方法和装置 |
| CN103905733A (zh) * | 2014-04-02 | 2014-07-02 | 哈尔滨工业大学深圳研究生院 | 一种单目摄像头对人脸实时跟踪的方法及系统 |
| US20160202756A1 (en) * | 2015-01-09 | 2016-07-14 | Microsoft Technology Licensing, Llc | Gaze tracking via eye gaze model |
| CN107172359A (zh) * | 2017-07-03 | 2017-09-15 | 天津智汇时代科技有限公司 | 摄像头人脸跟踪系统及人脸跟踪方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李东洁，何岸花: "基于Mega2560的人脸检测与定位跟踪", 《计算机功能与科学》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021026804A1 (zh) * | 2019-08-14 | 2021-02-18 | 深圳市大疆创新科技有限公司 | 基于云台的目标跟随方法、装置、云台和计算机存储介质 |
| CN110619656A (zh) * | 2019-09-05 | 2019-12-27 | 杭州宇泛智能科技有限公司 | 基于双目摄像头的人脸检测跟踪方法、装置及电子设备 |
| CN110619656B (zh) * | 2019-09-05 | 2022-12-02 | 杭州宇泛智能科技有限公司 | 基于双目摄像头的人脸检测跟踪方法、装置及电子设备 |
| CN110751149A (zh) * | 2019-09-18 | 2020-02-04 | 平安科技（深圳）有限公司 | 目标对象标注方法、装置、计算机设备和存储介质 |
| CN110751149B (zh) * | 2019-09-18 | 2023-12-22 | 平安科技（深圳）有限公司 | 目标对象标注方法、装置、计算机设备和存储介质 |
| CN111696142A (zh) * | 2020-06-12 | 2020-09-22 | 广东联通通信建设有限公司 | 一种快速人脸检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109831616B (zh) | 2022-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5454570B2 (ja) | 追尾対象判定装置、追尾対象判定方法、および追尾対象判定プログラム | |
| CN109831616A (zh) | 一种基于单目摄像头的人脸跟随方法及其装置 | |
| Jain et al. | Real-time upper-body human pose estimation using a depth camera | |
| WO2009113144A1 (ja) | 対象物追跡装置および対象物追跡方法 | |
| AU2020300067B2 (en) | Layered motion representation and extraction in monocular still camera videos | |
| Arseneau et al. | Real-time image segmentation for action recognition | |
| Fagiani et al. | Evaluation of Tracking Methods for Human-Computer Interaction. | |
| WO2003098922A1 (en) | An imaging system and method for tracking the motion of an object | |
| KR20170015299A (ko) | 배경 추적을 통한 오브젝트 추적 및 분할을 위한 방법 및 장치 | |
| Al-Mukhtar | Tracking and Blurring the face in a video file | |
| Lefevre et al. | Structure and appearance features for robust 3d facial actions tracking | |
| Hannuksela et al. | Face tracking for spatially aware mobile user interfaces | |
| Pla et al. | Extracting motion features for visual human activity representation | |
| Wenzel et al. | Head pose estimation of partially occluded faces | |
| Soni et al. | Real-time hand tracking using integrated optical flow and CAMshift algorithm | |
| JP6995714B2 (ja) | 特定装置、特定方法及び特定プログラム | |
| US20150063631A1 (en) | Dynamic image analyzing system and operating method thereof | |
| Min et al. | Robust 3D human tracking based on Kinect | |
| CN106250859B (zh) | 基于特征矢量运动杂乱度的视频火焰检测方法 | |
| Roy | Controlling mouse cursor based on image processing and object detection | |
| Feng et al. | Moving object tracking research based on active vision | |
| SONG et al. | Detection of Fatigued Face | |
| Hannuksela et al. | A real-time facial feature based head tracker | |
| Mahalakshmi et al. | Human Upper Body Post Estimation Based On Modified Multiple Importance Sampling Algorithm | |
| Nhat et al. | A combined method for realtime face tracking in smart phones |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |