CN110287886A - 一种人脸跟踪方法和装置 - Google Patents

一种人脸跟踪方法和装置 Download PDF

Info

Publication number
CN110287886A
CN110287886A CN201910559721.9A CN201910559721A CN110287886A CN 110287886 A CN110287886 A CN 110287886A CN 201910559721 A CN201910559721 A CN 201910559721A CN 110287886 A CN110287886 A CN 110287886A
Authority
CN
China
Prior art keywords
value
image
pixel
color space
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910559721.9A
Other languages
English (en)
Inventor
贾振红
王俊南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinjiang University
Original Assignee
Xinjiang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinjiang University filed Critical Xinjiang University
Priority to CN201910559721.9A priority Critical patent/CN110287886A/zh
Publication of CN110287886A publication Critical patent/CN110287886A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供一种人脸跟踪方法和装置，涉及图像处理技术领域，用于提高人脸跟踪的鲁棒性。该方法包括：获取目标图像中各个像素点在YCgCr或YCgCb颜色空间中的Y值、在YCgCr或YCgCb颜色空间中的Cg值、在YCgCr颜色空间中的Cr值以及在YCgCb颜色空间中的Cb值；根据目标图像中各个像素点的Y值、Cg值、Cr值以及Cb值将目标图像分割为至少两个区域；将至少两个区域中纵向尺寸与横向尺寸的比值超出预设范围的区域中的像素点的像素值设置为预设值，获取预处理图像；搜索预处理图像中的目标人脸。本发明实施例用于人脸跟踪。

Description

一种人脸跟踪方法和装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种人脸跟踪方法和装置。
背景技术
在电视电话会议、智能监控、人机交互、智慧城市、平安城市等应用中，人脸跟踪技术的使用十分普遍，因此基于监控视频的人脸跟踪技术业是当前研究的一个热点。
由于颜色受观测方向的影响比较小，且颜色特征的处理相较于人脸其它特征更加简单快速，因此通过肤色进行人脸跟踪是人脸跟踪技术使用最为普遍的方式之一。现有技术中在通过肤色进行人脸跟踪时，一般是基于RGB颜色空间的，然而基于RGB颜色空间的人脸跟踪在实际应用中面临着很多的挑战，一方面人脸肤色会受到人体个体差异、光源的颜色以及光照的角度不同所造成的高光和阴影等诸多因素的影响，被跟踪的人脸在不同图像帧中的颜色可能有较大的变化；另一方面，在进行跟踪的过程中人脸往往是运动的，肤色背景会随着人脸的运动实时变化，因此非常容易受到背景中与肤色比较接近的物体的干扰。基于上述两方面原因，现有技术在基于RGB颜色空间进行人脸跟踪时，常常无法准确的对人脸进行跟踪，特别是在环境光亮度变化较大、背景中与肤色颜色较为接近的物体较多、目标人脸移动速度较快、被遮挡较多、偏转角度较大以及形变交严重时，基于RGB颜色空间进行人脸跟踪常常会跟踪失败。
发明内容
有鉴于此，本发明实施例提供一种人脸跟踪方法和装置，用于提高人脸跟踪的鲁棒性(robustness)。
为了实现上述目的，本发明实施例提供技术方案如下：
第一方面，本发明实施例提供一种人脸跟踪方法，包括：
获取目标图像中各个像素点在YCgCr或YCgCb颜色空间中的Y值、在YCgCr或YCgCb颜色空间中的Cg值、在YCgCr颜色空间中的Cr值以及在YCgCb颜色空间中的Cb值；
根据所述目标图像中各个像素点的Y值、Cg值、Cr值以及Cb值将所述目标图像分割为至少两个区域；
将所述至少两个区域中纵向尺寸与横向尺寸的比值超出预设范围的区域中的像素点的像素值设置为预设值，获取预处理图像；
搜索所述预处理图像中的目标人脸。
作为本发明实施例一种可选的实施方式，所述获取目标图像中各个像素点在YCgCr或YCgCb颜色空间中的Y值、在YCgCr或YCgCb颜色空间中的Cg值、在YCgCr颜色空间中的Cr值以及在YCgCb颜色空间中的Cb值，包括：
将所述目标图像转换到YCgCr颜色空间获取第一图像数据；
将所述目标图像转换到YCgCb颜色空间获取第二图像数据；
根据所述第一图像数据和所述第二图像数据获取目标图像中各个像素点在YCgCr或YCgCb颜色空间中的Y值、在YCgCr或YCgCb颜色空间中的Cg值、在YCgCr颜色空间中的Cr值以及在YCgCb颜色空间中的Cb值。
作为本发明实施例一种可选的实施方式，所述根据所述目标图像中各个像素点的Y值、Cg值、Cr值以及Cb值将所述目标图像分割为至少两个区域，包括：
将所述目标图像的各个像素点中连续且Y值在第一范围、Cg值在第二范围、Cr值在第三范围、Cb值在第四范围的像素点所在的区域分割为一个区域。
作为本发明实施例一种可选的实施方式，所述预设范围为[0.4，1.6]。
作为本发明实施例一种可选的实施方式，所述将所述至少两个区域中纵向尺寸与横向尺寸的比值超出预设范围的区域中的像素点的像素值设置为预设值，包括：
将所述至少两个区域中纵向尺寸与横向尺寸的比值超出预设范围的区域中的像素点的像素值设置为0。
作为本发明实施例一种可选的实施方式，所述搜索所述预处理图像中的目标人脸，包括：
在所述目标图像为第一帧图像的情况下，通过Adaboost算法对所述预处理图像进行检测，获取所述目标人脸。
作为本发明实施例一种可选的实施方式，所述对所述预处理图像中的目标人脸进行搜索，包括：
在所述目标图像不为第一帧图像的情况下，通过Camshift算法搜索所述预处理图像中的目标人脸。
作为本发明实施例一种可选的实施方式，在通过Camshift算法对所述预处理图像中的目标人脸进行搜索之前，所述方法还包括：
在所述预处理图像不为RGB颜色空间的情况下，将所述预处理图像转换到RGB色彩空间。
作为本发明实施例一种可选的实施方式，在根据所述目标图像中各个像素点的Y值、Cg值、Cr值以及Cb值将所述目标图像分割为至少两个区域之前，所述方法还包括：
对所述目标图像进行腐蚀和膨胀处理。
作为本发明实施例一种可选的实施方式，在搜索所述预处理图像中的目标人脸之后，所述方法还包括：
确定所述目标人脸在所述目标图像中的位置信息；
基于所述位置信息和Kalman滤波算法对下一帧图像中所述目标人脸出现的位置进行预测。
第二方面，本发明实施例提供一种人脸跟踪装置，包括：
获取单元，获取目标图像中各个像素点在YCgCr或YCgCb颜色空间中的Y值、在YCgCr或YCgCb颜色空间中的Cg值、在YCgCr颜色空间中的Cr值以及在YCgCb颜色空间中的Cb值；
分割单元，根据所述目标图像中各个像素点的Y值、Cg值、Cr值以及Cb值将所述目标图像分割为至少两个区域；
设置单元，用于将所述至少两个区域中纵向尺寸与横向尺寸的比值超出预设范围的区域中的像素点的像素值设置为预设值，获取预处理图像；
搜索单元，用于搜索所述预处理图像中的目标人脸。
作为本发明实施例一种可选的实施方式，所述获取单元，具体用将所述目标图像转换到YCgCr颜色空间获取第一图像数据；将所述目标图像转换到YCgCb颜色空间获取第二图像数据；根据所述第一图像数据和所述第二图像数据获取目标图像中各个像素点在YCgCr或YCgCb颜色空间中的Y值、在YCgCr或YCgCb颜色空间中的Cg值、在YCgCr颜色空间中的Cr值以及在YCgCb颜色空间中的Cb值。
作为本发明实施例一种可选的实施方式，所述分割单元，具体用于将所述目标图像的各个像素点中连续且Y值在第一范围、Cg值在第二范围、Cr值在第三范围、Cb值在第四范围的像素点所在的区域分割为一个区域。
作为本发明实施例一种可选的实施方式，所述预设范围为[0.4，1.6]。
作为本发明实施例一种可选的实施方式，所述设置单元，具体用于将所述至少两个区域中纵向尺寸与横向尺寸的比值超出预设范围的区域中的像素点的像素值设置为0。
作为本发明实施例一种可选的实施方式，所述搜索单元，具体用于在所述目标图像为第一帧图像的情况下，通过Adaboost算法对所述预处理图像进行检测，获取所述目标人脸。
作为本发明实施例一种可选的实施方式，所述搜索单元，具体用于在所述目标图像不为第一帧图像的情况下，通过Camshift算法搜索所述预处理图像中的目标人脸。
作为本发明实施例一种可选的实施方式，所述搜索单元，还用于在通过Camshift算法对所述预处理图像中的目标人脸进行搜索之前，在所述预处理图像不为RGB颜色空间的情况下，将所述预处理图像转换到RGB色彩空间。
作为本发明实施例一种可选的实施方式，所述分割单元，还用于在根据所述目标图像中各个像素点的Y值、Cg值、Cr值以及Cb值将所述目标图像分割为至少两个区域之前，对所述目标图像进行腐蚀和膨胀处理。
作为本发明实施例一种可选的实施方式，所述搜索单元，还用于在搜索所述预处理图像中的目标人脸之后，确定所述目标人脸在所述目标图像中的位置信息，以及基于所述位置信息和Kalman滤波算法对下一帧图像中所述目标人脸出现的位置进行预测。
第三方面，本发明实施例提供一种人脸跟踪装置，包括：存储器和处理器，存储器用于存储计算机程序；处理器用于在调用计算机程序时执行上述第一方面或第一方面的任一实施方式所述的人脸跟踪方法。
第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述第一方面或第一方面的任一实施方式所述的人脸跟踪方法。
本发明实施例提供的人脸跟踪方法，首先获取目标图像中各个像素点在YCgCr或YCgCb颜色空间中的Y值、在YCgCr或YCgCb颜色空间中的Cg值、在YCgCr颜色空间中的Cr值以及在YCgCb颜色空间中的Cb值，然后根据所述目标图像中各个像素点的Y值、Cg值、Cr值以及Cb值将所述目标图像分割为至少两个区域，再将所述至少两个区域中纵向尺寸与横向尺寸的比值超出预设范围的区域中的像素点的像素值设置为预设值，获取预处理图像，最后搜索所述预处理图像中的目标人脸，由于本发明实施例中是通过获取图像中各个像素点的Y值、Cg值、Cr值以及Cb值对图像进行分割的，且在将图像分割为至少两个区域后，会将所述至少两个区域中纵向尺寸与横向尺寸的比值超出预设范围的区域中的像素点的像素值设置为预设值，因此可以避免被跟踪的人脸在不同图像帧中的颜色变化导致的跟踪失败以及避免背景中与肤色比较接近的物体的干扰导致的跟踪失败，因此本发明实施例可以提高人脸跟踪的鲁棒性。
附图说明
图1为本发明实施例提供的人脸跟踪方法的流程示意图；
图2为本发明实施例提供的分割形成的至少两个区域的示意图；
图3为本发明实施例提供的将像素值设置预设值的区域的示意图；
图4为本发明实施例提供的预测的目标人脸所在区域的示意图；
图5为本发明实施例提供的人脸跟踪装置的结构示意图；
图6为本发明实施例提供的人脸跟踪装置的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
本发明的说明书和权利要求书中的术语“第一”和“第二”等是用于区别同步的对象，而不是用于描述对象的特定顺序。例如，第一通知消息和第二通知消息等是用于区别同步的通知消息，而不是用于描述通知消息的特定顺序。
在本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。此外，在本发明实施例的描述中，除非另有说明，“多个”的含义是指两个或两个以上。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
参照图1所示，本实施例提供的人脸跟踪方法可以包括如下步骤：
S11、获取目标图像中各个像素点在YCgCr或YCgCb颜色空间中的Y值、在YCgCr或YCgCb颜色空间中的Cg值、在YCgCr颜色空间中的Cr值以及在YCgCb颜色空间中的Cb值。
YCgCr颜色空间是一种通过图像中各像素点的亮度(Y)、绿色分量(green)与亮度(Y)的差(Gg)以及红色分量(red)与亮度(Y)的差(Gr)表示颜色的方式，其可以与RGB等颜色空间相互转换。
YCgCb颜色空间是一种通过图像中各像素点的亮度(Y)、绿色分量(green)与亮度(Y)的差(Gg)以及蓝色分量(blue)与亮度(Y)的差(Gr)表示颜色的方式，其也可以与RGB等颜色空间相互转换。
需要说明的是，同一像素点在YCgCr颜色空间中的Y值与在YCgCb颜色空间中的Y值相等，因此在获取时可以获取各个像素点在YCgCr或YCgCb颜色空间中的Y值。同样，同一像素点在YCgCr颜色空间中的Cg值与在YCgCb颜色空间中的Cg值相等，因此在获取时可以获取各个像素点在YCgCr或YCgCb颜色空间中的Cg值。
本发明实施例中不限定获取目标图像中各个像素点的Y值、Cg值、Cr值以及Cb值的实现方式，以能够获取目标图像中各个像素点的Y值、Cg值、Cr值以及Cb值为准。
作为本发明实施例一种可选的实施方式，上述步骤S11(所述获取目标图像中各个像素点在YCgCr或YCgCb颜色空间中的Y值、在YCgCr或YCgCb颜色空间中的Cg值、在YCgCr颜色空间中的Cr值以及在YCgCb颜色空间中的Cb值)包括：
将所述目标图像转换到YCgCr颜色空间获取第一图像数据；
将所述目标图像转换到YCgCb颜色空间获取第二图像数据；
根据所述第一图像数据和所述第二图像数据获取目标图像中各个像素点在YCgCr或YCgCb颜色空间中的Y值、在YCgCr或YCgCb颜色空间中的Cg值、在YCgCr颜色空间中的Cr值以及在YCgCb颜色空间中的Cb值。
即，可以通过将目标图像分别转换到YCgCr颜色空间和YCgCb颜色空间，并从转换后的图像数据中提取各个像素点的Y值、Cg值、Cr值以及Cb值。
S12、根据所述目标图像中各个像素点的Y值、Cg值、Cr值以及Cb值将所述目标图像分割为至少两个区域。
作为本发明实施例一种可选的实施例方式，上述步骤S12(根据所述目标图像中各个像素点的Y值、Cg值、Cr值以及Cb值将所述目标图像分割为至少两个区域)包括：
将所述目标图像的各个像素点中连续且Y值在第一范围、Cg值在第二范围、Cr值在第三范围、Cb值在第四范围的像素点所在的区域分割为一个区域。
其中，第一范围、第二范围、第三范围、第四范围可以根据大数据中人脸的Y值的范围、人脸的Cg值的范围、人脸的Cr值的范围以及人脸的Cb值的范围设定，也可以由本领域技术人员设置为经验值。
示例性的，如图2所示，目标图像的各个像素点中连续且Y值在第一范围、Cg值在第二范围、Cr值在第三范围、Cb值在第四范围的像素点包括：像素点集合21、像素点集合22以及像素点集合23，则将所述目标图像分割为4个区域，该4个区域分别为像素点集合21所在区域、像素点集合22所在区域、像素点集合23所在区域以及目标图像上其它像素点所在的区域。
由于YCgCr颜色空间和YCgCb颜色空间具有将颜色中的亮度信息分离出来的特点，因此基于目标图像中各个像素点的Y值、Cg值、Cr值以及Cb值对目标图像进行分割可以避免不同视频帧之间的亮度不同造成的跟踪失败。
S13、将所述至少两个区域中纵向尺寸与横向尺寸的比值超出预设范围的区域中的像素点的像素值设置为预设值，获取预处理图像。
需要说明的是，本发明实施例中纵向尺寸与横向尺寸的比值是指纵向最长处与横向最宽处的尺寸的比值。例如：对于图2中像素点集合21所在区域，纵向最长处为2个像素点，横向最宽处为20个像素点，则其纵向尺寸与横向尺寸的比值为2/20＝0.1。
作为本发明实施例一种可选的实施例方式，所述预设范围为[0.4，1.6]。
即，对于任一区域，若其纵向尺寸与横向尺寸的比值超出大于1.6或小于0.4，则将该区域中的像素点的像素值设置为预设值。例如：对于图2中像素点集合21所在区域，其纵向尺寸与横向尺寸的比值0.1小于0.4，因此将像素点集合21中的像素点的像素值设置为预设值。再例如：对于图2中像素点集合22所在区域，其纵向尺寸与横向尺寸的比值6大于1.6，因此将像素点集合22中的像素点的像素值设置为预设值。
作为本发明实施例一种可选的实施例方式，将所述至少两个区域中纵向尺寸与横向尺寸的比值超出预设范围的区域中的像素点的像素值设置为预设值，包括：
将所述至少两个区域中纵向尺寸与横向尺寸的比值超出预设范围的区域中的像素点的像素值设置为0。
示例性的，参照图3所示，由于像素点集合21所在区域和像素点集合22所在区域的向尺寸与横向尺寸的比值均超出预设范围，因此将像素点集合21和像素点集合22中的像素点的像素值设置为0。
由于人脸的纵横尺寸比都在0.4至1.6之内，因此若任一区域的纵向尺寸与横向尺寸的比值超出该范围，则可以直接判定为干扰物体，上述实施例中将对目标图像进行分割得到的至少两个区域中纵向尺寸与横向尺寸的比值超出预设范围的区域中的像素点的像素值设置为预设值，因此在检测时纵向尺寸与横向尺寸的比值超出预设范围的区域中为纯色，不会在此类区域中检测出人脸，因此可以排除背景中与肤色颜色较为接近的物体造成的干扰。
S14、搜索所述预处理图像中的目标人脸。
作为本发明实施例一种可选的实施例方式：所述搜索所述预处理图像中的目标人脸，包括：
在所述目标图像为第一帧图像的情况下，通过Adaboost算法对所述预处理图像进行检测，获取所述目标人脸。
即，若目标图像为第一帧图像，则通过Adaboost对目标人脸进行检测。
作为本发明实施例一种可选的实施例方式：所述搜索所述预处理图像中的目标人脸，包括：
在所述目标图像不为第一帧图像的情况下，通过Camshift算法搜索所述预处理图像中的目标人脸。
具体的，Camshift算法在用于人脸跟踪时具有计算速度快，对目标发生较小形变和部分遮挡时具有一定的鲁棒性，且在跟踪过程中能够依据目标的尺寸变化调节搜索窗口大小等优点，因此本发明实施例中可以通过Camshift算法搜索所述预处理图像中的目标人脸。
作为本发明实施例一种可选的实施例方式，在通过Camshift算法对所述预处理图像中的目标人脸进行搜索之前，所述方法还包括：
在所述预处理图像不为RGB颜色空间的情况下，将所述预处理图像转换到RGB色彩空间。
即，若目标图像不为RGB色彩空间，则先将目标图像转换到RGB色彩空间，然后再通过Camshift算法对所述预处理图像中的目标人脸进行搜索。
本发明实施例提供的人脸跟踪方法，首先获取目标图像中各个像素点在YCgCr或YCgCb颜色空间中的Y值、在YCgCr或YCgCb颜色空间中的Cg值、在YCgCr颜色空间中的Cr值以及在YCgCb颜色空间中的Cb值，然后根据所述目标图像中各个像素点的Y值、Cg值、Cr值以及Cb值将所述目标图像分割为至少两个区域，再将所述至少两个区域中纵向尺寸与横向尺寸的比值超出预设范围的区域中的像素点的像素值设置为预设值，获取预处理图像，最后搜索所述预处理图像中的目标人脸，由于本发明实施例中是通过获取图像中各个像素点的Y值、Cg值、Cr值以及Cb值对图像进行分割的，且在将图像分割为至少两个区域后，会将所述至少两个区域中纵向尺寸与横向尺寸的比值超出预设范围的区域中的像素点的像素值设置为预设值，因此可以避免被跟踪的人脸在不同图像帧中的颜色变化导致的跟踪失败以及避免背景中与肤色比较接近的物体的干扰导致的跟踪失败，因此本发明实施例可以提高人脸跟踪的鲁棒性。
作为本发明实施例一种可选的实施例方式，在上述步骤S12(根据所述目标图像中各个像素点的Y值、Cg值、Cr值以及Cb值将所述目标图像分割为至少两个区域)之前，本发明实施例提供的人脸跟踪方法还包括：
对所述目标图像进行腐蚀和膨胀处理。
腐蚀处理是一种消除边界点，使边界向内部收缩的过程，通过对目标图像进行腐蚀处理可以消除目标图像中较小的干扰物体。
膨胀处理是将物体与接触的所有背景点融合到该物体中，使物体边界向外扩张的过程，通过对目标图像进行膨胀处理可以消除物体的图像上的空洞。
上述实施例在根据所述目标图像中各个像素点的Y值、Cg值、Cr值以及Cb值将所述目标图像分割为至少两个区域之前，先对所述目标图像进行腐蚀和膨胀处理，因此可以更加准确的对目标图像进行分割。
作为本发明实施例一种可选的实施例方式，在上述步骤S14(搜索所述预处理图像中的目标人脸)之后，本发明实施例提供的人脸跟踪方法还包括：
确定所述目标人脸在所述目标图像中的位置信息；
基于所述位置信息和Kalman滤波算法对下一帧图像中所述目标人脸出现的位置进行预测。
示例性的，如图4所示，目标人脸在所述目标图像中的A位置，则可以基于所A位置和Kalman滤波算法预测下一帧图像中所述目标人脸出现的位置在区域40内，因此可以排除区域40以外其他位置的物体对人脸跟踪的干扰。
由于本发明实施还会基于当前图像帧中目标人脸的位置信息和Kalman滤波算法对下一帧图像中所述目标人脸出现的位置进行预测，因此本发明实施例可以排除下一帧图像中目标人脸不会出现的位置的物体对人脸跟踪的干扰，进而进一步提高人脸跟踪的鲁棒性。
基于同一发明构思，作为对上述方法的实现，本发明实施例提供了一种资源调度装置，该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。
参照图5所示，本实施例提供的本发明实施例提供一种人脸跟踪装置500，包括：
获取单元51，获取目标图像中各个像素点在YCgCr或YCgCb颜色空间中的Y值、在YCgCr或YCgCb颜色空间中的Cg值、在YCgCr颜色空间中的Cr值以及在YCgCb颜色空间中的Cb值；
分割单元52，根据所述目标图像中各个像素点的Y值、Cg值、Cr值以及Cb值将所述目标图像分割为至少两个区域；
设置单元53，用于将所述至少两个区域中纵向尺寸与横向尺寸的比值超出预设范围的区域中的像素点的像素值设置为预设值，获取预处理图像；
搜索单元54，用于搜索所述预处理图像中的目标人脸。
作为本发明实施例一种可选的实施方式，所述获取单元51，具体用将所述目标图像转换到YCgCr颜色空间获取第一图像数据；将所述目标图像转换到YCgCb颜色空间获取第二图像数据；根据所述第一图像数据和所述第二图像数据获取目标图像中各个像素点在YCgCr或YCgCb颜色空间中的Y值、在YCgCr或YCgCb颜色空间中的Cg值、在YCgCr颜色空间中的Cr值以及在YCgCb颜色空间中的Cb值。
作为本发明实施例一种可选的实施方式，所述分割单元52，具体用于将所述目标图像的各个像素点中连续且Y值在第一范围、Cg值在第二范围、Cr值在第三范围、Cb值在第四范围的像素点所在的区域分割为一个区域。
作为本发明实施例一种可选的实施方式，所述预设范围为[0.4，1.6]。
作为本发明实施例一种可选的实施方式，所述设置单元53，具体用于将所述至少两个区域中纵向尺寸与横向尺寸的比值超出预设范围的区域中的像素点的像素值设置为0。
作为本发明实施例一种可选的实施方式，所述搜索单元54，具体用于在所述目标图像为第一帧图像的情况下，通过Adaboost算法对所述预处理图像进行检测，获取所述目标人脸。
作为本发明实施例一种可选的实施方式，所述搜索单元54，具体用于在所述目标图像不为第一帧图像的情况下，通过Camshift算法搜索所述预处理图像中的目标人脸。
作为本发明实施例一种可选的实施方式，所述搜索单元54，还用于在通过Camshift算法对所述预处理图像中的目标人脸进行搜索之前，在所述预处理图像不为RGB颜色空间的情况下，将所述预处理图像转换到RGB色彩空间。
作为本发明实施例一种可选的实施方式，所述分割单元52，还用于在根据所述目标图像中各个像素点的Y值、Cg值、Cr值以及Cb值将所述目标图像分割为至少两个区域之前，对所述目标图像进行腐蚀和膨胀处理。
作为本发明实施例一种可选的实施方式，所述搜索单元54，还用于在搜索所述预处理图像中的目标人脸之后，确定所述目标人脸在所述目标图像中的位置信息，以及基于所述位置信息和Kalman滤波算法对下一帧图像中所述目标人脸出现的位置进行预测。
本发明实施例提供的人脸跟踪装置，包括：获取单元、分割单元、设置单元以及搜索单元；其中，获取单元可以获取目标图像中各个像素点在YCgCr或YCgCb颜色空间中的Y值、在YCgCr或YCgCb颜色空间中的Cg值、在YCgCr颜色空间中的Cr值以及在YCgCb颜色空间中的Cb值，分割单元可以根据所述目标图像中各个像素点的Y值、Cg值、Cr值以及Cb值将所述目标图像分割为至少两个区域，设置单元可以将所述至少两个区域中纵向尺寸与横向尺寸的比值超出预设范围的区域中的像素点的像素值设置为预设值，获取预处理图像，搜索单元单元可以搜索所述预处理图像中的目标人脸，由于分割单元是通过获取图像中各个像素点的Y值、Cg值、Cr值以及Cb值对图像进行分割的，且在将图像分割为至少两个区域后，设置单元会将所述至少两个区域中纵向尺寸与横向尺寸的比值超出预设范围的区域中的像素点的像素值设置为预设值，因此可以避免被跟踪的人脸在不同图像帧中的颜色变化导致的跟踪失败以及避免背景中与肤色比较接近的物体的干扰导致的跟踪失败，因此本发明实施例可以提高人脸跟踪的鲁棒性。
基于同一发明构思，本发明实施例还提供了一种人脸跟踪装置。图6为本发明实施例提供的人脸跟踪装置的结构示意图，如图6所示，本实施例提供的人脸跟踪装置包括：存储器61和处理器62，存储器61用于存储计算机程序；处理器62用于在调用计算机程序时执行上述方法实施例所述的人脸跟踪方法。
本实施例提供的人脸跟踪装置可以执行上述方法实施例提供的人脸跟踪方法，其实现原理与技术效果类似，此处不再赘述。
本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例所述的人脸跟踪方法。
本领域技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动存储介质。存储介质可以由任何方法或技术来实现信息存储，信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。根据本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (13)

1.一种人脸跟踪方法，其特征在于，包括：
获取目标图像中各个像素点在YCgCr或YCgCb颜色空间中的Y值、在YCgCr或YCgCb颜色空间中的Cg值、在YCgCr颜色空间中的Cr值以及在YCgCb颜色空间中的Cb值；
根据所述目标图像中各个像素点的Y值、Cg值、Cr值以及Cb值将所述目标图像分割为至少两个区域；
将所述至少两个区域中纵向尺寸与横向尺寸的比值超出预设范围的区域中的像素点的像素值设置为预设值，获取预处理图像；
搜索所述预处理图像中的目标人脸。
2.根据权利要求1所述的人脸跟踪方法，其特征在于，所述获取目标图像中各个像素点在YCgCr或YCgCb颜色空间中的Y值、在YCgCr或YCgCb颜色空间中的Cg值、在YCgCr颜色空间中的Cr值以及在YCgCb颜色空间中的Cb值，包括：
将所述目标图像转换到YCgCr颜色空间获取第一图像数据；
将所述目标图像转换到YCgCb颜色空间获取第二图像数据；
根据所述第一图像数据和所述第二图像数据获取目标图像中各个像素点在YCgCr或YCgCb颜色空间中的Y值、在YCgCr或YCgCb颜色空间中的Cg值、在YCgCr颜色空间中的Cr值以及在YCgCb颜色空间中的Cb值。
3.根据权利要求1所述的人脸跟踪方法，其特征在于，所述根据所述目标图像中各个像素点的Y值、Cg值、Cr值以及Cb值将所述目标图像分割为至少两个区域，包括：
将所述目标图像的各个像素点中连续且Y值在第一范围、Cg值在第二范围、Cr值在第三范围、Cb值在第四范围的像素点所在的区域分割为一个区域。
4.根据权利要求1所述的人脸跟踪方法，其特征在于，所述预设范围为[0.4，1.6]。
5.根据权利要求1所述的人脸跟踪方法，其特征在于，所述将所述至少两个区域中纵向尺寸与横向尺寸的比值超出预设范围的区域中的像素点的像素值设置为预设值，包括：
将所述至少两个区域中纵向尺寸与横向尺寸的比值超出预设范围的区域中的像素点的像素值设置为0。
6.根据权利要求1所述的人脸跟踪方法，其特征在于，所述搜索所述预处理图像中的目标人脸，包括：
在所述目标图像为第一帧图像的情况下，通过Adaboost算法对所述预处理图像进行检测，获取所述目标人脸。
7.根据权利要求1所述的人脸跟踪方法，其特征在于，所述对所述预处理图像中的目标人脸进行搜索，包括：
在所述目标图像不为第一帧图像的情况下，通过Camshift算法搜索所述预处理图像中的目标人脸。
8.根据权利要求7所述的人脸跟踪方法，其特征在于，在通过Camshift算法对所述预处理图像中的目标人脸进行搜索之前，所述方法还包括：
在所述预处理图像不为RGB颜色空间的情况下，将所述预处理图像转换到RGB色彩空间。
9.根据权利要求1-8任一项所述的人脸跟踪方法，其特征在于，在根据所述目标图像中各个像素点的Y值、Cg值、Cr值以及Cb值将所述目标图像分割为至少两个区域之前，所述方法还包括：
对所述目标图像进行腐蚀和膨胀处理。
10.根据权利要求1-8任一项所述的人脸跟踪方法，其特征在于，在搜索所述预处理图像中的目标人脸之后，所述方法还包括：
确定所述目标人脸在所述目标图像中的位置信息；
基于所述位置信息和Kalman滤波算法对下一帧图像中所述目标人脸出现的位置进行预测。
11.一种人脸跟踪装置，其特征在于，包括：
获取单元，用于获取目标图像中各个像素点在YCgCr或YCgCb颜色空间中的Y值、在YCgCr或YCgCb颜色空间中的Cg值、在YCgCr颜色空间中的Cr值以及在YCgCb颜色空间中的Cb值；
分割单元，根据所述目标图像中各个像素点的Y值、Cg值、Cr值以及Cb值将所述目标图像分割为至少两个区域；
设置单元，用于将所述至少两个区域中纵向尺寸与横向尺寸的比值超出预设范围的区域中的像素点的像素值设置为预设值，获取预处理图像；
搜索单元，用于搜索所述预处理图像中的目标人脸。
12.一种人脸跟踪装置，其特征在于，包括：存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于在调用所述计算机程序时执行如权利要求1-10任一项所述的人脸跟踪方法。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-10任一项所述的人脸跟踪方法。
CN201910559721.9A 2019-06-26 2019-06-26 一种人脸跟踪方法和装置 Pending CN110287886A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910559721.9A CN110287886A (zh) 2019-06-26 2019-06-26 一种人脸跟踪方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910559721.9A CN110287886A (zh) 2019-06-26 2019-06-26 一种人脸跟踪方法和装置

Publications (1)

Publication Number Publication Date
CN110287886A true CN110287886A (zh) 2019-09-27

Family

ID=68005737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910559721.9A Pending CN110287886A (zh) 2019-06-26 2019-06-26 一种人脸跟踪方法和装置

Country Status (1)

Country Link
CN (1) CN110287886A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105095891A (zh) * 2014-05-05 2015-11-25 深圳市贝尔信智能系统有限公司 一种人脸捕捉的方法，装置及系统
CN106934377A (zh) * 2017-03-14 2017-07-07 深圳大图科创技术开发有限公司 一种改进的人脸检测系统
CN108491784A (zh) * 2018-03-16 2018-09-04 南京邮电大学 面向大型直播场景的单人特写实时识别与自动截图方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105095891A (zh) * 2014-05-05 2015-11-25 深圳市贝尔信智能系统有限公司 一种人脸捕捉的方法，装置及系统
CN106934377A (zh) * 2017-03-14 2017-07-07 深圳大图科创技术开发有限公司 一种改进的人脸检测系统
CN108491784A (zh) * 2018-03-16 2018-09-04 南京邮电大学 面向大型直播场景的单人特写实时识别与自动截图方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王俊南 等: "二颜色空间中CamShift人脸跟踪", 《现代电子技术》 *
王俊南 等: "基于肤色分割的改进Camshift人脸跟踪算法", 《现代电子技术》 *

Similar Documents

Publication Publication Date Title
US9158985B2 (en) Method and apparatus for processing image of scene of interest
CN109726620B (zh) 一种视频火焰检测方法及装置
TW202011733A (zh) 對影像進行目標取樣的方法及裝置
CN103198319B (zh) 用于矿山井筒环境下的模糊图像角点提取方法
JP2015062121A5 (zh)
CN107316022B (zh) 动态手势识别方法和装置
US9064178B2 (en) Edge detection apparatus, program and method for edge detection
CN111882568B (zh) 火灾图像边缘提取处理方法、终端及系统
CN111680704B (zh) 海洋红线新增人类活动斑块自动化快速提取方法和装置
CN105894491A (zh) 图像高频信息的定位方法和装置
CN111275036A (zh) 目标检测方法、装置、电子设备及计算机可读存储介质
CN109377515A (zh) 一种基于改进ViBe算法的运动目标检测方法及系统
CN109344824A (zh) 一种文本行区域检测方法、装置、介质和电子设备
Hossain et al. Fast-D: When non-smoothing color feature meets moving object detection in real-time
CN110689014B (zh) 感兴趣区域的检测方法、装置、电子设备及可读存储介质
CN107316318A (zh) 基于多子区域背景拟合的空中目标自动检测方法
KR20120015980A (ko) 오브젝트 색상 보정 방법, 시스템 및 컴퓨터 프로그램 제품
JP2016095701A (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2015082287A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP5324017B1 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
Mousse et al. Foreground-background segmentation based on codebook and edge detector
CN110287886A (zh) 一种人脸跟踪方法和装置
Abdusalomov et al. Review on various widely used shadow detection methods to identify a shadow from images
CN105825161A (zh) 图像的肤色检测方法及其系统
Fatichah et al. Optical flow feature based for fire detection on video data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190927