CN105825168B - 一种基于s-tld的川金丝猴面部检测和追踪方法 - Google Patents
一种基于s-tld的川金丝猴面部检测和追踪方法 Download PDFInfo
- Publication number
- CN105825168B CN105825168B CN201610072508.1A CN201610072508A CN105825168B CN 105825168 B CN105825168 B CN 105825168B CN 201610072508 A CN201610072508 A CN 201610072508A CN 105825168 B CN105825168 B CN 105825168B
- Authority
- CN
- China
- Prior art keywords
- rhinopithecus roxellana
- tld
- svm
- roxellana
- rhinopithecus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于S‑TLD的川金丝猴面部检测和追踪方法，属于图像处理领域。所述发明包括获取川金丝猴的肤色和毛色图片，确定川金丝猴的面部特征库，使用SVM分类器对所述面部特征库中的特征进行优化，得到优化后的SVM网络模型，获取待识别的视频图像，结合所述SVM模型，在所述视频图像中对川金丝猴进行定位，基于TLD理论对定位后的川金丝猴进行追踪。通过使用备用分类器SVM，使得该追踪方法在背景复杂、目标运动幅度大或重新回到视频中的情况下有较高的追踪精度。同时针对金丝猴自身的特性，如复杂的面部纹理特征、动作极其敏捷迅速。本发明使用了LBP算子提取金丝猴面部特征，使得在光照变化、面部多尺度变化的情况下保证了追踪的正确性和速度。
Description
技术领域
本发明属于图像处理领域，特别涉及一种基于S-TLD的川金丝猴面部检测和追踪方法。
背景技术
随着现代科学技术的发展，在众多野生动物监测技术中，数码影像技术(包括自动相机技术或红外相机技术)以其具有的非强制性，非接触性和无损伤性等优点已广泛应用于野生动物监测的过程中。利用数码影像技术对金丝猴进行全面实时的监测，能够获得丰富的图像数据。
目前，在对野生动物图像数据的研究中，已有较多的利用其各自之间的视觉差异(如生物特征)进行个体识别的研究。单目标长时间追踪算法，该算法需要人为的参与选择目标在视频中的位置，该追踪算法的优点是可以让用户随意定义目标，但是该优点也是其缺点，由于没有大量的对目标的先验知识，在目标变动幅度大、背景复杂的情况下，其追踪的效果并不是很好，从而会丢失大量的有用的图像信息。基于人脸检测技术的野生动物追踪方法。该追踪方法能够很好的追踪视频图像中运动的物体，但是由于KLT算法对光照和运动幅度敏感，故在背景复杂、动作迅速敏捷的动物来说，该算法不能够完成较高精度的追踪。
在实现本发明的过程中，发明人发现现有技术至少存在以下问题：
现有的动物图像识别技术存在根据动物皮毛上的花纹特征对斑马进行识别，或者基于外形特征对鸟群群体行为进行监控，或者基于红外图像中人脸的生理特征进行人脸识别。但是上述这些方法都是针对不同动物个体所具有的不同特征进行个体识别追踪的，而川金丝猴与其他类型动物在自身特征方面存在较大差异，主要变现在：①川金丝猴面部由毛发和皮肤两个部分组成；②川金丝猴的面部(特别是面部毛发区域)具有更为复杂的纹理特征；③川金丝猴天生就有极其敏捷迅速的运动天赋。川金丝猴的以上特征都会增加视频追踪的难度。因此，现有方法不能直接应用于川金丝猴的个体检测和追踪。
发明内容
为了解决现有技术的问题，本发明提供了一种基于S-TLD的川金丝猴面部检测和追踪方法，所述基于S-TLD的川金丝猴面部检测和追踪方法，包括：
获取川金丝猴的肤色和毛色图片，确定川金丝猴的面部特征库；
使用SVM分类器对所述面部特征库中的特征进行优化，得到优化后的SVM网络模型；
获取待识别的视频图像，结合所述SVM模型，在所述视频图像中对川金丝猴进行定位，基于TLD理论对定位后的川金丝猴进行追踪。
可选的，获取川金丝猴的肤色和毛色图片，确定所述川金丝猴的面部特征库，包括：
获取川金丝猴的肤色和毛色图片，对所述肤色和毛色图片进行72色RGB-HSV量化，对量化后的颜色进行统计归类，确定最大输出量化区间范围；
基于所述最大输出量化区间范围，构建肤色区域查找表以及毛色区域查找表；
根据所述肤色区域查找表和所述毛色区域查找表中的量化区间，基于图像分割原理提取金丝猴面部特征，构建川金丝猴的面部特征库。
可选的，使用SVM分类器对所述面部特征库中的特征进行优化，得到优化后的SVM网络模型，包括：
使用LBP算子提取人脸样本和环境样本的LBP特征，构建人脸样本库和环境样本库；
使用SVM分类器，基于由所述面部特征库、所述人脸样本库和所述环境样本库构成的训练样本对所述面部特征库进行优化，得到优化后的SVM网络模型。
可选的，获取待识别的视频图像，结合所述SVM模型，在所述视频图像中对川金丝猴进行定位，基于TLD理论对定位后的川金丝猴进行追踪，包括：
获取待识别的视频图像，对所述视频图像中的帧图像进行72色RGB-HSV量化，将得到的量化区间与所述SVM模型中特征进行对比，确定川金丝猴的位置区域；
提取所述川金丝猴的位置区域中LBP特征，使用SVM分类器对所述特征进行分类，选取精度值最高的位置作为川金丝猴的脸部位置；
基于TLD理论对所述川金丝猴的脸部位置进行追踪。
可选的，提取所述川金丝猴的位置区域中LBP特征，使用SVM分类器对所述特征进行分类，选取精度值最高的位置作为川金丝猴的脸部位置，包括：
使用不同尺寸的窗口对所述帧图像进行连续扫描；
在确定川金丝猴的位置区域后，提取所述位置区域的扫描窗口以及所述扫描窗口的LBP特征，将所述扫描窗口的LBP特征存储在矩阵中；
使用SVM备用分类器对所述矩阵中的LBP特征进行分类，结合所述SVM模型选取符合预设条件的扫描窗口位置作为川金丝猴的脸部位置。
可选的，基于TLD理论对所述川金丝猴的脸部位置进行追踪，包括：
获取所述川金丝猴的脸部位置对应的扫描窗口的索引值；
基于所述索引值和所述川金丝猴的位置区域坐标，建立所述扫描窗口与当前帧图像的映射关系；
基于所述映射关系，实时确定川金丝猴在所述当前帧图像中的脸部位置；
结合所述当前帧图像中的脸部位置，基于TLD理论获取在下一帧图像中川金丝猴的脸部位置，实现自动追踪。
可选的，所述基于S-TLD的川金丝猴面部检测和追踪方法，还包括：
当追踪失败时，激活SVM备用分类器，再次确定川金丝猴的位置，进而基于TLD理论对定位后的川金丝猴进行追踪。本发明提供的技术方案带来的有益效果是：
通过使用备用分类器SVM，使得该追踪方法在背景复杂、目标运动幅度大或重新回到视频中的情况下有较高的追踪精度。同时针对金丝猴自身的特性，如复杂的面部纹理特征、动作极其敏捷迅速。本发明使用了LBP算子提取金丝猴面部特征，使得在光照变化、面部多尺度变化的情况下保证了追踪的正确性和速度。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的一种基于S-TLD的川金丝猴面部检测和追踪方法的流程示意图；
图2(a)是本发明提供的川金丝猴在第一姿势下的面部LBP灰度图；
图2(b)是本发明提供的川金丝猴在第二姿势下的面部LBP灰度图；
图2(c)是本发明提供的川金丝猴在第三姿势下的面部LBP灰度图；
图2(d)是本发明提供的川金丝猴在第四姿势下的面部LBP灰度图；
图3(a)是本发明提供的川金丝猴在第一姿势下的面部LBP特征图；
图3(b)是本发明提供的川金丝猴在第二姿势下的面部LBP特征图；
图3(c)是本发明提供的川金丝猴在第三姿势下的面部LBP特征图；
图3(d)是本发明提供的川金丝猴在第四姿势下的面部LBP特征图；
图4(a1)是本发明提供的川金丝猴在第一姿势下降维之后的LBP直方图；
图4(a2)是本发明提供的川金丝猴在第一姿势下没有降维的LBP直方图；
图4(b1)是本发明提供的川金丝猴在第二姿势下降维之后的LBP直方图；
图4(b2)是本发明提供的川金丝猴在第二姿势下没有降维的LBP直方图；
图4(c1)是本发明提供的川金丝猴在第三姿势下降维之后的LBP直方图；
图4(c2)是本发明提供的川金丝猴在第三姿势下没有降维的LBP直方图；
图4(d1)是本发明提供的川金丝猴在第四姿势下降维之后的LBP直方图；
图4(d2)是本发明提供的川金丝猴在第四姿势下没有降维的LBP直方图；
图5是对t图4(a1)、图4(b1)、图4(c1)、图4(d1)降维后LBP直方图的曲线拟合示意图；
图6(1)是本发明提供的初始帧备用分类器追踪效果图；
图6(2)是本发明提供的TLD根据SVM备用分类器传入的参数后第20帧的追踪的效果；
图6(3)是本发明提供的在金丝猴转脸时TLD追踪失效后备用分类器SVM修正的结果图一；
图6(4)是本发明提供的经过SVM修正后TLD追踪的效果图一；
图6(5)是本发明提供的在金丝猴转脸时TLD追踪失效后备用分类器SVM修正的结果图二；
图6(6)是本发明提供的经过SVM修正后TLD追踪的效果图二；
图6(7)是本发明提供的在金丝猴剧烈运动后，SVM备用分类器修正的结果图一；
图6(8)是本发明提供的经过SVM修正之后TLD追踪的结果图一；
图6(9)是本发明提供的在金丝猴剧烈运动后，SVM备用分类器修正的结果图二；
图6(10)是本发明提供的经过SVM修正之后TLD追踪的结果图二；
图6(11)是本发明提供的在金丝猴剧烈运动后，SVM备用分类器修正的结果图三；
图6(12)是本发明提供的经过SVM修正之后TLD追踪的结果图三；
图7(1)是本发明提供的在有家族成员干扰的情况下初始帧SVM备用分类器追踪效果图；
图7(2)是本发明提供的根据SVM备用分类器传入参数后第10帧的追踪效果；
图7(3)是本发明提供的在家族成员和被追踪金丝猴由于脸部运动导致TLD追踪失败的情况下SVM备用分类器修正追踪效果图一；
图7(4)是本发明提供的根据SVM备用分类器修正后第10帧追踪效果图一；
图7(5)是本发明提供的在家族成员和被追踪金丝猴由于脸部运动导致TLD追踪失败的情况下SVM备用分类器修正追踪效果图二；
图7(6)是本发明提供的根据SVM备用分类器修正后第10帧追踪效果图二；
图7(7)是本发明提供的被追踪金丝猴由于完全侧脸导致TLD追踪失败后SVM备用分类器追踪效果图；
图7(8)是本发明提供的TLD根据修正后第10帧追踪效果图。
具体实施方式
为使本发明的结构和优点更加清楚，下面将结合附图对本发明的结构作进一步地描述。
实施例一
本发明提供了一种基于S-TLD的川金丝猴面部检测和追踪方法，所述基于S-TLD的川金丝猴面部检测和追踪方法，包括：
获取川金丝猴的肤色和毛色图片，确定川金丝猴的面部特征库；
使用SVM分类器对所述面部特征库中的特征进行优化，得到优化后的SVM网络模型；
获取待识别的视频图像，结合所述SVM模型，在所述视频图像中对川金丝猴进行定位，基于TLD理论对定位后的川金丝猴进行追踪。
在实施中，为了实现在视频图像中对川金丝猴的检测和追踪，本发明提出了一种基于S-TLD的川金丝猴面部检测和追踪方法，如图1所示，包括：
11、获取川金丝猴的肤色和毛色图片，确定川金丝猴的面部特征库。
12、使用SVM分类器对所述面部特征库中的特征进行优化，得到优化后的SVM网络模型。
13、获取待识别的视频图像，结合所述SVM模型，在所述视频图像中对川金丝猴进行定位，基于TLD理论对定位后的川金丝猴进行追踪。
这里的S-TLD具体是指SVM和TLD，支持向量机(Support Vector Machine，SVM)在机器学习领域，是一个有监督的学习模型，通常用来进行模式识别、分类、以及回归分析。而TLD(Tracking-Learning-Detection)是一种视频追踪方法，其方法思想就是把追踪器和检测器结合使用，同时加入机器学习来提高结果的准确度，具体分为追踪模块(Tracking)，学习模块(Learning)和检测模块(Detection)。
本方法基于现有的目标追踪方法TLD的基本框架，为了解决TLD在目标大幅度运动或重新返回视频中导致TLD检测失效的问题，引入备用分类器SVM，使得该追踪方法在背景复杂、目标运动幅度大或重新回到视频中的情况下有较高的追踪精度，从而解决了TLD追踪目标需人工手动选择的缺点，能够自动的完成了目标选择的任务。同时解决了TLD由于训练样本不足导致的在目标变化较大时检测率低的问题，提高了视频中目标追踪的精度，为获取丰富的图像数据提供了技术支持。
同时针对川金丝猴复杂的面部纹理特征、动作极其敏捷迅速等自身的特性，还使用了局部二值模式(Local Binary Patterns，LBP)算子提取金丝猴面部特征，使得在光照变化、面部多尺度变化的情况下保证了追踪的正确性和速度。
本发明提供了一种基于S-TLD的川金丝猴面部检测和追踪方法，包括获取川金丝猴的肤色和毛色图片，确定川金丝猴的面部特征库，使用SVM分类器对所述面部特征库中的特征进行优化，得到优化后的SVM网络模型，获取待识别的视频图像，结合所述SVM模型，在所述视频图像中对川金丝猴进行定位，基于TLD理论对定位后的川金丝猴进行追踪。通过使用备用分类器SVM，使得该追踪方法在背景复杂、目标运动幅度大或重新回到视频中的情况下有较高的追踪精度。同时针对金丝猴自身的特性，如复杂的面部纹理特征、动作极其敏捷迅速。本发明使用了LBP算子提取金丝猴面部特征，使得在光照变化、面部多尺度变化的情况下保证了追踪的正确性和速度。
可选的，获取川金丝猴的肤色和毛色图片，确定所述川金丝猴的面部特征库，包括：
获取川金丝猴的肤色和毛色图片，对所述肤色和毛色图片进行72色RGB-HSV量化，对量化后的颜色进行统计归类，确定最大输出量化区间范围；
基于所述最大输出量化区间范围，构建肤色区域查找表以及毛色区域查找表；
根据所述肤色区域查找表和所述毛色区域查找表中的量化区间，基于图像分割原理提取金丝猴面部特征，构建川金丝猴的面部特征库。
在实施中，步骤11的具体实现方式为：
101、获取川金丝猴的肤色和毛色图片，对所述肤色和毛色图片进行72色RGB-HSV量化，对量化后的颜色进行统计归类，确定最大输出量化区间范围。
具体的，步骤101的实现方式为：
首先将所有的肤色和毛发样本分别按照RGB空间当中的长度进行排序，并按照公式(1)转化为HSV值。
v＝max{r,g,b}，
定义：
其次，由于一幅图像中包含的颜色信息太多，不可能将所有颜色信息全部提取出来逐个进行分析。因此这就要求对图像进行一定程度的量化，从而简化该问题。选择对处于HSV空间中的像素点进行72色量化，按照公式(2)的规则进行转化。
接着，将该三个矢量H(x,y)、S(x,y)、V(x,y)相叠加得到合成的一维矢量，即公式(3)所示：
L(x,y)＝70H(x,y)+3S(x,y)+V(x,y) (3)
提取面部皮肤样本图像和面部毛发样本图像的72色量化灰度图像的L(x,y)的值。运用数学统计的方法分别对其中出现的不同量化值进行统计记录并标明出现的频率次数，统计结果表明，选择灰度值为70-80与330-360区间段分别作为毛色和肤色的量化范围区间。
102、基于所述最大输出量化区间范围，构建肤色区域查找表以及毛色区域查找表。
103、根据所述肤色区域查找表和所述毛色区域查找表中的量化区间，基于图像分割原理提取金丝猴面部特征，构建川金丝猴的面部特征库。
步骤103的具体实现方式为：
首先，根据步骤101得到的金丝猴肤色灰度值量化区间，运用图像分割技术提取金丝猴面部图像并建立金丝猴面部图像库P{p1,p2,.......,pn}，其中pi(1≤i≤n)为图像库中第i张金丝猴面部图片。
其次，使用LBP算子，提取金丝猴面部图像库P中的每一张图片的面部特征。提取公式(4)如下：
其中(xc,yc)是中心像素，ic为亮度，in为相邻像素的亮度。s(x)为一个符号函数。
接着，运用“等价模式”对LBP算子的模式种类进行降维，将二进制模式由原始的256种减少到59种，以减少系统运行过程中的计算量。最终用矩阵存储得到的金丝猴面部特征，表示方法如下：
Fm＝[f1 f2 ... fn]′，
其中，n为样本的总个数，fi(1≤i≤n)为58维行向量。
可选的，使用SVM分类器对所述面部特征库中的特征进行优化，得到优化后的SVM网络模型，包括：
使用LBP算子提取人脸样本和环境样本的LBP特征，构建人脸样本库和环境样本库；
使用SVM分类器，基于由所述面部特征库、所述人脸样本库和所述环境样本库构成的训练样本对所述面部特征库进行优化，得到优化后的SVM网络模型。
在实施中，步骤12的具体实现方式为：
201、为了提高SVM分类器的鲁棒性，需要其他类别的负样本(人脸样本和环境样本)丰富SVM网络模型的多样性，以优化其参数。利用步骤1中的方法，使用LBP算子提取人脸样本和环境样本的LBP特征。表示方法分别如下：
Fh＝[f1 f2 ... fl]′，Ft＝[f1 f2 ... fm]′
其中，Fm，Ft分别为人脸和环境样本特征库，l，m分别为其样本总数。
202、使用SVM分类器，对由各个特征库Fm，Fh，Ft组成的特征库矩阵F＝[Fm Fh Ft]'作为训练样本，训练金丝猴面部特征库网络模型。
使用SVM种的高斯径向基核函数：使用的参数为('-c 2-g 1-t2-b 1')。通过训练得到以SVM网络模型model。
可选的，获取待识别的视频图像，结合所述SVM模型，在所述视频图像中对川金丝猴进行定位，基于TLD理论对定位后的川金丝猴进行追踪，包括：
获取待识别的视频图像，对所述视频图像中的帧图像进行72色RGB-HSV量化，将得到的量化区间与所述SVM模型中特征进行对比，确定川金丝猴的位置区域；
提取所述川金丝猴的位置区域中LBP特征，使用SVM分类器对所述特征进行分类，选取精度值最高的位置作为川金丝猴的脸部位置；
基于TLD理论对所述川金丝猴的脸部位置进行追踪。
在实施中，步骤13的具体实现方式为：
301、使用图像处理软件matlab读入彩色视频图像，获取第一帧图像。为了提高追踪的速度，在第一帧视频图像中，使用步骤1中的方法对图像进行72色RGB-HSV量化，然后与步骤1得到的毛色量化区间值对比进行筛选，选择出在区间范围内的像素点予以保留，以确定金丝猴在视频帧中的具体位置。
302、根据步骤301得到的金丝猴的位置，使用扫描窗口在猴身区域检测猴脸，提取获得的窗口数据的LBP特征并使用SVM分类器对各个窗口的特征进行分类，其中选取精度值最大的一个输出作为猴脸部的位置。
303、基于TLD理论对所述川金丝猴的脸部位置进行追踪。
可选的，提取所述川金丝猴的位置区域中LBP特征，使用SVM分类器对所述特征进行分类，选取精度值最高的位置作为川金丝猴的脸部位置，包括：
使用不同尺寸的窗口对所述帧图像进行连续扫描；
在确定川金丝猴的位置区域后，提取所述位置区域的扫描窗口以及所述扫描窗口的LBP特征，将所述扫描窗口的LBP特征存储在矩阵中；
使用SVM备用分类器对所述矩阵中的LBP特征进行分类，结合所述SVM模型选取符合预设条件的扫描窗口位置作为川金丝猴的脸部位置。
在实施中，步骤302中确定川金丝猴脸部位置的内容具体为：
(1)构建扫描窗口：为了比较精确的找到目标在视频帧中的位置以及大小，需要使用不同尺寸的窗口对视频帧连续的扫描。
初始扫描的窗口为o_sw＝40×40pixel，步长为d＝10pixel,最大的扫描窗口为m_sw＝100×100pixel，扫描窗口的尺寸缩放步长为s_d＝5pixel。
(2)提取扫描窗口的LBP特征：根据(1)中的扫描窗口，在得到的金丝猴位置L中提取扫描窗口，并提取扫描窗口的LBP特征。使用矩阵Mm×n×58来存储扫描窗口的LBP特征值，其中m×n为扫描窗口的索引，行数m代表不同尺寸的扫描窗口的种类数，列数n代表每一种尺寸扫描窗口的个数，每一行中列数不够的用0填充，以保证矩阵的完整性。具体映射关系如下：
其中r_min，r_max，c_min，c_min为猴身位置的坐标，c_sw为当前扫描窗口的尺寸。
可选的，基于TLD理论对所述川金丝猴的脸部位置进行追踪，包括：
获取所述川金丝猴的脸部位置对应的扫描窗口的索引值；
基于所述索引值和所述川金丝猴的位置区域坐标，建立所述扫描窗口与当前帧图像的映射关系；
基于所述映射关系，实时确定川金丝猴在所述当前帧图像中的脸部位置；
结合所述当前帧图像中的脸部位置，基于TLD理论获取在下一帧图像中川金丝猴的脸部位置，实现自动追踪。
在实施中，TLD的思想就是把追踪器和检测器结合使用，同时加入机器学习来提高结果的准确度。分为追踪模块(Tracking)，检测模块(Detection)和学习模块(Learning)。
追踪模块：基于Lucas-Kanade追踪器和FB误差(forward-backward error)。首先在第t帧的所要追踪的目标中均匀的产生一些追踪点，利用Lucas-Kanade追踪器正向追踪这些点到t+1帧，然后再反向追踪到t帧，计算FB误差(追踪点之间的欧式距离)，筛选出FB误差最小的一半点作为最佳追踪点。最后根据这些点的坐标变化和距离的变化计算t+1帧物体的位置和大小。
检测模块：使用了一个级联分类器，对从包围框获得的样本进行分类。首先通过图像元分类器计算图像元像素的灰度值的方差，把方差小于原始图像元方差一半的样本标记为负；然后使用集成分类器(随机蕨分类器)提高分类的准确性；最后使用最近邻分类器，通过计算样本的相对近似度，如果大于0.6，则人为是正样本，否则为负样本。
学习模块：作者提出了一种半监督新的机器学习方法(P-N Learning)，其作用是对检测器对样本分类时产生的两种类型的错误提供了两种纠正方式。一种是P专家，其作用是改正漏检(正样本误分为负样本)的正样本；另一种是N专家，其作用是改正误检(负样本误分为正样本)的正样本。
基于TLD理论，步骤303的具体实现方式为：
(1)使用SVM备用分类器对矩阵Mm×n×58所存储的LBP特征分类，核函数和参数的选取与步骤(2)中的相同，并结合步骤12中的预测模型分类，从预测的结果中选取预测值最大的并且大于阈值θnn＝0.93值的扫描窗口作为猴脸的位置，并对应的找到该扫描窗口所对应的索引值(mx,nx)，索引值从0开始算起。
(2)扫描窗口对应的坐标值：为了找到每个扫描窗口在视频帧中对应的坐标值，需要根据③中的扫描窗口的索引值和步骤301中猴身的位置坐标建立扫描窗口与坐标值的映射关系。
具体映射关系如下：
其中
通过该映射关系可求出猴脸在视频帧中的具体位置为：
f_L＝[r_cmin c_cmin r_cmax c_cmax]。
(3)向TLD输入猴脸位置f_L＝[r_cmin c_cmin r_cmax c_cmax]，调用激活函数run_TLD(f_L)启动TLD，TLD首先根据初始目标位置，通过一定程度的多尺度变换产生自己的样本库，经过级联分类器产生正样本，放入样本集；然后使用追踪器估计出物体的新位置，P-专家根据这个位置产生正样本，N-专家从这些正样本里面选出一个最可信的，同时把其他正样本标记为负；最后用正样本更新检测器的分类器参数，并确定下一帧物体位置。
可选的，所述基于S-TLD的川金丝猴面部检测和追踪方法，还包括：
当追踪失败时，激活SVM备用分类器，再次确定川金丝猴的位置，进而基于TLD理论对定位后的川金丝猴进行追踪。
在实施中，在金丝猴动作幅度比较大或重新返回到视频中导致TLD丢失目标或追踪失效后，算法调用激活函数run_SVM()再次激活SVM备用分类器，根据步骤13中的流程，先获取猴身位置，然后根据猴身位置检测猴脸位置，修正TLD追踪结果。
本发明提供了一种基于S-TLD的川金丝猴面部检测和追踪方法，包括获取川金丝猴的肤色和毛色图片，确定川金丝猴的面部特征库，使用SVM分类器对所述面部特征库中的特征进行优化，得到优化后的SVM网络模型，获取待识别的视频图像，结合所述SVM模型，在所述视频图像中对川金丝猴进行定位，基于TLD理论对定位后的川金丝猴进行追踪。通过使用备用分类器SVM，使得该追踪方法在背景复杂、目标运动幅度大或重新回到视频中的情况下有较高的追踪精度。同时针对金丝猴自身的特性，如复杂的面部纹理特征、动作极其敏捷迅速。本发明使用了LBP算子提取金丝猴面部特征，使得在光照变化、面部多尺度变化的情况下保证了追踪的正确性和速度。
本发明的效果可以通过以下实验结果进一步说明。
图2为金丝猴面部LBP特征图。
图2(a)至(d)展示了同一个金丝猴在四种不同姿态下面部灰度图像，为了说明LBP能够很好的提取金丝猴脸部特征。
图3(a)至(d)展示了对应图2(a)至(d)中的四种姿态下的特征图像，从图3(a)至(d)中可以看出，LBP黑色的点和白色的点的分布大体相同，这就说明了LBP特征能够很好的表示金丝猴脸部特征。
图4(a)至(d)分别对应图2(a)至(d)中的四种姿态中每个面部图像的LBP直方图，图4(a1)、图4(b1)、图4(c1)、图4(d1)代表了运用LBP等价模式降维之后的LBP直方图，图4(a2)、图4(b2)、图4(c2)、图4(d2)代表了没有降维的LBP直方图，图4(a)至(d)中反映了其灰度变化趋势大体相同，从而间接的反映出LBP特征能够准确的表示金丝猴面部特征。
图5是对降维后上述四幅LBP直方图的曲线拟合，其直观的展现出四条曲线的变化情况具有高度的一致性，从而反映出LBP特征的鲁棒性。其中，P1、P2、P3、P4分别对应图4(a1)、图4(b1)、图4(c1)、图4(d1)四幅子图降维后LBP特征直方图的曲线拟合，图中横坐表代表了降维后LBP特征的维数(59维)，纵坐标代表了每一维特征的值(0-255)，图中颜色越深的地方表示曲线的重合度越高，其直观的展现出了LBP特征对金丝猴脸部变化的鲁棒性。
图6和图7分别展示了在不同的场景下该方法追踪效果图。图6在光线比较亮、背景为草丛以及金丝猴运动幅度比较大的条件下测试效果图。图7是在光线比较暗，背景颜色和金丝猴毛色相似，并且有家族金丝猴成员的条件下测试效果图。绿色框表示TLD追踪时的效果，红色的框表示在初始帧或者TLD追踪失效后，备用分类器SVM追踪效果。
图6是对一个视频中金丝猴不同的动作中追踪效果的展示，验证了该方法对于运动敏捷的金丝猴来说有较好的鲁棒性。其中，
子图(1)表示了初始帧备用分类器追踪效果，子图(2)相应的为TLD根据SVM备用分类器传入的参数后第20帧的追踪的效果；子图(3)和子图(5)分别为金丝猴转脸时TLD追踪失效后备用分类器SVM修正的结果，子图(4)和子图(6)相应的为经过SVM修正后TLD追踪的效果。子图(7)、子图(9)和子图(11)分别表示在金丝猴剧烈运动后，SVM备用分类器修正的结果，相应的子图(8)、子图(10)和子图(12)为经过SVM修正之后TLD追踪的结果。
图7主要展示了在光线比较暗、背景颜色和金丝猴毛色相似以及有家族成员的条件下测试效果图。主要展示了在金丝猴做不同的脸部动作，以及有子代家族金丝猴成员的条件下该方法追踪的效果图，以验证该方法对于金丝猴家族成员天生相似度高的特点具有较好的识别追踪效果。其中，子图(1)表示了在有家族成员干扰的情况下初始帧SVM备用分类器追踪效果，子图(2)相应的为TLD根据SVM备用分类器传入参数后第10帧的追踪效果。子图(3)和子图(5)表示了在家族成员和被追踪金丝猴由于脸部运动导致TLD追踪失败的情况下SVM备用分类器修正追踪效果；相应的子图(4)和子图(6)为TLD根据SVM备用分类器修正后第10帧追踪效果。子图(7)表示了被追踪金丝猴由于完全侧脸导致TLD追踪失败后SVM备用分类器追踪效果，子图(8)相应的为TLD根据修正后第10帧追踪效果。
可以清楚的看到在金丝猴运动幅度大、脸部遮挡严重的时候，该方法都够很好的完成追踪的效果。
需要说明的是：上述实施例提供的基于S-TLD的川金丝猴面部检测和追踪方法进行视频图像中对川金丝猴进行检测和追踪的实施例，仅作为该检测和追踪方法在实际应用中的说明，还可以根据实际需要而将上述检测和追踪方法在其他应用场景中使用，其具体实现过程类似于上述实施例，这里不再赘述。
上述实施例中的各个序号仅仅为了描述，不代表各部件的组装或使用过程中的先后顺序。
以上所述仅为本发明的实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于S-TLD的川金丝猴面部检测和追踪方法，其特征在于，所述基于S-TLD的川金丝猴面部检测和追踪方法，包括：
获取川金丝猴的肤色和毛色图像，确定川金丝猴的面部特征库；
使用SVM分类器对所述面部特征库中的特征进行优化，得到优化后的SVM网络模型；
获取待识别的视频图像，结合所述SVM网络模型，在所述视频图像中对川金丝猴进行定位，基于TLD理论对定位后的川金丝猴进行追踪；
所述S-TLD具体是指SVM和TLD，支持向量机(Support Vector Machine,SVM)在机器学习领域，是一个有监督的学习模型，通常用来进行模式识别、分类、以及回归分析；TLD(Tracking-Learing-Detection)是一种视频追踪算法，其算法思想就是把追踪器和检测器结合使用，同时加入机器学习来提高结果的准确度，具体分为追踪模块、学习模块和检测模块；
所述获取川金丝猴的肤色和毛色图像，确定川金丝猴的面部特征库，包括：
获取川金丝猴的肤色和毛色图像，对所述肤色和毛色图像进行72色RGB-HSV量化，对量化后的颜色进行统计归类，确定最大输出量化区间范围；
基于所述最大输出量化区间范围，构建肤色区域查找表以及毛色区域查找表；
根据所述肤色区域查找表和所述毛色区域查找表中的量化区间，基于图像分割原理提取金丝猴面部特征，构建川金丝猴的面部特征库。
2.根据权利要求1所述的基于S-TLD的川金丝猴面部检测和追踪方法，其特征在于，使用SVM分类器对所述面部特征库中的特征进行优化，得到优化后的SVM网络模型，包括：
使用LBP算子提取人脸样本和环境样本的LBP特征，构建人脸样本库和环境样本库；
使用SVM分类器，基于由所述面部特征库、所述人脸样本库和所述环境样本库构成的训练样本对所述面部特征库进行优化，得到优化后的SVM网络模型。
3.根据权利要求1所述的基于S-TLD的川金丝猴面部检测和追踪方法，其特征在于，获取待识别的视频图像，结合所述SVM网络模型，在所述视频图像中对川金丝猴进行定位，基于TLD理论对定位后的川金丝猴进行追踪，包括：
获取待识别的视频图像，对所述视频图像中的帧图像进行72色RGB-HSV量化，将得到的量化区间与所述SVM网络模型中特征进行对比，确定川金丝猴的位置区域；
提取所述川金丝猴的位置区域中LBP特征，使用SVM分类器对所述特征进行分类，选取精度值最高的位置作为川金丝猴的面部位置；
基于TLD理论对所述川金丝猴的面部位置进行追踪。
4.根据权利要求3所述的基于S-TLD的川金丝猴面部检测和追踪方法，其特征在于，提取所述川金丝猴的位置区域中LBP特征，使用SVM分类器对所述特征进行分类，选取精度值最高的位置作为川金丝猴的面部位置，包括：
使用不同尺寸的窗口对所述帧图像进行连续扫描；
在确定川金丝猴的位置区域后，提取所述位置区域的扫描窗口以及所述扫描窗口的LBP特征，将所述扫描窗口的LBP特征存储在矩阵中；
使用SVM备用分类器对所述矩阵中的LBP特征进行分类，结合所述SVM网络模型选取符合预设条件的扫描窗口位置作为川金丝猴的面部位置。
5.根据权利要求3所述的基于S-TLD的川金丝猴面部检测和追踪方法，其特征在于，基于TLD理论对所述川金丝猴的面部位置进行追踪，包括：
获取所述川金丝猴的面部位置对应的扫描窗口的索引值；
基于所述索引值和所述川金丝猴的位置区域坐标，建立所述扫描窗口与当前帧图像的映射关系；
基于所述映射关系，实时确定川金丝猴在所述当前帧图像中的面部位置；
结合所述当前帧图像中的面部位置，基于TLD理论获取在下一帧图像中川金丝猴的面部位置，实现自动追踪。
6.根据权利要求1所述的基于S-TLD的川金丝猴面部检测和追踪方法，其特征在于，所述基于S-TLD的川金丝猴面部检测和追踪方法，还包括：
当追踪失败时，激活SVM备用分类器，再次确定川金丝猴的位置，进而基于TLD理论对定位后的川金丝猴进行追踪。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610072508.1A CN105825168B (zh) | 2016-02-02 | 2016-02-02 | 一种基于s-tld的川金丝猴面部检测和追踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610072508.1A CN105825168B (zh) | 2016-02-02 | 2016-02-02 | 一种基于s-tld的川金丝猴面部检测和追踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105825168A CN105825168A (zh) | 2016-08-03 |
| CN105825168B true CN105825168B (zh) | 2019-07-02 |
Family
ID=56987400
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610072508.1A Expired - Fee Related CN105825168B (zh) | 2016-02-02 | 2016-02-02 | 一种基于s-tld的川金丝猴面部检测和追踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105825168B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106709425B (zh) * | 2016-11-25 | 2020-07-14 | 西北大学 | 基于增量自步学习和区域色彩量化的金丝猴面部检测方法 |
| CN106644849A (zh) * | 2016-12-30 | 2017-05-10 | 湖北神农架国家级自然保护区管理局 | 川金丝猴的个体年龄识别方法 |
| CN108509861B (zh) * | 2018-03-09 | 2020-06-30 | 山东师范大学 | 一种基于样本学习和目标检测结合的目标跟踪方法和装置 |
| CN109543526B (zh) * | 2018-10-19 | 2022-11-08 | 谢飞 | 基于深度差异性特征的真假面瘫识别系统 |
| CN110390359A (zh) * | 2019-01-08 | 2019-10-29 | 电子科技大学 | 一种西藏青稞叶片病变的识别方法 |
| CN110084259B (zh) * | 2019-01-10 | 2022-09-20 | 谢飞 | 一种结合面部纹理和光流特征的面瘫分级综合评估系统 |
| CN110287777B (zh) * | 2019-05-16 | 2021-06-08 | 西北大学 | 一种自然场景下的金丝猴躯体分割算法 |
| CN114694233B (zh) * | 2022-06-01 | 2022-08-23 | 成都信息工程大学 | 一种基于多特征的考场监控视频图像中人脸定位方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103116896A (zh) * | 2013-03-07 | 2013-05-22 | 中国科学院光电技术研究所 | 一种基于视觉显著性模型的自动检测跟踪方法 |
| CN103870824A (zh) * | 2014-03-28 | 2014-06-18 | 海信集团有限公司 | 一种在人脸检测跟踪过程中的人脸捕捉方法及装置 |
| CN104331901A (zh) * | 2014-11-26 | 2015-02-04 | 北京邮电大学 | 一种基于tld的多视角目标跟踪装置及方法 |
-
2016
- 2016-02-02 CN CN201610072508.1A patent/CN105825168B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103116896A (zh) * | 2013-03-07 | 2013-05-22 | 中国科学院光电技术研究所 | 一种基于视觉显著性模型的自动检测跟踪方法 |
| CN103870824A (zh) * | 2014-03-28 | 2014-06-18 | 海信集团有限公司 | 一种在人脸检测跟踪过程中的人脸捕捉方法及装置 |
| CN104331901A (zh) * | 2014-11-26 | 2015-02-04 | 北京邮电大学 | 一种基于tld的多视角目标跟踪装置及方法 |
Non-Patent Citations (2)
| Title |
|---|
| Real-time Face Detection and Tracking of Animals;Tilo Burghardt et al;《8th Seminar on Neural Network Applications in Electrical Engineering》;20061231;第27-32页 |
| 猕猴面部图像特征的计算机自动定位方法;章登义 等;《"情绪与健康和疾病及其中医药干预"国际学术研讨会暨中医基础林论分会学术年会》;20071231;第289-295页 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105825168A (zh) | 2016-08-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105825168B (zh) | 一种基于s-tld的川金丝猴面部检测和追踪方法 | |
| Jia et al. | Detection and segmentation of overlapped fruits based on optimized mask R-CNN application in apple harvesting robot | |
| Dias et al. | Apple flower detection using deep convolutional networks | |
| Bergmann et al. | Improving unsupervised defect segmentation by applying structural similarity to autoencoders | |
| Koirala et al. | Deep learning–Method overview and review of use for fruit detection and yield estimation | |
| US11574187B2 (en) | Pedestrian attribute identification and positioning method and convolutional neural network system | |
| Sarwar et al. | Detecting and counting sheep with a convolutional neural network | |
| Babenko et al. | Robust object tracking with online multiple instance learning | |
| CN108388905B (zh) | 一种基于卷积神经网络和邻域上下文的光源估计方法 | |
| Liu et al. | The method of insulator recognition based on deep learning | |
| KR102151688B1 (ko) | 작물의 숙도 판별 장치, 방법 및 그 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체 | |
| WO2007044037A1 (en) | Robust perceptual color identification | |
| Frintrop et al. | A cognitive approach for object discovery | |
| Qiao et al. | Bird species recognition based on SVM classifier and decision tree | |
| CN109271932A (zh) | 基于颜色匹配的行人再识别方法 | |
| Kumar et al. | Semi supervised deep quick instance detection and segmentation | |
| Wang et al. | Pig face recognition model based on a cascaded network | |
| Wang et al. | Human detection based on a sequence of thermal images using deep learning | |
| CN111832508A (zh) | 基于die_ga的低照度目标检测方法 | |
| Niu et al. | YOLO-plum: A high precision and real-time improved algorithm for plum recognition | |
| CN115995017A (zh) | 一种果实识别与定位方法、装置及介质 | |
| Mahalakshmi | Real time vision based object tracking using CAMSHIFT algorithm with enhanced color image segmentation | |
| Yang et al. | Epitomic image colorization | |
| Drory et al. | Automated detection and tracking of slalom paddlers from broadcast image sequences using cascade classifiers and discriminative correlation filters | |
| Wang et al. | Recognition of multi-modal fusion images with irregular interference |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190702 Termination date: 20200202 |