CN106156739A - 一种基于脸部轮廓分析的证件照耳朵检测与提取方法 - Google Patents

Abstract

本发明公开了一种基于脸部轮廓分析的证件照耳朵检测与提取方法，用于自动判断证件照头像是否端正，检测证件照耳朵的有无，并最终提取证件照耳朵区域。该算法分析两种轮廓线：皮肤外轮廓和脸部轮廓，并基于如下观察：人类脸部轮廓线在一定程度上满足抛物线方程。首先提出基于皮肤外轮廓抛物线拟合的耳朵有无检测方法，用抛物线拟合皮肤外轮廓，当拟合结果较好时说明皮肤外轮廓与脸部轮廓重合，无耳朵。否则当有耳朵时，提出基于梯度和抛物线引导的动态规划算法识别脸部轮廓。脸部轮廓线能分割耳朵和脸部皮肤区域，从而实现耳朵区域的有效提取。本发明的算法能用于自拍证件照的合格性自动判断，提取出的耳朵区域可供证件照图像后处理。

Description

一种基于脸部轮廓分析的证件照耳朵检测与提取方法

技术领域

本发明涉及计算机图像处理领域，尤其是指一种基于脸部轮廓分析的证件照耳朵检测与提取方法。

背景技术

证件照是人类身份识别的基本信息之一，它们通常嵌入身份证、护照等证件文本，或者贴在入学、就业等申请表格上，用于用户资料唯一性验证，在社会生活各个方面有着广泛的应用。传统地，证件照由专业人士拍摄，在照相馆内,用户坐在指定位置,在摄影师的指导下调整姿势,最后由摄影师拍出满足要求的证件照。随着移动互联网的迅速发展,出现了证件照自拍手机软件。用户自己拍摄脸部图片，通过网络上传到服务器,服务器自动判断证件照是否符合规范，即要求上传的照片人像头部端正、露出耳朵轮廓等。目前，人脸识别、眼睛和鼻子检测方法，以及皮肤识别和提取方法已较为成熟，在证件照人像头部是否端正等方面能够实现自动化判断，但是还没有针对正面拍摄的证件照进行耳朵轮廓检测的研究。

耳朵的检测与识别在生物特征识别领域研究得较多，通常认为，与指纹一样，人类的耳朵形状和特征具有唯一性，可以用于人类身份唯一性识别和验证。该类方法的处理对象是从人脸侧面拍摄的耳朵，能拍摄到丰富的耳朵细节，如耳朵的螺旋结构、耳轮、耳屏、耳甲等。充分利用这些信息可以实现耳朵特征提取、耳朵检测和耳朵唯一性判定。文献[PflugA；Busch C.Ear biometrics:a survey of detection,feature extraction andrecognition methods[J].Biometrics,IET,2012,1(2):114-129.]对该类耳朵检测和识别方法进行了综述，大部分方法采用先找到耳朵的位置，然后提取耳朵特征，并进行特征的学习，最后识别耳朵的工作流程。例如，在文献[Yan P；Bowyer K W.Biometric recognitionusing 3D ear shape[J].Pattern Analysis and Machine Intelligence,IEEETransactions on,2007,29(8):1297-1308.]中，首先定位耳甲，然后以耳甲为锚点，采用active contour方法找到耳朵的外耳轮轮廓线；在文献[Yuan L；Zhang F.Ear detectionbased on improved adaboost algorithm[C].Machine Learning and Cybernetics,2009Inter-national Conference on.IEEE,2009,4:2414-2417.]中，提取耳朵轮廓、耳朵凹凸等特征，再使用扩展的类HAAR特征创建弱分类器的特征空间，最后采用Adaboost算法提升该弱分类器成为强分类器，从而实现耳朵的识别；在文献[Yuan L；chun Mu Z.Earrecognition based on local information fusion[J].Pattern Recognition Letters,2012,33(2):182-190.]中，提出了一个基于局部信息融合的耳朵识别方法，能处理耳朵被部分遮挡的情况。

然而，以上的方法都不能用于证件照的耳朵检测与提取。因为证件照从人脸正面拍摄，导致拍到的耳朵信息非常少，看不到耳朵内部结构，只能看到耳朵的大致外轮廓，导致可供提取的耳朵特征特别少；而且，不同人的耳朵形状和轮廓差异性非常大。所以先提取特征，再训练统计学模型的监督式耳朵学习和识别方法不仅设计难度高、十分复杂、且鲁棒性较低，不适合证件照的耳朵检测与提取。

发明内容

本发明的目的在于克服现有方法的局限性，提出了一种基于脸部轮廓分析的证件照耳朵检测与提取方法，使得即使正面拍摄的头像耳朵信息不丰富，也可以检测和提取耳朵，进而可以检测用户拍摄的人像照片是否符合证件照的要求。

为实现上述目的，本发明所提供的技术方案为：一种基于脸部轮廓分析的证件照耳朵检测与提取方法，包括以下步骤：

1)检测耳朵的有无

给定一张姿态端正(即头部端正，眼睛平视前方)的证件照，基于皮肤外轮廓抛物线拟合的方法来检测耳朵是否被遮挡，该方法详细描述如下：

通过眼睛定位和眼睛与耳朵的位置关系，提取到包含耳朵的耳朵矩形区域后，检测该区域中的皮肤，从而得到皮肤外轮廓；通过观察大量的证件照发现，有耳朵时皮肤外轮廓的形状通常较为弯曲和不规则，而没有耳朵时，皮肤外轮廓较平滑，能由抛物线较好地拟合；因此，采用抛物线拟合皮肤外轮廓，拟合误差小说明无耳朵，否则说明有耳朵；

在拟合的方法上，选择了RANSAC方法，首先，在皮肤外轮廓上均匀地采样样本点，设p_i(x_i,y_i)是第i个样本点，构成样本点集合S＝{p₁,p₂,...,p_N}，N是样本点个数，定义要拟合的抛物线方程为y＝ax²+bx+c，其中a、b、c是抛物线参数；RANSAC方法能迭代求解a、b、c，拟合误差由公式(1)计算：

$fit\_error=1-\frac{\#consensus\_set}{\#S}---\left(1\right)$

其中，consensus表示适应于拟合出来的抛物线的样本点的集合，S是采样得到的样本点集合，#是计数符号；当拟合误差很大时，皮肤外轮廓不能很好地由抛物线拟合，说明有耳朵；而当拟合误差很小时，皮肤外轮廓能够由抛物线拟合得到，与脸部轮廓重合了，说明没有耳朵；设阈值δ，当fit_error＞δ时，判定为有耳朵，否则无耳朵；

2)提取耳朵

通过步骤1)中的方法判断耳朵有无后，对于没有耳朵的证件照不作处理，直接返回；对于有耳朵的证件照，使用基于动态规划的脸部轮廓线提取方法提取到耳朵与脸庞之间的轮廓线，从而精确提取耳朵，该方法详细描述如下：

脸部轮廓线是一条从上到下连续的曲线，用C表示，C由耳朵矩形区域中每行一个像素点构成，且相邻行的像素点之间连续；设耳朵矩形区域大小为n×m，且设i∈[1,n]表示行数，x是一个映射x:[1,n]→[1,m]，x(i)表示第i行上的列数，则C表示为：

$C={\left\{c_i\right\}}_{i=1}^n={\{x\left(i\right),i\}}_{i=1}^n,s.t.\∀i,|x\left(i\right)-x(i-1)|\≤1---\left(2\right)$

其中，c_i＝(x(i),i)是C的第i个点；

定义脸部轮廓线为所有可能的C中梯度最大的一条：

$C^{*}=\arg \underset{C}{\max }G\left(C\right)=\arg \underset{C}{\max }\underset{i}{\Σ}g\left(c_i\right)---\left(3\right)$

其中，g(c_i)是点c_i的梯度，G(C)是C上所有点的梯度之和；通过动态规划算法求解公式(3)；定义M(i,j)为点(i,j)的能量，如公式(4)所示，

$M(i,j)=\left\{\begin{array}{cc}g(i,j),& i=1\\ g(i,j)+\max \{M(i-1,j-1),M(i-1,j),M(i-1,j+1)\},& otherwise\end{array}\right.---\left(4\right)$

其中，j∈[1,m]是列的索引，g(i,j)是点(i,j)的梯度。设则从点(n,j^*)回溯可得C^*；

提出基于梯度和抛物线引导的动态规划算法找到最佳曲线，如公式(5)所示，此时点c_i的能量不仅包括梯度g(c_i)，还包括该点的局部抛物线拟合误差e(c_i)，因此，

$C^{*}=\arg \underset{C}{\max }\underset{i}{\Σ}\left({\mathrm{\λ}}_{1}g\right(c_i)+{\mathrm{\λ}}_{2}e(c_i\left)\right)---\left(5\right)$

采用如下方法定义局部抛物线拟合误差e(c_i)，曲线C由离散点构成，为计算点c_i的局部抛物线拟合误差e(c_i)，首先取c_i以下局部20个点，并采用RANSAC方法拟合这些点得到局部抛物线，设该局部抛物线与第i行的交点和点c_i之间的距离为d，则e(c_i)定义为：

$e\left(c_i\right)=1-{\left(\frac{d}{3}\right)}^2---\left(6\right)$

同样地，也能够采用动态规划算法求解公式(5)；对于当前点(i,j)，经过它的最优曲线仅可能是以点(i-1,j-1)，(i-1,j)或(i,j+1)开头的三条曲线之一；分别计算点(i,j)相对于三条曲线的局部抛物线拟合误差和则公式(4)变为：

$M(i,j)=\left\{\begin{array}{cc}g(i,j),& i=1\\ g(i,j)+\max \{M(i-1,j-1),M(i-1,j),M(i-1,j+1)\},& i\≤20\\ g(i,j)+\max \{{\mathrm{\λ}}_{1}M(i-1,j-1)+{\mathrm{\λ}}_2\tilde{e}(i-1,j-1),& \\ {\mathrm{\λ}}_{1}M(i-1,j)+{\mathrm{\λ}}_2\tilde{e}(i-1,j),& \\ {\mathrm{\λ}}_{1}M(i-1,j+1)+{\mathrm{\λ}}_2\tilde{e}(i-1,j+1)\},& otherwise\end{array}\right.---\left(7\right)$

公式(5)和(7)中，λ₁和λ₂是平衡梯度项和抛物线引导项的参数。

本发明与现有技术相比，具有如下优点与有益效果：

1、克服了已有的只能检测从侧面拍摄到的耳朵的方法的局限性，提出了正面头像的耳朵检测和提取方法，可应用于证件照姿态的合格度判断中，减少处理证件照的成本。

2、不同于已有的机器学习和模式识别方法，本发明从耳朵轮廓的几何形状特征出发，另辟蹊径，提出了基于皮肤外轮廓抛物线拟合的方法，来检测耳朵有无；另外，提出了基于动态规划的脸部轮廓线提取方法，来提取到耳朵与脸庞之间的轮廓线，从而精确提取耳朵。

3、本发明对算法各个阶段的参数进行了详细的分析，找到了最佳的参数值。大量的实验证明本发明提出的方法十分有效，满足手机证件照自拍软件的应用需求。

附图说明

图1为本发明的整个算法流程图。

图2为本发明的头部左右偏斜判断方法示意，通过双眼连线与水平线之间的夹角来判断。

图3为本发明的头部旋转偏斜判断方法示意，通过双眼与鼻子的连线和竖直方向的夹角之差来判断。

图4为本发明的头部上下偏斜判断方法示意，通过鼻子到脸中心的竖直距离来判断。

图5为本发明的耳朵矩形区域定位过程示意。

图6为本发明的皮肤外轮廓示意图，即皮肤区域与非皮肤区域的分界线。

图7为本发明的拟合皮肤外轮廓的示意图。使用皮肤外轮廓上的采样点，拟合得到抛物线。

图8为本发明的拟合皮肤外轮廓的一些结果的展示。其中，第一行是耳朵矩形区域，第二行是皮肤外轮廓，第三行是皮肤外轮廓拟合的抛物线，最后一行是拟合误差。

图9为本发明的仅基于梯度的动态规划算法提取的脸部轮廓线。

图10为本发明的基于梯度和抛物线引导的动态规划算法提取的脸部轮廓线。

图11为本发明在脸部轮廓线提取中的抛物线引导示意之一。通过图11中的d，可计算得到局部抛物线的拟合误差。

图12为本发明在脸部轮廓线提取中的抛物线引导示意之二。图12示意了局部抛物线引导的动态规划。

图13为本发明的基于梯度和抛物线引导的脸部轮廓线提取的一些结果展示。其中，第一行是耳朵矩形区域，第二行是提取的脸部轮廓线。

图14为本发明的关于耳朵提取的一些结果展示。其中，第一行是耳朵矩形区域，第二行是提取的脸部轮廓线，第三行是对应提取到的耳朵。

图15为本发明算法的平均运行时间。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

本实施例所述的基于脸部轮廓分析的证件照耳朵检测与提取方法，其具体情况如下：

给定一张人像照片，通过分析脸部轮廓线的形状，来检测该张照片的耳朵是否被遮挡，进而判断该张照片是否可以经过基本处理后，如裁剪、抠图、替换背景等，来作为证件照使用，更进一步，将耳朵提取出来，通过耳朵面积大小等量的判定，来判断耳朵是否被遮挡。

本发明克服了已有的只能检测从侧面拍摄到的耳朵的方法的局限性，通过对脸部轮廓形状的分析，提出了正面头像的耳朵检测和提取方法，可应用于证件照姿态的合格度判断中，减少处理证件照的成本。

本发明的基本算法流程图如图1所示，包含三个阶段。预处理阶段筛选出头像姿态端正的证件照，并提取包含耳朵的矩形区域，以及计算该矩形区域内的皮肤部分得到皮肤外轮廓；第二阶段使用抛物线拟合皮肤外轮廓，若拟合误差过大则说明有耳朵，否则无耳朵；第三阶段对存在耳朵的证件照进行耳朵的精确提取操作，基本思路是提出基于梯度和抛物线引导的动态规划算法跟踪脸部轮廓线，脸部轮廓线能分割耳朵和脸部皮肤区域，从而实现耳朵区域的有效提取。

预处理阶段：姿态端正的证件照筛选，以及耳朵矩形区域的提取

证件照本身要求头部端正，眼睛平视前方。另外，头部姿态端正也有利于耳朵的提取。因此，需要首先筛选出头部端正的证件照。采用排除法，头部不端正包括三种情况：头部左右偏斜、头部旋转偏斜，和头部上下偏斜。

先使用OpenCV中HAAR级联分类器识别出证件照的人脸矩形区域和鼻子位置，然后用Timm等人提出的瞳孔定位方法[Timm F；Barth E.Accurate Eye Centre Localisationby Means of Gradients.VISAPP.2011,11:125-130.]定位眼睛的位置。得到以上信息后，再利用人脸五官的位置关系来判断头部是否偏斜。

对于头部左右偏斜，眼睛不在同一水平线，可以根据两只眼睛的连线与水平线之间的夹角来判断是否偏斜，当夹角大于3.5度时判定头部左右偏斜，如图2所示；对于头部旋转偏斜，一只耳朵露出较多，另一只耳朵被遮挡。可以计算两只眼睛与鼻子的连线和竖直方向的夹角之差，当大于8度时判定头部旋转偏斜，如图3所示；对于头部上下偏斜，即发生抬头或低头的情况。先计算鼻子到脸中心的竖直距离，并对该距离做归一化处理，即实际距离除以人脸矩形区域的高，如图4所示，当距离小于0.07时判定头部上下偏斜。

筛选得到头部不偏斜的证件照之后，为了识别和提取耳朵，首先需要定位包含耳朵的矩形区域。找到耳朵矩形区域后，能有效缩小耳朵检测和提取的操作范围，从而提高准确率和效率。

给定一张头部端正的证件照，首先采用OpenCV中HAAR级联分类器检测人脸矩形区域并定位眼睛的位置，设人脸矩形区域的宽度为W，高度为H。然后通过人的眼睛和耳朵之间的位置关系，提取包含耳朵的矩形区域。通过实验发现，左耳矩形区域的左上角可定在：左眼向左平移W/2，并向上平移H/10的位置，而耳朵矩形区域大小则可定为：宽W/4，高H/2，同理可提取右耳矩形区域。如图5所示，即为耳朵矩形区域定位过程。

第二阶段：基于拟合皮肤外轮廓的耳朵有无判断

通过预处理阶段，已经找到耳朵矩形区域，并得到该区域的皮肤区域，在该阶段，本发明将基于拟合皮肤外轮廓来判断是否存在耳朵。首先定义皮肤外轮廓为皮肤区域与非皮肤区域的分界线，如图6所示。经过大量观察发现，有耳朵时皮肤外轮廓的形状通常较为弯曲和不规则，而没有耳朵时，皮肤外轮廓较平滑，能由抛物线较好地拟合。因此，本发明采用抛物线拟合皮肤外轮廓，拟合误差小说明无耳朵，否则说明有耳朵。

在拟合方法上，选择了RANSAC方法[Fischler M.A.and Bolles R.C.RandomSample Consensus:A Paradigm for Model Fitting with Applications to ImageAnalysis and Automated Cartography.Communications of the ACM.1981,24(6):381–395.]。拟合过程如图7所示。首先在皮肤外轮廓上均匀地采样样本点，设p_i(x_i,y_i)是第i个样本点，构成样本点集合S＝{p₁,p₂,...,p_N}，N是样本点个数。定义要拟合的抛物线方程为y＝ax²+bx+c，其中a、b、c是抛物线参数。RANSAC方法能迭代求解a、b、c，从而拟合得到抛物线。之后，本发明通过公式(1)计算拟合误差。

$fit\_error=1-\frac{\#consensus\_set}{\#S}---\left(1\right)$

其中consensus_set表示适应于拟合出来的抛物线的样本点的集合，S是采样得到的样本点集合，#是计数符号。当拟合误差很大时，皮肤外轮廓不能很好地由抛物线拟合，说明有耳朵；而当拟合误差很小时，皮肤外轮廓可以由抛物线拟合得到，与脸部轮廓重合了，说明没有耳朵。设阈值δ，当fit_error＞δ时，判定为有耳朵，否则无耳朵，本发明测得δ的最佳值是0.21。

如图8所示，是更多的使用抛物线拟合皮肤外轮廓的结果展示，同时也给出了拟合的误差。

第三阶段：基于动态规划的脸部轮廓线提取，并提取耳朵

判断耳朵有无后，对于没有耳朵的证件照不作处理，直接返回；对于有耳朵的证件照，本发明提供了基于动态规划的脸部轮廓线提取方法提取到耳朵与脸庞之间的轮廓线，从而精确提取耳朵。

从数学的角度，脸部轮廓线是一条从上到下连续的曲线，用C表示，C由耳朵矩形区域中每行一个像素点构成，且相邻行的像素点之间连续；设耳朵矩形区域大小为n×m，且设i∈[1,n]表示行数，x是一个映射x:[1,n]→[1,m]，x(i)表示第i行上的列数，则C表示为：

$C={\left\{c_i\right\}}_{i=1}^n={\{x\left(i\right),i\}}_{i=1}^n,s.t.\∀i,|x\left(i\right)-x(i-1)|\≤1---\left(2\right)$

其中，c_i＝(x(i),i)是C的第i个点。

人类一眼可以看出脸部轮廓线的位置，原因是脸部轮廓线的梯度通常较大，直观地，可定义脸部轮廓线为所有可能的C中梯度最大的一条：

$C^{*}=\arg \underset{C}{\max }G\left(C\right)=\arg \underset{C}{\max }\underset{i}{\Σ}g\left(c_i\right)---\left(3\right)$

其中，g(c_i)是点c_i的梯度，G(C)是C上所有点的梯度之和。通过动态规划算法求解公式(3)，定义M(i,j)为点(i,j)的能量，如公式(4)所示，

$M(i,j)=\left\{\begin{array}{cc}g(i,j)& i=1\\ g(i,j)+\max \{M(i-1,j-1),M(i-1,j),M(i-1,j+1)\},& otherwise\end{array}\right.---\left(4\right)$

其中，j∈[1,m]是列的索引，g(i,j)是点(i,j)的梯度。设则从点(n,j^*)回溯可得C^*。

图9展示了仅基于梯度的动态规划算法找到的脸部轮廓线，效果并不理想，因为容易被其它梯度较大区域干扰，例如皮肤外轮廓或头发引起的梯度变化。观察到人类脸部轮廓线是光滑曲线，且能被抛物线较好地拟合，梯度大同时又像抛物线的曲线C是脸部轮廓线，基于此，本发明提出了基于梯度和抛物线引导的动态规划算法找到最佳曲线，如公式(5)所示，此时点c_i的能量不仅包括梯度g(c_i)，还包括该点的局部抛物线拟合误差e(c_i)，

$C^{*}=\arg \underset{C}{\max }\underset{i}{\Σ}\left({\mathrm{\λ}}_{1}g\right(c_i)+{\mathrm{\λ}}_{2}e(c_i\left)\right)---\left(5\right)$

采用如下方法定义局部抛物线拟合误差e(c_i)。如图11所示，曲线C由离散点构成，为计算点c_i(蓝色)的局部抛物线拟合误差e(c_i)，首先取c_i以下局部20个点(即红色点)，然后采用RANSAC方法拟合这些点得到局部抛物线(即黄色曲线)，设该局部抛物线与第i行的交点和点c_i之间的距离为d，则e(c_i)定义为：

$e\left(c_i\right)=1-{\left(\frac{d}{3}\right)}^2---\left(6\right)$

同样地，可以采用动态规划算法求解公式(5)。如图12所示，对于当前点(i,j)，经过它的最优曲线仅可能是以点(i-1,j-1)，(i-1,j)或(i,j+1)开头的三条曲线之一；分别计算点(i,j)相对于三条曲线的局部抛物线拟合误差和则公式(4)变为：

$M(i,j)=\left\{\begin{array}{cc}g(i,j),& i=1\\ g(i,j)+\max \{M(i-1,j-1),M(i-1,j),M(i-1,j+1)\},& i\≤20\\ g(i,j)+\max \{{\mathrm{\λ}}_{1}M(i-1,j-1)+{\mathrm{\λ}}_2\tilde{e}(i-1,j-1),& \\ {\mathrm{\λ}}_{1}M(i-1,j)+{\mathrm{\λ}}_2\tilde{e}(i-1,j),& \\ {\mathrm{\λ}}_{1}M(i-1,j+1)+{\mathrm{\λ}}_2\tilde{e}(i-1,j+1)\},& otherwise\end{array}\right.---\left(7\right)$

公式(5)和(7)中，λ₁和λ₂是平衡梯度项和抛物线引导项的参数，通过大量实验，分别取0.7和0.3为最优。图10展示了采用本发明提出的基于梯度和抛物线引导的动态规划算法找到的脸部轮廓线。从图中可以看到，找到的曲线与真实的脸部轮廓线匹配得很好。图13展示了更多的脸部轮廓线提取的例子。

提取到脸部轮廓线以后，通过脸部轮廓线可以分割耳朵与脸部皮肤区域的事实，本发明精确分割出耳朵，如图14中第三行所示，是耳朵精确分割的结果。

图15为本发明的各阶段平均运行时间。

以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (1)

1.一种基于脸部轮廓分析的证件照耳朵检测与提取方法，其特征在于，包括以下内容：

1)检测耳朵的有无

给定一张姿态端正的证件照，基于皮肤外轮廓抛物线拟合的方法来检测耳朵是否被遮挡，该方法详细描述如下：

通过眼睛定位和眼睛与耳朵的位置关系，提取到包含耳朵的耳朵矩形区域后，检测该区域中的皮肤，从而得到皮肤外轮廓；通过观察大量的证件照发现，有耳朵时皮肤外轮廓的形状通常较为弯曲和不规则，而没有耳朵时，皮肤外轮廓较平滑，能由抛物线较好地拟合；因此，采用抛物线拟合皮肤外轮廓，拟合误差小说明无耳朵，否则说明有耳朵；

在拟合的方法上，选择了RANSAC方法，首先，在皮肤外轮廓上均匀地采样样本点，设p_i(x_i,y_i)是第i个样本点，构成样本点集合S＝{p₁,p₂,...,p_N}，N是样本点个数，定义要拟合的抛物线方程为y＝ax²+bx+c，其中a、b、c是抛物线参数；RANSAC方法能迭代求解a、b、c，拟合误差由公式(1)计算：

$fit\_error=1-\frac{\#consensus\_set}{\#S}---\left(1\right)$

其中，consensus_set表示适应于拟合出来的抛物线的样本点的集合，S是采样得到的样本点集合，#是计数符号；当拟合误差很大时，皮肤外轮廓不能很好地由抛物线拟合，说明有耳朵；而当拟合误差很小时，皮肤外轮廓能够由抛物线拟合得到，与脸部轮廓重合了，说明没有耳朵；设阈值δ，当fit_error＞δ时，判定为有耳朵，否则无耳朵；

2)提取耳朵

通过步骤1)中的方法判断耳朵有无后，对于没有耳朵的证件照不作处理，直接返回；对于有耳朵的证件照，使用基于动态规划的脸部轮廓线提取方法提取到耳朵与脸庞之间的轮廓线，从而精确提取耳朵，该方法详细描述如下：

脸部轮廓线是一条从上到下连续的曲线，用C表示，C由耳朵矩形区域中每行一个像素点构成，且相邻行的像素点之间连续；设耳朵矩形区域大小为n×m，且设i∈[1,n]表示行数，x是一个映射x:[1,n]→[1,m]，x(i)表示第i行上的列数，则C表示为：

$C={\left\{c_i\right\}}_{i=1}^n={\{x\left(i\right),i\}}_{i=1}^n,s.t.\∀i,|x\left(i\right)-x(i-1)|\≤1---\left(2\right)$

其中，c_i＝(x(i),i)是C的第i个点；

定义脸部轮廓线为所有可能的C中梯度最大的一条：

$C^{*}=\arg \underset{C}{max}G\left(C\right)=\arg \underset{C}{max}\underset{i}{\Σ}g\left(c_i\right)---\left(3\right)$

其中，g(c_i)是点c_i的梯度，G(C)是C上所有点的梯度之和；通过动态规划算法求解公式(3)；定义M(i,j)为点(i,j)的能量，如公式(4)所示，

$M(i,j)=\left\{\begin{array}{cc}g(i,j),& i=1\\ g(i,j)+\max \{M(i-1,j-1),M(i-1,j),M(i-1,j+1)\},& otherwise\end{array}\right.---\left(4\right)$

其中，j∈[1,m]是列的索引，g(i,j)是点(i,j)的梯度。设则从点(n,j^*)回溯可得C^*；

提出基于梯度和抛物线引导的动态规划算法找到最佳曲线，如公式(5)所示，此时点c_i的能量不仅包括梯度g(c_i)，还包括该点的局部抛物线拟合误差e(c_i)；

$C^{*}=\arg \underset{C}{max}\underset{i}{\Σ}\left({\mathrm{\λ}}_{1}g\right(c_i)+{\mathrm{\λ}}_{2}e(c_i\left)\right)---\left(5\right)$

采用如下方法定义局部抛物线拟合误差e(c_i)，曲线C由离散点构成，为计算点c_i的局部抛物线拟合误差e(c_i)，首先取c_i以下局部20个点，并采用RANSAC方法拟合这些点得到局部抛物线，设该局部抛物线与第i行的交点和点c_i之间的距离为d，则e(c_i)定义为：

$e\left(c_i\right)=1-{\left(\frac{d}{3}\right)}^2---\left(6\right)$

同样地，也能够采用动态规划算法求解公式(5)；对于当前点(i,j)，经过它的最优曲线仅可能是以点(i-1,j-1)，(i-1,j)或(i,j+1)开头的三条曲线之一；分别计算点(i,j)相对于三条曲线的局部抛物线拟合误差和则公式(4)变为：

$M(i,j)=\left\{\begin{array}{cc}g(i,j),& i=1\\ g(i,j)+\max \{M(i-1,j-1),M(i-1,j),M(i-1,j+1)\},& i\≤20\\ g(i,j)+\max \{{\mathrm{\λ}}_{1}M(i-1,j-1)+{\mathrm{\λ}}_2\tilde{e}(i-1,j-1),& \\ {\mathrm{\λ}}_{1}M(i-1,j)+{\mathrm{\λ}}_2\tilde{e}(i-1,j),& \\ {\mathrm{\λ}}_{1}M(i-1,j+1)+{\mathrm{\λ}}_2\tilde{e}(i-1,j+1)\},& otherwise\end{array}\right.---\left(7\right)$

公式(5)和(7)中，λ₁和λ₂是平衡梯度项和抛物线引导项的参数。