CN104637031B - 眼部图像处理方法和装置 - Google Patents
眼部图像处理方法和装置 Download PDFInfo
- Publication number
- CN104637031B CN104637031B CN201310559822.9A CN201310559822A CN104637031B CN 104637031 B CN104637031 B CN 104637031B CN 201310559822 A CN201310559822 A CN 201310559822A CN 104637031 B CN104637031 B CN 104637031B
- Authority
- CN
- China
- Prior art keywords
- abnormal
- ocular
- candidate
- eye
- abnormal ocular
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000001508 eye Anatomy 0.000 title claims abstract description 465
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000002159 abnormal effect Effects 0.000 claims abstract description 650
- 238000012545 processing Methods 0.000 claims abstract description 80
- 210000004279 orbit Anatomy 0.000 claims description 361
- 241001263038 Viguiera Species 0.000 claims description 38
- 201000005111 ocular hyperemia Diseases 0.000 claims description 36
- 208000024754 bloodshot eye Diseases 0.000 claims description 34
- 230000011218 segmentation Effects 0.000 claims description 27
- 230000009467 reduction Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000003672 processing method Methods 0.000 claims description 5
- 241000208340 Araliaceae Species 0.000 claims description 4
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 4
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 4
- 235000008434 ginseng Nutrition 0.000 claims description 4
- 102000016550 Complement Factor H Human genes 0.000 claims 1
- 108010053085 Complement Factor H Proteins 0.000 claims 1
- 230000000694 effects Effects 0.000 description 21
- 238000003860 storage Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 8
- 238000004040 coloring Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000008030 elimination Effects 0.000 description 4
- 238000003379 elimination reaction Methods 0.000 description 4
- 230000000877 morphologic effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 241000534672 Hiodon alosoides Species 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 241000894007 species Species 0.000 description 3
- 241000593989 Scardinius erythrophthalmus Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000002845 discoloration Methods 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 239000010931 gold Substances 0.000 description 2
- 229910052737 gold Inorganic materials 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 241001146702 Candidatus Entotheonella factor Species 0.000 description 1
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 241001300078 Vitrea Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 230000001002 morphogenetic effect Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Classifications
-
- G06T5/77—
-
- G06T5/94—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30216—Redeye defect
Abstract
本发明实施例提供了一种眼部图像处理方法和装置，该方法包括：确定图像的眼眶区域；获取该眼眶区域的第一掩膜图像；根据该第一掩膜图像确定该眼眶区域的至少一个第一异常区域；根据该第一掩膜图像对应的异常眼部区域判断条件确定该至少一个第一异常区域中的第一候选异常眼部区域，其中该第一候选异常眼部区域满足该第一掩膜图像对应的异常眼部区域判断条件中的所有判断条件；当该第一候选异常眼部区域的置信度大于第七预定值时确定该第一候选异常眼部区域为该眼眶区域的异常眼部区域。本发明实施例的方法和装置能够更准确地定位眼部图像的异常眼部区域，为异常眼部的处理提供了准确的位置信息。
Description
技术领域
本发明实施例涉及图像处理领域，更具体地，涉及一种眼部图像处理方法和装置。
背景技术
在光线较暗的环境中，人眼瞳孔会放大让更多的光线通过。如果拍摄时打开了闪光灯，眼底视网膜上毛细血管就会被拍摄下来，根据不同的镜头和拍摄场景，拍摄出的照片会出现不同的颜色（常见如红色、金色、白色等），称为红眼/金眼现象。
对于常见的手机、数码相机，由于“镜头”与“闪光灯”常常靠的很近，也就更容易产生“红眼现象”。一般通过闪光灯的预闪来抑制红眼，缺陷是不利于抓拍，并且消除效果有限。
由于红眼/金眼大多在低光照场景下拍摄，拍摄的红眼/金眼情况千差万别，例如由于化妆等原因会使得眼皮呈现红色，戴眼镜等原因会使得眼镜片出现金色反光，眼白呈现类金眼等情况，利用简单阈值排除方法不能彻底排除非红眼/金眼区域，还有可能造成误消除。
发明内容
本发明实施例提供一种眼部图像处理方法和装置，能够更准确地定位眼部图像的异常眼部区域。
第一方面，提供了一种眼部图像处理方法，该方法包括：确定输入图像的眼眶区域；获取该眼眶区域的第一掩膜图像，其中，该第一掩膜图像为金眼掩膜图像或红眼掩膜图像，该第一掩膜图像为二值掩膜图像；根据该第一掩膜图像确定该眼眶区域的至少一个第一异常区域；根据该第一掩膜图像对应的异常眼部区域判断条件确定该至少一个第一异常区域中的第一候选异常眼部区域，其中该第一候选异常眼部区域满足该第一掩膜图像对应的异常眼部区域判断条件中的所有判断条件，该第一掩膜图像对应的异常眼部区域判断条件包括以下至少一个条件：该第一候选异常眼部区域的像素个数大于第一预定值，该第一候选异常眼部区域的圆度大于第二预定值且该第一候选异常眼部区域的圆度小于第三预定值，该第一候选异常眼部区域的原始半径大于第四预定值，该第一候选异常眼部区域的填充度大于第五预定值，该第一候选异常眼部区域与该眼眶区域的像素比大于第六预定值，其中第一预定值为一个正整数，第二预定值为一个小于1的正数，第三预定值为一个大于1的正数，该第四预定值为一个正数，该第五预定值为一个正数，该第六预定值为一个正数；当该第一候选异常眼部区域的置信度大于第七预定值时，确定该第一候选异常眼部区域为该眼眶区域中的异常眼部区域，该第一候选异常眼部区域的置信度由该第一候选异常眼部区域的填充度和该眼眶区域的亮度特征确定。
结合第一方面，在第一种可能的实现方式中，该方法还包括：当该异常眼部区域未被找到时，获取该眼眶区域的第二掩膜图像，该第二掩膜图像为金眼掩膜图像或红眼掩膜图像，该第二掩膜图像为二值掩膜图像，该第二掩膜图像不同于该第一掩膜图像；根据该第二掩膜图像确定该眼眶区域的至少一个第二异常区域；根据该第二掩膜图像对应的异常眼部区域判断条件确定该至少一个第二异常区域中的第二候选异常眼部区域，其中该第二候选异常眼部区域满足该第二掩膜图像对应的异常眼部区域判断条件中的所有判断条件，该第二掩膜图像对应的异常眼部区域判断条件包括以下至少一个条件：该第二候选异常眼部区域的像素个数大于第八预定值，该第二候选异常眼部区域的圆度大于第九预定值且该第二候选异常眼部区域的圆度小于第十预定值，该第二候选异常眼部区域的原始半径大于第十一预定值，该第二候选异常眼部区域的填充度大于第十二预定值，该第二候选异常眼部区域与该眼眶区域的像素比大于第十三预定值，其中第八预定值为一个正整数，第九预定值为一个小于1的正数，第十预定值为一个大于1的正数，该第十一预定值为一个正数，该第十二预定值为一个正数，该第十三预定值为一个正数；当该第二候选异常眼部区域的置信度大于第十四预定值时，确定该第二候选异常眼部区域为该眼眶区域中的异常眼部区域。
结合第一方面或第一方面的第一种可能的实现方式，在第二种可能的实现方式中，具体实现为：该第一候选异常眼部区域的置信度s用以下公式确定：s=c+β*gray，其中，β表示该眼眶区域的亮度特征在该置信度中的比例因子，gray表示该眼眶区域的亮度特征，gray=（α*gray4-gray2）/（α*gray4），c表示该第一候选异常眼部区域的填充度，c=sp/（π*radius*radius），其中，gray4表示该眼眶区域的平均亮度，α表示该眼眶区域的平均亮度在该眼眶区域的亮度特征的比例因子，gray2表示该第一候选异常眼部区域以外预定个像素范围以内的区域的平均亮度，或者gray2表示该第一候选异常眼部区域以外预定个像素范围以内的若干个参考点的平均亮度，sp表示该第一候选异常眼部区域的像素个数，radius表示该第一候选异常眼部区域的原始半径。
结合第一方面或第一方面的第一种可能的实现方式或第一方面的第二种可能的实现方式，在第三种可能的实现方式中，获取该眼眶区域的第一掩膜图像具体实现为：获取该眼眶区域的亮度信息；根据该眼眶区域的亮度信息获取该眼眶区域的边缘强度图像；对该边缘强度图像进行二值聚类分割以获取该眼眶区域的第一掩膜图像。
结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，根据该眼眶区域的亮度信息获取该眼眶区域的边缘强度图像具体实现为，对该眼眶区域进行高斯模糊处理，根据同性sobel算子对该进行高斯模糊处理后的眼眶区域进行soble边缘强度提取以获取该眼眶区域的边缘强度图像；对该边缘强度图像进行二值聚类分割以获取该眼眶区域的第一掩膜图像具体实现为：获取使得该眼眶区域的边缘强度图像按阈值分成两类后类间方差最大的第一阈值，将小于第一阈值的边缘强度设为第一阈值，并获取使得该眼眶区域的边缘强度图像按阈值分成两类后类间方差最大的第二阈值，并根据该第二阈值对该眼眶区域的边缘强度图像进行二值化以获取该眼眶区域的第一掩膜图像，其中边缘强度小于第二阈值的像素的掩膜图像信息取值为0，边缘强度大于或等于第二阈值的像素的掩膜图像信息取值为1。
结合第一方面的第三种可能的实现方式或第一方面的第四种可能的实现方式，在第五种可能的实现方式中，该方法还包括：如果该异常眼部区域的原始半径的值大于该眼眶区域中异常眼部区域的最小经验半径乘以第一预定系数后的值，则从该异常眼部区域之外选择至少一个候选参考点；根据该至少一个候选参考点中部分或全部候选参考点的YUV数据确定该异常眼部区域的参考点的YUV参考值；如果该参考点的YUV参考值对应的像素不是红色像素，则根据该参考点的YUV参考值调整该异常眼部区域的外亮点区域，根据该异常眼部区域的内亮点区域的亮度平均值调整该异常眼部区域的内亮点区域，其中该内亮点区域以该异常眼部区域的中心点为圆心，以该异常眼部区域的最佳亮点半径为半径，该外亮点区域为该异常眼部区域中该内亮点区域以外的区域；对该异常眼部区域进行平滑处理。
结合第一方面的第五种可能的实现方式，在第六种可能的实现方式中，具体实现为：该眼眶区域中异常眼部区域的最小经验半径由以下公式minRad=width/50+2确定，其中，minRad表示该眼眶区域中异常眼部区域的最小经验半径，width表示该眼眶区域的宽度。
结合第一方面的第五种可能的实现方式或第一方面的第六种可能的实现方式，在第七种可能的实现方式中，具体实现为：该第一预定系数取值为1.25。
结合第一方面或第一方面的第一种可能的实现方式或第一方面的第二种可能的实现方式，在第八种可能的实现方式中，获取该眼眶区域的第一掩膜图像具体实现为：获取该眼眶区域的RGB信息；根据该眼眶区域的RGB信息对该眼眶区域进行二值分割以获取该眼眶区域的第一掩膜图像。
结合一方面的第八种可能的实现方式，在第九种可能的实现方式中，根据该眼眶区域的RGB信息对该眼眶区域进行二值分割以获取该眼眶区域的第一掩膜图像具体实现为：将该眼眶区域中的红色像素对应的掩膜图像信息置为1，该眼眶区域中红色像素以外的像素对应的掩膜图像信息置为0，从而形成该第一掩膜图像。
结合第一方面的第八种可能的实现方式或第一方面的第九种可能的实现方式，在第十种可能的实现方式中，该方法还包括：从该异常眼部区域以外选择至少一个候选参考点；根据该至少一个候选参考点中部分或全部候选参考点的YUV数据确定该异常眼部区域的参考点的YUV参考值；如果该参考点的YUV参考值符合预定的条件，则根据该参考点的YUV参考值调整该异常眼部区域的外亮点区域，根据该异常眼部区域的内亮点区域的亮度平均值调整该异常眼部区域的内亮点区域，或者如果该参考点的YUV参考值不符合预定的条件，则将该异常眼部区域的外亮点区域从YUV空间转换为HSV空间，并根据渐变因子调低该外亮点区域的像素在HSV空间的亮度H值，然后根据该异常眼部区域的内亮点区域像素的亮度平均值调整该异常眼部区域的内亮点区域，该渐变因子随着该外亮点区域的像素与该异常眼部区域中心的距离的减小而减小；对该异常眼部区域进行平滑处理；其中，该内亮点区域以该异常眼部区域的中心点为圆心，以该异常眼部区域的最佳亮点半径为半径，该外亮点区域为该异常眼部区域中该内亮点区域以外的区域，该预定的条件为：该参考点的YUV参考值对应的像素是红色像素，并且该参考点的YUV亮度值乘以第二预定系数后的值小于该异常眼部区域的中间亮度值，并且该异常眼部区域的亮度平均值小于预定亮度值。
结合第一方面的第十种可能的实现方式，在第十一种可能的实现方式中，具体实现为：该第二预定系数取值为0.9，该预定亮度值取值为115。
结合第一方面的第十种可能的实现方式，在第十二种可能的实现方式中，具体实现为该渐变因子factor用以下公式确定：factor=（fMax-fMin）*（distance-a*radius）/（radius-a*radius）+fMin，其中radius表示该异常眼部区域的原始半径，distance表示该外亮点区域的像素到该异常眼部区域中心的距离，fMax表示factor的最大值，fMin表示factor的最小值，a表示该渐变因子的距离系数。
结合第一方面的第十二种可能的实现方式，在第十三种可能的实现方式中，具体实现为，该渐变因子公式具体为factor=（0.4-0.1）*（distance–0.25*radius）/（radius–0.25*radius）+0.1，其中，fMax取值为0.4，fMin取值为0.1，a取值为0.25。
结合第一方面的第五种可能的实现方式或第一方面的第十种可能的实现方式，在第十四种可能的实现方式中，具体实现为，异常眼部区域的最佳亮点半径optR用以下公式确定：optR=（maxR-minR）*（eyedistance-100）/400+minR，其中，maxR表示估算出的该异常眼部区域的最佳亮点半径的最大值，minR表示估算出的该异常眼部区域的最佳亮点半径的最小值，eyedistance表示该输入图像中两个眼睛中心的距离。
结合第一方面的第五种可能的实现方式或第一方面的第十种可能的实现方式，在第十五种可能的实现方式中，根据该至少一个候选参考点中部分或全部候选参考点的YUV数据确定该异常眼部区域的参考点的YUV参考值具体实现为：获取该至少一个候选参考点中部分或全部候选参考点的YUV数据的平均值；如果该平均值对应的亮度值大于预定的阈值，则确定预定的参考值作为该异常眼部区域的参考点的参考值，否则以该平均值作为该异常眼部区域的参考点的参考值。
结合第一方面的第九种可能的实现方式，在第十六种可能的实现方式中，具体实现为，该红色像素的RGB满足以下条件：max（r，g，b）>th1，且max（r，g，b）-g>th2，且max（r，g，b）/g>th3，其中，r表示RGB的三个颜色分量中的红色分量，g表示RGB的三个颜色分量中的绿色分量，b表示RGB的三个颜色分量中蓝色分量，th1、th2、th3分别表示红色像素的3个预定值；或者该红色像素的RGB满足以下条件：r2/(g2+b2+th4)>th5，且r>th6，其中，r表示RGB的三个颜色分量中的红色分量，g表示RGB的三个颜色分量中的绿色分量，b表示RGB的三个颜色分量中蓝色分量，th4、th5、th6分别表示红色像素判定的3个预定值。
第二方面，提供了一种图形处理装置，该装置包括：确定单元，用于确定输入图像的眼眶区域；获取单元，用于获取该眼眶区域的第一掩膜图像，并根据该第一掩膜图像确定该眼眶区域的至少一个第一异常区域，其中该第一掩膜图像为金眼掩膜图像或红眼掩膜图像，该第一掩膜图像为二值掩膜图像；该确定单元还用于根据该第一掩膜图像对应的异常眼部区域判断条件确定该至少一个第一异常区域中的第一候选异常眼部区域，其中该第一候选异常眼部区域满足该第一掩膜图像对应的异常眼部区域判断条件中的所有判断条件，该第一掩膜图像对应的异常眼部区域判断条件包括以下至少一个条件：该第一候选异常眼部区域的像素个数大于第一预定值，该第一候选异常眼部区域的圆度大于第二预定值且该第一候选异常眼部区域的圆度小于第三预定值，该第一候选异常眼部区域的原始半径大于第四预定值，该第一候选异常眼部区域的填充度大于第五预定值，该第一候选异常眼部区域与该眼眶区域的像素比大于第六预定值，其中第一预定值为一个正整数，第二预定值为一个小于1的正数，第三预定值为一个大于1的正数，该第四预定值为一个正数，该第五预定值为一个正数，该第六预定值为一个正数；该确定单元还用于当该第一候选异常眼部区域的置信度大于第七预定值时确定该第一候选异常眼部区域为该眼眶区域中的异常眼部区域，该第一候选异常眼部区域的置信度由该第一候选异常眼部区域的填充度和该眼眶区域的亮度特征确定。
结合第二方面，在第一种可能的实现方式中，具体实现为：该获取单元还用于当该异常眼部区域未被找到时，获取该眼眶区域的第二掩膜图像，并根据该第二掩膜图像确定该眼眶区域的至少一个第二异常区域，其中该第二掩膜图像为金眼掩膜图像或红眼掩膜图像，该第二掩膜图像为二值掩膜图像，该第二掩膜图像不同于该第一掩膜图像；该确定单元还用于根据该第二掩膜对应的异常眼部区域判断条件确定该至少一个第二异常区域中的第二候选异常眼部区域，其中该第二候选异常眼部区域满足该第二掩膜图像对应的异常眼部区域判断条件中的所有判断条件，该第二掩膜图像对应的异常眼部区域判断条件包括以下至少一个条件：该第二候选异常眼部区域的像素个数大于第八预定值，该第二候选异常眼部区域的圆度大于第九预定值且该第二候选异常眼部区域的圆度小于第十预定值，该第二候选异常眼部区域的原始半径大于第十一预定值，该第二候选异常眼部区域的填充度大于第十二预定值，该第二候选异常眼部区域与该眼眶区域的像素比大于第十三预定值，其中第八预定值为一个正整数，第九预定值为一个小于1的正数，第十预定值为一个大于1的正数，该第十一预定值为一个正数，该第十二预定值为一个正数，该第十三预定值为一个正数；该确定单元还用于当该第二候选异常眼部区域的置信度大于第十四预定值时确定该第二候选异常眼部区域为该眼眶区域中的异常眼部区域。
结合第二方面或第二方面的第一种可能的实现方式，在第二种可能的实现方式中，具体实现为：该第一候选异常眼部区域的置信度s用以下公式确定：s=c+β*gray，其中，β表示该眼眶区域的亮度特征在该置信度中的比例因子，gray表示该眼眶区域的亮度特征，gray=（α*gray4-gray2）/（α*gray4），c表示该第一候选异常眼部区域的填充度，c=sp/（π*radius*radius），其中，gray4表示该眼眶区域的平均亮度，α表示该眼眶区域的平均亮度在该眼眶区域的亮度特征的比例因子，gray2表示该第一候选异常眼部区域以外预定个像素范围以内的区域的平均亮度，或者gray2表示该第一候选异常眼部区域以外预定个像素范围以内的若干个参考点的平均亮度，sp表示该第一候选异常眼部区域的像素个数，radius表示该第一候选异常眼部区域的原始半径。
结合第二方面或第二方面的第一种可能的实现方式或第二方面的第二种可能的实现方式，在第三种可能的实现方式中，具体实现为：该获取单元具体用于获取该眼眶区域的亮度信息；根据该眼眶区域的亮度信息获取该眼眶区域的边缘强度图像；对该边缘强度图像进行二值聚类分割以获取该眼眶区域的第一掩膜图像。
结合第二方面的第三种可能的实现方式，在第四种可能的实现方式中，具体实现为：在用于根据该眼眶区域的亮度信息获取该眼眶区域的边缘强度图像，该获取单元具体用于对该眼眶区域进行高斯模糊处理，根据同性sobel算子对该进行高斯模糊处理后的眼眶区域进行soble边缘强度提取以获取该眼眶区域的边缘强度图像；在用于对该边缘强度图像进行二值聚类分割以获取该眼眶区域的第一掩膜图像，该获取单元具体用于获取使得该眼眶区域的边缘强度图像按阈值分成两类后类间方差最大的第一阈值，将小于第一阈值的边缘强度设为第一阈值，并获取使得该眼眶区域的边缘强度图像按阈值分成两类后类间方差最大的第二阈值，并根据该第二阈值对该眼眶区域的边缘强度图像进行二值化以获取该眼眶区域的第一掩膜图像，其中边缘强度小于第二阈值的像素的掩膜图像信息取值为0，边缘强度大于或等于第二阈值的像素的掩膜图像信息取值为1。
结合第二方面的第三种可能的实现方式或第二方面的第四种可能的实现方式，在第五种可能的实现方式中，该装置还包括选择单元和图形处理单元，其中，该选择单元用于如果该异常眼部区域的原始半径的值大于该眼眶区域中眼部区域的最小经验半径乘以第一预定系数的值，则从该异常眼部区域之外选择至少一个候选参考点；该确定单元还用于根据该至少一个候选参考点中部分或全部候选参考点的YUV数据确定该异常眼部区域的参考点的YUV参考值；该图形处理单元用于如果该参考点的YUV参考值对应的像素不是红色像素，则根据该参考点的YUV参考值调整该异常眼部区域的外亮点区域，根据该异常眼部区域的内亮点区域的亮度平均值调整该异常眼部区域的内亮点区域，其中该内亮点区域以该异常眼部区域的中心点为圆心，以该异常眼部区域的最佳亮点半径为半径，该外亮点区域为该异常眼部区域中该内亮点区域以外的区域；该图形处理单元还用于对该异常眼部区域进行平滑处理。
结合第二方面的第五种可能的实现方式，在第六种可能的实现方式中，具体实现为：该眼眶区域中异常眼部区域的最小经验半径由以下公式minRad=width/50+2确定，其中，minRad表示该眼眶区域中异常眼部区域的最小经验半径，width表示该眼眶区域的宽度。
结合第二方面的第五种可能的实现方式或第二方面的第六种可能的实现方式，在第七种可能的实现方式中，具体实现为：该第一预定系数取值为1.25。
结合第二方面或第二方面的第一种可能的实现方式或第二方面的第二种可能的实现方式，在第八种可能的实现方式中，具体实现为：该获取单元具体用于获取该眼眶区域的RGB信息；根据该眼眶区域的RGB信息对该眼眶区域进行二值分割以获取该眼眶区域的第一掩膜图像。
结合一方面的第八种可能的实现方式，在第九种可能的实现方式中，具体实现为：在用于根据该眼眶区域的RGB信息对该眼眶区域进行二值分割以获取该眼眶区域的第一掩膜图像，该获取单元具体用于将该眼眶区域中的红色像素对应的掩膜图像信息置为1，该眼眶区域中红色像素以外的像素对应的掩膜图像信息置为0，从而形成该第一掩膜图像。
结合第二方面的第八种可能的实现方式或第二方面的第九种可能的实现方式，在第十种可能的实现方式中，该装置还包括选择单元和图形处理单元，其中，该选择单元用于从该异常眼部区域以外选择至少一个候选参考点；该确定单元还用于根据该至少一个候选参考点中部分或全部候选参考点的YUV数据确定该异常眼部区域的参考点的YUV参考值；该图形处理单元用于如果该参考点的YUV参考值符合预定的条件，则根据该参考点的YUV参考值调整该异常眼部区域的外亮点区域，根据该异常眼部区域的内亮点区域的亮度平均值调整该异常眼部区域的内亮点区域，或者该图形处理单元用于如果该参考点的YUV参考值不符合预定的条件，则将该异常眼部区域的外亮点区域从YUV空间转换为HSV空间，并根据渐变因子调低该外亮点区域的像素在HSV空间的亮度H值，然后根据该异常眼部区域的内亮点区域像素的亮度平均值调整该异常眼部区域的内亮点区域，该渐变因子随着该外亮点区域的像素与该异常眼部区域中心的距离的减小而减小，其中，该内亮点区域以该异常眼部区域的中心点为圆心，以该异常眼部区域的最佳亮点半径为半径，该外亮点区域为该异常眼部区域中该内亮点区域以外的区域，该预定的条件为：该参考点的YUV参考值对应的像素是红色像素，并且该参考点的YUV亮度值乘以第二预定系数后的值小于该异常眼部区域的中间亮度值，并且该异常眼部区域的亮度平均值小于预定亮度值；该图形处理单元还用于对该异常眼部区域进行平滑处理。
结合第二方面的第十种可能的实现方式，在第十一种可能的实现方式中，具体实现为：该第二预定系数取值为0.9，该预定亮度值取值为115。
结合第二方面的第十种可能的实现方式，在第十二种可能的实现方式中，具体实现为该渐变因子factor用以下公式确定：factor=（fMax-fMin）*（distance-a*radius）/（radius-a*radius）+fMin，其中radius表示该异常眼部区域的原始半径，distance表示该外亮点区域的像素到该异常眼部区域中心的距离，fMax表示factor的最大值，fMin表示factor的最小值，a表示该渐变因子的距离系数。
结合第二方面的第十二种可能的实现方式，在第十三种可能的实现方式中，具体实现为，该渐变因子公式具体为factor=（0.4-0.1）*（distance–0.25*radius）/（radius–0.25*radius）+0.1，其中，fMax取值为0.4，fMin取值为0.1，a取值为0.25。
结合第二方面的第五种可能的实现方式或第二方面的第十种可能的实现方式，在第十四种可能的实现方式中，具体实现为，异常眼部区域的最佳亮点半径optR用以下公式确定：optR=（maxR-minR）*（eyedistance-100）/400+minR，其中，maxR表示估算出的该异常眼部区域的最佳亮点半径的最大值，minR表示估算出的该异常眼部区域的最佳亮点半径的最小值，eyedistance表示该输入图像中两个眼睛中心的距离。
结合第二方面的第五种可能的实现方式或第二方面的第十种可能的实现方式，在第十五种可能的实现方式中，具体实现为：在用于根据该至少一个候选参考点中部分或全部候选参考点的YUV数据确定该异常眼部区域的参考点的YUV参考值，该确定单元具体用于：获取该至少一个候选参考点中部分或全部候选参考点的YUV数据的平均值；如果该平均值对应的亮度值大于预定的阈值，则确定预定的参考值作为该异常眼部区域的参考点的参考值，否则以该平均值作为该异常眼部区域的参考点的参考值。
结合第二方面的第九种可能的实现方式，在第十六种可能的实现方式中，具体实现为，该红色像素的RGB满足以下条件：max（r，g，b）>th1，且max（r，g，b）-g>th2，且max（r，g，b）/g>th3，其中，r表示RGB的三个颜色分量中的红色分量，g表示RGB的三个颜色分量中的绿色分量，b表示RGB的三个颜色分量中蓝色分量，th1、th2、th3分别表示红色像素的3个预定值；或者该红色像素的RGB满足以下条件：r2/(g2+b2+th4)>th5，且r>th6，其中，r表示RGB的三个颜色分量中的红色分量，g表示RGB的三个颜色分量中的绿色分量，b表示RGB的三个颜色分量中蓝色分量，th4、th5、th6分别表示红色像素判定的3个预定值。
基于以上技术方案，本发明实施例的眼部图像处理方法和装置，通过对眼眶区域的掩膜图像进行分析获取候选异常眼部区域，并通过候选异常眼部区域的填充度和眼眶区域的亮度特征确定候选异常眼部区域的置信度，从而能够更准确地定位眼部图像的异常眼部区域，为异常眼部的处理提供了准确的位置信息。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例图像处理方法流程图；
图2a是本发明实施例的眼眶区域示例图；
图2b是本发明实施例的一种人脸区域示意图；
图3是本发明实施例图像处理方法另一流程图；
图4是本发明实施例候选参考点选取示意图；
图5是本发明实施例图形处理装置示意图；
图6是本发明实施例另一图形处理装置示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要注意的是，在本发明中，如果没有特别指明，平均值均指算术平均值。
图1是本发明实施例眼部图像处理方法流程图，图1的方法由图形处理装置执行。
101，确定输入图像的眼眶区域。
如果输入图像为眼眶矩形区域，则可以直接在图像上进行处理。图2a是本发明实施例的眼眶区域示例图。图2a示出了金眼和红眼的眼眶区域。从图2a可以看出，眼眶区域包括眼睛和眼睛周围的部分区域，眼睛又包括眼球和眼白两部分区域。本发明中，金眼瑕疵及红眼瑕疵就出现在眼睛中的眼球所在的区域。
如果输入图像为脸框区域，则需要估算出脸框区域中的眼眶区域。一般情况下，选取的眼眶区域为矩形区域，当然，也不排除选择其它形状的眼眶区域的可能。图2b是本发明实施例的一种人脸脸框区域示意图。一个具体的实现方式如图2b所示，如果脸框左上角坐标（0，0），宽w，高h，则可选择取左上角坐标（0，h/7），宽w，高h/4的区域作为眼眶区域。
另外，本发明中，凡是涉及长度的参数，例如半径、距离、宽、高等的参数，在没有特别指明的情况下，均以像素为单位。例如，半径为70，表示半径的长度为70个像素，或者说半径的长度等于70个像素的长度。
102，获取该眼眶区域的第一掩膜图像。
本发明实施例中，可通过多种方式获取眼眶区域的掩膜图像。
该第一掩膜图像可以是眼眶区域的金眼掩膜图像，也可以是眼眶区域的红眼掩膜图像。当然，该第一掩膜图像还可以是其它类型的掩膜图像。
该第一掩膜图像可以为二值掩膜图像，用0和1表示，0表示像素正常，1表示像素异常，根据所有像素的状态形成的二值掩膜图像，可判断出眼眶区域中的瑕疵区域，例如金眼、红眼等。当然，也可用0表示像素异常，1表示像素正常，本发明对此并不作限制。在本发明实施例中，掩膜图像用1表示像素异常。
103，根据该第一掩膜图像确定该眼眶区域的至少一个第一异常区域。
根据该第一掩膜图像，可得到若干个像素异常的连通区域。本发明实施例中，第一异常区域即表示该第一掩膜图像中像素异常的连通区域在眼眶区域中对应的区域。
104，根据该眼眶区域的第一掩膜图像确定该至少一个第一异常区域中的第一候选异常眼部区域。
该第一候选异常眼部区域满足以下条件：该第一候选异常眼部区域的像素个数大于第一预定值，该第一候选异常眼部区域的圆度大于第二预定值且该第一候选异常眼部区域的圆度小于第三预定值，该第一候选异常眼部区域的原始半径大于第四预定值，该第一候选异常眼部区域的填充度大于第五预定值，该第一候选异常眼部区域与该眼眶区域的像素比大于第六预定值，其中第一预定值为一个正整数，第二预定值为一个小于1的正数，第三预定值为一个大于1的正数，该第四预定值为一个正数，该第五预定值为一个正数，该第六预定值为一个正数。例如，第一预定值取值为60，第二预定值取值为0.6，第三预定值取值为1.6，第四预定值取值为30，第五预定值取值为0.65，第六预定值取值为0.08，等等。
105，当该第一候选异常眼部区域的置信度大于第七预定值时，确定该第一候选异常眼部区域为该眼眶区域中的异常眼部区域。
其中，该第一候选异常眼部区域的置信度由该第一候选异常眼部区域的填充度和该眼眶区域的亮度特征确定。该第一候选异常眼部区域的置信度用于表示第一候选异常眼部区域为眼眶区域的异常眼部区域的可信程度。
本发明实施例中，通过对眼眶区域的掩膜图像进行分析获取候选异常眼部区域，并通过候选异常眼部区域的填充度和眼眶区域的亮度特征确定候选异常眼部区域的置信度，从而能够更准确地定位眼部图像的异常眼部区域，为异常眼部的处理提供了准确的位置信息。
可选地，该方法还包括：当该异常眼部区域未被找到时，获取该眼眶区域的第二掩膜图像，该第二掩膜图像为金眼掩膜图像或红眼掩膜图像，该第二掩膜图像可以为二值掩膜图像，该第二掩膜图像不同于该第一掩膜图像；根据该第二掩膜图像获取该眼眶区域的至少一个第二异常区域；根据该第二掩膜图像对应的异常眼部区域判断条件确定该至少一个第二异常区域中的第二候选异常眼部区域，其中该第二候选异常眼部区域满足该第二掩膜图像对应的异常眼部区域判断条件中的所有判断条件，该第二掩膜图像对应的异常眼部区域判断条件包括以下至少一个条件：该第二候选异常眼部区域的像素个数大于第八预定值，该第二候选异常眼部区域的圆度大于第九预定值且该第二候选异常眼部区域的圆度小于第十预定值，该第二候选异常眼部区域的原始半径大于第十一预定值，该第二候选异常眼部区域的填充度大于第十二预定值，该第二候选异常眼部区域与该眼眶区域的像素比大于第十三预定值，其中第八预定值为一个正整数，第九预定值为一个小于1的正数，第十预定值为一个大于1的正数，该第十一预定值为一个正数，该第十二预定值为一个正数，该第十三预定值为一个正数；当该第二候选异常眼部区域的置信度大于第十四预定值时，确定该第二候选异常眼部区域为该眼眶区域的异常眼部区域，其中，该第二候选异常眼部区域的置信度由该第二候选异常眼部区域的填充度和该眼眶区域的亮度特征确定。与第一掩膜图像类似，第二掩膜图像也可用0，1表示。同样，根据该第二掩膜图像，可得到若干个像素异常的连通区域。本发明实施例中，第二异常区域即表示该第二掩膜图像中像素异常的连通区域在眼眶区域中对应的区域。本发明实施例中，第二异常区域和第一异常区域仅仅是用于区分两次掩膜图像确定的异常区域，没有实质上的区别。
本发明实施例中，当一种掩膜图像定位异常眼部区域失败时，获取眼眶区域的另一种掩膜图像，进而确定异常眼部区域，能够提高异常眼部区域定位的准确性。
可选地，步骤102之后，还可对第一掩膜图像进行形态学操作以移除所述第一掩膜图像的孤立点。
可选地，该第一候选异常眼部区域的置信度s用公式（1.1）表示：
s=c+β*gray 公式（1.1），
其中c表示该第一候选异常眼部区域的填充度，gray表示该眼眶区域的亮度特征，β表示该眼眶区域的亮度特征在置信度中的比例因子；
该第一候选异常眼部区域的填充度c用公式（1.2）表示：
c=sp/（π*radius*radius） 公式（1.2），
其中，sp表示该第一候选异常眼部区域的像素个数，radius表示该第一候选异常眼部区域的原始半径；
该眼眶区域的亮度特征gray用公式（1.3）表示：
gray=（α*gray4-gray2）/（α*gray4） 公式（1.3），
其中，gray4表示该眼眶区域的平均亮度，gray2表示该第一候选异常眼部区域以外预定个像素范围内区域的平均亮度，或者gray2表示该第一候选异常眼部区域以外预定个像素范围内的若干个参考点的平均亮度，α表示该眼眶区域的平均亮度在该眼眶区域的亮度特征的比例因子。
可选地，作为一个实施例，步骤102具体实现为：获取该眼眶区域的亮度信息；根据该眼眶区域的亮度信息获取该眼眶区域的边缘强度图像；对该边缘强度图像进行二值聚类分割以获取该眼眶区域的第一掩膜图像。具体地，根据该眼眶区域的亮度信息获取该眼眶区域的边缘强度图像可实现为：对该眼眶区域进行高斯模糊处理，根据同性（sobel）算子对该进行高斯模糊处理后的眼眶区域进行soble边缘强度提取以获取该眼眶区域的边缘强度图像；对该边缘强度图像进行二值聚类分割以获取该眼眶区域的金眼掩膜图像可实现为：获取使得该眼眶区域的边缘强度图像按阈值分成两类后类间方差最大的第一阈值，将小于第一阈值的边缘强度设为第一阈值，并获取使得该眼眶区域的边缘强度图像按阈值分成两类后类间方差最大的第二阈值，并根据该第二阈值对该眼眶区域的边缘强度图像进行二值化以获取该眼眶区域的第一掩膜图像，其中边缘强度小于第二阈值的像素的掩膜图像信息取值为0，边缘强度大于或等于第二阈值的像素的掩膜图像信息取值为1。
进一步地，该方法还包括：如果该异常眼部区域的原始半径的值大于该眼眶区域中异常眼部区域的最小经验半径乘以第一预定系数后的值，则从该异常眼部区域之外选择至少一个候选参考点；根据该至少一个候选参考点中部分或全部候选参考点的YUV数据确定该异常眼部区域的参考点的YUV参考值；如果该参考点的YUV参考值对应的像素不是红色像素，则根据该参考点的YUV参考值调整该异常眼部区域的外亮点区域，根据该异常眼部区域的内亮点区域的亮度平均值调整该异常眼部区域的内亮点区域，其中该内亮点区域以该异常眼部区域的中心点为圆心，以该异常眼部区域的最佳亮点半径为半径，该外亮点区域为该异常眼部区域中该内亮点区域以外的区域；对该异常眼部区域进行平滑处理。。具体地，可用高斯模糊处理对该异常眼部区域进行平滑处理。
优选的，该眼眶区域中异常眼部区域的最小经验半径用以下公式确定：minRad=width/50+2，其中，minRad表示该眼眶区域中异常眼部区域的最小经验半径，width表示该异常眼部区域所在的眼眶区域的宽度。
优选的，该第一预定系数取值为1.25。
具体地，该异常眼部区域的最佳亮点半径用以下公式确定：optR=（maxR-minR）*（eyedistance-100）/400+minR，其中，optR表示该异常眼部区域的最佳亮点半径，maxR表示估算出的该异常眼部区域的最佳亮点半径的最大值，minR表示估算出的该异常眼部区域的最佳亮点半径的最小值，eyedistance表示该输入图像中两个眼睛中心的距离。
具体地，根据该至少一个候选参考点中部分或全部候选参考点的YUV数据确定该异常眼部区域的参考点的YUV参考值可实现为：获取该至少一个候选参考点中部分或全部候选参考点的YUV数据的平均值；如果该平均值对应的亮度值大于预定的阈值，则确定预定的参考值作为该异常眼部区域的参考点的参考值，否则以该平均值作为该异常眼部区域的参考点的参考值。
可选地，作为另一个实施例，步骤102具体实现为：获取该眼眶区域的RGB信息；根据该眼眶区域的RGB信息对该眼眶区域进行二值分割以获取该眼眶区域的第一掩膜图像。进一步地，根据该眼眶区域的RGB信息对该眼眶区域进行二值分割以获取该眼眶区域的第一掩膜图像可实现为：将该眼眶区域中的红色像素对应的掩膜图像信息置为1，该眼眶区域中红色像素以外的像素对应的掩膜图像信息置为0，从而形成该第一掩膜图像。
进一步地，该方法还包括：从该异常眼部区域以外选择至少一个候选参考点；根据该至少一个候选参考点中部分或全部候选参考点的YUV数据确定该异常眼部区域的参考点的YUV参考值；如果该参考点的YUV参考值符合预定的条件，则根据该参考点的YUV参考值调整该异常眼部区域的外亮点区域，根据该异常眼部区域的内亮点区域的亮度平均值调整该异常眼部区域的内亮点区域，或者如果该参考点的YUV参考值不符合预定的条件，则将该异常眼部区域的外亮点区域从YUV空间转换为HSV空间，并根据渐变因子调低该外亮点区域的像素在HSV空间的亮度H值，然后根据该异常眼部区域的内亮点区域像素的亮度平均值调整该异常眼部区域的内亮点区域，该渐变因子随着该外亮点区域的像素与该异常眼部区域中心的距离的减小而减小；对该异常眼部区域进行平滑处理；其中，该内亮点区域以该异常眼部区域的中心点为圆心，以该异常眼部区域的最佳亮点半径为半径，该外亮点区域为该异常眼部区域中该内亮点区域以外的区域，该预定的条件为：该参考点的YUV参考值对应的像素是红色像素，并且该参考点的YUV亮度值乘以第二预定系数后的值小于该异常眼部区域的中间亮度值，并且该异常眼部区域的亮度平均值小于预定亮度值。优选地，该第二预定系数取值为0.9，该预定亮度值取值为115。
具体地，该渐变因子用以下公式确定：factor=（fMax-fMin）*（distance-a*radius）/（radius-a*radius）+fMin，其中factor表示渐变衰减因子，radius表示该异常眼部区域的原始半径，distance表示该外亮点区域的像素到该异常眼部区域中心的距离，fMax表示factor的最大值，fMin表示factor的最小值，a表示渐变因子的距离系数。优选地，该渐变因子公式可表示为：factor=（0.4-0.1）*（distance–0.25*radius）/（radius–0.25*radius）+0.1，其中，fMax取值为0.4，fMin取值为0.1，a取值为0.25。
具体地，该异常眼部区域的最佳亮点半径用以下公式确定：optR=（maxR-minR）*（eyedistance-100）/400+minR，其中，optR表示该异常眼部区域的最佳亮点半径，maxR表示估算出的该异常眼部区域的最佳亮点半径的最大值，minR表示估算出的该异常眼部区域的最佳亮点半径的最小值，eyedistance表示该输入图像中两个眼睛中心的距离。
具体地，根据该至少一个候选参考点中部分或全部候选参考点的YUV数据确定该异常眼部区域的参考点的YUV参考值可实现为：获取该至少一个候选参考点中部分或全部候选参考点的YUV数据的平均值；如果该平均值对应的亮度值大于预定的阈值，则确定预定的参考值作为该异常眼部区域的参考点的参考值，否则以该平均值作为该异常眼部区域的参考点的参考值。
本发明实施例红色像素的一种判断方式，红色像素的RGB满足以下条件：max（r,g,b）>th1，且max（r,g,b）-g>th2，且max（r,g,b）/g>th3，其中，r表示RGB的三个颜色分量中的红色分量，g表示RGB的三个颜色分量中的绿色分量，b表示RGB的三个颜色分量中蓝色分量，th1、th2、th3分别表示红色像素的3个预定值。
本发明实施例红色像素的另一种判断方式，红色像素的RGB满足以下条件：r2/(g2+b2+th4)>th5，且r>th6,其中，r表示RGB的三个颜色分量中的红色分量，g表示RGB的三个颜色分量中的绿色分量，b表示RGB的三个颜色分量中蓝色分量，th4、th5、th6分别表示红色像素判定的3个预定值。
上述获取第一掩膜图像的方式以及根据第一掩膜图像处理输入图像的方式也适用于第二掩膜图像，只是其中相应的参数或判断条件需要根据掩膜图像的类型（金眼掩膜图像或红眼掩膜图像）作相应的调整，本发明实施例在此不再赘述。
下面将结合具体的实施例，对本发明实施例的方法作进一步的描述。
图3是本发明实施例图像处理方法的具体流程图。
301，初始化眼眶区域。
在进行眼部瑕疵消除时，首先要确定眼眶区域。
如果图像为眼眶矩形区域，则可以直接在图像上进行处理。
如果图像为脸框区域，则要估算出眼眶矩形区域。一个具体的例子如图2b所示，如果人脸框左上角坐标（0，0），宽w，高h，则可选取眼框左上角坐标（0，h/7），宽w，高h/4的区域作为眼眶区域。
302，提取掩膜图像。
可通过多种方式提取眼眶区域的掩膜图像。
本发明实施例的一种掩膜图像提取方法，可提取眼眶区域的金眼掩膜图像。
（1）获取眼眶区域的边缘强度图像。
首先，可对眼眶区域做一个高斯模糊处理，然后对经过高斯模糊处理的图像进行sobel边缘强度提取，得到眼眶区域的边缘强度图像。
sobel算子具体如下：
水平方向sobel算子[-1 0 1;-2 0 2;-1 0 1]，
垂直方向sobel算子[-1 -2 -1;0 0 0;1 2 1]。
（2）对边缘强度图形进行二值化处理以获取掩膜图像。
由于金眼瑕疵的强度很大，如果存在金眼瑕疵，则通过阈值将其提取出来。
可通过聚类分析法提取金眼掩膜图像。以类间方差法（聚类分析法的一种）为例，根据边缘强度图形计算阈值，然后根据该阈值对边缘强度图像进行0、1二值化，1表示眼眶区域对应的像素异常。具体步骤如下：
首先，统计眼眶区域边缘强度的直方图，然后给定一个阈值，将直方图分为两段（对应于边缘强度图像的两类边缘强度），统计每一段的概率值和均值，构造方差公式。遍历每一个阈值（0到255），满足类间方差最大的那个阈值t0即为所要找的第一阈值。将小于阈值t0的数据设为t0，再次重复上述操作，重新生成第二阈值t1，根据第二阈值t1，将眼眶区域的边缘强度图像进行二值分割，边缘强度小于t1的像素置为0，边缘强度大于t1的像素置为1，从而生成眼眶区域的掩膜图像。边缘强度等于t1的，可以统一置为0，或者统一置为1。
类间方差算法具体如下：
假设边缘强度图像边缘强度级为L，直方图为Pi，用阈值t分成两类。
C0=（0，1，2…，t），C1=（t+1，t+2…，L-1）。
两类的概率和均值分别由公式（3.1）和（3.2）表示：
公式（3.1），
公式（3.2），
其中，ω0(t)表示C0的概率，ω1(t)表示C1的概率，μ0(t)表示C0的均值，μ1(t)表示C1的均值。
C0和C1的类间方差可用公式（3.3）表示：
σ2=ω0(μ0-μ)2+ω1(μ1-μ)2 公式（3.3），
其中，σ2表示C0和C1的类间方差。
此时，二值分割后的掩膜图像即为眼眶区域的掩膜图像，该掩膜图像为金眼掩膜图像。
本发明实施例的另一种掩膜图像提取方法，可提取眼眶区域的红眼掩膜图像。本发明实施例中，根据像素的类型对眼眶区域进行二值化处理。如眼眶区域的像素为红色像素，对应的掩膜图像的信息置为1，否则置为0。
在判断像素为红色像素时，需要获取像素的RGB信息。
本发明的一种方式，当获取像素的RGB信息后，可根据公式（3.3）判断像素是否为红色像素，当像素的RGB信息满足公式（3.3）时该像素为红色像素。
公式（3.3）
其中，r表示像素的RGB信息中的红色分量，g表示像素的RGB信息中的绿色分量，b表示像素的RGB信息中的蓝色分量，R表示像素的RGB的三个颜色分量的最大值，th1、th2和th3为预定的阈值。当th1取值范围60～80，th2取值范围45～65，th3取值范围1.8～2.0，可取得较准确的判断效果。例如，th1=70，th2=45，th3=1.9；或者th1=65，th2=40，th3=1.8；或者th1=75，th2=50，th3=2.0。当然，th1、th2和th3的取值也可能落入其它取值区间，本发明实施例在此并不作限制。
本发明的另一种方式，当获取像素的RGB信息后，可根据公式（3.4）判断像素是否为红色像素，当像素的RGB信息满足公式（3.4）时该像素为红色像素。
公式（3.4）
其中ratio表示像素的红色系数，r表示像素的红色分量，g表示像素的绿色分量，b表示像素的蓝色分量。当th4取值范围10～18，th5取值范围3.2～3.4，th6取值范围60～80，可取得较准确的判断效果。例如，th4可取值为14，th5取值为3.3，th6取值为70。当然，th4、th5和th6的取值也可能落入其它取值区间，本发明实施例在此并不作限制。
当然，还可能存在其它判断红色像素的方法，本发明实施例在此不作限制。
根据红色像素进行二值分割后的掩膜图像即为眼眶区域的一种掩膜图像，该掩膜图像为红眼掩膜图像。
当然，本发明实施例还可通过其它方式获取眼眶区域的金眼掩膜图像和红眼掩膜图像，也可通过其它的方式获取其他类眼部瑕疵的掩膜图像，本发明实施例在此不作限制。
303，分析掩膜图像，标记候选异常眼部区域。
通过对掩膜图像进行分析，进而标记出眼眶区域中的候选异常眼部区域。
首先，可通过形态学操作对二值掩膜进行处理，以得到更好的掩膜效果。形态学操作可包括腐蚀、膨胀操作等。
本发明实施例中，可采用孤立点移除操作。每个像素周围存在正上、正下、正左、正右、左上、左下，右上、右下共8个邻域点。通过判断每个像素周围8个邻域点的个数，如果该像素周边8个邻域点的个数小于一个阈值，则认为该点为孤立的点并移除，例如，如果该像素周边8个邻域点的个数小于3个，可将该点视为孤立点，移除。该方法可用去除一些相对孤立的噪点。
其次，对掩膜图像进行连通区域分析，判断一个点跟周边的点是否是连通的。连通的种类有四连通（正上、正下、正左、正右）和八连通（正上、正下、正左、正右、左上、左下，右上、右下）。常用的算法有两次扫描法和递归方法等，本发明实施例以递归方法为例进行描述，但并不排除使用其它算法的可能。递归方法如下：一次扫描掩膜图像中的每个像素，当找到某个未标记的目标像素时，将其压入堆栈并从该点开始反复标记其邻域，直到堆栈为空。
最后，得到一个处理后的掩膜图像，其中，像素对应的掩膜图像信息为1的聚集区域即为候选异常眼部区域。根据处理后的掩膜图像，可确定眼眶区域的若干个候选异常眼部区域。
304，统计候选异常眼部区域的参数。
通过分析掩膜图像，可初步确定眼眶区域的若干个候选异常眼部区域。
可通过多个参数判断候选异常眼部区域是否为异常眼部区域。常用的参数有圆度、面积和填充度等。其定义如下：
圆度（roundness）=候选异常眼部区域的宽（w）/候选异常眼部区域的高（h）。
面积（area）=候选异常眼部区域的像素个数（sumPixels）。
填充度（compactness）=候选异常眼部区域的像素个数（sumPixels）/（π*radius*radius），其中，radius表示候选异常眼部区域的原始半径。
305，判断是否找到异常眼部区域。
第一步，可根据多个参数的阈值初步确定候选异常眼部区域是否为异常眼部区域。
可从上述圆度、面积、半径和填充度等方面判断。在进行判断时，可选择上述参数的一个或多个进行阈值判断。凡是不符合判断条件中的任一个条件的，可从异常眼部区域中排除。因此，判断条件越多，越不会出现将正常区域误判为异常眼部区域的误判。
常用的判断条件有以下几组：
（1）、候选异常眼部区域的面积大于第一预定值。
换句话说，就是候选异常眼部区域的像素个数大于第一预定值，其中第一预定值为一个正整数。
第一预定值可以是一个固定值，也可通过计算获得。
当第一预定值通过计算确定时，一种计算方式，第一预定值=（0.001*眼眶区域像素个数）。当然，还可能有其它计算公式，本发明实施例在此不作限制。
对于金眼瑕疵的判定条件来说，当第一预定值为一个固定值时，第一预定值取值在20～40之间，可取得较好的判定效果。例如第一预定值可取值为20、30、40等。
对于红眼瑕疵的判定条件来说，当第一预定值为一个固定值时，第一预定值取值在50～70之间，可取得较好的判定效果。例如，第一预定值可取值为60。
当候选异常眼部区域的面积大于第一预定值，可初步认定此候选异常眼部区域可能为异常眼部区域，否则，排除此候选异常眼部区域。
（2）、候选异常眼部区域的圆度大于第二预定值，且候选异常眼部区域的圆度小于第三预定值。
异常眼部区域的圆度，介于第二预定值和第三预定值两个数值之间。第二预定值为一个小于1的正数，第三预定值为一个大于1的正数，例如，异常眼部区域的圆度范围可取0.6～1.6，0.65～1.55，0.7～1.5，等等。
不妨假设异常眼部区域的圆度范围为0.6～1.6，则此时第二预定值为0.6，第三预定值为1.6。当候选异常眼部区域的圆度小于0.6或大于1.6时，可排除此候选异常眼部区域；当候选异常眼部区域的圆度接入0.6和1.6之间时，可初步认定此候选异常眼部区域可能为异常眼部区域。
对于金眼瑕疵的判定条件来说，第二预定值取值在0.6～0.7之间，第三预定值取值在1.5～1.6之间，可取得较好的判定效果。
对于金眼瑕疵的判定条件来说，第二预定值取值在0.6～0.7之间，第三预定值取值在1.5～1.6之间，可取得较好的判定效果。
（3）、候选异常眼部区域的原始半径大于第四预定值。
当候选异常眼部区域的原始半径小于第四预定值时，可排除此候选异常眼部区域；当候选异常眼部区域的原始半径大于或等于第四预定值时，可初步认定此候选异常眼部区域可能为异常眼部区域。第四预定值为一个正数。
对于金眼瑕疵的判定条件来说，第四预定值取值在3～5之间，可取得较好的判定效果。
对于红眼瑕疵的判定条件来说，第四预定值取值在4～6之间，可取得较好的判定效果。
对于金眼掩膜图像和红眼掩膜图像，该半径的阈值一般不同。
本发明实施例中，异常眼部区域的原始半径的一种计算方式可用如下公式表示：
原始半径（locationR）=max（异常眼部区域宽，异常眼部区域高）/2。
（4）、候选异常眼部区域的填充度大于第五预定值。
当候选异常眼部区域的填充度小于第五预定值时，可排除此候选异常眼部区域；当候选异常眼部区域的填充度大于或等于第五预定值时，可初步认定此候选异常眼部区域可能为异常眼部区域。
对于金眼掩膜图像和红眼掩膜图像，该填充度的阈值一般不同。
对于金眼瑕疵的判定条件来说，第五预定值取值在0.6～0.7之间，可取得较好的判定效果。
对于红眼瑕疵的判定条件来说，第五预定值取值在0.5～0.6之间，可取得较好的判定效果。
例如，金眼掩膜图像的第五预定值可取值为0.65，红眼掩膜图像的第五预定值可取值为0.5。当然，也不排除选取其它数值的可能。
（5）、候选异常眼部区域与眼眶区域像素比大于第六预定值。
候选异常眼部区域与眼眶区域像素比（ratio）=（π*radius*radius）/（眼眶宽*眼眶高），其中radius表示候选异常眼部区域的原始半径。
第六预定值一般取值在0.009～0.011之间，可取得较好的判定效果，当然，也不排除取其它数值的可能。
上述第一预定值到第六预定值的取值范围，只是一种可能取得较好判定效果的范围，当然，不排除第一预定值到第六预定值落入其它取值区间的可能。
对于红眼掩膜图像和金眼掩膜图像，可分别选取上述几个条件作为异常眼部区域的判断条件。例如，对于红眼掩膜图像，可选择1、2、4、5作为判断条件，对于金眼掩膜图像，可选择1、2、3、4作为判断条件。当然，也可减少几个判断条件，或新增几个判断条件。
当选中上述的一个或几个作为判断条件后，则当所有选中的条件都满足时，才可初步确认候选异常眼部区域可能为异常眼部区域。如果选中的条件中任一个条件不满足，则将该候选异常眼部区域排除。
第二步，判断候选异常眼部区域的置信度是否大于第七预定值。
置信度（score）=填充度（compactness）+β*亮度特征（gray）
亮度特征（gray）=（α*gray4–gray2）/（α*gray4）。
其中，gray4表示该眼眶区域的平均亮度，gray2表示该第一候选异常眼部区域以外预定个像素范围内区域的平均亮度，或者gray2表示该第一候选异常眼部区域以外预定个像素范围内的若干个参考点的平均亮度，α表示该眼眶区域的平均亮度在该眼眶区域的亮度特征的比例因子，β表示亮度特征在置信度中的比例因子。通常情况下，α取值范围0.9～1.1，β取值范围1.4～1.8，score取值范围1.0～1.2，此时置信度的判断较为准确。当然，也不排除α，β和score的取值落入其它取值区间的可能。
一个计算gray2的例子如下：在候选异常眼部区域以外，3个像素范围内，左右区域各取若干个参考点，求取亮度平均值，该亮度平均值即为gray2。
当置信度大于第七预定值时，可认为该候选异常眼部区域为异常眼部区域，否则认为该候选异常眼部区域为非异常眼部区域。
例如，α取值为0.95，β取值为1.6，第七预定值取值为1.0，等等。
如果找到异常眼部区域，则根据掩膜图像的类型进行相应处理。如果为金眼掩膜图像，执行步骤307；如果为红眼掩膜图像，则执行步骤312。
如果未找到异常眼部区域，则执行步骤306。
306，判断是否选择另一种提取掩膜图像的方式。
如果需要选择另一种掩膜图像提取，则执行步骤302。
否则，执行步骤319，不处理退出。
307，计算异常眼部区域的最小经验半径minRad。
此时，眼部瑕疵的种类为金眼瑕疵，掩膜图像为金眼掩膜图像。
通过异常眼部区域的最小经验半径公式，可估算出异常眼部区域的经验半径。
一种异常眼部区域的经验半径公式如下：
最小经验半径（minRad）=眼眶宽度（width）/50+2。
308，判断minRad乘以预定系数是否小于原始半径。
如果最小经验半径minRad乘以预定系数后的值大于原始半径，说明瑕疵亮点不大，无法进行处理，或者处理后效果不好，或者是处理后效果没有明显改善。此时，执行步骤319。
如果最小经验半径minRad乘以预定系数小于原始半径，说明瑕疵亮点较大，此时，执行步骤309。
优选的，本发明实施例中，该预定系数可以取值为1.25。
另外，对于临界条件，即最小经验半径minRad乘以预定系数等于原始半径，可以选择处理，也可以选择不处理。
309，分析异常眼部区域外区域。
根据检测的异常眼部区域的中心坐标和最小经验半径minRad，可选取若干个候选参考点的信息。候选参考点的信息，可以是与候选参考点的亮度有关的信息。本发明实施例，以候选参考点的YUV三个通道的信息进行说明。
YUV的三个分量中，“Y”表示“亮度”（Luminance或Luma），也就是灰阶值；而“U”和“V”表示的则是“色度”（Chrominance或Chroma），作用是描述影像色彩及饱和度，用于指定像素的颜色。“亮度”是透过RGB输入信号来建立的，方法是将RGB信号的特定部分叠加到一起。“色度”则定义了颜色的两个方面─色调与饱和度，分别用Cr和Cb来表示。其中，Cr反映了RGB输入信号红色部分与RGB信号亮度值之间的差异。而Cb反映的是RGB输入信号蓝色部分与RGB信号亮度值之间的差异。
在进行异常眼部的瑕疵调整时，通常把每个异常区域目标分为左右两侧，分别是左眼左侧，左眼右侧，右眼左侧，右眼右侧，每一侧均可得出一个平均参考点。
在选取候选参考点时，可从以异常眼部区域的中心坐标为中心，locationR+n个像素为半径范围内，异常眼部区域以外的区域选择若干个点作为候选参考点，n一般取值为2、3、4、5，当然也不排除n取其它值的可能。一般情况下，可从异常眼部区域的四个方位（上、下、左、右）选取候选参考点，或者从异常眼部区域的八个方位（左上、正左、左下、正上、正下、右上、正右、右下）选取候选参考点。可以随机选择候选参考点，也可按照一定的规则进行候选参考点。显然，按照一定的规则选取候选参考点，相对于随机选取而言，能够取得可预期的效果，而且，在一些特定的选取规则下，候选参考点的选取能够取得相对较好的效果。
图4是本发明实施例候选参考点选取的一种示意图。图中所示为左眼的候选参考点选取，方框区域为左眼左侧。图中的locationR表示异常眼部区域的原始半径。优选地，一种候选参考点的选取规则，如图4所示，对左眼左侧来说，可选取左眼的正上、左上、正左、左下、正下共5个方位的候选参考点，其中正左选择的参考点最多，正上和正下次之，左上和左下再次之。以图4为例，左眼左侧共选取25个候选参考点，其中正左为17个；正上和正下各为3个；左上和左下各为1个。与左眼左侧类似，左眼右侧可选取左眼的正上、右上、正右、右下、正下共5个方位的候选参考点，其中正右选择的参考点最多，正上和正下次之，右上和右下再次之。右眼的候选参考点选取方式与左眼类似，本发明实施例在此不再赘述。
在选出候选参考点后，可根据候选参考点确定参考点的参考值。参考点的参考值，包括YUV的Y、U、V三个分量的参考值，分别由候选参考点相应的分量计算获取。一种方式，可将所有候选参考点的平均值作为参考点的参考值。另一种方式，可从候选参考点中选择亮度最暗的前几个候选参考点的平均值作为参考点的参考值。再一种方式，可从候选参考点中选择亮度居中的几个候选参考点的平均值。当然，还可通过其它方式确定参考点的参考值。例如，上述的平均值改为平方平均值、调和平均值或加权平均值等。具体的，加权平均值可根据候选参考点所在的方位取得加权，等等。
此时，可得到异常眼部区域左右两侧各自的YUV平均值。
当然，也可以将异常眼部区域视为一个整体，根据候选参考点得到一个参考点作为异常眼部区域的参考点。
或者，可以将异常眼部区域分成3个乃至更多个子区域，根据异常眼部区域的子区域分别选择候选参考点，并根据子区域各自的候选参考点得到子区域各自的参考点。
310，判断是否存在合适参考点。
如果存在合适参考点，则执行步骤311，否则执行步骤319。
获得YUV的平均值后，先确定该YUV的平均值对应的像素是否是红色像素。一个YUV值（包含Y、U、V三个分量）对应于一个RGB信息（包含r，g，b三个分量），如果该YUV值对应的RGB信息符合红色像素的判断条件，则可以说该YUV的平均值对应的像素是红色像素。红色像素的判断标准可参考步骤302中的公式（3.3）和公式（3.4），本发明实施例在此不再赘述。
如果存在至少一个参考点的YUV平均值对应的像素为红色像素，此时以该参考进行处理将导致处理效果类似于红眼瑕疵，处理效果不好，因此，执行步骤319。
如果所有参考点各自的YUV平均值对应的像素不是红色像素，则对所有参考点各自的YUV平均值中的亮度值进行判断。如果YUV平均值中亮度值大于预定的阈值，则YUV平均值中不适合作为参考点的参考值，此时，可另取一个默认的参考值作为参考点对应的参考值；如果YUV平均值中亮度值小于预定的阈值，则以该YUV平均值作为参考点的参考值。
该预定的阈值取值在80～115时，可取得较好的参考点。例如，当该预定的阈值为100，且YUV平均值中亮度值为110，则可将一个默认的参考值作为参考点的参考值。当然，也不排除该预定的阈值取值落入其它取值区间的可能。
311，用参考点调整外亮点区域。
根据得到的参考点的参考值，对异常眼部区域的外亮点区域进行填充。
可将异常眼部区域分成内亮点区域和外亮点区域两部分，其中，异常眼部区域中最佳亮点半径以内的区域为内亮点区域，异常眼部区域中最佳亮点半径以外的区域为外亮点区域。
异常眼部区域的一种最佳亮点半径计算公式如下：
异常眼部区域的最佳亮点半径（optR）=（最大参考宽度（maxR）-最小参考宽度（minR））*（（眼睛距离（eyedistance）-100）/400+最小参考宽度（minR））。
其中，最大参考宽度和最小参考宽度为根据经验估算出来的内亮点区域最大参考宽度和最小参考宽度。
在用参考点对外亮点区域进行调整时，遵循从亮到暗的原则用参考点的参考值对外亮点区域进行填充。具体的，其填充的亮度值要满足由异常眼部区域的外部到中心点按线性递减。例如，假设参考点的亮度为Y，距离中心点距离原始半径（locationR）的点填充的亮度为Y*1，中心点填充的亮度为Y*0.85，以此对外亮点区域进行填充。需要说明的是，虽然此处指出中心点填充的亮度为Y*0.85，但实际上并不对包括中心点在内的内亮点区域进行填充。
调整完毕后，可用高斯模糊处理平滑边界区域。
312，分析异常眼部区域外区域。
此时，眼部瑕疵的种类为红眼瑕疵，掩膜图像为红眼掩膜图像。
异常眼部区域的原始半径可用如下公式表示：
原始半径（locationR）=max（异常眼部区域宽，异常眼部区域高）/2。
与步骤310类似，在选取候选参考点时，可从以异常眼部区域的中心坐标为中心，locationR+n个像素为半径范围内，异常眼部区域以外的区域选择若干个点作为候选参考点，n一般取值为2、3、4、5，当然也不排除n取其它值的可能。一般情况下，可从异常眼部区域的四个方位（上、下、左、右）选取候选参考点，或者从异常眼部区域的八个方位（左上、正左、左下、正上、正下、右上、正右、右下）选择候选参考点。优选地，为了避免选取到眼皮区域，通常只在异常眼部区域的左右两侧选取候选参考点，以图4为例，左侧只取正左区域的点作为候选参考点，最多加上左上和左下区域，右侧只取正右区域的点作为候选参考点，最多加上右上和右下区域。
在选出候选参考点后，可根据候选参考点确定参考点的参考值。参考点的参考值，包括YUV的Y、U、V三个分量的参考值，分别由候选参考点相应的分量计算获取。一种方式，可将所有候选参考点的平均值作为参考点的参考值。另一种方式，可从候选参考点中选择亮度最暗的前几个候选参考点的平均值作为参考点的参考值。再一种方式，可从候选参考点中选择亮度居中的几个候选参考点的平均值。当然，还可通过其它方式确定参考点的参考值，例如，上述的平均值改为平方平均值、调和平均值或加权平均值等。具体的，加权平均值可根据候选参考点所在的方位取得加权，等等。
此时，可得到异常眼部区域左右两侧各自的YUV平均值，也就是说，确定了异常眼部区域两侧各自的参考点。
当然，也可以将异常眼部区域视为一个整体，根据候选参考点得到一个参考点作为异常眼部区域的参考点。
或者，可以将异常眼部区域分成3个乃至更多个子区域，根据异常眼部区域的子区域分别选择候选参考点，并根据子区域各自的候选参考点得到子区域各自的参考点。
313，判断是否存在合适参考点。
根据预定的条件判断获取的参考点是否为合适的参考点。如果异常眼部区域的所有参考点都符合预定的条件，则说明存在合适的参考点，此时可执行步骤314；如果存在至少一个参考点不符合预定的条件，则说明不存在合适的参考点，此时可执行步骤315。
该预定的条件包括：参考点的YUV参考值对应的像素是红色像素，并且参考点的YUV亮度值乘以第二预定系数后的值小于异常眼部区域的中间亮度值，并且异常眼部区域的亮度平均值小于预定亮度值。当第二预定系数取值范围在0.8～1.0之间，预定亮度值取值在105～125之间，可取得较合适的参考点。当然，也不排除取值范围落入其它取值区间的可能。
一个具体的例子，该预定条件可用如下公式表示：
参考点的YUV值对应的像素为红色像素&&yMean*0.9<=yMedian&&yMedian<115。
其中，yMean表示参考点YUV中的亮度值，yMedian表示异常眼部区域的亮度中间值。该公式表示参考点对应的像素为红色像素，并且参考点的亮度值乘以0.9小于或等于异常眼部区域的亮度平均值，并且异常眼部区域的亮度平均值小于115，&&表示逻辑与。
在判断参考点的YUV值对应的像素是否为红色像素时，可参考步骤302中的方法，本发明实施例在此不再赘述。
314，用参考点调整外亮点区域。
与金眼类似，可将异常眼部区域分成内亮点区域和外亮点区域两部分，其中，异常眼部区域中最佳亮点半径以内的区域为内亮点区域，异常眼部区域中最佳亮点半径以外的区域为外亮点区域。
异常眼部区域的一种最佳亮点半径计算公式如下：
异常眼部区域的最佳亮点半径（optR）=（最大参考宽度（maxR）-最小参考宽度（minR））*（（眼睛距离（eyedistance）-100）/400+最小参考宽度（minR））
其中，最大参考宽度和最小参考宽度为根据经验估算出来的内亮点区域最大参考宽度和最小参考宽度。
在用参考点对外亮点区域替换消除时，遵循从亮到暗的原则用参考点的参考值对外亮点区域进行替换。具体的，其替换的亮度值要满足由异常眼部区域的外部到中心点按线性递减。例如，假设参考点的亮度为Y，距离中心点距离原始半径（locationR）的点替换的亮度为Y*1，中心点替换的亮度为Y*0.85，以此对外亮点区域进行填充。需要说明的是，虽然此处指出中心点填充的亮度为Y*0.85，但实际上并不对包括中心点在内的内亮点区域进行填充。
替换消除完毕后，可用高斯模糊处理平滑边界区域。
315，转HSV空间消除。
第一步，将待调整区域的YUV空间转为HSV空间。
本发明实施例中，待调整区域为外亮点区域。其中，异常眼部区域中以中心点为圆心，以最佳亮点半径为半径的区域为内亮点区域；异常眼部区域中内亮点区域以外区域为外亮点区域。
HSV是基于颜色的直观特性的一种颜色空间，其中颜色的参数分别是：色调（Hue，H），饱和度（Saturation，S），亮度（Value，V）。
色调H：表示色彩信息，即所处的光谱颜色的位置，用角度度量，取值范围为0°～360°，从红色开始按逆时针方向计算，红色为0°，绿色为120°，蓝色为240°。它们的补色是：黄色为60°，青色为180°，品红为300°。
饱和度S：表示成所选颜色的纯度和该颜色最大的纯度之间的比率，取值范围为0.0～1.0，S=0时，只有灰度值。
亮度V：表示色彩的明亮程度，取值范围为0.0（黑色）～1.0（白色）。有一点要注意：它和光强度之间并没有直接的联系。
第二步，对待调整区域的H值进行拉低。
根据分析，当H值被拉低时，色度、饱和度作用将减弱，颜色呈现偏黑色，达到红眼校正的目的。因此，在对异常眼部区域进行调整时，可对调整区域的H值，乘以一个渐变因子进行拉低。考虑到眼睛的黑色是由外到内逐渐变黑，设计的渐变因子跟距离有关，即求得当前点到红眼中心的距离distance，distance的值越低，渐变因子越小，二者呈线性关系。渐变因子公式如下：
factor=（fMax-fMin）*（distance-a*radius）/（radius-a*radius）+fMin，
其中factor表示渐变衰减因子，radius表示该异常眼部区域的原始半径，distance表示外亮点区域的像素到该异常眼部区域的中心的距离，fMax表示factor的最大值，fMin表示factor的最小值，即factor递减的最终值，a表示渐变因子的距离系数。当fMax取值在0.3～0.5之间，fmin取值在0.1～0.2之间，a取值在0.2～0.3之间时，可取得较好的校正效果。当然，也不排除fMax、fmin或a的取值范围落入其它取值区间的可能。
调整完毕后，再将HSV空间逆变换到YUV空间。
一种具体的实现方式如下：
将外亮点区域转换到HSV空间，然后对S通道乘以一个衰减因子hsFactor（例如，0.25）进行衰减，最小衰减到80（最小衰减到80，是说当通过公示计算的结果小于80时，最终取值为80）；对V通道乘以一个亮度因子factor进行衰减，最小衰减到80。
其中亮度因子factor表示如下：
factor=（0.4-0.1）*（distance–0.25*radius）/（radius–0.25*radius）+0.1
最后，将外亮点区域从HSV空间逆变换到YUV空间。
316，内亮点区域去色保留。
获取内亮点区域的亮度参考值，并以该亮度参考值对内亮点区域去色保留，调整内亮点区域的亮度值。
一种方式，可求取内亮点区域的所有像素的亮度Y值的中间值，并以该亮度中间值作为内亮点区域的亮度参考值。
另一种方式，可选择内亮点区域的若干个像素，选中其中的亮度中间值，并以该亮度中间值作为内亮点区域的亮度参考值。
当然，还可能存在其它确定内亮点区域亮度的方法，例如，可用内亮点区域的所有像素的亮度Y值的平均值，或者是内亮点区域的若干个像素的亮度Y值的平均值，等等，本发明实施例在此不作限制。
然后，执行步骤317。
317，对异常眼部区域平滑边界。
用高斯模糊处理对异常眼部区域的边界进行平滑处理。
318，输出消除结果。
将处理后的图像输出。
至此，图像处理执行完毕。
319，退出。
此时，存在几种可能，例如，可能是未找到异常眼部区域，或者处理效果不好。
本发明实施例中，通过多种方式对异常眼部区域进行定位后再处理，可避免异常眼部区域的误检，另外，本发明实施例的异常眼部消除方法，一定程度上能够取得较好的消除效果。
图5是本发明实施例图形处理装置500的结构示意图。图形处理装置500可包括：确定单元501和获取单元502。
确定单元501，用于确定输入图像的眼眶区域。
如果输入图像为眼眶矩形区域，则直接在图像上进行处理。
如果输入图像为脸框区域，则确定单元501要估算出脸框区域中的眼眶区域。一般情况下，选取的眼眶区域为矩形区域，当然，也不排除选择其它形状的眼眶区域的可能。
获取单元502，用于获取该眼眶区域的第一掩膜图像，并根据该第一掩膜图像确定该眼眶区域的至少一个第一异常区域。
其中，该第一掩膜图像可以是眼眶区域的金眼掩膜图像，也可以是眼眶区域的红眼掩膜图像，该第一掩膜图像为二值掩膜图像。
确定单元501还用于根据该眼眶区域的第一掩膜图像确定该至少一个第一异常区域中的第一候选异常眼部区域。
该第一候选异常眼部区域满足该第一掩膜图像对应的异常眼部区域判断条件中的所有判断条件，该第一掩膜图像对应的异常眼部区域判断条件包括以下至少一个条件：该第一候选异常眼部区域的像素个数大于第一预定值，该第一候选异常眼部区域的圆度大于第二预定值且该第一候选异常眼部区域的圆度小于第三预定值，该第一候选异常眼部区域的原始半径大于第四预定值，该第一候选异常眼部区域的填充度大于第五预定值，该第一候选异常眼部区域与该眼眶区域的像素比大于第六预定值，其中第一预定值为一个正整数，第二预定值为一个小于1的正数，第三预定值为一个大于1的正数，该第四预定值为一个正数，该第五预定值为一个正数，该第六预定值为一个正数。例如，第一预定值取值为60，第二预定值取值为0.6，第三预定值取值为1.6，第四预定值取值为30，第五预定值取值为0.65，第六预定值取值为0.08，等等。
确定单元501还用于当该第一候选异常眼部区域的置信度大于第七预定值时，确定该第一候选异常眼部区域为该眼眶区域中的异常眼部区域。
其中，该第一候选异常眼部区域的置信度由该第一候选异常眼部区域的填充度和该眼眶区域的亮度特征确定，该第一候选异常眼部区域的置信度用于表示第一候选异常眼部区域为眼眶区域的异常眼部区域的可信程度。
本发明实施例中，图形处理装置500通过对眼眶区域的掩膜图像进行分析获取候选异常眼部区域，并通过候选异常眼部区域的填充度和眼眶区域的亮度特征确定候选异常眼部区域的置信度，从而能够更准确地定位眼部图像的异常眼部区域，为异常眼部的处理提供了准确的位置信息。
可选地，获取单元502还用于当该异常眼部区域未被找到时，获取该眼眶区域的第二掩膜图像，并根据该第二掩膜图像确定该眼眶区域的至少一个第二异常区域，其中该第二掩膜图像为金眼掩膜图像或红眼掩膜图像，该第二掩膜图像为二值掩膜图像，该第二掩膜图像不同于该第一掩膜图像；确定单元501还用于根据该第二掩膜图像对应的异常眼部区域判断条件确定该至少一个第二异常区域中的第二候选异常眼部区域，并且当该第二候选异常眼部区域的置信度大于第十四预定值时，确定该第二候选异常眼部区域为该眼眶区域的异常眼部区域，其中该第二候选异常眼部区域满足该第二掩膜图像对应的异常眼部区域判断条件中的所有判断条件，该第二掩膜图像对应的异常眼部区域判断条件包括以下至少一个条件：该第二候选异常眼部区域的像素个数大于第八预定值，该第二候选异常眼部区域的圆度大于第九预定值且该第二候选异常眼部区域的圆度小于第十预定值，该第二候选异常眼部区域的原始半径大于第十一预定值，该第二候选异常眼部区域的填充度大于第十二预定值，该第二候选异常眼部区域与该眼眶区域的像素比大于第十三预定值，其中第八预定值为一个正整数，第九预定值为一个小于1的正数，第十预定值为一个大于1的正数，该第十一预定值为一个正数，该第十二预定值为一个正数，该第十三预定值为一个正数，该第二候选异常眼部区域的置信度由该第二候选异常眼部区域的填充度和该眼眶区域的亮度特征确定。
本发明实施例中，当一种掩膜图像定位异常眼部区域失败时，提取眼眶区域的另一种掩膜图像，进而确定异常眼部区域，能够提高异常眼部区域定位的准确性。
可选地，获取单元502还可对第一掩膜图像进行形态学操作以移除所述第一掩膜图像的孤立点。
可选地，该第一候选异常眼部区域的置信度s用公式（5.1）表示：
s=c+β*gray 公式（5.1），
其中c表示该第一候选异常眼部区域的填充度，gray表示该眼眶区域的亮度特征，β表示该眼眶区域的亮度特征在置信度中的比例因子；
该第一候选异常眼部区域的填充度c用公式（5.2）表示：
c=sp/（π*radius*radius） 公式（5.2），
其中，sp表示该第一候选异常眼部区域的像素个数，radius表示该第一候选异常眼部区域的原始半径；
该眼眶区域的亮度特征gray用公式（5.3）表示：
gray=（α*gray4-gray2）/（α*gray4） 公式（5.3），
其中，gray4表示该眼眶区域的平均亮度，gray2表示该第一候选异常眼部区域以外预定个像素范围内区域的平均亮度，或者gray2表示该第一候选异常眼部区域以外预定个像素范围以内的参考点的平均亮度，α表示该眼眶区域的平均亮度在该眼眶区域的亮度特征的比例因子。
可选地，作为一个实施例，获取单元502具体用于获取该眼眶区域的亮度信息；根据该眼眶区域的亮度信息获取该眼眶区域的边缘强度图像；对该边缘强度图像进行二值聚类分割以获取该眼眶区域的第一掩膜图像。具体地，在用于根据该眼眶区域的亮度信息获取该眼眶区域的边缘强度图像，获取单元502具体用于对该眼眶区域进行高斯模糊处理，根据sobel算子对该进行高斯模糊处理后的眼眶区域进行soble边缘强度提取以获取该眼眶区域的边缘强度图像；在用于对该边缘强度图像进行二值聚类分割以获取该眼眶区域的第一掩膜图像，获取单元502具体用于获取使得该眼眶区域的边缘强度图像按阈值分成两类后类间方差最大的第一阈值，将小于第一阈值的边缘强度设为第一阈值，并获取使得该眼眶区域的边缘强度图像按阈值分成两类后类间方差最大的第二阈值，并根据该第二阈值对该眼眶区域的边缘强度图像进行二值化以获取该眼眶区域的第一掩膜图像，其中边缘强度小于第二阈值的像素的掩膜图像信息取值为0，边缘强度大于或等于第二阈值的像素的掩膜图像信息取值为1。
进一步地，图形处理装置500还包括选择单元503和图形处理单元504。其中，选择单元503用于如果该异常眼部区域的原始半径的值大于该眼眶区域中异常眼部区域的最小经验半径乘以第一预定系数后的值，则从该异常眼部区域之外选择至少一个候选参考点。确定单元501还用于根据该至少一个候选参考点中部分或全部候选参考点的YUV数据确定该异常眼部区域的参考点的YUV参考值；如果该参考点的YUV参考值对应的像素不是红色像素，则图形处理单元504用于根据该参考点的YUV参考值调整该异常眼部区域的外亮点区域，根据该异常眼部区域的内亮点区域的亮度平均值调整该异常眼部区域的内亮点区域，其中该内亮点区域以该异常眼部区域的中心点为圆心，以该异常眼部区域的最佳亮点半径为半径，该外亮点区域为该异常眼部区域中该内亮点区域以外的区域。图形处理单元504还用于对该异常眼部区域进行平滑处理。具体地，图形处理单元504可通过高斯模糊处理对该异常眼部区域进行平滑处理。
优选的，该最小经验半径用以下公式确定：minRad=width/60+2，其中，minRad表示该最小经验半径，width表示该异常眼部区域所在的眼眶区域的宽度。
优选的，该第一预定系数为1.25。
具体地，该异常眼部区域的最佳亮点半径用以下公式确定：optR=（maxR-minR）*（eyedistance-100）/500+minR，其中，optR表示该异常眼部区域的最佳亮点半径，maxR表示估算出的该异常眼部区域的最佳亮点半径的最大值，minR表示估算出的该异常眼部区域的最佳亮点半径的最小值，eyedistance表示该输入图像中两个眼睛中心的距离。
具体地，在用于根据该至少一个候选参考点中部分或全部候选参考点的YUV数据确定该异常眼部区域的参考点的YUV参考值，确定单元501具体可实现为：获取该至少一个候选参考点中部分或全部候选参考点的YUV数据的平均值；如果该平均值对应的亮度值大于预定的阈值，则确定预定的参考值作为该异常眼部区域的参考点的参考值，否则以该平均值作为该异常眼部区域的参考点的参考值。
可选地，作为另一个实施例，获取单元502具体实现为：获取该眼眶区域的RGB信息；根据该眼眶区域的RGB信息对该眼眶区域进行二值分割以获取该眼眶区域的第一掩膜图像。
具体地，在用于根据该眼眶区域的RGB信息对该眼眶区域进行二值分割以获取该眼眶区域的第一掩膜图像，获取单元502具体实现为：将该眼眶区域中的红色像素对应的掩膜图像信息置为1，该眼眶区域中红色像素以外的像素对应的掩膜图像信息置为0，从而形成该第一掩膜图像。
进一步地，图形处理装置500还包括选择单元503和图形处理单元504，其中，选择单元503用于从该异常眼部区域以外选择至少一个候选参考点。确定单元501还用于根据该至少一个候选参考点中部分或全部候选参考点的YUV数据确定该异常眼部区域的参考点的YUV参考值。如果该参考点的YUV参考值都符合预定的条件，则图形处理单元504根据该参考点的YUV参考值调整该异常眼部区域的外亮点区域，根据该异常眼部区域的内亮点区域的亮度平均值调整该异常眼部区域的内亮点区域，或者如果该参考点的YUV参考值不符合预定的条件，则图形处理单元504将该异常眼部区域的外亮点区域从YUV空间转换为HSV空间，并根据渐变因子调低该外亮点区域的像素在该HSV空间的H值，然后根据该异常眼部区域的内亮点区域的亮度平均值调整该异常眼部区域的内亮点区域。其中，该渐变因子随着该外亮点区域的像素距离该眼部区域中心的减小而减小，该内亮点区域以该异常眼部区域的中心点为圆心，以该异常眼部区域的最佳亮点半径为半径，该外亮点区域为该异常眼部区域中该内亮点区域以外的区域。图形处理单元504还用于对该异常眼部区域进行平滑处理。具体地，该预定的条件为：该参考点的YUV参考值对应于红色像素，并且该参考点的YUV亮度值乘以第二预定系数小于异常眼部区域的中间亮度值，并且异常眼部区域的亮度平均值小于预定亮度值。具体地，图形处理单元504可用高斯模糊处理对该异常眼部区域进行平滑处理。优选地，该第二预定系数取值为0.9，该预定亮度值取值为115。
具体地，该渐变因子用以下公式确定：factor=（fMax-fMin）*（distance-a*radius）/（radius-a*radius）+fMin，其中factor表示渐变衰减因子，radius表示所述异常眼部区域的原始半径，distance表示该外亮点区域的像素到所述异常眼部区域的中心的距离，fMax表示factor的最大值，fMin表示factor的最小值，a表示渐变因子的距离系数。优选地，该渐变因子公式可表示为：factor=（0.4-0.1）*（distance–0.25*radius）/（radius–0.25*radius）+0.1，其中，fMax取值为0.4，fMin取值为0.1，a取值为0.25。
具体地，该异常眼部区域的最佳亮点半径用以下公式确定：optR=（maxR-minR）*（eyedistance-100）/500+minR，其中，optR表示该异常眼部区域的最佳亮点半径，maxR表示估算出的该异常眼部区域的最佳亮点半径的最大值，minR表示估算出的该异常眼部区域的最佳亮点半径的最小值，eyedistance表示该图像中两个眼睛中心的距离。
具体地，在用于根据该至少一个候选参考点中部分或全部候选参考点的YUV数据确定该异常眼部区域的参考点的YUV参考值，确定单元501具体可实现为：获取该至少一个候选参考点中部分或全部候选参考点的YUV数据的平均值；如果该平均值对应的亮度值大于预定的阈值，则确定预定的参考值作为该异常眼部区域的参考点的参考值，否则以该平均值作为该异常眼部区域的参考点的参考值。
本发明实施例红色像素的一种判断方式，红色像素的RGB满足以下条件：max（r,g,b）>th1，且max（r,g,b）-g>th2，且max（r,g,b）/g>th3，其中，r表示RGB的三个颜色分量中的红色分量，g表示RGB的三个颜色分量中的绿色分量，b表示RGB的三个颜色分量中蓝色分量，th1、th2、th3分别表示红色像素的3个预定值。
本发明实施例红色像素的另一种判断方式，红色像素的RGB满足以下条件：r2/(g2+b2+th4)>th5，且r>th6,其中，r表示RGB的三个颜色分量中的红色分量，g表示RGB的三个颜色分量中的绿色分量，b表示RGB的三个颜色分量中蓝色分量，th4、th5、th6分别表示红色像素判定的3个预定值。
上述提取第一掩膜图像的方式也适用于提取第二掩膜图像，本发明实施例在此不再赘述。
图形处理装置500还可执行图1的方法，并具备图形处理装置在图1、图3所示实施例中的功能，具体实现可参考图1、图3所示的具体实施例，本发明实施例在此不再赘述。
图6是本发明实施例图形处理装置600的结构示意图。图形处理装置600可包括：IO接口601、处理器602和存储器603。
IO接口601、处理器602和存储器603通过总线604系统相互连接。总线604可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器603，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器603可以包括只读存储器和随机存取存储器，并向处理器602提供指令和数据。存储器603可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。
IO接口601，用于接收输入图像，并输出处理后的图像输出。
处理器602，执行存储器603所存放的程序，用于确定IO接口601接收的输入图像的眼眶区域，获取该眼眶区域的第一掩膜图像，根据该第一掩膜图像确定该眼眶区域的至少一个第一异常区域，根据该眼眶区域的第一掩膜图像确定该至少一个第一异常区域中的第一候选异常眼部区域，并在该第一候选异常眼部区域的置信度大于第七预定值时，确定该第一候选异常眼部区域为该眼眶区域中的异常眼部区域。
其中，该第一候选异常眼部区域满足该第一掩膜图像对应的异常眼部区域判断条件中的所有判断条件，该第一掩膜图像对应的异常眼部区域判断条件包括以下至少一个条件：该第一候选异常眼部区域的像素个数大于第一预定值，该第一候选异常眼部区域的圆度大于第二预定值且该第一候选异常眼部区域的圆度小于第三预定值，该第一候选异常眼部区域的原始半径大于第四预定值，该第一候选异常眼部区域的填充度大于第五预定值，该第一候选异常眼部区域与该眼眶区域的像素比大于第六预定值，其中第一预定值为一个正整数，第二预定值为一个小于1的正数，第三预定值为一个大于1的正数，该第四预定值为一个正数，该第五预定值为一个正数，该第六预定值为一个正数。例如，第一预定值取值为60，第二预定值取值为0.6，第三预定值取值为1.6，第四预定值取值为30，第五预定值取值为0.65，第六预定值取值为0.08，等等。
另外该第一候选异常眼部区域的置信度由该第一候选异常眼部区域的填充度和该眼眶区域的亮度特征确定，该第一候选异常眼部区域的置信度用于表示第一候选异常眼部区域为眼眶区域的异常眼部区域的可信程度。
上述如本发明图1、图3任一实施例揭示的图形处理装置执行的方法可以应用于处理器602中，或者由处理器602实现。处理器602可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器602中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器602可以是通用处理器，包括中央处理器（CentralProcessing Unit，简称CPU）、网络处理器（Network Processor，简称NP）等；还可以是数字信号处理器（DSP）、专用集成电路（ASIC）、现成可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器603，处理器602读取存储器603中的信息，结合其硬件完成上述方法的步骤。
本发明实施例中，图形处理装置600通过对眼眶区域的掩膜图像进行分析获取候选异常眼部区域，并通过候选异常眼部区域的填充度和眼眶区域的亮度特征确定候选异常眼部区域的置信度，从而能够更准确地定位眼部图像的异常眼部区域，为异常眼部的处理提供了准确的位置信息。
可选地，处理器602还用于当该异常眼部区域未被找到时，获取该眼眶区域的第二掩膜图像，并根据该第二掩膜图像确定该眼眶区域的至少一个第二异常区域，其中该第二掩膜图像为金眼掩膜图像或红眼掩膜图像，该第二掩膜图像为二值掩膜图像，该第二掩膜图像不同于该第一掩膜图像；处理器602还用于根据该第二掩膜图像对应的异常眼部区域判断条件确定该至少一个第二异常区域中的第二候选异常眼部区域，并且当该第二候选异常眼部区域的置信度大于第十四预定值时，确定该第二候选异常眼部区域为该眼眶区域的异常眼部区域，其中该第二候选异常眼部区域满足该第二掩膜图像对应的异常眼部区域判断条件中的所有判断条件，该第二掩膜图像对应的异常眼部区域判断条件包括以下至少一个条件：该第二候选异常眼部区域的像素个数大于第八预定值，该第二候选异常眼部区域的圆度大于第九预定值且该第二候选异常眼部区域的圆度小于第十预定值，该第二候选异常眼部区域的原始半径大于第十一预定值，该第二候选异常眼部区域的填充度大于第十二预定值，该第二候选异常眼部区域与该眼眶区域的像素比大于第十三预定值，其中第八预定值为一个正整数，第九预定值为一个小于1的正数，第十预定值为一个大于1的正数，该第十一预定值为一个正数，该第十二预定值为一个正数，该第十三预定值为一个正数，该第二候选异常眼部区域的置信度由该第二候选异常眼部区域的填充度和该眼眶区域的亮度特征确定。
本发明实施例中，当一种掩膜图像定位异常眼部区域失败时，提取眼部区域的另一种掩膜图像，进而确定异常眼部区域，能够提高异常眼部区域定位的准确性。
可选地，处理器602还可对第一掩膜图像进行形态学操作以移除所述第一掩膜图像的孤立点。
可选地，该第一候选异常眼部区域的置信度s用公式（6.1）表示：
s=c+β*gray 公式（6.1），
其中c表示该第一候选异常眼部区域的填充度，gray表示该眼眶区域的亮度特征，β表示该眼眶区域的亮度特征在置信度中的比例因子；
该第一候选异常眼部区域的填充度c用公式（6.2）表示：
c=sp/（π*radius*radius） 公式（6.2），
其中，sp表示该第一候选异常眼部区域的像素个数，radius表示该第一候选异常眼部区域的原始半径；
该眼眶区域的亮度特征gray用公式（6.3）表示：
gray=（α*gray4-gray2）/（α*gray4） 公式（6.3），
其中，gray4表示该眼眶区域的平均亮度，gray2表示该第一候选异常眼部区域以外预定个像素范围内区域的平均亮度，或者gray2表示该第一候选异常眼部区域以外预定个像素范围以内的参考点的平均亮度，α表示该眼眶区域的平均亮度在该眼眶区域的亮度特征的比例因子。
可选地，作为一个实施例，在用于获取该眼眶区域的第一掩膜图像，处理器602具体用于获取该眼眶区域的亮度信息；根据该眼眶区域的亮度信息获取该眼眶区域的边缘强度图像；对该边缘强度图像进行二值聚类分割以获取该眼眶区域的第一掩膜图像。具体地，在用于根据该眼眶区域的亮度信息获取该眼眶区域的边缘强度图像，处理器602具体用于对该眼眶区域进行高斯模糊处理，根据sobel算子对该进行高斯模糊处理后的眼眶区域进行soble边缘强度提取以获取该眼眶区域的边缘强度图像；在用于对该边缘强度图像进行二值聚类分割以获取该眼眶区域的第一掩膜图像，处理器602具体用于获取使得该眼眶区域的边缘强度图像按阈值分成两类后类间方差最大的第一阈值，将小于第一阈值的边缘强度设为第一阈值，并获取使得该眼眶区域的边缘强度图像按阈值分成两类后类间方差最大的第二阈值，并根据该第二阈值对该眼眶区域的边缘强度图像进行二值化以获取该眼眶区域的第一掩膜图像，其中边缘强度小于第二阈值的像素的掩膜图像信息取值为0，边缘强度大于或等于第二阈值的像素的掩膜图像信息取值为1。
进一步地，处理器602还用于如果该异常眼部区域的原始半径的值大于该眼眶区域中异常眼部区域的最小经验半径乘以第一预定系数后的值，则从该异常眼部区域之外选择至少一个候选参考点，并根据该至少一个候选参考点中部分或全部候选参考点的YUV数据确定该异常眼部区域的参考点的YUV参考值。如果如果该参考点的YUV参考值对应的像素不是红色像素，则处理器602还用于根据该参考点的YUV参考值调整该异常眼部区域的外亮点区域，根据该异常眼部区域的内亮点区域的亮度平均值调整该异常眼部区域的内亮点区域，并对该异常眼部区域进行平滑处理。其中该内亮点区域以该异常眼部区域的中心点为圆心，以该异常眼部区域的最佳亮点半径为半径，该外亮点区域为该异常眼部区域中该内亮点区域以外的区域。具体地，则处理器602可通过高斯模糊处理对该异常眼部区域进行平滑处理。
优选的，该最小经验半径用以下公式确定：minRad=width/60+2，其中，minRad表示该最小经验半径，width表示该异常眼部区域所在的眼眶区域的宽度。
优选的，该第一预定系数为1.25。
具体地，该异常眼部区域的最佳亮点半径用以下公式确定：optR=（maxR-minR）*（eyedistance-100）/600+minR，其中，optR表示该异常眼部区域的最佳亮点半径，maxR表示估算出的该异常眼部区域的最佳亮点半径的最大值，minR表示估算出的该异常眼部区域的最佳亮点半径的最小值，eyedistance表示该输入图像中两个眼睛中心的距离。
具体地，在用于根据该至少一个候选参考点中部分或全部候选参考点的YUV数据确定该异常眼部区域的参考点的YUV参考值，处理器602具体可实现为：获取该至少一个候选参考点中部分或全部候选参考点的YUV数据的平均值；如果该平均值对应的亮度值大于预定的阈值，则确定预定的参考值作为该异常眼部区域的参考点的参考值，否则以该平均值作为该异常眼部区域的参考点的参考值。
可选地，作为另一个实施例，在用于获取该眼眶区域的第一掩膜图像，处理器602具体实现为：获取该眼眶区域的RGB信息；根据该眼眶区域的RGB信息对该眼眶区域进行二值分割以获取该眼眶区域的第一掩膜图像。具体地，在用于根据该眼眶区域的RGB信息对该眼眶区域进行二值分割以获取该眼眶区域的第一掩膜图像，处理器602具体实现为：将该眼眶区域中的红色像素对应的掩膜图像信息置为1，该眼眶区域中红色像素以外的像素对应的掩膜图像信息置为0，从而形成该第一掩膜图像。
进一步地，处理器602还用于从该异常眼部区域以外选择至少一个候选参考点，并根据该至少一个候选参考点中部分或全部候选参考点的YUV数据确定该异常眼部区域的参考点的YUV参考值。如果该参考点的YUV参考值都符合预定的条件，则处理器602还用于根据该参考点的YUV参考值调整该异常眼部区域的外亮点区域，并根据该异常眼部区域的内亮点区域的亮度平均值调整该异常眼部区域的内亮点区域；或者如果该参考点的YUV参考值不符合预定的条件，则处理器602还用于将该异常眼部区域的外亮点区域从YUV空间转换为HSV空间，并根据渐变因子调低该外亮点区域的像素在该HSV空间的H值，然后根据该异常眼部区域的内亮点区域的亮度平均值调整该异常眼部区域的内亮点区域，并对该异常眼部区域进行平滑处理。其中，该渐变因子随着该外亮点区域的像素距离该眼部区域中心的减小而减小，该内亮点区域以该异常眼部区域的中心点为圆心，以该异常眼部区域的最佳亮点半径为半径，该外亮点区域为该异常眼部区域中该内亮点区域以外的区域。具体地，该预定的条件为：该参考点的YUV参考值对应于红色像素，并且该参考点的YUV亮度值乘以第二预定系数小于异常眼部区域的中间亮度值，并且异常眼部区域的亮度平均值小于预定亮度值。具体地，则处理器602可用高斯模糊处理对该异常眼部区域进行平滑处理。优选地，该第二预定系数取值为0.9，该预定亮度值取值为115。
可选地，该渐变因子用以下公式确定：factor=（fMax-fMin）*（distance-a*radius）/（radius-a*radius）+fMin，其中factor表示渐变衰减因子，radius表示该异常眼部区域的原始半径，distance表示该外亮点区域的像素到该异常眼部区域的中心的距离，fMax表示factor的最大值，fMin表示factor的最小值，a表示渐变因子的距离系数。优选地，该渐变因子公式可表示为：factor=（0.4-0.1）*（distance–0.25*radius）/（radius–0.25*radius）+0.1，其中，fMax取值为0.4，fMin取值为0.1，a取值为0.25。
具体地，该异常眼部区域的最佳亮点半径用以下公式确定：optR=（maxR-minR）*（eyedistance-100）/600+minR，其中，optR表示该异常眼部区域的最佳亮点半径，maxR表示估算出的该异常眼部区域的最佳亮点半径的最大值，minR表示估算出的该异常眼部区域的最佳亮点半径的最小值，eyedistance表示该输入图像中两个眼睛中心的距离。
具体地，在用于根据该至少一个候选参考点中部分或全部候选参考点的YUV数据确定该异常眼部区域的参考点的YUV参考值，处理器602具体可实现为：获取该至少一个候选参考点中部分或全部候选参考点的YUV数据的平均值；如果该平均值对应的亮度值大于预定的阈值，则确定预定的参考值作为该异常眼部区域的参考点的参考值，否则以该平均值作为该异常眼部区域的参考点的参考值。
本发明实施例红色像素的一种判断方式，红色像素的RGB满足以下条件：max（r,g,b）>th1，且max（r,g,b）-g>th2，且max（r,g,b）/g>th3，其中，r表示RGB的三个颜色分量中的红色分量，g表示RGB的三个颜色分量中的绿色分量，b表示RGB的三个颜色分量中蓝色分量，th1、th2、th3分别表示红色像素的3个预定值。
本发明实施例红色像素的另一种判断方式，红色像素的RGB满足以下条件：r2/(g2+b2+th4)>th5，且r>th6,其中，r表示RGB的三个颜色分量中的红色分量，g表示RGB的三个颜色分量中的绿色分量，b表示RGB的三个颜色分量中蓝色分量，th4、th5、th6分别表示红色像素判定的3个预定值。
上述提取第一掩膜图像的方式也适用于提取第二掩膜图像，本发明实施例在此不再赘述。
图形处理装置600还可执行图1的方法，并具备图形处理装置在图1、图3所示实施例中的功能，具体实现可参考图1、图3所示的具体实施例，本发明实施例在此不再赘述。
可以理解的是，本发明实施例中提到的图形处理装置可以为终端设备，例如可以为移动电话、平板电脑等。也可以是便携式、袖珍式、手持式、计算机内置的或者车载的终端设备等。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (32)
1.一种眼部图像处理方法，其特征在于，包括：
确定输入图像的眼眶区域；
获取所述眼眶区域的第一掩膜图像，其中，所述第一掩膜图像为金眼掩膜图像或红眼掩膜图像，所述第一掩膜图像为二值掩膜图像；
根据所述第一掩膜图像确定所述眼眶区域的至少一个第一异常区域；
根据所述第一掩膜图像对应的异常眼部区域判断条件确定所述至少一个第一异常区域中的第一候选异常眼部区域，其中所述第一候选异常眼部区域满足所述第一掩膜图像对应的异常眼部区域判断条件中的所有判断条件，所述第一掩膜图像对应的异常眼部区域判断条件包括以下至少一个条件：所述第一候选异常眼部区域的像素个数大于第一预定值，所述第一候选异常眼部区域的圆度大于第二预定值且所述第一候选异常眼部区域的圆度小于第三预定值，所述第一候选异常眼部区域的原始半径大于第四预定值，所述第一候选异常眼部区域的填充度大于第五预定值，所述第一候选异常眼部区域与所述眼眶区域的像素比大于第六预定值，其中第一预定值为一个正整数，第二预定值为一个小于1的正数，第三预定值为一个大于1的正数，所述第四预定值为一个正数，所述第五预定值为一个正数，所述第六预定值为一个正数；
当所述第一候选异常眼部区域的置信度大于第七预定值时，确定所述第一候选异常眼部区域为所述眼眶区域中的异常眼部区域，所述第一候选异常眼部区域的置信度由所述第一候选异常眼部区域的填充度和所述眼眶区域的亮度特征确定；
其中，所述第一候选异常眼部区域的置信度s用以下公式表示，
s＝c+β*gray，
其中，β表示所述眼眶区域的亮度特征在所述置信度中的比例因子，gray表示所述眼眶区域的亮度特征，gray＝(α*gray4-gray2)/(α*gray4)，c表示所述第一候选异常眼部区域的填充度，c＝sp/(π*radius*radius)，其中，gray4表示所述眼眶区域的平均亮度，α表示所述眼眶区域的平均亮度在所述眼眶区域的亮度特征的比例因子，gray2表示所述第一候选异常眼部区域以外预定个像素范围以内的区域的平均亮度，或者gray2表示所述第一候选异常眼部区域以外预定个像素范围以内的若干个参考点的平均亮度，sp表示所述第一候选异常眼部区域的像素个数，radius表示所述第一候选异常眼部区域的原始半径。
2.如权利要求1所述的方法，其特征在于，还包括：
当所述异常眼部区域未被找到时，获取所述眼眶区域的第二掩膜图像，所述第二掩膜图像为金眼掩膜图像或红眼掩膜图像，其中所述第二掩膜图像为二值掩膜图像，所述第二掩膜图像不同于所述第一掩膜图像；
根据所述第二掩膜图像确定所述眼眶区域的至少一个第二异常区域；
根据所述第二掩膜图像对应的异常眼部区域判断条件确定所述至少一个第二异常区域中的第二候选异常眼部区域，其中所述第二候选异常眼部区域满足所述第二掩膜图像对应的异常眼部区域判断条件中的所有判断条件，所述第二掩膜图像对应的异常眼部区域判断条件包括以下至少一个条件：所述第二候选异常眼部区域的像素个数大于第八预定值，所述第二候选异常眼部区域的圆度大于第九预定值且所述第二候选异常眼部区域的圆度小于第十预定值，所述第二候选异常眼部区域的原始半径大于第十一预定值，所述第二候选异常眼部区域的填充度大于第十二预定值，所述第二候选异常眼部区域与所述眼眶区域的像素比大于第十三预定值，其中第八预定值为一个正整数，第九预定值为一个小于1的正数，第十预定值为一个大于1的正数，所述第十一预定值为一个正数，所述第十二预定值为一个正数，所述第十三预定值为一个正数；
当所述第二候选异常眼部区域的置信度大于第十四预定值时，确定所述第二候选异常眼部区域为所述眼眶区域中的异常眼部区域。
3.如权利要求1或2所述的方法，其特征在于，所述获取所述眼眶区域的第一掩膜图像包括：
获取所述眼眶区域的亮度信息；
根据所述眼眶区域的亮度信息获取所述眼眶区域的边缘强度图像；
对所述边缘强度图像进行二值聚类分割以获取所述眼眶区域的第一掩膜图像。
4.如权利要求3所述的方法，其特征在于，
所述根据所述眼眶区域的亮度信息获取所述眼眶区域的边缘强度图像包括：对所述眼眶区域进行高斯模糊处理，根据同性sobel算子对所述进行高斯模糊处理后的眼眶区域进行soble边缘强度提取以获取所述眼眶区域的边缘强度图像；
所述对所述边缘强度图像进行二值聚类分割以获取所述眼眶区域的第一掩膜图像包括：获取使得所述眼眶区域的边缘强度图像按阈值分成两类后类间方差最大的第一阈值，将小于第一阈值的边缘强度设为第一阈值，并获取使得所述眼眶区域的边缘强度图像按阈值分成两类后类间方差最大的第二阈值，并根据所述第二阈值对所述眼眶区域的边缘强度图像进行二值化以获取所述眼眶区域的第一掩膜图像，其中边缘强度小于第二阈值的像素的掩膜图像信息取值为0，边缘强度大于或等于第二阈值的像素的掩膜图像信息取值为1。
5.如权利要求4所述的方法，其特征在于，所述方法还包括：
如果所述异常眼部区域的原始半径的值大于所述眼眶区域中异常眼部区域的最小经验半径乘以第一预定系数后的值，则从所述异常眼部区域之外选择至少一个候选参考点；
根据所述至少一个候选参考点中部分或全部候选参考点的YUV数据确定所述异常眼部区域的参考点的YUV参考值；
如果所述参考点的YUV参考值对应的像素不是红色像素，则根据所述参考点的YUV参考值调整所述异常眼部区域的外亮点区域，根据所述异常眼部区域的内亮点区域的亮度平均值调整所述异常眼部区域的内亮点区域，其中所述内亮点区域以所述异常眼部区域的中心点为圆心，以所述异常眼部区域的最佳亮点半径为半径，所述外亮点区域为所述异常眼部区域中所述内亮点区域以外的区域；
对所述异常眼部区域进行平滑处理。
6.如权利要求5所述的方法，其特征在于，
所述眼眶区域中异常眼部区域的最小经验半径用以下公式确定：
minRad＝width/50+2，
其中，minRad表示所述眼眶区域中异常眼部区域的最小经验半径，width表示所述眼眶区域的宽度。
7.如权利要求6所述的方法，其特征在于，所述第一预定系数取值为1.25。
8.如权利要求1或2所述的方法，其特征在于，所述获取所述眼眶区域的第一掩膜图像包括：
获取所述眼眶区域的RGB信息；
根据所述眼眶区域的RGB信息对所述眼眶区域进行二值分割以获取所述眼眶区域的第一掩膜图像。
9.如权利要求8所述的方法，其特征在于，所述根据所述眼眶区域的RGB信息对所述眼眶区域进行二值分割以获取所述眼眶区域的第一掩膜图像包括：
将所述眼眶区域中的红色像素对应的掩膜图像信息置为1，所述眼眶区域中红色像素以外的像素对应的掩膜图像信息置为0，从而形成所述第一掩膜图像。
10.如权利要求9所述的方法，其特征在于，所述方法还包括：
从所述异常眼部区域以外选择至少一个候选参考点；
根据所述至少一个候选参考点中部分或全部候选参考点的YUV数据确定所述异常眼部区域的参考点的YUV参考值；
如果所述参考点的YUV参考值符合预定的条件，则根据所述参考点的YUV参考值调整所述异常眼部区域的外亮点区域，根据所述异常眼部区域的内亮点区域的亮度平均值调整所述异常眼部区域的内亮点区域，或者
如果所述参考点的YUV参考值不符合预定的条件，则将所述异常眼部区域的外亮点区域从YUV空间转换为HSV空间，并根据渐变因子调低所述外亮点区域的像素在HSV空间的亮度H值，然后根据所述异常眼部区域的内亮点区域像素的亮度平均值调整所述异常眼部区域的内亮点区域，所述渐变因子随着所述外亮点区域的像素与所述异常眼部区域中心的距离的减小而减小；
对所述异常眼部区域进行平滑处理；
其中，所述内亮点区域以所述异常眼部区域的中心点为圆心，以所述异常眼部区域的最佳亮点半径为半径，所述外亮点区域为所述异常眼部区域中所述内亮点区域以外的区域，所述预定的条件为：所述参考点的YUV参考值对应的像素是红色像素，并且所述参考点的YUV亮度值乘以第二预定系数后的值小于所述异常眼部区域的中间亮度值，并且所述异常眼部区域的亮度平均值小于预定亮度值。
11.如权利要求10所述的方法，其特征在于，所述第二预定系数取值为0.9，所述预定亮度值取值为115。
12.如权利要求10所述的方法的，其特征在于，所述渐变因子factor用以下公式确定：
factor＝(fMax-fMin)*(distance-a*radius)/(radius-a*radius)+fMin，
其中radius表示所述异常眼部区域的原始半径，distance表示所述外亮点区域的像素到所述异常眼部区域中心的距离，fMax表示factor的最大值，fMin表示factor的最小值，a表示所述渐变因子的距离系数。
13.如权利要求12所述的方法，其特征在于，所述渐变因子公式具体实现为：factor＝(0.4-0.1)*(distance–0.25*radius)/(radius–0.25*radius)+0.1，其中，fMax取值为0.4，fMin取值为0.1，a取值为0.25。
14.如权利要求5或10所述的方法，其特征在于，所述异常眼部区域的最佳亮点半径optR用以下公式确定：
optR＝(maxR-minR)*(eyedistance-100)/400+minR，
其中，maxR表示估算出的所述异常眼部区域的最佳亮点半径的最大值，minR表示估算出的所述异常眼部区域的最佳亮点半径的最小值，eyedistance表示所述输入图像中两个眼睛中心的距离。
15.如权利要求5或10所 述的方法，其特征在于，所述根据所述至少一个候选参考点中部分或全部候选参考点的YUV数据确定所述异常眼部区域的参考点的YUV参考值包括：
获取所述至少一个候选参考点中部分或全部候选参考点的YUV数据的平均值；
如果所述平均值对应的亮度值大于预定的阈值，则确定预定的参考值作为所述异常眼部区域的参考点的参考值，否则以所述平均值作为所述异常眼部区域的参考点的参考值。
16.如权利要求9所述的方法，其特征在于，
所述红色像素的RGB满足以下条件：max(r，g，b)>th1，且max(r，g，b)-g>th2，且max(r，g，b)/g>th3，其中，r表示RGB的三个颜色分量中的红色分量，g表示RGB的三个颜色分量中的绿色分量，b表示RGB的三个颜色分量中蓝色分量，th1、th2、th3分别表示红色像素的3个预定值；或者
所述红色像素的RGB满足以下条件：r2/(g2+b2+th4)>th5，且r>th6，其中，r表示RGB的三个颜色分量中的红色分量，g表示RGB的三个颜色分量中的绿色分量，b表示RGB的三个颜色分量中蓝色分量，th4、th5、th6分别表示红色像素判定的3个预定值。
17.一种图形处理装置，其特征在于，包括：
确定单元，用于确定输入图像的眼眶区域；
获取单元，用于获取所述眼眶区域的第一掩膜图像，并根据所述第一掩膜图像确定所述眼眶区域的至少一个第一异常区域，其中所述第一掩膜图像为金眼掩膜图像或红眼掩膜图像，所述第一掩膜图像为二值掩膜图像；
所述确定单元还用于根据所述第一掩膜图像对应的异常眼部区域判断条件确定所述至少一个第一异常区域中的第一候选异常眼部区域，其中所述第一候选异常眼部区域满足所述第一掩膜图像对应的异常眼部区域判断条件中的所有判断条件，所述第一掩膜图像对应的异常眼部区域判断条件包括以下至少一个条件：所述第一候选异常眼部区域的像素个数大于第一预定值，所述第一候选异常眼部区域的圆度大于第二预定值且所述第一候选异常眼部区域的圆度小于第三预定值，所述第一候选异常眼部区域的原始半径大于第四预定值，所述第一候选异常眼部区域的填充度大于第五预定值，所述第一候选异常眼部区域与所述眼眶区域的像素比大于第六预定值，其中第一预定值为一个正整数，第二预定值为一个小于1的正数，第三预定值为一个大于1的正数，所述第四预定值为一个正数，所述第五预定值为一个正数，所述第六预定值为一个正数；
所述确定单元还用于当所述第一候选异常眼部区域的置信度大于第七预定值时确定所述第一候选异常眼部区域为所述眼眶区域中的异常眼部区域，所述第一候选异常眼部区域的置信度由所述第一候选异常眼部区域的填充度和所述眼眶区域的亮度特征确定；
其中，所述第一候选异常眼部区域的置信度s用以下公式确定，
s＝c+β*gray，
其中，β表示所述眼眶区域的亮度特征在所述置信度中的比例因子，gray表示所述眼眶区域的亮度特征，gray＝(α*gray4-gray2)/(α*gray4)，c表示所述第一候选异常眼部区域的填充度，c＝sp/(π*radius*radius)，其中，gray4表示所述眼眶区域的平均亮度，α表示所述眼眶区域的平均亮度在所述眼眶区域的亮度特征的比例因子，gray2表示所述第一候选异常眼部区域以外预定个像素范围以内的区域的平均亮度，或者gray2表示所述第一候选异常眼部区域以外预定个像素范围以内的若干个参考点的平均亮度，sp表示所述第一候选异常眼部区域的像素个数，radius表示所述第一候选异常眼部区域的原始半径。
18.如权利要求17所述的装置，其特征在于，
所述获取单元还用于当所述异常眼部区域未被找到时，获取所述眼眶区域的第二掩膜图像，并根据所述第二掩膜图像确定所述眼眶区域的至少一个第二异常区域，其中所述第二掩膜图像为金眼掩膜图像或红眼掩膜图像，所述第二掩膜图像为二值掩膜图像，所述第二掩膜图像不同于所述第一掩膜图像；
所述确定单元还用于根据所述第二掩膜对应的异常眼部区域判断条件确定所述至少一个第二异常区域中的第二候选异常眼部区域，其中所述第二候选异常眼部区域满足所述第二掩膜图像对应的异常眼部区域判断条件中的所有判断条件，所述第二掩膜图像对应的异常眼部区域判断条件包括以下至少一个条件：所述第二候选异常眼部区域的像素个数大于第八预定值，所述第二候选异常眼部区域的圆度大于第九预定值且所述第二候选异常眼部区域的圆度小于第十预定值，所述第二候选异常眼部区域的原始半径大于第十一预定值，所述第二候选异常眼部区域的填充度大于第十二预定值，所述第二候选异常眼部区域与所述眼眶区域的像素比大于第十三预定值，其中第八预定值为一个正整数，第九预定值为一个小于1的正数，第十预定值为一个大于1的正数，所述第十一预定值为一个正数，所述第十二预定值为一个正数，所述第十三预定值为一个正数；
所述确定单元还用于当所述第二候选异常眼部区域的置信度大于第十四预定值时确定所述第二候选异常眼部区域为所述眼眶区域中的异常眼部区域。
19.如权利要求17或18所述的装置，其特征在于，所述获取单元具体用于：
获取所述眼眶区域的亮度信息；
根据所述眼眶区域的亮度信息获取所述眼眶区域的边缘强度图像；
对所述边缘强度图像进行二值聚类分割以获取所述眼眶区域的第一掩膜图像。
20.如权利要求19所述的装置，其特征在于，
在用于根据所述眼眶区域的亮度信息获取所述眼眶区域的边缘强度图像，所述获取单元具体用于：对所述眼眶区域进行高斯模糊处理，根据同性sobel算子对所述进行高斯模糊处理后的眼眶区域进行soble边缘强度提取以获取所述眼眶区域的边缘强度图像；
在用于对所述边缘强度图像进行二值聚类分割以获取所述眼眶区域的第一掩膜图像，所述获取单元具体用于：获取使得所述眼眶区域的边缘强度图像按阈值分成两类后类间方差最大的第一阈值，将小于第一阈值的边缘强度设为第一阈值，并获取使得所述眼眶区域的边缘强度图像按阈值分成两类后类间方差最大的第二阈值，并根据所述第二阈值对所述眼眶区域的边缘强度图像进行二值化以获取所述眼眶区域的第一掩膜图像，其中边缘强度小于第二阈值的像素的掩膜图像信息取值为0，边缘强度大于或等于第二阈值的像素的掩膜图像信息取值为1。
21.如权利要求20所述的装置，其特征在于，还包括：选择单元和图形处理单元，其中
所述选择单元用于如果所述异常眼部区域的原始半径的值大于所述眼眶区域中眼部区域的最小经验半径乘以第一预定系数的值，则从所述异常眼部区域之外选择至少一个候选参考点；
所述确定单元还用于根据所述至少一个候选参考点中部分或全部候选参考点的YUV数据确定所述异常眼部区域的参考点的YUV参考值；
所述图形处理单元用于如果所述参考点的YUV参考值对应的像素不是红色像素，则根据所述参考点的YUV参考值调整所述异常眼部区域的外亮点区域，根据所述异常眼部区域的内亮点区域的亮度平均值调整所述异常眼部区域的内亮点区域，其中所述内亮点区域以所述异常眼部区域的中心点为圆心，以所述异常眼部区域的最佳亮点半径为半径，所述外亮点区域为所述异常眼部区域中所述内亮点区域以外的区域；
所述图形处理单元还用于对所述异常眼部区域进行平滑处理。
22.如权利要求21所述的装置，其特征在于，
所述眼眶区域中异常眼部区域的最小经验半径用以下公式确定：
minRad＝width/50+2，
其中，minRad表示所述眼眶区域中异常眼部区域的最小经验半径，width表示所述眼眶区域的宽度。
23.如权利要求22所述的装置，其特征在于，所述第一预定系数为1.25。
24.如权利要求17或18所述的装置，其特征在于，所述获取单元具体用于：
获取所述眼眶区域的RGB信息；
根据所述眼眶区域的RGB信息对所述眼眶区域进行二值分割以获取所述眼眶区域的第一掩膜图像。
25.如权利要求24所述的装置，其特征在于，在用于根据所述眼眶区域的RGB信息对所述眼眶区域进行二值分割以获取所述眼眶区域的第一掩膜图像，所述获取单元具体用于：将所述眼眶区域中的红色像素对应的掩膜图像信息置为1，所述眼眶区域中红色像素以外的像素对应的掩膜图像信息置为0，从而形成所述第一掩膜图像。
26.如权利要求25所述的装置，其特征在于，还包括：选择单元和图形处理单元，其中，
所述选择单元用于从所述异常眼部区域以外选择至少一个候选参考点；
所述确定单元还用于根据所述至少一个候选参考点中部分或全部候选参考点的YUV数据确定所述异常眼部区域的参考点的YUV参考值；
所述图形处理单元用于如果所述参考点的YUV参考值符合预定的条件，则根据所述参考点的YUV参考值调整所述异常眼部区域的外亮点区域，根据所述异常眼部区域的内亮点区域的亮度平均值调整所述异常眼部区域的内亮点区域，或者
所述图形处理单元用于如果所述参考点的YUV参考值不符合预定的条件，则将所述异常眼部区域的外亮点区域从YUV空间转换为HSV空间，并根据渐变因子调低所述外亮点区域的像素在HSV空间的亮度H值，然后根据所述异常眼部区域的内亮点区域像素的亮度平均值调整所述异常眼部区域的内亮点区域，所述渐变因子随着所述外亮点区域的像素与所述异常眼部区域中心的距离的减小而减小，
其中，所述内亮点区域以所述异常眼部区域的中心点为圆心，以所述异常眼部区域的最佳亮点半径为半径，所述外亮点区域为所述异常眼部区域中所述内亮点区域以外的区域，所述预定的条件为：所述参考点的YUV参考值对应的像素是红色像素，并且所述参考点的YUV亮度值乘以第二预定系数后的值小于所述异常眼部区域的中间亮度值，并且所述异常眼部区域的亮度平均值小于预定亮度值；
所述图形处理单元还用于对所述异常眼部区域进行平滑处理。
27.如权利要求26所述的装置，其特征在于，所述第二预定系数取值为0.9，所述预定亮度值取值为115。
28.如权利要求26所述的装置，其特征在于，所述渐变因子factor用以下公式确定：
factor＝(fMax-fMin)*(distance-a*radius)/(radius-a*radius)+fMin，
其中radius表示所述异常眼部区域的原始半径，distance表示所述外亮点区域的像素到所述异常眼部区域中心的距离，fMax表示factor的最大值，fMin表示factor的最小值，a表示所述渐变因子的距离系数。
29.如权利要求28所述的装置，其特征在于，所述渐变因子公式具体实现为：factor＝(0.4-0.1)*(distance–0.25*radius)/(radius–0.25*radius)+0.1，其中，fMax取值为0.4，fMin取值为0.1，a取值为0.25。
30.如权利要求21或26所述的装置，其特征在于，所述异常眼部区域的最佳亮点半径optR用以下公式确定：
optR＝(maxR-minR)*(eyedistance-100)/400+minR，
其中，maxR表示估算出的所述异常眼部区域的最佳亮点半径的最大值，minR表示估算出的所述异常眼部区域的最佳亮点半径的最小值，eyedistance表示所述输入图像中两个眼睛中心的距离。
31.如权利要求21或26所 述的装置，其特征在于，在用于根据所述至少一个候选参考点中部分或全部候选参考点的YUV数据确定所述异常眼部区域的参考点的YUV参考值，所述确定单元具体用于：
获取所述至少一个候选参考点中部分或全部候选参考点的YUV数据的平均值；
如果所述平均值对应的亮度值大于预定的阈值，则确定预定的参考值作为所述异常眼部区域的参考点的参考值，否则以所述平均值作为所述异常眼部区域的参考点的参考值。
32.如权利要求25所 述的装置，其特征在于，
所述红色像素的RGB满足以下条件：max(r，g，b)>th1，且max(r，g，b)-g>th2，且max(r，g，b)/g>th3，其中，r表示RGB的三个颜色分量中的红色分量，g表示RGB的三个颜色分量中的绿色分量，b表示RGB的三个颜色分量中蓝色分量，th1、th2、th3分别表示红色像素的3个预定值；或者
所述红色像素的RGB满足以下条件：r2/(g2+b2+th4)>th5，且r>th6，其中，r表示RGB的三个颜色分量中的红色分量，g表示RGB的三个颜色分量中的绿色分量，b表示RGB的三个颜色分量中蓝色分量，th4、th5、th6分别表示红色像素判定的3个预定值。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310559822.9A CN104637031B (zh) | 2013-11-12 | 2013-11-12 | 眼部图像处理方法和装置 |
| PCT/CN2014/090454 WO2015070723A1 (zh) | 2013-11-12 | 2014-11-06 | 眼部图像处理方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310559822.9A CN104637031B (zh) | 2013-11-12 | 2013-11-12 | 眼部图像处理方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104637031A CN104637031A (zh) | 2015-05-20 |
| CN104637031B true CN104637031B (zh) | 2017-08-29 |
Family
ID=53056757
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310559822.9A Active CN104637031B (zh) | 2013-11-12 | 2013-11-12 | 眼部图像处理方法和装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN104637031B (zh) |
| WO (1) | WO2015070723A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11955240B1 (en) | 2023-04-14 | 2024-04-09 | Renmin Hospital Of Wuhan University (hubei General Hospital) | Neural-network-based-implemented ophthalmologic intelligent consultation method and apparatus |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105447874A (zh) * | 2015-12-07 | 2016-03-30 | 温州医科大学眼视光器械有限公司 | 一种人眼出血图像检测装置 |
| CN106210522B (zh) * | 2016-07-15 | 2019-06-14 | Oppo广东移动通信有限公司 | 一种图像处理方法、装置、移动终端及可读存储介质 |
| CN107451998B (zh) * | 2017-08-08 | 2020-11-06 | 北京大恒普信医疗技术有限公司 | 一种眼底图像质量控制方法 |
| CN107895343B (zh) * | 2017-12-31 | 2021-02-23 | 广州二元科技有限公司 | 一种基于五官定位快速简单上腮红的图像处理方法 |
| CN108305267B (zh) * | 2018-02-14 | 2020-08-11 | 北京市商汤科技开发有限公司 | 物体分割方法、装置、设备、存储介质及程序 |
| CN108921854B (zh) * | 2018-05-22 | 2022-06-21 | 复旦大学 | 一种消化道内镜图像不规则病变区域标注方法及系统 |
| CN109829921B (zh) * | 2018-12-14 | 2023-10-31 | 清影医疗科技（深圳）有限公司 | 一种头部的ct图像的处理方法及其系统、设备、存储介质 |
| CN109636796A (zh) * | 2018-12-19 | 2019-04-16 | 中山大学中山眼科中心 | 一种人工智能眼部图片分析方法、服务器和系统 |
| CN110097502B (zh) * | 2019-04-16 | 2022-03-15 | 深圳市莫廷影像技术有限公司 | 眼底无灌注区的测量方法及装置及图像处理方法 |
| CN111080580B (zh) * | 2019-11-29 | 2023-06-09 | 山东大学 | 基于中智集合的超声乳腺肿瘤快速阈值分割方法及系统 |
| CN111931772B (zh) * | 2020-09-18 | 2021-02-09 | 平安科技（深圳）有限公司 | 医学图像处理方法、装置、设备及存储介质 |
| CN116309549B (zh) * | 2023-05-11 | 2023-10-03 | 爱尔眼科医院集团股份有限公司 | 一种眼底区域检测方法、装置、设备及可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1635547A (zh) * | 2003-12-29 | 2005-07-06 | 佳能株式会社 | 检测和校正图像中的红眼的方法 |
| CN1750017A (zh) * | 2005-09-29 | 2006-03-22 | 上海交通大学 | 基于人脸检测的红眼去除方法 |
| CN1881234A (zh) * | 2005-06-14 | 2006-12-20 | 佳能株式会社 | 图像处理设备、图像处理方法、计算机程序和存储介质 |
| CN1993707A (zh) * | 2004-07-30 | 2007-07-04 | 佳能株式会社 | 图像处理方法和设备、摄像设备以及程序 |
| CN101454798A (zh) * | 2006-03-30 | 2009-06-10 | 富士胶片株式会社 | 红眼检测仪器、红眼检测方法和红眼检测程序 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1288858A1 (de) * | 2001-09-03 | 2003-03-05 | Agfa-Gevaert AG | Verfahren zum automatischen Erkennen von rote-Augen-Defekten in fotographischen Bilddaten |
| CN103226690B (zh) * | 2012-01-30 | 2016-03-02 | 展讯通信（上海）有限公司 | 检测红眼的方法及装置、去除红眼的方法及装置 |
-
2013
- 2013-11-12 CN CN201310559822.9A patent/CN104637031B/zh active Active
-
2014
- 2014-11-06 WO PCT/CN2014/090454 patent/WO2015070723A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1635547A (zh) * | 2003-12-29 | 2005-07-06 | 佳能株式会社 | 检测和校正图像中的红眼的方法 |
| CN1993707A (zh) * | 2004-07-30 | 2007-07-04 | 佳能株式会社 | 图像处理方法和设备、摄像设备以及程序 |
| CN1881234A (zh) * | 2005-06-14 | 2006-12-20 | 佳能株式会社 | 图像处理设备、图像处理方法、计算机程序和存储介质 |
| CN1750017A (zh) * | 2005-09-29 | 2006-03-22 | 上海交通大学 | 基于人脸检测的红眼去除方法 |
| CN101454798A (zh) * | 2006-03-30 | 2009-06-10 | 富士胶片株式会社 | 红眼检测仪器、红眼检测方法和红眼检测程序 |
Non-Patent Citations (1)
| Title |
|---|
| "红眼照片自动检测和修复方法";王艺莼等;《计算机工程》;20030731;第29卷(第11期);第2.2节 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11955240B1 (en) | 2023-04-14 | 2024-04-09 | Renmin Hospital Of Wuhan University (hubei General Hospital) | Neural-network-based-implemented ophthalmologic intelligent consultation method and apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2015070723A1 (zh) | 2015-05-21 |
| CN104637031A (zh) | 2015-05-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104637031B (zh) | 眼部图像处理方法和装置 | |
| US8184900B2 (en) | Automatic detection and correction of non-red eye flash defects | |
| US7747071B2 (en) | Detecting and correcting peteye | |
| KR100872253B1 (ko) | 이미지 센서에 의해 생성된 이미지의 노이즈 제거 방법 | |
| CN108197546B (zh) | 人脸识别中光照处理方法、装置、计算机设备及存储介质 | |
| CN101794434B (zh) | 图像处理装置及图像处理方法 | |
| EP1499110A2 (en) | Detecting and correcting red-eye in a digital-image | |
| US20070286490A1 (en) | Facial feature detection method and device | |
| CN107451998A (zh) | 一种眼底图像质量控制方法 | |
| CN110443747A (zh) | 图像处理方法、装置、终端及计算机可读存储介质 | |
| CN105103187A (zh) | 用于阴影检测和减弱的多光谱成像系统 | |
| CN110111245B (zh) | 图像处理方法、装置、终端及计算机可读存储介质 | |
| IES20060559A2 (en) | Automatic detection and correction of non-red flash eye defects | |
| CN106096491B (zh) | 一种眼底彩色照相图像中微动脉瘤自动化识别方法 | |
| CN107295324A (zh) | 白平衡处理方法、装置和终端设备 | |
| CN112529800A (zh) | 一种用于滤除毛发噪声的近红外静脉图像处理方法 | |
| CN109377473A (zh) | 一种定位目标取脉点的方法及装置 | |
| Fernandez et al. | Teeth/palate and interdental segmentation using artificial neural networks | |
| CN109583330B (zh) | 一种用于人脸照片的毛孔检测方法 | |
| WO2018046407A1 (en) | Particle boundary identification | |
| CN106920266A (zh) | 验证码的背景生成方法和装置 | |
| CN108805838A (zh) | 一种图像处理方法、移动终端及计算机可读存储介质 | |
| Joshi et al. | Review of preprocessing techniques for fundus image analysis | |
| CN110675325B (zh) | 一种增强眼底图像的方法和装置 | |
| CN109816622A (zh) | 一种基于分块的自适应水果缺陷检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20171114 Address after: Metro Songshan Lake high tech Industrial Development Zone, Guangdong Province, Dongguan City Road 523808 No. 2 South Factory (1) project B2 -5 production workshop Patentee after: HUAWEI terminal (Dongguan) Co., Ltd. Address before: 518129 Longgang District, Guangdong, Bantian HUAWEI base B District, building 2, building No. Patentee before: Huawei Device Co., Ltd. |
|
| TR01 | Transfer of patent right | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 523808 Southern Factory Building (Phase I) Project B2 Production Plant-5, New Town Avenue, Songshan Lake High-tech Industrial Development Zone, Dongguan City, Guangdong Province Patentee after: Huawei Device Co., Ltd. Address before: 523808 Southern Factory Building (Phase I) Project B2 Production Plant-5, New Town Avenue, Songshan Lake High-tech Industrial Development Zone, Dongguan City, Guangdong Province Patentee before: HUAWEI terminal (Dongguan) Co., Ltd. |
|
| CP01 | Change in the name or title of a patent holder |