CN108108658B - 生物特征识别方法 - Google Patents
生物特征识别方法 Download PDFInfo
- Publication number
- CN108108658B CN108108658B CN201711180441.4A CN201711180441A CN108108658B CN 108108658 B CN108108658 B CN 108108658B CN 201711180441 A CN201711180441 A CN 201711180441A CN 108108658 B CN108108658 B CN 108108658B
- Authority
- CN
- China
- Prior art keywords
- image
- mirrored
- eye
- images
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 239000013598 vector Substances 0.000 claims description 75
- 238000012545 processing Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000012935 Averaging Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000007635 classification algorithm Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 claims description 2
- 238000012360 testing method Methods 0.000 description 11
- 238000005286 illumination Methods 0.000 description 7
- 230000008921 facial expression Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
Abstract
根据本发明的方法基于人的第一眼部区域的第一图像和人的第二眼部区域的第二图像，其中第一眼部区域包含人的一只眼睛、例如右眼，而第二眼部区域包含人的另一只眼睛、例如左眼；图像中的一个被镜像，并且镜像后的和未被镜像的图像在位置空间中和/或在特征空间中被组合，以产生叠加图像的模板。模板包含用于个人识别的生物特征。
Description
技术领域
本发明涉及一种用于产生用于基于人的眼部区域进行个人识别的生物特征数据的方法。
背景技术
基于面部识别对人进行生物特征验证是公知的。例如可以将面部的数码照片与面部的参考相片进行比较，该面部的参考相片例如是根据ICAO(Internationale Zivilluft-fahrt-Organisation，国际民航组织)的规定按照生物特征标准ICAO 9303(PhotographGuideline，摄影指南)拍摄的。基于非规范化的图像进行个人识别也越来越普遍。例如在许多边境站，数码照片与相片之间的比较是例行的。一个人的数码照片还可以与同一个人在数据库中存储的照片相比较，以允许该人员访问设备、计算机、因特网上的应用程序等。例如在DE 198 47 261 A1中描述了一种个人生物特征识别方法。个人生物特征识别方法被认为是特别可靠的，因为其使用特定于人的特征。
在不远的过去开发了不是基于对整个面部的特征的识别、而是仅考虑人的眼部区域的个人识别方法。之所以使用眼部区域(眼周区域)进行个人识别通常也导致良好的结果，是因为在面部的该区域中与例如前额、脸颊和鼻子不同通常较少出现有光泽的表面。由P.Jonathon Phillips博士在美国国家标准和技术研究所、NIST对于基于整个面部和基于眼部区域的识别方法的性能进行了大量研究。结果在https://www.nist.gov/programs- projects/face-and-ocular-challenge-series-focs中示出并显示，即，识别率强烈取决于面部的照明情况以及取决于面部表情的一致性。为此开发了所谓的好、差和极差(G BU)测试，其比较在好、中等和差的图像对(参考图像和当前图像)中的识别率。在测试中调节个人识别的试验参数，使得利用给出的识别方法，误识率或FAR为0.001。
FAR描述了一个人被识别的概率或相对频度，尽管不是真正的人。FAR一般视为对于生物特征识别方法的质量的最重要的标准。0.001的FAR意味着，在统计平均为1000个未经授权的访问尝试中，有一个会成功。
Phillips的研究已经提出，即使使用面部识别的最好的个人识别方法在FAR为0.001时，在照明情况良好且图像对一致性好的情况下(Good)肯定识别率为0.98；在照明情况中等且图像对一致性中等的情况下(Bad)肯定识别率为0.80；而在照明情况差且图像对一致性差的情况下(Ugly)肯定识别率为0.15。在该测试的范围内还研究仅基于眼部区域(“眼周识别(periocular recognition)”)进行的个人识别的性能。识别率明显更差并且对于测试场景好、差和极差处于47％、17％和5％的量级。由此，对于基于眼部区域的个人识别、特别是在中等和差的条件下存在改进需求。
发明内容
本发明要解决的技术问题是，提供一种用于个人识别的方法，该方法特别是在照明情况中等和差的情况下实现比现有技术更好的识别率。
上述技术问题通过具有本发明的特征的方法来解决。在说明书中给出本发明的实施方式。
根据本发明的方法基于人的第一眼部区域的第一图像和人的第二眼部区域的第二图像，其中第一眼部区域包含人的一只眼睛、例如右眼，而第二眼部区域包含人的另一只眼睛、例如左眼；图像中的一个被镜像，并且镜像后的和未被镜像的图像在位置空间中和/或在特征空间中被组合，以产生叠加图像的模板。模板包含用于个人识别的生物特征。
特别地，通过将未被镜像的第一图像和镜像后的第二图像叠加以产生在位置空间中的叠加图像，并且通过对叠加图像进行特征提取以产生在特征空间中的用于个人识别的第一模板特征组，可以产生模板。替换地或附加地，可以通过特征提取对未被镜像的第一图像和镜像后的第二图像进行处理，以产生在特征空间中的用于个人识别的第一特征组和第二特征组；并且可以组合第一特征组和第二特征组以产生在特征空间中的用于个人识别的第二模板特征组。第一模板特征组和第二模板特征组还可以被组合为第三模板特征组。
例如可以通过对各个图像的像素取平均值来产生叠加图像。还可以通过形成平均值来组合特征组。
发明人已经认识到，通过镜像一只眼睛并且随后叠加镜像后的和未被镜像的图像，在特征空间中或在位置空间中，可以产生比在单独考虑两只眼睛时更稳健的用于个人识别的模板。在其它条件不变的情况下相对于单独且无镜像地观察两个眼部区域的试验场景，可以提高识别率。这尤其对于对叠加图像和眼睛的两个单个图像进行分析的情况成立。已经示出了，与两个单个图像相比，叠加图像不是冗余的，而是所述叠加图像的添加提高了识别率。
还已经示出了，通过使一只眼睛镜像并分析叠加图像可以避免在实践中不是总已知面部的成像是否是面部的镜像后的版本而产生的问题。例如一些网络摄像机产生镜像后的照片。如果在这样的照片中不知道镜像，则个人识别系统不知道，照片中的左眼应当与存储的模板的左眼相比较还是被镜像后与右眼相比较。该问题通过本发明来解决，因为从两个眼部区域的两个图像产生唯一的模板，其代表与镜像无关的两只眼睛的叠加。
可以在镜像之前处理图像，以产生分别包含人的一只眼睛或另一只眼睛的眼部区域的同样大小的截图。人的面部或面部部分的照片例如可以作为基础，在其中定位人的眼睛和/或虹膜，其中围绕虹膜形成左眼部区域和右眼部区域的相同大小的部分截图，其然后用作第一图像和第二图像。
对于进一步处理，图像可以分别被分为N个部分图像，例如3×3或5×5或9×9个部分图像或区块。
为了不由于对两个图像进行组合而产生失真，可以在组合之前移动至少一个图像，使得每个图像中的每个眼部区域的定义的点处于相同的相对位置上。还可以相对于每个图像被划分为的区块移动两个图像。
在移动之前，例如通过互相关或通过SSD算法，可以计算一个图像的N个部分图像相对于另一个图像的偏移向量。
非专利文献1：Bruce D.Lucas等人在“An Iterative Image RegistrationTechniquewith an Applicationto Stereo Vision”,Proceedingsof ImagingUnderstanding Workshop,1981中描述了一种用于在使用L1标准和L2标准的条件下在图像F(x)中定位模板G(x)的方法，并且解释相关性的不同技术，包括序列相似性检测算法(SSD算法)。
非专利文献2：能够在本发明中应用的光学相关法也在发明人的论文：R.Frischholz,“zur Automatischen Dreidimensionalen Bewegungsanalyse”(ISBN3-8265-3733-5),Dissertation,Shaker Verlag,1998中解释。具体参见非专利文献1和2、特别是关于光学相关性方法的解释。
在组合之前，图像可以关于其亮度被标准化或均衡。可以通过对叠加的单个图像的像素取平均值形成叠加图像。
图像优选是灰阶图。其可以存储为几乎任意的图像文件，优选以无损耗的压缩格式、如PNG存储。
可以通过例如利用Gabor小波对叠加图像或单个图像进行处理或通过局部二元模式的提取，产生用于个人识别的特征组。优选地，提取叠加图像的多个特征，以产生各自的图像的特征向量或特征矩阵。
例如在非专利文献3中描述了使用Gabor小波进行特征提取：“Face RecognitionUsing Independent Gabor Wavelet Features”,Chengjun Liu,Harry Wechsler,·AVBPA'01Proceedingsofthe Third International Conference on Audio-and Video-BasedBiometric Person Authentication,20-25页,Springer-Verlag London,UK2001,ISBN:3-540-42216-1。在此是用于将信号从空间域局部变换为频域的方法。Liu和Wechsler已经示出，当对于每个重要位置应用具有5种不同尺度和8种不同取向的Gabor滤波器时，可以达到良好识别率。具体参见非专利文献3、特别是关于特征提取的解释。
优选地，在对于所有图像相同的位置处提取在第一图像、第二图像和叠加图像中的特征。
可以为了个人识别按照分类算法处理第一模板特征组、第二模板特征组和/或第三模板特征组，以识别其特征存储在数据库中的人。
附图说明
下面根据实施例解释本发明。附图中：
图1示出了生物特征识别方法的示例的不同阶段的示意图；
图2示出了按照图1的示例用于产生用于个人识别的生物特征数据的方法的流程图；
图3示出了根据图2的方法修改的流程图；
图4示出了用于进行生物特征个人识别的系统的示意图；
图5A至图5C示出了人的左眼区域和右眼区域的图像以及叠加图像的示例；
图6示出了用于解释GBU测试的示例图像。
具体实施方式
图1示意性示出了用于产生用于个人识别的生物特征数据的方法的示例的不同阶段。方法的流程也参考图2进行解释。在示例中，在步骤20中拍摄10人的面部，其在任何情况下都包含人的眼睛。这可以利用数码相机进行，诸如智能设备的摄像头、监视摄像机、网络摄像机等。照片被传输到计算单元，例如PC、工作站或分布式计算环境，并且例如存储为PNG文件或TIFF文件、BMP文件等。可以基于例如PNG格式在计算装置中对照片进行进一步处理，但不限于此。在步骤22中，通过例如找到虹膜或其它已知特征在照片10中定位眼睛，其中用于定位眼睛的方法基本上是已知的；例如通过DE 198 47 261 A1得知。
在步骤24中，围绕左眼和右眼形成照片10的相同大小的部分截图，以产生例如包含左眼的第一眼部区域的第一图像12和例如包含右眼的第二眼部区域的第二图像14。图像还可以呈现为PNG文件。这样选择部分截图，使得其分别尽可能包含整只眼睛以及眼睛周围的特征、例如眼睑。每个图像例如可以具有大约3000×2000像素的分辨率。优选对灰阶图进行处理。
在步骤26中两个图像12、14中的一个、在示例中是右眼的图像14被镜像，以产生镜像图像14'。
在进行镜像之前或之后，两个图像12、14或14'关于其亮度被标准化或均衡，其中在该流程中不是必须设置该步骤28。对于标准化，例如对于两个图像中的每个确定其亮度的平均值，并且操纵(manipuliert)两个图像的亮度，使得其具有相同或类似的平均亮度和/或相同或类似的改变。附加地或替换地，图像可以被预处理为，使得其最小和最大亮度值被均衡。在最小最大标准化(Min-Max-Normierung)的情况下例如分别确定最小和最大出现的亮度值。通过减去最小值然后与255/(最大值-最小值)相乘，每个像素被单独标准化。由此实现，每个图像填满[0…255]的整个灰度值范围。该处理步骤用于使两个图像12、14或14'的照明情况尽可能好地彼此适应。
在步骤30中，左眼的图像12和右眼的镜像图像14'被分为N个区块，在所示的示例中为3×3区块，其中每个区块包含部分图像并且区块可以具有相同大小或不同大小。将图像分为多个区块可以用于确定各自的眼睛在其图像内的偏移量。在图1的示例中，3×3区块的中间区块具有相应于图像12或14'的一半高度和一半宽度的高度和宽度。如果图像12、14'的高度是H并且图像12、14'的宽度是B，则由此中间区块的高度为H/2并且其宽度为B/2。中间区块的角与相应的图像的角分别相距H/4和B/4。在图1的示例中考虑该中间区块，以在步骤32中确定在其各自的图像12、14'内左眼相对于右眼的可能的偏移。
例如可以通过互相关法(Kreuzkorrelationsverfahren)或通过SSD算法确定图像12的各自的中间部分图像或区块相对于图像14'的偏移向量。这样的算法基本上是已知的并且例如在所参考的非专利文献1和2中描述。偏移向量可以涉及在整个图像12、14'内或在一个部分图像或多个部分图像内的一只眼睛相对于另一只眼睛的总偏移；或其可以描绘一只眼睛的各个部分相对于另一只眼睛的偏移，例如以光流法(optisches Flussverfahren)的方式，其对于每个图像元素导出偏移向量或流向量并且从中导出偏移向量场或流向量场。在DE 10 2011 054658 A1中描述了光流法所基于的理论。在该文献中涉及对光流法和对导出偏移向量场的解释。就此而言，内容通过引用合并到该申请。
在确定左眼和右眼之间的偏移向量或偏移向量场之后在步骤34中移动第一图像12和第二镜像图像14'，使得其一致或尽可能一致。为此，N个区块中的每个例如可以分别在与其相反的方向上移动了偏移向量的一半、或偏移向量场的一半，以均衡图像12、14'中的两只眼睛的偏移量。在该示例中，第一图像12的N个区块中的每个在相反方向上移动了偏移向量的一半；同样地，第二图像14'的N个区块中的每个在相反方向上移动了偏移向量的一半。由此给出校正后的图像12'和14”，其中两只眼睛布置为，使得虹膜处于中间区块的中心。在该阶段，对图像进行的预处理结束，并且可以在位置空间和/或特征空间中组合未被镜像的第一图像12和镜像后的第二图像14'，以产生用于个人识别的模板。
根据图2中示出的第一方面，在步骤36中将校正后的图像12'、14”在位置空间叠加，以形成组合图像16。叠加例如可以通过对两个校正后的图像12'、14”的每个像素取平均值来实现。根据组合图像16可以提取用于个人识别的特征，其中在步骤38中特征被用于基于叠加图像产生第一模板特征向量。
特征例如可以涉及水平和/或垂直的边棱；与水平呈一定角度、例如45°延伸的边棱；不同边棱的方向和/或对比度和从生物特征个人识别中基本上已知的类似特征。例如可以通过将折叠滤波器(Faltungsfilter)应用到组合图像16、例如在应用Gabor小波的条件下提取特征，如根据现有技术基本上已知的那样。参考非专利文献3。可以经验地、分析地或通过试错法确定要提取的特征的位置和特性。
还可以应用另外的提取方法，例如识别局部二元模式(LBP；Local BinaryPattern)；为此例如参见T.Ojala,M.和D.Harwood(1996),"A ComparativeStudy of Texture Measures with Classification Based on FeatureDistributions",Pattern Recognition,第29卷,第51-59页。
提取的特征可以以第一模板特征向量的形式存储并且随后用于个人识别。存储可以在执行了图像处理的计算装置中进行和/或在单独的数据库中进行。
附加地或替换地，首先可以从图像12'、14”中在位置空间提取特征并且将其变换到特征空间，以形成特征向量，所述特征向量然后在特征空间中被组合。特征提取可以基本上与前面关于叠加图像所描述的方式一样地进行。这优选在各自的图像中在相同位置处实现。该替换在图2中通过分支“A”示出，其中方法按照图3的流程图继续。在步骤40和42中通过特征提取分别基于左眼的校正后的第一图像12'产生第一特征向量，基于右眼的镜像后且校正后的第二图像14”产生第二特征向量，基本上如上面对于叠加图像16所描述的。在步骤44中例如通过将各个向量分量相加或取平均值，可以将第一特征向量和第二特征向量组合以产生第二模板特征向量。
作为步骤36和38的替换或附加，执行步骤40至44。如果在步骤38中产生第一模板特征向量并且在步骤44中产生第二模板特征向量，则在步骤46中可以将两个模板特征向量组合为第三模板特征向量。如果仅选择具有步骤40至44的替换分支“A”，则组合的步骤46可以取消。实现仅具有步骤36和38的分支“B”同样成立。在分支“C”中可以绕开组合的步骤46。
随后，在步骤48中存储第一模板特征向量、第二模板特征向量和/或第三模板特征向量。存储可以在执行了图像处理的计算装置中进行和/或在单独的数据库中进行。特征向量在本公开的意义上也可以是多维的并且例如包括特征矩阵。
确定了的模板特征向量或其一部分可以被提供给分类器或分类方法，以用于个人识别。分类方法可以在相同或不同的计算装置中运行并且将当前特征向量与一个或多个存储的模板特征向量相比较。
分类方法原则上是已知的。为了进行个人识别，例如可以利用照相机拍摄人的面部并且如上面关于模板特征向量描述的那样进行处理，以产生当前特征向量。特征矩阵提取原则上可以为了产生和存储特征向量作为一个或多个人的模板以存储到数据库中，以及为了产生当前特征向量以进行个人识别，而相同地运行。当前特征向量可以与一个或多个存储的模板特征向量相比较。为此采用例如按照最小距离的分类方法，其中在当前特征向量和所有存储的模板特征向量之间形成差，并且与当前特征向量具有最小差或最小距离的模板特征向量“胜出”。替代差，还可以分析差异量
此外在替换的方法中，可以计算当前特征向量与存储的模板特征向量的平均距离并且与阈值相比较。按照另外的示例，可以使用最近邻分类器或最小二乘拟合方法。还可以使用互相关法和SAVD(Sum of Absolute Value of Differences，差的绝对值的和)方法。这些对于本领域技术人员来说基本上是已知的并且例如在DE 10 2011 054 658A1中概述。原则上可以使用任意分类器。除了别的之外，广泛使用的分类器是最近邻分类器、支持向量机SVM、多项式分类器和人工神经网络，仅列举一些示例。
生物特征系统一般包含用于数据记录、预处理、特征提取、分类和参考形成的部件。图4示出了这样的系统的示例。在上面描述的示例中，数据记录可以通过照相机、诸如网络摄像机或智能设备的摄像头进行。这一般被称为生物特征系统的传感器54。传感器数据被预处理，例如被标准化，以获得人的眼部区域的图像，其特征应当被存储在数据库中或其应当是被识别。图像持久地或暂时地存储在图像数据库56中。可以通过特征提取来处理所采集的和可能存储的图像，例如如上面描述的，以便对于每个人导出一个或多个特征向量或特征矩阵58，如上面解释的。这基本上可以在数据处理系统、诸如微处理器或工作站中或在分布式数据处理结构中进行。特征向量或特征矩阵可以存储在参考或模板数据库60中。此外，其可以被提供给个人识别过程62，其中该过程还对数据库60中的特征向量和特征矩阵进行访问。个人识别过程62可以执行人的识别和/或验证，例如以便做出关于访问授权的决定。识别和/或验证可以在分类方法中进行。
为了识别/验证或分类，使用模板或模板特征组、例如向量或矩阵。其在分类方法中被用作输入数据并且与相应的参考数据或模板相比较。为了从参考数据库中选择性地选出参考数据，使用者例如可以提供(验证)其个人识别码(PIN)。替换地，参考数据还可以存储在存储介质上。在自适应方法中，在肯定分类的情况下所获得的分析被用于更新参考数据。
图5A、5B和5C根据真实照片示出了图1的图像12'、14'和16的示例。图5A示出了在标准化、缩放和可能的移动之后或，一般地说，在预处理之后的左眼部区域的图像。图5B示出了在镜像、标准化、缩放和可能的移动之后或，一般地说，在镜像和预处理之后的右眼部区域的图像。图5C示出了叠加的眼周图像。该图像在一定程度上包含双眼的叠加或平均并且与镜像无关。在所有三个图像中可以在不同的、但对于所有图像相同的位置处提取特征，例如通过利用Gabor小波折叠，以提取三个特征向量。如上面描述的，例如通过对特征向量取平均，特征向量可以被组合。结果是模板特征向量，其包含左眼、右眼和叠加的双眼的信息并且其对于原始图像和镜像图像是相同的并且由此对镜像不敏感。如所示的，替代对所有三个特征向量进行组合，还可以直接由叠加图像或由右眼和左眼的图像的组合构造一个或多个模板特征向量。
按照在美国国家标准和技术研究所NIST开发的标准，根据GBU(好，差和极差)样本来检验根据本发明的方法。图6的照片解释了GBU样本的三个不同的试验场景并且是从NIST的调查中获得的。在示例中假定，上面一行的图像用作参考图像并且用于产生模板特征向量，其可以存储在数据库中；而下面一行的图像被用于产生当前特征向量，其可以为了个人识别而被输入到分类方法中。对于GBU样本，图像仅按照曝光和面部表情区分，而不按照头部姿势、头部位置或图像截图区分，以开发可实行的检验标准。在图6的左侧的第一(好，good)图像对相应于有利的曝光情况以及用于产生模板特征向量和当前特征向量的曝光情况、环境和面部表情的良好一致。图6中间的第二(差；bad)图像对相应于可接受的曝光情况，但是其中用于产生模板特征向量和当前特征向量的曝光情况和面部表情不同。在图6右侧的第三(极差；ugly)图像对相应于不利的曝光情况以及用于产生模板特征向量和当前特征向量的曝光情况、面部表情互环境很不一致。例如，用于产生模板特征向量的图像是暗的、具有较小对比度；而用于产生当前特征向量的图像在一侧照明、具有强对比度和光泽。背景也分别关于照明和布置完全不同，其中第一图像是在室内拍摄的，而第二图像是在室外拍摄的。
基于具有大约3008×2000的分辨率的JPEG文件进行在NIST研究出的GBU测试。识别算法设置为，使得误识率(FAR)不超过0.1％。基于此，对根据本发明的方法进行测试并且得出明显高于由P.Jonathon Phillips博士2010年确定的识别率、特别是在不利的曝光情况下的识别率。Phillips博士的测试结果可以在https://www.nist.gov/programs- projects/face-and-ocular-challenge-series-focs找到。其涉及已知的基于面部和基于眼部区域(眼周识别)的个人识别的识别算法。
将NIST样本相应地应用到本发明的方法得出在误识率为0.1％的情况下的如下识别率：
可以看出，根据本发明的基于眼部区域的个人识别的方法(眼周识别)可以实现比已知方法明显更好的识别率。识别率不仅明显比由NIST证明的识别率更好，而且其甚至极其接近面部识别的结果或甚至在特别不利(Ugly)的测试情况下超过面部识别。根据本发明，识别率是在基于双眼叠加的模板特征向量的基础上实现的，由此镜像问题也得到解决。增加基于左眼和右眼的模板特征向量可以再次实现识别率的明显提高。还可以看出，基于双眼叠加的模板特征向量不是冗余的，而是与使用基于左眼和右眼的模板特征向量相比可以再次改善识别率。虽然改善程度在千分之几或较低的百分比范围内，但是如果考虑到个人识别系统在较长时间内经常用于调查数千人、例如对建筑物、系统或边境的访问控制，这在统计上绝对是重要的。
Claims (17)
1.一种生物特征识别方法，包括：
获得人的第一眼部区域的第一图像和人的第二眼部区域的第二图像，其中第一眼部区域包含人的一只眼睛，第二眼部区域包含人的另一只眼睛；
镜像第二图像；
将未被镜像的第一图像和镜像后的第二图像中的每一个分成N个部分图像，其中第一和第二图像之一的N个部分图像中的每一个相对于另一个图像的N个部分图像偏移，使得每个眼睛区域的限定点位于第一图像和第二图像中的每一个中相同的相对位置上，并且未被镜像的第一图像和镜像后的第二图像变得一致或基本一致；和
在位置空间和特征空间中的至少一个空间中组合未被镜像的第一图像和镜像后的第二图像，以产生叠加图像的模板，
其中，组合包括：
将未被镜像的第一图像和镜像后的第二图像叠加，以产生在位置空间中的叠加图像，和
对叠加图像进行处理，以产生用于个人识别的第一模板特征组；
其中，组合包括：
对未被镜像的第一图像进行处理以产生用于个人识别的第一图像特征组并且对镜像后的第二图像进行处理以产生用于个人识别的第二图像特征组；和
组合第一图像特征组和第二图像特征组以产生用于个人识别的第二模板特征组。
2.根据权利要求1所述的方法，其中，为了产生叠加图像，对未被镜像的第一图像和镜像后的第二图像的像素取平均值。
3.根据权利要求1所述的方法，其中，第一模板特征组和第二模板特征组被组合为第三模板特征组。
4.根据权利要求3所述的方法，其中，通过取平均值来组合所述第一图像特征组和所述第二图像特征组。
5.根据权利要求1所述的方法，其中，通过利用Gabor小波对所述第一图像和所述第二图像进行处理或通过局部二元模式的提取，产生所述第一图像特征组和所述第二图像特征组中的至少一个特征组。
6.根据权利要求1所述的方法，其中，所述第一图像特征组和所述第二图像特征组中的至少一个特征组形成特征向量或特征矩阵。
7.根据权利要求1所述的方法，其中，对于所述第一图像和所述第二图像在相同的位置处提取特征，以形成所述第一图像特征组和所述第二图像特征组。
8.根据权利要求1所述的方法，其中，所述第一模板特征组和第二模板特征组中的至少一个模板特征组被存储在数据库中。
9.根据权利要求8所述的方法，其中，在访问数据库的分类算法中对用于个人识别的所述第一模板特征组和第二模板特征组中的至少一个模板特征组进行处理。
10.根据权利要求1所述的方法，其中，在叠加之前，所述未被镜像的第一图像和镜像后的第二图像关于其亮度被标准化或均衡。
11.根据权利要求1所述的方法，其中，在镜像之前处理所述第一图像和所述第二图像，以产生分别包含人的一只眼睛或另一只眼睛的眼部区域的同样大小的截图。
12.根据权利要求1所述的方法，其中，通过基于人的面部或面部部分的图像定位人的眼睛和虹膜并且形成左眼部区域和右眼部区域的相同大小的部分截图，获得第一图像和第二图像。
13.根据权利要求1所述的方法，其中，计算N个部分图像从所述第一图像和所述第二图像中的一个图像至所述第一图像和所述第二图像中的另一个图像的偏移向量。
14.根据权利要求13所述的方法，其中，偏移向量通过互相关或通过序列相似性检测SSD算法计算。
15.根据权利要求1所述的方法，其中，所述第一图像和所述第二图像是灰阶图。
16.根据权利要求1所述的方法，其中，以便携式网络图形PNG文件的形式提供所述第一图像和所述第二图像。
17.根据权利要求1所述的方法，其中在所述第一图像的N个部分图像和所述第二图像的N个部分图像之间计算包括偏移向量的偏移向量场。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102016122649.1 | 2016-11-24 | ||
| DE102016122649.1A DE102016122649B3 (de) | 2016-11-24 | 2016-11-24 | Biometrisches Verfahren |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108108658A CN108108658A (zh) | 2018-06-01 |
| CN108108658B true CN108108658B (zh) | 2023-12-15 |
Family
ID=60452398
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711180441.4A Active CN108108658B (zh) | 2016-11-24 | 2017-11-23 | 生物特征识别方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10586098B2 (zh) |
| EP (1) | EP3327623A1 (zh) |
| CN (1) | CN108108658B (zh) |
| DE (1) | DE102016122649B3 (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10762335B2 (en) * | 2017-05-16 | 2020-09-01 | Apple Inc. | Attention detection |
| US11216541B2 (en) | 2018-09-07 | 2022-01-04 | Qualcomm Incorporated | User adaptation for biometric authentication |
| CN110069989B (zh) * | 2019-03-15 | 2021-07-30 | 上海拍拍贷金融信息服务有限公司 | 人脸图像处理方法及装置、计算机可读存储介质 |
| US11146862B2 (en) * | 2019-04-16 | 2021-10-12 | Adobe Inc. | Generating tags for a digital video |
| CN111538968A (zh) * | 2020-05-27 | 2020-08-14 | 支付宝(杭州)信息技术有限公司 | 基于隐私保护的身份核验方法、装置及设备 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6108437A (en) * | 1997-11-14 | 2000-08-22 | Seiko Epson Corporation | Face recognition apparatus, method, system and computer readable medium thereof |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6792707B1 (en) * | 2000-03-15 | 2004-09-21 | Mark Setteducati | Personalized animation by selective reflection |
| US7315389B2 (en) * | 2001-03-23 | 2008-01-01 | Toshiba Tec Kabushiki Kaisha | Electronic document assembly, proofing and printing system |
| US20030063796A1 (en) * | 2001-09-28 | 2003-04-03 | Koninklijke Philips Electronics N.V. | System and method of face recognition through 1/2 faces |
| JP3903783B2 (ja) * | 2001-12-14 | 2007-04-11 | 日本電気株式会社 | 顔メタデータ生成方法および装置、並びに顔類似度算出方法および装置 |
| US20030223623A1 (en) | 2002-06-03 | 2003-12-04 | Srinivas Gutta | Face-recognition using half-face images |
| US9412007B2 (en) * | 2003-08-05 | 2016-08-09 | Fotonation Limited | Partial face detector red-eye filter method and apparatus |
| KR100590572B1 (ko) * | 2004-12-15 | 2006-06-19 | 삼성전자주식회사 | 눈 위치 검출 방법 및 장치 |
| US8385685B2 (en) * | 2011-06-08 | 2013-02-26 | Honeywell International Inc. | System and method for ocular recognition |
| TWI511056B (zh) * | 2011-09-20 | 2015-12-01 | Altek Corp | 特徵資料壓縮裝置、多方向人臉偵測系統及其偵測方法 |
| DE102011054658A1 (de) * | 2011-10-20 | 2013-04-25 | Bioid Ag | Verfahren zur Unterscheidung zwischen einem realen Gesicht und einer zweidimensionalen Abbildung des Gesichts in einem biometrischen Erfassungsprozess |
| CN103873840B (zh) * | 2012-12-12 | 2018-08-31 | 联想(北京)有限公司 | 显示方法及显示设备 |
| US10033733B2 (en) * | 2016-03-25 | 2018-07-24 | Experian Health, Inc. | Biometric metadata bureau |
-
2016
- 2016-11-24 DE DE102016122649.1A patent/DE102016122649B3/de active Active
-
2017
- 2017-10-18 US US15/786,706 patent/US10586098B2/en active Active
- 2017-11-21 EP EP17202702.1A patent/EP3327623A1/en active Pending
- 2017-11-23 CN CN201711180441.4A patent/CN108108658B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6108437A (en) * | 1997-11-14 | 2000-08-22 | Seiko Epson Corporation | Face recognition apparatus, method, system and computer readable medium thereof |
Non-Patent Citations (2)
| Title |
|---|
| Muhammad Uzair 等.Periocular region-based person identification in the visible, infrared and hyperspectral imagery.《Neurocomputing》.2015,第149卷第854-867页. * |
| Periocular region-based person identification in the visible, infrared and hyperspectral imagery;Muhammad Uzair 等;《Neurocomputing》;20150203;第149卷;正文第4、7节以及附图3、10 * |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3327623A1 (en) | 2018-05-30 |
| CN108108658A (zh) | 2018-06-01 |
| US20180144184A1 (en) | 2018-05-24 |
| DE102016122649B3 (de) | 2018-03-01 |
| US10586098B2 (en) | 2020-03-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108108658B (zh) | 生物特征识别方法 | |
| KR102596897B1 (ko) | 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치 | |
| Lagorio et al. | Liveness detection based on 3D face shape analysis | |
| US7715596B2 (en) | Method for controlling photographs of people | |
| US20190251380A1 (en) | Method and apparatus with liveness verification | |
| JP6544900B2 (ja) | オブジェクト識別装置、オブジェクト識別方法及びプログラム | |
| WO2016084072A1 (en) | Anti-spoofing system and methods useful in conjunction therewith | |
| KR101781358B1 (ko) | 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법 | |
| MX2012010602A (es) | Aparato para el reconocimiento de la cara y metodo para el reconocimiento de la cara. | |
| Hughes et al. | Detection of contact-lens-based iris biometric spoofs using stereo imaging | |
| Arora et al. | On iris camera interoperability | |
| WO2009158700A1 (en) | Assessing biometric sample quality using wavelets and a boosted classifier | |
| Kose et al. | Shape and texture based countermeasure to protect face recognition systems against mask attacks | |
| CN108629262A (zh) | 虹膜识别方法及相应装置 | |
| KR101515928B1 (ko) | 가변 가중치 결합을 이용하는 얼굴 인식 장치 및 방법 | |
| WO2010108069A1 (en) | System and method for non-cooperative iris recognition | |
| Pauca et al. | Challenging ocular image recognition | |
| Fathy et al. | Benchmarking of pre-processing methods employed in facial image analysis | |
| JP3962517B2 (ja) | 顔面検出方法及びその装置、コンピュータ可読媒体 | |
| JP2008015871A (ja) | 認証装置、及び認証方法 | |
| Karthik et al. | Face anti-spoofing based on sharpness profiles | |
| Hongo et al. | Personal authentication with an iris image captured under visible-light condition | |
| CN108491750B (zh) | 人脸识别方法 | |
| Singla et al. | Challenges at different stages of an iris based biometric system. | |
| KR102318051B1 (ko) | 사용자 인증 시스템에서 여백을 포함한 얼굴영역 이미지를 이용한 라이브니스 검사방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |