CN110895678A - 脸部识别模块及方法 - Google Patents

脸部识别模块及方法 Download PDF

Info

Publication number
CN110895678A
CN110895678A CN201910858376.9A CN201910858376A CN110895678A CN 110895678 A CN110895678 A CN 110895678A CN 201910858376 A CN201910858376 A CN 201910858376A CN 110895678 A CN110895678 A CN 110895678A
Authority
CN
China
Prior art keywords
near infrared
artificial intelligence
dimensional
image
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910858376.9A
Other languages
English (en)
Inventor
李湘村
谢必克
苏俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kneron Inc
Kneron Taiwan Co Ltd
Original Assignee
Kneron Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kneron Inc filed Critical Kneron Inc
Publication of CN110895678A publication Critical patent/CN110895678A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种脸部识别模块及方法。脸部识别模块包含近红外线闪光灯、主近红外线相机、人工智能近红外线图像模型、人工智能原始图像模型及人工智能融合模型。近红外线闪光灯发出近红外线光。主近红外线相机获取近红外线图像。人工智能近红外线图像模型处理近红外线图像以产生近红外线特征。人工智能原始图像模型处理二维第二相机图像以产生脸部特征或颜色特征。人工智能融合模型依据近红外线特征、脸部特征及颜色特征产生三维脸部特征、深度图及物体的三维模型。本发明增加脸部识别的成功率及最佳化提取的特征，能用于人工智能脸部检测、人工智能脸部特征产生、人工智能地标产生、人工智能活体检测人工智能深度图产生等。

Description

脸部识别模块及方法
技术领域
本发明关于脸部识别，特别是一种依据人工智能模型执行脸部识别的模块及方法。
背景技术
现今的数位相机可获得具有高解析度的二维彩色图像。虽然已知的二维识别技术能够分析红绿蓝(red,green,and blue，RGB)色彩藉以追踪人脸特征，但是成功率仍然易受到相机拍摄角度及环境光源亮度的影响。与二维识别相比，三维(3dimensional，3D)识别能获取深度信息且不受环境光源亮度影响。
三维识别使用三维感测器以获取深度信息。最受欢迎的三维识别技术为飞行时间测距(time of flight)相机及结构光。飞行时间测距相机使用飞行时间测距针对图像中每一点解出相机及物体之间的距离。飞行时间测距图像能提供深度信息以建立物体的三维模型。目前在行动装置上可用的主要飞行时间测距感测器的解析度相对较低(130×240,240×480等)，因此近距物体的深度信息正确度也相对较低。另外，元件在运作时产生较高的功率消耗及较大的热量，长期运作需要具备良好的散热状况。
结构光是一种主动深度感测技术。结构光的基本元件包含红外线(infrared，IR)投影器、红外线相机、RGB相机等。红外线投影器发出原始的光图案至物体，接着红外线相机接收从物体表面反射的光图案。反射的光图案与原始的光图案相比及对照，且依据三角(trigonometric)函数原理计算物体的三维坐标。结构光的缺点是需要许多固定位置的仪器，且这些仪器并非可携仪器。
发明内容
本发明实施例提供一种脸部识别模块，包含近红外线闪光灯(near infrared,NIR)、主近红外线相机、人工智能近红外线图像模型、人工智能原始图像模型及人工智能融合模型。近红外线闪光灯发出近红外线光。主近红外线相机获取近红外线图像。人工智能近红外线图像模型处理近红外线图像以产生近红外线特征。人工智能原始图像模型处理二维第二相机图像以产生脸部特征或颜色特征。人工智能融合模型依据近红外线特征、脸部特征及颜色特征产生三维脸部特征、深度图(depth map)及物体的三维模型。
本发明实施例提供另一种脸部识别方法，包含调整脸部识别模块的曝光，脸部识别模块的主近红外线相机获取近红外线图像，脸部识别模块的人工智能近红外线图像模型处理近红外线图像以依据预载入的多个近红外线图案产生多个近红外线特征，脸部识别模块的人工智能原始图像模型处理二维第二相机图像以依据多个预载入脸部图案或多个颜色图案产生多个脸部特征或多个颜色特征；及脸部识别模块的人工智能融合模型依据多个近红外线特征、多个脸部特征、多个颜色特征及多个预载入的三维特征图案产生多个三维脸部特征、深度图及物体的三维模型。
本发明增加脸部识别的成功率及最佳化提取的特征，能用于人工智能脸部检测、人工智能脸部特征产生、人工智能地标产生、人工智能活体检测人工智能深度图产生等。
附图说明
图1显示脸部识别模块的实施例。
图2显示连接至行动装置的脸部识别模块的实施例。
图3为本发明实施例中脸部识别方法的流程图。
图4显示图2行动装置的作业系统上执行的应用程序的实施例。
附图标记：
100、200 脸部识别模块
102、202 近红外线闪光灯
104、204 主近红外线相机
106、222 第二相机
108、208 人工智能近红外线图像模型
110、210 人工智能原始图像模型
112、212 人工智能融合模型
S302至S314 步骤
220 行动装置
402 应用程序
404 作业系统
具体实施方式
图1显示脸部识别模块100的实施例。脸部识别模块100包含近红外线(nearinfrared，NIR)闪光灯102、主近红外线相机104、第二相机106、人工智能(artificialintelligence，AI)近红外线图像模型108、人工智能原始图像模型110及人工智能融合模型112。近红外线闪光灯102用以发出近红外线光。主近红外线相机104用以获取近红外线图像。人工智能近红外线图像模型108、人工智能原始图像模型110及人工智能融合模型112在脸部识别模块100的中央处理单元(central processing unit，CPU)及/或图形处理单元(graphics processing unit，GPU)上执行。人工智能近红外线图像模型108用以处理近红外线图像以产生近红外线特征。第二相机106获取二维第二相机图像。第二相机图像包含近红外线图像或红绿蓝(red,green,blue，RGB)彩色图像。人工智能原始图像模型110用以处理二维第二相机图像以产生脸部特征或颜色特征。人工智能融合模型112用以依据近红外线特征、脸部特征及颜色特征产生三维(3dimensional，3D)脸部特征、深度图(depth map)及物体的三维模型。
近红外线闪光灯102可为发光二极管(light emitting diode，LED)闪光灯或激光闪光灯。近红外线(near infrared，NIR)为具有比可见光更长波长的电磁辐射，所以近红外线可在黑暗中检测人、动物或其他移动物体。在一实施例中，近红外线闪光灯102发出激光或近红外线光以帮助脸部识别模块100获取近红外线图像。近红外线闪光灯102为近红外线940激光闪光灯(light-emitting diode,LED)、近红外线850激光闪光灯、近红外线940光电二极管闪光灯或近红外线850光电二极管闪光灯。
主近红外线相机104用以获取近红外线图像。近红外线波长在人类可见的范围外，且可提供比可见光图像更丰富的细节。近红外线图像特别能够在黑暗中或光线不足的情况下获取图像，相较于可见光，近红外线光谱的较长波长更能穿透薄雾、轻雾、烟及其他大气状况，所以近红外线图像可提供相较于彩色图像更清晰、更少变形及具有更佳对比的图像。
第二相机106获取二维第二相机图像。在实施例中，第二相机106为脸部识别模块100的元件。二维第二相机图像包含近红外线图像或彩色图像。第二相机106依据其用途获取图像。举例来说，若第二相机106用于在黑暗中检测物体或人体，第二相机106会被设定获取近红外线图像。若第二相机106用于彩色脸部识别，第二相机106会被设定获取红绿蓝彩色图像。
脸部识别模块使用三种人工智能模型。人工智能近红外线图像模型108处理近红外线图像以产生近红外线特征。对于移动物体来说，移动物体的深度信息可通过只使用一个人工智能近红外线相机判定。主近红外线相机104能获取移动物体的图像，且人工智能近红外线图像模型108能通过计算主近红外线相机104及物体之间的相对运动来产生物体的深度信息。
人工智能原始图像模型110处理二维近红外线图像或二维彩色图像以产生脸部特征或颜色特征。人工智能融合模型112用以依据近红外线特征、脸部特征及颜色特征产生三维脸部特征、深度图(depth map)及物体的三维模型，深度图及物体的三维模型是通过立体视觉产生，立体视觉是基于人类双眼视差的原理。主近红外线相机104及第二相机106由不同角度获取图像，物体表面的可见点的三维坐标能依据从不同视角获取的二或更多图像来判定，三维坐标的判定是通过计算图像的视差图(disparitymap)而达成，接着可判定深度图及物体的三维模型。
依据三维脸部特征、深度图及物体的三维模型，脸部特征100可提供比已知二维识别更正确的识别。例如，三维脸部识别通过测量脸部几何特征而具有比二维识别达成更正确识别的潜力。二维脸部识别无法识别的特征，例如光线变化、不同脸部表情、摇头、脸部化妆品等可使用三维脸部识别得出。另外，因为三维脸部的脸部表情和二维不同，三维脸部识别可依据三维模型及三维特征提供活体检测(liveness detection)，及可验证脸部表情是否自然。另外，由于第二相机106可获取包含人类或动物热信息的近红外线图像，所以能轻易实现活体检测。
由于人工智能融合模型112实时产生深度信息，脸部识别模块100能追踪物体的移动。主近红外线相机104获取及转送连续的近红外线图像至人工智能近红外线图像模型108以产生深度图。深度图能用以提取连续图像中的物体以识别物体是否正在移动。
图2显示连接至行动装置220的脸部识别模块200的实施例。脸部识别模块200可为可携模块，行动装置220可为行动电话、摄影机、录影机、平板电脑、手持电脑或具有至少一相机的其他装置。脸部识别模块200包含近红外线闪光灯202、主近红外线相机204、人工智能近红外线图像模型208、人工智能原始图像模型210及人工智能融合模型212。脸部识别模块200的主近红外线相机204用以获取近红外线图像。行动装置220包含相机222，用以获取包含近红外线图像或RGB彩色图像的二维第二相机图像。人工智能近红外线图像模型208用以处理近红外线图像以产生脸部特征及深度图。人工智能原始图像模型210用以处理第二相机图像以产生脸部特征或颜色特征。人工智能融合模型212用以依据近红外线特征、脸部特征及颜色特征产生三维脸部特征、深度图及物体的三维模型。
当近红外线闪光灯202发光时、脸部识别模块200的主近红外线相机204获取近红外线图像。同时，行动装置220的相机222获取近红外线图像或RGB彩色图像。依据近红外线图像，人工智能近红外线图像模型208产生近红外线特征。依据近红外线图像或彩色图像，人工智能原始图像模型210产生脸部特征或颜色特征。由于主近红外线相机104及第二相机106从不同角度获取图像，人工智能融合模型212可依据不同角度的图像计算物体的视差图。人工智能融合模型212依据视差图产生三维脸部特征及深度图。人工智能融合模型212也产生物体的三维模型。
图3为本发明实施例中脸部识别方法的流程图。脸部识别方法包含下列步骤:
步骤S302:调整脸部识别模块100，200的曝光；
步骤S304:主近红外线相机104，204获取近红外线图像；
步骤S306:第二相机106,222获取二维第二相机图像；
步骤S308:人工智能近红外线图像模型108,208处理近红外线图像以依据预载入近红外线图案产生近红外线特征；
步骤S310:检查是否近红外线特征有效？若是，执行步骤S312；若否，执行步骤S302；
步骤S312:人工智能原始图像模型110,210处理二维第二相机图像以依据预载入的脸部图案或颜色图案产生脸部特征或颜色特征；及
步骤S314:人工智能融合模型112,212依据近红外线特征、脸部特征、颜色特征及预载入的三维特征图案产生三维脸部特征、深度图及物体的三维模型。
在步骤S302中，脸部识别模块100，200的曝光控制包含调整近红外线闪光灯102,202、主近红外线相机104，204及第二相机106,222。在一实施例中，第二相机106是在脸部识别模块100之内。在另一实施例中，第二相机222是在与脸部识别模块200连接的行动装置220之内。近红外线闪光灯102,202的曝光控制包含控制闪光强度及控制闪光期间。主近红外线相机104，204的曝光控制包含控制光圈、快门及自动增益控制。第二相机106,222的曝光控制包含控制光圈、快门及自动增益控制。当近红外线闪光灯102,202提供足够光线时，主近红外线相机104，204及第二相机106,222调整快门速度及镜头光圈以获取图像。自动增益控制为一种放大形式，用以增强图像以在图像中提供更清晰物体。当光线品质掉至低于某个准位时，相机会增加图像信号以补偿不足的光线。通过闪光灯控制、光圈控制、快门控制及增益控制可获得良好品质的图像，以用于脸部识别。
在一实施例中，脸部识别模块100，200使用卷积神经网络(convolutionneuralnetwork，CNN)作为主要脸部识别技术。在步骤S312中，人工智能原始图像模型110,210预载入脸部图案或颜色图案。脸部图案或颜色图案可为依据卷积神经网络演算法通过大规模二维图像训练获得的二维图案。举例来说，脸部图案或颜色图案包含耳朵、眼睛、嘴唇、肤色、亚洲脸型等，藉以帮助增加二维脸部识别的正确性。通过发挥CNN的特征化能力及大规模CNN受训资料会增加二维脸部识别的效能。在步骤S308中，人工智能近红外线图像模型108,208也预载入近红外线图案，并依据CNN演算法通过大规模的近红外线图像训练近红外线图案。(近红外线图案包含物体的标示近红外线特征，用以增加脸部识别正确性。)步骤S308产生的近红外线特征及步骤S312产生的颜色特征会送至步骤S314用于脸部识别。
在步骤S310中，若人工智能近红外线图像模型108,208无法产生有效的近红外线特征，方法会回到步骤S302调整脸部识别模块100，200的曝光以再次获取近红外线图像。在另一实施例中，若人工智能原始图像模型110,210无法产生有效的近红外线特征，方法会回到步骤S302调整脸部识别模块100，200的曝光以再次获取第二相机图像。
在步骤S314中，由于主近红外线相机104，204及第二相机106,222由不同角度获取图像，所以可计算该些图像的视差图。人工智能融合模型112,212依据近红外线特征、脸部特征、颜色特征、视差图及预载入三维特征图案产生三维脸部特征、深度图及物体的三维模型。人工智能融合模型112,212预载入通过卷积神经网络演算法训练得出的人工智能三维特征，用以增加三维识别正确性。三维脸部特征及深度图可用以建构物体的三维模型。与二维识别相比，物体的三维模型的建立有许多好处。在一些具挑战性的情况下，三维人脸模型具有更多改善脸部识别正确性的潜力，例如很难使用低解析度照片来识别人脸的情况，及使用二维特征不容易识别的人脸表情改变的情况。二维人脸模型对照明、姿态改变及不同视角天生不敏感，这些复杂性可使用三维人脸模型处理。
人工智能融合模型112,212更包含依据三维脸部特征、深度图及物体的三维模型执行人工智能脸部检测、人工智能地标产生、人工智能品质检测、人工智能深度图产生、人工智能活体检测及/或人工智能脸部特征产生的功能。因此脸部识别模块100，200可主动提供以上功能让用户使用。
在步骤S308,S312及S314中，卷积神经网络或递归神经网络(recurrent neuralnetwork)可用作人工智能近红外线图像模型108,208、人工智能原始图像模型110,210及人工智能融合模型112,212的主要脸部识别技术。卷积神经网络或递归神经网络可在不同步骤中结合以最佳化脸部识别正确性。例如，在步骤S308及S312中的脸部识别技术可以是卷积神经网络，且步骤S314中的脸部识别技术可以是递归神经网络。
图4显示图2行动装置220的作业系统404上执行的应用程序402的实施例。在图4中，脸部识别模块200与行动装置220连接。应用程序402包含人工智能脸部检测、人工智能地标产生、人工智能品质检测、人工智能深度图产生、人工智能活体检测及/或人工智能脸部特征产生的功能。应用程序402从人工智能融合模型212接收三维脸部特征、深度图及物体的三维模型用以进行脸部识别。在一实施例中，应用程序402可以是安卓应用程序(application，APP)或i-phone应用程序，在行动装置220的作业系统404上运作。
实施例提供脸部识别的系统及方法。脸部识别模块可为可携式且可与行动电话或摄影机等行动装置连接。当近红外线闪光灯发出近红外线光时，主近红外线相机及第二相机会获取图像。主近红外线相机获取近红外线图像及第二相机会获取近红外线图像或彩色图像。脸部识别模块使用三种人工智能模型，包含人工智能近红外线图像模型处理近红外线图像、人工智能原始图像模型处理近红外线或彩色图像，及人工智能融合模型产生三维脸部特征、深度图及物体的三维模型。脸部识别模块预载入训练过的人工智能图案以增加脸部识别的成功率及最佳化提取的特征。所产生的三维脸部特征、深度图及物体的三维模型能用于人工智能脸部检测、人工智能脸部特征产生、人工智能地标产生、人工智能活体检测人工智能深度图产生等。
以上所述仅为本发明的较佳实施例，凡依本发明权利要求范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (14)

1.一种脸部识别模块，其特征在于，包含:
一近红外线闪光灯，用以发出近红外线光；
一主近红外线相机，用以获取一近红外线图像；
一人工智能近红外线图像模型，用以处理该近红外线图像以产生多个近红外线特征；
一人工智能原始图像模型，用以处理一二维第二相机图像以产生多个脸部特征或多个颜色特征；及
一人工智能融合模型，用以依据该多个近红外线特征、该多个脸部特征及该多个颜色特征产生多个三维脸部特征、一深度图及一物体的一三维模型。
2.如权利要求1所述的模块，其特征在于，该近红外线闪光灯为一近红外线940激光闪光灯、一近红外线850激光闪光灯、一近红外线940光电二极管闪光灯或一近红外线850光电二极管闪光灯。
3.如权利要求1所述的模块，其特征在于，更包含一第二相机，用以获取该二维第二相机图像。
4.如权利要求3所述的模块，其特征在于，该二维第二相机图像包含一近红外线图像或一红绿蓝彩色图像。
5.一种脸部识别方法，其特征在于，包含:
调整一脸部识别模块的一曝光；
该脸部识别模块的一主近红外线相机获取一近红外线图像；
该脸部识别模块的一人工智能近红外线图像模型处理该近红外线图像以依据预载入的多个近红外线图案产生多个近红外线特征；
该脸部识别模块的一人工智能原始图像模型处理一二维第二相机图像以依据多个预载入的脸部图案或多个颜色图案产生多个脸部特征或多个颜色特征；及
该脸部识别模块的一人工智能融合模型依据该多个近红外线特征、该多个脸部特征、该多个颜色特征及多个预载入的三维特征图案产生多个三维脸部特征、一深度图及一物体的一三维模型。
6.如权利要求5所述的方法，其特征在于，更包含一第二相机，用以获取该二维第二相机图像。
7.如权利要求6所述的方法，其特征在于，该二维第二相机图像包含一近红外线图像或一红绿蓝彩色图像。
8.如权利要求5所述的方法，其特征在于，更包含:
该人工智能近红外线图像模型预载入该多个近红外线图案；
该人工智能原始图像模型预载入该多个脸部图案及该多个颜色图案；及
该人工智能融合模型预载入该多个三维特征图案。
9.如权利要求5所述的方法，其特征在于，调整该脸部识别模块的该曝光包含:
控制一近红外线光电二极管闪光灯的闪光强度，控制该近红外线光电二极管闪光灯的闪光期间，控制该主近红外线相机的一光圈，控制该第二相机的一光圈及/或控制该脸部识别模块的自动增益控制。
10.如权利要求5所述的方法，其特征在于，更包含该人工智能融合模型依据该多个三维脸部特征、该深度图及该物体的该三维模型执行人工智能脸部检测、人工智能地标产生、人工智能品质检测、人工智能深度图产生、人工智能活体检测及/或人工智能脸部特征产生。
11.如权利要求5所述的方法，其特征在于，更包含一应用程序依据该多个三维脸部特征、该深度图及该物体的该三维模型执行人工智能脸部检测、人工智能地标产生、人工智能品质检测、人工智能深度图产生、人工智能活体检测及/或人工智能脸部特征产生。
12.如权利要求5所述的方法，其特征在于，该人工智能近红外线图像模型为一卷积神经网络模型或一递归神经网络模型。
13.如权利要求5所述的方法，其特征在于，该人工智能原始图像模型为一卷积神经网络模型或一递归神经网络模型。
14.如权利要求5所述的方法，其特征在于，该人工智能融合模型为一卷积神经网络模型或一递归神经网络模型。
CN201910858376.9A 2018-09-12 2019-09-11 脸部识别模块及方法 Pending CN110895678A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862730496P 2018-09-12 2018-09-12
US62/730,496 2018-09-12
US16/528,642 US20200082160A1 (en) 2018-09-12 2019-08-01 Face recognition module with artificial intelligence models
US16/528,642 2019-08-01

Publications (1)

Publication Number Publication Date
CN110895678A true CN110895678A (zh) 2020-03-20

Family

ID=69720432

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910858376.9A Pending CN110895678A (zh) 2018-09-12 2019-09-11 脸部识别模块及方法

Country Status (3)

Country Link
US (1) US20200082160A1 (zh)
CN (1) CN110895678A (zh)
TW (1) TWI723529B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255511A (zh) * 2021-05-21 2021-08-13 北京百度网讯科技有限公司 用于活体识别的方法、装置、设备以及存储介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861760A (zh) * 2017-07-25 2021-05-28 虹软科技股份有限公司 一种用于表情识别的方法和装置
KR20200143960A (ko) * 2019-06-17 2020-12-28 현대자동차주식회사 영상을 이용한 객체 인식 장치 및 그 방법
CN110335303B (zh) * 2019-06-24 2021-10-26 Oppo广东移动通信有限公司 图像处理方法和装置、及存储介质
US11294996B2 (en) * 2019-10-15 2022-04-05 Assa Abloy Ab Systems and methods for using machine learning for image-based spoof detection
US11348375B2 (en) 2019-10-15 2022-05-31 Assa Abloy Ab Systems and methods for using focal stacks for image-based spoof detection
US11004282B1 (en) * 2020-04-02 2021-05-11 Swiftlane, Inc. Two-factor authentication system
TWI777153B (zh) * 2020-04-21 2022-09-11 和碩聯合科技股份有限公司 影像辨識方法及其裝置及人工智慧模型訓練方法及其裝置
US11288859B2 (en) * 2020-06-01 2022-03-29 Disney Enterprises, Inc. Real-time feature preserving rendering of visual effects on an image of a face
CN111611977B (zh) * 2020-06-05 2021-10-15 吉林求是光谱数据科技有限公司 基于光谱与多波段融合的人脸识别监控系统及识别方法
CN111814595B (zh) * 2020-06-19 2022-05-10 武汉工程大学 基于多任务学习的低光照行人检测方法及系统
US11275959B2 (en) 2020-07-07 2022-03-15 Assa Abloy Ab Systems and methods for enrollment in a multispectral stereo facial recognition system
GR1010102B (el) * 2021-03-26 2021-10-15 Breed Ike, Συστημα αναγνωρισης προσωπου ζωων
CN115187743B (zh) * 2022-07-29 2024-07-05 江西科骏实业有限公司 一种地铁站内部环境布置预测和白模采集方法及系统

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080212849A1 (en) * 2003-12-12 2008-09-04 Authenmetric Co., Ltd. Method and Apparatus For Facial Image Acquisition and Recognition
CN101404060A (zh) * 2008-11-10 2009-04-08 北京航空航天大学 一种基于可见光与近红外Gabor信息融合的人脸识别方法
US20110164792A1 (en) * 2010-01-05 2011-07-07 Samsung Electronics Co., Ltd Facial recognition apparatus, method and computer-readable medium
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US20120253201A1 (en) * 2011-03-29 2012-10-04 Reinhold Ralph R System and methods for monitoring and assessing mobility
CN103268485A (zh) * 2013-06-09 2013-08-28 上海交通大学 基于稀疏正则化的实现多波段人脸图像信息融合的人脸识别方法
US20140307098A1 (en) * 2013-04-15 2014-10-16 Microsoft Corporation Extracting true color from a color and infrared sensor
CN105513221A (zh) * 2015-12-30 2016-04-20 四川川大智胜软件股份有限公司 一种基于三维人脸识别的atm机防欺诈装置及系统
CN106210568A (zh) * 2016-07-15 2016-12-07 深圳奥比中光科技有限公司 图像处理方法以及装置
CN106709477A (zh) * 2017-02-23 2017-05-24 哈尔滨工业大学深圳研究生院 一种基于自适应得分融合与深度学习的人脸识别方法及系统
CN106778506A (zh) * 2016-11-24 2017-05-31 重庆邮电大学 一种融合深度图像和多通道特征的表情识别方法
CN106774856A (zh) * 2016-08-01 2017-05-31 深圳奥比中光科技有限公司 基于唇语的交互方法以及交互装置
CN106874871A (zh) * 2017-02-15 2017-06-20 广东光阵光电科技有限公司 一种活体人脸双摄像头识别方法及识别装置
CN107045385A (zh) * 2016-08-01 2017-08-15 深圳奥比中光科技有限公司 基于深度图像的唇语交互方法以及唇语交互装置
CN107169483A (zh) * 2017-07-12 2017-09-15 深圳奥比中光科技有限公司 基于人脸识别的任务执行
US20170310946A1 (en) * 2016-04-21 2017-10-26 Chenyang Ge Three-dimensional depth perception apparatus and method
CN107948499A (zh) * 2017-10-31 2018-04-20 维沃移动通信有限公司 一种图像拍摄方法及移动终端
CN108038453A (zh) * 2017-12-15 2018-05-15 罗派智能控制技术（上海）有限公司 一种基于rgbd的汽车驾驶员状态检测和识别系统
CN108050958A (zh) * 2018-01-11 2018-05-18 苏州江奥光电科技有限公司 一种基于视场匹配的单目深度相机及其对物体形貌的检测方法
CN108062546A (zh) * 2018-02-11 2018-05-22 厦门华厦学院 一种计算机人脸情绪识别系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI535292B (zh) * 2010-12-31 2016-05-21 派力肯影像公司 使用具有異質的成像器的整體式相機陣列的影像捕捉和處理
CN102622588B (zh) * 2012-03-08 2013-10-09 无锡中科奥森科技有限公司 双验证人脸防伪方法及装置

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080212849A1 (en) * 2003-12-12 2008-09-04 Authenmetric Co., Ltd. Method and Apparatus For Facial Image Acquisition and Recognition
CN101404060A (zh) * 2008-11-10 2009-04-08 北京航空航天大学 一种基于可见光与近红外Gabor信息融合的人脸识别方法
US20110164792A1 (en) * 2010-01-05 2011-07-07 Samsung Electronics Co., Ltd Facial recognition apparatus, method and computer-readable medium
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US20120253201A1 (en) * 2011-03-29 2012-10-04 Reinhold Ralph R System and methods for monitoring and assessing mobility
US20140307098A1 (en) * 2013-04-15 2014-10-16 Microsoft Corporation Extracting true color from a color and infrared sensor
CN103268485A (zh) * 2013-06-09 2013-08-28 上海交通大学 基于稀疏正则化的实现多波段人脸图像信息融合的人脸识别方法
CN105513221A (zh) * 2015-12-30 2016-04-20 四川川大智胜软件股份有限公司 一种基于三维人脸识别的atm机防欺诈装置及系统
US20170310946A1 (en) * 2016-04-21 2017-10-26 Chenyang Ge Three-dimensional depth perception apparatus and method
CN106210568A (zh) * 2016-07-15 2016-12-07 深圳奥比中光科技有限公司 图像处理方法以及装置
CN106774856A (zh) * 2016-08-01 2017-05-31 深圳奥比中光科技有限公司 基于唇语的交互方法以及交互装置
CN107045385A (zh) * 2016-08-01 2017-08-15 深圳奥比中光科技有限公司 基于深度图像的唇语交互方法以及唇语交互装置
CN106778506A (zh) * 2016-11-24 2017-05-31 重庆邮电大学 一种融合深度图像和多通道特征的表情识别方法
CN106874871A (zh) * 2017-02-15 2017-06-20 广东光阵光电科技有限公司 一种活体人脸双摄像头识别方法及识别装置
CN106709477A (zh) * 2017-02-23 2017-05-24 哈尔滨工业大学深圳研究生院 一种基于自适应得分融合与深度学习的人脸识别方法及系统
CN107169483A (zh) * 2017-07-12 2017-09-15 深圳奥比中光科技有限公司 基于人脸识别的任务执行
CN107948499A (zh) * 2017-10-31 2018-04-20 维沃移动通信有限公司 一种图像拍摄方法及移动终端
CN108038453A (zh) * 2017-12-15 2018-05-15 罗派智能控制技术（上海）有限公司 一种基于rgbd的汽车驾驶员状态检测和识别系统
CN108050958A (zh) * 2018-01-11 2018-05-18 苏州江奥光电科技有限公司 一种基于视场匹配的单目深度相机及其对物体形貌的检测方法
CN108062546A (zh) * 2018-02-11 2018-05-22 厦门华厦学院 一种计算机人脸情绪识别系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
傅泽华等: "二维及三维多模人脸数据库构建", 《数据采集与处理》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255511A (zh) * 2021-05-21 2021-08-13 北京百度网讯科技有限公司 用于活体识别的方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
TWI723529B (zh) 2021-04-01
TW202011252A (zh) 2020-03-16
US20200082160A1 (en) 2020-03-12

Similar Documents

Publication Publication Date Title
TWI723529B (zh) 臉部辨識模組及臉部辨識方法
CN111837144B (zh) 使用机器学习的增强图像深度感测
US10936900B2 (en) Color identification using infrared imaging
US9690984B2 (en) Two-dimensional infrared depth sensing
JP6858650B2 (ja) 画像レジストレーションの方法及びシステム
CN107944422B (zh) 三维摄像装置、三维摄像方法及人脸识别方法
US11503228B2 (en) Image processing method, image processing apparatus and computer readable storage medium
US9047514B2 (en) Apparatus, system and method for projecting images onto predefined portions of objects
CN112394527A (zh) 多维摄像装置及其应用终端和方法
US20170059305A1 (en) Active illumination for enhanced depth map generation
US9049369B2 (en) Apparatus, system and method for projecting images onto predefined portions of objects
CN108701363B (zh) 使用多相机识别和追踪对象的方法、设备和系统
WO2020243969A1 (zh) 人脸识别的装置、方法和电子设备
US11977615B2 (en) Method for facial authentication of a wearer of a watch
CN207475756U (zh) 机器人红外立体视觉系统
CN103945093A (zh) 基于arm平台人脸识别可见近红外一体摄像装置及方法
CN116506731A (zh) 跟焦拍摄方法、装置和存储介质及电子设备
TWI535288B (zh) 深度攝影機系統
WO2020044809A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN114761825A (zh) 飞行时间成像电路、飞行时间成像系统、飞行时间成像方法
ES2849273T3 (es) Sistema y procedimiento de captura y generación de imágenes 3D
CN114694265A (zh) 活体检测方法、装置及系统
CN110836644A (zh) 三维感测装置及三维感测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200320