CN112287766A - 一种tof人脸识别智能门及方法 - Google Patents

一种tof人脸识别智能门及方法 Download PDF

Info

Publication number
CN112287766A
CN112287766A CN202011061392.4A CN202011061392A CN112287766A CN 112287766 A CN112287766 A CN 112287766A CN 202011061392 A CN202011061392 A CN 202011061392A CN 112287766 A CN112287766 A CN 112287766A
Authority
CN
China
Prior art keywords
resistor
tof
camera
face
face recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011061392.4A
Other languages
English (en)
Inventor
李顺刚
沈开宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Jiawei Biological Environmental Protection Technology Co ltd
Original Assignee
Nanjing Weiyinte Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Weiyinte Intelligent Technology Co ltd filed Critical Nanjing Weiyinte Intelligent Technology Co ltd
Priority to CN202011061392.4A priority Critical patent/CN112287766A/zh
Publication of CN112287766A publication Critical patent/CN112287766A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种TOF人脸识别智能门及方法，包括感应测距单元、TOF人脸识别单元、双目立体单元和信号放大单元；感应测距单元，包括红外感应模块，检测智能门前的人体热释信号，判断是否进入识别范围；TOF人脸识别单元，通过TOF技术测量人脸深度变化，还原人脸立体形象；双目立体单元，包括双检测模块，包括两个检测探头，并排设置在猫眼位置，从双目视角检测人脸得到更立体的检测结果；信号放大单元，放大传递信号，提高人脸检测识别的速度与精准度。本发明通过感应测距设置识别范围，及时识别开门节约时间也节省模块用电，通过TOF人脸识别缩小模块结构空间来降低耗电，通过双检测探头双目立体检测以及放大传递信号来提高TOF人脸识别精准度。

Description

一种TOF人脸识别智能门及方法
技术领域
本发明涉及TOF人脸识别，属于智能门领域。
背景技术
经济、技术的发展，让开门方式发生更多的变化，从最初的机械锁开门，到搭载密码、卡片功能的电子锁，再到现在已经成为主流的智能锁。从近年来家居建材展会上可以发现，智能门正在兴起。作为智能门，不仅仅是解决用户开门的需求，还要满足消费者对不同开门方案的需求。不过从目前来看智能门还在不少弊端，比如功耗高的问题，由于智能门不仅是一樘门，更是将智能锁、智能猫眼、可视门铃、远程监控等多种产品和功能集为一体的智能家居入口级产品，耗电量大是肯定的。
人脸识别技术应用背景广阔，识别的方法也越来越多，将人脸识别技术应用到智能门方面的设计也越来越多。不过增加的人脸识别模块进一步加大了智能门的耗电，同时市场上应用比较多的都是近红外人脸识别技术，2D识别受光线条件影响巨大，识别的精准度难以保障，部分使用3D结构光模块，虽然精度高，但成本大大增加，同时耗电量增加。
发明内容
发明目的：提供一种TOF人脸识别智能门及方法，以解决上述问题。
技术方案：一种TOF人脸识别智能门，包括感应测距单元、TOF人脸识别单元、双目立体单元和信号放大单元；
感应测距单元，包括红外感应模块，检测智能门前的人体热释信号，判断是否进入识别范围；
TOF人脸识别单元，通过TOF技术测量人脸深度变化，还原人脸立体形象；
双目立体单元，包括双检测模块，包括两个检测探头，并排设置在猫眼位置，从双目视角检测人脸得到更立体的检测结果；
信号放大单元，放大传递信号，提高人脸检测识别的速度与精准度。
根据本发明的一个方面，因为人的体温恒定，所以人体的热释红外信号范围固定，通过筛选热释红外信号的范围可以筛选出人体的信号，通过检测人体信号在门口的活动状态判断人体是否想进门，当人体逐渐接近智能门且进入到门前50cm以内时，判断其准备进门，此时开始进行人脸识别，在启动之前人脸识别模块处于休眠状态降低耗电。
根据本发明的一个方面，TOF人脸识别单元设置在传统门的猫眼高度附近，对来访者的脸部进行识别，TOF人脸识别技术相比于近红外人脸识别技术这种2D识别来说更加精准，通过飞行光检测人脸深度确立3D模型不会像2D识别一样受限于光线角度，无法保证精准度，同时结构要小于3D结构光识别技术，算法更简单快速。
根据本发明的一个方面，TOF人脸识别技术通过计算飞行光发射到反射回来的时间来计算人脸深度数据，虽然计算简单、结构不复杂，但会受到散射影响导致检测结果没有3D结构光识别技术准确，所以使用双相机模块进行双眼立体识别，将两个角度检测人脸模型进行比较能显著提升人脸识别的精准度。
根据本发明的一个方面，将相机模型坐标通过透视矩阵转换为世界坐标，由公式：
Figure 100002_DEST_PATH_IMAGE001
，
m为相机模型坐标，P为透视投影矩阵，M为世界坐标, K为相机的内参数矩阵，R为相机的旋转矩阵，t为相机的平移向量，
计算得到世界坐标。
根据本发明的一个方面，对相机模型的镜头畸变进行校正，由公式：
Figure 876275DEST_PATH_IMAGE002
，
Figure 100002_DEST_PATH_IMAGE003
，
（
Figure 787599DEST_PATH_IMAGE004
，
Figure 100002_DEST_PATH_IMAGE005
）为理想坐标，（x，y）为实际坐标，
Figure 506156DEST_PATH_IMAGE006
、
Figure 100002_DEST_PATH_IMAGE007
、
Figure 537435DEST_PATH_IMAGE008
…均为畸变参数，
计算得到理想坐标。
根据本发明的一个方面，将双目系统标定，由公式：
Figure 100002_DEST_PATH_IMAGE009
，
Figure 175090DEST_PATH_IMAGE010
为左目相机模型坐标，
Figure 100002_DEST_PATH_IMAGE011
为左目相机的旋转矩阵，
Figure 324443DEST_PATH_IMAGE012
为左目相机的平移向量，
Figure 100002_DEST_PATH_IMAGE013
为右目相机模型坐标，
Figure 846691DEST_PATH_IMAGE014
为右目相机的旋转矩阵，
Figure 100002_DEST_PATH_IMAGE015
为右目相机的平移向量，
计算得到相机的平移向量。
根据本发明的一个方面，由图像单应变化对双目相机图像进行极线校正，设双目相机图像点对为（
Figure 880547DEST_PATH_IMAGE010
，
Figure 361207DEST_PATH_IMAGE013
），极线校正后的双目相机图像点对为（
Figure 856911DEST_PATH_IMAGE016
，
Figure 100002_DEST_PATH_IMAGE017
），得
Figure 307484DEST_PATH_IMAGE018
，
Figure 100002_DEST_PATH_IMAGE019
为右目相机的内参数矩阵，
Figure 549240DEST_PATH_IMAGE011
为右目相机的旋转矩阵，
Figure 200801DEST_PATH_IMAGE020
为右目相机的内参数矩阵，
Figure 574014DEST_PATH_IMAGE014
为右目相机的旋转矩阵，
根据图像提取的特征点解出双目相机的内外参数矩阵，得到极线校正后的双目相机图像。
根据本发明的一个方面，TOF人脸识别技术需要快速反应，计算的人脸深度模型才更真实，所以需要设计信号放大单元，提升信号传递速度，提高TOF人脸识别技术的精准度。
根据本发明的一个方面，所述信号放大单元包括信号放大电路，包括二极管D1、二极管D2、电容C1、电容C2、电容C3、电容C4、三极管Q1、三极管Q2、电阻R1、电阻R2、电阻R3、电阻R4、电阻R5、电阻R6、电阻R7、电阻R8、电阻R9、电阻R10、电位器RV1、反相器U1、反相器U2和反相器U3；
所述二极管D1的正极与所述电容C2的一端、所述三极管Q1的集电极均接输入信号，所述二极管D1的负极分别与所述三极管Q1的集电极的基极、所述电容C1的一端连接，所述三极管Q1的发射极与所述电容C1的一端接地，所述电容C2的另一端与所述电阻R1的一端连接，所述电阻R1的另一端分别与所述反相器U1的正极、所述电阻R2的一端、所述电容C3的一端连接，所述反相器U1的负极分别与所述电阻R2的另一端、所述电容C3的另一端和所述电阻R3的一端连接，所述电阻R3的另一端分别与所述电阻R4的一端、所述反相器U2的正极连接，所述电阻R4的另一端与所述电位器RV1的第3引脚连接，所述电位器RV1的第2引脚接电源电压，所述电位器RV1的第1引脚与所述电阻R5的一端连接，所述电阻R5的另一端接地，所述反相器U2的负极分别与所述电阻R6的一端、所述电阻R7的一端连接，所述电阻R6的另一端与所述二极管D2的正极连接，所述电阻R7的另一端分别与所述二极管D2的负极、所述电容C4的一端和所述反相器U3的正极连接，所述电容C4的另一端接地，所述反相器U3的负极与所述电阻R8的一端连接，所述电阻R8的另一端分别与所述电阻R9的一端、所述三极管Q2的基极连接，所述电阻R9的另一端与所述三极管Q2的发射极连接，所述三极管Q2的集电极与所述电阻R10的一端均接输出信号，所述电阻R10的另一端接地。
一种TOF人脸识别方法，采用双目立体重建识别，双检测探头在同一平面不同角度检测两套人脸，对比建模，具体步骤包括：
步骤1、左目相机、右目相机同时进行面阵式成像，计算被测人脸表面的深度信息，得到两套人脸建模；
步骤2、对左右相机的两套建模选取特征点求取视差值对建模进行校正，寻找空间同一点在不同建模上的坐标位置进行立体匹配；
步骤3、选取建模中可以作为匹配的最小单位，根据具体情况选择合适的匹配单位，匹配单位包括区域、特征点、相位；
步骤4、对选择的匹配单位进行相似度测算得到两套建模的相似度比较结果，由公式：
Figure 100002_DEST_PATH_IMAGE021
，
（
Figure 546387DEST_PATH_IMAGE004
，
Figure 564022DEST_PATH_IMAGE005
）为理想坐标，（
Figure 979959DEST_PATH_IMAGE022
，
Figure 100002_DEST_PATH_IMAGE023
）为实际坐标，
计算得到理想坐标；
步骤5、采用半全局匹配代价的计算和聚合，利用互信息熵进行匹配计算，取最小视差度代价聚合，由公式：
Figure 715834DEST_PATH_IMAGE024
，
MI为互信息，
Figure 100002_DEST_PATH_IMAGE025
为
Figure 586838DEST_PATH_IMAGE026
的熵值，
Figure 100002_DEST_PATH_IMAGE027
为
Figure 193400DEST_PATH_IMAGE028
的熵值，
Figure 452343DEST_PATH_IMAGE026
、
Figure 783836DEST_PATH_IMAGE028
为灰度直方图点，
Figure 100002_DEST_PATH_IMAGE029
为MI匹配代价，m为图像点，d为视差值，q为对应校正点，
计算得到结果；
步骤6、得到人脸对比结果。
有益效果：本发明能够通过红外检测对来访者进行预判，减少人脸识别的使用次数，使用TOF人脸识别技术缩小模块结构节省耗电，使用双眼立体技术和信号放大处理提高TOF人脸识别的精准度。
附图说明
图1是本发明的TOF人脸识别智能门的系统框图。
图2是本发明的信号放大电路的原理图。
具体实施方式
将人脸识别技术运用到智能门中首先要考虑耗电问题，普通智能门耗电量高，加上人脸识别模块之后，耗电量增加。选择TOF人脸识别技术，作为3D人脸识别技术有别于2D人脸识别，在检测的精准度上获得极大提升，同时与同样进行3D人脸识别的3D结构光人脸识别技术相比，尽管3D结构光人脸识别技术检测结果更精确，应用更多，但TOF人脸识别技术的模块结构更小，算法更简单，降低了耗电。
在该实施例中，如图1所示，一种TOF人脸识别智能门，包括感应测距单元、TOF人脸识别单元、双目立体单元和信号放大单元；
感应测距单元，包括红外感应模块，检测智能门前的人体热释信号，判断是否进入识别范围；
TOF人脸识别单元，通过TOF技术测量人脸深度变化，还原人脸立体形象；
双目立体单元，包括双检测模块，包括两个检测探头，并排设置在猫眼位置，从双目视角检测人脸得到更立体的检测结果；
信号放大单元，放大传递信号，提高人脸检测识别的速度与精准度。
在进一步的实施例中，TOF人脸识别单元常态为休眠状态，使用感应测距单元对智能门前经过的物体进行筛选。首先选择红外感应，当物体的温度超过绝对零度就会产生热释红外信号，根据不同温度下热释红外信号的频率不同，筛选出经过智能门口的人体。其次对人体进行行为判断，从中筛选出来访者和路人，将判断标准定为离智能门越来越近且最后进入50cm以内，因为路人尽管会靠近智能门，但会迅速离开，且正常行走不会进入智能门前50cm范围。同时作为判断依据的活动范围可以根据实际环境需要而进行调节。只有经过筛选判断为想要开门的人才会唤起TOF人脸识别单元进行人脸识别，降低TOF人脸识别单元工作时间，减少耗电，判断流程简洁有效，能够顺畅的完成人体从门外靠近、识别、开门的流程，不会耽误时间。
在进一步的实施例中，采用TOF人脸识别技术发现尽管与3D结构光人脸识别技术同为3D人脸识别，但因为对人脸的深度判断方法简单，造成检测结果易受到散射影响，造成检测偏差，这也是TOF人脸识别技术的精准度低于3D结构光人脸识别技术的原因。因此选择将其与双眼立体技术结合，使用双探头模式从两个角度检测人脸，将检测到的两个人脸建模进行结合，得到更准确的3D人脸，在这种情况下实验得到的检测结果与3D结构光人脸识别技术相差无几。
在更进一步的实施例中，由
Figure 114323DEST_PATH_IMAGE001
，
m为相机模型坐标，P为透视投影矩阵，M为世界坐标, K为相机的内参数矩阵，R为相机的旋转矩阵，t为相机的平移向量，
将相机模型坐标通过透视矩阵转换为世界坐标。
在更进一步的实施例中，由
Figure 840971DEST_PATH_IMAGE002
，
Figure 615023DEST_PATH_IMAGE003
，
（
Figure 591069DEST_PATH_IMAGE004
，
Figure 459668DEST_PATH_IMAGE005
）为理想坐标，（x，y）为实际坐标，
Figure 571981DEST_PATH_IMAGE006
、
Figure 907147DEST_PATH_IMAGE007
、
Figure 213232DEST_PATH_IMAGE008
…均为畸变参数，
对相机模型的镜头畸变进行校正。
在更进一步的实施例中，由
Figure 760888DEST_PATH_IMAGE009
，
Figure 258866DEST_PATH_IMAGE010
为左目相机模型坐标，
Figure 92830DEST_PATH_IMAGE011
为左目相机的旋转矩阵，
Figure 387676DEST_PATH_IMAGE012
为左目相机的平移向量，
Figure 270181DEST_PATH_IMAGE013
为右目相机模型坐标，
Figure 91507DEST_PATH_IMAGE014
为右目相机的旋转矩阵，
Figure 361951DEST_PATH_IMAGE015
为右目相机的平移向量，
将双目系统标定。
在更进一步的实施例中，由图像单应变化对双目相机图像进行极线校正，设双目相机图像点对为（
Figure 799886DEST_PATH_IMAGE010
，
Figure 63246DEST_PATH_IMAGE013
），极线校正后的双目相机图像点对为（
Figure 739078DEST_PATH_IMAGE016
，
Figure 586948DEST_PATH_IMAGE017
），得
Figure 105654DEST_PATH_IMAGE018
，
Figure 408590DEST_PATH_IMAGE019
为右目相机的内参数矩阵，
Figure 735666DEST_PATH_IMAGE011
为右目相机的旋转矩阵，
Figure 488859DEST_PATH_IMAGE020
为右目相机的内参数矩阵，
Figure 229282DEST_PATH_IMAGE014
为右目相机的旋转矩阵，
根据图像提取的特征点解出双目相机的内外参数矩阵，得到极线校正后的双目相机图像。
如图2所示，在更进一步的实施例中，所述信号放大单元包括信号放大电路，包括二极管D1、二极管D2、电容C1、电容C2、电容C3、电容C4、三极管Q1、三极管Q2、电阻R1、电阻R2、电阻R3、电阻R4、电阻R5、电阻R6、电阻R7、电阻R8、电阻R9、电阻R10、电位器RV1、反相器U1、反相器U2和反相器U3；
所述二极管D1的正极与所述电容C2的一端、所述三极管Q1的集电极均接输入信号，所述二极管D1的负极分别与所述三极管Q1的集电极的基极、所述电容C1的一端连接，所述三极管Q1的发射极与所述电容C1的一端接地，所述电容C2的另一端与所述电阻R1的一端连接，所述电阻R1的另一端分别与所述反相器U1的正极、所述电阻R2的一端、所述电容C3的一端连接，所述反相器U1的负极分别与所述电阻R2的另一端、所述电容C3的另一端和所述电阻R3的一端连接，所述电阻R3的另一端分别与所述电阻R4的一端、所述反相器U2的正极连接，所述电阻R4的另一端与所述电位器RV1的第3引脚连接，所述电位器RV1的第2引脚接电源电压，所述电位器RV1的第1引脚与所述电阻R5的一端连接，所述电阻R5的另一端接地，所述反相器U2的负极分别与所述电阻R6的一端、所述电阻R7的一端连接，所述电阻R6的另一端与所述二极管D2的正极连接，所述电阻R7的另一端分别与所述二极管D2的负极、所述电容C4的一端和所述反相器U3的正极连接，所述电容C4的另一端接地，所述反相器U3的负极与所述电阻R8的一端连接，所述电阻R8的另一端分别与所述电阻R9的一端、所述三极管Q2的基极连接，所述电阻R9的另一端与所述三极管Q2的发射极连接，所述三极管Q2的集电极与所述电阻R10的一端均接输出信号，所述电阻R10的另一端接地。
在此实施例中，输入信号与所述三极管Q1的集电极连接，通常此处电位恒定，受所述电容C1影响，所述三极管Q1的基极电流相应慢，所述反相器U1、所述反相器U2和所述反相器U3组成放大检测电路，所述电容C2作为隔直电容除去直流电，所述反相器U1放大输入信号，所述反相器U2根据输入信号变化转换高低电平。所述电容C4、所述二极管D2、所述电阻R6和所述电阻R7组成脉冲电路，所述反相器U2输出高电平时，所述电容C4快速充电，所述反相器U2输出低电平时，所述电容C4缓慢放电。所述反相器U3作为多谐振荡器输出信号，最后经过所述三极管Q2驱动放大输出。
一种TOF人脸识别方法，采用双目立体重建识别，双检测探头在同一平面不同角度检测两套人脸，对比建模，具体步骤包括：
步骤1、左目相机、右目相机同时进行面阵式成像，计算被测人脸表面的深度信息，得到两套人脸建模；
步骤2、对左右相机的两套建模选取特征点求取视差值对建模进行校正，寻找空间同一点在不同建模上的坐标位置进行立体匹配；
步骤3、选取建模中可以作为匹配的最小单位，根据具体情况选择合适的匹配单位，匹配单位包括区域、特征点、相位；
步骤4、对选择的匹配单位进行相似度测算，由
Figure 991701DEST_PATH_IMAGE021
，
（
Figure 750448DEST_PATH_IMAGE004
，
Figure 674541DEST_PATH_IMAGE005
）为理想坐标，（
Figure 574364DEST_PATH_IMAGE022
，
Figure 468371DEST_PATH_IMAGE023
）为实际坐标，
得到两套建模的相似度比较结果；
步骤5、采用半全局匹配代价的计算和聚合，由
Figure 973302DEST_PATH_IMAGE024
，
MI为互信息，
Figure 678084DEST_PATH_IMAGE025
为
Figure 65203DEST_PATH_IMAGE026
的熵值，
Figure 762900DEST_PATH_IMAGE027
为
Figure 122337DEST_PATH_IMAGE028
的熵值，
Figure 919392DEST_PATH_IMAGE026
、
Figure 105392DEST_PATH_IMAGE028
为灰度直方图点，
Figure 278884DEST_PATH_IMAGE029
为MI匹配代价，m为图像点，d为视差值，q为对应校正点，
利用互信息熵进行匹配计算，取最小视差度代价聚合；
步骤6、得到人脸对比结果。
总之，本发明具有以下优点：
1、通过红外检测对来访者进行预判，减少人脸识别的使用次数，降低耗电；
2、使用TOF人脸识别技术缩小模块结构减少耗电量；
3、使用双眼立体技术提高TOF人脸识别的精准度；
4、增加信号放大处理提高TOF人脸识别的精准度。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，用于通过任何合适的方式进行组合。为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

Claims (8)

1.一种TOF人脸识别智能门，其特征在于，包括感应测距单元、TOF人脸识别单元、双目立体单元和信号放大单元；
感应测距单元，包括红外感应模块，检测智能门前的人体热释信号，判断是否进入识别范围；
TOF人脸识别单元，通过TOF技术测量人脸深度变化，还原人脸立体形象；
双目立体单元，包括双检测模块，包括两个检测探头，并排设置在猫眼位置，从双目视角检测人脸得到更立体的检测结果；
信号放大单元，放大传递信号，提高人脸检测识别的速度与精准度。
2.根据权利要求1所述的一种TOF人脸识别智能门，其特征在于，所述感应测距单元，接收人体热释信号检测距离，动态检测人体与智能门距离减少到50cm以内，判断进入识别范围。
3.根据权利要求1所述的一种TOF人脸识别智能门，其特征在于，所述TOF人脸识别单元将相机模型坐标通过透视矩阵转换为世界坐标，由公式：
Figure DEST_PATH_IMAGE001
，
m为相机模型坐标，P为透视投影矩阵，M为世界坐标, K为相机的内参数矩阵，R为相机的旋转矩阵，t为相机的平移向量，
计算得到世界坐标。
4.根据权利要求1所述的一种TOF人脸识别智能门，其特征在于，所述TOF人脸识别单元对相机模型的镜头畸变进行校正，由公式：
Figure 870376DEST_PATH_IMAGE002
，
Figure DEST_PATH_IMAGE003
，
（
Figure 635069DEST_PATH_IMAGE004
，
Figure DEST_PATH_IMAGE005
）为理想坐标，（x，y）为实际坐标，
Figure 403305DEST_PATH_IMAGE006
、
Figure DEST_PATH_IMAGE007
、
Figure 629756DEST_PATH_IMAGE008
…均为畸变参数，
计算得到理想坐标。
5.根据权利要求1所述的一种TOF人脸识别智能门，其特征在于，所述双目立体单元将双目系统标定，由公式：
Figure DEST_PATH_IMAGE009
，
Figure 901469DEST_PATH_IMAGE010
为左目相机模型坐标，
Figure DEST_PATH_IMAGE011
为左目相机的旋转矩阵，
Figure 837064DEST_PATH_IMAGE012
为左目相机的平移向量，
Figure DEST_PATH_IMAGE013
为右目相机模型坐标，
Figure 466497DEST_PATH_IMAGE014
为右目相机的旋转矩阵，
Figure DEST_PATH_IMAGE015
为右目相机的平移向量，
计算得到相机的平移向量。
6.根据权利要求1所述的一种TOF人脸识别智能门，其特征在于，所述双目立体单元，由图像单应变化对双目相机图像进行极线校正，设双目相机图像点对为（
Figure 122737DEST_PATH_IMAGE010
，
Figure 576853DEST_PATH_IMAGE013
），极线校正后的双目相机图像点对为（
Figure 214507DEST_PATH_IMAGE016
，
Figure DEST_PATH_IMAGE017
），得
Figure 948150DEST_PATH_IMAGE018
，
Figure DEST_PATH_IMAGE019
为右目相机的内参数矩阵，
Figure 876922DEST_PATH_IMAGE011
为右目相机的旋转矩阵，
Figure 293866DEST_PATH_IMAGE020
为右目相机的内参数矩阵，
Figure 243368DEST_PATH_IMAGE014
为右目相机的旋转矩阵，
根据图像提取的特征点解出双目相机的内外参数矩阵，得到极线校正后的双目相机图像。
7.根据权利要求1所述的一种TOF人脸识别智能门，其特征在于，所述信号放大单元包括信号放大电路，包括二极管D1、二极管D2、电容C1、电容C2、电容C3、电容C4、三极管Q1、三极管Q2、电阻R1、电阻R2、电阻R3、电阻R4、电阻R5、电阻R6、电阻R7、电阻R8、电阻R9、电阻R10、电位器RV1、反相器U1、反相器U2和反相器U3；
所述二极管D1的正极与所述电容C2的一端、所述三极管Q1的集电极均接输入信号，所述二极管D1的负极分别与所述三极管Q1的集电极的基极、所述电容C1的一端连接，所述三极管Q1的发射极与所述电容C1的一端接地，所述电容C2的另一端与所述电阻R1的一端连接，所述电阻R1的另一端分别与所述反相器U1的正极、所述电阻R2的一端、所述电容C3的一端连接，所述反相器U1的负极分别与所述电阻R2的另一端、所述电容C3的另一端和所述电阻R3的一端连接，所述电阻R3的另一端分别与所述电阻R4的一端、所述反相器U2的正极连接，所述电阻R4的另一端与所述电位器RV1的第3引脚连接，所述电位器RV1的第2引脚接电源电压，所述电位器RV1的第1引脚与所述电阻R5的一端连接，所述电阻R5的另一端接地，所述反相器U2的负极分别与所述电阻R6的一端、所述电阻R7的一端连接，所述电阻R6的另一端与所述二极管D2的正极连接，所述电阻R7的另一端分别与所述二极管D2的负极、所述电容C4的一端和所述反相器U3的正极连接，所述电容C4的另一端接地，所述反相器U3的负极与所述电阻R8的一端连接，所述电阻R8的另一端分别与所述电阻R9的一端、所述三极管Q2的基极连接，所述电阻R9的另一端与所述三极管Q2的发射极连接，所述三极管Q2的集电极与所述电阻R10的一端均接输出信号，所述电阻R10的另一端接地。
8.一种TOF人脸识别方法，其特征在于，采用双目立体重建识别，双检测探头在同一平面不同角度检测两套人脸，对比建模，具体步骤包括：
步骤1、左目相机、右目相机同时进行面阵式成像，计算被测人脸表面的深度信息，得到两套人脸建模；
步骤2、对左右相机的两套建模选取特征点求取视差值对建模进行校正，寻找空间同一点在不同建模上的坐标位置进行立体匹配；
步骤3、选取建模中可以作为匹配的最小单位，根据具体情况选择合适的匹配单位，匹配单位包括区域、特征点、相位；
步骤4、对选择的匹配单位进行相似度测算得到两套建模的相似度比较结果，由公式：
Figure DEST_PATH_IMAGE021
，
（
Figure 332546DEST_PATH_IMAGE004
，
Figure 268272DEST_PATH_IMAGE005
）为理想坐标，（
Figure 962559DEST_PATH_IMAGE022
，
Figure DEST_PATH_IMAGE023
）为实际坐标，
计算得到理想坐标；
步骤5、采用半全局匹配代价的计算和聚合，利用互信息熵进行匹配计算，取最小视差度代价聚合，由公式：
Figure 410858DEST_PATH_IMAGE024
，
MI为互信息，
Figure DEST_PATH_IMAGE025
为
Figure 33338DEST_PATH_IMAGE026
的熵值，
Figure DEST_PATH_IMAGE027
为
Figure 22022DEST_PATH_IMAGE028
的熵值，
Figure 774078DEST_PATH_IMAGE026
、
Figure 206327DEST_PATH_IMAGE028
为灰度直方图点，
Figure DEST_PATH_IMAGE029
为MI匹配代价，m为图像点，d为视差值，q为对应校正点，
计算得到结果；
步骤6、得到人脸对比结果。
CN202011061392.4A 2020-09-30 2020-09-30 一种tof人脸识别智能门及方法 Withdrawn CN112287766A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011061392.4A CN112287766A (zh) 2020-09-30 2020-09-30 一种tof人脸识别智能门及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011061392.4A CN112287766A (zh) 2020-09-30 2020-09-30 一种tof人脸识别智能门及方法

Publications (1)

Publication Number Publication Date
CN112287766A true CN112287766A (zh) 2021-01-29

Family

ID=74421676

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011061392.4A Withdrawn CN112287766A (zh) 2020-09-30 2020-09-30 一种tof人脸识别智能门及方法

Country Status (1)

Country Link
CN (1) CN112287766A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113192144A (zh) * 2021-04-22 2021-07-30 上海炬佑智能科技有限公司 ToF模组参数修正方法、ToF装置及电子设备
CN115147965A (zh) * 2022-06-27 2022-10-04 杭州海康威视数字技术股份有限公司 基于闸机的目标检测方法、系统、设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113192144A (zh) * 2021-04-22 2021-07-30 上海炬佑智能科技有限公司 ToF模组参数修正方法、ToF装置及电子设备
CN115147965A (zh) * 2022-06-27 2022-10-04 杭州海康威视数字技术股份有限公司 基于闸机的目标检测方法、系统、设备及存储介质
CN115147965B (zh) * 2022-06-27 2024-03-12 杭州海康威视数字技术股份有限公司 基于闸机的目标检测方法、系统、设备及存储介质

Similar Documents

Publication Publication Date Title
Xie et al. Pixels and 3-D points alignment method for the fusion of camera and LiDAR data
Campo et al. Multimodal stereo vision system: 3D data extraction and algorithm evaluation
CN111784778B (zh) 基于线性求解非线性优化的双目相机外参标定方法和系统
CN105957090B (zh) 一种基于达芬奇技术的单目视觉位姿测量方法及系统
CN106485735A (zh) 基于立体视觉技术的人体目标识别与跟踪方法
CN112287766A (zh) 一种tof人脸识别智能门及方法
CN102609724B (zh) 一种基于双摄像头的周围环境信息提示方法
CN112525352A (zh) 一种基于人脸识别的红外测温补偿方法及终端
Sturm et al. Vision-based detection for learning articulation models of cabinet doors and drawers in household environments
WO2020243969A1 (zh) 人脸识别的装置、方法和电子设备
US10915739B2 (en) Face recognition device, face recognition method, and computer readable storage medium
CN104331901A (zh) 一种基于tld的多视角目标跟踪装置及方法
WO2021259365A1 (zh) 一种目标测温方法、装置及测温系统
TW202029130A (zh) 注視度判斷裝置及方法
Shen et al. Extrinsic calibration for wide-baseline RGB-D camera network
Sturm et al. 3d pose estimation, tracking and model learning of articulated objects from dense depth video using projected texture stereo
Chen et al. A comparative analysis between active structured light and multi-view stereo vision technique for 3D reconstruction of face model surface
CN108566777A (zh) 身份鉴权方法、身份鉴权装置、和电子设备
Ghidoni et al. A multi-viewpoint feature-based re-identification system driven by skeleton keypoints
CN111753781B (zh) 一种基于双目红外的实时3d人脸活体判断方法
WO2023185375A1 (zh) 一种深度图生成系统、方法及自主移动设备
Pini et al. Baracca: a multimodal dataset for anthropometric measurements in automotive
CN112257617B (zh) 多模态目标识别方法和系统
CN108415332A (zh) 一种基于激光雷达的家用防盗系统
Dai et al. Coarse-to-fine multiview 3d face reconstruction using multiple geometrical features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230406

Address after: Office 1803, Building 9, No. 11 Mozhou East Road, Moling Street, Jiangning District, Nanjing City, Jiangsu Province, 211111

Applicant after: Nanjing Jiawei Biological Environmental Protection Technology Co.,Ltd.

Address before: 210000 300 Zhihui Road, Qilin science and Technology Innovation Park, Jiangning District, Nanjing City, Jiangsu Province

Applicant before: NANJING WEIYINTE INTELLIGENT TECHNOLOGY Co.,Ltd.

WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210129