CN109192302A - 一种脸部多模态图像采集处理装置及方法 - Google Patents

一种脸部多模态图像采集处理装置及方法 Download PDF

Info

Publication number
CN109192302A
CN109192302A CN201810971766.2A CN201810971766A CN109192302A CN 109192302 A CN109192302 A CN 109192302A CN 201810971766 A CN201810971766 A CN 201810971766A CN 109192302 A CN109192302 A CN 109192302A
Authority
CN
China
Prior art keywords
face
image
acquisition
module
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810971766.2A
Other languages
English (en)
Inventor
沈会良
陈晨涛
潘之玮
王林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Body Light Medical Technology Co Ltd
Original Assignee
Hangzhou Body Light Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Body Light Medical Technology Co Ltd filed Critical Hangzhou Body Light Medical Technology Co Ltd
Priority to CN201810971766.2A priority Critical patent/CN109192302A/zh
Publication of CN109192302A publication Critical patent/CN109192302A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种脸部多模态图像采集处理装置及方法。一种脸部多模态图像采集处理装置，包括箱体，所述箱体内安装有对人脸图像进行处理的工控机主板、与工控机主板电连接的用于采集人脸图像的可见光摄像头和红外摄像头，所述可见光摄像头和红外摄像头并排设置，所述箱体对应可见光摄像头和红外摄像头的位置处均开设有通孔；所述工控机主板包括控制模块，所述控制模块上连接有用于将可见光摄像头采集的可见光图像和红外摄像头采集的红外图像进行对准的图像配准模块、用于对采集的人脸图像颜色进行归一化的颜色校正模块、用于人脸区域精确定位的人脸识别模块、用于分割人脸区域来统计各区域温度的人脸区域分割模块。

Description

一种脸部多模态图像采集处理装置及方法
技术领域
本发明属于图像采集和处理的技术领域，涉及一种用于健康诊断的脸部多模态图像采集处理装置及方法。
背景技术
随着现代社会的发展和生活水平的提高，人们对身体健康程度愈发关注。人们参与体检的方式越来越多，而拍摄热红外图像成为一种新兴方式。红外线是电磁波中的一个波段，特点是具有明显的热效应。人体通过皮肤向外辐射波段在5～50μm的红外线，被动式红外相机接收信号，通过光电转换将红外信号转变为电信号，存储到计算机中。
图像配准是在空间寻找图像间的映射关系，估计图像之间的相对运动参数，使得在同一场景获取的待配准图像在真实空间某些像素位置上达到对应点位置完全一致。简单来说，图像配准就是建立两幅或多幅图像像素坐标间的几何变换关系，然后通过对应的几何变换参数对待配准图像进行几何变换的方法。然而，红外图像信噪比低、对比度差，而且由于红外热辐射，人脸的可见光图像与红外图像轮廓边缘不一致，现有的计算特征点方法匹配错误概率较大，因此寻找一种鲁棒性较强的配准方法尤为重要。
人脸识别技术是基于人的脸部特征信息进行身份识别的一种生物识别技术。现在的人脸识别技术已经得到了非常广泛的应用，支付领域、身份验证、美颜相机里都有它的应用。传统的人脸识别技术主要是基于可见光图像的人脸识别，这也是人们熟悉的识别方式，已有30多年的研发历史。但这种方式有着难以克服的缺陷，尤其在环境光照发生变化时，识别效果会急剧下降，无法满足实际系统的需要。
发明内容
本发明针对可见光与红外图像配准、红外图像中人脸区域定位等难题，提出了一种用于健康诊断的脸部多模态图像采集处理装置及方法，实现人脸的可见光图像和红外图像的采集和分析，统计人脸各区域的温度分布情况，对人脸健康诊断具有重要的意义。
本发明采用的技术方案是：
一种脸部多模态图像采集处理装置，其特征在于：包括箱体，所述箱体内安装有对人脸图像进行处理的工控机主板、与工控机主板电连接的用于采集人脸图像的可见光摄像头和红外摄像头，所述可见光摄像头和红外摄像头并排设置，所述箱体对应可见光摄像头和红外摄像头的位置处均开设有通孔；所述工控机主板包括控制模块，所述控制模块上连接有用于将可见光摄像头采集的可见光图像和红外摄像头采集的红外图像进行对准的图像配准模块、用于对采集的人脸图像颜色进行归一化的颜色校正模块、用于人脸区域精确定位的人脸识别模块、用于分割人脸区域来统计各区域温度的人脸区域分割模块。
进一步，还包括为图像采集提供光源的漫反射光源和为采集者提供一个参考人脸位置的人脸托架。
进一步，所述工控机主板与外部的人机交互设备连接，比如鼠标键盘、显示器等。
进一步，所述箱体内安装有多个散热用的风扇。
进一步，所述工控机主板上还连接有用于数据传输的天线。
一种脸部多模态图像采集处理方法，其步骤包括：
(1)采用可见光摄像头和红外摄像头分别对人脸图像进行采集，得到可见光人脸图像和红外人脸图像；
(2)图像配准模块对步骤(1)中得到的可见光人脸图像和红外人脸图像在空间位置上进行对准；
(3)人脸识别模块对采集的可见光人脸图像中的人脸区域进行特征点定位；
(4)人脸区域分割模块根据步骤(3)中得到的定位点对步骤(2)中得到的对准后的红外人脸图像进行人脸区域分割并统计各区域的温度。
进一步，步骤(2)中的图像配准模块的图像配准步骤包括：
对可见光摄像头和红外摄像头采集到的图像进行人机交互，标记特征点位置，实现特征点的匹配，计算两幅图像间的几何变换关系；
根据获得的几何变换关系对之后拍摄的可见光人脸图像和红外人脸图像进行精确配准。本发明在两个摄像头位置固定以及人脸采集距离一定的条件下，所述几何变换关系只需求解一次，之后拍摄的图像都可以应用此变换进行两幅图像的配准。对两个相机采集到的图像进行人机交互，标记特征点位置，实现特征点的匹配，计算两幅图像间的几何变换关系，最终实现精确配准。
进一步，步骤(2)和步骤(3)之间还包括：采用颜色校正模块对采集的人脸图像进行颜色归一化。由于可见光图像采集和人脸识别易受光照条件变化影响，本发明的采集处理装置一般在室内使用，为保证在光源变化后采集的可见光图像颜色一致，采用颜色校正模块。
进一步，颜色校正模块的校正步骤包括：
在人脸采集画面中放置一个小白块作为参照物，每次采集时都获取小白块的颜色值；
对小白块的颜色值进行调整，调整到一个不变的值进行归一化。
本发明颜色归一化后的人脸图像使得采集到的人脸亮度不受环境光照变化影响，从而为医生在可见光下的人脸诊断提供可靠的图像。
进一步，步骤(3)中的人脸识别模块的人脸区域定位步骤包括：
人脸检测，通过人脸检测器对人脸进行检测；
人脸对齐，采用人脸对齐函数对人脸进行对齐，并采用回归树方法直接从一个稀疏子集估计人脸特征点坐标，获得了68个坐标点，包括人脸的轮廓坐标，以及眼、鼻、口部位坐标。
进一步，人脸识别模块还包括身份识别，采用已经训练好的深度残差网络模型进行人脸识别，将对齐后的人脸图像输入网络，返回一个128维的人脸特征向量，计算此特征向量与数据库中特征向量的余弦距离，从数据库中找到最相似的人脸图像，若经比对确认是同一人，从数据库获取身份信息，若经比对确认不是同一人，录入相应的身份信息并保存于数据库中。
进一步，步骤(4)中的人脸区域分割模块基于人脸对齐得到的关键点坐标，将人脸图像分割成9个区域，包括额头、印堂、右脸颊、左脸颊、鼻子、人中、下巴、右太阳穴、左太阳穴。
本发明的有益效果：相比于传统的单个摄像头人脸采集装置，本发明所采用的多模态图像采集处理装置能够采集多维度信息，采用本发明提供的图像采集处理方法进行图像配准与人脸识别，能够更好地统计人脸各区域的温度分布情况，为人脸的健康诊断提供了可靠且准确的方案。
附图说明
图1是本发明的双目相机采集装置示意图。
图2是本发明的原理框图。
图3是本发明的图像采集处理步骤示意图。
图4是用于配准的不锈钢板的可见光与红外图像。
图5是人脸的可见光图像、红外图像、配准前和配准后图像。
图6是人脸的区域划分示意图，以及各区域名称和平均温度。
具体实施方式
下面结合具体实施例来对本发明进行进一步说明，但并不将本发明局限于这些具体实施方式。本领域技术人员应该认识到，本发明涵盖了权利要求书范围内所可能包括的所有备选方案、改进方案和等效方案。
实施例一
参见图1、图2，一种脸部多模态图像采集处理装置，包括采集处理图像的工控机、为图像采集提供光源的漫反射光源、为采集者提供一个参考人脸位置的人脸托架。
本实施例工控机包括箱体1，所述箱体1内安装有对人脸图像进行处理的工控机主板、与工控机主板电连接的用于采集人脸图像的可见光摄像头2和红外摄像头3、多个散热用的风扇、与工控机主板连接的用于数据传输的天线，所述可见光摄像头2和红外摄像头3并排设置，所述箱体1对应可见光摄像头2和红外摄像头3的位置处均开设有通孔，所述工控机主板与外部的人机交互设备连接，比如鼠标键盘、显示器等；所述工控机主板包括控制模块，所述控制模块上连接有用于将可见光摄像头采集的可见光图像和红外摄像头采集的红外图像进行对准的图像配准模块、用于对采集的人脸图像颜色进行归一化的颜色校正模块、用于人脸区域精确定位的人脸识别模块、用于分割人脸区域来统计各区域温度的人脸区域分割模块。
本实施例所述的可见光摄像头采集人脸RGB彩色图像，采用的是工业相机；所述的红外摄像头采集人脸红外图像，采用的是医学专用红外摄像头；所述的漫反射光源用到的是摄影专用漫反射光源。
本发明所述的一种脸部多模态图像采集处理装置能够采集多维度信息，为后续的人体健康诊断提供可见光图像和红外图像，可见光图像用于脸色诊断，红外图像用于温度诊断。
实施例二
参见图3，一种脸部多模态图像采集处理方法，其步骤包括：
(1)采用可见光摄像头和红外摄像头分别对人脸图像进行采集，得到可见光人脸图像和红外人脸图像。
(2)图像配准模块对步骤(1)中得到的可见光人脸图像和红外人脸图像在空间位置上进行对准；
其中图像配准模块的图像配准步骤包括：
对可见光摄像头和红外摄像头采集到的图像进行人机交互，标记特征点位置，实现特征点的匹配，计算两幅图像间的几何变换关系；具体的，采用的拍摄对象为加热的打孔的不锈钢板，如图4所示，采用的几何变换关系为单应性变换，单应性变换(Homography)是一个3x3矩阵变换，其矩阵描述的是针对同一事物，在不同的视角下拍摄的两幅图像之间的关系，将一张图中的点(x，y)映射到另一张图中对应的点(u，v)。因为单应性矩阵是一个3x3矩阵，所以可以写成
两张图像间的映射关系可以表示为
因此可以根据不锈钢板上标记的匹配点位置进行单应性矩阵参数的求解；
根据获得的几何变换关系对之后拍摄的可见光人脸图像和红外人脸图像进行精确配准，如图5所示，(a)为可见光人脸图像，(b)为红外人脸图像，(c)为两幅未配准原始图像相叠加结果，(d)为两幅图像经配准后相叠加的结果，可以看到红外与可见光图像的脸部区域具有满意的对齐效果。
在两个摄像头位置固定以及人脸采集距离一定的条件下，所述几何变换关系只需求解一次，之后拍摄的图像都可以应用此变换进行两幅图像的配准。对两个相机采集到的图像进行人机交互，标记特征点位置，实现特征点的匹配，计算两幅图像间的几何变换关系，最终实现精确配准。
(3)人脸识别模块对采集的可见光人脸图像中的人脸区域进行特征点定位；
其中人脸识别模块的人脸区域定位步骤包括：
人脸检测，通过人脸检测器对人脸进行检测；其中人脸检测器采用经典的HOG特征和线性判别器；
人脸对齐，采用人脸对齐函数将人脸对齐到一个基准图像，方法是采用回归树方法直接从一个稀疏子集估计人脸特征点坐标，获得了68个坐标点，包括人脸的轮廓坐标，以及眼、鼻、口部位坐标，实现了高精度的人脸对齐效果。其中，人脸对齐的作用有：
其一、人脸特征点检测。具体来说，人脸对齐是在人脸检测的基础上，根据输入的人脸图像，自动定位出面部关键特征点，如眼睛、鼻尖、嘴角点、眉毛以及人脸各部件轮廓点等，输入为人脸外观图像，输出为人脸的特征点集合。这些特征点可以用来进行精确的人脸区域分割。
其二、对齐人脸有利于提高人脸识别正确率。将人脸图像根据特征点坐标进行几何变换，使得不同角度的人脸还原到相同的正脸，然后输入人脸识别神经网络进行识别。
人脸关键点检测，基于Ensemble of Regression Tress算法(简称ERT)，使用级联回归器来做人脸特征对齐，速度极快，效果也不错。在训练过程中，ERT算法通过梯度提升算法来学习每一个回归器，损失函数是平方误差损失函数。梯度提升算法的思想是，每一次建立模型是在之前建立模型损失函数的梯度下降方向。回归器的输入，是一个稀疏的像素集，这个像素集特征是通过结合了梯度提升算法和一对像素距离的先验概率挑选出来的。而且这种像素差值特征，是形状不变(几何不变性)的特征。
人脸识别模块还包括身份识别，实现人脸数据与身份信息的快速匹配，录入数据库，采用已经训练好的深度残差网络模型进行人脸识别，将对齐后的人脸图像输入网络，返回一个128维的人脸特征向量，计算此特征向量与数据库中特征向量的余弦距离，从数据库中找到最相似的人脸图像，若经比对确认是同一人，从数据库获取身份信息，若经比对确认不是同一人，录入相应的身份信息并保存于数据库中。
其中深度残差网络(Residual Network，简称ResNet)引入的残差网络结构，利用恒等映射，把一串的训练，分成了一个个的块(block)去训练，让每一个块的误差最小，最终达到整体误差最小的目的，所以就不会出现梯度弥散现象了。具体地说，假定某段神经网络的输入是x，期望输出是H(x)，即H(x)是期望的复杂潜在映射，如果是要学习这样的模型，则训练难度会比较大。如果已经学习到较饱和的准确率(或者当发现下层的误差变大时)，那么接下来的学习目标就转变为恒等映射的学习，也就是使输入x近似于输出H(x)，以保持在后面的层次中不会造成精度下降。在残差网络中，通过“捷径连接”(shortcutconnections)的方式，直接把输入x传到输出作为初始结果，输出结果为H(x)＝F(x)+x，当F(x)＝0时，那么H(x)＝x，也就是上面所提到的恒等映射。于是，ResNet相当于将学习目标改变了，不再是学习一个完整的输出，而是目标值H(X)和x的差值，也就是所谓的残差F(x):＝H(x)-x，因此，后面的训练目标就是要将残差结果逼近于0，使到随着网络加深，准确率不下降。所以，ResNet可以把网络层弄的很深，并且最终的分类效果也非常好。
(4)人脸区域分割模块根据步骤(3)中得到的定位点对步骤(2)中得到的对准后的红外人脸图像进行人脸区域分割并统计各区域的温度，如图6所示；
其中人脸区域分割模块基于人脸对齐中得到的关键点坐标，将人脸图像分割成9个区域，包括额头、印堂、右脸颊、左脸颊、鼻子、人中、下巴、右太阳穴、左太阳穴。
本实施例在步骤(2)和步骤(3)之间还包括：采用颜色校正模块对采集的人脸图像进行颜色归一化；颜色校正模块的校正步骤包括：
在人脸采集画面中放置一个小白块作为参照物，每次采集时都获取小白块的颜色值；
对小白块的颜色值进行调整，调整到一个不变的值进行归一化。
由于可见光图像采集和人脸识别易受光照条件变化影响，本发明的采集处理装置一般在室内使用，为保证在光源变化后采集的可见光图像颜色一致，采用颜色校正模块。颜色归一化后的人脸图像使得采集到的人脸亮度不受环境光照变化影响，从而为医生在可见光下的人脸诊断提供可靠的图像。
本发明处理后的可见光图像和红外图像可以通过无线上传至远程服务器，医生即可在线将可见光图像用于脸色诊断，红外图像用于温度诊断；能够更好地统计人脸各区域的温度分布情况，为人脸的健康诊断提供了可靠且准确的方案。

Claims (10)

1.一种脸部多模态图像采集处理装置，其特征在于：包括箱体，所述箱体内安装有对人脸图像进行处理的工控机主板、与工控机主板电连接的用于采集人脸图像的可见光摄像头和红外摄像头，所述可见光摄像头和红外摄像头并排设置，所述箱体对应可见光摄像头和红外摄像头的位置处均开设有通孔；所述工控机主板包括控制模块，所述控制模块上连接有用于将可见光摄像头采集的可见光图像和红外摄像头采集的红外图像进行对准的图像配准模块、用于对采集的人脸图像颜色进行归一化的颜色校正模块、用于人脸区域精确定位的人脸识别模块、用于分割人脸区域来统计各区域温度的人脸区域分割模块。
2.根据权利要求1所述的一种脸部多模态图像采集处理装置，其特征在于：还包括为图像采集提供光源的漫反射光源和为采集者提供一个参考人脸位置的人脸托架。
3.根据权利要求1所述的一种脸部多模态图像采集处理装置，其特征在于：所述工控机主板与外部的人机交互设备连接。
4.根据权利要求1所述的一种脸部多模态图像采集处理装置，其特征在于：所述工控机主板上还连接有用于数据传输的天线。
5.一种脸部多模态图像采集处理方法，其步骤包括：
(1)采用可见光摄像头和红外摄像头分别对人脸图像进行采集，得到可见光人脸图像和红外人脸图像；
(2)图像配准模块对步骤(1)中得到的可见光人脸图像和红外人脸图像在空间位置上进行对准；
(3)人脸识别模块对采集的可见光人脸图像中的人脸区域进行特征点定位；
(4)人脸区域分割模块根据步骤(3)中得到的定位点对步骤(2)中得到的对准后的红外人脸图像进行人脸区域分割并统计各区域的温度。
6.根据权利要求5所述的一种脸部多模态图像采集处理方法，其特征在于：步骤(2)中的图像配准模块的图像配准步骤包括：
对可见光摄像头和红外摄像头采集到的图像进行人机交互，标记特征点位置，实现特征点的匹配，计算两幅图像间的几何变换关系；
根据获得的几何变换关系对之后拍摄的可见光人脸图像和红外人脸图像进行精确配准。
7.根据权利要求5所述的一种脸部多模态图像采集处理方法，其特征在于：步骤(2)和步骤(3)之间还包括：采用颜色校正模块对采集的人脸图像进行颜色归一化，颜色校正模块的校正步骤包括：
在人脸采集画面中放置一个小白块作为参照物，每次采集时都获取小白块的颜色值；
对小白块的颜色值进行调整，调整到一个不变的值进行归一化。
8.根据权利要求5～7之一所述的一种脸部多模态图像采集处理方法，其特征在于：步骤(3)中的人脸识别模块的人脸区域定位步骤包括：
人脸检测，通过人脸检测器对人脸进行检测；
人脸对齐，采用人脸对齐函数对人脸进行对齐，并采用回归树方法直接从一个稀疏子集估计人脸特征点坐标，获得了68个坐标点，包括人脸的轮廓坐标，以及眼、鼻、口部位坐标。
9.根据权利要求8所述的一种脸部多模态图像采集处理方法，其特征在于：人脸识别模块还包括身份识别，采用已经训练好的深度残差网络模型进行人脸识别，将对齐后的人脸图像输入网络，返回一个128维的人脸特征向量，计算此特征向量与数据库中特征向量的余弦距离，从数据库中找到最相似的人脸图像，若经比对确认是同一人，从数据库获取身份信息，若经比对确认不是同一人，录入相应的身份信息并保存于数据库中。
10.根据权利要求8所述的一种脸部多模态图像采集处理方法，其特征在于：步骤(4)中的人脸区域分割模块基于人脸对齐得到的关键点坐标，将人脸图像分割成9个区域，包括额头、印堂、右脸颊、左脸颊、鼻子、人中、下巴、右太阳穴、左太阳穴。
CN201810971766.2A 2018-08-24 2018-08-24 一种脸部多模态图像采集处理装置及方法 Pending CN109192302A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810971766.2A CN109192302A (zh) 2018-08-24 2018-08-24 一种脸部多模态图像采集处理装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810971766.2A CN109192302A (zh) 2018-08-24 2018-08-24 一种脸部多模态图像采集处理装置及方法

Publications (1)

Publication Number Publication Date
CN109192302A true CN109192302A (zh) 2019-01-11

Family

ID=64919503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810971766.2A Pending CN109192302A (zh) 2018-08-24 2018-08-24 一种脸部多模态图像采集处理装置及方法

Country Status (1)

Country Link
CN (1) CN109192302A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109846463A (zh) * 2019-03-04 2019-06-07 武汉迅检科技有限公司 红外人脸测温方法、系统、设备及存储介质
CN110008813A (zh) * 2019-01-24 2019-07-12 阿里巴巴集团控股有限公司 基于活体检测技术的人脸识别方法和系统
CN110781856A (zh) * 2019-11-04 2020-02-11 浙江大华技术股份有限公司 异质人脸识别模型训练方法、人脸识别方法及相关装置
CN111369560A (zh) * 2020-04-26 2020-07-03 成都大熊猫繁育研究基地 一种圈养大熊猫体温快速测量方法
CN111462128A (zh) * 2020-05-28 2020-07-28 南京大学 一种基于多模态光谱图像的像素级图像分割系统及方法
CN111623883A (zh) * 2020-05-26 2020-09-04 成都电科崇实科技有限公司 一种可见光图像与红外图像相结合的目标测温的方法
CN111653012A (zh) * 2020-05-29 2020-09-11 浙江大华技术股份有限公司 闸机控制方法、闸机及具有存储功能的装置
CN111739069A (zh) * 2020-05-22 2020-10-02 北京百度网讯科技有限公司 图像配准方法、装置、电子设备及可读存储介质
CN111738180A (zh) * 2020-06-28 2020-10-02 浙江大华技术股份有限公司 关键点的标注方法、装置、存储介质及电子装置
CN111767868A (zh) * 2020-06-30 2020-10-13 创新奇智(北京)科技有限公司 人脸检测方法、装置、电子设备及存储介质
CN111839519A (zh) * 2020-05-26 2020-10-30 合肥工业大学 非接触式呼吸频率监测方法及系统
CN113405674A (zh) * 2020-03-17 2021-09-17 杭州海康威视数字技术股份有限公司 体温测量方法及摄像设备
CN113420702A (zh) * 2021-07-03 2021-09-21 深圳市迈斯泰克电子有限公司 基于人脸进行温度检测的方法、装置、系统以及存储介质
CN113743284A (zh) * 2021-08-30 2021-12-03 杭州海康威视数字技术股份有限公司 图像识别方法、装置、设备、相机及门禁设备
US11600057B2 (en) 2020-10-19 2023-03-07 Beijing Baidu Netcom Science Technology Co., Ltd. Method for processing multimodal images, apparatus, device and storage medium
CN111739069B (zh) * 2020-05-22 2024-04-26 北京百度网讯科技有限公司 图像配准方法、装置、电子设备及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102855474A (zh) * 2012-09-17 2013-01-02 北京中科金财科技股份有限公司 高安全性的金融交易自助受理装置和方法
CN103292909A (zh) * 2013-03-22 2013-09-11 珠海一多监测科技有限公司 单窗口双通道视频监控系统
CN106778607A (zh) * 2016-12-15 2017-05-31 国政通科技股份有限公司 一种基于人脸识别的人与身份证同一性认证装置及方法
CN106821287A (zh) * 2017-01-03 2017-06-13 中国科学院上海光学精密机械研究所 便携式口腔检测仪和检测方法
CN207515910U (zh) * 2017-12-04 2018-06-19 中华人民共和国首都机场出入境检验检疫局 一种全自动红外测温仪
CN108364272A (zh) * 2017-12-30 2018-08-03 广东金泽润技术有限公司 一种高性能红外-可见光融合探测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102855474A (zh) * 2012-09-17 2013-01-02 北京中科金财科技股份有限公司 高安全性的金融交易自助受理装置和方法
CN103292909A (zh) * 2013-03-22 2013-09-11 珠海一多监测科技有限公司 单窗口双通道视频监控系统
CN106778607A (zh) * 2016-12-15 2017-05-31 国政通科技股份有限公司 一种基于人脸识别的人与身份证同一性认证装置及方法
CN106821287A (zh) * 2017-01-03 2017-06-13 中国科学院上海光学精密机械研究所 便携式口腔检测仪和检测方法
CN207515910U (zh) * 2017-12-04 2018-06-19 中华人民共和国首都机场出入境检验检疫局 一种全自动红外测温仪
CN108364272A (zh) * 2017-12-30 2018-08-03 广东金泽润技术有限公司 一种高性能红外-可见光融合探测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
沈兰荪，等著: "《中医舌象的采集与分析》", 30 April 2007, 北京工业大学出版社 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008813A (zh) * 2019-01-24 2019-07-12 阿里巴巴集团控股有限公司 基于活体检测技术的人脸识别方法和系统
CN109846463A (zh) * 2019-03-04 2019-06-07 武汉迅检科技有限公司 红外人脸测温方法、系统、设备及存储介质
CN110781856A (zh) * 2019-11-04 2020-02-11 浙江大华技术股份有限公司 异质人脸识别模型训练方法、人脸识别方法及相关装置
CN110781856B (zh) * 2019-11-04 2023-12-19 浙江大华技术股份有限公司 异质人脸识别模型训练方法、人脸识别方法及相关装置
CN113405674A (zh) * 2020-03-17 2021-09-17 杭州海康威视数字技术股份有限公司 体温测量方法及摄像设备
CN111369560A (zh) * 2020-04-26 2020-07-03 成都大熊猫繁育研究基地 一种圈养大熊猫体温快速测量方法
CN111739069B (zh) * 2020-05-22 2024-04-26 北京百度网讯科技有限公司 图像配准方法、装置、电子设备及可读存储介质
CN111739069A (zh) * 2020-05-22 2020-10-02 北京百度网讯科技有限公司 图像配准方法、装置、电子设备及可读存储介质
CN111839519A (zh) * 2020-05-26 2020-10-30 合肥工业大学 非接触式呼吸频率监测方法及系统
CN111839519B (zh) * 2020-05-26 2021-05-18 合肥工业大学 非接触式呼吸频率监测方法及系统
CN111623883A (zh) * 2020-05-26 2020-09-04 成都电科崇实科技有限公司 一种可见光图像与红外图像相结合的目标测温的方法
CN111462128B (zh) * 2020-05-28 2023-12-12 南京大学 一种基于多模态光谱图像的像素级图像分割系统及方法
CN111462128A (zh) * 2020-05-28 2020-07-28 南京大学 一种基于多模态光谱图像的像素级图像分割系统及方法
CN111653012A (zh) * 2020-05-29 2020-09-11 浙江大华技术股份有限公司 闸机控制方法、闸机及具有存储功能的装置
CN111653012B (zh) * 2020-05-29 2022-06-07 浙江大华技术股份有限公司 闸机控制方法、闸机及具有存储功能的装置
CN111738180A (zh) * 2020-06-28 2020-10-02 浙江大华技术股份有限公司 关键点的标注方法、装置、存储介质及电子装置
CN111767868A (zh) * 2020-06-30 2020-10-13 创新奇智(北京)科技有限公司 人脸检测方法、装置、电子设备及存储介质
US11600057B2 (en) 2020-10-19 2023-03-07 Beijing Baidu Netcom Science Technology Co., Ltd. Method for processing multimodal images, apparatus, device and storage medium
CN113420702A (zh) * 2021-07-03 2021-09-21 深圳市迈斯泰克电子有限公司 基于人脸进行温度检测的方法、装置、系统以及存储介质
CN113743284A (zh) * 2021-08-30 2021-12-03 杭州海康威视数字技术股份有限公司 图像识别方法、装置、设备、相机及门禁设备

Similar Documents

Publication Publication Date Title
CN109192302A (zh) 一种脸部多模态图像采集处理装置及方法
Cheng et al. Appearance-based gaze estimation via evaluation-guided asymmetric regression
US20210056360A1 (en) System and method using machine learning for iris tracking, measurement, and simulation
US10082868B2 (en) Calculation method of line-of-sight direction based on analysis and match of iris contour in human eye image
CN110298291B (zh) 基于Mask-RCNN的牛脸及牛脸关键点检测方法
CN110110629B (zh) 面向室内环境控制的人员信息检测方法与系统
WO2020172783A1 (zh) 一种用于经颅磁刺激诊疗的人头姿态跟踪系统
Alnajar et al. Calibration-free gaze estimation using human gaze patterns
Lu et al. Appearance-based gaze estimation via uncalibrated gaze pattern recovery
JP2017502366A (ja) 虹彩生体認識モジュールおよびアクセス制御アセンブリ
CN106096608B (zh) 胸部温度异常区定位方法及装置
CN104598888B (zh) 一种人脸性别的识别方法
Wu et al. Eyenet: A multi-task deep network for off-axis eye gaze estimation
JP2008204200A (ja) 顔解析システム及びプログラム
Qi et al. Learning complex spatio-temporal configurations of body joints for online activity recognition
CN105760815A (zh) 基于第二代身份证人像和视频人像的异构人脸核实方法
Lee et al. Gaze tracking and point estimation using low-cost head-mounted devices
CN113255608B (zh) 一种基于cnn分类的多摄像头人脸识别定位方法
Galiyawala et al. Person retrieval in surveillance using textual query: a review
Deligianni et al. Patient-specific bronchoscope simulation with pq-space-based 2D/3D registration
CN111275754B (zh) 一种基于深度学习的脸部痘印比例计算方法
CN112115838A (zh) 一种热红外图像光谱融合的人脸分类方法
Yang et al. vGaze: Implicit saliency-aware calibration for continuous gaze tracking on mobile devices
CN105760848B (zh) 一种基于环形模板卷积的瞳孔定位方法
CN110222599A (zh) 一种基于高斯映射的步态识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190111