CN117523644B - 一种公共交通身份认证方法及系统 - Google Patents

一种公共交通身份认证方法及系统 Download PDF

Info

Publication number
CN117523644B
CN117523644B CN202410011852.4A CN202410011852A CN117523644B CN 117523644 B CN117523644 B CN 117523644B CN 202410011852 A CN202410011852 A CN 202410011852A CN 117523644 B CN117523644 B CN 117523644B
Authority
CN
China
Prior art keywords
image
mask
face
region
visible light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410011852.4A
Other languages
English (en)
Other versions
CN117523644A (zh
Inventor
郑咏希
刘昌�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xinghe Power Technology Co ltd
Original Assignee
Shenzhen Xinghe Power Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xinghe Power Technology Co ltd filed Critical Shenzhen Xinghe Power Technology Co ltd
Priority to CN202410011852.4A priority Critical patent/CN117523644B/zh
Publication of CN117523644A publication Critical patent/CN117523644A/zh
Application granted granted Critical
Publication of CN117523644B publication Critical patent/CN117523644B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明提供了一种公共交通身份认证方法及系统，包括获取身份待认证乘客的近红外人脸图像、第一可见光人脸图像和身份证人脸图像；将近红外人脸图像与第一可见光人脸图像进行图像配准，对图像配准后的近红外人脸图像的反光区域和非反光区域进行图像分割，得到反光区域图像和非反光区域图像；将反光区域图像转换为感兴趣区掩膜，将感兴趣区掩膜与图像配准后的第一可见光人脸图像进行掩膜运算，得到掩膜结果图像；将非反光区域图像转换为第二可见光人脸图像；将掩膜结果图像与第二可见光人脸图像进行图像融合并对融合后的图像进行特征提取。本发明提高了在光线较暗以及人脸部出现镜面反光的情况下的人脸识别成功率。

Description

一种公共交通身份认证方法及系统
技术领域
本发明涉及公共交通技术领域，具体而言，涉及一种公共交通身份认证方法及系统。
背景技术
随着公共交通技术的需求与发展，面部识别认证在公共交通身份认证应用中越发广泛，公交车上进行面部识别认证更有助于公共秩序的维护，由于公交车需要在夜间行驶，当周遭光线较暗时，光线在面部大范围内分布不均匀，因此采用基于可见光的面部识别方法容易造成面部识别失败的问题，为了解决光线在面部不均匀导致的面部识别失败的问题，现有技术中研究除了采用基于红外光的面部识别方法，然而当待认证乘客佩戴眼镜时，眼镜容易出现反光，导致反光部位的眼部特征无法识别。
发明内容
本发明的目的在于提供一种公共交通身份认证方法及系统，以改善上述问题。为了实现上述目的，本发明采取的技术方案如下：
第一方面，本申请提供了一种公共交通身份认证方法，包括：
获取第一信息，所述第一信息为身份待认证乘客的近红外人脸图像、第一可见光人脸图像和身份证人脸图像；
将所述近红外人脸图像与所述第一可见光人脸图像进行图像配准，对图像配准后的所述近红外人脸图像的反光区域和非反光区域进行图像分割，得到反光区域图像和非反光区域图像；
将所述反光区域图像转换为感兴趣区掩膜，将所述感兴趣区掩膜与图像配准后的所述第一可见光人脸图像进行掩膜运算，得到掩膜结果图像；
将所述非反光区域图像转换为第二可见光人脸图像；
将所述掩膜结果图像与所述第二可见光人脸图像进行图像融合并对融合后的图像进行特征提取，得到第一人脸特征，对所述身份证人脸图像进行特征提取，获得第二人脸特征；
对比所述第一人脸特征和第二人脸特征，得到身份认证结果。
第二方面，本申请还提供了基于物联网的公共交通身份认证系统，包括：
第一获取模块，用于获取第一信息，所述第一信息为身份待认证乘客的近红外人脸图像、第一可见光人脸图像和身份证人脸图像；
图像分割模块，用于将所述近红外人脸图像与所述第一可见光人脸图像进行图像配准，对图像配准后的所述近红外人脸图像的反光区域和非反光区域进行图像分割，得到反光区域图像和非反光区域图像；
掩膜运算模块，将所述反光区域图像转换为感兴趣区掩膜，将所述感兴趣区掩膜与图像配准后的所述第一可见光人脸图像进行掩膜运算，得到掩膜结果图像；
融合及特征提取模块，将所述非反光区域图像转换为第二可见光人脸图像，将所述掩膜结果图像与所述第二可见光人脸图像进行图像融合并对融合后的图像进行特征提取，得到第一人脸特征，对所述身份证人脸图像进行特征提取，获得第二人脸特征；
认证模块，对比所述第一人脸特征和第二人脸特征，得到身份认证结果。
第三方面，本申请还提供了一种基于物联网的公共交通身份认证设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现所述基于物联网的公共交通身份认证方法的步骤。
第四方面，本申请还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于物联网的公共交通身份认证方法的步骤。
本发明的有益效果为：
本发明通过使得在光线较暗以及人脸部出现镜面反光的情况下，提高人脸识别的成功率，克服了光线较暗，人脸部大范围光线不均匀的情况下，人脸识别失败的问题。
本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例中所述的公共交通身份认证方法流程示意图。
图2为本发明实施例中所述的公共交通身份认证系统结构示意图。
图3为本发明实施例中所述的公共交通身份认证设备结构示意图。
图4为本发明实施例中图像分割的逻辑示意图。
图5为本发明实施例中掩膜运算的逻辑示意图。
图6为本发明实施例中对比第一人脸特征和第二人脸特征的逻辑示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1：
本实施例提供了一种公共交通身份认证方法，参见图1，图中示出了本方法包括步骤S100、步骤S200、步骤S300、步骤S400、步骤S500。
所述步骤S100包括：
获取第一信息，所述第一信息为身份待认证乘客的近红外人脸图像、第一可见光人脸图像和身份证人脸图像；
其中，所述近红外人脸图像和第一可见光人脸图像通过可见光-红外双模相机同时采集，所述身份证人脸图像通过身份证读取器采集；
其中，在获取第一信息之前，还可以包括：
获取当前环境的光线强度；
对比当前认证环境光线强度与预设光线强度阈值的大小，获得对比结果；
将所述对比结果作为是否获取第一信息的触发条件，当认证环境光线强度低于预设光线强度阈值时，触发启动可见光-红外双模相机同时采集获取第一信息并依次进行后续步骤，当认证环境光线强度高于预设光线强度阈值时，直接采集身份待认证乘客的可见光人脸图像进行人脸特征提取，并与身份证人脸图像人脸特征对比；
当认证环境光线强度低于预设光线强度阈值时，还可以先根据近红外人脸图像的图像灰度阈值判断是否存在反光区域，当存在反光区域时，进行后续步骤，当不存在反光区域时，直接采集近红外人脸图像进行人脸特征提取，并与身份证人脸图像人脸特征对比；
由此根据不同的状态实现多模式的人脸识别。
如图4所示，所述步骤S200包括：
将所述近红外人脸图像与所述第一可见光人脸图像进行图像配准，对图像配准后的所述近红外人脸图像的反光区域和非反光区域进行图像分割，得到反光区域图像和非反光区域图像；
所述步骤S200具体包括：
步骤S201：将图像配准后的所述近红外人脸图像输入基于DeepLab神经网络的语义分割模型进行图像分割，得到图像分割后的近红外人脸图像，所述基于DeepLab神经网络的语义分割模型为根据预设的图像灰度阈值对所述近红外人脸图像进行分割的模型；
其中，基于DeepLab神经网络的语义分割模型为基于预设的DeepLab神经网络的语义分割模型训练和验证得到，具体训练和验证的方法如下：
获取第一近红外人脸图像样本集，所述第一近红外人脸图像样本集包括含有反光区域的图像和不含反光区域的图像；
将所述第一近红外人脸图像样本集划分为第一训练集和第一测试集，根据预设的图像灰度阈值对所述第一训练集中每个图像的反光区域和非反光区域进行图像标注；
基于预设的DeepLab神经网络构建语义分割模型，本具体实施方式中采用的是DeepLabv3+模型构建语义分割模型；
根据图像标注后的所述第一训练集训练所述语义分割模型，之后根据第一测试集测试训练好的所述语义分割模型；
将所述近红外人脸图像输入训练好的语义分割模型，得到分割后的反光区域图像和非反光区域图像。
步骤S202：对图像分割后的近红外人脸图像进行二值化，得到二值化后的图像；
步骤S203：对所述二值化后的图像先进行膨胀操作，然后进行腐蚀操作，得到反光区域图像和非反光区域图像。图像膨胀操作和腐蚀操作能够使得反光区域图像和非反光区域图像的分割效果更优。
如图5所示，所述步骤S300包括：
将所述反光区域图像转换为感兴趣区掩膜，将所述感兴趣区掩膜与图像配准后的所述第一可见光人脸图像进行掩膜运算，得到掩膜结果图像；
所述步骤S300具体包括：
步骤S301：获取第二信息，所述第二信息为所述反光区域图像的图像大小；
步骤S302：对所述反光区域图像进行坐标提取，得到反光区域图像的图像坐标；
步骤S303：根据所述图像大小以及所述图像坐标基于预设的poly2mask函数计算所述反光区域图像的感兴趣区掩膜，所述poly2mask函数将位于所述反光区域图像内的像素设置为1，将位于所述反光区域图像外的像素设置为0。
所述感兴趣区掩膜的计算公式如下：
bw=poly2mask(x,y,a,b);
其中，bw表示感兴趣区掩膜，x为反光区域图像的x坐标，y为反光区域图像的y坐标，a、b分别表示反光区域图像的宽和高。
步骤S304：对图像配准后的所述第一可见光人脸图像进行图像增强，将第一可见光人脸图像进行图像增强能够改善因为光线导致的眼部光线较暗的问题，更利于后续眼部特征提取；
步骤S305：将图像增强后的第一可见光人脸图像与所述感兴趣区掩膜相乘，得到掩膜结果图像。
所述步骤S400包括：
将所述非反光区域图像转换为第二可见光人脸图像，将所述掩膜结果图像与所述第二可见光人脸图像进行图像融合并对融合后的图像进行特征提取，得到第一人脸特征，对所述身份证人脸图像进行特征提取，获得第二人脸特征；
所述步骤S400具体包括：
步骤S401：对所述非反光区域图像进行图像增强；
步骤S402：将图像增强后的所述非反光区域图像输入基于CycleGAN的近红外-可见光图像转换模型，得到转换后的第二可见光人脸图像。
其中，基于CycleGAN的近红外-可见光图像转换模型为通过预设的基于CycleGAN的近红外-可见光图像转换模型训练和验证得到，具体训练和验证方法如下：
获取近红外图像样本集和可见光人脸图像样本集；
将所述样本集划分为第二训练集和第二测试集；
基于CycleGAN模型构建近红外-可见光图像转换模型，具体包括目标函数、对抗损失函数和循环一致性损失；
目标函数在近红外图像X和可见光Y图像两个不同域间建立起双向的映射关系G和F，并使用两个判别器Dx和Dy来分别对{x}和 {F(Y)}、{y}和{G(x)}进行区分，损失函数作用为使得映射后的数据分布接近目标域的数据分布，循环一致性损失保证学习到的两个映射G和F不会相互矛盾；
如图6所示，根据所述第二训练集训练所述近红外-可见光图像转换模型，之后根据第二测试集测试训练好的所述近红外-可见光图像转换模型，模型训练过程采用使用最小二乘损失估计损失，提升训练的稳定性和生成图像的质量；
将所述第一可见光人脸图像输入训练好的所述近红外-可见光图像转换模型，得到第二可见光人脸图像。
步骤S403：对掩膜结果图像进行二值化处理，生成黑白掩模图像及其反转掩模图像；
步骤S404：以所述黑白掩模图像作为掩模，对第二可见光人脸图像进行位操作，得到第一图像；
步骤S405：以所述反转掩模图像作为掩模，对掩膜结果图像进行位操作，得到第二图像；
步骤S406：对所述第一图像和所述第二图像进行图像加法运算，得到融合后的图像。
所述步骤S500包括：
对比所述第一人脸特征和第二人脸特征，得到身份认证结果。
本发明的研发思路如下：
经过本申请人实验研究发现，当外部光线较暗，光线在脸部呈现光线不均匀的情况主要为脸部不同区域之间光线的强弱不均匀，一般在脸部两边及其鼻部以下区域光线相较于眼部的光线较暗。
为了解决该技术问题，现有技术中有采用补光手段提高人脸识别准确率，然而考虑到补光技术手段会带来光污染，以及面部部分区域会出现过曝问题；
因此本申请人想到采用基于红外光进行人脸识别更环保、识别也不受可见光光线强度影响，然而，本申请人在实验中发现，当身份待认证乘客佩戴眼镜时，眼部区域会呈现出反光效果，同样也会导致人脸识别失败；
现有技术中不乏将红外光人脸识别图像与可见光人脸识别图像直接进行融合的情况，然而在融合时要同时整体提取红外光人脸识别图像的人脸特征与可见光人脸识别图像的人脸特征，当光线较暗时，造成人脸部光线不均匀时，其提取到可见光人脸识别特征不准确，使得融合后的特征也不准确，仍然会出现较多的失败人脸识别实验例；
因此本申请人为了克服上述问题，对近红外人脸图像的反光区域和非反光区域进行图像分割，排除了乘客佩戴眼镜时产生的反光区域对近红外人脸图像的影响，并通过感兴趣掩膜只提取了反光区域在可见光人脸图像上对应的区域，缩小了光线不均匀的影响范围，克服了可见光人脸图像在大范围内光线不均匀的问题，将两者进行融合后提取人脸特征，并进行对比认证，大大提高了人脸识别成功率。
实施例2：
如图2所示，本实施例提供了一种公共交通身份认证系统，所述系统包括：
第一获取模块601，用于获取第一信息，所述第一信息为身份待认证乘客的近红外人脸图像、第一可见光人脸图像和身份证人脸图像；
图像分割模块602，用于将所述近红外人脸图像与所述第一可见光人脸图像进行图像配准，对图像配准后的所述近红外人脸图像的反光区域和非反光区域进行图像分割，得到反光区域图像和非反光区域图像；
掩膜运算模块603，将所述反光区域图像转换为感兴趣区掩膜，将所述感兴趣区掩膜与图像配准后的所述第一可见光人脸图像进行掩膜运算，得到掩膜结果图像；
融合及特征提取模块604，将所述非反光区域图像转换为第二可见光人脸图像，将所述掩膜结果图像与所述第二可见光人脸图像进行图像融合并对融合后的图像进行特征提取，得到第一人脸特征，对所述身份证人脸图像进行特征提取，获得第二人脸特征；
认证模块605，对比所述第一人脸特征和第二人脸特征，得到身份认证结果。
所述图像分割模块602包括：
图像配准及分割模块701，将图像配准后的所述近红外人脸图像输入基于DeepLab神经网络的语义分割模型进行图像分割，得到图像分割后的近红外人脸图像，所述基于DeepLab神经网络的语义分割模型为根据预设的图像灰度阈值对所述近红外人脸图像进行分割的模型；
第一二值化模块702，对图像分割后的近红外人脸图像进行二值化，得到二值化后的图像；
膨胀及腐蚀模块703，对所述二值化后的图像先进行膨胀操作，然后进行腐蚀操作，得到反光区域图像和非反光区域图像。
所述掩膜运算模块603包括：
第二获取模块704，用于获取第二信息，所述第二信息为所述反光区域图像的图像大小；
坐标提取模块705，对所述反光区域图像进行坐标提取，得到反光区域图像的图像坐标；
掩膜计算模块706，根据所述图像大小以及所述图像坐标基于预设的poly2mask函数计算所述反光区域图像的感兴趣区掩膜，所述poly2mask函数将位于所述反光区域图像内的像素设置为1，将位于所述反光区域图像外的像素设置为0；
第一图像增强模块707，用于对图像配准后的所述第一可见光人脸图像进行图像增强；
相乘模块708，将图像增强后的第一可见光人脸图像与所述感兴趣区掩膜相乘，得到掩膜结果图像。
所述融合及特征提取模块604包括：
第二图像增强模块709，对所述非反光区域图像进行图像增强；
转换模块710，将图像增强后的所述非反光区域图像输入基于CycleGAN的近红外-可见光图像转换模型，得到转换后的第二可见光人脸图像。
第二二值化模块711，对掩膜结果图像进行二值化处理，生成黑白掩模图像及其反转掩模图像；
第一位操作模块712，以所述黑白掩模图像作为掩模，对第二可见光人脸图像进行位操作，得到第一图像；
第二位操作模块713，以所述反转掩模图像作为掩模，对掩膜结果图像进行位操作，得到第二图像；
图像加法模块714，对所述第一图像和所述第二图像进行图像加法运算，得到融合后的图像。
需要说明的是，关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
实施例3：
相应于上面的方法实施例，本实施例中还提供了一种公共交通身份认证设备，其与上文描述的公共交通身份认证方法可相互对应参照。
图3是根据示例性实施例示出的公共交通身份认证设备800的框图。如图3所示，该基于物联网的公共交通身份认证设备800可以包括：处理器801，存储器802。该基于物联网的公共交通身份认证设备800还可以包括多媒体组件803， I/O接口804，以及通信组件805中的一者或多者。
其中，处理器801用于控制该公共交通身份认证设备800的整体操作，以完成上述公共交通身份认证方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该公共交通身份认证设备800的操作。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。I/O接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。通信组件805用于该基于物联网的公共交通身份认证设备800与其他设备之间进行有线或无线通信。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述公共交通身份认证方法的步骤。
实施例4：
相应于上面的方法实施例，本实施例中还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中的公共交通身份认证方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种公共交通身份认证方法，其特征在于，包括：
获取第一信息，所述第一信息为身份待认证乘客的近红外人脸图像、第一可见光人脸图像和身份证人脸图像；
将所述近红外人脸图像与所述第一可见光人脸图像进行图像配准，对图像配准后的所述近红外人脸图像的反光区域和非反光区域进行图像分割，得到反光区域图像和非反光区域图像；
将所述反光区域图像转换为感兴趣区掩膜，将所述感兴趣区掩膜与图像配准后的所述第一可见光人脸图像进行掩膜运算，得到掩膜结果图像；
将所述非反光区域图像转换为第二可见光人脸图像，将所述掩膜结果图像与所述第二可见光人脸图像进行图像融合并对融合后的图像进行特征提取，得到第一人脸特征，对所述身份证人脸图像进行特征提取，获得第二人脸特征；
对比所述第一人脸特征和第二人脸特征，得到身份认证结果。
2.根据权利要求1所述的公共交通身份认证方法，其特征在于，对图像配准后的所述近红外人脸图像的反光区域和非反光区域进行图像分割，得到反光区域图像和非反光区域图像，包括：
将图像配准后的所述近红外人脸图像输入基于DeepLab神经网络的语义分割模型进行图像分割，得到图像分割后的近红外人脸图像，所述基于DeepLab神经网络的语义分割模型为根据预设的图像灰度阈值对所述近红外人脸图像进行分割的模型；
对图像分割后的近红外人脸图像进行二值化，得到二值化后的图像；
对所述二值化后的图像先进行膨胀操作，然后进行腐蚀操作，得到反光区域图像和非反光区域图像。
3.根据权利要求2所述的公共交通身份认证方法，其特征在于，所述基于DeepLab神经网络的语义分割模型为基于预设的DeepLab神经网络的语义分割模型训练和验证得到，具体训练和验证的方法如下：
获取第一近红外人脸图像样本集，所述第一近红外人脸图像样本集包括含有反光区域的图像和不含反光区域的图像；
将所述第一近红外人脸图像样本集划分为第一训练集和第一测试集，根据预设的图像灰度阈值对所述第一训练集中每个图像的反光区域和非反光区域进行图像标注；
基于预设的DeepLab神经网络构建语义分割模型；
根据图像标注后的所述第一训练集训练所述语义分割模型，之后根据第一测试集测试训练好的所述语义分割模型，得到所述基于DeepLab神经网络的语义分割模型。
4.根据权利要求1所述的公共交通身份认证方法，其特征在于，根据所述反光区域图像转换为感兴趣区掩膜，包括：
获取第二信息，所述第二信息为所述反光区域图像的图像大小；
对所述反光区域图像进行坐标提取，得到反光区域图像的图像坐标；
根据所述图像大小以及所述图像坐标基于预设的poly2mask函数计算所述反光区域图像的感兴趣区掩膜，所述poly2mask函数将位于所述反光区域图像内的像素设置为1，将位于所述反光区域图像外的像素设置为0。
5.根据权利要求4所述的公共交通身份认证方法，其特征在于，所述感兴趣区掩膜的计算公式如下：
bw=poly2mask(x,y,a,b);
其中，bw表示感兴趣区掩膜，x为反光区域图像的x坐标，y为反光区域图像的y坐标，a、b分别表示反光区域图像的宽和高。
6.根据权利要求1所述的公共交通身份认证方法，其特征在于，将所述感兴趣区掩膜与对图像配准后的所述第一可见光人脸图像进行掩膜运算，得到掩膜结果图像，包括：
对图像配准后的所述第一可见光人脸图像进行图像增强；
将图像增强后的第一可见光人脸图像与所述感兴趣区掩膜相乘，得到掩膜结果图像。
7.根据权利要求1所述的公共交通身份认证方法，其特征在于，将所述非反光区域图像转换为第二可见光人脸图像，包括：
对所述非反光区域图像进行图像增强；
将图像增强后的所述非反光区域图像输入基于CycleGAN的近红外-可见光图像转换模型，得到转换后的第二可见光人脸图像。
8.根据权利要求1所述的公共交通身份认证方法，其特征在于：将所述掩膜结果图像与所述第二可见光人脸图像进行图像融合，包括：
对掩膜结果图像进行二值化处理，生成黑白掩模图像及其反转掩模图像；
以所述黑白掩模图像作为掩模，对第二可见光人脸图像进行位操作，得到第一图像；
以所述反转掩模图像作为掩模，对掩膜结果图像进行位操作，得到第二图像；
对所述第一图像和所述第二图像进行图像加法运算，得到融合后的图像。
9.根据权利要求1所述的公共交通身份认证方法，其特征在于：在获取第一信息之前，还包括：
获取当前环境的光线强度；
对比当前环境光线强度与预设光线强度阈值的大小，获得对比结果；
将所述对比结果作为是否获取第一信息的触发条件。
10.一种公共交通身份认证系统，其特征在于，包括：
第一获取模块，用于获取第一信息，所述第一信息为身份待认证乘客的近红外人脸图像、第一可见光人脸图像和身份证人脸图像；
图像分割模块，用于将所述近红外人脸图像与所述第一可见光人脸图像进行图像配准，对图像配准后的所述近红外人脸图像的反光区域和非反光区域进行图像分割，得到反光区域图像和非反光区域图像；
掩膜运算模块，将所述反光区域图像转换为感兴趣区掩膜，将所述感兴趣区掩膜与图像配准后的所述第一可见光人脸图像进行掩膜运算，得到掩膜结果图像；
融合及特征提取模块，将所述非反光区域图像转换为第二可见光人脸图像，将所述掩膜结果图像与所述第二可见光人脸图像进行图像融合并对融合后的图像进行特征提取，得到第一人脸特征，对所述身份证人脸图像进行特征提取，获得第二人脸特征；
认证模块，对比所述第一人脸特征和第二人脸特征，得到身份认证结果。
CN202410011852.4A 2024-01-04 2024-01-04 一种公共交通身份认证方法及系统 Active CN117523644B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410011852.4A CN117523644B (zh) 2024-01-04 2024-01-04 一种公共交通身份认证方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410011852.4A CN117523644B (zh) 2024-01-04 2024-01-04 一种公共交通身份认证方法及系统

Publications (2)

Publication Number Publication Date
CN117523644A CN117523644A (zh) 2024-02-06
CN117523644B true CN117523644B (zh) 2024-03-12

Family

ID=89766878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410011852.4A Active CN117523644B (zh) 2024-01-04 2024-01-04 一种公共交通身份认证方法及系统

Country Status (1)

Country Link
CN (1) CN117523644B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005057472A1 (fr) * 2003-12-12 2005-06-23 Authenmetric Co., Ltd Procede de reconnaissance des visages et systeme d'acquisition d'images
CN101303724A (zh) * 2007-05-10 2008-11-12 中国银联股份有限公司 一种认证授权方法及系统
CN106778607A (zh) * 2016-12-15 2017-05-31 国政通科技股份有限公司 一种基于人脸识别的人与身份证同一性认证装置及方法
JP2018128759A (ja) * 2017-02-07 2018-08-16 株式会社島津製作所 テカリ領域除去装置
CN113516593A (zh) * 2020-04-10 2021-10-19 杭州海康威视数字技术股份有限公司 人眼图像检测与修复方法
CN116051439A (zh) * 2022-12-29 2023-05-02 深圳市光鉴科技有限公司 一种利用红外图去除屏下rgb图像彩虹状眩光方法、设备及存储介质
CN116170658A (zh) * 2022-12-29 2023-05-26 深圳市光鉴科技有限公司 一种屏下深度相机
CN116363027A (zh) * 2022-12-29 2023-06-30 深圳市光鉴科技有限公司 一种利用红外图去除屏下rgb图像彩虹状眩光方法、设备及存储介质
CN116503794A (zh) * 2023-03-01 2023-07-28 中国商用飞机有限责任公司北京民用飞机技术研究中心 一种驾驶舱机组的疲劳检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005057472A1 (fr) * 2003-12-12 2005-06-23 Authenmetric Co., Ltd Procede de reconnaissance des visages et systeme d'acquisition d'images
CN101303724A (zh) * 2007-05-10 2008-11-12 中国银联股份有限公司 一种认证授权方法及系统
CN106778607A (zh) * 2016-12-15 2017-05-31 国政通科技股份有限公司 一种基于人脸识别的人与身份证同一性认证装置及方法
JP2018128759A (ja) * 2017-02-07 2018-08-16 株式会社島津製作所 テカリ領域除去装置
CN113516593A (zh) * 2020-04-10 2021-10-19 杭州海康威视数字技术股份有限公司 人眼图像检测与修复方法
CN116051439A (zh) * 2022-12-29 2023-05-02 深圳市光鉴科技有限公司 一种利用红外图去除屏下rgb图像彩虹状眩光方法、设备及存储介质
CN116170658A (zh) * 2022-12-29 2023-05-26 深圳市光鉴科技有限公司 一种屏下深度相机
CN116363027A (zh) * 2022-12-29 2023-06-30 深圳市光鉴科技有限公司 一种利用红外图去除屏下rgb图像彩虹状眩光方法、设备及存储介质
CN116503794A (zh) * 2023-03-01 2023-07-28 中国商用飞机有限责任公司北京民用飞机技术研究中心 一种驾驶舱机组的疲劳检测方法

Also Published As

Publication number Publication date
CN117523644A (zh) 2024-02-06

Similar Documents

Publication Publication Date Title
CN111339990B (zh) 一种基于人脸特征动态更新的人脸识别系统和方法
CN109684803B (zh) 基于手势滑动的人机验证方法
JP5304901B2 (ja) 生体情報処理装置、生体情報処理方法及び生体情報処理用コンピュータプログラム
CN110503054B (zh) 文本图像的处理方法及装置
CN109376604B (zh) 一种基于人体姿态的年龄识别方法和装置
CN110827236B (zh) 基于神经网络的脑组织分层方法、装置、计算机设备
CN112257665A (zh) 图像内容的识别方法、图像识别模型的训练方法及介质
CN103383732A (zh) 图像处理方法和装置
CN112241667A (zh) 图像检测方法、装置、设备及存储介质
Dagnes et al. 3D geometry-based face recognition in presence of eye and mouth occlusions
CN110263726B (zh) 一种基于深度相关性特征学习的指静脉识别方法及装置
CN111199240A (zh) 银行卡识别模型的训练方法、银行卡识别方法以及装置
Liu et al. Presentation attack detection for face in mobile phones
CN117523644B (zh) 一种公共交通身份认证方法及系统
Mohammad Facial recognition technology
CN113361666A (zh) 一种手写字符识别方法、系统及介质
CN111414895A (zh) 一种人脸识别方法，装置及存储设备
CN117095436A (zh) 企业员工信息智能管理系统及其方法
CN111008635A (zh) 一种基于ocr的多票据自动识别方法及识别系统
CN103034854A (zh) 图像处理装置和方法
CN113763315B (zh) 玻片图像的信息获取方法、装置、设备及介质
CN112529116B (zh) 场景元素融合处理方法、装置和设备及计算机存储介质
CN111428670B (zh) 人脸检测方法、装置、存储介质及设备
CN111753722A (zh) 一种基于特征点类型的指纹识别方法及装置
KR102507534B1 (ko) 인공지능 기반의 ocr 인식을 이용한 회계 관리 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant