CN116434289A - 毫米波或太赫兹波身份验证方法及装置、毫米波或太赫兹波安检设备和电子设备 - Google Patents
毫米波或太赫兹波身份验证方法及装置、毫米波或太赫兹波安检设备和电子设备 Download PDFInfo
- Publication number
- CN116434289A CN116434289A CN202111680506.8A CN202111680506A CN116434289A CN 116434289 A CN116434289 A CN 116434289A CN 202111680506 A CN202111680506 A CN 202111680506A CN 116434289 A CN116434289 A CN 116434289A
- Authority
- CN
- China
- Prior art keywords
- feature vector
- subject
- millimeter wave
- terahertz wave
- facial image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012795 verification Methods 0.000 title claims abstract description 30
- 238000007689 inspection Methods 0.000 title claims abstract description 22
- 239000013598 vector Substances 0.000 claims abstract description 271
- 230000001815 facial effect Effects 0.000 claims abstract description 159
- 238000000605 extraction Methods 0.000 claims description 43
- 238000012549 training Methods 0.000 claims description 30
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012790 confirmation Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 3
- 210000002414 leg Anatomy 0.000 description 29
- 210000003128 head Anatomy 0.000 description 27
- 210000000689 upper leg Anatomy 0.000 description 14
- 210000003423 ankle Anatomy 0.000 description 11
- 230000000877 morphologic effect Effects 0.000 description 9
- 210000003127 knee Anatomy 0.000 description 8
- 238000002372 labelling Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 210000000245 forearm Anatomy 0.000 description 6
- 210000000707 wrist Anatomy 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000037237 body shape Effects 0.000 description 4
- 210000000554 iris Anatomy 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 244000309466 calf Species 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 208000008589 Obesity Diseases 0.000 description 1
- 241000577979 Peromyscus spicilegus Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 235000020824 obesity Nutrition 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Collating Specific Patterns (AREA)
Abstract
本申请公开了一种毫米波或太赫兹波身份验证方法及装置、一种毫米波或太赫兹波安检设备和一种电子设备。该方法包括：从受检对象的毫米波或太赫兹波图像提取受检对象的身体形态特征向量和面部图像特征向量；以及将所述受检对象的身体形态特征向量和面部图像特征向量与数据库中的参考数据进行比对以验证该受检对象的身份。
Description
技术领域
本发明的实施例涉及毫米波、太赫兹波安全检测技术领域，特别涉及一种毫米波或太赫兹波身份验证方法、一种毫米波或太赫兹波身份验证装置、一种毫米波或太赫兹波安检设备、一种电子设备及一种计算机程序产品。
背景技术
传统的身份认证方式(如身份证、护照等)需要人工核验证件和受检人是否一致，查验效率低，此外还存在容易丢失和伪造的问题，难以满足日益增长的社会需求。另一方面，基于指纹、虹膜等生物特征来核验身份的识别技术也在广泛使用。指纹、虹膜是人与生俱来的特征，具有唯一性，且其特征形态基本不会发生变化，采用这三种方法进行身份核验，具有安全性好、准确度高的特点。因其独有的特点，成为了现阶段身份核验的理想解决方案。生物特征时指生物个体所具有的独一无二的生理特性或行为方式，具有不易伪造复制、不会遗失的特点。但这几种方法都需要专门的采集设备，采集过程需要用户配合，并与采集设备接触。整个录入流程十分繁琐，且设备采集的成功率并不高。人脸识别则需要摄像头进行二维人脸图像采集，而二维人脸图像只有在特定条件下(例如光照条件良好或采集不同角度的人脸图像)才能够保证较高的准确率。这些问题可能导致受检人需要多次检测才能完成身份核验，客观上延长了单个人员完成安检所需的时间。
毫米波/太赫兹波安检成像系统能够对检测对象进行三维成像，是用于机场、车站等处的一种安全检查设备，目前主要用于检查衣物内或人体表面藏匿的物体，例如枪支、爆炸物等。
发明内容
本发明的实施例提供一种毫米波或太赫兹波身份验证方法，包括：从受检对象的毫米波或太赫兹波图像提取受检对象的身体形态特征向量和面部图像特征向量；以及将所述受检对象的身体形态特征向量和面部图像特征向量与数据库中的参考数据进行比对以验证该受检对象的身份。
在一些实施例中，所述从所述毫米波或太赫兹波图像数据提取受检对象的身体形态特征向量和面部图像特征向量包括：对受检对象的毫米波或太赫兹波图像中的关键点进行定位；基于所述关键点计算毫米波或太赫兹波图像中的受检对象的尺寸信息；以及根据所述尺寸信息生成受检对象的身体形态特征向量。
在一些实施例中，在对受检对象的毫米波或太赫兹波图像中的关键点进行定位之后，所述从所述毫米波或太赫兹波图像数据提取受检对象的身体形态特征向量和面部图像特征向量还包括：从毫米波或太赫兹波图像中截取受检对象的头部区域的三维数据；由受检对象的头部区域的三维数据生成受检对象的二维面部图像；以及从所述二维面部图像提取受检对象的面部图像特征向量。
在一些实施例中，在从所述毫米波或太赫兹波图像提取受检对象的身体形态特征向量和面部图像特征向量之前还包括：生成用于实现对受检对象的毫米波或太赫兹波图像中的关键点进行定位的关键点定位模型；以及生成用于实现从所述二维面部图像提取受检对象的面部图像特征向量的面部特征提取模型。
在一些实施例中，所述生成用于实现对受检对象的毫米波或太赫兹波图像中的关键点进行定位的关键点定位模型包括：建立毫米波或太赫兹波三维扫描图像数据库；对于所述毫米波或太赫兹波三维扫描图像数据库中的毫米波或太赫兹波参考图像中的关键点坐标进行标注以形成训练样本；以及基于该训练样本利用卷积神经网络进行训练以得出关键点定位模型。
在一些实施例中，所述生成用于实现从所述二维面部图像提取受检对象的面部图像特征向量的面部特征提取模型包括：建立二维面部图像参考数据库以获得面部特征提取模型的训练样本；以及基于该训练样本利用面部识别训练网络进行训练以得出所述面部特征提取模型。
在一些实施例中，所述将所述受检对象的身体形态特征向量和面部图像特征向量与数据库中的参考数据进行比对以验证该受检对象的身份包括：从数据库中提取至少一个参考身份数据组，每个所述参考身份数据组包括参考身份信息、参考身体形态特征向量和参考面部图像特征向量；计算所述受检对象的身体形态特征向量与数据库中的参考身体形态特征向量之间的马氏距离并基于该马氏距离来判断所述受检对象的身体形态特征向量是否与所述参考身体形态特征向量匹配；在所述受检对象的身体形态特征向量与所述参考身体形态特征向量匹配的情况下计算所述受检对象的面部图像特征向量与数据库中的参考面部图像特征向量之间的欧氏距离并基于该欧氏距离来判断所述受检对象的面部图像特征向量是否与所述参考面部图像特征向量匹配；以及在所述受检对象的身体形态特征向量与所述参考身体形态特征向量匹配且所述受检对象的面部图像特征向量与所述参考面部图像特征向量匹配的情况下确定受检对象的身份与所述参考身份信息一致。
在一些实施例中，所述从数据库中提取至少一个参考身份数据组还包括：检索并提取参考身份信息与受检对象录入的身份信息相匹配的所述参考身份数据组。
本发明的实施例还提供了一种毫米波或太赫兹波身份验证装置，包括：特征提取模块，配置成从受检对象的毫米波或太赫兹波图像中提取受检对象的身体形态特征向量和面部图像特征向量；以及特征比对模块，配置成将所述受检对象的身体形态特征向量和面部图像特征向量与数据库中的参考数据进行比对以验证该受检对象的身份。
在一些实施例中，所述特征提取模块包括：关键点定位子模块，配置成对受检对象的毫米波或太赫兹波图像中的关键点进行定位；尺寸信息计算子模块，配置成基于所述关键点计算毫米波或太赫兹波图像中的受检对象的尺寸信息；以及身体形态特征向量生成模块，配置成根据所述尺寸信息生成受检对象的身体形态特征向量。
在一些实施例中，所述特征提取模块还包括：头部截取子模块，配置成从毫米波或太赫兹波图像中截取受检对象的头部区域的三维数据；二维面部图像生成子模块，配置成由受检对象的头部区域的三维数据生成受检对象的二维面部图像；以及面部图像特征生成子模块，配置成从所述二维面部图像提取受检对象的面部图像特征向量。
在一些实施例中，所述特征比对模块包括：身体形态特征向量比对子模块，配置成计算所述受检对象的身体形态特征向量与数据库中的参考身体形态特征向量之间的马氏距离并基于该马氏距离来判断所述受检对象的身体形态特征向量是否与所述参考身体形态特征向量匹配；面部图像特征向量比对子模块，配置成计算所述受检对象的面部图像特征向量与数据库中的参考面部图像特征向量之间的欧氏距离并基于该欧氏距离来判断所述受检对象的面部图像特征向量是否与所述参考面部图像特征向量匹配；身份确认子模块，配置成响应于所述受检对象的身体形态特征向量与所述参考身体形态特征向量匹配且所述受检对象的面部图像特征向量与所述参考面部图像特征向量匹配来确定受检对象的身份与所述参考身份信息一致。
在一些实施例中，所述特征提取模块设置于现场设备端，所述特征比对模块设置于远程服务器端。
本发明的实施例还提供了一种毫米波或太赫兹波安检设备，包括：毫米波或太赫兹波图像扫描装置，配置成对受检对象进行毫米波或太赫兹波扫描来生成受检对象的毫米波或太赫兹波图像；以及根据上述任一实施例所述的毫米波或太赫兹波身份验证装置。
本发明的实施例还提供了一种电子设备，包括：存储器，配置用于存储指令和数据；处理器，配置用于执行所述指令以实现根据上述任一实施例所述的方法。
本发明的实施例还提供了一种计算机程序产品，包括计算机可读指令，所述计算机可读指令在被处理器执行时实现根据上述任一实施例所述的方法。
在根据本发明的实施例的毫米波或太赫兹波身份验证方法和装置中，利用毫米波或太赫兹波图像将受检对象的身体形态特征和面部特征提取和比对，能够更精确和迅捷地进行身份验证，以实现更全面的安全检查。
附图说明
为了更清楚地说明本公开文本的实施例的技术方案，下面将对实施例的附图进行简要说明，应当知道，以下描述的附图仅仅涉及本公开文本的一些实施例，而非对本公开文本的限制，其中：
图1示出根据本发明的实施例的一种毫米波身份验证方法的流程图；
图2示出图1中步骤S10的示例性的具体流程图；
图3A示出图2中步骤S110的示例性的具体流程图；
图3B示出图2中步骤S111的示例性的具体流程图；
图4示出图1中步骤S20的示例性的具体流程图；
图5示出根据本发明的实施例的一种毫米波身份验证装置的示意性方框图；
图6示出利用根据本发明的实施例的毫米波身份验证装置进行身份验证的具体示例；
图7示出根据本发明的实施例的一种毫米波安检设备的示意性结构图；
图8A和图8B示出了受检对象的关键点定位的示例；
图9示出了生成用于毫米波身份验证的特征数据库的流程的示例；以及
图10示出了根据本发明的实施例的电子设备的示意性框图。
具体实施方式
下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。在说明书中，相同或相似的附图标号表示相同或相似的部件。下述参照附图对本发明实施方式的说明旨在对本发明的总体发明构思进行解释，而不应当理解为对本发明的一种限制。
毫米波可以对人体进行三维成像，通常用于在安检场合下人体隐匿物的探测，搭配对应的识别算法，可以自动识别出受检人身上所携带的金属、陶瓷、塑料、液体等多种类别的物品。此外该系统的检测方式为非接触式检测，数据获取非常简单，仅需一次扫描。目前这一系统已经在人体安检领域取得了广泛的应用。该系统能够获取成像目标的高精度三维图像数据，由于毫米波本身的穿透性，衣物在数据中几乎为透明状态，因此扫描数据实际上就是人体体表的三维数据。
本发明的实施例提供了一种毫米波身份验证方法。如图1所示，该毫米波身份验证方法包括：
步骤S10：从受检对象的毫米波图像提取受检对象的身体形态特征向量和面部图像特征向量；以及
步骤S20：将所述受检对象的身体形态特征向量和面部图像特征向量与数据库中的参考数据进行比对以验证该受检对象的身份。
作为示例，在步骤S10之前，该方法还可以包括获取受检对象的毫米波图像的步骤S0(如图1中的虚线所示)。这里所说的毫米波图像是指三维毫米波图像数据。获取受检对象的毫米波图像例如可以在现场通过毫米波天线阵列对受检对象扫描来获得，也可以例如从电子设备(例如现场设备、远程服务器)中存储的数据中获得。在毫米波安检设备用于检测人体隐匿危险品的情景中，采集受检对象的毫米波图像即为必需的步骤，作为示例，根据本发明的毫米波身份验证方法可以利用该受检对象的毫米波图像即可，而无需再采用单独的步骤。
在本发明的实施例中，借助于受检对象的两种特征(即身体形态特征和面部图像特征)来对受检对象进行身份验证。利用毫米波天线阵列扫描得到的毫米波图像可以看成是受检对象的体表的三维数据，包含了人体体表的全部形态信息，由此可以获取到包括身高、臂展等多种人体形体数据。一般而言，人类个体身体各部分的尺寸和比例等在成年后基本稳定下来，受胖瘦影响不大，且每个人的数据都互不相同。因此这些数据可以作为表示人体体型体态特征的特征点，类比指纹、人脸等其他生物特征，辅助实现身份核验。此外，本发明人已经发现，毫米波图像中还包含有受检对象的头部的高精度三维图像数据，由此可以获取到受检对象的面部的精确三维数据和二维面部图像，这可以用于克服基于光学图像的人脸识别方法环境要求苛刻的问题。结合现有人脸识别的方法，能够实现更高效准确的身份核验。
为了计算处理的方便起见，在上述步骤S10和S20中，将身体形态特征和面部图像特征表征为特征向量。以下对于步骤S10的具体实施例进行描述。
在一些实施例中，如图2所示，上述步骤S10可以包括：
步骤S11：对受检对象的毫米波图像中的关键点进行定位；
步骤S12：基于所述关键点计算毫米波图像中的受检对象的尺寸信息；以及
步骤S13：根据所述尺寸信息生成受检对象的身体形态特征向量。
为了获得受检对象的身体形态特征向量，需要对受检对象的身体形态进行分析。为了分析受检对象的身体形态，可以在受检对象的身体上标注若干个关键点并确定其位置，这些关键点的位置可以用于帮助确定受检对象的身体形态特征。
图8A和图8B示出了关键点的示例。图8A示出的是受检对象(人体)的正视图，图8B示出的是受检对象的后视图。在图8A和图8B 中共示出了34个关键点，即头顶1、左耳外缘2、右耳外缘3、下巴4、颈部上边缘5、颈部窝点6、左侧颈点7、右侧颈点8、左侧肩点9、右侧肩点10、左侧腋窝11、右侧腋窝12、颈椎13、左手肘14、右手肘15、左手腕16、右手腕17、左手指尖18、右手指尖19、前腰中点 20、后腰中点21、左胯点22、右胯点23、左侧腹股沟起点24、左侧腹股沟终点25、右侧腹股沟起点26、右侧腹股沟终点27、肚脐28、左侧膝盖29、右侧膝盖30、左侧脚踝31、右侧脚踝32、左侧脚底33、右侧脚底34。
一旦这些关键点的位置得到确定，则可以根据这些关键点的位置来计算毫米波图像中的受检对象的尺寸信息。作为示例，受检对象的尺寸信息可以包括：身高、后颈高、前颈高、肩高、腋窝高度、腰高、胯高、肚脐高、膝盖高、脚踝高、脸长、颈长、躯干长度、左右大臂长、左右小臂长、左右手掌长、左右内腿长、左右外腿长、左右大腿长、左右小腿长、头身比、分割比、左右腿长身高比、左右大小臂长度比、左右大小腿长度比、左右手臂腿长比。
在一些实施例中，上述尺寸信息可定义如下：
1.身高h1＝|头顶点纵坐标-脚底点纵坐标|
2.后颈高h2＝|颈椎点纵坐标-脚底点纵坐标|
3.前颈高h3＝|颈窝点纵坐标-脚底点纵坐标|
8.肚脐高h8＝|肚脐点纵坐标-脚底点纵坐标|
11.脸长l1＝头顶点与下巴点间的欧氏距离
12.颈长l2＝|颈部上边缘点纵坐标-前颈窝点纵坐标|
14.左大臂长l4＝左大臂起点与左手肘点间的欧式距离，其中左大臂起点是左侧肩点与左侧腋窝点的中点
15.右大臂长l5＝右大臂起点与右手肘点间的欧式距离，其中右大臂起点是右侧肩点与右侧腋窝点的中点
16.左小臂长l6＝左手肘点与左手腕点间的欧氏距离
17.右小臂长l7＝右手肘点与右手腕点间的欧氏距离
18.左手掌长l8＝左手腕点与左手指尖点间的欧式距离
19.右手掌长l9＝右手腕点与右手指尖点间的欧式距离
20.左内腿长l10＝|左侧腹股沟终点纵坐标-左侧脚踝点纵坐标|
21.右内腿长l11＝|右侧腹股沟终点纵坐标-右侧脚踝点纵坐标|
22.左外腿长l12＝|左侧腹股沟起点纵坐标-左侧脚踝点纵坐标|
23.右外腿长l13＝|右侧腹股沟起点纵坐标-右侧脚踝点纵坐标|
24.左大腿长l14＝左大腿起点与左侧膝盖点间的欧氏距离，其中左大腿起点是左侧腹股沟起点和左侧腹股沟终点之间的中点
25.右大腿长l15＝右大腿起点与右侧膝盖点间的欧氏距离，其中右大腿起点是右侧腹股沟起点和右侧腹股沟终点之间的中点
26.左小腿长l16＝左侧膝盖点与左侧脚踝点间的欧氏距离
27.右小腿长l17＝右侧膝盖点与右侧脚踝点间的欧氏距离
28.头身比r1＝脸长l1与身高h1的比值，
29.分割比r2＝肚脐高h8与身高h1的比值，
30.左腿长身高比r3＝左内腿长l10与身高h1的比值，
31.右腿长身高比r4＝右内腿长l11与身高h1的比值，
32.左大小臂长度比r5＝左小臂长l6与左大臂长l4的比值，
33.右大小臂长度比r6＝右小臂长l7与右大臂长l5的比值，
34.左大小腿长度比r7＝左小腿长l16与左大腿长l14的比值，
35.右大小腿长度比r8＝右小腿长l17与右大腿长(15的比值，
36.左手臂腿长比r9＝左大臂长l4、左小臂长l6长度之和与左大腿长l14、左小腿长l16长度之和的比值，
37.右手臂腿长比r10＝右大臂长l5、右小臂长l7长度之和与右大腿长l15、右小腿长l17长度之和的比值，
作为示例，上述脚底点纵坐标可以是左侧脚底的纵坐标，也可以是右侧脚底的纵坐标，或者是左侧脚底的纵坐标和右侧脚底的纵坐标的平均值。
作为示例，可以将上述37组参数形成一维向量 M＝(h1，...，h10，l1，...，l17，r1，...，r10)T，该向量的每一行对应一个受检对象的身体形态特征参数，M就可以看成是身体形态特征向量。
以上列出了37个尺寸信息的参数。需要说明的是，上述参数仅仅是示例性的。在本发明的实施例中，可以选用上述全部的参数作为受检对象的尺寸信息，也可以根据情况来选择一部分参数来作为受检对象的尺寸信息，也可以采用替代的其他参数。同样，上述身体形态特征向量M也是示例性的。在本发明的实施例中也可以采用其他形式的身体形态特征向量，比如二维形式的身体形态特征向量等。
如前所述，每个人的身体形态特征具有特异性，可以用作与其他人进行区分的生理指标。因此，上述身体形态特征向量可以用作验证受检对象的身份的依据。除去身体形态特征向量之外，还可以通过毫米波图像来提取受检对象的面部特征向量。从图8A和图8B可以看出，毫米波图像中包括了头部的三维扫描数据。而在确定了诸如头部、面部或颈部上的一些关键点的位置之后，可以将受检对象的头部区域的三维数据从毫米波图像中截取出来，然后生成面部的二维图像，进而获得受检对象的面部图像特征向量。
在本发明的一些实施例中，在对受检对象的毫米波图像中的关键点进行定位之后，如图2所示，上述步骤S10还可以包括：
步骤S14：从毫米波图像中截取受检对象的头部区域的三维数据；
步骤S15：由受检对象的头部区域的三维数据生成受检对象的二维面部图像；以及
步骤S16：从所述二维面部图像提取受检对象的面部图像特征向量。
以图8A和图8B所示的关键点定义为例，在步骤S14中可以例如以头顶点、左耳外缘点、右耳外缘点和下巴点作为边界，从毫米波三维数据中截取头部的三维数据H(x，y，z)。再以头顶点和左耳外缘点、右耳外缘点确定的平面作为投影平面，将正面的三维数据投影到该平面，以获得受检对象的正面二维投影投影图h(x，y)＝∑zH(x，y，z)。该正面二维投影投影图即可看成是受检对象的二维面部图像。在人脸识别的典型应用中，是通过照相机来直接对人脸进行拍摄来形成人脸的二维图像的，而这种成像方法对于人脸是否正对照相机的镜头、环境光线是否充足等因素要求较高。而在本发明的实施例中，由于采用了从三维的毫米波图像中提取受检对象的二维面部图像，因此可以根据毫米波图像来自行设定投影平面和调整面部朝向。又因为毫米波扫描为三维扫描且不受环境光线影响，该二维面部图像的生成对于受检对象而言更加快捷方便。
受检对象的面部图像特征向量实际上是用于与数据库中的参考数据进行比对的量。因此，面部图像特征向量的具体形式需要与步骤S20 中所采用的对比算法相匹配。基于二维人脸数据的人脸识别和匹配有很多经典算法可以使用，例如，可以在步骤S20中采用谷歌2015年提出的FaceNet方法，以一个深度卷积神经网络来实现人脸特征的提取和匹配。在该FaceNet方法中推荐人脸特征向量描述成128维的向量。那么在这种情况下，面部图像特征向量则需要从由三维的毫米波图像中提取的受检对象的二维面部图像来生成这样的128维的向量。作为示例，可以采用面部特征提取模型来生成面部图像特征向量。当然，本发明的实施例不限于此，也可以采用本领域中已知的其他的人脸识别算法来实现受检对象的面部图像特征向量与数据库中的参考数据的比对。
在一些实施例中，上述步骤S11中的关键点的定位可以通过图像识别或手工标注的方式来实现，并根据上述关键点来依次计算尺寸信息的参数来最终形成身体形态特征向量。然而，为了提高构建受检对象的身体形态特征向量的准确性和效率，在一些实施例中，可以通过关键点定位模型来实现对受检对象的毫米波图像中的关键点进行定位。类似地，在上述步骤S15中也可以借助于面部特征提取模型来由受检对象的头部区域的三维数据生成受检对象的二维面部图像。
于是，在一些实施例中，所述方法在步骤S10之前还可以包括：
步骤S110：生成用于实现对受检对象的毫米波图像中的关键点进行定位的关键点定位模型；以及
步骤S111：生成用于实现从所述二维面部图像提取受检对象的面部图像特征向量的面部特征提取模型。
图3A给出了生成关键点定位模型的一个实施例。具体地，上述步骤S110可以包括：
步骤S1101：建立毫米波三维扫描图像数据库；
步骤S1102：对于所述毫米波三维扫描图像数据库中的毫米波参考图像中的关键点坐标进行标注以形成训练样本；以及
步骤S1103：基于该训练样本利用卷积神经网络进行训练以得出关键点定位模型。
上述关键点定位模型的建立形式与关键点截取的设计有关。仍以上述的图8A和图8B给出的34个关键点为例，可以针对这种设计来建立一个关键点定位模型，该模型的输入为毫米波的三维图像数据，而该模型的输出为一个T行的向量
V＝[v1(x，y，z)，v2(x，y，z)，...，vT(x，y，z)]T (式1)
在式1中，T为关键点的个数，在图8A和图8B给出的示例中， T为34，v1(x，y，z)为第一个关键点的坐标(例如头顶点的坐标)，v2(x，y，z) 为第二个关键点的坐标(例如左耳外缘点的坐标)，以此类推，vT(x，y，z) 为第T个关键点的坐标(例如右侧脚底点的坐标)。那么，则可以准备一定数量的毫米波参考图像，将其置于毫米波三维扫描图像数据库中，并且对于这些毫米波参考图像中的关键点的坐标进行标注。其中坐标的标注可以通过人工标注或者其他已经验证过的标注方式进行。这些经过标注关键点坐标的毫米波参考图像即可作为卷积神经网络模型的训练样本。这些训练样本优选涵盖尽可能多的人体样本(例如包括大量不同体型的受检对象)。经过利用训练样本的充分训练，该卷积神经网络模型最终可以获得以毫米波三维图像数据为输入、以各个关键点的坐标为输出的关键点定位模型。
作为示例，卷积神经网络可包括输入层、输出层以及位于所述输入层和输出层之间的多个中间层。所述输入层可以用于将所述毫米波三维图像数据(例如三维矩阵形式)输入所述卷积神经网络。所述中间层例如还可以包括若干个卷积层、池化层等。各种已知的卷积神经网络结构均可以根据图像数据和关键点的不同选择来具体选用。
在一些实施例中，如图3B所示，上述步骤S111可以包括：
步骤S1111：建立二维面部图像参考数据库以获得面部特征提取模型的训练样本；以及
步骤S1112：基于该训练样本利用面部识别训练网络进行训练以得出所述面部特征提取模型。
作为示例，在上述步骤S1111中，可以准备一定数量的毫米波三维图像，并且对于图像中的受检对象的头部区域和面部朝向进行标注，该标注可以采用人工标注或者其他已经验证过的标注方式进行。将受检对象的面部的正面图像投影到垂直于受检对象的面部朝向的平面，获得面部图像的二维数据。所有这些面部图像的二维数据可以组成面部特征提取模型的训练样本集。面部特征提取模型的具体形式需要与步骤S20中所使用的面部图像特征向量的比对方法相匹配。例如，如前文给出的采用FaceNet方法进行面部图像特征向量的比对的示例所示，面部图像特征向量可以为与FaceNet方法匹配的128维的向量。在此情况下，面部特征提取模型的输入可以为从毫米波三维图像中提取的受检对象的面部图像的二维数据，而面部特征提取模型的输出可以为与FaceNet方法匹配的128维的向量。可以通过上述训练样本集来对面部识别训练网络(在该示例中是FaceNet的网络)来进行训练，最终得到面部特征提取模型。之后，在步骤S16中，可以将受检对象的二维面部图像h(x，y)输入到面部特征提取模型(例如训练好的 FaceNet的网络)中，可以获得的输出N＝(n1，n2，...，n128)T就是二维面部图像h(x，y)对应的面部图像特征向量。
本领域技术人员应当理解，本发明的实施例不限于采用FaceNet 方法来进行面部图像特征向量的比对，本领域中的其他的面部识别(人脸识别)算法也可以用于上述步骤S20中的面部图像特征向量的比对。相应地，上述步骤S111中的面部特征提取模型的训练和计算亦可针对于所采用的具体的面部识别的方法来进行适应性的调整。
在一些实施例中，关键点定位模型和面部特征提取模型的训练集中样本数据量例如可在10000以上。
在一些实施例中，如图4所示，上述步骤S20可以包括：
步骤S21：从数据库中提取至少一个参考身份数据组，每个所述参考身份数据组包括参考身份信息、参考身体形态特征向量和参考面部图像特征向量；
步骤S22：计算所述受检对象的身体形态特征向量与数据库中的参考身体形态特征向量之间的马氏距离并基于该马氏距离来判断所述受检对象的身体形态特征向量是否与所述参考身体形态特征向量匹配；
步骤S23：在所述受检对象的身体形态特征向量与所述参考身体形态特征向量匹配的情况下计算所述受检对象的面部图像特征向量与数据库中的参考面部图像特征向量之间的欧氏距离并基于该欧氏距离来判断所述受检对象的面部图像特征向量是否与所述参考面部图像特征向量匹配；以及
步骤S24：在所述受检对象的身体形态特征向量与所述参考身体形态特征向量匹配且所述受检对象的面部图像特征向量与所述参考面部图像特征向量匹配的情况下确定受检对象的身份与所述参考身份信息一致。
作为示例，数据库中包括多个参考身份数据组。例如每个参考身份数据组可以与一个参考对象(例如某个人)相对应。该参考身份数据组可以包括该参考对象的身份信息(即参考身份信息，如身份证号、姓名、护照号等等)、参考对象的身体形态特征向量(即参考身体形态特征向量)和参考对象的面部图像特征向量(即参考面部图像特征向量)。参考身份数据组可以在对受检对象进行检测之前采集生成。在参考身份数据组中存储的参考身体形态特征向量可以用M’表示，参考面部图像特征向量可以用N’表示。与之对应的，受检对象的身体形态特征向量可以用M表示，受检对象的面部图像特征向量可以用N表示。
在将受检对象的身体形态特征向量与数据库中的参考身体形态特征向量进行比对时，对受检对象的身体形态特征向量与参考身体形态特征向量之间的马氏距离进行了计算。该马氏距离可以表示如下：
其中，∑为协方差矩阵。dMahal的值越大，则两个向量的差距就越大，其相似度就越低。当dMahal的值小于或等于一个马氏距离阈值dth-M时，则可以认为这两个向量是匹配的(或者说是相同或相似的)，即受检对象的身体形态特征与参考身体形态特征是一致的。或者，也可以例如采用马氏距离的倒数来表达身体形态特征向量的相似度
SMahal＝dMahal -1 (式3)
相应地，也可以给定相似度阈值Sth-M。当SMahal≥Sth-M时，也可以判定受检对象的身体形态特征与参考身体形态特征是一致的。
反之，如果dMahal＞dth-M或者SMahal＜Sth-M，则判定受检对象的身体形态特征与参考身体形态特征不一致。
采用马氏距离来判定受检对象的身体形态特征与参考身体形态特征是否一致，能够充分考虑身体形态特征向量中各个参量之间的相关性。例如，在将37组参数形成身体形态特征向量的上述示例中，将以下尺寸信息作为了身体形态特征向量中的各个参量：身高、后颈高、前颈高、肩高、腋窝高度、腰高、胯高、肚脐高、膝盖高、脚踝高、脸长、颈长、躯干长度、左右大臂长、左右小臂长、左右手掌长、左右内腿长、左右外腿长、左右大腿长、左右小腿长、头身比、分割比、左右腿长身高比、左右大小臂长度比、左右大小腿长度比、左右手臂腿长比。而这些参量之间(比如身高与左右内腿长、左右外腿长、左右大腿长、左右小腿长等等)是存在相互联系的，并不是完全独立的参量。因此，采用马氏距离(例如与欧氏距离相比)可以抑制由于身体形态特征向量各个参量之间的非独立性带来的误差。
作为示例，如果受检对象的身体形态特征向量与所述参考身体形态特征向量不匹配，则可以认定受检对象的身份与该参考身份数据组中的参考身份信息不匹配。
在受检对象的身体形态特征向量与所述参考身体形态特征向量匹配的情况下，可以再对受检对象的面部图像特征向量与数据库中的参考面部图像特征向量进行比对。仍以FaceNet方法为例，FaceNet方法采用欧氏距离的倒数来衡量相似度SEuclidean＝dEuclidean -1，对受检对象的面部图像特征向量N＝(n1，n2，...，n128)T和参考面部图像特征向量 N′＝(n′1，n′2，...，n′128)T，其欧氏距离为：
在计算出面部图像特征向量的相似度SEuclidean后，与相似度阈值 Sth-E进行比较。当SEuclidean≥Sth-E，判定受检对象的面部图像特征向量与数据库中的参考面部图像特征向量是匹配的(或者说是相同或相似的)。当然，也可以直接利用欧氏距离来判断这两个向量是否匹配，例如当欧氏距离dEuclidean≤dth-E时(dth-E为欧氏距离阈值)，则判定受检对象的面部图像特征向量与数据库中的参考面部图像特征向量是匹配的。当然，本发明的实施例不限于此，也可以采用本领域已知的其他面部识别方法来进行上述面部图像特征向量的比对。
在所述受检对象的身体形态特征向量与所述参考身体形态特征向量匹配且所述受检对象的面部图像特征向量与所述参考面部图像特征向量匹配的情况下，可以确定受检对象的身份与所述参考身份信息一致。反之，如果身体形态特征向量与所述参考身体形态特征向量不匹配或者所述受检对象的面部图像特征向量与所述参考面部图像特征向量不匹配，则确定受检对象的身份与所述参考身份信息不一致。
在上述实施例中，先将受检对象的身体形态特征向量与所述参考身体形态特征向量进行比对，之后再将受检对象的面部图像特征向量与所述参考面部图像特征向量进行比对。这有助于提高运算效率和节省资源，因为通常情况下身体形态特征向量的比对计算耗费的系统资源较少，而面部图像特征向量的比对计算耗费的系统资源较多。然而，本发明的实施例不限于此，例如也可以将身体形态特征向量的比对计算与面部图像特征向量的比对计算并行地进行。
在一些实施例中，受检对象的身体形态特征向量和面部图像特征向量与数据库中的参考身体形态特征向量和参考面部图像特征向量的比对可以针对于一个参考身份数据组进行以验证受检对象是否与单一身份信息相符，也可以针对于多个参考身份数据组进行以验证受检对象是否与多个身份信息中的某个身份信息相符。
在一些实施例中，在步骤S21中，所述从数据库中提取至少一个参考身份数据组还包括：
步骤S211：检索并提取参考身份信息与受检对象录入的身份信息相匹配的所述参考身份数据组。
假定在系统的数据库中存在受检对象的参考身份信息、参考身体形态特征向量和参考面部图像特征向量，那么，采用步骤S211的这种方式可以用于验证受检对象的身份与录入的身份信息是否一致。这种方式可以迅速地判断假造身份的受检对象。
基于毫米波成像系统的身体形态特征和面部特征是可以从扫描数据中直接获取的，可以与毫米波安检流程同步进行，不需要额外的采集设备。同一组扫描数据既可用于自动识别隐匿物，也可以用于提取形体特征完成身份核验。这两种处理流程可以同步进行，通过合理分配设备的计算资源，可以实现并行处理，不会增加单人安检的时间。身体形态特征识别具有结果直观、使用简便的优点，在使用毫米波安检成像系统的场合，是一种理想的身份核验方法。
在进行毫米波身份验证之前需要预先建立数据库。图9给出了一种建立数据库的示例性流程图。如图9所示，建立数据库的步骤包括：
步骤S41：采集参考对象的毫米波图像；
步骤S42：对参考对象的毫米波图像中的关键点进行定位；
步骤S43：基于所述关键点计算毫米波图像中的参考对象的尺寸信息；
步骤S44：根据所述尺寸信息生成参考对象的身体形态特征向量；
步骤S45：从毫米波图像中截取参考对象的头部区域的三维数据；
步骤S46：由参考对象的头部区域的三维数据生成参考对象的二维面部图像；
步骤S47：从所述二维面部图像提取参考对象的面部图像特征向量；
步骤S48：采集参考对象的身份信息；以及
步骤S49：将参考对象的身份信息、身体形态特征向量和面部图像特征向量构成参考身份数据组存储在数据库中。
上述建立数据库的过程实际上与上述身份验证方法中特征向量的生成过程是相似的，只是将受检对象变成了参考对象。在此不再赘述。
在本发明的实施例中，受检对象可以指受检人，也可以指诸如宠物等其他对象。
本发明的实施例还提供了一种毫米波身份验证装置100。如图5 所示，该毫米波身份验证装置100可以包括特征提取模块D10和特征比对模块D20。该特征提取模块D10配置成从受检对象的毫米波图像中提取受检对象的身体形态特征向量和面部图像特征向量，该特征比对模块D20配置成将所述受检对象的身体形态特征向量和面部图像特征向量与数据库中的参考数据进行比对以验证该受检对象的身份。
在一些实施例中，该特征提取模块D10可以包括关键点定位子模块D11、尺寸信息计算子模块D12和身体形态特征向量生成模块D13。这些子模块用于提取受检对象的身体形态特征向量。其中，该关键点定位子模块D11配置成对受检对象的毫米波图像中的关键点进行定位，该尺寸信息计算子模块D12配置成基于所述关键点计算毫米波图像中的受检对象的尺寸信息，该身体形态特征向量生成模块D13配置成根据所述尺寸信息生成受检对象的身体形态特征向量。
在一些实施例中，为了进一步提取受检对象的面部图像特征向量，所述特征提取模块D10还可以包括头部截取子模块D14、二维面部图像生成子模块D15和面部图像特征生成子模块D16。该头部截取子模块D14配置成从毫米波图像中截取受检对象的头部区域的三维数据。为了准确地截取头部区域，头部截取子模块D14可以接收从关键点定位子模块D11提供的关键点的位置信息。该二维面部图像生成子模块 D15配置成由受检对象的头部区域的三维数据生成受检对象的二维面部图像。该面部图像特征生成子模块D16配置成从所述二维面部图像提取受检对象的面部图像特征向量。
在一些实施例中，如图5所示，所述特征比对模块D20还可以包括身体形态特征向量比对子模块D21、面部图像特征向量比对子模块 D22和身份确认子模块D23。该身体形态特征向量比对子模块D21配置成计算所述受检对象的身体形态特征向量与数据库中的参考身体形态特征向量之间的马氏距离并基于该马氏距离来判断所述受检对象的身体形态特征向量是否与所述参考身体形态特征向量匹配。该面部图像特征向量比对子模块D22配置成计算所述受检对象的面部图像特征向量与数据库中的参考面部图像特征向量之间的欧氏距离并基于该欧氏距离来判断所述受检对象的面部图像特征向量是否与所述参考面部图像特征向量匹配。该身份确认子模块D23配置成响应于所述受检对象的身体形态特征向量与所述参考身体形态特征向量匹配且所述受检对象的面部图像特征向量与所述参考面部图像特征向量匹配来确定受检对象的身份与所述参考身份信息一致。
对于图5中所示出的上述各个子模块的功能和操作，可参见前述关于毫米波身份验证方法的各个步骤的介绍，在此不再赘述。
在一些实施例中，对受检对象的毫米波图像中的关键点进行定位之前，还可以对受检对象的毫米波图像进行预处理以提高图像质量。例如可借鉴对点云数据的预处理，采用导向滤波(Guided Filter)的方法对三维的毫米波图像进行降噪，降低伪影对图像质量的影响，使图像更平滑连续。完成预处理的三维图像会存储在一个标准尺寸的三维矩阵中。作为示例，可以对三维的毫米波图像P做导向滤波，设P中任意一点灰度为pi，则滤波后的三维的毫米波图像Q中对应qi点的灰度值为：qi＝AkPi+bk，Ak是一个3×3的矩阵，Ak＝∑i(∑i+∈I)-1；bk是一个3×1的向量，bk＝μi-Akμi；μi是pi邻域N(i)内所有点的均值，∑i是N(i)内所有点的协方差矩阵，N(i)的大小由搜索半径r确定；∈是正则化参数，用于控制平滑程度；I为导向图。为不失一般性，在一些实施例中，可以选择受检对象的三维的毫米波图像P本身作为导向图I，搜索半径r＝16，正则化参数∈＝0.01。滤波后得到降噪处理后的三维图像Q。在此情况下，后续的对受检对象的毫米波图像中的关键点进行定位等步骤基于该降噪处理后的三维图像Q进行。这可以提高对于身体形态特征向量和面部图像特征向量的生成精确度。
图6示出了利用根据本发明的毫米波身份验证装置进行受检对象的身份验证的具体示例。在该示例中，特征提取模块D10设置于现场设备端(例如集成于毫米波图像扫描设备中)，所述特征比对模块D20 设置于远程服务器端。这种设计一方面有利于现场对受检对象的数据的采集和提取，另一方面利用在远程端进行数据库的存储和访问。
在该示例中，受检对象(受检人)进入安检区域之后，一方面由毫米波图像扫描装置来对受检对象进行扫描以获取毫米波图像数据 (受检对象的毫米波图像)，另一方面将受检对象的身份信息录入到毫米波身份验证装置并上传服务器。特征提取模块D10可以对受检对象的毫米波图像中的关键点进行定位，之后一方面基于该关键点的位置来计算受检对象的尺寸信息，进而生成受检对象的身体形态特征向量，另一方面根据该关键点的位置来截取受检对象的头部区域的三维数据，将该头部区域的三维数据进行正面面部投影以生成受检对象的二维面部图像，进而提取面部图像特征向量。然后，可以将受检对象的身体形态特征向量和面部图像特征向量上传至服务器以在服务器端进行特征比对。在特征比对的操作中，特征比对模块D20可以首先根据受检对象的身份信息在数据库中检索与之对应的参考身份数据组，如果受检对象的身份信息在数据库中有记录，则可以提取相应的参考身体形态特征向量和参考面部图像特征向量以继续进行特征对比操作，例如可以先比对受检对象的身体形态特征向量与数据库中的参考身体形态特征向量。如果两者不一致，则可以直接输出身份验证不通过的结果，而如果两者一致则可以进一步比对受检对象的面部图像特征向量与数据库中的参考面部图像特征向量以最终判定受检对象的身份信息与数据库中的参考身份信息是否一致。如果受检对象的身份信息在数据库中没有记录，则可以将受检对象的采集到的身体形态特征向量和面部图像特征向量与受检对象的身份信息一起存入数据库作为新的参考身份数据组。
本发明的实施例不限于上述实施例，例如，特征提取模块D10和特征比对模块D20也可以均在现场设备端(终端机)上完成，或均在远程服务器端完成或者均可一部分在现场设备端(终端机)上完成，另一部分在远程服务器端完成。
在一些实施例中，根据本发明的毫米波身份验证装置可以与毫米波图像扫描装置协同工作，在对受检对象携带的隐匿物品进行检测的同时对受检对象的身份进行验证，从而实现高效、全面、准确的安全检查。
本发明的实施例还提供了一种毫米波安检设备。该毫米波安检设备可以包括毫米波图像扫描装置以及如前述任一实施例所述的毫米波身份验证装置。该毫米波图像扫描装置配置成对受检对象进行毫米波扫描来生成受检对象的毫米波图像。图7给出了一种毫米波安检设备的硬件结构的示例。如图7所示，该毫米波安检设备200包括毫米波图像扫描装置210、身份信息读取装置220、设备端计算机230、数据库服务器240和终端显示设备250。该毫米波图像扫描装置210例如可以包括毫米波天线阵列。图7示出的是毫米波天线阵列在受检对象的两侧进行扫描的例子。在这种示例中，为保证数据完整性，受检对象需要完全进入扫描区域(即两个扫描平面之间)，面向扫描平面站立，保证躯干和四肢部分不会相互遮挡。毫米波图像扫描装置有多种类型，在本发明的实施例中，各种类型的毫米波图像扫描装置均可采用，只要其能够获得受检对象的三维的毫米波扫描图像即可。身份信息读取装置220可以用于受检对象录入身份信息。从毫米波图像扫描装置210 获得的受检对象的毫米波图像以及从身份信息读取装置220录入的受检对象的身份信息可以传送给设备端计算机230。例如在设备端计算机230中可以提取受检对象的体形态特征向量和面部图像特征向量。该体形态特征向量和面部图像特征向量可被传送给数据库服务器240。数据库服务器240在进行了特征向量的比对之后可以将核验结果传送回设备端计算机230。最终身份验证结果可以在终端显示设备上显示出来。
本发明的实施例还提供了一种电子设备。如图10所示，该电子设备可以包括存储器D30和处理器D40。存储器D30配置用于存储指令和数据，例如所采集的毫米波图像数据、身份信息数据以及处理器D40 运算过程中产生的数据等等。处理器D40可以用于执行所述指令以实现根据前述任一实施例所述的毫米波身份验证方法。在本发明的一些实施例中，该电子设备还可以包括输入装置D50(如鼠标、键盘、语音输入等)、用于交互显示的显示设备以及用于交换数据的接口和总线 D60等。存储器30例如可以包括只读存储器(ROM)、随机存取存储器(RAM)等。
本发明的实施例还公开了一种计算机程序产品，包括计算机可读指令，所述计算机可读指令在被处理器执行时实现前述任一实施例所述的毫米波身份验证方法。
在上述实施例中，以毫米波为例对根据本发明的实施例的身份验证方法、身份验证装置、安检设备、电子设备和计算机程序产品进行了介绍。但是，本发明的实施例不限于借助毫米波来实现，例如也可以借助于太赫兹波来实现。在本发明的实施例中，毫米波通常是指 300MHz至300GHz频段中的电磁波，太赫兹波通常是指300G Hz至 10THz频段中的电磁波。在本发明的另外的实施例中，可以将上述任一实施例中的毫米波由太赫兹波替代，同样可以实现对于受检对象的身份验证。太赫兹波身份验证方法、太赫兹波身份验证装置、太赫兹波安检设备以及相应的电子设备和计算机程序产品的具体方法步骤和结构可以参见上述以毫米波为例所描述的实施例，在此不再赘述。
以上的详细描述通过使用示意图、流程图和/或示例，已经阐述了上述毫米波或太赫兹波身份验证方法和装置的众多实施例。在这种示意图、流程图和/或示例包含一个或多个功能和/或操作的情况下，本领域技术人员应理解，这种示意图、流程图或示例中的每一功能和/ 或操作可以通过各种结构、硬件、软件、固件或实质上它们的任意组合来单独和/或共同实现。在一个实施例中，本发明的实施例所述主题的若干部分可以通过专用集成电路(ASIC)、现场可编程门阵列 (FPGA)、数字信号处理器(DSP)、或其他集成格式来实现。然而，本领域技术人员应认识到，这里所公开的实施例的一些方面在整体上或部分地可以等同地实现在集成电路中，实现为在一台或多台计算机上运行的一个或多个计算机程序(例如，实现为在一台或多台计算机系统上运行的一个或多个程序)，实现为在一个或多个处理器上运行的一个或多个程序(例如，实现为在一个或多个微处理器上运行的一个或多个程序)，实现为固件，或者实质上实现为上述方式的任意组合，并且本领域技术人员根据本公开，将具备设计电路和/或写入软件和/ 或固件代码的能力。此外，本领域技术人员将认识到，本公开所述主题的机制能够作为多种形式的程序产品进行分发，并且无论实际用来执行分发的信号承载介质的具体类型如何，本公开所述主题的示例性实施例均适用。信号承载介质的示例包括但不限于：可记录型介质，如软盘、硬盘驱动器、光盘(CD、DVD)、数字磁带、计算机存储器等；以及传输型介质，如数字和/或模拟通信介质(例如，光纤光缆、波导、有线通信链路、无线通信链路等)。
除非存在技术障碍或矛盾，本发明的上述各种实施方式可以自由组合以形成另外的实施例，这些另外的实施例均在本发明的保护范围中。
虽然结合附图对本发明进行了说明，但是附图中公开的实施例旨在对本发明优选实施方式进行示例性说明，而不能理解为对本发明的一种限制。
虽然本发明总体构思的一些实施例已被显示和说明，本领域普通技术人员将理解，在不背离本总体发明构思的原则和精神的情况下，可对这些实施例做出改变，本发明的范围以权利要求和它们的等同物限定。
Claims (16)
1.一种毫米波或太赫兹波身份验证方法，包括：
从受检对象的毫米波或太赫兹波图像提取受检对象的身体形态特征向量和面部图像特征向量；以及
将所述受检对象的身体形态特征向量和面部图像特征向量与数据库中的参考数据进行比对以验证该受检对象的身份。
2.根据权利要求1所述的毫米波或太赫兹波身份验证方法，其中，所述从所述毫米波或太赫兹波图像数据提取受检对象的身体形态特征向量和面部图像特征向量包括：
对受检对象的毫米波或太赫兹波图像中的关键点进行定位；
基于所述关键点计算毫米波或太赫兹波图像中的受检对象的尺寸信息；以及
根据所述尺寸信息生成受检对象的身体形态特征向量。
3.根据权利要求2所述的毫米波或太赫兹波身份验证方法，其中，在对受检对象的毫米波或太赫兹波图像中的关键点进行定位之后，所述从所述毫米波或太赫兹波图像数据提取受检对象的身体形态特征向量和面部图像特征向量还包括：
从毫米波或太赫兹波图像中截取受检对象的头部区域的三维数据；
由受检对象的头部区域的三维数据生成受检对象的二维面部图像；以及
从所述二维面部图像提取受检对象的面部图像特征向量。
4.根据权利要求1至3中任一项所述的毫米波或太赫兹波身份验证方法，其中，在从所述毫米波或太赫兹波图像提取受检对象的身体形态特征向量和面部图像特征向量之前还包括：
生成用于实现对受检对象的毫米波或太赫兹波图像中的关键点进行定位的关键点定位模型；以及
生成用于实现从所述二维面部图像提取受检对象的面部图像特征向量的面部特征提取模型。
5.根据权利要求4所述的毫米波或太赫兹波身份验证方法，其中，所述生成用于实现对受检对象的毫米波或太赫兹波图像中的关键点进行定位的关键点定位模型包括：
建立毫米波或太赫兹波三维扫描图像数据库；
对于所述毫米波或太赫兹波三维扫描图像数据库中的毫米波或太赫兹波参考图像中的关键点坐标进行标注以形成训练样本；以及
基于该训练样本利用卷积神经网络进行训练以得出关键点定位模型。
6.根据权利要求4所述的毫米波或太赫兹波身份验证方法，其中，所述生成用于实现从所述二维面部图像提取受检对象的面部图像特征向量的面部特征提取模型包括：
建立二维面部图像参考数据库以获得面部特征提取模型的训练样本；以及
基于该训练样本利用面部识别训练网络进行训练以得出所述面部特征提取模型。
7.根据权利要求1至3中任一项所述的毫米波或太赫兹波身份验证方法，其中，所述将所述受检对象的身体形态特征向量和面部图像特征向量与数据库中的参考数据进行比对以验证该受检对象的身份包括：
从数据库中提取至少一个参考身份数据组，每个所述参考身份数据组包括参考身份信息、参考身体形态特征向量和参考面部图像特征向量；
计算所述受检对象的身体形态特征向量与数据库中的参考身体形态特征向量之间的马氏距离并基于该马氏距离来判断所述受检对象的身体形态特征向量是否与所述参考身体形态特征向量匹配；
在所述受检对象的身体形态特征向量与所述参考身体形态特征向量匹配的情况下计算所述受检对象的面部图像特征向量与数据库中的参考面部图像特征向量之间的欧氏距离并基于该欧氏距离来判断所述受检对象的面部图像特征向量是否与所述参考面部图像特征向量匹配；以及
在所述受检对象的身体形态特征向量与所述参考身体形态特征向量匹配且所述受检对象的面部图像特征向量与所述参考面部图像特征向量匹配的情况下确定受检对象的身份与所述参考身份信息一致。
8.根据权利要求7所述的毫米波或太赫兹波身份验证方法，其中，所述从数据库中提取至少一个参考身份数据组还包括：
检索并提取参考身份信息与受检对象录入的身份信息相匹配的所述参考身份数据组。
9.一种毫米波或太赫兹波身份验证装置，包括：
特征提取模块，配置成从受检对象的毫米波或太赫兹波图像中提取受检对象的身体形态特征向量和面部图像特征向量；以及
特征比对模块，配置成将所述受检对象的身体形态特征向量和面部图像特征向量与数据库中的参考数据进行比对以验证该受检对象的身份。
10.根据权利要求9所述的毫米波或太赫兹波身份验证装置，其中，所述特征提取模块包括：
关键点定位子模块，配置成对受检对象的毫米波或太赫兹波图像中的关键点进行定位；
尺寸信息计算子模块，配置成基于所述关键点计算毫米波或太赫兹波图像中的受检对象的尺寸信息；以及
身体形态特征向量生成模块，配置成根据所述尺寸信息生成受检对象的身体形态特征向量。
11.根据权利要求10所述的毫米波或太赫兹波身份验证装置，其中，所述特征提取模块还包括：
头部截取子模块，配置成从毫米波或太赫兹波图像中截取受检对象的头部区域的三维数据；
二维面部图像生成子模块，配置成由受检对象的头部区域的三维数据生成受检对象的二维面部图像；以及
面部图像特征生成子模块，配置成从所述二维面部图像提取受检对象的面部图像特征向量。
12.根据权利要求9至11中任一项所述的毫米波或太赫兹波身份验证装置，其中，所述特征比对模块包括：
身体形态特征向量比对子模块，配置成计算所述受检对象的身体形态特征向量与数据库中的参考身体形态特征向量之间的马氏距离并基于该马氏距离来判断所述受检对象的身体形态特征向量是否与所述参考身体形态特征向量匹配；
面部图像特征向量比对子模块，配置成计算所述受检对象的面部图像特征向量与数据库中的参考面部图像特征向量之间的欧氏距离并基于该欧氏距离来判断所述受检对象的面部图像特征向量是否与所述参考面部图像特征向量匹配；
身份确认子模块，配置成响应于所述受检对象的身体形态特征向量与所述参考身体形态特征向量匹配且所述受检对象的面部图像特征向量与所述参考面部图像特征向量匹配来确定受检对象的身份与所述参考身份信息一致。
13.根据权利要求9至11中任一项所述的毫米波或太赫兹波身份验证装置，其中，所述特征提取模块设置于现场设备端，所述特征比对模块设置于远程服务器端。
14.一种毫米波或太赫兹波安检设备，包括：
毫米波或太赫兹波图像扫描装置，配置成对受检对象进行毫米波或太赫兹波扫描来生成受检对象的毫米波或太赫兹波图像；以及
根据权利要求9至13中任一项所述的毫米波或太赫兹波身份验证装置。
15.一种电子设备，包括：
存储器，配置用于存储指令和数据；
处理器，配置用于执行所述指令以实现根据权利要求1至8中任一项所述的方法。
16.一种计算机程序产品，包括计算机可读指令，所述计算机可读指令在被处理器执行时实现根据权利要求1至8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111680506.8A CN116434289A (zh) | 2021-12-30 | 2021-12-30 | 毫米波或太赫兹波身份验证方法及装置、毫米波或太赫兹波安检设备和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111680506.8A CN116434289A (zh) | 2021-12-30 | 2021-12-30 | 毫米波或太赫兹波身份验证方法及装置、毫米波或太赫兹波安检设备和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116434289A true CN116434289A (zh) | 2023-07-14 |
Family
ID=87093069
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111680506.8A Pending CN116434289A (zh) | 2021-12-30 | 2021-12-30 | 毫米波或太赫兹波身份验证方法及装置、毫米波或太赫兹波安检设备和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116434289A (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101021899A (zh) * | 2007-03-16 | 2007-08-22 | 南京搜拍信息技术有限公司 | 综合利用人脸及人体辅助信息的交互式人脸识别系统及方法 |
| CN101396277A (zh) * | 2007-09-26 | 2009-04-01 | 中国科学院声学研究所 | 一种超声波人脸识别方法和识别装置 |
| CN102697503A (zh) * | 2012-02-29 | 2012-10-03 | 北京无线电计量测试研究所 | 一种基于毫米波成像的人体检测方法 |
| CN109558715A (zh) * | 2018-10-31 | 2019-04-02 | 维沃移动通信有限公司 | 一种终端设备及人脸识别方法 |
| CN109886157A (zh) * | 2019-01-30 | 2019-06-14 | 杭州芯影科技有限公司 | 一种基于毫米波图像的人脸识别方法及系统 |
| US20190236389A1 (en) * | 2018-01-30 | 2019-08-01 | T-Mobile Usa, Inc. | Methods and systems for identifying and profiling biological tissue |
| CN110674835A (zh) * | 2019-03-22 | 2020-01-10 | 集美大学 | 一种太赫兹成像方法及系统和一种无损检测方法及系统 |
| US20200025877A1 (en) * | 2018-07-18 | 2020-01-23 | Qualcomm Incorporated | Object verification using radar images |
| CN110944112A (zh) * | 2019-11-22 | 2020-03-31 | 维沃移动通信有限公司 | 一种图像处理方法及电子设备 |
| CN111460880A (zh) * | 2019-02-28 | 2020-07-28 | 杭州芯影科技有限公司 | 多模生物特征融合方法和系统 |
| CN111753660A (zh) * | 2020-05-21 | 2020-10-09 | 江苏大学 | 一种基于太赫兹毫米波的人脸骨骼识别方法 |
| CN112041898A (zh) * | 2018-04-27 | 2020-12-04 | 上海趋视信息科技有限公司 | 智能门系统 |
| CN112528706A (zh) * | 2019-09-17 | 2021-03-19 | 清华大学 | 人员识别系统及其方法 |
| CN112966700A (zh) * | 2021-03-29 | 2021-06-15 | 清华大学 | 一种毫米波图像目标检测方法 |
-
2021
- 2021-12-30 CN CN202111680506.8A patent/CN116434289A/zh active Pending
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101021899A (zh) * | 2007-03-16 | 2007-08-22 | 南京搜拍信息技术有限公司 | 综合利用人脸及人体辅助信息的交互式人脸识别系统及方法 |
| CN101396277A (zh) * | 2007-09-26 | 2009-04-01 | 中国科学院声学研究所 | 一种超声波人脸识别方法和识别装置 |
| CN102697503A (zh) * | 2012-02-29 | 2012-10-03 | 北京无线电计量测试研究所 | 一种基于毫米波成像的人体检测方法 |
| US20190236389A1 (en) * | 2018-01-30 | 2019-08-01 | T-Mobile Usa, Inc. | Methods and systems for identifying and profiling biological tissue |
| CN112041898A (zh) * | 2018-04-27 | 2020-12-04 | 上海趋视信息科技有限公司 | 智能门系统 |
| US20200025877A1 (en) * | 2018-07-18 | 2020-01-23 | Qualcomm Incorporated | Object verification using radar images |
| CN109558715A (zh) * | 2018-10-31 | 2019-04-02 | 维沃移动通信有限公司 | 一种终端设备及人脸识别方法 |
| CN109886157A (zh) * | 2019-01-30 | 2019-06-14 | 杭州芯影科技有限公司 | 一种基于毫米波图像的人脸识别方法及系统 |
| CN111597867A (zh) * | 2019-01-30 | 2020-08-28 | 杭州芯影科技有限公司 | 一种基于毫米波图像的人脸识别方法及系统 |
| CN111460880A (zh) * | 2019-02-28 | 2020-07-28 | 杭州芯影科技有限公司 | 多模生物特征融合方法和系统 |
| CN110674835A (zh) * | 2019-03-22 | 2020-01-10 | 集美大学 | 一种太赫兹成像方法及系统和一种无损检测方法及系统 |
| CN112528706A (zh) * | 2019-09-17 | 2021-03-19 | 清华大学 | 人员识别系统及其方法 |
| CN110944112A (zh) * | 2019-11-22 | 2020-03-31 | 维沃移动通信有限公司 | 一种图像处理方法及电子设备 |
| CN111753660A (zh) * | 2020-05-21 | 2020-10-09 | 江苏大学 | 一种基于太赫兹毫米波的人脸骨骼识别方法 |
| CN112966700A (zh) * | 2021-03-29 | 2021-06-15 | 清华大学 | 一种毫米波图像目标检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| ESTER GONZALEZ-SOSA等: "Millimetre Wave Person Recognition: Hand-crafted vs Learned Features", 《ISBA》, 15 June 2017 (2017-06-15), pages 1 - 7 * |
| 毛磊: "被动式毫米波人体检查图像识别软件系统设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2016, 15 March 2016 (2016-03-15), pages 138 - 4178 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Woodard et al. | Finger surface as a biometric identifier | |
| Lee | A novel biometric system based on palm vein image | |
| CN107438854B (zh) | 使用移动设备捕获的图像执行基于指纹的用户认证的系统和方法 | |
| Qin et al. | Region growth–based feature extraction method for finger-vein recognition | |
| JP3558025B2 (ja) | 個人認証装置及び方法 | |
| US20060008124A1 (en) | Iris image-based recognition system | |
| Puhan et al. | Efficient segmentation technique for noisy frontal view iris images using Fourier spectral density | |
| Hsu et al. | Personal authentication through dorsal hand vein patterns | |
| Lee | Palm vein recognition based on a modified | |
| Lee et al. | Dorsal hand vein recognition based on 2D Gabor filters | |
| Barpanda et al. | Iris feature extraction through wavelet mel-frequency cepstrum coefficients | |
| Labati et al. | Touchless fingerprint biometrics | |
| CN109255319A (zh) | 针对静态照片的人脸识别支付信息防伪方法 | |
| Bača et al. | Basic principles and trends in hand geometry and hand shape biometrics | |
| Sujana et al. | An effective CNN based feature extraction approach for iris recognition system | |
| Ng et al. | An effective segmentation method for iris recognition system | |
| CN111880848A (zh) | 一种操作系统的切换方法、装置、终端以及可读存储介质 | |
| CN116434289A (zh) | 毫米波或太赫兹波身份验证方法及装置、毫米波或太赫兹波安检设备和电子设备 | |
| Malik et al. | An efficient retinal vessels biometric recognition system by using multi-scale local binary pattern descriptor | |
| SeungGwan et al. | Pupil Segmentation Using Orientation Fields, Radial Non-Maximal Suppression and Elliptic Approximation. | |
| Almutiry | Efficient iris segmentation algorithm using deep learning techniques | |
| Das et al. | An introduction to biometric authentication systems | |
| Ren et al. | An improved method for Daugman's iris localization algorithm | |
| Soltany et al. | Daugman’s Algorithm Enhancement for Iris Localization | |
| Tang et al. | Vein pattern recognition based on RGB images using Monte Carlo simulation and ridge tracking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |