CN114677737A - 生物信息识别方法、装置、设备及介质 - Google Patents

生物信息识别方法、装置、设备及介质 Download PDF

Info

Publication number
CN114677737A
CN114677737A CN202210312391.5A CN202210312391A CN114677737A CN 114677737 A CN114677737 A CN 114677737A CN 202210312391 A CN202210312391 A CN 202210312391A CN 114677737 A CN114677737 A CN 114677737A
Authority
CN
China
Prior art keywords
modal
features
depth
color
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210312391.5A
Other languages
English (en)
Inventor
祝轶哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yuncong Enterprise Development Co ltd
Original Assignee
Shanghai Yuncong Enterprise Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yuncong Enterprise Development Co ltd filed Critical Shanghai Yuncong Enterprise Development Co ltd
Priority to CN202210312391.5A priority Critical patent/CN114677737A/zh
Publication of CN114677737A publication Critical patent/CN114677737A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种生物信息识别方法、装置、设备及介质，包括：获取待识别目标的生物信息图像；对生物信息图像进行特征提取，得到不同层级的单模态彩色特征与单模态深度特征；逐级融合单模态彩色特征与单模态深度特征，得到每个层级的多模态特征；将多模态特征分别融合单模态彩色特征、单模态深度特征，得到跨模态的彩色卷积特征与跨模态的深度卷积特征；融合跨模态的彩色卷积特征与跨模态的深度卷积特征，得到最终的特征向量；基于生物信息图像最终的特征向量进行信息识别，本发明通过跨模态处理，不仅可提取到更显著的特征，有效捕捉来自彩色图像与深度图像的跨模态信息，有助于检测更完整的目标，在生物信息识别中，也提高了识别精度。

Description

生物信息识别方法、装置、设备及介质
技术领域
本发明涉及图像识别技术领域，特别是涉及一种生物信息识别方法、装置、设备及介质。
背景技术
随着社会的持续发展与技术的不断进步，对人员身份安全认证的需求也更加迫切。在众多的身份识别方法中，利用人体生物特进行识别的优越性是其他外设方式所不可比拟的优越性，其安全性和可靠性得到了广泛的认可，其中，人体生物特征包括但不限于人脸、掌纹、指纹、虹膜、静脉等生物信息识别生物信息识别。
在实际应用场景中，基于二维生物信息识别装置因光照、背景、姿态、清晰度等条件的影响，导致图像纹理变化巨大，进而降低了识别准确率，而三维生物信息在同样的光照、背景、姿态、清晰度等条件的影响，不会受到纹理变化的干扰，能够适用于的场景和范围更广。
然而，在相关技术中，在二维生物信息(第一图像)与三维生物信息(第二图像)融合时，无法根据当前所处环境动态调整二维生物信息与三维生物信息各自对应的权重比例，使得融合后的图像无法完整反映生物信息，从而降低了生物信息识别的精度。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种生物信息识别方法、装置、设备及介质生物信息识别，用于解决现有技术中二维生物信息与三维生物信息融合后进行识别生物信息识别时，无法确保生物信息识别的精度的问题。
为实现上述目的及其他相关目的，本发明提供一种生物信息识别方法，包括以下步骤：
获取待识别目标的生物信息图像；
对所述生物信息图像进行特征提取，得到不同层级的单模态彩色特征与不同层级的单模态深度特征；
逐级融合所述单模态彩色特征与单模态深度特征，得到每个层级的多模态特征；
将所述多模态特征分别融合所述单模态彩色特征、单模态深度特征，得到跨模态的彩色卷积特征与跨模态的深度卷积特征；
融合跨模态的所述彩色卷积特征与跨模态的所述深度卷积特征，得到最终的特征向量；
基于所述生物信息图像最终的所述特征向量进行信息识别。
本发明还提供一种生物信息识别装置，包括：
获取模块，用于获取待识别目标的生物信息图像；
提取模块，用于对所述生物信息图像进行特征提取，得到不同层级的单模态彩色特征与不同层级的单模态深度特征；
逐级融合模块，用于逐级融合所述单模态彩色特征与单模态深度特征，得到每个层级的多模态特征；
跨模态生成模块，用于将所述多模态特征分别融合所述单模态彩色特征、单模态深度特征，得到跨模态的彩色卷积特征与跨模态的深度卷积特征；
跨模态交互模块，用于融合跨模态的所述彩色卷积特征与跨模态的所述深度卷积特征，得到最终的特征向量；
信息识别模块，基于所述生物信息图像最终的所述特征向量进行信息识别。
本发明还提供一种电子设备，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行如上述中一个或多个所述的方法。
本发明还提供一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如上述中一个或多个所述的方法。
如上所述，本发明提供的一种生物信息识别方法、装置、设备及介质，具有以下有益效果：
通过对待识别目标的生物信息图像进行特征提取，得到不同层级的单模态彩色特征与不同层级的单模态深度特征；逐级融合所述单模态彩色特征与单模态深度特征，得到每个层级的多模态特征，通过融合的多模态特征提升了彩色特征与深度特征之间的互补性；将所述多模态特征分别融合所述单模态彩色特征、单模态深度特征，得到跨模态的彩色卷积特征与跨模态的深度卷积特征；融合跨模态的所述彩色卷积特征与跨模态的所述深度卷积特征，得到最终的特征向量，通过上述方式，不仅有效捕捉了输入图像的低级细节和高级语义信息，也避免特征级数过多而导致网络整体参数急剧增多，同时，也降低了网络训练难度，通过跨模态交互确定的最终的特征向量可以提取到更显著的特征，有效地捕捉来自第一图像与第二图像的跨模态信息，有助于检测更完整的目标，基于生物信息图像最终的所述特征向量进行信息识别，也提高了生物信息识别精度。
附图说明
图1为本发明一实施例提供的生物信息识别方法的流程示意图；
图2为本发明一实施例提供的生物信息识别方法中多模态特征融合流程示意图；
图3为本发明一实施例提供的生物信息识别方法中跨模态生成流程示意图；
图4为本发明一实施例提供的生物信息识别方法中跨模态交互流程示意图；
图5为本发明一实施例提供的生物信息识别装置结构框图；
图6为本发明一实施例提供的逐级多模态特征融合网络结构示意图；
图7为本发明一实施例提供的终端设备的硬件结构示意图；
图8为本发明一实施例提供的终端设备的硬件结构示意图。
元件标号说明
500 生物信息识别装置
501 获取模块
502 提取模块
503 逐级融合模块
504 跨模态生成模块
505 跨模态交互模块
506 信息识别模块
1100 输入设备
1101 第一处理器
1102 输出设备
1103 第一存储器
1104 通信总线
1200 处理组件
1201 第二处理器
1202 第二存储器
1203 通信组件
1204 电源组件
1205 多媒体组件
1206 语音组件
1207 输入/输出接口
1208 传感器组件
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
在本领域的相关技术中，由于三维图像在训练和测试时，如果数据量不足，会存在模态缺失的问题，容易引起Kinect设备采集的数据集中深度图质量低、噪声大，会模糊生物信息的某些细节特征，导致生物信息识别的精度下降。另外，传统的生物信息识别在二维图像与三维图像融合时，特别是采用信号层融合、采用特征层融合、采用决策层融合，都存在以下缺陷，例如，无法根据当前光照、姿态变化条件动态确定第一图像与深度图像的权重系数，无法依据提取的第一图像与深度图像的互补特征实现融合人工特征与深度特征，进而无法获取跨模态互补信息，从而降低了生物信息识别的精度。
例如，在信号层融合时，在生物信息识别的初始阶段，将二维图像与三维图像的像素进行串联或者将点云的坐标转化为三通道图像，与彩色图组成六通道的图像后输入卷积神经网络中提取特征。这种融合方式容易造成特征信息的冗余，对数据空间占用带来增长，大大延长了计算耗时。
又例如，特征层融合时，通常从二维图像与三维图像中提取特征，通过人类专家设计的方法提取人工特征，例如，使用gabor滤波器分别提取深度图特征和灰度图特征，然后，使用Adaboost方法选择有效的特征，以及基于深度学习的方法在人脸的三维网格上提取形状和纹理的3-D LBP特征，将特征串联后根据特征的距离进行识别。这种通过串联或者逐元素相加的简单融合策略会丢失掉双模态特征的互补信息。
又例如，决策层融合通过两个或多个生物信息识别器分别对二维图像与三维图像进行识别，得到相应的得分，采用相应的策略对得分进行融合，得到最终的人脸相似度得分，在决策层融合相对简单方便，但是多模态间的互补特征和共同特征并没有得到有效的保留，无法发挥深度图像的优势。
基于以上方案存在的问题，本发明公开提供了一种生物信息识别方法、生物信息识别装置、电子设备以及存储介质。
请参阅图1，本发明提供一种生物信息识别方法的流程图，包括以下步骤：
步骤S1，获取待识别目标的生物信息图像；
其中，待识别目标的生物信息图像包括以下至少之一：视网膜、虹膜、眼球、眼纹、眼形、嘴形、牙形、人脸、静脉，在本实施例中，待识别目标(目标用户)的生物信息以人脸图像为例，提前通过目标用户的合法授权而获得目标用户的人脸图像，该人脸图像包括RGB人脸图像与depth人脸图像。
需要说明的是，所述生物信息图像包括待识别目标的第一图像与第二图像，所述第一图像为彩色图像，所述第二图像为深度图像，即，彩色人脸图像与深度人脸图像。
具体地，采用由一个可测深度的传感器结合一个2D的彩色相机构成RGB-D相机，在获取目标用户合法授权之后，利用RGB-D相机获取RGB-D图像，从而RGB第一图像(RGB图像)与深度图像，通过裁剪获取到相应的人脸区域，其中，需要说明的是，第一图像可以是三维图像也可以是二维图像；RGB第一图像是一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各种颜色。深度图像是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道。
例如，在特定领域(交通领域、金融领域与安防领域等)，通过目标用户的合法授权，利用前置设备，如，结构光(投影仪与摄像头)、TOF(time of flight，时间飞行)相机、光场相机、激光雷达等设备获取人脸数据。
步骤S2，对所述生物信息图像进行特征提取，得到不同层级的单模态彩色特征与不同层级的单模态深度特征；
具体地，可以采用预设的图像特征提取算法，分别提取所述彩色图像与所述深度图像的特征，上述图像特征提取算法可以为SIFT(Scale-Invariant Feature Transform，尺度不变特征变换)、HOG(Histogram of Oriented Gradient方向梯度直方图)、CNN(Convolutional Neural Networks，卷积神经网络)、ResNet(Residual Network，残差神经网络)等。
步骤S3，逐级融合所述单模态彩色特征与单模态深度特征，得到每个层级的多模态特征；
具体地，由于提取彩色图像与深度图像的网络模型结构相同，将每个网络层级的单模态彩色特征与单模态深度特征逐级融合，得到每个层级的多模态特征，实现跨模态特征的提取，也提升了跨模态特征之间的互补性。
步骤S4，将所述多模态特征分别融合所述单模态彩色特征、单模态深度特征，得到跨模态的彩色卷积特征与跨模态的深度卷积特征；
具体地，由于第一图像通过卷积神经网络或残差卷积神经网络提取后，得到单模态彩色特征是二维信息，而单模态深度特征是三维信息，将多模态特征分别融合所述单模态彩色特征、单模态深度特征，从而得到跨模态的彩色卷积特征与跨模态的深度卷积特征。
步骤S5，融合跨模态的所述彩色卷积特征与跨模态的所述深度卷积特征，得到最终的特征向量；
具体地，使用动态融合方式，即使在数据量不足的状况下，通过获取二维数据(跨模态的所述彩色卷积特征)与三维数据(跨模态的所述深度卷积特征)之间的关系，提取它们之间共同(共享)特性，通过有效地捕获跨模态互补信息，提升最终的特征向量的完整性，实现精度更高的反映特征。
步骤S6，基于所述生物信息图像最终的所述特征向量进行信息识别。
具体地，获取目标用户的生物信息的最终特征向量构建人脸底库，利用人脸底库训练信息识别模型，例如，给予人脸底库构建的训练样本分配一种神经网络模型，将训练样本中最终的特征向量输入至对应的神经网络模型中进行识别训练，从而得到信息识别模型，将所述待识别的目标用户的最终特征向量输入至该信息识别模型中，得到目标用户的识别结果。
通过上述方式，对RGB图像和深度图进行深度层级特征抽取，相比处理深度图的2D方法来讲，本实施例采用深度层级的跨模态特征交互，高效率地从二维信息和三维信息中提取互补特征，有效地捕获跨模态互补信息，使得基于该方法的3D人脸识别技术在计算效率和精度上都取得了很好的效果。
在一示例性实施例中，在上述步骤S2，所述对所述生物信息图像进行特征提取，得到不同层级的单模态彩色特征与不同层级的单模态深度特征的步骤之前，还包括：
利用生成对抗网络对所述深度图像进行增强处理，得到高质量(图像质量增强)的深度图像(即，第二图像)。
具体地，通过在Bosphorus数据集(三维人脸数据库)与FRGCV2数据集(三维人脸数据库)中添加一些噪声，来模拟点云数据(在一个三维坐标系统中的一组向量的集合)，形成同一目标对象在两个数据集对应的数据关联形成成对数据，利用该成对数据作为训练集，用于训练pixel2pixel网络(GAN，生成对抗网络)，通过像素提升进行图像转换进而生成高质量的图像，利用训练好的pixel2pixel网络对低质量的深度图像进行处理，得到高质量的深度图像，同时，可以精确地捕捉到中的低频信息，增强深度图像的质量。
在一示例性实施例中，步骤S2，对所述生物信息图像进行特征提取，得到不同层级的单模态彩色特征与不同层级的单模态深度特征，详述如下：
利用卷积神经网络分别对所述生物信息图像中第一图像与所述第二图像进行一次特征提取，得到所述第一图像中的彩色特征向量，以及所述第二图像中的深度特征向量；
利用深度残差网络分别对所述彩色特征向量和所述深度特征向量进行二次特征提取，得到不同层级的单模态彩色特征与不同层级的单模态深度特征。
具体地，所述卷积神经网络包括输入层、卷积层、最大池化层、dropout层、全连接层和Softmax层，例如，针对像素为RGB图像或深度图像，卷积神经网络模型的结构包括：输入层为32×32大小的图像；第1层为卷积层C1，卷积核大小为5×5，共8个；第2层为最大池化层MaxPool1；第3层为卷积层C2，卷积核大小为3×3，共16个；第4层为卷积层C3,卷积核大小为3×3，共32个；第5层为最大值池化层MaxPool2；第6层为卷积层C4，卷积核大小为3×3，共32个；第7层为卷积层C5，卷积核大小为3×3，共32个；第8层为全连接层FC1，共120个神经元；在FC1后添加dropout层；第9层为全连接层FC2，共84个神经元；第10层为Softmax层，输出彩色特征向量或深度特征向量，可以理解的是输入层的大小和卷积核的大小可根据图像的大小做出适应性的调整。
又例如，将同一目标对象配对的彩色第一图像(彩色图像)与第二图像(深度图像)，其中，第一图像(224,224,3)、深度图像为(224,224,1)，数量为n，维度为d0，通过上述卷积神经网络分别提取RGB图像中的彩色特征向量，以及深度图像中的深度特征向量。
例如，利用深度残差网络对RGB图像的彩色特征向量进行特征提取，以及利用相同网络结构的深度残差网络提取所述深度图像中的深度特征向量，其中，该深度残差网络为ResNet-50网络，例如，该ResNet-50网络包括多个卷积块，每个所述卷积块中的最后一层卷积层的步长由2变为1，通过将最后一层卷积层的卷积核步长变为1，从而在增加很小的计算量的同时提高了特征图的分辨率，丰富了特征的粒度，例如，该ResNet-50网络由四个首尾相连的残差卷积模块(图未全部示出)构成，四个残差卷积模块依次具有256、512、1024和2048个滤波器，每个所述残差卷积模块连接有卷积核步长为2的池化层，且最后一层卷积层的卷积核步长变为1。
具体地，利用第四个残差卷积模块输出的为RGB卷积特征，利用深度图像最后两个残差卷积模块输出的逐级增强的所述单模态深度特征进行加权融合，得到跨模态的深度卷积特征
详见图6，本发明一实施例提供的逐级多模态特征融合网络结构示意图，其中，在图中左侧虚框内为第一级深度残差级网络交互模块，该网络结构通过卷积神经网络(一层网络结构)与深度残差网络(四层网络结构)构成，卷积神经网络的输出作为深度残差网络的输入。
具体地，同一待识别目标的两个输入图像，RGB图像与深度图像；在两个相同的卷积神经网络分别提取RGB特征向量、深度特征向量；通过两个相同的深度残差网络分别提取RGB特征向量、深度特征向量，依次生成不同深度的单模态彩色特征与不同深度的单模态深度特征。
按照网络结构逐级融合单模态彩色特征与单模态深度特征，得到每个层级的多模态特征，其中，第一层级的所述多模态特征由所述彩色特征向量与所述深度特征向量融合所得；其余层级的所述多模态特征由当前层级的上一级单模态彩色特征、当前层级的上一级单模态深度特征以及当前层级的上一级多模态特征融合所得。
例如，在第一级深度残差级网络交互结构中，初始层级是由卷积神经网络CNN构成，初始层级中CNN分别对RGB图像与深度图像进行特征提取，分别得到彩色特征向量与深度特征向量，第一层级的所述多模态特征由初始层级中所述彩色特征向量与所述深度特征向量融合所得。
又例如，第二层级的所述多模态特征由第一层级的所述多模态特征，深度残差网络中第一层级的单模态彩色特征以及深度残差网络中第一层级的单模态深度特征融合所得。
又例如，第三层级的所述多模态特征由第二层级的所述多模态特征，深度残差网络中第二层级的单模态彩色特征以及深度残差网络中第二层级的单模态深度特征融合所得。
又例如，第四层级的所述多模态特征由第三层级的所述多模态特征，深度残差网络中第三层级的单模态彩色特征以及深度残差网络中第三层级的单模态深度特征融合所得。
需要说明的是，两个相同网络结构的深度残差网络(即，第一深度残差网络与第二深度残差网络)，其中，第一深度残差网络中第四层级的单模态彩色特征与第四层级的所述多模态特征进行融合，即可得到第一深度残差网络中最后一个残差卷积模块输出；第二深度残差网络中第四层级的单模态深度特征与第四层级的所述多模态特征进行融合，得到第二深度残差网络中最后一个残差卷积模块输出。
请参阅图2，为本发明一实施例提供的生物信息识别方法中多模态特征融合流程示意图，详述如下：
步骤S201，将同一层级的所述单模态彩色特征与同一层级的所述多模态特征逐级融合，得到逐级增强的所述单模态彩色特征；
具体地，在逐级多模态特征融合网络的深度残差级网络中，同一层级的所述单模态彩色特征与同一层级的所述多模态特征逐级融合，确保得到逐级增强的所述单模态彩色特征。
步骤S202，根据深度残差网络中最后一个残差卷积模块输出的逐级增强的所述单模态彩色特征确定跨模态的彩色卷积特征；
具体地，通过深度残差网络中最后一个残差网络模块输出的逐级增强的所述单模态彩色特征为跨模态的彩色卷积特征。
其中，需要说明的是，前一层级的逐级增强的所述单模态彩色特征通过融合后，势必会对当前层级的逐级增强的所述单模态彩色特征有影响，即，实现逐级融合增强方式，得到跨模态的彩色卷积特征。
步骤S203，将同一层级的所述单模态深度特征与同一层级的所述多模态特征逐级融合，得到逐级增强的所述单模态深度特征；
需要说明的是，前一层级的逐级增强的所述单模态深度特征通过融合后，势必会对当前层级的逐级增强的所述单模态深度特征有影响。
其中，在逐级多模态特征融合网络的深度残差级网络中，将同一层级的所述单模态深度特征与同一层级的所述多模态特征逐级融合，即，实现逐级融合增强方式，得到跨模态的深度特征。
步骤S204，根据深度残差网络中最后两个残差卷积模块输出的逐级增强的所述单模态深度特征进行加权融合，得到跨模态的深度卷积特征。
具体地，将两个逐级增强的单模态深度特征进行加权融合，得到跨模态的深度卷积特征，其中，加权系数可以使用预先训练的VGGFace2的权重，在数据集上对其进行微调。
为了辅助微调整个网络(第一级深度残差级网络)中的卷积层，引入了两个额外的辅助分支，用于每个模态的损失项，该分支包括两个完全连接(FC)层，每个层有1024个节点，其中，节点数等于每个数据集中的类数，通过将误差反向传播到网络的早期层，通过学习卷积提取器的权重来实现网络微调进而提高特征提取的准确性。
通过上述方式，在单模态深度特征与单模态彩色特征的基础上，分别与同一层级的所述多模态特征逐级融合，进而分别得到跨模态的深度卷积特征与跨模态的彩色卷积特征，由于逐级跨膜融合捕捉来自于RGB图像和深度图像的不同模态全部特征间跨通道的相关性，能够提取到更显著的特征，可有效地捕捉来自RGB和深度图像的跨模态信息，有助于检测更完整一致的目标，也提高RGB特征和深度特征的模态匹配能力。
请参阅图3为本发明一实施例提供的生物信息识别方法中跨模态生成流程示意图，详述如下：
步骤S301，基于多头注意力机制确定所述跨模态的彩色卷积特征与跨模态的深度卷积特征之间交互的空间注意力，得到彩色特征的注意力图与深度特征的注意力图；
具体地，基于Transformer中的多头注意力机制，用来捕获每对RGB和深度特征之间的各自重要性，基于co-attention机制的跨模态交互模块将co-attention增强为多个注意头，以捕捉不同潜在空间中的复杂关系，并将其平均值作为注意结果。
例如，采用多头注意力机制意味着同一特征需进行多次映射，每当映射到一个空间时，RGB和深度特征就被赋予了新的含义，使得Transformer注意到子空间的信息。又例如，使用多头自注意力机制，用于捕获不同方面的特征信息。
步骤S302，将所述彩色特征的注意力图与所述跨模态的彩色卷积特征相乘处理，得到模态增强的所述跨模态的彩色卷积特征；及将所述深度特征的注意力图与所述跨模态的深度卷积特征相乘处理，得到模态增强的所述跨模态的深度卷积特征；
具体地，彩色特征的注意力图与所述跨模态的彩色卷积特征相乘处理，或，深度特征的注意力图与所述跨模态的深度卷积特征相乘处理，可以捕获这两个模态特征各维之间的交互关系。
步骤S303，动态融合模态增强的所述跨模态的彩色卷积特征与模态增强的所述跨模态的深度卷积特征，得到最终的特征向量。
具体地，所述利用门函数动态融合模态增强的所述跨模态的彩色卷积特征与模态增强的所述跨模态的深度卷积特征，得到最终的特征向量，其中，
M＝Tanh(WRMR+WDMD)
式中，M为最终的特征向量，tanh为激活函数，WR为模态增强的所述跨模态的彩色卷积特征的权重系数，WD为模态增强的所述跨模态的深度卷积特征的权重系数，MD为模态增强的所述跨模态的深度卷积特征；MR为模态增强的所述跨模态的彩色卷积特征。
通过上述方式，利用跨模态交互得到的最终特征向量可以提取到更显著的特征，有效地捕捉来自RGB图像与深度图像的跨模态信息，有助于检测更完整的目标，在后续模型的训练过程中，利用最终特征向量训练识别模型，因此，大大提升了生物信息的识别精度。
请参阅图4，为本发明一实施例提供的生物信息识别方法中跨模态交互流程示意图，其中，步骤S301详述如下：
步骤S401，将所述彩色卷积特征与所述深度卷积特征映射到同一维度，得到卷积特征图拉平的二维像素序列；
具体地，由于RGB和加权集成后深度特征维度的不同，导致模态之间特征不可能直接进行内积操作，因此，需要通过上述操作进行预处理。
步骤S402，将两路同一维度的所述二维像素序列分别映射到预设维度的特征空间，得到彩色卷积特征与深度卷积特征各自对应的注意力图；
具体地，基于注意力机制计算彩色卷积特征与深度卷积特征各自对应的注意力图，有利于提升生物信息识别的准确性。
步骤S403，标准化内积处理彩色卷积特征与深度卷积特征各自对应的注意力图，对各个所述注意力图求和并确定注意力图平均值，进而得到彩色特征的注意力图与深度特征的注意力图。
具体地，结合图3与图4的流程步骤，例如，首先，将两种特征(彩色卷积特征与所述深度卷积特征)映射到同一维度(d)，并将大小为(N；C；H；W)卷积特征图重塑为拉平的(N；H×W；C)大小的二维像素序列，其中(H；W)是原始特征图的分辨率，C是通道数。其次，将两路d维的多模态特征(彩色卷积特征与深度卷积特征)分别映射为H个d-维特征空间，
Figure BDA0003568865760000111
那么第i个RGB注意力图和第i个Depth注意力图可表示为：
Rh＝Linear(R；θR,h),Dh＝Linear(D；θD,h)
式中，Linear(·)代表参数为θ的全连接层，R为RGB图像，D为深度图像，h为当前d-维特征空间的个数；
再次，通过行标准化的内积计算出彩色卷积特征与深度卷积特征各自对应的注意力图为：
Figure BDA0003568865760000112
Figure BDA0003568865760000113
式中，R为RGB图像，D为深度图像，h为当前d-维特征空间的个数，使用softmax函数进行映射，
Figure BDA0003568865760000114
分别为彩色卷积特征、深度卷积特征各自对应的注意力图。
然后，分别对H个注意力图求和并计算对应的平均值，再和对应的卷积特征相乘得到每个像素都携带语义信息的模态增强特征；
Figure BDA0003568865760000115
MR＝AR·R,MD＝AD·D
其中，MR语义上表示的是输入的深度图指导着网络去在RGB图像中“重点看”哪些视觉特征，而MD语义上表示输入的RGB图像指导着网络去关注给定深度图像“什么是对识别有意义的内容”，得到两路增强模态特征之后，通过使用门函数来动态融合最终的3D特征。
通过上述方式，能够快速地得到跨模态特征之间的交互，有效地捕获跨模态互补信息，不仅有效捕捉了输入图像的低级细节和高级语义信息，也避免特征级数过多而导致网络整体参数急剧增多，也降低了网络训练难度，通过跨模态交互确定的最终的特征向量可以提取到更显著的特征，有效地捕捉来自第一图像与深度图像的跨模态信息，有助于检测更完整的目标，基于生物信息最终的所述特征向量进行信息识别，也提高了生物信息识别精度。
请参阅图5，为本发明实施例提供的一种生物信息识别装置500，包括：
获取模块501，用于获取待识别目标的生物信息图像；
其中，所述生物信息图像包括待识别目标的第一图像与第二图像，所述第一图像为彩色图像，所述第二图像为深度图像。所述生物信息图像至少为视网膜、虹膜、眼球、眼纹、眼形、嘴形、人脸和静脉中的一种。
提取模块502，用于对所述生物信息图像进行特征提取，得到不同层级的单模态彩色特征与不同层级的单模态深度特征；
逐级融合模块503，用于逐级融合所述单模态彩色特征与单模态深度特征，得到每个层级的多模态特征；
跨模态生成模块504，用于将所述多模态特征分别融合所述单模态彩色特征、单模态深度特征，得到跨模态的彩色卷积特征与跨模态的深度卷积特征；
跨模态交互模块505，用于融合跨模态的所述彩色卷积特征与跨模态的所述深度卷积特征，得到最终的特征向量；
信息识别模块506，基于所述生物信息图像最终的所述特征向量进行信息识别。
在一示例性实施例中，所述提取模块502之前，生物信息识别装置还包括：图像增强模块，利用生成对抗网络对所述深度图像进行增强处理，得到高质量(图像质量增强)的深度图像。
在一示例性实施例中，所述提取模块502包括：
第一提取单元，利用卷积神经网络分别对所述生物信息中第一图像与第二图像进行一次特征提取，得到所述第一图像中的彩色特征向量，以及所述第二图像中的深度特征向量；
第二提取单元，利用深度残差网络分别对所述彩色特征向量与所述深度特征向量进行二次特征提取，得到不同层级的单模态彩色特征与不同层级的单模态深度特征。
在一示例性实施例中，所述逐级融合模块503进一步包括：按照网络结构逐级融合单模态彩色特征与单模态深度维特，得到每个层级的多模态特征，其中，第一层级的所述多模态特征由所述彩色特征向量与所述深度特征向量融合所得；其余层级的所述多模态特征由当前层级的上一级的多模态特征、当前层级的上一级的单模态彩色特征与当前层级的上一级的单模态深度特征融合所得。
在一示例性实施例中，所述跨模态生成模块504进一步包括：
将同一层级的所述单模态彩色特征与同一层级的所述多模态特征逐级融合，得到逐级增强的所述单模态彩色特征；根据深度残差网络中最后一个残差卷积模块输出的逐级增强的所述单模态彩色特征确定跨模态的彩色卷积特征；
将同一层级的所述单模态深度特征与同一层级的所述多模态特征逐级融合，得到逐级增强的所述单模态深度特征；根据深度残差网络中最后两个残差卷积模块输出的逐级增强的所述单模态深度特征进行加权融合，得到跨模态的深度卷积特征。
在一示例性实施例中，所述跨模态交互模块505进一步包括：
基于多头注意力机制确定所述跨模态的彩色卷积特征与跨模态的深度卷积特征之间交互的空间注意力，得到彩色特征的注意力图与深度特征的注意力图；
其中，将所述彩色卷积特征与所述深度卷积特征映射到同一维度，得到卷积特征图拉平的二维像素序列；将两路同一维度的所述二维像素序列分别映射到预设维度的特征空间，得到彩色卷积特征与深度卷积特征各自对应的注意力图；标准化内积处理彩色卷积特征与深度卷积特征各自对应的注意力图，对各个所述注意力图求和并确定注意力图平均值，进而得到彩色特征的注意力图与深度特征的注意力图。
将所述彩色特征的注意力图与所述跨模态的彩色卷积特征相乘处理，得到模态增强的所述跨模态的彩色卷积特征；及将所述深度特征的注意力图与所述跨模态的深度卷积特征相乘处理，得到模态增强的所述跨模态的深度卷积特征；
动态融合模态增强的所述跨模态的彩色卷积特征与模态增强的所述跨模态的深度卷积特征，得到最终的特征向量。
其中，利用门函数动态融合模态增强的所述跨模态的彩色卷积特征与模态增强的所述跨模态的深度卷积特征，得到最终的特征向量，其中，
M＝Tanh(WRMR+WDMD)
式中，M为最终的特征向量，tanh为激活函数，WR为模态增强的所述跨模态的彩色卷积特征的权重系数，WD为模态增强的所述跨模态的深度卷积特征的权重系数，MD为模态增强的所述跨模态的深度卷积特征；MR为模态增强的所述跨模态的彩色卷积特征。
在本实施例中，该生物信息识别装置与生物信息识别方法为一一对应关系，详细技术细节、技术功能和技术效果请参照上述实施例，此处不再一一赘述。
综上所述，本发明提供一种生物信息识别装置，通过分别提取第一图像与深度图像，得到不同深度的单模态彩色特征与不同深度的单模态深度特征；逐级融合所述单模态彩色特征与单模态深度特征，得到每个层级的多模态特征，通过融合的多模态特征提升了彩色特征与深度特征之间的互补性(相关性)；将所述多模态特征分别融合所述单模态彩色特征、单模态深度特征，得到跨模态的彩色卷积特征与跨模态的深度卷积特征；融合跨模态的所述彩色卷积特征与跨模态的所述深度卷积特征，得到最终的特征向量，通过上述方式，不仅有效捕捉了输入图像的低级细节和高级语义信息，也避免特征级数过多而导致网络整体参数急剧增多，也降低了网络训练难度，通过跨模态交互确定的最终的特征向量可以提取到更显著的特征，有效地捕捉来自第一图像与深度图像的跨模态信息，有助于检测更完整的目标，基于生物信息最终的所述特征向量进行信息识别，也提高了生物信息识别精度。
本发明实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3，Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本发明实施例对于具体的设备不加以限制。
本发明实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本发明实施例的图1中所述方法所包含步骤的指令(instructions)。
图7为本发明一实施例提供的终端设备的硬件结构示意图。如图7所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。
可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该第一处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。
可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。
在本实施例中，该终端设备的处理器包括用于执行各设备中语音识别装置各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。
图8为本发明的一个实施例提供的终端设备的硬件结构示意图。图6是对图5在实现过程中的一个具体的实施例。如图8所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。
第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。
第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，语音组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。
处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述数据处理方法中的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。
电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。
多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
语音组件1206被配置为输出和/或输入语音信号。例如，语音组件1206包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，语音组件1206还包括一个扬声器，用于输出语音信号。
输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。
传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。
通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G或4G或5G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于插入SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建立通信。
由上可知，在图8实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口1207、传感器组件1208均可以作为图7实施例中的输入设备的实现方式。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (13)

1.一种生物信息识别方法，其特征在于，包括以下步骤：
获取待识别目标的生物信息图像；
对所述生物信息图像进行特征提取，得到不同层级的单模态彩色特征与不同层级的单模态深度特征；
逐级融合所述单模态彩色特征与单模态深度特征，得到每个层级的多模态特征；
将所述多模态特征分别融合所述单模态彩色特征、单模态深度特征，得到跨模态的彩色卷积特征与跨模态的深度卷积特征；
融合跨模态的所述彩色卷积特征与跨模态的所述深度卷积特征，得到最终的特征向量；
基于所述生物信息图像最终的所述特征向量进行信息识别。
2.根据权利要求1所述的生物信息识别方法，其特征在于，所述生物信息图像包括待识别目标的第一图像与第二图像，所述第一图像为彩色图像，所述第二图像为深度图像。
3.根据权利要求2所述的生物信息识别方法，其特征在于，还包括：利用生成对抗网络对所述第二图像进行增强处理，得到图像质量增强的第二图像。
4.根据权利要求1或2所述的生物信息识别方法，其特征在于，所述生物信息图像包括以下至少之一：视网膜、虹膜、眼球、眼纹、眼形、嘴形、人脸、静脉。
5.根据权利要求1或2所述的生物信息识别方法，其特征在于，所述对所述生物信息图像进行特征提取，得到不同层级的单模态彩色特征与不同层级的单模态深度特征的步骤，包括：
利用卷积神经网络分别对所述生物信息中第一图像与第二图像进行一次特征提取，得到所述第一图像中的彩色特征，以及所述第二图像中的深度特征；
利用深度残差网络分别对所述彩色特征与所述深度特征进行二次特征提取，得到不同层级的单模态彩色特征与不同层级的单模态深度特征。
6.根据权利要求5所述的生物信息识别方法，其特征在于，所述逐级融合所述单模态彩色特征与单模态深度特征，得到每个层级的多模态特征的步骤，包括：
按照网络结构逐级融合单模态彩色特征与单模态深度特征，得到每个层级的多模态特征，其中，第一层级的所述多模态特征由所述彩色特征与所述深度特征融合所得；其余层级的所述多模态特征由当前层级的上一级单模态彩色特征、当前层级的上一级单模态深度特征以及当前层级的上一级多模态特征融合所得。
7.根据权利要求1所述的生物信息识别方法，其特征在于，所述将所述多模态特征分别融合所述单模态彩色特征、单模态深度特征，得到跨模态的彩色卷积特征与跨模态的深度卷积特征的步骤，包括：
将同一层级的所述单模态彩色特征与同一层级的所述多模态特征逐级融合，得到逐级增强的所述单模态彩色特征；
根据深度残差网络中最后一个残差卷积模块输出的逐级增强的所述单模态彩色特征确定跨模态的彩色卷积特征；
将同一层级的所述单模态深度特征与同一层级的所述多模态特征逐级融合，得到逐级增强的所述单模态深度特征；
根据深度残差网络中最后两个残差卷积模块输出的逐级增强的所述单模态深度特征进行加权融合，得到跨模态的深度卷积特征。
8.根据权利要求1所述的生物信息识别方法，其特征在于，所述融合跨模态的所述彩色卷积特征与跨模态的所述深度卷积特征，得到最终的特征向量的步骤，包括：
基于多头注意力机制确定所述跨模态的彩色卷积特征与跨模态的深度卷积特征之间交互的空间注意力，得到彩色特征的注意力图与深度特征的注意力图；
将所述彩色特征的注意力图与所述跨模态的彩色卷积特征相乘处理，得到模态增强的所述跨模态的彩色卷积特征；及将所述深度特征的注意力图与所述跨模态的深度卷积特征相乘处理，得到模态增强的所述跨模态的深度卷积特征；
动态融合模态增强的所述跨模态的彩色卷积特征与模态增强的所述跨模态的深度卷积特征，得到最终的特征向量。
9.根据权利要求8所述的生物信息识别方法，其特征在于，所述基于多头注意力机制确定所述跨模态的彩色卷积特征与跨模态的深度卷积特征之间的空间注意力，得到彩色特征的注意力图与深度特征的注意力图的步骤，包括：
将所述彩色卷积特征与所述深度卷积特征映射到同一维度，得到卷积特征图拉平的二维像素序列；
将两路同一维度的所述二维像素序列分别映射到预设维度的特征空间，得到彩色卷积特征与深度卷积特征各自对应的注意力图；
标准化内积处理彩色卷积特征与深度卷积特征各自对应的注意力图，对各个所述注意力图求和并确定注意力图平均值，进而得到彩色特征的注意力图与深度特征的注意力图。
10.根据权利要求8或9所述的生物信息识别方法，其特征在于，还包括：所述利用门函数动态融合模态增强的所述跨模态的彩色卷积特征与模态增强的所述跨模态的深度卷积特征，得到最终的特征向量，其中，
M＝Tanh(WRMR+WDMD)
式中，M为最终的特征向量，tanh为激活函数，WR为模态增强的所述跨模态的彩色卷积特征的权重系数，WD为模态增强的所述跨模态的深度卷积特征的权重系数，MD为模态增强的所述跨模态的深度卷积特征；MR为模态增强的所述跨模态的彩色卷积特征。
11.一种生物信息识别装置，其特征在于，包括：
获取模块，用于获取待识别目标的生物信息图像；
提取模块，用于对所述生物信息图像进行特征提取，得到不同层级的单模态彩色特征与不同层级的单模态深度特征；
逐级融合模块，用于逐级融合所述单模态彩色特征与单模态深度特征，得到每个层级的多模态特征；
跨模态生成模块，用于将所述多模态特征分别融合所述单模态彩色特征、单模态深度特征，得到跨模态的彩色卷积特征与跨模态的深度卷积特征；
跨模态交互模块，用于融合跨模态的所述彩色卷积特征与跨模态的所述深度卷积特征，得到最终的特征向量；
信息识别模块，基于所述生物信息图像最终的所述特征向量进行信息识别。
12.一种电子设备，其特征在于，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行如权利要求1-10中一个或多个所述的方法。
13.一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如权利要求1-10中一个或多个所述的方法。
CN202210312391.5A 2022-03-28 2022-03-28 生物信息识别方法、装置、设备及介质 Pending CN114677737A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210312391.5A CN114677737A (zh) 2022-03-28 2022-03-28 生物信息识别方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210312391.5A CN114677737A (zh) 2022-03-28 2022-03-28 生物信息识别方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN114677737A true CN114677737A (zh) 2022-06-28

Family

ID=82075330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210312391.5A Pending CN114677737A (zh) 2022-03-28 2022-03-28 生物信息识别方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN114677737A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116485728A (zh) * 2023-04-03 2023-07-25 东北石油大学 抽油杆表面缺陷检测方法及装置、电子设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116485728A (zh) * 2023-04-03 2023-07-25 东北石油大学 抽油杆表面缺陷检测方法及装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
Zhou et al. Salient object detection in stereoscopic 3D images using a deep convolutional residual autoencoder
CN109359538B (zh) 卷积神经网络的训练方法、手势识别方法、装置及设备
CN109657554B (zh) 一种基于微表情的图像识别方法、装置以及相关设备
CN103390153B (zh) 用于生物特征验证的纹理特征的方法和系统
CN108345892B (zh) 一种立体图像显著性的检测方法、装置、设备及存储介质
WO2020199611A1 (zh) 活体检测方法和装置、电子设备及存储介质
WO2021196389A1 (zh) 面部动作单元识别方法、装置、电子设备及存储介质
CN110472582B (zh) 基于眼部识别的3d人脸识别方法、装置和终端
CN111598065B (zh) 深度图像获取方法及活体识别方法、设备、电路和介质
CN111144284B (zh) 深度人脸图像的生成方法、装置、电子设备及介质
CN110390308B (zh) 一种基于时空对抗生成网络的视频行为识别方法
JP2022550948A (ja) ３次元顔モデル生成方法、装置、コンピュータデバイス及びコンピュータプログラム
US20220198836A1 (en) Gesture recognition method, electronic device, computer-readable storage medium, and chip
KR20190119212A (ko) 인공신경망을 이용한 가상 피팅 시스템, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
CN114612987A (zh) 一种表情识别方法及装置
Shu et al. Face spoofing detection based on multi-scale color inversion dual-stream convolutional neural network
CN114677737A (zh) 生物信息识别方法、装置、设备及介质
KR101961462B1 (ko) 객체 인식 방법 및 장치
CN110363111A (zh) 基于镜头失真原理的人脸活体检测方法、装置及存储介质
CN111274946B (zh) 一种人脸识别方法和系统及设备
KR102039164B1 (ko) 다중 구조 인공신경망을 이용한 가상 피팅을 수행하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
CN114140320B (zh) 图像迁移方法和图像迁移模型的训练方法、装置
CN112257561B (zh) 一种人脸活体检测方法、装置、机器可读介质及设备
JP7360217B2 (ja) ユーザのバイオメトリック特性を有する当該ユーザの物体の画像からデータを取得するための方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination