CN111753656B - 特征提取方法、装置、设备及计算机可读存储介质 - Google Patents
特征提取方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111753656B CN111753656B CN202010422163.4A CN202010422163A CN111753656B CN 111753656 B CN111753656 B CN 111753656B CN 202010422163 A CN202010422163 A CN 202010422163A CN 111753656 B CN111753656 B CN 111753656B
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- finger
- finger vein
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 112
- 210000003462 vein Anatomy 0.000 claims abstract description 231
- 230000011218 segmentation Effects 0.000 claims abstract description 54
- 230000004927 fusion Effects 0.000 claims description 88
- 238000012549 training Methods 0.000 claims description 65
- 230000004913 activation Effects 0.000 claims description 20
- 238000011176 pooling Methods 0.000 claims description 17
- 239000003086 colorant Substances 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 abstract description 21
- 238000001994 activation Methods 0.000 description 19
- 238000000034 method Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000009467 reduction Effects 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 206010033675 panniculitis Diseases 0.000 description 1
- 230000008560 physiological behavior Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000004304 subcutaneous tissue Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1347—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明公开了一种特征提取方法、装置、设备及计算机可读存储介质，该特征提取方法包括以下步骤：获取手指图像以及所述手指图像对应的指静脉图像；将所述手指图像和所述指静脉图像输入至特征提取网络，确定包含指纹特征和指静脉特征的特征分割图。本发明提取手指图像中的指纹特征和指静脉图像中的指静脉特征，融合所提取的指纹特征与指静脉特征，并输出包含指纹特征以及指静脉特征的特征分割图，解决了指纹识别技术传感器识别不稳定导致指纹识别技术对生物特征识别不稳定的问题，提升生物特征识别的准确性，这种手指多种特征的提取方式为手指多模态的识别提供了信息基础，可以有效地提高识别时的安全性和准确性。
Description
技术领域
本发明涉及深度学习及机器视觉领域，尤其涉及一种特征提取方法、装置、设备及计算机可读存储介质。
背景技术
随着信息技术的快速发展，人们对生物识别技术的准确性和安全性的需求日益提高，如何选定合理的认证技术是保证信息安全的重要因素，基于人的生理行为特征的生物特征识别技术在身份识别领域也受到人们的高度重视。指纹识别是目前主流的生物识别技术，但是其具有一定的局限性，比如容易被伪造和复制。单模态生物特征的识别是目前普遍的识别方式，类似于指纹识别这种单模态的生物特征信息可能存在丢失、缺失、破损等问题，并且在实际应用中容易受到采集条件和环境的影响，以及容易受到传感器噪声影响，导致指纹识别技术对生物特征识别不稳定等问题，所以单模态生物特征识别技术不能满足人们对高性能身份鉴别的需求。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种特征提取方法、装置、设备及计算机可读存储介质，旨在解决指纹识别技术对生物特征识别不稳定的技术问题。
为实现上述目的，本发明提供一种特征提取方法，所述特征提取方法包括以下步骤：
获取手指图像以及所述手指图像对应的指静脉图像；
将所述手指图像和所述指静脉图像输入至特征提取网络，确定包含指纹特征和指静脉特征的特征分割图。
可选地，所述特征提取网络包括卷积网络模块、特征融合模块和反卷积网络模块，所述将所述手指图像和所述指静脉图像输入至特征提取网络，确定包含指纹特征和指静脉特征的特征分割图包括：
将所述手指图像和所述指静脉图像输入至所述卷积网络模块，确定所述手指图像对应的指纹特征以及所述指静脉图像对应的指静脉特征；
基于所述特征融合模块，将所述指纹特征和所述指静脉特征进行融合，确定对应的融合特征；
将所述融合特征输入至所述反卷积网络模块，确定包含指纹特征和指静脉特征的特征分割图。
可选地，所述将所述手指图像和所述指静脉图像输入至所述卷积网络模块，确定所述手指图像对应的指纹特征以及所述指静脉图像对应的指静脉特征的步骤包括：
将所述手指图像和所述指静脉图像输入至所述卷积网络模块，以基于预设卷积规则，对所述手指图像和所述指静脉图像执行卷积操作，确定所述手指图像对应的指纹特征以及所述指静脉图像对应的指静脉特征。
可选地，所述基于所述特征融合模块，将所述指纹特征和所述指静脉特征进行融合，确定对应的融合特征的步骤包括：
将所述指纹特征和所述指静脉特征输入至所述特征融合模块，以基于预设融合规则，将所述指纹特征和所述指静脉特征进行加权融合，确定所述融合特征。
可选地，所述将所述手指图像和所述指静脉图像输入至特征提取网络，确定包含指纹特征和指静脉特征的特征分割图的步骤之前，还包括：
获取所述特征提取网络的图像训练集，其中，所述图像训练集包含多组图像组，所述图像组中的手指图像与指静脉图像相对应；
基于所述图像训练集和预设网络，训练所述预设网络，确定所述特征提取网络。
可选地，所述基于所述训练集和预设网络，训练所述预设网络，确定所述特征提取网络的步骤包括：
获取所述图像训练集中的任一图像组；
将所述图像组输入至所述预设网络，训练所述预设网络；
确定所述特征提取网络。
可选地，所述确定所述特征提取网络的步骤包括：
获取所述预设网络的网络训练轮数以及网络误差；
若所述网络训练轮数大于第一预设阈值或者所述网络误差小于第二预设阈值，则确定所述特征提取网络。
此外，为实现上述目的，本发明还提供一种特征提取装置，所述特征提取装置包括：
获取模块，用于获取手指图像以及所述手指图像对应的指静脉图像；
确定模块，用于将所述手指图像和所述指静脉图像输入至特征提取网络，确定包含指纹特征和指静脉特征的特征分割图。
此外，为实现上述目的，本发明还提供一种特征提取设备，所述特征提取设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的特征提取程序，所述特征提取程序被所述处理器执行时实现如上述的特征提取方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有特征提取程序，所述特征提取程序被处理器执行时实现如上述的特征提取方法的步骤。
本发明通过获取手指图像以及所述手指图像对应的指静脉图像；将所述手指图像和所述指静脉图像输入至特征提取网络，确定包含指纹特征和指静脉特征的特征分割图，提取手指图像中的指纹特征和指静脉图像中的指静脉特征，融合所提取的指纹特征与指静脉特征，并输出包含指纹特征以及指静脉特征的特征分割图，分割结果图中包含两种不同颜色的标记，代表指纹和指静脉两种不同的特征类别，仅对手指进行采集图像就可以提取并识别手指多种特征，解决了指纹识别技术传感器识别不稳定导致指纹识别技术对生物特征识别不稳定的问题，提升生物特征识别的准确性，这种手指多种特征的提取方式为手指多模态的识别提供了信息基础，可以有效地提高识别时的安全性和准确性。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的特征提取设备结构示意图；
图2为本发明特征提取方法第一实施例的流程示意图；
图3为本发明特征提取方法中卷积过程、特征融合过程以及反卷积过程的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的特征提取设备结构示意图。
本发明实施例特征提取设备可以是PC，也可以是智能手机、平板电脑、电子书阅读器、便携计算机等具有显示功能的可移动式终端设备。
如图1所示，该特征提取设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地，特征提取设备还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。
本领域技术人员可以理解，图1中示出的特征提取设备结构并不构成对特征提取设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及特征提取程序。
在图1所示的特征提取设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的特征提取程序。
在本实施例中，特征提取设备包括：存储器1005、处理器1001及存储在所述存储器1005上并可在所述处理器1001上运行的特征提取程序，其中，处理器1001调用存储器1005中存储的特征提取程序时，并执行以下操作：
获取手指图像以及所述手指图像对应的指静脉图像；
将所述手指图像和所述指静脉图像输入至特征提取网络，确定包含指纹特征和指静脉特征的特征分割图。
进一步地，处理器1001可以调用存储器1005中存储的特征提取程序，还执行以下操作：
将所述手指图像和所述指静脉图像输入至所述卷积网络模块，确定所述手指图像对应的指纹特征以及所述指静脉图像对应的指静脉特征；
基于所述特征融合模块，将所述指纹特征和所述指静脉特征进行融合，确定对应的融合特征；
将所述融合特征输入至所述反卷积网络模块，确定包含指纹特征和指静脉特征的特征分割图。
进一步地，处理器1001可以调用存储器1005中存储的特征提取程序，还执行以下操作：
将所述手指图像和所述指静脉图像输入至所述卷积网络模块，以基于预设卷积规则，对所述手指图像和所述指静脉图像执行卷积操作，确定所述手指图像对应的指纹特征以及所述指静脉图像对应的指静脉特征。
进一步地，处理器1001可以调用存储器1005中存储的特征提取程序，还执行以下操作：
将所述指纹特征和所述指静脉特征输入至所述特征融合模块，以基于预设融合规则，将所述指纹特征和所述指静脉特征进行加权融合，确定所述融合特征。
进一步地，处理器1001可以调用存储器1005中存储的特征提取程序，还执行以下操作：
获取所述特征提取网络的图像训练集，其中，所述图像训练集包含多组图像组，所述图像组中的手指图像与指静脉图像相对应；
基于所述图像训练集和预设网络，训练所述预设网络，确定所述特征提取网络。
进一步地，处理器1001可以调用存储器1005中存储的特征提取程序，还执行以下操作：
获取所述图像训练集中的任一图像组；
将所述图像组输入至所述预设网络，训练所述预设网络；
确定所述特征提取网络。
进一步地，处理器1001可以调用存储器1005中存储的特征提取程序，还执行以下操作：
获取所述预设网络的网络训练轮数以及网络误差；
若所述网络训练轮数大于第一预设阈值或者所述网络误差小于第二预设阈值，则确定所述特征提取网络。
本发明还提供一种特征提取方法，参照图2，图2为本发明特征提取方法第一实施例的流程示意图。
在本实施例中，该特征提取方法包括以下步骤：
步骤S10，获取手指图像以及所述手指图像对应的指静脉图像；
一实施例中，该手指图像为包含手指指纹在内的图像，手指图像包含指纹特征，因此手指图像也是指纹图像。指静脉图像为手指部分中包含血管网络的静脉的图像，指静脉图像包含静脉特征。其中，手指图像与指静脉图像相对应，即所采集的手指图像以及指静脉图像均来自同一个人的同一个手指。
通过指纹和指静脉的采集装置，利用普通光源和近红外光源分别采集手指图像以及与该手指图像对应的指静脉图像。其中指纹位于手指的指腹位置，图像采集原理是光学成像；指静脉位于手指的皮下组织内，利用近红外光照射采集图像。可选的，也可以分别通过指纹采集装置采集手指图像，以及通过指静脉采集装置采集指静脉图像，指纹采集装置利用普通光源采集手指图像，指静脉采集装置利用红外光源采集指静脉图像。可选的，对采集的指纹图像和指静脉图像，进行图像的预处理操作，图像的预处理操作包括降噪处理以及图像清晰化，降噪处理如PCA降噪处理、LDA降噪处理或者其他降噪处理方式等。
步骤S20，将所述手指图像和所述指静脉图像输入至特征提取网络，确定包含指纹特征和指静脉特征的特征分割图。
一实施例中，将手指图像和指静脉图像输入至特征提取网络，特征提取网络对输入的手指图像和指静脉图像依次进行特征提取操作以及特征融合操作，完成特征提取操作以及特征融合操作之后输出包含指纹特征和指静脉特征的特征分割图。特征提取网络为训练预设特征提取网络完成后所对应的网络，用于提取手指图像中的指纹特征和指静脉图像中的指静脉特征，融合所提取的指纹特征与指静脉特征，并输出包含指纹特征以及指静脉特征的特征分割图，特征分割图中包含两种不同颜色的标记，两种不同颜色代表指纹和指静脉两种不同的特征类别。特征提取网络包括三部分，分别是卷积网络模块、特征融合模块和反卷积网络模块，卷积网络模块、特征融合模块和反卷积网络模块顺次连接。卷积网络模块将输入的手指图像和指静脉图像分别转变为多维度的特征表示，包含卷积、非线性ReLU激活、池化以及全连接等操作，卷积网络用于提取输入的图片中包含的指纹特征和指静脉特征。特征融合模块用于对经过卷积网络后对指纹特征以及指静脉特征进行加权融合。反卷积网络模块是卷积网络模块的镜像，反卷积网络包含反卷积，反池化，及非线性ReLU处理等操作，在最后一层输出一张标识特征类别的概率图，该概率图即为特征分割图，该特征分割图的大小与输入手指图像和指静脉图像相同，特征分割图的每个像素代表该像素属于指纹或指静脉特征的概率。
可以理解的是，本实施例所提出的特征提取方法属于一种图像语义分割技术，可以对指纹特征和指静脉特征进行识别，并且可以准确地将指纹特征和指静脉特征提取出来，因此称特征识别网络所输出的图像为特征分割图。可以理解的是，图像语义分割技术是一种将图像分割和图像语义识别相结合的图像处理方法，它在图像分割的基础上融入了目标识别技术，不仅可以做到对目标的提取，还可以判断目标的种类。目前，图像语义分割技术最典型的应用有智能家居机器人和无人驾驶汽车等，在医学、工业、民用等多个领域都有图像语义分割技术的相关研究和应用。
本实施例提出的特征提取方法，通过获取手指图像以及所述手指图像对应的指静脉图像；以及，将所述手指图像和所述指静脉图像输入至特征提取网络，确定包含指纹特征和指静脉特征的特征分割图，提取手指图像中的指纹特征和指静脉图像中的指静脉特征，融合所提取的指纹特征与指静脉特征，并输出包含指纹特征以及指静脉特征的特征分割图，分割结果图中包含两种不同颜色的标记，代表指纹和指静脉两种不同的特征类别，仅对手指进行采集图像就可以提取并识别手指多种特征，解决了指纹识别技术传感器识别不稳定导致指纹识别技术对生物特征识别不稳定的问题，提升生物特征识别的准确性，这种手指多种特征的提取方式为手指多模态的识别提供了信息基础，可以有效地提高识别时的安全性和准确性。
基于第一实施例，提出本发明特征提取方法的第二实施例，在本实施例中，步骤S20包括：
步骤a，将所述手指图像和所述指静脉图像输入至所述卷积网络模块，确定所述手指图像对应的指纹特征以及所述指静脉图像对应的指静脉特征；
步骤b，基于所述特征融合模块，将所述指纹特征和所述指静脉特征进行融合，确定对应的融合特征；
步骤c，将所述融合特征输入至所述反卷积网络模块，确定包含指纹特征和指静脉特征的特征分割图。
一实施例中，特征提取网络包括三部分，分别是卷积网络模块、特征融合模块和反卷积网络模块，卷积网络模块、特征融合模块和反卷积网络模块依次连接。将手指图像和指静脉图像输入特征提取网络后，首先进入卷积网络模块，卷积网络模块对手指图像以及指静脉图像分别执行卷积操作，将输入的手指图像和指静脉图像分别转变为多维度的特征表示，用于提取手指图像中的指纹特征以及指静脉图像中的指静脉特征，从而得到手指图像对应的指纹特征以及指静脉图像对应的指静脉特征，其中，卷积操作包括但不限于卷积、非线性ReLU激活、池化等操作，本实施例中的卷积操作不做具体限定。得到指纹特征以及指静脉特征后，输入该指纹特征和指静脉特征至特征融合模块，以对经过卷积网络后对指纹特征以及指静脉特征进行加权融合，从而确定融合指纹特征以及指静脉特征后对应的融合特征。得到融合特征后，将融合特征输入至反卷积网络模块，反卷积网络模块是卷积网络模块的镜像，对融合特征进行反卷积操作，在最后一层输出一张标识特征类别的概率图，该概率图即为特征分割图，该特征分割图的大小与输入手指图像和指静脉图像相同，特征分割图的每个像素代表该像素属于指纹或指静脉特征的概率，其中，反卷积操作与卷积操作相对应，反卷积操作是卷积操作的镜像，反卷积操作包括但不限于反卷积、反池化、非线性处理等操作，在本实施例中，反卷积操作不做具体限定。
进一步地，一实施例中，所述将所述手指图像和所述指静脉图像输入至所述卷积网络模块，确定所述手指图像对应的指纹特征以及所述指静脉图像对应的指静脉特征的步骤包括：
步骤d，将所述手指图像和所述指静脉图像输入至所述卷积网络模块，以基于预设卷积规则，对所述手指图像和所述指静脉图像执行卷积操作，确定所述手指图像对应的指纹特征以及所述指静脉图像对应的指静脉特征。
一实施例中，将手指图像和指静脉图像输入特征提取网络后，将手指图像和指静脉图像输入至卷积网络模块中，基于预设卷积规则，对手指图像执行卷积操作，对指静脉图像执行卷积操作，以将输入的手指图像和指静脉图像分别转变为多维度的特征表示，提取手指图像中的指纹特征以及指静脉图像中的指静脉特征，从而确定手指图像对应的指纹特征以及指静脉图像对应的指静脉特征。其中，卷积操作包括卷积、非线性ReLU激活、最大池化、全连接四种操作。将先卷积再非线性ReLU激活记为一次卷积激活，具体地，如图3所示的编码过程，依次对手指图像进行两次卷积激活、最大池化、两次卷积激活、最大池化、三次卷积激活、最大池化、三次卷积激活、最大池化、三次卷积激活、最大池化、两次卷积激活、全连接，得到手指图像对应的指纹特征，同样地，依次对指静脉图像进行两次卷积激活、最大池化、两次卷积激活、最大池化、三次卷积激活、最大池化、三次卷积激活、最大池化、三次卷积激活、最大池化、两次卷积激活、全连接，得到指静脉图像对应的指静脉特征。进一步地，对手指图像以及指静脉图像执行上述多次卷积激活和最大池化操作后，提取到手指图像对应的指纹特征点集α1＝(a1,a2,…,an)，以及指静脉图像对应的指静脉特征点集β1＝(b1,b2,…,bn)，该指纹特征点集即为指纹特征，该指静脉特征点集即为指静脉特征。
进一步地，一实施例中，所述基于所述特征融合模块，将所述指纹特征和所述指静脉特征进行融合，确定对应的融合特征的步骤包括：
步骤e，将所述指纹特征和所述指静脉特征输入至所述特征融合模块，以基于预设融合规则，将所述指纹特征和所述指静脉特征进行加权融合，确定所述融合特征。
一实施例中，得到指纹特征以及指静脉特征后，输入该指纹特征和指静脉特征至特征融合模块。在特征融合模块中，基于预设融合规则，对经过卷积网络后对指纹特征以及指静脉特征进行加权融合，从而确定融合指纹特征以及指静脉特征后对应的融合特征，其中，预设融合规则中包含权重参数。具体地，输入该指纹特征和指静脉特征至特征融合模块后，获取预设权重，以预设融合规则将指纹特征和指静脉特征执行预设权重的加权融合操作，得到融合指纹特征和指静脉特征之后的融合特征。进一步地，在得到手指图像的指纹特征点集为α1＝(a1,a2,…,an)以及指静脉图像的指静脉特征点集β1＝(b1,b2,…,bn)后，将指纹特征点集和进行权重均为0.5的加权融合，得到融合后的融合特征向量r1＝0.5×(a1+b1,a2+b2,…,an+bn)，即r1＝0.5×(α1+β1)，r1即为融合特征。
进一步地，得到融合特征后，输入融合特征至反卷积网络模块。在反卷积网络模块中，基于预设反卷积规则，对融合特征进行反卷积操作，输出特征分割图，特征分割图的每个像素代表该像素属于指纹或指静脉特征的概率，其中，反卷积操作与卷积操作相对应，反卷积操作是卷积操作的镜像，反卷积操作包括反卷积、反池化、非线性处理等操作。具体地，将先反卷积再非线性ReLU激活记为一次反卷积激活，得到融合特征后，如图3所示的解码过程，依次对融合特征进行一次反卷积激活、反池化、三次反卷积激活、反池化、三次反卷积激活、反池化、三次反卷积激活、反池化、两次反卷积激活、反池化以及两次反卷积激活，最终得到特征分割图。
本实施例提出的特征提取方法，通过将所述手指图像和所述指静脉图像输入至所述卷积网络模块，确定所述手指图像对应的指纹特征以及所述指静脉图像对应的指静脉特征；以及，基于所述特征融合模块，将所述指纹特征和所述指静脉特征进行融合，确定对应的融合特征；以及，将所述融合特征输入至所述反卷积网络模块，确定包含指纹特征和指静脉特征的特征分割图，提取手指图像中的指纹特征和指静脉图像中的指静脉特征，融合所提取的指纹特征与指静脉特征，并输出包含指纹特征以及指静脉特征的特征分割图，分割结果图中包含两种不同颜色的标记，代表指纹和指静脉两种不同的特征类别，仅对手指进行采集图像就可以提取并识别手指多种特征，解决了指纹识别技术传感器识别不稳定导致指纹识别技术对生物特征识别不稳定的问题，提升生物特征识别的准确性，这种手指多种特征的提取方式为手指多模态的识别提供了信息基础，可以有效地提高识别时的安全性和准确性。
基于第一实施例，提出本发明特征提取方法的第三实施例，在本实施例中，步骤S20之前，还包括：
步骤f，获取所述特征提取网络的图像训练集，其中，所述图像训练集包含多组图像组，所述图像组中的手指图像与指静脉图像相对应；
步骤g，基于所述图像训练集和预设网络，训练所述预设网络，确定所述特征提取网络。
一实施例中，获取特征提取网络的图像训练集，图像训练集用于训练预设网络，其中，图像训练集包含多组图像组，图像组中的手指图像与指静脉图像相对应。将图像训练集中的一组图像组输入至预设网络，也就是将图像训练集中的两张分别相对应的手指图像和指静脉图像输入预设网络，训练该预设网络，以构建用以提取指纹特征和指静脉特征的特征提取网络。其中，预设网络包括三部分，分别是卷积网络模块、特征融合模块和反卷积网络模块，卷积网络模块、特征融合模块和反卷积网络模块顺次连接。卷积网络模块将输入的手指图像和指静脉图像分别转变为多维度的特征表示，包含卷积、非线性ReLU激活、池化以及全连接等操作，卷积网络用于提取输入的图片中包含的指纹特征和指静脉特征。特征融合模块用于对经过卷积网络后对指纹特征以及指静脉特征进行加权融合。反卷积网络模块是卷积网络模块的镜像，反卷积网络包含反卷积，反池化，及非线性ReLU处理等操作，在最后一层输出特征分割图，该特征分割图的大小与输入手指图像和指静脉图像相同，特征分割图的每个像素代表该像素属于指纹或指静脉特征的概率。
进一步地，一实施例中，所述基于所述训练集和预设网络，训练所述预设网络，确定所述特征提取网络的步骤包括：
步骤h，获取所述图像训练集中的任一图像组；
步骤i，将所述图像组输入至所述预设网络，训练所述预设网络；
步骤j，确定所述特征提取网络。
一实施例中，将图像训练集中的一组图像组输入至预设网络，也就是将图像训练集中的两张分别相对应的手指图像和指静脉图像输入预设网络，训练该预设网络，以构建用以提取指纹特征和指静脉特征的特征提取网络。训练预设网络完成后，确定特征提取网络。
进一步地，一实施例中，所述确定所述特征提取网络的步骤包括：
步骤k，获取所述预设网络的网络训练轮数以及网络误差；
步骤l，若所述网络训练轮数大于第一预设阈值或者所述网络误差小于第二预设阈值，则确定所述特征提取网络。
一实施例中，实时获取网络训练轮数以及网络误差相对应的值，并实时检测网络训练轮数是否大于第一预设阈值或者网络误差是否小于第二预设阈值。若检测到网络训练轮数大于第一预设阈值，或者检测到网络误差小于第二预设阈值，则说明训练预设网络完成，确定特征提取网络。
本实施例提出的特征提取方法，通过获取所述特征提取网络的图像训练集，其中，所述图像训练集包含多组图像组，所述图像组中的手指图像与指静脉图像相对应；以及，基于所述图像训练集和预设网络，训练所述预设网络，确定所述特征提取网络，解决了指纹识别技术传感器识别不稳定导致指纹识别技术对生物特征识别不稳定的问题，提升生物特征识别的准确性，这种手指多种特征的提取方式为手指多模态的识别提供了信息基础，可以有效地提高识别时的安全性和准确性。
此外，本发明实施例还提出一种特征提取装置，该特征提取装置包括：
获取模块，用于获取手指图像以及所述手指图像对应的指静脉图像；
确定模块，用于将所述手指图像和所述指静脉图像输入至特征提取网络，确定包含指纹特征和指静脉特征的特征分割图。
可选地，所述确定模块还用于：
将所述手指图像和所述指静脉图像输入至所述卷积网络模块，确定所述手指图像对应的指纹特征以及所述指静脉图像对应的指静脉特征；
基于所述特征融合模块，将所述指纹特征和所述指静脉特征进行融合，确定对应的融合特征；
将所述融合特征输入至所述反卷积网络模块，确定包含指纹特征和指静脉特征的特征分割图。
可选地，所述确定模块还用于：
将所述手指图像和所述指静脉图像输入至所述卷积网络模块，以基于预设卷积规则，对所述手指图像和所述指静脉图像执行卷积操作，确定所述手指图像对应的指纹特征以及所述指静脉图像对应的指静脉特征；
可选地，所述确定模块还用于：
将所述指纹特征和所述指静脉特征输入至所述特征融合模块，以基于预设融合规则，将所述指纹特征和所述指静脉特征进行加权融合，确定所述融合特征。
可选地，所述确定模块还用于：
获取所述特征提取网络的图像训练集，其中，所述图像训练集包含多组图像组，所述图像组中的手指图像与指静脉图像相对应；
基于所述图像训练集和预设网络，训练所述预设网络，确定所述特征提取网络。
可选地，所述确定模块还用于：
获取所述图像训练集中的任一图像组；
将所述图像组输入至所述预设网络，训练所述预设网络；
确定所述特征提取网络。
可选地，所述确定模块还用于：
获取所述预设网络的网络训练轮数以及网络误差；
若所述网络训练轮数大于第一预设阈值或者所述网络误差小于第二预设阈值，则确定所述特征提取网络。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有特征提取程序，所述特征提取程序被处理器执行时实现如上述中任一项所述的特征提取方法的步骤。
本发明计算机可读存储介质具体实施例与上述特征提取方法的各实施例基本相同，在此不再详细赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种特征提取方法，其特征在于，所述特征提取方法包括以下步骤：
获取手指图像以及所述手指图像对应的指静脉图像；
将所述手指图像和所述指静脉图像输入至特征提取网络，确定包含指纹特征和指静脉特征的特征分割图，所述特征提取网络包括卷积网络模块、特征融合模块和反卷积网络模块；
所述将所述手指图像和所述指静脉图像输入至特征提取网络，确定包含指纹特征和指静脉特征的特征分割图包括：
将所述手指图像和所述指静脉图像输入至所述卷积网络模块，确定所述手指图像对应的指纹特征以及所述指静脉图像对应的指静脉特征；
基于所述特征融合模块，将所述指纹特征和所述指静脉特征进行融合，确定对应的融合特征；
所述基于所述特征融合模块，将所述指纹特征和所述指静脉特征进行融合，确定对应的融合特征的步骤包括：
将所述指纹特征和所述指静脉特征输入至所述特征融合模块，以基于预设融合规则，将所述指纹特征和所述指静脉特征进行加权融合，确定所述融合特征，
其中，所述预设融合规则中包含权重参数；
将所述融合特征输入至所述反卷积网络模块，确定包含指纹特征和指静脉特征的特征分割图，所述特征分割图的大小与所述手指图像和所述指静脉图像相同，所述特征分割图的每个像素代表该像素属于所述指纹特征或所述指静脉特征的概率，所述特征分割图中包含两种不同颜色的标记，所述两种不同颜色的标记代表指纹和指静脉两种不同的特征类别，
其中，在所述反卷积网络模块中，基于预设反卷积规则，对所述融合特征进行反卷积操作，输出所述特征分割图，其中，所述反卷积操作与卷积操作相对应，所述反卷积操作是所述卷积操作的镜像，所述卷积操作包括卷积、非线性ReLU激活、最大池化和全连接操作。
2.如权利要求1所述的特征提取方法，其特征在于，所述将所述手指图像和所述指静脉图像输入至所述卷积网络模块，确定所述手指图像对应的指纹特征以及所述指静脉图像对应的指静脉特征的步骤包括：
将所述手指图像和所述指静脉图像输入至所述卷积网络模块，以基于预设卷积规则，对所述手指图像和所述指静脉图像执行卷积操作，确定所述手指图像对应的指纹特征以及所述指静脉图像对应的指静脉特征。
3.如权利要求1至2任一项所述的特征提取方法，其特征在于，所述将所述手指图像和所述指静脉图像输入至特征提取网络，确定包含指纹特征和指静脉特征的特征分割图的步骤之前，还包括：
获取所述特征提取网络的图像训练集，其中，所述图像训练集包含多组图像组，所述图像组中的手指图像与指静脉图像相对应；
基于所述图像训练集和预设网络，训练所述预设网络，确定所述特征提取网络。
4.如权利要求3所述的特征提取方法，其特征在于，所述基于所述训练集和预设网络，训练所述预设网络，确定所述特征提取网络的步骤包括：
获取所述图像训练集中的任一图像组；
将所述图像组输入至所述预设网络，训练所述预设网络；
确定所述特征提取网络。
5.如权利要求4所述的特征提取方法，其特征在于，所述确定所述特征提取网络的步骤包括：
获取所述预设网络的网络训练轮数以及网络误差；
若所述网络训练轮数大于第一预设阈值或者所述网络误差小于第二预设阈值，则确定所述特征提取网络。
6.一种特征提取装置，其特征在于，所述特征提取装置包括：
获取模块，用于获取手指图像以及所述手指图像对应的指静脉图像；
确定模块，用于将所述手指图像和所述指静脉图像输入至特征提取网络，确定包含指纹特征和指静脉特征的特征分割图，所述特征提取网络包括卷积网络模块、特征融合模块和反卷积网络模块；将所述手指图像和所述指静脉图像输入至所述卷积网络模块，确定所述手指图像对应的指纹特征以及所述指静脉图像对应的指静脉特征；基于所述特征融合模块，将所述指纹特征和所述指静脉特征进行融合，确定对应的融合特征；将所述指纹特征和所述指静脉特征输入至所述特征融合模块，以基于预设融合规则，将所述指纹特征和所述指静脉特征进行加权融合，确定所述融合特征，其中，所述预设融合规则中包含权重参数，将所述融合特征输入至所述反卷积网络模块，确定包含指纹特征和指静脉特征的特征分割图，所述特征分割图的大小与所述手指图像和所述指静脉图像相同，所述特征分割图的每个像素代表该像素属于所述指纹特征或所述指静脉特征的概率，所述特征分割图中包含两种不同颜色的标记，所述两种不同颜色的标记代表指纹和指静脉两种不同的特征类别，其中，在所述反卷积网络模块中，基于预设反卷积规则，对所述融合特征进行反卷积操作，输出所述特征分割图，其中，所述反卷积操作与卷积操作相对应，所述反卷积操作是所述卷积操作的镜像，所述卷积操作包括卷积、非线性ReLU激活、最大池化和全连接操作。
7.一种特征提取设备，其特征在于，所述特征提取设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的特征提取程序，所述特征提取程序被所述处理器执行时实现如权利要求1至5中任一项所述的特征提取方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有特征提取程序，所述特征提取程序被处理器执行时实现如权利要求1至5中任一项所述的特征提取方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010422163.4A CN111753656B (zh) | 2020-05-18 | 2020-05-18 | 特征提取方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010422163.4A CN111753656B (zh) | 2020-05-18 | 2020-05-18 | 特征提取方法、装置、设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111753656A CN111753656A (zh) | 2020-10-09 |
| CN111753656B true CN111753656B (zh) | 2024-04-26 |
Family
ID=72673285
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010422163.4A Active CN111753656B (zh) | 2020-05-18 | 2020-05-18 | 特征提取方法、装置、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111753656B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112489129B (zh) * | 2020-12-18 | 2024-07-19 | 深圳市优必选科技股份有限公司 | 位姿识别模型训练方法、装置、位姿识别方法和终端设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2848196A1 (en) * | 2013-07-26 | 2015-03-18 | Hitachi Ltd. | Apparatus for blood vessel imaging |
| CN106529501A (zh) * | 2016-11-29 | 2017-03-22 | 黑龙江大学 | 基于加权融合与分层串行结构的指纹与指静脉图像融合方法 |
| CN109190554A (zh) * | 2018-08-30 | 2019-01-11 | 深圳大学 | 一种基于指纹和指静脉的3d识别系统及方法 |
| CN110516595A (zh) * | 2019-08-27 | 2019-11-29 | 中国民航大学 | 基于卷积神经网络的手指多模态融合识别方法 |
| KR20200000001A (ko) * | 2018-06-05 | 2020-01-02 | 동국대학교 산학협력단 | 딥 러닝 기반의 지정맥 특징과 손가락 형태를 이용하는 생체 인식 장치 및 방법 |
-
2020
- 2020-05-18 CN CN202010422163.4A patent/CN111753656B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2848196A1 (en) * | 2013-07-26 | 2015-03-18 | Hitachi Ltd. | Apparatus for blood vessel imaging |
| CN106529501A (zh) * | 2016-11-29 | 2017-03-22 | 黑龙江大学 | 基于加权融合与分层串行结构的指纹与指静脉图像融合方法 |
| KR20200000001A (ko) * | 2018-06-05 | 2020-01-02 | 동국대학교 산학협력단 | 딥 러닝 기반의 지정맥 특징과 손가락 형태를 이용하는 생체 인식 장치 및 방법 |
| CN109190554A (zh) * | 2018-08-30 | 2019-01-11 | 深圳大学 | 一种基于指纹和指静脉的3d识别系统及方法 |
| CN110516595A (zh) * | 2019-08-27 | 2019-11-29 | 中国民航大学 | 基于卷积神经网络的手指多模态融合识别方法 |
Non-Patent Citations (4)
| Title |
|---|
| Parallel versus Hierarchical Fusion of Extended Fingerprint Features;Feng Liu et al.;2010 20th International Conference on Pattern Recognition;20101007;第1-4页 * |
| Research on Denoising of Finger Vein Image Based on Deep Convolutional Neural Network;Chaoping Zhu et al.;2019 14th International Conference on Computer Science & Education (ICCSE);20190923;第1-5页 * |
| 双锴.《计算机视觉》.北京邮电大学出版社,2020,第90页. * |
| 深度学习的手指静脉识别技术研究;熊递恩;中国优秀硕士学位论文全文数据库信息科技辑;20190815(第08期);第I138-121页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111753656A (zh) | 2020-10-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10445562B2 (en) | AU feature recognition method and device, and storage medium | |
| US10769423B2 (en) | Method, system and terminal for identity authentication, and computer readable storage medium | |
| CN105426857B (zh) | 人脸识别模型训练方法和装置 | |
| CN102646190B (zh) | 一种基于生物特征的认证方法、装置及系统 | |
| CN107463865B (zh) | 人脸检测模型训练方法、人脸检测方法及装置 | |
| CN109376604B (zh) | 一种基于人体姿态的年龄识别方法和装置 | |
| JP4351982B2 (ja) | 個人認証方法、装置及びプログラム | |
| CN111310705A (zh) | 图像识别方法、装置、计算机设备及存储介质 | |
| JP5361524B2 (ja) | パターン認識システム及びパターン認識方法 | |
| CN108596250B (zh) | 图像特征编码方法、终端设备及计算机可读存储介质 | |
| US20200204546A1 (en) | Apparatus, method and computer program product for biometric recognition | |
| CN112639871A (zh) | 生物体认证系统、生物体认证方法及程序 | |
| CN111784665B (zh) | 基于傅里叶变换的oct图像质量评估方法、系统及装置 | |
| CN113449704B (zh) | 人脸识别模型训练方法、装置、电子设备及存储介质 | |
| CN110879993B (zh) | 神经网络训练方法、人脸识别任务的执行方法及装置 | |
| CN111898412A (zh) | 人脸识别方法、装置、电子设备和介质 | |
| CN111178130A (zh) | 一种基于深度学习的人脸识别方法、系统和可读存储介质 | |
| CN109871751A (zh) | 基于人脸表情识别的服务态度评估方法、装置及存储介质 | |
| JP2017211938A (ja) | 生体情報処理装置、生体情報処理方法および生体情報処理プログラム | |
| CN112446322A (zh) | 眼球特征检测方法、装置、设备及计算机可读存储介质 | |
| CN114119948A (zh) | 一种茶叶识别方法、装置、电子设备及存储介质 | |
| CN111753656B (zh) | 特征提取方法、装置、设备及计算机可读存储介质 | |
| CN116311400A (zh) | 掌纹图像的处理方法、电子设备及存储介质 | |
| CN111368814A (zh) | 一种身份识别方法及系统 | |
| CN110852220B (zh) | 人脸表情的智能识别方法、终端和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |