CN115240237A - 一种多模融合的指静脉识别方法 - Google Patents

一种多模融合的指静脉识别方法 Download PDF

Info

Publication number
CN115240237A
CN115240237A CN202210888739.5A CN202210888739A CN115240237A CN 115240237 A CN115240237 A CN 115240237A CN 202210888739 A CN202210888739 A CN 202210888739A CN 115240237 A CN115240237 A CN 115240237A
Authority
CN
China
Prior art keywords
data
gesture
finger vein
image
stored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210888739.5A
Other languages
English (en)
Inventor
周斌
赵登雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huashengtong Wuxi Imaging Technology Co ltd
Original Assignee
Huashengtong Wuxi Imaging Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huashengtong Wuxi Imaging Technology Co ltd filed Critical Huashengtong Wuxi Imaging Technology Co ltd
Priority to CN202210888739.5A priority Critical patent/CN115240237A/zh
Publication of CN115240237A publication Critical patent/CN115240237A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开了一种多模融合的指静脉识别方法，包括：通过指静脉采集设备采集指静脉图像，对指静脉图像进行边缘提取处理，采集用户进行身份识别时的手势图像数据并存入数据库，分析数据库中存入的手势数据，设置存入的手势数据的优先级，根据优先级从大到小的顺序调取数据库的手势数据与当前用户手势进行匹配，同时将当前用户的指静脉图像特征与数据库中存储的指静脉图像特征进行匹配，获取手势匹配度和指静脉图像匹配度，进行身份识别，有效地提取手指边缘特征，去除外部环境对于手指边缘的影响，提升了静脉特征提取的准确性、一致性以及指静脉特征的识别率，同时加快了身份识别的速率。

Description

一种多模融合的指静脉识别方法
技术领域
本发明涉及数据识别技术领域，具体为一种多模融合的指静脉识别方法。
背景技术
指静脉识别技术指的是利用近红外线穿透手指后所得的静脉纹路影像来进行个人识别，指静脉识别主要应用在门禁管理、保险箱管理、电子支付等需要进行身份认证的领域，指静脉识别的优点包括：第一，属于内生理特征，不会磨损、较难伪造，具有很高的安全性，第二，血管特征通常更明显、容易辨识，具有很好的抗干扰性，第三，可实现非接触式测量，易于被用户接受，第四，不易于受手表面伤痕或油污的影响；
然而，在将指静脉识别技术应用到门禁管理方面时，存在以下弊端：首先，采集到的指静脉图像通常会受到外界环境影响，导致指静脉图像出现手指边缘过曝，指静脉图像边缘有其他环境干扰，传统的指静脉特征提取和识别，通常不会去做手指边缘特征的提取，导致静脉特征提取不准确、识别率降低；其次，现有的识别技术无法将指静脉识别技术与手势识别技术相融合，无法有效提高身份识别的准确度和识别效率。
所以，人们需要一种多模融合的指静脉识别方法来解决上述问题。
发明内容
本发明的目的在于提供一种多模融合的指静脉识别方法，以解决上述背景技术中提出的问题。
为了解决上述技术问题，本发明提供如下技术方案：一种多模融合的指静脉识别方法，包括以下步骤：
S1：通过指静脉采集设备采集指静脉图像，对指静脉图像进行处理；
S2：采集用户进行身份识别时的手势图像数据并存入数据库；
S3：分析数据库中存入的手势数据，设置存入的手势数据的优先级；
S4：根据优先级调取数据库的手势数据与当前用户手势进行匹配，同时进行指静脉图像匹配；
S5：获取手势匹配度和指静脉图像匹配度，进行身份识别。
进一步的，在步骤S1中：采集指定分辨率大小的指静脉图像，获取指静脉二值化图像，并对指静脉二值化图像进行标签化处理：给指静脉二值化图像的像素赋标签值：为指静脉二值化图像、指静脉二值化图像的宽度、指静脉二值化图像的高度以及标签化处理后的指静脉图像数组赋不同标签值，根据标签值去除离散点：根据大量指静脉二值化图像的静脉以及手指边缘分布样本，设置一个标签值像素个数最小阈值MinA和一个标签值像素个数最大阈值MaxB，若标签值像素个数小于MinA或大于MaxB，即认为该组标签值前景像素为离散点，去除，得到去除离散点后的二值化图像为手指图像边缘的二值化图像，将用户的手指图像边缘的二值化图像存储到数据库中，有效地提取手指边缘特征，去除外部环境对于手指边缘的影响，提升了静脉特征提取的准确性和一致性，进一步提升了静脉特征的识别率。
进一步的，在步骤S2中：在用户进行身份识别时拍摄用户的手势图像，采集拍摄到的历史手势图像数据，对手势图像进行标注：对关节点进行编号，相同的关节点编号相同，标注用户进行身份识别时的关节点位置，对手势图像进行建模：以手势图像左下角顶点为中心建立二维坐标系，得到随机一次识别时，用户手部的随机一个关节点位置坐标为(X，Y)，对应关节点编号为a，用户手部的剩余关节点位置坐标集合为(x，y)＝{(x1，y1)，(x2，y2)，…，(xn-1，yn-1)}，其中，n表示关节点数量，根据下列公式计算剩余的随机一个关节点与编号为a的关节点的连线与x轴的夹角αi：
Figure BDA0003764715980000021
得到所有剩余关节点与编号为a的关节点的连线与x轴的夹角集合为α＝{α1，α2，…，αn-1}，根据公式
Figure BDA0003764715980000022
计算剩余的随机一个关节点与编号为a的关节点之间的距离di，其中，xi、yi分别表示剩余的随机一个关节点位置的横、纵坐标，得到所有剩余节点与编号为a的关节点之间的距离集合为d＝{d1，d2，…，dn-1}，通过相同的方式得到用户通过不同手势开门时，手部关节点间的夹角和距离数据，将关节点间的夹角和距离数据存入到数据库中，提取手势图像数据的特征：同一用户使用不同手势进行身份识别时手部关节点间的相对位置，将相对位置数据存储到数据库中，有利于快速地对当前用户的手势和数据库中的手势进行匹配。
进一步的，在步骤S3中：分析数据库中存入的手势数据：采集到用户通过不同手势开门的次数集合为M＝{M1，M2，…，Mk}，其中，数据库中共存储有k种手势，k种手势属于同一用户，调取到以随机两种手势进行身份识别时，所有剩余关节点与编号为a的关节点的连线与x轴的夹角集合分别为α′＝{α1′，α2′，…，αn-1′}和α″＝{α1″，α2″，…，αn-1″}，所有剩余节点与编号为a的关节点之间的距离集合分别为d’＝{d1’，d2’，…，dn-1’}和d”＝{d1”，d2”，…，dn-1”}，根据下列公式计算对应两种手势的相近系数Sj：
Figure BDA0003764715980000031
通过关节点间的夹角和距离差值计算数据库中存储的手势间的相近系数，目的在于判断两种手势的相似程度，以对手势数据进行分组存储，其中，αi′和αi″表示分别以对应两种手势进行身份识别时，剩余的第i个关节点与编号为a的关节点的连线与x轴的夹角，di’和di”表示分别以对应两种手势进行身份识别时，剩余的第i个关节点与编号为a的关节点之间的距离，得到k个手势两两之间的相近系数集合为
Figure BDA0003764715980000032
将k种手势数据随机分为m组进行存储，每组至少存储两种手势数据，确认最佳的存储方式：获取到以随机一种存储方式存储手势数据时：随机一组数据中，手势两两之间的相近系数集合为
Figure BDA0003764715980000033
Figure BDA0003764715980000034
其中，对应组中存储了f种手势数据，根据下列公式计算对应组中存储的手势的相近系数的标准差wj：
Figure BDA0003764715980000035
通过随机分组的方式，计算各个组中手势间的相近系数的标准差的目的在于分析手势间的差异程度，有利于将差异越小的手势数据存储到一组中以选择最佳的分组方式，其中，Si′表示对应组数据中，随机两种手势之间的相近系数，通过相同方式得到以随机一种存储方式存储手势数据时：m组数据中存储的手势相近系数的标准差集合为w＝{w1，w2，…，wj，…，wm}，得到以对应存储方式存储手势数据时，m组数据中存储的手势的相近系数的标准差总和为
Figure BDA0003764715980000036
通过相同方式计算得到以不同的存储方式存储手势数据时，m组数据中存储的手势的相近系数的标准差总和，选择标准差总和最小的存储方式作为最佳的存储方式存储手势数据，设置手势数据的优先级：获取到以最佳的存储方式存储手势数据时，每组数据中存储的手势种类数量集合为B＝{B1，B2，…，Bj，…，Bm}，获取用户通过随机一组数据中的手势开门的次数集合为C＝{C1，C2，…，Cq}，其中，q＝Bj，q表示随机一组数据中存储的手势种类数量，根据下列公式设置随机一组手势数据的优先级Aj：
Figure BDA0003764715980000037
其中，Ci表示用户通过随机一组数据中的随机一种手势开门的次数，Bj表示随机一组数据中存储的手势种类数量，通过相同计算方式得到m组手势数据的优先级集合为A＝{A1，A2，…，Am}，选择将差异小的手势数据存储到一组，并确认最佳分组方式中每组存储的手势种类数量，通过将存储的手势种类数量越少的手势数据越往后调取、用户使用次数越多的手势数据越往前调取的方式设置手势数据的优先级，相似的手势数据越多，若一个组中的随机一种手势无法匹配上，相似的手势数据与当前用户的手势匹配成功概率越低，有利于加快手势数据的匹配速率。
进一步的，在步骤S4中：在当前用户进行身份识别时：根据优先级从大到小的顺序调取数据库中存储的m组手势数据与当前用户手势进行匹配，同时进行指静脉图像匹配，在步骤S5中：提取数据库中存储的用户的手指图像边缘的二值化图像特征，匹配当前用户的指静脉图像和数据库中的指静脉图像，获取到指静脉图像匹配度D，同时匹配当前用户的手势和数据库中存储的手势，获取到手势匹配度D’，得到综合匹配度为D+D’，设置综合匹配度阈值为D阈，比较D+D’和D阈：若D+D’＜D阈，身份识别失败；若D+D’≥D阈，身份识别成功。
进一步的，一种多模融合的指静脉识别系统采用一种多模融合的指静脉识别方法，所述系统包括：数据采集模块、指静脉图像处理模块、数据库、数据分析模块和身份识别模块；
所述数据采集模块用于采集指静脉图像和用户进行身份识别时的手势图像数据，将采集到的手势图像数据传输到所述数据库中；
所述指静脉图像处理模块用于对指静脉图像进行边缘提取处理，将处理后的指静脉图像数据传输到所述数据库中；
所述数据库用于存储采集到的所有数据；
所述数据分析模块用于分析数据库中存入的手势数据，将手势数据进行分组存储，并设置每组手势数据的优先级；
所述身份识别模块用于通过手势匹配和指静脉图像匹配对用户进行身份识别。
进一步的，所述数据采集模块包括指静脉图像采集单元和手势数据采集单元，所述指静脉图像采集单元用于采集用户的指定分辨率大小的指静脉图像；所述手势数据采集单元用于采集用户以往进行身份识别时的手势图像数据，将采集到的手势图像数据传输到所述数据库中。
进一步的，所述指静脉图像处理模块包括标签处理单元和边缘提取单元，所述标签处理单元用于通过采集到的指定分辨率大小的指静脉图像获取指静脉二值化图像后，给指静脉二值化图像的像素赋标签值；所述边缘提取单元用于去除指静脉二值化图像的离散点，得到手指图像边缘的二值化图像，将用户的手指图像边缘的二值化图像存储到数据库中。
进一步的，所述数据分析模块包括手势数据分析单元、分组存储单元和优先级设置单元，所述手势数据分析单元用于通过分析用户采用不同手势开门时，手部关节点间的相对位置数据判断同一用户采用的手势之间的相近系数；所述分组存储单元用于将手势数据进行分组存储并选择最佳的存储方式；所述优先级设置单元用于通过分析最佳存储方式下存储的手势数据设置每组手势数据的优先级。
进一步的，所述身份识别模块包括数据调取规划单元和数据匹配单元，所述数据调取规划单元用于按优先级从大到小的顺序调取手势数据；所述数据匹配单元用于将当前用户的手势数据和指静脉图像数据与数据库中存储的数据进行匹配，根据匹配结果进行身份识别。
与现有技术相比，本发明所达到的有益效果是：
本发明通过有效地提取手指边缘特征，去除外部环境对于手指边缘的影响，提升了静脉特征提取的准确性和一致性，进一步提升了静脉特征的识别率；通过将指静脉识别技术与手势识别技术相结合，在指静脉识别的同时进行手势识别，通过手势识别摄像头采集用户的手势图像数据，通过大数据分析用户的手势图像数据，将分析后的数据存储到数据库中，将当前用户的手势图像和指静脉图像特征与数据库中存储的图像特征进行匹配，对用户进行身份识别，提高了识别的准确性；将手势数据进行分组存储，设置手势数据的优先级，按照优先级从大到小的顺序调取数据库中的手势数据与当前用户的手势数据进行匹配，帮助更快地匹配到数据，加快了身份识别速率。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明一种多模融合的指静脉识别方法的流程图；
图2是本发明的实现一种多模融合的指静脉识别方法的系统模块组成图；
图3是本发明的身份识别实现示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
请参阅图1-图3，本发明提供技术方案：一种多模融合的指静脉识别方法，包括以下步骤：
S1：通过指静脉采集设备采集指静脉图像，对指静脉图像进行处理；
S2：通过手势识别摄像头拍摄用户进行身份识别时的手势图像，并将手势图像数据存入数据库；
S3：分析数据库中存入的手势数据，设置存入的手势数据的优先级；
S4：根据优先级调取数据库的手势数据与当前用户手势进行匹配，同时进行指静脉图像匹配；
S5：获取手势匹配度和指静脉图像匹配度，进行身份识别。
在步骤S1中：采集指定分辨率大小的指静脉图像，获取指静脉二值化图像，并对指静脉二值化图像进行标签化处理：给指静脉二值化图像的像素赋标签值，根据标签值去除离散点，得到去除离散点后的二值化图像为手指图像边缘的二值化图像，将用户的手指图像边缘的二值化图像存储到数据库中，提升了静脉特征提取的准确性和一致性，进一步提升了静脉特征的识别率。
在步骤S2中：在用户进行身份识别时拍摄用户的手势图像，采集拍摄到的历史手势图像数据，对手势图像进行标注：对关节点进行编号，相同的关节点编号相同，标注用户进行身份识别时的关节点位置，对手势图像进行建模：以手势图像左下角顶点为中心建立二维坐标系，得到随机一次识别时，用户手部的随机一个关节点位置坐标为(X，Y)，对应关节点编号为a，用户手部的剩余关节点位置坐标集合为(x，y)＝{(x1，y1)，(x2，y2)，…，(xn-1，yn-1)}，其中，n表示关节点数量，根据下列公式计算剩余的随机一个关节点与编号为a的关节点的连线与x轴的夹角αi：
Figure BDA0003764715980000061
得到所有剩余关节点与编号为a的关节点的连线与x轴的夹角集合为α＝{α1，α2，…，αn-1}，根据公式
Figure BDA0003764715980000062
计算剩余的随机一个关节点与编号为a的关节点之间的距离di，其中，xi、yi分别表示剩余的随机一个关节点位置的横、纵坐标，得到所有剩余节点与编号为a的关节点之间的距离集合为d＝{d1，d2，…，dn-1}，通过相同的方式得到用户通过不同手势开门时，手部关节点间的夹角和距离数据，将关节点间的夹角和距离数据存入到数据库中。
在步骤S3中：分析数据库中存入的手势数据：采集到用户通过不同手势开门的次数集合为M＝{M1，M2，…，Mk}，其中，数据库中共存储有k种手势，k种手势属于同一用户，调取到以随机两种手势进行身份识别时，所有剩余关节点与编号为a的关节点的连线与x轴的夹角集合分别为α′＝{α1′，α2′，…，αn-1′}和α″＝{α1″，α2″，…，αn-1″}，所有剩余节点与编号为a的关节点之间的距离集合分别为d’＝{d1’，d2’，…，dn-1’}和d”＝{d1”，d2”，…，dn-1”}，根据下列公式计算对应两种手势的相近系数Sj：
Figure BDA0003764715980000071
其中，αi′和αi″表示分别以对应两种手势进行身份识别时，剩余的第i个关节点与编号为a的关节点的连线与x轴的夹角，di’和di”表示分别以对应两种手势进行身份识别时，剩余的第i个关节点与编号为a的关节点之间的距离，得到k个手势两两之间的相近系数集合为
Figure BDA0003764715980000072
将k种手势数据随机分为m组进行存储，每组至少存储两种手势数据，确认最佳的存储方式：获取到以随机一种存储方式存储手势数据时：随机一组数据中，手势两两之间的相近系数集合为
Figure BDA0003764715980000073
其中，对应组中存储了f种手势数据，根据下列公式计算对应组中存储的手势的相近系数的标准差wj：
Figure BDA0003764715980000074
其中，Si′表示对应组数据中，随机两种手势之间的相近系数，通过相同方式得到以随机一种存储方式存储手势数据时：m组数据中存储的手势相近系数的标准差集合为w＝{w1，w2，…，wj，…，wm}，得到以对应存储方式存储手势数据时，m组数据中存储的手势的相近系数的标准差总和为
Figure BDA0003764715980000075
通过相同方式计算得到以不同的存储方式存储手势数据时，m组数据中存储的手势的相近系数的标准差总和，选择标准差总和最小的存储方式作为最佳的存储方式存储手势数据，设置手势数据的优先级：获取到以最佳的存储方式存储手势数据时，每组数据中存储的手势种类数量集合为B＝{B1，B2，…，Bj，…，Bm}，获取用户通过随机一组数据中的手势开门的次数集合为C＝{C1，C2，…，Cq}，其中，q＝Bj，q表示随机一组数据中存储的手势种类数量，根据下列公式设置随机一组手势数据的优先级Aj：
Figure BDA0003764715980000081
其中，Ci表示用户通过随机一组数据中的随机一种手势开门的次数，Bj表示随机一组数据中存储的手势种类数量，通过相同计算方式得到m组手势数据的优先级集合为A＝{A1，A2，…，Am}，加快了手势数据的匹配速率。
在步骤S4中：在当前用户进行身份识别时：根据优先级从大到小的顺序调取数据库中存储的m组手势数据与当前用户手势进行匹配，同时进行指静脉图像匹配，在步骤S5中：提取数据库中存储的用户的手指图像边缘的二值化图像特征，匹配当前用户的指静脉图像和数据库中的指静脉图像，获取到指静脉图像匹配度D，同时匹配当前用户的手势和数据库中存储的手势，获取到手势匹配度D，得到综合匹配度为D+D，设置综合匹配度阈值为D阈，比较D+D’和D阈：若D+D’＜D阈，身份识别失败；若D+D’≥D阈，身份识别成功。
一种多模融合的指静脉识别系统采用一种多模融合的指静脉识别方法，系统包括：数据采集模块、指静脉图像处理模块、数据库、数据分析模块和身份识别模块；
数据采集模块用于采集指静脉图像和用户进行身份识别时的手势图像数据，将采集到的手势图像数据传输到数据库中；
指静脉图像处理模块用于对指静脉图像进行边缘提取处理，将处理后的指静脉图像数据传输到数据库中；
数据库用于存储采集到的所有数据；
数据分析模块用于分析数据库中存入的手势数据，将手势数据进行分组存储，并设置每组手势数据的优先级；
身份识别模块用于通过手势匹配和指静脉图像匹配对用户进行身份识别。
数据采集模块包括指静脉图像采集单元和手势数据采集单元，指静脉图像采集单元用于采集用户的指定分辨率大小的指静脉图像；手势数据采集单元用于采集用户以往进行身份识别时的手势图像数据，将采集到的手势图像数据传输到数据库中。
指静脉图像处理模块包括标签处理单元和边缘提取单元，标签处理单元用于通过采集到的指定分辨率大小的指静脉图像获取指静脉二值化图像后，给指静脉二值化图像的像素赋标签值；边缘提取单元用于去除指静脉二值化图像的离散点，得到手指图像边缘的二值化图像，将用户的手指图像边缘的二值化图像存储到数据库中。
数据分析模块包括手势数据分析单元、分组存储单元和优先级设置单元，手势数据分析单元用于通过分析用户采用不同手势开门时，手部关节点间的相对位置数据判断同一用户采用的手势之间的相近系数；分组存储单元用于将手势数据进行分组存储并选择最佳的存储方式；优先级设置单元用于通过分析最佳存储方式下存储的手势数据设置每组手势数据的优先级。
身份识别模块包括数据调取规划单元和数据匹配单元，数据调取规划单元用于按优先级从大到小的顺序调取手势数据；数据匹配单元用于将当前用户的手势数据和指静脉图像数据与数据库中存储的数据进行匹配，根据匹配结果进行身份识别。
实施例一：采集拍摄到的历史手势图像数据，对手势图像进行标注：对关节点进行编号，相同的关节点编号相同，标注用户进行身份识别时的关节点位置，对手势图像进行建模：以手势图像左下角顶点为中心建立二维坐标系，得到随机一次识别时，用户手部的随机一个关节点位置坐标为(X，Y)＝(5，1)，对应关节点编号为a＝0，用户手部的剩余关节点位置坐标集合为(x，y)＝{(x1，y1)，(x2，y2)，(x3，y3)，(x4，y4)，(x5，y5)}＝{(2，2)，(1，3)，(0，4)，(5，2)，(6，5)}，共有21个关节点，位置坐标不一一举例，根据公式
Figure BDA0003764715980000091
得到所有剩余关节点与编号为a的关节点的连线与x轴的夹角集合为α＝{α1，α2，α3，α4，α5}＝{2.8，2.7，2.6，1.6，1.3}，单位为：弧度，根据公式
Figure BDA0003764715980000092
得到所有剩余节点与编号为0的关节点之间的距离集合为d＝{d1，d2，d3，d4，d5}＝{3.2，4.5，5.8，1，4.1}，调取到以随机两种手势进行身份识别时，所有剩余关节点与编号为a的关节点的连线与x轴的夹角集合分别为α′＝{α1′，α2′，α3′，α4′，α5′}＝{2.8，2.7，2.6，1.6，1.3}和α″＝{α1″，α2″，α3″，α4″，α5″}＝{2.6，3.0，2.0，1.5，1.1}，所有剩余节点与编号为a的关节点之间的距离集合分别为d’＝{d1’，d2’，d3’，d4’，d5’}＝{3.2，4.5，5.8，1，4.1}和d”＝{d1”，d2”，d3”，d4”，d5”}＝{3.0，4.2，5.6，1.6，5.1}，根据
Figure BDA0003764715980000093
公式计算对应两种手势的相近系数Sj≈3.0，得到k＝5个手势两两之间的相近系数集合为S＝{S1，S2，S3，S4，S5，S6，S7，S8，S9，S10}＝{3.0，2.6，1.1，0.8，2.8，3.4，5.0，0.6，1.6，3.6}，将5种手势数据随机分为m＝2组进行存储，每组至少存储两种手势数据，确认最佳的存储方式：获取到以随机一种存储方式存储手势数据时：第一组数据中，手势两两之间的相近系数集合为{S1′，S2′，S3′}＝{0.6，0.8，1.1}，根据
Figure BDA0003764715980000101
公式计算第一组中存储的手势的相近系数的标准差w1＝0.2，通过相同方式得到以随机一种存储方式存储手势数据时：两组数据中存储的手势相近系数的标准差集合为w＝{w1，w2}＝{0.2，0.6}，得到以对应存储方式存储手势数据时，两组数据中存储的手势的相近系数的标准差总和为
Figure BDA0003764715980000102
通过相同方式计算得到以不同的存储方式存储手势数据时，两组数据中存储的手势的相近系数的标准差总和，选择标准差总和最小的存储方式作为最佳的存储方式存储手势数据，设置手势数据的优先级：获取到以最佳的存储方式存储手势数据时，每组数据中存储的手势种类数量集合为B＝{B1，B2}＝{3，2}，获取用户通过第一组数据中的手势开门的次数集合为C＝{C1，C2，C3}＝{10，8，3}，根据公式
Figure BDA0003764715980000103
设置第一组手势数据的优先级A1＝7，通过相同计算方式得到两组手势数据的优先级集合为A＝{A1，A2}＝{7，6.5}，在当前用户进行身份识别时：根据优先级从大到小的顺序调取数据库中存储的m组手势数据与当前用户手势进行匹配，同时进行指静脉图像匹配。
最后应说明的是：以上所述仅为本发明的优选实例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种多模融合的指静脉识别方法，其特征在于：包括以下步骤：
S1：通过指静脉采集设备采集指静脉图像，对指静脉图像进行处理；
S2：采集用户进行身份识别时的手势图像数据并存入数据库；
S3：分析数据库中存入的手势数据，设置存入的手势数据的优先级；
S4：根据优先级调取数据库的手势数据与当前用户手势进行匹配，同时进行指静脉图像匹配；
S5：获取手势匹配度和指静脉图像匹配度，进行身份识别。
2.根据权利要求1所述的一种多模融合的指静脉识别方法，其特征在于：在步骤S1中：采集指定分辨率大小的指静脉图像，获取指静脉二值化图像，并对指静脉二值化图像进行标签化处理：给指静脉二值化图像的像素赋标签值，根据标签值去除离散点，得到去除离散点后的二值化图像为手指图像边缘的二值化图像，将用户的手指图像边缘的二值化图像存储到数据库中。
3.根据权利要求1所述的一种多模融合的指静脉识别方法，其特征在于：在步骤S2中：在用户进行身份识别时拍摄用户的手势图像，采集拍摄到的历史手势图像数据，对手势图像进行标注：对关节点进行编号，相同的关节点编号相同，标注用户进行身份识别时的关节点位置，对手势图像进行建模：以手势图像左下角顶点为中心建立二维坐标系，得到随机一次识别时，用户手部的随机一个关节点位置坐标为(X，Y)，对应关节点编号为a，用户手部的剩余关节点位置坐标集合为(x，y)＝{(x1，y1)，(x2，y2)，…，(xn-1，yn-1)}，其中，n表示关节点数量，根据下列公式计算剩余的随机一个关节点与编号为a的关节点的连线与x轴的夹角αi：
Figure FDA0003764715970000011
得到所有剩余关节点与编号为a的关节点的连线与x轴的夹角集合为α＝{α1，α2，…，αn-1}，根据公式
Figure FDA0003764715970000012
计算剩余的随机一个关节点与编号为a的关节点之间的距离di，其中，xi、yi分别表示剩余的随机一个关节点位置的横、纵坐标，得到所有剩余节点与编号为a的关节点之间的距离集合为d＝{d1，d2，…，dn-1}，通过相同的方式得到用户通过不同手势开门时，手部关节点间的夹角和距离数据，将关节点间的夹角和距离数据存入到数据库中。
4.根据权利要求3所述的一种多模融合的指静脉识别方法，其特征在于：在步骤S3中：分析数据库中存入的手势数据：采集到用户通过不同手势开门的次数集合为M＝{M1，M2，…，Mk}，其中，数据库中共存储有k种手势，k种手势属于同一用户，调取到以随机两种手势进行身份识别时，所有剩余关节点与编号为a的关节点的连线与x轴的夹角集合分别为α′＝{α1′，α2′，…，αn-1′}和α′τ＝{α1″，α2′τ，…，αn-1′τ}，所有剩余节点与编号为a的关节点之间的距离集合分别为d’＝{d1’，d2’，…，dn-1’}和d”＝{d1”，d2”，…，dn-1”}，根据下列公式计算对应两种手势的相近系数Sj：
Figure FDA0003764715970000021
其中，αi′和αi′τ表示分别以对应两种手势进行身份识别时，剩余的第i个关节点与编号为a的关节点的连线与x轴的夹角，di’和di’’表示分别以对应两种手势进行身份识别时，剩余的第i个关节点与编号为a的关节点之间的距离，得到k个手势两两之间的相近系数集合为
Figure FDA0003764715970000022
将k种手势数据随机分为m组进行存储，每组至少存储两种手势数据，确认最佳的存储方式：获取到以随机一种存储方式存储手势数据时：随机一组数据中，手势两两之间的相近系数集合为
Figure FDA0003764715970000023
其中，对应组中存储了f种手势数据，根据下列公式计算对应组中存储的手势的相近系数的标准差wj：
Figure FDA0003764715970000024
其中，Si′表示对应组数据中，随机两种手势之间的相近系数，通过相同方式得到以随机一种存储方式存储手势数据时：m组数据中存储的手势相近系数的标准差集合为w＝{w1，w2，…，wj，…，wm}，得到以对应存储方式存储手势数据时，m组数据中存储的手势的相近系数的标准差总和为w总：
Figure FDA0003764715970000025
通过相同方式计算得到以不同的存储方式存储手势数据时，m组数据中存储的手势的相近系数的标准差总和，选择标准差总和最小的存储方式作为最佳的存储方式存储手势数据，设置手势数据的优先级：获取到以最佳的存储方式存储手势数据时，每组数据中存储的手势种类数量集合为B＝{B1，B2，…，Bj，…，Bm}，获取用户通过随机一组数据中的手势开门的次数集合为C＝{C1，C2，…，Cq}，其中，q＝Bj，q表示随机一组数据中存储的手势种类数量，根据下列公式设置随机一组手势数据的优先级Aj：
Figure FDA0003764715970000031
其中，Ci表示用户通过随机一组数据中的随机一种手势开门的次数，Bj表示随机一组数据中存储的手势种类数量，通过相同计算方式得到m组手势数据的优先级集合为A＝{A1，A2，…，Am}。
5.根据权利要求4所述的一种多模融合的指静脉识别方法，其特征在于：在步骤S4中：在当前用户进行身份识别时：根据优先级从大到小的顺序调取数据库中存储的m组手势数据与当前用户手势进行匹配，同时进行指静脉图像匹配，在步骤S5中：提取数据库中存储的用户的手指图像边缘的二值化图像特征，匹配当前用户的指静脉图像和数据库中的指静脉图像，获取到指静脉图像匹配度D，同时匹配当前用户的手势和数据库中存储的手势，获取到手势匹配度D’，得到综合匹配度为D+D’，设置综合匹配度阈值为D阈，比较D+D’和D阈：若D+D’＜D阈，身份识别失败；若D+D’≥D阈，身份识别成功。
6.一种多模融合的指静脉识别系统采用权利要求1所述的一种多模融合的指静脉识别方法，其特征在于：所述系统包括：数据采集模块、指静脉图像处理模块、数据库、数据分析模块和身份识别模块；
所述数据采集模块用于采集指静脉图像和用户进行身份识别时的手势图像数据，将采集到的手势图像数据传输到所述数据库中；
所述指静脉图像处理模块用于对指静脉图像进行边缘提取处理，将处理后的指静脉图像数据传输到所述数据库中；
所述数据库用于存储采集到的所有数据；
所述数据分析模块用于分析数据库中存入的手势数据，将手势数据进行分组存储，并设置每组手势数据的优先级；
所述身份识别模块用于通过手势匹配和指静脉图像匹配对用户进行身份识别。
7.根据权利要求6所述的一种多模融合的指静脉识别方法，其特征在于：所述数据采集模块包括指静脉图像采集单元和手势数据采集单元，所述指静脉图像采集单元用于采集用户的指定分辨率大小的指静脉图像；所述手势数据采集单元用于采集用户以往进行身份识别时的手势图像数据，将采集到的手势图像数据传输到所述数据库中。
8.根据权利要求6所述的一种多模融合的指静脉识别方法，其特征在于：所述指静脉图像处理模块包括标签处理单元和边缘提取单元，所述标签处理单元用于通过采集到的指定分辨率大小的指静脉图像获取指静脉二值化图像后，给指静脉二值化图像的像素赋标签值；所述边缘提取单元用于去除指静脉二值化图像的离散点，得到手指图像边缘的二值化图像，将用户的手指图像边缘的二值化图像存储到数据库中。
9.根据权利要求6所述的一种多模融合的指静脉识别方法，其特征在于：所述数据分析模块包括手势数据分析单元、分组存储单元和优先级设置单元，所述手势数据分析单元用于通过分析用户采用不同手势开门时，手部关节点间的相对位置数据判断同一用户采用的手势之间的相近系数；所述分组存储单元用于将手势数据进行分组存储并选择最佳的存储方式；所述优先级设置单元用于通过分析最佳存储方式下存储的手势数据设置每组手势数据的优先级。
10.根据权利要求6所述的一种多模融合的指静脉识别方法，其特征在于：所述身份识别模块包括数据调取规划单元和数据匹配单元，所述数据调取规划单元用于按优先级从大到小的顺序调取手势数据；所述数据匹配单元用于将当前用户的手势数据和指静脉图像数据与数据库中存储的数据进行匹配，根据匹配结果进行身份识别。
CN202210888739.5A 2022-07-26 2022-07-26 一种多模融合的指静脉识别方法 Withdrawn CN115240237A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210888739.5A CN115240237A (zh) 2022-07-26 2022-07-26 一种多模融合的指静脉识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210888739.5A CN115240237A (zh) 2022-07-26 2022-07-26 一种多模融合的指静脉识别方法

Publications (1)

Publication Number Publication Date
CN115240237A true CN115240237A (zh) 2022-10-25

Family

ID=83675874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210888739.5A Withdrawn CN115240237A (zh) 2022-07-26 2022-07-26 一种多模融合的指静脉识别方法

Country Status (1)

Country Link
CN (1) CN115240237A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116597473A (zh) * 2023-05-16 2023-08-15 南京莱医特电子科技有限公司 手势识别方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116597473A (zh) * 2023-05-16 2023-08-15 南京莱医特电子科技有限公司 手势识别方法、装置、设备及存储介质
CN116597473B (zh) * 2023-05-16 2024-01-26 南京莱医特电子科技有限公司 手势识别方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN108447080B (zh) 基于分层数据关联和卷积神经网络的目标跟踪方法、系统和存储介质
CN110097093B (zh) 一种异源图像精确匹配方法
CN106709950B (zh) 一种基于双目视觉的巡线机器人跨越障碍导线定位方法
US11205276B2 (en) Object tracking method, object tracking device, electronic device and storage medium
CN114359998B (zh) 一种人脸口罩佩戴状态下的识别方法
US20080304699A1 (en) Face feature point detection apparatus and method of the same
CN110969078A (zh) 基于人体关键点的异常行为识别方法
CN110084830B (zh) 一种视频运动目标检测与跟踪方法
CN113449704B (zh) 人脸识别模型训练方法、装置、电子设备及存储介质
CN116229189B (zh) 基于荧光内窥镜的图像处理方法、装置、设备及存储介质
CN112528836A (zh) 一种掌静脉信息采集方法、装置、设备及存储介质
CN111402331B (zh) 基于视觉词袋和激光匹配的机器人重定位方法
CN115240237A (zh) 一种多模融合的指静脉识别方法
CN114782715B (zh) 一种基于统计信息的静脉识别方法
CN113989604A (zh) 基于端到端深度学习的轮胎dot信息识别方法
CN114821786A (zh) 一种基于人体轮廓和关键点特征融合的步态识别方法
CN107895166B (zh) 基于特征描述子的几何哈希法实现目标鲁棒识别的方法
CN111444817A (zh) 一种人物图像识别方法、装置、电子设备和存储介质
CN107729863B (zh) 人体指静脉识别方法
CN111723688B (zh) 人体动作识别结果的评价方法、装置和电子设备
CN110008902B (zh) 一种融合基本特征和形变特征的手指静脉识别方法及系统
US20230360262A1 (en) Object pose recognition method based on triangulation and probability weighted ransac algorithm
CN113936305A (zh) 一种手掌识别过程中的中指位置确认方法及特征提取方法
CN113158870A (zh) 2d多人姿态估计网络的对抗式训练方法、系统及介质
CN112541471A (zh) 一种基于多特征融合的遮挡目标识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20221025