CN114724230A - 一种签字人身份识别的方法与系统 - Google Patents

一种签字人身份识别的方法与系统 Download PDF

Info

Publication number
CN114724230A
CN114724230A CN202210651273.7A CN202210651273A CN114724230A CN 114724230 A CN114724230 A CN 114724230A CN 202210651273 A CN202210651273 A CN 202210651273A CN 114724230 A CN114724230 A CN 114724230A
Authority
CN
China
Prior art keywords
face
video
signature
hand
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210651273.7A
Other languages
English (en)
Inventor
张志坚
陈友斌
申意萍
徐一波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Micropattern Technology Development Co ltd
Original Assignee
Hubei Micropattern Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Micropattern Technology Development Co ltd filed Critical Hubei Micropattern Technology Development Co ltd
Priority to CN202210651273.7A priority Critical patent/CN114724230A/zh
Publication of CN114724230A publication Critical patent/CN114724230A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

一种签字人身份识别的方法与系统，首先，把可能执行签字动作的人的人脸图像注册到系统中，形成签字人的人脸库；其次，进行签字动作检测，获得视频中签字动作出现的起始时间和结束时间；再次，在视频的签字动起止时间范围内进行人脸检测；然后，把视频中签字动作的手与视频中的人脸进行关联；最后，把关联的人脸与签字人脸库进行人脸比对，确定签字动作的执行人的身份。该方法具有高效准确的优点，能够准确的判断视频中签字者的身份。对应的硬件系统能完成对待稽核视频的采集存储，同时完成对视频的签字人身份识别并输出识别结果，高效精准。

Description

一种签字人身份识别的方法与系统
技术领域
本发明涉及视频分析、智能双录、远程开户、远程开卡、远程合同签署等相关技术领域，尤其是涉及一种签字人身份识别的方法与系统。
背景技术
自2020年以来，人与人之间见面受限。因此金融领域中，越来越多的金融行为以远程的方式进行，例如远程开户、远程信贷、远程开卡、远程理财、远程谈判、远程签约等。同时，由于远程的方式方便了老百姓，提高了办事效率，因此我们也可以预测到，疫情过去以后网上和线上的金融活动不仅会持续下去，而且会越来越频繁。在这些远程金融活动中，参与的某一方、双方、多方在各种不同的文档上签字是必不可少的环节。银行、证券、保险等金融机构在销售理财产品、贵重金属、保险产品时，根据监管部门的要求必须进行录音录像（简称双录）。不仅如此，双录音视频还必须要符合监管部门的一系列规范与要求。其中，消费者在产品说明书、风险提示上签字是表达消费者是出于本人意愿购买产品的重要途经。在这些应用中，判断签字动作是本人做出还是他人代签的，具有非常重要的现实意义。
基于上述背景现状，现急需设计应对线上双录视频签字人身份识别的方法及其配套的硬件。
发明内容
为了解决现有技术中双录视频中签字人身份识别的问题，本发明提供一种签字人身份识别的方法与系统，采用如下的技术方案：
一种签字人身份识别的方法，包括以下步骤：
步骤1：创建签字人的人脸数据库，把具备签字权限的所有人的人脸信息录入数据库；
步骤2：签字动作检测，获取签字视频，并对签字视频进行签字动作检测，得到签字关联信息，所述签字关联信息包括签字动作发生的开始时间点、结束时间点以及该时间点内的视频帧图像集合，获得视频帧图像集合中每帧图像中签字的手的坐标位置信息；
步骤3：人脸检测与跟踪，对于步骤2中视频帧图像集合中图像帧进行逐帧或抽帧方式的人脸检测，获得检测到的人脸坐标信息；
步骤4：将视频中签字动作的手与视频中的人脸进行关联，对步骤2中获得视频帧图像集合的图像帧进行出去背景部分的人体图像分割，图像分割的每个区域为一个人的人体，所述人体至少包括人脸、人手和躯干，判断每个分割的人体区域中是否同时包含签字的手和人脸，如果同时包含，则把对应的签字的手和人脸关联进行关联标记；
步骤5：把关联标记的人脸与签字人脸库进行人脸比对，确定签字动作的执行人身份信息。
通过上述技术方案，可以高效的实现双录视频中签字人身份识别。
可选的，所述步骤1具体是指把具备签字权限的所有人的人脸图像录入数据库DB={Image_i, i=0,1,2,3,…,M}。
通过上述技术方案，把具备签字权限的所有人的人脸图像录入数据库，便于后续对于检测出的签字人的人脸信息对边。
可选的，所述步骤2中，签字动作检测具体采用动作检测算法检测人的手部，对检测到的手进行跟踪，获取同一个手对应的手部视频，对获得的手的视频判断该视频中手部动作是否是签字动作，若判断是签字动作，则获得该签字动作发生的开始时间点t_start和结束时间点t_final，同时获得签字过程中的每帧图像中签字的手的坐标位置信息（hxi，hyi，hwi，hhi），i=0,1,2，...，N。
通过上述技术方案，签字动作检测可以使用动作检测与识别领域的任何算法，先检测出手部动作，再对该动作进行识别是否为签字动作，这样才能准确的抓取到需要进行对比的签字人脸信息。
可选的，签字动作检测具体采用yolov3算法检测人的手部；具体采用slowfast算法对获得的手的视频判断手部动作否是签字动作。
通过上述技术方案，具体使用yolov3算法通过逐帧或者抽帧的方式检测人的手部，yolov3更加高效，slowfast是何凯明在《SlowFast Networks for Video Recognition》一文中提出的动作识别算法，模型包含两部分，低帧率运行的Slow pathway用来捕获空间语义信息，高帧率运行的Fast pathway，以精细的时间分辨率捕获运动信息，能高效的完成手部动作是否是签字动作的判定，并输出判定结果。
可选的，所述步骤3中具体对t_start和t_final之间的视频帧Fi，i=0,1,2，...，N进行人脸检测与跟踪，获得人脸每张图上的人脸坐标（fxj i，fyj i，fwj i，fhj i），i=0,1,2，...，N，j=0,1,2，...，Ki,Ki是指第i帧图像中的人脸数。
通过上述技术方案，获得人脸坐标（fxj i，fyj i，fwj i，fhj i），i=0,1,2，...，N，j=0,1,2，...，Ki，用于后续对该坐标到人脸进行对比。
可选的，所述步骤3中具体采用yolov5s算法对t_start和t_final之间的视频帧进行人脸检测，并采用KCF算法进行人脸跟踪。
通过上述技术方案，采用yolov5s算法进行人脸检测更加高效；采用传统的KCF算法进行跟踪，准确高效。
可选的，所述步骤4具体是对t_start和t_final之间的视频帧Fi，i=0,1,2，...，N采用yoloact算法进行实例分割，把图像中除背景之外的人体目标分割出来，并且可以区分同一类别下的不同个体，由此把图像分为Mi个区域Ai Mi，Mi为第i帧分割的区域数量，即第i帧中包含的人体数量。
通过上述技术方案，yoloact算法能高效的完成视频帧的实例分割，将包含人体各部位的图像区域划为一个区域Ai，便于后续的精准比对。
可选的，所述步骤5具体是：
设定Max_roi_h，表示人体区域和检测到的签字的手的最大交并并比，初始化为0；
设定Max_roi_f表示人体区域和人脸区域的最大交并比，初始化为0；
采用yoloact算法逐一遍历t_start和t_final中的每帧图像，逐一遍历每帧图的每个分割区域Ai Mi；
计算Ai Mi和（hxi，hyi，hwi，hhi），i=0,1,2，...，N的交并比，记为roi_hand；
计算Ai Mi和（fxj i，fyj i，fwj i，fhj i），i=0,1,2，...，N，j=0,1,2，...，Ki的最大交并比，记为roi_face，把交并比最大的人脸标记为（fxi，fyi，fwi，fhi）；
如果当前帧的交并比更大，则跟新Max_roi_h和Max_roi_f。
通过上述技术方案，先计算Ai Mi和（hxi，hyi，hwi，hhi），i=0,1,2，...，N的交并比，交并比最大的视频帧代表的是真正在做签字动作的手部动作的视频帧，计算Ai Mi和（fxj i，fyj i，fwj i，fhj i），i=0,1,2，...，N，j=0,1,2，...，Ki的最大交并比，得到的是具有签字动作的人对应的人脸帧，并将该区域人脸标记为（fxi，fyi，fwi，fhi），便于后续对该区域人脸数据对比，实现准确的具有签字动作的人脸信息的检测。
可选的，所述步骤5具体是把最终关联的人脸Max_roi_f跟人脸库DB={Image_i, i=0,1,2,3,…,M}进行人脸比对，确定签字动作的执行人身份信息。
通过上述技术方案，实现得到的是具有签字动作的人对应的人脸帧，该区域人脸标记为（fxi，fyi，fwi，fhi），并对该区域的人脸信息采用人脸对比算法跟数据库DB={Image_i, i=0,1,2,3,…,M}，最终得到准确的具有签字动作人的身份信息。
一种签字人身份识别的系统，包括录音录像设备、处理器、存储器和显示设备，所述存储器内预装有根据权利要求1-9中任一项所述方法设计的签字人身份识别程序，所述录音录像设备采集到的视频储存在存储器，所述处理器运行存储器内的签字人身份识别程序完成对录音录像设备采集到的视频的签字人身份识别，所述处理器通过显示设备显示签字人身份识别程序运行界面和结果。
通过上述技术方案，录音录像设备采集相关需要检测的视频，并将视频储存在存储器，处理器运行存储器内的签字人身份识别程序完成对录音录像设备采集到的视频的签字人身份识别，并最终将签字人身份识别结果通过显示设备显示。
综上所述，本发明包括以下至少一种有益技术效果：
1.本发明的一种签字人身份识别的方法，首先，把可能执行签字动作的人的人脸图像注册到系统中，形成签字人的人脸库；其次，进行签字动作检测，获得视频中签字动作出现的起始时间和结束时间；再次，在视频的签字动起止时间范围内进行人脸检测；然后，把视频中签字动作的手与视频中的人脸进行关联；最后，把关联的人脸与签字人脸库进行人脸比对，确定签字动作的执行人的身份。该方法具有高效准确的优点，能够准确的判断视频中签字者的身份。
2.本发明的一种签字人身份识别的系统能完成对待稽核视频的采集存储，同时完成对视频的签字人身份识别并输出识别结果，高效精准。
附图说明
图1是本发明一种签字人身份识别的方法的流程示意图；
图2是本发明一种签字人身份识别的系统的结构原理示意图。
具体实施方式
以下结合附图1-图2对本发明作进一步详细说明。
本发明实施例公开一种话者角色区分方法及系统。
参照图1，一种签字人身份识别的方法与系统，包括以下步骤：
一种签字人身份识别的方法，包括以下步骤：
步骤1：创建签字人的人脸数据库，把具备签字权限的所有人的人脸信息录入数据库；
步骤2：签字动作检测，获取签字视频，并对签字视频进行签字动作检测，得到签字关联信息，签字关联信息包括签字动作发生的开始时间点、结束时间点以及该时间点内的视频帧图像集合，获得视频帧图像集合中每帧图像中签字的手的坐标位置信息；
步骤3：人脸检测与跟踪，对于步骤2中视频帧图像集合中图像帧进行逐帧或抽帧方式的人脸检测，获得检测到的人脸坐标信息；
步骤4：将视频中签字动作的手与视频中的人脸进行关联，对步骤2中获得视频帧图像集合的图像帧进行出去背景部分的人体图像分割，图像分割的每个区域为一个人的人体，人体至少包括人脸、人手和躯干，判断每个分割的人体区域中是否同时包含签字的手和人脸，如果同时包含，则把对应的签字的手和人脸关联进行关联标记；
步骤5：把关联标记的人脸与签字人脸库进行人脸比对，确定签字动作的执行人身份信息。
可以高效的实现双录视频中签字人身份识别。
步骤1具体是指把具备签字权限的所有人的人脸图像录入数据库DB={Image_i, i=0,1,2,3,…,M}。
把具备签字权限的所有人的人脸图像录入数据库，便于后续对于检测出的签字人的人脸信息对边。
步骤2中，签字动作检测具体采用动作检测算法检测人的手部，对检测到的手进行跟踪，获取同一个手对应的手部视频，对获得的手的视频判断该视频中手部动作是否是签字动作，若判断是签字动作，则获得该签字动作发生的开始时间点t_start和结束时间点t_final，同时获得签字过程中的每帧图像中签字的手的坐标位置信息（hxi，hyi，hwi，hhi），i=0,1,2，...，N。
签字动作检测可以使用动作检测与识别领域的任何算法，先检测出手部动作，再对该动作进行识别是否为签字动作，这样才能准确的抓取到需要进行对比的签字人脸信息。
签字动作检测具体采用yolov3算法检测人的手部；具体采用slowfast算法对获得的手的视频判断手部动作否是签字动作。
具体使用yolov3检测人的手部，yolov3更加高效，slowfast是何凯明在《SlowFastNetworks for Video Recognition》一文中提出的动作识别算法，模型包含两部分，低帧率运行的Slow pathway用来捕获空间语义信息，高帧率运行的Fast pathway，以精细的时间分辨率捕获运动信息，能高效的完成手部动作是否是签字动作的判定，并输出判定结果。
步骤3中具体对t_start和t_final之间的视频帧Fi，i=0,1,2，...，N进行人脸检测与跟踪，获得人脸每张图上的人脸坐标（fxj i，fyj i，fwj i，fhj i），i=0,1,2，...，N，j=0,1,2，...，Ki,Ki是指第i帧图像中的人脸数。
获得人脸坐标（fxj i，fyj i，fwj i，fhj i），i=0,1,2，...，N，j=0,1,2，...，Ki，用于后续对该坐标到人脸进行对比。
步骤3中具体采用yolov5s算法对t_start和t_final之间的视频帧进行人脸检测，并采用KCF算法进行人脸跟踪。
采用yolov5s算法进行人脸检测更加高效；采用传统的KCF算法进行跟踪，准确高效。
步骤4具体是对t_start和t_final之间的视频帧Fi，i=0,1,2，...，N采用yoloact算法进行实例分割，把图像中除背景之外的人体目标分割出来，并且可以区分同一类别下的不同个体，由此把图像分为Mi个区域Ai Mi，Mi为第i帧分割的区域数量，即第i帧中包含的人体数量。
yoloact算法能高效的完成视频帧的实例分割，将包含人体各部位的图像区域划为一个区域Ai，便于后续的精准比对。
步骤5具体是：
设定Max_roi_h，表示人体区域和检测到的签字的手的最大交并并比，初始化为0；
设定Max_roi_f表示人体区域和人脸区域的最大交并比，初始化为0；
采用yoloact算法逐一遍历t_start和t_final中的每帧图像，逐一遍历每帧图的每个分割区域Ai Mi；
计算Ai Mi和（hxi，hyi，hwi，hhi），i=0,1,2，...，N的交并比，记为roi_hand；
计算Ai Mi和（fxj i，fyj i，fwj i，fhj i），i=0,1,2，...，N，j=0,1,2，...，Ki的最大交并比，记为roi_face，把交并比最大的人脸标记为（fxi，fyi，fwi，fhi）；
如果当前帧的交并比更大，则跟新Max_roi_h和Max_roi_f。
先计算Ai Mi和（hxi，hyi，hwi，hhi），i=0,1,2，...，N的交并比，交并比最大的视频帧代表的是真正在做签字动作的手部动作的视频帧，计算Ai Mi和（fxj i，fyj i，fwj i，fhj i），i=0,1,2，...，N，j=0,1,2，...，Ki的最大交并比，得到的是具有签字动作的人对应的人脸帧，并将该区域人脸标记为（fxi，fyi，fwi，fhi），便于后续对该区域人脸数据对比，实现准确的具有签字动作的人脸信息的检测。
步骤5具体是把最终关联的人脸Max_roi_f跟人脸库DB={Image_i, i=0,1,2,3,…,M}进行人脸比对，确定签字动作的执行人身份信息。
实现得到的是具有签字动作的人对应的人脸帧，该区域人脸标记为（fxi，fyi，fwi，fhi），并对该区域的人脸信息采用人脸对比算法跟数据库DB={Image_i, i=0,1,2,3,…,M}，最终得到准确的具有签字动作人的身份信息。
参照图2，一种签字人身份识别的系统，包括录音录像设备、处理器、存储器和显示设备，存储器内预装有根据权利要求1-9中任一项方法设计的签字人身份识别程序，录音录像设备采集到的视频储存在存储器，处理器运行存储器内的签字人身份识别程序完成对录音录像设备采集到的视频的签字人身份识别，处理器通过显示设备显示签字人身份识别程序运行界面和结果。
录音录像设备采集相关需要检测的视频，并将视频储存在存储器，处理器运行存储器内的签字人身份识别程序完成对录音录像设备采集到的视频的签字人身份识别，并最终将签字人身份识别结果通过显示设备显示。
本发明实施例一种签字人身份识别的方法与系统的实施原理为：
录音录像设备采集相关需要检测的视频，并将视频储存在存储器，处理器运行存储器内的签字人身份识别程序完成对录音录像设备采集到的视频的签字人身份识别，具体过程为：
对于视频文件，进行以下操作，得到签字人的身份：
1.创建签字人的人脸数据库，把具备签字权限的所有人的人脸图像录入数据库DB={Image_i, i=0,1,2,3,…,M}；
2.签字动作检测，获得视频中签字动作出现的起始时间和结束时间。
签字动作检测可以使用动作检测与识别领域的任何算法，例如，我们实现了一种两阶段的签字动作检测算法。首先，使用yolov3检测人的手部，对检测到的手使用KCF进行跟踪，获取同一个手的手部视频，其次把获得的手的视频使用slowfast算法判断该视频是否是签字动作。由此，不仅获得了签字动作发生的开始时间点t_start和结束时间点t_final，而且获得签字过程中的每一帧图像的签字的手的坐标位置（hxi，hyi，hwi，hhi），i=0,1,2，...，N。其中，slowfast是何凯明在《SlowFast Networks for Video Recognition》一文中提出的动作识别算法，模型包含两部分，低帧率运行的Slow pathway用来捕获空间语义信息，高帧率运行的Fast pathway，以精细的时间分辨率捕获运动信息。
3.在视频的签字动作起止时间范围内进行人脸检测与跟踪。
对t_start和t_final之间的视频帧Fi，i=0,1,2，...，N,使用yolov5s进行人脸检测，并且采用传统的KCF算法进行跟踪，由此获得人脸每张图上的人脸坐标（fxj i，fyj i，fwj i，fhj i），i=0,1,2，...，N，j=0,1,2，...，Ki,其中，Ki是第i帧图像中的人脸数。其中，我们使用了基于yolov3的目标检测算法实现了人脸检测的功能。
4.把视频中签字动作的手与视频中的人脸进行关联。
对t_start和t_final之间的视频帧Fi，i=0,1,2，...，N采用yoloact算法进行实例分割，把图像中除背景之外的人体目标分割出来，并且可以区分同一类别下的不同个体，由此把图像分为若干区域Ai Mi，Mi为第i帧分割的区域数量，即第i帧中包含的人体数量。
Max_roi_h=0 // Max_roi_h表示人体区域和检测到的签字的手的最大交并并比，初始化为0
Max_roi_f=0 // Max_roi_f表示人体区域和人脸区域的最大交并比，初始化为0
Max_roi_face=[ ]
For i from 0 to N // 逐一遍历t_start和t_final中的每一帧图像
For j from 0 to Mi // 逐一遍历每帧图的每个分割区域Ai Mi。
计算Ai Mi和（hxi，hyi，hwi，hhi）的交并比，记为roi_hand。
计算Ai Mi和（fxj i，fyj i，fwj i，fhj i）的最大交并比，记为roi_face，把交并比最大的人脸记为（fxi，fyi，fwi，fhi）。
If Max_roi_h < roi_hand and Max_roi_f<roi_face//如果当前帧的交并比更大，则跟新Max_roi_h和Max_roi_f
Max_roi_h = roi_hand
Max_roi_f = roi_face
Max_roi_face = （fxi，fyi，fwi，fhi）。
5.把关联的人脸Max_roi_face与签字人脸库进行人脸比对，确定签字动作的执行人。
以上均为本发明的较佳实施例，并非依此限制本发明的保护范围，故：凡依本发明的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。

Claims (10)

1.一种签字人身份识别的方法，其特征在于：包括以下步骤：
步骤1：创建签字人的人脸数据库，把具备签字权限的所有人的人脸信息录入数据库；
步骤2：签字动作检测，获取签字视频，并对签字视频进行签字动作检测，得到签字关联信息，所述签字关联信息包括签字动作发生的开始时间点、结束时间点以及该时间点内的视频帧图像集合，获得视频帧图像集合中每帧图像中签字的手的坐标位置信息；
步骤3：人脸检测与跟踪，对于步骤2中视频帧图像集合中图像帧进行逐帧或抽帧方式的人脸检测，获得检测到的人脸坐标信息；
步骤4：将视频中签字动作的手与视频中的人脸进行关联，对步骤2中获得视频帧图像集合的图像帧进行出去背景部分的人体图像分割，图像分割的每个区域为一个人的人体，所述人体至少包括人脸、人手和躯干，判断每个分割的人体区域中是否同时包含签字的手和人脸，如果同时包含，则把对应的签字的手和人脸关联进行关联标记；
步骤5：把关联标记的人脸与签字人脸库进行人脸比对，确定签字动作的执行人身份信息。
2.根据权利要求1所述的一种签字人身份识别的方法，其特征在于：所述步骤1具体是指把具备签字权限的所有人的人脸图像录入数据库DB={Image_i, i=0,1,2,3,…,M}。
3.根据权利要求1所述的一种签字人身份识别的方法，其特征在于：所述步骤2中，签字动作检测具体采用动作检测算法检测人的手部，对检测到的手进行跟踪，获取同一个手对应的手部视频，对获得的手的视频判断该视频中手部动作是否是签字动作，若判断是签字动作，则获得该签字动作发生的开始时间点t_start和结束时间点t_final，同时获得签字过程中的每帧图像中签字的手的坐标位置信息（hxi，hyi，hwi，hhi），i=0,1,2，...，N。
4.根据权利要求3所述的一种签字人身份识别的方法，其特征在于：签字动作检测具体采用yolov3算法检测人的手部；具体采用slowfast算法对获得的手的视频判断手部动作否是签字动作。
5.根据权利要求3所述的一种签字人身份识别的方法，其特征在于：
所述步骤3中具体对t_start和t_final之间的视频帧Fi，i=0,1,2，...，N进行人脸检测与跟踪，获得人脸每张图上的人脸坐标（fxj i，fyj i，fwj i，fhj i），i=0,1,2，...，N，j=0,1,2，...，Ki，Ki是指第i帧图像中的人脸数。
6.根据权利要求5所述的一种签字人身份识别的方法，其特征在于：所述步骤3中具体采用yolov5s算法对t_start和t_final之间的视频帧进行人脸检测，并采用KCF算法进行人脸跟踪。
7.根据权利要求3所述的一种签字人身份识别的方法，其特征在于：所述步骤4具体是对t_start和t_final之间的视频帧Fi，i=0,1,2，...，N采用yoloact算法进行实例分割，把图像中除背景之外的人体目标分割出来，并且可以区分同一类别下的不同个体，由此把图像分为Mi个区域Ai Mi，Mi为第i帧分割的区域数量，即第i帧中包含的人体数量。
8.根据权利要求1-7任一所述的一种签字人身份识别的方法，其特征在于：所述步骤5具体方法是：
设定Max_roi_h，表示人体区域和检测到的签字的手的最大交并并比，初始化为0；
设定Max_roi_f表示人体区域和人脸区域的最大交并比，初始化为0；
采用yoloact算法逐一遍历t_start和t_final中的每帧图像，逐一遍历每帧图的每个分割区域Ai Mi；
计算Ai Mi和（hxi，hyi，hwi，hhi），i=0,1,2，...，N的交并比，记为roi_hand；
计算Ai Mi和（fxj i，fyj i，fwj i，fhj i），i=0,1,2，...，N，j=0,1,2，...，Ki，的最大交并比，记为roi_face，把交并比最大的人脸标记为（fxi，fyi，fwi，fhi）；
如果当前帧的交并比更大，则跟新Max_roi_h和Max_roi_f。
9.根据权利要求8所述的一种签字人身份识别的方法，其特征在于：所述步骤5具体是把最终关联的人脸Max_roi_f跟人脸库DB={Image_i, i=0,1,2,3,…,M}进行人脸比对，确定签字动作的执行人身份信息。
10.一种签字人身份识别的系统，其特征在于：包括录音录像设备、处理器、存储器和显示设备，所述存储器内预装有根据权利要求1-9中任一项所述方法设计的签字人身份识别程序，所述录音录像设备采集到的视频储存在存储器，所述处理器运行存储器内的签字人身份识别程序完成对录音录像设备采集到的视频的签字人身份识别，所述处理器通过显示设备显示签字人身份识别程序运行界面和结果。
CN202210651273.7A 2022-06-10 2022-06-10 一种签字人身份识别的方法与系统 Pending CN114724230A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210651273.7A CN114724230A (zh) 2022-06-10 2022-06-10 一种签字人身份识别的方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210651273.7A CN114724230A (zh) 2022-06-10 2022-06-10 一种签字人身份识别的方法与系统

Publications (1)

Publication Number Publication Date
CN114724230A true CN114724230A (zh) 2022-07-08

Family

ID=82233098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210651273.7A Pending CN114724230A (zh) 2022-06-10 2022-06-10 一种签字人身份识别的方法与系统

Country Status (1)

Country Link
CN (1) CN114724230A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115880782A (zh) * 2023-02-16 2023-03-31 广州佰锐网络科技有限公司 基于ai的签字动作识别定位方法、识别训练方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717414A (zh) * 2019-09-24 2020-01-21 青岛海信网络科技股份有限公司 一种目标检测追踪方法、装置及设备
CN110942009A (zh) * 2019-11-22 2020-03-31 南京甄视智能科技有限公司 基于时空混合卷积网络的跌倒检测方法与系统
CN112016538A (zh) * 2020-10-29 2020-12-01 腾讯科技（深圳）有限公司 视频处理方法、装置、计算机设备和存储介质
CN112380971A (zh) * 2020-11-12 2021-02-19 杭州海康威视数字技术股份有限公司 一种行为检测方法、装置及设备
CN113688810A (zh) * 2021-10-26 2021-11-23 深圳市安软慧视科技有限公司 一种边缘设备的目标捕获方法、系统及相关设备
CN114359791A (zh) * 2021-12-16 2022-04-15 北京信智文科技有限公司 一种基于Yolo v5网络和SlowFast网络的群体猕猴食欲检测方法
CN114584836A (zh) * 2020-11-30 2022-06-03 京东方科技集团股份有限公司 电子产品使用行为检测方法、装置、系统及介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717414A (zh) * 2019-09-24 2020-01-21 青岛海信网络科技股份有限公司 一种目标检测追踪方法、装置及设备
CN110942009A (zh) * 2019-11-22 2020-03-31 南京甄视智能科技有限公司 基于时空混合卷积网络的跌倒检测方法与系统
CN112016538A (zh) * 2020-10-29 2020-12-01 腾讯科技（深圳）有限公司 视频处理方法、装置、计算机设备和存储介质
CN112380971A (zh) * 2020-11-12 2021-02-19 杭州海康威视数字技术股份有限公司 一种行为检测方法、装置及设备
CN114584836A (zh) * 2020-11-30 2022-06-03 京东方科技集团股份有限公司 电子产品使用行为检测方法、装置、系统及介质
CN113688810A (zh) * 2021-10-26 2021-11-23 深圳市安软慧视科技有限公司 一种边缘设备的目标捕获方法、系统及相关设备
CN114359791A (zh) * 2021-12-16 2022-04-15 北京信智文科技有限公司 一种基于Yolo v5网络和SlowFast网络的群体猕猴食欲检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高仕斌: "《高速铁路智能牵引供电系统》", 31 December 2020, 西南交通大学出版社 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115880782A (zh) * 2023-02-16 2023-03-31 广州佰锐网络科技有限公司 基于ai的签字动作识别定位方法、识别训练方法及系统
CN115880782B (zh) * 2023-02-16 2023-08-08 广州佰锐网络科技有限公司 基于ai的签字动作识别定位方法、识别训练方法及系统

Similar Documents

Publication Publication Date Title
Liong et al. Less is more: Micro-expression recognition from video using apex frame
JP6619847B2 (ja) 身元認証方法、端末装置、およびコンピュータ可読記憶媒体｛ｉｄｅｎｔｉｔｙ ａｕｔｈｅｎｔｉｃａｔｉｏｎ ｍｅｔｈｏｄ， ｔｅｒｍｉｎａｌ ｅｑｕｉｐｍｅｎｔ ａｎｄ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ｝
Ahmed et al. Vision based hand gesture recognition using dynamic time warping for Indian sign language
CN107358223B (zh) 一种基于yolo的人脸检测与人脸对齐方法
Liong et al. Automatic apex frame spotting in micro-expression database
Devanne et al. 3-d human action recognition by shape analysis of motion trajectories on riemannian manifold
US7693310B2 (en) Moving object recognition apparatus for tracking a moving object based on photographed image
US20180181834A1 (en) Method and apparatus for security inspection
Youssif et al. Automatic facial expression recognition system based on geometric and appearance features
Li et al. Local temporal pattern and data augmentation for micro-expression spotting
CN105160318A (zh) 基于面部表情的测谎方法及系统
Arigbabu et al. Integration of multiple soft biometrics for human identification
CN107480586B (zh) 基于人脸特征点位移的生物识别照片仿冒攻击检测方法
Haji et al. Real time face recognition system (RTFRS)
Malik et al. DeepAirSig: End-to-end deep learning based in-air signature verification
Nassi et al. Handwritten signature verification using hand-worn devices
Beh et al. Micro-expression spotting using facial landmarks
Kwaśniewska et al. Face detection in image sequences using a portable thermal camera
CN114724230A (zh) 一种签字人身份识别的方法与系统
CN111639562A (zh) 一种手掌感兴趣区域的智能定位方法
CN114565976A (zh) 一种训练智能测试方法以及装置
Gopane et al. Enhancing monitoring in online exams using artificial intelligence
Abate et al. An ablation study on part-based face analysis using a Multi-input Convolutional Neural Network and Semantic Segmentation
CN112965602A (zh) 一种基于手势的人机交互方法及设备
Bratoszewski et al. Pilot testing of developed multimodal biometric identity verification system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination