CN115063873A - 基于静态和动态人脸检测的飞行数据获取方法、设备 - Google Patents

基于静态和动态人脸检测的飞行数据获取方法、设备 Download PDF

Info

Publication number
CN115063873A
CN115063873A CN202210971500.4A CN202210971500A CN115063873A CN 115063873 A CN115063873 A CN 115063873A CN 202210971500 A CN202210971500 A CN 202210971500A CN 115063873 A CN115063873 A CN 115063873A
Authority
CN
China
Prior art keywords
data
face
feature
flight
abstract
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210971500.4A
Other languages
English (en)
Other versions
CN115063873B (zh
Inventor
黄智豪
吴林
杨实
郝德月
王治宇
王杰
苏剑飞
郭浩彬
胡婕
吴坤永
杨磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Xiangyi Aviation Technology Co Ltd
Original Assignee
Zhuhai Xiangyi Aviation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Xiangyi Aviation Technology Co Ltd filed Critical Zhuhai Xiangyi Aviation Technology Co Ltd
Priority to CN202210971500.4A priority Critical patent/CN115063873B/zh
Publication of CN115063873A publication Critical patent/CN115063873A/zh
Application granted granted Critical
Publication of CN115063873B publication Critical patent/CN115063873B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06Q50/40—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明属于飞行数据领域，具体涉及了一种基于静态和动态人脸检测的飞行数据获取方法、设备，旨在解决解决飞行数据查询存在的数据泄露问题，本发明基于输入的待查人员识别信息进行触发，通过采集查询人员的人脸图像，与经所述服务器从所述人脸数据库获取的待查人员的人脸数据样本，或者与所述人脸数据库中的全部人脸数据样本进行匹配，在匹配成功后获取查询人员的权限信息，并在进行活体检测后执行对应的查询操作。本发明有效避免了账号信息被盗、人脸特征信息泄露造成的飞行数据泄露风险。

Description

基于静态和动态人脸检测的飞行数据获取方法、设备
技术领域
本发明属于数据处理领域，具体涉及了一种基于静态和动态人脸检测的飞行数据获取方法、设备。
背景技术
目前，随着网络及智能终端的普及，信息化也在飞速发展，信息化集成平台已经逐步走进各行各业，同样，也为航空业铺设了信息化的高速公路，并且成为了航空信息交互的核心。与此同时，让个人的飞行信息的查询以及数据调用的功能也成为了其中一个重要内容。现有技术中，大多数信息集成平台的信息查询都是根据账号获得对应权限，从而在电脑上查询个人的飞行数据信息，这种账号密码的操作方式存在账号密码使用者和绑定人员分离的可能，存在信息泄露风险。
发明内容
为了解决现有技术中的上述问题，即为了解决飞行数据查询存在的数据泄露问题，本发明提供了一种基于静态和动态人脸检测的飞行数据获取方法，应用于飞行数据查询系统，所述飞行数据查询系统包括飞行数据库、人脸数据库、服务器、一个或多个查询终端；所述人脸数据库中每个人脸样本数据包括一个用户的人脸特征摘要数据；所述人脸特征摘要数据为多个设定人脸特征通过摘要算法处理后得到的样本摘要数据；
飞行数据获取方法包括以下步骤：
步骤S100，通过查询终端输入待查人员识别信息，经所述服务器从所述人脸数据库获取待查人员对应的人脸数据样本；
步骤S200，通过查询终端采集查询人员的人脸图像；
步骤S300，对所采集的人脸图像进行特征提取，得到特征数据集合；
步骤S400，通过摘要算法对所述特征数据集合中特征数据进行处理得到比对摘要数据集；
步骤S500，将所述比对摘要数据集与所述待查人员对应的人脸数据样本中人脸特征摘要数据进行匹配，若匹配成功，则执行步骤S700，若未匹配成功，则执行步骤S600；
步骤S600，将所述比对摘要数据发送至服务器，与所述人脸数据库中每个人脸样本数据进行匹配，根据匹配结果获取权限信息，并在权限满足所设定的待查人员飞行数据调取要求时，执行步骤S700。
步骤S700，通过查询终端获取查询人员设定动作信息以及录入的语音信息，进行活体检测；
步骤S800，若活体检测结果为真，经所述服务器从所述飞行数据库下载待查人员飞行数据至查询终端并显示。
在一些优选的实施方式中，在步骤S800之后还包括：
步骤S900，进行所述查询人员离开状态监测，若判断为离开状态，则将所下载至查询终端的待查人员飞行数据删除。
在一些优选的实施方式中，“进行所述查询人员离开状态监测”，其方法为：
步骤S910，按照设定时间间隔重复获取所述查询人员的临时人脸图像，
步骤S920，对所采集的临时人脸图像进行特征提取，得到临时特征数据集合；
步骤S930，通过摘要算法对所述临时特征数据集合中特征数据进行处理得到临时比对摘要数据集；
步骤S940，将所述临时比对摘要数据集与所述查询人员对应的人脸数据样本中人脸特征摘要数据进行匹配，若连续N次匹配未成功，则判断所述查询人员处于离开状态。
在一些优选的实施方式中，通过摘要算法获取摘要数据的方法为：
将基于设定人脸特征类别获取的人脸特征数据，按照预设的分级原则获取对应的分级信息；
将获得的分级信息通过摘要算法处理得到特征信息摘要数据；
根据预设人脸特征类别编码表，获取对应人脸特征数据的特征类别编码；
将所述特征类别编码与所述特征信息摘要数据串接得到对应人脸特征数据的摘要数据。
在一些优选的实施方式中，“将所述比对摘要数据集与所述待查人员对应的人脸数据样本中人脸特征摘要数据进行匹配”，其方法为：
基于特征类别编码，将所述比对摘要数据集与所述待查人员对应的人脸数据样本进行单独对比，获取匹配度信息；
若匹配度大于设定匹配度阈值则判定为匹配成功。
在一些优选的实施方式中，“将所述比对摘要数据集与所述待查人员对应的人脸数据样本中人脸特征摘要数据进行匹配”，其方法为：
基于特征类别编码，随机获取设定组数的多个特征类别的排列组合，作为类别组合项；
基于得到的类别组合项，分别对所述比对摘要数据集、所述待查人员对应的人脸数据样本，获取各类别组合对应的特征信息摘要数据组合，并基于摘要算法处理后得到各类别组对应的类别组合特征摘要数据；
将所述比对摘要数据集对应的类别组合特征摘要数据，与所述待查人员对应的人脸数据样本对应的类别组合特征摘要数据进行比对，获取匹配度信息；
若匹配度大于设定匹配度阈值则判定为匹配成功。
在一些优选的实施方式中，每个所述类别组合项中所包含特征类别的数量通过随机函数确定。
在一些优选的实施方式中，通过查询终端获取查询人员录入的语音信息，进行活体检测，其方法为：
通过预设的嘴部关键点对所述录入的语音信息中的每一帧进行关键点检测，并基于检测的嘴部关键点生成动态嘴型，作为第一嘴型；
分别计算所述录入的语音信息的Mel频率倒谱系数，并基于所述Mel频率倒谱系数结合对应的时间戳、所述第一嘴型的关键点位置，生成所述录入的语音信息的嘴型，作为第二嘴型；
分别提取每一帧对应的第一嘴型和第二嘴型的每一个关键点；以每一帧的帧数作为时间线，分别拟合每个关键点对应的第一嘴型曲线和第二嘴型曲线；
针对任一嘴部关键点，对比其拟合的第一嘴型曲线和第二嘴型曲线，若拟合曲线的重合度大于设定值，则当前关键点比对通过；
遍历每一个关键点，若所有关键点均比对通过，则当前视频语音数据的来源为同一用户，完成活体检测。
在一些优选的实施方式中，所述摘要算法为SHA-1、SHA256或MD5。
本发明的第二方面，提出了一种基于静态和动态人脸检测的飞行数据获取设备，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于静态和动态人脸检测的飞行数据获取方法。
本发明的第三方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于静态和动态人脸检测的飞行数据获取方法。
本发明的有益效果：
（1）本发明通过人脸检测和活体检测，保证了使用人信息和真实操作者的一致性，避免了账号信息被盗造成的飞行数据泄露风险；
（2）本发明通过摘要算法获取人脸特征对应的摘要数据存储于人脸数据库中，不去存储人脸图片信息，基于摘要数据的不可反推性，即使数据泄露，第三方也无法读取摘要数据所代表的人脸特征信息，从而保证了用户人脸数据的安全，进一步避免了人脸特征信息泄露造成的飞行数据泄露风险。
（3）本发明通过查询人员离开状态监测，能够实时获取当前已登录的查询人员是否与当前查询人员一致的判断信息，在不一致时及时进退出和数据删除等操作，进一步规避了飞行数据泄露风险。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明一种实施例的基于静态和动态人脸检测的飞行数据获取方法流程示意图；
图2是本发明一种实施例中标准化调整依据特征信息示例图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
为了更清晰地对本发明基于静态和动态人脸检测的飞行数据获取方法进行说明，下面结合附图1、附图2对本发明实施例中各步骤展开详述。
本发明一种实施例的基于静态和动态人脸检测的飞行数据获取方法，应用于飞行数据查询系统，所述飞行数据查询系统包括飞行数据库、人脸数据库、服务器、一个或多个查询终端；所述人脸数据库中每个人脸样本数据包括一个用户的人脸特征摘要数据；所述人脸特征摘要数据为多个设定人脸特征通过摘要算法处理后得到的样本摘要数据。
本发明实施例中所采用的摘要算法为SHA-1、SHA256、MD5中的一种，当然，还可以为其他类似的算法。
本实施例的查询终端，可以为电脑、或者信息展示型大屏幕终端设备、或者手持小型终端设备，例如手机等。
本发明通过人脸特征摘要数据代替现有技术人脸数据库中的人脸图片，利用摘要算法的计算不可逆的特性，因此不可能根据算出来的摘要反推原有特征数据，可以保护数据及隐私，即使获得了人脸的摘要数据，也无法反推得到人脸的特征数据。
另外，因为摘要算法算出数据量较小，例如SHA1的结果是160 bit字节，通常用一个40位的16进制字符串表示。所述终端可以只将所述摘要数据上传到云端或者上位机，可以减少数据上传量，能够缩短比对时间，减少延迟，提高传输准确率。并且，相比于传统的人脸识别方法，摘要算法中更改一个特征数据，得到的摘要数据完全不同，因此识别结果更为精确。
本实施例中所采用的人脸特征，可以为：基于所提取的人脸特征点，根据预先设定的特征点对获取的距离信息，或者以设定特征点对的距离为基数的比值数据，或者其他可量化描述特征信息。例如眼虹膜、鼻翼、嘴角等面像五官轮廓的大小、位置、五官之间的距离和两眼之间的距离等。
采用该方法时，由于所采集的查询人员的人脸图像无法与原始图片一致，可能存在偏转、大小等不一致的问题，所以直接拿上述数据进行对比是完全行不通的，因此需要在获取人脸数据库的人脸特征摘要数据时，同时保留标准化调整依据特征信息（该信息包括），以基于此信息对所采集的查询人员的人脸图像进行标准化调整，从而对于同一用户获取相同的人脸特征信息。如图2所示，在所识别的66个人脸特征点中，标准化调整依据特征信息可以包括中心特征点（可以为鼻尖34）、外围轮廓特点（可以为左眼的左眼角46、右眼的右眼角37、左嘴角55、右嘴角49）、中心特征点到每个外围轮廓特征点的距离（图中实现）、相邻两个外围轮廓特征点的距离（图中虚线）。
本发明一种实施例的基于静态和动态人脸检测的飞行数据获取方法包括：
步骤S100，通过查询终端输入待查人员识别信息，经所述服务器从所述人脸数据库获取待查人员对应的人脸数据样本。
本实施例完全区别于现有先登录再查询的模式，而是先输入待查询人员识别信息，再基于人脸识别的方式进行身份、权限验证，避免了多次输入，同时，适应了当前社会环形下用户自查需求日益增加的现状，另外，在用户自查的应用场景下，先输入待查人员识别信息，再获取待查人员对应的人脸数据样本，为后续进行身份验证缩减的数据比对的复杂度，提高了身份验证的效率。
待查询人员识别信息可以为名字、或者身份证号、或者其他能飞行数据对应人员的标签或者标识信息。
步骤S200，通过查询终端采集查询人员的人脸图像。
此处的查询人员可以与上述的待查人员一致，也可以不一致，是进行查询操作的人员。
在步骤S100的查询操作被触发后，查询人员的人脸进入识别区域后，所述终端可以采集所述待识别人脸图像。所述识别区域中如果有多张人脸，可以人为或者自动选择需要识别的人脸。锁定待识别人脸后，可以对所述待识别人脸图像进行一个初步处理，例如颜色调整、还有角度调整，亮度调整等。
步骤S300，对所采集的人脸图像进行特征提取，得到特征数据集合。
本步骤中所提取的人脸特征，与人脸数据库的样本数据中所包含的人脸特征一致。
特征提取的过程可以为现有技术，这里不再赘述。所述特征数据可以包括眼虹膜、鼻翼、嘴角等面像五官轮廓的大小、位置、五官之间的距离和两眼之间的距离等特征值。可以理解，进行人脸特征提取的时候需要进行标准化处理，由于没有在先对照样本，可以基于上述的保留标准化调整依据特征信息进行图像的标准化处理，还可以基于所识别的特征点进行其外接最小矩形或圆的获取，并进行统一尺寸的放大或缩小，进而获得标准化处理后的特征数据。或者，不直接采用参数，而采用参数之间的比值作为摘要数据生成的依据，当然，还可以采用现有的特征提取方法提取特征数据。
步骤S400，通过摘要算法对所述特征数据集合中特征数据进行处理得到比对摘要数据集。
此处特征数据集合中特征数据可以包括设定的两个特征点的距离，或者根据特征点得到的某个脸部器官的轮廓周长、或者面积，当然还可以为其他特征数据。
步骤S500，将所述比对摘要数据集与所述待查人员对应的人脸数据样本中人脸特征摘要数据进行匹配，若匹配成功，则执行步骤S700，若未匹配成功，则执行步骤S600。
本实施例中，将所述比对摘要数据集与所述待查人员对应的人脸数据样本进行匹配，可以采用以下两种方法中的一种:
方法一：基于特征类别编码，将所述比对摘要数据集与所述人脸数据子库中每条样本数据进行单独对比，获取匹配度信息；若匹配度大于设定第一匹配度阈值则判定为匹配成功。
方法二：
基于特征类别编码，随机获取设定组数的多个特征类别的排列组合，作为类别组合项；
基于得到的类别组合项，分别对所述比对摘要数据集、所述人脸数据子库中各样本数据，获取各类别组合对应的特征信息摘要数据组合，并基于摘要算法处理后得到各类别组对应的类别组合特征摘要数据；
将所述比对摘要数据集对应的类别组合特征摘要数据，与所述人脸数据子库中各样本数据对应的类别组合特征摘要数据进行比对，获取匹配度信息；
若匹配度大于设定第二匹配度阈值则判定为匹配成功。
上述方法二中，每个所述类别组合项中所包含特征类别的数量通过随机函数确定，当然还可以进行固定组合项数的确定。
上述方法二中，类别组合项和其对应的类别组合特征摘要数据的表示形式可以如下：
例如：A1B1C9|ECE7DC2FE50D337B……
“|”前面字符表示人脸特征排列序列对应的代码的排列序列，以两位代表一个特征，本实施例中以A1表示左眼通孔轮廓长度，B1表示右眼通孔轮廓长度，C9表示瞳距；“|”后面字符表示特征A1、B1、C1对应数据通过摘要算法获得的编码。
同样的，人脸数据库中存储的样本摘要数据也可以是由人脸特征排列序列对应的代码的排列序列、以及样本特征数据基于摘要算法的编码。这样可以将相同特征排列的摘要子数据和样本摘要数据进行对比，降低了数据对比的数量，提高了识别效率。当然，也可以为单一特征编码和其摘要数据的组合，在需要进行组合特征对比时，将对应的多个单一特征的数据（特征编码+其摘要数据）进行排列后再次进行摘要数据的生成，得到特征排列组合的摘要数据既可以用来与所采集图像的特征排列组合的摘要数据进行对比。后者的方法可以大大减小人脸数据库中存储数据的数量，以及特征对比时采用特征排列组合的灵活度。
若输入的待查人员识别信息对应多个人脸数据样本（例如输入的仅为姓名，存在多个重名的人员）。则在获取与每一个人脸数据样本对应的匹配度信息后，选取大于设定第三匹配度阈值的各条样本数据中匹配度最大一个作为匹配成功的数据。
步骤S600，将所述比对摘要数据发送至服务器，与所述人脸数据库中每个人脸样本数据进行匹配，根据匹配结果获取权限信息，并在权限满足所设定的待查人员飞行数据调取要求时，执行步骤S700。
此处进行匹配的方法与步骤S500中的方法一致，区别在于，步骤S500中比对的对象是一个人脸样本数据或一部分人脸样本数据，而步骤S600中是与人脸数据库中所有人脸样本数据进行匹配，匹配运算量较大，在获得与每个人脸样本数据的匹配度信息后，选取大于设定第三匹配度阈值的各条样本数据中匹配度最大一个作为匹配成功的数据。
步骤S700，通过查询终端获取查询人员设定动作信息以及录入的语音信息，进行活体检测。
本实施例采用现有的配合式活体检测方法进行活体检测，通过眨眼、张嘴、摇头、点头等配合式组合动作，使用人脸关键点定位和人脸追踪等技术，验证用户是否为真实活体本人操作，当然还可以采用其他活体检测方法，例如静默活体检测、双目活体防伪检测。
另外，为了进一步提高活体检测的精度，本发明在活体检测中，加入了语音信息，具体如下：
通过查询终端获取查询人员录入的语音信息，进行活体检测，其方法为：
通过预设的嘴部关键点对所述录入的语音信息中的每一帧进行关键点检测，并基于检测的嘴部关键点生成动态嘴型，作为第一嘴型；所述嘴部关键点包括口型关键点包括一个左嘴角点、一个右嘴角点、两个上唇边点、两个下唇边点。
分别计算所述录入的语音信息的Mel频率倒谱系数，并基于所述Mel频率倒谱系数结合对应的时间戳、所述第一嘴型的关键点位置，生成所述录入的语音信息的嘴型，作为第二嘴型；
本发明通过生成模型生成所述录入的语音信息的嘴型；其中，生成模型包括生成模块和去模糊模块；
生成模块包括3个分支：第一个分支用于提取MEL频率倒谱系数矩阵的256维特征，包含顺次连接的第1卷积层（包括64个3*3的卷积核）、第2卷积层（包含128个3*3的卷积核）、第1池化层（包含1个3*3的卷积核，且卷积核移动步长为2）、第3卷积层（包含256个3*3的卷积核）、第4卷积层（包含256个3*3的卷积核）、第5卷积层（包含512个3*3的卷积核）、第2池化层（包含512个3*3的卷积核，且卷积核移动步长为2）、第1全连接层（包含512个卷积核）和第2全连接层（包含512个卷积核），将MEL频率倒谱系数特征矩阵输入第一个分支，即可获得对应的256维特征；第二个分支用于提取标准嘴型的动态嘴型关键点，包含顺次连接的第6卷积层（包括96个7*7的卷积核，且卷积核移动步长为2）、第3池化层（包含1个3*3的卷积核，且卷积核移动步长为2）、第7卷积层（包含256个5*5的卷积核，且卷积核移动步长为2）、第4池化层（包含1个3*3的卷积核，且卷积核移动步长为2）、第8卷积层（包含512个3*3的卷积核）、第9卷积层（包含512个3*3的卷积核）、第10卷积层（包含512个3*3的卷积核）、第3全连接层（包含512个卷积核）和第4全连接层（包含256个卷积核），将标准嘴型图像输入第二分支，即可获得对应的256维特征；第三个分支用于将语音和嘴型对应，包含顺次连接的第5全连接层（包含128个卷积核）、第11卷积层（包含512个6*6的卷积核，且卷积核移动步长为2）、第12卷积层（包含256个5*5的卷积核，且卷积核移动步长为2）、第13卷积层（包含96个5*5的卷积核，且卷积核移动步长为2）、第14卷积层（包含96个5*5的卷积核，且卷积核移动步长为2）、第15卷积层（包含64个5*5的卷积核，且卷积核移动步长为2）和第16卷积层（包含3个5*5的卷积核），将第一分支输出的MEL频率倒谱系数特征矩阵对应的256维特征和第二分支输出的标准嘴型图像对应的256维特征输入到第三分支，即可获得所述录入的语音信息的嘴型。
分别提取每一帧对应的第一嘴型和第二嘴型的每一个关键点；以每一帧的帧数作为时间线，分别拟合每个关键点对应的第一嘴型曲线和第二嘴型曲线；针对任一嘴部关键点，对比其拟合的第一嘴型曲线和第二嘴型曲线，若拟合曲线的重合度大于设定值，则当前关键点比对通过；具体如下：
分别通过关键点曲线匹配模型在动态嘴型的关键点曲线和语音嘴型的关键点曲线的区域内求解Helmholte方程的本征值，分别构建曲线描述子；
通过加权欧式距离对曲线描述子进行差异性度量，度量方法如式（1）所示：
Figure 603115DEST_PATH_IMAGE001
（1）
其中，
Figure 723518DEST_PATH_IMAGE002
代表差异性度量值，
Figure 461843DEST_PATH_IMAGE003
，
Figure 591473DEST_PATH_IMAGE004
为动态嘴型的 关键点曲线的曲线描述子的第
Figure 874687DEST_PATH_IMAGE005
个分量，
Figure 165991DEST_PATH_IMAGE006
为语音嘴型的关键点曲线的曲线描述子的第
Figure 167445DEST_PATH_IMAGE005
个分量，
Figure 835186DEST_PATH_IMAGE007
为表示曲线描述子的第
Figure 238486DEST_PATH_IMAGE005
个分量和第
Figure 700691DEST_PATH_IMAGE008
个分量的权重比例，
Figure 189442DEST_PATH_IMAGE009
为曲线描述子的 分量的数量；
若差异性度量值低于设定的阈值，则当前关键点比对通过。
遍历每一个关键点，若所有关键点均比对通过，则当前视频语音数据的来源为同一用户。
当设定动作信息以及录入的语音信息均通过时，完成活体检测。
步骤S800，若活体检测结果为真，经所述服务器从所述飞行数据库下载待查人员飞行数据至查询终端并显示。
步骤S900，进行所述查询人员离开状态监测，若判断为离开状态，则将所下载至查询终端的待查人员飞行数据删除。
本步骤的目的是为了避免查询人员离开后，被其他人员继续浏览或者检索飞行信息造成的信息泄露，其中，“进行所述查询人员离开状态监测”，其方法为：
步骤S910，按照设定时间间隔重复获取所述查询人员的临时人脸图像；
步骤S920，对所采集的临时人脸图像进行特征提取，得到临时特征数据集合；
步骤S930，通过摘要算法对所述临时特征数据集合中特征数据进行处理得到临时比对摘要数据集；
步骤S940，将所述临时比对摘要数据集与所述查询人员对应的人脸数据样本中人脸特征摘要数据进行匹配，若连续N次匹配未成功，则判断所述查询人员处于离开状态。
即按照时间间隔，基于所已经确定的查询人员的人脸样本数据，进行周期性的人员身份识别，若人员离开或者换其他人来操作，则进行系统锁定或者已下载/已打开数据的删除处理，避免数据泄露。此处进行查询人员身份识别所采用的方法与上述方法一致，但是由于在先已经确认了查询人员身份，因此此处的比对是一对一的比对，及将新获得人脸图像与在先已识别的查询人员的人脸样本数据进行匹配，并获取匹配度，同样，大于设定阈值则认为人员没变，小于设定阈值则认为人员变换，若为未检测的人脸图像，则匹配度为0。
本发明第二实施例的一种基于静态和动态人脸检测的飞行数据获取设备，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的于静态和动态人脸检测的飞行数据获取方法。
本发明第三实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的于静态和动态人脸检测的飞行数据获取方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
术语“第一”、 “第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (11)

1.一种基于静态和动态人脸检测的飞行数据获取方法，应用于飞行数据查询系统，其特征在于，所述飞行数据查询系统包括飞行数据库、人脸数据库、服务器、一个或多个查询终端；所述人脸数据库中每个人脸样本数据包括一个用户的人脸特征摘要数据；所述人脸特征摘要数据为多个设定人脸特征通过摘要算法处理后得到的样本摘要数据；
飞行数据获取方法包括以下步骤：
步骤S100，通过查询终端输入待查人员识别信息，经所述服务器从所述人脸数据库获取待查人员对应的人脸数据样本；
步骤S200，通过查询终端采集查询人员的人脸图像；
步骤S300，对所采集的人脸图像进行特征提取，得到特征数据集合；
步骤S400，通过摘要算法对所述特征数据集合中特征数据进行处理得到比对摘要数据集；
步骤S500，将所述比对摘要数据集与所述待查人员对应的人脸数据样本中人脸特征摘要数据进行匹配，若匹配成功，则执行步骤S700，若未匹配成功，则执行步骤S600；
步骤S600，将所述比对摘要数据发送至服务器，与所述人脸数据库中每个人脸样本数据进行匹配，根据匹配结果获取权限信息，并在权限满足所设定的待查人员飞行数据调取要求时，执行步骤S700；
步骤S700，通过查询终端获取查询人员设定动作信息以及录入的语音信息，进行活体检测；
步骤S800，若活体检测结果为真，经所述服务器从所述飞行数据库下载待查人员飞行数据至查询终端并显示。
2.根据权利要求1所述的基于静态和动态人脸检测的飞行数据获取方法，其特征在于，在步骤S800之后还包括：
步骤S900，进行所述查询人员离开状态监测，若判断为离开状态，则将所下载至查询终端的待查人员飞行数据删除。
3.根据权利要求2所述的基于静态和动态人脸检测的飞行数据获取方法，其特征在于，“进行所述查询人员离开状态监测”，其方法为：
步骤S910，按照设定时间间隔重复获取所述查询人员的临时人脸图像，
步骤S920，对所采集的临时人脸图像进行特征提取，得到临时特征数据集合；
步骤S930，通过摘要算法对所述临时特征数据集合中特征数据进行处理得到临时比对摘要数据集；
步骤S940，将所述临时比对摘要数据集与所述查询人员对应的人脸数据样本中人脸特征摘要数据进行匹配，若连续N次匹配未成功，则判断所述查询人员处于离开状态。
4.根据权利要求1所述的基于静态和动态人脸检测的飞行数据获取方法，其特征在于，通过摘要算法获取摘要数据的方法为：
将基于设定人脸特征类别获取的人脸特征数据，按照预设的分级原则获取对应的分级信息；
将获得的分级信息通过摘要算法处理得到特征信息摘要数据；
根据预设人脸特征类别编码表，获取对应人脸特征数据的特征类别编码；
将所述特征类别编码与所述特征信息摘要数据串接得到对应人脸特征数据的摘要数据。
5.根据权利要求4所述的基于静态和动态人脸检测的飞行数据获取方法，其特征在于，“将所述比对摘要数据集与所述待查人员对应的人脸数据样本中人脸特征摘要数据进行匹配”，其方法为：
基于特征类别编码，将所述比对摘要数据集与所述待查人员对应的人脸数据样本进行单独对比，获取匹配度信息；
若匹配度大于设定匹配度阈值则判定为匹配成功。
6.根据权利要求4所述的基于静态和动态人脸检测的飞行数据获取方法，其特征在于，“将所述比对摘要数据集与所述待查人员对应的人脸数据样本中人脸特征摘要数据进行匹配”，其方法为：
基于特征类别编码，随机获取设定组数的多个特征类别的排列组合，作为类别组合项；
基于得到的类别组合项，分别对所述比对摘要数据集、所述待查人员对应的人脸数据样本，获取各类别组合对应的特征信息摘要数据组合，并基于摘要算法处理后得到各类别组对应的类别组合特征摘要数据；
将所述比对摘要数据集对应的类别组合特征摘要数据，与所述待查人员对应的人脸数据样本对应的类别组合特征摘要数据进行比对，获取匹配度信息；
若匹配度大于设定匹配度阈值则判定为匹配成功。
7.根据权利要求6所述的基于静态和动态人脸检测的飞行数据获取方法，其特征在于，每个所述类别组合项中所包含特征类别的数量通过随机函数确定。
8.根据权利要求1所述的基于静态和动态人脸检测的飞行数据获取方法，其特征在于，通过查询终端获取查询人员录入的语音信息，进行活体检测，其方法为：
通过预设的嘴部关键点对所述录入的语音信息中的每一帧进行关键点检测，并基于检测的嘴部关键点生成动态嘴型，作为第一嘴型；
分别计算所述录入的语音信息的Mel频率倒谱系数，并基于所述Mel频率倒谱系数结合对应的时间戳、所述第一嘴型的关键点位置，生成所述录入的语音信息的嘴型，作为第二嘴型；
分别提取每一帧对应的第一嘴型和第二嘴型的每一个关键点；以每一帧的帧数作为时间线，分别拟合每个关键点对应的第一嘴型曲线和第二嘴型曲线；
针对任一嘴部关键点，对比其拟合的第一嘴型曲线和第二嘴型曲线，若拟合曲线的重合度大于设定值，则当前关键点比对通过；
遍历每一个关键点，若所有关键点均比对通过，则当前视频语音数据的来源为同一用户，完成活体检测。
9.根据权利要求1-8任一项所述的基于静态和动态人脸检测的飞行数据获取方法，其特征在于，所述摘要算法为SHA-1、SHA256或MD5。
10.一种基于静态和动态人脸检测的飞行数据获取设备，其特征在于，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现权利要求1-9任一项所述的基于静态和动态人脸检测的飞行数据获取方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现权利要求1-9任一项所述的基于静态和动态人脸检测的飞行数据获取方法。
CN202210971500.4A 2022-08-15 2022-08-15 基于静态和动态人脸检测的飞行数据获取方法、设备 Active CN115063873B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210971500.4A CN115063873B (zh) 2022-08-15 2022-08-15 基于静态和动态人脸检测的飞行数据获取方法、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210971500.4A CN115063873B (zh) 2022-08-15 2022-08-15 基于静态和动态人脸检测的飞行数据获取方法、设备

Publications (2)

Publication Number Publication Date
CN115063873A true CN115063873A (zh) 2022-09-16
CN115063873B CN115063873B (zh) 2022-11-08

Family

ID=83208049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210971500.4A Active CN115063873B (zh) 2022-08-15 2022-08-15 基于静态和动态人脸检测的飞行数据获取方法、设备

Country Status (1)

Country Link
CN (1) CN115063873B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1388802A2 (en) * 2002-07-30 2004-02-11 Omron Corporation Face identification device and face identification method
CN104717069A (zh) * 2014-05-07 2015-06-17 胡荣 基于面部识别的电子交易认证方法
CN104731964A (zh) * 2015-04-07 2015-06-24 上海海势信息科技有限公司 基于人脸识别的人脸摘要方法、视频摘要方法及其装置
CN104766372A (zh) * 2015-04-29 2015-07-08 深圳市保千里电子有限公司 一种用人脸识别逃票判定系统及其使用方法
WO2019047897A1 (zh) * 2017-09-07 2019-03-14 北京市商汤科技开发有限公司 人脸解锁及其信息注册方法和装置、设备、介质
CN110277099A (zh) * 2019-06-13 2019-09-24 北京百度网讯科技有限公司 基于语音的嘴型生成方法和装置
CN110661617A (zh) * 2018-06-28 2020-01-07 厦门本能管家科技有限公司 一种基于人脸识别的私钥生成与解密的方法及系统
CN111212245A (zh) * 2020-01-15 2020-05-29 北京猿力未来科技有限公司 一种合成视频的方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1388802A2 (en) * 2002-07-30 2004-02-11 Omron Corporation Face identification device and face identification method
CN104717069A (zh) * 2014-05-07 2015-06-17 胡荣 基于面部识别的电子交易认证方法
CN104731964A (zh) * 2015-04-07 2015-06-24 上海海势信息科技有限公司 基于人脸识别的人脸摘要方法、视频摘要方法及其装置
CN104766372A (zh) * 2015-04-29 2015-07-08 深圳市保千里电子有限公司 一种用人脸识别逃票判定系统及其使用方法
WO2019047897A1 (zh) * 2017-09-07 2019-03-14 北京市商汤科技开发有限公司 人脸解锁及其信息注册方法和装置、设备、介质
CN110661617A (zh) * 2018-06-28 2020-01-07 厦门本能管家科技有限公司 一种基于人脸识别的私钥生成与解密的方法及系统
CN110277099A (zh) * 2019-06-13 2019-09-24 北京百度网讯科技有限公司 基于语音的嘴型生成方法和装置
CN111212245A (zh) * 2020-01-15 2020-05-29 北京猿力未来科技有限公司 一种合成视频的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
钟晓菲: "视频监控中的智能人脸识别系统设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Also Published As

Publication number Publication date
CN115063873B (zh) 2022-11-08

Similar Documents

Publication Publication Date Title
CN111886842B (zh) 使用基于阈值的匹配进行远程用户身份验证
CN109920174B (zh) 图书借阅方法、装置、电子设备及存储介质
TW202026948A (zh) 活體檢測方法、裝置以及儲存介質
CN108549848B (zh) 用于输出信息的方法和装置
JP2000306095A (ja) 画像照合・検索システム
CN111861240A (zh) 可疑用户识别方法、装置、设备及可读存储介质
CN108494778A (zh) 身份认证方法和装置
CN110442742A (zh) 检索图像的方法及装置、处理器、电子设备及存储介质
Chandran et al. Missing child identification system using deep learning and multiclass SVM
CN111104833A (zh) 用于活体检验的方法和装置，存储介质和电子设备
CN111241883A (zh) 防止远程被测人员作弊的方法和装置
CN112668453B (zh) 视频识别方法及相关设备
CN111862413A (zh) 实现抗疫情非接触多维身份快速识别的方法及其系统
CN112347296A (zh) 一种基于人脸识别的人员与案件关联分析方法和装置
CN107656959B (zh) 一种留言方法、装置及留言设备
CN112329586A (zh) 基于情绪识别的客户回访方法、装置及计算机设备
CN111738199A (zh) 图像信息验证方法、装置、计算装置和介质
CN111291912A (zh) 一种使用人证核验的取号方法、取号机及取号系统
CN110839242B (zh) 异常号码识别方法及装置
CN113591603A (zh) 证件的验证方法、装置、电子设备及存储介质
CN115063873B (zh) 基于静态和动态人脸检测的飞行数据获取方法、设备
CN111192150B (zh) 车辆出险代理业务的处理方法、装置、设备及存储介质
CN112308035A (zh) 图像检测方法、装置、计算机设备和存储介质
CN116311400A (zh) 掌纹图像的处理方法、电子设备及存储介质
CN110414792A (zh) 基于bim和大数据的部品集采管理系统及相关产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant