CN111738199A - 图像信息验证方法、装置、计算装置和介质 - Google Patents

图像信息验证方法、装置、计算装置和介质 Download PDF

Info

Publication number
CN111738199A
CN111738199A CN202010616687.7A CN202010616687A CN111738199A CN 111738199 A CN111738199 A CN 111738199A CN 202010616687 A CN202010616687 A CN 202010616687A CN 111738199 A CN111738199 A CN 111738199A
Authority
CN
China
Prior art keywords
image
face
sample
images
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010616687.7A
Other languages
English (en)
Other versions
CN111738199B (zh
Inventor
李桂锋
陈永录
张飞燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202010616687.7A priority Critical patent/CN111738199B/zh
Publication of CN111738199A publication Critical patent/CN111738199A/zh
Application granted granted Critical
Publication of CN111738199B publication Critical patent/CN111738199B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02—Banking, e.g. interest calculation or account maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Finance (AREA)
  • Human Computer Interaction (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Security & Cryptography (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Technology Law (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本公开提供了一种图像信息验证方法，包括：获取目标用户在输入待核实信息时的目标视频序列，目标视频序列包括多个包含人脸的帧图像；分别从多个帧图像中的每个帧图像中分割人脸图像，得到多个人脸图像；根据局部二值模式算法，从多个人脸图像中提取目标视频序列的目标特征；以及利用经训练的分类模型处理目标特征，以便验证待核实信息的真实度。本公开还提供了一种图像信息验证装置、计算装置和介质。

Description

图像信息验证方法、装置、计算装置和介质
技术领域
本公开涉及计算机视觉领域，更具体地，涉及一种图像信息验证方法、装置、计算装置和介质。
背景技术
微表情是人类的一种本能行为，属于心理应激反应的一部分，是人类表达自身感情信息的非语言行为。微表情通常是下意识的、不受思想的控制、无法掩饰且不能伪装。微表情的持续时间较短，一般在1/25秒到1/2秒之间，且微表情发生时面部肌肉的运动幅度较小。
银行以往的业务主要以线下为主，当用户办理银行业务时，需要到银行的线下网点进行办理，对用户而言费时费力。随着5G的到来，在线客服已经走上时代舞台。以往用户需要前往网点面对面处理的业务可以通过在线客服在线上进行办理，让用户不需要前往网点即可快捷办理所需的业务。
但是，当用户在线上办理“撤销挂失”、“信息维护”或“证件信息过期重新上传”等复杂业务时，需要核实个人身份信息。银行的在线系统难以辨别信息真伪性，这样会给用户账户带来一定的安全隐患。
发明内容
本公开的一个方面提供了一种图像信息验证方法，包括：获取目标用户在输入待核实信息时的目标视频序列，所述目标视频序列包括多个包含人脸的帧图像；分别从所述多个帧图像中的每个帧图像中分割人脸图像，得到多个人脸图像；根据局部二值模式算法，从所述多个人脸图像中提取所述目标视频序列的目标特征；以及利用经训练的分类模型处理所述目标特征，以便验证所述待核实信息的真实度。
可选地，所述方法还包括：训练所述分类模型，其中，所述训练所述分类模型包括：获取多个样本视频序列和与所述多个样本视频序列对应的真伪标签，其中，所述多个样本视频序列中的每个样本视频序列包括多个样本图像；针对每一个样本视频序列，根据局部二值模式算法，从所述样本视频序列的样本图像中提取样本特征；根据所述样本特征输入所述分类模型，得到分类结果；以及根据所述分类结果和所述真伪标签，调整局部二值模式算法的参数和所述分类模型的参数。
可选地，所述方法还包括，在所述分别从所述多个帧图像中的每个帧图像中分割人脸图像之前：根据所述每个帧图像，确定关键点集；以及根据所述关键点集，对所述每个帧图像进行归一化处理。
可选地，所述根据所述关键点集，对所述每个帧图像进行归一化处理，包括：获取模板帧图像，并从所述模板图像中确定多个第一人脸关键点；针对所述多个帧图像中的每个帧图像，从所述帧图像中确定多个第二人脸关键点；根据所述多个第一人脸关键点和所述多个第二人脸关键点，确定所述帧图像的权重；以及利用所述权重对所述帧图像的每个像素值进行加权，以得到归一化处理后的所述帧图像。
可选地，所述方法还包括，在所述分别从所述多个帧图像中的每个帧图像中分割人脸图像之后：根据时间插值算法，对多个所述人脸图像进行插值操作，以归一化图像序列帧数。
可选地，其中，所述分别从所述多个帧图像中的每个帧图像中分割人脸图像，包括：获取所述模板帧图像中的两个瞳孔坐标；根据所述两个瞳孔坐标，确定感兴趣区域；以及根据所述感兴趣区域，从所述每个帧图像中分割所述人脸图像。
本公开的另一个方面提供了一种图像信息验证装置，包括：获取模块，用于获取目标用户在输入待核实信息时的目标视频序列，所述目标视频序列包括多个包含人脸的帧图像；分割模块，用于分别从所述多个帧图像中的每个帧图像中分割人脸图像，得到多个人脸图像；特征提取模块，用于根据局部二值模式算法，从所述多个人脸图像中提取所述目标视频序列的目标特征；以及分类模块，用于利用经训练的分类模型处理所述目标特征，以便验证所述待核实信息的真实度。
可选地，所述装置还包括：训练模块，用于训练所述分类模型，其中，所述训练模块包括：样本获取子模块，用于获取多个样本视频序列和与所述多个样本视频序列对应的真伪标签，其中，所述多个样本视频序列中的每个样本视频序列包括多个样本图像；提取子模块，用于针对每一个样本视频序列，根据局部二值模式算法，从所述样本视频序列的样本图像中提取样本特征；输入子模块，用于根据所述样本特征输入所述分类模型，得到分类结果；以及调整子模块，用于根据所述分类结果和所述真伪标签，调整局部二值模式算法的参数和所述分类模型的参数。
本公开的另一个方面提供了一种计算设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上所述的方法。
本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
根据本公开的实施例，通过获取目标用户在输入待核实信息时的目标视频序列，从目标视频序列中提取特征，并利用经训练的分类模型处理目标特征，以便验证待核实信息的真实度。使得用户不必前往指定线下网点即可进行业务所需的信息验证，拓展了银行在线办理业务的范围，提升了银行信息核实相关业务的工作效率，并降低了客户账户的安全隐患。
附图说明
为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：
图1示意性示出了根据本公开的实施例的图像信息验证方法和图像信息验证装置的系统架构；
图2示意性示出了根据本公开的实施例的图像信息验证方法的流程图；
图3示意性示出了根据本公开的实施例的训练分类模型的流程图；
图4示意性示出了根据本公开另一实施例的图像信息验证方法的流程图；
图5示意性示出了根据本公开的实施例的根据关键点集，对每个帧图像进行归一化处理的流程图；
图6示意性示出了根据本公开的实施例的别从多个帧图像中的每个帧图像中分割人脸图像的流程图；
图7示意性示出了根据本公开另一实施例的图像信息验证方法的流程图；
图8示意性示出了根据本公开的实施例的人脸图像序列的示意图；
图9示意性示出了根据本公开的实施例的人脸图像集的示意图；
图10示意性示出了根据本公开的实施例的将人脸图像集划分为特征块的示意图；
图11示意性示出了根据本公开的实施例的对人脸图像集采用LBP-TOP算法获得三维LBP特征的示意图；
图12示意性示出了根据本公开的实施例的混淆矩阵的示意图；
图13示意性示出了根据本公开的实施例的在线身份核实系统操作界面示意图；
图14示意性示出了根据本公开的实施例的图像信息验证装置的框图；
图15示意性示出了根据本公开的实施例的图像信息验证装置的框图；以及
图16示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机系统的方框图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。
本公开的实施例提供了一种图像信息验证方法以及能够应用该方法的图像信息验证装置。该方法包括获取目标用户在输入待核实信息时的目标视频序列，用户目标视频序列包括多个包含人脸的帧图像；分别从用户多个帧图像中的每个帧图像中分割人脸图像，得到多个人脸图像；根据局部二值模式算法，从用户多个人脸图像中提取用户目标视频序列的目标特征；以及利用经训练的分类模型处理用户目标特征，以便验证用户待核实信息的真实度。
图1示意性示出了根据本公开的实施例的图像信息验证方法和图像信息验证装置的系统架构。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示，该系统架构100可以包括终端设备101、服务器102和网络103。网络103用以在终端设备101和服务器102之间提供通信链路的介质。网络103可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101通过网络103与服务器102交互，以接收或发送消息等。终端设备101上可以安装有各种通讯客户端应用，例如手机银行客户端、购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备101可以是具有图像采集装置(例如摄像头)和输入装置(例如键盘、触摸屏等)的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。终端设备101可以在用户通过输入装置输入信息时采集用户的脸部图像，并将用户输入的信息和采集到的脸部图像通过网络103传输至服务器102。
服务器102可以是提供各种服务的服务器，例如对用户利用终端设备101所浏览的网站提供支持的后台管理服务器。后台管理服务器可以对接收到的用户的脸部图像进行分析验证等处理，并得到验证结果，根据验证结果可以确定用户所输入信息的真实性。
需要说明的是，本公开实施例所提供的图像信息验证方法一般可以由服务器102执行。相应地，本公开实施例所提供的图像信息验证装置一般可以设置于服务器102中。本公开实施例所提供的图像信息验证方法也可以由不同于服务器102且能够与终端设备101和/或服务器102通信的服务器或服务器集群执行。相应地，本公开实施例所提供的图像信息验证装置也可以设置于不同于服务器102且能够与终端设备101和/或服务器102通信的服务器或服务器集群中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
图2示意性示出了根据本公开的实施例的图像信息验证方法的流程图。
如图2所示，该方法包括操作S210～S240。
在操作S210，获取目标用户在输入待核实信息时的目标视频序列。
其中，目标视频序列包括多个(帧)包含人脸的帧图像。
根据本公开的实施例，可以将目标用户在输入待核实信息的过程录制为视频片段，然后将该视频片段序列化，以得到目标视频序列。
在操作S220，分别从多个帧图像中的每个帧图像中分割人脸图像，得到多个人脸图像。
根据本公开的实施例，可以将帧图像中不包含人脸信息的区域删除，仅分割包含人脸信息的区域，从而得到人脸图像，以供后续处理。
在操作S230，根据局部二值模式算法，从多个人脸图像中提取目标视频序列的目标特征。
根据本公开的实施例，局部二值模式算法例如可以包括LBP-TOP(Local BinaryPattems on Three Orthogonal Planes，三正交平面的局部二值模式特征)算法。基于此，操作S230例如可以包括利用LBP-TOP算法，将目标视频序列中的多个人脸图像在三维空间划分为A×B×C的特征块，其中A为列向块数，由人脸图像的单位列中的像素数量确定，B为行向块数，由人脸图像的单位行中的像素数量确定，C为时间向块数，由目标视频序列的时长确定。
在操作S240，利用经训练的分类模型处理目标特征，以便验证待核实信息的真实度。
人在作假时，面部的表情会有细微变化。基于这一原理，根据本公开的实施例的分类模型在经过训练后可以用于识别图像中的人脸微表情特征，从而确定该图像中的用户是否在作假。其中，分类模型例如可以为LSVM(Linear Support Vector Machine，线性支持向量机)。
基于此，操作S240例如可以包括将目标视频序列的目标特征输入经训练的LSVM，以得到用户的真实度，然后根据用户的真实度验证用户所输入的待验证信息的真实度。
根据本公开的实施例，通过获取目标用户在输入待核实信息时的目标视频序列，从目标视频序列中提取特征，并利用经训练的分类模型处理目标特征，以便验证待核实信息的真实度。使得用户不必前往指定线下网点即可进行业务所需的信息验证，拓展了银行在线办理业务的范围，提升了银行信息核实相关业务的工作效率，并降低了客户账户的安全隐患。
除了操作S210～S240之外，该方法还可以包括操作S310，训练分类模型。操作S310例如可以在操作S210之前执行。
图3示意性示出了根据本公开的实施例的训练分类模型的流程图。
如图3所示，训练分类模型例如可以包括操作S311～S314。
其中，在操作S311，获取多个样本视频序列和与多个样本视频序列对应的真伪标签。其中，多个样本视频序列中的每个样本视频序列包括多个样本图像。
根据本公开的实施例，可以采集多个正在作假时的人脸的视频片段和没有作假时的人脸视频片段，将这些包含人脸信息的视频片段序列化为样本视频序列。每个样本视频序列具有与之对应的真伪标签，若样本视频序列中包含的是作假时的人脸信息则其真伪标签为假(false)，若样本视频序列中包含的是没有作假时的人脸信息则其真伪标签为真(true)。
在操作S312，针对每一个样本视频序列，根据局部二值模式算法，从样本视频序列的样本图像中提取样本特征。
根据本公开的实施例，可以从样本视频序列中提取包含人脸信息的帧图像。将这些帧图像集采用LBP-TOP算法获得三维LBP特征。
在操作S313，根据样本特征输入分类模型，得到分类结果。
根据本公开的实施例，分类模型例如可以为线性支持向量机。操作S313例如可以包括创建分类模型，将操作S312中得到的三维LBP特征输入线性支持向量机中，得到分类结果。根据本公开的实施例，分类结果例如可以包括真(true)和假(false)。
在操作S314，根据分类结果和真伪标签，调整局部二值模式算法的参数和分类模型的参数。
根据本公开的实施例，局部二值模式算法的参数例如可以包括列向块数、行向块数和时间向块数中的任意一个或多个。
根据本公开的实施例，可以重复执行操作S312～S314，直到所得到的分类结果的正确率满足预设要求。
本实施例中，可以将分类结果的精度以混淆矩阵的形式表示，混淆矩阵的每一列代表了预测类别，每一行代表了数据的真实归属类别，混淆矩阵在对角线上的值代表模型预测的正确率。示例性地，混淆矩阵例如表1所示。其中，该混淆矩阵的对角线上的值分别为71.60和68.60，即表示该模型预测true的正确率为71.60％，预测false的正确率为68.60。
Figure BDA0002563006420000091
Figure BDA0002563006420000101
表1
根据本公开的实施例，若重复执行操作S312～S314若干次后，混淆矩阵在对角线上的值达到局部最优解，即后续得到的分类结果的正确率不再增大，则该分类结果的正确率满足预设要求。
图4示意性示出了根据本公开另一实施例的图像信息验证方法的流程图。
如图4所示，除了操作S210～S240之外，该方法还可以包括操作S410～S420。其中，操作S410可以在分别从多个帧图像中的每个帧图像中分割人脸图像之前执行。
在操作S410，根据每个帧图像，确定关键点集。
根据本公开的实施例，可以利用ASM(Active Shape Model，主动形状模型)算法对每个帧图像标定预设个数的人脸关键点，每个帧图像所对应的所有人脸关键点作为该帧图像的关键点集。示例性地，本实施例中，预设个数例如可以为68个。
根据本公开的实施例，当在一帧中标定出多个关键点集时，需要对这些关键点集做筛选。更具体地，对于一帧中标定出的k个关键点集时(k≥1)，可以根据式I计算每个关键点集中任意两个关键点的相对距离，选择L(k)(Ii)最大的两个关键点所属的关键点集作为待检测人脸的关键点集。
Figure BDA0002563006420000102
其中，Ii表示一个视频片段中的第i个帧图像，i≥1，L(k)(Ii)表示第i个帧图像的第k个关键点集的任意两个关键点的相对距离，p、q指同一个关键点集中任意两个关键点，p，q∈[1，68]且
Figure BDA0002563006420000111
在操作S420，根据关键点集，对每个帧图像进行归一化处理。
图5示意性示出了根据本公开的实施例的根据关键点集，对每个帧图像进行归一化处理的流程图。
如图5所示，除了操作S420例如可以包括操作S521～S524。
在操作S521，获取模板帧图像，并从模板图像中确定多个第一人脸关键点。
在操作S522，针对多个帧图像中的每个帧图像，从帧图像中确定多个第二人脸关键点。
在操作S523，根据多个第一人脸关键点和多个第二人脸关键点，确定帧图像的权重。
在操作S524，利用权重对帧图像的每个像素值进行加权，以得到归一化处理后的帧图像。
根据本公开的实施例，可以从所有帧图像中确定一个人脸位置居中、角度端正的帧图像，作为模板帧图像。然后从模板帧图像的关键点集中确定多个第一人脸关键点。示例性地，本实施例中，将模板帧图像的关键点集中的所有关键点作为第一关键点。
根据本公开的实施例，可以从除模板帧图像之外的其他帧图像中的每个关键点集中确定多个第二人脸关键点。示例性地，本实施例中，将其他帧图像中的每个关键点集中的所有关键点作为第二关键点。
根据本公开的实施例，可以利用LWM(Local Weighted Mean，局部加权平均算法)函数建立模板帧图像的关键点集与视频序列中第一帧帧图像的关键点集之间的对应关系T：
Figure BDA0002563006420000112
其中，Imod为模板帧图像，I1为视频序列的第一帧帧图像，
Figure BDA0002563006420000113
为模板帧图像的关键点集，
Figure BDA0002563006420000121
为第一帧帧图像的关键点集，LWM()为LWM函数。
根据本公开的实施例，当Imod为某一个视频序列的第一帧时，T为常数1。
根据本公开的实施例，可以将T作为帧图像的权重，然后根据以下公式(式III)，将同一视频序列中的帧图像归一化为类模型帧图像的样式：
I′i＝T·Ii (式III)
其中，I′i为归一化后的第i帧帧图像。
图6示意性示出了根据本公开的实施例的别从多个帧图像中的每个帧图像中分割人脸图像的流程图。
如图6所示，操作S220例如可以包括操作S610～S630。
在操作S610，获取模板帧图像中的两个瞳孔坐标。
在操作S620，根据两个瞳孔坐标，确定感兴趣区域。
在操作S630，根据感兴趣区域，从每个帧图像中分割人脸图像。
根据本公开的实施例，两个瞳孔坐标可以通过图像识别得到，或者由人工标定。
根据本公开的实施例，可以根据两个瞳孔坐标，计算两个瞳孔之间的瞳距，然后根据该瞳距计算人脸所处的区域，即感兴趣区域。示例性地，本实施例中，感兴趣区域的宽和高为瞳距的两倍。
根据本公开的实施例，通过从每个帧图像中分割感兴趣区域内的图像得到人脸图像，可以将帧图像中不包含人脸信息的背景区域删除，仅保留包含人脸信息的区域，可以降低环境因素对识别的干扰，提高微表情识别的准确度。
图7示意性示出了根据本公开另一实施例的图像信息验证方法的流程图。
如图7所示，除了操作S210～S240和S310之外，该方法还可以包括操作S710，根据时间插值算法，对多个人脸图像进行插值操作，以归一化图像序列帧数。
根据本公开的实施例，若各个视频序列的帧数不同，则可以利用TIM(TemporalInterpolation Model，时间插值模型)针对每个视频序列进行差值操作，以将各视频序列统一为相同帧数。
根据本公开的实施例，操作S710例如可以在分别从多个帧图像中的每个帧图像中分割人脸图像之后执行。
下面结合图8-13和具体实施例对本公开实施例的方法做进一步说明。本领域技术人员可以理解，以下示例实施例仅用于理解本公开，本公开并不局限于此。
步骤1：采集包含人脸信息的多个视频片段，将每个视频片段序列化为视频序列，对每个视频序列利用步骤1.1至步骤1.3进行处理，得到预处理后的人脸图像序列。
步骤1.1：选取视频片段的模型帧图像，对视频序列的模型帧图像和第一帧帧图像分别利用ASM人脸标定算法标定待识别人脸的关键点集。
步骤1.2：对步骤1.1得到的模型帧图像与第一帧帧图像的关键点集建立对应关系模型，将视频序列中其余帧图像分别输入对应关系模型，得到姿态统一的视频序列。
步骤1.3：对步骤1.2得到的姿态统一的视频序列按照待识别人脸的瞳距进行背景分割，得到分割后的多个人脸图像，即人脸图像序列，如图8所示。
步骤2：对步骤1得到的人脸图像序列利用TIM算法统一帧数，得到差值后的视频序列，即人脸图像集，如图9所示。
步骤3：对步骤2得到的人脸图像集采用LBP-TOP算法获得三维LBP特征。
更具体地，如图10所示，将人脸图像集在三维空间划分为多个8×8×1的特征块(也称立方体)，其中第一个参数(8)为列向块数、第二个参数(8)为行向块数、第三个参数(1)为时间向块数。如图11所示，对图10的人脸图像集采用编码方式为uniform code，半径值R为2，采样数目P为8的LBP模型提取特征。先对单个立方体分别提取XY、XT和YT三个方向的LBP特征，将三个LBP特征串联合并组成单个立方体的LBP-TOP特征(LBP-TOP1)，然后遍历全集得到整体的LBP-TOP特征(LBP-TOP2)。
步骤4：将该三维LBP特征输入LSVM分类器，得到人脸图像集包含的与人脸信息对应的微表情类别。
步骤5：根据步骤3获得的LSVM分类结果，确定分析混淆矩阵，更改LBP-TOP参数重复步骤3，直至混淆矩阵区域分明，如图12所示。
步骤6：根据模型脸关键点集、对应关系、人脸分割尺寸、TIM算法参数、LSVM算法参数和LBP-TOP特征提取算法的分块参数，建立在线信息核实系统。
步骤7：当用户办理线上业务时，实时录制客服人员与客户的交流过程，利用在线信息核实系统，根据录制的视频片段分析用户在交谈过程中的微表情变化，得到分析结果，将分析结果实时展示在系统界面，客服人员可以通过分析结果判定用户所提供信息的真伪性。
图13示例性示出了根据本公开实施例的在线身份核实系统操作界面示意图。如图13所示，左侧为视频采集和分析结果展示区域，右侧为审核业务办理区域。审核人员可以以展示区域所展示的用户的视频图像和分析结果作为参考，确定用户在办理业务时所提供的信息的真伪性。
图14示意性示出了根据本公开的实施例的图像信息验证装置的框图。
如图14所示，图像信息验证装置1400包括获取模块1410、分割模块1420、特征提取模块1430和分类模块1440。
具体地，获取模块1410，用于获取目标用户在输入待核实信息时的目标视频序列，目标视频序列包括多个包含人脸的帧图像。
分割模块1420，用于分别从多个帧图像中的每个帧图像中分割人脸图像，得到多个人脸图像。
特征提取模块1430，用于根据局部二值模式算法，从多个人脸图像中提取目标视频序列的目标特征。
分类模块1440，用于利用经训练的分类模型处理目标特征，以便验证待核实信息的真实度。
根据本公开的实施例，通过获取目标用户在输入待核实信息时的目标视频序列，从目标视频序列中提取特征，并利用经训练的分类模型处理目标特征，以便验证待核实信息的真实度。使得用户不必前往指定线下网点即可进行业务所需的信息验证，拓展了银行在线办理业务的范围，提升了银行信息核实相关业务的工作效率，并降低了客户账户的安全隐患。
图15示意性示出了根据本公开的实施例的图像信息验证装置的框图。
如图15所示，除了获取模块1410、分割模块1420、特征提取模块1430和分类模块1440之外，图像信息验证装置1500还可以包括1510。
具体地，训练模块1510，用于训练分类模型，其中，训练模块可以包括：
样本获取子模块1511，用于获取多个样本视频序列和与多个样本视频序列对应的真伪标签，其中，多个样本视频序列中的每个样本视频序列包括多个样本图像。
提取子模块1512，用于针对每一个样本视频序列，根据局部二值模式算法，从样本视频序列的样本图像中提取样本特征。
输入子模块1513，用于根据样本特征输入分类模型，得到分类结果。
调整子模块1514，用于根据分类结果和真伪标签，调整局部二值模式算法的参数和分类模型的参数。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
例如，获取模块1410、分割模块1420、特征提取模块1430、分类模块1440和训练模块1510中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，获取模块1410、分割模块1420、特征提取模块1430、分类模块1440和训练模块1510中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，获取模块1410、分割模块1420、特征提取模块1430、分类模块1440和训练模块1510中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
图16示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机系统的方框图。图16示出的计算机系统仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图16所示，图像信息验证装置1600包括处理器1610和计算机可读存储介质1620。该计算机系统1600可以执行根据本公开实施例的方法。
具体地，处理器1610例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器1610还可以包括用于缓存用途的板载存储器。处理器1610可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
计算机可读存储介质1620，例如可以是非易失性的计算机可读存储介质，具体示例包括但不限于：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；等等。
计算机可读存储介质1620可以包括计算机程序1621，该计算机程序1621可以包括代码/计算机可执行指令，其在由处理器1610执行时使得处理器1610执行根据本公开实施例的方法或其任何变形。
计算机程序1621可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序1621中的代码可以包括一个或多个程序模块，例如包括1621A、模块1621B、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器1610执行时，使得处理器1610可以执行根据本公开实施例的方法或其任何变形。
根据本发明的实施例，获取模块1410、分割模块1420、特征提取模块1430、分类模块1440和训练模块1510中的至少一个可以实现为参考图16描述的计算机程序模块，其在被处理器1610执行时，可以实现上面描述的相应操作。
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (10)

1.一种图像信息验证方法，包括：
获取目标用户在输入待核实信息时的目标视频序列，所述目标视频序列包括多个包含人脸的帧图像；
分别从所述多个帧图像中的每个帧图像中分割人脸图像，得到多个人脸图像；
根据局部二值模式算法，从所述多个人脸图像中提取所述目标视频序列的目标特征；以及
利用经训练的分类模型处理所述目标特征，以便验证所述待核实信息的真实度。
2.根据权利要求1所述的方法，还包括：
训练所述分类模型，其中，所述训练所述分类模型包括：
获取多个样本视频序列和与所述多个样本视频序列对应的真伪标签，其中，所述多个样本视频序列中的每个样本视频序列包括多个样本图像；
针对每一个样本视频序列，根据局部二值模式算法，从所述样本视频序列的样本图像中提取样本特征；
根据所述样本特征输入所述分类模型，得到分类结果；以及
根据所述分类结果和所述真伪标签，调整局部二值模式算法的参数和所述分类模型的参数。
3.根据权利要求1所述的方法，还包括，在所述分别从所述多个帧图像中的每个帧图像中分割人脸图像之前：
根据所述每个帧图像，确定关键点集；以及
根据所述关键点集，对所述每个帧图像进行归一化处理。
4.根据权利要求3所述的方法，其中，所述根据所述关键点集，对所述每个帧图像进行归一化处理，包括：
获取模板帧图像，并从所述模板图像中确定多个第一人脸关键点；
针对所述多个帧图像中的每个帧图像，从所述帧图像中确定多个第二人脸关键点；
根据所述多个第一人脸关键点和所述多个第二人脸关键点，确定所述帧图像的权重；以及
利用所述权重对所述帧图像的每个像素值进行加权，以得到归一化处理后的所述帧图像。
5.根据权利要求1所述的方法，还包括，在所述分别从所述多个帧图像中的每个帧图像中分割人脸图像之后：
根据时间插值算法，对多个所述人脸图像进行插值操作，以归一化图像序列帧数。
6.根据权利要求4所述的方法，其中，所述分别从所述多个帧图像中的每个帧图像中分割人脸图像，包括：
获取所述模板帧图像中的两个瞳孔坐标；
根据所述两个瞳孔坐标，确定感兴趣区域；以及
根据所述感兴趣区域，从所述每个帧图像中分割所述人脸图像。
7.一种图像信息验证装置，包括：
获取模块，用于获取目标用户在输入待核实信息时的目标视频序列，所述目标视频序列包括多个包含人脸的帧图像；
分割模块，用于分别从所述多个帧图像中的每个帧图像中分割人脸图像，得到多个人脸图像；
特征提取模块，用于根据局部二值模式算法，从所述多个人脸图像中提取所述目标视频序列的目标特征；以及
分类模块，用于利用经训练的分类模型处理所述目标特征，以便验证所述待核实信息的真实度。
8.根据权利要求7所述的装置，还包括：
训练模块，用于训练所述分类模型，其中，所述训练模块包括：
样本获取子模块，用于获取多个样本视频序列和与所述多个样本视频序列对应的真伪标签，其中，所述多个样本视频序列中的每个样本视频序列包括多个样本图像；
提取子模块，用于针对每一个样本视频序列，根据局部二值模式算法，从所述样本视频序列的样本图像中提取样本特征；
输入子模块，用于根据所述样本特征输入所述分类模型，得到分类结果；以及
调整子模块，用于根据所述分类结果和所述真伪标签，调整局部二值模式算法的参数和所述分类模型的参数。
9.一种计算设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序，
其中，当一个或多个计算机程序被一个或多个处理器执行时，使得一个或多个处理器实现权利要求1至6中任一项的方法。
10.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现权利要求1至6中任一项的方法。
CN202010616687.7A 2020-06-30 2020-06-30 图像信息验证方法、装置、计算装置和介质 Active CN111738199B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010616687.7A CN111738199B (zh) 2020-06-30 2020-06-30 图像信息验证方法、装置、计算装置和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010616687.7A CN111738199B (zh) 2020-06-30 2020-06-30 图像信息验证方法、装置、计算装置和介质

Publications (2)

Publication Number Publication Date
CN111738199A true CN111738199A (zh) 2020-10-02
CN111738199B CN111738199B (zh) 2023-12-19

Family

ID=72653897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010616687.7A Active CN111738199B (zh) 2020-06-30 2020-06-30 图像信息验证方法、装置、计算装置和介质

Country Status (1)

Country Link
CN (1) CN111738199B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686232A (zh) * 2021-03-18 2021-04-20 平安科技（深圳）有限公司 基于微表情识别的教学评价方法、装置、电子设备及介质
CN112699236A (zh) * 2020-12-22 2021-04-23 浙江工业大学 一种基于情感识别与瞳孔大小计算的Deepfake检测方法
CN113570689A (zh) * 2021-07-28 2021-10-29 杭州网易云音乐科技有限公司 人像卡通化方法、装置、介质和计算设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650555A (zh) * 2015-11-02 2017-05-10 苏宁云商集团股份有限公司 一种基于机器学习的真人验证方法及系统
CN109977769A (zh) * 2019-02-21 2019-07-05 西北大学 一种低分辨率环境下微表情识别的方法
CN110427899A (zh) * 2019-08-07 2019-11-08 网易（杭州）网络有限公司 基于人脸分割的视频预测方法及装置、介质、电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650555A (zh) * 2015-11-02 2017-05-10 苏宁云商集团股份有限公司 一种基于机器学习的真人验证方法及系统
CN109977769A (zh) * 2019-02-21 2019-07-05 西北大学 一种低分辨率环境下微表情识别的方法
CN110427899A (zh) * 2019-08-07 2019-11-08 网易（杭州）网络有限公司 基于人脸分割的视频预测方法及装置、介质、电子设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112699236A (zh) * 2020-12-22 2021-04-23 浙江工业大学 一种基于情感识别与瞳孔大小计算的Deepfake检测方法
CN112699236B (zh) * 2020-12-22 2022-07-01 浙江工业大学 一种基于情感识别与瞳孔大小计算的Deepfake检测方法
CN112686232A (zh) * 2021-03-18 2021-04-20 平安科技（深圳）有限公司 基于微表情识别的教学评价方法、装置、电子设备及介质
CN113570689A (zh) * 2021-07-28 2021-10-29 杭州网易云音乐科技有限公司 人像卡通化方法、装置、介质和计算设备
CN113570689B (zh) * 2021-07-28 2024-03-01 杭州网易云音乐科技有限公司 人像卡通化方法、装置、介质和计算设备

Also Published As

Publication number Publication date
CN111738199B (zh) 2023-12-19

Similar Documents

Publication Publication Date Title
CN109726624B (zh) 身份认证方法、终端设备和计算机可读存储介质
US20230081645A1 (en) Detecting forged facial images using frequency domain information and local correlation
CN106897658B (zh) 人脸活体的鉴别方法和装置
CN107690657B (zh) 根据影像发现商户
CN108280477B (zh) 用于聚类图像的方法和装置
CN108717663B (zh) 基于微表情的面签欺诈判断方法、装置、设备及介质
CN111222500B (zh) 一种标签提取方法及装置
JP2020504358A (ja) 画像ベースの車両損害評価方法、装置、およびシステム、ならびに電子デバイス
CN108229376B (zh) 用于检测眨眼的方法及装置
CN109034069B (zh) 用于生成信息的方法和装置
CN109919244B (zh) 用于生成场景识别模型的方法和装置
US11126827B2 (en) Method and system for image identification
CN111738199B (zh) 图像信息验证方法、装置、计算装置和介质
CN111241989A (zh) 图像识别方法及装置、电子设备
JP2022521038A (ja) 顔認識方法、ニューラルネットワークのトレーニング方法、装置及び電子機器
CN108229375B (zh) 用于检测人脸图像的方法和装置
CN108388889B (zh) 用于分析人脸图像的方法和装置
CN108509994B (zh) 人物图像聚类方法和装置
Chandran et al. Missing child identification system using deep learning and multiclass SVM
CN112966574A (zh) 人体三维关键点预测方法、装置及电子设备
CN111931628B (zh) 人脸识别模型的训练方法、装置及相关设备
CN108399401B (zh) 用于检测人脸图像的方法和装置
CN113515988A (zh) 掌纹识别方法、特征提取模型训练方法、设备及介质
CN109829431B (zh) 用于生成信息的方法和装置
CN109064464B (zh) 用于检测电池极片毛刺的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant