CN111695571A - 公证文件核验方法、装置、计算机设备及存储介质 - Google Patents

公证文件核验方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN111695571A
CN111695571A CN202010583279.6A CN202010583279A CN111695571A CN 111695571 A CN111695571 A CN 111695571A CN 202010583279 A CN202010583279 A CN 202010583279A CN 111695571 A CN111695571 A CN 111695571A
Authority
CN
China
Prior art keywords
image
user
document
current user
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010583279.6A
Other languages
English (en)
Inventor
熊玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Smart Technology Co Ltd
OneConnect Financial Technology Co Ltd Shanghai
Original Assignee
OneConnect Financial Technology Co Ltd Shanghai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Financial Technology Co Ltd Shanghai filed Critical OneConnect Financial Technology Co Ltd Shanghai
Priority to CN202010583279.6A priority Critical patent/CN111695571A/zh
Publication of CN111695571A publication Critical patent/CN111695571A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/28—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet
    • G06V30/287—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet of Kanji, Hiragana or Katakana characters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Marketing (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Economics (AREA)
  • Computing Systems (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)

Abstract

本发明公开了公证文件核验方法、装置、计算机设备及存储介质，涉及人工智能的生物识别，在用户到达公证处的自助办理终端处时，基于待公证文件对应的待办事项类型进行事项办理的双录以得到当前用户视频和当前用户音频，基于当前用户视频对应的微表情识别结果以及当前用户音频对应的语音情感识别结果综合考虑得到双录情感识别结果，以双录情感识别结果确定事项是否自助办理成功。该方法实现了基于自助办理终端对用户公证过程进行自动数据处理，而且基于微表情识别结果和语音情感识别结果综合考虑对应的双录情感识别结果来判定用户在公证事项办理过程中是否存在欺诈，不仅提高了公证事项办理效率，而且有效结合用户状态以识别公证材料的真伪性。

Description

公证文件核验方法、装置、计算机设备及存储介质
技术领域
本发明涉及人工智能的生物识别技术领域，尤其涉及一种公证文件核验方法、装置、计算机设备及存储介质。
背景技术
目前，用户去公证处现场办理公证等手续时，一般是采用人工核验，由工作人员进行一对一的服务，进行用户身份核实，资料的填写等。通过人工方式办理公证时，公证材料的人工判断核验需要一定的时间，这就导致整个公证办理过程耗时长，工作人员也无法快速有效且无法结合用户状态以识别公证材料的真伪性。
发明内容
本发明实施例提供了一种公证文件核验方法、装置、计算机设备及存储介质，旨在解决现有技术中通过人工方式办理公证时，公证办理过程耗时长，公证员也无法快速有效且无法结合用户状态以识别公证材料的真伪性的问题。
第一方面，本发明实施例提供了一种公证文件核验方法，其包括：
若接收到用户终端发送的当前到达指令，获取与所述当前到达指令对应的待办事项类型，将与所述待办事项类型对应的提示流程进行显示；
获取待公证文件的当前扫描文档，以通过OCR文本识别模型获取与所述当前扫描文档对应的文档主题词和办理人信息；
判断所述文档主题词是否为所述待办事项类型对应的事项关键词集合中的其中一个事项关键词；
若所述文档主题词为所述待办事项类型对应的事项关键词集合中的其中一个事项关键词，判断是否接收到用户的公证事项办理指令；
若接收到用户的公证事项办理指令，激活摄像头采集当前用户头像以进行身份识别，得到与当前用户头像对应的当前用户识别信息；
判断所述当前用户识别信息中的用户姓名是否与办理人信息的办理人姓名相同；
若所述当前用户识别信息中的用户姓名与办理人信息的办理人姓名相同，激活摄像头和麦克风进行视频及音频双项录制，以得到当前用户视频和当前用户音频；
通过对所述当前用户视频进行微表情识别得到微表情识别结果，通过对所述当前用户音频进行语音情感识别得到对应的语音情感识别结果；
通过所述当前用户视频对应的微表情识别结果乘以对应预设的第一权重值得到第一参数值，通过所述当前用户音频对应的语音情感识别结果乘以对应预设的第二权重值得到第二参数值，将所述第一参数值与所述第二参数值求和得到双录情感识别结果；
判断所述双录情感识别结果对应的识别值是否小于预设的识别值阈值；
若所述双录情感识别结果对应的识别值小于所述识别值阈值，进行用于提示用户审核未通过并需去人工办理的第一语音提示；以及
若所述双录情感识别结果对应的识别值大于或等于所述识别值阈值，进行用于提示用户电子签名并确定结束事项办理的第二语音提示。
第二方面，本发明实施例提供了一种公证文件核验装置，其包括：
待办事项流程显示单元，用于若接收到用户终端发送的当前到达指令，获取与所述当前到达指令对应的待办事项类型，将与所述待办事项类型对应的提示流程进行显示；
OCR文本识别单元，用于获取待公证文件的当前扫描文档，以通过OCR文本识别模型获取与所述当前扫描文档对应的文档主题词和办理人信息；
关键词判断单元，用于判断所述文档主题词是否为所述待办事项类型对应的事项关键词集合中的其中一个事项关键词；
公证事项办理指令检测单元，用于若所述文档主题词为所述待办事项类型对应的事项关键词集合中的其中一个事项关键词，判断是否接收到用户的公证事项办理指令；
用户身份识别单元，用于若接收到用户的公证事项办理指令，激活摄像头采集当前用户头像以进行身份识别，得到与当前用户头像对应的当前用户识别信息；
办理人信息比对单元，用于判断所述当前用户识别信息中的用户姓名是否与办理人信息的办理人姓名相同；
双录单元，用于若所述当前用户识别信息中的用户姓名与办理人信息的办理人姓名相同，激活摄像头和麦克风进行视频及音频双项录制，以得到当前用户视频和当前用户音频；
双识别单元，用于通过对所述当前用户视频进行微表情识别得到微表情识别结果，通过对所述当前用户音频进行语音情感识别得到对应的语音情感识别结果；
双录情感识别单元，用于通过所述当前用户视频对应的微表情识别结果乘以对应预设的第一权重值得到第一参数值，通过所述当前用户音频对应的语音情感识别结果乘以对应预设的第二权重值得到第二参数值，将所述第一参数值与所述第二参数值求和得到双录情感识别结果；
双录情感识别结果比对单元，用于判断所述双录情感识别结果对应的识别值是否小于预设的识别值阈值；
第一语音提示单元，用于若所述双录情感识别结果对应的识别值小于所述识别值阈值，进行用于提示用户审核未通过并需去人工办理的第一语音提示；以及
第二语音提示单元，用于若所述双录情感识别结果对应的识别值大于或等于所述识别值阈值，进行用于提示用户电子签名并确定结束事项办理的第二语音提示。
第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的公证文件核验方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的公证文件核验方法。
本发明实施例提供了一种公证文件核验方法、装置、计算机设备及存储介质，在用户到达公证处的自助办理终端处时，基于待公证文件对应的待办事项类型进行事项办理的双录以得到当前用户视频和当前用户音频，之后基于当前用户视频对应的微表情识别结果以及当前用户音频对应的语音情感识别结果综合考虑得到双录情感识别结果，以双录情感识别结果确定事项是否自助办理成功。该方法实现了基于自助办理终端对用户公证过程进行自动数据处理，而且基于微表情识别结果和语音情感识别结果综合考虑对应的双录情感识别结果来判定用户在公证事项办理过程中是否存在欺诈，不仅提高了公证事项办理效率，而且有效结合用户状态以识别公证材料的真伪性。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的公证文件核验方法的应用场景示意图；
图2为本发明实施例提供的公证文件核验方法的流程示意图；
图3为本发明实施例提供的公证文件核验方法的子流程示意图；
图4为本发明实施例提供的公证文件核验装置的示意性框图；
图5为本发明实施例提供的公证文件核验装置的子单元示意性框图；
图6为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的公证文件核验方法的应用场景示意图；图2为本发明实施例提供的公证文件核验方法的流程示意图，该公证文件核验方法应用于放置于公证处大厅的自助办理终端中，该方法通过安装于放置于公证处大厅的自助办理终端中的应用软件进行执行。
如图2所示，该方法包括步骤S101～S112。
S101、若接收到用户终端发送的当前到达指令，获取与所述当前到达指令对应的待办事项类型，将与所述待办事项类型对应的提示流程进行显示。
在本实施例中，在公证处的自助办理终端的角度描述技术方案。当用户通过用户终端(例如智能手机等)与某一公证处的自助办理终端预约办理公证事项后，可以在所预约的时间段到达该公证处之后，点击用户终端上该项预约办理事项的已到达虚拟按钮，向公证处的自动办理终端发送当前到达指令。
当用户到达了公证处的现场，且确认该台自助办理终端当前是空闲状态时，向自助办理终端发送了当前到达指令后，由于用户预先在用户终端上预约在该台自助办理终端上需待办的事项类型(一般自助办理终端上能提供的公证类型是办理各类具有法律意义的文书的公证，如法人资格证书、公司章程、资产负债表、董事会决议、资信证明、商标注册证书、存款证明、各类专业技术资格证书、毕业证书、学位证书、成绩单、结婚证书、离婚证书等文书的公证)，故该台自助办理终端接收到了用户终端发送的当前到达指令后，之前根据之前预约操作选定的待办事项类型，在自助办理终端的显示屏上将该项待办事项类型对应的提示流程进行显示。
S102、获取待公证文件的当前扫描文档，以通过OCR文本识别模型获取与所述当前扫描文档对应的文档主题词和办理人信息。
在本实施例中，若用户需对文书(记为待公证文件)进行公证时，一般是通过自助办理终端上的扫描仪先扫描该待公证文件而获得当前扫描文档，之后通过OCR识别技术对当前扫描文档的文档主题进行文本识别(文档主题一般是该待公证文件的抬头文档标题)，得到与所述当前扫描文档对应的文档主题词和办理人信息。
其中，通过OCR识别技术对当前扫描文档的文档主题进行文本识别，即是通过OCR文本识别模型获取与所述当前扫描文档对应的文档主题词。OCR技术是光学字符识别的缩写(Optical Character Recognition)，是通过扫描等光学输入方式将各种票据、报刊、书籍、文稿及其它印刷品的文字转化为图像信息，再利用文字识别技术将图像信息转化为可以使用的计算机输入技术。可应用于银行票据、大量文字资料、档案卷宗、文案的录入和处理领域。适合于银行、税务等行业大量票据表格的自动扫描识别及长期存储。
之所以识别办理人信息，是为了先获知该发起该文书的公证需求的实际用户，之后再触发自助办理终端对用户进行人脸识别，以确定是否为本人办理公证事项。
S103、判断所述文档主题词是否为所述待办事项类型对应的事项关键词集合中的其中一个事项关键词。
在本实施例中，判断所述文档主题词是否为与待办事项类型对应的事项关键词集合中的其中一个，是为了判断用户所需公证文书是否为与待办事项类型对应的文书，从而由自助办理终端确定是否将当前显示的提示流程切换为与该待公证文件对应的实际提示流程。
S104、若所述文档主题词为所述待办事项类型对应的事项关键词集合中的其中一个事项关键词，判断是否接收到用户的公证事项办理指令。
在本实施例中，当用户所需公证文书是与待办事项类型对应的文书，自助办理终端继续检测是否接收到用户的公证事项办理指令以决定是否启动双录流程。
在一实施例中，步骤S103之后还包括：
若所述文档主题词不为所述待办事项类型对应的事项关键词集合中的其中一个事项关键词，将用于提示用户切换待办事项类型的第一提示信息进行显示。
在本实施例中，当用户所需公证文书不是与待办事项类型对应的文书，此时自助办理终端需对用户进行提示，即是否根据实际所需公证的文书切换待办事项类型。若用户在查看了第一提示信息后，如果确定是将本次无需公证的其他文档放置于自助办理终端上进行扫描，此时用户可以更换至本次需公证的文档。若用户在查看了第一提示信息后，如果确定是预约待办事项类型时未预约与用户所需公证文书相对应的待办事项类型，此时用户可以在自助办理终端上手动选择与用户所需公证文书相对应的待办事项类型，从而实现切换至相对应的更新后提示流程进行显示。
S105、若接收到用户的公证事项办理指令，激活摄像头采集当前用户头像以进行身份识别，得到与当前用户头像对应的当前用户识别信息。
在本实施例中，一旦用户开始了公证事项办理，此时自助办理终端需初次启动摄像头采集当前用户头像，以通过所采集到的当前用户头像进行图片预处理、图片特征向量获取、与模板向量进行比对及匹配这一系列操作之后，即可确定当前用户头像对应的当前用户识别信息；由于通过人脸图像采集获取用户身份信息为现有比较成熟的技术，此处不再赘述。
S106、判断所述当前用户识别信息中的用户姓名是否与办理人信息的办理人姓名相同。
在本实施例中，进行上述判断是为了确定是否为本人来办理公证事项。若所述当前用户识别信息中的用户姓名与办理人信息的办理人姓名相同，表示是本人办理公证事项；若所述当前用户识别信息中的用户姓名与办理人信息的办理人姓名不相同，表示不是本人办理公证事项。
在一实施例中，步骤S106之后还包括：
若所述当前用户识别信息中的用户姓名与办理人信息的办理人姓名不相同，将用于提示用户提供委托书的第二提示信息进行显示。
在本实施例中，若所述当前用户识别信息中的用户姓名与办理人信息的办理人姓名不相同，表示不是本人办理公证事项，此时需提示用户进一步出具委托书以证明当前用户是帮助办理人办理公证事项。
S107、若所述当前用户识别信息中的用户姓名与办理人信息的办理人姓名相同，激活摄像头和麦克风进行视频及音频双项录制，以得到当前用户视频和当前用户音频。
在本实施例中，当用户在公证文书的过程中，自助办理终端需对用户进行语音播报以引导公证事项办理，向用户播报多个问题及用户回答问题时的整个过程会被视频录制和音频录制，也即实现了整个办理过程中的双录。通过双录过程中得到的当前用户视频和当前用户音频，可以作为后续识别用户微表情和识别情绪的数据基础。
S108、通过对所述当前用户视频进行微表情识别得到微表情识别结果，通过对所述当前用户音频进行语音情感识别得到对应的语音情感识别结果。
在本实施例中，为了更加客观的判断用户在公证事项办理过程中的用户状态(也即微表情状态和情绪状态)，此时可以基于两个方面进行综合分析，一是通过对所述当前用户视频进行微表情识别得到微表情识别结果，二是通过对所述当前用户音频进行语音情感识别得到对应的语音情感识别结果。以微表情识别结果和语音情感识别结果进行综合考虑，能够更加准确的判断用户在事项办理过程中是否存在欺诈的嫌疑。
在一实施例中，如图3所示，步骤S108包括：
S1081、通过光流法获取所述当前用户视频的视频图像序列中包含微表情的图像帧；
S1082、根据预设的经验帧数值，在包含微表情的图像帧中获取与所述经验帧数值相等张数的连续多帧图像，以组成微表情序列；
S1083、调用预先构建的权重计算层计算所述微表情序列中每一帧图像的权重特征向量，以得到每一帧图像的结合权重值的图像特征向量；
S1084、将每一帧图像的结合权重值的图像特征向量进行求和，得到所述当前用户视频对应的综合图像特征向量；
S1085、将所述综合图像特征向量输入至预先训练的卷积神经网络，得到微表情识别结果。
在本实施例中，在事项办理的过程中，自助办理终端启动摄像头以对当前用户视频进行采集并本地进行微表情识别。自助办理终端采集到当前用户视频后，获取其中包含微表情的图像帧，以进行后续的微表情识别。
其中，可通过光流法或时空局部纹理算子获取所述当前用户视频的视频图像序列中包含微表情的图像帧。
在本实施例中，具体可以选择使用的任何合适的特征提取方式，从视频图像序列中提取其中包含的微表情的图像帧。例如，可以使用基于光流的特征提取或者基于LBP-TOP算子的特征提取：
其中，光流算法是在一定约束条件下估算视频图像序列中的光流从而识别出客户面部的细微运动，实现对微表情的特征提取。而LBP-TOP算子(即时空局部纹理)则是在局部二值模式(LBP算子)的基础上发展而来的，用于反映像素在视频图像序列中的空间分布的特征。简单而言，其是在LBP算子的基础上，新增加了一个时间上的维度，从而可以提取视频图像序列中各个像素点跟随时间的变化特征，从而识别出客户面部的细微表情变化。
在一实施例中，步骤S1081中，包括：
获取所述当前用户视频的视频图像序列的各像素点对应的速度矢量特征；
若视频图像序列中存在至少一帧图像的所述速度矢量特征未保持连续变化，由对应图片组成包含微表情的图像帧。
在本实施例中，当人的眼睛观察运动物体时，物体的景象在人眼的视网膜上形成一系列连续变化的图像，这一系列连续变化的信息不断“流过”视网膜(即图像平面)，好像是一种光的“流”，故称之为光流。光流表达图像的变化，包含目标运动的信息，可用来确定目标的运动。光流三个要素：一是运动速度场,这是形成光流的必要条件；二是带光学特征的部分例如有灰度的象素点，它可以携带运动信息；三是成像投影从场景到图像平面，因而能被观察到。
定义光流以点为基础，具体来说，设(u,v)为图像点(x,y)的光流，则把(x,y,u,v)称为光流点。所有光流点的集合称为光流场。当带光学特性的物体在三维空间运动时，在图像平面上就形成了相应的图像运动场，或称为图像速度场。在理想情况下，光流场对应于运动场。
给图像中的每个像素点赋予一个速度矢量，这样就形成了一个运动矢量场。根据各个像素点的速度矢量特征，可以对图像进行动态分析。如果图像中没有运动目标，则光流矢量在整个图像区域是连续变化的。当图像中有运动物体时(当用户有微表情时，脸部会有运动，相当于运动物体)，目标和背景存在着相对运动。运动物体所形成的速度矢量必然和背景的速度矢量有所不同，如此便可以计算出运动物体的位置。通过光流法进行预处理，即可得到所述当前用户视频的视频图像序列中包含微表情的图像帧。
其中，经验帧数值记为N，N是一个经验性数值，可以由技术人员根据实际情况的需要而设置。亦即，保证在N帧图像中记录有一个微表情从起始、峰值到终结的完整过程。
通过权重值的不同的可以表示微表情序列中图像帧之间的联系(即微表情图像序列的时域信息)。例如，在一个微笑的微表情序列中，某几张图像帧总是联合出现，通过提高这些联合出现的图像帧的权重可以获得序列的时域信息。
为了对所述微表情序列中每一帧图像赋予权重值，需要调用预先构建的权重计算层计算所述微表情序列中每一帧图像的权重特征向量。
在一实施例中，步骤S1083包括：
获取所述微表情序列中每一帧图像对应的图片特征向量，及每一帧图像对应的图片特征向量集合；其中，所述微表情序列中第i帧图像对应的图片特征向量集合由所述微表情序列中除第i帧图像之外的其他帧图像对应的图片特征向量组成，i的取值范围是[1,N]且N＝经验帧数值；
获取所述微表情序列中每一帧图像的图片特征向量与其他各帧图像的图片特征向量之间的相似度值，以得到每一帧图像对应的相似度值集合；其中，所述微表情序列中第i帧图像的图片特征向量与其他各帧图像的图片特征向量之间的相似度值，组成第i帧图像的相似度值集合；
将所述微表情序列中每一帧图像分别对应的相似度值集合均进行归一化处理，得到与每一帧图像分别对应的归一化相似度值集合；
根据每一帧图像分别对应的归一化相似度值集合及图片特征向量集合，获取每一帧图像分别对应的权重特征向量，以得到每一帧图像的结合权重值的图像特征向量。
在本实施例中，由于所述微表情序列中的各帧图像初始是不带权重值的，此时为了获取每一帧图像的权重值，可以通过下述过程进行：
1)获取所述微表情序列中每一帧图像对应的图片特征向量，具体可将每一帧图像输入至已完成训练的卷积神经网络中，得到与各帧图像对应图片特征向量；此时再获取每一帧图像对应的图片特征向量集合，其中所述微表情序列中第i帧图像对应的图片特征向量集合由所述微表情序列中除第i帧图像之外的其他帧图像对应的图片特征向量组成，i的取值范围是[1,N]且N＝经验帧数值；
2)将微表情序列的N帧图像中第i帧图像记为Ni，先将将其中一帧图像对应的图片特征向量输入至权重计算层，以计算该帧图像与微表情序列中其余的N-1帧图像的图片特征向量之间的相似性，从而得到每一帧图像对应的相似度值集合；其中，所述微表情序列中第i帧图像的图片特征向量与其他各帧图像的图片特征向量之间的相似度值，组成第i帧图像的相似度值集合。该相似性具体可以采用任何合适的方式进行评价，如通过两帧图像的图像特征向量之间的向量点积，余弦相似度或者是引入新的神经网络来计算；
3)将计算获得的与所述微表情序列中每一帧图像分别对应的相似度值集合均进行归一化处理，得到与每一帧图像分别对应的归一化相似度值集合；
4)由于每一帧图像均对应一个归一化相似度值集合，此时将归一化相似度值集合中每一个归一化相似度值与对应帧的图片特征向量相乘后求和，得到每一帧图像均对应的结合权重值的图像特征向量。
通过上述权重计算层，可以挖掘获得微表情图像序列中，不同图像帧之间的内在联系。亦即，一些密切相关的图像帧会有显著高于其他图像帧的权重值，从而在微表情的识别过程能够得到更多的关注。
在一实施例中，所述根据每一帧图像分别对应的归一化相似度值集合及图片特征向量集合，获取每一帧图像分别对应的权重特征向量，以得到每一帧图像的结合权重值的图像特征向量的步骤，包括：
将第i帧图像的归一化相似度值集合中每一归一化相似度值，与第i帧图像的图片特征向量集合中对应的图片特征向量进行相乘后求和，得到第i帧图像对应的权重特征向量，以得到第i帧图像相应的结合权重值的图像特征向量。
通过这一方式获取的第i帧图像相应的结合权重值的图像特征向量，充分考虑了不同图像帧之间的内在联系。
当获取了每一帧图像的结合权重值的图像特征向量后，此时为了综合考虑这些帧数的图像对应的微表情识别结果，此时可以将每一帧图像的结合权重值的图像特征向量进行求和，得到所述当前用户视频对应的综合图像特征向量，之后以综合图像特征向量作为识别向量来进行微表情识别。
当获取了所述综合图像特征向量后，这一综合图像特征向量代表了视频图像序列中N帧图像对应的综合图片特征向量，此时将其输入至权重计算层所使用的卷积神经网络中，即可得到微表情识别结果。
在一实施例中，步骤S1085包括：
将所述综合图像特征向量输入至预先训练的卷积神经网络的softmax层，得到微表情识别结果。
在本实施例中，由于在权重计算层所使用的卷积神经网络中已使用了卷积层、池化层及全连接层，得到了对应的图片特征向量，此时在获取了所述综合图像特征向量后，可将综合图像特征向量输入至卷积神经网络的softmax层，获取最终的微表情识别结果。具体是获得该微表情属于各个类别的概率，选择概率最高的类别作为该微表情序列的微表情识别结果。
通过对所述当前用户音频进行语音情感识别得到对应的语音情感识别结果时，模式识别领域的诸多算法都适用于语音情感识别的，比如GMM(高斯混合模型)，SVM(支持向量机)，KNN(K最近邻模型)，HMM(隐马尔可夫模型)等算法均可用于对当前用户音频进行语音情感识别，得到对应的语音情感识别结果。
S109、通过所述当前用户视频对应的微表情识别结果乘以对应预设的第一权重值得到第一参数值，通过所述当前用户音频对应的语音情感识别结果乘以对应预设的第二权重值得到第二参数值，将所述第一参数值与所述第二参数值求和得到双录情感识别结果。
在本实施例中，为了更精确的确定用户的情感识别结果，此时综合考虑微表情识别结果和语音情感识别结果，由两者分别乘以对应预设的权重值后，得到双录情感识别结果。通过这一综合性的计算，得到的情感识别结果更准确。
S110、判断所述双录情感识别结果对应的识别值是否小于预设的识别值阈值。
在本实施例中，可以预先设置一个识别值阈值(如0.6)，此时将所述双录情感识别结果对应的识别值与该识别值阈值进行大小比较，以进一步确定用户在办理公证事项的过程中是否存在欺诈嫌疑。
S111、若所述双录情感识别结果对应的识别值小于所述识别值阈值，进行用于提示用户审核未通过并需去人工办理的第一语音提示。
在本实施例中，当通过对双录情感识别结果与预设的识别值阈值进行比较后，判定所述双录情感识别结果对应的识别值小于所述识别值阈值，表示待公证文件及其办理公证事项的过程存在疑问，对于存疑的材料和事项办理过程，提示客户进入人工服务区对资料进行二次审核，此时自助办理终端播报用于提示用户审核未通过并需去人工办理的第一语音提示即可。
S112、若所述双录情感识别结果对应的识别值大于或等于所述识别值阈值，进行用于提示用户电子签名并确定结束事项办理的第二语音提示。
在本实施例中，所述双录情感识别结果对应的识别值大于或等于所述识别值阈值，表示待公证文件和公证事项办理过程不存在疑问，此时提示用户使用电子签名的方式，留下相关凭证，并确定结束公证事项的办理。此时，自助办理终端播报用于提示用户电子签名并确定结束事项办理的第二语音提示即可。
在一实施例中，步骤S111或步骤S112之后还包括：
将所述当前扫描文档、所述当前用户视频及当前用户音频的本地存储路径对应的摘要信息上传至区块链网络。
在本实施例中，区块链网络对应的区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
为了留存双录证据，将所述当前扫描文档、所述当前用户视频及当前用户音频的本地存储路径对应的摘要信息可以在区块链网络进行长久的保留，便于后续溯源查询。
该方法实现了基于自助办理终端对用户公证过程进行自动数据处理，而且基于微表情识别结果和语音情感识别结果综合考虑对应的双录情感识别结果来判定用户在公证事项办理过程中是否存在欺诈，不仅提高了公证事项办理效率，而且有效结合用户状态以识别公证材料的真伪性。
本发明实施例还提供一种公证文件核验装置，该公证文件核验装置用于执行前述公证文件核验方法的任一实施例。具体地，请参阅图4，图4是本发明实施例提供的公证文件核验装置的示意性框图。该公证文件核验装置100可以配置于放置于公证处大厅的自助办理终端中，该自助办理终端可以理解为本地服务器。
如图4所示，公证文件核验装置100包括：待办事项流程显示单元101、OCR文本识别单元102、关键词判断单元103、公证事项办理指令检测单元104、用户身份识别单元105、办理人信息比对单元106、双录单元107、双识别单元108、双录情感识别单元109、双录情感识别结果比对单元110、第一语音提示单元111、第二语音提示单元112。
待办事项流程显示单元101，用于若接收到用户终端发送的当前到达指令，获取与所述当前到达指令对应的待办事项类型，将与所述待办事项类型对应的提示流程进行显示。
在本实施例中，在公证处的自助办理终端的角度描述技术方案。当用户通过用户终端(例如智能手机等)与某一公证处的自助办理终端预约办理公证事项后，可以在所预约的时间段到达该公证处之后，点击用户终端上该项预约办理事项的已到达虚拟按钮，向公证处的自动办理终端发送当前到达指令。
当用户到达了公证处的现场，且确认该台自助办理终端当前是空闲状态时，向自助办理终端发送了当前到达指令后，由于用户预先在用户终端上预约在该台自助办理终端上需待办的事项类型(一般自助办理终端上能提供的公证类型是办理各类具有法律意义的文书的公证，如法人资格证书、公司章程、资产负债表、董事会决议、资信证明、商标注册证书、存款证明、各类专业技术资格证书、毕业证书、学位证书、成绩单、结婚证书、离婚证书等文书的公证)，故该台自助办理终端接收到了用户终端发送的当前到达指令后，之前根据之前预约操作选定的待办事项类型，在自助办理终端的显示屏上将该项待办事项类型对应的提示流程进行显示。
OCR文本识别单元102，用于获取待公证文件的当前扫描文档，以通过OCR文本识别模型获取与所述当前扫描文档对应的文档主题词和办理人信息。
在本实施例中，若用户需对文书(记为待公证文件)进行公证时，一般是通过自助办理终端上的扫描仪先扫描该待公证文件而获得当前扫描文档，之后通过OCR识别技术对当前扫描文档的文档主题进行文本识别(文档主题一般是该待公证文件的抬头文档标题)，得到与所述当前扫描文档对应的文档主题词和办理人信息。
其中，通过OCR识别技术对当前扫描文档的文档主题进行文本识别，即是通过OCR文本识别模型获取与所述当前扫描文档对应的文档主题词。OCR技术是光学字符识别的缩写(Optical Character Recognition)，是通过扫描等光学输入方式将各种票据、报刊、书籍、文稿及其它印刷品的文字转化为图像信息，再利用文字识别技术将图像信息转化为可以使用的计算机输入技术。可应用于银行票据、大量文字资料、档案卷宗、文案的录入和处理领域。适合于银行、税务等行业大量票据表格的自动扫描识别及长期存储。
之所以识别办理人信息，是为了先获知该发起该文书的公证需求的实际用户，之后再触发自助办理终端对用户进行人脸识别，以确定是否为本人办理公证事项。
关键词判断单元103，用于判断所述文档主题词是否为所述待办事项类型对应的事项关键词集合中的其中一个事项关键词。
在本实施例中，判断所述文档主题词是否为与待办事项类型对应的事项关键词集合中的其中一个，是为了判断用户所需公证文书是否为与待办事项类型对应的文书，从而由自助办理终端确定是否将当前显示的提示流程切换为与该待公证文件对应的实际提示流程。
公证事项办理指令检测单元104，用于若所述文档主题词为所述待办事项类型对应的事项关键词集合中的其中一个事项关键词，判断是否接收到用户的公证事项办理指令。
在本实施例中，当用户所需公证文书是与待办事项类型对应的文书，自助办理终端继续检测是否接收到用户的公证事项办理指令以决定是否启动双录流程。
在一实施例中，公证文件核验装置100还包括：
第一提示信息显示单元，用于若所述文档主题词不为所述待办事项类型对应的事项关键词集合中的其中一个事项关键词，将用于提示用户切换待办事项类型的第一提示信息进行显示。
在本实施例中，当用户所需公证文书不是与待办事项类型对应的文书，此时自助办理终端需对用户进行提示，即是否根据实际所需公证的文书切换待办事项类型。若用户在查看了第一提示信息后，如果确定是将本次无需公证的其他文档放置于自助办理终端上进行扫描，此时用户可以更换至本次需公证的文档。若用户在查看了第一提示信息后，如果确定是预约待办事项类型时未预约与用户所需公证文书相对应的待办事项类型，此时用户可以在自助办理终端上手动选择与用户所需公证文书相对应的待办事项类型，从而实现切换至相对应的更新后提示流程进行显示。
用户身份识别单元105，用于若接收到用户的公证事项办理指令，激活摄像头采集当前用户头像以进行身份识别，得到与当前用户头像对应的当前用户识别信息。
在本实施例中，一旦用户开始了公证事项办理，此时自助办理终端需初次启动摄像头采集当前用户头像，以通过所采集到的当前用户头像进行图片预处理、图片特征向量获取、与模板向量进行比对及匹配这一系列操作之后，即可确定当前用户头像对应的当前用户识别信息；由于通过人脸图像采集获取用户身份信息为现有比较成熟的技术，此处不再赘述。
办理人信息比对单元106，用于判断所述当前用户识别信息中的用户姓名是否与办理人信息的办理人姓名相同。
在本实施例中，进行上述判断是为了确定是否为本人来办理公证事项。若所述当前用户识别信息中的用户姓名与办理人信息的办理人姓名相同，表示是本人办理公证事项；若所述当前用户识别信息中的用户姓名与办理人信息的办理人姓名不相同，表示不是本人办理公证事项。
在一实施例中，公证文件核验装置100还包括：
第二提示信息显示单元，用于若所述当前用户识别信息中的用户姓名与办理人信息的办理人姓名不相同，将用于提示用户提供委托书的第二提示信息进行显示。
在本实施例中，若所述当前用户识别信息中的用户姓名与办理人信息的办理人姓名不相同，表示不是本人办理公证事项，此时需提示用户进一步出具委托书以证明当前用户是帮助办理人办理公证事项。
双录单元107，用于若所述当前用户识别信息中的用户姓名与办理人信息的办理人姓名相同，激活摄像头和麦克风进行视频及音频双项录制，以得到当前用户视频和当前用户音频。
在本实施例中，当用户在公证文书的过程中，自助办理终端需对用户进行语音播报以引导公证事项办理，向用户播报多个问题及用户回答问题时的整个过程会被视频录制和音频录制，也即实现了整个办理过程中的双录。通过双录过程中得到的当前用户视频和当前用户音频，可以作为后续识别用户微表情和识别情绪的数据基础。
双识别单元108，用于通过对所述当前用户视频进行微表情识别得到微表情识别结果，通过对所述当前用户音频进行语音情感识别得到对应的语音情感识别结果。
在本实施例中，为了更加客观的判断用户在公证事项办理过程中的用户状态(也即微表情状态和情绪状态)，此时可以基于两个方面进行综合分析，一是通过对所述当前用户视频进行微表情识别得到微表情识别结果，二是通过对所述当前用户音频进行语音情感识别得到对应的语音情感识别结果。以微表情识别结果和语音情感识别结果进行综合考虑，能够更加准确的判断用户在事项办理过程中是否存在欺诈的嫌疑。
在一实施例中，如图5所示，双识别单元108包括：
微表情图像帧获取单元1081，用于通过光流法获取所述当前用户视频的视频图像序列中包含微表情的图像帧；
微表情序列获取单元1082，用于根据预设的经验帧数值，在包含微表情的图像帧中获取与所述经验帧数值相等张数的连续多帧图像，以组成微表情序列；
权重图像特征向量获取单元1083，用于调用预先构建的权重计算层计算所述微表情序列中每一帧图像的权重特征向量，以得到每一帧图像的结合权重值的图像特征向量；
综合图像特征向量获取单元1084，用于将每一帧图像的结合权重值的图像特征向量进行求和，得到所述当前用户视频对应的综合图像特征向量；
微表情识别结果获取单元1085，用于将所述综合图像特征向量输入至预先训练的卷积神经网络，得到微表情识别结果。
在本实施例中，在事项办理的过程中，自助办理终端启动摄像头以对当前用户视频进行采集并本地进行微表情识别。自助办理终端采集到当前用户视频后，获取其中包含微表情的图像帧，以进行后续的微表情识别。
其中，可通过光流法或时空局部纹理算子获取所述当前用户视频的视频图像序列中包含微表情的图像帧。
在本实施例中，具体可以选择使用的任何合适的特征提取方式，从视频图像序列中提取其中包含的微表情的图像帧。例如，可以使用基于光流的特征提取或者基于LBP-TOP算子的特征提取：
其中，光流算法是在一定约束条件下估算视频图像序列中的光流从而识别出客户面部的细微运动，实现对微表情的特征提取。而LBP-TOP算子(即时空局部纹理)则是在局部二值模式(LBP算子)的基础上发展而来的，用于反映像素在视频图像序列中的空间分布的特征。简单而言，其是在LBP算子的基础上，新增加了一个时间上的维度，从而可以提取视频图像序列中各个像素点跟随时间的变化特征，从而识别出客户面部的细微表情变化。
在一实施例中，微表情图像帧获取单元1081包括：
速度矢量特征获取单元，用于获取所述当前用户视频的视频图像序列的各像素点对应的速度矢量特征；
目标图像帧获取单元，用于若视频图像序列中存在至少一帧图像的所述速度矢量特征未保持连续变化，由对应图片组成包含微表情的图像帧。
在本实施例中，当人的眼睛观察运动物体时，物体的景象在人眼的视网膜上形成一系列连续变化的图像，这一系列连续变化的信息不断“流过”视网膜(即图像平面)，好像是一种光的“流”，故称之为光流。光流表达图像的变化，包含目标运动的信息，可用来确定目标的运动。光流三个要素：一是运动速度场,这是形成光流的必要条件；二是带光学特征的部分例如有灰度的象素点，它可以携带运动信息；三是成像投影从场景到图像平面，因而能被观察到。
定义光流以点为基础，具体来说，设(u,v)为图像点(x,y)的光流，则把(x,y,u,v)称为光流点。所有光流点的集合称为光流场。当带光学特性的物体在三维空间运动时，在图像平面上就形成了相应的图像运动场，或称为图像速度场。在理想情况下，光流场对应于运动场。
给图像中的每个像素点赋予一个速度矢量，这样就形成了一个运动矢量场。根据各个像素点的速度矢量特征，可以对图像进行动态分析。如果图像中没有运动目标，则光流矢量在整个图像区域是连续变化的。当图像中有运动物体时(当用户有微表情时，脸部会有运动，相当于运动物体)，目标和背景存在着相对运动。运动物体所形成的速度矢量必然和背景的速度矢量有所不同，如此便可以计算出运动物体的位置。通过光流法进行预处理，即可得到所述当前用户视频的视频图像序列中包含微表情的图像帧。
其中，经验帧数值记为N，N是一个经验性数值，可以由技术人员根据实际情况的需要而设置。亦即，保证在N帧图像中记录有一个微表情从起始、峰值到终结的完整过程。
通过权重值的不同的可以表示微表情序列中图像帧之间的联系(即微表情图像序列的时域信息)。例如，在一个微笑的微表情序列中，某几张图像帧总是联合出现，通过提高这些联合出现的图像帧的权重可以获得序列的时域信息。
为了对所述微表情序列中每一帧图像赋予权重值，需要调用预先构建的权重计算层计算所述微表情序列中每一帧图像的权重特征向量。
在一实施例中，权重图像特征向量获取单元1083包括：
图片特征向量集合获取单元，用于获取所述微表情序列中每一帧图像对应的图片特征向量，及每一帧图像对应的图片特征向量集合；其中，所述微表情序列中第i帧图像对应的图片特征向量集合由所述微表情序列中除第i帧图像之外的其他帧图像对应的图片特征向量组成，i的取值范围是[1,N]且N＝经验帧数值；
相似度值集合获取单元，用于获取所述微表情序列中每一帧图像的图片特征向量与其他各帧图像的图片特征向量之间的相似度值，以得到每一帧图像对应的相似度值集合；其中，所述微表情序列中第i帧图像的图片特征向量与其他各帧图像的图片特征向量之间的相似度值，组成第i帧图像的相似度值集合；
归一化单元，用于将所述微表情序列中每一帧图像分别对应的相似度值集合均进行归一化处理，得到与每一帧图像分别对应的归一化相似度值集合；
权重特征向量获取单元，用于根据每一帧图像分别对应的归一化相似度值集合及图片特征向量集合，获取每一帧图像分别对应的权重特征向量，以得到每一帧图像的结合权重值的图像特征向量。
在本实施例中，由于所述微表情序列中的各帧图像初始是不带权重值的，此时为了获取每一帧图像的权重值，可以通过下述过程进行：
1)获取所述微表情序列中每一帧图像对应的图片特征向量，具体可将每一帧图像输入至已完成训练的卷积神经网络中，得到与各帧图像对应图片特征向量；此时再获取每一帧图像对应的图片特征向量集合，其中所述微表情序列中第i帧图像对应的图片特征向量集合由所述微表情序列中除第i帧图像之外的其他帧图像对应的图片特征向量组成，i的取值范围是[1,N]且N＝经验帧数值；
2)将微表情序列的N帧图像中第i帧图像记为Ni，先将将其中一帧图像对应的图片特征向量输入至权重计算层，以计算该帧图像与微表情序列中其余的N-1帧图像的图片特征向量之间的相似性，从而得到每一帧图像对应的相似度值集合；其中，所述微表情序列中第i帧图像的图片特征向量与其他各帧图像的图片特征向量之间的相似度值，组成第i帧图像的相似度值集合。该相似性具体可以采用任何合适的方式进行评价，如通过两帧图像的图像特征向量之间的向量点积，余弦相似度或者是引入新的神经网络来计算；
3)将计算获得的与所述微表情序列中每一帧图像分别对应的相似度值集合均进行归一化处理，得到与每一帧图像分别对应的归一化相似度值集合；
4)由于每一帧图像均对应一个归一化相似度值集合，此时将归一化相似度值集合中每一个归一化相似度值与对应帧的图片特征向量相乘后求和，得到每一帧图像均对应的结合权重值的图像特征向量。
通过上述权重计算层，可以挖掘获得微表情图像序列中，不同图像帧之间的内在联系。亦即，一些密切相关的图像帧会有显著高于其他图像帧的权重值，从而在微表情的识别过程能够得到更多的关注。
在一实施例中，权重特征向量获取单元还用于：
将第i帧图像的归一化相似度值集合中每一归一化相似度值，与第i帧图像的图片特征向量集合中对应的图片特征向量进行相乘后求和，得到第i帧图像对应的权重特征向量，以得到第i帧图像相应的结合权重值的图像特征向量。
通过这一方式获取的第i帧图像相应的结合权重值的图像特征向量，充分考虑了不同图像帧之间的内在联系。
当获取了每一帧图像的结合权重值的图像特征向量后，此时为了综合考虑这些帧数的图像对应的微表情识别结果，此时可以将每一帧图像的结合权重值的图像特征向量进行求和，得到所述当前用户视频对应的综合图像特征向量，之后以综合图像特征向量作为识别向量来进行微表情识别。
当获取了所述综合图像特征向量后，这一综合图像特征向量代表了视频图像序列中N帧图像对应的综合图片特征向量，此时将其输入至权重计算层所使用的卷积神经网络中，即可得到微表情识别结果。
在一实施例中，微表情识别结果获取单元1085包括：
Softmax分类单元，用于将所述综合图像特征向量输入至预先训练的卷积神经网络的softmax层，得到微表情识别结果。
在本实施例中，由于在权重计算层所使用的卷积神经网络中已使用了卷积层、池化层及全连接层，得到了对应的图片特征向量，此时在获取了所述综合图像特征向量后，可将综合图像特征向量输入至卷积神经网络的softmax层，获取最终的微表情识别结果。具体是获得该微表情属于各个类别的概率，选择概率最高的类别作为该微表情序列的微表情识别结果。
通过对所述当前用户音频进行语音情感识别得到对应的语音情感识别结果时，模式识别领域的诸多算法都适用于语音情感识别的，比如GMM(高斯混合模型)，SVM(支持向量机)，KNN(K最近邻模型)，HMM(隐马尔可夫模型)等算法均可用于对当前用户音频进行语音情感识别，得到对应的语音情感识别结果。
双录情感识别单元109，用于通过所述当前用户视频对应的微表情识别结果乘以对应预设的第一权重值得到第一参数值，通过所述当前用户音频对应的语音情感识别结果乘以对应预设的第二权重值得到第二参数值，将所述第一参数值与所述第二参数值求和得到双录情感识别结果。
在本实施例中，为了更精确的确定用户的情感识别结果，此时综合考虑微表情识别结果和语音情感识别结果，由两者分别乘以对应预设的权重值后，得到双录情感识别结果。通过这一综合性的计算，得到的情感识别结果更准确。
双录情感识别结果比对单元110，用于判断所述双录情感识别结果对应的识别值是否小于预设的识别值阈值。
在本实施例中，可以预先设置一个识别值阈值(如0.6)，此时将所述双录情感识别结果对应的识别值与该识别值阈值进行大小比较，以进一步确定用户在办理公证事项的过程中是否存在欺诈嫌疑。
第一语音提示单元111，用于若所述双录情感识别结果对应的识别值小于所述识别值阈值，进行用于提示用户审核未通过并需去人工办理的第一语音提示。
在本实施例中，当通过对双录情感识别结果与预设的识别值阈值进行比较后，判定所述双录情感识别结果对应的识别值小于所述识别值阈值，表示待公证文件及其办理公证事项的过程存在疑问，对于存疑的材料和事项办理过程，提示客户进入人工服务区对资料进行二次审核，此时自助办理终端播报用于提示用户审核未通过并需去人工办理的第一语音提示即可。
第二语音提示单元112，用于若所述双录情感识别结果对应的识别值大于或等于所述识别值阈值，进行用于提示用户电子签名并确定结束事项办理的第二语音提示。
在本实施例中，所述双录情感识别结果对应的识别值大于或等于所述识别值阈值，表示待公证文件和公证事项办理过程不存在疑问，此时提示用户使用电子签名的方式，留下相关凭证，并确定结束公证事项的办理。此时，自助办理终端播报用于提示用户电子签名并确定结束事项办理的第二语音提示即可。
在一实施例中，公证文件核验装置100还包括：
数据上链单元，用于将所述当前扫描文档、所述当前用户视频及当前用户音频的本地存储路径对应的摘要信息上传至区块链网络。
在本实施例中，区块链网络对应的区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
为了留存双录证据，将所述当前扫描文档、所述当前用户视频及当前用户音频的本地存储路径对应的摘要信息可以在区块链网络进行长久的保留，便于后续溯源查询。
该装置实现了基于自助办理终端对用户公证过程进行自动数据处理，而且基于微表情识别结果和语音情感识别结果综合考虑对应的双录情感识别结果来判定用户在公证事项办理过程中是否存在欺诈，不仅提高了公证事项办理效率，而且有效结合用户状态以识别公证材料的真伪性。
上述公证文件核验装置可以实现为计算机程序的形式，该计算机程序可以在如图6所示的计算机设备上运行。
请参阅图6，图6是本发明实施例提供的计算机设备的示意性框图。该计算机设备500是服务器，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图6，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行公证文件核验方法。
该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行公证文件核验方法。
该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图6中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现本发明实施例公开的公证文件核验方法。
本领域技术人员可以理解，图6中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图6所示实施例一致，在此不再赘述。
应当理解，在本发明实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现本发明实施例公开的公证文件核验方法。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种公证文件核验方法，其特征在于，包括：
若接收到用户终端发送的当前到达指令，获取与所述当前到达指令对应的待办事项类型，将与所述待办事项类型对应的提示流程进行显示；
获取待公证文件的当前扫描文档，以通过OCR文本识别模型获取与所述当前扫描文档对应的文档主题词和办理人信息；
判断所述文档主题词是否为所述待办事项类型对应的事项关键词集合中的其中一个事项关键词；
若所述文档主题词为所述待办事项类型对应的事项关键词集合中的其中一个事项关键词，判断是否接收到用户的公证事项办理指令；
若接收到用户的公证事项办理指令，激活摄像头采集当前用户头像以进行身份识别，得到与当前用户头像对应的当前用户识别信息；
判断所述当前用户识别信息中的用户姓名是否与办理人信息的办理人姓名相同；
若所述当前用户识别信息中的用户姓名与办理人信息的办理人姓名相同，激活摄像头和麦克风进行视频及音频双项录制，以得到当前用户视频和当前用户音频；
通过对所述当前用户视频进行微表情识别得到微表情识别结果，通过对所述当前用户音频进行语音情感识别得到对应的语音情感识别结果；
通过所述当前用户视频对应的微表情识别结果乘以对应预设的第一权重值得到第一参数值，通过所述当前用户音频对应的语音情感识别结果乘以对应预设的第二权重值得到第二参数值，将所述第一参数值与所述第二参数值求和得到双录情感识别结果；
判断所述双录情感识别结果对应的识别值是否小于预设的识别值阈值；
若所述双录情感识别结果对应的识别值小于所述识别值阈值，进行用于提示用户审核未通过并需去人工办理的第一语音提示；以及
若所述双录情感识别结果对应的识别值大于或等于所述识别值阈值，进行用于提示用户电子签名并确定结束事项办理的第二语音提示。
2.根据权利要求1所述的公证文件核验方法，其特征在于，所述判断所述文档主题词是否为所述待办事项类型对应的事项关键词集合中的其中一个事项关键词之后，还包括：
若所述文档主题词不为所述待办事项类型对应的事项关键词集合中的其中一个事项关键词，将用于提示用户切换待办事项类型的第一提示信息进行显示。
3.根据权利要求1所述的公证文件核验方法，其特征在于，所述判断所述当前用户识别信息中的用户姓名是否与办理人信息的办理人姓名相同之后，还包括：
若所述当前用户识别信息中的用户姓名与办理人信息的办理人姓名不相同，将用于提示用户提供委托书的第二提示信息进行显示。
4.根据权利要求1所述的公证文件核验方法，其特征在于，所述通过对所述当前用户视频进行微表情识别得到微表情识别结果，包括：
通过光流法获取所述当前用户视频的视频图像序列中包含微表情的图像帧；
根据预设的经验帧数值，在包含微表情的图像帧中获取与所述经验帧数值相等张数的连续多帧图像，以组成微表情序列；
调用预先构建的权重计算层计算所述微表情序列中每一帧图像的权重特征向量，以得到每一帧图像的结合权重值的图像特征向量；
将每一帧图像的结合权重值的图像特征向量进行求和，得到所述当前用户视频对应的综合图像特征向量；
将所述综合图像特征向量输入至预先训练的卷积神经网络，得到微表情识别结果。
5.根据权利要求4所述的公证文件核验方法，其特征在于，所述通过光流法获取所述当前用户视频的视频图像序列中包含微表情的图像帧，包括：
获取所述当前用户视频的视频图像序列的各像素点对应的速度矢量特征；
若视频图像序列中存在至少一帧图像的所述速度矢量特征未保持连续变化，由对应图片组成包含微表情的图像帧。
6.根据权利要求4所述的公证文件核验方法，其特征在于，所述调用预先构建的权重计算层计算所述微表情序列中每一帧图像的权重特征向量，以得到每一帧图像的结合权重值的图像特征向量，包括：
获取所述微表情序列中每一帧图像对应的图片特征向量，及每一帧图像对应的图片特征向量集合；其中，所述微表情序列中第i帧图像对应的图片特征向量集合由所述微表情序列中除第i帧图像之外的其他帧图像对应的图片特征向量组成，i的取值范围是[1,N]且N＝经验帧数值；
获取所述微表情序列中每一帧图像的图片特征向量与其他各帧图像的图片特征向量之间的相似度值，以得到每一帧图像对应的相似度值集合；其中，所述微表情序列中第i帧图像的图片特征向量与其他各帧图像的图片特征向量之间的相似度值，组成第i帧图像的相似度值集合；
将所述微表情序列中每一帧图像分别对应的相似度值集合均进行归一化处理，得到与每一帧图像分别对应的归一化相似度值集合；
根据每一帧图像分别对应的归一化相似度值集合及图片特征向量集合，获取每一帧图像分别对应的权重特征向量，以得到每一帧图像的结合权重值的图像特征向量。
7.根据权利要求1所述的公证文件核验方法，其特征在于，还包括：
将所述当前扫描文档、所述当前用户视频及当前用户音频的本地存储路径对应的摘要信息上传至区块链网络。
8.一种公证文件核验装置，其特征在于，包括：
待办事项流程显示单元，用于若接收到用户终端发送的当前到达指令，获取与所述当前到达指令对应的待办事项类型，将与所述待办事项类型对应的提示流程进行显示；
OCR文本识别单元，用于获取待公证文件的当前扫描文档，以通过OCR文本识别模型获取与所述当前扫描文档对应的文档主题词和办理人信息；
关键词判断单元，用于判断所述文档主题词是否为所述待办事项类型对应的事项关键词集合中的其中一个事项关键词；
公证事项办理指令检测单元，用于若所述文档主题词为所述待办事项类型对应的事项关键词集合中的其中一个事项关键词，判断是否接收到用户的公证事项办理指令；
用户身份识别单元，用于若接收到用户的公证事项办理指令，激活摄像头采集当前用户头像以进行身份识别，得到与当前用户头像对应的当前用户识别信息；
办理人信息比对单元，用于判断所述当前用户识别信息中的用户姓名是否与办理人信息的办理人姓名相同；
双录单元，用于若所述当前用户识别信息中的用户姓名与办理人信息的办理人姓名相同，激活摄像头和麦克风进行视频及音频双项录制，以得到当前用户视频和当前用户音频；
双识别单元，用于通过对所述当前用户视频进行微表情识别得到微表情识别结果，通过对所述当前用户音频进行语音情感识别得到对应的语音情感识别结果；
双录情感识别单元，用于通过所述当前用户视频对应的微表情识别结果乘以对应预设的第一权重值得到第一参数值，通过所述当前用户音频对应的语音情感识别结果乘以对应预设的第二权重值得到第二参数值，将所述第一参数值与所述第二参数值求和得到双录情感识别结果；
双录情感识别结果比对单元，用于判断所述双录情感识别结果对应的识别值是否小于预设的识别值阈值；
第一语音提示单元，用于若所述双录情感识别结果对应的识别值小于所述识别值阈值，进行用于提示用户审核未通过并需去人工办理的第一语音提示；以及
第二语音提示单元，用于若所述双录情感识别结果对应的识别值大于或等于所述识别值阈值，进行用于提示用户电子签名并确定结束事项办理的第二语音提示。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的公证文件核验方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的公证文件核验方法。
CN202010583279.6A 2020-06-23 2020-06-23 公证文件核验方法、装置、计算机设备及存储介质 Pending CN111695571A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010583279.6A CN111695571A (zh) 2020-06-23 2020-06-23 公证文件核验方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010583279.6A CN111695571A (zh) 2020-06-23 2020-06-23 公证文件核验方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN111695571A true CN111695571A (zh) 2020-09-22

Family

ID=72482876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010583279.6A Pending CN111695571A (zh) 2020-06-23 2020-06-23 公证文件核验方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN111695571A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743902A (zh) * 2021-09-08 2021-12-03 未鲲(上海)科技服务有限公司 基于人工智能的信息审核方法、装置、终端设备及介质
CN116705078A (zh) * 2023-08-02 2023-09-05 清华大学 基于原始音频波形的端到端的语音伪装情绪检测方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743902A (zh) * 2021-09-08 2021-12-03 未鲲(上海)科技服务有限公司 基于人工智能的信息审核方法、装置、终端设备及介质
CN116705078A (zh) * 2023-08-02 2023-09-05 清华大学 基于原始音频波形的端到端的语音伪装情绪检测方法及装置
CN116705078B (zh) * 2023-08-02 2023-11-28 清华大学 基于原始音频波形的端到端的语音伪装情绪检测方法及装置

Similar Documents

Publication Publication Date Title
US6424728B1 (en) Method and apparatus for verification of signatures
CN107103218B (zh) 一种业务实现方法和装置
US6758394B2 (en) Identity verification and enrollment system for self-service devices
CN101558431B (zh) 脸认证设备
US20060202012A1 (en) Secure data processing system, such as a system for detecting fraud and expediting note processing
US20100329568A1 (en) Networked Face Recognition System
KR20200118842A (ko) 신원 인증 방법 및 장치, 전자 기기 및 저장 매체
CA2619873A1 (en) Front counter and back counter workflow integration
CN105069622A (zh) 一种面向移动终端的人脸识别支付系统和方法
US20210406351A1 (en) Non-face-to-face authentication system
US11886562B2 (en) Systems and methods for enhancing biometric matching accuracy
CN109376717A (zh) 人脸对比的身份识别方法、装置、电子设备及存储介质
CN111695571A (zh) 公证文件核验方法、装置、计算机设备及存储介质
CN111667363A (zh) 银行开户用户双录风险识别方法、装置及计算机设备
Suwannakhun et al. Identification and Retrieval System by Using Face Detection
CN105138886B (zh) 机器人生物体征识别系统
JPH07311850A (ja) 識別方法および識別装置
Kim et al. Lip print recognition for security systems by multi-resolution architecture
US20220277311A1 (en) A transaction processing system and a transaction method based on facial recognition
Al Qudah et al. Using Artificial Intelligence applications for E-Government services as iris recognition
CN113469002A (zh) 基于区块链互证和生物多特征识别及多源数据融合的身份识别方法
CN112329586A (zh) 基于情绪识别的客户回访方法、装置及计算机设备
WO2023192808A1 (en) Authentication of age, gender, and other biometric data from live images of users
CN115019364A (zh) 基于人脸识别的身份认证方法、装置、电子设备及介质
JP4270842B2 (ja) 指紋照合装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination