CN115050081A - 表情样本生成方法、表情识别方法、装置及终端设备 - Google Patents

表情样本生成方法、表情识别方法、装置及终端设备 Download PDF

Info

Publication number
CN115050081A
CN115050081A CN202210964757.7A CN202210964757A CN115050081A CN 115050081 A CN115050081 A CN 115050081A CN 202210964757 A CN202210964757 A CN 202210964757A CN 115050081 A CN115050081 A CN 115050081A
Authority
CN
China
Prior art keywords
expression
target
micro
target micro
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210964757.7A
Other languages
English (en)
Other versions
CN115050081B (zh
Inventor
李骁
于欣璐
赖众程
常鹏
高洪喜
聂文尚
冯晋飞
胡云飞
张莉
邓兆卉
苏杰
黎利
陈杭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Bank Co Ltd
Original Assignee
Ping An Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Bank Co Ltd filed Critical Ping An Bank Co Ltd
Priority to CN202210964757.7A priority Critical patent/CN115050081B/zh
Publication of CN115050081A publication Critical patent/CN115050081A/zh
Application granted granted Critical
Publication of CN115050081B publication Critical patent/CN115050081B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4016—Transaction verification involving fraud or risk level assessment in transaction processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02—Banking, e.g. interest calculation or account maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Finance (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Marketing (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Technology Law (AREA)
  • Image Analysis (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Abstract

本申请提供了一种表情样本生成方法、表情识别方法、装置及终端设备，该方法包括：获取第一身份信息对应的初始宏表情以及获取第二身份信息对应的初始微表情；初始宏表情包括至少一种第一表情种类，初始微表情包括至少一种第二表情种类；对第一身份信息以及初始微表情的第二表情种类进行融合，得到第一目标微表情；对第二身份信息以及初始宏表情的第一表情种类进行融合，得到第二目标微表情；确定第一目标微表情和第二目标微表情的相关系数；根据第一目标微表情和第二目标微表情的相关系数，得到目标微表情样本。本申请提供的表情样本生成方法，可以提高生成的表情样本的质量。

Description

表情样本生成方法、表情识别方法、装置及终端设备
技术领域
本申请涉及计算机技术领域，具体涉及一种表情样本生成方法、表情识别方法、装置及终端设备。
背景技术
目前市面上银行包括各种类型的业务，部分业务需要对用户进行一对一的面审、面签。在此过程当中，审批人员根据用户的回答判断申请人是否存在说谎或欺诈等行为。
在实际情况中，人工审核的效率低；同时，人工审核也存在难以识别申请人口述造假的情况，导致无法识别出欺诈行为。因此，在面签过程中或者对面签视频的审核中会基于人脸的微表情进行识别，根据微表情识别结果来对用户的欺诈行为进行判别，从而确定面签过程中是否存在欺诈风险。
然而，对于通过包装、刻意伪装微表情的用户，识别的准确度不高。因此，为了避免该情况，需要通过大量的微表情样本，对相应的模型进行训练，以提高模型识别的准确率。但现有技术中，生成的表情样本质量较差，无法有效的提高模型的识别准确率。
发明内容
本申请提供的表情生成方法，可以先生成第一目标微表情和第二目标微表情，再通过评价指标对第一目标微表情和第二目标微表情进行筛选，能够过滤了质量较差的微表情样本。
第一方面，本申请提供了一种表情样本生成方法，所述方法包括：
获取第一身份信息对应的初始宏表情以及获取第二身份信息对应的初始微表情；所述初始宏表情包括至少一种第一表情种类，所述初始微表情包括至少一种第二表情种类；
对所述第一身份信息以及所述初始微表情的第二表情种类进行融合，得到第一目标微表情；
对所述第二身份信息以及所述初始宏表情的第一表情种类进行融合，得到第二目标微表情；
确定所述第一目标微表情和所述第二目标微表情各自对应的质量评价指标；
根据所述第一目标微表情和所述第二目标微表情各自对应的质量评价指标，得到目标微表情样本。
在本申请一些实施例中，所述对所述第一身份信息以及所述初始微表情的第二表情种类进行融合，得到第一目标微表情，包括：
通过预设的表情生成器，将所述初始宏表情的第一身份信息与所述初始微表情的第二表情种类进行融合，生成初始第一目标微表情；
将所述初始第一目标微表情与所述初始宏表情的第一表情种类进行融合，得到第一目标微表情。
在本申请一些实施例中，所述对所述第二身份信息以及所述初始宏表情的第一表情种类进行融合，得到第二目标微表情，包括：
通过预设的表情生成器，将所述初始宏表情的第一表情种类与所述初始微表情的第二身份信息进行融合，生成目标宏表情；
将所述目标宏表情与所述初始微表情的第二表情种类进行融合，得到第二目标微表情。
在本申请一些实施例中，所述根据所述第一目标微表情和所述第二目标微表情各自对应的质量评价指标，得到目标微表情样本，包括：
确定所述第一目标微表情的第一表情熵，以及所述第一目标微表情与所述初始宏表情的第一相关系数、所述第一目标微表情与所述初始微表情的第二相关系数；
确定所述第二目标微表情的第二表情熵、以及所述第二目标微表情与所述初始宏表情的第三相关系数，以及所述第二目标微表情与所述初始宏表情的第四相关系数；
根据所述第一相关系数与所述第二相关系数，确定所述第一目标微表情的第一目标相关系数，将所述第一表情熵以及所述第一目标相关系数，确定为所述第一目标微表情的质量评价指标；
根据所述第三相关系数与所述第四相关系数，确定所述第二目标微表情的第二目标相关系数，将所述第二表情熵以及所述第二目标相关系数，确定为所述第二目标微表情的质量评价指标。
在本申请一些实施例中，所述根据所述第一目标微表情和所述第二目标微表情各自对应的质量评价指标，得到目标微表情样本，包括：
将所述质量评价指标满足预设的评价阈值的第一目标微表情设置为第一目标微表情样本；
将所述质量评价指标满足所述评价阈值的第二目标微表情设置为第二目标微表情样本；
确定所述第一目标微表情样本与所述第二目标微表情样本为目标微表情样本。
第二方面，本申请还提供了一种表情识别方法，所述方法包括：
获取目标用户办理面签业务的视频信息；
根据预设的表情分析模型，对所述视频信息中所述目标用户的表情进行识别，得到表情识别结果；
其中，通过获取第一身份信息对应的初始宏表情以及获取第二身份信息对应的初始微表情，对所述第一身份信息以及所述初始微表情的第二表情种类进行融合，得到第一目标微表情，对所述第二身份信息以及所述初始宏表情的第一表情种类进行融合，得到第二目标微表情，根据所述第一目标微表情和所述第二目标微表情各自对应的质量评价指标，确定得到目标微表情样本，根据所述目标微表情样本训练得到所述表情分析模型。
根据所述表情识别结果，确定所述目标用户办理面签业务的风险评分。
在本申请一些实施例中，所述根据所述表情识别结果，确定所述目标用户办理面签业务的风险评分，包括：
根据预设的声音分析模型，对所述视频信息中所述目标用户的声音进行识别，得到声音识别结果；
根据所述表情识别结果以及所述声音识别结果确定所述目标用户办理面签业务的风险评分。
第三方面，本申请还提供了一种表情样本生成装置，所述装置包括：
第一获取模块，用于获取第一身份信息对应的初始宏表情以及获取第二身份信息对应的初始微表情；所述初始宏表情包括至少一种第一表情种类，所述初始微表情包括至少一种第二表情种类；
第一融合模块，用于对所述第一身份信息以及所述初始微表情的第二表情种类进行融合，得到第一目标微表情；
第二融合模块，用于对所述第二身份信息以及所述初始宏表情的第一表情种类进行融合，得到第二目标微表情；
确定模块，用于确定所述第一目标微表情和所述第二目标微表情各自对应的质量评价指标；
第二获取模块，用于根据所述第一目标微表情和所述第二目标微表情各自对应的质量评价指标，得到目标微表情样本。
第四方面，本申请还提供了一种终端设备，所述终端设备包括处理器、存储器以及存储于所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现任一项所述的表情样本生成方法中的步骤或者任一项所述的表情识别方法中的步骤。
第五方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现任一项所述的表情样本生成方法中的步骤或者任一项所述的表情识别方法中的步骤。
本申请提供的表情样本生成方法，通过将初始微表情和初始宏表情的身份信息和种类信息交叉融合，得到第一目标微表情和第二目标微表情，达到了扩大样本微表情数量的效果。然后，在基于评价指标，对第一目标微表情和第二目标微表情进行相应的筛选，从而筛选掉微表情质量较差的样本，进而使得生成目标微表情样本满足质量要求。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例中提供的表情样本生成系统的场景示意图；
图2是本申请实施例中表情样本生成方法的一个实施例流程示意图；
图3是本申请实施例中表情样本生成装置的一个功能模块示意图；
图4是本申请实施例中终端设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。
同时，可以理解的是，在本申请的具体实施方式中，涉及到用户信息、用户数据等相关的数据，当本申请以上实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
为了使本领域任何技术人员能够实现和使用本申请，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本申请的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。
下面首先对本申请实施例中涉及到的一些基本概念进行介绍：
宏表情：持续时间稍长的表情，持续时间在1s~5s之间，称为宏表情。当然也存在能够持续5s~10s的宏表情，宏表情表示情绪强烈的表情，宏表情也可能伴有声音，比如笑、哭、咆哮等。即，宏表情指代表情持续时间较长，幅度较大的表情。
微表情：一闪而过、转瞬即逝，持续时间小于0.5秒的表情，通常称为微表情。即，微表情指代表情持续时间很短，幅度微小的表情。
本申请提供了一种表情样本生成方法、表情识别方法、装置及终端设备，以下分别进行详细说明。
请参阅图1，图1为本申请实施例所提供的表情样本生成系统的场景示意图，该表情样本生成系统可以包括终端设备100和存储设备200，该存储设备200可以向该终端设备100传输数据。如图1中的终端设备100，可以获取该存储设备200中存储的样本图像，从而根据样本图像执行本申请中的表情样本生成方法。
本申请实施例中，终端设备100其包括但不限可以是台式机、便携式电脑、网络服务器、掌上电脑（Personal Digital Assistant，PDA）、平板电脑、无线终端设备、嵌入式设备等。
本申请的实施例中，终端设备100和存储设备200之间可通过任何通信方式实现通信，包括但不限于，基于第三代合作伙伴计划（3rd Generation Partnership Project，3GPP）、长期演进（Long Term Evolution，LTE)、全球互通微波访问（WorldwideInteroperability for Microwave Access，WiMAX）的移动通信，或基于TCP/IP协议族（TCP/IP Protocol Suite，TCP/IP）、用户数据报协议（User Datagram Protocol，UDP）的计算机网络通信等。
需要说明的是，图1所示的表情样本生成系统的场景示意图仅仅是一个示例，本申请实施例描述的表情样本生成系统以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着表情样本生成系统的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
如图2所示，图2为本申请实施例中表情样本生成方法的一个实施例流程示意图，表情样本生成方法可以包括如下步骤201～205：
201、获取第一身份信息对应的初始宏表情以及获取第二身份信息对应的初始微表情；初始宏表情包括至少一种第一表情种类，初始微表情包括至少一种第二表情种类。
本申请实施例中，微表情指代持续时间短、幅度小、不易察觉的表情。微表情是一种无意识的自发行为，更能揭示人的真实情感状况。宏表情指代持续时间、幅度大、易观察的表情。因此，宏表情和微表情两者之间互不冲突。换言之，针对于同一种宏表情，例如宏表情A，该宏表情A上可以存在不同的微表情a、b、c等等，例如Aa，Ab，Ac等等。同时，针对于同一种微表情，例如微表情a，该微表情a也可以存在于不同的宏表情A、B、C上，例如aA、aB、aC等等。
其中，初始微表情可以指代已经得到的微表情样本，该初始微表情样本可以为根据人脸，实际采集的微表情样本图像。初始宏表情可以指代已经得到的宏表情样本，该初始宏表情可以为根据人脸，实际采集的宏表情样本图像。
此外，身份信息可以为一种身份标签，第一身份信息与第二身份信息可以相同也可以不同，例如在获取初始宏表情或初始微表情时，可以输入采集用户的身份信息，以当作身份标签。表情种类可以为种类标签，例如喜悦标签可以代表喜悦种类的表情；悲伤标签可以代表悲伤种类的表情；恐惧标签可以代表恐惧种类的表情；愤怒标签可以代表愤怒种类的表情；厌恶标签可以代表厌恶种类的表情；惊讶标签可以代表惊讶种类的表情。且，第一表情种类和第二表情种类可以相同。
202、对第一身份信息以及初始微表情的第二表情种类进行融合，得到第一目标微表情。
根据上述实施例可得，同种的宏表情中可以存在不同类型的微表情，同种的微表情可以存在于不同类型的宏表情。因此，可以将第一身份信息的宏表情与第二表情种类的微表情进行融合。例如：假设第一身份信息此时为用户A，第二表情种类包括喜悦和悲伤时，则可以生成用户A的喜悦微表情和用户A的悲伤微表情。而该用户A的喜悦微表情和用户A的悲伤微表情则为第一目标微表情。
可以理解地，得到的第一目标微表情包括第二身份信息对应的第二表情种类的微表情。
其中，由于宏表情和微表情属于两种不同类型的表情，表情特征也不相同。换言之，两者的表情特征不会互相干扰，故将两者的表情特征互相累加即可。例如：直接将微表情的特征融合至宏表情中即可。
为了更好的实现本申请实施例，在一个本申请实施例中，对第一身份信息以及初始微表情的第二表情种类进行融合，得到第一目标微表情，包括：
通过预设的表情生成器，将初始宏表情的第一身份信息与初始微表情的第二表情种类进行融合，生成初始第一目标微表情；将初始第一目标微表情与初始宏表情的第一表情种类进行融合，得到第一目标微表情。
此外，为了扩大生成的样本数量，可以先将初始宏表情的第一身份信息与初始微表情的第二表情种类进行融合，生成初始第一目标微表情，再将初始第一目标微表情与第一表情种类进行融合，进行样本数量的扩大。
将初始宏表情的第一身份信息与初始微表情的第二表情种类进行融合时，可以是获取第一身份信息的人脸基，然后基于第二表情种类，在获取的人脸基进行微表情的生成。
其中，人脸基可以为一种无表情状态的人脸，但需要说明的是，该人脸基是需要包括初始宏表情的身份信息，即无论是通过机器，还是人工识别该人脸基，可以确定该人脸基的身份。第二表情种类根据上述实施例可得，包括多种，此处不再赘述。此时，可以根据该表情生成器在该人脸基上生成相应的微表情。例如：该种类可以是喜悦，则可以在该人脸基上，通过该表情生成器，生成一个用于表示喜悦的微表情。
可以理解地，初始宏表情的第一身份信息与初始微表情的第二表情种类进行融合，生成的初始第一目标微表情包括第一身份信息对应的第二表情种类的微表情。
根据上文描述，为了扩展表情样本，在将初始宏表情的第一身份信息与初始微表情的第二表情种类进行融合，得到初始第一目标微表情后，还可以将初始第一目标微表情与初始宏表情的第一表情种类进行融合，得到第一目标微表情。
其中，将初始第一目标微表情与初始宏表情的第一表情种类进行融合时，可以获取初始第一目标微表情对应的第一身份信息的人脸基，然后基于第一表情种类以及初始第一目标微表情的第二表情种类，在获取的人脸基进行微表情的生成。
基于第一表情种类以及初始第一目标微表情的第二表情种类，在获取的人脸基进行微表情的生成时，可以包括在人脸基上叠加生成第一表情种类和第二表情种类的微表情、在人脸基上单独第一表情种类的微表情以及第二表情种类的微表情。
例如，假设初始第一目标微表情的第二表情种类为喜悦时，第一表情种类为恐惧时，第二表情种类为喜悦，则在初始第一目标微表情对应的人脸基上可以生成恐惧的第一目标微表情、喜悦的第一目标微表情以及叠加了喜悦和恐惧的第一目标微表情。如此，表情样本的数量便可以增加。
可以理解地，生成的第一目标微表情包括第一身份信息对应的第二表情种类的微表情以及第一身份信息对应的第一表情种类的微表情。
需要说明的是，本申请实施例中的表情生成器可以是通过对神经网络训练得到的，其训练方式可以对抗训练、对比训练、迁移学习等等，具体此处不做赘述。
203、对第二身份信息以及初始宏表情的第一表情种类进行融合，得到第二目标微表情。
根据上述实施例相同，同种的宏表情中可以存在不同类型的微表情，同种的微表情可以存在于不同类型的宏表情。因此，可以将第二身份信息的微表情与第一表情种类的宏表情进行结合。
例如：假设第一表情种类为喜悦时，第二身份信息为用户A和用户B时，则可以生成用户A的喜悦微表情和用户B的喜悦微表情。由此可见，第一身份信息与第二种类信息，以及第二身份信息与第一种类信息之间的交叉融合，能够扩大微表情的样本数量。
其中，与上述实施例相同由于宏表情和微表情属于两种不同类型的表情，表情特征也不相同。换言之，两者的表情特征不会互相干扰，故将两者的表情特征互相累加即可，具体此处不再赘述。
为了更好的实现本申请实施例，在一个本申请实施例中，对第二身份信息以及初始宏表情的第一表情种类进行融合，得到第二目标微表情，包括：
通过预设的表情生成器，将初始宏表情的第一表情种类与初始微表情的第二身份信息进行融合，生成目标宏表情；将目标宏表情与初始微表情的第二表情种类进行融合，得到第二目标微表情。
本实施例与上述实施例的原理相同，由于宏表情和微表情两者之间不会互相干扰，因此可以直接将初始宏表情的第一表情种类与初始微表情的第二身份信息进行融合。
此外，根据上述实施例可得，不同种类的表情在融合时，也可以互不影响。因此，也可以直接将目标宏表情与初始微表情的第二表情种直接融合，从而得到第二目标微表情。
需要说明的是，本申请实施例中，表情生成器是经过训练的表情生成器，具体此处不做赘述。当然也可以通过其他的融合方式，具体此处不做限定。
204、确定第一目标微表情和第二目标微表情各自对应的质量评价指标。
其中，该质量评价指标可以为一种表情种类识别模型的识别结果，该表情种类识别模型用于识别人脸图像的表情种类。因此，可以将生成的第一目标微表情和第二目标微表情输入该表情种类识别模型，当表情种类识别模型能够检测出生成的第一目标微表情和第二目标微表情的种类时，则可以证明生成表情样本趋近于真实的表情，而不是虚假的人脸表情。
例如人脸在微笑时，嘴角上扬的弧度有限，不能无限上扬，而无限上扬的笑容表情，则可以确定为虚假的表情。
若生成的表情为这种虚假的表情，则意味着生成的表情样本不合格，即为一种虚假的、非真实的人脸表情。因此，可通过表情种类识别模型确定第一目标微表情和第二目标微表情各自对应的质量评价指标。
为了更好的实现本申请实施例，在一个本申请实施例中，确定第一目标微表情和第二目标微表情各自对应的质量评价指标，包括：
确定第一目标微表情的第一表情熵，以及第一目标微表情与初始宏表情的第一相关系数、第一目标微表情与初始微表情的第二相关系数；确定第二目标微表情的第二表情熵、以及第二目标微表情与初始宏表情的第三相关系数，以及第二目标微表情与初始宏表情的第四相关系数；根据第一相关系数与第二相关系数，确定第一目标微表情的第一目标相关系数，将第一表情熵以及第一目标相关系数，确定为第一目标微表情的质量评价指标；根据第三相关系数与第四相关系数，确定第二目标微表情的第二目标相关系数，将第二表情熵以及第二目标相关系数，确定为第二目标微表情的质量评价指标。
本实施例中，表情熵可以通过计算微表情中的信息量得到，通过表情熵的数值大小来反映生成的微表情中的信息量，如面部微动作等信息量。当微表情空间包含的面部微动作越复杂时表情熵的值越大，反之表情熵越小代表微表情空间的微动作越稀疏。
在确定第一目标微表情的第一表情熵时，针对第一目标微表情，利用公式①，得到第一表情熵。同理，第二表情熵也可以基于该公式得到。
Figure 872915DEST_PATH_IMAGE002
……①
其中，n=128；
Figure 736965DEST_PATH_IMAGE004
为第一目标微表情对应的表情特征，该特征可以通过相应的特征模型提取得到；H为最终求得的表情熵。
相应地，第二目标微表情相关参数的计算方式与第一目标微表情相关参数的计算方式相同，此处不再赘述。
可选的，在确定第一目标微表情与初始宏表情的第一相关系数时，可以将包括第一目标微表情的表情图像以及包括初始宏表情的表情图像输入至相关系数计算模型，得到第一相关系数。
在通过相关系数计算模型，计算第一目标微表情的表情图像以及包括初始宏表情的表情图像的第一相关系数时，可以是逐个计算同一位置的像素的相关系数，然后基于所有像素的相关系数的均值，得到第一目标微表情的表情图像以及包括初始宏表情的表情图像的第一相关系数。也可以分区块计算第一相关系数。
例如可以将第一目标微表情的表情图像以及包括初始宏表情的表情图像以区块进行划分，从而计算每个区块的相关系数，然后基于所有区块的相关系数均值，得到该第一相关系数。对于第二相关系数、第三相关系数、第四相关系数的计算方式，可以与计算第一相关系数的计算方式相同，具体此处不再赘述。
此外，计算第一目标相关系数，是根据该第一相关系数和第二相关系数得到，具体可以通过将第一相关系数与第二相关系数求和，再求平均数的方式得到。同理，对于第二目标相关系数得到方式与第一目标相关系数得到的方式相同。
其中，相关系数计算模型可以是数学计算模型，例如，皮尔逊相关系数计算模型、交叉熵计算模型以及互相关系数计算模型。
205、根据第一目标微表情和第二目标微表情各自对应的质量评价指标，得到目标微表情样本。
根据上述实施例可得，可以根据表情种类识别模型，确定生成的第一目标微表情和第二目标微表情是否是虚假的人脸表情，此时可以根据该表情种类识别模型将虚假的第一目标微表情和第二目标微表情进行过滤，从而得到目标微表情样本。
为了更好的实现本申请实施例，在一个本申请实施例中，根据第一目标微表情和第二目标微表情各自对应的评价指标，得到目标微表情样本，包括：
将质量评价指标满足预设的评价阈值的第一目标微表情设置为第一目标微表情样本；将质量评价指标满足评价阈值的第二目标微表情设置为第二目标微表情样本；确定第一目标微表情样本与第二目标微表情样本为目标微表情样本。
其中，第一表情熵反映了生成的第一目标微表情中的信息量，当第一目标微表情的第一表情熵满足阈值要求时，则表征第一目标微表情的信息量是足够的，满足要求，当第一目标微表情的第一表情熵未满足阈值要求时，则表征第一目标微表情的信息量是不够的，需要进行剔除。
第一相关系数反映了第一目标微表情与真实人脸的宏表情的相关程度，当第一相关系数高时，表征第一目标微表情与真实人脸的宏表情更贴合，第二相关系数反应了第一目标微表情与真实人脸的微表情的相关程度，当第二相关系数高时，表征第一目标微表情与真实人脸的微表情更贴合。
基于此，基于第一相关系数以及第二相关系数，得到的第一目标相关系数，反映了第一目标微表情与真实人脸的贴合度，若第一目标相关系数满足阈值要求时，则表征第一目标微表情与真实人脸的贴合度满足要求，若第一目标相关系数未满足阈值要求时，则表征第一目标微表情与真实人脸的贴合度未满足要求，需要进行剔除。
此外，在本申请实施例中，将质量评价指标满足预设的评价阈值的第一目标微表情设置为第一目标微表情样本，可以是将第一表情熵以及第一目标相关系数均满足预设的评价阈值的第一目标微表情样本作为第一目标微表情样本，当任意一个第一目标微表情样本的第一表情熵或者第一目标相关系数未满足评价阈值时，则对该第一目标微表情进行剔除。
本申请实施例通过确定微表情的评价指标，根据评价阈值对生成的微表情件筛除，提高生成人脸微表情样本的可靠性。同时，利用筛选出来的样本，训练得到模型，识别准确率高。
本申请实施例中，评价阈值可以根据实际情况进行设定，具体此处不做限定。
可以理解地，本申请实施例中的评价阈值包括表情熵评价阈值以及相关系数评价阈值。在可选的实施方式中，当任意一个生成的微表情（第一目标微表情或者第二目标微表情）存在表情熵或者目标相关系数不满足评价阈值时，则可以对该微表情进行调整，直至该微表情的表情熵以及目标相关系数均满足评价阈值。
在可选的实施方式中，当任意一个生成的微表情（第一目标微表情或者第二目标微表情）的表情熵以及目标相关系数均不满足评价阈值，但表情熵与表情熵评价阈值的差值以及目标相关系数与相关系数评价阈值的差值均小于预设差值时，则可以对该微表情进行调整，直至该微表情的表情熵以及目标相关系数均满足评价阈值。
在可选的实施方式中，当任意一个生成的微表情（第一目标微表情或者第二目标微表情）的表情熵以及目标相关系数均不满足评价阈值，但表情熵与表情熵评价阈值的差值以及目标相关系数与相关系数评价阈值的差值未小于预设差值时，则可以不调整，直接对该微表情过滤掉即可。
本申请提供的表情样本生成方法，通过将初始微表情和初始宏表情的身份信息和种类信息交叉融合，得到第一目标微表情和第二目标微表情，达到了扩大样本微表情数量的效果。然后，在基于质量评价指标，对第一目标微表情和第二目标微表情进行相应的筛选，从而筛选掉微表情质量较差的样本，进而使得生成目标微表情样本满足质量要求。
为了更好的实现本申请实施例，在本申请实施例的基础之上，本申请还提供了一种表情识别方法，方法包括：
获取目标用户办理面签业务的视频信息；根据预设的表情分析模型，对视频信息中目标用户的表情进行识别，得到表情识别结果；其中，通过获取第一身份信息对应的初始宏表情以及获取第二身份信息对应的初始微表情，对第一身份信息以及初始微表情的第二表情种类进行融合，得到第一目标微表情，对第二身份信息以及初始宏表情的第一表情种类进行融合，得到第二目标微表情，根据第一目标微表情和第二目标微表情各自对应的质量评价指标，确定得到目标微表情样本，根据目标微表情样本训练得到表情分析模型。根据表情识别结果，确定目标用户办理面签业务的风险评分。
本实施例中的表情分析模型，是根据上述实施例中，生成的表情样本进行训练得到的，因此该表情分析模型的识别效果较高，可以有效的识别出各种微表情的类型。
此外，不同的微表情可以设定不同的风险评分，例如眼球不自觉移动，可以确定用户存在心虚的表现，此时风险评分较高，证明用户存在较大风险。其中，不同的微表情与各自的风险评分可以设定一个关联对照表，当表情分析模型识别出微表情种类之后，可以根据该关联对照表，确定风险评分。
为了更好的实现本申请实施例，在一个本申请实施例中，根据表情识别结果，确定目标用户办理面签业务的风险评分，包括：
根据预设的声音分析模型，对视频信息中目标用户的声音进行识别，得到声音识别结果；根据表情识别结果以及声音识别结果确定目标用户办理面签业务的风险评分。
为了更加精细的确定用户的心理活动，可以在表情识别的基础之上，先识别用户的声音信息。
例如：声音无力或者声音发颤，可以认定用户存在心虚的情况，不同类型的声音可以对应一个分数，不同类型的声音与对应分数可以预先完成设置。此时，在通过声音识别之后，得到声音识别的分数，然后再通过表情识别结果，得到表情识别的分数，表情识别的分数也可以通过声音识别类似的方式得到对应的分数，此时可以在将两者结合，得到目标分数，即风险评分。
为了更好实施本申请实施例中的表情样本生成方法，在表情样本生成方法之上，本申请实施例中还提供了一种表情样本生成装置，如图3所示，装置300包括：
第一获取模块301，用于获取第一身份信息对应的初始宏表情以及获取第二身份信息对应的初始微表情；初始宏表情包括至少一种第一表情种类，初始微表情包括至少一种第二表情种类；
第一融合模块302，用于对第一身份信息以及初始微表情的第二表情种类进行融合，得到第一目标微表情；
第二融合模块303，用于对第二身份信息以及初始宏表情的第一表情种类进行融合，得到第二目标微表情；
确定模块304，用于确定第一目标微表情和第二目标微表情各自对应的质量评价指标；
第二获取模块305，用于根据第一目标微表情和第二目标微表情各自对应的质量评价指标，得到目标微表情样本。
本申请提供的表情样本生成装置，该第一获取模块301可以获取初始宏表情和初始微表情的种类信息以及身份信息，再通过第一融合模块302以及第二融合模块303，对种类信息以及身份信息对应的表情进行交叉融合，达到了扩大样本微表情数量的效果。
然后，再通过确定模块304确定两者之间相关系数，最后再通过第二获取模块305对第一目标微表情和第二目标微表情进行相应的筛选，从而筛选掉微表情质量较差的样本，进而使得生成目标微表情样本满足质量要求。
在本申请一些实施例中，第一融合模块302具体用于：
通过预设的表情生成器，将初始宏表情的第一身份信息与初始微表情的第二表情种类进行融合，生成初始第一目标微表情；
将初始第一目标微表情与初始宏表情的第一表情种类进行融合，得到第一目标微表情。
在本申请一些实施例中，第二融合模块303具体用于：
通过预设的表情生成器，将初始宏表情的第一表情种类与初始微表情的第二身份信息进行融合，生成目标宏表情；
将目标宏表情与初始微表情的第二表情种类进行融合，得到第二目标微表情。
在本申请一些实施例中，第二获取模块305具体用于：
确定第一目标微表情的第一表情熵，以及第一目标微表情与初始宏表情的第一相关系数、第一目标微表情与初始微表情的第二相关系数；
确定第二目标微表情的第二表情熵、以及第二目标微表情与初始宏表情的第三相关系数，以及第二目标微表情与初始宏表情的第四相关系数；
根据第一相关系数与第二相关系数，确定第一目标微表情的第一目标相关系数，将第一表情熵以及第一目标相关系数，确定为第一目标微表情的质量评价指标；
根据第三相关系数与第四相关系数，确定第二目标微表情的第二目标相关系数，将第二表情熵以及第二目标相关系数，确定为第二目标微表情的质量评价指标。
在本申请一些实施例中，第二获取模块305具体还用于：
将质量评价指标满足预设的评价阈值的第一目标微表情设置为第一目标微表情样本；
将质量评价指标满足评价阈值的第二目标微表情设置为第二目标微表情样本；
确定第一目标微表情样本与第二目标微表情样本为目标微表情样本。
本申请实施例还提供一种终端设备，该终端设备包括处理器、存储器以及存储于存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序以实现本申请实施例中任一项的表情样本生成方法中的步骤。
其中，该终端设备，其集成了本申请实施例所提供的任一种表情样本生成方法，如图4所示，其示出了本申请实施例所涉及的终端设备的结构示意图，具体来讲：
该终端设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图4中示出的终端设备结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器401是该终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行终端设备的各种功能和处理数据，从而对终端设备进行整体监控。
可选的，处理器401可包括一个或多个处理核心；处理器401可以是中央处理单元（Central Processing Unit，CPU），还可以是其他通用处理器、数字信号处理器（DigitalSignal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现成可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界是面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据终端设备的使用所创建的数据等。
此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
终端设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该终端设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，终端设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，终端设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，例如：
获取第一身份信息对应的初始宏表情以及获取第二身份信息对应的初始微表情；初始宏表情包括至少一种第一表情种类，初始微表情包括至少一种第二表情种类；
对第一身份信息以及初始微表情的第二表情种类进行融合，得到第一目标微表情；
对第二身份信息以及初始宏表情的第一表情种类进行融合，得到第二目标微表情；
确定第一目标微表情和第二目标微表情各自对应的质量评价指标；
根据第一目标微表情和第二目标微表情各自对应的质量评价指标，得到目标微表情样本。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种计算机可读存储介质，该存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取记忆体（RAM，Random Access Memory）、磁盘或光盘等。其上存储有计算机程序，计算机程序被处理器进行加载，以执行本申请实施例所提供的任一种表情样本生成方法中的步骤。例如，计算机程序被处理器进行加载可以执行如下步骤：
获取第一身份信息对应的初始宏表情以及获取第二身份信息对应的初始微表情；初始宏表情包括至少一种第一表情种类，初始微表情包括至少一种第二表情种类；
对第一身份信息以及初始微表情的第二表情种类进行融合，得到第一目标微表情；
对第二身份信息以及初始宏表情的第一表情种类进行融合，得到第二目标微表情；
确定第一目标微表情和第二目标微表情各自对应的质量评价指标；
根据第一目标微表情和第二目标微表情各自对应的质量评价指标，得到目标微表情样本。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对其他实施例的详细描述，此处不再赘述。
具体实施时，以上各个单元或结构可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元或结构的具体实施可参见前面的方法实施例，在此不再赘述。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种表情样本生成方法及装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种表情样本生成方法，其特征在于，所述方法包括：
获取第一身份信息对应的初始宏表情以及获取第二身份信息对应的初始微表情；所述初始宏表情包括至少一种第一表情种类，所述初始微表情包括至少一种第二表情种类；
对所述第一身份信息以及所述初始微表情的第二表情种类进行融合，得到第一目标微表情；
对所述第二身份信息以及所述初始宏表情的第一表情种类进行融合，得到第二目标微表情；
确定所述第一目标微表情和所述第二目标微表情各自对应的质量评价指标；
根据所述第一目标微表情和所述第二目标微表情各自对应的质量评价指标，得到目标微表情样本。
2.根据权利要求1所述的表情样本生成方法，其特征在于，所述对所述第一身份信息以及所述初始微表情的第二表情种类进行融合，得到第一目标微表情，包括：
通过预设的表情生成器，将所述初始宏表情的第一身份信息与所述初始微表情的第二表情种类进行融合，生成初始第一目标微表情；
将所述初始第一目标微表情与所述初始宏表情的第一表情种类进行融合，得到第一目标微表情。
3.根据权利要求1所述的表情样本生成方法，其特征在于，所述对所述第二身份信息以及所述初始宏表情的第一表情种类进行融合，得到第二目标微表情，包括：
通过预设的表情生成器，将所述初始宏表情的第一表情种类与所述初始微表情的第二身份信息进行融合，生成目标宏表情；
将所述目标宏表情与所述初始微表情的第二表情种类进行融合，得到第二目标微表情。
4.根据权利要求1所述的表情样本生成方法，其特征在于，所述确定所述第一目标微表情和所述第二目标微表情各自对应的质量评价指标，包括：
确定所述第一目标微表情的第一表情熵，以及所述第一目标微表情与所述初始宏表情的第一相关系数、所述第一目标微表情与所述初始微表情的第二相关系数；
确定所述第二目标微表情的第二表情熵、以及所述第二目标微表情与所述初始宏表情的第三相关系数，以及所述第二目标微表情与所述初始宏表情的第四相关系数；
根据所述第一相关系数与所述第二相关系数，确定所述第一目标微表情的第一目标相关系数，将所述第一表情熵以及所述第一目标相关系数，确定为所述第一目标微表情的质量评价指标；
根据所述第三相关系数与所述第四相关系数，确定所述第二目标微表情的第二目标相关系数，将所述第二表情熵以及所述第二目标相关系数，确定为所述第二目标微表情的质量评价指标。
5.根据权利要求1所述的表情样本生成方法，其特征在于，所述根据所述第一目标微表情和所述第二目标微表情各自对应的评价指标，得到目标微表情样本，包括：
将所述质量评价指标满足预设的评价阈值的第一目标微表情设置为第一目标微表情样本；
将所述质量评价指标满足所述评价阈值的第二目标微表情设置为第二目标微表情样本；
确定所述第一目标微表情样本与所述第二目标微表情样本为目标微表情样本。
6.一种表情识别方法，其特征在于，所述方法包括：
获取目标用户办理面签业务的视频信息；
根据预设的表情分析模型，对所述视频信息中所述目标用户的表情进行识别，得到表情识别结果；其中，通过获取第一身份信息对应的初始宏表情以及获取第二身份信息对应的初始微表情，对所述第一身份信息以及所述初始微表情的第二表情种类进行融合，得到第一目标微表情，对所述第二身份信息以及所述初始宏表情的第一表情种类进行融合，得到第二目标微表情，根据所述第一目标微表情和所述第二目标微表情各自对应的质量评价指标，确定得到目标微表情样本，根据所述目标微表情样本训练得到所述表情分析模型；
根据所述表情识别结果，确定所述目标用户办理面签业务的风险评分。
7.根据权利要求6所述的表情识别方法，其特征在于，所述根据所述表情识别结果，确定所述目标用户办理面签业务的风险评分，包括：
根据预设的声音分析模型，对所述视频信息中所述目标用户的声音进行识别，得到声音识别结果；
根据所述表情识别结果以及所述声音识别结果确定所述目标用户办理面签业务的风险评分。
8.一种表情样本生成装置，其特征在于，所述装置包括：
第一获取模块，用于获取第一身份信息对应的初始宏表情以及获取第二身份信息对应的初始微表情；所述初始宏表情包括至少一种第一表情种类，所述初始微表情包括至少一种第二表情种类；
第一融合模块，用于对所述第一身份信息以及所述初始微表情的第二表情种类进行融合，得到第一目标微表情；
第二融合模块，用于对所述第二身份信息以及所述初始宏表情的第一表情种类进行融合，得到第二目标微表情；
确定模块，用于确定所述第一目标微表情和所述第二目标微表情各自对应的质量评价指标；
第二获取模块，用于根据所述第一目标微表情和所述第二目标微表情各自对应的质量评价指标，得到目标微表情样本。
9.一种终端设备，其特征在于，所述终端设备包括处理器、存储器以及存储于所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现权利要求1至5任一项所述的表情样本生成方法中的步骤或者6至7任一项所述的表情识别方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现权利要求1至5任一项所述的表情样本生成方法中的步骤或者6至7任一项所述的表情识别方法中的步骤。
CN202210964757.7A 2022-08-12 2022-08-12 表情样本生成方法、表情识别方法、装置及终端设备 Active CN115050081B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210964757.7A CN115050081B (zh) 2022-08-12 2022-08-12 表情样本生成方法、表情识别方法、装置及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210964757.7A CN115050081B (zh) 2022-08-12 2022-08-12 表情样本生成方法、表情识别方法、装置及终端设备

Publications (2)

Publication Number Publication Date
CN115050081A true CN115050081A (zh) 2022-09-13
CN115050081B CN115050081B (zh) 2022-11-25

Family

ID=83167332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210964757.7A Active CN115050081B (zh) 2022-08-12 2022-08-12 表情样本生成方法、表情识别方法、装置及终端设备

Country Status (1)

Country Link
CN (1) CN115050081B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273876A (zh) * 2017-07-18 2017-10-20 山东大学 一种基于深度学习的‘宏to微转换模型’的微表情自动识别方法
CN108629314A (zh) * 2018-05-07 2018-10-09 山东大学 一种基于主动迁移学习的微表情识别方法
CN109472206A (zh) * 2018-10-11 2019-03-15 平安科技（深圳）有限公司 基于微表情的风险评估方法、装置、设备及介质
CN111460981A (zh) * 2020-03-30 2020-07-28 山东大学 一种基于重构跨域视频生成对抗网络模型的微表情识别方法
CN111582150A (zh) * 2020-05-07 2020-08-25 江苏日颖慧眼智能设备有限公司 一种人脸质量评估的方法、装置和计算机存储介质
WO2021083241A1 (zh) * 2019-10-31 2021-05-06 Oppo广东移动通信有限公司 人脸图像质量评价方法、特征提取模型训练方法、图像处理系统、计算机可读介质和无线通信终端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273876A (zh) * 2017-07-18 2017-10-20 山东大学 一种基于深度学习的‘宏to微转换模型’的微表情自动识别方法
CN108629314A (zh) * 2018-05-07 2018-10-09 山东大学 一种基于主动迁移学习的微表情识别方法
CN109472206A (zh) * 2018-10-11 2019-03-15 平安科技（深圳）有限公司 基于微表情的风险评估方法、装置、设备及介质
WO2021083241A1 (zh) * 2019-10-31 2021-05-06 Oppo广东移动通信有限公司 人脸图像质量评价方法、特征提取模型训练方法、图像处理系统、计算机可读介质和无线通信终端
CN111460981A (zh) * 2020-03-30 2020-07-28 山东大学 一种基于重构跨域视频生成对抗网络模型的微表情识别方法
CN111582150A (zh) * 2020-05-07 2020-08-25 江苏日颖慧眼智能设备有限公司 一种人脸质量评估的方法、装置和计算机存储介质

Also Published As

Publication number Publication date
CN115050081B (zh) 2022-11-25

Similar Documents

Publication Publication Date Title
TWI731297B (zh) 一種風險預測方法、存儲介質和伺服器
CN107818798B (zh) 客服服务质量评价方法、装置、设备及存储介质
CN112328999B (zh) 双录质检方法、装置、服务器及存储介质
CN110619568A (zh) 风险评估报告的生成方法、装置、设备及存储介质
Ghosh et al. Automatic group affect analysis in images via visual attribute and feature networks
CN104246660A (zh) 用于基于隐式用户输入和行为的媒体的动态适应的系统和方法
CN111046819A (zh) 一种行为识别处理方法及装置
CN110659397A (zh) 一种行为检测方法、装置、电子设备和存储介质
CN110895568B (zh) 处理庭审记录的方法和系统
CN109462603A (zh) 基于盲检测的声纹认证方法、设备、存储介质及装置
TWM565361U (zh) 金融交易詐騙偵測防範系統
US20230410220A1 (en) Information processing apparatus, control method, and program
CN115658889A (zh) 对话处理方法、装置、设备及存储介质
Saheb Jam et al. Developing a data-driven categorical taxonomy of emotional expressions in real world human robot interactions
CN111222837A (zh) 智能化面试的方法、系统、设备及计算机存储介质
CN110363080A (zh) 基于人脸识别的黄牛识别方法、装置、终端及存储介质
CN115050081B (zh) 表情样本生成方法、表情识别方法、装置及终端设备
CN109711970A (zh) 贷款授信平台及其授信方法、授信设备、可读存储介质
Wang et al. Deep learning (DL)-enabled system for emotional big data
CN113017634B (zh) 情绪评估方法、装置、电子设备和计算机可读存储介质
Nilugonda et al. A survey on big five personality traits prediction using tensorflow
CN113052146A (zh) 情绪预警方法及装置
CN114494939A (zh) 基于图像识别的防偷盗方法及相关产品
KR20210142560A (ko) 챗봇 서비스를 제공하는 커뮤니케이션 시스템
CN112991076A (zh) 信息处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant