CN112163467B - 情绪分析方法、装置、电子设备及机器可读存储介质 - Google Patents

情绪分析方法、装置、电子设备及机器可读存储介质 Download PDF

Info

Publication number
CN112163467B
CN112163467B CN202010954211.4A CN202010954211A CN112163467B CN 112163467 B CN112163467 B CN 112163467B CN 202010954211 A CN202010954211 A CN 202010954211A CN 112163467 B CN112163467 B CN 112163467B
Authority
CN
China
Prior art keywords
emotion
objects
time period
abnormality
concern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010954211.4A
Other languages
English (en)
Other versions
CN112163467A (zh
Inventor
朱俊
王保青
戴骏
孙伟龙
周连杰
万云东
董滔
曹仁波
蒋红斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202010954211.4A priority Critical patent/CN112163467B/zh
Publication of CN112163467A publication Critical patent/CN112163467A/zh
Application granted granted Critical
Publication of CN112163467B publication Critical patent/CN112163467B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本申请提供一种情绪分析方法、装置、电子设备及机器可读存储介质,该方法包括:获取目标事件关联的至少两个对象的视频;依据该视频,分析该至少两个对象的情绪信息;依据该至少两个对象同一时间段内的情绪信息,确定情绪关注点。该方法可以为发现目标事件关联的对象在对目标事件进行相关描述时出现的异常提供技术支持,进而,为提高获取事件信息的效率和准确性提供技术支持。

Description

情绪分析方法、装置、电子设备及机器可读存储介质
技术领域
本申请涉及数据处理技术领域,尤其涉及一种情绪分析方法、装置、电子设备及机器可读存储介质。
背景技术
通过向与特定事件关联的对象进行针对特定事件的提问,并获取对象对提问的回答是工作人员了解特定事件以还原特定事件的一种常见方式。
为了尽可能保证所获取到的事件信息的真实性,工作人员会获取通过提问的方式获取特定事件的信息的过程的视频,以便基于视频分析对象在回答问题的过程中是否存在说谎的情况。
然而实践发现,传统方案中通常是针对单个对象回答提问的视频进行情绪分析,确定该对象针对提问的回答的真实性,其准确率不高、不利于特定事件的真实还原。
发明内容
有鉴于此,本申请提供一种情绪分析方法、装置、电子设备及机器可读存储介质。
根据本申请实施例的第一方面,提供一种情绪分析方法,包括:
获取目标事件关联的至少两个对象的视频,该视频记录了向该至少两个对象对目标事件的相关描述;
依据该视频,分析该至少两个对象的情绪信息;
依据该至少两个对象同一时间段内的情绪信息,确定情绪关注点,该情绪关注点包括出现至少一个对象情绪异常的时间段。
根据本申请实施例的第二方面,提供一种情绪分析装置,包括:
获取单元,被配置为获取目标事件关联的至少两个对象的视频,该视频记录了该至少两个对象对目标事件的相关描述;
分析单元,被配置为依据该视频,分析该至少两个对象的情绪信息;
确定单元,被配置为依据该至少两个对象同一时间段内的情绪信息,确定情绪关注点,该情绪关注点包括出现至少一个对象情绪异常的时间段。
根据本申请实施例的第三方面,提供一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现第一方面的情绪分析方法。
根据本申请实施例的第四方面,提供一种计算机可读存储介质,计算机可读存储介质内存储有计算机程序,计算机程序被处理器执行时实现第一方面的情绪分析方法。
根据本申请实施例的第五方面,提供一种计算机程序,该计算机程序存储于机器可读存储介质,并且当处理器执行该计算机程序时,促使处理器执行第一方面的情绪分析方法。
本申请实施例的情绪分析方法,通过对目标事件关联的至少两个对象的视频进行分析,确定该至少两个对象的情绪信息,并依据该至少两个对象同一时间段内的情绪信息,确定情绪关注点,为发现目标事件关联的对象对目标事件进行相关描述时出现的异常提供技术支持,进而,为提高获取事件信息的效率和准确性提供技术支持。
附图说明
图1是本申请一示例性实施例示出的一种情绪分析方法的流程示意图;
图2是本申请一示例性实施例示出的一种确定对象的优先级的流程示意图;
图3是本申请一示例性实施例示出的一种情绪分析装置的结构示意图;
图4是本申请一示例性实施例示出的一种电子设备的硬件结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案,并使本申请实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图对本申请实施例中技术方案作进一步详细的说明。
请参见图1,为本申请实施例提供的一种情绪分析方法的流程示意图,如图1所示,该情绪分析方法可以包括以下步骤:
需要说明的是,本申请实施例中各步骤的序号大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
步骤S100、获取目标事件关联的至少两个对象的视频,该至少两路频记录了该至少两个对象对目标事件的相关描述。
本申请实施例中,目标事件并不特指某一事件,而是可以指代任一与至少两个对象关联的事件。
与目标事件关联的至少两个对象可以包括参与了目标事件的对象,或者,见证了目标事件(见证了目标事件的部分或全部发生过程)的对象,或者与目标事件中的人或物有关系的对象,本申请实施例对此不作限制。
工作人员可以基于目标事件关联的至少两个对象对目标事件的相关描述,尝试对目标事件的真实发生过程进行还原。
示例性的,该至少两个对象对目标事件的相关描述可以为对工作人员针对目标事件的提问的回答,也可以是庭审过程中各个对象各自对目标事件的陈述。
为了使工作人员能够更好地确定目标事件关联的对象对目标事件的相关描述的真实性,在目标事件关联的至少两个对象对目标事件进行描述的过程中,可以对该至少两个对象进行视频拍摄,例如,通过针对目标事件的提问以及回答时,该至少两个对象所处区域部署的监控摄像头获取向目标事件关联的至少两个对象进行针对目标事件的提问,以及该至少两个对象对提问进行回答的过程的视频。例如录制庭审视频或审讯视频。
可选地,向目标事件关联的至少两个对象进行针对目标事件的提问时,可以由同一工作人员同时对该至少两个对象进行相同的提问。
或者,向目标事件关联的至少两个对象进行针对目标事件的提问时,可以由工作人员分别对部分对象(可以为一个对象)进行提问,对不同对象的提问内容可以相同,也可以不同。例如庭审过程中,针对原告、被告、证人等的提问可以不同,依据同一时间段内多个对象的情绪分析情绪关注点,比如在对证人进行提问时,被告和原告虽然没有被提问,但是针对证人的回答,被告和原告也可能会出现各种不同的情绪,进而可以进行情绪关注点分析。
步骤S110、依据获取到视频,分析目标事件关联的至少两个对象的情绪信息。
本申请实施例中,可以依据获取到的视频,分析目标事件关联的至少两个对象在对目标事件的相关描述的过程中的情绪信息。
示例性的,情绪信息可以包括情绪类型、情绪属性、以及情绪波动信息等信息中的一个或多个。
可选地,情绪类型可以包括但不限于高兴、悲伤、厌恶、愤怒、惊讶或害怕等。
情绪属性可以包括正向、中性或负向等。
例如,高兴和兴奋等的情绪属性为正向(可以称为正向情绪);愤怒、悲伤、厌恶以及害怕等的情绪属性为负向(可以称为负向情绪);惊讶的情绪属性为中性(可以称为中性情绪)。
示例性的,情绪波动包括由一种情绪变化为另一种情绪,情绪波动信息可以包括但不限于波动前后的情绪类型以及情绪波动属性等信息中的一个或多个。
情绪波动属性可以包括正向情绪波动、中性情绪波动或负向情绪波动等。
例如,负向情绪波动的情况例如:由正向情绪变化为中性情绪、或由正向情绪变化为负向情绪,或者,由中性情绪变化为负向情绪;正向情绪波动的情况例如:由负向情绪变化为中性情绪,或由负向情绪变化为正向情绪,或者,由中性情绪变化为正向情绪;中性情绪波动的情况例如:中性情绪之间的转变。
需要说明的是,当目标事件关联的至少两个对象对目标事件的相关描述通过提问-回答的方式实现时,在提问过程中,工作人员对目标事件关联的至少两个对象的部分对象进行提问时,在该部分对象对提问进行回答的过程中,除了可以对该部分对象进行情绪信息分析之外,还可以对该至少两个对象中的其余对象(目标事件关联的至少两个对象中除回答提问的部分对象之外的对象)进行情绪信息分析(在获取到了相关对象的视频的情况下)。
此外,通过获取到的视频对目标事件关联的对象的情绪进行检测可以通过对面部运动单元(如挑动眉毛)进行检测的方式实现,其具体处理流程在此不做赘述。
步骤S120、依据目标事件关联的至少两个对象同一时间段内的情绪信息,确定情绪关注点,该情绪关注点包括出现至少一个对象情绪异常的时间段。
本申请实施例中,当按照步骤S110中描述的方式分析出目标事件关联的至少两个对象的情绪信息时,可以依据该至少两个对象同一时间段内的情绪信息,确定情绪关注点,例如存在至少一个对象出现情绪异常的时间段。
示例性的,该同一时间段可以为针对同一提问的回答时间段,或者,其中一个对象在对目标事件进行相关描述的时间段。
示例性的,当确定了目标事件关联的至少两个对象的情绪信息时,可以依据该至少两个对象同一时间段内(如针对某一个提问的回答过程中)的情绪信息,确定是否存在至少一个对象情绪异常。
需要说明的是,情绪关注点的确定可以在针对目标事件的提问及回答过程中,基于已进行的提问及回答进行,或者,情绪关注点的确定也可以在针对事件的提问及回答结束之后,基于所进行的提问及回答进行。
可见,在图1所示方法流程中,通过对目标事件关联的至少两个对象的视频进行分析,确定该至少两个对象的情绪信息,并依据该至少两个对象同一时间段内的情绪信息,确定情绪关注点,为发现事件关联的对象在对事件进行相关描述时出现的异常提供技术支持,进而,为提高获取事件信息的效率和准确性提供技术支持。
作为一种可能的实施例,步骤S120中,至少一个对象情绪异常,可以包括:
至少一个对象出现满足第一预设条件的情绪波动,或,至少一个对象出现微表情。
示例的,当检测到目标事件关联的至少一个对象出现满足预设条件(本文中称为第一预设条件)的情绪波动,或,出现微表情时,可以确定该至少一个对象存在情绪异常。
示例性的,微表情是指对象在维持一种情绪类型的过程中出现的持续时间不超过预设时间阈值的另一种情绪类型。
例如,对象在微笑的过程中,出现短时间(如200ms)的痛苦表情,则该痛苦表情可以称为微表情。
在一个示例中,至少一个对象出现满足第一预设条件的情绪波动包括以下至少之一:
至少一个对象与至少一个其他对象的情绪波动属性不同;
至少一个对象的情绪波动频率达到第二条件;
至少一个对象的情绪波动程度达到第三预设条件。
示例性的,当同一时间段内,至少一个对象与至少一个其他对象的情绪波动属性不同,例如,目标事件关联的多个对象中部分对象出现正向情绪波动,且另一部分对象出现负向情绪波动时,可以确定至少一个对象存在情绪异常。
此时,存在情绪异常的对象可以包括上述出现正向情绪波动的对象和出现负向情绪波动的对象。
举例来说,假设目标事件关联的对象包括对象A和对象B,若在某一时间段内,对象A出现正向情绪波动(如悲伤→高兴),对象B出现负向情绪波动(兴奋→害怕),则可以确定对象A出现了与对象B的情绪波动反向的情绪波动(同理,对象B也出现了与对象A的情绪波动反向的情绪波动),此时,可以确定对象A和对象B均存在情绪异常。
示例性的,当同一时间段内,至少一个对象的情绪波动频率达到预设条件(本文中称为第二预设条件),例如,至少一个对象在预设时间段内出现情绪波动的次数达到预设次数阈值时,确定该至少一个对象存在情绪异常。
示例性的,当同一时间段内,至少一个对象的情绪波动程度达到预设条件(本文中称为第三预设条件),例如,情绪波动的量化值大于预设阈值(可以称为情绪剧烈波动)。
可选地,可以预先为各情绪类型设置对应的量化值。
正向情绪的量化值为正数,负向情绪的量化值为负数,中性情绪的量化值为正数、负数或零,且中性情绪的量化值的绝对值小于正向情绪的量化值的绝对值,以及中性情绪的量化值的绝对值小于负向情绪的量化值的绝对值。
当目标事件关联的至少两个对象中任一对象出现情绪波动时,可以基于情绪波动前后的情绪的量化值(即变化前的情绪的量化值和变化后的情绪的量化值)之间的差值的绝对值确定该对象是否情绪剧烈波动,并当该绝对值大于预设量化阈值时,确定该对象情绪剧烈波动。
举例来说,假设高兴的量化值为10,悲伤的量化值为-10,则当对象情绪由高兴变化为悲伤时,情绪波动前后的情绪的量化值之间的差值的绝对值为20。
示例性的,当依据目标事件关联的至少两个对象在同一时间段内的情绪,确定至少一个对象出现满足第一预设条件的情绪波动,或至少一个对象出现微表情时,可以确定该至少一个对象存在情绪异常,此时,可以将该时间段确定为情绪关注点。
在一个示例中,步骤S120中,确定出现情绪关注点之后,还可以包括:
依据情绪关注点对应的时间段内目标事件关联的至少两个对象的情绪信息,确定情绪关注点的情绪异常程度;
基于该情绪异常程度确定情绪关注点的优先级。
示例性的,当确定出现情绪关注点时,可以依据情绪关注点对应的时间段内目标事件关联的至少两个对象的情绪信息,确定该情绪关注点的情绪异常程度。
在一个示例中,依据情绪关注点对应的时间段内目标事件关联的至少两个对象的情绪信息,确定情绪关注点的情绪异常程度,可以包括:
依据情绪关注点对应的时间段内目标事件关联的至少两个对象的情绪信息,确定至少一个情绪异常量化参数值;该情绪异常量化参数值包括以下中至少之一:
情绪关注点对应的时间段内出现异常情绪的对象的数量、情绪关注点对应的时间段内不同情绪波动的数量、情绪关注点对应的时间段内的情绪波动频度以及情绪关注点对应的时间段内的情绪波动强度;
依据各个情绪异常量化参数值,确定情绪关注点的情绪异常程度。
示例性的,可以依据情绪关注点对应的时间段内目标事件关联的至少两个对象的情绪信息,确定至少一个情绪异常量化参数值。
示例性的,情绪关注点对应的时间段内出现异常情绪的对象的数量可以为该时间段内出现微表情,或/和出现满足上述第一预设条件的情绪波动的不同对象的数量。
举例来说,假设目标事件关联的对象包括对象A、对象B、对象C、对象D和对象E,若在某一时间段内(如针对某一个提问的回答过程中)出现了以下满足情绪异常的情况:
对象A出现正向情绪波动,对象B和对象D出现负向情绪波动;
对象A和对象C出现微表情;
对象B在该预设时间段内出现情绪波动的次数达到预设次数阈值;
对象D在出现情绪剧烈暴动。
则,对象A、对象B、对象C和对象D均存在情绪异常,该时间段内出现异常情绪的对象的数量为4个。
示例性的,情绪关注点对应的时间段内不同情绪波动的数量用于表征同一时间段内,出现不同情绪波动的数量。
例如,对于同一提问,对象A的情绪类型由平静变化为高兴,对象B的情绪类型由平静变化为害怕,对象C的情绪类型由高兴变化为厌恶,则出现不同情绪波动的数量为3。
示例性的,情绪关注点对应的时间段内的情绪波动频度是该时间段内,预设单位时间内出现的情绪波动的数量。
举例来说,假设时间段T内目标事件关联的至少两个对象出现的情绪波动的数量为N,预设单位时间为t,则该时间段内的情绪波动频度为N*t/T。
示例性的,情绪关注点对应的时间段内的情绪波动强度可以为一个时间段内出现的各情绪波动的强度之和;其中,单个情绪波动的强度的确定可以参见上述情绪剧烈波动的确定的相关描述。
示例性的,可以预先设定出现异常情绪的对象的数量的量化值、不同情绪波动的数量的量化值、情绪波动频度的量化值以及情绪波动强度的量化值,进而,当确定出现情绪关注点时,可以基于该情绪关注点对应的时间段内各情绪异常量化参数值对应的量化值确定该时间段内的情绪异常程度值,并基于该情绪关注点的情绪异常程度确定该情绪关注点的优先级。
举例来说,假设情绪关注点对应的时间段内的出现异常情绪的对象的数量小于等于2个时,对应的量化值为a1;情绪关注点对应的时间段内的出现异常情绪的对象的数量大于2个小于6个时,对应的量化值为a2;情绪关注点对应的时间段内的出现异常情绪的对象的数量大于等于6个时,对应的量化值为a3(a1<a2<a3)。
情绪关注点对应的时间段内的不同情绪波动的数量小于等于2种时,对应的量化值为b1;情绪关注点对应的时间段内的不同情绪波动的数量大于2种时,对应的量化值为b2。
情绪关注点对应的时间段内的情绪波动频度小于等于3次/5分钟时,对应的量化值为c1;情绪关注点对应的时间段内的情绪波动频度大于3次/5分钟时,对应的量化值为c2。
情绪关注点对应的时间段内的情绪波动强度小于等于10时,对应的量化值为d1,情绪关注点对应的时间段内的情绪波动强度大于10,且小于等于30时,对应的量化值为d2;情绪关注点对应的时间段内的情绪波动强度大于30时,对应的量化值为d3。
相应地,当确定出现情绪关注点时,可以基于对应的时间段内各情绪异常量化参数值对应的量化值,确定该时间段内的情绪异常的量化值(即情绪关注点的情绪异常程度)。
例如,将各情绪异常量化参数值对应的量化值之和,确定为该时间段内的情绪异常的量化值。
或者,可以预先为各情绪异常量化参数值设置对应的权重,并将各情绪异常量化参数值对应的量化值的加权和,确定为该时间段内的情绪异常的量化值。
示例性的,情绪关注点的优先级与对应时间段内情绪异常程度正相关,情绪异常程度与情绪异常量化值正相关。
作为一种可能的实施例,如图2所示,本申请实施例提供的情绪分析方法还可以包括以下步骤:
步骤S200、对于目标事件关联的至少两个对象中的任一对象,确定该对象在所获取到的视频中出现时间最长的情绪。
步骤S210、基于各对象出现时间最长的情绪,确定各对象的优先级。
示例性的,当获取到目标事件关联的至少两个对象的视频时,可以分别确定该至少两个对象中各对象在所获取到的视频中出现的情绪。
对于该至少两个对象中的任一对象,确定该对象在所获取到的视频中出现时间最长的情绪(可以称为主情绪)。
例如,对于任一对象的视频,可以分别确定该对象在各视频帧中出现的情绪,并统计各种不同类型的情绪对应的视频帧数,将对应的视频帧数最多的情绪确定为该对象在所获取到的视频中出现时间最长的情绪。
当确定了各对象在所获取到的视频中出现时间最长的情绪时,可以基于各对象出现时间最长的情绪(即主情绪),确定各对象的优先级。
在一个示例中,对象的优先级可以与对象对目标事件的描述真实的概率正相关,即对象优先级越高,工作人员越容易通过该对象获取到事件的真实发生过程。
例如,当所确定的对象1~4的主体情绪如下时:
对象1:{主体情绪=害怕}
对象2:{主体情绪=厌恶}
对象3:{主体情绪=中性}
对象4:{主体情绪=愤怒}
则对象1~4的优先级排序可以为:对象1>对象4>对象2>对象3。
在另一个示例中,对象的优先级可以与对象对目标事件的描述真实的概率负相关,即对象优先级越高,工作人员越难通过该对象获取到事件的真实发生过程。
例如,当所确定的对象1~4的主体情绪如下时:
对象1:{主体情绪=害怕}
对象2:{主体情绪=厌恶}
对象3:{主体情绪=中性}
对象4:{主体情绪=愤怒}
则对象1~4的优先级排序可以为:对象3>对象2>对象4>对象1。
进一步地,在本申请实施例中,当按照上述实施例中描述的方式确定了情绪关注点时,可以基于所确定的情绪关注点、所记录的各对象对目标事件的相关描述的上下文以及不同对象对目标事件的相关描述的矛盾点等进行综合分析,确定已获知的事件发生过程中的疑点以及还原事件真实发生过程的突破口(即通过哪一个对象获取事件真实发生过程)。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案,下面结合具体场景对本申请实施例提供的技术方案进行说明。
场景一
目标事件关联的至少两个对象为参与该目标事件的至少两个对象,该至少两个对象在参与目标事件的过程中,角色(或分工)可以不同,例如,部分对象为观察者的角色,部分对象为决策者的角色,部分对象为执行者的角色,由于对象参与目标事件的角色不同,以及不同对象的背景和性格等也会存在差异,因此,不同对象在应对相同的提问时,所做出的回答以及展现的表情都可能存在差异,尤其是在对事件真实发生过程的表述方面。
因此,可以通过将目标事件关联的至少两个对象分别安排在不同的房间(各房间中均部署有监控前端设备,可以获取对应对象在提问-回答过程中的视频数据),并对该至少两个对象同时进行相同的提问(由工作人员对该至少两个对象进行统一提问),以便对该至少两个对象在同一提问-回答过程中的情绪信息进行分析,对各对象针对提问的回答的真实性进行判定。
系统可以获取目标事件关联的各对象的提问-回答过程中的视频数据(包括至少两个视频),并依据获取到的视频数据,对对象针对各提问的情绪信息进行分析,以识别出各对象在提问-回答过程中的情绪信息,如情绪类型、情绪波动以及微表情等,以便基于不同对象针对同一提问的不同情绪信息(即同一时间段内的情绪信息),确定情绪关注点。
系统可以依据该至少两个对象针对同一提问的情绪信息,确定是否存在至少一个对象情绪异常。
可选地,至少一个对象情绪异常可以包括:
至少一个对象出现满足第一预设条件的情绪波动,或,至少一个对象出现微表情。
可选地,至少一个对象出现满足第一预设条件的情绪波动可以包括以下至少之一:
至少一个对象与至少一个其他对象的情绪波动属性不同;
至少一个对象的情绪波动频度达到第二预设条件;
至少一个对象的情绪波动程度达到第三预设条件。
当确定出现情绪关注点时,可以依据该情绪关注点对应的时间段内目标事件关联的至少两个对象的情绪信息,确定该情绪关注点的情绪异常程度,并基于该情绪异常程度确定情绪关注点的优先级。
可选地,可以依据情绪关注点对应的时间段内目标事件关联的至少两个对象的情绪信息,确定至少一个情绪异常量化参数值,并依据各个情绪异常量化参数值,确定所述情绪关注点的情绪异常程度。
情绪异常量化参数值包括以下至少之一:
情绪关注点对应的时间段内出现异常情绪的对象的数量、情绪关注点对应的时间段内不同情绪波动的数量、情绪关注点对应的时间段内情绪波动频度以及情绪关注点对应的时间段内情绪波动强度。
系统可以基于所确定的情绪关注点、情绪关注点的优先级、所记录的各对象回答提问的内容上下文以及不同对象回答同一提问的矛盾点等进行综合分析,确定已获知的事件发生过程中的疑点以及还原事件真实发生过程的突破口。
在提问-回答过程中,系统可以统计各对象在所获取到的视频中的主情绪,并按照主情绪,依照对象对针对目标事件的提问的回答的真实概率越高,优先级越高的策略,确定各对象的优先级,以为更高效、准确地还原事件真实发生过程提供数据支持。
需要说明的是,在该场景中,首先,系统可以对提问-回答过程的实时视频进行分析,标记出提问-回答过程中的情绪关注点,以便工作人员根据需求调整提问策略和提问内容。
其次,提问-回答完成后,系统可以基于视频分析结果,确定各对象的情绪评价,如各对象的主情绪,为更高效、准确地还原事件真实发生过程提供数据支持;
再者,提问-回答完成后,系统可以以情绪关注点为中心(索引方式),将整个提问-回答过程中出现的所有情绪关注点与时间点前后的文字记录(提问-回答内容的记录)、音视频数据等关联同步展示,呈现概要的情绪表现关注点综合信息,并将情绪关注点作为事件发生过程疑点进行分析,为更高效、准确地还原事件真实发生过程提供数据支持;
再次,系统接收到录像(提问-回答过程的视频)点播回看指令时,可以提供多路同轨播放功能,并在同一个时间轨道上显示上述情绪关注点。将情绪关注点以标记点、事件列表等多种突显方式在页面上展示,便于工作人能够快速定位到特别关心的焦点问题。
最后,系统还将结合各对象的情绪表现,刻画各对象回答提问的真实性方面的特征,并分析各对象在事件中的相互关联关系,例如,当两个对象针对相同提问的情绪反应越接近,则认为两个对象间的关联关系越大。
场景二
目标事件关联的至少两个对象包括参与该目标事件的多个对象、以及未参与该事件,但对该事件完整发生过程的部分或全部进行了见证,或者与目标事件中的人或物有关系的一个或多个对象。
示例性的,参与该目标事件的至少两个对象通常包括对目标事件的发生过程或发生原因等持不同观点的两部分对象(每一部分对象均可以包括一个或多个对象)。
由于目标事件关联的多个对象在参与目标事件或见证目标事件的过程中,处于不同角色,因此,在任一对象在对目标事件进行相关描述的过程中,不同对象所展现的表情可能存在差异。
在该场景中,工作人员可以分别对单个对象进行提问,但是在针对该对象进行提问-回答的过程中,除了可以依据该对象对应的视频分析该对象的情绪信息之外,还可以依据获取到的目标事件关联的其他对象的视频分析其他对象在该过程中的情绪信息,以便基于不同对象针对同一提问的不同情绪信息,确定情绪关注点。
系统可以依据该至少两个对象同一时间段内的情绪信息,确定是否存在至少一个对象情绪异常。
可选地,至少一个对象情绪异常可以包括:
至少一个对象出现满足第一预设条件的情绪波动,或,至少一个对象出现微表情。
可选地,至少一个对象出现满足第一预设条件的情绪波动可以包括以下至少之一:
至少一个对象的情绪波动频率达到第二预设条件,例如,在预设时间段内出现情绪波动的次数达到预设次数阈值;
至少一个对象的情绪波动程度达到第三预设条件。
当确定出现情绪关注点时,可以依据该情绪关注点对应的时间段内至少两个对象的情绪信息,确定情绪关注点内的情绪异常程度,并基于情绪异常程度确定情绪关注点的优先级。
可选地,可以依据情绪关注点对应的时间段内目标事件关联的至少两个对象的情绪信息,确定至少一个情绪异常量化参数值,并依据各个情绪异常量化参数值,确定所述情绪关注点的情绪异常程度。
情绪异常量化参数值包括以下至少之一:
情绪关注点对应的时间段内出现异常情绪的对象的数量、情绪关注点对应的时间段内不同情绪波动的数量、情绪关注点对应的时间段内情绪波动频度以及情绪关注点对应的时间段内情绪波动强度。
需要说明的是,在该场景中,首先,在目标事件关联的对象在对目标事件进行相关描述的过程中,或描述完成后,系统可以以情绪关注点为中心(索引方式),将整个描述过程中出现的所有情绪关注点与时间点前后的文字记录(目标事件关联的各对象对目标事件的相关描述的记录)、音视频数据等关联同步展示,呈现概要的情绪关注点综合信息,并将异常点作为事件发生过程疑点进行分析,为更高效、准确地还原事件真实发生过程提供数据支持;
最后,系统接收到录像(目标事件关联的各对象对目标事件的相关描述的视频)点播回看指令时,可以提供多路同轨播放功能,并在同一个时间轨道上显示上述情绪关注点。将情绪关注点以标记点、事件列表等多种突显方式在页面上展示,便于工作人能够快速定位到特别关心的焦点问题。
以上对本申请提供的方法进行了描述。下面对本申请提供的装置进行描述:
请参见图3,为本申请实施例提供的一种情绪分析装置的结构示意图,如图3所示,该情绪分析装置可以包括:
获取单元310,被配置为获取目标事件关联的至少两个对象的视频,该视频记录了向该至少两个对象对目标事件的相关描述;
分析单元320,被配置为依据该视频,分析该至少两个对象的情绪信息;
确定单元330,被配置为依据该至少两个对象同一时间段内的情绪信息,确定情绪关注点,该情绪关注点包括出现至少一个对象情绪异常的时间段。
在一种可能的实施例中,至少一个对象情绪异常,包括:
至少一个对象出现满足第一预设条件的情绪波动,或,至少一个对象出现微表情。
在一种可能的实施例中,至少一个对象出现满足第一预设条件的情绪波动包括以下至少之一:
至少一个对象与至少一个其他对象的情绪波动属性不同;
至少一个对象的情绪波动频率达到第二预设条件;
至少一个对象的情绪波动程度达到第三预设条件。
在一种可能的实施例中,确定单元330,还被配置为确定出现情绪关注点之后,依据该情绪关注点对应的时间段内该至少两个对象的情绪信息,确定该情绪关注点的情绪异常程度;基于该情绪异常程度确定该情绪关注点的优先级。
在一种可能的实施例中,确定单元330,具体被配置为依据该情绪关注点对应的时间段内该至少两个对象的情绪信息,确定至少一个情绪异常量化参数值;依据各个情绪异常量化参数值,确定该情绪关注点的情绪异常程度;
情绪异常量化参数值包括以下中至少之一:
情绪关注点对应的时间段内出现异常情绪的对象的数量、情绪关注点对应的时间段内不同情绪波动的数量、情绪关注点对应的时间段内的情绪波动频度以及情绪关注点对应的时间段内的情绪波动强度。
在一种可能的实施例中,确定单元330,还被配置为对于该至少两个对象中的任一对象,确定该对象在所获取到的视频中出现时间最长的情绪;基于各对象出现时间最长的情绪,确定各对象的优先级。
请参见图4,为本申请实施例提供的一种电子设备的硬件结构示意图。该电子设备可以包括处理器401、通信接口402、存储器403和通信总线404。处理器401、通信接口402以及存储器403通过通信总线404完成相互间的通信。其中,存储器403上存放有计算机程序;处理器401可以通过执行存储器403上所存放的程序,执行上文描述的情绪分析方法。
本文中提到的存储器403可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,存储器402可以是:RAM(Radom AccessMemory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
本申请实施例还提供了一种存储有计算机程序的机器可读存储介质,例如图4中的存储器403,该计算机程序可由图4所示电子设备中的处理器401执行以实现上文中描述的情绪分析方法。
本申请实施例还提供了一种计算机程序,存储于机器可读存储介质,例如图4中的存储器403,并且当处理器执行该计算机程序时,促使处理器401执行上文中描述的情绪分析方法。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (14)

1.一种情绪分析方法,其特征在于,包括:
获取目标事件关联的至少两个对象的视频,所述视频记录了所述至少两个对象对所述目标事件的相关描述;
依据所述视频,分析所述至少两个对象的情绪信息;
依据所述至少两个对象同一时间段内的情绪信息,确定情绪关注点,所述情绪关注点包括出现至少一个对象情绪异常的时间段;
其中,所述确定情绪关注点之后,还包括:
依据所述情绪关注点对应的时间段内所述至少两个对象的情绪信息,确定所述情绪关注点的情绪异常程度;
所述依据所述情绪关注点对应的时间段内所述至少两个对象的情绪信息,确定所述情绪关注点的情绪异常程度,包括:
依据所述情绪关注点对应的时间段内所述至少两个对象的情绪信息,确定至少一个情绪异常量化参数值;
依据各个情绪异常量化参数值,确定所述情绪关注点的情绪异常程度。
2.根据权利要求1所述的方法,其特征在于,所述至少一个对象情绪异常,包括:
至少一个对象出现满足第一预设条件的情绪波动,或,至少一个对象出现微表情。
3.根据权利要求2所述的方法,其特征在于,至少一个对象出现满足第一预设条件的情绪波动包括以下至少之一:
至少一个对象与至少一个其他对象的情绪波动属性不同;
至少一个对象的情绪波动频率达到第二预设条件;
至少一个对象的情绪波动程度达到第三预设条件。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
基于所述情绪异常程度确定所述情绪关注点的优先级。
5.根据权利要求4所述的方法,其特征在于,所述情绪异常量化参数值包括以下中至少之一:所述情绪关注点对应的时间段内出现异常情绪的对象的数量、所述情绪关注点对应的时间段内不同情绪波动的数量、所述情绪关注点对应的时间段内的情绪波动频度以及所述情绪关注点对应的时间段内的情绪波动强度。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对于所述至少两个对象中的任一对象,确定该对象在所获取到的视频中出现时间最长的情绪;
基于各对象出现时间最长的情绪,确定各对象的优先级。
7.一种情绪分析装置,其特征在于,包括:
获取单元,被配置为获取目标事件关联的至少两个对象的视频,所述视频记录了所述至少两个对象对所述目标事件的相关描述;
分析单元,被配置为依据所述视频,分析所述至少两个对象的情绪信息;
确定单元,被配置为依据所述至少两个对象同一时间段内的情绪信息,确定情绪关注点,所述情绪关注点包括出现至少一个对象情绪异常的时间段;
其中,所述确定单元,还被配置为确定情绪关注点之后,依据所述情绪关注点对应的时间段内所述至少两个对象的情绪信息,确定所述情绪关注点的情绪异常程度;
其中,所述确定单元,具体被配置为依据所述情绪关注点对应的时间段内所述至少两个对象的情绪信息,确定至少一个情绪异常量化参数值;依据各个情绪异常量化参数值,确定所述情绪关注点的情绪异常程度。
8.根据权利要求7所述的装置,其特征在于,所述至少一个对象情绪异常,包括:
至少一个对象出现满足第一预设条件的情绪波动,或,至少一个对象出现微表情。
9.根据权利要求8所述的装置,其特征在于,至少一个对象出现满足第一预设条件的情绪波动包括以下至少之一:
至少一个对象与至少一个其他对象的情绪波动属性不同;
至少一个对象的情绪波动频率达到第二预设条件;
至少一个对象的情绪波动程度达到第三预设条件。
10.根据权利要求7所述的装置,其特征在于,
所述确定单元,还被配置为基于所述情绪异常程度确定所述情绪关注点的优先级。
11.根据权利要求10所述的装置,其特征在于,
所述情绪异常量化参数值包括以下中至少之一:
所述情绪关注点对应的时间段内出现异常情绪的对象的数量、所述情绪关注点对应的时间段内不同情绪波动的数量、所述情绪关注点对应的时间段内的情绪波动频度以及所述情绪关注点对应的时间段内的情绪波动强度。
12.根据权利要求7所述的装置,其特征在于,
所述确定单元,还被配置为对于所述至少两个对象中的任一对象,确定该对象在所获取到的视频中出现时间最长的情绪;基于各对象出现时间最长的情绪,确定各对象的优先级。
13.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-6任一项所述的方法。
14.一种机器可读存储介质,其特征在于,所述机器可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-6任一项所述的方法。
CN202010954211.4A 2020-09-11 2020-09-11 情绪分析方法、装置、电子设备及机器可读存储介质 Active CN112163467B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010954211.4A CN112163467B (zh) 2020-09-11 2020-09-11 情绪分析方法、装置、电子设备及机器可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010954211.4A CN112163467B (zh) 2020-09-11 2020-09-11 情绪分析方法、装置、电子设备及机器可读存储介质

Publications (2)

Publication Number Publication Date
CN112163467A CN112163467A (zh) 2021-01-01
CN112163467B true CN112163467B (zh) 2023-09-26

Family

ID=73857933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010954211.4A Active CN112163467B (zh) 2020-09-11 2020-09-11 情绪分析方法、装置、电子设备及机器可读存储介质

Country Status (1)

Country Link
CN (1) CN112163467B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106562793A (zh) * 2015-10-08 2017-04-19 松下电器(美国)知识产权公司 信息提示装置的控制方法、以及信息提示装置
US10043063B1 (en) * 2017-01-31 2018-08-07 The Jury Lab LLC Systems and methods for assessing the emotional response of individuals on a panel
US10061977B1 (en) * 2015-04-20 2018-08-28 Snap Inc. Determining a mood for a group
CN108899050A (zh) * 2018-06-14 2018-11-27 南京云思创智信息科技有限公司 基于多模态情绪识别系统的语音信号分析子系统
CN109168052A (zh) * 2018-10-31 2019-01-08 杭州比智科技有限公司 服务满意度的确定方法、装置及计算设备
CN109492603A (zh) * 2018-11-22 2019-03-19 京东方科技集团股份有限公司 一种人脸情绪的识别方法和识别装置、计算机可读介质
CN109766474A (zh) * 2018-12-18 2019-05-17 深圳壹账通智能科技有限公司 审讯信息审核方法、装置、计算机设备和存储介质
CN109815494A (zh) * 2019-01-16 2019-05-28 中民乡邻投资控股有限公司 一种基于客户情绪的问答服务方法
CN110013261A (zh) * 2019-05-24 2019-07-16 京东方科技集团股份有限公司 情绪监测的方法、装置、电子设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10061977B1 (en) * 2015-04-20 2018-08-28 Snap Inc. Determining a mood for a group
CN106562793A (zh) * 2015-10-08 2017-04-19 松下电器(美国)知识产权公司 信息提示装置的控制方法、以及信息提示装置
US10043063B1 (en) * 2017-01-31 2018-08-07 The Jury Lab LLC Systems and methods for assessing the emotional response of individuals on a panel
CN108899050A (zh) * 2018-06-14 2018-11-27 南京云思创智信息科技有限公司 基于多模态情绪识别系统的语音信号分析子系统
CN109168052A (zh) * 2018-10-31 2019-01-08 杭州比智科技有限公司 服务满意度的确定方法、装置及计算设备
CN109492603A (zh) * 2018-11-22 2019-03-19 京东方科技集团股份有限公司 一种人脸情绪的识别方法和识别装置、计算机可读介质
CN109766474A (zh) * 2018-12-18 2019-05-17 深圳壹账通智能科技有限公司 审讯信息审核方法、装置、计算机设备和存储介质
CN109815494A (zh) * 2019-01-16 2019-05-28 中民乡邻投资控股有限公司 一种基于客户情绪的问答服务方法
CN110013261A (zh) * 2019-05-24 2019-07-16 京东方科技集团股份有限公司 情绪监测的方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Building a Large Scale Dataset for Image Emotion Recognition: The Fine Print and The Benchmark;Quanzeng You等;《Proceedings of the AAAI Conference on Artificial Intelligence》;第30卷(第1期);第308-314页 *
结合人脸图像和脑电的情绪识别技术;黄泳锐等;《计算机系统应用》(第2期);第9-15页 *

Also Published As

Publication number Publication date
CN112163467A (zh) 2021-01-01

Similar Documents

Publication Publication Date Title
CN109522815B (zh) 一种专注度评估方法、装置及电子设备
CN111382623B (zh) 一种直播审核的方法、装置、服务器和存储介质
US8793715B1 (en) Identifying key media events and modeling causal relationships between key events and reported feelings
CN108650524A (zh) 视频封面生成方法、装置、计算机设备及存储介质
CN112016538B (zh) 视频处理方法、装置、计算机设备和存储介质
CN111898881B (zh) 一种课堂教学质量评估方法、装置、设备及存储介质
CN110047513B (zh) 一种视频监测方法、装置、电子设备和存储介质
US10255502B2 (en) Method and a system for generating a contextual summary of multimedia content
CN112380922B (zh) 复盘视频帧确定方法、装置、计算机设备和存储介质
Dang et al. An Investigation of Emotion Prediction Uncertainty Using Gaussian Mixture Regression.
CN111241980B (zh) 情绪识别能力测评方法、装置、电子设备及存储介质
CN110381336B (zh) 基于5.1声道的视频片段情感判定方法、装置和计算机设备
Burmania et al. A Stepwise Analysis of Aggregated Crowdsourced Labels Describing Multimodal Emotional Behaviors.
CN112667792B (zh) 人机对话数据处理方法、装置、计算机设备和存储介质
CN112163467B (zh) 情绪分析方法、装置、电子设备及机器可读存储介质
US20190008466A1 (en) Life log utilization system, life log utilization method, and recording medium
EP4099280A1 (en) Method and system for confidence level detection from eye features
CN115049963A (zh) 视频分类方法、装置、处理器及电子设备
CN113506629A (zh) 一种症状自评量表简化及结果预测方法与系统
CN113409822A (zh) 对象状态的确定方法、装置、存储介质及电子装置
Engel et al. Integrated information as a metric for group interaction: Analyzing human and computer groups using a technique developed to measure consciousness
CN114091844B (zh) 一种暴力类人员重新犯罪的预警方法、装置及存储介质
US20220292832A1 (en) A method and apparatus for creating a network of subjects
CN115936431B (zh) 再犯罪风险评估方法、装置、计算机设备及可读存储介质
CN117357104B (zh) 一种基于用户特征的音频分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant