CN108833721B - 一种基于通话的情绪分析方法及用户终端、系统 - Google Patents

一种基于通话的情绪分析方法及用户终端、系统 Download PDF

Info

Publication number
CN108833721B
CN108833721B CN201810432808.5A CN201810432808A CN108833721B CN 108833721 B CN108833721 B CN 108833721B CN 201810432808 A CN201810432808 A CN 201810432808A CN 108833721 B CN108833721 B CN 108833721B
Authority
CN
China
Prior art keywords
terminal
user
monitored
information
monitored terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810432808.5A
Other languages
English (en)
Other versions
CN108833721A (zh
Inventor
高倩
王强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Genius Technology Co Ltd
Original Assignee
Guangdong Genius Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Genius Technology Co Ltd filed Critical Guangdong Genius Technology Co Ltd
Priority to CN201810432808.5A priority Critical patent/CN108833721B/zh
Publication of CN108833721A publication Critical patent/CN108833721A/zh
Application granted granted Critical
Publication of CN108833721B publication Critical patent/CN108833721B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/22—Arrangements for supervision, monitoring or testing
    • H04M3/2281—Call monitoring, e.g. for law enforcement purposes; Call tracing; Detection or prevention of malicious calls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2242/00—Special services or facilities
    • H04M2242/14—Special services or facilities with services dependent on location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2242/00—Special services or facilities
    • H04M2242/15—Information service where the information is dependent on the location of the subscriber

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Primary Health Care (AREA)
  • Hospice & Palliative Care (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Epidemiology (AREA)
  • Theoretical Computer Science (AREA)
  • Child & Adolescent Psychology (AREA)
  • Data Mining & Analysis (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computer Security & Cryptography (AREA)
  • Technology Law (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)

Abstract

一种基于通话的情绪分析方法及用户终端、系统，包括：在被监控终端和监控终端处于通话状态下，检测被监控终端采集到的通话消息是否包含预设关键词；当检测出通话消息包含预设关键词时，获取被监控终端用户的情绪信息，向监控终端发送该情绪信息。实施本发明实施例，能够使监控终端的使用者(如家长)及时了解到被监控终端的使用者(如儿童)的情绪状态，提高了通话的智能程度。

Description

一种基于通话的情绪分析方法及用户终端、系统
技术领域
本发明涉及电子设备技术领域，尤其涉及一种基于通话的情绪分析方法及用户终端、系统。
背景技术
目前，为了便于儿童与家长联系，儿童往往佩戴有具有通话功能的用户终端(如儿童手表)。在实践中发现，儿童通过儿童手表与家长打电话时，家长能够获取到的仅有儿童与家长沟通的声音，如果儿童由于情绪不佳导致不愿意沟通，家长往往无法及时了解到儿童的情绪状态。
发明内容
本发明实施例公开一种基于通话的情绪分析方法及用户终端、系统，能够使家长及时了解到儿童的情绪状态，提高了通话的智能程度。
本发明实施例第一方面公开一种基于通话的情绪分析方法，包括：
在被监控终端和监控终端处于通话状态下，检测所述被监控终端采集到的通话消息是否包含预设关键词；
当检测出所述通话消息包含所述预设关键词时，获取所述被监控终端用户的目标情绪信息；
向所述监控终端发送所述目标情绪信息。
作为一种可选的实施方式，在本发明实施例第一方面中，所述当检测出所述通话消息包含所述预设关键词时，获取所述被监控终端用户的目标情绪信息，包括：
当检测出所述通话消息包含所述预设关键词时，开启所述被监控终端的前置摄像头，并判断所述前置摄像头是否采集到所述被监控终端的用户的面部图像信息；
当判断出所述前置摄像头采集到所述被监控终端的用户的面部图像信息时，根据所述面部图像信息包括的多个面部关键肌肉点信息确定所述被监控终端的用户的面部模型；
在预置数据库中查询与所述面部模型匹配度最高的目标面部模型，并获取所述目标面部模型对应的所述被监控终端用户的目标情绪信息。
作为一种可选的实施方式，在本发明实施例第一方面中，所述方法还包括：
当判断出所述前置摄像头未采集到所述被监控终端的用户的面部图像信息时，获取所述被监控终端采集的用户的生理特征信息，并生成与所述生理特征信息匹配的身体状态信息，向所述监控终端发送所述身体状态信息。
作为一种可选的实施方式，在本发明实施例第一方面中，所述在被监控终端和监控终端处于通话状态下，以及所述检测所述被监控终端采集到的通话消息是否包含预设关键词之前，所述方法还包括：
在所述被监控终端和所述监控终端处于通话状态下，启动内置于所述被监控终端的运动检测装置检测所述被监控终端是否处于运动状态；
在确定所述被监控终端处于运动状态时，调用定位接口检测所述被监控终端的地理位置是否发生变化，在所述被监控终端的地理位置未发生变化时，执行所述的检测所述被监控终端采集到的通话消息是否包含预设关键词。
作为一种可选的实施方式，在本发明实施例第一方面中，当检测出所述通话消息包含所述预设关键词时，所述方法还包括：
开启所述被监控终端的测谎模式以对所述被监控终端用户进行撒谎检测，并在检测出所述被监控终端的用户撒谎时向所述监控终端发送提醒消息。
本发明实施例第二方面公开一种用户终端，包括：
第一检测单元，用于在用户终端和监控终端处于通话状态下，检测所述用户终端采集到的通话消息是否包含预设关键词；
获取单元，用于当所述第一检测单元检测出所述通话消息包含所述预设关键词时，获取所述用户终端用户的目标情绪信息；
发送单元，用于向所述监控终端发送所述获取单元获取的所述目标情绪信息。
作为一种可选的实施方式，在本发明实施例第二方面中，所述获取单元包括：
开启子单元，用于当所述第一检测单元检测出所述通话消息包含所述预设关键词时，开启所述用户终端的前置摄像头；
判断子单元，用于判断所述开启子单元开启的所述前置摄像头是否采集到所述用户终端的用户的面部图像信息；
确定子单元，用于当所述判断子单元判断出所述前置摄像头采集到所述用户终端的用户的面部图像信息时，根据所述面部图像信息包括的多个面部关键肌肉点信息确定所述用户终端的用户的面部模型；
生成子单元，用于在预置数据库中查询与所述确定子单元确定出的所述面部模型匹配度最高的目标面部模型，并获取所述目标面部模型对应的所述用户终端用户的目标情绪信息。
作为一种可选的实施方式，在本发明实施例第二方面中，所述用户终端还包括：
状态检测单元，用于当所述判断子单元判断出所述前置摄像头未采集到所述用户终端的用户的面部图像信息时，获取所述用户终端采集的用户的生理特征信息，并生成与所述生理特征信息匹配的身体状态信息，向所述监控终端发送所述身体状态信息。
作为一种可选的实施方式，在本发明实施例第二方面中，所述用户终端还包括：
第二检测单元，用于在所述用户终端和所述监控终端处于通话状态下，启动内置于所述用户终端的运动检测装置检测所述用户终端是否处于运动状态；
调用单元，用于在所述第二检测单元确定所述用户终端处于运动状态时，调用定位接口检测所述用户终端的地理位置是否发生变化；
所述第一检测单元，具体用于在所述调用单元检测出所述用户终端的地理位置未发生变化时，检测所述用户终端采集到的通话消息是否包含预设关键词。
作为一种可选的实施方式，在本发明实施例第二方面中，所述用户终端还包括：
开启单元，用于当所述第一检测单元检测出所述通话消息包含所述预设关键词时，开启所述用户终端的测谎模式以对所述用户终端用户进行撒谎检测，并在检测出所述用户终端的用户撒谎时向所述监控终端发送提醒消息。
本发明实施例第三方面公开一种用户终端，包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明实施例第一方面公开的一种基于通话的情绪分析方法。
本发明实施例第四方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本发明实施例第一方面公开的一种基于通话的情绪分析方法。
本发明实施例第五方面公开一种基于通话的情绪分析系统，所述系统包括被监控终端和监控终端，其中，所述被监控终端为本发明实施例第二方面公开的用户终端，
其中，所述监控终端包括：
接收单元，用于接收所述被监控终端发送的目标情绪信息，以使所述监控终端用户根据所述目标情绪信息调整与所述被监控终端用户的通话内容。
本发明实施例第六方面公开一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。
本发明实施例第七方面公开一种应用发布平台，所述应用发布平台用于发布计算机程序产品，其中，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。
与现有技术相比，本发明实施例具有以下有益效果：
本发明实施例中，在被监控终端和监控终端处于通话状态下，检测被监控终端采集到的通话消息是否包含预设关键词；当检测出通话消息包含预设关键词时，获取被监控终端用户的情绪信息，向监控终端发送该情绪信息。这一过程能够使监控终端的使用者(如家长)及时了解到被监控终端的使用者(如儿童)的情绪状态，提高了通话的智能程度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种基于通话的情绪分析方法的流程示意图；
图2是本发明实施例公开的另一种基于通话的情绪分析方法的流程示意图；
图3是本发明实施例公开的另一种基于通话的情绪分析方法的流程示意图；
图4是本发明实施例公开的一种用户终端的结构示意图；
图5是本发明实施例公开的另一种用户终端的结构示意图；
图6是本发明实施例公开的另一种用户终端的结构示意图；
图7是本发明实施例公开的另一种用户终端的结构示意图；
图8是本发明实施例公开的一种基于通话的情绪分析系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例公开一种基于通话的情绪分析方法及用户终端、系统，能够使家长及时了解到儿童的情绪状态，提高了通话的智能程度。其中，用户终端可以包括儿童手表、学习手机、学习平板等，本发明实施例不做限定。并且，各类用户终端的操作系统可包括但不限于Android操作系统、IOS操作系统、Symbian(塞班)操作系统、Black Berry(黑莓)操作系统、Windows Phone8操作系统等等，本发明实施例不做限定。
实施例一
请参阅图1，图1是本发明实施例公开的一种基于通话的情绪分析方法的流程示意图。如图1所示，该基于通话的情绪分析方法可以包括以下步骤：
101、在被监控终端和监控终端处于通话状态下，被监控终端检测被监控终端采集到的通话消息是否包含预设关键词，如果是，执行步骤102～步骤103，如果否，结束本次流程。
本发明实施例中，被监控终端的用户可以为儿童，监控终端的用户可以为家长。当被监控终端和监控终端处于通话状态下时，被监控终端检测其采集到的通话消息是否包含预设关键词，其中，预设关键词可以包括“爸爸”、“妈妈”、“爷爷”和“奶奶”等；如当儿童叫“爸爸”时，认为此时的被监控终端的用户与监控终端的用户为管控关系，可以执行步骤102～步骤103，获取儿童的目标情绪信息发送给儿童的爸爸，让其了解儿童的情绪状态，调整沟通内容，增加沟通的亲密程度。并且，预设关键词也可以包括“儿子”和“女儿”等；如当家长叫“儿子”时，也认为此时的被监控终端的用户与监控终端的用户为管控关系，可以执行步骤102～步骤103。
102、被监控终端获取被监控终端用户的目标情绪信息。
作为一种可选的实施方式，被监控终端获取被监控终端用户的目标情绪信息可以包括：
被监控终端将被监控终端用户的声音信号转化为电音频信号；
被监控终端提取上述电音频信号的时间和频率，并根据上述电音频信号的时间和频率绘制声音波形图；
被监控终端在预设语音情绪库中查询与上述声音波形图匹配度最高的目标情绪信息；其中，预设语音情绪库为存储有多种情绪信息以及与每一情绪信息对应的声音波形图的数据库。
通过实施这种可选的实施方式，被监控终端能够根据被监控终端用户输入的声音信号生成与其对应的声音波形图，并在预设语音情绪库中查询与该声音波形图匹配度最高的目标情绪信息。这一过程通过存储有海量数据的预设语音情绪库实现了对被监控终端用户输入的声音信号的情绪检测，得到精确度更高的情绪分析结果。
103、被监控终端向监控终端发送目标情绪信息。
可以理解，监控终端在接收到目标情绪信息之后，监控终端用户可以根据目标情绪信息调整与被监控终端用户的沟通内容。如当被监控终端用户的情绪不佳时，监控终端可以接收到被监控终端用户的目标情绪信息，了解到被监控终端用户此时情绪不佳，据此，可以适当使用柔和、安抚的语气与被监控终端用户讨论一些被监控终端用户所喜爱的沟通内容，从而有效调节被监控终端用户的情绪。
作为一种可选的实施方式，在被监控终端和监控终端处于通话状态下，还可以执行以下步骤：
被监控终端检测是否接收到监控终端发送的情绪检测指令；
当检测出接收到情绪检测指令时，执行步骤102～步骤103。
通过实施这种可选的实施方式，当监控终端的用户在与被监控终端用户的通话过程中略有察觉被监控终端用户的情绪不佳时，可以随时发出情绪检测指令来获取被监控终端用户的情绪信息，使得管控更加便捷。
可见，实施图1所描述的一种基于通话的情绪分析方法，在被监控终端和监控终端处于通话状态下，检测被监控终端采集到的通话消息是否包含预设关键词；当检测出通话消息包含预设关键词时，获取被监控终端用户的情绪信息，向监控终端发送该情绪信息。这一过程能够使监控终端的使用者(如家长)及时了解到被监控终端的使用者(如儿童)的情绪状态，提高了通话的智能程度。
实施例二
请参阅图2，图2是本发明实施例公开的另一种基于通话的情绪分析方法的流程示意图。如图2所示，该基于通话的情绪分析方法可以包括以下步骤：
201、在被监控终端和监控终端处于通话状态下，被监控终端检测被监控终端采集到的通话消息是否包含预设关键词，如果是，执行步骤202，如果否，结束本次流程。
202、被监控终端开启被监控终端的前置摄像头，并判断前置摄像头是否采集到被监控终端的用户的面部图像信息，如果是，执行步骤203～步骤205，如果否，执行步骤206～步骤207。
203、被监控终端根据面部图像信息包括的多个面部关键肌肉点信息确定被监控终端的用户的面部模型。
204、被监控终端在预置数据库中查询与面部模型匹配度最高的目标面部模型，并获取目标面部模型对应的被监控终端用户的目标情绪信息。
本发明实施例中，通过实施步骤203～步骤204，利用图像分析技术分析面部图像信息以此获得用户的目标情绪信息，使得用户的目标情绪信息获取更加高效、准确。
205、被监控终端向监控终端发送目标情绪信息。
206、被监控终端获取被监控终端采集的用户的生理特征信息，并生成与生理特征信息匹配的身体状态信息。
本发明实施例中，当被监控终端为可穿戴设备时，被监控终端可以获取被监控终端采集的用户的生理特征信息，其中，生理特征信息可以包括用户的心率和血压等。这一过程当被监控终端的前置摄像头未采集到被监控终端用户的面部图像时，能够向监控终端发送被监控终端用户的身体状态信息，以使监控终端的使用者及时获知被监控终端用户的身体状态信息，如果被监控终端用户的身体状态不佳，监控终端的使用者可以及时接收到该信息，以使被监控终端用户及时就医处理，从而保障了被监控终端用户的身体健康。
207、被监控终端向监控终端发送身体状态信息。
可见，实施图2所描述的基于通话的情绪分析方法，能够使监控终端的使用者(如家长)及时了解到被监控终端的使用者(如儿童)的情绪状态，提高了通话的智能程度。
此外，实施图2所描述的基于通话的情绪分析方法，通过开启被监控终端的前置摄像头采集被监控终端的用户的面部图像信息，根据面部图像信息包括的多个面部关键肌肉点信息确定被监控终端的用户的面部模型，在预置数据库中查询与面部模型匹配度最高的目标模型，获取目标面部模型对应的被监控终端用户的目标情绪信息。这一过程利用图像分析技术分析面部图像信息以此获得用户的目标情绪信息，使得用户的目标情绪信息获取更加高效、准确。
此外，实施图2所描述的基于通话的情绪分析方法，当被监控终端的前置摄像头未采集到被监控终端的用户的面部图像信息时，获取被监控终端采集的用户的生理特征信息，并生成与生理特征信息匹配的身体状态信息，向监控终端发送身体状态信息。这一过程能够向监控终端发送被监控终端用户的身体状态信息，以使监控终端的使用者及时获知被监控终端用户的身体状态信息，如果被监控终端用户的身体状态不佳，监控终端的使用者可以及时接收到该信息，以使被监控终端用户及时就医处理，从而保障了被监控终端用户的身体健康。
实施例三
请参阅图3，图3是本发明实施例公开的另一种基于通话的情绪分析方法的流程示意图。如图3所示，该基于通话的情绪分析方法可以包括以下步骤：
301、在被监控终端和监控终端处于通话状态下，被监控终端启动内置于被监控终端的运动检测装置检测被监控终端是否处于运动状态，如果是，执行步骤302，如果否，执行步骤303。
本发明实施例中，在被监控终端和监控终端处于通话状态下，被监控终端启动内置于被监控终端的运动检测装置检测出被监控终端处于运动状态时，被监控终端的用户有可能处于行走状态，也有可能处于原地运动状态(如在跑步机上跑步)，此时，执行进一步的检测，执行步骤302，以此判断被监控终端的用户所处的具体状态；当检测出被监控终端未处于运动状态时，认为被监控终端处于较为安全的状态，执行步骤303。
302、被监控终端调用定位接口检测被监控终端的地理位置是否发生变化，如果是，结束本次流程，如果否，执行步骤303。
本发明实施例中，在被监控终端处于运动状态且被监控终端的地理位置发生变化时，向监控终端发送暂停通话的提醒，确保监控终端的行走安全，在被监控终端处于运动状态且被监控终端的地理位置未发生变化时，也即是，在被监控终端处于较为安全的状态时，才执行检测关键词的步骤，提高了通话的安全程度。
作为一种可选的实施方式，当被监控终端检测出被监控终端的地理位置发生变化时，还可以执行以下步骤：
被监控终端确定被监控终端用户处于移动状态，向监控终端发送暂停通话的提醒信息。
通过实施这种可选的实施方式，在被监控终端用户处于行走中进行通话时，提醒监控终端用户暂停通话，以此确保被监控终端用户的行走安全。
303、被监控终端检测被监控终端采集到的通话消息是否包含预设关键词，如果是，执行步骤304以及步骤305，如果否，结束本次流程。
304、被监控终端开启被监控终端的前置摄像头，并判断前置摄像头是否采集到被监控终端的用户的面部图像信息，如果采集到，执行步骤306～步骤308，如果未采集到，执行步骤309～步骤310。
305、被监控终端开启被监控终端的测谎模式以对被监控终端用户进行撒谎检测，并在检测出被监控终端的用户撒谎时向监控终端发送提醒消息。
本发明实施例中，当检测出被监控终端的用户撒谎时向监控终端发送提醒消息，增加了监控终端用户对被监控终端用户的掌控程度，进一步提高了通话的智能程度。
306、被监控终端根据面部图像信息包括的多个面部关键肌肉点信息确定被监控终端的用户的面部模型。
307、被监控终端在预置数据库中查询与面部模型匹配度最高的目标面部模型，并获取目标面部模型对应的被监控终端用户的目标情绪信息。
308、被监控终端向监控终端发送目标情绪信息。
309、被监控终端获取被监控终端采集的用户的生理特征信息，并生成与生理特征信息匹配的身体状态信息。
310、被监控终端向监控终端发送身体状态信息。
可见，实施图3所描述的基于通话的情绪分析方法，能够使监控终端的使用者(如家长)及时了解到被监控终端的使用者(如儿童)的情绪状态，提高了通话的智能程度。
此外，实施图3所描述的基于通话的情绪分析方法，利用图像分析技术分析面部图像信息以此获得用户的目标情绪信息，使得用户的目标情绪信息获取更加高效、准确。
此外，实施图3所描述的基于通话的情绪分析方法，能够向监控终端发送被监控终端用户的身体状态信息，以使监控终端的使用者及时获知被监控终端用户的身体状态信息，如果被监控终端用户的身体状态不佳，监控终端的使用者可以及时接收到该信息，以使被监控终端用户及时就医处理，从而保障了被监控终端用户的身体健康。
此外，实施图3所描述的基于通话的情绪分析方法，在被监控终端处于运动状态且被监控终端的地理位置发生变化时，向监控终端发送暂停通话的提醒，确保监控终端的行走安全，在被监控终端处于运动状态且被监控终端的地理位置未发生变化时，也即是，在被监控终端处于较为安全的状态时，才执行检测关键词的步骤，提高了通话的安全程度。
此外，实施图3所描述的基于通话的情绪分析方法，还可以在检测出通话消息包含预设关键词时，开启被监控终端的测谎模式，当检测出被监控终端的用户撒谎时向监控终端发送提醒消息。这一过程增加了监控终端用户对被监控终端用户的掌控程度，进一步提高了通话的智能程度。
实施例四
请参阅图4，图4是本发明实施例公开的一种用户终端的结构示意图。其中，如图4所示，该用户终端400可以包括第一检测单元401、获取单元402和发送403，在该用户终端400中：
第一检测单元401，用于在用户终端和监控终端处于通话状态下，检测用户终端采集到的通话消息是否包含预设关键词。
获取单元402，用于当第一检测单元401检测出通话消息包含预设关键词时，获取用户终端用户的目标情绪信息。
作为一种可选的实施方式，获取单元402获取用户终端用户的目标情绪信息可以包括：
用户终端将用户终端用户的声音信号转化为电音频信号；
用户终端提取上述电音频信号的时间和频率，并根据上述电音频信号的时间和频率绘制声音波形图；
用户终端在预设语音情绪库中查询与上述声音波形图匹配度最高的目标情绪信息；其中，预设语音情绪库为存储有多种情绪信息以及与每一情绪信息对应的声音波形图的数据库。
通过实施这种可选的实施方式，用户终端能够根据用户终端用户输入的声音信号生成与其对应的声音波形图，并在预设语音情绪库中查询与该声音波形图匹配度最高的目标情绪信息。这一过程通过存储有海量数据的预设语音情绪库实现了对用户终端用户输入的声音信号的情绪检测，得到精确度更高的情绪分析结果。
发送单元403，用于向监控终端发送获取单元402获取的目标情绪信息。
作为一种可选的实施方式，在用户终端和监控终端处于通话状态下，第一检测单元401还用于：
检测是否接收到监控终端发送的情绪检测指令；
当检测出接收到情绪检测指令时，触发获取单元402获取用户终端用户的目标情绪信息。
通过实施这种可选的实施方式，当监控终端的用户在与用户终端用户的通话过程中略有察觉用户终端用户的情绪不佳时，可以随时发出情绪检测指令来获取用户终端用户的情绪信息，使得管控更加便捷。
可见，实施图4所描述的用户终端，能够使监控终端的使用者(如家长)及时了解到用户终端的使用者(如儿童)的情绪状态，提高了通话的智能程度。
实施例五
请参阅图5，图5是本发明实施例公开的另一种用户终端的结构示意图。其中，图5所示的用户终端400是由图4所示的用户终端400进行优化得到的。在图5所示的用户终端400中：
获取单元402可以包括：
开启子单元4021，用于当第一检测单元401检测出通话消息包含预设关键词时，开启用户终端的前置摄像头。
判断子单元4022，用于判断开启子单元4021开启的前置摄像头是否采集到用户终端的用户的面部图像信息。
确定子单元4023，用于当判断子单元4022判断出前置摄像头采集到用户终端的用户的面部图像信息时，根据面部图像信息包括的多个面部关键肌肉点信息确定用户终端的用户的面部模型。
生成子单元4024，用于在预置数据库中查询与确定子单元4023确定出的面部模型匹配度最高的目标面部模型，并获取目标面部模型对应的用户终端用户的目标情绪信息。
进一步可选的，图5所示的用户终端400还可以包括：
状态检测单元404，用于当判断子单元4022判断出前置摄像头未采集到用户终端的用户的面部图像信息时，获取用户终端采集的用户的生理特征信息，并生成与生理特征信息匹配的身体状态信息，向监控终端发送身体状态信息。
可见，实施图5所描述的用户终端，能够使监控终端的使用者(如家长)及时了解到用户终端的使用者(如儿童)的情绪状态，提高了通话的智能程度。
此外，实施图5所描述的用户终端，利用图像分析技术分析面部图像信息以此获得用户的目标情绪信息，使得用户的目标情绪信息获取更加高效、准确。
此外，实施图5所描述的用户终端，能够向监控终端发送用户终端用户的身体状态信息，以使监控终端的使用者及时获知用户终端用户的身体状态信息，如果用户终端用户的身体状态不佳，监控终端的使用者可以及时接收到该信息，以使用户终端用户及时就医处理，从而保障了用户终端用户的身体健康。
实施例六
请参阅图6，图6是本发明实施例公开的另一种用户终端的结构示意图。其中，图6所示的用户终端400是由图5所示的用户终端400进行优化得到的。图6所示的用户终端400还可以包括：
第二检测单元405，用于在用户终端和监控终端处于通话状态下，启动内置于用户终端的运动检测装置检测用户终端是否处于运动状态。
调用单元406，用于在第二检测单元405确定用户终端处于运动状态时，调用定位接口检测用户终端的地理位置是否发生变化。
作为一种可选的实施方式，当调用单元406检测出用户终端的地理位置发生变化时，调用单元406还用于：
确定用户终端用户处于移动状态，向监控终端发送暂停通话的提醒信息。
通过实施这种可选的实施方式，在用户终端用户处于行走中进行通话时，提醒监控终端用户暂停通话，以此确保用户终端用户的行走安全。
第一检测单元401，具体用于在调用单元406检测出用户终端的地理位置未发生变化时，检测用户终端采集到的通话消息是否包含预设关键词。
进一步可选的，图6所示的用户终端400还可以包括：
开启单元407，用于当第一检测单元401检测出通话消息包含预设关键词时，开启用户终端的测谎模式以对用户终端用户进行撒谎检测，并在检测出用户终端的用户撒谎时向监控终端发送提醒消息。
可见，实施图6所描述的用户终端，能够使监控终端的使用者(如家长)及时了解到用户终端的使用者(如儿童)的情绪状态，提高了通话的智能程度。
此外，实施图6所描述的用户终端，利用图像分析技术分析面部图像信息以此获得用户的目标情绪信息，使得用户的目标情绪信息获取更加高效、准确。
此外，实施图6所描述的用户终端，能够向监控终端发送用户终端用户的身体状态信息，以使监控终端的使用者及时获知用户终端用户的身体状态信息，如果用户终端用户的身体状态不佳，监控终端的使用者可以及时接收到该信息，以使用户终端用户及时就医处理，从而保障了用户终端用户的身体健康。
此外，实施图6所描述的用户终端，在用户终端处于运动状态且用户终端的地理位置发生变化时，向监控终端发送暂停通话的提醒，确保监控终端的行走安全，在用户终端处于运动状态且用户终端的地理位置未发生变化时，也即是，在用户终端处于较为安全的状态时，才执行检测关键词的步骤，提高了通话的安全程度。
此外，实施图6所描述的用户终端，还可以在检测出通话消息包含预设关键词时，开启用户终端的测谎模式，当检测出用户终端的用户撒谎时向监控终端发送提醒消息。这一过程增加了监控终端用户对用户终端用户的掌控程度，进一步提高了通话的智能程度。
实施例七
请参阅图7，图7是本发明实施例公开的另一种用户终端的结构示意图。如图7所示，该用户终端可以包括：
存储有可执行程序代码的存储器701；
与存储器701耦合的处理器702；
其中，处理器702调用存储器701中存储的可执行程序代码，执行图1～图3任意一种基于通话的情绪分析方法。
实施例八
请参阅图8，图8是本发明实施例公开的一种基于通话的情绪分析系统的结构示意图，如图8所示，所述系统包括被监控终端80和监控终端90，其中，被监控终端80可以为实施例四至实施例七中所介绍的用户终端，针对被监控终端80的详细描述请参阅实施例四至实施例七中对用户终端的详细描述，
其中，监控终端90包括：
接收单元901，用于接收被监控终端80发送的目标情绪信息，以使监控终端90用户根据目标情绪信息调整与被监控终端80用户的通话内容。
可见，实施图8所描述的基于通话的情绪分析系统，能够使监控终端的使用者(如家长)及时了解到用户终端的使用者(如儿童)的情绪状态，提高了通话的智能程度。
本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行图1～图3任意一种基于通话的情绪分析方法。
本发明实施例还公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。
本发明实施例还公开一种应用发布平台，其中，应用发布平台用于发布计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。
在本发明的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在本发明所提供的实施例中，应理解，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。
另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的一种基于通话的情绪分析方法及用户终端、系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于通话的情绪分析方法，其特征在于，包括：
在被监控终端和监控终端处于通话状态下，检测所述被监控终端采集到的通话消息是否包含预设关键词；所述预设关键词用于表示被监控终端的用户与监控终端的用户为管控关系；
当检测出所述通话消息包含所述预设关键词时，获取所述被监控终端用户的目标情绪信息；
向所述监控终端发送所述目标情绪信息；
当检测出所述通话消息包含所述预设关键词时，所述方法还包括：
开启所述被监控终端的测谎模式以对所述被监控终端用户进行撒谎检测，并在检测出所述被监控终端的用户撒谎时向所述监控终端发送提醒消息。
2.根据权利要求1所述的方法，其特征在于，所述当检测出所述通话消息包含所述预设关键词时，获取所述被监控终端用户的目标情绪信息，包括：
当检测出所述通话消息包含所述预设关键词时，开启所述被监控终端的前置摄像头，并判断所述前置摄像头是否采集到所述被监控终端的用户的面部图像信息；
当判断出所述前置摄像头采集到所述被监控终端的用户的面部图像信息时，根据所述面部图像信息包括的多个面部关键肌肉点信息确定所述被监控终端的用户的面部模型；
在预置数据库中查询与所述面部模型匹配度最高的目标面部模型，并获取所述目标面部模型对应的所述被监控终端用户的目标情绪信息。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
当判断出所述前置摄像头未采集到所述被监控终端的用户的面部图像信息时，获取所述被监控终端采集的用户的生理特征信息，并生成与所述生理特征信息匹配的身体状态信息，向所述监控终端发送所述身体状态信息。
4.根据权利要求1～3任一项所述的方法，其特征在于，所述在被监控终端和监控终端处于通话状态下，以及所述检测所述被监控终端采集到的通话消息是否包含预设关键词之前，所述方法还包括：
在所述被监控终端和所述监控终端处于通话状态下，启动内置于所述被监控终端的运动检测装置检测所述被监控终端是否处于运动状态；
在确定所述被监控终端处于运动状态时，调用定位接口检测所述被监控终端的地理位置是否发生变化，在所述被监控终端的地理位置未发生变化时，执行所述的检测所述被监控终端采集到的通话消息是否包含预设关键词。
5.一种用户终端，其特征在于，包括：
第一检测单元，用于在用户终端和监控终端处于通话状态下，检测所述用户终端采集到的通话消息是否包含预设关键词；所述预设关键词用于表示被监控终端的用户与监控终端的用户为管控关系；
获取单元，用于当所述第一检测单元检测出所述通话消息包含所述预设关键词时，获取所述用户终端用户的目标情绪信息；
发送单元，用于向所述监控终端发送所述获取单元获取的所述目标情绪信息；
开启单元，用于当所述第一检测单元检测出所述通话消息包含所述预设关键词时，开启所述用户终端的测谎模式以对所述用户终端用户进行撒谎检测，并在检测出所述用户终端的用户撒谎时向所述监控终端发送提醒消息。
6.根据权利要求5所述的用户终端，其特征在于，所述获取单元包括：
开启子单元，用于当所述第一检测单元检测出所述通话消息包含所述预设关键词时，开启所述用户终端的前置摄像头；
判断子单元，用于判断所述开启子单元开启的所述前置摄像头是否采集到所述用户终端的用户的面部图像信息；
确定子单元，用于当所述判断子单元判断出所述前置摄像头采集到所述用户终端的用户的面部图像信息时，根据所述面部图像信息包括的多个面部关键肌肉点信息确定所述用户终端的用户的面部模型；
生成子单元，用于在预置数据库中查询与所述确定子单元确定出的所述面部模型匹配度最高的目标面部模型，并获取所述目标面部模型对应的所述用户终端用户的目标情绪信息。
7.根据权利要求6所述的用户终端，其特征在于，所述用户终端还包括：
状态检测单元，用于当所述判断子单元判断出所述前置摄像头未采集到所述用户终端的用户的面部图像信息时，获取所述用户终端采集的用户的生理特征信息，并生成与所述生理特征信息匹配的身体状态信息，向所述监控终端发送所述身体状态信息。
8.根据权利要求5～7任一项所述的用户终端，其特征在于，所述用户终端还包括：
第二检测单元，用于在所述用户终端和所述监控终端处于通话状态下，启动内置于所述用户终端的运动检测装置检测所述用户终端是否处于运动状态；
调用单元，用于在所述第二检测单元确定所述用户终端处于运动状态时，调用定位接口检测所述用户终端的地理位置是否发生变化；
所述第一检测单元，具体用于在所述调用单元检测出所述用户终端的地理位置未发生变化时，检测所述用户终端采集到的通话消息是否包含预设关键词。
9.一种基于通话的情绪分析系统，其特征在于，所述系统包括被监控终端和监控终端，其中，所述被监控终端为权利要求5～8任一项所述的用户终端，
其中，所述监控终端包括：
接收单元，用于接收所述被监控终端发送的目标情绪信息，以使所述监控终端用户根据所述目标情绪信息调整与所述被监控终端用户的通话内容。
10.一种计算机可读存储介质，其存储计算机程序，其特征在于，该计算机程序使得计算机运行时执行权利要求1-4任一项所述的基于通话的情绪分析方法。
CN201810432808.5A 2018-05-08 2018-05-08 一种基于通话的情绪分析方法及用户终端、系统 Active CN108833721B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810432808.5A CN108833721B (zh) 2018-05-08 2018-05-08 一种基于通话的情绪分析方法及用户终端、系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810432808.5A CN108833721B (zh) 2018-05-08 2018-05-08 一种基于通话的情绪分析方法及用户终端、系统

Publications (2)

Publication Number Publication Date
CN108833721A CN108833721A (zh) 2018-11-16
CN108833721B true CN108833721B (zh) 2021-03-12

Family

ID=64148466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810432808.5A Active CN108833721B (zh) 2018-05-08 2018-05-08 一种基于通话的情绪分析方法及用户终端、系统

Country Status (1)

Country Link
CN (1) CN108833721B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109474753A (zh) * 2019-01-03 2019-03-15 广东小天才科技有限公司 一种通话控制方法、通话控制装置及移动终端
CN109949009B (zh) * 2019-03-20 2021-07-23 湖北军润企业管理有限公司 一种基于学生健康发展的校园办公系统
CN113140312A (zh) * 2020-01-19 2021-07-20 Oppo广东移动通信有限公司 用户数据处理、会话数据处理方法和装置、电子设备
CN113316041B (zh) * 2020-02-27 2023-08-01 阿里巴巴集团控股有限公司 远程健康检测系统、方法、装置及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101789990A (zh) * 2009-12-23 2010-07-28 宇龙计算机通信科技(深圳)有限公司 一种在通话过程中判断对方情绪的方法及移动终端
CN103634472A (zh) * 2013-12-06 2014-03-12 惠州Tcl移动通信有限公司 根据通话语音判断用户心情及性格的方法、系统及手机
CN104299622A (zh) * 2014-09-23 2015-01-21 深圳市金立通信设备有限公司 一种音频处理方法
CN106373569A (zh) * 2016-09-06 2017-02-01 北京地平线机器人技术研发有限公司 语音交互装置和方法
KR20170011618A (ko) * 2015-07-23 2017-02-02 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN107066932A (zh) * 2017-01-16 2017-08-18 北京龙杯信息技术有限公司 人脸识别中关键特征点的检测与定位方法
KR20170140998A (ko) * 2016-06-14 2017-12-22 주식회사 웬즈데이에잇피엠 외부 충격 등으로 인한 신체의 자극에 대해서 생체 신호, 주변 상황 또는 사용자의 움직임을 기초로 사용자의 감정 상태 및 주변 상황을 기록하거나 모니터링하는 휴대용 스마트 밴드 및 모니터링 시스템

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101789990A (zh) * 2009-12-23 2010-07-28 宇龙计算机通信科技(深圳)有限公司 一种在通话过程中判断对方情绪的方法及移动终端
CN103634472A (zh) * 2013-12-06 2014-03-12 惠州Tcl移动通信有限公司 根据通话语音判断用户心情及性格的方法、系统及手机
CN104299622A (zh) * 2014-09-23 2015-01-21 深圳市金立通信设备有限公司 一种音频处理方法
KR20170011618A (ko) * 2015-07-23 2017-02-02 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20170140998A (ko) * 2016-06-14 2017-12-22 주식회사 웬즈데이에잇피엠 외부 충격 등으로 인한 신체의 자극에 대해서 생체 신호, 주변 상황 또는 사용자의 움직임을 기초로 사용자의 감정 상태 및 주변 상황을 기록하거나 모니터링하는 휴대용 스마트 밴드 및 모니터링 시스템
CN106373569A (zh) * 2016-09-06 2017-02-01 北京地平线机器人技术研发有限公司 语音交互装置和方法
CN107066932A (zh) * 2017-01-16 2017-08-18 北京龙杯信息技术有限公司 人脸识别中关键特征点的检测与定位方法

Also Published As

Publication number Publication date
CN108833721A (zh) 2018-11-16

Similar Documents

Publication Publication Date Title
CN108833721B (zh) 一种基于通话的情绪分析方法及用户终端、系统
US10492531B2 (en) Information pushing method and communication system
CN109410521A (zh) 语音监控报警方法及系统
KR20160127117A (ko) 개인 존재와 연관된 동작 수행
KR20150140867A (ko) 소셜 그래프들, 스피치 모델들, 및 사용자 콘텍스트를 통해 모바일 디바이스 사용자에 근접한 사람들을 식별하는 것
CN105704309B (zh) 移动终端及其定制来电提醒的方法
CN115590516A (zh) 一种情绪提醒方法、具有情绪提醒功能的手环及相关装置
CN114155853A (zh) 一种拒识方法、装置、设备及存储介质
CN111739558B (zh) 监控系统、方法、装置、服务器及存储介质
CN106856416B (zh) 一种可穿戴设备的来电提醒方法及可穿戴设备
CN107632813A (zh) 一种关闭闹钟功能的方法及装置
CN108924344B (zh) 终端振动方法、装置、存储介质及电子设备
CN111176440B (zh) 一种视频通话方法及可穿戴设备
US9148501B2 (en) Systems and methods for hands-off control of a mobile communication device
WO2022160938A1 (zh) 紧急求助功能的触发方法、装置、终端及存储介质
CN112863511B (zh) 信号处理方法、装置以及存储介质
CN108055406B (zh) 一种通信消息的交互方法及移动终端
CN111639058B (zh) 求救信号的发送方法及电子设备、计算机可读存储介质
CN112203250A (zh) 监测坐姿的智能眼镜控制方法、装置、存储介质及系统
CN107767857B (zh) 一种信息播放方法、第一电子设备和计算机存储介质
CN111986657A (zh) 音频识别方法和装置、录音终端及服务器、存储介质
CN113873085B (zh) 一种语音开场白的生成方法及相关装置
CN106713641B (zh) 一种基于穿戴设备的报时方法及穿戴设备
CN111754989A (zh) 一种语音误唤醒的规避方法及电子设备
CN109815806B (zh) 人脸识别方法及装置、计算机设备、计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant