CN111106995A - 一种消息显示方法、装置、终端及计算机可读存储介质 - Google Patents
一种消息显示方法、装置、终端及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111106995A CN111106995A CN201911364594.3A CN201911364594A CN111106995A CN 111106995 A CN111106995 A CN 111106995A CN 201911364594 A CN201911364594 A CN 201911364594A CN 111106995 A CN111106995 A CN 111106995A
- Authority
- CN
- China
- Prior art keywords
- emotion
- voice message
- color
- conversation
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000008451 emotion Effects 0.000 claims abstract description 500
- 238000006243 chemical reaction Methods 0.000 claims abstract description 67
- 230000014509 gene expression Effects 0.000 claims description 139
- 230000007704 transition Effects 0.000 claims description 38
- 238000012545 processing Methods 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 18
- 239000012634 fragment Substances 0.000 claims description 17
- 238000011156 evaluation Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 10
- 230000008909 emotion recognition Effects 0.000 claims description 9
- 230000008859 change Effects 0.000 abstract description 19
- 230000000875 corresponding effect Effects 0.000 description 129
- 238000010586 diagram Methods 0.000 description 21
- 239000003086 colorant Substances 0.000 description 13
- 230000002996 emotional effect Effects 0.000 description 11
- 230000036651 mood Effects 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- MCSXGCZMEPXKIW-UHFFFAOYSA-N 3-hydroxy-4-[(4-methyl-2-nitrophenyl)diazenyl]-N-(3-nitrophenyl)naphthalene-2-carboxamide Chemical compound Cc1ccc(N=Nc2c(O)c(cc3ccccc23)C(=O)Nc2cccc(c2)[N+]([O-])=O)c(c1)[N+]([O-])=O MCSXGCZMEPXKIW-UHFFFAOYSA-N 0.000 description 1
- 206010001497 Agitation Diseases 0.000 description 1
- 230000036626 alertness Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
- H04L51/046—Interoperability with other network applications or services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
- H04L51/10—Multimedia information
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Hospice & Palliative Care (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Child & Adolescent Psychology (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明实施例提供了一种消息显示方法、装置、终端及计算机可读存储介质,其中方法包括:在收到语音消息时,获取语音消息的特征信息,特征信息包括语义和音调中的一种或两种;根据特征信息确定与语音消息匹配的第一情绪信息,第一情绪信息包括语音消息对应的至少一种情绪以及至少一种情绪之间的转变关系;获取第一情绪信息对应的情绪指示标识,并根据情绪指示标识在即时通讯应用的会话界面中显示语音消息的会话气泡,其中,情绪指示标识用于指示所述至少一种情绪以及所述至少一种情绪之间的转变关系;从而可以利用情绪指示标识指示语音消息所表达的情绪以及情绪变化,以使用户根据情绪指示标识快速获知语音消息所表达的情绪以及情绪变化。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种消息显示方法、一种消息显示装置、一种终端及一种计算机可读存储介质。
背景技术
随着智能终端(例如智能手机、平板电脑等)的普及,即时通讯应用已广泛应用于人们的生活中,成为人们日常交流的主要方式。即时通讯应用除了包括文字、图片、视频等富媒体(Rich Media)以外,还包括语音消息。语音消息有利于用户快速传递和表达信息,并且在通过语音消息表达和传递信息的时候,通常带有比文字表达更多的语气和情绪表达。目前,会话界面中显示的语音消息的会话气泡,只能指示语音消息的时长,故用户在看到语音消息的时候只能马上获知语音消息的时长,并不能马上获知语音消息所表达的情绪,只有在播放语音消息之后用户才能获知语音消息所表达的情绪。
发明内容
本发明实施例提供了一种消息显示方法、装置、终端及计算机可读存储介质,可以利用情绪指示标识指示语音消息所表达的情绪以及情绪变化,以使用户根据情绪指示标识快速获知语音消息所表达的情绪以及情绪变化。
一方面,本发明实施例提供了一种消息显示方法,所述方法包括:
在收到语音消息时,获取所述语音消息的特征信息,所述特征信息包括语义和音调中的一种或两种;
根据所述特征信息确定与所述语音消息匹配的第一情绪信息,所述第一情绪信息包括所述语音消息对应的至少一种情绪以及所述至少一种情绪之间的转变关系;
获取所述第一情绪信息对应的情绪指示标识,并根据所述情绪指示标识在即时通讯应用的会话界面中显示所述语音消息的会话气泡,其中,所述情绪指示标识用于指示所述至少一种情绪以及所述至少一种情绪之间的转变关系。
另一方面,本发明实施例提供了一种消息显示装置,所述装置包括:
处理单元,用于在收到语音消息时,获取所述语音消息的特征信息,所述特征信息包括语义和音调中的一种或两种;
所述处理单元,还用于根据所述特征信息确定与所述语音消息匹配的第一情绪信息,所述第一情绪信息包括所述语音消息对应的至少一种情绪以及所述至少一种情绪之间的转变关系;
获取单元,用于获取所述第一情绪信息对应的情绪指示标识;
显示单元,用于根据所述情绪指示标识在即时通讯应用的会话界面中显示所述语音消息的会话气泡,其中,所述情绪指示标识用于指示所述至少一种情绪以及所述至少一种情绪之间的转变关系。
再一方面,本发明实施例提供了一种终端,包括:处理器、通信接口和存储器,所述处理器、所述通信接口和所述存储器相互连接,其中,所述存储器存储有可执行程序代码,所述处理器用于调用所述可执行程序代码,执行上述消息显示方法。
相应地,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述消息显示方法。
本发明实施例通过获取语音消息的特征信息,根据该特征信息确定与语音消息匹配的情绪信息,获取该情绪信息对应的情绪指示标识,并根据该情绪指示标识在即时通讯应用的会话界面中显示语音消息的会话气泡,从而可以利用情绪指示标识指示语音消息所表达的情绪以及情绪变化,以使用户根据情绪指示标识快速获知语音消息所表达的情绪以及情绪变化。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种消息显示方法的流程示意图;
图2是本发明实施例提供的另一种消息显示方法的流程示意图;
图3a是本发明实施例提供的一种会话界面的示意图;
图3b是本发明实施例提供的另一种会话界面的示意图;
图4a是本发明实施例提供的又一种会话界面的示意图;
图4b是本发明实施例提供的又一种会话界面的示意图;
图4c是本发明实施例提供的又一种会话界面的示意图;
图5是本发明实施例提供的又一种消息显示方法的流程示意图;
图6示出了情绪、情绪程度以及颜色三者之间的对应关系;
图7是本发明实施例提供的又一种会话界面的示意图;
图8是本发明实施例提供的又一种会话界面的示意图;
图9是本发明实施例提供的又一种会话界面的示意图;
图10是本发明实施例提供的又一种消息显示方法的流程示意图;
图11是本发明实施例提供的又一种会话界面以及情绪指示标识设置界面的示意图;
图12是本发明实施例提供的一种消息显示装置的结构示意图;
图13是本发明实施例提供的一种终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
目前,用户通过终端会话界面中显示的语音消息的会话气泡,只能马上获知语音消息的时长,用户只有在播放语音消息之后才能获知语音消息所表达的情绪,并不能在看到语音消息的时候马上获知语音消息所表达的情绪,即不能通过会话气泡获知语音消息所表达的情绪。为解决上述问题,本发明实施例提供了一种消息显示方法,可以利用颜色或者表情作为情绪指示标识来指示语音消息所表达的情绪以及情绪变化,以使用户在看到语音消息的时候,可以根据情绪指示标识快速获知语音消息所表达的情绪以及情绪变化。
如图1所示,示出了本发明实施例提供的消息显示方法的处理流程。终端在收到语音消息时,对语音消息进行处理,包括对语音消息进行去噪等。判断语音消息是否为自然语言语音消息,如果不是自然语言语音消息,则将语音消息的语音气泡进行原始展示,即只显示语音消息的时长;如果是自然语言语音消息,则对语音消息进行语义和/或音调识别,并根据识别得到的语音消息的语义和/或音调确定语音消息匹配的情绪。终端将该情绪与颜色或者表情进行映射,得到用于指示该情绪的颜色或者表情,并根据用于指示该情绪的颜色或者表情在即时通讯应用的会话界面中显示语音消息的会话气泡。其中,终端在检测到对语音消息的文本转换触发操作时,对语音消息进行文本转换,并在文本转换过程中,获取与当前转换得到的文本片段匹配的情绪,并将该情绪与颜色进行映射,得到用于指示该情绪的颜色,并利用用于指示该情绪的颜色渲染即时通讯应用的会话界面中的文本显示区域,该文本显示区域用于显示已转换得到的各个文本片段。
其中,用于执行上述消息显示方法的终端可以是智能手机、平板电脑、笔记本、移动互联网设备(Mobile Internet Device,MID)等配置即时通讯应用的智能终端。以上介绍了本发明实施例提供的消息显示方法的主要步骤,下面对各个步骤进行详细说明。
请参阅图2,图2为本发明实施例提供的一种消息显示方法的流程示意图。本发明实施例中所描述的消息显示方法包括:
S201、终端在收到语音消息时,获取所述语音消息的特征信息。
本发明实施例中,语音消息可以是终端通过其配置的拾音设备采集到的用户的语音消息,也可以是终端(即接收终端)接收到的发送终端发送的语音消息,在一实施方式中,接收终端和发送终端都配置有即时通讯应用,该语音消息是通过发送终端配置的即时通讯应用发送给接收终端的。
语音消息的特征信息包括语音消息的语义和音调中的一种或者两种。终端在收到语音消息时,先判断该语音消息是否为自然语言语音消息;若该语音消息为自然语言语音消息,则对收到的语音消息进行语义识别,得到该语音消息的语义;对收到的语音消息进行音调识别,得到该语音消息的音调。在一实施方式中,终端在对收到的语音消息进行语义识别时,利用语音识别(Automatic Speech Recognition,ASR)技术将该语音消息映射成文本信息的同时,针对该文本信息进行语义识别,得到该语音消息的语义。终端可以通过查询语义词典来获取映射得到的文本信息所表达的语义。其中,ASR的模型通常由声学模型和语言模型两部分组成,分别对应于语音到音节概率的计算和音节到字概率的计算。在利用ASR技术将该语音消息映射成文本信息的过程中,利用声学模型针对该语音消息进行语音到音节概率的计算,该声学模型可以是高斯混合模型和隐马尔科夫(HMM-GMM)概率模型;根据声学模型的计算结果,利用语言模型针对该语音消息进行音节到字概率的计算;根据语言模型的计算结果,利用语音识别解码器WFST进行解码得到该语音信息对应的文本信息。
S202、所述终端根据所述特征信息确定与所述语音消息匹配的第一情绪信息,其中,所述第一情绪信息包括所述语音消息对应的至少一种情绪以及所述至少一种情绪之间的转变关系。
本发明实施例中,终端将语音消息的特征信息输入情绪识别模型以获取该语音消息在多个维度上的情绪评价信息,并根据该语音消息在多个维度上的情绪评价信息得到与该语音消息匹配的第一情绪信息。
PAD三维情感模型认为“情绪”具有愉悦度、激活度和优势度三个维度,P代表愉悦度(Pleasure-displeasure),表示个体情绪状态的正负特性,即情感的积极或消极程度,喜欢或不喜欢程度,这个维度体现了情感的本质;A代表激动度(Arousal-nonarousal),表示个体的神经生理激活水平,警觉性,与情感状态联系的机体能量的激活程度有关;D代表主客观(Dominance-submissiveness),表示个体对情景和他人的控制状态,对他人和外界环境的控制力和影响力,主要指个体对情感状态的主观控制程度,用以区分情感状态是由个体主观发出的还是受客观环境影响产生的。基于此,本发明实施例从“愉悦的----非愉悦的”、“愤怒的----平静的”、“客观的----非客观的”三个不同维度来评价语音消息的情绪,并从上述三个维度对情绪识别模型进行训练,以使训练后的情绪识别模型能够从上述三个维度对语音消息的特征信息进行情绪评价,情绪评价可以是计算语音消息所表达的情绪在各个维度上的置信度以及情绪程度,并根据语音消息在上述三个维度上的情绪评价结果得到与该语音消息匹配的情绪信息。其中,置信度用于指示语音消息所表达的情绪在各个维度上的概率,情绪程度用于指示语音消息所表达的情绪在某一维度上更符合哪一种情绪。
在一实施方式中,情绪识别模型对语音消息的语义进行处理,将语音消息的语义转换成能够表征语音消息的语义内容的语义特征向量,并将转换得到的各个语义特征向量输入至情绪识别模型的情绪分类网络,由情绪分类网络对各个语义特征向量进行分析,得到每个语义特征向量对应的语音消息片段所表达的情绪属于上述三个维度中各个维度的置信度,并选取置信度最大的至少一个维度作为语音消息片段所表达的情绪所属的目标维度。情绪识别模型对语音消息的音调进行处理,将语音消息的音调转换成能够表征语音消息的语气类别的语气特征向量,语气特征向量与语义特征向量对应同一语音消息片段;对各个语气特征向量进行分析,得到语音消息片段所表达的情绪在目标维度上的情绪程度,并根据该情绪程度确定各语音消息片段匹配的目标情绪。
假设目标维度为“愉悦的----非愉悦的”,若分析得到的语音消息片段所表达的情绪在目标维度“愉悦的----非愉悦的”上的情绪程度大于或等于预设数值,则将语音消息片段匹配的目标情绪确定为“愉悦”;反之,则将语音消息片段匹配的目标情绪确定为“非愉悦”。在其他实施方式中,分析得到的语音消息片段所表达的情绪在目标维度“愉悦的----非愉悦的”上的情绪程度包括愉悦情绪程度和非愉悦情绪程度;若愉悦情绪程度大于非愉悦情绪程度,则将语音消息片段匹配的目标情绪确定为“愉悦”;若愉悦情绪程度小于非愉悦情绪程度,则将语音消息片段匹配的目标情绪确定为“非愉悦”。或者,若愉悦情绪程度大于或等于第一数值且非愉悦情绪程度小于第二数值,则将语音消息片段匹配的目标情绪确定为“愉悦”;若愉悦情绪程度小于第一数值且非愉悦情绪程度大于或等于第二数值,则将语音消息片段匹配的目标情绪确定为“非愉悦”。其他维度下的处理方式类似,此处不再赘述。
例如,语音消息的内容为“当然这也不能全怪他啦,算了...唉,下午找你去喝咖啡哈~”,并且该语音消息的音调平稳。基于该语音消息的语义和/或音调可以确定前面部分内容“当然这也不能全怪他啦”的说话情绪更偏向于平静和客观。基于该语音消息的语义和/或音调可以确定后面部分内容“算了...唉,下午找你去喝咖啡哈~”的说话情绪更偏向于愉悦。故该语音消息对应的至少一种情绪为“平静客观”和“愉悦”,该至少一种情绪之间的转变关系为先“平静客观”,再由“平静客观”转变为“愉悦”。
S203、所述终端获取所述第一情绪信息对应的情绪指示标识,并根据所述情绪指示标识在即时通讯应用的会话界面中显示所述语音消息的会话气泡,其中,所述情绪指示标识用于指示所述至少一种情绪以及所述至少一种情绪之间的转变关系。
在一实施例中,情绪指示标识包括颜色。终端根据预置的情绪与颜色的对应关系获取该至少一种情绪中每一种情绪对应的目标颜色。例如,预置的对应关系中黄色与情绪“愉悦”对应,则将黄色作为“愉悦”情绪对应的目标颜色。根据该每一种情绪对应的目标颜色以及该至少一种情绪之间的转变关系,确定语音消息的会话气泡的至少一种颜色以及该至少一种颜色之间的转变关系。例如,语音消息对应的情绪包括“平静客观”和“愉悦”,并且是先“平静客观”,再由“平静客观”转变为“愉悦”;如果情绪“平静客观”对应的目标颜色为蓝色,情绪“愉悦”对应的目标颜色为黄色,则语音消息的会话气泡的至少一种颜色包括蓝色和黄色,该至少一种颜色之间的转变关系为先为蓝色,再由蓝色转变为黄色。进一步地,终端根据该至少一种颜色以及该至少一种颜色之间的转变关系在即时通讯应用的会话界面中显示语音消息的会话气泡。
在一实施方式中,各种颜色在会话气泡中的显示长度比例相同,或者,会话气泡中的各段颜色的显示长度比例相同。终端获取语音消息的总时长,并根据预置的语音时长与气泡长度之间的映射关系,确定语音消息的会话气泡的总长度;根据会话气泡的至少一种颜色之间的转变关系,确定该至少一种颜色将会话气泡分成的段数,将会话气泡的总长度除以段数,得到每部分会话气泡的目标长度;按照会话气泡的至少一种颜色之间的转变关系以及目标长度,利用该至少一种颜色对各部分会话气泡进行渲染。结合前文所述的例子,如图3a所示,将语音消息的会话气泡的前半部分渲染成用于指示“平静客观”情绪的蓝色,图3a中用深灰色表示蓝色;将语音消息的会话气泡的后半部分渲染成用于指示“愉悦”情绪的黄色,图3a中用浅灰色表示黄色。
在另一实施方式中,终端获取语音消息中每一种情绪对应的各段语音消息的时长,根据每一种情绪对应的各段语音消息的时长以及语音消息的总时长,确定该至少一种颜色中每一种颜色在会话气泡中的各部分的显示长度比例。终端根据预置的语音时长与气泡长度之间的映射关系,确定语音消息的会话气泡的总长度;将该总长度乘以每一种颜色在会话气泡中的各部分的显示长度比例,得到每一种颜色在会话气泡中的各部分的显示长度。按照会话气泡的至少一种颜色之间的转变关系以及每一种颜色在会话气泡中的各部分的显示长度,利用该至少一种颜色对各部分会话气泡进行渲染。例如,语音消息“当然这也不能全怪他啦,算了...唉,下午找你去喝咖啡哈~”的总时长为4秒(4”),情绪“平静客观”对应的语音消息片段“当然这也不能全怪他啦”的时长为1”,情绪“愉悦”对应的语音消息片段“算了...唉,下午找你去喝咖啡哈~”的时长为3”,则用于指示“平静客观”情绪的蓝色在会话气泡中的显示长度比例为会话气泡总长度的四分之一,用于指示“愉悦”情绪对应的黄色在会话气泡中的显示长度比例为会话气泡总长度的四分之三。如图3b所示,将语音消息的会话气泡的前四分之一渲染成蓝色,图3b中用深灰色表示蓝色;将语音消息的会话气泡的后四分之三渲染成黄色,图3b中用浅灰色表示黄色。
在另一实施例中,情绪指示标识包括表情。终端获取该至少一种情绪中每一种情绪对应的目标表情,并根据该至少一种情绪之间的转变关系确定每一种情绪对应的目标表情之间的转变关系。例如,语音消息对应的情绪包括“平静客观”和“愉悦”,并且是先“平静客观”,再由“平静客观”转变为“愉悦”;如果情绪“平静客观”对应的目标表情为微笑表情,情绪“愉悦”对应的目标表情为大笑表情,则该两种目标表情的转变关系为由微笑表情转变为大笑表情。进一步地,在即时通讯应用的会话界面中显示语音消息的会话气泡,并根据每一种情绪对应的目标表情之间的转变关系,在会话界面中的目标位置显示每一种情绪对应的目标表情。其中,目标位置是根据会话气泡在会话界面中的显示位置确定的。结合前文所述的例子,如图4a所示,可以在紧接着会话气泡显示位置的后面显示用于指示“平静客观”情绪的微笑表情以及用于指示“愉悦”情绪的大笑表情,并且微笑表情处于大笑表情的前面;也可以在会话气泡上显示微笑表情和大笑表情;还可以在会话气泡显示位置的下方显示微笑表情和大笑表情。可以理解的是,微笑表情和大笑表情还可以是显示在会话界面中的其他位置,本发明实施例不作限定。
在另一实施例中,情绪指示标识包括颜色和表情。终端获取该至少一种情绪中每一种情绪对应的目标颜色和目标表情,并根据该每一种情绪对应的目标颜色和目标表情在会话界面中显示语音消息的会话气泡。例如,如图4b所示,利用获取到的目标颜色对语音消息的会话气泡进行渲染,并在紧接着会话气泡显示位置的后面显示获取到的目标表情。具体处理方式可将前文所述的处理方式进行结合,此处不再赘述。
在一实施方式中,终端在会话界面中的目标位置显示每一种情绪对应的目标表情之后,在检测到对目标表情的选择操作时,获取该选择操作所选中的目标表情,并从该语音消息中获取与该选择操作所选中的目标表情匹配的语音消息片段。例如,当选择操作所选中的目标表情为图4c中的微笑表情,则结合前文的描述可以获取到微笑表情对应的语音消息片段为“当然这也不能全怪他啦”。进一步地,终端可以播放该语音消息片段,和/或,如图4c所示将该语音消息片段转换成文本消息,并在会话界面中显示转换得到的文本消息。
在一实施方式中,终端获取该至少一种情绪中每一种情绪对应的目标表情的方式为:针对该至少一种情绪中的每一种情绪,根据记录的用户使用表情的历史数据获取用于表示每一种情绪并且符合用户习惯的表情,将获取到的表情确定为每一种情绪对应的目标表情。或者,终端根据预置的情绪与表情的对应关系获取该至少一种情绪中每一种情绪对应的目标表情。
采用上述消息显示方式,终端可以根据语音消息的语义和/或音调确定语音消息对应的情绪,并将语音消息对应的情绪与颜色和/或表情进行映射;然后将语音消息的会话气泡渲染成映射得到的颜色,和/或在会话界面中的目标位置显示映射得到的表情。从而可以利用颜色和/或表情情绪指示标识指示语音消息所表达的情绪以及情绪变化,以使用户根据颜色和/或表情情绪指示标识快速获知语音消息所表达的情绪以及情绪变化,用户可以根据语音消息所表达的情绪以及情绪变化来判断语音消息的重要性,进而确定是否播放该语音消息,以及判断是否需要独自听该语音消息,有效避免错过重要消息以及防止消息泄露。上述方式可以有效解决语音消息情绪缺失的问题。另外,即时通讯应用中通常存在大量语音消息,如果会话气泡没有携带情绪指示标识,则用户在寻找聊天记录的时候,需要每一段语音都听一遍才能找到一些关键的内容;而如果会话气泡携带情绪指示标识,则可以帮助用户快速获知语音信息的情绪以及情绪变化,从而快速定位关键语音消息,有效提高查找关键内容的效率。
请参阅图5,图5为本发明实施例提供的另一种消息显示方法的流程示意图。本发明实施例中所描述的消息显示方法包括:
S501、终端在收到语音消息时,获取所述语音消息的特征信息,所述特征信息包括语义和音调中的一种或者两种。
S502、所述终端根据所述特征信息确定与所述语音消息匹配的第一情绪信息,其中,所述第一情绪信息包括所述语音消息对应的至少一种情绪以及所述至少一种情绪之间的转变关系。
本发明实施例中,第一情绪信息还可以包括该至少一种情绪中每一种情绪对应的情绪程度,例如情绪“愉悦”对应的愉悦程度,情绪“愤怒”对应的愤怒程度。
S503、所述终端获取所述第一情绪信息对应的情绪指示标识,并根据所述情绪指示标识在即时通讯应用的会话界面中显示所述语音消息的会话气泡,其中,所述情绪指示标识用于指示所述至少一种情绪以及所述至少一种情绪之间的转变关系。
在一实施例中,情绪指示标识包括颜色。终端根据预置的情绪、情绪程度以及颜色三者之间的对应关系获取该至少一种情绪中每一种情绪对应的目标颜色。如图6所示,示出了各个维度下情绪、情绪程度以及颜色三者之间的对应关系;其中,在“客观的----非客观的”维度下,“客观”情绪对应的颜色相对“非客观情绪”对应的颜色颜色更深,并且“客观”情绪的程度越高,则所对应的颜色越深;例如,“客观”情绪对应的颜色为深蓝,“非客观情绪”对应的颜色为浅蓝。其他维度下的情绪、情绪程度以及颜色三者之间的对应关系类似,此处不再赘述。终端根据每一种情绪对应的目标颜色以及该至少一种情绪之间的转变关系,确定语音消息的会话气泡的至少一种颜色以及该至少一种颜色之间的转变关系,并根据该至少一种颜色以及该至少一种颜色之间的转变关系在即时通讯应用的会话界面中显示语音消息的会话气泡。
如图7中的会话气泡701所示,当语音消息对应的情绪为一种,并且该一种情绪对应的情绪程度不变时,则语音消息的会话气泡的颜色为一种且颜色深浅一致。如图7中的会话气泡702所示,当语音消息对应的情绪为两种,并且第一种情绪的情绪程度由高变低,第二种情绪的情绪程度由低变高,则语音消息的会话气泡的颜色为两种,并且第一种情绪对应的颜色由深变浅,第二种情绪对应的颜色由浅变深。需要说明的是,可以将会话气泡的颜色进行相关处理,使得不同颜色之间的变化平滑,以及使得同一颜色的深浅变化也平滑。
在另一实施例中,情绪指示标识包括表情。终端根据预置的情绪、情绪程度以及表情三者之间的对应关系获取该至少一种情绪中每一种情绪对应的目标表情。例如,“一般愤怒”情绪对应的目标表情为普通愤怒表情,而“非常愤怒”情绪对应的目标表情为普通愤怒表情结合冒火表情形成的愤怒表情。终端根据该至少一种情绪之间的转变关系确定每一种情绪对应的目标表情之间的转变关系,并在即时通讯应用的会话界面中显示语音消息的会话气泡,以及根据每一种情绪对应的目标表情之间的转变关系,在会话界面中的目标位置显示每一种情绪对应的目标表情。
需要说明的是,终端根据语音消息对应的至少一种情绪之间的转变关系,确定语音消息的会话气泡的至少一种颜色之间的转变关系,或者确定每一种情绪对应的目标表情之间的转变关系时,可能该至少一种情绪之间的转变关系中存在同一种情绪交替出现的情况。例如,语音消息对应的至少一种情绪之间的转变关系为由“客观”转变为“生气”,再由“生气”转变为“客观”后转变为“愉悦”;“客观”情绪对应的颜色和表情分别为蓝色和微笑表情,“生气”情绪对应的颜色和表情分别为红色和生气表情,“愉悦”情绪对应的颜色和表情分别为黄色和大笑表情。对于上述情绪之间的转变关系,可以将会话气泡的至少一种颜色之间的转变关系确定为:先由蓝色转变为红色,再由红色转变为蓝色后转变为黄色,或者确定为:先由蓝色转变为红色,再由红色直接转变为黄色;可以将每一种情绪对应的目标表情之间的转变关系确定为:先由微笑表情转变为生气表情,再由生气表情转变为微笑表情后转变为大笑表情,或者确定为:先由微笑表情转变为生气表情,再由生气表情直接转变为大笑表情。
在其他实施方式,还可以根据某情绪对应的各语音片段的时长来确定用于指示该某情绪的颜色或者表情在转变关系中的位置。结合上述例子,对于语音消息对应的至少一种情绪之间的转变关系为由“客观”转变为“生气”,再由“生气”转变为“客观”后转变为“愉悦”,如果“客观”情绪对应的第一段语音片段的时长小于“客观”情绪对应的第二段语音片段的时长,则可以将会话气泡的至少一种颜色之间的转变关系确定为:先由红色转变为蓝色后转变为黄色;可以将每一种情绪对应的目标表情之间的转变关系确定为:先由生气表情转变为微笑表情后转变为大笑表情。
需要说明的是,步骤S501至步骤S503中的未详尽描述的实现方式可参考前一实施例中的相关描述,本实施例不再赘述。
S504、所述终端在检测到针对所述语音消息的文本转换触发操作时,对所述语音消息进行文本转换。
本发明实施例中,终端在检测到对语音消息的会话气泡的触发操作时,如图8所示,输出“设置”选项和“文本转换”选项;其中,该触发操作可以是单击操作、多击操作或者长按操作等。终端在检测到对“文本转换”选项的选择操作时,对该语音消息进行文本转换。
S505、所述终端在对所述语音消息进行文本转换的过程中,获取与当前转换得到的文本片段匹配的第二情绪信息,所述第二情绪信息包括所述文本片段对应的情绪。
本发明实施例中,终端可以基于步骤S502获取到的第一情绪信息,获取与当前转换得到的文本片段对应的情绪。终端也可以基于步骤S501获取到的语音消息的语义和/或音调,获取与当前转换得到的文本片段对应的情绪。终端还可以对转换得到的文本片段进行语义识别,并根据语义识别结果获取与当前转换得到的文本片段对应的情绪。
S506、所述终端根据所述第二情绪信息调整所述会话界面中文本显示区域的颜色,所述文本显示区域用于显示已转换得到的各个文本片段。
本发明实施例中,终端根据预置的情绪与颜色的对应关系获取与当前转换得到的文本片段对应的情绪匹配的目标颜色,并将会话界面中的文本显示区域的颜色调整为该目标颜色。请一并参见图9,如图9左图所示,当当前转换得到的文本片段的内容为“当然这也不能全怪他啦”,结合前文描述可知,该语音片段对应的情绪为“平静客观”,“平静客观”情绪所对应的目标颜色为蓝色,则在会话界面中将文本显示区域901渲染成蓝色,图9左图中用深灰色表示蓝色。如图9右图所示,当进一步转换得到的文本片段的内容为“算了...唉,下午找你去喝咖啡哈~”,结合前文描述可知,该语音片段对应的情绪为“愉悦”,“愉悦”情绪所对应的目标颜色为黄色,则在会话界面中将文本显示区域901渲染成黄色,图9右图中用浅灰色表示黄色。
在用户不方便听语音消息的时候,用户往往会用语音转文字的方式查看语音消息的内容,但是语音消息所表达的情绪是很重要的信息,单纯看文字就缺失了相应的情绪。采用上述消息显示方式,可以在将语音消息转换成文本消息的过程中,利用颜色情绪指示标识指示不同语音片段所表达的情绪,进而用户可以根据文本显示区域的颜色快速获知语音片段的所表达的情绪以及不同语音片段之间的情绪变化,上述方式可以有效解决文本转换过程中情绪缺失的问题。
在其他实施例中,请参阅图10,为本发明实施例提供的一种情绪与情绪指示标识的对应关系的设置方法的流程示意图,所述情绪与情绪指示标识的对应关系的设置方法包括:
S1001、所述终端在检测到对会话界面中的会话气泡的设置操作时,输出情绪指示标识设置界面,所述情绪指示标识设置界面中包括多种情绪名称以及多种情绪指示标识。
本发明实施例中,该会话气泡可以是会话界面中的任意一个。终端在检测到对语音消息的会话气泡的触发操作时,如图11中的左图所示,输出“设置”选项和“文本转换”选项,其中,该触发操作可以是单击操作、多击操作或者长按操作等。终端在检测到对“设置”选项的选择操作时,输出情绪指示标识设置界面,该情绪指示标识设置界面中包括多种情绪名称以及多种情绪指示标识,情绪指示标识包括颜色或者表情。例如,当情绪指示标识为颜色时,输出如图11中的右图所示的颜色情绪指示标识设置界面,颜色绪指示标识设置界面中包括情绪名称“客观”、“愉悦”以及“愤怒”等,并且针对每一个维度下的情绪,提供多种颜色供用户选择。需要说明的是,表情情绪指示标识设置界面与颜色情绪指示标识设置界面类似,此处不再赘述。
S1002、所述终端根据针对任意一种情绪名称的情绪指示标识选择操作,确定情绪与情绪指示标识的对应关系。
例如,如图11中的右图所示,对于维度“愤怒的---平静的”,终端若检测到用户选择了红色,图11中的右图中用黑色表示红色,则将红色确定为情绪“愤怒”对应的颜色。终端可以将不同程度的愤怒对应于不同深浅程度的红色,并且愤怒程度越低,情绪所对应的红色越浅。由于在维度“愤怒的---平静的”下,愤怒程度越低,则越趋近于平静,则例如可以将深红确定为情绪“非常愤怒”对应的颜色,将火红色确定为情绪“一般愤怒”对应的颜色,将浅红确定为情绪“平静”对应的颜色。通过上述方式,用户可以自定义情绪与情绪指示标识的对应关系,即用户可以根据自己的习惯和爱好选择不同的表情或者颜色来指示语音消息所表达的情绪。
请参阅图12,图12为本发明实施例提供的一种消息显示装置的结构示意图。本发明实施例中所描述的消息显示装置,对应于前文所述的终端,所述消息显示装置包括:
处理单元1201,用于在收到语音消息时,获取所述语音消息的特征信息,所述特征信息包括语义和音调中的一种或两种;
所述处理单元1201,还用于根据所述特征信息确定与所述语音消息匹配的第一情绪信息,所述第一情绪信息包括所述语音消息对应的至少一种情绪以及所述至少一种情绪之间的转变关系;
获取单元1202,用于获取所述第一情绪信息对应的情绪指示标识;
显示单元1203,用于根据所述情绪指示标识在即时通讯应用的会话界面中显示所述语音消息的会话气泡,其中,所述情绪指示标识用于指示所述至少一种情绪以及所述至少一种情绪之间的转变关系。
在一实施例中,所述情绪指示标识包括颜色,所述获取单元1202,用于根据情绪与颜色的对应关系获取所述至少一种情绪中每一种情绪对应的目标颜色;所述处理单元1201,用于根据所述每一种情绪对应的目标颜色以及所述至少一种情绪之间的转变关系,确定所述语音消息的会话气泡的至少一种颜色以及所述至少一种颜色之间的转变关系;所述显示单元1203,用于根据所述至少一种颜色以及所述至少一种颜色之间的转变关系在即时通讯应用的会话界面中显示所述会话气泡。
在一实施例中,所述获取单元1202,用于获取所述语音消息中所述每一种情绪对应的各段语音消息的时长;所述处理单元1201,用于根据所述每一种情绪对应的各段语音消息的时长以及所述语音消息的总时长,确定所述至少一种颜色中每一种颜色在所述会话气泡中的各部分的显示长度比例;所述显示单元1203,用于根据所述至少一种颜色、所述每一种颜色在所述会话气泡中的各部分的显示长度比例以及所述至少一种颜色之间的转变关系在即时通讯应用的会话界面中显示所述会话气泡。
在一实施例中,所述情绪指示标识包括表情,所述获取单元1202,用于获取所述至少一种情绪中每一种情绪对应的目标表情;所述处理单元1201,用于根据所述至少一种情绪之间的转变关系确定所述每一种情绪对应的目标表情之间的转变关系;所述显示单元1203,用于在即时通讯应用的会话界面中显示所述语音消息的会话气泡,根据所述每一种情绪对应的目标表情之间的转变关系,在所述会话界面中的目标位置显示所述每一种情绪对应的目标表情,其中,所述目标位置是根据所述会话气泡在所述会话界面中的显示位置确定的。
在一实施例中,所述获取单元1202,具体用于针对所述至少一种情绪中的每一种情绪,根据记录的用户使用表情的历史数据获取用于表示所述每一种情绪并且符合用户习惯的表情;将获取到的表情确定为所述每一种情绪对应的目标表情;或者,根据情绪与表情的对应关系获取所述至少一种情绪中每一种情绪对应的目标表情。
在一实施例中,所述获取单元1202,还用于在检测到对各个目标表情的选择操作时,从所述语音消息中获取与所述选择操作所选中的目标表情匹配的语音消息片段;所述处理单元1201,还用于播放所述语音消息片段,和/或将所述语音消息片段转换成文本消息,并通过所述显示单元1203在所述会话界面中显示所述文本消息。
在一实施例中,所述处理单元1201,还用于在检测到针对所述语音消息的文本转换触发操作时,对所述语音消息进行文本转换;在对所述语音消息进行文本转换的过程中,获取与当前转换得到的文本片段匹配的第二情绪信息,所述第二情绪信息包括所述文本片段对应的情绪;所述显示单元1203还用于根据所述第二情绪信息调整所述会话界面中文本显示区域的颜色,所述文本显示区域用于显示已转换得到的各个文本片段。
在一实施例中,所述处理单元1201,还用于在检测到对所述会话界面中的会话气泡的设置操作时,通过所述显示单元1203输出情绪指示标识设置界面,所述情绪指示标识设置界面中包括多种情绪名称以及多种情绪指示标识;所述处理单元1201,还用于根据针对任意一种情绪名称的情绪指示标识选择操作,确定情绪与情绪指示标识的对应关系,其中,所述情绪指示标识包括颜色或者表情。
在一实施例中,所述处理单元1201,具体用于将所述特征信息输入情绪识别模型以获取所述语音消息在多个维度上的情绪评价信息,并根据所述语音消息在多个维度上的情绪评价信息得到与所述语音消息匹配的第一情绪信息。
可以理解的是,本发明实施例的消息显示装置的各功能单元的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
本发明实施例通过获取语音消息的特征信息,根据该特征信息确定与语音消息匹配的情绪信息,获取该情绪信息对应的情绪指示标识,并根据该情绪指示标识在即时通讯应用的会话界面中显示语音消息的会话气泡,从而可以利用情绪指示标识指示语音消息所表达的情绪以及情绪变化,以使用户根据情绪指示标识快速获知语音消息所表达的情绪以及情绪变化。
请参阅图13,图13为本发明实施例提供的一种终端的结构示意图。本发明实施例中所描述的终端包括:处理器1301、用户接口1302、通信接口1303及存储器1304。其中,处理器1301、用户接口1302、通信接口1303及存储器1304可通过总线或其他方式连接,本发明实施例以通过总线连接为例。
其中,处理器1301(或称CPU(Central Processing Unit,中央处理器))是终端的计算核心以及控制核心,其可以解析终端内的各类指令以及处理终端的各类数据,例如:CPU可以用于解析用户向终端所发送的开关机指令,并控制终端进行开关机操作;再如:CPU可以在终端内部结构之间传输各类交互数据,等等。用户接口1302是实现用户与终端进行交互和信息交换的媒介,其具体体现可以包括用于输出的显示屏(Display)、扬声器以及用于输入的键盘(Keyboard)、触控屏、拾音设备等等,需要说明的是,此处的键盘既可以为实体键盘,也可以为触屏虚拟键盘,还可以为实体与触屏虚拟相结合的键盘。通信接口1303可选的可以包括标准的有线接口、无线接口(如Wi-Fi、移动通信接口等),受处理器1301的控制用于收发数据。存储器1304(Memory)是终端中的记忆设备,用于存放程序和数据。可以理解的是,此处的存储器1304既可以包括终端的内置存储器,当然也可以包括终端所支持的扩展存储器。存储器1304提供存储空间,该存储空间存储了终端的操作系统,可包括但不限于:Android系统、iOS系统、Windows Phone系统等等,本发明对此并不作限定。
在本发明实施例中,处理器1301通过运行存储器1304中的可执行程序代码,执行如下操作:
在收到语音消息时,获取所述语音消息的特征信息,所述特征信息包括语义和音调中的一种或两种,其中,所述语音消息可以是通过用户接口1302采集到的,也可以是通信接口1303接收到的;根据所述特征信息确定与所述语音消息匹配的第一情绪信息,所述第一情绪信息包括所述语音消息对应的至少一种情绪以及所述至少一种情绪之间的转变关系;获取所述第一情绪信息对应的情绪指示标识,并根据所述情绪指示标识通过用户接口1302在即时通讯应用的会话界面中显示所述语音消息的会话气泡,其中,所述情绪指示标识用于指示所述至少一种情绪以及所述至少一种情绪之间的转变关系。
在一实施例中,所述情绪指示标识包括颜色,所述处理器1301获取所述第一情绪信息对应的情绪指示标识,并根据所述情绪指示标识通过用户接口1302在即时通讯应用的会话界面中显示所述语音消息的会话气泡时,具体用于:根据情绪与颜色的对应关系获取所述至少一种情绪中每一种情绪对应的目标颜色;根据所述每一种情绪对应的目标颜色以及所述至少一种情绪之间的转变关系,确定所述语音消息的会话气泡的至少一种颜色以及所述至少一种颜色之间的转变关系;根据所述至少一种颜色以及所述至少一种颜色之间的转变关系通过用户接口1302在即时通讯应用的会话界面中显示所述会话气泡。
在一实施例中,所述处理器1301根据所述至少一种颜色以及所述至少一种颜色之间的转变关系通过用户接口1302在即时通讯应用的会话界面中显示所述会话气泡时,具体用于:获取所述语音消息中所述每一种情绪对应的各段语音消息的时长;根据所述每一种情绪对应的各段语音消息的时长以及所述语音消息的总时长,确定所述至少一种颜色中每一种颜色在所述会话气泡中的各部分的显示长度比例;根据所述至少一种颜色、所述每一种颜色在所述会话气泡中的各部分的显示长度比例以及所述至少一种颜色之间的转变关系通过用户接口1302在即时通讯应用的会话界面中显示所述会话气泡。
在一实施例中,所述情绪指示标识包括表情,所述处理器1301获取所述第一情绪信息对应的情绪指示标识,并根据所述情绪指示标识通过用户接口1302在即时通讯应用的会话界面中显示所述语音消息的会话气泡时,具体用于:获取所述至少一种情绪中每一种情绪对应的目标表情;根据所述至少一种情绪之间的转变关系确定所述每一种情绪对应的目标表情之间的转变关系;通过用户接口1302在即时通讯应用的会话界面中显示所述语音消息的会话气泡;根据所述每一种情绪对应的目标表情之间的转变关系,通过用户接口1302在所述会话界面中的目标位置显示所述每一种情绪对应的目标表情,其中,所述目标位置是根据所述会话气泡在所述会话界面中的显示位置确定的。
在一实施例中,所述处理器1301获取所述至少一种情绪中每一种情绪对应的目标表情时,具体用于:针对所述至少一种情绪中的每一种情绪,根据记录的用户使用表情的历史数据获取用于表示所述每一种情绪并且符合用户习惯的表情;将获取到的表情确定为所述每一种情绪对应的目标表情;或者,根据情绪与表情的对应关系获取所述至少一种情绪中每一种情绪对应的目标表情。
在一实施例中,所述处理器1301根据所述每一种情绪对应的目标表情之间的转变关系,通过用户接口1302在所述会话界面中的目标位置显示所述每一种情绪对应的目标表情之后,还用于:在检测到对各个目标表情的选择操作时,从所述语音消息中获取与所述选择操作所选中的目标表情匹配的语音消息片段;通过用户接口1302播放所述语音消息片段,和/或将所述语音消息片段转换成文本消息,并通过用户接口1302在所述会话界面中显示所述文本消息。
在一实施例中,所述处理器1301获取所述第一情绪信息对应的情绪指示标识,并根据所述情绪指示标识通过用户接口1302在即时通讯应用的会话界面中显示所述语音消息的会话气泡之后,还用于:在检测到针对所述语音消息的文本转换触发操作时,对所述语音消息进行文本转换;在对所述语音消息进行文本转换的过程中,获取与当前转换得到的文本片段匹配的第二情绪信息,所述第二情绪信息包括所述文本片段对应的情绪;根据所述第二情绪信息通过用户接口1302调整所述会话界面中文本显示区域的颜色,所述文本显示区域用于显示已转换得到的各个文本片段。
在一实施例中,所述处理器1301还用于:在检测到对所述会话界面中的会话气泡的设置操作时,通过用户接口1302输出情绪指示标识设置界面,所述情绪指示标识设置界面中包括多种情绪名称以及多种情绪指示标识;根据针对任意一种情绪名称的情绪指示标识选择操作,确定情绪与情绪指示标识的对应关系,其中,所述情绪指示标识包括颜色或者表情。
在一实施例中,所述处理器1301根据所述特征信息确定与所述语音消息匹配的第一情绪信息时,具体用于:将所述特征信息输入情绪识别模型以获取所述语音消息在多个维度上的情绪评价信息,并根据所述语音消息在多个维度上的情绪评价信息得到与所述语音消息匹配的第一情绪信息。
具体实现中,本发明实施例中所描述的处理器1301、用户接口1302、通信接口1303及存储器1304可执行本发明实施例提供的一种消息显示方法中所描述的终端的实现方式,也可执行本发明实施例提供的一种消息显示装置中所描述的实现方式,在此不再赘述。
本发明实施例通过获取语音消息的特征信息,根据该特征信息确定与语音消息匹配的情绪信息,获取该情绪信息对应的情绪指示标识,并根据该情绪指示标识在即时通讯应用的会话界面中显示语音消息的会话气泡,从而可以利用情绪指示标识指示语音消息所表达的情绪以及情绪变化,以使用户根据情绪指示标识快速获知语音消息所表达的情绪以及情绪变化。
本发明实施例还提供了一种计算机可读存储介质,计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行如本发明实施例所述的消息显示方法。
本发明实施例还提供一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行如本发明实施例所述的消息显示方法。
需要说明的是,对于前述的各个方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某一些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random AccessMemory,RAM)、磁盘或光盘等。
以上所揭露的仅为本发明部分实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。
Claims (12)
1.一种消息显示方法,其特征在于,所述方法包括:
在收到语音消息时,获取所述语音消息的特征信息,所述特征信息包括语义和音调中的一种或两种;
根据所述特征信息确定与所述语音消息匹配的第一情绪信息,所述第一情绪信息包括所述语音消息对应的至少一种情绪以及所述至少一种情绪之间的转变关系;
获取所述第一情绪信息对应的情绪指示标识,并根据所述情绪指示标识在即时通讯应用的会话界面中显示所述语音消息的会话气泡,其中,所述情绪指示标识用于指示所述至少一种情绪以及所述至少一种情绪之间的转变关系。
2.如权利要求1所述的方法,其特征在于,所述情绪指示标识包括颜色,所述获取所述第一情绪信息对应的情绪指示标识,并根据所述情绪指示标识在即时通讯应用的会话界面中显示所述语音消息的会话气泡,包括:
根据情绪与颜色的对应关系获取所述至少一种情绪中每一种情绪对应的目标颜色;
根据所述每一种情绪对应的目标颜色以及所述至少一种情绪之间的转变关系,确定所述语音消息的会话气泡的至少一种颜色以及所述至少一种颜色之间的转变关系;
根据所述至少一种颜色以及所述至少一种颜色之间的转变关系在即时通讯应用的会话界面中显示所述会话气泡。
3.如权利要求2所述的方法,其特征在于,所述根据所述至少一种颜色以及所述至少一种颜色之间的转变关系在即时通讯应用的会话界面中显示所述会话气泡,包括:
获取所述语音消息中所述每一种情绪对应的各段语音消息的时长;
根据所述每一种情绪对应的各段语音消息的时长以及所述语音消息的总时长,确定所述至少一种颜色中每一种颜色在所述会话气泡中的各部分的显示长度比例;
根据所述至少一种颜色、所述每一种颜色在所述会话气泡中的各部分的显示长度比例以及所述至少一种颜色之间的转变关系在即时通讯应用的会话界面中显示所述会话气泡。
4.如权利要求1所述的方法,其特征在于,所述情绪指示标识包括表情,所述获取所述第一情绪信息对应的情绪指示标识,并根据所述情绪指示标识在即时通讯应用的会话界面中显示所述语音消息的会话气泡,包括:
获取所述至少一种情绪中每一种情绪对应的目标表情;
根据所述至少一种情绪之间的转变关系确定所述每一种情绪对应的目标表情之间的转变关系;
在即时通讯应用的会话界面中显示所述语音消息的会话气泡;
根据所述每一种情绪对应的目标表情之间的转变关系,在所述会话界面中的目标位置显示所述每一种情绪对应的目标表情,其中,所述目标位置是根据所述会话气泡在所述会话界面中的显示位置确定的。
5.如权利要求4所述的方法,其特征在于,所述获取所述至少一种情绪中每一种情绪对应的目标表情,包括:
针对所述至少一种情绪中的每一种情绪,根据记录的用户使用表情的历史数据获取用于表示所述每一种情绪并且符合用户习惯的表情;
将获取到的表情确定为所述每一种情绪对应的目标表情;或者,
根据情绪与表情的对应关系获取所述至少一种情绪中每一种情绪对应的目标表情。
6.如权利要求4或5所述的方法,其特征在于,所述根据所述每一种情绪对应的目标表情之间的转变关系,在所述会话界面中的目标位置显示所述每一种情绪对应的目标表情之后,所述方法还包括:
在检测到对各个目标表情的选择操作时,从所述语音消息中获取与所述选择操作所选中的目标表情匹配的语音消息片段;
播放所述语音消息片段,和/或将所述语音消息片段转换成文本消息,并在所述会话界面中显示所述文本消息。
7.如权利要求1-5任一项所述的方法,其特征在于,所述获取所述第一情绪信息对应的情绪指示标识,并根据所述情绪指示标识在即时通讯应用的会话界面中显示所述语音消息的会话气泡之后,所述方法还包括:
在检测到针对所述语音消息的文本转换触发操作时,对所述语音消息进行文本转换;
在对所述语音消息进行文本转换的过程中,获取与当前转换得到的文本片段匹配的第二情绪信息,所述第二情绪信息包括所述文本片段对应的情绪;
根据所述第二情绪信息调整所述会话界面中文本显示区域的颜色,所述文本显示区域用于显示已转换得到的各个文本片段。
8.如权利要求1所述的方法,其特征在于,所述方法还包括:
在检测到对所述会话界面中的会话气泡的设置操作时,输出情绪指示标识设置界面,所述情绪指示标识设置界面中包括多种情绪名称以及多种情绪指示标识;
根据针对任意一种情绪名称的情绪指示标识选择操作,确定情绪与情绪指示标识的对应关系,其中,所述情绪指示标识包括颜色或者表情。
9.如权利要求1所述的方法,其特征在于,所述根据所述特征信息确定与所述语音消息匹配的第一情绪信息,包括:
将所述特征信息输入情绪识别模型以获取所述语音消息在多个维度上的情绪评价信息,并根据所述语音消息在多个维度上的情绪评价信息得到与所述语音消息匹配的第一情绪信息。
10.一种消息显示装置,其特征在于,所述装置包括:
处理单元,用于在收到语音消息时,获取所述语音消息的特征信息,所述特征信息包括语义和音调中的一种或两种;
所述处理单元,还用于根据所述特征信息确定与所述语音消息匹配的第一情绪信息,所述第一情绪信息包括所述语音消息对应的至少一种情绪以及所述至少一种情绪之间的转变关系;
获取单元,用于获取所述第一情绪信息对应的情绪指示标识;
显示单元,用于根据所述情绪指示标识在即时通讯应用的会话界面中显示所述语音消息的会话气泡,其中,所述情绪指示标识用于指示所述至少一种情绪以及所述至少一种情绪之间的转变关系。
11.一种终端,其特征在于,包括:处理器、通信接口和存储器,所述处理器、所述通信接口和所述存储器相互连接,其中,所述存储器存储有可执行程序代码,所述处理器用于调用所述可执行程序代码,执行如权利要求1-9任一项所述的消息显示方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行如权利要求1-9任一项所述的消息显示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911364594.3A CN111106995B (zh) | 2019-12-26 | 2019-12-26 | 一种消息显示方法、装置、终端及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911364594.3A CN111106995B (zh) | 2019-12-26 | 2019-12-26 | 一种消息显示方法、装置、终端及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111106995A true CN111106995A (zh) | 2020-05-05 |
CN111106995B CN111106995B (zh) | 2022-06-24 |
Family
ID=70424836
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911364594.3A Active CN111106995B (zh) | 2019-12-26 | 2019-12-26 | 一种消息显示方法、装置、终端及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111106995B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112235183A (zh) * | 2020-08-29 | 2021-01-15 | 上海量明科技发展有限公司 | 通信消息处理方法、设备及即时通信客户端 |
CN112331209A (zh) * | 2020-11-03 | 2021-02-05 | 建信金融科技有限责任公司 | 一种语音转文本的方法、装置、电子设备及可读存储介质 |
CN112434139A (zh) * | 2020-10-23 | 2021-03-02 | 北京百度网讯科技有限公司 | 信息交互方法、装置、电子设备和存储介质 |
CN112883181A (zh) * | 2021-02-26 | 2021-06-01 | 腾讯科技(深圳)有限公司 | 会话消息的处理方法、装置、电子设备及存储介质 |
CN113157966A (zh) * | 2021-03-15 | 2021-07-23 | 维沃移动通信有限公司 | 显示方法、装置及电子设备 |
WO2021244257A1 (zh) * | 2020-06-02 | 2021-12-09 | 腾讯科技(深圳)有限公司 | 一种歌曲的处理方法、装置、电子设备、可读存储介质 |
CN113794803A (zh) * | 2021-08-06 | 2021-12-14 | 维沃移动通信(杭州)有限公司 | 未读消息提示方法、装置、电子设备及介质 |
KR20220130353A (ko) * | 2021-03-18 | 2022-09-27 | 한국과학기술원 | 목소리에 기반한 감정 분류가 반영된 음성 메시지의 말풍선 표현 방법 및 시스템 |
DE102021208344A1 (de) | 2021-08-02 | 2023-02-02 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein | Sprachsignalbearbeitungsvorrichtung, Sprachsignalwiedergabesystem und Verfahren zum Ausgeben eines entemotionalisierten Sprachsignals |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012081889A1 (en) * | 2010-12-13 | 2012-06-21 | Samsung Electronics Co., Ltd. | Method for sending an enhanced visual voice mail |
US20140220526A1 (en) * | 2013-02-07 | 2014-08-07 | Verizon Patent And Licensing Inc. | Customer sentiment analysis using recorded conversation |
CN105989165A (zh) * | 2015-03-04 | 2016-10-05 | 深圳市腾讯计算机系统有限公司 | 在即时聊天工具中播放表情信息的方法、装置及系统 |
CN106024014A (zh) * | 2016-05-24 | 2016-10-12 | 努比亚技术有限公司 | 一种语音转换方法、装置及移动终端 |
CN106570106A (zh) * | 2016-11-01 | 2017-04-19 | 北京百度网讯科技有限公司 | 一种输入过程中将语音信息转化为表情的方法和装置 |
CN109040471A (zh) * | 2018-10-15 | 2018-12-18 | Oppo广东移动通信有限公司 | 情绪提示方法、装置、移动终端以及存储介质 |
CN109829157A (zh) * | 2019-01-21 | 2019-05-31 | 三角兽(北京)科技有限公司 | 文本情绪呈现方法、文本情绪呈现装置以及存储介质 |
WO2019144926A1 (zh) * | 2018-01-26 | 2019-08-01 | 上海智臻智能网络科技股份有限公司 | 智能交互方法、装置、计算机设备和计算机可读存储介质 |
CN110085262A (zh) * | 2018-01-26 | 2019-08-02 | 上海智臻智能网络科技股份有限公司 | 语音情绪交互方法、计算机设备和计算机可读存储介质 |
CN110085211A (zh) * | 2018-01-26 | 2019-08-02 | 上海智臻智能网络科技股份有限公司 | 语音识别交互方法、装置、计算机设备和存储介质 |
CN110187862A (zh) * | 2019-05-29 | 2019-08-30 | 北京达佳互联信息技术有限公司 | 语音消息显示方法、装置、终端及存储介质 |
-
2019
- 2019-12-26 CN CN201911364594.3A patent/CN111106995B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012081889A1 (en) * | 2010-12-13 | 2012-06-21 | Samsung Electronics Co., Ltd. | Method for sending an enhanced visual voice mail |
US20140220526A1 (en) * | 2013-02-07 | 2014-08-07 | Verizon Patent And Licensing Inc. | Customer sentiment analysis using recorded conversation |
CN105989165A (zh) * | 2015-03-04 | 2016-10-05 | 深圳市腾讯计算机系统有限公司 | 在即时聊天工具中播放表情信息的方法、装置及系统 |
CN106024014A (zh) * | 2016-05-24 | 2016-10-12 | 努比亚技术有限公司 | 一种语音转换方法、装置及移动终端 |
CN106570106A (zh) * | 2016-11-01 | 2017-04-19 | 北京百度网讯科技有限公司 | 一种输入过程中将语音信息转化为表情的方法和装置 |
WO2019144926A1 (zh) * | 2018-01-26 | 2019-08-01 | 上海智臻智能网络科技股份有限公司 | 智能交互方法、装置、计算机设备和计算机可读存储介质 |
CN110085262A (zh) * | 2018-01-26 | 2019-08-02 | 上海智臻智能网络科技股份有限公司 | 语音情绪交互方法、计算机设备和计算机可读存储介质 |
CN110085211A (zh) * | 2018-01-26 | 2019-08-02 | 上海智臻智能网络科技股份有限公司 | 语音识别交互方法、装置、计算机设备和存储介质 |
CN109040471A (zh) * | 2018-10-15 | 2018-12-18 | Oppo广东移动通信有限公司 | 情绪提示方法、装置、移动终端以及存储介质 |
CN109829157A (zh) * | 2019-01-21 | 2019-05-31 | 三角兽(北京)科技有限公司 | 文本情绪呈现方法、文本情绪呈现装置以及存储介质 |
CN110187862A (zh) * | 2019-05-29 | 2019-08-30 | 北京达佳互联信息技术有限公司 | 语音消息显示方法、装置、终端及存储介质 |
Non-Patent Citations (2)
Title |
---|
MAKOTO SHIMURA;FUMIAKI MONMA;SHUNJI MITSUYOSHI;MASAKI SHUZO;TAIS: "Descriptive analysis of emotion and feeling in voice", 《PROCEEDINGS OF THE 6TH INTERNATIONAL CONFERENCE ON NATURAL LANGUAGE PROCESSING AND KNOWLEDGE ENGINEERING(NLPKE-2010)》 * |
王磊: "语音识别中的情感信息分析", 《互联网天地》 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021244257A1 (zh) * | 2020-06-02 | 2021-12-09 | 腾讯科技(深圳)有限公司 | 一种歌曲的处理方法、装置、电子设备、可读存储介质 |
CN112235183A (zh) * | 2020-08-29 | 2021-01-15 | 上海量明科技发展有限公司 | 通信消息处理方法、设备及即时通信客户端 |
CN112235183B (zh) * | 2020-08-29 | 2021-11-12 | 上海量明科技发展有限公司 | 通信消息处理方法、设备及即时通信客户端 |
CN112434139A (zh) * | 2020-10-23 | 2021-03-02 | 北京百度网讯科技有限公司 | 信息交互方法、装置、电子设备和存储介质 |
CN112331209A (zh) * | 2020-11-03 | 2021-02-05 | 建信金融科技有限责任公司 | 一种语音转文本的方法、装置、电子设备及可读存储介质 |
CN112331209B (zh) * | 2020-11-03 | 2023-08-08 | 建信金融科技有限责任公司 | 一种语音转文本的方法、装置、电子设备及可读存储介质 |
CN112883181A (zh) * | 2021-02-26 | 2021-06-01 | 腾讯科技(深圳)有限公司 | 会话消息的处理方法、装置、电子设备及存储介质 |
CN113157966A (zh) * | 2021-03-15 | 2021-07-23 | 维沃移动通信有限公司 | 显示方法、装置及电子设备 |
KR20220130353A (ko) * | 2021-03-18 | 2022-09-27 | 한국과학기술원 | 목소리에 기반한 감정 분류가 반영된 음성 메시지의 말풍선 표현 방법 및 시스템 |
KR102583986B1 (ko) * | 2021-03-18 | 2023-10-06 | 한국과학기술원 | 목소리에 기반한 감정 분류가 반영된 음성 메시지의 말풍선 표현 방법 및 시스템 |
DE102021208344A1 (de) | 2021-08-02 | 2023-02-02 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein | Sprachsignalbearbeitungsvorrichtung, Sprachsignalwiedergabesystem und Verfahren zum Ausgeben eines entemotionalisierten Sprachsignals |
CN113794803A (zh) * | 2021-08-06 | 2021-12-14 | 维沃移动通信(杭州)有限公司 | 未读消息提示方法、装置、电子设备及介质 |
WO2023011368A1 (zh) * | 2021-08-06 | 2023-02-09 | 维沃移动通信(杭州)有限公司 | 未读消息提示方法、装置、电子设备及介质 |
CN113794803B (zh) * | 2021-08-06 | 2023-02-24 | 维沃移动通信(杭州)有限公司 | 未读消息提示方法、装置、电子设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111106995B (zh) | 2022-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111106995B (zh) | 一种消息显示方法、装置、终端及计算机可读存储介质 | |
CN110381389B (zh) | 一种基于人工智能的字幕生成方法和装置 | |
CN110634483B (zh) | 人机交互方法、装置、电子设备及存储介质 | |
CN107895578B (zh) | 语音交互方法和装置 | |
CN109040471B (zh) | 情绪提示方法、装置、移动终端以及存储介质 | |
CN102117614B (zh) | 个性化文本语音合成和个性化语音特征提取 | |
CN109309751B (zh) | 语音记录方法、电子设备及存储介质 | |
CN109254669B (zh) | 一种表情图片输入方法、装置、电子设备及系统 | |
CN107463247B (zh) | 一种文本阅读处理的方法、装置以及终端 | |
KR20200017249A (ko) | 전자 장치에서 사용자 의도 확인을 위한 피드백 제공 방법 및 장치 | |
US10783884B2 (en) | Electronic device-awakening method and apparatus, device and computer-readable storage medium | |
CN107844470B (zh) | 一种语音数据处理方法及其设备 | |
CN111367490A (zh) | 语音播放方法、装置及电子设备 | |
JP6585733B2 (ja) | 情報処理装置 | |
CN110493123B (zh) | 即时通讯方法、装置、设备及存储介质 | |
CN109543021B (zh) | 一种面向智能机器人的故事数据处理方法及系统 | |
US20190371319A1 (en) | Method for human-machine interaction, electronic device, and computer-readable storage medium | |
CN105827516A (zh) | 消息处理方法和装置 | |
CN111586469A (zh) | 弹幕显示方法、装置及电子设备 | |
CN108766416B (zh) | 语音识别方法及相关产品 | |
CN113643684B (zh) | 语音合成方法、装置、电子设备及存储介质 | |
US20210082405A1 (en) | Method for Location Reminder and Electronic Device | |
CN111026358B (zh) | 一种语音消息的播放方法、播放装置及可读存储介质 | |
CN110781327B (zh) | 图像搜索方法、装置、终端设备及存储介质 | |
CN110781329A (zh) | 图像搜索方法、装置、终端设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |