CN117974240A - 一种点评方法、电子设备及计算机可读存储介质 - Google Patents
一种点评方法、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN117974240A CN117974240A CN202410109241.3A CN202410109241A CN117974240A CN 117974240 A CN117974240 A CN 117974240A CN 202410109241 A CN202410109241 A CN 202410109241A CN 117974240 A CN117974240 A CN 117974240A
- Authority
- CN
- China
- Prior art keywords
- information
- comment information
- comment
- emotion
- converting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000014509 gene expression Effects 0.000 claims description 90
- 230000008451 emotion Effects 0.000 claims description 82
- 230000002996 emotional effect Effects 0.000 claims description 17
- 238000005516 engineering process Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 238000002372 labelling Methods 0.000 claims 1
- 230000003993 interaction Effects 0.000 abstract description 16
- 230000036651 mood Effects 0.000 description 12
- 230000001815 facial effect Effects 0.000 description 11
- 238000012015 optical character recognition Methods 0.000 description 10
- 230000015572 biosynthetic process Effects 0.000 description 8
- 238000003786 synthesis reaction Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008909 emotion recognition Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 210000003813 thumb Anatomy 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 206010044565 Tremor Diseases 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 210000003414 extremity Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000012528 membrane Substances 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 206010027940 Mood altered Diseases 0.000 description 1
- 206010028813 Nausea Diseases 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007510 mood change Effects 0.000 description 1
- 230000008693 nausea Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
- H04L51/10—Multimedia information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
- H04L51/18—Commands or executable codes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种点评方法、电子设备及计算机可读存储介质，所述点评方法包括以下步骤：基于第一用户的第一身份识别信息，登陆预设账号，以获取点评信息；获取第二用户的第二身份识别信息；在确定所述第二身份识别信息与所述第一身份识别信息相匹配，且所述点评信息包括待阅点评信息的情况下，转换所述待阅点评信息为对应的语音点评信息；以及经由电子设备播报所述点评信息。本发明提供的点评方法、电子设备及计算机可读存储介质，能在点评信息与用户身份信息满足预设条件时，转换待阅点评信息为对应的语音点评信息并进行播报，使朋友圈互动更加便捷、提升用户的互动体验感。
Description
技术领域
本发明属于通讯技术领域，尤其涉及一种点评方法、电子设备及计算机可读存储介质。
背景技术
随着移动电子设备的发展与普及，采用移动电子设备进行互动的方式越来越多样，除了传统的电话、短信互动外，还可采用各类通讯软件开发的互动功能进行互动，尤其是朋友圈的普及，为人与人之间的互动提供了很多便利。
但是，目前朋友圈的新消息主要依靠手动刷新显示，用户需要通过电子设备屏幕查看朋友圈的消息内容并进行手动回复，而且要经过打开应用程序，打开朋友圈等多项操作，朋友圈的互动效率不高；另外，目前的朋友圈互动形式比较单一，以文字/表情为主，无法很好地感知对方的当前心情，互动体验感不佳。
发明内容
本发明的一个目的在于提供一种点评方法、电子设备及计算机可读存储介质，使得朋友圈互动更加便捷、提升用户的互动体验感。
本发明的另一个目的在于提供一种电子设备，其优势在于可以在点评信息及用户身份信息满足条件时，将待阅点评信息转换为对应的语音点评信息并播报点评信息，使得电子设备的利用率提高。
本发明的另一个目的在于提供一种点评方法，其优势在于可以根据获取的点评信息播报许可指令播报对应的点评信息，方便用户灵活选择播报所关注的点评信息。
本发明的另一个目的在于提供一种点评方法，其优势在于可以提取待阅点评信息的情绪特征，获取点评对象的声纹特征，并采用包括该情绪特征和/或声纹特征的语音播报待阅点评信息，从而使播报的待阅点评信息更加生动。
本发明的另一个目的在于提供一种点评方法，其优势在于可以在点评信息播报的过程中，根据回复指令及回复内容，暂停播报，并在基于回复指令及回复内容进行回复后，继续播报，从而使点评信息播报及回复更加智能便捷。
为实现上述目的以及相关目的，本发明提供一种点评方法，包括以下步骤：
基于第一用户的第一身份识别信息，登陆预设账号，以获取点评信息；
获取第二用户的第二身份识别信息；
在确定所述第二身份识别信息与所述第一身份识别信息相匹配，且所述点评信息包括待阅点评信息的情况下，转换所述待阅点评信息为对应的语音点评信息；以及
经由电子设备播报所述点评信息。由此，使得朋友圈互动更加便捷、提升用户的互动体验感。
其中，经由电子设备播报所述点评信息包括以下步骤：
经由所述电子设备播报所述待阅点评信息的关联信息，所述关联信息包括与所述待阅点评信息对应的点评数量、点评排序、被点评内容、点评时间、点评对象、被点评对象中的至少一项；和/或
经由所述电子设备播报所述待阅点评信息。由此，使得点评信息播报得更加全面。
其中，在所述经由电子设备播报所述点评信息之前，还包括步骤：获取播报所述点评信息的许可指令。由此，方便用户灵活选择播报所关注的点评信息。
其中，所述转换所述待阅点评信息为对应的语音点评信息，包括以下步骤中的至少一项：
在所述待阅点评信息包括文字点评信息的情况下，转换所述文字点评信息为对应的语音点评信息；以及
在所述待阅点评信息包括图像点评信息的情况下，转换所述图像点评信息为对应的文字点评信息，并转换所述文字点评信息为对应的语音点评信息。由此，保证非语音形式的点评信息能在转换后进行播报。
其中，所述转换所述文字点评信息为对应的语音点评信息包括以下步骤：
提取所述文字点评信息中的情绪特征；以及
所述文字点评信息经由第一语音合成模型被转换为包含所述情绪特征的语音点评信息。由此，使得播报的待阅点评信息更加生动。
其中，所述转换所述图像点评信息为对应的文字点评信息之前，还包括以下步骤：
获取表情图集，所述表情图集包括至少一个表情图；
识别每个所述表情图中的第一情绪信息和第一表情文本；以及
建立每个所述表情图、所述第一情绪信息和所述第一表情文本之间的第一对应关系；
所述转换所述图像点评信息为对应的文字点评信息，包括以下步骤：
基于识别模型，识别所述图像点评信息中的表情截图中所包含的第二情绪信息；
基于所述第二情绪信息，确定与所述第二情绪信息相匹配的第一情绪信息；以及
基于所述第一情绪信息和所述第一对应关系，将所述图像点评信息中的表情截图转换为对应的第一表情文本，以作为所述文字点评信息。由此，将图像点评信息准确地转换为文字点评信息。
其中，所述转换所述图像点评信息为对应的文字点评信息之前，还包括以下步骤：
获取表情图集，所述表情图集包括至少一个表情图；
识别每个所述表情图中的第一语义文本和第二表情文本；以及
建立每个所述表情图、所述第一语义文本和所述第二表情文本之间的第二对应关系；
所述转换所述图像点评信息为对应的文字点评信息，包括以下步骤：
识别所述图像点评信息中的表情截图中的第二语义文本；
基于所述第二语义文本，确定与所述第二语义文本相匹配的第一语义文本；以及
基于所述第一语义文本和所述第二对应关系，将所述图像点评信息中的表情截图转换为对应的第二表情文本，以作为所述文字点评信息。由此，将图像点评信息准确地转换为文字点评信息。
其中，所述经由电子设备播报所述点评信息还包括以下步骤：
在所述播报所述点评信息的过程中获取到所述第二用户的回复指令及回复内容的情况下，暂停播报所述点评信息；以及
基于所述回复指令，针对所述点评信息回复所述回复内容，并继续播报所述点评信息。由此，使得点评信息播报及回复更加智能便捷。
本发明还提供一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述点评方法的步骤。由此，提高电子设备的利用率。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述点评方法的步骤。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图,详细说明如下。
附图说明
图1是本发明实施例一提供的点评方法的流程示意图；
图2是本发明实施例二提供的点评方法的流程示意图；
图3是本发明实施例二提供的点评方法的示例图像；
图4是本发明实施例三提供的电子设备的结构示意图。
具体实施方式
以下描述中，除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”、“一种”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”、“若”可依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
以下结合说明书附图及具体实施例对本发明技术方案做进一步的详细阐述。
图1是本发明实施例一提供的点评方法的流程示意图，本发明提供的点评方法应用于电子设备，其中，电子设备包括车载电子设备、移动电子设备(如：智能音箱、智能台灯)等。如图1所示，本发明的点评方法可以包括如下步骤：
步骤S101：基于第一用户的第一身份识别信息，登陆预设账号，以获取点评信息；
其中，第一身份识别信息用于识别第一用户的身份以便登录账号，其包括但不限于第一用户的声纹特征信息、虹膜特征信息、面部特征信息、账号、手机号、身份证号、预设语音、预设手势等；点评信息的来源包括多个社交软件，包括但不限于微信、微博、抖音、linkedin、Instagram等国内外社交或内容平台；点评信息包括上述来源中：用户发表的朋友圈动态获得朋友圈好友点评的信息、用户对朋友圈好友发表的朋友圈动态进行点评后获得的回复信息、朋友圈好友发表的朋友圈动态获得共同好友点评的信息、用户对共同好友发表的点评信息进行点评后获得的回复信息中的至少一项。
在一实施方式中，获取点评信息的方法包括采用账号登陆应用程序来获取应用程序的同一账号在其他电子设备获取的点评信息。具体地，在电子设备上下载应用程序，如社交软件，登陆用户账号，即可获得同一用户账号在其他电子设备的点评信息，比如：手机上微信朋友圈的点评信息。
在其他实施方式中，获取点评信息的方法还包括通过电子设备与其他电子设备的连接，将其他电子设备获取的点评信息共享给电子设备，其中，连接方式包括蓝牙连接、无线网络连接等。
更进一步，电子设备能对获取的点评信息进行监测，在点评信息中有待阅的点评信息时，进行提醒和/或播报。例如，设置提醒和/或播报的点评信息包括：用户发表的朋友圈动态获得朋友圈好友点评的信息、用户对朋友圈好友发表的朋友圈动态进行点评后获得的回复信息中的至少一项。
步骤S102：获取第二用户的第二身份识别信息；
具体地，第二用户包括被点评对象或其他对象；第二身份识别信息用于判断电子设备周边是否有特定用户的存在，其包括第二用户的声纹特征信息、虹膜特征信息、面部特征信息、红外温度、图像信息中的至少一项。其中，第二用户与第一用户可为同一用户或不同用户。
在一实施方式中，获取第二身份识别信息的方法包括：通过声纹识别的方法获取第二用户的声纹特征；在其他实施方式中，可通过电子设备上配置的摄像头或连接的外部拍摄装置，利用虹膜识别技术获取第二用户的虹膜特征信息和/或利用面部识别技术获取第二用户的面部特征信息。更进一步，将采集的声纹特征和/或虹膜特征和/或面部特征与建立的特征库进行比对，以确定第二用户身份。
其中，声纹特征库的建立方式包括：通过语音信息采集对应用户的声纹特征、通过声音录入采集对应用户的声纹特征；虹膜特征库、面部特征库的建立方式包括：通过面部信息采集对应用户的红膜特征和/或面部特征；通过图像信息采集对应用户的红膜特征和/或面部特征；进一步，声纹特征库、虹膜特征库、面部特征库可直接由电子设备采集创建或由其他电子设备采集创建后发送给电子设备，优选地，在用户注册账号时采集并与账号进行绑定。
步骤S103：在确定所述第二身份识别信息与所述第一身份识别信息相匹配，且所述点评信息包括待阅点评信息的情况下，转换所述待阅点评信息为对应的语音点评信息；
可选地，在监测到点评信息包括待阅点评信息时，获取第二用户的声纹特征，若获取到第二用户的声纹特征且该声纹特征与第一用户的声纹特征相匹配，则执行转换待阅点评信息为对应的语音点评信息的步骤。其中，第一用户的声纹特征可从单独录入的声音或从语音信息中提取获得。
具体地，转换待阅点评信息为对应的语音点评信息，包括以下步骤中的至少一项：
在待阅点评信息包括文字点评信息的情况下，转换文字点评信息为对应的语音点评信息；以及
在待阅点评信息包括图像点评信息的情况下，转换图像点评信息为对应的文字点评信息，并转换文字点评信息为对应的语音点评信息。
进一步，把图像点评信息转换为语音点评信息包括：对图像点评信息中的文字进行播报；或者播报提示用户点评信息是一张图片。具体地，结合实施例二进行说明。
其中，图像点评信息包括表情、动图、视频等。
步骤S104：经由电子设备播报所述点评信息。
具体地，步骤S104包括以下步骤：
经由电子设备播报待阅点评信息的关联信息，关联信息包括与待阅点评信息对应的点评数量、点评排序、被点评内容、点评时间、点评对象、被点评对象中的至少一项；比如语音播报如下关联信息：“您最新发表的照片今天上午共获得三条评论，其中，前两条评论来自小王，第三条评论来自老李”；和/或
经由电子设备播报待阅点评信息；其中，针对语音点评信息，可直接播报或转换为特定人声进行播报；针对文字点评信息，可转换成特定人声进行播报或转换成特定情绪进行播报；针对图片/表情点评信息，可转换为文字，再以特定人声或特定情绪进行播报。
在一实施方式中，在经由电子设备播报点评信息之前，包括：获取播报点评信息的许可指令。具体地，在播报待阅点评信息的关联信息后，发出播报待阅点评信息的请求信息，比如：“您最新发表的照片今天上午获得小王两条评论，是否为您播报具体点评内容”，在获得用户许可或设置在预设时间后，播报具体点评信息。其中，预设时间为系统预设或个人设置。
可选地，电子设备可根据第二用户声音的来源方向控制对应的语音播报方向。示例性地，以电子设备所处的位置为坐标原点，若电子设备获取到第二用户的声音来源于左前方45度角的方向，则控制语音通过正对该方向的喇叭进行播报。由此，使播报语音具备定向性，使用户接收到语音更加清晰。
值得一提的是，在播报点评信息的过程中获取到第二用户的回复指令及回复内容的情况下，暂停播报点评信息；以及基于回复指令，针对点评信息回复回复内容，并继续播报点评信息。
具体地，在点评信息的播报过程中，用户可以打断进行回复，例如：用户说“回复”或做了回复手势，则停止播放点评信息，并根据用户的输入进行回复操作；用户说“继续”或做了播放手势，则点评信息自断点处续播；用户说“跳过”或“下一条”，则直接切换到下一条进行播报。可选地，可设置在回复内容回复后的预设时间内，若未收到用户的任何指令，则直接切换到下一条点评信息进行播报。
本发明实施例一通过电子设备快速获取朋友圈的点评信息，并对点评信息进行监测，在点评信息包括待阅点评信息，第二身份识别信息与第一身份识别信息相匹配时，将待阅点评信息转换为对应的语音点评信息并进行播报，还能根据用户的回复指令执行回复操作，实现朋友圈点评信息的快速获取与快捷回复，提高了朋友圈的互动效率。
图2是本发明实施例二提供的点评方法的流程示意图。如图2所示，本发明的交互方法可以包括如下步骤：
步骤S201：对待阅点评信息进行情绪分析获得情绪特征，将所述情绪特征转换为对应的语音情绪特征；
具体地，步骤S201包括以下步骤：
提取待阅点评信息中的情绪特征；以及
待阅点评信息经由第一语音合成模型被转换为包含情绪特征的语音点评信息。
其中，在待阅点评信息包括图像点评信息时，先将图像点评信息转换成文字点评信息，再提取文字点评信息中的情绪特征。
具体地，可根据情绪的不同表示方式识别待阅点评信息中情绪特征。其中，情绪的第一种表示方式是情感的种类，最常用的六种基本情感包括开心、难过、生气、恶心、害怕、惊讶；第二种表示方式是基于几个维度向量，最常用的是情绪强度和情绪积极程度，这两个维度都是通过数值来代表其高低程度。例如一个数值区间[-1,1],-1代表非常低迷/消极，1代表非常激动/积极。这样，开心就可以用高情绪强度和高积极情绪来表示，而抑郁则可以用低情绪强度和低积极情绪来表示。几乎人类所有的情绪都可以用这两个维度所构成的二维空间来表示。进一步，构建主动情绪识别系统，这两种不同的情绪表示方式造就了两种不同的识别系统。第一种识别情绪种类的系统是基于分类器的识别，第二种识别情绪维度的系统是一个输出连续性数字的回归系统。首先，这两种系统都是通过提取与情感相关联的一系列信息(称之为特征向量)来识别情绪特征，比如，在人开心或者情绪状态变高的时候，音调会随之升高，嗓音的颤抖和持续时间会随着人抑郁而变得迟缓，这些与情绪相关的特征向量被用来训练分类器或者回归系统；另外，通过多模型的融合，将语音，人脸，肢体动作，生理信号等信息，一起作为可预测情绪的模型来进行分析，为情绪识别提供补充信息，提高情绪识别系统的识别率。
进一步，待阅点评信息经由第一语音合成模型被转换为包含情绪特征的语音点评信息的步骤，包括：获取与情绪特征相匹配的音库；基于音库，生成语音点评信息，语音点评信息包括文字点评信息和情绪特征。
其中，所述音库包括至少一个词条的多种情绪版本(例如，开心、难过、惊讶、愤怒等)的语音的合成音库，可用于在不同场景下调用相应情绪版本的语音来合成音频。
示例性地，若文本信息里有体现开心的词(如今天心情很美丽)，则采用音库里这句话中每个词(如“今天”、“心情”、“很美丽”)的开心版本合成语音；若文本信息里有体现难过的词(如这件事让我伤心了)，则采用音库里这句话中每个词(如“这件事”、“让我”、“伤心了”)的难过版本合成语音；由此，准确地传递文本信息所包含的情绪信息，提升互动体验感。
步骤S202：获取点评对象的声纹特征，将所述声纹特征转换为对应的语音声纹特征；
具体地，步骤S202包括以下步骤：
获取点评对象的声纹特征；以及
待阅点评信息经由第二语音合成模型被转换为包含点评对象的声纹特征的语音点评信息。
其中，在待阅点评信息包括图像点评信息时，先将图像点评信息转换成文字点评信息，再经由第二语音合成模型被转换为包含点评对象的声纹特征的语音点评信息。
具体地，第二语音合成模型由前端、声学模型和声码器三部分组成，前端主要解决基于语义理解的文本发音问题，比如“2020”在表示年份和数字时的读法不一样，这是上下文关联问题；再比如“堡”字，用于地名时应读作“铺”，“解”用在姓氏上应读作“谢”，这都是多音字问题；还有“一会儿”这类词，不能读成三个字，后两个字应合并为儿化音，这是语言习惯问题；声学模型负责为语音赋予韵律，比如语速、语调、停顿、重音和情绪变化等；最后一部分声码器负责还原语音的声学特征，也就是一般所说的嗓音或声线，如振幅、频率、波长等。
步骤S203：采用包括所述情绪特征和/或所述声纹特征的语音播报所述待阅点评信息。
具体地，将文字、表情、图片等非语音点评信息统一转换成语音点评信息播放给用户。针对表情与文字结合的点评信息，获取表情对应的情绪，并将表情对应的情绪转换成语音情绪，来播报文字，比如：将笑脸等快乐的表情转换为愉快的语调来播报文字；针对仅有表情的点评信息，将表情转换成点评对象对应的情绪声音，比如：将笑脸表情转换为点评对象的真实笑声播报；针对仅有文字的点评信息，获取文字内容中包含的情绪，将该情绪转换成语音情绪来播报文字，比如：文字中出现伤心、难受等不开心的词句，则采用悲伤的语调来播报文字；针对包括网络图片或动图的图像点评信息，首先转换图像点评信息为对应的文字点评信息，再提取文字点评信息中的情绪特征，将该情绪特征转换成语音情绪特征来播报由图像点评信息转换得到的文字点评信息，比如：点赞手势图标，可采用欢快的语调播报为“你真棒”；加油动图，可采用振奋的语调播报为“加油，你能行”；进一步，针对无法转换成文字点评信息的图像点评信息，语音播报提示用户点评信息是一张图片。其中，播报的语音均可采用点评对象的真实声音，点评对象的真实声音可从单独录入声音或从语音信息中提取声纹特征进行合成获得。
可选地，在转换图像点评信息为对应的文字点评信息的步骤之前，包括以下步骤：
获取表情图集，表情图集包括至少一个表情图；
识别每个表情图中的第一情绪信息和第一表情文本；以及
建立每个表情图、第一情绪信息和第一表情文本之间的第一对应关系。
其中，表情图包括表情、肢体动作等。具体地，基于光学字符识别(OCR)技术，识别出嵌入在表情图中的第一表情文本，并基于提取的文本需要将第一表情文本提炼成表情关键字(如开心、难过、惊讶、愤怒等)，并以此建立每个表情图、第一情绪信息和第一表情文本之间的第一对应关系。
其中，基于光学字符识别(OCR)技术识别出嵌入在表情图中的第一表情文本，包括以下步骤：
1)获取表情图集，其中，表情图集可通过定期从网络上收集的网络流行语表情包进行更新或补充；
2)对表情图进行预处理；
3)基于搭建卷积神经网络模型(CNN)、循环神经网络模型(RNN)等对表情图中的文本区域进行检测；
4)基于搭建卷积神经网络模型(CNN)、循环神经网络模型(RNN)、时序分类算法(CTC)等对文本区域的文本进行识别，生成第一表情文本；
5)通过情绪识别模型对表情图进行识别或从第一表情文本中提炼得到第一情绪信息；
6)将表情图、第一情绪信息、第一表情文本进行关联以建立第一对应关系。
更进一步，转换图像点评信息为对应的文字点评信息，包括以下步骤：
基于识别模型，识别图像点评信息中的表情截图中所包含的第二情绪信息；
基于第二情绪信息，确定与第二情绪信息相匹配的第一情绪信息；以及
基于第一情绪信息和第一对应关系，将图像点评信息中的表情截图转换为对应的第一表情文本，以作为文字点评信息。
具体地，基于表情识别技术识别出表情截图的第二情绪信息(包括开心、难过、惊讶、愤怒等)，基于第二情绪信息，确定与第二情绪信息相匹配的第一情绪信息，再利用基于OCR技术建立的第一对应关系，将图像点评信息中的表情截图转换为对应的第一表情文本，以作为文字点评信息。
其中，基于表情识别技术及光学字符识别(OCR)技术转换图像点评信息为对应的文字点评信息，包括以下步骤：
1)对获取到的表情截图进行图像预处理；
可选地，使用公开库(opencv)对表情截图进行图像预处理，包括裁切、翻转、颜色转换、图像增强、人脸对齐等处理过程；将处理之后的表情截图进行几何归一化，通过双线内插值算法将表情截图统一重塑为48*48像素；
2)加载表情识别模型(例如搭建卷积神经网络模型(CNN))，并基于表情识别模型识别出人脸情绪，作为第二情绪信息；
3)将第二情绪信息与第一情绪信息进行情绪匹配；
例如第二情绪信息是开心，则匹配到的第一情绪信息可以是开心或高兴；
4)情绪匹配成功后，将匹配的第一情绪信息对应的第一表情文本，作为文字点评信息。
可选地，转换图像点评信息为对应的文字点评信息之前，还包括以下步骤：
获取表情图集，表情图集包括至少一个表情图；
识别每个表情图中的第一语义文本和第二表情文本；以及
建立每个表情图、第一语义文本和第二表情文本之间的第二对应关系。
其中，语义文本指根据图像中的对象及其表情、动作、周边环境等生成的描述文字。例如，图3(a)所示的图像包含的语义文本为：背景有山的道路上有个停车标志。
具体地，可基于图像标注(Image Caption)技术识别得到第一语义文本，基于OCR技术识别得到第二表情文本，进而建立每个表情图、第一语义文本和第二表情文本之间的第二对应关系。例如，根据图3(b)所示的图像，基于图像标志技术识别的第一语义文本为：“一个男生竖起了大拇指”；基于OCR技术别识别的第二表情文本为：“绝了！”
更进一步，转换图像点评信息为对应的文字点评信息，包括以下步骤：
识别图像点评信息中的表情截图中的第二语义文本；
基于第二语义文本，确定与第二语义文本相匹配的第一语义文本；以及
基于第一语义文本和第二对应关系，将图像点评信息中的表情截图转换为对应的第二表情文本，以作为文字点评信息。
具体地，基于图像标注识别技术识别图像点评信息中的表情截图中的第二语义文本，并基于第二语义文本，确定与第二语义文本相匹配的第一语义文本，基于图像标注识别技术与OCR技术建立的第二对应关系，将图像点评信息中的表情截图转换为对应的第二表情文本，以作为文字点评信息。例如，根据图3(c)所示的图像，基于图像标注识别技术识别的第二语义文本为：“一个老人竖起了大拇指”；进一步提取得到关键词“大拇指”，通过关键词匹配到图3(b)识别的第一语义文本；再将图3(c)所示图像中的表情截图转换为图3(b)识别的第一语义文本对应的第二表情文本“绝了！”，以作为文字点评信息。
本发明实施例二通过逐层获取待阅点评信息包括的文字点评信息、情绪特征等信息，并将这些信息融入到播报语音中，同时采用点评对象的声音进行语音播报，有效地增强了朋友圈的互动体验感。
图4是本发明实施例三提供的电子设备的结构示意图。如图4所示，该实施例的电子设备包括：处理器110、存储器111以及存储在所述存储器111中并可在所述处理器110上运行的计算机程序112。所述处理器110执行所述计算机程序112时实现上述各个点评方法实施例中的步骤，例如图1所示的步骤S101至S104。
所述电子设备可包括，但不仅限于，处理器110、存储器111。本领域技术人员可以理解，图4仅仅是电子设备的示例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备还可以包括输入输出设备、网络接入设备、总线等。
所述处理器110可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器111可以是所述电子设备的内部存储单元，例如电子设备的硬盘或内存。所述存储器111也可以是所述电子设备的外部存储设备，例如所述电子设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器111还可以既包括所述电子设备的内部存储单元也包括外部存储设备。所述存储器111用于存储所述计算机程序以及所述电子设备所需的其他程序和数据。所述存储器111还可以用于暂时地存储已经输出或者将要输出的数据。
本申请还提供一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述点评方法的步骤。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例方法及步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (12)
1.一种点评方法，其特征在于，包括以下步骤：
基于第一用户的第一身份识别信息，登陆预设账号，以获取点评信息；
获取第二用户的第二身份识别信息；
在确定所述第二身份识别信息与所述第一身份识别信息相匹配，且所述点评信息包括待阅点评信息的情况下，转换所述待阅点评信息为对应的语音点评信息，所述待阅点评信息包括图像点评信息；以及
经由电子设备播报所述点评信息。
2.如权利要求1所述的方法，其中，所述转换所述待阅点评信息为对应的语音点评信息包括以下步骤：
基于表情识别模型或图像标注技术，转换所述图像点评信息为对应的文字点评信息，并转换所述文字点评信息为对应的语音点评信息。
3.如权利要求2所述的方法，其中，所述转换所述图像点评信息为对应的文字点评信息，包括以下步骤：
识别所述图像点评信息中的表情截图中所包含的第二情绪信息；
基于所述第二情绪信息，确定与所述第二情绪信息相匹配的第一情绪信息，所述第一情绪信息为根据预先获取的表情图集中的每个表情图识别得到的，所述第一情绪信息与每个所述表情图和根据每个所述表情图识别得到的第一表情文本之间建立有第一对应关系；以及
基于所述第一情绪信息和所述第一对应关系，将所述图像点评信息中的表情截图转换为对应的第一表情文本，以作为所述文字点评信息。
4.一种点评方法，其特征在于，包括以下步骤：
基于第一用户的第一身份识别信息，登陆预设账号，以获取点评信息；
获取第二用户的第二身份识别信息；
在确定所述第二身份识别信息与所述第一身份识别信息相匹配，且所述点评信息包括待阅点评信息的情况下，转换所述待阅点评信息为对应的语音点评信息，所述待阅点评信息包括文字点评信息；以及
经由电子设备播报所述点评信息。
5.如权利要求4所述的方法，其中，所述经由电子设备播报所述点评信息包括以下步骤：
对待阅点评信息进行情绪分析获得情绪特征，将所述情绪特征转换为对应的语音情绪特征；
获取点评对象的声纹特征，将所述声纹特征转换为对应的语音声纹特征；
采用包括所述情绪特征和/或所述声纹特征的语音播报所述待阅点评信息。
6.如权利要求5所述的方法，其中，所述对待阅点评信息进行情绪分析获得情绪特征，将所述情绪特征转换为对应的语音情绪特征包括以下步骤：
提取所述待阅点评信息中的情绪特征；以及
将所述待阅点评信息转换为包含所述情绪特征的语音点评信息。
7.如权利要求6所述的方法，其中，所述将所述待阅点评信息转换为包含所述情绪特征的语音点评信息包括以下步骤：
获取与所述情绪特征相匹配的音库，所述音库包括至少一个词条的多种情绪版本的语音的合成音库；
基于音库，生成语音点评信息。
8.如权利要求6所述的方法，其中，所述提取所述待阅点评信息中的情绪特征包括以下步骤：
在所述待阅点评信息中还包括图像点评信息的情况下，转换所述图像点评信息为对应的文字点评信息；
提取所述文字点评信息中的情绪特征。
9.如权利要求5所述的方法，其中，所述获取点评对象的声纹特征，将所述声纹特征转换为对应的语音声纹特征包括以下步骤：
获取所述点评对象的声纹特征；以及
将所述待阅点评信息转换为包含所述点评对象的声纹特征的语音点评信息。
10.如权利要求9所述的方法，其中，所述获取所述点评对象的声纹特征包括以下步骤：
从所述点评对象录入的声音或来自所述点评对象的语音信息中提取所述点评对象的声纹特征。
11.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3或权利要求4至10任一项所述方法的步骤。
12.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3或权利要求4至10任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410109241.3A CN117974240A (zh) | 2021-01-08 | 2021-01-08 | 一种点评方法、电子设备及计算机可读存储介质 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110025159.9A CN114745349B (zh) | 2021-01-08 | 2021-01-08 | 一种点评方法、电子设备及计算机可读存储介质 |
| CN202410109241.3A CN117974240A (zh) | 2021-01-08 | 2021-01-08 | 一种点评方法、电子设备及计算机可读存储介质 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110025159.9A Division CN114745349B (zh) | 2021-01-08 | 2021-01-08 | 一种点评方法、电子设备及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117974240A true CN117974240A (zh) | 2024-05-03 |
Family
ID=82274156
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110025159.9A Active CN114745349B (zh) | 2021-01-08 | 2021-01-08 | 一种点评方法、电子设备及计算机可读存储介质 |
| CN202410109241.3A Pending CN117974240A (zh) | 2021-01-08 | 2021-01-08 | 一种点评方法、电子设备及计算机可读存储介质 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110025159.9A Active CN114745349B (zh) | 2021-01-08 | 2021-01-08 | 一种点评方法、电子设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN114745349B (zh) |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8488023B2 (en) * | 2009-05-20 | 2013-07-16 | DigitalOptics Corporation Europe Limited | Identifying facial expressions in acquired digital images |
| US20130317808A1 (en) * | 2012-05-24 | 2013-11-28 | About, Inc. | System for and method of analyzing and responding to user generated content |
| KR101509196B1 (ko) * | 2013-04-15 | 2015-04-10 | 한국과학기술원 | 감정 전달이 가능한 라이브 텍스트 및 라이브 텍스트를 이용한 라이브 보이스를 제공하기 위한 텍스트 편집 및 보이스 변환 시스템 및 방법 |
| US10001904B1 (en) * | 2013-06-26 | 2018-06-19 | R3 Collaboratives, Inc. | Categorized and tagged video annotation |
| CN107180041A (zh) * | 2016-03-09 | 2017-09-19 | 广州市动景计算机科技有限公司 | 网页内容评论方法及系统 |
| CN107169430B (zh) * | 2017-05-02 | 2020-12-01 | 哈尔滨工业大学深圳研究生院 | 基于图像处理语义分析的阅读环境音效增强系统及方法 |
| CN107131610A (zh) * | 2017-05-10 | 2017-09-05 | 珠海格力电器股份有限公司 | 一种留言方法、装置、存储设备、移动终端及电器 |
| US20190065610A1 (en) * | 2017-08-22 | 2019-02-28 | Ravneet Singh | Apparatus for generating persuasive rhetoric |
| CN108874356B (zh) * | 2018-05-31 | 2020-10-23 | 珠海格力电器股份有限公司 | 语音播报方法、装置、移动终端和存储介质 |
| CN111276123B (zh) * | 2018-11-16 | 2023-01-24 | 阿拉的(深圳)人工智能有限公司 | 一种语音播报留言的方法、装置、计算机设备及存储介质 |
| CN111368609B (zh) * | 2018-12-26 | 2023-10-17 | 深圳Tcl新技术有限公司 | 基于情绪引擎技术的语音交互方法、智能终端及存储介质 |
| CN109885713A (zh) * | 2019-01-03 | 2019-06-14 | 刘伯涵 | 基于语音情绪识别的表情图像推荐方法以及装置 |
| CN109951743A (zh) * | 2019-03-29 | 2019-06-28 | 上海哔哩哔哩科技有限公司 | 弹幕信息处理方法、系统及计算机设备 |
| CN110222210A (zh) * | 2019-05-13 | 2019-09-10 | 深圳传音控股股份有限公司 | 用户智能设备及其情绪图符处理方法 |
| CN111193657A (zh) * | 2019-12-12 | 2020-05-22 | 广州啦咔网络科技有限公司 | 聊天表情回复方法、装置及存储介质 |
| CN111161742A (zh) * | 2019-12-30 | 2020-05-15 | 朗诗集团股份有限公司 | 一种定向人员沟通方法、系统、存储介质及智能语音设备 |
| CN111241512B (zh) * | 2020-01-09 | 2022-06-17 | 珠海格力电器股份有限公司 | 留言信息播报方法、装置、电子设备及存储介质 |
-
2021
- 2021-01-08 CN CN202110025159.9A patent/CN114745349B/zh active Active
- 2021-01-08 CN CN202410109241.3A patent/CN117974240A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN114745349B (zh) | 2023-12-26 |
| CN114745349A (zh) | 2022-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11475897B2 (en) | Method and apparatus for response using voice matching user category | |
| CN110427472A (zh) | 智能客服匹配的方法、装置、终端设备及存储介质 | |
| US20200126566A1 (en) | Method and apparatus for voice interaction | |
| WO2020006935A1 (zh) | 动物声纹特征提取方法、装置及计算机可读存储介质 | |
| CN110517689B (zh) | 一种语音数据处理方法、装置及存储介质 | |
| JP2018014094A (ja) | 仮想ロボットのインタラクション方法、システム及びロボット | |
| CN108242238B (zh) | 一种音频文件生成方法及装置、终端设备 | |
| WO2020253128A1 (zh) | 基于语音识别的通信服务方法、装置、计算机设备及存储介质 | |
| CN104538043A (zh) | 一种通话中实时情感提示装置 | |
| CN112148922A (zh) | 会议记录方法、装置、数据处理设备及可读存储介质 | |
| CN106774845B (zh) | 一种智能交互方法、装置及终端设备 | |
| TW201937344A (zh) | 智慧型機器人及人機交互方法 | |
| CN109543021B (zh) | 一种面向智能机器人的故事数据处理方法及系统 | |
| JP6633250B2 (ja) | 対話ロボットおよび対話システム、並びに対話プログラム | |
| CN109101663A (zh) | 一种基于互联网的机器人对话系统 | |
| JP2023552854A (ja) | ヒューマンコンピュータインタラクション方法、装置、システム、電子機器、コンピュータ可読媒体及びプログラム | |
| WO2022242706A1 (zh) | 基于多模态的反应式响应生成 | |
| CN114121006A (zh) | 虚拟角色的形象输出方法、装置、设备以及存储介质 | |
| CN110825164A (zh) | 基于儿童专用穿戴智能设备的交互方法及系统 | |
| CN111063346A (zh) | 基于机器学习的跨媒体明星情感陪伴交互系统 | |
| CN113903338A (zh) | 面签方法、装置、电子设备和存储介质 | |
| WO2016206645A1 (zh) | 为机器装置加载控制数据的方法及装置 | |
| WO2022041192A1 (zh) | 语音消息处理方法、设备及即时通信客户端 | |
| CN114745349B (zh) | 一种点评方法、电子设备及计算机可读存储介质 | |
| CN110781329A (zh) | 图像搜索方法、装置、终端设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination |