CN114760257A - 一种点评方法、电子设备及计算机可读存储介质 - Google Patents

一种点评方法、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN114760257A
CN114760257A CN202110026599.6A CN202110026599A CN114760257A CN 114760257 A CN114760257 A CN 114760257A CN 202110026599 A CN202110026599 A CN 202110026599A CN 114760257 A CN114760257 A CN 114760257A
Authority
CN
China
Prior art keywords
information
expression
comment information
comment
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110026599.6A
Other languages
English (en)
Inventor
时红仁
王明
裴峥
陆璐
应臻恺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Pateo Network Technology Service Co Ltd
Original Assignee
Shanghai Pateo Network Technology Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Pateo Network Technology Service Co Ltd filed Critical Shanghai Pateo Network Technology Service Co Ltd
Priority to CN202110026599.6A priority Critical patent/CN114760257A/zh
Publication of CN114760257A publication Critical patent/CN114760257A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/06—Message adaptation to terminal or network requirements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种点评方法、电子设备及计算机可读存储介质，所述点评方法包括以下步骤：获取第一点评信息；获取接收所述第一点评信息的电子设备的设备信息，所述设备信息包括与所述电子设备相关联的预设数据类型；以及基于所述第一点评信息和所述设备信息，转换所述第一点评信息为第二点评信息，以便于在所述电子设备处呈现。本申请提供一种点评方法、电子设备及计算机可读存储介质，能根据不同的电子设备的特性展示多样化的互动形式，以提升用户的互动体验感。

Description

一种点评方法、电子设备及计算机可读存储介质
技术领域
本发明属于通讯技术领域，尤其涉及一种点评方法、电子设备及计算机可读存储介质。
背景技术
随着电子设备的发展与普及，采用电子设备进行互动的方式越来越多样，除了传统的电话、短信互动外，还可采用各类通讯软件开发的互动功能进行互动，尤其是朋友圈的普及，为人与人之间的互动提供了很多便利。
但是，目前的朋友圈互动形式比较单一，互动内容以文字/表情为主，采用同一账号登录不同电子设备时，互动内容的展示形式是一样的，未充分利用不同电子设备的特性来展示多样化的互动形式，互动体验感不佳。
发明内容
本发明的一个目的在于提供一种点评方法、电子设备及计算机可读存储介质，使得在点评互动过程中，能根据不同的电子设备的特性展示多样化的互动形式，提升用户的互动体验感。
本发明的另一个目的在于提供一种点评方法，其优势在于可以根据车速及车载终端在车辆中的位置，对点评信息进行相应的转换，以便在车载终端上以合适的形式呈现。
本发明的另一个目的在于提供一种点评方法，其优势在于可以基于用户输入的语音、视频、文字或图像中的至少一项，获取包括点评头像、点评表情、点评文本、点评语音中的至少一项的点评信息，从而快速生成丰富生动的点评内容。
本发明的另一个目的在于提供一种点评方法，其优势在于可以基于电子设备的屏幕尺寸信息和/或屏幕分辨率信息，调整点评信息的呈现方式，以便提升点评信息在电子设备上的呈现效果。
本发明的另一个目的在于提供一种电子设备，其优势在于能够基于自身特性，获取和/或呈现不同形式的点评信息，提升用户的互动体验感。
为实现上述目的以及相关目的，本发明提供一种点评方法，包括以下步骤：
获取第一点评信息；
获取接收所述第一点评信息的电子设备的设备信息，所述设备信息包括与所述电子设备相关联的预设数据类型；以及
基于所述第一点评信息和所述设备信息，转换所述第一点评信息为第二点评信息，以便于在所述电子设备处呈现。由此，在点评互动过程中，能根据不同的电子设备的特性展示多样化的互动形式，提升用户的互动体验感。
其中，所述电子设备为车载终端，所述基于所述第一点评信息和所述设备信息，转换所述第一点评信息为第二点评信息，以便于在所述电子设备处呈现，包括以下步骤：
获取车速及所述电子设备在车辆中的位置；
基于所述车速及所述位置，转换所述第一点评信息为所述第二点评信息，以便于在所述电子设备处呈现。由此，能基于车速及电子设备在车辆中的位置，对点评信息进行相应的转换，以便在车载终端上以合适的形式呈现。
其中，所述第一点评信息包括点评头像、点评表情、点评文本、点评语音中的至少一项，所述获取第一点评信息包括以下步骤：
获取用户输入的语音、视频、文字或图像中的至少一项；以及
获取所述图像作为点评头像；和/或
获取所述图像和/或所述视频中的表情截图作为点评表情；和/或
获取所述视频中包含表情的片段作为点评表情。由此，快速生成丰富生动的点评内容。
其中，所述获取所述图像和/或所述视频中的表情截图作为点评表情，包括以下步骤：
基于识别模型，识别所述图像和/或视频中的表情截图中所包含的第三情绪信息；
基于所述第三情绪信息，确定与所述第三情绪信息相匹配的第二情绪信息；以及
基于所述第二情绪信息和所述第一对应关系，在所述图像和/或视频中的表情截图中添加与所述第二情绪信息对应的所述第一表情文本，以作为点评表情。由此，准确地获取图像和/或视频中的表情截图作为点评表情。
其中，所述获取所述图像和/或所述视频中的表情截图作为点评表情，还包括以下步骤：
识别所述图像和/或视频中的表情截图中的第二语义文本；
基于所述第二语义文本，确定与所述第二语义文本相匹配的第一语义文本；以及
基于所述第一语义文本和所述第二对应关系，在所述图像和/或视频中的表情截图中添加与所述第一语义文本对应的所述第二表情文本，以作为点评表情。由此，准确地获取图像和/或视频中的表情截图作为点评表情。
其中，所述设备信息包括所述电子设备的屏幕尺寸信息和/或屏幕分辨率信息，所述基于所述第一点评信息和所述设备信息，转换所述第一点评信息为第二点评信息，以便于在所述电子设备处呈现，还包括以下步骤：
基于所述设备信息中的屏幕尺寸信息和/或屏幕分辨率信息，调整所述第二点评信息的呈现方式。由此，提升点评信息在电子设备上的呈现效果。
本发明还提供一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述点评方法的步骤。由此，可以基于自身特性，获取和/或呈现不同形式的点评信息，提升用户的互动体验感。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述点评方法的步骤。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图,详细说明如下。
附图说明
图1是本发明实施例提供的点评方法的系统框架图；
图2是本发明实施例提供的点评方法的流程示意图；
图3是本发明实施例提供的点评方法的示例图像；
图4是本发明实施例提供的点评方法的时序图；
图5是本发明实施例提供的电子设备的结构示意图。
具体实施方式
以下描述中，除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”、“一种”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”、“若”可依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
以下结合说明书附图及具体实施例对本发明技术方案做进一步的详细阐述。
图1是本发明实施例提供的点评方法的系统框架图，包括电子设备、服务器，其中，电子设备包括车载电子设备、手机、平板、电视、智能音箱、可穿戴设备、平视显示器(HUD)、投影设备等。如图1所示，发送第一点评信息的电子设备11(包括手机L1、平板L2、智能音箱L3等)获取第一点评信息及接收第一点评信息的电子设备13(包括车载电子设备M1、电视M2、可穿戴设备M3等)的设备信息，其中，设备信息包括与电子设备相关联的预设数据类型；发送第一点评信息的电子设备11基于第一点评信息和接收第一点评信息的电子设备13的设备信息，转换第一点评信息为第二点评信息，以便于在接收第一点评信息的电子设备13处呈现。其中，发送第一点评信息的电子设备11与接收第一点评信息的电子设备13可为同一电子设备或不同的电子设备，发送第一点评信息的电子设备11与接收第一点评信息的电子设备13可通过服务器12进行通讯。
图2是本发明实施例提供的点评方法的流程示意图。如图2所示，本发明的点评方法可以包括如下步骤：
步骤S101：获取第一点评信息；
具体地，第一点评信息包括点评头像、点评表情、点评文本、点评语音中的至少一项。
可选地，可以是发送点评信息的电子设备获取用户输入的所述第一点评信息，也可以是服务器从发送点评信息的电子设备处获取所述第一点评信息，也可以是接收点评信息的电子设备获取经由服务器发送的所述第一点评信息。
在一实施方式中，获取第一点评信息的时机包括：账号登录的时候，例如用户账号登录微信、微博等社交软件；开机启动的时候，例如打开电视；播放广告的时候，例如将电视节目播放过程中穿插的广告自动切换为点评界面或朋友圈界面。
在一实施方式中，获取第一点评信息包括以下步骤：
获取用户输入的语音、视频、文字或图像中的至少一项；以及
获取图像作为点评头像；和/或
获取图像和/或视频中的表情截图作为点评表情；和/或
获取视频中包含表情的片段作为点评表情。
其中，获取图像作为点评头像的步骤包括：对图像进行编辑、裁剪，以适应点评头像的尺寸要求；利用增强现实技术对图像进一步处理后呈现点评头像。
示例性地，第一点评信息中包含一张图片，则将这张图片当作点评头像；进一步，若点评头像有尺寸要求，则将这张图片进行裁剪、压缩，以便在电子设备处适应显示，同时也可以降低流量消耗；进一步可对图片进行处理使得可以利用增强现实技术来呈现所述点评头像。
获取图像和/或视频中的表情截图作为点评表情的步骤包括：识别出图像和/或视频中的人脸，以预设的尺寸进行裁剪，作为点评表情；若存在多张人脸，则识别出其中与点评人最相似的人脸作为点评表情；若识别出的人脸与点评人都不相似，则选择最清晰或者随机选择人脸作为点评表情。
获取视频中包含表情的片段作为点评表情的步骤包括：截取视频中有人脸的片段，片段的长短可以是预设的；若有多个人脸片段，则进一步识别人脸的表情变化，将与人脸表情相比变化较大的片段作为表情动图。
步骤S102：获取接收所述第一点评信息的电子设备的设备信息，所述设备信息包括与所述电子设备相关联的预设数据类型:
其中，与电子设备相关联的预设数据类型包括但不限于音频数据(包括PCM、MP3等格式的数据)、图像数据(包括png、jpg等格式的数据)、文本数据(包括Txt、Json等格式的数据)，可选地，与电子设备相关联的预设数据类型采用预先定义的方式进行设定，其中，预先定义的方式包括程序固化、动态配置。具体地，采用预先定义的方式设定与电子设备相关联的预设数据类型包括以下两种情况：1)根据电子设备的输出能力确定预设数据类型，例如音箱能输出音频，则其预设数据类型为音频数据，电视能输出音频、图像和文本，则其预设数据类型为音频数据、图像数据和文本数据；2)在电子设备具有多种输出能力的情况下，可进一步预设其输出的数据类型，例如电视既能输出音频又能输出图文，若进一步预设其数据类型为图像数据和文本数据，则其输出的数据类型为图像数据与文本数据。
可选地，接收点评信息的电子设备获取自己的设备信息，并根据设备信息获取与自己的设备信息相关联的预设数据类型。示例性地，若接收点评信息的电子设备为音箱，则根据音箱的设备信息获取到相关联的预设数据类型为音频数据；若接收点评信息的电子设备为电视，则根据电视对数据类型的预先定义确定预设数据类型，可为音频数据、图像数据或文本数据。
或者，服务器从接收点评信息的电子设备处获取接收点评信息的电子设备的设备信息，并根据设备信息获取与接收点评信息的电子设备相关联的预设数据类型。具体地，以上步骤包括以下两种情况：1)接收点评信息的电子设备在注册时，通过调用服务器不同的接口或者传输不同的参数，告知服务器自己的设备信息；服务器根据协议，基于获取的设备信息将不同数据类型的点评信息发送给不同的电子设备，包括语音点评信息、文本点评信息和/或图像点评信息；2)服务器将任意数据类型的点评信息发送给接收点评信息的电子设备，接收点评信息的电子设备收到点评信息后，根据预设数据类型对点评信息进行相应的处理。
又或者，发送点评信息的电子设备经由服务器获取接收点评信息的电子设备的设备信息，并根据设备信息获取与接收点评信息的电子设备相关联的预设数据类型。
步骤S103：基于所述第一点评信息和所述设备信息，转换所述第一点评信息为第二点评信息，以便于在所述电子设备处呈现。其中，所述第二点评信息至少包括与所述设备信息中的预设数据类型相对应的点评信息。例如，预设数据类型为音频数据的，第二点评信息的内容类型至少包括音频类型的点评信息，还可以包括文本类型的点评信息等。
可选地，可以是发送点评信息的电子设备从用户处获取到所述第一点评信息、从服务器处获取所述设备信息后，基于所述第一点评信息的内容类型和所述设备信息中的预设数据类型，将所述第一点评信息转换为第二点评信息，并发送给服务器，而后服务器将接收到的所述第二点评信息全部地或部分地(例如，根据预设数据类型进行过滤)发送给接收点评信息的电子设备。
可选地，可以是服务器从发送点评信息的电子设备处获取到所述第一点评信息、从接收点评信息的电子设备处获取到所述设备信息后，基于所述第一点评信息的内容类型和所述设备信息中的预设数据类型，将所述第一点评信息转换为第二点评信息，进而将所述第二点评信息全部地或部分地(例如，根据预设数据类型进行过滤)发送给接收点评信息的电子设备。
可选地，可以是接收点评信息的电子设备从服务器获取到所述第一点评信息后，进一步结合自身的设备信息，将所述第一点评信息转换为第二点评信息，并根据自身的设备信息全部地或选择性地呈现所述第二点评信息。
可选地，可以是接收点评信息的电子设备从服务器获取到由所述第一点评信息转换得到的所述第二点评信息后，根据自身的设备信息全部地或选择性地呈现所述第二点评信息。
在一实施方式中，步骤S103包括以下任一步骤：
在设备信息中的预设数据类型为音频数据且第一点评信息包括非语音点评信息的情况下，转换第一点评信息为语音点评信息，以作为第二点评信息；
在设备信息中的预设数据类型为图像数据和/或文本数据且第一点评信息包括语音点评信息的情况下，转换第一点评信息为文本/图像点评信息，以作为第二点评信息。具体地，把文本点评信息转换为语音点评信息包括识别文字点评信息的情绪特征，采用带有该情绪特征的声音播报该文字点评信息。进一步，在播报过程中，用户可以进行打断，例如：用户说“暂停”或做了暂停手势，则暂停语音点评信息的播放；用户说“继续”或做了播放手势，则语音点评信息自断点处续播；用户说“回复”，则停止播放语音点评信息，并根据用户的输入进行回复操作；用户说“跳过”或“下一条”，则直接切换到下一条进行播报。
具体地，把图像点评信息转换为语音点评信息包括：对图像中的文字进行播报，例如，第一点评信息为图3(b)，则播报的语音点评信息为“绝了！”；或者播报提示用户点评信息是一张图片，例如，获取到小王的第一点评信息为图3(b)所示的图片，则播报的语音点评信息为“小王的点评为一张图片”。
在一实施方式中，所述电子设备为车载终端，所述基于所述第一点评信息和所述设备信息，转换所述第一点评信息为第二点评信息，以便于在所述电子设备处呈现，包括以下步骤：
获取车速及电子设备在车辆中的位置；
基于车速及位置，转换第一点评信息为第二点评信息，以便于在电子设备处呈现。
更进一步，基于车速及位置，转换第一点评信息为第二点评信息，包括以下步骤：
在车速不为零、电子设备位于主驾驶室且第一点评信息包括非语音点评信息的情况下，转换第一点评信息为语音点评信息，以作为第二点评信息；
在电子设备不位于主驾驶室且第一点评信息包括语音点评信息的情况下，转换第一点评信息为文本/图像点评信息，以作为第二点评信息。
具体地，司机使用的车载终端位于主驾驶室，若在车辆行驶过程中收到非语音点评信息，则将非语音点评信息转换为语音点评信息后播报；若在车辆处于停车状态时收到非语音点评信息，则可直接呈现；语音点评信息在车辆行驶过程中或停车状态下均可直接播报。由此，能有效避免司机在开车过程中频繁地刷朋友圈，既能保证司机及时地接收点评信息，又能保障行车安全。
进一步，若在语音点评信息与导航语音信息或音频播放冲突时，可根据优先级别进行冲突管理：例如，如果在语音点评信息播报过程中获取到导航语音信息，则打断语音点评信息的播报；如果在音频播放过程中获取到语音点评信息，则提高语音点评信息的播报声音，或者降低音频播放的声音，或者打断音频播放，以使用户能够清晰地听到语音点评信息。
具体地，针对使用后座屏的乘客，若在乘车过程中获取到语音或音视频点评信息，则降低点评信息的播放音量，或提示插上耳机后播放，或只输出图像数据和/或文本数据。由此，避免打扰司机及其他乘客。
可以理解地，接收点评信息的车载终端可以直接获取车速及其在车辆中的位置，也可以将车速及其位置发送给服务器，还可以将车速及其位置经由服务器发送给发送点评信息的电子设备，以便基于车速及位置，转换第一点评信息为第二点评信息。
其中，转换第一点评信息为语音点评信息，以作为第二点评信息，包括以下步骤：
提取第一点评信息中的文本信息；
识别第一点评信息中的第一情绪信息；
获取与第一情绪信息相匹配的音库；以及
基于音库，生成语音点评信息以作为第二点评信息，语音点评信息包括文本信息和第一情绪信息。
其中，所述音库包括至少一个词条的多种情绪版本(例如，开心、难过、惊讶、愤怒等)的语音的合成音库，可用于在不同场景下调用相应情绪版本的语音来合成音频。
示例性地，若文本信息里有体现开心的词(如今天心情很美丽)，则采用音库里这句话中每个词(如“今天”、“心情”、“很美丽”)的开心版本合成语音；若文本信息里有体现难过的词(如这件事让我伤心了)，则采用音库里这句话中每个词(如“这件事”、“让我”、“伤心了”)的难过版本合成语音；由此，准确地传递文本信息所包含的情绪信息，提升互动体验感。
其中，转换第一点评信息为文本/图像点评信息，以作为第二点评信息，包括以下步骤：
识别第一点评信息中的语音文本；
提取语音文本中的关键字；以及
基于关键字，在预设图片库中获取包括关键字的图片，以作为第二点评信息。
其中，所述预设图片库包括多个关键字以及与每个关键字相关联的图片。可选地，所述关键字可以是与情绪相关的词，也可以是最新的流行语词；所述与每个关键字相关联的图片可以是在图片中嵌入所述关键字的图片，也可以是以包含所述关键字的名称命名的图片。
示例性地，若从语音文本中提取的关键字是最新的流行语词，如“凡尔赛”，则在预设图片库中获取到的是包括“老凡尔赛了”文字的图片；若从语音文本中提取的关键字是与情绪相关的词，如“无语”，则在预设图片库中获取到的是以“无语”命名的图片。
在其他实施方式中，电子设备的设备信息包括电子设备的屏幕尺寸信息和/或屏幕分辨率信息，步骤S103还包括以下步骤：
基于设备信息中的屏幕尺寸信息和/或屏幕分辨率信息，调整第二点评信息的呈现方式。
优选地，接收点评信息的电子设备基于设备信息中的屏幕尺寸信息和/或屏幕分辨率信息，调整第二点评信息的呈现方式。
可选地，接收点评信息的电子设备也可以将设备信息中的屏幕尺寸信息和/或屏幕分辨率信息发送给服务器，也可以经由服务器发送给发送点评信息的电子设备，从而使其基于接收点评信息的电子设备的设备信息中的屏幕尺寸信息和/或屏幕分辨率信息，调整第二点评信息的呈现方式后再发送给接收点评信息的电子设备以用于呈现。
示例性地，若接收点评信息的电子设备从车载终端切换到智能手表，则在智能手表上只展示简单的文字和图标；若接收点评信息的电子设备从手机(竖屏)切换到电视(横屏)，则点评信息的呈现形式由竖屏改成横屏，呈现大小和位置均进行适应性调整。
由此，无需对接收点评信息的电子设备进行改写代码或其他处理，即可实现根据屏幕尺寸信息和/或屏幕分辨率信息调整点评信息的呈现方式，适用的电子设备的范围更广。
可选地，在步骤S101中获取图像和/或视频中的表情截图作为点评表情之前，包括以下步骤：
获取表情图集，表情图集包括至少一个表情图；
识别每个表情图中的第二情绪信息和第一表情文本；以及
建立每个表情图、第二情绪信息和第一表情文本之间的第一对应关系。
其中，表情图包括面部表情、肢体动作。
具体地，基于光学字符识别(OCR)技术，识别出嵌入在表情图中的表情文本，并基于提取的文本需要将表情文本提炼成表情关键字(如开心、难过、惊讶、愤怒等)，并以此建立每个表情图、第二情绪信息和第一表情文本之间的第一对应关系。
具体地，基于光学字符识别(OCR)技术识别出嵌入在表情图中的表情文本，包括以下步骤：
1)获取表情图集，其中，表情图集可通过定期从网络上收集的网络流行语表情包进行更新或补充；
2)对表情图进行预处理；
3)基于搭建卷积神经网络模型(CNN)、循环神经网络模型(RNN)等对表情图中的文本区域进行检测；
4)基于搭建卷积神经网络模型(CNN)、循环神经网络模型(RNN)、时序分类算法(CTC)等对文本区域的文本进行识别，生成第一表情文本；
5)通过情绪识别模型对表情图进行识别或从第一表情文本中提炼得到第二情绪信息；
6)将表情图、第二情绪信息、第一表情文本进行关联以建立第一对应关系。
更进一步，步骤S101中获取图像和/或视频中的表情截图作为点评表情，包括以下步骤：
基于识别模型，识别图像和/或视频中的表情截图中所包含的第三情绪信息；
基于第三情绪信息，确定与第三情绪信息相匹配的第二情绪信息；以及
基于第二情绪信息和第一对应关系，在图像和/或视频中的表情截图中添加与第二情绪信息对应的第一表情文本，以作为点评表情。
具体地，基于人脸表情识别技术识别出人脸情绪(包括开心、难过、惊讶、愤怒等)；再利用基于OCR技术建立的第一对应关系，生成与人脸情绪对应的表情文本，并将表情文本添加在图像和/或视频中的表情截图中，以作为点评表情。
具体地，获取图像和/或视频中的表情截图作为点评表情，包括以下步骤：
1)对获取到的表情截图进行图像预处理；
可选地，使用公开库(opencv)对表情截图进行图像预处理，包括裁切、翻转、颜色转换、图像增强、人脸对齐等处理过程；将处理之后的表情截图进行几何归一化，通过双线内插值算法将表情截图统一重塑为48*48像素；
2)加载表情识别模型(例如搭建卷积神经网络模型(CNN))，并基于表情识别模型识别出人脸情绪，作为第三情绪信息；
3)将第三情绪信息与第二情绪信息进行情绪匹配；
例如第三情绪信息是开心，则匹配到的第二情绪信息可以是开心或高兴；
4)情绪匹配成功后，将匹配的第二情绪信息对应的第一表情文本添加到表情截图上。
进一步的，添加的第一表情文本自适应于图片尺寸调整文字大小，或者第一表情文本的添加区域避开人脸区域。
可选地，在步骤S101中获取图像和/或视频中的表情截图作为点评表情之前，还包括以下步骤：
获取表情图集，表情图集包括至少一个表情图；
识别每个表情图中的第一语义文本和第二表情文本；以及
建立每个表情图、第一语义文本和第二表情文本之间的第二对应关系。
其中，语义文本指根据图像中的对象及其表情、动作、周边环境等生成的描述文字。例如，图3(a)所示的图像包含的语义文本为：背景有山的道路上有个停车标志。
具体地，可基于图像标注(Image Capt ion)技术识别得到第一语义文本，基于OCR技术识别得到第二表情文本，进而建立每个表情图、第一语义文本和第二表情文本之间的第二对应关系。例如，根据图3(b)所示的图像，基于图像标志技术识别的第一语义文本为：“一个男生竖起了大拇指”；基于OCR技术别识别的第二表情文本为：“绝了！”
更进一步，步骤S101中获取图像和/或视频中的表情截图作为点评表情，还包括以下步骤：
识别图像和/或视频中的表情截图中的第二语义文本；
基于第二语义文本，确定与第二语义文本相匹配的第一语义文本；以及
基于第一语义文本和第二对应关系，在图像和/或视频中的表情截图中添加与第一语义文本对应的第二表情文本，以作为点评表情。
具体地，利用图像标注识别技术识别图像和/或视频中的表情截图中的第二语义文本，并基于第二语义文本，确定与第二语义文本相匹配的第一语义文本；以及基于第一语义文本和第二对应关系，在图像和/或视频中的表情截图中添加与第一语义文本对应的第二表情文本，以作为点评表情。例如，根据图3(c)所示的图像，基于图像标注识别技术识别的第二语义文本为：“一个老人竖起了大拇指”；进一步提取得到关键词“大拇指”，通过关键词匹配到图3(b)识别的第一语义文本；再在图3(c)所示的图像中添加图3(b)识别的第一语义文本对应的图3(b)识别的第二表情文本“绝了！”，如图3(d)所示，作为点评表情。
本发明实施例根据点评信息及点评信息接收方的设备信息，对点评信息进行相应的转换，以根据不同的电子设备的特性展示不同的互动形式，使点评信息呈现最优的展示效果，有效地增强了互动体验感。
图4是本发明实施例提供的点评方法的时序图。如图4所示，本发明提供的点评方法包括以下三种情形：
情形一
发送方201获取第一点评信息及接收方203的电子设备信息，并根据第一点评信息和接收方203的电子设备信息，将第一点评信息转换为与接收方203的电子设备标识对应的第二点评信息，然后将第二点评信息发送给服务器202；服务器202将第二点评信息发送给接收方203；接收方203通过电子设备展示第二点评信息。
情形二
服务器202获取发送方201发送的第一点评信息及接收方203的电子设备信息，并将第一点评信息转换为与接收方203的电子设备标识对应的第二点评信息，然后将第二点评信息发送给接收方203；接收方203通过电子设备展示第二点评信息。
情形三
接收方203获取经由发送方201及服务器202发送的第一点评信息；接收方203获取电子设备信息，将第一点评信息转换为与电子设备标识对应的第二点评信息，并通过电子设备展示第二点评信息。
图5是本发明实施例提供的电子设备的结构示意图。如图5所示，该实施例的电子设备包括：处理器110、存储器111以及存储在所述存储器111中并可在所述处理器110上运行的计算机程序112。所述处理器110执行所述计算机程序112时实现上述各个点评方法实施例中的步骤，例如图2所示的步骤S101至S103。
所述电子设备可包括，但不仅限于，处理器110、存储器111。本领域技术人员可以理解，图5仅仅是电子设备的示例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备还可以包括输入输出设备、网络接入设备、总线等。
所述处理器110可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器111可以是所述电子设备的内部存储单元，例如电子设备的硬盘或内存。所述存储器111也可以是所述电子设备的外部存储设备，例如所述电子设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器111还可以既包括所述电子设备的内部存储单元也包括外部存储设备。所述存储器111用于存储所述计算机程序以及所述电子设备所需的其他程序和数据。所述存储器111还可以用于暂时地存储已经输出或者将要输出的数据。
本申请还提供一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述点评方法的步骤。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例方法及步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (12)

1.一种点评方法，其特征在于，包括以下步骤：
获取第一点评信息；
获取接收所述第一点评信息的电子设备的设备信息，所述设备信息包括与所述电子设备相关联的预设数据类型；以及
基于所述第一点评信息和所述设备信息，转换所述第一点评信息为第二点评信息，以便于在所述电子设备处呈现。
2.如权利要求1所述的方法，所述基于所述第一点评信息和所述设备信息，转换所述第一点评信息为第二点评信息，以便于在所述电子设备处呈现，包括以下任一步骤：
在所述设备信息中的所述预设数据类型为音频数据且所述第一点评信息包括非语音点评信息的情况下，转换所述第一点评信息为语音点评信息，以作为所述第二点评信息；以及
在所述设备信息中的所述预设数据类型为图像数据和/或文本数据且所述第一点评信息包括语音点评信息的情况下，转换所述第一点评信息为文本/图像点评信息，以作为所述第二点评信息。
3.如权利要求2所述的方法，所述电子设备为车载终端，所述基于所述第一点评信息和所述设备信息，转换所述第一点评信息为第二点评信息，以便于在所述电子设备处呈现，包括以下步骤：
获取车速及所述电子设备在车辆中的位置；
基于所述车速及所述位置，转换所述第一点评信息为所述第二点评信息，以便于在所述电子设备处呈现。
4.如权利要求3所述的方法，所述基于所述车速及所述位置，转换所述第一点评信息为所述第二点评信息，包括以下步骤：
在所述车速不为零、所述电子设备位于主驾驶室且所述第一点评信息包括非语音点评信息的情况下，转换所述第一点评信息为语音点评信息，以作为所述第二点评信息；
在所述电子设备不位于主驾驶室且所述第一点评信息包括语音点评信息的情况下，转换所述第一点评信息为文本/图像点评信息，以作为所述第二点评信息。
5.如权利要求2至4任一项所述的方法，所述转换所述第一点评信息为语音点评信息，以作为所述第二点评信息，包括以下步骤：
提取所述第一点评信息中的文本信息；
识别所述第一点评信息中的第一情绪信息；
获取与所述第一情绪信息相匹配的音库；以及
基于所述音库，生成所述语音点评信息以作为所述第二点评信息，所述语音点评信息包括所述文本信息和所述第一情绪信息。
6.如权利要求2至4任一项所述的方法，所述转换所述第一点评信息为文本/图像点评信息，以作为所述第二点评信息，包括以下步骤：
识别所述第一点评信息中的语音文本；
提取所述语音文本中的关键字；以及
基于所述关键字，在预设图片库中获取包括所述关键字的图片，以作为所述第二点评信息。
7.如权利要求1所述的方法，所述第一点评信息包括点评头像、点评表情、点评文本、点评语音中的至少一项，所述获取第一点评信息包括以下步骤：
获取用户输入的语音、视频、文字或图像中的至少一项；以及
获取所述图像作为点评头像；和/或
获取所述图像和/或所述视频中的表情截图作为点评表情；和/或
获取所述视频中包含表情的片段作为点评表情。
8.如权利要求7所述的点评方法，所述获取所述图像和/或所述视频中的表情截图作为点评表情之前，还包括以下步骤：
获取表情图集，所述表情图集包括至少一个表情图；
识别每个所述表情图中的第二情绪信息和第一表情文本；以及
建立每个所述表情图、所述第二情绪信息和所述第一表情文本之间的第一对应关系；
所述获取所述图像和/或所述视频中的表情截图作为点评表情，包括以下步骤：
基于识别模型，识别所述图像和/或视频中的表情截图中所包含的第三情绪信息；
基于所述第三情绪信息，确定与所述第三情绪信息相匹配的第二情绪信息；以及
基于所述第二情绪信息和所述第一对应关系，在所述图像和/或视频中的表情截图中添加与所述第二情绪信息对应的所述第一表情文本，以作为点评表情。
9.如权利要求7所述的点评方法，所述获取所述图像和/或所述视频中的表情截图作为点评表情之前，还包括以下步骤：
获取表情图集，所述表情图集包括至少一个表情图；
识别每个所述表情图中的第一语义文本和第二表情文本；以及
建立每个所述表情图、所述第一语义文本和所述第二表情文本之间的第二对应关系；
所述获取所述图像和/或所述视频中的表情截图作为点评表情，包括以下步骤：
识别所述图像和/或视频中的表情截图中的第二语义文本；
基于所述第二语义文本，确定与所述第二语义文本相匹配的第一语义文本；以及
基于所述第一语义文本和所述第二对应关系，在所述图像和/或视频中的表情截图中添加与所述第一语义文本对应的所述第二表情文本，以作为点评表情。
10.如权利要求1至9任一项所述的方法，所述设备信息包括所述电子设备的屏幕尺寸信息和/或屏幕分辨率信息，所述基于所述第一点评信息和所述设备信息，转换所述第一点评信息为第二点评信息，以便于在所述电子设备处呈现，还包括以下步骤：
基于所述设备信息中的屏幕尺寸信息和/或屏幕分辨率信息，调整所述第二点评信息的呈现方式。
11.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至10任一项所述方法的步骤。
12.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10任一项所述方法的步骤。
CN202110026599.6A 2021-01-08 2021-01-08 一种点评方法、电子设备及计算机可读存储介质 Pending CN114760257A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110026599.6A CN114760257A (zh) 2021-01-08 2021-01-08 一种点评方法、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110026599.6A CN114760257A (zh) 2021-01-08 2021-01-08 一种点评方法、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN114760257A true CN114760257A (zh) 2022-07-15

Family

ID=82324974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110026599.6A Pending CN114760257A (zh) 2021-01-08 2021-01-08 一种点评方法、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114760257A (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100122309A1 (en) * 2007-04-27 2010-05-13 Dwango Co., Ltd. Comment delivery server, terminal device, comment delivery method, comment output method, and recording medium storing comment delivery program
CN103543979A (zh) * 2012-07-17 2014-01-29 联想(北京)有限公司 一种输出语音的方法、语音交互的方法及电子设备
CN104168514A (zh) * 2014-08-21 2014-11-26 乐视网信息技术（北京）股份有限公司 对电视进行交互操作的方法和装置
US20150215249A1 (en) * 2014-01-24 2015-07-30 Miroslawa Bruns-Bielkowicz Animated delivery of electronic messages
CN106161215A (zh) * 2016-08-31 2016-11-23 维沃移动通信有限公司 一种信息发送方法及移动终端
CN106888158A (zh) * 2017-02-28 2017-06-23 努比亚技术有限公司 一种即时通信方法和装置
CN106980482A (zh) * 2017-03-31 2017-07-25 联想(北京)有限公司 一种信息展示方法及第一电子设备
CN107612815A (zh) * 2017-09-19 2018-01-19 北京金山安全软件有限公司 一种信息发送方法、装置及设备
CN107967104A (zh) * 2017-12-20 2018-04-27 北京时代脉搏信息技术有限公司 对信息实体进行语音评论的方法和电子设备
CN108509059A (zh) * 2018-03-27 2018-09-07 联想(北京)有限公司 一种信息处理方法、电子设备和计算机存储介质
CN109831375A (zh) * 2019-03-18 2019-05-31 努比亚技术有限公司 即时通信信息的收发方法、终端及计算机可读存储介质
CN110460903A (zh) * 2019-07-18 2019-11-15 平安科技（深圳）有限公司 基于语音分析对节目评论的方法、装置和计算机设备
CN111276123A (zh) * 2018-11-16 2020-06-12 阿拉的(深圳)人工智能有限公司 一种语音播报留言的方法、装置、计算机设备及存储介质
US20200312327A1 (en) * 2019-03-29 2020-10-01 Shanghai Bilibili Technology Co., Ltd. Method and system for processing comment information

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100122309A1 (en) * 2007-04-27 2010-05-13 Dwango Co., Ltd. Comment delivery server, terminal device, comment delivery method, comment output method, and recording medium storing comment delivery program
CN103543979A (zh) * 2012-07-17 2014-01-29 联想(北京)有限公司 一种输出语音的方法、语音交互的方法及电子设备
US20150215249A1 (en) * 2014-01-24 2015-07-30 Miroslawa Bruns-Bielkowicz Animated delivery of electronic messages
CN104168514A (zh) * 2014-08-21 2014-11-26 乐视网信息技术（北京）股份有限公司 对电视进行交互操作的方法和装置
CN106161215A (zh) * 2016-08-31 2016-11-23 维沃移动通信有限公司 一种信息发送方法及移动终端
CN106888158A (zh) * 2017-02-28 2017-06-23 努比亚技术有限公司 一种即时通信方法和装置
CN106980482A (zh) * 2017-03-31 2017-07-25 联想(北京)有限公司 一种信息展示方法及第一电子设备
CN107612815A (zh) * 2017-09-19 2018-01-19 北京金山安全软件有限公司 一种信息发送方法、装置及设备
CN107967104A (zh) * 2017-12-20 2018-04-27 北京时代脉搏信息技术有限公司 对信息实体进行语音评论的方法和电子设备
CN108509059A (zh) * 2018-03-27 2018-09-07 联想(北京)有限公司 一种信息处理方法、电子设备和计算机存储介质
CN111276123A (zh) * 2018-11-16 2020-06-12 阿拉的(深圳)人工智能有限公司 一种语音播报留言的方法、装置、计算机设备及存储介质
CN109831375A (zh) * 2019-03-18 2019-05-31 努比亚技术有限公司 即时通信信息的收发方法、终端及计算机可读存储介质
US20200312327A1 (en) * 2019-03-29 2020-10-01 Shanghai Bilibili Technology Co., Ltd. Method and system for processing comment information
CN110460903A (zh) * 2019-07-18 2019-11-15 平安科技（深圳）有限公司 基于语音分析对节目评论的方法、装置和计算机设备

Similar Documents

Publication Publication Date Title
US20080158334A1 (en) Visual Effects For Video Calls
CN108847214B (zh) 语音处理方法、客户端、装置、终端、服务器和存储介质
US11941323B2 (en) Meme creation method and apparatus
KR20180057366A (ko) 이동 단말기 및 그 제어방법
CN113901239B (zh) 信息展示方法、装置、设备及存储介质
CN109857352A (zh) 动画显示方法及人机交互装置
WO2020026850A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2022089224A1 (zh) 一种视频通信方法、装置、电子设备、计算机可读存储介质及计算机程序产品
CN112380365A (zh) 一种多媒体的字幕交互方法、装置、设备及介质
CN111261139A (zh) 文字拟人化播报方法及系统
CN110379406B (zh) 语音评论转换方法、系统、介质和电子设备
CN110413834B (zh) 语音评论修饰方法、系统、介质和电子设备
JP7057455B2 (ja) プログラム、情報処理方法、端末
CN113157241A (zh) 交互设备、交互装置及交互系统
CN112306603A (zh) 信息提示方法、装置、电子设备及存储介质
CN109714248B (zh) 一种数据处理方法及装置
CN110377842A (zh) 语音评论显示方法、系统、介质和电子设备
CN114760257A (zh) 一种点评方法、电子设备及计算机可读存储介质
US20240112389A1 (en) Intentional virtual user expressiveness
CN113709548A (zh) 基于图像的多媒体数据合成方法、装置、设备及存储介质
CN113655933A (zh) 文本标注方法及装置、存储介质及电子设备
CN112565913A (zh) 视频通话方法、装置和电子设备
CN110931014A (zh) 基于正则匹配规则的语音识别方法及装置
CN114339356B (zh) 视频录制方法、装置、设备及存储介质
JP7329209B1 (ja) 情報処理システム、情報処理方法およびコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination