CN112261456A - 一种语音弹幕的显示方法、装置、设备及存储介质 - Google Patents

一种语音弹幕的显示方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112261456A
CN112261456A CN202011104858.4A CN202011104858A CN112261456A CN 112261456 A CN112261456 A CN 112261456A CN 202011104858 A CN202011104858 A CN 202011104858A CN 112261456 A CN112261456 A CN 112261456A
Authority
CN
China
Prior art keywords
voice
volume
determining
original text
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011104858.4A
Other languages
English (en)
Inventor
余逸尘
郭云三
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Tonghuashun Intelligent Technology Co Ltd
Original Assignee
Zhejiang Tonghuashun Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Tonghuashun Intelligent Technology Co Ltd filed Critical Zhejiang Tonghuashun Intelligent Technology Co Ltd
Priority to CN202011104858.4A priority Critical patent/CN112261456A/zh
Publication of CN112261456A publication Critical patent/CN112261456A/zh
Priority to US17/447,068 priority patent/US20220084525A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例公开了一种语音弹幕的显示方法，包括：获取用户输入的语音信息，将语音信息转换为原始文本信息；根据语音信息确定用户语音的音量，根据语音信息及原始文本信息确定用户语音的情感类别；根据用户语音的音量确定原始文本待显示的目标字体大小，根据用户语音的情感类别确定原始文本待显示的目标字体颜色；将原始文本以目标字体大小及显示颜色以弹幕形式显示在界面上。本发明实施例提供的语音弹幕的显示方法，在将语音转换成弹幕后，以语音音量对应的字体大小以及语音情感对应的颜色显示弹幕，考虑用户的音量和情感，可以在弹幕中包含更多的信息，增强了用户阅读文本的趣味性。

Description

一种语音弹幕的显示方法、装置、设备及存储介质
技术领域
本发明涉及语音转换领域，尤其涉及一种语音弹幕的显示方法、装置、设备及存储介质。
背景技术
现有的语音转换方法仅解决了如何生成的问题，并没有提供一种比较好的展示形式。例如在生成语音弹幕时，如果通过一段语音表示弹幕，则用户无法在观看视频或者文字的时候直接收听语音弹幕的内容；如果通过语音转文字的方式，则只能显示语音的内容，而丢失了语音中额外的信息，如情感和音量等。
发明内容
本发明实施例提供了一种语音弹幕的显示方法、装置、设备及存储介质，可以在弹幕中包含更多的信息，增强用户阅读弹幕的趣味性。
第一方面，本发明实施例提供了一种语音弹幕的显示方法，包括：
获取用户输入的语音信息，将所述语音信息转换为原始文本信息；
根据所述语音信息确定用户语音的音量，根据所述语音信息及所述原始文本信息确定所述用户语音的情感类别；
根据所述用户语音的音量确定所述原始文本待显示的目标字体大小，根据所述用户语音的情感类别确定所述原始文本待显示的目标字体颜色；
将所述原始文本以所述目标字体大小及所述目标字体颜色以弹幕形式显示在界面上。
进一步地，根据所述语音信息及所述原始文本信息确定所述用户语音的情感类别，包括：
将所述语音信息和所述原始文本信息输入设定神经网络，获得所述用户语音对应的多个情感类别以及各情感类别的置信度。
进一步地，根据所述语音信息确定用户语音的音量，包括：
确定所述用户语音的音频振幅；
根据所述音频振幅确定所述用户语音的音量。
进一步地，根据所述用户语音的音量确定所述原始文本待显示的目标字体大小，包括：
获取基准音量对应的基准字体大小；
确定所述语音的音量与所述基准音量的比例；
根据所述比例和所述基准字体大小确定所述文本内容对应的待显示的目标字体大小。
进一步地，根据所述用户语音的音量确定所述原始文本待显示的目标字体大小，还包括：
获取设定最大音量对应的第一字体大小以及设定最小音量对应的第二字体大小；
根据所述设定最大音量和所述设定最小音量对所述用户语音的音量进行归一化处理；
根据归一化后的音量确定待显示的目标字体大小。
进一步地，根据所述用户语音的情感类别确定所述原始文本待显示的目标字体颜色，包括：
获取各情感类别分别对应的颜色；
根据所述置信度对所述多个情感类别分别对应的颜色进行融合，获得所述原始文本待显示的目标字体颜色。
进一步地，获取各情感类别分别对应的颜色，包括：获取各情感类别分别对应的颜色的色域值；
相应的，根据所述置信度对所述多个情感类别分别对应的颜色进行融合，获得所述原始文本待显示的目标字体颜色，包括：
根据所述置信度对多个色域值进行加权求和，获得所述原始文本待显示的目标字体颜色的色域值。
第二方面，本发明实施例还提供了一种语音弹幕的显示装置，包括：
语音信息转换模块，用于获取用户输入的语音信息，将所述语音信息转换为原始文本信息；
用户语音的音量与情感类别确定模块，用于根据所述语音信息确定用户语音的音量，根据所述语音信息及所述原始文本信息确定所述用户语音的情感类别；
目标字体大小与目标字体颜色确定模块，用于根据所述用户语音的音量确定所述原始文本待显示的目标字体大小，根据所述用户语音的情感类别确定所述原始文本待显示的目标字体颜色；
原始文本显示模块，用于将所述原始文本以所述目标字体大小及所述目标字体颜色以弹幕形式显示在界面上。
可选的，用户语音的音量与情感类别确定模块还用于：
将所述语音信息和所述原始文本信息输入设定神经网络，获得所述用户语音对应的多个情感类别以及各情感类别的置信度。
可选的，用户语音的音量与情感类别确定模块还用于：
确定所述用户语音的音频振幅；
根据所述音频振幅确定所述用户语音的音量。
可选的，目标字体大小与目标字体颜色确定模块还用于：
获取基准音量对应的基准字体大小；
确定所述语音的音量与所述基准音量的比例；
根据所述比例和所述基准字体大小确定所述文本内容对应的待显示的目标字体大小。
可选的，目标字体大小与目标字体颜色确定模块还用于：
获取设定最大音量对应的第一字体大小以及设定最小音量对应的第二字体大小；
根据所述设定最大音量和所述设定最小音量对所述用户语音的音量进行归一化处理；
根据归一化后的音量确定待显示的目标字体大小。
可选的，目标字体大小与目标字体颜色确定模块还用于：
获取各情感类别分别对应的颜色；
根据所述置信度对所述多个情感类别分别对应的颜色进行融合，获得所述原始文本待显示的目标字体颜色。
可选的，目标字体大小与目标字体颜色确定模块还用于：
获取各情感类别分别对应的颜色的色域值；
相应的，根据所述置信度对所述多个情感类别分别对应的颜色进行融合，获得所述原始文本待显示的目标字体颜色，包括：
根据所述置信度对多个色域值进行加权求和，获得所述原始文本待显示的目标字体颜色的色域值。
第三方面，本发明实施例还提供了一种语音弹幕的显示设备，该设备包括：
包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例任一所述的语音弹幕的显示方法。
第四方面，本发明实施例还提供了一种语音弹幕的显示存储介质，其上存储有计算机程序，该程序被处理装置执行时实现如本发明实施例任一所述的语音弹幕的显示方法。
本发明实施例首先获取用户输入的语音信息，将语音信息转换为原始文本信息；然后根据语音信息确定用户语音的音量，根据语音信息及原始文本信息确定用户语音的情感类别；再根据用户语音的音量确定原始文本待显示的目标字体大小，根据用户语音的情感类别确定原始文本待显示的目标字体颜色；最后将原始文本以目标字体大小及目标字体颜色以弹幕形式显示在界面上。本发明实施例提供的语音弹幕的显示方法，在将语音转换成弹幕后，以语音音量对应的字体大小以及语音情感对应的颜色显示弹幕，考虑用户的音量和情感，可以在弹幕中包含更多的信息，增强了用户阅读弹幕的趣味性。
附图说明
图1是本发明实施例一中的一种语音弹幕的显示方法流程图；
图2是本发明实施例二中的一种语音弹幕的显示装置结构示意图；
图3是本发明实施例三中的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种语音弹幕的显示方法流程图，本实施例可适用于对语音弹幕进行显示的情况，该方法可以由语音弹幕的显示装置来执行，该装置可由硬件和/或软件组成，并一般可集成在具有语音弹幕的显示功能的设备中，该设备可以是服务器或服务器集群等电子设备。如图1所示，具体包括如下步骤：
步骤110、获取用户输入的语音信息，将语音信息转换为原始文本信息。
具体的，可以接收用户通过麦克风等输入设备输入的语音，然后使用自动语音识别(Automatic Speech Recognition，ASR)技术进行语音转换，ASR技术可以将人类的语音中的词汇内容转换为计算机可读的输入。
步骤120、根据语音信息确定用户语音的音量，根据语音信息及原始文本信息确定用户语音的情感类别。
其中，语音的音量可以由语音对应信号的振幅来表征。具体的，语音音量越大，对应的字体就越大。
在本实施例中，根据语音信息确定用户语音的音量的方式可以是：确定用户语音的音频振幅；根据音频振幅确定用户语音的音量。
具体的，音频可以理解为一段模拟信号。在实际应用中，用户输入的语音可能存在音量大小的差别，可以利用字体大小将这种差别体现在界面上。具体的，可以根据获取的用户语音的音频振幅确定用户语音的音量，进而确定转换成的原始文本的目标字体大小。
在本实施例中，根据语音信息及原始文本信息确定用户语音的情感类别的方式可以是：将语音信息和原始文本信息输入设定神经网络，获得用户语音对应的多个情感类别以及各情感类别的置信度。
具体的，可以利用卷积神经网络CNN对用户语音进行情感分类，CNN的输入可以是用户语音和语音信息转换成的文本信息，输出为多个情感类别及其置信度。示例性的，情感分类可以有喜悦、愤怒、悲伤和平静四个维度。
步骤130、根据用户语音的音量确定原始文本待显示的目标字体大小，根据用户语音的情感类别确定原始文本待显示的目标字体颜色。
可选的，根据用户语音的音量确定原始文本待显示的目标字体大小的方式可以是：获取基准音量对应的基准字体大小；确定语音的音量与基准音量的比例；根据比例和基准字体大小确定文本内容对应的待显示的目标字体大小。
可选的，根据用户语音的音量确定原始文本待显示的目标字体大小的方式还可以是：获取设定最大音量对应的第一字体大小以及设定最小音量对应的第二字体大小；根据设定最大音量和设定最小音量对用户语音的音量进行归一化处理；根据归一化后的音量确定待显示的目标字体大小。
优选的，基于音量确定原始文本的目标字体大小可以有两种方式。第一种先确定基准音量及其对应的基准字体大小，然后根据获取到的用户语音的音量与基准音量的比例确定目标字体大小与基准字体大小的比例。其中，基准音量可以是预先设定的，可以通过大数据分析的方式获取用户说话时音量的平均值，将该平均值作为基准音量，并设置与基准音量对应的基准字体大小。字体大小可以由字号来表征。具体的，可以计算获取的用户语音的音量与基准音量的比值，将比值与标准字体大小相乘，获得目标字体大小。例如，基准音量为50dB，对应的基准字体为10号，若获取到的用户语音的音量是25dB，为基准音量的二分之一，则目标字体大小为基准字体的二分之一即5号。第二种方式先确定可以显示的音量大小阈值，然后确定该音量大小阈值中最大音量和最小音量分别对应的字体大小，然后建立音量大小与字体大小之间的线性映射关系，再根据归一化处理之后的用户语音音量确定目标字体大小。其中，归一化处理的公式为
Figure BDA0002726616790000091
S为获取的用户语音的音量，Smax为语音中的最大音量，Smin为语音中的最小音量，G为归一化后的音量。例如，最小音量和最大音量分别为20dB和80dB，对应的字体大小分别为10号和40号，若获取到的用户语音音量为50dB，归一化之后的音量为0.5，则对应的目标字体大小为25号。
在本实施例中，根据用户语音的情感类别确定原始文本待显示的目标字体颜色的方式可以是：获取各情感类别分别对应的颜色；根据置信度对多个情感类别分别对应的颜色进行融合，获得原始文本待显示的目标字体颜色。
具体的，获取各情感类别分别对应的颜色的方式可以是：获取各情感类别分别对应的颜色的色域值；相应的，根据置信度对多个情感类别分别对应的颜色进行融合，获得原始文本待显示的目标字体颜色的方式可以是：根据置信度对多个色域值进行加权求和，获得原始文本待显示的目标字体颜色的色域值。
进一步地，可以预先设定各情感类别对应的颜色，并获取各颜色的色域值，再根据各个情感类别的置信度对色域值进行加权求和，计算出的色域值对应的颜色即原始文本的显示颜色。示例性的，在本申请中，情感类别包括喜悦、愤怒、悲伤、平静4个维度。其中，喜悦为黄色，黄色的色域值为A；愤怒为红色，红色的色域值为B；悲伤为蓝色，蓝色的色域值为C；平静为黑色，黑色的色域值为D。某段语音在识别后，各情感类别的置信度分别为喜悦0.2、愤怒0.6、悲伤0.1和平静0.1，则该段语音的文本的显示颜色的色域值为：Y＝0.2*A+0.6*B+0.1*C+0.1*D，根据计算出的色域值确定其对应的颜色。
步骤140、将原始文本以目标字体大小及目标字体颜色以弹幕形式显示在界面上。
具体的，得到原始文本的目标字体大小与目标字体颜色后，即可将其以相应的大小和颜色进行显示。
示例性的，用户语音可以是用户在观看视频时以语音形式输入的弹幕语音，根据本发明实施例所提供的方法，可以将弹幕语音转换成文字并以目标字体大小及目标字体颜色显示以弹幕的形式显示在界面上，这样做的好处是，既不会影响用户观看视频，也使得弹幕中包含了语音中的音量及情感信息。
本发明实施例首先获取用户输入的语音信息，将语音信息转换为原始文本信息；然后根据语音信息确定用户语音的音量，根据语音信息及原始文本信息确定用户语音的情感类别；再根据用户语音的音量确定原始文本待显示的目标字体大小，根据用户语音的情感类别确定原始文本待显示的目标字体颜色；最后将原始文本以目标字体大小及目标字体颜色以弹幕形式显示在界面上。本发明实施例提供的语音弹幕的显示方法，在将语音转换成弹幕后，以语音音量对应的字体大小以及语音情感对应的颜色显示弹幕，考虑用户的音量和情感，可以在弹幕中包含更多的信息，增强了用户阅读弹幕的趣味性。
实施例二
图2为本发明实施例二提供的一种语音弹幕的显示装置结构示意图。如图2所示，该装置包括：语音信息转换模块210，用户语音的音量与情感类别确定模块220，目标字体大小与目标字体颜色确定模块230，原始文本显示模块240。
语音信息转换模块210，用于获取用户输入的语音信息，将语音信息转换为原始文本信息。
用户语音的音量与情感类别确定模块220，用于根据语音信息确定用户语音的音量，根据语音信息及原始文本信息确定用户语音的情感类别。
可选的，用户语音的音量与情感类别确定模块220还用于：
将语音信息和原始文本信息输入设定神经网络，获得用户语音对应的多个情感类别以及各情感类别的置信度。
可选的，用户语音的音量与情感类别确定模块220还用于：
确定用户语音的音频振幅；根据音频振幅确定用户语音的音量。
目标字体大小与目标字体颜色确定模块230，用于根据用户语音的音量确定原始文本待显示的目标字体大小，根据用户语音的情感类别确定原始文本待显示的目标字体颜色。
可选的，目标字体大小与目标字体颜色确定模块230还用于：
获取基准音量对应的基准字体大小；确定语音的音量与基准音量的比例；根据比例和基准字体大小确定文本内容对应的待显示的目标字体大小。
可选的，目标字体大小与目标字体颜色确定模块230还用于：
获取设定最大音量对应的第一字体大小以及设定最小音量对应的第二字体大小；根据设定最大音量和设定最小音量对用户语音的音量进行归一化处理；根据归一化后的音量确定待显示的目标字体大小。
可选的，目标字体大小与目标字体颜色确定模块230还用于：
获取各情感类别分别对应的颜色；根据置信度对多个情感类别分别对应的颜色进行融合，获得原始文本待显示的目标字体颜色。
可选的，目标字体大小与目标字体颜色确定模块230还用于：
获取各情感类别分别对应的颜色的色域值；相应的，根据置信度对多个情感类别分别对应的颜色进行融合，获得原始文本待显示的目标字体颜色，包括：根据置信度对多个色域值进行加权求和，获得原始文本待显示的目标字体颜色的色域值。
原始文本显示模块240，用于将原始文本以目标字体大小及目标字体颜色以弹幕形式显示在界面上。
实施例三
图3为本发明实施例三提供的一种计算机设备的结构示意图。图3示出了适于用来实现本发明实施方式的计算机设备312的框图。图3显示的计算机设备312仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。设备312是典型的语音弹幕的显示计算设备。
如图3所示，计算机设备312以通用计算设备的形式表现。计算机设备312的组件可以包括但不限于：一个或者多个处理器316，存储装置328，连接不同系统组件(包括存储装置328和处理器316)的总线318。
总线318表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture，ISA)总线，微通道体系结构(Micro Channel Architecture，MCA)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
计算机设备312典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备312访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置328可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)330和/或高速缓存存储器332。计算机设备312可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统334可以用于读写不可移动的、非易失性磁介质(图3未显示，通常称为“硬盘驱动器”)。尽管图3中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如只读光盘(Compact Disc-Read Only Memory，CD-ROM)、数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线318相连。存储装置328可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块326的程序336，可以存储在例如存储装置328中，这样的程序模块326包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块326通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备312也可以与一个或多个外部设备314(例如键盘、指向设备、摄像头、显示器324等)通信，还可与一个或者多个使得用户能与该计算机设备312交互的设备通信，和/或与使得该计算机设备312能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口322进行。并且，计算机设备312还可以通过网络适配器320与一个或者多个网络(例如局域网(Local AreaNetwork，LAN)，广域网Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器320通过总线318与计算机设备312的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备312使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of IndependentDisks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器316通过运行存储在存储装置328中的程序，从而执行各种功能应用以及数据处理，例如实现本发明上述实施例所提供的语音弹幕的显示方法。
实施例四
本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该程序被处理装置执行时实现如本发明实施例中的语音弹幕的显示方法。本发明上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取用户输入的语音信息，将语音信息转换为原始文本信息；根据语音信息确定用户语音的音量，根据语音信息及原始文本信息确定用户语音的情感类别；根据用户语音的音量确定原始文本待显示的目标字体大小，根据用户语音的情感类别确定原始文本待显示的目标字体颜色；将原始文本以目标字体大小及显示颜色以弹幕形式显示在界面上。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络连接到用户计算机，包括局域网(LAN)或广域网(WAN)，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种语音弹幕的显示方法，其特征在于，包括如下步骤：
获取用户输入的语音信息，将所述语音信息转换为原始文本信息；
根据所述语音信息确定用户语音的音量，根据所述语音信息及所述原始文本信息确定所述用户语音的情感类别；
根据所述用户语音的音量确定所述原始文本待显示的目标字体大小，根据所述用户语音的情感类别确定所述原始文本待显示的目标字体颜色；
将所述原始文本以所述目标字体大小及所述目标字体颜色以弹幕形式显示在界面上。
2.根据权利要求1所述的方法，其特征在于，根据所述语音信息及所述原始文本信息确定所述用户语音的情感类别，包括：
将所述语音信息和所述原始文本信息输入设定神经网络，获得所述用户语音对应的多个情感类别以及各情感类别的置信度。
3.根据权利要求1所述的方法，其特征在于，根据所述语音信息确定用户语音的音量，包括：
确定所述用户语音的音频振幅；
根据所述音频振幅确定所述用户语音的音量。
4.根据权利要求1或3所述的方法，其特征在于，根据所述用户语音的音量确定所述原始文本待显示的目标字体大小，包括：
获取基准音量对应的基准字体大小；
确定所述语音的音量与所述基准音量的比例；
根据所述比例和所述基准字体大小确定所述文本内容对应的待显示的目标字体大小。
5.根据权利要求1或3所述的方法，其特征在于，根据所述用户语音的音量确定所述原始文本待显示的目标字体大小，还包括：
获取设定最大音量对应的第一字体大小以及设定最小音量对应的第二字体大小；
根据所述设定最大音量和所述设定最小音量对所述用户语音的音量进行归一化处理；
根据归一化后的音量确定待显示的目标字体大小。
6.根据权利要求1所述的方法，其特征在于，根据所述用户语音的情感类别确定所述原始文本待显示的目标字体颜色，包括：
获取各情感类别分别对应的颜色；
根据所述置信度对所述多个情感类别分别对应的颜色进行融合，获得所述原始文本待显示的目标字体颜色。
7.根据权利要求6所述的方法，其特征在于，获取各情感类别分别对应的颜色，包括：获取各情感类别分别对应的颜色的色域值；
相应的，根据所述置信度对所述多个情感类别分别对应的颜色进行融合，获得所述原始文本待显示的目标字体颜色，包括：
根据所述置信度对多个色域值进行加权求和，获得所述原始文本待显示的目标字体颜色的色域值。
8.一种语音弹幕的显示装置，其特征在于，包括：
语音信息转换模块，用于获取用户输入的语音信息，将所述语音信息转换为原始文本信息；
用户语音的音量与情感类别确定模块，用于根据所述语音信息确定用户语音的音量，根据所述语音信息及所述原始文本信息确定所述用户语音的情感类别；
目标字体大小与目标字体颜色确定模块，用于根据所述用户语音的音量确定所述原始文本待显示的目标字体大小，根据所述用户语音的情感类别确定所述原始文本待显示的目标字体颜色；
原始文本显示模块，用于将所述原始文本以所述目标字体大小及所述目标字体颜色以弹幕形式显示在界面上。
9.一种计算机设备，其特征在于，所述设备包括：包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1-7任一所述的语音弹幕的显示方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现如权利要求1-7中任一所述的语音弹幕的显示方法。
CN202011104858.4A 2020-09-17 2020-10-15 一种语音弹幕的显示方法、装置、设备及存储介质 Pending CN112261456A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011104858.4A CN112261456A (zh) 2020-10-15 2020-10-15 一种语音弹幕的显示方法、装置、设备及存储介质
US17/447,068 US20220084525A1 (en) 2020-09-17 2021-09-08 Systems and methods for voice audio data processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011104858.4A CN112261456A (zh) 2020-10-15 2020-10-15 一种语音弹幕的显示方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112261456A true CN112261456A (zh) 2021-01-22

Family

ID=74243368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011104858.4A Pending CN112261456A (zh) 2020-09-17 2020-10-15 一种语音弹幕的显示方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112261456A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112667196A (zh) * 2021-01-28 2021-04-16 百度在线网络技术（北京）有限公司 信息展示方法及装置、电子设备和介质
CN112836072A (zh) * 2021-01-28 2021-05-25 百度在线网络技术（北京）有限公司 信息展示方法及装置、电子设备和介质
CN113205815A (zh) * 2021-04-28 2021-08-03 维沃移动通信有限公司 语音处理方法和电子设备
CN113345439A (zh) * 2021-05-28 2021-09-03 北京达佳互联信息技术有限公司 字幕生成方法、装置、电子设备和存储介质
CN113794896A (zh) * 2021-09-15 2021-12-14 北京快来文化传播集团有限公司 直播间弹幕飘屏方法、电子设备和计算机可读存储介质
CN113938739A (zh) * 2021-09-09 2022-01-14 广州虎牙科技有限公司 信息显示方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140163983A1 (en) * 2012-12-10 2014-06-12 Lg Electronics Inc. Display device for converting voice to text and method thereof
CN106873800A (zh) * 2017-02-20 2017-06-20 北京百度网讯科技有限公司 信息输出方法和装置
CN107592255A (zh) * 2017-09-19 2018-01-16 上海掌门科技有限公司 信息展示方法和设备
CN109951743A (zh) * 2019-03-29 2019-06-28 上海哔哩哔哩科技有限公司 弹幕信息处理方法、系统及计算机设备
CN110364185A (zh) * 2019-07-05 2019-10-22 平安科技（深圳）有限公司 一种基于语音数据的情绪识别方法、终端设备及介质
CN111586469A (zh) * 2020-05-12 2020-08-25 腾讯科技（深圳）有限公司 弹幕显示方法、装置及电子设备
CN111726696A (zh) * 2019-03-21 2020-09-29 阿里巴巴集团控股有限公司 声音弹幕的应用方法、装置、设备及可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140163983A1 (en) * 2012-12-10 2014-06-12 Lg Electronics Inc. Display device for converting voice to text and method thereof
CN106873800A (zh) * 2017-02-20 2017-06-20 北京百度网讯科技有限公司 信息输出方法和装置
CN107592255A (zh) * 2017-09-19 2018-01-16 上海掌门科技有限公司 信息展示方法和设备
CN111726696A (zh) * 2019-03-21 2020-09-29 阿里巴巴集团控股有限公司 声音弹幕的应用方法、装置、设备及可读存储介质
CN109951743A (zh) * 2019-03-29 2019-06-28 上海哔哩哔哩科技有限公司 弹幕信息处理方法、系统及计算机设备
CN110364185A (zh) * 2019-07-05 2019-10-22 平安科技（深圳）有限公司 一种基于语音数据的情绪识别方法、终端设备及介质
CN111586469A (zh) * 2020-05-12 2020-08-25 腾讯科技（深圳）有限公司 弹幕显示方法、装置及电子设备

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112667196A (zh) * 2021-01-28 2021-04-16 百度在线网络技术（北京）有限公司 信息展示方法及装置、电子设备和介质
CN112836072A (zh) * 2021-01-28 2021-05-25 百度在线网络技术（北京）有限公司 信息展示方法及装置、电子设备和介质
CN112836072B (zh) * 2021-01-28 2024-02-27 百度在线网络技术（北京）有限公司 信息展示方法及装置、电子设备和介质
CN113205815A (zh) * 2021-04-28 2021-08-03 维沃移动通信有限公司 语音处理方法和电子设备
CN113205815B (zh) * 2021-04-28 2023-02-28 维沃移动通信有限公司 语音处理方法和电子设备
CN113345439A (zh) * 2021-05-28 2021-09-03 北京达佳互联信息技术有限公司 字幕生成方法、装置、电子设备和存储介质
CN113345439B (zh) * 2021-05-28 2024-04-30 北京达佳互联信息技术有限公司 字幕生成方法、装置、电子设备和存储介质
CN113938739A (zh) * 2021-09-09 2022-01-14 广州虎牙科技有限公司 信息显示方法、装置、电子设备及存储介质
CN113938739B (zh) * 2021-09-09 2024-04-19 广州虎牙科技有限公司 信息显示方法、装置、电子设备及存储介质
CN113794896A (zh) * 2021-09-15 2021-12-14 北京快来文化传播集团有限公司 直播间弹幕飘屏方法、电子设备和计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN112261456A (zh) 一种语音弹幕的显示方法、装置、设备及存储介质
CN112115706B (zh) 文本处理方法、装置、电子设备及介质
US10614803B2 (en) Wake-on-voice method, terminal and storage medium
US20240021202A1 (en) Method and apparatus for recognizing voice, electronic device and medium
US10558701B2 (en) Method and system to recommend images in a social application
WO2021218069A1 (zh) 基于场景动态配置的交互处理方法、装置、计算机设备
CN111368559A (zh) 语音翻译方法、装置、电子设备及存储介质
US10062384B1 (en) Analysis of content written on a board
WO2023077995A1 (zh) 信息提取方法、装置、设备、介质及产品
CN113378586B (zh) 语音翻译方法、翻译模型训练方法、装置、介质及设备
CN113407677B (zh) 评估咨询对话质量的方法、装置、设备和存储介质
CN110826567A (zh) 光学字符识别方法、装置、设备及存储介质
US10762906B2 (en) Automatically identifying speakers in real-time through media processing with dialog understanding supported by AI techniques
CN110138654B (zh) 用于处理语音的方法和装置
CN110379406B (zh) 语音评论转换方法、系统、介质和电子设备
CN111400463B (zh) 对话响应方法、装置、设备和介质
CN113782029A (zh) 语音识别模型的训练方法、装置、设备以及存储介质
CN114970470B (zh) 文案信息处理方法、装置、电子设备和计算机可读介质
CN115623134A (zh) 会议音频处理方法、装置、设备及存储介质
CN113077793B (zh) 一种语音识别方法、装置、设备及存储介质
CN111859902A (zh) 一种文本处理方法、装置、设备及介质
CN113312928A (zh) 文本翻译方法、装置、电子设备和存储介质
CN113221514A (zh) 文本处理方法、装置、电子设备和存储介质
CN111883133A (zh) 客服语音识别方法、装置、服务器及存储介质
CN112951274A (zh) 语音相似度确定方法及设备、程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210122

RJ01 Rejection of invention patent application after publication