CN111031329B - 一种用于管理音频数据的方法、设备和计算机存储介质 - Google Patents

一种用于管理音频数据的方法、设备和计算机存储介质 Download PDF

Info

Publication number
CN111031329B
CN111031329B CN201811178808.3A CN201811178808A CN111031329B CN 111031329 B CN111031329 B CN 111031329B CN 201811178808 A CN201811178808 A CN 201811178808A CN 111031329 B CN111031329 B CN 111031329B
Authority
CN
China
Prior art keywords
live
speech
audio
room
sensitivity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811178808.3A
Other languages
English (en)
Other versions
CN111031329A (zh
Inventor
赵斯禹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tacit Understanding Ice Breaking Technology Co ltd
Original Assignee
Beijing Tacit Understanding Ice Breaking Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tacit Understanding Ice Breaking Technology Co ltd filed Critical Beijing Tacit Understanding Ice Breaking Technology Co ltd
Priority to CN201811178808.3A priority Critical patent/CN111031329B/zh
Publication of CN111031329A publication Critical patent/CN111031329A/zh
Application granted granted Critical
Publication of CN111031329B publication Critical patent/CN111031329B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23106—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25891—Management of end-user data being end-user preferences

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本公开的实施例涉及用于管理音频数据的方法、设备和计算机存储介质。在一个实施例中，提出了一种用于管理音频数据的方法。该方法包括：在直播间的直播期间，缓存该直播间的用户在最近的第一时间段期间的目标音频；识别该目标音频的音频波形；基于该音频波形与敏感语音库的比较，判断该音频波形中是否存在语音敏感词，该敏感语音库包括与该语音敏感词相关联的多个语音波形；响应于该判断的结果为是，增加该直播间的敏感度值；以及基于该敏感度值与敏感度条件的比较，针对该直播间执行屏蔽动作，其中该敏感度条件与该用户的信用等级相关联。在其他实施例中，提供了用于管理音频数据的设备和计算机存储介质。

Description

一种用于管理音频数据的方法、设备和计算机存储介质
技术领域
本公开的实施例涉及音频处理领域，并且更具体地涉及用于管理音频数据、尤其是用于管理网络直播间中的音频数据的方法、设备和计算机存储介质。
背景技术
随着即时网络通信技术和智能手机的持续迅猛发展，出现了众多拥有网络直播功能的PC端和手机端的应用。由于网络直播能够极大地促进用户之间的沟通和互动，因此已经在娱乐休闲、远程教学、商务推广等方面得到了广泛使用。为了防止不良言论在大量用户中的传播，需要针对直播中的各种内容执行监测。然而，通常需要大量的后台管理员或审核员对直播数据进行人工监测，以及时屏蔽违规内容或进行封禁处理等，直播中的语音监测在拥有众多直播数据的应用平台上难以高效地进行。
此外，目前提出的屏蔽方案往往仅针对违规内容进行简单的屏蔽处理或直接封禁直播间，这往往会给参与热门直播的用户或发起直播的播主带来不佳的体验。
发明内容
本公开的实施例提供一种用于管理音频数据的方案，其能够增加参与直播用户的使用体验。
根据本公开的第一方面，提供了一种用于管理音频数据的方法，包括：在直播间的直播期间，缓存该直播间的用户在最近的第一时间段期间的目标音频；识别该目标音频的音频波形；基于该音频波形与敏感语音库的比较，判断该音频波形中是否存在语音敏感词，该敏感语音库包括与该语音敏感词相关联的多个语音波形；响应于该判断的结果为是，增加该直播间的敏感度值；以及基于该敏感度值与敏感度条件的比较，针对该直播间执行屏蔽动作，其中该敏感度条件与该用户的信用等级相关联。
根据本公开的第二方面，提供了一种用于管理音频数据的设备，包括：至少一个处理单元；至少一个存储器，该至少一个存储器被耦合到该至少一个处理单元并且存储用于由该至少一个处理单元执行的指令，该指令当由该至少一个处理单元执行时，使得该设备执行动作。该动作包括：在直播间的直播期间，缓存该直播间的用户在最近的第一时间段期间的目标音频；识别该目标音频的音频波形；基于该音频波形与敏感语音库的比较，判断该音频波形中是否存在语音敏感词，该敏感语音库包括与该语音敏感词相关联的多个语音波形；响应于该判断的结果为是，增加该直播间的敏感度值；以及基于该敏感度值与敏感度条件的比较，针对该直播间执行屏蔽动作，其中该敏感度条件与该用户的信用等级相关联。
在本公开的第三方面，提供了一种计算机存储介质。该计算机存储介质具有存储在其上的计算机可读程序指令，计算机可读程序指令用于执行根据第一方面的方法。
提供发明内容部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或必要特征，也无意限制本公开的范围。
附图说明
通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同的附图标记通常代表相同部件。
图1图示了能够在其中实施本公开的多个实现的计算环境的框图；
图2图示了根据本公开的实施例的用于管理音频数据的方法的流程图；
图3图示了根据本公开的实施例的判断音频波形中是否存在语音敏感词的方法的流程图；
图4图示了根据一个实施例的针对直播间执行屏蔽动作的操作的流程图；以及
图5图示了可以用来实施本公开内容的实施例的示例设备的示意性框图。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
如以上讨论的，往往需要大量的后台管理员对诸如网络直播平台的网络应用中生成的音频数据进行人工审核，这经常是低效的。此外，在监测到违规内容的情况下，网络直播间往往仅采取简单的屏蔽语音或封禁直播间等措施，缺乏个性化的屏蔽方案，由此给参与直播的用户带来了不佳的使用体验。因此，期望以自动的方式识别出直播音频数据中的特定词汇或语句，并且在准确识别的同时尽量不影响直播用户的使用体验。
根据本公开的实施例，提供了一种用于管理音频数据的方案。该方案包括：在直播间的直播期间，缓存该直播间的用户在最近的第一时间段期间的目标音频；识别该目标音频的音频波形；基于该音频波形与敏感语音库的比较，判断该音频波形中是否存在语音敏感词，该敏感语音库包括与该语音敏感词相关联的多个语音波形；响应于该判断的结果为是，增加该直播间的敏感度值；以及基于该敏感度值与敏感度条件的比较，针对该直播间执行屏蔽动作，其中该敏感度条件与该用户的信用等级相关联。
采用本公开的方案，能够实现自动的直播语音敏感词识别和个性化屏蔽管理，并且能够在准确识别的同时不影响直播用户的使用体验。
以下参考附图来说明本公开的基本原理和若干示例实现。
图1图示了能够在其中实施本公开的多个实现的计算环境100的框图。应当理解，图1所示出的计算环境100仅仅是示例性的，而不应当构成对本公开所描述的实现的功能和范围的任何限制。如图1所示，计算环境100包括计算设备130以及服务器140。在一些实施例中，计算设备130与服务器140之间可以经由网络互相通信。
在一些实施例中，计算设备130诸如是任何类型的移动终端、固定终端或便携式终端，包括移动手机、多媒体计算机、多媒体平板、互联网节点、通信器、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、个人通信系统(PCS)设备、个人导航设备、个人数字助理(PDA)、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或者其任意组合，包括这些设备的配件和外设或者其任意组合。还可预见到的是，计算设备130能够支持任何类型的针对用户的接口(诸如“可佩戴”电路等)。
服务器140可以用于管理音频数据。为了执行音频数据的管理，服务器140接收语音敏感词词库110。将会理解，在此的语音敏感词词库110可以包括多方面的内容。例如，在一些实施例中，服务器可以通过有线连接和/或无线连接来接收语音敏感词词库110。例如，语音敏感词词库110可以包括多个语音敏感词及其相对应的预定步长，其中预定步长用于表征该语音敏感词的违规程度。例如，语音敏感词词库110中的多个语音敏感词可以按照不同的应用场景进行分类，诸如网络直播、安防监测、远程教育等，以使服务器140在不同的应用场景中仅接收语音敏感词词库110中的相关类别下的语音敏感词。例如，具有权限的用户120和/或其他人员可以按需对语音敏感词词库110进行动态修改或更新。在一些实施例中，语音敏感词词库110也可以被存储在服务器140上。
在一些实施例中，用户120可以对计算设备130进行操作、诸如在网络直播平台的直播期间与其他用户进行互动，而用户120在此期间生成的目标音频将经由网络被存储在服务器140上。将会理解，尽管在图1中仅示意性示出了一个用户120操作一个计算设备130的情况。在网络直播环境中，多个用户可以分别经由各自的计算设备来连接服务器140，以便参与直播。
在一些实施例中，服务器140可以根据语音敏感词词库110以及从用户120获得的目标音频，来判断用户120生成的目标音频中是否存在语音敏感词，并且根据判断结果执行屏蔽动作。
在一些实施例中，随着计算设备130上的客户端处理能力的增加，也可以由计算设备130上的客户端来执行例如确定用户120生成的目标音频中是否存在敏感词以及根据确定结果执行屏蔽动作的操作。
图2图示了根据本公开的实施例的用于管理音频数据的方法200的流程图。方法200能够实现音频数据、尤其是直播中的音频数据的准确的自动管理，并且能够增加参与直播用户的使用体验。
方法200开始于框202，在直播间的直播期间，缓存直播间的用户在最近的第一时间段期间的目标音频。缓存的主要目的在于实现对最近的第一时间段期间的目标音频进行检测，并且在该缓存的目标音频向用户播放之前已经执行屏蔽动作，如下文将进一步描述的。在一些实施例中，可以仅缓存发起直播的用户(或者被称为“播主”)的目标音频。在一些实施例中，可以对于播主和每个参与直播间的用户分别缓存目标音频。在一些实施例中，第一时间段不应持续过长、诸如至多持续10秒，以提升参与直播间用户的使用体验。
随后，在框204，识别目标音频的音频波形。在框206，基于音频波形与敏感语音库的比较，判断音频波形中是否存在语音敏感词。敏感语音库包括与语音敏感词相关联的多个语音波形。在一些实施例中，敏感语音库包括至少一个敏感词语音波形组，其中每一个敏感词语音波形组包括与语音敏感词相对应的标准语音波形和多个扩展语音波形。在一些实施例中，上述多个扩展语音波形是基于干扰因素而从标准语音波形获得的。
在一些实施例中，标准语音波形可以被认为是在没有干扰因素情况下的语音波形，以作为随后获得扩展语音波形的基础。在一些实施例中，标准语音波形是与语音敏感词相对应的标准普通话形式的语音波形。在一些实施例中，标准语音波形可以由离线和/或在线语音应用和/或软件生成，并且在一些其他实施例中，标准语音波形可以由人工录制。例如，可以将利用标准普通话朗读所获得的波形作为标准语音波形。
在一些实施例中，扩展语音波形可以被认为是与语音敏感词相对应、但相对于标准语音波形而言存在附加波形特征的波形。获得多个扩展语音波形的目的可以是针对不同的干扰因素来提高管理音频数据的准确性。在一些实施例中，干扰因素包括以下中的至少一项：方言口音、语调、语速、性别、以及情感。
现在结合图3来详细说明确定音频波形中存在与敏感词语音波形组中的波形相匹配的部分的操作。图3图示了根据本公开的实施例的判断音频波形中是否存在语音敏感词的方法300的流程图。
在框302，从音频波形中提取特征值。在一些实施例中，音频波形的特征值可以包括在语音识别领域中常用的特征的值，诸如响度、基音周期、基音频率、信噪比、短时能量、短时平均幅度、短时平均过零率、共振峰等。在一些实施例中，可以采用诸如短时能量分析、短时平均振幅分析、短时过零分析、倒谱分析、短时傅里叶变换等语音特征提取技术来从音频波形中提取特征值。在一些实施例中，在提取音频波形的特征值时可以对音频波形进行预处理，诸如采样、量化、分帧、加窗、端点检测等，以例如去除音频波形中存在的固有环境特征的影响。
在框304，确定所提取的特征值与敏感语音库中的多个语音波形的特征值之间的相似度。在一些实施例中，敏感语音库中的多个语音波形包括如上所述的标准语音波形和扩展语音波形。确定相似度的操作可以采用语音识别领域中常见的技术。在一些实施例中，可以采用Viterbi算法，以在给定所提取的特征值和敏感语音库的情况下，从敏感语音库的各个波形中选取具有最大匹配概率的波形作为识别结果。随后在框306，响应于相似度高于相似度阈值，确定音频波形中存在语音敏感词。在关于Viterbi算法的实施例中，如果最大匹配概率高于相似度阈值，则可以确定音频波形中存在语音敏感词。
现在回到图2，在框208，响应于判断的结果为是，增加直播间的敏感度值。直播间的敏感度值是用来表征在该直播间的直播期间出现敏感词的次数和权重。在确定音频波形中存在语音敏感词的情况下，可以认为最近的第一时间段期间的目标音频中存在敏感词。在一些实施例中，该敏感度值可以是基于来自直播间的全部用户的音频数据来确定的。在一些实施例中，可以基于直播间的部分发言活跃的用户来确定敏感度值，或者还可以仅基于播主的音频数据来确定敏感度值。
在一些实施例中，增加直播间的敏感度值可以包括：按照与语音敏感词相关联的预定步长，增加敏感度值。预定步长表征了敏感词的敏感程度。例如，一些敏感词可能具有很高的敏感程度，其在直播间中的一次出现就足以触发对整个直播间的屏蔽动作；而另一些敏感词可能具有较低的敏感程度，其在直播间中累计出现多次时才能触发对整个直播间的屏蔽动作。在一些实施例中，预定步长可以作为语音敏感词的属性而被存储在语音敏感词词库110或其他结构化形式的文件中。
在框210，基于敏感度值与敏感度条件的比较，针对直播间执行屏蔽动作，其中敏感度条件与用户的信用等级相关联。屏蔽动作可以是处理用户的目标音频以屏蔽或消除目标音频中的敏感词，或者是针对用户或直播间的相应措施。在一些实施例中，屏蔽动作包括替换目标音频中的与敏感词波形组中的波形相匹配的部分，诸如将敏感词替换为电视节目中通常使用的低频音(“哔哔”声)。在一些实施例中，屏蔽动作包括向用户发出警告，以例如提醒直播间的播主或参与直播间的用户来规范自己在直播间中的行为。在一些实施例中，屏蔽动作包括禁止用户在直播间内发言，这通常针对直播间内违规较严重的用户。在一些实施例中，屏蔽动作包括禁止直播间的所有音频、即采取静音处理，或者直接封禁该直播间。这通常针对直播间内出现严重违规的情况，例如在很短的时间段内出现大量敏感词的情况。在一些其他实施例中，屏蔽动作包括仅向直播间的管理员发送通知，而不对直播间作出任何处理。这一方面可以保证直播间的流畅用户体验，另一方面提醒管理员可以对该直播间进行人工监测。
敏感度条件是表征是否应当针对敏感度值来触发屏蔽动作的条件。在一些实施例中，敏感度条件可以与用户的信用等级相关联。在仅缓存播主的目标音频的实施例中，敏感度条件可以与播主的信用等级相关联。在对于播主和每个参与直播间的用户分别缓存目标音频的实施例中，敏感度条件可以分别与播主和每个参与直播间的用户相关联。在一些实施例中，信用等级可以取决于以下中的至少任一项：用户的历史直播记录、用户的先前信用等级、用户被其他用户有效举报的记录以及用户的受处罚记录。例如，假定敏感度条件是达到某个敏感度阈值，在发起直播间的播主具有低的信用等级的情况下，该直播间的敏感度阈值较低，以至于较少的敏感词的出现就可能导致屏蔽动作的执行。
本领域技术人员应当理解，在一次直播当中，敏感度条件和屏蔽动作均不限于一个。在一些实施例中，可以设置不同的敏感度条件及其相应的屏蔽动作，并且响应于直播间的敏感度值满足不同的敏感度条件而执行不同的屏蔽动作，如下文将进一步描述的。
在一些实施例中，方法200还可以包括如下可选操作：响应于判断的结果为否，播放被缓存的所述目标音频。该操作对应于未触发屏蔽动作执行的情况。在一些实施例中，播放被缓存的目标音频包括：将目标音频延迟第二时间段后播放目标音频，第二时间段大于所述第一时间段。在一些实施例中，第二时间段不应持续过长、诸如至多持续25秒，以提升参与直播间用户的使用体验。
方法200的主要优势在于，能够在直播期间准确地识别语音敏感词的同时，采取差异化的屏蔽动作以增强直播参与用户的使用体验。直播间不会因为出现敏感词而简单地遭到封禁，而是根据不同敏感词的情况而被采取不同的屏蔽动作，从而能够保证直播的流畅性。
为了进一步说明，图4图示了根据一个实施例的针对直播间执行屏蔽动作的操作400的流程图。在图4中，图示了四个敏感度条件402、404、406、408以及三个屏蔽动作412、414、416。其中屏蔽动作412、414、416分别与敏感度条件402、404、406相对应。敏感度条件408表示无需针对直播间执行屏蔽动作的情况。敏感度条件402、404、406、408在图4中被图示为落入不同的阈值区间，其中A0、A1、A2表示阈值区间的端点值，且A0＜A1＜A2。需要说明的是，敏感度条件不限于图4中图示的示例。在一些实施例中，敏感度条件可以是在单位时间内敏感度值上升的幅度。
在操作400中，首先在动作410处获取直播间的当前的敏感度值。如前所述，敏感度值用来表征在该直播间的直播期间出现敏感词的次数和权重。随后，将获取的敏感度值与各敏感度条件作比较。
如果敏感度值满足第一敏感度条件402、即敏感度值≥A2，则执行第一屏蔽动作412。在该实施例中，第一屏蔽动作412包括：在第三时间段期间持续屏蔽直播间内的所有音频，以及通知直播间的管理员。这对应于直播间内的敏感度值已经非常高、需要对整个直播间进行屏蔽处理的情况。在一些其他实施例中，还可以响应于敏感度值满足第一敏感度条件402而直接封禁整个直播间，并且针对直播间播主和其他用户采取进一步的处罚措施。通知直播间的管理员的目的可以是提醒管理员发生了直播间的严重违规情况，从而让管理员判断是否应当采取附加措施。
如果敏感度值满足第二敏感度条件404、即A1≤敏感度值＜A2，则执行第二屏蔽动作414。在该实施例中，第二屏蔽动作414包括：向用户发送警告，以及通知直播间的管理员。这对应于直播间内的敏感度值处于较高状态、需要提醒直播间的用户控制其言行的情况。在一些实施例中，向用户发送警告包括：暂停直播，向用户呈现警告界面。在一些实施例中，向用户发送警告包括：在不影响直播间的直播的情况下，向用户弹出警告窗口。在这种情况下，继续累加直播间的敏感度值，如果进一步判断敏感度值满足第一敏感度条件402，则执行如上所述的第一屏蔽动作412。
如果敏感度值满足第三敏感度条件406、即A0≤敏感度值＜A1，则执行第三屏蔽动作416。在该实施例中，第三屏蔽动作416包括：在不影响直播间的直播的情况下，通知直播间的管理员。这对应于直播间内出现违规(例如，出现少量的语音敏感词)、需要提示管理员重点关注的情况。第三屏蔽动作416并不涉及对直播的任何暂停或终止，被缓存的目标音频在延迟一时间段(诸如上面提到的第二时间段)之后被播放。由此，这可以增加用户的使用体验。在这种情况下，继续累加直播间的敏感度值，如果进一步判断敏感度值满足第一敏感度条件402或第二敏感度条件404，则执行如上所述的第一屏蔽动作412或第二屏蔽动作414。
如果敏感度值满足第四敏感度条件408、即敏感度值＜A0，则无需执行任何屏蔽动作。这对应于直播间内敏感度值很低、无需采取任何措施的情况。在这种情况下，被缓存的目标音频在延迟一时间段(诸如上面提到的第二时间段)之后被播放，这在图4中被图示为动作418。
敏感度条件402、404、406、408与直播间的用户的信用等级相关联。例如，在图4图示的实施例中，针对不同的用户具有不同的A0、A1、A2的值。信用等级较低的用户具有较低的A0、A1、A2的值，以至于较少的敏感词的出现就可能导致屏蔽动作的执行；而信用等级较高的用户具有较高的A0、A1、A2的值，以至于较多的敏感词的出现才可能导致屏蔽动作的执行。
本领域技术人员将理解，图4中图示的操作400仅作为示例。可以有多于或少于四个的敏感度条件，以及不同于图4中图示的屏蔽动作。
基于本公开的方案，能够在诸如网络游戏直播等直播平台上实现自动的直播语音敏感词识别和个性化屏蔽管理，并且能够在准确识别的同时不影响直播用户的使用体验。本公开的方案不仅可以应用于网络直播平台，还可以广泛应用于其他直播场合，诸如在线教学、远程会议、远程诊断等。
图5图示了可以用来实施本公开内容的实施例的示例设备500的示意性框图。例如，如图1所示的示例环境100中的计算设备130可以由设备500来实施。如图所示，设备500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的计算机程序指令或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序指令，来执行各种适当的动作和处理。在RAM 503中，还可存储设备500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个过程和处理，例如方法200和/或方法300，可由处理单元501执行。例如，在一些实施例中，方法200和/或方法300可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序被加载到RAM 503并由CPU 501执行时，可以执行上文描述的方法200和/或方法300的一个或多个动作。
本公开可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是——但不限于——电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言-诸如Smalltalk、C++等，以及常规的过程式编程语言-诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络-包括局域网(LAN)或广域网(WAN)-连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施方式，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施方式。在不偏离所说明的各实施方式的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施方式的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施方式。

Claims (21)

1.一种用于管理音频数据的方法，包括：
在直播间的直播期间，缓存所述直播间的用户在最近的第一时间段期间的目标音频；
识别所述目标音频的音频波形；
基于所述音频波形与敏感语音库的比较，判断所述音频波形中是否存在语音敏感词，所述敏感语音库包括与所述语音敏感词相关联的多个语音波形；
响应于所述判断的结果为是，增加所述直播间的敏感度值，所述敏感度值指示在所述直播间的所述直播期间出现所述语音敏感词的次数和权重；以及
基于所述敏感度值与敏感度条件的比较，针对所述直播间执行与所述敏感度条件对应的屏蔽动作，其中所述敏感度条件与所述用户的信用等级相关联，
其中所述敏感语音库包括至少一个敏感词语音波形组，所述至少一个敏感词语音波形组中的每个敏感词语音波形组包括与语音敏感词相对应的标准语音波形和多个扩展语音波形，其中所述多个扩展语音波形是基于干扰因素而从所述标准语音波形获得的。
2.根据权利要求1所述的方法，进一步包括：
响应于所述判断的结果为否，播放被缓存的所述目标音频。
3.根据权利要求1所述的方法，其中播放被缓存的所述目标音频包括：
将所述目标音频延迟第二时间段后播放所述目标音频，所述第二时间段大于所述第一时间段。
4.根据权利要求1所述的方法，其中增加所述敏感度值包括：
按照与所述语音敏感词相关联的预定步长，增加所述敏感度值。
5.根据权利要求1所述的方法，其中判断所述音频波形中是否存在所述语音敏感词包括：
从所述音频波形中提取特征值；
确定所提取的特征值与所述敏感语音库中的所述多个语音波形的所述特征值之间的相似度；以及
响应于所述相似度高于相似度阈值，确定所述音频波形中存在所述语音敏感词。
6.根据权利要求1所述的方法，其中所述干扰因素包括以下中的至少任一项：方言口音、语调、语速、性别以及情感。
7.根据权利要求1所述的方法，其中所述信用等级取决于以下中的至少任一项：所述用户的历史直播记录、所述用户的先前信用等级、所述用户被其他用户有效举报的记录、所述用户的受处罚记录。
8. 根据权利要求1所述的方法，其中针对所述直播间执行屏蔽动作包括：响应于所述敏感度值满足第一敏感度条件：
在第三时间段期间持续屏蔽所述直播间内的所有音频；以及
通知所述直播间的管理员。
9. 根据权利要求1所述的方法，其中针对所述直播间执行屏蔽动作包括：响应于所述敏感度值满足第二敏感度条件：
向所述用户发送警告；以及
通知所述直播间的管理员。
10.根据权利要求1所述的方法，其中针对所述直播间执行屏蔽动作包括：响应于所述敏感度值满足第三敏感度条件：
在不影响所述直播间的直播的情况下，通知所述直播间的管理员。
11.一种用于管理音频数据的设备，包括：
至少一个处理单元；
至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令当由所述至少一个处理单元执行时，使得所述设备执行动作，所述动作包括：
在直播间的直播期间，缓存所述直播间的用户在最近的第一时间段期间的目标音频；
识别所述目标音频的音频波形；
基于所述音频波形与敏感语音库的比较，判断所述音频波形中是否存在语音敏感词，所述敏感语音库包括与所述语音敏感词相关联的多个语音波形；
响应于所述判断的结果为是，增加所述直播间的敏感度值，所述敏感度值指示在所述直播间的所述直播期间出现所述语音敏感词的次数和权重；以及
基于所述敏感度值与敏感度条件的比较，针对所述直播间执行与所述敏感度条件对应的屏蔽动作，其中所述敏感度条件与所述用户的信用等级相关联，
其中所述敏感语音库包括至少一个敏感词语音波形组，所述至少一个敏感词语音波形组中的每个敏感词语音波形组包括与语音敏感词相对应的标准语音波形和多个扩展语音波形，其中所述多个扩展语音波形是基于干扰因素而从所述标准语音波形获得的。
12.根据权利要求11所述的设备，所述动作进一步包括：
响应于所述判断的结果为否，播放被缓存的所述目标音频。
13.根据权利要求11所述的设备，其中播放被缓存的所述目标音频包括：
将所述目标音频延迟第二时间段后播放所述目标音频，所述第二时间段大于所述第一时间段。
14.根据权利要求11所述的设备，其中增加所述敏感度值包括：
按照与所述语音敏感词相关联的预定步长，增加所述敏感度值。
15.根据权利要求11所述的设备，其中判断所述音频波形中是否存在所述语音敏感词包括：
从所述音频波形中提取特征值；
确定所提取的特征值与所述敏感语音库中的所述多个语音波形的所述特征值之间的相似度；以及
响应于所述相似度高于相似度阈值，确定所述音频波形中存在所述语音敏感词。
16.根据权利要求11所述的设备，其中所述干扰因素包括以下中的至少任一项：方言口音、语调、语速、性别以及情感。
17.根据权利要求11所述的设备，其中所述信用等级取决于以下中的至少任一项：所述用户的历史直播记录、所述用户的先前信用等级、所述用户被其他用户有效举报的记录、所述用户的受处罚记录。
18. 根据权利要求11所述的设备，其中针对所述直播间执行屏蔽动作包括：响应于所述敏感度值满足第一敏感度条件：
在第三时间段期间持续屏蔽所述直播间内的所有音频；以及
通知所述直播间的管理员。
19. 根据权利要求11所述的设备，其中针对所述直播间执行屏蔽动作包括：响应于所述敏感度值满足第二敏感度条件：
向所述用户发送警告；以及
通知所述直播间的管理员。
20.根据权利要求11所述的设备，其中针对所述直播间执行屏蔽动作包括：响应于所述敏感度值满足第三敏感度条件：
在不影响所述直播间的直播的情况下，通知所述直播间的管理员。
21.一种计算机可读存储介质，具有存储在其上的计算机可读程序，所述计算机可读程序在由处理器执行时，使所述处理器执行根据权利要求1-10中任一项所述的方法。
CN201811178808.3A 2018-10-10 2018-10-10 一种用于管理音频数据的方法、设备和计算机存储介质 Active CN111031329B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811178808.3A CN111031329B (zh) 2018-10-10 2018-10-10 一种用于管理音频数据的方法、设备和计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811178808.3A CN111031329B (zh) 2018-10-10 2018-10-10 一种用于管理音频数据的方法、设备和计算机存储介质

Publications (2)

Publication Number Publication Date
CN111031329A CN111031329A (zh) 2020-04-17
CN111031329B true CN111031329B (zh) 2023-08-15

Family

ID=70191721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811178808.3A Active CN111031329B (zh) 2018-10-10 2018-10-10 一种用于管理音频数据的方法、设备和计算机存储介质

Country Status (1)

Country Link
CN (1) CN111031329B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112153397B (zh) * 2020-09-16 2023-03-14 北京达佳互联信息技术有限公司 视频处理方法、装置、服务器及存储介质
CN112885371B (zh) * 2021-01-13 2021-11-23 北京爱数智慧科技有限公司 音频脱敏的方法、装置、电子设备以及可读存储介质
CN113613035A (zh) * 2021-07-30 2021-11-05 广州繁星互娱信息科技有限公司 敏感信息的处理方法、装置、电子设备及存储介质
CN113724735A (zh) * 2021-09-01 2021-11-30 广州博冠信息科技有限公司 语音流处理方法及装置、计算机可读存储介质、电子设备
CN113949887A (zh) * 2021-09-24 2022-01-18 支付宝(杭州)信息技术有限公司 对于网络直播数据的处理方法及装置

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104143329A (zh) * 2013-08-19 2014-11-12 腾讯科技（深圳）有限公司 进行语音关键词检索的方法及装置
CN105006230A (zh) * 2015-06-10 2015-10-28 合肥工业大学 一种面向非特定人的语音敏感信息检测和过滤方法
CN105244026A (zh) * 2015-08-24 2016-01-13 陈娟 一种语音处理方法及装置
CN106101819A (zh) * 2016-06-21 2016-11-09 武汉斗鱼网络科技有限公司 一种基于语音识别的直播视频敏感内容过滤方法及装置
CN106251859A (zh) * 2016-07-22 2016-12-21 百度在线网络技术（北京）有限公司 语音识别处理方法和装置
CN107181979A (zh) * 2017-03-30 2017-09-19 武汉斗鱼网络科技有限公司 一种网络直播监控方法和装置
CN107222780A (zh) * 2017-06-23 2017-09-29 中国地质大学（武汉） 一种直播平台综合状态感知和内容实时监管方法及系统
WO2017192132A1 (en) * 2016-05-04 2017-11-09 Vidangel, Inc. Seamless streaming and filtering
CN107465657A (zh) * 2017-06-22 2017-12-12 武汉斗鱼网络科技有限公司 直播视频监控方法、存储介质、电子设备及系统
CN107633380A (zh) * 2017-08-30 2018-01-26 北京明朝万达科技股份有限公司 一种数据防泄漏系统的任务审批方法和系统
CN107807941A (zh) * 2016-09-09 2018-03-16 腾讯科技（深圳）有限公司 信息处理方法和装置
CN107870945A (zh) * 2016-09-28 2018-04-03 腾讯科技（深圳）有限公司 内容分级方法和装置
CN107979780A (zh) * 2017-12-12 2018-05-01 广州华多网络科技有限公司 直播客户端的语音提醒方法和语音提醒终端
CN108009707A (zh) * 2017-11-15 2018-05-08 广州虎牙信息科技有限公司 主播信用评分方法、装置和终端
CN108566565A (zh) * 2018-03-30 2018-09-21 科大讯飞股份有限公司 弹幕展示方法及装置
CN108615527A (zh) * 2018-05-10 2018-10-02 腾讯科技（深圳）有限公司 基于同声传译的数据处理方法、装置和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7437290B2 (en) * 2004-10-28 2008-10-14 Microsoft Corporation Automatic censorship of audio data for broadcast
US9881613B2 (en) * 2015-06-29 2018-01-30 Google Llc Privacy-preserving training corpus selection
US20170286053A1 (en) * 2016-03-30 2017-10-05 Le Holdings(Beijing)Co., Ltd. System and method for real-time adjustment of volume during live broadcasting
US10032448B1 (en) * 2017-01-06 2018-07-24 International Business Machines Corporation Domain terminology expansion by sensitivity

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104143329A (zh) * 2013-08-19 2014-11-12 腾讯科技（深圳）有限公司 进行语音关键词检索的方法及装置
CN105006230A (zh) * 2015-06-10 2015-10-28 合肥工业大学 一种面向非特定人的语音敏感信息检测和过滤方法
CN105244026A (zh) * 2015-08-24 2016-01-13 陈娟 一种语音处理方法及装置
WO2017192132A1 (en) * 2016-05-04 2017-11-09 Vidangel, Inc. Seamless streaming and filtering
CN106101819A (zh) * 2016-06-21 2016-11-09 武汉斗鱼网络科技有限公司 一种基于语音识别的直播视频敏感内容过滤方法及装置
CN106251859A (zh) * 2016-07-22 2016-12-21 百度在线网络技术（北京）有限公司 语音识别处理方法和装置
CN107807941A (zh) * 2016-09-09 2018-03-16 腾讯科技（深圳）有限公司 信息处理方法和装置
CN107870945A (zh) * 2016-09-28 2018-04-03 腾讯科技（深圳）有限公司 内容分级方法和装置
CN107181979A (zh) * 2017-03-30 2017-09-19 武汉斗鱼网络科技有限公司 一种网络直播监控方法和装置
CN107465657A (zh) * 2017-06-22 2017-12-12 武汉斗鱼网络科技有限公司 直播视频监控方法、存储介质、电子设备及系统
CN107222780A (zh) * 2017-06-23 2017-09-29 中国地质大学（武汉） 一种直播平台综合状态感知和内容实时监管方法及系统
CN107633380A (zh) * 2017-08-30 2018-01-26 北京明朝万达科技股份有限公司 一种数据防泄漏系统的任务审批方法和系统
CN108009707A (zh) * 2017-11-15 2018-05-08 广州虎牙信息科技有限公司 主播信用评分方法、装置和终端
CN107979780A (zh) * 2017-12-12 2018-05-01 广州华多网络科技有限公司 直播客户端的语音提醒方法和语音提醒终端
CN108566565A (zh) * 2018-03-30 2018-09-21 科大讯飞股份有限公司 弹幕展示方法及装置
CN108615527A (zh) * 2018-05-10 2018-10-02 腾讯科技（深圳）有限公司 基于同声传译的数据处理方法、装置和存储介质

Also Published As

Publication number Publication date
CN111031329A (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
CN111031329B (zh) 一种用于管理音频数据的方法、设备和计算机存储介质
CN111107380B (zh) 一种用于管理音频数据的方法、设备和计算机存储介质
US11200336B2 (en) User identification system and method for fraud detection
US10170112B2 (en) Detecting and suppressing voice queries
KR101942521B1 (ko) 음성 엔드포인팅
US8121845B2 (en) Speech screening
US10705789B2 (en) Dynamic volume adjustment for virtual assistants
WO2017084334A1 (zh) 一种语种识别方法、装置、设备及计算机存储介质
JP5496863B2 (ja) 感情推定装置、その方法、プログラム及びその記録媒体
US20200243067A1 (en) Environment classifier for detection of laser-based audio injection attacks
US11511200B2 (en) Game playing method and system based on a multimedia file
US11120802B2 (en) Diarization driven by the ASR based segmentation
JP2016522910A (ja) キーワード検出のための適応的オーディオフレーム処理
EP3989217B1 (en) Method for detecting an audio adversarial attack with respect to a voice input processed by an automatic speech recognition system, corresponding device, computer program product and computer-readable carrier medium
US10282165B2 (en) Selective displaying of push notifications
US9922095B2 (en) Automated closed captioning using temporal data
CN110503944B (zh) 语音唤醒模型的训练和使用方法及装置
KR20200007673A (ko) 신원 인증을 위한 방법, 장치, 기기 및 컴퓨터 판독 가능 저장 매체
CN113779208A (zh) 用于人机对话的方法和装置
US20120053937A1 (en) Generalizing text content summary from speech content
Schönherr et al. Exploring accidental triggers of smart speakers
CN112530417B (zh) 语音信号处理方法、装置、电子设备及存储介质
CN109634554B (zh) 用于输出信息的方法和装置
CN113889091A (zh) 语音识别方法、装置、计算机可读存储介质及电子设备
CN108733695B (zh) 用户搜索串的意图识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant