CN114441029A - 语音标注系统的录音噪音检测方法、装置、设备及介质 - Google Patents
语音标注系统的录音噪音检测方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN114441029A CN114441029A CN202210071143.6A CN202210071143A CN114441029A CN 114441029 A CN114441029 A CN 114441029A CN 202210071143 A CN202210071143 A CN 202210071143A CN 114441029 A CN114441029 A CN 114441029A
- Authority
- CN
- China
- Prior art keywords
- recording
- noise detection
- data
- noise
- labeling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
- G01H17/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves, not provided for in the preceding groups
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
Abstract
本发明涉及人工智能技术领域，提供一种语音标注系统的录音噪音检测方法、装置、设备及介质。该语音标注系统的录音噪音检测方法包括获取客户与机器人对话的待标注录音数据，所述录音数据包括录音音频文件及对应的录音信息；对所述待标注录音数据进行标注，以得到录音标注数据；调用噪音检测引擎对所述录音标注数据进行噪音检测；通过消息中间件获取所述噪音检测引擎的噪音检测结果；根据所述噪音检测结果中的录音唯一识别号，将所述噪音检测结果关联到录音信息表中对应的录音标注数据的录音信息中。本申请可为标注人员节省了大量的时间来同步进行其他的工作，得到检测结果后，语音标注系统能及时将检测结果更新入数据库中，供语标注人员进行使用。
Description
技术领域
本发明涉及人工智能技术领域，特别涉及一种语音标注系统的录音噪音检测方法、装置、设备及介质。
背景技术
语音标注系统是针对客户与机器人的对话进行分析和标注的系统，该系统在目前智能语音识别领域已存在，但针对客户与机器人的语音对话分析精细程度尚不够完善及智能化。
目前市面上的语音标注系统大多无法独立承担噪音检测这种功能，受限于技术壁垒、成本等因素，即使对接噪声检测算法引擎，方案上也是采用传统线下手工打包录音文件，再上传噪声检测算法引擎，长时间等待后得出计算结果，再手工录入标注系统或直接使用Excel进行统计分析，大大降低标注人员工作效率，降低机器人与客户对话准确性。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种语音标注系统的录音噪音检测方法、装置、设备及介质，用于解决现有技术中存在的问题。
为实现上述目的及其他相关目的，本发明提供一种语音标注系统的录音噪音检测方法，包括：
获取客户与机器人对话的待标注录音数据，所述录音数据包括录音音频文件及对应的录音信息；
对所述待标注录音数据进行标注，以得到录音标注数据；
调用噪音检测引擎对所述录音标注数据进行噪音检测；
通过消息中间件获取所述噪音检测引擎的噪音检测结果；
根据所述噪音检测结果中的录音唯一识别号，将所述噪音检测结果关联到录音信息表中对应的录音标注数据的录音信息中。
在本发明的一可选实施例中，所述待标注录音数据进行标注，以得到录音标注数据中，所述录音标注数据中包括噪音标签。
在本发明的一可选实施例中，所述调用噪音检测引擎对所述录音标注数据进行噪音检测包括，通过定时任务批量将所述录音标注数据上传至所述噪音检测引擎以进行噪音检测。
在本发明的一可选实施例中，所述调用噪音检测引擎对所述录音标注数据进行噪音检测包括，通过定时任务批量将所述录音标注数据上传至所述噪音检测引擎以进行噪音检测。
在本发明的一可选实施例中，所述通过定时任务批量将所述录音标注数据上传至所述噪音检测引擎以进行噪音检测包括：
通过定时任务对所述录音标注数据中的噪音标签进行识别；
对包含噪音标签的所述录音标注数据进行打包封装处理；
将打包封装处理后的所述录音标注数据批量上传至所述噪音检测引擎以进行噪音检测。
在本发明的一可选实施例中，所述通过定时任务批量将所述录音标注数据上传至所述噪音检测引擎以进行噪音检测中，所述定时任务支持运行主机IP配置。
在本发明的一可选实施例中，所述通过消息中间件获取所述噪音检测引擎的噪音检测结果中，所述噪声检测引擎的检测结果包括录音音频文件的背景噪声、情绪类型、风噪、平均能量和语速信息中的一个或者多个的组合。
在本发明的一可选实施例中，所述的语音标注系统的录音噪音检测方法还包括，将所述噪音检测结果作为训练数据传送至语音识别引擎。
为实现上述目的及其他相关目的，本发明还提供一种语音标注系统的录音噪音检测装置，所述语音标注系统的录音噪音检测装置包括：
录音数据获取模块，用于获取客户与机器人对话的待标注录音数据，所述录音数据包括录音音频文件及对应的录音信息；
录音数据标注模块，用于对所述待标注录音数据进行标注，以得到录音标注数据；
检测引擎调用模块，用于调用噪音检测引擎对所述录音标注数据进行噪音检测；
检测结果获取模块，用于通过消息中间件获取所述噪音检测引擎的噪音检测结果；
检测结果关联模块，用于根据所述噪音检测结果中的录音唯一识别号，将所述噪音检测结果关联到录音信息表中对应的录音标注数据的录音信息中。
为实现上述目的及其他相关目的，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述方法的步骤。
为实现上述目的及其他相关目的，本发明还提供一种计算机可读存储介质，其上存储于计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
本发明的语音标注系统的录音噪音检测方法、装置、设备及介质，通过定时任务将录音标注数据的推送至噪音检测引擎来进行噪音检测，通过使用消息中间件，能及时获取检测结果，为标注人员节省了大量的时间来同步进行其他的工作，得到检测结果后，语音标注系统及时将检测结果更新入数据库中，供语音标注系统的标注人员进行使用。
本发明的语音标注系统的录音噪音检测方法、装置、设备及介质，能够降低语音标注系统与噪声检测算法引擎间的耦合性，语音标注系统无需关心噪声检测算法引擎使用的开发语音和技术架构。
本申请的语音标注系统的录音噪音检测方法能够降低语音标注系统实现噪音检测算法的技术门槛，无需过度关注噪声检测算法引擎本身具体实现方案及内容。
本申请的语音标注系统的录音噪音检测方法通过java定时任务进行数据及文件推送，该定时任务支持运行主机IP配置，在集群环境下，可以灵活实现一台或者多台机器同时执行，增加系统可维护性及问题溯源及时性。
附图说明
图1示出了本发明的语音标注系统的录音噪音检测方法的较佳实施例的流程图。
图2示出了本发明的语音标注系统的录音噪音检测方法的步骤S30的子步骤流程图。
图3示出了本发明的语音标注系统的录音噪音检测装置的较佳的实施例的功能模块图。
图4示出了本发明的语音标注系统的录音噪音检测方法的较佳实施例的电子设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
请参阅图1-4。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
语音标注系统是针对客户与机器人的对话进行分析和标注的系统。该系统在目前智能语音识别领域已广泛应用，但针对客户与机器人的语音对话分析精细程度尚不够完善及智能化。目前市面上的语音标注系统大多无法独立承担噪音检测这种功能，受限于技术壁垒、成本等因素，即使对接噪声检测算法引擎，方案上也是采用传统线下手工打包录音文件，再上传噪声检测算法引擎，长时间等待后得出计算结果，再手工录入标注系统或直接使用Excel进行统计分析，大大降低标注人员工作效率，降低机器人与客户对话准确性。
基于此，本申请设计了一种应用于语音标注系统的录音噪音检测方法，通过定时任务将录音标注数据的推送至噪音检测引擎来进行噪音检测，通过使用消息中间件，能及时获取检测结果，为标注人员节省了大量的时间来同步进行其他的工作，得到检测结果后，语音标注系统及时将检测结果更新入数据库中，供语音标注系统的标注人员进行使用。
所述语音标注系统的录音噪音检测方法应用于一个或者多个电子设备中，所述电子设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific IntegratedCircuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述电子设备可以是任何一种可与用户进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)、游戏机、交互式网络电视(Internet Protocol Television，IPTV)、智能式穿戴式设备等。
所述电子设备还可以包括网络设备和/或用户设备。其中，所述网络设备包括，但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(CloudComputing)的由大量主机或网络服务器构成的云。
所述电子设备所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network，VPN)等。
图1示出了本发明的语音标注系统的录音噪音检测方法的较佳实施例的流程图。所述语音标注系统的录音噪音检测方法包括如下步骤：
步骤S10、获取客户与机器人对话的待标注录音数据，所述录音数据包括录音音频文件及对应的录音信息；
步骤S20、对所述待标注录音数据进行标注，以得到录音标注数据；
步骤S30、语音标注系统调用噪音检测引擎对所述录音标注数据进行噪音检测；
步骤S40、通过消息中间件获取所述噪音检测引擎的噪音检测结果；
步骤S50、根据所述噪音检测结果中的录音唯一识别号，将所述噪音检测结果关联到录音信息表中对应的录音标注数据的录音信息中。
下面将结合图1来详细阐述本发明的语音标注系统的录音噪音检测方法。
首先，执行步骤S10，获取客户与机器人对话的待标注录音数据，所述录音数据包括录音音频文件及对应的录音信息。
在本申请中，所述语音标注系统为智能语音标注系统，是针对客户与机器人的对话进行分析和标注的系统，语音标注系统可以分别从录音平台和电话平台获取客户与机器人对话的录音音频文件及对应的录音信息，作为待标注录音数据。
所述录音音频文件是客户与机器人打电话时的录音音频文件。所述录音信息是通过ASR(Automatic Speech Recognition,语音识别技术)引擎、电话平台等识别到的一些与录音音频文件对应的录音信息，所述录音信息中包括所述录音音频文件的录音唯一识别号、录音开始时间、录音结束时间、录音时长、场景信息、所述业务线、录音文本等信息。作为示例，所述业务场景信息例如可以是信用卡业务场景、贷款业务场景或还款业务场景。
在一具体示例中，所述语音标注系统可通过系统间HTTP(Hyper Text TransferProtocol,超文本传输协议)接口对接方式，从录音平台和电话平台分别获取客户与机器人对话的录音音频文件及对应的录音信息。
当然，在另一具体示例中，所述语音标注系统也可通过MQ(英文为Message Queue，消息队列，简称MQ，又称为消息中间件)从录音平台和电话平台分别获取客户与机器人对话的录音音频文件及对应的录音信息。
接着，执行步骤S20、对所述待标注录音数据进行标注，以得到录音标注数据，其中，所述录音标注数据中至少包括噪音标签。
获取到所述待标注录音数据后，为了便于后续调用噪音检测引擎进行噪音检测，需要先对所述待标注录音数据进行标注。对所述待标注录音数据进行标注例如可包括ASR(Automatic Speech Recognition，语音识别)标注方式和对所述待标注录音数据进行标注，及NLP(Natural Language Understanding，自然语言理解)标注方式对所述待标注录音数据进行标注。ASR标注和NLP标注下包含很多标签的标注，这个是可以结合引擎灵活配置的，噪音标签只是ASR标注中的其中一个标签，噪音标签用于指示对应的录音标注数据的录音音频数据中是否含有噪音，该噪音标签用于步骤S30中的定时任务识别所述录音标注数据是否含有噪音。其中，实现ASR标注方式包括采用Praat工具、Transcriber工具及Transcriber工具等实现录音音频文件进行标注，NLU标注方式可以采用语料标注工具Brat语料标注工具、Prodigy工具或者YEDDA工具等方式对录音音频文件进行标注。
在一些实施例中，可以采用半自动的方式对所述待标注录音数据进行标注。所述语音标注系统可先利用ASR标注工具和NLU标注工具对所述待标注录音数据完成自动标注，然后经由标注人员确认后来获取录音标注数据。具体地，业务标注人员会针对每通录音音频文件，通过人工听取录音，同时结合从上游获取的录音信息中的文本信息进行一一核对标注结果是否准确，如果准确就无需操作，如果不准确，需要标注人员进行修改。
当然，在另一些实施例中，也可以采用完全手动方式对所述待标注录音数据进行标注，标注人员通过人工听取录音音频文件，同时结合从上游获取的对应的录音信息中的文本信息进行一一核对的方式完成对针对待标注录音数据的标注。
在又一些实施例中，也可采用完全自动的方式对所述待标注录音数据进行标注，由所述语音标注系统利用ASR标注工具和NLU标注工具对所述待标注录音数据完成自动标注。
接着，执行步骤S30、语音标注系统调用噪音检测引擎对所述录音标注数据进行噪音检测。为了节约人工成本，提高标注人员的标注效率，所述语音标注系统通过定时任务批量上传所述录音标注数据以进行噪音检测。
图2示出了本发明的语音标注系统的录音噪音检测方法中所述语音标注系统通过定时任务批量上传所述录音标注数据以进行噪音检测的子流程图。请参阅图2，所述语音标注系统通过定时任务批量上传所述录音标注数据以进行噪音检测的步骤包括：
S31、所述语音标注系统通过定时任务对所述录音标注数据中的噪音标签进行识别；
S32、所述语音标注系统对包含噪音标签的所述录音标注数据进行打包封装处理；
S33、所述语音标注系统将打包封装处理后的所述录音标注数据批量上传至所述噪音检测引擎进行噪音检测。
作为示例，所述语音标注系统例如可通过JAVA定时任务向噪音检测引擎批量上传所述录音标注数据以进行噪音检测时，首先通过JAVA定时任务来检测识别定时周期(定义为相邻的两次定时任务的时间间隔)内的所有录音标注数据中的噪音标签；接着，将所述录音标注数据中的录音音频文件打包为ZIP压缩包(当然也可以打包为RAR压缩包，7z压缩包，gzip压缩包，bzip2压缩包或xz压缩包)，将录音标注数据中的录音信息封装为JSON数据格式报文，JSON报文格式中包含录音音频文件的录音唯一识别号、录音开始时间、录音结束时间、录音时长、场景信息、所述业务线、录音文本等信息；通过SFTP(Secret File TransferProtocol，安全文件传送协议)方式批量上传ZIP包，通过HTTP协议传输JSON数据报文；记录上传日志到数据库，以监控定时任务的执行情况。本申请通过JAVA定时任务进行录音标注数据的推送，能够节约人工成本，提高标注人员的标注效率。
作为示例，所述噪音检测引擎为闻舒引擎。所述噪声检测引擎的检测结果包括录音标注数据中录音音频文件的背景噪声(bgnoise)、情绪类型(emotion_type)、风噪(wind_noise)、平均能量(average_energy)、语速(speed)等信息。
需要说明的是，本申请通过JAVA定时任务进行录音标注数据的推送，该定时任务支持运行主机IP配置，在集群环境下，可以灵活实现一台或者多台机器同时执行，增加语音标注系统可维护性及问题溯源及时性。
接着，执行步骤S40、通过消息中间件获取所述噪音检测引擎的噪音检测结果。
具体地，语音标注系统可通过订阅噪音检测引擎的消息中间件RABBIT MQ的消息服务，来获取噪音检测引擎的噪音检测结果，其中，Rabbit MQ是实现了高级消息队列协议(AMQP)的开源消息代理软件。通过消息中间件来获取噪音检测引擎的噪音检测结果的实现过程如下：
当所述噪音检测引擎接收到上传的录音标注数据后，会对接收到的录音标注数据进行噪音检测；
当噪音检测结果出来后，噪音检测引擎会推送检测结果至消息中间件RABBIT MQ的消息队列；
语音标注系统通过消息中间件获取所述噪音检测引擎的噪音检测结果后，对所述噪音检测结果进行报文解析，解析出检测结果，所述检测结果中至少包括所述录音标注数据的录音唯一识别号和对应的噪音检测结果。
接着，执行步骤S50、根据所述噪音检测结果中的录音唯一识别号，将所述噪音检测结果关联到录音信息表中对应的录音标注数据的录音信息中。具体地，所述录音信息表中至少保存有多条所述录音标注数据的录音信息，可通过所述噪音检测结果中的录音唯一识别号关联录音信息表，更新噪音检测结果到录音信息表中对应录音标注数据的录音信息中。
通过使用消息中间件，能及时获取检测结果，为标注人员节省了大量的时间来同步进行其他的工作，得到检测结果后，语音标注系统及时将检测结果更新入数据库中，供语音标注系统的标注人员进行使用。
需要说明的是，本实施例的语音标注系统的录音噪音检测方法还包括，将所述噪音检测结果传送至语音识别引擎，形成闭环训练的步骤(也即步骤S60)，从而提升语音识别引擎在噪声情况下的准确度。
需要说明的是，本申请的语音标注系统的录音噪音检测方法能够降低语音标注系统与噪声检测算法引擎间的耦合性，语音标注系统无需关心噪声检测算法引擎使用的开发语音和技术架构。另外，本申请的语音标注系统的录音噪音检测方法能够降低语音标注系统实现噪音检测算法的技术门槛，无需过度关注噪声检测算法引擎本身具体实现方案及内容。
需要说明的是，上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包含相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
图3示出了本发明的语音标注系统的录音噪音检测装置的功能模块图。所述语音标注系统的录音噪音检测装置包括：录音数据获取模块111，录音数据标注模块112，检测引擎调用模块113，检测结果获取模块114，检测结果关联模块115及检测结果上送模块116。本发明所称的模块是指一种能够被处理器13所执行，并且能够完成固定功能的一系列计算机程序段，其存储在存储器12中。
所述录音数据获取模块111用于获取客户与机器人对话的待标注录音数据，所述录音数据包括录音音频文件及对应的录音信息。
在本申请中，所述语音标注系统为智能语音标注系统，是针对客户与机器人的对话进行分析和标注的系统，语音标注系统的录音数据获取模块111可以分别从录音平台和电话平台获取客户与机器人对话的录音音频文件及对应的录音信息，作为待标注录音数据。
所述录音音频文件是客户与机器人打电话时的录音音频文件。所述录音信息是通过ASR(Automatic Speech Recognition,语音识别技术)引擎、电话平台等识别到的一些与录音音频文件对应的录音信息，所述录音信息中包括所述录音音频文件的录音唯一识别号、录音开始时间、录音结束时间、录音时长、场景信息、所述业务线、录音文本等信息。作为示例，所述业务场景信息例如可以是信用卡业务场景、贷款业务场景或还款业务场景。
在一具体示例中，所述语音标注系统的录音数据获取模块111可通过系统间HTTP(Hyper Text Transfer Protocol,超文本传输协议)接口对接方式，从录音平台和电话平台分别获取客户与机器人对话的录音音频文件及对应的录音信息。
当然，在另一具体示例中，所述语音标注系统的录音数据获取模块111也可通过MQ(英文为Message Queue，消息队列，简称MQ，又称为消息中间件)从录音平台和电话平台分别获取客户与机器人对话的录音音频文件及对应的录音信息。
所述录音数据标注模块112用于对所述待标注录音数据进行标注，以得到录音标注数据，其中，所述录音标注数据中至少包括噪音标签。
获取到所述待标注录音数据后，为了便于后续调用噪音检测引擎进行噪音检测，需要先对所述待标注录音数据进行标注。所述录音数据标注模块112对所述待标注录音数据进行标注例如可包括ASR(Automatic Speech Recognition，语音识别)标注方式和对所述待标注录音数据进行标注，及NLP(Natural Language Understanding，自然语言理解)标注方式对所述待标注录音数据进行标注。ASR标注和NLP标注下包含很多标签的标注，这个是可以结合引擎灵活配置的，噪音标签只是ASR标注中的其中一个标签，噪音标签用于指示对应的录音标注数据的录音音频数据中是否含有噪音，该噪音标签用于步骤S30中的定时任务识别所述录音标注数据是否含有噪音。其中，实现ASR标注方式包括采用Praat工具、Transcriber工具及Transcriber工具等实现录音音频文件进行标注，NLU标注方式可以采用语料标注工具Brat语料标注工具、Prodigy工具或者YEDDA工具等方式对录音音频文件进行标注。
在一些实施例中，所述录音数据标注模块112可以采用半自动的方式对所述待标注录音数据进行标注。所述语音标注系统的所述录音数据标注模块112可先利用ASR标注工具和NLU标注工具对所述待标注录音数据完成自动标注，然后经由标注人员确认后来获取录音标注数据。具体地，业务标注人员会针对每通录音音频文件，通过人工听取录音，同时结合从上游获取的录音信息中的文本信息进行一一核对标注结果是否准确，如果准确就无需操作，如果不准确，需要标注人员进行修改。
当然，在另一些实施例中，标注人员也可通过所述录音数据标注模块112采用完全手动方式对所述待标注录音数据进行标注，标注人员通过人工听取录音音频文件，同时结合从上游获取的对应的录音信息中的文本信息进行一一核对的方式完成对针对待标注录音数据的标注。
在又一些实施例中，所述录音数据标注模块112也可采用完全自动的方式对所述待标注录音数据进行标注，由所述语音标注系统利用ASR标注工具和NLU标注工具对所述待标注录音数据完成自动标注。
检测引擎调用模块113用于调用噪音检测引擎对所述录音标注数据进行噪音检测。为了节约人工成本，提高标注人员的标注效率，所述语音标注系统的检测引擎调用模块113可通过定时任务批量上传所述录音标注数据以进行噪音检测。
具体地，所述检测引擎调用模块113通过定时任务批量上传所述录音标注数据以进行噪音检测的流程包括：所述检测引擎调用模块113首先通过定时任务对所述录音标注数据中的噪音标签进行识别；接着，所述检测引擎调用模块113对包含噪音标签的所述录音标注数据进行打包封装处理；最后，所述检测引擎调用模块113将打包封装处理后的所述录音标注数据批量上传至所述噪音检测引擎进行噪音检测。
作为示例，述检测引擎调用模块113例如可通过JAVA定时任务向噪音检测引擎批量上传所述录音标注数据以进行噪音检测时，首先通过JAVA定时任务来检测识别定时周期(定义为相邻的两次定时任务的时间间隔)内的所有录音标注数据中的噪音标签；接着，将所述录音标注数据中的录音音频文件打包为ZIP压缩包(当然也可以打包为RAR压缩包，7z压缩包，gzip压缩包，bzip2压缩包或xz压缩包)，将录音标注数据中的录音信息封装为JSON数据格式报文，JSON报文格式中包含录音音频文件的录音唯一识别号、录音开始时间、录音结束时间、录音时长、场景信息、所述业务线、录音文本等信息；通过SFTP(Secret FileTransfer Protocol，安全文件传送协议)方式批量上传ZIP包，通过HTTP协议传输JSON数据报文；记录上传日志到数据库，以监控定时任务的执行情况。本申请通过JAVA定时任务进行录音标注数据的推送，能够节约人工成本，提高标注人员的标注效率。
作为示例，所述噪音检测引擎为闻舒引擎。所述噪声检测引擎的检测结果包括录音标注数据中录音音频文件的背景噪声(bgnoise)、情绪类型(emotion_type)、风噪(wind_noise)、平均能量(average_energy)、语速(speed)等信息。
需要说明的是，本申请通过JAVA定时任务进行录音标注数据的推送，该定时任务支持运行主机IP配置，在集群环境下，可以灵活实现一台或者多台机器同时执行，增加语音标注系统可维护性及问题溯源及时性。
所述检测结果获取模块114用于通过消息中间件获取所述噪音检测引擎的噪音检测结果。具体地，所述语音标注系统的检测结果获取模块114可通过订阅噪音检测引擎的消息中间件RABBIT MQ的消息服务，来获取噪音检测引擎的噪音检测结果，其中，Rabbit MQ是实现了高级消息队列协议(AMQP)的开源消息代理软件。通过消息中间件来获取噪音检测引擎的噪音检测结果的实现过程如下：
当所述噪音检测引擎接收到上传的录音标注数据后，会对接收到的录音标注数据进行噪音检测；
当噪音检测结果出来后，噪音检测引擎会推送检测结果至消息中间件RABBIT MQ的消息队列；
语音标注系统通过消息中间件获取所述噪音检测引擎的噪音检测结果后，对所述噪音检测结果进行报文解析，解析出检测结果，所述检测结果中至少包括所述录音标注数据的录音唯一识别号和对应的噪音检测结果。
所述检测结果关联模块115用于根据所述噪音检测结果中的录音唯一识别号，将所述噪音检测结果关联到录音信息表中对应的录音标注数据的录音信息中。具体地，所述录音信息表中至少保存有多条所述录音标注数据的录音信息，所述检测结果关联模块115可通过所述噪音检测结果中的录音唯一识别号关联录音信息表，更新噪音检测结果到录音信息表中对应录音标注数据的录音信息中。
通过使用消息中间件，能及时获取检测结果，为标注人员节省了大量的时间来同步进行其他的工作，得到检测结果后，语音标注系统及时将检测结果更新入数据库中，供语音标注系统的标注人员进行使用。
所述检测结果上送模块116用于将所述噪音检测结果传送至语音识别引擎，形成闭环训练，从而提升语音识别引擎在噪声情况下的准确度。
需要说明的是，上述的各功能模块实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的部分或全部步骤，或以上的各功能模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
如图4所示，是本发明实现语音标注系统的录音噪音检测方法的较佳实施例的电子设备的结构示意图。
所述电子设备1可以包括存储器12、处理器13和总线，还可以包括存储在所述存储器12中并可在所述处理器13上运行的计算机程序，例如语音标注系统的录音噪音检测程序。
其中，存储器12至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器12在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。存储器12在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(Secure Digital,SD)卡、闪存卡(Flash Card)等。进一步地，存储器12还可以既包括电子设备1的内部存储单元也包括外部存储设备。存储器12不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如基于语音标注系统的录音噪音检测的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器13在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。处理器13是所述电子设备1的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备1的各个部件，通过运行或执行存储在所述存储器12内的程序或者模块(例如执行语音标注系统的录音噪音检测程序等)，以及调用存储在所述存储器12内的数据，以执行电子设备1的各种功能和处理数据。
所述处理器13执行所述电子设备1的操作系统以及安装的各类应用程序。所述处理器13执行所述应用程序以实现上述语音标注系统的录音噪音检测方法中的步骤，例如图1所示的步骤。
示例性的，所述计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器12中，并由所述处理器13执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述电子设备1中的执行过程。例如，所述计算机程序可以被分割成录音数据获取模块111，录音数据标注模块112，检测引擎调用模块113，检测结果获取模块114，检测结果关联模块115及检测结果上送模块116。
上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、计算机设备，或者网络设备等)或处理器(processor)执行本发明各个实施例所述语音标注系统的录音噪音检测方法的部分功能。
总线可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，在图4中仅用一根箭头表示，但并不表示仅有一根总线或一种类型的总线。所述总线被设置为实现所述存储器12以及至少一个处理器13等之间的连接通信。
本发明的语音标注系统的录音噪音检测方法、装置、设备及介质，通过定时任务将录音标注数据的推送至噪音检测引擎来进行噪音检测，通过使用消息中间件，能及时获取检测结果，为标注人员节省了大量的时间来同步进行其他的工作，得到检测结果后，语音标注系统及时将检测结果更新入数据库中，供语音标注系统的标注人员进行使用。本发明的语音标注系统的录音噪音检测方法、装置、设备及介质，能够降低语音标注系统与噪声检测算法引擎间的耦合性，语音标注系统无需关心噪声检测算法引擎使用的开发语音和技术架构。本申请的语音标注系统的录音噪音检测方法能够降低语音标注系统实现噪音检测算法的技术门槛，无需过度关注噪声检测算法引擎本身具体实现方案及内容。本申请的语音标注系统的录音噪音检测方法通过java定时任务进行数据及文件推送，该定时任务支持运行主机IP配置，在集群环境下，可以灵活实现一台或者多台机器同时执行，增加系统可维护性及问题溯源及时性。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种语音标注系统的录音噪音检测方法，其特征在于，包括：
获取客户与机器人对话的待标注录音数据，所述录音数据包括录音音频文件及对应的录音信息；
对所述待标注录音数据进行标注，以得到录音标注数据；
调用噪音检测引擎对所述录音标注数据进行噪音检测；
通过消息中间件获取所述噪音检测引擎的噪音检测结果；
根据所述噪音检测结果中的录音唯一识别号，将所述噪音检测结果关联到录音信息表中对应的录音标注数据的录音信息中。
2.根据权利要求1所述的语音标注系统的录音噪音检测方法，其特征在于，对所述待标注录音数据进行标注，以得到录音标注数据中，所述录音标注数据中包括噪音标签。
3.根据权利要求1所述的语音标注系统的录音噪音检测方法，其特征在于，所述调用噪音检测引擎对所述录音标注数据进行噪音检测包括，通过定时任务批量将所述录音标注数据上传至所述噪音检测引擎以进行噪音检测。
4.根据权利要求3所述的语音标注系统的录音噪音检测方法，其特征在于，所述通过定时任务批量将所述录音标注数据上传至所述噪音检测引擎以进行噪音检测包括：
通过定时任务对所述录音标注数据中的噪音标签进行识别；
对包含噪音标签的所述录音标注数据进行打包封装处理；
将打包封装处理后的所述录音标注数据批量上传至所述噪音检测引擎以进行噪音检测。
5.根据权利要求3所述的语音标注系统的录音噪音检测方法，其特征在于，所述通过定时任务批量将所述录音标注数据上传至所述噪音检测引擎以进行噪音检测中，所述定时任务支持运行主机IP配置。
6.根据权利要求1所述的语音标注系统的录音噪音检测方法，其特征在于，所述通过消息中间件获取所述噪音检测引擎的噪音检测结果中，所述噪声检测引擎的检测结果包括录音音频文件的背景噪声、情绪类型、风噪、平均能量和语速信息中的一个或者多个的组合。
7.根据权利要求1所述的语音标注系统的录音噪音检测方法，其特征在于，所述的语音标注系统的录音噪音检测方法还包括，将所述噪音检测结果作为训练数据传送至语音识别引擎。
8.一种语音标注系统的录音噪音检测装置，其特征在于，所述语音标注系统的录音噪音检测装置包括：
录音数据获取模块，用于获取客户与机器人对话的待标注录音数据，所述录音数据包括录音音频文件及对应的录音信息；
录音数据标注模块，用于对所述待标注录音数据进行标注，以得到录音标注数据；
检测引擎调用模块，用于调用噪音检测引擎对所述录音标注数据进行噪音检测；
检测结果获取模块，用于通过消息中间件获取所述噪音检测引擎的噪音检测结果；
检测结果关联模块，用于根据所述噪音检测结果中的录音唯一识别号，将所述噪音检测结果关联到录音信息表中对应的录音标注数据的录音信息中。
9.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储于计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210071143.6A CN114441029A (zh) | 2022-01-20 | 2022-01-20 | 语音标注系统的录音噪音检测方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210071143.6A CN114441029A (zh) | 2022-01-20 | 2022-01-20 | 语音标注系统的录音噪音检测方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114441029A true CN114441029A (zh) | 2022-05-06 |
Family
ID=81368062
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210071143.6A Pending CN114441029A (zh) | 2022-01-20 | 2022-01-20 | 语音标注系统的录音噪音检测方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114441029A (zh) |
Citations (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01106097A (ja) * | 1987-10-20 | 1989-04-24 | Sanyo Electric Co Ltd | 音声認識システム |
| JP2001069436A (ja) * | 1999-08-30 | 2001-03-16 | Nippon Hoso Kyokai <Nhk> | 話者情報記録装置および検索装置 |
| CN102436810A (zh) * | 2011-10-26 | 2012-05-02 | 华南理工大学 | 一种基于信道模式噪声的录音回放攻击检测方法和系统 |
| CN103049629A (zh) * | 2011-10-17 | 2013-04-17 | 阿里巴巴集团控股有限公司 | 一种检测噪音数据的方法及装置 |
| CN103578470A (zh) * | 2012-08-09 | 2014-02-12 | 安徽科大讯飞信息科技股份有限公司 | 一种电话录音数据的处理方法及系统 |
| CN103745731A (zh) * | 2013-12-31 | 2014-04-23 | 安徽科大讯飞信息科技股份有限公司 | 一种语音识别效果自动化测试系统及测试方法 |
| CN107547759A (zh) * | 2017-08-22 | 2018-01-05 | 深圳市买买提乐购金融服务有限公司 | 一种对客服人员通话的质检方法及装置 |
| CN110176256A (zh) * | 2019-04-15 | 2019-08-27 | 平安科技（深圳）有限公司 | 录音文件格式转换方法、装置、计算机设备以及存储介质 |
| CN110289016A (zh) * | 2019-06-20 | 2019-09-27 | 深圳追一科技有限公司 | 一种基于实时对话的语音质检方法、装置及电子设备 |
| CN110310127A (zh) * | 2019-05-23 | 2019-10-08 | 中国平安人寿保险股份有限公司 | 录音获取方法、装置、计算机设备及存储介质 |
| CN110532522A (zh) * | 2019-08-22 | 2019-12-03 | 深圳追一科技有限公司 | 音频标注的检错方法、装置、计算机设备和存储介质 |
| CN111092996A (zh) * | 2019-10-31 | 2020-05-01 | 国网山东省电力公司信息通信公司 | 一种集中式调度录音系统及控制方法 |
| CN111312219A (zh) * | 2020-01-16 | 2020-06-19 | 上海携程国际旅行社有限公司 | 电话录音标注方法、系统、存储介质和电子设备 |
| CN111368504A (zh) * | 2019-12-25 | 2020-07-03 | 厦门快商通科技股份有限公司 | 语音数据标注方法、装置、电子设备及介质 |
| CN111739519A (zh) * | 2020-06-16 | 2020-10-02 | 平安科技（深圳）有限公司 | 基于语音识别的对话管理处理方法、装置、设备及介质 |
| CN111787167A (zh) * | 2020-06-28 | 2020-10-16 | 上海安录宇高数据技术有限公司 | 一种基于人工智能技术的语音识别打标分类方法 |
| CN111787168A (zh) * | 2020-06-28 | 2020-10-16 | 上海安录宇高数据技术有限公司 | 一种基于人工智能技术的语音识别质检分配方法 |
| CN112188011A (zh) * | 2019-07-04 | 2021-01-05 | 北京航天长峰科技工业集团有限公司 | 一种基于语音识别的呼叫中心质检考核方法 |
| CN112307253A (zh) * | 2020-10-30 | 2021-02-02 | 上海明略人工智能(集团)有限公司 | 一种基于预设录音标题自动生成语音文件的方法及系统 |
| CN112435651A (zh) * | 2020-11-20 | 2021-03-02 | 昆明学院 | 一种语音数据自动标注的质量评估方法 |
| CN113205814A (zh) * | 2021-04-28 | 2021-08-03 | 平安科技（深圳）有限公司 | 语音数据标注方法、装置、电子设备及存储介质 |
| CN113329129A (zh) * | 2021-05-28 | 2021-08-31 | 国网江苏省电力有限公司连云港供电分公司 | 一种物资全流程语音业务自动处理系统及方法 |
| CN113709291A (zh) * | 2021-08-06 | 2021-11-26 | 北京三快在线科技有限公司 | 音频处理方法、装置、电子设备及可读存储介质 |
| CN113901186A (zh) * | 2021-09-29 | 2022-01-07 | 深圳壹账通智能科技有限公司 | 电话录音标注方法、装置、设备及存储介质 |
-
2022
- 2022-01-20 CN CN202210071143.6A patent/CN114441029A/zh active Pending
Patent Citations (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01106097A (ja) * | 1987-10-20 | 1989-04-24 | Sanyo Electric Co Ltd | 音声認識システム |
| JP2001069436A (ja) * | 1999-08-30 | 2001-03-16 | Nippon Hoso Kyokai <Nhk> | 話者情報記録装置および検索装置 |
| CN103049629A (zh) * | 2011-10-17 | 2013-04-17 | 阿里巴巴集团控股有限公司 | 一种检测噪音数据的方法及装置 |
| CN102436810A (zh) * | 2011-10-26 | 2012-05-02 | 华南理工大学 | 一种基于信道模式噪声的录音回放攻击检测方法和系统 |
| CN103578470A (zh) * | 2012-08-09 | 2014-02-12 | 安徽科大讯飞信息科技股份有限公司 | 一种电话录音数据的处理方法及系统 |
| CN103745731A (zh) * | 2013-12-31 | 2014-04-23 | 安徽科大讯飞信息科技股份有限公司 | 一种语音识别效果自动化测试系统及测试方法 |
| CN107547759A (zh) * | 2017-08-22 | 2018-01-05 | 深圳市买买提乐购金融服务有限公司 | 一种对客服人员通话的质检方法及装置 |
| CN110176256A (zh) * | 2019-04-15 | 2019-08-27 | 平安科技（深圳）有限公司 | 录音文件格式转换方法、装置、计算机设备以及存储介质 |
| CN110310127A (zh) * | 2019-05-23 | 2019-10-08 | 中国平安人寿保险股份有限公司 | 录音获取方法、装置、计算机设备及存储介质 |
| CN110289016A (zh) * | 2019-06-20 | 2019-09-27 | 深圳追一科技有限公司 | 一种基于实时对话的语音质检方法、装置及电子设备 |
| CN112188011A (zh) * | 2019-07-04 | 2021-01-05 | 北京航天长峰科技工业集团有限公司 | 一种基于语音识别的呼叫中心质检考核方法 |
| CN110532522A (zh) * | 2019-08-22 | 2019-12-03 | 深圳追一科技有限公司 | 音频标注的检错方法、装置、计算机设备和存储介质 |
| CN111092996A (zh) * | 2019-10-31 | 2020-05-01 | 国网山东省电力公司信息通信公司 | 一种集中式调度录音系统及控制方法 |
| CN111368504A (zh) * | 2019-12-25 | 2020-07-03 | 厦门快商通科技股份有限公司 | 语音数据标注方法、装置、电子设备及介质 |
| CN111312219A (zh) * | 2020-01-16 | 2020-06-19 | 上海携程国际旅行社有限公司 | 电话录音标注方法、系统、存储介质和电子设备 |
| CN111739519A (zh) * | 2020-06-16 | 2020-10-02 | 平安科技（深圳）有限公司 | 基于语音识别的对话管理处理方法、装置、设备及介质 |
| CN111787167A (zh) * | 2020-06-28 | 2020-10-16 | 上海安录宇高数据技术有限公司 | 一种基于人工智能技术的语音识别打标分类方法 |
| CN111787168A (zh) * | 2020-06-28 | 2020-10-16 | 上海安录宇高数据技术有限公司 | 一种基于人工智能技术的语音识别质检分配方法 |
| CN112307253A (zh) * | 2020-10-30 | 2021-02-02 | 上海明略人工智能(集团)有限公司 | 一种基于预设录音标题自动生成语音文件的方法及系统 |
| CN112435651A (zh) * | 2020-11-20 | 2021-03-02 | 昆明学院 | 一种语音数据自动标注的质量评估方法 |
| CN113205814A (zh) * | 2021-04-28 | 2021-08-03 | 平安科技（深圳）有限公司 | 语音数据标注方法、装置、电子设备及存储介质 |
| CN113329129A (zh) * | 2021-05-28 | 2021-08-31 | 国网江苏省电力有限公司连云港供电分公司 | 一种物资全流程语音业务自动处理系统及方法 |
| CN113709291A (zh) * | 2021-08-06 | 2021-11-26 | 北京三快在线科技有限公司 | 音频处理方法、装置、电子设备及可读存储介质 |
| CN113901186A (zh) * | 2021-09-29 | 2022-01-07 | 深圳壹账通智能科技有限公司 | 电话录音标注方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108416003A (zh) | 一种图片分类方法和装置、终端、存储介质 | |
| EP3731161A1 (en) | Model application method and system, and model management method and server | |
| CN110750592B (zh) | 数据同步的方法、装置和终端设备 | |
| CN109871326A (zh) | 一种脚本录制的方法和装置 | |
| CN103198828A (zh) | 语音语料库的构建方法和系统 | |
| CN103049404A (zh) | 一种获取安卓手机型号的方法和系统 | |
| CN110610698B (zh) | 一种语音标注方法及装置 | |
| CN113163009A (zh) | 数据传送方法、装置、电子设备及存储介质 | |
| CN111832449A (zh) | 工程图纸的显示方法及相关装置 | |
| CN110795697A (zh) | 逻辑表达式的获取方法、装置、存储介质以及电子装置 | |
| CN108108139A (zh) | 一种云会议的投屏接入方法 | |
| CN110825731A (zh) | 数据存储方法、装置、电子设备及存储介质 | |
| CN112631806A (zh) | 异步消息排列及调度方法、装置、电子设备及存储介质 | |
| CN112951233A (zh) | 语音问答方法、装置、电子设备及可读存储介质 | |
| CN114441029A (zh) | 语音标注系统的录音噪音检测方法、装置、设备及介质 | |
| CN113760242A (zh) | 一种数据处理方法、装置、服务器和介质 | |
| CN117216114A (zh) | 一种数据流关联方法、装置、设备及其存储介质 | |
| CN105677505B (zh) | 一种基于串口管理ipmi的方法 | |
| CN111190750A (zh) | 一种数据处理方法以及系统 | |
| CN114218000A (zh) | 日志管理方法、装置、电子设备及计算机可读存储介质 | |
| CN110472055B (zh) | 用于标注数据的方法和装置 | |
| CN112988583A (zh) | 数据库语法兼容性测试的方法和装置 | |
| TW201903625A (zh) | 房仲機器人自動回覆系統 | |
| CN113779021A (zh) | 数据处理方法、装置、计算机系统及可读存储介质 | |
| CN107609008A (zh) | 一种基于Apache Sqoop的从关系型数据库到Kafka的数据导入装置及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |