CN111586655A - 一种完整采集对话双方对话内容的装置 - Google Patents

Abstract

本发明公开了一种完整采集对话双方对话内容的装置，属于声音采集技术领域，包括：耳机设备；手机端；设置于耳机设备内的麦克风声音采集单元，用于实现音频的采集；远程控制交互单元，耳机设备与手机端之间通过远程控制交互单元建立蓝牙协议，手机端发送控制指令给耳机设备，控制指令包括启动、停止音频采集操作；蓝牙立体声音频收发单元，耳机设备与手机端之间通过蓝牙立体声音频收发单元实现音频的收发，耳机设备发射音频，手机端接收音频；本发明提供一种方便佩戴并且能取得更好的对话内容采集效果的设备，对话中不必单独摆放或手持，且可以高精度的采集双方对话内容，方便事后进行对话数据分析、提升工作效率。

Description

一种完整采集对话双方对话内容的装置

技术领域

本发明涉及声音采集技术领域，更具体地说，涉及一种完整采集对话双方对话内容的装置。

背景技术

本发明主要基于两方面背景：一是近年人工智能技术，特别是降噪、语音识别、语义理解等领域技术的快速发展；二是可穿戴电子设备的软硬件技术快速成熟，并在消费者中得到广泛使用。

近年来，随着深度学习技术的引入，降噪、语音识别、语义理解等领域技术得到快速发展，在学术界和工业界各种主流的算法效果评测中，普遍取得10％以上的准确率提升，个别场景下甚至有接近或超越人类评测者的表现，达到实用水平，算法模型效果的迅速提升为本发明中的软件部分提供了良好的基础。

另一方面，随着国内外主流消费电子产品企业的大力研发与营销推广，智能手环、智能手机、智能耳机等可穿戴电子设备市场渗透率迅速提高，在消费者中得到广泛的使用，此类产品的整机设备、重点模组供应链的成熟，为本发明中的硬件部分提供了良好的基础。

当前，在记者采访、高客单价产品销售、重要会议等场景，用户大量使用包含麦克风阵列的录音笔、手机等设备进行双方对话内容的录音采集，方便留存记录、事后回放、整理纪要等工作，此类产品普遍需要单独携带，并在对话中静止摆放或手持在与各声源无遮挡的位置进行录音采集，带来使用的不便；此外，因为拾音距离距双方都较远，在当前技术水平下远场拾音后语音识别的准确率均远低于近场拾音水平，影响了事后软件自动分析的效果，限制了借助人工智能技术提升对话数据分析、提升工作效率的可能性。

发明内容

1.要解决的技术问题

针对现有技术中存在的问题，本发明的目的在于提供一种完整采集对话双方对话内容的装置，它提供一种方便佩戴并且能取得更好的对话内容采集效果的设备，对话中不必单独摆放或手持，且可以高精度的采集双方对话内容，方便事后进行对话数据分析、提升工作效率。

2.技术方案

为解决上述问题，本发明采用如下的技术方案：

一种完整采集对话双方对话内容的装置，包括：

耳机设备；

手机端；

设置于耳机设备内的麦克风声音采集单元，用于实现音频的采集；

远程控制交互单元，所述耳机设备与手机端之间通过远程控制交互单元建立蓝牙协议，所述手机端发送控制指令给耳机设备，所述控制指令包括启动、停止音频采集操作；

蓝牙立体声音频收发单元，所述耳机设备与手机端之间通过蓝牙立体声音频收发单元实现音频的收发，所述耳机设备发射音频，所述手机端接收音频；

设置于手机端内的声学处理单元，用于实现音频的处理，提供一种方便佩戴并且能取得更好的对话内容采集效果的设备，对话中不必单独摆放或手持，且可以高精度的采集双方对话内容，方便事后进行对话数据分析、提升工作效率。

作为本发明的一种优选方案，所述耳机设备设置有左耳佩戴设备和右耳佩戴设备。

作为本发明的一种优选方案，所述远程控制交互单元由三个远程控制交互模块组成，其中两个所述远程控制交互模块分别设置于左耳佩戴设备和右耳佩戴设备内，另一个所述远程控制交互模块设置于手机端内。

作为本发明的一种优选方案，所述麦克风声音采集单元由两个麦克风1声音采集模块和两个麦克风2声音采集模块组成，其中一个麦克风1声音采集模块和麦克风2声音采集模块设置于左耳佩戴设备内，另一个所述麦克风1声音采集模块和麦克风2声音采集模块设置于右耳佩戴设备内。

作为本发明的一种优选方案，所述蓝牙立体声音收发单元由两个蓝牙立体声音频传输规范发射端和两个蓝牙立体声音频传输规范接收端，两个所述蓝牙立体声音频传输规范发射端分别设置于左耳佩戴设备和右耳佩戴设备内，两个所述蓝牙立体声音频传输规范接收端均设置于手机端内，两个所述蓝牙立体声音频传输规范接收端分别接收两个蓝牙立体声音频传输规范发射端发射的音频。

作为本发明的一种优选方案，所述声学处理单元包括：

话者分离模块，用于提取短时能量、过零率、梅尔倒谱系数音频特征；

近端波束形成模块，用于波束形成计算，输出近端声源方位、时延；

远端波束形成模块，用于波束形成计算，输出远端声源方位、时延；

噪声抑制、回声抵消、混响消除模块，用于进行声音信号的融合、降噪、人声增强计算；

音频编码模块，用于编码；

本地存储模块，用于本地存储；

云端传输模块，用于云端传输。

作为本发明的一种优选方案，所述左耳佩戴设备和右耳佩戴设备内均设置有音频编解码模块、蓝牙驱动模块、输入输出接口模块、数字信号处理模块、中央处理器模块和内存、储存模块，所述音频编解码模块、蓝牙驱动模块、输入输出接口模块、数字信号处理模块、和内存、储存模块均与中央处理器模块之间电性连接。

一种完整采集对话双方对话内容的方法，包括如下步骤：

S1、用户通过手机端应用软件，向手机端的远程控制交互模块发起指令，进行启动、停止音频采集操作；

S2、手机端的远程交互控制模块通过蓝牙协议与左耳佩戴设备、右耳佩戴设备上的远程交互控制模块建立连接，发送控制指令，启动、停止音频采集操作；

S3、在左耳佩戴设备、右耳佩戴设备上，远程控制交互模块控制麦克风1声音采集模块和麦克风2声音采集模块进行音频的采集；

S4、在左耳佩戴设备、右耳佩戴设备上，远程控制交互模块将采集到的2路声音信号，传递给蓝牙立体声音频传输规范发射端；

S5、在左耳佩戴设备、右耳佩戴设备上，蓝牙立体声音频传输规范发射端将2个麦克风提取的声音统一通过蓝牙协议下的立体声音频传输规范，传输到手机端对应的蓝牙立体声音频传输规范接收端；

S6、手机端上的声学处理单元统一接收到2组共计4路音频信号，进行具体的音频处理计算。

3.有益效果

相比于现有技术，本发明的优点在于：

(1)本方案作为佩戴式设备，无需对话中专门手持或在对话双方中间摆放一个单独的设备，方便使用。

(2)佩戴者一侧声音采集质量提升：基于录音笔等现有技术手段进行日常面对面对话的声音采集后，实际中对双方对话内容进行语音识别等计算得到的字准确率在50-70％之间；基于本发明中的技术，针对对话对方的对话内容采集识别质量接近，但在佩戴者一侧采集效果接近呼叫中心电话通话质量，进行语音识别等计算得到的字准确率在80-90％之间，有明显的准确率提升。

附图说明

图1为本发明一种完整采集对话双方对话内容的装置的整体硬件结构图；

图2为本发明一种完整采集对话双方对话内容的装置中的耳机设备硬件模块图；

图3本发明一种完整采集对话双方对话内容的装置的软件模块图。

具体实施方式

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”、“顶/底端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置有”、“套设/接”、“连接”等，应做广义理解，例如“连接”，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例：

请参阅图1-3，一种完整采集对话双方对话内容的装置，包括：

耳机设备，耳机设备设置有左耳佩戴设备和右耳佩戴设备，左耳佩戴设备与外界交互的部分主要包含如下部件：2个麦克风，用于采集声音信号，采用歌尔声学G1249498硅麦克风；1个扬声器，用于播放从手机端输出的音频，采用石墨烯高保真扬声器；1个蓝牙天线，用于与手机端进行操作指令和音频信号的传输，采用FPC天线；1个电池用于供电，采用VDL重庆紫建3.7V 80mAh可充电锂电池；1个micro USB接口用于充电和必要的有线连接控制，右耳佩戴设备和左耳佩戴设备相同；

手机端，手机端内设置应用软件，用以发送控制指令，此处为本领域技术人员的公知常识，故此不做过多赘述；

设置于耳机设备内的麦克风声音采集单元，用于实现音频的采集，麦克风声音采集单元由两个麦克风1声音采集模块和两个麦克风2声音采集模块组成，其中一个麦克风1声音采集模块和麦克风2声音采集模块设置于左耳佩戴设备内，另一个麦克风1声音采集模块和麦克风2声音采集模块设置于右耳佩戴设备内，麦克风1声音采集模块和麦克风2声音采集模块分别和麦克风1、麦克风2对应，按需实时获取2个麦克风上采集的音频信号，以44100赫兹采样频率、16比特采样深度的规格来进行音频信号的数字编码；

左耳佩戴设备和右耳佩戴设备内均设置有音频编解码模块、蓝牙驱动模块、输入输出接口模块、数字信号处理模块、中央处理器模块和内存、储存模块，音频编解码模块、蓝牙驱动模块、输入输出接口模块、数字信号处理模块、和内存、储存模块均与中央处理器模块之间电性连接，音频编解码模块进行数字到模拟、模拟到数字的信号转换；蓝牙驱动模块与蓝牙天线配合进行数据通信，采用蓝牙5.0低功耗传感器中枢双模蓝牙；输入输出接口模块支持micro USB接口的驱动；数字信号处理模块进行基本的音频信号处理计算，QualcommKalimba DSP；中央处理器模块(32位可编程应用CPU，32MHz主频)与内存、存储模块配合，承载整体的设备驱动、程序运行控制等计算；

远程控制交互单元，耳机设备与手机端之间通过远程控制交互单元建立蓝牙协议，手机端发送控制指令给耳机设备，控制指令包括启动、停止音频采集操作，远程控制交互单元由三个远程控制交互模块组成，其中两个远程控制交互模块分别设置于左耳佩戴设备和右耳佩戴设备内，另一个远程控制交互模块设置于手机端内，远程控制交互模块用于接收来自手机端的控制指令，相应启动、停止声音采集和传输等工作；

蓝牙立体声音频收发单元，耳机设备与手机端之间通过蓝牙立体声音频收发单元实现音频的收发，耳机设备发射音频，手机端接收音，蓝牙立体声音收发单元由两个蓝牙立体声音频传输规范发射端和两个蓝牙立体声音频传输规范接收端，两个蓝牙立体声音频传输规范发射端分别设置于左耳佩戴设备和右耳佩戴设备内，两个蓝牙立体声音频传输规范接收端均设置于手机端内，两个蓝牙立体声音频传输规范接收端分别接收两个蓝牙立体声音频传输规范发射端发射的音频，蓝牙立体声音频传输规范发射端遵循蓝牙协议中的A2DP(Advanced Audio Distribution Profile)蓝牙立体声音频传输规范，作为发射端，将单侧设备上2个麦克风采集的2路音频信号通过统一的立体声传输到手机端；蓝牙立体声音频传输规范接收端启动2个子进程，分别遵循蓝牙协议中的A2DP(Advanced AudioDistribution Profile)蓝牙立体声音频传输规范，作为接收端，接收来自左、右侧设备上的2组立体声音频信号，共计4路音频信号，供后续模块应用；

设置于手机端内的声学处理单元，用于实现音频的处理，声学处理单元包括：

话者分离模块，用于提取短时能量、过零率、梅尔倒谱系数音频特征，基于4路音频信号，提取短时能量、过零率、梅尔倒谱系数等音频特征，传递到预先通过标注数据训练得到的分类模型算法中，对每个20毫秒的时间窗口中的音频信号，模型算法分类为近端声音(来自设备佩戴者)、远端声音(来自对话中的对方)、静音(无对话)状态类别之一，供后续模块应用；

近端波束形成模块，用于波束形成计算，输出近端声源方位、时延，在话者分离模块判断当前音频信号为近端声音时运行，对来自左侧(也可实现为右侧)佩戴设备上2个麦克风采集的音频信号进行波束形成计算，输出近端声源方位、时延等信息供后续模块应用；

远端波束形成模块，用于波束形成计算，输出远端声源方位、时延，在话者分离模块判断当前音频信号为远端声音时运行，对来自两侧佩戴设备上2个麦克风采集的音频信号进行波束形成计算，输出远端声源方位、时延等信息供后续模块应用；

噪声抑制、回声抵消、混响消除模块，用于进行声音信号的融合、降噪、人声增强计算综合原始音频信号、话者分离状态、波束形成模块输出信号等数据，进行声音信号的融合、降噪、人声增强计算，输出相比于单路麦克风信噪比更高、音质更好的音频信号，供后续模块引用；

音频编码模块，用于编码，上述融合处理候的音频信号仍然是PCM(脉冲编码调制)格式，无任何压缩，占用空间较大，不适于存储、传输等。本模块将上述融合处理过的音频信号按需进行编码，供本地存储、云端传输等模块应用；

本地存储模块，用于本地存储，与手机端应用软件配合，按业务需求把处理过的音频信号编码后储存在手机本地，供未来播放等使用；

云端传输模块，用于云端传输，与手机端应用软件和云端服务配合，按业务需求把处理过的音频信号编码后传输到云端，供进行语音识别、语义理解、内容摘要等计算使用。

一种完整采集对话双方对话内容的方法，包括如下步骤：

S1、用户通过手机端应用软件，向手机端的远程控制交互模块发起指令，进行启动、停止音频采集操作；

S2、手机端的远程交互控制模块通过蓝牙协议与左耳佩戴设备、右耳佩戴设备上的远程交互控制模块建立连接，发送控制指令，启动、停止音频采集操作；

S3、在左耳佩戴设备、右耳佩戴设备上，远程控制交互模块控制麦克风1声音采集模块和麦克风2声音采集模块进行音频的采集；

S4、在左耳佩戴设备、右耳佩戴设备上，远程控制交互模块将采集到的2路声音信号，传递给蓝牙立体声音频传输规范发射端；

S5、在左耳佩戴设备、右耳佩戴设备上，蓝牙立体声音频传输规范发射端将2个麦克风提取的声音统一通过蓝牙协议下的立体声音频传输规范，传输到手机端对应的蓝牙立体声音频传输规范接收端；

S6、手机端上的声学处理单元统一接收到2组共计4路音频信号，进行具体的音频处理计算。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其改进构思加以等同替换或改变，都应涵盖在本发明的保护范围内。

Claims (8)

1.一种完整采集对话双方对话内容的装置，其特征在于，包括:

耳机设备；

手机端；

设置于耳机设备内的麦克风声音采集单元，用于实现音频的采集；

远程控制交互单元，所述耳机设备与手机端之间通过远程控制交互单元建立蓝牙协议，所述手机端发送控制指令给耳机设备，所述控制指令包括启动、停止音频采集操作；

蓝牙立体声音频收发单元，所述耳机设备与手机端之间通过蓝牙立体声音频收发单元实现音频的收发，所述耳机设备发射音频，所述手机端接收音频；

设置于手机端内的声学处理单元，用于实现音频的处理。

2.根据权利要求1所述的一种完整采集对话双方对话内容的装置，其特征在于，所述耳机设备设置有左耳佩戴设备和右耳佩戴设备。

3.根据权利要求2所述的一种完整采集对话双方对话内容的装置，其特征在于，所述远程控制交互单元由三个远程控制交互模块组成，其中两个所述远程控制交互模块分别设置于左耳佩戴设备和右耳佩戴设备内，另一个所述远程控制交互模块设置于手机端内。

4.根据权利要求3所述的一种完整采集对话双方对话内容的装置，其特征在于，所述麦克风声音采集单元由两个麦克风1声音采集模块和两个麦克风2声音采集模块组成，其中一个麦克风1声音采集模块和麦克风2声音采集模块设置于左耳佩戴设备内，另一个所述麦克风1声音采集模块和麦克风2声音采集模块设置于右耳佩戴设备内。

5.根据权利要求4所述的一种完整采集对话双方对话内容的装置，其特征在于，所述蓝牙立体声音收发单元由两个蓝牙立体声音频传输规范发射端和两个蓝牙立体声音频传输规范接收端，两个所述蓝牙立体声音频传输规范发射端分别设置于左耳佩戴设备和右耳佩戴设备内，两个所述蓝牙立体声音频传输规范接收端均设置于手机端内，两个所述蓝牙立体声音频传输规范接收端分别接收两个蓝牙立体声音频传输规范发射端发射的音频。

6.根据权利要求1-5任意一项所述的一种完整采集对话双方对话内容的装置，其特征在于，所述声学处理单元包括：

话者分离模块，用于提取短时能量、过零率、梅尔倒谱系数音频特征；

近端波束形成模块，用于波束形成计算，输出近端声源方位、时延；

远端波束形成模块，用于波束形成计算，输出远端声源方位、时延；

噪声抑制、回声抵消、混响消除模块，用于进行声音信号的融合、降噪、人声增强计算；

音频编码模块，用于编码；

本地存储模块，用于本地存储；

云端传输模块，用于云端传输。

7.根据权利要求6所述的一种完整采集对话双方对话内容的装置，其特征在于，所述左耳佩戴设备和右耳佩戴设备内均设置有音频编解码模块、蓝牙驱动模块、输入输出接口模块、数字信号处理模块、中央处理器模块和内存、储存模块，所述音频编解码模块、蓝牙驱动模块、输入输出接口模块、数字信号处理模块、和内存、储存模块均与中央处理器模块之间电性连接。

8.一种完整采集对话双方对话内容的方法，其特征在于，包括如下步骤：

S1、用户通过手机端应用软件，向手机端的远程控制交互模块发起指令，进行启动、停止音频采集操作；

S2、手机端的远程交互控制模块通过蓝牙协议与左耳佩戴设备、右耳佩戴设备上的远程交互控制模块建立连接，发送控制指令，启动、停止音频采集操作；

S3、在左耳佩戴设备、右耳佩戴设备上，远程控制交互模块控制麦克风1声音采集模块和麦克风2声音采集模块进行音频的采集；

S4、在左耳佩戴设备、右耳佩戴设备上，远程控制交互模块将采集到的2路声音信号，传递给蓝牙立体声音频传输规范发射端；

S5、在左耳佩戴设备、右耳佩戴设备上，蓝牙立体声音频传输规范发射端将2个麦克风提取的声音统一通过蓝牙协议下的立体声音频传输规范，传输到手机端对应的蓝牙立体声音频传输规范接收端；

S6、手机端上的声学处理单元统一接收到2组共计4路音频信号，进行具体的音频处理计算。

Images