CN114584717B - 一种音频交互方法及装置 - Google Patents

Abstract

本申请公开了一种音频交互方法，涉及音视频信号传输技术领域，包括以下步骤：接收前端同轴传输的携带有行场时序标识的第一复合视频信号；将第一复合视频信号输入复合视频信号解码模块中进行解码得到原始复合视频信号的行场时序和第一音频信号；采集第二音频信号，并将第二音频信号转换成第二音频传输信号；将第二音频传输信号与前端发送的第一复合视频信号叠加得到第二复合视频信号，并将第二复合视频信号同轴传输到前端以便前端对第二复合视频信号进行解码得到第二音频信号。本方案将未经调制和封装处理的原始音频信号放置在复合视频信号消隐期间，使得音频数据不易失真，并实现了音频在同轴线或双绞线上的双向传输，抗干扰能力强，成本低。

Description

一种音频交互方法及装置

技术领域

本申请涉及音视频信号传输技术领域，尤其涉及一种音频交互方法及装置。

背景技术

现有技术中音视频信号同时传输的方法大多是先对音频信号进行调制，再将调制好的音频信号与视频信号叠加，以便同时将音频信号和视频信号传输到接收端，但此过程中音频信号需要经过调制和解调，易失真，同时目前较成熟的长距离音视频传输方法均是采用的无线传输技术，成本高，且发送和接收装置实现复杂，此外，无线传输延时大，通信受环境影响也大。

发明内容

本申请提供的一种音频交互方法，旨在解决现有技术中无法实现音频的同轴双向交互以及无线传输技术同时传输音视频信号时音频数据易失真，且成本高、受环境影响大的问题。

为实现上述目的，本申请采用以下技术方案：

本申请的一种音频交互方法，包括以下步骤：

接收前端同轴传输的携带有行场时序标识的第一复合视频信号，所述第一复合视频信号是由第一音频信号与原始复合视频信号叠加得到的；

将所述第一复合视频信号输入复合视频信号解码模块中进行解码得到所述原始复合视频信号的行场时序和所述第一音频信号；

采集第二音频信号，并根据所述原始复合视频信号的行场时序将所述第二音频信号转换成具有行场位置的第二音频传输信号；

将所述第二音频传输信号与前端发送的第一复合视频信号叠加得到第二复合视频信号，并将所述第二复合视频信号同轴传输到前端以便所述前端接收所述第二音频信号。

作为优选，所述同轴传输为同轴电缆传输或双绞线传输。

作为优选，所述第一音频信号与原始复合视频信号叠加是指将第一音频信号放置在原始复合视频信号的行消隐期或场消隐期。

作为优选，所述根据所述原始复合视频信号的行场时序将所述第二音频信号转换成具有行场位置的第二音频传输信号，包括：

根据所述第一音频信号的行场位置确定所述第二音频信号的行场位置，且所述第二音频信号的行场位置与所述第一音频信号的行场位置相互错开；

根据所述第二音频信号的行场位置将所述第二音频信号放置在行场上得到第二音频传输信号。

作为优选，错开方法包括将所述第一音频信号和所述第二音频信号分别放置在场消隐期和行消隐期，或是将其放置在同一消隐期的不同行。

作为优选，后端接收的第一音频信号和前端接收的第二音频信号分别通过音频播放设备播放。

作为优选，所述第一复合视频信号中第一音频信号的编码方式与所述复合视频信号解码模块中第一音频信号的解码方式相对应。

一种音频交互的后端装置，包括：

复合视频信号解码模块，用于接收前端同轴传输的第一复合视频信号，并对所述第一复合视频信号进行解码得到原始复合视频信号的行场时序和第一音频信号；

第一音频播放设备，用于接收并播放所述复合视频信号解码模块发送的第一音频信号；

音频发送模块，用于接收所述复合视频信号解码模块发送的所述原始复合视频信号的行场时序，并根据所述第一复合视频信号的行场时序将采集的第二音频信号转换成具有行场位置的第二音频传输信号以便将其同轴传输到前端。

一种音频交互的前端装置，其特征在于，包括：

复合视频信号编码模块，用于将采集的第一音频信号叠加到原始复合视频信号的行消隐期或场消隐期，生成第一复合视频信号并将其同轴传输到后端；

音频接收模块，用于接收所述后端发送的第二复合视频信号，并对所述第二复合视频进行解码得到第二音频信号；

第二音频播放设备，用于接收并播放所述音频接收模块发送的第二音频信号。

一种音频交互装置，包括前端和后端，所述前端通过同轴电缆或双绞线连接所述后端，其特征在于，包括：

所述前端，用于将采集的第一音频信号与原始复合视频信号叠加成携带有行场时序标识的第一复合视频信号，并将所述第一复合视频信号同轴传输到所述后端，同时接收所述后端传输的第二音频信号；

所述后端，用于对前端同轴传输的第一复合视频信号进行解码得到原始复合视频信号的行场时序和第一音频信号，并根据所述原始复合视频信号的行场时序将采集的第二音频信号转换成第二音频传输信号后同轴传输到所述前端；

所述同轴电缆或双绞线，用于进行所述前端与所述后端间的信号传递。

本发明具有如下有益效果：

本方案将未经调制和封装处理的原始音频信号放置在复合视频信号消隐期间，避免了音频数据在这两个过程失真，通过同轴线或双绞线进行音视频的有线传输，相比无线传输，抗干扰能力强，成本低，同时在两端均设置简单的发送装置和接收装置，实现音频在同轴线/双绞线上的双向对话。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例1实现一种音频交互方法的流程图；

图2是本申请实施例2实现一种音频交互装置结构图；

图3是本申请实施例2前端场消隐期间传送音频数据的示意图；

图4是本申请实施例2前端行消隐期间传送音频数据的示意图；

图5是本申请实施例2后端场消隐期间传送音频数据的示意图；

图6是本申请实施例2后端行消隐期间传送音频数据的示意图；

图7是本申请实施例2后端音频数据的叠加原理图。

具体实施方式

下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的权利要求书和说明书的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序，应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式，此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他单元。

实施例1

如图1所示，一种音频交互方法，包括以下步骤：

S110、接收前端同轴传输的携带有行场时序标识的第一复合视频信号，所述第一复合视频信号是由第一音频信号与原始复合视频信号叠加得到的；

S120、将所述第一复合视频信号输入复合视频信号解码模块中进行解码得到所述原始复合视频信号的行场时序和所述第一音频信号；

S130、采集第二音频信号，并根据所述原始复合视频信号的行场时序将所述第二音频信号转换成具有行场位置的第二音频传输信号；

S140、将所述第二音频传输信号与前端发送的第一复合视频信号叠加得到第二复合视频信号，并将所述第二复合视频信号同轴传输到前端以便所述前端接收所述第二音频信号。

根据实施例1可知，视频信号主要有复合视频信号、S端子视频信号和分量信号等，而复合视频信号是指其在一个传输信号中包含了亮度、色度和同步信号，本实施例传输的就是复合视频信号。在接收到前端通过同轴电缆或双绞线传输到后端的携带有行场时序标识的第一模拟复合视频信号时，首先会使用第一模数转换器将该第一模拟复合视频信号转换为第一数字复合视频信号，其中，第一数字复合视频信号是在前端将第一数字音频信号叠加到原始数字复合视频信号的行消隐期或场消隐期的结果，音频信号放置在复合视频信号消隐期，不与视频信号同时传输，避免了现有技术因音频信号调制后与复合视频信号叠加在一起而产生的音视频串扰，且该第一数字音频信号是原始音频数据，未经调制，因同轴电缆和双绞线只能传输模拟信号，因此前端在向后端传输的时候将其转换成了模拟信号，而本方案只能处理数字信号，故在其传输到后端后又转换成了数字信号，后端的复合视频信号解码模块对第一数字复合视频信号进行解码，可以获取原始数字复合视频信号的行场时序，通过第一数字音频信号的行场位置则可以从该第一数字复合视频中提取中第一数字音频信号并通过第一音频播放设备播放，同时采集第二数字音频信号，根据原始数字复合视频信号的行场时序及第一数字音频信号的行场位置可以确定该第二数字音频数字的行场位置，并将该第二数字音频信号放置在行消隐或场消隐的某个位置上得到第二数字音频传输信号，第二数字音频信号与第二数字音频传输信号的不同就在于第二数字音频传输信号是放置在行消隐期或场消隐期的，第二数字音频传输信号虽被放置在行场上，但其不具有行场时序标识，然后利用第一数模转换器，将该第二数字音频传输信号转换成第二模拟音频信号，并将其传送到同轴电缆或双绞线上以将其传输到前端，此时其与前端发送到同轴电缆或双绞线上的第一模拟复合视频信号会相遇叠加得到带双向音频信号的第二模拟复合视频信号并传送到前端以便前端对该第二模拟复合视频信号进行解码得到第二数字音频信号并通过第二音频播放设备播放。本实施例中原始的音频在同轴线或双绞线上传输，相对无线传输，延时低，实时传输，抗干扰能力强，收发设备复杂度低，线路铺设成本低；且音频信号以基带形式传输，避免了音频信号因调制与解调造成的失真，具有传输距离长，衰减失真小的优点。

实施例2

如图2所示，一种音频交互装置，包括前端和后端，所述前端通过同轴电缆或双绞线连接所述后端，其特征在于，包括：

所述前端，用于将采集的第一音频信号与原始复合视频信号叠加成携带有行场时序标识的第一复合视频信号，并将所述第一复合视频信号同轴传输到所述后端，同时接收所述后端传输的第二音频信号；

所述后端，用于对前端同轴传输的第一复合视频信号进行解码得到原始复合视频信号的行场时序和第一音频信号，并根据所述原始复合视频信号的行场时序将采集的第二音频信号转换成第二音频传输信号后同轴传输到所述前端；

所述同轴电缆或双绞线，用于进行所述前端与所述后端间的信号传递。

根据实施例2可知，将未经调制和封装处理的第一数字音频信号放置在数字复合视频信号消隐期（行消隐期或场消隐期），与数字复合视频信号一起传输得到第一数字复合视频信号，在本实施例中将完成此过程的设备称之为前端，将前端生成的第一复合视频信号通过同轴线或双绞线传送到目的地。将传送来的第一数字复合视频信号进行解码，恢复出原始复合视频信号进行显示，同时从前后端约定的消隐期间获取第一数字音频信号并通过音频播放设备进行播放，在本实施例中将完成此过程的设备称之为后端，该音频播放设备为喇叭。相对普通的后端设备，本实施例的后端添加一个简单的音频发送模块，用于生成第二数字音频传输信号，即在约定的音频传输位置放置音频信号，并且在放置音频信号之前会有一段幅值固定的区间作为音频信号的开始标识，标志音频的开始位置，其后紧跟音频数据，除此之外，其他区域均为0，再将第二数字音频传输信号转换成第二模拟音频传输信号后叠加到第一模拟复合视频信号上，与之对应的，在前端添加一个音频播放设备，在本实施例中为喇叭，用于接收并播放后端发送的第二数字音频信号，从而实现前端和后端的音频双向实时对话。

首先，前端向后端传输数据，具体地为：

将前端mic采集的原始音频数据即第一音频数据，送入复合视频信号编码模块，将其放在场消隐期的某几行上面（如图3所示）或行消隐期（如图4所示）,与原始复合视频信号一起生成第一数字复合视频信号，其中，放置第一音频数据的开始行用V_S表示，持续行数用V_d表示，则第一数字音频信号放置在第V_S行～第V_S+V_d-1行上，V_S和V_d可配。同时，第一音频数据放置在行上的起始点用H_s表示，此值是相对于行同步脉冲下降沿的视频样点数，持续视频样点数用W_S+N*W_d表示，H_S、W_d和W_S可配，其中，W_S为第一音频开始标识持续的视频样点数，N是复合视频信号编码模块时钟频率F_S0与前端第一音频样点频率的比值，W_d为每行传输的第一音频样点数。

具体是采用场消隐期间还是行消隐期间传送第一音频数据，可自由选择，但前端复合视频信号编码模块中的音频编码采取方案应与后端复合视频信号解码模块中的音频解码的获取方案保持一致。

其次，通过D/A转换器，将第一数字复合视频信号转成第一模拟复合视频信号，并通过同轴线或双绞线传送到后端。

第三，经过后端的A/D转换器采样，将该第一模拟复合视频信号转成第一数字复合视频信号，再送入复合视频信号解码模块中，恢复原始数字复合视频信号的行场时序，选取第V_S行～第V_S+V_d-1行上的第H_S0～H_S0+N₁*W_d-1个视频样点，再下采样N₁倍作为恢复的第一数字音频信号，送入后端喇叭进行播放，其中，N₁是复合视频信号解码模块视频样点频率F_S1与前端第一音频样点频率的比值；H_S0为第一音频数据在一行中的起始点，其表达式为H_S0=(H_S+W_S)*F_S1/F_S0。

接着，后端向前端传送数据，具体地为：

首先，音频发送模块利用复合视频信号解码模块恢复的点计数器和行计数器，将后端mic采集的原始音频数据即第二数字音频信号，转换成第二数字音频传输信号，其中，放置第二音频数据的开始行用V_S0表示，持续行数用V_d0表示，则第二数字音频信号放置在第V_S0行～第V_S0+V_d0-1行上，V_S0和V_d0可调，此值是以复合视频信号解码模块恢复的行计数器作为参考坐标的。同时，第二音频数据放置在行上的起始点用H_S1表示，此值是以复合视频信号解码模块恢复的点计数器作为参考坐标的，持续视频样点数用W_S0+N₂*W_d0表示，H_S1、W_d0和W_S0可配，其中，W_S0为第二音频开始标识持续的视频样点数，N₂是复合视频信号解码模块样点频率F_S1与后端第二音频样点频率的比值，W_d0为每行传输的第二音频样点数。

具体是采用场消隐期间还是行消隐期间传送第二音频数据，可自由选择，但在后端音频发送模块中采取的方案应与前端音频接收模块中的音频解码的获取方案保持一致。

同时，为了避免前端传输的第一音频数据与后端传输的第二音频数据相互干扰，后端数据传输中放置第二音频数据的位置应与正向的错开。错开方法可通过采取不同的放置方案（场消隐或行消隐），或者采取同种放置方案但配置不同的分布行来实现。因此，在音频发送模块输出的第二数字音频传输信号中，除第V_S0行～第V_S0+V_d0-1行上的第H_S1～H_S1+W_S0+N₂*W_d0-1个点之外，其它的值均为0。

此外，与前端数据传输不同，后端数据传输的音频信号与视频信号的叠加是两个模拟信号的叠加。后端的音频发送模块生成的第二数字音频传输信号是不带任何行场时序标识的，除所需传输的区间上的第二音频开始标识和原始基带第二音频数据之外，其它区间均为0（如图5和图6所示），其与第一复合视频信号的叠加也发生在经过DAC转成模拟信号并发送到同轴线上之后。

其次，将第二数字音频传输信号通过D/A转换器，转成模拟信号，发送到同轴线或双绞线上，与线上从前端发过来的第一模拟复合视频信号进行叠加得到带有双向音频数据的第二模拟复合视频信号，并传送到前端。

第三，通过前端的ADC将同轴线/双绞线上的第二模拟复合视频信号进行采样，转成第二数字复合视频信号，并送入音频接收模块。

第四，音频接收模块通过同步锁相恢复视频信号的点计数器和行计数器，再选取第V_S0行～第V_S0+V_d0-1行上的第H_S2～H_S2+N₃*W_d0-1个视频样点，再下采样N₃倍作为恢复的第二数字音频信号，送入前端喇叭进行播放，其中，N₃是音频接收模块样点频率F_S2与后端第二音频样点频率的比值。由于整个过程是实时的，音频发送模块参考的时间坐标是由复合视频信号解码模块恢复的，即参考点为接收端复合视频信号，在生成的第二模拟音频传输信号与接收端第一模拟复合视频信号进行叠加之前，第一模拟复合视频信号在时间轴上不断向前，因此，第二音频信号相对第一复合视频信号有一段时间的延时，可用t_d表示，是由复合视频信号解码模块行场恢复所用时间、音频发送模块编码时间和后端DAC所耗费的时间决定，如图7所示。由于这些时间比较小，数量级在微秒级，故此延时只会影响音频接收模块中第二音频数据在行中的起始点H_S2，接收端与发送端的关系为H_S2=（H_S1/F_S1+t_d+W_S0）*F_S2。

将未经调制和封装处理的原始音频信号放置在复合视频信号消隐期间，通过同轴线和双绞线进行音频有线传输，在视频发送端添加音频接收模块，在视频接收端添加音频发送模块，实现基于同轴的音频双向传输对话。同时原始的音频在同轴线或双绞线上传输，相对无线传输，延时低，实时传输，抗干扰能力强，收发设备复杂度低，实现成本低；音频数据不经过调制和解调，避免了在这两个过程中的数据失真。

实施例3

一种音频交互的后端装置，包括：

复合视频信号解码模块，用于接收前端同轴传输的第一复合视频信号，并对所述第一复合视频信号进行解码得到原始复合视频信号的行场时序和第一音频信号；

第一音频播放设备，用于接收并播放所述复合视频信号解码模块发送的第一音频信号；

音频发送模块，用于接收所述复合视频信号解码模块发送的所述原始复合视频信号的行场时序，并根据所述第一复合视频信号的行场时序将采集的第二音频信号转换成具有行场位置的第二音频传输信号以便将其同轴传输到前端。

实施例4

一种音频交互的前端装置，包括：

复合视频信号编码模块，用于将采集的第一音频信号叠加到原始复合视频信号的行消隐期或场消隐期，生成第一复合视频信号并将其同轴传输到后端；

音频接收模块，用于接收所述后端发送的第二复合视频信号，并对所述第二复合视频进行解码得到第二音频信号；

第二音频播放设备，用于接收并播放所述音频接收模块发送的第二音频信号。

一种存储有计算机程序的计算机可读存储介质，所述计算机程序使计算机执行时实现如上述的一种音频交互方法。示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器中，并由处理器执行，并由输入接口和输出接口完成数据的I/O接口传输，以完成本发明,一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机设备中的执行过程。计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。计算机设备可包括，但不仅限于，存储器、处理器,本领域技术人员可以理解，本实施例仅仅是计算机设备的示例，并不构成对计算机设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件，例如计算机设备还可以包括输入器、网络接入设备、总线等。处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以是计算机设备的内部存储单元，例如计算机设备的硬盘或内存。存储器也可以是计算机设备的外部存储设备，例如计算机设备上配备的插接式硬盘，智能存储卡（Smart Media Card,SMC），安全数字（Secure Digital,SD）卡，闪存卡（Flash Card）等,进一步地，存储器还可以既包括计算机设备的内部存储单元也包括外部存储设备,存储器用于存储计算机程序以及计算机设备所需的其他程序和数据,存储器还可以用于暂时地存储在输出器，而前述的存储介质包括U盘、移动硬盘、只读存储器ROM、随机存储器RAM、碟盘或光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何在本发明揭露的技术范围内的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种音频交互方法，其特征在于，包括以下步骤：

接收前端同轴传输的携带有行场时序标识的第一复合视频信号，所述第一复合视频信号是将第一音频信号放置在原始复合视频信号的行消隐期或场消隐期得到的；

将所述第一复合视频信号输入复合视频信号解码模块中进行解码得到所述原始复合视频信号的行场时序和所述第一音频信号；

采集第二音频信号，并根据所述第一音频信号的行场位置确定所述第二音频信号的行场位置，且所述第二音频信号的行场位置与所述第一音频信号的行场位置相互错开；

根据所述第二音频信号的行场位置将所述第二音频信号放置在行场上得到第二音频传输信号；

将所述第二音频传输信号与前端发送的第一复合视频信号叠加得到第二复合视频信号，并将所述第二复合视频信号同轴传输到前端以便所述前端接收所述第二音频信号。

2.根据权利要求1所述的一种音频交互方法，其特征在于，所述同轴传输为同轴电缆传输或双绞线传输。

3.根据权利要求1所述的一种音频交互方法，其特征在于，错开方法包括将所述第一音频信号和所述第二音频信号分别放置在场消隐期和行消隐期，或是将其放置在同一消隐期的不同行。

4.根据权利要求1所述的一种音频交互方法，其特征在于，后端接收的第一音频信号和前端接收的第二音频信号分别通过音频播放设备播放。

5.根据权利要求1所述的一种音频交互方法，其特征在于，所述第一复合视频信号中第一音频信号的编码方式与所述复合视频信号解码模块中第一音频信号的解码方式相对应。

6.一种实现权利要求1所述的一种音频交互方法的后端装置，其特征在于，包括：

复合视频信号解码模块，用于接收前端同轴传输的第一复合视频信号，并对所述第一复合视频信号进行解码得到原始复合视频信号的行场时序和第一音频信号；

第一音频播放设备，用于接收并播放所述复合视频信号解码模块发送的第一音频信号；

音频发送模块，用于接收所述复合视频信号解码模块发送的所述原始复合视频信号的行场时序，并根据所述第一复合视频信号的行场时序将采集的第二音频信号转换成具有行场位置的第二音频传输信号以便将其同轴传输到前端。

7.一种实现权利要求1所述的一种音频交互方法的前端装置，其特征在于，包括：

复合视频信号编码模块，用于将采集的第一音频信号叠加到原始复合视频信号的行消隐期或场消隐期，生成第一复合视频信号并将其同轴传输到后端；

音频接收模块，用于接收所述后端发送的第二复合视频信号，并对所述第二复合视频进行解码得到第二音频信号；

第二音频播放设备，用于接收并播放所述音频接收模块发送的第二音频信号。

8.一种音频交互装置，包括前端和后端，所述前端通过同轴电缆或双绞线连接所述后端，其特征在于，包括：

所述前端，用于将采集的第一音频信号放置在原始复合视频信号的行消隐期和场消隐期得到有行场时序标识的第一复合视频信号，并将所述第一复合视频信号同轴传输到所述后端，同时接收所述后端传输的第二音频信号；

所述后端，用于对前端同轴传输的第一复合视频信号进行解码得到原始复合视频信号的行场时序和第一音频信号，并根据所述原始复合视频信号的行场时序将采集的第二音频信号转换成第二音频传输信号后同轴传输到所述前端，其中将采集的第二音频信号转换成第二音频传输信号包括：

采集第二音频信号，并根据所述第一音频信号的行场位置确定所述第二音频信号的行场位置，且所述第二音频信号的行场位置与所述第一音频信号的行场位置相互错开；

根据所述第二音频信号的行场位置将所述第二音频信号放置在行场上得到第二音频传输信号；

所述同轴电缆或双绞线，用于进行所述前端与所述后端间的信号传递。

Images