CN111083546B - 一种音视频传输控制方法、系统及服务器 - Google Patents

一种音视频传输控制方法、系统及服务器 Download PDF

Info

Publication number
CN111083546B
CN111083546B CN201911283087.7A CN201911283087A CN111083546B CN 111083546 B CN111083546 B CN 111083546B CN 201911283087 A CN201911283087 A CN 201911283087A CN 111083546 B CN111083546 B CN 111083546B
Authority
CN
China
Prior art keywords
audio
video
output
source terminal
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911283087.7A
Other languages
English (en)
Other versions
CN111083546A (zh
Inventor
吴雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Feixun Digital Technology Co ltd
Kyland Technology Co Ltd
Original Assignee
Beijing Feixun Digital Technology Co ltd
Kyland Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Feixun Digital Technology Co ltd, Kyland Technology Co Ltd filed Critical Beijing Feixun Digital Technology Co ltd
Priority to CN201911283087.7A priority Critical patent/CN111083546B/zh
Publication of CN111083546A publication Critical patent/CN111083546A/zh
Application granted granted Critical
Publication of CN111083546B publication Critical patent/CN111083546B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明实施例公开了一种音视频传输控制方法、系统及服务器。包括：获取包括目标视频源终端的音视频控制请求；根据目标视频源终端，查询预先配置的绑定关系，确定与目标视频源终端对应的目标视频输出终端；根据预先配置的绑定关系，判断目标视频源终端是否绑定目标音频源终端；若是，则根据预先配置的绑定关系，判断目标视频输出终端是否绑定目标音频输出终端；若是，则根据目标视频源终端以及目标视频输出终端配置视频系统，并根据目标音频源终端以及目标音频输出终端配置音频系统，以选通与音视频控制请求匹配的视频传输通路，和/或音频传输通路。可实现视频输出终端输出视频时，视频输出终端绑定的音频输出终端输出音频进行扩音。

Description

一种音视频传输控制方法、系统及服务器
技术领域
本发明实施例涉及音视频控制技术领域，尤其涉及一种音视频传输控制方法、系统及服务器。
背景技术
随着通信网络技术的发展，视频与音频在生活中变得很普及，用户对视听觉体验的要求越来越高。因此，对于视频与音频做到同步切换及控制，达到视频画面与音频唇音同步的效果是非常关键的。
现有技术在实现音视频同步时，将同一设备产生的视频与音频输入至同一编码器(或者软编码)进行同步编码，形成一路实时流传输协议(Real Time Streaming Protocol，RTSP)流后通过网络传输。在末端，通过同一解码器(或者软解码)将视频与音频解码同步输出给视频输出设备和音频输出设备。由于视频与音频在编码端的编码是同步的，因此在解码端的解码按照时间戳进行同步解码即可保证输出的视频、音频同步。
发明人在实现本发明的过程中，发现，在视频与音频同步编码、同步传输并同步解码输出时，会使视频控制系统与音频控制系统功能相互影响，不利于视频控制系统与音频控制系统的部署，此外，在整个系统出现故障时，也不利于排查。
发明内容
本发明实施例提供了一种音视频传输控制方法、系统及服务器，可以实现视频与音频异步传输、同步控制，音视频控制系统功能单一化，利于系统部署和故障排查。
第一方面，本发明实施例提供了一种音视频传输控制系统，该系统包括：视频系统、音频系统和服务器；视频系统包括视频源设备、视频传输设备和视频输出设备；音频系统包括音频源设备、音频传输设备和音频输出设备；
视频源设备包括多个视频源终端，视频输出设备包括多个视频输出终端，音频源设备包括多个音频源终端，音频输出设备包括多个音频输出终端；
服务器，用于根据预先配置的视频源终端与视频输出终端间的绑定关系，视频源终端和音频源终端间的绑定关系，和视频输出终端与音频输出终端间的绑定关系，配置视频系统和音频系统，以选通与音视频控制请求匹配的视频传输通路，和/或音频传输通路。
可选的，视频源设备具体包括：
多个第一类视频源终端，以及分别与各第一类视频源终端相连的编码器；或者，
多个第二类视频源终端；或者，
至少一个第一类视频源终端，分别与各所述第一类视频源终端相连的编码器，以及至少一个第二类视频源终端；
所述编码器，和/或所述第二类视频源终端分别与所述视频传输设备相连；
所述视频输出设备具体包括：多个解码器，以及与各所述解码器分别相连的视频输出终端，所述解码器分别与所述视频传输设备相连；
视频源终端与视频输出终端间的绑定关系，具体包括：与第一类视频源终端相连的编码器与对应视频输出终端相连的解码器间的绑定关系，或者，第二类视频源终端与对应视频输出终端相连的解码器间的绑定关系。
可选的，第一类视频源终端包括：计算机或数字分量串行接口摄像机；所述第二类视频源终端包括：网络摄像机。
可选的，音频源设备具体包括：
输入数字音频处理器，以及分别与所述输入音频处理器的不同输入通道相连的多个音频源终端，所述输入数字音频处理器的输出端与所述音频传输设备相连；
所述音频输出设备具体包括：输出数字音频处理器，以及分别与所述输出音频处理器的不同输出通道相连的多个音频输出终端，所述输出数字音频处理器的输入端与所述音频传输设备相连；
视频源终端和音频源终端间的绑定关系，具体包括：视频源终端与输入音频处理器中至少一个输入通道间的绑定关系；所述至少一个输入通道与所述视频源终端对应的音频源终端相连；
视频输出终端与音频输出终端间的绑定关系，具体包括：视频输出终端与输出音频处理器中至少一个输出通道间的绑定关系，以及所述至少一个输出通道与至少一个音频输出终端之间的绑定关系。
可选的，服务器还用于：
如果确定当前选通的音频传输通路中，同一视频源终端与输入音频处理器中至少两个输入通道绑定，则指示输出音频处理器获取所述至少两个输入通道中传输的音频信号，并进行混音处理后，输出至所述音频输出终端。
可选的，系统还包括：客户端设备；所述客户端设备与所述服务器相连；
所述客户端设备，用于通过绑定关系配置界面，在所述服务器中预先配置视频源终端与视频输出终端间的绑定关系，视频源终端和音频源终端间的绑定关系，和视频输出终端与音频输出终端间的绑定关系。
可选的，客户端设备还用于：
通过延迟时间配置页面，在所述服务器中预先配置与至少一个音频输出终端对应的音频延时时间；
所述服务器还用于，如果确定当前选通的音频传输通路中，包括配置有音频延时时间的音频输出终端，则将所述音频输出终端的音频延时时间提供给所述输出音频处理器，以指示所述输出音频处理器将指向所述音频输出终端的音频数据延时后输出至所述音频输出终端。
第二方面，本发明实施例还提供了一种音视频传输控制方法，该方法应用于本发明实施例任一所述的音视频传输控制系统中，其特征在于，包括：
获取音视频控制请求，所述音视频控制请求中包括目标视频源终端；
根据所述目标视频源终端，查询预先配置的视频源终端与视频输出终端间的绑定关系，确定与所述目标视频源终端对应的目标视频输出终端；
根据预先配置的视频源终端和音频源终端间的绑定关系，判断所述目标视频源终端是否绑定目标音频源终端；
若是，则根据预先配置的视频输出终端与音频输出终端间的绑定关系，判断所述目标视频输出终端是否绑定目标音频输出终端；
若是，则根据所述目标视频源终端以及所述目标视频输出终端配置视频系统，并根据所述目标音频源终端以及所述目标音频输出终端配置所述音频系统，以选通与音视频控制请求匹配的视频传输通路，和/或音频传输通路。
可选的，该方法在根据所述目标视频源终端以及所述目标视频输出终端配置视频系统，并根据所述目标音频源终端以及所述目标音频输出终端配置所述音频系统，之后，还包括：
判断当前选通的音频传输通路中，是否存在同一视频源终端与输入音频处理器中至少两个输入通道绑定；
若是，则指示输出音频处理器获取所述至少两个输入通道中传输的音频信号，并进行混音处理后，输出至所述音频输出终端。
可选的，该方法在根据所述目标视频源终端以及所述目标视频输出终端配置视频系统，并根据所述目标音频源终端以及所述目标音频输出终端配置所述音频系统之后，还包括：
获取音频输出终端对应的音频延时时间；
指示输出音频处理器将指向所述音频输出终端的音频数据延时后输出至所述音频输出终端。
第三方面，本发明实施例还提供了一种音视频传输控制装置，该装置包括本发明实施例任一所述的音视频传输控制系统，其特征在于，包括：
音视频控制请求获取模块，用于获取音视频控制请求，所述音视频控制请求中包括目标视频源终端；
目标视频源终端对应的目标视频输出终端确定模块，用于根据所述目标视频源终端，查询预先配置的视频源终端与视频输出终端间的绑定关系，确定与所述目标视频源终端对应的目标视频输出终端；
第一判断模块，用于根据预先配置的视频源终端和音频源终端间的绑定关系，判断所述目标视频源终端是否绑定目标音频源终端；
第二判断模块，用于若所述目标视频源终端绑定目标音频源终端，则根据预先配置的视频输出终端与音频输出终端间的绑定关系，判断所述目标视频输出终端是否绑定目标音频输出终端；
视频系统与音频系统配置模块，用于若目标视频输出终端绑定目标音频输出终端，则根据所述目标视频源终端以及所述目标视频输出终端配置视频系统，并根据所述目标音频源终端以及所述目标音频输出终端配置所述音频系统，以选通与音视频控制请求匹配的视频传输通路，和/或音频传输通路
第四方面，本发明实施例还提供了一种服务器，该服务器包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所述的音视频传输控制方法。
第五方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所述的音视频传输控制方法。
本发明实施例通过音视频传输控制系统，根据预先配置的视频源终端与视频输出终端间的绑定关系，视频源终端和音频源终端间的绑定关系，和视频输出终端与音频输出终端间的绑定关系，配置视频系统和音频系统，以选通与音视频控制请求匹配的视频传输通路，和/或音频传输通路，解决了视频与音频异步传输、同步控制的问题，实现了视频从视频源设备输出到视频输出终端时，音频从与视频源设备绑定的音频源设备输出至与视频输出终端绑定的音频输出终端，进行扩音；例如，视频输出到电视墙时，电视墙绑定的音响设备对视频绑定的音频进行扩音。同时，视频控制系统与音频控制系统功能单一化，视频控制系统与音频控制系统分开部署，在整个音视频传输控制系统出现故障时，方便排查的效果。
附图说明
图1是现有技术中的一种音视频同步编码、同步传输、同步解码的拓扑图；
图2是现有技术中的一种音视频同步编码、同步传输、同步解码的用户数据报协议的数据包示意图；
图3是视频系统与音频系统分开部署的拓扑图；
图4a是本发明实施例一提供的一种音视频传输控制系统的拓扑图；
图4b是本发明实施例一提供的一种音视频传输控制系统的视频系统的拓扑图；
图4c是本发明实施例一提供的一种音视频传输控制系统的音频系统的拓扑图；
图5是本发明实施例二提供的一种音视频传输控制系统的拓扑图；
图6是本发明实施例三提供一种音视频传输控制方法的流程图；
图7为本发明实施例提供的一种音视频传输控制方法的一种控制流程图；
图8是本发明实施例四提供的一种音视频传输控制装置的结构示意图；
图9是本发明实施例五提供的一种服务器的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
首先，将现有技术中的音视频传输控制系统进行简述，图1是现有技术中的一种音视频同步编码、同步传输、同步解码的拓扑图，图2是现有技术中的一种音视频同步编码、同步传输、同步解码的用户数据报协议的数据包示意图。
如图1所示，现有技术中将计算机或者其他输入设备的视频、音频通过编码器(或者软编码)同步编码，形成一路RTSP流，通过网络传输。在末端，通过解码器(或者软解码)将视频、音频解码输出。由于视频、音频在编码端的编码是同步的，因此在解码端的解码按照时间戳进行同步解码即可保证输出的视频、音频同步。其中，数据包如图2所示，PT值为OPUS的为音频流，PT为H264的为视频流。
然而，现有技术中，将视频、音频同步编码，同步传输、同步解码，会在整个系统部署时，会受到各个设备的牵制，不利于系统部署。图3是视频系统与音频系统分开部署的拓扑图，如图3所示，视频、音频分开部署，却要组合起来使用。此时，又会出现视频源设备与音频源设备不关联、视频输出设备与音频输出设备不关联、视频画面与音频唇音不同步的问题。
在本发明实施例中，发明人针对所发现到的现有技术的缺陷，创造性的将视频、音频分开部署，并给出组合的方法，可以实现视频源设备与音频源设备关联、视频输出设备与音频输出设备关联、视频画面与音频唇音同步，保证视频关联的音频，在视频输出时对应输出，做到异步传输但同步输出。
实施例一
图4a是本发明实施例一提供的一种音视频传输控制系统的拓扑图，图4b是本发明实施例一提供的一种音视频传输控制系统的视频系统的拓扑图，图4c是本发明实施例一提供的一种音视频传输控制系统的音频系统的拓扑图，本实施例可以适用于视频与音频异步传输、同步控制的情况，如图4a所示，该系统包括：视频系统100、音频系统200和服务器300。
在本发明实施例中，如图4a所示，视频系统100包括视频源设备110、视频传输设备120和视频输出设备130；如图4a所示，音频系统200包括音频源设备210、音频传输设备220和音频输出设备230；如图4b所示，视频源设备110包括多个视频源终端111，视频输出设备130包括多个视频输出终端131；如图4c所示，音频源设备210包括多个音频源终端211，音频输出设备230包括多个音频输出终端231；如图4a、图4b以及图4c所示，服务器300，用于根据预先配置的视频源终端111与视频输出终端131间的绑定关系，视频源终端111和音频源终端211间的绑定关系，和视频输出终端131与音频输出终端231间的绑定关系，配置视频系统100和音频系统200，以选通与音视频控制请求匹配的视频传输通路，和/或音频传输通路。
在本发明实施例的一个实施方式中，如图4b所示，可选的，视频源设备100具体包括：多个第一类视频源终端，以及分别与各第一类视频源终端相连的编码器112；或者，多个第二类视频源终端；或者，至少一个第一类视频源终端，分别与各所述第一类视频源终端相连的编码器112，以及至少一个第二类视频源终端；编码器112，和/或第二类视频源终端分别与视频传输设备120相连。可选的，第一类视频源终端包括：计算机或数字分量串行接口摄像机；第二类视频源终端包括：网络摄像机。
其中，如图4b所示，视频源设备110可以是可以存储或者可以生成视频的用于向视频系统中输入视频的设备，可以包括多个视频源终端111。视频源终端111可以是多个第一类视频源终端如计算机或者数字分量串行接口(Serial Digital Interface，SDI)摄像机，以及与各个第一类视频源终端相连的编码器；视频源终端111也可以是多个第二类视频源终端如网络摄像机等可以存储或者生成视频的终端；视频源终端111也可以包括多个第一类视频源终端以及与各个第一类视频源终端相连的编码器112，和多个第二类视频源终端。其中，第一类视频源终端中的视频可以是模拟流方式的，编码器112可以将第一类视频源终端中视频的模拟流转换为数据流，并产生视频的数据流地址；而第二类视频源终端中的视频可以是数据流方式的，可以由第二类视频源终端产生视频的数据流地址。
在本发明实施例的一个实施方式中，如图4b所示，可选的，视频输出设备130具体包括：多个解码器132，以及与各解码器132分别相连的视频输出终端131，解码器132分别与视频传输设备120相连。
其中，如图4b所示，视频输出设备130可以是用于显示视频的设备，可以包括多个视频输出终端131以及与各视频输出终端131相连的解码器132。视频输出终端131可以是电视墙或者显示器等可以显示视频的终端。视频源设备110可以通过视频传输设备120将视频输出至视频输出设备130。可以是第一类视频源终端通过编码器112和视频传输设备120将视频输出，通过解码器132输出至视频输出终端131；和/或，第二类视频源终端通过视频传输设备120将视频输出，通过解码器132输出至视频输出终端131。
在本发明实施例的一个实施方式中，如图4b所示，可选的，视频源终端111与视频输出终端131间的绑定关系，具体包括：与第一类视频源终端相连的编码器112与对应视频输出终端131相连的解码器132间的绑定关系，或者，第二类视频源终端与对应视频输出终端131相连的解码器132间的绑定关系。
其中，与第一类视频源终端相连的编码器112与对应视频输出终端131相连的解码器132间的绑定关系，以及第二类视频源终端与对应视频输出终端131相连的解码器132间的绑定关系，可以通过客户端进行预先配置，绑定关系可以存储在服务器中，可以是第一类视频源终端相连的编码器112产生的数据流地址，和/或第二类视频源终端产生的数据流地址，与解码器132的地址之间的绑定关系。可以在客户端配置好绑定关系后，客户端可以向服务器输出控制命令，控制命令可以包括视频源终端111、数据流地址、解码器132的地址，服务器根据控制命令通过视频传输设备120将数据流地址推送至与解码器132的地址对应的解码器132，配置视频系统100，以选通与音视频控制请求匹配的视频源终端111与视频输出终端131之间的传输通路，以使数据流地址对应的视频可以从视频源终端111输出至视频输出终端131。其中，视频传输设备120可以是路由器。
示例的，可以在客户端设置好编码器112与解码器132间的绑定关系，客户端可以向服务器输出控制命令，服务器可以通过视频传输设备120向控制命令中解码器132的地址对应的解码器132发送数据流地址，配置视频系统100，可以选通与编码器112相连的第一类视频源终端如计算机，和与解码器132相连的视频输出终端131如电视墙之间的视频传输通路。可以在计算机中数据流地址对应的视频在视频系统中输入时，输出至电视墙。
在本发明实施例的一个实施方式中，如图4c所示，可选的，音频源设备210具体包括：输入数字音频处理器212，以及分别与输入音频处理器212的不同输入通道相连的多个音频源终端211，输入数字音频处理器212的输出端与音频传输设备220相连。
其中，如图4c所示，音频源设备210可以是可以产生或者可以采集音频的用于向音频系统中输入音频的设备，可以包括多个音频源终端211，音频源终端211可以是麦克风或者话筒等可以产生或者可以采集音频的终端；一个音频源终端211可以与输入数字音频处理器212的一个输入通道相连。音频传输设备220可以是路由器，输入数字音频处理器212的输出端与音频传输设备220之间可以通过网络进行传输。
在本发明实施例的一个实施方式中，如图4c所示，可选的，音频输出设备230具体包括：输出数字音频处理器232，以及分别与输出音频处理器232的不同输出通道相连的多个音频输出终端231，输出数字音频处理器232的输入端与音频传输设备220相连。
其中，音频输出设备230可以是用于播放音频的设备，可以包括多个音频输出终端231，音频输出终端231可以是喇叭或者音箱等可以播放音频的终端。一个音频输出终端231可以与输出音频处理器232的一个或者多个输出通道相连，也可以不相连。音频源设备210可以通过音频传输设备220将音频输出至音频输出设备230。可以是通过输入数字音频处理器212的输入通道和音频传输设备220，将与输入数字音频处理器212的输入通道相连的音频源终端211的音频输出，通过输出数字音频处理器232，输出至与输出数字音频处理器232的输出通道相连的音频输出终端231。
在本发明实施例的一个实施方式中，如图4b和图4c所示，可选的，视频源终端111和音频源终端211间的绑定关系，具体包括：视频源终端111与输入音频处理器212中至少一个输入通道间的绑定关系；至少一个输入通道与视频源终端111对应的音频源终端211相连；视频输出终端131与音频输出终端231间的绑定关系，具体包括：视频输出终端131与输出音频处理器232中至少一个输出通道间的绑定关系，以及至少一个输出通道与至少一个音频输出终端231相连。
其中，视频源终端111和音频源终端211间的绑定关系，以及视频输出终端131与音频输出终端231间的绑定关系，可以在可以通过客户端进行预先配置，绑定关系可以存储在服务器中。可以在客户端配置好绑定关系后，客户端可以向服务器输出控制命令，控制命令可以包括视频源终端111绑定的输入音频处理器212中的输入通道的输入通道标识，视频输出终端131绑定的输出音频处理器232中的输出通道的输出通道标识。服务器根据控制命令通过音频传输设备220向输出音频处理器232发送指令，配置音频系统200，以选通与音视频控制请求匹配的音频传输通路，以使视频源终端111绑定的输入音频处理器212中的输入通道的输入通道标识对应的音频，输出至视频输出终端131绑定的输出音频处理器232中的输出通道相连的音频输出终端231。其中，音频传输设备220可以是路由器。
其中，输入音频处理器212的至少一个输入通道与视频源终端111对应的音频源终端211相连。视频源终端111和音频源终端211间的绑定关系是视频源终端111产生的视频的数据流地址与输入音频处理器212中至少一个输入通道间的绑定关系，可以如表1所示，输入通道可以通过输入通道标识进行表示。根据表1中的绑定关系，输入音频处理器212中的一个输入通道可以与多个视频源终端111产生的视频的数据流地址进行绑定，可以是不同时间段的视频输出使用同一音频源终端的情况；一个视频源终端111产生的视频的数据流地址可以与输入音频处理器212中的多个输入通道进行绑定，可以是同一视频输出时使用多个音频的情况。可以在视频源终端111中的视频输入到视频系统中时，与视频源终端111绑定的输入音频处理器212的输入通道相连的音频源终端211的音频输入到音频系统中。
表1视频源终端与音频源终端的绑定关系
输入音频处理器的输入通道标识 视频源终端中视频的数据流地址
NACIN00190F33891800000189 81010600001
NACIN00190F33891800000190 81010600001
NACIN00190F33891800000189 81010600002
NACIN00190F33891800000190 81010600002
NACIN00190F33891800000189 81010600022
NACIN00190F33891800000190 81010600022
而视频输出终端131与音频输出终端231间的绑定关系可以是视频输出终端131的地址与输出音频处理器232中至少一个输出通道间的绑定关系，绑定关系可以如表2所示，输出通道可以用输出通道标识进行表示。其中，至少一个输出通道与至少一个音频输出终端231相连。如表2所示，输出音频处理器232的一个输出通道可以与多个视频输出终端131的地址进行绑定，可以是多个视频在不同时间输出使用同一音频输出终端输出音频的情况；一个视频输出终端131的地址可以与输出音频处理器232的多个输出通道进行绑定，可以是同一视频在输出时使用多个音频的情况。
在视频输出至视频输出终端131时，视频对应的音频输出至与视频输出终端131绑定的输出音频处理器232的输出通道后，输出至与输出音频处理器232的输出通道相连的音频输出终端231。
表2视频输出终端与音频输出终端的绑定关系
输出音频处理器的输出通道标识 视频输出终端的地址
NACOUT00190F33891800000193 00190F33891800000207
NACOUT00190F33891800000194 00190F33891800000207
NACOUT00190F33891800000193 00190F33891800000208
NACOUT00190F33891800000194 00190F33891800000208
示例的，可以在客户端设置好视频源终端111与输入音频处理器212中至少一个输入通道间的绑定关系，以及视频输出终端131与输出音频处理器232中至少一个输出通道间的绑定关系；可以在服务器中配置输入通道与视频源终端111对应的音频源终端211的连接关系，以及输出通道与至少一个音频输出终端231之间的连接关系。可以通过服务器向音频传输设备220发送指令，配置音频系统200，可以选通与视频源终端111绑定的输入音频处理器212的输入通道，将与输入音频处理器212的输入通道相连的音频源终端211如麦克风中的音频，通过音频传输设备220输出至与视频输出终端131绑定的输出音频处理器232的输出通道后，输出至与输出音频处理器232的输出通道相连的音频输出终端231如音箱。
本发明实施例通过音视频传输控制系统，根据预先配置的视频源终端与视频输出终端间的绑定关系，视频源终端和音频源终端间的绑定关系，和视频输出终端与音频输出终端间的绑定关系，配置视频系统和音频系统，以选通与音视频控制请求匹配的视频传输通路，和/或音频传输通路，解决了视频与音频异步传输、同步控制的问题，实现了视频从视频源设备输出到视频输出终端时，音频从与视频源设备绑定的音频源设备输出至与视频输出终端绑定的音频输出终端，进行扩音，视频输出到电视墙时，电视墙绑定的音响设备对视频绑定的音频进行扩音；视频与音频能够同步切换及控制；视频控制系统与音频控制系统功能单一化，视频控制系统与音频控制系统分开部署，在整个音视频传输控制系统出现故障时，方便排查的效果。
实施例二
图5是本发明实施例二提供的一种音视频传输控制系统的拓扑图，本实施例是对上述技术方案的进行进一步细化，本实施例可以与上述一个或者多个实施例中的各个可选方案结合。
如图5所示，该系统包括：视频系统100、音频系统200和服务器300。
视频系统100包括视频源设备110、视频传输设备120和视频输出设备130；音频系统200包括音频源设备210、音频传输设备220和音频输出设备230；视频源设备110包括多个视频源终端111，视频输出设备130包括多个视频输出终端131；音频源设备210包括多个音频源终端211，音频输出设备230包括多个音频输出终端231；服务器300，用于根据预先配置的视频源终端111与视频输出终端131间的绑定关系，视频源终端111和音频源终端211间的绑定关系，和视频输出终端131与音频输出终端231间的绑定关系，配置视频系统100和音频系统200，以选通与音视频控制请求匹配的视频传输通路，和/或音频传输通路。
可选的，视频源设备100具体包括：多个第一类视频源终端，以及分别与各第一类视频源终端相连的编码器112；或者，多个第二类视频源终端；或者，至少一个第一类视频源终端，分别与各第一类视频源终端相连的编码器112，以及至少一个第二类视频源终端；编码器112，和/或第二类视频源终端分别与视频传输设备120相连。
可选的，第一类视频源终端包括：计算机或数字分量串行接口摄像机；第二类视频源终端包括：网络摄像机。
可选的，视频输出设备130具体包括：多个解码器132，以及与各解码器132分别相连的视频输出终端131，解码器132分别与视频传输设备120相连；视频源终端111与视频输出终端131间的绑定关系，具体包括：与第一类视频源终端相连的编码器112与对应视频输出终端131相连的解码器132间的绑定关系，或者，第二类视频源终端与对应视频输出终端131相连的解码器132间的绑定关系。
可选的，音频源设备210具体包括：输入数字音频处理器212，以及分别与输入音频处理器212的不同输入通道相连的多个音频源终端211，输入数字音频处理器212的输出端与音频传输设备220相连；音频输出设备230具体包括：输出数字音频处理器232，以及分别与输出音频处理器232的不同输出通道相连的多个音频输出终端231，输出数字音频处理器232的输入端与音频传输设备220相连；视频源终端111和音频源终端211间的绑定关系，具体包括：视频源终端111与输入音频处理器212中至少一个输入通道间的绑定关系；至少一个输入通道与视频源终端111对应的音频源终端211相连；视频输出终端131与音频输出终端231间的绑定关系，具体包括：视频输出终端131与输出音频处理器232中至少一个输出通道间的绑定关系，以及至少一个输出通道与至少一个音频输出终端231相连。
在上述实施方式的基础上，如图5所示，可选的，该系统还包括：客户端设备400；客户端设备400与服务器300相连；客户端设备400，用于通过绑定关系配置界面，在服务器300中预先配置视频源终端111与视频输出终端131间的绑定关系，视频源终端111和音频源终端211间的绑定关系，和视频输出终端131与音频输出终端231间的绑定关系。
其中，绑定关系配置界面可以配置视频源终端111与视频输出终端131间的绑定关系，可以是通过第一类视频源终端相连的编码器112和/或第二类视频源终端的数据流地址，与视频输出终端131相连的解码器132地址之间的绑定关系实现。如计算机与视频墙，可以是通过计算机相连的编码器112的数据流的地址与视频墙相连的解码器132地址之间的绑定关系实现；再如网络摄像机与视频墙，可以是通过网络摄像机的数据流的地址与视频墙相连的解码器132地址之间的绑定关系实现。
其次，绑定关系配置界面也可以配置视频源终端111和音频源终端211间的绑定关系，如视频源终端111与输入音频处理器212的输入通道间的绑定关系，可以是通过第一类视频源终端相连的编码器112和/或第二类视频源终端的数据流地址，与输入音频处理器212的输入通道间的绑定关系实现。
再者，绑定关系配置界面还可以配置视频输出终端131与音频输出终端231间的绑定关系，可以通过视频输出终端131相连的解码器132地址与输出音频处理器232的输出通道间的绑定关系实现。
还需说明的是，在客户端设备400的绑定关系配置界面配置的上述绑定关系可以存储在服务器300中。输入音频处理器212的输入通道与音频源终端211的连接，以及输出音频处理器232中的输出通道与音频输出终端231的连接，可以通过物理连接如莲花头或者凤凰头进行连接，并可以将连接关系配置在服务器300中。
在上述实施方式的基础上，可选的，如图5所示，服务器300还用于：如果确定当前选通的音频传输通路中，同一视频源终端111与输入音频处理器212中至少两个输入通道绑定，则指示输出音频处理器232获取所述至少两个输入通道中传输的音频信号，并进行混音处理后，输出至所述音频输出终端231。
其中，输出音频处理器232的输出通道与音频输出终端231的连接可以是物理连接，并在服务器300中配置。如果服务器300查询到同一视频源终端111与输入音频处理器212的多个输入通道绑定，服务器可以给输出音频处理器232发送指令，指示输出音频处理器232可以通过音频传输设备220，如音频传输设备220为路由器时可以通过网络，获取至少两个输入通道中传输的音频信号，并进行混音处理，后生成一个音频信号，通过输出音频处理器232的输出通道输出至音频输出终端231。需说明的是，此时，如果同一视频源终端111在传输视频时，输出音频处理器232的输出通道输出的音频可以均是混音处理后的音频信号。输出音频处理器232的输出通道与音频输出终端231的连接可以是一一对应的，当输出音频处理器232的多个输出通道与多个音频输出终端231进行一一对应连接时，多个音频输出终端231可以输出同一路混音处理的音频信号。
在本发明实施例的一个实施方式中，可选的，如图5所示，客户端设备400还用于：通过延迟时间配置页面，在服务器300中预先配置与至少一个音频输出终端231对应的音频延时时间；服务器300还用于，如果确定当前选通的音频传输通路中，包括配置有音频延时时间的音频输出终端231，则将音频输出终端231的音频延时时间提供给输出音频处理器232，以指示输出音频处理器232将指向音频输出终端231的音频数据延时后输出至音频输出终端231。
其中，因为音频流数据包较视频流小，音频的编解码延时相应小于视频编解码延时，在视频与音频输出时要做到唇音同步。本发明实施例提供的系统提供了调节音频输出延时的入口。可以根据判断视频画面与音频唇音是否同步，在客户端设备400的延迟时间配置页面，配置音频输出终端231的音频延时时间，延时精度可以是毫秒就或者微秒级。服务器300在查询到音频输出终端231有音频延时时间时，发送指示指令到输出音频处理器232，指示输出音频处理器232将与音频输出终端231连接的输出通道的音频延时后输出至音频输出终端231。如果同一视频源终端111与输入音频处理器212中至少两个输入通道绑定，输出音频处理器232可以是先混音处理，生成一个音频信号后延时输出。
本发明实施例通过音视频传输控制系统，根据预先配置的视频源终端与视频输出终端间的绑定关系，视频源终端和音频源终端间的绑定关系，和视频输出终端与音频输出终端间的绑定关系，配置视频系统和音频系统，以选通与音视频控制请求匹配的视频传输通路，和/或音频传输通路，在同一视频源终端与输入音频处理器中至少两个输入通道绑定时，输出音频处理器先进行混音，后输出音频，在音频输出终端配置有延时时间时，输出音频处理器先延时后输出音频，解决了视频与音频异步传输、同步控制的问题，实现了视频从视频源设备输出到视频输出终端时，音频从与视频源设备绑定的音频源设备输出至与视频输出终端绑定的音频输出终端，进行扩音，视频输出到电视墙时，电视墙绑定的音响设备对视频绑定的音频进行扩音；视频与音频能够同步切换及控制，能够达到视频的画面与音频的唇音同步；同时，视频控制系统与音频控制系统功能单一化，视频控制系统与音频控制系统分开部署，在整个音视频传输控制系统出现故障时，方便排查的效果。
实施例三
图6是本发明实施例三提供一种音视频传输控制方法的流程图，本实施例可应用于本发明实施例中任一所述的音视频传输控制系统中，如图6所示，该方法具体包括：
步骤610、获取音视频控制请求，音视频控制请求中包括目标视频源终端。
其中，服务器可以获取客户端设备发出的音视频控制请求，音视频控制请求中包括目标视频源终端，目标视频源终端可以是包含需要向视频系统中输入的视频的第一类视频源终端与编码器，和/或第二类视频源终端。
步骤620、根据目标视频源终端，查询预先配置的视频源终端与视频输出终端间的绑定关系，确定与目标视频源终端对应的目标视频输出终端。
其中，根据目标视频源终端，服务器可以查询存储的客户端设备预先配置的视频源终端与视频输出终端间的绑定关系，客户端设备可以通过第一类视频源终端相连的编码器的数据流地址和/或第二类视频源终端的数据流地址，与视频输出终端相连的解码器的地址之间的绑定关系实现配置视频源终端与视频输出终端间的绑定关系。可以确定目标视频源终端中的视频需要输出到的视频输出终端，即目标视频输出终端。
步骤630、根据预先配置的视频源终端和音频源终端间的绑定关系，判断目标视频源终端是否绑定目标音频源终端。
其中，服务器可以查询存储的客户端设备预先配置的视频源终端和音频源终端间的绑定关系，客户端设备可以通过第一类视频源终端相连的编码器的数据流地址和/或第二类视频源终端的数据流地址，与音频源终端相连的输入数字音频编码器的输入通道间的绑定关系实现配置视频源终端和音频源终端间的绑定关系。可以通过第一类视频源终端相连的编码器的数据流地址和/或第二类视频源终端的数据流地址，与音频源终端相连的输入数字音频编码器的输入通道进行绑定时，确定目标视频源终端绑定目标音频源终端；否则，确定目标视频源终端未绑定目标音频源终端。
步骤640、若是，则根据预先配置的视频输出终端与音频输出终端间的绑定关系，判断目标视频输出终端是否绑定目标音频输出终端。
其中，确定目标视频源终端绑定目标音频源终端时，服务器可以查询存储的客户端设备预先配置的视频输出终端与音频输出终端间的绑定关系，客户端设备可以通过视频输出终端相连的解码器地址，与音频输出终端相连的输出数字音频处理器的输出通道的绑定关系实现配置视频输出终端与音频输出终端间的绑定关系。当视频输出终端相连的解码器地址，与音频输出终端相连的输出数字音频处理器的输出通道存在绑定关系时，确定目标视频输出终端绑定目标音频输出终端；否则，确定目标视频输出终端未绑定目标音频输出终端。
步骤650、若是，则根据目标视频源终端以及目标视频输出终端配置视频系统，并根据目标音频源终端以及目标音频输出终端配置音频系统，以选通与音视频控制请求匹配的视频传输通路，和/或音频传输通路。
其中，首先，当确定目标视频输出终端绑定目标音频输出终端时，根据目标视频源终端以及目标视频输出终端的绑定关系，服务器可以选通第一类视频源终端相连的编码器的数据流地址和/或第二类视频源终端的数据流地址，与绑定的解码器的地址之间的通道，可以将目标视频源终端中的视频输出至目标视频输出终端。
具体的，可以在客户端配置好绑定关系后，客户端可以向服务器输出控制命令，控制命令可以包括视频源终端、数据流地址、解码器的地址，服务器根据控制命令通过视频传输设备将数据流地址推送至与解码器的地址对应的解码器，配置视频系统，以选通与音视频控制请求匹配的视频源终端与视频输出终端之间的传输通路，以使数据流地址对应的视频可以从视频源终端输出至视频输出终端。
其次，服务器可以确定与目标视频源终端绑定的输入数字音频处理器的输入通道，由此确定与输入通道相连的目标音频源终端；服务器可以确定与目标视频输出终端绑定的输出数字音频处理器的输出通道，由此确定目标音频输出终端；根据目标音频源终端以及目标音频输出终端，服务器可以选通目标音频源终端到输入数字音频处理器的输入通道，到音频传输设备，到输出数字音频处理器的输出通道，最后到目标音频输出终端的通道。
具体的，可以在客户端配置好绑定关系后，客户端可以向服务器输出控制命令，控制命令可以包括视频源终端绑定的输入音频处理器中的输入通道的输入通道标识，视频输出终端绑定的输出音频处理器中的输出通道的输出通道标识。服务器根据控制命令通过音频传输设备向输出音频处理器发送指令，配置音频系统，以选通与音视频控制请求匹配的音频传输通路，以使视频源终端绑定的输入音频处理器中的输入通道的输入通道标识对应的音频，输出至视频输出终端绑定的输出音频处理器中的输出通道相连的音频输出终端。
最后，在目标视频源终端中的视频输出至目标视频输出终端时，如果存在与目标视频源终端对应的目标音频源终端，将目标音频源终端中的音频输出至目标音频输出终端；否则，只输出视频，而不输出音频。
具体的，如果控制命令中包括视频源终端绑定的输入音频处理器中的输入通道的输入通道标识，可以认为存在与目标视频源终端对应的目标音频源终端。如果控制命令中不包括视频源终端绑定的输入音频处理器中的输入通道的输入通道标识，可以认为输出视频时，不需要输出音频。
本发明实施例通过获取音视频控制请求，音视频控制请求中包括目标视频源终端；根据目标视频源终端，查询预先配置的视频源终端与视频输出终端间的绑定关系，确定与目标视频源终端对应的目标视频输出终端；根据预先配置的视频源终端和音频源终端间的绑定关系，判断目标视频源终端是否绑定目标音频源终端；若是，则根据预先配置的视频输出终端与音频输出终端间的绑定关系，判断目标视频输出终端是否绑定目标音频输出终端；若是，则根据目标视频源终端以及目标视频输出终端配置视频系统，并根据目标音频源终端以及目标音频输出终端配置音频系统，以选通与音视频控制请求匹配的视频传输通路，和/或音频传输通路，解决了视频与音频异步传输、同步控制的问题，实现了视频从视频源设备输出到视频输出终端时，音频从与视频源设备绑定的音频源设备输出至与视频输出终端绑定的音频输出终端，进行扩音，视频输出到电视墙时，电视墙绑定的音响设备对视频绑定的音频进行扩音；视频与音频能够同步切换及控制；同时，视频系统与音频系统功能单一化，视频系统与音频系统分开部署，在整个音视频传输控制系统出现故障时，方便排查的效果。
在上述实施方式的基础上，可选的，在根据目标视频源终端以及目标视频输出终端配置视频系统，并根据目标音频源终端以及目标音频输出终端配置音频系统，之后，还包括：判断当前选通的音频传输通路中，是否存在同一视频源终端与输入音频处理器中至少两个输入通道绑定；若是，则指示输出音频处理器获取至少两个输入通道中传输的音频信号，并进行混音处理后，输出至音频输出终端。
其中，如果服务器查询到同一视频源终端与输入音频处理器中多个输入通道绑定，给输出音频处理器发送指示指令，指示输出音频处理器可以通过音频传输设备如路由器获取多个输入通道的音频进行混音处理后输出至音频输出终端。需说明的是，如果多个音频输出终端分别与输出音频处理器的多个输出通道相连，那么多个音频输出终端可以输出同样的混音，可以实现多个麦克风或者喇叭的音频同时输出至同一个或者多个音箱等设备，可以丰富听觉体验。
在上述实施方式的基础上，可选的，在根据目标视频源终端以及目标视频输出终端配置视频系统，并根据目标音频源终端以及目标音频输出终端配置音频系统之后，还包括：获取音频输出终端对应的音频延时时间；指示输出音频处理器将指向音频输出终端的音频数据延时后输出至音频输出终端。
其中，可以根据判断视频画面与音频唇音是否同步，在客户端设备的延迟时间配置页面，配置音频输出终端的音频延时时间。服务器在查询到音频输出终端有音频延时时间时，发送指示指令到输出音频处理器，指示输出音频处理器将与音频输出终端连接的输出通道的音频延时后输出至音频输出终端。如果同一视频源终端与输入音频处理器中至少两个输入通道绑定，输出音频处理器可以是先混音后延时输出。可以实现视频画面与音频唇音同步输出。
本发明实施例的一个使用过程可以是：按照本发明实施例提供的一种音视频传输控制系统搭建视频系统和音频系统，建立视频源终端与音频源终端，以及视频输出设备与音频输出设备的绑定关系。其中，表3为视频源终端与音频源终端的绑定关系，表4为视频输出设备与音频输出设备的绑定关系，表5为视频源终端与视频输出设备的对应关系，表6为音频源终端与音频输出设备的对应关系。
在表3-表6中，Y-IN表示各个音频源终端，可以用与音频源终端相连的输入数字音频处理器的输入通道的通道标识进行表示，数字1可以表示第1个音频源终端，其它数字依次类推；S-IN表示视频源终端，可以用第一类视频源终端相连的编码器的视频数据流地址和/或第二类视频源终端的视频数据流地址进行表示，数字1可以表示第1个视频源终端，其它数字依次类推；Y-OUT表示音频输出设备，可以用于音频输出设备相连的输出数字音频处理器的输出通道的通道标识进行表示，数字1可以表示第1个音频输出设备，其它数字依次类推；S-OUT表示视频输出设备，可以用于视频输出设备相连的解码器的地址进行表示，数字1可以表示第1个视频输出设备，其它数字依次类推。
表3视频源终端与音频源终端的绑定关系
Item Y-IN 1 Y-IN 2 Y-IN 3 Y-IN 4
S-IN 1 ·
S-IN 2 ·
S-IN 3 ·
S-IN 4 ·
表4视频输出设备与音频输出设备的绑定关系
Figure BDA0002317291860000171
Figure BDA0002317291860000181
表5视频源终端与视频输出设备的对应关系
Item S-IN 1 S-IN 2 S-IN 3 S-IN 4
S-OUT 1 ·
S-OUT 2 ·
S-OUT 3 ·
S-OUT 4 ·
根据表3-表5的绑定关系或者对应关系可以得到表6中的音频源终端与音频输出设备的对应关系。
表6音频源终端与音频输出设备的对应关系
Item Y-IN 1 Y-IN 2 Y-IN 3 Y-IN 4
Y-OUT 1 ·
Y-OUT 2 ·
Y-OUT 3 ·
Y-OUT 4 ·
以视频源终端S-IN 1输出至视频输出设备S-OUT 1为例，图7为本发明实施例提供的一种音视频传输控制方法的一种控制流程图。如图7所示，客户端设备选定视频源终端S-IN 1输出至视频输出设备S-OUT 1，服务器查询S-IN 1绑定的Y-IN，如果S-IN 1没有绑定Y-IN，直接输出S-IN 1至对应的S-OUT 1。
如果S-IN 1绑定一个Y-IN，如Y-IN 4，服务器查询S-OUT 1绑定的Y-OUT，如果S-OUT1没有绑定的Y-OUT，直接输出S-IN 1至对应的S-OUT 1，所有的Y-OUT均不输出Y-IN 4。如果S-OUT 1绑定Y-OUT，如Y-OUT 1，判断Y-OUT 1是否存在延时时间，如果存在，输出S-IN1至对应的S-OUT 1，将Y-IN 4延时后输出至Y-OUT 1；如果不存在，输出S-IN 1至对应的S-OUT 1，将Y-IN 4输出至Y-OUT 1。
如果S-IN 1绑定多个Y-IN，如Y-IN1和Y-IN 4，服务器查询S-OUT 1绑定的Y-OUT，如果S-OUT 1没有绑定的Y-OUT，直接输出S-IN 1至对应的S-OUT 1，所有的Y-OUT均不输出Y-IN 1和Y-IN 4；如果S-OUT 1绑定Y-OUT，如Y-OUT 1和Y-OUT 2，判断Y-OUT 1和Y-OUT 2是否存在延时时间，如果存在，输出S-IN 1至对应的S-OUT 1，将Y-IN 1和Y-IN4混音后延时输出至Y-OUT 1和Y-OUT 2；如果不存在，输出S-IN 1至对应的S-OUT 1，将Y-IN 1和Y-IN 4混音后输出至Y-OUT 1和Y-OUT 2。
其中，延时时间时为了视频画面与音频唇音的同步，延时时间的设置可以如表7所示，可以由输出数字音频处理器控制。
表7输出数字音频处理器的延时时间控制
Figure BDA0002317291860000191
从表7中，可以得到延时时间控制可以是由16进制的2字节的引导码、1字节的延时码、1字节的类型、1字节的通道、2字节的数据以及1字节的校验码生成的。其中，延时码、类型、通道以及数据统称为控制码。引导码可以是0XA5AB、延时码可以是0X0D、类型可以是0X1～0X3、通道可以是0X01～0X10、数据可以是数据、校验码可以是控制码的总和。类型可以是延时开关打开、延时开关关闭、毫秒级延时以及微秒级延时。例如，设置1通道延时10毫秒，延时时间控制可以是A5AB0D0201000A1A，其中，A5AB表示引导码、0D表示延时码、02表示毫秒级延时、01表示1通道、000A表示10、1A表示校验码。
实施例四
图8是本发明实施例四提供的一种音视频传输控制装置的结构示意图。该装置包括本发明实施例任一所述的音视频传输控制系统，结合图8，该装置包括：音视频控制请求获取模块710、目标视频源终端对应的目标视频输出终端确定模块720、第一判断模块730、第二判断模块740、和视频系统与音频系统配置模块750。
音视频控制请求获取模块710，用于获取音视频控制请求，所述音视频控制请求中包括目标视频源终端；
目标视频源终端对应的目标视频输出终端确定模块720，用于根据目标视频源终端，查询预先配置的视频源终端与视频输出终端间的绑定关系，确定与目标视频源终端对应的目标视频输出终端；
第一判断模块730，用于根据预先配置的视频源终端和音频源终端间的绑定关系，判断目标视频源终端是否绑定目标音频源终端；
第二判断模块740，用于若目标视频源终端绑定目标音频源终端，则根据预先配置的视频输出终端与音频输出终端间的绑定关系，判断目标视频输出终端是否绑定目标音频输出终端；
视频系统与音频系统配置模块750，用于若目标视频输出终端绑定目标音频输出终端，则根据目标视频源终端以及目标视频输出终端配置视频系统，并根据目标音频源终端以及目标音频输出终端配置音频系统，以选通与音视频控制请求匹配的视频传输通路，和/或音频传输通路。
可选的，视频系统与音频系统配置模块750还包括：
判断单元，用于在根据目标视频源终端以及目标视频输出终端配置视频系统，并根据目标音频源终端以及目标音频输出终端配置音频系统之后，判断当前选通的音频传输通路中，是否存在同一视频源终端与输入音频处理器中至少两个输入通道绑定；
混音处理指示单元，用于若是，则指示输出音频处理器获取所述至少两个输入通道中传输的音频信号，并进行混音处理后，输出至音频输出终端。
可选的，视频系统与音频系统配置模块750还包括：
音频延时时间获取单元，用于在根据所述目标视频源终端以及所述目标视频输出终端配置视频系统，并根据所述目标音频源终端以及所述目标音频输出终端配置所述音频系统之后，获取音频输出终端对应的音频延时时间；
音频数据延时输出指示单元，用于指示输出音频处理器将指向音频输出终端的音频数据延时后输出至音频输出终端。
本发明实施例所提供的音视频传输控制装置，可执行本发明任意实施例所提供的音视频传输控制方法，具备执行方法相应的功能模块和有益效果。
实施例五
图9是本发明实施例五提供的一种服务器的结构示意图，如图9所示，该服务器包括处理器810、存储器820、输入装置830和输出装置840；服务器中处理器810的数量可以是一个或多个，图9中以一个处理器810为例；服务器中的处理器810、存储器820、输入装置830和输出装置840可以通过总线或其他方式连接，图9中以通过总线连接为例。
存储器820作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的音视频传输控制方法对应的程序指令/模块(例如，图8中，音视频控制请求获取模块710、目标视频源终端对应的目标视频输出终端确定模块720、第一判断模块730、第二判断模块740、和视频系统与音频系统配置模块750)。处理器810通过运行存储在存储器820中的软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述音视频传输控制方法。
存储器820可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器820可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器820可进一步包括相对于处理器810远程设置的存储器，这些远程存储器可以通过网络连接至服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置830可用于接收输入的数字或字符信息，以及产生与服务器的用户设置以及功能控制有关的键信号输入。输出装置840可包括显示屏等显示设备。
实施例六
本发明实施例六还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种音视频传输控制方法，该方法包括：
获取音视频控制请求，所述音视频控制请求中包括目标视频源终端；
根据所述目标视频源终端，查询预先配置的视频源终端与视频输出终端间的绑定关系，确定与所述目标视频源终端对应的目标视频输出终端；
根据预先配置的视频源终端和音频源终端间的绑定关系，判断所述目标视频源终端是否绑定目标音频源终端；
若是，则根据预先配置的视频输出终端与音频输出终端间的绑定关系，判断所述目标视频输出终端是否绑定目标音频输出终端；
若是，则根据所述目标视频源终端以及所述目标视频输出终端配置视频系统，并根据所述目标音频源终端以及所述目标音频输出终端配置所述音频系统，以选通与音视频控制请求匹配的视频传输通路，和/或音频传输通路。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的音视频传输控制方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述音视频传输控制装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种音视频传输控制方法，其特征在于，包括：
获取音视频控制请求，所述音视频控制请求中包括目标视频源终端，其中，服务器获取客户端设备发出的音视频控制请求，音视频控制请求中包括目标视频源终端；
根据所述目标视频源终端，查询预先配置的视频源终端与视频输出终端间的绑定关系，确定与所述目标视频源终端对应的目标视频输出终端，其中，根据目标视频源终端，服务器查询存储的客户端设备预先配置的视频源终端与视频输出终端间的绑定关系；
根据预先配置的视频源终端和音频源终端间的绑定关系，判断所述目标视频源终端是否绑定目标音频源终端，其中，服务器查询存储的客户端设备预先配置的视频源终端和音频源终端间的绑定关系；
若是，则根据预先配置的视频输出终端与音频输出终端间的绑定关系，判断所述目标视频输出终端是否绑定目标音频输出终端；
若是，在根据所述目标视频源终端以及所述目标视频输出终端配置视频系统，并根据所述目标音频源终端以及所述目标音频输出终端配置音频系统，其中，若在目标视频源终端中的视频输出至目标视频输出终端时，如果存在与目标视频源终端对应的目标音频源终端，将目标音频源终端中的音频输出至目标音频输出终端；否则，只输出视频，而不输出音频。
2.根据权利要求1所述的方法，其特征在于，在根据所述目标视频源终端以及所述目标视频输出终端配置视频系统，并根据所述目标音频源终端以及所述目标音频输出终端配置所述音频系统之后，还包括：
判断当前选通的音频传输通路中，是否存在同一视频源终端与输入音频处理器中至少两个输入通道绑定；
若是，则指示输出音频处理器获取所述至少两个输入通道中传输的音频信号，并进行混音处理后，输出至所述音频输出终端。
3.根据权利要求1所述的方法，其特征在于，在根据所述目标视频源终端以及所述目标视频输出终端配置视频系统，并根据所述目标音频源终端以及所述目标音频输出终端配置所述音频系统之后，还包括：
获取音频输出终端对应的音频延时时间；
指示输出音频处理器将指向所述音频输出终端的音频数据延时后输出至所述音频输出终端。
4.一种音视频传输控制系统，其特征在于，包括：视频系统、音频系统和服务器；视频系统包括视频源设备、视频传输设备和视频输出设备；音频系统包括音频源设备、音频传输设备和音频输出设备；
视频源设备包括多个视频源终端，视频输出设备包括多个视频输出终端，音频源设备包括多个音频源终端，音频输出设备包括多个音频输出终端；
服务器，用于根据预先配置的视频源终端与视频输出终端间的绑定关系，视频源终端和音频源终端间的绑定关系，和视频输出终端与音频输出终端间的绑定关系，配置视频系统和音频系统；
所述服务器获取客户端设备发出的音视频控制请求，音视频控制请求中包括目标视频源终端；
所述服务器根据目标视频源终端查询存储的客户端设备预先配置的视频源终端与视频输出终端间的绑定关系；
所述服务器查询存储的客户端设备预先配置的视频源终端和音频源终端间的绑定关系；
所述服务器查询存储的客户端设备预先配置的视频输出终端与音频输出终端间的绑定关系；
若是，在根据所述目标视频源终端以及所述目标视频输出终端配置视频系统，并根据所述目标音频源终端以及所述目标音频输出终端配置所述音频系统，其中，若在目标视频源终端中的视频输出至目标视频输出终端时，如果存在与目标视频源终端对应的目标音频源终端，将目标音频源终端中的音频输出至目标音频输出终端；否则，只输出视频，而不输出音频。
5.根据权利要求4所述的系统，其特征在于，所述视频源设备具体包括：
多个第一类视频源终端，以及分别与各第一类视频源终端相连的编码器；或者，
多个第二类视频源终端；或者，
至少一个第一类视频源终端，分别与各所述第一类视频源终端相连的编码器，以及至少一个第二类视频源终端；
所述编码器，和/或所述第二类视频源终端分别与所述视频传输设备相连；
所述视频输出设备具体包括：多个解码器，以及与各所述解码器分别相连的视频输出终端，所述解码器分别与所述视频传输设备相连；
视频源终端与视频输出终端间的绑定关系，具体包括：与第一类视频源终端相连的编码器与对应视频输出终端相连的解码器间的绑定关系，或者，第二类视频源终端与对应视频输出终端相连的解码器间的绑定关系。
6.根据权利要求4所述的系统，其特征在于，所述音频源设备具体包括：
输入数字音频处理器，以及分别与所述输入音频处理器的不同输入通道相连的多个音频源终端，所述输入数字音频处理器的输出端与所述音频传输设备相连；
所述音频输出设备具体包括：输出数字音频处理器，以及分别与所述输出音频处理器的不同输出通道相连的多个音频输出终端，所述输出数字音频处理器的输入端与所述音频传输设备相连；
视频源终端和音频源终端间的绑定关系，具体包括：视频源终端与输入音频处理器中至少一个输入通道间的绑定关系；所述至少一个输入通道与所述视频源终端对应的音频源终端相连；
视频输出终端与音频输出终端间的绑定关系，具体包括：视频输出终端与输出音频处理器中至少一个输出通道间的绑定关系，以及所述至少一个输出通道与至少一个音频输出终端相连。
7.根据权利要求6所述的系统，其特征在于，所述服务器还用于：
如果确定当前选通的音频传输通路中，同一视频源终端与输入音频处理器中至少两个输入通道绑定，则指示输出音频处理器获取所述至少两个输入通道中传输的音频信号，并进行混音处理后，输出至所述音频输出终端。
8.根据权利要求4所述的系统，其特征在于，所述系统还包括：客户端设备；所述客户端设备与所述服务器相连；
所述客户端设备，用于通过绑定关系配置界面，在所述服务器中预先配置视频源终端与视频输出终端间的绑定关系，视频源终端和音频源终端间的绑定关系，和视频输出终端与音频输出终端间的绑定关系。
9.根据权利要求8所述的系统，其特征在于，所述客户端设备还用于：
通过延迟时间配置页面，在所述服务器中预先配置与至少一个音频输出终端对应的音频延时时间；
所述服务器还用于，如果确定当前选通的音频传输通路中，包括配置有音频延时时间的音频输出终端，则将所述音频输出终端的音频延时时间提供给所述输出音频处理器，以指示所述输出音频处理器将指向所述音频输出终端的音频数据延时后输出至所述音频输出终端。
10.一种服务器，其特征在于，所述服务器包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-3中任一所述的音视频传输控制方法。
CN201911283087.7A 2019-12-13 2019-12-13 一种音视频传输控制方法、系统及服务器 Active CN111083546B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911283087.7A CN111083546B (zh) 2019-12-13 2019-12-13 一种音视频传输控制方法、系统及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911283087.7A CN111083546B (zh) 2019-12-13 2019-12-13 一种音视频传输控制方法、系统及服务器

Publications (2)

Publication Number Publication Date
CN111083546A CN111083546A (zh) 2020-04-28
CN111083546B true CN111083546B (zh) 2022-01-11

Family

ID=70314405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911283087.7A Active CN111083546B (zh) 2019-12-13 2019-12-13 一种音视频传输控制方法、系统及服务器

Country Status (1)

Country Link
CN (1) CN111083546B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114640862A (zh) * 2020-12-16 2022-06-17 西安诺瓦星云科技股份有限公司 视频处理方法、装置、计算机可读存储介质和处理器

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1992721A (zh) * 2005-12-29 2007-07-04 三星Techwin株式会社 向多个客户端提供视频和音频数据的方法
CN101984672A (zh) * 2010-11-03 2011-03-09 深圳芯邦科技股份有限公司 多线程的音视频同步控制方法及装置
CN102143349A (zh) * 2011-03-22 2011-08-03 宋健 一种基于音频、视频信号分别通过独立通道传输的视频会议实现方法
CN102801770A (zh) * 2012-03-06 2012-11-28 东南大学 一种实现音视频分开传输的Web视频会议的方法
CN103402073A (zh) * 2013-08-22 2013-11-20 聚领信息技术（上海）有限公司 以输入输出分离方式实现视频通讯的方法
CN110072137A (zh) * 2019-04-26 2019-07-30 湖南琴岛网络传媒科技有限公司 一种视频直播的数据传输方法及传输装置
CN110248151A (zh) * 2018-11-20 2019-09-17 浙江大华技术股份有限公司 一种音视频合成的方法和设备
CN110476431A (zh) * 2017-03-30 2019-11-19 微软技术许可有限责任公司 低时延移动设备视听流传输

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120151537A1 (en) * 2010-12-14 2012-06-14 Samsung Electronics Co., Ltd. Method and system for asynchronous and isochronous data transmission in a high speed video network

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1992721A (zh) * 2005-12-29 2007-07-04 三星Techwin株式会社 向多个客户端提供视频和音频数据的方法
CN101984672A (zh) * 2010-11-03 2011-03-09 深圳芯邦科技股份有限公司 多线程的音视频同步控制方法及装置
CN102143349A (zh) * 2011-03-22 2011-08-03 宋健 一种基于音频、视频信号分别通过独立通道传输的视频会议实现方法
CN102801770A (zh) * 2012-03-06 2012-11-28 东南大学 一种实现音视频分开传输的Web视频会议的方法
CN103402073A (zh) * 2013-08-22 2013-11-20 聚领信息技术（上海）有限公司 以输入输出分离方式实现视频通讯的方法
CN110476431A (zh) * 2017-03-30 2019-11-19 微软技术许可有限责任公司 低时延移动设备视听流传输
CN110248151A (zh) * 2018-11-20 2019-09-17 浙江大华技术股份有限公司 一种音视频合成的方法和设备
CN110072137A (zh) * 2019-04-26 2019-07-30 湖南琴岛网络传媒科技有限公司 一种视频直播的数据传输方法及传输装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
音视频处理的一些概念;running_snail_520;《https://blog.csdn.net/running_snail_520/article/details/81609060》;20181223;全文 *

Also Published As

Publication number Publication date
CN111083546A (zh) 2020-04-28

Similar Documents

Publication Publication Date Title
CN108574688B (zh) 一种参会方信息的显示方法和装置
US20120066711A1 (en) Virtualized home theater service
CN108616800B (zh) 音频的播放方法和装置、存储介质、电子装置
US20150304418A1 (en) Synchronous media rendering of demuxed media components across multiple devices
US9780894B2 (en) Systems for synchronous playback of media using a hybrid bluetooth™ and Wi-Fi network
US9973290B2 (en) System for media rebroadcasting for synchronized rendering across multiple devices
US9837093B2 (en) Packet based delivery of multi-channel audio over wireless links
CN109618120B (zh) 视频会议的处理方法和装置
US20230260523A1 (en) Transmission device, transmission method, reception device and reception method
CN112203106B (zh) 直播教学方法、装置、计算机设备和存储介质
US10341773B2 (en) Packet based delivery of multi-channel audio over wireless links
CN111147362B (zh) 多人即时通讯方法、系统、装置及电子设备
CN113490007A (zh) 直播处理系统、方法、存储介质与电子设备
CN111083546B (zh) 一种音视频传输控制方法、系统及服务器
US20190182304A1 (en) Universal messaging protocol for limited payload size
CN108882010A (zh) 一种多屏播放的方法及系统
RU2701060C2 (ru) Передающее устройство, способ передачи, приемное устройство и способ приема
CN107248991B (zh) 基于视频关键帧的ip流调度系统及方法
CN115278858B (zh) 一种低延时的音频数据传输方法及装置
US20220353628A1 (en) System and method for transmitting at least one multichannel audio matrix across a global network
KR102251148B1 (ko) 오디오-비디오 동기화 처리 방법
US20240357289A1 (en) Wireless Surround Sound System With Common Bitstream
CN112910827B (zh) 多方互动系统，方法、装置、电子设备及存储介质
US20150334478A1 (en) Method for a Multi-Channel Wireless Speaker System
US9998224B2 (en) Audio system based on in-vehicle optical network and broadcasting method thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant