CN105280192B - 基于多路声音编码的三方远程通讯中回声消除方法及系统 - Google Patents

基于多路声音编码的三方远程通讯中回声消除方法及系统 Download PDF

Info

Publication number
CN105280192B
CN105280192B CN201510815524.0A CN201510815524A CN105280192B CN 105280192 B CN105280192 B CN 105280192B CN 201510815524 A CN201510815524 A CN 201510815524A CN 105280192 B CN105280192 B CN 105280192B
Authority
CN
China
Prior art keywords
data
audio data
issued
audio
square
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510815524.0A
Other languages
English (en)
Other versions
CN105280192A (zh
Inventor
单衍景
蒋国兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING HUAXIA DENTSU TECHNOLOGY Co.,Ltd.
Original Assignee
BEIJING HUAXIA DIANTONG TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING HUAXIA DIANTONG TECHNOLOGY Co Ltd filed Critical BEIJING HUAXIA DIANTONG TECHNOLOGY Co Ltd
Priority to CN201510815524.0A priority Critical patent/CN105280192B/zh
Publication of CN105280192A publication Critical patent/CN105280192A/zh
Application granted granted Critical
Publication of CN105280192B publication Critical patent/CN105280192B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种基于多路声音编码的三方远程通讯中回声消除方法及系统，包含：对第一从方和第二从方发出的音频数据分别进行编码；主方对上述两从方发出的音频数据进行解码并与主方发出的音频数据进行混音处理，获得包含第一从方发出的音频数据和主方发出的音频数据的第一数据和包含第二从方发出的音频数据和主方发出的音频数据的第二数据及包含三方的音频数据的第三数据；主方对第一数据和第二数据分别进行编码；第一从方解码器与第二从方解码器分别解码第二数据和第一数据；第一从方播放器播放第一从方发出音频数据和第二数据混合的音频数据；第二从方播放器播放第二从方发出音频数据和第一数据混合的音频数据；主方播放器播放第三数据的音频数据。

Description

基于多路声音编码的三方远程通讯中回声消除方法及系统
技术领域
本发明涉及远程通讯领域，尤指一种基于多路声音编码的三方远程通讯中回声消除方法及系统。
背景技术
法院、远程检察院与远程提讯室进行三方远程提讯时，要想取得良好的庭审效果，就要确保每个参与方，无论是法院、检察院还是看守所，都要能做到任意一方对其他两方“看得见”、“听得清”。通过画面合成，容易解决“看得见”的问题，而比较难解决的是“听得清”的问题。要解决“听得清”，其本质就是要解决声音的回声干扰问题，如果回声干扰问题不解决，就势必影响声响效果，无法进行正常的庭审，甚至无法听清楚其他庭审的两方。
远程提讯中出现的回声干扰，主要由两个原因造成的，即环境回声与线路回声。所谓的环境回声，就是由于法庭、检察院、提讯室的扩音设备，把三方的声音都从喇叭扩声出来的时候，不可避免地要通过空气传播，再进入本地的话筒。从扩声设备通过空气传播进入话筒的这个声音，如果不去掉，再进入编码器，传送回其他两方，则其他两方就能听到回声；这个回声主要是环境引起的，我们称为环境回声，该回声主要用相关的消声设备给予过滤掉，不在我们本次解决范围之内；所谓的线路回声，就是人为由于庭审现场的直播、录制需求，故意把各方的声音引入到编码器而产生的，这部分声音称为线路回声；针对线路回声的消除方法是我们在本专利技术中重点要解决的问题。
线路回声产生的主要的原因是用户对音视频要求与其部署的设备能力有一定的不匹配导致的，例如目前很多法院已经建造的高清数字法庭，只配置了一个高清编码器，用于对当庭的各个重要庭审参与人员组成的一路合成画面进行编码，该编码数据流主要用于录像以及对外直播，在该编码流中，音频包含了全部庭审参与人员的声音的混音，以便在录像中或者庭审直播中，能听到所有庭审参与人员的声音。如果在三方进行远程提讯室，从存档备案的角度出发，这路包含所有庭审参与人员混音的编码流是必须要提供的，用于庭审录像以及对外直播使用；但是这个包含全部庭审参与人员混音的流不能直接送给远程的检察院与看守所，否则检察院与看守所就能从这个数据流中听到自己的声音了，也就是产生了线路回声。
在法院下发的一路编码数据流中，通过左声道、右声道的独立编码不同声音的方式，可以解决这个问题，但是这样的解决方法有一个局限，就是限制了相关的编码器、解码器都具备这个功能，也就是必须要求法院、检察院、看守所的编码器都能具备对声音的左声道、右声道的独立编码能力，同时还要求法院、检察院、看守所的解码器也都能进行左声道、右声道的独立的解码控制。如果三方远程提讯参与方的远程检察院或者远程提讯室部署的设备，出现一方是其它厂家设备，该厂家的设备的编码器不具备对声音的左右声道的独立编码能力，或者解码器不具备对声音的左右声道独立解码控制能力时，则就无法实现三方远程提讯的回声消除了。
发明内容
针对以上问题，我们本发明目的在于提供一种解决三方远程提讯的回声干扰时，无需从方的编码器与解码器的特殊的声音的编码与解码能力的回声消除的方法及系统。
为达上述目的，本发明具体提供一种基于多路声音编码的三方远程通讯中回声消除方法，，所述方法包含：对第一从方和第二从方发出的音频数据分别进行编码；主方对第一从方和第二从方发出的音频数据分别进行解码，并将主方发出的音频数据及第一从方发出的音频数据和第二从方发出的音频数据进行混音处理，获得包含第一从方发出的音频数据和主方发出的音频数据的第一数据和包含第二从方发出的音频数据和主方发出的音频数据的第二数据及包含第一从方发出的音频数据、第二从方发出的音频数据和主方发出的音频数据的第三数据；主方对所述第一数据和所述第二数据分别进行编码；第一从方解码器解码所述第二数据；第一从方播放第一从方发出音频数据和第二数据混合的音频数据；第二从方解码器解码所述第一数据；第二从方播放第二从方发出音频数据和第一数据混合的音频数据；主方播放第三数据的音频数据。
在上述基于多路声音编码的三方远程通讯中回声消除方法中，优选的，主方编码器对所述第一数据和所述第二数据分别进行编码生成三组发布点；其中所述三组发布点包含：左右声道音频数据都为第一数据的第一发布点，左右声道音频数据都为第二数据的第二发布点，左声道音频数据为第一数据和右声道音频数据为第二数据的第三发布点。
在上述基于多路声音编码的三方远程通讯中回声消除方法中，优选的，第一从方播放器通过第一从方解码器解码所述第二发布点中的音频数据，获得所述第二数据，并将所述第二数据与第一从方发出音频数据混合后输出；第二从方播放器通过第二从方解码器解码所述第一发布点中的音频数据，获得所述第一数据，并将所述第二数据与第二从方发出音频数据混合后输出。
在上述基于多路声音编码的三方远程通讯中回声消除方法中，优选的，第一从方解码器解码所述第二发布点中的音频数据获得所述第二数据，第二从方解码器解码所述第一发布点中的音频数据获得所述第一数据。
在上述基于多路声音编码的三方远程通讯中回声消除方法中，优选的，通过环境回声消除技术分别消除第一从方发出音频数据、第二从方发出音频数据和主方发出音频数据中第一从方播放器、第二从方播放器和主方播放器发出的音频数据。
本发明还提供一种基于多路声音编码的三方远程通讯中回声消除系统，所述系统包含：第一从方编码器，用于对第一从方发出音频数据进行编码；第二从方编码器，用于对第二从方发出音频数据进行编码；主方解码器，用于分别解码第一从方发出的音频数据和第二从方发出的音频数据；主方混音器，用于将主方发出的音频数据及解码后的第一从方发出的音频数据和解码后的第二从方发出的音频数据进行混音处理，获得包含第一从方发出的音频数据和主方发出的音频数据的第一数据和包含第二从方发出的音频数据和主方发出的音频数据的第二数据及包含第一从方发出的音频数据、第二从方发出的音频数据和主方发出的音频数据的第三数据；主方编码器，用于对所述第一数据和所述第二数据分别进行编码；第一从方解码器，用于解码所述第二数据；第一从方播放器，用于播放第一从方发出音频数据和第二数据混合的音频数据；第二从方解码器，用于解码所述第一数据；第二从方播放器，用于播放第二从方发出音频数据和第一数据混合的音频数据；主方播放器，用于播放第三数据的音频数据。
在上述实施例中，优选的，所述第一编码器还包含：第一从方编码器中右声道对第一从方发出音频数据进行编码，左声道对第一从方发出音频数据及第一从方接收到的第二从方发出音频数据和主方发出音频数据进行编码。所述第二编码器还包含：第
在上述基于多路声音编码的三方远程通讯中回声消除系统中，优选的，所述系统还可包含三个回声消除器，所述回声消除器分别设置于第一从方、第二从方和主方，用于分别消除第一从方发出音频数据、第二从方发出音频数据和主方发出音频数据中第一从方播放器、第二从方播放器和主方播放器发出的音频数据。
在上述基于多路声音编码的三方远程通讯中回声消除系统中，优选的，所述主方编码器包含：对所述第一数据和所述第二数据分别进行编码生成三组发布点；其中所述三组发布点包含：左右声道音频数据都为第一数据的第一发布点，左右声道音频数据都为第二数据的第二发布点，左声道音频数据为第一数据和右声道音频数据为第二数据的第三发布点。
在上述基于多路声音编码的三方远程通讯中回声消除系统中，优选的，所述第一从方播放器包含：将第一从方解码器通过解码所述第二发布点中的音频数据获得所述第二数据与第一从方发出音频数据混合后输出。
在上述基于多路声音编码的三方远程通讯中回声消除系统中，优选的，所述第二从方播放器包含：将第二从方解码器通过解码所述第一发布点中的音频数据获得所述第一数据与第二从方发出音频数据混合后输出。
本发明的有益技术效果在于：在不增加编码器配置的情况下，通过对主方的编码器的音频编码数据、视频编码数据的灵活组合，组成多个视频编码相同、音频内容不同的发布频道，来解决包含不同厂商设备时的三方远程提讯的声音回声干扰问题，并且该方法能同时达到如下目标：现有部署在主方的高清编码器不需要更换，编码能力不需要显著提高；主方的高清编码器不需要扩容，不需要增设新的编码器；把编码数据流录制以后，在观看此录像的时候，听到三方参与人员的混音；把此编码流直播发布后，观看直播的人员能听到三方参与人员的混音；在从方只会听到非己方发出的音频；录制的单独发送给从方的录像中，能同时听到所有参与人员的混音。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：
图1为本发明所提供的基于多路声音编码的三方远程通讯中回声消除方法的流程图；
图2为本发明所提供的基于多路声音编码的三方远程通讯中回声消除系统的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
请参考图1所示，本发明具体提供一种基于多路声音编码的三方远程通讯中回声消除方法，所述方法包含：S101对第一从方和第二从方发出的音频数据分别进行编码；S102主方对第一从方和第二从方发出的音频数据分别进行解码，并将主方发出的音频数据及第一从方发出的音频数据和第二从方发出的音频数据进行混音处理，获得包含第一从方发出的音频数据和主方发出的音频数据的第一数据和包含第二从方发出的音频数据和主方发出的音频数据的第二数据及包含第一从方发出的音频数据、第二从方发出的音频数据和主方发出的音频数据的第三数据；S103主方对所述第一数据和所述第二数据分别进行编码；S104第一从方解码器解码所述第二数据；第一从方播放第一从方发出音频数据和第二数据混合的音频数据；S105第二从方解码器解码所述第一数据；第二从方播放第二从方发出音频数据和第一数据混合的音频数据；S106主方播放第三数据的音频数据。
值得说明的是，本发明所提供的上述技术方案中上述步骤S104、S105、S106为同时进行的，其编码仅为标识说明，并不以标号代表对应的步骤先后顺序。
在上述实施例中，优选的，主方编码器对所述第一数据和所述第二数据分别进行编码生成三组发布点；其中所述三组发布点包含：左右声道音频数据都为第一数据的第一发布点，左右声道音频数据都为第二数据的第二发布点，左声道音频数据为第一数据和右声道音频数据为第二数据的第三发布点。
在上述实施例中，还包含：第一从方播放器通过第一从方解码器解码所述第二发布点中的音频数据，获得所述第二数据，并将所述第二数据与第一从方发出音频数据混合后输出；第二从方播放器通过第二从方解码器解码所述第一发布点中的音频数据，获得所述第一数据，并将所述第二数据与第二从方发出音频数据混合后输出。第一从方解码器解码所述第二发布点中的音频数据获得所述第二数据，第二从方解码器解码所述第一发布点中的音频数据获得所述第一数据。
在上述实施例中，优选的还包含：通过环境回声消除技术分别消除第一从方发出音频数据、第二从方发出音频数据和主方发出音频数据中第一从方播放器、第二从方播放器和主方播放器发出的音频数据。
为更清楚的说明本发明所提供的基于多路声音编码的三方远程通讯中回声消除方法，以下对上述实施例做整体介绍，其中：
从方只对本地发出音频进行编码，编码流中左右声道都只包含本地发出的音频数据，从方解码时，仅解码主方和另一从方的音频数据，并将该音频数据与本地发出的音频数据混合后播放，由此本次播放的音频就仅包含两从方一主方的音频信息，并无线路回声干扰；
为配合从方的音频操作，主方解码器首先解码两从方各自发出的音频信息，分别获得两从方各自单独的音频信息，再将这两个音频信息与主方本地发出的音频信息进行混音处理，获得三组音频文件，为便于说明该三组音频文件的后续处理步骤，此处以A、B、C分别指代第一从方、第二从方和主方的音频信息，其中第一组音频文件包含三方即ABC的音频信息，该音频文件用于主方播放器播放；第二组音频文件包含主方和一从方即BC的音频信息；第三组音频文件包含主方和另一从方即AC的音频信息；
主方编码器根据上述三组音频文件，编码发布三个发布点，其中第一发布点为左右声道都为BC的音频信息，第二个发布点为左右声道都为AC的音频信息，第三个发布点为左声道/右声道为AC，右声道/左声道为BC的音频信息；在上述三个发布点中第一发布点发送至第一从方的解码器，用于第一从方解码获取主方C和另一从方B的音频信息，第二发布点发送至第二从方的解码器，用于第二从方解码获取主方C和另一从方A的音频信息，第三发布点发送至网络，用于后期录制或直播。上述发布点是指一个可以被客户端通过RTSP协议可以获取该数据流的URL地址；主方的编码器由于没有增加音频、视频的编码能力，只是对编码后的数据进行一个组合发布，对其系统资源没有本质的提升要求；
针对第一从方的编码流左右声道分别为AC、BC的数据流在主方的流媒体服务器上进行录制，由于左声道/右声道含有第一从方与主方的混音AC，左声道/右声道含有第二从方与主方的混音BC，则该路编码流的录像文件播放的时候，一定能够播放出来含有ABC三方的混音出来；把该编码流进行直播的时候，观看直播的能听到ABC三方的声音；
第一从方的解码器，获取左右声道都是BC的数据流进行解码，只能解码出来包含主方、第二从方混音BC；第二从方的解码器，获取左右声道都是AC的数据流进行解码，只解码其包含主方、第一从方混音AC；
针对第二从方、第一从方的音视频数据的录制，也是在主方的流媒体服务器上进行的，由于主方的流媒体服务器上已经获取到第一从方与主方的混音AC的编码流，以及第二从方与主方的混音BC的编码流，在此流媒体服务器进行录制的时候，第二从方的视频数据被保留，音频数据被替换为左右声道分别为AC、BC的混声数据，第一从方的视频数据被保留，而音频数据也被替换为左右声道分别为AC、BC的混音数据；这样就保证了单独录制的第二从方与第一从方任何一侧的录像，该录像在播放的时候，都能包含庭审参与三方的声音；
最后，为了保证三方的音效，还要把环境回声消除掉，也就是在主方、第一从方、第二从方分别放置回声消除器，把从功放喇叭播放出来声音，在进入话筒后，从喇叭传出来的这个声音，被消除掉；
本发明还提供一种基于多路声音编码的三方远程通讯中回声消除系统，所述系统包含：第一从方编码器，用于对第一从方发出音频数据进行编码；第二从方编码器，用于对第二从方发出音频数据进行编码；主方解码器，用于分别解码第一从方发出的音频数据和第二从方发出的音频数据；主方混音器，用于将主方发出的音频数据及解码后的第一从方发出的音频数据和解码后的第二从方发出的音频数据进行混音处理，获得包含第一从方发出的音频数据和主方发出的音频数据的第一数据和包含第二从方发出的音频数据和主方发出的音频数据的第二数据及包含第一从方发出的音频数据、第二从方发出的音频数据和主方发出的音频数据的第三数据；主方编码器，用于对所述第一数据和所述第二数据分别进行编码；第一从方解码器，用于解码所述第二数据；第一从方播放器，用于播放第一从方发出音频数据和第二数据混合的音频数据；第二从方解码器，用于解码所述第一数据；第二从方播放器，用于播放第二从方发出音频数据和第一数据混合的音频数据；主方播放器，用于播放第三数据的音频数据。
在上述实施例中，所述系统还可包含三个回声消除器，所述回声消除器分别设置于第一从方、第二从方和主方，用于分别消除第一从方发出音频数据、第二从方发出音频数据和主方发出音频数据中第一从方播放器、第二从方播放器和主方播放器发出的音频数据。
在上述实施例中，所述主方编码器包含：对所述第一数据和所述第二数据分别进行编码生成三组发布点；其中所述三组发布点包含：左右声道音频数据都为第一数据的第一发布点，左右声道音频数据都为第二数据的第二发布点，左声道音频数据为第一数据和右声道音频数据为第二数据的第三发布点。所述第一从方播放器包含：将第一从方解码器通过解码所述第二发布点中的音频数据获得所述第二数据与第一从方发出音频数据混合后输出。所述第二从方播放器包含：将第二从方解码器通过解码所述第一发布点中的音频数据获得所述第一数据与第二从方发出音频数据混合后输出。
为进一步说明本发明所提供基于多路声音编码的三方远程通讯中回声消除系统，以下以法院，检察院及提讯室为实例，对本发明做简要说明。请参考图2所示，参与三方远程提讯室的本地法院的法庭为主方(以字母C代表)、远程检察院为第一从方(以字母A代表)、远程提讯室为第二从方(以字母B表示)。
1.检察院的编码器的对本端声音A进行编码；编码流中，无论是左声道还是右声道，只包含检察院的声音；
2.检察院本地功放喇叭播放的是检察院声音A与解码出来法院与看守所的声音BC的混音，三者混合在一起，检察院的喇叭播放出ABC混音，检察院能听到三方的声音；
3.看守所的编码器只对看守所的声音B进行编码，编码流中，无论是左声道或者右声道，只包含看守所的声音；
4.看守所本地功放喇叭播放的是看守所声音B与解码出来法院与检察院的声音AC的混音，三者混合在一起，看守所的喇叭播放出ABC混音，看守所能听到三方的声音；
5.在法院的法庭内，解码器对检察院编码流解码的时候，先把检察院的编码流获取到法院的流媒体服务器上，然后经过流媒体服务器中转，再送入法庭的解码器对其声音的立体声进行解码，获得检察院A的声音；解码器对看守所编码流解码的时候，同理，也是先把看守所的编码流获取到法院的流媒体服务器上，经过流媒体服务器中转，再发送给解码器对看守所的声音的立体声进行解码，获取看守所的声音B；
6.法庭中的混音器把检察院的声音A、看守所的声音B，以及法庭声音C，进行混音，混成法庭与检察院的声音AC，以及法庭与看守所的声音BC；然后把中两个混音AC、BC分别送到法庭编码器的两个音频输入中；此外混音器还把A、B、C的混音ABC送到法庭的扩声设备上，法庭也能提到三方的声音；
7.法庭的编码器的能力主要是针对视频数据、音频数据的编码上，编码器对声音输入的两路声音AC、BC进行编码；针对编码出来的两路音频数据，创建如下音视频流的发布点：
A.左右音频通道分别为AC、BC的声音编码数据的发布点；
B.左右音频通道都是AC的声音编码数据的发布点；
C.左右音频通道都是BC的声音编码数据的发布点；
所谓的发布点是指一个可以被客户端通过RTSP协议可以获取该数据流的URL地址；法庭的编码器由于没有增加音频、视频的编码能力，只是对编码后的数据进行一个组合发布，对其系统资源没有本质的提升要求；
8.针对检察院的编码流左右声道分别为AC、BC的数据流在法院的流媒体服务器上进行录制，由于左声道含有检察院与法庭的混音AC，右声道含有看守所与法庭的混音BC，则该路编码流的录像文件播放的时候，一定能够播放出来含有ABC三方的混音出来；把该编码流进行直播的时候，观看直播的能听到ABC三方的声音；
9.检察院的解码器，获取左右声道都是BC的数据流进行解码，只能解码出来包含法庭、看守所混音BC；
10.看守所的解码器，获取左右声道都是AC的数据流进行解码，只解码其包含法庭、检察院混音AC；
11.针对看守所、检察院的音视频数据的录制，也是在法院的流媒体服务器上进行的，由于法院的流媒体服务器上已经获取到检察院与法庭的混音AC的编码流，以及看守所与法庭的混音BC的编码流，在此流媒体服务器进行录制的时候，看守所的视频数据被保留，音频数据被替换为左右声道分别为AC、BC的混声数据，检察院的视频数据被保留，而音频数据也被替换为左右声道分别为AC、BC的混音数据；这样就保证了单独录制的看守所与检察院任何一侧的录像，该录像在播放的时候，都能包含庭审参与三方的声音；
12.最后，为了保证三方的音效，还要把环境回声消除掉，也就是在法庭、检察院、看守所分别放置回声消除器，把从功放喇叭播放出来声音，在进入话筒后，从喇叭传出来的这个声音，被消除掉；
通过以上的处理过程我们发现，本技术没有对检察院的编码器、解码器、看守所的编码器、解码器的编码有任何特殊的要求，只要他们能进行标准的编码与解码即可；对法庭的解码器页没有任何变更，只要求其具备基本的解码功能即可；对法庭编码器有少许的变化，也就是要求其增加数据的发布点，对发布点的增加，没有增加其实际的编码工作量，只是对编码后的数据，进行一个组合分发，对编码器本省的编码能力没有一个特殊的要求，只是增加了对其数据发送能力的要求，通过实验证明，这个能力对嵌入式的编码设备来说，是能足够支持这些数据发布的。
最后本发明通过所有的编码流都汇集在法院的流媒体服务器上，通过此流媒体服务器，完成针对法庭编码数据、检察院编码数据、看守所编码数据的录制；在看守所、检察院编码数据录制的时候，对其声音进行简单地替换，替换为法庭的声音编码数据，进而实现了各个录像文件都能播放出三个庭审参与方的声音的混音。
通过本发明所提供的基于多路声音编码的三方远程通讯中回声消除方法及系统，在不增加法庭高清法庭编码器配置的情况下，把声音在编码流中，通过左声道、右声道进行区分，并且控制解码器对编码流进行左声道、右声道的独立解码，实现三方远程提讯室中的线路回声的消除。且同时能达到了如下有益效果：先前部署在法庭的高清编码器不需要更换，编码能力不需要提高；先前部署在法庭的高清编码器不需要扩容，不需要增设新的编码器；把编码数据流录制以后，在观看此案件庭审录像的时候，听到所有庭审参与人员的混音；把此编码流直播发布后，观看直播的人员能听到所有庭审参与人员的混音；在远程检察院内，只能听到庭审中的法官与远程嫌疑人的混音；在远程提讯室内，只能听到庭审中的法院与远程检察院公诉人的混音；录制的单独发送给检察院的录像中，能同时听到所有庭审参与人员的混音；录制的单独发送给提讯室的录像中，能同时听到所有庭审参与人员的混音。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于多路声音编码的三方远程通讯中回声消除方法，其特征在于，所述方法包含：
对第一从方和第二从方发出的音频数据分别进行编码；
主方对第一从方和第二从方发出的音频数据分别进行解码，并将主方发出的音频数据及第一从方发出的音频数据和第二从方发出的音频数据进行混音处理，获得包含第一从方发出的音频数据和主方发出的音频数据的第一数据和包含第二从方发出的音频数据和主方发出的音频数据的第二数据及包含第一从方发出的音频数据、第二从方发出的音频数据和主方发出的音频数据的第三数据；
主方对所述第一数据和所述第二数据分别进行编码；
第一从方解码器解码所述第二数据；第一从方播放第一从方发出音频数据和第二数据混合的音频数据；
第二从方解码器解码所述第一数据；第二从方播放第二从方发出音频数据和第一数据混合的音频数据；
主方播放第三数据的音频数据；
通过环境回声消除技术分别消除第一从方发出音频数据、第二从方发出音频数据和主方发出音频数据中第一从方播放器、第二从方播放器和主方播放器发出的音频数据。
2.根据权利要求1所述的基于多路声音编码的三方远程通讯中回声消除方法，其特征在于，所述主方对所述第一数据和所述第二数据分别进行编码包含：主方编码器对所述第一数据和所述第二数据分别进行编码生成三组发布点；其中所述三组发布点包含：左右声道音频数据都为第一数据的第一发布点，左右声道音频数据都为第二数据的第二发布点，左声道音频数据为第一数据和右声道音频数据为第二数据的第三发布点。
3.根据权利要求2所述的基于多路声音编码的三方远程通讯中回声消除方法，其特征在于，第一从方播放器通过第一从方解码器解码所述第二发布点中的音频数据，获得所述第二数据，并将所述第二数据与第一从方发出音频数据混合后输出；第二从方播放器通过第二从方解码器解码所述第一发布点中的音频数据，获得所述第一数据，并将所述第二数据与第二从方发出音频数据混合后输出。
4.根据权利要求2所述的基于多路声音编码的三方远程通讯中回声消除方法，其特征在于，第一从方解码器解码所述第二发布点中的音频数据获得所述第二数据，第二从方解码器解码所述第一发布点中的音频数据获得所述第一数据。
5.一种基于多路声音编码的三方远程通讯中回声消除系统，其特征在于，所述系统包含：
第一从方编码器，用于对第一从方发出音频数据进行编码；
第二从方编码器，用于对第二从方发出音频数据进行编码；
主方解码器，用于分别解码第一从方发出的音频数据和第二从方发出的音频数据；
主方混音器，用于将主方发出的音频数据及解码后的第一从方发出的音频数据和解码后的第二从方发出的音频数据进行混音处理，获得包含第一从方发出的音频数据和主方发出的音频数据的第一数据和包含第二从方发出的音频数据和主方发出的音频数据的第二数据及包含第一从方发出的音频数据、第二从方发出的音频数据和主方发出的音频数据的第三数据；
主方编码器，用于对所述第一数据和所述第二数据分别进行编码；
第一从方解码器，用于解码所述第二数据；
第一从方播放器，用于播放第一从方发出音频数据和第二数据混合的音频数据；
第二从方解码器，用于解码所述第一数据；
第二从方播放器，用于播放第二从方发出音频数据和第一数据混合的音频数据；
主方播放器，用于播放第三数据的音频数据；
三个回声消除器，所述回声消除器分别设置于第一从方、第二从方和主方，用于分别消除第一从方发出音频数据、第二从方发出音频数据和主方发出音频数据中第一从方播放器、第二从方播放器和主方播放器发出的音频数据。
6.根据权利要求5所述的基于多路声音编码的三方远程通讯中回声消除系统，其特征在于，所述主方编码器包含：对所述第一数据和所述第二数据分别进行编码生成三组发布点；其中所述三组发布点包含：左右声道音频数据都为第一数据的第一发布点，左右声道音频数据都为第二数据的第二发布点，左声道音频数据为第一数据和右声道音频数据为第二数据的第三发布点。
7.根据权利要求6所述的基于多路声音编码的三方远程通讯中回声消除系统，其特征在于，所述第一从方播放器包含：将第一从方解码器通过解码所述第二发布点中的音频数据获得所述第二数据与第一从方发出音频数据混合后输出。
8.根据权利要求6所述的基于多路声音编码的三方远程通讯中回声消除系统，其特征在于，所述第二从方播放器包含：将第二从方解码器通过解码所述第一发布点中的音频数据获得所述第一数据与第二从方发出音频数据混合后输出。
CN201510815524.0A 2015-11-23 2015-11-23 基于多路声音编码的三方远程通讯中回声消除方法及系统 Active CN105280192B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510815524.0A CN105280192B (zh) 2015-11-23 2015-11-23 基于多路声音编码的三方远程通讯中回声消除方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510815524.0A CN105280192B (zh) 2015-11-23 2015-11-23 基于多路声音编码的三方远程通讯中回声消除方法及系统

Publications (2)

Publication Number Publication Date
CN105280192A CN105280192A (zh) 2016-01-27
CN105280192B true CN105280192B (zh) 2019-04-05

Family

ID=55149083

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510815524.0A Active CN105280192B (zh) 2015-11-23 2015-11-23 基于多路声音编码的三方远程通讯中回声消除方法及系统

Country Status (1)

Country Link
CN (1) CN105280192B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111263252B (zh) * 2018-11-30 2021-11-30 上海哔哩哔哩科技有限公司 一种用于直播的连麦消音方法、系统和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877643A (zh) * 2010-06-29 2010-11-03 中兴通讯股份有限公司 多点混音远景呈现方法、装置及系统
CN102348097A (zh) * 2010-08-02 2012-02-08 杭州华三通信技术有限公司 视频会议中的对话方法及多点控制单元
CN202841393U (zh) * 2012-05-08 2013-03-27 北京紫光华宇软件股份有限公司 远程庭审主机
CN103617753A (zh) * 2013-11-27 2014-03-05 苏州阔地网络科技有限公司 一种同步课堂音频处理方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090070420A1 (en) * 2006-05-01 2009-03-12 Schuyler Quackenbush System and method for processing data signals
US9191516B2 (en) * 2013-02-20 2015-11-17 Qualcomm Incorporated Teleconferencing using steganographically-embedded audio data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877643A (zh) * 2010-06-29 2010-11-03 中兴通讯股份有限公司 多点混音远景呈现方法、装置及系统
CN102348097A (zh) * 2010-08-02 2012-02-08 杭州华三通信技术有限公司 视频会议中的对话方法及多点控制单元
CN202841393U (zh) * 2012-05-08 2013-03-27 北京紫光华宇软件股份有限公司 远程庭审主机
CN103617753A (zh) * 2013-11-27 2014-03-05 苏州阔地网络科技有限公司 一种同步课堂音频处理方法及系统

Also Published As

Publication number Publication date
CN105280192A (zh) 2016-01-27

Similar Documents

Publication Publication Date Title
TWI530941B (zh) 用於基於物件音頻之互動成像的方法與系統
EP1568250B1 (en) Method and apparatus for processing audio signals from a bitstream
CN102318373A (zh) 解码装置、编解码装置及解码方法
CN103338348A (zh) 一种网络音视频会议的实现方法、系统和服务器
CN110267064A (zh) 音频播放状态处理方法、装置、设备及存储介质
CN105280192B (zh) 基于多路声音编码的三方远程通讯中回声消除方法及系统
Stenzel et al. Producing interactive immersive sound for MPEG-H: a field test for sports broadcasting
US20030053634A1 (en) Virtual audio environment
RU2527732C2 (ru) Способ озвучивания видеотрансляции
CN105469803B (zh) 基于左右声道编码的三方远程通讯中回声消除方法及系统
Baxter A practical guide to television sound engineering
Kuwabara et al. First Live Production and Transmission of Immersive Audio on Commercial OTA Digital Television in Latin America
Spath et al. Dolby EA Practical Way to Distribute Multichannel Audio
CN118102205A (zh) 用于基于对象的音频的交互式渲染的方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 "change of name, title or address"
CP03 "change of name, title or address"

Address after: 101, 5 / F, building 6, yard 3, fengxiu Middle Road, Haidian District, Beijing 100085

Patentee after: BEIJING HUAXIA DENTSU TECHNOLOGY Co.,Ltd.

Address before: 100085 A, Ka Wah building, No. 9, 3rd Street, Beijing, Haidian District, A301

Patentee before: BEIJING CHINASYS TECHNOLOGIES Co.,Ltd.