CN105120204A - 兼容多协议的会议中分享双流音频的方法、装置及系统 - Google Patents

Abstract

本发明公开了一种兼容多协议的会议中分享双流音频的方法、装置及系统，其中一种方法应用于支持SIP协议和H.323协议的第一终端，包括以下步骤：采用SIP协议呼叫第二终端；根据所述第二终端返回的第一应答消息判断是否连接成功；当根据所述第一应答消息判断连接不成功时，采用H.323协议呼叫所述第二终端；根据所述第二终端返回的第二应答消息判断是否连接成功；当根据所述第二应答消息判断连接成功时，与所述第二终端通过H.323协议建立会议，将单路或多路主流音频和辅流音频进行混音，并将混音后的音频通过主流通道发送给所述第二终端。本发明的方法、装置及系统能够在SIP和H.323双协议的视频会议系统中有效地分享双流音频。

Description

兼容多协议的会议中分享双流音频的方法、装置及系统

技术领域

本发明涉及多媒体通信技术领域，具体地说涉及一种兼容多协议的会议中分享双流音频的方法、装置及系统，尤其是在SIP和H.323双协议视频会议系统中实现分享双流音频的方法、装置及系统。

背景技术

在目前的视频会议系统中，对于双流的音频，如果视频会议终端入会时所采用的协议不一样，如一个终端采用SIP协议，另一终端采用H.323协议，这两个采用不同协议的终端之间无法对通，相互之间无法传输双流的音频，对双流的音频不支持。

现有的一种解决方案是，通过扩展非标准的双流协议来实现对双流的音频的支持，但是当这些采用扩展的非标准的双流协议的终端与采用标准的双流协议的终端对通时，还是无法对通，采用标准的双流协议的终端还是无法接收到双流声音，这是因为传统的H.323体系下的视频会议终端采用的是标准的H.239双流协议，该H.239双流仅支持视频，不支持音频通道。

发明内容

为此，本发明所要解决的技术问题在于克服现有技术中在视频会议系统中采用不同协议入会的视频会议终端间无法实现分享双流音频的问题，从而提出一种能够在SIP和H.323双协议的视频会议系统中有效地分享双流音频的方法、装置及系统。

本发明的一种兼容多协议的会议中分享双流音频的方法，应用于支持SIP协议和H.323协议的第一终端，包括以下步骤：

采用SIP协议呼叫第二终端；

根据所述第二终端返回的第一应答消息判断是否连接成功；

当根据所述第一应答消息判断连接不成功时，采用H.323协议呼叫所述第二终端；

根据所述第二终端返回的第二应答消息判断是否连接成功；

当根据所述第二应答消息判断连接成功时，与所述第二终端通过H.323协议建立会议，将单路或者多路主流音频和辅流音频进行混音，并将混音后的音频通过主流通道发送给所述第二终端。

优选地，还包括以下步骤：

当根据所述第一应答消息判断连接成功时，与所述第二终端通过SIP协议建立会议，将单路或者多路主流音频通过主流通道发送给所述第二终端，将辅流音频通过辅流通道发送给所述第二终端。

本发明的一种兼容多协议的会议中分享双流音频的方法，应用于支持SIP协议和H.323协议的多点控制单元，包括以下步骤：

分别判断第一终端和第二终端所支持的协议类型；

当判断所述第一终端支持SIP协议且所述第二终端支持H.323协议时，与所述第一终端通过SIP协议建立会议且与所述第二终端通过H.323协议建立会议；

通过主流通道接收所述第一终端发送的单路或者多路主流音频和通过辅流通道接收所述第一终端发送的辅流音频，并将所述主流音频和辅流音频进行混音，将混音后的音频通过主流通道发送给所述第二终端，和/或

通过主流通道接收所述第二终端发送的主流音频和辅流音频进行混音后的音频，并将所述混音后的音频通过一路主流通道发送给所述第一终端。

优选地，所述判断第一终端或第二终端所支持的协议类型的步骤包括：

采用SIP协议呼叫第一终端或第二终端；

根据所述第一终端或第二终端返回的第一应答消息判断是否连接成功；

当根据所述第一应答消息判断连接成功时，判断所述第一终端或第二终端支持SIP协议；

当根据所述第一应答消息判断连接不成功时，采用H.323协议呼叫所述第一终端或第二终端；

根据所述第一终端或第二终端返回的第二应答消息判断是否连接成功；

当根据所述第二应答消息判断连接成功时，判断所述第一终端或第二终端支持H.323协议。

本发明的一种兼容多协议的会议中分享双流音频的装置，应用于支持SIP协议和H.323协议的第一终端，包括：

第一呼叫单元，用于采用SIP协议呼叫第二终端；

第一判断单元，用于根据所述第二终端返回的第一应答消息判断是否连接成功；

第二呼叫单元，用于所述第一判断单元根据所述第一应答消息判断连接不成功时，采用H.323协议呼叫所述第二终端；

第二判断单元，用于根据所述第二终端返回的第二应答消息判断是否连接成功；

第一音频发送单元，用于所述第二判断单元根据所述第二应答消息判断连接成功时，与所述第二终端通过H.323协议建立会议，将单路或者多路主流音频和辅流音频进行混音，并将混音后的音频通过主流通道发送给所述第二终端。

优选地，还包括：

第二音频发送单元，用于所述第一判断单元根据所述第一应答消息判断连接成功时，与所述第二终端通过SIP协议建立会议，将单路或者多路主流音频通过主流通道发送给所述第二终端，将辅流音频通过辅流通道发送给所述第二终端。

本发明的一种兼容多协议的会议中分享双流音频的装置，应用于支持SIP协议和H.323协议的多点控制单元，包括：

协议类型判断单元，用于分别判断第一终端和第二终端所支持的协议类型；

会议建立单元，用于当所述协议类型判断单元判断所述第一终端支持SIP协议且所述第二终端支持H.323协议时，与所述第一终端通过SIP协议建立会议且与所述第二终端通过H.323协议建立会议；

音频收发单元，用于通过主流通道接收所述第一终端发送的单路或者多路主流音频和通过辅流通道接收所述第一终端发送的辅流音频，并将所述主流音频和辅流音频进行混音，将混音后的音频通过主流通道发送给所述第二终端，和/或

通过主流通道接收所述第二终端发送的主流音频和辅流音频进行混音后的音频，并将所述混音后的音频通过一路主流通道发送给所述第一终端。

优选地，所述协议类型判断单元包括：

第一呼叫单元，用于采用SIP协议呼叫第一终端或第二终端；

第一判断单元，用于根据所述第一终端或第二终端返回的第一应答消息判断是否连接成功；

第一协议类型获得单元，用于所述第一判断单元根据所述第一应答消息判断连接成功时，判断所述第一终端或第二终端支持SIP协议；

第二呼叫单元，用于所述第一判断单元根据所述第一应答消息判断连接不成功时，采用H.323协议呼叫所述第一终端或第二终端；

第二判断单元，用于根据所述第一终端或第二终端返回的第二应答消息判断是否连接成功；

第二协议类型获得单元，用于所述第二判断单元根据所述第二应答消息判断连接成功时，判断所述第一终端或第二终端支持H.323协议。

本发明的一种兼容多协议的会议中分享双流音频的系统，包括第一终端、第二终端和多点控制单元，所述第一终端和所述第二终端通过所述多点控制单元进行通信；

所述第一终端，用于通过SIP协议与所述多点控制单元建立会议；将单路或者多路主流音频通过主流通道、将辅流音频通过辅流通道分别发送给多点控制单元，和/或通过主流通道接收所述多点控制单元发送的混音后的音频；

所述多点控制单元，支持SIP协议和H.323协议，用于分别判断第一终端和第二终端所支持的协议类型；当判断所述第一终端支持SIP协议且所述第二终端支持H.323协议时，与所述第一终端通过SIP协议建立会议且与所述第二终端通过H.323协议建立会议；通过主流通道接收所述第一终端发送的单路或者多路主流音频和通过辅流通道接收所述第一终端发送的辅流音频，并将所述主流音频和辅流音频进行混音，将混音后的音频通过主流通道发送给所述第二终端，和/或通过主流通道接收所述第二终端发送的混音后音频并将其通过一路主流通道发送给所述第一终端；

所述第二终端，用于通过H.323协议与所述多点控制单元建立会议，接收所述多点控制单元发送的混音后的音频，和/或将主流音频和辅流音频进行混音，并将混音后的音频通过一路主流通道发送给所述多点控制单元。

本发明的上述技术方案相比现有技术具有以下优点：

本发明中通过采用支持SIP和H.323双协议的第一终端，在第一终端呼叫第二终端的点对点呼叫开会中，优先进行SIP呼叫，通过根据第二终端返回的第一应答消息判断是否连接成功，实现判断第二终端是否支持SIP。若第二终端支持SIP，则第一终端与第二终端通过SIP建立会议，采用将单路或多路主流音频和辅流音频分别通过主流通道和辅流通道发送给第二终端。若第二终端不支持SIP，则再进行H.323呼叫，通过根据所述第二终端返回的第二应答消息判断是否连接成功，实现判断第二终端是否支持H.323。若第二终端支持H.323，则第一终端与第二终端通过H.323建立会议，采用将单路或多路主流音频和辅流音频进行混音后的音频发送给第二终端。这样，保证了双流在SIP和H.323呼叫时都保有音频的能力，保证了第一终端能跟与其支持相同或不同协议的第二终端均能兼容对通，实现了能够在SIP和H.323双协议的视频会议系统中有效地分享双流音频。

本发明中通过采用支持SIP和H.323双协议的多点控制单元，可以实现多点控制单元采用双协议呼叫各个终端(包括第一终端和第二终端)，保证同一个多点会议可以呼叫支持不同协议的终端。通过设置多点控制单元判断与第一、第二终端支持的协议类型，即是以SIP协议入会，还是以H.323协议入会，判断第一、第二终端的双流音频能力，据此来实施接收到的音频的调度。若第一终端(发言端)是以SIP入会，则多点控制单元将接收到的单路或多路主流音频和辅流音频进行混音后发送给支持H.323协议的第二终端(观众端)，或直接将双流音频转发给其他SIP终端(观众端)。若第二终端(发言端)是以H.323入会，则第二终端直接先将主流音频和辅流音频进行混音后再发送给多点控制单元，多点控制单元再将混音后的音频发送给支持SIP协议的第一终端(观众端)或其他H.323终端(观众端)。从而保证了双流在多点会议的SIP和H.323呼叫时都保有音频的能力，保证了多点控制单元能跟支持不同协议(SIP或H.323)的终端均能兼容对通，实现了能够在SIP和H.323双协议的视频会议系统中有效地分享双流音频。

本发明中通过优先进行SIP呼叫，由于目前大多数的终端中均是采用SIP协议，所以可通过优先进行SIP呼叫来缩短建立会议的时间，提高效率。通过判断是SIP呼叫成功还是H.323呼叫成功，来实现判断第一终端或第二终端所支持的协议类型，既方便又快捷。

附图说明

为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中

图1是本发明实施例1的点对点会议时双流音频的收发过程图；

图2是本发明实施例1的兼容多协议的会议中分享双流音频的方法的流程图；

图3是本发明实施例2的多点会议时双流音频的收发过程图；

图4是本发明实施例2的兼容多协议的会议中分享双流音频的方法的流程图；

图5是本发明实施例2的一种优选实施方式的流程图；

图6是本发明实施例3的兼容多协议的会议中分享双流音频的装置的结构框图；

图7是本发明实施例4的兼容多协议的会议中分享双流音频的装置的结构框图；

图8是本发明实施例5的兼容多协议的会议中分享双流音频的系统的结构框图。

具体实施方式

实施例1

如图1所示，在进行点对点会议时，参与会议进行对话的两个终端中的一个终端(例如第一终端，也称为呼叫端)预先呼叫另一个终端(例如第二终端，也称为被呼叫端)。在呼叫成功、建立会议之后，该两个终端均能作为发言端或观众端，其中发言端是进行发言、发送双流音频的终端，观众端是接收该双流音频的终端，一个终端作为发言端发送双流音频时，相应地另一个终端就作为观众端接收该双流音频，会议过程中发言端和观众端可互换。

在图1中，当第一终端支持SIP协议和H.323协议，而第二终端仅支持H.323协议、第二终端仅支持SIP协议或第二终端支持SIP协议和H.323协议时，为了使这两个终端之间能够传送双流音频，如图2所示，本实施例提出了一种兼容多协议的会议中分享双流音频的方法，该方法例如应用于图1中的第一终端，包括以下步骤：

步骤S10、采用SIP协议呼叫第二终端。

步骤S11、根据第二终端返回的第一应答消息判断是否连接成功，当根据第一应答消息判断连接不成功时，即第二终端不支持SIP时，进入步骤S12；当根据第一应答消息判断连接成功时，即第二终端支持SIP时，则直接与第二终端通过SIP协议建立会议。

对于第一终端与第二终端通过SIP协议建立会议的情况，第一终端和第二终端均可作为发言端和观众端，例如，第一终端为发言端、第二终端为观众端时，即采用SIP协议使用双流时，由于终端的主流、辅流独立编码解码，主流、辅流采用独立的主流音频通道、辅流音频通道，所以作为双流发送方的第一终端，将单路或多路主流音频进行编码等操作后通过主流通道发送给所述第二终端，将辅流音频进行编码等操作后通过辅流通道发送给所述第二终端。作为双流接收方的第二终端，采用独立的主流、辅流通道接收，经解码等操作后，播放双流声音。反之同理。

步骤S12、采用H.323协议呼叫第二终端。

步骤S13、根据第二终端返回的第二应答消息判断是否连接成功，当根据第二应答消息判断连接成功时，即第二终端支持H.323时，进入步骤S14；当根据第二应答消息判断连接不成功时，即第二终端既不支持SIP，也不支持H.323时，无法与第二终端建立会议。

步骤S14、与第二终端通过H.323协议建立会议，第一终端与第二终端通过H.323协议建立会议后，第一终端和第二终端均可作为发言端和观众端，例如，第一终端为发言端、第二终端为观众端时，即采用H.323协议使用双流时，由于只有主流有音频通道，所以作为双流发送方的第一终端，将主流音频和辅流音频进行混音，并将混音后的音频进行编码等操作后通过主流通道发送给第二终端。作为双流接收方的第二终端，接收混音后的音频，经解码等操作后，播放该音频声音。反之同理。

本实施例中通过采用支持SIP和H.323双协议的第一终端，在第一终端呼叫第二终端的点对点呼叫开会中，优先进行SIP呼叫，通过根据第二终端返回的第一应答消息判断是否连接成功，实现判断第二终端是否支持SIP。若第二终端支持SIP，则第一终端与第二终端通过SIP建立会议，采用将单路或多路主流音频和辅流音频分别通过主流通道和辅流通道发送给第二终端。若第二终端不支持SIP，则再进行H.323呼叫，通过根据所述第二终端返回的第二应答消息判断是否连接成功，实现判断第二终端是否支持H.323。若第二终端支持H.323，则第一终端与第二终端通过H.323建立会议，采用将主流音频和辅流音频进行混音后的音频发送给第二终端。这样，保证了双流在SIP和H.323呼叫时都保有音频的能力，保证了第一终端能跟与其支持相同或不同协议的第二终端均能兼容对通，实现了能够在SIP和H.323双协议的视频会议系统中有效地分享双流音频。

实施例2

如图3所示，在进行多点会议时，多点控制单元(MCU)预先呼叫参与会议的多个终端，在呼叫成功、建立会议之后，各个终端均能作为发言端或观众端，MCU接收作为发言端的一个终端的音频，然后将其转发给作为观众端的另一个或多个终端，会议过程中发言端和观众端可互换。

为了使图3中的第一终端、第二终端与MCU之间能够传送双流音频，本实施例提供了一种兼容多协议的会议中分享双流音频的方法，如图4所示，该方法例如应用于图3中的多点控制单元MCU，该MCU支持SIP协议和H.323协议，包括以下步骤：

步骤S20、分别判断第一终端和第二终端所支持的协议类型，当判断第一终端支持SIP协议且第二终端支持H.323协议时，进入步骤S21和S22；当判断第一终端支持H.323协议且第二终端支持SIP协议时，进入步骤S23和S24；当判断第一终端和第二终端均支持H.323或SIP协议时，进入步骤S25。

步骤S21、与第一终端通过SIP协议建立会议且与第二终端通过H.323协议建立会议。

步骤S22、当第一终端向第二终端传送双流音频时，通过主流通道接收第一终端发送的单路或多路主流音频和通过辅流通道接收第一终端发送的辅流音频，并将主流音频和辅流音频进行混音，将混音后的音频通过主流通道发送给第二终端；当第二终端向第一终端传送双流音频时，通过主流通道接收第二终端发送的将主流音频和辅流音频进行混音后的音频，并将混音后的音频通过一路主流通道发送给第一终端。

步骤S23、与第一终端通过H.323协议建立会议且与第二终端通过SIP协议建立会议。

步骤S24、当第一终端向第二终端传送双流音频时，通过主流通道接收第一终端发送的将主流音频和辅流音频进行混音后的音频，并将混音后的音频通过一路主流通道发送给第二终端。当第二终端向第一终端传送双流音频时，通过主流通道接收第二终端发送的单路或多路主流音频和通过辅流通道接收第二终端发送的辅流音频，并将主流音频和辅流音频进行混音，将混音后的音频通过主流通道发送给第一终端。

步骤S25、采用H.323或SIP协议传输双流音频。例如第一终端和第二终端均支持SIP时，主流和辅流音频分别采用独立的主流、辅流通道进行传输，即采用SIP协议传输双流音频。当第一终端和第二终端均支持H.323时，主流和辅流音频进行混音后再进行传输，即采用H.323协议传输双流音频，上述方法均为现有技术常用的双流音频的传输方法，不再详述。

本实施例中通过采用支持SIP和H.323双协议的多点控制单元，可以实现多点控制单元采用双协议呼叫各个终端(包括第一终端和第二终端)，保证同一个多点会议可以呼叫支持不同协议的终端。通过设置多点控制单元判断与第一、第二终端支持的协议类型，即是以SIP协议入会，还是以H.323协议入会，判断第一、第二终端的双流音频能力，据此来实施接收到的音频的调度。若第一终端(发言端)是以SIP入会，则多点控制单元将接收到的单路或多路主流音频和辅流音频进行混音后发送给支持H.323协议的第二终端(观众端)，或直接将双流音频转发给其他SIP终端(观众端)。若第二终端(发言端)是以H.323入会，则第二终端直接先将主流音频和辅流音频进行混音后发送给多点控制单元，多点控制单元再将混音后的音频发送给支持SIP协议的第一终端(观众端)或其他H.323终端(观众端)。从而保证了双流在多点会议的SIP和H.323呼叫时都保有音频的能力，保证了多点控制单元能跟支持不同协议(SIP或H.323)的终端均能兼容对通，实现了能够在SIP和H.323双协议的视频会议系统中有效地分享双流音频。

作为一种优选实施方式，如图5所示，步骤S20的判断第一终端所支持的协议类型的步骤包括：

步骤S201、采用SIP协议呼叫第一终端，即优先进行SIP呼叫。

步骤S202、根据第一终端返回的第一应答消息判断是否连接成功；当根据第一应答消息判断连接成功时，则可以判断第一终端支持SIP协议；当根据第一应答消息判断连接不成功时，进入步骤S203。

步骤S203、采用H.323协议呼叫第一终端，即再进行H.323呼叫。

步骤S204、根据第一终端返回的第二应答消息判断是否连接成功；当根据第二应答消息判断连接成功时，则可以判断第一终端支持H.323协议；当根据第二应答消息判断连接不成功时，则可以判断第一终端既不支持SIP，也不支持H.323。

对第二终端支持协议类型的判断与上述方法相同，不再赘述。

本领域的技术人员应当理解，判断第一终端或第二终端所支持的协议类型的方法并不限于上述方法，也可由能够实现对第一终端或第二终端所支持的协议类型的其他方法来实现。

本实施例中通过优先进行SIP呼叫，由于目前大多数的终端中均是采用SIP协议，所以可通过优先进行SIP呼叫来缩短建立会议的时间，提高效率。通过判断是SIP呼叫成功还是H.323呼叫成功，来实现判断第一终端或第二终端所支持的协议类型，既方便又快捷。

实施例3

与实施例1相应地，图6示出了实施例3的兼容多协议的会议中分享双流音频的装置的结构框图，适用于点对点会议的情形，如图6所示，该装置应用于支持SIP协议和H.323协议的第一终端，包括：

第一呼叫单元10，用于采用SIP协议呼叫第二终端。

第一判断单元11，用于根据第二终端返回的第一应答消息判断是否连接成功。

第二呼叫单元12，用于第一判断单元根据第一应答消息判断连接不成功时，采用H.323协议呼叫第二终端。

第二判断单元13，用于根据第二终端返回的第二应答消息判断是否连接成功。

第一音频发送单元14，用于第二判断单元根据第二应答消息判断连接成功时，与第二终端通过H.323协议建立会议，将单路或多路主流音频和辅流音频进行混音，并将混音后的音频进行编码等操作后通过主流通道发送给第二终端。

第二音频发送单元15，用于第一判断单元根据第一应答消息判断连接成功时，与第二终端通过SIP协议建立会议，将单路或多路主流音频通过主流通道发送给第二终端，将辅流音频通过辅流通道发送给第二终端。

本实施例中通过采用支持SIP和H.323双协议的第一终端，在第一终端呼叫第二终端的点对点呼叫开会中，优先进行SIP呼叫，通过根据第二终端返回的第一应答消息判断是否连接成功，实现判断第二终端是否支持SIP。若第二终端支持SIP，则第一终端与第二终端通过SIP建立会议，采用将单路或多路主流音频和辅流音频分别通过主流通道和辅流通道发送给第二终端。若第二终端不支持SIP，则再进行H.323呼叫，通过根据所述第二终端返回的第二应答消息判断是否连接成功，实现判断第二终端是否支持H.323。若第二终端支持H.323，则第一终端与第二终端通过H.323建立会议，采用将单路或多路主流音频和辅流音频进行混音后的音频发送给第二终端。这样，保证了双流在SIP和H.323呼叫时都保有音频的能力，保证了第一终端能跟与其支持相同或不同协议的第二终端均能兼容对通，实现了能够在SIP和H.323双协议的视频会议系统中有效地分享双流音频。

实施例4

与实施例2相对应地，图7示出了实施例4的兼容多协议的会议中分享双流音频的装置的结构框图，适用于多点会议的情形，如图7所示，该装置应用于支持SIP协议和H.323协议的多点控制单元MCU，包括：

协议类型判断单元20，用于分别判断第一终端和第二终端所支持的协议类型。

会议建立单元21，用于协议类型判断单元判断第一终端支持SIP协议且第二终端支持H.323协议时，与第一终端通过SIP协议建立会议且与所述第二终端通过H.323协议建立会议。

音频收发单元22，用于当第一终端作为发言端、第二终端作为观众端(可为多个)时，通过主流通道接收第一终端发送的单路或多路主流音频和通过辅流通道接收第一终端发送的辅流音频，并将主流音频和辅流音频进行混音，将混音后的音频通过主流通道发送给第二终端。

当发言端和观众端发生转换，即第二终端作为发言端、第一终端作为观众端(可为多个)时，通过主流通道接收第二终端发送的将主流音频和辅流音频进行混音后的音频，并将混音后的音频通过主流通道发送给第一终端。

当其他情况，例如第一终端和第二终端均支持SIP协议或H.323协议，则采用现有技术中常用的双流音频的传输方法，不再详述。

本实施例中通过采用支持SIP和H.323双协议的多点控制单元，可以实现多点控制单元采用双协议呼叫各个终端(包括第一终端和第二终端)，保证同一个多点会议可以呼叫支持不同协议的终端。通过设置多点控制单元判断与第一、第二终端支持的协议类型，即是以SIP协议入会，还是以H.323协议入会，判断第一、第二终端的双流音频能力，据此来实施接收到的音频的调度。若第一终端(发言端)是以SIP入会，则多点控制单元将接收到的单路或多路主流音频和辅流音频进行混音后发送给支持H.323协议的第二终端(观众端)，或直接将双流音频转发给其他SIP终端(观众端)。若第二终端(发言端)是以H.323入会，则第二终端直接先将主流音频和辅流音频进行混音后再发送给多点控制单元，多点控制单元再将混音后的音频发送给支持SIP协议的第一终端或其他H.323终端(观众端)。从而保证了双流在多点会议的SIP和H.323呼叫时都保有音频的能力，保证了多点控制单元能跟支持不同协议(SIP或H.323)的终端均能兼容对通，实现了能够在SIP和H.323双协议的视频会议系统中有效地分享双流音频。

作为一种优选实施方式，上述协议类型判断单元20中判断第一终端所支持的协议类型的单元包括：

第一呼叫单元，用于采用SIP协议呼叫第一终端。

第一判断单元，用于根据第一终端返回的第一应答消息判断是否连接成功。

第一协议类型获得单元，用于第一判断单元根据第一应答消息判断连接成功时，判断第一终端支持SIP协议。

第二呼叫单元，用于第一判断单元根据第一应答消息判断连接不成功时，采用H.323协议呼叫第一终端。

第二判断单元，用于根据第一终端返回的第二应答消息判断是否连接成功。

第二协议类型获得单元，用于第二判断单元根据第二应答消息判断连接成功时，判断第一终端支持H.323协议。

协议类型判断单元20中判断第二终端所支持的协议类型的单元与上述单元相同，不再详述。

本领域的技术人员应当理解，协议类型判断单元并不限于上述单元来实现，也可由能够实现对第一终端或第二终端所支持的协议类型判断的其他单元来实现。

本实施例中通过优先进行SIP呼叫，由于目前大多数的终端中均是采用SIP协议，所以可通过优先进行SIP呼叫来缩短建立会议的时间，提高效率。通过判断是SIP呼叫成功还是H.323呼叫成功，来实现判断第一终端或第二终端所支持的协议类型，既方便又快捷。

实施例5

图8示出了实施例5的兼容多协议的会议中分享双流音频的系统的结构框图，如图8所示，该系统包括第一终端30、第二终端40和多点控制单元MCU50，第一终端30和第二终端40通过多点控制单元MCU50进行通信。

第一终端30，用于通过SIP协议与多点控制单元建立会议；当第一终端作为发言端、第二终端作为观众端时，将单路或多路主流音频通过主流通道、将辅流音频通过辅流通道分别发送给多点控制单元；当第二终端作为发言端、第一终端作为观众端时，通过主流通道接收所述多点控制单元发送的混音后的音频。

多点控制单元MCU，支持SIP协议和H.323协议，用于分别判断第一终端和第二终端所支持的协议类型；当判断第一终端支持SIP协议且第二终端支持H.323协议时，与第一终端通过SIP协议建立会议且与第二终端通过H.323协议建立会议；当第一终端作为发言端、第二终端作为观众端时，通过主流通道接收第一终端发送的单路或多路主流音频和通过辅流通道接收第一终端发送的辅流音频，并将主流音频和辅流音频进行混音，将混音后的音频通过主流通道发送给第二终端；当第二终端作为发言端、第一终端作为观众端时，通过主流通道接收第二终端发送的混音后音频并将其通过主流通道发送给第一终端。

第二终端，用于通过H.323协议与多点控制单元建立会议，当第一终端作为发言端、第二终端作为观众端时，通过主流通道接收多点控制单元发送的混音后的音频，当第二终端作为发言端、第一终端作为观众端时，将主流音频和辅流音频进行混音，并将混音后的音频通过主流通道发送给多点控制单元。

当其他情况，例如第一终端和第二终端均支持SIP协议或H.323协议，则采用现有技术中常用的双流音频的传输方法，不再详述。

本实施例中通过采用支持SIP和H.323双协议的多点控制单元，可以实现多点控制单元采用双协议呼叫各个终端(包括第一终端和第二终端)，保证同一个多点会议可以呼叫支持不同协议的终端。通过设置多点控制单元判断与第一、第二终端支持的协议类型，即是以SIP协议入会，还是以H.323协议入会，判断第一、第二终端的双流音频能力，据此来实施接收到的音频的调度。若第一终端(发言端)是以SIP入会，则多点控制单元将接收到的单路或多路主流音频和辅流音频进行混音后发送给支持H.323协议的第二终端(观众端)，或直接将双流音频转发给其他SIP终端(观众端)。若第二终端(发言端)是以H.323入会，则第二终端直接先将主流音频和辅流音频进行混音后再发送给多点控制单元，多点控制单元再将混音后的音频发送给支持SIP协议的第一终端(观众端)或其他H.323终端(观众端)。从而保证了双流在多点会议的SIP和H.323呼叫时都保有音频的能力，保证了多点控制单元能跟支持不同协议(SIP或H.323)的终端均能兼容对通，实现了能够在SIP和H.323双协议的视频会议系统中有效地分享双流音频。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (9)

1.一种兼容多协议的会议中分享双流音频的方法，应用于支持SIP协议和H.323协议的第一终端，其特征在于，包括以下步骤：

采用SIP协议呼叫第二终端；

根据所述第二终端返回的第一应答消息判断是否连接成功；

当根据所述第一应答消息判断连接不成功时，采用H.323协议呼叫所述第二终端；

根据所述第二终端返回的第二应答消息判断是否连接成功；

当根据所述第二应答消息判断连接成功时，与所述第二终端通过H.323协议建立会议，将单路或者多路主流音频和辅流音频进行混音，并将混音后的音频通过主流通道发送给所述第二终端。

2.根据权利要求1所述的方法，其特征在于，还包括以下步骤：

当根据所述第一应答消息判断连接成功时，与所述第二终端通过SIP协议建立会议，将单路或者多路主流音频通过主流通道发送给所述第二终端，将辅流音频通过辅流通道发送给所述第二终端。

3.一种兼容多协议的会议中分享双流音频的方法，应用于支持SIP协议和H.323协议的多点控制单元，其特征在于，包括以下步骤：

分别判断第一终端和第二终端所支持的协议类型；

当判断所述第一终端支持SIP协议且所述第二终端支持H.323协议时，与所述第一终端通过SIP协议建立会议且与所述第二终端通过H.323协议建立会议；

通过主流通道接收所述第一终端发送的单路或者多路主流音频和通过辅流通道接收所述第一终端发送的辅流音频，并将所述主流音频和辅流音频进行混音，将混音后的音频通过主流通道发送给所述第二终端，和/或

通过主流通道接收所述第二终端发送的主流音频和辅流音频进行混音后的音频，并将所述混音后的音频通过一路主流通道发送给所述第一终端。

4.根据权利要求3所述的方法，其特征在于，所述判断第一终端或第二终端所支持的协议类型的步骤包括：

采用SIP协议呼叫第一终端或第二终端；

根据所述第一终端或第二终端返回的第一应答消息判断是否连接成功；

当根据所述第一应答消息判断连接成功时，判断所述第一终端或第二终端支持SIP协议；

当根据所述第一应答消息判断连接不成功时，采用H.323协议呼叫所述第一终端或第二终端；

根据所述第一终端或第二终端返回的第二应答消息判断是否连接成功；

当根据所述第二应答消息判断连接成功时，判断所述第一终端或第二终端支持H.323协议。

5.一种兼容多协议的会议中分享双流音频的装置，应用于支持SIP协议和H.323协议的第一终端，其特征在于，包括：

第一呼叫单元，用于采用SIP协议呼叫第二终端；

第一判断单元，用于根据所述第二终端返回的第一应答消息判断是否连接成功；

第二呼叫单元，用于所述第一判断单元根据所述第一应答消息判断连接不成功时，采用H.323协议呼叫所述第二终端；

第二判断单元，用于根据所述第二终端返回的第二应答消息判断是否连接成功；

第一音频发送单元，用于所述第二判断单元根据所述第二应答消息判断连接成功时，与所述第二终端通过H.323协议建立会议，将单路或者多路主流音频和辅流音频进行混音，并将混音后的音频通过主流通道发送给所述第二终端。

6.根据权利要求5所述的装置，其特征在于，还包括：

第二音频发送单元，用于所述第一判断单元根据所述第一应答消息判断连接成功时，与所述第二终端通过SIP协议建立会议，将单路或者多路主流音频通过主流通道发送给所述第二终端，将辅流音频通过辅流通道发送给所述第二终端。

7.一种兼容多协议的会议中分享双流音频的装置，应用于支持SIP协议和H.323协议的多点控制单元，其特征在于，包括：

协议类型判断单元，用于分别判断第一终端和第二终端所支持的协议类型；

会议建立单元，用于当所述协议类型判断单元判断所述第一终端支持SIP协议且所述第二终端支持H.323协议时，与所述第一终端通过SIP协议建立会议且与所述第二终端通过H.323协议建立会议；

音频收发单元，用于通过主流通道接收所述第一终端发送的单路或者多路主流音频和通过辅流通道接收所述第一终端发送的辅流音频，并将所述主流音频和辅流音频进行混音，将混音后的音频通过主流通道发送给所述第二终端，和/或

通过主流通道接收所述第二终端发送的主流音频和辅流音频进行混音后的音频，并将所述混音后的音频通过一路主流通道发送给所述第一终端。

8.根据权利要求7所述的装置，其特征在于，所述协议类型判断单元包括：

第一呼叫单元，用于采用SIP协议呼叫第一终端或第二终端；

第一判断单元，用于根据所述第一终端或第二终端返回的第一应答消息判断是否连接成功；

第一协议类型获得单元，用于所述第一判断单元根据所述第一应答消息判断连接成功时，判断所述第一终端或第二终端支持SIP协议；

第二呼叫单元，用于所述第一判断单元根据所述第一应答消息判断连接不成功时，采用H.323协议呼叫所述第一终端或第二终端；

第二判断单元，用于根据所述第一终端或第二终端返回的第二应答消息判断是否连接成功；

第二协议类型获得单元，用于所述第二判断单元根据所述第二应答消息判断连接成功时，判断所述第一终端或第二终端支持H.323协议。

9.一种兼容多协议的会议中分享双流音频的系统，其特征在于，包括第一终端、第二终端和多点控制单元，所述第一终端和所述第二终端通过所述多点控制单元进行通信；

所述第一终端，用于通过SIP协议与所述多点控制单元建立会议；将单路或者多路主流音频通过主流通道、将辅流音频通过辅流通道分别发送给多点控制单元，和/或通过主流通道接收所述多点控制单元发送的混音后的音频；

所述多点控制单元，支持SIP协议和H.323协议，用于分别判断第一终端和第二终端所支持的协议类型；当判断所述第一终端支持SIP协议且所述第二终端支持H.323协议时，与所述第一终端通过SIP协议建立会议且与所述第二终端通过H.323协议建立会议；通过主流通道接收所述第一终端发送的单路或者多路主流音频和通过辅流通道接收所述第一终端发送的辅流音频，并将所述主流音频和辅流音频进行混音，将混音后的音频通过主流通道发送给所述第二终端，和/或通过主流通道接收所述第二终端发送的混音后音频并将其通过一路主流通道发送给所述第一终端；

所述第二终端，用于通过H.323协议与所述多点控制单元建立会议，接收所述多点控制单元发送的混音后的音频，和/或将主流音频和辅流音频进行混音，并将混音后的音频通过一路主流通道发送给所述多点控制单元。