CN101156444A - 用于视频音频信号传输的装置、网络设备及方法 - Google Patents

用于视频音频信号传输的装置、网络设备及方法 Download PDF

Info

Publication number
CN101156444A
CN101156444A CNA2006800117377A CN200680011737A CN101156444A CN 101156444 A CN101156444 A CN 101156444A CN A2006800117377 A CNA2006800117377 A CN A2006800117377A CN 200680011737 A CN200680011737 A CN 200680011737A CN 101156444 A CN101156444 A CN 101156444A
Authority
CN
China
Prior art keywords
video
audio
audio signal
module
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006800117377A
Other languages
English (en)
Other versions
CN100579196C (zh
Inventor
曾庆渝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Global Innovation Polymerization LLC
Tanous Co
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN101156444A publication Critical patent/CN101156444A/zh
Application granted granted Critical
Publication of CN100579196C publication Critical patent/CN100579196C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H04N21/2225—Local VOD servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4382—Demodulation or channel decoding, e.g. QPSK demodulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/148—Interfacing a video terminal to a particular transmission medium, e.g. ISDN

Abstract

本发明公开了一种用于视频音频信号传输的装置，该装置包括：接收解码模块，用于接收通过IP网络传送来的通话视频音频信号和流媒体视频音频信号，并分别对接收的通话视频音频信号和流媒体视频音频信号进行解码，解码后的两路视频数据输入到视频同步模块，解码后的两路音频数据输入到混音器；视频同步模块，用于对接收的两路视频数据进行叠加和同步；混音器，用于对接收的两路音频数据进行混合。本发明还公开了一种用于视频音频信号传输的方法。采用本发明所公开的技术方案，用户终端可以通过同一显示屏与扬声器，一边观赏流媒体信息一边与对端用户进行音频视频聊天。

Description

用于视频音频信号传输的装置、 网络设备及方法 技术领域 本发明涉及视频音频信号传输技术， 特别涉及一种用于视频音频信 号传输的装置、 一种网絡设备和一种用于视频音频信号传输的方法。 发明背景
IP网络的多媒体应用日益成熟和普及。这种多媒体网络是将音频传 输系统、 视频传输系统集成到数据传输网络的一种网络应用。 它是以 IP 网络为基本传输网络， 在此基础上构建音频、 视频传输系统的一种网络 结构。 这种网络结构给我们提供了许多的多媒体应用， 比如音频通话， 视频会议， IPTV, 电子白版等。 一般多媒体网络的组网如图 1所示， 其 中用户终端是用户使用的通讯和点播工具， 可以是可视电话、 机顶盒等 等。图 1中的流媒体服务器都属于各种应用服务器，用于支持视频会议， IPTV等业务。
在多媒体网络的众多业务中， 有一种业务使用户通过可视电话可以 进行呼叫通话。 多媒体通讯的呼叫通话建立如图 2所示， 分为如下四个 步骤：
步據 21 , 终端 T1发起呼叫；
步骤 22, 终端 T2作为被叫应答 T1 ;
步驟 23 , 双方交换设备信息；
步骤 24， 通讯建立成功， 双方交换多媒体数据。
在多媒体通讯过程中， 可视电话的视频音频接收模块结构如图 3所 示， 其中的视频解码模块和音频解码模块分别可以解码一路视频码流和 一路音频码流， 然后将视频音频数据传到显示屏和扬声器上进行播放。
用户可以使用图 3所示的终端 T1观看视频点播，所述终端 T1的视 频点播的建立过程如图 4所示， 分为如下两个步骤：
步驟 41 , 终端 T1与流媒体服务器建立连接， 双方交换点播信息； 步骤 42, 终端 T1接收流媒体传来的影音数据。
如上所述的现有技术只能同时进行一路视频码流和一路音频码流 的解码， 当终端用户处于通话状态时就不能同时观看流媒体； 当终端用 户进行视频点播， 即观看流媒体时， 如有来电， 必须断开流媒体播放， 才能接听来电。 发明内容 有鉴于此， 本发明的主要目的在于提供一种用于视频音频信号传输 的装置、 网络设备及方法， 以解决用户不能使用一台终端同时播放流媒 体和进行呼叫通话的问题。
为了达到上述目的， 本发明提供了一种用于视频音频信号传输的装 置， 该装置包括：
接收解码模块、 视频同步模块和混音器； 其中，
接收解码模块用于接收通过 IP 网络传送来的通话视频音频信号和 流媒体视频音频信号 , 并分别对接收的通话视频音频信号和流媒体视频 音频信号进行解码， 解码后的视频信号输入到视频同步模块， 解码后的 音频信号输入到混音器；
视频同步模块用于对接收的视频信号进行叠加和同步；
混音器用于对接收的音频信号进行混合。
本发明还提供了一种网络设备， 该网络设备包括，. 接收解码模块、 视频同步模块和混音器； 其中，
接收解码模块用于接收通过 IP 网络传送来的通话视频音频信号和 流媒体视频音频信号， 并分别对接收的通话视频音频信号和流媒体视频 音频信号进行解码， 解码后的视频信号输入到视频同步模块， 解码后的 音频信号输入到混音器；
视频同步模块用于对接收的视频信号进行叠加和同步；
混音器用于对接收的音频信号进行混合。
本发明还提供了一种用于视频音频信号传输的方法， 该方法包括： 将呼叫中发送给可视终端的视频音频信号， 与流媒体服务器发送给 所述可视终端的视频音频信号， 进行视频叠加同步和音频混音后， 通过 所述可视终端播放给用户。
釆用本发明所提供的用于视频音频信号传输的装置、 网络设备及方 法， 可以在 IP网络通讯中，用户终端在播放流媒体的同时不需要挂断正 在播放的流媒体进行 IP呼叫；在通话过程中，终端屏幕可采用画中画或 分屏等方式显示， 且终端用户能同时听到流媒体的音频信号和呼叫中对 方的音频， 从而保证了用户可以一边观看欣赏流媒体信息一边与对端用 户进行音频视频聊天。 附图简要说明 图 1为现有技术中 BP多媒体通讯组网示意图；
图 2为现有技术中 IP多媒体通讯建立示意图；
图 3为现有技术可视电话中多媒体视频音频接收模块架图； 图 4为现有技术中用户通过可视电话观看流媒体示意图；
图 5为本发明第一实施例的可视电话中多媒体视频音频接收模块框 架图；
图 6为本发明第一实施例中视频同步模块的组成示意图；
图 7为本发明第一实施例中播放流媒体期间发起呼叫示意图； 图 8为本发明第二实施例中数据合成服务器方案组网图；
图 9为本发明第二实施例中数据合成服务器的组成结构示意图； 图 10为本发明第二实施例中数据合成服务器视频音频处理模块结 构示意图；
图 11 为本发明第二实施例中用户终端播放流媒体时发起呼叫的流 程图。 实施本发明的方式 为使本发明的目的、 技术方案和优点更加清楚， 下面结合附图对本 发明作进一步的详细描述。
本发明的主要思想是， 通过视频同步模块和混音器对发送给可视终 端的流媒体视音频信号和通话视音频信号进行叠加同步和混音处理， 从 而使用户通过可视终端可以收看收听流媒体节目并同时进行通话。
本发明可以在终端侧实现上述叠加同步和混音处理， 也可以在网络 侧实现上述叠加同步和混音处理， 以下分别通过具体实施例进行说明。
本发明的第一实施例中 , 在终端侧实现上述叠加同步和混音处理。 以可视终端为可视电话为例， 本实施例中在可视电话中设置新的视频音 频接收模块， 如图 5为所示， 可视电话中的多媒体视频音频接收模块包 括以下子模块：
接收解码模块， 用于接收通过 IP网络传送来的通话视频音频信号和 流媒体视频音频信号 , 并分别对接收的通话视频音频信号和流媒体视频 音频信号进行解码， 解码后的两路视频数据输入到视频同步模块， 解码 后的两路音频数据输入到混音器；
视频同步模块， 用于对接收的两路视频数据进行叠加和同步； 混音器， 用于对接收的两路音频数据进行混合。
具体地， 接收解码模块中可以包括：
接口模块： 用于把可视电话设备各端口采集到的 IP网络传来的视频 音频数据， 包括通话码流中的通话视频信号和通话音频信号， 以及流媒 体码流中的流媒体视频信号和流媒体音频信号， 分别传送到对应的解码 模块。 接口模块中可包括四个端口： PORT01、 PORT02, PORT03和 PORT04, 分别用来接收上述的流媒体视频信号、 流媒体音频信号、 通 话视频信号和通话音频信号。
第一视频解码模块： 用于对来自接口模块的通话对端发送的通话视 频信号进行解码， 并将解码后的图像数据输出到视频同步模块。
第二视频解码模块： 用于对来自接口模块的流媒体视频信号进行解 码， 并将解码后的图像数据输出到视频同步模块。
第一音频解码模块： 用于对来自接口模块的通话对端发送的通话音 频信号进行解码， 并将解码后的音频数据输出到混音器。
第二音频解码模块： 用于对来自接口模块的流媒体音频信号进行解 码， 并将解码后的音频数据输出到混音器。
则上述视频同步模块叠加和同步来自第一视频解码模块和第二视 频解码模块的两路图像数据 , 并输出可播放的视频图像到显示屏。
视频同步模块的具体结构可以如图 6所示， 其中包括两个视频帧寄 存器和叠加器， 两个视频帧寄存器分别用于存放来自第一视频解码模块 的通话对端图像数据， 和来自第二视频解码模块的流媒体图像数据。 任 一视频帧寄存器被刷新， 便通过叠加器将两个帧寄存器中的图像数据进 行一次叠加并输出； 若没有新数据传入帧寄存器， 帧寄存器始终保存以 前的图像数据。 这样设计可解决两路视频信号帧率不相等时， 显示屏上 会出现某路视频信号缺帧现象的问题。 叠加器叠加后的图像数据可以通 过分屏显示或画中画显示的方式， 输出到显示屏， 使显示屏同时显示来 自通话对端的图像数据和来自流媒体服务器的流媒体图像数据； 用户可 以通过向叠加器发送指令来控制叠加器的输出方式， 即选择采用分屏显 示方式还是采用画中画显示方式。 而上述混音器混合来自第一音频解码模块的音频数据和第二音频 解码模块的音频数据两路码流， 并输出可播放的音频数据到声音播放设 备。 这里的声音播放设备通常为扬声器。 这里每路码流混合的比例由用 户选择， 即用户可以通过向混音器发送指令控制是通话的声音大还是流 媒体的声音大， 或者完全只听一路码流的声音。
图 7为播放流媒体期间发起呼叫的流程图。 Tl、 Τ2为两个用户终端 可视电话， T1在播放流媒体期间发起呼叫 Τ2的流程具体包括如下步骤： 步骤 701， T1与流媒体服务器进行信息交互建立连接， 双方交换点 播信息。
步骤 702， T1接收来自流媒体服务器的多媒体信息， 即视频音频码 流， 并进行解码播放。
本步驟具体包括： T1在自身接口模块的 PORT01和 PORT02, 接收由 流媒体服务器传来的视频音频信号码流， 接口模块将 PORT01的码流传 送给第二视频解码模块， 将 PORT02的码流传送给第二音频解码模块。 第二视频解码模块和第二音频解码模块开始工作， 分别输出可显示的图 像数据和可播放的音频数据， 该输出的视频数据和音频数据分别传入视 频同步模块和混音器， 依据用户的选择把数据传入显示屏和扬声器进行 播放。 此时 T1可以选择是否播放视频， 以及选择是否播放音频。
步骤 703， T1呼叫 Τ2。
步骤 704, Τ2应答， 在步骤 705, T1和 Τ2进行信息交互， 交换设备信 息， 然后在步骤 706, 呼叫接通后， T1和 Τ2进行多媒体通讯， T1接收来 自通话对端 Τ2的视频和音频信号码流。
此后， 终端 T1进行多路解码， 然后进行视频同步、 叠加， 以及音频 混合， 并播放视频音频信号。 具体包括： T1在自身接口模块的 PORT03和 PORT04, 接收由通话对 端 T2发送来的枧频和音频信号码流， 接口模块将 PORT03的码流传送给 第一视频解码模块， 将 PORT04的码流传送给第一音频解码模块。 第一 视频解码模块和第一音频解码模块开始工作， 分别输出可显示的图像数 据和可播放的音频数据， 传送给视频同步模块和混音器。
则传送给视频同步模块的包括两路视频数据： 来自流媒体服务器的 视频数据和来自 T2的视频数据， 两路视频数据通过视频同步模块进行叠 加和同步后发送到显示屏； 而传送给混音器的包括两路音频数据： 来自 流媒体服务器的音频数据和来自 T2的音频数据， 两路音频数据通过混音 器混音后发送到扬声器。 这里， 视频同步模块的叠加方式可以是由 T1选 择的默认方式， 类似地， 混音器的混音方式也可以是由 T1选择的默认方 式。
此外， 在通话过程中， T1可通过用户界面实时地对视频同步模块和 混音器的工作方式进行配置， 即向视频同步模块发送视频同步指令或向 混音发送混音方式指令， 则视频同步模块或混音器根据接收的指令确定 工作方式。
在通话结束， T1挂断呼叫后， 第一视频解码模块和第一音频解码模 块停止工作， T1只播放来自流媒体服务器的视频音频数据。 然后如果 T1 关闭流媒体， 第二视频解码模块和第二音频解码模块停止工作， T1停止 播放来自流媒体服务器的视频音频数据。 此后用户可关闭显示屏和扬声 器。
当然， T1也可以先关闭流媒体， 则 T1只播放来自通话对端 T2的视频 音频数据， 而后在通话结束后， 再停止播放来自通话对端的视频音频数 据。 通话期间用户观看流媒体的步骤与上述步骤类似， 这里就不再叙述 了。
本发明的第二个实施例的系统組网如图 8所示。 相对于图 1 , 图 8中 增加了一个设备是数据合成服务器。 当用户终端由于成本等因素不能提 供多个视频音频解码模块， 仅提供视频音频解码模块各一个， 可在网络 侧增加解码设备一一数据合成服务器。 在同时进行流媒体播放和通话 时， 可利用媒体改向功能， 使流媒体服务器的流媒体码流和通话对端的 视频音频码流发送到数据合成服务器， 由数据合成服务器进行多路解 码、 视频叠加、 音频混合等工作， 再分别以一路视频码流和一路音频码 流发送给用户终端， 本实施例中用户终端采用图 3的结构。 这样也可以 达到播放流媒体同时进行视频通话的目的。
数据合成服务器的结构如图 9所示， 包括多媒体视频音频接收模块、 视频编码模块和音频编码模块和接口模块。 其中多媒体视频音频接收模 块的结构如图 10所示。 图 10所示的多媒体视频音频接收模块包括接口模 块、 第一视频解码模块、 第二视频解码模块、 第一音频解码模块、 第二 音频解码模块、 视频同步模块和混音器， 其中接口模块与第一实施例中 接口模块的功能基本相同， 其他各个模块的功能也已在第一实施例中进 行了详细说明。 在图 9中， 视频同步模块输出的视频数据输出到视频编 码模块， 由视频编码模块对视频数据进行编码， 然后通过接口模块发送 到终端的接口模块； 混音器输出的音频数据输出到音频编码模块， 由音 频编码模块对音频数据进行编码， 然后通过接口模块发送到终端的接口 模块。
本实施例方案中用户终端播放流媒体时发起呼叫的流程如图 11所 示， 步骤如下： 步骤 1101 , 用户终端可视电话 Tl与流媒体服务器正常通信， 并成功 观看流媒体。
步骤 1102, T1向用户终端可视电话 T2发起呼叫， 同时命令 T2将视频 音频码流发送到数据合成服务器。
步骤 1103 , T1通知数据合成服务器开始工作， 并通知流媒体服务器 将视频音频数据发送到数据合成服务器。
这里， T1可以同时将用户选择的视频同步模块和混音器的工作方式 上报给数据合成服务器， 数据合成服务器中的接口模块接收到用户选择 的视频同步模块和混音器的工作方式后， 将对应的控制信号传送到视频 同步模块和混音器， 从而根据用户所选择的工作方式执行视频信号的叠 加和同步以及音频信号的混音操作。
步骤 1104, 数据合成服务器开始接收由 T2和流媒体服务器发送过来 的视频音频数据。
本实施例中， 数据合成服务器的工作流程具体包括： 收到终端发来 的启动命令后， 开始工作准备接收视频音频码流； 接收到终端和流媒体 服务器发送来的视频音频码流后， 经过多媒体视频音频接收模块处理后 输出可用于播放的视频和音频数据到视频编码模块和音频编码模块； 视 频编码模块和音频编码模块对接收到的数据进行编码， 通过接口模块 , 发送给用户终端。
步骤 1105, T1向 T2发送本端的视频音频数据。
步骤 1106, T1接收由数据合成服务器发送过来的合成视频音频数 据， 并显示与播放。
通话期间终端观看流媒体的步驟与上述步骤类似， 这里就不再叙述 了。
以上所述仅为本发明的较佳实施例而 , 并不用以限制本发明， 凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等 均应包含在本发明的保护范围之内。

Claims (1)

  1. 权利要求书
    1、 一种用于视频音频信号传输的装置， 其特征在于， 该装置包括: 接收解码模块、 视频同步模块和混音器； 其中，
    接收解码模块用于接收通过 IP 网络传送来的通话视频音频信号和 流媒体视频音频信号， 并分别对接收的通话视频音频信号和流媒体视频 音频信号进行解码， 解码后的视频信号输入到 ¾L频同步模块， 解码后的 音频信号输入到混音器；
    视频同步模块用于对接收的视频信号进行叠加和同步；
    混音器用于对接收的音频信号进行混合。
    2、 根据权利要求 1 所述的装置， 其特征在于， 所述的接收解码模 块包括： 接口模块、 第一视频解码模块、 第二视频解码模块、 第一音频 解码模块、 第二音频解码模块；
    接口模块用于把 IP网络传来的通话视频音频信号 ,以及流媒体视频 音频信号传送到对应的解码模块；
    第一视频解码模块用于对来自接口模块的通话视频信号进行解码， 并将解码后的视频信号输出到视频同步模块；
    第二视频解码模块用于对来自接口模块的流媒体视频信号进行解 码， 并将解码后的视频信号输出到视频同步模块；
    第一音频解码模块用于对来自接口模块的通话音频信号进行解码， 并将解码后的音频信号输出到混音器；
    第二音频解码模块用于对来自接口模块的流媒体音频信号进行解 码， 并将解码后的音频信号输出到混音器。
    3、 根据权利要求 1或 2所述的装置， 其特征在于， 所述视频同步 模块包括分别用来存放流媒体视频信号和通话视频信号的视频帧寄存 器， 所述任一帧寄存器被刷新， 便进行一次叠加输出； 若没有新数据输 入帧寄存器， 帧寄存器始终保存以前的视频信号。
    4、 一种网络设备， 其特征在于， 该网络设备包括： 接收解码模块、 视频同步模块和混音器； 其中，
    接收解码模块用于接收通过 IP 网络传送来的通话视频音频信号和 流媒体视频音频信号， 并分别对接收的通话视频音频信号和流媒体视频 音频信号进行解码， 解码后的视频信号输入到视频同步模块， 解码后的 音频信号输入到混音器；
    视频同步模块用于对接收的视频信号进行叠加和同步；
    混音器用于对接收的音频信号进行混合。
    5、 根据权利要求 4所述的网络设备， 其特征在于， 该网络设备为 可视终端。
    6、 根据权利要求 5 所述的网络设备， 其特征在于， 所述可视终端 中进一步包括： 显示屏和声音播放设备；
    则所述视频同步模块将经过叠加同步的视频信号输入可视终端的 显示屏； 所述的混音器将经过混音的音频信号输入可视终端的声音播放 设备。
    7、 根据权利要求 6所述的网络设备， 其特征在于， 所述视频同步 模块根据用户输入的指令选择同步叠加方式； 所述的混音器根据用户输 入的指令选择混音方式。
    8、 根据权利要求 4所述的网络设备， 其特征在于， 所述网络设备 设置于网络侧。
    9、 根据权利要求 8 所述的网络设备， 其特征在于， 该网络设备中 进一步包括： 视频编码模块、 音频编码模块和接口模块；
    所述视频同步模块输出的视频信号输入视频编码模块； 所述混音器 输出的音频信号输入音频编码模块； 所述的视频编码模块和音频编码模 块分别将所输出的视频信号和音频信号通过接口模块发送到可视终端。
    10、 根据权利要求 4所述的网络设备， 其特征在于， 所述的接收解 码模块包括： 接口模块、 第一视频解码模块、 第二视频解码模块、 第一 音频解码模块、 第二音频解码模块；
    接口模块用于把 ip网络传来的通话视频音频信号，以及流媒体视频 音频信号传送到对应的解码模块；
    第一视频解码模块用于对来自接口模块的通话视频信号进行解码， 并将解码后的视频信号输出到视频同步模块；
    第二视频解码模块用于对来自接口模块的流媒体视频信号进行解 码， 并将解码后的视频信号输出到视频同步模块；
    第一音频解码模块用于对来自接口模块的通话音频信号进行解码， 并将解码后的音频信号输出到混音器；
    第二音频解码模块用于对来自接口模块的流媒体音频信号进行解 码， 并将解码后的音频信号输出到混音器。
    11、 根据权利要求 4或 10所述的网络设备， 其特征在于， 所述视 频同步模块包括分别用来存放流媒体视频信号和通话视频信号的视频 帧寄存器， 所述任一帧寄存器被刷新， 便进行一次叠加输出； 若没有新 数据输入帧寄存器， 帧寄存器始终保存以前的视频信号。
    12、一种用于视频音频信号传输的方法， 其特征在于， 该方法包括： 将呼叫中发送给可视终端的视频音频信号， 与流媒体服务器发送给 所述可视终端的视频音频信号， 进行视频叠加同步和音频混音后， 通过 所述可视终端播放给用户。
    13、 根据权利要求 12所述的方法， 其特征在于， 所述将呼叫中发 送给可视终端的视频音频信号， 与流媒体服务器发送给所述可视终端的 视频音频信号， 进行视频叠加同步和音频混音为：
    所述可视终端接收来自通话对端的视频音频信号， 与流媒体服务器 发送给所述可视终端的视频音频信号， 对接收的两路视频信号进行叠加 和同步， 并对接收的两路音频信号进行混音。
    14、 根据权利要求 13 所述的方法， 其特征在于， 该方法进一步包 括： 用户向所述可视终端发送工作方式指令， 所述可视终端根据接收的 工作方式指令确定工作方式。
    15、 根据权利要求 12所述的方法， 其特征在于， 所述将呼叫中发 送给可视终端的视频音频信号， 与流媒体服务器发送给所述可视终端的 视频音频信号， 进行视频叠加同步和混音为：
    呼叫中的所述可视终端通知通话对端将呼叫中的视频音频信号发 送给网络侧设置的数据合成服务器， 通知流媒体服务器将发送给所述可 视终端的视频音频信号发送给数据合成服务器；
    所述数据合成服务器接收呼叫中的视频音频信号与流媒体服务器 发送给所述可视终端的视频音频信号， 并对接收的两路视频信号进行叠 加和同步， 对接收的两路音频信号进行混音；
    则所述通过可视终端播放给用户包括：
    所述数据合成服务器将叠加和同步后的视频信号以及混音后的音 频信号， 分别进行编码后， 发送给所述可视终端， 所述可视终端将接收 到视频信号和音频信号播放给用户。
    16、 才 M居权利要求 15 所述的方法， 其特征在于， 该方法进一步包 括： 用户通过可视终端向所述数据合成服务器发送工作方式指令， 所述 数据合成服务器根据接收的工作方式指令确定工作方式。
CN200680011737A 2006-01-18 2006-10-18 用于视频音频信号传输的装置、网络设备及方法 Expired - Fee Related CN100579196C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN200610033169.2 2006-01-18
CNB2006100331692A CN100531382C (zh) 2006-01-18 2006-01-18 一种用于可视电话视频音频信号传输的装置及方法
PCT/CN2006/002757 WO2007082433A1 (fr) 2006-01-18 2006-10-18 Appareil, dispositif de réseau et procédé de transmission de signaux audio et vidéo

Publications (2)

Publication Number Publication Date
CN101156444A true CN101156444A (zh) 2008-04-02
CN100579196C CN100579196C (zh) 2010-01-06

Family

ID=37298422

Family Applications (2)

Application Number Title Priority Date Filing Date
CNB2006100331692A Expired - Fee Related CN100531382C (zh) 2006-01-18 2006-01-18 一种用于可视电话视频音频信号传输的装置及方法
CN200680011737A Expired - Fee Related CN100579196C (zh) 2006-01-18 2006-10-18 用于视频音频信号传输的装置、网络设备及方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CNB2006100331692A Expired - Fee Related CN100531382C (zh) 2006-01-18 2006-01-18 一种用于可视电话视频音频信号传输的装置及方法

Country Status (5)

Country Link
US (1) US7973859B2 (zh)
EP (1) EP1976290A4 (zh)
CN (2) CN100531382C (zh)
FR (1) FR2896372B1 (zh)
WO (1) WO2007082433A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101282386B (zh) * 2008-05-22 2010-11-10 中山大学 一种voip服务器端同步混音转发方法
CN112533056A (zh) * 2019-09-17 2021-03-19 海信视像科技股份有限公司 一种显示设备及声音再现方法

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8856371B2 (en) * 2006-08-07 2014-10-07 Oovoo Llc Video conferencing over IP networks
KR101434616B1 (ko) * 2007-04-04 2014-08-27 삼성전자주식회사 통신방법 및 이를 적용한 네트워크 디스플레이 장치
EP2020795B1 (en) * 2007-08-03 2017-11-22 Nokia Solutions and Networks Oy Method and network equipment for maintaining a media stream through another network equipment while suspending an associated media stream connection in a communication network
KR100867004B1 (ko) 2007-09-19 2008-11-10 한국전자통신연구원 시청자 참여를 위한 양방향성 ｉｐｔｖ 방송 서비스 방법및 그 시스템
KR101487434B1 (ko) * 2007-11-14 2015-01-29 삼성전자 주식회사 디스플레이장치 및 그 제어방법
JP5410720B2 (ja) * 2008-09-25 2014-02-05 日立コンシューマエレクトロニクス株式会社 ディジタル情報信号送受信装置、およびディジタル情報信号送受信方法
CN101924903B (zh) * 2009-06-17 2013-03-20 华为技术有限公司 实现视频通话的方法、装置和系统
US11711592B2 (en) 2010-04-06 2023-07-25 Comcast Cable Communications, Llc Distribution of multiple signals of video content independently over a network
US10448083B2 (en) 2010-04-06 2019-10-15 Comcast Cable Communications, Llc Streaming and rendering of 3-dimensional video
CN102111650A (zh) * 2011-02-28 2011-06-29 中兴通讯股份有限公司 一种在可视固定电话上实现移动电视功能的方法和装置
US8683013B2 (en) * 2011-04-18 2014-03-25 Cisco Technology, Inc. System and method for data streaming in a computer network
US9191413B2 (en) 2011-11-01 2015-11-17 T-Mobile Usa, Inc. Synchronizing video and audio over heterogeneous transports
CN102523416A (zh) * 2011-11-21 2012-06-27 苏州希图视鼎微电子有限公司 多段媒体流的无缝播放方法
CN103581700B (zh) * 2012-08-09 2016-10-26 腾讯科技（深圳）有限公司 音视频点播方法、服务器、终端以及系统
CN102833520A (zh) * 2012-08-16 2012-12-19 华为技术有限公司 一种视频会议信号处理的方法、视频会议服务器及系统
CN103680550B (zh) * 2012-09-17 2017-02-08 扬智科技股份有限公司 多视窗架构下的音频播放方法、音频播放装置与系统
US9232176B2 (en) * 2013-03-04 2016-01-05 Janus Technologies, Inc. Method and apparatus for securing computer video and audio subsystems
CN104038805B (zh) * 2013-03-06 2017-06-27 富泰华工业（深圳）有限公司 显示视频图像的电视机及显示视频图像的方法
US9071798B2 (en) 2013-06-17 2015-06-30 Spotify Ab System and method for switching between media streams for non-adjacent channels while providing a seamless user experience
US10097604B2 (en) 2013-08-01 2018-10-09 Spotify Ab System and method for selecting a transition point for transitioning between media streams
US9716733B2 (en) 2013-09-23 2017-07-25 Spotify Ab System and method for reusing file portions between different file formats
US9529888B2 (en) 2013-09-23 2016-12-27 Spotify Ab System and method for efficiently providing media and associated metadata
US9063640B2 (en) 2013-10-17 2015-06-23 Spotify Ab System and method for switching between media items in a plurality of sequences of media items
CN110730362A (zh) * 2019-10-22 2020-01-24 中国农业科学院农业信息研究所 一种低流量视频通讯传输系统及方法
CN111356009B (zh) * 2020-02-26 2022-05-31 北京大米科技有限公司 音频数据的处理方法、装置、存储介质以及终端
CN113840161B (zh) * 2020-06-23 2023-07-25 龙芯中科技术股份有限公司 流媒体传输方法、接收方法、装置、电子设备及储存介质

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3138378B2 (ja) * 1993-12-24 2001-02-26 シャープ株式会社 テレビ電話機能内蔵テレビジョン受像機
US5642498A (en) * 1994-04-12 1997-06-24 Sony Corporation System for simultaneous display of multiple video windows on a display device
KR0137699B1 (ko) * 1994-12-24 1998-05-15 김광호 픽쳐인픽쳐를이용한화상전화기의화면처리회로및방법
US5671226A (en) * 1995-02-09 1997-09-23 Mitsubishi Denki Kabushiki Kaisha Multimedia information processing system
US5900908A (en) * 1995-03-02 1999-05-04 National Captioning Insitute, Inc. System and method for providing described television services
CN2269035Y (zh) 1996-09-23 1997-11-26 颜森辉 多输入多输出内含子母画面a/v多用途切换装置
US6067126A (en) * 1998-01-05 2000-05-23 Intel Corporation Method and apparatus for editing a video recording with audio selections
US6573905B1 (en) * 1999-11-09 2003-06-03 Broadcom Corporation Video and graphics system with parallel processing of graphics windows
US20020089602A1 (en) * 2000-10-18 2002-07-11 Sullivan Gary J. Compressed timing indicators for media samples
KR100374646B1 (ko) * 2001-03-10 2003-03-03 삼성전자주식회사 픽쳐 인 픽쳐 기능과 프레임 속도 변환을 동시에 수행하기위한 영상 처리 장치 및 방법
US6963612B2 (en) * 2001-08-31 2005-11-08 Stmicroelectronic, Inc. System for detecting start codes in MPEG video streams and method of operating the same
US20030112248A1 (en) * 2001-12-19 2003-06-19 Koninklijke Philips Electronics N.V. VGA quad device and apparatuses including same
US20040150748A1 (en) * 2003-01-31 2004-08-05 Qwest Communications International Inc. Systems and methods for providing and displaying picture-in-picture signals
US7453829B2 (en) * 2003-10-29 2008-11-18 Tut Systems, Inc. Method for conducting a video conference
JP2005151446A (ja) * 2003-11-19 2005-06-09 Sharp Corp 携帯端末、クレードル、携帯端末の制御方法、クレードルの制御方法、制御プログラム、および該プログラムを記録した記録媒体
JP2005252774A (ja) * 2004-03-05 2005-09-15 Matsushita Electric Ind Co Ltd テレビ付き携帯電話機
JP4356014B2 (ja) * 2004-03-22 2009-11-04 カシオ計算機株式会社 通信端末装置および通信端末処理プログラム
KR100557135B1 (ko) 2004-04-13 2006-03-03 삼성전자주식회사 텔레비전 영상신호 수신 기능을 구비한 휴대용 단말기에서다수 채널 표시 및 채널변경 방법
US20050281417A1 (en) * 2004-06-18 2005-12-22 Gregory Toprover Media device
EP1763952B1 (en) * 2004-07-02 2009-11-11 Panasonic Corporation Av stream reproducing apparatus,decoder switching method,method program,program storage medium, and integrated circuit
WO2006091740A2 (en) * 2005-02-24 2006-08-31 Humanizing Technologies, Inc. User-configuration multimedia presentation system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101282386B (zh) * 2008-05-22 2010-11-10 中山大学 一种voip服务器端同步混音转发方法
CN112533056A (zh) * 2019-09-17 2021-03-19 海信视像科技股份有限公司 一种显示设备及声音再现方法

Also Published As

Publication number Publication date
US7973859B2 (en) 2011-07-05
CN100579196C (zh) 2010-01-06
US20070169156A1 (en) 2007-07-19
EP1976290A4 (en) 2009-12-02
CN100531382C (zh) 2009-08-19
FR2896372B1 (fr) 2011-05-27
EP1976290A1 (en) 2008-10-01
CN1859566A (zh) 2006-11-08
FR2896372A1 (fr) 2007-07-20
WO2007082433A1 (fr) 2007-07-26

Similar Documents

Publication Publication Date Title
CN101156444A (zh) 用于视频音频信号传输的装置、网络设备及方法
CN101370114B (zh) 视频及音频处理方法、多点控制单元和视频会议系统
CN1929593B (zh) 多点视频会议中的空间相关音频
WO2008113269A1 (fr) Procédé et dispositif pour réaliser une conversation privée dans une session multipoint
GB2319434A (en) Audio/video conferencing and telephony
CN101645952A (zh) 会议电话终端、系统及共享数据的方法
CN102075799A (zh) 一种在有线电视网络中实现可视电话的机顶盒系统
US7180535B2 (en) Method, hub system and terminal equipment for videoconferencing
CN104980683A (zh) 一种视频电话会议的实现方法及装置
US9088690B2 (en) Video conference system
CN100561963C (zh) 一种实现多媒体内容共享的系统
KR101585871B1 (ko) 이동통신 시스템에서 화이트 보드 서비스 제공을 위한 장치 및 방법
CN103327380A (zh) 一种机顶盒及在机顶盒上实现通话的方法
CN102438119A (zh) 一种数字电视的音视频通讯系统
CN101141615B (zh) 会议电视终端支持双流的外置实现方法
CN101998105B (zh) 媒体控制服务器级联系统及控制多媒体码流的方法和装置
CN103354557A (zh) 媒体控制服务器级联系统及控制多媒体码流的方法和装置
CN101383940B (zh) 可视电话的实现方法及装置
CN101635822B (zh) 一种会议电视终端双流自动发送的实现方法
CN102316300A (zh) 视频通话的甩屏方法、系统及设备
CN103428468B (zh) 基于移动终端和机顶盒协同进行可视通讯的方法及系统
CN101635820B (zh) 一种具有多媒体通信功能的机顶盒系统
CN100531360C (zh) 一种具有多媒体通信功能的机顶盒系统
JP2006229726A (ja) Ｉｐ電話機能に基づく呼接続中に映像コンテンツデータを再生する方法、端末及びプログラム
WO2014026478A1 (zh) 一种视频会议信号处理的方法、视频会议服务器及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180213

Address after: California, USA

Patentee after: Global innovation polymerization LLC

Address before: California, USA

Patentee before: Tanous Co.

Effective date of registration: 20180213

Address after: California, USA

Patentee after: Tanous Co.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100106

Termination date: 20211018