CN100579196C - 用于视频音频信号传输的装置、网络设备及方法 - Google Patents

用于视频音频信号传输的装置、网络设备及方法 Download PDF

Info

Publication number
CN100579196C
CN100579196C CN200680011737A CN200680011737A CN100579196C CN 100579196 C CN100579196 C CN 100579196C CN 200680011737 A CN200680011737 A CN 200680011737A CN 200680011737 A CN200680011737 A CN 200680011737A CN 100579196 C CN100579196 C CN 100579196C
Authority
CN
China
Prior art keywords
video
audio
module
audio signal
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200680011737A
Other languages
English (en)
Other versions
CN101156444A (zh
Inventor
曾庆渝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Global Innovation Polymerization LLC
Tanous Co
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN101156444A publication Critical patent/CN101156444A/zh
Application granted granted Critical
Publication of CN100579196C publication Critical patent/CN100579196C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H04N21/2225—Local VOD servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4382—Demodulation or channel decoding, e.g. QPSK demodulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/148—Interfacing a video terminal to a particular transmission medium, e.g. ISDN

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种用于视频音频信号传输的装置，该装置包括：接收解码模块，用于接收通过IP网络传送来的通话视频音频信号和流媒体视频音频信号，并分别对接收的通话视频音频信号和流媒体视频音频信号进行解码，解码后的两路视频数据输入到视频同步模块，解码后的两路音频数据输入到混音器；视频同步模块，用于对接收的两路视频数据进行叠加和同步；混音器，用于对接收的两路音频数据进行混合。本发明还公开了一种用于视频音频信号传输的方法。采用本发明所公开的技术方案，用户终端可以通过同一显示屏与扬声器，一边观赏流媒体信息一边与对端用户进行音频视频聊天。

Description

用于视频音频信号传输的装置、网络设备及方法
技术领域
本发明涉及视频音频信号传输技术，特别涉及一种用于视频音频信号传输的装置、一种网络设备和一种用于视频音频信号传输的方法。
发明背景
IP网络的多媒体应用日益成熟和普及。这种多媒体网络是将音频传输系统、视频传输系统集成到数据传输网络的一种网络应用。它是以IP网络为基本传输网络，在此基础上构建音频、视频传输系统的一种网络结构。这种网络结构给我们提供了许多的多媒体应用，比如音频通话，视频会议，IPTV，电子白版等。一般多媒体网络的组网如图1所示，其中用户终端是用户使用的通讯和点播工具，可以是可视电话、机顶盒等等。图1中的流媒体服务器都属于各种应用服务器，用于支持视频会议，IPTV等业务。
在多媒体网络的众多业务中，有一种业务使用户通过可视电话可以进行呼叫通话。多媒体通讯的呼叫通话建立如图2所示，分为如下四个步骤：
步骤21，终端T1发起呼叫；
步骤22，终端T2作为被叫应答T1；
步骤23，双方交换设备信息；
步骤24，通讯建立成功，双方交换多媒体数据。
在多媒体通讯过程中，可视电话的视频音频接收模块结构如图3所示，其中的视频解码模块和音频解码模块分别可以解码一路视频码流和一路音频码流，然后将视频音频数据传到显示屏和扬声器上进行播放。
用户可以使用图3所示的终端T1观看视频点播，所述终端T1的视频点播的建立过程如图4所示，分为如下两个步骤：
步骤41，终端T1与流媒体服务器建立连接，双方交换点播信息；
步骤42，终端T1接收流媒体传来的影音数据。
如上所述的现有技术只能同时进行一路视频码流和一路音频码流的解码，当终端用户处于通话状态时就不能同时观看流媒体；当终端用户进行视频点播，即观看流媒体时，如有来电，必须断开流媒体播放，才能接听来电。
发明内容
有鉴于此，本发明的主要目的在于提供一种用于视频音频信号传输的装置、网络设备及方法，以解决用户不能使用一台终端同时播放流媒体和进行呼叫通话的问题。
为了达到上述目的，本发明提供了一种用于视频音频信号传输的装置，该装置包括：接收解码模块、视频同步模块和混音器；其中，
接收解码模块用于接收通过IP网络传送来的通话视频音频信号和流媒体视频音频信号，并分别对接收的通话视频音频信号和流媒体视频音频信号进行解码，解码后的视频信号输入到视频同步模块，解码后的音频信号输入到混音器；视频同步模块用于对接收的视频信号进行叠加和同步；混音器用于对接收的音频信号进行混合；所述视频同步模块包括分别用来存放流媒体视频信号和通话视频信号的视频帧寄存器，所述任一帧寄存器被刷新，便进行一次叠加输出。
本发明还提供了一种网络设备，该网络设备包括：接收解码模块、视频同步模块和混音器；其中，
接收解码模块用于接收通过IP网络传送来的通话视频音频信号和流媒体视频音频信号，并分别对接收的通话视频音频信号和流媒体视频音频信号进行解码，解码后的视频信号输入到视频同步模块，解码后的音频信号输入到混音器；视频同步模块用于对接收的视频信号进行叠加和同步；混音器用于对接收的音频信号进行混合；所述视频同步模块包括分别用来存放流媒体视频信号和通话视频信号的视频帧寄存器，所述任一帧寄存器被刷新，便进行一次叠加输出。
本发明还提供了一种用于视频音频信号传输的方法，该方法包括：
将呼叫中发送给可视终端的视频音频信号，与流媒体服务器发送给所述可视终端的视频音频信号，进行视频叠加同步和音频混音后，通过所述可视终端播放给用户；所述进行视频叠加同步的方法包括：将呼叫中发送给可视终端的视频信号存放在一个视频帧寄存器中，将流媒体服务器发送给所述可视终端的视频信号存放在另一个视频帧寄存器中，所述任一帧寄存器被刷新，便进行一次叠加输出。
采用本发明所提供的用于视频音频信号传输的装置、网络设备及方法，可以在IP网络通讯中，用户终端在播放流媒体的同时不需要挂断正在播放的流媒体进行IP呼叫；在通话过程中，终端屏幕可采用画中画或分屏等方式显示，且终端用户能同时听到流媒体的音频信号和呼叫中对方的音频，从而保证了用户可以一边观看欣赏流媒体信息一边与对端用户进行音频视频聊天。
附图简要说明
图1为现有技术中IP多媒体通讯组网示意图；
图2为现有技术中IP多媒体通讯建立示意图；
图3为现有技术可视电话中多媒体视频音频接收模块架图；
图4为现有技术中用户通过可视电话观看流媒体示意图；
图5为本发明第一实施例的可视电话中多媒体视频音频接收模块框架图；
图6为本发明第一实施例中视频同步模块的组成示意图；
图7为本发明第一实施例中播放流媒体期间发起呼叫示意图；
图8为本发明第二实施例中数据合成服务器方案组网图；
图9为本发明第二实施例中数据合成服务器的组成结构示意图；
图10为本发明第二实施例中数据合成服务器视频音频处理模块结构示意图；
图11为本发明第二实施例中用户终端播放流媒体时发起呼叫的流程图。
实施本发明的方式
为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。
本发明的主要思想是，通过视频同步模块和混音器对发送给可视终端的流媒体视音频信号和通话视音频信号进行叠加同步和混音处理，从而使用户通过可视终端可以收看收听流媒体节目并同时进行通话。
本发明可以在终端侧实现上述叠加同步和混音处理，也可以在网络侧实现上述叠加同步和混音处理，以下分别通过具体实施例进行说明。
本发明的第一实施例中，在终端侧实现上述叠加同步和混音处理。以可视终端为可视电话为例，本实施例中在可视电话中设置新的视频音频接收模块，如图5为所示，可视电话中的多媒体视频音频接收模块包括以下子模块：
接收解码模块，用于接收通过IP网络传送来的通话视频音频信号和流媒体视频音频信号，并分别对接收的通话视频音频信号和流媒体视频音频信号进行解码，解码后的两路视频数据输入到视频同步模块，解码后的两路音频数据输入到混音器；
视频同步模块，周于对接收的两路视频数据进行叠加和同步；
混音器，用于对接收的两路音频数据进行混合。
具体地，接收解码模块中可以包括：
接口模块：用于把可视电话设备各端口采集到的IP网络传来的视频音频数据，包括通话码流中的通话视频信号和通话音频信号，以及流媒体码流中的流媒体视频信号和流媒体音频信号，分别传送到对应的解码模块。接口模块中可包括四个端口：PORT01、PORT02、PORT03和PORT04，分别用来接收上述的流媒体视频信号、流媒体音频信号、通话视频信号和通话音频信号。
第一视频解码模块：用于对来自接口模块的通话对端发送的通话视频信号进行解码，并将解码后的图像数据输出到视频同步模块。
第二视频解码模块：用于对来自接口模块的流媒体视频信号进行解码，并将解码后的图像数据输出到视频同步模块。
第一音频解码模块：用于对来自接口模块的通话对端发送的通话音频信号进行解码，并将解码后的音频数据输出到混音器。
第二音频解码模块：用于对来自接口模块的流媒体音频信号进行解码，并将解码后的音频数据输出到混音器。
则上述视频同步模块叠加和同步来自第一视频解码模块和第二视频解码模块的两路图像数据，并输出可播放的视频图像到显示屏。
视频同步模块的具体结构可以如图6所示，其中包括两个视频帧寄存器和叠加器，两个视频帧寄存器分别用于存放来自第一视频解码模块的通话对端图像数据，和来自第二视频解码模块的流媒体图像数据。任一视频帧寄存器被刷新，便通过叠加器将两个帧寄存器中的图像数据进行一次叠加并输出；若没有新数据传入帧寄存器，帧寄存器始终保存以前的图像数据。这样设计可解决两路视频信号帧率不相等时，显示屏上会出现某路视频信号缺帧现象的问题。叠加器叠加后的图像数据可以通过分屏显示或画中画显示的方式，输出到显示屏，使显示屏同时显示来自通话对端的图像数据和来自流媒体服务器的流媒体图像数据；用户可以通过向叠加器发送指令来控制叠加器的输出方式，即选择采用分屏显示方式还是采用画中画显示方式。
而上述混音器混合来自第一音频解码模块的音频数据和第二音频解码模块的音频数据两路码流，并输出可播放的音频数据到声音播放设备。这里的声音播放设备通常为扬声器。这里每路码流混合的比例由用户选择，即用户可以通过向混音器发送指令控制是通话的声音大还是流媒体的声音大，或者完全只听一路码流的声音。
图7为播放流媒体期间发起呼叫的流程图。T1、T2为两个用户终端可视电话，T1在播放流媒体期间发起呼叫T2的流程具体包括如下步骤：
步骤701，T1与流媒体服务器进行信息交互建立连接，双方交换点播信息。
步骤702，T1接收来自流媒体服务器的多媒体信息，即视频音频码流，并进行解码播放。
本步骤具体包括：T1在自身接口模块的PORT01和PORT02，接收由流媒体服务器传来的视频音频信号码流，接口模块将PORT01的码流传送给第二视频解码模块，将PORT02的码流传送给第二音频解码模块。第二视频解码模块和第二音频解码模块开始工作，分别输出可显示的图像数据和可播放的音频数据，该输出的视频数据和音频数据分别传入视频同步模块和混音器，依据用户的选择把数据传入显示屏和扬声器进行播放。此时T1可以选择是否播放视频，以及选择是否播放音频。
步骤703，T1呼叫T2。
步骤704，T2应答，在步骤705，T1和T2进行信息交互，交换设备信息，然后在步骤706，呼叫接通后，T1和T2进行多媒体通讯，T1接收来自通话对端T2的视频和音频信号码流。
此后，终端T1进行多路解码，然后进行视频同步、叠加，以及音频混合，并播放视频音频信号。
具体包括：T1在自身接口模块的PORT03和PORT04，接收由通话对端T2发送来的视频和音频信号码流，接口模块将PORT03的码流传送给第一视频解码模块，将PORT04的码流传送给第一音频解码模块。第一视频解码模块和第一音频解码模块开始工作，分别输出可显示的图像数据和可播放的音频数据，传送给视频同步模块和混音器。
则传送给视频同步模块的包括两路视频数据：来自流媒体服务器的视频数据和来自T2的视频数据，两路视频数据通过视频同步模块进行叠加和同步后发送到显示屏；而传送给混音器的包括两路音频数据：来自流媒体服务器的音频数据和来自T2的音频数据，两路音频数据通过混音器混音后发送到扬声器。这里，视频同步模块的叠加方式可以是由T1选择的默认方式，类似地，混音器的混音方式也可以是由T1选择的默认方式。
此外，在通话过程中，T1可通过用户界面实时地对视频同步模块和混音器的工作方式进行配置，即向视频同步模块发送视频同步指令或向混音发送混音方式指令，则视频同步模块或混音器根据接收的指令确定工作方式。
在通话结束，T1挂断呼叫后，第一视频解码模块和第一音频解码模块停止工作，T1只播放来自流媒体服务器的视频音频数据。然后如果T1关闭流媒体，第二视频解码模块和第二音频解码模块停止工作，T1停止播放来自流媒体服务器的视频音频数据。此后用户可关闭显示屏和扬声器。
当然，T1也可以先关闭流媒体，则T1只播放来自通话对端T2的视频音频数据，而后在通话结束后，再停止播放来自通话对端的视频音频数据。
通话期间用户观看流媒体的步骤与上述步骤类似，这里就不再叙述了。
本发明的第二个实施例的系统组网如图8所示。相对于图1，图8中增加了一个设备是数据合成服务器。当用户终端由于成本等因素不能提供多个视频音频解码模块，仅提供视频音频解码模块各一个，可在网络侧增加解码设备--数据合成服务器。在同时进行流媒体播放和通话时，可利用媒体改向功能，使流媒体服务器的流媒体码流和通话对端的视频音频码流发送到数据合成服务器，由数据合成服务器进行多路解码、视频叠加、音频混合等工作，再分别以一路视频码流和一路音频码流发送给用户终端，本实施例中用户终端采用图3的结构。这样也可以达到播放流媒体同时进行视频通话的目的。
数据合成服务器的结构如图9所示，包括多媒体视频音频接收模块、视频编码模块和音频编码模块和接口模块。其中多媒体视频音频接收模块的结构如图10所示。图10所示的多媒体视频音频接收模块包括接口模块、第一视频解码模块、第二视频解码模块、第一音频解码模块、第二音频解码模块、视频同步模块和混音器，其中接口模块与第一实施例中接口模块的功能基本相同，其他各个模块的功能也已在第一实施例中进行了详细说明。在图9中，视频同步模块输出的视频数据输出到视频编码模块，由视频编码模块对视频数据进行编码，然后通过接口模块发送到终端的接口模块；混音器输出的音频数据输出到音频编码模块，由音频编码模块对音频数据进行编码，然后通过接口模块发送到终端的接口模块。
本实施例方案中用户终端播放流媒体时发起呼叫的流程如图11所示，步骤如下：
步骤1101，用户终端可视电话T1与流媒体服务器正常通信，并成功观看流媒体。
步骤1102，T1向用户终端可视电话T2发起呼叫，同时命令T2将视频音频码流发送到数据合成服务器。
步骤1103，T1通知数据合成服务器开始工作，并通知流媒体服务器将视频音频数据发送到数据合成服务器。
这里，T1可以同时将用户选择的视频同步模块和混音器的工作方式上报给数据合成服务器，数据合成服务器中的接口模块接收到用户选择的视频同步模块和混音器的工作方式后，将对应的控制信号传送到视频同步模块和混音器，从而根据用户所选择的工作方式执行视频信号的叠加和同步以及音频信号的混音操作。
步骤1104，数据合成服务器开始接收由T2和流媒体服务器发送过来的视频音频数据。
本实施例中，数据合成服务器的工作流程具体包括：收到终端发来的启动命令后，开始工作准备接收视频音频码流；接收到终端和流媒体服务器发送来的视频音频码流后，经过多媒体视频音频接收模块处理后输出可用于播放的视频和音频数据到视频编码模块和音频编码模块；视频编码模块和音频编码模块对接收到的数据进行编码，通过接口模块，发送给用户终端。
步骤1105，T1向T2发送本端的视频音频数据。
步骤1106，T1接收由数据合成服务器发送过来的合成视频音频数据，并显示与播放。
通话期间终端观看流媒体的步骤与上述步骤类似，这里就不再叙述了。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (16)

1、一种用于视频音频信号传输的装置，其特征在于，该装置包括：接收解码模块、视频同步模块和混音器；其中，
接收解码模块用于接收通过IP网络传送来的通话视频音频信号和流媒体视频音频信号，并分别对接收的通话视频音频信号和流媒体视频音频信号进行解码，解码后的视频信号输入到视频同步模块，解码后的音频信号输入到混音器；
视频同步模块用于对接收的视频信号进行叠加和同步；
混音器用于对接收的音频信号进行混合；
所述视频同步模块包括分别用来存放流媒体视频信号和通话视频信号的视频帧寄存器，所述任一帧寄存器被刷新，便进行一次叠加输出。
2、根据权利要求1所述的装置，其特征在于，所述的接收解码模块包括：接口模块、第一视频解码模块、第二视频解码模块、第一音频解码模块、第二音频解码模块；
接口模块用于把IP网络传来的通话视频音频信号，以及流媒体视频音频信号传送到对应的解码模块；
第一视频解码模块用于对来自接口模块的通话视频信号进行解码，并将解码后的视频信号输出到视频同步模块；
第二视频解码模块用于对来自接口模块的流媒体视频信号进行解码，并将解码后的视频信号输出到视频同步模块；
第一音频解码模块用于对来自接口模块的通话音频信号进行解码，并将解码后的音频信号输出到混音器；
第二音频解码模块用于对来自接口模块的流媒体音频信号进行解码，并将解码后的音频信号输出到混音器。
3、根据权利要求1或2所述的装置，其特征在于，所述视频同步模块包括分别用来存放流媒体视频信号和通话视频信号的视频帧寄存器，若没有新数据输入帧寄存器，帧寄存器始终保存以前的视频信号。
4、一种网络设备，其特征在于，该网络设备包括：接收解码模块、视频同步模块和混音器；其中，
接收解码模块用于接收通过IP网络传送来的通话视频音频信号和流媒体视频音频信号，并分别对接收的通话视频音频信号和流媒体视频音频信号进行解码，解码后的视频信号输入到视频同步模块，解码后的音频信号输入到混音器；
视频同步模块用于对接收的视频信号进行叠加和同步；
混音器用于对接收的音频信号进行混合；
所述视频同步模块包括分别用来存放流媒体视频信号和通话视频信号的视频帧寄存器，所述任一帧寄存器被刷新，便进行一次叠加输出。
5、根据权利要求4所述的网络设备，其特征在于，该网络设备为可视终端。
6、根据权利要求5所述的网络设备，其特征在于，所述可视终端中进一步包括：显示屏和声音播放设备；
则所述视频同步模块将经过叠加同步的视频信号输入可视终端的显示屏；所述的混音器将经过混音的音频信号输入可视终端的声音播放设备。
7、根据权利要求6所述的网络设备，其特征在于，所述视频同步模块根据用户输入的指令选择同步叠加方式；所述的混音器根据用户输入的指令选择混音方式。
8、根据权利要求4所述的网络设备，其特征在于，所述网络设备设置于网络侧。
9、根据权利要求8所述的网络设备，其特征在于，该网络设备中进一步包括：视频编码模块、音频编码模块和接口模块；
所述视频同步模块输出的视频信号输入视频编码模块；所述混音器输出的音频信号输入音频编码模块；所述的视频编码模块和音频编码模块分别将所输出的视频信号和音频信号通过接口模块发送到可视终端。
10、根据权利要求4所述的网络设备，其特征在于，所述的接收解码模块包括：接口模块、第一视频解码模块、第二视频解码模块、第一音频解码模块、第二音频解码模块；
接口模块用于把IP网络传来的通话视频音频信号，以及流媒体视频音频信号传送到对应的解码模块；
第一视频解码模块用于对来自接口模块的通话视频信号进行解码，并将解码后的视频信号输出到视频同步模块；
第二视频解码模块用于对来自接口模块的流媒体视频信号进行解码，并将解码后的视频信号输出到视频同步模块；
第一音频解码模块用于对来自接口模块的通话音频信号进行解码，并将解码后的音频信号输出到混音器；
第二音频解码模块用于对来自接口模块的流媒体音频信号进行解码，并将解码后的音频信号输出到混音器。
11、根据权利要求4或10所述的网络设备，其特征在于，所述视频同步模块包括分别用来存放流媒体视频信号和通话视频信号的视频帧寄存器，若没有新数据输入帧寄存器，帧寄存器始终保存以前的视频信号。
12、一种用于视频音频信号传输的方法，其特征在于，该方法包括：
将呼叫中发送给可视终端的视频音频信号，与流媒体服务器发送给所述可视终端的视频音频信号，进行视频叠加同步和音频混音后，通过所述可视终端播放给用户；
所述进行视频叠加同步的方法包括：将呼叫中发送给可视终端的视频信号存放在一个视频帧寄存器中，将流媒体服务器发送给所述可视终端的视频信号存放在另一个视频帧寄存器中，所述任一帧寄存器被刷新，便进行一次叠加输出。
13、根据权利要求12所述的方法，其特征在于，所述将呼叫中发送给可视终端的视频音频信号，与流媒体服务器发送给所述可视终端的视频音频信号，进行视频叠加同步和音频混音为：
所述可视终端接收来自通话对端的视频音频信号，与流媒体服务器发送给所述可视终端的视频音频信号，对接收的两路视频信号进行叠加和同步，并对接收的两路音频信号进行混音。
14、根据权利要求13所述的方法，其特征在于，该方法进一步包括：用户向所述可视终端发送工作方式指令，所述可视终端根据接收的工作方式指令确定工作方式。
15、根据权利要求12所述的方法，其特征在于，所述将呼叫中发送给可视终端的视频音频信号，与流媒体服务器发送给所述可视终端的视频音频信号，进行视频叠加同步和混音为：
呼叫中的所述可视终端通知通话对端将呼叫中的视频音频信号发送给网络侧设置的数据合成服务器，通知流媒体服务器将发送给所述可视终端的视频音频信号发送给数据合成服务器；
所述数据合成服务器接收呼叫中的视频音频信号与流媒体服务器发送给所述可视终端的视频音频信号，并对接收的两路视频信号进行叠加和同步，对接收的两路音频信号进行混音；
则所述通过可视终端播放给用户包括：
所述数据合成服务器将叠加和同步后的视频信号以及混音后的音频信号，分别进行编码后，发送给所述可视终端，所述可视终端将接收到视频信号和音频信号播放给用户。
16、根据权利要求15所述的方法，其特征在于，该方法进一步包括：用户通过可视终端向所述数据合成服务器发送工作方式指令，所述数据合成服务器根据接收的工作方式指令确定工作方式。
CN200680011737A 2006-01-18 2006-10-18 用于视频音频信号传输的装置、网络设备及方法 Expired - Fee Related CN100579196C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN200610033169.2 2006-01-18
CNB2006100331692A CN100531382C (zh) 2006-01-18 2006-01-18 一种用于可视电话视频音频信号传输的装置及方法
PCT/CN2006/002757 WO2007082433A1 (fr) 2006-01-18 2006-10-18 Appareil, dispositif de réseau et procédé de transmission de signaux audio et vidéo

Publications (2)

Publication Number Publication Date
CN101156444A CN101156444A (zh) 2008-04-02
CN100579196C true CN100579196C (zh) 2010-01-06

Family

ID=37298422

Family Applications (2)

Application Number Title Priority Date Filing Date
CNB2006100331692A Expired - Fee Related CN100531382C (zh) 2006-01-18 2006-01-18 一种用于可视电话视频音频信号传输的装置及方法
CN200680011737A Expired - Fee Related CN100579196C (zh) 2006-01-18 2006-10-18 用于视频音频信号传输的装置、网络设备及方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CNB2006100331692A Expired - Fee Related CN100531382C (zh) 2006-01-18 2006-01-18 一种用于可视电话视频音频信号传输的装置及方法

Country Status (5)

Country Link
US (1) US7973859B2 (zh)
EP (1) EP1976290A4 (zh)
CN (2) CN100531382C (zh)
FR (1) FR2896372B1 (zh)
WO (1) WO2007082433A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8856371B2 (en) * 2006-08-07 2014-10-07 Oovoo Llc Video conferencing over IP networks
KR101434616B1 (ko) * 2007-04-04 2014-08-27 삼성전자주식회사 통신방법 및 이를 적용한 네트워크 디스플레이 장치
EP2020795B1 (en) * 2007-08-03 2017-11-22 Nokia Solutions and Networks Oy Method and network equipment for maintaining a media stream through another network equipment while suspending an associated media stream connection in a communication network
KR100867004B1 (ko) * 2007-09-19 2008-11-10 한국전자통신연구원 시청자 참여를 위한 양방향성 ｉｐｔｖ 방송 서비스 방법및 그 시스템
KR101487434B1 (ko) * 2007-11-14 2015-01-29 삼성전자 주식회사 디스플레이장치 및 그 제어방법
CN101282386B (zh) * 2008-05-22 2010-11-10 中山大学 一种voip服务器端同步混音转发方法
JP5410720B2 (ja) * 2008-09-25 2014-02-05 日立コンシューマエレクトロニクス株式会社 ディジタル情報信号送受信装置、およびディジタル情報信号送受信方法
CN101924903B (zh) * 2009-06-17 2013-03-20 华为技术有限公司 实现视频通话的方法、装置和系统
US11711592B2 (en) 2010-04-06 2023-07-25 Comcast Cable Communications, Llc Distribution of multiple signals of video content independently over a network
US10448083B2 (en) 2010-04-06 2019-10-15 Comcast Cable Communications, Llc Streaming and rendering of 3-dimensional video
CN102111650A (zh) * 2011-02-28 2011-06-29 中兴通讯股份有限公司 一种在可视固定电话上实现移动电视功能的方法和装置
US8683013B2 (en) * 2011-04-18 2014-03-25 Cisco Technology, Inc. System and method for data streaming in a computer network
US9191413B2 (en) 2011-11-01 2015-11-17 T-Mobile Usa, Inc. Synchronizing video and audio over heterogeneous transports
CN102523416A (zh) * 2011-11-21 2012-06-27 苏州希图视鼎微电子有限公司 多段媒体流的无缝播放方法
CN103581700B (zh) * 2012-08-09 2016-10-26 腾讯科技（深圳）有限公司 音视频点播方法、服务器、终端以及系统
CN102833520A (zh) * 2012-08-16 2012-12-19 华为技术有限公司 一种视频会议信号处理的方法、视频会议服务器及系统
CN103680550B (zh) * 2012-09-17 2017-02-08 扬智科技股份有限公司 多视窗架构下的音频播放方法、音频播放装置与系统
US9232176B2 (en) * 2013-03-04 2016-01-05 Janus Technologies, Inc. Method and apparatus for securing computer video and audio subsystems
CN104038805B (zh) * 2013-03-06 2017-06-27 富泰华工业（深圳）有限公司 显示视频图像的电视机及显示视频图像的方法
US20140368737A1 (en) 2013-06-17 2014-12-18 Spotify Ab System and method for playing media during navigation between media streams
US9516082B2 (en) 2013-08-01 2016-12-06 Spotify Ab System and method for advancing to a predefined portion of a decompressed media stream
US9529888B2 (en) 2013-09-23 2016-12-27 Spotify Ab System and method for efficiently providing media and associated metadata
US9654532B2 (en) 2013-09-23 2017-05-16 Spotify Ab System and method for sharing file portions between peers with different capabilities
US9063640B2 (en) 2013-10-17 2015-06-23 Spotify Ab System and method for switching between media items in a plurality of sequences of media items
CN112533056B (zh) * 2019-09-17 2022-10-28 海信视像科技股份有限公司 一种显示设备及声音再现方法
CN110730362A (zh) * 2019-10-22 2020-01-24 中国农业科学院农业信息研究所 一种低流量视频通讯传输系统及方法
CN111356009B (zh) * 2020-02-26 2022-05-31 北京大米科技有限公司 音频数据的处理方法、装置、存储介质以及终端
CN113840161B (zh) * 2020-06-23 2023-07-25 龙芯中科技术股份有限公司 流媒体传输方法、接收方法、装置、电子设备及储存介质

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3138378B2 (ja) * 1993-12-24 2001-02-26 シャープ株式会社 テレビ電話機能内蔵テレビジョン受像機
US5642498A (en) * 1994-04-12 1997-06-24 Sony Corporation System for simultaneous display of multiple video windows on a display device
KR0137699B1 (ko) * 1994-12-24 1998-05-15 김광호 픽쳐인픽쳐를이용한화상전화기의화면처리회로및방법
US5671226A (en) * 1995-02-09 1997-09-23 Mitsubishi Denki Kabushiki Kaisha Multimedia information processing system
US5900908A (en) * 1995-03-02 1999-05-04 National Captioning Insitute, Inc. System and method for providing described television services
CN2269035Y (zh) 1996-09-23 1997-11-26 颜森辉 多输入多输出内含子母画面a/v多用途切换装置
US6067126A (en) * 1998-01-05 2000-05-23 Intel Corporation Method and apparatus for editing a video recording with audio selections
US6573905B1 (en) * 1999-11-09 2003-06-03 Broadcom Corporation Video and graphics system with parallel processing of graphics windows
US20020089602A1 (en) * 2000-10-18 2002-07-11 Sullivan Gary J. Compressed timing indicators for media samples
KR100374646B1 (ko) * 2001-03-10 2003-03-03 삼성전자주식회사 픽쳐 인 픽쳐 기능과 프레임 속도 변환을 동시에 수행하기위한 영상 처리 장치 및 방법
US6963612B2 (en) * 2001-08-31 2005-11-08 Stmicroelectronic, Inc. System for detecting start codes in MPEG video streams and method of operating the same
US20030112248A1 (en) * 2001-12-19 2003-06-19 Koninklijke Philips Electronics N.V. VGA quad device and apparatuses including same
US20040150748A1 (en) * 2003-01-31 2004-08-05 Qwest Communications International Inc. Systems and methods for providing and displaying picture-in-picture signals
US7453829B2 (en) * 2003-10-29 2008-11-18 Tut Systems, Inc. Method for conducting a video conference
JP2005151446A (ja) * 2003-11-19 2005-06-09 Sharp Corp 携帯端末、クレードル、携帯端末の制御方法、クレードルの制御方法、制御プログラム、および該プログラムを記録した記録媒体
JP2005252774A (ja) * 2004-03-05 2005-09-15 Matsushita Electric Ind Co Ltd テレビ付き携帯電話機
JP4356014B2 (ja) * 2004-03-22 2009-11-04 カシオ計算機株式会社 通信端末装置および通信端末処理プログラム
KR100557135B1 (ko) 2004-04-13 2006-03-03 삼성전자주식회사 텔레비전 영상신호 수신 기능을 구비한 휴대용 단말기에서다수 채널 표시 및 채널변경 방법
US20050281417A1 (en) * 2004-06-18 2005-12-22 Gregory Toprover Media device
WO2006003852A1 (en) * 2004-07-02 2006-01-12 Matsushita Electric Industrial Co., Ltd. Av stream reproducing apparatus, decoder switching method, method program, program storage medium, and integrated circuit
WO2006091740A2 (en) * 2005-02-24 2006-08-31 Humanizing Technologies, Inc. User-configuration multimedia presentation system

Also Published As

Publication number Publication date
CN101156444A (zh) 2008-04-02
US7973859B2 (en) 2011-07-05
CN100531382C (zh) 2009-08-19
FR2896372B1 (fr) 2011-05-27
WO2007082433A1 (fr) 2007-07-26
CN1859566A (zh) 2006-11-08
US20070169156A1 (en) 2007-07-19
EP1976290A4 (en) 2009-12-02
EP1976290A1 (en) 2008-10-01
FR2896372A1 (fr) 2007-07-20

Similar Documents

Publication Publication Date Title
CN100579196C (zh) 用于视频音频信号传输的装置、网络设备及方法
CN101370114B (zh) 视频及音频处理方法、多点控制单元和视频会议系统
US6134223A (en) Videophone apparatus, method and system for audio and video conferencing and telephony
EP2130346B1 (en) Media stream setup in a group communication system
CN101645952A (zh) 会议电话终端、系统及共享数据的方法
US7180535B2 (en) Method, hub system and terminal equipment for videoconferencing
CN102176713A (zh) 一种强化单路视频质量的多人网络视频聊天系统的实现方法
CN102404547A (zh) 一种实现视频会议级联的方法及终端
CN101631222B (zh) 可视电话业务的视频切换方法、媒体服务器及会议系统
CN100561963C (zh) 一种实现多媒体内容共享的系统
CN117176972B (zh) 一个基于WebRTC技术的云会议音视频传输系统及方法
CN103327380A (zh) 一种机顶盒及在机顶盒上实现通话的方法
CN100366080C (zh) 在会议电视系统中实现单画面和多画面切换的方法
US8515042B2 (en) Method for indicating call progress state, conference control device, and conference system
CN102438119A (zh) 一种数字电视的音视频通讯系统
CN101141615B (zh) 会议电视终端支持双流的外置实现方法
CN101998105B (zh) 媒体控制服务器级联系统及控制多媒体码流的方法和装置
CN103354557A (zh) 媒体控制服务器级联系统及控制多媒体码流的方法和装置
CN102316300A (zh) 视频通话的甩屏方法、系统及设备
JP2012503372A (ja) テレビ電話の実現方法及び装置
CN109818963B (zh) 一种应用于话机上的辅流分享方法
CN101635820B (zh) 一种具有多媒体通信功能的机顶盒系统
CN100531360C (zh) 一种具有多媒体通信功能的机顶盒系统
JP3030019B2 (ja) 通信会議システム
CN102104587A (zh) 一种多媒体传输系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180213

Address after: California, USA

Patentee after: Global innovation polymerization LLC

Address before: California, USA

Patentee before: Tanous Co.

Effective date of registration: 20180213

Address after: California, USA

Patentee after: Tanous Co.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100106

Termination date: 20211018