CN100553329C - 图像编码数据的转换方法以及装置、系统 - Google Patents

图像编码数据的转换方法以及装置、系统 Download PDF

Info

Publication number
CN100553329C
CN100553329C CNB2005100930995A CN200510093099A CN100553329C CN 100553329 C CN100553329 C CN 100553329C CN B2005100930995 A CNB2005100930995 A CN B2005100930995A CN 200510093099 A CN200510093099 A CN 200510093099A CN 100553329 C CN100553329 C CN 100553329C
Authority
CN
China
Prior art keywords
image
coded data
client
data
switching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CNB2005100930995A
Other languages
English (en)
Other versions
CN1741610A (zh
Inventor
出井洋明
小山和広
小泽一范
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lotte Group Co ltd
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN1741610A publication Critical patent/CN1741610A/zh
Application granted granted Critical
Publication of CN100553329C publication Critical patent/CN100553329C/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234354—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering signal-to-noise ratio parameters, e.g. requantization
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/632—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing using a connection between clients on a wide area network, e.g. setting up a peer-to-peer communication via Internet for retrieving video segments from the hard-disk of other client devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server

Abstract

本发明提供一种编码数据的转换方法、装置及系统。转换服务器及多个客户端连接到传输通路上，接收了来自客户端的图像编码数据的转换服务器对应于各客户端可用的编码方式、编码设定、编码选项及传输通路的状态来转换图像编码方式从而进行发送，此时对图像显示数量受限的客户端，对从图像编码数据中选择的多个图像编码数据解码，合成一个图像并再编码，然后发送。此外转换服务器具有与连接客户端台数相当的解码处理部，其对来自各客户端的图像编码数据解码，当有来自所述客户端的显示图像的切换请求时，在切换定时对切换目标的图像的解码图像数据进行帧内编码并发送，由此可实现不受接收的切换目标的图像编码数据的帧内定时限制的、迅速的图像切换。

Description

图像编码数据的转换方法以及装置、系统
技术领域
本发明涉及一种图像转换方法及其装置和程序，通过该方法及其装置，当在通过因特网连接的多个不同规格的客户端之间进行使用图像的会议等的通信时，进行图像编码数据的转换，以便能够以各自支持的编码方式或编码设定来进行交互，同时，对于在图像的显示数量上受限的客户端，将其他会议参加者的图像在任意的定时实时重编码为合成图像，并进行发送，其中合成图像是组合了来自要切换的、且连接的客户端的图像数据中的几个图像而成的。
背景技术
近年来，经由因特网以分组来进行图像和语音的编码数据的通信，即所谓的VoIP(Voice over IP，互联网语音)和TVoIP(TV over IP，互联网电视)的双向通信系统以及会议系统迅速普及。这些通信系统所采用的编码方式有几种类型，例如作为运动图像的编码方式，大多采用传送基于帧间预测的高效压缩的编码数据的方法。在这些方式中，对从时间上相邻的帧预测编码图像而得的预测参数和预测残差图像数据进行编码，从而削减在时间方向上相关度高的运动图像数据的信息量。而且，通过对预测残差图像数据进行编码转换或量化来高效率地进行压缩编码，能够实现窄传送带宽内的通信。
作为其代表例，有使用MPEG(Moving Picture Experts Group，运动图像专家组)-1、MPEG-2、MPEG-4等压缩编码方式的方法。在这些压缩编码方式中，对输入图像帧以称为宏块的恒定大小的矩形区域单位进行基于运动补偿的帧间预测，并对所得的运动矢量和预测残差图像数据实施二微离散余弦变换及量化来进行压缩，然后对压缩的信号数据进行可变长度编码。
此外关于语音，有G.722、G.729、AMR-NB(Adaptive Multi Rate·Narrow Band，自适应多速率窄带)、AMR-WB(Adaptive Multi Rate·Wide Band，自适应多速率宽带)和MPEG-4 AAC(Advanced AudioCodec，高级音频编码)等语音(音乐)编码方式，从而可对各自预定的采样容积进行高效率的编码，并能够以窄的传输频带传输高语音品质的语音数据。
有许多将这样的图像或语音编码数据发布到利用分组交换方式的IP(Internet Protocol，互联网协议)网络上的方法。此外，第三代移动电话中有支持线路交换(CS)方式的TV电话的终端，而且还存在使这些移动电话和连接在IP网络上的TVoIP客户端相连接的网关。可以认为，今后使分组在CS上通过，或者将移动电话以及经由无线信道连接的无线基站共同全IP化，从而能够更容易地连接IP网络和移动电话。
非专利文献1：Handley，M.，Schulzrinne，H.，Schooler，E.，Rosenberg，J.，“SIP：Session Initiation Protocol”，RFC 2543，March 1999，互联网URL<由http://www.ietf.org/进入的http://www.ietf.org/rfc/rfc2543.txt>；
非专利文献2：Handley，M.，Jacobson，V.，“SDP：Session DescriptionProtocol”，RFC 2327，April 1988，互联网URL<由http://www.ietf.org/进入的http://www.ietf.org/rfc/rfc2327.txt>。
非专利文献3：Schulzrinne，H.，Casner，S.，Frederick，R.，Jacobson，V.，“RTP：A Transport Protocol for Real-Time Applications”，RFC 1889，January1996，互联网URL<由http://www.ietf.org/进入的http://www.ietf.org/rfc/rfc1889.txt>。
但是，在以往的TV会议系统等连接多个客户端的服务中，当所支持的编码方式、编码设定或编码选项彼此不同时，无法相互进行利用图像的交互，因此大多只能在相同类型的客户端构筑会议系统。
此外，在由于显示器的大小等而使图像的显示数量受限的情况下，需要在会议服务器或编码数据转换服务器进行切换到用户想看的影像的切换处理，但若用户以任意的定时进行切换定时，则在不是帧间预测编码单位的GOP(Group Of Picture，图片组)的界限时，由于切换了预测所用的帧，所以会发生图像的错乱，并一直持续到下一帧内编码数据到达。从而用户不一定能在最期望的时刻切换到想看的图像。
对此，为了缩短切换的待机时间，可以通过增加进行帧内编码的帧数量来进行应对，但是，若增加原本进行编码效率不高的帧内编码的帧数量，则会导致编码效率降低，从而图像品质降低。
发明内容
因此，本发明是考虑上述情况而进行的，其主要目的在于提供一种下述的方法、装置、系统以及程序，即：在使用图像的会议等的多个客户端互相交换编码数据的系统中，对应于参加的各客户端所支持的编码方式、编码设定或编码选项来转换通信对方的客户端的编码数据。
此外，本发明的另一目的在于提供一种下述的方法、装置、系统以及程序，即：对于在图像的显示数量上受限的客户端，从来自进行通信的其他多个客户端的图像中选择至少一个所述客户端的用户所希望的图像，并使之在所述客户端上显示。
此外，本发明的另一目的在于提供一种下述的方法、装置、系统以及程序，即：对于在图像的显示数量上受限的客户端，当进行从当前的显示图像向其它图像的切换时，用户可以任意的定时迅速切换而无图像错乱。
此外，本发明的另一个目的在于提供一种下述的方法、装置、系统以及程序，即：对于在图像的显示数量上受限的客户端，将用户所希望的、来自多个客户端的图像数据进行合成，并作为一个图像而输出。
此外，本发明另一个目的在于提供一种下述的方法、装置、系统以及程序，即：对于经由无线等不稳定的传输通路进行图像数据的交互的客户端，以更加稳定的品质的图像进行通信。
解决至少一个所述课题的本发明的一个方面的方法包括：
至少一个接收M个图像编码数据的步骤；
对接收的M个图像编码数据中的至少一个进行解码的步骤；
响应于来自客户端的请求，改变接收的M个图像编码数据中的至少一个图像编码数据的如下特性中的至少一个：
(1)编码方式、
(2)编码比特率、
(3)图像大小、
(4)帧率、
(5)类型、
(6)等级、
(7)编码选项、
(8)视频分组大小、
(9)编码帧类型构成、
(10)帧内间隔、
(11)帧内宏块数，
从而基于改变后的特性对已解码的数据进行再编码的至少一个步骤；
至少一个将已再编码的图像编码数据输出给发送请求的客户端的步骤；以及
根据来自客户端的切换请求，将要输出到客户端的M个图像编码数据中的至少一个切换为其它图像编码数据的步骤，
其中M为2以上的任意整数，
其中当根据切换请求进行图像编码数据的切换时，将切换目标的图像的解码图像数据进行帧内编码后再进行切换。
本发明其它方面的装置包括：
接收M个图像编码数据的单元；
对接收的M个图像编码数据进行解码的M个单元；
响应于来自客户端的请求，改变接收的图像编码数据的如下特性中的至少一个：
(1)编码方式、
(2)编码比特率、
(3)图像大小、
(4)帧率、
(5)类型、
(6)等级、
(7)编码选项、
(8)视频分组大小、
(9)编码帧类型构成、
(10)帧内间隔、
(11)帧内宏块数，
从而基于改变后的特性对已解码的M个数据进行再编码或编码数据的转换的N个单元；
将已再编码的编码数据输出给发送所述请求的客户端的N个单元，
其中M为2以上的整数，N为1以上的整数。还可进一步包括：对已解码的多个编码数据进行组合来生成一个图像的单元；和将至少一个输出图像与其它的输入图像进行切换的单元，从而输出对M个图像编码数据进行转换而生成的N个编码数据。
本发明的其它方面的计算机程序使构成进行图像编码数据的切换的装置的计算机执行下述处理：
接收M个(其中M为2以上的任意整数)图像编码数据的处理；
对接收的M个图像编码数据中的至少一个进行解码的处理；
响应于来自客户端的请求，改变接收的M个图像编码数据中的至少一个图像编码数据的如下特性中的至少一个：
(1)编码方式、
(2)编码比特率、
(3)图像大小、
(4)帧率、
(5)类型、
(6)等级、
(7)编码选项、
(8)视频分组大小、
(9)编码帧类型构成、
(10)帧内间隔、
(11)帧内宏块数，
从而基于改变后的特性对已解码的数据进行再编码的处理；
将已再编码的编码数据输出给发送请求的客户端的处理；以及
根据来自客户端的切换请求，将要输出到客户端的M个编码数据中的至少一个切换为其它图像编码数据的处理。
本发明的其它方面的服务器是经由传输通路而与多个客户端连接的转换服务器，其中包括：接收来自所述客户端的图像编码数据的单元；下述的单元，即：与客户端可使用的编码方式、编码设定、编码选项以及所述传输通路的状态中的至少一个相对应地转换图像编码方式，从而发送接收的图像编码数据；以及下述的单元，即：对于在图像的显示数量上受限的客户端，将从所述图像编码数据中选择的多个图像编码数据进行解码，然后合成一个图像并再编码，然后发送。本发明中的转换服务器具有与连接客户端的台数相当的解码处理部，用于将来自各客户端的图像编码数据进行解码，此外还可以是包括下述单元的结构，即所述单元在有来自所述客户端的显示图像的切换请求时，在切换定时将切换目标的图像的解码图像数据进行帧内解码并发送。
如以上说明的那样，若使用本发明，则即使利用图像的双向通信客户端有多个，且在参加的会议等的服务中各个客户端所支持的编码方式、编码设定、编码选项不同时，也可实现互相的交换。
此外，若使用本发明，则对于在图像的显示数量受限的客户端，可以从来自进行通信的其它多个客户端的图像中选择至少一个所述客户端的用户所希望的图像，并使之显示在所述客户端上。
此外，若使用本发明，则对于在图像的显示数量上受限的客户端，当从当前的显示图像向其它图像进行切换时，用户可以以任意的定时进行无图像错乱的、迅速的切换。
此外，若使用本发明，则对于在图像的显示数量上受限的客户端，将来自用户所希望的多个客户端的图像数据进行合成，从而作为一个图像进行显示。
此外，若使用本发明，则对于经由无线等不稳定的传输通路进行图像数据的交互的客户端，能够以更加稳定的图像品质进行通信。
附图说明
图1是本发明的第一实施方式的系统结构的示意图；
图2是本发明的一个实施例的转换服务器的结构的示意图；
图3是本发明的一个实施例的代码转换器的结构的示意图；
图4是用于说明图像编码数据的切换的说明图；
图5是用于说明本发明的一个实施例中的图像切换的说明图；
图6是用于说明本发明的一个实施例中其它的图像切换的说明图；
图7是本发明的其它实施例的系统结构的示意图；
图8是本发明的其它实施例的转换服务器的结构的示意图。
具体实施方式
针对本发明的优选实施方式进行说明。在本发明第一实施方式的进行图像转换的系统中，包括：
接收M个图像编码数据的单元；
对接收的编码数据进行解码的M个单元；
改变接收的编码数据的
(1)编码方式、
(2)编码比特率、
(3)图像大小、
(4)帧率、
(5)类型(profile)、
(6)等级(level)、
(7)编码选项、
(8)视频分组大小、
(9)编码帧类型构成、
(10)帧内间隔、
(11)帧内宏块数
中的至少一个，从而对已解码的M个数据进行再编码的N个单元；
输出已再编码的编码数据的N个单元，
其中，M为2以上的整数，N为1以上的整数。还可进一步包括将被解码的多个编码数据组合从而生成一个图像的单元和将至少一个输出图像与其它的输入图像进行切换的单元，从而对M个图像编码数据进行转换，并将生成的N个编码数据进行输出。
下面参照附图将本实施方式的实施例作为本发明的第一实施例来进行说明。
图1示出本发明的第一实施例。如图1所示，包括会议服务器、转换服务器、A客户端、B客户端以及传输通路。会议服务器和转换服务器可以是一体化的同一服务器。
在本实施例中，会议服务器101、转换服务器102、第一A客户端103至第M的A客户端105、以及第一B客户端106至第N的B客户端107连接到作为IP(Internet Protocol，互联网协议)网的传输通路108上；各客户端是通过分组交换来收发编码数据和呼叫连接数据的终端；会议服务器101处理例如基于SIP(Session Initiation Protocol，对话初始协议)/SDP(Session Description Protocol，对话描述协议)的呼叫连接数据，从而建立各客户端和会议服务器101之间的信道。
此外，在本实施例中，A客户端能够解码、显示多个图像编码数据，而B客户端只能解码、显示一个图像编码数据。因此，A客户端向会议服务器101发送一个自己的图像编码数据，并从会议服务器101接收其他客户端的多个图像编码数据。
B客户端向转换服务器102发送一个自己的图像数据，并从转换服务器102选择并接收其他客户端的图像编码数据中的一个。
在这里，A客户端和B客户端是不同类型的客户端，所支持的编码方式、编码设定、图像大小或显示图像数量中至少有一项是不相同的。因此，在A客户端之间以及B客户端之间能够经由会议服务器101互相交换编码数据，但是要在A客户端与B客户端之间交换图像编码数据，则需要通过转换服务器102将一方的编码数据转换为另一方所支持的编码数据。
转换服务器102接收第一A客户端103至第M的A客户端105输出的图像编码数据，并转换为第一B客户端106至第N的B客户端107所支持的图像编码数据，再进行输出。
此外，还接收第一B客户端106至第N的B客户端107输出的图像编码数据，并转换为第一A客户端103至第M的A客户端105所支持的图像编码数据，再进行输出。
此时，例如在B客户端的显示器小，只能设置一个显示画面时，可以根据B客户端的用户的请求，从参加会议的其他A客户端或B客户端的图像编码数据中选择一个并输出给所述B客户端。
或者也可以由会议服务器101来选择向B客户端输出的图像数据，例如可以请求将参加会议的客户端中担任会议主席职能的用户的图像发送给B客户端，或者请求将参加会议的客户端的用户中的发言人的图像发送给B客户端。
利用图2来说明转换服务器201。转换服务器201包括：连接处理部202、第一接收部203至第M接收部205、代码转换器206、第一发送接收部207至第N发送接收部208、以及第一发送部209至第N发送部210。
连接处理部202获取与会议服务器101及各A客户端、各B客户端之间对话建立以及各客户端的能力信息的交换等与呼叫连接有关的信息，例如获得基于SIP/SDP进行的、参加会议的客户端的信息(关于SIP/SDP的详细情况，可参照例如上述的非专利文献1和非专利文献2)。
在这里，第一接收部203至第M接收部205基于用连接处理部202获得的与对话有关的信息、或预先确定的设定，接收分别由第一A客户端103至第M的A客户端105发送并由会议服务器接收再送给转换服务器201的编码数据；第一发送接收部207至第N发送接收部208分别从第一B客户端106至第N的B客户端107接收编码数据。
例如通过RTP(Real-Time Transport Protocol，实时传输协议)/UDP(User Datagram Protocol，用户数据报协议)/IP进行数据的收发，从而即使当传输通路中发生了分组的顺序交错时，也能够重排成正确的顺序，或是当进行不仅有图像，还有语音等图像之外的媒体的编码数据的转换时，能够使媒体间的同步一致(关于RTP的详细情况，可参照例如上述的非专利文献3)。
代码转换器206根据用连接处理部202获取的各客户端所支持的能力信息，即与编码方式、编码设定或编码选项有关的信息、或是预先设定的信息，将所输入的A客户端的编码数据转换为B客户端所支持的编码方式、编码设定或编码选项的编码数据，并进行输出。
此外，与之相反，输入来自B客户端的编码数据，将其转换为A客户端所支持的编码方式、编码设定、编码选项的编码数据，并进行输出。
在这里，编码方式是指例如MPEG-4或H.263、H.264等的编码方式名，或是等级、类型等。
编码设定是指比特率、图像大小(分辨率)、帧率、帧内间隔等。
编码选项是指有无再同步标记、视频分组大小、有无数据分区、有无RVLC(Reversible VLC，可逆可变长编码)、有无HEC(HeaderExtension Code，报头扩展码)、有无插入数据等。
对应于B客户端而转换的编码数据被从第一发送接收部207至第N发送接收部208发送给第一B客户端106至第N的B客户端107；对应于A客户端而转换的编码数据被从第一发送部209至第N发送部210发送给会议服务器101。
在图2中，第一接收部203至第M接收部205、及第一发送部209至第N发送部210分别独立使用与会议服务器201的对话，但接收及发送的对话可分别是一个、或是M个以下的接收对话和N个以下的发送对话。
此时，需要进行如下处理，即：分离从接收对话接收的多个编码数据，并将其传送给代码转换器206的处理；以及对来自代码转换器206的转换后的多个编码数据进行多路复用，并将其传送给发送对话的处理。
作为多路复用/分离的方法，有利用包含在RTP报头中的有效载荷类型、SSRC(Synchronization Source identifier，同步源标识符)或CSRC(Contributing Source identifier，贡献源标识符)来识别各自的编码数据的方法。当根据这些标识符来识别接收数据时，例如可以通过给每个以SDP接收的数据记载标识符来将编码数据的信息通知给通信对方。
参照图3进一步详细说明代码转换器的动作。为简化说明，在下面的说明中设M为4、N为2来说明，但M、N不限于这些数值。此外，虽然仅说明了接收一方的客户端类型(这里为A客户端)的编码数据，并对应于另一方的客户端类型(这里为B客户端)所支持的编码方式进行转换、输出这一个方向，但对于反方向，也可根据需要进行同样的处理来转换。
如图3所示，代码转换器301通过与各个接收部对应的第一解码处理部302至第四解码处理部305来对所接收的编码数据进行解码。
被解码了的解码图像数据被分别送给第一至第四解码数据缓冲器。另外，在这里，虽然解码的图像数据是作为获取YUV解码图像数据来说明的，但其他的、例如RGB等形式也是同样的。
第I图像选择、合成部310及第II图像选择、合成部311从第一解码数据缓冲器306至第四解码数据缓冲器309中的某一个读入解码图像数据，并输出给第I编码处理部312及第II编码处理部313。选择哪一个解码图像数据，可听从客户端的请求或预先确定，其中所述客户端通过连接处理部而输出所通知的编码数据。各客户端具有用于与会议服务器101进行呼叫连接的呼叫连接单元，并通过呼叫连接单元将图像的切换请求发送给会议服务器101(图1)。若会议服务器101收到图像的切换请求，则将该请求发送给转换服务器102的连接处理部202(图2)，然后连接处理部202将来自客户端的图像切换请求通知给代码转换器206的第I图像选择、合成部310及第II图像选择、合成部311(图3)。
第I编码处理部312及第II编码处理部313根据B客户端所支持的编码方式、编码设定以及编码选项对所选择的解码图像数据进行再编码，并输出。
并且，例如在用经由无线传输通路等不稳定的传输通路的对话来连接B客户端时，通过在编码时缩短帧内间隔、减小视频分组大小或增加帧内所包含的帧内宏块数，针对传输通路上的数据错误或损失能够以更稳定的品质的图像进行通信。
第I图像选择、合成部310至第II图像选择、合成部311也可同样根据客户端的请求或预先确定的设定来组合并合成多个解码图像并输出。
在本实施例中，如果例如将第一解码数据缓冲器306至第四解码数据缓冲器309中所缓冲的解码图像分别缩小1/4并进行排列，由此将四个图像作为一个图像输出给编码处理部，则即使例如在B客户端显示图像数量受限，只能显示一个图像的情况下，也可同时确认所有的四个图像。
此外，当合成了B客户端所显示的四个图像而成的图像中包含其它或自身B客户端的图像时，在图像选择、合成部310或311中，也可从第I解码数据缓冲器316、第II解码数据缓冲器317读入并进行同样的处理，其中所述第I解码数据缓冲器316、第II解码数据缓冲器317分别存储由第I解码处理部314、第II解码处理部315解码的B客户端的图像数据。另外，当B客户端不包含其它或自身B客户端的图像时，不需要该部分(第I、第II解码处理部314、315，第I、第II解码数据缓冲器316、317)。
当接收图像编码数据数量大于4(M＞4)时，可以根据来自B客户端的请求，从接收图像编码数据中选择任意四个图像，或选择每个客户端预定的图像来进行组合，也可以组合四个以上的图像来生成一个图像。
接下来利用附图来说明通过第I图像选择、合成部310及第II图像选择、合成部311切换所选择的图像的处理。
当从某图像编码数据向其它图像编码数据切换时，以往是如图4所示，会产生切换请求与实际切换之间的时间差。图中的I表示帧内，即I图像，P表示P(Predictive，预测)图像。这是由于当从第一图像编码数据401向第二图像编码数据402切换时，若没有在帧内(I)编码数据的开头进行切换，则就不能利用预测对编码后的帧进行正确解码。
当是为了提高编码效率而将帧内间隔取长的编码数据时，可能会加大从切换请求到切换实施的时间差，从而当向原本只是编码数据的开头存在帧内编码数据的编码数据切换时，在切换时势必会发生图像的错乱。
对此，根据本发明，由于将接收的图像编码数据进行一次解码后进行再编码来切换图像，所以在切换定时可进行帧内编码，从而相对于切换请求能够以最少的时间来切换图像。
如图5所示，第一图像编码数据501和第二图像编码数据504分别被解码成第一图像解码数据502和第二图像解码数据505。
在图5中，与图4一样，I、P的帧分别表示I图像、P图像。根据输出目的端的客户端所支持的图像编码方式、图像编码设定以及图像编码选项对I图像、P图像如第一图像再编码数据503和第二图像再编码数据506那样分别进行再编码。
在有从第一图像再编码数据503向第二图像再编码数据506的切换请求时，在从第二图像解码数据505再编码作为切换目标的图像编码数据的第二图像再编码数据506时，以请求定时对帧进行帧内编码。由此，即使实时进行向第二图像再编码数据506的切换，也可对以后的帧的预测编码正确解码，从而可进行无图像错乱的切换。
此外，当原本客户端不转换切换源的图像编码数据也可以解码时，第一图像编码数据501不需要解码和再编码。
此外如图6所示，当对不仅包括I、P图像，还包括进行双向预测的B(Bi-directionally predictive)图像的图像编码数据进行转换时，在对切换源的图像编码数据进行再编码时，也进行帧类型的改变。
第一图像编码数据601和第二图像编码数据604被分别解码为第一图像解码数据602和第二图像解码数据605。根据输出目的端的客户端所支持的图像编码方式、图像编码设定以及图像编码选项，分别对第一图像解码数据602和第二图像解码数据605如第一图像再编码数据603和第二图像再编码数据606那样进行再编码。
当有从第一图像再编码数据603向第二图像再编码数据606的切换请求时，不仅在从第二图像解码数据605再编码作为切换目标的图像编码数据的第二图像再编码数据606时，以请求定时对帧进行帧内编码，而且还在从第一图像解码数据602再编码切换源的第一图像再编码数据603时，进行编码以使请求时刻紧挨的前面的帧为P图像。由此，对第一图像再编码数据603的切换之间的最后的B图像也可进行正确解码，从而可进行无图像错乱的切换。
作为经由所述无线传输通路等不稳定的传输通路的会议服务器，不仅采用使用IEEE802.11a/b/g等无线LAN(Local Area Network，局域网)的客户端，还可采用通过图7所示的系统结构利用线路交换方式的移动电话。
当采用图7所示的结构时，网关701进行线路交换与分组交换的协议转换(例如通过H.223对多路复用的数据分离和分组等)以及呼叫的建立处理(与H.245消息的SIP/SDP转换)。第一C客户端702至第N的C客户端703为具有TV电话功能的移动电话。此时，可通过利用转换服务器102的图像的选择和合成，通过转换编码方式(例如等级)、编码设定(例如图像大小或比特率)、编码选项的差异，来参加C客户端的会议。
此外，在本实施例中，例如A客户端在能够将B客户端输出的图像编码数据保持原样地解码时，不需要进行反向的转换处理。此时，可以构成图8所示的转换服务器，并且，第一发送接收部803至第N发送接收部804在为了合成多个图像来生成一个图像而将来自第一B客户端106至第N的B客户端107的编码数据输出给代码转换器802的同时，还将其输出给第一发送部209至第N发送部210。
此外，B客户端可以显示一个以上的图像，例如当图像显示数为2时，若准备2N个图2中的发送接收部以及图3中的图像选择、合成部、编码处理部，即与B客户端的所有图像显示数相等的个数，则可得到相同的效果。
或者，当请求多个B客户端或C客户端向相同的图像数据进行切换时，可将图3中的同一编码处理部的输出发送这些客户端，从而能够削减编码处理的处理量。此时，在这些客户端的切换请求定时不是同时的情况下，若编码处理部在各个客户端的每个切换请求定时输出进行了帧内编码的数据，则任何客户端都能够进行无图像错乱的、迅速的切换。
此外，在如图7所示的结构中进一步增加图1、2所示的B客户端，从而成为有三种以上的客户端参加会议中，也可通过转换服务器进行相同的处理，从而进行相互的交换。
此外，对于转换服务器201中的连接处理部202、第一至第M接收部203至205、代码转换器206、第一至第N发送接收部207至208，当然也可以通过构成转换服务器201的计算机所执行的程序控制来实现各自的功能、处理。作为实施例的变形，至少一个客户端也可经由转换服务器交互图像数据之外的声音信号；转换服务器也可通过来自客户端的DTMF信号来进行图像的切换。
以上是根据上述实施例对本发明进行的说明，但本发明并不仅限于上述实施例的结构，当然也包括本领域技术人员在本发明的权利要求范围内进行的各种变形和修改。

Claims (27)

1.一种图像切换方法，其特征在于，包括：
(1.1)至少一个接收M个图像编码数据的步骤，其中M为2以上的任意整数；
(1.2)对接收的M个图像编码数据中的至少一个进行解码的步骤；
(1.3)响应于来自客户端的请求，改变接收的M个图像编码数据中的至少一个图像编码数据的如下特性中的至少一个：
1)编码方式、
2)编码比特率、
3)图像大小、
4)帧率、
5)类型、
6)等级、
7)编码选项、
8)视频分组大小、
9)编码帧类型构成、
10)帧内间隔、
11)帧内宏块数，
从而基于改变后的特性对已解码的数据进行再编码的至少一个步骤；
(1.4)至少一个将已再编码的图像编码数据输出给发送所述请求的客户端的步骤；以及
(1.5)根据来自所述客户端的切换请求，将要输出到所述客户端的所述M个图像编码数据中的至少一个切换为其它图像编码数据的步骤，
其中当根据切换请求进行图像编码数据的切换时，将切换目标的图像的解码图像数据进行帧内编码后再进行切换。
2.一种图像切换方法，其特征在于，包括：
(2.1)接收M个图像编码数据的步骤；
(2.2)分别对接收的M个图像编码数据进行解码的M个步骤；
(2.3)响应于来自客户端的请求，改变接收的图像编码数据的如下特性中的至少一个：
1)编码方式、
2)编码比特率、
3)图像大小、
4)帧率、
5)类型、
6)等级、
7)编码选项、
8)视频分组大小、
9)编码帧类型构成、
10)帧内间隔、
11)帧内宏块数，
从而基于改变后的特性对已解码的数据进行再编码的N个步骤；
(2.4)N个将已再编码的图像编码数据输出给发送所述请求的客户端的步骤；以及
(2.5)根据来自所述客户端的切换请求，将要输出到所述客户端的N个图像编码数据中的至少一个切换为其它图像编码数据的步骤，
其中M为2以上，N为1以上的任意整数，
其中当根据切换请求进行图像编码数据的切换时，将切换目标的图像的解码图像数据进行帧内编码后再进行切换。
3.如权利要求1所述的图像切换方法，
其中步骤(1.1)包括分离经多路复用的M个图像编码数据的步骤；并且
步骤(1.4)包括至少一个对已再编码的图像编码数据进行多路复用并输出的步骤。
4.如权利要求2所述的图像切换方法，
其中步骤(2.1)包括分离经多路复用的M个图像编码数据的步骤；并且
步骤(2.4)包括至少一个对已再编码的N个图像编码数据进行多路复用并输出的步骤。
5.如权利要求1至4中任一个所述的图像切换方法，其特征在于，
当进行所述再编码时，对所述M个图像编码数据中的多个图像编码数据进行解码，并将得到的解码图像中的两个以上进行组合，从而生成一个以上M个以下的图像并进行再编码。
6.如权利要求1至4中任一个所述的图像切换方法，其特征在于，
当进行所述再编码时，进行
(1)帧内间隔的缩短
(2)视频分组大小的缩小
(3)帧内宏块数的增加
中的至少一个。
7.一种图像切换方法，其特征在于，包括：
(7.1)至少一个接收M个图像编码数据的步骤，其中M为2以上的任意整数；
(7.2)对接收的M个图像编码数据中的至少一个进行解码的步骤；
(7.3)响应于来自对图像编码数据进行中转的会议服务器的请求，改变接收的M个图像编码数据中的至少一个图像编码数据的如下特性中的至少一个：
1)编码方式、
2)编码比特率、
3)图像大小、
4)帧率、
5)类型、
6)等级、
7)编码选项、
8)视频分组大小、
9)编码帧类型构成、
10)帧内间隔、
11)帧内宏块数，
从而基于改变后的特性对已解码的数据进行再编码的至少一个步骤；
(7.4)至少一个将已再编码的图像编码数据输出给参加会议的客户端的步骤；以及
(7.5)根据来自所述会议服务器的切换请求，将要输出到参加会议的客户端的所述M个图像编码数据中的至少一个切换为其它图像编码数据的步骤，
其中当根据切换请求进行图像编码数据的切换时，将切换目标的图像的解码图像数据进行帧内编码后再进行切换。
8.如权利要求1至4和7中任一个所述的图像切换方法，其特征在于，
当根据切换请求进行图像编码数据的切换时，将切换源的图像的解码图像数据以预定的帧类型进行编码后再进行切换。
9.一种图像切换装置，用于进行图像编码数据的切换，其特征在于，包括：
(9.1)至少一个接收M个图像编码数据的单元，其中M为2以上的任意整数；
(9.2)对接收的M个图像编码数据中的至少一个进行解码的单元；
(9.3)响应于来自客户端的请求，改变接收的M个图像编码数据中的至少一个图像编码数据的如下特性中的至少一个：
1)编码方式、
2)编码比特率、
3)图像大小、
4)帧率、
5)类型、
6)等级、
7)编码选项、
8)视频分组大小、
9)编码帧类型构成、
10)帧内间隔、
11)帧内宏块数，
从而基于改变后的特性对已解码的数据进行再编码的至少一个单元；
(9.4)至少一个将已再编码的图像编码数据输出给发送所述请求的客户端的单元；以及
(9.5)根据来自所述客户端的切换请求，将要输出到所述客户端的所述M个图像编码数据中的至少一个切换为其它图像编码数据的单元，
其中当根据切换请求进行图像编码数据的切换时，将切换目标的图像的解码图像数据进行帧内编码后再进行切换。
10.一种图像切换装置，用于进行图像编码数据的切换，其特征在于，包括：
(10.1)接收M个图像编码数据的单元，其中M为2以上的任意整数；
(10.2)分别对接收的M个图像编码数据进行解码的M个单元；
(10.3)响应于来自客户端的请求，改变接收的图像编码数据的如下特性中的至少一个：
1)编码方式、
2)编码比特率、
3)图像大小、
4)帧率、
5)类型、
6)等级、
7)编码选项、
8)视频分组大小、
9)编码帧类型构成、
10)帧内间隔、
11)帧内宏块数，
从而基于改变后的特性对已解码的数据进行再编码的N个单元，其中N为1以上的任意整数；
(10.4)分别将已再编码的N个编码数据输出给发送所述请求的客户端的N个单元；以及
(10.5)根据来自所述客户端的切换请求，将要输出到所述客户端的N个图像编码数据中的至少一个切换为其它图像编码数据的单元，
其中当根据切换请求进行图像编码数据的切换时，将切换目标的图像的解码图像数据进行帧内编码后再进行切换。
11.如权利要求9所述的图像切换装置，其中
所述特征(9.1)的至少一个单元适合于接收并分离经多路复用的M个图像编码数据，其中M为2以上的任意整数；并且
所述特征(9.4)的至少一个单元适合于对已再编码的图像编码数据进行多路复用并输出。
12.如权利要求10所述的图像切换装置，其中
所述特征(10.1)的至少一个单元适合于接收并分离经多路复用的M个图像编码数据，其中M为2以上的任意整数；并且
所述特征(10.4)的至少一个单元适合于对已再编码的N个编码数据进行多路复用并输出。
13.如权利要求9至12中任一个所述的图像切换装置，其特征在于，
所述再编码的单元在进行再编码时，对所述M个图像编码数据中的多个图像编码数据进行解码，
并将得到的解码图像中的两个以上进行组合，从而生成一个以上M个以下的图像并进行再编码。
14.如权利要求9至12中任一个所述的图像切换装置，其特征在于，
所述再编码的单元在进行所述再编码时，进行
1)帧内间隔的缩短
2)视频分组大小的缩小
3)帧内宏块数的增加
中的至少一个。
15.一种图像切换装置，用于进行图像编码数据的切换，其特征在于，包括：
(15.1)至少一个接收M个图像编码数据的单元，其中M为2以上的任意整数；
(15.2)对接收的M个图像编码数据中的至少一个进行解码的单元；
(15.3)响应于来自对图像编码数据进行中转的会议服务器的请求，改变接收的M个图像编码数据中的至少一个图像编码数据的如下特性中的至少一个：
1)编码方式、
2)编码比特率、
3)图像大小、
4)帧率、
5)类型、
6)等级、
7)编码选项、
8)视频分组大小、
9)编码帧类型构成、
10)帧内间隔、
11)帧内宏块数，
从而基于改变后的特性对已解码的数据进行再编码的至少一个单元；
(15.4)至少一个将已再编码的图像编码数据输出给参加会议的客户端的单元；以及
(15.5)根据来自会议服务器的切换请求，将要输出到参加会议的客户端的所述M个图像编码数据中的至少一个切换为其它图像编码数据的单元，
其中当根据切换请求进行图像编码数据的切换时，将切换目标的图像的解码图像数据进行帧内编码后再进行切换。
16.如权利要求9至12和15中任一个所述的图像切换装置，其特征在于，
当根据切换请求进行图像编码数据的切换时，将切换源的图像的解码图像数据以预定的帧类型进行编码后再进行切换。
17.一种信息通信系统，包括转换服务器和多个客户端，所述转换服务器和多个客户端连接到传输通路上，并至少传输图像编码数据，所述信息通信系统的特征在于，
所述转换服务器包括如权利要求9至12中任一个所述的图像切换装置。
18.一种信息通信系统，包括转换服务器、会议服务器和多个客户端，所述转换服务器、会议服务器和多个客户端连接到传输通路上，并至少传输图像编码数据，所述信息通信系统的特征在于，
所述转换服务器包括如权利要求15所述的图像切换装置。
19.如权利要求18所述的信息通信系统，其特征在于，
所述转换服务器还具有下述单元，即：当根据切换请求进行图像编码数据的切换时，将切换源的图像的解码图像数据以预定的帧类型进行编码后再进行切换。
20.一种转换服务器，其经由传输通路而与多个客户端连接，所述转换服务器包括如权利要求9至12和15中任一个所述的图像切换装置。
21.如权利要求20所述的转换服务器，包括：
接收来自客户端的图像编码数据的单元；
下述的单元，即：转换所述接收的图像编码数据的图像编码方式并发送转换后的数据，所述图像编码方式是与客户端可使用的编码方式、编码设定、编码选项以及所述传输通路的状态中的至少一个相对应地转换的；以及
下述的单元，即：将从所述图像编码数据中选择的多个图像编码数据进行解码，然后合成一个图像并再编码，然后发送到在图像的显示数量上受限的客户端。
22.如权利要求21所述的转换服务器，其特征在于，
包括多个解码处理部，所述解码处理部分别对来自各个客户端的图像编码数据进行解码，
还包括下述的单元，即：当有来自所述客户端的显示图像的切换请求时，将切换目标的图像的解码图像数据进行帧内编码并发送。
23.如权利要求22所述的转换服务器，其特征在于，
还包括下述的单元，即：当有来自所述客户端的切换请求时，将切换源的图像的解码图像数据以预定的帧类型进行编码并切换。
24.如权利要求23所述的转换服务器，其特征在于，
将通过所述多个解码处理部解码的解码图像数据储存在多个解码数据缓冲器中；
具有图像选择、合成单元，用于选择所述多个解码数据缓冲器中的任何的解码图像数据进行读入，并输出给编码处理部，
所述编码处理部按着客户端所支持的编码方式、编码设定以及编码选项对所选择解码图像数据进行再编码并输出。
25.如权利要求24所述的转换服务器，其特征在于，
所述图像选择、合成单元根据客户端的请求或预定的设定组合多个解码图像来进行合成，并输出。
26.如权利要求25所述的转换服务器，其特征在于，
在所述多个解码数据缓冲器的数目为K个的情况下，所述图像选择、合成单元将K个解码数据缓冲器中所缓冲的解码图像分别缩小至1/K并排列，由此将K个图像作为一个图像输出给所述编码处理部。
27.如权利要求24、25或26所述的转换服务器，其特征在于，
若通过合成所述客户端所显示的多个图像而创建的图像中包括客户端自身或其它客户端的图像数据，则所述图像选择、合成单元从所述解码数据缓冲器读入解码图像，并组合所述解码图像来进行合成并输出，其中所述客户端接收来自所述编码处理部的再编码输出，所述解码数据缓冲器存储通过与所述客户端自身或其它客户端相对应的解码处理部所解码的图像数据。
CNB2005100930995A 2004-08-25 2005-08-25 图像编码数据的转换方法以及装置、系统 Active CN100553329C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004245732A JP2006067124A (ja) 2004-08-25 2004-08-25 画像符号化データの切り替え方法および装置、システムならびにプログラム
JP2004245732 2004-08-25

Publications (2)

Publication Number Publication Date
CN1741610A CN1741610A (zh) 2006-03-01
CN100553329C true CN100553329C (zh) 2009-10-21

Family

ID=35810074

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005100930995A Active CN100553329C (zh) 2004-08-25 2005-08-25 图像编码数据的转换方法以及装置、系统

Country Status (5)

Country Link
US (1) US7653251B2 (zh)
EP (1) EP1633120A3 (zh)
JP (1) JP2006067124A (zh)
KR (2) KR100763269B1 (zh)
CN (1) CN100553329C (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109479113A (zh) * 2016-07-21 2019-03-15 高通股份有限公司 用于在多媒体通信中使用压缩并行编解码器的方法和装置

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1851962B1 (en) * 2005-02-16 2012-11-14 NMS Communications Corporation Methods and apparatus for delivering services
CA2616194C (en) * 2005-07-28 2015-02-17 Oracle International Corporation Revenue management system and method
JP4585479B2 (ja) * 2006-03-30 2010-11-24 株式会社東芝 サーバ装置および映像配信方法
BRPI0717900A2 (pt) 2006-12-06 2013-10-29 Nec Corp "servidor ptt, sistema de comunciação ptt, método de comunicação ptt e programa para fazer um servidor ptt executar comunicação ptt"
CN101207798B (zh) * 2006-12-18 2010-06-16 中兴通讯股份有限公司 一种基于媒体服务器的视频变形实现方法
KR101100458B1 (ko) * 2007-03-28 2011-12-30 닛본 덴끼 가부시끼가이샤 콘텐츠 배신 시스템, 변환 장치 및 그들에 이용하는 콘텐츠 배신 방법
KR20090132627A (ko) * 2007-04-04 2009-12-30 닛본 덴끼 가부시끼가이샤 콘텐츠 배신 시스템, 콘텐츠 배신 방법 및 그들에 이용하는 변환 장치
HU0700409D0 (en) * 2007-06-11 2007-08-28 3D Histech Kft Method and system for accessing a slide from a remote workstation
JP4600511B2 (ja) * 2008-04-23 2010-12-15 沖電気工業株式会社 コーデック変換装置、ゲートウェイ装置及びコーデック変換方法
JP5419124B2 (ja) * 2008-04-24 2014-02-19 日本電気株式会社 ゲートウェイ装置と通信方法とプログラム
US8793749B2 (en) * 2008-08-25 2014-07-29 Broadcom Corporation Source frame adaptation and matching optimally to suit a recipient video device
WO2010027082A1 (ja) * 2008-09-08 2010-03-11 日本電気株式会社 カンファレンスサーバとビデオカンファレンスシステムと方法並びプログラム
WO2010035791A1 (ja) * 2008-09-26 2010-04-01 日本電気株式会社 ゲートウェイ装置と方法とシステム並びにプログラム
CN101742299B (zh) * 2008-11-21 2012-06-27 中国科学院空间科学与应用研究中心 一种符合ccsds标准的图像无损压缩处理系统及方法
CN102273207A (zh) * 2009-01-08 2011-12-07 日本电气株式会社 图像转换装置、方法以及程序
KR101641716B1 (ko) * 2009-09-02 2016-07-21 에스케이텔레콤 주식회사 통합 영상 부호화 방법 및 장치
JP2012074981A (ja) * 2010-09-29 2012-04-12 Nec Corp 多地点会議接続装置、多地点会議システム、多地点会議接続方法およびプログラム
JP2012099890A (ja) * 2010-10-29 2012-05-24 Sony Corp 画像処理装置、画像処理方法、および画像処理システム
US8842875B2 (en) 2011-05-26 2014-09-23 Digimarc Corporation Image related methods and systems
US8699747B2 (en) * 2011-05-26 2014-04-15 Digimarc Corporation Image-related methods and systems
EP2547062B1 (en) * 2011-07-14 2016-03-16 Nxp B.V. Media streaming with adaptation
WO2012106898A1 (zh) * 2011-07-18 2012-08-16 华为技术有限公司 多路音视频传输和处理方法、装置及系统
JP5631832B2 (ja) * 2011-09-27 2014-11-26 株式会社東芝 画像中継装置、画像中継方法及び画像中継プログラム
CN102497541B (zh) * 2011-12-21 2017-09-26 北京硅盾安全技术有限公司 一种智能视频信息分配与编码方法
WO2013132828A1 (ja) * 2012-03-05 2013-09-12 パナソニック株式会社 通信システムおよび中継装置
JP5942258B2 (ja) * 2012-06-12 2016-06-29 パナソニックＩｐマネジメント株式会社 映像表示システム、映像合成再符号化装置、映像表示装置、映像表示方法、及び映像合成再符号化プログラム
JP6330354B2 (ja) * 2013-02-25 2018-05-30 株式会社リコー 通信管理システム、通信管理方法、及びプログラム
JP6347115B2 (ja) * 2013-02-28 2018-06-27 株式会社リコー 通信管理システム、通信管理方法、及びプログラム
WO2014139581A1 (en) * 2013-03-15 2014-09-18 Robert Bosch Gmbh Switching apparatus for switching compressed video streams, conference system with the switching apparatus and process for switching compressed video streams
CN103338143A (zh) * 2013-05-27 2013-10-02 四川长虹电器股份有限公司 实现图像分享的方法、装置及系统
US10218981B2 (en) * 2015-02-11 2019-02-26 Wowza Media Systems, LLC Clip generation based on multiple encodings of a media stream
FI3329670T3 (fi) * 2015-07-28 2023-01-13 Virtuaalinen videoajurin siltajärjestelmä monilähteen kollaboraatiota varten verkkoneuvottelujärjestelmässä
JP6387972B2 (ja) * 2016-01-25 2018-09-12 ブラザー工業株式会社 通信方法、通信システム、及び、通信プログラム
JP6669617B2 (ja) * 2016-09-12 2020-03-18 ルネサスエレクトロニクス株式会社 動画像処理システム
CN106454355B (zh) * 2016-10-24 2019-03-01 西南科技大学 一种视频编码方法及装置
GB2563275B (en) * 2017-06-09 2019-10-09 Sony Interactive Entertainment Inc Image processing device and system
KR101953701B1 (ko) * 2017-10-20 2019-03-04 국방과학연구소 다중채널 영상 처리 장치 및 방법
CN109982023B (zh) * 2017-12-28 2020-11-13 成都鼎桥通信技术有限公司 一种视频会话中的分辨率调整方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0282132B1 (en) 1987-03-09 1992-09-30 The Procter & Gamble Company Compositions and their use for treating gastrointestinal disorders
JP3146085B2 (ja) 1993-03-11 2001-03-12 三菱電機株式会社 文字認識処理システム
JP3058028B2 (ja) * 1994-10-31 2000-07-04 三菱電機株式会社 画像符号化データ再符号化装置
US6072830A (en) * 1996-08-09 2000-06-06 U.S. Robotics Access Corp. Method for generating a compressed video signal
US6680976B1 (en) * 1997-07-28 2004-01-20 The Board Of Trustees Of The University Of Illinois Robust, reliable compression and packetization scheme for transmitting video
KR100338725B1 (ko) * 1998-05-02 2002-07-18 윤종용 목표부호량에근접시킨영상신호부호화방법및그에따른장치
EP1233614B1 (fr) * 2001-02-16 2012-08-08 C.H.I. Development Mgmt. Ltd. XXIX, LLC Système de transmission et de traitement vidéo pour générer une mosaique utilisateur
JP3788260B2 (ja) * 2001-04-09 2006-06-21 日本電気株式会社 配信システムとその配信方法、及び配信プログラム
GB2384932B (en) * 2002-01-30 2004-02-25 Motorola Inc Video conferencing system and method of operation
US20040008249A1 (en) * 2002-07-10 2004-01-15 Steve Nelson Method and apparatus for controllable conference content via back-channel video interface
US7523482B2 (en) * 2002-08-13 2009-04-21 Microsoft Corporation Seamless digital channel changing
US7283589B2 (en) * 2003-03-10 2007-10-16 Microsoft Corporation Packetization of FGS/PFGS video bitstreams

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
On Multipoint Control Units for Videoconferencing. M.H.Willebeek-Lemair, D.D.Kandlur, Z.-Y.Shae.IEEE. 1994
On Multipoint Control Units for Videoconferencing. M.H.Willebeek-Lemair,D.D.Kandlur, Z.-Y.Shae.IEEE. 1994 *
基干MAP-CA的视频多点处理系统的研究与实现. 肖进胜，谢文娟，肖胜华，沈未名.计算机应用，第24卷第7期. 2004
基干MAP-CA的视频多点处理系统的研究与实现. 肖进胜，谢文娟，肖胜华，沈未名.计算机应用，第24卷第7期. 2004 *
用于会议电视MCU的交换处理单元. 郭玉厂.电讯技术，第2期. 2003
用于会议电视MCU的交换处理单元. 郭玉厂.电讯技术，第2期. 2003 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109479113A (zh) * 2016-07-21 2019-03-15 高通股份有限公司 用于在多媒体通信中使用压缩并行编解码器的方法和装置
CN109479113B (zh) * 2016-07-21 2021-03-26 高通股份有限公司 用于在多媒体通信中使用压缩并行编解码器的方法和装置
US11171999B2 (en) 2016-07-21 2021-11-09 Qualcomm Incorporated Methods and apparatus for use of compact concurrent codecs in multimedia communications

Also Published As

Publication number Publication date
KR100763269B1 (ko) 2007-10-08
US20060045363A1 (en) 2006-03-02
US7653251B2 (en) 2010-01-26
KR20060053201A (ko) 2006-05-19
EP1633120A3 (en) 2008-02-27
EP1633120A2 (en) 2006-03-08
KR20070074510A (ko) 2007-07-12
CN1741610A (zh) 2006-03-01
JP2006067124A (ja) 2006-03-09

Similar Documents

Publication Publication Date Title
CN100553329C (zh) 图像编码数据的转换方法以及装置、系统
WO2005099243A1 (ja) 音声通信方法及び装置
KR101138518B1 (ko) Ｐｔｔ 서버, ｐｔｔ 통신 시스템, ｐｔｔ 통신 방법, 및 프로그램
CN101536088A (zh) 用于提供冗余管理的系统和方法
CN100579105C (zh) 一种数据流处理的方法和装置
KR100703421B1 (ko) 트랜스코딩을 이용한 동영상메일 통신장치 및 방법
US8477918B2 (en) Multimedia providing service
JP2012151555A (ja) テレビ会議システム、テレビ会議中継装置、テレビ会議中継方法および中継プログラム
WO2010035787A1 (ja) ゲートウェイ装置と方法とシステム並びにプログラム
JP5257448B2 (ja) サーバ装置と通信方法ならびにプログラム
WO2010027082A1 (ja) カンファレンスサーバとビデオカンファレンスシステムと方法並びプログラム
US8564639B2 (en) Multimedia communication system, multimedia communication device and terminal
US8588379B2 (en) Multimedia communication system, multimedia communication device and terminal
JP5516409B2 (ja) ゲートウェイ装置と方法とシステム並びに端末
US9491301B2 (en) Multimedia providing service
JPWO2009145294A1 (ja) サーバ装置と通信方法ならびにプログラム
JP2011101246A (ja) 通信システム、通信装置、通信方法およびプログラム
WO2010035776A1 (ja) サーバ装置及び通信システムと通信方法とプログラム
CN114500914A (zh) 音视频转发方法、装置、终端与系统
KR100724117B1 (ko) 실시간 영상 전송을 위한 단말기
JP2005073057A (ja) デジタル通話装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160301

Address after: Tokyo, Japan

Patentee after: Rakuten Inc.

Address before: Tokyo, Japan

Patentee before: NEC Corp.

CP01 Change in the name or title of a patent holder

Address after: Tokyo, Japan

Patentee after: Lotte Group Co.,Ltd.

Address before: Tokyo, Japan

Patentee before: Rakuten, Inc.

CP01 Change in the name or title of a patent holder