CN102138336A - 动态图像数据的分配方法 - Google Patents

动态图像数据的分配方法 Download PDF

Info

Publication number
CN102138336A
CN102138336A CN2009801339886A CN200980133988A CN102138336A CN 102138336 A CN102138336 A CN 102138336A CN 2009801339886 A CN2009801339886 A CN 2009801339886A CN 200980133988 A CN200980133988 A CN 200980133988A CN 102138336 A CN102138336 A CN 102138336A
Authority
CN
China
Prior art keywords
image data
dynamic image
terminal
mentioned
information terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801339886A
Other languages
English (en)
Other versions
CN102138336B (zh
Inventor
后藤由光
柿井俊昭
畑洋一
藤田康仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Electric Industries Ltd
Original Assignee
Sumitomo Electric Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Electric Industries Ltd filed Critical Sumitomo Electric Industries Ltd
Publication of CN102138336A publication Critical patent/CN102138336A/zh
Application granted granted Critical
Publication of CN102138336B publication Critical patent/CN102138336B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4424—Monitoring of the internal components or processes of the client device, e.g. CPU or memory load, processing speed, timer, counter or percentage of the hard disk space used
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4516—Management of client data or end-user data involving client characteristics, e.g. Set-Top-Box type, software version or amount of memory available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6373—Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences

Abstract

本发明涉及一种动态图像数据的分配方法，其不受随时间经过而变化的处理负荷的不均状况、连接的网络的频带状况的影响，可抑制各信息终端的处理负荷增大。在从发送侧信息终端(120、130)到接收侧信息终端(110)的动态图像数据的分配动作中，接收侧信息终端(110)以一定时间间隔对发送侧信息终端(120、130)重复动态图像数据的发送要求时，作为接收限制信息，在提前计算出自身的图像帧可接收量及自身的负荷容许量中至少任一方的数据量后，将该数据量及作为该数据量的计算依据的数据结构要素中至少任一方的上限值依次通知发送侧信息终端(120、130)。

Description

动态图像数据的分配方法
技术领域
本发明涉及一种在各信息终端之间收发的可见信息中含有的动态图像数据的分配方法，其适用于由借助网络彼此连接的多个信息终端所构成的电视会议系统等双向数据通信系统。
背景技术
数据通信线路中的通信速度近年来飞跃性地加速，在个人所有的个人计算机(以下称为PC)等信息终端之间，也日常性地进行包括动态图像数据、音频数据等的大容量可见信息的收发。尤其是在这样的通信环境下，可简单地构筑实现了实时双向数据通信的系统。图1的区域(a)是表示电视会议系统等、利用网络线路及PC等信息终端等已有的网络/资源可构筑的双向数据通信系统的构成的图。该双向数据通信系统由网络100、单独与该网络100连接的多个信息终端(终端A110、终端B120及终端C130)构成。并且，在构成系统的一部分的终端A110和终端B120之间，通过网络100进行动态图像数据等可见信息的收发100a(包括发送要求和数据分配)。同样，在终端A110和终端C130之间，也通过网络100进行动态图像数据等可见信息的收发100b。在终端B120和终端C130之间，通过网络100进行动态图像数据等可见信息的收发100c(包括发送要求和数据分配)。此外，终端A110具有控制部110a(相当于PC中的CPU)，终端B120具有控制部120a，终端C130具有控制部130a，实际的通信控制、各种数字处理在这些控制部110a～130a中进行。
但是，现实情况下利用限制了庞大动态图像数据的网络/资源进行分配时，因各信息终端的处理能力、网络的线路速度等存在限制，需要减少数据量本身。因此，压缩分配的动态图像数据、音频数据的技术广泛地得以研究，并被实际应用。例如在专利文献1中公开了如下图像通信技术：不对操作者、各信息终端造成过大负担，可进行适于接收侧客户的终端种类等通信环境的图像数据的收发。而在专利文献2中，作为实现相对于分辨率方向的信息更新性的方式，公开了利用了延展性的编码装置、其方法、程序等。
并且，专利文献3公开了可实现与服务器和接收侧客户之间的独立通信环境对应的数据通信的技术。即，对于从服务器发送的图像数据的质量，当服务器和接收侧客户之间的线路速度较低时，来自该接收侧客户的要求所对应的质量的图像数据由服务器发送到接收侧客户。
专利文献1：日本特开2006-174045号公报
专利文献2：日本特开2005-094054号公报
专利文献3：日本特开平11-161571号公报
发明内容
发明人对现有的动态图像数据的分配方法进行了详细研究，结果发现了下述课题。
即，在多个信息终端之间进行可见信息收发的现有双向数据通信系统正在转换为利用了宽带的PC系统。但动态图像数据、音频数据的分配时使用的宽带的使用费用较低，因此存在不考虑分配的数据量的控制等情况。这是因为，普遍认为高速化的宽带环境下似乎不会产生问题。但因各信息终端的数据处理性能不均匀，所以无法忽略在不同性能的信息终端之间的双向数据通信中易于产生障碍的现状。例如，动态图像数据从处理速度快的PC分配到处理速度慢的PC时，在该处理速度慢的PC中来不及进行接收数据的处理。
并且，在近年来得以实用化的H.264(MPEG-4AVC，以下将包括这些下一代图像压缩技术的技术在内简称为MPEG格式)等动画分配技术中，在发送侧信息终端中，可变更一定时间内的帧数，但根据接收侧信息终端的要求发送可处理的帧时，产生变更帧数并发送之前的延迟等，无法进行实时处理。
具体而言，通过将图1的区域(a)所示的个人所有的PC等信息终端110～130连接到已有的网络100，在可轻松构筑多人的双向数据通信系统的通信环境下，从经验可知仅通过网络/资源的负荷管理无法进行无压力的网络/交流。
其最大原因是，在各信息终端中，背景的处理独立于双向数据通信而进行。换句话说，这是因为，如图1的区域(b)所示，通过网络100彼此连接的终端A110～终端A130各自的处理负荷(CPU运行率)随着时间的经过而时刻变化。例如，在图1的区域(b)中，在时刻T1，终端A110的处理负荷具有降低趋势，可容许与一定程度的数据收发处理对应的负荷，在终端B120中，可容许充分的处理负荷。而时刻T1的终端C130的处理负荷非常高，变为无法容许新的数据收发处理负荷的状态。并且在时刻T2，终端A110中的处理负荷高，但终端B120、终端C130中的处理负荷低，很明显，终端A110的处理能力降低，成为终端A110、终端B120、终端C130之间的双向数据通信中的瓶颈。进一步，在时刻T3，终端A110中的处理负荷低，但终端B120、终端C130中的处理负荷变高。此时，终端B120及终端C130各自的处理能力降低，成为终端A110、终端B120、终端C130之间的双向数据通信中的瓶颈。
如上所述，忽略通过网络彼此连接的终端A110、终端B120、终端C130各自的负荷状态而进行一定量的可见信息的双向数据通信时，在成为瓶颈的信息终端中，超过PC的处理能力，产生监视器上显示的影像、扬声器输出的音频的紊乱等。即，因忽略接收侧终端中的图像数据、音频数据的处理情况并由发送侧终端持续进行数据发送，所以接收侧信息终端的影像重放处理变慢。相反，发送侧信息终端的处理负荷变大时，接收侧信息终端的影像重放处理也变慢。例如，上述专利文献3中的作为服务器的分配对象的信息终端个数随着时间的经过而时刻变化。因此，在处理高峰(有来自多个信息终端的发送要求时)，超过了服务器的处理能力的极限，随着来自该服务器的图像数据的发送延迟，接收侧信息终端的影像重放处理变慢。
此外，除了上述图像帧的编码、解码、显示处理外，各信息终端中的处理负荷还包括将通过网络接收的数据(暂时存储到通信用缓冲存储器)从缓冲存储器取出的处理负荷。通常在PC等信息终端中，通过网络接收的数据通过软件暂时存储到通信用缓冲存储器中，应用程序软件取出所存储的数据来进行规定的处理。此时，以电学方式到达PC的网卡等通信用I/O部的数据包在该信息终端的处理负荷增大时，到应用软件取出之前需要时间。此时，实质上是缓冲存储器溢位的状态，因此成为导致接收数据失败的原因。
本发明是为解决上述课题而提出的，其目的在于提供一种动态图像数据的分配方法，其不受通过网络彼此连接的多个信息终端之间的处理负荷的不均、连接的网络的频带状况的影响，具有可进行实时运动图像分配的构造。
本发明涉及的动态图像数据的分配方法适用于由借助网络彼此连接的多个信息终端所构成的电视会议系统等双向数据通信系统。因此，相对于分配到网络上的动态图像数据，通过网络彼此连接的各个信息终端既可以是接收端，也可以是发送源。
其中，通过该双向数据通信系统收发的可见信息除了动态图像数据、各信息终端的操作者等的音频外，还包括静止图像数据、文本数据等有助于双向对话的信息。尤其是，可见信息中含有的动态图像数据在各信息终端的收发动作中进行编码(数据压缩)及解码(数据扩展)，因此其分配动作的效率化很大程度上取决于各信息终端的数据处理能力。在本发明涉及的动态图像数据的分配方法中，其特征在于，通过接收侧信息终端控制数据分配动作。因此，在该动态图像数据的分配方法中适用的动态图像数据优选是具有以下构造的动态图像数据：具有在时间轴方向上未被压缩、且各图像帧可独立于邻接的图像帧地压缩/扩展的帧构造；或者具有特定的图像帧组可独立于前后图像帧组地进行重放的帧构造(构成一个帧组的多个图像帧之间进行基于帧间预测的时间轴方向的压缩，也没有问题)。
作为可作为本发明分配对象的动态图像数据，积极利用了上述帧构造的特征，因此优选：主要根据作为静止图像的压缩方式而公知的JPEG(或JPEG2000)格式压缩各图像帧的Motion-JPEG(或Motion-JPEG2000)格式的动态图像数据。即，收发的动态图像数据的总数据量不取决于作为数据结构要素收发的图像帧数，而取决于“图像帧数”ד图像分辨率(尺寸)”ד表现一个像素的位数”。但是，总数据量的增减只要控制图像帧数、图像分辨率及表现一个像素的位数中的任意一个即可，尤其是控制图像帧数较为有效。因此，沿时间轴方向未被压缩的、对各个图像帧可压缩/扩展的JPEG格式的动态图像数据中，即使在丢失任意图像帧的情况下，也不会影响剩余图像帧的编码，因此尤为有效。
但利用了前后邻接的图像帧之间的差分信息等的、在时间轴方向上也可压缩的MPEG格式，也包括在可作为本发明分配对象的动态图像数据中。例如，指定了各图像帧分别编码后的I帧来作为帧间预测中的参照帧的MPEG格式的动态图像数据，也包含在可作为本发明分配对象的动态图像数据中。进一步，作为帧间预测中的参照帧，当指定了I帧和P帧的组合时，通过指定I帧后的1个图像帧及指定P帧后的2个图像帧的共3个图像帧，可作为由一个处理单位(收发单位)的帧组来处理，这种由帧组构成的帧构造的动态图像数据也可作为本发明的分配对象。此外，作为MPEG格式的帧间预测中的参照帧，例如可指定：图像帧分别单独编码的I帧、利用前后2个图像帧进行编码的B帧、利用前一图像帧进行编码的P帧。
此外，上述Motion-JPEG(或Motion-JPEG2000)格式的动态图像数据在时间轴方向未被压缩，因此和MPEG格式的动态图像数据相比，同一比特率下的压缩效率较差，但具有可使任意图像帧与其他图像帧分开并单独编辑等特征，在面向个人的视频采集卡等中作为输出格式而被采用。
具体而言，本发明涉及的动态图像数据的分配方法，在通过网络彼此连接的多个信息终端之间，进行上述动态图像数据(沿时间轴方向分别可独立重放的图像帧、或具有由帧组构成的帧构造的动态图像数据)的收发。例如，在本发明涉及的动态图像数据的分配方法中，作为多个信息终端之间的双向数据通信的一个方式，在从发送侧信息终端到接收侧信息终端的动态图像数据的分配动作中，接收侧信息终端及发送侧信息终端根据彼此可处理的数据量，进行发送要求及图像帧的分配。
即，接收侧信息终端以规定的时间间隔、例如以一定时间间隔向作为发送源的发送侧信息终端重复动态图像数据的发送要求时，计算发出该发送要求时的可接收数据量。之后，接收侧信息终端将所计算的数据量及作为该数据量的计算依据的数据结构要素中至少任一方的上限值依次通知发送侧信息终端，作为接收限制信息。另一方面，接收到发送要求的发送侧信息终端根据接收到的接收限制信息的指示，对应接收到发送要求时的处于自身的负荷容许范围内的数据量及接收侧信息终端所要求的数据量中的至少任一方、优选对应较少的一方，将限制了其数据量的动态图像数据发送到通知了发送要求的接收侧信息终端。
特别是，在接收侧信息终端算出的可接收数据量优选：取决于网络的频带限制的图像帧可接收量及自身的图像帧显示处理的负荷容许量中至少任一方的数据量。进一步优选：可接收数据量是上述图像帧可接收量及上述负荷容许量中的较少一方的数据量。这样一来，通过设定为可选择网络的频带限制和信息终端处理能力中的较少的一方，该发明不仅可有效地作用于该接收侧信息终端的负荷对策，而且可作用于网络负荷的状态。
并且，在动态图像数据分配之前，在从接收侧信息终端发送到发送侧信息终端的接收限制信息中，如上所述，包括：考虑网络的频带限制及自身的图像帧显示处理的负荷容许量中的至少任一方而计算出的数据量的上限值、作为该数据量的计算依据的帧构成要素的上限值中的至少任一方。此外，帧构造要素包括：与图像帧相关的收发单位的单位时间的个数、图像分辨率及每个像素的位数中的至少任一方。
因此，在动态图像数据的分配动作中，作为考虑了接收侧信息终端及发送侧信息终端双方的处理负荷的分配对象的、动态图像数据的收发数据量(通过图像帧数等的增减来控制)被动态地确定，因此可降低通过网络彼此连接的多个信息终端(各信息终端可作为接收侧及发送侧信息终端中的任意一个)各自的处理负荷。但是，通过图像帧数的增减控制收发数据量时，在接收侧及发送侧双方的信息终端中的处理负荷的容许限度内分配动态图像数据，因此在接收侧信息终端显示动画时，有时无法接收中途的图像帧。并且，存在发送侧信息终端在任意时间分配图像而未发送中途的图像帧的情况(跳过发送动作)。本发明涉及的动态图像数据的分配方法中，提前考虑这种因接收侧及发送侧双方的信息终端中的处理状况造成的图像帧的丢失，为了可进行接收侧信息终端中的影像显示，不采用H.264等动画格式，而采用具有静止图像格式(例如JPEG2000格式等)的帧构造的动态图像数据。
而在任意时间从发送侧信息终端向接收侧信息终端发送图像帧时，仅通知接收侧及发送侧双方的信息终端中的处理负荷的容许限度内的图像帧数时，上述多个信息终端之间无法同步，可能在非同步的状态下从各信息终端发送动态图像数据，这一情况无法排除。为具体说明这一情况，例如如图2的区域(a)所示，考虑终端A110对终端B120、终端C130分别进行动态图像数据的发送要求的情况。此时，接收到来自终端A110的发送要求的终端B120、终端C130分别将在自身的时间所要求的图像帧发送到终端A110时，在接收侧的终端A110中无法控制接收时间。因此，如图2的区域(b)所示，在时间T5、T6，终端A110的处理负荷明显增加等，可能导致网络中的传送冲突状态。此时，因数据损失而变为无法完成显示处理的状态。因此，在本发明涉及的动态图像数据的分配方法中，如图2的区域(c)所示，通过向接收侧信息终端提供动态图像数据的分配时间的控制权，来确保一对多的数据收发方式下的同步。
具体而言，作为多个信息终端间的双向数据通信的一个方式，在从两个以上发送侧信息终端到接收侧信息终端的动态图像数据的分配动作中，接收侧信息终端在可进行图像帧显示处理的自身的时间，将发送要求信号发送到两个以上发送侧信息终端中的任意一个。另一方面，在两个以上发送侧信息终端中，仅接收到在接收侧信息终端自身的时间所发出的发送要求信号的发送侧信息终端，将由该接收侧信息终端所要求的数据量的动态图像数据发送到接收侧信息终端。此时，未接收到对自身的发送要求的发送侧信息终端在接收到对自身的发送要求之前处于动态图像数据的发送待机状态。
并且，在本发明涉及的动态图像数据的分配方法中，动态图像数据由在时间轴方向上未被压缩、且可分别独立于前一图像帧地进行重放的图像帧构成时，即当动态图像数据是JPEG格式或MPEG格式、且在帧间预测中指定了I帧时，与图像帧相关的收发单位相当于构成该动态图像数据的各图像帧。其中，动态图像数据是指，包括多个图像帧在内，它们以某个时序依次切换的数据组。因此，在可作为分配对象的动态图像数据中，也包括在PowerPoint等幻灯片放映中备用于切换幻灯的图像数据组。
并且，动态图像数据由分别含有多个图像帧、并且可独立于从时间轴方向来看位于前方的图像帧地进行重放的多个帧组构成时，即通过I帧和P帧的组合、或I帧、P帧及B帧的组合而构成的帧组(可独立于邻接的图像帧地进行重放的帧组)时，与图像帧相关的收发单位相当于构成该动态图像数据的各帧组。
进一步，在本发明的动态图像数据的分配方法中优选，在发送上述动态图像数据之前，对于和图像帧相关的收发单位的个数，多个信息终端分别将在自身的信息终端变为上述动态图像数据的发送源时的、指示每单位时间可发送的上限值的发送限制信息提前通知其他信息终端。这样一来，在可作为发送侧信息终端的各信息终端中，可提前设定好可发送的图像帧数等的上限，接收侧信息终端在该上限以内设定帧数。因此，可避免因忽略负荷情况而向接收侧信息终端传送动态图像数据所导致的该接收侧信息终端的处理负荷增加，并降低发送侧信息终端中的处理负荷。进一步，接收侧信息终端除了应进行影像显示的图像帧数以外，还管理自身的数据处理(背景中的数据处理)，同时，仅在判断为可处理从发送侧信息终端发送的动态图像数据时才对该发送侧信息终端进行发送要求等，接收侧及发送侧双方的信息终端可主动地管理动态图像数据的分配动作。
此外，本发明涉及的各实施例通过以下详细说明及附图可得到充分理解。这些实施例仅用于示例，不限定本发明。
并且，本发明的进一步的应用范围通过以下详细说明可得以明确。但详细说明及特定事例是本发明的优选实施例，只用于示例，本发明范围内的各种变形及改良对本领域技术人员而言是显而易见的。
根据本发明涉及的动态图像数据的分配方法，根据通过网络彼此连接的多个信息终端之间的处理负荷的不均情况，可动态调整应分配的动态图像数据的图像帧数等的上限值。因此，可不受该多个信息终端之间的处理负荷不均的影响，进行实时的动态图像数据分配。
并且，在本发明涉及的动态图像数据的分配方法中，作为收发的动态图像数据，如根据JPEG格式压缩/扩展图像帧的Motion-JPEG格式的动态图像数据所代表地，采用在时间轴方向上未被压缩且可独立于邻接的图像帧地进行重放的图像帧、或由帧组构成的动态图像数据。通过采用这种构成的动态图像数据作为收发对象，在构成动态图像数据的图像帧数等频繁发生增减时，也可减少对各信息终端之间的实时的动态图像数据分配的影响。因此，通过对应处理负荷的增减来动态地调节所收发的动态图像数据的每单位时间的图像帧数等，在各信息终端之间可进行无压力的动态图像数据分配。
附图说明
图1是说明一般的多个信息终端之间的双向数据通信系统的构成及各信息终端中的处理负荷的时间变化的图。
图2是概要说明本发明涉及的动态图像数据的分配方法的代表性效果之一的图。
图3是说明在图1所示的双向数据通信系统中分配的可见信息中含有的动画数据的一例(例如由JPEG2000格式的图像帧构成的Motion-JPEG2000的数据结构)的图。
图4是说明图1所示的双向数据通信系统中的各信息终端之间的动态图像数据分配顺序的框图。
图5是图1所示的双向数据通信系统中的各信息终端之间的通信控制程序。
图6是从各信息终端中的处理负荷的角度说明本发明涉及的动态图像数据的分配方法的图。
图7是说明本发明涉及的动态图像数据的分配方法中的接收侧程序的流程图。
图8是说明本发明涉及的动态图像数据的分配方法中的发送侧程序的流程图。
图9是从可见信息、尤其是图像帧的发送个数控制(负荷控制)的角度说明本发明涉及的动态图像数据的分配方法中的发送侧程序的图。
附图标记
100网络
110、120、130信息终端(PC)
110a、120a、130a控制部(CPU)
具体实施方式
以下参照图3～图9详细说明本发明涉及的可见信息的分配方法的各实施方式。此外，根据需要，在各实施方式的说明中，也参照图1及图2。并且，在附图说明中，对同一要素标注相同的附图标记，并省略重复的说明。
本发明涉及的动态图像数据的分配方法如图1的区域(a)所示，适用于由连接到网络的多个信息终端构成的、电视会议系统等双向数据通信系统。该双向数据通信系统具有：网络100、分别连接到该网络100的多个信息终端。此外，在以下说明中，将连接到网络100的信息终端分别标记为终端A110、终端B120及终端C130。并且，相对于该网络100上所分配的动态图像数据，通过网络100彼此连接的终端A110、终端B120、终端C130分别可以是接收端，也可是发送源。
在构成双向数据通信系统的一部分的终端A100和终端B120之间，通过网络100进行动态图像数据等可见信息的收发100a(包括发送要求和数据分配)。同样，在终端A110和终端C130之间，也通过网络100进行动态图像数据等可见信息的收发100b。在终端B120和终端C130之间，通过网络100进行动态图像数据等可见信息的收发100c(包括发送要求和数据分配)。
此外，在该动态图像数据的分配方法中适用的动态图像数据具有在时间轴方向上未被压缩、且各图像帧或帧组可独立于邻接的图像帧或帧组地进行压缩/扩展的帧构造，以下为了简化，将该动态图像数据与JPEG格式的动态图像数据结合来说明各实施方式。
在图1的区域(a)所示的双向数据通信系统中，在各终端之间进行可见信息的收发。其中，收发的可见信息除了动态图像数据、各信息终端的操作者等的音频外，还包括静止图像数据、文本数据这样的有助于双向对话的信息。尤其是，可见信息中含有的动态图像数据如图3所示，是在沿着时间轴t的方向未被压缩地沿着该时间轴t配置、且可分别独立地压缩/扩展的图像帧，是单位时间(s)内由12个图像帧f1～f12构成的动态图像数据D1。此外，图3是说明在图1所示的双向数据通信系统中发送的可见信息中含有的动画数据的一例(例如由JPEG2000格式的图像帧构成的Motion-JPEG2000的数据结构)的图。
该动态图像数据D1也可利用邻接的图像帧之间的差分信息等在时间轴t的方向上进行压缩，作为分配对象的动态图像数据D1，例如包括Motion-JPEG(或Motion-JPEG2000)格式的动态图像数据。
Motion-JPEG(或Motion-JPEG2000)格式的动态图像数据和MPEG格式的动态图像数据相比，同一比特率下的压缩效率较差，但可将任意的图像帧与其他图像帧分开而独立编辑。并且，这种动态图像数据在各终端中的编码/解码时的负荷较小，是较简单的设备，可实时进行编码。
接着参照图4及图5详细说明本发明涉及的动态图像数据的分配方法。图4是说明各终端之间的动态图像数据D1的分配顺序的框图。图5是各终端之间的通信控制程序。
在以下说明中，使终端A110为接收侧信息终端(以下仅表示为接收侧终端A100)，使终端B120及终端C130为发送侧信息终端(以下仅表示为发送侧终端B120、发送侧终端C130)，接收侧终端A110控制接收时间。并且，接收侧终端A110以一定时间间隔T向作为发送源的发送侧终端B120或发送侧终端C130重复动态图像数据的发送要求时，作为接收限制信息，计算发出发送要求时的可接收数据量。该接收侧终端A110的可接收数据量，是取决于网络频带限制的图像帧可接收量及自身的图像帧显示处理的负荷容许量中较少一方的数据量。进一步，在从接收侧终端A110到发送侧终端B120、C130发送的接收限制信息中，作为该数据量的计算依据的数据结构要素，包括和图像帧相关的收发单位的单位时间的个数、图像分辨率及每个像素的位数中的至少任一方。在以下说明中，为了简化，仅将单位时间内应发送的图像帧数作为接收限制信息。
在本发明涉及的动态图像数据的分配方法中，在从发送侧终端B120到接收侧终端A110的动态图像数据的分配动作及从发送侧终端C130到接收侧终端A110的动态图像数据的分配动作中，进行与彼此的可处理帧数对应的发送要求及图像帧分配。
具体而言，如图5所示，接收侧终端A110以一定时间间隔T向作为发送源的发送侧终端B120或发送侧终端C130重复将动态图像数据的发送要求。此时，作为接收限制信息，将当前时刻下的在自身的图像帧显示处理的负荷容许范围内可处理的单位时间(s)的帧数(可根据网络100的频带限制计算)，依次通知到发送侧终端B 120或发送侧终端C130。另一方面，接收到发送要求的发送侧终端B120及发送侧终端C130，将接收到发送要求时的自身的图像帧发送处理的负荷容许范围内的单位时间(s)的帧数及由接收侧信息终端所要求的单位时间(s)的帧数中较少一方的帧数的动态图像数据，发送到通知发送要求的接收侧终端A110。
即，如图4所示，接收侧终端A110首先确认当前时刻下的自身的图像帧显示处理的负荷容许范围为10帧/s，将发送要求(包括发送帧数的限制通知)依次通知发送侧终端B120。在从接收侧终端A110通知了发送要求的发送侧终端B120中，确认包括接收到发送要求时的自身的背景处理在内的负荷状态，设定自身的帧发送能力。例如在图4所示的例子中，在发送侧终端B120中，作为从接收侧终端A110接收到发送要求时的处理能力，未设定发送限制，因此将有发送要求的10帧/s的动态图像数据发送到接收侧终端A110。
另一方面，在从接收侧终端A110对于发送侧终端C130与发送侧终端B120同样地通知了10帧/s的发送要求(可接收帧数的限制)的例子中，发送侧终端C130确认包括接收到发送要求时的自身的背景处理的负荷状态，设定自身的帧发送能力。例如在图4所示的例子中，发送侧终端C130中，作为从接收侧终端A110接收到发送要求时的处理能力，设定了5帧/s，因此相对于有发送要求的10帧/s，将5帧/s的动态图像数据发送到接收侧终端A110。
因此，在动态图像数据的分配动作中，在考虑了接收侧终端A110、发送侧终端B120及接收侧终端C130各自的处理负荷的状态下，动态地决定作为分配对象的动态图像数据的帧数。因此，与通过网络100彼此连接的接收侧终端A110、发送侧终端B120及发送侧终端C130各自的处理负荷的降低相关联。
在接收侧终端A110、发送侧终端B120及发送侧终端C130各自的处理负荷的容许限度内分配动态图像数据，因此在接收侧终端A110中显示动画时，存在接收不到中途的图像帧的情况。并且，还存在发送侧终端B120及发送侧终端C130在任意时间分配图像而造成中途的图像帧未发送的情况。在这种通信环境下，作为收发对象的动态图像数据D1，为了可进行接收侧终端A110下的影像显示，例如采用JPEG2000格式等具有动画格式的帧构造的动态图像数据D1。
图6是从处理负荷的角度出发来说明参照图4及图5进行说明的各终端的通信控制顺序的图。尤其是在图6的区域(a)中，对于接收侧终端A110、发送侧终端B120及发送侧终端C130各自的每规定时间T内的处理能力的变化，用单位时间内可处理的图像帧的帧数来表示。
如图6的区域(a)所示，接收侧终端A110的处理能力(帧/s)随着时间t的经过而时刻变化。同样，在发送侧终端B120及发送侧终端C130中，处理能力(帧/s)也随着时间t的经过而时刻变化。此外，在图6的区域(a)及(b)中，接收侧终端A110中的负荷计算的时间与从接收侧终端A110到发送侧终端B120或发送侧终端C130的发送要求的时间基本一致。并且，发送侧终端B120及发送侧终端C130各自的负荷计算的时间与来自接收侧终端A110的发送要求的接收时间一致。
图6的区域(b)是根据图5所示的通信控制顺序，从各终端中的处理负荷的角度说明接收侧终端A110对发送侧终端B120及发送侧终端C130分别进行的动态图像数据的分配动作的图。如图6的区域(b)所示，接收侧终端A110将相隔规定时间例如一定时间间隔T的发送要求交替地发送到发送侧终端B120及发送侧终端C130双方。其中区域A1表示：有来自接收侧终端A110的发送要求的帧数、与实际响应发送要求从接收侧终端B120及发送侧终端C130双方发送的帧数之差(在接收侧终端A110中未进行影像显示的处理帧数，即接收侧终端A110中的图像帧显示的余力)。
另一方面，在发送侧终端B120中，收到来自接收侧终端A110的发送要求时，仅在此期间内，在自身的处理能力的容许范围内进行向接收侧终端A110的帧发送，其他时间段进行其他的处理。如果是对帧发送处理可确保充分处理能力的时间段，则发送侧终端B120分配与接收侧终端A110的发送要求对应的帧数的动态图像数据。但是，当由接收侧终端A110要求超过自身处理能力的帧数时，发送侧终端B120即使在所要求的帧数以下，也将自身处理能力范围内可发送的帧数的动态图像数据发送到接收侧终端A110。区域B1是在从发送侧终端B120到接收侧终端A110的帧发送中的错误发送(跳过发送动作)的处理帧数。
同样，在发送侧终端C130中，接收到来自接收侧终端A110的发送要求时，也仅在此期间内，在自身的处理能力的容许范围内进行向接收侧终端A110的帧发送，其他时间段进行其他的处理。如果是对帧发送处理可确保充分的处理能力的时间段，则发送侧终端C130分配与接收侧终端A110的发送要求对应的帧数的动态图像数据。但是，当由接收侧终端A110要求超过自身处理能力的帧数时，发送侧终端C130即使在所要求的帧数以下，也将自身处理能力范围内可发送的帧数的动态图像数据发送到接收侧终端A110。区域C1是在从发送侧终端B120到接收侧终端A110的帧发送中的错误发送(跳过发送动作)的处理帧数。
接着参照图7的流程图具体说明接收侧终端A110中的接收侧程序。实际的接收侧程序、接收处理等在控制部110a中执行。
在本发明涉及的动态图像数据的分配方法中，在各终端A、终端B及终端C中，提前设定各自的帧发送限制(步骤ST61)。即，在各终端A、终端B及终端C中，分别将自身的终端变为动态图像数据的发送源时的、单位时间可发送的帧数相关的发送限制信息，在发送该动态图像数据之前，提前通知到其他终端。例如在图4所示的例子中，发送侧终端B120中，背景中的处理负荷低，因此不提前设定发送限制。而在发送侧终端C130中，处理负荷高，因此提前设定5帧/s的发送限制，分别通知到其他终端A110、终端B120。
因此，通过在发送侧终端B120及发送侧终端C130中提前设定可发送的图像帧数的上限，接收侧终端A110在该上限以内设定接收帧数。因此，可以避免忽略负荷情况地向接收侧终端A110传送动态图像数据所导致的该接收侧终端A110的处理负荷增加，并降低发送侧信息终端中的处理负荷。进一步，接收侧终端A110除了应进行影像显示的图像帧数以外，还管理自身的数据处理(背景中的数据处理)，同时，仅在判断为可处理从发送侧终端B120或发送侧终端C130发送的动态图像数据时才对该发送侧终端进行发送要求等，接收侧及发送侧双方的终端可主动地管理动态图像数据的分配动作。
接着，在接收侧终端A110中，在接收动态图像数据之时(步骤ST62)，确认自身的处理能力(步骤ST63)。此时，如判断为接收侧终端A110可接收，则将可处理范围内的帧数的动画数据的发送要求通知给发送侧终端B120或发送侧终端C130中的任一方(步骤ST64)。
接收侧终端A110从通知了发送要求的发送侧终端B120或发送侧终端C130中的任一方接收到规定帧数的动态图像数据时，扩展所接收到的动态图像数据的各图像帧的同时，依次显示到监视器等，进行规定的帧重放处理(步骤ST66)。另外，该帧重放动作(步骤ST66)在要求发送的所有图像帧的接收结束之前一直重复进行(步骤ST67)。并且，接收侧终端A110在等待从发送侧终端B120或发送侧终端C130发送的图像帧的状态下经过了一定时间时，再次从接收侧终端A110向发送侧终端B120或发送侧终端C130通知发送要求。
接着参照图8的流程图及图9具体说明发送侧终端B120及发送侧终端C130各自的发送侧程序及图像帧的发送处理。实际的发送侧程序、发送处理等在控制部120a、130a中执行。
此外，终端A、终端B及终端C，将自身的终端变为动态图像数据的发送源时的、单位时间内可发送的帧数相关的发送限制信息，在该动态图像数据之前，提前通知其他终端(步骤ST71)。在图4的实施方式中，因终端B120及终端C130是发送源，所以这些发送侧终端B120及发送侧终端C130分别向其他终端通知发送限制，等待来自发送侧终端A110的发送要求(步骤ST72)。
例如，从接收侧终端A110向发送侧终端B120通知发送要求时，发送侧终端B120首先确认自身的处理能力(步骤ST73)，接着对接收侧终端A110进行帧发送(步骤ST74)或意味着跳过发送的错误发送处理(步骤ST75)。此外，该帧发送处理如图9所示地进行。在该图9所示的帧发送处理中，从接收侧终端A110向发送侧终端B120通知5帧/s的发送要求。并且，此时的发送侧终端B120的发送能力为5帧/s。
在具体的帧发送处理(步骤ST73～ST75)中，首先如图9(a)所示，发送侧终端B120对应自身的帧发送能力，从构成提前准备的动态图像数据D1(12帧/s)的图像帧f1～f12中排除图像帧f1、f6作为错误数据E1，从而生成可暂时进行处理的动态图像数据D2(10帧/s)。进一步，发送侧终端B120如图9的区域(b)所示，为了对应于从接收侧终端A110通知的发送要求的帧限制，从自身可进行发送处理的动态图像数据D2(图像帧f2、...、f5、f7、...、f12)进一步排除图像帧f3、f4、f8、f9、f11作为错误数据E2。这样一来，生成发送用动态图像数据D3(由图像帧f2、f5、f7、f10、f12构成的5帧/s的动态图像数据)，发送侧终端B120将该发送用动态图像数据D3发送到通知了发送要求的接收侧终端A110。
发送侧终端B120结束以上帧发送处理后(步骤ST76)，待机至通知了下一发送要求时为止(步骤ST72)。
如上所述，根据本发明涉及的动态图像数据的分配方法，根据通过网络彼此连接的多个信息终端之间的处理负荷的不均状况、或连接的网络的频带状况，可动态地调整应分配的动态图像数据的帧数。因此，可不受该多个信息终端之间的处理负荷不均的影响，进行实时的动态图像数据分配。并且，作为收发的动态图像数据，通过采用Motion-JPEG格式等动态图像数据，在构成动态图像数据的图像帧数频繁发生增减时，也可有效降低对各信息终端之间的实时动态图像数据分配的影响。
从以上本发明的说明可知，对本发明可进行各种变形。该变形不可脱离本发明的思想及范围，对所有本领域技术人员而言不言而喻的改良包含在权利要求范围内。

Claims (8)

1.一种动态图像数据的分配方法，用于使由多个图像帧构成的动态图像数据在通过网络彼此连接的多个信息终端之间收发，其特征在于，
作为上述多个信息终端之间的双向数据通信的一个方式，在从发送侧信息终端到接收侧信息终端的上述动态图像数据的分配动作中，
上述接收侧信息终端，在以规定的时间间隔向作为发送源的上述发送侧信息终端重复动态图像数据的发送要求时，提前计算发出该发送要求时的取决于上述网络的频带限制的图像帧可接收量及自身的图像帧显示处理的负荷容许量中至少任一方的数据量，将该数据量及作为该数据量的计算依据的数据结构要素中至少任一方的上限值依次通知上述发送侧信息终端，作为接收限制信息。
2.根据权利要求1所述的动态图像数据的分配方法，其中，
从上述接收侧终端装置收到发送要求的上述发送侧信息终端，对于由接收到的上述接收限制信息所指示的数据结构要素，对应接收发送要求时的处于自身的负荷容许范围内的数据量及上述接收侧信息终端所要求的数据量中的至少任一方，将限制了数据量的动态图像数据发送到通知了发送要求的上述接收侧信息终端。
3.根据权利要求1所述的动态图像数据的分配方法，其中，
作为上述多个信息终端之间的双向数据通信的一个方式，在从两个以上发送侧信息终端到接收侧信息终端的上述动态图像数据的分配动作中，
上述接收侧信息终端在能够进行图像帧显示处理的自身的时间将发送要求信号发送到上述两个以上发送侧信息终端中的任意一个。
4.根据权利要求3所述的动态图像数据的分配方法，其中，
在上述两个以上发送侧信息终端中，仅接收到在上述时间所发出的发送要求信号的发送侧信息终端将该接收侧信息终端所要求的数据量的动态图像数据发送到上述接收侧信息终端，另一方面，剩余的发送侧信息终端在接收到对自身的发送要求之前处于动态图像数据的发送待机状态。
5.根据权利要求1～4中任一项所述的动态图像数据的分配方法，其中，
上述数据结构要素包括：与图像帧相关的收发单位的单位时间内的个数、图像分辨率及每个像素的位数中的至少任一方。
6.根据权利要求5所述的动态图像数据的分配方法，其中，
上述动态图像数据由在时间轴方向上未被压缩且能够分别独立于前一图像帧地进行重放的图像帧构成，
与上述图像帧相关的收发单位相当于构成上述动态图像数据的各图像帧。
7.根据权利要求5所述的动态图像数据的分配方法，其中，
上述动态图像数据由多个帧组构成，上述多个帧组分别包括多个图像帧，并且能够独立于从时间轴方向来看位于前方的图像帧地进行重放，
与上述图像帧相关的收发单位相当于构成上述动态图像数据的各帧组。
8.根据权利要求1～7中任一项所述的动态图像数据的分配方法，其中，
在发送上述动态图像数据之前，对于和图像帧相关的收发单位的个数，上述多个信息终端分别将在自身的信息终端变为该动态图像数据的发送源时的、指示每单位时间能够发送的上限值的发送限制信息提前通知其他信息终端。
CN200980133988.6A 2008-08-28 2009-08-06 动态图像数据的分配方法 Expired - Fee Related CN102138336B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008220027 2008-08-28
JP2008-220027 2008-08-28
PCT/JP2009/063954 WO2010024102A1 (ja) 2008-08-28 2009-08-06 動画像データの配信方法

Publications (2)

Publication Number Publication Date
CN102138336A true CN102138336A (zh) 2011-07-27
CN102138336B CN102138336B (zh) 2014-07-16

Family

ID=41721274

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980133988.6A Expired - Fee Related CN102138336B (zh) 2008-08-28 2009-08-06 动态图像数据的分配方法

Country Status (8)

Country Link
US (1) US8839330B2 (zh)
EP (1) EP2323384A4 (zh)
JP (1) JP5664241B2 (zh)
KR (1) KR101539812B1 (zh)
CN (1) CN102138336B (zh)
BR (1) BRPI0918264A2 (zh)
CA (1) CA2735728A1 (zh)
WO (1) WO2010024102A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140007647A (ko) 2012-07-10 2014-01-20 삼성전자주식회사 영상 통신 시스템에서 컬러 정보를 교섭하는 방법 및 장치
JP5949326B2 (ja) * 2012-08-24 2016-07-06 住友電気工業株式会社 映像データ配信装置およびそれを含む双方向対話システム
CN106464837A (zh) * 2014-03-05 2017-02-22 株式会社理光 数据发送系统、终端装置、程序和方法
CN105337923B (zh) * 2014-05-26 2019-07-12 腾讯科技（北京）有限公司 数据分发方法和系统及数据发送装置和数据接收装置
EP3016383B1 (en) * 2014-11-03 2017-06-21 Axis AB Method, device, and system for pre-processing a video stream for subsequent motion detection processing
KR101730114B1 (ko) * 2015-03-25 2017-04-25 네이버 주식회사 만화 데이터 표시 장치, 방법 및 컴퓨터 프로그램
US10438395B2 (en) 2015-03-25 2019-10-08 Naver Corporation Apparatus, method and computer program for displaying cartoon content

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1205154A (zh) * 1996-08-07 1999-01-13 松下电器产业株式会社 图像声音解码装置和图像声音编码装置以及信息传输系统
JP2003078893A (ja) * 2001-09-05 2003-03-14 Nec Corp 映像伝送機能付き携帯型端末装置、及びそれに適用される映像伝送方法
JP2005341347A (ja) * 2004-05-28 2005-12-08 Nippon Telegr & Teleph Corp <Ntt> 多地点接続装置および方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0774830A (ja) * 1993-06-22 1995-03-17 Canon Inc マルチメディア情報通信装置
JP3630474B2 (ja) * 1995-07-14 2005-03-16 沖電気工業株式会社 動画像伝送システム及び動画像伝送装置
EP0865202A4 (en) 1996-10-02 2002-01-16 Sony Corp TELEVISION, RECEPTION CHANNEL ADJUSTMENT METHOD, AND IMAGE DISPLAY METHOD
JPH11161571A (ja) 1997-11-27 1999-06-18 Fujitsu Ltd 適応的伝送制御システム
US6553423B1 (en) * 1999-05-27 2003-04-22 Cisco Technology, Inc. Method and apparatus for dynamic exchange of capabilities between adjacent/neighboring networks nodes
JP2001204002A (ja) 2000-01-20 2001-07-27 Nec Eng Ltd 画像伝送方式
JP3948597B2 (ja) 2000-03-08 2007-07-25 Ｋｄｄｉ株式会社 動画像圧縮符号化送信装置、受信装置および送受信装置
JP3912091B2 (ja) * 2001-12-04 2007-05-09 ソニー株式会社 データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
JP4150951B2 (ja) * 2002-02-19 2008-09-17 ソニー株式会社 動画配信システム、動画配信装置および方法、並びにプログラム
US7340527B2 (en) * 2002-05-09 2008-03-04 Matsushita Electric Industrial Co., Ltd. Content distribution system that distributes line of stream data generated by splicing plurality of pieces of stream data
US7558323B2 (en) * 2002-11-27 2009-07-07 Hitachi Kokusai Electric Inc. Video data transmission method for changing transmission data amounts in accordance with a transmission speed and a transmission system therefor
JP2005094054A (ja) 2003-09-11 2005-04-07 Hiroshima Univ 画像符号化装置、その方法およびプログラム、並びにストリーム合成器、その方法およびプログラム
JP2006174045A (ja) 2004-12-15 2006-06-29 Ntt Communications Kk 画像配信装置、プログラム及び方法
JP2005094045A (ja) 2004-12-21 2005-04-07 Matsushita Electric Ind Co Ltd プラズマエッチング装置およびプラズマエッチング方法
JP2006333254A (ja) * 2005-05-27 2006-12-07 Fujifilm Holdings Corp 動画像リアルタイム通信端末、動画像リアルタイム通信端末の制御方法及び動画像リアルタイム通信端末の制御プログラム
JP2007228412A (ja) * 2006-02-24 2007-09-06 Matsushita Electric Ind Co Ltd 携帯端末装置
US20080098123A1 (en) 2006-10-24 2008-04-24 Microsoft Corporation Hybrid Peer-to-Peer Streaming with Server Assistance
EP2182728A4 (en) * 2007-08-01 2012-10-10 Nec Corp MOVEMENT DATA DISTRIBUTION SYSTEM, METHOD AND PROGRAM

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1205154A (zh) * 1996-08-07 1999-01-13 松下电器产业株式会社 图像声音解码装置和图像声音编码装置以及信息传输系统
JP2003078893A (ja) * 2001-09-05 2003-03-14 Nec Corp 映像伝送機能付き携帯型端末装置、及びそれに適用される映像伝送方法
JP2005341347A (ja) * 2004-05-28 2005-12-08 Nippon Telegr & Teleph Corp <Ntt> 多地点接続装置および方法

Also Published As

Publication number Publication date
US8839330B2 (en) 2014-09-16
CA2735728A1 (en) 2010-03-04
CN102138336B (zh) 2014-07-16
BRPI0918264A2 (pt) 2015-12-15
JPWO2010024102A1 (ja) 2012-01-26
EP2323384A4 (en) 2013-03-13
WO2010024102A1 (ja) 2010-03-04
JP5664241B2 (ja) 2015-02-04
KR20110058841A (ko) 2011-06-01
KR101539812B1 (ko) 2015-07-27
US20110239264A1 (en) 2011-09-29
EP2323384A1 (en) 2011-05-18

Similar Documents

Publication Publication Date Title
CN102138336B (zh) 动态图像数据的分配方法
US7652993B2 (en) Multi-stream pro-active rate adaptation for robust video transmission
CN107708167B (zh) 可自适应切换宽窄带通信的终端、系统及其通信方法
CN105830445A (zh) 多视频流的传输方法和设备
CN103327287B (zh) 一种会议信号播放方法和装置、视频会议终端、移动设备
CN102057593A (zh) 用于减少网际协议电视的信道改变响应时间的方法和设备
CN103442391A (zh) 一种数据传输的方法及用户终端、系统
US20100269142A1 (en) Utility optimization for scalable video multicast in wireless systems
CN108063911B (zh) 一种视频会议扩容方法
CN111787330B (zh) 支持解码压缩帧缓存自适应分配的编码方法及应用
CN102711260A (zh) GBR承载业务的QoS处理方法和系统以及设备
JP2001094997A (ja) ネットワーク帯域幅に適応的なデータ伝送率制御装置
CN111510743B (zh) 转码资源的调度方法、装置、系统、设备和存储介质
EP2599309A1 (en) Improved bitrate distribution
CN100584017C (zh) 基于p2p网络的视频通信方法
US6490298B1 (en) Apparatus and methods of multiplexing data to a communication channel
CN102082947B (zh) 一种视频监控的方法、系统和设备
CN102572530A (zh) 流媒体业务频道调整方法及系统
CN100527699C (zh) 通过无线网络进行通信的服务器系统
US20100232769A1 (en) Bandwidth control method, device and system
CN104429089A (zh) 用于确定复合视频服务流的方法和设备
KR100548324B1 (ko) 이동통신 시스템의 영상 데이터 전송 비트율 제어방법
Xu et al. Multi-access edge computing based user experience driven multicast video conference algorithm
CN104822073A (zh) 多媒体数据在单向网络和双向网络间动态分配流量的方法
CN113890827B (zh) 电力通信资源分配方法、装置、存储介质以及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1154446

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1154446

Country of ref document: HK

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140716

Termination date: 20180806

CF01 Termination of patent right due to non-payment of annual fee