WO2010024102A1 - 動画像データの配信方法 - Google Patents

動画像データの配信方法 Download PDF

Info

Publication number
WO2010024102A1
WO2010024102A1 PCT/JP2009/063954 JP2009063954W WO2010024102A1 WO 2010024102 A1 WO2010024102 A1 WO 2010024102A1 JP 2009063954 W JP2009063954 W JP 2009063954W WO 2010024102 A1 WO2010024102 A1 WO 2010024102A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
moving image
transmission
terminal
data
Prior art date
Application number
PCT/JP2009/063954
Other languages
English (en)
French (fr)
Inventor
由光 後藤
柿井　俊昭
畑　洋一
康仁 藤田
Original Assignee
住友電気工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 住友電気工業株式会社 filed Critical 住友電気工業株式会社
Priority to CA2735728A priority Critical patent/CA2735728A1/en
Priority to JP2010526638A priority patent/JP5664241B2/ja
Priority to CN200980133988.6A priority patent/CN102138336B/zh
Priority to US13/061,298 priority patent/US8839330B2/en
Priority to BRPI0918264A priority patent/BRPI0918264A2/pt
Priority to EP09809756A priority patent/EP2323384A4/en
Publication of WO2010024102A1 publication Critical patent/WO2010024102A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4424—Monitoring of the internal components or processes of the client device, e.g. CPU or memory load, processing speed, timer, counter or percentage of the hard disk space used
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4516—Management of client data or end-user data involving client characteristics, e.g. Set-Top-Box type, software version or amount of memory available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6373—Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences

Definitions

  • the present invention is applied to a bidirectional data communication system such as a video conference system composed of a plurality of information terminals connected to each other via a network, and includes moving image data included in visual information transmitted and received between the information terminals. Is related to the delivery method.
  • Region (a) of FIG. 1 is a diagram showing a configuration of a bidirectional data communication system that can be constructed using existing network resources such as a network line and an information terminal such as a PC such as a video conference system.
  • This bidirectional data communication system includes a network 100 and a plurality of information terminals (terminal A110, terminal B120, and terminal C130) individually connected to the network 100.
  • transmission / reception 100a (including a transmission request and data distribution) of visual information such as moving image data is performed via the network 100 between the terminal A110 and the terminal B120 that constitute a part of the system.
  • transmission / reception 100b of visual information such as moving image data is also performed between the terminal A110 and the terminal C130 via the network 100.
  • transmission / reception 100c (including a transmission request and data distribution) of visual information such as moving image data is performed via network 100.
  • the terminal A110 includes a control unit 110a (corresponding to a CPU in a PC)
  • the terminal B120 includes a control unit 120a
  • the terminal C130 includes a control unit 130a. This is performed in the units 110a to 130a.
  • Patent Document 1 discloses an image communication technique for enabling image data transmission / reception suitable for a communication environment such as a terminal type of a reception-side client without imposing a great burden on an operator or each information terminal.
  • Patent Document 2 discloses an encoding device using scalability, a method thereof, a program, and the like as a method for realizing information updateability in the resolution direction.
  • Patent Document 3 discloses a technology that enables data communication according to individual communication environments between a server and a receiving client. That is, when the line speed between the server and the receiving client is low with respect to the quality of the image data transmitted from the server, the server transmits the image data having the quality according to the request from the receiving client to the receiving client. Is done.
  • JP 2006-174045 A Japanese Patent Laid-Open No. 2005-094054 Japanese Patent Publication No. 11-161571
  • the inventors have examined the conventional moving image data distribution method in detail, and have found the following problems.
  • a conventional bidirectional data communication system that transmits and receives visual information between a plurality of information terminals is being replaced by a PC system using broadband.
  • the broadband usage fee used when distributing moving image data and audio data is relatively low, there is a situation where control of the amount of data to be distributed is not considered. This seems to be no problem in a broadband environment that seems to be faster at first glance.
  • the data processing performance of each information terminal is not uniform, it is impossible to overlook the current situation in which a failure tends to occur in bidirectional data communication between information terminals having different performances. For example, when moving image data is distributed from a PC having a high processing speed to a PC having a low processing speed, the processing of received data cannot be caught up by the PC having the low processing speed.
  • H. has been put into practical use in recent years.
  • the video distribution technology such as H.264 (MPEG-4 AVC, hereinafter simply referred to as the MPEG system including these next-generation image compression technologies)
  • MPEG-4 AVC MPEG-4 AVC
  • This major cause is due to the fact that the background processing is performed separately from the bidirectional data communication in each information terminal.
  • the processing load (CPU operation rate) in each of the terminals A110 to C130 connected to each other via the network 100 changes with time. Because. For example, in the area (b) of FIG. 1, at time T1, the processing load of the terminal A110 tends to decrease, and a load for a certain amount of data transmission / reception processing can be allowed, and a sufficient processing load can be allowed for the terminal B120. . On the other hand, the processing load on the terminal C130 at time T1 is very high, and a new data transmission / reception processing load cannot be allowed.
  • the processing load at terminal A110 is high, but the processing load at terminals B120 and C130 is low, and the processing capacity of terminal A110 is reduced, which is a bottleneck in bidirectional data communication between terminal A110, terminal B120, and terminal C130. It is clear that this is a bottleneck. Furthermore, at time T3, the processing load on terminal A110 is low, but the processing loads on terminal B120 and terminal C130 are high. In this case, a decrease in processing capacity of each of the terminal B120 and the terminal C130 becomes a bottleneck in bidirectional data communication between the terminal A110, the terminal B120, and the terminal C130.
  • the limit of the processing capacity of the server is exceeded, and the video reproduction of the receiving side information terminal is accompanied by the transmission delay of the image data from the server. Processing will be delayed.
  • the processing load in each information terminal includes the above-described image frame encoding, decoding, and display processing, as well as data received via the network (which is temporarily stored in the communication buffer) from the buffer.
  • the processing load to be taken out is also included.
  • data received via a network is temporarily stored in a communication buffer by software, and the stored data is extracted by application software and subjected to predetermined processing. At this time, it takes time until the application software takes out the packet that has reached the communication I / O unit such as the network card of the PC electrically when the processing load of the information terminal increases. In this case, a buffer overflow state is substantially caused, and this may cause a loss of received data.
  • the present invention has been made to solve the above-described problems, and is affected by the uneven distribution of processing loads among a plurality of information terminals connected to each other via a network and the bandwidth status of the connected network. It is an object of the present invention to provide a moving image data distribution method having a structure for enabling real-time moving image distribution.
  • the moving image data distribution method according to the present invention is applied to a bidirectional data communication system such as a video conference system, which is constituted by a plurality of information terminals connected to each other via a network. Therefore, each of the information terminals connected to each other via the network can be a reception destination and a transmission source for moving image data distributed on the network.
  • the visual information transmitted and received in the interactive data communication system is information that can contribute to interactive conversation including still image data and text data in addition to moving image data and voices of operators of each information terminal.
  • moving image data included in visual information is encoded (data compression) and decoded (data expansion) in transmission / reception operations at each information terminal, so that the efficiency of the distribution operation is improved by the data processing of each information terminal. It depends heavily on ability.
  • the moving image data distribution method according to the present invention is characterized in that the data distribution operation is controlled by the receiving side information terminal.
  • the moving image data applied in the moving image data distribution method has a frame structure in which each image frame can be compressed / decompressed independently of an adjacent image frame without being compressed in the time axis direction, Alternatively, a frame structure in which a specific image frame group can be reproduced independently of the preceding and following image frame groups (a plurality of image frames constituting one frame group is compressed in the time axis direction by inter-frame prediction. It is preferable that the video data has no problem.
  • each image frame is mainly used in accordance with the JPEG (or JPEG2000) standard, which is known as a still image compression method, in order to actively use the characteristics of the frame structure as described above.
  • Motion-JPEG (or Motion-JPEG2000) type moving image data in which is compressed is suitable. That is, the total amount of moving image data to be transmitted / received is not simply determined by the number of image frames transmitted / received as a data structure element, but “number of image frames” ⁇ “image resolution (size)” ⁇ It is determined by “the number of bits representing one pixel”.
  • JPEG moving image data that can be compressed / decompressed for individual image frames without being compressed along the time axis direction is the remaining image frames even when the image frames are arbitrarily deleted. This is particularly effective because it does not affect the encoding of.
  • MPEG data that can be compressed in the time axis direction is also included in the moving image data that can be distributed by the present invention.
  • MPEG moving image data in which an I frame in which each image frame is individually encoded is designated as a reference frame in inter-frame prediction is also included in the moving image data that can be distributed by the present invention.
  • a combination of an I frame and a P frame is designated as a reference frame in inter-frame prediction, one image frame designated by an I frame and two image frames designated by a P frame are used.
  • a total of three image frames can be handled as a frame group as one handling unit (transmission / reception unit), and moving image data having a frame structure including such a frame group can also be a distribution target of the present invention.
  • moving image data having a frame structure including such a frame group can also be a distribution target of the present invention.
  • reference frames in inter-frame prediction in the MPEG system for example, an I frame in which each image frame is individually encoded, a B frame in which encoding is performed using two front and rear image frames, and a previous image frame P frames to be encoded using can be designated.
  • Motion-JPEG or Motion-JPEG2000
  • Motion-JPEG or Motion-JPEG2000
  • the moving image data distribution method enables the above-described moving image data (which can be independently reproduced along the time axis direction) between a plurality of information terminals connected to each other via a network.
  • Moving image data having a frame structure made up of various image frames or frame groups).
  • the receiving side in the moving image data distribution operation from the transmitting side information terminal to the receiving side information terminal, the receiving side The information terminal and the transmission-side information terminal distribute the transmission request and the image frame according to the data amount that can be processed by each other.
  • the receiving side information terminal calculates the receivable data amount at the time of making the transmission request. To do. Thereafter, the reception side information terminal sequentially notifies the transmission side information terminal of the calculated data amount and the upper limit value of at least one of the data structure elements that are the basis for calculating the data amount as reception restriction information. To do.
  • the transmitting side information terminal that has received the transmission request is requested by the receiving side information terminal according to the received reception restriction information instruction and the amount of data that falls within the load allowable range at the time of receiving the transmission request.
  • the moving image data whose data amount is limited in accordance with at least one of the data amounts, preferably the smaller one, is transmitted to the receiving side information terminal that has notified the transmission request.
  • the receivable data amount calculated in the receiving side information terminal is the data amount of at least one of the image frame receivable amount due to the bandwidth limitation of the network and the load allowable amount of the own image frame display processing. Is preferred. More preferably, the receivable data amount is the smaller data amount of the image frame receivable amount and the load allowable amount. In this way, by making it possible to select either the network bandwidth limit or the processing capacity of the information terminal, whichever is smaller, the present invention can be applied not only to the load countermeasure of the receiving side information terminal but also to the state of the network load. It is because it can function effectively.
  • the reception restriction information transmitted from the reception side information terminal to the transmission side information terminal includes, as described above, network bandwidth restriction and load allowance for own image frame display processing.
  • the upper limit value of the data amount calculated in consideration of at least one of them and the upper limit value of the frame component that is the basis for calculating the data amount are included.
  • the frame structure element includes at least one of the number of transmission / reception units related to an image frame per unit time, the image resolution, and the number of bits per pixel.
  • the transmission / reception data amount of moving image data to be distributed in consideration of the processing load of both the receiving side information terminal and the transmitting side information terminal (controlled by increase / decrease in the number of image frames) Is dynamically determined, leading to a reduction in processing load on each of a plurality of information terminals connected to each other via a network (each information terminal can be either a reception side or a transmission side information terminal).
  • each information terminal can be either a reception side or a transmission side information terminal.
  • the amount of transmitted / received data is controlled by increasing / decreasing the number of image frames, moving image data is distributed within the allowable processing load limits on both the receiving and transmitting information terminals, so that the moving image is displayed on the receiving information terminal. In some cases, an intermediate image frame may not be received.
  • the receiving terminal A110 cannot control the reception timing. . Therefore, as shown in the area (b) of FIG. 2, at the timings T5 and T6, there is a possibility that the processing load on the terminal A110 increases significantly or a transmission collision state occurs in the network. In this case, the display process cannot be completed due to data loss. Therefore, in the moving image data distribution method according to the present invention, as shown in the area (c) of FIG. 2, one-to-many data is obtained by giving the receiving side information terminal control over the distribution timing of moving image data. Synchronization in the transmission / reception mode is ensured.
  • the receiving information terminal displays an image frame.
  • a transmission request signal is transmitted to at least one of the two or more transmitting side information terminals at the self-processable timing.
  • the transmitting side information terminal that has received the transmission request signal issued at the timing of the receiving side information terminal itself has the amount of moving image data requested from the receiving side information terminal. Is transmitted to the receiving side information terminal.
  • the transmitting side information terminal that has not received the transmission request to itself is in a standby state for moving image data until it receives the transmission request to itself.
  • the moving image data when the moving image data is composed of image frames that can be reproduced independently of the previous image frame without being compressed in the time axis direction, that is, If the I-frame is designated in the inter-frame prediction even if the moving image data is JPEG or MPEG, the transmission / reception unit related to the image frame corresponds to each image frame constituting the moving image data.
  • the moving image data refers to a data group including a plurality of image frames, which are sequentially switched at a certain timing. Therefore, moving image data that can be distributed includes a group of image data prepared for slide switching in a slide show such as PowerPoint.
  • the moving image data includes a plurality of image frames, each of which includes a plurality of image frames and can be reproduced independently of an image frame positioned in front of the time axis direction, that is, an I frame
  • a frame group a frame group that can be reproduced independently of adjacent image frames
  • I and P frames a combination of I frames, P frames, and B frames
  • each of the plurality of information terminals has a unit time when its own information terminal is the transmission source of the moving image data with respect to the number of transmission / reception units related to the image frame.
  • the transmission limit information Prior to the transmission of the moving image data, it is preferable to notify the transmission limit information indicating the upper limit value that can be transmitted in advance to other information terminals.
  • the receiving side information terminal can set the number of frames within this upper limit.
  • the receiving side information terminal determines that it can process the moving image data transmitted from the transmitting side information terminal while managing its own data processing (background data processing) in addition to the number of image frames to be displayed. Only when the transmission side information terminal has made a transmission request to the transmission side information terminal, both the reception side and transmission side information terminals can actively manage the moving image data distribution operation.
  • the upper limit of the number of image frames of moving image data to be distributed according to the uneven distribution of processing load among a plurality of information terminals connected to each other via a network The value can be adjusted dynamically. Therefore, real-time moving image data distribution is possible without being affected by the uneven distribution of processing load among the plurality of information terminals.
  • the moving image data to be transmitted / received as represented by Motion-JPEG moving image data in which an image frame is compressed / expanded according to the JPEG standard, Moving image data composed of image frames or frame groups that can be reproduced independently of adjacent image frames without being compressed in the axial direction is employed.
  • Moving image data composed of image frames or frame groups that can be reproduced independently of adjacent image frames without being compressed in the axial direction is employed.
  • FIG. 1 Is an example for explaining moving image data included in visual information distributed in the interactive data communication system shown in FIG. 1 (for example, Motion-JPEG2000 data structure composed of image frames of JPEG200 standard).
  • FIG. 1 Is an example for explaining moving image data included in visual information distributed in the interactive data communication system shown in FIG. 1 (for example, Motion-JPEG2000 data structure composed of image frames of JPEG200 standard).
  • FIG. 1 are the block diagrams for demonstrating the moving image data delivery procedure between each information terminal in the bidirectional
  • FIG. These are communication control sequences between information terminals in the bidirectional data communication system shown in FIG.
  • FIG.1 and FIG.2 is also referred in description of each embodiment as needed.
  • the same elements are denoted by the same reference numerals, and redundant description is omitted.
  • the moving image data distribution method is a bidirectional data communication system such as a video conference system, which is composed of a plurality of information terminals connected to a network.
  • This bidirectional data communication system includes a network 100 and a plurality of information terminals individually connected to the network 100.
  • information terminals connected to the network 100 are represented as a terminal A110, a terminal B120, and a terminal C130, respectively.
  • each of the terminal A110, the terminal B120, and the terminal C130 connected to each other via the network 100 in this way can be a reception destination or a transmission source for moving image data distributed on the network 100. .
  • transmission / reception 100a of visual information such as moving image data is performed via the network 100.
  • transmission / reception 100b of visual information such as moving image data is also performed between the terminal A110 and the terminal C130 via the network 100.
  • transmission / reception 100c (including a transmission request and data distribution) of visual information such as moving image data is performed via network 100.
  • the moving image data applied in the moving image data distribution method is not compressed in the time axis direction, and each image frame or frame group is compressed / expanded independently of the adjacent image frame or frame group.
  • each embodiment will be described with this moving image data limited to JPEG moving image data.
  • the transmitted / received visual information includes information that can contribute to interactive conversation including still image data and text data in addition to moving image data and voices of operators of each information terminal.
  • the moving image data included in the visual information is arranged along the time axis t without being compressed in the direction along the time axis t as shown in FIG.
  • This is moving image data D1 which is an image frame to be decompressed and is composed of 12 image frames f1 to f12 per unit time (s).
  • FIG. 3 shows an example of moving image data included in visual information distributed in the interactive data communication system shown in FIG. 1 (for example, Motion-JPEG2000 data structure composed of JPEG200 standard image frames). It is a figure for demonstrating.
  • Such moving image data D1 can be compressed in the direction of the time axis t by using the difference information between adjacent image frames.
  • the moving image data D1 to be distributed for example, Motion- JPEG (or Motion-JPEG2000) moving image data is included.
  • Motion-JPEG (or Motion-JPEG2000) video data is less efficient at compression at the same bit rate than MPEG video data, but separates any image frame from other image frames. Allows you to edit. Also, such moving image data has a light load at the time of encoding / decoding at each terminal, and enables real-time encoding with relatively simple equipment.
  • FIG. 4 is a block diagram for explaining a procedure for distributing the moving image data D1 between the terminals.
  • FIG. 5 is a communication sequence between the terminals.
  • the terminal A110 is a receiving information terminal (hereinafter simply referred to as a receiving terminal A110), while the terminal B120 and the terminal C130 are transmitting information terminals (hereinafter simply referred to as a transmitting terminal B120 and a transmitting terminal C130).
  • the reception side terminal A110 controls the reception timing. Further, when the reception side terminal A100 repeats the transmission request for moving image data at a fixed time interval T to the transmission side terminal B120 or the transmission side terminal C130 as a transmission source, reception at the time when the transmission request is made as reception restriction information Calculate the amount of possible data.
  • the receivable data amount in the receiving terminal A110 is the smaller of the image amount receivable amount due to the bandwidth limitation of the network and the load allowance amount of the own image frame display processing, whichever is smaller To do. Further, in the reception restriction information transmitted from the receiving terminal A110 to the transmitting terminals B120 and C130, the number of transmission / reception units per unit time for the image frame, the image resolution, as a data structure element that is a basis for calculating the data amount , And / or the number of bits per pixel. However, for the sake of simplicity in the following description, only the number of image frames to be transmitted per unit time is used as the reception restriction information.
  • the moving image data distribution method in the moving image data distribution operation from the transmission side terminal B 120 to the reception side terminal A 110 and the moving image data distribution operation from the transmission side terminal C 130 to the reception side terminal A 110.
  • the transmission request and the image frame distribution according to the number of mutually processable frames are performed.
  • the receiving side terminal A110 repeats the transmission request for moving image data at a certain time interval T to the transmitting side terminal B120 or the transmitting side terminal C130.
  • the number of frames per unit time (s) that can be processed within the allowable load range of the current image frame display process may be calculated based on the bandwidth limit of the network 100) as reception limit information.
  • the transmission side terminal B120 or the transmission side terminal C130 is notified sequentially.
  • the transmission side terminal B120 and the transmission side terminal C130 that have received the transmission request have the number of frames per unit time (s) that fall within the allowable load range of their own image frame transmission processing at the time of receiving the transmission request, and
  • the moving image data of the smaller number of frames out of the number of frames per unit time (s) requested from the receiving side information terminal is transmitted to the receiving side terminal A110 that has notified the transmission request.
  • the receiving side terminal A110 first confirms that the allowable load range of its own image frame display processing is 10 frames / s and transmits to the transmitting side terminal B120. Requests (including notification of limit on the number of transmission frames) are notified sequentially.
  • the transmission side terminal B120 notified of the transmission request from the reception side terminal A110 confirms the load state including its own background processing at the time when the transmission request is received, and sets its own frame transmission capability. For example, in the case shown in FIG. 4, since the transmission side terminal B120 has no transmission limit set as the processing capability at the time when the transmission request is received from the reception side terminal A110, the transmission requested 10 frames / s. Is transmitted to the receiving terminal A110.
  • the transmission side terminal C130 In the case where a transmission request of 10 frames / s (a limit on the number of frames that can be received) is notified from the reception side terminal A110 to the transmission side terminal C130, as in the case of the transmission side terminal B120, the transmission side terminal C130 The load state including its own background processing at the time when the transmission request is received is confirmed, and its own frame transmission capability is set. For example, in the case shown in FIG. 4, the transmission side terminal C130 is set to 5 frames / s as the processing capability at the time when the transmission request is received from the reception side terminal A110. The moving image data of 5 frames / s with respect to / s is transmitted to the receiving side terminal A110.
  • the number of frames of moving image data to be distributed is dynamically determined in consideration of the processing loads of the receiving terminal A110, the transmitting terminal B120, and the transmitting terminal C130. It is determined. Therefore, the processing load on each of the receiving side terminal A110, the transmitting side terminal B120, and the transmitting side terminal C130 connected to each other via the network 100 is reduced.
  • the moving image data is displayed in the middle when the receiving terminal A110 displays a moving image.
  • An image frame may not be received.
  • the transmitting terminal B 120 and the transmitting terminal C 130 deliver an image at an arbitrary timing, an intermediate image frame may not be transmitted.
  • the moving image data D1 to be transmitted / received has moving image data having a frame structure of a moving image format such as the JPEG2000 standard so that video can be displayed on the receiving terminal A110. D1 is adopted.
  • FIG. 6 is a diagram for explaining the communication control procedure of each terminal described with reference to FIGS. 4 and 5 from the viewpoint of processing load.
  • an image frame that can process a change in processing capability at each predetermined time T in each of the receiving terminal A110, the transmitting terminal B120, and the transmitting terminal C130 per unit time. The number of frames is shown.
  • the processing capability (frame / s) of the receiving-side terminal A110 changes with time.
  • the processing capability (frame / s) changes every moment with the passage of time t.
  • the load calculation timing at the receiving terminal A110 is substantially the same as the transmission request timing from the receiving terminal A110 to the transmitting terminal B120 or the transmitting terminal C130. I'm doing it.
  • the load calculation timing at each of the transmission side terminal B120 and the transmission side terminal C130 coincides with the reception timing of the transmission request from the reception side terminal A110.
  • the receiving side terminal A110 performs the distribution operation of moving image data to each of the transmitting side terminal B120 and the transmitting side terminal C130 in accordance with the communication control procedure shown in FIG. It is a figure for demonstrating from a viewpoint of load.
  • the receiving terminal A110 alternately sends a transmission request every predetermined time, for example, every fixed time interval T to both the transmitting terminal B120 and the transmitting terminal C130. Sending.
  • the area A1 is a difference between the number of frames requested for transmission from the receiving side terminal A110 and the number of frames actually transmitted from both the transmitting side terminal B120 and the transmitting side terminal C130 in response to the transmission request (reception This is the number of processing frames that were not displayed on the side terminal A110, and indicates the image frame display capacity at the reception side terminal A110).
  • the transmission side terminal B120 receives a transmission request from the reception side terminal A110, the frame transmission to the reception side terminal A110 is performed within the allowable range of its own processing capacity only during that period. Another process is taking place.
  • the transmitting terminal B 120 distributes moving image data of the number of frames according to the transmission request of the receiving terminal A 110.
  • the transmitting side terminal B120 can transmit frames within the range of its own processing capability even if it is less than the requested number of frames.
  • the number of moving image data is transmitted to the receiving side terminal A110.
  • Region B1 is the number of processing frames for error transmission (transmission operation is skipped) in frame transmission from the transmission side terminal B120 to the reception side terminal A110.
  • the transmission side terminal C130 receives a transmission request from the reception side terminal A110, the frame transmission to the reception side terminal A110 is performed within the allowable range of its own processing capacity only during that period, and other time zones are Another process is taking place.
  • the transmission side terminal C130 distributes moving image data of the number of frames according to the transmission request of the reception side terminal A110.
  • the transmitting terminal C130 can transmit frames within the range of its own processing capacity even if the number of frames is less than the requested number.
  • the number of moving image data is transmitted to the receiving side terminal A110.
  • the area C1 is the number of processing frames that have been error-transmitted (the transmission operation is skipped) in frame transmission from the transmission-side terminal B120 to the reception-side terminal A110.
  • reception side sequence in the reception side terminal A110 will be specifically described with reference to the flowchart of FIG.
  • the actual reception side sequence, reception processing, and the like are executed by the control unit 110a.
  • the terminal A, the terminal B, and the terminal C each have a frame transmission limit set in advance (step ST61). That is, each of the terminal A, the terminal B, and the terminal C indicates transmission restriction information regarding the number of frames that can be transmitted per unit time when the terminal of the terminal A is the transmission source of the moving image data. Prior to transmission, other terminals are notified in advance. For example, in the case shown in FIG. 4, the transmission-side terminal B 120 has no transmission restriction set in advance because the processing load in the background is low. On the other hand, since the transmission side terminal C130 has a high processing load, a transmission limit of 5 frames / s is set in advance and notified to each of the other terminals A110 and B120.
  • the reception-side terminal A110 sets the number of received frames within this upper limit. Become. Therefore, it is possible to avoid an increase in processing load on the receiving side terminal A110 by ignoring the load status and send moving image data to the receiving side terminal A110, and to reduce the processing load on the transmitting side information terminal. Furthermore, the receiving side terminal A110 manages its own data processing (data processing in the background) in addition to the number of image frames to be displayed, while moving image data transmitted from the transmitting side terminal B120 or the transmitting side terminal C130. Only when it is determined that processing is possible, both the receiving and transmitting terminals can actively manage the distribution operation of moving image data, such as making a transmission request to the corresponding transmitting terminal.
  • the receiving terminal A110 confirms its own processing capability (step ST63). At this time, if it is determined that the receiving side terminal A110 can receive, the transmission request of the moving image data of the number of frames within the processable range is notified to either the transmitting side terminal B120 or the transmitting side terminal C130 (step ST64). ).
  • the receiving terminal A 110 When receiving the moving image data of a predetermined number of frames from either the transmitting terminal B 120 or the transmitting terminal C 130 that has notified the transmission request, the receiving terminal A 110 expands each image frame of the received moving image data.
  • a predetermined frame reproduction process such as sequential display on the monitor is performed (step ST66). This frame reproduction operation (step ST66) is repeated until reception of all the image frames requested for transmission is completed (step ST67).
  • the reception side terminal A110 waits for the reception of the image frame transmitted from the transmission side terminal B120 or the transmission side terminal C130 and a certain time has elapsed, the reception side terminal A110 again transmits from the transmission side terminal A110 to the transmission side terminal B120 or the transmission side.
  • a transmission request is notified to terminal C130.
  • the terminal A, the terminal B, and the terminal C transmit the transmission restriction information regarding the number of frames that can be transmitted per unit time when the terminal of the terminal A, the terminal B becomes the transmission source of the moving image data. Prior to this, other terminals are notified in advance (step ST71). In the embodiment as shown in FIG. 4, since the terminal B120 and the terminal C130 are transmission sources, each of the transmission-side terminal B120 and the transmission-side terminal C130 notifies the other terminal of the transmission restriction and receives the reception-side terminal A110. Waits for a transmission request from (step ST72).
  • the transmitting side terminal B120 first confirms its processing capability (step ST73), and then, to the receiving side terminal A110. Then, an error transmission process (step ST75) meaning frame transmission (step ST74) or transmission skip is performed.
  • This frame transmission process is performed as shown in FIG. In the frame transmission process shown in FIG. 9, it is assumed that a transmission request of 5 frames / s is notified from the reception side terminal A110 to the transmission side terminal B120.
  • the transmission capability at the transmitting terminal B 120 at this time is set to 5 frames / s.
  • step ST73 to ST75 first, as shown in FIG. 9A, the transmitting side terminal B120 prepares a moving image prepared in advance according to its own frame transmission capability. By removing the image frames f1 and f6 as the error data E1 from the image frames f1 to f12 constituting the data D1 (12 frames / S), the video data D2 (10 frames / s) that can be processed once is generated. Further, as shown in the area (b) of FIG.
  • the transmission side terminal B120, the moving image data D2 (self-transmission processing data D2) that can be transmitted corresponding to the frame restriction of the transmission request notified from the reception side terminal A110 The image frames f3, f4, f8, f9, and f11 are further excluded from the image frames f2,..., F5, f7,.
  • transmission moving image data D3 (moving image data of 5 frames / s composed of image frames f2, f5, f7, f10, and f12) is generated, and the transmitting-side terminal B120 transmits the transmitting moving image data D3. Is transmitted to the receiving-side terminal A110 that has notified the transmission request.
  • step ST76 the transmission-side terminal B120 waits until a next transmission request is notified (step ST72).
  • the moving image data distribution method according to the present invention, distribution is performed in accordance with the uneven distribution status of processing loads among the plurality of information terminals connected to each other via the network and the bandwidth status of the connected network. It is possible to dynamically adjust the number of frames of moving image data to be performed. Therefore, real-time moving image data distribution is possible without being affected by the uneven distribution of processing load among the plurality of information terminals.
  • moving image data such as Motion-JPEG format is employed as moving image data to be transmitted / received, each information can be stored even when the number of image frames constituting the moving image data frequently increases or decreases. The influence on real-time moving image data distribution between terminals can be effectively reduced.
  • 100 Network
  • 110, 120, 130 Information terminal (PC)
  • 110a, 120a, 130a Control unit (CPU).
  • CPU Control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　この発明は、時間経過とともに変化する処理負荷の偏在状況や接続されるネットワークの帯域状況に影響されることなく、各情報端末の処理負荷増大を抑制する動画像データの配信方法に関する。送信側情報端末(120,130)から受信側情報端末(110)への動画像データの配信動作において、受信側情報端末(110)は、一定時間間隔で動画像データの送信要求を送信側情報端末(120,130)に対し繰り返す際、受信制限情報として、自己の画像フレーム受信可能量、及び、自己の付加許容量のうち少なくとも何れか一方のデータ量を予め計算した後、該データ量、及び、該データ量の算出根拠となるデータ構造要素のうち少なくとも何れか一方の上限値を送信側情報端末(120,130)に逐次通知する。

Description

動画像データの配信方法
　この発明は、ネットワークを介して互いに接続された複数の情報端末により構成されるテレビ会議システムなどの双方向データ通信システムに適用され、各情報端末間において送受信されるビジュアル情報に含まれる動画像データの配信方法に関するものである。
　データ通信回線における通信速度は、近年、飛躍的に速くなってきており、個人所有のパーソナルコンピュータ（以下、ＰＣという）などの情報端末間においても、日常的に、動画像データ、音声データ等を含む大容量のビジュアル情報の送受信が行われるようになってきた。特に、このような通信環境では、リアルタイムでの双方向データ通信を実現するシステムが簡単に構築され得る。図１の領域（ａ）は、テレビ会議システムなど、ネットワーク回線及びＰＣ等の情報端末など、既存のネットワーク・リソースを利用して構築され得る双方向データ通信システムの構成を示す図である。この双方向データ通信システムは、ネットワーク１００と、該ネットワーク１００に個々に接続された複数の情報端末（端末Ａ１１０、端末Ｂ１２０、及び端末Ｃ１３０）により構成される。また、システムの一部を構成する端末Ａ１１０と端末Ｂ１２０間では、ネットワーク１００を介して動画像データなどのビジュアル情報の送受信１００ａ（送信要求とデータ配信が含まれる）が行われる。同様に、端末Ａ１１０と端末Ｃ１３０間でも、ネットワーク１００を介して動画像データなどのビジュアル情報の送受信１００ｂが行われる。端末Ｂ１２０と端末Ｃ１３０間では、ネットワーク１００を介して動画像データなどのビジュアル情報の送受信１００ｃ（送信要求とデータ配信が含まれる）が行われる。なお、端末Ａ１１０は制御部１１０ａ（ＰＣにおけるＣＰＵに相当）を備え、端末Ｂ１２０は制御部１２０ａを備え、端末Ｃ１３０は制御部１３０ａを備えており、実際の通信制御、各種ディジタル処理は、これら制御部１１０ａ～１３０ａにおいて行われる。
　しかしながら、現状において膨大な動画像データを限られたネットワーク・リソースを利用して配信する場合、各情報端末の処理能力、ネットワークの回線速度などの制限から、データ量自体を少なくする必要がある。そのため、配信される動画像データや音声データを圧縮する技術が盛んに研究され、また、実用化されてきている。例えば、特許文献１には、操作者や各情報端末に多大な負担をかけることなく、受信側クライアントの端末種別等の通信環境に適した画像データ送受信を可能にするための画像通信技術が開示されている。一方、特許文献２には、解像度方向に対する情報更新性を実現する方式として、スケーラビリティを利用した符号化装置、その方法、プログラムなどが開示されている。
　また、特許文献３には、サーバと受信側クライアント間の個々の通信環境に応じたデータ通信を可能にする技術が開示されている。すなわち、サーバから送信される画像データの品質に対してサーバと受信側クライアント間の回線速度が低い場合、該受信側クライアントからの要求に応じた品質の画像データが、サーバが受信側クライアントへ送信される。
特開２００６－１７４０４５号公報 特開２００５－０９４０５４号公報 特公平１１－１６１５７１号公報
　発明者らは、従来の動画像データの配信方法について詳細に検討した結果、以下のような課題を発見した。
　すなわち、複数の情報端末間においてビジュアル情報の送受信を行う従来の双方向データ通信システムは、ブロードバンドを活用したＰＣシステムに置き換わりつつある。ただし、動画像データや音声データの配信時に利用されるブロードバンドの使用料が比較的安価なため、配信されるデータ量の制御等は考慮されていない実態がある。これは、一見高速化するブロードバンド環境においてなんら問題がないと思われる。しかしながら、各情報端末のデータ処理性能が均一ではないため、異なる性能の情報端末間における双方向データ通信に障害が発生しやすくなっている現状は見逃すことができない。例えば、処理速度の速いＰＣから動画像データが処理速度の遅いＰＣへ配信された場合、該処理速度の遅いＰＣでは、受信データの処理が追いつかなくなってしまう。
　また、近年実用化されてきたＨ．２６４（ＭＰＥＧ－４　ＡＶＣ、以下、これら次世代画像圧縮技術を含め単にＭＰＥＧ方式という）などの動画配信技術では、送信側情報端末において一定時間におけるフレーム数を変更することが可能だが、受信側情報端末の要求に応じて処理可能時にフレームを送信すると、フレーム数を変更して送信するまでの遅延が発生するなど、リアルタイム処理ができない。
　より具体的には、図１の領域（ａ）に示されたような個人所有のＰＣ等の情報端末１１０～１３０を既存のネットワーク１００に接続することにより、容易に複数人による双方向データ通信システムが構築できる通信環境下では、単にネットワーク・リソースのみの負荷管理だけではストレスフリーなネットワーク・コミュニケーションができないことは経験的にも明らかである。
　この大きな原因としては、各情報端末においてバックラウンドの処理が双方向データ通信とは別に行われていることに起因している。換言すれば、図１の領域（ｂ）に示されたように、ネットワーク１００を介して互いに接続された端末Ａ１１０～端末Ｃ１３０それぞれにおける処理負荷（ＣＰＵ稼働率）が、時間経過とともに刻々と変化するためである。例えば、図１の領域（ｂ）において、時刻Ｔ１では、端末Ａ１１０の処理負荷は低下傾向にあり、ある程度のデータ送受信処理に対する負荷が許容でき、端末Ｂ１２０にいたっては十分な処理負荷が許容できる。一方、時刻Ｔ１における端末Ｃ１３０の処理負荷は非常に高く、新たにデータ送受信処理の負荷を許容することはできない状態となっている。また、時刻Ｔ２では、端末Ａ１１０における処理負荷は高いが、端末Ｂ１２０、端末Ｃ１３０における処理負荷は低く、端末Ａ１１０の処理能力低下が、端末Ａ１１０、端末Ｂ１２０、端末Ｃ１３０間の双方向データ通信におけるボトルネックとなることは明白である。さらに、時刻Ｔ３では、端末Ａ１１０における処理負荷は低いが、端末Ｂ１２０、端末Ｃ１３０における処理負荷が高くなっている。この場合、端末Ｂ１２０及び端末Ｃ１３０それぞれの処理能力低下が、端末Ａ１１０、端末Ｂ１２０、端末Ｃ１３０間の双方向データ通信におけるボトルネックとなる。
　上述のように、ネットワークを介して互いに接続された端末Ａ１１０、端末Ｂ１２０、端末Ｃ１３０それぞれにおける負荷状態を無視して一定量のビジュアル情報の双方向データ通信が行われると、ボトルネックとなる情報端末ではＰＣの処理能力をオーバーしてしまい、モニタに表示される映像やスピーカから出力される音声の乱れ等が発生してしまう。すなわち、受信側端末における画像データや音声データの処理状況を無視して送信側端末がデータ送信を続けるため、受信側情報端末の映像再生処理が遅れてしまう。逆に、送信側情報端末の処理負荷が大きくなる場合も受信側情報端末の映像再生処理が遅れてしまう。例えば、上記特許文献３におけるサーバの配信対象となる情報端末の数は時間経過とともに刻々と変化する。したがって、処理ピーク（複数の情報端末からの送信要求があった場合）では、サーバの処理能力の限界を超えてしまい、該サーバからの画像データの送信遅れに伴って受信側情報端末の映像再生処理が遅れてしまう。
　なお、各情報端末における処理負荷には、上述のような画像フレームの符号化、複合化、表示処理の他、ネットワークを介して受信したデータ（一旦、通信用バッファに格納される）をバッファから取り出す処理負荷も含まれる。通常、ＰＣなどの情報端末では、ネットワークを介して受信したデータがソフトウエアにより通信用バッファに一旦格納され、該格納されたデータをアプリケーションソフトが取り出して所定の処理を行う。このとき、電気的にＰＣのネットワークカードなど、通信用Ｉ／Ｏ部に届いたパケットも、当該情報端末の処理負荷が増大するとアプリケーションソフトが取り出すまでに時間がかかる。この場合、実質的にバッファオーバーフローのような状態となるため、受信データの取りこぼしの原因となってしまう。
　この発明は、上述のような課題を解決するためになされたものであり、ネットワークを介して互いに接続された複数の情報端末間における処理負荷の偏在や接続されるネットワークの帯域状況に影響されることなく、リアルタイムでの動画像配信を可能にするための構造を備えた動画像データの配信方法を提供することを目的としている。
　この発明に係る動画像データの配信方法は、ネットワークを介して互いに接続された複数の情報端末により構成された、テレビ会議システムなどの双方向データ通信システムに適用される。したがって、ネットワークを介して互い接続された情報端末のそれぞれは、ネットワーク上に配信される動画像データに対して受信先にも送信元にもなり得る。
　ここで、当該双方向データ通信システムで送受信されるビジュアル情報は、動画像データや各情報端末の操作者等の音声の他、静止画データ、テキストデータをも含む双方向対話に寄与し得る情報を含む。特に、ビジュアル情報に含まれる動画像データは、各情報端末における送受信動作において符号化（データ圧縮）及び復号化（データ伸長）が行われるため、その配信動作の効率化は各情報端末のデータ処理能力に大きく依存することになる。この発明に係る動画像データの配信方法では、受信側情報端末によりデータ配信動作を制御することを特徴としている。そのため、当該動画像データの配信方法において適用される動画像データは、時間軸方向に圧縮されることなく各画像フレームが隣接する画像フレームとは独立に圧縮／伸長され得るフレーム構造を有するか、あるいは、特定の画像フレーム群が前後の画像フレーム群とは独立に再生可能なフレーム構造（１つのフレーム群を構成する複数の画像フレーム間ではフレーム間予測による時間軸方向の圧縮が行われていても問題ない）を有する動画像データであるのが好ましい。
　この発明の配信対象となり得る動画像データとしては、上述のようなフレーム構造の特徴を積極的に利用するため、主に、静止画像の圧縮方式として知られるＪＰＥＧ（又はＪＰＥＧ２０００）規格に従って各画像フレームが圧縮されるＭｏｔｉｏｎ－ＪＰＥＧ（又はＭｏｔｉｏｎ－ＪＰＥＧ２０００）方式の動画像データが好適である。すなわち、送受信される動画像データのトータルのデータ量は、データ構造要素として単に送受信される画像フレームの数のみで決定されるわけではなく、「画像フレーム数」×「画像解像度（サイズ）」×「一画素を表現するビット数」により決定される。しかしながら、トータルのデータ量の増減には、画像フレーム数、画像解像度、及び、一画素を表現するビット数のうち少なくとも何れかを制御すればよく、特に、画像フレーム数の制御が効果的である。そこで、時間軸方向に沿って圧縮されることなく個々の画像フレームについて圧縮／伸長が可能なＪＰＥＧ方式の動画像データは、任意に画像フレームを欠落させた場合であっても、残りの画像フレームの符号化には影響を及ぼすことがないため、特に有効である。
　ただし、前後に隣接する画像フレーム間の差分情報を利用するなど、時間軸方向にも圧縮が可能なＭＰＥＧ方式も、この発明の配信対象となり得る動画像データに含まれる。例えば、フレーム間予測における参照フレームとして、画像フレームそれぞれが個別に符号化されるＩフレームが指定されたＭＰＥＧ方式の動画像データもこの発明の配信対象となり得る動画像データに含まれる。さらに、フレーム間予測における参照フレームとして、ＩフレームとＰフレームの組み合わせが指定されたような場合には、Ｉフレーム指定された１枚の画像フレームと、Ｐフレーム指定された２枚の画像フレームの合計３枚の画像フレームにより、１つの取り扱い単位（送受信単位）となるフレーム群と扱うことが可能であり、このようなフレーム群からなるフレーム構造の動画像データも、この発明の配信対象となり得る。なお、ＭＰＥＧ方式のフレーム間予測における参照フレームとしては、例えば、画像フレームそれぞれが個別に符号化されるＩフレーム、前後２枚の画像フレームを利用して符号化が行われるＢフレーム、前画像フレームを利用して符号化が行われるＰフレームが指定可能である。
　なお、上述のようなＭｏｔｉｏｎ－ＪＰＥＧ（又はＭｏｔｉｏｎ－ＪＰＥＧ２０００）方式の動画像データは、時間軸方向には圧縮されないためにＭＰＥＧ方式の動画像データと比較して同一ビットレートでの圧縮効率は悪いが、任意の画像フレームを他の画像フレームと切り離して個別に編集することを可能にするなどの特徴を有し、個人向けのビデオキャプチャーカードなどが出力形式として採用している。
　具体的に、この発明に係る動画像データの配信方法は、ネットワークを介して互いに接続された複数の情報端末間において、上述のような動画像データ（時間軸方向に沿ってそれぞれ独立に再生可能な画像フレームあるいはフレーム群からなるフレーム構造を有する動画像データ）の送受信を行う。例えば、この発明に係る動画像データの配信方法では、複数の情報端末間における双方向データ通信の一態様として、送信側情報端末から受信側情報端末への動画像データの配信動作において、受信側情報端末及び送信側情報端末は、互いの処理可能なデータ量に応じて、送信要求及び画像フレームの配信を行う。
　すなわち、受信側情報端末は、所定の時間間隔、例えば一定時間間隔で動画像データの送信要求を送信元となる送信側情報端末に対し繰り返す際、送信要求を行う時点における受信可能データ量を計算する。その後、受信側情報端末は、受信制限情報として、計算されたデータ量、及び、該データ量の算出根拠となるデータ構造要素のうち少なくとも何れか一方の上限値を、送信側情報端末に逐次通知する。一方、送信要求を受けた送信側情報端末は、受信した受信制限情報の指示に従って、送信要求を受けた時点における自己の負荷許容範囲内に収まるデータ量、及び、受信側情報端末から要求されたデータ量のうち少なくとも一方、好ましくは少ない方に合わせてそのデータ量が制限された動画像データを、送信要求を通知してきた受信側情報端末に送信する。
　特に、受信側情報端末において算出される受信可能データ量は、ネットワークの帯域制限に起因する画像フレーム受信可能量、及び、自己の画像フレーム表示処理の負荷許容量のうち少なくとも何れか一方のデータ量であるのが好ましい。より好ましくは、受信可能データ量は、上記画像フレーム受信可能量、及び、上記負荷許容量のうち少ない方のデータ量である。このように、ネットワークの帯域制限と情報端末の処理能力のいずれか少ない方を選択可能にすることにより、当該受信側情報端末の負荷対策だけでなく、ネットワーク負荷の状態に対しても当該発明が有効に機能し得るからである。
　また、動画像データの配信に先立ち、受信側情報端末から送信側情報端末へ送信される受信制限情報には、上述のように、ネットワークの帯域制限、及び、自己の画像フレーム表示処理の負荷許容のうち少なくとも何れか一方を考慮して計算されたデータ量の上限値、及び、該データ量の算出根拠となったフレーム構成要素の上限値のうち少なくとも何れか一方が含まれる。なお、フレーム構造要素には、画像フレームに関する送受信単位の単位時間当たりの数、画像解像度、及び一画素当たりのビット数の少なくともいずれかが含まれる。
　このように動画像データの配信動作において受信側情報端末及び送信側情報端末双方の処理負荷が考慮された配信対象である動画像データの送受信データ量（画像フレーム数等の増減により制御される）が動的に決定されるため、ネットワークを介して互いに接続された複数の情報端末（各情報端末は、受信側及び送信側情報端末のいずれにもなり得る）のそれぞれにおける処理負荷の低減につながる。しかしながら、送受信データ量を画像フレーム数の増減で制御する場合、受信側及び送信側双方の情報端末における処理負荷の許容限度内で動画像データが配信されるため、受信側情報端末において動画表示される際には途中の画像フレームが受信されない場合がある。また、送信側情報端末が任意のタイミングで画像を配信することによって途中の画像フレームが送信されない場合（送信動作をスキップ）もある。この発明に係る動画像データの配信方法は、このように受信側及び送信側双方の情報端末における処理状況に起因して発生する画像フレームの欠落を予め考慮し、受信側情報端末での映像表示が可能になるよう、Ｈ．２６４等の動画フォーマットではなく、静止画フォーマット（例えばＪＰＥＧ２０００規格等）のフレーム構造を有する動画像データが好ましい。
　ところが、送信側情報端末から受信側情報端末へ任意のタイミングで画像フレームが送信される場合、単に、受信側及び送信側双方の情報端末における処理負荷の許容限度内の画像フレーム数を通知するだけでは、これら複数の情報端末間での同期は取れず、非同期の状態で個々の情報端末から動画像データが送信される可能性は否定できない。このような状況を具体的に説明するため、例えば、図２の領域（ａ）に示されたように、端末Ａ１１０が、端末Ｂ１２０、端末Ｃ１３０それぞれに対し動画像データの送信要求を行った場合を考える。このとき、端末Ａ１１０からの送信要求を受信した端末Ｂ１２０、端末Ｃ１３０それぞれが、自己のタイミングで要求された画像フレームを端末Ａ１１０へ送信していくと、受信側の端末Ａ１１０では受信タイミングを制御できない。そのため、図２の領域（ｂ）に示されたように、タイミングＴ５、Ｔ６において、端末Ａ１１０の処理負荷が著しく増加したり、ネットワークでの伝送衝突状態となる可能性がある。この場合、データ損失により表示処理を完了できない状態となってしまう。そこで、この発明に係る動画像データの配信方法では、図２の領域（ｃ）に示されたように、受信側情報端末に動画像データの配信タイミングの制御権を与えることで、一対多のデータ送受信態様における同期を確保する。
　具体的には、複数の情報端末間における双方向データ通信の一態様として二以上の送信側情報端末から受信側情報端末への動画像データの配信動作において、受信側情報端末は、画像フレーム表示処理が可能な自己のタイミングで、二以上の送信側情報端末の少なくともいずれか一つに送信要求信号を送信する。一方、上記二以上の送信側情報端末では、受信側情報端末自身のタイミングで発せられた送信要求信号を受信した送信側情報端末のみが該受信側情報端末から要求されたデータ量の動画像データを受信側情報端末に送信する。このとき、自己への送信要求を受信しなかった送信側情報端末は、自己への送信要求を受信するまで動画像データの送信待機状態となる。
　なお、この発明に係る動画像データの配信方法において、動画像データが時間軸方向に圧縮されることなくそれぞれが前画像フレームとは独立に再生可能な画像フレームから構成されている場合、すなわち、動画像データがＪＰＥＧ方式、あるいは、ＭＰＥＧ方式であってもフレーム間予測においてＩフレーム指定された場合には、画像フレームに関する送受信単位は、当該動画像データを構成する各画像フレームに相当する。ここで、動画像データとは、複数の画像フレームを含み、これらがあるタイミングで順次切り替わっていくデータ群を指す。したがって、配信対象となり得る動画像データには、パワーポイント等のスライドショーにおいてスライド切り替え用に準備される画像データ群も含まれる。
　また、動画像データが、それぞれが複数の画像フレームを含むとともに時間軸方向から見て前に位置する画像フレームとは独立に再生可能な複数のフレーム群から構成されている場合、すなわち、ＩフレームとＰフレームの組み合わせ、又は、Ｉフレーム、Ｐフレーム及びＢフレームの組み合わせにより構成されたフレーム群（隣接する画像フレームとは独立に再生可能なフレーム群）の場合には、画像フレームに関する送受信単位は、当該動画像データを構成する各フレーム群に相当する。
　さらに、この発明に係る動画像データの配信方法において、複数の情報端末それぞれは、画像フレームに関する送受信単位の数について、自己の情報端末が前記動画像データの送信元となったときの、単位時間当たりに送信可能な上限値を指示する送信制限情報を、該動画像データの送信に先立ち、予め他の情報端末に通知しておくのが好ましい。このように、送信側情報端末となり得る各情報端末において予め送信可能な画像フレーム数等の上限を設定可能にしておくことにより、受信側情報端末は、この上限以内でフレーム数を設定することとなる。そのため、負荷状況を無視して受信側情報端末に動画像データを送ることによる該受信側情報端末の処理負荷増加の回避とともに、送信側情報端末における処理負荷の低減も可能になる。さらに、受信側情報端末は映像表示すべき画像フレーム数以外に自己のデータ処理（バックグラウンドでのデータ処理）を管理しながら、送信側情報端末から送信される動画像データの処理が可能と判断したときのみに該送信側情報端末へ送信要求を行うなど、受信側及び送信側双方の情報端末が能動的に動画像データの配信動作を管理できる。
　なお、この発明に係る各実施例は、以下の詳細な説明及び添付図面によりさらに十分に理解可能となる。これら実施例は単に例示のために示されるものであって、この発明を限定するものと考えるべきではない。
　また、この発明のさらなる応用範囲は、以下の詳細な説明から明らかになる。しかしながら、詳細な説明及び特定の事例はこの発明の好適な実施例を示すものではあるが、例示のためにのみ示されているものであって、この発明の範囲における様々な変形および改良はこの詳細な説明から当業者には自明であることは明らかである。
　この発明に係る動画像データの配信方法によれば、ネットワークを介して互いに接続された複数の情報端末間における処理負荷の偏在状況に応じて配信されるべき動画像データの画像フレーム数等の上限値を動的に調整することができる。そのため、これら複数の情報端末間における処理負荷の偏在に影響されることなく、リアルタイムでの動画像データ配信が可能になる。
　また、この発明に係る動画像データの配信方法において、送受信される動画像データとしては、ＪＰＥＧ規格に従って画像フレームを圧縮／伸長されるＭｏｔｉｏｎ－ＪＰＥＧ方式の動画像データに代表されるように、時間軸方向に圧縮されることなく隣接する画像フレームとは独立に再生可能な画像フレーム、又はフレーム群から構成された動画像データが採用される。このような構成の動画像データが送受信対象として採用されることにより、動画像データを構成する画像フレーム数等の増減が頻繁に発生した場合であっても、各情報端末間におけるリアルタイムでの動画像データ配信への影響は少ない。したがって、送受信される動画像データの単位時間当たりの画像フレーム数等を各情報端末における処理負荷の増減に応じて動的に調節することにより、各情報端末間においてストレスフリーの動画像データ配信が可能になる。
は、一般的な複数情報端末間の双方向データ通信システムの構成及び各情報端末における処理負荷の時間変化を説明するための図である。 は、この発明に係る動画像データの配信方法の代表的な効果の一つを概略的に説明するための図である。 は、図１に示された双方向データ通信システムにおいて配信されるビジュアル情報に含まれる動画データの一例（例えば、ＪＰＥＧ２００規格の画像フレームで構成されたＭｏｔｉｏｎ－ＪＰＥＧ２０００のデータ構造）を説明するための図である。 は、図１に示された双方向データ通信システムにおける各情報端末間の動画像データ配信手順を説明するためのブロック図である。 は、図１に示された双方向データ通信システムにおける各情報端末間の通信制御シーケンスである。 は、この発明に係る動画像データの配信方法を、各情報端末における処理負荷の観点から説明するための図である。 は、この発明に係る動画像データの配信方法における受信側シーケンスを説明するためのフローチャートである。 は、この発明に係る動画像データの配信方法における送信側シーケンスを説明するためのフローチャートである。 は、この発明に係る動画像データの配信方法における送信側シーケンスを、ビジュアル情報、特に画像フレームの送信枚数制御（負荷制御）の観点から説明するための図である。
　以下、この発明に係るビジュアル情報の配信方法の各実施形態を、図３～図９を用いて詳細に説明する。なお、必要に応じて、各実施形態の説明において図１及び図２も参照する。また、図面の説明において同一の要素には同一符号を付して重複する説明を省略する。
　この発明に係る動画像データの配信方法は、図１の領域（ａ）に示されたように、ネットワークに接続された複数の情報端末により構成された、テレビ会議システムなどの双方向データ通信システムに適用される。この双方向データ通信システムは、ネットワーク１００と、該ネットワーク１００に個々に接続された複数の情報端末を備える。なお、以下の説明では、ネットワーク１００に接続された情報端末を、それぞれ端末Ａ１１０、端末Ｂ１２０、及び端末Ｃ１３０と表す。また、このようにネットワーク１００を介して互い接続された端末Ａ１１０、端末Ｂ１２０、端末Ｃ１３０のそれぞれは、該ネットワーク１００上に配信される動画像データに対して受信先にも送信元にもなり得る。
　双方向データ通信システムの一部を構成する端末Ａ１１０と端末Ｂ１２０間では、ネットワーク１００を介して動画像データなどのビジュアル情報の送受信１００ａ（送信要求とデータ配信が含まれる）が行われる。同様に、端末Ａ１１０と端末Ｃ１３０間でも、ネットワーク１００を介して動画像データなどのビジュアル情報の送受信１００ｂが行われる。端末Ｂ１２０と端末Ｃ１３０間では、ネットワーク１００を介して動画像データなどのビジュアル情報の送受信１００ｃ（送信要求とデータ配信が含まれる）が行われる。
　なお、当該動画像データの配信方法において適用される動画像データは、時間軸方向に圧縮されることなく各画像フレーム又はフレーム群が、隣接する画像フレーム又はフレーム群とは独立に圧縮／伸長され得るフレーム構造を有するが、以下、簡単のため、この動画像データをＪＰＥＧ方式の動画像データに絞って各実施形態を説明することとする。
　図１の領域（ａ）に示された双方向データ通信システムでは、各端末間においてビジュアル情報の送受信が行われる。ここで、送受信されるビジュアル情報は、動画像データや各情報端末の操作者等の音声の他、静止画データ、テキストデータをも含む双方向対話に寄与し得る情報を含む。特に、ビジュアル情報に含まれる動画像データは、図３に示されたように、時間軸ｔに沿った方向に圧縮されることなく該時間軸ｔに沿って配置されるとともにそれぞれが個別に圧縮／伸長される画像フレームであって、単位時間（ｓ）当たり１２枚の画像フレームｆ１～ｆ１２から構成された動画像データＤ１である。なお、図３は、図１に示された双方向データ通信システムにおいて配信されるビジュアル情報に含まれる動画データの一例（例えば、ＪＰＥＧ２００規格の画像フレームで構成されたＭｏｔｉｏｎ－ＪＰＥＧ２０００のデータ構造）を説明するための図である。
　このような動画像データＤ１は、隣接する画像フレーム間の差分情報を利用するなど、時間軸ｔの方向にも圧縮が可能であり、配信対象である動画像データＤ１としては、例えば、Ｍｏｔｉｏｎ－ＪＰＥＧ（又はＭｏｔｉｏｎ－ＪＰＥＧ２０００）方式の動画像データが含まれる。
　Ｍｏｔｉｏｎ－ＪＰＥＧ（又はＭｏｔｉｏｎ－ＪＰＥＧ２０００）方式の動画像データは、ＭＰＥＧ方式の動画像データと比較して同一ビットレートでの圧縮効率は悪いが、任意の画像フレームを他の画像フレームと切り離して個別に編集することを可能にする。また、このような動画像データは、各端末におけるエンコード・デコード時の負荷が軽く、比較的簡単な設備でリアルタイムエンコードを可能にする。
　次に、この発明に係る動画像データの配信方法を、図４及び図５を参照しながら詳細に説明する。なお、図４は、各端末間における動画像データＤ１の配信手順を説明するためのブロック図である。図５は、各端末間における通信シーケンスである。
　以下の説明では、端末Ａ１１０を受信側情報端末（以下、単に受信側端末Ａ１１０で表す）とする一方、端末Ｂ１２０及び端末Ｃ１３０を送信側情報端末（以下、単に送信側端末Ｂ１２０、送信側端末Ｃ１３０で表す）とし、受信側端末Ａ１１０が受信タイミングを制御する。また、受信側端末Ａ１００は、一定時間間隔Ｔで動画像データの送信要求を送信元となる送信側端末Ｂ１２０又は送信側端末Ｃ１３０に対し繰り返す際、受信制限情報として、送信要求を行う時点における受信可能データ量を計算する。このような受信側端末Ａ１１０における受信可能データ量は、ネットワークの帯域制限に起因する画像フレーム受信可能量、及び、自己の画像フレーム表示処理の負荷許容量のうち、いずれか少ない方のデータ量とする。さらに、受信側端末Ａ１１０から送信側端末Ｂ１２０、Ｃ１３０へ送信される受信制限情報には、該データ量の算出根拠となるデータ構造要素として、画像フレームに関する送受信単位の単位時間当たりの数、画像解像度、及び一画素当たりのビット数の少なくともいずれかが含まれる。ただし、以下の説明では簡単のため、単位時間当たりに送信すべき画像フレーム数のみを受信制限情報とする。
　この発明に係る動画像データの配信方法では、送信側端末Ｂ１２０から受信側端末Ａ１１０への動画像データの配信動作、及び、送信側端末Ｃ１３０から受信側端末Ａ１１０への動画像データの配信動作において、互いの処理可能なフレーム数に応じた送信要求及び画像フレーム配信が行われる。
　具体的に、受信側端末Ａ１１０は、図５に示されたように、一定時間間隔Ｔで動画像データの送信要求を送信元となる送信側端末Ｂ１２０又は送信側端末Ｃ１３０に対し繰り返す。その際、受信制限情報として、現時点における自己の画像フレーム表示処理の負荷許容範囲内において処理可能な単位時間（ｓ）当たりのフレーム数（ネットワーク１００の帯域制限に基づいて算出してもよい）を、送信側端末Ｂ１２０又は送信側端末Ｃ１３０に逐次通知する。一方、送信要求を受けた送信側端末Ｂ１２０及び送信側端末Ｃ１３０は、送信要求を受けた時点における自己の画像フレーム送信処理の負荷許容範囲内に収まる単位時間（ｓ）当たりのフレーム数、及び、受信側情報端末から要求された単位時間（ｓ）当たりのフレーム数のうち少ない方のフレーム数の動画像データを、送信要求を通知してきた受信側端末Ａ１１０に送信する。
　すなわち、図４に示されたように、受信側端末Ａ１１０は、まず、現時点における自己の画像フレーム表示処理の負荷許容範囲が１０フレーム／ｓであることを確認し、送信側端末Ｂ１２０に対し送信要求（送信フレーム数の制限通知含む）を逐次通知する。受信側端末Ａ１１０から送信要求が通知された送信側端末Ｂ１２０では、送信要求を受信した時点における自己のバックグラウンド処理を含む負荷状態を確認し、自己のフレーム送信能力を設定する。例えば、図４に示されたケースにおいて、送信側端末Ｂ１２０は、受信側端末Ａ１１０から送信要求を受けた時点における処理能力として送信制限が設定されていないため、送信要求のあった１０フレーム／ｓの動画像データを受信側端末Ａ１１０へ送信することになる。
　一方、受信側端末Ａ１１０から送信側端末Ｃ１３０に対し、送信側端末Ｂ１２０と同様に、１０フレーム／ｓの送信要求（受信可能なフレーム数の制限）が通知されたケースでは、送信側端末Ｃ１３０は、送信要求を受信した時点における自己のバックグラウンド処理を含む負荷状態を確認し、自己のフレーム送信能力を設定する。例えば、図４に示されたケースにおいて、送信側端末Ｃ１３０は、受信側端末Ａ１１０から送信要求を受けた時点における処理能力として５フレーム／ｓが設定されているため、送信要求のあった１０フレーム／ｓに対して５フレーム／ｓの動画像データを受信側端末Ａ１１０へ送信することになる。
　このように動画像データの配信動作において、受信側端末Ａ１１０、送信側端末Ｂ１２０、及び送信側端末Ｃ１３０それぞれの処理負荷が考慮された状態で配信対象である動画像データのフレーム数が動的に決定される。そのため、ネットワーク１００を介して互いに接続された受信側端末Ａ１１０、送信側端末Ｂ１２０、及び送信側端末Ｃ１３０のそれぞれにおける処理負荷の低減につながる。
　ただし、受信側端末Ａ１１０、送信側端末Ｂ１２０、及び送信側端末Ｃ１３０のそれぞれにおける処理負荷の許容限度内で動画像データが配信されるため、受信側端末Ａ１１０において動画表示される際には途中の画像フレームが受信されない場合がある。また、送信側端末Ｂ１２０及び送信側端末Ｃ１３０が任意のタイミングで画像を配信することによって途中の画像フレームが送信されない場合もある。このような通信環境下であっても、送受信対象である動画像データＤ１は、受信側端末Ａ１１０での映像表示が可能になるよう、例えばＪＰＥＧ２０００規格など、動画フォーマットのフレーム構造を有する動画像データＤ１が採用されている。
　図６は、図４及び図５を参照しながら説明した各端末の通信制御手順を処理負荷の観点から説明するための図である。特に、図６の領域（ａ）には、受信側端末Ａ１１０、送信側端末Ｂ１２０、及び送信側端末Ｃ１３０のそれぞれにおける所定時間Ｔごとの処理能力の変化を、単位時間当たりに処理可能な画像フレームのフレーム数で示されている。
　図６の領域（ａ）に示されたように、受信側端末Ａ１１０の処理能力（フレーム／ｓ）は、時間ｔの経過とともに刻々と変化する。同様に、送信側端末Ｂ１２０及び送信側端末Ｃ１３０のそれぞれにおいても、処理能力（フレーム／ｓ）は、時間ｔの経過とともに刻々と変化する。なお、この図６の領域（ａ）及び（ｂ）において、受信側端末Ａ１１０における負荷算出のタイミングは、受信側端末Ａ１１０から送信側端末Ｂ１２０又は送信側端末Ｃ１３０への送信要求のタイミングと略一致している。また、送信側端末Ｂ１２０及び送信側端末Ｃ１３０のそれぞれにおける負荷算出のタイミングは、受信側端末Ａ１１０からの送信要求の受信タイミングと一致している。
　図６の領域（ｂ）は、図５に示された通信制御手順に従って、受信側端末Ａ１１０が送信側端末Ｂ１２０及び送信側端末Ｃ１３０のそれぞれに対して動画像データの配信動作を各端末における処理負荷の観点から説明するための図である。この図６の領域（ｂ）に示されたように、受信側端末Ａ１１０は、所定時間ごと、例えば一定時間間隔Ｔごとの送信要求を、送信側端末Ｂ１２０及び送信側端末Ｃ１３０の双方に交互に送信している。ただし、領域Ａ１は、受信側端末Ａ１１０からの送信要求のあったフレーム数と、実際に送信要求に応答して送信側端末Ｂ１２０及び送信側端末Ｃ１３０の双方から送信されたフレーム数の差（受信側端末Ａ１１０では映像表示されなかった処理フレーム数であって、受信側端末Ａ１１０における画像フレーム表示の余力）を示している。
　一方、送信側端末Ｂ１２０では、受信側端末Ａ１１０からの送信要求を受けた場合に、その間だけ自己の処理能力の許容範囲内において受信側端末Ａ１１０へのフレーム送信が行われ、他の時間帯は別の処理が行われている。フレーム送信処理に十分な処理能力が確保できる時間帯であれば、送信側端末Ｂ１２０は、受信側端末Ａ１１０の送信要求に応じたフレーム数の動画像データを配信する。ところが、受信側端末Ａ１１０から自己の処理能力を超えたフレーム数が要求された場合、送信側端末Ｂ１２０は、要求されたフレーム数以下であっても自己の処理能力の範囲内で送信可能なフレーム数の動画像データを受信側端末Ａ１１０へ送信する。領域Ｂ１は、送信側端末Ｂ１２０から受信側端末Ａ１１０へのフレーム送信において、エラー送信（送信動作をスキップ）の処理フレーム数である。
　同様に、送信側端末Ｃ１３０でも、受信側端末Ａ１１０からの送信要求を受けた場合、その間だけ自己の処理能力の許容範囲内において受信側端末Ａ１１０へのフレーム送信が行われ、他の時間帯は別の処理が行われている。フレーム送信処理に十分な処理能力が確保できる時間帯であれば、送信側端末Ｃ１３０は、受信側端末Ａ１１０の送信要求に応じたフレーム数の動画像データを配信する。ところが、受信側端末Ａ１１０から自己の処理能力を超えたフレーム数が要求された場合、送信側端末Ｃ１３０は、要求されたフレーム数以下であっても自己の処理能力の範囲内で送信可能なフレーム数の動画像データを受信側端末Ａ１１０へ送信する。領域Ｃ１は、送信側端末Ｂ１２０から受信側端末Ａ１１０へのフレーム送信において、エラー送信（送信動作をスキップ）された処理フレーム数である。
　次に、受信側端末Ａ１１０における受信側シーケンスを、図７のフローチャートを用いて具体的に説明する。実際の受信側シーケンス、受信処理等は制御部１１０ａにおいて実行される。
　この発明に係る動画像データの配信方法において、端末Ａ、端末Ｂ、及び端末Ｃそれぞれでは、それぞれのフレーム送信制限が予め設定される（ステップＳＴ６１）。すなわち、端末Ａ、端末Ｂ、及び端末Ｃそれぞれは、自己の端末が動画像データの送信元となったときの、単位時間当たりの送信可能なフレーム数に関する送信制限情報を、該動画像データの送信に先立ち、予め他の端末に通知しておく。例えば、図４に示されたケースの場合、予め送信側端末Ｂ１２０は、バックグラウンドでの処理負荷が低いために送信制限が設定されていない。一方、送信側端末Ｃ１３０は、処理負荷が高いために５フレーム／ｓの送信制限が予め設定され、他の端末Ａ１１０、端末Ｂ１２０のそれぞれに通知される。
　このように、送信側端末Ｂ１２０及び送信側端末Ｃ１３０において予め送信可能な画像フレーム数の上限を設定可能にしておくことにより、受信側端末Ａ１１０は、この上限以内で受信フレーム数を設定することとなる。そのため、負荷状況を無視して受信側端末Ａ１１０に動画像データを送ることによる該受信側端末Ａ１１０の処理負荷増加の回避とともに、送信側情報端末における処理負荷の低減も可能になる。さらに、受信側端末Ａ１１０は映像表示すべき画像フレーム数以外に自己のデータ処理（バックグラウンドでのデータ処理）を管理しながら、送信側端末Ｂ１２０又は送信側端末Ｃ１３０から送信される動画像データの処理が可能と判断したときのみに該当する送信側端末へ送信要求を行うなど、受信側及び送信側双方の端末が能動的に動画像データの配信動作を管理できる。
　続いて、受信側端末Ａ１１０では、動画像データの受信タイミングの際に（ステップＳＴ６２）、自己の処理能力を確認する（ステップＳＴ６３）。このとき、受信側端末Ａ１１０が受信可能であると判断すれば、処理可能範囲内のフレーム数の動画データの送信要求を、送信側端末Ｂ１２０又は送信側端末Ｃ１３０のいずれかに通知する（ステップＳＴ６４）。
　受信側端末Ａ１１０は、送信要求を通知した送信側端末Ｂ１２０又は送信側端末Ｃ１３０のいずれかから所定フレーム数の動画像データを受信すると、該受信された動画像データの各画像フレームを伸長しながら逐次モニタへ表示するなど、所定のフレーム再生処理を行う（ステップＳＴ６６）。なお、このフレーム再生動作（ステップＳＴ６６）は、送信要求した画像フレームすべての受信終了まで繰り返される（ステップＳＴ６７）。また、受信側端末Ａ１１０が送信側端末Ｂ１２０又は送信側端末Ｃ１３０から送信された画像フレームの受信待ちの状態で一定時間経過した場合には、再度、受信側端末Ａ１１０から送信側端末Ｂ１２０又は送信側端末Ｃ１３０へ送信要求が通知される。
　次に、送信側端末Ｂ１２０及び送信側端末Ｃ１３０のそれぞれにおける送信側シーケンス及び画像フレームの送信処理を、図８のフローチャート及び図９を参照しながら具体的に説明する。実際の送信側シーケンス、送信処理等は、制御部１２０ａ、１３０ａにおいて実行される。
　なお、端末Ａ、端末Ｂ、及び端末Ｃは、自己の端末が動画像データの送信元となったときの、単位時間当たりの送信可能なフレーム数に関する送信制限情報を、該動画像データの送信に先立ち、予め他の端末に通知しておく（ステップＳＴ７１）。図４のような実施形態では、端末Ｂ１２０及び端末Ｃ１３０が送信元であるため、これら送信側端末Ｂ１２０及び送信側端末Ｃ１３０のそれぞれは、他の端末に送信制限を通知して、受信側端末Ａ１１０からの送信要求を待つ（ステップＳＴ７２）。
　例えば、受信側端末Ａ１１０から送信側端末Ｂ１２０へ送信要求が通知されたとすると、送信側端末Ｂ１２０は、まず、自己の処理能力を確認し、（ステップＳＴ７３）、続いて、受信側端末Ａ１１０に対してフレーム送信（ステップＳＴ７４）又は送信スキップを意味するエラー送信処理（ステップＳＴ７５）が行われる。なお、このフレーム送信処理は、図９に示されたように行われる。この図９に示されたフレーム送信処理では、受信側端末Ａ１１０から送信側端末Ｂ１２０に対して５フレーム／ｓの送信要求が通知されるものとする。また、このときの送信側端末Ｂ１２０における送信能力を５フレーム／ｓとする。
　具体的なフレーム送信処理（ステップＳＴ７３～ＳＴ７５）では、まず、図９（ａ）に示されたように、送信側端末Ｂ１２０が、自己のフレーム送信能力に応じて、予め用意されている動画像データＤ１（１２フレーム／Ｓ）を構成する画像フレームｆ１～ｆ１２からエラーデータＥ１として画像フレームｆ１、ｆ６を排除することで一旦処理可能な動画像データＤ２（１０フレーム／ｓ）を生成する。さらに、送信側端末Ｂ１２０は、図９の領域（ｂ）に示されたように、受信側端末Ａ１１０から通知された送信要求のフレーム制限に対応するよう自己が送信処理可能な動画像データＤ２（画像フレームｆ２，…，ｆ５，ｆ７，…，ｆ１２）から、エラーデータＥ２として画像フレームｆ３、ｆ４、ｆ８、ｆ９、ｆ１１をさらに排除する。これにより、送信用動画像データＤ３（画像フレームｆ２、ｆ５、ｆ７、ｆ１０、ｆ１２により構成された５フレーム／ｓの動画像データ）が生成され、送信側端末Ｂ１２０はこの送信用動画像データＤ３を、送信要求を通知してきた受信側端末Ａ１１０へ送信する。
　送信側端末Ｂ１２０は、以上のフレーム送信処理が終了すると（ステップＳＴ７６）、次の送信要求が通知されるまで待機する（ステップＳＴ７２）。
　以上のように、この発明に係る動画像データの配信方法によれば、ネットワークを介して互いに接続された複数の情報端末間における処理負荷の偏在状況や接続されたネットワークの帯域状況に応じて配信されるべき動画像データのフレーム数を動的に調整することができる。そのため、これら複数の情報端末間における処理負荷の偏在に影響されることなく、リアルタイムでの動画像データ配信が可能になる。また、送受信される動画像データとして、Ｍｏｔｉｏｎ－ＪＰＥＧ方式等の動画像データが採用されることにより、動画像データを構成する画像フレーム数の増減が頻繁に発生した場合であっても、各情報端末間におけるリアルタイムでの動画像データ配信への影響は効果的に低減され得る。
　以上の本発明の説明から、本発明を様々に変形しうることは明らかである。そのような変形は、本発明の思想および範囲から逸脱するものとは認めることはできず、すべての当業者にとって自明である改良は、以下の請求の範囲に含まれるものである。
　１００…ネットワーク、１１０、１２０、１３０…情報端末（ＰＣ）、１１０ａ、１２０ａ、１３０ａ…制御部（ＣＰＵ）。

Claims (8)

  1. 複数の画像フレームから構成された動画像データを、ネットワークを介して互いに接続された複数の情報端末間において送受信するための動画像データの配信方法であって、
    　前記複数の情報端末間における双方向データ通信の一態様として送信側情報端末から受信側情報端末への前記動画像データの配信動作において、
    　前記受信側情報端末は、所定の時間間隔で動画像データの送信要求を送信元となる前記送信側情報端末に対し繰り返す際、該送信要求を行う時点における前記ネットワークの帯域制限に起因する画像フレーム受信可能量、及び、自己の画像フレーム表示処理の負荷許容量のうち少なくとも何れか一方のデータ量を予め計算し、受信制限情報として、該データ量、及び、該データ量の算出根拠となるデータ構造要素のうち少なくとも何れか一方の上限値を、前記送信側情報端末に逐次通知することを特徴とする動画像データの配信方法。
  2. 請求項１記載の動画像データの配信方法において、
    　前記受信側端末装置から送信要求を受けた前記送信側情報端末は、受信した前記受信制限情報で指示されたデータ構造要素について、送信要求を受けた時点における自己の負荷許容範囲内に収まるデータ量、及び、前記受信側情報端末から要求されたデータ量のうち少なくとも何れか一方に合わせてそのデータ量が制限された動画像データを、送信要求を通知してきた前記受信側情報端末に送信する。
  3. 請求項１記載の動画像データの配信方法であって、
    　前記複数の情報端末間における双方向データ通信の一態様として、二以上の送信側情報端末から受信側情報端末への前記動画像データの配信動作において、
    　前記受信側情報端末は、画像フレーム表示処理が可能な自己のタイミングで、前記二以上の送信側情報端末の何れかに送信要求信号を送信する。
  4. 請求項３記載の動画像データの配信方法において、
    　前記二以上の送信側情報端末のうち前記タイミングで発せられた送信要求信号を受信した送信側情報端末のみが該受信側情報端末から要求されたデータ量の動画像データを前記受信側情報端末に送信する一方、残りの送信側情報端末は、自己への送信要求を受信するまで動画像データの送信待機状態となる。
  5. 請求項１～４の何れか一項記載の動画像データの配信方法において、
    　前記データ構造要素は、画像フレームに関する送受信単位の単位時間当たりの数、画像解像度、及び一画素当たりのビット数の少なくとも何れかを含む。
  6. 請求項５記載の動画像データの配信方法において、
    　前記動画像データは、時間軸方向に圧縮されることなくそれぞれが前画像フレームとは独立に再生可能な画像フレームから構成されており、
    　前記画像フレームに関する送受信単位は、前記動画像データを構成する各画像フレームに相当する。
  7. 請求項５記載の動画像データの配信方法において、
    　前記動画像データは、それぞれが複数の画像フレームを含むとともに、時間軸方向から見て前に位置する画像フレームとは独立に再生可能な複数のフレーム群から構成されており、
    　前記画像フレームに関する送受信単位は、前記動画像データを構成する各フレーム群に相当する。
  8. 請求項１～７の何れか一項記載の動画像データの配信方法において、
    　前記複数の情報端末それぞれは、画像フレームに関する送受信単位の数について、自己の情報端末が前記動画像データの送信元となったときの、単位時間当たりに送信可能な上限値を指示する送信制限情報を、該動画像データの送信に先立ち、予め他の情報端末に通知しておく。
PCT/JP2009/063954 2008-08-28 2009-08-06 動画像データの配信方法 WO2010024102A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CA2735728A CA2735728A1 (en) 2008-08-28 2009-08-06 Moving-picture image data-distribution method
JP2010526638A JP5664241B2 (ja) 2008-08-28 2009-08-06 動画像データの配信方法
CN200980133988.6A CN102138336B (zh) 2008-08-28 2009-08-06 动态图像数据的分配方法
US13/061,298 US8839330B2 (en) 2008-08-28 2009-08-06 Moving-picture image data-distribution method
BRPI0918264A BRPI0918264A2 (pt) 2008-08-28 2009-08-06 método de distribuição de dados de imagem de filme
EP09809756A EP2323384A4 (en) 2008-08-28 2009-08-06 METHOD FOR DISTRIBUTING IMAGE DATA FROM MOVING IMAGES

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-220027 2008-08-28
JP2008220027 2008-08-28

Publications (1)

Publication Number Publication Date
WO2010024102A1 true WO2010024102A1 (ja) 2010-03-04

Family

ID=41721274

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/063954 WO2010024102A1 (ja) 2008-08-28 2009-08-06 動画像データの配信方法

Country Status (8)

Country Link
US (1) US8839330B2 (ja)
EP (1) EP2323384A4 (ja)
JP (1) JP5664241B2 (ja)
KR (1) KR101539812B1 (ja)
CN (1) CN102138336B (ja)
BR (1) BRPI0918264A2 (ja)
CA (1) CA2735728A1 (ja)
WO (1) WO2010024102A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014010895A1 (ko) * 2012-07-10 2014-01-16 삼성전자주식회사 영상 통신 시스템에서 컬러 정보를 교섭하는 방법 및 장치
JP2014045243A (ja) * 2012-08-24 2014-03-13 Sumitomo Electric Ind Ltd 映像データ配信装置およびそれを含む双方向対話システム
JP2016096540A (ja) * 2014-11-03 2016-05-26 アクシス アーベー 後続の動作検出処理のためのビデオストリームの事前処理の方法、デバイス及びシステム
JP2016184392A (ja) * 2015-03-25 2016-10-20 ネイバー コーポレーションＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ 漫画データ表示装置、その方法及びそのコンピュータプログラム
US10438395B2 (en) 2015-03-25 2019-10-08 Naver Corporation Apparatus, method and computer program for displaying cartoon content

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2941555A1 (en) * 2014-03-05 2015-09-11 Ricoh Company, Limited Data transmission system, terminal device, program, and method
CN105337923B (zh) * 2014-05-26 2019-07-12 腾讯科技（北京）有限公司 数据分发方法和系统及数据发送装置和数据接收装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0774830A (ja) * 1993-06-22 1995-03-17 Canon Inc マルチメディア情報通信装置
WO1998006222A1 (en) * 1996-08-07 1998-02-12 Matsushita Electric Industrial Co., Ltd. Picture and sound decoding device, picture and sound encoding device, and information transmission system
JPH11161571A (ja) 1997-11-27 1999-06-18 Fujitsu Ltd 適応的伝送制御システム
JP2001204002A (ja) * 2000-01-20 2001-07-27 Nec Eng Ltd 画像伝送方式
JP2001251621A (ja) * 2000-03-08 2001-09-14 Kddi Corp 動画像圧縮符号化送信装置、受信装置および送受信装置
JP2003078893A (ja) * 2001-09-05 2003-03-14 Nec Corp 映像伝送機能付き携帯型端末装置、及びそれに適用される映像伝送方法
JP2005094054A (ja) 2003-09-11 2005-04-07 Hiroshima Univ 画像符号化装置、その方法およびプログラム、並びにストリーム合成器、その方法およびプログラム
JP2005341347A (ja) * 2004-05-28 2005-12-08 Nippon Telegr & Teleph Corp <Ntt> 多地点接続装置および方法
JP2006174045A (ja) 2004-12-15 2006-06-29 Ntt Communications Kk 画像配信装置、プログラム及び方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3630474B2 (ja) * 1995-07-14 2005-03-16 沖電気工業株式会社 動画像伝送システム及び動画像伝送装置
WO1998015118A1 (en) 1996-10-02 1998-04-09 Sony Corporation Tv receiver, method of setting reception channel, and picture display method
US6553423B1 (en) 1999-05-27 2003-04-22 Cisco Technology, Inc. Method and apparatus for dynamic exchange of capabilities between adjacent/neighboring networks nodes
JP3912091B2 (ja) * 2001-12-04 2007-05-09 ソニー株式会社 データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
JP4150951B2 (ja) * 2002-02-19 2008-09-17 ソニー株式会社 動画配信システム、動画配信装置および方法、並びにプログラム
US7340527B2 (en) * 2002-05-09 2008-03-04 Matsushita Electric Industrial Co., Ltd. Content distribution system that distributes line of stream data generated by splicing plurality of pieces of stream data
US7558323B2 (en) * 2002-11-27 2009-07-07 Hitachi Kokusai Electric Inc. Video data transmission method for changing transmission data amounts in accordance with a transmission speed and a transmission system therefor
JP2005094045A (ja) 2004-12-21 2005-04-07 Matsushita Electric Ind Co Ltd プラズマエッチング装置およびプラズマエッチング方法
JP2006333254A (ja) * 2005-05-27 2006-12-07 Fujifilm Holdings Corp 動画像リアルタイム通信端末、動画像リアルタイム通信端末の制御方法及び動画像リアルタイム通信端末の制御プログラム
JP2007228412A (ja) * 2006-02-24 2007-09-06 Matsushita Electric Ind Co Ltd 携帯端末装置
US20080098123A1 (en) * 2006-10-24 2008-04-24 Microsoft Corporation Hybrid Peer-to-Peer Streaming with Server Assistance
WO2009017229A1 (ja) * 2007-08-01 2009-02-05 Nec Corporation 動画像データ配信システム、その方法及びそのプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0774830A (ja) * 1993-06-22 1995-03-17 Canon Inc マルチメディア情報通信装置
WO1998006222A1 (en) * 1996-08-07 1998-02-12 Matsushita Electric Industrial Co., Ltd. Picture and sound decoding device, picture and sound encoding device, and information transmission system
JPH11161571A (ja) 1997-11-27 1999-06-18 Fujitsu Ltd 適応的伝送制御システム
JP2001204002A (ja) * 2000-01-20 2001-07-27 Nec Eng Ltd 画像伝送方式
JP2001251621A (ja) * 2000-03-08 2001-09-14 Kddi Corp 動画像圧縮符号化送信装置、受信装置および送受信装置
JP2003078893A (ja) * 2001-09-05 2003-03-14 Nec Corp 映像伝送機能付き携帯型端末装置、及びそれに適用される映像伝送方法
JP2005094054A (ja) 2003-09-11 2005-04-07 Hiroshima Univ 画像符号化装置、その方法およびプログラム、並びにストリーム合成器、その方法およびプログラム
JP2005341347A (ja) * 2004-05-28 2005-12-08 Nippon Telegr & Teleph Corp <Ntt> 多地点接続装置および方法
JP2006174045A (ja) 2004-12-15 2006-06-29 Ntt Communications Kk 画像配信装置、プログラム及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2323384A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014010895A1 (ko) * 2012-07-10 2014-01-16 삼성전자주식회사 영상 통신 시스템에서 컬러 정보를 교섭하는 방법 및 장치
US9485282B2 (en) 2012-07-10 2016-11-01 Samsung Electronics Co., Ltd. Method and apparatus for negotiating color information in image communication system
JP2014045243A (ja) * 2012-08-24 2014-03-13 Sumitomo Electric Ind Ltd 映像データ配信装置およびそれを含む双方向対話システム
JP2016096540A (ja) * 2014-11-03 2016-05-26 アクシス アーベー 後続の動作検出処理のためのビデオストリームの事前処理の方法、デバイス及びシステム
JP2016184392A (ja) * 2015-03-25 2016-10-20 ネイバー コーポレーションＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ 漫画データ表示装置、その方法及びそのコンピュータプログラム
US10438395B2 (en) 2015-03-25 2019-10-08 Naver Corporation Apparatus, method and computer program for displaying cartoon content

Also Published As

Publication number Publication date
EP2323384A1 (en) 2011-05-18
JP5664241B2 (ja) 2015-02-04
CA2735728A1 (en) 2010-03-04
JPWO2010024102A1 (ja) 2012-01-26
US8839330B2 (en) 2014-09-16
EP2323384A4 (en) 2013-03-13
KR101539812B1 (ko) 2015-07-27
CN102138336A (zh) 2011-07-27
KR20110058841A (ko) 2011-06-01
BRPI0918264A2 (pt) 2015-12-15
US20110239264A1 (en) 2011-09-29
CN102138336B (zh) 2014-07-16

Similar Documents

Publication Publication Date Title
JP5664241B2 (ja) 動画像データの配信方法
US8621532B2 (en) Method of transmitting layered video-coded information
JP6226490B2 (ja) 小待ち時間レート制御システムおよび方法
US7652993B2 (en) Multi-stream pro-active rate adaptation for robust video transmission
US20120039391A1 (en) System and method for transmission of data signals over a wireless network
US20120230390A1 (en) Adaptive Control of Encoders for Continuous Data Streaming
US10148990B2 (en) Video streaming resource optimization
KR20180031547A (ko) 서버에서 멀티 비트 레이트 스트림 미디어를 적응적으로 제공하기 위한 방법 및 장치
CN111147860B (zh) 一种视频数据的解码方法及装置
US20040218672A1 (en) Video transmission system video transmission unit and methods of encoding decoding video data
US6157675A (en) Image transmission device and image transmission method
US20080144505A1 (en) Method and Apparatus for Bitrate Reduction
JP5598335B2 (ja) データ受信装置、データ送信装置、データ受信方法、及びデータ送信方法
CN101909194B (zh) 提供频道切换服务的方法、系统及频道切换服务器
JP2000083029A (ja) 画像データ転送における転送レート制御方式及び方法
WO2004045216A1 (en) Video streaming device and method of control for switchable video streams
JP5031230B2 (ja) データ送信装置及び方法
JP4596164B2 (ja) 画像データ通信システムおよび画像データ通信方法
JPH09214936A (ja) ネットワーク動画像配信システム
WO2010086021A1 (en) Method and apparatus for efficient downstream video processing based on upstream metric processing and provision
JP5367687B2 (ja) データ配信システム、データ配信装置、及びデータ配信方法
Safaaldin et al. Design and implementation of a teleconferencing system using improved HEVC coding
Psannis et al. MPEG-4 interactive video streaming over wireless networks.

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980133988.6

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09809756

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010526638

Country of ref document: JP

REEP Request for entry into the european phase

Ref document number: 2009809756

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2009809756

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2735728

Country of ref document: CA

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 1919/CHENP/2011

Country of ref document: IN

ENP Entry into the national phase

Ref document number: 20117006683

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13061298

Country of ref document: US

ENP Entry into the national phase

Ref document number: PI0918264

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20110228