JP2004192140A - Data communication system, data transmitting device, data receiving device and method, and computer program - Google Patents

Data communication system, data transmitting device, data receiving device and method, and computer program Download PDF

Info

Publication number
JP2004192140A
JP2004192140A JP2002356980A JP2002356980A JP2004192140A JP 2004192140 A JP2004192140 A JP 2004192140A JP 2002356980 A JP2002356980 A JP 2002356980A JP 2002356980 A JP2002356980 A JP 2002356980A JP 2004192140 A JP2004192140 A JP 2004192140A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
data
server
client
information
identification information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002356980A
Other languages
Japanese (ja)
Other versions
JP2004192140A5 (en )
Inventor
Satoshi Futenma
Yasushi Mizuno
Kenji Yamane
健治 山根
智 普天間
泰志 水野
Original Assignee
Sony Corp
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a device and method capable of realizing an optimum data transmission according to a client request. <P>SOLUTION: In the transmitting processing of hierarchically encoded data, a server transmits a message storing server retaining data mode identification information to a client, and the client receives the server data mode identification information and transmits information showing a hierarchically encoded data mode according to the processing capability of the client to the server. The server extracts or generates encoded data conformable to the client, and transmits them to the client. The server thus can transmit various structures of data by data extraction according to the client's request. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【0001】 [0001]
【発明の属する技術分野】 BACKGROUND OF THE INVENTION
本発明は、データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラムに関する。 The present invention is a data communication system, data transmission apparatus, a data receiving apparatus and method, and a computer program. さらに詳細には、データ受信側の希望するデータ処理態様に応じた最適な符号化データを効率的に伝送することを可能としたデータ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラムに関する。 More particularly, enables the the data communication system to transmit the optimum coded data corresponding to the data processing mode desired by the data receiving side efficiently, the data transmission apparatus, data receiving apparatus, and method and computer, - about the program.
【0002】 [0002]
【従来の技術】 BACKGROUND OF THE INVENTION
現在、インターネット通信など、様々な通信媒体を介して様々なデータ転送が行なわれている。 Currently, Internet communications, have been made a variety of data transferred via various communication media. 昨今では、画像データ、特に動画像データのネットワークを介した転送が盛んに行なわれている。 In recent years, image data, in particular transfer through the network of the moving image data has been actively conducted. 画像データ、特に動画データは、送信側で符号化(圧縮)処理によりデータ量を減少させてネットワーク上に送出し、受信側で符号化された受信信号を復号(伸長)処理した後、再生する処理が一般的に行なわれている。 Image data, in particular video data, coding (compression) to reduce the amount of data by the process sent to the network on the transmission side, after the coded received signal processed decoded (extended) on the receiving side to reproduce processing is generally performed.
【0003】 [0003]
画像圧縮処理の最も知られた手法にMPEG(Moving Pictures Experts Group )圧縮技術がある。 The best known method of image compression is MPEG (Moving Pictures Experts Group) compression technology. 近年、MPEG圧縮により生成されるMPEGストリームをIP(Internet Protocol)に従ったIPパケットに格納してインターネット上を転送させて、PCやPDA、携帯電話等の各通信端末において受信するシステム、あるいはこのようなシステムにおける画像データ転送方法に関する技術開発が盛んに行なわれている。 Recently, by transferred over the Internet and stores MPEG stream generated by the MPEG compression IP in IP packets in accordance with the (Internet Protocol), PC, a PDA, or the system receives at each communication terminal such as a cellular phone, or the technical development has been actively conducted to an image data transfer method in a system like.
【0004】 [0004]
ビデオオンデマンドやライブ映像のストリーミング配信、あるいはビデオ会議、テレビ電話などのリアルタイム通信においては、異なる能力を持つ端末を受信端末として、データ送受信が行われることを想定する必要がある。 Video-on-demand and live video streaming, or video conferencing, in real-time communication such as video phone, a receiving terminal terminals having different capabilities, it is necessary to assume that the data transmission and receiving are performed. 例えば、1つの情報送信ソースからの送信データは、携帯電話などのような解像度の低いディスプレイと処理能力の低いCPUを有する受信端末によって受信されディスプレイに表示する処理が実行され、かつ、デスクトップパソコンのように高解像度のモニターと高い処理能力のCPUを有する受信端末によって受信されて表示処理が実行される。 For example, the transmission data from one information transmission source, the process of displaying the received display by the receiving terminal having a low resolution display and a low processing capacity CPU such as a mobile phone is performed, and the desktop computer display processing is received by the receiving terminal with a high resolution monitor and high throughput CPU is performed as. このように、処理能力の異なる様々な受信端末を相手としたデータ送信が行なわれる。 Thus, the various receiving terminals having different processing capabilities and data transmission with the mating takes place. このように様々な受信端末において処理能力等に応じた受信処理、表示処理を実行させる1つの手法として、送受信するデータの符号化を階層化させて実行する方法、すなわち、階層符号化を利用した通信システムが考えられている。 Thus reception processing in accordance with the processing capability or the like in a variety of receiving terminals, as one approach for executing the display processing method to be executed by hierarchical coding of data to be transmitted and received, i.e., using a hierarchical coding communication system is considered.
【0005】 [0005]
階層符号化によるデータ配信は、例えば、高解像度のディスプレイを有する受信端末においてのみ処理する符号化データと、高解像度のディスプレイを有する受信端末および低解像度のディスプレイを有する受信端末の双方において共通に処理する符号化データとを、それぞれ区別可能な態様でパケット化して配信し、受信側において、データを選別して処理可能としたものである。 Data distribution by hierarchical coding processing, for example, commonly in both the receiving terminal with the encoded data to be processed only in the receiving terminal with a high resolution display, the display of the receiving terminal and the low-resolution with high resolution display the encoded data to be distributes packetizes each distinguishable manner, at the receiving side, in which data was sorted to allow processing.
【0006】 [0006]
階層符号化が可能な圧縮・伸張方式としては、例えばMPEG4とJPEG2000によるビデオストリームをあげることができる。 The compression and decompression method capable hierarchical coding, for example, can be exemplified a video stream according to MPEG4 and JPEG2000. MPEG4ではFineGranuarity Scalability技術を規格に取り込みプロファイル化する予定であり、この階層符号化技術によりスケーラブルに低いビットレートから高いビットレートまで配信することが可能と言われている。 Is scheduled to be profiled uptake standards of MPEG4 in FineGranuarity Scalability technique is said to be able to deliver to a higher bit rate from a low bit-rate scalable The hierarchical coding techniques. また、ウェーブレット(Wavelet)変換をベースとするJPEG2000は、ウェーブレット(Wavelet)変換の特徴を生かし、空間解像度をベースにパケット化することや、あるいは画質をベースに階層的にパケット化することが可能である。 Furthermore, JPEG2000 based on wavelet (Wavelet) transform, utilizing the characteristics of the wavelet (Wavelet) conversion, it packetizes the spatial resolution in the base or, alternatively can be hierarchically packetization based on image quality is there. またJPEG2000は静止画だけでなく動画を扱えるMotion JPEG2000(Part 3)規格により、階層化したデータをファイルフォーマットで保存することが可能である。 The JPEG2000 by Motion JPEG2000 (Part 3) standard that can handle video well as still pictures, it is possible to store the hierarchical data in a file format.
【0007】 [0007]
さらに、階層符号化を適用したデータ配信の具体案として提案されているものとして、DCT(Discrete Cosine Transform)ベースの技術を用いたものがある。 Furthermore, as has been proposed as concrete plan of applied data distribution hierarchical coding, there is one using a DCT (Discrete Cosine Transform) based technology. これは配信情報となる例えば画像データをDCT処理し、DCT処理により高域と低域とを区別した階層化を実現し、高域と低域との階層で区分したパケットを生成してデータ配信を実行する方法である。 This will DCT processing the distribution information, for example the image data, to achieve distinction hierarchy of the high range and low range by DCT processing, generating and data distribution packets classified in a hierarchy of the high range and low range it is a method to perform.
【0008】 [0008]
このような階層符号化された画像データを配信する場合、リアルタイム性が要求されることが多く、そのためインターネット上での通信プロトコルとしてUDP(User Datagram Protocol)が用いられる。 When delivering such a hierarchical encoded image data, often requires real time, UDP (User Datagram Protocol) is used as a for communication protocols on the Internet. さらに、UDPの上のレイヤにおいてはRTP(Real−time Transport Protocol)を用い、通信パケットに格納されるデータフォーマットは、各アプリケーション毎、すなわち符号化方式毎に定義されたフォーマットに従うことになる。 Furthermore, using the RTP (Real-time Transport Protocol) in Layer over UDP, the data format to be stored in the communication packet, each application, that is, to follow the format defined for each encoding scheme.
【0009】 [0009]
インターネット等のネットワーク環境を利用して、サーバから様々なクライアントへデータを送信する場合、利用可能なネットワーク帯域や、クライント側のデータ処理能力、すなわち復号(デコード)処理あるいはディスプレイ表示能力等が異なる場合がある。 Using a network environment such as the Internet, when data is transmitted to various clients from a server, network bandwidth and available Kurainto side of the data processing capability, i.e., if the decoding (decoding) processing or display display capabilities may vary there is. すなわち、各クライアントが望む送信データのビットレートが異なることになる。 That is, the bit rate of the transmission data each client wants different. 従って、データ送信側のサーバは予め複数のビットレートでデータをエンコードし、複数のビットレートデータを保存し、クライアントの要求に応じて保存データから選択したデータを送信するといった処理が行われていた。 Therefore, it encodes the data in the server in advance a plurality of bit rate of the data transmission side, and store multiple bit rate data, processing such transmits the data selected from the stored data in response to the client request has been made .
【0010】 [0010]
例えば、利用可能なネットワーク帯域が広ければ、クライアントは高いビットレートのデータを要求すると考えられるため、サーバは予め保存しておいた複数のデータの中から高いビットレートのデータを送信する。 For example, if wider network bandwidth available, the client would be considered a request data high bit rate, the server sends the data of high bit rate from among a plurality of data stored in advance. 逆に利用可能帯域が狭ければ、クライアントは低ビットレートのデータを要求し、それに応じてサーバはデータを送信することになる。 In contrary to the available bandwidth is narrow, the client requests the data of a low bit rate, the server will send the data accordingly.
【0011】 [0011]
このような、クライアント毎の送信データ適性を考慮した画像データ伝送処理構成を開示した従来技術として例えば特許文献1がある。 Such is for example, Patent Document 1 as a prior art discloses an image data transmission processing configuration considering the transmission data suitability of each client. 特許文献1には、画像送信装置側において、データの伝送状況を検出し、伝送状況に応じて画像データの圧縮処理態様を変更する構成が開示されている。 Patent Document 1, an image transmitting apparatus to detect a transmission status of the data, configured to change the compression processing mode of the image data is disclosed in accordance with the transmission conditions. データ送信装置は、データ送信先に応じた伝送状況情報を有し、伝送状況が悪い地域に対するデータ伝送の場合には、例えば解像度を落としてデータ量を削減した圧縮処理を施したデータを送信する。 Data transmission device has a transmission state information corresponding to the data destination, in the case of data transmission to the poor local transmission state transmits the data subjected to compression processing with a reduced amount of data, for example, reduced resolution . 一方、伝送状況が良好な地域に対するデータ伝送の場合には、解像度を向上させ、データ量の多い圧縮処理を施したデータを送信する。 On the other hand, in the case of the data transmission to better regional transmission state improves the resolution, and transmits the data subjected to high compression of the data amount. この構成により、状況に応じたデータ伝送を可能とした構成が開示されている。 With this configuration, configuration which enables data transmission in accordance with the conditions is disclosed.
【0012】 [0012]
しかし、この特許文献1に開示の構成は、データ送信装置側において、データ伝送状況に応じて圧縮処理態様を動的に変更して処理を行なうことが必要となり、データ受信装置側のデータ要求が多発すると、その要求毎に圧縮処理態様を変更して実行することが必要となり、データ送信側の処理負荷が過大になるという問題がある。 However, the configuration disclosed in Patent Document 1, in the data transmission apparatus side, it becomes necessary to perform dynamically changed to handle compressed mode according to the data transmission state, the data request of the data receiving apparatus side When frequently, must be performed by changing the compression mode for each request, there is a problem that the processing load of the data transmission side becomes excessive.
【0013】 [0013]
【特許文献1】 [Patent Document 1]
特開平14−262288号公報【0014】 Japanese Unexamined Patent Publication No. 14-262288 [0014]
【発明が解決しようとする課題】 [Problems that the Invention is to Solve
本発明は、上記問題点に鑑みてなされたものであり、様々なデータ受信側の状況に応じた最適な符号化データを伝送するとともにデータ送信側の処理負荷を軽減し、効率的な最適符号化データの伝送処理を可能としたデータ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラムを提供することを目的とする。 The present invention has been made in view of the above problems, and reduce the processing load of the data transmission side together with transmitting the optimum coded data corresponding to the various data receiving side situation, efficient optimal code possible and the data communication system of the transmission processing of data, the data transmission device, and an object thereof is to provide a data receiving apparatus, method, and computer program.
【0015】 [0015]
【課題を解決するための手段】 In order to solve the problems]
本発明の第1の側面は、 The first aspect of the present invention,
階層符号化データの送信処理を実行するサーバと、前記サーバから階層符号化データを受信するクライアントからなるサーバクライアントシステムであり、 A server for executing a transmission process of hierarchically encoded data, a server-client system comprising a client for receiving hierarchically encoded data from the server,
前記クライアントは、 The client is,
前記サーバに対して送信するデータ要求メッセージに、クライアントの要求する階層符号化データ態様を示す要求データ態様識別情報を格納して送信する処理を実行する構成を有し、 The data request message to be transmitted to the server has a configuration to execute a process of transmitting the stored request data scheme identification information indicative of a hierarchical coding data scheme requested by the client,
前記サーバは、 The server,
前記クライアントから受信するデータ要求メッセージに含まれる前記要求データ態様識別情報に基づいて、該要求データ態様識別情報に対応する符号化データを記憶部から抽出または生成し、前記クライアントに対して送信する処理を実行する構成を有することを特徴とするサーバクライアントシステムにある。 Processing based on the request data scheme identification information included in the data request message received from the client, the coded data corresponding to the request data scheme identification information extracted or generated from the storage unit, and transmits to the client in the server client system, characterized by having a configuration to run.
【0016】 [0016]
さらに、本発明のサーバクライアントシステムの一実施態様において、前記クライアントは、制御情報通信プロトコルとしてのRTSP(Real−time Streaming Protocol)に従ったプレイ[PLAY]メソッドの記述中に前記要求データ態様識別情報を格納して前記サーバに送信する処理を実行する構成であり、前記サーバは、前記クライアントから受信するプレイ[PLAY]メソッドの記述中から、前記要求データ態様識別情報を取得し、取得した要求データ態様識別情報に対応する符号化データの抽出または生成処理を実行する構成であることを特徴とする。 Further, in an embodiment of a server client system of the present invention, the client, the requested data scheme identification information in the description of the play [PLAY] Methods in accordance with the RTSP (Real-time Streaming Protocol) as the control information and communication protocol a configuration for executing processing for transmitting to the server stores the server, from in the description of the play [PLAY] method of receiving from the client, acquires the requested data scheme identification information, the acquired request data characterized in that it is configured to perform the extraction or generation processing of encoded data corresponding to the aspect identifier.
【0017】 [0017]
さらに、本発明のサーバクライアントシステムの一実施態様において、前記階層符号化データは、JPEG2000フォーマットデータであり、前記要求データ態様識別情報は、解像度情報、画質情報の少なくともいすれかの情報を含むことを特徴とする。 Further, in an embodiment of a server client system of the present invention, the hierarchically encoded data is JPEG2000 format data, the requested data scheme identification information include resolution information, at least Isure of information quality information the features.
【0018】 [0018]
さらに、本発明のサーバクライアントシステムの一実施態様において、前記階層符号化データは、JPEG2000フォーマットデータであり、前記要求データ態様識別情報は、1フレームあたりのJPEG2000符号化データパケット(JP2パケット)数であることを特徴とする。 Further, in an embodiment of a server client system of the present invention, the hierarchically encoded data is JPEG2000 format data, the requested data scheme identification information, in JPEG2000 coded data packet (JP2 packets) per frame characterized in that there.
【0019】 [0019]
さらに、本発明のサーバクライアントシステムの一実施態様において、前記階層符号化データは、JPEG2000フォーマットデータであり、前記要求データ態様識別情報は、JPEG2000符号化データにおけるプログレッションタイプとしてのLRCP(Layer−resolution level−component−position progression)、またはRLCP(Resolution level−layer−component−position progression)いずれかの指定情報を含むことを特徴とする。 Further, in an embodiment of a server client system of the present invention, the hierarchically encoded data is JPEG2000 format data, the requested data scheme identification information, LRCP as progression types in JPEG2000 coded data (Layer-resolution level -component-position progression), or RLCP (Resolution level-layer-component-position progression) characterized by comprising any of the specified information.
【0020】 [0020]
さらに、本発明のサーバクライアントシステムの一実施態様において、前記要求データ態様識別情報は、階層符号化データの生成処理に伴うウェーブレット変換回数値に相当するR値、またはレイヤ数に相当するL値の少なくともいずれかの指定情報を含むことを特徴とする。 Further, in an embodiment of a server client system of the present invention, the request data scheme identification information, the L value corresponding to the R value or number of layers, corresponding to the wavelet transform count value associated with the generation process of hierarchically encoded data characterized in that it comprises at least one of the specified information.
【0021】 [0021]
さらに、本発明のサーバクライアントシステムの一実施態様において、前記階層符号化データは、MPEGフォーマットデータであり、前記要求データ態様識別情報は、MPEG符号化データにおけるエンハンスメント・レイヤの分割数であることを特徴とする。 Further, in an embodiment of a server client system of the present invention, in that the hierarchically encoded data is MPEG format data, the requested data scheme identification information is the number of divisions of the enhancement layer in the MPEG encoded data and features.
【0022】 [0022]
さらに、本発明のサーバクライアントシステムの一実施態様において、前記階層符号化データは、MPEGフォーマットデータであり、前記要求データ態様識別情報は、MPEG符号化データにおけるエンハンスメント・レイヤの情報量を決定する画質指標値としてのPSNR(Peak Signal to Noise Ratio)の値であることを特徴とする。 Further, in an embodiment of a server client system of the present invention, the hierarchically encoded data is MPEG format data, the requested data scheme identification information, the image quality for determining the information amount of the enhancement layer in the MPEG encoded data characterized in that the value of PSNR (Peak Signal to Noise Ratio) as an index value.
【0023】 [0023]
さらに、本発明のサーバクライアントシステムの一実施態様において、前記クライアントは、前記データ要求メッセージの送信前にサーバに対するデータ仕様要求の送信処理を実行し、前記サーバは、前記クライアントから受信するデータ仕様要求の応答として、サーバ保持データ態様識別情報を格納した応答メッセージを前記クライアントに送信する処理を実行する構成であり、前記クライアントは、前記サーバから受信する応答メッセージ中からサーバ保持データ態様識別情報を取得し、該取得情報に基づいて、クライアントの要求する階層符号化データ態様を決定し、該決定情報を前記要求データ態様識別情報として前記データ要求メッセージに格納して前記サーバに送信する処理を実行する構成であることを特徴とする。 Further, in an embodiment of a server client system of the present invention, the client performs a process of transmitting data specifications request to the server before sending the data request message, wherein the server, data specifications requests received from the client as the response is configured to perform a process of transmitting the response message contains the server holding data scheme identification information to the client, the client obtains the server holding data scheme identification information from the response message received from the server and, based on the acquired information, determines a hierarchical coded data scheme requested by the client, and stored in the data request message the determined information as the request data mode identifier to execute a process of transmitting to the server characterized in that it is a structure.
【0024】 [0024]
さらに、本発明のサーバクライアントシステムの一実施態様において、前記クライアントは、制御情報通信プロトコルとしてのRTSP(Real−time Streaming Protocol)に従ったデスクライブ[DESCRIBE]メソッドによりデータ仕様要求を前記サーバに送信し、前記サーバは、前記クライアントから受信する前記デスクライブ[DESCRIBE]メソッドの応答として、サーバ保持データ態様識別情報を格納した応答メッセージを前記クライアントに送信し、前記クライアントは、前記サーバから受信する応答メッセージ中からサーバ保持データ態様識別情報を取得し、該取得情報に基づいて、クライアントの要求する階層符号化データ態様を決定し、該決定情報を前記要求データ態様識別情報とし Furthermore, transmission in an embodiment of a server client system of the present invention, the client uses a desk Live [DESCRIBE] Methods in accordance with the RTSP (Real-time Streaming Protocol) as the control information communication protocol data specification request to the server response to the server, as a response of the desk Live [DESCRIBE] method of receiving from the client, sends a response message containing the server holding data scheme identification information to the client, the client is received from the server get the server holding data scheme identification information from the message, based on the acquired information, determines a hierarchical coded data scheme requested by the client, the determination information and the requested data scheme identification information RTSPに従ったプレイ[PLAY]メソッドの記述中に格納して前記サーバに送信する処理を実行する構成であることを特徴とする。 Wherein the stored in the description of the play [PLAY] Methods in accordance with the RTSP is configured to perform processing of transmitting to the server.
【0025】 [0025]
さらに、本発明のサーバクライアントシステムの一実施態様において、前記階層符号化データは、JPEG2000フォーマットデータであり、前記要求データ態様識別情報および前記サーバ保持データ態様識別情報は、解像度情報、画質情報の少なくともいすれかの情報を含むことを特徴とする。 Further, in an embodiment of a server client system of the present invention, the hierarchically encoded data is JPEG2000 format data, the requested data scheme identification information and the server holds data scheme identification information, resolution information, at least the image quality information characterized in that it comprises a Isure of information.
【0026】 [0026]
さらに、本発明のサーバクライアントシステムの一実施態様において、前記階層符号化データは、JPEG2000フォーマットデータであり、前記要求データ態様識別情報および前記サーバ保持データ態様識別情報は、JPEG2000符号化データにおけるプログレッションタイプとしてのLRCP(Layer−resolution level−component−position progression)、またはRLCP(Resolution level−layer−component−position progression)いずれかの指定情報を含むことを特徴とする。 Further, in an embodiment of a server client system of the present invention, the hierarchically encoded data is JPEG2000 format data, the requested data scheme identification information and the server holds data scheme identification information, progression types in JPEG2000 coded data LRCP as (Layer-resolution level-component-position progression), or RLCP (Resolution level-layer-component-position progression) characterized by comprising any of the specified information.
【0027】 [0027]
さらに、本発明のサーバクライアントシステムの一実施態様において、前記要求データ態様識別情報および前記サーバ保持データ態様識別情報は、階層符号化データの生成処理に伴うウェーブレット変換回数値に相当するR値、またはレイヤ数に相当するL値の少なくともいずれかの指定情報を含むことを特徴とする。 Further, in an embodiment of a server client system of the present invention, the request data scheme identification information and the server holds data scheme identification information, R value corresponding to the wavelet transform count value associated with the generation process of hierarchically encoded data, or characterized in that it comprises at least one of the specified information L value corresponding to the number of layers.
【0028】 [0028]
さらに、本発明のサーバクライアントシステムの一実施態様において、前記階層符号化データは、MPEGフォーマットデータであり、前記要求データ態様識別情報および前記サーバ保持データ態様識別情報は、MPEG符号化データにおけるエンハンスメント・レイヤの分割数であることを特徴とする。 Further, in an embodiment of a server client system of the present invention, the hierarchically encoded data is MPEG format data, the requested data scheme identification information and the server holds data scheme identification information, the enhancement in the MPEG encoded data characterized in that it is a number of divided layers.
【0029】 [0029]
さらに、本発明のサーバクライアントシステムの一実施態様において、前記階層符号化データは、MPEGフォーマットデータであり、前記要求データ態様識別情報および前記サーバ保持データ態様識別情報は、MPEG符号化データにおけるエンハンスメント・レイヤの情報量を決定する画質指標値としてのPSNR(Peak Signal to Noise Ratio)の値であることを特徴とする。 Further, in an embodiment of a server client system of the present invention, the hierarchically encoded data is MPEG format data, the requested data scheme identification information and the server holds data scheme identification information, the enhancement in the MPEG encoded data characterized in that the value of PSNR (Peak Signal to Noise Ratio) as the image quality index value for determining the information amount of the layer.
【0030】 [0030]
さらに、本発明の第2の側面は、 Further, a second aspect of the present invention,
階層符号化データの送信処理を実行するサーバとしてのデータ送信装置であり、 A data transmission apparatus serving as a server for executing transmission processing hierarchically encoded data,
クライアントとのデータ送受信を実行する通信部と、 A communication unit for performing data transmission and reception with the client,
前記通信部を介してクライアントから受信するデータ要求メッセージに含まれる要求データ態様識別情報に基づいて、該要求データ態様識別情報に対応する符号化データを記憶部から抽出または生成する制御部と、 Based on the request data scheme identification information included in the data request message received from the client via the communication unit, a control unit for extracting or generating encoded data corresponding to the request data scheme identification information from the storage unit,
前記制御部の制御の下に抽出または生成した符号化データを格納した通信パケットを生成する通信パケット処理部とを有し、 A communication packet processing unit and for generating a communication packet storing the encoded data extracted or generated under the control of the control unit,
前記通信パケット処理部において生成したクライアント対応の符号化データを格納した通信パケットをクライアントに対して送信する処理を実行する構成を有することを特徴とするデータ送信装置にある。 In the data transmission apparatus characterized by having a configuration to execute a process of transmitting a communication packet storing the client corresponding encoded data generated in the communication packet processing unit to the client.
【0031】 [0031]
さらに、本発明のデータ送信装置の一実施態様において、前記クライアントは、制御情報通信プロトコルとしてのRTSP(Real−time Streaming Protocol)に従ったプレイ[PLAY]メソッドの記述中に前記要求データ態様識別情報を格納して前記サーバに送信する処理を実行する構成であり、前記制御部は、前記クライアントから受信するプレイ[PLAY]メソッドの記述中から、前記要求データ態様識別情報を取得し、取得した要求データ態様識別情報に対応する符号化データの抽出または生成処理を実行する構成であることを特徴とする。 Further, in an embodiment of the data transmission apparatus of the present invention, the client, the requested data scheme identification information in the description of the play [PLAY] Methods in accordance with the RTSP (Real-time Streaming Protocol) as the control information and communication protocol a configuration for executing processing for transmitting to the server stores, the control unit, the in the description of the play [PLAY] method of receiving from the client, acquires the requested data scheme identification information, and acquisition request characterized in that it is configured to perform the extraction or generation processing of encoded data corresponding to the data scheme identification information.
【0032】 [0032]
さらに、本発明のデータ送信装置の一実施態様において、前記データ送信装置は、前記通信部を介してクライアントからデータ仕様要求を受信し、前記制御部は、記憶部に格納した階層符号化データの態様情報としてのサーバ保持データ態様識別情報を格納した応答メッセージを前記クライアントに送信する処理を実行する構成であることを特徴とする。 Further, in an embodiment of the data transmission apparatus of the present invention, the data transmission device via the communication unit receives the data specification request from a client, wherein, the hierarchically encoded data stored in the storage unit characterized in that the response message contains the server holding data scheme identification information as mode information is configured to perform processing of transmitting to the client.
【0033】 [0033]
さらに、本発明のデータ送信装置の一実施態様において、前記階層符号化データは、JPEG2000フォーマットデータであり、前記サーバ保持データ態様識別情報は、解像度情報、画質情報の少なくともいすれかの情報を含むことを特徴とする。 Further, in an embodiment of the data transmission apparatus of the present invention, the hierarchically encoded data is JPEG2000 format data, the server holds data scheme identification information includes resolution information, at least Isure of information quality information it is characterized in.
【0034】 [0034]
さらに、本発明のデータ送信装置の一実施態様において、前記階層符号化データは、JPEG2000フォーマットデータであり、前記サーバ保持データ態様識別情報は、JPEG2000符号化データにおけるプログレッションタイプとしてのLRCP(Layer−resolution level−component−position progression)、またはRLCP(Resolution level−layer−component−position progression)いずれかの指定情報を含むことを特徴とする。 Further, in an embodiment of the data transmission apparatus of the present invention, the hierarchically encoded data is JPEG2000 format data, the server holds data scheme identification information, LRCP as progression types in JPEG2000 coded data (Layer-resolution level-component-position progression), or RLCP (Resolution level-layer-component-position progression) characterized by comprising any of the specified information.
【0035】 [0035]
さらに、本発明のデータ送信装置の一実施態様において、前記サーバ保持データ態様識別情報は、階層符号化データの生成処理に伴うウェーブレット変換回数値に相当するR値、またはレイヤ数に相当するL値の少なくともいずれかの指定情報を含むことを特徴とする。 Further, in an embodiment of the data transmission apparatus of the present invention, the server holds data scheme identification information, L value corresponding to the R value or number of layers, corresponding to the wavelet transform count value associated with the generation process of hierarchically encoded data characterized in that it comprises at least one of the specified information.
【0036】 [0036]
さらに、本発明のデータ送信装置の一実施態様において、前記階層符号化データは、MPEGフォーマットデータであり、前記サーバ保持データ態様識別情報は、MPEG符号化データにおけるエンハンスメント・レイヤの分割数であることを特徴とする。 Furthermore, it in an embodiment of the data transmission apparatus of the present invention, the hierarchically encoded data is MPEG format data, the server holds data scheme identification information is the number of divisions of the enhancement layer in the MPEG encoded data the features.
【0037】 [0037]
さらに、本発明のデータ送信装置の一実施態様において、前記階層符号化データは、MPEGフォーマットデータであり、前記要求データ態様識別情報および前記サーバ保持データ態様識別情報は、MPEG符号化データにおけるエンハンスメント・レイヤの情報量を決定する画質指標値としてのPSNR(Peak Signal to Noise Ratio)の値であることを特徴とする。 Further, in an embodiment of the data transmission apparatus of the present invention, the hierarchically encoded data is MPEG format data, the requested data scheme identification information and the server holds data scheme identification information, the enhancement in the MPEG encoded data characterized in that the value of PSNR (Peak Signal to Noise Ratio) as the image quality index value for determining the information amount of the layer.
【0038】 [0038]
さらに、本発明の第3の側面は、 Furthermore, a third aspect of the present invention,
サーバから階層符号化データを受信するクライアントとしてのデータ受信装置であり、 A data receiving apparatus as a client for receiving hierarchically encoded data from the server,
前記データ受信装置は、 The data receiving apparatus,
サーバとのデータ送受信を実行する通信部と、 A communication unit for performing data transmission and reception with the server,
自己の要求する階層符号化データ態様の決定処理を実行し、決定情報を前記通信部を介してサーバに送信するデータ要求メッセージに格納する要求データ態様識別情報として設定する制御部とを有し、 Run the determination process of the hierarchical coding data mode of self-request, the decision information via the communication unit and a control unit for setting a request data mode identification information stored in the data request message to the server,
サーバに対する階層符号化データの要求メッセージ中に、前記要求データ態様識別情報を格納して送信する処理を実行する構成を有することを特徴とするデータ受信装置にある。 During the hierarchically encoded data request message to the server, in the data reception apparatus characterized by having a configuration for executing processing for transmitting and storing the requested data scheme identification information.
【0039】 [0039]
さらに、本発明のデータ受信装置の一実施態様において、前記データ受信装置は、制御情報通信プロトコルとしてのRTSP(Real−time Streaming Protocol)に従ったプレイ[PLAY]メソッドの記述中に前記要求データ態様識別情報を格納して前記サーバに送信する処理を実行する構成であることを特徴とする。 Further, in an embodiment of the data receiving apparatus of the present invention, the data receiving device, the request data scheme in the description of the play [PLAY] Methods in accordance with the RTSP (Real-time Streaming Protocol) as the control information and communication protocol wherein the store identification information is configured to perform processing of transmitting to the server.
【0040】 [0040]
さらに、本発明のデータ受信装置の一実施態様において、前記階層符号化データは、JPEG2000フォーマットデータであり、前記要求データ態様識別情報は、解像度情報、画質情報の少なくともいすれかの情報を含むことを特徴とする。 Further, in an embodiment of the data receiving apparatus of the present invention, the hierarchically encoded data is JPEG2000 format data, the requested data scheme identification information include resolution information, at least Isure of information quality information the features.
【0041】 [0041]
さらに、本発明のデータ受信装置の一実施態様において、前記階層符号化データは、JPEG2000フォーマットデータであり、前記要求データ態様識別情報は、1フレームあたりのJPEG2000符号化データパケット(JP2パケット)数であることを特徴とする。 Further, in an embodiment of the data receiving apparatus of the present invention, the hierarchically encoded data is JPEG2000 format data, the requested data scheme identification information, in JPEG2000 coded data packet (JP2 packets) per frame characterized in that there.
【0042】 [0042]
さらに、本発明のデータ受信装置の一実施態様において、前記階層符号化データは、JPEG2000フォーマットデータであり、前記要求データ態様識別情報は、JPEG2000符号化データにおけるプログレッションタイプとしてのLRCP(Layer−resolution level−component−position progression)、またはRLCP(Resolution level−layer−component−position progression)いずれかの指定情報を含むことを特徴とする。 Further, in an embodiment of the data receiving apparatus of the present invention, the hierarchically encoded data is JPEG2000 format data, the requested data scheme identification information, LRCP as progression types in JPEG2000 coded data (Layer-resolution level -component-position progression), or RLCP (Resolution level-layer-component-position progression) characterized by comprising any of the specified information.
【0043】 [0043]
さらに、本発明のデータ受信装置の一実施態様において、前記要求データ態様識別情報は、階層符号化データの生成処理に伴うウェーブレット変換回数値に相当するR値、またはレイヤ数に相当するL値の少なくともいずれかの指定情報を含むことを特徴とする。 Further, in an embodiment of the data receiving apparatus of the present invention, the request data scheme identification information, the L value corresponding to the R value or number of layers, corresponding to the wavelet transform count value associated with the generation process of hierarchically encoded data characterized in that it comprises at least one of the specified information.
【0044】 [0044]
さらに、本発明のデータ受信装置の一実施態様において、前記階層符号化データは、MPEGフォーマットデータであり、前記要求データ態様識別情報は、MPEG符号化データにおけるエンハンスメント・レイヤの分割数であることを特徴とする。 Further, in an embodiment of the data receiving apparatus of the present invention, in that the hierarchically encoded data is MPEG format data, the requested data scheme identification information is the number of divisions of the enhancement layer in the MPEG encoded data and features.
【0045】 [0045]
さらに、本発明のデータ受信装置の一実施態様において、前記階層符号化データは、MPEGフォーマットデータであり、前記要求データ態様識別情報は、MPEG符号化データにおけるエンハンスメント・レイヤの情報量を決定する画質指標値としてのPSNR(Peak Signal to Noise Ratio)の値であることを特徴とする。 Further, in an embodiment of the data receiving apparatus of the present invention, the hierarchically encoded data is MPEG format data, the requested data scheme identification information, the image quality for determining the information amount of the enhancement layer in the MPEG encoded data characterized in that the value of PSNR (Peak Signal to Noise Ratio) as an index value.
【0046】 [0046]
さらに、本発明のデータ受信装置の一実施態様において、前記データ受信装置は、前記データ要求メッセージの送信前にサーバに対するデータ仕様要求の送信処理を実行するとともに、前記サーバから受信する応答メッセージ中からサーバ保持データ態様識別情報を取得し、該取得情報に基づいて、自己の要求する階層符号化データ態様を決定し、該決定情報を前記要求データ態様識別情報として前記データ要求メッセージに格納して前記サーバに送信する処理を実行する構成であることを特徴とする。 Further, in an embodiment of the data receiving apparatus of the present invention, the data receiving apparatus is configured to perform a transmission processing of the data specification request to the server before sending the data request message from the response message received from the server get the server holding data scheme identification information, based on the acquired information, determines a hierarchical coded data scheme to be self-request, the stored in the data request message the determined information as the requested data scheme identification information characterized in that it is configured to perform a process of transmitting to the server.
【0047】 [0047]
さらに、本発明の第4の側面は、 Furthermore, a fourth aspect of the present invention,
階層符号化データの送信処理を実行するデータ送信方法であり、 A data transmission method for performing transmission processing hierarchically encoded data,
クライアントからデータ要求メッセージを受信するステップと、 Receiving a data request message from the client,
前記データ要求メッセージに含まれる要求データ態様識別情報に基づいて、該要求データ態様識別情報に対応する符号化データを記憶部から抽出または生成する制御ステップと、 Based on the request data scheme identification information included in the data request message, a control step of extracting or generating encoded data corresponding to the request data scheme identification information from the storage unit,
抽出または生成した符号化データを格納した通信パケットを生成する通信パケット生成ステップと、 A communication packet generation step of generating a communication packet storing extracted or generated encoded data,
クライアント対応の符号化データを格納した通信パケットをクライアントに対して送信するステップと、 Transmitting a communication packet storing the client corresponding encoded data to the client,
を有することを特徴とするデータ送信方法にある。 In the data transmission method characterized by having a.
【0048】 [0048]
さらに、本発明のデータ送信方法の一実施態様において、前記制御ステップは、前記クライアントから受信するプレイ[PLAY]メソッドの記述中から、前記要求データ態様識別情報を取得し、取得した要求データ態様識別情報に対応する符号化データの抽出または生成処理を実行するステップであることを特徴とする。 Further, in an embodiment of the data transmission method of the present invention, the control step, the in the description of the play [PLAY] method of receiving from the client, acquires the requested data scheme identification information, the acquired requested data scheme identification characterized in that it is a step of performing extraction or generation processing of encoded data corresponding to the information.
【0049】 [0049]
さらに、本発明のデータ送信方法の一実施態様において、前記データ送信方法は、さらに、前記通信部を介してクライアントからデータ仕様要求を受信するステップと、記憶部に格納した階層符号化データの態様情報としてのサーバ保持データ態様識別情報を格納した応答メッセージを前記クライアントに送信するステップと、を有することを特徴とする。 Further, in an embodiment of the data transmission method of the present invention, the data transmission method may further include receiving a data specification request from the client via the communication section, aspects of the hierarchically encoded data stored in the storage unit and transmitting a response message containing the server holding data scheme identification information as information to the client, characterized by having a.
【0050】 [0050]
さらに、本発明の第5の側面は、 According to a fifth aspect of the present invention,
サーバに対する階層符号化データの要求処理を実行するデータ要求処理方法であり、 A data request processing method for performing a request process of hierarchically encoded data to the server,
自己の要求する階層符号化データ態様の決定処理を実行する要求データ態様決定ステップと、 A request data scheme determining step of performing a process of determining the hierarchically encoded data mode of self-request,
サーバに送信するデータ要求メッセージに前記決定ステップにおいて決定した要求データ態様を要求データ態様識別情報として格納するステップと、 And storing the requested data mode determined in said determining step to a data request message to be transmitted to the server as a request data scheme identification information,
前記データ要求メッセージをサーバに対して送信するステップと、 And transmitting the data request message to the server,
を有することを特徴とするデータ要求処理方法にある。 In the data request processing method characterized in that it comprises a.
【0051】 [0051]
さらに、本発明のデータ要求処理方法の一実施態様において、前記データ要求メッセージは、制御情報通信プロトコルとしてのRTSP(Real−time Streaming Protocol)に従ったプレイ[PLAY]メソッドとしてサーバに対して送信することを特徴とする。 Further, in an embodiment of the data request processing method of the present invention, the data request message is transmitted to the server as a play [PLAY] Methods in accordance with the RTSP (Real-time Streaming Protocol) as the control information and communication protocol it is characterized in.
【0052】 [0052]
さらに、本発明の第6の側面は、 Furthermore, a sixth aspect of the present invention,
階層符号化データの送信処理を実行するデータ送信処理を実行するコンピュータ・プログラムであって、 A computer program for performing data transmission processing for executing transmission processing hierarchically encoded data,
クライアントからデータ要求メッセージを受信するステップと、 Receiving a data request message from the client,
前記データ要求メッセージに含まれる要求データ態様識別情報に基づいて、該要求データ態様識別情報に対応する符号化データを記憶部から抽出または生成する制御ステップと、 Based on the request data scheme identification information included in the data request message, a control step of extracting or generating encoded data corresponding to the request data scheme identification information from the storage unit,
抽出または生成した符号化データを格納した通信パケットを生成する通信パケット生成ステップと、 A communication packet generation step of generating a communication packet storing extracted or generated encoded data,
クライアント対応の符号化データを格納した通信パケットをクライアントに対して送信するステップと、 Transmitting a communication packet storing the client corresponding encoded data to the client,
を具備することを特徴とするコンピュータ・プログラムにある。 In a computer program, characterized by comprising.
【0053】 [0053]
さらに、本発明の第7の側面は、 Furthermore, a seventh aspect of the present invention,
サーバに対する階層符号化データの要求処理を実行するデータ要求処理を実行するコンピュータ・プログラムであって、 A computer program for executing a data request process for performing request processing hierarchically encoded data to the server,
自己の要求する階層符号化データ態様の決定処理を実行する要求データ態様決定ステップと、 A request data scheme determining step of performing a process of determining the hierarchically encoded data mode of self-request,
サーバに送信するデータ要求メッセージに前記決定ステップにおいて決定した要求データ態様を要求データ態様識別情報として格納するステップと、 And storing the requested data mode determined in said determining step to a data request message to be transmitted to the server as a request data scheme identification information,
前記データ要求メッセージをサーバに対して送信するステップと、 And transmitting the data request message to the server,
を具備することを特徴とするコンピュータ・プログラムにある。 In a computer program, characterized by comprising.
【0054】 [0054]
【作用】 [Action]
本発明の構成によれば、階層符号化データの送信処理を実行するサーバと、サーバから階層符号化データを受信するクライアントからなるサーバクライアントシステムにおいて、クライアントからサーバに対して送信するデータ要求メッセージに、クライアントの要求する階層符号化データ態様を示す要求データ態様識別情報を格納して送信し、サーバが要求データ態様識別情報に基づいて、クライアント対応の符号化データを抽出または生成してクライアントに送信する処理を実行する構成としたので、クライアントの処理能力等に応じた最適なデータの送信が可能になる。 According to the configuration of the present invention, a server for executing a transmission process of hierarchically encoded data, in a server-client system comprising a client for receiving hierarchically encoded data from the server, the data request message transmitted from the client to the server , transmitted and transmits the stored request data scheme identification information indicative of a hierarchical coding data scheme requested by the client, based on the server request data scheme identification information, the client extracts or generates and client corresponding encoded data configuration and the so that the process to be executed, it is possible to transmit optimum data corresponding to the client processing capability or the like.
【0055】 [0055]
また、本発明の構成によれば、サーバは、記憶部に格納する唯一の符号化データから、クライアントの要求に応じてデータ抽出により様々な構成のデータを送信データとすることが可能となるので、サーバは様々なタイプのデータを複数格納する必要がなく効率的な処理が可能となる。 Further, according to the configuration of the present invention, the server from only encoded data to be stored in the storage unit, it becomes possible to transmit data to data of various configurations by the data extraction in accordance with the client's request the server is capable efficient processing is not necessary to store a plurality of different types of data.
【0056】 [0056]
さらに、本発明の構成によれば、クライアントは、データ要求メッセージの送信前にサーバに対するデータ仕様要求の送信処理を実行し、サーバが応答として、サーバ保持データ態様識別情報を格納した応答メッセージをクライアントに送信し、クライアントは、サーバ保持データ態様識別情報に基づいて、クライアントの要求する階層符号化データ態様を決定することが可能となり、サーバが確実に保有する範囲でのデータ要求が可能となる。 Further, according to the configuration of the present invention, the client, the client executes a transmission process of data specifications request to the server before sending the data request message, the server as a response, a response message storing the server holding data scheme identification information sent to the client, based on the server holding data scheme identification information, it is possible to determine the hierarchical coding data scheme requested by the client, it is possible to request for data to the extent that the server is securely held.
【0057】 [0057]
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、CDやFD、MOなどの記録媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。 The computer program of the present invention is, for example, for different possible execution program codes general purpose computer system, the storage medium for providing a computer-readable format, a communication medium, e.g., CD or FD, MO, etc. recording medium or in a computer-readable a communication medium such as a network. このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。 By providing such a program in a computer-readable format, processing corresponding to the program is realized on the computer system.
【0058】 [0058]
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。 Further objects, features, and advantages of the present invention will become apparent from more detailed description based on embodiments of the invention and the accompanying drawings described below. なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。 A system in this specification is a logical set of plural apparatuses and is not limited to apparatuses of respective configurations are in the same casing.
【0059】 [0059]
【発明の実施の形態】 DETAILED DESCRIPTION OF THE INVENTION
[システム概要及びデータ送受信構成例] System Overview and data transceiver Configuration Example
まず、本発明のシステム概要及びデータ送受信構成例について説明する。 First, a description will be given of a system overview, and data transmission and reception configuration of the present invention. 図1に本発明の適用可能なデータ送受信システム構成例を示す。 It shows the applicable data transmission and reception system configuration of the present invention in FIG. 本発明では図1のようにデータ送信装置としてのサーバ11とデータ受信装置としてのクライアント21,22,23がネットワーク12に接続され、ネットワーク12を介してデータの送受信がされる環境を想定する。 In the present invention the client 21, 22 and 23 as a server 11 and the data receiving apparatus as a data transmitting apparatus as shown in Fig. 1 connected to the network 12, to assume an environment which is to transmit and receive data via the network 12. なお、図には3つのクライアントを示しているが、クライアントはネットワーク上に多数接続されているものとする。 Although shows three clients in the figure, the client is assumed to be connected a number on the network.
【0060】 [0060]
サーバ11は、あらかじめエンコードされたデータをHDDのような記録媒体に保存しておく。 Server 11, keep the encoded data in advance in a recording medium such as of the HDD. このときのエンコード方式として階層符号化を用いた画像圧縮方式を用いるものとする。 It shall be used to image compression method using hierarchical encoding as encoding for this time. 以下の説明においては、エンコード済みのデータを送受信する方法を具体例と示すが、サーバ11がリアルタイムエンコーディングを実行する構成にも本発明は適用可能である。 In the following description, it shows a method of transmitting and receiving encoded data and specific examples, but the present invention to the configuration server 11 performs real-time encoding is applicable. また、クライアント21,22,23は、サーバで用いられたエンコード方式に対応したデコード処理環境、すなわちデコーダを有し、デコードデータの出力手段としてのディスプレイあるいはスピーカ等を有する。 The client 21, 22, decoding processing environment that corresponds to the encoding method used by the server, that has a decoder, a display or a speaker or the like serving as output means for decoding data.
【0061】 [0061]
なお、本実施例においては、IP(Internet Protocol)接続ネットワークを想定している。 In the present embodiment, IP is assumed (Internet Protocol) access networks. 画像あるいは音声データ等の配信ではリアルタイム性が要求されることが多く、多くの場合インターネット上での通信プロトコルとしてUDP(User Datagram Protocol)が用いられる。 The delivery of such image or voice data often requires real time, UDP (User Datagram Protocol) is used as the communication protocol on many cases the Internet. さらに、UDPの上のレイヤにおいてはRTP(Real−time Transport Protocol)を用いる。 Further, in the layer over UDP uses RTP (Real-time Transport Protocol). コンテンツデータの伝送プレーンとしてRTPを用いる一方、制御情報伝送プレーンとしてはRTSP(Real−time Streaming Protocol)を用いる。 While RTP is used as a transmission plane of the content data, using RTSP (Real-time Streaming Protocol) as control information transmission plane.
【0062】 [0062]
RTSPでは、制御機能として複数のメソッドが規定されており、例えば、クライアントからサーバに対してコンテンツを要求するメソッドとして規定されたデスクライブ[DESCRIBE]、メディア(コンテンツ)の送信開始メソッドとして規定された[PLAY]、メディアのためのリソース要求とRTSPセッション開始メソッドとして規定された[SETUP]、セッション終了メソッドとして規定された[TEARDOWN]等、様々なメソッド(制御機能)が適用可能である。 In RTSP, and several methods are defined as control functions, for example, desk live defined as a method for requesting the content from the client to the server [DESCRIBE], defined as the transmission start method of the media (content) [PLAY], defined as a resource request and the RTSP session start method for media [SETUP], defined as a session termination method [TEARDOWN], etc., various methods (control function) can be applied.
【0063】 [0063]
データ送信サイトのサーバ11は、ウェーブレット変換、あるいはDCT等をベースとした階層符号化処理によって生成した階層符号化データを保有し、クライアントからのデータ要求に応じて保有する階層符号化データからクライアントに最適なデータを抽出し、必要に応じて符号化列の再設定としての並び替えを実行し、抽出データを通信パケットのペイロードとして格納した通信パケットを生成してデータ要求クライアントに対して送信する。 Server 11 of the data transmission site, wavelet transform, or DCT, etc. possesses a hierarchical coded data generated by the hierarchical encoding process based, to the client hierarchically encoded data held in response to a data request from the client extracting the optimum data, if necessary by performing the rearrangement of the resetting of the coding sequence, and generates a communication packet storing the extracted data as the payload of a communication packet transmitted to the data requesting client.
【0064】 [0064]
ネットワーク12は通信パケットに設定されたアドレス情報に基づいて送信先へ通信パケットを運ぶ。 Network 12 carries communication packets to the destination based on the address information set in the communication packet. データ送信態様は様々であり、例えばダイアルアップサービスを提供するサービスプロバイダネットワークを経由してクライアント21へ通信パケットが送信されたり、あるいはADSLを使ったサービスプロバイダネットワークを経由してクライアント22へパケットが配信される。 Data transmission mode is different, the packet is delivered for example or communication packet via the service provider network that provides dial-up service to the client 21 is sent, or via the service provider network through the ADSL to the client 22 that. あるいは無線ネットワークにより基地局13を経由して移動クライアント23に通信パケットが配信される。 Or communication packet to the mobile client 23 via the base station 13 is delivered by the wireless network.
【0065】 [0065]
以下、本発明を適用した符号化データの送受信処理について、JPEG2000、MPEG等、各種データ圧縮フォーマットに従った複数の処理例を説明する。 Hereinafter, the process of transmitting and receiving application coded data of the present invention, JPEG2000, MPEG or the like, a plurality of processing examples in accordance with the various data compression formats will be described.
【0066】 [0066]
[実施例1] [Example 1]
まず、実施例1として、階層符号化方式にJPEG2000を適用し、伝送制御方式としてRTSPを用いた例について説明する。 First, as in Example 1, was applied to JPEG2000 to the hierarchical coding method, an example will be described using the RTSP as a transmission control method.
【0067】 [0067]
ウェーブレット(Wavelet)変換をベースとするJPEG2000のような階層符号化処理は、レイヤあるいは解像度を細かく設定した階層区分設定が可能であり、処理能力の異なる様々なデータ受信端末に応じた任意のビットレートに対応することが可能である。 Wavelet (Wavelet) translation layer coding processing such as JPEG2000 based on is capable of hierarchical classification settings set the layer or resolution finer, any bit rate corresponding to the various data receiving terminals having different processing capabilities it is possible to correspond to. また、JPEG2000を基礎とした動画の圧縮フォーマットであるJPEG2000ビデオストリームはフレーム間相関のないイントラフレームの連続として構成されるものであるため、ネットワーク上においてパケットロスが生じても、ロスパケットに基づく他のパケットに対するエラー伝播が発生しないという利点がある。 Further, since JPEG2000 video stream is a compression format of videos and based JPEG2000 is intended to be configured as a continuous intraframe no correlation between frames, even packet loss occurs on the network, other based on lost packet there is an advantage that error propagation does not occur for the packet. 従って、ウェーブレット変換を適用するとブロックノイズが生じないため視覚上の画質の低下が抑制される。 Therefore, reduction of visual quality because no block noise is generated when applying the wavelet transform is suppressed.
【0068】 [0068]
以下、説明する実施例は、ウェーブレット変換を適用した階層符号化処理によって生成した階層符号化データを送受信するシステムである。 Hereinafter, the embodiments described is a system for transmitting and receiving hierarchically encoded data generated by the hierarchical coding processing using wavelet transform. データを送信するデータ送信装置としてのサーバは、データを受信するデータ受信装置としてのクライアントの能力、例えばディスプレイ解像度やCPUの処理能力(例えば処理可能なビットレート)に応じて、最適な符号化データを送信する。 Server as a data transmitting apparatus for transmitting data, the client's ability as a data receiving apparatus for receiving data, for example, depending on the display resolution and CPU power (e.g., processing possible bit rate), optimum coding data to send.
【0069】 [0069]
本発明のシステムにおいて、符号化データを保持し、符号化データを格納した通信パケットを生成して送信する処理を実行するデータ送信装置としてのサーバの構成および処理について説明する。 In the system of the present invention, it holds the encoded data will be described server configuration and processing of the data transmitting apparatus to execute a process of generating and transmitting communication packets containing encoded data. 図2にサーバの構成例を説明するブロック図を示す。 It shows a block diagram illustrating a configuration example of the server in FIG.
【0070】 [0070]
図2に示す例では、サーバ100は制御部101、エンコーダ(符号化部)102、記憶部103、通信パケット処理部104、データ送受信部(ネットワークI/F)105を有する。 In the example shown in FIG. 2, the server 100 includes a control unit 101, an encoder (encoding unit) 102, storage unit 103, the communication packet processing unit 104, data transceiver (network I / F) 105.
【0071】 [0071]
データ送受信部105を介してデータ受信装置であるクライアントに対して符号化データを格納した通信パケットが送信される。 Communication packets containing encoded data is transmitted to the client is the data receiving apparatus via the data transceiver unit 105. 送信対象となる符号化データは、基本的には、記憶部103に格納されたデータである。 Encoded data to be transmitted is basically a data stored in the storage unit 103. すなわち、あらかじめエンコーダ(符号化部)102によって所定の符号化処理が実行され、記憶部103に格納された符号化データから、制御部101の制御の下にクライアントの希望する符号化データ態様に応じたデータ抽出処理が実行され、抽出された符号化データをペイロードとした通信パケットが通信パケット処理部104において生成されて、データ送受信部105を介してデータ受信装置であるクライアントに対して送信される。 That is, in advance encoder (encoding unit) 102 predetermined coding processing by the run, from the encoded data stored in the storage unit 103, according to the coding data mode desired by the client under the control of the control unit 101 data extraction processing is performed, is generated in the communication packet of the extracted encoded data and the payload communication packet processing unit 104, is sent to the client is the data receiving apparatus via the data transceiver 105 . なお、クライアントに対するデータ送信処理に際して、エンコーダ(符号化部)102によって符号化処理を実行し、符号化データを通信パケット処理部104において通信パケットに格納してクライアントに送信する構成としてもよい。 Note that when the data transmission process to the client, the encoder (encoding unit) 102 by perform coding processing, in the communication packet processing unit 104 the encoded data may be transmitted to the client and stored in the communication packet.
【0072】 [0072]
なお、クライアント側の構成、すなわちCPU、デコーダ処理能力、ディスプレイ構成等に応じた最適な符号化データ、あるいはクライアントの希望する最適な符号化データの態様については、符号化データの送信以前にサーバクライアント間で実行する制御情報伝送処理、すなわちRTSP(Real−time Streaming Protocol)による情報交換によってサーバがクライアントから取得する。 Incidentally, the client-side configuration, i.e. CPU, decoder processing power, optimum coding data corresponding to the display configuration such or for the optimal mode of the encoded data of the desired client, the server client sending the previous coded data control information transmission processing executed between, i.e. server obtains from the client the information exchange by RTSP (Real-time Streaming Protocol). 制御部101は、取得情報に基づいて記憶部103からクライアントに適した符号化データ抽出処理を実行し、抽出データに基づいて通信パケットが生成される。 Controller 101 executes the encoded data extracting processing suitable from the storage unit 103 to the client based on the acquired information, the communication packet is generated based on the extracted data. これらの処理の詳細については、後述する。 Details of these processes will be described later.
【0073】 [0073]
本実施例において、記憶部103には、ウェーブレット(Wavelet)変換をベースとするJPEG2000符号化データが格納される。 In this embodiment, the storage unit 103, JPEG2000 coded data based on wavelet (Wavelet) conversion is stored. エンコーダ(符号化部)102は、ウェーブレット(Wavelet)変換をベースとするJPEG2000符号化処理を実行する。 Encoder (encoding unit) 102 executes a JPEG2000 coding process based on wavelet (Wavelet) conversion.
【0074】 [0074]
ウェーブレット変換を実行するエンコーダの構成例を図3に示す。 A configuration example of an encoder that performs a wavelet transform is shown in FIG. これは、幾つかあるウェーブレット変換手法の中で、最も一般的なウェーブレット変換であるオクターブ分割を複数レベルに亘って行った例である。 This, in some certain wavelet transform method, an example in which carried over the octave division is the most common wavelet transform multilevel. この図3の場合は、レベル数が3(レベル1〜レベル3)であり、画像信号を低域と高域に分割し、且つ低域成分のみを階層的に分割する構成を採っている。 In this case of FIG. 3, the number of levels is 3 (levels 1 to 3), divides the image signal into low and high-frequency, and adopts a hierarchically divided to constitute only low-frequency component. また図3では、便宜上1次元の信号(例えば画像の水平成分)についてのウェーブレット変換を例示しているが、これを2次元に拡張することで2次元画像信号に対応することができる。 In FIG. 3, for convenience is exemplified wavelet transform for a one-dimensional signal (e.g., the horizontal component of the image), which can correspond to a two-dimensional image signal by extending two-dimensionally.
【0075】 [0075]
次に動作について説明する。 Next, the operation will be described. 図3に示すウェーブレット変換部への入力画像信号250は、まずローパスフィルタ211(伝達関数H0(z))とハイパスフィルタ212(伝達関数H1(z))とによって帯域分割され、得られた低域成分と高域成分は、それぞれ対応するダウンサンプラ213、214によって、解像度がそれぞれ2分の1倍に間引かれる(レベル1)。 The input image signal 250 to the wavelet transform section shown in FIG. 3 is first low-pass filter 211 (transfer function H0 (z)) and the high-pass filter 212 (transfer function H1 (z)) and the band divided by the resulting low frequency components and highband components, by the corresponding down samplers 213 and 214, the resolution is thinned out to 1 times the 2 min each (level 1). この時の出力がL成分251とH成分256の2つである。 The output at this time are two of the L component 251 and H component 256. ここで、上記Lは低域(Low)、Hは高域(High)を示す。 Here, the L low-pass (Low), H denotes a high frequency (High). この図3のローパスフィルタ211、ハイパスフィルタ212、及び2個のダウンサンプラ213、214によってレベル1の回路部210が構成されている。 The low-pass filter 211 of FIG. 3, the circuit portion 210 of Level 1 high-pass filter 212, and two down-sampler 213 and 214 are configured.
【0076】 [0076]
ダウンサンプラ213、214によりそれぞれ間引かれた信号の低域成分、すなわちダウンサンプラ213からの信号のみが、さらに、レベル2の回路部220のローパスフィルタ及びハイパスフィルタによって帯域分割され、それぞれ対応するダウンサンプラによって、解像度をそれぞれ2分の1倍に間引かれる(レベル2)。 Down low frequency components of the respective decimated signals by the down-sampler 213 and 214, i.e., only the signal from the down sampler 213 is further be band-divided by the low-pass and high-pass filters in the circuit 220 of the level 2, which correspond respectively the sampler, decimated the resolution to 1 times the 2 min each (level 2). これらのレベル2のローパスフィルタ、ハイパスフィルタ及びダウンサンプラから成る回路部220としては、上記レベル1のローパスフィルタ211、ハイパスフィルタ212及びダウンサンプラ213、214から成る回路部210と同様な構成が用いられる。 These level 2 of the low-pass filter, the circuit unit 220 consisting of a high-pass filter and down-sampler, a low-pass filter 211 of the level 1, the same structure as the circuit portion 210 consisting of a high-pass filter 212 and down samplers 213 and 214 are used .
【0077】 [0077]
このような処理を所定のレベルまで行うことで、低域成分を階層的に帯域分割した帯域成分が順次生成されていくことになる。 By performing such processing to a predetermined level, so that the hierarchically band divided band components of low-frequency components are sequentially generated. レベル2で生成された帯域成分は、LL成分252とLH成分255である。 Band components generated by the level 2 is the LL component 252 and LH component 255. 図3はレベル3まで帯域分割する例が示されており、レベル2の回路部220のローパスフィルタ側のダウンサンプラからの出力が、上記回路部210と同様な構成のレベル3の回路部230に供給されている。 3 is shown an example of band splitting to level 3, the output from the low pass filter side of the down sampler of the circuit portion 220 of the level 2, the circuit portion 230 of Level 3 of the same structure as the circuit portion 210 It has been supplied. このようにレベル3まで帯域分割した結果、LLL成分253、LLH成分254、LH成分255、H成分256が生成される。 Thus level 3 to band division result, LLL component 253, LLH component 254, LH component 255, H component 256 is generated.
【0078】 [0078]
図4は、レベル3まで2次元画像を帯域分割した結果得られる帯域成分を図示したものである。 Figure 4 illustrates the band split resulting band component a two-dimensional image to level 3. この図4に示すL及びHの表記法は、1次元信号を扱った図3でのL及びHの表記法とは異なる。 The notation L and H shown in FIG. 4 differs from the notation L and H in FIG. 3 dealing with one-dimensional signal. すなわち図4では、先ずレベル1の帯域分割(水平・垂直方向)により4つの成分LL、LH、HL、HHに分かれる。 That is, in FIG. 4, the first band division level 1 (the horizontal and vertical directions) four components LL, LH, HL, divided into HH. ここでLLは水平・垂直成分が共にLであること、LHは水平成分がHで垂直成分がLであることを意味している。 Here LL it is horizontal and vertical components are both L, LH is means that the vertical component H is the horizontal component is L. 次に、LL成分は再度帯域分割されて、LLLL、LLHL、LLLH、LLHHが生成される。 Next, LL component is band-split again, LLLL, LLHL, LLLH, is LLHH is generated. さらに、LLLL成分は再度帯域分割されて、LLLLLL、LLLLHL、LLLLLH、LLLLHHが生成される。 Furthermore, LLLL component is band-split again, LLLLLL, LLLLHL, LLLLLH, is LLLLHH is generated.
【0079】 [0079]
なお、ウェーブレット変換処理においては、プログレッシブ順序でのプログレッション符号化処理が実行可能である。 Incidentally, in the wavelet transform process, progression encoding processing in progressive order is feasible. すなわち空間解像度によるプログレッシブ、あるいはSNR(Signal to Noise Ratio)、すなわち画質によるプログレッシブ、あるいはカラー成分(RGBやYCbCr)によるプログレッシブ等、様々なプロックレッション態様に応じた階層符号化処理が可能である。 That progressive by spatial resolution or SNR, (Signal to Noise Ratio), i.e. progressive due progressive or color components, (RGB or YCbCr) by the image quality, it is possible to hierarchical coding processing in accordance with various Proc Re' Deployment manner.
【0080】 [0080]
プログレッション符号化とは、インターネットの画像配信等において多用される符号化処理であり、データ受信端末側では、例えば粗い画像データを先に出力し、順次、細かい画像を出力して表示するなどの段階的な復号表示処理を可能とするものである。 The progression coding a coding process which is frequently used in the Internet image distribution, etc., steps such as the data receiving terminal, for example outputs the rough image data first, sequentially, and displays the output fine image it is intended to enable specific decoding display process.
【0081】 [0081]
例えば、プログレッション符号化の一例として、粗い画像に対応する低周波画像データの符号化データから精細な画像に対応する高周波画像データの符号化データを生成する。 For example, as an example of the progression encoded to generate encoded data of high-frequency image data corresponding to the fine image from the encoded data of the low-frequency image data corresponding to the rough image. データの復号、表示を実行する端末では、低周波画像データの符号化データの復号、表示処理をまず実行することで、短時間でディスプレイに粗い概略画像を表示することが可能となり、その後、高周波領域の符号化データを復号し、表示することで、徐々に精細な画像を表示することが可能となる。 Decoding data in the terminal to perform a display, decoding of the encoded data of the low frequency image data, by first executing the display processing, it is possible to display a rough outline image on the display in a short time, then the high frequency It decodes the encoded data of the area, by displaying, it is possible to display a gradually-definition image.
【0082】 [0082]
プログレッション符号化としては、異なる解像度の段階的処理構成の他に、SNR(Signal to Noise Ratio)、すなわち画質を複数段に設定した構成として、低SNR(低画質)の符号化データから高SNR(高画質)を区別して符号化する構成、さらにカラー成分(RGBやYCbCr)によるプログレッション、すなわち、カラー成分(RGBやYCbCr)毎の符号化を実行する構成等がある。 The progression coding, in addition to the different resolutions stepwise processing configuration, SNR (Signal-to Noise Ratio), i.e. a structure in which set the image quality in a plurality of stages, a low SNR (low image quality) encoded data from the high SNR of ( structure for encoding by distinguishing quality), progression by further color components (RGB or YCbCr), i.e., there is a configuration such as to perform coding for each color component (RGB or YCbCr).
【0083】 [0083]
ウェーブレット変換によるデータ符号化を実行するエンコーダにおける最終処理は、生成した符号化ビットストリームを所定のプログレッションに対応した符号列に並び替える処理である。 The final process in the encoder for executing the data encoded by wavelet transform is the generated encoded bit stream at rearranges processing code sequence corresponding to a predetermined progression. JPEG2000では、5種類のプログレッションタイプが規定されている。 In JPEG2000, 5 types of progression type is defined. その中で、代表的なものにLRCP(Layer−resolution level−component−position progression)と、RLCP(Resolution level−layer−component−position progression)がある。 Among them, typical in LRCP and (Layer-resolution level-component-position progression), there is a RLCP (Resolution level-layer-component-position progression).
【0084】 [0084]
LRCP符号化データ列は、符号化データ列を順次復号することで、解像度を一定にし、画質を徐々に向上させていくプログレッション復号が可能となる。 LRCP encoded data stream, by sequentially decoding the coded data string, the resolution constant progression decoding becomes possible to gradually improve image quality. 一方、RLCPは、画質を均一に保って解像度を徐々に拡大させるプログレッション復号が可能となる。 Meanwhile, RLCP becomes possible progression decoded to gradually enlarge the resolution while maintaining a uniform image quality.
【0085】 [0085]
本実施例におけるデータ送信装置としてのサーバは、例えば上述のLRCPまたはRLCPに対応する符号列でウェーブレット変換データを保持する。 Server as the data transmission apparatus of this embodiment, for example, holds the wavelet transform data in a code sequence corresponding to the above LRCP or RLCP. サーバがLRCPまたはRLCPのいずれのデータを保持しているかについての情報、およびその他の符号化データに関する符号化処理態様情報について、符号化データの送信以前にサーバクライアント間で実行する制御情報伝送処理、すなわちRTSP(Real−time Streaming Protocol)による情報交換の際に、クライアント側に通知する処理を実行する。 Information about whether the server is maintaining any data LRCP or RLCP, and encoding process aspect information about other coded data, control information transmission processing executed between the server and the client to send the previous coded data, that when the information exchange by RTSP (Real-time Streaming Protocol), executes a process of notifying the client side. これらの処理の詳細については後述する。 Details of the processing will be described later.
【0086】 [0086]
図2に示すエンコーダ102は、上述したウェーブレット変換処理を実行する。 Encoder 102 shown in FIG. 2 performs a wavelet transform process described above. エンコーダ102によって符号化されたデータは、記憶部103に格納される。 Data encoded by the encoder 102 is stored in the storage unit 103. 図5に記憶部103に格納する符号化データ構成を示す。 It shows the encoded data structure to be stored in the storage unit 103 in FIG. 5.
【0087】 [0087]
図5に示す符号化データ構成について説明する。 It explained encoded data structure shown in FIG. 符号化データは、符号データの始まりを示すSOC(Start of Code stream)マーカで始まり、符号化パラメータや量子化のパラメータ、プログレッシブ順序などが記述されたメインヘッダ(MH:Main Header)が続き、その後に符号化データが続く。 Encoded data starts with SOC (Start of Code stream) marker indicating the start of the code data, the parameters of the encoding parameters and quantized, the main header including progressive order is described (MH: Main Header) followed, then encoded data followed. この符号化データが階層構造を持っている。 The encoded data has a hierarchical structure. 符号化データの最後尾に符号データの終了を示すEOC(End of Code stream)マーカが設定される。 The end of the coded data indicating the end of the code data EOC (End of Code stream) marker is set.
【0088】 [0088]
通信パケット生成手段としての通信パケット処理部104は、記憶部103内の符号化データを解析して、データ内容に応じて区切りを決定し、通信パケットの生成処理を実行する。 Communication packet processing section 104 as a communication packet generator analyzes the encoded data in the storage unit 103, determines a delimiter in accordance with data contents, executes the generation processing of the communication packet. 通信パケット処理部104は、記憶部103内に格納された符号化データのメインヘッダを参照して、符号化データのプログレッシブ順序情報やレイヤ数、カラー成分に関する情報を取得する。 Communication packet processing unit 104 refers to the main header of the encoded data stored in the storage unit 103, obtains encoded progressive order information and number of layers of data, information about the color components. このフィールド情報を読み取ることによりどういう階層により構成されているかを解析する。 By reading the field information analyzing whether it is constituted by what hierarchy. 階層レベルの構成方法は、前述したように、解像度によるプログレッシブ、SNR(Signal to Noise Ratio)、すなわち画質によるプログレッシブ、カラー成分(RGBやYCbCr)によるプログレッシブ等がある。 Configuring the hierarchical levels, as described above, progressive by resolution, SNR (Signal to Noise Ratio), that is, progressive due Progressive, color components (RGB or YCbCr) by the image quality.
【0089】 [0089]
通信パケット生成手段としての通信パケット処理部104は、データ送信先としてのクライアント構成に応じて、記憶部103内に格納された符号化データの抽出処理、さらには、符号化データのプログレッシブ順序等の並び替え処理等を行なった後、通信パケットに格納する処理を実行する。 Communication packet processing section 104 as a communication packet generating means, depending on the client configuration as the data transmission destination, the extraction process of the encoded data stored in the storage unit 103, and further, such as progressive order of the encoded data after performing the rearrangement process or the like, it executes a process of storing the communication packets. これらの処理の詳細については後述する。 Details of the processing will be described later. 生成された通信パケットはデータ送受信部(ネットワークI/F)105を介してクライアントに送信される。 Generated communication packet is sent to the client via a data transmitting and receiving unit (network I / F) 105.
【0090】 [0090]
なお、データ受信装置としてのクライアントはPC、携帯端末等によって構成され、図2に示す構成において、エンコーダ102をデコーダに置き換えた構成を持つ。 Incidentally, the client as the data receiving apparatus is configured PC, the portable terminal and the like, in the configuration shown in FIG. 2, has a configuration obtained by replacing the encoder 102 to the decoder. なお、データ送信装置としてのサーバ、およびデータ受信装置としてのクライアントの具体的なハードウェア構成例については、後段で説明する。 The server of the data transmission apparatus, and a specific hardware configuration of the client as the data receiving device will be described later.
【0091】 [0091]
次に、符号化データの送信以前にサーバクライアント間で実行する制御情報伝送処理、すなわちRTSP(Real−time Streaming Protocol)による情報交換処理の詳細について説明する。 Next, the control information transmission processing executed between the server and the client to send the previous coded data, i.e. RTSP details of (Real-time Streaming Protocol) by the information exchange processing will be described.
上述したように、データ送信装置としてのサーバは、データ受信装置としてのクライアント側の構成(処理能力)に応じた最適な符号化データ、あるいはクライアントの希望する最適な符号化データの態様についての情報を取得し、取得情報に基づいて、クライアントに応じた最適態様の符号化データを送信する。 As described above, the server as the data transmission device, optimum coding data corresponding to the client-side configuration of the data receiving apparatus (processing capability) or information about the best mode of the encoded data of the desired client, acquires, on the basis of the acquired information, and transmits the optimal mode of the encoded data corresponding to the client.
【0092】 [0092]
このための情報取得処理が、符号化データの送信以前にサーバクライアント間で実行する制御情報伝送処理、すなわちRTSP(Real−time Streaming Protocol)による情報交換処理である。 Information acquisition process for this is, the control information transmission processing executed between the server and the client to send the previous coded data, that is, information exchange processing by RTSP (Real-time Streaming Protocol). この情報交換処理は、サーバからクライアントに対するサーバの保持する符号化データ態様情報(サーバ保持データ態様識別情報)の提供処理と、クライアントからサーバに対する希望する符号化データ態様情報(要求データ態様識別情報)の送信処理とを含む処理によって構成される。 This information exchange process, the encoded data scheme information held by the server of the server to the client encoded data scheme information desired and providing processing (server holding data scheme identification information) from the client to the server (request data scheme identification information) configured transmission processing and the processing including.
【0093】 [0093]
なお、サーバはウェーブレット変換に基づくJPEG2000に従った階層符号化データを記憶部103(図2参照)に格納し、その格納符号化データは、図6に示す構成であるものとする。 The server stores the hierarchically encoded data in accordance with the JPEG2000 based on wavelet transform in the storage unit 103 (see FIG. 2), the stored encoded data is assumed to be a structure shown in FIG. 符号化パラメータや量子化のパラメータ、プログレッシブ順序などが記述されたメインヘッダ(MH:Main Header)に続いて符号化データが所定の符号化列に従って並んだ構成を持つ。 Coding parameters and parameters of the quantization, the main header, such as progressive order is described (MH: Main Header) followed by coded data has a configuration aligned in accordance with a predetermined coding sequence.
【0094】 [0094]
図6に示すウェーブレット変換符号化データは、1フレームあたりのJP2パケット構成を示す。 Wavelet transform coded data shown in FIG. 6 shows a JP2 packet structure per frame. 前述したRLCP(Resolution level−layer−component−position progression)符号化列であり、符号化データ列を順次復号することで、画質を均一に保って解像度を徐々に拡大させるプログレッション復号を可能とした符号化データ列である。 An aforementioned RLCP (Resolution level-layer-component-position progression) coding sequence, by sequentially decoding the coded data string, and allow progression decoded to gradually enlarge the resolution while maintaining a uniform quality code it is a data stream. 図6に示すRLCP符号化データは、ウェーブレット変換を5回実行し、各係数を4レイヤにビットプレーン化し、3つのコンポーネント(YUV)で圧縮し、JPEG2000データフォーマットに従ったJP2パケットがRL順に並ぶ符号化列設定である。 RLCP encoded data shown in FIG. 6, the wavelet transform executed 5 times, and bit-plane into 4 layers each coefficient, compressed in three components (YUV), JP2 packet in accordance with the JPEG2000 data format are arranged in RL sequence is a coding column settings.
【0095】 [0095]
図6に示すようにウェーブレット変換を5回実行し、各係数を4レイヤにビットプレーン化したRLCP符号化データは、R=5、L=4の設定であり、RL54と示す。 The wavelet transform executed five times as shown in FIG. 6, RLCP encoded data bit planes of the coefficients in the 4 layer is a set of R = 5, L = 4, shown as RL54. R(Resolution)はウェーブレット変換回数に相当し、Lはレイヤ数に相当する。 R (Resolution) corresponds to the wavelet transform number, L is equivalent to the number of layers. 図6に示す構成では、サーバは、1コンポーネント毎に1フレームあたり24の符号化データ格納JP2パケット((R0,L0)〜(R5,L3))を保有することになる。 In the configuration shown in FIG. 6, the server will carry 24 of the encoded data stored JP2 packet per frame for each component ((R0, L0) ~ (R5, L3)).
【0096】 [0096]
なお、JP2パケットは、ネットワークを介して送信する通信パケットとは異なる。 Incidentally, JP2 packet is different from the communication packet to be transmitted over the network. 本明細書ではサーバの記憶部103(図2参照)に格納するJPEG2000符号化データの単位データをJP2パケットと表現し、ネットワークを介して送信するパケットを通信パケットと表現する。 In this specification the unit data of JPEG2000 encoded data to be stored in the server storage unit 103 (see FIG. 2) is expressed as JP2 packet, representing a communication packet a packet to be transmitted over the network.
【0097】 [0097]
なおウェーブレット変換を5回実行し、各係数を4レイヤにビットプレーン化するとは、5つの異なる解像度(R:Resolution)情報ブロックR0〜R5を持ち、各解像度情報ブロック毎に4レイヤ(L:Layer)の符号化データブロックを持つことを意味する。 Note wavelet transform executed five times, the bit-plane into 4 layers each coefficient, five different resolutions (R: Resolution) holds information blocks R0 to R5, the resolution information for each block 4 layers (L: Layer ) means having a coded data block. 解像度R5は720×480画素の解像度、R4は360×240画素の解像度に相当し、R0は最低解像度画像情報に相当する。 Resolution R5 is 720 × 480 pixels resolution, R4 is equivalent to 360 × 240 pixels resolution, R0 corresponds to the lowest resolution image information. レイヤは、同一の解像度データにおける粗い画像データ(低周波画像データ)〜精細な画像データ(高周波画像データ)に対応する。 Layer, corresponds to the coarse image data at the same resolution data (low-frequency image data) ~ definition image data (high-frequency image data). ここでは、各解像度毎に4つのレイヤが設定されている。 Here, four layers are set for each resolution. また、3つのコンポーネント(YUV)それぞれに図6に示すRLCP符号化列が存在する。 Further, there is RLCP coding sequence shown in Figure 6 for each of the three components (YUV).
【0098】 [0098]
例えばクライアントが、サーバから図6に示す符号化データ列を受信した場合、(R0,L0)のJP2パケットを復号することで、最低解像度において粗い画像データ(低周波画像データ)が表示され、順次、(R0,L1)〜(R5,L3)の復号、表示処理を実行することで、高解像度の精細な画像データ(高周波画像データ)が表示されることになる。 For example a client, when receiving the encoded data string shown from the server in FIG. 6, is displayed (R0, L0) by decoding the JP2 packet, coarse image data (low-frequency image data) at the lowest resolution, progressive , (R0, L1) decoding of ~ (R5, L3), by executing the display process, so that the fine image data of high resolution (high-frequency image data) is displayed.
【0099】 [0099]
しかし、クライアントの有するディスプレイが720×480画素の解像度を持つものでなければ、R5に含まれるJP2パケットの復号処理は無駄となってしまう。 However, if those display having the client has 720 × 480 pixels resolution, decoding of JP2 packet included in R5 is wasted. また、1画素あたりの表示可能なビット情報が低いディスプレイを持つクライアントが高いレイヤの高周波画像データを取得して復号処理を行なってもディスプレイに復号データに基づく高精細画像を表示することは不可能であり、処理の意味が無い。 Further, it is impossible to displayable bit information per pixel is to display a high definition image based on the decoded data to the display be performed decoding processing client acquires the high-frequency image data of the higher layer with a low display in it, there is no meaning of the process. また、クライアント側のデコード処理構成によっても処理可能な符号化データは異なることになる。 Further, processable encoded data by the decoding processing configuration on the client side will be different. 従って、クライアント構成に適した最適な符号化データ列を抽出して送信するために、RTSP(Real−time Streaming Protocol)によるサーバとクライアント間の情報交換処理を実行する。 Therefore, in order to transmit to extract optimum coded data string which is suitable to the client configuration, and executes the information exchange process between the server and the client by the RTSP (Real-time Streaming Protocol).
【0100】 [0100]
図7にサーバクライアント間で実行するRTSP(Real−time Streaming Protocol)に従った制御情報交換処理、および情報交換後の符号化データの送信に至るまでの処理シーケンス図を示す。 Control information exchange processing in accordance with the RTSP (Real-time Streaming Protocol) to run between the server and the client in Figure 7, and after the information exchange shows a processing sequence diagram up to the transmission of the encoded data. 以下、図7に示す処理シーケンスに従って、処理の詳細について説明する。 Hereinafter, according to the processing sequence shown in FIG. 7, it will be described in detail processing.
【0101】 [0101]
ステップS11において、クライアントはRTSPに規定されたメソッド[DESCRIBE]をサーバに送信する。 In step S11, the client sends a method as defined in RTSP [DESCRIBE] to the server. デスクライブ[DESCRIBE]は、コンテンツの仕様要求を実行するためのメソッドであり、例えばコンテンツ識別子を送信してコンテンツの仕様要求を行なうものである。 Desk Live [DESCRIBE] is a method for performing a specification request for content, for example by sending a content identifier and performs specification requirements of the content.
【0102】 [0102]
サーバは、メソッド[DESCRIBE]をクライアントから受信すると、ステップS12において、コンテンツの仕様情報、すなわちサーバ保持データ態様識別情報をSDP(Session Description Protocol)に従ってクライアントに伝える処理を実行する。 Server receives the Method [DESCRIBE] from the client, in step S12, the specification information of the content, i.e., executes a process of transmitting to the client a server holds data scheme identification information in accordance with SDP (Session Description Protocol). SDPの記述にサーバ保持データ態様識別情報が含まれる。 It includes server holds data scheme identification information in the SDP description. サーバからクライアントに通知するSDPに従ったデータフォーマットを図8に示す。 The data format in accordance with the SDP to notify the server to the client shown in FIG.
【0103】 [0103]
[v=0]はバージョン情報=0であることを示す。 [V = 0] indicates that the version information = 0. [o=− 2890xxx42xx 28xxx42xx7 IN IP4 4x. [O = - 2890xxx42xx 28xxx42xx7 IN IP4 4x. x7.1xx. x7.1xx. 7x]は、セッションID、IPバージョン4、IPアドレス情報である。 7x] is session ID, the a IP version 4, IP address information. [s=RTSP session]はRTSPに従ったプロトコルであることを示す。 [S = RTSP session] indicates a protocol in accordance with RTSP. [u=rtsp://vodserver/contents/videoA. [U = rtsp: // vodserver / contents / videoA. sdp]は、サーバ内におけるコンテンツ対応のSDPファイルの格納ロケーションを示す情報である。 sdp] is information indicating the storage location of the content corresponding SDP file in the server. [t=0 1234]は、NTP(Network Time Protocol)による開始時刻=0、および終了時刻1234を示している。 [T = 0 1234] shows a NTP (Network Time Protocol) by the start time = 0, and the end time 1234. [m=video 0 RTP/AVP 78]は、メディア情報であり、ビデオ情報をRTP(Real−time Transport Protocol)に従って伝送可能であることを示す。 [M = video 0 RTP / AVP 78] is media information, indicating that it is capable of transmitting video information in accordance with RTP (Real-time Transport Protocol). [a=control:rtsp://vodserver/contents/videoA. [A = control: rtsp: // vodserver / contents / videoA. mj2]は、サーバ内におけるJPEG200符号化データコンテンツ(VideoA)の格納ロケーションを示す情報である。 mj2] is information indicating the storage location of JPEG200 encoded data contents in the server (Video A). mj2はJPEG2000符号化データであることを示している。 mj2 indicates that the JPEG2000 coded data.
【0104】 [0104]
本発明の構成においては、SDPを拡張して、上述の各情報に、さらに、[a=order:RL54 720×480]を新たなコンテンツ属性(Attribute)として定義した。 In the configuration of the present invention extends the SDP, the respective information described above, further: was defined as [a = order RL54 720 × 480] the new content attribute (Attribute). これが、サーバ保持データ態様識別情報である。 This is the server holding data scheme identification information. [a=order:RL54 720×480]は、サーバが保持しているコンテンツの符号化データの態様を示す情報である。 [A = order: RL54 720 × 480] is information indicating the mode of the encoded data of the content server holds. すなわち、サーバは、クライアントの要求コンテンツを図6に示すRLCP符号化列データとして保持していることを示す情報である。 That is, the server is information indicating that it retains the requested content for the client as RLCP encoded sequence data shown in FIG.
【0105】 [0105]
order:RL54は、ウェーブレット変換を5回実行し、各係数を4レイヤにビットプレーン化したデータをRLCP符号化データ列とした構成、すなわち(R0,L0),(R0,L1)、〜(R5,L4)のデータ列として符号化データを有することを示している。 order: RL54 is a wavelet transform executed 5 times, configuration data obtained by bit-plane into 4 layers each coefficient was RLCP encoded data stream, i.e. (R0, L0), (R0, L1), ~ (R5 shows that with encoded data as data string L4). 720×480は解像度情報を示している。 720 × 480 indicates the resolution information.
【0106】 [0106]
図7に戻り、サーバクライアント間の処理シーケンスの説明を続ける。 Returning to Figure 7, it continued description of the processing sequence between the server and the client. ステップS12において、クライアントはサーバからのコンテンツ仕様情報、すなわちサーバ保持データ態様識別情報をSDPによって取得する。 In step S12, the client obtains the content specification information from the server, i.e. the server holding data scheme identification information SDP. SDPには、上述したように符号化データ情報として解像度と画質情報、具体的には符号化データ列情報(RL54)および解像度情報(720×480)を取得することができる。 The SDP, resolution and image quality information as encoded data information as described above, specifically can acquire the coded data string information (RL54) and resolution information (720 × 480).
【0107】 [0107]
クライアントは、受信SDPに含まれるサーバの有する符号化データ情報に基づいて、クライアントが欲しい符号化画像データに応じた要求データ態様識別情報を設定する。 Client, based on the encoded data information included in the server included in the received SDP, sets the required data scheme identification information that the client has responded to Wish encoded image data. すなちわ、本実施例では、クライアントが受信したい1フレーム当たりのJP2パケット数を算出し、ステップS13において、算出値としての[JP2パケット数/1フレーム]を要求データ態様識別情報として格納した再生要求メソッド[PLAY]をサーバに送信する。 I sand, in the present embodiment, calculates the number of JP2 packets per frame to be received by the client, in step S13, and stores the [JP2 packet number / frame] as calculated value as the required data scheme identification information to send reproduction request method [PLAY] to the server.
【0108】 [0108]
クライアントにおけるSDP受信からPLAYメソッド送信に至るまでの処理について、図9に示すフローを参照して説明する。 The processing from SDP received in the client up to the PLAY method transmission will be described with reference to the flowchart shown in FIG. クライアントは、ステップS101において、サーバからSDPを受信するとステップS102において、解像度情報(ここではAとする)と、RL情報の各値をSDPから取得する。 The client, in step S101, in step S102 receives the SDP from the server, and resolution information (here, in A), but to obtain the values ​​of RL information from SDP.
【0109】 [0109]
次に、ステップS103においてクライアントの有するディスプレイ等の情報に基づいて決定される要求解像度B(X×Y)を取得し、ステップS104において、SDPから取得したサーバの保有する符号化データの解像度Aとクライアント要求解像度Bを比較する。 Next, retrieve the requested is determined based on information such as the display resolution B (X × Y) possessed by the client in step S103, in step S104, the resolution A of the coded data held by the server acquired from the SDP Compare the client requests resolution B.
【0110】 [0110]
A≦Bであれば、クライアントのディスプレイに解像度A(例えば720×480)の画像を表示可能であり、サーバの保有する符号化データを復号してクライアントにおいて表示可能であるので、ステップS106に進む。 If A ≦ B, is capable of displaying images of resolution to the client display A (e.g. 720 × 480), so can be displayed at the client decodes the encoded data held by the server, the process proceeds to step S106 . 一方、A>Bであれば、クライアントのディスプレイに解像度A(例えば720×480)の画像は表示できないので、ステップS105において、解像度AをA/2とする更新処理を実行する。 On the other hand, if A> B, since the image resolution A (e.g. 720 × 480) to the client's display can not be displayed, in step S105, it executes the update process for the resolution A and A / 2. 解像度AをA/2とする更新処理はR=R−1とする更新処理に相当する。 Resolution A update processing to A / 2 is equivalent to the update processing for the R = R-1. この更新処理をステップS104の判定条件A>BがNoと判定されるまで実行する。 The update process determination condition A> B in step S104 is executed until it is determined that the No.
【0111】 [0111]
A>Bの判定がNoとなると、ステップS106において、クライアントが受信したい1フレーム当たりのJP2パケット数を算出する。 When the determination of A> B becomes No, in step S106, it calculates the number of JP2 packets per frame to be received by the client. [JP2パケット数/1フレーム]を[X−Priority]と呼ぶことにする。 [JP2 Packets / 1 Frame will be referred to as [X-Priority]. [X−Priority]の算出式は以下の式(式1)に示す通りである。 Calculation formula [X-Priority] are shown in the following equation (Equation 1).
X−Priority=(ウェーブレット数+1)×レイヤ数・・(式1) X-Priority = (wavelets number +1) × number of layers .. (Formula 1)
【0112】 [0112]
つまり、ウェーブレット数3、レイヤ4とすると、X−Priorityの値は16となる。 That is, the wavelet number 3, when the layer 4, the value of X-Priority is 16. このX−Priorityの値は、クライアントの要求する解像度に応じた1フレームあたりのJP2パケット数に相当する値である。 The value of the X-Priority is a value corresponding to the number of JP2 packets per frame corresponding to the resolution requested by the client.
【0113】 [0113]
クライアントは、ステップS107において、算出したX−Priorityの値を、RTSPのプレイ[PLAY]メソッドに追加ヘッダとして格納してサーバに送信する。 The client, in step S107, transmits the calculated value of the X-Priority, the server stores an additional header to the RTSP play [PLAY] method. クライアントからサーバに対して送信するRTSPのプレイ[PLAY]メソッドのデータ構成を図10(a)に示す。 The data structure of the RTSP play [PLAY] method for transmitting from the client to the server shown in Figure 10 (a).
【0114】 [0114]
[PLAY rtsp://server/contents/videoA. [PLAY rtsp: // server / contents / videoA. mj2 RTSP/1.0]は、要求コンテンツであるビデオ情報(VideoA)の再生要求、すなわちプレイメソッドであることを示す情報である。 mj2 RTSP / 1.0], the request for reproducing video information is a request content (Video A), that is, information indicating the play method. [Cseq: 4]は、通信シーケンス番号である。 [Cseq: 4] is a communication sequence number. [Session: 12345678]は、セッション番号を示す。 [Session: 12345678] shows the session number. [X−Priority: 16]は、本発明構成において、新たに定義したヘッダであり、上記式(式1)によって算出するクライアントの要求する[JP2パケット数/1フレーム]を示す値でありこれが16であることを示している。 [X-Priority: 16], in the present invention structure, a new header is defined, a value indicating a [JP2 packet number / frame] requesting client that calculated by the equation (Equation 1) which is 16 it is shown that it is.
【0115】 [0115]
図10(b)は、クライアントからRTSPのプレイ[PLAY]メソッドを受信したサーバがクライアントに対して送信する受信確認[ACK]データである。 Figure 10 (b) is a reception acknowledgment [ACK] data server receiving the RTSP play [PLAY] method from the client sends to the client. [RTSP/1.0 200 OK]は受信確認であることを示す。 [RTSP / 1.0 200 OK] indicates that it is an acknowledgment. [Cseq: 4]は、通信シーケンス番号である。 [Cseq: 4] is a communication sequence number. [Session: 12345678]は、セッション番号を示す。 [Session: 12345678] shows the session number.
【0116】 [0116]
図7に示すシーケンス図では、ステップS14のACK送信において、図10(b)に示すACKデータがクライアントに送信され、続いて、ステップS15において、符号化データのストリーム配信がクライアントに対して実行される。 In the sequence diagram shown in FIG. 7, the ACK transmission step S14, ACK data shown in FIG. 10 (b) is sent to the client, Subsequently, in step S15, stream of encoded data is performed on the client that.
【0117】 [0117]
サーバは、クライアントから受信したPLAYメソッドに格納された[X−Priority]、すなわち、クライアントの要求する[JP2パケット数/1フレーム]に従って、サーバの保有する符号化データからJP2パケットを抽出して通信パケット(RTP)に格納してクライアントに送信する。 Server, stored in the PLAY method received from the client [X-Priority], i.e., in accordance with requests of a client [JP2 Packets / 1 frame, it extracts the JP2 packet from the encoded data held by the server communication stored in the packet (RTP) to the client.
【0118】 [0118]
サーバがクライアントからPLAYメソッドを受信し、PLAYメソッドに格納されたクライアントの要求する[JP2パケット数/1フレーム]すなわち、[X−Priority]の値を取得し、取得値に従って、サーバの保有する符号化データからJP2パケットを抽出して通信パケット(RTP)に格納してクライアントに送信するまでの処理の詳細を図11を参照して説明する。 Receives the PLAY method server from the client, the client's desired stored in PLAY method [JP2 packet number / frame] That is, to get the value of [X-Priority], according to the acquired value, held by the server code Referring to FIG. 11 will be described up to the details of the process to the client and stored in the communication packet (RTP) to extract JP2 packet from data.
【0119】 [0119]
まず、ステップS201においてサーバがクライアントからのコンテンツ再生要求メソッドであるPLAYメソッドを受信すると、ステップS202において受信したPLAYメソッド中から[X−Priority]の値、すなわちクライアントの要求する[JP2パケット数/1フレーム]の値を取得する。 First, when the server receives the PLAY method which is a content playing request method from the client in step S201, the value of [X-Priority] from among PLAY method received in step S202, that is, the client requests [JP2 number of packets / 1 to get the value of the frame].
【0120】 [0120]
次にステップS203において、サーバは記憶部から指定コンテンツに対応する符号化データを先頭データから順次取り出す。 In step S203, the server sequentially retrieve the encoded data corresponding to the specified content from the storage unit from the first data. 記憶部に格納された符号化データは、図6を参照して説明したRLCP符号化データ列でありR=5,L=4のRL54符号化データである。 Stored in the storage unit the coded data is a and R = 5, L = 4 of RL54 coded data a RLCP encoded data string which has been described with reference to FIG.
【0121】 [0121]
サーバは、記憶部から取得する符号化データを格納したJP2パケット数をカウントし、ステップS204において、クライアントから受信したPLAYメソッドから取得した[X−Priority]の値と比較する。 Server counts the number of JP2 packet storing the encoded data obtained from the storage unit, in step S204, it is compared to the value of obtained from PLAY method received from the client [X-Priority]. 記憶部から抽出した符号化データ格納JP2パケット数が[X−Priority]の値と等しくなると、ステップS205に進み、抽出JP2パケットをペイロードとした通信パケット、すなわちRTPパケットを生成し、ステップS206において生成した通信パケットをクライアントに対して送信する。 When the coded data stored JP2 number of packets extracted from the storage unit becomes equal to the value of [X-Priority], the process proceeds to step S205, the extraction JP2 packet communication packet payload, i.e. to generate an RTP packet, generated in step S206 It transmits the communication packet to the client.
【0122】 [0122]
例えば、クライアントから受信したPLAYメソッドから取得した[X−Priority]の値が16、すなわち、クライアントの要求する[JP2パケット数/1フレーム]が16である場合には、サーバは、1フレームあたり16のJP2パケットを抽出してクライアントに送信する。 For example, if the value of obtained from PLAY method received from the client [X-Priority] is 16, i.e., to request the client [JP2 Packets / 1 frame] is 16, the server per frame 16 to send to the client to extract the JP2 packet.
【0123】 [0123]
なお、上述した説明においては、記憶部から取得する符号化データを格納したJP2パケット数をカウントし、クライアントから受信したPLAYメソッドから取得した[X−Priority]の値と取得JP2パケット数を比較する処理を実行しているが、予めサーバの保有する符号化データJP2パケットに先頭からシーケンシャルな番号を設定し、設定番号と[X−Priority]の値との比較を行なって、設定番号≦X−Priority値となるJP2パケットのみを送信対象として選択する処理とすることも可能である。 In the above description, counts the number of JP2 packets containing encoded data obtained from the storage unit, compares the value with the acquisition JP2 number of packets obtained from PLAY method received [X-Priority] from the client While executing the processing in advance to set the sequential number from the head to the encoded data JP2 packets held by the server, it performs a comparison between the value of the setting number and [X-Priority], setting number ≦ X- it is also possible to process of selecting the Priority value JP2 packets only as the transmission object.
【0124】 [0124]
サーバが記憶部から抽出し、通信パケットに格納するJP2パケットの構成は、図12に示すものとなる。 Server extracts from the storage unit, the configuration of JP2 packet storing the communication packet is as shown in FIG. 12. 図12に示す例は、クライアントから受信したPLAYメソッドから取得した[X−Priority]の値が16、すなわち、クライアントの要求する[JP2パケット数/1フレーム]が16である場合の例である。 Example shown in FIG. 12, the value of obtained from PLAY method received from the client [X-Priority] is 16, i.e., an example where the client's desired [JP2 Packets / 1 frame] is 16.
【0125】 [0125]
R0のブロックには、(R0,L0)〜(R0,L3)の4つのJP2パケットが含まれ、(R0,L0)〜(R3,L3)の計16のJP2パケットがサーバの記憶部から抽出されてクライアントに対する通信パケットのペイロードとして格納されて送信される。 The blocks R0, extracted four contains JP2 packet, (R0, L0) ~ (R3, L3) of the total 16 JP2 packet server storage unit of (R0, L0) ~ (R0, L3) It is transmitted that are stored as has been the payload of the communication packet to the client. サーバは図6を参照して説明したようにRL54の符号化データ、すなわち1フレームあたり24のJP2パケットからなる符号化データを保有するが、サーバの保有する(R4,L0)〜(R5,L3)のJP2パケットは、送信されないことになる。 The server encoded data of RL54, as described with reference to FIG. 6, that is, carrying the coded data consisting of JP2 packets 24 per frame, held by the server (R4, L0) ~ (R5, L3 JP2 packets) will not be sent.
【0126】 [0126]
この図12に示す符号化データを受信したクライアントは、(R0,L0)〜(R3,L3)のJP2パケットを順次復号し、再生することにより、解像度、画質を順次向上させるプログレッシブ再生処理が実行され、クライアントの要求した解像度に応じた画像の再生が可能となる。 The client having received the encoded data shown in FIG. 12, (R0, L0) sequentially decodes the JP2 packet ~ (R3, L3), by reproducing, resolution, progressive reproduction processing executed to sequentially improve the image quality is, it is possible to reproduce the image corresponding to the requested resolution of the client.
【0127】 [0127]
[実施例2] [Example 2]
上述した実施例1においては、クライアントからサーバに対して送信するプレイ[PLAY]メソッド中に設定した要求符号化データ態様を示す要求データ態様識別情報として、前述の式(式1)で定義される[X−Priority]、すなわちクライアントの要求する[JP2パケット数/1フレーム]の算出値を設定する構成とした。 In the first embodiment described above, as the request data scheme identification information indicating the requested encoded data scheme set during play [PLAY] method for transmitting from the client to the server, it is defined by the aforementioned formula (Formula 1) [X-Priority], i.e. a configuration that sets the calculated value of the client requests [JP2 number of packets / frame]. 次に実施例2として、クライアントからサーバに対して送信するプレイ[PLAY]メソッド中にクライアント側において要求する符号化データのRL値、すなわち解像度(R:Resolution)、画質に相当するレイヤ(L:Layer)の値を格納し、サーバ側がクライアントから受信するプレイ[PLAY]メソッド中のRL値に基づいて、送信するJP2パケットを選択抽出する処理例について説明する。 Then as in Example 2, RL value of the encoded data to request the client side during play [PLAY] method for transmitting from the client to the server, i.e. the resolution (R: Resolution), which corresponds to a quality layer (L: store the value of Layer), based on the RL values ​​playing [PLAY] methods server receives from a client, it will be described a processing example of selecting extracting the JP2 packet to be transmitted.
【0128】 [0128]
図13に実施例2に対応するサーバクライアント間で実行するRTSP(Real−time Streaming Protocol)に従った制御情報交換処理、および情報交換後の符号化データの送信に至るまでの処理シーケンス図を示す。 It shows a processing sequence diagram up to the transmission of the encoded data of the RTSP (Real-time Streaming Protocol) control information exchange processing according to, and after the information exchange to be executed between the server and the client corresponding to Example 2 in FIG. 13 . 以下、図13に示す処理シーケンスに従って、処理の詳細について説明する。 Hereinafter, according to the processing sequence shown in FIG. 13 will be described in detail processing.
【0129】 [0129]
なお、サーバ側は、ウェーブレット変換に基づくJPEG2000に従った階層符号化データを記憶部103(図2参照)に格納し、その格納符号化データは、実施例1と同様、図6に示す構成であるものとする。 Incidentally, the server side stores the hierarchically encoded data in accordance with the JPEG2000 based on wavelet transform in the storage unit 103 (see FIG. 2), the stored encoded data, as in Example 1, the configuration shown in FIG. 6 and a certain thing. すなわち、RLCP(Resolution level−layer−component−position progression)符号化列であり、ウェーブレット変換を5回実行し、各係数を4レイヤにビットプレーン化したRL54であるものとする。 That is RLCP (Resolution level-layer-component-position progression) coding sequence, the wavelet transform executed five times, it is assumed that RL54 that bitplane of the coefficients in the 4 layers.
【0130】 [0130]
図13の処理シーケンスのステップS21において、クライアントはRTSPに規定されたメソッド[DESCRIBE]をサーバに送信する。 In step S21 of the processing sequence of FIG. 13, the client sends a method as defined in RTSP [DESCRIBE] to the server. デスクライブ[DESCRIBE]は、コンテンツの仕様要求を実行するためのメソッドであり、例えばコンテンツ識別子を送信してコンテンツの仕様要求を行なうものである。 Desk Live [DESCRIBE] is a method for performing a specification request for content, for example by sending a content identifier and performs specification requirements of the content.
【0131】 [0131]
サーバは、メソッド[DESCRIBE]をクライアントから受信すると、ステップS22において、コンテンツの仕様情報、すなわちサーバ保持データ態様識別情報をSDP(Session Description Protocol)に従ってクライアントに伝える処理を実行する。 Server receives the Method [DESCRIBE] from the client, in step S22, the specification information of the content, i.e., executes a process of transmitting to the client a server holds data scheme identification information in accordance with SDP (Session Description Protocol). サーバからクライアントに通知するSDPに従ったデータフォーマットは、先の実施例1と同様のデータ、すなわち図8に示すデータ構成である。 Data format in accordance with the SDP to notify from the server to the client, the same data as the previous embodiment 1, namely the data structure shown in FIG. すなわち、[a=order:RL54 720×480]を新たなコンテンツ属性(Attribute)として定義したデータであり、符号化データ列:RL54、解像度:720×480の符号かデータを保有することを示す情報がクライアントに提示される。 That, [a = order: RL54 720 × 480] is data that defines a new content attribute (Attribute), the encoded data string: RL54, resolution: information indicating that possess code or data of 720 × 480 There are presented to the client.
【0132】 [0132]
ステップS22において、クライアントはサーバからサーバ保持データ態様識別情報をSDPによって取得すると、クライアントは、次に、クライアントが受信したい符号化データ情報としてのRL情報を要求データ態様識別情報として決定し、ステップS23において、クライアントが受信したい符号化データのRL値を格納した再生要求メソッド[PLAY]をサーバに送信する。 In step S22, the client obtains the SDP server holding data scheme identification information from the server, the client then determines the RL information as encoded data information to be received by the client as the request data scheme identification information, the step S23 in, it transmits a reproduction request method [PLAY] storing the RL values ​​of the encoded data to be received by the client to the server.
【0133】 [0133]
クライアントからサーバに対して送信するRTSPのプレイ[PLAY]メソッドのデータ構成を図14(a)に示す。 The data structure of the RTSP play [PLAY] method for transmitting from the client to the server shown in FIG. 14 (a). 図14(a)の最下段の行に記載された[RL:33]が、本実施例において、新たに定義したヘッダであり、クライアントが受信したい符号化データのRL値がRL33であることを示している。 Figure 14 (a) of the described bottom row [RL: 33] is, in this embodiment, a new header is defined, the RL value of the encoded data to be received by the client is RL33 shows. 図14(b)は、クライアントからRTSPのプレイ[PLAY]メソッドを受信したサーバがクライアントに対して送信する受信確認[ACK]データである。 Figure 14 (b) is a reception acknowledgment [ACK] data server receiving the RTSP play [PLAY] method from the client sends to the client.
【0134】 [0134]
図13に示すシーケンス図では、ステップS24のACK送信において、図14(b)に示すACKデータがクライアントに送信され、続いて、ステップS25において、符号化データのストリーム配信がクライアントに対して実行される。 In the sequence diagram shown in FIG. 13, in the ACK transmission step S24, ACK data shown in FIG. 14 (b) is sent to the client, followed by the step S25, stream of encoded data is performed on the client that.
【0135】 [0135]
サーバは、クライアントから受信したPLAYメソッドに格納されたRL値、すなわち、クライアントの要求する符号化データのRL値に従って、サーバの保有する符号化データからJP2パケットを抽出して通信パケット(RTP)に格納してクライアントに送信する。 Server, stored in the PLAY method received from the client RL value, i.e., in accordance with RL values ​​of the encoded data requested by the client, extract the JP2 packet from the encoded data held by the server to the communication packet (RTP) to send to the client and stored.
【0136】 [0136]
サーバがクライアントからPLAYメソッドを受信し、PLAYメソッドに格納されたクライアントの要求する符号化データのRL値を取得し、取得値に従って、サーバの保有する符号化データからJP2パケットを抽出して通信パケット(RTP)に格納してクライアントに送信するまでの処理の詳細を図15を参照して説明する。 Server receives the PLAY method from the client, obtains the RL values ​​of the encoded data requested by the client stored in the PLAY method, according to the acquired value, the communication packet to extract the JP2 packet from the encoded data held by the server It will be described with reference to FIG. 15 the details of the process before sending to the client and stored in the (RTP).
【0137】 [0137]
まず、ステップS301においてサーバがクライアントからのコンテンツ再生要求メソッドであるPLAYメソッドを受信すると、ステップS302において受信したPLAYメソッド中からクライアントの要求する符号化データのRL値を取得する。 First, when the server receives the PLAY method which is a content playing request method from the client at step S301, acquires the RL values ​​of the encoded data to the client request from the in PLAY method received in step S302.
【0138】 [0138]
次にステップS303において、サーバは符号化データを記憶部から取得する事前処理として、k=0,i=1とするパラメータの初期設定を行なう。 In step S303, the server as a pre-process for obtaining encoded data from the storage unit, performs initial setting of the parameters that k = 0, i = 1. kは、記憶部から取得するRL符号化データの何番目のRブロックかを示すパラメータであり、R0であればk=0、R1であればk=1となる。 k is the ordinal number of the parameter indicating whether R blocks RL encoded data obtained from the storage unit, and k = 1 if long if k = 0, and R1 R0. iは、各Rブロックの何番目のJP2パケットかを示すパラメータであり、L0であればi=1、L1であればi=2となる。 i is a parameter indicating what number of JP2 packets for each R block, and i = 2 if i = 1, L1 if L0.
【0139】 [0139]
ステップS303のパラメータ初期設定が完了すると、ステップS304に進み、サーバは記憶部から指定コンテンツに対応する符号化データを、設定したパラメータk,iに従って順次取り出す。 If the parameter initialization in step S303 is completed, the process proceeds to step S304, the server the encoded data corresponding to the specified content from the storage unit, the parameter k is set, sequentially taken out in accordance with i. 記憶部に格納された符号化データは、図6を参照して説明したRLCP符号化データ列でありR=5,L=4のRL54符号化データである。 Stored in the storage unit the coded data is a and R = 5, L = 4 of RL54 coded data a RLCP encoded data string which has been described with reference to FIG. 初期設定は、k=0,i=1であるから、図6に示す符号化データ列のR0ブロックからL0のJP2パケットが取り出される。 Default, since it is k = 0, i = 1, JP2 packet L0 from R0 block of the encoded data string shown in FIG. 6 is taken out.
【0140】 [0140]
ステップS305では、[i≧PLAYメソッドからの取得値L]の判定を実行する。 In step S305, it executes the determination of the acquisition value from i ≧ PLAY method L]. ここでは、クライアントからサーバに対して送信するRTSPのプレイ[PLAY]メソッドに図14(a)の最下段の行に記載された[RL:33]が設定されているものとする。 Here, described in the lowermost row shown in FIG. 14 (a) to RTSP Play [PLAY] method for transmitting from the client to the server: shall [RL 33] is set. すなわちR=3,L=3であるとする。 I.e. to be R = 3, L = 3.
【0141】 [0141]
初期設定値i=1は、i≧3とならないので、ステップS311に進み、i=i+1のパラメータ更新が実行され、ステップS304に進み次のJP2パケットが取得される。 Initial set value i = 1, since not a i ≧ 3, the process proceeds to step S311, parameter update of i = i + 1 is executed, the following JP2 packet proceeds to step S304 is acquired. すなわち、図6に示すR0ブロックのL1のJP2パケットが取得される。 That, JP2 packets L1 of R0 block shown in FIG. 6 is obtained. 同一のRブロック中のJP2パケットがi≧3となるまで取得され、i≧3となると、次にステップS306において、[k≧PLAYメソッドからの取得値R]の判定を実行する。 Same JP2 packet in R block is acquired until i ≧ 3, when the i ≧ 3, then in step S306, executes the determination of the acquisition value from k ≧ PLAY method R]. PLAYメソッドの設定[RL:33]によりL=3であるので、初期設定k=0においては、ステップS306の判定がNoとなり、ステップS312に進み、k=k+1,i=1とするパラメータ更新が実行される。 PLAY setting methods: since it is [RL 33] by L = 3, in the initial setting k = 0, the determination is No and in step S306, the process proceeds to step S312, the parameter update to k = k + 1, i = 1 It is executed.
【0142】 [0142]
この更新により、パラメータがk=1,i=1となり、図6に示す符号化データ列のR1ブロックのL0に相当するJP2パケットが取得される。 This update parameter k = 1, i = 1, and the the JP2 packets corresponding to L0 of R1 block of the encoded data string shown in FIG. 6 is obtained. この処理を順次実行することで、クライアントの指定がRL33の場合には、図16に示すようにR0〜R3の各ブロックから、それぞれL0〜L2の3つのJP2パケットが取得されることになる。 By this process sequentially performed, when the specification of a client is RL33 from each block of R0~R3 as shown in FIG. 16, so that the three JP2 packets each L0~L2 is obtained.
【0143】 [0143]
ステップS305、S306の判定が共にYesとなり、JP2パケット抽出処理が完了すると、ステップS307に進み、抽出JP2パケットをペイロードとした通信パケット、すなわちRTPパケットを生成し、ステップS308において生成した通信パケットをクライアントに対して送信する。 Step S305, S306 of the determination are both Yes, and the JP2 packet extraction process is completed, the process proceeds to step S307, the communication packets extracted JP2 packet was payload, i.e. generates the RTP packet, the communication packets generated in step S308 client It is transmitted to the.
【0144】 [0144]
サーバが記憶部から抽出し、通信パケットに格納するJP2パケットの構成は、図16に示すものとなる。 Server extracts from the storage unit, the configuration of JP2 packet storing the communication packet is as shown in FIG. 16. 図16に示す例は、クライアントから受信したPLAYメソッドから取得したRL値がRL33である場合の例である。 Example shown in FIG. 16 is an example in RL value obtained from PLAY method received from the client is RL33.
【0145】 [0145]
R0のブロックには、(R0,L0)〜(R0,L2)の3つのJP2パケットが含まれ、(R0,L0)〜(R3,L2)の計12のJP2パケットがサーバの記憶部から抽出されてクライアントに対する通信パケットのペイロードとして格納されて送信される。 The blocks R0, extracted three contains JP2 packet, (R0, L0) ~ (R3, L2) memory unit of the meter 12 JP2 packet server of (R0, L0) ~ (R0, L2) It is transmitted that are stored as has been the payload of the communication packet to the client. サーバは図6を参照して説明したようにRL54の符号化データ、すなわち1フレームあたり24のJP2パケットからなる符号化データを保有するが、サーバの保有する(R0,L3),(R1,L3),(R2,L3),(R3,L3)、および(R4,L0)〜(R5,L3)のJP2パケットは、送信されないことになる。 The server encoded data of RL54, as described with reference to FIG. 6, that is, carrying the coded data consisting of JP2 packets 24 per frame, held by the server (R0, L3), (R1, L3 ), (R2, L3), JP2 packet (R3, L3), and (R4, L0) ~ (R5, L3) it will not be sent.
【0146】 [0146]
この図16に示す符号化データを受信したクライアントは、(R0,L0)〜(R3,L2)のJP2パケットを順次復号し、再生することにより、解像度、画質を順次向上させるプログレッシブ再生処理が実行され、クライアントの要求した解像度に応じた画像の再生が可能となる。 The client having received the encoded data shown in FIG. 16, (R0, L0) sequentially decodes the JP2 packet ~ (R3, L2), by reproducing, resolution, progressive reproduction processing executed to sequentially improve the image quality is, it is possible to reproduce the image corresponding to the requested resolution of the client.
【0147】 [0147]
[実施例3] [Example 3]
上述した実施例1および実施例2は、サーバの保有する符号化データ列がRLCP(Resolution level−layer−component−position progression)であり、クライアントの受信するデータ列もRLCP符号化データとした例を示した。 Examples 1 and described above 2, encoded data stream held by the server is RLCP (Resolution level-layer-component-position progression), an example in which the data string is also a RLCP encoded data received client Indicated. しかし、クライアント側のデコード処理機能がLRCP(Layer−resolution level−component−position progression)に対応したものである場合、RLCPのデータを受信すると、クライアント側でデータの配列を変更するなどの処理が必要となる。 However, if the decoding functions of the client-side are those corresponding to LRCP (Layer-resolution level-component-position progression), when receiving the data of the RLCP, necessary processing such as changing the arrangement of data on the client-side to become.
【0148】 [0148]
サーバ側からの受信データをLRCPに変更して送信してもらうように設定することでクライアント側の処理負荷が軽減される。 Client-side processing load is reduced by setting the data received from the server side as get changed and transmitted to LRCP. 実施例3では、クライアント側からサーバに送信するPLAYメソッドにおいてRLまたはLR指定を行ない、サーバが自己の保有する符号化データの配列を変更して符号化データを送信する処理例について説明する。 In Example 3, performs RL or LR specified in PLAY method for transmitting from the client side to the server, the server will be described a processing example for transmitting the encoded data by changing the sequence of encoded data held in the self. なお、前述したように、LRCP符号化データ列は、符号化データ列を順次復号することで、解像度を一定にし、画質を徐々に向上させていくプログレッション復号が可能となる。 Note that, as described above, LRCP coded data string, by sequentially decoding the coded data string, the resolution constant progression decoding becomes possible to gradually improve image quality. 一方、RLCPは、画質を均一に保って解像度を徐々に拡大させるプログレッション復号が可能となる。 Meanwhile, RLCP becomes possible progression decoded to gradually enlarge the resolution while maintaining a uniform image quality.
【0149】 [0149]
図17に実施例3に対応するサーバクライアント間で実行するRTSP(Real−time Streaming Protocol)に従った制御情報交換処理、および情報交換後の符号化データの送信に至るまでの処理シーケンス図を示す。 It shows a processing sequence diagram up to the transmission of the encoded data of the RTSP (Real-time Streaming Protocol) control information exchange processing according to, and after the information exchange to be executed between the server and the client corresponding to Example 3 in FIG. 17 . 以下、図17に示す処理シーケンスに従って、実施例3の処理の詳細について説明する。 Hereinafter, according to the processing sequence shown in FIG. 17, details of processing in Embodiment 3.
【0150】 [0150]
なお、サーバ側は、ウェーブレット変換に基づくJPEG2000に従った階層符号化データを記憶部103(図2参照)に格納し、その格納符号化データは、実施例1および2と同様、図6に示す構成であるものとする。 Incidentally, the server side stores the hierarchically encoded data in accordance with the JPEG2000 based on wavelet transform in the storage unit 103 (see FIG. 2), the stored encoded data, as in Example 1 and 2, shown in FIG. 6 it is assumed that a configuration. すなわち、RLCP(Resolution level−layer−component−position progression)符号化列であり、ウェーブレット変換を5回実行し、各係数を4レイヤにビットプレーン化したRL54であるものとする。 That is RLCP (Resolution level-layer-component-position progression) coding sequence, the wavelet transform executed five times, it is assumed that RL54 that bitplane of the coefficients in the 4 layers.
【0151】 [0151]
図17の処理シーケンスのステップS31において、クライアントはRTSPに規定されたメソッド[DESCRIBE]をサーバに送信する。 In step S31 of the processing sequence of FIG. 17, the client sends a method as defined in RTSP [DESCRIBE] to the server. デスクライブ[DESCRIBE]は、コンテンツの仕様要求を実行するためのメソッドであり、例えばコンテンツ識別子を送信してコンテンツの仕様要求を行なうものである。 Desk Live [DESCRIBE] is a method for performing a specification request for content, for example by sending a content identifier and performs specification requirements of the content.
【0152】 [0152]
サーバは、メソッド[DESCRIBE]をクライアントから受信すると、ステップS32において、コンテンツの仕様情報、すなわちサーバ保持データ態様識別情報をSDP(Session Description Protocol)に従ってクライアントに伝える処理を実行する。 Server receives the Method [DESCRIBE] from the client, in step S32, the specification information of the content, i.e., executes a process of transmitting to the client a server holds data scheme identification information in accordance with SDP (Session Description Protocol). サーバからクライアントに通知するSDPに従ったデータフォーマットは、先の実施例1、2と同様のデータ、すなわち図8に示すデータ構成である。 Data format in accordance with the SDP to notify from the server to the client, the same data as the previous Examples 1 and 2, i.e. the data structure shown in FIG. すなわち、[a=order:RL54 720×480]を新たなコンテンツ属性(Attribute)として定義したデータであり、符号化データ列:RL54、解像度:720×480の符号化データを保有することを示す情報がクライアントに提示される。 That, [a = order: RL54 720 × 480] is data that defines a new content attribute (Attribute), the encoded data string: RL54, resolution: information indicating that carrying the encoded data of 720 × 480 There are presented to the client.
【0153】 [0153]
ステップS32において、クライアントはサーバからのコンテンツ仕様情報、すなわちサーバ保持データ態様識別情報をSDPによって取得すると、クライアントは、クライアントが受信したい符号化データ情報を決定し、ステップS23において、クライアントが受信したい符号化データ情報、すなわち要求データ態様識別情報を格納した再生要求メソッド[PLAY]をサーバに送信する。 In step S32, the client content specification information from the server, that is, obtain a server holding data scheme identification information by SDP, client determines the coded data information to be received by the client, in step S23, wants to receive the client code data information, i.e. reproduction request method that stores the requested data scheme identification information [PLAY] to be sent to the server.
【0154】 [0154]
クライアントにおけるSDP受信からPLAYメソッド送信に至るまでの処理について、図18に示すフローを参照して説明する。 The processing from SDP received in the client up to the PLAY method transmission will be described with reference to the flowchart shown in FIG. 18. クライアントは、ステップS321において、サーバからSDPを受信するとステップS322において、解像度情報(ここではAとする)と、RL情報(RL54)の各値をSDPから取得する。 The client, in step S321, in step S322 receives the SDP from the server, and resolution information (here, in A), but to obtain the values ​​of RL Information (RL54) from SDP.
【0155】 [0155]
次に、ステップS323においてクライアントの有する装置構成、例えばCPU処理能力、メモリ、利用帯域、デコード仕様、ディスプレイ仕様等の情報に基づいて決定される要求解像度B(X×Y)および、RLまたはLR符号化列のいずれか、RLxyまたはLRxyのxおよびyを決定する。 Then, device configurations having the client in step S323, for example, CPU processing power, memory, bandwidth usage, decoding specification, required resolution B (X × Y) and which is determined based on information such as a display specification, RL or LR code either data stream, to determine the x and y RLxy or LRxy.
【0156】 [0156]
次に、ステップS324において、SDPから取得したサーバの保有する符号化データの解像度Aとクライアント要求解像度Bを比較する。 Next, at step S324, it compares the resolution A and client requests resolution B of the encoded data held by the server acquired from the SDP. A≦Bであれば、クライアントのディスプレイに解像度A(例えば720×480)の画像を表示可能であり、サーバの保有する符号化データを復号してクライアントにおいて表示可能であるので、ステップS326に進む。 If A ≦ B, is capable of displaying images of resolution to the client display A (e.g. 720 × 480), so can be displayed at the client decodes the encoded data held by the server, the process proceeds to step S326 . 一方、A>Bであれば、クライアントのディスプレイに解像度A(例えば720×480)の画像は表示できないので、ステップS325において、解像度AをA/2とする更新処理を実行する。 On the other hand, if A> B, since the image resolution A (e.g. 720 × 480) to the client's display can not be displayed, in step S325, it executes the update process for the resolution A and A / 2. 解像度AをA/2とする更新処理はR=R−1とする更新処理に相当する。 Resolution A update processing to A / 2 is equivalent to the update processing for the R = R-1. この更新処理をステップS324の判定条件A>BがNoと判定されるまで実行する。 The update process determination condition A> B in step S324 is executed until it is determined that the No.
【0157】 [0157]
A>Bの判定がNoとなると、ステップS326において、送信要求符号化データとしてのRLxyまたはLRxyの設定値(例えばLR34)を決定する。 When the determination of A> B becomes No, in step S326, determines RLxy or LRxy set value (e.g., LR 34) as a transmission request encoded data. 次に、クライアントは、ステップS327において、決定したLR34の値を、RTSPのプレイ[PLAY]メソッドに追加ヘッダとして格納してサーバに送信する。 Next, the client, in step S327, the value of the determined LR 34, and transmits the stored as an additional header to the RTSP play [PLAY] method to the server. クライアントからサーバに対して送信するRTSPのプレイ[PLAY]メソッドのデータ構成を図19(a)に示す。 The data structure of the RTSP play [PLAY] method for transmitting from the client to the server shown in FIG. 19 (a).
【0158】 [0158]
図19(a)の最下段の行に記載された[LR:34]が、本実施例において、新たに定義したヘッダであり、クライアントが受信したい符号化データがLRCP符号化データでありL=3,R=4のLR34であることを示している。 Described at the bottom row of FIG. 19 (a) [LR: 34] is, in this embodiment, a new header is defined, coded data to be received by the client is LRCP encoded data L = 3, indicating a LR34 of R = 4. 図19(b)は、クライアントからRTSPのプレイ[PLAY]メソッドを受信したサーバがクライアントに対して送信する受信確認[ACK]データである。 Figure 19 (b) is a reception acknowledgment [ACK] data server receiving the RTSP play [PLAY] method from the client sends to the client.
【0159】 [0159]
図17に示すシーケンス図では、ステップS34のACK送信において、図19(b)に示すACKデータがクライアントに送信され、続いて、ステップS35において、符号化データLR34のストリーム配信がクライアントに対して実行される。 In the sequence diagram shown in FIG. 17, in the ACK transmission in step S34, is transmitted to the ACK data is the client shown in FIG. 19 (b), followed by executing the step S35, stream of encoded data LR34 to the client It is.
【0160】 [0160]
サーバは、クライアントから受信したPLAYメソッドに格納された要求符号化データ情報、すなわちLR34に従って、サーバの保有する符号化データからJP2パケットを抽出して通信パケット(RTP)に格納してクライアントに送信する。 The server sends a request encoded data information stored in the PLAY method received from the client, that is according to LR 34, and stores the extracted JP2 packet from the encoded data held by the server to the communication packet (RTP) to the client .
【0161】 [0161]
サーバがクライアントからPLAYメソッドを受信し、PLAYメソッドに格納されたクライアントの要求する符号化データ情報としてのLR34を取得し、取得値に従って、サーバの保有する符号化データからJP2パケットを抽出して通信パケット(RTP)に格納してクライアントに送信するまでの処理の詳細を図20を参照して説明する。 Receives the PLAY method server from the client, acquires the LR34 as the coded data information requested by the client stored in the PLAY method, according to the acquired value, extract the JP2 packet from the encoded data held by the server communication packet details to the processing to the client and stored in the (RTP) is described with reference to FIG. 20.
【0162】 [0162]
まず、ステップS341においてサーバがクライアントからのコンテンツ再生要求メソッドであるPLAYメソッドを受信すると、ステップS342において受信したPLAYメソッド中からクライアントの要求する符号化データ情報:LR34を取得する。 First, in step S341 the server receives the PLAY method which is a content playing request method from the client, the coded data information to a client request from the in PLAY method received in step S342: acquiring the LR 34.
【0163】 [0163]
次にステップS343において、サーバは符号化データを記憶部から取得する事前処理として、i=0,k=1とするパラメータの初期設定を行なう。 In step S343, the server as a pre-process for obtaining encoded data from the storage unit, performs initial setting of the parameters to be i = 0, k = 1. iは、記憶部から取得するRL符号化データの何番目のRブロックかを示すパラメータであり、R0であればi=0、R1であればi=1となる。 i is the ordinal number of the parameter indicating whether R blocks RL encoded data obtained from the storage unit, and i = 1 if it if i = 0, the R1 R0. kは、各Rブロックの何番目のJP2パケットかを示すパラメータであり、L0であればk=1、L1であればk=2となる。 k is a parameter indicating what number of JP2 packets for each R block, and k = 2 if k = 1, L1 if L0.
【0164】 [0164]
ステップS343のパラメータ初期設定が完了すると、ステップS344に進み、サーバは記憶部から指定コンテンツに対応する符号化データを、設定したパラメータi,kに従って順次取り出す。 If the parameter initialization step S343 is completed, the process proceeds to step S344, the server the encoded data corresponding to the specified content from the storage unit, set parameters i, sequentially taken out according to k. 記憶部に格納された符号化データは、図6を参照して説明したRLCP符号化データ列でありR=5,L=4のRL54符号化データである。 Stored in the storage unit the coded data is a and R = 5, L = 4 of RL54 coded data a RLCP encoded data string which has been described with reference to FIG. 初期設定は、i=0,k=1であるから、図6に示す符号化データ列のR0ブロックからL0のJP2パケットが取り出される。 Default, since it is i = 0, k = 1, JP2 packet L0 from R0 block of the encoded data string shown in FIG. 6 is taken out.
【0165】 [0165]
ステップS345では、[i≧PLAYメソッドからの取得値R]の判定を実行する。 In step S345, it executes the determination of the acquisition value from i ≧ PLAY method R]. ここでは、クライアントからサーバに対して送信するRTSPのプレイ[PLAY]メソッドに図19(a)の最下段の行に記載された[LR:34]が設定されているものとする。 Here, described in the lowermost row shown in FIG. 19 (a) to RTSP Play [PLAY] method for transmitting from the client to the server: shall [LR 34] is set. すなわちL=3,R=4であるとする。 That the L = 3, R = 4.
【0166】 [0166]
初期設定値i=0は、i≧4とならないので、ステップS351に進み、i=i+1のパラメータ更新が実行され、ステップS344に進み、次のJP2パケットが取得される。 Initial set value i = 0, since not a i ≧ 4, the process proceeds to step S351, parameter update of i = i + 1 is executed, the process proceeds to step S344, next JP2 packet is acquired. すなわち、図6に示すR1ブロックのL0のJP2パケットが取得される。 That, L0 of JP2 packets R1 block shown in FIG. 6 is obtained. このように、各Rブロックの先頭のJP2パケット(L0)がまず取得される。 Thus, the head of JP2 packets for each R block (L0) is first obtained. 図21に(a)サーバ保持データと、(b)送信データの対応を示す。 (A) a server holding data in FIG. 21 shows the correspondence between (b) transmitting data.
【0167】 [0167]
各Rブロック中の先頭のJP2パケットの取得が、i≧4となるまで実行される。 Retrieving head of JP2 packets in each R blocks is executed until i ≧ 4. i≧4となると、次にステップS346において、[k≧PLAYメソッドからの取得値L]の判定を実行する。 And it becomes i ≧ 4, then in step S346, executes the determination of the acquisition value from k ≧ PLAY method L]. PLAYメソッドの設定[LR:34]によりL=3であるので、初期設定k=1においては、ステップS346の判定がNoとなり、ステップS352に進み、k=k+1,i=0とするパラメータ更新が実行される。 PLAY setting methods: since it is [LR 34] by L = 3, in the initial setting k = 1, the determination is No and in step S346, the process proceeds to step S352, the parameter update to k = k + 1, i = 0 It is executed.
【0168】 [0168]
この更新により、パラメータがk=2,i=0となり、図6に示す符号化データ列のR0ブロックのL1に相当するJP2パケットが取得される。 This update parameter k = 2, i = 0, and the the JP2 packets corresponding to L1 of R0 block of the encoded data string shown in FIG. 6 is obtained. この処理を順次実行することで、クライアントの指定がLR34の場合、図21に示すようにLR34のLRCP符号化データ配列が設定されることになる。 By this process sequentially executed, if the specified client of LR 34, so that LRCP encoded data sequence of the LR 34 as shown in FIG. 21 is set.
【0169】 [0169]
ステップS345、S346の判定が共にYesとなり、JP2パケット抽出処理が完了すると、ステップS347に進み、抽出したLR34符号化データからなるJP2パケットをペイロードとした通信パケット、すなわちRTPパケットを生成し、ステップS348において生成した通信パケットをクライアントに対して送信する。 Step S345, S346 of the determination are both Yes, and the JP2 packet extraction process is completed, the process proceeds to step S347, the extracted JP2 communication packet packet was a payload consisting LR34 coded data, i.e., to generate a RTP packet, step S348 sending to the client a communication packet generated in.
【0170】 [0170]
通信パケットに格納するJP2パケットの構成は、図21に示すものとなる。 Configuration of JP2 packet storing the communication packet is as shown in FIG. 21. 図21に示す例は、クライアントから受信したPLAYメソッドから取得した要求符号化データ情報がLR34である場合の例である。 Example shown in FIG. 21 is an example where the request coded data information obtained from PLAY method received from the client is LR 34.
【0171】 [0171]
送信データは、L0のブロック中にR0〜R4が順次配列され、次に、L1のブロック中にR0〜R4が順次配列されたLRCP構成を持ち、クライアント側の要求LR34に従った符号化データ配列となる。 Transmission data is R0~R4 is sequentially arranged in the L0 block, then, it has a LRCP configuration in the block R0~R4 are sequentially arranged in L1, the encoded data sequence according to the client-side request LR34 to become.
【0172】 [0172]
この図21に示す符号化データを受信したクライアントは、(L0,R0)〜(L2,R4)のJP2パケットを順次復号し、再生することにより、解像度、画質を順次向上させるプログレッシブ再生処理が実行され、クライアントの要求に応じた画像の再生が可能となる。 The client having received the encoded data shown in FIG. 21, (L0, R0) sequentially decodes the JP2 packet ~ (L2, R4), by reproducing, resolution, progressive reproduction processing executed to sequentially improve the image quality is, it is possible to reproduce the image in response to client requests.
【0173】 [0173]
[実施例4] [Example 4]
上述の実施例1〜3は、いずれも、コンテンツ仕様要求としてのRTSPのメソッド[DESCRIBE]をクライアントからサーバに送信し、その応答としてのSDPをクライアントがサーバから受信して、SDPに基づいて要求する符号化情報をPLAYメソッドに格納してサーバに送信する処理構成例を説明した。 Examples 1-3 described above are both transmit the RTSP method [DESCRIBE] as a content specification request from the client to the server, the SDP as a response client is received from the server, based on the SDP request the coded information to be stored in the PLAY method described an example process configuration for transmitting to the server. 実施例4では、クライアントが予めサーバの保有するコンテンツの符号化情報を保有している場合の処理例を説明する。 In Example 4, the processing example in which the client owns the encoded information of contents in advance the server owned by. すなわち、RTSPのメソッド[DESCRIBE]、および応答としてのSDPを用いないで、PLAYメソッドを直接実行することでクライアントの要求する符号化情報をサーバから受信する処理形態である。 That, RTSP methods [DESCRIBE], and without using the SDP as a response, a processing form for receiving encoded information to client requests by executing the PLAY method directly from the server.
【0174】 [0174]
図22に実施例4に対応するサーバクライアント間で実行する通信処理シーケンス図を示す。 Corresponding to Example 4 in FIG. 22 shows a communication process sequence diagram performed between the server and the client. 以下、図22に示す処理シーケンスに従って、実施例4の処理の詳細について説明する。 Hereinafter, according to the processing sequence shown in FIG. 22, details of the process of Example 4.
【0175】 [0175]
図22の処理シーケンスのステップS41において、クライアントはクライアントが受信したい符号化データ情報、すなわち要求データ態様識別情報を格納した再生要求メソッド[PLAY]をサーバに送信する。 In step S41 of the processing sequence of FIG. 22, the client sends the encoded data information to be received by the client, i.e. reproduction request method that stores the requested data scheme identification information [PLAY] to the server.
【0176】 [0176]
クライアントが再生要求メソッド[PLAY]に格納する符号化データ情報は、クライアントが予め保持しているサーバのコンテンツデータ情報と、クライアントの構成(ディスプレイ、CPU、デコーダ仕様等)の情報に基づいて決定するものであり、例えば上述の実施例1〜3において説明した1フレームあたりのJP2パケット数情報や、解像度情報、あるいはRLxyまたはLRxyの設定情報などである。 Coded data information the client wants to store the playback request method [PLAY] is determined based and server content data information for the client is held in advance, the information of the configuration of the client (display, CPU, decoder specifications) are those, for example, JP2 and packet number information per frame described in examples 1-3 above, and the like resolution information or RLxy or LRxy configuration information.
【0177】 [0177]
要求符号化データ情報を格納した再生要求メソッド[PLAY]をクライアントから受信したサーバは、ステップS42でACK送信を実行し、続いて、ステップS43において、再生要求メソッド[PLAY]に格納された要求符号化データ情報に従って抽出生成したJP2パケット列からなる符号化データのストリーム配信をクライアントに対して実行する。 Received reproduction request method storing the requested encoded data information [PLAY] from the client server, executes the ACK transmitted in step S42, subsequently, in step S43, the request code stored in the playback request method [PLAY] executing a stream of coded data consisting of the extraction generated JP2 packet train according to data information to the client.
【0178】 [0178]
本方式によれば、RTSPのメソッド[DESCRIBE]、および応答としてのSDPを適用せず、PLAYメソッドを直接実行する構成であるので、効率的な処理が可能となる。 According to this method, RTSP methods [DESCRIBE], and without applying the SDP as a response, since it is configured to perform a PLAY method directly, efficient processing is possible.
【0179】 [0179]
[実施例5] [Example 5]
上述した実施例はJPEG2000のデータフォーマットに従った符号化データの配信処理例として説明したが、本発明はJPEG2000のデータフォーマットに従った符号化データの配信構成に限らず、様々な符号化データの配信処理において適用可能である。 Embodiments described above has been described as a distribution processing example of the coded data in accordance with the JPEG2000 data format, the present invention is not limited to the delivery configuration of the encoding data according to JPEG2000 data formats, a variety of coded data It can be applied in the distribution process. 実施例5は、ウェーブレット変換処理による符号化データではあるがJPEG200のデータフォーマットとは異なるフォーマットを持つ符号化データの配信処理例について説明する。 Example 5 is a data encoded by wavelet transform process will be described distribution processing example of the encoding data having a format different data formats JPEG200.
【0180】 [0180]
図23にサーバクライアント間で実行するRTSP(Real−time Streaming Protocol)に従った制御情報交換処理、および情報交換後の符号化データの送信に至るまでの処理シーケンス図を示す。 Control information exchange processing in accordance with the RTSP (Real-time Streaming Protocol) to run between the server and the client 23, and after the information exchange shows a processing sequence diagram up to the transmission of the encoded data. 以下、図23に示す処理シーケンスに従って、処理の詳細について説明する。 Hereinafter, according to the processing sequence shown in FIG. 23 will be described in detail processing.
【0181】 [0181]
ステップS51において、クライアントはRTSPに規定されたメソッド[DESCRIBE]をサーバに送信する。 In step S51, the client sends a method as defined in RTSP [DESCRIBE] to the server. デスクライブ[DESCRIBE]は、コンテンツの仕様要求を実行するためのメソッドであり、例えばコンテンツ識別子を送信してコンテンツの仕様要求を行なうものである。 Desk Live [DESCRIBE] is a method for performing a specification request for content, for example by sending a content identifier and performs specification requirements of the content.
【0182】 [0182]
サーバは、メソッド[DESCRIBE]をクライアントから受信すると、ステップS52において、コンテンツの仕様情報、すなわちサーバ保持データ態様識別情報をSDP(Session Description Protocol)に従ってクライアントに伝える処理を実行する。 Server receives the Method [DESCRIBE] from the client, in step S52, the specification information of the content, i.e., executes a process of transmitting to the client a server holds data scheme identification information in accordance with SDP (Session Description Protocol). サーバからクライアントに通知するSDPに従ったデータフォーマットを図24に示す。 The data format in accordance with the SDP to notify the server to the client shown in FIG. 24.
【0183】 [0183]
図24のv〜mまでのデータ構成は、実施例1で図8を参照して説明したデータと同様であるので説明を省略する。 Data structure to v~m in FIG. 24 will be omitted because it is similar to the data described with reference to FIG. 8 in the first embodiment. [a=control:rtsp://vodserver/contents/videoA. [A = control: rtsp: // vodserver / contents / videoA. xxx]は、サーバ内におけるコンテンツ(videoA)の格納ロケーションを示す情報である。 xxx] is information indicating the storage location of the content (VIDEOa) in the server. このコンテンツはJPEG2000の符号化データとは異なるフォーマットでの符号化データである。 This content is encoded data of a different format than the JPEG2000 coded data.
【0184】 [0184]
本実施例の構成においては、SDPを拡張して、上述の各情報に、さらに、[a=R5 720×480]を新たなコンテンツ属性(Attribute)として定義した。 In the structure of this embodiment, by extending the SDP, the respective information described above, further defined as [a = R5 720 × 480] the new content attribute (Attribute). [a=R5 720×480]は、サーバが保持しているコンテンツの符号化データの態様を示す情報である。 [A = R5 720 × 480] is information indicating the mode of the encoded data of the content server holds. R5は、ウェーブレット変換を5回実行した符号化データであることを示し、720×480は解像度情報を示している。 R5 is indicative of an encoded data performed wavelet transform 5 times, 720 × 480 indicates the resolution information.
【0185】 [0185]
図23に戻り、サーバクライアント間の処理シーケンスの説明を続ける。 Returning to Figure 23, it continued description of the processing sequence between the server and the client. ステップS52において、クライアントはサーバからのコンテンツ仕様情報、すなわちサーバ保持データ態様識別情報をSDPによって取得する。 In step S52, the client obtains the content specification information from the server, i.e. the server holding data scheme identification information SDP. クライアントは、SDPから符号化データ情報としてR5と720×480を取得することができる。 The client can obtain the R5 and 720 × 480 as coded data information from the SDP.
【0186】 [0186]
クライアントは、受信SDPに含まれるサーバの有する符号化データ情報に基づいて、クライアントの希望する符号化画像データに応じた要求符号化データ情報を決定する。 Client, based on the encoded data information included in the server included in the received SDP, to determine the required coded data information corresponding to the encoded image data desired by the client. 例えばR3に相当する解像度を持つ符号化データを要求したい場合、要求符号化データ情報:R3を設定した再生要求メソッド[PLAY]をサーバに送信する。 For example, if you want to require the encoded data with a resolution corresponding to R3, the request encoded data information: sending R3 playback request method [PLAY] a server configured with.
【0187】 [0187]
クライアントにおけるSDP受信からPLAYメソッド送信に至るまでの処理について、図25に示すフローを参照して説明する。 The processing from SDP received in the client up to the PLAY method transmission will be described with reference to the flowchart shown in FIG. 25. クライアントは、ステップS501において、サーバからSDPを受信するとステップS502において、解像度情報(ここではAとする)と、R情報値をSDPから取得する。 The client, in step S501, in step S502 receives the SDP from the server, and resolution information (here, in A), but acquires the R information values ​​from SDP.
【0188】 [0188]
次に、ステップS503においてクライアントの有するディスプレイ等の情報に基づいて決定される要求解像度B(X×Y)を取得し、ステップS504において、SDPから取得したサーバの保有する符号化データの解像度Aとクライアント要求解像度Bを比較する。 Next, retrieve the requested is determined based on information such as the display resolution B (X × Y) possessed by the client in step S503, in step S504, the resolution A of the coded data held by the server acquired from the SDP Compare the client requests resolution B.
【0189】 [0189]
A≦Bであれば、クライアントのディスプレイに解像度A(例えば720×480)の画像を表示可能であり、サーバの保有する符号化データを復号してクライアントにおいて表示可能であるので、ステップS506に進む。 If A ≦ B, is capable of displaying images of resolution to the client display A (e.g. 720 × 480), so can be displayed at the client decodes the encoded data held by the server, the process proceeds to step S506 . 一方、A>Bであれば、クライアントのディスプレイに解像度A(例えば720×480)の画像は表示できないので、ステップS505において、解像度AをA/2とする更新処理を実行する。 On the other hand, if A> B, since the image resolution A (e.g. 720 × 480) to the client's display can not be displayed, in step S505, it executes the update process for the resolution A and A / 2. 解像度AをA/2とする更新処理はR=R−1とする更新処理に相当する。 Resolution A update processing to A / 2 is equivalent to the update processing for the R = R-1. この更新処理をステップS504の判定条件A>BがNoと判定されるまで実行する。 The update process determination condition A> B in step S504 is executed until it is determined that the No.
【0190】 [0190]
A>Bの判定がNoとなると、ステップS506において、クライアントが受信したい符号化データ態様に対応する要求符号化データ情報を決定する。 When the determination of A> B becomes No, in step S506, determines the requested encoded data information that the client corresponding to encoded data scheme to be received.
【0191】 [0191]
クライアントは、ステップS507において、決定した要求符号化データ情報をプレイ[PLAY]メソッドに追加ヘッダとして格納してサーバに送信する。 The client, in step S507, the transmission to the server and stored as an additional header determined requested encoded data information to the play [PLAY] method. クライアントからサーバに対して送信するRTSPのプレイ[PLAY]メソッドのデータ構成を図26(a)に示す。 The data structure of the RTSP play [PLAY] method for transmitting from the client to the server shown in FIG. 26 (a).
【0192】 [0192]
[PLAY rtsp://server/contents/videoA. [PLAY rtsp: // server / contents / videoA. xxx RTSP/1.0]は、要求コンテンツであるビデオ情報(VideoA)の再生要求、すなわちプレイメソッドであることを示す情報である。 xxx RTSP / 1.0], the request for reproducing video information is a request content (Video A), that is, information indicating the play method. videoA. videoA. xxxは、実施例1のvideoA. xxx is the embodiment 1 VIDEOa. mj2と異なり、JPEG2000の符号化データではないことを示している。 Unlike mj2, it indicates that it is not a JPEG2000 coded data. その他の情報は実施例1と同様であり、説明を省略する。 Other information is the same as in Example 1, the description thereof is omitted.
【0193】 [0193]
図26(a)の最下段の行に記載された[R:3]が、本実施例において、新たに定義したヘッダであり、クライアントが受信したい符号化データが解像度としてR:3に相当する符号化データであることを示している。 Described at the bottom row of FIG. 26 (a): is [R 3], in the present embodiment, a new header is defined, coded data to be received by the client is R as resolution equivalent to 3 It indicates that the encoded data. 図26(b)は、クライアントからRTSPのプレイ[PLAY]メソッドを受信したサーバがクライアントに対して送信する受信確認[ACK]データである。 Figure 26 (b) is a reception acknowledgment [ACK] data server receiving the RTSP play [PLAY] method from the client sends to the client.
【0194】 [0194]
図23に示すシーケンス図では、ステップS54のACK送信において、図26(b)に示すACKデータがクライアントに送信され、続いて、ステップS55において、クライアントの要求する符号化データ、すなわちR3に対応する符号化データが抽出され、生成されたRTPパケットを用いたストリーム配信がクライアントに対して実行される。 In the sequence diagram shown in FIG. 23, in the ACK transmission step S54, is transmitted to the ACK data is the client shown in FIG. 26 (b), followed, at step S55, corresponding to the encoded data, i.e., R3 requesting client encoded data is extracted, it streamed using the generated RTP packet is performed on the client. 符号化データ抽出処理は、上述の各実施例において説明した処理と同様の処理として実行される。 Encoded data extraction processing is executed as the same processing as that described in the above-mentioned embodiments. サーバは、フレーム毎にウェーブレットの低周波成分から順にユーザの要求する解像度まで送信する。 The server transmits the low frequency components of the wavelet until resolution requested by the user in order for each frame. 符号化データを受信したクライアントは、受信データを復号し、再生する。 The client having received the encoded data, decodes the received data, to reproduce.
【0195】 [0195]
本実施例において説明したようにJPEG2000とは異なるデータフォーマットにおいても、クライアントからの要求に従ってサーバが符号化データを生成、調整してクライアント対応の符号化データ列を生成し送信することが可能である。 Throughout the different data format and JPEG2000, as described in the present embodiment, it is possible that the server is to generate encoded data, adjusted to generate encoded data streams of a client corresponding transmission according to a request from the client .
【0196】 [0196]
[実施例6] [Example 6]
前述したように、階層符号化が可能な圧縮・伸張方式としては、例えばMPEG4とJPEG2000によるビデオストリームをあげることができる。 As described above, as the compression and decompression method capable hierarchical coding, for example, can be exemplified a video stream according to MPEG4 and JPEG2000. MPEG4ではFGS(Fine Granular Scalability)技術を規格に取り込みプロファイル化する予定であり、この階層符号化技術によりスケーラブルに低いビットレートから高いビットレートまで配信することが可能と言われている。 In MPEG4 FGS (Fine Granular Scalability) it is scheduled to be profiled uptake standard techniques are said to be able to deliver to a higher bit rate from a low bit-rate scalable The hierarchical coding techniques. 実施例6では、MPEG4による階層符号化データを用いた処理例について説明する。 In Example 6, a description will be given of a process example using the hierarchically encoded data by MPEG4.
【0197】 [0197]
MPEG4におけるFGS(Fine Granular Scalability)を用いた階層符号化方式は、ストリーミングアプリケーションに適した圧縮方式であり、DCTをベースとした動画像圧縮方式に適用可能である。 Hierarchical coding using FGS in MPEG4 (Fine Granular Scalability) is a compression method suitable for streaming applications, it is applicable to moving image compression method in which the DCT based. FGSを適用した階層符号化処理について、図27を参照して説明する。 FGS for the applied hierarchical coding processing will be described with reference to FIG. 27.
【0198】 [0198]
図27に示すようにMPEG4におけるFGS(Fine Granular Scalability)を用いた階層符号化データは、ベースレイヤ(Base Layer)と、エンハンスメント・レイヤ(Enhancement Layer)の2層から構成される。 Hierarchically encoded data using the FGS in MPEG4 (Fine Granular Scalability) as shown in FIG. 27, a base layer (Base Layer), composed of two layers of the enhancement layer (Enhancement Layer). ベースレイヤ(Base Layer)は、従来通りの離散コサイン変換と予測符号化に基づいて生成される圧縮データである。 The base layer (Base Layer) is a compressed data generated based on the discrete cosine transform and predictive coding of conventional. フレーム間予測処理のベース情報を持つIピクチャ、順方向予測で生成されるPピクチャ、Pピクチャ間に挿入されるBピクチャのIPB3種類のピクチャ情報によって構成される。 I picture having a base information interframe prediction process, a P picture generated by the forward prediction, constituted by IPB3 picture type information B picture to be inserted between the P pictures.
【0199】 [0199]
エンハンスメント・レイヤ(Enhancement Layer)は、ベースレイヤ(Base Layer)と原画像を元にしてembeddedDCT圧縮法等を用いて符号化される。 The enhancement layer (Enhancement Layer) are coded using embeddedDCT compression method based on the base layer (Base Layer) and the original image. ベースレイヤ(Base Layer)のみで最低限の画質を得ることができるが、エンハンスメント・レイヤ(Enhancement Layer)をあわせることにより、より高品質な画質を得ることができる。 It can be obtained the minimum image quality only by the base layer (Base Layer), but can be obtained by combining the enhancement layer (Enhancement Layer), a higher quality image quality. なお、動画の画質はエンハンスメント・レイヤ(Enhancement Layer)の符号化パラメータと復号時のエンハンスメント・レイヤ(Enhancement Layer)の付加量によって決定する。 Incidentally, the image quality of the video is determined by the addition amount of the coded parameters and decoding time of the enhancement layer (Enhancement Layer) enhancement layer (Enhancement Layer).
【0200】 [0200]
FGSのエンハンスメント・レイヤ(Enhancement Layer)に含まれる情報は、任意数に分割することが可能である。 Information contained in the FGS enhancement layer (Enhancement Layer) may be divided into any number. 例えば図28に示すようにエンハンスメント・レイヤを複数に分割し、ベースレイヤおよび、エンハンスメント・レイヤに含まれるレイヤ1〜5から選択したレイヤのみの情報をサーバからクライアントに用いて復号処理を行なうことが可能である。 For example divides the enhancement layer into a plurality as shown in FIG. 28, the base layer and is possible to perform decoding processing using the selected information only layer from the layer 1-5 included in the enhancement layer from the server to the client possible it is.
【0201】 [0201]
例えば、ベースレイヤおよび、エンハンスメント・レイヤに含まれるレイヤ1〜3、あるいは1〜5のレイヤをクライアントからの要求に応じて選択してクライアントに送信し、クライアント側で受信レイヤに応じて復号することが可能である。 For example, the base layer and the selected and transmitted to the client according Layer 1-3 included in the enhancement layer, or a 1-5 layer to a request from a client, decodes according to the reception layer on the client side it is possible. ベースレイヤのみでは最低限の画質からなる画像データ再生が可能であり、エンハンスメント・レイヤ1のみではやや高品質な画像、より多くのエンハンスメント・レイヤ情報を適用して復号処理を実行することで、より高画質の画像データを表示することが可能となる。 The base layer alone is capable of image data reproduction consisting of minimum quality, somewhat high-quality images with only the enhancement layer 1, by executing the application to decode process more enhancement layer information, and more it becomes possible to display high-quality image data.
【0202】 [0202]
このように、クライアントの要求に応じたレイヤ情報をサーバが抽出して送信することで、クライアントの要求に応じた階層符号化情報配信が可能となる。 In this way, by transmitting the layer information corresponding to client requests the server extracted and, it is possible to hierarchical coding information distribution in accordance with the client request. MPEG4におけるFGS(Fine Granular Scalability)を用いた階層符号化データを配信する際、データ送信装置としてのサーバが、データ受信装置としてのクライアント側の要求符号化データ情報を取得し、取得情報に基づいて、クライアントに応じた最適態様の符号化データを送信する処理、すなわち、RTSP(Real−time Streaming Protocol)による情報交換処理を実行して、要求に従った符号化データ配信処理を行なう処理シーケンスについて、図29のシーケンス図を参照して説明する。 When delivering hierarchically encoded data using the FGS in MPEG4 (Fine Granular Scalability), the server as the data transmission apparatus obtains the client-side request encoded data information as a data receiving apparatus based on the acquired information , the process for transmitting the encoded data of the most suitable embodiment in accordance with the client, i.e., by performing the information exchange process by RTSP (Real-time Streaming Protocol), the processing sequence for encoding data distribution processing according to the request, with reference to the sequence diagram of FIG. 29 will be described.
【0203】 [0203]
ステップS61において、クライアントはRTSPに規定されたメソッド[DESCRIBE]をサーバに送信する。 In step S61, the client sends a method as defined in RTSP [DESCRIBE] to the server. デスクライブ[DESCRIBE]は、コンテンツの仕様要求を実行するためのメソッドであり、例えばコンテンツ識別子を送信してコンテンツの仕様要求を行なうものである。 Desk Live [DESCRIBE] is a method for performing a specification request for content, for example by sending a content identifier and performs specification requirements of the content.
【0204】 [0204]
サーバは、メソッド[DESCRIBE]をクライアントから受信すると、ステップS62において、コンテンツの仕様情報、すなわちサーバ保持データ態様識別情報をSDP(Session Description Protocol)に従ってクライアントに伝える処理を実行する。 Server receives the Method [DESCRIBE] from the client, in step S62, the specification information of the content, i.e., executes a process of transmitting to the client a server holds data scheme identification information in accordance with SDP (Session Description Protocol). サーバからクライアントに通知するSDPに従ったデータフォーマットを図30に示す。 The data format in accordance with the SDP to notify the server to the client shown in FIG. 30.
【0205】 [0205]
図30のv〜mまでのデータ構成は、実施例1で図8を参照して説明したデータと同様であるので説明を省略する。 Data structure to v~m in FIG. 30 will be omitted because it is similar to the data described with reference to FIG. 8 in the first embodiment. [a=control:rtsp://vodserver/contents/videoA. [A = control: rtsp: // vodserver / contents / videoA. mpg]は、サーバ内におけるコンテンツ(videoA.mpg)の格納ロケーションを示す情報である。 mpg] is information indicating the storage location of the content (videoA.mpg) in the server. このコンテンツはMPEGフォーマットでの符号化データである。 This content is encoded data in MPEG format.
【0206】 [0206]
本実施例の構成においては、SDPを拡張して、上述の各情報に、さらに、[a=EL:5]を新たなコンテンツ属性(Attribute)として定義した。 In the structure of this embodiment, by extending the SDP, the respective information described above, further: they were defined as [a = EL 5] the new content attribute (Attribute). [EL:5]は、サーバが保持しているコンテンツの符号化データの態様を示す情報である。 [EL: 5] is information indicating the mode of the encoded data of the content server holds. EL:5は、MPEG4符号化データのFGSエンハンスメント・レイヤ(Enhancement Layer)情報を5分割してサーバが格納していることを示す情報である。 EL: 5 is information indicating that the server and 5 divide the FGS enhancement layer (Enhancement Layer) information MPEG4 encoded data is stored.
【0207】 [0207]
図29に戻り、サーバクライアント間の処理シーケンスの説明を続ける。 Returning to Figure 29, it continued description of the processing sequence between the server and the client. ステップS62において、クライアントはサーバからのコンテンツ仕様情報、すなわちサーバ保持データ態様識別情報をSDPによって取得する。 In step S62, the client obtains the content specification information from the server, i.e. the server holding data scheme identification information SDP. クライアントは、SDPから符号化データ情報としてFGSエンハンスメント・レイヤ(Enhancement Layer)の分割情報[EL:5]を取得することができる。 Clients division information of FGS enhancement layer as coded data information from the SDP (Enhancement Layer) [EL: 5] can be acquired.
【0208】 [0208]
クライアントは、受信SDPに含まれるサーバの有する符号化データ情報に基づいて、クライアントの希望する符号化画像データに応じた要求符号化データ情報を決定する。 Client, based on the encoded data information included in the server included in the received SDP, to determine the required coded data information corresponding to the encoded image data desired by the client. 例えばFGSエンハンスメント・レイヤとしてEL:3に相当する情報の取得を要求したい場合、要求符号化データ情報としてEL:3を設定した再生要求メソッド[PLAY]をサーバに送信する。 For example EL as FGS enhancement layer: if you want to request acquisition of the corresponding information to 3, EL as the requested encoded data information: send 3 to the playback request method [PLAY] a server configured to.
【0209】 [0209]
クライアントにおけるSDP受信からPLAYメソッド送信に至るまでの処理について、図31に示すフローを参照して説明する。 The processing from SDP received in the client up to the PLAY method transmission will be described with reference to the flowchart shown in FIG. 31. クライアントは、ステップS551において、サーバからSDPを受信するとステップS552において、画質情報、ここではサーバの保持するMPEG4符号化データのFGSエンハンスメント・レイヤ(Enhancement Layer)の分割情報[EL:5]をSDPから取得する。 The client, in step S551, in step S552 receives the SDP from the server, the image quality information, where the division information of FGS enhancement layer of MPEG4 encoded data held in the server (Enhancement Layer) [EL: 5] from SDP get.
【0210】 [0210]
次に、ステップS553においてクライアントの有するCPU、デコーダ、ディスプレイ等の情報に基づいて要求画質:Bを仮設定する。 Next, the request quality based CPU with the client, the decoder, the information display or the like in step S553: ​​temporarily sets the B. 要求画質:Bは、MPEG4符号化データのFGSエンハンスメント・レイヤの分割情報[EL]に対応して設定される値であり0〜5の範囲の値である。 Request Quality: B is a value in a range of 0 to 5 be a value set corresponding to the division information [EL] of FGS enhancement layer of MPEG4 encoded data. ここでは例えばEL値として3が要求画質:Bに相当するとする。 Here 3 is required quality, for example, as EL value: and corresponding to B. ステップS554において、SDPから取得したサーバの保有する符号化データのエンハンスメント・レイヤ(Enhancement Layer)の分割情報[EL:5]と要求画質:B(=3)を比較する。 In step S554, the division information of the enhancement layer encoded data held by the server acquired from the SDP (Enhancement Layer) [EL: 5] and the required image quality: Compare B (= 3).
【0211】 [0211]
要求画質を超えるデータは、伝送処理あるいは復号処理の無駄になるので、EL>Bである場合は、ステップS555において、EL=EL−1とする更新処理を実行する。 Data that exceeds the required image quality, since a waste of transmission processing or decoding processing, if it is EL> B, in step S555, executes the update process of the EL = EL-1. この更新処理をステップS554の判定条件EL>BがNOと判定されるまで実行する。 The update process determination condition EL> B in step S554 is executed until it is determined that the NO.
【0212】 [0212]
EL>Bの判定がNoとなると、ステップS556において、クライアントが受信したい符号化データ態様に対応する要求符号化データ情報を決定する。 If the determination of EL> B is No, in step S556, to determine the required encoded data information that the client corresponding to encoded data scheme to be received. ここでは、要求画質:Bに相当するEL:3と決定するものとする。 Here, the request quality: EL corresponding to B: shall be 3 and decision.
【0213】 [0213]
クライアントは、ステップS557において、決定した要求符号化データ情報をプレイ[PLAY]メソッドに追加ヘッダとして格納してサーバに送信する。 The client, in step S557, and transmits to the server and stored as an additional header determined requested encoded data information to the play [PLAY] method. クライアントからサーバに対して送信するRTSPのプレイ[PLAY]メソッドのデータ構成を図32(a)に示す。 The data structure of the RTSP play [PLAY] method for transmitting from the client to the server shown in FIG. 32 (a).
【0214】 [0214]
[PLAY rtsp://server/contents/videoA. [PLAY rtsp: // server / contents / videoA. mpg RTSP/1.0]は、要求コンテンツであるビデオ情報(VideoA)の再生要求、すなわちプレイメソッドであることを示す情報である。 mpg RTSP / 1.0], the request for reproducing video information is a request content (Video A), that is, information indicating the play method. videoA. videoA. mpgは、MPEG符号化データであることを示している。 mpg indicates that the MPEG encoded data. その他の情報は実施例1と同様であり、説明を省略する。 Other information is the same as in Example 1, the description thereof is omitted.
【0215】 [0215]
図32(a)の最下段の行に記載された[EL:3]が、本実施例において、新たに定義したヘッダであり、クライアントが受信したい符号化データが、エンハンスメント・レイヤ(Enhancement Layer)の分割データとして[EL:3]のレベルまでのデータであることを示している。 Figure 32 is described in the bottom row of the (a) [EL: 3] is, in this embodiment, a new header is defined, coded data to be received by the client is, enhancement layer (Enhancement Layer) It indicates that the data is up to the level of: [3 EL] as divided data. 図32(b)は、クライアントからRTSPのプレイ[PLAY]メソッドを受信したサーバがクライアントに対して送信する受信確認[ACK]データである。 Figure 32 (b) is a reception acknowledgment [ACK] data server receiving the RTSP play [PLAY] method from the client sends to the client.
【0216】 [0216]
図29に示すシーケンス図では、ステップS64のACK送信において、図32(b)に示すACKデータがクライアントに送信され、続いて、ステップS65において、クライアントの要求する符号化データ、すなわちMPEG符号化データを構成するベースレイヤのデータと、EL:3に対応するエンハンスメント・レイヤの符号化データが抽出され、抽出データをペイロードとして生成されたRTPパケットを用いたストリーム配信がクライアントに対して実行される。 In the sequence diagram shown in FIG. 29, in the ACK transmission step S64, ACK data shown in FIG. 32 (b) is sent to the client, followed by the step S65, the encoded data requested by the client, namely MPEG encoded data the base layer of the data constituting the, EL: extracted encoded data of the enhancement layer that corresponds to 3, extracted data stream delivery using RTP packets generated as the payload is performed for the client. 符号化データ抽出処理は、上述の各実施例において説明した処理と同様の処理として実行される。 Encoded data extraction processing is executed as the same processing as that described in the above-mentioned embodiments.
【0217】 [0217]
[実施例7] [Example 7]
上述した実施例6においては、MPEG4におけるFGS(Fine Granular Scalability)を用いた階層符号化データを配信する際、データ送信側のサーバが予めエンハンスメント・レイヤ(Enhancement Layer)の分割を実行し、送信データに含める分割レイヤの指定をクライアント側が実行する構成例を説明した。 In Example 6 described above, performs the division of when delivering hierarchically encoded data using the FGS in MPEG4 (Fine Granular Scalability), the data sending server in advance enhancement layer (Enhancement Layer), the transmission data client-side specified of the divided layers including has been described the configuration example of executing. エンハンスメント・レイヤ(Enhancement Layer)は任意の箇所で分割することができる。 The enhancement layer (Enhancement Layer) can be divided at any point.
【0218】 [0218]
サーバがクライアントに対して送信するエンハンスメント・レイヤ(Enhancement Layer)のデータ量を決定するために、配信データ(コンテンツ)の画質情報の1つである信号対雑音比の情報としてのPSNR(Peak Signal to Noise Ratio)を用いる構成例を実施例7として説明する。 By the server to determine the amount of data of enhancement layer to be transmitted to the client (Enhancement Layer), PSNR as information which is one signal-to-noise ratio of the image quality information of the distribution data (content) (Peak Signal-to describing a configuration example of using the Noise Ratio) as in example 7.
【0219】 [0219]
前述したように、エンハンスメント・レイヤ(Enhancement Layer)は、ベースレイヤ(Base Layer)と原画像を元にしてembeddedDCT圧縮法等を用いて符号化されるデータである。 As described above, the enhancement layer (Enhancement Layer) is a data encoded using embeddedDCT compression method based on the base layer (Base Layer) and the original image. ベースレイヤ(Base Layer)のみで最低限の画質を得ることができるが、エンハンスメント・レイヤ(Enhancement Layer)をあわせることにより、より高品質な画質を得ることができる。 It can be obtained the minimum image quality only by the base layer (Base Layer), but can be obtained by combining the enhancement layer (Enhancement Layer), a higher quality image quality. 画質はエンハンスメント・レイヤ(Enhancement Layer)の付加量が多ければ向上する。 Image quality is improved the more the amount added of the enhancement layer (Enhancement Layer). すなわち、画質はエンハンスメント・レイヤ(Enhancement Layer)の付加量によって決定する。 That is, the image quality is determined by the addition amount of the enhancement layer (Enhancement Layer). 画質指標値としてのPSNR(Peak Signal to Noise Ratio)の値はエンハンスメント・レイヤ(Enhancement Layer)の付加量が多ければ上昇する。 The value of PSNR (Peak Signal to Noise Ratio) as the image quality index value is increased the greater the amount of addition of the enhancement layer (Enhancement Layer).
【0220】 [0220]
図33に、ベースレイヤ(BL:Base Layer)と、エンハンスメント・レイヤ(Enhancement Layer)の付加量に応じた画質指標値としてのPSNR(Peak Signal to Noise Ratio)の対応を示す。 33, the base layer: and (BL Base Layer), shows the corresponding enhancement layer PSNR as quality index value corresponding to the addition amount of (Enhancement Layer) (Peak Signal to Noise Ratio). 図33に示すように、このように、ベースレイヤ(BL:Base Layer)のみのデータ(EL=0)は、PSNR値が低いが、エンハンスメント・レイヤ(Enhancement Layer)の付加量を増加させるに従って、PSNR値が上昇し画質が向上する。 As shown in FIG. 33, thus, the base layer (BL: Base Layer) only data (EL = 0), in accordance with but PSNR value is low, increasing the addition amount of the enhancement layer (Enhancement Layer), PSNR value is improved increased image quality.
【0221】 [0221]
本実施例では、クライアントがPSNR値を指定して、サーバが指定PSNR値に応じて、クライアントに対して送信するエンハンスメント・レイヤの情報量を決定してデータ送信を実行するものである。 In this embodiment, the client specifies the PSNR value, the server as specified PSNR value, and executes the data transmission determines the amount of information of the enhancement layer to be transmitted to the client.
【0222】 [0222]
本実施例のサーバクライアント間で実行されるデータ通信処理シーケンスについて、図34のシーケンス図を参照して説明する。 The data communication process sequence performed between the server and the client of the present embodiment will be described with reference to the sequence diagram of FIG 34. ステップS71において、クライアントはRTSPに規定されたメソッド[DESCRIBE]をサーバに送信する。 In step S71, the client sends a method as defined in RTSP [DESCRIBE] to the server. デスクライブ[DESCRIBE]は、コンテンツの仕様要求を実行するためのメソッドであり、例えばコンテンツ識別子を送信してコンテンツの仕様要求を行なうものである。 Desk Live [DESCRIBE] is a method for performing a specification request for content, for example by sending a content identifier and performs specification requirements of the content.
【0223】 [0223]
サーバは、メソッド[DESCRIBE]をクライアントから受信すると、ステップS72において、コンテンツの仕様情報、すなわちサーバ保持データ態様識別情報をSDP(Session Description Protocol)に従ってクライアントに伝える処理を実行する。 Server receives the Method [DESCRIBE] from the client, in step S72, the specification information of the content, i.e., executes a process of transmitting to the client a server holds data scheme identification information in accordance with SDP (Session Description Protocol). サーバからクライアントに通知するSDPに従ったデータフォーマットを図35に示す。 The data format in accordance with the SDP to notify the server to the client shown in FIG. 35.
【0224】 [0224]
図35のv〜aまでのデータ構成は、実施例6の図30に示すデータと同様である。 Data structure to v~a of FIG 35 is similar to the data shown in Figure 30 of Example 6. 本実施例の構成においては、SDPを拡張して、上述の各情報に、さらに、[a=PSNR:45]を新たなコンテンツ属性(Attribute)として定義した。 In the structure of this embodiment, by extending the SDP, the respective information described above, further: they were defined as [a = PSNR 45] the new content attribute (Attribute). [PSNR:45]は、サーバが保持しているコンテンツの符号化データの態様を示す情報である。 [PSNR: 45] is information indicating the mode of the encoded data of the content server holds. PSNR:45は、サーバの保持するMPEG4符号化データのFGSエンハンスメント・レイヤ(Enhancement Layer)の情報を全て復号して得られる最高画質情報としてのPSNR(Peak Signal to Noise Ratio)の値を示す。 PSNR: 45 indicates the value of PSNR (Peak Signal to Noise Ratio) as the highest quality information obtained by decoding all the information of FGS enhancement layer of MPEG4 encoded data stored in the server (Enhancement Layer).
【0225】 [0225]
図34に戻り、サーバクライアント間の処理シーケンスの説明を続ける。 Returning to Figure 34, it continued description of the processing sequence between the server and the client. ステップS72において、クライアントはサーバからのコンテンツ仕様情報、すなわちサーバ保持データ態様識別情報をSDPによって取得する。 In step S72, the client obtains the content specification information from the server, i.e. the server holding data scheme identification information SDP. クライアントは、SDPから符号化データ情報としてサーバの保持するMPEG4符号化データの最高画質情報としてのPSNR(Peak Signal to Noise Ratio)の値[PSNR:45]を取得することができる。 Client, the value of PSNR (Peak Signal to Noise Ratio) as the highest quality information MPEG4 encoded data held in the server as coded data information from the SDP: it is possible to obtain the [PSNR 45].
【0226】 [0226]
クライアントは、受信SDPに含まれるサーバの有する符号化データ情報に基づいて、クライアントの希望する符号化画像データに応じた要求符号化データ情報を決定する。 Client, based on the encoded data information included in the server included in the received SDP, to determine the required coded data information corresponding to the encoded image data desired by the client. 例えば画質情報としてのPSNRの値として[PSNR:30]を設定する。 For example, as PSNR values ​​as image quality information: Set [PSNR 30]. この値は、クライアント装置のCPU、デコーダ、ディスプレイ等の仕様等に基づいて決定する。 This value is determined based on the CPU of the client device, the decoder, the specification of display or the like.
【0227】 [0227]
クライアントにおけるSDP受信からPLAYメソッド送信に至るまでの処理について、図36に示すフローを参照して説明する。 The processing from SDP received in the client up to the PLAY method transmission will be described with reference to the flowchart shown in FIG. 36. クライアントは、ステップS571において、サーバからSDPを受信するとステップS572において、画質情報、ここではサーバの保持するMPEG4符号化データの最高画質指標値:A[PSNR:45]をSDPから取得する。 The client, in step S571, in step S572 receives the SDP from the server, the image quality information, wherein the highest quality index value of the MPEG4 encoded data held in the server: A [PSNR: 45] to get the SDP.
【0228】 [0228]
次に、ステップS573においてクライアントの有するCPU、デコーダ、ディスプレイ等の情報に基づいて要求画質指標値:B[PSNR:30]を設定する。 Next, CPU included in the client in step S573, the decoder, the required image quality index value based on information such as a display: Set: [30 PSNR] B. ステップS574において、SDPから取得したサーバの保有するMPEG4符号化データの最高画質指標値:A[PSNR:45]と、要求画質指標値:B[PSNR:30]とが一致するか否かを判定する。 In step S574, the highest quality index value of MPEG4 encoded data held by the server acquired from the SDP: A [PSNR: 45] and the requested quality index: B [PSNR: 30] and it is determined whether match to.
【0229】 [0229]
要求画質を超えるデータは、伝送処理あるいは復号処理の無駄になるので、A≠Bである場合は、ステップS575において、A=Bとする更新処理を実行する。 Data that exceeds the required image quality, since a waste of transmission processing or decoding processing, if it is A ≠ B, at step S 575, executes the update processing of the A = B. A=Bが成立すると、ステップS576において、クライアントが受信したい符号化データ態様に対応する要求符号化データ情報を決定する。 When A = B is established, in step S576, to determine the required encoded data information that the client corresponding to encoded data scheme to be received. ここでは、要求画質:Bに相当するPSNR:30と決定するものとする。 Here, the request quality: PSNR corresponds to B: shall be 30 determined.
【0230】 [0230]
クライアントは、ステップS577において、決定した算要求符号化データ情報をプレイ[PLAY]メソッドに追加ヘッダとして格納してサーバに送信する。 The client, in step S 577, and transmits the determined calculated requested encoded data information to the play [PLAY] method to the server and stored as an additional header. クライアントからサーバに対して送信するRTSPのプレイ[PLAY]メソッドのデータ構成を図37(a)に示す。 The data structure of the RTSP play [PLAY] method for transmitting from the client to the server shown in FIG. 37 (a). [PLAY rtsp://server/contents/videoA. [PLAY rtsp: // server / contents / videoA. mpg RTSP/1.0]は、要求コンテンツであるビデオ情報(VideoA)の再生要求、すなわちプレイメソッドであることを示す情報である。 mpg RTSP / 1.0], the request for reproducing video information is a request content (Video A), that is, information indicating the play method. videoA. videoA. mpgは、MPEG符号化データであることを示している。 mpg indicates that the MPEG encoded data. その他の情報は実施例1と同様であり、説明を省略する。 Other information is the same as in Example 1, the description thereof is omitted.
【0231】 [0231]
図37(a)の最下段の行に記載された[PSNR:30]が、本実施例において、新たに定義したヘッダであり、クライアントが受信したい符号化データが、画質指標値としてPSNR:30を有する画像再生可能なデータであることを示している。 Figure 37 (a) lowermost rows is described in the [PSNR: 30] is, in this embodiment, a new header is defined, coded data to be received by the client is, PSNR as an image quality index value: 30 indicating that an image reproducible data with. 図37(b)は、クライアントからRTSPのプレイ[PLAY]メソッドを受信したサーバがクライアントに対して送信する受信確認[ACK]データである。 Figure 37 (b) is a reception acknowledgment [ACK] data server receiving the RTSP play [PLAY] method from the client sends to the client.
【0232】 [0232]
図34に示すシーケンス図では、ステップS74のACK送信において、図37(b)に示すACKデータがクライアントに送信され、続いて、ステップS75において、クライアントの要求する符号化データ、すなわちMPEG符号化データを構成するベースレイヤのデータと、画質指標値としてPSNR:30を有する画像再生可能なエンハンスメント・レイヤの符号化データが抽出され、抽出データをペイロードとしたRTPパケットを用いたストリーム配信がクライアントに対して実行される。 In the sequence diagram shown in FIG. 34, in the ACK transmission step S74, ACK data shown in FIG. 37 (b) is sent to the client, followed by the step S75, the encoded data requested by the client, namely MPEG encoded data a base layer of data constituting a as an image quality index value PSNR: 30 is an image reproducible enhancement layer encoded data is extracted with the stream delivery using RTP packets with payload extraction data to the client It is executed Te.
【0233】 [0233]
サーバ側では、クライアントから受信するPSNR値に応じて、先に説明した図33のEL付加量とPSNRとの対応関係に基づいて、EL付加量を決定して、決定したELデータとベースレイヤ(BL)データとを通信パケットのペイロードとして格納し、クライアントに送信する。 On the server side, according to PSNR value received from the client, based on the correspondence between the EL addition amount and PSNR of Figure 33 described earlier, to determine the EL additional amount, determined EL data and the base layer ( stores and BL) data as the payload of the communication packet, to the client.
【0234】 [0234]
なお、実施例6、7においてMPEG4によるFGS(Fine Granular Scalability)技術を適用した圧縮処理はDCTをベースとした動画像圧縮方式であるが、MPEGデータフォーマットに限らず、例えば他の画像圧縮フォーマットを規定しているJVT(Joint Video Team)を適用した場合でも、上述の処理と同様、クライアント要求に従って階層符号化データの選択、送信処理を実行することが可能である。 Although compression processing using FGS (Fine Granular Scalability) technique according to the MPEG4 in Examples 6 and 7 which is a moving image compression method which is based on DCT, not limited to MPEG data format, for example, other image compression format even when applying the provisions to which JVT (Joint Video Team), similar to the above-described process, the selection of hierarchically encoded data according to the client requests, it is possible to perform the transmission process.
【0235】 [0235]
[データ送受信装置構成例] [Data transceiver Configuration Example
図38に、上述の実施例で述べた一連の処理を実行するサーバおよびクライアントに対応するデータ送信装置、データ受信装置の構成例を示す。 Figure 38, a data transmission device for the server and the client for executing the series of processes described in the foregoing examples, an example of the configuration of a data receiving apparatus. 本発明のシステムで送受信されるデータは、階層符号化データであり、データ送信装置ではエンコード(符号化)処理が実行され、データ受信装置ではデコード(復号)処理が実行される。 Data transmitted and received in the system of the present invention is a hierarchically encoded data, encoded (encoding) process in the data transmission device is executed, the decode (decode) the data receiving device processing is executed. 符号化されたデータはIPパケットとしてネットワークを介して送受信する。 The encoded data is transmitted and received through the network as IP packets. そのため、データ送信側では、パケット生成(パケタイズ処理)を実行し、データ受信側ではパケット展開(デパケタイズ処理)を実行する。 Therefore, in the data transmitting side performs packet generation (packetizer), the data receiving side performs packet expansion (depacketizer).
【0236】 [0236]
図38に示すデータ送受信装置(ex.PC)850は、エンコード(符号化)処理、デコード(復号)処理を実行するとともにパケット生成、展開処理を実行するコーデック851、通信ネットワークとのインタフェースとして機能するネットワークインタフェース852、マウス837、キーボード836等の入力機器との入出力インタフェース853、ビデオカメラ833、マイク834、スピーカ835等のAVデータ入出力機器からのデータ入出力を行なうAVインタフェース854、ディスプレイ832に対するデータ出力インタフェースとしてのディスプレイ・インタフェース855、各データ入出力インタフェース、コーデック851、ネットワークインタフェース852間のデータ転送制御、その他各種プログラム制御を Data transceiver (Ex.PC) 850 shown in FIG. 38, the encoding (coding) processing, packet generation and executes decoding (decoding) process, the codec 851 which executes the expansion processing, and functions as an interface to the communication network network interface 852, a mouse 837, output interface 853 and the input devices such as a keyboard 836, a video camera 833, microphone 834, AV interface 854 for performing data input and output from the AV data input-output device such as a speaker 835, to the display 832 display interface 855 as a data output interface, the data input-output interface, the codec 851, the data transfer control among the network interface 852, and other various programs controlling 行するCPU856、CPU856により制御実行される各種プログラムの格納、データの格納、CPU856のワークエリアとして機能するRAM、ROMからなるメモリ857、データ格納、プログラム格納用の記憶媒体としてのHDD858を有し、それぞれPCIバス859に接続され、相互のデータ送受信が可能な構成を持つ。 A storage of various programs to be controlled out by rows to CPU856, CPU856, data storage, RAM functioning as a work area for the CPU856, a memory 857 formed of ROM, data storage, the HDD858 as a storage medium for storing programs, They are connected to each PCI bus 859, with which data can be transmitted and received mutually configuration.
【0237】 [0237]
コーデック851は、図38に示すように、例えばビデオカメラ833からの画像データ、マイク834からの音声データを入力し、階層符号化処理がなされて記憶部としてのHDD858に格納される。 Codec 851, as shown in FIG. 38, for example, image data from the video camera 833, enter the voice data from the microphone 834, the hierarchical encoding process is stored in the HDD858 of the storage unit is made. サーバはクライアントからの要求に応じて、制御部としてのCPU856の制御の下、記憶部から選択的に符号化データを抽出し、必要に応じて配列の調整を実行し、パケット生成処理(パケタイズ)を実行し、最終的に階層符号化データをペイロードとしたIPパケットを生成する。 Server in response to a request from the client, under the CPU856 control of the control unit, selectively extracts coded data from the storage unit, and executes the adjustment of the sequence optionally, the packet generation process (packetizing) is executed, it generates an IP packet payload finally hierarchically encoded data. 生成されたIPパケットは、PCIバス859上に出力され、ネットワークインタフェース852を介してネットワークに出力され、例えばIPパケットのヘッダに設定された宛先アドレスに配信される。 IP packets generated is output on the PCI bus 859, is output to the network via the network interface 852, is delivered, for example, in the header to the configured destination address of the IP packet.
【0238】 [0238]
また、HDD858またはメモリ857に格納されたソフトウェアエンコードプログラムに従ってCPU856の制御により、ビデオカメラ833からの画像データ、マイク834からの音声データを階層符号化してネットワークインタフェース852を介してネットワークに出力するソフトウェアによる処理を可能とした構成としてもよい。 Further, the control of the CPU856 according to the stored software encoding program in the HDD858 or the memory 857, the image data from the video camera 833, by software to output to a network via the network interface 852 hierarchically encodes the audio data from the microphone 834 processing may be possible with the construction of.
【0239】 [0239]
一方、ネットワークを介して入力するIPパケット化されたデータは、ネットワークインタフェース852を介して、バス859上に出力されて、コーデック851に入力される。 On the other hand, IP packetized data entered via the network through the network interface 852, is output on bus 859, are input to the codec 851. コーデック851では入力データのパケット展開処理(デパケタイズ)を実行し、ペイロードとして格納された階層符号化データを抽出後、復号処理を実行して、ディスプレイ832、スピーカ835において再生、出力する。 Perform the input data in the codec 851 packet expansion process (depacketizing), extracted hierarchically encoded data stored as the payload, by performing the decoding process, the display 832, reproduced in the speaker 835, and outputs.
【0240】 [0240]
上述の実施例における符号化処理対象となる画像等のデータは、カメラ他の入力機器、例えばスキャナ等のデータ入力装置、あるいはフレキシブルディスク、CD−ROM(Compact Disc Read Only Memory),MO(Magneto optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体から入力可能である。 Data such as an image to be encoded processed in the above embodiments, a camera other input devices, for example, data input device such as a scanner, or a flexible disk, CD-ROM (Compact Disc Read Only Memory), MO (Magneto optical ) disk, DVD (Digital Versatile disc), can be input from the magnetic disk, a removable recording medium such as a semiconductor memory.
【0241】 [0241]
また、CPU856は、ROM格納プログラムに限らず、ハードディスクに格納されているプログラム、衛星若しくはネットワークから転送され、受信されてインストールされたプログラム等を、RAM(Random Access Memory)等のメモリにロードして実行することも可能である。 Further, CPU856 is not limited to ROM storing programs, a program stored in the hard disk, is transferred from a satellite or a network, etc. received by installed programs, loaded into the memory such as RAM (Random Access Memory) it is also possible to run.
【0242】 [0242]
以上、特定の実施例を参照しながら、本発明について詳解してきた。 Above with reference to specific embodiments, the present invention has been described in detail. しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。 However, it is obvious that those skilled in the art without departing from the scope of the present invention can make modifications and substitutions of the embodiment. すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。 In other words, the foregoing discloses the present invention in the form of illustration and should not be construed as limiting. 本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。 In order to determine the scope of the invention it should be referred to the appended claims set forth at the outset.
【0243】 [0243]
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。 The series of processes described in the specification can be executed by hardware, software, or a combination of both. ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。 When the processes are executed by software, it recorded a program having a processing sequence may be installed into a memory within a computer embedded in dedicated hardware, or a program for various processes performed general purpose computer it is possible to install and run.
【0244】 [0244]
例えば、プログラムは記録媒体としてのハードディスクやROM(Read Only Memory)に予め記録しておくことができる。 For example, the program can be recorded beforehand in a hard disk or a ROM as a recording medium (Read Only Memory). あるいは、プログラムはフレキシブルディスク、CD−ROM(Compact Disc Read Only Memory),MO(Magneto optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。 Alternatively, the program flexible disk, CD-ROM (Compact Disc Read Only Memory), MO (Magneto optical) disc, DVD (Digital Versatile Disc), a magnetic disk, a removable recording medium such as a semiconductor memory, temporarily or permanently may be stored (recorded). このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。 Such a removable recording medium can be provided as so-called package software.
【0245】 [0245]
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。 The program may be installed from the removable recording medium to a computer from a download site, or wirelessly transferred to the computer, LAN (Local Area Network), via a network such as the Internet, or transferred by wire to the computer in the computer, it may be installed in a recording medium such as a hard disk for receiving the program transferred that way, be built.
【0246】 [0246]
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。 Note that the various processes described herein may when not only executed in sequence, also in parallel or individually depending on the processing capacity or need of an apparatus for performing the process as described. また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。 The system in this specification is a logical set of plural apparatuses and is not limited to apparatuses of respective configurations are in the same casing.
【0247】 [0247]
【発明の効果】 【Effect of the invention】
以上説明してきたように、本発明の構成によれば、階層符号化データの送信処理を実行するサーバと、サーバから階層符号化データを受信するクライアントからなるサーバクライアントシステムにおいて、クライアントからサーバに対して送信するデータ要求メッセージに、クライアントの要求する階層符号化データ態様を示す要求データ態様識別情報を格納して送信し、サーバが要求データ態様識別情報に基づいて、クライアント対応の符号化データを抽出または生成してクライアントに送信する処理を実行する構成としたので、クライアントの処理能力等に応じた最適なデータの送信が可能になる。 As described above, according to the configuration of the present invention, a server for executing a transmission process of hierarchically encoded data, in a server-client system comprising a client for receiving hierarchically encoded data from the server, to the server from the client the data request message to be transmitted Te, and transmits the stored request data scheme identification information indicative of a hierarchical coding data scheme requested by the client, based on the server request data scheme identification information, extracts the client corresponding encoded data or so generated and has a configuration for executing processing for transmitting to the client, it is possible to transmit optimum data corresponding to the client processing capability or the like.
【0248】 [0248]
また、本発明の構成によれば、サーバは、記憶部に格納する唯一の符号化データから、クライアントの要求に応じてデータ抽出により様々な構成のデータを送信データとすることが可能となるので、サーバは様々なタイプのデータを複数格納する必要がなく効率的な処理が可能となる。 Further, according to the configuration of the present invention, the server from only encoded data to be stored in the storage unit, it becomes possible to transmit data to data of various configurations by the data extraction in accordance with the client's request the server is capable efficient processing is not necessary to store a plurality of different types of data.
【0249】 [0249]
さらに、本発明の構成によれば、クライアントは、データ要求メッセージの送信前にサーバに対するデータ仕様要求の送信処理を実行し、サーバが応答として、サーバ保持データ態様識別情報を格納した応答メッセージをクライアントに送信し、クライアントは、サーバ保持データ態様識別情報に基づいて、クライアントの要求する階層符号化データ態様を決定することが可能となり、サーバが確実に保有する範囲でのデータ要求が可能となる。 Further, according to the configuration of the present invention, the client, the client executes a transmission process of data specifications request to the server before sending the data request message, the server as a response, a response message storing the server holding data scheme identification information sent to the client, based on the server holding data scheme identification information, it is possible to determine the hierarchical coding data scheme requested by the client, it is possible to request for data to the extent that the server is securely held.
【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS
【図1】本発明の適用可能なネットワーク構成例を示す図である。 1 is a diagram showing the applicable network configuration example of the present invention.
【図2】本発明のデータ送信装置の構成例を示す図である。 Is a diagram illustrating a configuration example of a data transmission device of the present invention; FIG.
【図3】ウェーブレット変換による符号化処理構成例を示す図である。 3 is a diagram showing an example encoding process configuration by wavelet transform.
【図4】ウェーブレット変換処理を説明する図である。 4 is a diagram illustrating a wavelet transform process.
【図5】本発明のデータ送信装置の有する符号化データ構成を説明する図である。 5 is a diagram illustrating an encoding data structure having the data transmission apparatus of the present invention.
【図6】本発明のデータ送信装置の有するJPEG200符号化データの構成例を説明する図である。 6 is a diagram for explaining a configuration example of a JPEG200 coded data included in the data transmission apparatus of the present invention.
【図7】本発明の第1実施例におけるサーバクライアント間の通信シーケンスを示す図である。 7 is a diagram showing a communication sequence between the server and the client in the first embodiment of the present invention.
【図8】本発明の第1実施例におけるサーバからクライアントに対して送信するメッセージデータ例を示す図である。 Is a diagram illustrating a message example of data transmitted from the server to the client in the first embodiment of the present invention; FIG.
【図9】本発明の第1実施例のクライアントにおけるSDP受信からプレイメソッド送信までの処理を示すフロー図である。 9 is a flowchart showing the process from SDP received to transmit the play method in the client in the first embodiment of the present invention.
【図10】本発明の第1実施例におけるクライアントの送信メッセージおよびサーバからの応答データ例を示す図である。 Is a diagram showing the response data example from the client sending the message and the server in the first embodiment of the present invention; FIG.
【図11】本発明の第1実施例のサーバにおけるPLAYメソッド受信から符号化データ送信までの処理を示すフロー図である。 11 is a flowchart showing the process from PLAY method received to the coded data transmitted in the server of the first embodiment of the present invention.
【図12】本発明の第1実施例におけるサーバからクライアントに送信される符号化データの構成を示す図である。 12 is a diagram showing a configuration of the encoding data transmitted from the server to the client in the first embodiment of the present invention.
【図13】本発明の第2実施例におけるサーバクライアント間の通信シーケンスを示す図である。 It is a diagram showing a communication sequence between the server and the client in the second embodiment of Figure 13 the present invention.
【図14】本発明の第2実施例におけるクライアントの送信メッセージおよびサーバからの応答データ例を示す図である。 14 is a diagram showing the response data example from the client sending the message and the server in the second embodiment of the present invention.
【図15】本発明の第2実施例のサーバにおけるPLAYメソッド受信から符号化データ送信までの処理を示すフロー図である。 15 is a flowchart showing the process from PLAY method received to the coded data transmitted in the server of the second embodiment of the present invention.
【図16】本発明の第2実施例におけるサーバからクライアントに送信される符号化データの構成を示す図である。 16 is a diagram showing a configuration of the encoding data transmitted from the server to the client in the second embodiment of the present invention.
【図17】本発明の第3実施例におけるサーバクライアント間の通信シーケンスを示す図である。 17 is a diagram showing a communication sequence between the server and the client in the third embodiment of the present invention.
【図18】本発明の第3実施例のクライアントにおけるSDP受信からプレイメソッド送信までの処理を示すフロー図である。 18 is a flowchart showing the process from SDP received to transmit the play method in the client of the third embodiment of the present invention.
【図19】本発明の第3実施例におけるクライアントの送信メッセージおよびサーバからの応答データ例を示す図である。 19 is a diagram showing the response data example from the client sending the message and the server in the third embodiment of the present invention.
【図20】本発明の第3実施例のサーバにおけるPLAYメソッド受信から符号化データ送信までの処理を示すフロー図である。 Figure 20 is a flow diagram showing the process from PLAY method received to the coded data transmitted in the server of the third embodiment of the present invention.
【図21】本発明の第3実施例におけるサーバからクライアントに送信される符号化データの構成を示す図である。 21 is a diagram showing a configuration of the encoding data transmitted from the server to the client in the third embodiment of the present invention.
【図22】本発明の第4実施例におけるサーバクライアント間の通信シーケンスを示す図である。 It is a diagram showing a communication sequence between the server and the client in the fourth embodiment of FIG. 22 the present invention.
【図23】本発明の第5実施例におけるサーバクライアント間の通信シーケンスを示す図である。 It is a diagram showing a communication sequence between the server and the client in the fifth embodiment of Figure 23 the present invention.
【図24】本発明の第5実施例におけるサーバからクライアントに対して送信するメッセージデータ例を示す図である。 It is a diagram illustrating a message example of data transmitted from the server to the client in the fifth embodiment of Figure 24 the present invention.
【図25】本発明の第5実施例のクライアントにおけるSDP受信からプレイメソッド送信までの処理を示すフロー図である。 FIG. 25 is a flow diagram showing the process from SDP received to transmit the play method in a client of a fifth embodiment of the present invention.
【図26】本発明の第5実施例におけるクライアントの送信メッセージおよびサーバからの応答データ例を示す図である。 26 is a diagram showing the response data example from the client sending the message and the server in the fifth embodiment of the present invention.
【図27】MPEGによる階層符号化データ構成を説明する図である。 27 is a diagram illustrating a hierarchical coded data configuration according to MPEG.
【図28】MPEGによる階層符号化データの分割例を説明する図である。 28 is a diagram illustrating an example of division of hierarchically encoded data by MPEG.
【図29】本発明の第6実施例におけるサーバクライアント間の通信シーケンスを示す図である。 It is a diagram showing a communication sequence between the server and the client in the sixth embodiment of FIG. 29 the present invention.
【図30】本発明の第6実施例におけるサーバからクライアントに対して送信するメッセージデータ例を示す図である。 It is a diagram illustrating a message example of data transmitted from the server to the client in the sixth embodiment of FIG. 30 the present invention.
【図31】本発明の第6実施例のクライアントにおけるSDP受信からプレイメソッド送信までの処理を示すフロー図である。 Figure 31 is a flow diagram showing the process from SDP received to transmit the play method in the client in the sixth embodiment of the present invention.
【図32】本発明の第6実施例におけるクライアントの送信メッセージおよびサーバからの応答データ例を示す図である。 32 is a diagram showing the response data example from the client sending the message and the server of the sixth embodiment of the present invention.
【図33】MPEG階層符号データのエンハンスメント・レイヤの付加量と画質(PSNR)の対応を示す図である。 33 is a diagram showing the correspondence between the additional amount of enhancement layer of the MPEG layer code data and image quality (PSNR).
【図34】本発明の第7実施例におけるサーバクライアント間の通信シーケンスを示す図である。 Is a diagram showing a communication sequence between the server and the client in the seventh embodiment of FIG. 34 the present invention.
【図35】本発明の第7実施例におけるサーバからクライアントに対して送信するメッセージデータ例を示す図である。 It is a diagram illustrating a message example of data transmitted from the server to the client in the seventh embodiment of FIG. 35 the present invention.
【図36】本発明の第7実施例のクライアントにおけるSDP受信からプレイメソッド送信までの処理を示すフロー図である。 Figure 36 is a flow diagram showing the process from SDP received to transmit the play method in the client of the seventh embodiment of the present invention.
【図37】本発明の第7実施例におけるクライアントの送信メッセージおよびサーバからの応答データ例を示す図である。 Is a diagram showing the response data example from the client sending the message and the server according to the seventh embodiment of FIG. 37 the present invention.
【図38】データ送信装置およびデータ受信装置のシステム構成例を示す図である。 38 is a diagram showing a system configuration of a data transmitting apparatus and a data receiving apparatus.
【符号の説明】 DESCRIPTION OF SYMBOLS
11 サーバ12 ネットワーク13 基地局21,22,23 クライアント100 サーバ101 制御部102 エンコーダ103 記憶部104 通信パケット処理部105 データ送受信部859 PCIバス832 ディスプレイ833 ビデオカメラ834 マイク835 スピーカ837 マウス838 キーボード850 データ送受信装置851 コーデック852 ネットワークインタフェース853 入出力インタフェース854 AVインタフェース855 ディスプレイインタフェース856 CPU 11 server 12 network 13 the base station 21, 22, 23 the client 100 the server 101 controller 102 encoder 103 storage unit 104 communication packet processing unit 105 data transceiver 859 PCI bus 832 display 833 video camera 834 microphone 835 speaker 837 mouse 838 keyboard 850 data transceiver 851 codec 852 network interface 853 input and output interface 854 AV interface 855 display interface 856 CPU
857 メモリ858 HDD 857 memory 858 HDD

Claims (39)

  1. 階層符号化データの送信処理を実行するサーバと、前記サーバから階層符号化データを受信するクライアントからなるサーバクライアントシステムであり、 A server for executing a transmission process of hierarchically encoded data, a server-client system comprising a client for receiving hierarchically encoded data from the server,
    前記クライアントは、 The client is,
    前記サーバに対して送信するデータ要求メッセージに、クライアントの要求する階層符号化データ態様を示す要求データ態様識別情報を格納して送信する処理を実行する構成を有し、 The data request message to be transmitted to the server has a configuration to execute a process of transmitting the stored request data scheme identification information indicative of a hierarchical coding data scheme requested by the client,
    前記サーバは、 The server,
    前記クライアントから受信するデータ要求メッセージに含まれる前記要求データ態様識別情報に基づいて、該要求データ態様識別情報に対応する符号化データを記憶部から抽出または生成し、前記クライアントに対して送信する処理を実行する構成を有することを特徴とするサーバクライアントシステム。 Processing based on the request data scheme identification information included in the data request message received from the client, the coded data corresponding to the request data scheme identification information extracted or generated from the storage unit, and transmits to the client server-client system, characterized by having a configuration to run.
  2. 前記クライアントは、 The client is,
    制御情報通信プロトコルとしてのRTSP(Real−time Streaming Protocol)に従ったプレイ[PLAY]メソッドの記述中に前記要求データ態様識別情報を格納して前記サーバに送信する処理を実行する構成であり、 Storing the requested data scheme identification information in the description of the play [PLAY] Methods in accordance with the RTSP (Real-time Streaming Protocol) as control information the communication protocol is configured to perform a process of transmitting to said server,
    前記サーバは、 The server,
    前記クライアントから受信するプレイ[PLAY]メソッドの記述中から、前記要求データ態様識別情報を取得し、取得した要求データ態様識別情報に対応する符号化データの抽出または生成処理を実行する構成であることを特徴とする請求項1に記載のサーバクライアントシステム。 From in the description of the play [PLAY] method of receiving from the client that acquires the request data scheme identification information, is configured to perform extraction or generation processing of encoded data corresponding to the acquired requested data scheme identification information server-client system according to claim 1, wherein the.
  3. 前記階層符号化データは、JPEG2000フォーマットデータであり、 The hierarchical encoded data is JPEG2000 format data,
    前記要求データ態様識別情報は、解像度情報、画質情報の少なくともいすれかの情報を含むことを特徴とする請求項1に記載のサーバクライアントシステム。 Server-client system according to claim 1 wherein the request data scheme identification information, which comprises resolution information, at least Isure of information quality information.
  4. 前記階層符号化データは、JPEG2000フォーマットデータであり、 The hierarchical encoded data is JPEG2000 format data,
    前記要求データ態様識別情報は、1フレームあたりのJPEG2000符号化データパケット(JP2パケット)数であることを特徴とする請求項1に記載のサーバクライアントシステム。 The requested data scheme identification information, the server client system according to claim 1, characterized in that the JPEG2000 coded data packet (JP2 packets) per frame.
  5. 前記階層符号化データは、JPEG2000フォーマットデータであり、 The hierarchical encoded data is JPEG2000 format data,
    前記要求データ態様識別情報は、JPEG2000符号化データにおけるプログレッションタイプとしてのLRCP(Layer−resolution level−component−position progression)、またはRLCP(Resolution level−layer−component−position progression)いずれかの指定情報を含むことを特徴とする請求項1に記載のサーバクライアントシステム。 The requested data scheme identification information includes LRCP (Layer-resolution level-component-position progression), or RLCP (Resolution level-layer-component-position progression) any of the specified information as progression types in JPEG2000 coded data server-client system according to claim 1, characterized in that.
  6. 前記要求データ態様識別情報は、階層符号化データの生成処理に伴うウェーブレット変換回数値に相当するR値、またはレイヤ数に相当するL値の少なくともいずれかの指定情報を含むことを特徴とする請求項1に記載のサーバクライアントシステム。 Wherein said request data scheme identification information, characterized in that it comprises at least one of the specified information L value corresponding to the R value or number of layers, corresponding to the wavelet transform count value associated with the generation process of hierarchically encoded data server-client system according to claim 1.
  7. 前記階層符号化データは、MPEGフォーマットデータであり、 The hierarchical encoded data is MPEG format data,
    前記要求データ態様識別情報は、MPEG符号化データにおけるエンハンスメント・レイヤの分割数であることを特徴とする請求項1に記載のサーバクライアントシステム。 The requested data scheme identification information, the server client system according to claim 1, characterized in that the number of divisions of the enhancement layer in the MPEG encoded data.
  8. 前記階層符号化データは、MPEGフォーマットデータであり、 The hierarchical encoded data is MPEG format data,
    前記要求データ態様識別情報は、MPEG符号化データにおけるエンハンスメント・レイヤの情報量を決定する画質指標値としてのPSNR(Peak Signal toNoise Ratio)の値であることを特徴とする請求項1に記載のサーバクライアントシステム。 The requested data scheme identification information server according to claim 1, characterized in that the value of PSNR (Peak Signal toNoise Ratio) as the image quality index value for determining the information amount of the enhancement layer in the MPEG encoded data client system.
  9. 前記クライアントは、前記データ要求メッセージの送信前にサーバに対するデータ仕様要求の送信処理を実行し、前記サーバは、前記クライアントから受信するデータ仕様要求の応答として、サーバ保持データ態様識別情報を格納した応答メッセージを前記クライアントに送信する処理を実行する構成であり、 Response the client performs a process of transmitting data specifications request to the server before sending the data request message, wherein the server, the response of the data specifications requests received from the client, storing the server holding data scheme identification information and a message configured to perform processing of transmitting to the client,
    前記クライアントは、前記サーバから受信する応答メッセージ中からサーバ保持データ態様識別情報を取得し、該取得情報に基づいて、クライアントの要求する階層符号化データ態様を決定し、該決定情報を前記要求データ態様識別情報として前記データ要求メッセージに格納して前記サーバに送信する処理を実行する構成であることを特徴とする請求項1に記載のサーバクライアントシステム。 The client, the acquires the server holding data scheme identification information from the response message received from the server, based on the acquired information, determines a hierarchical coded data scheme requested by the client, the request data the determination information server-client system according to claim 1, characterized in that stored in the data request message as an aspect identification information is configured to perform processing of transmitting to the server.
  10. 前記クライアントは、制御情報通信プロトコルとしてのRTSP(Real−time Streaming Protocol)に従ったデスクライブ[DESCRIBE]メソッドによりデータ仕様要求を前記サーバに送信し、 The client sends the data specification request to the server by desk Live [DESCRIBE] Methods in accordance with the RTSP (Real-time Streaming Protocol) as the control information communications protocol,
    前記サーバは、前記クライアントから受信する前記デスクライブ[DESCRIBE]メソッドの応答として、サーバ保持データ態様識別情報を格納した応答メッセージを前記クライアントに送信し、 The server, in response to the desk Live [DESCRIBE] method of receiving from the client, sends a response message containing the server holding data scheme identification information to the client,
    前記クライアントは、前記サーバから受信する応答メッセージ中からサーバ保持データ態様識別情報を取得し、該取得情報に基づいて、クライアントの要求する階層符号化データ態様を決定し、該決定情報を前記要求データ態様識別情報としてRTSPに従ったプレイ[PLAY]メソッドの記述中に格納して前記サーバに送信する処理を実行する構成であることを特徴とする請求項9に記載のサーバクライアントシステム。 The client, the acquires the server holding data scheme identification information from the response message received from the server, based on the acquired information, determines a hierarchical coded data scheme requested by the client, the request data the determination information server-client system according to claim 9, characterized in that stored as aspects identification information in the description of the play [PLAY] methods in accordance with the RTSP is configured to perform processing of transmitting to the server.
  11. 前記階層符号化データは、JPEG2000フォーマットデータであり、 The hierarchical encoded data is JPEG2000 format data,
    前記要求データ態様識別情報および前記サーバ保持データ態様識別情報は、解像度情報、画質情報の少なくともいすれかの情報を含むことを特徴とする請求項9に記載のサーバクライアントシステム。 Server-client system according to claim 9 wherein the request data scheme identification information and the server holds data scheme identification information, which comprises resolution information, at least Isure of information quality information.
  12. 前記階層符号化データは、JPEG2000フォーマットデータであり、 The hierarchical encoded data is JPEG2000 format data,
    前記要求データ態様識別情報および前記サーバ保持データ態様識別情報は、JPEG2000符号化データにおけるプログレッションタイプとしてのLRCP(Layer−resolution level−component−position progression)、またはRLCP(Resolution level−layer−component−position progression)いずれかの指定情報を含むことを特徴とする請求項9に記載のサーバクライアントシステム。 The requested data scheme identification information and the server holds data scheme identification information, LRCP as progression types in JPEG2000 coded data (Layer-resolution level-component-position progression), or RLCP (Resolution level-layer-component-position progression ) server-client system according to claim 9, characterized in that one or more of the specified information.
  13. 前記要求データ態様識別情報および前記サーバ保持データ態様識別情報は、階層符号化データの生成処理に伴うウェーブレット変換回数値に相当するR値、またはレイヤ数に相当するL値の少なくともいずれかの指定情報を含むことを特徴とする請求項9に記載のサーバクライアントシステム。 The requested data scheme identification information and the server holds data scheme identification information, at least one of the specified information L value corresponding to the R value or number of layers, corresponding to the wavelet transform count value associated with the generation process of hierarchically encoded data server-client system according to claim 9, characterized in that it comprises a.
  14. 前記階層符号化データは、MPEGフォーマットデータであり、 The hierarchical encoded data is MPEG format data,
    前記要求データ態様識別情報および前記サーバ保持データ態様識別情報は、MPEG符号化データにおけるエンハンスメント・レイヤの分割数であることを特徴とする請求項9に記載のサーバクライアントシステム。 The requested data scheme identification information and the server holds data scheme identification information, the server client system according to claim 9, characterized in that the number of divisions of the enhancement layer in the MPEG encoded data.
  15. 前記階層符号化データは、MPEGフォーマットデータであり、 The hierarchical encoded data is MPEG format data,
    前記要求データ態様識別情報および前記サーバ保持データ態様識別情報は、MPEG符号化データにおけるエンハンスメント・レイヤの情報量を決定する画質指標値としてのPSNR(Peak Signal to Noise Ratio)の値であることを特徴とする請求項9に記載のサーバクライアントシステム。 Wherein the request data scheme identification information and the server holds data scheme identification information is a value of PSNR (Peak Signal to Noise Ratio) as the image quality index value for determining the information amount of the enhancement layer in the MPEG encoded data server-client system according to claim 9,.
  16. 階層符号化データの送信処理を実行するサーバとしてのデータ送信装置であり、 A data transmission apparatus serving as a server for executing transmission processing hierarchically encoded data,
    クライアントとのデータ送受信を実行する通信部と、 A communication unit for performing data transmission and reception with the client,
    前記通信部を介してクライアントから受信するデータ要求メッセージに含まれる要求データ態様識別情報に基づいて、該要求データ態様識別情報に対応する符号化データを記憶部から抽出または生成する制御部と、 Based on the request data scheme identification information included in the data request message received from the client via the communication unit, a control unit for extracting or generating encoded data corresponding to the request data scheme identification information from the storage unit,
    前記制御部の制御の下に抽出または生成した符号化データを格納した通信パケットを生成する通信パケット処理部とを有し、 A communication packet processing unit and for generating a communication packet storing the encoded data extracted or generated under the control of the control unit,
    前記通信パケット処理部において生成したクライアント対応の符号化データを格納した通信パケットをクライアントに対して送信する処理を実行する構成を有することを特徴とするデータ送信装置。 Data transmission apparatus characterized by having a configuration to execute a process of transmitting a communication packet storing the client corresponding encoded data generated in the communication packet processing unit to the client.
  17. 前記クライアントは、制御情報通信プロトコルとしてのRTSP(Real−time Streaming Protocol)に従ったプレイ[PLAY]メソッドの記述中に前記要求データ態様識別情報を格納して前記サーバに送信する処理を実行する構成であり、 Configuration the client is to be executed by storing the requested data scheme identification information in the description of the play [PLAY] Methods in accordance with the RTSP (Real-time Streaming Protocol) as the control information communication protocol processing for transmitting to the server It is in,
    前記制御部は、 Wherein,
    前記クライアントから受信するプレイ[PLAY]メソッドの記述中から、前記要求データ態様識別情報を取得し、取得した要求データ態様識別情報に対応する符号化データの抽出または生成処理を実行する構成であることを特徴とする請求項16に記載のデータ送信装置。 From in the description of the play [PLAY] method of receiving from the client that acquires the request data scheme identification information, is configured to perform extraction or generation processing of encoded data corresponding to the acquired requested data scheme identification information data transmission device according to claim 16, wherein.
  18. 前記データ送信装置は、 Wherein the data transmission device,
    前記通信部を介してクライアントからデータ仕様要求を受信し、 Receiving the data specifications request from the client via the communication unit,
    前記制御部は、 Wherein,
    記憶部に格納した階層符号化データの態様情報としてのサーバ保持データ態様識別情報を格納した応答メッセージを前記クライアントに送信する処理を実行する構成であることを特徴とする請求項16に記載のデータ送信装置。 Data according to claim 16, characterized in that the response message contains the server holding data scheme identification information as mode information hierarchically encoded data stored in the storage unit is configured to perform processing of transmitting to the client the transmission device.
  19. 前記階層符号化データは、JPEG2000フォーマットデータであり、 The hierarchical encoded data is JPEG2000 format data,
    前記サーバ保持データ態様識別情報は、解像度情報、画質情報の少なくともいすれかの情報を含むことを特徴とする請求項18に記載のデータ送信装置。 The server holding data scheme identification information, the data transmission apparatus according to claim 18, characterized in that it comprises resolution information, at least Isure of information quality information.
  20. 前記階層符号化データは、JPEG2000フォーマットデータであり、 The hierarchical encoded data is JPEG2000 format data,
    前記サーバ保持データ態様識別情報は、JPEG2000符号化データにおけるプログレッションタイプとしてのLRCP(Layer−resolution level−component−position progression)、またはRLCP(Resolution level−layer−component−position progression)いずれかの指定情報を含むことを特徴とする請求項18に記載のデータ送信装置。 The server holding data scheme identification information, LRCP as progression types in JPEG2000 coded data (Layer-resolution level-component-position progression), or RLCP the (Resolution level-layer-component-position progression) any of the specified information data transmission device according to claim 18, characterized in that it comprises.
  21. 前記サーバ保持データ態様識別情報は、階層符号化データの生成処理に伴うウェーブレット変換回数値に相当するR値、またはレイヤ数に相当するL値の少なくともいずれかの指定情報を含むことを特徴とする請求項18に記載のデータ送信装置。 The server holding data scheme identification information is characterized in that it comprises at least one of the specified information L value corresponding to the R value or number of layers, corresponding to the wavelet transform count value associated with the generation process of hierarchically encoded data data transmission device according to claim 18.
  22. 前記階層符号化データは、MPEGフォーマットデータであり、 The hierarchical encoded data is MPEG format data,
    前記サーバ保持データ態様識別情報は、MPEG符号化データにおけるエンハンスメント・レイヤの分割数であることを特徴とする請求項18に記載のデータ送信装置。 The server holding data scheme identification information, the data transmission apparatus according to claim 18, characterized in that the number of divisions of the enhancement layer in the MPEG encoded data.
  23. 前記階層符号化データは、MPEGフォーマットデータであり、 The hierarchical encoded data is MPEG format data,
    前記要求データ態様識別情報および前記サーバ保持データ態様識別情報は、MPEG符号化データにおけるエンハンスメント・レイヤの情報量を決定する画質指標値としてのPSNR(Peak Signal to Noise Ratio)の値であることを特徴とする請求項18に記載のデータ送信装置。 Wherein the request data scheme identification information and the server holds data scheme identification information is a value of PSNR (Peak Signal to Noise Ratio) as the image quality index value for determining the information amount of the enhancement layer in the MPEG encoded data data transmission device according to claim 18,.
  24. サーバから階層符号化データを受信するクライアントとしてのデータ受信装置であり、 A data receiving apparatus as a client for receiving hierarchically encoded data from the server,
    前記データ受信装置は、 The data receiving apparatus,
    サーバとのデータ送受信を実行する通信部と、 A communication unit for performing data transmission and reception with the server,
    自己の要求する階層符号化データ態様の決定処理を実行し、決定情報を前記通信部を介してサーバに送信するデータ要求メッセージに格納する要求データ態様識別情報として設定する制御部とを有し、 Run the determination process of the hierarchical coding data mode of self-request, the decision information via the communication unit and a control unit for setting a request data mode identification information stored in the data request message to the server,
    サーバに対する階層符号化データの要求メッセージ中に、前記要求データ態様識別情報を格納して送信する処理を実行する構成を有することを特徴とするデータ受信装置。 During the hierarchically encoded data request message to the server, the data receiving apparatus characterized by having a configuration for executing processing for transmitting and storing the requested data scheme identification information.
  25. 前記データ受信装置は、 The data receiving apparatus,
    制御情報通信プロトコルとしてのRTSP(Real−time Streaming Protocol)に従ったプレイ[PLAY]メソッドの記述中に前記要求データ態様識別情報を格納して前記サーバに送信する処理を実行する構成であることを特徴とする請求項24に記載のデータ受信装置。 That stores the requested data scheme identification information in the description of the play [PLAY] Methods in accordance with the RTSP (Real-time Streaming Protocol) as the control information communication protocol is configured to perform processing of transmitting to the server data receiving apparatus of claim 24, wherein.
  26. 前記階層符号化データは、JPEG2000フォーマットデータであり、 The hierarchical encoded data is JPEG2000 format data,
    前記要求データ態様識別情報は、解像度情報、画質情報の少なくともいすれかの情報を含むことを特徴とする請求項24に記載のデータ受信装置。 The requested data scheme identification information, resolution information, the data receiving apparatus according to claim 24, characterized in that it comprises at least Isure of information quality information.
  27. 前記階層符号化データは、JPEG2000フォーマットデータであり、 The hierarchical encoded data is JPEG2000 format data,
    前記要求データ態様識別情報は、1フレームあたりのJPEG2000符号化データパケット(JP2パケット)数であることを特徴とする請求項24に記載のデータ受信装置。 The requested data scheme identification information, the data receiving apparatus according to claim 24, characterized in that the JPEG2000 coded data packet (JP2 packets) per frame.
  28. 前記階層符号化データは、JPEG2000フォーマットデータであり、 The hierarchical encoded data is JPEG2000 format data,
    前記要求データ態様識別情報は、JPEG2000符号化データにおけるプログレッションタイプとしてのLRCP(Layer−resolution level−component−position progression)、またはRLCP(Resolution level−layer−component−position progression)いずれかの指定情報を含むことを特徴とする請求項24に記載のデータ受信装置。 The requested data scheme identification information includes LRCP (Layer-resolution level-component-position progression), or RLCP (Resolution level-layer-component-position progression) any of the specified information as progression types in JPEG2000 coded data data receiving apparatus of claim 24, wherein the.
  29. 前記要求データ態様識別情報は、階層符号化データの生成処理に伴うウェーブレット変換回数値に相当するR値、またはレイヤ数に相当するL値の少なくともいずれかの指定情報を含むことを特徴とする請求項24に記載のデータ受信装置。 Wherein said request data scheme identification information, characterized in that it comprises at least one of the specified information L value corresponding to the R value or number of layers, corresponding to the wavelet transform count value associated with the generation process of hierarchically encoded data data receiving apparatus according to claim 24.
  30. 前記階層符号化データは、MPEGフォーマットデータであり、 The hierarchical encoded data is MPEG format data,
    前記要求データ態様識別情報は、MPEG符号化データにおけるエンハンスメント・レイヤの分割数であることを特徴とする請求項24に記載のデータ受信装置。 The requested data scheme identification information, the data receiving apparatus according to claim 24, characterized in that the number of divisions of the enhancement layer in the MPEG encoded data.
  31. 前記階層符号化データは、MPEGフォーマットデータであり、 The hierarchical encoded data is MPEG format data,
    前記要求データ態様識別情報は、MPEG符号化データにおけるエンハンスメント・レイヤの情報量を決定する画質指標値としてのPSNR(Peak Signal toNoise Ratio)の値であることを特徴とする請求項24に記載のデータ受信装置。 The requested data scheme identification information, the data according to claim 24, characterized in that the value of PSNR (Peak Signal toNoise Ratio) as the image quality index value for determining the information amount of the enhancement layer in the MPEG encoded data the receiving device.
  32. 前記データ受信装置は、前記データ要求メッセージの送信前にサーバに対するデータ仕様要求の送信処理を実行するとともに、前記サーバから受信する応答メッセージ中からサーバ保持データ態様識別情報を取得し、該取得情報に基づいて、自己の要求する階層符号化データ態様を決定し、該決定情報を前記要求データ態様識別情報として前記データ要求メッセージに格納して前記サーバに送信する処理を実行する構成であることを特徴とする請求項24に記載のデータ受信装置。 The data receiving apparatus is configured to perform a transmission processing of the data specification request to the server before sending the data request message, acquires the server holding data scheme identification information from the response message received from the server, on the obtained information based on, characterized by determining the hierarchically encoded data scheme to be self-request, is configured to be stored in the data request message the determined information as the request data mode identifier to execute a process of transmitting to the server data receiving apparatus according to claim 24,.
  33. 階層符号化データの送信処理を実行するデータ送信方法であり、 A data transmission method for performing transmission processing hierarchically encoded data,
    クライアントからデータ要求メッセージを受信するステップと、 Receiving a data request message from the client,
    前記データ要求メッセージに含まれる要求データ態様識別情報に基づいて、該要求データ態様識別情報に対応する符号化データを記憶部から抽出または生成する制御ステップと、 Based on the request data scheme identification information included in the data request message, a control step of extracting or generating encoded data corresponding to the request data scheme identification information from the storage unit,
    抽出または生成した符号化データを格納した通信パケットを生成する通信パケット生成ステップと、 A communication packet generation step of generating a communication packet storing extracted or generated encoded data,
    クライアント対応の符号化データを格納した通信パケットをクライアントに対して送信するステップと、 Transmitting a communication packet storing the client corresponding encoded data to the client,
    を有することを特徴とするデータ送信方法。 Data transmission method characterized in that it comprises a.
  34. 前記制御ステップは、 The control step,
    前記クライアントから受信するプレイ[PLAY]メソッドの記述中から、前記要求データ態様識別情報を取得し、取得した要求データ態様識別情報に対応する符号化データの抽出または生成処理を実行するステップであることを特徴とする請求項33に記載のデータ送信方法。 From in the description of the play [PLAY] method of receiving from the client that acquires the request data scheme identification information, a step of performing extraction or generation processing of encoded data corresponding to the acquired requested data scheme identification information data transmission method according to claim 33, wherein.
  35. 前記データ送信方法は、さらに、 The data transmission method may further
    前記通信部を介してクライアントからデータ仕様要求を受信するステップと、 Receiving a data specification request from the client via the communication unit,
    記憶部に格納した階層符号化データの態様情報としてのサーバ保持データ態様識別情報を格納した応答メッセージを前記クライアントに送信するステップと、 And transmitting a response message containing the server holding data scheme identification information as mode information hierarchically encoded data stored in the storage unit to the client,
    を有することを特徴とする請求項33に記載のデータ送信方法。 Data transmission method according to claim 33, characterized in that it comprises a.
  36. サーバに対する階層符号化データの要求処理を実行するデータ要求処理方法であり、 A data request processing method for performing a request process of hierarchically encoded data to the server,
    自己の要求する階層符号化データ態様の決定処理を実行する要求データ態様決定ステップと、 A request data scheme determining step of performing a process of determining the hierarchically encoded data mode of self-request,
    サーバに送信するデータ要求メッセージに前記決定ステップにおいて決定した要求データ態様を要求データ態様識別情報として格納するステップと、 And storing the requested data mode determined in said determining step to a data request message to be transmitted to the server as a request data scheme identification information,
    前記データ要求メッセージをサーバに対して送信するステップと、 And transmitting the data request message to the server,
    を有することを特徴とするデータ要求処理方法。 Data request processing method characterized in that it comprises a.
  37. 前記データ要求メッセージは、制御情報通信プロトコルとしてのRTSP(Real−time Streaming Protocol)に従ったプレイ[PLAY]メソッドとしてサーバに対して送信することを特徴とする請求項36に記載のデータ要求処理方法。 Wherein the data request message, the data request processing method according to claim 36, characterized by transmitting to the server as a play [PLAY] Methods in accordance with the RTSP (Real-time Streaming Protocol) as the control information and communication protocol .
  38. 階層符号化データの送信処理を実行するデータ送信処理を実行するコンピュータ・プログラムであって、 A computer program for performing data transmission processing for executing transmission processing hierarchically encoded data,
    クライアントからデータ要求メッセージを受信するステップと、 Receiving a data request message from the client,
    前記データ要求メッセージに含まれる要求データ態様識別情報に基づいて、該要求データ態様識別情報に対応する符号化データを記憶部から抽出または生成する制御ステップと、 Based on the request data scheme identification information included in the data request message, a control step of extracting or generating encoded data corresponding to the request data scheme identification information from the storage unit,
    抽出または生成した符号化データを格納した通信パケットを生成する通信パケット生成ステップと、 A communication packet generation step of generating a communication packet storing extracted or generated encoded data,
    クライアント対応の符号化データを格納した通信パケットをクライアントに対して送信するステップと、 Transmitting a communication packet storing the client corresponding encoded data to the client,
    を具備することを特徴とするコンピュータ・プログラム。 Computer program characterized by comprising a.
  39. サーバに対する階層符号化データの要求処理を実行するデータ要求処理を実行するコンピュータ・プログラムであって、 A computer program for executing a data request process for performing request processing hierarchically encoded data to the server,
    自己の要求する階層符号化データ態様の決定処理を実行する要求データ態様決定ステップと、 A request data scheme determining step of performing a process of determining the hierarchically encoded data mode of self-request,
    サーバに送信するデータ要求メッセージに前記決定ステップにおいて決定した要求データ態様を要求データ態様識別情報として格納するステップと、 And storing the requested data mode determined in said determining step to a data request message to be transmitted to the server as a request data scheme identification information,
    前記データ要求メッセージをサーバに対して送信するステップと、 And transmitting the data request message to the server,
    を具備することを特徴とするコンピュータ・プログラム。 Computer program characterized by comprising a.
JP2002356980A 2002-12-09 Pending JP2004192140A5 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002356980A JP2004192140A5 (en) 2002-12-09

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002356980A JP2004192140A5 (en) 2002-12-09

Publications (2)

Publication Number Publication Date
JP2004192140A true true JP2004192140A (en) 2004-07-08
JP2004192140A5 true JP2004192140A5 (en) 2006-01-26

Family

ID=

Cited By (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007329747A (en) * 2006-06-08 2007-12-20 Ikegami Tsushinki Co Ltd Image processor and image processing method, and monitor system using the same
JP2009296144A (en) * 2008-06-03 2009-12-17 Mitsubishi Electric Corp Digital video data transmission apparatus, digital video data reception apparatus, digital video data transport system, digital video data transmission method, digital video data reception method, and digital video data transport method
JP2010114814A (en) * 2008-11-10 2010-05-20 Nec Corp Moving image processor
JP2010212942A (en) * 2009-03-10 2010-09-24 Nec Corp System, method, device and program for video distribution
JP2010536232A (en) * 2007-08-23 2010-11-25 サムスン エレクトロニクス カンパニー リミテッド Method and apparatus for determining preferred image format between the mobile video phone
JP2012090016A (en) * 2010-10-18 2012-05-10 Canon Inc Video processing device, control method therefor, and program
JP2012517778A (en) * 2009-02-12 2012-08-02 クゥアルコム・インコーポレイテッドQualcomm Incorporated Union procedures that enable multiple multicast streams
JP2012175626A (en) * 2011-02-24 2012-09-10 Kddi Corp Super-resolution apparatus for distribution video and super-resolution video playback device
JP2013025645A (en) * 2011-07-22 2013-02-04 Canon Inc Information processing apparatus, information processing method, and program
JPWO2011030811A1 (en) * 2009-09-14 2013-02-07 日本電気株式会社 Distribution system, a gateway, distribution method and a program
JP2013505681A (en) * 2009-09-22 2013-02-14 クゥアルコム・インコーポレイテッドQualcomm Incorporated Extended block using scalable coding - request Streaming
US8674957B2 (en) 2011-02-04 2014-03-18 Qualcomm Incorporated User input device for wireless back channel
US8806050B2 (en) 2010-08-10 2014-08-12 Qualcomm Incorporated Manifest file updates for network streaming of coded multimedia data
US8811294B2 (en) 2008-04-04 2014-08-19 Qualcomm Incorporated Apparatus and methods for establishing client-host associations within a wireless network
US8887020B2 (en) 2003-10-06 2014-11-11 Digital Fountain, Inc. Error-correcting multi-stage code generator and decoder for communication systems having single transmitters or multiple transmitters
US8918533B2 (en) 2010-07-13 2014-12-23 Qualcomm Incorporated Video switching for streaming video data
US8958375B2 (en) 2011-02-11 2015-02-17 Qualcomm Incorporated Framing for an improved radio link protocol including FEC
US8964783B2 (en) 2011-01-21 2015-02-24 Qualcomm Incorporated User input back channel for wireless displays
US9065876B2 (en) 2011-01-21 2015-06-23 Qualcomm Incorporated User input back channel from a wireless sink device to a wireless source device for multi-touch gesture wireless displays
US9136983B2 (en) 2006-02-13 2015-09-15 Digital Fountain, Inc. Streaming and buffering using variable FEC overhead and protection periods
US9136878B2 (en) 2004-05-07 2015-09-15 Digital Fountain, Inc. File download and streaming system
US9178535B2 (en) 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
US9185439B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
US9191151B2 (en) 2006-06-09 2015-11-17 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US9198084B2 (en) 2006-05-26 2015-11-24 Qualcomm Incorporated Wireless architecture for a traditional wire-based protocol
US9236885B2 (en) 2002-10-05 2016-01-12 Digital Fountain, Inc. Systematic encoding and decoding of chain reaction codes
US9236976B2 (en) 2001-12-21 2016-01-12 Digital Fountain, Inc. Multi stage code generator and decoder for communication systems
US9237101B2 (en) 2007-09-12 2016-01-12 Digital Fountain, Inc. Generating and communicating source identification information to enable reliable communications
US9240810B2 (en) 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
US9246633B2 (en) 1998-09-23 2016-01-26 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US9264069B2 (en) 2006-05-10 2016-02-16 Digital Fountain, Inc. Code generator and decoder for communications systems operating using hybrid codes to allow for multiple efficient uses of the communications systems
US9264248B2 (en) 2009-07-02 2016-02-16 Qualcomm Incorporated System and method for avoiding and resolving conflicts in a wireless mobile display digital interface multicast environment
US9270299B2 (en) 2011-02-11 2016-02-23 Qualcomm Incorporated Encoding and decoding using elastic codes with flexible source block mapping
US9270414B2 (en) 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
US9281847B2 (en) 2009-02-27 2016-03-08 Qualcomm Incorporated Mobile reception of digital video broadcasting—terrestrial services
US9288010B2 (en) 2009-08-19 2016-03-15 Qualcomm Incorporated Universal file delivery methods for providing unequal error protection and bundled file delivery services
US9294226B2 (en) 2012-03-26 2016-03-22 Qualcomm Incorporated Universal object delivery and template-based file delivery
US9380096B2 (en) 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US9386064B2 (en) 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US9398089B2 (en) 2008-12-11 2016-07-19 Qualcomm Incorporated Dynamic resource sharing among multiple wireless devices
US9413803B2 (en) 2011-01-21 2016-08-09 Qualcomm Incorporated User input back channel for wireless displays
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US9485546B2 (en) 2010-06-29 2016-11-01 Qualcomm Incorporated Signaling video samples for trick mode video representations
US9503771B2 (en) 2011-02-04 2016-11-22 Qualcomm Incorporated Low latency wireless display for graphics
US9525998B2 (en) 2012-01-06 2016-12-20 Qualcomm Incorporated Wireless display with multiscreen service
US9582239B2 (en) 2011-01-21 2017-02-28 Qualcomm Incorporated User input back channel for wireless displays
US9582238B2 (en) 2009-12-14 2017-02-28 Qualcomm Incorporated Decomposed multi-stream (DMS) techniques for video display systems
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US9787725B2 (en) 2011-01-21 2017-10-10 Qualcomm Incorporated User input back channel for wireless displays
US9843844B2 (en) 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
US9898241B2 (en) 2014-04-24 2018-02-20 Ricoh Company, Ltd. Information sharing system, image processing apparatus, and image processing method
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
US10108386B2 (en) 2011-02-04 2018-10-23 Qualcomm Incorporated Content provisioning for wireless back channel

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001092706A (en) * 1999-09-21 2001-04-06 Matsushita Electric Ind Co Ltd Data transmitting method, data receiving method and data receiver
JP2001204001A (en) * 1999-10-29 2001-07-27 Matsushita Electric Ind Co Ltd Moving picture distribution system, reproduction terminal and distributor
JP2002112149A (en) * 2000-09-29 2002-04-12 Sony Corp Data processing method and device, data transmission system, transmission medium
JP2002123456A (en) * 2000-10-13 2002-04-26 Canon Inc Method and device for processing image and storage medium
JP2002135594A (en) * 2000-10-20 2002-05-10 Sony Corp Image coder and its method, and image decoder and its method
JP2002149153A (en) * 2000-11-10 2002-05-24 Canon Inc Image processor, image processing system, image processing method and storage medium
EP1233624A1 (en) * 2001-02-15 2002-08-21 Ricoh Company, Ltd. A memory usage scheme for performing wavelet processing

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001092706A (en) * 1999-09-21 2001-04-06 Matsushita Electric Ind Co Ltd Data transmitting method, data receiving method and data receiver
JP2001204001A (en) * 1999-10-29 2001-07-27 Matsushita Electric Ind Co Ltd Moving picture distribution system, reproduction terminal and distributor
JP2002112149A (en) * 2000-09-29 2002-04-12 Sony Corp Data processing method and device, data transmission system, transmission medium
JP2002123456A (en) * 2000-10-13 2002-04-26 Canon Inc Method and device for processing image and storage medium
JP2002135594A (en) * 2000-10-20 2002-05-10 Sony Corp Image coder and its method, and image decoder and its method
JP2002149153A (en) * 2000-11-10 2002-05-24 Canon Inc Image processor, image processing system, image processing method and storage medium
EP1233624A1 (en) * 2001-02-15 2002-08-21 Ricoh Company, Ltd. A memory usage scheme for performing wavelet processing

Cited By (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9246633B2 (en) 1998-09-23 2016-01-26 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US9236976B2 (en) 2001-12-21 2016-01-12 Digital Fountain, Inc. Multi stage code generator and decoder for communication systems
US9240810B2 (en) 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
US9236885B2 (en) 2002-10-05 2016-01-12 Digital Fountain, Inc. Systematic encoding and decoding of chain reaction codes
US8887020B2 (en) 2003-10-06 2014-11-11 Digital Fountain, Inc. Error-correcting multi-stage code generator and decoder for communication systems having single transmitters or multiple transmitters
US9236887B2 (en) 2004-05-07 2016-01-12 Digital Fountain, Inc. File download and streaming system
US9136878B2 (en) 2004-05-07 2015-09-15 Digital Fountain, Inc. File download and streaming system
US9136983B2 (en) 2006-02-13 2015-09-15 Digital Fountain, Inc. Streaming and buffering using variable FEC overhead and protection periods
US9270414B2 (en) 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
US9264069B2 (en) 2006-05-10 2016-02-16 Digital Fountain, Inc. Code generator and decoder for communications systems operating using hybrid codes to allow for multiple efficient uses of the communications systems
US9198084B2 (en) 2006-05-26 2015-11-24 Qualcomm Incorporated Wireless architecture for a traditional wire-based protocol
JP2007329747A (en) * 2006-06-08 2007-12-20 Ikegami Tsushinki Co Ltd Image processor and image processing method, and monitor system using the same
JP4740800B2 (en) * 2006-06-08 2011-08-03 池上通信機株式会社 Image processing apparatus, image processing method, and a monitoring system using the same
US9380096B2 (en) 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US9209934B2 (en) 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US9191151B2 (en) 2006-06-09 2015-11-17 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US9628536B2 (en) 2006-06-09 2017-04-18 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US9386064B2 (en) 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US9178535B2 (en) 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
JP2010536232A (en) * 2007-08-23 2010-11-25 サムスン エレクトロニクス カンパニー リミテッド Method and apparatus for determining preferred image format between the mobile video phone
JP2015133736A (en) * 2007-08-23 2015-07-23 サムスン エレクトロニクス カンパニー リミテッド Method and apparatus for determining preferred image format between mobile video telephones
JP2013179654A (en) * 2007-08-23 2013-09-09 Samsung Electronics Co Ltd Method and apparatus for determining preferred image format between mobile video telephones
US9549013B2 (en) 2007-08-23 2017-01-17 Samsung Electronics Co., Ltd. Method and apparatus for determining preferred image format between mobile video telephones
US8606325B2 (en) 2007-08-23 2013-12-10 Samsung Electronics Co., Ltd. Method and apparatus for determining preferred image format between mobile video telephones
US9237101B2 (en) 2007-09-12 2016-01-12 Digital Fountain, Inc. Generating and communicating source identification information to enable reliable communications
US8811294B2 (en) 2008-04-04 2014-08-19 Qualcomm Incorporated Apparatus and methods for establishing client-host associations within a wireless network
JP2009296144A (en) * 2008-06-03 2009-12-17 Mitsubishi Electric Corp Digital video data transmission apparatus, digital video data reception apparatus, digital video data transport system, digital video data transmission method, digital video data reception method, and digital video data transport method
US8755677B2 (en) 2008-11-10 2014-06-17 Nec Corporation Moving-picture processing device and moving-picture processing method
JP2010114814A (en) * 2008-11-10 2010-05-20 Nec Corp Moving image processor
US9398089B2 (en) 2008-12-11 2016-07-19 Qualcomm Incorporated Dynamic resource sharing among multiple wireless devices
JP2012517778A (en) * 2009-02-12 2012-08-02 クゥアルコム・インコーポレイテッドQualcomm Incorporated Union procedures that enable multiple multicast streams
US9281847B2 (en) 2009-02-27 2016-03-08 Qualcomm Incorporated Mobile reception of digital video broadcasting—terrestrial services
JP2010212942A (en) * 2009-03-10 2010-09-24 Nec Corp System, method, device and program for video distribution
US9264248B2 (en) 2009-07-02 2016-02-16 Qualcomm Incorporated System and method for avoiding and resolving conflicts in a wireless mobile display digital interface multicast environment
US9876607B2 (en) 2009-08-19 2018-01-23 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US9288010B2 (en) 2009-08-19 2016-03-15 Qualcomm Incorporated Universal file delivery methods for providing unequal error protection and bundled file delivery services
US9660763B2 (en) 2009-08-19 2017-05-23 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
JPWO2011030811A1 (en) * 2009-09-14 2013-02-07 日本電気株式会社 Distribution system, a gateway, distribution method and a program
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
JP2013505681A (en) * 2009-09-22 2013-02-14 クゥアルコム・インコーポレイテッドQualcomm Incorporated Extended block using scalable coding - request Streaming
US9582238B2 (en) 2009-12-14 2017-02-28 Qualcomm Incorporated Decomposed multi-stream (DMS) techniques for video display systems
US9992555B2 (en) 2010-06-29 2018-06-05 Qualcomm Incorporated Signaling random access points for streaming video data
US9485546B2 (en) 2010-06-29 2016-11-01 Qualcomm Incorporated Signaling video samples for trick mode video representations
US8918533B2 (en) 2010-07-13 2014-12-23 Qualcomm Incorporated Video switching for streaming video data
US9185439B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US9602802B2 (en) 2010-07-21 2017-03-21 Qualcomm Incorporated Providing frame packing type information for video coding
US8806050B2 (en) 2010-08-10 2014-08-12 Qualcomm Incorporated Manifest file updates for network streaming of coded multimedia data
US9319448B2 (en) 2010-08-10 2016-04-19 Qualcomm Incorporated Trick modes for network streaming of coded multimedia data
US9456015B2 (en) 2010-08-10 2016-09-27 Qualcomm Incorporated Representation groups for network streaming of coded multimedia data
JP2012090016A (en) * 2010-10-18 2012-05-10 Canon Inc Video processing device, control method therefor, and program
US9582239B2 (en) 2011-01-21 2017-02-28 Qualcomm Incorporated User input back channel for wireless displays
US9787725B2 (en) 2011-01-21 2017-10-10 Qualcomm Incorporated User input back channel for wireless displays
US8964783B2 (en) 2011-01-21 2015-02-24 Qualcomm Incorporated User input back channel for wireless displays
US9065876B2 (en) 2011-01-21 2015-06-23 Qualcomm Incorporated User input back channel from a wireless sink device to a wireless source device for multi-touch gesture wireless displays
US9413803B2 (en) 2011-01-21 2016-08-09 Qualcomm Incorporated User input back channel for wireless displays
US9503771B2 (en) 2011-02-04 2016-11-22 Qualcomm Incorporated Low latency wireless display for graphics
US9723359B2 (en) 2011-02-04 2017-08-01 Qualcomm Incorporated Low latency wireless display for graphics
US10108386B2 (en) 2011-02-04 2018-10-23 Qualcomm Incorporated Content provisioning for wireless back channel
US8674957B2 (en) 2011-02-04 2014-03-18 Qualcomm Incorporated User input device for wireless back channel
US9270299B2 (en) 2011-02-11 2016-02-23 Qualcomm Incorporated Encoding and decoding using elastic codes with flexible source block mapping
US8958375B2 (en) 2011-02-11 2015-02-17 Qualcomm Incorporated Framing for an improved radio link protocol including FEC
JP2012175626A (en) * 2011-02-24 2012-09-10 Kddi Corp Super-resolution apparatus for distribution video and super-resolution video playback device
JP2013025645A (en) * 2011-07-22 2013-02-04 Canon Inc Information processing apparatus, information processing method, and program
US9137391B2 (en) 2011-07-22 2015-09-15 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium storing program
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US9843844B2 (en) 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
US9525998B2 (en) 2012-01-06 2016-12-20 Qualcomm Incorporated Wireless display with multiscreen service
US9294226B2 (en) 2012-03-26 2016-03-22 Qualcomm Incorporated Universal object delivery and template-based file delivery
US9898241B2 (en) 2014-04-24 2018-02-20 Ricoh Company, Ltd. Information sharing system, image processing apparatus, and image processing method

Similar Documents

Publication Publication Date Title
US6233017B1 (en) Multimedia compression system with adaptive block sizes
US7062096B2 (en) Apparatus and method for performing bitplane coding with reordering in a fine granularity scalability coding system
Stockhammer et al. H. 264/AVC video for wireless transmission
US7082164B2 (en) Multimedia compression system with additive temporal layers
Marcellin et al. An overview of JPEG-2000
US5930526A (en) System for progressive transmission of compressed video including video data of first type of video frame played independently of video data of second type of video frame
US20070009039A1 (en) Video encoding and decoding methods and apparatuses
US20010047517A1 (en) Method and apparatus for intelligent transcoding of multimedia data
US6981045B1 (en) System for redirecting requests for data to servers having sufficient processing power to transcast streams of data in a desired format
US20070098162A1 (en) Method and apparatus for managing rights of multi-layered multimedia stream by layers
US20030043908A1 (en) Bandwidth scalable video transcoder
US20050166245A1 (en) Method and device for transmitting scalable video bitstream
US20080052414A1 (en) Network adaptation of digital content
US20080084927A1 (en) Real-time network adaptive digital video encoding/decoding
US20070121723A1 (en) Scalable video coding method and apparatus based on multiple layers
US20090092326A1 (en) Encoding device, encoding method, encoding program, decoding device, decoding method, and decoding program
US20050226323A1 (en) Direction-adaptive scalable motion parameter coding for scalable video coding
EP1553779A1 (en) Data reduction of video streams by selection of frames and partial deletion of transform coefficients
US20060114990A1 (en) Method and apparatus for efficiently transmitting scalable bitstream
US7054365B2 (en) Method for providing variable bit rate in streaming service
US20060085534A1 (en) Video monitoring application, device architectures, and system architecture
Seeling et al. Video traces for network performance evaluation: a comprehensive overview and guide on video traces and their utilization in networking research
US20020071486A1 (en) Spatial scalability for fine granular video encoding
US20030021296A1 (en) Packetizing devices for scalable data streaming
US20030035478A1 (en) Method and apparatus for scalable compression of video

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051206

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080430

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090526

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090723

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100427