JP2005167962A - 符号化信号分離装置、符号化信号合成装置および符号化信号分離合成システム - Google Patents

符号化信号分離装置、符号化信号合成装置および符号化信号分離合成システム Download PDF

Info

Publication number
JP2005167962A
JP2005167962A JP2004100419A JP2004100419A JP2005167962A JP 2005167962 A JP2005167962 A JP 2005167962A JP 2004100419 A JP2004100419 A JP 2004100419A JP 2004100419 A JP2004100419 A JP 2004100419A JP 2005167962 A JP2005167962 A JP 2005167962A
Authority
JP
Japan
Prior art keywords
basic
coefficient
encoded signal
separation
extended
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004100419A
Other languages
English (en)
Inventor
Takeshi Hanamura
剛 花村
Isao Nagayoshi
功 永吉
Michiko Wakui
道子 涌井
Hideyoshi Tominaga
英義 富永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Secom Co Ltd
Original Assignee
Secom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Secom Co Ltd filed Critical Secom Co Ltd
Priority to JP2004100419A priority Critical patent/JP2005167962A/ja
Priority to US10/986,241 priority patent/US20050100091A1/en
Priority to EP04026680A priority patent/EP1531628A3/en
Priority to IL16515204A priority patent/IL165152A0/xx
Priority to PCT/JP2004/016675 priority patent/WO2005046244A1/ja
Priority to TW093134264A priority patent/TW200516989A/zh
Priority to CNA2004100929457A priority patent/CN1620147A/zh
Priority to KR1020040092130A priority patent/KR20050045923A/ko
Publication of JP2005167962A publication Critical patent/JP2005167962A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/93—Run-length coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234354—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering signal-to-noise ratio parameters, e.g. requantization
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
    • H04N21/64738—Monitoring network characteristics, e.g. bandwidth, congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

【課題】 映像のスケーラブル伝送を行うことができる符号化信号分離装置、符号化信号合成装置および符号化信号分離合成システムを提供する。
【解決手段】 符号化ストリームを、前記符号化ストリームより符号量が少ない基本符号化信号Ｂと、基本符号化信号Ｂとともに使用して画像を復元させる複数の拡張符号化信号Ｅ(ｍ)と、に分離する分離部１１００と、前記基本符号化信号Ｂと、複数の前記拡張符号化信号Ｅ(ｍ)と、を任意に組み合わせて多重化し、複数の伝送符号化信号Ｓｔ(ｌ)を生成する多重化部１６００と、を備えることにより、独立した分離ストリームＳｔ(ｌ)を生成し、出力することにより、ネットワーク状態に応じた伝送路選択を行い、映像のスケーラブル伝送を実現することができる。
【選択図】 図２

Description

本発明は、映像のスケーラブル伝送を行うことができる符号化信号分離装置、符号化信号合成装置および符号化信号分離合成システムに関するものである。
動画像をディジタル化する技術において、発生する膨大な情報量を圧縮して符号化するための方式として、ディジタルビデオおよび付随するオーディオに対する符号化方式の標準規格ＩＳＯ／ＩＥＣ １３８１８（通称、「ＭＰＥＧ−２」(Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ Ｐｈａｓｅ ２)）がある。このようにして生成されたＭＰＥＧ−２の規格に準拠したビットストリーム（以後、「ＭＰＥＧ−２ビットストリーム」と呼ぶ）は、通信やテレビジョン放送など幅広い分野で使用されている。
ＭＰＥＧ−２ビットストリームは階層構造を有し、最上位のシーケンスレイヤからＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）レイヤ、ピクチャレイヤ、スライスレイヤ、マクロブロックレイヤおよびブロックレイヤの順の各レイヤからなる。
ＭＰＥＧ−２においては、一連の複数の画面から構成される動画像において、各画面を一旦フレームメモリに保存し、フレーム間の差分を取ることによって時間軸方向の冗長度を削減し、さらに、各フレームを構成する複数の画素を離散コサイン変換（以後、「ＤＣＴ」と略す）等の直交変換処理を行うことにより空間軸方向の冗長度を削減することにより、効率良い動画像圧縮符号化を実現している。
符号化された信号は、復号器に送られて復号され再生される。復号器では、画面を再生し第１のフレームメモリに保存し、差分情報に基づいて次に続くべき画面を予測し第２のフレームメモリに保存し、２つのフレームからその間に挿入される画面をさらに予測して、一連の画面を構成し動画像を再生する。このような手法は双方向予測と呼ばれる。
ＭＰＥＧ−２では、この双方向予測を実現するために、Ｉピクチャ、ＰピクチャおよびＢピクチャという３つのタイプを規定している。Ｉピクチャは、イントラ符号化ピクチャの略であり、他のピクチャとは独立して静止画として符号化される画面のことである。Ｐピクチャは、順方向予測符号化ピクチャの略であり、時間的に過去に位置するＩまたはＰピクチャに基づいて予測符号化される画面のことである。Ｂピクチャは、双方向予測符号化ピクチャの略であり、時間的に前後に位置するＩまたはＰピクチャを用いて順方向、逆方向または双方向のピクチャに基づいて予測符号化される画面のことである。すなわち、ＩピクチャおよびＰピクチャを先に符号化処理した後、その間に挿入されるＢピクチャが符号化される。
符号化器で符号化されたＭＰＥＧ−２ビットストリームは、所定の転送速度で伝送路に送出され、該伝送路上の復号器に入力されて復号され再生される。しかしながら、動画像を符号化して発生する情報量は一定ではない。特にシーンチェンジ時には、情報量は一気に増大する。このように一定しない符号化信号を固定レートの伝送路に送出するために、予め送信用バッファのレベル以上の情報量が発生しないように符号化データのレート制御を行う必要がある。
ＭＰＥＧ−２では、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１／Ｎ０４００ Ｔｅｓｔ Ｍｏｄｅｌ ５ （Ａｐｒｉｌ， １９９３）（以後、「ＴＭ５」と略す）にレート制御方式が記載されている。
ＭＰＥＧ−２のＴＭ５のレート制御では、ステップ１で、まずピクチャタイプ毎にＧＯＰ内の未符号化ピクチャに対する割り当て符号量Ｒに基づいてビット配分する。ステップ２で、マクロブロック単位に符号化処理を行う際に使用する量子化スケールを、ビット配分に基づいて算出した仮想バッファ占有量から算出する。
また、ＭＰＥＧ−２以外の圧縮フォーマットを有する復号器や、異なる転送速度の伝送路に接続された復号器も多数存在するため、異なる圧縮フォーマットや異なる転送速度にＭＰＥＧ−２ビットストリームを変換する動画圧縮符号化信号変換装置が必要となる。これを実現するための装置が所謂トランスコーダである。符号化器から伝送された画像圧縮符号化信号は、トランスコーダで適切な信号に変換され、各復号器に信号が供給される。
図３２に一般的な従来のトランスコーダ５０の第１例を示す。従来のトランスコーダ５０は、第１ビットレートを有する第１伝送路（図示なし）に接続され、第１ＭＰＥＧ−２ビットストリームｂ１を入力する可変長復号部（ＶＬＤ）５１と、逆量子化器５３と、量子化器５５と、第２ビットレートを有する第２伝送路（図示なし）に接続され、第２ＭＰＥＧ−２ビットストリームｂ２を出力するＶＬＣ５７と、量子化器５５で発生する符号量を制御するレート制御部５９と、を備えている。第２ビットレートは第１ビットレートより低い転送速度である。
ＶＬＤ５１および逆量子化器５３によって、第１ＭＰＥＧ−２ビットストリームｂ１をマクロブロック単位にＤＣＴ係数領域まで復号し、量子化器５５およびＶＬＣ５７によって、得られたＤＣＴ係数信号を符号化して、第１ＭＰＥＧ−２ビットストリームより少ない符号量を有する第２ＭＰＥＧ−２ビットストリームｂ２を生成するものである。
量子化器５５における量子化処理では、ＤＣＴ変換で得られた係数を所定の量子化ステップで除算する。これにより画像信号は圧縮される。この量子化ステップは、所定の量子化テーブルに含まれる複数の量子化マトリクス値に量子化スケールを乗算して求められる。
トランスコーダ５０では、第１ＭＰＥＧ−２ビットストリームｂ１内のシーケンスレイヤ、ＧＯＰレイヤ、ピクチャレイヤ、スライスレイヤおよびマクロブロックレイヤの符号化情報を殆ど再利用する。基本的にブロックレイヤのＤＣＴ係数の変換およびブロックレイヤの変換に伴い修正が必要なマクロブロックレイヤの符号の変換の処理のみが行われる。
このように構成されたトランスコーダ５０において、レート制御部５９はＭＰＥＧ−２のＴＭ５に記載されているレート制御を行う。
図３３に従来のトランスコーダ５０のレート制御処理のフローチャートを示す。同図に示されるように、従来のレート制御処理はステップＡ１〜Ａ１４からなる。
ステップＡ１で、変数ｎを１に設定する。ここで、変数ｎは、入力画像信号に含まれる複数のピクチャに付けられた番号を示し、以後、ｎ番目のピクチャをpic(n)と示す。
続くステップＡ２で、Ｉ、ＰおよびＢピクチャの複雑さを示す指標Ｘi、ＸpおよびＸbを下記の式（ａ１）、式（ａ２）および式（ａ３）により算出する。
Ｘi＝Ｓi×Ｑi …式（ａ１）
Ｘp＝Ｓp×Ｑp …式（ａ２）
Ｘb＝Ｓb×Ｑb …式（ａ３）
ここで、Ｓi、ＳpおよびＳbはそれぞれＩ、ＰおよびＢピクチャの発生符号量であり、Ｑi、ＱpおよびＱbは、それぞれＩ、ＰおよびＢピクチャ内の全マクロブロックの量子化スケールコードの平均値である平均量子化パラメータである。ただし、平均量子化パラメータは１〜３１の範囲に正規化されている。
この画面の複雑さ指標Ｘi、ＸpおよびＸbは、符号化情報量が多く発生するような画像、すなわち低い圧縮率の画像に対して大きくなり、逆に高い圧縮率の画像に対しては小さくなる。
また、Ｉ、ＰおよびＢピクチャの画面の複雑さを示すパラメータＸi、ＸpおよびＸbの初期値は、次式（ａ４）、式（ａ５）および式（ａ６）でそれぞれ与えられる。
Ｘi＝１６０×target_Bitrate／１１５ …式（ａ４）
Ｘp＝６０×target_Bitrate／１１５ …式（ａ５）
Ｘb＝４２×target_Bitrate／１１５ …式（ａ６）
ここで、target_Bitrateは、トランスコーダ５０の目標ビットレートである。
続くステップＡ３で、ＧＯＰ内のＩ、ＰおよびＢピクチャに対する割り当て符号量Ｔi、ＴpおよびＴbを、次式（ａ７）、式（ａ８）および式（ａ９）によりそれぞれ算出する。ただし、ＮｐおよびＮｂは、それぞれＧＯＰ内の未符号化のＰおよびＢピクチャの数を示す。
Figure 2005167962
ここで、ＫｐおよびＫｂは、Ｉピクチャの量子化スケールコードを基準としたＰおよびＢピクチャの量子化スケールコードの比率を示し、Ｋp＝１．０およびＫb＝１．４になる場合に、常に全体の画質が最適化されると仮定する。
続くステップＡ４で、変数ｎが１か否かの判定がなされる。すなわち、符号化対象のピクチャが１番目のピクチャpic(1)か否かの判定がなされる。１番目のピクチャの場合、ステップＡ５へ進み、１番目のピクチャでない場合はステップＡ６へ進む。ステップＡ５では、次式（ａ１０）によりＧＯＰ内の一番初めのピクチャpic(1)を符号化する時のＧＯＰ内の未符号化ピクチャに対する割り当て符号量Ｒを求める。
Ｒ＝target_Bitrate×Ｎ／picture_rate＋Ｒ …式（ａ１０）
ここで、ＮはＧＯＰ内のピクチャの総数、picture_rateは、入力画像の時間解像度を示す値であり、１秒間に復号され表示される画面の枚数を示す。
ステップＡ６では、ＧＯＰ内の未符号化ピクチャに対する割り当て符号量Ｒを（ｎ−１）番目のピクチャpic(n-1)が符号化された時のＩ、ＰおよびＢピクチャの発生符号量Ｓi、ＳpまたはＳbに基づいて、次式（ａ１１）、式（ａ１２）および式（ａ１３）の何れかにより更新する。
Ｒ＝Ｒ−Ｓi …式（ａ１１）
Ｒ＝Ｒ−Ｓp …式（ａ１２）
Ｒ＝Ｒ−Ｓb …式（ａ１３）
ステップＡ５およびＡ６はともにステップＡ７へ進み、変数ｊに１を設定する。ここで、変数ｊは、１ピクチャ内の複数のマクロブロックに付けられた番号を示し、以後、ｊ番目のマクロブロックをMB(j)と示す。
続くステップＡ８で、Ｉ、ＰおよびＢピクチャ内のｊ番目のマクロブロックMB(j)を符号化する時の仮想バッファの占有量ｄi(j)、ｄp(j)およびｄb(j)が次式（ａ１４）、式（ａ１５）および式（ａ１６）によりそれぞれ算出される。
Figure 2005167962
ここで、Ｂ(j-1)は、（ｊ−１）番目のマクロブロックMB(j-1)までの全マクロブロックの発生符号量である。
また、ｄi(0)、ｄp(0)およびｄb(0)は、それぞれＩ、ＰおよびＢピクチャの仮想バッファ占有量の初期値であり、次式（ａ１７）、式（ａ１８）および式（ａ１９）でそれぞれ与えられる。
ｄi(0)＝１０×ｒ／３１ …式（ａ１７）
ｄp(0)＝Ｋp×ｄi(0) …式（ａ１８）
ｄb(0)＝Ｋb×ｄi(0) …式（ａ１９）
ここで、ｒはリアクションパラメータと呼ばれ、下記の式（ａ２０）で示され、フィードバックループの応答速度を制御する。
ｒ＝２×target_Bitrate／picture_rate …式（ａ２０）
また、Ｉ、ＰおよびＢピクチャ符号化終了時の仮想バッファ占有量、すなわちＮＭＢ番目のマクロブロックMB(NMB)を符号化したときの仮想バッファ占有量ｄi(NMB)、ｄp(NMB)およびｄb(NMB)は、ピクチャタイプ毎に、次回符号化する時の仮想バッファ占有量の初期値ｄi(0)、ｄp(0)およびｄb(0)として用いられる。
続くステップＡ９で、上記の仮想バッファの占有量ｄ(j)に基づいて、各ピクチャ毎にｊ番目のマクロブロックMB(j)に対する量子化スケールコードＱ(j)を次式（ａ２１）により求める。
Ｑ(j)＝ｄ(j)×３１／ｒ …式（ａ２１）
続くステップＡ１０で、ステップＡ９で算出された量子化スケールコードＱ(j)を使用してｊ番目のマクロブロックMB(j)を量子化する。続くステップＡ１１で、変数ｊをインクリメントして、ステップＡ１２へ進み、変数ｊがマクロブロック総数ＮＭＢを超えているか否かの判定をする。ここで、ＮＭＢはｎ番目のピクチャpic(n)内に含まれるマクロブロックの総数である。変数ｊがマクロブロック総数ＮＭＢを超えていない場合は、ステップＡ８へ戻り、変数ｊがマクロブロック総数ＮＭＢを超えている場合は、ステップＡ１３へ進む。
このようにして、変数ｊは、ステップＡ８〜Ａ１１の符号化処理を繰り返すためのループカウンタとしても使用される。これにより、ｎ番目のピクチャpic(n)内の１番目のマクロブロックMB(1)からＮＭＢ番目のマクロブロックMB(NMB)まで全てのマクロブロックに対して順次符号化処理を行うことができる。
ステップＡ１３で、変数ｎをインクリメントして、ステップＡ１４へ進み、変数ｎが符号化対象のピクチャ総数ＮＰＩＣを超えているか否かの判定をする。ここで、変数ｎがピクチャ総数ＮＰＩＣを超えていない場合は、ステップＡ２へ戻り、変数ｎがピクチャ総数ＮＰＩＣを超えている場合は、本処理を終了する。
このように第１のトランスコーダ５０では、ＩおよびＰピクチャ周期などのような画像構造に関する情報を持ち得ないために、図３３に示されたＴＭ５のレート制御のような、画像ＧＯＰ構造などの情報に基づいてビット配分を行う方法は、入力画像構造を仮定しなければ行うことができない。
そこで、ＧＯＰ構造を仮定せずにレート制御を行う方法を採用した例として、図３４に示される第２の従来のトランスコーダ６０がある。同図に示されるように、第２の従来のトランスコーダ６０は、上記第１の従来のトランスコーダ５０の構成に加えて、遅延回路６１と、ビットレート比率計算部６３と、入力符号量積算部６５と、差分符号量計算部６７と、目標出力符号量更新部６９と、量子化スケールコード算出部７１と、を備えている。
このように構成されたトランスコーダ６０の処理の流れを図３５に示す。同図に示されるように、トランスコーダ６０の処理は、ステップＢ１〜Ｂ１３からなる。ステップＢ６〜Ｂ１３は、上記第１従来例に示されたレート処理のステップＡ７〜Ａ１４と同じである。但し、ステップＢ７では、目標出力符号量更新部６９で算出された目標出力符号量Ｔoutに基づいて、仮想バッファ占有量の算出がなされる。
また、同様にＧＯＰ構造を仮定せずにレート制御を行う方法を採用した別の例として、図３６および図３７に従来のトランスコーダの第３例を示す。図３６に示されるように、第３の従来のトランスコーダ８０は、第１ビットレートを有する第１伝送路に接続され、入力ビットストリームｂ３を入力するＶＬＤ８１と、第１の従来のトランスコーダ５０と同じ、逆量子化器５３と、量子化器５５と、ＶＬＣ５７と、を含み、図３４のトランスコーダ６０と同じビットレート比率計算部６３と、差分符号量計算部６７と、を含み、さらに、目標出力符号量更新部８３と、量子化スケールコード算出部８５と、を備えている。
第３の従来のトランスコーダ８０では、ビットストリームｂ３に予め符号量を情報として記述しておき、その情報に基づいてレート制御を行うものである。
しかしながら、トランスコーダは符号化処理後の信号を対象としているために、符号化前の元の信号は知ることはできない。したがって、符号量制御においては、トランスコード処理後の画像自身の歪みではなく、再量子化処理によって新たに発生する歪みに着目して、この歪みを抑制することにより、画質の低下を抑制しながら符号量の削減を実現しなければならない。
そこで、本願出願人は、先に復号量子化パラメータおよび再量子化パラメータに依存した再量子化レート歪み関数を考慮することにより、復号量子化パラメータ、および前段で算出された量子化パラメータに基づいて最適な量子化パラメータの算出を実現する動画像圧縮符号化信号変換方法、装置および変換プログラムを記録した媒体を提案した（例えば、特許文献１参照）。
このものは、逆量子化を行う逆量子化器と、再量子化を行う量子化器と、を備えたトランスコーダにおいて、入力量子化パラメータに基づくレート歪み関数を考慮し、量子化パラメータを切り換える量子化パラメータ切り換え部を設けることにより、量子化係数領域データから再量子化係数領域データへの変換時における誤差を極力抑えることができる。
このように、トランスコーダは様々な利用環境に適した形へのビットストリーム変換を実現する処理器である。
さらに、さまざまな帯域の混在するネットワークにおいて、利用環境に適した映像ストリームを生成し提供するスケーラビリティを実現する技術として、ビットレートスケーリング方式、階層符号化方式が存在する。
例えば、ネットワーク上の各ルータに設置されたビットレートスケーリングトランスコーダにおいて、要求されるビットレートに応じ、ビットレート削減によるストリーム変換を実現する。これにより、ネットワークの変動に対応した映像のスケーラビリティを実現している。
特開２００１−１６９２８３号公報
しかしながら、ビットレートスケーリングトランスコーダ自らがレート制御とストリーム変換を行うため、ルータに高度な処理が要求されるため多くの負荷がかかる。
また、サーバにおいてあらかじめ入力されたストリームを、階層構造をもつストリームに変換し、ルータにおける階層選択によりスケーラビリティを実現する。これにより、トランスコーダによるレート制御の必要はなくなり、ネットワーク上の各ルータにおける信号処理等の負荷もなくなる。しかしながら、階層構造に変換されたストリーム間に依存関係があるため、各階層に優先順位がつけられており、階層選択時に優先順位を考慮した制御を行う必要があるという問題がある。
本発明は、このような従来の問題を解決するためになされたもので、サーバにおける分離器において、独立した分離ストリームを生成し、帯域選択機能を有するルータにおいて、ネットワーク状態に応じた伝送路選択を行うことにより、映像のスケーラブル伝送を行うことができる符号化信号分離装置、符号化信号合成装置および符号化信号分離合成システムを提供するものである。
本発明の符号化信号分離装置は、複数の画像情報から構成される１次動画像を符号化した１次符号化信号を入力する分離器入力手段と、前記分離器入力手段に入力された１次符号化信号を、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離する分離器分離手段と、前記分離器分離手段に分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を任意に組み合わせて多重化し、複数の伝送符号化信号を生成する分離器多重化手段と、前記分離器多重化手段に多重化された複数の伝送符号化信号を出力する分離器出力手段と、を備えたことを特徴とした構成を有している。
また、本発明の符号化信号分離装置は、請求項１に記載の符号化信号分離装置において、前記分離器分離手段が、前記１次符号化信号から前記１次動画像を復元させる１次量子化係数値に変換する１次係数変換手段と、前記１次係数変換手段に変換された前記１次量子化係数値を、前記２次動画像を復元させる基本階層の基本階層係数値と、前記３次動画像を復元させるときに用いる拡張階層の拡張階層係数値と、に分離する基本拡張階層分離手段と、前記基本階層係数値から前記基本符号化信号を生成する基本符号化信号生成手段と、前記拡張階層係数値から複数の前記拡張符号化信号を生成する拡張符号化信号生成手段と、を備えたことを特徴とした構成を有している。
さらに、本発明の符号化信号分離装置は、請求項２に記載の符号化信号分離装置において、前記基本拡張階層分離手段が、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次量子化係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離することを特徴とした構成を有している。
さらに、本発明の符号化信号分離装置は、請求項２または請求項３に記載の符号化信号分離装置において、前記分離器分離手段が、前記基本拡張階層分離手段に分離された基本階層係数値を、再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換手段を備え、
前記分離器分離手段の前記基本符号化信号生成手段が、前記基本量子化係数値を入力し、前記基本符号化信号である基本量子化符号化列に符号化する基本量子化係数列符号化手段を備え、
前記分離器分離手段の前記拡張符号化信号生成手段が、前記基本量子化係数変換手段に変換された予測誤差係数値と、前記基本拡張階層分離手段に分離された拡張階層係数値と、を入力し、前記予測誤差係数値と、前記拡張階層係数値と、から複数の前記拡張符号化信号を生成することを特徴とした構成を有している。
さらに、本発明の符号化信号分離装置は、請求項２または請求項３に記載の符号化信号分離装置において、前記分離器分離手段が、前記基本拡張階層分離手段に分離された基本階層係数値を、再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換手段を備え、
前記分離器分離手段の前記基本符号化信号生成手段が、前記基本量子化係数値を入力し、基本量子化符号化列に符号化する基本量子化係数列符号化手段と、前記予測誤差係数値を入力し、予測誤差符号化列に符号化する予測誤差係数列符号化手段と、前記基本量子化符号化列と、前記予測誤差符号化列と、を合成して前記基本符号化信号を生成する基本符号化信号合成手段と、を備えたことを特徴とした構成を有している。
さらに、本発明の符号化信号分離装置は、請求項１から請求項５のいずれか１項に記載の符号化信号分離装置において、前記分離器多重化手段が、前記基本符号化信号と、複数の前記拡張符号化信号と、の各符号化信号を、前記各伝送符号化信号として生成することを特徴とした構成を有している。
さらに、本発明の符号化信号分離装置は、請求項１から請求項５のいずれか１項に記載の符号化信号分離装置において、前記分離器多重化手段が、前記基本符号化信号を、複数の前記拡張符号化信号のそれぞれに多重化して、前記複数の伝送符号化信号を生成することを特徴とした構成を有している。
さらに、本発明の符号化信号分離装置は、請求項１から請求項７のいずれか１項に記載の符号化信号分離装置において、前記分離器多重化手段が、複数の前記拡張符号化信号を多重化して、符号量が異なる複数の前記伝送符号化信号を生成することを特徴とした構成を有している。
さらに、本発明の符号化信号分離装置は、請求項８に記載の符号化信号分離装置において、前記分離器多重化手段が、前記符号量が異なる複数の伝送符号化信号の符号量比が２のべき乗比となるように、前記伝送符号化信号を生成することを特徴とした構成を有している。
また、本発明の符号化信号合成装置は、複数の画像情報から構成される１次動画像が符号化された複数の独立した伝送符号化信号を入力する合成器入力手段と、前記合成器入力手段に入力された複数の前記伝送符号化信号から、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離する合成器分離手段と、前記合成器分離手段に分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を合成し、３次動画像を復元させる３次符号化信号を生成する合成器合成手段と、前記合成器合成手段に合成された３次符号化信号を出力する合成器出力手段と、を備えたことを特徴とした構成を有している。
さらに、本発明の符号化信号合成装置は、請求項１０に記載の符号化信号合成装置において、前記合成器合成手段が、前記基本符号化信号から、前記２次動画像を復元させる基本階層の基本階層係数値に変換させる基本符号化信号変換手段と、前記複数の拡張符号化信号から、前記３次動画像を復元させるときに用いる拡張階層の拡張階層係数値に変換させる拡張符号化信号変換手段と、前記基本符号化信号変換手段に変換された基本階層係数値と、前記拡張符号化信号変換手段に変換された拡張階層係数値と、を合成して３次量子化係数値を生成する基本拡張階層合成手段と、前記基本拡張階層合成手段に合成された３次量子化係数値を、前記３次符号化信号に変換する３次係数変換手段と、を備えたことを特徴とした構成を有している。
さらに、本発明の符号化信号合成装置は、請求項１０または請求項１１に記載の符号化信号合成装置において、前記合成器分離手段が、前記複数の伝送符号化信号から、同一の情報を符号化した信号である複数の前記基本符号化信号と、前記複数の拡張符号化信号と、に分離することを特徴とした構成を有している。
さらに、本発明の符号化信号合成装置は、請求項１２に記載の符号化信号合成装置において、前記合成器分離手段が分離した複数の基本符号化信号から、受信信号誤りの少ない基本符号化信号を選択し、前記合成器合成手段に通知する信号誤り通知手段と、を備え、
前記合成器合成手段が、前記信号誤り通知手段に通知された前記基本符号化信号を選択して、前記複数の拡張符号化信号と合成することを特徴とした構成を有している。
さらに、本発明の符号化信号合成装置は、請求項１０から請求項１３のいずれか１項に記載の符号化信号合成装置において、ネットワーク上の誤り検出器から誤り訂正状況の情報を受信し、前記合成器合成手段に誤り訂正情報を通知する合成制御手段と、を備え、
前記合成器合成手段が、前記合成制御手段に通知された前記誤り訂正情報に基づいて、前記基本符号化信号と、前記複数の拡張符号化信号と、を合成することを特徴とした構成を有している。
また、本発明の符号化信号分離合成システムは、複数の画像情報から構成される１次動画像を符号化した１次符号化信号を、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離するとともに、再構築して、ネットワーク上に伝送する複数の伝送符号化信号に変換する分離器と、
前記複数の伝送符号化信号を入力し、転送する前記伝送符号化信号を選択して、前記選択した伝送符号化信号を伝送する伝送路選択器と、
前記伝送路選択器に伝送された複数の伝送符号化信号を入力し、前記３次動画像を復元させる３次符号化信号を合成する合成器と、を備え、
前記分離器が、前記１次符号化信号を入力する分離器入力手段と、前記分離器入力手段に入力された１次符号化信号を、前記基本符号化信号と、前記複数の拡張符号化信号と、に分離する分離器分離手段と、前記分離器分離手段に分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を任意に組み合わせて多重化し、前記複数の伝送符号化信号を生成する分離器多重化手段と、前記分離器多重化手段に多重化された複数の伝送符号化信号を出力する分離器出力手段と、を備え、
前記合成器が、前記複数の伝送符号化信号を入力する合成器入力手段と、前記合成器入力手段に入力された複数の前記伝送符号化信号から、前記基本符号化信号と、前記複数の拡張符号化信号と、に分離する合成器分離手段と、前記合成器分離手段に分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を合成し、３次動画像を復元させる３次符号化信号を生成する合成器合成手段と、前記合成器合成手段に合成された３次符号化信号を出力する合成器出力手段と、を備えたことを特徴とした構成を有している。
さらに、本発明の符号化信号分離合成システムは、請求項１５に記載の符号化信号分離合成システムにおいて、前記分離器分離手段が、前記１次符号化信号から前記１次動画像を復元させる１次量子化係数値に変換する１次係数変換手段と、前記１次係数変換手段に変換された前記１次量子化係数値を、前記２次動画像を復元させる基本階層の基本階層係数値と、前記３次動画像を復元させるときに用いる拡張階層の拡張階層係数値と、に分離する基本拡張階層分離手段と、前記基本階層係数値から前記基本符号化信号を生成する基本符号化信号生成手段と、前記拡張階層係数値から複数の前記拡張符号化信号を生成する拡張符号化信号生成手段と、を備え、
前記合成器合成手段が、前記基本符号化信号から、前記基本階層の基本階層係数値に変換させる基本符号化信号変換手段と、前記複数の拡張符号化信号から、前記拡張階層の拡張階層係数値に変換させる拡張符号化信号変換手段と、前記基本符号化信号変換手段に変換された基本階層係数値と、前記拡張符号化信号変換手段に変換された拡張階層係数値と、を合成して３次量子化係数値を生成する基本拡張階層合成手段と、前記基本拡張階層合成手段に合成された３次量子化係数値を、前記３次符号化信号に変換する３次係数変換手段と、を備えたことを特徴とした構成を有している。
さらに、本発明の符号化信号分離合成システムは、請求項１６に記載の符号化信号分離合成システムにおいて、前記分離器では、前記分離器分離手段が、前記基本拡張階層分離手段に分離された基本階層係数値を、再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換手段を備え、前記分離器分離手段の前記基本符号化信号生成手段が、前記基本量子化係数値を入力し、前記基本符号化信号である基本量子化符号化列に符号化する基本量子化係数列符号化手段を備え、前記分離器分離手段の前記拡張符号化信号生成手段が、前記基本量子化係数変換手段に変換された予測誤差係数値と、前記基本拡張階層分離手段に分離された拡張階層係数値と、を入力し、前記予測誤差係数値と、前記拡張階層係数値と、から複数の前記拡張符号化信号を生成し、
前記合成器では、前記合成器分離手段が、複数の前記伝送符号化信号から、前記基本量子化符号化列と、前記予測誤差係数値が符号化された予測誤差符号化列と、前記拡張階層係数値が符号化された拡張階層符号化列と、に分離し、前記合成器合成手段の前記基本符号化信号変換手段が、前記基本量子化符号化列を入力し、前記基本量子化係数値に変換する基本量子化係数列変換手段を備え、前記合成器合成手段の前記拡張符号化信号変換手段が、前記予測誤差符号化列から前記予測誤差係数値に変換する予測誤差係数列変換手段と、前記複数の拡張階層符号化列を、それぞれ前記拡張階層係数値に変換する複数の拡張階層係数列変換手段と、を備え、
さらに、前記合成器合成手段が、前記基本量子化係数値と、前記再量子化パラメータと、前記予測誤差係数値と、から前記基本階層係数値に変換する基本階層係数値合成手段を備え、前記合成器合成手段の前記基本拡張階層合成手段が、前記基本階層係数値と、前記拡張階層係数値と、を合成して前記３次量子化係数値を生成することを特徴とした構成を有している。
さらに、本発明の符号化信号分離合成システムは、請求項１６に記載の符号化信号分離合成システムにおいて、前記分離器では、前記分離器分離手段が、前記基本拡張階層分離手段に分離された基本階層係数値を、再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換手段を備え、前記分離器分離手段の前記基本符号化信号生成手段が、前記基本量子化係数値を入力し、基本量子化符号化列に符号化する基本量子化係数列符号化手段と、前記予測誤差係数値を入力し、予測誤差符号化列に符号化する予測誤差係数列符号化手段と、前記基本量子化符号化列と、前記予測誤差符号化列と、を合成して前記基本符号化信号を生成する基本符号化信号合成手段と、を備え、
前記合成器では、前記合成器合成手段が、前記基本符号化信号を入力し、前記基本量子化符号化列と、前記予測誤差符号化列と、に分離する基本符号化信号分離手段を備え、前記合成器合成手段の前記基本符号化信号変換手段が、前記基本量子化符号化列を入力し、前記基本量子化係数値に変換する基本量子化係数列変換手段と、前記予測誤差符号化列を入力し、前記予測誤差係数値に変換する予測誤差係数列変換手段と、備え、
さらに、前記合成器合成手段が、前記基本量子化係数値と、前記再量子化パラメータと、前記予測誤差係数値と、から前記基本階層係数値に変換する基本階層係数値合成手段を備え、前記合成器合成手段の前記基本拡張階層合成手段が、前記基本階層係数値と、前記拡張階層係数値と、を合成して前記３次量子化係数値を生成することを特徴とした構成を有している。
さらに、本発明の符号化信号分離合成システムは、請求項１５から請求項１８のいずれか１項に記載の符号化信号分離合成システムにおいて、前記分離器多重化手段が、前記基本符号化信号を、複数の前記拡張符号化信号のそれぞれに多重化して、前記複数の伝送符号化信号を生成し、前記合成器分離手段が、前記複数の伝送符号化信号から、複数の前記基本符号化信号と、複数の前記拡張符号化信号と、に分離し、前記合成器合成手段が、前記合成器分離手段に分離された前記複数の基本符号化信号から１つの基本符号化信号を選択して、前記複数の拡張符号化信号と合成することを特徴とした構成を有している。
さらに、本発明の符号化信号分離合成システムは、請求項１５から請求項１９のいずれか１項に記載の符号化信号分離合成システムにおいて、前記分離器多重化手段が、複数の前記拡張符号化信号を多重化して、符号量が異なる複数の前記伝送符号化信号を生成し、前記合成器分離手段が、前記複数の伝送符号化信号から、前記基本符号化信号と、複数の前記拡張符号化信号と、に分離することを特徴とした構成を有している。
さらに、本発明の符号化信号分離合成システムは、請求項２０に記載の符号化信号分離合成システムにおいて、前記分離器多重化手段が、前記符号量が異なる複数の伝送符号化信号の符号量比が２のべき乗比となるように、前記伝送符号化信号を生成することを特徴とした構成を有している。
さらに、本発明の符号化信号分離合成システムは、請求項１９に記載の符号化信号分離合成システムにおいて、前記合成器分離手段が分離した複数の基本符号化信号から、受信信号誤りの少ない基本符号化信号を選択し、前記合成器合成手段に通知する信号誤り通知手段と、を備え、前記合成器合成手段が、前記信号誤り通知手段に通知された前記基本符号化信号を選択して、前記複数の拡張符号化信号と合成することを特徴とした構成を有している。
さらに、本発明の符号化信号分離合成システムは、請求項１５から請求項２２のいずれか１項に記載の符号化信号分離合成システムにおいて、ネットワーク上の誤り検出器から誤り訂正状況の情報を受信し、前記合成器合成手段に誤り訂正情報を通知する合成制御手段と、を備え、前記合成器合成手段が、前記合成制御手段に通知された前記誤り訂正情報に基づいて、前記基本符号化信号と、前記複数の拡張符号化信号と、を合成することを特徴とした構成を有している。
また、本発明の符号化信号分離方法および符号化信号分離プログラムは、複数の画像情報から構成される１次動画像を符号化した１次符号化信号を入力する分離器入力ステップと、前記分離器入力ステップで入力された１次符号化信号を、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離する分離器分離ステップと、前記分離器分離ステップに分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を任意に組み合わせて多重化し、複数の伝送符号化信号を生成する分離器多重化ステップと、前記分離器多重化ステップに多重化された複数の伝送符号化信号を出力する分離器出力ステップと、を備えたことを特徴とした構成を有している。
さらに、本発明の符号化信号分離方法および符号化信号分離プログラムは、請求項２４および請求項４５に記載の符号化信号分離方法および符号化信号分離プログラムにおいて、前記分離器分離ステップが、前記１次符号化信号から前記１次動画像を復元させる１次量子化係数値に変換する１次係数変換ステップと、前記１次係数変換ステップに変換された前記１次量子化係数値を、前記２次動画像を復元させる基本階層の基本階層係数値と、前記３次動画像を復元させるときに用いる拡張階層の拡張階層係数値と、に分離する基本拡張階層分離ステップと、前記基本階層係数値から前記基本符号化信号を生成する基本符号化信号生成ステップと、前記拡張階層係数値から複数の前記拡張符号化信号を生成する拡張符号化信号生成ステップと、を備えたことを特徴とした構成を有している。
さらに、本発明の符号化信号分離方法および符号化信号分離プログラムは、請求項２５および請求項４６に記載の符号化信号分離方法および符号化信号分離プログラムにおいて、前記基本拡張階層分離ステップが、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次量子化係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離することを特徴とした構成を有している。
さらに、本発明の符号化信号分離方法および符号化信号分離プログラムは、請求項２５または請求項２６および請求項４６または請求項４７に記載の符号化信号分離方法および符号化信号分離プログラムにおいて、前記分離器分離ステップが、前記基本拡張階層分離ステップに分離された基本階層係数値を、再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換ステップを備え、前記分離器分離ステップの前記基本符号化信号生成ステップが、前記基本量子化係数値を入力し、前記基本符号化信号である基本量子化符号化列に符号化する基本量子化係数列符号化ステップを備え、前記分離器分離ステップの前記拡張符号化信号生成ステップが、前記基本量子化係数変換ステップに変換された予測誤差係数値と、前記基本拡張階層分離ステップに分離された拡張階層係数値と、を入力し、前記予測誤差係数値と、前記拡張階層係数値と、から複数の前記拡張符号化信号を生成することを特徴とした構成を有している。
さらに、本発明の符号化信号分離方法および符号化信号分離プログラムは、請求項２５または請求項２６および請求項４６または請求項４７に記載の符号化信号分離方法および符号化信号分離プログラムにおいて、前記分離器分離ステップが、前記基本拡張階層分離ステップに分離された基本階層係数値を、再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換ステップを備え、
前記分離器分離ステップの前記基本符号化信号生成ステップが、前記基本量子化係数値を入力し、基本量子化符号化列に符号化する基本量子化係数列符号化ステップと、前記予測誤差係数値を入力し、予測誤差符号化列に符号化する予測誤差係数列符号化ステップと、前記基本量子化符号化列と、前記予測誤差符号化列と、を合成して前記基本符号化信号を生成する基本符号化信号合成ステップと、を備えたことを特徴とした構成を有している。
さらに、本発明の符号化信号分離方法および符号化信号分離プログラムは、請求項２４から請求項２８および請求項４５から請求項４９のいずれか１項に記載の符号化信号分離方法および符号化信号分離プログラムにおいて、前記分離器多重化ステップが、前記基本符号化信号と、複数の前記拡張符号化信号と、の各符号化信号を、前記各伝送符号化信号として生成することを特徴とした構成を有している。
さらに、本発明の符号化信号分離方法および符号化信号分離プログラムは、請求項２４から請求項２８および請求項４５から請求項４９のいずれか１項に記載の符号化信号分離方法および符号化信号分離プログラムにおいて、前記分離器多重化ステップが、前記基本符号化信号を、複数の前記拡張符号化信号のそれぞれに多重化して、前記複数の伝送符号化信号を生成することを特徴とした構成を有している。
さらに、本発明の符号化信号分離方法および符号化信号分離プログラムは、請求項２４から請求項３０および請求項４５から請求項５１のいずれか１項に記載の符号化信号分離方法において、前記分離器多重化ステップが、複数の前記拡張符号化信号を多重化して、符号量が異なる複数の前記伝送符号化信号を生成することを特徴とした構成を有している。
さらに、本発明の符号化信号分離方法および符号化信号分離プログラムは、請求項３１および請求項５２に記載の符号化信号分離方法および符号化信号分離プログラムにおいて、前記分離器多重化ステップが、前記符号量が異なる複数の伝送符号化信号の符号量比が２のべき乗比となるように、前記伝送符号化信号を生成することを特徴とした構成を有している。
また、本発明の符号化信号合成方法および符号化信号合成プログラムは、複数の画像情報から構成される１次動画像が符号化された複数の独立した伝送符号化信号を入力する合成器入力ステップと、前記合成器入力ステップで入力された複数の前記伝送符号化信号から、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離する合成器分離ステップと、前記合成器分離ステップに分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を合成し、３次動画像を復元させる３次符号化信号を生成する合成器合成ステップと、前記合成器合成ステップに合成された３次符号化信号を出力する合成器出力ステップと、を備えたことを特徴とした構成を有している。
さらに、本発明の符号化信号合成プログラムは、請求項５４に記載の符号化信号合成プログラムにおいて、前記合成器合成ステップが、前記基本符号化信号から、前記２次動画像を復元させる基本階層の基本階層係数値に変換させる基本符号化信号変換ステップと、前記複数の拡張符号化信号から、前記３次動画像を復元させるときに用いる拡張階層の拡張階層係数値に変換させる拡張符号化信号変換ステップと、前記基本符号化信号変換ステップに変換された基本階層係数値と、前記拡張符号化信号変換ステップに変換された拡張階層係数値と、を合成して３次量子化係数値を生成する基本拡張階層合成ステップと、前記基本拡張階層合成ステップに合成された３次量子化係数値を、前記３次符号化信号に変換する３次係数変換ステップと、を備えたことを特徴とした構成を有している。
さらに、本発明の符号化信号合成プログラムは、請求項５４または請求項５５に記載の符号化信号合成プログラムにおいて、前記合成器分離ステップが、前記複数の伝送符号化信号から、同一の情報を符号化した信号である複数の前記基本符号化信号と、前記複数の拡張符号化信号と、に分離することを特徴とした構成を有している。
さらに、本発明の符号化信号合成方法は、請求項３３に記載の符号化信号合成方法において、前記合成器分離ステップが、前記複数の伝送符号化信号から、同一の情報を符号化した信号である複数の前記基本符号化信号と、前記複数の拡張符号化信号と、に分離し、
さらに、前記合成器分離ステップが分離した複数の基本符号化信号から、受信信号誤りの少ない基本符号化信号を選択し、前記合成器合成ステップに通知する信号誤り通知ステップと、を備え、前記合成器合成ステップが、前記信号誤り通知ステップに通知された前記基本符号化信号を選択して、前記複数の拡張符号化信号と合成することを特徴とした構成を有している。
さらに、本発明の符号化信号合成プログラムは、請求項５６に記載の符号化信号合成プログラムにおいて、前記合成器分離ステップが分離した複数の基本符号化信号から、受信信号誤りの少ない基本符号化信号を選択し、前記合成器合成ステップに通知する信号誤り通知ステップと、を備え、前記合成器合成ステップが、前記信号誤り通知ステップに通知された前記基本符号化信号を選択して、前記複数の拡張符号化信号と合成することを特徴とした構成を有している。
さらに、本発明の符号化信号合成方法および符号化信号合成プログラムは、請求項３３または請求項３４に記載の符号化信号合成方法および請求項５４から請求項５７のいずれか１項に記載の符号化信号合成プログラムにおいて、ネットワーク上の誤り検出器から誤り訂正状況の情報を受信し、前記合成器合成ステップに誤り訂正情報を通知する合成制御ステップと、を備え、前記合成器合成ステップが、前記合成制御ステップに通知された前記誤り訂正情報に基づいて、前記基本符号化信号と、前記複数の拡張符号化信号と、を合成することを特徴とした構成を有している。
また、本発明の符号化信号分離合成方法および符号化信号分離合成プログラムは、複数の画像情報から構成される１次動画像を符号化した１次符号化信号を、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離するとともに、再構築して、ネットワーク上に伝送する複数の伝送符号化信号に変換する分離器を制御する分離器制御ステップと、
前記複数の伝送符号化信号を入力し、転送する前記伝送符号化信号を選択して、前記選択した伝送符号化信号を伝送する伝送路選択器を制御する伝送路選択器制御ステップと、
前記伝送路選択器に伝送された複数の伝送符号化信号を入力し、前記３次動画像を復元させる３次符号化信号を合成する合成器を制御する合成器制御ステップと、を備え、
前記分離器制御ステップが、前記１次符号化信号を入力する分離器入力ステップと、前記分離器入力ステップで入力された１次符号化信号を、前記基本符号化信号と、前記複数の拡張符号化信号と、に分離する分離器分離ステップと、前記分離器分離ステップに分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を任意に組み合わせて多重化し、前記複数の伝送符号化信号を生成する分離器多重化ステップと、前記分離器多重化ステップに多重化された複数の伝送符号化信号を出力する分離器出力ステップと、を備え、
前記合成器制御ステップが、前記複数の伝送符号化信号を入力する合成器入力ステップと、前記合成器入力ステップで入力された複数の前記伝送符号化信号から、前記基本符号化信号と、前記複数の拡張符号化信号と、に分離する合成器分離ステップと、前記合成器分離ステップに分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を合成し、３次動画像を復元させる３次符号化信号を生成する合成器合成ステップと、前記合成器合成ステップに合成された３次符号化信号を出力する合成器出力ステップと、を備えたことを特徴とした構成を有している。
さらに、本発明の符号化信号分離合成方法は、請求項３６に記載の符号化信号分離合成方法において、前記分離器分離ステップが、前記１次符号化信号から前記１次動画像を復元させる１次量子化係数値に変換する１次係数変換ステップと、前記１次係数変換ステップに変換された前記１次量子化係数値を、前記２次動画像を復元させる基本階層の基本階層係数値と、前記３次動画像を復元させるときに用いる拡張階層の拡張階層係数値と、に分離する基本拡張階層分離ステップと、前記基本階層係数値から前記基本符号化信号を生成する基本符号化信号生成ステップと、前記拡張階層係数値から複数の前記拡張符号化信号を生成する拡張符号化信号生成ステップと、を備え、
前記合成器合成ステップが、前記基本符号化信号から、前記基本階層の基本階層係数値に変換させる基本符号化信号変換ステップと、前記複数の拡張符号化信号から、前記拡張階層の拡張階層係数値に変換させる拡張符号化信号変換ステップと、前記基本符号化信号変換ステップに変換された基本階層係数値と、前記拡張符号化信号変換ステップに変換された拡張階層係数値と、を合成して３次量子化係数値を生成する基本拡張階層合成ステップと、前記基本拡張階層合成ステップに合成された３次量子化係数値を、前記３次符号化信号に変換する３次係数変換ステップと、を備えたことを特徴とした構成を有している。
さらに、本発明の符号化信号分離合成方法は、請求項３７に記載の符号化信号分離合成方法において、前記分離器制御ステップでは、前記分離器分離ステップが、前記基本拡張階層分離ステップに分離された基本階層係数値を、再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換ステップを備え、前記分離器分離ステップの前記基本符号化信号生成ステップが、前記基本量子化係数値を入力し、前記基本符号化信号である基本量子化符号化列に符号化する基本量子化係数列符号化ステップを備え、前記分離器分離ステップの前記拡張符号化信号生成ステップが、前記基本量子化係数変換ステップに変換された予測誤差係数値と、前記基本拡張階層分離ステップに分離された拡張階層係数値と、を入力し、前記予測誤差係数値と、前記拡張階層係数値と、から複数の前記拡張符号化信号を生成し、
前記合成器制御ステップでは、前記合成器分離ステップが、複数の前記伝送符号化信号から、前記基本量子化符号化列と、前記予測誤差係数値が符号化された予測誤差符号化列と、前記拡張階層係数値が符号化された拡張階層符号化列と、に分離し、前記合成器合成ステップの前記基本符号化信号変換ステップが、前記基本量子化符号化列を入力し、前記基本量子化係数値に変換する基本量子化係数列変換ステップを備え、前記合成器合成ステップの前記拡張符号化信号変換ステップが、前記予測誤差符号化列から前記予測誤差係数値に変換する予測誤差係数列変換ステップと、前記複数の拡張階層符号化列を、それぞれ前記拡張階層係数値に変換する複数の拡張階層係数列変換ステップと、を備え、
さらに、前記合成器合成ステップが、前記基本量子化係数値と、前記再量子化パラメータと、前記予測誤差係数値と、から前記基本階層係数値に変換する基本階層係数値合成ステップを備え、前記合成器合成ステップの前記基本拡張階層合成ステップが、前記基本階層係数値と、前記拡張階層係数値と、を合成して前記３次量子化係数値を生成することを特徴とした構成を有している。
さらに、本発明の符号化信号分離合成方法は、請求項３７に記載の符号化信号分離合成方法において、前記分離器制御ステップでは、前記分離器分離ステップが、前記基本拡張階層分離ステップに分離された基本階層係数値を、再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換ステップを備え、前記分離器分離ステップの前記基本符号化信号生成ステップが、前記基本量子化係数値を入力し、基本量子化符号化列に符号化する基本量子化係数列符号化ステップと、前記予測誤差係数値を入力し、予測誤差符号化列に符号化する予測誤差係数列符号化ステップと、前記基本量子化符号化列と、前記予測誤差符号化列と、を合成して前記基本符号化信号を生成する基本符号化信号合成ステップと、を備え、
前記合成器制御ステップでは、前記合成器合成ステップが、前記基本符号化信号を入力し、前記基本量子化符号化列と、前記予測誤差符号化列と、に分離する基本符号化信号分離ステップを備え、前記合成器合成ステップの前記基本符号化信号変換ステップが、前記基本量子化符号化列を入力し、前記基本量子化係数値に変換する基本量子化係数列変換ステップと、前記予測誤差符号化列を入力し、前記予測誤差係数値に変換する予測誤差係数列変換ステップと、備え、
さらに、前記合成器合成ステップが、前記基本量子化係数値と、前記再量子化パラメータと、前記予測誤差係数値と、から前記基本階層係数値に変換する基本階層係数値合成ステップを備え、前記合成器合成ステップの前記基本拡張階層合成ステップが、前記基本階層係数値と、前記拡張階層係数値と、を合成して前記３次量子化係数値を生成することを特徴とした構成を有している。
さらに、本発明の符号化信号分離合成方法は、請求項３６から請求項３９のいずれか１項に記載の符号化信号分離合成方法において、前記分離器多重化ステップが、前記基本符号化信号を、複数の前記拡張符号化信号のそれぞれに多重化して、前記複数の伝送符号化信号を生成し、前記合成器分離ステップが、前記複数の伝送符号化信号から、複数の前記基本符号化信号と、複数の前記拡張符号化信号と、に分離し、前記合成器合成ステップが、前記合成器分離ステップに分離された前記複数の基本符号化信号から１つの基本符号化信号を選択して、前記複数の拡張符号化信号と合成することを特徴とした構成を有している。
さらに、本発明の符号化信号分離合成方法は、請求項３６から請求項４０のいずれか１項に記載の符号化信号分離合成方法において、前記分離器多重化ステップが、複数の前記拡張符号化信号を多重化して、符号量が異なる複数の前記伝送符号化信号を生成し、前記合成器分離ステップが、前記複数の伝送符号化信号から、前記基本符号化信号と、複数の前記拡張符号化信号と、に分離することを特徴とした構成を有している。
さらに、本発明の符号化信号分離合成方法は、請求項４１に記載の符号化信号分離合成方法において、前記分離器多重化ステップが、前記符号量が異なる複数の伝送符号化信号の符号量比が２のべき乗比となるように、前記伝送符号化信号を生成することを特徴とした構成を有している。
さらに、本発明の符号化信号分離合成方法は、請求項４０に記載の符号化信号分離合成方法において、前記合成器分離ステップが分離した複数の基本符号化信号から、受信信号誤りの少ない基本符号化信号を選択し、前記合成器合成ステップに通知する信号誤り通知ステップと、を備え、前記合成器合成ステップが、前記信号誤り通知ステップに通知された前記基本符号化信号を選択して、前記複数の拡張符号化信号と合成することを特徴とした構成を有している。
さらに、本発明の符号化信号分離合成プログラムは、請求項５９に記載の符号化信号分離合成プログラムにおいて、前記分離器多重化ステップが、前記基本符号化信号を、複数の前記拡張符号化信号のそれぞれに多重化して、前記複数の伝送符号化信号を生成し、前記合成器分離ステップが、前記複数の伝送符号化信号から、複数の前記基本符号化信号と、複数の前記拡張符号化信号と、に分離し、前記合成器合成ステップが、前記合成器分離ステップに分離された前記複数の基本符号化信号から１つの基本符号化信号を選択して、前記複数の拡張符号化信号と合成し、
さらに、前記合成器分離ステップが分離した複数の基本符号化信号から、受信信号誤りの少ない基本符号化信号を選択し、前記合成器合成ステップに通知する信号誤り通知ステップと、を備え、前記合成器合成ステップが、前記信号誤り通知ステップに通知された前記基本符号化信号を選択して、前記複数の拡張符号化信号と合成することを特徴とした構成を有している。
さらに、本発明の符号化信号分離合成方法および符号化信号分離合成プログラムは、請求項３６から請求項４３のいずれか１項に記載の符号化信号分離合成方法および請求項５９または請求項６０に記載の符号化信号分離合成プログラムにおいて、ネットワーク上の誤り検出器から誤り訂正状況の情報を受信し、前記合成器合成ステップに誤り訂正情報を通知する合成制御ステップと、を備え、前記合成器合成ステップが、前記合成制御ステップに通知された前記誤り訂正情報に基づいて、前記基本符号化信号と、前記複数の拡張符号化信号と、を合成することを特徴とした構成を有している。
さらに、本発明の符号化信号分離装置は、請求項２に記載の符号化信号分離装置において、前記分離器分離手段の基本拡張階層分離手段が、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次動画像の係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
さらに、前記分離器分離手段が、前記基本拡張階層分離手段に分離された基本階層係数値を、前記再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される予測係数値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換手段と、前記基本拡張階層分離手段に分離された複数の拡張階層係数値を分離して、それぞれ分離された前記拡張階層係数値からなる複数の拡張量子化係数列を生成する拡張量子化係数分離手段と、を備え、
前記分離器分離手段の基本符号化信号生成手段が、前記基本量子化係数変換手段に変換された基本量子化係数値からなる基本量子化係数列を符号化して、前記基本符号化信号を生成し、前記分離器分離手段の拡張符号化信号生成手段が、前記基本量子化係数変換手段に変換された予測誤差係数値からなる予測誤差係数列と、前記拡張量子化係数分離手段に分離された複数の拡張量子化係数列と、をそれぞれ符号化して、複数の前記拡張符号化信号を生成することを特徴とした構成を有している。
さらに、本発明の符号化信号分離装置は、請求項６２に記載の符号化信号分離装置において、前記分離器分離手段の拡張符号化信号生成手段が、前記再量子化パラメータから前記入力量子化パラメータを復元させる量子化パラメータ復元情報を、前記複数の拡張符号化信号内にそれぞれ符号化することを特徴とした構成を有している。
さらに、本発明の符号化信号分離装置は、請求項６３に記載の符号化信号分離装置において、前記分離器分離手段の基本拡張階層分離手段が、再量子化特性に基づいて適正な前記再量子化パラメータを算出する再量子化パラメータ導出定数を生成して、前記再量子化パラメータ導出定数にしたがって前記入力量子化パラメータから前記再量子化パラメータを算出するとともに、前記基本階層係数値と、前記拡張階層係数値と、を分離し、前記分離器分離手段の拡張符号化信号生成手段が、前記再量子化パラメータ導出定数の情報を前記量子化パラメータ復元情報として、前記複数の拡張符号化信号内に符号化することを特徴とした構成を有している。
さらに、本発明の符号化信号分離装置は、請求項６４に記載の符号化信号分離装置において、前記拡張符号化信号生成手段が、前記再量子化パラメータ導出定数のマクロブロック間の差分値を前記量子化パラメータ復元情報として、前記複数の拡張符号化信号内に符号化することを特徴とした構成を有している。
さらに、本発明の符号化信号分離装置は、請求項６４または請求項６５に記載の符号化信号分離装置において、前記拡張符号化信号生成手段が、前記拡張量子化係数列を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって符号化することを特徴とした構成を有している。
さらに、本発明の符号化信号分離装置は、請求項６２から請求項６６のいずれか１項に記載の符号化信号分離装置において、前記拡張階層係数値を前記複数の拡張量子化係数列に分離する分離方法を規定する拡張階層分離パターン情報を入力する分離情報入力手段を備え、前記分離器分離手段の拡張量子化係数分離手段が、前記基本拡張階層分離手段に分離された拡張階層係数値を、前記分離情報入力手段が入力した拡張階層分離パターン情報にしたがって、前記複数の拡張量子化係数値の列に分離することを特徴とした構成を有している。
さらに、本発明の符号化信号分離装置は、請求項２に記載の符号化信号分離装置において、前記分離器分離手段の基本拡張階層分離手段が、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次動画像の係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
さらに、前記分離器分離手段が、前記基本拡張階層分離手段に分離された基本階層係数値を、前記再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される予測係数値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換手段と、前記基本拡張階層分離手段に分離された複数の拡張階層係数値を分離して、それぞれ分離された前記拡張階層係数値からなる複数の拡張量子化係数列を生成する拡張量子化係数分離手段と、を備え、
前記分離器分離手段の基本符号化信号生成手段が、前記基本量子化係数変換手段に変換された基本量子化係数値からなる基本量子化係数列を符号化して、基本量子化符号化列を生成する基本量子化係数列符号化手段と、前記基本量子化係数変換手段に変換された予測誤差係数値からなる予測誤差係数列を符号化して、予測誤差符号化列を生成する予測誤差係数列符号化手段と、前記基本量子化符号化列と、前記予測誤差符号化列と、を多重化して前記基本符号化信号を生成する基本符号化信号多重化手段と、を備え、
前記分離器分離手段の拡張符号化信号生成手段が、前記拡張量子化係数分離手段に分離された複数の拡張量子化係数列をそれぞれ符号化して、複数の前記拡張符号化信号を生成することを特徴とした構成を有している。
さらに、本発明の符号化信号分離装置は、請求項６８に記載の符号化信号分離装置において、前記基本符号化信号生成手段の予測誤差係数列符号化手段が、前記再量子化パラメータから前記入力量子化パラメータを復元させる量子化パラメータ復元情報を、前記予測誤差係数列とともに前記予測誤差符号化列に符号化することを特徴とした構成を有している。
さらに、本発明の符号化信号分離装置は、請求項６９に記載の符号化信号分離装置において、前記分離器分離手段の基本拡張階層分離手段が、再量子化特性に基づいて適正な前記再量子化パラメータを算出する再量子化パラメータ導出定数を生成して、前記再量子化パラメータ導出定数にしたがって前記入力量子化パラメータから前記再量子化パラメータを算出するとともに、前記基本階層係数値と、前記拡張階層係数値と、を分離し、前記基本符号化信号生成手段の予測誤差係数列符号化手段が、前記再量子化パラメータ導出定数の情報を前記量子化パラメータ復元情報として、前記予測誤差係数列とともに前記予測誤差符号化列に符号化することを特徴とした構成を有している。
さらに、本発明の符号化信号分離装置は、請求項７０に記載の符号化信号分離装置において、前記予測誤差係数列符号化手段が、前記再量子化パラメータ導出定数のマクロブロック間の差分値を前記量子化パラメータ復元情報として、前記予測誤差係数列とともに前記予測誤差符号化列に符号化することを特徴とした構成を有している。
さらに、本発明の符号化信号分離装置は、請求項７０または請求項７１に記載の符号化信号分離装置において、前記予測誤差係数列符号化手段が、前記予測誤差係数列を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって符号化することを特徴とした構成を有している。
さらに、本発明の符号化信号分離装置は、請求項７０から請求項７２のいずれか１項に記載の符号化信号分離装置において、前記分離器分離手段の拡張符号化信号生成手段が、前記拡張量子化係数列を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって符号化することを特徴とした構成を有している。
さらに、本発明の符号化信号分離装置は、請求項６８から請求項７３のいずれか１項に記載の符号化信号分離装置において、前記拡張階層係数値を前記複数の拡張量子化係数列に分離する分離方法を規定する拡張階層分離パターン情報を入力する分離情報入力手段を備え、前記分離器分離手段の拡張量子化係数分離手段が、前記基本拡張階層分離手段に分離された拡張階層係数値を、前記分離情報入力手段が入力した拡張階層分離パターン情報にしたがって、前記複数の拡張量子化係数列に分離することを特徴とした構成を有している。
また、本発明の映像信号受信合成再生装置は、請求項１０から請求項１４のいずれか１項に記載の符号化信号合成装置と、前記符号化信号合成装置から前記３次符号化信号を入力し、前記３次符号化信号を復号して前記３次動画像を再生する符号化信号復号装置と、を備えたことを特徴とした構成を有している。
また、本発明の符号化信号分離合成システムは、請求項１６に記載の符号化信号分離合成システムにおいて、前記分離器分離手段の基本拡張階層分離手段が、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次動画像の係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
さらに、前記分離器分離手段が、前記基本拡張階層分離手段に分離された基本階層係数値を、前記再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される予測係数値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換手段と、前記基本拡張階層分離手段に分離された複数の拡張階層係数値を分離して、それぞれ分離された前記拡張階層係数値からなる複数の拡張量子化係数列を生成する拡張量子化係数分離手段と、を備え、
前記分離器分離手段の基本符号化信号生成手段が、前記基本量子化係数変換手段に変換された基本量子化係数値からなる基本量子化係数列を符号化して、前記基本符号化信号を生成し、前記分離器分離手段の拡張符号化信号生成手段が、前記基本量子化係数変換手段に変換された予測誤差係数値からなる予測誤差係数列と、前記拡張量子化係数分離手段に分離された複数の拡張量子化係数列と、をそれぞれ符号化して、複数の前記拡張符号化信号を生成し、
前記合成器では、前記合成器分離手段が、複数の前記伝送符号化信号から、前記基本符号化信号と、前記予測誤差係数列が符号化された拡張符号化信号と、前記拡張量子化係数列が符号化された拡張符号化信号と、を分離し、前記合成器合成手段の基本符号化信号変換手段が、前記基本符号化信号から前記基本量子化係数列に変換する基本量子化係数列変換手段を備え、
前記合成器合成手段の拡張符号化信号変換手段が、前記予測誤差係数列が符号化された拡張符号化信号から前記予測誤差係数列に変換する予測誤差係数列変換手段と、前記拡張量子化係数列が符号化された複数の前記拡張符号化信号から、それぞれ前記拡張量子化係数列に変換する複数の拡張量子化係数列変換手段と、を備え、
さらに、前記合成器合成手段が、前記基本量子化係数列と、前記再量子化パラメータと、前記予測誤差係数列と、から前記基本階層係数値の列を合成する基本量子化係数合成手段と、前記複数の拡張量子化係数列から前記拡張階層係数値の列を合成する拡張量子化係数合成手段と、を備え、
前記合成器合成手段の基本拡張階層合成手段が、前記基本階層係数値の列と、前記拡張階層係数値の列と、を合成して前記３次量子化係数値を生成することを特徴とした構成を有している。
さらに、本発明の符号化信号分離合成システムは、請求項７６に記載の符号化信号分離合成システムにおいて、前記分離器分離手段の拡張符号化信号生成手段が、前記再量子化パラメータから前記入力量子化パラメータを復元させる量子化パラメータ復元情報を、前記複数の拡張符号化信号内にそれぞれ符号化し、前記合成器合成手段の拡張符号化信号変換手段が、前記拡張符号化信号から前記量子化パラメータ復元情報を復号し、前記合成器合成手段の基本量子化係数合成手段が、前記量子化パラメータ復元情報にしたがって前記基本階層係数値の列を合成し、前記合成器合成手段の３次係数変換手段が、前記再量子化パラメータと、前記量子化パラメータ復元情報と、にしたがって復元された入力量子化パラメータを、前記３次符号化信号内に符号化することを特徴とした構成を有している。
さらに、本発明の符号化信号分離合成システムは、請求項７７に記載の符号化信号分離合成システムにおいて、前記分離器分離手段の基本拡張階層分離手段が、再量子化特性に基づいて適正な前記再量子化パラメータを算出する再量子化パラメータ導出定数を生成して、前記再量子化パラメータ導出定数にしたがって前記入力量子化パラメータから前記再量子化パラメータを算出するとともに、前記基本階層係数値と、前記拡張階層係数値と、を分離し、前記分離器分離手段の拡張符号化信号生成手段が、前記再量子化パラメータ導出定数の情報を前記量子化パラメータ復元情報として、前記複数の拡張符号化信号内に符号化し、前記合成器合成手段の拡張符号化信号変換手段が、前記拡張符号化信号から前記再量子化パラメータ導出定数を復号し、前記合成器合成手段の基本量子化係数合成手段が、前記再量子化パラメータ導出定数にしたがって前記基本階層係数値の列を合成し、前記合成器合成手段の３次係数変換手段が、前記再量子化パラメータと、前記再量子化パラメータ導出定数と、にしたがって復元された入力量子化パラメータを、前記３次符号化信号内に符号化することを特徴とした構成を有している。
さらに、本発明の符号化信号分離合成システムは、請求項７８に記載の符号化信号分離合成システムにおいて、前記分離器分離手段の拡張符号化信号生成手段が、前記再量子化パラメータ導出定数のマクロブロック間の差分値を前記量子化パラメータ復元情報として、前記複数の拡張符号化信号内に符号化し、前記合成器合成手段の拡張符号化信号変換手段が、前記拡張符号化信号から前記再量子化パラメータ導出定数のマクロブロック間の差分値を復号し、前記再量子化パラメータ導出定数を求めることを特徴とした構成を有している。
さらに、本発明の符号化信号分離合成システムは、請求項７８または請求項７９に記載の符号化信号分離合成システムにおいて、前記分離器分離手段の拡張符号化信号生成手段が、前記拡張量子化係数列を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって符号化し、前記合成器合成手段の拡張符号化信号変換手段が、前記拡張符号化信号を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって復号することを特徴とした構成を有している。
さらに、本発明の符号化信号分離合成システムは、請求項７６から請求項８０のいずれか１項に記載の符号化信号分離合成システムにおいて、前記分離器分離手段が、前記拡張階層係数値を前記複数の拡張量子化係数列に分離する分離方法を規定する拡張階層分離パターン情報を入力する分離器分離情報入力手段を備え、前記分離器分離手段の拡張量子化係数分離手段が、前記基本拡張階層分離手段に分離された拡張階層係数値を、前記分離器分離情報入力手段が入力した拡張階層分離パターン情報にしたがって、前記複数の拡張量子化係数列に分離し、前記合成器合成手段が、前記拡張階層分離パターン情報を入力する合成器分離情報入力手段を備え、前記合成器合成手段の拡張量子化係数合成手段が、前記拡張符号化信号変換手段に変換された複数の拡張量子化係数列を、前記合成器分離情報入力手段が入力した拡張階層分離パターン情報にしたがって、前記拡張階層係数値の列に合成することを特徴とした構成を有している。
さらに、本発明の符号化信号分離合成システムは、請求項８１に記載の符号化信号分離合成システムにおいて、前記分離器が、前記分離器分離手段の拡張量子化係数分離手段が前記拡張階層係数値を複数の拡張量子化係数列に分離した拡張階層分離パターン情報を前記合成器に送信する分離器分離情報送信手段を備え、前記合成器が、前記分離器から送信された拡張階層分離パターン情報を受信する合成器分離情報受信手段を備え、前記合成器合成手段の合成器分離情報入力手段が、前記合成器分離情報受信手段が受信した拡張階層分離パターン情報を入力することを特徴とした構成を有している。
さらに、本発明の符号化信号分離合成システムは、請求項１６に記載の符号化信号分離合成システムにおいて、前記分離器分離手段の基本拡張階層分離手段が、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次動画像の係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
さらに、前記分離器分離手段が、前記基本拡張階層分離手段に分離された基本階層係数値を、前記再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される予測係数値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換手段と、前記基本拡張階層分離手段に分離された複数の拡張階層係数値を分離して、それぞれ分離された前記拡張階層係数値からなる複数の拡張量子化係数列を生成する拡張量子化係数分離手段と、を備え、
前記分離器分離手段の基本符号化信号生成手段が、前記基本量子化係数変換手段に変換された基本量子化係数値からなる基本量子化係数列を符号化して、基本量子化符号化列を生成する基本量子化係数列符号化手段と、前記基本量子化係数変換手段に変換された予測誤差係数値からなる予測誤差係数列を符号化して、予測誤差符号化列を生成する予測誤差係数列符号化手段と、前記基本量子化符号化列と、前記予測誤差符号化列と、を多重化して前記基本符号化信号を生成する基本符号化信号多重化手段と、を備え、
前記分離器分離手段の拡張符号化信号生成手段が、前記拡張量子化係数分離手段に分離された複数の拡張量子化係数列をそれぞれ符号化して、複数の前記拡張符号化信号を生成し、
前記合成器では、前記合成器合成手段の基本符号化信号変換手段が、前記基本符号化信号から、前記基本量子化符号化列と、前記予測誤差符号化列と、を多重分離する基本量子化係数分離手段と、前記基本量子化係数分離手段に分離された基本量子化符号化列を前記基本量子化係数列に変換する基本量子化係数列変換手段と、前記基本量子化係数分離手段に分離された予測誤差符号化列を前記予測誤差係数列に変換する予測誤差係数列変換手段と、備え、
前記合成器合成手段の拡張符号化信号変換手段が、複数の前記拡張符号化信号から、それぞれ前記拡張量子化係数列に変換する複数の拡張量子化係数列変換手段を備え、
さらに、前記合成器合成手段が、前記基本量子化係数列と、前記再量子化パラメータと、前記予測誤差係数列と、から前記基本階層係数値の列を合成する基本量子化係数合成手段と、前記複数の拡張量子化係数列から前記拡張階層係数値の列を合成する拡張量子化係数合成手段と、を備え、
前記合成器合成手段の基本拡張階層合成手段が、前記基本階層係数値の列と、前記拡張階層係数値の列と、を合成して前記３次量子化係数値を生成することを特徴とした構成を有している。
さらに、本発明の符号化信号分離合成システムは、請求項８３に記載の符号化信号分離合成システムにおいて、前記分離器の基本符号化信号生成手段の予測誤差係数列符号化手段が、前記再量子化パラメータから前記入力量子化パラメータを復元させる量子化パラメータ復元情報を、前記予測誤差係数列とともに前記予測誤差符号化列に符号化し、前記合成器合成手段の基本符号化信号変換手段の予測誤差係数列変換手段が、前記予測誤差符号化列から前記量子化パラメータ復元情報を復号し、前記合成器合成手段の基本量子化係数合成手段が、前記量子化パラメータ復元情報にしたがって前記基本階層係数値の列を合成し、前記合成器合成手段の３次係数変換手段が、前記再量子化パラメータと、前記量子化パラメータ復元情報と、にしたがって復元された入力量子化パラメータを、前記３次符号化信号内に符号化することを特徴とした構成を有している。
さらに、本発明の符号化信号分離合成システムは、請求項８４に記載の符号化信号分離合成システムにおいて、前記分離器分離手段の基本拡張階層分離手段が、再量子化特性に基づいて適正な前記再量子化パラメータを算出する再量子化パラメータ導出定数を生成して、前記再量子化パラメータ導出定数にしたがって前記入力量子化パラメータから前記再量子化パラメータを算出するとともに、前記基本階層係数値と、前記拡張階層係数値と、を分離し、前記分離器分離手段の基本符号化信号生成手段の予測誤差係数列符号化手段が、前記再量子化パラメータ導出定数の情報を前記量子化パラメータ復元情報として、前記予測誤差係数列とともに前記予測誤差符号化列に符号化し、前記合成器合成手段の基本符号化信号変換手段の予測誤差係数列変換手段が、前記予測誤差符号化列から前記再量子化パラメータ導出定数を復号し、前記合成器合成手段の基本量子化係数合成手段が、前記再量子化パラメータ導出定数にしたがって前記基本階層係数値の列を合成し、前記合成器合成手段の３次係数変換手段が、前記再量子化パラメータと、前記再量子化パラメータ導出定数と、にしたがって復元された入力量子化パラメータを、前記３次符号化信号内に符号化することを特徴とした構成を有している。
さらに、本発明の符号化信号分離合成システムは、請求項８５に記載の符号化信号分離合成システムにおいて、前記分離器分離手段の基本符号化信号生成手段の予測誤差係数列符号化手段が、前記再量子化パラメータ導出定数のマクロブロック間の差分値を前記量子化パラメータ復元情報として、前記予測誤差係数列とともに前記予測誤差符号化列に符号化し、前記合成器合成手段の基本符号化信号変換手段の予測誤差係数列変換手段が、前記予測誤差符号化列から前記再量子化パラメータ導出定数のマクロブロック間の差分値を復号し、前記再量子化パラメータ導出定数を求めることを特徴とした構成を有している。
さらに、本発明の符号化信号分離合成システムは、請求項８５または請求項８６に記載の符号化信号分離合成システムにおいて、前記分離器分離手段の基本符号化信号生成手段の予測誤差係数列符号化手段が、前記予測誤差係数列を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって符号化し、前記合成器合成手段の基本符号化信号変換手段の予測誤差係数列変換手段が、前記予測誤差符号化列を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって復号することを特徴とした構成を有している。
さらに、本発明の符号化信号分離合成システムは、請求項８５から請求項８７のいずれか１項に記載の符号化信号分離合成システムにおいて、前記分離器分離手段の拡張符号化信号生成手段が、前記拡張量子化係数列を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって符号化し、前記合成器合成手段の拡張符号化信号変換手段が、前記拡張符号化信号を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって復号することを特徴とした構成を有している。
さらに、本発明の符号化信号分離合成システムは、請求項８３から請求項８８のいずれか１項に記載の符号化信号分離合成システムにおいて、前記分離器分離手段が、前記拡張階層係数値を前記複数の拡張量子化係数列に分離する分離方法を規定する拡張階層分離パターン情報を入力する分離器分離情報入力手段を備え、前記分離器分離手段の拡張量子化係数分離手段が、前記基本拡張階層分離手段に分離された拡張階層係数値を、前記分離器分離情報入力手段が入力した拡張階層分離パターン情報にしたがって、前記複数の拡張量子化係数列に分離し、前記合成器合成手段が、前記拡張階層分離パターン情報を入力する合成器分離情報入力手段を備え、前記合成器合成手段の拡張量子化係数合成手段が、前記拡張符号化信号変換手段に変換された複数の拡張量子化係数列を、前記合成器分離情報入力手段が入力した拡張階層分離パターン情報にしたがって、前記拡張階層係数値の列に合成することを特徴とした構成を有している。
さらに、本発明の符号化信号分離合成システムは、請求項８９に記載の符号化信号分離合成システムにおいて、前記分離器が、前記分離器分離手段の拡張量子化係数分離手段が前記拡張階層係数値を複数の拡張量子化係数列に分離した拡張階層分離パターン情報を前記合成器に送信する分離器分離情報送信手段を備え、前記合成器が、前記分離器から送信された拡張階層分離パターン情報を受信する合成器分離情報受信手段を備え、前記合成器合成手段の合成器分離情報入力手段が、前記合成器分離情報受信手段が受信した拡張階層分離パターン情報を入力することを特徴とした構成を有している。
さらに、本発明の符号化信号分離合成システムは、請求項１５から請求項２３または請求項７６から請求項９０のいずれか１項に記載の符号化信号分離合成システムにおいて、前記符号化信号合成器から前記３次符号化信号を入力し、前記３次符号化信号を復号して前記３次動画像を再生する符号化信号復号装置を備えたことを特徴とした構成を有している。
また、本発明の符号化信号分離方法および符号化信号分離プログラムは、請求項２５に記載の符号化信号分離方法および請求項４６に記載の符号化信号分離プログラムにおいて、前記分離器分離ステップの基本拡張階層分離ステップが、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次動画像の係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
さらに、前記分離器分離ステップが、前記基本拡張階層分離ステップで分離された基本階層係数値を、前記再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される予測係数値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換ステップと、前記基本拡張階層分離ステップで分離された複数の拡張階層係数値を分離して、それぞれ分離された前記拡張階層係数値からなる複数の拡張量子化係数列を生成する拡張量子化係数分離ステップと、を備え、
前記分離器分離ステップの基本符号化信号生成ステップが、前記基本量子化係数変換ステップで変換された基本量子化係数値からなる基本量子化係数列を符号化して、前記基本符号化信号を生成し、前記分離器分離ステップの拡張符号化信号生成ステップが、前記基本量子化係数変換ステップで変換された予測誤差係数値からなる予測誤差係数列と、前記拡張量子化係数分離ステップで分離された複数の拡張量子化係数列と、をそれぞれ符号化して、複数の前記拡張符号化信号を生成することを特徴とした構成を有している。
さらに、本発明の符号化信号分離方法および符号化信号分離プログラムは、請求項２５に記載の符号化信号分離方法および請求項４６に記載の符号化信号分離プログラムにおいて、前記分離器分離ステップの基本拡張階層分離ステップが、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次動画像の係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
さらに、前記分離器分離ステップが、前記基本拡張階層分離ステップで分離された基本階層係数値を、前記再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される予測係数値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換ステップと、前記基本拡張階層分離ステップで分離された複数の拡張階層係数値を分離して、それぞれ分離された前記拡張階層係数値からなる複数の拡張量子化係数列を生成する拡張量子化係数分離ステップと、を備え、
前記分離器分離ステップの基本符号化信号生成ステップが、前記基本量子化係数変換ステップで変換された基本量子化係数値からなる基本量子化係数列を符号化して、基本量子化符号化列を生成する基本量子化係数列符号化ステップと、前記基本量子化係数変換ステップで変換された予測誤差係数値からなる予測誤差係数列を符号化して、予測誤差符号化列を生成する予測誤差係数列符号化ステップと、前記基本量子化符号化列と、前記予測誤差符号化列と、を多重化して前記基本符号化信号を生成する基本符号化信号多重化ステップと、を備え、
前記分離器分離ステップの拡張符号化信号生成ステップが、前記拡張量子化係数分離ステップで分離された複数の拡張量子化係数列をそれぞれ符号化して、複数の前記拡張符号化信号を生成することを特徴とした構成を有している。
また、本発明の符号化信号分離合成方法は、請求項３７に記載の符号化信号分離合成方法において、前記分離器分離ステップの基本拡張階層分離ステップが、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次動画像の係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
さらに、前記分離器分離ステップが、前記基本拡張階層分離ステップで分離された基本階層係数値を、前記再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される予測係数値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換ステップと、前記基本拡張階層分離ステップで分離された複数の拡張階層係数値を分離して、それぞれ分離された前記拡張階層係数値からなる複数の拡張量子化係数列を生成する拡張量子化係数分離ステップと、を備え、
前記分離器分離ステップの基本符号化信号生成ステップが、前記基本量子化係数変換ステップで変換された基本量子化係数値からなる基本量子化係数列を符号化して、前記基本符号化信号を生成し、前記分離器分離ステップの拡張符号化信号生成ステップが、前記基本量子化係数変換ステップで変換された予測誤差係数値からなる予測誤差係数列と、前記拡張量子化係数分離ステップで分離された複数の拡張量子化係数列と、をそれぞれ符号化して、複数の前記拡張符号化信号を生成し、
前記合成器制御ステップでは、前記合成器分離ステップが、複数の前記伝送符号化信号から、前記基本符号化信号と、前記予測誤差係数列が符号化された拡張符号化信号と、前記拡張量子化係数列が符号化された拡張符号化信号と、を分離し、前記合成器合成ステップの基本符号化信号変換ステップが、前記基本符号化信号から前記基本量子化係数列に変換する基本量子化係数列変換ステップを備え、
前記合成器合成ステップの拡張符号化信号変換ステップが、前記予測誤差係数列が符号化された拡張符号化信号から前記予測誤差係数列に変換する予測誤差係数列変換ステップと、前記拡張量子化係数列が符号化された複数の前記拡張符号化信号から、それぞれ前記拡張量子化係数列に変換する複数の拡張量子化係数列変換ステップと、を備え、
さらに、前記合成器合成ステップが、前記基本量子化係数列と、前記再量子化パラメータと、前記予測誤差係数列と、から前記基本階層係数値の列を合成する基本量子化係数合成ステップと、前記複数の拡張量子化係数列から前記拡張階層係数値の列を合成する拡張量子化係数合成ステップと、を備え、
前記合成器合成ステップの基本拡張階層合成ステップが、前記基本階層係数値の列と、前記拡張階層係数値の列と、を合成して前記３次量子化係数値を生成することを特徴とした構成を有している。
さらに、本発明の符号化信号分離合成方法は、請求項９４に記載の符号化信号分離合成方法において、前記分離器分離ステップの拡張符号化信号生成ステップが、前記再量子化パラメータから前記入力量子化パラメータを復元させる量子化パラメータ復元情報を、前記複数の拡張符号化信号内にそれぞれ符号化し、前記合成器合成ステップの拡張符号化信号変換ステップが、前記拡張符号化信号から前記量子化パラメータ復元情報を復号し、前記合成器合成ステップの基本量子化係数合成ステップが、前記量子化パラメータ復元情報にしたがって前記基本階層係数値の列を合成し、前記合成器合成ステップの３次係数変換ステップが、前記再量子化パラメータと、前記量子化パラメータ復元情報と、にしたがって復元された入力量子化パラメータを、前記３次符号化信号内に符号化することを特徴とした構成を有している。
さらに、本発明の符号化信号分離合成方法は、請求項９４または請求項９５に記載の符号化信号分離合成方法において、前記分離器分離ステップが、前記拡張階層係数値を前記複数の拡張量子化係数列に分離する分離方法を規定する拡張階層分離パターン情報を入力する分離器分離情報入力ステップを備え、
前記分離器分離ステップの拡張量子化係数分離ステップが、前記基本拡張階層分離ステップで分離された拡張階層係数値を、前記分離器分離情報入力ステップで入力した拡張階層分離パターン情報にしたがって、前記複数の拡張量子化係数列に分離し、前記分離器制御ステップが、前記分離器分離ステップの拡張量子化係数分離ステップが前記拡張階層係数値を複数の拡張量子化係数列に分離した拡張階層分離パターン情報を送信する分離器分離情報送信ステップを備え、
さらに、前記合成器制御ステップが、前記分離器制御ステップの分離器分離情報送信ステップで送信された拡張階層分離パターン情報を受信する合成器分離情報受信ステップを備え、
前記合成器合成ステップの拡張量子化係数合成ステップが、前記拡張符号化信号変換ステップで変換された複数の拡張量子化係数列を、前記合成器分離情報受信ステップで受信した拡張階層分離パターン情報にしたがって、前記拡張階層係数値の列に合成することを特徴とした構成を有している。
さらに、本発明の符号化信号分離合成方法は、請求項３７に記載の符号化信号分離合成方法において、前記分離器分離ステップの基本拡張階層分離ステップが、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次動画像の係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
さらに、前記分離器分離ステップが、前記基本拡張階層分離ステップで分離された基本階層係数値を、前記再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される予測係数値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換ステップと、前記基本拡張階層分離ステップで分離された複数の拡張階層係数値を分離して、それぞれ分離された前記拡張階層係数値からなる複数の拡張量子化係数列を生成する拡張量子化係数分離ステップと、を備え、
前記分離器分離ステップの基本符号化信号生成ステップが、前記基本量子化係数変換ステップで変換された基本量子化係数値からなる基本量子化係数列を符号化して、基本量子化符号化列を生成する基本量子化係数列符号化ステップと、前記基本量子化係数変換ステップで変換された予測誤差係数値からなる予測誤差係数列を符号化して、予測誤差符号化列を生成する予測誤差係数列符号化ステップと、前記基本量子化符号化列と、前記予測誤差符号化列と、を多重化して前記基本符号化信号を生成する基本符号化信号多重化ステップと、を備え、
前記分離器分離ステップの拡張符号化信号生成ステップが、前記拡張量子化係数分離ステップで分離された複数の拡張量子化係数列をそれぞれ符号化して、複数の前記拡張符号化信号を生成し、
前記合成器制御ステップでは、前記合成器合成ステップの基本符号化信号変換ステップが、前記基本符号化信号から、前記基本量子化符号化列と、前記予測誤差符号化列と、を多重分離する基本量子化係数分離ステップと、前記基本量子化係数分離ステップで分離された基本量子化符号化列を前記基本量子化係数列に変換する基本量子化係数列変換ステップと、前記基本量子化係数分離ステップで分離された予測誤差符号化列を前記予測誤差係数列に変換する予測誤差係数列変換ステップと、備え、
前記合成器合成ステップの拡張符号化信号変換ステップが、複数の前記拡張符号化信号から、それぞれ前記拡張量子化係数列に変換する複数の拡張量子化係数列変換ステップを備え、
さらに、前記合成器合成ステップが、前記基本量子化係数列と、前記再量子化パラメータと、前記予測誤差係数列と、から前記基本階層係数値の列を合成する基本量子化係数合成ステップと、前記複数の拡張量子化係数列から前記拡張階層係数値の列を合成する拡張量子化係数合成ステップと、を備え、
前記合成器合成ステップの基本拡張階層合成ステップが、前記基本階層係数値の列と、前記拡張階層係数値の列と、を合成して前記３次量子化係数値を生成することを特徴とした構成を有している。
さらに、本発明の符号化信号分離合成方法は、請求項９７に記載の符号化信号分離合成方法において、前記分離器の基本符号化信号生成ステップの予測誤差係数列符号化ステップが、前記再量子化パラメータから前記入力量子化パラメータを復元させる量子化パラメータ復元情報を、前記予測誤差係数列とともに前記予測誤差符号化列に符号化し、前記合成器合成ステップの基本符号化信号変換ステップの予測誤差係数列変換ステップが、前記予測誤差符号化列から前記量子化パラメータ復元情報を復号し、前記合成器合成ステップの基本量子化係数合成ステップが、前記量子化パラメータ復元情報にしたがって前記基本階層係数値の列を合成し、前記合成器合成ステップの３次係数変換ステップが、前記再量子化パラメータと、前記量子化パラメータ復元情報と、にしたがって復元された入力量子化パラメータを、前記３次符号化信号内に符号化することを特徴とした構成を有している。
さらに、本発明の符号化信号分離合成方法は、請求項９７または請求項９８に記載の符号化信号分離合成方法において、前記分離器分離ステップが、前記拡張階層係数値を前記複数の拡張量子化係数列に分離する分離方法を規定する拡張階層分離パターン情報を入力する分離器分離情報入力ステップを備え、
前記分離器分離ステップの拡張量子化係数分離ステップが、前記基本拡張階層分離ステップで分離された拡張階層係数値を、前記分離器分離情報入力ステップで入力した拡張階層分離パターン情報にしたがって、前記複数の拡張量子化係数列に分離し、前記分離器制御ステップが、前記分離器分離ステップの拡張量子化係数分離ステップが前記拡張階層係数値を複数の拡張量子化係数列に分離した拡張階層分離パターン情報を送信する分離器分離情報送信ステップを備え、
さらに、前記合成器制御ステップが、前記分離器制御ステップの分離器分離情報送信ステップで送信された拡張階層分離パターン情報を受信する合成器分離情報受信ステップを備え、
前記合成器合成ステップの拡張量子化係数合成ステップが、前記拡張符号化信号変換ステップで変換された複数の拡張量子化係数列を、前記合成器分離情報受信ステップで受信した拡張階層分離パターン情報にしたがって、前記拡張階層係数値の列に合成することを特徴とした構成を有している。
さらに、本発明の符号化信号分離合成方法および符号化信号分離合成プログラムは、請求項３６から請求項４４または請求項９４から請求項９９のいずれか１項に記載の符号化信号分離合成方法および請求項５９から請求項６１のいずれか１項に記載の符号化信号分離合成プログラムにおいて、前記合成器制御ステップで生成された前記３次符号化信号を入力し、前記３次符号化信号を復号して前記３次動画像を再生する符号化信号復号ステップを備えたことを特徴とした構成を有している。
また、本発明の符号化信号分離プログラムは、請求項１０１に記載の符号化信号分離プログラムにおいて、前記分離器分離ステップの拡張符号化信号生成ステップが、前記再量子化パラメータから前記入力量子化パラメータを復元させる量子化パラメータ復元情報を、前記複数の拡張符号化信号内にそれぞれ符号化することを特徴とした構成を有している。
さらに、本発明の符号化信号分離プログラムは、請求項１０２に記載の符号化信号分離プログラムにおいて、前記分離器分離ステップの基本拡張階層分離ステップが、再量子化特性に基づいて適正な前記再量子化パラメータを算出する再量子化パラメータ導出定数を生成して、前記再量子化パラメータ導出定数にしたがって前記入力量子化パラメータから前記再量子化パラメータを算出するとともに、前記基本階層係数値と、前記拡張階層係数値と、を分離し、前記分離器分離ステップの拡張符号化信号生成ステップが、前記再量子化パラメータ導出定数の情報を前記量子化パラメータ復元情報として、前記複数の拡張符号化信号内に符号化することを特徴とした構成を有している。
さらに、本発明の符号化信号分離プログラムは、請求項１０３に記載の符号化信号分離プログラムにおいて、前記拡張符号化信号生成ステップが、前記再量子化パラメータ導出定数のマクロブロック間の差分値を前記量子化パラメータ復元情報として、前記複数の拡張符号化信号内に符号化することを特徴とした構成を有している。
さらに、本発明の符号化信号分離プログラムは、請求項１０３または請求項１０４に記載の符号化信号分離プログラムにおいて、前記拡張符号化信号生成ステップが、前記拡張量子化係数列を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって符号化することを特徴とした構成を有している。
さらに、本発明の符号化信号分離プログラムは、請求項１０１から請求項１０５のいずれか１項に記載の符号化信号分離プログラムにおいて、前記拡張階層係数値を前記複数の拡張量子化係数列に分離する分離方法を規定する拡張階層分離パターン情報を入力する分離情報入力ステップを備え、前記分離器分離ステップの拡張量子化係数分離ステップが、前記基本拡張階層分離ステップで分離された拡張階層係数値を、前記分離情報入力ステップで入力した拡張階層分離パターン情報にしたがって、前記複数の拡張量子化係数値の列に分離することを特徴とした構成を有している。
さらに、本発明の符号化信号分離プログラムは、請求項１０７に記載の符号化信号分離プログラムにおいて、前記基本符号化信号生成ステップの予測誤差係数列符号化ステップが、前記再量子化パラメータから前記入力量子化パラメータを復元させる量子化パラメータ復元情報を、前記予測誤差係数列とともに前記予測誤差符号化列に符号化することを特徴とした構成を有している。
さらに、本発明の符号化信号分離プログラムは、請求項１０８に記載の符号化信号分離プログラムにおいて、前記分離器分離ステップの基本拡張階層分離ステップが、再量子化特性に基づいて適正な前記再量子化パラメータを算出する再量子化パラメータ導出定数を生成して、前記再量子化パラメータ導出定数にしたがって前記入力量子化パラメータから前記再量子化パラメータを算出するとともに、前記基本階層係数値と、前記拡張階層係数値と、を分離し、前記基本符号化信号生成ステップの予測誤差係数列符号化ステップが、前記再量子化パラメータ導出定数の情報を前記量子化パラメータ復元情報として、前記予測誤差係数列とともに前記予測誤差符号化列に符号化することを特徴とした構成を有している。
さらに、本発明の符号化信号分離プログラムは、請求項１０９に記載の符号化信号分離プログラムにおいて、前記予測誤差係数列符号化ステップが、前記再量子化パラメータ導出定数のマクロブロック間の差分値を前記量子化パラメータ復元情報として、前記予測誤差係数列とともに前記予測誤差符号化列に符号化することを特徴とした構成を有している。
さらに、本発明の符号化信号分離プログラムは、請求項１０９または請求項１１０に記載の符号化信号分離プログラムにおいて、前記予測誤差係数列符号化ステップが、前記予測誤差係数列を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって符号化することを特徴とした構成を有している。
さらに、本発明の符号化信号分離プログラムは、請求項１０９から請求項１１１のいずれか１項に記載の符号化信号分離プログラムにおいて、前記分離器分離ステップの拡張符号化信号生成ステップが、前記拡張量子化係数列を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって符号化することを特徴とした構成を有している。
さらに、本発明の符号化信号分離プログラムは、請求項１０７から請求項１１２のいずれか１項に記載の符号化信号分離プログラムにおいて、前記拡張階層係数値を前記複数の拡張量子化係数列に分離する分離方法を規定する拡張階層分離パターン情報を入力する分離情報入力ステップを備え、前記分離器分離ステップの拡張量子化係数分離ステップが、前記基本拡張階層分離ステップで分離された拡張階層係数値を、前記分離情報入力ステップで入力した拡張階層分離パターン情報にしたがって、前記複数の拡張量子化係数列に分離することを特徴とした構成を有している。
本発明は、サーバで、複数の画像情報から構成される１次動画像を符号化した１次符号化信号を、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離するとともに、分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を任意に組み合わせて多重化し、複数の伝送符号化信号を生成し、出力することにより、独立した分離ストリームを生成し、帯域選択機能を有するルータにおいて、ネットワーク状態に応じた伝送路選択を行い、映像のスケーラブル伝送を実現することができるという効果を有する符号化信号分離合成システムを提供することができるものである。
また、基本符号化信号と、拡張符号化信号と、をそれぞれ別々の伝送符号化信号として送信、すなわち、基本符号化信号を単独で送信する場合、この基本符号化信号は従来のトランスコードされた符号化信号と同一のもとなり、受信側では通常の受信装置で基本符号化信号を従来通り受信でき、圧縮された符号量の小さな符号化信号を受信することができる。また、基本符号化信号を、それぞれ拡張符号化信号と多重化して伝送符号化信号として送信する場合は、どの伝送符号化信号からでも基本符号化信号を得ることができ、通信エラーが発生しても、１つの伝送符号化信号から基本符号化信号を得ることができ、安全確実に再生映像を得ることができる。
さらに、本発明は、伝送符号化信号内に入力量子化パラメータを復元させる量子化パラメータ復元情報を符号化することにより、小さな情報を送受信するだけで、入力量子化パラメータを含めて１次符号化信号と同一な３次符号化信号を復元することができるという効果を有する符号化信号分離合成システムを提供することができるものである。
また、本発明は、拡張階層分離パターン情報にしたがって拡張階層係数値を複数に分離するので、拡張階層分離パターン情報を変更するだけで簡単に拡張階層係数値の分離の仕方を変更することができるとともに、送受信のたびに分離の仕方を変更することができるという効果を有する。
さらに、映像や音声等の伝送するプログラムの内容と拡張階層分離パターン情報とを分けて送受信、あるいは、拡張階層分離パターン情報を特定の相手と送受信することにより、不正に伝送信号を読み取られても、不正受信者には復号することができないため、内容を見られることが無く、伝送信号にスクランブルをかけたように、不正アクセスを防止することができるという効果を有する符号化信号分離合成システムを提供することができるものである。
以下、本発明の実施の形態の符号化信号分離合成システムについて、図面を用いて説明する。
本発明の符号化信号分離合成システムは、サーバにおけるストリーム分離機能を有するトランスコーダにおいて、独立した分離ストリームを生成し、帯域選択機能を有するルータにおいて、ネットワーク状態に応じた伝送路選択機能を行うことにより映像のスケーラブル伝送を実現する。分離された各ストリームのプライオリティはほぼ等しく、ルータにおける任意の伝送路の選択によりスケーラビリティの実現ができる。
（第１の実施の形態）
本発明の第１の実施の形態における符号化信号分離合成システムを、図１に示し説明する。
図１に示すように、符号化信号分離合成システムは、映像を送出するサーバ１０００と、ネットワーク上で伝送路選択を行うルータ２０００と、映像を受信し再生を行うレシーバ３０００ａ、３０００ｂ・・・、３０００ｎと、を備えている。レシーバ３０００ａ、３０００ｂ・・・、３０００ｎは、いくつであっても良い。また、ルータ２０００も、複数備えていても構わない。
ここで、サーバ１０００に入力されるストリームは、標準の符号化器で生成されたストリームであり、例えば、カメラ６００がとらえた映像を、符号化器７００で符号化したものであったり、コンテンツ蓄積器８００に記憶されたコンテンツのストリームである。また、サーバ１０００は、分離器１０１０を備え、ルータ２０００は、伝送路選択器２０１０を備えている。
また、レシーバ３０００ａ、３０００ｂ・・・、３０００ｎは、それぞれ合成器３０１０ａ、３０１０ｂ・・・、３０１０ｎおよび復号器３０３０ａ、３０３０ｂ・・・、３０３０ｎを備え、レシーバ３０００ａ、３０００ｂ・・・、３０００ｎにおいて再生を行う復号器３０３０ａ、３０３０ｂ・・・、３０３０ｎは、標準のものに準拠する。
ここで、レシーバ３０００ａ、３０００ｂ・・・、３０００ｎ、合成器３０１０ａ、３０１０ｂ・・・、３０１０ｎおよび復号器３０３０ａ、３０３０ｂ・・・、３０３０ｎは、それぞれ同様のものであるので、以下では、その１つをレシーバ３０００、合成器３０１０および復号器３０３０として説明する。
次に、サーバ１０００の分離器１０１０について、図２に示し説明する。
図２に示すように、分離器１０１０は、すでに符号化されアーカイブ等に蓄積されているストリームやカメラで撮影され符号化されたストリームを入力とし、独立したストリームに分離し出力する。また、分離器１０１０は、分離部(separate)１１００と、多重化部(MUX)１６００と、を備えている。
分離器１０１０による分離ストリーム生成の方法は、多重化部１６００における処理により、以下に示す二つの方式があり、各方式の処理図を図３、図４にそれぞれ示す。
方式（１） ロバストネス伝送路のあるネットワークで映像の送出を行う。
方式（２） ロバストネス伝送路のないネットワークで映像の送出を行う。
分離部(separate)１１００は、入力された符号化ストリームを、１本の基本ストリームＢと、Ｍ本の拡張ストリームＥ(ｍ)（０≦ｍ≦Ｍ−１）に分離する。
多重化部(MUX)１６００は、分離部１１００から出力される基本ストリームＢと拡張ストリームＥ(ｍ)（０≦ｍ≦Ｍ−１）の多重化を、伝送路の特性に応じて行う。その方法は、以下に示す方式（１）と方式（２）とがある。
方式（１）
方式（１）では、分離ストリームとしてＳｔ(Ｂ)と、Ｌ本のストリームＳｔ(ｌ)（０≦ｌ≦Ｌ−１）を出力する。基本ストリームＢは、分離ストリームＳｔ(Ｂ)として伝送エラーの発生しないロバストネス伝送路に送出され、拡張ストリームＥ(ｍ)（０≦ｍ≦Ｍ−１）は、各々分離ストリームＳｔ(ｌ)（０≦ｌ≦Ｌ−１）ストリームとして伝送される。Ｓｔ(ｌ)を式（１）に示す。
Ｓｔ(ｌ)＝Ｅ(ｌ) （Ｌ＝Ｍ、０≦ｌ≦Ｍ−１） 式（１）
ｌ番目の分離ストリームＳｔ(ｌ)のビットレートRate[Ｓｔ(ｌ)]は、式（２）のように表現できる。
Rate[Ｓｔ(ｌ)] ＝ Rate[Ｅ(ｌ)] （Ｌ＝Ｍ、０≦ｌ≦Ｍ−１） 式（２）
方式（２）
方式（２）では、Ｌ本のストリームＳｔ(ｌ)（０≦ｌ≦Ｌ−１）が出力される。基本ストリームＢは、コピーされすべての拡張ストリームＥ(ｍ)に多重化される。このように、基本ストリームＢを複数の伝送路を用いて伝送することによりネットワーク状態に依存しない再生を保証する。この場合、分離ストリームＳｔ(ｌ)は、式（３）のようにあらわすことができる。ここで、Multiplex[・]は多重化を意味する。
Ｓｔ(ｌ)＝Multiplex[Ｂ,Ｅ(ｌ)] （Ｌ＝Ｍ、０≦ｌ≦Ｍ−１） 式（３）
分離ストリームＳｔ(ｌ)のビットレートRate[Ｓｔ(ｌ)]は、式（４）となる。
Rate[Ｓｔ(ｌ)] ＝ Rate[Ｂ＋Ｅ(ｌ)] （Ｌ＝Ｍ、０≦ｌ≦Ｍ−１） 式（４）
次に、ルータ２０００の伝送路選択器２０１０について、図５に示し説明する。
ルータ２０００および伝送路選択器２０１０は、サーバ１０００より出力されたＬ本の分離ストリームＳｔ(ｌ)を入力とし、ネットワーク状況に応じ伝送路選択（伝送路のオン・オフ）により伝送するストリームのレートを制御し、映像のスケーラビリティを実現する。ここで、ルータ２０００より出力されるストリームの総レートRate[Ｓｔ out]を、Rate[Ｓｔ out]＝Σl Rate[Ｓｔ(ｌ)]とする。ルータ２０００の出力ストリームの目標総レートを、Ｒtargetとすると、Rate[Ｓｔ out] ≦ ＲtargetとなるＳｔ(ｌ)の伝送路スイッチをオンにする。
図６に、伝送路選択器による伝送路選択の具体例を示す。この場合、分離ストリーム数を決定するパラメータＬは、Ｌ＝６である。目標レートＲtargetが与えられた際に、Rate[Ｓｔ out] ≦ Ｒtargetを実現するためストリームＳｔ(０)、Ｓｔ(２)、Ｓｔ(３)、Ｓｔ(５)の伝送路スイッチをオンにすることで、Rate[Ｓｔ(０)＋Ｓｔ(２)＋Ｓｔ(３)＋Ｓｔ(５)] ≦ Ｒtargetを実現している。
次に、レシーバ３０００の合成器３０１０について、説明する。合成器３０１０は、入力されるＬ’本のストリームＳｔ(ｌ)を合成し、映像再生を行う。映像品質は、受信するストリームの総レートのみに依存し、受信ストリームの種類に依存しない。受信するストリームの総レートは、ルータ２０００における伝送路選択により決定される。
レシーバ３０００の合成器３０１０のブロック図を、図７に示し説明する。
図７に示すように、合成器３０１０は、多重分離部（DEMUX）３１００と、基本ストリーム選択器（B-Selector）３２００と、合成部（merge）３３００と、を備え、さらに、レシーバ３０００は、合成制御器（merge controller）３０２０を備えている。また、合成制御器３０２０については、合成器３０１０に含まれる構成であっても構わない。
また、上記方式（１）、方式（２）に対応する合成器３０１０のブロック図を、図８、図９にそれぞれ示す。
多重分離部（DEMUX）３１００は、入力されるＬ’本のストリームＳｔ(ｌ)を、α本の基本ストリームＢと、Ｍ’本の拡張ストリームＥ(ｍ)に分割する。ここで、αは、多重分離部３１００に入力されるすべての分離ストリームＳｔ(ｌ)内に多重化されている基本ストリームＢの総数を示し、上記方式（１）、方式（２）に応じてその数は異なり、式（５）に示すようになる。
Figure 2005167962
また、ストリーム分割時に検出されるストリームに発生した誤り等の情報は、合成制御器３０２０に渡す。
基本ストリーム選択器（B-Selector）３２００は、合成制御器３０２０からの制御を受け、入力されるα本のＢストリームからビット誤りの少ない１本のストリームを選択し出力する。この際、（α−１）本の基本ストリームＢは破棄される。
合成部（merge）３３００は、合成制御器３０２０からの制御を受け、入力される基本ストリームＢと拡張ストリームＥ(ｍ) （０ ≦ ｍ ≦ Ｍ’−１）を合成し、合成ストリームを出力する。したがって、合成部３３００に入力された拡張ストリームＥ(ｍ)のすべてが合成されるというわけではない。
合成制御器（merge controller）３０２０は、ネットワーク上の誤り検出器から誤り訂正情報、また、多重分離部３１００、合成部３３００における処理において検出される誤り情報を受け取り、基本ストリームＢについての情報は基本ストリーム選択器３２００に対して、拡張ストリームＥ(ｍ)についての情報は合成部３３００に対して、制御をかけ、誤り訂正が不可能とされたストリームを合成制御器３０２０において切り捨てる処理を行う。
（符号化シンタックス）
以下、マクロブロックを構成するブロック単位で行われる分離、合成信号処理、またストリームを構成するデータ構造について説明する。
まず、ストリームの構成およびフォーマットについて説明する。
本発明におけるビットストリームの形態は、メインプロファイル準拠のＭＰＥＧ−２ビットストリーム(分離前ＭＰＥＧ−２)を入力とし、基本ストリームとＭ本の拡張ストリームに分離する。以下では、ＭＰＥＧ−２を例として説明するが、その他の動き補償予測つきのＤＣＴ動画像符号化方式（ＩＴＵ−Ｔ Ｈ．２６１、ＩＴＵ−Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ １４４９６−２（通称「ＭＰＥＧ−４」）、ＩＴＵ−Ｔ Ｈ．２６４など）に対してもそのＤＣＴ係数符号化の部分に対して同様の構成をとることができる。
基本ストリームは、ビットレートが削減されＭＰＥＧ−２ビットストリームとして出力される。拡張ストリームには、レート削減時の再量子化処理において発生する予測誤差情報より構成される予測誤差ストリームとレート削減前後間での差分情報より構成される差分ビットストリームがある。
拡張ストリームのビットストリームフォーマットを、図１０に示し説明する。
図１０に示すように、拡張ストリームのビットストリームフォーマットは、ＭＰＥＧ−２シンタックスのビットストリームフォーマットを基本とし、シーケンス層、ＧＯＰ層、ピクチャ層、スライス層、マクロブロック（以後、ＭＢ）層、ブロック層からなる階層構造を有する。拡張ストリームは、シーケンスヘッダから始まり、ピクチャ枚数分のピクチャ層へと続く。ピクチャ層データは、ピクチャヘッダとピクチャデータから成る。ピクチャデータは、複数のスライス層データから構成され、スライス層データは、スライスヘッダとそれに続くＭＢ層のデータから構成される。
本発明では、シーケンスヘッダ、ＧＯＰヘッダ、ピクチャヘッダ、スライスヘッダのビットフィールドはＭＰＥＧ−２に等しい。ただし、スライス層には、スライスヘッダとＭＢデータの間にユーザデータを定義し、ユーザデータには、図１１に示すスライス層における本方式独自の属性が記述されている。ＭＢ層データは、ＭＢ属性情報と係数情報から構成される。ＭＢ属性情報を、図１２に示す。スライス層のユーザデータは、スライス層における分離・合成に利用され、ＭＢ属性情報内に含まれる情報はＭＢ層における分離・合成に利用される。
次に、ストリーム間の同期について、説明する。
シーケンスヘッダ、ピクチャヘッダ、スライスヘッダは、それぞれＧＯＰ単位、ピクチャ単位、スライス単位で出力するＭＰＥＧ−２ビットストリームとの同期をとるために利用される。同期の最小単位であるスライス単位では、スライスヘッダ内のＳＳＣ（Slice Start Code）が等しくなるように同期をとる。ここで、スライスヘッダ内のＳＳＣとは、スライス層の始まりを示す同期コードであり、コードの最後の１バイトがスライスの垂直位置を表している。
次に、ストリーム生成の原理について、説明する。
ブロックレイヤデータは、再量子化を行い再量子化前後での量子化係数値の変化差分情報を符号化する。本変化差分情報と再量子化出力係数を符号化したものを合成することで、再量子化前の係数情報が完全に復元可能である。このとき、再量子化出力係数が基本階層として符号化され基本ストリームＢとなる。再量子化前後での係数差分情報を拡張階層とすると、拡張階層は順にＮ個の拡張量子化係数列に分離される。再量子化により発生する予測誤差情報は予測誤差係数列となり、予測誤差係数列と拡張量子化係数列がそれぞれ符号化されＭ本の拡張ストリームＥ(ｍ)が生成される。このとき、Ｍ本の拡張ストリームＥ(ｍ)のレートはほぼ等しいレートに生成可能である。
次に、分離器１０１０の分離部(separate)１１００について、説明する。
分離部(separate)１１００の一実施形態である分離部(separate)１１００ａのブロック図を、図１３に示す。入力された符号化ストリームは、係数情報分離部１２６０において係数情報と係数情報以外に分離される。この場合、係数情報は２次元ランレングスによりハフマン符号化された量子化係数符号であり、係数情報以外とはＭＢ層のデータとイントラＭＢのＤＣ係数符号である。係数情報以外のデータは係数情報がＶＬＤされ分離され、再びＶＬＣされたものと多重化されストリームとして出力される。以下の項目ごとにブロックデータ分離の処理手順を示す。また、ブロック内係数分離原理図を、一つの例として図１４に示す。だたし、図１４におけるストリーム生成パラメータをＮ＝４、Ｍ＝５とする。ここで用いるＮ、Ｍの値は説明を簡単にするための一つの例に過ぎず、実際の構成上は任意の自然数を指定することができる。
項目１．１：基本階層、拡張階層の生成方法
項目１．２：基本階層再量子化による基本量子化係数列、予測誤差係数列の生成方法
項目１．３：基本ストリームの生成方法
・基本量子化係数列の符号化
項目１．４：拡張階層の分離による拡張量子化係数列の生成方法
項目１．５：拡張ストリームの生成方法
ａ．予測誤差係数列の符号化
ｂ．拡張量子化係数列の符号化
に、ついてそれぞれ説明する。
ただし、上記処理手順のうち項目１．２，項目１．３は、本願出願人が先に出願した特開２００２−１３５１３０「符号化信号分離・合成装置、差分符号化信号生成装置、符号化信号分離・合成方法、差分符号化信号生成方法、符号化信号分離・合成プログラムを記録した媒体、差分符号化信号生成プログラムを記録した媒体」に記載したものと同様の手法を用いている。また、本文中における整数値ｈは、イントラの場合には上記特開２００２−１３５１３０の段落番号［０３２４］の式（８）、インターの場合には上記特開２００２−１３５１３０の段落番号［０３２４］の式（９）に示すｍに等しい。また、再量子化前量子化パラメータＭＱ１、再量子化時再量子化パラメータＭＱ２は、上記特開２００２−１３５１３０におけるＭＱ１、ＭＱ２に等しい。
項目１．１：基本階層、拡張階層の生成方法
入力量子化係数列を分離し基本階層と拡張階層を生成する。入力量子化係数列Ｘを式（６）のように定義する。
Ｘ＝｛ｘ0, ｘ1, ｘ2...,ｘi...} (0 ≦ i ≦ 63) 式（６）
ここで、i (0 ≦ i ≦ 63)はブロック内の参照順序をジグザグスキャンの順番とした際の係数位置インデックス番号を表す。基本階層は入力量子化係数のうち整数値ｈより大きい係数列とし、ｈ以下の係数を拡張階層を構成する係数とする。
以上より基本階層Ｂ、拡張階層Ｅは式（７）となる。
Figure 2005167962
項目１．２：基本階層再量子化による基本量子化係数列、予測誤差係数列の生成方法
基本階層Ｂを式（８）と定義する。
Ｂ＝｛ｂ0, ｂ1...,ｂi...} (0 ≦ i ≦ 63) 式（８）
また、基本階層Ｂを再量子化パラメータＭＱ２で再量子化すると再量子化出力係数である基本量子化係数列Ｃと、予測誤差係数列Ｄが出力され、それぞれを式（９）と定義する。
Figure 2005167962
このとき、基本階層係数ｂi を再量子化パラメータＭＱ２を用いて再量子化した値ｃi は、式（８）、式（９）より式（１０）のように示される。
ｃi ＝ func1(ｂi ) （０≦i ≦６３） 式（１０）
このとき、再量子化演算 func1 は、イントラの場合には上記特開２００２−１３５１３０の段落番号［０３９３］、インターの場合には上記特開２００２−１３５１３０の段落番号［０３９５］の記載と等しくなる。また、上記特開２００２−１３５１３０の段落番号［０３９３］、［０３９５］におけるＱＦ１、ＱＦ２を本式では、ｂi 、ｃi に読み変えている。
式（９）より予測誤差係数ｄi は式（１１）のようにして求められる。
ｄi ＝ｂi − func2(ｃi ) （０≦i ≦６３） 式（１１）
ここで、式（１１）は、上記特開２００２−１３５１３０の段落番号［０４２９］の式（１５）に示す処理に等しくなる。また、上記特開２００２−１３５１３０の段落番号［０４２９］の式（１５）におけるΔＱＦ[w] 、ＱＦnonzero-in[w] 、ＱＦnonzero-out[w] を本式では、ｄi 、ｂi 、ｃi に読み変えている。
項目１．３：基本ストリーム生成方法
項目１．２において生成された基本量子化係数列Ｃの符号化方法は、ＭＰＥＧ−２において規定するランレングス符号化である。
項目１．４：拡張階層の分離による拡張量子化係数列の生成方法
拡張階層Ｅを式（１２）と定義し、拡張量子化係数列Ｆn （０≦ｎ≦Ｎ−１）の生成処理を以下に示す。
Ｅ＝｛ｅ0 ，ｅ1 ，ｅ2 ...，ｅs-1 ，...｝（０≦ｓ≦Ｓ−１） 式（１２）
拡張階層Ｅ内の係数は式（１３）に示すように順にＮ個のＦn （０≦ｎ≦Ｎ−１）に割り振られる。
Figure 2005167962
項目１．５：拡張ストリームの生成方法
ａ．予測誤差係数列の符号化方法
項目１．２において生成された予測誤差係数列Ｄは、スキャンされ非零係数のみの１次元係数列となり、可変長符号化され拡張ストリームＥ(０)となる。
ｂ．拡張量子化係数列の符号化方法
項目１．４において生成された拡張量子化係数列Ｆn （０≦ｎ≦Ｎ−１）はそれぞれスキャンされランレングス表現化された後、ＣＢＰ（coded block pattern）とＭＰＥＧ−２準拠のＶＬＣテーブルを用いて符号化され、拡張ストリームＥ(ｍ)（１≦ｍ≦Ｍ−１）となる。このとき、拡張ストリーム番号ｍが各拡張ストリームにおけるスライス層のユーザデータに入る。また、拡張ストリーム番号ｍと拡張量子化係数列Ｆnのインデックス番号ｎとの関係は、ｍ＝ｎ＋１である。
符号化の手順を以下に示す。
１．連続する０の個数（run） と係数の値（level） のペア（run ,level）の並びで表現する。
２．（run ,level）系列の先頭から順番に（run ,level）イベントを可変長符号化する。
３．系列末尾のＥＯＢに到達したら、ＥＯＢを符号化する。
次に、合成器３０１０の合成部(merge) ３３００について、説明する。
合成部(merge) ３３００の一実施形態である合成部(merge) ３３００ａのブロック図を、図１５に示し、以下の項目ごとに合成の処理手順を示す。また、ブロック内係数合成原理図を、図１６に示す。
項目２．１：基本ストリームの復号
・基本量子化係数列の復号
項目２．２：拡張ストリームの復号
ａ．予測誤差係数列の復号
ｂ．拡張量子化係数列の復号
項目２．３：基本量子化係数列と予測誤差係数列の合成による基本階層の生成方法
項目２．４：拡張量子化係数列の合成による拡張階層の生成方法
項目２．５：基本階層と拡張階層の合成による合成ストリーム生成方法
に、ついてそれぞれ説明する。
項目２．１：基本ストリームの復号
基本ストリームＢの復号方法は、ＭＰＥＧ−２において規定された方法を用いる。基本ストリームは、可変長復号され（run ,level）表現まで復号される。復号されたrun の値からブロック内の信号をジグザグスキャンした際の順番を算出し、その値にlevel の値を挿入し、１次元の基本量子化係数列Ｃ* を生成する。
項目２．２：拡張ストリームの復号
ａ．予測誤差係数列の復号
拡張ストリームＥ(０)は、可変長復号され予測誤差係数列Ｄ* となる。予測誤差係数列Ｄ* より構成される拡張ストリームＥ(０)の復号方法は、上記特開２００２−１３５１３０に記載の方法と同様である。
ｂ．拡張量子化係数列の復号
拡張ストリームＥ(ｍ)（１≦ｍ≦Ｍ’−１）は、ＣＢＰ（coded block pattern）とＭＰＥＧ−２準拠のＶＬＣテーブルを用いて可変長復号され（run ,level）ペアで表現される。復号されたrun の値からジグザグスキャンした際の順番を算出し、ブロック内の基本階層が挿入されていない位置に順番にlevel の値を挿入し、１次元の拡張量子化係数Ｆ*n（０≦ｎ≦Ｎ’−１）を生成する。
項目２．３：基本量子化係数列と予測誤差係数列の合成による基本階層の生成方法
基本量子化係数列Ｃ* と予測誤差係数列Ｄ* が合成され、基本階層Ｂ* を生成する。以下に、基本階層Ｂ* の生成方法を示す。
Ｂ* を式（１４）と定義する。
Ｂ* ＝｛ｂ*0，ｂ*1・・・，ｂ*i・・・｝ （０≦ i ≦６３） 式（１４）
基本量子化係数列Ｃ* と、予測誤差係数列Ｄ* を式（１５）と定義する。
Figure 2005167962
式（１４）、式（１５）より、式（１６）に示すように、基本階層係数ｂ*i* は、基本量子化係数ｃ*iに関数func3を施した値に予測誤差係数ｄ*iが付加され、生成される。
ｂ*i＝ func3(ｃ*i)＋ｄ*i 式（１６）
ここで、式（１６）は、上記特開２００２−１３５１３０の段落番号［０４５５］の式（１６）に示す処理と等しくなる。また、上記特開２００２−１３５１３０の段落番号［０４５５］の式（１６）におけるΔＱＦ[w] 、ＱＦnonzero-rec 、ＱＦnonzero-outを本式では、ｄ*i、ｂ*i、ｃ*iに読み変えている。
項目２．４：拡張量子化係数列の合成による拡張階層の生成方法
スライス層におけるユーザデータ（図１１）で規定された拡張ストリーム番号ｍから拡張量子化係数列のインデックス番号ｎを求め、ｎを用いて拡張量子化係数列Ｆ*nの合成を行い拡張階層Ｅ* を生成する。ここで、ｍ＝ｎ＋１である。
以下に、拡張階層Ｅ* の生成方法を示す。式（１７）のように拡張階層Ｅ* を定義する。
Ｅ* ＝｛ｅ* 0 ，ｅ* 1 ，ｅ* 2 ・・・，ｅ* s ・・・｝（０≦ｓ≦Ｓ−１） 式（１７）
また、拡張階層量子化係数列Ｆ*n（０≦ｎ≦Ｎ’−１）を式（１８）に定義する。
Figure 2005167962
拡張量子化係数列にそれぞれ付けられているインデックス番号ｎを用いて式（１９）に示すように合成を行い、拡張階層Ｅ* が生成される。
Ｅ* ＝｛ｆ*0(0)，ｆ*1(0)...，ｆ*n(0)...，ｆ* N'-1(0)，ｆ*0(1)，ｆ*1(1)...，ｆ*n(1)...，ｆ* N'-1(1)...，ｆ*0(j)，ｆ*1(j)...，ｆ*n(j)...，ｆ* N'-1(j)...｝ （ｊ＝０，１，２・・・） 式（１９）
項目２．５：基本階層と拡張階層の合成による合成ストリーム生成方法
生成された基本階層Ｂ* の係数をインデックス番号iに従いブロック内の対応する位置へ係数の値を挿入する。次に、ブロック内で基本階層が挿入されなかったインデックス番号に拡張階層Ｅ* の係数を順番に挿入し、合成量子化係数列Ｘ* を生成する。以下に、合成量子化係数列Ｘ* の生成方法を示す。
合成量子化係数列を式（２０）と定義する。
Ｘ* ＝｛ｘ*0，ｘ*1，ｘ*2・・・，ｘ*i・・・｝ (0 ≦ i ≦ 63) 式（２０）
まず、基本階層Ｂ* の係数を合成量子化係数列Ｘ* に挿入すると式（２１）のようになる。
ｘ*i＝ｂ*i 式（２１）
この時点で、基本階層の係数が挿入されなかった合成量子化係数列Ｘ* 内の信号ｘ*iの値は０とする。そこで、基本階層の係数が挿入されなかったｘ*iのみを抽出し、順にインデックス番号ｋを付けると、式（２２）が成立する。
ｘ*k＝０ 式（２２）
最後に、式（２３）に示すように、ｘ*kに項目２．４で復元した式（１７）に示す拡張階層Ｅ* の係数を順に挿入することで、合成量子化係数列Ｘ* が生成される。
ｘ*k＝ｅ*k 式（２３）
さらに、ストリーム損失時における耐性について、説明する。
ブロック内係数合成において拡張ストリームＥ(ｍ)のいすれかを損失した場合、例えば、上記ブロック内係数合成において拡張ストリームＥ(３)を損失した場合の合成の動作を、図１７に示す。
図１７に示すように、１ストリーム損失時において合成されたブロック内の係数の個数は減少しているもののデータ構造は維持され、再生可能となる。
（第２の実施の形態）
次に、分離器１０１０内の分離部１１００での処理において、予測誤差係数列Ｄを基本量子化係数列Ｃと多重化し、基本ストリームＢを生成することで、分離ストリームＳｔ(ｌ)（０≦ｌ≦Ｌ−１）のレートをほぼ等しくする場合の処理について、説明する。本実施の形態においては、拡張ストリーム番号ｍと拡張量子化係数列インデックス番号ｎの関係は、ｍ＝ｎである。
基本量子化係数列Ｃと、予測誤差係数列Ｄと、を多重化して基本ストリームＢを生成する分離部を、図１８に示す。
図１８に示すように、分離部１１００ｂは、上記実施の形態で説明した分離部１１００ａと同様の構成（図１３参照）をしており、さらに、基本量子化係数多重化器１２４０を備えている。
基本量子化係数多重化器１２４０は、ＶＬＣ基本１２１０から出力された基本量子化係数列Ｃと、ＶＬＣ予測誤差１２２０から出力された予測誤差係数列Ｄと、を入力し、予測誤差係数列Ｄを基本量子化係数列Ｃと多重化して、基本ストリームＢを生成し、出力するものである。
このような構成により、分離部１１００ｂによって、予測誤差係数列Ｄを基本量子化係数列Ｃと多重化し、基本ストリームＢを生成することができる。
また、このような基本量子化係数列Ｃと予測誤差係数列Ｄとを多重化した基本ストリームＢを生成する分離部１１００ｂに対する、合成器３０１０の合成部３３００を、図１９に示す。
図１９に示すように、合成部３３００ｂは、上記実施の形態で説明した合成部３３００ａと同様の構成（図１５参照）をしており、さらに、基本量子化係数分離器３４３０を備えている。
基本量子化係数分離器３４３０は、入力した基本ストリームＢを、基本量子化係数列Ｃと、予測誤差係数列Ｄと、に分離し、それぞれＶＬＤ基本３３１０と、ＶＬＤ予測誤差３３２０と、に出力するものである。
このような構成により、合成部３３００ｂによって、基本ストリームＢから、基本量子化係数列Ｃと、予測誤差係数列Ｄと、を分離することができる。
（第３の実施の形態）
次に、分離ストリームＳｔ(ｌ)のレートがほぼ均等であることを利用して、ルータ２０００の伝送路選択器２０１０での選択方法として、目標レートＲtargetに応じて合成ストリームの出力総レートRate［Ｓｔout］がＲtarget以下になる任意の伝送路スイッチをオンにすることで、目標レートのストリームを再生を可能にする場合について、説明する。
分離器１０１０の処理において、拡張ストリームＥ(ｍ)のレートRate［Ｅ(ｍ)］は、ほぼ均等であり、Rate［Ｅ(ｍ)］≒ｑとする。ここで、Rate［Ａ］は、Ａのレートを示す。このとき、基本ストリームＢのレートは拡張ストリームＥ(ｍ)のレートに比べ十分に少ないとすると、分離ストリームＳｔ(ｌ)のレートもほぼ等しくなり、Rate［Ｓｔ(ｌ)］≒ｑとなる。目標レートＲtargetがＲtarget＝４ｑのとき、任意の４つの分離ストリームＳｔ(ｌ)を選択する（例えば、図６に示すように選択する）ことで、出力ストリームのRate［Ｓｔout］はRate［Ｓｔout］≦４ｑとなり、目標のレートのストリームの再生が可能となる。
（第４の実施の形態）
次に、分離器１０１０の多重化部１６００で、拡張ストリームＥ(ｍ)を多重化することで、レートの異なる分離ストリームＳｔ(ｌ)（０≦ｌ≦Ｌ−１）を生成する場合について、説明する。
多重化部１６００で拡張ストリームＥ(ｍ)を多重化することにより、分離部１１００より出力される拡張ストリーム数Ｍを変更することなく、伝送路の数に応じたＬ本の分離ストリームが生成可能となり、分離ストリームＳｔ(ｌ)のレートの違いを利用して、選択可能なレートの種類がストリームの数よりも多くなる。
本実施の形態における分離器のブロック図を、図２０、図２１に示す。
図２０、図２１に示すように、分離器１０１１の多重化器１６０１内で、拡張ストリームＥ(ｍ)を多重化することで、分離ストリームＳｔ(ｌ)をすべて異なるレートにすることができる。このとき、拡張ストリームＥ(ｍ)をＧl 本多重化し、分離ストリームＳｔ(ｌ)を生成するが、本実施の形態では、多重化パラメータＧl がＧl ＝ｌ＋１となる合成を行う。分離ストリームＳｔ(ｌ)のレートは、多重化された拡張ストリームの合計レートにほぼ等しくなり、多重化パラメータＧl によって決まる。
上記のようにレートの異なる分離ストリームＳｔ(ｌ)が生成された場合について、伝送路選択器の伝送路選択の具体例を、図２２に示し説明する。
図２２に示すように、分離器１０１０内の多重化部１６００において、Ｇl ＝ｌ＋１となる拡張ストリームの多重化が行われ、基本ストリームの多重化が方式（１）、方式（２）のいずれかの方式を用いて行われ、分離ストリームＳｔ(０)、Ｓｔ(１)、Ｓｔ(２)が生成された。このとき、Ｌ＝３であり、分離ストリームＳｔ(ｌ)のレートが、それぞれRate［Ｓｔ(０)］≒ｑ、Rate［Ｓｔ(１)］≒２ｑ、Rate［Ｓｔ(２)］≒３ｑとなるように生成されたとする。図２２では、目標レートがＲtarget＝４ｑのとき、分離ストリームＳｔ(０)、Ｓｔ(２)の伝送路スイッチをオン、Ｓｔ(１)の伝送路スイッチをオフにすることで、Rate［Ｓｔ(ｏｕｔ)］≦４ｑを実現している。
ここで、上記伝送路選択例以外のＬ＝３、Ｇl ＝ｌ＋１での出力レートと伝送路選択（スイッチの切り換え）の動作を、図２３に示す。図２３に示すように、本実施の形態では、３本のストリームから６種類のレートが実現可能であり、選択可能なレートの数がストリームの数より多くなる。
本実施の形態における合成器３０１０のブロック図を、基本ストリームの多重化方式（１）の場合の合成器を図２４に示し、方式（２）の場合の合成器を図２５に示す。
（第５の実施の形態）
次に、拡張ストリームＥ(ｍ)の多重化パラメータＧl をＧl ＝２l となる合成を行い、分離ストリームＳｔ(ｌ)を生成する場合について、説明する。
本実施の形態における分離器のブロック図を、図２６、図２７に示す。
図２６、図２７に示すように、分離器１０１５の多重化器１６０５内で、拡張ストリームＥ(ｍ)を多重化することで、分離ストリームＳｔ(ｌ)をすべて異なるレートにすることができる。このとき、拡張ストリームＥ(ｍ)をＧl 本多重化し、分離ストリームＳｔ(ｌ)を生成するが、本実施の形態では、多重化パラメータＧl がＧl ＝２l となる合成を行う。
上記のようにレートの異なる分離ストリームＳｔ(１)が生成された場合について、伝送路選択器の伝送路選択の具体例を、図２８に示し説明する。
図２８に示すように、分離器１０１０内の多重化部１６００において、Ｇl ＝２l となる拡張ストリームの多重化が行われ、基本ストリームの多重化が方式（１）、方式（２）のいずれかの方式を用いて行われ、分離ストリームＳｔ(０)、Ｓｔ(１)、Ｓｔ(２)が生成された。このとき、Ｌ＝３であり、分離ストリームＳｔ(ｌ)のレートが、それぞれRate［Ｓｔ(０)］≒ｑ、Rate［Ｓｔ(１)］≒２ｑ、Rate［Ｓｔ(２)］≒４ｑとなるように生成されたとする。図２８では、目標レートがＲtarget＝４ｑのとき、分離ストリームＳｔ(２)の伝送路スイッチをオン、Ｓｔ(０) 、Ｓｔ(１)の伝送路スイッチをオフにすることで、Rate［Ｓｔ(ｏｕｔ)］≦４ｑを実現している。
ここで、上記伝送路選択例以外のＬ＝３、Ｇl ＝２l での出力レートと伝送路選択（スイッチの切り換え）の動作を、図２９に示す。図２９に示すように、本実施の形態では、３本のストリームから７種類のレートが実現可能であり、選択可能なレートの数がストリームの数より多くなる。
本実施の形態における合成器３０１０のブロック図を、基本ストリームの多重化方式（１）の場合を、合成器３０１５として図３０に示し、方式（２）の場合を、合成器３０１６としてを図３１に示す。
上記（方式１）のように、基本符号化信号と、拡張符号化信号と、をそれぞれ別々の伝送符号化信号として送信、すなわち、基本符号化信号を単独で送信する場合、この基本符号化信号は従来のトランスコードされた符号化信号と同一のもとなり、受信側では通常の受信装置で基本符号化信号を従来通り受信でき、圧縮された符号量の小さな符号化信号を受信することができる。
また、（方式２）のように、基本符号化信号を、それぞれ拡張符号化信号と多重化して伝送符号化信号として送信する場合は、どの伝送符号化信号からでも基本符号化信号を得ることができ、通信エラーが発生しても、１つの伝送符号化信号から基本符号化信号を得ることができ、安全確実に再生映像を得ることができる。
（第６の実施の形態）
さらに、量子化パラメータ復元情報を拡張符号化信号Ｅ（ｍ）内に符号化する符号化信号分離合成システムについて、詳しく説明する。
本実施の形態の符号化信号分離合成システムにおいては、再量子化特性に基づいて適正な再量子化パラメータを算出する再量子化パラメータ導出定数を生成して、この再量子化パラメータ導出定数と、入力量子化パラメータと、により最適な再量子化パラメータを算出する。ここで用いた再量子化パラメータ導出定数の情報を、上記量子化パラメータ復元情報として拡張符号化信号Ｅ（ｍ）内に符号化しておくことにより、基本符号化信号Ｂと拡張符号化信号Ｅ（ｍ）とから入力量子化パラメータを復元する。
また、本実施の形態では、拡張階層係数値の分離方法を規定した拡張階層分離パターン情報を用いて、拡張階層の係数値を複数の拡張階層係数列に分離することとする。
まず、再量子化パラメータ導出定数について説明する。入力された係数値を再量子化（トランスコード）すると、再量子化された係数値は、必ずしも再量子化パラメータの値によった一定の割合の係数値とはならない。そこで、再量子化後の係数値が効率的に量子化されるように、再量子化パラメータの値を制限する。
ここで、入力量子化パラメータをＭＱ１、計算上求められた再量子化パラメータをＭＱ’２とし、ＭＱ１とＭＱ’２とを用いて、以下の式（２４）、式（２５）より、整数値ｈを算出する。
・イントラ
Figure 2005167962
・インター
Figure 2005167962
上記ｈと入力量子化パラメータＭＱ１を用いて、以下の式（２６）、式（２７）より、再量子化パラメータＭＱ２を算出する。
・イントラ
Figure 2005167962
・インター
ＭＱ２ ＝ （ｈ＋１）×ＭＱ１ ・・・式（２７）
ここで、上記式（２６）、式（２７）は、整数演算であるから得られる再量子化パラメータＭＱ２は特定の値に制限されることになる。このｈを再量子化パラメータ導出定数と定義する。
以下、再量子化パラメータ導出定数ｈを用いて、基本階層と拡張階層とを分離し、各係数列を符号化する符号化信号分離合成システムについて説明する。
図３８に、再量子化パラメータ導出定数ｈを用いて符号化処理を行う分離器の分離部を示し、説明する。
図３８に示すように、分離部１１００ｃは、係数情報分離部１２６０、可変長復号器（ＶＬＤ）１１１０、ランレベル係数変換器１１２０、基本拡張階層分離器１１３０ｃ、基本量子化係数変換器１１４０ｃ、拡張量子化係数分離器１１５０ｃ、基本再スキャン器１１６０、予測誤差再スキャン器１１７０、拡張再スキャン器１１８１、１１８２・・・、１１８３、基本可変長符号化器（ＶＬＣ基本）１２１０、予測誤差可変長符号化器（ＶＬＣ予測誤差）１２２０ｃ、拡張可変長符号化器（ＶＬＣ・Ｆ0）１２３１ｃ、（ＶＬＣ・Ｆ1）１２３２ｃ・・・、（ＶＬＣ・ＦN-1）１２３３ｃおよび係数情報多重化部１２７０ａを備えている。
基本拡張階層分離器１１３０ｃは、上記再量子化パラメータ導出定数ｈを算出し、この再量子化パラメータ導出定数ｈ用いて、ランレベル係数変換器１１２０に変換された量子化係数列Ｘを、基本階層の係数列Ｂと、拡張階層の係数列Ｅと、に分離するものである。ここでは、再量子化パラメータ導出定数ｈより大きい係数が、基本階層係数値となり、再量子化パラメータ導出定数ｈ以下の係数が、拡張階層係数値となる。
基本量子化係数変換器１１４０ｃは、基本拡張階層分離器１１３０ｃによって分離された基本階層係数列Ｂを入力するとともに、再量子化パラメータ導出定数ｈを入力し、この再量子化パラメータ導出定数ｈと、入力量子化パラメータＭＱ１と、により再量子化パラメータＭＱ２を算出し、入力した基本階層係数列Ｂを算出した再量子化パラメータＭＱ２を使用して再量子化を行い、基本量子化係数列Ｃと、前記基本階層係数列Ｂと前記基本量子化係数列Ｃとの差分情報である余り係数列（予測誤差係数列）Ｄと、に変換するものである。
拡張量子化係数分離器１１５０ｃは、基本拡張階層分離器１１３０ｃによって分離された拡張階層係数列Ｅを入力し、拡張階層の分離方法を規定した拡張階層分離パターン情報にしたがって複数の拡張量子化係数列Ｆ0、Ｆ1・・・、ＦN-1に分離するものである。
ここで、前記拡張階層分離パターン情報は、内部にあらかじめ用意したものでも、外部から入力したものでも良い。また、拡張階層分離パターン情報としては、例えば、「拡張階層係数列Ｅを４つに分離、係数値の初めから順に１つずつ順番に割り振る」といった情報である。
予測誤差可変長符号化器（ＶＬＣ予測誤差）１２２０ｃは、基本拡張階層分離器１１３０ｃから再量子化パラメータ導出定数ｈを入力し、再スキャン器１１７０に再スキャンされた余り係数列（予測誤差係数列）Ｄを、前記再量子化パラメータ導出定数ｈにしたがった符号化テーブルにより可変長符号化して、余り係数（予測誤差係数）符号化信号を生成し、拡張符号化信号Ｅ（０）として出力するものである。
またこのとき、拡張符号化信号Ｅ（０）には、量子化パラメータ復元情報も合わせて符号化するものである。量子化パラメータ復元情報としては、上記再量子化パラメータ導出定数ｈの情報を符号化する。具体的には、再量子化パラメータ導出定数ｈを、マクロブロック層におけるマクロブロック属性情報に追加する。図３９に、マクロブロック層におけるマクロブロック属性情報の内容を示す。
また、量子化パラメータ復元情報は、上記のように再量子化パラメータ導出定数ｈそのものでも良いが、再量子化パラメータ導出定数ｈのマクロブロック間の差分値を量子化パラメータ復元情報とすることにより、符号量をさらに小さくすることができる。
拡張可変長符号化器（ＶＬＣ・Ｆ0）１２３１ｃ、（ＶＬＣ・Ｆ1）１２３２ｃ・・・、（ＶＬＣ・ＦN-1）１２３３ｃは、基本拡張階層分離器１１３０ｃから再量子化パラメータ導出定数ｈを入力し、再スキャン器１１８１、１１８２・・・、１１８３にそれぞれ再スキャンされた拡張量子化係数列Ｆ0、Ｆ1・・・、ＦN-1を、前記再量子化パラメータ導出定数ｈにしたがった符号化テーブルによりそれぞれ可変長符号化して、拡張符号化信号Ｅ（１）、Ｅ（２）・・・、Ｅ（Ｍ−１）を生成し、出力するものである。
ここで、再量子化パラメータ導出定数ｈにしたがって独自の可変長符号語を用いる場合における係数値（レベル値）の符号化テーブルを、図４０に示す。同図に示す符号化テーブルは、再量子化パラメータ導出定数ｈが“６”のときの係数値の符号語を示すテーブルである。また、ランの符号化テーブルにおいても同様に、ランの発生確率にしたがって符号語を設定することにより、効率的な符号化を行うことができる。ランの符号化テーブルとしては、例えば、上記特開２００２−１３５１３０の図２１等に記載したものを用いることができる。
またこのとき、予測誤差可変長符号化器（ＶＬＣ予測誤差）１２２０ｃと同様に、拡張符号化信号Ｅ（１）、Ｅ（２）・・・、Ｅ（Ｍ−１）には、量子化パラメータ復元情報も合わせて符号化する。量子化パラメータ復元情報の内容も、予測誤差可変長符号化器（ＶＬＣ予測誤差）１２２０ｃと同様である。
また、分離部１１００ｃの係数情報分離部１２６０、可変長復号器（ＶＬＤ）１１１０、ランレベル係数変換器１１２０、基本再スキャン器１１６０、予測誤差再スキャン器１１７０、拡張再スキャン器１１８１、１１８２・・・、１１８３、基本可変長符号化器（ＶＬＣ基本）１２１０および係数情報多重化部１２７０ａについては、上記分離部１１００ａの同一の符号を付したものと同様のものである。
以上の構成により、分離部１１００ｃでは、符号化ストリーム（１次符号化信号）が入力されると、係数情報分離部１２６０、可変長復号器（ＶＬＤ）１１１０、ランレベル係数変換器１１２０を経て変換された量子化係数列Ｘが、基本拡張階層分離器１１３０ｃに入力される。基本拡張階層分離器１１３０ｃでは、上記再量子化パラメータ導出定数ｈを算出し、この再量子化パラメータ導出定数ｈ用いて、入力した量子化係数列Ｘを、基本階層の係数列Ｂと、拡張階層の係数列Ｅと、に分離する。
基本拡張階層分離器１１３０ｃに分離された基本階層係数列Ｂは、基本量子化係数変換器１１４０ｃに入力され、基本量子化係数変換器１１４０ｃでは、入力された基本階層係数列Ｂを、上記再量子化パラメータ導出定数ｈにより算出された再量子化パラメータＭＱ２を使用して再量子化を行い、基本量子化係数列Ｃと、余り係数列（予測誤差係数列）Ｄと、に変換する。
基本量子化係数変換器１１４０ｃに変換された基本量子化係数列Ｃは、基本再スキャン器１１６０、基本可変長符号化器（ＶＬＣ基本）１２１０、係数情報多重化部１２７０ａを経て、基本符号化信号Ｂに変換され、出力される。
また、基本量子化係数変換器１１４０ｃに変換された余り係数列（予測誤差係数列）Ｄは、予測誤差再スキャン器１１７０を経て、予測誤差可変長符号化器（ＶＬＣ予測誤差）１２２０ｃに入力される。予測誤差可変長符号化器（ＶＬＣ予測誤差）１２２０ｃでは、基本拡張階層分離器１１３０ｃから再量子化パラメータ導出定数ｈを入力し、余り係数列（予測誤差係数列）Ｄを、前記再量子化パラメータ導出定数ｈにしたがった符号化テーブルにより可変長符号化して、余り係数（予測誤差係数）符号化信号を生成し、拡張符号化信号Ｅ（０）として出力する。
一方、基本拡張階層分離器１１３０ｃに分離された拡張階層係数列Ｅは、拡張量子化係数分離器１１５０ｃに入力され、拡張量子化係数分離器１１５０ｃでは、入力された拡張階層係数列Ｅを、上記拡張階層分離パターン情報にしたがって複数の拡張量子化係数列Ｆ0、Ｆ1・・・、ＦN-1に分離する。
拡張量子化係数分離器１１５０ｃに分離された複数の拡張量子化係数列Ｆ0、Ｆ1・・・、ＦN-1は、それぞれ拡張再スキャン器１１８１、１１８２・・・、１１８３を経て、拡張可変長符号化器（ＶＬＣ・Ｆ0）１２３１ｃ、（ＶＬＣ・Ｆ1）１２３２ｃ・・・、（ＶＬＣ・ＦN-1）１２３３ｃに入力される。拡張可変長符号化器（ＶＬＣ・Ｆ0）１２３１ｃ、（ＶＬＣ・Ｆ1）１２３２ｃ・・・、（ＶＬＣ・ＦN-1）１２３３ｃでは、それぞれ基本拡張階層分離器１１３０ｃから再量子化パラメータ導出定数ｈを入力し、拡張量子化係数列Ｆ0、Ｆ1・・・、ＦN-1を、前記再量子化パラメータ導出定数ｈにしたがった符号化テーブルにより可変長符号化して、拡張符号化信号Ｅ（１）、Ｅ（２）・・・、Ｅ（Ｍ−１）を生成し、出力する。
次に、図４１に、再量子化パラメータ導出定数ｈを用いた復号処理を行う合成器の合成部を示し、説明する。
図４１に示すように、合成部３３００ｃは、係数情報分離部３４５０ａ、基本可変長復号器（ＶＬＤ基本）３３１０、予測誤差可変長復号器（ＶＬＤ予測誤差）３３２０ｃ、拡張可変長復号器（ＶＬＤ・Ｅ（０））３３３１ｃ、（ＶＬＤ・Ｅ（１））３３３２ｃ・・・、（ＶＬＤ・Ｅ（Ｎ’−１））３３３３ｃ、基本係数変換器３３４０、予測誤差係数変換器３３５０、拡張係数変換器３３６１、３３６２・・・、３３６３、基本量子化係数合成器３３７０ｃ、拡張量子化係数合成器３３８０ｃ、基本拡張階層合成器３３９０、ランレベル係数変換器３４１０、可変長符号化器（ＶＬＣ）３４２０および係数情報多重化部３４６０を備えている。
予測誤差可変長復号器（ＶＬＤ予測誤差）３３２０ｃは、拡張符号化信号Ｅ*（０）を入力し、この拡張符号化信号Ｅ*（０）内の量子化パラメータ復元情報から再量子化パラメータ導出定数ｈを求め、この再量子化パラメータ導出定数ｈにしたがった符号化テーブルにより、余り係数（予測誤差係数）符号化信号を可変長復号して、余り係数（予測誤差係数）情報（ランレベル情報）を出力するものである。
ここで、再量子化パラメータ導出定数ｈにしたがった符号化テーブルとは、上記分離器の分離部１１００ｃの予測誤差可変長符号化器（ＶＬＣ予測誤差）１２２０ｃで用いた符号化テーブルと同一のものである。
拡張可変長復号器（ＶＬＤ・Ｅ（０））３３３１ｃ、（ＶＬＤ・Ｅ（１））３３３２ｃ・・・、（ＶＬＤ・Ｅ（Ｎ’−１））３３３３ｃは、それぞれ拡張符号化信号Ｅ*（１）、Ｅ*（２）・・・、Ｅ*（Ｍ’−１）を入力し、この各拡張符号化信号Ｅ*（１）、Ｅ*（２）・・・、Ｅ*（Ｍ’−１）内の量子化パラメータ復元情報から再量子化パラメータ導出定数ｈを求め、この再量子化パラメータ導出定数ｈにしたがった符号化テーブルにより、拡張符号化信号Ｅ*（１）、Ｅ*（２）・・・、Ｅ*（Ｍ’−１）を可変長復号して、それぞれ拡張量子化係数情報（ランレベル情報）を出力するものである。
また、この再量子化パラメータ導出定数ｈにしたがった符号化テーブルについても、上記分離器の分離部１１００ｃの拡張可変長符号化器（ＶＬＣ・Ｆ0）１２３１ｃ、（ＶＬＣ・Ｆ1）１２３２ｃ・・・、（ＶＬＣ・ＦN-1）１２３３ｃで用いた符号化テーブルと同一のものである。
基本量子化係数合成器３３７０ｃは、基本係数変換器３３４０に変換された基本量子化係数列Ｃ*と、予測誤差係数変換器３３５０に変換された予測誤差係数列Ｄ*ととともに、予測誤差可変長復号器（ＶＬＤ予測誤差）３３２０ｃ、拡張可変長復号器（ＶＬＤ・Ｅ（０））３３３１ｃ、（ＶＬＤ・Ｅ（１））３３３２ｃ・・・、（ＶＬＤ・Ｅ（Ｎ’−１））３３３３ｃのいずれかから再量子化パラメータ導出定数ｈを入力する。そして、再量子化パラメータＭＱ２と再量子化パラメータ導出定数ｈから入力量子化パラメータＭＱ１を復元する。さらに、復元した入力量子化パラメータＭＱ１と再量子化パラメータＭＱ２とを用いて、入力した基本量子化係数列Ｃ*と、予測誤差係数列Ｄ*とを合成し、基本階層係数列Ｂ*を生成するものである。
拡張量子化係数合成器３３８０ｃは、拡張係数変換器３３６１、３３６２・・・、３３６３に変換された拡張量子化係数列Ｆ*0、Ｆ*1・・・、Ｆ*N'-1を入力するとともに、内部の、あるいは外部から拡張階層分離パターン情報を入力し、前記拡張階層分離パターン情報にしたがって前記拡張量子化係数列Ｆ*0、Ｆ*1・・・、Ｆ*N'-1を１つの拡張階層係数列Ｅ*に合成するものである。
合成部３３００ｃの係数情報分離部３４５０ａ、基本可変長復号器（ＶＬＤ基本）３３１０、基本係数変換器３３４０、予測誤差係数変換器３３５０、拡張係数変換器３３６１、３３６２・・・、３３６３、基本拡張階層合成器３３９０、ランレベル係数変換器３４１０、可変長符号化器（ＶＬＣ）３４２０および係数情報多重化部３４６０については、上記合成部３３００ａの同一の符号を付したものと同様のものである。
以上の構成により、合成部３３００ｃでは、基本符号化信号Ｂ*が入力されると、係数情報分離部３４５０ａ、基本可変長復号器（ＶＬＤ基本）３３１０、基本係数変換器３３４０を経て変換された基本量子化係数列Ｃ*が、基本量子化係数合成器３３７０に入力される。
また、拡張符号化信号Ｅ*（０）が入力されると、予測誤差可変長復号器（ＶＬＤ予測誤差）３３２０ｃに入力され、この拡張符号化信号Ｅ*（０）内の量子化パラメータ復元情報から再量子化パラメータ導出定数ｈを求め、この再量子化パラメータ導出定数ｈにしたがった符号化テーブルにより、余り係数（予測誤差係数）情報（ランレベル情報）に可変長復号する。この復号された余り係数（予測誤差係数）情報は、予測誤差係数変換器３３５０で、予測誤差係数列Ｄ*に変換され、基本量子化係数合成器３３７０ｃに入力される。
基本量子化係数合成器３３７０ｃでは、基本量子化係数列Ｃ*と予測誤差係数列Ｄ*とともに、再量子化パラメータ導出定数ｈを入力し、再量子化パラメータＭＱ２から入力量子化パラメータＭＱ１を算出する。さらに、入力量子化パラメータＭＱ１を用いて、入力した基本量子化係数列Ｃ*と予測誤差係数列Ｄ*とを合成し、基本階層係数列Ｂ*を生成して、基本拡張階層合成器３３９０に出力する。
一方、拡張符号化信号Ｅ*（１）、Ｅ*（２）・・・、Ｅ*（Ｍ’−１）が入力されると、それぞれ拡張可変長復号器（ＶＬＤ・Ｅ（０））３３３１ｃ、（ＶＬＤ・Ｅ（１））３３３２ｃ・・・、（ＶＬＤ・Ｅ（Ｎ’−１））３３３３ｃに入力され、各拡張符号化信号Ｅ*（１）、Ｅ*（２）・・・、Ｅ*（Ｍ’−１）内の量子化パラメータ復元情報から再量子化パラメータ導出定数ｈを求め、この再量子化パラメータ導出定数ｈにしたがった符号化テーブルにより、拡張量子化係数情報（ランレベル情報）に可変長復号する。復号された各拡張符号化係数情報は、それぞれ拡張係数変換器３３６１、３３６２・・・、３３６３で拡張量子化係数列Ｆ*0、Ｆ*1・・・、Ｆ*N-1に変換され、拡張量子化係数合成器３３８０ｃに入力される。拡張量子化係数合成器３３８０ｃでは、入力された拡張量子化係数列Ｆ*0、Ｆ*1・・・、Ｆ*N'-1を、拡張階層分離パターン情報にしたがって１つの拡張階層係数列Ｅ*に合成し、基本拡張階層合成器３３９０に出力する。
基本拡張階層合成器３３９０では、基本階層係数列Ｂ*と、拡張階層係数列Ｅ*と、を入力し、合成して、合成量子化係数列（３次量子化係数列）Ｘ*を生成する。合成量子化係数列（３次量子化係数列）Ｘ*は、ランレベル係数変換器３４１０、可変長符号化器（ＶＬＣ）３４２０、係数情報多重化部３４６０を経て、合成ストリーム（３次符号化信号）に変換され、出力される。
以上説明したように、本実施の形態の符号化信号分離合成システムにおいては、量子化パラメータ復元情報を拡張符号化信号Ｅ（ｍ）内に符号化しておくことにより、基本符号化信号Ｂには入力量子化パラメータＭＱ１の情報を入れることなく、従来の圧縮された符号化信号（通常のＭＰＥＧ−２ビットストリーム）のままでも、合成器側で入力量子化パラメータＭＱ１を含む元の符号化ストリーム（１次符号化信号）を完全に復元することができるとともに、拡張符号化信号Ｅ（ｍ）の符号量も入力量子化パラメータＭＱ１そのものを符号化した場合に比べ小さな符号量とすることができる。
（第７の実施の形態）
次に、量子化パラメータ復元情報を拡張符号化信号Ｅ（ｍ）内に符号化する符号化信号分離合成システムにおいて、予測誤差係数列Ｄを基本量子化係数列Ｃと多重化し、基本ストリームＢを生成する場合の処理について、説明する。
以下、再量子化パラメータ導出定数ｈを用いて、基本階層と拡張階層とを分離し、各係数列を符号化する符号化信号分離合成システムについて説明する。
図４２に、再量子化パラメータ導出定数ｈを用いて符号化処理を行い、予測誤差係数列Ｄを基本量子化係数列Ｃと多重化して基本ストリームＢを生成する分離器の分離部を示し、説明する。
図４２に示すように、分離部１１００ｄは、係数情報分離部１２６０、可変長復号器（ＶＬＤ）１１１０、ランレベル係数変換器１１２０、基本拡張階層分離器１１３０ｄ、基本量子化係数変換器１１４０ｄ、拡張量子化係数分離器１１５０ｄ、基本再スキャン器１１６０、予測誤差再スキャン器１１７０、拡張再スキャン器１１８１、１１８２・・・、１１８３、基本可変長符号化器（ＶＬＣ基本）１２１０、予測誤差可変長符号化器（ＶＬＣ予測誤差）１２２０ｄ、拡張可変長符号化器（ＶＬＣ・Ｆ0）１２３１ｄ、（ＶＬＣ・Ｆ1）１２３２ｄ・・・、（ＶＬＣ・ＦN-1）１２３３ｄ、基本量子化係数多重化器１２４０および係数情報多重化部１２７０ｂを備えている。
基本拡張階層分離器１１３０ｄは、上記再量子化パラメータ導出定数ｈを算出し、この再量子化パラメータ導出定数ｈ用いて、ランレベル係数変換器１１２０に変換された量子化係数列Ｘを、基本階層の係数列Ｂと、拡張階層の係数列Ｅと、に分離するものであり、上記分離部１１００ｃの基本拡張階層分離器１１３０ｃと同様のものである。
基本量子化係数変換器１１４０ｄは、基本拡張階層分離器１１３０ｄによって分離された基本階層係数列Ｂを入力するとともに、再量子化パラメータ導出定数ｈを入力し、この再量子化パラメータ導出定数ｈと、入力量子化パラメータＭＱ１と、により再量子化パラメータＭＱ２を算出し、入力した基本階層係数列Ｂを算出した再量子化パラメータＭＱ２を使用して再量子化を行い、基本量子化係数列Ｃと、余り係数列（予測誤差係数列）Ｄと、に変換するものであり、上記分離部１１００ｃの基本量子化係数変換器１１４０ｃと同様のものである。
拡張量子化係数分離器１１５０ｄは、基本拡張階層分離器１１３０ｄによって分離された拡張階層係数列Ｅを入力し、拡張階層の分離方法を規定した拡張階層分離パターン情報にしたがって複数の拡張量子化係数列Ｆ0、Ｆ1・・・、ＦN-1に分離するものであり、上記分離部１１００ｃの拡張量子化係数分離器１１５０ｃと同様のものである。また、この拡張量子化係数分離器１１５０ｄで使用する拡張階層分離パターン情報についても、上記分離部１１００ｃの拡張量子化係数分離器１１５０ｃの説明時のものと同様のものであり、また、上記同様に内部にあらかじめ用意したものでも、外部から入力したものでも良い。
予測誤差可変長符号化器（ＶＬＣ予測誤差）１２２０ｄは、基本拡張階層分離器１１３０ｄから再量子化パラメータ導出定数ｈを入力し、再スキャン器１１７０に再スキャンされた余り係数列（予測誤差係数列）Ｄを、前記再量子化パラメータ導出定数ｈにしたがった符号化テーブルにより可変長符号化して、余り係数（予測誤差係数）符号化信号Ｄを生成するものである。
またこのとき、余り係数（予測誤差係数）符号化信号Ｄには、量子化パラメータ復元情報も合わせて符号化するものであり、上記分離部１１００ｃの予測誤差可変長符号化器（ＶＬＣ予測誤差）１２２０ｃと同様のものである。量子化パラメータ復元情報についても、上記分離部１１００ｃの予測誤差可変長符号化器（ＶＬＣ予測誤差）１２２０ｃの説明時のものと同様のものである。
拡張可変長符号化器（ＶＬＣ・Ｆ0）１２３１ｄ、（ＶＬＣ・Ｆ1）１２３２ｄ・・・、（ＶＬＣ・ＦN-1）１２３３ｄは、再スキャン器１１８１、１１８２・・・、１１８３にそれぞれ再スキャンされた拡張量子化係数列Ｆ0、Ｆ1・・・、ＦN-1を、再量子化パラメータ導出定数ｈにしたがった符号化テーブルによりそれぞれ可変長符号化して、拡張符号化信号Ｅ（０）、Ｅ（１）・・・、Ｅ（Ｍ−１）を生成し、出力するものである。再量子化パラメータ導出定数ｈは、基本拡張階層分離器１１３０ｄから入力しても、予測誤差可変長符号化器（ＶＬＣ予測誤差）１２２０ｄから入力するようにしても良い。
ただし、予測誤差可変長符号化器（ＶＬＣ予測誤差）１２２０ｄとは異なり、拡張符号化信号Ｅ（０）、Ｅ（１）・・・、Ｅ（Ｍ−１）には、量子化パラメータ復元情報を符号化しない。これは、必ず受信される基本符号化信号Ｂに、量子化パラメータ復元情報を符号化した余り係数列（予測誤差係数列）Ｄが含まれるからであり、この余り係数列（予測誤差係数列）Ｄに符号化された量子化パラメータ復元情報を使用することができるからである。
また、分離部１１００ｄの係数情報分離部１２６０、可変長復号器（ＶＬＤ）１１１０、ランレベル係数変換器１１２０、基本再スキャン器１１６０、予測誤差再スキャン器１１７０、拡張再スキャン器１１８１、１１８２・・・、１１８３、基本可変長符号化器（ＶＬＣ基本）１２１０、基本量子化係数多重化器１２４０および係数情報多重化部１２７０ｂについては、上記分離部１１００ｂの同一の符号を付したものと同様のものである。
以上の構成により、分離部１１００ｄでは、符号化ストリーム（１次符号化信号）が入力されると、係数情報分離部１２６０、可変長復号器（ＶＬＤ）１１１０、ランレベル係数変換器１１２０を経て変換された量子化係数列Ｘが、基本拡張階層分離器１１３０ｄに入力される。基本拡張階層分離器１１３０ｄでは、上記再量子化パラメータ導出定数ｈを算出し、この再量子化パラメータ導出定数ｈ用いて、入力した量子化係数列Ｘを、基本階層の係数列Ｂと、拡張階層の係数列Ｅと、に分離する。
基本拡張階層分離器１１３０ｄに分離された基本階層係数列Ｂは、基本量子化係数変換器１１４０ｄに入力され、基本量子化係数変換器１１４０ｄでは、入力された基本階層係数列Ｂを、上記再量子化パラメータ導出定数ｈにより算出された再量子化パラメータＭＱ２を使用して再量子化を行い、基本量子化係数列Ｃと、余り係数列（予測誤差係数列）Ｄと、に変換する。
基本量子化係数変換器１１４０ｄに変換された基本量子化係数列Ｃは、基本再スキャン器１１６０、基本可変長符号化器（ＶＬＣ基本）１２１０を経て、基本量子化係数符号化信号に変換され、基本量子化係数多重化器１２４０に出力される。
また、基本量子化係数変換器１１４０ｄに変換された余り係数列（予測誤差係数列）Ｄは、予測誤差再スキャン器１１７０を経て、予測誤差可変長符号化器（ＶＬＣ予測誤差）１２２０ｄに入力される。予測誤差可変長符号化器（ＶＬＣ予測誤差）１２２０ｄでは、基本拡張階層分離器１１３０ｄから再量子化パラメータ導出定数ｈを入力し、余り係数列（予測誤差係数列）Ｄを、前記再量子化パラメータ導出定数ｈにしたがった符号化テーブルにより可変長符号化して、余り係数（予測誤差係数）符号化信号を生成し、基本量子化係数多重化器１２４０に出力する。
続いて、基本量子化係数多重化器１２４０において、入力された基本量子化係数符号化信号と、余り係数（予測誤差係数）符号化信号と、が多重化され、係数情報多重化部１２７０ｂで基本符号化信号Ｂが生成され、出力される。
一方、基本拡張階層分離器１１３０ｄに分離された拡張階層係数列Ｅは、拡張量子化係数分離器１１５０ｄに入力され、拡張量子化係数分離器１１５０ｄでは、入力された拡張階層係数列Ｅを、上記拡張階層分離パターン情報にしたがって複数の拡張量子化係数列Ｆ0、Ｆ1・・・、ＦN-1に分離する。
拡張量子化係数分離器１１５０ｄに分離された複数の拡張量子化係数列Ｆ0、Ｆ1・・・、ＦN-1は、それぞれ拡張再スキャン器１１８１、１１８２・・・、１１８３を経て、拡張可変長符号化器（ＶＬＣ・Ｆ0）１２３１ｄ、（ＶＬＣ・Ｆ1）１２３２ｄ・・・、（ＶＬＣ・ＦN-1）１２３３ｄに入力される。拡張可変長符号化器（ＶＬＣ・Ｆ0）１２３１ｄ、（ＶＬＣ・Ｆ1）１２３２ｄ・・・、（ＶＬＣ・ＦN-1）１２３３ｄでは、それぞれ拡張量子化係数列Ｆ0、Ｆ1・・・、ＦN-1を、前記再量子化パラメータ導出定数ｈにしたがった符号化テーブルにより可変長符号化して、拡張符号化信号Ｅ（０）、Ｅ（１）・・・、Ｅ（Ｍ−１）を生成し、出力する。
次に、図４３に、基本符号化信号Ｂから基本量子化係数列Ｃと余り係数列（予測誤差係数列）Ｄとを分離し、再量子化パラメータ導出定数ｈを用いた復号処理を行う合成器の合成部を示し、説明する。
図４３に示すように、合成部３３００ｄは、係数情報分離部３４５０ａ、基本量子化係数分離器３４３０、基本可変長復号器（ＶＬＤ基本）３３１０、予測誤差可変長復号器（ＶＬＤ予測誤差）３３２０ｄ、拡張可変長復号器（ＶＬＤ・Ｅ（０））３３３１ｄ、（ＶＬＤ・Ｅ（１））３３３２ｄ・・・、（ＶＬＤ・Ｅ（Ｎ’−１））３３３３ｄ、基本係数変換器３３４０、予測誤差係数変換器３３５０、拡張係数変換器３３６１、３３６２・・・、３３６３、基本量子化係数合成器３３７０ｄ、拡張量子化係数合成器３３８０ｄ、基本拡張階層合成器３３９０、ランレベル係数変換器３４１０、可変長符号化器（ＶＬＣ）３４２０および係数情報多重化部３４６０を備えている。
予測誤差可変長復号器（ＶＬＤ予測誤差）３３２０ｄは、基本量子化係数分離器３４３０に分離された余り係数（予測誤差係数）符号化信号を入力し、この余り係数（予測誤差係数）符号化信号内の量子化パラメータ復元情報から再量子化パラメータ導出定数ｈを求め、この再量子化パラメータ導出定数ｈにしたがった符号化テーブルにより、余り係数（予測誤差係数）符号化信号を可変長復号して、余り係数（予測誤差係数）情報（ランレベル情報）を出力するものである。
ここで、再量子化パラメータ導出定数ｈにしたがった符号化テーブルとは、上記分離器の分離部１１００ｄの予測誤差可変長符号化器（ＶＬＣ予測誤差）１２２０ｄで用いた符号化テーブルと同一のものである。
拡張可変長復号器（ＶＬＤ・Ｅ（０））３３３１ｄ、（ＶＬＤ・Ｅ（１））３３３２ｄ・・・、（ＶＬＤ・Ｅ（Ｎ’−１））３３３３ｄは、それぞれ拡張符号化信号Ｅ*（０）、Ｅ*（１）・・・、Ｅ*（Ｍ’−１）を入力するとともに、予測誤差可変長復号器（ＶＬＤ予測誤差）３３２０ｄから再量子化パラメータ導出定数ｈを入力し、この再量子化パラメータ導出定数ｈにしたがった符号化テーブルにより、拡張符号化信号Ｅ*（０）、Ｅ*（１）・・・、Ｅ*（Ｍ’−１）を可変長復号して、それぞれ拡張量子化係数情報（ランレベル情報）を出力するものである。
また、この再量子化パラメータ導出定数ｈにしたがった符号化テーブルについても、上記分離器の分離部１１００ｄの拡張可変長符号化器（ＶＬＣ・Ｆ0）１２３１ｃ、（ＶＬＣ・Ｆ1）１２３２ｃ・・・、（ＶＬＣ・ＦN-1）１２３３ｃで用いた符号化テーブルと同一のものである。
基本量子化係数合成器３３７０ｄは、基本係数変換器３３４０に変換された基本量子化係数列Ｃ*と、予測誤差係数変換器３３５０に変換された予測誤差係数列Ｄ*ととともに、予測誤差可変長復号器（ＶＬＤ予測誤差）３３２０ｄから再量子化パラメータ導出定数ｈを入力する。そして、再量子化パラメータＭＱ２と再量子化パラメータ導出定数ｈから入力量子化パラメータＭＱ１を復元する。さらに、復元した入力量子化パラメータＭＱ１と再量子化パラメータＭＱ２とを用いて、入力した基本量子化係数列Ｃ*と、予測誤差係数列Ｄ*とを合成し、基本階層係数列Ｂ*を生成するものである。
拡張量子化係数合成器３３８０ｄは、拡張係数変換器３３６１、３３６２・・・、３３６３に変換された拡張量子化係数列Ｆ*0、Ｆ*1・・・、Ｆ*N'-1を入力するとともに、拡張階層分離パターン情報にしたがって前記拡張量子化係数列Ｆ*0、Ｆ*1・・・、Ｆ*N'-1を１つの拡張階層係数列Ｅ*に合成するものであり、上記合成部３３００ｃの拡張量子化係数合成器３３８０ｃと同様のものである。また、拡張階層分離パターン情報についても、上記合成部３３００ｃの拡張量子化係数合成器３３８０ｃと同様に、内部に持っていても、外部から入力するものであっても構わない。
合成部３３００ｄの係数情報分離部３４５０ａ、基本量子化係数分離器３４３０、基本可変長復号器（ＶＬＤ基本）３３１０、基本係数変換器３３４０、予測誤差係数変換器３３５０、拡張係数変換器３３６１、３３６２・・・、３３６３、基本拡張階層合成器３３９０、ランレベル係数変換器３４１０、可変長符号化器（ＶＬＣ）３４２０および係数情報多重化部３４６０については、上記合成部３３００ｂの同一の符号を付したものと同様のものである。
以上の構成により、合成部３３００ｄでは、基本符号化信号Ｂ*が入力されると、係数情報分離部３４５０ａを経て、基本階層の係数情報が基本量子化係数分離器３４３０に入力され、基本量子化係数分離器３４３０で基本量子化係数符号化信号と、余り係数（予測誤差係数）符号化信号と、に分離される。
基本量子化係数分離器３４３０で分離された基本量子化係数符号化信号は、基本可変長復号器（ＶＬＤ基本）３３１０、基本係数変換器３３４０を経て、基本量子化係数列Ｃ*に変換され、基本量子化係数合成器３３７０ｄに入力される。
基本量子化係数分離器３４３０で分離された余り係数（予測誤差係数）符号化信号は、予測誤差可変長復号器（ＶＬＤ予測誤差）３３２０ｄに入力され、この余り係数（予測誤差係数）符号化信号内の量子化パラメータ復元情報から再量子化パラメータ導出定数ｈを求め、この再量子化パラメータ導出定数ｈにしたがった符号化テーブルにより、余り係数（予測誤差係数）情報（ランレベル情報）に可変長復号する。この復号された余り係数（予測誤差係数）情報は、予測誤差係数変換器３３５０で、予測誤差係数列Ｄ*に変換され、基本量子化係数合成器３３７０ｄに入力される。
基本量子化係数合成器３３７０ｄでは、基本量子化係数列Ｃ*と予測誤差係数列Ｄ*とともに、再量子化パラメータ導出定数ｈを入力し、再量子化パラメータＭＱ２から入力量子化パラメータＭＱ１を算出する。さらに、入力量子化パラメータＭＱ１を用いて、入力した基本量子化係数列Ｃ*と予測誤差係数列Ｄ*とを合成し、基本階層係数列Ｂ*を生成して、基本拡張階層合成器３３９０に出力する。
一方、拡張符号化信号Ｅ*（０）、Ｅ*（１）・・・、Ｅ*（Ｍ’−１）が入力されると、それぞれ拡張可変長復号器（ＶＬＤ・Ｅ（０））３３３１ｄ、（ＶＬＤ・Ｅ（１））３３３２ｄ・・・、（ＶＬＤ・Ｅ（Ｎ’−１））３３３３ｄに入力され、予測誤差可変長復号器（ＶＬＤ予測誤差）３３２０ｄから再量子化パラメータ導出定数ｈを入力し、この再量子化パラメータ導出定数ｈにしたがった符号化テーブルにより、拡張量子化係数情報（ランレベル情報）に可変長復号する。復号された各拡張符号化係数情報は、それぞれ拡張係数変換器３３６１、３３６２・・・、３３６３で拡張量子化係数列Ｆ*0、Ｆ*1・・・、Ｆ*N-1に変換され、拡張量子化係数合成器３３８０ｄに入力される。拡張量子化係数合成器３３８０ｄでは、入力された拡張量子化係数列Ｆ*0、Ｆ*1・・・、Ｆ*N'-1を、拡張階層分離パターン情報にしたがって１つの拡張階層係数列Ｅ*に合成し、基本拡張階層合成器３３９０に出力する。
基本拡張階層合成器３３９０では、基本階層係数列Ｂ*と、拡張階層係数列Ｅ*と、を入力し、合成して、合成量子化係数列（３次量子化係数列）Ｘ*を生成する。合成量子化係数列（３次量子化係数列）Ｘ*は、ランレベル係数変換器３４１０、可変長符号化器（ＶＬＣ）３４２０、係数情報多重化部３４６０を経て、合成ストリーム（３次符号化信号）に変換され、出力される。
以上説明したように、本実施の形態の符号化信号分離合成システムにおいては、量子化パラメータ復元情報を余り係数列（予測誤差係数列）Ｄとして扱い、基本符号化信号Ｂに多重化しておくことにより、拡張符号化信号Ｅ（ｍ）には一切量子化パラメータを復元するための情報を含めなくてよく、多数の拡張符号化信号Ｅ（ｍ）の符号量を抑えることができるとともに、基本符号化信号Ｂの受信のみで元の量子化パラメータＭＱ１を求めることができる。
以上のように、本発明にかかる符号化信号分離合成システムは、映像のスケーラブル伝送を実現することができるという効果を有し、ストリーム伝送を行うサーバやトランスコーダ等として有用である。
本発明の第１の実施の形態における符号化信号分離合成システムのブロック図である。 本発明のサーバの分離器を示すブロック図である。 方式１（ロバストネス伝送路あり）における分離器を示すブロック図である。 方式２（ロバストネス伝送路なし）における分離器を示すブロック図である。 本発明のルータの伝送路選択器を示すブロック図である。 ルータの伝送路選択器による伝送路選択例を示す図である。 本発明のレシーバの合成器を示すブロック図である。 方式１における合成器を示すブロック図である。 方式２における合成器を示すブロック図である。 拡張ストリームのビットストリームフォーマットを示す図である。 スライス層に定義するユーザデータの内容を示す図である。 ＭＢ層に定義するＭＢ属性情報の内容を示す図である。 分離器の分離部を示すブロック図である。 ブロック内係数分離の原理を示す図である。 合成器の合成部を示すブロック図である。 ブロック内係数合成の原理を示す図である。 ストリーム損失時におけるブロック内係数合成の原理を示す図である。 基本量子化係数列Ｃと、予測誤差係数列Ｄと、を多重化して基本ストリームＢを生成する分離部を示すブロック図である。 基本量子化係数列Ｃと、予測誤差係数列Ｄと、を多重化した基本ストリームＢを入力する合成部を示すブロック図である。 多重化部で拡張ストリームを多重化する、方式１における分離器を示すブロック図である。 多重化部で拡張ストリームを多重化する、方式２における分離器を示すブロック図である。 レートの異なる分離ストリームを入力する伝送路選択器による伝送路選択例を示すブロック図である。 伝送路選択器における伝送路選択（スイッチの切り換え）の動作を示す図である。 多重化された拡張ストリームを分割する、方式１における合成器を示すブロック図である。 多重化された拡張ストリームを分割する、方式２における合成器を示すブロック図である。 多重化部で拡張ストリームを多重化する、方式１における分離器を示すブロック図である。 多重化部で拡張ストリームを多重化する、方式２における分離器を示すブロック図である。 レートの異なる分離ストリームを入力する伝送路選択器による伝送路選択例を示すブロック図である。 伝送路選択器における伝送路選択（スイッチの切り換え）の動作を示す図である。 多重化された拡張ストリームを分割する、方式１における合成器を示すブロック図である。 多重化された拡張ストリームを分割する、方式２における合成器を示すブロック図である。 従来のトランスコーダの概略ブロック図である。 従来のトランスコーダにおける、ＭＰＥＧ−２のＴＭ５のレート制御処理示すフローチャートである。 従来のトランスコーダの概略ブロック図である。 従来のトランスコーダの処理を示すフローチャートである。 従来のトランスコーダの概略ブロック図である。 従来のトランスコーダの処理を示すフローチャートである。 再量子化パラメータ導出定数ｈを用いて符号化処理を行う分離器の分離部を示すブロック図である。 再量子化パラメータ導出定数ｈの情報を追加したＭＢ層に定義するＭＢ属性情報の内容を示す図である。 再量子化パラメータ導出定数ｈにしたがって符号化テーブルを示す図である。 再量子化パラメータ導出定数ｈを用いた復号処理を行う合成器の合成部を示すブロック図である。 再量子化パラメータ導出定数ｈを用いて符号化処理を行い、予測誤差係数列Ｄを基本量子化係数列Ｃと多重化して基本ストリームＢを生成する分離器の分離部を示すブロック図である。 基本符号化信号Ｂから基本量子化係数列Ｃと予測誤差係数列Ｄとを分離し、再量子化パラメータ導出定数ｈを用いた復号処理を行う合成器の合成部を示すブロック図である。
符号の説明
５０ トランスコーダ
５１ ＶＬＤ（可変長復号手段）
５３ 逆量子化器(逆量子化手段)
５５ 量子化器（量子化手段）
５７ ＶＬＣ（可変長符号化手段）
５９ レート制御部
６０ トランスコーダ
６１ 遅延回路
６３ ビットレート比率計算部
６５ 入力符号量積算部
６７ 差分符号量計算部
６９ 目標出力符号量更新部
７１ 量子化スケールコード算出部
８０ トランスコーダ
８１ ＶＬＤ
８３ 目標出力符号量更新部
８５ 量子化スケールコード算出部
６００ カメラ
７００ 符号化器
８００ コンテンツ蓄積器
１０００ サーバ
１０１０、１０１０ａ、１０１０ｂ
１０１１、１０１５ 分離器
１１００、１１００ａ、１１００ｂ
１１０１、１１０５ 分離部(separate)
１１１０ ＶＬＤ
１１２０ ランレベル係数変換器
１１３０ 基本、拡張階層分離器
１１４０ 基本量子化係数変換器
１１５０ 拡張量子化係数分離器
１１６０ 再スキャン器
１１７０ 再スキャン器
１１８１、１１８２、１１８３ 再スキャン器
１２１０ ＶＬＣ基本
１２２０ ＶＬＣ予測誤差
１２３１ ＶＬＣ Ｆ0
１２３２ ＶＬＣ Ｆ1
１２３３ ＶＬＣ ＦM-1
１２４０ 基本量子化係数多重化器
１２６０ 係数情報分離部
１２７０ａ、１２７０ｂ 係数情報多重化部
１６００、１６００ａ、１６００ｂ
１６０１、１６０５ 多重化部(MUX)
２０００ ルータ
２０１０、２０１１ ２０１２ 伝送路選択器
３０００、３０００ａ、３０００ｂ、３０００ｎ レシーバ
３０１０、３０１０ａ、３０１０ｂ、３０１０ｎ
３０１１、３０１２、３０１５、３０１６ 合成器
３０２０ 合成制御器（merge controller）
３０３０、３０３０ａ、３０３０ｂ、３０３０ｎ 復号器
３１００、３１００ａ、３１００ｂ
３１０１、３１０２、３１０５、３１０６ 多重分離部（DEMUX）
３２００、３２００ａ、３２００ｂ
３２０１、３２０２、３２０５、３２０６ 基本ストリーム選択器（B-Selector）
３３００、３３００ａ、３３００ｂ
３３０１、３３０２、３３０５、３３０６ 合成部（merge）
３３１０ ＶＬＤ基本
３３２０ ＶＬＤ予測誤差
３３３１ ＶＬＤ Ｅ(０)
３３３２ ＶＬＤ Ｅ(１)
３３３３ ＶＬＤ Ｅ(Ｍ’−１)
３３４０ 係数変換器
３３５０ 係数変換器
３３６１、３３６２、３３６３ 係数変換器
３３７０ 基本量子化係数合成器
３３８０ 拡張量子化係数合成器
３３９０ 基本、拡張階層合成器
３４１０ ランレベル係数変換器
３４２０ ＶＬＣ
３４３０ 基本量子化係数分離器
３４５０ａ、３４５０ｂ 係数情報分離部
３４６０ 係数情報多重化部
１１００ｃ、１１００ｄ 分離部
１１３０ｃ、１１３０ｄ 基本拡張階層分離器
１１４０ｃ、１１４０ｄ 基本量子化係数変換器
１１５０ｃ、１１５０ｄ 拡張量子化係数分離器
１２２０ｃ、１２２０ｄ 予測誤差可変長符号化器（ＶＬＣ予測誤差）
１２３１ｃ、１２３１ｄ 拡張可変長符号化器（ＶＬＣ・Ｆ0）
１２３２ｃ、１２３２ｄ 拡張可変長符号化器（ＶＬＣ・Ｆ1）
１２３３ｃ、１２３３ｄ 拡張可変長符号化器（ＶＬＣ・ＦN-1）
３３００ｃ、３３００ｄ 合成部
３３２０ｃ、３３２０ｄ 予測誤差可変長復号器（ＶＬＤ予測誤差）
３３３１ｃ、３３３１ｄ 拡張可変長復号器（ＶＬＤ・Ｅ（０））
３３３２ｃ、３３３２ｄ 拡張可変長復号器（ＶＬＤ・Ｅ（１））
３３３３ｃ、３３３３ｄ 拡張可変長復号器（ＶＬＤ・Ｅ（Ｎ’−１））
３３７０ｃ、３３７０ｄ 基本量子化係数合成器
３３８０ｃ、３３８０ｄ 拡張量子化係数合成器

Claims (114)

  1. 複数の画像情報から構成される１次動画像を符号化した１次符号化信号を入力する分離器入力手段と、
    前記分離器入力手段に入力された１次符号化信号を、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離する分離器分離手段と、
    前記分離器分離手段に分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を任意に組み合わせて多重化し、複数の伝送符号化信号を生成する分離器多重化手段と、
    前記分離器多重化手段に多重化された複数の伝送符号化信号を出力する分離器出力手段と、
    を備えたことを特徴とする符号化信号分離装置。
  2. 請求項１に記載の符号化信号分離装置において、
    前記分離器分離手段が、
    前記１次符号化信号から前記１次動画像を復元させる１次量子化係数値に変換する１次係数変換手段と、
    前記１次係数変換手段に変換された前記１次量子化係数値を、前記２次動画像を復元させる基本階層の基本階層係数値と、前記３次動画像を復元させるときに用いる拡張階層の拡張階層係数値と、に分離する基本拡張階層分離手段と、
    前記基本階層係数値から前記基本符号化信号を生成する基本符号化信号生成手段と、
    前記拡張階層係数値から複数の前記拡張符号化信号を生成する拡張符号化信号生成手段と、
    を備えたことを特徴とする符号化信号分離装置。
  3. 請求項２に記載の符号化信号分離装置において、
    前記基本拡張階層分離手段が、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次量子化係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離することを特徴とする符号化信号分離装置。
  4. 請求項２または請求項３に記載の符号化信号分離装置において、
    前記分離器分離手段が、前記基本拡張階層分離手段に分離された基本階層係数値を、再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換手段を備え、
    前記分離器分離手段の前記基本符号化信号生成手段が、前記基本量子化係数値を入力し、前記基本符号化信号である基本量子化符号化列に符号化する基本量子化係数列符号化手段を備え、
    前記分離器分離手段の前記拡張符号化信号生成手段が、前記基本量子化係数変換手段に変換された予測誤差係数値と、前記基本拡張階層分離手段に分離された拡張階層係数値と、を入力し、前記予測誤差係数値と、前記拡張階層係数値と、から複数の前記拡張符号化信号を生成することを特徴とする符号化信号分離装置。
  5. 請求項２または請求項３に記載の符号化信号分離装置において、
    前記分離器分離手段が、前記基本拡張階層分離手段に分離された基本階層係数値を、再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換手段を備え、
    前記分離器分離手段の前記基本符号化信号生成手段が、
    前記基本量子化係数値を入力し、基本量子化符号化列に符号化する基本量子化係数列符号化手段と、
    前記予測誤差係数値を入力し、予測誤差符号化列に符号化する予測誤差係数列符号化手段と、
    前記基本量子化符号化列と、前記予測誤差符号化列と、を合成して前記基本符号化信号を生成する基本符号化信号合成手段と、
    を備えたことを特徴とする符号化信号分離装置。
  6. 請求項１から請求項５のいずれか１項に記載の符号化信号分離装置において、
    前記分離器多重化手段が、前記基本符号化信号と、複数の前記拡張符号化信号と、の各符号化信号を、前記各伝送符号化信号として生成することを特徴とする符号化信号分離装置。
  7. 請求項１から請求項５のいずれか１項に記載の符号化信号分離装置において、
    前記分離器多重化手段が、前記基本符号化信号を、複数の前記拡張符号化信号のそれぞれに多重化して、前記複数の伝送符号化信号を生成することを特徴とする符号化信号分離装置。
  8. 請求項１から請求項７のいずれか１項に記載の符号化信号分離装置において、
    前記分離器多重化手段が、複数の前記拡張符号化信号を多重化して、符号量が異なる複数の前記伝送符号化信号を生成することを特徴とする符号化信号分離装置。
  9. 請求項８に記載の符号化信号分離装置において、
    前記分離器多重化手段が、前記符号量が異なる複数の伝送符号化信号の符号量比が２のべき乗比となるように、前記伝送符号化信号を生成することを特徴とする符号化信号分離装置。
  10. 複数の画像情報から構成される１次動画像が符号化された複数の独立した伝送符号化信号を入力する合成器入力手段と、
    前記合成器入力手段に入力された複数の前記伝送符号化信号から、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離する合成器分離手段と、
    前記合成器分離手段に分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を合成し、３次動画像を復元させる３次符号化信号を生成する合成器合成手段と、
    前記合成器合成手段に合成された３次符号化信号を出力する合成器出力手段と、
    を備えたことを特徴とする符号化信号合成装置。
  11. 請求項１０に記載の符号化信号合成装置において、
    前記合成器合成手段が、
    前記基本符号化信号から、前記２次動画像を復元させる基本階層の基本階層係数値に変換させる基本符号化信号変換手段と、
    前記複数の拡張符号化信号から、前記３次動画像を復元させるときに用いる拡張階層の拡張階層係数値に変換させる拡張符号化信号変換手段と、
    前記基本符号化信号変換手段に変換された基本階層係数値と、前記拡張符号化信号変換手段に変換された拡張階層係数値と、を合成して３次量子化係数値を生成する基本拡張階層合成手段と、
    前記基本拡張階層合成手段に合成された３次量子化係数値を、前記３次符号化信号に変換する３次係数変換手段と、
    を備えたことを特徴とする符号化信号合成装置。
  12. 請求項１０または請求項１１に記載の符号化信号合成装置において、
    前記合成器分離手段が、前記複数の伝送符号化信号から、同一の情報を符号化した信号である複数の前記基本符号化信号と、前記複数の拡張符号化信号と、に分離することを特徴とする符号化信号合成装置。
  13. 請求項１２に記載の符号化信号合成装置において、
    前記合成器分離手段が分離した複数の基本符号化信号から、受信信号誤りの少ない基本符号化信号を選択し、前記合成器合成手段に通知する信号誤り通知手段と、を備え、
    前記合成器合成手段が、前記信号誤り通知手段に通知された前記基本符号化信号を選択して、前記複数の拡張符号化信号と合成することを特徴とする符号化信号合成装置。
  14. 請求項１０から請求項１３のいずれか１項に記載の符号化信号合成装置において、
    ネットワーク上の誤り検出器から誤り訂正状況の情報を受信し、前記合成器合成手段に誤り訂正情報を通知する合成制御手段と、を備え、
    前記合成器合成手段が、前記合成制御手段に通知された前記誤り訂正情報に基づいて、前記基本符号化信号と、前記複数の拡張符号化信号と、を合成することを特徴とする符号化信号合成装置。
  15. 複数の画像情報から構成される１次動画像を符号化した１次符号化信号を、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離するとともに、再構築して、ネットワーク上に伝送する複数の伝送符号化信号に変換する分離器と、
    前記複数の伝送符号化信号を入力し、転送する前記伝送符号化信号を選択して、前記選択した伝送符号化信号を伝送する伝送路選択器と、
    前記伝送路選択器に伝送された複数の伝送符号化信号を入力し、前記３次動画像を復元させる３次符号化信号を合成する合成器と、
    を備え、
    前記分離器が、
    前記１次符号化信号を入力する分離器入力手段と、
    前記分離器入力手段に入力された１次符号化信号を、前記基本符号化信号と、前記複数の拡張符号化信号と、に分離する分離器分離手段と、
    前記分離器分離手段に分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を任意に組み合わせて多重化し、前記複数の伝送符号化信号を生成する分離器多重化手段と、
    前記分離器多重化手段に多重化された複数の伝送符号化信号を出力する分離器出力手段と、
    を備え、
    前記合成器が、
    前記複数の伝送符号化信号を入力する合成器入力手段と、
    前記合成器入力手段に入力された複数の前記伝送符号化信号から、前記基本符号化信号と、前記複数の拡張符号化信号と、に分離する合成器分離手段と、
    前記合成器分離手段に分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を合成し、３次動画像を復元させる３次符号化信号を生成する合成器合成手段と、
    前記合成器合成手段に合成された３次符号化信号を出力する合成器出力手段と、
    を備えたことを特徴とする符号化信号分離合成システム。
  16. 請求項１５に記載の符号化信号分離合成システムにおいて、
    前記分離器分離手段が、
    前記１次符号化信号から前記１次動画像を復元させる１次量子化係数値に変換する１次係数変換手段と、
    前記１次係数変換手段に変換された前記１次量子化係数値を、前記２次動画像を復元させる基本階層の基本階層係数値と、前記３次動画像を復元させるときに用いる拡張階層の拡張階層係数値と、に分離する基本拡張階層分離手段と、
    前記基本階層係数値から前記基本符号化信号を生成する基本符号化信号生成手段と、
    前記拡張階層係数値から複数の前記拡張符号化信号を生成する拡張符号化信号生成手段と、
    を備え、
    前記合成器合成手段が、
    前記基本符号化信号から、前記基本階層の基本階層係数値に変換させる基本符号化信号変換手段と、
    前記複数の拡張符号化信号から、前記拡張階層の拡張階層係数値に変換させる拡張符号化信号変換手段と、
    前記基本符号化信号変換手段に変換された基本階層係数値と、前記拡張符号化信号変換手段に変換された拡張階層係数値と、を合成して３次量子化係数値を生成する基本拡張階層合成手段と、
    前記基本拡張階層合成手段に合成された３次量子化係数値を、前記３次符号化信号に変換する３次係数変換手段と、
    を備えたことを特徴とする符号化信号分離合成システム。
  17. 請求項１６に記載の符号化信号分離合成システムにおいて、
    前記分離器では、
    前記分離器分離手段が、前記基本拡張階層分離手段に分離された基本階層係数値を、再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換手段を備え、
    前記分離器分離手段の前記基本符号化信号生成手段が、前記基本量子化係数値を入力し、前記基本符号化信号である基本量子化符号化列に符号化する基本量子化係数列符号化手段を備え、
    前記分離器分離手段の前記拡張符号化信号生成手段が、前記基本量子化係数変換手段に変換された予測誤差係数値と、前記基本拡張階層分離手段に分離された拡張階層係数値と、を入力し、前記予測誤差係数値と、前記拡張階層係数値と、から複数の前記拡張符号化信号を生成し、
    前記合成器では、
    前記合成器分離手段が、複数の前記伝送符号化信号から、前記基本量子化符号化列と、前記予測誤差係数値が符号化された予測誤差符号化列と、前記拡張階層係数値が符号化された拡張階層符号化列と、に分離し、
    前記合成器合成手段の前記基本符号化信号変換手段が、前記基本量子化符号化列を入力し、前記基本量子化係数値に変換する基本量子化係数列変換手段を備え、
    前記合成器合成手段の前記拡張符号化信号変換手段が、
    前記予測誤差符号化列から前記予測誤差係数値に変換する予測誤差係数列変換手段と、
    前記複数の拡張階層符号化列を、それぞれ前記拡張階層係数値に変換する複数の拡張階層係数列変換手段と、を備え、
    さらに、前記合成器合成手段が、前記基本量子化係数値と、前記再量子化パラメータと、前記予測誤差係数値と、から前記基本階層係数値に変換する基本階層係数値合成手段を備え、
    前記合成器合成手段の前記基本拡張階層合成手段が、前記基本階層係数値と、前記拡張階層係数値と、を合成して前記３次量子化係数値を生成することを特徴とする符号化信号分離合成システム。
  18. 請求項１６に記載の符号化信号分離合成システムにおいて、
    前記分離器では、
    前記分離器分離手段が、前記基本拡張階層分離手段に分離された基本階層係数値を、再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換手段を備え、
    前記分離器分離手段の前記基本符号化信号生成手段が、
    前記基本量子化係数値を入力し、基本量子化符号化列に符号化する基本量子化係数列符号化手段と、
    前記予測誤差係数値を入力し、予測誤差符号化列に符号化する予測誤差係数列符号化手段と、
    前記基本量子化符号化列と、前記予測誤差符号化列と、を合成して前記基本符号化信号を生成する基本符号化信号合成手段と、
    を備え、
    前記合成器では、
    前記合成器合成手段が、前記基本符号化信号を入力し、前記基本量子化符号化列と、前記予測誤差符号化列と、に分離する基本符号化信号分離手段を備え、
    前記合成器合成手段の前記基本符号化信号変換手段が、
    前記基本量子化符号化列を入力し、前記基本量子化係数値に変換する基本量子化係数列変換手段と、
    前記予測誤差符号化列を入力し、前記予測誤差係数値に変換する予測誤差係数列変換手段と、備え、
    さらに、前記合成器合成手段が、前記基本量子化係数値と、前記再量子化パラメータと、前記予測誤差係数値と、から前記基本階層係数値に変換する基本階層係数値合成手段を備え、
    前記合成器合成手段の前記基本拡張階層合成手段が、前記基本階層係数値と、前記拡張階層係数値と、を合成して前記３次量子化係数値を生成することを特徴とする符号化信号分離合成システム。
  19. 請求項１５から請求項１８のいずれか１項に記載の符号化信号分離合成システムにおいて、
    前記分離器多重化手段が、前記基本符号化信号を、複数の前記拡張符号化信号のそれぞれに多重化して、前記複数の伝送符号化信号を生成し、
    前記合成器分離手段が、前記複数の伝送符号化信号から、複数の前記基本符号化信号と、複数の前記拡張符号化信号と、に分離し、
    前記合成器合成手段が、前記合成器分離手段に分離された前記複数の基本符号化信号から１つの基本符号化信号を選択して、前記複数の拡張符号化信号と合成することを特徴とする符号化信号分離合成システム。
  20. 請求項１５から請求項１９のいずれか１項に記載の符号化信号分離合成システムにおいて、
    前記分離器多重化手段が、複数の前記拡張符号化信号を多重化して、符号量が異なる複数の前記伝送符号化信号を生成し、
    前記合成器分離手段が、前記複数の伝送符号化信号から、前記基本符号化信号と、複数の前記拡張符号化信号と、に分離することを特徴とする符号化信号分離合成システム。
  21. 請求項２０に記載の符号化信号分離合成システムにおいて、
    前記分離器多重化手段が、前記符号量が異なる複数の伝送符号化信号の符号量比が２のべき乗比となるように、前記伝送符号化信号を生成することを特徴とする符号化信号分離合成システム。
  22. 請求項１９に記載の符号化信号分離合成システムにおいて、
    前記合成器分離手段が分離した複数の基本符号化信号から、受信信号誤りの少ない基本符号化信号を選択し、前記合成器合成手段に通知する信号誤り通知手段と、を備え、
    前記合成器合成手段が、前記信号誤り通知手段に通知された前記基本符号化信号を選択して、前記複数の拡張符号化信号と合成することを特徴とする符号化信号分離合成システム。
  23. 請求項１５から請求項２２のいずれか１項に記載の符号化信号分離合成システムにおいて、
    ネットワーク上の誤り検出器から誤り訂正状況の情報を受信し、前記合成器合成手段に誤り訂正情報を通知する合成制御手段と、を備え、
    前記合成器合成手段が、前記合成制御手段に通知された前記誤り訂正情報に基づいて、前記基本符号化信号と、前記複数の拡張符号化信号と、を合成することを特徴とする符号化信号分離合成システム。
  24. 複数の画像情報から構成される１次動画像を符号化した１次符号化信号を入力する分離器入力ステップと、
    前記分離器入力ステップで入力された１次符号化信号を、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離する分離器分離ステップと、
    前記分離器分離ステップに分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を任意に組み合わせて多重化し、複数の伝送符号化信号を生成する分離器多重化ステップと、
    前記分離器多重化ステップに多重化された複数の伝送符号化信号を出力する分離器出力ステップと、
    を備えたことを特徴とする符号化信号分離方法。
  25. 請求項２４に記載の符号化信号分離方法において、
    前記分離器分離ステップが、
    前記１次符号化信号から前記１次動画像を復元させる１次量子化係数値に変換する１次係数変換ステップと、
    前記１次係数変換ステップに変換された前記１次量子化係数値を、前記２次動画像を復元させる基本階層の基本階層係数値と、前記３次動画像を復元させるときに用いる拡張階層の拡張階層係数値と、に分離する基本拡張階層分離ステップと、
    前記基本階層係数値から前記基本符号化信号を生成する基本符号化信号生成ステップと、
    前記拡張階層係数値から複数の前記拡張符号化信号を生成する拡張符号化信号生成ステップと、
    を備えたことを特徴とする符号化信号分離方法。
  26. 請求項２５に記載の符号化信号分離方法において、
    前記基本拡張階層分離ステップが、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次量子化係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離することを特徴とする符号化信号分離方法。
  27. 請求項２５または請求項２６に記載の符号化信号分離方法において、
    前記分離器分離ステップが、前記基本拡張階層分離ステップに分離された基本階層係数値を、再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換ステップを備え、
    前記分離器分離ステップの前記基本符号化信号生成ステップが、前記基本量子化係数値を入力し、前記基本符号化信号である基本量子化符号化列に符号化する基本量子化係数列符号化ステップを備え、
    前記分離器分離ステップの前記拡張符号化信号生成ステップが、前記基本量子化係数変換ステップに変換された予測誤差係数値と、前記基本拡張階層分離ステップに分離された拡張階層係数値と、を入力し、前記予測誤差係数値と、前記拡張階層係数値と、から複数の前記拡張符号化信号を生成することを特徴とする符号化信号分離方法。
  28. 請求項２５または請求項２６に記載の符号化信号分離方法において、
    前記分離器分離ステップが、前記基本拡張階層分離ステップに分離された基本階層係数値を、再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換ステップを備え、
    前記分離器分離ステップの前記基本符号化信号生成ステップが、
    前記基本量子化係数値を入力し、基本量子化符号化列に符号化する基本量子化係数列符号化ステップと、
    前記予測誤差係数値を入力し、予測誤差符号化列に符号化する予測誤差係数列符号化ステップと、
    前記基本量子化符号化列と、前記予測誤差符号化列と、を合成して前記基本符号化信号を生成する基本符号化信号合成ステップと、
    を備えたことを特徴とする符号化信号分離方法。
  29. 請求項２４から請求項２８のいずれか１項に記載の符号化信号分離方法において、
    前記分離器多重化ステップが、前記基本符号化信号と、複数の前記拡張符号化信号と、の各符号化信号を、前記各伝送符号化信号として生成することを特徴とする符号化信号分離方法。
  30. 請求項２４から請求項２８のいずれか１項に記載の符号化信号分離方法において、
    前記分離器多重化ステップが、前記基本符号化信号を、複数の前記拡張符号化信号のそれぞれに多重化して、前記複数の伝送符号化信号を生成することを特徴とする符号化信号分離方法。
  31. 請求項２４から請求項３０のいずれか１項に記載の符号化信号分離方法において、
    前記分離器多重化ステップが、複数の前記拡張符号化信号を多重化して、符号量が異なる複数の前記伝送符号化信号を生成することを特徴とする符号化信号分離方法。
  32. 請求項３１に記載の符号化信号分離方法において、
    前記分離器多重化ステップが、前記符号量が異なる複数の伝送符号化信号の符号量比が２のべき乗比となるように、前記伝送符号化信号を生成することを特徴とする符号化信号分離方法。
  33. 複数の画像情報から構成される１次動画像が符号化された複数の独立した伝送符号化信号を入力する合成器入力ステップと、
    前記合成器入力ステップで入力された複数の前記伝送符号化信号から、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離する合成器分離ステップと、
    前記合成器分離ステップに分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を合成し、３次動画像を復元させる３次符号化信号を生成する合成器合成ステップと、
    前記合成器合成ステップに合成された３次符号化信号を出力する合成器出力ステップと、
    を備えたことを特徴とする符号化信号合成方法。
  34. 請求項３３に記載の符号化信号合成方法において、
    前記合成器分離ステップが、前記複数の伝送符号化信号から、同一の情報を符号化した信号である複数の前記基本符号化信号と、前記複数の拡張符号化信号と、に分離し、
    さらに、前記合成器分離ステップが分離した複数の基本符号化信号から、受信信号誤りの少ない基本符号化信号を選択し、前記合成器合成ステップに通知する信号誤り通知ステップと、を備え、
    前記合成器合成ステップが、前記信号誤り通知ステップに通知された前記基本符号化信号を選択して、前記複数の拡張符号化信号と合成することを特徴とする符号化信号合成方法。
  35. 請求項３３または請求項３４に記載の符号化信号合成方法において、
    ネットワーク上の誤り検出器から誤り訂正状況の情報を受信し、前記合成器合成ステップに誤り訂正情報を通知する合成制御ステップと、を備え、
    前記合成器合成ステップが、前記合成制御ステップに通知された前記誤り訂正情報に基づいて、前記基本符号化信号と、前記複数の拡張符号化信号と、を合成することを特徴とする符号化信号合成方法。
  36. 複数の画像情報から構成される１次動画像を符号化した１次符号化信号を、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離するとともに、再構築して、ネットワーク上に伝送する複数の伝送符号化信号に変換する分離器を制御する分離器制御ステップと、
    前記複数の伝送符号化信号を入力し、転送する前記伝送符号化信号を選択して、前記選択した伝送符号化信号を伝送する伝送路選択器を制御する伝送路選択器制御ステップと、
    前記伝送路選択器に伝送された複数の伝送符号化信号を入力し、前記３次動画像を復元させる３次符号化信号を合成する合成器を制御する合成器制御ステップと、
    を備え、
    前記分離器制御ステップが、
    前記１次符号化信号を入力する分離器入力ステップと、
    前記分離器入力ステップで入力された１次符号化信号を、前記基本符号化信号と、前記複数の拡張符号化信号と、に分離する分離器分離ステップと、
    前記分離器分離ステップに分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を任意に組み合わせて多重化し、前記複数の伝送符号化信号を生成する分離器多重化ステップと、
    前記分離器多重化ステップに多重化された複数の伝送符号化信号を出力する分離器出力ステップと、
    を備え、
    前記合成器制御ステップが、
    前記複数の伝送符号化信号を入力する合成器入力ステップと、
    前記合成器入力ステップで入力された複数の前記伝送符号化信号から、前記基本符号化信号と、前記複数の拡張符号化信号と、に分離する合成器分離ステップと、
    前記合成器分離ステップに分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を合成し、３次動画像を復元させる３次符号化信号を生成する合成器合成ステップと、
    前記合成器合成ステップに合成された３次符号化信号を出力する合成器出力ステップと、
    を備えたことを特徴とする符号化信号分離合成方法。
  37. 請求項３６に記載の符号化信号分離合成方法において、
    前記分離器分離ステップが、
    前記１次符号化信号から前記１次動画像を復元させる１次量子化係数値に変換する１次係数変換ステップと、
    前記１次係数変換ステップに変換された前記１次量子化係数値を、前記２次動画像を復元させる基本階層の基本階層係数値と、前記３次動画像を復元させるときに用いる拡張階層の拡張階層係数値と、に分離する基本拡張階層分離ステップと、
    前記基本階層係数値から前記基本符号化信号を生成する基本符号化信号生成ステップと、
    前記拡張階層係数値から複数の前記拡張符号化信号を生成する拡張符号化信号生成ステップと、
    を備え、
    前記合成器合成ステップが、
    前記基本符号化信号から、前記基本階層の基本階層係数値に変換させる基本符号化信号変換ステップと、
    前記複数の拡張符号化信号から、前記拡張階層の拡張階層係数値に変換させる拡張符号化信号変換ステップと、
    前記基本符号化信号変換ステップに変換された基本階層係数値と、前記拡張符号化信号変換ステップに変換された拡張階層係数値と、を合成して３次量子化係数値を生成する基本拡張階層合成ステップと、
    前記基本拡張階層合成ステップに合成された３次量子化係数値を、前記３次符号化信号に変換する３次係数変換ステップと、
    を備えたことを特徴とする符号化信号分離合成方法。
  38. 請求項３７に記載の符号化信号分離合成方法において、
    前記分離器制御ステップでは、
    前記分離器分離ステップが、前記基本拡張階層分離ステップに分離された基本階層係数値を、再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換ステップを備え、
    前記分離器分離ステップの前記基本符号化信号生成ステップが、前記基本量子化係数値を入力し、前記基本符号化信号である基本量子化符号化列に符号化する基本量子化係数列符号化ステップを備え、
    前記分離器分離ステップの前記拡張符号化信号生成ステップが、前記基本量子化係数変換ステップに変換された予測誤差係数値と、前記基本拡張階層分離ステップに分離された拡張階層係数値と、を入力し、前記予測誤差係数値と、前記拡張階層係数値と、から複数の前記拡張符号化信号を生成し、
    前記合成器制御ステップでは、
    前記合成器分離ステップが、複数の前記伝送符号化信号から、前記基本量子化符号化列と、前記予測誤差係数値が符号化された予測誤差符号化列と、前記拡張階層係数値が符号化された拡張階層符号化列と、に分離し、
    前記合成器合成ステップの前記基本符号化信号変換ステップが、前記基本量子化符号化列を入力し、前記基本量子化係数値に変換する基本量子化係数列変換ステップを備え、
    前記合成器合成ステップの前記拡張符号化信号変換ステップが、
    前記予測誤差符号化列から前記予測誤差係数値に変換する予測誤差係数列変換ステップと、
    前記複数の拡張階層符号化列を、それぞれ前記拡張階層係数値に変換する複数の拡張階層係数列変換ステップと、を備え、
    さらに、前記合成器合成ステップが、前記基本量子化係数値と、前記再量子化パラメータと、前記予測誤差係数値と、から前記基本階層係数値に変換する基本階層係数値合成ステップを備え、
    前記合成器合成ステップの前記基本拡張階層合成ステップが、前記基本階層係数値と、前記拡張階層係数値と、を合成して前記３次量子化係数値を生成することを特徴とする符号化信号分離合成方法。
  39. 請求項３７に記載の符号化信号分離合成方法において、
    前記分離器制御ステップでは、
    前記分離器分離ステップが、前記基本拡張階層分離ステップに分離された基本階層係数値を、再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換ステップを備え、
    前記分離器分離ステップの前記基本符号化信号生成ステップが、
    前記基本量子化係数値を入力し、基本量子化符号化列に符号化する基本量子化係数列符号化ステップと、
    前記予測誤差係数値を入力し、予測誤差符号化列に符号化する予測誤差係数列符号化ステップと、
    前記基本量子化符号化列と、前記予測誤差符号化列と、を合成して前記基本符号化信号を生成する基本符号化信号合成ステップと、
    を備え、
    前記合成器制御ステップでは、
    前記合成器合成ステップが、前記基本符号化信号を入力し、前記基本量子化符号化列と、前記予測誤差符号化列と、に分離する基本符号化信号分離ステップを備え、
    前記合成器合成ステップの前記基本符号化信号変換ステップが、
    前記基本量子化符号化列を入力し、前記基本量子化係数値に変換する基本量子化係数列変換ステップと、
    前記予測誤差符号化列を入力し、前記予測誤差係数値に変換する予測誤差係数列変換ステップと、備え、
    さらに、前記合成器合成ステップが、前記基本量子化係数値と、前記再量子化パラメータと、前記予測誤差係数値と、から前記基本階層係数値に変換する基本階層係数値合成ステップを備え、
    前記合成器合成ステップの前記基本拡張階層合成ステップが、前記基本階層係数値と、前記拡張階層係数値と、を合成して前記３次量子化係数値を生成することを特徴とする符号化信号分離合成方法。
  40. 請求項３６から請求項３９のいずれか１項に記載の符号化信号分離合成方法において、
    前記分離器多重化ステップが、前記基本符号化信号を、複数の前記拡張符号化信号のそれぞれに多重化して、前記複数の伝送符号化信号を生成し、
    前記合成器分離ステップが、前記複数の伝送符号化信号から、複数の前記基本符号化信号と、複数の前記拡張符号化信号と、に分離し、
    前記合成器合成ステップが、前記合成器分離ステップに分離された前記複数の基本符号化信号から１つの基本符号化信号を選択して、前記複数の拡張符号化信号と合成することを特徴とする符号化信号分離合成方法。
  41. 請求項３６から請求項４０のいずれか１項に記載の符号化信号分離合成方法において、
    前記分離器多重化ステップが、複数の前記拡張符号化信号を多重化して、符号量が異なる複数の前記伝送符号化信号を生成し、
    前記合成器分離ステップが、前記複数の伝送符号化信号から、前記基本符号化信号と、複数の前記拡張符号化信号と、に分離することを特徴とする符号化信号分離合成方法。
  42. 請求項４１に記載の符号化信号分離合成方法において、
    前記分離器多重化ステップが、前記符号量が異なる複数の伝送符号化信号の符号量比が２のべき乗比となるように、前記伝送符号化信号を生成することを特徴とする符号化信号分離合成方法。
  43. 請求項４０に記載の符号化信号分離合成方法において、
    前記合成器分離ステップが分離した複数の基本符号化信号から、受信信号誤りの少ない基本符号化信号を選択し、前記合成器合成ステップに通知する信号誤り通知ステップと、を備え、
    前記合成器合成ステップが、前記信号誤り通知ステップに通知された前記基本符号化信号を選択して、前記複数の拡張符号化信号と合成することを特徴とする符号化信号分離合成方法。
  44. 請求項３６から請求項４３のいずれか１項に記載の符号化信号分離合成方法において、
    ネットワーク上の誤り検出器から誤り訂正状況の情報を受信し、前記合成器合成ステップに誤り訂正情報を通知する合成制御ステップと、を備え、
    前記合成器合成ステップが、前記合成制御ステップに通知された前記誤り訂正情報に基づいて、前記基本符号化信号と、前記複数の拡張符号化信号と、を合成することを特徴とする符号化信号分離合成方法。
  45. 複数の画像情報から構成される１次動画像を符号化した１次符号化信号を入力する分離器入力ステップと、
    前記分離器入力ステップで入力された１次符号化信号を、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離する分離器分離ステップと、
    前記分離器分離ステップに分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を任意に組み合わせて多重化し、複数の伝送符号化信号を生成する分離器多重化ステップと、
    前記分離器多重化ステップに多重化された複数の伝送符号化信号を出力する分離器出力ステップと、
    を備えたことを特徴とする符号化信号分離プログラム。
  46. 請求項４５に記載の符号化信号分離プログラムにおいて、
    前記分離器分離ステップが、
    前記１次符号化信号から前記１次動画像を復元させる１次量子化係数値に変換する１次係数変換ステップと、
    前記１次係数変換ステップに変換された前記１次量子化係数値を、前記２次動画像を復元させる基本階層の基本階層係数値と、前記３次動画像を復元させるときに用いる拡張階層の拡張階層係数値と、に分離する基本拡張階層分離ステップと、
    前記基本階層係数値から前記基本符号化信号を生成する基本符号化信号生成ステップと、
    前記拡張階層係数値から複数の前記拡張符号化信号を生成する拡張符号化信号生成ステップと、
    を備えたことを特徴とする符号化信号分離プログラム。
  47. 請求項４６に記載の符号化信号分離プログラムにおいて、
    前記基本拡張階層分離ステップが、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次量子化係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離することを特徴とする符号化信号分離プログラム。
  48. 請求項４６または請求項４７に記載の符号化信号分離プログラムにおいて、
    前記分離器分離ステップが、前記基本拡張階層分離ステップに分離された基本階層係数値を、再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換ステップを備え、
    前記分離器分離ステップの前記基本符号化信号生成ステップが、前記基本量子化係数値を入力し、前記基本符号化信号である基本量子化符号化列に符号化する基本量子化係数列符号化ステップを備え、
    前記分離器分離ステップの前記拡張符号化信号生成ステップが、前記基本量子化係数変換ステップに変換された予測誤差係数値と、前記基本拡張階層分離ステップに分離された拡張階層係数値と、を入力し、前記予測誤差係数値と、前記拡張階層係数値と、から複数の前記拡張符号化信号を生成することを特徴とする符号化信号分離プログラム。
  49. 請求項４６または請求項４７に記載の符号化信号分離プログラムにおいて、
    前記分離器分離ステップが、前記基本拡張階層分離ステップに分離された基本階層係数値を、再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換ステップを備え、
    前記分離器分離ステップの前記基本符号化信号生成ステップが、
    前記基本量子化係数値を入力し、基本量子化符号化列に符号化する基本量子化係数列符号化ステップと、
    前記予測誤差係数値を入力し、予測誤差符号化列に符号化する予測誤差係数列符号化ステップと、
    前記基本量子化符号化列と、前記予測誤差符号化列と、を合成して前記基本符号化信号を生成する基本符号化信号合成ステップと、
    を備えたことを特徴とする符号化信号分離プログラム。
  50. 請求項４５から請求項４９のいずれか１項に記載の符号化信号分離プログラムにおいて、
    前記分離器多重化ステップが、前記基本符号化信号と、複数の前記拡張符号化信号と、の各符号化信号を、前記各伝送符号化信号として生成することを特徴とする符号化信号分離プログラム。
  51. 請求項４５から請求項４９のいずれか１項に記載の符号化信号分離プログラムにおいて、
    前記分離器多重化ステップが、前記基本符号化信号を、複数の前記拡張符号化信号のそれぞれに多重化して、前記複数の伝送符号化信号を生成することを特徴とする符号化信号分離プログラム。
  52. 請求項４５から請求項５１のいずれか１項に記載の符号化信号分離プログラムにおいて、
    前記分離器多重化ステップが、複数の前記拡張符号化信号を多重化して、符号量が異なる複数の前記伝送符号化信号を生成することを特徴とする符号化信号分離プログラム。
  53. 請求項５２に記載の符号化信号分離プログラムにおいて、
    前記分離器多重化ステップが、前記符号量が異なる複数の伝送符号化信号の符号量比が２のべき乗比となるように、前記伝送符号化信号を生成することを特徴とする符号化信号分離プログラム。
  54. 複数の画像情報から構成される１次動画像が符号化された複数の独立した伝送符号化信号を入力する合成器入力ステップと、
    前記合成器入力ステップで入力された複数の前記伝送符号化信号から、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離する合成器分離ステップと、
    前記合成器分離ステップに分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を合成し、３次動画像を復元させる３次符号化信号を生成する合成器合成ステップと、
    前記合成器合成ステップに合成された３次符号化信号を出力する合成器出力ステップと、
    を備えたことを特徴とする符号化信号合成プログラム。
  55. 請求項５４に記載の符号化信号合成プログラムにおいて、
    前記合成器合成ステップが、
    前記基本符号化信号から、前記２次動画像を復元させる基本階層の基本階層係数値に変換させる基本符号化信号変換ステップと、
    前記複数の拡張符号化信号から、前記３次動画像を復元させるときに用いる拡張階層の拡張階層係数値に変換させる拡張符号化信号変換ステップと、
    前記基本符号化信号変換ステップに変換された基本階層係数値と、前記拡張符号化信号変換ステップに変換された拡張階層係数値と、を合成して３次量子化係数値を生成する基本拡張階層合成ステップと、
    前記基本拡張階層合成ステップに合成された３次量子化係数値を、前記３次符号化信号に変換する３次係数変換ステップと、
    を備えたことを特徴とする符号化信号合成プログラム。
  56. 請求項５４または請求項５５に記載の符号化信号合成プログラムにおいて、
    前記合成器分離ステップが、前記複数の伝送符号化信号から、同一の情報を符号化した信号である複数の前記基本符号化信号と、前記複数の拡張符号化信号と、に分離することを特徴とする符号化信号合成プログラム。
  57. 請求項５６に記載の符号化信号合成プログラムにおいて、
    前記合成器分離ステップが分離した複数の基本符号化信号から、受信信号誤りの少ない基本符号化信号を選択し、前記合成器合成ステップに通知する信号誤り通知ステップと、を備え、
    前記合成器合成ステップが、前記信号誤り通知ステップに通知された前記基本符号化信号を選択して、前記複数の拡張符号化信号と合成することを特徴とする符号化信号合成プログラム。
  58. 請求項５４から請求項５７のいずれか１項に記載の符号化信号合成プログラムにおいて、
    ネットワーク上の誤り検出器から誤り訂正状況の情報を受信し、前記合成器合成ステップに誤り訂正情報を通知する合成制御ステップと、を備え、
    前記合成器合成ステップが、前記合成制御ステップに通知された前記誤り訂正情報に基づいて、前記基本符号化信号と、前記複数の拡張符号化信号と、を合成することを特徴とする符号化信号合成プログラム。
  59. 複数の画像情報から構成される１次動画像を符号化した１次符号化信号を、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離するとともに、再構築して、ネットワーク上に伝送する複数の伝送符号化信号に変換する分離器を制御する分離器制御ステップと、
    前記複数の伝送符号化信号を入力し、転送する前記伝送符号化信号を選択して、前記選択した伝送符号化信号を伝送する伝送路選択器を制御する伝送路選択器制御ステップと、
    前記伝送路選択器に伝送された複数の伝送符号化信号を入力し、前記３次動画像を復元させる３次符号化信号を合成する合成器を制御する合成器制御ステップと、
    を備え、
    前記分離器制御ステップが、
    前記１次符号化信号を入力する分離器入力ステップと、
    前記分離器入力ステップで入力された１次符号化信号を、前記基本符号化信号と、前記複数の拡張符号化信号と、に分離する分離器分離ステップと、
    前記分離器分離ステップに分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を任意に組み合わせて多重化し、前記複数の伝送符号化信号を生成する分離器多重化ステップと、
    前記分離器多重化ステップに多重化された複数の伝送符号化信号を出力する分離器出力ステップと、
    を備え、
    前記合成器制御ステップが、
    前記複数の伝送符号化信号を入力する合成器入力ステップと、
    前記合成器入力ステップで入力された複数の前記伝送符号化信号から、前記基本符号化信号と、前記複数の拡張符号化信号と、に分離する合成器分離ステップと、
    前記合成器分離ステップに分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を合成し、３次動画像を復元させる３次符号化信号を生成する合成器合成ステップと、
    前記合成器合成ステップに合成された３次符号化信号を出力する合成器出力ステップと、
    を備えたことを特徴とする符号化信号分離合成プログラム。
  60. 請求項５９に記載の符号化信号分離合成プログラムにおいて、
    前記分離器多重化ステップが、前記基本符号化信号を、複数の前記拡張符号化信号のそれぞれに多重化して、前記複数の伝送符号化信号を生成し、
    前記合成器分離ステップが、前記複数の伝送符号化信号から、複数の前記基本符号化信号と、複数の前記拡張符号化信号と、に分離し、
    前記合成器合成ステップが、前記合成器分離ステップに分離された前記複数の基本符号化信号から１つの基本符号化信号を選択して、前記複数の拡張符号化信号と合成し、
    さらに、前記合成器分離ステップが分離した複数の基本符号化信号から、受信信号誤りの少ない基本符号化信号を選択し、前記合成器合成ステップに通知する信号誤り通知ステップと、を備え、
    前記合成器合成ステップが、前記信号誤り通知ステップに通知された前記基本符号化信号を選択して、前記複数の拡張符号化信号と合成することを特徴とする符号化信号分離合成プログラム。
  61. 請求項５９または請求項６０に記載の符号化信号分離合成プログラムにおいて、
    ネットワーク上の誤り検出器から誤り訂正状況の情報を受信し、前記合成器合成ステップに誤り訂正情報を通知する合成制御ステップと、を備え、
    前記合成器合成ステップが、前記合成制御ステップに通知された前記誤り訂正情報に基づいて、前記基本符号化信号と、前記複数の拡張符号化信号と、を合成することを特徴とする符号化信号分離合成プログラム。
  62. 請求項２に記載の符号化信号分離装置において、
    前記分離器分離手段の基本拡張階層分離手段が、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次動画像の係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
    さらに、前記分離器分離手段が、
    前記基本拡張階層分離手段に分離された基本階層係数値を、前記再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される予測係数値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換手段と、
    前記基本拡張階層分離手段に分離された複数の拡張階層係数値を分離して、それぞれ分離された前記拡張階層係数値からなる複数の拡張量子化係数列を生成する拡張量子化係数分離手段と、を備え、
    前記分離器分離手段の基本符号化信号生成手段が、前記基本量子化係数変換手段に変換された基本量子化係数値からなる基本量子化係数列を符号化して、前記基本符号化信号を生成し、
    前記分離器分離手段の拡張符号化信号生成手段が、前記基本量子化係数変換手段に変換された予測誤差係数値からなる予測誤差係数列と、前記拡張量子化係数分離手段に分離された複数の拡張量子化係数列と、をそれぞれ符号化して、複数の前記拡張符号化信号を生成することを特徴とする符号化信号分離装置。
  63. 請求項６２に記載の符号化信号分離装置において、
    前記分離器分離手段の拡張符号化信号生成手段が、前記再量子化パラメータから前記入力量子化パラメータを復元させる量子化パラメータ復元情報を、前記複数の拡張符号化信号内にそれぞれ符号化することを特徴とする符号化信号分離装置。
  64. 請求項６３に記載の符号化信号分離装置において、
    前記分離器分離手段の基本拡張階層分離手段が、再量子化特性に基づいて適正な前記再量子化パラメータを算出する再量子化パラメータ導出定数を生成して、前記再量子化パラメータ導出定数にしたがって前記入力量子化パラメータから前記再量子化パラメータを算出するとともに、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
    前記分離器分離手段の拡張符号化信号生成手段が、前記再量子化パラメータ導出定数の情報を前記量子化パラメータ復元情報として、前記複数の拡張符号化信号内に符号化することを特徴とする符号化信号分離装置。
  65. 請求項６４に記載の符号化信号分離装置において、
    前記拡張符号化信号生成手段が、前記再量子化パラメータ導出定数のマクロブロック間の差分値を前記量子化パラメータ復元情報として、前記複数の拡張符号化信号内に符号化することを特徴とする符号化信号分離装置。
  66. 請求項６４または請求項６５に記載の符号化信号分離装置において、
    前記拡張符号化信号生成手段が、前記拡張量子化係数列を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって符号化することを特徴とする符号化信号分離装置。
  67. 請求項６２から請求項６６のいずれか１項に記載の符号化信号分離装置において、
    前記拡張階層係数値を前記複数の拡張量子化係数列に分離する分離方法を規定する拡張階層分離パターン情報を入力する分離情報入力手段を備え、
    前記分離器分離手段の拡張量子化係数分離手段が、前記基本拡張階層分離手段に分離された拡張階層係数値を、前記分離情報入力手段が入力した拡張階層分離パターン情報にしたがって、前記複数の拡張量子化係数値の列に分離することを特徴とする符号化信号分離装置。
  68. 請求項２に記載の符号化信号分離装置において、
    前記分離器分離手段の基本拡張階層分離手段が、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次動画像の係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
    さらに、前記分離器分離手段が、
    前記基本拡張階層分離手段に分離された基本階層係数値を、前記再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される予測係数値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換手段と、
    前記基本拡張階層分離手段に分離された複数の拡張階層係数値を分離して、それぞれ分離された前記拡張階層係数値からなる複数の拡張量子化係数列を生成する拡張量子化係数分離手段と、を備え、
    前記分離器分離手段の基本符号化信号生成手段が、
    前記基本量子化係数変換手段に変換された基本量子化係数値からなる基本量子化係数列を符号化して、基本量子化符号化列を生成する基本量子化係数列符号化手段と、
    前記基本量子化係数変換手段に変換された予測誤差係数値からなる予測誤差係数列を符号化して、予測誤差符号化列を生成する予測誤差係数列符号化手段と、
    前記基本量子化符号化列と、前記予測誤差符号化列と、を多重化して前記基本符号化信号を生成する基本符号化信号多重化手段と、を備え、
    前記分離器分離手段の拡張符号化信号生成手段が、前記拡張量子化係数分離手段に分離された複数の拡張量子化係数列をそれぞれ符号化して、複数の前記拡張符号化信号を生成することを特徴とする符号化信号分離装置。
  69. 請求項６８に記載の符号化信号分離装置において、
    前記基本符号化信号生成手段の予測誤差係数列符号化手段が、前記再量子化パラメータから前記入力量子化パラメータを復元させる量子化パラメータ復元情報を、前記予測誤差係数列とともに前記予測誤差符号化列に符号化することを特徴とする符号化信号分離装置。
  70. 請求項６９に記載の符号化信号分離装置において、
    前記分離器分離手段の基本拡張階層分離手段が、再量子化特性に基づいて適正な前記再量子化パラメータを算出する再量子化パラメータ導出定数を生成して、前記再量子化パラメータ導出定数にしたがって前記入力量子化パラメータから前記再量子化パラメータを算出するとともに、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
    前記基本符号化信号生成手段の予測誤差係数列符号化手段が、前記再量子化パラメータ導出定数の情報を前記量子化パラメータ復元情報として、前記予測誤差係数列とともに前記予測誤差符号化列に符号化することを特徴とする符号化信号分離装置。
  71. 請求項７０に記載の符号化信号分離装置において、
    前記予測誤差係数列符号化手段が、前記再量子化パラメータ導出定数のマクロブロック間の差分値を前記量子化パラメータ復元情報として、前記予測誤差係数列とともに前記予測誤差符号化列に符号化することを特徴とする符号化信号分離装置。
  72. 請求項７０または請求項７１に記載の符号化信号分離装置において、
    前記予測誤差係数列符号化手段が、前記予測誤差係数列を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって符号化することを特徴とする符号化信号分離装置。
  73. 請求項７０から請求項７２のいずれか１項に記載の符号化信号分離装置において、
    前記分離器分離手段の拡張符号化信号生成手段が、前記拡張量子化係数列を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって符号化することを特徴とする符号化信号分離装置。
  74. 請求項６８から請求項７３のいずれか１項に記載の符号化信号分離装置において、
    前記拡張階層係数値を前記複数の拡張量子化係数列に分離する分離方法を規定する拡張階層分離パターン情報を入力する分離情報入力手段を備え、
    前記分離器分離手段の拡張量子化係数分離手段が、前記基本拡張階層分離手段に分離された拡張階層係数値を、前記分離情報入力手段が入力した拡張階層分離パターン情報にしたがって、前記複数の拡張量子化係数列に分離することを特徴とする符号化信号分離装置。
  75. 請求項１０から請求項１４のいずれか１項に記載の符号化信号合成装置と、
    前記符号化信号合成装置から前記３次符号化信号を入力し、前記３次符号化信号を復号して前記３次動画像を再生する符号化信号復号装置と、
    を備えたことを特徴とする映像信号受信合成再生装置。
  76. 請求項１６に記載の符号化信号分離合成システムにおいて、
    前記分離器分離手段の基本拡張階層分離手段が、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次動画像の係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
    さらに、前記分離器分離手段が、
    前記基本拡張階層分離手段に分離された基本階層係数値を、前記再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される予測係数値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換手段と、
    前記基本拡張階層分離手段に分離された複数の拡張階層係数値を分離して、それぞれ分離された前記拡張階層係数値からなる複数の拡張量子化係数列を生成する拡張量子化係数分離手段と、を備え、
    前記分離器分離手段の基本符号化信号生成手段が、前記基本量子化係数変換手段に変換された基本量子化係数値からなる基本量子化係数列を符号化して、前記基本符号化信号を生成し、
    前記分離器分離手段の拡張符号化信号生成手段が、前記基本量子化係数変換手段に変換された予測誤差係数値からなる予測誤差係数列と、前記拡張量子化係数分離手段に分離された複数の拡張量子化係数列と、をそれぞれ符号化して、複数の前記拡張符号化信号を生成し、
    前記合成器では、
    前記合成器分離手段が、複数の前記伝送符号化信号から、前記基本符号化信号と、前記予測誤差係数列が符号化された拡張符号化信号と、前記拡張量子化係数列が符号化された拡張符号化信号と、を分離し、
    前記合成器合成手段の基本符号化信号変換手段が、前記基本符号化信号から前記基本量子化係数列に変換する基本量子化係数列変換手段を備え、
    前記合成器合成手段の拡張符号化信号変換手段が、
    前記予測誤差係数列が符号化された拡張符号化信号から前記予測誤差係数列に変換する予測誤差係数列変換手段と、
    前記拡張量子化係数列が符号化された複数の前記拡張符号化信号から、それぞれ前記拡張量子化係数列に変換する複数の拡張量子化係数列変換手段と、を備え、
    さらに、前記合成器合成手段が、
    前記基本量子化係数列と、前記再量子化パラメータと、前記予測誤差係数列と、から前記基本階層係数値の列を合成する基本量子化係数合成手段と、
    前記複数の拡張量子化係数列から前記拡張階層係数値の列を合成する拡張量子化係数合成手段と、を備え、
    前記合成器合成手段の基本拡張階層合成手段が、前記基本階層係数値の列と、前記拡張階層係数値の列と、を合成して前記３次量子化係数値を生成することを特徴とする符号化信号分離合成システム。
  77. 請求項７６に記載の符号化信号分離合成システムにおいて、
    前記分離器分離手段の拡張符号化信号生成手段が、前記再量子化パラメータから前記入力量子化パラメータを復元させる量子化パラメータ復元情報を、前記複数の拡張符号化信号内にそれぞれ符号化し、
    前記合成器合成手段の拡張符号化信号変換手段が、前記拡張符号化信号から前記量子化パラメータ復元情報を復号し、
    前記合成器合成手段の基本量子化係数合成手段が、前記量子化パラメータ復元情報にしたがって前記基本階層係数値の列を合成し、
    前記合成器合成手段の３次係数変換手段が、前記再量子化パラメータと、前記量子化パラメータ復元情報と、にしたがって復元された入力量子化パラメータを、前記３次符号化信号内に符号化することを特徴とする符号化信号分離合成システム。
  78. 請求項７７に記載の符号化信号分離合成システムにおいて、
    前記分離器分離手段の基本拡張階層分離手段が、再量子化特性に基づいて適正な前記再量子化パラメータを算出する再量子化パラメータ導出定数を生成して、前記再量子化パラメータ導出定数にしたがって前記入力量子化パラメータから前記再量子化パラメータを算出するとともに、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
    前記分離器分離手段の拡張符号化信号生成手段が、前記再量子化パラメータ導出定数の情報を前記量子化パラメータ復元情報として、前記複数の拡張符号化信号内に符号化し、
    前記合成器合成手段の拡張符号化信号変換手段が、前記拡張符号化信号から前記再量子化パラメータ導出定数を復号し、
    前記合成器合成手段の基本量子化係数合成手段が、前記再量子化パラメータ導出定数にしたがって前記基本階層係数値の列を合成し、
    前記合成器合成手段の３次係数変換手段が、前記再量子化パラメータと、前記再量子化パラメータ導出定数と、にしたがって復元された入力量子化パラメータを、前記３次符号化信号内に符号化することを特徴とする符号化信号分離合成システム。
  79. 請求項７８に記載の符号化信号分離合成システムにおいて、
    前記分離器分離手段の拡張符号化信号生成手段が、前記再量子化パラメータ導出定数のマクロブロック間の差分値を前記量子化パラメータ復元情報として、前記複数の拡張符号化信号内に符号化し、
    前記合成器合成手段の拡張符号化信号変換手段が、前記拡張符号化信号から前記再量子化パラメータ導出定数のマクロブロック間の差分値を復号し、前記再量子化パラメータ導出定数を求めることを特徴とする符号化信号分離合成システム。
  80. 請求項７８または請求項７９に記載の符号化信号分離合成システムにおいて、
    前記分離器分離手段の拡張符号化信号生成手段が、前記拡張量子化係数列を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって符号化し、
    前記合成器合成手段の拡張符号化信号変換手段が、前記拡張符号化信号を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって復号することを特徴とする符号化信号分離合成システム。
  81. 請求項７６から請求項８０のいずれか１項に記載の符号化信号分離合成システムにおいて、
    前記分離器分離手段が、前記拡張階層係数値を前記複数の拡張量子化係数列に分離する分離方法を規定する拡張階層分離パターン情報を入力する分離器分離情報入力手段を備え、
    前記分離器分離手段の拡張量子化係数分離手段が、前記基本拡張階層分離手段に分離された拡張階層係数値を、前記分離器分離情報入力手段が入力した拡張階層分離パターン情報にしたがって、前記複数の拡張量子化係数列に分離し、
    前記合成器合成手段が、前記拡張階層分離パターン情報を入力する合成器分離情報入力手段を備え、
    前記合成器合成手段の拡張量子化係数合成手段が、前記拡張符号化信号変換手段に変換された複数の拡張量子化係数列を、前記合成器分離情報入力手段が入力した拡張階層分離パターン情報にしたがって、前記拡張階層係数値の列に合成することを特徴とする符号化信号分離合成システム。
  82. 請求項８１に記載の符号化信号分離合成システムにおいて、
    前記分離器が、前記分離器分離手段の拡張量子化係数分離手段が前記拡張階層係数値を複数の拡張量子化係数列に分離した拡張階層分離パターン情報を前記合成器に送信する分離器分離情報送信手段を備え、
    前記合成器が、前記分離器から送信された拡張階層分離パターン情報を受信する合成器分離情報受信手段を備え、
    前記合成器合成手段の合成器分離情報入力手段が、前記合成器分離情報受信手段が受信した拡張階層分離パターン情報を入力することを特徴とする符号化信号分離合成システム。
  83. 請求項１６に記載の符号化信号分離合成システムにおいて、
    前記分離器分離手段の基本拡張階層分離手段が、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次動画像の係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
    さらに、前記分離器分離手段が、
    前記基本拡張階層分離手段に分離された基本階層係数値を、前記再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される予測係数値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換手段と、
    前記基本拡張階層分離手段に分離された複数の拡張階層係数値を分離して、それぞれ分離された前記拡張階層係数値からなる複数の拡張量子化係数列を生成する拡張量子化係数分離手段と、を備え、
    前記分離器分離手段の基本符号化信号生成手段が、
    前記基本量子化係数変換手段に変換された基本量子化係数値からなる基本量子化係数列を符号化して、基本量子化符号化列を生成する基本量子化係数列符号化手段と、
    前記基本量子化係数変換手段に変換された予測誤差係数値からなる予測誤差係数列を符号化して、予測誤差符号化列を生成する予測誤差係数列符号化手段と、
    前記基本量子化符号化列と、前記予測誤差符号化列と、を多重化して前記基本符号化信号を生成する基本符号化信号多重化手段と、を備え、
    前記分離器分離手段の拡張符号化信号生成手段が、前記拡張量子化係数分離手段に分離された複数の拡張量子化係数列をそれぞれ符号化して、複数の前記拡張符号化信号を生成し、
    前記合成器では、
    前記合成器合成手段の基本符号化信号変換手段が、
    前記基本符号化信号から、前記基本量子化符号化列と、前記予測誤差符号化列と、を多重分離する基本量子化係数分離手段と、
    前記基本量子化係数分離手段に分離された基本量子化符号化列を前記基本量子化係数列に変換する基本量子化係数列変換手段と、
    前記基本量子化係数分離手段に分離された予測誤差符号化列を前記予測誤差係数列に変換する予測誤差係数列変換手段と、備え、
    前記合成器合成手段の拡張符号化信号変換手段が、複数の前記拡張符号化信号から、それぞれ前記拡張量子化係数列に変換する複数の拡張量子化係数列変換手段を備え、
    さらに、前記合成器合成手段が、
    前記基本量子化係数列と、前記再量子化パラメータと、前記予測誤差係数列と、から前記基本階層係数値の列を合成する基本量子化係数合成手段と、
    前記複数の拡張量子化係数列から前記拡張階層係数値の列を合成する拡張量子化係数合成手段と、を備え、
    前記合成器合成手段の基本拡張階層合成手段が、前記基本階層係数値の列と、前記拡張階層係数値の列と、を合成して前記３次量子化係数値を生成することを特徴とする符号化信号分離合成システム。
  84. 請求項８３に記載の符号化信号分離合成システムにおいて、
    前記分離器の基本符号化信号生成手段の予測誤差係数列符号化手段が、前記再量子化パラメータから前記入力量子化パラメータを復元させる量子化パラメータ復元情報を、前記予測誤差係数列とともに前記予測誤差符号化列に符号化し、
    前記合成器合成手段の基本符号化信号変換手段の予測誤差係数列変換手段が、前記予測誤差符号化列から前記量子化パラメータ復元情報を復号し、
    前記合成器合成手段の基本量子化係数合成手段が、前記量子化パラメータ復元情報にしたがって前記基本階層係数値の列を合成し、
    前記合成器合成手段の３次係数変換手段が、前記再量子化パラメータと、前記量子化パラメータ復元情報と、にしたがって復元された入力量子化パラメータを、前記３次符号化信号内に符号化することを特徴とする符号化信号分離合成システム。
  85. 請求項８４に記載の符号化信号分離合成システムにおいて、
    前記分離器分離手段の基本拡張階層分離手段が、再量子化特性に基づいて適正な前記再量子化パラメータを算出する再量子化パラメータ導出定数を生成して、前記再量子化パラメータ導出定数にしたがって前記入力量子化パラメータから前記再量子化パラメータを算出するとともに、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
    前記分離器分離手段の基本符号化信号生成手段の予測誤差係数列符号化手段が、前記再量子化パラメータ導出定数の情報を前記量子化パラメータ復元情報として、前記予測誤差係数列とともに前記予測誤差符号化列に符号化し、
    前記合成器合成手段の基本符号化信号変換手段の予測誤差係数列変換手段が、前記予測誤差符号化列から前記再量子化パラメータ導出定数を復号し、
    前記合成器合成手段の基本量子化係数合成手段が、前記再量子化パラメータ導出定数にしたがって前記基本階層係数値の列を合成し、
    前記合成器合成手段の３次係数変換手段が、前記再量子化パラメータと、前記再量子化パラメータ導出定数と、にしたがって復元された入力量子化パラメータを、前記３次符号化信号内に符号化することを特徴とする符号化信号分離合成システム。
  86. 請求項８５に記載の符号化信号分離合成システムにおいて、
    前記分離器分離手段の基本符号化信号生成手段の予測誤差係数列符号化手段が、前記再量子化パラメータ導出定数のマクロブロック間の差分値を前記量子化パラメータ復元情報として、前記予測誤差係数列とともに前記予測誤差符号化列に符号化し、
    前記合成器合成手段の基本符号化信号変換手段の予測誤差係数列変換手段が、前記予測誤差符号化列から前記再量子化パラメータ導出定数のマクロブロック間の差分値を復号し、前記再量子化パラメータ導出定数を求めることを特徴とする符号化信号分離合成システム。
  87. 請求項８５または請求項８６に記載の符号化信号分離合成システムにおいて、
    前記分離器分離手段の基本符号化信号生成手段の予測誤差係数列符号化手段が、前記予測誤差係数列を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって符号化し、
    前記合成器合成手段の基本符号化信号変換手段の予測誤差係数列変換手段が、前記予測誤差符号化列を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって復号することを特徴とする符号化信号分離合成システム。
  88. 請求項８５から請求項８７のいずれか１項に記載の符号化信号分離合成システムにおいて、
    前記分離器分離手段の拡張符号化信号生成手段が、前記拡張量子化係数列を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって符号化し、
    前記合成器合成手段の拡張符号化信号変換手段が、前記拡張符号化信号を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって復号することを特徴とする符号化信号分離合成システム。
  89. 請求項８３から請求項８８のいずれか１項に記載の符号化信号分離合成システムにおいて、
    前記分離器分離手段が、前記拡張階層係数値を前記複数の拡張量子化係数列に分離する分離方法を規定する拡張階層分離パターン情報を入力する分離器分離情報入力手段を備え、
    前記分離器分離手段の拡張量子化係数分離手段が、前記基本拡張階層分離手段に分離された拡張階層係数値を、前記分離器分離情報入力手段が入力した拡張階層分離パターン情報にしたがって、前記複数の拡張量子化係数列に分離し、
    前記合成器合成手段が、前記拡張階層分離パターン情報を入力する合成器分離情報入力手段を備え、
    前記合成器合成手段の拡張量子化係数合成手段が、前記拡張符号化信号変換手段に変換された複数の拡張量子化係数列を、前記合成器分離情報入力手段が入力した拡張階層分離パターン情報にしたがって、前記拡張階層係数値の列に合成することを特徴とする符号化信号分離合成システム。
  90. 請求項８９に記載の符号化信号分離合成システムにおいて、
    前記分離器が、前記分離器分離手段の拡張量子化係数分離手段が前記拡張階層係数値を複数の拡張量子化係数列に分離した拡張階層分離パターン情報を前記合成器に送信する分離器分離情報送信手段を備え、
    前記合成器が、前記分離器から送信された拡張階層分離パターン情報を受信する合成器分離情報受信手段を備え、
    前記合成器合成手段の合成器分離情報入力手段が、前記合成器分離情報受信手段が受信した拡張階層分離パターン情報を入力することを特徴とする符号化信号分離合成システム。
  91. 請求項１５から請求項２３または請求項７６から請求項９０のいずれか１項に記載の符号化信号分離合成システムにおいて、
    前記符号化信号合成器から前記３次符号化信号を入力し、前記３次符号化信号を復号して前記３次動画像を再生する符号化信号復号装置を備えたことを特徴とする符号化信号分離合成システム。
  92. 請求項２５に記載の符号化信号分離方法において、
    前記分離器分離ステップの基本拡張階層分離ステップが、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次動画像の係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
    さらに、前記分離器分離ステップが、
    前記基本拡張階層分離ステップで分離された基本階層係数値を、前記再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される予測係数値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換ステップと、
    前記基本拡張階層分離ステップで分離された複数の拡張階層係数値を分離して、それぞれ分離された前記拡張階層係数値からなる複数の拡張量子化係数列を生成する拡張量子化係数分離ステップと、を備え、
    前記分離器分離ステップの基本符号化信号生成ステップが、前記基本量子化係数変換ステップで変換された基本量子化係数値からなる基本量子化係数列を符号化して、前記基本符号化信号を生成し、
    前記分離器分離ステップの拡張符号化信号生成ステップが、前記基本量子化係数変換ステップで変換された予測誤差係数値からなる予測誤差係数列と、前記拡張量子化係数分離ステップで分離された複数の拡張量子化係数列と、をそれぞれ符号化して、複数の前記拡張符号化信号を生成することを特徴とする符号化信号分離方法。
  93. 請求項２５に記載の符号化信号分離方法において、
    前記分離器分離ステップの基本拡張階層分離ステップが、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次動画像の係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
    さらに、前記分離器分離ステップが、
    前記基本拡張階層分離ステップで分離された基本階層係数値を、前記再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される予測係数値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換ステップと、
    前記基本拡張階層分離ステップで分離された複数の拡張階層係数値を分離して、それぞれ分離された前記拡張階層係数値からなる複数の拡張量子化係数列を生成する拡張量子化係数分離ステップと、を備え、
    前記分離器分離ステップの基本符号化信号生成ステップが、
    前記基本量子化係数変換ステップで変換された基本量子化係数値からなる基本量子化係数列を符号化して、基本量子化符号化列を生成する基本量子化係数列符号化ステップと、
    前記基本量子化係数変換ステップで変換された予測誤差係数値からなる予測誤差係数列を符号化して、予測誤差符号化列を生成する予測誤差係数列符号化ステップと、
    前記基本量子化符号化列と、前記予測誤差符号化列と、を多重化して前記基本符号化信号を生成する基本符号化信号多重化ステップと、を備え、
    前記分離器分離ステップの拡張符号化信号生成ステップが、前記拡張量子化係数分離ステップで分離された複数の拡張量子化係数列をそれぞれ符号化して、複数の前記拡張符号化信号を生成することを特徴とする符号化信号分離方法。
  94. 請求項３７に記載の符号化信号分離合成方法において、
    前記分離器分離ステップの基本拡張階層分離ステップが、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次動画像の係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
    さらに、前記分離器分離ステップが、
    前記基本拡張階層分離ステップで分離された基本階層係数値を、前記再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される予測係数値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換ステップと、
    前記基本拡張階層分離ステップで分離された複数の拡張階層係数値を分離して、それぞれ分離された前記拡張階層係数値からなる複数の拡張量子化係数列を生成する拡張量子化係数分離ステップと、を備え、
    前記分離器分離ステップの基本符号化信号生成ステップが、前記基本量子化係数変換ステップで変換された基本量子化係数値からなる基本量子化係数列を符号化して、前記基本符号化信号を生成し、
    前記分離器分離ステップの拡張符号化信号生成ステップが、前記基本量子化係数変換ステップで変換された予測誤差係数値からなる予測誤差係数列と、前記拡張量子化係数分離ステップで分離された複数の拡張量子化係数列と、をそれぞれ符号化して、複数の前記拡張符号化信号を生成し、
    前記合成器制御ステップでは、
    前記合成器分離ステップが、複数の前記伝送符号化信号から、前記基本符号化信号と、前記予測誤差係数列が符号化された拡張符号化信号と、前記拡張量子化係数列が符号化された拡張符号化信号と、を分離し、
    前記合成器合成ステップの基本符号化信号変換ステップが、前記基本符号化信号から前記基本量子化係数列に変換する基本量子化係数列変換ステップを備え、
    前記合成器合成ステップの拡張符号化信号変換ステップが、
    前記予測誤差係数列が符号化された拡張符号化信号から前記予測誤差係数列に変換する予測誤差係数列変換ステップと、
    前記拡張量子化係数列が符号化された複数の前記拡張符号化信号から、それぞれ前記拡張量子化係数列に変換する複数の拡張量子化係数列変換ステップと、を備え、
    さらに、前記合成器合成ステップが、
    前記基本量子化係数列と、前記再量子化パラメータと、前記予測誤差係数列と、から前記基本階層係数値の列を合成する基本量子化係数合成ステップと、
    前記複数の拡張量子化係数列から前記拡張階層係数値の列を合成する拡張量子化係数合成ステップと、を備え、
    前記合成器合成ステップの基本拡張階層合成ステップが、前記基本階層係数値の列と、前記拡張階層係数値の列と、を合成して前記３次量子化係数値を生成することを特徴とする符号化信号分離合成方法。
  95. 請求項９４に記載の符号化信号分離合成方法において、
    前記分離器分離ステップの拡張符号化信号生成ステップが、前記再量子化パラメータから前記入力量子化パラメータを復元させる量子化パラメータ復元情報を、前記複数の拡張符号化信号内にそれぞれ符号化し、
    前記合成器合成ステップの拡張符号化信号変換ステップが、前記拡張符号化信号から前記量子化パラメータ復元情報を復号し、
    前記合成器合成ステップの基本量子化係数合成ステップが、前記量子化パラメータ復元情報にしたがって前記基本階層係数値の列を合成し、
    前記合成器合成ステップの３次係数変換ステップが、前記再量子化パラメータと、前記量子化パラメータ復元情報と、にしたがって復元された入力量子化パラメータを、前記３次符号化信号内に符号化することを特徴とする符号化信号分離合成方法。
  96. 請求項９４または請求項９５に記載の符号化信号分離合成方法において、
    前記分離器分離ステップが、前記拡張階層係数値を前記複数の拡張量子化係数列に分離する分離方法を規定する拡張階層分離パターン情報を入力する分離器分離情報入力ステップを備え、
    前記分離器分離ステップの拡張量子化係数分離ステップが、前記基本拡張階層分離ステップで分離された拡張階層係数値を、前記分離器分離情報入力ステップで入力した拡張階層分離パターン情報にしたがって、前記複数の拡張量子化係数列に分離し、
    前記分離器制御ステップが、前記分離器分離ステップの拡張量子化係数分離ステップが前記拡張階層係数値を複数の拡張量子化係数列に分離した拡張階層分離パターン情報を送信する分離器分離情報送信ステップを備え、
    さらに、前記合成器制御ステップが、前記分離器制御ステップの分離器分離情報送信ステップで送信された拡張階層分離パターン情報を受信する合成器分離情報受信ステップを備え、
    前記合成器合成ステップの拡張量子化係数合成ステップが、前記拡張符号化信号変換ステップで変換された複数の拡張量子化係数列を、前記合成器分離情報受信ステップで受信した拡張階層分離パターン情報にしたがって、前記拡張階層係数値の列に合成することを特徴とする符号化信号分離合成方法。
  97. 請求項３７に記載の符号化信号分離合成方法において、
    前記分離器分離ステップの基本拡張階層分離ステップが、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次動画像の係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
    さらに、前記分離器分離ステップが、
    前記基本拡張階層分離ステップで分離された基本階層係数値を、前記再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される予測係数値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換ステップと、
    前記基本拡張階層分離ステップで分離された複数の拡張階層係数値を分離して、それぞれ分離された前記拡張階層係数値からなる複数の拡張量子化係数列を生成する拡張量子化係数分離ステップと、を備え、
    前記分離器分離ステップの基本符号化信号生成ステップが、
    前記基本量子化係数変換ステップで変換された基本量子化係数値からなる基本量子化係数列を符号化して、基本量子化符号化列を生成する基本量子化係数列符号化ステップと、
    前記基本量子化係数変換ステップで変換された予測誤差係数値からなる予測誤差係数列を符号化して、予測誤差符号化列を生成する予測誤差係数列符号化ステップと、
    前記基本量子化符号化列と、前記予測誤差符号化列と、を多重化して前記基本符号化信号を生成する基本符号化信号多重化ステップと、を備え、
    前記分離器分離ステップの拡張符号化信号生成ステップが、前記拡張量子化係数分離ステップで分離された複数の拡張量子化係数列をそれぞれ符号化して、複数の前記拡張符号化信号を生成し、
    前記合成器制御ステップでは、
    前記合成器合成ステップの基本符号化信号変換ステップが、
    前記基本符号化信号から、前記基本量子化符号化列と、前記予測誤差符号化列と、を多重分離する基本量子化係数分離ステップと、
    前記基本量子化係数分離ステップで分離された基本量子化符号化列を前記基本量子化係数列に変換する基本量子化係数列変換ステップと、
    前記基本量子化係数分離ステップで分離された予測誤差符号化列を前記予測誤差係数列に変換する予測誤差係数列変換ステップと、備え、
    前記合成器合成ステップの拡張符号化信号変換ステップが、複数の前記拡張符号化信号から、それぞれ前記拡張量子化係数列に変換する複数の拡張量子化係数列変換ステップを備え、
    さらに、前記合成器合成ステップが、
    前記基本量子化係数列と、前記再量子化パラメータと、前記予測誤差係数列と、から前記基本階層係数値の列を合成する基本量子化係数合成ステップと、
    前記複数の拡張量子化係数列から前記拡張階層係数値の列を合成する拡張量子化係数合成ステップと、を備え、
    前記合成器合成ステップの基本拡張階層合成ステップが、前記基本階層係数値の列と、前記拡張階層係数値の列と、を合成して前記３次量子化係数値を生成することを特徴とする符号化信号分離合成方法。
  98. 請求項９７に記載の符号化信号分離合成方法において、
    前記分離器の基本符号化信号生成ステップの予測誤差係数列符号化ステップが、前記再量子化パラメータから前記入力量子化パラメータを復元させる量子化パラメータ復元情報を、前記予測誤差係数列とともに前記予測誤差符号化列に符号化し、
    前記合成器合成ステップの基本符号化信号変換ステップの予測誤差係数列変換ステップが、前記予測誤差符号化列から前記量子化パラメータ復元情報を復号し、
    前記合成器合成ステップの基本量子化係数合成ステップが、前記量子化パラメータ復元情報にしたがって前記基本階層係数値の列を合成し、
    前記合成器合成ステップの３次係数変換ステップが、前記再量子化パラメータと、前記量子化パラメータ復元情報と、にしたがって復元された入力量子化パラメータを、前記３次符号化信号内に符号化することを特徴とする符号化信号分離合成方法。
  99. 請求項９７または請求項９８に記載の符号化信号分離合成方法において、
    前記分離器分離ステップが、前記拡張階層係数値を前記複数の拡張量子化係数列に分離する分離方法を規定する拡張階層分離パターン情報を入力する分離器分離情報入力ステップを備え、
    前記分離器分離ステップの拡張量子化係数分離ステップが、前記基本拡張階層分離ステップで分離された拡張階層係数値を、前記分離器分離情報入力ステップで入力した拡張階層分離パターン情報にしたがって、前記複数の拡張量子化係数列に分離し、
    前記分離器制御ステップが、前記分離器分離ステップの拡張量子化係数分離ステップが前記拡張階層係数値を複数の拡張量子化係数列に分離した拡張階層分離パターン情報を送信する分離器分離情報送信ステップを備え、
    さらに、前記合成器制御ステップが、前記分離器制御ステップの分離器分離情報送信ステップで送信された拡張階層分離パターン情報を受信する合成器分離情報受信ステップを備え、
    前記合成器合成ステップの拡張量子化係数合成ステップが、前記拡張符号化信号変換ステップで変換された複数の拡張量子化係数列を、前記合成器分離情報受信ステップで受信した拡張階層分離パターン情報にしたがって、前記拡張階層係数値の列に合成することを特徴とする符号化信号分離合成方法。
  100. 請求項３６から請求項４４または請求項９４から請求項９９のいずれか１項に記載の符号化信号分離合成方法において、
    前記合成器制御ステップで生成された前記３次符号化信号を入力し、前記３次符号化信号を復号して前記３次動画像を再生する符号化信号復号ステップを備えたことを特徴とする符号化信号分離合成方法。
  101. 請求項４６に記載の符号化信号分離プログラムにおいて、
    前記分離器分離ステップの基本拡張階層分離ステップが、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次動画像の係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
    さらに、前記分離器分離ステップが、
    前記基本拡張階層分離ステップで分離された基本階層係数値を、前記再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される予測係数値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換ステップと、
    前記基本拡張階層分離ステップで分離された複数の拡張階層係数値を分離して、それぞれ分離された前記拡張階層係数値からなる複数の拡張量子化係数列を生成する拡張量子化係数分離ステップと、を備え、
    前記分離器分離ステップの基本符号化信号生成ステップが、前記基本量子化係数変換ステップで変換された基本量子化係数値からなる基本量子化係数列を符号化して、前記基本符号化信号を生成し、
    前記分離器分離ステップの拡張符号化信号生成ステップが、前記基本量子化係数変換ステップで変換された予測誤差係数値からなる予測誤差係数列と、前記拡張量子化係数分離ステップで分離された複数の拡張量子化係数列と、をそれぞれ符号化して、複数の前記拡張符号化信号を生成することを特徴とする符号化信号分離プログラム。
  102. 請求項１０１に記載の符号化信号分離プログラムにおいて、
    前記分離器分離ステップの拡張符号化信号生成ステップが、前記再量子化パラメータから前記入力量子化パラメータを復元させる量子化パラメータ復元情報を、前記複数の拡張符号化信号内にそれぞれ符号化することを特徴とする符号化信号分離プログラム。
  103. 請求項１０２に記載の符号化信号分離プログラムにおいて、
    前記分離器分離ステップの基本拡張階層分離ステップが、再量子化特性に基づいて適正な前記再量子化パラメータを算出する再量子化パラメータ導出定数を生成して、前記再量子化パラメータ導出定数にしたがって前記入力量子化パラメータから前記再量子化パラメータを算出するとともに、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
    前記分離器分離ステップの拡張符号化信号生成ステップが、前記再量子化パラメータ導出定数の情報を前記量子化パラメータ復元情報として、前記複数の拡張符号化信号内に符号化することを特徴とする符号化信号分離プログラム。
  104. 請求項１０３に記載の符号化信号分離プログラムにおいて、
    前記拡張符号化信号生成ステップが、前記再量子化パラメータ導出定数のマクロブロック間の差分値を前記量子化パラメータ復元情報として、前記複数の拡張符号化信号内に符号化することを特徴とする符号化信号分離プログラム。
  105. 請求項１０３または請求項１０４に記載の符号化信号分離プログラムにおいて、
    前記拡張符号化信号生成ステップが、前記拡張量子化係数列を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって符号化することを特徴とする符号化信号分離プログラム。
  106. 請求項１０１から請求項１０５のいずれか１項に記載の符号化信号分離プログラムにおいて、
    前記拡張階層係数値を前記複数の拡張量子化係数列に分離する分離方法を規定する拡張階層分離パターン情報を入力する分離情報入力ステップを備え、
    前記分離器分離ステップの拡張量子化係数分離ステップが、前記基本拡張階層分離ステップで分離された拡張階層係数値を、前記分離情報入力ステップで入力した拡張階層分離パターン情報にしたがって、前記複数の拡張量子化係数値の列に分離することを特徴とする符号化信号分離プログラム。
  107. 請求項４６に記載の符号化信号分離プログラムにおいて、
    前記分離器分離ステップの基本拡張階層分離ステップが、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次動画像の係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
    さらに、前記分離器分離ステップが、
    前記基本拡張階層分離ステップで分離された基本階層係数値を、前記再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される予測係数値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換ステップと、
    前記基本拡張階層分離ステップで分離された複数の拡張階層係数値を分離して、それぞれ分離された前記拡張階層係数値からなる複数の拡張量子化係数列を生成する拡張量子化係数分離ステップと、を備え、
    前記分離器分離ステップの基本符号化信号生成ステップが、
    前記基本量子化係数変換ステップで変換された基本量子化係数値からなる基本量子化係数列を符号化して、基本量子化符号化列を生成する基本量子化係数列符号化ステップと、
    前記基本量子化係数変換ステップで変換された予測誤差係数値からなる予測誤差係数列を符号化して、予測誤差符号化列を生成する予測誤差係数列符号化ステップと、
    前記基本量子化符号化列と、前記予測誤差符号化列と、を多重化して前記基本符号化信号を生成する基本符号化信号多重化ステップと、を備え、
    前記分離器分離ステップの拡張符号化信号生成ステップが、前記拡張量子化係数分離ステップで分離された複数の拡張量子化係数列をそれぞれ符号化して、複数の前記拡張符号化信号を生成することを特徴とする符号化信号分離プログラム。
  108. 請求項１０７に記載の符号化信号分離プログラムにおいて、
    前記基本符号化信号生成ステップの予測誤差係数列符号化ステップが、前記再量子化パラメータから前記入力量子化パラメータを復元させる量子化パラメータ復元情報を、前記予測誤差係数列とともに前記予測誤差符号化列に符号化することを特徴とする符号化信号分離プログラム。
  109. 請求項１０８に記載の符号化信号分離プログラムにおいて、
    前記分離器分離ステップの基本拡張階層分離ステップが、再量子化特性に基づいて適正な前記再量子化パラメータを算出する再量子化パラメータ導出定数を生成して、前記再量子化パラメータ導出定数にしたがって前記入力量子化パラメータから前記再量子化パラメータを算出するとともに、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
    前記基本符号化信号生成ステップの予測誤差係数列符号化ステップが、前記再量子化パラメータ導出定数の情報を前記量子化パラメータ復元情報として、前記予測誤差係数列とともに前記予測誤差符号化列に符号化することを特徴とする符号化信号分離プログラム。
  110. 請求項１０９に記載の符号化信号分離プログラムにおいて、
    前記予測誤差係数列符号化ステップが、前記再量子化パラメータ導出定数のマクロブロック間の差分値を前記量子化パラメータ復元情報として、前記予測誤差係数列とともに前記予測誤差符号化列に符号化することを特徴とする符号化信号分離プログラム。
  111. 請求項１０９または請求項１１０に記載の符号化信号分離プログラムにおいて、
    前記予測誤差係数列符号化ステップが、前記予測誤差係数列を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって符号化することを特徴とする符号化信号分離プログラム。
  112. 請求項１０９から請求項１１１のいずれか１項に記載の符号化信号分離プログラムにおいて、
    前記分離器分離ステップの拡張符号化信号生成ステップが、前記拡張量子化係数列を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって符号化することを特徴とする符号化信号分離プログラム。
  113. 請求項１０７から請求項１１２のいずれか１項に記載の符号化信号分離プログラムにおいて、
    前記拡張階層係数値を前記複数の拡張量子化係数列に分離する分離方法を規定する拡張階層分離パターン情報を入力する分離情報入力ステップを備え、
    前記分離器分離ステップの拡張量子化係数分離ステップが、前記基本拡張階層分離ステップで分離された拡張階層係数値を、前記分離情報入力ステップで入力した拡張階層分離パターン情報にしたがって、前記複数の拡張量子化係数列に分離することを特徴とする符号化信号分離プログラム。
  114. 請求項５９から請求項６１のいずれか１項に記載の符号化信号分離合成プログラムにおいて、
    前記合成器制御ステップで生成された前記３次符号化信号を入力し、前記３次符号化信号を復号して前記３次動画像を再生する符号化信号復号ステップを備えたことを特徴とする符号化信号分離合成プログラム。
JP2004100419A 2003-11-11 2004-03-30 符号化信号分離装置、符号化信号合成装置および符号化信号分離合成システム Pending JP2005167962A (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2004100419A JP2005167962A (ja) 2003-11-11 2004-03-30 符号化信号分離装置、符号化信号合成装置および符号化信号分離合成システム
US10/986,241 US20050100091A1 (en) 2003-11-11 2004-11-10 Coded signal separating apparatus, coded signal merging apparatus, coded signal separating and merging system, and methods thereof
EP04026680A EP1531628A3 (en) 2003-11-11 2004-11-10 Scalable video coding
IL16515204A IL165152A0 (en) 2003-11-11 2004-11-10 Coded signal separating apparatus, coded signal meriging apparatus, coded signal separating and merging system, and methods thereof
PCT/JP2004/016675 WO2005046244A1 (ja) 2003-11-11 2004-11-10 符号化信号分離装置、符号化信号合成装置および符号化信号分離合成システムならびにそれらの方法
TW093134264A TW200516989A (en) 2003-11-11 2004-11-10 Encoded signal separating apparatus, encoded signal combining apparatus, encoded signal separating/combining system, and methods therefor
CNA2004100929457A CN1620147A (zh) 2003-11-11 2004-11-11 编码信号分离装置、合成装置、分离合成系统及其方法
KR1020040092130A KR20050045923A (ko) 2003-11-11 2004-11-11 부호화 신호 분리 장치, 부호화 신호 합성 장치 및 부호화신호 분리 합성 시스템, 및 그 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003381859 2003-11-11
JP2004100419A JP2005167962A (ja) 2003-11-11 2004-03-30 符号化信号分離装置、符号化信号合成装置および符号化信号分離合成システム

Publications (1)

Publication Number Publication Date
JP2005167962A true JP2005167962A (ja) 2005-06-23

Family

ID=34436977

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004100419A Pending JP2005167962A (ja) 2003-11-11 2004-03-30 符号化信号分離装置、符号化信号合成装置および符号化信号分離合成システム

Country Status (8)

Country Link
US (1) US20050100091A1 (ja)
EP (1) EP1531628A3 (ja)
JP (1) JP2005167962A (ja)
KR (1) KR20050045923A (ja)
CN (1) CN1620147A (ja)
IL (1) IL165152A0 (ja)
TW (1) TW200516989A (ja)
WO (1) WO2005046244A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013141284A (ja) * 2005-09-07 2013-07-18 Vidyo Inc スケーラブルなビデオ符号化を用いたスケーラブルで低遅延のテレビ会議用システムおよび方法
US8699522B2 (en) 2005-07-20 2014-04-15 Vidyo, Inc. System and method for low delay, interactive communication using multiple TCP connections and scalable coding
US8938004B2 (en) 2011-03-10 2015-01-20 Vidyo, Inc. Dependency parameter set for scalable video coding
US9313486B2 (en) 2012-06-20 2016-04-12 Vidyo, Inc. Hybrid video coding techniques
US9426499B2 (en) 2005-07-20 2016-08-23 Vidyo, Inc. System and method for scalable and low-delay videoconferencing using scalable video coding

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2057847A4 (en) * 2006-08-31 2011-12-21 Samsung Electronics Co Ltd VIDEO CODING ARRANGEMENT AND METHOD AND VIDEO ENCODING ARRANGEMENT AND METHOD
KR101291189B1 (ko) * 2006-08-31 2013-07-31 삼성전자주식회사 스케일러블 영상 부호화장치 및 방법과 스케일러블 영상복호화장치 및 방법
KR101291192B1 (ko) * 2006-11-17 2013-07-31 삼성전자주식회사 영상 부호화장치 및 방법과 영상 복호화장치 및 방법
US8111757B2 (en) * 2007-09-28 2012-02-07 Motorola Mobility, Inc. Method and apparatus for video signal processing
JP5039976B2 (ja) * 2008-03-24 2012-10-03 株式会社メガチップス トランスコーダ
WO2014204865A1 (en) * 2013-06-17 2014-12-24 Dolby Laboratories Licensing Corporation Adaptive reshaping for layered coding of enhanced dynamic range signals
KR102581186B1 (ko) * 2018-10-12 2023-09-21 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
CN117097906B (zh) * 2023-10-20 2023-12-26 河北天英软件科技有限公司 一种区域医疗资源高效利用的方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3027759B2 (ja) * 1990-04-05 2000-04-04 日本電信電話株式会社 可変レート画像符号化装置
JPH04274674A (ja) * 1991-03-01 1992-09-30 Matsushita Electric Ind Co Ltd データ変換装置
JPH05336505A (ja) * 1992-06-02 1993-12-17 Hitachi Ltd 画像の階層符号化方式
US5376969A (en) * 1993-11-15 1994-12-27 Rca Thomson Licensing Corporation Method and apparatus for conveying compressed video data over a noisy communication channel
JP3170193B2 (ja) * 1995-03-16 2001-05-28 松下電器産業株式会社 画像信号の符号化装置及び復号装置
US5953506A (en) * 1996-12-17 1999-09-14 Adaptive Media Technologies Method and apparatus that provides a scalable media delivery system
JP3561485B2 (ja) * 2000-08-18 2004-09-02 株式会社メディアグルー 符号化信号分離・合成装置、差分符号化信号生成装置、符号化信号分離・合成方法、差分符号化信号生成方法、符号化信号分離・合成プログラムを記録した媒体および差分符号化信号生成プログラムを記録した媒体

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8699522B2 (en) 2005-07-20 2014-04-15 Vidyo, Inc. System and method for low delay, interactive communication using multiple TCP connections and scalable coding
US9426499B2 (en) 2005-07-20 2016-08-23 Vidyo, Inc. System and method for scalable and low-delay videoconferencing using scalable video coding
JP2013141284A (ja) * 2005-09-07 2013-07-18 Vidyo Inc スケーラブルなビデオ符号化を用いたスケーラブルで低遅延のテレビ会議用システムおよび方法
US8938004B2 (en) 2011-03-10 2015-01-20 Vidyo, Inc. Dependency parameter set for scalable video coding
US9313486B2 (en) 2012-06-20 2016-04-12 Vidyo, Inc. Hybrid video coding techniques

Also Published As

Publication number Publication date
US20050100091A1 (en) 2005-05-12
CN1620147A (zh) 2005-05-25
WO2005046244A1 (ja) 2005-05-19
TW200516989A (en) 2005-05-16
KR20050045923A (ko) 2005-05-17
EP1531628A3 (en) 2005-06-08
IL165152A0 (en) 2005-12-18
EP1531628A2 (en) 2005-05-18

Similar Documents

Publication Publication Date Title
JP3561485B2 (ja) 符号化信号分離・合成装置、差分符号化信号生成装置、符号化信号分離・合成方法、差分符号化信号生成方法、符号化信号分離・合成プログラムを記録した媒体および差分符号化信号生成プログラムを記録した媒体
EP0577327B1 (en) Efficient frequency scalable video encoding with coefficient selection
CA2249606C (en) Video transcoder
US6031575A (en) Method and apparatus for encoding an image signal, method and apparatus for decoding an image signal, and recording medium
JP3888597B2 (ja) 動き補償符号化装置、及び動き補償符号化復号化方法
KR970003789B1 (ko) 비디오 부호기의 전송율을 제어하기 위한 비트 할당 방법
US7062096B2 (en) Apparatus and method for performing bitplane coding with reordering in a fine granularity scalability coding system
JP2006237656A (ja) 符号化信号分離・合成装置、差分符号化信号生成装置、差分符号化信号抽出装置、符号化信号分離・合成方法、符号化信号分離・合成プログラム
WO1994024822A1 (en) Method and apparatus for coding image, and image recording medium
KR20070000022A (ko) 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
JP2001211455A (ja) 画像符号化方法及び画像符号化装置
US20060072667A1 (en) Transcoder for a variable length coded data stream
KR100952185B1 (ko) 순방향 에러 정정 코드를 이용하여 비디오의 드리프트 없는 단편적인 다중 설명 채널 코딩을 위한 시스템 및 방법
JP3244399B2 (ja) 圧縮動画像符号信号の情報量変換回路、及び方法
JP2005167962A (ja) 符号化信号分離装置、符号化信号合成装置および符号化信号分離合成システム
JP2007266749A (ja) 符号化方法
US20070230811A1 (en) Method of enhancing entropy-coding efficiency, video encoder and video decoder thereof
JP2000511722A (ja) 信号のビットレートの変更に関する改良
WO1998053613A1 (en) Apparatus, method and computer readable medium for scalable coding of video information
WO2005096636A1 (ja) 符号化信号分離装置、符号化信号合成装置および符号化信号分離合成システム
WO2005096635A1 (ja) 符号化信号蓄積配信システム、符号化信号選択転送装置、符号化信号分離送信装置、符号化信号受信合成装置
JP2004200760A (ja) 画像処理方法および装置
JP2004056616A (ja) 符号化信号復号装置、符号化信号復号方法および符号化信号復号プログラム
JP4175565B2 (ja) 画像伝送装置
KR20040079156A (ko) 동영상 데이터의 분할장치 및 방법

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20050314