JP2004056616A - Device, method and program for decoding encoded signal - Google Patents

Device, method and program for decoding encoded signal Download PDF

Info

Publication number
JP2004056616A
JP2004056616A JP2002213622A JP2002213622A JP2004056616A JP 2004056616 A JP2004056616 A JP 2004056616A JP 2002213622 A JP2002213622 A JP 2002213622A JP 2002213622 A JP2002213622 A JP 2002213622A JP 2004056616 A JP2004056616 A JP 2004056616A
Authority
JP
Japan
Prior art keywords
screen
decoding
signal
area
decoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002213622A
Other languages
Japanese (ja)
Inventor
Takeshi Hanamura
花村 剛
Isao Nagayoshi
永吉 功
Maki Sugiura
杉浦 麻貴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Media Glue Corp
Original Assignee
Media Glue Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Media Glue Corp filed Critical Media Glue Corp
Priority to JP2002213622A priority Critical patent/JP2004056616A/en
Publication of JP2004056616A publication Critical patent/JP2004056616A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To improve the processing speed, to reduce the burden on processor in decoding processing of an encoded signal, to prevent an extreme image compression, and to perform conversion so as to have video in which an object in a converted image is legible and distinguishable at the time of compressing and converting coding quantity. <P>SOLUTION: A decoding device is provided with a first decoding part 1100 for performing decoding from an inputted first image encoding signal to a slice header, a segment area setting part 1200 for setting a segment area from a decoded signal, a segment area data extracting part 1300 for extracting a signal according to the set segment area, and a second decoding part 1400 for performing decoding from the extracted signal to a block layer. By decoding only an extracted area up to the block layer, the decoding processing speed is improved with high decoding processing efficiency and the burden on processor is reduced. <P>COPYRIGHT: (C)2004,JPO

Description

【0001】
【発明の属する技術分野】
本発明は、符号化信号復号装置、方法および復号プログラムに関し、特に、復号および再符号化後の画像サイズに適した画像圧縮率で符号化信号復号処理を行う符号化信号復号装置、方法および復号プログラムに関する。
【0002】
【従来の技術】
動画像をディジタル化する技術において、発生する膨大な情報量を圧縮して符号化するための方式として、ディジタルビデオおよび付随するオーディオに対する符号化方式の標準規格ISO/IEC 13818(通称、「MPEG−2」(Moving Picture Expert Group Phase 2))がある。このようにして生成されたMPEG−2の規格に準拠したビットストリーム(以後、「MPEG−2ビットストリーム」と呼ぶ)は、通信やテレビジョン放送など幅広い分野で使用されている。
【0003】
MPEG−2ビットストリームは階層構造を有し、最上位のシーケンスレイヤからGOP(Group of Pictures)レイヤ、ピクチャレイヤ、スライスレイヤ、マクロブロックレイヤおよびブロックレイヤの順の各レイヤからなる。
【0004】
MPEG−2においては、一連の複数の画面から構成される動画像において、各画面を一旦フレームメモリに保存し、フレーム間の差分を取ることによって時間軸方向の冗長度を削減し、さらに、各フレームを構成する複数の画素を離散コサイン変換(以後、「DCT」と略す)等の直交変換処理を行うことにより空間軸方向の冗長度を削減することにより、効率良い動画像圧縮符号化を実現している。
【0005】
符号化された信号は、復号器に送られて復号され再生される。復号器では、画面を再生し第1のフレームメモリに保存し、差分情報に基づいて次に続くべき画面を予測し第2のフレームメモリに保存し、2つのフレームからその間に挿入される画面をさらに予測して、一連の画面を構成し動画像を再生する。このような手法は双方向予測と呼ばれる。
【0006】
MPEG−2では、この双方向予測を実現するために、Iピクチャ、PピクチャおよびBピクチャという3つのタイプを規定している。Iピクチャは、イントラ符号化ピクチャの略であり、他のピクチャとは独立して静止画として符号化される画面のことである。Pピクチャは、順方向予測符号化ピクチャの略であり、時間的に過去に位置するIまたはPピクチャに基づいて予測符号化される画面のことである。Bピクチャは、双方向予測符号化ピクチャの略であり、時間的に前後に位置するIまたはPピクチャを用いて順方向、逆方向または双方向のピクチャに基づいて予測符号化される画面のことである。すなわち、IピクチャおよびPピクチャを先に符号化処理した後、その間に挿入されるBピクチャが符号化される。
【0007】
符号化器で符号化されたMPEG−2ビットストリームは、所定の転送速度で伝送路に送出され、該伝送路上の復号器に入力されて復号され再生される。しかしながら、動画像を符号化して発生する情報量は一定ではない。特にシーンチェンジ時には、情報量は一気に増大する。このように一定しない符号化信号を固定レートの伝送路に送出するために、予め送信用バッファのレベル以上の情報量が発生しないように符号化データのレート制御を行う必要がある。
【0008】
MPEG−2では、ISO/IEC JTC1/SC29/WG11/N0400 Test Model 5 (April, 1993)(以後、「TM5」と略す)にレート制御方式が記載されている。
【0009】
MPEG−2のTM5のレート制御では、ステップ1で、まずピクチャタイプ毎にGOP内の未符号化ピクチャに対する割り当て符号量Rに基づいてビット配分する。ステップ2で、マクロブロック単位に符号化処理を行う際に使用する量子化スケールを、ビット配分に基づいて算出した仮想バッファ占有量から算出する。
【0010】
また、MPEG−2以外の圧縮フォーマットを有する復号器や、異なる転送速度の伝送路に接続された復号器も多数存在するため、異なる圧縮フォーマットや異なる転送速度にMPEG−2ビットストリームを変換する動画圧縮符号化信号変換装置が必要となる。これを実現するための装置が所謂トランスコーダである。符号化器から伝送された画像圧縮符号化信号は、トランスコーダで適切な信号に変換され、各復号器に信号が供給される。
【0011】
図9に一般的な従来のトランスコーダ50の第1例を示す。従来のトランスコーダ50は、第1ビットレートを有する第1伝送路(図示なし)に接続され、第1MPEG−2ビットストリームb1を入力する可変長復号部(VLD)51と、逆量子化器53と、量子化器55と、第2ビットレートを有する第2伝送路(図示なし)に接続され、第2MPEG−2ビットストリームb2を出力するVLC57と、量子化器55で発生する符号量を制御するレート制御部59と、を備えている。第2ビットレートは第1ビットレートより低い転送速度である。
【0012】
VLD51および逆量子化器53によって、第1MPEG−2ビットストリームb1をマクロブロック単位にDCT係数領域まで復号し、量子化器55およびVLC57によって、得られたDCT係数信号を符号化して、第1MPEG−2ビットストリームより少ない符号量を有する第2MPEG−2ビットストリームb2を生成するものである。
【0013】
量子化器55における量子化処理では、DCT変換で得られた係数を所定の量子化ステップで除算する。これにより画像信号は圧縮される。この量子化ステップは、所定の量子化テーブルに含まれる複数の量子化マトリクス値に量子化スケールを乗算して求められる。
【0014】
トランスコーダ50では、第1MPEG−2ビットストリームb1内のシーケンスレイヤ、GOPレイヤ、ピクチャレイヤ、スライスレイヤおよびマクロブロックレイヤの符号化情報を殆ど再利用する。基本的にブロックレイヤのDCT係数の変換およびブロックレイヤの変換に伴い修正が必要なマクロブロックレイヤの符号の変換の処理のみが行われる。
【0015】
このように構成されたトランスコーダ50において、レート制御部59はMPEG−2のTM5に記載されているレート制御を行う。図10に従来のトランスコーダ50のレート制御処理のフローチャートを示す。同図に示されるように、従来のレート制御処理はステップA1〜A14からなる。
【0016】
ステップA1で、変数nを1に設定する。ここで、変数nは、入力画像信号に含まれる複数のピクチャに付けられた番号を示し、以後、n番目のピクチャをpic(n)と示す。
【0017】
続くステップA2で、I、PおよびBピクチャの複雑さを示す指標Xi、XpおよびXbを下記の式(a1)、式(a2)および式(a3)により算出する。
【0018】
Xi=Si×Qi                     …式(a1)
【0019】
Xp=Sp×Qp                     …式(a2)
【0020】
Xb=Sb×Qb                     …式(a3)
【0021】
ここで、Si、SpおよびSbはそれぞれI、PおよびBピクチャの発生符号量であり、Qi、QpおよびQbは、それぞれI、PおよびBピクチャ内の全マクロブロックの量子化スケールコードの平均値である平均量子化パラメータである。ただし、平均量子化パラメータは1〜31の範囲に正規化されている。
【0022】
この画面の複雑さ指標Xi、XpおよびXbは、符号化情報量が多く発生するような画像、すなわち低い圧縮率の画像に対して大きくなり、逆に高い圧縮率の画像に対しては小さくなる。
【0023】
また、I、PおよびBピクチャの画面の複雑さを示すパラメータXi、XpおよびXbの初期値は、次式(a4)、式(a5)および式(a6)でそれぞれ与えられる。
【0024】
Xi=160×target_Bitrate/115          …式(a4)
【0025】
Xp=60×target_Bitrate/115           …式(a5)
【0026】
Xb=42×target_Bitrate/115           …式(a6)
【0027】
ここで、target_Bitrateは、トランスコーダ50の目標ビットレートである。
【0028】
続くステップA3で、GOP内のI、PおよびBピクチャに対する割り当て符号量Ti、TpおよびTbを、次式(a7)、式(a8)および式(a9)によりそれぞれ算出する。ただし、NpおよびNbは、それぞれGOP内の未符号化のPおよびBピクチャの数を示す。
【数1】

Figure 2004056616
ここで、KpおよびKbは、Iピクチャの量子化スケールコードを基準としたPおよびBピクチャの量子化スケールコードの比率を示し、Kp=1.0およびKb=1.4になる場合に、常に全体の画質が最適化されると仮定する。
【0029】
続くステップA4で、変数nが1か否かの判定がなされる。すなわち、符号化対象のピクチャが1番目のピクチャpic(1)か否かの判定がなされる。1番目のピクチャの場合、ステップA5へ進み、1番目のピクチャでない場合はステップA6へ進む。ステップA5では、次式(a10)によりGOP内の一番初めのピクチャpic(1)を符号化する時のGOP内の未符号化ピクチャに対する割り当て符号量Rを求める。
【0030】
R=target_Bitrate×N/picture_rate+R       …式(a10)
【0031】
ここで、NはGOP内のピクチャの総数、picture_rateは、入力画像の時間解像度を示す値であり、1秒間に復号され表示される画面の枚数を示す。
【0032】
ステップA6では、GOP内の未符号化ピクチャに対する割り当て符号量Rを(n−1)番目のピクチャpic(n−1)が符号化された時のI、PおよびBピクチャの発生符号量Si、SpまたはSbに基づいて、次式(a11)、式(a12)および式(a13)の何れかにより更新する。
【0033】
R=R−Si                      …式(a11)
【0034】
R=R−Sp                      …式(a12)
【0035】
R=R−Sb                      …式(a13)
【0036】
ステップA5およびA6はともにステップA7へ進み、変数jに1を設定する。ここで、変数jは、1ピクチャ内の複数のマクロブロックに付けられた番号を示し、以後、j番目のマクロブロックをMB(j)と示す。
【0037】
続くステップA8で、I、PおよびBピクチャ内のj番目のマクロブロックMB(j)を符号化する時の仮想バッファの占有量di(j)、dp(j)およびdb(j)が次式(a14)、式(a15)および式(a16)によりそれぞれ算出される。
【数2】
Figure 2004056616
ここで、B(j−1)は、(j−1)番目のマクロブロックMB(j−1)までの全マクロブロックの発生符号量である。
【0038】
また、di(0)、dp(0)およびdb(0)は、それぞれI、PおよびBピクチャの仮想バッファ占有量の初期値であり、次式(a17)、式(a18)および式(a19)でそれぞれ与えられる。
【0039】
di(0)=10×r/31                …式(a17)
【0040】
dp(0)=Kp×di(0)                  …式(a18)
【0041】
db(0)=Kb×di(0)                  …式(a19)
【0042】
ここで、rはリアクションパラメータと呼ばれ、下記の式(a20)で示され、フィードバックループの応答速度を制御する。
【0043】
r=2×target_Bitrate/picture_rate         …式(a20)
【0044】
また、I、PおよびBピクチャ符号化終了時の仮想バッファ占有量、すなわちNMB番目のマクロブロックMB(NMB)を符号化したときの仮想バッファ占有量di(NMB)、dp(NMB)およびdb(NMB)は、ピクチャタイプ毎に、次回符号化する時の仮想バッファ占有量の初期値di(0)、dp(0)およびdb(0)として用いられる。
【0045】
続くステップA9で、上記の仮想バッファの占有量d(j)に基づいて、各ピクチャ毎にj番目のマクロブロックMB(j)に対する量子化スケールコードQ(j)を次式(a21)により求める。
【0046】
Q(j)=d(j)×31/r                …式(a21)
【0047】
続くステップA10で、ステップA9で算出された量子化スケールコードQ(j)を使用してj番目のマクロブロックMB(j)を量子化する。続くステップA11で、変数jをインクリメントして、ステップA12へ進み、変数jがマクロブロック総数NMBを超えているか否かの判定をする。ここで、NMBはn番目のピクチャpic(n)内に含まれるマクロブロックの総数である。変数jがマクロブロック総数NMBを超えていない場合は、ステップA8へ戻り、変数jがマクロブロック総数NMBを超えている場合は、ステップA13へ進む。
【0048】
このようにして、変数jは、ステップA8〜A11の符号化処理を繰り返すためのループカウンタとしても使用される。これにより、n番目のピクチャpic(n)内の1番目のマクロブロックMB(1)からNMB番目のマクロブロックMB(NMB)まで全てのマクロブロックに対して順次符号化処理を行うことができる。
【0049】
ステップA13で、変数nをインクリメントして、ステップA14へ進み、変数nが符号化対象のピクチャ総数NPICを超えているか否かの判定をする。ここで、変数nがピクチャ総数NPICを超えていない場合は、ステップA2へ戻り、変数nがピクチャ総数NPICを超えている場合は、本処理を終了する。
【0050】
このように第1のトランスコーダ50では、IおよびPピクチャ周期などのような画像構造に関する情報を持ち得ないために、図10に示されたTM5のレート制御のような、画像GOP構造などの情報に基づいてビット配分を行う方法は、入力画像構造を仮定しなければ行うことができない。
【0051】
そこで、GOP構造を仮定せずにレート制御を行う方法を採用した例として、図11に示される第2の従来のトランスコーダ60がある。同図に示されるように、第2の従来のトランスコーダ60は、上記第1の従来のトランスコーダ50の構成に加えて、遅延回路61と、ビットレート比率計算部63と、入力符号量積算部65と、差分符号量計算部67と、目標出力符号量更新部69と、量子化スケールコード算出部71と、を備えている。
【0052】
このように構成されたトランスコーダ60の処理の流れを図12に示す。同図に示されるように、トランスコーダ60の処理は、ステップB1〜B13からなる。ステップB6〜B13は、上記第1従来例に示されたレート処理のステップA7〜A14と同じである。但し、ステップB7では、目標出力符号量更新部69で算出された目標出力符号量Toutに基づいて、仮想バッファ占有量の算出がなされる。
【0053】
また、同様にGOP構造を仮定せずにレート制御を行う方法を採用した別の例として、図13および図14に従来のトランスコーダの第3例を示す。図13に示されるように、第3の従来のトランスコーダ80は、第1ビットレートを有する第1伝送路に接続され、入力ビットストリームb3を入力するVLD81と、第1の従来のトランスコーダ50と同じ、逆量子化器53と、量子化器55と、VLC57と、を含み、図11のトランスコーダ60と同じビットレート比率計算部63と、差分符号量計算部67と、を含み、さらに、目標出力符号量更新部83と、量子化スケールコード算出部85と、を備えている。
【0054】
第3の従来のトランスコーダ80では、ビットストリームb3に予め符号量を情報として記述しておき、その情報に基づいてレート制御を行うものである。
【0055】
このように、トランスコーダは様々な利用環境に適した形へのビットストリーム変換を実現する処理器である。また、リアルタイムトランスコーディングの実現によって、要求帯域に応じた多種多様なフォーマットの映像配信が可能となりつつある。
【0056】
【発明が解決しようとする課題】
しかしながら、ある一定の画面サイズで作られた映像を、極端に縮小して得られる情報は、送受信および再生が可能であるとはいえ、失われてしまう情報も多い。
【0057】
例えば、ディジタル放送様式、ハイビジョン放送様式の映像を、携帯端末様式にトランスコーディングすると、画面サイズに対して小さい画面内の人物、物体、文字(以下、オブジェクトという)が見えず、内容によっては映っているものが何か判別できなくなってしまう。
【0058】
また、全ての符号化情報を復号、および再符号化するには、時間が長くかかり、処理装置にも大きな負担がかかるという問題がある。
【0059】
そこで本発明は、既存の符号化信号復号装置(デコーダ)の持つ機能に加え、映像を編集加工する機能を加えることにより、既存の符号化信号復号装置と比較して、復号処理スピードが速く、また、再符号化の際に、画面内のオブジェクトが見やすく、判別可能な映像へと変換することができる符号化信号復号装置、方法および復号プログラムを提供することを課題とする。
【0060】
【課題を解決するための手段】
請求項1記載の発明は、上記課題を解決するため、画面サイズが第1画面サイズである複数の画面から構成される動画像を符号化した第1画面符号化信号を入力する入力手段と、前記第1画面サイズより小さい第2画面サイズを設定し、前記第1画面符号化信号から前記動画像の前記第2画面サイズの領域を復号した第2画面復号信号を生成する符号化領域変換復号手段と、前記符号化領域変換復号手段に生成された第2画面復号信号を出力する出力手段と、を備え、
【0061】
前記符号化領域変換復号手段が、前記入力手段に入力された第1画面符号化信号から、前記画面を複数に分割した小画像内の統一情報を復号し、第1画面1次復号信号に変換する第1復号手段と、前記第1画面サイズの画像領域から前記第2画面サイズの所定の切り出し領域を設定する切り出し領域設定手段と、前記第1復号手段に復号された第1画面1次復号信号から前記切り出し領域設定手段に設定された切り出し領域を復号するための第2画面1次復号信号を抽出する切り出し領域データ抽出手段と、前記切り出し領域データ抽出手段に抽出された第2画面1次復号信号から、前記第2画面サイズの第2画面復号信号に復号する第2復号手段と、を備えたことを特徴とするものである。
【0062】
請求項2記載の発明は、上記課題を解決するため、請求項1に記載の符号化信号復号装置において、前記切り出し領域設定手段が、前記第1画面サイズの動画像の所定領域に固定の前記第2画面サイズの領域を設定し、この第2画面サイズの領域を前記切り出し領域として設定することを特徴とするものである。
【0063】
請求項3記載の発明は、上記課題を解決するため、請求項1に記載の符号化信号復号装置において、前記切り出し領域設定手段が設定する切り出し領域を指定する切り出し領域指定情報を入力させる切り出し領域指定情報入力手段を備え、
【0064】
前記切り出し領域設定手段が、前記切り出し領域指定情報入力手段に入力された切り出し領域指定情報にしたがって切り出し領域を設定することを特徴とするものである。
【0065】
請求項4記載の発明は、上記課題を解決するため、請求項1に記載の符号化信号復号装置において、前記入力手段が入力する第1画面符号化信号が、前記動画像を構成する画面内の複数の画素からなるマクロブロックごとの画素値を直交変換係数領域データに直交変換し、変換された前記直交変換係数領域データを量子化パラメータにより量子化係数領域データに量子化し、任意個の前記マクロブロックの帯からなるスライスごとに統一情報を作成し、前記スライス内の統一情報および前記マクロブロックごとの量子化係数領域データを有するデータを可変長符号化した信号であって、
【0066】
前記第1復号手段が、前記入力手段に入力された第1画面符号化信号から、前記スライス内の統一情報を復号し、前記任意個のマクロブロック内の直交変換係数領域データを量子化した量子化パラメータの代表値である代表量子化パラメータを復号し、前記切り出し領域設定手段が、前記第1復号手段に復号された代表量子化パラメータにしたがって、複数の前記スライスから前記切り出し領域とするスライスを設定し、前記切り出し領域データ抽出手段が、前記第1画面1次復号信号から前記設定されたスライスを選択して、前記第2画面1次復号信号を抽出することを特徴とするものである。
【0067】
請求項5記載の発明は、上記課題を解決するため、請求項4に記載の符号化信号復号装置において、前記第2復号手段が、前記切り出し領域データ抽出手段が抽出したスライスの第2画面1次復号信号から、前記マクロブロックごとに前記第2画面サイズ分の前記量子化係数領域データと、前記量子化パラメータと、を復号するマクロブロック復号手段と、前記マクロブロック復号手段に復号された量子化係数領域データを、前記復号された量子化パラメータを用いて逆量子化して、第2画面サイズ分の直交変換係数領域データを生成する逆量子化手段と、前記逆量子化手段で生成された直交変換係数領域データを、逆直交変換して変換係数から復号される第2画面サイズ分の係数領域復号データを生成する逆直交変換手段と、復号された再生画像の信号である前記第2画面復号信号を記憶する再生画像記憶手段と、前記再生画像記憶手段で記憶された再生画像と、前記逆直交変換手段で新たに生成された係数領域復号データと、から新たな再生画像の信号である前記第2画面復号信号を生成する再生画像生成手段と、を備えたことを特徴とするものである。
【0068】
請求項6記載の発明は、上記課題を解決するため、請求項5に記載の符号化信号復号装置において、前記マクロブロック復号手段が、他の画面内の同一の画像情報を有する領域との領域の移動量を示す動きベクトルを復号し、前記再生画像生成手段が、前記再生画像記憶手段で記憶された再生画像と、前記マクロブロック復号手段で復号された動きベクトルと、から前記新たな再生画像を生成することを特徴とするものである。
【0069】
請求項7記載の発明は、上記課題を解決するため、請求項6に記載の符号化信号復号装置において、前記切り出し領域データ抽出手段が、前記動きベクトルの移動元となる画像領域を有する前記第2画面1次復号信号をも抽出し、前記再生画像記憶手段が、前記移動元となる画像領域の再生画像を記憶することを特徴とするものである。
【0070】
請求項8記載の発明は、上記課題を解決するため、請求項1から請求項7のいずれか1項に記載の符号化信号復号装置において、前記入力手段が、第1画面符号化信号としてMPEG−2ビットストリームを入力し、前記第1復号手段が、前記MPEG−2ビットストリームからスライスヘッダまで復号し、前記第2復号手段が、スライスヘッダまで復号された信号からブロックレイヤまで復号することを特徴とするものである。
【0071】
請求項9記載の発明は、上記課題を解決するため、請求項1から請求項8のいずれか1項に記載の符号化信号復号装置と、前記符号化信号復号装置から出力された前記第2画面復号信号を入力し、前記第2画面復号信号を前記第2画面サイズの符号化信号である第2画面符号化信号に符号化し、前記第2画面符号化信号を出力する復号信号符号化装置と、を備えたことを特徴とするものである。
【0072】
請求項10記載の発明は、上記課題を解決するため、画面サイズが第1画面サイズである複数の画面から構成される動画像を符号化した第1画面符号化信号を入力する入力ステップと、前記第1画面サイズより小さい第2画面サイズを設定し、前記第1画面符号化信号から前記動画像の前記第2画面サイズの領域を復号した第2画面復号信号を生成する符号化領域変換復号ステップと、前記符号化領域変換復号ステップで生成された第2画面復号信号を出力する出力ステップと、を備え、
【0073】
前記符号化領域変換復号ステップが、前記入力ステップで入力された第1画面符号化信号から、前記画面を複数に分割した小画像内の統一情報を復号し、第1画面1次復号信号に変換する第1復号ステップと、前記第1画面サイズの画像領域から前記第2画面サイズの所定の切り出し領域を設定する切り出し領域設定ステップと、前記第1復号ステップで復号された第1画面1次復号信号から前記切り出し領域設定ステップで設定された切り出し領域を復号するための第2画面1次復号信号を抽出する切り出し領域データ抽出ステップと、前記切り出し領域データ抽出ステップで抽出された第2画面1次復号信号から、前記第2画面サイズの第2画面復号信号に復号する第2復号ステップと、を備えたことを特徴とするものである。
【0074】
請求項11記載の発明は、上記課題を解決するため、請求項10に記載の符号化信号復号方法において、前記切り出し領域設定ステップが、前記第1画面サイズの動画像の所定領域に固定の前記第2画面サイズの領域を設定し、この第2画面サイズの領域を前記切り出し領域として設定することを特徴とするものである。
【0075】
請求項12記載の発明は、上記課題を解決するため、請求項10に記載の符号化信号復号方法において、前記切り出し領域設定ステップで設定する切り出し領域を指定する切り出し領域指定情報を入力させる切り出し領域指定情報入力ステップを備え、前記切り出し領域設定ステップが、前記切り出し領域指定情報入力ステップで入力された切り出し領域指定情報にしたがって切り出し領域を設定することを特徴とするものである。
【0076】
請求項13記載の発明は、上記課題を解決するため、請求項10に記載の符号化信号復号方法において、前記入力ステップで入力する第1画面符号化信号が、前記動画像を構成する画面内の複数の画素からなるマクロブロックごとの画素値を直交変換係数領域データに直交変換し、変換された前記直交変換係数領域データを量子化パラメータにより量子化係数領域データに量子化し、任意個の前記マクロブロックの帯からなるスライスごとに統一情報を作成し、前記スライス内の統一情報および前記マクロブロックごとの量子化係数領域データを有するデータを可変長符号化した信号であって、
【0077】
前記第1復号ステップが、前記入力ステップで入力された第1画面符号化信号から、前記スライス内の統一情報を復号し、前記任意個のマクロブロック内の直交変換係数領域データを量子化した量子化パラメータの代表値である代表量子化パラメータを復号し、前記切り出し領域設定ステップが、前記第1復号ステップで復号された代表量子化パラメータにしたがって、複数の前記スライスから前記切り出し領域とするスライスを設定し、前記切り出し領域データ抽出ステップが、前記第1画面1次復号信号から前記設定されたスライスを選択して、前記第2画面1次復号信号を抽出することを特徴とするものである。
【0078】
請求項14記載の発明は、上記課題を解決するため、請求項13に記載の符号化信号復号方法において、前記第2復号ステップが、前記切り出し領域データ抽出ステップで抽出したスライスの第2画面1次復号信号から、前記マクロブロックごとに前記第2画面サイズ分の前記量子化係数領域データと、前記量子化パラメータと、を復号するマクロブロック復号ステップと、前記マクロブロック復号ステップで復号された量子化係数領域データを、前記復号された量子化パラメータを用いて逆量子化して、第2画面サイズ分の直交変換係数領域データを生成する逆量子化ステップと、前記逆量子化ステップで生成された直交変換係数領域データを、逆直交変換して変換係数から復号される第2画面サイズ分の係数領域復号データを生成する逆直交変換ステップと、復号された再生画像の信号である前記第2画面復号信号を記憶する再生画像記憶ステップと、前記再生画像記憶ステップで記憶された再生画像と、前記逆直交変換ステップで新たに生成された係数領域復号データと、から新たな再生画像の信号である前記第2画面復号信号を生成する再生画像生成ステップと、を備えたことを特徴とするものである。
【0079】
請求項15記載の発明は、上記課題を解決するため、請求項14に記載の符号化信号復号方法において、前記マクロブロック復号ステップが、他の画面内の同一の画像情報を有する領域との領域の移動量を示す動きベクトルを復号し、前記再生画像生成ステップが、前記再生画像記憶ステップで記憶された再生画像と、前記マクロブロック復号ステップで復号された動きベクトルと、から前記新たな再生画像を生成することを特徴とするものである。
【0080】
請求項16記載の発明は、上記課題を解決するため、請求項15に記載の符号化信号復号方法において、前記切り出し領域データ抽出ステップが、前記動きベクトルの移動元となる画像領域を有する前記第2画面1次復号信号をも抽出し、前記再生画像記憶ステップが、前記移動元となる画像領域の再生画像を記憶することを特徴とするものである。
【0081】
請求項17記載の発明は、上記課題を解決するため、請求項10から請求項16のいずれか1項に記載の符号化信号復号方法において、前記入力ステップが、第1画面符号化信号としてMPEG−2ビットストリームを入力し、前記第1復号ステップが、前記MPEG−2ビットストリームからスライスヘッダまで復号し、前記第2復号ステップが、スライスヘッダまで復号された信号からブロックレイヤまで復号することを特徴とするものである。
【0082】
請求項18記載の発明は、上記課題を解決するため、画面サイズが第1画面サイズである複数の画面から構成される動画像を符号化した第1画面符号化信号を入力し、前記第1画面符号化信号から前記第1画面サイズより小さい第2画面サイズの領域を復号した第2画面復号信号を出力する符号化信号復号ステップと、
【0083】
前記符号化信号復号ステップで出力された前記第2画面復号信号を入力し、前記第2画面復号信号を前記第2画面サイズの符号化信号である第2画面符号化信号に符号化し、前記第2画面符号化信号を出力する復号信号符号化ステップと、を備え、
【0084】
前記符号化信号復号ステップが、請求項10から請求項17のいずれか1項に記載の符号化信号復号方法により、前記第1画面符号化信号を前記第2画面復号信号に復号することを特徴とするものである。
【0085】
請求項19記載の発明は、上記課題を解決するため、画面サイズが第1画面サイズである複数の画面から構成される動画像を符号化した第1画面符号化信号を入力する入力ステップと、前記第1画面サイズより小さい第2画面サイズを設定し、前記第1画面符号化信号から前記動画像の前記第2画面サイズの領域を復号した第2画面復号信号を生成する符号化領域変換復号ステップと、前記符号化領域変換復号ステップで生成された第2画面復号信号を出力する出力ステップと、を備え、
【0086】
前記符号化領域変換復号ステップが、前記入力ステップで入力された第1画面符号化信号から、前記画面を複数に分割した小画像内の統一情報を復号し、第1画面1次復号信号に変換する第1復号ステップと、前記第1画面サイズの画像領域から前記第2画面サイズの所定の切り出し領域を設定する切り出し領域設定ステップと、前記第1復号ステップで復号された第1画面1次復号信号から前記切り出し領域設定ステップで設定された切り出し領域を復号するための第2画面1次復号信号を抽出する切り出し領域データ抽出ステップと、前記切り出し領域データ抽出ステップで抽出された第2画面1次復号信号から、前記第2画面サイズの第2画面復号信号に復号する第2復号ステップと、を備えたことを特徴とするものである。
【0087】
請求項20記載の発明は、上記課題を解決するため、請求項19に記載の符号化信号復号プログラムにおいて、前記切り出し領域設定ステップが、前記第1画面サイズの動画像の所定領域に固定の前記第2画面サイズの領域を設定し、この第2画面サイズの領域を前記切り出し領域として設定することを特徴とするものである。
【0088】
請求項21記載の発明は、上記課題を解決するため、請求項19に記載の符号化信号復号プログラムにおいて、前記切り出し領域設定ステップで設定する切り出し領域を指定する切り出し領域指定情報を入力させる切り出し領域指定情報入力ステップを備え、前記切り出し領域設定ステップが、前記切り出し領域指定情報入力ステップで入力された切り出し領域指定情報にしたがって切り出し領域を設定することを特徴とするものである。
【0089】
請求項22記載の発明は、上記課題を解決するため、請求項19に記載の符号化信号復号プログラムにおいて、前記入力ステップで入力する第1画面符号化信号が、前記動画像を構成する画面内の複数の画素からなるマクロブロックごとの画素値を直交変換係数領域データに直交変換し、変換された前記直交変換係数領域データを量子化パラメータにより量子化係数領域データに量子化し、任意個の前記マクロブロックの帯からなるスライスごとに統一情報を作成し、前記スライス内の統一情報および前記マクロブロックごとの量子化係数領域データを有するデータを可変長符号化した信号であって、
【0090】
前記第1復号ステップが、前記入力ステップで入力された第1画面符号化信号から、前記スライス内の統一情報を復号し、前記任意個のマクロブロック内の直交変換係数領域データを量子化した量子化パラメータの代表値である代表量子化パラメータを復号し、前記切り出し領域設定ステップが、前記第1復号ステップで復号された代表量子化パラメータにしたがって、複数の前記スライスから前記切り出し領域とするスライスを設定し、前記切り出し領域データ抽出ステップが、前記第1画面1次復号信号から前記設定されたスライスを選択して、前記第2画面1次復号信号を抽出することを特徴とするものである。
【0091】
請求項23記載の発明は、上記課題を解決するため、請求項22に記載の符号化信号復号プログラムにおいて、前記第2復号ステップが、前記切り出し領域データ抽出ステップで抽出したスライスの第2画面1次復号信号から、前記マクロブロックごとに前記第2画面サイズ分の前記量子化係数領域データと、前記量子化パラメータと、を復号するマクロブロック復号ステップと、前記マクロブロック復号ステップで復号された量子化係数領域データを、前記復号された量子化パラメータを用いて逆量子化して、第2画面サイズ分の直交変換係数領域データを生成する逆量子化ステップと、前記逆量子化ステップで生成された直交変換係数領域データを、逆直交変換して変換係数から復号される第2画面サイズ分の係数領域復号データを生成する逆直交変換ステップと、復号された再生画像の信号である前記第2画面復号信号を記憶する再生画像記憶ステップと、前記再生画像記憶ステップで記憶された再生画像と、前記逆直交変換ステップで新たに生成された係数領域復号データと、から新たな再生画像の信号である前記第2画面復号信号を生成する再生画像生成ステップと、を備えたことを特徴とするものである。
【0092】
請求項24記載の発明は、上記課題を解決するため、請求項23に記載の符号化信号復号プログラムにおいて、前記マクロブロック復号ステップが、他の画面内の同一の画像情報を有する領域との領域の移動量を示す動きベクトルを復号し、前記再生画像生成ステップが、前記再生画像記憶ステップで記憶された再生画像と、前記マクロブロック復号ステップで復号された動きベクトルと、から前記新たな再生画像を生成することを特徴とするものである。
【0093】
請求項25記載の発明は、上記課題を解決するため、請求項24に記載の符号化信号復号プログラムにおいて、前記切り出し領域データ抽出ステップが、前記動きベクトルの移動元となる画像領域を有する前記第2画面1次復号信号をも抽出し、前記再生画像記憶ステップが、前記移動元となる画像領域の再生画像を記憶することを特徴とするものである。
【0094】
請求項26記載の発明は、上記課題を解決するため、請求項19から請求項25のいずれか1項に記載の符号化信号復号プログラムにおいて、前記入力ステップが、第1画面符号化信号としてMPEG−2ビットストリームを入力し、前記第1復号ステップが、前記MPEG−2ビットストリームからスライスヘッダまで復号し、前記第2復号ステップが、スライスヘッダまで復号された信号からブロックレイヤまで復号することを特徴とするものである。
【0095】
請求項27記載の発明は、上記課題を解決するため、画面サイズが第1画面サイズである複数の画面から構成される動画像を符号化した第1画面符号化信号を入力し、前記第1画面符号化信号から前記第1画面サイズより小さい第2画面サイズの領域を復号した第2画面復号信号を出力する符号化信号復号ステップと、
【0096】
前記符号化信号復号ステップで出力された前記第2画面復号信号を入力し、前記第2画面復号信号を前記第2画面サイズの符号化信号である第2画面符号化信号に符号化し、前記第2画面符号化信号を出力する復号信号符号化ステップと、を備え、
【0097】
前記符号化信号復号ステップが、請求項19から請求項26のいずれか1項に記載の符号化信号復号プログラムにより、前記第1画面符号化信号を前記第2画面復号信号に復号することを特徴とするものである。
【0098】
請求項28記載の発明は、上記課題を解決するため、画面サイズが第1画面サイズである複数の画面から構成される動画像を符号化した第1画面符号化信号を入力する入力ステップと、前記第1画面サイズより小さい第2画面サイズを設定し、前記第1画面符号化信号から前記動画像の前記第2画面サイズの領域を復号した第2画面復号信号を生成する符号化領域変換復号ステップと、前記符号化領域変換復号ステップで生成された第2画面復号信号を出力する出力ステップと、を備え、
【0099】
前記符号化領域変換復号ステップが、前記入力ステップで入力された第1画面符号化信号から、前記画面を複数に分割した小画像内の統一情報を復号し、第1画面1次復号信号に変換する第1復号ステップと、前記第1画面サイズの画像領域から前記第2画面サイズの所定の切り出し領域を設定する切り出し領域設定ステップと、前記第1復号ステップで復号された第1画面1次復号信号から前記切り出し領域設定ステップで設定された切り出し領域を復号するための第2画面1次復号信号を抽出する切り出し領域データ抽出ステップと、前記切り出し領域データ抽出ステップで抽出された第2画面1次復号信号から、前記第2画面サイズの第2画面復号信号に復号する第2復号ステップと、を備えたことを特徴とするものである。
【0100】
請求項29記載の発明は、上記課題を解決するため、請求項28に記載の符号化信号復号プログラムを記録した媒体において、前記入力ステップで入力する第1画面符号化信号が、前記動画像を構成する画面内の複数の画素からなるマクロブロックごとの画素値を直交変換係数領域データに直交変換し、変換された前記直交変換係数領域データを量子化パラメータにより量子化係数領域データに量子化し、任意個の前記マクロブロックの帯からなるスライスごとに統一情報を作成し、前記スライス内の統一情報および前記マクロブロックごとの量子化係数領域データを有するデータを可変長符号化した信号であって、
【0101】
前記第1復号ステップが、前記入力ステップで入力された第1画面符号化信号から、前記スライス内の統一情報を復号し、前記任意個のマクロブロック内の直交変換係数領域データを量子化した量子化パラメータの代表値である代表量子化パラメータを復号し、前記切り出し領域設定ステップが、前記第1復号ステップで復号された代表量子化パラメータにしたがって、複数の前記スライスから前記切り出し領域とするスライスを設定し、前記切り出し領域データ抽出ステップが、前記第1画面1次復号信号から前記設定されたスライスを選択して、前記第2画面1次復号信号を抽出し、
【0102】
前記第2復号ステップが、前記切り出し領域データ抽出ステップで抽出したスライスの第2画面1次復号信号から、前記マクロブロックごとに前記第2画面サイズ分の前記量子化係数領域データと、前記量子化パラメータと、を復号するマクロブロック復号ステップと、前記マクロブロック復号ステップで復号された量子化係数領域データを、前記復号された量子化パラメータを用いて逆量子化して、第2画面サイズ分の直交変換係数領域データを生成する逆量子化ステップと、前記逆量子化ステップで生成された直交変換係数領域データを、逆直交変換して変換係数から復号される第2画面サイズ分の係数領域復号データを生成する逆直交変換ステップと、復号された再生画像の信号である前記第2画面復号信号を記憶する再生画像記憶ステップと、前記再生画像記憶ステップで記憶された再生画像と、前記逆直交変換ステップで新たに生成された係数領域復号データと、から新たな再生画像の信号である前記第2画面復号信号を生成する再生画像生成ステップと、を備えたことを特徴とするものである。
【0103】
請求項30記載の発明は、上記課題を解決するため、請求項29に記載の符号化信号復号プログラムを記録した媒体において、前記マクロブロック復号ステップが、他の画面内の同一の画像情報を有する領域との領域の移動量を示す動きベクトルを復号し、前記再生画像生成ステップが、前記再生画像記憶ステップで記憶された再生画像と、前記マクロブロック復号ステップで復号された動きベクトルと、から前記新たな再生画像を生成することを特徴とするものである。
【0104】
【発明の実施の形態】
以下、本発明の実施の形態について、添付図面を参照しつつ説明する。
【0105】
本発明に係る第1の実施の形態における符号化信号復号装置(デコーダ)を、図1、図2に示す。図1、図2に示すように、符号化信号復号装置1001は、信号入力部1010、符号化領域変換復号部1020、信号出力部1050を備えている。
【0106】
また、符号化信号復号装置1001は、画面サイズが第1画面サイズである複数の画面から構成される動画像を符号化した第1画面符号化信号を入力し、この第1画面符号化信号から必要な信号を取り出し、前記第1画面サイズより小さい第2画面サイズの動画像の復号信号である第2画面復号信号に復号し、出力するものである。
【0107】
さらに、本実施の形態の符号化信号復号装置に続けて、一般的な符号化装置(エンコーダ)を設けて、この符号化信号復号装置から出力される第2画面復号信号を符号化することにより、第1画面サイズの符号化信号を第2画面サイズの符号化信号に変換する符号化信号変換装置(トランスコーダ)を実現することができる。この符号化信号変換装置については、後述する。
【0108】
ここで、第1画面符号化信号は、例えば、MPEG−2やMPEG−4といった圧縮方式で圧縮符号化されたビットストリーム(BS)である。本実施の形態においては、取り扱う符号化信号をMPEG−2ビデオ信号として、主に説明する。
【0109】
説明に先立ち、MPEG−2ビデオ信号のデータ構造について、簡単に述べる。
【0110】
図3、図4、図5に、MPEG−2ビデオ信号のデータ構造を説明する図を示す。図3は、MPEG−2画像データの階層構成を示すものであり、図4は、MPEG−2ビデオ信号のデータの階層構成を分かりやすく示すものであり、図5は、MPEG−2ビデオ信号の実データのならびを示すものである。
【0111】
図3、図4、図5に示すように、MPEG−2ビデオ信号が扱う画像データは、シーケンス層、GOP(グループ・オブ・ピクチャ)層、ピクチャ層、スライス層、マクロブロック(MB)層、ブロック層の6層の階層構造からなる。また、GOP層はなくてもかまわない。
【0112】
このような階層構造において、動画像の1つの画面は、スライスに分割され、さらに、16画素×16画素のマクロブロックに分割される。1つのマクロブロックは、8×8画素の4個の輝度ブロックと、たて、横とも間引かれた8×8画素の2個の色差ブロックに分割される。そして、各ブロックの画素値を直交変換し、量子化して、さらに、符号化したものがMPEG−2ビデオ信号となる。
【0113】
また、シーケンス層は、一連の同じ属性を持つ画面グループ、例えば、画像サイズ、画像レートなどを示すものであり、GOP層は、ランダムアクセスの単位となる画面グループの最小単位(シーケンス先頭からの時間など)を示すものである。
【0114】
ピクチャ層は、1枚の画面に共通な属性、例えば、画面符号化モード(画面内の符号化か、前後の画面を用いた符号化か等を示すピクチャタイプ)を示すものであり、スライス層は、1枚の画面を細分した(MPEG−1では、任意の長さに分割した)小画面(マクロブロックの帯)に共通の情報、例えば、量子化特性などを示すものである。
【0115】
マクロブロック層は、スライス層をさらに分割した画素ブロック(16×16画素からなるマクロブロック)に共通の情報、例えば、動きベクトル(前後の画面中の同じ絵柄との移動量)値などを示すものである。ブロック層は、上記各ブロックの画素値を直交変換した変換係数そのものを示すものである。
【0116】
したがって、本実施の形態の第1画面符号化信号は、前記動画像を構成する画面内の複数の画素からなるマクロブロックごとの画素値を直交変換係数領域データに直交変換し、変換された前記直交変換係数領域データを量子化パラメータにより量子化係数領域データに量子化し、任意個の前記マクロブロックの帯からなるスライスごとに統一情報を作成し、前記スライス内の統一情報および前記マクロブロックごとの量子化係数領域データを有するデータを可変長符号化した信号である。
【0117】
ここで、符号化信号復号装置1001の構成図の説明に戻る。
【0118】
信号入力部1010は、第1画面符号化信号を入力するものである。また、上述したように、第1画面符号化信号は、画面サイズが第1画面サイズである複数の画面から構成される動画像を符号化した信号である。
【0119】
符号化領域変換復号部1020は、前記第1画面サイズより小さい第2画面サイズを設定し、前記第1画面符号化信号から前記第2画面復号信号を生成するものである。また、上述したように、第2画面復号信号は、前記動画像の前記第2画面サイズの領域を復号した信号である。
【0120】
信号出力部1050は、前記符号化領域変換復号部1020に生成された第2画面復号信号、すなわち、信号入力部1010に入力された第1画面符号化信号が持つ第1画面サイズより小さい第2画面サイズの動画像の復号信号である第2画面符号化信号を出力するものである。
【0121】
また、符号化領域変換復号部1020は、第1復号部1100、切り出し領域設定部1200、切り出し領域データ抽出部1300、第2復号部1400を備えている。
【0122】
第1復号部1100は、前記信号入力部1010に入力された第1画面符号化信号から、前記画面を複数に分割した小画像内の統一情報を復号し、第1画面1次復号信号に変換するものである。ここで、本実施の形態においては、前記画面を分割した小画像をMPEG−2におけるスライスを中心に説明する。
【0123】
また、第1復号部1100は、前記信号入力部1010に入力された第1画面符号化信号から、前記スライス内の統一情報を復号し、前記任意個のマクロブロック内の直交変換係数領域データを量子化した量子化パラメータの代表値である代表量子化パラメータを復号するものである。
【0124】
切り出し領域設定部1200は、前記第1画面サイズの画像領域から前記第2画面サイズの所定の切り出し領域を設定するものである。この切り出し領域として設定した情報は、切り出し領域設定情報として、切り出し領域データ抽出部1300に出力する。
【0125】
切り出し領域の設定方法としては、例えば、第1復号部1100に復号された情報(代表量子化パラメータ)にしたがって、複数の前記スライスから前記切り出し領域とするスライスを設定する方法がある。
【0126】
また、前記第1画面サイズの動画像の所定領域に固定の前記第2画面サイズの領域を設定し、この第2画面サイズの領域を前記切り出し領域として設定することもできる。
【0127】
切り出し領域データ抽出部1300は、前記第1復号部1100に復号された第1画面1次復号信号から、前記切り出し領域設定部1200に設定された切り出し領域設定情報にしたがって、第2画面1次復号信号を抽出するものである。
【0128】
この第2画面1次復号信号とは、第1画面サイズの情報を有する第1画面1次復号信号から、前記切り出し領域設定部1200に設定された第2画面サイズの切り出し領域を復号するために必要な信号を、抽出したものである。
【0129】
例えば、前記第1画面1次復号信号から、前記切り出し領域設定部1200に設定されたスライスのみを抽出するものである。
【0130】
また、予測モード、動きベクトル等を考慮したこれらの予測で必要となる領域をも抽出するものである。
【0131】
図6に、設定された切り出し領域と復号するために抽出する領域例を示す。
【0132】
図6(a)に示すように、切り出し領域が画面中央下部に設定された場合、図6(b)に示すように、切り出し領域を有するスライス、すなわち、切り出し領域を含む画面内の全ての水平領域が、復号(デコード)領域として抽出される。さらに、図6(c)に示すように、切り出し領域の上下の領域から、動き補償のために使用される領域も、復号領域として抽出することができる。
【0133】
第2復号部1400は、前記切り出し領域データ抽出部1300に抽出された第2画面1次復号信号から、前記第2画面サイズの第2画面復号信号に復号するものである。
【0134】
さらに、図2は、第2復号部1400の詳細構成を示すブロック図である。
【0135】
図2に示すように、第2復号部1400は、マクロブロック復号部1410、逆量子化部1420、逆直交変換部1430、フレームメモリ(再生画像記憶部)1440、再生画像生成部1450を備えている。
【0136】
マクロブロック復号部1410は、前記切り出し領域データ抽出部1300が抽出したスライスの第2画面1次復号信号から、前記マクロブロックごとに、画素値データを直交変換した直交変換係数領域データを量子化した量子化パラメータと、前記直交変換係数領域データが前記量子化パラメータにより量子化された量子化係数領域データと、を復号するものである。
【0137】
また、マクロブロック復号部1410は、動きベクトルが符号化されている場合には、符号化されている動きベクトルも復号するものである。
【0138】
逆量子化部1420は、前記マクロブロック復号部1410に復号された量子化係数領域データを、復号された量子化パラメータを用いて逆量子化して、直交変換係数領域データを生成するものである。
【0139】
逆直交変換部1430は、前記逆量子化部1420で生成された直交変換係数領域データを、逆直交変換して変換係数から復号される第2画面サイズの係数領域復号データを生成するものである。
【0140】
フレームメモリ1440は、復号された再生画像の信号である前記第2画面復号信号を記憶するものである。
【0141】
また、フレームメモリ1440は、前記動きベクトルの移動元となる画像領域の再生画像も記憶するものである。
【0142】
再生画像生成部1450は、前記フレームメモリ1440で記憶された再生画像と、前記マクロブロック復号部1410で復号された動きベクトルと、前記逆直交変換部1430で新たに生成された係数領域復号データと、から新たな再生画像の信号である第2画面復号信号を生成するものである。
【0143】
また、再生画像生成部1450は、動き補償部1451、合成部1452を備えている。
【0144】
動き補償部1451は、マクロブロック復号部1410で復号された動きベクトルを入力し、この動きベクトルの移動元となる領域を、フレームメモリ1440に記憶された復号済の再生画像から入力し、復号済の再生画像と動きベクトルとから、動きベクトルから復号される再生画像の一部を示す動きベクトル復号領域データを生成するものである。
【0145】
合成部1452は、逆直交変換部1430で変換された係数領域復号データと、動き補償部1451で生成された動きベクトル復号領域データと、を合成し、第2画面サイズの再生画像である第2画面復号信号を生成するものである。
【0146】
以上のように構成された符号化信号復号装置1001において、例えば、信号入力部1010から第1画面符号化信号としてMPEG−2ビットストリームを入力した場合、第1復号部1100で、MPEG−2ビットストリームからスライスヘッダまで復号し、第1画面1次復号信号とし、切り出し領域データ抽出部1300で第2画面サイズの動画像で必要な第2画面1次復号信号を抽出し、第2復号部1400で、スライスヘッダまで復号された第2画面1次復号信号からブロックレイヤまで復号することとなる。
【0147】
以下、符号化信号復号装置1001における動作について説明する。
【0148】
符号化信号復号装置1001において、第1画面符号化信号、例えば、MPEG−2BS(ビットストリーム)などの信号は、信号入力部1010に入力される。信号入力部1010に入力された第1画面符号化信号は、信号入力部1010から符号化領域変換復号部1020に出力される。
【0149】
符号化領域変換復号部1020では、信号入力部1010から入力された第1画面符号化信号を第1復号部1100に入力する。
【0150】
第1復号部1100では、入力された第1画面符号化信号をスライスヘッダまで復号し、第1画面1次復号信号を生成する。この第1画面1次復号信号には、復号前のマクロブロックレイヤデータ、スライス内の代表量子化パラメータなどがある。生成した第1画面1次復号信号は、切り出し領域設定部1200と、切り出し領域抽出部1300と、に出力する。
【0151】
切り出し領域設定部1200では、第1復号部1100から上記第1画面1次復号信号を入力し、スライスヘッダから復号したスライスごとの代表量子化パラメータにしたがって切り出す領域のスライスを設定する。この設定情報を、切り出し領域設定情報とする。また、動画像から切り出す領域が固定されている場合には、この固定の領域を復号するためのスライスを設定する。設定した切り出し領域設定情報は、切り出し領域データ抽出部1300に出力する。
【0152】
切り出し領域データ抽出部1300は、第1復号部1100から上記第1画面1次復号信号を入力し、切り出し領域設定部1200から上記切り出し領域設定情報を入力する。切り出し領域設定情報を入力すると、この切り出し領域設定情報にしたがって、第2画面領域の再生画像を復号するためのスライスのみからなる第1画面1次復号信号、すなわち、第2画面1次復号信号を抽出する。抽出した第2画面1次復号信号は、第2復号部1400に出力する。
【0153】
第2復号部1400では、切り出し領域データ抽出部1300から入力された第2画面1次復号信号をマクロブロック復号部1410に入力する。
【0154】
マクロブロック復号部1410では、第2画面1次復号信号を入力し、マクロブロックごとに復号し、量子化パラメータ、量子化係数領域データ、動きベクトル等を得る。復号した量子化パラメータと、量子化係数領域データは、逆量子化部1420に出力し、動きベクトルは、再生画像生成部1450に出力する。
【0155】
逆量子化部1420では、マクロブロック復号部1410から上記量子化パラメータと、上記量子化係数領域データと、を入力し、量子化パラメータを用いて量子化係数領域データを逆量子化し、第2画像サイズ分の直交変換係数領域データを生成する。生成した第2画像サイズ分の直交変換係数領域データは、逆直交変換部1430に出力する。
【0156】
逆直交変換部1430では、逆量子化部1420から上記直交変換係数領域データを入力し、逆直交変換して、第2画像サイズ分の係数領域復号データを生成する。生成した第2画像サイズ分の係数領域復号データは、再生画像生成部1450に出力する。
【0157】
再生画像生成部1450では、マクロブロック復号部1410から入力された動きベクトルを動き補償部1451に入力し、逆直交変換部1430から入力された第2画面サイズの係数領域復号データを合成部1452に入力する。
【0158】
動き補償部1451では、マクロブロック復号部1410から動きベクトルを入力し、この動きベクトルの移動元となる領域を、フレームメモリ1440に記憶された復号済の再生画像から入力する。そして、上記復号済の再生画像と上記動きベクトルとから、再生画像の一部を示す動きベクトル復号領域データを生成する。生成した動きベクトル復号領域データは、合成部1452に出力する。
【0159】
合成部1452では、逆直交変換部1430から係数領域復号データを入力し、動き補償部1451から動きベクトル復号領域データを入力する。入力した直交変換係数領域データと、動きベクトル復号領域データと、を合成し、第2画面サイズの再生画像である第2画面復号信号を生成する。生成した第2画面復号信号は、信号出力部1050に出力するとともに、フレームメモリ1440に出力する。
【0160】
フレームメモリ1440は、合成部1452から第2画面復号信号を入力し、再生画像として記憶する。この記憶した再生画像は、以降の信号復号処理のため、動き補償部1451に出力し、上述のように利用される。
【0161】
信号出力部1050では、符号化領域変換復号部1020から入力した第2画面復号信号、すなわち、符号化信号復号装置1001に入力された第1画面サイズの動画像の信号である第1画面符号化信号から、第2画面サイズの動画像を復号した信号を、外部に出力する。
【0162】
以上の処理により、第1画像サイズの動画像が符号化された第1符号化信号を入力して、スライスヘッダまで復号し、第1画像サイズより小さい第2画像サイズの領域のみを切り出し、必要な部分のみブロックレイヤまで復号処理を行い、第2画像サイズの再生画像を出力するので、不必要な復号処理を行うことなく、効率よく復号処理を行うことができ、すばやく必要な画像を再生することができる。
【0163】
また、本処理に続いて圧縮率を変更する再符号化を行う符号量変換を行う際に、画面サイズをあらかじめ小さくして符号化を行うことができるので、無用な部分により圧縮率が高くならず、変換後の画像サイズに適した画像圧縮率で符号量変換を行うことができ、変換後の画像を鮮明に保つことができる。
【0164】
次に、本発明に係る第2の実施の形態における符号化信号復号装置を、図7に示し、説明する。
【0165】
図7に示すように、符号化信号復号装置1005は、信号入力部1010、符号化領域変換復号部1025、信号出力部1050を備えている。
【0166】
信号入力部1010、信号出力部1050は、上記第1の実施の形態で示した同一番号のものと同様のものである。
【0167】
符号化領域変換復号部1025は、第1復号部1100、切り出し領域設定部1205、切り出し領域データ抽出部1300、第2復号部1400、切り出し領域情報入力部1500を備えている。
【0168】
第1復号部1100、切り出し領域データ抽出部1300、第2復号部1400についても、上記第1の実施の形態で示した同一番号のものと同様のものである。
【0169】
切り出し領域指定情報入力部1500は、切り出し領域設定部1205が設定する切り出し領域を指定する切り出し領域指定情報を、外部から入力させるものである。
【0170】
また、切り出し領域設定部1205は、第1の実施の形態に示した切り出し領域設定部1200と同様に、第1画面サイズの画像領域から第2画面サイズの所定の切り出し領域を設定し、この切り出し領域として設定した情報を、切り出し領域設定情報として、切り出し領域データ抽出部1300に出力する機能に加え、切り出し領域指定情報入力部1500に入力された切り出し領域指定情報にしたがって切り出し領域を設定するものである。
【0171】
以下、符号化信号復号装置1005における動作について説明する。
【0172】
符号化信号復号装置1005において、切り出し領域指定情報入力部1500から切り出し領域設定部1200が設定する切り出し領域を指定する切り出し領域指定情報を、外部から入力する。
【0173】
切り出し領域指定情報入力部1500は、切り出し領域指定情報を入力すると、切り出し領域設定部1200に入力した切り出し領域指定情報を出力し、切り出し領域を指定させる。
【0174】
以下、切り出し領域設定部1205に、切り出し領域情報入力部1500から切り出し領域指定情報が入力された状態で、本符号化信号復号装置1005に第1画面符号化信号が入力されたときの動作を説明する。
【0175】
符号化信号復号装置1005において、第1画面符号化信号は、信号入力部1010に入力される。信号入力部1010に入力された第1画面符号化信号は、信号入力部1010から符号化領域変換復号部1025に出力される。
【0176】
符号化領域変換復号部1025では、信号入力部1010から入力された第1画面符号化信号を第1復号部1100に入力する。
【0177】
第1復号部1100では、入力された第1画面符号化信号をスライスヘッダまで復号し、第1画面1次復号信号を生成する。生成した第1画面1次復号信号は、切り出し領域設定部1205と、切り出し領域抽出部1300と、に出力する。
【0178】
切り出し領域設定部1205では、第1復号部1100から上記第1画面1次復号信号を入力し、前記切り出し領域情報入力部1500から入力された切り出し領域指定情報にしたがって切り出す領域のスライスを設定する。この設定した切り出し領域設定情報は、切り出し領域データ抽出部1300に出力する。
【0179】
切り出し領域データ抽出部1300は、第1復号部1100から上記第1画面1次復号信号を入力し、切り出し領域設定部1205から上記切り出し領域設定情報を入力する。切り出し領域設定情報を入力すると、この切り出し領域設定情報にしたがって、第2画面領域の再生画像を復号するためのスライスのみからなる第1画面1次復号信号、すなわち、第2画面1次復号信号を抽出する。抽出した第2画面1次復号信号は、第2復号部1400に出力する。
【0180】
以下、上記第1の実施の形態と同様に、抽出された範囲内のみの復号処理を行い、信号出力部1050から第2画面復号信号、すなわち、符号化信号復号装置1005に入力された第1画面サイズの動画像の信号である第1画面符号化信号から、第2画面サイズの指定した領域の動画像を復号した信号を、外部に出力する。
【0181】
以上の処理により、第1画像サイズの動画像が符号化された第1符号化信号を入力して、外部から領域を指定し、必要な部分のみの復号を行い、第2画像サイズの再生画像を出力するので、不必要な復号処理を行うことなく、効率よく復号処理を行うことができ、すばやく必要な画像を再生することができる。
【0182】
次に、本発明に係る第3の実施の形態における符号化信号変換装置を、図8に示し、説明する。
【0183】
図8に示すように、符号化信号変換装置5000は、符号化信号復号装置1007、符号化装置3000を備えている。
【0184】
符号化信号復号装置1007は、前述した第1の実施の形態の符号化信号復号装置1001と同様のものであり、第1画像サイズの動画像が符号化された第1画面符号化信号を入力して、第1画像サイズより小さい第2画像サイズの領域のみを切り出し、必要な部分のみの復号を行い、第2画像サイズの再生画像である第2画面復号信号を出力するものである。
【0185】
符号化装置3000は、一般的な符号化装置であり、第2画像サイズの再生画像である第2画面復号信号を入力して、第2画像サイズの符号化信号である第2画面符号化信号に再符号化し、この符号化した第2画面符号化信号を出力するものである。
【0186】
以下、符号化信号変換装置5000における動作について説明する。
【0187】
符号化信号変換装置5000において、第1画像サイズの動画像が符号化された第1画面符号化信号を入力すると、この第1画面符号化信号は、符号化信号復号装置1007に入力される。
【0188】
符号化信号復号装置1007では、第1画面符号化信号を入力して、第1画像サイズより小さい第2画像サイズの領域のみを切り出し、必要な部分のみの復号を行い、第2画像サイズの再生画像である第2画面復号信号を、復号装置3000に出力する。
【0189】
符号化装置3000では、符号化信号復号装置1007から第2画面復号信号を入力し、再符号化して、第2画像サイズの符号化信号である第2画面符号化信号を出力する。
【0190】
したがって、第1画像サイズの動画像が符号化された第1画面符号化信号を入力して、必要な領域のみを切り出し、復号および再符号化することができるので、処理速度が速く、装置の負担を軽減した符号化信号変換処理を行うことができる。
【0191】
【発明の効果】
本発明によれば、第1画像サイズの動画像が符号化された第1符号化信号を入力して、ヘッダ情報のみを復号し、第1画像サイズより小さい第2画像サイズの領域の信号のみを切り出し、必要な部分のみの復号を行い、第2画像サイズの再生画像を出力するので、不必要な復号処理を行うことなく、復号処理効率を大幅に向上することができ、すばやく必要な画像を再生することができる。
【0192】
また、本発明によれば、第1画像サイズの動画像が符号化された第1符号化信号を入力して、外部から領域を指定し、必要な部分のみの復号を行い、第2画像サイズの再生画像を出力するので、不必要な復号処理を行うことなく、効率よく復号処理を行うことができ、すばやく必要な画像を再生することができる。
【0193】
さらに、本発明によれば、入力信号を復号後、圧縮率を変更して再符号化を行う符号量変換を行う際に、第1画像サイズの動画像が符号化された第1画面符号化信号を入力して、必要な領域のみを切り出し、復号して、再符号化することができるので、画面サイズをあらかじめ小さくして符号化を行うことができ、処理速度が速く、装置の負担を軽減した符号化信号変換処理を行うことができるとともに、無用な部分により圧縮率が高くならず、変換後の画像サイズに適した画像圧縮率で符号量変換を行うことができ、変換後の画像を鮮明に保つことができる。
【図面の簡単な説明】
【図1】本発明に係る符号化信号復号装置の一実施の形態を示すブロック図である。
【図2】本発明に係る符号化信号復号装置(第2復号部)の一実施の形態を示すブロック図である。
【図3】MPEG−2画像データの階層を示す構成図である。
【図4】MPEG−2ビデオ信号のデータの階層を示す構成図である。
【図5】MPEG−2ビデオ信号の実データのならびを示す構成図である。
【図6】一実施の形態の切り出し領域とデータ抽出領域示す図である。
【図7】一実施の形態の符号化信号復号装置を示すブロック図である。
【図8】一実施の形態の符号化信号変換装置を示すブロック図である。
【図9】従来のトランスコーダ(符号化信号変換装置)の概略ブロック図である。
【図10】従来のトランスコーダにおける、MPEG−2のTM5のレート制御処理示すフローチャートである。
【図11】従来のトランスコーダの概略ブロック図である。
【図12】従来のトランスコーダの処理を示すフローチャートである。
【図13】従来のトランスコーダの概略ブロック図である。
【図14】従来のトランスコーダの処理を示すフローチャートである。
【符号の説明】
50 トランスコーダ(符号化信号変換装置)
51 VLD(可変長復号手段)
53 逆量子化器(逆量子化手段)
55 量子化器(量子化手段)
57 VLC(可変長符号化手段)
59 レート制御部
60 トランスコーダ
61 遅延回路
63 ビットレート比率計算部
65 入力符号量積算部
67 差分符号量計算部
69 目標出力符号量更新部
71 量子化スケールコード算出部
80 トランスコーダ
81 VLD
83 目標出力符号量更新部
85 量子化スケールコード算出部
1001、1005、1007 符号化信号復号装置
1010 信号入力部
1020、1025 符号化領域変換復号部
1050 信号出力部
1100 第1復号部
1200、1205 切り出し領域設定部
1300 切り出し領域データ抽出部
1400 第2復号部
1410 マクロブロック復号部
1420 逆量子化部
1430 逆直交変換部
1440 フレームメモリ(再生画像記憶部)
1450 再生画像生成部
1451 動き補償部
1452 合成部
1500 切り出し領域情報入力部
3000 符号化装置
5000 符号化信号変換装置[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an encoded signal decoding apparatus, method, and decoding program, and in particular, to an encoded signal decoding apparatus, method, and decoding that perform an encoded signal decoding process at an image compression rate suitable for an image size after decoding and re-encoding. About the program.
[0002]
[Prior art]
2. Description of the Related Art In a technology for digitizing a moving image, as a system for compressing and encoding a huge amount of information generated, a standard standard of an encoding system for digital video and accompanying audio, ISO / IEC 13818 (commonly called "MPEG- 2 "(Moving Picture Expert Group Phase 2). The bit stream conforming to the MPEG-2 standard generated in this manner (hereinafter referred to as “MPEG-2 bit stream”) is used in a wide range of fields such as communication and television broadcasting.
[0003]
The MPEG-2 bit stream has a hierarchical structure, and is composed of layers from a top sequence layer to a GOP (Group of Pictures) layer, a picture layer, a slice layer, a macroblock layer, and a block layer.
[0004]
In MPEG-2, in a moving image composed of a series of a plurality of screens, each screen is temporarily stored in a frame memory, and a difference between frames is taken to reduce redundancy in a time axis direction. A plurality of pixels forming a frame are subjected to orthogonal transform processing such as discrete cosine transform (hereinafter abbreviated as "DCT") to reduce redundancy in the spatial axis direction, thereby achieving efficient moving picture compression encoding. are doing.
[0005]
The encoded signal is sent to a decoder and decoded and reproduced. The decoder reproduces the screen and stores it in the first frame memory, predicts the next screen to be continued based on the difference information, stores it in the second frame memory, and displays the screen inserted between the two frames. Further, by making a prediction, a series of screens is formed and a moving image is reproduced. Such an approach is called bidirectional prediction.
[0006]
MPEG-2 defines three types of I-picture, P-picture and B-picture in order to realize the bidirectional prediction. The I picture is an abbreviation of an intra-coded picture, and is a screen that is coded as a still image independently of other pictures. A P picture is an abbreviation of a forward prediction coded picture, and is a screen that is predictively coded based on an I or P picture located in the past in time. B picture is an abbreviation of bidirectional predictive coded picture, and is a screen that is predictively coded based on a forward, backward, or bidirectional picture using I or P pictures located temporally before and after. It is. That is, after the I picture and the P picture are coded first, the B picture inserted between them is coded.
[0007]
The MPEG-2 bit stream encoded by the encoder is transmitted at a predetermined transfer rate to a transmission path, input to a decoder on the transmission path, decoded and reproduced. However, the amount of information generated by encoding a moving image is not constant. In particular, at the time of a scene change, the amount of information increases at a stretch. In order to send such a non-constant coded signal to a transmission line of a fixed rate, it is necessary to control the rate of the coded data in advance so that the amount of information that exceeds the level of the transmission buffer does not occur.
[0008]
In MPEG-2, the rate control method is described in ISO / IEC JTC1 / SC29 / WG11 / N0400 Test Model 5 (April, 1993) (hereinafter abbreviated as “TM5”).
[0009]
In the rate control of TM5 of MPEG-2, in step 1, bits are first allocated for each picture type based on the code amount R allocated to an uncoded picture in a GOP. In step 2, the quantization scale used when performing the encoding process in macroblock units is calculated from the virtual buffer occupancy calculated based on the bit allocation.
[0010]
In addition, since there are a large number of decoders having a compression format other than MPEG-2 and decoders connected to transmission lines having different transmission speeds, moving images for converting an MPEG-2 bit stream into different compression formats and different transmission speeds are available. A compression-encoded signal conversion device is required. A device for realizing this is a so-called transcoder. The image compression encoded signal transmitted from the encoder is converted into an appropriate signal by a transcoder, and the signal is supplied to each decoder.
[0011]
FIG. 9 shows a first example of a general conventional transcoder 50. A conventional transcoder 50 is connected to a first transmission line (not shown) having a first bit rate, and receives a first MPEG-2 bit stream b1 and receives a variable length decoding unit (VLD) 51 and an inverse quantizer 53. And a quantizer 55, a VLC 57 connected to a second transmission path (not shown) having a second bit rate and outputting a second MPEG-2 bit stream b 2, and a code amount generated by the quantizer 55. And a rate control unit 59 that performs the operation. The second bit rate is a lower transfer rate than the first bit rate.
[0012]
The VLD 51 and the inverse quantizer 53 decode the first MPEG-2 bit stream b1 up to the DCT coefficient region in macroblock units, encode the obtained DCT coefficient signal by the quantizer 55 and the VLC 57, and encode the first MPEG-2 bit stream. A second MPEG-2 bit stream b2 having a smaller code amount than the two bit stream is generated.
[0013]
In the quantization process in the quantizer 55, the coefficient obtained by the DCT is divided by a predetermined quantization step. As a result, the image signal is compressed. This quantization step is obtained by multiplying a plurality of quantization matrix values included in a predetermined quantization table by a quantization scale.
[0014]
The transcoder 50 almost reuses the coding information of the sequence layer, GOP layer, picture layer, slice layer, and macroblock layer in the first MPEG-2 bit stream b1. Basically, only the process of transforming the DCT coefficient of the block layer and the transform of the code of the macro block layer that needs to be modified in accordance with the transform of the block layer are performed.
[0015]
In the transcoder 50 thus configured, the rate control unit 59 performs the rate control described in TM5 of MPEG-2. FIG. 10 shows a flowchart of the rate control process of the conventional transcoder 50. As shown in the figure, the conventional rate control process includes steps A1 to A14.
[0016]
In step A1, a variable n is set to 1. Here, the variable n indicates a number assigned to a plurality of pictures included in the input image signal, and hereinafter, the n-th picture is indicated as pic (n).
[0017]
In the following step A2, indices Xi, Xp and Xb indicating the complexity of the I, P and B pictures are calculated by the following equations (a1), (a2) and (a3).
[0018]
Xi = Si × Qi Equation (a1)
[0019]
Xp = Sp × Qp Expression (a2)
[0020]
Xb = Sb × Qb Equation (a3)
[0021]
Here, Si, Sp, and Sb are generated code amounts of I, P, and B pictures, respectively, and Qi, Qp, and Qb are average values of quantized scale codes of all macroblocks in I, P, and B pictures, respectively. Is an average quantization parameter. However, the average quantization parameter is normalized in the range of 1 to 31.
[0022]
The screen complexity indicators Xi, Xp, and Xb are large for an image in which a large amount of encoded information is generated, that is, for an image with a low compression ratio, and are small for an image with a high compression ratio. .
[0023]
The initial values of the parameters Xi, Xp and Xb indicating the complexity of the screen of the I, P and B pictures are given by the following equations (a4), (a5) and (a6).
[0024]
Xi = 160 × target_Bitrate / 115 Expression (a4)
[0025]
Xp = 60 × target_Bitrate / 115 Expression (a5)
[0026]
Xb = 42 × target_Bitrate / 115 Expression (a6)
[0027]
Here, target_Bitrate is a target bit rate of the transcoder 50.
[0028]
In the following step A3, the code amounts Ti, Tp and Tb to be allocated to the I, P and B pictures in the GOP are calculated by the following equations (a7), (a8) and (a9). Here, Np and Nb indicate the numbers of uncoded P and B pictures in the GOP, respectively.
(Equation 1)
Figure 2004056616
Here, Kp and Kb indicate the ratios of the quantized scale codes of the P and B pictures with respect to the quantized scale codes of the I picture. When Kp = 1.0 and Kb = 1.4, Kp and Kb are always used. Assume that the overall image quality is optimized.
[0029]
In the following step A4, it is determined whether or not the variable n is 1. That is, it is determined whether or not the picture to be coded is the first picture pic (1). If it is the first picture, the process proceeds to step A5, and if it is not the first picture, the process proceeds to step A6. In step A5, the code amount R allocated to the uncoded picture in the GOP when the first picture pic (1) in the GOP is coded is calculated by the following equation (a10).
[0030]
R = target_Bitrate × N / picture_rate + R Expression (a10)
[0031]
Here, N is the total number of pictures in the GOP, picture_rate is a value indicating the time resolution of the input image, and indicates the number of screens decoded and displayed in one second.
[0032]
In step A6, the code amount R allocated to the uncoded picture in the GOP is changed to the generated code amount Si of the I, P and B pictures when the (n-1) th picture pic (n-1) is coded. Based on Sp or Sb, it is updated by one of the following equations (a11), (a12) and (a13).
[0033]
R = R-Si formula (a11)
[0034]
R = R-Sp Formula (a12)
[0035]
R = R-Sb Formula (a13)
[0036]
Steps A5 and A6 both proceed to step A7, where 1 is set to variable j. Here, the variable j indicates a number assigned to a plurality of macroblocks in one picture, and the j-th macroblock is hereinafter referred to as MB (j).
[0037]
In the following step A8, the occupation amounts di (j), dp (j) and db (j) of the virtual buffer when encoding the j-th macroblock MB (j) in the I, P and B pictures are expressed by the following equations. (A14), Equation (a15) and Equation (a16).
(Equation 2)
Figure 2004056616
Here, B (j-1) is the generated code amount of all macroblocks up to the (j-1) th macroblock MB (j-1).
[0038]
Also, di (0), dp (0) and db (0) are initial values of the virtual buffer occupancy of the I, P and B pictures, respectively, and are given by the following equations (a17), (a18) and (a19). ).
[0039]
di (0) = 10 × r / 31 Equation (a17)
[0040]
dp (0) = Kp × di (0) Equation (a18)
[0041]
db (0) = Kb × di (0) Equation (a19)
[0042]
Here, r is called a reaction parameter, and is represented by the following equation (a20), and controls the response speed of the feedback loop.
[0043]
r = 2 × target_Bitrate / picture_rate Expression (a20)
[0044]
Also, the virtual buffer occupancy at the end of the I, P, and B picture encoding, that is, the virtual buffer occupancy di (NMB), dp (NMB), and db (N) when the NMB-th macroblock MB (NMB) is encoded. NMB) is used as initial values di (0), dp (0), and db (0) of the virtual buffer occupancy at the next encoding for each picture type.
[0045]
In the following step A9, the quantization scale code Q (j) for the j-th macroblock MB (j) is obtained for each picture by the following equation (a21) based on the virtual buffer occupation amount d (j). .
[0046]
Q (j) = d (j) × 31 / r Equation (a21)
[0047]
In the following step A10, the j-th macroblock MB (j) is quantized using the quantization scale code Q (j) calculated in step A9. In a succeeding step A11, the variable j is incremented, and the process proceeds to a step A12 to determine whether or not the variable j exceeds the total number of macroblocks NMB. Here, NMB is the total number of macroblocks included in the n-th picture pic (n). If the variable j does not exceed the total number of macroblocks NMB, the process returns to step A8. If the variable j exceeds the total number of macroblocks NMB, the process proceeds to step A13.
[0048]
In this way, the variable j is also used as a loop counter for repeating the encoding processing of steps A8 to A11. As a result, it is possible to sequentially perform encoding processing on all macroblocks from the first macroblock MB (1) to the NMBth macroblock MB (NMB) in the nth picture pic (n).
[0049]
In step A13, the variable n is incremented, and the flow advances to step A14 to determine whether or not the variable n exceeds the total number NPIC of pictures to be encoded. If the variable n does not exceed the total number of pictures NPIC, the process returns to step A2. If the variable n exceeds the total number of pictures NPIC, the process ends.
[0050]
As described above, since the first transcoder 50 cannot have information about the image structure such as the I and P picture periods, the first transcoder 50 uses the image GOP structure such as the TM5 rate control shown in FIG. A method of allocating bits based on information cannot be performed without assuming an input image structure.
[0051]
A second conventional transcoder 60 shown in FIG. 11 is an example that employs a method of performing rate control without assuming a GOP structure. As shown in the figure, a second conventional transcoder 60 includes a delay circuit 61, a bit rate ratio calculation unit 63, and an input code amount integration unit in addition to the configuration of the first conventional transcoder 50. It includes a unit 65, a difference code amount calculation unit 67, a target output code amount update unit 69, and a quantization scale code calculation unit 71.
[0052]
FIG. 12 shows a processing flow of the transcoder 60 thus configured. As shown in the figure, the processing of the transcoder 60 includes steps B1 to B13. Steps B6 to B13 are the same as steps A7 to A14 of the rate processing shown in the first conventional example. However, in step B7, the virtual buffer occupancy is calculated based on the target output code amount Tout calculated by the target output code amount update unit 69.
[0053]
13 and 14 show a third example of a conventional transcoder as another example adopting a method of performing rate control without assuming a GOP structure. As shown in FIG. 13, a third conventional transcoder 80 is connected to a first transmission line having a first bit rate and receives a VLD 81 that inputs an input bit stream b3 and a first conventional transcoder 50. 11 includes the inverse quantizer 53, the quantizer 55, and the VLC 57, and includes the same bit rate ratio calculator 63 and the difference code amount calculator 67 as the transcoder 60 in FIG. , A target output code amount updating unit 83, and a quantization scale code calculating unit 85.
[0054]
In the third conventional transcoder 80, the code amount is described in advance in the bit stream b3 as information, and rate control is performed based on the information.
[0055]
Thus, the transcoder is a processor that realizes bit stream conversion into a form suitable for various use environments. In addition, realization of real-time transcoding has enabled video distribution in various formats according to a required bandwidth.
[0056]
[Problems to be solved by the invention]
However, information that is obtained by extremely reducing a video created with a certain screen size, although it can be transmitted and received and reproduced, is often lost.
[0057]
For example, when transcoding a video in a digital broadcasting format or a high-definition broadcasting format to a portable terminal format, a person, an object, and a character (hereinafter, referred to as an object) in a screen smaller than the screen size cannot be seen, and may be reflected depending on the content. It becomes impossible to determine what is present.
[0058]
In addition, decoding and re-encoding all the encoded information takes a long time, and there is a problem that a heavy load is imposed on the processing device.
[0059]
Therefore, the present invention provides a function of editing and processing video in addition to the functions of the existing coded signal decoding device (decoder), so that the decoding processing speed is faster than that of the existing coded signal decoding device, It is another object of the present invention to provide an encoded signal decoding apparatus, method, and decoding program that can convert an object in a screen into a viewable and identifiable video at the time of re-encoding.
[0060]
[Means for Solving the Problems]
According to an aspect of the present invention, there is provided an input unit for inputting a first screen coded signal obtained by coding a moving image composed of a plurality of screens each having a first screen size. Coded area transform decoding for setting a second screen size smaller than the first screen size and generating a second screen decoded signal obtained by decoding the area of the second screen size of the moving image from the first screen coded signal Means, and output means for outputting the second screen decoded signal generated by the coding area conversion decoding means,
[0061]
The coding area conversion decoding means decodes the unified information in the small image obtained by dividing the screen into a plurality of parts from the first screen coded signal input to the input means, and converts it into a first screen primary decoded signal. A first decoding unit for performing a predetermined extraction region of the second screen size from an image region of the first screen size, and a first screen primary decoding decoded by the first decoding unit A cut-out area data extraction means for extracting a second screen primary decoded signal for decoding the cut-out area set by the cut-out area setting means from a signal; and a second screen primary extracted by the cut-out area data extraction means. Second decoding means for decoding the decoded signal into a second screen decoded signal of the second screen size.
[0062]
According to a second aspect of the present invention, in order to solve the above-mentioned problem, in the encoded signal decoding apparatus according to the first aspect, the cutout area setting unit is configured to fix the cutout area to a predetermined area of the moving image of the first screen size. An area of a second screen size is set, and the area of the second screen size is set as the cutout area.
[0063]
According to a third aspect of the present invention, in order to solve the above problem, in the encoded signal decoding apparatus according to the first aspect, a cutout area for inputting cutout area designation information for specifying a cutout area set by the cutout area setting means. Equipped with designated information input means,
[0064]
The cut-out area setting means sets a cut-out area in accordance with the cut-out area specification information input to the cut-out area specification information input means.
[0065]
According to a fourth aspect of the present invention, in order to solve the above-mentioned problem, in the coded signal decoding apparatus according to the first aspect, the first screen coded signal input by the input means is included in a screen constituting the moving image. Orthogonally transforms pixel values of each macroblock consisting of a plurality of pixels into orthogonal transform coefficient area data, quantizes the transformed orthogonal transform coefficient area data into quantized coefficient area data by a quantization parameter, A signal obtained by creating unified information for each slice composed of a macroblock band, and performing variable-length encoding on data having unified information in the slice and quantized coefficient area data for each macroblock,
[0066]
The first decoding unit decodes unified information in the slice from the first screen coded signal input to the input unit, and quantizes orthogonal transform coefficient domain data in the arbitrary number of macroblocks. Decoding a representative quantization parameter that is a representative value of the quantization parameter, and the cut-out area setting means sets a slice to be the cut-out area from a plurality of slices according to the representative quantization parameter decoded by the first decoding means. Setting, and the cut-out area data extracting means selects the set slice from the first screen primary decoded signal and extracts the second screen primary decoded signal.
[0067]
According to a fifth aspect of the present invention, in order to solve the above problem, in the coded signal decoding apparatus according to the fourth aspect, the second decoding means includes a second screen 1 of a slice extracted by the cutout area data extraction means. Macroblock decoding means for decoding the quantized coefficient area data for the second screen size and the quantization parameter for each macroblock from the next decoded signal, and a quantum decoded by the macroblock decoding means. Inverse quantization means for inversely quantizing the quantized coefficient area data using the decoded quantization parameter to generate orthogonal transform coefficient area data for the second screen size, and the inverse quantization means Inverse orthogonal transform means for inverse orthogonally transforming the orthogonal transform coefficient area data to generate coefficient area decoded data for a second screen size to be decoded from the transform coefficients; Reproduced image storage means for storing the second screen decoded signal as an image signal, a reproduced image stored in the reproduced image storage means, and coefficient area decoded data newly generated by the inverse orthogonal transform means; And a reproduced image generating means for generating the second screen decoded signal which is a signal of a new reproduced image from the image data.
[0068]
According to a sixth aspect of the present invention, in order to solve the above-mentioned problem, in the coded signal decoding apparatus according to the fifth aspect, the macroblock decoding means includes an area corresponding to an area having the same image information in another screen. The reproduced image generating means decodes the new reproduced image from the reproduced image stored in the reproduced image storage means and the motion vector decoded by the macroblock decoding means. Is generated.
[0069]
According to a seventh aspect of the present invention, in order to solve the above problem, in the coded signal decoding apparatus according to the sixth aspect, the cut-out area data extracting means has an image area serving as a movement source of the motion vector. A two-screen primary decoded signal is also extracted, and the reproduced image storage means stores a reproduced image of the image area serving as the movement source.
[0070]
According to an eighth aspect of the present invention, in order to solve the above-mentioned problem, in the coded signal decoding apparatus according to any one of the first to seventh aspects, the input means includes a first screen coded signal as an MPEG signal. -2 bit stream, the first decoding means decodes from the MPEG-2 bit stream to the slice header, and the second decoding means decodes from the signal decoded to the slice header to the block layer. It is a feature.
[0071]
According to a ninth aspect of the present invention, in order to solve the above problem, the coded signal decoding device according to any one of the first to eighth aspects and the second signal output from the coded signal decoding device. A decoded signal encoding device that receives a screen decoded signal, encodes the second screen decoded signal into a second screen encoded signal that is an encoded signal of the second screen size, and outputs the second screen encoded signal And the following.
[0072]
According to a tenth aspect of the present invention, there is provided an input step of inputting a first screen coded signal obtained by coding a moving image composed of a plurality of screens each having a first screen size. Coded area transform decoding for setting a second screen size smaller than the first screen size and generating a second screen decoded signal obtained by decoding the area of the second screen size of the moving image from the first screen coded signal And an output step of outputting the second screen decoded signal generated in the coding area conversion decoding step,
[0073]
The coding area conversion / decoding step decodes unified information in a small image obtained by dividing the screen into a plurality of parts from the first screen coded signal input in the input step, and converts the unified information into a first screen primary decoded signal A first decoding step of setting, a cutout area setting step of setting a predetermined cutout area of the second screen size from the image area of the first screen size, and a first screen primary decoding decoded in the first decoding step A cutout area data extraction step for extracting a second screen primary decoded signal for decoding the cutout area set in the cutout area setting step from a signal, and a second screen primary extracted in the cutout area data extraction step A second decoding step of decoding the decoded signal into a second screen decoded signal of the second screen size.
[0074]
According to an eleventh aspect of the present invention, in the coded signal decoding method according to the tenth aspect, the clipping region setting step includes fixing the clipping region to a predetermined region of the first screen size moving image. An area of a second screen size is set, and the area of the second screen size is set as the cutout area.
[0075]
According to a twelfth aspect of the present invention, in order to solve the above problem, in the coded signal decoding method according to the tenth aspect, a cutout area for inputting cutout area designation information for specifying a cutout area set in the cutout area setting step. The information processing apparatus further comprises a designation information input step, wherein the cutout area setting step sets the cutout area in accordance with the cutout area designation information input in the cutout area designation information input step.
[0076]
According to a thirteenth aspect of the present invention, in order to solve the above-mentioned problem, in the coded signal decoding method according to the tenth aspect, the first screen coded signal input in the input step includes a first screen coded signal included in a screen constituting the moving image. Orthogonally transforms pixel values of each macroblock consisting of a plurality of pixels into orthogonal transform coefficient area data, quantizes the transformed orthogonal transform coefficient area data into quantized coefficient area data by a quantization parameter, A signal obtained by creating unified information for each slice composed of a macroblock band, and performing variable-length encoding on data having unified information in the slice and quantized coefficient area data for each macroblock,
[0077]
The first decoding step decodes unified information in the slice from the first screen coded signal input in the input step, and quantizes orthogonal transform coefficient domain data in the arbitrary number of macroblocks. Decoding a representative quantization parameter, which is a representative value of the quantization parameter, and setting the cut-out area setting step as a cut-out area slice from a plurality of slices according to the representative quantization parameter decoded in the first decoding step. Setting, and extracting the cut-out area data, wherein the set slice is selected from the first screen primary decoded signal, and the second screen primary decoded signal is extracted.
[0078]
According to a fourteenth aspect of the present invention, in the coded signal decoding method according to the thirteenth aspect, in the coded signal decoding method according to the thirteenth aspect, the second decoding step includes the second screen 1 of the slice extracted in the cutout area data extraction step. A macroblock decoding step of decoding, from the next decoded signal, the quantized coefficient area data for the second screen size and the quantization parameter for each macroblock, and a quantum decoded in the macroblock decoding step. Dequantizing the quantized coefficient area data using the decoded quantization parameter to generate orthogonal transform coefficient area data for a second screen size, and the inverse quantization step. Inverse orthogonal transform of the orthogonal transform coefficient area data to generate coefficient area decoded data for the second screen size decoded from the transform coefficients An intersecting step, a reproduced image storing step of storing the second screen decoded signal which is a signal of a decoded reproduced image, a reproduced image stored in the reproduced image storing step, and a new image in the inverse orthogonal transformation step. And a reproduced image generating step of generating the second screen decoded signal, which is a signal of a new reproduced image, from the generated coefficient area decoded data.
[0079]
According to a fifteenth aspect of the present invention, there is provided the encoded signal decoding method according to the fourteenth aspect, wherein the macroblock decoding step includes the step of determining whether the macroblock decoding step includes a region having the same image information in another screen. The reproduced image generation step includes the step of: generating the reproduced image from the reproduced image stored in the reproduced image storage step and the motion vector decoded in the macroblock decoding step. Is generated.
[0080]
According to a sixteenth aspect of the present invention, in the coded signal decoding method according to the fifteenth aspect, the step of extracting the cut-out area data includes an image area serving as a movement source of the motion vector. A two-screen primary decoded signal is also extracted, and the reproduced image storing step stores a reproduced image of the image area to be moved.
[0081]
According to a seventeenth aspect of the present invention, in the coded signal decoding method according to any one of the tenth to sixteenth aspects, the inputting step comprises the steps of: -2 bit stream, wherein the first decoding step decodes from the MPEG-2 bit stream to a slice header, and the second decoding step decodes from a signal decoded to a slice header to a block layer. It is a feature.
[0082]
According to an eighteenth aspect of the present invention, in order to solve the above problem, a first screen coded signal obtained by coding a moving image composed of a plurality of screens having a screen size of a first screen size is input, and An encoded signal decoding step of outputting a second screen decoded signal obtained by decoding an area of a second screen size smaller than the first screen size from the screen encoded signal;
[0083]
Receiving the second screen decoded signal output in the coded signal decoding step, encoding the second screen decoded signal into a second screen coded signal that is the coded signal of the second screen size, A decoded signal encoding step of outputting a two-screen encoded signal.
[0084]
The encoded signal decoding step decodes the first screen encoded signal into the second screen decoded signal by the encoded signal decoding method according to any one of claims 10 to 17. It is assumed that.
[0085]
According to a nineteenth aspect of the present invention, in order to solve the above problem, an input step of inputting a first screen coded signal obtained by coding a moving image composed of a plurality of screens having a screen size of a first screen size, Coded area transform decoding for setting a second screen size smaller than the first screen size and generating a second screen decoded signal obtained by decoding the area of the second screen size of the moving image from the first screen coded signal And an output step of outputting the second screen decoded signal generated in the coding area conversion decoding step,
[0086]
The coding area conversion / decoding step decodes unified information in a small image obtained by dividing the screen into a plurality of parts from the first screen coded signal input in the input step, and converts the unified information into a first screen primary decoded signal A first decoding step of setting, a cutout area setting step of setting a predetermined cutout area of the second screen size from the image area of the first screen size, and a first screen primary decoding decoded in the first decoding step A cut-out area data extraction step for extracting a second screen primary decoded signal for decoding the cut-out area set in the cut-out area setting step from a signal, and a second screen primary extracted in the cut-out area data extraction step A second decoding step of decoding the decoded signal into a second screen decoded signal of the second screen size.
[0087]
According to a twentieth aspect of the present invention, in the coded signal decoding program according to the nineteenth aspect, the clipping area setting step includes fixing the clipping area to a predetermined area of the first screen size moving image. An area of a second screen size is set, and the area of the second screen size is set as the cutout area.
[0088]
According to a twenty-first aspect of the present invention, in order to solve the above problem, in the encoded signal decoding program according to the nineteenth aspect, a cutout area for inputting cutout area designation information for specifying a cutout area set in the cutout area setting step. The information processing apparatus further comprises a designation information input step, wherein the cutout area setting step sets the cutout area in accordance with the cutout area designation information input in the cutout area designation information input step.
[0089]
According to a twenty-second aspect of the present invention, in order to solve the above problem, in the coded signal decoding program according to the nineteenth aspect, the first screen coded signal input in the input step includes a first screen coded signal included in a screen constituting the moving image. Orthogonally transforms pixel values of each macroblock consisting of a plurality of pixels into orthogonal transform coefficient area data, quantizes the transformed orthogonal transform coefficient area data into quantized coefficient area data by a quantization parameter, A signal obtained by creating unified information for each slice composed of a macroblock band, and performing variable-length encoding on data having unified information in the slice and quantized coefficient area data for each macroblock,
[0090]
The first decoding step decodes unified information in the slice from the first screen coded signal input in the input step, and quantizes orthogonal transform coefficient domain data in the arbitrary number of macroblocks. Decoding a representative quantization parameter, which is a representative value of the quantization parameter, and setting the cutout region setting step to select a slice to be the cutout region from a plurality of slices according to the representative quantization parameter decoded in the first decoding step. Setting, and extracting the cut-out area data, wherein the set slice is selected from the first screen primary decoded signal, and the second screen primary decoded signal is extracted.
[0091]
According to a twenty-third aspect of the present invention, in the encoded signal decoding program according to the twenty-second aspect, in the encoded signal decoding program according to the twenty-second aspect, the second decoding step includes the second screen 1 of the slice extracted in the cut-out area data extraction step. A macroblock decoding step of decoding, from the next decoded signal, the quantized coefficient area data for the second screen size and the quantization parameter for each macroblock, and a quantum decoded in the macroblock decoding step. Dequantizing the quantized coefficient area data using the decoded quantization parameter to generate orthogonal transform coefficient area data for a second screen size, and the inverse quantization step. Inverse orthogonal transform of orthogonal transform coefficient area data to generate coefficient area decoded data for the second screen size decoded from the transform coefficients An inverse orthogonal transformation step, a reproduced image storage step of storing the decoded second image signal, which is a signal of a decoded reproduced image, a reproduced image stored in the reproduced image storage step, and an inverse orthogonal transformation step. And a reproduced image generating step of generating the second screen decoded signal, which is a signal of a new reproduced image, from the newly generated coefficient area decoded data.
[0092]
According to a twenty-fourth aspect of the present invention, there is provided the encoded signal decoding program according to the twenty-third aspect, wherein the macroblock decoding step is performed by using an area corresponding to an area having the same image information in another screen. The reproduced image generation step includes the step of: generating the reproduced image from the reproduced image stored in the reproduced image storage step and the motion vector decoded in the macroblock decoding step. Is generated.
[0093]
According to a twenty-fifth aspect of the present invention, in the coded signal decoding program according to the twenty-fourth aspect, in the encoded signal decoding program according to the twenty-fourth aspect, the extraction area data extraction step includes an image area serving as a movement source of the motion vector. A two-screen primary decoded signal is also extracted, and the reproduced image storing step stores a reproduced image of the image area to be moved.
[0094]
According to a twenty-sixth aspect of the present invention, in the coded signal decoding program according to any one of the nineteenth to twenty-fifth aspects, the inputting step comprises the steps of: -2 bit stream, wherein the first decoding step decodes from the MPEG-2 bit stream to a slice header, and the second decoding step decodes from a signal decoded to a slice header to a block layer. It is a feature.
[0095]
According to a twenty-seventh aspect of the present invention, in order to solve the above problem, a first screen coded signal obtained by coding a moving image composed of a plurality of screens having a screen size of a first screen size is input, An encoded signal decoding step of outputting a second screen decoded signal obtained by decoding an area of a second screen size smaller than the first screen size from the screen encoded signal;
[0096]
Receiving the second screen decoded signal output in the coded signal decoding step, encoding the second screen decoded signal into a second screen coded signal that is the coded signal of the second screen size, A decoded signal encoding step of outputting a two-screen encoded signal.
[0097]
The encoded signal decoding step decodes the first screen encoded signal into the second screen decoded signal by the encoded signal decoding program according to any one of claims 19 to 26. It is assumed that.
[0098]
The invention according to claim 28, in order to solve the above problem, an input step of inputting a first screen coded signal obtained by coding a moving image composed of a plurality of screens whose screen size is the first screen size; Coded area transform decoding for setting a second screen size smaller than the first screen size and generating a second screen decoded signal obtained by decoding the area of the second screen size of the moving image from the first screen coded signal And an output step of outputting the second screen decoded signal generated in the coding area conversion decoding step,
[0099]
The coding area conversion / decoding step decodes unified information in a small image obtained by dividing the screen into a plurality of parts from the first screen coded signal input in the input step, and converts the unified information into a first screen primary decoded signal A first decoding step of setting, a cutout area setting step of setting a predetermined cutout area of the second screen size from the image area of the first screen size, and a first screen primary decoding decoded in the first decoding step A cutout area data extraction step for extracting a second screen primary decoded signal for decoding the cutout area set in the cutout area setting step from a signal, and a second screen primary extracted in the cutout area data extraction step A second decoding step of decoding the decoded signal into a second screen decoded signal of the second screen size.
[0100]
According to a twenty-ninth aspect of the present invention, in order to solve the above-mentioned problem, in a medium on which the coded signal decoding program according to the twenty-eighth aspect is recorded, the first screen coded signal input in the inputting step includes the moving picture. The pixel value of each macro block consisting of a plurality of pixels in the screen to be configured is orthogonally transformed into orthogonal transform coefficient area data, and the transformed orthogonal transform coefficient area data is quantized into quantization coefficient area data by a quantization parameter. A signal in which unified information is created for each slice consisting of a band of any number of the macroblocks, and data having variable length coding of the unified information in the slice and the quantized coefficient area data for each macroblock,
[0101]
The first decoding step decodes unified information in the slice from the first screen coded signal input in the input step, and quantizes orthogonal transform coefficient domain data in the arbitrary number of macroblocks. Decoding a representative quantization parameter, which is a representative value of the quantization parameter, and setting the cut-out area setting step as a cut-out area slice from a plurality of slices according to the representative quantization parameter decoded in the first decoding step. Setting, and the extraction region data extracting step selects the set slice from the first screen primary decoded signal, and extracts the second screen primary decoded signal,
[0102]
The second decoding step includes: for each of the macroblocks, the quantization coefficient area data for the second screen size, from the second screen primary decoded signal of the slice extracted in the cutout area data extraction step; A macroblock decoding step of decoding the parameters, and dequantizing the quantized coefficient area data decoded in the macroblock decoding step using the decoded quantization parameters to obtain an orthogonal number corresponding to the second screen size. An inverse quantization step for generating transform coefficient area data; and coefficient area decoded data for a second screen size, which is inverse orthogonally transformed from the orthogonal transform coefficient area data generated in the inverse quantization step and is decoded from transform coefficients. And an inverse orthogonal transform step for generating a second image decoded signal, which is a decoded image signal of the reproduced image. From the reproduced image stored in the reproduced image storing step and the coefficient area decoded data newly generated in the inverse orthogonal transformation step, the second screen decoded signal which is a signal of a new reproduced image is obtained. And generating a reproduced image.
[0103]
According to a thirtieth aspect of the present invention, in order to solve the above-mentioned problem, in the medium recording the coded signal decoding program according to the twenty-ninth aspect, the macroblock decoding step has the same image information in another screen. Decoding a motion vector indicating the amount of movement of the region with the region, wherein the reproduced image generation step comprises: reproducing the image stored in the reproduced image storage step; and the motion vector decoded in the macroblock decoding step. It is characterized in that a new reproduced image is generated.
[0104]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
[0105]
FIGS. 1 and 2 show an encoded signal decoding device (decoder) according to a first embodiment of the present invention. As shown in FIGS. 1 and 2, the coded signal decoding device 1001 includes a signal input unit 1010, a coding region transform decoding unit 1020, and a signal output unit 1050.
[0106]
Also, the coded signal decoding device 1001 inputs a first screen coded signal obtained by coding a moving image composed of a plurality of screens whose screen size is the first screen size, and outputs the first screen coded signal from the first screen coded signal. A required signal is extracted, decoded into a second screen decoded signal that is a decoded signal of a moving image having a second screen size smaller than the first screen size, and output.
[0107]
Further, a general encoding device (encoder) is provided following the encoded signal decoding device of the present embodiment, and the second screen decoded signal output from the encoded signal decoding device is encoded. Thus, it is possible to realize a coded signal conversion device (transcoder) that converts a coded signal of the first screen size into a coded signal of the second screen size. This coded signal conversion device will be described later.
[0108]
Here, the first screen coded signal is, for example, a bit stream (BS) compressed and coded by a compression method such as MPEG-2 or MPEG-4. In the present embodiment, an encoded signal to be handled is mainly described as an MPEG-2 video signal.
[0109]
Prior to the description, the data structure of the MPEG-2 video signal will be briefly described.
[0110]
FIGS. 3, 4 and 5 show diagrams for explaining the data structure of the MPEG-2 video signal. FIG. 3 shows the hierarchical structure of the MPEG-2 image data, FIG. 4 shows the hierarchical structure of the data of the MPEG-2 video signal in an easy-to-understand manner, and FIG. 5 shows the structure of the MPEG-2 video signal. It shows the sequence of actual data.
[0111]
As shown in FIGS. 3, 4 and 5, the image data handled by the MPEG-2 video signal includes a sequence layer, a GOP (group of picture) layer, a picture layer, a slice layer, a macro block (MB) layer, It has a hierarchical structure of six block layers. Further, the GOP layer may not be provided.
[0112]
In such a hierarchical structure, one screen of a moving image is divided into slices, and further divided into macroblocks of 16 × 16 pixels. One macro block is divided into four luminance blocks of 8 × 8 pixels and two chrominance blocks of 8 × 8 pixels thinned out horizontally. Then, the pixel values of each block are orthogonally transformed, quantized, and further encoded to become MPEG-2 video signals.
[0113]
The sequence layer indicates a series of screen groups having the same attribute, for example, an image size, an image rate, and the like. The GOP layer indicates a minimum unit of a screen group serving as a unit of random access (time from the beginning of the sequence). Etc.).
[0114]
The picture layer indicates an attribute common to one screen, for example, a screen coding mode (picture type indicating coding within a screen or coding using previous and subsequent screens), and a slice layer. Indicates information common to small screens (macroblock bands) obtained by subdividing one screen (divided into arbitrary lengths in MPEG-1), for example, quantization characteristics.
[0115]
The macroblock layer indicates information common to pixel blocks (macroblocks composed of 16 × 16 pixels) obtained by further dividing the slice layer, for example, a motion vector (movement amount with the same picture in the previous and next screens) and the like. It is. The block layer indicates a transform coefficient itself obtained by orthogonally transforming the pixel value of each block.
[0116]
Therefore, the first screen coded signal of the present embodiment is obtained by orthogonally transforming a pixel value of each macroblock including a plurality of pixels in a screen constituting the moving image into orthogonal transform coefficient area data, and The orthogonal transform coefficient area data is quantized into quantization coefficient area data by a quantization parameter, and unified information is created for each slice composed of an arbitrary number of the macroblock bands, and unified information in the slice and unified information for each macroblock are generated. This is a signal obtained by performing variable length coding on data having quantization coefficient area data.
[0117]
Here, the description returns to the configuration diagram of the encoded signal decoding device 1001.
[0118]
The signal input unit 1010 inputs a first screen encoded signal. Further, as described above, the first screen encoded signal is a signal obtained by encoding a moving image including a plurality of screens whose screen size is the first screen size.
[0119]
The coding area conversion decoding unit 1020 sets a second screen size smaller than the first screen size, and generates the second screen decoded signal from the first screen coded signal. In addition, as described above, the second screen decoded signal is a signal obtained by decoding the area of the second screen size of the moving image.
[0120]
The signal output unit 1050 generates a second screen decoded signal generated by the coding area transform decoding unit 1020, that is, a second screen size smaller than the first screen size of the first screen coded signal input to the signal input unit 1010. It outputs a second screen coded signal which is a decoded signal of a moving image having a screen size.
[0121]
Also, the coding area conversion decoding section 1020 includes a first decoding section 1100, a cutout area setting section 1200, a cutout area data extraction section 1300, and a second decoding section 1400.
[0122]
The first decoding unit 1100 decodes unified information in a small image obtained by dividing the screen into a plurality of parts from the first screen coded signal input to the signal input unit 1010, and converts the unified information into a first screen primary decoded signal. Is what you do. Here, in the present embodiment, a small image obtained by dividing the screen will be described with a focus on a slice in MPEG-2.
[0123]
Also, the first decoding unit 1100 decodes unified information in the slice from the first screen coded signal input to the signal input unit 1010, and converts orthogonal transform coefficient area data in the arbitrary number of macroblocks. This is for decoding a representative quantization parameter which is a representative value of the quantized quantization parameter.
[0124]
The cut-out area setting unit 1200 sets a predetermined cut-out area of the second screen size from the image area of the first screen size. The information set as the cutout area is output to the cutout area data extraction unit 1300 as cutout area setting information.
[0125]
As a setting method of the cutout area, for example, there is a method of setting a slice to be the cutout area from a plurality of the slices according to the information (representative quantization parameter) decoded by the first decoding unit 1100.
[0126]
Further, an area of the second screen size fixed to a predetermined area of the moving image of the first screen size may be set, and the area of the second screen size may be set as the cutout area.
[0127]
The cut-out area data extracting unit 1300 performs second screen primary decoding on the basis of the cut-out area setting information set in the cut-out area setting unit 1200 from the first screen primary decoded signal decoded by the first decoding unit 1100. This is to extract the signal.
[0128]
The second screen primary decoded signal is used to decode a second screen size cutout area set in the cutout area setting unit 1200 from a first screen primary decode signal having first screen size information. Required signals are extracted.
[0129]
For example, only the slice set in the cut-out area setting unit 1200 is extracted from the primary decoded signal of the first screen.
[0130]
In addition, a region necessary for these predictions in consideration of a prediction mode, a motion vector, and the like is also extracted.
[0131]
FIG. 6 shows an example of a set cutout area and an area to be extracted for decoding.
[0132]
As shown in FIG. 6A, when the cutout area is set at the lower center of the screen, as shown in FIG. 6B, the slice having the cutout area, that is, all the horizontal lines in the screen including the cutout area are displayed. The region is extracted as a decoding (decoding) region. Further, as shown in FIG. 6C, a region used for motion compensation can be extracted as a decoding region from regions above and below the cutout region.
[0133]
The second decoding unit 1400 decodes the second screen primary decoded signal extracted by the cut-out area data extracting unit 1300 into a second screen decoded signal of the second screen size.
[0134]
FIG. 2 is a block diagram showing a detailed configuration of the second decoding unit 1400.
[0135]
As shown in FIG. 2, the second decoding unit 1400 includes a macroblock decoding unit 1410, an inverse quantization unit 1420, an inverse orthogonal transform unit 1430, a frame memory (reproduced image storage unit) 1440, and a reproduced image generation unit 1450. I have.
[0136]
The macroblock decoding unit 1410 quantizes orthogonal transform coefficient area data obtained by orthogonally transforming pixel value data for each macroblock from the second screen primary decoded signal of the slice extracted by the cutout area data extraction unit 1300. The decoding unit decodes the quantization parameter and the quantized coefficient area data obtained by quantizing the orthogonal transform coefficient area data using the quantization parameter.
[0137]
When a motion vector is encoded, the macroblock decoding unit 1410 also decodes the encoded motion vector.
[0138]
The inverse quantization unit 1420 inversely quantizes the quantized coefficient area data decoded by the macroblock decoding unit 1410 using the decoded quantization parameter to generate orthogonal transform coefficient area data.
[0139]
The inverse orthogonal transform unit 1430 performs inverse orthogonal transform on the orthogonal transform coefficient region data generated by the inverse quantization unit 1420 and generates coefficient region decoded data of a second screen size to be decoded from the transform coefficients. .
[0140]
The frame memory 1440 stores the second screen decoded signal which is a signal of a decoded reproduced image.
[0141]
The frame memory 1440 also stores a reproduced image of an image area from which the motion vector is moved.
[0142]
The reproduced image generation unit 1450 includes the reproduced image stored in the frame memory 1440, the motion vector decoded by the macroblock decoding unit 1410, and the coefficient area decoded data newly generated by the inverse orthogonal transform unit 1430. , To generate a second screen decoded signal which is a signal of a new reproduced image.
[0143]
Further, the reproduced image generation unit 1450 includes a motion compensation unit 1451 and a synthesis unit 1452.
[0144]
The motion compensating unit 1451 receives the motion vector decoded by the macroblock decoding unit 1410, inputs a region from which the motion vector is to be moved from the decoded reproduced image stored in the frame memory 1440, and From the reproduced image and the motion vector, motion vector decoding area data indicating a part of the reproduced image decoded from the motion vector is generated.
[0145]
The combining unit 1452 combines the coefficient region decoded data transformed by the inverse orthogonal transform unit 1430 and the motion vector decoded region data generated by the motion compensating unit 1451, and generates a second image which is a reproduced image of the second screen size. A screen decoding signal is generated.
[0146]
In the coded signal decoding apparatus 1001 configured as described above, for example, when an MPEG-2 bit stream is input as the first screen coded signal from the signal input unit 1010, the first decoding unit 1100 outputs the MPEG-2 bit stream. The stream from the stream to the slice header is decoded to obtain a first screen primary decoded signal, and a cut-out area data extracting unit 1300 extracts a second screen primary decoded signal required for a moving image of the second screen size, and a second decoding unit 1400 Thus, decoding is performed from the second screen primary decoded signal decoded up to the slice header to the block layer.
[0147]
Hereinafter, the operation in encoded signal decoding apparatus 1001 will be described.
[0148]
In the coded signal decoding device 1001, a first screen coded signal, for example, a signal such as MPEG-2BS (bit stream) is input to a signal input unit 1010. The first screen coded signal input to signal input section 1010 is output from signal input section 1010 to coding area transform decoding section 1020.
[0149]
In the coding area transform decoding section 1020, the first screen coded signal input from the signal input section 1010 is input to the first decoding section 1100.
[0150]
The first decoding unit 1100 decodes the input first screen coded signal up to the slice header to generate a first screen first decoded signal. This first screen primary decoded signal includes macroblock layer data before decoding, representative quantization parameters in a slice, and the like. The generated first screen primary decoded signal is output to cutout area setting section 1200 and cutout area extraction section 1300.
[0151]
The cut-out area setting unit 1200 receives the first screen primary decoded signal from the first decoding unit 1100, and sets the slice of the cut-out area according to the representative quantization parameter for each slice decoded from the slice header. This setting information is used as cutout area setting information. When the region to be cut out from the moving image is fixed, a slice for decoding the fixed region is set. The set cut-out area setting information is output to the cut-out area data extraction unit 1300.
[0152]
The cut-out area data extraction unit 1300 inputs the first screen primary decoded signal from the first decoding unit 1100, and inputs the cut-out area setting information from the cut-out area setting unit 1200. When the cut-out area setting information is input, the first screen primary decoded signal including only slices for decoding the reproduced image of the second screen area, that is, the second screen primary decoded signal is input in accordance with the cut-out area setting information. Extract. The extracted second screen primary decoded signal is output to second decoding section 1400.
[0153]
The second decoding section 1400 inputs the second screen primary decoded signal input from the cut-out area data extraction section 1300 to the macroblock decoding section 1410.
[0154]
The macroblock decoding unit 1410 receives the second screen primary decoded signal, decodes the decoded signal for each macroblock, and obtains a quantization parameter, quantized coefficient area data, a motion vector, and the like. The decoded quantization parameter and the quantized coefficient area data are output to the inverse quantization unit 1420, and the motion vector is output to the reproduced image generation unit 1450.
[0155]
The inverse quantization unit 1420 receives the quantization parameter and the quantization coefficient area data from the macroblock decoding unit 1410, inversely quantizes the quantization coefficient area data using the quantization parameter, and generates a second image Generate orthogonal transform coefficient area data for the size. The generated orthogonal transform coefficient area data for the second image size is output to the inverse orthogonal transform unit 1430.
[0156]
The inverse orthogonal transform unit 1430 receives the orthogonal transform coefficient region data from the inverse quantization unit 1420, performs inverse orthogonal transform, and generates coefficient region decoded data for the second image size. The generated coefficient area decoded data for the second image size is output to the reproduced image generation unit 1450.
[0157]
In the reproduced image generation unit 1450, the motion vector input from the macroblock decoding unit 1410 is input to the motion compensation unit 1451, and the coefficient area decoded data of the second screen size input from the inverse orthogonal transform unit 1430 is input to the synthesis unit 1452. input.
[0158]
The motion compensation unit 1451 receives a motion vector from the macroblock decoding unit 1410, and inputs a region from which the motion vector is to be moved from a decoded reproduced image stored in the frame memory 1440. Then, from the decoded reproduced image and the motion vector, motion vector decoded area data indicating a part of the reproduced image is generated. The generated motion vector decoding area data is output to the synthesis unit 1452.
[0159]
The combining section 1452 receives the coefficient domain decoded data from the inverse orthogonal transform section 1430 and the motion vector decoded domain data from the motion compensating section 1451. The input orthogonal transform coefficient area data and the motion vector decoded area data are combined to generate a second screen decoded signal that is a reproduced image of the second screen size. The generated second screen decoded signal is output to the signal output unit 1050 and also to the frame memory 1440.
[0160]
The frame memory 1440 receives the second screen decoded signal from the synthesizing unit 1452 and stores it as a reproduced image. The stored reproduced image is output to the motion compensation unit 1451 for subsequent signal decoding processing, and is used as described above.
[0161]
In the signal output unit 1050, the second screen decoded signal input from the coding area conversion decoding unit 1020, that is, the first screen coding which is the signal of the moving image of the first screen size input to the coded signal decoding device 1001. A signal obtained by decoding a moving image of the second screen size from the signal is output to the outside.
[0162]
By the above processing, the first coded signal in which the moving image of the first image size is coded is input, the slice header is decoded, and only the area of the second image size smaller than the first image size is cut out. The decoding process is performed up to the block layer only on the portions that are unnecessary, and the reproduced image of the second image size is output. Therefore, the decoding process can be efficiently performed without performing unnecessary decoding process, and the required image is quickly reproduced. be able to.
[0163]
Also, when performing code amount conversion for performing re-encoding to change the compression ratio following this process, encoding can be performed with the screen size reduced in advance. Instead, the code amount conversion can be performed at an image compression rate suitable for the converted image size, and the converted image can be kept clear.
[0164]
Next, an encoded signal decoding apparatus according to a second embodiment of the present invention will be described with reference to FIG.
[0165]
As shown in FIG. 7, the coded signal decoding device 1005 includes a signal input unit 1010, a coding area conversion decoding unit 1025, and a signal output unit 1050.
[0166]
The signal input unit 1010 and the signal output unit 1050 are the same as those having the same numbers shown in the first embodiment.
[0167]
The coding region conversion decoding unit 1025 includes a first decoding unit 1100, a cutout region setting unit 1205, a cutout region data extraction unit 1300, a second decoding unit 1400, and a cutout region information input unit 1500.
[0168]
The first decoding unit 1100, the cut-out area data extraction unit 1300, and the second decoding unit 1400 are the same as those having the same numbers shown in the first embodiment.
[0169]
The cut-out area specification information input unit 1500 is for externally inputting cut-out area specification information for specifying a cut-out area set by the cut-out area setting unit 1205.
[0170]
The cutout area setting unit 1205 sets a predetermined cutout area of the second screen size from the image area of the first screen size, similarly to the cutout area setting unit 1200 described in the first embodiment. In addition to a function of outputting information set as an area as cutout area setting information to the cutout area data extraction unit 1300, a cutout area is set according to the cutout area designation information input to the cutout area designation information input unit 1500. is there.
[0171]
Hereinafter, the operation of encoded signal decoding apparatus 1005 will be described.
[0172]
In the coded signal decoding apparatus 1005, cut-out area specifying information for specifying a cut-out area set by the cut-out area setting unit 1200 is input from the cut-out area specifying information input unit 1500 from outside.
[0173]
When the cut-out area specifying information input unit 1500 receives the cut-out area specifying information, the cut-out area specifying information is output to the cut-out area setting unit 1200, and the cut-out area is designated.
[0174]
Hereinafter, the operation when the first screen coded signal is input to the coded signal decoding apparatus 1005 in a state where the cutout area setting information is input to the cutout area setting unit 1205 from the cutout area information input unit 1500 will be described. I do.
[0175]
In the encoded signal decoding device 1005, the first screen encoded signal is input to the signal input unit 1010. The first screen coded signal input to signal input section 1010 is output from signal input section 1010 to coding area transform decoding section 1025.
[0176]
The coding area transform decoding unit 1025 inputs the first screen coded signal input from the signal input unit 1010 to the first decoding unit 1100.
[0177]
The first decoding unit 1100 decodes the input first screen coded signal up to the slice header to generate a first screen first decoded signal. The generated first screen primary decoded signal is output to cutout region setting unit 1205 and cutout region extraction unit 1300.
[0178]
The cutout area setting unit 1205 inputs the first screen primary decoded signal from the first decoding unit 1100, and sets a slice of an area to be cutout according to the cutout area designation information input from the cutout area information input unit 1500. The set cut-out area setting information is output to the cut-out area data extracting unit 1300.
[0179]
The cut-out area data extraction unit 1300 inputs the first screen primary decoded signal from the first decoding unit 1100, and inputs the cut-out area setting information from the cut-out area setting unit 1205. When the cut-out area setting information is input, the first screen primary decoded signal including only slices for decoding the reproduced image of the second screen area, that is, the second screen primary decoded signal is input in accordance with the cut-out area setting information. Extract. The extracted second screen primary decoded signal is output to second decoding section 1400.
[0180]
Hereinafter, similarly to the first embodiment, the decoding process is performed only in the extracted range, and the second screen decoded signal from the signal output unit 1050, that is, the first screen input to the coded signal decoding device 1005 is input. A signal obtained by decoding a moving image of a specified area of a second screen size from a first screen coded signal that is a signal of a moving image of a screen size is output to the outside.
[0181]
By the above processing, the first encoded signal in which the moving image of the first image size is encoded is input, the area is designated from the outside, only the necessary portion is decoded, and the reproduced image of the second image size is reproduced. Is output, the decoding process can be efficiently performed without performing unnecessary decoding process, and the required image can be quickly reproduced.
[0182]
Next, an encoded signal conversion device according to a third embodiment of the present invention will be described with reference to FIG.
[0183]
As shown in FIG. 8, the coded signal conversion device 5000 includes a coded signal decoding device 1007 and a coding device 3000.
[0184]
The coded signal decoding device 1007 is the same as the coded signal decoding device 1001 of the above-described first embodiment, and receives a first screen coded signal obtained by coding a moving image of a first image size. Then, only the area of the second image size smaller than the first image size is cut out, only the necessary portion is decoded, and the second screen decoded signal which is the reproduced image of the second image size is output.
[0185]
The encoding device 3000 is a general encoding device, receives a second screen decoded signal that is a reproduced image of the second image size, and receives a second screen encoded signal that is an encoded signal of the second image size. And outputs the coded second screen coded signal.
[0186]
Hereinafter, the operation in encoded signal conversion apparatus 5000 will be described.
[0187]
In the coded signal conversion device 5000, when a first screen coded signal obtained by coding a moving image of the first image size is input, the first screen coded signal is input to the coded signal decoding device 1007.
[0188]
The coded signal decoding apparatus 1007 receives the coded first screen signal, cuts out only the area of the second image size smaller than the first image size, decodes only a necessary part, and reproduces the second image size. A second screen decoded signal, which is an image, is output to decoding device 3000.
[0189]
The encoding device 3000 receives the second screen decoded signal from the encoded signal decoding device 1007, re-encodes it, and outputs a second screen encoded signal that is an encoded signal of the second image size.
[0190]
Therefore, it is possible to input a first screen coded signal in which a moving image of the first image size is coded, cut out only a necessary area, decode and re-encode, and thus the processing speed is high, and It is possible to perform a coded signal conversion process with a reduced burden.
[0191]
【The invention's effect】
According to the present invention, a first encoded signal obtained by encoding a moving image of a first image size is input, only header information is decoded, and only a signal of an area of a second image size smaller than the first image size is decoded. , And only the necessary part is decoded, and the reproduced image of the second image size is output. Therefore, the decoding processing efficiency can be greatly improved without performing unnecessary decoding processing, and the required image can be quickly obtained. Can be played.
[0192]
Further, according to the present invention, a first encoded signal obtained by encoding a moving image of a first image size is input, an area is designated from the outside, only a necessary part is decoded, and a second image size is decoded. Since the reproduced image is output, the decoding process can be efficiently performed without performing unnecessary decoding process, and the required image can be quickly reproduced.
[0193]
Furthermore, according to the present invention, when performing a code amount conversion for changing a compression rate and performing re-encoding after decoding an input signal, the first screen encoding in which a moving image of a first image size is encoded is performed. Since signals can be input, only necessary areas can be cut out, decoded, and re-encoded, encoding can be performed with a reduced screen size in advance, processing speed is high, and the load on the device is reduced. The reduced encoded signal conversion processing can be performed, and the compression rate does not increase due to unnecessary portions, and the code amount conversion can be performed at an image compression rate suitable for the converted image size. Can be kept clear.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an embodiment of an encoded signal decoding device according to the present invention.
FIG. 2 is a block diagram illustrating an embodiment of an encoded signal decoding device (second decoding unit) according to the present invention.
FIG. 3 is a configuration diagram showing a hierarchy of MPEG-2 image data.
FIG. 4 is a configuration diagram showing a hierarchy of data of an MPEG-2 video signal.
FIG. 5 is a configuration diagram showing a sequence of actual data of an MPEG-2 video signal.
FIG. 6 is a diagram showing a cut-out area and a data extraction area according to an embodiment.
FIG. 7 is a block diagram showing an encoded signal decoding device according to one embodiment.
FIG. 8 is a block diagram illustrating an encoded signal conversion device according to one embodiment.
FIG. 9 is a schematic block diagram of a conventional transcoder (encoded signal conversion device).
FIG. 10 is a flowchart illustrating a TM5 rate control process of MPEG-2 in a conventional transcoder.
FIG. 11 is a schematic block diagram of a conventional transcoder.
FIG. 12 is a flowchart showing processing of a conventional transcoder.
FIG. 13 is a schematic block diagram of a conventional transcoder.
FIG. 14 is a flowchart showing processing of a conventional transcoder.
[Explanation of symbols]
50 Transcoder (encoded signal converter)
51 VLD (variable length decoding means)
53 Dequantizer (Dequantizer)
55 Quantizer (quantization means)
57 VLC (Variable Length Coding Means)
59 Rate control unit
60 Transcoder
61 Delay circuit
63 Bit rate ratio calculator
65 Input code amount integration unit
67 Difference code amount calculation unit
69 Target output code amount update unit
71 Quantization scale code calculation unit
80 Transcoder
81 VLD
83 Target output code amount update unit
85 Quantization scale code calculation unit
1001, 1005, 1007 coded signal decoding device
1010 Signal input section
1020, 1025 coding area conversion decoding section
1050 signal output unit
1100 First decoding unit
1200, 1205 cutout area setting unit
1300 Extraction area data extraction unit
1400 Second decoding unit
1410 Macroblock decoding unit
1420 Inverse quantization unit
1430 inverse orthogonal transform unit
1440 frame memory (playback image storage unit)
1450 Playback image generation unit
1451 Motion compensation unit
1452 synthesis unit
1500 cut-out area information input unit
3000 encoding device
5000 Coded signal converter

Claims (30)

画面サイズが第1画面サイズである複数の画面から構成される動画像を符号化した第1画面符号化信号を入力する入力手段と、
前記第1画面サイズより小さい第2画面サイズを設定し、前記第1画面符号化信号から前記動画像の前記第2画面サイズの領域を復号した第2画面復号信号を生成する符号化領域変換復号手段と、
前記符号化領域変換復号手段に生成された第2画面復号信号を出力する出力手段と、
を備え、
前記符号化領域変換復号手段が、
前記入力手段に入力された第1画面符号化信号から、前記画面を複数に分割した小画像内の統一情報を復号し、第1画面1次復号信号に変換する第1復号手段と、
前記第1画面サイズの画像領域から前記第2画面サイズの所定の切り出し領域を設定する切り出し領域設定手段と、
前記第1復号手段に復号された第1画面1次復号信号から前記切り出し領域設定手段に設定された切り出し領域を復号するための第2画面1次復号信号を抽出する切り出し領域データ抽出手段と、
前記切り出し領域データ抽出手段に抽出された第2画面1次復号信号から、前記第2画面サイズの第2画面復号信号に復号する第2復号手段と、
を備えたことを特徴とする符号化信号復号装置。
Input means for inputting a first screen coded signal obtained by coding a moving image composed of a plurality of screens whose screen size is the first screen size;
Coding area conversion decoding for setting a second screen size smaller than the first screen size and generating a second screen decoded signal obtained by decoding the area of the second screen size of the moving image from the first screen coded signal Means,
Output means for outputting the second screen decoded signal generated by the coding area conversion decoding means;
With
The coding area conversion decoding means,
A first decoding unit that decodes unified information in a small image obtained by dividing the screen into a plurality of parts from the first screen encoded signal input to the input unit, and converts the unified information into a first screen primary decoded signal;
A cut-out area setting unit that sets a predetermined cut-out area of the second screen size from the image area of the first screen size;
Cut-out area data extraction means for extracting a second screen primary decoded signal for decoding the cut-out area set by the cut-out area setting means from the first screen primary decoded signal decoded by the first decoding means;
Second decoding means for decoding the second screen primary decoded signal extracted by the cut-out area data extracting means into a second screen decoded signal of the second screen size;
A coded signal decoding device comprising:
請求項1に記載の符号化信号復号装置において、
前記切り出し領域設定手段が、前記第1画面サイズの動画像の所定領域に固定の前記第2画面サイズの領域を設定し、この第2画面サイズの領域を前記切り出し領域として設定することを特徴とする符号化信号復号装置。
The encoded signal decoding device according to claim 1,
The clipping region setting means sets a region of the second screen size fixed to a predetermined region of the moving image of the first screen size, and sets the region of the second screen size as the clipping region. Encoded signal decoding device.
請求項1に記載の符号化信号復号装置において、
前記切り出し領域設定手段が設定する切り出し領域を指定する切り出し領域指定情報を入力させる切り出し領域指定情報入力手段を備え、
前記切り出し領域設定手段が、前記切り出し領域指定情報入力手段に入力された切り出し領域指定情報にしたがって切り出し領域を設定することを特徴とする符号化信号復号装置。
The encoded signal decoding device according to claim 1,
The clipping area setting information input means for inputting clipping area designation information for specifying a clipping area set by the clipping area setting means,
The encoded signal decoding apparatus, wherein the cutout area setting means sets a cutout area in accordance with the cutout area specification information input to the cutout area specification information input means.
請求項1に記載の符号化信号復号装置において、
前記入力手段が入力する第1画面符号化信号が、前記動画像を構成する画面内の複数の画素からなるマクロブロックごとの画素値を直交変換係数領域データに直交変換し、変換された前記直交変換係数領域データを量子化パラメータにより量子化係数領域データに量子化し、任意個の前記マクロブロックの帯からなるスライスごとに統一情報を作成し、前記スライス内の統一情報および前記マクロブロックごとの量子化係数領域データを有するデータを可変長符号化した信号であって、
前記第1復号手段が、前記入力手段に入力された第1画面符号化信号から、前記スライス内の統一情報を復号し、前記任意個のマクロブロック内の直交変換係数領域データを量子化した量子化パラメータの代表値である代表量子化パラメータを復号し、
前記切り出し領域設定手段が、前記第1復号手段に復号された代表量子化パラメータにしたがって、複数の前記スライスから前記切り出し領域とするスライスを設定し、
前記切り出し領域データ抽出手段が、前記第1画面1次復号信号から前記設定されたスライスを選択して、前記第2画面1次復号信号を抽出することを特徴とする符号化信号復号装置。
The encoded signal decoding device according to claim 1,
The first screen coded signal input by the input unit performs orthogonal transformation on pixel values of each macroblock including a plurality of pixels in a screen constituting the moving image into orthogonal transformation coefficient area data, and converts the transformed orthogonal The transform coefficient area data is quantized to quantized coefficient area data by a quantization parameter, and unified information is created for each slice composed of an arbitrary number of the macroblock bands. A variable-length coded signal having data having the coded coefficient area data,
The first decoding unit decodes unified information in the slice from the first screen coded signal input to the input unit, and quantizes orthogonal transform coefficient domain data in the arbitrary number of macroblocks. Decoding a representative quantization parameter that is a representative value of the quantization parameter,
The cutout area setting means sets a slice to be the cutout area from a plurality of slices according to the representative quantization parameter decoded by the first decoding means,
The coded signal decoding apparatus, wherein the cut-out area data extracting means selects the set slice from the first screen primary decoded signal and extracts the second screen primary decoded signal.
請求項4に記載の符号化信号復号装置において、
前記第2復号手段が、
前記切り出し領域データ抽出手段が抽出したスライスの第2画面1次復号信号から、前記マクロブロックごとに前記第2画面サイズ分の前記量子化係数領域データと、前記量子化パラメータと、を復号するマクロブロック復号手段と、
前記マクロブロック復号手段に復号された量子化係数領域データを、前記復号された量子化パラメータを用いて逆量子化して、第2画面サイズ分の直交変換係数領域データを生成する逆量子化手段と、
前記逆量子化手段で生成された直交変換係数領域データを、逆直交変換して変換係数から復号される第2画面サイズ分の係数領域復号データを生成する逆直交変換手段と、
復号された再生画像の信号である前記第2画面復号信号を記憶する再生画像記憶手段と、
前記再生画像記憶手段で記憶された再生画像と、前記逆直交変換手段で新たに生成された係数領域復号データと、から新たな再生画像の信号である前記第2画面復号信号を生成する再生画像生成手段と、
を備えたことを特徴とする符号化信号復号装置。
The encoded signal decoding device according to claim 4,
The second decryption means includes:
A macro for decoding the quantization coefficient area data for the second screen size and the quantization parameter for each macroblock from the second screen primary decoded signal of the slice extracted by the cut-out area data extraction means; Block decoding means;
Inverse quantization means for inversely quantizing the quantized coefficient area data decoded by the macroblock decoding means using the decoded quantization parameter to generate orthogonal transform coefficient area data for a second screen size; ,
Inverse orthogonal transform means for generating coefficient area decoded data for the second screen size, which is obtained by inverse orthogonal transform of the orthogonal transform coefficient area data generated by the inverse quantization means and decoded from the transform coefficients,
Reproduced image storage means for storing the second screen decoded signal which is a signal of a decoded reproduced image;
A reproduced image that generates the second screen decoded signal that is a signal of a new reproduced image from the reproduced image stored in the reproduced image storage unit and the coefficient area decoded data newly generated by the inverse orthogonal transform unit. Generating means;
A coded signal decoding device comprising:
請求項5に記載の符号化信号復号装置において、
前記マクロブロック復号手段が、他の画面内の同一の画像情報を有する領域との領域の移動量を示す動きベクトルを復号し、
前記再生画像生成手段が、前記再生画像記憶手段で記憶された再生画像と、前記マクロブロック復号手段で復号された動きベクトルと、から前記新たな再生画像を生成することを特徴とする符号化信号復号装置。
The encoded signal decoding device according to claim 5,
The macroblock decoding means decodes a motion vector indicating a moving amount of an area with an area having the same image information in another screen,
An encoded signal, wherein the reproduced image generating means generates the new reproduced image from the reproduced image stored in the reproduced image storage means and the motion vector decoded by the macroblock decoding means. Decoding device.
請求項6に記載の符号化信号復号装置において、
前記切り出し領域データ抽出手段が、前記動きベクトルの移動元となる画像領域を有する前記第2画面1次復号信号をも抽出し、
前記再生画像記憶手段が、前記移動元となる画像領域の再生画像を記憶することを特徴とする符号化信号復号装置。
The encoded signal decoding device according to claim 6,
The cut-out area data extracting means also extracts the second screen primary decoded signal having an image area from which the motion vector is moved;
The encoded signal decoding device, wherein the reproduced image storage means stores a reproduced image of the image area serving as the movement source.
請求項1から請求項7のいずれか1項に記載の符号化信号復号装置において、
前記入力手段が、第1画面符号化信号としてMPEG−2ビットストリームを入力し、
前記第1復号手段が、前記MPEG−2ビットストリームからスライスヘッダまで復号し、
前記第2復号手段が、スライスヘッダまで復号された信号からブロックレイヤまで復号することを特徴とする符号化信号復号装置。
The encoded signal decoding device according to any one of claims 1 to 7,
The input means inputs an MPEG-2 bit stream as a first screen encoded signal,
The first decoding means decodes from the MPEG-2 bit stream to a slice header,
An encoded signal decoding apparatus, wherein the second decoding means decodes a signal decoded up to a slice header to a block layer.
請求項1から請求項8のいずれか1項に記載の符号化信号復号装置と、
前記符号化信号復号装置から出力された前記第2画面復号信号を入力し、前記第2画面復号信号を前記第2画面サイズの符号化信号である第2画面符号化信号に符号化し、前記第2画面符号化信号を出力する復号信号符号化装置と、
を備えたことを特徴とする符号化信号変換装置。
An encoded signal decoding device according to any one of claims 1 to 8,
Receiving the second screen decoded signal output from the coded signal decoding apparatus, encoding the second screen decoded signal into a second screen coded signal that is the coded signal of the second screen size, A decoded signal encoding device that outputs a two-screen encoded signal;
A coded signal conversion device comprising:
画面サイズが第1画面サイズである複数の画面から構成される動画像を符号化した第1画面符号化信号を入力する入力ステップと、
前記第1画面サイズより小さい第2画面サイズを設定し、前記第1画面符号化信号から前記動画像の前記第2画面サイズの領域を復号した第2画面復号信号を生成する符号化領域変換復号ステップと、
前記符号化領域変換復号ステップで生成された第2画面復号信号を出力する出力ステップと、
を備え、
前記符号化領域変換復号ステップが、
前記入力ステップで入力された第1画面符号化信号から、前記画面を複数に分割した小画像内の統一情報を復号し、第1画面1次復号信号に変換する第1復号ステップと、
前記第1画面サイズの画像領域から前記第2画面サイズの所定の切り出し領域を設定する切り出し領域設定ステップと、
前記第1復号ステップで復号された第1画面1次復号信号から前記切り出し領域設定ステップで設定された切り出し領域を復号するための第2画面1次復号信号を抽出する切り出し領域データ抽出ステップと、
前記切り出し領域データ抽出ステップで抽出された第2画面1次復号信号から、前記第2画面サイズの第2画面復号信号に復号する第2復号ステップと、
を備えたことを特徴とする符号化信号復号方法。
An input step of inputting a first screen coded signal obtained by coding a moving image composed of a plurality of screens whose screen size is the first screen size;
Coding area conversion decoding for setting a second screen size smaller than the first screen size and generating a second screen decoded signal obtained by decoding the area of the second screen size of the moving image from the first screen coded signal Steps and
An output step of outputting a second screen decoded signal generated in the coding area conversion decoding step;
With
The coding area transform decoding step,
A first decoding step of decoding unified information in a small image obtained by dividing the screen into a plurality of parts from the first screen coded signal input in the input step, and converting the unified information into a first screen primary decoded signal;
A cutout area setting step of setting a predetermined cutout area of the second screen size from the image area of the first screen size;
A cut-out area data extracting step of extracting a second screen primary decoded signal for decoding the cut-out area set in the cut-out area setting step from the first screen primary decoded signal decoded in the first decoding step;
A second decoding step of decoding the second screen primary decoded signal extracted in the cut-out area data extraction step into a second screen decoded signal of the second screen size;
A coded signal decoding method comprising:
請求項10に記載の符号化信号復号方法において、
前記切り出し領域設定ステップが、前記第1画面サイズの動画像の所定領域に固定の前記第2画面サイズの領域を設定し、この第2画面サイズの領域を前記切り出し領域として設定することを特徴とする符号化信号復号方法。
The encoded signal decoding method according to claim 10,
The clipping area setting step sets an area of the second screen size fixed to a predetermined area of the moving image of the first screen size, and sets the area of the second screen size as the clipping area. Coded signal decoding method.
請求項10に記載の符号化信号復号方法において、
前記切り出し領域設定ステップで設定する切り出し領域を指定する切り出し領域指定情報を入力させる切り出し領域指定情報入力ステップを備え、
前記切り出し領域設定ステップが、前記切り出し領域指定情報入力ステップで入力された切り出し領域指定情報にしたがって切り出し領域を設定することを特徴とする符号化信号復号方法。
The encoded signal decoding method according to claim 10,
A clipping area designation information input step of inputting clipping area designation information for specifying a clipping area set in the clipping area setting step,
The encoded signal decoding method, wherein the cutout area setting step sets a cutout area in accordance with the cutout area designation information input in the cutout area designation information input step.
請求項10に記載の符号化信号復号方法において、
前記入力ステップで入力する第1画面符号化信号が、前記動画像を構成する画面内の複数の画素からなるマクロブロックごとの画素値を直交変換係数領域データに直交変換し、変換された前記直交変換係数領域データを量子化パラメータにより量子化係数領域データに量子化し、任意個の前記マクロブロックの帯からなるスライスごとに統一情報を作成し、前記スライス内の統一情報および前記マクロブロックごとの量子化係数領域データを有するデータを可変長符号化した信号であって、
前記第1復号ステップが、前記入力ステップで入力された第1画面符号化信号から、前記スライス内の統一情報を復号し、前記任意個のマクロブロック内の直交変換係数領域データを量子化した量子化パラメータの代表値である代表量子化パラメータを復号し、
前記切り出し領域設定ステップが、前記第1復号ステップで復号された代表量子化パラメータにしたがって、複数の前記スライスから前記切り出し領域とするスライスを設定し、
前記切り出し領域データ抽出ステップが、前記第1画面1次復号信号から前記設定されたスライスを選択して、前記第2画面1次復号信号を抽出することを特徴とする符号化信号復号方法。
The encoded signal decoding method according to claim 10,
The first screen coded signal input in the input step is an orthogonal transformation of pixel values for each macro block composed of a plurality of pixels in a screen constituting the moving image into orthogonal transformation coefficient area data, and the transformed orthogonal The transform coefficient area data is quantized to quantized coefficient area data by a quantization parameter, and unified information is created for each slice composed of an arbitrary number of the macroblock bands, and unified information in the slice and the quantization for each macroblock are generated. A variable-length coded signal having data having the coded coefficient area data,
The first decoding step decodes unified information in the slice from the first screen coded signal input in the input step, and quantizes orthogonal transform coefficient area data in the arbitrary number of macroblocks. Decoding a representative quantization parameter which is a representative value of the quantization parameter,
The cutout area setting step sets a slice to be the cutout area from a plurality of slices according to the representative quantization parameter decoded in the first decoding step,
The coded signal decoding method, wherein the extraction region data extracting step selects the set slice from the first screen primary decoded signal and extracts the second screen primary decoded signal.
請求項13に記載の符号化信号復号方法において、
前記第2復号ステップが、
前記切り出し領域データ抽出ステップで抽出したスライスの第2画面1次復号信号から、前記マクロブロックごとに前記第2画面サイズ分の前記量子化係数領域データと、前記量子化パラメータと、を復号するマクロブロック復号ステップと、
前記マクロブロック復号ステップで復号された量子化係数領域データを、前記復号された量子化パラメータを用いて逆量子化して、第2画面サイズ分の直交変換係数領域データを生成する逆量子化ステップと、
前記逆量子化ステップで生成された直交変換係数領域データを、逆直交変換して変換係数から復号される第2画面サイズ分の係数領域復号データを生成する逆直交変換ステップと、
復号された再生画像の信号である前記第2画面復号信号を記憶する再生画像記憶ステップと、
前記再生画像記憶ステップで記憶された再生画像と、前記逆直交変換ステップで新たに生成された係数領域復号データと、から新たな再生画像の信号である前記第2画面復号信号を生成する再生画像生成ステップと、
を備えたことを特徴とする符号化信号復号方法。
The encoded signal decoding method according to claim 13,
The second decoding step includes:
A macro for decoding the quantization coefficient area data for the second screen size and the quantization parameter for each macroblock from the second screen primary decoded signal of the slice extracted in the extraction area data extraction step. A block decoding step;
An inverse quantization step of inversely quantizing the quantized coefficient area data decoded in the macroblock decoding step using the decoded quantization parameter to generate orthogonal transform coefficient area data for a second screen size; ,
An inverse orthogonal transform step of generating coefficient area decoded data for a second screen size to be inverse orthogonally transformed from the orthogonal transform coefficient area data generated in the inverse quantization step and decoded from the transform coefficients;
A reproduced image storing step of storing the second screen decoded signal which is a signal of a decoded reproduced image;
A reproduced image that generates the second screen decoded signal, which is a signal of a new reproduced image, from the reproduced image stored in the reproduced image storage step and the coefficient area decoded data newly generated in the inverse orthogonal transformation step Generating step;
A coded signal decoding method comprising:
請求項14に記載の符号化信号復号方法において、
前記マクロブロック復号ステップが、他の画面内の同一の画像情報を有する領域との領域の移動量を示す動きベクトルを復号し、
前記再生画像生成ステップが、前記再生画像記憶ステップで記憶された再生画像と、前記マクロブロック復号ステップで復号された動きベクトルと、から前記新たな再生画像を生成することを特徴とする符号化信号復号方法。
The encoded signal decoding method according to claim 14,
The macroblock decoding step decodes a motion vector indicating a movement amount of an area with an area having the same image information in another screen,
The encoded signal, wherein the reproduced image generating step generates the new reproduced image from the reproduced image stored in the reproduced image storing step and the motion vector decoded in the macroblock decoding step. Decryption method.
請求項15に記載の符号化信号復号方法において、
前記切り出し領域データ抽出ステップが、前記動きベクトルの移動元となる画像領域を有する前記第2画面1次復号信号をも抽出し、
前記再生画像記憶ステップが、前記移動元となる画像領域の再生画像を記憶することを特徴とする符号化信号復号方法。
The encoded signal decoding method according to claim 15,
The extraction area data extraction step also extracts the second screen primary decoded signal having an image area from which the motion vector is moved,
The encoded signal decoding method, wherein the reproduced image storing step stores a reproduced image of the image area serving as the movement source.
請求項10から請求項16のいずれか1項に記載の符号化信号復号方法において、
前記入力ステップが、第1画面符号化信号としてMPEG−2ビットストリームを入力し、
前記第1復号ステップが、前記MPEG−2ビットストリームからスライスヘッダまで復号し、
前記第2復号ステップが、スライスヘッダまで復号された信号からブロックレイヤまで復号することを特徴とする符号化信号復号方法。
The encoded signal decoding method according to any one of claims 10 to 16, wherein:
The input step inputs an MPEG-2 bit stream as a first screen encoded signal,
The first decoding step decodes from the MPEG-2 bit stream to a slice header,
An encoded signal decoding method, wherein the second decoding step decodes a signal decoded up to a slice header to a block layer.
画面サイズが第1画面サイズである複数の画面から構成される動画像を符号化した第1画面符号化信号を入力し、前記第1画面符号化信号から前記第1画面サイズより小さい第2画面サイズの領域を復号した第2画面復号信号を出力する符号化信号復号ステップと、
前記符号化信号復号ステップで出力された前記第2画面復号信号を入力し、前記第2画面復号信号を前記第2画面サイズの符号化信号である第2画面符号化信号に符号化し、前記第2画面符号化信号を出力する復号信号符号化ステップと、
を備え、
前記符号化信号復号ステップが、請求項10から請求項17のいずれか1項に記載の符号化信号復号方法により、前記第1画面符号化信号を前記第2画面復号信号に復号することを特徴とする符号化信号変換方法。
A first screen coded signal obtained by coding a moving image composed of a plurality of screens whose screen size is the first screen size is input, and a second screen smaller than the first screen size from the first screen coded signal is input. A coded signal decoding step of outputting a second screen decoded signal obtained by decoding a size area;
Receiving the second screen decoded signal output in the coded signal decoding step, encoding the second screen decoded signal into a second screen coded signal that is the coded signal of the second screen size, A decoded signal encoding step of outputting a two-screen encoded signal;
With
The coded signal decoding step decodes the first screen coded signal into the second screen decoded signal by the coded signal decoding method according to any one of claims 10 to 17. Coded signal conversion method.
画面サイズが第1画面サイズである複数の画面から構成される動画像を符号化した第1画面符号化信号を入力する入力ステップと、
前記第1画面サイズより小さい第2画面サイズを設定し、前記第1画面符号化信号から前記動画像の前記第2画面サイズの領域を復号した第2画面復号信号を生成する符号化領域変換復号ステップと、
前記符号化領域変換復号ステップで生成された第2画面復号信号を出力する出力ステップと、
を備え、
前記符号化領域変換復号ステップが、
前記入力ステップで入力された第1画面符号化信号から、前記画面を複数に分割した小画像内の統一情報を復号し、第1画面1次復号信号に変換する第1復号ステップと、
前記第1画面サイズの画像領域から前記第2画面サイズの所定の切り出し領域を設定する切り出し領域設定ステップと、
前記第1復号ステップで復号された第1画面1次復号信号から前記切り出し領域設定ステップで設定された切り出し領域を復号するための第2画面1次復号信号を抽出する切り出し領域データ抽出ステップと、
前記切り出し領域データ抽出ステップで抽出された第2画面1次復号信号から、前記第2画面サイズの第2画面復号信号に復号する第2復号ステップと、
を備えたことを特徴とする符号化信号復号プログラム。
An input step of inputting a first screen coded signal obtained by coding a moving image composed of a plurality of screens whose screen size is the first screen size;
Coding area conversion decoding for setting a second screen size smaller than the first screen size and generating a second screen decoded signal obtained by decoding the area of the second screen size of the moving image from the first screen coded signal Steps and
An output step of outputting a second screen decoded signal generated in the coding area conversion decoding step;
With
The coding area transform decoding step,
A first decoding step of decoding unified information in a small image obtained by dividing the screen into a plurality of parts from the first screen coded signal input in the input step, and converting the unified information into a first screen primary decoded signal;
A cutout area setting step of setting a predetermined cutout area of the second screen size from the image area of the first screen size;
A cut-out area data extracting step of extracting a second screen primary decoded signal for decoding the cut-out area set in the cut-out area setting step from the first screen primary decoded signal decoded in the first decoding step;
A second decoding step of decoding the second screen primary decoded signal extracted in the cut-out area data extraction step into a second screen decoded signal of the second screen size;
A coded signal decoding program characterized by comprising:
請求項19に記載の符号化信号復号プログラムにおいて、
前記切り出し領域設定ステップが、前記第1画面サイズの動画像の所定領域に固定の前記第2画面サイズの領域を設定し、この第2画面サイズの領域を前記切り出し領域として設定することを特徴とする符号化信号復号プログラム。
The encoded signal decoding program according to claim 19,
The clipping area setting step sets an area of the second screen size fixed to a predetermined area of the moving image of the first screen size, and sets the area of the second screen size as the clipping area. Coded signal decoding program.
請求項19に記載の符号化信号復号プログラムにおいて、
前記切り出し領域設定ステップで設定する切り出し領域を指定する切り出し領域指定情報を入力させる切り出し領域指定情報入力ステップを備え、
前記切り出し領域設定ステップが、前記切り出し領域指定情報入力ステップで入力された切り出し領域指定情報にしたがって切り出し領域を設定することを特徴とする符号化信号復号プログラム。
The encoded signal decoding program according to claim 19,
A clipping area designation information input step of inputting clipping area designation information for specifying a clipping area set in the clipping area setting step,
The encoded signal decoding program, wherein the cutout area setting step sets a cutout area according to the cutout area designation information input in the cutout area designation information input step.
請求項19に記載の符号化信号復号プログラムにおいて、
前記入力ステップで入力する第1画面符号化信号が、前記動画像を構成する画面内の複数の画素からなるマクロブロックごとの画素値を直交変換係数領域データに直交変換し、変換された前記直交変換係数領域データを量子化パラメータにより量子化係数領域データに量子化し、任意個の前記マクロブロックの帯からなるスライスごとに統一情報を作成し、前記スライス内の統一情報および前記マクロブロックごとの量子化係数領域データを有するデータを可変長符号化した信号であって、
前記第1復号ステップが、前記入力ステップで入力された第1画面符号化信号から、前記スライス内の統一情報を復号し、前記任意個のマクロブロック内の直交変換係数領域データを量子化した量子化パラメータの代表値である代表量子化パラメータを復号し、
前記切り出し領域設定ステップが、前記第1復号ステップで復号された代表量子化パラメータにしたがって、複数の前記スライスから前記切り出し領域とするスライスを設定し、
前記切り出し領域データ抽出ステップが、前記第1画面1次復号信号から前記設定されたスライスを選択して、前記第2画面1次復号信号を抽出することを特徴とする符号化信号復号プログラム。
The encoded signal decoding program according to claim 19,
The first screen coded signal input in the input step is an orthogonal transformation of pixel values for each macro block composed of a plurality of pixels in a screen constituting the moving image into orthogonal transformation coefficient area data, and the transformed orthogonal The transform coefficient area data is quantized to quantized coefficient area data by a quantization parameter, and unified information is created for each slice composed of an arbitrary number of the macroblock bands, and unified information in the slice and the quantization for each macroblock are generated. A variable-length coded signal having data having the coded coefficient area data,
The first decoding step decodes unified information in the slice from the first screen coded signal input in the input step, and quantizes orthogonal transform coefficient area data in the arbitrary number of macroblocks. Decoding a representative quantization parameter which is a representative value of the quantization parameter,
The cutout area setting step sets a slice to be the cutout area from a plurality of slices according to the representative quantization parameter decoded in the first decoding step,
The encoded signal decoding program, wherein the extraction area data extracting step selects the set slice from the first screen primary decoded signal and extracts the second screen primary decoded signal.
請求項22に記載の符号化信号復号プログラムにおいて、
前記第2復号ステップが、
前記切り出し領域データ抽出ステップで抽出したスライスの第2画面1次復号信号から、前記マクロブロックごとに前記第2画面サイズ分の前記量子化係数領域データと、前記量子化パラメータと、を復号するマクロブロック復号ステップと、
前記マクロブロック復号ステップで復号された量子化係数領域データを、前記復号された量子化パラメータを用いて逆量子化して、第2画面サイズ分の直交変換係数領域データを生成する逆量子化ステップと、
前記逆量子化ステップで生成された直交変換係数領域データを、逆直交変換して変換係数から復号される第2画面サイズ分の係数領域復号データを生成する逆直交変換ステップと、
復号された再生画像の信号である前記第2画面復号信号を記憶する再生画像記憶ステップと、
前記再生画像記憶ステップで記憶された再生画像と、前記逆直交変換ステップで新たに生成された係数領域復号データと、から新たな再生画像の信号である前記第2画面復号信号を生成する再生画像生成ステップと、
を備えたことを特徴とする符号化信号復号プログラム。
23. The encoded signal decoding program according to claim 22, wherein
The second decoding step includes:
A macro for decoding the quantization coefficient area data for the second screen size and the quantization parameter for each macroblock from the second screen primary decoded signal of the slice extracted in the extraction area data extraction step. A block decoding step;
An inverse quantization step of inversely quantizing the quantized coefficient area data decoded in the macroblock decoding step using the decoded quantization parameter to generate orthogonal transform coefficient area data for a second screen size; ,
An inverse orthogonal transform step of generating coefficient area decoded data for a second screen size to be inverse orthogonally transformed from the orthogonal transform coefficient area data generated in the inverse quantization step and decoded from the transform coefficients;
A reproduced image storing step of storing the second screen decoded signal which is a signal of a decoded reproduced image;
A reproduced image that generates the second screen decoded signal, which is a signal of a new reproduced image, from the reproduced image stored in the reproduced image storage step and the coefficient area decoded data newly generated in the inverse orthogonal transformation step Generating step;
A coded signal decoding program characterized by comprising:
請求項23に記載の符号化信号復号プログラムにおいて、
前記マクロブロック復号ステップが、他の画面内の同一の画像情報を有する領域との領域の移動量を示す動きベクトルを復号し、
前記再生画像生成ステップが、前記再生画像記憶ステップで記憶された再生画像と、前記マクロブロック復号ステップで復号された動きベクトルと、から前記新たな再生画像を生成することを特徴とする符号化信号復号プログラム。
The encoded signal decoding program according to claim 23,
The macroblock decoding step decodes a motion vector indicating a movement amount of an area with an area having the same image information in another screen,
The encoded signal, wherein the reproduced image generating step generates the new reproduced image from the reproduced image stored in the reproduced image storing step and the motion vector decoded in the macroblock decoding step. Decryption program.
請求項24に記載の符号化信号復号プログラムにおいて、
前記切り出し領域データ抽出ステップが、前記動きベクトルの移動元となる画像領域を有する前記第2画面1次復号信号をも抽出し、
前記再生画像記憶ステップが、前記移動元となる画像領域の再生画像を記憶することを特徴とする符号化信号復号プログラム。
The encoded signal decoding program according to claim 24,
The extraction area data extraction step also extracts the second screen primary decoded signal having an image area from which the motion vector is moved,
The encoded signal decoding program, wherein the reproduced image storing step stores a reproduced image of the image area serving as the movement source.
請求項19から請求項25のいずれか1項に記載の符号化信号復号プログラムにおいて、
前記入力ステップが、第1画面符号化信号としてMPEG−2ビットストリームを入力し、
前記第1復号ステップが、前記MPEG−2ビットストリームからスライスヘッダまで復号し、
前記第2復号ステップが、スライスヘッダまで復号された信号からブロックレイヤまで復号することを特徴とする符号化信号復号プログラム。
The encoded signal decoding program according to any one of claims 19 to 25,
The input step inputs an MPEG-2 bit stream as a first screen encoded signal,
The first decoding step decodes from the MPEG-2 bit stream to a slice header,
An encoded signal decoding program, wherein the second decoding step decodes a signal decoded up to a slice header to a block layer.
画面サイズが第1画面サイズである複数の画面から構成される動画像を符号化した第1画面符号化信号を入力し、前記第1画面符号化信号から前記第1画面サイズより小さい第2画面サイズの領域を復号した第2画面復号信号を出力する符号化信号復号ステップと、
前記符号化信号復号ステップで出力された前記第2画面復号信号を入力し、前記第2画面復号信号を前記第2画面サイズの符号化信号である第2画面符号化信号に符号化し、前記第2画面符号化信号を出力する復号信号符号化ステップと、
を備え、
前記符号化信号復号ステップが、請求項19から請求項26のいずれか1項に記載の符号化信号復号プログラムにより、前記第1画面符号化信号を前記第2画面復号信号に復号することを特徴とする符号化信号変換プログラム。
A first screen coded signal obtained by coding a moving image composed of a plurality of screens whose screen size is the first screen size is input, and a second screen smaller than the first screen size from the first screen coded signal is input. A coded signal decoding step of outputting a second screen decoded signal obtained by decoding a size area;
Receiving the second screen decoded signal output in the coded signal decoding step, encoding the second screen decoded signal into a second screen coded signal that is the coded signal of the second screen size, A decoded signal encoding step of outputting a two-screen encoded signal;
With
The encoded signal decoding step decodes the first screen encoded signal into the second screen decoded signal by the encoded signal decoding program according to any one of claims 19 to 26. Coded signal conversion program.
画面サイズが第1画面サイズである複数の画面から構成される動画像を符号化した第1画面符号化信号を入力する入力ステップと、
前記第1画面サイズより小さい第2画面サイズを設定し、前記第1画面符号化信号から前記動画像の前記第2画面サイズの領域を復号した第2画面復号信号を生成する符号化領域変換復号ステップと、
前記符号化領域変換復号ステップで生成された第2画面復号信号を出力する出力ステップと、
を備え、
前記符号化領域変換復号ステップが、
前記入力ステップで入力された第1画面符号化信号から、前記画面を複数に分割した小画像内の統一情報を復号し、第1画面1次復号信号に変換する第1復号ステップと、
前記第1画面サイズの画像領域から前記第2画面サイズの所定の切り出し領域を設定する切り出し領域設定ステップと、
前記第1復号ステップで復号された第1画面1次復号信号から前記切り出し領域設定ステップで設定された切り出し領域を復号するための第2画面1次復号信号を抽出する切り出し領域データ抽出ステップと、
前記切り出し領域データ抽出ステップで抽出された第2画面1次復号信号から、前記第2画面サイズの第2画面復号信号に復号する第2復号ステップと、
を備えたことを特徴とする符号化信号復号プログラムを記録した媒体。
An input step of inputting a first screen coded signal obtained by coding a moving image composed of a plurality of screens whose screen size is the first screen size;
Coding area conversion decoding for setting a second screen size smaller than the first screen size and generating a second screen decoded signal obtained by decoding the area of the second screen size of the moving image from the first screen coded signal Steps and
An output step of outputting a second screen decoded signal generated in the coding area conversion decoding step;
With
The coding area transform decoding step,
A first decoding step of decoding unified information in a small image obtained by dividing the screen into a plurality of parts from the first screen coded signal input in the input step, and converting the unified information into a first screen primary decoded signal;
A cutout area setting step of setting a predetermined cutout area of the second screen size from the image area of the first screen size;
A cut-out area data extracting step of extracting a second screen primary decoded signal for decoding the cut-out area set in the cut-out area setting step from the first screen primary decoded signal decoded in the first decoding step;
A second decoding step of decoding the second screen primary decoded signal extracted in the cut-out area data extraction step into a second screen decoded signal of the second screen size;
A medium recording an encoded signal decoding program, characterized by comprising:
請求項28に記載の符号化信号復号プログラムを記録した媒体において、
前記入力ステップで入力する第1画面符号化信号が、前記動画像を構成する画面内の複数の画素からなるマクロブロックごとの画素値を直交変換係数領域データに直交変換し、変換された前記直交変換係数領域データを量子化パラメータにより量子化係数領域データに量子化し、任意個の前記マクロブロックの帯からなるスライスごとに統一情報を作成し、前記スライス内の統一情報および前記マクロブロックごとの量子化係数領域データを有するデータを可変長符号化した信号であって、
前記第1復号ステップが、前記入力ステップで入力された第1画面符号化信号から、前記スライス内の統一情報を復号し、前記任意個のマクロブロック内の直交変換係数領域データを量子化した量子化パラメータの代表値である代表量子化パラメータを復号し、
前記切り出し領域設定ステップが、前記第1復号ステップで復号された代表量子化パラメータにしたがって、複数の前記スライスから前記切り出し領域とするスライスを設定し、
前記切り出し領域データ抽出ステップが、前記第1画面1次復号信号から前記設定されたスライスを選択して、前記第2画面1次復号信号を抽出し、
前記第2復号ステップが、
前記切り出し領域データ抽出ステップで抽出したスライスの第2画面1次復号信号から、前記マクロブロックごとに前記第2画面サイズ分の前記量子化係数領域データと、前記量子化パラメータと、を復号するマクロブロック復号ステップと、
前記マクロブロック復号ステップで復号された量子化係数領域データを、前記復号された量子化パラメータを用いて逆量子化して、第2画面サイズ分の直交変換係数領域データを生成する逆量子化ステップと、
前記逆量子化ステップで生成された直交変換係数領域データを、逆直交変換して変換係数から復号される第2画面サイズ分の係数領域復号データを生成する逆直交変換ステップと、
復号された再生画像の信号である前記第2画面復号信号を記憶する再生画像記憶ステップと、
前記再生画像記憶ステップで記憶された再生画像と、前記逆直交変換ステップで新たに生成された係数領域復号データと、から新たな再生画像の信号である前記第2画面復号信号を生成する再生画像生成ステップと、
を備えたことを特徴とする符号化信号復号プログラムを記録した媒体。
A medium recording the encoded signal decoding program according to claim 28,
The first screen coded signal input in the input step is an orthogonal transformation of pixel values for each macro block composed of a plurality of pixels in a screen constituting the moving image into orthogonal transformation coefficient area data, and the transformed orthogonal The transform coefficient area data is quantized to quantized coefficient area data by a quantization parameter, and unified information is created for each slice composed of an arbitrary number of the macroblock bands, and unified information in the slice and the quantization for each macroblock are generated. A variable-length coded signal having data having the coded coefficient area data,
The first decoding step decodes unified information in the slice from the first screen coded signal input in the input step, and quantizes orthogonal transform coefficient area data in the arbitrary number of macroblocks. Decoding a representative quantization parameter which is a representative value of the quantization parameter,
The cutout area setting step sets a slice to be the cutout area from a plurality of slices according to the representative quantization parameter decoded in the first decoding step,
The extraction region data extracting step selects the set slice from the first screen primary decoded signal, and extracts the second screen primary decoded signal,
The second decoding step includes:
A macro for decoding the quantization coefficient area data for the second screen size and the quantization parameter for each macroblock from the second screen primary decoded signal of the slice extracted in the extraction area data extraction step. A block decoding step;
An inverse quantization step of inversely quantizing the quantized coefficient area data decoded in the macroblock decoding step using the decoded quantization parameter to generate orthogonal transform coefficient area data for a second screen size; ,
An inverse orthogonal transform step of generating coefficient area decoded data for a second screen size to be inverse orthogonally transformed from the orthogonal transform coefficient area data generated in the inverse quantization step and decoded from the transform coefficients;
A reproduced image storing step of storing the second screen decoded signal which is a signal of a decoded reproduced image;
A reproduced image that generates the second screen decoded signal, which is a signal of a new reproduced image, from the reproduced image stored in the reproduced image storage step and the coefficient area decoded data newly generated in the inverse orthogonal transformation step Generating step;
A medium recording an encoded signal decoding program, characterized by comprising:
請求項29に記載の符号化信号復号プログラムを記録した媒体において、
前記マクロブロック復号ステップが、他の画面内の同一の画像情報を有する領域との領域の移動量を示す動きベクトルを復号し、
前記再生画像生成ステップが、前記再生画像記憶ステップで記憶された再生画像と、前記マクロブロック復号ステップで復号された動きベクトルと、から前記新たな再生画像を生成することを特徴とする符号化信号復号プログラムを記録した媒体。
A medium recording the encoded signal decoding program according to claim 29,
The macroblock decoding step decodes a motion vector indicating a movement amount of an area with an area having the same image information in another screen,
The encoded signal, wherein the reproduced image generating step generates the new reproduced image from the reproduced image stored in the reproduced image storing step and the motion vector decoded in the macroblock decoding step. A medium on which a decryption program is recorded.
JP2002213622A 2002-07-23 2002-07-23 Device, method and program for decoding encoded signal Pending JP2004056616A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002213622A JP2004056616A (en) 2002-07-23 2002-07-23 Device, method and program for decoding encoded signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002213622A JP2004056616A (en) 2002-07-23 2002-07-23 Device, method and program for decoding encoded signal

Publications (1)

Publication Number Publication Date
JP2004056616A true JP2004056616A (en) 2004-02-19

Family

ID=31936173

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002213622A Pending JP2004056616A (en) 2002-07-23 2002-07-23 Device, method and program for decoding encoded signal

Country Status (1)

Country Link
JP (1) JP2004056616A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007099637A1 (en) * 2006-03-02 2007-09-07 Fujitsu Limited Image transmission device, image reception device, and image transmission/reception system
JP2011228785A (en) * 2010-04-15 2011-11-10 Nippon Telegr & Teleph Corp <Ntt> Format conversion device, video distribution apparatus, multiplexer, format conversion method, video distribution method and program
JP2012526489A (en) * 2009-05-07 2012-10-25 クゥアルコム・インコーポレイテッド Video decoding using temporally constrained spatial dependence
US9113169B2 (en) 2009-05-07 2015-08-18 Qualcomm Incorporated Video encoding with temporally constrained spatial dependency for localized decoding
CN105580373A (en) * 2013-07-23 2016-05-11 诺基亚技术有限公司 An apparatus, a method and a computer program for video coding and decoding
US10136150B2 (en) 2013-07-11 2018-11-20 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007099637A1 (en) * 2006-03-02 2007-09-07 Fujitsu Limited Image transmission device, image reception device, and image transmission/reception system
JP2012526489A (en) * 2009-05-07 2012-10-25 クゥアルコム・インコーポレイテッド Video decoding using temporally constrained spatial dependence
KR101346133B1 (en) * 2009-05-07 2013-12-31 퀄컴 인코포레이티드 Video decoding with temporally constrained spatial dependency
US8724707B2 (en) 2009-05-07 2014-05-13 Qualcomm Incorporated Video decoding using temporally constrained spatial dependency
US9113169B2 (en) 2009-05-07 2015-08-18 Qualcomm Incorporated Video encoding with temporally constrained spatial dependency for localized decoding
JP2011228785A (en) * 2010-04-15 2011-11-10 Nippon Telegr & Teleph Corp <Ntt> Format conversion device, video distribution apparatus, multiplexer, format conversion method, video distribution method and program
US10136150B2 (en) 2013-07-11 2018-11-20 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
CN105580373A (en) * 2013-07-23 2016-05-11 诺基亚技术有限公司 An apparatus, a method and a computer program for video coding and decoding
JP2016533077A (en) * 2013-07-23 2016-10-20 ノキア テクノロジーズ オーユー Video encoding / decoding device, method, and computer program
US10154274B2 (en) 2013-07-23 2018-12-11 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding

Similar Documents

Publication Publication Date Title
JP4313543B2 (en) Method and apparatus for transform coding a macroblock group of a partially decoded input bitstream
KR100253931B1 (en) Approximate mpeg decoder with compressed reference frames
KR100620270B1 (en) Method and apparatus for transcoding compressed video bitstreams
US6687296B1 (en) Apparatus and method for transforming picture information
JP4163006B2 (en) Video transcoder with drift correction
JP2003284071A (en) Method and apparatus for coding and decoding image considering visual characteristic of human being
JP2005323353A (en) High-fidelity transcoding
JP2002152727A (en) Image information converter and image information conversion method
JP2001211455A (en) Image coding method and image coder
JP2002209215A (en) Code quantity control device and method, and image information conversion device and method
JP2007174568A (en) Encoding method
KR100238622B1 (en) A motion video compression system with novel adaptive quantisation
JP2007266749A (en) Encoding method
JP2007235314A (en) Coding method
JPH09322165A (en) Image decoding device and method, and image reproducing device
JP4660408B2 (en) Encoding method
US7436889B2 (en) Methods and systems for reducing requantization-originated generational error in predictive video streams using motion compensation
JP2005167962A (en) Coded signal separating device, coded signal synthesizing device, and coded signal separating and synthesizing system
JP4209134B2 (en) Method and apparatus for upsampling a compressed bitstream
JP2000236547A (en) Image information converter and image information conversion method
JP2004056616A (en) Device, method and program for decoding encoded signal
JP4421734B2 (en) Encoded data conversion method and data recording medium
JP2000312362A (en) Image encoding system conversion device and its method and recording medium
JP4517453B2 (en) Image information converting apparatus and method, and encoding apparatus and method
KR20030000310A (en) Apparatus for transcoding video

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20050314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051114

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060307