JP2003299089A - 画像符号化装置と画像符号化方法、画像記録装置、及び画像伝送装置 - Google Patents

画像符号化装置と画像符号化方法、画像記録装置、及び画像伝送装置

Info

Publication number
JP2003299089A
JP2003299089A JP2002099891A JP2002099891A JP2003299089A JP 2003299089 A JP2003299089 A JP 2003299089A JP 2002099891 A JP2002099891 A JP 2002099891A JP 2002099891 A JP2002099891 A JP 2002099891A JP 2003299089 A JP2003299089 A JP 2003299089A
Authority
JP
Japan
Prior art keywords
gop
picture
bit amount
bit
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002099891A
Other languages
English (en)
Inventor
Yasuhiro Hashimoto
安弘 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2002099891A priority Critical patent/JP2003299089A/ja
Publication of JP2003299089A publication Critical patent/JP2003299089A/ja
Pending legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】合成による符号ビット量の増減を補正し、各分
割画像のビットレートの合計を目標のビットレートと正
確に一致させることができる画像符号化装置と符号化方
法、画像記録装置、及び画像伝送装置を提供する。 【解決手段】GOP残りビット量割振り演算部171
は、分割画像符号化装置120−1〜120−4に1G
OP間に発生させる符号ビット量から、合成により増減
する符号ビット量を差し引いたあと、画像の複雑さに応
じて、各分割画像符号化装置120−1〜120−4に
割り振り、また、GOPの途中で、GOP内未符号化の
ピクチャの発生する符号ビット量の目標値を、ピクチャ
毎に画像の複雑さに応じて各分割画像符号化装置に再分
配する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、例えばHDTV(H
igh Definition TeleVision)信号などの動画像信号を圧
縮符号化する画像符号化装置とその方法、その符号化さ
れた信号を記録する画像記録装置およびその符号化され
た信号を伝送する画像伝送装置に関する。
【0002】
【従来の技術】動画像符号化方式としては、MPEG2
規格(ISO/IEC13818)が広く普及してい
る。このMPEG2においては、主に機能の分類(シン
タックスの違い)を規定するプロファイルと、画像サイ
ズなどの処理量の違いを規定するレベルという概念を導
入し、サポート可能な符号化性能をクラス分けしてい
る。例えば、720×480画素、60フィールド/秒
のITU−R601の画像に対してはMP@ML(Main
Profile at Main Level)が、1920×1080画素、
60フィールド/秒のHDTVの画像に対してはMP@
HL(Main Profile atHigh Level) が、通常使用され
る。
【0003】HDTV信号のような画素数の多い画面構
成の動画像信号を符号化する装置、例えばMP@HLの
符号化を実行する装置は、非常に高速な処理が要求され
るため、実現が難しく、非常に高価な装置となる。それ
に比べて、MP@MLの符号化および復号化を実行する
装置は、MP@HLの装置と比較して小規模で動作速度
も低くてよく、また既にLSI化されるなどして広く普
及しているため、非常に安価に利用することができる。
そこで、例えば特開平10−234043号公報や、特
開2001−346201号公報に記載の動画像符号
化、又は、復号化装置において、HDTV信号のような
画素数の多い画面構成の動画像信号を複数の画面に分割
し、分割された各画面の信号をMP@MLの装置で符号
化あるいは復号化し、その処理結果を統合することによ
り、MP@HLの符号化あるいは復号化を行なう方法が
知られている。
【0004】HDTVの動画像信号を分割し、既存のS
DTV用のエンコーダを複数個を用いて符号化する分割
符号化装置において、高画質を得るために、各エンコー
ダに目標となる発生符号ビット量を適切に割り振る。前
述した特開平10−234043号公報に記載の動画像
符号化装置においては、分割した各画像領域において生
成される符号量が均一になるように符号化を制御してい
る。そのため、各分割画面の画像の複雑さにばらつきが
あった場合、複雑な画像の画面に割り当てられた符号量
が十分ではなく、画質が劣化するという問題がある。
【0005】本発明者は、この課題について鋭意検討し
つつ、例えば、特開2001−346201号公報にお
いて、各分割画像の複雑さに応じて、各エンコーダのビ
ットレートを設定し、各エンコーダの出力ビットレート
の総和は、統合ビットストリームの目標となるビットレ
ートに一致させる符号化装置及び符号化装置方法を提案
した。
【0006】
【発明が解決しようとする課題】出力ビットストリーム
のビットレートが一定であることが要求される場合は、
各エンコーダのビットレートの合計を目標のビットレー
トと正確に一致させることは必要である。例えば、符号
化画像データを磁気テープ媒体などに記録する場合は、
テープは一定速度で進むので、ビットストリームのビッ
トレートが、定められた書き込みビットレートとずれる
と、ビットストリームを一時的に蓄えるバッファのオー
バフローやアンダーフローなどのシステム管理上の問題
が起こる可能性が現れる。そのような問題を回避するた
めに、ビットレートをやや少なめにして符号化する方法
が考えられるが、ビットレートが少なくなる分、画質が
悪くなるという問題がある。したがって、各エンコーダ
のビットレートの合計を目標のビットレートと出来る限
り正確に一致させることが必要である。
【0007】しかし、画像圧縮符号化規格によって、各
エンコーダのビットストリームの発生符号ビット量の合
計は、合成した統合ビットストリームの発生符号ビット
量とは、正確には一致していない。その理由は、例えば
MPEG2において、各エンコーダから出力されるビッ
トストリーム、及び、統合ビットストリームにおいて、
画像信号に対応する画像データのほか、ヘッダデータも
含まれている。特に、例えば、後述するMPEG2規格
のビットストリームのマクロブロック層の一つのヘッダ
データであるマクロブロックアドレスインクリメント
(macroblock address increment)のような、合成前と
合成後にビット量は変化する可変長ヘッダデータが存在
するため、単純にビット量を割り振り、または、合計す
るだけでは、得られたビットストリームのビット量及び
ビットレートは、正確に一致することができない。
【0008】このような符号ビット量の増減を補正し、
各エンコーダのビットレートの総和が目標のビットレー
トに正確に一致させるために、合成による符号ビット量
の増減を差し引いた後に、各エンコーダにビットレート
を割り振る方法が考えられるが、MPEG2の規格で
は、一般的に、400bpsを単位としてビットレート
を指定することになっているので、ビットレートの精度
は以上のような符号ビット量の増減の補正では足りな
い。したがって、ビットレートの割振りによって、合成
後符号ビット量の増減を補正し、目標とするビットレー
トに正確に一致させることはできない。
【0009】本発明は、このような課題を鑑みてなさ
れ、その第1の目的は、画像信号を複数の画像に分割し
て符号化し、一つのビットストリームに合成する場合
は、合成による符号ビット量の増減を補正し、簡単な制
御で各分割画像の合計ビットレートを目標のビットレー
トと正確に一致させながら符号化を行ない、高い画像品
質を得ることができる画像符号化装置と画像符号化方法
を提供することにある。また、本発明の第2の目的は、
上記の画像符号化装置と画像符号化方法を用いた画像記
録装置を提供することにある。また、本発明の第3の目
的は、上記の画像符号化装置と画像符号化方法を用いた
画像伝送装置を提供することにある。
【0010】
【課題を解決するための手段】前記課題を解決するため
に、本発明の画像符号化装置は、入力画像信号を分割
し、N個の分割画像信号を生成する分割手段と、前記N
個の分割画像信号を各々符号化する時に、前記N個の分
割画像信号のビットレートの合計が所定の目標値となる
ように、前記入力画像信号の1GOPに含まれるピクチ
ャの内、未符号化のピクチャの目標発生符号ビット量の
総量であるGOP残りビット量を、前記N個の分割画像
信号にピクチャごとに割り振る制御手段と、前記制御手
段により割り振られたGOP残りビット量に従って、前
記分割手段で分割したN個の分割画像信号を符号化し、
N個のビットストリームを生成するN個の分割画像符号
化装置を含む符号化手段と、前記符号化手段で符号化さ
れたN個のビットストリームを1個のビットストリーム
に統合する統合手段とを有し、前記N個のビットストリ
ームを統合する際に生じた前記統合ビットストリームの
符号ビット量の変化量が、前記GOP残りビット量から
減算される。
【0011】前記制御手段は、符号化対象ピクチャのタ
イプを検出するピクチャタイプ検出手段と、前記ピクチ
ャタイプ検出手段により、前記符号化対象ピクチャが1
GOPの先頭ピクチャであると検出された場合、該GO
Pの全部ピクチャの目標発生符号ビット量を含むGOP
残りビット量を求めるGOP割当ビット量演算手段とを
有する。前記GOP割当ビット量演算手段は、前記N個
のビットストリームを統合する際に生じた前記統合ビッ
トストリームの符号ビット量の変化量を、前記GOP割
当ビット量演算手段で求められた前記GOP残りビット
量から減算して、前記GOP残りビット量を補正する。
【0012】前記制御手段は、前記N個の分割画像信号
に対応するN個の分割画像の画像複雑さをピクチャごと
に求める画像複雑さ演算手段と、前記画像複雑さ演算手
段で求められた、符号化対象となる前記先頭ピクチャよ
り所定ピクチャ数前のピクチャのN個の分割画像の画像
複雑さに応じて、前記補正されたGOP残りビット量
を、前記N個の分割画像信号の各々に割り振るGOP割
当ビット量割振手段とを有する。
【0013】前記N個の分割画像符号化装置は、各々、
直前のピクチャの各分割画像信号の符号化により発生さ
れた各々の符号ビット量を、前記N個の分割画像信号各
々に割り振られたGOP残りビット量から減算し、前記
直前のピクチャの各分割画像信号の符号化により発生さ
れた各々の符号ビット量、及び、前記減算されたN個の
分割画像信号各々のGOP残りビット量を、前記制御手
段に入力する
【0014】前記制御手段は、符号化対象ピクチャのタ
イプを検出するピクチャタイプ検出手段と、前記ピクチ
ャタイプ検出手段により、前記符号化対象ピクチャが1
GOPの先頭ピクチャではないと検出された場合、前記
N個の分割信号各々の前記減算されたGOP残りビット
量を加算し、前記N個の分割信号各々の前記減算された
GOP残りビット量の合計を求めるGOP残りビット量
加算手段と、前記N個の分割画像信号に対応するN個の
分割画像の画像複雑さをピクチャごとに求める画像複雑
さ演算手段と、前記画像複雑さ演算手段で求められた、
前記符号化対象ピクチャより所定ピクチャ数前のピクチ
ャのN個の分割画像の画像複雑さに応じて、前記GOP
残りビット量加算手段によって求められた前記減算され
たGOP残りビット量の合計を、前記N個の分割画像信
号の各々に再割り振りするGOP残りビット量再割振手
段を有する。
【0015】あるいは、前記制御手段は、符号化対象ピ
クチャのタイプを検出するピクチャタイプ検出手段と、
前記N個の分割画像信号に対応するN個の分割画像の画
像複雑さをピクチャごとに求める画像複雑さ演算手段
と、前記ピクチャタイプ検出手段により、前記符号化対
象ピクチャが1GOPの先頭ピクチャではないと検出さ
れた場合、前記直前のピクチャの各分割画像信号の符号
化により発生された各々の符号ビット量及び前記減算さ
れたN個の分割画像信号各々のGOP残りビット量か
ら、所定のピクチャ数後のピクチャのN個の分割画像信
号各々のGOP残りビット量を予測し、該予測されたN
個のGOP残りビット量の合計を求め、前記符号化対象
ピクチャより所定ピクチャ数前のピクチャのN個の分割
画像の画像複雑さに応じて、前記N個の分割画像信号の
各々に再割り振りするGOP残りビット量再割振手段を
有する。
【0016】また、前記課題を解決するために、本発明
の画像符号化方法は、入力画像信号をN個の分割画像信
号に分割し、該N個の分割画像信号を各々符号化し、N
個のビットストリームを生成し、該N個のビットストリ
ームを1個のビットストリームに統合する画像符号化方
法であって、前記N個の分割画像信号を各々符号化する
時に、前記N個の分割画像信号のビットレートの合計が
所定の目標値となるように、前記入力画像信号の1GO
Pに含まれるピクチャの内、未符号化のピクチャの目標
発生符号ビット量の総量であるGOP残りビット量を、
前記N個の分割画像信号にピクチャごとに割り振り、前
記N個のビットストリームを統合する際に生じた前記統
合ビットストリームの符号ビット量の変化量が、前記G
OP残りビット量から減算される。
【0017】前記入力画像信号の1GOPの先頭ピクチ
ャを符号化する場合、該GOPの全部ピクチャの目標発
生符号ビット量を含むGOP残りビット量を求め、前記
N個のビットストリームを統合する際に生じた前記統合
ビットストリームの符号ビット量の変化量を、求められ
た前記GOP残りビット量から減算して、前記GOP残
りビット量を補正し、符号化対象となる前記先頭ピクチ
ャより所定ピクチャ数前のピクチャのN個の分割画像の
画像複雑さに応じて、前記補正されたGOP残りビット
量を、前記N個の分割画像信号の各々に割り振る。
【0018】直前のピクチャの各分割画像の符号化によ
り発生された各々の符号ビット量を、前記N個の分割画
像信号各々に割り振られたGOP残りビット量から減算
し、前記入力画像信号の1GOPの先頭ピクチャ以外の
ピクチャを符号化する場合、前記N個の分割画像信号各
々の前記減算されたGOP残りビット量の合計を演算
し、前記符号化対象ピクチャより所定ピクチャ数前のピ
クチャのN個の分割画像の画像複雑さに応じて、前記減
算されたGOP残りビット量の合計を、前記N個の分割
画像信号の各々に再割り振りする。
【0019】あるいは、前記入力画像信号の1GOPの
先頭ピクチャ以外のピクチャを符号化する場合、直前の
ピクチャの各分割画像の符号化により発生された各々の
符号ビット量、及び前記N個の分割画像信号各々に割り
振られたGOP残りビット量から、符号化対象ピクチャ
より所定のピクチャ数後のピクチャのN個の分割画像信
号各々のGOP残りビット量を予測し、該予測されたN
個のGOP残りビット量の合計を求め、前記符号化対象
ピクチャより所定ピクチャ数前のピクチャのN個の分割
画像の画像複雑さに応じて、前記N個の分割画像信号の
各々に再割り振りする。
【0020】前記課題を解決するために、本発明の画像
記録装置は、入力画像信号を分割し、N個の分割画像信
号を生成する分割手段と、前記N個の分割画像信号を各
々符号化する時に、前記N個の分割画像信号のビットレ
ートの合計が所定の目標値となるように、前記入力画像
信号の1GOPに含まれるピクチャの内、未符号化のピ
クチャの目標発生符号ビット量の総量であるGOP残り
ビット量を、前記N個の分割画像信号にピクチャごとに
割り振る制御手段と、前記制御手段により割り振られた
GOP残りビット量に従って、前記分割手段で分割した
N個の分割画像信号を符号化し、N個のビットストリー
ムを生成するN個の分割画像符号化装置を含む符号化手
段と、前記符号化手段で符号化されたN個のビットスト
リームを1個のビットストリームに統合する統合手段
と、前記統合されたビットストリームを記録媒体に記録
する記録手段とを有し、前記N個のビットストリームを
統合する際に生じた前記統合ビットストリームの符号ビ
ット量の変化量が、前記GOP残りビット量から減算さ
れる。該制御手段の構成は、上記した画像符号化装置に
おける制御手段と同様である。
【0021】前記課題を解決するために、本発明の画像
伝送装置は、入力画像信号を分割し、N個の分割画像信
号を生成する分割手段と、前記N個の分割画像信号を各
々符号化する時に、前記N個の分割画像信号のビットレ
ートの合計が所定の目標値となるように、前記入力画像
信号の1GOPに含まれるピクチャの内、未符号化のピ
クチャの目標発生符号ビット量の総量であるGOP残り
ビット量を、前記N個の分割画像信号にピクチャごとに
割り振る制御手段と、前記制御手段により割り振られた
GOP残りビット量に従って、前記分割手段で分割した
N個の分割画像信号を符号化し、N個のビットストリー
ムを生成するN個の分割画像符号化装置を含む符号化手
段と、前記符号化手段で符号化されたN個のビットスト
リームを1個のビットストリームに統合する統合手段
と、前記統合されたビットストリームを伝送する伝送手
段とを有し、前記N個のビットストリームを統合する際
に生じた前記統合ビットストリームの符号ビット量の変
化量が、前記GOP残りビット量から減算される。該制
御手段の構成は、上記した画像符号化装置における制御
手段と同様である。
【0022】上記の画像符号化装置と画像符号化方法、
画像記録装置及び画像伝送装置によれば、1つの画像信
号を複数の分割画像に分割し、複数の分割画像符号化装
置によって符号化する場合は、1GOP間の発生符号ビ
ット量(GOP割当ビット量)を求め、そのGOP割当
ビット量から、合成による符号ビット量の増減を差し引
いておいて、各分割画像の複雑さに応じて、GOP割当
ビット量を各分割画像符号化装置に割り振る。また、G
OP途中で画像の複雑さの変動に対応し、GOP残りビ
ット量をピクチャ毎に更新して、各分割画像符号化装置
に再割振りし、各分割画像符号化装置のピクチャごとの
発生符号ビット量を微調整する。これによって、合成に
よるビット量の増減が補正され、各分割画像符号化装置
のビットレートの合計は、要求されるビットレートと正
確に一致させることが出来る。また、ピクチャ単位で画
像の複雑さに応じて発生符号ビット量の割振り調整が可
能であり、より高画質化が期待できる。
【0023】
【発明の実施の形態】以下、本発明の画像符号化装置と
画像符号化方法、及びそれを用いる画像記録装置と画像
伝送装置の実施の形態について、添付の図面を参照して
述べる。第1の実施形態 本実施形態に関わる画像符号化装置においては、複数の
分割画像符号化装置からのビットストリームを合成して
一つの統合ビットストリームを出力する。統合ビットス
トリームのビット量を最終的に目標とするビット量と正
確に一致させるために、上記複数のビットストリームを
一つの統合ビットストリームに合成する時にビット量の
変化を考慮し、各分割画像符号化装置の目標発生符号ビ
ット量を調整する。具体的には、各ピクチャを符号化す
る度に、GOP内残りのピクチャの発生符号ビット量
(GOP残りビット量)を各分割画像符号化装置に再割
り振りし、各分割画像符号化装置の目標発生符号ビット
量をピクチャごとに微調整する。
【0024】〔動画像符号化装置101の構成〕図1
は、本発明の画像符号化装置の一実施形態としての動画
像符号化装置101の構成を示すブロック図である。動
画像符号化装置101は、画面分割装置110、第1〜
第4の分割画像符号化装置120−1〜120−4、ビ
ットストリーム統合装置150および制御装置170を
有する。
【0025】動画像符号化装置101の各部の構成につ
いて説明する。画面分割装置110は、入力される動画
像信号の各ピクチャを、所定の画像領域ごとの4つの画
像信号に分割し、各々第1〜第4の分割画像符号化装置
120−1〜120−4に出力する。動画像符号化装置
101に入力される動画像信号は、図2に示すように、
HDTV映像信号であり、輝度信号は横1920画素×
縦1080ライン、色差信号は横960画素×縦108
0ラインの、4:2:2形式のインターレース信号であ
る。また、フレームレートは30フレーム/秒である。
【0026】画面分割装置110は、まず、フィルタ処
理により輝度信号を横方向1440画素に、色差信号を
横方向に720画素に変換する。また、縦方向は、MP
EG2の規格により、インターレース画像では32ライ
ンの倍数でなければならないと決められているので、輝
度信号、色差信号とも画像の下にそれそれ8ラインのダ
ミーデータを付け、1088ラインとする。そして、画
面分割装置110は、このようにサイズを変換した画像
を、図2に示すように、領域A,B,C,Dの4つに分
割し、各分割領域の画像信号を第1〜第4の分割画像符
号化装置120−1〜120−4に出力する。例えば輝
度信号については、横720画素×縦544ラインの4
つの信号に分割される。
【0027】第1〜第4の分割画像符号化装置120−
1〜120−4(分割画像符号化装置A,B,C,D)
は、各々入力される各分割領域の画像信号を符号化し、
MPEG2−MP@MLのビットストリームを生成し、
ビットストリーム統合装置150に出力する。各分割画
像符号化装置120−i(i=1〜4)は、例えば、一
般的なMPEG2−MP@MLのエンコーダとバッファ
を含んでおり、入力される画像信号をMPEG2により
符号化する。なお、分割画像符号化装置120−i(i
=1〜4)から出力されるビットストリームは、画像サ
イズとフレームレートの単独の値はMP@MLの範囲内
であるが、それらが関連し合うサンプルレート(1秒間
の画素数)はわずかにその範囲を超え、正確にはMP@
MLではなくなる。ここでは、わかりやすく説明するた
め、便宜的にMP@MLという表現を使っている。
【0028】4つの分割画像符号化装置120−i(i
=1〜4)は、入力される画像信号について、制御装置
170から指示されるGOP残りビット量に基づいて、
ピクチャ単位の符号ビット量の目標値を決定し、ビット
レートの制御をし、例えば、前のピクチャの各分割画像
の複雑さに応じた可変レートの符号化を行ない、各々、
MPEG2−MP@MLのビットストリームをビットス
トリーム統合装置150に出力する。また、各分割画像
符号化装置120−i(i=1〜4)は、符号化された
分割画像の複雑さに関する量、例えば、発生した符号ビ
ット量Sa,n、Sb,n、Sc,n、Sd,n、平均量子化スケー
ルコード(quantiser scale codeの平均値)Qa,n、Q
b,n、Qc,n、Qd,nを算出し、制御装置170に転送す
る。また、たとえば、ピクチャ単位で符号化を行なった
後、制御装置170によって各分割画像符号化装置12
0−i(i=1〜4)に割り振られたGOP残りビット
量Va,n-1、Vb,n-1、Vc,n-1、Vd,n-1から、発生した
符号ビット量Sa,n、Sb,n、Sc,n、Sd,nを減算し、得
られた減算されたGOP残りビット量V'a,n、V'b,n、
V'c,n、V'd,nも制御装置170に転送する。ここで、
nはピクチャ番号であり、後ほど詳細に説明する。
【0029】なお、動画像符号化装置101に入力され
る動画像信号の形式は4:2:2であるが、分割画像符
号化装置120−iにおいて4:2:0形式に変換され
るので、分割画像符号化装置120−iより出力される
ビットストリームは4:2:0形式の動画像信号のビッ
トストリームである。
【0030】ビットストリーム統合装置150は、第1
〜第4の分割画像符号化装置120−i(i=1〜4)
から出力される4つのMPEG2−MP@MLのビット
ストリームを合成し、MPEG2−MP@HLのビット
ストリームを生成する。すなわち、4つのMPEG2−
MP@MLのビットストリームをスライス単位で分解
し、それらを1つのビットストリームに再構成すること
により、1つのMPEG2−MP@HLのビットストリ
ームを得る。図3は、本実施形態において、スライス単
位で分解されたビットストリームの並びを説明するため
の図である。
【0031】制御装置170は、GOP残りビット量割
振演算部171と制御部172を含み、動画像符号化装
置101が所望の動作をするように、各構成部を制御す
る。GOP残りビット量割振演算部171は、GOP内
残りのピクチャの発生符号ビット量の目標値(GOP残
りビット量、全部のピクチャを含む場合は、GOP割当
ビット量という)をピクチャごとに求め、画像の複雑さ
に応じて各分割画像符号化装置120−i(i=1〜
4)にピクチャ毎に割り振り、各分割画像符号化装置に
目標符号ビット量を与えて、さらにピクチャごとに微調
整し、ビットレートをコントロールする。制御部172
は、動画像符号化装置101が所望の動作をするよう
に、各構成部を制御する。動画像符号化装置101と各
構成成分の動作を説明する前に、本実施形態において補
正する合成による符号ビット量の増減について述べる。
【0032】〔合成による符号ビット量の増減〕本実施
形態の画像符号化装置において、複数のビットストリー
ムから一つのビットストリームを合成する時は、規格に
従うために、各ストリームに含まれているヘッダデータ
の中に、値が変化し、書き換える必要のあるヘッダデー
タがある。この変化によって、通常は合成後のビットス
トリームのビット量は増減し、合成前の複数のビットス
トリームのビット量の合計と異なって来る。次に具体的
に述べる。
【0033】図3のように、4つのMPEG2−MP@
MLのビットストリームをスライス単位で分解し、1つ
のビットストリームに再構成し、1つのMPEG2−M
P@HLのビットストリームを合成する時は、スライス
単位より上位の、シーケンス、GOP、ピクチャレベル
のヘッダデータ、拡張データ、ユーザデータは1つのみ
で良いので、例えば、制御装置170は、第1の分割画
像符号化装置120−1(分割画像符号化装置A)から
出力されるビットストリームのみを用い、第2〜第4の
分割画像符号化装置120−2〜120−4(分割画像
符号化装置B〜D)から出力されるビットストリームは
破棄する。
【0034】より具体的には、ビットストリーム統合装
置150は、第1〜第4の分割画像符号化装置120−
1〜120−4においてエンコードを開始後、4つの分
割画像符号化装置120−1〜120−4から出力され
る4つのビットストリームそれぞれにおいて最初のスラ
イススタートコード(slice start code)が現れるま
で、第1の分割画像符号化装置120−1(分割画像符
号化装置A)から出力されるビットストリームのみを出
力し、第2〜第4の分割画像符号化装置120−2〜1
20−4(分割画像符号化装置B〜D)から出力される
ビットストリームは破棄する。これにより、合成した後
に、ヘッダデータ等のビット量が1/4に減少する。本
実施形態では、ピクチャタイプ毎にこの減少量を同じに
するため、ヘッダデー夕等の長さが変化するようなエン
コードは行なわないとともに、GOP毎にシーケンスヘ
ッダを付けることにし、Iピクチャのへッダデー夕等の
長さを一定にする。
【0035】また、4つのMPEG2−MP@MLのビ
ットストリームをスライス単位で分解し、1つのMPE
G2−MP@HLのビットストリームを合成する時は、
合成されたMPEG2−MP@HLのビットストリーム
のヘッダデータの中で、書き換えが必要となるパラメー
タ、たとえば、シーケンス層の水平画素サイズ(HS
V:Horizontal Size Value)、垂直画素サイズ(VS
V:Vertical Size Value)、アスペクト比情報(AR
I:Aspect Ratio Information)、ビットレート(BR
V:Bit Rate Value)、VBVバッファサイズ(VBS
V:VBV Buffer Size Value)(VBV:Video Bufferi
ng Verifier)や、ピクチャ層のVBVディレイ(V
D:VBV delay)などがある。これらのパラメータにつ
いては、ビットストリーム統合装置150は、制御装置
170の制御部172からの指示に従い、あるいは、各
分割画像符号化装置120−i(i=1〜4)から出力
されるビットストリームのそれぞれの値から計算により
求めた値に書き換える。なお、動きベクトルの探索範囲
を表わすエフ・コード(F-code)は、第1〜第4の分割
画像符号化装置120−i(i=1〜4)においてピク
チャ単位で同じ値に書き換えようとすると、動きベクト
ルの値の換算と書き換えも必要となり、複雑な処理とな
るので、各ピクチャのエンコード前に、制御部172か
ら各分割画像符号化装置120−i(i=1〜4)に同
じ値をあらかじめ設定しておくのが望ましい。
【0036】ビットストリーム統合装置150は、スラ
イススタートコード(slice startcode)以降のスライ
ス単位で分解されたビットストリームを、図3に示すよ
うにA1,B1,A2,B2,…,A34,B34,C
1,D1,C2,D2,…,C34,D34の順に並べ
替えて出力する。この時、スライスの垂直位置情報をあ
らわすスライスヘッダの値を、必要に応じて正しい値に
書き換える。またスライスの最初のマクロブロックにお
ける水平位置情報をあらわすマクロブロックアドレスイ
ンクリメント(MBAI:macroblock address increme
nt)も必要に応じて正しい値に書き換える。ビットスト
リーム統合装置150は、スライスD34のビットスト
リームを出力後、分割画像符号化装置120−i(i=
1〜4)からシーケンスエンドコード(SEC:sequen
ce end code)が出力された場合は、ビットストリーム
統合装置150からシーケンスエンドコードを1つ出力
し、合成を終了あるいは次のシーケンスヘッダコード
(SHC:sequence header code)の入力を待つ。ま
た、シーケンスエンドコードが出力されない場合は、次
のピクチャスタートコード(PSC:picture start co
de)、あるいは、GOP毎に付けられたシーケンスヘッ
ダが出力されるまで、ビットストリーム統合装置150
は、同様に処理を繰り返す。
【0037】スライスのMBAIのようなヘッダデータ
の書き換えにより、合成後のビットストリームのビット
量が合成前より無視できないほど増減する。ビットスト
リームの書き換えが必要であるヘッダデータの中で、可
変長符号化されている、スライスの最初のマクロブロッ
クのマクロブロックアドレスインクリメント(MBA
I:macroblock address increment)がある。MBAI
は、スライスの最初のマクロブロックにおける水平位置
情報を表わす。本実施形態のように垂直方向の分割線で
画面を分割するとき、図2における画像領域BとD、す
なわち分割線より右側の画面をエンコードして得られた
ビットストリームには、画像領域BとDにおけるスライ
ス(B1、…、B34、及び、D1、…、D34)の最
初のマクロブロック(左端)の水平位置が、合成前と比
べて画面の左端でなくなるので、全てのスライスの最初
のマクロブロックのMBAIを新しい値に書き換える必
要がある。MBAIは可変長ヘッダデータであるので、
書き換えによりMBAIのビット量が変化する。
【0038】具体的には、図3と図4に示すように、合
成前では、画像領域BとDの全てのスライスの最初のマ
クロブロックはともに画面の左端にあるので、MPEG
2規格により、MBAIの値は1である。即ち、MBA
Iに“1”が書かれており、ビット長が1ビットであ
る。このビットストリームを合成すると、画像領域B、
Dのスライスの左側には、画像領域AとCがあり、本実
施形態では720画素、すなわち45マクロブロックの
画像データがあることになる。すなわち画像領域B、D
のスライスでは、最初のマクロブロックの水平位置は4
6マクロブロックとなり、したがって、ビットストリー
ム統合装置150は、MBAIの値が46を表わすよう
に書き換える。MPEG2では、“MBAI=46”
を、“マクロブロックエスケープ(MBESC:macrob
lock escape)”+“MBAI=13”として表現す
る。MBESCの値は33であり、長さ11ビットの固
定長の“0000 0001000”で表わす、MBA
Iの値13は、長さ8ビットの“0000 1000”
である。これにより、図4に示すように、長さ1ビット
のデータMBAIが長さ19ビットのデータに書き換え
られる。
【0039】さらに、バイトアライメントを取るため、
すなわちスタートコードを8ビット単位の位置に合わせ
るため、本実施形態において、ビットストリーム統合装
置150で、各スライスデータの最後に6ビットのゼロ
“000000”をスタッフィングデータとして付け加
え、25ビットのデータになる。すなわち、図4に示す
ように、画像領域B、Dの各スライスの最初のマクロブ
ロックの水平位置を表わすデータが、25ビットのデー
タに書き換える。したがって、画像領域B、Dにおい
て、1スライスにつき(19+6)−1=24ビットが
増加することになる。図3に示すように、本実施形態で
は、画像領域B、Dにおいて、このようなスライスが1
ピクチャにつき68スライスあるので、1ピクチャにつ
き24×68=1632ビットが増加する。これはピク
チャタイプによらず一定である。
【0040】本実施形態では、1ビットストリームに当
たり、スライス層より上位のヘッダデータのビット量
は、Iピクチャが888ビット、PピクチャとBピクチ
ャはそれぞれ144ビットであり、合成前の4つのビッ
トストリームに、スライス層より上位のヘッダデータの
合計ビット量は、Iピクチャが4×888ビット、Pピ
クチャとBピクチャはそれぞれ4×144ビットであ
る。上記したように、合成した後に、スライス層より上
位のヘッダデータのビット量が1/4に減少する。した
がって、合成による発生符号ビット量の増減値は、Iピ
クチャの場合は、+1632−3×888=−1032
ビット、PピクチャとBピクチャの場合は、それぞれ+
1632−3×144=+1200ビットとなる。ま
た、本実施形態では、GOPのいわゆるN値は15、M
値は3である。すなわち1GOP中のIピクチャは1
枚、Pピクチャは4枚、Bピクチャは10枚である。し
たがって、ビットストリームの合成による1GOP間の
発生符号ビット量の増減値は、14×1200−103
2=+15768ビットであり、毎GOP一定である。
【0041】このように、4つのMPEG2−MP@M
Lのビットストリームをスライス単位で分解し、1つの
MPEG2−MP@HLのビットストリームを合成する
時は、1GOP間の発生符号ビット量は、合成後に、合
成前より15768ビット増加する。そのため、合成後
のビットストリームの発生符号ビット量を単純に各分割
画像符号化装置に割り振るだけでは、正確な割当ができ
ず、また、各分割画像符号化装置の発生符号ビット量の
合計は、合成後のビットストリームの発生符号ビット量
とならない。合成後のビットストリームの発生符号ビッ
ト量は正確に目標値と一致させ、また、正確に符号ビッ
ト量を割り振るためには、合成による発生符号ビット量
の増減値を補正しなければならない。本実施形態におい
て、この増減量を補正する。
【0042】〔GOP残りビット量割振演算部171の
構成〕制御装置170は、4つの分割画像符号化装置1
20−i(i=1〜4)に、画像の複雑さに応じたGO
P残りビット量を指示し、各分割画像符号化装置120
−i(i=1〜4)の符号化レートを制御する。本実施
形態では、GOP残りビット量割振演算部171が、G
OP内残りのピクチャの発生するビット量をピクチャご
とに求め、画像の複雑さに応じて各分割画像符号化装置
120−i(i=1〜4)に割り振り、ピクチャごとの
発生符号ビット量の目標値を指示し、ビットレートの制
御を行なう。本明細書において、GOP内残りのピクチ
ャの発生するビット量を「GOP残りビット量」と称
し、変数Vで表わす。n番目のピクチャからGOP最後
のピクチャまでが発生する符号ビット量の目標値をVn
で表わす。ここで、nはピクチャ番号であり、本実施形
態ではnは1〜15である。
【0043】次は、図5を参照して、GOP残りビット
量割振演算部171の構成を説明する。図5は、GOP
残りビット量割振演算部171の構成を説明するブロッ
ク図である。図5に示すように、GOP残りビット量割
振演算部171は、ピクチャタイプカウント部160
と、GOP割当ビット量演算部161と、GOP割当ビ
ット量割振部162と、画像複雑さ演算部163と、G
OP残りビット量加算部164と、GOP残りビット量
再割振部165とを有する。
【0044】ピクチャタイプカウント部160 ピクチャタイプカウント部160は、分割画像符号化装
置120−i(i=1〜4)で符号化しているピクチャ
のタイプ値を計算する。ピクチャのタイプは、例えば、
Iタイプ(Intra)、Pタイプ(predictive)、Bタイプ
(bi-directionalpredictive)がある。各分割画像符号化
装置120−i(i=1〜4)は同期して符号化がされ
ており、同時刻には、4つの分割画像符号化装置では同
じピクチャタイプで符号化が行われている。したがっ
て、ある分割画像符号化装置120−i(i=1〜4)
からピクチャタイプに関する情報をピクチャタイプカウ
ント部160に転送すれば良い、あるいは、ピクチャタ
イプカウント部160では、4つの分割画像符号化装置
120−i(i=1〜4)で揃っているピクチャタイプ
を求めても良い。
【0045】GOP割当ビット量演算部161 GOP割当ビット量演算部161は、GOP間の発生符
号ビット量の目標値であるGOP割当ビット量Tgop
を計算する。
【0046】通常は、各分割画像符号化装置120−i
(i=1〜4)において、1GOP間の割当ビット量T
gopを次の式(1)で求める。
【数1】 Tgop = bitrate×N/picture_rate ・・・(1) ただし、Nは1GOPのピクチャ数である。本実施形態
では、N=15。
【0047】だが、前述したように、各分割符号化装置
120−i(i=1〜4)から出力されたビットストリ
ームを一つのビットストリームに合成する時は、合成さ
れたビットストリームの1GOP間のビット量Stは、
各分割符号化装置120−i(i=1〜4)から出力さ
れたビットストリームの1GOP間のビット量Sa、S
b、Sc、Sdの合計と一致しない。上記したように、本
実施形態では、合成により、1GOP間に15768ビ
ット増加する。即ち、 △T=St-(Sa+Sb+Sc+Sd)=15768ビットとなる。 △Tは1GOP間にビット量の増減量である。
【0048】各分割符号化装置120−i(i=1〜
4)の符号化ビットレートを正確にコントロールし、画
質を改善するために、その分のビット量の増減を補正す
べきである。そのために、各分割画像符号化装置120
−i(i=1〜4)に与えたGOP間の割当ビット量の
合計を、統合ビットストリームのビット量Stから△T
を引いた値とすればよい。したがって、GOP割当ビッ
ト量演算部161では、次式(2)の計算を行ない、G
OP割当ビット量を求める。
【0049】
【数2】 Tgop = bit_rate×N/picture_rate-△T ・・・(2) ただし、Nは1GOPのピクチャ数であり、△Tは合成
による1GOP間に増減する発生符号ビット量を表わ
し、本実施形態で、N=15、△T=15768ビッ
ト。
【0050】なお、一般的に、前のGOPにおいて、G
OP割当ビット量は実際に発生した符号ビット量と厳密
には一致しないので、その差は、式(2)で求められた
符号化に係わっている現在のGOPのGOP割当ビット
量Tgopに加える。後ほど図9の説明では、これにつ
いて述べる。
【0051】画像複雑さ演算部163 画像複雑さ演算部163は各分割画像の複雑さを求め
る。画像の複雑さの求め方として、ここで、一例とし
て、各分割画像符号化装置120−i(i=1〜4)か
ら出力される発生符号ビット量と量子化スケールコード
を用いる。例えば、n番目のピクチャを符号化した後、
n+1番目のピクチャを符号化しようとしている時は、
各分割画像符号化装置120−i(i=1〜4)から
は、n番目のピクチャの各分割画像の発生符号ビット量
Sa,n、Sb,n、Sc,n、Sd,nと量子化スケールコードQ
a,n、Qb,n、Qc,n、Qd,nが画像複雑さ演算部163に
転送される。画像複雑さ演算部163は、次式(3)に
より、該n番目のピクチャの各分割画像の複雑さXa,n
〜Xd,nを求め、n+1番目のピクチャの各分割画像の
符号化に用いる。
【0052】
【数3】 Xa,n =Sa,n ×Qa,n Xb,n =Sb,n ×Qb,n Xc,n =Sc,n ×Qc,n Xd,n =Sd,n ×Qd,n ・・・(3)
【0053】本実施形態では、次の式(4)のように、
GOP間の割当ビット量Tgopを割り振るための比率
Ya,n、Yb,n、Yc,n、Yd,nを求め、画像複雑さの計算
に用いる。画像複雑さ演算部163は、得られた比率Y
a,n、Yb,n、Yc,n、Yd,nをGOP割当ビット量割振部
162に転送する。
【0054】
【数4】 Ya,n=Xa,n/(Xa,n+Xb,n+Xc,n+Xd,n) Yb,n=Xb,n/(Xa,n+Xb,n+Xc,n+Xd,n) Yc,n=Xc,n/(Xa,n+Xb,n+Xc,n+Xd,n) Yd,n=Xd,n/(Xa,n+Xb,n+Xc,n+Xd,n) ・・・(4)
【0055】GOP割当ビット量割振部162 GOP割当ビット量割振部162は、画像複雑さに応じ
てGOP割当ビット量演算部161から転送されたGO
P割当ビット量Tgopを各分割画像符号化装置120
−i(i=1〜4)に割り当てる。後述するように、G
OPの先頭のピクチャ(n=1)を符号化しようとする
時にGOP割当ビット量Tgopの割当を行なう。この
場合、前GOPの最後のピクチャの各分割画像の複雑さ
を用いる。ここで、サフィックス“0”で、前GOPの
最後のピクチャを表わす。即ち、式(4)で、n=1と
したときの比率Ya,0、Yb,0、Yc,0、Yd,0を、GOP
割当ビット量演算部161から転送された1GOP間の
割当ビット量Tgopにかけて、各分割画像符号化装置
120−i(i=1〜4)の1GOP間の発生符号ビッ
ト量の目標値を求め、そして、分割画像符号化装置12
0−i(i=1〜4)に転送する。また、分割画像符号
化装置120−i(i=1〜4)において、割り当てら
れたGOP割当ビット量は、各分割画像符号化装置のG
OP残りビット量の初期値Va,1、Vb,1、Vc,1、Vd,1
に代入される。したがって、次の式(5)が得られる。
【0056】
【数5】 Va,1 = Ya,0×Tgop Vb,1 = Yb,0×Tgop Vc,1 = Yc,0×Tgop Vd,1 = Yd,0×Tgop ・・・(5)
【0057】GOP残りビット量加算部164 各分割画像符号化装置120−i(i=1〜4)におい
て、n番目のピクチャの符号化により発生した符号ビッ
ト量Sa,n、Sb,n、Sc,n、Sd,nを、割り当てられたG
OP残りビット量Va,n、Vb,n、Vc,n、Vd,nから減算
し、その差をV'a,n+1、V'b,n+1、V'c,n+1、V'd,n+1と記
する(式(6))。各分割画像符号化装置120−i
(i=1〜4)はV'a,n+1、V'b,n+1、V'c,n+1、V'd,n+1
をGOP残りビット量加算部164に転送する。GOP
残りビット量加算部164は、各分割画像符号化装置1
20−i(i=1〜4)から転送されてきたV'a,n+1、
V'b,n+1、V'c,n+1、V'd,n+1の合計V'n+1を演算し(式
(6))、その結果は、GOP残りビット量再割振部1
65に転送する。
【0058】
【数6】 V'a,n+1 = Va,n-Sa,n V'b,n+1 = Vb,n-Sb,n V'c,n+1 = Vc,n-Sc,n V'd,n+1 = Vd,n-Sd,n V'n+1 = V'a,n+1 + V'b,n+1 + V'c,n+1 + V'd,n+1 ・・・(6)
【0059】GOP残りビット量再割振部165 GOP残りビット量再割振部165は、GOP残りビッ
ト量加算部164から転送されたGOP残りビット量V'
n+1に、画像複雑さ演算部163で求められた式(4)
で示されたn番目のピクチャの各分割画像の複雑さの比
率Ya,n、Yb,n、Yc,n、Yd,nをかけ、各分割画像符号
化装置120−i(i=1〜4)の割り振り量を求め
る。求められた割り振り量Va,n+1、Vb,n+1、Vc,n+1、V
d,n+1を各分割画像符号化装置120−i(i=1〜
4)に転送する。改めてGOP残りビット量を各分割画
像符号化装置120−i(i=1〜4)に割り振り、各
分割画像符号化装置120−i(i=1〜4)に新しい
GOP残りビット量の値Va,n+1、Vb,n+1、Vc,n+1、Vd,n
+1を与えて、n+1番目ピクチャの符号化制御に用いら
れる。
【0060】〔GOP残りビット量割振演算部171の
動作〕次は、図6を参照して、GOP残りビット量割振
演算部171の動作を説明する。図6は、GOP残りビ
ット量割振演算部171の動作を説明するフローチャー
トである。
【0061】ステップS61:分割画像符号化装置12
0−i(i=1〜4)で符号化している各ピクチャに対
して、ピクチャタイプカウント部160は、符号化対象
となるピクチャのタイプ値を計算する。
【0062】ステップS62:ピクチャタイプカウント
部160において、次に符号化するピクチャがGOPの
先頭ピクチャ、すなわち、Iピクチャであると判断した
とき、ピクチャタイプカウント部160は、GOP割当
ビット量演算部161に対して演算を実行する指示を出
力する。次に符号化するピクチャがGOPの先頭ピクチ
ャではないと判断したときは、ステップS65に進む。
【0063】ステップS63:GOP割当ビット量演算
部161は、演算を実行する指示を受けて、1GOP間
の発生符号ビット量の目標値であるGOP割当ビット量
Tgopを式(2)で計算する。
【0064】ステップS64:GOP割当ビット量割振
部162は、画像複雑さ演算部163によって求められ
た前のピクチャの各分割画像の複雑さに応じて、GOP
割当ビット量Tgopの各分割画像符号化装置120−
i(i=1〜4)への割振量を計算して、各分割画像符
号化装置120−i(i=1〜4)に出力する。各分割
画像符号化装置120−i(i=1〜4)は、割り振ら
れたGOP割当ビット量を、各々のGOP残りビット量
代入し、それぞれ1GOPでこの程度の符号ビット量を
発生するように符号化ビットレートをコントロールす
る。
【0065】このように、ピクチャタイプカウント部1
60、GOP割当ビット量演算部161、GOP割当ビ
ット量割振部162、及び画像複雑さ演算部163によ
り、GOP単位でのビットレートの制御を行なう。しか
し、GOPの途中で画像の複雑さが変動した場合に、G
OP単位のビットレートの制御がそれに対応できないと
いう問題がある。本実施形態においては、画像の複雑さ
の変化に対応させて、発生符号ビット量をピクチャ単位
で調整する。詳しくは、GOPの途中で、GOP内残り
のピクチャの発生符号ビット量の目標値(GOP残りビ
ット量)を、ピクチャ毎に再分配する。次の工程ではG
OP残りビット量のピクチャの再割振りを行なう。
【0066】ステップS65:ピクチャタイプカウント
部160において、次に符号化するピクチャがGOPの
先頭ピクチャではないと判断したときは、ピクチャタイ
プカウント部160は、GOP残りビット量加算部16
4に対して演算を実行する指示を出力する。
【0067】前のピクチャ、例えばn番目のピクチャ
(n=1〜15)が符号化された直後、各分割画像符号
化装置120−i(i=1〜4)において、発生した符
号ビット量をSa,n、Sb,n、Sc,n、Sd,n、各々のGO
P残りビット量Va,n、Vb,n、Vc,n、Vd,nから減算
し、その差V'a,n+1、V'b,n+1、V'c,n+1、V'd,n+1はGO
P残りビット量加算部164に転送される。GOP残り
ビット量加算部164は、各分割画像符号化装置120
−i(i=1〜4)から転送されてきた、減算されたG
OP残りビット量V'a,n+1、V'b,n+1、V'c,n+1、V'd,n+1
の合計V'n+1を計算し、その結果は、GOP残りビット
量再割振部165に転送する。
【0068】ステップS66:GOP残りビット量再割
振部165は、GOP残りビット量加算部164から転
送されたGOP残りビット量V'n+1に、画像複雑さ演算
部163で求められたn番目のピクチャの各分割画像の
複雑さの比率Ya,n、Yb,n、Yc,n、Yd,nをかけ、各分
割画像符号化装置120−i(i=1〜4)の割り振り
量を求め、求められた割り振り量Va,n+1、Vb,n+1、Vc,n
+1、Vd,n+1を各分割画像符号化装置120−i(i=1
〜4)に転送する。このように、GOP残りビット量が
改めて各分割画像符号化装置120−i(i=1〜4)
に割り振られ、各分割画像符号化装置120−i(i=
1〜4)に新しい発生符号ビット量の目標値Va,n+1、V
b,n+1、Vc,n+1、Vd,n+1を与えて、n+1番目ピクチャ
の符号化制御に用いる。これによって、各分割画像符号
化装置120−i(i=1〜4)の発生符号ビット量の
目標値はピクチャ単位でピクチャ毎に再分配し、微調整
されているので、GOPの途中で画像の複雑さが変動し
た場合であっても、対応できる。
【0069】図7は、符号化画像データの流れに沿っ
て、GOP残りビット量再割振部165におけるGOP
残りビット量の再割振りの方法を詳細に説明するフロー
チャートである。これをもって、次の実施形態の再割振
り方法と比較することができる。 ステップS71:GOP残りビット量割振演算部171
において、GOP割当ビット量割振部162、または、
GOP残りビット量再割振部165は、画像の複雑さに
応じて、GOP残りビット量Vnの各分割画像符号化装
置120−i(i=1〜4)の割り当て量Va,n、Vb,
n、Vc,n、Vd,nを求め、分割画像符号化装置120−
i(i=1〜4)に出力する。
【0070】ステップS72:各分割画像符号化装置1
20−i(i=1〜4)において、Va,n、Vb,n、Vc,
n、Vd,nに従って、n番目ピクチャの発生符号ビット量
の目標値と符号化ビットレートを定め、ビットレート制
御をしながら、n番目のピクチャを符号化し、それぞれ
Sa,n、Sb,n、Sc,n、Sd,nの符号ビット量を発生す
る。
【0071】ステップS73:各分割画像符号化装置1
20−i(i=1〜4)において、各々のGOP残りビ
ット量Va,n、Vb,n、Vc,n、Vd,nから、発生した符号
ビット量Sa,n、Sb,n、Sc,n、Sd,nが減算され、その
差V'a,n+1、V'b,n+1、V'c,n+1、V'd,n+1は、GOP残り
ビット量加算部164に転送される。
【0072】ステップS74:GOP残りビット量加算
部164は、各分割画像符号化装置120−i(i=1
〜4)から転送されてきたV'a,n+1、V'b,n+1、V'c,n+
1、V'd,n+1の合計V'n+1を演算し、その結果をGOP残
りビット量再割振部165に転送する。
【0073】ステップS75:GOP残りビット量再割
振部165は、n番目のピクチャの各分割画像の複雑さ
に応じて、GOP残りビット量加算部164から転送さ
れたGOP残りビット量V'n+1の各分割画像符号化装置
120−i(i=1〜4)の割り振り量Va,n+1、Vb,n+
1、Vc,n+1、Vd,n+1を求め、各分割画像符号化装置12
0−i(i=1〜4)に転送する。
【0074】ステップS76:各分割画像符号化装置1
20−i(i=1〜4)は、Va,n+1、Vb,n+1、Vc,n+1、
Vd,n+1に従って、n+1番目ピクチャの発生符号ビット
量の目標値と符号化ビットレートを定め、ビットレート
制御をしながら、n+1番目のピクチャを符号化し、そ
れぞれSa,n+1、Sb,n+1、Sc,n+1、Sd,n+1の符号ビッ
ト量を発生した。このように繰り返す。
【0075】GOP残りビット量の割振りによるビット
レートの制御 次に、本実施形態において、GOP残りビット量を割り
振って符号化ビットレートの制御を行なう理由を説明す
る。各分割画像符号化装置120−i(i=1〜4)の
符号化ビットレートを制御するために、画像の複雑さに
応じた目標発生符号ビット量を各分割画像符号化装置1
20−i(i=1〜4)に割り振る必要がある。特開2
001−346201号公報に記載の符号化装置と符号
化方法では、画像の複雑さに応じて、各分割画像符号化
装置120−i(i=1〜4)の目標ビットレートを割
り振ることによって、各分割画像符号化装置120−i
(i=1〜4)の目標発生符号ビット量を制御すること
を行っている。本実施形態では、合成による符号ビット
量の変化を正確に補正することを目標としている。しか
し、ビットレートを割り振る方法では、この補正が出来
ない。既に述べたように、MPEGの規格では、400
bps単位でビットレートを指定することになってい
る。例えば、MPEG2規格では、ビットレートを8M
bpsに設定する場合は、20000(=800000
0/400)をビットストリームのヘッダに書く。ビッ
トレートのこの程度の精度が以上のような補正では不十
分である。本実施形態では、ビットレートではなく、G
OP残りビット量を用いて、合成後符号ビット量の増減
を補正した上で、各分割画像符号化装置120−i(i
=1〜4)のピクチャごとの発生符号ビット量を制御す
ることによって、各分割画像符号化装置120−i(i
=1〜4)のビットレートの合計を目標のビットレート
に正確に一致させる。
【0076】図8(A)と(B)は、符号化によってG
OP残りビット量の変化を示す図であり、GOP残りビ
ット量の変化とビットレートとの関係を示している。図
8(A)と(B)において、縦軸はGOP残りビット量
V(4つの分割画像符号化装置における値の合計)を表
わし、その初期値は1GOP間の割当ビット量Tgop
である。横軸は、GOPに含まれ、符号化順に並べられ
たピクチャを表わす。符号化につれてピクチャ毎の発生
された符号ビット量SnはGOP残りビット量Vからピ
クチャごとに引かれていき、GOP残りビット量Vが減
っていく傾向にある。
【0077】図8(A)と(B)に示すように、GOP
残りビット量の初期値である1GOP間の割当ビット量
Tgopが一定の場合は、ピクチャタイプによる違いを
考えなければ、ピクチャ毎に発生した符号ビット量Sn
はほぼ一定である。さらに、1GOP間の割当ビット量
Tgopに比例して、ピクチャごとの発生符号ビット量
Snが変化する。図8(A)に示すように、1GOP間
の割当ビット量Tgopが大きい場合は、ピクチャ毎に
発生する符号ビット量Snも大きい、逆に、図8(B)
に示すように、1GOP間の割当ビット量Tgopが小
さい場合は、ピクチャ毎に発生する符号ビット量Snも
小さい。ピクチャ毎に発生する符号ビット量Snは画像
の複雑さに関わっているので、したがって、図8(A)
は複雑さが高く、符号量が多い画像の場合、図8(B)
は、複雑さが低く、符号量が少ない画像の場合をそれぞ
れ示している。
【0078】1GOP間の割当ビット量Tgopから、
合成による符号ビット量の増加△Tがすでに引かれたの
で、分割画像の複雑さに応じて、1GOP間の割当ビッ
ト量Tgopを各分割画像符号化装置120−i(i=
1〜4)に割り振り、その割り振られた1GOP間の割
当ビット量Tgopの部分値を、各分割画像の複雑さに
応じた発生符号ビット量の目標値とすれば、合成後の統
合ビットストリームのビット量とビットレートは正確に
目標値となる。そのため、GOP残りビット量を割り振
ることによって、各分割画像符号化装置120−i(i
=1〜4)は所定のビットレートで符号を行なうことが
達成できる。
【0079】図9は、本実施形態において、符号化によ
るGOP残りビット量の変化を示す図である。図9にお
いて、縦軸は、GOP残りビット量Vを表わし、横軸
は、GOPに含まれる、符号化順に並べられたピクチャ
を表わす。GOPの最初のピクチャ(n=1)では、G
OP残りビット量の値V1はGOP割当ビット量Tgo
pである。
【0080】1番目のピクチャを符号化した後、各分割
画像の発生符号ビット量Sa,1、Sb,1、Sc,1、Sd,1
は、各分割画像符号化装置120−i(i=1〜4)に
おけるGOP残りビット量Va,1、Vb,1、Vc,1、Vd,1
から差し引いて、その差の合計は新しいGOP残りビッ
ト量V2となる。V2は1番目のピクチャの複雑さに応
じて再割り振りされて、2番目のピクチャの符号化を行
なう。このように符号化を進めると、ピクチャごとに所
定量の符号ビットSnが発生し、それぞれ、GOP残り
ビット量Vnから差し引いていき、GOP残りビット量
Vnは順次減っていく。
【0081】本実施形態では、GOPの最後のピクチャ
を符号化し、発生したビット量S15(S15=Sa,15
+Sb,15+Sc,15+Sd,15)をGOP残りビット量V1
5(GOPの最後のピクチャの目標ビット量)から引い
た後に、GOP残りビット量がちょうどゼロになるよう
に、各分割画像符号化装置120−i(i=1〜4)で
のピクチャごとの発生符号ビット量の目標値を設定す
る。こうすることによって、符号化ビットレートのコン
トロールが行われる。図9に示すように、GOPの最後
のピクチャで、GOP残りビット量が必ずしもゼロにな
るとは限らないので、残ったあるいは不足した量は次の
GOPに繰り越され、次以降のGOPで補正されること
になる。即ち、GOP残りビット量加算部164で、G
OP残りビット量の合計を求める時は、この量も加算す
る。したがって、平均的に、1GOP間に、GOP割当
ビット量Tgopがちょうど発生することになる。
【0082】〔動画像符号化装置101の動作〕次に、
動画像符号化装置101全体の動作について説明する。
重複説明を適宜に省略する。例えばHDTVのようなM
PEG2−MP@HLの画像信号は動画像符号化装置1
01に入力されると、画面分割装置110において、該
画像信号は、4つに分割され、SDTVのようなMPE
G2−MP@MLの信号に変換されて、分割画像符号化
装置120−i(i=1〜4)に出力される。
【0083】制御装置170のGOP残りビット量割振
演算部171は、合成による符号ビット量の変化を補正
した上で、GOP内残りのピクチャの発生符号ビット量
の目標値(GOP残りビット量)を、画像複雑さに応じ
て分割画像符号化装置120−i(i=1〜4)にピク
チャごとに割振り,又は、再割振りし、なお、GOP残
りビット量がGOPの最後に平均的にゼロになるように
ピクチャ単位の発生符号ビット量を微調整する。各分割
画像符号化装置120−i(i=1〜4)は、このよう
に制御されながら、入力された分割画像信号を符号化
し、符号化されたビットストリームを各分割画像符号化
装置120−i(i=1〜4)のバッファに記憶し、ビ
ットストリーム統合装置150に出力する。ビットスト
リーム統合装置150において、4つのビットストリー
ムを1つのMPEG2−MP@HLのビットストリーム
に合成され、出力される。
【0084】この時、4つの分割画像符号化装置120
−i(i=1〜4)それぞれの符号化のビットレートR
a(t)、Rb(t)、Rc(t)、Rd(t)は時刻
により変化する。各分割画像符号化装置120−i(i
=1〜4)のビットレートは、割り当てられたGOP残
りビット量と概ね比例しているので、GOP残りビット
量の微細な制御により、ビットストリーム統合装置16
0は、Ra(t)+Rb(t)+Rc(t)+Rd
(t)=R(=所定値)と正確になるようにコントロー
ルできる。
【0085】このように、本実施形態の動画像符号化装
置101においては、画面を分割し、それぞれを別個の
符号化装置で、絵柄や画像の動きに応じて適応的に可変
ビットレートで符号化を行なうようにしているので、高
画質が得られる。また、分割画像のビットストリームを
合成する際に生じる符号ビット量の増減を補正できるの
で、分割画像の符号化ビットレートの合計は目標となる
ビットレートと正確に一致させることができる。また、
ピクチャ単位で画像の複雑さに対する符号ビット量への
反映が可能となり、より高画質の符号化が可能となる。
また、動画像符号化装置101の制御装置は、ピクチャ
単位で、各分割画像符号化装置に対して、GOP残りビ
ット量のみを指示することにより、統合されたビットス
トリームのビットレートを一定に制御していることか
ら、ビットレートコントロールを簡単に行なえる。
【0086】第2の実施形態 図10は、本実施形態の画像符号化装置201の構成を
説明するブロック図である。図11は、本実施形態の画
像符号化装置201におけるGOP残りビット量割振演
算部271の構成を説明するブロック図である。図10
と図11に示すように、本実施形態の画像符号化装置2
01の構成は、第1の実施形態の動画像符号化装置10
1の構成と同じであり、GOP残りビット量割振演算部
271も、第1の実施形態のGOP残りビット量割振演
算部171と同じ構成を有する。ただし、GOP残りビ
ット量割振演算部のGOP残りビット量再割振部におい
て、GOP残りビット量の再割振りの方法が違う。第1
の実施形態において、GOP残りビット量割振演算部1
71のGOP残りビット量加算部164が、求めたGO
P残りビット量V'n+1を直接にGOP残りビット量再割
振部165に転送して、GOP残りビット量再割振部1
65は、V'n+1を各分割画像符号化装置120−i(i
=1〜4)に再割り振りする。本実施形態では、GOP
残りビット量割振演算部271のGOP残りビット量再
割振部265は、各分割画像符号化装置120−i(i
=1〜4)において減算されたGOP残りビット量V'a,
n+1、V'b,n+1、V'c,n+1、V'd,n+1に対する補正量を△V
a,n+1、△Vb,n+1、△Vc,n+1、△Vd,n+1を求め、各分
割画像符号化装置120−i(i=1〜4)に転送す
る。次に、図12、図13を参照して、本実施形態の再
割振り方法を説明する。
【0087】図12(A)と(B)は、符号化につれて
のGOP残りビット量の変化を示す図であり、本実施形
態のGOP残りビット量の再割振り方法を説明する。図
12(A)と(B)において、縦軸は、分割画像符号化
装置A、B、C、DのいずれかにおけるGOP残りビッ
ト量、横軸は、GOPに含まれる、符号化順に並べられ
たピクチャを表わす。ここで、Zを用いてA、B、C、
Dのいずれか、zを用いてa、b、c、dのいずれかを
表示し、分割画像符号化装置ZのGOP残りビット量を
Vzと記する。Vzの初期値は、GOP割当ビット量T
gopの分割画像符号化装置Zに割り当てた値Vz,1で
ある。符号化につれてピクチャ毎に発生した符号ビット
量Sz,nはGOP残りビット量Vzから引かれていき、G
OP残りビット量Vzが減っていく。図12(A)と
(B)において、例えば、n番目のピクチャを符号化し
た後に、分割画像符号化装置ZにおけるGOP残りビッ
ト量はVz,nとし、4個の分割画像符号化装置における
合計はVnとする。
【0088】図13は、符号化画像データの流れを沿っ
て、GOP残りビット量再割振部265におけるGOP
残りビット量の再割振りの方法を詳細に説明するフロー
チャートである。 ステップS91:各分割画像符号化装置120−i(i
=1〜4)において、GOP残りビット量割振演算部2
71から割り当てられたGOP残りビット量Va,n、V
b,n、Vc,n、Vd,nに従って、n番目ピクチャの発生符
号ビット量の目標値と符号化ビットレートを定め、ビッ
トレート制御をしながら、n番目のピクチャを符号化
し、それぞれSa,n、Sb,n、Sc,n、Sd,nの符号ビット
量を発生する。
【0089】ステップS92:各分割画像符号化装置1
20−i(i=1〜4)において、各々のGOP残りビ
ット量Va,n、Vb,n、Vc,n、Vd,nから、発生した符号
ビット量Sa,n、Sb,n、Sc,n、Sd,nが減算され、その
差V'a,n+1、V'b,n+1、V'c,n+1、V'd,n+1は、GOP残り
ビット量加算部164に転送される。
【0090】ステップS93:GOP残りビット量加算
部164において、過去の符号化結果、例えば、n番目
のピクチャのGOP残りビット量Va,n、Vb,n、Vc,
n、Vd,nから、今までの傾向に沿って、n+1番目のピ
クチャのGOP残りビット量の値を予測し、その値を、
Ua,n+1、Ub,n+1、Uc,n+1、Ud,n+1と記する。図12
(A)と(B)を参照する。
【0091】ステップS94:そして、GOP残りビッ
ト量加算部164は、予測値Ua,n+1、Ub,n+1、Uc,n+
1、Ud,n+1の合計Un+1を演算し、その結果をGOP残
りビット量再割振部265に出力する。次に、GOP残
りビット量再割振部265は、n番目ピクチャの複雑さ
Xa,n、Xb,n、Xc,n、Xd,nに応じて、各分割画像符号
化装置120−i(i=1〜4)にUn+1の割り振り量
を計算し、結果はU'a,n+1、U'b,n+1、U'c,n+1、U'
d,n+1となる。
【0092】ステップS95:そして、次の式(7)の
ように、増減値△Va,n+1、△Vb,n+1、△Vc,n+1、△
Vd,n+1を求め、GOP残りビット量の再割振り量Va,n
+1、Vb,n+1、Vc,n+1、Vd,n+1を求めるための補正量
として各分割画像符号化装置120−i(i=1〜4)
に転送する。
【0093】
【数7】 △Va,n+1=U'a,n+1−Ua,n+1 △Vb,n+1=U'b,n+1−Ub,n+1 △Vc,n+1=U'c,n+1−Uc,n+1 △Vd,n+1=U'd,n+1−Ud,n+1 ・・・(7)
【0094】ステップS96:n番目ピクチャを符号化
した後、各分割画像符号化装置120−i(i=1〜
4)におけるGOP残りビット量は、それぞれ式(6)
のようになる。式(6)のGOP残りビット量V'a,n+
1、V'b,n+1、V'c,n+1、V'd,n+1に、GOP残りビット量
再割振部265から転送された補正量△Va,n+1、△V
b,n+1、△Vc,n+1、△Vd,n+1を加えて、各分割画像符
号化装置120−i(i=1〜4)におけるGOP残り
ビット量の新しい値Va,n+1、Vb,n+1、Vc,n+1、Vd,n
+1とする。
【0095】ステップS97:各分割画像符号化装置1
20−i(i=1〜4)において、改めて割り当てられ
たGOP残りビット量Va,n+1、Vb,n+1、Vc,n+1、V
d,n+1に従って、n+1番目ピクチャの発生符号ビット
量の目標値と符号化ビットレートを定め、ビットレート
制御をしながら、n+1番目のピクチャを符号化し、そ
れぞれSa,n+1、Sb,n+1、Sc,n+1、Sd,n+1の符号ビッ
ト量を発生した。
【0096】図12(A)と(B)では、GOP残りビ
ット量V'a,n+1、V'b,n+1、V'c,n+1、V'd,n+1の値は、実
際に発生した符号ビット量Sa,n、Sb,n、Sc,n、Sd,n
に依存するので、正確に示すことが難しいが、実際にV'
z,n+1の値が予測値Uz,n+1に近いので、予測値Uz,n+1
と再割り振りされたGOP残りビット量Vz,n+1と間の
矢印は、概ね以上に求めた補正量に相当する。図12
(A)に示すように、画像の複雑さが小さくなった場合
は、補正量△Vz,n+1は負であり、再割り振りされたG
OP残りビット量は小さくなり、発生する符号ビット量
も小さくなる。逆に、図12(B)に示すように、画像
の複雑さが大きくなった場合は、補正量△Vz,n+1は正
であり、再割り振りされたGOP残りビット量及び発生
する符号ビット量は大きくなる。このようにして、GO
P残りビット量の再割振りを行なう。
【0097】なお、補正量を求める時は、補正量△Va,
n+1、△Vb,n+1、△Vc,n+1、△Vd,n+1の合計はゼロに
なるように要求する。これにより、各分割画像符号化装
置120−i(i=1〜4)から出力される発生符号ビ
ット量の合計は増減しない。また、GOP残りビット量
割振演算部271において、各分割画像符号化装置12
0−i(i=1〜4)からV'a,n、V'b,n、V'c,n、V'd,n
がGOP残りビット量加算部164に入力されてから、
GOP残りビット量加算部164、そしてGOP残りビ
ット量再割振部265で順次処理された後に、各分割画
像符号化装置120−i(i=1〜4)に補正量△Va,
n+1、△Vb,n+1、△Vc,n+1、△Vd,n+1が返ってくるま
でに、1ピクチャあるいはそれ以上の遅れがある場合、
GOP残りビット量加算部164において、予測と合計
値を計算する際、例えば1ピクチャ遅れる場合は、1ピ
クチャ後の予測値Un+2を計算し、補正量△Va,n+2、△
Vb,n+2、△Vc,n+2、△Vd,n+2を求め、n+1番目の
ピクチャの符号化に用いる。また、各分割画像符号化装
置120−i(i=1〜4)に転送される値は、再割り
振りされたGOP残りビット量Va,n+2、Vb,n+2、Vc,
n+2、Vd,n+2の値ではなく、合計がゼロとなる補正量△
Va,n+2、△Vb,n+2、△Vc,n+2、△Vd,n+2であるた
め、予測に誤差があっても処理後の発生符号ビット量の
合計に増減は生じない。
【0098】本実施形態の動画像符号化装置において、
各分割画像符号化装置120−i(i=1〜4)に転送
される値は、再割り振りされたGOP残りビット量の値
ではなく、補正量であるため、画像の複雑さの変化によ
るピクチャ毎の発生符号ビット量の変化を容易に反映
し、また、補正量の合計がゼロになるので、計算に誤差
があっても、処理後の発生符号ビット量の合計に増減は
生じない。本実施形態では、予測により補正量を求める
ので、以上に説明したような1ピクチャ以上の遅れがあ
る場合に有効である。他の効果は、第1の実施形態と同
じである。
【0099】第3の実施形態 図14は、本実施形態の画像記録装置300の構成の一
例を示すブロック図である。画像記録装置300は、動
画像符号化装置301と、記録手段302とを有する。
動画像符号化装置301は、第1の実施形態の動画像符
号化装置101と同じ構成を有する。詳細な説明を省
く。記録手段302は、例えば、ビデオテープ記録/再
生装置である。動画像符号化装置301において、4つ
のビットストリームをピクチャ単位で時分割に多重化し
て1つのMPEG2ーMP@HLのビットストリームが
生成される。このようにして生成されたMPEG2ーM
P@HLのビットストリームは、必要に応じて音声信号
と多重化された後、ビデオテープ記録/再生装置300
により磁気テープ媒体に記録される。画像データをビデ
オテープ記録/再生装置300に記録する時は、テープ
が一定速度で進むので、一定のビットレートでテープに
書き込まなければならない。即ち、動画像符号化装置3
01から出力されたビットストリームのビットレート
は、テープに書き込む時に要求される一定のビットレー
トに一致しなけければならない。前記実施の形態の説明
によれば、動画像符号化装置301において、目標とな
るビットレートの統合ビットストリームを生成できる。
【0100】本実施形態によれば、テープ媒体に記録す
るなど出力されるビットレートが一定であることを要求
されるとき、分割符号化による発生符号ビット量の増減
を補正でき、ビットレートの割り振り設定ではできな
い、要求されるビットレートへの正確な一致が可能とな
る。他の効果は、第1の実施形態と同様である。
【0101】第4の実施形態 図15は、本実施形態の画像伝送装置400の構成の一
例を示すブロック図である。画像伝送装置400は、動
画像符号化装置401と、伝送手段402とを有する。
動画像符号化装置401は、第1の実施形態の動画像符
号化装置101と同じ構成を有する。詳細な説明を省
く。動画像符号化装置401において、4つのビットス
トリームをピクチャ単位で時分割に多重化して1つのM
PEG2ーMP@HLのビットストリームが生成され
る。このようにして生成されたMPEG2ーMP@HL
のビットストリームは、必要に応じて音声信号と多重化
された後、伝送手段402を介して、伝送路から伝送さ
れる。伝送路の伝送容量がある最大値に制限されている
ので、伝送手段402が画像データを伝送する時は、こ
の制限を超えてはならない。さらに、画像の複雑さによ
らずに、符号化ビットレートが一定であることが望まし
い。したがって、動画像符号化装置401から出力され
たビットストリームのビットレートは、要求される一定
のビットレート以内で、画像の複雑さによらずに、ビッ
トレートがほぼ一定であることが望ましい。前記実施の
形態の説明によれば、動画像符号化装置401におい
て、目標となるビットレートの統合ビットストリームを
生成できる。
【0102】本実施形態によれば、出力されるビットレ
ートが一定であることを要求されるとき、分割符号化に
よる発生符号ビット量の増減を補正でき、要求されるビ
ットレートへの正確な一致が可能となる。他の効果は、
第1の実施形態と同様である。
【0103】以上、本発明を好ましい実施の形態に基づ
き説明したが、本発明は以上に説明した実施の形態に限
られるものではなく、本発明の要旨を逸脱しない範囲
で、種々の改変が可能である。本実施形態に説明した画
像符号化装置は、一例であり、その構成の各種の変更が
可能である。例えば、本発明の実施形態では、1枚の画
像を分割し複数の符号化装置で符号化を行ったが、複数
の画像それぞれを1枚ずつの符号化装置で符号化し、本
実施の形態と同様にビットストリームの統合を行っても
構わない。すなわち、多重の方法として、ピクチャ単位
でビットストリームを同期させ、時分割で伝送を行って
も構わない。
【0104】また、本発明の実施形態では、水平画素サ
イズ、垂直画素サイズ、アスペクト比情報、ビットレー
ト、VBVバッファサイズ、VBVディレイなどの1つ
のMPEG2−MP@HLのビットストリームとして書
き換えが必要となるパラメータについては、ビットスト
リーム統合装置150において書き換えるものとした。
しかし、制御部172から各分割画像符号化装置120
−i(i=1〜4)への指示に基づいて、あらかじめ各
分割画像符号化装置120−i(i=1〜4)において
書き換えられるべき値のビットストリームを生成し出力
するようにし、ビットストリーム統合装置150は何ら
書き換えを行なわずにそのまま出力するようにしてもよ
い。
【0105】また、第1の実施形態では、1ピクチャ前
の画像の発生符号ビット量および平均量子化スケールに
基づいて、GOP残りビット量の再割振りを行なってい
たが、たとえば、2ピクチャ前、3ピクチャ前の画像を
参照したり、以前の複数の画像を参照したりするように
してもよい。これによって、ピクチャごとのビットレー
ト制御に要求される高速な処理の必要性がなくなるの
で、有用である。
【0106】また、前述した実施の形態では画像の分割
数を4としたが、4以外の自然数であっても構わない。
また、高精細度TV(HDTV)信号および標準TV
(SDTV)信号の種類(例えば、NTSC信号,PA
L信号)も何ら限定されるものではなく、任意の規格の
信号に適用してよい。また、本発明はMPEG2規格に
限定されず、MPEG4、又は、これと類似する他の画
像圧縮符号化技術にも適用できる。
【0107】
【発明の効果】本発明によれば、分割画像のビットスト
リームを合成する際に生じる符号ビット量の増減を補正
できるので、分割画像の符号化ビットレートの合計は目
標となるビットレートへの正確な一致が可能となる。ま
た、ピクチャ単位で画像の複雑さに対する符号ビット量
への反映が可能となり、より高画質の符号化が可能とな
る。また、ピクチャ単位で各分割画像符号化に際してG
OP残りビット量のみを指示することにより、統合され
たビットストリームのビットレートを一定に制御してい
ることから、ビットレートの制御を簡単に行なえる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に関わる画像符号化装
置の構成を示すブロック図である。
【図2】本発明の第1の実施形態に関わる画像符号化装
置に入力されるHDTV映像信号、および、その分割方
法を説明するための図である。
【図3】本発明の第1の実施形態に関わる画像符号化装
置において、スライス単位で分解されたビットストリー
ムの並びを説明するための図である。
【図4】本発明の第1の実施形態に関わる画像符号化装
置において、合成によりビットストリームのヘッダデー
タのビット量の変化を示す図表である。
【図5】本発明の第1の実施形態に関わる画像符号化装
置において、GOP残りビット量割振演算部の構成を説
明するブロック図である。
【図6】本発明の第1の実施形態に関わる画像符号化装
置において、GOP残りビット量を割振演算部の動作を
説明するフローチャートである。
【図7】本発明の第1の実施形態に関わる画像符号化装
置のGOP残りビット量を割振演算部において、GOP
残りビット量の再割振りを行なう方法を説明するフロー
チャートである。
【図8】(A)と(B)は、本発明の第1の実施形態に
関わる画像符号化装置において、符号化につれてのGO
P残りビット量の変化を示す図であり、GOP残りビッ
ト量の変化とビットレートとの関係を図解している。
【図9】本発明の第1の実施形態に関わる画像符号化装
置において、符号化につれてのGOP残りビット量の変
化を示す図であり、符号化のビットレート制御を図解し
ている。
【図10】本発明の第2の実施形態に関わる画像符号化
装置の構成を示すブロック図である。
【図11】本発明の第2の実施形態に関わる画像符号化
装置において、GOP残りビット量割振演算部の構成を
説明するブロック図である。
【図12】(A)と(B)は、本発明の第2の実施形態
に関わる画像符号化装置において、符号化につれてのG
OP残りビット量の変化を示す図であり、GOP残りビ
ット量の再割振りの方法を図解している。
【図13】本発明の第2の実施形態に関わる画像符号化
装置のGOP残りビット量を割振演算部において、GO
P残りビット量の再割振りを行なう方法を説明するフロ
ーチャートである。
【図14】本発明の第3の実施形態に関わる画像記録装
置の構成の一例を示すブロック図である。
【図15】本発明の第4の実施形態に関わる画像伝送装
置の構成の一例を示すブロック図である。
【符号の説明】
101…動画像符号化装置、110…画面分割装置、1
20…分割画像符号化装置、150…ビットストリーム
統合装置、160…ピクチャタイプカウント部、161
…GOP割当ビット量演算部161、162…GOP割
当ビット量割振部、163…画像複雑さ演算部、164
…GOP残りビット量加算部、165…GOP残りビッ
ト量再割振部、170…制御装置、171…GOP残り
ビット量割振演算部、172…制御部、201…動画像
符号化装置、265…GOP残りビット量再割振部、2
71…GOP残りビット量割振演算部、300…画像記
録装置、301…動画像符号化装置、302…ビデオテ
ープ記録再生装置、400…画像伝送装置、401…動
画像符号化装置、402…伝送手段、V、U…GOP残
りビット量、Tgop…GOP割当ビット量、S…発生
符号ビット量、Q…量子化スケールコード、R…ビット
レート、△V…GOP残りビット量補正量、△T…合成
による符号ビット量の増減量。
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5C053 FA17 FA20 FA27 GB21 GB38 KA04 KA24 5C059 KK22 MA00 PP05 PP06 PP07 PP16 SS03 SS11 TA60 TB04 TC10 TC19 TC27 TC37 TC41 TC42 TD06 TD07 TD16 UA02

Claims (14)

    【特許請求の範囲】
  1. 【請求項1】入力画像信号を分割し、N個の分割画像信
    号を生成する分割手段と、 前記N個の分割画像信号を各々符号化する時に、前記N
    個の分割画像信号のビットレートの合計が所定の目標値
    となるように、前記入力画像信号の1GOPに含まれる
    ピクチャの内、未符号化のピクチャの目標発生符号ビッ
    ト量の総量であるGOP残りビット量を、前記N個の分
    割画像信号にピクチャごとに割り振る制御手段と、 前記制御手段により割り振られたGOP残りビット量に
    従って、前記分割手段で分割したN個の分割画像信号を
    符号化し、N個のビットストリームを生成するN個の分
    割画像符号化装置を含む符号化手段と、 前記符号化手段で符号化されたN個のビットストリーム
    を1個のビットストリームに統合する統合手段とを有
    し、 前記N個のビットストリームを統合する際に生じた前記
    統合ビットストリームの符号ビット量の変化量が、前記
    GOP残りビット量から減算される画像符号化装置。
  2. 【請求項2】前記制御手段は、 符号化対象ピクチャのタイプを検出するピクチャタイプ
    検出手段と、 前記ピクチャタイプ検出手段により、前記符号化対象ピ
    クチャが1GOPの先頭ピクチャであると検出された場
    合、該GOPの全部ピクチャの目標発生符号ビット量を
    含むGOP残りビット量を求めるGOP割当ビット量演
    算手段とを有する請求項1に記載の画像符号化装置。
  3. 【請求項3】前記GOP割当ビット量演算手段は、前記
    N個のビットストリームを統合する際に生じた前記統合
    ビットストリームの符号ビット量の変化量を、前記GO
    P割当ビット量演算手段で求められた前記GOP残りビ
    ット量から減算して、前記GOP残りビット量を補正す
    る請求項2に記載の画像符号化装置。
  4. 【請求項4】前記制御手段は、 前記N個の分割画像信号に対応するN個の分割画像の画
    像複雑さをピクチャごとに求める画像複雑さ演算手段
    と、 前記画像複雑さ演算手段で求められた、符号化対象とな
    る前記先頭ピクチャより所定ピクチャ数前のピクチャの
    N個の分割画像の画像複雑さに応じて、前記補正された
    GOP残りビット量を、前記N個の分割画像信号の各々
    に割り振るGOP割当ビット量割振手段とを有する請求
    項3に記載の画像符号化装置。
  5. 【請求項5】前記N個の分割画像符号化装置は、各々、
    直前のピクチャの各分割画像信号の符号化により発生さ
    れた各々の符号ビット量を、前記N個の分割画像信号各
    々に割り振られたGOP残りビット量から減算し、前記
    直前のピクチャの各分割画像信号の符号化により発生さ
    れた各々の符号ビット量、及び、前記減算されたN個の
    分割画像信号各々のGOP残りビット量を、前記制御手
    段に入力する請求項1に記載の画像符号化装置。
  6. 【請求項6】前記制御手段は、符号化対象ピクチャのタ
    イプを検出するピクチャタイプ検出手段と、 前記ピクチャタイプ検出手段により、前記符号化対象ピ
    クチャが1GOPの先頭ピクチャではないと検出された
    場合、前記N個の分割信号各々の前記減算されたGOP
    残りビット量を加算し、前記N個の分割信号各々の前記
    減算されたGOP残りビット量の合計を求めるGOP残
    りビット量加算手段とを有する請求項5に記載の画像符
    号化装置。
  7. 【請求項7】前記制御手段は、 前記N個の分割画像信号に対応するN個の分割画像の画
    像複雑さをピクチャごとに求める画像複雑さ演算手段
    と、 前記画像複雑さ演算手段で求められた、前記符号化対象
    ピクチャより所定ピクチャ数前のピクチャのN個の分割
    画像の画像複雑さに応じて、前記GOP残りビット量加
    算手段によって求められた前記減算されたGOP残りビ
    ット量の合計を、前記N個の分割画像信号の各々に再割
    り振りするGOP残りビット量再割振手段とを有する請
    求項6に記載の画像符号化装置。
  8. 【請求項8】前記制御手段は、 符号化対象ピクチャのタイプを検出するピクチャタイプ
    検出手段と、 前記N個の分割画像信号に対応するN個の分割画像の画
    像複雑さをピクチャごとに求める画像複雑さ演算手段
    と、 前記ピクチャタイプ検出手段により、前記符号化対象ピ
    クチャが1GOPの先頭ピクチャではないと検出された
    場合、前記直前のピクチャの各分割画像信号の符号化に
    より発生された各々の符号ビット量及び前記減算された
    N個の分割画像信号各々のGOP残りビット量から、所
    定のピクチャ数後のピクチャのN個の分割画像信号各々
    のGOP残りビット量を予測し、該予測されたN個のG
    OP残りビット量の合計を求め、前記符号化対象ピクチ
    ャより所定ピクチャ数前のピクチャのN個の分割画像の
    画像複雑さに応じて、前記N個の分割画像信号の各々に
    再割り振りするGOP残りビット量再割振手段とを有す
    る請求項5に記載の画像符号化装置。
  9. 【請求項9】入力画像信号をN個の分割画像信号に分割
    し、該N個の分割画像信号を各々符号化し、N個のビッ
    トストリームを生成し、該N個のビットストリームを1
    個のビットストリームに統合する画像符号化方法であっ
    て、 前記N個の分割画像信号を各々符号化する時に、前記N
    個の分割画像信号のビットレートの合計が所定の目標値
    となるように、前記入力画像信号の1GOPに含まれる
    ピクチャの内、未符号化のピクチャの目標発生符号ビッ
    ト量の総量であるGOP残りビット量を、前記N個の分
    割画像信号にピクチャごとに割り振り、 前記N個のビットストリームを統合する際に生じた前記
    統合ビットストリームの符号ビット量の変化量が、前記
    GOP残りビット量から減算される画像符号化方法。
  10. 【請求項10】前記入力画像信号の1GOPの先頭ピク
    チャを符号化する場合、該GOPの全部ピクチャの目標
    発生符号ビット量を含むGOP残りビット量を求め、 前記N個のビットストリームを統合する際に生じた前記
    統合ビットストリームの符号ビット量の変化量を、求め
    られた前記GOP残りビット量から減算して、前記GO
    P残りビット量を補正し、 符号化対象となる前記先頭ピクチャより所定ピクチャ数
    前のピクチャのN個の分割画像の画像複雑さに応じて、
    前記補正されたGOP残りビット量を、前記N個の分割
    画像信号の各々に割り振る請求項9に記載の画像符号化
    方法。
  11. 【請求項11】直前のピクチャの各分割画像の符号化に
    より発生された各々の符号ビット量を、前記N個の分割
    画像信号各々に割り振られたGOP残りビット量から減
    算し、 前記入力画像信号の1GOPの先頭ピクチャ以外のピク
    チャを符号化する場合、前記N個の分割画像信号各々の
    前記減算されたGOP残りビット量の合計を演算し、 前記符号化対象ピクチャより所定ピクチャ数前のピクチ
    ャのN個の分割画像の画像複雑さに応じて、前記減算さ
    れたGOP残りビット量の合計を、前記N個の分割画像
    信号の各々に再割り振りする請求項9に記載の画像符号
    化方法。
  12. 【請求項12】前記入力画像信号の1GOPの先頭ピク
    チャ以外のピクチャを符号化する場合、 直前のピクチャの各分割画像の符号化により発生された
    各々の符号ビット量、及び前記N個の分割画像信号各々
    に割り振られたGOP残りビット量から、符号化対象ピ
    クチャより所定のピクチャ数後のピクチャのN個の分割
    画像信号各々のGOP残りビット量を予測し、該予測さ
    れたN個のGOP残りビット量の合計を求め、前記符号
    化対象ピクチャより所定ピクチャ数前のピクチャのN個
    の分割画像の画像複雑さに応じて、前記N個の分割画像
    信号の各々に再割り振りする請求項9に記載の画像符号
    化方法。
  13. 【請求項13】入力画像信号を分割し、N個の分割画像
    信号を生成する分割手段と、 前記N個の分割画像信号を各々符号化する時に、前記N
    個の分割画像信号のビットレートの合計が所定の目標値
    となるように、前記入力画像信号の1GOPに含まれる
    ピクチャの内、未符号化のピクチャの目標発生符号ビッ
    ト量の総量であるGOP残りビット量を、前記N個の分
    割画像信号にピクチャごとに割り振る制御手段と、 前記制御手段により割り振られたGOP残りビット量に
    従って、前記分割手段で分割したN個の分割画像信号を
    符号化し、N個のビットストリームを生成するN個の分
    割画像符号化装置を含む符号化手段と、 前記符号化手段で符号化されたN個のビットストリーム
    を1個のビットストリームに統合する統合手段と、 前記統合されたビットストリームを記録媒体に記録する
    記録手段とを有し、 前記N個のビットストリームを統合する際に生じた前記
    統合ビットストリームの符号ビット量の変化量が、前記
    GOP残りビット量から減算される画像記録装置。
  14. 【請求項14】入力画像信号を分割し、N個の分割画像
    信号を生成する分割手段と、 前記N個の分割画像信号を各々符号化する時に、前記N
    個の分割画像信号のビットレートの合計が所定の目標値
    となるように、前記入力画像信号の1GOPに含まれる
    ピクチャの内、未符号化のピクチャの目標発生符号ビッ
    ト量の総量であるGOP残りビット量を、前記N個の分
    割画像信号にピクチャごとに割り振る制御手段と、 前記制御手段により割り振られたGOP残りビット量に
    従って、前記分割手段で分割したN個の分割画像信号を
    符号化し、N個のビットストリームを生成するN個の分
    割画像符号化装置を含む符号化手段と、 前記符号化手段で符号化されたN個のビットストリーム
    を1個のビットストリームに統合する統合手段と、 前記統合されたビットストリームを伝送する伝送手段と
    を有し、 前記N個のビットストリームを統合する際に生じた前記
    統合ビットストリームの符号ビット量の変化量が、前記
    GOP残りビット量から減算される画像伝送装置。
JP2002099891A 2002-04-02 2002-04-02 画像符号化装置と画像符号化方法、画像記録装置、及び画像伝送装置 Pending JP2003299089A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002099891A JP2003299089A (ja) 2002-04-02 2002-04-02 画像符号化装置と画像符号化方法、画像記録装置、及び画像伝送装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002099891A JP2003299089A (ja) 2002-04-02 2002-04-02 画像符号化装置と画像符号化方法、画像記録装置、及び画像伝送装置

Publications (1)

Publication Number Publication Date
JP2003299089A true JP2003299089A (ja) 2003-10-17

Family

ID=29388264

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002099891A Pending JP2003299089A (ja) 2002-04-02 2002-04-02 画像符号化装置と画像符号化方法、画像記録装置、及び画像伝送装置

Country Status (1)

Country Link
JP (1) JP2003299089A (ja)

Similar Documents

Publication Publication Date Title
AU695550B2 (en) Buffering for digital video signal encoders using joint bit-rate control
US5596420A (en) Auto latency correction method and apparatus for MPEG playback system
JP5410566B2 (ja) マルチプロセッサアーキテクチュア並びにピクチュアベースの先読みウィンドウを具備したデジタルビデオエンコーダのためのパラレルレートコントロール
US6091776A (en) Delay balanced video encoder system
US6034731A (en) MPEG frame processing method and apparatus
JP2001346201A (ja) 画像符号化装置とその方法、画像復号化装置とその方法、画像記録装置、画像伝送装置
KR100496210B1 (ko) 부호화장치,부호화방법,다중화데이터전송장치,다중화데이터전송방법및기록매체
KR100756596B1 (ko) 비디오 데이터 부호화 장치 및 비디오 데이터 부호화 방법
US20080151998A1 (en) Method and Apparatus for Providing Rate Control for Panel-Based Real Time Video Encoder
KR20030005320A (ko) 픽처그룹의 구조의 변경을 수용하는 통계적 멀티플렉서 및리멀티플렉서
EP1279292A2 (en) Rate control and buffer protection for variable bit rate video programs over a constant rate channel
JPH10507597A (ja) マルチメディア・システムのためのプログラマブルなオーディオ−ビデオ同期方法および装置
GB2337392A (en) Encoder and encoding method
US20070237187A1 (en) Multiplexer and multiplexing method
KR100314329B1 (ko) 일정비트율엔코더를이용하는멀티플렉서
JP2003224847A (ja) 画像符号化装置とその方法、および、画像復号化装置とその方法
US20060034369A1 (en) Method and system for parametric video quality equalization in selective re-encoding
US20040161034A1 (en) Method and apparatus for perceptual model based video compression
JP2003299089A (ja) 画像符号化装置と画像符号化方法、画像記録装置、及び画像伝送装置
JPH09252290A (ja) 符号化装置、符号化方法、伝送装置、伝送方法及び記録媒体
US20060034522A1 (en) Method and system for equalizing video quality using selective re-encoding
JP2003299090A (ja) 画像符号化装置と画像符号化方法、画像記録装置、及び画像伝送装置
KR100309938B1 (ko) 비동기 제어 신호 발생장치
JP2003299091A (ja) 画像符号化装置と画像符号化方法、画像記録装置、及び画像伝送装置
JPH11252572A (ja) 符号量配分装置