JP2000341587A - 画像処理装置及び方法 - Google Patents

Abstract

(57)【要約】 【課題】 複数のビットストリームについてデコード及
び再エンコードをすることなく高品質な合成動画像を生
成する。 【解決手段】 各スライスの合成画面内での位置を示す
垂直位置情報及び各スライスに含まれる先頭マクロブロ
ックの合成画面内での位置を示す水平位置情報が入力さ
れる手段６と、各スライスに付加されスライス層の開始
を示すスライス位置情報を垂直位置情報に基づいて書き
換える手段５と、各スライスに含まれる先頭マクロブッ
クに付加され合成画面内での表示位置を示すマクロブロ
ック位置情報を水平位置情報に基づいて書き換える手段
５と、スライス位置情報及びマクロブロック位置情報が
書き換えられた各スライスのビット量が８の倍数となる
ように合成画面表示データを生成する手段とを備え、Ｍ
ＰＥＧ規格に準拠した複数の動画像データを一画面内に
表示するように合成して合成画面を生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数のＭＰＥＧ規
格に準拠した動画像データを一画面内に合成して表示す
るための処理を行う画像処理装置及び方法に関する。

【０００２】

【従来の技術】テレビジョンのチャンネル選択やデータ
ベースの画像検索を行うときにおいて、複数の画像（小
画面）を一画面の画像に合成して表示するように画像デ
ータを生成する画像処理装置がある。この画像処理装置
は、例えば３５２画素×２４０画素の画像サイズを小画
面として４つの画像データを用意し、これら小画面を合
成することで７０４画素×４８０画素の合成動画像を示
す合成画像データを生成する処理を行うことができる。

【０００３】複数の小画面を示す画像データがＭＰＥＧ
１又はＭＰＥＧ２規格に準拠したビデオストリームであ
る場合の画像処理装置１００の構成例を図１１に示す。
この画像処理装置１００は、複数の端子１０１ａ〜１０
１ｎを備え、各端子１０１ａ〜１０１ｎから入力したＭ
ＰＥＧ規格に準拠した動画像を示すビットストリームが
入力される。各ビットストリームは、ＭＰＥＧデコーダ
１０３ａ〜１０３ｎで画像信号にデコードされ、端子１
０４ａ〜１０４ｎを介して画像合成部１０５に入力され
る。

【０００４】また、この画像処理装置１００は、端子１
０２から各ビットストリームが示す複数の動画像からな
る合成動画像内での表示位置を示す表示位置情報がフレ
ームメモリ１０６に入力される。

【０００５】画像合成部１０５では、各ＭＰＥＧデコー
ダ１０３ａ〜１０３ｎからの画像信号をフレームメモリ
１０６内の所定のアドレスに格納する。そして、画像合
成部１０５は、フレームメモリ１０６に入力された表示
位置情報に基づいて各動画像を一画面に合成してなる合
成動画像を示す合成画像データを生成し、合成画像デー
タをＭＰＥＧエンコーダ１０７に出力する。

【０００６】ＭＰＥＧエンコーダ１０７は、フレームメ
モリ１０６からの合成画像データをエンコードし、端子
１０８を介してビットストリームとして外部に出力す
る。このビットストリームは、図示しない表示装置に入
力され、デコード処理等がなされてモニター上に複数の
動画像からなる合成動画像として表示される。

【０００７】

【発明が解決しようとする課題】しかし、上述した画像
処理装置１００では、ＭＰＥＧ規格に準拠したビットス
トリームを各ＭＰＥＧデコーダ１０３ａ〜１０３ｎでデ
コードし、ＭＰＥＧエンコーダ１０７でエンコードを行
っているので、合成動画像を構成する各動画像の画質が
劣化するという問題点がある。

【０００８】そこで、本発明は、上述したような実情に
鑑みて提案されたものであり、入力されたＭＰＥＧ規格
に準拠した複数のビットストリームについてデコード及
び再エンコードをすることなく高品質な合成動画像を生
成することができる画像処理装置及び方法を提供するこ
とを目的とする。

【０００９】

【課題を解決するための手段】上述の課題を解決する本
発明に係る画像処理装置は、ＭＰＥＧ（Moving Picture
Experts Group）規格に準拠した複数の動画像データを
一画面内に表示するように合成して合成画面を生成する
画像処理装置において、各スライスの合成画面内での位
置を示す垂直位置情報及び各スライスに含まれる先頭マ
クロブロックの合成画面内での位置を示す水平位置情報
が入力される入力手段と、各スライスに付加されスライ
ス層の開始を示すスライス位置情報を上記入力手段に入
力された垂直位置情報に基づいて書き換える垂直位置書
換手段と、各スライスに含まれる先頭マクロブックに付
加され合成画面内での表示位置を示すマクロブロック位
置情報を上記入力手段に入力された水平位置情報に基づ
いて書き換える水平位置書換手段と、上記垂直位置書換
手段及び水平位置書換手段により上記スライス位置情報
及び上記マクロブロック位置情報が書き換えられた各ス
ライスのビット量が８の倍数となるように合成画面表示
データを生成する合成画面生成手段とを備えることを特
徴とするものである。

【００１０】また、本発明に係る画像処理方法は、ＭＰ
ＥＧ（Moving Picture Experts Group）規格に準拠した
複数の動画像データを一画面内に表示するように合成し
て合成画面を生成する画像処理方法において、各スライ
スの合成画面内での位置を示す垂直位置情報及び各スラ
イスに含まれる先頭マクロブロックの合成画面内での位
置を示す水平位置情報を入力し、各スライスに付加され
スライス層の開始を示すスライス位置情報を上記垂直位
置情報に基づいて書き換えるとともに、各スライスに含
まれる先頭マクロブックに付加され合成画面内での表示
位置を示すマクロブロック位置情報を上記水平位置情報
に基づいて書き換え、各スライスのビット量が８の倍数
となるように上記合成画面を表示するための合成画面表
示データを生成することを特徴とする。

【００１１】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照しながら詳細に説明する。

【００１２】本発明は、例えば図１に示すように構成さ
れた画像処理装置１に適用される。

【００１３】この画像処理装置１は、動画像を示すＭＰ
ＥＧ（Moving Picture Experts Group）規格に準拠した
ビットストリームが入力される各入力端子２ａ〜２ｎか
らの各ビットストリームをスライス単位のビットストリ
ームとして切換出力するスイッチ部３と、スイッチ部３
からのビットストリームについて付加されたヘッダを調
べるシンタクスパーサ４と、シンタクスパーサ４からの
ビットストリームの表示位置を制御する表示位置情報変
更部５と、表示位置情報変更部５からのスライス単位の
ビットストリームのビット長を調整するゼロビット挿入
部７と、ゼロビット挿入部７からのビットストリーム、
端子９からのシーケンスヘッダ、シンタクスパーサ４か
らのピクチャヘッダを切換出力するスイッチ部８とを備
える。

【００１４】このような画像処理装置１は、入力端子２
ａに動画像Ａを示すビットストリーム、入力端子２ｂに
動画像Ｂを示すビットストリーム、入力端子２ｃに動画
像Ｃを示すビットストリーム、入力端子２ｄに動画像Ｄ
を示すビットストリームが入力されたときには、各動画
像を例えば図２（ａ）に示す縦２４０画素×横３５２画
素の小画面の子画像Ａ，Ｂ，Ｃ，Ｄとし、これらの子画
像Ａ，Ｂ，Ｃ，Ｄを合成することで図２（ｂ）に示す縦
４８０画素×横７０４画素の合成動画像とする処理を行
うものである。

【００１５】先ず、各入力端子２ａ〜２ｎに入力される
ＭＰＥＧ規格に準拠したビットストリームについて説明
する。

【００１６】各ビットストリームは、合成動画像を構成
する子画像用の動画像がＭＰＥＧ規格に準拠してエンコ
ードされているものである。これら各入力端子２ａ〜２
ｎからの各ビットストリームは、以下に説明する制限に
従ってエンコードされていることを要する。

【００１７】まず、各ビットストリームのフレームレー
トは、端子１０から出力する合成動画像を示すビットス
トリームと同じフレームレートであることを要する。

【００１８】また、各ビットストリームのhorizontal_s
ize及びvertical_sizeで定義される各ピクチャを表示す
るための画像サイズはそれぞれ異なっていても良いが、
全てのビットストリームを一画面に合成して合成動画像
を生成したときにおいて各子画像間に隙間が発生しない
ことを要する。

【００１９】更に、合成動画像を示す各ビットストリー
ムの同時刻に表示される子画像は、同じピクチャタイプ
であることを要する。すなわち、入力端子２ａから入力
されるビットストリームをＳ１、入力端子２ｂから入力
されるビットストリームをＳ２、入力端子２ｃから入力
されるビットストリームをＳ３、入力端子２ｄから入力
されるビットストリームをＳ４とした場合において、各
入力端子２ａ〜２ｄに入力されるピクチャの順序は、 Ｓ１：I2，B0，B1，P5，B3，B4，P8，B6，B7，P11，B
9，B10 Ｓ２：I2，B0，B1，P5，B3，B4，P8，B6，B7，P11，B
9，B10 Ｓ３：I2，B0，B1，P5，B3，B4，P8，B6，B7，P11，B
9，B10 Ｓ４：I2，B0，B1，P5，B3，B4，P8，B6，B7，P11，B
9，B10 となっていることを要する。ここで、上記、Ｉ，Ｂ，Ｐ
はそれぞれＩ（Intra）ピクチャ、Ｐ（Predictive）ピ
クチャ、Ｂ（Bidirectionally predictive）ピクチャを
表し、Ｉ，Ｐ，Ｂに付加されている添え字の数字は各ピ
クチャの表示順序を表す。

【００２０】更にまた、各ビットストリームの同時刻に
表示されるピクチャは、以下に示すＭＰＥＧ規格で定義
している各階層のヘッダとして付加されているパラメー
タの値が同じであることを要する。すなわち、各ビット
ストリームのピクチャ層について付加されているtempor
al_reference、full_pel_forward_ventor、forward_f_c
ode、full_pel_backward_vector、backward_f_codeが同
じであることを要する。ここで、各ビットストリームが
ＭＰＥＧ２規格でエンコードされているときにおいて
は、更にピクチャ符号化機能拡張部（picture_coding_e
xtention）に含まれる各種パラメータも同じであること
を要する。

【００２１】更にまた、各ビットストリームは、１スラ
イスに含まれるマクロブロックの垂直位置（slice_vert
ical_position）が同じであることを要する。すなわ
ち、１スライスは、２列以上のマクロブロックラインに
亘って連続してはならない。例えば図３に示すように、
各スライスは、macroblock_address_incrementが“１”
である先頭のマクロブロック（以下、先頭マクロブロッ
クと呼ぶ。）が画面の左端の位置し、同じ垂直位置の右
端のマクロブロックで終わるように位置していることが
望ましい。

【００２２】このような制限に従って各入力端子２ａ〜
２ｎから入力されるビットストリームにより表示される
ピクチャは、図３に示すように、例えば画像サイズが縦
２４０画素×横３５２画素である。このピクチャのスラ
イス構造は、上述したように画面の左端ではじまり、同
じ垂直位置の右端のマクロブロックで終わるように構成
されている。１ピクチャは１５のスライスからなり、１
スライスは図４に示すように２２個のマクロブロックか
らなる。

【００２３】ピクチャを構成する各スライスの垂直位置
は、画面の上から下に１〜１５のslice_vertical_posit
ionの値で表現される。ＭＰＥＧ規格に準拠したスライ
ス層のシンタクスは、図５に示すようになされている。
すなわち、スライス層は、３２ビットのslice_start_co
de、５ビットのquantizer_bit_slice、１ビットのextra
_bit_slice、８ビットのextra_information_slice、１
ビットでありコード値が“０”であるextra_bit_slice
のパラメータを含む。

【００２４】各スライスの画面上での垂直位置（slice_
vertical_position）は、上述のスライス層のパラメー
タのうち、スライス・スタート・コード（slice_start_
code）のうち下位８ビットで表現される。ここで、スラ
イス・スタート・コードは、３２ビット固定長であり、
１６進数で“０００００１ｘｘ”で表現される値であ
る。そして、スライス・スタート・コードの下位８ビッ
トの“ｘｘ”が垂直位置（slice_vertical_position）
を表す。

【００２５】また、各スライスを構成する先頭マクロブ
ロックのピクチャ内での水平位置は、ピクチャの左端か
らのマクロブロックの個数で表される。図３に示したピ
クチャのスライス構造の例では、各スライスの先頭マク
ロブロックのピクチャ内での水平位置は“１”である。

【００２６】各スライスを構成するマクロブロック層の
シンタクスは、図６に示すようになっている。すなわ
ち、マクロブロック層は、macroblock_stuffing、macro
block_escape、macroblock_address_increment、macrob
lock_type、quantizer_scale、motion_horizontal_forw
ard_code、motion_horizontal_forward_r、motion_vert
ical_forward_code、motion_vertical_forward_r、moti
on_horizontal_backward_code、motion_horizontal_bac
kward_r、motion_vertical_backward_code、motion_ver
tical_backward_r、coded_block_pattern、end_of_macr
oblockのパラメータを含む。

【００２７】各スライスの先頭マクロブロックのピクチ
ャ内での位置は、上述したマクロブロック層のパラメー
タのうちmacroblock_escapeとmacroblock_address_incr
ementのパラメータで表される。このmacroblock_addres
s_incrementは、図７に示すように、スライスを構成す
る各マクロブロックを示す値（increment_value）を可
変長コード（VLC_code）により表現している。

【００２８】このように上述した制限に従い、図５〜図
７を参照して説明したようなスライス層及びマクロブロ
ック層のシンタクスで示したパラメータが含まれるビッ
トストリームは、各入力端子２ａ〜２ｎを介してスイッ
チ部３に入力される。

【００２９】このスイッチ部３は、例えば図示しない制
御部によりシンタクスパーサ４への出力タイミングが制
御され、図１に示すスイッチ端子３ａ、スイッチ端子３
ｂ、スイッチ端子３ｃ、スイッチ端子３ｄ、・・・、ス
イッチ端子３ｎの順に接続を切り換えることで、合成動
画像上での左上左端に位置するマクロブロックからラス
タースキャン方向にマクロブロック単位で読み込んで各
スライスをシンタクスパーサ４に出力する。

【００３０】例えば、合成動画像を構成する各子画像の
画像サイズが縦２４０画素×横３５２画素であって、図
８に示すように４個の子画像Ａ，Ｂ，Ｃ，Ｄを一画面に
合成して合成動画像を生成する場合、入力端子２ａには
子画像Ａを示すビットストリームが入力され、入力端子
２ｂには子画像Ｂを示すビットストリームが入力され、
入力端子２ｃには子画像Ｃを示すビットストリームが入
力され、入力端子２ｄには子画像Ｄを示すビットストリ
ームが入力されるとする。

【００３１】このとき、スイッチ部３は、先ず子画像Ａ
を構成するスライス及び子画像Ｂを構成するスライスを
子画像Ａ、子画像Ｂの順序に上から交互に出力するよう
に動作し、子画像Ａ及び子画像Ｂを構成する全スライス
の出力を終了すると、子画像Ｃを構成するスライス及び
子画像Ｄを構成するスライスを子画像Ｃ、子画像Ｄの順
序に上から交互に出力するように動作する。

【００３２】より具体的には、スイッチ部３は、先ずsl
ice_vertical_positionの値が“１”のスライスを構成
し合成動画像内での水平位置が“０〜２１”であってma
croblock_address_incrementの値が“１〜２２”のマク
ロブロック、slice_vertical_positionの値が“１”の
スライスを構成し合成動画像内での水平位置が“２２〜
４３”であってmacroblock_address_incrementの値が
“２３〜４４”となるべきマクロブロックの順に子画像
Ａ、子画像Ｂの順序で交互に読み込むことで、合成動画
像のslice_vertical_positionの値が“１”におけるス
ライスを出力する処理を行う。そして、スイッチ部３
は、slice_vertical_positionの値が“１”のスライス
を読み込んだら、順次slice_vertical_positionの値が
“１〜１５”となるべきスライスを読み込み合成動画像
における子画像Ａ及び子画像Ｂを出力する。そして、ス
イッチ部３は、子画像Ｃ及び子画像Ｄについても、上述
と同様に順次slice_vertical_positionの値が“１６〜
３０”となるべきスライスを出力する処理を行うことで
合成動画像を構成する全ての画素をシンタクスパーサ４
に出力する処理を行う。

【００３３】シンタクスパーサ４は、スイッチ部３から
各スライスに付加されているスライス・スタート・コー
ドと、各スライスの先頭マクロブロックに付加されてい
るmacroblock_escape及びmacroblock_address_incremen
tの値を調べる処理を行って、スライス単位のビットス
トリームとともに表示位置情報変更部５に出力する。

【００３４】また、このシンタクスパーサ４は、上述の
ように各入力端子２ａ〜２ｎから入力される全てのビッ
トストリームのピクチャ層のパラメータが同じであると
いう制限を満たしているものとみなして、入力端子２ａ
に入力されたビットストリームについてのみピクチャヘ
ッダを読み出す処理を行う。そして、シンタクスパーサ
４は、読み出したピクチャヘッダを合成動画像のピクチ
ャヘッダとしてスイッチ部８に出力する。

【００３５】表示位置情報変更部５には、シンタクスパ
ーサ４からスライス単位のビットストリームとともに、
端子６から各子画像の合成動画像内での表示位置を指定
する表示位置情報が入力される。表示位置情報変更部５
は、表示位置情報に基づいて、合成動画像内における各
スライスの垂直位置及び合成動画像内における各スライ
スの先頭マクロブロックの水平位置を計算する処理を行
う。

【００３６】この表示位置情報変更部５は、例えば図８
に示す子画像Ａ，Ｂ，Ｃ，Ｄの合成動画像内での表示位
置を指定する表示位置情報が入力されたとき、各スライ
スに付加されたビットストリームのスライス・スタート
・コード、各スライスの先頭マクロブロックに付加され
たmacroblock_escape及びmacroblock_address_incremen
tのパラメータについて計算を行って合成動画像内にお
ける子画像Ａ，Ｂ，Ｃ，Ｄの表示位置を決定する。

【００３７】すなわち、表示位置情報変更部５は、子画
像Ａと子画像Ｂを構成する各スライスの合成動画像内で
の垂直位置を上から順に“１〜１５”（slice_vertical
_position=1〜15）とし、子画像Ｃと子画像Ｄを構成す
る各スライスの合成動画像内での垂直位置を上から順に
“１６〜３０”（slice_vertical_position=16〜30）と
する。更に、表示位置情報変更部５は、子画像Ａと子画
像Ｃを構成する各スライスの先頭マクロブロックの合成
動画像内での水平位置を“０”（macroblock_address_i
ncrement=1）とし、子画像Ｂと子画像Ｄを構成する各ス
ライスの先頭マクロブロックの合成動画像内での水平位
置を“２２”（macroblock_address_increment=23）と
する。

【００３８】具体的には、表示位置情報変更部５は、各
スライスに付加されているスライス・スタート・コード
の下位８ビットを各スライスの合成動画像内での垂直位
置の値に書き換え、各スライスの先頭マクロブロックに
付加されているmacroblock_address_incrementの値を各
スライスの先頭マクロブロックの合成動画像内での水平
位置の値に書き換える処理を行う。

【００３９】これにより、表示位置情報変更部５は、子
画像Ａはmacroblock_address_incrementの値が“１”で
ある先頭マクロブロックを含んだslice_vertical_posit
ionの値が“１〜１５”であるスライスにより表示さ
れ、子画像Ｂはmacroblock_address_incrementの値が
“２３”である先頭マクロブロックを含んだslice_vert
ical_positionの値が“１〜１５”であるスライスによ
り表示され、子画像Ｃはmacroblock_address_increment
の値が“１”である先頭マクロブロックを含んだslice_
vertical_positionの値が“１６〜３０”であるスライ
スにより表示され、子画像Ｄはmacroblock_address_inc
rementの値が“２３”である先頭マクロブロックを含ん
だslice_vertical_positionの値が“１６〜３０”であ
るスライスにより表示されるようにパラメータを書き換
える処理を行う。

【００４０】そして、表示位置情報変更部５は、上述の
ように書き換えたパラメータとともに、スライス単位の
ビットストリームをゼロビット挿入部７に出力する。

【００４１】ゼロビット挿入部７は、macroblock_addre
ss_incrementが図７に示すように可変長であり、表示位
置情報変更部５によりmacroblock_address_incrementの
値を書き換えることにより各スライスのビット数が変化
した可能性があり、ＭＰＥＧ規格のスタートコードがバ
イト量の調整されていなければならずスライス単位のビ
ットストリームのビット数が８の倍数である必要がある
ので、各スライスのビット数を調整する処理を行う。

【００４２】すなわち、ゼロビット挿入部７は、スライ
ス単位のビットストリームのビット数が８の倍数である
か否かを調べ、スライス単位のビットストリームのビッ
ト数が８の倍数となるように値が“０”のビットを各ス
ライスの終端に挿入する処理を行う。そして、ゼロビッ
ト挿入部７は、８の倍数となるようにビット長を調整し
たスライス単位のビットストリームをスイッチ部８に出
力する。

【００４３】スイッチ部８は、例えば図示しない制御部
により制御され、ゼロビット挿入部７からスライス単位
のビットストリームが入力されるスイッチ端子８ａ、シ
ンタクスパーサ４からピクチャヘッダが入力されるスイ
ッチ端子８ｂ、端子９からシーケンスヘッダ及びＧＯＰ
（Group of Pictures）ヘッダが入力されるスイッチ端
子８ｃを切り換えることで、端子１０を介して合成動画
像を示すビットストリームを出力する。

【００４４】ここで、上記シーケンスヘッダ、ＧＯＰヘ
ッダ、ピクチャヘッダ及びスライス単位のビットストリ
ームは、それぞれＭＰＥＧ規格に準拠したシーケンス
層、ＧＯＰ層、ピクチャ層のシンタクスを満たす。

【００４５】端子１０から出力されたビットストリーム
は、図示しない表示装置に入力され、表示装置内でデコ
ードされてモニター上に複数の子画像からなる合成動画
像として表示される。

【００４６】このように構成された画像処理装置１は、
表示位置情報に基づいて、表示位置情報変更部５により
スライス・スタート・コードの下位８ビットを各スライ
スの合成動画像内での垂直位置の値に書き換えるととも
に、macroblock_address_incrementの値を各スライスの
先頭マクロブロックの合成画像内での水平位置に書き換
える処理を行うことにより、入力端子２ａ〜２ｎから入
力されたビットストリームが示す動画像を子画像として
合成動画像内における表示位置を決定して合成動画像を
示すビットストリームを生成することができるので、各
動画像の品質を保持しつつ合成動画像を示すビットスト
リームを生成することができる。

【００４７】したがって、この画像処理装置１は、例え
ばデコードや再エンコード等の処理を行う必要がないの
で、各動画像の品質を劣化させるようなことがなく合成
動画像を生成することができる。

【００４８】次に、上述した画像処理装置１により合成
動画像を生成するときの処理手順について図９及び図１
０のフローチャートを参照して説明する。

【００４９】図９に示すフローチャートによれば、先
ず、ステップＳＴ１において、画像処理装置１は、図示
しない制御部により端子９からＧＯＰヘッダをスイッチ
部８に出力するか否かを判定する。このステップＳＴ１
において、制御部は、端子１０から出力する合成動画像
を示すビットストリームを出力するときにおいて、ＧＯ
Ｐヘッダ及びシーケンスヘッダを出力するタイミングを
判定してスイッチ部８にＧＯＰヘッダを出力するか否か
を判定する。そして、制御部は、ＧＯＰヘッダを出力す
ると判定したときにはステップＳＴ２に進み、ＧＯＰヘ
ッダを出力しないと判定したときにはステップＳＴ３に
進む。

【００５０】ステップＳＴ２において、制御部は、ステ
ップＳＴ１でＧＯＰヘッダ及びシーケンスヘッダを出力
するタイミングと判定したことに応じて、端子９からＧ
ＯＰヘッダ及びシーケンスヘッダをスイッチ部８に出力
する処理を行う。

【００５１】ステップＳＴ３において、制御部は、シン
タクスパーサ４に格納されたビットストリームを構成す
るピクチャごとにピクチャヘッダを出力する。そして、
制御部は、後述のステップＳＴ４〜ステップＳＴ７にお
いて、ステップＳＴ３で出力したピクチャヘッダが付加
されるピクチャを構成するスライスについての処理を行
わせる。

【００５２】ステップＳＴ４において、制御部は、スイ
ッチ部３を制御することにより、ピクチャを構成するス
ライス単位のビットストリームをシンタクスパーサ４に
出力させる。ここで、各入力端子２ａ〜２ｎに入力され
たスライス単位のビットストリームは、一画面で表示さ
れるピクチャを構成するビットストリームである。

【００５３】ステップＳＴ５において、シンタクスパー
サ４は、スイッチ部３からのスライス単位の各ビットス
トリームを、一画面に表示される各ピクチャを示すスラ
イスから、合成動画像を表示するためのスライスに変換
する処理を行う。

【００５４】すなわち、制御部は、図１０のフローチャ
ートに示す処理をシンタクスパーサ４、表示位置情報変
更部５、及びゼロビット挿入部７に行わせる。この図１
０によれば、先ず、制御部は、ステップＳＴ１１におい
て、端子６から表示位置情報を表示位置情報変更部５に
入力させるように制御する。

【００５５】そして、シンタクスパーサ４は、スライス
単位のビットストリームのスライス・スタート・コー
ド、各スライスの先頭マクロブロックのmacroblock_esc
ape及びmacroblock_address_incrementの値を調べる処
理を行うことで、各スライスの合成動画像内で表示され
るべき垂直位置及び各スライスの先頭マクロブロックの
合成動画像内で表示されるべき水平位置を調べる処理を
行う。

【００５６】次のステップＳＴ１２において、表示位置
情報変更部５は、ステップＳＴ１１における各スライス
の合成動画像内で表示されるべき垂直位置及び端子６か
らの表示位置情報に基づいて、各スライスについてのス
ライス・スタート・コードの下位８ビットをスライスの
合成動画像内での垂直位置の値に書き換える処理を行
う。

【００５７】また、表示位置情報変更部５は、ステップ
ＳＴ１３において、各スライスの先頭マクロブロックの
合成動画像内で表示されるべき水平位置及び端子６から
の表示位置情報に基づいて、スライスの先頭マクロブロ
ックのmacroblock_address_incrementの値をスライスの
先頭マクロブロックの合成動画像内での水平位置の値に
書き換える処理を行う。

【００５８】次のステップＳＴ１４において、ゼロビッ
ト挿入部７は、スライス単位のビットストリームのビッ
ト数が８の倍数であるか否かを調べ、スライス単位のビ
ットストリームのビット数が８の倍数となるように値が
“０”のビットをスライスの終端に挿入する処理を行っ
て各スライスについての処理を終了して図９に示すステ
ップＳＴ６に進む。

【００５９】そして、ステップＳＴ６において、制御部
は、８の倍数となるようにビット長を調整したスライス
単位のビットストリームをスイッチ部８に出力する処理
を行う。

【００６０】ステップＳＴ７において、制御部は、上述
のステップＳＴ６において出力したスライス単位のビッ
トストリームが合成動画像を構成する最後のスライスか
否かを判定する。そして、制御部は、合成動画像を構成
する最後のスライスであると判定したときにはステップ
ＳＴ８に進み、合成動画像を構成する最後のスライスで
はないと判定したときにはステップＳＴ４に戻って次の
スライスをスイッチ部３から入力し再びステップＳＴ５
〜ステップＳＴ７に示す処理を行わせる。すなわち、制
御部は、合成動画像を構成する全スライスについてステ
ップＳＴ５で説明した処理を行わせて、全スライスにつ
いてステップＳＴ５に示す処理を行ったときにステップ
ＳＴ８に進む。

【００６１】ステップＳＴ８において、制御部は、スイ
ッチ部８を介して端子１０から出力するピクチャが最後
のピクチャか否かを判定する処理を行う。そして、制御
部は、最後のピクチャであると判定したときには合成動
画像を生成する処理を終了し、最後のピクチャではない
と判定したときにはステップＳＴ１に戻って再びステッ
プＳＴ１〜ステップＳＴ８の処理を繰り返して合成動画
像を構成するピクチャを生成する処理を行う。

【００６２】このような処理を行う画像処理装置１は、
入力端子２ａ〜２ｎに入力したビットストリームをシン
タクスパーサ４、表示位置情報変更部５及びゼロビット
挿入部７により合成動画像を構成するスライス単位のビ
ットストリームとして端子８ａに入力するとともに、ピ
クチャヘッダをスイッチ端子８ｂに入力し、シーケンス
ヘッダ及びＧＯＰヘッダをスイッチ端子８ｃに入力す
る。そして、制御部は、スイッチ部８を制御することに
より、スライス単位のビットストリーム、ピクチャヘッ
ダ、シーケンスヘッダ及びＧＯＰヘッダの出力タイミン
グを制御して、端子１０から合成動画像を示すビットス
トリームを出力する。

【００６３】

【発明の効果】以上詳細に説明したように、本発明に係
る画像処理装置及び方法によれば、合成号画像を構成す
る複数の動画像データとともに、各動画像データを構成
する各スライスの合成画面内での位置を示す垂直位置情
報及び各スライスに含まれる先頭マクロブロックの合成
画面内での位置を示す水平位置情報を入力し、各スライ
スに付加されスライス層の開始を示すスライス位置情報
を垂直位置情報に基づいて書き換えるとともに、各スラ
イスに含まれる先頭マクロブックに付加され合成画面内
での表示位置を示すマクロブロック位置情報を水平位置
情報に基づいて書き換えることにより、各スライスの合
成画面内での表示位置を決定して、ＭＰＥＧ規格に準拠
した複数の動画像データを一画面内に表示するように合
成して合成画面を生成することができる。したがって、
この画像処理装置及び方法によれば、入力されたＭＰＥ
Ｇ規格に準拠したビットストリームについて行うデコー
ド及び再エンコードをすることなく高品質な合成動画像
を生成することができる。

【図面の簡単な説明】

【図１】本発明を適用した画像処理装置の構成の一例を
示すブロック図である。

【図２】（ａ）は小画面の子画像Ａ，Ｂ，Ｃ，Ｄを示
し、（ｂ）はこれらの子画像Ａ，Ｂ，Ｃ，Ｄを合成する
ことで合成動画像とする処理を行うことを説明するため
の図である。

【図３】ピクチャのスライス構造について説明するため
の図である。

【図４】スライスの構成についての説明するための図で
ある。

【図５】ＭＰＥＧ規格に準拠したスライス層のシンタク
スについて説明するための図である。

【図６】ＭＰＥＧ規格に準拠したマクロブロック層のシ
ンタクスについて説明するための図である。

【図７】スライスを構成する各マクロブロックを示す値
（increment_value）を可変長コード（VLC_code）によ
り表現していることを説明するための図である。

【図８】４個の子画像Ａ，Ｂ，Ｃ，Ｄを一画面に合成し
て合成動画像を生成することを説明するための図であ
る。

【図９】画像処理装置により合成動画像を生成する と
きの処理手順について示すフローチャートである。

【図１０】画像処理装置により合成動画像を生成すると
きにおいて、各スライスについて行う処理の処理手順に
ついて示すフローチャートである。

【図１１】従来の画像処理装置の構成を示すブロック図
である。

【符号の説明】

１ 画像処理装置、２ａ〜２ｎ 入力端子、４ シンタ
クスパーサ、５ 表示位置情報変更部、７ ゼロビット
挿入部

Claims (6)

【特許請求の範囲】
1. 【請求項１】 ＭＰＥＧ（Moving Picture Experts Gro
   up）規格に準拠した複数の動画像データを一画面内に表
   示するように合成して合成画面を生成する画像処理装置
   において、 各スライスの合成画面内での位置を示す垂直位置情報及
   び各スライスに含まれる先頭マクロブロックの合成画面
   内での位置を示す水平位置情報が入力される入力手段
   と、 各スライスに付加されスライス層の開始を示すスライス
   位置情報を上記入力手段に入力された垂直位置情報に基
   づいて書き換える垂直位置書換手段と、 各スライスに含まれる先頭マクロブックに付加され合成
   画面内での表示位置を示すマクロブロック位置情報を上
   記入力手段に入力された水平位置情報に基づいて書き換
   える水平位置書換手段と、 上記垂直位置書換手段及び水平位置書換手段により上記
   スライス位置情報及び上記マクロブロック位置情報が書
   き換えられた各スライスのビット量が８の倍数となるよ
   うに合成画面表示データを生成する合成画面生成手段と
   を備えることを特徴とする画像処理装置。
2. 【請求項２】 上記垂直位置書換手段は、上記スライス
   位置情報としてスライス・スタート・コード（slice_st
   art_code）の下位８ビットを上記入力手段に入力された
   垂直位置情報に基づいて書き換えることを特徴とする請
   求項１記載の画像処理装置。
3. 【請求項３】 上記水平位置書換手段は、上記マクロブ
   ロック位置情報として各スライスに含まれる先頭マクロ
   ブックに付加され合成画面内での表示位置を示すマクロ
   ブロック・アドレス・インクリメント（macroblock_add
   ress_increment）を上記入力手段に入力された水平位置
   情報に基づいて書き換えることを特徴とする請求項１記
   載の画像処理装置。
4. 【請求項４】 ＭＰＥＧ（Moving Picture Experts Gro
   up）規格に準拠した複数の動画像データを一画面内に表
   示するように合成して合成画面を生成する画像処理方法
   において、 各スライスの合成画面内での位置を示す垂直位置情報及
   び各スライスに含まれる先頭マクロブロックの合成画面
   内での位置を示す水平位置情報を入力し、 各スライスに付加されスライス層の開始を示すスライス
   位置情報を上記垂直位置情報に基づいて書き換えるとと
   もに、各スライスに含まれる先頭マクロブックに付加さ
   れ合成画面内での表示位置を示すマクロブロック位置情
   報を上記水平位置情報に基づいて書き換え、 各スライスのビット量が８の倍数となるように上記合成
   画面を表示するための合成画面表示データを生成するこ
   とを特徴とする画像処理方法。
5. 【請求項５】 上記スライス位置情報としてスライス・
   スタート・コード（slice_start_code）の下位８ビット
   を上記垂直位置情報に基づいて書き換えることを特徴と
   する請求項４記載の画像処理方法。
6. 【請求項６】 上記マクロブロック位置情報として各ス
   ライスに含まれる先頭マクロブックに付加され合成画面
   内での表示位置を示すマクロブロック・アドレス・イン
   クリメント（macroblock_address_increment）を入力さ
   れた上記水平位置情報に基づいて書き換えることを特徴
   とする請求項４記載の画像処理方法。