JP2001094994A - 画像処理装置及び方法 - Google Patents

Abstract

(57)【要約】 【課題】 複数の部分画像を合成して１フレーム分の符
号化画像を構築する際に、発生する符号量の増大を防
ぐ。 【解決手段】 互いに独立した符号化された部分画像デ
ータをデータセレクタ１０１が入力し、それを部分復号
化器群１０２にそれぞれ出力する。各部分符号化器は、
入力した符号化部分画像データをそれぞれ復号化し、部
分符号化器群１０３に出力する。各部分符号化器は入力
された部分画像データを量子化して符号化する。画像合
成装置１０６は入力した符号化データを合成し１フレー
ムをバッファーに構築する。符号量制御装置１０７は、
このバッファに格納された符号量に応じて各部分符号化
器に対して量子化係数を設定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理装置及び方
法、詳しくは複数の部分画像で構成される画像を符号化
する画像処理装置及び方法に関するものである。

【０００２】

【従来の技術】複数の独立した画像データをそれぞれ部
分画像として合成し、１つの画像データを構成し、圧縮
・符号化処理を行う装置の例を図６に示す。

【０００３】同図において、６０１はデータ・セレク
タ、６０２は符号化器群、６０３は画像合成装置であ
り、内部に合成した符号データを格納するバッファ６０
３ａを有する。そして、６０４は符号量制御器である。

【０００４】ここで、符号化器群６０２で示されるそれ
ぞれの符号化器の内部構成は図５に示す通りである。

【０００５】図中、５０１は画像データ入力端子、５０
２はバッファメモリ、５０３はブロック化装置、５０４
は減算器、５０５は離散コサイン変換器（ＤＣＴ）、５
０６は量子化器、５０７は可変長符号化器である。ま
た、５０８は逆量子化器（局部復号化器）、５０９は逆
離散コサイン変換器（ＩＤＣＴ）、５１０は加算器、５
１１，５１５，５１６ 切り替スイッチ、５１２，５１
３はフレーム・メモリ、５１４は平均値演算器、５１７
は符号化制御装置、そして、５１８は動き補償装置であ
る。

【０００６】上記構成において、相互に独立した画像デ
ータ（原画像）がセレクタ６０１を経て符号化器群６０
２へ入力される。

【０００７】各符号化器は、入力された画像データ毎に
独立に用意されていて、入力された相互に独立した画像
データの符号化は相互に独立に行われる。

【０００８】符号化器群６０２では、入力された画像デ
ータに対して、離散コサイン変換→量子化→可変長符号
化という一連の符号化処理を行う。量子化器５０６は後
述する符号量制御器６０４からの命令に応じて量子化係
数（又はテーブル）を変更し、発生符号量を制御できる
ようになっている。

【０００９】次にバッファ６０３ａは、符号化画像デー
タの一時記憶場所であり、このバッファの空き要領と発
生符号量を６０４の符号量制御装置が監視して、バッフ
ァ６０３が破綻（オーバーフロー又はアンダーフロー）
しないよう符号化器群６０２に示す各符号化器の内部に
存在する量子化器（図５の５０６）に於ける量子化テー
ブル（又は量子化係数）を適宜制御するようになってい
る。

【００１０】ここで図６の符号化器群６０２を構成する
各符号化器の１つについて図５に従って説明する。

【００１１】図５の５０１の入力端子から入力された画
像データは、バッファメモリ５０２に蓄積された後、ブ
ロック化装置５０３に入力され、任意のサイズのブロッ
ク（ｎ×ｍ画素）に分割される。

【００１２】そして、ブロック化された画像データは、
減算器５０４にて動きべクトルに基づく予測値（動き補
償）が減算され、減算結果を予測誤差として、ＤＣＴ
（５０５）→量子化（５０６）→ＶＬＣ（５０７）とい
う一連の符号化処理を行って、出力されるようになって
いる。

【００１３】一方、前記ＤＣＴ→量子化された予測誤差
は、逆量子化器５０８→逆ＤＣＴ５０９という符号化処
理と逆の処理により、局部復号され、加算器５１０にて
動きベクトルに基づく予測値（減算器５０４にて減算さ
れた値）と加算され、符号化・復号化済み動き補償（予
測）用画像データとして、フレーム・メモリ５１２又は
５１３に蓄積される。

【００１４】図５に於いて、５１１、５１５、５１６で
示される各スイッチは、符号化制御装置５１７により制
御されるようになっており、スイッチ５１１は、復元さ
れた符号化・復号化済みフレームの属性、スイッチ５１
５は、符号化対象ブロック（入力画像）の符号化・モー
ド（予測の方向）、スイッチ５１６は、予測／復元（モ
ード）をパラメータとして、制御される。

【００１５】また、動き補償装置５１８は、ブロック化
された原画像データ（ブロック化装置５０３からの出
力）と、フレーム・メモリ５１２、５１３から読み出し
た符号化・復号化済み画像データ（予測値）を入力と
し、ブロック化された原画像データの動きベクトル探索
を行い、その結果（動きべクトル）を符号化制御装置５
１７へ出力する。符号化制御装置５１７は、この動きベ
クトルと符号化対象ブロックの符号化モードをパラメー
タとして、スイッチ５１１、５１５、５１６と、フレー
ム・メモリ５１２、５１３の読み書きを制御する。

【００１６】さて、上記のような予測符号化器に、例え
ば図７に示すような二種類の互いに独立したオブジェク
ト画像（１，２）が入力された場合を想定する。ここ
で、オブジェクト１は静止画像、オブジェクト２は同図
（ｂ）のようにフレームの右から左に時間の経過と共に
移動していると仮定する。

【００１７】オブジェクト１、２は、上記の説明の通
り、符号化器にて相互に独立に符号化処理されるが、図
７（ｃ）のようにオブジェクト２がオブジェクト１の後
ろ側に隠れ、画像として視界から消える場合、データセ
レクタ１０１は予め設定された前後関係と、各オブジェ
クト画像の形状情報に従って、オブジェクト２について
符号化されていない（符号化データが存在しない）こと
を表すフラグ（ＮｏｔＣｏｄｅｄ）をセットし、それを
画像合成装置１０６に通知し、オブジェクト２について
の符号化を一切行わなわないようにする。

【００１８】そして図８のように、ある特定のオブジェ
クト（この場合にはオブジェクト２）がその他のオブジ
ェクト（オブジェクト１）の後ろに完全に隠れる状態が
数フレームに渡って継続する場合、各フレームに於ける
後ろに隠れたオブジェクト２の符号化方法は、各フレー
ム共前記と同様である。

【００１９】したがって、オブジェクト２が符号化され
ない期間、符号量的に余裕ができる為、画質向上等のメ
リットが期待できる。しかし、その反面、オブジェクト
２が再度視界に現れた場合（図８下部参照）、そのフレ
ームの符号化が、フレーム間予測符号化モードである場
合、前方予測対象となるフレームまでの時間的距離が長
くなる為、動きベクトル探索精度の著しい低下を来たす
可能性が高くなる。

【００２０】その結果、オブジェクト２が視界に再出現
したフレームに於けるオブジェクト２の符号量の急激な
増加や、画質の急変等の符号器、復号器両者にとって好
ましくない事態を招く危険性がある。

【００２１】本発明かかかる問題に鑑みなされたもので
あり、第１には、複数の部分画像を合成して１フレーム
分の符号化画像を構築する際に、発生する符号量の増大
を防ぐ画像処理装置及び方法を提供しようとするもので
ある。そして、第２には、部分画像どうしが互いに重な
り合って隠れてしまい、それが再び現れるような場合に
おける画質の劣化を防ぐことを可能にする画像処理装置
及び方法を提供しようとするものである。

【００２２】

【課題を解決するための手段】この課題を解決するた
め、例えば本発明の画像処理装置は以下の構成を備え
る。すなわち、互いに独立した複数の部分画像データを
入力して、１フレーム分の画像を構成し、圧縮符号化す
る画像処理装置であって、形状情報を含む互いに独立し
た符号化された部分画像データを入力する入力手段と、
各部分画像データそれぞれについて独立して復号化する
複数の局部復号手段と、復号化された各部分画像データ
を符号化する複数の局部符号化手段と、各局部符号化手
段より得られた符号化部分画像データを合成して符号化
フレームを構築する合成手段と、該合成手段で合成され
た符号量に基づいて前記局部符号化手段それぞれに対し
て量子化係数を設定する設定手段とを備える。

【００２３】

【発明の実施の形態】以下、添付図面に従って本発明に
係る実施形態を詳細に説明する。

【００２４】実施形態における予測符号化装置のブロッ
ク構成図を図１に示す。

【００２５】図示において、１０１は互いに独立した部
分画像データ（符号化画像データ及びデジタル画像デー
タを含む）を複数入力するデータ・セレクタであって、
実施形態では、入力される画像データにはその形状情報
が含まれているものとしている。１０２は部分復号化器
群、１０３は部分符号化器群、１０４は符号化器群、１
０５は符号化制御装置、１０６は画像合成装置、１０７
は符号量制御装置である。

【００２６】また、部分復号化器群１０２を構成する１
つの部分復号化器の内部構成を図２、部分符号化器群１
０３を構成する１つの部分符号化器の内部構成を図４に
それぞれ示す。

【００２７】図２に於いて、２０１はヘッダ情報復号
器、２０２は可変長符号・復号化器（ＶＬＤ）、２０３
は逆量子化器、２０４は制御コード・記憶装置（バッフ
ァーメモリで構成される）、２０５は逆離散コサイン変
換器（ＩＤＣＴ）である。

【００２８】図４に於いて、４０１は離散コサイン変換
器（ＤＣＴ）、４０２は量子化器、４０３は可変長符号
・符号化器である。

【００２９】上記構成において、データセレクタ１０１
には、既に符号化済みの画像データのビットストリーム
と、原画像データの二種類の画像データが入力可能であ
る。データセレクタ１０１に入力される各画像データ
は、その属性に関わらず相互に独立である。データ・セ
レクタ１０１は、入力が符号化済みデータである場合
は、部分復号器群１０２中のいずれか１つの部分復号化
器（図２参照）へ、原画像データである場合は符号化器
群１０４中のいずれか１つの符号化器へと、各入力を分
離して出力する機能を持つ。また、各符号化器は、自身
に入力された原画像データを独立に符号化処理すること
になる。

【００３０】ここで、符号化器群１０４内部の各符号化
器の内部構成を図３に示す。実施形態の符号化器を構成
する各要素は、後述する動き補償装置３１８を除いて、
先に示した図５とほぼ同じである。

【００３１】一方、符号化済みデータとしてデータ・セ
レクタ１０１にて、振り分けられた画像データは、先に
説明したように、部分復号化器群１０２へ入力される。

【００３２】部分復号化器群１０２の部分復号化器（図
２参照）へ入力された符号化画像データは、ヘッダ情報
復号器２０１で動きベクトル、量子化テーブル等の符号
化情報と符号化画像データとの分離、および前記ヘッダ
情報の復号処理を行い、前記ヘッダ情報は、制御コード
・記憶装置２０４に記憶・保持され、符号化画像データ
の復号処理の完了に同期して読み出される。

【００３３】一方、分離された符号化画像データは、Ｖ
ＬＤ２０２にて可変長符号の復号、逆量子化器２０３に
て逆量子化処理された後、部分符号化器群１０３の部分
符号化器へ出力される。この時、ヘッダ情報は符号化制
御装置１０５へも出力される。

【００３４】部分符号化器群１０３（その１つの構成は
図４参照）へ入力された復号済み画像データは、ＤＣＴ
４０１（離散コサイン変換）された後、量子化器４０２
にて所定の量子化係数で量子化される。量子化器４０２
に於ける量子化係数（又はテーブル）は、図１の符号量
制御装置１０７により適宜指示される。

【００３５】そして、量子化器４０２で量子化されたデ
ータは、ＶＬＣ４０３にて可変長符号化された後、画像
合成装置１０６へ供給される。

【００３６】画像合成装置１０６へ供給された相互に独
立した複数の画像は、符号化制御装置１０５により、二
次元的配置、前後関係、透過度等の要素で制御され、１
枚のフレーム画像として再構築される。ここで前後関係
とは、奥行き方向を示し、予め入力される画像について
設定されている。また、透過度とは、画像データに付随
してくる形状情報に従って設定されるものであり、画素
毎に１ビット（２値）の情報であれば、オブジェクトの
位置（輪郭）を示すことになり、多値の場合にはそれに
加えて透過度をも設定することができるようになる。

【００３７】画像合成装置１０６では、合成前の各画像
個々に、画像の輪郭情報と透過度から成る形状情報を生
成して、符号化画像データと共に出力する。

【００３８】本実施形態に於いて、図１の符号化制御装
置１０５に対する二次元的配置、前後関係、透過度等の
フレーム画像の再構築に関するパラメータの値およびそ
の指定方法は任意であるが、ここでは符号化制御装置１
０５に再構築に関するパラメータを組み込んだプログラ
ムを記憶させ、このプログラムにしたがって再構築が実
施されるようになっているものとする。

【００３９】さて、本実施形態に於けるフレーム画像の
再構築処理について説明する。

【００４０】二種類の互いに独立したオブジェクト画像
（符号化画像データとする）があり、両者は図７、８に
示すように、オブジェクト１は静止、オブジェクト２は
画面の右から左に移動する形に再構築する場合を考え
る。

【００４１】図７、８の画像に於いて、オブジェクト２
がオブジェクト１の後ろに完全に隠れる場合、オブジェ
クト２がフレームの視界に無い間のフレームの全てに関
して、本実施形態の符号化制御装置１０５は、オブジェ
クト２の符号化処理を止め、形状情報のみを生成して出
力する。

【００４２】また、図８の下段に示すようにオブジェク
ト２が再び視界に現れたフレームにおいては、そのオブ
ジェクト２が再び視界に現れたフレームの符号化モード
がインター（フレーム間符号化）である場合、このオブ
ジェクト２がオブジェクト１に完全に隠れている期間
（時間）に応じて動きベクトル探索範囲が広くなるよう
に、動きベクトル探索範囲を適宜変更する。

【００４３】更にこの期間が所定の閾値（任意に設定可
能）と比較して、その閾値を越える場合は、動きベクト
ル探索範囲を所定の範囲より狭く設定して動きベクトル
を探索し、その結果を用いて動き補償を行ない、動き補
償による符号量を任意の関数（簡易動き推定手段）にて
評価することにより、画像の動き量を推定する。

【００４４】この画像の動き推定の結果、画像の動きが
小さい（動きベクトル探索精度が良好）と判定された場
合は、動き補償の結果をそのまま符号化処理する。

【００４５】一方、画像の動きが大きい（動きベクトル
探索精度が低い）と判定された場合は、動き補償の結果
を破棄し、対象オブジェクト画像（又はその内部のブロ
ック）の符号化モードを強制的にイントラ（フレーム内
符号化）に変更する。

【００４６】なお、本発明は、複数の機器（デバイス）
から構成されるシステムに適用しても、一つの機器から
なる装置に適用してもよい。

【００４７】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体（または記録媒体）を、システムあるい
は装置に供給し、そのシステムあるいは装置のコンピュ
ータ（またはCPUやMPU）が記憶媒体に格納されたプログ
ラムコードを読み出し実行することによっても、達成さ
れることは言うまでもない。この場合、記憶媒体から読
み出されたプログラムコード自体が前述した実施形態の
機能を実現することになり、そのプログラムコードを記
憶した記憶媒体は本発明を構成することになる。また、
コンピュータが読み出したプログラムコードを実行する
ことにより、前述した実施形態の機能が実現されるだけ
でなく、そのプログラムコードの指示に基づき、コンピ
ュータ上で稼働しているオペレーティングシステム(OS)
などが実際の処理の一部または全部を行い、その処理に
よって前述した実施形態の機能が実現される場合も含ま
れることは言うまでもない。

【００４８】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。

【００４９】以上説明したように本実施形態によれば、
入力される符号化済み画像データを部分復号し、再符号
化する機能と、画素データについて符号化しない（Ｎｏ
ｔ−Ｃｏｄｅｄ＝符号化データが無い）の期間がｎフレ
ーム連続する場合、前記ｎの大きさに応じて、動きべク
トル探索範囲および符号化モードを適宜制御する機能と
を具備したことにより、オブジェクト単位で冗長度を有
効に削減する従来の機能を生かしたまま、次の符号化フ
レームに於いて、動きが大きい場合は、イントラ符号
化、動きが小さい場合は、本来指定されている符号化モ
ード又はインター符号化を適宜選択することが可能とな
るので、画素データを一切符号化しないモードによる符
号量削減効果のメリットはそのままに、次のインター・
フレームに於ける急激な符号量の増大と、それに伴う画
質劣化と、後続フレームへの符号化ノイズの波及を遮
断、又は不要なインターフレームの不要な符号量の増大
を防止できると共に、画質の安定化を実現する。

【００５０】

【発明の効果】以上説明したように本発明によれば、複
数の部分画像を合成して１フレーム分の符号化画像を構
築する際に、発生する符号量の増大を防ぐことが可能に
なる。また、部分画像どうしが互いに重なり合って隠れ
てしまい、それが再び現れるような場合における画質の
劣化を防ぐことが可能になる。

【図面の簡単な説明】

【図１】実施形態における予測符号化装置のブロック構
成図である。

【図２】実施形態における部分復号化器のブロック構成
図である。

【図３】実施形態における符号化器のブロック構成図で
ある。

【図４】実施形態における部分符号化器のブロック構成
図である。

【図５】課題となる予測符号化器に於ける符号化器の内
部ブロック構成図である。

【図６】課題となる予測符号化装置のブロック構成図で
ある。

【図７】部分画像データで構成される動画像データの例
を示す図である。

【図８】部分画像データで構成される動画像データの例
を示す図である。

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C023 AA11 BA11 CA03 CA08 5C059 KK37 MA05 MA14 MA18 MA23 MB11 MB23 MC11 ME01 NN03 PP05 PP06 PP07 PP28 RC14 RC16 RC19 TA18 TA23 TA63 TB18 TC00 TD12 UA02 UA32 UA33 UA35 UA39 5J064 AA01 AA04 BA09 BA16 BB03 BC01 BC16 BD02

Claims (14)

【特許請求の範囲】
1. 【請求項１】 互いに独立した複数の部分画像データを
   入力して、１フレーム分の画像を構成し、圧縮符号化す
   る画像処理装置であって、 形状情報を含む互いに独立した符号化された部分画像デ
   ータを入力する入力手段と、 各部分画像データそれぞれについて独立して復号化する
   複数の局部復号手段と、 復号化された各部分画像データを符号化する複数の局部
   符号化手段と、 各局部符号化手段より得られた符号化部分画像データを
   合成して符号化フレームを構築する合成手段と、 該合成手段で合成された符号量に基づいて前記局部符号
   化手段それぞれに対して量子化係数を設定する設定手段
   とを備えることを特徴とする画像処理装置。
2. 【請求項２】 更に、複数の部分画像データが時間経過
   とともに互いに重なる場合、隠れる部分画像については
   符号情報無しとして前記合成手段に通知する手段を備
   え、隠れる部分画像についての符号化データを合成対象
   外にさせることを特徴とする請求項第１項に記載の画像
   処理装置。
3. 【請求項３】 前記部分画像が隠れる期間に応じて、符
   号化されたフレームに関する動きベクトルの探索範囲を
   変動する手段を備えることを特徴とする請求項第２項に
   記載の画像処理装置。
4. 【請求項４】 前記部分画像が隠れる期間は、時間もし
   くはフレーム数によって決定することを特徴とする請求
   項第３項に記載の画像処理装置。
5. 【請求項５】 前記部分画像が隠れる期間が、所定閾値
   以上になった場合、前記動きベクトル探索範囲を小さく
   することを特徴とする請求項第３項に記載の画像処理装
   置。
6. 【請求項６】 前記部分画像が隠れる期間が所定以上に
   なり、前記符号量が所定量以上になった場合、符号化処
   理をフレーム間符号化からフレーム内符号化に切り換え
   ることを特徴とする請求項第２項乃至第５項のいずれか
   １つに記載の画像処理装置。
7. 【請求項７】 互いに独立した複数の部分画像データを
   入力して、１フレーム分の画像を構成し、圧縮符号化す
   る画像処理方法であって、 形状情報を含む互いに独立した符号化された部分画像デ
   ータを入力する入力工程と、 各部分画像データそれぞれについて独立して復号化する
   複数の局部復号工程と、 復号化された各部分画像データを符号化する複数の局部
   符号化工程と、 各局部符号化手段より得られた符号化部分画像データを
   合成して符号化フレームを構築する合成工程と、 該合成工程で合成された符号量に基づいて前記局部符号
   化手段それぞれに対して量子化係数を設定する設定工程
   とを備えることを特徴とする画像処理方法。
8. 【請求項８】 第１のオブジェクトの画像データと第２
   のオブジェクトの画像データとを入力する入力手段と、 画像を構成する画素情報と、オブジェクトの形状と透過
   度とを示す形状情報とを符号化することにより、前記画
   像データを符号化する符号化手段と、 前記第１のオブジェクトと前記第２のオブジェクトとの
   合成処理を制御する制御手段とを有し、 前記制御手段によって、前記第１のオブジェクトが前記
   第２のオブジェクトに隠された場合、前記符号化手段は
   前記第１のオブジェクトの画素情報の符号化を行わず、
   且つ、隠された期間後の前記第１のオブジェクトの画素
   情報の符号化処理を前記隠された期間に応じて変更する
   ことを特徴とする画像処理装置。
9. 【請求項９】 前記第１のオブジェクトの形状情報は、
   前記隠された場合でも符号化することを特徴とする請求
   項第８項に記載の画像処理装置。
10. 【請求項１０】 前記符号化手段は、画素情報を量子化
    する量子化手段を有し、前記量子化手段は符号化された
    符号量に応じて量子化ステップを制御することを特徴と
    する請求項第８項又は第９項に記載の画像処理装置。
11. 【請求項１１】 前記符号化手段は、前記符号量に応じ
    て前記第１のオブジェクトの画素情報のフレーム内符号
    化することを特徴とする請求項第１０項に記載の画像処
    理装置。
12. 【請求項１２】 前記符号化手段は、前記隠された期間
    に応じて前記第１のオブジェクトの画素情報をフレーム
    内符号化することを特徴とする請求項第１０項又は第１
    １項に記載の画像処理装置。
13. 【請求項１３】 前記符号化手段は、前記第１のオブジ
    ェクトの画素情報を動き補償符号化し、前記隠された期
    間に応じて動き補償符号化する際の動きベクトル探索範
    囲を変更することを特徴とする請求項第８項乃至第１２
    項のいずれか１項に記載の画像処理装置。
14. 【請求項１４】 第１のオブジェクトの画像データと第
    ２のオブジェクトの画像データとを入力する入力工程
    と、 画像を構成する画素情報と、オブジェクトの形状と透過
    度とを示す形状情報とを動き補償符号化することによ
    り、前記画像データを符号化する符号化工程と、 前記第１のオブジェクトと前記第２のオブジェクトとの
    合成処理を制御する制御工程とを有し、 前記制御工程によって前記第１のオブジェクトが前記第
    ２のオブジェクトに隠された場合、前記符号化工程は前
    記第１のオブジェクトの画素情報の符号化を行わず、且
    つ隠された期間後の前記第１のオブジェクトの画素情報
    の符号化処理を前記隠された期間に応じて変更すること
    を特徴とする画像処理方法。