JP2010258545A - 画像符号化装置及び画像符号化方法 - Google Patents

Abstract

【課題】動き補償予測画像を用いたノイズ低減処理と符号化処理で動き検出を共用し回路規模を抑えつつ、ノイズ低減画像の表示遅延を抑える。
【解決手段】動き検出処理部、ノイズ低減処理部、符号化処理部、動き情報バッファ、動き情報選択部、制御部を設け、制御部により各処理での処理対象画像の選択、動き情報バッファでの動き情報保持、動き情報選択部での動き情報選択を制御する。
【選択図】図１

Description

この発明は、入力画像データに対しノイズ低減処理を行いノイズ低減画像データを出力しつつ、ノイズ低減画像データに対し符号化処理を行う画像符号化装置及び画像符号化方法に関するものである。

近年、ビデオカメラのような撮像素子から入力される入力画像を符号化並びに記憶媒体に録画する画像符号化装置の分野では、夜間や暗い室内での撮影など、撮像素子への光量が少ない低照度撮影で入力画像に混入するランダムノイズの低減が課題となっている。ここでランダムノイズの低減処理として時間フィルタ処理が知られている。これは入力画像を時間方向に複数フレームに亘って平均化することでノイズの低減を図るものである。しかし入力画像を単純に時間方向に平均化した場合、画像内に動いている領域があると、ボケや残像が生じてしまい画質的に好ましくない。

上記のような課題を回避するための従来技術として、特許文献１に開示されたビデオ信号符号化方法及び装置がある。

図１０は特許文献１に開示されたビデオ信号エンコーダのブロック図である。

図１０に示すビデオ信号エンコーダは、雑音低減回路１００１、符号化回路１００２から構成されている。

また雑音低減回路１００１は、第１乗算器１０１１、第２乗算器１０１２、加算器１０１３、係数制御手段１０１５から構成されている。

また符号化回路１００２は、減算器１０２０、ディスクリートコサイン変換回路１０２１、量子化器１０２２、可変長符号化器１０２３、ビットレート制御回路１０２４、逆量子化器１０２５、逆ディスクリートコサイン変換回路１０２６、加算器１０２７、予測フレーム又はフィールドメモリ１０２８、動き推定器１０２９、動き補償器１０３０、スイッチ１０３１から構成されている。

このビデオ信号エンコーダは、現ビデオ入力画像を連続する８×８画素ブロックの形態の現入力画素ブロックとして受信する。これらのブロックは雑音低減回路１００１に供給され、次に符号化回路１００２により符号化される。符号化回路１００２は、雑音低減回路１００１からの雑音低減画像をフレーム内符号化（Ｉピクチャ）するか、若しくは雑音低減画像と動き補償を用いて得た予測画像ＰＲＥＤとの差を求めフレーム間符号化（Ｐピクチャ、Ｂピクチャ）する。フレーム内符号化及びフレーム間符号化の切替はスイッチ１０３１により選択される。

フレーム内符号化における雑音低減画像、又はフレーム間符号化における雑音低減画像と予測画像ＰＲＥＤの差信号は、ディスクリートコサイン変換回路１０２１によりブロック単位でスペクトル係数に変換される。これらの係数は量子化器１０２２により量子化され、可変長符号器１０２３により可変長符号化され、ビットレート制御回路１０２４が量子化器１０２２のステップサイズを制御することで所望のビットレートの符号化ビデオ信号データを得る。

符号化回路１００２は、更に逆量子化器１０２５による逆量子化、逆ディスクリートコサイン変換回路１０２６によるスペクトル係数からの逆変換、加算器１０２７による逆変換結果と予測画像ＰＲＥＤとの加算により予測画像を得、メモリ１０２８に格納する。ここで符号化回路１００２を構成する種々の回路素子は当該技術分野において公知である。

また、メモリ１０２８に蓄積された予測画像と現ビデオ入力画像が動き推定器１０２９に供給される。その後は既知のように、動き推定器１０２９がメモリ１０２８内において現入力画素ブロックと最も類似する画素ブロックをサーチする。これらのアルゴリズムは一般に現入力ブロックの画素と候補ブロックの画素との間の平均絶対差（ＭＡＤ）又は平均二乗誤差（ＭＳＥ）の評価に基づく。最小のＭＡＤ又はＭＳＥを有する候補ブロックを選択して動き補償予測ブロックとする。現入力画素ブロックの位置に対するそのブロックの相対位置が動きベクトルＭＶであり、このベクトルが符号化ビデオ信号データと一緒に伝送される。動きベクトルＭＶは更に動き補償器１０３０に供給され、これが動き補償予測画像を発生する。この動き補償予測画像ＰＲＥＤが雑音低減のために雑音低減回路１００１に供給される。

また、雑音低減回路１００１において、現入力信号ＩＮＰと予測信号ＰＲＥＤをＮＲ＝α・ＰＲＥＤ＋（１−α）・ＩＮＰに従って線形結合して雑音低減信号ＮＲを構成する。ここで重み係数αは範囲０＜α＜１内の定数とする。例えば、α＝０．５となる。

上記の通り、特許文献１に開示されたビデオ信号エンコーダは、入力画像を時間方向に平均化する際に動き補償予測画像を用いることで画像内に動いている領域があってもボケや残像を抑え画質を向上しつつ、動き推定器や予測画像メモリを雑音低減処理と符号化処理で共用し回路規模を抑えるものである。

特表平１１―５０４４９０号公報

しかしながら上述した従来の技術によるビデオ信号エンコーダでは、雑音低減画像（以下ノイズ低減画像も同意とする）をモニターなどに表示出力しようとする場合、フレーム間符号化のうち表示順序で順方向及び逆方向の双方向に予測符号化を行う双方向予測符号化（Ｂピクチャ）のように入力画像順序と符号化画像順序が異なるケースで、入力画像を入力するタイミングと入力画像に対応するノイズ低減画像が生成されるタイミングがずれることによる表示遅延が発生するという課題を有していた。

以下、図１１を用いて特許文献１に開示されたビデオ信号エンコーダでノイズ低減画像を表示出力する際に発生する表示遅延について具体例を挙げて説明する。

図１１は特許文献１に開示されたビデオ信号エンコーダのデータフロー図である。

図１１は、横軸に時間を示し、各波線に区切られた間は入力画像が入力される間隔であるフレーム間隔を示している。また各フレーム間隔にはｔ０〜ｔ８の符号を割り当てている。

一方縦軸にはビデオ信号エンコーダでの各ポイントを示し、ビデオ信号エンコーダに入力画像が入力されるポイント（図中では”入力”と記載）、雑音低減回路への入出力ポイント（図中では”ＮＲ入力”、”ＮＲ出力”と記載）、ノイズ低減画像の表示ポイント（図中では”表示”と記載）、符号化回路への入出力ポイント（図中では”符号化入力”、”符号化出力”と記載）を挙げている。

なお図１１中に記載している矩形はそれぞれ１フレームの画像データ（”符号化出力”ポイントでは符号化データ）を指し、矩形中に記載されている情報（上段）はその画像（若しくは対応する入力画像）がビデオ信号エンコーダに入力された時間（ｔ０〜ｔ８）、情報（下段）はその画像（若しくは対応するノイズ低減画像）が符号化回路で符号化されるピクチャ種別（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）を示している。

本例では決められた一定のフレーム間隔で入力される入力画像に対し、時間ｔ０で入力された入力画像からノイズ低減処理並びに符号化処理を行うものとする。また符号化処理におけるピクチャ種別はＩＢＢＰＢＢ（以降ＰＢＢの繰り返し）（Ｉ＝Ｉピクチャ、Ｐ＝Ｐピクチャ、Ｂ＝Ｂピクチャを指す）であるものとする。

ここでフレーム間符号化のうち表示順序（＝入力順序）で順方向に予測符号化を行う順方向予測符号化（Ｐピクチャ）では予測画像として表示順序で逆方向に最も近いＩピクチャ若しくはＰピクチャを選択し、表示順序で順方向及び逆方向の双方向に予測符号化を行う双方向予測符号化（Ｂピクチャ）では予測画像として表示順序で逆方向及び順方向にそれぞれ最も近いＩピクチャ若しくはＰピクチャを選択するものとする。

よってＰピクチャを符号化する場合には、予測画像として使用する表示順序で逆方向に位置するＩピクチャ若しくはＰピクチャの符号化が少なくとも１フレーム完了している必要がある。同様にＢピクチャを符号化する場合には、予測画像として使用する表示順序で逆方向及び順方向に位置するＩピクチャ若しくはＰピクチャの符号化が少なくとも１フレーム完了している必要がある。

以下ビデオ信号エンコーダにおける各ポイントで処理対象となる画像データについて、時間に沿って説明する。

まず時間ｔ０において入力画像ｔ０が入力され、次の時間ｔ１以降に処理対象とすることができる。

次に時間ｔ１において入力画像ｔ１が入力され、次の時間ｔ２以降に処理対象とすることができる。ここで入力画像ｔ０は処理対象とすることが可能となるが、入力画像ｔ０はＢピクチャによる符号化対象であり、この時点では予測画像対象の符号化が完了していないため符号化できない。

次に時間ｔ２において入力画像ｔ２が入力され、次の時間ｔ３以降に処理対象とすることができる。ここで入力画像ｔ０及びｔ１は処理対象とすることが可能となるが、入力画像ｔ０及びｔ１は共にＢピクチャによる符号化対象であり、この時点では予測画像対象の符号化が完了していないため符号化できない。

次に時間ｔ３において入力画像ｔ３が入力され、次の時間ｔ４以降に処理対象とすることができる。ここで入力画像ｔ０及びｔ１は上記と同様に符号化できない。一方入力画像ｔ２はＩピクチャによる符号化対象であり、時間ｔ３でノイズ低減処理並びにフレーム内符号化（Ｉピクチャ）が実行され、次の時間ｔ４以降に入力画像ｔ２に対応するノイズ低減画像の表示並びに対応する予測画像を用いた符号化処理が可能となる。

次に時間ｔ４において入力画像ｔ４が入力され、次の時間ｔ５以降に処理対象とすることができる。ここで入力画像ｔ０に対し、ノイズ低減処理並びに入力画像ｔ２に対応する予測画像を用いたフレーム間符号化（Ｂピクチャ）が実行され、次の時間ｔ５以降に入力画像ｔ０に対応するノイズ低減画像の表示が可能となる。

次に時間ｔ５において入力画像ｔ５が入力され、次の時間ｔ６以降に処理対象とすることができる。ここで前の時間ｔ４で生成された入力画像ｔ０に対応するノイズ低減画像が表示される。

以降、同様の手順で入力画像の入力、ノイズ低減処理、各ピクチャ種別での符号化処理、ノイズ低減画像の表示が実行される。

以上より、本例においては時間ｔ０で入力された入力画像ｔ０の表示出力は時間ｔ５となる。本来時間ｔ０で入力した入力画像ｔ０は、次の時間ｔ１以降に（表示出力を含む）処理対象とすることができるため、時間ｔ１〜時間ｔ５の４フレーム間隔の表示遅延が発生することになる。仮にフレーム間隔を３３ｍｓｅｃ（１秒間に３０フレーム処理）とすると、約１３２ｍｓｅｃの表示遅延となる。

例えば撮影している画像をモニター表示で見ながらビデオカメラで撮影する場面を考えた場合、カメラの前で起こっている事象とモニターでの表示の間に１３２ｍｓｅｃの余計な遅延（実際の機器ではこれ以外の遅延も加算されることが想定されるため、実遅延は１３２＋αｍｓｅｃとなると考えられる）があると、撮影者にとって非常に違和感の大きいものとなる。

本発明は、上記従来の課題を解決するもので、動き補償予測画像を用いたノイズ低減処理と符号化処理で動き推定器を共用し回路規模を抑えつつ、ノイズ低減画像を表示出力する場合にも表示遅延を抑えることが可能となる画像符号化装置及び画像符号化方法を提供することを目的とする。

上記従来の課題を解決するために、本発明の画像符号化装置は、
前記入力画像データ、及び後述するノイズ低減処理部より出力されるノイズ低減画像データ、及び後述する符号化処理部より出力される符号化画像データ並びに復号化画像データを前記時間間隔での処理単位であるフレーム単位で保持するフレームメモリと、
前記フレームメモリに保持された入力画像データ並びにノイズ低減画像データ並びに復号化画像データを入力し、動き検出処理を行い決定した動き情報を出力する動き検出処理部と、
前記動き検出処理部より出力される動き情報、及び前記フレームメモリに保持された入力画像データ並びにノイズ低減画像データを入力し、前記入力画像データに対するノイズ低減処理を行いノイズ低減画像データを出力するノイズ低減処理部と、
前記動き検出処理部より出力される動き情報を保持する動き情報バッファと、
前記動き検出処理部より出力される動き情報、又は前記動き検出処理部より出力される動き情報と前記動き情報バッファに保持された動き情報の両方、の何れかを出力する動き情報選択部と、
前記動き情報選択部より出力される動き情報、及び前記フレームメモリに保持されたノイズ低減画像データ並びに復号化画像データを入力し、決められた符号化タイプで前記ノイズ低減画像データに対する符号化処理を行い符号化画像データを出力すると共に前記符号化画像データを復号し復号化画像データを出力する符号化処理部と、
予め決められた符号化構造に応じて前記フレームメモリに保持された入力画像データ並びにノイズ低減画像データ並びに復号化画像データを管理し、前記符号化処理部での符号化タイプの決定、及び前記動き検出処理部並びにノイズ低減処理部並びに符号化処理部での処理対象画像データの選択、及び前記動き情報バッファでの動き情報の保持、及び前記動き情報選択部での動き情報の選択を制御する制御部と、
を備える。

本構成によって、動き補償予測画像を用いたノイズ低減処理と符号化処理で動き推定器を共用し回路規模を抑えつつ、ノイズ低減画像を表示出力する場合にも表示遅延を抑えることが可能となる。

本発明によれば、動き補償予測画像を用いたノイズ低減処理と符号化処理で動き推定器を共用し回路規模を抑えつつ、ノイズ低減画像を表示出力する場合にも表示遅延を抑えることが可能な画像符号化装置及び画像符号化方法を提供できる。

本発明の実施の形態１における画像符号化装置のブロック図 本発明の実施の形態１及び２における符号化タイプとフレーム間符号化における予測画像対象の関係を示すを示す図 本発明の実施の形態１及び２における第１の動き検出部並びにノイズ低減処理部での処理対象画像データ選択フロー図 本発明の実施の形態１及び２における符号化処理部での処理対象画像データ選択フロー図 本発明の実施の形態１及び２における第２の動き検出部での処理対象画像データ選択フロー図 本発明の実施の形態１及び２における動き情報バッファでの動き情報保持フロー図 本発明の実施の形態１及び２における動き情報選択部での動き情報選択フロー図 本発明の実施の形態１及び２における画像符号化装置のデータフロー図 本発明の実施の形態２における画像符号化方法の処理フロー図 従来のビデオ信号エンコーダのブロック図 従来のビデオ信号エンコーダのデータフロー図

以下本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、本発明の実施の形態１における画像符号化装置のブロック図である。

図１に示すように画像符号化装置１２４は、フレームメモリ１００、動き検出処理部１０２、ノイズ低減処理部１０１、動き情報バッファ１０７、動き情報選択部１０８、符号化処理部１０５、制御部１０６、そして入力端子１２１、出力端子１２２、表示出力端子１２３を備える。

また動き検出処理部１０２は、第１の動き検出部１０３、第２の動き検出部１０４を備える。

また符号化処理部１０５は、ＤＣＴ処理部１１０、量子化処理部１１１、可変長符号化処理部１１２、逆量子化処理部１１３、逆ＤＣＴ処理部１１４、動き補償処理部１１６、減算器１０９、加算器１１５、スイッチ１１７を備える。

フレームメモリ１００は、入力端子１２１より入力される入力画像データ１１８、ノイズ低減処理部１０１より出力されるノイズ低減画像データ１１９、符号化処理部より出力される符号化画像データ１２５並びに復号化画像データ１２０を保持する。

動き検出処理部１０２は、フレームメモリ１００に保持された入力画像データ１１８、ノイズ低減画像データ１１９並びに復号化画像データ１２０を入力する。動き検出処理部１０２は上記の入力に基づいて動き検出処理を行い、決定した動き情報をノイズ低減処理部１０１、動き情報バッファ１０７、動き情報選択部１０８へ出力する。

ノイズ低減処理部１０１は、動き検出処理部１０２より出力される動き情報、フレームメモリ１００に保持された入力画像データ１１８並びにノイズ低減画像データ１１９を入力する。ノイズ低減処理部１０１は、入力画像データ１１８に対するノイズ低減処理を行い、フレームメモリ１００にノイズ低減画像データ１１９を出力する。

ここで、入力される入力画像データ１１８、ノイズ低減画像データ１１９及び出力されるノイズ低減画像データ１１９をそれぞれＩＮ、ＰＲＥＤ、ＮＲとする。本実施の形態ではノイズ低減処理として、
ＮＲ＝α・ＰＲＥＤ＋（１−α）・ＩＮ
に従って線形結合してノイズ低減画像データＮＲを構成するものとする。ここで重み係数αは範囲０＜α＜１内の定数とする。例えば、α＝０．５となる。

動き情報バッファ１０７は、動き検出処理部１０２より出力される動き情報を保持する。

動き情報選択部１０８は、動き検出処理部１０２より出力される動き情報、及び動き情報バッファ１０７に保持された動き情報を入力し、前者の動き情報または前者、後者両方の動き情報を符号化処理部１０５に出力する。

符号化処理部１０５は、動き情報選択部１０８より出力される動き情報、及びフレームメモリに保持されたノイズ低減画像データ１１９並びに復号化画像データ１２０を入力する。符号化処理部１０５は、ノイズ低減画像データ１１９に対する符号化処理を行い、フレームメモリ１００に符号化画像データ１２５を出力する。符号化処理部１０５は、符号化画像データ１２５を復号し復号化画像データ１２０をフレームメモリ１００に出力する。

ここで符号化処理部１０５での符号化処理について、より具体的に説明する。

まず符号化タイプに応じてスイッチ１１７によりＤＣＴ処理部１１０への入力を切り替える。符号化タイプが画面内符号化の場合はスイッチ１１７を”Ｉ”側へ切り替え、減算器１０９への入力を０値とすることで、ＤＣＴ処理部１１０への入力をノイズ低減画像データ１１９とする。符号化タイプが画面内符号化以外の場合はスイッチ１１７を”Ｐ”側へ切り替え、減算器１０９への入力を動き補償処理部１１６より出力される動き補償予測画像データとする。これによって、ＤＣＴ処理部１１０への入力をノイズ低減画像データ１１９と動き補償予測画像データとの差分とする。

次にＤＣＴ処理部１１０では、減算器１０９の出力データに対しＤＣＴ変換処理を行う。そして量子化処理部１１１では、ＤＣＴ処理部１１０の出力データに対し量子化処理を行う。そして可変長符号化処理部１１２では、量子化処理部１１１の出力データに対し可変長符号化処理を行い、結果である符号化画像データ１２５をフレームメモリ１００に出力する。

また逆量子化処理部１１３では、量子化処理部１１１の出力データに対し逆量子化処理を行う。次に逆ＤＣＴ処理部１１４では、逆量子化処理部１１３の出力データに対し逆ＤＣＴ変換処理を行う。

次に加算器１１５では、符号化タイプに応じたスイッチ１１７の切り替えにより、符号化タイプが画面内符号化の場合は逆ＤＣＴ処理部１１４からの出力と０値の加算処理が行われる。符号化タイプが画面内符号化以外の場合は、逆ＤＣＴ処理部１１４からの出力と動き補償処理部１１６より出力される動き補償予測画像データの加算処理が行われる。加算器１１５は、それぞれ加算結果を復号化画像データ１２０としてフレームメモリ１００へ出力する。

また動き補償処理部１１６では、動き情報選択部１０８より出力される動き情報で示される復号化画像データ１２０をフレームメモリ１００より入力し、動き補償予測画像データとして出力する。

なお動き検出処理部１０２における動き検出方法、符号化処理部１０５に含まれる各処理は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｉｍａｇｅ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の公知技術で実現できるため、詳細な説明は省略する。

制御部１０６は、予め決められた符号化構造に応じて、フレームメモリ１００に保持された入力画像データ１１８、ノイズ低減画像データ１１９並びに復号化画像データ１２０を管理する。制御部１０６は、符号化処理部１０５での符号化タイプの決定を制御する。また制御部１０６は、動き検出処理部１０２（第１の動き検出部１０３、第２の動き検出部１０４）並びにノイズ低減処理部１０１並びに符号化処理部１０５での処理対象画像データの選択を制御する。さらに制御部１０６は、動き情報バッファ１０７での動き情報の保持、及び動き情報選択部１０８での動き情報の選択を制御する。

ここで制御部１０６での処理について、図２〜図７を用いてより具体的に説明する。

図２は、符号化構造に応じた符号化処理部１０５での符号化タイプとフレーム間符号化における予測画像対象の関係を示す。

図２に示すように本実施の形態での符号化構造は、ＩＢＢＰＢＢ（以降ＰＢＢの繰り返し）（Ｉ＝Ｉピクチャ、Ｐ＝Ｐピクチャ、Ｂ＝Ｂピクチャを指す）であるものとする。

ここで、フレーム間符号化のうち表示順序（＝入力順序）で順方向に予測符号化を行う順方向予測符号化（Ｐピクチャ）では、予測画像として表示順序で逆方向に最も近いＩピクチャ若しくはＰピクチャを選択する。また、表示順序で順方向及び逆方向の双方向に予測符号化を行う双方向予測符号化（Ｂピクチャ）では、予測画像として表示順序で逆方向及び順方向にそれぞれ最も近いＩピクチャ若しくはＰピクチャを選択するものとする。

よってＰピクチャを符号化可能となるためには、予測画像として使用する表示順序で逆方向に位置するＩピクチャ若しくはＰピクチャの符号化が、少なくとも１フレーム完了している必要がある。同様にＢピクチャを符号化可能となるためには、予測画像として使用する表示順序で逆方向及び順方向に位置するＩピクチャ若しくはＰピクチャの符号化が、少なくとも１フレーム完了している必要がある。

制御部１０６では、上記構成を基に符号化処理部１０５での符号化タイプを決定する。また制御部１０６は、動き検出処理部１０２（第１の動き検出部１０３、第２の動き検出部１０４）、ノイズ低減処理部１０１並びに符号化処理部１０５での符号化タイプに応じた処理対象画像の選択を行う。

図３は、制御部１０６における第１の動き検出部１０３並びにノイズ低減処理部１０１での処理対象画像データ選択フロー図である。

まずステップ１において、第１の処理対象画像として１個前の時間間隔で入力された入力画像データ１１８を選択する。

次にステップ２において、ステップ１で選択した入力画像データ１１８が最初のノイズ低減処理対象かどうか判定する。

次にステップ２における判定結果が肯定的の場合はステップ３において、第２の処理対象画像として２個前の時間間隔で入力された入力画像データ１１８を選択し、処理を終了する。

次にステップ２における判定結果が否定的の場合はステップ４において、ステップ１で選択した入力画像データ１１８が双方向予測符号化対象かどうか判定する。

次にステップ４における判定結果が否定的の場合はステップ５において、第２の処理対象画像として１個前の時間間隔で出力されたノイズ低減画像データ１１９を選択し、処理を終了する。

次にステップ４における判定結果が肯定的の場合はステップ６に進む。ステップ６では、ステップ１で選択した入力画像データ１１８に対応するノイズ低減画像データ１１９に対し、符号化処理を行う際の順方向予測画像対象となる復号化画像データ１２０が存在するかどうか判定する。

次にステップ６における判定結果が否定的の場合はステップ７において、第２の処理対象画像として１個前の時間間隔で出力されたノイズ低減画像データ１１９を選択し、処理を終了する。

次にステップ６における判定結果が肯定的の場合はステップ８に進む。ステップ８では、第２の処理対象画像としてステップ１で選択した入力画像データ１１８に対応するノイズ低減画像データ１１９に対し、符号化処理を行う際の順方向予測画像対象となる復号化画像データ１２０に対応するノイズ低減画像データ１１９を選択し、処理を終了する。

図４は、制御部１０６における符号化処理部１０５での処理対象画像データ選択フロー図である。

まずステップ１において、符号化対象画像として符号化構造に応じて決まる時間間隔で出力されたノイズ低減画像データ１１９を選択する。ここで”符号化構造に応じて決まる”とは、図２で示す符号化構造に応じて符号化可能となる条件が成立し、かつ表示順序で最も手前にあることを指す。

次にステップ２において、ステップ１で選択したノイズ低減画像データ１１９が順方向予測符号化対象かどうか判定する。

次にステップ２における判定結果が肯定的の場合はステップ３において、予測画像として順方向予測画像対象となる復号化画像データ１２０を選択し、処理を終了する。ここで”予測画像として順方向予測画像対象となる”とは、図２で示す順方向予測画像対象の関係を指す。

次にステップ２における判定結果が否定的の場合はステップ４において、ステップ１で選択したノイズ低減画像データ１１９が双方向予測符号化対象かどうか判定する。

次にステップ４における判定結果が肯定的の場合はステップ５において、予測画像として順方向及び逆方向予測画像対象となる復号化画像データ１２０を選択し、処理を終了する。ここで”予測画像として順方向及び逆方向予測画像対象となる”とは、図２で示す順方向予測画像対象及び逆方向予測画像対象の関係を指す。

次にステップ４における判定結果が否定的の場合は、処理を終了する。

図５は、制御部１０６における第２の動き検出部１０４での処理対象画像データ選択フロー図である。

まずステップ１において、処理対象画像として符号化構造に応じて決まる時間間隔で出力されたノイズ低減画像データ１１９を選択する。ここで”符号化構造に応じて決まる”とは、符号化処理部１０５での処理対象画像データ選択で説明した条件と同様である。

次にステップ２において、ステップ１で選択したノイズ低減画像データ１１９が順方向予測符号化対象かどうか判定する。

次にステップ２における判定結果が肯定的の場合はステップ３において、参照画像として順方向予測画像対象となる復号化画像データ１２０を選択し、処理を終了する。ここで”予測画像として順方向予測画像対象となる”とは、符号化処理部１０５での処理対象画像データ選択で説明した条件と同様である。

次にステップ２における判定結果が否定的の場合はステップ４において、ステップ１で選択したノイズ低減画像データ１１９が双方向予測符号化対象かどうか判定する。

次にステップ４における判定結果が肯定的の場合はステップ５において、参照画像として逆方向予測画像対象となる復号化画像データ１２０を選択し、処理を終了する。ここで”予測画像として逆方向予測画像対象となる”とは、図２で示す逆方向予測画像対象の関係を指す。

次にステップ４における判定結果が否定的の場合は、処理を終了する。

図６は、制御部１０６における動き情報バッファ１０７での動き情報保持フロー図である。

まずステップ１において、第１の動き検出部１０３並びにノイズ低減処理部１０１での処理対象画像データとして選択された入力画像データ１１８が、双方向予測符号化対象かどうか判定する。

次にステップ１における判定結果が肯定的の場合はステップ２において、第１の動き検出部１０３より出力される動き情報を保持し、処理を終了する。ここで動き情報を保持する際は、動き情報選択部１０８での参照を可能とするために、第１の動き検出部１０３並びにノイズ低減処理部１０１での処理対象画像データとして、選択された入力画像データ１１８と関連付けて保持する。

次にステップ１における判定結果が否定的の場合は、処理を終了する。

図７は、制御部１０６における動き情報選択部１０８での動き情報選択フロー図である。

まずステップ１において、第２の動き検出部１０４並びに符号化処理部１０５での処理対象画像として選択されたノイズ低減画像データ１１９が、双方向予測符号化対象かどうか判定する。

次にステップ１における判定結果が否定的の場合はステップ２において、第２の動き検出部１０４より出力される動き情報を選択し、処理を終了する。

次にステップ１における判定結果が肯定的の場合はステップ３において、順方向及び逆方向予測画像対象となる復号化画像データが両方存在するかどうか判定する。

次にステップ３における判定結果が否定的の場合はステップ４において、第２の動き検出部１０４より出力される動き情報を選択し、処理を終了する。

次にステップ３における判定結果が肯定的の場合はステップ５に進む。ステップ５では、第２の動き検出部１０４より出力される動き情報を選択する。あわせて、動き情報バッファ１０７で保持された符号化処理部１０５での処理対象として選択された、ノイズ低減画像データ１１９に対応する入力画像データ１１８に対する動き情報を選択し、処理を終了する。

図８は本実施の形態で示す画像符号化装置のデータフロー図である。

図８は、横軸に時間を示し、各波線に区切られた間は入力画像が入力される間隔であるフレーム間隔を示している。また各フレーム間隔にはｔ０〜ｔ８の符号を割り当てている。

一方縦軸には画像符号化装置１２４での各ポイントを示す。図中で”入力”と記載されるのは、画像符号化装置１２４に入力画像データ１１８が入力されるポイントである。

”ＮＲ入力”、”ＮＲ出力”と記載されるのは、ノイズ低減処理部１０１への入出力ポイントである。”表示”と記載されるのは、ノイズ低減画像データ１１９の表示ポイントである。

”符号化入力”、”符号化出力”と記載されるのは、符号化処理部１０５への入出力ポイントである。”第１動き検出入力”、”第２動き検出入力”と記載されるのは、動き検出処理部１０２（第１の動き検出部１０３、第２の動き検出部１０４）への入力ポイントである。

”動き情報保持”と記載されるのは、動き情報バッファ１０７において保持される動き情報である。”動き情報選択”と記載されるのは、動き情報選択部１０８において選択される動き情報である。

なお図８中に記載している矩形はそれぞれ１フレームの画像データ（”符号化出力”ポイントでは符号化画像データ）を指す。矩形中に記載されている情報（上段）は、その画像（若しくは対応する入力画像データ１１８）が画像符号化装置１２４に入力された時間（ｔ０〜ｔ８）を示している。またｈ、情報（下段）は、その画像（若しくは対応するノイズ低減画像データ１１９）が符号化処理部１０５で符号化される符号化タイプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）を示している。

本実施の形態では、決められた一定のフレーム間隔で入力される入力画像データ１１８に対し、時間ｔ０で入力された入力画像データｔ０からノイズ低減処理並びに符号化処理を行うものとする。また符号化処理における符号化構造は図２に示すように、ＩＢＢＰＢＢ（以降ＰＢＢの繰り返し）（Ｉ＝Ｉピクチャ、Ｐ＝Ｐピクチャ、Ｂ＝Ｂピクチャを指す）であるものとする。

以下画像符号化装置１２４における各ポイントで処理対象となる画像データについて、時間に沿って説明する。

まず時間ｔ０において入力画像データｔ０が入力され、次の時間ｔ１以降に処理対象とすることができる。

次に時間ｔ１において入力画像データｔ１が入力され、次の時間ｔ２以降に処理対象とすることができる。

ここで入力画像データｔ０に対し、第１の動き検出部１０３で動き検出処理並びにノイズ低減処理部１０１でノイズ低減処理を実行し、ノイズ低減画像データｔ０が出力され、次の時間ｔ２以降の処理対象（表示出力含む）とすることができる。

なお制御部１０６では、第１の動き検出部１０３並びにノイズ低減処理部１０１での第１の処理対象画像として、入力画像データｔ０（図３ステップ１）が選択される。また、第２の処理対象画像として入力画像データｔ−１（時間ｔ０の１個前の時間間隔で入力された入力画像データ、図示せず）（図３ステップ３）が選択される。

入力画像データｔ０は双方向予測符号化（Ｂピクチャ）対象である。このため、動き情報バッファ１０７で第１の動き検出部１０３より出力される動き情報（入力画像データｔ０→入力画像データｔ−１）を、時間ｔ０と関連付けて保持する（図６ステップ２）。

次に時間ｔ２において入力画像データｔ２が入力され、次の時間ｔ３以降に処理対象とすることができる。

ここで入力画像データｔ１に対し、第１の動き検出部１０３で動き検出処理並びにノイズ低減処理部１０１でノイズ低減処理を実行し、ノイズ低減画像データｔ１が出力され、次の時間ｔ３以降の処理対象（表示出力含む）とすることができる。

なお制御部１０６では、第１の動き検出部１０３並びにノイズ低減処理部１０１での第１の処理対象画像として入力画像データｔ１（図３ステップ１）、第２の処理対象画像としてノイズ低減画像データｔ０（図３ステップ７）が選択される。

またここでノイズ低減画像データｔ０が表示出力される。

入力画像データｔ１は双方向予測符号化（Ｂピクチャ）対象である。このため、動き情報バッファ１０７で第１の動き検出部１０３より出力される動き情報（入力画像データｔ１→ノイズ低減画像データｔ０）を、時間ｔ１と関連付けて保持する（図６ステップ２）。

次に時間ｔ３において入力画像データｔ３が入力され、次の時間ｔ４以降に処理対象とすることができる。

ここで入力画像データｔ２に対し、第１の動き検出部１０３で動き検出処理並びにノイズ低減処理部１０１でノイズ低減処理を実行し、ノイズ低減画像データｔ２が出力され、次の時間ｔ４以降の処理対象（表示出力含む）とすることができる。

なお制御部１０６では、第１の動き検出部１０３並びにノイズ低減処理部１０１での第１の処理対象画像として入力画像データｔ２（図３ステップ１）、第２の処理対象画像としてノイズ低減画像データｔ１（図３ステップ５）が選択される。

またここでノイズ低減画像データｔ１が表示出力される。

次に時間ｔ４において入力画像データｔ４が入力され、次の時間ｔ５以降に処理対象とすることができる。

ここで入力画像データｔ３に対し、第１の動き検出部１０３で動き検出処理並びにノイズ低減処理部１０１でノイズ低減処理を実行し、ノイズ低減画像データｔ３が出力され、次の時間ｔ５以降の処理対象（表示出力含む）とすることができる。

なお制御部１０６では、第１の動き検出部１０３並びにノイズ低減処理部１０１での第１の処理対象画像として入力画像データｔ３（図３ステップ１）、第２の処理対象画像としてノイズ低減画像データｔ２（図３ステップ８）が選択される。

入力画像データｔ３は双方向予測符号化（Ｂピクチャ）対象である。このため、動き情報バッファ１０７で第１の動き検出部１０３より出力される動き情報（入力画像データｔ３→ノイズ低減画像データｔ２）を、時間ｔ３と関連付けて保持する（図６ステップ２）。

またここでノイズ低減画像データｔ２が表示出力される。

またここでノイズ低減画像データｔ２に対し、符号化処理部１０５で符号化処理を実行し、符号化画像データｔ２並びに復号化画像データｔ２が出力され、次の時間ｔ５以降の処理対象（表示出力含む）とすることができる。

なお制御部１０６では、符号化処理部１０５での符号化対象画像としてノイズ低減画像データｔ２（図４ステップ１）が選択される。

次に時間ｔ５において入力画像データｔ５が入力され、次の時間ｔ６以降に処理対象とすることができる。

ここで入力画像データｔ４に対し、第１の動き検出部１０３で動き検出処理並びにノイズ低減処理部１０１でノイズ低減処理を実行し、ノイズ低減画像データｔ４が出力され、次の時間ｔ６以降の処理対象（表示出力含む）とすることができる。

なお制御部１０６では、第１の動き検出部１０３並びにノイズ低減処理部１０１での第１の処理対象画像として入力画像データｔ４（図３ステップ１）、第２の処理対象画像としてノイズ低減画像データｔ２（図３ステップ８）が選択される。

入力画像データｔ４は双方向予測符号化（Ｂピクチャ）対象である。このため、動き情報バッファ１０７で第１の動き検出部１０３より出力される動き情報（入力画像データｔ４→ノイズ低減画像データｔ２）を、時間ｔ４と関連付けて保持する（図６ステップ２）。

またここでノイズ低減画像データｔ３が表示出力される。

またここでノイズ低減画像データｔ０に対し、符号化処理部１０５で符号化処理を実行し、符号化画像データｔ０並びに復号化画像データｔ０が出力され、次の時間ｔ６以降の処理対象（表示出力含む）とすることができる。

なお制御部１０６では、符号化処理部１０５での符号化対象画像としてノイズ低減画像データｔ０（図４ステップ１）、予測画像として復号化画像データｔ２（図４ステップ５）が選択される。

また第２の動き検出部１０４での処理対象画像としてノイズ低減画像データｔ０（図５ステップ１）、参照画像として復号化画像データｔ２（図５ステップ５）が選択される。

またノイズ低減画像データｔ０は双方向予測符号化（Ｂピクチャ）対象である。このため、動き情報選択部１０８で、第２の動き検出部１０４より出力される動き情報（ノイズ低減画像データｔ０→復号化画像データｔ２）が選択される。（図７ステップ４）。

次に時間ｔ６において入力画像データｔ６が入力され、次の時間ｔ７以降に処理対象とすることができる。

ここで入力画像データｔ５に対し、第１の動き検出部１０３で動き検出処理並びにノイズ低減処理部１０１でノイズ低減処理を実行し、ノイズ低減画像データｔ５が出力され、次の時間ｔ７以降の処理対象（表示出力含む）とすることができる。

なお制御部１０６では、第１の動き検出部１０３並びにノイズ低減処理部１０１での第１の処理対象画像として入力画像データｔ５（図３ステップ１）、第２の処理対象画像としてノイズ低減画像データｔ４（図３ステップ５）が選択される。

またここでノイズ低減画像データｔ４が表示出力される。

またここでノイズ低減画像データｔ１に対し、符号化処理部１０５で符号化処理を実行し、符号化画像データｔ１並びに復号化画像データｔ１が出力され、次の時間ｔ７以降の処理対象（表示出力含む）とすることができる。

なお制御部１０６では、符号化処理部１０５での符号化対象画像としてノイズ低減画像データｔ１（図４ステップ１）、予測画像として復号化画像データｔ２（図４ステップ５）が選択される。

また第２の動き検出部１０４での処理対象画像としてノイズ低減画像データｔ１（図５ステップ１）、参照画像として復号化画像データｔ２（図５ステップ５）が選択される。

またノイズ低減画像データｔ１は双方向予測符号化（Ｂピクチャ）対象である。このため、動き情報選択部１０８で、第２の動き検出部１０４より出力される動き情報（ノイズ低減画像データｔ１→復号化画像データｔ２）が選択される。（図７ステップ４）。

次に時間ｔ７において入力画像データｔ７が入力され、次の時間ｔ８以降に処理対象とすることができる。

ここで入力画像データｔ６に対し、第１の動き検出部１０３で動き検出処理並びにノイズ低減処理部１０１でノイズ低減処理を実行し、ノイズ低減画像データｔ６が出力され、次の時間ｔ８以降の処理対象（表示出力含む）とすることができる。

なお制御部１０６では、第１の動き検出部１０３並びにノイズ低減処理部１０１での第１の処理対象画像として入力画像データｔ６（図３ステップ１）、第２の処理対象画像としてノイズ低減画像データｔ５（図３ステップ８）が選択される。

入力画像データｔ６は双方向予測符号化（Ｂピクチャ）対象である。このため、動き情報バッファ１０７で第１の動き検出部１０３より出力される動き情報（入力画像データｔ６→ノイズ低減画像データｔ５）を、時間ｔ６と関連付けて保持する（図６ステップ２）。

またここでノイズ低減画像データｔ５が表示出力される。

またここでノイズ低減画像データｔ５に対し、符号化処理部１０５で符号化処理を実行し、符号化画像データｔ５並びに復号化画像データｔ５が出力され、次の時間ｔ８以降の処理対象（表示出力含む）とすることができる。

なお制御部１０６では、符号化処理部１０５での符号化対象画像としてノイズ低減画像データｔ５（図４ステップ１）、予測画像として復号化画像データｔ２（図４ステップ３）が選択される。

また第２の動き検出部１０４での処理対象画像としてノイズ低減画像データｔ５（図５ステップ１）、参照画像として復号化画像データｔ２（図５ステップ３）が選択される。

またノイズ低減画像データｔ５は順方向予測符号化（Ｐピクチャ）対象である。このため、動き情報選択部１０８で、第２の動き検出部１０４より出力される動き情報（ノイズ低減画像データｔ５→復号化画像データｔ２）が選択される。（図７ステップ２）。

次に時間ｔ８において入力画像データｔ８が入力され、次の時間ｔ９（図示せず）以降に処理対象とすることができる。

ここで入力画像データｔ７に対し、第１の動き検出部１０３で動き検出処理並びにノイズ低減処理部１０１でノイズ低減処理を実行する。そして、ノイズ低減画像データｔ７が出力され、次の時間ｔ９（図示せず）以降の処理対象（表示出力含む）とすることができる。

なお制御部１０６では、第１の動き検出部１０３並びにノイズ低減処理部１０１での第１の処理対象画像として入力画像データｔ７（図３ステップ１）、第２の処理対象画像としてノイズ低減画像データｔ５（図３ステップ８）が選択される。

入力画像データｔ７は双方向予測符号化（Ｂピクチャ）対象である。このため、動き情報バッファ１０７で第１の動き検出部１０３より出力される動き情報（入力画像データｔ７→ノイズ低減画像データｔ５）を、時間ｔ７と関連付けて保持する（図６ステップ２）。

またここでノイズ低減画像データｔ６が表示出力される。

またここでノイズ低減画像データｔ３に対し、符号化処理部１０５で符号化処理を実行し、符号化画像データｔ３並びに復号化画像データｔ３が出力され、次の時間ｔ９（図示せず）以降の処理対象（表示出力含む）とすることができる。

なお制御部１０６では、符号化処理部１０５での符号化対象画像としてノイズ低減画像データｔ３（図４ステップ１）、予測画像として復号化画像データｔ２及び復号化画像データｔ５（図４ステップ５）が選択される。

また第２の動き検出部１０４での処理対象画像としてノイズ低減画像データｔ３（図５ステップ１）、参照画像として復号化画像データｔ５（図５ステップ５）が選択される。

またノイズ低減画像データｔ３は双方向予測符号化（Ｂピクチャ）対象である。このため、動き情報選択部１０８で、第２の動き検出部１０４より出力される動き情報（ノイズ低減画像データｔ３→復号化画像データｔ５）が選択される。また、動き情報バッファ１０７で保持された動き情報（入力画像データｔ３→ノイズ低減画像データｔ２）が選択される（図７ステップ５）。

以降、同様の手順で各処理が実行される。

以上より、本実施の形態においては時間ｔ０で入力された入力画像データｔ０の表示出力は時間ｔ２となる。本来時間ｔ０で入力した入力画像データｔ０は、次の時間ｔ１以降に（表示出力を含む）処理対象とすることができるため、時間ｔ１〜時間ｔ２の１フレーム間隔の表示遅延が発生することになる。上述の通り、従来の技術によるビデオ信号エンコーダでの表示遅延は４フレーム間隔であったため、本ケースでは３フレーム間隔分の表示遅延が改善される。仮にフレーム間隔を３３ｍｓｅｃ（１秒間に３０フレーム処理）とすると、約１００ｍｓｅｃの表示遅延改善となる。

以上のように本実施の形態によれば、動き補償予測画像を用いたノイズ低減処理と符号化処理で動き推定器を共用し回路規模を抑えつつ、ノイズ低減画像を表示出力する場合にも表示遅延を抑えることが可能となる。

（実施の形態２）
図９は、本発明の実施の形態２における画像符号化方法９０６を示す処理フロー図である。

画像符号化方法９０６では、外部から一定の時間間隔で連続して入力する入力画像データに対しノイズ低減処理を行いノイズ低減画像データを出力しつつ、ノイズ低減画像データに対し符号化処理を行い符号化画像データを出力する。

画像データ入力ステップ９０９は、外部より前記入力画像データを入力する。

制御ステップ９００とは、予め決められた符号化構造に応じて入力画像データ、及びノイズ低減処理ステップ９０２より出力されるノイズ低減画像データ、及び符号化処理ステップ９０５より出力される復号化画像データを管理する。また、符号化処理ステップ９０５での符号化タイプの決定、及び動き検出処理ステップ９０１、ノイズ低減処理ステップ９０２並びに符号化処理ステップ９０５での処理対象画像データの選択を制御する。

動き検出処理ステップ９０１は、制御ステップ９００で選択された入力画像データ並びにノイズ低減画像データ並びに復号化画像データを入力し、動き検出処理を行い決定した動き情報を出力する。

ノイズ低減処理ステップ９０２は、動き検出処理ステップ９０１より出力される動き情報、及び制御ステップ９００で選択された入力画像データ並びにノイズ低減画像データを入力する。そして、入力画像データに対するノイズ低減処理を行い、ノイズ低減画像データを出力する。

動き情報バッファステップ９０３は、動き検出処理ステップ９０１より出力される動き情報を保持する。

動き情報選択ステップ９０４は、動き検出処理ステップ９０１より出力される動き情報、又は動き検出処理ステップ９０１より出力される動き情報と動き情報バッファステップ９０３で保持された動き情報の両方、の何れかを出力する。

符号化処理ステップ９０５は、動き情報選択ステップ９０４より出力される動き情報、及び制御ステップ９００で選択されたノイズ低減画像データ並びに復号化画像データを入力する。そして、制御ステップ９００で決められた符号化タイプでノイズ低減画像データに対する符号化処理を行い符号化画像データを出力すると共に、符号化画像データを復号し復号化画像データを出力する。

ノイズ低減画像データ表示出力ステップ９１０は、外部へノイズ低減処理ステップ９０２より出力されるノイズ低減画像データを表示出力する。

また動き検出処理ステップ９０１は、第１の動き検出ステップ９０７、第２の動き検出ステップ９０８を備える。

動き検出処理ステップ９０１は、入力画像データ並びにノイズ低減画像データ並びに復号化画像データを入力し、動き検出処理を行う。動き検出処理ステップ９０１は、決定した動き情報をノイズ低減処理ステップ９０２、動き情報バッファステップ９０３、動き情報選択ステップ９０４へ出力する。

ノイズ低減処理ステップ９０２は、動き検出処理ステップ９０１より出力される動き情報、及び入力画像データ並びにノイズ低減画像データを入力し、入力画像データに対するノイズ低減処理を行い、ノイズ低減画像データを出力する。

ここで、入力される入力画像データ、ノイズ低減画像データ及び出力されるノイズ低減画像データをそれぞれＩＮ、ＰＲＥＤ、ＮＲとする。本実施の形態ではノイズ低減処理として、ＮＲ＝α・ＰＲＥＤ＋（１−α）・ＩＮに従って線形結合してノイズ低減画像データＮＲを構成するものとする。ここで重み係数αは範囲０＜α＜１内の定数とする。例えば、α＝０．５となる。

動き情報バッファステップ９０３は、動き検出処理ステップ９０１より出力される動き情報を保持する。

動き情報選択ステップ９０４は、動き検出処理ステップ９０１より出力される動き情報、及び動き情報バッファステップ９０３で保持された動き情報を入力する。そして、前者の動き情報または前者、後者両方の動き情報を符号化処理ステップ９０５に出力する。

符号化処理ステップ９０５は、動き情報選択ステップ９０４より出力される動き情報、及びノイズ低減画像データ並びに復号化画像データを入力する。そして、ノイズ低減画像データに対する符号化処理を行い、符号化画像データを出力すると共に、符号化画像データを復号し復号化画像データを出力する。

なお動き検出処理ステップ９０１における動き検出方法、符号化処理ステップ９０５に含まれる各処理は、ＭＰＥＧ等の公知技術で実現できるため、詳細な説明は省略する。

制御ステップ９００は、予め決められた符号化構造に応じて入力画像データ並びにノイズ低減画像データ並びに復号化画像データを管理する。また、符号化処理ステップ９０５での符号化タイプの決定を制御する。さらに、動き検出処理ステップ９０１（第１の動き検出ステップ９０７、第２の動き検出ステップ９０８）、ノイズ低減処理ステップ９０２並びに符号化処理ステップ９０５での、処理対象画像データの選択を制御する。

ここで制御ステップ９００、動き情報バッファステップ９０３、動き情報選択ステップ９０４での処理について、図２〜図７を用いてより具体的に説明する。

図２は、符号化構造に応じた符号化処理ステップ９０５での符号化タイプとフレーム間符号化における予測画像対象の関係を示す。

図３は、制御ステップ９００における第１の動き検出ステップ９０７並びにノイズ低減処理ステップ９０２での、処理対象画像データ選択フロー図である。

図４は、制御ステップ９００における符号化処理ステップ９０５での処理対象画像データ選択フロー図である。

図５は、制御ステップ９００における第２の動き検出ステップ９０８での処理対象画像データ選択フロー図である。

図６は、動き情報バッファステップ９０３での動き情報保持フロー図である。

図７は、動き情報選択ステップ９０４での動き情報選択フロー図である。

なお以上の処理内容については、実施の形態１で説明したものと同様であるため、ここでの説明は省略する。

図８は本実施の形態で示す画像符号化方法のデータフロー図である。

図８は、横軸に時間を示し、各波線に区切られた間は入力画像が入力される間隔であるフレーム間隔を示している。また各フレーム間隔にはｔ０〜ｔ８の符号を割り当てている。

一方縦軸には画像符号化方法９０６での各ポイントを示す。図中で”入力”と記載されるのは、画像入力ステップ９０９において入力画像データが入力されるポイントである。”ＮＲ入力”、”ＮＲ出力”と記載されるのは、ノイズ低減処理ステップ９０２への入出力ポイントである。”表示”と記載されるのは、ノイズ低減画像データ表示出力ステップ９１０でのノイズ低減画像データの表示ポイントである。”符号化入力”、”符号化出力”と記載されるのは、符号化処理ステップ９０５への入出力ポイントである。”第１動き検出入力”、”第２動き検出入力”と記載されるのは、動き検出処理ステップ９０１（第１の動き検出ステップ９０７、第２の動き検出ステップ９０８）への入力ポイントである。”動き情報保持”と記載されるのは、動き情報バッファステップ９０３において保持される動き情報である。”動き情報選択”と記載されるのは、動き情報選択ステップ９０４において選択される動き情報である。

なお図８中に記載している矩形はそれぞれ１フレームの画像データ（”符号化出力”ポイントでは符号化画像データ）を指す。矩形中に記載されている情報（上段）は、その画像（若しくは対応する入力画像データ）が画像入力ステップ９０９で入力された時間（ｔ０〜ｔ８）を示す。また、情報（下段）は、その画像（若しくは対応するノイズ低減画像データ）が符号化処理ステップ９０５で符号化される符号化タイプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）を示している。

本実施の形態では、決められた一定のフレーム間隔で入力される入力画像データに対し、時間ｔ０で入力された入力画像データｔ０からノイズ低減処理並びに符号化処理を行うものとする。また符号化処理における符号化構造は図２に示すように、ＩＢＢＰＢＢ（以降ＰＢＢの繰り返し）（Ｉ＝Ｉピクチャ、Ｐ＝Ｐピクチャ、Ｂ＝Ｂピクチャを指す）であるものとする。

なお画像符号化方法９０６における各ポイントで処理対象となる画像データについての内容は、実施の形態１で説明したものと同様であるため、ここでの説明は省略する。

以上のように本実施の形態によれば、動き補償予測画像を用いたノイズ低減処理と符号化処理で動き推定器を共用し回路規模を抑えつつ、ノイズ低減画像を表示出力する場合にも表示遅延を抑えることが可能となる。

本発明に関わる画像符号化装置及び画像符号化方法は、ビデオカメラのような入力画像を符号化並びに録画する機器、特に入力画像に対しノイズ低減処理を行いつつ、ノイズ低減画像を録画する機器及びその応用分野において利用できる。

１００ フレームメモリ
１０１ ノイズ低減処理部
１０２ 動き検出処理部
１０３ 第１の動き検出部
１０４ 第２の動き検出部
１０５ 符号化処理部
１０６ 制御部
１０７ 動き情報バッファ
１０８ 動き情報選択部
１０９ 減算器
１１０ ＤＣＴ処理部
１１１ 量子化処理部
１１２ 可変長符号化処理部
１１３ 逆量子化処理部
１１４ 逆ＤＣＴ処理部
１１５ 加算器
１１６ 動き補償処理部
１１７ スイッチ
１１８ 入力画像データ
１１９ ノイズ低減画像データ
１２０ 復号化画像データ
１２１ 入力端子
１２２ 出力端子
１２３ 表示出力端子
１２４ 画像符号化装置
１２５ 符号化画像データ
２００ 符号化構造
３００〜３０７ 制御部における第１の動き検出部並びにノイズ低減処理部での処理対象画像データ選択ステップ１〜８
４００〜４０４ 制御部における符号化処理部での処理対象画像データ選択ステップ１〜５
５００〜５０４ 制御部における第２の動き検出部での処理対象画像データ選択ステップ１〜５
６００〜６０１ 制御部における動き情報バッファでの動き情報保持ステップ１〜２
７００〜７０４ 制御部における動き情報選択部での動き情報選択ステップ１〜５
９００ 制御ステップ
９０１ 動き検出処理ステップ
９０２ ノイズ低減処理ステップ
９０３ 動き情報バッファステップ
９０４ 動き情報選択ステップ
９０５ 符号化処理ステップ
９０６ 画像符号化方法
９０７ 第１の動き検出ステップ
９０８ 第２の動き検出ステップ
９０９ 画像入力ステップ
９１０ ノイズ低減画像データ表示出力ステップ
１００１ 雑音低減回路
１００２ 符号化回路
１０１１ 第１乗算器
１０１２ 第２乗算器
１０１３ 加算器
１０１５ 係数制御手段
１０２０ 減算器
１０２１ ディスクリートコサイン変換回路
１０２２ 量子化器
１０２３ 可変長符号化器
１０２４ ビットレート制御回路
１０２５ 逆量子化器
１０２６ 逆ディスクリートコサイン変換回路
１０２７ 加算器
１０２８ 予測フレーム又はフィールドメモリ
１０２９ 動き推定器
１０３０ 動き補償器
１０３１ スイッチ

Claims (6)

1. 外部から所定の時間間隔で連続して入力する入力画像データに対しノイズ低減処理を行いノイズ低減画像データを出力しつつ、前記ノイズ低減画像データに対し符号化処理を行い符号化画像データを出力する画像符号化装置であって、
   前記入力画像データ、及び後述するノイズ低減処理部より出力されるノイズ低減画像データ、及び後述する符号化処理部より出力される符号化画像データ並びに復号化画像データを前記時間間隔での処理単位であるフレーム単位で保持するフレームメモリと、
   前記フレームメモリに保持された入力画像データ並びにノイズ低減画像データ並びに復号化画像データを入力し、動き検出処理を行い決定した動き情報を出力する動き検出処理部と、
   前記動き検出処理部より出力される動き情報、及び前記フレームメモリに保持された入力画像データ並びにノイズ低減画像データを入力し、前記入力画像データに対するノイズ低減処理を行いノイズ低減画像データを出力するノイズ低減処理部と、
   前記動き検出処理部より出力される動き情報を保持する動き情報バッファと、
   前記動き検出処理部より出力される動き情報、又は前記動き検出処理部より出力される動き情報と前記動き情報バッファに保持された動き情報の両方、の何れかを出力する動き情報選択部と、
   前記動き情報選択部より出力される動き情報、及び前記フレームメモリに保持されたノイズ低減画像データ並びに復号化画像データを入力し、決められた符号化タイプで前記ノイズ低減画像データに対する符号化処理を行い符号化画像データを出力すると共に前記符号化画像データを復号し復号化画像データを出力する符号化処理部と、
   予め決められた符号化構造に応じて前記フレームメモリに保持された入力画像データ並びにノイズ低減画像データ並びに復号化画像データを管理し、前記符号化処理部での符号化タイプの決定、及び前記動き検出処理部並びにノイズ低減処理部並びに符号化処理部での処理対象画像データの選択、及び前記動き情報バッファでの動き情報の保持、及び前記動き情報選択部での動き情報の選択を制御する制御部と、
   を備える画像符号化装置。
2. 前記符号化処理部における符号化タイプは、
   符号化処理対象となる前記ノイズ低減画像データを用いた画面内符号化と、
   前記ノイズ低減画像データ並びに前記復号化画像データを用いて表示順序で順方向に予測符号化を行う順方向予測符号化と、
   前記ノイズ低減画像データ並びに前記復号化画像データを用いて表示順序で順方向及び逆方向の双方向に予測符号化を行う双方向予測符号化とを含み、
   前記動き検出処理部は、
   前記符号化処理部における双方向予測符号化を行うための、それぞれ表示順序で順方向又は逆方向に動き検出処理を行う第１の動き検出部及び第２の動き検出部
   を備えることを特徴とする請求項１記載の画像符号化装置。
3. 前記制御部は、
   前記第１の動き検出部並びにノイズ低減処理部での処理対象画像データとして、
   Ｎ（Ｎは自然数）個前の時間間隔で入力された前記入力画像データと、
   前記入力画像データが最初のノイズ低減処理対象の場合は（Ｎ＋Ｍ）（Ｍは自然数）個前の時間間隔で入力された前記入力画像データ、
   前記入力画像データが最初のノイズ低減処理対象以外でかつ前記入力画像データに対応するノイズ低減画像データの符号化タイプが双方向予測符号化対象でない場合は（Ｎ＋Ｐ）（Ｐは０以上の整数）個前の時間間隔で出力されたノイズ低減画像データ、
   前記入力画像データが最初のノイズ低減処理対象以外でかつ前記入力画像データに対応するノイズ低減画像データの符号化タイプが双方向予測符号化対象かつ前記入力画像データに対応するノイズ低減画像データに対し符号化処理を行う際の順方向予測画像対象となる復号化画像データが存在しない場合は（Ｎ＋Ｐ）個前の時間間隔で出力されたノイズ低減画像データ、
   前記入力画像データが最初のノイズ低減処理対象以外でかつ前記入力画像データに対応するノイズ低減画像データの符号化タイプが双方向予測符号化対象かつ前記入力画像データに対応するノイズ低減画像データに対し符号化処理を行う際の順方向予測画像対象となる復号化画像データが存在する場合は前記入力画像データに対応するノイズ低減画像データに対し符号化処理を行う際の順方向予測画像対象となる復号化画像データに対応するノイズ低減画像データ、
   を選択し、
   前記符号化処理部での処理対象画像データとして、
   前記符号化構造に応じて決まる時間間隔で出力された前記ノイズ低減画像データと、
   前記ノイズ低減画像データの符号化タイプが順方向予測符号化対象の場合は順方向予測画像対象となる前記復号化画像データ、
   前記ノイズ低減画像データの符号化タイプが双方向予測符号化対象の場合は順方向又は逆方向又は双方向の予測画像対象となる前記復号化画像データ、
   を選択し、
   前記第２の動き検出部での処理対象画像データとして、
   前記符号化構造に応じて決まる時間間隔で出力された前記ノイズ低減画像データと、
   前記ノイズ低減画像データの符号化タイプが順方向予測符号化対象の場合は順方向予測画像対象となる前記復号化画像データ、
   前記ノイズ低減画像データの符号化タイプが双方向予測符号化対象の場合は逆方向予測画像対象となる前記復号化画像データ、
   を選択し、
   前記第１の動き検出部並びにノイズ低減処理部での処理対象画像データとして選択された前記入力画像データに対応するノイズ低減画像データの符号化タイプが双方向予測符号化対象である場合に、第１の動き検出部より出力される動き情報を前記動き情報バッファに保持し、
   前記動き情報選択部の出力として、
   前記第２の動き検出部並びに符号化処理部での処理対象画像として選択された前記ノイズ低減画像データの符号化タイプが双方向予測符号化対象でない場合は前記第２の動き検出部より出力される動き情報を選択し、
   前記第２の動き検出部並びに符号化処理部での処理対象画像として選択された前記ノイズ低減画像データの符号化タイプが双方向予測符号化対象かつ順方向及び逆方向予測画像対象となる復号化画像データが両方存在しない場合は前記第２の動き検出部より出力される動き情報を選択し、
   前記第２の動き検出部並びに符号化処理部での処理対象画像として選択された前記ノイズ低減画像データの符号化タイプが双方向予測符号化対象かつ順方向及び逆方向予測画像対象となる復号化画像データが両方存在する場合は前記第２の動き検出部より出力される動き情報と、前記動き情報バッファに保持された前記符号化処理部での処理対象として選択されたノイズ低減画像データに対応する入力画像データに対する動き情報の両方を選択
   することを特徴とする請求項２記載の画像符号化装置。
4. 外部から所定の時間間隔で連続して入力する入力画像データに対しノイズ低減処理を行いノイズ低減画像データを出力しつつ、前記ノイズ低減画像データに対し符号化処理を行い符号化画像データを出力する画像符号化方法であって、
   外部より前記入力画像データを入力する画像データ入力ステップと、
   予め決められた符号化構造に応じて前記入力画像データ、及び後述するノイズ低減処理ステップより出力されるノイズ低減画像データ、及び後述する符号化処理ステップより出力される復号化画像データを管理し、後述する符号化処理ステップでの符号化タイプの決定、及び後述する動き検出処理ステップ並びにノイズ低減処理ステップ並びに符号化処理ステップでの処理対象画像データの選択を制御する制御ステップと、
   前記制御ステップで選択された入力画像データ並びにノイズ低減画像データ並びに復号化画像データを入力し、動き検出処理を行い決定した動き情報を出力する動き検出処理ステップと、
   前記動き検出処理ステップより出力される動き情報、及び前記制御ステップで選択された入力画像データ並びにノイズ低減画像データを入力し、前記入力画像データに対するノイズ低減処理を行いノイズ低減画像データを出力するノイズ低減処理ステップと、
   前記動き検出処理ステップより出力される動き情報を保持する動き情報バッファステップと、
   前記動き検出処理ステップより出力される動き情報、又は前記動き検出処理ステップより出力される動き情報と前記動き情報バッファステップで保持された動き情報の両方、の何れかを出力する動き情報選択ステップと、
   前記動き情報選択ステップより出力される動き情報、及び前記制御ステップで選択されたノイズ低減画像データ並びに復号化画像データを入力し、前記制御ステップで決められた符号化タイプで前記ノイズ低減画像データに対する符号化処理を行い符号化画像データを出力すると共に前記符号化画像データを復号し復号化画像データを出力する符号化処理ステップと、
   外部へ前記ノイズ低減処理ステップより出力されるノイズ低減画像データを表示出力するノイズ低減画像データ表示出力ステップと、
   を備える画像符号化方法。
5. 前記符号化処理ステップにおける符号化タイプは、
   符号化処理対象となる前記ノイズ低減画像データを用いた画面内符号化と、
   前記ノイズ低減画像データ並びに前記復号化画像データを用いて表示順序で順方向に予測符号化を行う順方向予測符号化と、
   前記ノイズ低減画像データ並びに前記復号化画像データを用いて表示順序で順方向及び逆方向の双方向に予測符号化を行う双方向予測符号化とを含み、
   前記動き検出処理ステップは、
   前記符号化処理ステップにおける双方向予測符号化を行うための、それぞれ表示順序で順方向又は逆方向に動き検出処理を行う第１の動き検出ステップ及び第２の動き検出ステップ
   を備えることを特徴とする請求項４記載の画像符号化方法。
6. 前記制御ステップは、
   前記第１の動き検出ステップ並びにノイズ低減処理ステップでの処理対象画像データとして、
   Ｎ（Ｎは自然数）個前の時間間隔で入力された前記入力画像データと、
   前記入力画像データが最初のノイズ低減処理対象の場合は（Ｎ＋Ｍ）（Ｍは自然数）個前の時間間隔で入力された前記入力画像データ、
   前記入力画像データが最初のノイズ低減処理対象以外でかつ前記入力画像データに対応するノイズ低減画像データの符号化タイプが双方向予測符号化対象でない場合は（Ｎ＋Ｐ）（Ｐは０以上の整数）個前の時間間隔で出力されたノイズ低減画像データ、
   前記入力画像データが最初のノイズ低減処理対象以外でかつ前記入力画像データに対応するノイズ低減画像データの符号化タイプが双方向予測符号化対象かつ前記入力画像データに対応するノイズ低減画像データに対し符号化処理を行う際の順方向予測画像対象となる復号化画像データが存在しない場合は（Ｎ＋Ｐ）（Ｐは０以上の整数）個前の時間間隔で出力されたノイズ低減画像データ、
   前記入力画像データが最初のノイズ低減処理対象以外でかつ前記入力画像データに対応するノイズ低減画像データの符号化タイプが双方向予測符号化対象かつ前記入力画像データに対応するノイズ低減画像データに対し符号化処理を行う際の順方向予測画像対象となる復号化画像データが存在する場合は前記入力画像データに対応するノイズ低減画像データに対し符号化処理を行う際の順方向予測画像対象となる復号化画像データに対応するノイズ低減画像データ、
   を選択し、
   前記符号化処理ステップでの処理対象画像データとして、
   前記符号化構造に応じて決まる時間間隔で出力された前記ノイズ低減画像データと、
   前記ノイズ低減画像データの符号化タイプが順方向予測符号化対象の場合は順方向予測画像対象となる前記復号化画像データ、
   前記ノイズ低減画像データの符号化タイプが双方向予測符号化対象の場合は順方向又は逆方向又は双方向の予測画像対象となる前記復号化画像データ、
   を選択し、
   前記第２の動き検出ステップでの処理対象画像データとして、
   前記符号化構造に応じて決まる時間間隔で出力された前記ノイズ低減画像データと、
   前記ノイズ低減画像データの符号化タイプが順方向予測符号化対象の場合は順方向予測画像対象となる前記復号化画像データ、
   前記ノイズ低減画像データの符号化タイプが双方向予測符号化対象の場合は逆方向予測画像対象となる前記復号化画像データ、
   を選択し、
   前記動き情報バッファステップは、
   前記第１の動き検出ステップ並びにノイズ低減処理ステップでの処理対象画像データとして選択された前記入力画像データに対応するノイズ低減画像データの符号化タイプが双方向予測符号化対象である場合に、第１の動き検出ステップより出力される動き情報を保持し、
   前記動き情報選択ステップは、
   前記第２の動き検出ステップ並びに符号化処理ステップでの処理対象画像として選択された前記ノイズ低減画像データの符号化タイプが双方向予測符号化対象でない場合は前記第２の動き検出ステップより出力される動き情報を選択し、
   前記第２の動き検出ステップ並びに符号化処理ステップでの処理対象画像として選択された前記ノイズ低減画像データの符号化タイプが双方向予測符号化対象かつ順方向及び逆方向予測画像対象となる復号化画像データが両方存在しない場合は前記第２の動き検出ステップより出力される動き情報を選択し、
   前記第２の動き検出ステップ並びに符号化処理ステップでの処理対象画像として選択された前記ノイズ低減画像データの符号化タイプが双方向予測符号化対象かつ順方向及び逆方向予測画像対象となる復号化画像データが両方存在する場合は前記第２の動き検出ステップより出力される動き情報と、前記動き情報バッファステップで保持された前記符号化処理ステップでの処理対象として選択されたノイズ低減画像データに対応する入力画像データに対する動き情報の両方を選択
   することを特徴とする請求項５記載の画像符号化方法。

Images