JP2014112952A

JP2014112952A - 画像符号化装置

Info

Publication number: JP2014112952A
Application number: JP2014034644A
Authority: JP
Inventors: Koji Arimura; 耕治有村; Kenjiro Tsuda; 賢治郎津田; Tatsuro Shigesato; 達郎重里; Yasuharu Tanaka; 康晴田中; Yoshimitsu Sasaki; 善満佐々木; Shinji Kitamura; 臣二北村
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2014-02-25
Filing date: 2014-02-25
Publication date: 2014-06-19

Abstract

【課題】インターレース構造の動画像信号の符号化において、静止判定の精度を向上し、符号化効率、画質向上を実現する画像符号化装置を提供する。
【解決手段】符号化フィールドの静止領域情報を取得する静止領域情報取得手段と、取得した静止領域情報に応じて、符号化対象のフィールドが参照する参照フィールドを符号化済みのフィールドから選択する参照フィールド選択手段と、参照フィールドを用いて符号化対象のフィールドを符号化する符号化手段と、を備え、静止した背景が多く一部の物体が大きく動くような画像の場合でも、効率的な動き補償が実行でき、画像の符号化効率、画質の向上を実現する。
【選択図】図１

Description

本発明は、インターレース映像信号の動き予測フィールド符号化に対応した画像符号化に関する。

近年、非圧縮の映像データの形式として、プログレッシブもしくはインターレースという２つの方式が使用されている。プログレッシブ方式では、フレームのサンプルラインがすべて同時刻のもので構成され、インターレース方式では、フレームのサンプルラインが交互に異なる時刻のもので構成される。なお、インターレース方式の映像信号は、１フレームが、サンプルライン毎にまとめられたトップフィールドとボトムフィールドで構成される。

上記の非圧縮の映像データはデータ量が多いため、ＭＰＥＧ２やＨ．２６４／ＭＰＥＧ４−ＡＶＣなどの符号化方式を用いて圧縮して記録するのが一般的である。このＭＰＥＧ２やＨ．２６４／ＭＰＥＧ４−ＡＶＣなどの符号化方式では、時刻の異なるフレーム間の動きベクトルを検出し、動き補償予測による画面間符号化が用いられている。また、フレーム単位で画面間動き予測により符号化するフレーム符号化と、フィールド単位で画面間動き予測により符号化するフィールド符号化の２つのモードがある。

さらにＨ．２６４／ＭＰＥＧ４−ＡＶＣでは、複数フレームから参照して動き補償することが可能となり、フィールド符号化の場合は、フレームを構成するフィールドについても、符号化済みのフィールドの中で、トップフィールドもしくはボトムフィールドのどちらのフィールドを参照するか、選択することが可能となっている。

このように参照フィールドを選択する際、候補となるすべてのフィールドについて、動き検出や符号化を行った結果、符号化効率の低い方、画質の高い方を選択することが可能であるが、処理量が多くなるという課題がある。

こうした課題を解決する従来例として特許文献１および特許文献２において、フィールド間の動きの大きさ（縮小画像による画面全体の動きベクトル、動きベクトルの平均値、動きベクトルの絶対値の平均値など）に基づいて、参照フィールドを選択する動画像符号化装置が提案されている。特許文献３では、フィールド間の動きの大きさに加えて、フィールド間の相関に基づいて参照フィールドを選択する参照ピクチャ決定方法が開示されている。さらに特許文献４では、参照フィールド選択の評価基準として、縮小画像に基づく動きベクトルやイントラ符号化されたマクロブロックの比率などから動きの大きさを推定して、推定した動きの大きさに基づいて参照フィールドを選択する参照フィールド選択方法が開示されている。

特開２００６−９４４５４号公報特開２００７−２５９２０６号公報特開２００８−１１１１７号公報国際公開第２００７／０４０１９７号

従来の参照フィールド選択方法では、フィールド単位（ピクチャ単位）において予測される動きの大きさを判断基準として、参照フィールドの選択を行っている。そのため、符号化対象となるピクチャの背景が静止していて、一部の物体が大きく動いている場合であっても、フィールド単位の平均的な動きとしては、動きありと判定され、当該判定結果に基づいて参照フィールドが選択されてしまう課題があった。

また、静止した背景で物体が大きく動く場合、画面下部の動きのある部分の符号化効率、画質は最適化されるものの、画面上部の静止領域の符号化効率、画質が低下し、静止領域は動き領域に比べて歪を検知しやすいため、画面全体としては画質劣化が目立つという課題があった。

上記課題を解決するために、本発明の画像符号化装置は、符号化フィールドの静止領域情報を取得する静止領域情報取得手段と、取得した静止領域情報に応じて、符号化対象のフィールドが参照する参照フィールドを、符号化済みのフィールドから選択する参照フィールド選択手段と、参照フィールドを用いて符号化対象のフィールドを符号化する符号化手段とを備える。

本発明により、インターレース構造の動画像信号を符号化する画像符号化装置であって、符号化対象のフィールドのうち、動きの少ない領域に関する情報である静止領域情報を取得する静止領域情報取得部と、取得した静止領域情報に応じて、符号化対象のフィールドが参照する参照フィールドを、符号化済みのフィールドから選択する参照フィールド選択部と、参照フィールドを用いて前記符号化対象のフィールドを符号化する符号化部と、を備える。

また、インターレース構造の動画像信号を符号化する画像符号化方法であって、符号化対象のフィールドのうち、動きの少ない領域に関する情報である静止領域情報を取得する静止領域情報取得ステップと、取得した静止領域情報に応じて、符号化対象のフィールドが参照する参照フィールドを、符号化済みのフィールドから選択する参照フィールド選択ステップと、参照フィールドを用いて前記符号化対象のフィールドを符号化する符号化ステップと、を備える。

さらに、インターレース構造の動画像信号を符号化する画像符号化機能を備えるビデオカメラであって、符号化対象のフィールドのうち、動きの少ない領域に関する情報である静止領域情報を取得する静止領域情報取得部と、取得した静止領域情報に応じて、符号化対象のフィールドが参照する参照フィールドを、符号化済みのフィールドから選択する参照フィールド選択部と、参照フィールドを用いて前記符号化対象のフィールドを符号化する符号化部と、を備える。

上記の構成により、従来例に比べ、静止判定の精度を向上し、符号化効率、画質を向上することが可能となる。

本発明の実施の形態１における画像符号化装置１００を示す模式図インターレース符号化の参照フィールド関係に関する説明図インターレース符号化の参照フィールド関係に関する説明図静止した背景で一部の物体が大きく動く場合の説明図実施の形態１における参照フィールドの決定及び静止マクロブロック数の集計処理の流れを示すフローチャート本発明の実施の形態２における画像符号化装置６００を示す模式図領域を分割した場合の説明図実施の形態２における参照フィールドの決定及び静止マクロブロック数の集計処理の流れを示すフローチャート

上記目的を達成するために、本発明の実施の形態においては、インターレース構造の動画像信号を符号化する画像符号化装置であって、符号化対象のフィールドのうち、動きの少ない領域に関する情報である静止領域情報を取得する静止領域情報取得部と、取得した静止領域情報に応じて、符号化対象のフィールドが参照する参照フィールドを、符号化済みのフィールドから選択する参照フィールド選択部と、参照フィールドを用いて前記符号化対象のフィールドを符号化する符号化部と、を備える。

また、前記参照フィールド選択部は、前記静止領域情報に応じて、参照フィールドを選択するフィールドをトップフィールドと、ボトムフィールドとで切り換えることを特徴とする構成にしても構わない。

また、前記参照フィールド選択部は、前記静止領域情報を基に静止領域が多いと判定した場合は、前記符号化対象のフィールドと同相のフィールドを前記参照フィールドとして選択することを特徴とする構成にしても構わない。

また、前記参照フィールド選択部は、前記静止領域情報を基に静止領域が少ないと判定した場合は、前記符号化対象のフィールドと異相に存在するフィールドを前記参照フィールドとして選択することを特徴とする構成にしても構わない。

前記静止領域情報取得部は、前記符号化対象のフィールドが有するマクロブロックにおいて検出される動きベクトルの値に応じて、当該マクロブロックの動きが少ないか否かを判定し、当該判定結果を基に前記符号化対象のフィールドに関する静止領域情報を生成して取得する構成にしても構わない。

また、前記静止領域情報取得部は、前記符号化対象のフィールドと、同相のフィールドに対する動きベクトルを検出することを特徴とする構成にしても構わない。

また、前記静止領域情報取得部は、前記符号化対象のフィールドと、異相のフィールドに対する動きベクトルを検出することを特徴とする構成にしても構わない。

また、前記静止領域情報取得部は、動きベクトルが所定の閾値以下となるマクロブロック数と、動きベクトルが所定の閾値以上となるマクロブロック数との比率を前記静止領域情報として生成することを特徴とする構成にしても構わない。

また、前記画像符号化装置はさらに、前記符号化対象のフィールドを所定数の部分フィールドに分割する領域分割部を備え、前記静止領域情報取得部は、前記部分フィールドのうち、動きの少ない領域に関する情報である静止領域情報を取得し、前記参照フィールド選択部は、前記静止領域情報に応じて符号化対象の部分フィールドが参照する参照フィールドを符号化済みのフィールドから選択することを特徴とする構成にしても構わない。

前記領域分割部は、前記符号化対象のフィールドを符号化規格に規定されるスライス毎に分割することを特徴とする構成にしても構わない。

上記のように、フィールド単位（ピクチャ単位）の動きベクトルの大きさではなく、スライス分割等に基づく画面の領域単位の動きベクトルの大きさに基づいて判断することにより、領域ごとに最適な参照フィールドを選択可能となり、従来例に比べ、符号化効率、画質を向上することが可能となる。

以下、本発明の実施の形態を、図面を参照しながら説明する。

（実施の形態１）
以下、本発明の実施の形態１について、図面を参照しながら説明する。

本実施の形態１においては、インターレースの入力フィールドが入力されるものとして説明を行う。

図１は、本発明の実施の形態１における画像符号化装置１００を示す模式図である。画像符号化装置１００は、切替手段１０１、画面間符号化手段１０６、画面内符号化手段１０２、符号化モード制御手段１０５及び、切替手段１０３、可変長符号化手段１０４を備える。

切替手段１０１は、符号化モード制御手段１０５からの制御情報を基に、入力される入力フィールドの出力先をＩピクチャの場合には画面内符号化手段１０２とし、ＰピクチャとＢピクチャの場合には、画面内符号化手段１０２と画面間符号化手段１０６の両方に切替る。

画面内符号化手段１０２は、イントラ予測を用いて、切替手段１０１から出力される入力フィールドのうち、現在符号化対象となっているフィールドに対応する予測画像を生成する。さらに、生成した予測画像と、入力フィールドから残差画像を生成し、該残差画像に対して直交変換及び、量子化変換することで量子化係数情報を生成する。そして、量子化係数情報を切替手段１０３に出力するとともに、該量子化係数情報を逆量子化し、逆直交変換して得られるローカルデコード画像を参照フィールドメモリ１０９に出力する。また、イントラ予測を行う際に生成される差分絶対値和等、符号化モードを決定する際に必要となる符号化モード決定情報を符号化モード制御手段１０５に出力する。

切替手段１０３は、符号化モード制御手段１０５からの決定情報を基に、画面内符号化手段１０２及び、画面間符号化手段１０６から出力される量子化係数情報のうち、一方を選択し可変長符号化手段１０４に出力を行う。

可変長符号化手段１０４は、符号化モード制御手段１０５から出力される決定情報、動きベクトル検出手段１０７から出力される動きベクトル情報を基に、切替手段１０３から出力される量子化係数情報の可変長符号化を行い、出力する。

符号化モード制御手段１０５は、Ｉピクチャの場合には、入力画像を画面内符号化手段１０２のみに出力し、ＰピクチャやＢピクチャの場合には、画面内符号化手段１０２と画面間符号化手段１０６の両方に出力するように制御信号を切替え手段１０１に出力する。また、符号化モード制御手段１０５は、画面間符号化手段１０６及び、画面内符号化手段１０２から出力される符号化モード決定情報を基に、切替手段１０３及び、可変長符号化手段１０４に対して符号化モードを決定する決定情報を出力する。

画面間符号化手段１０６は、切替手段１０１から出力される入力フィールドに対して、該入力フィールドの静止領域に関する情報を基に選択される参照フィールドを用いてインター予測を行い予測画像を生成する。さらに、生成した予測画像と、入力フィールドから残差画像を生成し、該残差画像に対して直交変換及び、量子化変換することで量子化係数情報を生成する。生成した量子化係数情報を切替手段１０３に出力する。なお、画面間符号化手段１０６の具体的な動作に関しては後述する。また、インター予測を行う際に生成される差分絶対値和等、符号化モードを決定する際に必要となる符号化モード決定情報を符号化モード制御手段１０５に出力する。

次に、画面間符号化手段１０６について具体的に説明する。画面間符号化手段１０６は、動きベクトル検出手段１０７、動き補償手段１０８、参照フィールドメモリ１０９、減算手段１１０、直交変換量子化手段１１１、逆量子化逆直交変換手段１１２、加算手段１１３、静止領域判定手段１１４、参照フィールド選択手段１１５を備える。

動きベクトル検出手段１０７は、切替手段１０１から出力される入力フィールド及び、参照フィールドメモリ１０９に蓄積されるローカルデコード画像を基に、動きベクトル情報を生成する。生成した動きベクトル情報は、静止領域判定手段１１４、動き補償手段１０８及び、可変長符号化手段１０４に出力される。

動き補償手段１０８は、動きベクトル検出手段１０７から出力される動きベクトル情報を基に、参照フィールドメモリ１０９に蓄積される現在符号化対象となっているフィールドに対応するローカルデコード画像を用いて動き補償を行い、予測画像を生成する。生成した予測画像は、減算手段１１０及び、加算手段１１３に出力する。なお、参照フィールドメモリ１０９からローカルデコード画像を選択する場合、参照フィールド選択手段１１５から出力される選択信号を基に選択する構成となる。

参照フィールドメモリ１０９は、画面内符号化手段１０２、加算手段１１３、参照フィールド選択手段１１５から出力されるローカルデコード画像を蓄積する。

減算手段１１０は、切替手段１０１から出力される入力フィールドと、動き補償手段１０８から出力される予測画像との差分結果である残差画像を算出し、直交変換量子化手段１１１に出力する。

直交変換量子化手段１１１は、減算手段１１０から出力される残差画像を直交変換し、量子化することで量子化係数情報を生成する。生成した量子化係数情報は、切替手段１０３及び、逆量子化逆直交変換手段１１２に出力される。

逆量子化逆直交変換手段１１２は、直交変換量子化手段１１１から出力される量子化係数情報を逆量子化し、逆直交変換することで残差画像を復号する。そして該残差画像を加算手段１１３に出力する。

加算手段１１３は、逆量子化逆直交変換手段１１２から出力される残差画像と、動き補償手段１０８から出力される予測画像とを加算し、ローカルデコード画像を生成する。生成したローカルデコード画像は、参照フィールドメモリ１０９に出力される。

静止領域判定手段１１４は、動きベクトル検出手段１０７から出力される動きベクトル情報を基に、符号化対象であるフィールドの領域のうち、静止領域に関する静止領域情報を取得する。そして、静止領域判定手段１１４は取得した静止領域情報を参照フィールド選択手段１１５に出力する。ここで、静止領域に関する情報とは、例えば符号化対象であるフィールド全体に占める静止領域の割合、静止領域の数等、静止領域に関連する情報であればどのようなものを用いても構わない。以下、静止領域情報として、静止領域が多いか否かに関する情報を用いる。

静止領域判定手段１１４において、静止領域が多いか否かの判定は、例えば、動きベクトルがゼロ若しくは、所定の閾値Ｔｈ＿ｍｖ以下のマクロブロックをカウントし、該カウントした結果である静止マクロブロック数が所定の閾値Ｔｈ＿Ｆ以下の場合は静止領域が多いと判定する。

より具体的に、静止領域判定手段１１４は、符号化対象であるフィールドにおける動きベクトル（ｘ、ｙ）のｘ成分、ｙ成分の絶対値と、任意に設定された閾値Ｔｈ＿ｍｖを比較し、｜ｘ｜＜＝Ｔｈ＿ｍｖかつ｜ｙ｜＜＝Ｔｈ＿ｍｖの場合に、静止マクロブロックと設定する構成とする。

ここで、マクロブロックは複数個の動きベクトルを持つ場合がある。この場合、その全ての動きベクトルが所定の閾値Ｔｈ＿ｍｖより小さなマクロブロックを静止マクロブロックとする。閾値Ｔｈ＿ｍｖはゼロまたは、充分に小さな値、例えば、１（整数精度）が好ましい。

ただし、閾値Ｔｈ＿ｍｖがゼロでない場合には、符号化対象画像と参照フィールドとの時間的な差により補正を行う。例えば、符号化対象画像と参照フィールドが、再生順で連続するフィールドの場合の閾値をＴｈ＿ｍｖとすると、符号化対象画像と参照フィールドが２フィールド離れている場合には、閾値はＴｈ＿ｍｖ＊２とする。

なお、静止領域を判定するタイミングは、符号化対象と同相の直前の符号化済みフィールドの動きベクトルに基づいて判定してもよいし、その前の符号化済みフィールドの動きベクトルに基づいて判定してもよい。

ここで、静止領域判定手段１１４が静止領域を判定するために用いる動きベクトルについて図面を用いて説明する。

図２は、インターレース構造を持つ入力フィールドにおいて、符号化対象となる画像がトップフィールドの場合における参照構造を示す図である。

図３は、インターレース構造を持つ入力フィールドにおいて、符号化対象となる画像がボトムフィールドの場合における参照構造を示す図である。

静止領域判定手段１１４は、例えば、符号化対象が、図２（Ａ）のＦ１フレームのトップフィールド２０３の場合、符号化済で、同相のＦ０フレームのトップフィールド２０１やＦ３フレームのトップフィールド２０７の動きベクトルを用いる構成としても構わないし、異相のＦ０フレームのボトムフィールド２０２やＦ３フレームのボトムフィールド２０８の動きベクトルに基づいて判定してもよい。また、符号化対象が、図２（Ｂ）のＦ２フレームのボトムフィールド２０６の場合、符号済で、異相のＦ０フレームのトップフィールド２０１やＦ２フレームのトップフィールド２０５の動きベクトルに基づいて判定しても構わないし、同相のＦ０フレームのボトムフィールド２０２やＦ１フレームのボトムフィールド２０４の動きベクトルに基づいて判定しても構わない。さらに符号化対象が、図３（Ａ）のＦ１フレームのトップフィールド３０３の場合、符号化済みで、異相のＦ０フレームのボトムフィールド３０２やＦ３フレームのボトムフィールド３０８の動きベクトルに基づいて判定してもよいし、または、同相のＦ０フレームのトップフィールド３０１やＦ３フレームのトップフィールド３０７の動きベクトルに基づいて判定してもよい。

符号化済のフィールドのうち、符号化対象と再生順序で近いフィールドの動きベクトルに基づいて判定を行うことにより、符号化対象のフィールドの静止判定をより正確に行うことが可能となる。つまり、符号化対象の再生順序で前後に位置する符号化済みフレームを構成するフィールドの動きベクトルに基づいて静止領域判定を行うことが望ましい。さらに述べると、符号化対象フィールドのうち、再生順序で最も近いフィールドの動きベクトルに基づいて判定を行うことが最も望ましい。

しかしながら、再生順序で最も近い符号化済フィールドの動きベクトルに基づいて、静止領域判定を行うためには、符号化する全フィールドの動きベクトルに基づく判定が必要であり、判定処理の演算が必要である。静止領域判定処理の演算量を削減するために、フレームの一方のフィールド（例えば、トップフィールド）のみの動きベクトルに基づいて、静止領域判定を行ってもよい。

なお、静止領域判定手段１１４は、符号化対象であるフィールドに対する静止領域情報を算出する際に用いる動きベクトル等の情報は、既に符号化済みのフィールドから取得する構成となる。この場合、符号化を行なった際、例えば動きベクトルがゼロ若しくは、所定の閾値Ｔｈ＿ｍｖ以下のマクロブロックのカウント数を蓄積する蓄積手段を備える構成でも構わない。

参照フィールド選択手段１１５は、静止領域判定手段１１４からの静止領域情報に基づき、参照フィールドメモリ１０９にて、どのフィールドを参照フィールドとして出力するかを制御する。静止領域判定手段１１４で静止領域が多いと判断された場合は、図２、図３に示すような同相フィールドを選択し、静止領域が少ないと判断された場合は、図２、図３に示すような異相フィールドを選択する。例えば、図４のように静止した背景で一部の物体が大きく動く場合、静止背景の領域が多ければ、同相フィールドを参照するように選択される。

次に、本発明の実施の形態１における参照フィールドの決定及び静止マクロブロック集計処理の流れを図５のフローチャートを用いて詳しく説明する。

まず、静止領域判定手段１１４は、符号化対象であるフィールドの参照フィールドを決定するために、符号化対象であるフィールドに含まれる静止領域が多いかを、既に符号化済みのフィールドの静止マクロブロック数が所定の閾値Ｔｈ＿Ｆより多いかにより判断する（Ｓ５０１）。静止マクロブロック数が所定の閾値Ｔｈ＿Ｆより少ない場合、符号化対象のフィールドは動いているフィールド、つまりフィールド内に静止領域が少ないと判定し、Ｓ５０２に進む。また、静止マクロブロック数が所定の閾値Ｔｈ＿Ｆより多い場合、符号化対象のフィールドは静止しているフィールド、つまりフィールド内に静止領域が多いと判定し、Ｓ５０３に進む。

フィールド内に静止領域が少ない場合、参照フィールド選択手段１１５は、異相フィールドを参照フィールドに設定する（Ｓ５０２）。

フィールド内に静止領域が多い場合には、参照フィールド選択手段１１５は、同相フィールドを参照フィールドに設定する（Ｓ５０３）。

次に、符号化対象フィールドを符号化する間に静止領域判定手段１１４は、符号化対象のフィールドより、後に符号化するフィールドの参照フィールドの決定に利用する静止マクロブロックの集計を行うために、動きベクトル検出手段１０７が検出した動きベクトルのうち、動きベクトルの絶対値が、所定の閾値Ｔｈ＿ｍｖより小さなマクロブロックを、静止マクロブロックとして検出する（Ｓ５０４）。

Ｓ５０４で静止マクロブロックを検出した場合は、フィールド毎に該静止マクロブロックの数をカウントする（Ｓ５０５）。符号化対象となるフィールドに含まれるマクロブロック全ての処理が終われば動作を終了する。

なお、Ｓ５０１、Ｓ５０２及び、Ｓ５０３についてはフィールド毎に処理される処理工程であり、Ｓ５０４及び、Ｓ５０５についてはフィールドに含まれるマクロブロック毎に処理される処理工程である。

上記のように画像符号化装置１００は、符号化対象であるフィールドに含まれるマクロブロックで検出される動きベクトルが所定の閾値よりも小さいか否かを判定し、小さい場合は当該動きベクトルが検出されたマクロブロックの数をカウントし、カウントした値を基に参照フィールドの選択を行うことが可能となる。そのため、一部の大きな動きの部分に最適化されることによる視覚上の歪みを防止することが可能となる効果を奏する。

（実施の形態２）
本発明の実施の形態１では、入力されるフィールド全体に対して静止領域に関係する静止領域情報を生成し、当該静止領域情報に応じて参照フィールドを選択する構成となっていた。しかし、入力されるフィールド全体に対して静止領域情報を生成していたため、図４に示すようなフィールドの上半分は静止画が中心となった画像であって、下半分は動きの大きな画像となるような領域毎に特性が変化するフィールドに対しては適切に制御することが出来なかった。そこで、本実施の形態２では、入力されるフィールドを予め複数の領域に分割し、分割した部分フィールドを用いて静止領域の判定及び、参照フィールドの選択を行うことを特徴とする。

次に、本発明における実施の形態２における画像符号化装置６００について図面を参照しながら説明する。

図６は、本発明の実施の形態２における画像符号化装置６００の構成を示す模式図である。画像符号化装置６００は、実施の形態１における画像符号化装置１００と比較して領域分割手段６０１を新たに備える構成となっている。なお、画像符号化装置１００と動作内容が同じものに関しては、同じ番号を付し、その詳細な説明を省略する。

領域分割手段６０１は、入力されるフィールドを、複数の部分フィールドに分割する。領域分割手段６０１が行う分割方法は、例えば、フィールド全体を均等な大きさの領域に分割する方法、所定の符号化方式に規定される単位毎に分割する方法等、どのような分割方法でも構わない。本実施の形態２においては、図７に示すような１つのフィールドを垂直に３等分する形式で３つの部分フィールド（部分フィールドＡ、部分フィールドＢ、部分フィールドＣ）に分割する分割方法を用いるものとする。なお、Ｈ．２６４／ＡＶＣ規格を用いて符号化する場合、当該３つの部分フィールドは、それぞれスライスとして符号化される。

なお、本発明の実施の形態２における画像符号化装置６００は、本実施の形態１における画像符号化装置１００における動き補償手段１０８、静止領域判定手段１１４及び、参照フィールド選択手段１１５においてフィールド単位で行っていた処理を、領域分割手段６０１にて分割された分割領域毎に処理する工程となる。

次に、本発明の実施の形態２における参照フィールドの決定及び静止マクロブロック集計処理の流れを図８のフローチャートを用いて詳しく説明する。なお、図８においては、図７に示す部分フィールドＡから順に符号化していく構成とする。

まず、静止領域判定手段１１４において、符号化対象である部分フィールドＡに適用する参照フィールドを決定するため、符号化対象である部分フィールドＡに含まれる静止領域が多いかを、既に符号化済みのフィールドのうち、当該部分フィールドＡに対応する領域の静止マクロブロック数が所定の閾値Ｔｈ＿Ｓより多いかにより判断する（Ｓ８０１）。静止マクロブロック数が所定の閾値Ｔｈ＿Ｓより少ない場合、部分フィールドＡは動いている領域、つまり部分フィールド内に静止領域が少ないと判定し、Ｓ８０２に進む。また、静止マクロブロック数が所定の閾値Ｔｈ＿Ｓより多い場合、部分フィールドは静止しているフィールド、つまり部分フィールド内に静止領域が多いと判定し、Ｓ８０３に進む。

部分フィールド内の静止領域が少ない場合には、参照フィールド選択手段１１５は、異相フィールドを参照フィールドに設定する（Ｓ８０２）。

部分フィールド内の静止領域が多い場合には、参照フィールド選択手段１１５は、同相フィールドを参照フィールドに設定する（Ｓ８０３）。

次に、符号化対象フィールドを符号化する間に静止領域判定手段１１４は、符号化対象のフィールドより、後に符号化するフィールドを分割した部分フィールド毎の参照フィールドの決定に利用する静止マクロブロックの集計を行う。

つまり、静止領域判定手段１１４は、符号化対象を分割した部分フィールド毎に、動きベクトル検出手段１０７が検出した動きベクトルのうち、動きベクトルの絶対値が、所定の閾値Ｔｈ＿ｍｖより小さなマクロブロックを、静止マクロブロックとして検出する（Ｓ８０４）。

そして、Ｓ８０４で静止マクロブロックを検出した場合は、部分フィールド毎に該静止マクロブロックの数をカウントする（Ｓ８０５）。符号化対象となる部分フィールドに含まれるマクロブロック全ての処理が修了した場合、部分フィールドＢ、Ｃも同様の処理を行ないフィールド全体の処理が終わった時点で動作を終了する。

上記のように、本発明の実施の形態２における画像符号化装置６００は、部分フィールド毎に静止領域を判定することで、図７の部分フィールドＡは、静止した背景で構成されるため、静止と判定されて同相フィールドが参照フィールドとして選択され、部分フィールドＢおよびＣは動きの大きい物体を含むため、動きありと判定されて異相フィールドが参照フィールドとして選択される。その結果、フィールド単位で判定する場合に比べ、静止部分の多い部分フィールドにおける符号化効率、画質が改善される効果を奏する。

（実施の形態３）
本発明の実施の形態１及び、２では、入力されるフィールドに含まれる静止マクロブロックのブロック数をカウントし、当該ブロック数に応じて参照フィールドの構造を設定していた。しかし、入力されるフィールドの静止マクロブロックのブロック数のみを用いて参照フィールドの構造を設定したのでは正確に設定することができない場合がある。そこで、本実施の形態３では、入力されるフィールドに含まれる静止マクロブロックと、静止マクロブロック以外のマクロブロックとの比に基づいて参照フィールドを決定する。なお、静止マクロブロック以外のマクロブロックとは、静止マクロブロック以外全てのマクロブロックでも構わないし、マクロブロックにおいて検出された動きベクトルが所定の閾値よりも大きい動的マクロブロックでも構わない。動的マクロブロックを用いる場合は、符号化を行なうフィールドの動静をより正確に判定することが出来る効果を奏する。

次に、本発明における実施の形態３における画像符号化装置について説明する。

本発明の実施の形態３のブロック図は、実施の形態１の画像符号化装置１００とブロックの構成は同じである。そのため、画像符号化装置１００と動作内容が同じものに関しては、同じ番号を付しその具体的な説明を省略する。

なお、画像符号化装置１００と動作内容が異なるのは静止領域判定手段１１４である。

静止領域判定手段１１４は、静止領域の判定に加えて、静止領域以外の動的領域の判定を行う構成となる。例えば、動きベクトルが所定の閾値Ｔｈ＿ｍｖ２よりも大きいマクロブロックをカウントし、該カウントした結果を動的領域と判定する。次に、静止領域と判定された静止マクロブロックのブロック数ＭＢ＿Ｓと、動的領域と判定されたマクロブロック数のブロック数ＭＢ＿Ａの比Ｒを基に、符号化対象のフィールドに静止領域が多いか否かを判定する。Ｒが所定の閾値Ｔｈ＿Ｒ以下の場合は静止領域が多いと判定する。つまり、ＭＢ＿Ｓ／ＭＢ＿Ａ＜Ｔｈ＿Ｒの場合、静止領域が多いと判定する。

以上のように、静止領域判定において、静止マクロブロック数と静止でないマクロブロック数の比に基づいて静止領域が符号化対象のフィールドに対して多いか否かを判定する。そして、当該判定結果に基づいて参照フィールドを選択することにより、画面間符号化のマクロブロックの数が少ない符号化の場合にも、静止マクロブロック数のみで判断するよりも、正確な静止領域判定が可能になり、従来例に比べ、符号化効率、画質を向上することが可能となる。

（その他の実施の形態）
実施の形態１、２及び３では、入力フィールドは、符号化モード制御手段１０５の制御信号に基づき、ＰピクチャおよびＢピクチャの場合は、画面内符号化手段１０２および画面間符号化手段１０６に入力される。しかし、符号化モード制御手段１０５は、予め符号化対象のマクロブロックの信号や符号化途中のパラメータ（発生符号量やＱＰ値等）により、各マクロブロックに適用する予測方式を画面内符号化か画面間符号化の一方に決定し、その結果に基づき、画面内符号化手段１０２もしくは、画面間符号化手段１０６に出力する構成にしても構わない。

符号化装置では、どちらか一方の符号化手段のみを実施することにより、消費電力の削減に有効である。

本発明の画像符号化装置およびその方法では、動画対応デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯電話、ＤＶＤ／ＢＤレコーダ、番組記録対応テレビ、ウェブカメラ、番組配信サーバーなどで、動画像データを符号化して、圧縮、記録、保存、転送する用途に有用である。

１０１，１０３切替手段
１０２画面内符号化手段
１０４可変長符号化手段
１０５符号化モード制御手段
１０６画面間符号化手段
１０７動きベクトル検出手段
１０８動き補償手段
１０９参照フィールドメモリ
１１０減算手段
１１１直交変換量子化手段
１１２逆量子化逆直交変換手段
１１３加算手段
１１４静止領域判定手段
１１５参照フィールド選択手段
６０１領域分割手段

Claims

インターレース構造の動画像信号を符号化する画像符号化装置であって、
符号化対象のフィールドの動きに関する動き情報を所定の領域毎に取得する動き取得部と、
前記取得した所定の領域毎の動き情報に基づいて、前記符号化対象フィールドに占める動きの少ない領域の割合に関する情報を取得する情報取得部と、
既に符号化済みのフィールドから前方予測または後方予測における参照フィールドを1枚のみ選択する場合、前記取得した割合に関する情報に基づいて、符号化対象フィールドが参照する参照フィールドを、符号化済みのトップフィールドと符号化済みのボトムフィールドとで選択的に切り替えて設定する参照フィールド選択部と、
前記設定した参照フィールドを用いて前記符号化対象のフィールドを符号化する符号化部と、を備える
画像符号化装置。