JP2011250400A - 動画像符号化装置及び動画像符号化方法 - Google Patents

Abstract

【課題】局所的に変化のある領域で画質劣化が発生することを抑制する。
【解決手段】本発明に係る動画像符号化装置１００は、符号化対象のブロックに含まれる画素データに基づいて、連続するトップフィールドとボトムフィールドとの撮影時間が異なることにより生じる前記トップフィールドと前記ボトムフィールドとのずれを示す変化量を検出する変化量検出部１１０と、前記変化量が第１の値の場合、前記符号化対象のブロックに適用する量子化幅を第１量子化幅に決定し、前記変化量が前記第１の値より大きい第２の値の場合、前記符号化対象のブロックに適用する量子化幅を、前記第１量子化幅より小さい第２量子化幅に決定する量子化幅決定部１１１と、量子化幅決定部１１１により決定された量子化幅で、前記符号化対象のブロックを量子化する量子化部１０２とを備える。
【選択図】図１

Description

本発明は、動画像符号化装置及び動画像符号化方法に関し、特に、インターレース構造の動画像信号を符号化する動画像符号化装置に関するものである。

近年、マルチメディアアプリケーションの発展に伴い、画像、音声及びテキストなど、あらゆるメディアの情報を統一的に扱うことが一般的になってきた。また、ディジタル化された画像は膨大なデータ量を持つため、蓄積及び伝送のためには、画像の情報圧縮技術が不可欠である。一方で、圧縮した画像データを相互運用するためには、圧縮技術の標準化も重要である。例えば、画像圧縮技術の標準規格としては、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）のＨ．２６１、Ｈ．２６３、Ｈ．２６４、ＩＳＯ（国際標準化機構）のＭＰＥＧ−１、ＭＰＥＧ−３、ＭＰＥＧ−４、ＭＰＥＧ−４ＡＶＣなどがある。

このような動画像の符号化では、時間方向及び空間方向の冗長性を削減することによって情報量の圧縮を行う。ここで、空間方向の冗長性削減を目的として参照画像を参照せず画面内予測符号化が行われるピクチャをＩピクチャと呼ぶ。また、時間方向の冗長性削減を目的として１枚のピクチャのみを参照し画面間予測符号化が行われるピクチャをＰピクチャと呼ぶ。また、同時に２枚のピクチャを参照して画面間予測符号化が行われるピクチャをＢピクチャと呼ぶ。ここで、ピクチャとは、符号化対象とする１枚の画像を表すものであり、フレーム構造として符号化されるピクチャ（１フレーム）、又はフィールド構造として符号化されるピクチャ（１フィールド）である。

また、符号化対象の各ピクチャはマクロブロックと呼ばれる符号化単位ブロックに分割される。また、動画像符号化装置は、分割したブロック毎に画面内予測又は画面間予測を行って符号化を行う。具体的には、動画像符号化装置は、マクロブロック単位で予測によって生成した予測画像と符号化対象とする入力画像との差分値を算出し、得られた差分値画像に対して離散コサイン変換等の直交変換を行い、変換後の各変換係数値を量子化する。これにより情報量が圧縮される。

一般に、１つのフレームが同じ時刻の映像のみで構成されるプログレッシブ画像ではフレーム構造での符号化（以下、フレーム構造符号化）が用いられる。また、１つのフレームが時刻の異なる２つのフィールドの映像から構成されるインターレース画像ではフィールド構造での符号化（以下、フィールド構造符号化）が用いられる。しかしＨ．２６４等では、インターレース画像の符号化処理において、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したりできる。さらに、Ｈ．２６４等では、フレーム内のマクロブロック毎にフレーム構造符号化又はフィールド構造符号化を選択することが可能である。このように、Ｈ．２６４等では、画像の特性によって最適な処理方法を選択することで符号化効率を上げる仕組みが導入されている。

このようなフレーム内のマクロブロック毎に、当該マクロブロックをフレーム構造符号化又はフィールド構造符号化する方法では、マクロブロック毎にフレーム構造符号化に適しているかフィールド構造符号化に適しているかを判断する必要がある。例えば、特許文献１では、同じフィールドに属する隣接するライン間の画素値の差と、異なるフィールドに属する隣接するライン間の画素値の差とを比較して、前者の方が差が小さければフィールド構造として処理するという方法が提案されている。これにより、局所的に動き又は変形によって２つのフィールド間で画像が異なる領域がある場合でも、そのような領域に対してはフィールド構造符号化が行われる。よって、特許文献１記載の技術は、画質の劣化を抑制することができる。

特許第２９９１８３３号公報

しかしながら、特にＨ．２６４では、参照画像及び隣接領域の符号化情報を頻繁に取得しながら符号化を行うため、同じフレーム内でフレーム構造符号化するマクロブロックとフィールド構造符号化するマクロブロックとが混在すると処理方法が複雑になるという問題がある。これにより、処理サイクル数及びメモリのアクセス量が大幅に増加してしまう。

そこで、別の方法として、図４に示すようにフレーム単位でフレーム構造符号化とフィールド構造符号化とを切り替える方法が考えられる。図４ではトップフィールドとボトムフィールドとで撮像時間の異なるインターレース入力画像に対して、Ｆｒｍ０及びＦｒｍ４ではフレーム構造符号化を行い、それ以外のフレームではフィールド構造符号化を行っている。例えば、対象の画像が動き又は変形が大きくトップフィールドとボトムフィールドとで画像が異なっていた場合はフィールド構造符号化を行い、逆に動きや変形が少なくトップフィールドとボトムフィールドとで画像がほぼ同じ場合はフレーム構想符号化を行うといった処理方法が可能である。

しかし、フレーム単位でフレーム構造符号化とフィールド構造符号化とを切り替える方法を用いた場合、画面内の大部分は変化が少なく、画面内の局所的な一部分だけ変化が大きかった場合、フレーム全体としてはフレーム構造で符号化した方が符号化効率は良くなるが、変化の大きい局所領域のみに関しては逆に符号化効率が悪くなる傾向がある。

図５は、円形の物体が局所的に動いているインターレース画像をフレーム構造符号化した場合の例を示す図である。この場合、動きのある円形の物体が１画素ライン毎にずれた画像がフレームとして符号化されている。このような領域は空間方向に相関性の低い画像となるので符号化効率が悪くなってしまう。これにより、このような画像をフレーム構造符号化した場合、２つのフィールドの動きのある領域の画像が混ざってぼけたような画質劣化が発生しやすくなってしまう。

図６は、図５の画像を符号化した後、復号した場合の画像例を示す図である。図６に示すように、復号後の画像では、動きのある円形の物体がぼけてしまう。

このように、従来の技術は、局所的に変化のある領域で画質劣化が発生するという課題がある。

そこで、本発明は、上記課題を解決するものであり、インターレース画像をフレーム構造で符号化する場合において、局所的に変化のある領域で画質劣化が発生することを抑制できる動画像符号化装置及び動画像符号化方法を提供することを目的とする。

上記従来の課題を解決するために、本発明の一形態に係る動画像符号化装置は、インターレース構造の動画像信号に含まれる、連続するトップフィールド及びボトムフィールドを１つのフレームとし、前記フレームをブロック単位で符号化する動画像符号化装置であって、符号化対象のブロックに含まれる画素データに基づいて、連続するトップフィールドとボトムフィールドとの撮影時間が異なることにより生じる前記トップフィールドと前記ボトムフィールドとのずれを示す変化量を検出する変化量検出部と、前記変化量が第１の値の場合、前記符号化対象のブロックに適用する量子化幅を第１量子化幅に決定し、前記変化量が前記第１の値より大きい第２の値の場合、前記符号化対象のブロックに適用する量子化幅を、前記第１量子化幅より小さい第２量子化幅に決定する量子化幅決定部と、前記量子化幅決定部により決定された量子化幅で、前記符号化対象のブロックを量子化する量子化部とを備える。

この構成によれば、本発明の一形態に係る動画像符号化装置は、フレーム構造符号化を行う場合、ブロックごとに、トップフィールドとボトムフィールドとの変化量を判定し、変化量が大きい場合には、量子化幅を小さくする。これにより、本発明の一形態に係る動画像符号化装置は、変化量が大きい領域におけるトップフィールドの画像とボトムフィールドの画像とが混ざり合う現象を低減することができる。その結果、本発明の一形態に係る動画像符号化装置は、インターレース画像をフレーム構造で符号化する場合であっても、局所的に変化のある領域で発生する画質劣化を抑制できる。

また、前記量子化幅決定部は、前記符号化対象のブロックに対する基準量子化幅を算出する量子化幅算出部と、前記基準量子化幅を量子化幅が小さくなるように補正することにより補正量子化幅を生成する補正部と、前記変化量が第１の値の場合、前記符号化対象のブロックに適用する量子化幅を前記基準量子化幅に決定し、前記変化量が前記第１の値より大きい第２の値の場合、前記符号化対象のブロックに適用する量子化幅を、前記補正量子化幅に決定する選択部とを備えてもよい。

この構成によれば、本発明の一形態に係る動画像符号化装置は、トップフィールドとボトムフィールドとの変化量が大きい場合には、通常の量子化幅より量子化幅を小さくできる。

また、前記変化量検出部は、前記変化量として、前記符号化対象のブロックにおけるトップフィールドとボトムフィールドとの画素値の差を検出してもよい。

この構成によれば、本発明の一形態に係る動画像符号化装置は、動きのある領域又は変形のある領域でトップフィールドとボトムフィールドとが混ざってしまうような画質劣化を抑制することができる。また、本発明の一形態に係る動画像符号化装置では、動きがなくても変形のある領域であれば小さな量子化幅が設定されるため、より広い範囲で画像の劣化を抑制することが可能である。

また、前記変化量検出部は、前記変化量として、前記符号化対象のブロックの動きを検出してもよい。

この構成によれば、本発明の一形態に係る動画像符号化装置は、動きのある領域でトップフィールドとボトムフィールドとが混ざってしまうような画質劣化を抑制することができる。また、判定に使用する動き情報は符号化処理の別のステップで使用する動き情報と共用することが可能である。よって、本発明の一形態に係る動画像符号化装置は、処理量の増加なく目的の効果を実現することができる。

また、前記動画像符号化装置は、さらに、前記動画像信号に含まれる１フレームごとに、当該フレームを構成するトップフィールドとボトムフィールドとを個別に符号化するフィールド構造符号化と、両フィールドを１枚のフレームとして符号化するフレーム構造符号化とのうち一方を選択する符号化構造選択部を備え、前記量子化幅決定部は、前記符号化構造選択部によって符号化対象フレームに対してフレーム構造符号化が選択された場合において、前記変化量が前記第１の値の場合、前記符号化対象のブロックに適用する量子化幅を前記基準量子化幅に決定し、前記変化量が前記第２の値の場合、前記符号化対象のブロックに適用する量子化幅を、前記補正量子化幅に決定し、前記符号化構造選択部によって前記符号化対象フレームに対してフィールド構造符号化が選択された場合、前記符号化対象のブロックに適用する量子化幅を前記基準量子化幅に決定してもよい。

この構成によれば、本発明の一形態に係る動画像符号化装置は、フレーム単位でフレーム構造符号化とフィールド構造符号化を切り替える。これにより、本発明の一形態に係る動画像符号化装置は、処理の複雑化を抑制できる。

また、前記動画像符号化装置は、さらに、プログレッシブ構造の動画像信号に含まれるフレームをブロック単位で符号化し、前記量子化幅決定部は、インターレース構造の動画像信号に含まれるフレームを符号化する場合において、前記変化量が前記第１の値の場合、前記符号化対象のブロックに適用する量子化幅を前記基準量子化幅に決定し、前記変化量が前記第２の値の場合、前記符号化対象のブロックに適用する量子化幅を、前記補正量子化幅に決定し、プログレッシブ構造の動画像信号に含まれるフレームを符号化する場合、前記符号化対象のブロックに適用する量子化幅を前記基準量子化幅に決定してもよい。

なお、本発明は、このような動画像符号化装置として実現することができるだけでなく、このような動画像符号化装置に含まれる特徴的な手段をステップとする動画像符号化方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

さらに、本発明は、このような動画像符号化装置の機能の一部又は全てを実現する半導体集積回路（ＬＳＩ）として実現することもできる。

以上より、本発明は、インターレース画像を符号化する場合において、局所的に変化のある領域で画質劣化が発生することを抑制できる動画像符号化装置及び動画像符号化方法を提供できる。

本実施形態に係る動画像符号化装置の構成を示すブロック図である。 直交変換後の係数を大きい量子化幅で量子化した場合の量子化後の係数の一例を示す図である。 直交変換後の係数を小さい量子化幅で量子化した場合の量子化後の係数の一例を示す図である。 本実施形態に係る動画像符号化装置による量子化幅決定処理のフローチャートである。 インターレース画像をフレーム構造及びフィールド構造で符号化する様子を示す図である。 動きのある局所領域が存在するインターレース画像をフレーム構造符号化した場合に発生する課題を説明するための図である。 動きのある局所領域が存在するインターレース画像をフレーム構造符号化した場合に発生する課題を説明するための図である。

以下、本実施形態における動画像符号化について、図面を参照しながら詳細に説明する。

本実施形態における動画像符号化装置は、フレーム単位でフレーム構造符号化とフィールド構造符号化を切り替える。これにより、本実施形態に係る動画像符号化装置は、処理の複雑化を抑制できる。

さらに、本実施形態に係る動画像符号化装置は、フレーム構造符号化を行う場合、マクロブロックごとに、トップフィールドとボトムフィールドとの相関の高さを判定し、相関が低い場合には、通常の量子化幅より量子化幅を小さくする。これにより、本実施形態に係る動画像符号化装置は、相関が低い領域に対しては量子化幅を小さくすることで、当該領域における画質劣化の発生を抑制できる。このように、本実施形態に係る動画像符号化装置は、処理の複雑化の抑制と、高画質化とを両立できる。

まず、本実施形態に係る動画像符号化装置の構成を説明する。

図１は、本実施形態に係る動画像符号化装置１００のブロック図である。

図１に示す動画像符号化装置１００は、インターレース構造の動画像信号１５０を符号化することにより符号列１５４を生成する。この動画像符号化装置１００は、ピクチャメモリ１０１と、量子化部１０２と、逆量子化部１０３と、ローカルバッファ１０４と、予測符号化部１０５と、符号列生成部１０６と、符号化構造選択部１０９と、変化量検出部１１０と、量子化幅決定部１１１とを備えている。

ピクチャメモリ１０１は、表示を行う順にピクチャ単位で入力される動画像信号１５０を、符号化を行う順にピクチャの並び替えを行った後に蓄積する。そして、差分演算部１０７及び予測符号化部１０５からの読出し命令を受け付けると、ピクチャメモリ１０１は、当該読出し命令に係る動画像信号１５０を入力画像信号１５１として出力する。

なお、各々のピクチャはマクロブロック（ＭＢ）と呼ばれる例えば水平１６×垂直１６画素のブロックに分割される。また、動画像符号化装置１００は、ＭＢ単位で以降の処理を行う。なお、ここで入力される動画像信号１５０は１つのフレームが時刻の異なる２つのフィールド（トップフィールドとボトムフィールド）の映像から構成されるインターレース画像であるものとする。

また、処理単位はマクロブロック単位に限定されるものではなく、予め定められた大きさのブロック単位でよい。

量子化部１０２は、差分演算部１０７から出力される差分画像信号１５２に対して直交変換を行う。さらに、量子化部１０２は、直交変換された差分画像信号を、量子化幅決定部１１１で決定された量子化値（ＱＰ（Ｑｕａｎｔｉｓａｔｉｏｎ Ｐａｒａｍｅｔｅｒ）値）１５８を用いて量子化することにより残差符号化信号１５３を生成する。そして、量子化部１０２は、生成した残差符号化信号１５３を逆量子化部１０３及び符号列生成部１０６に出力する。ここで、量子化部１０２は、直交変換後に得られる各周波数成分の直交変換係数に対し、ＭＢ単位で設定されるＱＰ値１５８及び別途指定される量子化行列の対応する周波数成分位置の係数値を用いて量子化処理を行なう。

逆量子化部１０３は、量子化部１０２から出力される残差符号化信号１５３を、逆量子化及び逆直交変換することで残差復号化信号１５５を生成する。そして、逆量子化部１０３は、生成した残差復号化信号１５５を加算演算部１０８に出力する。

ローカルバッファ１０４は、加算演算部１０８から出力される信号のうち、現在符号化対象となっているＭＢ以降のＭＢを、画面間予測を用いて符号化する際に参照される可能性がある再構成画像信号１５６を格納する。

予測符号化部１０５は、ピクチャメモリ１０１から出力される入力画像信号１５１を基に、画面内予測、又は画面間予測を用いて予測画像信号１５７を生成する。また、予測符号化部１０５は、生成した予測画像信号１５７を差分演算部１０７及び加算演算部１０８に出力する。なお、予測符号化部１０５は、画面間予測を用いる際は、ローカルバッファ１０４に蓄積される既に符号化済みのピクチャの再構成画像信号１５６を用い、また画面内予測を用いる際は、符号化対象ＭＢに隣接する既に符号化済みのＭＢの再構成画像信号１５６を用いるものとする。

符号列生成部１０６は、量子化部１０２が出力する残差符号化信号１５３と、量子化幅決定部１１１から出力されるＱＰ値１５８等を可変長符号化することで符号列１５４を生成する。

差分演算部１０７は、ピクチャメモリ１０１から読み出された入力画像信号１５１と、予測符号化部１０５の出力である予測画像信号１５７との差分値である差分画像信号１５２を生成する。そして、差分演算部１０７は、生成した差分画像信号を、量子化部１０２に出力する。

加算演算部１０８は、逆量子化部１０３から出力される残差復号化信号１５５と、予測符号化部１０５が出力する予測画像信号１５７とを加算することにより再構成画像信号１５６を生成する。そして、加算演算部１０８は、生成した再構成画像信号１５６を、ローカルバッファ１０４に出力する。

符号化構造選択部１０９は、１フレームごとに、入力された符号化対象フレームをフレーム構造として符号化（フレーム構造符号化）するかフィールド構造として符号化（フィールド構造符号化）するかを選択する。また、フィールド構造符号化とは、フレームを構成するトップフィールドとボトムフィールドとを個別に符号化する符号化方式であり、フレーム構造符号化とは、両フィールドを１枚のフレームとして符号化する符号化方式である。

なお、フレーム構造とするかフィールド構造とするかの決定方法については任意の方法を用いることができる。例えば、符号化構造選択部１０９は、符号化対象フレームにおけるトップフィールドとボトムフィールドとの相関が予め定められた第２閾値より低い場合、当該符号化対象フレームに対してフィールド構造符号化を選択し、符号化対象フレームにおけるトップフィールドとボトムフィールドとの相関が上記第２閾値より高い場合、当該符号化対象フレームに対してフレーム構造符号化を選択する。

具体的には、符号化構造選択部１０９は、画面全体の動きを調べて、早く動いているときはフィールド構造符号化を選択し、遅く動いているときはフレーム構造符号化を選択する。なお、符号化構造選択部１０９は、符号化対象フレームにおけるトップフィールドとボトムフィールドと画素値の差が大きい場合、当該符号化対象フレームに対してフィールド構造符号化を選択し、当該差が小さい場合、当該符号化対象フレームに対してフレーム構造符号化を選択してもよい。

また別の方法として、符号化構造選択部１０９は、符号化対象フレームをＩピクチャとして符号化するときはフレーム構造符号化を選択し、符号化対象フレームをＰピクチャ又はＢピクチャとして符号化するときはフィールド構造符号化を選択してもよい。

また、符号化構造選択部１０９は、これらの選択を、当該動画像符号化装置１００の外部からの指示に応じて行なってもよい。さらに、符号化構造選択部１０９は、これらの選択方法を組み合わせて用いてもよい。

変化量検出部１１０は、符号化構造選択部１０９によって選択された符号化構造を示す信号とピクチャメモリ１０１に格納されている入力画像信号とを用いて、現在の符号化対象ＭＢが時間の経過によって画像が変化したＭＢであるかどうかを判定する。具体的には、変化量検出部１１０は、符号化対象のＭＢに含まれる画素データに基づいて、トップフィールドとボトムフィールドとの変化量を検出する。ここで、変化量は、連続するトップフィールドとボトムフィールドとの撮影時間が異なることにより生じる当該トップフィールドと当該ボトムフィールドとのずれを示す。言い換えると、変化量は、トップフィールドとボトムフィールドとの相関を示す。

より具体的には、変化量検出部１１０は、符号化構造選択部１０９によって符号化対象フレームに対してフレーム構造符号化が選択された場合に、当該符号化対象フレームに含まれるＭＢごとに、当該ＭＢにおけるトップフィールドとボトムフィールドとの変化量が予め定められた第１閾値より小さいか否かを判定する。言い換えると、変化量検出部１１０は、変化量検出部１１０は、符号化対象フレームに含まれるＭＢごとに、当該ＭＢにおけるトップフィールドとボトムフィールドとの相関が予め定められた閾値より高いか否かを判定する。

例えば、変化量検出部１１０は、符号化対象ＭＢの動きが予め定められた第３閾値より小さい場合、当該符号化対象ＭＢにおけるトップフィールドとボトムフィールドとの変化量が第１閾値より小さいと判定する。また、変化量検出部１１０は、符号化対象ＭＢの動きが第３閾値より大きい場合、当該符号化対象ＭＢにおけるトップフィールドとボトムフィールドとの変化量が第１閾値より大きいと判定する。

また、別の方法として、変化量検出部１１０は、符号化対象ＭＢにおけるトップフィールドとボトムフィールドと画素値の差が予め定められた第４閾値より小さい場合、当該符号化対象ＭＢにおけるトップフィールドとボトムフィールドとの変化量が第１閾値より小さいと判定してもよい。また、変化量検出部１１０は、符号化対象ＭＢにおけるトップフィールドとボトムフィールドと画素値の差が第４閾値より大きい場合、当該符号化対象ＭＢにおけるトップフィールドとボトムフィールドとの変化量が第１閾値より大きいと判定する。

また、変化量検出部１１０は、判定した結果を量子化幅決定部１１１に出力する。

量子化幅決定部１１１は、変化量検出部１１０の判定結果を基に、現在の符号化対象ＭＢを量子化する際に使用するＱＰ値１５８（量子化幅）をどのような値にするかを決定する。また、量子化幅決定部１１１は、決定したＱＰ値１５８を、量子化部１０２及び符号列生成部１０６に出力する。量子化部１０２は、このＱＰ値１５８を用いて量子化処理を行う。また、符号列生成部１０６は、このＱＰ値１５８を可変長符号化する。つまり、ＱＰ値１５８の情報が符号列１５４に含まれる。

この量子化幅決定部１１１は、量子化幅算出部１２０と、補正部１２１と、選択部１２２とを含む。

量子化幅算出部１２０は、通常の方法を用いて符号化対象ＭＢに対する通常ＱＰ値１６０（基準量子化幅）を算出する。

補正部１２１は、量子化幅算出部１２０により算出された通常ＱＰ値１６０を量子化幅が小さくなるように補正することにより補正ＱＰ値１６１（補正量子化幅）を生成する。具体的には、補正部１２１は、通常ＱＰ値１６０に、予め定められた係数を乗算又は減算することにより、補正ＱＰ値１６１を算出する。なお、補正部１２１は、トップフィールドボトムフィールドとの変化量が大きいほど、補正ＱＰ値１６１をより小さくしてもよい。

選択部１２２は、符号化構造選択部１０９によりフィールド構造符号化が選択された場合と、変化量検出部１１０により符号化対象ＭＢにおけるトップフィールドとボトムフィールドとの変化量が小さいと判定された場合とに、通常ＱＰ値１６０をＱＰ値１５８として選択する。また、選択部１２２は、変化量検出部１１０により符号化対象ＭＢにおけるトップフィールドとボトムフィールドとの変化量が大きいと判定された場合に、補正ＱＰ値１６１をＱＰ値１５８として選択する。

次に、変化量検出部１１０及び量子化幅決定部１１１において、符号化対象ＭＢのＱＰ値１５８を決定する方法について、図面を参照しながら具体的に説明する。

図５に示すように、時間経過によって同じフレームを構成するトップフィールドとボトムフィールドとで移動又は変形した対象物があった場合、そのような入力画像をフレーム構造符号化すると、対象物のある領域を１画素ライン毎にずれた画像として処理しなくてはならない。特にこのような領域にあたるＭＢは、画素位置毎の画素値の変動が非常に大きな画像となる。

このようなＭＢは、差分演算部１０７で予測画像信号１５７との差分値をとることで生成される差分画像信号１５２においても、多くの場合、同様の性質を持つことになる。そのような差分画像信号１５２を量子化部１０２において直交変換を行って周波数成分に分解すると、高周波領域に成分が多く発生する。

図２Ａ及び図２Ｂは、このような性質を持った直交変換後の係数に対して量子化を行った場合に発生する現象を示す図である。

図２Ａ（ａ）及び図２Ｂ（ａ）は量子化前の直交変換後の係数値を示す。また、図２Ａ（ａ）及び図２Ｂ（ａ）の横軸は周波数領域であり、縦軸は直交変換後の各周波数成分の係数値である。また、図２Ａ（ｂ）及び図２Ｂ（ｂ）は量子化後の係数値を示す。また、図２Ａ（ｂ）及び図２Ｂ（ｂ）の横軸は周波数領域であり、縦軸は量子化後の各周波数成分の係数値である。また、図２Ａは大きな量子化幅を用いて量子化を行った場合を示し、図２Ｂは小さな量子化幅を用いて量子化を行った場合を示す。

図２Ａ（ａ）に示すように、実線１７２において、周波数の高い領域に、Ｐｅａｋ１７３として係数値の大きな成分が発生しているのが分かる。これに対して大きなＱＰ値（広い量子化幅）で量子化を行った後の係数値を図２Ａ（ｂ）の実線１７０で示している。図２Ａ（ｂ）に示すように量子化前に存在していたＰｅａｋ１７３が量子化によって完全に潰れてしまい、高周波数成分領域のピークの特性が失われてしまっている。このような係数に対して逆量子化及び逆直交変換を行うことにより再構成画像を生成した場合、入力画像にあった１画素ライン毎にずれた画像の特徴をしっかり再現することができず、１画素ライン毎の画像が混ざったような画像となってしまう。この画像をトップフィールド及びボトムフィールドとして動画像として順に再生すると、画像の劣化したボケた映像となってしまう。

一方、図２Ｂ（ｂ）の実線１７１は、図２Ａと同じ直交変換後の係数に対して、小さなＱＰ値（狭い量子化幅）で量子化を行った後の係数値の様子を示している。量子化前に存在していたＰｅａｋ１７３が量子化後もほぼ同じような形状のまま残っている。このような係数に対して、逆量子化及び逆直交変換を行うことにより再構成画像を生成した場合、入力画像にあった１画素ライン毎にずれた画像の特徴をほぼ近い形で再現することができる。この画像をトップフィールド及びボトムフィールドとして動画像として順に再生した場合、画像の劣化の少ないスッキリとした映像となる。つまり、局所的に変化のある領域で画質劣化が発生することを抑制できる。

なお、図２Ａ及び図２Ｂの例では、説明の簡略化のため、周波数の低い領域から高い領域まで同じ量子化幅で量子化を行っている様子を図示しているが、量子化行列を使用することで周波数領域毎に異なる量子化幅を用いることが可能である。一般に、量子化行列を使用する場合、周波数の低い領域よりも周波数の高い領域の方が広い量子化幅になるような設定が用いられる。このような量子化を行うと、前述したＱＰ値の違いによる高周波数成分の劣化の差がさらに拡大され、再構成画像の画質への影響がより顕著になる。

そこで本発明では、上記の課題が発生する可能性の高い領域を特定し、そのような領域のＭＢに対しては、より小さなＱＰ値（狭い量子化幅）で符号化するように制御することで画質の劣化を抑制している。

次に、動画像符号化装置１００の動作の流れを説明する。

図３は、動画像符号化装置１００による符号化対象ＭＢのＱＰ値１５８を決定する処理に関するフローチャートである。なお、図３は、１枚の符号化対象フレームに対する処理を示す。また、動画像信号１５０は、インターレース画像であるとする。

まず、符号化構造選択部１０９は、符号化対象フレームをフレーム構造符号化するかフィールド構造符号かするかを判定する。

具体的には、まず、符号化構造選択部１０９は、符号化対象フレームの変化量を取得する（Ｓ１０１）。例えば、当該変化量は、符号化対象フレーム全体の動きを示す情報である。

次に、符号化構造選択部１０９は、ステップＳ１０１で取得した変化量を用いて、符号化対象フレームを構成するトップフィールドとボトムフィールドとの変化量が予め定められた閾値未満であるか否かを判定する（Ｓ１０２）。例えば、符号化構造選択部１０９は、符号化対象フレーム全体の動きが予め定められた閾値未満であるか否かを判定する。

符号化対象フレームを構成するトップフィールドとボトムフィールドとの変化量が予め定められた閾値未満場合（Ｓ１０２でＹｅｓ）、符号化構造選択部１０９は、フレーム構造符号化を選択する（Ｓ１０３）。

一方、符号化対象フレームを構成するトップフィールドとボトムフィールドとの変化量が予め定められた閾値以上の場合（Ｓ１０２でＮｏ）、符号化構造選択部１０９は、フィールド構造符号化を選択する（Ｓ１０４）。

次に、動画像符号化装置１００は、符号化対象フレームに含まれる符号化対象ＭＢを選択する（Ｓ１０５）。

符号化対象フレームに対してフレーム構造符号化が選択されている場合（Ｓ１０６でＹｅｓ）、次に、変化量検出部１１０は、符号化対象ＭＢの変化量を取得し（Ｓ１０７）、取得した変化量を用いて、符号化対象ＭＢにおけるトップフィールドとボトムフィールドとの変化量が予め定められた閾値以上であるか否かを判定する（Ｓ１０８）。

具体的には、例えば、変化量検出部１１０は、符号化対象ＭＢが画面に対して早い動きをしている領域に属するかどうかを判定する。また、動きが早ければ変化量が大きく（相関が低く）、動きが遅ければ変化量が小さい（相関が高い）ものとする。なお、符号化対象ＭＢが画面に対して早い動きをしている領域に属するかは、任意の判定方法を用いることが可能である。例えば、符号化対象ＭＢに対して既に符号化済のピクチャを参照して動き予測を行い、検出された動き情報の大きさが予め定義した閾値より大きいかどうかで判定するという方法が考えられる。また別の例として、既に符号化済のピクチャの符号化対象ＭＢと同じ位置のＭＢの符号化時に検出された動き情報の大きさが予め定義した閾値より大きいかどうかで判定するという方法が考えられる。またさらに別の方法として、符号化対象ピクチャを複数の領域に分割して当該領域毎に動き予測を行い、検出された動き情報の大きさが予め定義した閾値より大きいかどうかで動き領域と静止領域とに分割し、符号化対象ＭＢが前記動き領域に属しているかどうかで判定するという方法が考えられる。

この方法を用いると、符号化対象ＭＢが動きのある領域に属するかどうかを高い精度で判定することが可能となり、動きのある領域でトップフィールドとボトムフィールドとが混ざってしまうような画質劣化を抑制することができる。また、判定に使用する動き情報は符号化処理の別のステップで使用する動き情報と共用することが可能であり、処理量の増加なく目的の効果を実現することができる。

なお、変化量検出部１１０は、符号化対象ＭＢが対となるフィールド間の同じ位置の画素の差分が大きい領域に属するかどうかを判定してもよい。また、差分が大きければ変化量が大きく（相関が低く）、差分が小さければ変化量が小さい（相関が高い）ものとする。なお、対となるフィールド間の同じ位置の画素の差分が大きい領域に属するかは、任意の判定方法を用いることが可能である。例えば、符号化対象ＭＢ内における、隣接する画素ライン間の同じ位置の画素の差分と、１つ飛ばした画素ライン間の同じ位置の画素の差分とを比較し、前者の相関の方が後者の相関よりも極端に大きいかどうかで判定するという方法が考えられる。また別の方法として、符号化対象ピクチャを複数の領域に分割して当該領域毎に、領域内における隣接する画素ライン間の同じ位置の画素の差分と、１つ飛ばした画素ライン間の同じ位置の画素の差分とを比較し、前者の相関の方が後者の相関よりも極端に大きいかどうかで変化領域と非変化領域とに分割し、符号化対象ＭＢが当該変化領域に属しているかどうかで判定するという方法が考えられる。また、変化領域に属していれば変化量が大きく（相関が低く）、非変化領域に属していれば変化量が小さい（相関が高い）ものとする。

この方法を用いると、符号化対象ＭＢが動きのある領域又は変形のある領域に属するかどうかを高い精度で判定することが可能となり、動きのある領域又は変形のある領域でトップフィールドとボトムフィールドとが混ざってしまうような画質劣化を抑制することができる。

また、差分を用いる方法と動きを用いる方法と比較すると、動きを用いる方法では変形していても動きがない領域であれば通常ＱＰ値１６０が設定されてしまう。一方、差分を用いる方法では動きがなくても変形又は輝度変化のある領域であれば小さなＱＰ値（補正ＱＰ値１６１）が設定されるため、より広い範囲で画像の劣化を抑制することが可能である。

なお、変化量検出部１１０は、動きと差分と一方のみを用いてもよいし、両方を組み合わせて用いてもよい。

符号化対象ＭＢにおけるトップフィールドとボトムフィールドとの変化量が予め定められた閾値以上である場合（Ｓ１０８でＹｅｓ）、量子化幅決定部１１１は、符号化対象ＭＢを量子化する際に使用するＱＰ値１５８を通常のＭＢよりも小さな値に設定する。具体的には、量子化幅算出部１２０は、予め定められた条件に応じて通常ＱＰ値１６０を算出する。補正部１２１は、通常ＱＰ値１６０を補正することにより、当該通常ＱＰ値より小さい値の補正ＱＰ値１６１を算出する。また、量子化幅決定部１１１は、算出された補正ＱＰ値１６１をＱＰ値１５８として選択する（Ｓ１０９）。

一方、符号化対象ＭＢにおけるトップフィールドとボトムフィールドとの変化量が予め定められた閾値未満である場合（Ｓ１０８でＮｏ）、又は、符号化対象フレームに対してフィールド構造符号化が選択されている場合（Ｓ１０６でＮｏ）、量子化幅決定部１１１は、通常ＱＰ値１６０を、符号化対象ＭＢを量子化する際に使用するＱＰ値１５８に選択する（Ｓ１１０）。

また、量子化幅算出部１２０による通常ＱＰ値１６０の算出方法は特に限定するものではない。例えば、量子化幅算出部１２０は、レート制御及び画像の特性に基づき、通常ＱＰ値１６０を算出する。具体的には、量子化幅算出部１２０は、画像の動き、色及びパターン等に応じて通常ＱＰ値１６０を変更する。一例としては、量子化幅算出部１２０は、動きが早い場合には通常ＱＰ値１６０を大きくしてもよい。また、量子化幅算出部１２０は、符号化対象ＭＢに人間に知覚されやすい特定の色（例えば肌色）が含まれる場合に通常ＱＰ値１６０を小さくしてもよい。

また、ステップＳ１０９又はＳ１１０で符号化対象ＭＢのＱＰ値１５８が選択された後、量子化部１０２は、当該ＱＰ値１５８を用いて符号化対象ＭＢを量子化する。

また、符号化対象フレームに含まれる全てのＭＢに対してＱＰ値１５８が決定されていない場合（Ｓ１１１でＮｏ）、次の符号化対象ＭＢに対してステップＳ１０５以降の処理が行われる。また、符号化対象フレームに含まれる全てのＭＢに対してＱＰ値１５８が決定された場合（Ｓ１１１でＹｅｓ）、次の符号化対象フレームに対してステップＳ１０１以降の処理が行われる。

また、上記説明では、量子化幅決定部１１１は、量子化幅算出部１２０と補正部１２１とを備えているが、これらは量子化幅決定部１１１の機能を示すものであり、一つの処理部により量子化幅算出部１２０と補正部１２１との機能が実現されてもよい。つまり、量子化幅決定部１１１は、通常ＱＰ値の算出と、通常ＱＰ値の補正という二つの演算と同等の結果を出力する単一の演算を用いて補正ＱＰ値１６１を算出してもよい。

また、量子化幅決定部１１１は通常ＱＰ値１６０を補正することで補正ＱＰ値１６１を算出するのではなく、予め定められた固定値を補正ＱＰ値１６１として用いてもよい。

また、動画像符号化装置１００は、さらに、プログレッシブ構造の動画像信号に含まれるフレームをブロック単位で符号化する機能を有してもよい。この場合、量子化幅決定部１１１は、プログレッシブ構造の動画像信号に含まれるフレームを符号化する場合、符号化対象ＭＢに適用するＱＰ値１５８を通常ＱＰ値１６０に決定する。

以上のように、本実施形態に係る動画像符号化装置１００は、フレーム単位でフレーム構造符号化とフィールド構造符号化を切り替える。これにより、本実施形態に係る動画像符号化装置１００は、処理の複雑化を抑制できる。

さらに、本実施形態に係る動画像符号化装置１００は、インターレース画像をフレーム構造で符号化する場合に、トップフィールドとボトムフィールドとで変化のあるＭＢを検出して、当該ＭＢのＱＰ値を通常のＭＢのＱＰ値よりも小さな値に設定する。これにより、動画像符号化装置１００は、局所的にトップフィールドとボトムフィールドとが混ざってしまうような画質劣化を抑制し、高画質な符号化画像を生成することが可能となる。

このように、本実施形態に係る動画像符号化装置１００は、処理の複雑化の抑制と、高画質化とを両立できる。

（その他の実施形態）
さらに、上記実施形態で示した動画像符号化装置に含まれる各手段と同等の機能を備えるプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記実施形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。なお、記録媒体としてはフレキシブルディスクに限らず、光ディスク、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

また、上記実施形態で示した動画像符号化装置に含まれる各手段と同等の機能を集積回路であるＬＳＩとして実現してもよい。これらは一部又は全てを含むように１チップ化されてもよい。またＬＳＩは集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩなどに置き換わる集積回路の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。

また、本発明は、上述した動画像符号化装置を含む、放送局から放送される放送波を圧縮し、記録を行うＤＶＤレコーダー、ＢＤレコーダー等の放送波記録装置に適用しても構わない。

また、上記実施形態に係る、動画像符号化装置、及びその変形例の機能のうち少なくとも一部を組み合わせてもよい。

本発明は、動画像符号化装置に適用でき、例えば、ビデオカメラ、ビデオレコーダ、ＤＶＤ装置、携帯電話、及びパーソナルコンピューターに有用である。

１００ 動画像符号化装置
１０１ ピクチャメモリ
１０２ 量子化部
１０３ 逆量子化部
１０４ ローカルバッファ
１０５ 予測符号化部
１０６ 符号列生成部
１０７ 差分演算部
１０８ 加算演算部
１０９ 符号化構造選択部
１１０ 変化量検出部
１１１ 量子化幅決定部
１２０ 量子化幅算出部
１２１ 補正部
１２２ 選択部
１５０ 動画像信号
１５１ 入力画像信号
１５２ 差分画像信号
１５３ 残差符号化信号
１５４ 符号列
１５５ 残差復号化信号
１５６ 再構成画像信号
１５７ 予測画像信号
１５８ ＱＰ値
１６０ 通常ＱＰ値
１６１ 補正ＱＰ値

Claims (7)

1. インターレース構造の動画像信号に含まれる、連続するトップフィールド及びボトムフィールドを１つのフレームとし、前記フレームをブロック単位で符号化する動画像符号化装置であって、
   符号化対象のブロックに含まれる画素データに基づいて、連続するトップフィールドとボトムフィールドとの撮影時間が異なることにより生じる前記トップフィールドと前記ボトムフィールドとのずれを示す変化量を検出する変化量検出部と、
   前記変化量が第１の値の場合、前記符号化対象のブロックに適用する量子化幅を第１量子化幅に決定し、前記変化量が前記第１の値より大きい第２の値の場合、前記符号化対象のブロックに適用する量子化幅を、前記第１量子化幅より小さい第２量子化幅に決定する量子化幅決定部と、
   前記量子化幅決定部により決定された量子化幅で、前記符号化対象のブロックを量子化する量子化部とを備える
   動画像符号化装置。
2. 前記量子化幅決定部は、
   前記符号化対象のブロックに対する基準量子化幅を算出する量子化幅算出部と、
   前記基準量子化幅を量子化幅が小さくなるように補正することにより補正量子化幅を生成する補正部と、
   前記変化量が第１の値の場合、前記符号化対象のブロックに適用する量子化幅を前記基準量子化幅に決定し、前記変化量が前記第１の値より大きい第２の値の場合、前記符号化対象のブロックに適用する量子化幅を、前記補正量子化幅に決定する選択部とを備える
   請求項１記載の動画像符号化装置。
3. 前記変化量検出部は、前記変化量として、前記符号化対象のブロックにおけるトップフィールドとボトムフィールドとの画素値の差を検出する
   請求項１記載の動画像符号化装置。
4. 前記変化量検出部は、前記変化量として、前記符号化対象のブロックの動きを検出する
   請求項１記載の動画像符号化装置。
5. 前記動画像符号化装置は、さらに、
   前記動画像信号に含まれる１フレームごとに、当該フレームを構成するトップフィールドとボトムフィールドとを個別に符号化するフィールド構造符号化と、両フィールドを１枚のフレームとして符号化するフレーム構造符号化とのうち一方を選択する符号化構造選択部を備え、
   前記量子化幅決定部は、
   前記符号化構造選択部によって符号化対象フレームに対してフレーム構造符号化が選択された場合において、前記変化量が前記第１の値の場合、前記符号化対象のブロックに適用する量子化幅を前記基準量子化幅に決定し、前記変化量が前記第２の値の場合、前記符号化対象のブロックに適用する量子化幅を、前記補正量子化幅に決定し、
   前記符号化構造選択部によって前記符号化対象フレームに対してフィールド構造符号化が選択された場合、前記符号化対象のブロックに適用する量子化幅を前記基準量子化幅に決定する
   請求項２記載の動画像符号化装置。
6. 前記動画像符号化装置は、さらに、プログレッシブ構造の動画像信号に含まれるフレームをブロック単位で符号化し、
   前記量子化幅決定部は、
   インターレース構造の動画像信号に含まれるフレームを符号化する場合において、前記変化量が前記第１の値の場合、前記符号化対象のブロックに適用する量子化幅を前記基準量子化幅に決定し、前記変化量が前記第２の値の場合、前記符号化対象のブロックに適用する量子化幅を、前記補正量子化幅に決定し、
   プログレッシブ構造の動画像信号に含まれるフレームを符号化する場合、前記符号化対象のブロックに適用する量子化幅を前記基準量子化幅に決定する
   請求項２記載の動画像符号化装置。
7. インターレース構造の動画像信号に含まれる、連続するトップフィールド及びボトムフィールドを１つのフレームとし、前記フレームをブロック単位で符号化する動画像符号化方法であって、
   符号化対象のブロックに含まれる画素データに基づいて、連続するトップフィールドとボトムフィールドとの撮影時間が異なることにより生じる前記トップフィールドと前記ボトムフィールドとのずれを示す変化量を検出する変化量検出ステップと、
   前記変化量が第１の値の場合、前記符号化対象のブロックに適用する量子化幅を第１量子化幅に決定し、前記変化量が前記第１の値より大きい第２の値の場合、前記符号化対象のブロックに適用する量子化幅を、前記第１量子化幅より小さい第２量子化幅に決定する量子化幅決定ステップと、
   前記量子化幅決定ステップにより決定された量子化幅で、前記符号化対象のブロックを量子化する量子化ステップとを含む
   動画像符号化方法。

Images