JP2004040494A

JP2004040494A - 画像情報変換方法及び画像情報変換装置

Info

Publication number: JP2004040494A
Application number: JP2002195016A
Authority: JP
Inventors: Yasuhiro Hashimoto; 橋本　安弘
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-07-03
Filing date: 2002-07-03
Publication date: 2004-02-05
Anticipated expiration: 2022-07-03
Also published as: JP4100067B2

Abstract

【課題】低ビットレートで符号化効率及び画質を向上する。
【解決手段】動き補償回路２４において、ステップＳ１として従来汎用の手法に基づいてフレーム予測を用いるかフィールド予測を用いるか判別し、ステップＳ１においてフレーム予測が選択されると、ステップＳ２において、色差信号の動きベクトルが輝度信号とは逆のフィールドの画素を選択していないかを判別する。ステップＳ２において、色差信号の動きベクトルが輝度信号とは逆のフィールドの画素を選択すると判別した場合、ステップＳ３において符号化予測モードをフィールド予測に変更する。
【選択図】　図３

Description

【０００１】
【発明の属する技術分野】
本発明は、画像情報変換方法及び画像情報変換装置に関し、特に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルＴＶ、インターネット等のネットワークを介して受信する際、或いは、光ディスク、磁気ディスク、フラッシュメモリ等の記憶媒体上で処理する際に用いられる画像情報変換方法及び画像情報変換装置に関する。
【０００２】
【従来の技術】
近年、画像情報をディジタルデータとして取り扱う際に、画像情報特有の冗長性を利用して、効率の高い情報の伝送及び蓄積を実現した画像情報変換方法及び装置が放送局と一般家庭との間の情報配信等において普及しつつある。
【０００３】
このような画像情報変換装置は、例えば、離散コサイン変換等の直交変換と動き補償により画像データを圧縮する方式に則っている。特に、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ：動画像符号化専門家会合）によって標準化されている画像符号化方式は、汎用画像符号化方式としてＩＳＯ／ＩＥＣ　１３８１８−２に定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅している。そのためＭＰＥＧは、プロフェッショナル用途からコンシューマ用途まで、広範なアプリケーションに今後とも用いられるものと予想される。このＭＰＥＧ方式を用いると、例えば、７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば、４〜８Ｍｂｐｓの符号量（以下、ビットレートと記す。）に、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば、１８〜２２Ｍｂｐｓのビットレートに割り当てられるため、良好な画質を保って高い圧縮率が実現できる。
【０００４】
ＭＰＥＧ方式のように、動き補償及び離散コサイン変換によって画像データを圧縮する画像情報変換装置では、画像データにおける符号化単位としての各マクロブロックにおいて、画像内符号化画像を用いるか、画像間符号化画像を用いるかの判定、参照画像フレームとして、前方予測符号化画像を用いるか、後方予測符号化画像を用いるか、双方向予測符号化画像を用いるかの判定、さらには、動き補償予測としてフレーム予測を用いるか、フィールド予測を用いるかの判定を行っている。
【０００５】
例えば、ＭＰＥＧ２に代表される動画像圧縮符号化方式において、フレーム予測を用いるかフィールド予測を用いるかの判断方法については、規格として特に定められてはいない。
【０００６】
ただし、従来の画像情報変換装置では、一般的に演算量或いは回路規模を削減する等の目的から、輝度信号を用いてフレームベクトルとフィールドベクトルとを求め、さらに輝度信号を用いてフィールドとフレームとの間の予測残差を求め、これらの予測残差を比較して、圧縮に有利であると判断される予測画像が選択されている。
【０００７】
実際は、フレーム予測を用いると符号化されるベクトルの数が半分になり、圧縮効率がよくなることが知られている。そのため、一般的にはフレーム予測が選ばれやすいような判断基準が設定されている。また、動きベクトルを求める前に、どちらの予測方式を用いるかを判断することにより、動きベクトルの演算量を削減し、演算に関わる回路規模を削減する方法も知られている。
【０００８】
【発明が解決しようとする課題】
ＭＰＥＧ方式に則った従来の画像情報変換装置、例えば、ＭＰＥＧ２に代表される動画像圧縮符号化方式に対応した画像情報変換装置において、フレーム予測を用いるかフィールド予測を用いるかの判断方法の一例として、それぞれの予測方式を用いた場合の動きベクトルの二乗予測誤差を算出し、これらを比較して最小となる方式を選択するなどの方法があげられる。
【０００９】
例えば、動画像等の一連の画像データを圧縮する際、特に４：２：０フォーマットの入力画像に対して、画像データのピクチャ間予測方式としてフレーム予測が選択される場合について説明する。
【００１０】
通常、予測方式としてフレーム予測が選択されると圧縮効率がよいことは既述した。しかし、４：２：０フォーマットの場合、ピクチャ間の予測方式としてフレーム予測が選択されると、図５に示すように、動きベクトルの垂直成分の位相によっては、選択される色差信号が輝度信号のフィールドとは逆のフィールドの画素になる場合がある。特に、動きが大きい場合、輝度信号の動きベクトルと色差信号の動きベクトルとが互いに逆フィールドを指すと、トップフィールドとボトムフィールドとの間で色差信号の相関が低くなることが知られている。この結果、色差信号における圧縮効率が悪くなり、画質劣化を引き起こすことがあった。
【００１１】
そこで本発明は、このような従来の実情に鑑みて提案されたものであり、画質の劣化を招く予測方式か否かを判別し、低ビットレートで符号化効率及び画質の向上を実現する予測方式を選択する画像情報変換方法及び画像情報変換装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る画像情報変換方法は、直交変換と動き補償を適用して画像データを圧縮して画像圧縮情報を得る画像情報変換方法において、画像データの符号化単位の動き補償予測としてトップフィールドとボトムフィールドとが合成されたフレームで動き補償予測を行う際、色差信号における動きベクトルが輝度信号における動きベクトルが指す画素が存在するフィールドとは反対のフィールドの画素を指す場合、符号化単位の動き補償予測をフィールド予測に変更することを特徴とする。
【００１３】
ここで、輝度信号の動きベクトルの大きさが所定の閾値を超えている場合に符号化モードの判定をフィールド予測に変更することもできる。
【００１４】
特に、画像圧縮情報は、ＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）規格に準拠していることが好ましい。
【００１５】
また、本発明に係る画像情報変換装置は、直交変換と動き補償を適用して画像データを圧縮して画像圧縮情報を得る画像情報変換装置において、画像データの符号化単位の動き補償予測としてトップフィールドとボトムフィールドとが合成されたフレームで動き補償予測を行う際、色差信号における動きベクトルが輝度信号における動きベクトルが指す画素が存在するフィールドとは反対のフィールドの画素を指すか否かを判別する判別手段と、動きベクトルに応じて符号化単位の動き補償予測をフレーム予測にするかフィールド予測にするかを制御する予測モード制御手段とを備え、判別手段において、色差信号における動きベクトルが輝度信号における動きベクトルが指す画素が存在するフィールドとは反対のフィールドの画素を指すと判断された場合、予測モード制御手段は、符号化単位の動き補償予測をフィールド予測に変更することを特徴としている。
【００１６】
ここで、動きベクトルの大きさが所定の閾値を超えている場合、符号化モードの判定をフィールド予測に変更することもできる。
【００１７】
特に、画像圧縮情報は、ＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）規格に準拠していることが好ましい。
【００１８】
【発明の実施の形態】
本発明の具体例として示す画像情報変換装置は、動き補償及び離散コサイン変換によって画像データを圧縮する画像情報変換装置であって、画像データにおける符号化単位としての各マクロブロックにおいて、画像データの動き補償予測としてフレーム予測を用いるか、或いはフィールド予測を用いるかの判定に輝度の情報のみならず、動きベクトルの値や位相等の情報を用いることによって、低ビットレートで符号化効率及び画質の向上を実現した装置である。
【００１９】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。図１を用いて、本発明の具体例として示す画像情報変換装置の構成を説明する。
【００２０】
図１に示す画像情報変換装置１は、ＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ：動画像符号化専門家会合）方式、特に、ＭＰＥＧ２方式に準拠する画像情報変換装置であって、主として、画像データを入力して前処理する構成と、動き予測及び動き補償によって符号化モードを決定する構成と、離散コサイン変換（ＤＣＴ）及び量子化を施す構成と、これら変換処理によって圧縮された画像データを出力する構成とを備えている。
【００２１】
具体的に、画像情報変換装置１は、画像データを入力して前処理する構成として、画像データの入力端子１１と、画面並換回路１２とを備える。
【００２２】
この画像データは、輝度（Ｙ）と色差信号（Ｃｂ、Ｃｒ）とから構成されたビデオ信号であって、図示しないが、例えば、入力端子１１より入力される前段階でディジタル化され、この後の符号化で用いる空間解像度にフォーマット変換されている。
【００２３】
この画像データは、画面並換回路１２において、Ｉピクチャ（フレーム内予測符号化画像）、Ｐピクチャ（フレーム間順方向予測符号化画像）、Ｂピクチャ（フレーム間双方向予測符号化画像）の３つのピクチャタイプ毎に並び換えられる。入力した画像データの各ピクチャは、後述する動き補償回路２４、ＤＣＴ回路１４において、この符号化順に、動き補償並びにＤＣＴ符号化される。
【００２４】
画像情報変換装置１は、さらに、動き予測及び動き補償によって符号化モードを決定する構成と、離散コサイン変換（ＤＣＴ）及び量子化を施す構成として、具体的に、差分器１３と、ＤＣＴ回路１４と、量子化回路１５と、動き補償回路２４と、動き予測回路２５とを備えている。動き補償回路２４及び動き予測回路２５は、一体化されていてもよい。
【００２５】
差分器１３は、画像並換回路１２から供給されたＩピクチャ又はＰピクチャと、予測により得た画像との差分をとって予測誤差を算出し、この値をＤＣＴ回路１４に供給する。ＤＣＴ回路１４は、画像データをＤＣＴ符号化係数へと変換する。量子化回路１５は、ここでのＤＣＴ符号化係数を、レート制御回路１６で決定された量子化スケールに基づいて量子化する。量子化されたデータは、動きベクトル及び符号化モード情報とともに、可変長符号化回路１７において可変長符号化された後、バッファ１８に蓄積され、目標のビットレートに合わせてＭＰＥＧビデオビットストリームとして出力端子１９より出力される。
【００２６】
また、画像データがＩピクチャ及びＰピクチャであれば、後の処理でこのＤＣＴ符号化係数を動き補償予測の参照画面として用いる必要があるため、量子化された情報は、逆量子化回路２０及び逆ＤＣＴ回路２１によって局所的に復号され、図示しない復号器で得られるものと同一の画像として復元され、加算器２２を通過して画像メモリ２３に蓄積される。
【００２７】
続いて、図１に示す画像情報変換装置１における符号化予測処理の流れを図２を用いて説明する。図２は、画像情報変換装置１における一連の予測モード判定処理を処理ブロックとして示したものであり、図２に示す動きベクトル演算ブロック４１及びフレーム予測／フィールド予測判定ブロック４２は、図１の動き予測回路２４における処理に相当している。また、符号化ブロック４３は、図１の入力端子１１、出力端子１９、画面並換回路１２、動き予測回路２５を除いた構成における処理に相当する。
【００２８】
入力された色差信号（入力画像色差信号３０）と輝度信号（入力画像輝度信号３１）とを含む画像データは、符号化ブロック４３へ送られる。このとき入力画像輝度信号３１は、動きベクトル演算ブロック４１にも送られる。
【００２９】
動きベクトル演算ブロック４１にて入力画像輝度信号３１から算出されたフィールド予測動きベクトル３２及びフレーム予測動きベクトル３３は、符号化ブロック４３へ送られる。また、動きベクトル演算ブロック４１にて算出されたフィールド予測残差３４とフレーム予測残差３５がフレーム予測／フィールド予測判定ブロック４２に送られる。このときフィールド予測動きベクトル３２及びフレーム予測動きベクトル３３は、フレーム予測／フィールド予測判定ブロック４２にも送られる。フレーム予測／フィールド予測判定ブロック４２では、フィールド予測動きベクトル３２、フレーム予測動きベクトル３３、フィールド予測残差３４、フレーム予測残差３５から、フレーム予測を用いるかフィールド予測を用いるかが選択される。
【００３０】
動き補償回路２４は、例えば、ＤＳＰ（ディジタルシグナルプロセッサ）であって、一手法として、フィールド予測の場合とフレーム予測の場合とで動きベクトルの二乗予測誤差を算出し、これらを比較して最小となる予測方式を決定している。またここでは、圧縮効率がよいフレーム予測が選ばれやすくなるように、一方の予測残差にオフセット分を加算して大小比較を実行してもよい。
【００３１】
フレーム予測／フィールド予測判定ブロック４２におけるフレーム／フィールド予測の判定結果は、フレーム／フィールド予測選択信号３６として符号化ブロック４３に送られ、符号化ブロック４３では、選択された予測方法の動きベクトルを用いて符号化する。そして、図１に示す可変長符号化回路１７からビットストリーム３８が出力される。
【００３２】
続いて、動き補償回路２４、動き予測回路２５における符号化予測モード判別処理の一例を図３に基づいて説明する。本発明の具体例として示す画像情報変換装置１では、符号化予測モードを判別する際、輝度情報から判定された符号化予測モードに対して、動きベクトルの値の位相や大きさを用いることで理想的な符号化効率で且つ画像劣化が少ない最適な予測モードを選択している。
【００３３】
動き補償回路２４は、まずステップＳ１において、従来汎用の手法に基づいて、輝度情報から画像データの符号化単位としてフレーム予測を用いるかフィールド予測を用いるかを判定する。
【００３４】
ステップＳ１においてフィールド予測が選択されると、このマクロブロックに関しては予測方法を変更することなく、次のマクロブロックに対して上述した符号化予測方法を繰り返す。
【００３５】
一方、ステップＳ１においてフレーム予測が選択されると、ステップＳ２において、フレーム予測の参照画像において、色差信号の動きベクトルが輝度信号の動きベクトルが示す画素と反対のフィールド上の画素を指していないかを判別する。ここでは例えば、次のような条件に基づいて判別する。すなわち、フレーム予測動きベクトルの垂直成分を４で割った余りが２のとき、選択される色差信号が反対のフィールド（逆相）上の画素になるとする。
ｉｆ　（（フレーム予測動きベクトルの大きさの垂直成分）％４＝＝２）このとき、色差信号が逆相となる。
【００３６】
ｅｌｓｅ　逆相とならない。
【００３７】
ステップＳ２において、選択される色差信号が反対のフィールド（逆相）上の画素になると判別された場合、フレーム予測では圧縮効率が低下するため、ステップＳ３においてフィールド予測に変更する。また、色差信号の動きベクトルが逆相の画素を指すことが検出されなければ、フレーム予測であっても圧縮効率が低下せず、良好な圧縮効率が得られるためフレーム予測を適用する。
【００３８】
ステップＳ４において、このフレームにおける全マクロブロックタイプの決定が完了すれば、ステップＳ５に進み、次のフレームの符号化予測モードを判定する。
【００３９】
上述した処理によれば、輝度信号に加え、動きベクトルの値の位相や大きさを用いて符号化予測モードを決定することにより、色差信号の動きベクトルが逆相の画素を示して圧縮効率の低下を招く場合を回避できるため、高画質化を実現するとともに演算量を低減できる。そのため回路規模を縮小できる。
【００４０】
ところで、動き量が少ない場合、動きベクトルの値は、色差信号のトップフィールドとボトムフィールドとでほぼ同じ値になると考えられる。そこで、動き量が少ない場合、符号化モードの判別に動きベクトルの動き量を導入する。続いて、この手法について説明する。
【００４１】
図４でのステップＳ１１、Ｓ１２、Ｓ１４、Ｓ１５及びＳ１６は、それぞれ図３に示すステップＳ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５に対応している。この手法では、ステップＳ１２で色差信号の動きベクトルが逆相の画素を指すと判別されると、ステップＳ１３において、動きベクトルの大きさ（動き量）を用いて圧縮効率が低下するか否かを判別している。
【００４２】
例えば、輝度信号の動きベクトルの大きさの垂直成分と水平成分とがそれぞれ所定の閾値より小さければ、動き量が小であるとして、色差信号の動きベクトルが逆相の画素を指しても圧縮効率の大幅な低下がないと判別し、フィールド予測に変更することなくフレーム予測をそのまま適用する。
【００４３】
一方、動きベクトルの大きさの垂直成分と水平成分とが所定の閾値を超える場合、選択される色差信号が反対のフィールド（逆相）上の画素になり画質の劣化が顕著化するため、予測モードをフィールド予測へ変更する。
【００４４】
したがって、上述した画像情報変換装置１によれば、輝度情報に加えて、輝度情報の動きベクトル値、位相及び大きさを用いて、符号化単位の予測モードとしてフレーム予測を用いるかフィールド予測を用いるかを判定することにより、低ビットレートで画像劣化が最小限に抑えられた最適な符号化予測モードが選択できる。
【００４５】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【００４６】
【発明の効果】
以上詳細に説明したように、本発明に係る画像情報変換方法は、画像データの符号化単位の動き補償予測としてトップフィールドとボトムフィールドとが合成されたフレームで動き補償予測を行う際、色差信号における動きベクトルが輝度信号における動きベクトルが指す画素が存在するフィールドとは反対のフィールドの画素を指す場合、符号化単位の動き補償予測をフィールド予測に変更することにより、圧縮効率の低下を回避し高画質化を実現できる。また、演算量を削減でき、回路規模が縮小できる。
【００４７】
特に、判別工程では、輝度信号の動きベクトルの大きさに所定の閾値を設け、この閾値を超えている場合、符号化モードの判定をフィールド予測に変更することによって、圧縮効率の低下を回避し高画質化を実現できる。また、演算量を削減でき、回路規模が縮小できる。
【００４８】
また、本発明に係る画像情報変換装置は、画像データの符号化単位の動き補償予測としてトップフィールドとボトムフィールドとが合成されたフレームで動き補償予測を行う際、色差信号における動きベクトルが輝度信号における動きベクトルが指す画素が存在するフィールドとは反対のフィールドの画素を指すか否かを判別する判別手段と、動きベクトルに応じて符号化単位の動き補償予測をフレーム予測にするかフィールド予測にするかを制御する予測モード制御手段とを備え、判別手段において、色差信号における動きベクトルが輝度信号における動きベクトルが指す画素が存在するフィールドとは反対のフィールドの画素を指すと判断された場合、予測モード制御手段は、符号化単位の動き補償予測をフィールド予測に変更することにより、圧縮効率の低下を回避し高画質化を実現できる。また、演算量を削減でき、回路規模が縮小できる。
【００４９】
特に、輝度信号の動きベクトルの大きさに所定の閾値を設け、この閾値を超えている場合、符号化モードの判定をフィールド予測に変更することによって、圧縮効率の低下を回避し高画質化を実現できる。また、演算量を削減でき、回路規模が縮小できる。
【図面の簡単な説明】
【図１】本発明の具体例として示す画像情報変換装置の構成を説明するブロック図である。
【図２】図１に示す画像情報変換装置における処理ブロックを説明する図である。
【図３】図１に示す画像情報変換装置におけるフィールド／フレーム予測判別処理を説明するフローチャートである。
【図４】図１に示す画像情報変換装置におけるフィールド／フレーム予測判別処理の別の例を説明するフローチャートである。
【図５】フレーム予測において色差信号の動きベクトルが輝度信号とは反対のフィールド上の画素を示す場合を説明する模式図である。
【符号の説明】
１　画像情報変換装置、１１　入力端子、１２　画面並換回路、１３　差分器、１４　ＤＣＴ回路、１５　量子化回路、１６　レート制御回路、１７　可変長符号化回路、１８　バッファ、１９　出力端子、２０　逆量子化回路、２１　逆ＤＣＴ回路、２２　加算器、２３　画像メモリ、２４　動き補償回路、２５　動き予測回路、３０　入力画像色差信号、３１　入力画像輝度信号、３２　フィールド予測動きベクトル、３３　フレーム予測動きベクトル、３４　フレーム予測残差、３５　フィールド予測残差、３６　フレーム予測／フィールド予測選択信号、３７　参照画像データ、３８　ビットストリーム、４１　動きベクトル演算ブロック、４２　フレーム予測／フィールド予測判定ブロック、４３　符号化ブロック

Claims

直交変換と動き補償を適用して画像データを圧縮して画像圧縮情報を得る画像情報変換方法において、
画像データの符号化単位の動き補償予測としてトップフィールドとボトムフィールドとが合成されたフレームで動き補償予測を行う際、色差信号における動きベクトルが輝度信号における動きベクトルが指す画素が存在するフィールドとは反対のフィールドの画素を指す場合、符号化単位の動き補償予測をフィールド予測に変更することを特徴とする画像情報変換方法。
上記輝度信号の動きベクトルの大きさが所定の閾値を超えている場合、符号化単位の動き補償予測をフィールド予測に変更することを特徴とする請求項１記載の画像情報変換方法。
上記画像圧縮情報は、ＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）規格に準拠していることを特徴とする請求項１記載の画像情報変換方法。
直交変換と動き補償を適用して画像データを圧縮して画像圧縮情報を得る画像情報変換装置において、
画像データの符号化単位の動き補償予測としてトップフィールドとボトムフィールドとが合成されたフレームで動き補償予測を行う際、色差信号における動きベクトルが輝度信号における動きベクトルが指す画素が存在するフィールドとは反対のフィールドの画素を指すか否かを判別する判別手段と、
動きベクトルに応じて符号化単位の動き補償予測をフレーム予測にするかフィールド予測にするかを制御する予測モード制御手段とを備え、
上記判別手段において、色差信号における動きベクトルが輝度信号における動きベクトルが指す画素が存在するフィールドとは反対のフィールドの画素を指すと判断された場合、上記予測モード制御手段は、符号化単位の動き補償予測をフィールド予測に変更することを特徴とする画像情報変換装置。
上記輝度信号の動きベクトルの大きさが所定の閾値を超えている場合、符号化単位の動き補償予測をフィールド予測に変更することを特徴とする請求項４記載の画像情報変換装置。
上記画像圧縮情報は、ＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）規格に準拠していることを特徴とする請求項４記載の画像情報変換装置。