JP2007184682A - 画像符号化装置 - Google Patents

Abstract

【課題】画質の劣化を抑えつつも符号量を削減することが可能な画像符号化装置を提供すること。
【解決手段】動き予測部１２は、外部メモリＩ／Ｆ１６を介して読出した画像間の動き予測を行なう。ループ内処理部１３は、動き予測部１２による動き予測に基づいて、画像をマクロブロック単位で符号化する。ＤＳＰ部１８は、イントラ・ピクチャを予測符号化ピクチャに置換し、当該ピクチャ内の有効画像領域をイントラ・マクロブロックとしてループ内処理部１３に符号化させ、有効画像領域以外の黒画像領域を予測符号化マクロブロックとしてループ内処理部１３に符号化させる。したがって、黒画像領域の符号量を削減することができ、画質の劣化を抑えつつも符号量を削減することが可能となる。
【選択図】図２

Description

本発明は、画像データを符号化する技術に関し、特に、アスペクト比が１６：９の画像データの圧縮効率を向上させた画像符号化装置に関する。

近年、ＭＰＥＧ（Moving Picture Experts Group）など、画像データを圧縮する技術が広く用いられている。一般に、より圧縮率を高くするために、解像度の変更によるデータ量の削減と、ＭＰＥＧ２などの符号化によるデータ量の削減とが行なわれる。

ＭＰＥＧ２などの符号化による画質劣化を同等に保つ場合、たとえば解像度を１／２にすればデータ量を約１／２に削減することができる。すなわち、１枚のディスクに２時間分の画像データを録画することができるとすれば、解像度を１／２にすることによって約４時間分の画像データを録画することができるようになる。このような技術に関連する発明として、下記の特許文献１および特許文献２に開示された発明がある。

特許文献１に開示されたディジタル映像信号処理回路は、カメラ一体型のディジタルＶＴＲ等において、帯域圧縮処理回路の前段部にマスク処理回路を設け、シネマモード時におけるモスキートノイズの発生を減少させるものである。

また、特許文献２に開示された画像信号の伝送装置においては、マスク部信号前処理部が、ＥＤＴＶ（Extended Definition Television）方式の画面の上下の無画部領域の信号を、マスク部コンポーネント信号系列ＹＭ（輝度信号ＹＭ、色差信号はいずれも成分零の信号）として出力するものである。
特開平５−２６８５６５号公報 特開平７−７９４１６号公報

ＤＶＤ−Ｖｉｄｅｏ規格上、アスペクト比１６：９の画像に対して、従来の解像度の変更によるデータ量を削減する手法を使用できない。そのため、通常のアスペクト比４：３の画像を解像度変換して得られた低レートの画像と、同等の画質で解像度変換することはできない。したがって、ＭＰＥＧ２符号化を用いて同一の低レートの画像に符号化する場合、アスペクト比４：３の画像と比較してアスペクト比１６：９の画像の画質劣化が顕著となる。

すなわち、入力画像がアスペクト比４：３の場合、解像度変換が行なえるため、たとえば解像度変換によって１／２にデータを削減して解像度変換後の画像を生成し、符号化によって１／５０に圧縮することで１／１００の圧縮を行なったストリームを得ることができる。

一方、入力画像がアスペクト比１６：９の場合、解像度変換が行なえないため、そのままの解像度の画像を解像度変換後の画像とし、符号化器において１／１００に圧縮してストリームを得る。このとき、主に量子化により符号量を削減するため、復号する際にＭＰＥＧ独特のマクロブロック境界が目立つ劣化の多いストリームが生成されることになる。

また、上述した特許文献１および特許文献２は、いずれもシネマモード（ＥＤＴＶ方式）における画面の上下の黒画素領域をマスクすることによって圧縮効率を高めるものである。しかしながら、ビデオシーケンス内のピクチャには着目しておらず、さらなる圧縮率の向上を図ることができない。

本発明は、上記問題点を解決するためになされたものであり、その目的は、画質の劣化を抑えつつも符号量を削減することが可能な画像符号化装置を提供することである。

本発明のある局面に従えば、ビデオ信号を符号化する画像符号化装置であって、画像間の動き予測を行なう動き予測手段と、動き予測手段による動き予測に基づいて、画像をマクロブロック単位で符号化する符号化手段とを含み、画像符号化装置はさらに、イントラ・ピクチャを予測符号化ピクチャに置換し、当該ピクチャ内の有効画像領域をイントラ・マクロブロックとして符号化手段に符号化させ、有効画像領域以外の黒画像領域を予測符号化マクロブロックとして符号化手段に符号化させる制御手段を含む。

制御手段が、イントラ・ピクチャを予測符号化ピクチャに置換し、当該ピクチャ内の有効画像領域をイントラ・マクロブロックとして符号化手段に符号化させ、有効画像領域以外の黒画像領域を予測符号化マクロブロックとして符号化手段に符号化させるので、黒画像領域の符号量を削減することができ、画質の劣化を抑えつつも符号量を削減することが可能となる。

（第１の実施の形態）
図１は、本発明の第１の実施の形態における画像符号化装置の概略構成を示すブロック図である。この画像符号化装置１は、入力画像の解像度を変換する解像度変換器２と、解像度変換器２によって解像度変換された後の画像データを符号化するビデオ符号化器３と、画像符号化装置１の全体的な制御を行なうＣＰＵ（Central Processing Unit）４とを含む。

解像度変換器２は、Ｄ１サイズ（７２０×４８０（ＮＴＳＣ（National Television System Committee））または７２０×５７６（ＰＡＬ（Phase Alternation by Line）））の画像を入力して解像度変換を行ない、ビデオ符号化に使用する解像度の画像、たとえば２／３ Ｄ１サイズや、１／２ Ｄ１サイズの画像を生成して出力する。また、解像度を変換せずに、入力画像をそのまま出力することも可能である。

ビデオ符号化器３は、解像度変換器２によって解像度変換された後の画像に対して、マクロブロック単位の符号化処理を行なう。たとえば、１／２Ｄ１サイズの画像であれば、２２×３０ＭＢ（ＮＴＳＣ）または２２×３６ＭＢ（ＰＡＬ）の符号化処理を行なう。

図２は、本発明の第１の実施の形態におけるビデオ符号化器３の構成例を示すブロック図である。このビデオ符号化器３は、ビデオＩ／Ｆ（Interface）１１と、動き予測部１２と、ループ内処理部１３と、可変長符号化部１４と、ビットストリームＩ／Ｆ１５と、外部メモリＩ／Ｆ１６と、全体制御部１７と、ＤＳＰ（Digital Signal Processor）部１８と、ホストＩ／Ｆ１９とを含む。

ビデオＩ／Ｆ１１は、解像度変換器２から出力される解像度変換後のビデオ信号を受け、外部メモリＩ／Ｆ１６を介して図示しない外部メモリに格納する。外部メモリは、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＤＲＡＭ（Synchronous DRAM）、ＤＤＲ−ＳＤＲＡＭ（Double Data Rate-SDRAM）、ＤＤＲ−ＩＩ−ＳＤＲＡＭ、ＳＲＡＭ（Static RAM）など、転送バンド幅を満たすものであればよい。

動き予測部１２は、外部メモリＩ／Ｆ１６を介して外部メモリから画像データをＭＢ単位で読出し、動き予測を行なって予測画像を生成する。

ループ内処理部１３は、動き予測部１２によって求められた動き予測に基づくＤＣＴ（Discrete Cosine Transform）、量子化、ジグザグ・スキャン、ＩＤＣＴ（Inverse Discrete Cosine Transform）、逆量子化などの処理を行なう。このループ内処理部１３は、機能毎のブロックに分割されてもよい。

可変長符号化部１４は、ループ内処理部１３によって量子化された後の画像データを可変長符号化する。ビットストリームＩ／Ｆ１５は、可変長符号化部１４によって可変長符号化された後のビットストリームを外部に出力する。

全体制御部１７は、動き予測部１２、ループ内処理部１３、可変長符号化部１４などを制御して、ビデオ信号の符号化の全体的な制御を行なう。

ＤＳＰ部１８は、ループ内処理部１３を制御して符号量制御を行なったり、量子化値の設定などを行なったりする。ホストＩ／Ｆ１９は、ＣＰＵ４との間で通信を行ない、ビデオ符号化器３の制御のためのデータを入力したりする。

なお、図２においては画像の符号化に関する部分のみを記載しているが、オーディオの処理部が含まれていてもよい。

図３は、本発明の第１の実施の形態における画像符号化装置１の処理を説明するための図である。図３（ａ）は、第１の実施の形態における画像符号化装置１の処理を示しており、解像度変換部２はアスペクト比１６：９の入力画像（Ｄ１）２１をそのままビデオ符号化器３に出力する。ビデオ符号化器３に入力される画像データ２２は、上下に黒画像領域をそれぞれ１／１０ずつ含んでいる。

通常、画像データ２２に含まれる黒画像領域はアナログ信号によって入力されるため、黒画像領域とは言えデータのばらつきを有している。ビデオ符号化器３は、このようなばらつきを微妙な質感として伝えようとするため、量子化値を比較的小さめに設定し、余計な符号が生成されることになる。

本実施の形態において、ＤＳＰ部１８がループ内処理部１３に量子化値を設定する際、アスペクト比１６：９の画像であれば上下１／１０の黒画像領域に対して量子化値を大きめに設定し、アナログ信号の揺らぎに伴う黒の画素値の振れを抑制し、一律の黒の画素値が得られるように制御する。

このような制御により、画像データ２２全体の４／５に相当する有効画像領域に最大の符号量を与えることができる。すなわち、有効画像領域を１／８０に圧縮しつつも、ビデオストリーム２３全体としては１／１００に圧縮することができ、劣化が少ないビデオストリーム２３を生成することができる。

一方、図３（ｂ）は、従来の画像符号化処理を示しており、アスペクト比１６：９の入力画像２４が解像度変換されずにそのままビデオ符号化器に入力される。そして、上下に１／１０ずつ黒画像領域を含む画像データ２５が符号化され、画像全体として１／１００に圧縮される。その結果、劣化が多いビデオストリーム２６が生成されることになる。

なお、解像度変換器２は、アスペクト比１６：９の画像の有効領域に対して、たとえば水平サイズ１／２相当のフィルタを適用して帯域を絞り、符号化時の符号量を小さくするようにしてもよい。同様に、アスペクト比１６：９の画像の有効領域に対して、たとえば垂直サイズ１／２相当のフィルタを適用して帯域を絞り、符号化時の符号量を小さくするようにしてもよい。

図４は、本発明の第１の実施の形態における画像符号化装置による符号化処理とアスペクト比４：３の画像の符号化処理との比較を説明するための図である。図４（ａ）は、第１の実施の形態における画像符号化装置１の処理を示しており、アスペクト比１６：９の入力画像３１がそのままビデオ符号化器３に入力され、画像データ３２全体の４／５に相当する有効画像領域に最大の符号量が与えられ、１／１６に圧縮される。その結果、ビデオストリーム３３全体としては１／２０に圧縮することができ、劣化が少ないビデオストリーム３３を生成することができる。

一方、図４（ｂ）は、アスペクト比４：３の画像の符号化処理を示しており、入力画像３４が解像度変換されずにそのままビデオ符号化器に入力される。そして、画像データ３５が符号化され、画像全体として１／２０に圧縮される。その結果、劣化が多いビデオストリーム３６が生成されることになる。

以上説明したように、本実施の形態における画像符号化装置によれば、アスペクト比１６：９の画像を符号化する際、上下の１／１０の黒画像領域に対して最小のビット量を割当て、全体の４／５の有効画像領域に最大の符号量を割当てるようにしたので、アスペクト比４：３の画像を同一の圧縮率で圧縮した場合と比較して、より品質の高い画像を提供することが可能となった。

（第２の実施の形態）
本発明の第２の実施の形態における画像符号化装置は、図１に示す第１の実施の形態における画像符号化装置と比較して、解像度変換器２の内部構成が異なる点のみが異なる。したがって、重複する構成および機能の説明は繰返さない。

図５は、本発明の第２の実施の形態における解像度変換器２の内部構成を示すブロック図である。この解像度変換器２は、解像度変換部４１と、有効範囲指定レジスタ４２と、画素位置生成器４３と、黒マスク生成器４４と、有効範囲判定器４５と、出力選択部４６とを含む。

有効範囲指定レジスタ４２は、ＣＰＵ４によって有効範囲が指定されるレジスタであり、有効画像範囲が設定される。たとえば、アスペクト比１６：９の画像（ＮＴＳＣ）であれば、上端から６０ラインが黒画素であり、続く３６０ラインが有効な画素であり、残り下端までの６０ラインが黒画素であることが設定される。

画素位置生成器４３は、解像度変換部４１から出力される画像の画素位置に関する情報を生成し、黒マスク生成器４４および有効範囲判定器４５に出力する。黒マスク生成器４４は、画素位置生成器４３から出力される画素位置に応じて黒マスク値（固定値）を生成し、出力選択部４６に出力する。

有効範囲判定器４５は、有効範囲指定レジスタ４２に設定された有効範囲と、画素位置生成器４３から出力される画素位置とを比較し、画素が有効画像範囲内であるか否かを判定する。

出力選択部４６は、有効範囲判定器４５によって有効画像範囲内であると判定された場合、解像度変換部４１からの出力を選択して解像度変換後画像として出力する。また、出力選択部４６は、有効範囲判定器４５によって有効画像範囲外であると判定された場合、黒マスク生成器４４から出力される黒マスク値を選択して解像度変換後画像として出力する。

このように、ばらつきのある黒領域のアナログ信号を黒マスク値に置換することにより、ばらつきのない黒画像とすることができる。その結果、ビデオ符号化器３における符号化の際に、黒画像を最小ビット量に抑えることができる。たとえば、量子化値が最小の１の場合、Ｉ（イントラ）ピクチャでは１４０５ｂｉｔ／ＭＢ−ｌｉｎｅとなるが、Ｐ（予測符号化）ピクチャでは３０ｂｉｔ／ＭＢ−ｌｉｎｅの符号量に抑えることができる。

以上説明したように、本実施の形態における画像符号化装置によれば、有効範囲判定器４５によって黒領域であると判定された場合、出力選択部４６は黒領域の画素に対して黒マスク生成器４４から出力される黒マスク値を選択して出力するようにしたので、黒画像を最小ビット量に抑えることができ、有効画像領域に対して最大の符号量を割当てることができ、第１の実施の形態において説明したのと同様に、より品質の高い画像を提供することが可能となった。

（第３の実施の形態）
本発明の第３の実施の形態における画像符号化装置は、図１および図２に示す第１の実施の形態における画像符号化装置の構成例と同様である。したがって、重複する構成および機能の詳細な説明は繰返さない。

図６は、本発明の第３の実施の形態における画像符号化装置のシーケンスを説明するための図である。図６（ａ）は、通常のシーケンスを示しており、Ｂピクチャの間にＩピクチャ５１〜５４が挿入されている。Ｉピクチャは、誤差の蓄積による画質の劣化を抑制するために、周期的に挿入されている。

図６（ｂ）は、第３の実施の形態における画像符号化装置のシーケンスを示しており、図６（ａ）に示すＩピクチャ５２および５３をＰピクチャ５６および５７に置換する。図６（ａ）に示すＩピクチャ５１および５４は、そのままＩピクチャ５５および５８として処理される。

図６（ｃ）は、Ｐピクチャ５６および５７の構成を示しており、上下の１／１０に相当する黒画像をＰ−ＭＢとして処理し、有効画像領域をＩ−ＭＢとして処理する。１ＭＢ−ｌｉｎｅ分の符号量は、Ｉピクチャであれば１４０５ｂｉｔ／ＭＢ−ｌｉｎｅであり、Ｐピクチャであれば３０ｂｉｔ／ＭＢ−ｌｉｎｅである。したがって、Ｉピクチャとして処理する場合と比較して、黒画像の符号量を削減することができる。一方、有効画像領域に対してはＩ−ＭＢとして処理するので、画質の劣化はない。

図７は、本発明の第３の実施の形態におけるＤＳＰ部１８の処理手順を説明するためのフローチャートである。まず、符号化する画像がＩピクチャであるか否かを判定する（Ｓ１１）。符号化する画像がＩピクチャでなければ（Ｓ１１，Ｎｏ）、符号化処理を制御して通常の圧縮処理を行なわせて（Ｓ１３）、処理を終了する。

また、符号化する画像がＩピクチャであれば（Ｓ１１，Ｙｅｓ）、Ｐピクチャに置換する画像であるか否かを判定する（Ｓ１２）。Ｐピクチャに置換する画像でなければ（Ｓ１２，Ｎｏ）、符号化処理を制御して通常の圧縮処理を行なわせて（Ｓ１３）、処理を終了する。

また、Ｐピクチャに置換する画像であれば（Ｓ１２，Ｙｅｓ）、処理すべきＭＢが有効画像領域内であるか否かを判定する（Ｓ１４）。処理すべきＭＢが有効画像領域内であれば（Ｓ１４，Ｙｅｓ）、符号化処理を制御して当該ＭＢをＩ−ＭＢとして処理させる（Ｓ１５）。

また、処理すべきＭＢが有効画像領域外、すなわち黒画像であれば（Ｓ１４，Ｎｏ）、符号化処理を制御して当該ＭＢをＰ−ＭＢとして処理させる（Ｓ１６）。

最後に、全てのＭＢを処理したか否かを判定する（Ｓ１７）。まだ処理していないＭＢがあれば（Ｓ１７，Ｎｏ）、ステップＳ１４に戻って以降の処理を繰返す。また、全てのＭＢを処理していれば（Ｓ１７，Ｙｅｓ）、処理を終了する。

このように、上下あわせて６ＭＢ−ｌｉｎｅ分の黒画像領域をＰ−ＭＢとして処理できるので、１フレーム当たり８Ｋｂｉｔの符号を削減することができる。なお、有効画像領域についてはＩ−ＭＢとして処理するので、画質の劣化は起こらない。

なお、本実施の形態においては、上述の処理をＤＳＰ部１８によって行なうとして説明したが、ＣＰＵ４がホストＩ／Ｆ１９を介してビデオ符号化器３を制御するようにしてもよい。

以上説明したように、本実施の形態における画像符号化装置によれば、ＩピクチャをＰピクチャに置換し、有効画像領域内のＭＢをＩ−ＭＢとして処理し、黒画像領域内のＭＢをＰ−ＭＢとして処理するようにしたので、黒画像領域の符号量を削減することができ、画質の劣化を抑えつつも符号量を削減することが可能となった。

（第４の実施の形態）
本発明の第４の実施の形態における画像符号化装置は、図１および図２に示す第１の実施の形態における画像符号化装置の構成例と同様である。したがって、重複する構成および機能の詳細な説明は繰返さない。

図８は、本発明の第４の実施の形態における画像符号化装置のシーケンスを説明するための図である。図６（ｂ）に示す第３の実施の形態における画像符号化装置のシーケンスと同様に、Ｉピクチャ５２および５３をＰピクチャ５６および５７に置換する。ただし、本実施の形態においては、ｆ−ｃｏｄｅおよび動きベクトルを含んだベクタ情報を制御する。

ｆ−ｃｏｄｅは、時間的に離れた画像から予測する場合に、予測のフレーム間隔を表わすコードであり、２の累乗で表わされる。Ｐピクチャにおける上下の黒領域では、動きベクトルを（０，０）とし、ｆ−ｃｏｄｅを最小とする。有効画像領域においては、Ｉ−ＭＢとして処理するため、ベクタ情報は含まれない。

本発明の第４の実施の形態における画像符号化装置の処理手順は、図７に示す第３の実施の形態における画像符号化装置の処理手順と同様である。ただし、ステップＳ１６において黒画像領域のＭＢをＰ−ＭＢとして処理する際、動きベクトルを（０，０）とし、ｆ−ｃｏｄｅを最小とする。

なお、本実施の形態においては、上述の処理をＤＳＰ部１８によって行なうとして説明したが、ＣＰＵ４がホストＩ／Ｆ１９を介してビデオ符号化器３を制御するようにしてもよい。

以上説明したように、本実施の形態における画像符号化装置によれば、ＩピクチャをＰピクチャに置換し、有効画像領域内のＭＢをＩ−ＭＢとして処理し、黒画像領域内のＭＢをＰ−ＭＢとして処理する際に、ｆ−ｃｏｄｅを最小とし、動きベクトルを（０，０）とするようにしたので、黒画像領域の動きベクタ情報を最小限に抑えることができ、符号量を削減することができるので、画質の劣化を抑えつつも符号量を削減することが可能となった。

今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明の第１の実施の形態における画像符号化装置の概略構成を示すブロック図である。 本発明の第１の実施の形態におけるビデオ符号化器３の構成例を示すブロック図である。 本発明の第１の実施の形態における画像符号化装置１の処理を説明するための図である。 本発明の第１の実施の形態における画像符号化装置による符号化処理とアスペクト比４：３の画像の符号化処理との比較を説明するための図である。 本発明の第２の実施の形態における解像度変換器２の内部構成を示すブロック図である。 本発明の第３の実施の形態における画像符号化装置のシーケンスを説明するための図である。 本発明の第３の実施の形態におけるＤＳＰ部１８の処理手順を説明するためのフローチャートである。 本発明の第４の実施の形態における画像符号化装置のシーケンスを説明するための図である。

符号の説明

１ 画像符号化装置、２ 解像度変換器、３ ビデオ符号化器、４ ＣＰＵ、１１ ビデオＩ／Ｆ、１２ 動き予測部、１３ ループ内処理部、１４ 可変長符号化部、１５ ビットストリームＩ／Ｆ、１６ 外部メモリＩ／Ｆ、１７ 全体制御部、１８ ＤＳＰ部、１９ ホストＩ／Ｆ、４１ 解像度変換部、４２ 有効範囲指定レジスタ、４３ 画素位置生成器、４４ 黒マスク生成器、４５ 有効範囲判定器、４６ 出力選択部。

Claims (5)

1. ビデオ信号を符号化する画像符号化装置であって、
   画像間の動き予測を行なう動き予測手段と、
   前記動き予測手段による動き予測に基づいて、画像をマクロブロック単位で符号化する符号化手段とを含み、
   前記画像符号化装置はさらに、イントラ・ピクチャを予測符号化ピクチャに置換し、当該ピクチャ内の有効画像領域をイントラ・マクロブロックとして前記符号化手段に符号化させ、前記有効画像領域以外の黒画像領域を予測符号化マクロブロックとして前記符号化手段に符号化させる制御手段を含む、画像符号化装置。
2. 前記制御手段は、前記黒画像領域のエフ・コードを最小値とし、動きベクトルを（０，０）とする、請求項１記載の画像符号化装置。
3. 前記制御手段は、前記黒画像領域に対して前記有効画像領域よりも大きな量子化値を設定する、請求項１または２記載の画像符号化装置。
4. 前記画像符号化装置はさらに、前記黒画像領域を判別して固定値である黒マスク値を前記符号化手段に与える黒マスク手段を含む、請求項１または２記載の画像符号化装置。
5. 前記画像は、アスペクト比が１６：９の画像である、請求項１〜４のいずれかに記載の画像符号化装置。

Images