JP2005295074A - 画像符号化装置及びプログラム - Google Patents

Abstract

【課題】 符号化対象画像から求めた画像特性に基づいて動き補償探索における最適な探索ブロックの大きさを決定し、画像内の物体の動きに正確に追従した動きベクトルを得ることで画質劣化を防止することができる画像符号化装置を提供する。
【解決手段】 時間軸上に並んだ複数の画像より構成される符号化対象画像を入力し、符号化対象画像の視覚的な特性を示す画像特性パラメータを算出する画像特性演算部１６と、画像特性パラメータで示される符号化対象画像の視覚的な特性に応じて動き補償探索を実行すべきサイズの画素ブロックを判定し、動き補償探索の探索ブロックとする探索ブロックサイズ判定部１７と、探索ブロックサイズ判定部１７により決定された探索ブロックで動き補償探索を実行する動き補償予測部１３とを備える。
【選択図】 図１

Description

この発明は、例えばＭＰＥＧ（Moving Picture image coding Experts Group)などの動き補償符号化を実行する画像符号化装置及びこれをコンピュータに実現させるプログラムに関するものである。

例えば、非特許文献１に開示される従来の画像符号化では、符号化が終了したフレームを復号して参照画像として符号化対象ブロックに最も近い予測画像を求める動き補償探索を実行する。このとき、フレーム動き補償予測であれば、入力した符号化対象画像フレーム内の１６画素×１６ラインの符号化対象ブロックと参照画像フレーム内の同一大きさのブロックとの間で画素値の差分絶対値和あるいは差分二乗和を演算し、動き補償予測における評価値とされる。また、フィールド動き補償予測である場合は、トップフィールド及びボトムフィールド内の１６画素×８ラインのブロックでそれぞれ評価値の演算が行われる。このようにして求めた評価値が最小となるブロックが参照画像として符号化される。

テレビジョン学会誌，"画像情報工学と放送技術"，Ｖｏｌ．４９ Ｎｏ．４ １９９５

従来の画像符号化装置による動き補償予測では、一般的に符号化対象ブロックと参照画像の同一の大きさのブロックとの間で算出した画素値の差分絶対値和あるいは差分二乗和を動き補償予測における評価値としている。この場合、符号化対象ブロック内に物体の輪郭や細やかな模様などが存在すれば、上述のようにして求めた差分絶対値和や差分二乗和を使用した評価値によって精度良く物体の動きを追従した動きベクトルを得ることができる。

しかしながら、符号化対象ブロック内に物体の輪郭や細やかな模様などが存在せず、平坦な画像であると動きベクトルを求める基点となる部分が画像内になく、上記評価値で求められる動きベクトルが必ずしも物体の動きを正確に追従しない場合がある。この場合、直前の符号化対象ブロックの動きベクトルとの相関が低くなり、動きベクトルに費やされる情報量が増大することで極端な画質劣化を招くという課題があった。

この発明は上記のような課題を解決するためになされたもので、符号化対象画像から求めた画像特性に基づいて動き補償探索における最適な探索ブロックの大きさを決定し、画像内の物体の動きに正確に追従した動きベクトルを得ることで画質劣化を防止することができる画像符号化装置及びこれをコンピュータに実現させるプログラムを得ることを目的とする。

この発明に係る画像符号化装置は、時間軸上に並んだ複数の画像より構成される符号化対象画像を入力し、符号化対象画像の視覚的な特性を示す画像特性パラメータを算出する画像特性演算部と、画像特性パラメータで示される符号化対象画像の視覚的な特性に応じて動き補償探索を実行すべきサイズの画素ブロックを判定して、動き補償探索の探索ブロックとする探索ブロックサイズ判定部と、探索ブロックサイズ判定部により決定された探索ブロックで動き補償探索を実行する動き補償予測部とを備えるものである。

この発明によれば、時間軸上に並んだ複数の画像より構成される符号化対象画像を入力し、符号化対象画像の視覚的な特性を示す画像特性パラメータを算出する画像特性演算部と、画像特性パラメータで示される符号化対象画像の視覚的な特性に応じて動き補償探索を実行すべきサイズの画素ブロックを判定して、動き補償探索の探索ブロックとする探索ブロックサイズ判定部と、探索ブロックサイズ判定部により決定された探索ブロックで動き補償探索を実行する動き補償予測部とを備えるので、物体の動きを正確に追従した動きベクトルを得ることができ、動きベクトルに費やされる情報量も小さくなり、全体として画質を向上させることができるという効果がある。

なお、従来の画像符号化装置では、フレーム画像間で物体の動きが大きい場合にその動きを捕らえることができるように探索範囲を拡げて動き補償予測の効率が低下しないように構成したものが提案されている。

これに対して、本発明では、探索範囲内に参照画像として符号化対象ブロックに一番近い画像が存在して、物体の動きを捕らえるという観点においては十分な探索範囲であっても、差分絶対値和などの現在広く使用されている動き補償予測の評価値判定で正確に参照画像として最適な画像を選択することが困難な場合を解消するものである。

つまり、ＭＰＥＧ−２符号化方式において、例えば単一色で塗装された車体の表面部の画像では、複雑な画像成分がなく上記評価値にはそれほど大差が生じない。このため、車体表面の符号化対象ブロックに対して別の位置にある参照画像が選択される場合が多くある。この場合、符号化対象ブロックごとに向きも大きさも異なる動きベクトルを選択することになり、１つ前の符号化対象ブロックの動きベクトルとの差分が大きくなって、これに費やされる情報量も大きくなる。

そこで、本発明では、探索ブロックのサイズを、例えば車体の輪郭部分まで含むように拡大することで、車が実際に移動しているのと同じ動きベクトルを選択することができ、動きベクトルに費やされる情報量を少なく抑えることができ、符号化効率を向上させることができる。

実施の形態１．
図１は、この発明の実施の形態１による動画像符号化装置の構成を示すブロック図である。以降の説明ではＭＰＥＧ−２による符号化を例に挙げるが、本発明は動き補償予測を行う符号化処理であればＭＰＥＧ−２以外にも適用することができる。また、以降では、動き補償予測符号化としてフレーム動き補償予測を例に挙げて説明する。

実施の形態１による画像符号化装置は、メモリ１、減算器２、セレクタ３、ＤＣＴ（Discrete Cosine Transform)演算器４、量子化器５、可変長符号化部６、バッファ７、逆量子化器８、逆ＤＣＴ演算器９、フレーム加算器１０、セレクタ１１、イントラ／インター判定部１２、動き補償予測部１３、フレームメモリ１４及び量子化制御部１５からなる基本構成に加え、画像特性演算部１６及び探索ブロックサイズ判定部１７を備えている。本発明の画像符号化装置は、例えば汎用コンピュータなどを用いて、本発明に従う画像符号化プログラムを実行させることによって具現化することができる。

つまり、画像符号化プログラムをコンピュータに実行させてそのハードウェア構成を上記構成要素１〜１７として機能させることにより、本発明の画像符号化装置による特徴的なデータ処理を実行することができる。なお、以下の説明において、本発明の画像符号化装置を具現化するコンピュータ自体の構成及びその基本的な機能については、当業者が当該分野の技術常識に基づいて容易に認識できるものであり、本発明の本質に直接関わるものでないので詳細な記載を省略する。

個々の構成要素の概要を説明すると、メモリ１は、装置内に入力された符号化対象であるディジタルビデオ信号を数フレーム分保持する。減算器２は、メモリ１から読み出されたディジタルビデオ信号とフレームメモリ１４から読み出された参照画像とをフレーム間差分してセレクタ３に出力する。セレクタ３は、メモリ１及び減算器２のうちいずれからの信号をＤＣＴ演算器４に出力するかを選択する。

ＤＣＴ演算器４は、セレクタ３からの出力信号を離散コサイン変換して量子化器５に出力する。量子化器５では、ＤＣＴ演算器４によって離散コサイン変換された信号について量子化処理を実行し可変長符号化部６に出力する。可変長符号化部６は、量子化器５による量子化結果を可変長符号に変換する。バッファ７は、可変長符号化部６により可変長符号化されたビットストリームデータを一時的に保持し必要に応じて装置外部に出力する。

逆量子化器８は、量子化器５により量子化されたディジタル信号を逆量子化処理して逆ＤＣＴ演算器９に出力する。逆ＤＣＴ演算器９では、逆量子化器８から入力した信号を逆離散コサイン変換する。フレーム加算器１０は、フレームメモリ１４から読み出された参照画像と逆ＤＣＴ演算器９からの出力信号とをフレーム間加算する。セレクタ１１では、逆ＤＣＴ演算器９及び加算器１０のうちいずれからの出力信号をフレームメモリ１４に出力すべきか選択する。

イントラ／インター判定部１２は、メモリ１から符号化対象画像のフレームごとに読み出された符号化対象ブロックについてイントラ（フレーム内）符号化かインター（フレーム間）符号化かを判定する。動き補償予測部１３は、メモリ１からの符号化対象ブロック及びフレームメモリ１４からの参照画像を用いて動き補償予測を実行する。

フレームメモリ１４は、動き補償予測のための参照画像（符号化対象画像において符号化を完了したフレーム画像）を保持する。量子化制御部１５は、バッファ７のバッファ量などに応じて量子化部５による量子化処理を制御する。

画像特性演算部１６は、装置内に入力された符号化対象であるディジタルビデオ信号の視覚的な画像特性を特定する画像特性パラメータを算出する。画像特性パラメータとしては、画像や画像の一部領域を構成する画素の輝度信号と２つの色差信号についてのそれぞれの平均値と分散値、これらのフレーム間の差分の絶対値和、水平方向周波数分布や垂直方向周波数分布などがある。

また、画像の視覚的な特性を示すパラメータは、符号化対象画像のフレーム内やフレーム間でのフレーム単位で求める以外に、符号化対象ブロック（ＭＰＥＧ−２ではマクロブロックと称す）単位、複数の符号化対象ブロック（マクロブロック）で構成される領域単位、あるいはフレーム画像をいくつかの領域に分割した領域単位で求められる。

探索ブロックサイズ判定部１７は、画像特性演算部１６が算出した画像特性パラメータに基づき、動き補償予測における最適な探索ブロックの大きさを判定する。また、探索ブロックサイズ判定部１７は、上記判定結果に基づいて動き探索処理を実行するようにイントラ／インター判定部１２及び動き補償予測部１３を制御する。

なお、本発明における探索ブロックとは、動き補償予測の参照画像内での参照ブロックあるいは探索範囲を示すものではなく、符号化対象ブロックそのもの、あるいは符号化対象ブロックを内部に含み、符号化対象ブロック周囲の画素まで含めた拡大した符号化対象ブロックを意味している。また、この探索ブロックは、動き補償予測において動きベクトルを得るためだけに設定するものであり、ＤＣＴ演算などの符号化を実行するブロックではない。

次に動作について説明する。
符号化対象となるディジタルビデオ信号は、本実施の形態１による画像符号化装置に入力されると、その内部のメモリ１に数フレーム分ずつ一時的に格納される。これに伴い、最初に符号化を行うための上記ビデオ信号のフレームが符号化対象ブロック（マクロブロック）単位でメモリ１から読み出され、減算器２、セレクタ３、イントラ／インター判定部１２、動き補償予測部１３及び画像特性演算部１６にそれぞれ出力される。

動き補償予測部１３では、メモリ１から符号化対象ブロック単位の入力画像とフレームメモリ１４から読み出した参照画像とを用い、探索ブロックサイズ判定部１７により判定された探索ブロックサイズで動き補償予測を行う。この動き補償予測では、符号化対象ブロックに最も近い参照画像内の参照ブロックが求められ、両ブロック内の画素の差分絶対値和あるいは差分二乗和が評価値として算出される。そして、メモリ１から入力した符号化対象ブロックについて参照画像の中から上記評価値が最小となる動きベクトルが求められる。

また、動き補償予測部１３は、上述した動き補償予測結果をイントラ／インター判定部１２に出力する。イントラ／インター判定部１２では、動き補償予測部１３からの動き補償予測結果に基づいて、当該符号化対象ブロックの符号化対象ピクチャがイントラ符号化であるかインター符号化であるかを判定する。例えば、符号化対象ピクチャがＩピクチャであればイントラ符号化を選択する。この判定結果は、イントラ／インター判定部１２から各セレクタ３，１１に出力される。

セレクタ３は、イントラ／インター判定部１２による判定結果に基づいて、減算器２及びメモリ１のうちのいずれかの入力を選択してＤＣＴ演算器４に出力する。ここで、減算器２では、参照画像をフレームメモリ１４から読み出した参照画像とメモリ１からの符号化対象画像との差分を求める。この差分情報は、減算器２から符号化対象ブロック単位でセレクタ３に入力される。

ここで、イントラ／インター判定部１２の判定結果がイントラ符号化であると、メモリ１からの符号化対象ブロックを選択してＤＣＴ演算器４に出力する。一方、インター符号化であると、セレクタ３は、減算器２からの差分情報を選択して符号化対象ブロック単位でＤＣＴ演算器４に出力する。

ＤＣＴ演算器４では、セレクタ３からの符号化対象ブロック単位の画像データに対してＤＣＴを実行し、そのＤＣＴ係数を量子化器５に出力する。量子化器５は、量子化制御部１５により設定された量子化パラメータに従って、ＤＣＴ演算器４からのＤＣＴ係数を量子化して可変長符号化部６及び逆量子化器８に出力する。

可変長符号化部６は、量子化器５から入力した量子化結果データを可変長符号に変換してバッファ７に保持する。バッファ７では、可変長符号化部６からの符号化データを一時的に蓄えた後、所定の転送レートのビットストリームとして外部に出力する。また、バッファ７におけるデータの占有量を示すバッファ量は、量子化制御部１５によって読み出される。

また、逆量子化器８では、量子化器５から入力した量子化結果データ逆量子化処理が行われ、その結果が逆ＤＣＴ演算器９に出力される。逆ＤＣＴ演算器９は、逆量子化器８からのデータに対して逆ＤＣＴ処理を実行する。この逆ＤＣＴされたデータは、逆ＤＣＴ演算器９からフレーム加算器１０及びセレクタ１１に出力される。

セレクタ１１では、フレームメモリ１４に出力すべきデータとして、イントラ／インター判定部１２からの判定結果に応じて、逆ＤＣＴ演算器９からの出力データ、及び、フレーム加算器１０により逆ＤＣＴ演算器９からの出力データにフレームメモリ１４の参照画像をフレーム加算された画像データのうちのいずれかを選択する。

例えば、イントラ／インター判定部１２からの判定結果がイントラ符号化であれば、フレーム内符号化されて復号された画像データとして、逆ＤＣＴ演算器９からの出力データが選択されてフレームメモリ１４に格納される。一方、判定結果がインター符号化であれば、フレーム間符号化されて復号された画像データとして、フレーム加算器１０からの画像データが選択されてフレームメモリ１４に格納される。

フレームメモリ１４に格納されたセレクタ１１からの出力データは、次の符号化フレームの動き補償予測の参照画像として使用される。一方、量子化制御部１５は、バッファ７から読み出したバッファ量に応じて量子化器５による量子化レートを制御する。これにより、バッファ７でデータがオーバーフローやアンダーフローを起こさないように調整される。

次に探索ブロックのサイズ判定処理を説明する。
先ず、画像特性演算部１６が、メモリ１から減算器２やセレクタ３に読み出される符号化対象画像を入力してその画像解析を行う。このとき、画像特性演算部１６は、符号化対象ブロック並びにこれと境界が接するＭ画素×Ｎライン（但し、Ｍ、Ｎは任意の正整数）の領域を構成する画素の輝度信号と２つの色差信号についてのそれぞれ平均値と分散値、フレーム間の差分の絶対値和、水平方向周波数分布や垂直方向周波数分布などを求める。これらの画像特性パラメータは、符号化対象画像についての視覚的な精細度を表す指標となる。

また、画像の視覚的な特性を示すパラメータは、符号化対象画像のフレーム内やフレーム間でのフレーム単位で求める以外に、符号化対象ブロック（マクロブロック）単位、複数の符号化対象ブロック（マクロブロック）で構成される領域単位、あるいはフレーム画像をいくつかの領域に分割した領域単位で求められる。このようにして求められた画像特性パラメータは、画像特性演算部１６から探索ブロックサイズ判定部１７に出力される。

探索ブロックサイズ判定部１７では、画像特性演算部１６からの画像特性パラメータに基づいて、符号化対象ブロック並びにこれと境界が接するＭ画素×Ｎラインの領域における画像の平坦度を判定する。なお、本発明での平坦度とは、画像中に物体の輪郭や模様などのエッジ部分がなく無地である度合を特定するもので、画像中の周波数成分分布などの画像特性パラメータから規定される。

上記判定処理にて符号化対象ブロックが平坦ではない画像であるという結果がでれば、探索ブロックサイズ判定部１７は、符号化対象画像中に探索ブロックサイズを拡大する必要がないと判断する。これにより、探索ブロックサイズ判定部１７は、符号化対象ブロックと同一サイズの探索ブロックで従来と同様に動き補償予測を行うようにイントラ／インター判定部１２及び動き補償予測部１３を制御する。

具体的には、探索ブロックサイズ判定部１７が、符号化対象ブロックと同一サイズの画素ブロックをメモリ１から動き補償予測部１３に転送するように制御する。動き補償予測部１３では、探索ブロックサイズ判定部１７による制御でメモリ１から転送されたサイズの画素ブロックにより動き探索を行う。これにより、イントラ／インター判定部１２及び動き補償予測部１３は、探索ブロックサイズ判定部１７により指定された探索ブロックで動き探索し、符号化対象ブロックの動き補償予測を実行することになる。

例えば、ＭＰＥＧ−２符号化方式では、フレーム構造でフレーム内の１６画素×１６ラインの大きさのブロックに対して符号化を行う。つまり、上述したように、フレーム動き補償予測を行う場合、符号化を行うブロックと同一の１６画素×１６ライン領域で動き補償予測が実行される。

一方、符号化対象ブロックが平坦な画像であり、これと境界が接するＭ画素×Ｎラインの領域が平坦でないと判定されると、探索ブロックサイズ判定部１７は、当該画像についての動き補償予測では拡大したサイズの探索ブロックが必要であると判断する。これにより、探索ブロックサイズ判定部１７は、符号化対象ブロックを拡張したサイズの探索ブロックで動き補償予測を実行するようにイントラ／インター判定部１２及び動き補償予測部１３を制御する。

具体的には、探索ブロックサイズ判定部１７が、符号化対象ブロックを拡張したサイズの画素ブロックをメモリ１から動き補償予測部１３に転送するように制御する。動き補償予測部１３では、探索ブロックサイズ判定部１７による制御でメモリ１から転送されたサイズの画素ブロックにより動き探索を行う。これにより、イントラ／インター判定部１２及び動き補償予測部１３は、探索ブロックサイズ判定部１７により指定された探索ブロックで動き探索し、符号化対象ブロックの動き補償予測を実行することになる。

図２は、実施の形態１の画像符号化装置による動き補償探索処理の概要を説明する図である。図において、フレーム画像２０は符号化が終了したフレームの画像であり、フレーム画像３０は現在符号化を行おうとしているフレームの画像である。つまり、フレーム画像２０はフレーム画像３０の動き補償予測のための参照フレームとなり、時間的にはフレーム画像２０に連続した次のフレームがフレーム画像３０である。

フレーム画像２０において点線で示す自動車２１が右方向に移動し、フレーム画像３０において点線で示す自動車３１になったものとする。なお、この自動車は、表面が単一色で塗装されるなどして複雑な画像成分がなく、表面部の画像は平坦であるものとする。フレーム画像３０中の符号化対象ブロック３２は自動車３１の輪郭を含んでおり、符号化対象ブロック３３は自動車３１の輪郭から離れた表面部に位置し、輪郭を含んでいない。

上述した探索ブロックサイズ判定において、符号化対象ブロック３２には自動車３１の輪郭が存在するので、探索ブロックサイズ判定部１７によって平坦な画像ではないと判定される。これに対して、符号化対象ブロック３３は、自動車３１の輪郭線付近に位置しているにもかかわらず、自動車３１の輪郭を含んでいないために平坦な画像と判定され、その近隣の領域が平坦な画像ではないと判定される。

符号化対象ブロック３２の符号化にあたり、画像特性演算部１６は、図３に示すような符号化対象ブロック３２並びにこれと境界が接する８個の１６画素×１６ラインの領域に対して画素の分散値あるいは水平方向や垂直方向の周波数成分分布の演算を行って画像特性パラメータを生成する。

このあと、探索ブロックサイズ判定部１７は、画像特性演算部１６が演算した画像特性パラメータが、例えば画素の分散値であれば、画像の平坦さを規定するために予め分散値に関して設定しておいた閾値より大きい場合、当該画像が平坦でないと判断する。また、画像特性パラメータが周波数成分分布であれば、高周波数領域を規定するために予め設定した周波数値よりも高い周波数領域において、画像の平坦さを規定するために予め周波数成分分布に関して設定しておいた閾値よりも大きい周波数成分が存在するとき、当該画像が平坦でないと判断する。

図２の例では、符号化対象ブロック３２には自動車３１の輪郭が存在するため、平坦ではない画像であると判定される。従って、このままの大きさ、すなわち１６画素×１６ラインの探索ブロックにより動き補償予測を行う。図中の参照ブロック２２は、符号化対象ブロック３２の動き補償探索の結果得られた参照ブロックであり、参照ブロック２２の位置を示す動きベクトル３５が求められる。

一方、符号化対象ブロック３３においても同様に画像特性演算が行われる。つまり、探索ブロックサイズ判定部１７は、画像特性演算部１６が演算した画像特性パラメータが、例えば画素の分散値であれば、画像の平坦さを規定するために予め分散値に関して設定しておいた閾値より大きい場合、当該画像が平坦でないと判断する。また、画像特性パラメータが周波数成分分布であれば、高周波数領域を規定するために予め設定した周波数値よりも高い周波数領域において、画像の平坦さを規定するために予め周波数成分分布に関して設定しておいた閾値よりも大きい周波数成分が存在するとき、当該画像が平坦でないと判断する。

なお、上述した平坦度の判定処理において、平坦な画像と判定するときと平坦な画像ではないと判定するときの閾値は同一である必要はない。例えば、符号化対象ブロックによる画像特性パラメータに応じた閾値、これに接する１６画素×１６ライン領域からなるブロック群による画像特性パラメータに応じた閾値を求めて判定処理を実行するようにしてもよい。

符号化対象ブロック３３は自動車３１の輪郭を含まない側面の部分の画像であるため、画像特性演算部１６によって平坦な画像であると判定される。しかしながら、符号化対象ブロック３３の右側、上側、右上側に位置する１６画素×１６ラインのブロックには自動車３１の輪郭が含まれる。このため、符号化対象ブロック３２と同様に、各ブロックは平坦ではない画像と判定される。

このとき、探索ブロックサイズ判定部１７は、図２に示すような３２画素×３２ラインまで拡張したブロックを探索ブロック３４として判定する。つまり、符号化対象ブロック３３と、自動車３１の輪郭を含み平坦でないと判定された１６画素×１６ラインの各ブロックとを含めたサイズの領域を、符号化対象ブロック３３及びその周辺領域の視覚的な特性を適切に示す探索ブロックとして選択する。

この探索ブロックサイズ判定部１７による判定結果に応じて、動き補償予測部１３は上記探索ブロック３４にて動き補償探索を実行する。符号化対象ブロック３３について３２画素×３２ラインの探索ブロック３４を使用した動き補償探索の結果として、図２に示すような参照ブロック２３及びその位置を示す動きベクトル３６が得られる。

ちなみに、符号化対象ブロック３３を１６画素×１６ラインのブロックのままで動き探索すると、符号化対象ブロックの周辺領域の画像特性が考慮されていないため、例えば参照ブロック２４及びその動きベクトル３７が得られる。

このように、符号化対象ブロック３３において探索ブロックサイズを拡大しないで動き補償探索を行うと、参照ブロック２４のような符号化対象ブロック３３とは全く別の位置の画像ブロックが参照ブロックとして選択される可能性がある。

これに対して、符号化対象ブロック３３と自動車３１の輪郭を含み平坦でないと判定された１６画素×１６ラインの各ブロックとを含めたサイズの探索ブロック３４を使用して動き補償探索を行うことで、自動車全体の動きと合致した位置のブロックを参照ブロックとして選択することができる。

以上のように、この実施の形態１では、複数のフレーム画像より構成される符号化対象動画像を入力し、フレーム画像ごとに抽出した符号化対象ブロックの視覚的な特性を示す画像特性パラメータを算出する画像特性演算部１６と、画像特性パラメータで示される符号化対象ブロックの視覚的な特性に応じて動き補償探索を実行すべきサイズの画素ブロックを判定して、動き補償探索の探索ブロックとする探索ブロックサイズ判定部１７と、探索ブロックサイズ判定部１７により決定された探索ブロックで動き補償探索を実行する動き補償予測部１３とを備えるので、符号化対象ブロックに物体の輪郭が存在しない場合においても、近隣の領域に輪郭が存在するときには、符号化対象ブロック自体によって動き補償探索を行うのでなく、輪郭部分まで含むように符号化対象ブロックを拡大した探索ブロックにより動き補償探索を行うことで、物体の動きを正確に追従した動きベクトルを得ることができる。また、このようにして求めた動きベクトルは周囲の符号化対象ブロックの動きベクトルとの相関も高いため、動きベクトルに費やされる情報量も小さくなり、全体として画質が向上する。

なお、上記実施の形態１では、フレーム構造におけるフレーム動き補償予測を例にして説明したが、フィールド構造におけるフィールド動き補償予測においても同様のことが可能である。さらに、フレーム構造におけるフィールド動き補償予測などの１６画素×８ラインのブロックにおいても、探索ブロックを、例えば３２画素×１６ラインのブロックサイズに拡張すれば同様の処理が行え、同様の効果を得ることができる。

また、上記実施の形態１では、符号化対象画像の平坦度を基準として探索ブロックサイズを判定する処理を例として説明したが、画像中の物体の輪郭（エッジ）情報あるいは物体全体の輪郭情報を画像特性パラメータから特定し、指標化した値に応じて探索ブロックサイズ判定を行うようにしてもよい。この場合、１６画素×１６ラインの符号化対象ブロックが図２に示すような物体の内部に存在するものであると、当該物体全体を内部に含むまでサイズを拡大した探索ブロックにより動き補償予測を実行する。

実施の形態２．
この実施の形態２は、符号化対象ブロックの画面内の位置に応じて、探索ブロックにおける符号化対象ブロックの位置関係を適応的に設定するものである。

実施の形態２による画像符号化装置の基本的な構成は、上記実施の形態１の図１で示したものと同様であるが、実施の形態２による探索ブロックサイズ判定部１７では、画像特性演算部１６からの画像特性パラメータの解析結果に基づく探索ブロックサイズ判定処理に加え、符号化対象ブロックの画面内の位置に応じて探索ブロックにおける符号化対象ブロックの位置関係を適応的に設定する点で上記実施の形態１と異なる。

次に動作について説明する。
以降の説明ではＭＰＥＧ−２による符号化を例に挙げるが、本発明は動き補償予測を行う符号化処理であればＭＰＥＧ−２以外にも適用することができる。また、以降では、例えばフレーム構造におけるフレーム動き補償予測時に３２画素×３２ラインのブロックで動き補償予測を行うものとする。なお、本実施の形態による画像符号化装置の基本的な動作は上記実施の形態１と同様であるので、異なる点である探索ブロックサイズ判定部１７による処理について主に説明する。

探索ブロックサイズ判定部１７は、符号化フレームの水平方向の画素数、垂直方向のライン数が外部から設定されている、あるいは、１種類の符号化フレームの大きさに限定された装置の場合、内部にその情報を有しているものとする。

また、探索ブロックサイズ判定部１７は、符号化フレーム内の符号化対象ブロックの個数をカウントするカウンタを有する。これにより、現在符号化を行っている符号化対象ブロックが符号化フレームの中で何番目のブロックであるかを上記カウンタのカウンタ値として保持する。

一方、符号化処理は、符号化対象ブロック単位で符号化フレーム画面内の左上から開始され、右方向へと進んでいき、右端に達すると垂直方向の次のブロック列の左側から右方向へ進んでいくように進められる。

これにより、探索ブロックサイズ判定部１７は、符号化フレームの水平方向の画素数、垂直方向のライン数及び上記カウンタ値より、現在の符号化対象ブロックが画面内のどの位置に存在しているかを特定する。

このあと、探索ブロックサイズ判定部１７は、符号化フレーム画面内で特定された位置に応じて３２画素×３２ラインのブロック内の符号化対象ブロック位置を決定し、このブロックを探索ブロックとして動き探索処理するように動き補償予測部１３に通知する。
このようにして、符号化フレーム画面内の位置に応じて探索ブロックにおける符号化対象ブロックの位置関係が適応的に設定されることになる。

この位置情報に応じて、探索ブロックサイズ判定部１７は、符号化フレーム画面内の符号化対象ブロック位置に応じた拡張を施したサイズの画素ブロックをメモリ１から動き補償予測部１３に転送するように制御する。動き補償予測部１３では、探索ブロックサイズ判定部１７による制御でメモリ１から転送されたサイズの画素ブロックにより動き探索を行う。これにより、イントラ／インター判定部１２及び動き補償予測部１３は、探索ブロックサイズ判定部１７により指定された探索ブロックで動き探索し、符号化対象ブロックの動き補償予測を実行することになる。

図４は符号化フレーム画像を符号化対象ブロックと共に示した図であり、図５は図４中のフレーム画像内の位置が異なる各符号化対象ブロックと探索ブロックとの関係を示す図である。図４では、符号化フレーム４０内に符号化対象ブロック４１〜４９が存在する例を示している。これら符号化対象ブロック４１〜４９は、符号化フレーム４０内の様々な位置にそれぞれ存在している。符号化対象ブロック４１〜４４，４６〜４９は符号化フレーム４０による画面の隅や端部に位置し、符号化対象ブロック４５は画面中央に位置している。

図５の例では、図４中の符号化フレーム４０内の各位置における符号化対象ブロックとこれらの位置に応じた探索ブロックを示している。図において、斜線を施した１６画素×１６ラインのブロックが符号化対象ブロック４１〜４９であり、これら符号化対象ブロック４１〜４９をそれぞれ含む３２画素×３２ラインのサイズを有するブロックが探索ブロックである。

図示の例において、探索ブロックサイズ判定部１７は、上述のようにして符号化フレーム画面内の符号化対象ブロックの位置を認識すると、画面外にはみ出さないように探索ブロックを設定する。例えば、符号化フレーム画面の端部に接しており、探索ブロックを単純に拡張して設定すると画面外にはみ出してしまうような符号化対象ブロック４１〜４４，４６〜４９については、図５（ａ）〜（ｄ），（ｆ）〜（ｉ）にそれぞれ示すように符号化対象ブロックを画面内側に拡張させた画素ブロックを探索ブロックとして決定する。

一方、四方に単純に拡張しても画面の外側にはみ出さない位置にある符号化対象ブロック４５については、図５（ｅ）に示すように符号化対象ブロック４５の周囲を８画素×８ラインのブロックで取り囲んだ画素ブロックを探索ブロックとして決定する。

なお、動き補償予測における動き探索を実行するにあたり、符号化フレーム画面内のほとんどにおいて平坦な画像でない限り、符号化対象ブロックと同一の１６画素×１６ラインのブロックよりも符号化対象ブロックを含む３２画素×３２ラインのブロックの方が物体の輪郭や模様を含む可能性が高い。従って、３２画素×３２ラインのブロックで動き補償探索を行う方が、物体の動きをより正確に追従でき、符号化効率を向上させることもできる。

また、フィールド構造におけるフィールド動き補償予測においても同様のことが可能である。さらに、フレーム構造におけるフィールド動き補償予測などの１６画素×８ラインのブロックにおいても、探索ブロックを、例えば３２画素×１６ラインの画素ブロックに拡張すれば同様の処理が行え、同様の効果を得ることができる。

以上のように、この実施の形態２によれば、符号化対象ブロックの画面内の位置に応じて探索ブロックにおける符号化対象ブロックの位置関係を適応的に設定するので、符号化フレーム画面からはずれるような不適切な探索ブロックが選択されることを防止することができる。

実施の形態３．
この実施の形態３による画像符号化装置の基本的な構成は、上記実施の形態１の図１で示したものと同様である。上記実施の形態１と異なる点としては、実施の形態３による探索ブロックサイズ判定部１７が、符号化対象ブロック（１６画素×１６ラインのブロック）を拡張したサイズの探索ブロックで動き補償予測部１３に動き探索させるにあたり、符号化対象ブロックと同一サイズの探索ブロックで行う処理と同一の演算回数になるように探索ブロック内で演算を行うべき画素を間引く処理を実行する。

次に動作について説明する。
以降の説明ではＭＰＥＧ−２による符号化を例に挙げるが、本発明は動き補償予測を行う符号化処理であればＭＰＥＧ−２以外にも適用することができる。また、以降では、例えばフレーム構造におけるフレーム動き補償予測を行うものとする。なお、本実施の形態による画像符号化装置の基本的な動作は上記実施の形態１と同様であるので、異なる点である探索ブロックサイズ判定部１７による処理について主に説明する。

探索ブロックサイズ判定部１７は、上記実施の形態１や上記実施の形態２と同様な処理にて、符号化対象ブロックの画面内の位置に応じて探索ブロックにおける符号化対象ブロックの位置関係を適応的に設定し、例えば図６に示すような探索ブロックに適宜切り替えるものとする。

図示の例では、ＭＰＥＧ−２符号化方式で一般的に使用される１６画素×１６ラインの探索ブロック、１６画素×３２ライン、３２画素×１６ライン、３２画素×３２ラインの４種類のサイズの探索ブロック間で切り替える。なお、斜線を施した１６画素×１６ラインのブロックが符号化対象ブロックであり、この符号化対象ブロックを含む実線で示したブロックが探索ブロックである。１６画素×１６ラインの場合は、符号化対象ブロックと探索ブロックは同一のものである。

ここで、探索ブロックサイズ判定部１７は、１６画素×１６ラインの探索ブロック以外のブロックを探索ブロックと判定する場合、１６画素×１６ラインの探索ブロックと同一の演算回数で処理されるように演算すべき画素を選別する。

図７〜９は、図６中の１６画素×１６ラインの探索ブロック以外の各探索ブロックで差分絶対値和などの演算処理を行うべき画素位置と当該演算を行わない画素位置とを示す図である。これらの図において、斜線を付した画素が演算を行う画素であり、白色の画素は演算を行わない画素である。

図７，８にそれぞれ示す１６画素×３２ライン及び３２画素×１６ラインの探索ブロックでは、２画素に１画素の割合で演算を行う例を示している。一方、図９に示す３２画素×３２ラインの探索ブロックは、１６画素×１６ラインのブロックの４倍の画素数を有するので、４画素に１画素の割合で演算を行う。１６画素×１６ラインの場合は、全ての画素すなわち２５６画素に対して演算を行うものとする。

上述したような演算を実行する画素の割合は、探索ブロックサイズ判定部１７によって１６画素×１６ラインのブロックとのサイズ（画素数）の違いを考慮して演算すべき画素数が一致するように決定する。図７〜９に示す例では、演算を行う画素を間引くことにより、演算対象の画素数が全ての探索ブロックにおいて２５６画素となる。

また、演算しないものとして間引かれる画素位置は、図に示すように一定の間隔で間引く場合の他、画像特性パラメータにより特定される画像特性に応じて間引く方法も考えられる。例えば、画像特性パラメータにより画面内の物体の輪郭部分を構成する画素であると判定されれば、動き補償予測への影響を考慮して当該画素を間引かず、他の平坦な部分の画素を間引くようにする。

探索ブロックサイズ判定部１７は、上述のようにして演算しない画素を特定した画素ブロックをメモリ１から動き補償予測部１３に転送するように制御する。動き補償予測部１３では、探索ブロックサイズ判定部１７による制御でメモリ１から転送されたサイズで且つ演算しない画素位置が特定された画素ブロックにより動き探索を行う。これにより、イントラ／インター判定部１２及び動き補償予測部１３は、探索ブロックサイズ判定部１７により指定された探索ブロックで動き探索し、符号化対象ブロックの動き補償予測を実行することになる。

なお、フィールド構造におけるフィールド動き補償予測においても同様のことが可能である。さらに、フレーム構造におけるフィールド動き補償予測などの１６画素×８ラインのブロックにおいても上記と同様の切り替えならびに間引きを行うことができる。

以上のように、この実施の形態３によれば、サイズを拡張した探索ブロックにおいて演算を実行しない画素位置を規定するようにしたので、回路規模や演算処理時間を増加させることなく、１６画素×１６ラインの探索ブロックと同様の評価値を得ることができる。

また、物体の輪郭あるいは細かい模様が符号化対象ブロック内に含む、含まない、あるいは近隣の領域に存在する、存在しないなどの符号化対象ブロックの画像特性に応じて、探索ブロックサイズを変更するか、あるいは変更しないで演算の精度を優先するかの選択ができ、最適な動きベクトルを得ることができる。

この発明の実施の形態１による動画像符号化装置の構成を示すブロック図である。 実施の形態１の画像符号化装置による動き補償探索処理の概要を説明する図である。 画像特性パラメータを算出するための画像領域を示す図である。 符号化フレーム画像を符号化対象ブロックと共に示した図である。 図５は図４中のフレーム画像内の位置が異なる各符号化対象ブロックと探索ブロックとの関係を示す図である。 探索ブロックとして切り替える画素ブロック例を示す図である。 画素の演算の有無を区別した１６画素×３２ラインの探索ブロックを示す図である。 画素の演算の有無を区別した３２画素×１６ラインの探索ブロックを示す図である。 画素の演算の有無を区別した３２画素×３２ラインの探索ブロックを示す図である。

符号の説明

１ メモリ、２ 減算器、３ セレクタ、４ ＤＣＴ演算器、５ 量子化器、６ 可変長符号化部、７ バッファ、８ 逆量子化器、９ 逆ＤＣＴ演算器、１０ フレーム加算器、１１ セレクタ、１２ イントラ／インター判定部、１３ 動き補償予測部、１４ フレームメモリ、１５ 量子化制御部、１６ 画像特性演算部、１７ 探索ブロックサイズ判定部。

Claims (9)

1. 時間軸上に並んだ複数の画像より構成される符号化対象画像を入力し、上記符号化対象画像の視覚的な特性を示す画像特性パラメータを算出する画像特性演算部と、
   上記画像特性パラメータで示される上記符号化対象画像の視覚的な特性に応じて動き補償探索を実行すべきサイズの画素ブロックを判定して、動き補償探索の探索ブロックとする探索ブロックサイズ判定部と、
   上記探索ブロックサイズ判定部により決定された探索ブロックで動き補償探索を実行する動き補償予測部と
   を備えた画像符号化装置。
2. 画像特性演算部は、符号化対象画像から抽出した符号化対象ブロックごとに画像特性パラメータを算出することを特徴とする請求項１記載の画像符号化装置。
3. 画像特性演算部は、符号化対象画像から抽出した符号化対象ブロック及びこれと境界を接する画素領域ごとに画像特性パラメータを算出することを特徴とする請求項１記載の画像符号化装置。
4. 画像特性演算部は、符号化対象画像から抽出した符号化対象ブロック及びこれと境界を接する画素領域ごとに画像特性パラメータを算出し、
   探索ブロックサイズ判定部は、上記画像特性パラメータから画像特性として上記符号化対象ブロック及びこれと境界を接する画素領域ごとに画像の平坦さを判定し、上記符号化対象ブロックと境界を接する画素領域が平坦でない画像であると、上記符号化対象ブロック及びこれと境界を接する画素領域を含む拡張したサイズの画素ブロックを探索ブロックとし、上記符号化対象ブロックが平坦でない画像であると、上記符号化対象ブロックと同一サイズの画素ブロックを探索ブロックとし、
   動き補償予測部は、上記探索ブロックにより動き補償探索を実行することを特徴とする請求項１記載の画像符号化装置。
5. 画像特性演算部は、符号化対象画像から抽出した符号化対象ブロック及びこれと境界を接する画素領域ごとに画像特性パラメータとして画素値の分散値を算出し、
   探索ブロックサイズ判定部は、上記分散値を指標として平坦さを判定することを特徴とする請求項１記載の画像符号化装置。
6. 画像特性演算部は、符号化対象画像から抽出した符号化対象ブロック及びこれと境界を接する画素領域ごとに画像特性パラメータとして画素の水平方向及び垂直方向の周波数成分の分布をそれぞれ算出し、
   探索ブロックサイズ判定部は、上記水平方向及び垂直方向の周波数成分の分布を指標として平坦さを判定することを特徴とする請求項１記載の画像符号化装置。
7. 探索ブロックサイズ判定部は、符号化対象画像から抽出した符号化対象ブロックのサイズを拡張した画素ブロックを探索ブロックとすると、上記符号化対象ブロックと同一サイズの画素ブロックを探索ブロックとした場合と同一の演算回数となるように上記符号化対象ブロックのサイズを拡張してなる探索ブロックから演算対象となる画素を間引くことを特徴とする請求項１記載の画像符号化装置。
8. 探索ブロックサイズ判定部は、画像特性パラメータから求めた符号化対象ブロックの視覚的な特性に応じて、上記符号化対象ブロックのサイズを拡張してなる探索ブロックから間引くべき画素を決定することを特徴とする請求項７記載の画像符号化装置。
9. 時間軸上に並んだ複数の画像より構成される符号化対象画像を入力し、上記符号化対象画像の視覚的な特性を示す画像特性パラメータを算出する画像特性演算部、
   上記画像特性パラメータで示される上記符号化対象画像の視覚的な特性に応じて動き補償探索を実行すべきサイズの画素ブロックを判定して、動き補償探索の探索ブロックとする探索ブロックサイズ判定部、
   上記探索ブロックサイズ判定部により決定された探索ブロックで動き補償探索を実行する動き補償予測部
   としてコンピュータを機能させるプログラム。

Images