JP2005348438A - 画像符号化方法 - Google Patents

Abstract

【課題】 注目領域の画質を維持しながら全体のデータ圧縮率を高める場合、必要なハードウエアの規模が大きく、処理の負荷も大きかった。
【解決手段】 現フレームに整列された画像ブロックの対応位置を前フレームで探す逆方向検出（Ｓ１）を行う。例えばＭＰＥＧのブロックマッチングの結果をそのまま利用する。つぎに、前フレームにとられた注目領域の対応位置を現フレームで探す順方向検出を行う（Ｓ２）。これで現フレームにも注目領域が設定される。つぎに、注目領域により多い符号量を与え、フレーム画像を符号化する（Ｓ３）。
【選択図】 図１

Description

この発明は画像符号化方法に関する。

各種ネットワーク技術や情報機器のハードウエア性能とソフトウエア技術の飛躍的な向上により、大量の画像データを伝送して利用する用途が広がりつつある。画像処理技術の進歩により、カメラ、パーソナルコンピュータ、ビデオ機器、テレビをはじめとする画像関連機器が有機的なつながりを持ちはじめ、インターネットなどのネットワーク関連インフラストラクチャとあいまって、新たな映像文化、商形態、教育やビジネスに関する環境を提供しはじめている。こうした状況下、より高い画質の動画像をより高速かつ少ないデータ量で伝送または提供することに対する需要はきわめて大きい。

現在、動画像を高いデータ圧縮率で符号化する種々の技術が実用化されている。例えばテレビ電話を考えた場合、話者の顔を中心とする注目領域の符号化精度を高め、背景等の非注目領域の符号化精度をできる限り落とすことでデータを圧縮する考え方が知られている。フレーム画像から注目領域を検出するために画像認識技術などいろいろな画像処理技術が用いられている。
特開平８−１８１９９２号公報

しかしながら、フレーム画像から注目領域を検出するために必要な計算時間は一般に長い。特に、高い検出精度を求める場合、計算に必要なハードウエアも増大するため、製品化におけるコストダウン、動画像のリアルタイム処理の足かせとなっている。ハードウエアの肥大化を回避し、処理時間も延ばすことなく注目領域を的確に検出する技術が望まれている。

特許文献１には、入力画像から特定領域と動き領域を抽出し、特定領域に対して相対的に多くの符号量を割り当てる動画像符号化装置および領域抽出装置が開示されている。同公報によれば、テレビ電話を考えたとき特定領域は話者の顔またはその中心付近、動き領域はその周辺の動きのある領域と理解することができる。この方法では動き補償予測を行ったときに特定領域と動き領域が検出される。しかしこの装置の場合、特定領域を求めてから動き領域を求めるという二段階処理を行うため、処理の負荷、必要なハードウエアの大きさという点で改善の余地が見られる。

本発明は以上の状況に鑑みてなされたものであり、注目領域を検出するためにハードウエアの追加をほとんど必要とせず、処理時間もほとんど延ばすことのない注目領域追跡方法と、その方法を用いた注目領域追跡装置および画像符号化方法を提供することにある。

本発明のひとつの注目領域追跡方法は、フレーム画像がブロックやエリア等の単位領域に分割され、単位領域ごとにフレーム間の動きが追跡されていることを前提とする。このとき、本発明はその単位領域とは独立して（すなわち、その単位領域に拘束されることなく、その単位領域を意識することなく、またはその単位領域の境界線とは関係のない境界線をもつよう）フレーム画像内に定められた矩形、円形、対象物の外形等の任意形状の注目領域の動きを、その注目領域と所定の位置関係にある単位領域の動きの追跡結果を利用して推定する。単位領域ごとに行われるフレーム間の動きの追跡は、動き補償予測の一環として、本来前記注目領域の追跡とは無関係に行われるものであってもよい。「所定の位置関係」は、注目領域に単位領域が包含される場合、注目領域に単位領域の一部が含まれる場合、注目領域付近に単位領域が存在する場合などが考えられる。

この発明によれば、動き補償予測などのために単位領域の動きが検出されているとき、その検出結果が注目領域の動きの検出に有効利用される。このため、注目領域の動きの追跡専用にハードウエアを準備する必要がなく、注目領域の追跡によって増える処理時間も非常に少ない。

本発明の別の注目領域追跡方法は、逆方向検出工程と順方向検出工程を含む。逆方向検出工程は、現フレーム（それに基づくフレーム全般を含む）に設けられた単位領域に対応する領域の位置（単に対応位置ともいう）を前フレーム（それに基づくフレーム全般を含む）において検出する。一方、順方向検出工程は、逆方向検出工程の結果を利用することにより、前フレームに設けられた注目領域に対応する領域の位置、つまり対応位置を現フレームにおいて検出する。この方法の場合も上述同様の効果がある。

本発明に係るひとつの画像符号化方法は、フレーム画像が単位領域に分割され、単位領域ごとにフレーム間の動きが追跡されていることを前提とする。このとき本発明は、その単位領域とは独立にフレーム画像内に定められた任意形状の注目領域の動きを、その注目領域と所定の位置関係にある単位領域の動きの追跡結果を利用して推定し、フレーム画像のうち、推定された注目領域についてはそれ以外の領域と異なる処理内容で符号化する。この発明によれば、例えば動き補償予測を行って画像を符号化する既存の装置に対し、非常に少ないハードウエアを追加することだけでデータ圧縮率をより高めることができる。注目領域の符号化精度が高まるよう、すなわち注目領域を復号化したときにその領域の画質が他の領域よりも高まるよう前記処理内容を変えてもよい。「異なる処理内容」とは、異なる符号化手法を用いる場合や同一の符号化手法の中でパラメータを変える場合などがある。符号化の前後に量子化がなされる場合は、それも含めて符号化の処理内容とよぶことにする。したがって、量子化のステップ数を変える場合も符号化の処理内容が異なるとみなす。

本発明に係る別の画像符号化方法は、前述の逆方向検出工程と順方向検出工程の他に、符号化工程を含む。符号化工程は、フレーム画像のうち注目領域についてはそれ以外の領域と異なる処理内容で符号化する。このため、上述のごとく例えば注目領域の符号化精度を高めつつ、高いデータ圧縮率が実現できる。

一方、本発明の注目領域追跡装置は、現フレームに設けられた単位領域に対応する領域の前フレームにおける位置（対応位置）を判定する手段と、その判定結果を利用することにより、前フレームに設けられた注目領域に対応する領域の位置（対応位置）を現フレームに設定する手段とを含む。この構成によれば、例えば動き補償予測によって単位領域の動きに関する情報が得られたとき、それを用いて注目領域の動きを追跡することができる。このため、ハードウエアの追加も処理時間の増加も非常に少ない。なお、この注目領域追跡装置に、設定された注目領域についてはそれ以外の領域と異なる処理内容で符号化する符号化部を追加してもよい。

本発明によれば、注目領域を検出するためにハードウエアの追加をほとんど必要とせず、処理時間もほとんど延ばすことのない画像符号化方法を提供することが可能である。

本発明の好適な実施の形態を適宜図面を参照しながら説明する。

図１は実施の形態に係る注目領域追跡方法および画像符号化方法の処理手順の概要を示すフローチャートである。同図のごとく、処理は逆方向検出（Ｓ１）、順方向検出（Ｓ２）、符号化（Ｓ３）とつづく。このうち、逆方向検出と順方向検出が注目領域追跡方法に相当し、符号化まで含めれば画像符号化方法となる。

逆方向検出（Ｓ１）では、現フレームに設けられた単位領域に対応する領域の位置（以下、単に「単位領域の対応位置」ともいう）が前フレームにおいて検出される。すなわち、現フレームに正しく整列された単位領域の前フレームにおける対応領域が位置していた可能性の高い領域が候補領域として検出され、単位領域ごとにそれ自身と候補領域の変位を示す動き情報が生成される。この動き情報は例えば動きベクトルである。

本実施の形態では、単位領域の対応位置の検出にＭＰＥＧなどで採用される動き補償予測を利用する。ＭＰＥＧでは現フレームに単位領域であるブロックをマトリックス状に整列させ、これらのブロックの対応位置を前フレームに探しにいくため、本実施の形態と親和性が高い。ただし、単位領域の対応位置の検出は必ずしも動き補償予測を利用する必要はなく、エッジ検出やオプティカルフローなどの画像解析を利用して行ってもよい。その場合、Ｓ１の検出は逆方向でなくてもよい。

つづいて順方向検出（Ｓ２）が行われる。Ｓ２では、Ｓ１の結果を利用することにより、前フレームに設けられた注目領域に対応する領域の位置（以下、単に「注目領域の対応位置」ともいう）を現フレームにおいて検出する。注目領域は、好適には単位領域よりも大きくとられる。本実施形態では、単位領域、注目領域はそれぞれ各フレームにおいて同一形状および同一の大きさであるが、領域の一部がフレーム外にまたがる場合には異なる。

Ｓ２では、前フレームにとられた候補領域のうち前フレームにおける注目領域に含まれるものが、まず重要領域として選定される。つぎに重要領域に関する動き情報が総合的に考慮され、注目領域が追跡される。一例として、重要領域に関する動きベクトルを平均して注目領域の動きベクトルを求めてもよい。この結果、前フレームで設定されていた注目領域をもとに現フレームの注目領域が決まり、注目領域を順次追跡していくことができる。

この後、符号化（Ｓ３）を行う。Ｓ２で現フレームにおける注目領域が判明するため、注目領域の符号化精度を高め、それ以外の領域の符号化精度を低く抑えるような符号化が可能である。符号化の処理内容を適切に調整することにより、画質、特に主観画質を十分高く維持しながらデータ圧縮率を高めることができる。

図２は実施の形態に係る画像符号化装置の構成図である。同図のうち注目領域追跡部１３とそれに対する入力、および注目領域追跡部１３の出力に応答する符号量制御部１４が新たな構成であり、それ以外は既知のＭＰＥＧ符号化器を利用している。

同図のごとくこの装置は、フレーム画像を順次入力する入力フレームメモリ部１、その出力２０であるフレーム画像から動き補償予測部１２の出力２１を減じる減算器２、減算器２の出力２２を入力してこれに離散コサイン変換（ＤＣＴ）等の直交変換を加える直交変換部３、直交変換部３の出力２３を入力し、各空間周波数成分の係数を量子化する量子化部４、量子化部４の出力２４を入力し、これに逆量子化を施す逆量子化部７、逆量子化部７の出力２７を入力し、これに逆直交変換を施す逆直交変換部８、逆直交変換部８の出力２８を入力し、これに動き補償予測部１２の出力２１を加算する加算器９、加算器９の出力２９を入力してこれを記憶する参照フレームメモリ部１０、参照フレームメモリ部１０の出力３０および入力フレームメモリ部１の出力２０を入力し、ブロックマッチングを行って各ブロックの動きベクトル１５を導出する動き検出部１１、参照フレームメモリ部１０の出力３０と動きベクトル１５をもとに現フレームの各ブロックの画素値を予測する動き補償予測部１２、量子化部４の出力２４を入力し、量子化された空間周波数の各係数をエントロピー符号化する符号化部５、符号化部５の出力２５を入力し、これをタイミング調整のために一時格納するバッファメモリ部６、動きベクトル１５を入力し、注目領域を追跡する注目領域追跡部１３、バッファメモリ部６からバッファの空き状況に基づいて出力される第一符号化精度指示２６、および注目領域追跡部１３から注目領域の位置を示すために出力される第二符号化精度指示１６を入力し、これらふたつの指示にしたがって符号化精度を制御する符号量制御部１４をもつ。符号量制御部１４の出力３１は量子化部４に与えられる。

量子化部４は、符号量制御部１４の出力３１に従って符号量または符号化精度が変わるよう量子化ステップ（量子化幅）を変更する。つまり、注目領域に対して符号化精度を高めるときは量子化ステップを細かく設定し、逆に注目領域以外の場合は粗く設定する。これとは別に、バッファメモリ部６にバッファの空きが少なくなれば、第一符号化精度指示２６が量子化レベル数を減らすよう指示をする。

図３は注目領域追跡部１３の内部構成図である。注目領域追跡部１３は、動きベクトル１５を入力して現フレームの各ブロックの前フレームにおける対応位置が前フレームに設定された注目領域に入るか否かを判定するブロック位置判定部１３０、動画像の処理に当たって最初に投入されるフレームに対して注目領域を初期的に設定する初期設定部１３１、ブロック位置判定部１３０および初期設定部１３１の指示にしたがい、前フレームにおける対応位置が前フレームに設定された注目領域に入るようなブロックの動きベクトルを総合的に斟酌して注目領域の動きベクトルを計算し、その動きベクトルをもとに現フレームに注目領域を設定する注目領域設定部１３２、注目領域追跡部１３から第二符号化精度指示１６という形で出力される注目領域の位置情報を一時的に格納する位置保持部１３３を含む。注目領域の位置情報は毎フレーム更新され、ブロック位置判定部１３０で次のフレームを処理する際に参照される。

以上の構成による注目領域の追跡と画像の符号化を説明する。まずあるフレームＦ_nが入力フレームメモリ部１に入力されたとする。フレームＦ_nは減算器２に向けて出力される。減算器２には動き補償予測部１２の出力２１が入力されている。この出力２１は、ひとつ前に入力されたフレームＦ_n-1をもとに現フレームＦ_nを予測して生成されたフレーム、すなわちＭＰＥＧで参照フレームと呼ばれるものであり、減算器２では、実際に入力されたフレームＦ_nと参照フレームの差分のみが減算器２の出力２２として直交変換部３へ出力される。

直交変換部３では前記差分を直交変換し、空間周波数成分に展開する。展開の結果は直交変換部３の出力２３として量子化部４へ与えられる。量子化部４は空間周波数成分の各係数を量子化する。この際、量子化部４は符号量制御部１４の指示にしたがって量子化ステップ数を決める。

量子化部４の出力２４は符号化部５に与えられ、ここで量子化された係数が符号化される。符号化部５の出力２５はバッファメモリ部６に与えられ、ここでタイミングが調節された後、図示しないデータ記憶媒体や復号化器に向けて出力される。

量子化部４の出力２４は逆量子化部７へも与えられ、ここで逆量子化が行われる。逆量子化部７の出力２７は逆直交変換部８へ入力され、逆直交変換が行われる。この段階で前記差分に相当する画像が再現される。逆直交変換部８の出力２８は加算器９に与えられる。加算器９は逆直交変換部８の出力２８と動き補償予測部１２の出力２１を加算し、参照フレームを生成する。参照フレームは加算器９の出力２９として参照フレームメモリ部１０へ入力され、記憶される。

一方、入力フレームメモリ部１には次のフレームＦ_n+1が入力され、このフレームの処理が開始される。フレームＦ_nをもとに生成された参照フレーム、つまりフレームＦ_n+1の処理の際に参照されるフレームは、適切なタイミングで参照フレームメモリ部１０の出力３０として動き補償予測部１２および動き検出部１１に与えられる。動き検出部１１は、参照フレームおよび入力フレームメモリ部１の出力２０であるフレームＦ_n+1の間でブロックマッチングを行う。ＭＰＥＧの場合このブロックマッチングは、後のほうのフレームであるフレームＦ_n+1内に整列されたブロックのおのおのについて、対応位置を前のフレームであるフレームＦ_n、より正確にはフレームＦ_nから生成された参照フレームへ探索しにいく。したがって、この処理は逆方向検出である。各ブロックについて対応位置が判明すれば動きベクトル１５が決まり、これを動き補償予測部１２と注目領域追跡部１３へ出力する。

動き補償予測部１２は、参照フレームにおいて各ブロックを動きベクトルにしたがって移動し、フレームＦ_n+1に最も近い画像を生成する。こうして動きを補償した予測が完了し、動き補償予測部１２の出力２１が減算器２へ出力される。動きを補償するため、減算器２では一般に差分データ量が少なくなり、符号量も少なくてすむ。以降同様の処理を繰りかえすことでフレーム画像を順次符号化していく。

注目領域追跡部１３のブロック位置判定部１３０は、動きベクトル１５をもとに、現フレームの各ブロックの前フレームにおける対応位置が前フレームで設定された注目領域に入るか否かを判定する。本実施の形態では、前記対応位置の中心が注目領域に含まれる場合、「注目領域に入っている」とみなし、そのようなブロックを「重要ブロック」と呼ぶことにする。

注目領域設定部１３２は、重要ブロックの動きベクトルの平均を計算し、この平均ベクトルから注目領域の動きを求める。したがって、前フレームの注目領域の位置から前記平均ベクトルの示す変位を加えることで現フレームの注目領域の位置が判明する。この位置にしたがい、現フレームの注目領域を設定する。設定された注目領域の位置情報は位置保持部１３３に格納され、次のフレームの処理に利用される。注目領域は前フレームから現フレーム、現フレームからさらに次のフレームと検出されるため、これは順方向検出である。以下同様に重要ブロックの判定と平均ベクトルの算出を繰り返すことで注目領域を追跡していくことができる。

なお、動画像の最初のフレームについては注目領域をなんらかの方法で設定する必要があるため、初期設定部１３１で対応する。初期設定部１３１はユーザによる注目領域の入力を受け付けるユーザインタフェイス機能をもっていてもよいし、注目領域を既知の方法で探索する自動探索機能を持っていもよい。また、テレビ電話などの場合、注目領域は画面の中央付近に存在することが多いため、初期設定部１３１はフレーム画像の中央に固定的に最初の注目領域を設定してもよい。

本装置による逆方向検出および順方向検出の詳細を図４から図７を用いて説明する。図４は本装置による処理手順のフローチャート、図５は現フレームＦ_nにおいて整列された６個のブロックＡからＦ、図６はこれらのブロックの前フレームＦ_n-1における対応位置およびそのフレームで設定されている注目領域４０、図７は現フレームＦ_nに設定された注目領域４１を前フレームＦ_n-1の注目領域４０とともに示す図である。図４は図１のフローチャートのひとつの詳細例である。図６のブロックＡ’からＦ’はそれぞれ図５のブロックＡからＦに対応する。

図４に示すごとく、まず処理しようとしているフレームが最初のフレームであるか否かが判定される（Ｓ１０）。仮に最初のフレームであれば、初期設定部１３１によってそのフレームに注目領域を設定しておく（Ｓ１１）。そうでなければそのまま逆方向検出（Ｓ１２）に進む。

逆方向検出のために、まず現フレームＦ_nのために前フレームＦ_n-1をもとに参照フレームが生成される（Ｓ１２０）。参照フレームは図２の入力フレームメモリ部１から加算器９に至る経路で生成される。つづいて動き検出部１１でブロックマッチングで行われ、各ブロックの動きベクトル１５が算出される（Ｓ１２１）。逆方向検出に際して現フレームＦ_nにブロックが整列された様子は図５に示されている。

つぎに、動きベクトル１５は注目領域追跡部１３へ与えられ、順方向検出が開始される（Ｓ１３）。ブロック位置判定部１３０は動きベクトル１５をもとに、重要ブロックを選定する（Ｓ１３０）。図６の場合、前フレームＦ_n-1に設定された注目領域４０の中に、ブロックＡ’からＦ’のうち、４個のブロックＢ’、Ｃ’、Ｅ’、Ｆ’が含まれており、これら（またはそれらに対応するブロックＢ、Ｃ、Ｅ、Ｆと考えてもよい）が重要ブロックとなる。いま、ブロックＢに対するブロックＢ’の位置ベクトル、すなわち動きベクトルを（Ｕ_B，Ｖ_B）、同様にブロックＣに対するブロックＣ’の動きベクトルを（Ｕ_C，Ｖ_C）、ブロックＥに対するブロックＥ’の動きベクトルを（Ｕ_E，Ｖ_E）、ブロックＦに対するブロックＦ’の動きベクトルを（Ｕ_F，Ｖ_F）とすれば、前述の平均ベクトル（Ｕ_AVE，Ｖ_AVE）は、
（（Ｕ_B＋Ｕ_C＋Ｕ_E＋Ｕ_F）／４，（Ｖ_B＋Ｖ_C＋Ｖ_E＋Ｖ_F）／４）
となる。注目領域設定部１３２は、前フレームＦ_n-1の注目領域４０に対する現フレームＦ_nの注目領域４１の位置ベクトルを、方向も考えて、
（−（Ｕ_B＋Ｕ_C＋Ｕ_E＋Ｕ_F）／４，−（Ｖ_B＋Ｖ_C＋Ｖ_E＋Ｖ_F）／４）
とする。このベクトルをもとに、図７のごとく前フレームＦ_n-1の注目領域４０を移動して現フレームＦ_nの注目領域４１を設定し（Ｓ１３１）、その位置情報を注目領域追跡部１３の出力である第二符号化精指示１６として符号量制御部１４へ伝える。

この後、フレーム画像の符号化が行われる（Ｓ１４）。符号量制御部１４は注目領域４１の位置情報に従い、注目領域４１に対して相対的に符号量が多く、それ以外の領域に対して相対的に符号量が少なくなるよう量子化部４を制御する。

（実験の結果）
本実施の形態の有用性をテストするために、図２の画像符号化装置について実験を行った。実験に用いたフレーム画像は、ＭＰＥＧ４テスト画像「ｆｏｒｅｍａｎ」（ＣＩＦ ３５２×２８８、１００フレーム分）である。注目領域として顔の部分をＱＣＩＦサイズ（１７６×１４４）の矩形で切り出した。本実施の形態の例として、注目領域はＤＣＴ係数の量子化パラメータＱＰ＝４で符号化し、それ以外の領域はＱＰ＝１０で符号化した。ＱＰは小さな値ほど符号化精度が高い。

１．注目領域の画質が同一という条件の場合従来一般的な方法では、フレーム画像全体を同じ符号化精度（ここではＱＰ＝４）で符号化することになる。その場合に比べ、本実施の形態では全体の符号量を３９パーセント削減できた。

２．全体の符号量が一定という条件の場合フレーム画像全体を一定の符号化精度で符号化する場合、ＱＰ＝６で本実施の形態と全体の符号量がほぼ等しくなる。その場合に比べて、注目領域の画質を１．８ｄｂ改善することができた。

実施の形態に係る注目領域追跡方法および画像符号化方法の処理手順の概要を示すフローチャートである。 実施の形態に係る画像符号化装置の構成図である。 図２の注目領域追跡部１３の内部構成図である。 実施の形態に係る装置による処理手順のフローチャートである。 現フレームＦ_nにおいて整列された６個のブロックＡからＦを示す図である。 図５の各ブロックの前フレームＦ_n-1における対応位置およびそのフレームで設定されている注目領域を示す図である。 現フレームＦ_nに設定された注目領域を前フレームＦ_n-1の注目領域とともに示す図である。

符号の説明

１ 入力フレームメモリ部
２ 減算器
３ 直交変換部
４ 量子化部
５ 符号化部
６ バッファメモリ部
７ 逆量子化部
８ 逆直交変換部
９ 加算器
１０ 参照フレームメモリ部
１１ 動き検出部
１２ 動き補償予測部
１３ 注目領域追跡部
１４ 符号量制御部
１５ 動きベクトル
１６ 第二符号化精度指示
２０ 入力フレームメモリの出力
２１ 動き補償予測部の出力
２２ 減算器の出力
２３ 直交変換部の出力
２４ 量子化部の出力
２５ 符号化部の出力
２６ 第一符号化精度指示
２７ 逆量子化部の出力
２８ 逆直交変換部の出力
２９ 加算器の出力
３０ 参照フレーム部の出力
３１ 符号量制御部の出力
４０ 前フレームＦ_n-1の注目領域
４１ 現フレームＦ_nの注目領域
１３０ ブロック位置判定部
１３１ 初期設定部
１３２ 注目領域設定部
１３３ 位置保持部

Claims (1)

1. 現フレームに設けられた単位領域に対応する領域の位置を前フレームにおいて検出する逆方向検出工程と、
   逆方向検出工程の結果を利用することにより、前フレームに設けられた注目領域に対応する領域の位置を現フレームにおいて検出する順方向検出工程と、
   フレーム画像のうち注目領域についてはそれ以外の領域と異なる処理内容で符号化する符号化工程と、を含むことを特徴とする画像符号化方法。

Images