JP2008028528A - 画像符号化装置、方法およびシステム - Google Patents

Abstract

【課題】照合用に使われる動画像を符号化する場合において、照合精度を維持したまま、発生符号量を抑制できる画像符号化装置を提供する。
【解決手段】対象物検出部１０３は、動画像信号を構成する複数の画像の各々について、画像単位で特定の対象物を検出する。対象物パーツ解析部１０５は、対象物検出部１０３による対象物検出結果に基づき、検出された対象物を構成するパーツを解析し、画像内でのパーツの領域を特定可能な情報を対象物パーツ解析結果として求める。画像符号化部１０１は、対象物パーツ解析部１０５による対象物パーツ解析結果に基づいて、画像内の各部の符号化特性をパーツの領域か否か応じて変更する。符号化特性としては例えば量子化幅が変更される。対象物パーツ解析部１０５を設けることにより、対象物のパーツに応じて動画像信号の圧縮率を変更する符号化を行うことができる。
【選択図】 図１

Description

本発明は、特定の対象物を検出して、その検出結果に基づいて符号化を行う画像符号化装置およびその関連技術に関する。

従来の画像符号化装置は、図１１に示すように、入力画像信号に含まれる特定の対象物を検出する対象物検出部１１０１と、対象物検出部１１０１により特定の対象物が検出されたときに、検出された特定の対象物については符号化特性を変化させて画像の符号化を行う画像符号化部１１０２とで構成されている。図１２は、対象物が顔である場合を例として、図１１の画像符号化装置による符号化処理を示している。図示のように、入力画像信号に含まれる特定の対象物１２０１が検出されたとき、対象物１２０１の含まれるブロック１２０２においては符号化特性が変更される。こうして、対象物検出結果に応じて入力画像信号の圧縮率を変え、特定の対象物に限って画質を向上することが可能となる（例えば、特許文献１参照）。
特開２００５−１０９６０６号公報（第９−１２頁、第２図）

しかしながら、従来の画像符号化装置においては、検出した対象物全体の符号化特性を一様に変更して対象物全体の画質を向上しているために、以下のような問題がある。ここでは、照合に使われる画像を符号化する場合を考える。符号化された画像はビットストリームとして伝送され、受信側では符号化したビットストリームが復号されて、対象物の照合が行われる。照合では、例えば、登録された顔の有無が判定される。このような場合、発生符号量を抑えつつ、高い照合精度を得ることが望まれる。しかし、従来技術では、対象物全体の符号化特性を変更しているために、符号量が多くなり、そして照合に必要な処理量も多くなる。符号量を抑えようとすれば、対象物の画質が落ちて認証制度が低下してしまう。このように、従来の画像符号化装置では対象物の照合を行う場合のことが考慮されていないという問題があった。

本発明は、従来の問題を解決するためになされたもので、その目的は、照合用に使われる動画像を符号化する場合において、照合精度を維持したまま、発生符号量を抑制できる画像符号化装置を提供することにある。

本発明の画像符号化装置は、時系列に並んだ複数の画像から成る動画像信号を入力とし、入力された前記動画像信号の符号化を行い、符号を出力する画像符号化手段と、前記動画像信号を構成する前記複数の画像の各々について、画像単位で特定の対象物を検出する対象物検出手段と、前記対象物検出手段による対象物検出結果に基づき、検出された対象物を構成するパーツを解析し、画像内でのパーツの領域を特定可能な情報を対象物パーツ解析結果として求める対象物パーツ解析手段と、を備え、前記画像符号化手段は、前記対象物パーツ解析手段による対象物パーツ解析結果に基づいて、前記動画像信号を構成する前記複数の画像の各々について、画像内の各部の符号化特性をパーツの領域か否か応じて変更するように構成されている。

この構成により、対象物のうちのパーツ領域の符号化特性を変更するので、対象物の照合に必要なパーツの画質を保った上で、発生符号量を抑えた符号化をすることができる。パーツの画質が保たれていれば、パーツを基準に照合を行う際の照合精度を維持できる。したがって、符号化したビットストリームを復号して対象物の照合に使う場合において、照合精度を維持したまま、発生符号量を抑制できる。

また、本発明の画像符号化装置において、前記対象物検出手段は、各パーツの特徴を表す複数のパターン情報を用いて、前記複数のパターン情報に対応する領域を画像から探索することによって対象物を検出し、前記対象物パーツ解析手段は、前記対象物検出手段の処理にて画像内に対応領域が存在したパターン情報を用いて対象物のパーツを解析する。

この構成により、対象物検出で求められたパターン情報をパーツ解析に利用することで、少ない処理量で容易にパーツ解析結果を得られる。

また、本発明の画像符号化装置において、前記対象物検出手段は、各パーツの特徴を表す複数のパターン情報を用いて、前記複数のパターン情報に対応する領域を画像から探索することによって対象物を検出し、前記画像符号化手段は、前記対象物検出手段の処理にて画像内に対応領域が存在したパターン情報を格納しておく記憶手段と、過去フレームの画像信号を用いて動きベクトルを検出する制限付き動きベクトル検出手段とを備え、前記記憶手段により格納されたパターン情報を用いて、動きベクトルの探索範囲を限定する。

この構成により、動きベクトルの探索範囲を制限しても、精度の高い動きベクトルの検出ができ、動きベクトル検出の処理量を軽減することができる。

また、本発明の画像符号化装置は、パーツの重要度を指示する対象物パーツ重要度指定手段を備え、前記画像符号化手段は、前記対象物パーツ重要度指定手段により指定したパーツ重要度に応じて符号化特性を変更する。

この構成により、照合する際に対象物を識別する上で重要となるパーツを指定することができ、優先的に符号量を該パーツに割当てられるので、精度の高い対象物の照合を行うことができる。

本発明の別の態様は画像符号化方法であり、時系列に並んだ複数の画像から成る動画像信号を入力とし、入力された前記動画像信号の符号化を行い、符号を出力する画像符号化ステップと、前記動画像信号を構成する前記複数の画像の各々について、画像単位で特定の対象物を検出する対象物検出ステップと、前記対象物検出ステップによる対象物検出結果に基づき、検出された対象物を構成するパーツを解析し、画像内でのパーツの領域を特定可能な情報を対象物パーツ解析結果として求める対象物パーツ解析ステップと、を有し、前記画像符号化ステップは、前記対象物パーツ解析ステップによる対象物パーツ解析結果に基づいて、前記動画像信号を構成する前記複数の画像の各々について、画像内の各部の符号化特性をパーツの領域か否か応じて変更する。この態様によっても上述の本発明の利点が得られる。

また、本発明の画像符号化方法において、前記対象物検出ステップは、各パーツの特徴を表す複数のパターン情報を用いて、前記複数のパターン情報に対応する領域を画像から探索することによって対象物を検出し、前記対象物パーツ解析ステップは、前記対象物検出ステップの処理にて画像内に対応領域が存在したパターン情報を用いて対象物のパーツを解析する。この方法によっても上述の本発明の利点が得られる。

また、本発明の画像符号化方法において、前記対象物検出ステップは、各パーツの特徴を表す複数のパターン情報を用いて、前記複数のパターン情報に対応する領域を画像から探索することによって対象物を検出し、前記画像符号化ステップは、前記対象物検出ステップの処理にて画像内に対応領域が存在したパターン情報を格納する記憶ステップと、過去フレームの画像信号を用いて動きベクトルを検出する制限付き動きベクトル検出ステップとを有し、前記記憶ステップにて格納されたパターン情報を用いて、動きベクトルの探索範囲を限定する。この方法によっても上述の本発明の利点が得られる。

また、本発明の画像符号化方法は、パーツの重要度を指示する対象物パーツ重要度指定ステップを有し、前記画像符号化ステップは、前記対象物パーツ重要度指定ステップにより指定したパーツ重要度に応じて符号化特性を変更する。この方法によっても上述の本発明の利点が得られる。

また、本発明の一の態様は画像符号化システムであり、上述した画像符号化装置と、前記画像符号化装置と所定の伝送路で繋がっている画像復号化装置と、前記画像復号化装置で復号された動画像に対して対象物照合処理を行う対象物照合部とを備え、前記画像符号化装置は、前記所定の伝送路へ、生成した符号とともに、画像から得られた照合補助情報を送出する。照合補助情報は例えば対象物検出結果または対象物パーツ解析結果である。

この構成により、復号側の対象物照合部で、照合補助情報を再度生成せずに済む。これにより、符号化したビットストリームを復号化して対象物の照合を行う場合に、処理量を軽減することができる。

本発明は、上述のように対象物のうちのパーツ領域の符号化特性を変更するので、照合用に使われる動画像を符号化する場合において、照合精度を維持したまま、発生符号量を抑制できるという効果を有する画像符号化装置を提供することができる。

以下、本発明の実施の形態の画像符号化装置、方法およびシステムについて、図面を用いて説明する。

本発明の第１の実施の形態の画像符号化装置を図１に示す。

図１において、本実施の形態の画像符号化装置は、入力された動画像を符号化する画像符号化部１０１と、入力された動画像をフレーム単位で保持するメモリ１０２と、メモリ１０２に保持された動画像から対象物を検出する対象物検出部１０３と、対象物検出部１０３において検出に用いられたパターン情報を記憶しておくパターン情報保持部１０４と、対象物検出部１０３の解析結果に基づき、検出された対象物を構成するパーツを解析して画像内でのパーツの領域を特定する対象物パーツ解析結果の情報を生成する対象物パーツ解析部１０５とを有する。

また、動画像符号化部１０１は、入力された動画像に対して色空間や解像度変換を行い、ブロック単位で出力するフィルタ１１０と、画像信号の差分を計算する減算器１１１と、差分データに対してＤＣＴ（離散コサイン変換）を施すＤＣＴ部１１２と、ＤＣＴ係数に対してデータ量を削減するために離散的な代表値への対応づけを行う量子化部１１３と、ランレングスコーディングを行ってさらにデータ量を削減する可変長符号化部１１４と、ローカルデコード画像信号を保持する画像用のメモリ１１５と、メモリ１１５に保存された前フレームのローカルデコード画像信号を用いてマクロブロック単位で動きベクトルを検出する動きベクトル検出部１１６と、動きベクトルを用いて動きを予測する動き補償部１１７と、動き補償において差分を取るための比較用データを作成するローカルデコードブロックである逆量子化部１１８および逆ＤＣＴ部１１９と、逆変換の出力と動き補償の出力を加算する加算器１２０とを含む。

上記構成において、フィルタ部１１０は、入力された動画像に対して色空間や解像度変換を行い、画像符号化の基本処理単位である１６×１６の画素ブロックからなるマクロブロック単位で画像信号を減算器１１１に出力する。また、フィルタ部１１０の出力する画像信号は、動きベクトル検出部１１６とメモリ１０２にも供給される。

動きベクトル検出部１１６は、フィルタ部１１０からの画像信号と画像用メモリ１１５に格納されたローカルデコード画像信号とを用いて、前後数〜数十フレーム内の範囲でマッチングを行い、誤差の最も少なくなる動きベクトル情報を動き補償部１１７に出力する。

動き補償部１１７は、動きベクトル検出部１１６からの動きベクトル情報に基づいて、動き補償を行い予測画像信号を生成する。

減算器１１１は、フィルタ部１１０からの画像信号と、動き補償部１１７からの予測画像信号の差を取り、予測誤差をＤＣＴ部１１２に出力する。

ＤＣＴ部１１２は、減算器１１１からの予測誤差に対して、２次元の周波数成分に分解するＤＣＴ変換を行い、ＤＣＴ係数を量子化部１１３に出力する。

量子化部１１３は、データ量を削減するために、離散的な代表値への対応づけを行い、量子化係数を出力する。量子化部１１３では、後述する対象物パーツ解析部１０５からの対象物パーツ解析結果を基に、対象物パーツが存在するマクロブロックの量子化特性（例えば、量子化幅）を変更し、生成符号量を変える。このように、本実施の形態では、量子化部１１３が、符号化特性として量子化特性を対象物パーツ解析結果に応じて制御する特性制御手段として機能する。そして、符号化特性として量子化特性が、対象パーツ解析結果に応じて制御される。

可変長符号化部１１４は、量子化部１１３からの量子化係数に対して、ランレングスコーディングを行い、さらに符号量の削減を行う。

また、量子化部１１３から出力される量子化係数は、差分を取るための比較用の予測画像としても利用されるため、ローカルデコードブロックである逆量子化部１１８と逆ＤＣＴ部１１９にも供給される。逆ＤＣＴ部１１９の出力であるローカルデコードされた予測誤差信号と、動き補償部１１７からの予測画像信号とが加算器１２０で加算されて、ローカルデコード画像信号を画像用のメモリ１１５に保持される。

以上に画像符号化部１０１の各部構成について説明した。次に、対象物とそのパーツを検出する構成について説明する。

メモリ部１０２は、フィルタ部１１０からのブロック単位の画像信号を保持し、フレーム単位で画像信号を対象物検出部１０３に出力する。

対象物検出部１０３は、所定のデジタル信号処理に基づいて対象物検出を行う。対象物が顔の場合にBoostingを用いた検出を例に示すと、まず例えば目などの１つの顔の特徴について、画像中で尤もらしい領域の有無を確認する。尤もらしい領域がある場合は、さらに別の顔の特徴について尤もらしい領域の有無を確認する。こうした処理を何度も繰り返し、最終的に、予め定められたすべての顔の特徴について尤もらしい領域があった場合に、顔を識別する。このような対象物検出の具体的構成は、例えば特開２００４−１８５６１１号公報に開示されている技術を用いることで実現できる。

本実施の形態の場合、対象物検出部１０３は、パーツの特徴を表すパターン情報を用いて上述のような検出処理を実現する。パターン情報はパーツの画像でもよい。例えば、対象物が顔であり、パーツが目であり、パターン情報が目の２値画像（フィルタ）であるとする。対象物検出では、検出対象の画像が２値化される。そして、対象物検出部１０３は、２値化画像から、目のパターン情報とマッチングする領域を探索する。

また、上記の処理のために、各パーツ毎に複数のパターン情報が利用される。目を例にとると、異なる顔向きなどに対応する複数種類の目に対応する複数のパターン情報が予め用意され、記憶されている。対象物検出部１０３は、各々のパターン情報にマッチングする領域を画像から探索し、マッチング度が最も高い領域を求める。この最大マッチング領域のマッチング度が所定のしきい値以上であれば、該当領域がパーツとして特定される。このような処理が、目、鼻、口などの予め定められた複数のパーツの各々について行われる。そして、必要な全部のパーツが存在すれば顔が識別される。

ここで、上述の説明の中で、最大マッチング度を与えたパターン情報は、対象物検出処理にて画像内に対応領域が存在したパターン情報であり、複数のパターン情報のうちで顔の特徴の識別に最終的に使われたパターン情報である。このパターン情報を、本実施の形態では、（検出処理で）マッチングしたパターン情報という。

対象物検出部１０３は、顔領域の位置および大きさを検出結果として対象物パーツ解析部１０５へ出力する。パーツの位置も対象物検出過程で得られ、対象物パーツ解析部１０５へ出力されてよい。また、検出処理でマッチングしたパターン情報は、パターン情報保持部１０４に記憶され、対象物パーツ解析部１０５に出力される。

対象物パーツ解析部１０５は、画像内のパーツ領域を特定可能な対象物パーツ解析結果を求める構成である。本実施の形態では、対象物検出処理にてパーツのパターン情報を使って対象物が検出されているので、この検出結果を活用することで、下記のように少ない処理量で容易にパーツが解析される。

図２は、対象物パーツ解析部１０５の処理の例を示している。まず、対象物検出部１０３により検出された対象物検出結果２０１に対して、パターン情報保持部１０４に記憶されたパターン情報２０２（検出処理でマッチングしたパターン情報）を、位置と大きさを合わせてマッピングする。パターン情報２０２の位置は、対象物検出処理部１０３の処理で得られている。また、パターン情報２０２の大きさは、対象物検出結果２０２の対象物の大きさに応じて変更される。例えば、基準の顔の大きさと検出された顔の大きさの比を用いて、基準サイズのパターン情報が拡大または縮小される。

図２は、対象物が顔の場合であり、目と眉の陰影の特徴を表すパターン情報が一例として示している。この場合、黒色の部分が目と眉の特徴を表し、白色の部分が目の下の頬の特徴を表していることが分かる。そこで目を高画質化する場合は、このフィルタの黒色部分に目の領域が含まれているので、該領域（パターン情報２０２の黒色の部分）の位置と大きさ）が対象物パーツ解析結果として求められる。対象物パーツ解析結果は、量子化部１１３に出力される。

なお、対象物の各パーツの特徴を表すパターン情報と実際のパーツの関係を表す対応表が予め用意されており、この対応表がパーツ解析で使われて、上述のようにパターン情報２０２における目の部分の位置と大きさが特定されてよい。

また、対象物検出結果２０１にマッピングするパターン情報は、顔の場合では、上述の例の如く人物を識別するのに有益な情報を持つ目、鼻、口などの特徴を表すパターン情報にすることが好ましい。

次に、パーツ解析結果を利用する画像符号化部１０１の処理について説明する。画像符号化部１０１は、パーツ解析結果に応じて符号化特性を変える。本実施の形態では、量子化部１１３が、特性制御手段として機能し、以下のように量子化特性を変える。

図２を参照すると、量子化部１１３は、対象物パーツ解析部１０５から入力される対象物パーツ解析結果（パターン情報２０２の黒色の部分の位置と大きさ）に基づいて、ＤＣＴ部１１２から入力されるＤＣＴ変換係数を量子化するときに、対象物パーツが含まれるマクロブロック２０３の量子化特性を変更し、画像符号化部１０１による生成符号量を変える。

量子化特性の例として、量子化幅を用いて説明する。対象物パーツが含まれるマクロブロックの場合は、量子化部１１３は、量子化幅を所定の小さな値にする。これにより、対象物パーツが存在するマクロブロックの発生符号量が多くなり、圧縮率が変わり、高画質の符号化を実現できる。一方、対象物パーツが含まれないマクロブロックの場合は、量子化部１１３は、量子化幅をデフォルト値にする。このデフォルト値は、対象物パーツのための量子化幅よりも大きく設定された所定の大きな値である。これにより、対象物パーツが存在しないマクロブロックの発生符号量を抑えることができる。

なお、対象物パーツとそれ以外の領域で画質の不連続感がある場合は、対象物パーツ境界から段階的に量子化幅を変更するようにしてもよい。

また、対象物パーツ解析部１０５において、対象物パーツ解析結果として対象物パーツの位置と大きさを量子化部１０３に与えたが、対象物パーツが含まれるマクロブロック情報を与えるようにしてもよい。この情報も、パーツの領域を特定する対象物パーツ解析結果の情報に該当する。

図３は、上述した画像符号化装置の動作を示すフロー図である。フレームが入力された場合（Ｓ３０１、ＹＥＳ）、対象物検出が行われ（Ｓ３０２）、対象物検出結果とマッチングパターン情報（対象物検出でマッチングしたパターン情報）から、対象物パーツ解析が行われ、対象物パーツ解析結果が生成される（Ｓ３０３）。

次に、画像符号化部１０１は、対象物パーツ解析結果から処理ブロックごとに対象物パーツが含まれているかを判定し（Ｓ３０４）、現処理マクロブロックに対象物パーツが存在している場合（Ｓ３０４、ＹＥＳ）、画質を向上するように符号化特性を変更し（Ｓ３０５）、符号化を行う（Ｓ３０６）。画像符号化部１０１は、現処理マクロブロックに対象物パーツが存在していない場合（Ｓ３０４、ＮＯ）、デフォルトの符号化特性で符号化を行う（Ｓ３０６）。符号化特性としては量子化特性が変更され、ステップＳ３０５では量子化幅が縮小され、これにより圧縮率が変わる。符号化が終了したら、画像符号化装置は、全マクロブロック分の処理が終了したか判定を行い（Ｓ３０７）、全マクロブロックの処理が終了していない場合（Ｓ３０７、ＮＯ）、ステップＳ３０４まで戻り処理を繰り返す。全マクロブロックの処理が終了している場合（Ｓ３０７、ＹＥＳ）、画像符号化装置は、ステップＳ３０１まで戻り次のフレームの入力を持つ。

以上に本発明の第１の実施の形態に係る画像符号化装置について説明した。本実施の形態によれば、画像から特定の対象物が検出され、対象物検出結果に基づき、検出された対象物を構成するパーツが解析され、画像内でのパーツの領域を特定可能な対象物パーツ解析結果が求められる。そして、対象物パーツ解析結果に基づいて、画像内の各部の符号化特性がパーツの領域か否か応じて変更される。このようにして、対象物のうちのパーツ領域の符号化特性を変更するので、対象物の照合に必要なパーツの画質を保った上で、発生符号量を抑えた符号化をすることができる。パーツの画質が保たれていれば、パーツを基準に照合を行う際の照合精度を維持できる。したがって、符号化したビットストリームを復号して対象物の照合に使う場合において、高い照合精度を維持したまま、発生符号量を抑制できる。

また、本実施の形態によれば、各パーツの特徴を表す複数のパターン情報を用いて、複数のパターン情報に対応する領域を画像から探索することによって対象物が検出される。そして、対象物検出処理にて画像内に対応領域が存在したパターン情報を用いて、対象物のパーツが解析される。上記説明では、マッチングしたパターン情報を位置とサイズを合わせてマッピングすることで、パーツの領域が特定される。パーツの位置は対象物検出処理で得られ、パーツの大きさは対象物検出処理で得られた対象物の大きさにから比例計算等により求められる。このようにして、対象物検出で求められたパターン情報をパーツ解析に利用することで、少ない処理量で容易にパーツ解析結果を得られる。

次に、本発明の第２の実施の形態の画像符号化装置を図４に示す。

図４において、図１と同様の部分については、同一の符号を付して、適宜説明を省略する。図４に示すように、第３の実施の形態では、第１の実施の形態と異なり、画像符号化部１０１がメモリ４０１と制限付き動きベクトル検出部４０２とを備えている。

メモリ４０１は、デコード画像信号に加えてパターン情報を保持する。保持されるパターン情報は、検出処理でマッチングしたパターン情報（対象物検出処理にて画像内に対応領域が存在したパターン情報）である。

制限付き動きベクトル検出部４０２は、メモリ４０１に保持している前フレームの対象物検出にてマッチングしたパターン情報と、現フレームの対象物検出にてマッチングしたパターン情報を比較し、差の大きさにより動きベクトルの探索範囲を制限する機能を有する。

図５は、制限付き動きベクトル検出部４０２の処理を示している。制限付き動きベクトル検出部４０２は、前フレームの対象物検出処理にてマッチングしたパターン情報５０１と、現フレームの対象物検出処理にてマッチングしたパターン情報５０２を比較する。

図５（ａ）に示すように、２つのパターン情報５０１、５０２の差分が所定の閾値以下の場合は、現フレームの対象物と同様の特徴を示す対象物が前フレームにも存在すると判断することができる。そこで、制限付き動きベクトル検出部４０２は、現フレームで検出された対象物領域の動きベクトルを検出する際に、前フレームで検出された対象物領域に探索範囲を制限して、動きベクトルを決定する。

一方、図５（ｂ）に示すように、２つのパターン情報５０１、５０２の差分が所定の閾値より大きい場合は、制限付き動きベクトル検出部４０２は、現フレームの対象物と同様の特徴を示す対象物が前フレームに存在しないと判断し、探索範囲を制限せずに、動きベクトルを決定する。

より詳細には、本実施の形態では、複数のパーツが処理されており、したがって、前フレームの処理では複数のパーツにそれぞれマッチングした複数のパターン情報が得られている。同様に、現フレームの処理でも、複数のパーツにそれぞれマッチングした複数のパターン情報が得られている。そこで、パーツ毎に、前フレームで使われたパターン情報と現フレームで使われたパターン情報とが比較される。全パーツのパターン比較処理にてパターン情報間の差分が所定の閾値以下であれば、動きベクトルの探索範囲が制限されてよい。

また、上記の処理は、前フレームと現フレームの対象物検出に用いられたパターン情報を比較している。この比較処理は、例えば、対象物の特徴毎に求められる複数のパターン情報の一致度を求めることで実現できる。一致度は、例えば、差分絶対値和などで表される。

図６は、本実施の形態の画像符号化装置による画像符号化方法のフロー図を示している。まず、フレームが入力された場合（Ｓ６０１、ＹＥＳ）、対象物検出が行われ（Ｓ６０２）、対象物検出結果とマッチングパターン情報（対象物検出でマッチングが得られたパターン情報）から、対象物パーツ解析が行われて対象物パーツ解析結果が生成され（Ｓ６０３）、該対象物パーツ解析結果が保持される（Ｓ６０４）。このとき、画像符号化部１０１は、メモリの情報を参照して、前フレームの対象物検出にてマッチングしたパターン情報と、現フレームの対象物検出にてマッチングしたパターン情報を比較し、両者の差分が所定の閾値以下の場合（Ｓ６０５、ＹＥＳ）、Ｆｌａｇに１をセットし（Ｓ６０６）、差分が所定の閾値より大きい場合（Ｓ６０５、ＮＯ）、Ｆｌａｇに０をセットする（Ｓ６０７）。このＦｌａｇは、前フレーム処理と後フレーム処理にてそれぞれマッチングが得られたパターン情報間の一致の有無を識別する。

次に、画像符号化部１０１は、対象物パーツ解析結果から処理ブロックごとに対象物パーツが含まれているか判定を行い（Ｓ６０８）、現処理マクロブロックに対象物パーツが存在している場合（Ｓ６０８、ＹＥＳ）、画質を向上するように符号化特性を変更する（Ｓ６０９）。

さらに、画像符号化部１０１は、Ｆｌａｇが１の場合（Ｓ６１０、ＹＥＳ）、動きベクトルの探索範囲を前フレームの対象物領域に限定して（Ｓ６１１）、符号化を行う（Ｓ６１２）。画像符号化部１０１は、Ｆｌａｇが０の場合（Ｓ６１０、ＮＯ）、デフォルトの動きベクトルの探索範囲で符号化を行う（Ｓ６１２）。

一方、現処理マクロブロックに対象物パーツが存在していない場合（Ｓ６０８、ＮＯ）、画像符号化部１０１は、デフォルトの符号化特性と、デフォルトの動きベクトルの探索範囲で符号化を行う（Ｓ６１２）。符号化が終了したら、画像符号化部１０１は、全マクロブロック分の処理が終了したか判定を行い（Ｓ６１３）、全マクロブロックの処理が終了していない場合（Ｓ６１３、ＮＯ）、ステップＳ６０８まで戻り処理を繰り返す。全マクロブロックの処理が終了している場合（Ｓ６１３、ＹＥＳ）、ステップＳ６０１まで戻り次のフレームの入力を持つ。

以上に本発明の第２の実施の形態に係る画像符号化装置について説明した。本実施の形態によれば、対象物検出手段の処理にて画像内に対応領域が存在したパターン情報が格納される。そして、格納されたパターン情報を用いて動きベクトルの探索範囲が限定される。上記の例では、前フレームと現フレームの対象物検出に用いられたパターン情報を比較して、差の大きさに応じて動きベクトルの探索範囲が制限される。これにより、動きベクトルの探索範囲を制限しても、精度の高い動きベクトルの検出ができ、動きベクトル検出の処理量を軽減することができる。重要な対象物における動きベクトルを少ない処理量でも精度良く検出することができる。

次に、本発明の第３の実施の形態の画像符号化装置を図７に示す。図７において、図１と同様の部分については、同一の符号を付して、適宜説明を省略する。

図７に示すように、本実施の形態では、画像符号化装置は、対象物パーツ解析部１０５に対して対象物のパーツの重要度をユーザが指定することができる対象物パーツ重要度指定部７０１を有する。

対象物パーツ重要度指定部７０１は、各パーツの重要度を入力する操作部材によって実現される。操作部材は例えばキーボードおよびマウスである。操作部材は１または複数のスイッチやボタン等で構成されてよい。操作部材はタッチパネルでもよい。入力された各パーツの重要度は対象物パーツ解析部１０５に供給され、対象物パーツ解析部１０５から画像符号化部１０１の量子化部１１３に供給される。量子化部１１３では、重要度に応じて符号化特性が変更される。重要度が高い場合には、符号化量が増え、圧縮率が下がり、画質が向上するように符号化特性が変更される。上記の例では、量子化幅が小さくされる。

図８は、対象物パーツ重要度指定部７０１の機能を説明するための図であり、重要度の指定の入力画面例を示している。この例では、対象物が顔である。

対象物パーツ重要度指定部７０１は、顔のパーツ毎に高画質化のＯＮ／ＯＦＦを指定できる入力部をユーザに提供し、ユーザが入力部からパーツの高画質化のＯＮ／ＯＦＦを決定する。図８では右頬の高画質化がＯＮに設定され、他のパーツの高画質化はＯＦＦに設定されている。

図８の例では、重要度がＯＮ／ＯＦＦの２段階で指定される。この場合、量子化部１１３は、次の３つの量子化特性を可変設定する。「特性１」は、パーツ領域に該当しないマクロブロックに適用されるデフォルトの特性である。「特性２」は、重要度がＯＦＦのパーツ領域に該当するマクロブロックに適用される高画質特性であり、「特性３」は、重要度がＯＮのパーツ領域に該当するマクロブロックに適用されるもう一つの高画質特性である。特性１の量子化幅が最も大きく、特性３の量子化幅が小さい。そして、特性１の画質が低く、特性３の画質が最も高い。

なお、図８の例ではラジオボタンを用いて高画質化のＯＮ／ＯＦＦを指定しているが、重要度（高画質化）の度合いを数値で段階的に入力するようにしてもよい。また、連続的に重要度を調整可能でもよい。

また、図８の例では、左右の眉、左右の目、鼻、左右の口の端、左右の頬の重要度を指定できるようにしている。しかし、本発明はこの例に限定されない。これら以外のパーツを加えてもよい。加えるパーツはパターン情報から抽出できるものでもよいし、目と鼻などの位置から推定できるパーツとしてもよい。また、対象物パーツ重要度指定部７０１は、ユーザに領域と重要度を指定させてもよい。

図９は、本実施の形態の画像符号化装置による画像符号化方法のフロー図である。図９において、まず、対象物パーツの重要度が指定される（Ｓ９０１）。次にフレームが入力された場合（Ｓ９０２、ＹＥＳ）、対象物検出が行われ（Ｓ９０３）、対象物検出結果とマッチングパターン情報（対象物検出でマッチングしたパターン情報）から、対象物パーツ解析が行われて対象物パーツ解析結果が生成される（Ｓ９０４）。

次に、画像符号化部１０１は、対象物パーツ解析結果から処理ブロックごとに指定された対象物パーツが含まれているかを判定し（Ｓ９０５）、現処理マクロブロックに対象物パーツが存在している場合（Ｓ９０５、ＹＥＳ）、ステップＳ９０１で指定された重要度に合わせて符号化特性を変更して（Ｓ９０６）、符号化を行う（Ｓ９０７）。重要度が高いほど画質が向上するように符号化特性が変更される。図８の例では、重要度ＯＮの場合の画質が重要度ＯＦＦの場合の画質より高くなるように符号化特性が制御される。画像符号化部１０１は、現処理マクロブロックに指定された対象物パーツが存在していない場合（Ｓ９０５、ＮＯ）、デフォルトの符号化特性で符号化を行う（Ｓ９０７）。符号化が終了したら、全マクロブロック分の処理が終了したか判定を行い（Ｓ９０８）、全マクロブロックの処理が終了していない場合（Ｓ９０８、ＮＯ）、ステップＳ９０５まで戻り処理を繰り返す。全マクロブロックの処理が終了している場合（Ｓ９０８、ＹＥＳ）、ステップＳ９０２まで戻り次のフレームの入力を持つ。

以上に、本発明の第３の実施の形態に係る画像符号化装置について説明した。本実施の形態によれば、高画質化を行う対象物パーツの重要度を指定することが可能になる。そして、指定された重要度に応じて符号化特性が変更される。したがって、照合する際に対象物を識別する上で重要となるパーツを指定することができ、優先的に符号量を該パーツに割当てられるので、精度の高い対象物の照合を行うことができる。

本実施の形態は、対象物の特徴（例えば、犯人は右頬に傷を持つなど）があらかじめ分かっている場合に有利である。全体の発生符号量を抑えたまま、目標の特徴を有するパーツ(例えば、右頬など)をより高画質で符号化でき、復号側で特定の対象物（例えば、右頬に傷を持つ犯人など）の識別を高い精度で行うことができる。

次に、本発明の第４の実施の形態の画像符号化システムを図１０に示す。この画像符号化システムは、上述の実施の形態で説明された画像符号化装置で符号化された画像データを伝送し、受信側で画像データを復号し、復号した画像データを用いて対象物の照合を行うシステムである。

図１０において、本発明の実施の形態の画像符号化システムは、入力された動画像を符号化する画像符号化装置１００１〜１００Ｎと、画像符号化装置１００１〜１００Ｎと伝送路１０１０を経由して繋がれており伝送路１０１０を経由して入力された符号を復号化する画像復号化装置１０２０と、あらかじめ重要な対象物を登録しておくためのデータベース１０３０と、このデータベース１０３０に登録されている対象物と、復号化した動画像に含まれる対象物との照合を行う対象物照合部１０４０とを有する。データベース１０３０および対象物照合部１０４０は、画像復号化装置１０２０に設けられてもよく、画像符号化装置１０２０と別体の構成でもよい。

画像符号化装置１００１〜１００Ｎの各々は、上述の第１ないし第３の実施の形態のいずれかで説明された画像符号化装置である。画像符号化装置１００１〜１００Ｎは、それぞれ、符号Ｓｙ１〜Ｓｙｎを伝送路１０１０に出力する。符号Ｓｙ１〜Ｓｙｎにおいては、上述の実施の形態で説明されたように、対象物中のパーツ領域の符号化特性が変更されて、パーツ領域の画質が高くなっている。

画像符号化装置１００１〜１００Ｎは、それぞれ、画像の符号Ｓｙ１〜Ｓｙｎだけでなく、対象物検出結果Ｓｉ１〜Ｓｉｎを合わせて出力する。対象物検出結果は、照合補助情報として出力される。対象物検出結果は、対象物の位置と大きさとすることができる。対象物検出結果Ｓｉ１〜Ｓｉｎは、符号Ｓｙ１〜Ｓｙｎと別のストリームにて伝送路１０１０に出力されてもよい。また、対象物検出結果Ｓｉ１〜Ｓｉｎは、符号Ｓｙ１〜Ｓｙｎ中に設けられユーザが独自に定義できる領域にユーザデータとして含まれて、符号Ｓｙ１〜Ｓｙｎと共に出力されてもよい。

伝送路１０１０は、画像符号化装置１００１〜１００Ｎから出力された符号Ｓｙ１〜Ｓｙｎと対象物検出結果Ｓｉ１〜Ｓｉｎを、画像復号化装置１０２０に伝送する。

画像復号化装置１０２０は、画像符号化装置１００１〜１００Ｎから出力された符号Ｓｙ１〜Ｓｙｎを伝送路１０１０から受信して、符号Ｓｙ１〜Ｓｙｎの復号を行い、復号画像Ｓｘ１〜Ｓｘｎを対象物照合部１０４０に出力する。このとき、入力された対象物検出結果Ｓｉ１〜Ｓｉｎも出力される。

データベース１０３０は、登録された対象物を対象物照合部１０４０に提供する。対象物照合部１０４０は、画像復号化装置１０２０から出力された復号画像Ｓｘ１〜Ｓｘｎに対して照合処理を行う。照合処理では、対象物検出結果Ｓｉ１〜Ｓｉｎを用いて対象物の位置と大きさが特定される。そして、対象物照合部１０４０は、特定した対象物とデータベース１０３０に登録された対象物とを比較し、特定した対象物が登録された対象物であるか否かの照合を行う。

この照合結果は、対象物照合部１０４０から出力される。出力手段は例えばディスプレイ、ランプまたはスピーカである。対象物照合部１０４０は、例えば、特定した対象物が登録された対象物であった場合、すなわち、登録された対象物が存在した場合、アラームの出力を行う。これにより、登録された対象物の発見をユーザに通知できる。

本実施の形態では、画像の符号Ｓｙ１〜Ｓｙｎと共に対象物検出結果Ｓｉ１〜Ｓｉｎも伝送され、対象物検出結果Ｓｉ１〜Ｓｉｎが復号側の照合処理で参照されて、画像中の対象物が特定される。したがって、対象物照合部１０４０において、復号画像に対して対象物検出を新たに行わなくても、データベースに登録された対象物との照合を行うことができる。

また、本実施の形態は、上述した本発明の画像符号化装置を備えており、対象物の特徴を表す対象物パーツ領域とそれ以外で量子化係数を変更することができる。したがて、対象物照合を行うために必要な画質を保った上で、伝送路１０１０を通過する全体の符号量を抑えることができ、伝送容量を効率的に使用することができる。

なお、上記の例では、画像符号化装置１００１〜１００Ｎは、照合補助情報として、対象物検出結果Ｓｉ１〜Ｓｉｎを出力するように構成されており、出力される対象物検出結果Ｓｉ１〜Ｓｉｎが対象物の位置と大きさであった。しかし、本発明はこれに限定されない。画像符号化装置１００１〜１００Ｎは、照合補助情報として、対象物の照合に必要な特徴量を出力してもよい。画像符号化装置１００１〜１００Ｎは、照合補助情報として、対象物パーツ解析結果を出力してもよい。対象物パーツ解析結果は、前述したように、例えば、パーツの位置と大きさである。パーツの情報を伝送することで、復号及び照合側でのパーツの再検出が不要になり、パーツを使う照合処理を効率よく行える。

また、上記の例では、画像符号化装置１００１〜１００Ｎは、対象物の特徴を表すパーツ領域と、それ以外で量子化係数を変更し、画像全体を符号化している。しかし、本発明はこれに限定されず、画像符号化装置１００１〜１００Ｎは、対象物のみを符号化して伝送してもよい。この場合も、パーツ領域とそれ以外の領域で量子化係数が変更される。例えば、顔が対象物である場合に、目、鼻等の特定のパーツとそれ以外の顔領域で量子化係数が変更されてよい。この点は上述の第１〜第３の実施の形態においても同様である。

以上に本発明の第４の実施の形態に係る画像符号化システムについて説明した。本実施の形態によれば、画像符号化装置から画像の符号と共に照合補助情報が送られる。これにより、復号側の対象物照合部で、照合補助情報を再度生成せずに済む。照合補助情報は上記の例では対象物検出結果であり、この場合は照合時に新たに対象物検出を行わなくても、対象物の照合を行うことができる。したがって、符号化したビットストリームを復号化して対象物の照合を行う場合に、処理量を軽減することのできる。

以上に本発明の好適な実施の形態を説明した。しかし、本発明は上述の実施の形態に限定されず、当業者が本発明の範囲内で上述の実施の形態を変形可能なことはもちろんである。

以上のように、本発明にかかる画像符号化装置は、照合精度を維持したまま、発生符号量を抑制できるという効果を有し、特定の対象物を検出して、その検出結果に基づいて符号化を行う画像符号化装置およびその関連技術等として有用である。

本発明の第１の実施の形態に係る画像符号化装置のブロック図 本発明の第１の実施の形態に係る画像符号化装置のパーツ解析処理を示す図 本発明の第１の実施の形態に係る画像符号化装置の動作を示すフロー図 本発明の第２の実施の形態に係る画像符号化装置のブロック図 （ａ）本発明の第２の実施の形態に係る画像符号化装置における動きベクトル探索範囲の設定処理を示す図 （ｂ）本発明の第２の実施の形態に係る画像符号化装置における動きベクトル探索範囲の設定処理を示す図 本発明の第２の実施の形態に係る画像符号化装置の動作を示すフロー図 本発明の第３の実施の形態に係る画像符号化装置のブロック図 本発明の第３の実施の形態に係る画像符号化装置にてパーツ重要度を指定する処理を示す図 本発明の第３の実施の形態に係る画像符号化装置の動作を示すフロー図 本発明の第４の実施の形態に係る画像符号化システムのブロック図 従来の画像符号化装置のブロック図 従来の画像符号化装置の動作説明のための図

符号の説明

１０１ 動画像符号化部
１０２ メモリ
１０３ 対象物検出部
１０４ パターン情報保持部
１０５ 対象物パーツ解析部
１１０ フィルタ
１１１ 減算器
１１２ ＤＣＴ部
１１３ 量子化部
１１４ 可変長符号化部
１１５ メモリ
１１６ 動きベクトル検出部
１１７ 動き補償部
１１８ 逆量子化部
１１９ 逆ＤＣＴ部
１２０ 加算器

Claims (9)

1. 時系列に並んだ複数の画像から成る動画像信号を入力とし、入力された前記動画像信号の符号化を行い、符号を出力する画像符号化手段と、
   前記動画像信号を構成する前記複数の画像の各々について、画像単位で特定の対象物を検出する対象物検出手段と、
   前記対象物検出手段による対象物検出結果に基づき、検出された対象物を構成するパーツを解析し、画像内でのパーツの領域を特定可能な情報を対象物パーツ解析結果として求める対象物パーツ解析手段と、
   を備え、前記画像符号化手段は、前記対象物パーツ解析手段による対象物パーツ解析結果に基づいて、前記動画像信号を構成する前記複数の画像の各々について、画像内の各部の符号化特性をパーツの領域か否か応じて変更することを特徴とする画像符号化装置。
2. 前記対象物検出手段は、各パーツの特徴を表す複数のパターン情報を用いて、前記複数のパターン情報に対応する領域を画像から探索することによって対象物を検出し、
   前記対象物パーツ解析手段は、前記対象物検出手段の処理にて画像内に対応領域が存在したパターン情報を用いて対象物のパーツを解析することを特徴とした請求項１記載の画像符号化装置。
3. 前記対象物検出手段は、各パーツの特徴を表す複数のパターン情報を用いて、前記複数のパターン情報に対応する領域を画像から探索することによって対象物を検出し、
   前記画像符号化手段は、前記対象物検出手段の処理にて画像内に対応領域が存在したパターン情報を格納しておく記憶手段と、過去フレームの画像信号を用いて動きベクトルを検出する制限付き動きベクトル検出手段とを備え、前記記憶手段により格納されたパターン情報を用いて、動きベクトルの探索範囲を限定することを特徴とする請求項１記載の画像符号化装置。
4. パーツの重要度を指示する対象物パーツ重要度指定手段を備え、
   前記画像符号化手段は、前記対象物パーツ重要度指定手段により指定したパーツ重要度に応じて符号化特性を変更することを特徴とする請求項１ないし３のいずれかに記載の画像符号化装置。
5. 時系列に並んだ複数の画像から成る動画像信号を入力とし、入力された前記動画像信号の符号化を行い、符号を出力する画像符号化ステップと、
   前記動画像信号を構成する前記複数の画像の各々について、画像単位で特定の対象物を検出する対象物検出ステップと、
   前記対象物検出ステップによる対象物検出結果に基づき、検出された対象物を構成するパーツを解析し、画像内でのパーツの領域を特定可能な情報を対象物パーツ解析結果として求める対象物パーツ解析ステップと、
   を有し、前記画像符号化ステップは、前記対象物パーツ解析ステップによる対象物パーツ解析結果に基づいて、前記動画像信号を構成する前記複数の画像の各々について、画像内の各部の符号化特性をパーツの領域か否か応じて変更することを特徴とする画像符号化方法。
6. 前記対象物検出ステップは、各パーツの特徴を表す複数のパターン情報を用いて、前記複数のパターン情報に対応する領域を画像から探索することによって対象物を検出し、
   前記対象物パーツ解析ステップは、前記対象物検出ステップの処理にて画像内に対応領域が存在したパターン情報を用いて対象物のパーツを解析することを特徴とした請求項５記載の画像符号化方法。
7. 前記対象物検出ステップは、各パーツの特徴を表す複数のパターン情報を用いて、前記複数のパターン情報に対応する領域を画像から探索することによって対象物を検出し、
   前記画像符号化ステップは、前記対象物検出ステップの処理にて画像内に対応領域が存在したパターン情報を格納する記憶ステップと、過去フレームの画像信号を用いて動きベクトルを検出する制限付き動きベクトル検出ステップとを有し、前記記憶ステップにて格納されたパターン情報を用いて、動きベクトルの探索範囲を限定することを特徴とする請求項５記載の画像符号化方法。
8. パーツの重要度を指示する対象物パーツ重要度指定ステップを有し、
   前記画像符号化ステップは、前記対象物パーツ重要度指定ステップにより指定したパーツ重要度に応じて符号化特性を変更することを特徴とする請求項５ないし７のいずれかに記載の画像符号化方法。
9. 請求項１ないし請求項４のいずれかに記載の画像符号化装置と、前記画像符号化装置と所定の伝送路で繋がっている画像復号化装置と、前記画像復号化装置で復号された動画像に対して対象物照合処理を行う対象物照合部とを備え、前記画像符号化装置は、前記所定の伝送路へ、生成した符号とともに、画像から得られた照合補助情報を送出することを特徴とする画像符号化システム。

Images