JP2012191450A - 画像符号化装置 - Google Patents

Abstract

【課題】
顔等の注目部分を選択的に高画質化する。
【解決手段】
顔検出部（１１６）は、入力画像に顔の有無とその確からしさを検出する。顔検出保持部（１１９）は、顔検出部で検出される顔検出領域と信頼度を保持する。量子化設定補正部（１１７）は、顔検出保持部（１１９）に保持される情報に従い、量子化制御部で求められた量子化コードを補正する。補正量保持部（１２０）は、量子化設定補正部（１１７）が量子化コードを補正した領域とその補正量、及び顔検出の信頼度を次のフレームのために保持する。
【選択図】 図１

Description

本発明は画像符号化装置に関し、特に撮像された静止画あるいは動画などの画像情報を圧縮符号化する画像符号化装置に関する。

近年、記録媒体としてハードディスク又は不揮発性メモリを用いて高画質の動画記録を行うビデオカメラが製品化されている。このようなビデオカメラでは、動画像圧縮方式として、例えばＭＰＥＧ４ ｐａｒｔ−１０：ＡＶＣ（ＩＳＯ／ＩＥＣ １４４９６−１０、別名Ｈ．２６４）が採用され、圧縮符号化されたビデオストリームが記録媒体に記録される。

顔検出技術の進歩により、撮影中の被写体人物の顔を即時に検出し、色々な撮像処理に応用できるにようになってきた。例えば、顔を美しく見せるような色処理を施したり、顔の情報量を増やして高画質化処理を行うものがある。顔の高画質化処理の例としては、顔検出で人物の顔領域を特定し、その領域の符号化劣化を抑える技術が知られており、この技術により、注視領域である人物の顔を高画質化することができる。撮影画像中の顔を高画質化する技術が、特許文献１に記載されている。

特開２０１０−２７８７９７号公報

特許文献１に記載の技術では、顔部分を高画質化する際の高画質化の程度が一様であった。例えば、顔検出時の顔の状態がどのような場合でも、高画質化すると決めた顔に対し顔領域の量子化コード又は量子化ステップを一定量下げるようにしている。

一方、撮影される顔の状態は様々である。例えば、顔を正確に捉えている場合もあれば、焦点が合っていない場合、手ぶれしている場合もある。すなわち、動画撮影中に時々刻々と変化する被写体の顔の状態は、様々である。

そのため、焦点が合っていない場合や手ぶれしている場合に、顔領域の符号化劣化が目立ちにくいにも関わらず、必要以上に量子化コードを下げて符号化してしまうことがある。これでは、顔領域に符号量を過剰に割り当てることになり、その結果として画面全体の画質が劣化してしまう。

本発明は、このような不都合を解決する画像符号化装置を提示することを目的とする。

本発明に係る画像符号化装置は、入力画像を量子化する量子化部と、当該量子化部の出力をエントロピー符号化し、符号化ストリームを出力するエントロピー符号化部と、エントロピー符号化の発生符号量から、次の入力画像の符号化に用いる量子化コードを求め、前記量子化部に設定する量子化制御部とを備える画像符号化装置であって、前記入力画像に所定オブジェクトの有無とその確からしさを検出するオブジェクト検出部と、前記オブジェクト検出部の検出結果を保持するオブジェクト検出結果保持部と、前記オブジェクト検出の有無とその確からしさを用いて、前記量子化制御部で求められた量子化コードを量子化コード補正量だけ補正する量子化設定補正部と、前記量子化コードを補正した領域とその補正量、及び前記オブジェクト検出の確からしさを保持する補正量保持部とを備えることを特徴とする。

本発明によれば、入力画像中で所定オブジェクトを、画面全体の画質を損ねることなく選択的に高画質化することができる。

本発明の第１実施例の概略構成ブロック図を示す。 顔検出を用いた量子化設定補正部の基本処理を示すフローチャートである。 ＭＢごとの量子化設定補正部の処理を示すフローチャートである。 顔検出保持部の保持内容例を示す。 顔検出の信頼度と量子化コード補正量との関係例を示す表である。 量子化設定補正部の補正処理を示すフローチャートである。 量子化設定補正部による、所定ＭＢに対する量子化コード補正処理を示す折れ線グラフ例である。 本発明の第２実施例の概略構成ブロック図を示す。 第２実施例の信頼度調整部の処理を示すフローチャートである。 ３人の検出された顔領域と位置関係の一例を示す。 本発明の第３実施例の概略構成ブロック図を示す。 笑顔度と量子化コード補正量との関係例を示す表である。 本発明の第４実施例の概略構成ブロック図を示す。 特定人物検出の類似度と量子化コード補正量との関係例を示す表である。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明に係る画像符号化装置の一実施例の概略構成ブロック図を示す。

符号化部１００は、入力画像を符号化単位ブロックであるマクロブロック（以後、ＭＢと略す）単位で量子化し、動き予測及び動き補償を行った後、エントロピー符号化して、符号化ストリームを生成する。

加算器１０１は、入力画像の画素値と予測に用いられる参照画素値との予測誤差を算出する。直交変換部１０２は、加算器１０１から出力される予測誤差値を直交変換、例えば離散コサイン変換し、変換係数を出力する。量子化部１０３は、量子化制御部１１４の指示に従い、直交変換部１０２からの変換係数を量子化する。

逆量子化部１０４及び逆直交変換部１０５は、量子化部１０３の出力を逆量子化及び逆直交変換する。これにより、予測誤差値を復元できる。加算器１０６は、復元された予測誤差値に参照画素値を加算することで、局所的な復号結果である画素値を生成する。

加算器１０６から出力される画素値はイントラ予測部１０７に供給され、また、ループフィルタ１０８を介してフレームメモリ１０９に記憶される。

符号化にイントラ予測が用いられる場合、イントラ予測部１０７は、加算器１０６の出力画素値と隣接するＭＢから所定の参照画素値を生成する。イントラ予測では、スイッチ１１２は、イントラ予測部１０７からの参照画素値を選択する。先に説明したように、加算器１０１は、入力画像の、隣接するＭＢの画素値と、選択された参照画素値との誤差（予測誤差）を算出する。

符号化にインター予測が用いられる場合、動き検出部１１０は、過去に符号化済みの、フレームメモリ１０９に記憶される先行フレーム（又はフィールド）の参照画素値を用いて、入力画像におけるＭＢの動きベクトルを検出する。動き補償部１１１は、参照画像において、算出された動きベクトルで表される画素値を参照画素値として出力する。インター予測では、スイッチ１１２は、動き補償部１１１の出力（参照画素値）を選択する。加算器１０１は、後続するフレーム（又はフィールド）におけるＭＢの画素値と、選択された参照画素値との誤差（フレーム間の予測誤差）を算出する。

エントロピー符号化部１１３は、量子化部１０３の出力および動き補償部１１１により求められた動きベクトルをエントロピー符号化し、ストリームとして出力する。

複雑度算出部１１５は、原画像データに対する複雑度を算出し、符号化レート設定部１１８は符号化設定レートを設定する。量子化制御部１１４は、複雑度算出部１１５からの複雑度情報、符号化レート設定部１１８からの符号化設定レート及び符号化部１１３からの発生符号量に従い量子化パラメータを算出し、量子化設定補正部１１７に量子化コードを設定する。

複雑度算出部１１５による複雑度情報は例えば、ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ ５に示された画像符号化方式で、知られている。Ｔｅｓｔ Ｍｏｄｅｌ ５では、画面内の目標発生符号量、実際の発生符号量によるフィードバック制御、及び原画像データの複雑度情報に従い量子化コードを制御することで、符号化レートを制御する。

Ｔｅｓｔ Ｍｏｄｅｌ ５は、３ステップによって構成されるアルゴリズムからなり、各ステップは次のような機能を持っている。

ステップ１では、前に符号化した同じタイプのピクチャにおける画面の複雑さを示すパラメータである複雑度情報を使って、次に符号化するピクチャの目標符号量を決定する。

ステップ２では、ステップ１で決まったピクチャに対する目標符号量と実際の発生符号量との差を押さえるために、量子化コードをＭＢごとにフィードバック制御により求める。

ステップ３では、ステップ２で決まった量子化コードを、各ＭＢの絵柄の特徴に応じて変化させることによって視覚特性を向上させる。Ｔｅｓｔ Ｍｏｄｅｌ ５におけるステップ３では、具体的には、各ＭＢの複雑度情報を求め、複雑な絵柄の部分では量子化コードを大きくして粗く量子化し、平坦部では量子化コードを小さくして細かく量子化する。こうすることで、視覚特性を利用した量子化コードを求めることができる。これは、人間の視覚特性が複雑な絵柄においては圧縮に伴うゆがみを感知しにくいことを利用している。

顔検出部１１６は、入力画像の中に人物の顔を検出する。人物の顔が含まれているかどうかは、例えば顔の輪郭及び構成要素（目や鼻、口など）で判断できる。入力画像の中に顔の要素が含まれている場合、顔検出部１１６は、検出した顔の位置とその領域の大きさを量子化設定補正部１１７に通知する。顔検出で人物の顔領域を特定し、顔領域の符号化劣化を抑えることで、注視領域である人物の顔を高画質化することができる。

量子化設定補正部１１７は、顔検出部１１６によって検出された顔領域に対して、量子化制御部１１４による量子化コード設定を変更する。

図２は、顔検出を用いた量子化設定補正部１１７の基本処理を示すフローチャートである。Ｓ２０１で、量子化設定補正部１１７は、量子化制御部１１４で設定された量子化コード設定を取得する。Ｓ２０２で、量子化設定補正部１１７は、顔検出部１１６で検出された顔領域の情報を取得する。Ｓ２０３で、量子化設定補正部１１７は、顔検出部１１６で顔が検出されたか否かを判定し、顔が検出されている場合にはＳ２０４に、そうでない場合にはＳ２０５に分岐する。Ｓ２０４で、量子化設定補正部１１７は、取得した顔領域の量子化コード設定から所定値である量子化コード補正量Ｎを減算して、補正する。Ｓ２０５で、量子化設定補正部１１７は、補正した量子化コード設定を量子化部１０３に通知する。

このように、量子化設定補正部１１７は、検出された顔領域に対して、量子化コードを小さくして細かく量子化するように量子化コードを補正する。これにより、量子化部１０３は、より小さい量子化コードで入力値を量子化することになり、顔領域の画質が高画質化する。

顔検出保持部１１９は、顔検出部１１６より顔が検出されたＭＢの座標と信頼度を対にして、顔検出情報として保持する。量子化設定補正部１１７は、顔検出保持部１１９に保持される顔検出情報を用いて、ＭＢ単位で量子化設定を補正する。補正量保持部１２０は、量子化設定補正部１１７により補正された量子化設定を保持する。

図３は、ＭＢごとの量子化設定補正部１１７の処理を示すフローチャートである。Ｓ３０１で、量子化設定補正部１１７は、注目するＭＢ（以下、注目ＭＢと略す）に対して、量子化制御部１１４で設定された量子化コード設定を取得する。Ｓ３０２で、量子化設定補正部１１７は、注目ＭＢが顔検出部１１６で検出された顔領域であるかどうかを、顔検出保持部１１９の保持値を参照して判定する。図４は、顔検出保持部１１９の保持内容例を示す。顔が検出されたＭＢの座標４０１と信頼度４０２が対になって保持されている。

顔検出の信頼度は、顔検出の確からしさを示す指数又は指標である。本実施例では、顔検出された領域（ＭＢ単位）で輪郭や構成要素（目や鼻、口など）などの要素が正しく抽出できるほど、その領域が顔である可能性が高く、信頼度が高いとする。実際の顔検出処理では、上記の要素を用いて点数を算出し、信頼度をＮレベルに分けて決定するが、本実施例では簡単のために、「信頼度：高」、「信頼度：中」及び「信頼度：低」の３レベルとしている。

Ｓ３０３では、顔が検出されているか否かを判定し、検出されている場合、Ｓ３０４に、そうでなければＳ３０６に分岐する。

Ｓ３０４で、量子化設定補正部１１７は、顔検出部１１６で検出された顔領域の信頼度を顔検出保持部１１９より取得する。Ｓ３０５で、量子化設定補正部１１７は、信頼度に基づいて、顔検出領域の量子化コードを下げるように量子化コード補正量を更新する。保持された顔領域が画面上で連続する場合、量子化設定補正部１１７は、保持された量子化コード補正量に対して、量子化コード補正量を更新する。量子化コード補正量の決定方法は、後で詳細に説明する。

他方、Ｓ３０６では、量子化設定補正部１１７は、顔検出保持部１１９に保持された顔領域と信頼度に基づいて、量子化コードを上げるように量子化コード補正量を更新する。量子化コード補正量の決定方法は、後で詳細に説明する。

Ｓ３０７では、量子化設定補正部１１７は、Ｓ３０１で取得された量子化コードに対して、顔領域の量子化コードを量子化コード補正量だけ下げた量子化コードを算出する。そして、量子化設定補正部１１７は、顔検出領域である注目ＭＢの座標と量子化コード補正量とを補正量保持部１２０に保持させる。

Ｓ３０８では、量子化設定補正部１１７は、Ｓ３０７で算出した量子化コード設定を量子化部１０３に通知する。

図５（Ａ）は、顔検出された場合の、信頼度と量子化コード補正量との関係を示し、図５（Ｂ）は、顔検出されない場合の、保持された信頼度と量子化コード補正量との関係を示す。

図５（Ａ）において、５０２は、注目ＭＢにおける信頼度を示す。５０３は、顔が検出された場合の、注目ＭＢの単位時間あたりの量子化コード補正量の増加幅を示す。信頼度が低の場合は単位時間あたりの量子化コード補正量の増加幅を小さくし、信頼度が高いほど、単位時間あたりに量子化コードを大きく下げる。５０４は、各信頼度の最大量子化コード補正量（又は、最大補正量）である。信頼度が高いほど、量子化コードを大きく下げて顔領域を高画質化する。

例えば、信頼度が所定値以上の場合の、量子化コードを下げる第１の単位時間あたりの量子化コード補正量は、所定値より低い場合の、量子化コードを下げる第２の単位時間あたりの補正量よりも大きい。第１の単位時間あたりの量子化コード補正量による補正の最大値（第１の最大補正量）は、第１の単位時間あたりの量子化コード補正量による補正の最大値（第２の最大補正量）よりも大きい。

図５（Ｂ）において、５０５は、顔が検出されなかった場合で、補正量保持部１２０に注目ＭＢの量子化コード補正量が保持されているときの信頼度である。５０６は、顔が検出されなかった場合で、補正量保持部１２０に注目ＭＢの量子化コード補正量が保持されているときの、注目ＭＢの単位時間あたりの量子化コード補正量の減少幅又は減少量である。顔検出の信頼度が低の場合、単位時間あたりの量子化コード補正量の減少幅を少なくする。顔検出の信頼度が中の場合、単に時間あたりの量子化コード補正量の減少幅を増やしている。顔検出の信頼度が高い場合、単位時間あたりの量子化コード補正量の減少幅を少なくしている。これは、前フレームの信頼度が高く、本フレームで顔検出がされない場合、前フレームで検出された顔領域の付近に、まだ人物の顔が存在している可能性があるからである。顔検出の信頼度がどの区分又はレベルに相当するかは、各区分を区別する所定の閾値又は所定値との比較で判別される。

例えば、信頼度が高と中を区別する閾値を第１の所定値とし、中と低を区別する閾値を第２の所定値とする。そして、信頼度が高、中及び低の場合の、保持していた量子化コード補正量を減らす単位時間あたりの補正量をそれぞれ、第３、第４及び第５の単位時間あたりの補正量とする。このとき、第３の単位時間あたりの補正量を第４の単位時間あたりの補正量よりも小さくし、第４の単位時間あたりの補正量を第５の単位時間あたりの補正量よりも大きくする。

図６は、量子化設定補正部１１７の補正処理を示すフローチャートである。図６を参照して、顔検出の有無による注目ＭＢの量子化コード補正量の決定方法を説明する。

Ｓ６０１で、量子化設定補正部１１７は、注目ＭＢが検出された顔領域であればＳ６０２に、そうでなければＳ６０５に分岐する。

Ｓ６０２で、量子化設定補正部１１７は、注目ＭＢの顔検出の信頼度に基づき、図５で示す量子化コード補正量だけ量子化コード補正量を更新する。

Ｓ６０３で、量子化設定補正部１１７は、更新された量子化コード補正量が、図５で示す注目ＭＢの信頼度の最大量子化コード補正量を超えていればＳ６０４に分岐し、そうでなければ処理を終える。

Ｓ６０４では、量子化設定補正部１１７は、量子化コード補正量を、図５で示す注目ＭＢの信頼度の最大量子化コード補正量に更新する。

Ｓ６０５で、量子化設定補正部１１７は、前フレーム上で注目ＭＢと同じ座標のＭＢの量子化コード補正量と顔検出の信頼度を取得する。

Ｓ６０６で、量子化設定補正部１１７は、前フレームの、注目ＭＢと同じ座標のＭＢの量子化コードが補正されている場合にＳ６０７に分岐し、そうでない場合に処理を終える。

Ｓ６０７で、量子化設定補正部１１７は、顔検出されていない場合の量子化コード補正量だけ量子化コードを補正する。

Ｓ６０８で、量子化設定補正部１１７は、量子化コード補正量が０未満の場合にＳ６０９に分岐し、そうでない場合に処理を終える。

Ｓ６０９では、量子化設定補正部１１７は、量子化コード補正量を０とする。

Ｓ６１０では、量子化設定補正部１１７は、更新した補正量を補正量保持部１２０に保持させる。

図７は、量子化設定補正部１１７による、所定ＭＢに対する量子化コード補正処理を示す折れ線グラフ例である。横軸は時間を示し、縦軸は量子化部１０３に設定する量子化コード補正量を示す。この量子化コード補正量は、図３に示す各信頼度における量子化コードの補正量更新処理により決定されている。

図７を参照して、所定のＭＢに対する量子化コード補正処理の一例を説明する７０１は、所定ＭＢが「顔検出有り、信頼度が低」と判定された期間である。７０２は、所定ＭＢが「顔検出有り、信頼度が中」と判定された期間である。７０３は、所定ＭＢが「顔検出有り、信頼度が高」と判定された期間である。７０４は、所定ＭＢが「顔検出有り、信頼度が中」と判定された期間である。７０５は、所定ＭＢが「顔検出有り、信頼度が高」と判定された期間である。７０６は、所定ＭＢが「顔検出無し」と判定された期間である。

期間７０１では、所定ＭＢが「顔検出有り、信頼度が低」と判定されたので、最大量子化コード補正量（ここでは、２）まで量子化コード補正量を１ずつ増加していく。

期間７０２では、所定ＭＢが「顔検出有り、信頼度が中」と判定されたので、量子化コード補正量の増加幅２で量子化コード補正量を更新し、量子化コードの補正を行う。

期間７０３では、所定ＭＢが「顔検出有り、信頼度が高」と判定されたので、量子化コード補正量の増加幅３で量子化コード補正量を更新し、量子化コードの補正を行う。

期間７０４では、所定ＭＢが「顔検出有り、信頼度が中」と判定されたのと、直前の量子化コード補正量が信頼度”中”の最大補正量（＝８）を超えているので、補正量８で量子化コードの補正を行う。

期間７０５では、所定ＭＢが「顔検出有り、信頼度が高」と判定されたので、最大補正量（＝１２）まで量子化コード補正量を３ずつ増加していく。

期間７０６では、所定ＭＢが「顔検出無し」と判定されたので、保持されている顔領域に対して、保持されている期間７０５の信頼度に基づいて、量子化コード補正量の減少幅１で量子化コード補正量を更新し、量子化コードの補正を行う。

このように、顔検出の信頼度に応じて量子化コードの設定を細かく制御するので、入力画像に含まれる顔の状態に応じた高画質化処理を行うことができる。すなわち、焦点が合っていない場合や手ぶれしている場合には、量子化コード補正量が少なくなるのに対し、顔を正確に捉えているときは量子化コードを補正して顔の符号化劣化を防ぐことができる。これにより、ユーザに対して高画質の画像を提供できる。

また、本実施例では、顔検出の信頼度に応じて、図５に示す表のように最大補正量を決定しているが、量子化部によって設定された量子化コードに応じて、各信頼度の最大補正量を変化させてもよい。

画像中で注目するオブジェクトの例として、顔を例示したが、本発明は、これらに限定されない。顔検出部１１６は、入力画像に所定オブジェクトの有無とその確からしさを検出するオブジェクト検出部の一具体例である。顔検出保持部１１９は、オブジェクト検出部の検出結果を保持するオブジェクト検出結果保持部の一例である。上記実施例の顔認識の信頼度は、オブジェクト認識の確からしさの一例である。

図８は、本発明の第２実施例の概略構成ブロック図を示す。本実施例は、複数の顔が同時に検出される場合にも対応可能である。要素８００〜８２０は、図１に示す実施例の要素１００〜１２０に対応する。図８に示す実施例は、図１に示す実施例に対して信頼度調整部８２１が追加されている。

信頼度調整部８２１は、顔検出部８１６によって複数の顔が同時に検出された場合、各顔の画質が均一になるように各顔領域の信頼度を調整し、量子化設定補正部８１７に通知する。

図９は、信頼度調整部８２１の処理を示すフローチャートである。Ｓ９０１で、信頼度調整部８２１は、顔検出部８１６から複数の顔領域（ＭＢ単位）とそれらの顔検出の信頼度を取得する。

Ｓ９０２で、信頼度調整部８２１は、検出された複数の顔領域間のＭＢ単位の間隔が所定距離以内になっている場合にＳ９０３に、そうでない場合にＳ９０４に分岐する。分岐条件となる所定距離は、例えば、検出された顔領域の１／２のサイズである。

Ｓ９０３で、信頼度調整部８２１は、互いに近接している顔領域の信頼度を調整する。具体的には、互いに近接している顔領域の信頼度のうち最も信頼度の高い値を、近接している他の顔領域にも適用する。

Ｓ９０４で、信頼度調整部８２１は、顔領域及び信頼度を量子化設定補正部８１７に通知し、処理を終了する。

画面内に３人が撮像されている場合を例に、信頼度調整の有無による量子化設定補正の相違を説明する。図１０は、３人の検出された顔領域と位置関係の一例を示す。ｒ１は、人物１の顔領域１の中心から領域端までの距離である。ｒ２は、人物２の顔領域２の中心から領域端までの距離である。ｒ３は、人物３の顔領域３の中心から領域端までの距離である。Ｌ１２は、顔領域１と顔領域２の中心間の間隔である。Ｌ２３は、顔領域２と顔領域３の中心間の間隔である。Ｌ１３は、顔領域１と顔領域３の中心間の間隔である。

このとき、顔領域１と顔領域２の距離はＬ１２−（ｒ１＋ｒ２）である。顔領域２と顔領域３の距離はＬ２３−（ｒ２＋ｒ３）である。顔領域１と顔領域３の距離はＬ１３−（ｒ１＋ｒ３）である。

ここで、顔領域１と顔領域２の距離は、所定距離以下、すなわち、顔領域のサイズ以下であり、顔領域２と顔領域３の距離及び顔領域１と顔領域３の距離が所定距離以上、即ち顔領域のサイズ以上であるとする。顔領域１の信頼度が高、顔領域２の信頼度が中、顔領域３の信頼度が中であるとする。

信頼度調整無しの場合の、顔領域１，２が互いに近接しながら、それらの信頼度の相違により顔領域１，２に対する量子化コードが異なるものになってしまう。これに対し、本実施例では、信頼度調整部８２１による信頼度調整により、顔領域１，２については、最も信頼度の高い顔領域１の信頼度に調整される。すなわち、顔領域２の信頼度が中から高に調整される。この結果、所定距離以内に近接する顔領域１，２の信頼度が一致し、従って、信頼度に応じて決定される良識かコードも一致するので、互いに同画質で量子化されることになる。

このようにすることで、複数の顔が検出された場合に、互いに近接している顔領域については最も高い信頼度に合わせるので、同程度の画質で符号化できる。

図１１は、本発明の第３実施例の概略構成ブロック図を示す。本実施例では、顔検出ではなく笑顔検出を用いる。要素１１００〜１１１５，１１１７〜１１２０は、図１に示す実施例の要素１００〜１１５，１１７〜１２０に対応する。図１に示す実施例の顔検出部１１６の代わりに、笑顔検出部１１１６を具備する。

笑顔は、目や口の形、顔のしわなど、顔全体に分布する特徴から識別できる。例えば、口角が上がる、目尻が下がるなどの変化が、笑顔の特徴である。笑顔検出部１１１６は、これらの変化を統計的識別手法により総合的に解析することで、笑顔の度合いを示す笑顔度を測定する。本実施例では、理解を容易にするため、笑顔度を「高」、「中」及び「低」の３段階とする。

図１２（Ａ）及び（Ｂ）は、笑顔検出部１１１６により検出される笑顔度と、量子化設定補正部１１１７の量子化コード補正量との関係例を示す。図１２（Ａ）は、笑顔検出された場合の笑顔度と量子化コード補正量の関係の一例を示し、図１２（Ｂ）は、笑顔検出されなかった場合の、保持された笑顔度と量子化コード補正量の関係の一例を示す。

１２０１は、注目ＭＢにおける笑顔検出の笑顔度を示す。１２０２は、笑顔が検出された場合の、注目ＭＢの単位時間あたりの量子化コード補正量の増加幅を示す。笑顔検出の笑顔度が低い場合、単位時間あたりの量子化コード補正量の増加幅を少なくし、笑顔検出の笑顔度が高いほど、単位時間あたりの量子化コードを大きく下げるようにしている。このような量子化コード補正量の制御により、笑顔部分の高画質化を促進する。

１２０３は、各笑顔度に対する最大量子化コード補正量である。笑顔度が高いほど、量子化コードを大きく下げて、顔領域を高画質化する。

１２０４は、笑顔が検出されなかった場合で、補正量保持部１１２０に注目ＭＢの量子化コード補正量が保持されている場合の笑顔度である。

１２０５は、笑顔が検出されなかった場合で、補正量保持部１１２０に注目ＭＢの量子化コード補正量が保持されている場合の、注目ＭＢの単位時間あたりの量子化コード補正量の減少幅である。

笑顔度が低い場合、単位時間あたりの量子化コード補正量の減少幅を少なくし、笑顔度が中の場合は、量子化コードの補正量の減少幅も増えていくが、笑顔度が高いと、単位時間あたりの量子化コード補正量の減少幅を少なくする。これは、前フレームの顔検出の笑顔度が高く、本フレームで笑顔検出がされない場合、前フレームで顔検出された領域の付近に、まだ笑顔であった人物が存在している可能性があるからである。

このように量子化コード補正量を制御することで、入力画像の中で重要な領域として扱われる笑顔領域に対して、笑顔の度合いに応じて高画質化することができる。

画像中で注目するオブジェクトの例として、ここでは笑顔を例示したが、本発明は、これらに限定されず、笑顔検出部１１１６は、入力画像に所定オブジェクトの有無とその確からしさを検出するオブジェクト検出部の一具体例である。顔検出保持部１１１９は、オブジェクト検出部の検出結果を保持するオブジェクト検出結果保持部の一例である。

図１３は、本発明の第４実施例の概略構成ブロック図を示す。本実施例では、顔検出ではなく、特定人物検出を用いる。本実施例では、顔検出のみでなく、更に特定人かどうかを検出する。要素１３００〜１３１５，１３１７〜１３２０は、図１に示す実施例の要素１００〜１１５，１１７〜１２０に対応する。図１に示す実施例の顔検出部１１６の代わりに、特定人物検出部１３１６を具備する。

予め入力された特定人物の顔情報データ（目、鼻、耳、口の形状と、互いの位置関係を数値化したもの）を用いて、入力画像に特定人物がいるどうかを判断できる。特定人物検出部１３１６は、入力画像からこれらの顔情報データを取得し、両者を照合して特定人物の類似度を示す特定人物信頼度を算出する。本実施例では、理解を容易にするため、特定人物信頼度を「高」、「中」及び「低」の３段階とする。

図１４（Ａ）及び（Ｂ）は、特定人物検出部１３１６により検出される特定人物検出の類似度と、量子化コード補正量との関係例を示す。図１４（Ａ）は、特定人物検出された場合の特定人物検出情報と量子化コード補正量との関係の一例を示す。図１４（Ｂ）は、特定人物検出されなかった場合の、保持された特定人物検出の類似度と量子化コード補正量との関係の一例を示す。

１４０１は、注目ＭＢにおける特定人物検出の類似度を示す。１４０２は、特定人物が検出された場合の、注目ＭＢの単位時間あたりの量子化コード補正量の増加幅を示す。特定人物検出の類似度が低い場合、単位時間あたりの量子化コード補正量の増加幅を少なくし、特定人物検出の類似度が高いほど、単位時間あたりの量子化コードを大きく下げるようにしている。これにより、特定人物の顔領域の高画質化を促進する。

１４０３は、各類似度に対する最大量子化コード補正量である。特定人物検出の類似度が高いほど、量子化コードを大きく下げて、顔領域の高画質化を可能としている。

１４０４は、特定人物が検出されなかった場合で、補正量保持部１３２０に注目ＭＢの量子化コード補正量が保持されているときの特定人物の類似度である。

１４０５は、特定人物が検出されなかった場合で、補正量保持部１３２０に注目ＭＢの量子化コード補正量が保持されているときの、注目ＭＢの単位時間あたりの量子化コード補正量の減少幅である。

特定人物の顔検出の類似度が低い場合、単位時間あたりの量子化コード補正量の減少幅を少ない。類似度が中の場合は、量子化コード補正量の減少幅を増やすが、類似度が高いと、単位時間あたりの量子化コード補正量の減少幅を少なくする。これは、前フレームでの類似度が高いが、本フレームで特定人物検出がされない場合、前フレームの顔検出領域の付近に、まだ人物特定された人物が存在している可能性があるからである。

このようにすることで、入力画像の中で、特定人物の顔領域をその類似の度合いに応じて高画質化することができる。

画像中で注目するオブジェクトの例として、ここでは特定人物を例示したが、本発明は、これらに限定されず、特定人物検出部１３１６は、入力画像に所定オブジェクトの有無とその確からしさを検出するオブジェクト検出部の一具体例である。顔検出保持部１３１９は、オブジェクト検出部の検出結果を保持するオブジェクト検出結果保持部の一例である。

Claims (14)

1. 入力画像を量子化する量子化部と、
   当該量子化部の出力をエントロピー符号化し、符号化ストリームを出力するエントロピー符号化部と、
   エントロピー符号化の発生符号量から、次の入力画像の符号化に用いる量子化コードを求め、前記量子化部に設定する量子化制御部
   とを備える画像符号化装置であって、
   前記入力画像に所定オブジェクトの有無とその確からしさを検出するオブジェクト検出部と、
   前記オブジェクト検出部の検出結果を保持するオブジェクト検出結果保持部と、
   前記オブジェクト検出の有無とその確からしさを用いて、前記量子化制御部で求められた量子化コードを量子化コード補正量だけ補正する量子化設定補正部と、
   前記量子化コードを補正した領域とその補正量、及び前記オブジェクト検出の確からしさを保持する補正量保持部
   とを備えることを特徴とする画像符号化装置。
2. 前記量子化設定補正部は、前記オブジェクト検出部で前記所定オブジェクトが検出された場合、検出された領域に対して、単位時間ごとに前記量子化コード補正量を更新して、前記量子化制御部で求められた量子化コードを補正するとともに、前記量子化コードを補正した領域とその補正量、及び前記オブジェクト検出の確からしさを前記補正量保持部に保持させることを特徴とする請求項１に記載の画像符号化装置。
3. 前記量子化設定補正部は、前記オブジェクト検出部で前記所定オブジェクトが検出された場合、その確からしさに応じて、検出された領域に対して、前記量子化コード補正量を時間に対して変化させることを特徴とする請求項１に記載の画像符号化装置。
4. 前記量子化設定補正部は、前記オブジェクト検出部で前記所定オブジェクトが検出され、その確からしさが所定値よりも高い場合、検出された領域に対して、前記量子化コードを時間に対して下げる第１の単位時間あたりの補正量を用いて、前記量子化制御部で求められた前記量子化コードを補正し、第１の最大補正量まで前記量子化コード補正量を更新することを特徴とする請求項３に記載の画像符号化装置。
5. 前記量子化設定補正部は、前記オブジェクト検出部で前記所定オブジェクトが検出され、その確からしさが所定値よりも低い場合、検出された領域に対して、前記量子化コードを時間に対して下げる第２の単位時間あたりの補正量を用いて、前記量子化制御部で求められた前記量子化コードを補正し、第２の最大補正量まで前記量子化コード補正量を更新することを特徴とする請求項３又は４に記載の画像符号化装置。
6. 前記量子化設定補正部は、前記オブジェクト検出部で前記所定オブジェクトが検出されず、前記補正量保持部に前記量子化コード補正量が保持される場合、保持していた前記量子化コード補正量を減少させて、再び補正量保持部に保持させることを特徴とする請求項１に記載の画像符号化装置。
7. 前記量子化設定補正部は、前記オブジェクト検出部で前記所定オブジェクトが検出されず、前記補正量保持部に前記量子化コード補正量が存在する場合、保持されているオブジェクト認識の確からしさに応じて、保持していた量子化コード補正量の単位時間ごとの減少量を変化させることを特徴とする請求項６に記載の画像符号化装置。
8. 前記量子化設定補正部は、前記オブジェクト検出部で前記所定オブジェクトが検出されず、前記補正量保持部に前記量子化コード補正量が存在する場合で、保持されているオブジェクト認識の確からしさが第１の所定値よりも高いときには、保持していた前記量子化コード補正量を時間に対して減らす第３の単位時間あたりの補正量を用いて、前記量子化コード補正量を更新することを特徴とする請求項７に記載の画像符号化装置。
9. 前記量子化設定補正部は、前記オブジェクト検出部で前記所定オブジェクトが検出されず、前記補正量保持部に前記量子化コード補正量が存在する場合で、保持されているオブジェクト認識の確からしさが第１の所定値よりも低く、第２の所定値よりも大きいときには、保持していた前記量子化コード補正量を時間に対して減らす第４の単位時間あたりの補正量を用いて、前記量子化コード補正量を更新することを特徴とする請求項７又は８に記載の画像符号化装置。
10. 前記量子化設定補正部は、前記オブジェクト検出部で前記所定オブジェクトが検出されず、前記補正量保持部に前記量子化コード補正量が存在する場合で、保持されているオブジェクト認識の確からしさが第２の所定値よりも低いとき、保持していた前記量子化コード補正量を時間に対して減らす第５の単位時間あたりの補正量を用いて前記量子化コード補正量を更新することを特徴とする請求項７乃至９の何れか１項に記載の画像符号化装置。
11. 前記量子化設定補正部は、前記オブジェクト検出部で複数の前記所定オブジェクトが検出された場合、複数の前記所定オブジェクトのうち最も確からしさの高い値を他のオブジェクトの確からしさにも適用し、各オブジェクトの前記量子化コードを補正することを特徴とする請求項１に記載の画像符号化装置。
12. 前記所定オブジェクトは顔であり、その確からしさは顔の正確な抽出の度合いを示す信頼度であることを特徴とする請求項１乃至１１の何れか１項に記載の画像符号化装置。
13. 前記所定オブジェクトは笑顔であり、その確からしさは笑顔の度合いを示す笑顔度であることを特徴とする請求項１乃至１１の何れか１項に記載の画像符号化装置。
14. 前記所定オブジェクトは特定人物であり、その確からしさは特定人物との類似度であることを特徴とする請求項１乃至１１の何れか１項に記載の画像符号化装置。

Images