JP2010193441A - 動画像処理装置、動画像処理方法および撮像装置 - Google Patents

Abstract

【課題】改善された動画像圧縮技術を提供する。
【解決手段】動画像処理装置２００は、顔検出部３（特定対象検出部）、圧縮率制御部４および量子化部９（動画像圧縮部）を含む。顔検出部３は、入力画像に含まれている人物の顔を検出して顔領域を抽出する。圧縮率制御部４は、入力画像全体に対する顔領域の面積比が相対的に大きい場合には顔領域における圧縮率の下げ幅が小さくなり、入力画像全体に対する顔領域の面積比が相対的に小さい場合には顔領域における圧縮率の下げ幅が大きくなるように、顔検出部３で抽出された顔領域における圧縮率を下げるための圧縮制御指示を生成および出力する。量子化部９は、圧縮率制御部４から与えられた圧縮制御指示に従って顔領域の量子化処理を行う。
【選択図】図１

Description

本発明は、動画像を圧縮する動画像処理装置に関するものである。

近年、動画像圧縮方式として、ＭＰＥＧ２（ＩＴＵ−Ｔ Ｈ．２６２）やＭＰＥＧ−４ＡＶＣ／Ｈ．２６４規格など、高効率の動画像圧縮方式の発達が著しい。ビデオカメラの分野やレコーダの分野においてもこれらの動画像圧縮技術が用いられている。これらの分野ではビットレートの増加を抑えながら画質を改善するために、入力画像の中で視聴者の注目領域となる部分の圧縮率を低く抑えて画質を改善し、その他の部分の圧縮率を高く設定してビットレートを抑える方法が開発されている。特に、人物の顔部分を注目領域として保護して圧縮する方法が従来から盛んに検討され、提案されてきた。これらの技術は、色情報の特徴や輝度平均などから人物の顔を検出するものである。しかし、特徴が同じであれば顔以外の領域も注目領域と誤認して保護してしまうという課題があった。

一方、新しい技術として、人物の顔をオブジェクトとして捉え、目、鼻、口などの構成物とそれらの相互の位置関係とから人物の顔を検出する顔オブジェクト検出技術が開発され、ビデオカメラやスチルカメラの分野で光学系のオートフォーカスや露出制御などに利用されるようになってきた。顔オブジェクト検出では顔を正しく検出する確度が高く、また、特定人物との照合を行う顔認証技術への展開も進むと期待されている。そこで、これらの顔オブジェクト検出技術を動画像圧縮技術に組み合わせて、人物の顔部分を高い確率で高画質に圧縮する動画像処理装置が提案され始めている。代表的な例として、特開２００５−１０９６０６号公報が挙げられる。その基本的な構成を従来例として以下に説明する。

図１３は、従来の動画像処理装置の構成を示すものである。以下、従来の動画像処理装置において、入力画像データに人物の顔が含まれる場合の動作について説明する。従来の動画像処理装置は、動画像圧縮部１００、画像メモリ１０１および顔オブジェクト検出部１０２を備えている。

圧縮するべき入力画像データは、動画像圧縮部１００および画像メモリ１０１に与えられる。顔オブジェクト検出部１０２は、画像メモリ１０１から入力画像データを取得し、顔オブジェクト検出処理を開始する。具体的には、入力画像データに含まれる顔部分をオブジェクトとして捉え、目、鼻、口などの顔の特徴的構成物とそれらの相互の位置関係とから人物の顔を検出する。さらに、背景部分を取り除き、顔領域を抽出および特定して、顔検出情報を出力する。図１４は、従来の顔検出情報を示す図であり、入力画像データの中で顔部分が適切に検出されていることを示している。

１フレーム分のデータの処理がＤＣＴ（Discrete Cosine Transform）部１０８で開始される時点で、量子化部１０３は、顔オブジェクト検出部１０２から顔検出情報を受け取る。ＤＣＴに続く量子化処理で顔検出情報を用い、顔部分の圧縮率を他の部分より下げる。なお、特開２００５−１０９６０６号公報には、その具体的な方法ないし詳細な技術が提案されていない。

一般的に、量子化部１０３が実行する量子化処理はマクロブロック単位で進行する。いま、１つのマクロブロックの量子化を開始しようとするとき、量子化部１０３は、そのマクロブロックの１６画素×１６画素の矩形範囲内に顔検出情報が示す領域を含むかどうかを判断する。含む場合は、そのマクロブロックを顔保護マクロブロックとして識別する。含まない場合は、そのマクロブロックをその他のマクロブロックとして識別する。量子化しようとするマクロブロックが顔保護マクロブロックであったとき、量子化部１０３は、基準量子化指標Ｑ₀から予め設定された量子化指標変動幅を減じる。例えば、量子化指標変動幅が「３」であればＱ₀−３を量子化指標Ｑとして採用する。他方、量子化しようとするマクロブロックが顔保護マクロブロックでなかったとき、基準量子化指標Ｑ₀に量子化指標変動幅を加えたＱ₀＋３を量子化指標Ｑとして採用する。

図１５は、従来の顔保護領域を示す図である。１フレーム分のデータの圧縮処理が完了した時点で、顔検出情報が示す領域は顔保護マクロブロックで埋め尽くされるので、結果的に図１５に示すような顔保護領域が形成されることになる。そして、顔保護領域の内部では外部よりも「６」だけ小さな量子化指標Ｑ（＝Ｑ₀−３）が使用されているから、圧縮率が低く、圧縮歪みが低減して、注目領域である人物の顔画像を高画質に圧縮できる。

次に、フレーム単位の処理の相互関係を説明する。

図１６は、従来のフレーム単位の処理のタイミングチャートを示すものである。図１６に示すように、画像メモリ１０１への第１フレームの入力画像データの蓄積が完了した矢印Ａのタイミングで、顔オブジェクト検出部１０２による顔オブジェクト検出処理が開始される。第１フレームの入力画像データを対象とした顔オブジェクト検出処理は、第２フレームの入力画像データを画像メモリ１０１に蓄積するのに必要な時間よりも長い処理時間を要し、第３フレームの入力画像データが画像メモリ１０１に蓄積されている途中で終了している。量子化部１０３は、第４フレームの入力画像データの圧縮処理開始時点である図中矢印Ｂのタイミングで第１フレームについての顔検出情報を受け取り、ＤＣＴ部１０８で準備された周波数領域データの量子化に使用する。即ち、顔オブジェクト検出処理の処理時間が長く、フレーム毎に顔オブジェクト検出処理を実行できず間欠的動作であったとしても、図１６に示す通り、顔検出情報を用いた圧縮処理が実現可能となっている。

最後に、顔保護領域の面積が大きい場合のビットレート制御について説明する。顔保護領域の面積が大きい場合、基準量子化指標Ｑ₀よりも小さい量子化指標Ｑ₀−３を用いて量子化する面積が広く、量子化指標Ｑ₀＋３を用いて量子化する面積が狭い。その結果、圧縮データのデータ量が増加してビットレートが高くなり、バッファメモリ１１１に一時記憶されるデータ量も増加することになる。ビットレート制御部１１５は圧縮データのビットレートが高くなりすぎた場合、あるいはバッファメモリ１１１が一時記憶するデータ量が増加しすぎた場合、基準量子化指標Ｑ₀を再計算して適切な値に更新する。具体的には、基準量子化指標Ｑ₀をより大きな値に変更する。これにより、顔保護領域の圧縮率がその他の領域の圧縮率よりも低いという特徴を保持したまま全体の圧縮率を適度に高くでき、ひいては適切なビットレートを達成することができる。再生機に内蔵されたデコーダのバッファを破綻させることのない適切なストリームを作成するために基準量子化指標Ｑ₀で圧縮率を調整する技術は、標準化された技術としてＭＰＥＧ２およびＨ．２６４／ＡＶＣでも採用されている。

特開２００５−１０９６０６号公報

従来の方法によると、顔保護領域の面積が大きい場合、上述したように、ビットレート制御部１１５は、平均的ビットレートをほぼ一定に保つため基準量子化指標Ｑ₀を上げる。しかし、基準量子化指標Ｑ₀自体を上げると、顔検出情報を用いて量子化指標をＱ₀からＱ₀−３に補正した意義が失われる。即ち、画面の大半を占める顔保護領域の圧縮率はほとんど下がらず、面積の少ない顔以外の領域の圧縮率が大きく上がることとなる。その結果、顔保護領域の画質はほとんど改善されないにもかかわらず、その他の領域の画質が大きく悪化する。本発明は、こうした問題を解決しうる改善された動画像圧縮技術を提供することを目的とする。

すなわち、本発明は、
入力画像の中で、特定対象が含まれている領域を特定対象領域として検出する特定対象検出部と、
前記入力画像をその位置に応じて異なる圧縮率で圧縮可能な動画像圧縮部と、
前記入力画像全体に対する前記特定対象領域の面積比が相対的に大きい場合には前記特定対象領域における圧縮率の下げ幅が小さくなり、前記入力画像全体に対する前記特定対象領域の面積比が相対的に小さい場合には前記特定対象領域における前記圧縮率の下げ幅が大きくなるように、前記特定対象検出部で検出された前記特定対象領域における前記圧縮率を下げるための圧縮制御指示を前記動画像圧縮部に対して出力する圧縮率制御部と、
を備えた、動画像処理装置を提供する。

別の側面において、本発明は、
入力画像の中で、特定対象が含まれている領域を特定対象領域として検出する特定対象検出工程と、
前記入力画像全体に対する前記特定対象領域の面積比が相対的に大きい場合には前記特定対象領域における圧縮率の下げ幅が小さくなり、前記入力画像全体に対する前記特定対象領域の面積比が相対的に小さい場合には前記特定対象領域における前記圧縮率の下げ幅が大きくなるように、前記特定対象検出工程で検出された前記特定対象領域における前記圧縮率を下げるための圧縮制御指示を生成および出力する圧縮率制御工程と、
前記圧縮率制御工程で生成された前記圧縮制御指示に従って前記特定対象領域の圧縮処理を行う動画像圧縮工程と、
を含む、動画像処理方法を提供する。

さらに別の側面において、本発明は、
被写体を撮像する撮像部と、
前記撮像部の出力を処理することによって、処理された画像データを生成する画像生成部と、
前記画像生成部で生成された前記画像データを入力画像データとして取得し、取得した入力画像データから圧縮データを生成する、上記本発明の動画像処理装置と、
を備えた、撮像装置を提供する。

本発明者らは、どのようにすれば特定対象（典型的には、人物の顔）の画質を改善できるのか鋭意検討を進めた。その結果、顔が画面に大きく映っている場合と、顔が画面に小さく映っている場合とで、一律に圧縮率を下げることが妥当でない点に気が付いた。顔が画面に大きく映っている場合においても、目、鼻、口などの特徴的構成物の近傍は、高い空間周波数を有していると思われる。しかし、顔の大半を占めるそれ以外の部分（例えば、額、頬、顎など）は、相対的に低い空間周波数を有する。従って、このような場合には、圧縮率をあまり下げなくても顔を十分鮮明に再生しうる圧縮データを作成できる。他方、顔が画面に小さく映っている場合には、圧縮率を十分に下げないと、再生したときに顔が鮮明に映らない。

本発明では、入力画像全体に対する特定対象領域（典型的には、顔領域）の面積比が相対的に大きい場合には、特定対象領域における圧縮率の下げ幅を小さくする。他方、入力画像全体に対する特定対象領域の面積比が相対的に小さい場合には、特定対象領域における圧縮率の下げ幅を大きくする。このようにすれば、平均的ビットレートをほぼ一定に保つため基準量子化指標Ｑ₀を上げたとしても、小さく映った顔（特定対象）については圧縮率を十分に下げることが可能である。従って、小さく映った顔を鮮明に映しだすことができる圧縮データを確実に作成できる。他方、大きく映った顔については、基準量子化指標Ｑ₀を上げた結果として圧縮率が殆ど下がらなかったとしても、顔を十分に認識できる画質を維持できる。

本発明の一実施の形態における動画像処理装置の構成を示すブロック図 本発明の一実施の形態における保護単位ブロックの構成を示す図 本発明の一実施の形態における顔領域と顔拡大領域と顔保護領域との相互関係を示す図 本発明の一実施の形態における顔保護マップの構成を示す図 本発明の一実施の形態におけるマクロブロックの処理順を示す図 本発明の一実施の形態におけるフレーム単位の処理のタイミングチャート 本発明の一実施の形態における顔領域と入力画像とのずれを示す図 本発明の他の実施の形態における顔保護領域が大きい場合の入力画像と顔保護領域との関係を示す図 本発明の他の実施の形態における顔保護領域が大きい場合の顔保護マップの構成を示す図 本発明のその他の実施の形態における大きさが異なる顔保護領域がある場合の入力画像と顔保護領域との関係を示す図 本発明のその他の実施の形態における顔保護マップの構成を示す図 実施の形態１および２で説明した動画像処理装置を用いたビデオカメラの構成を示すブロック図 従来の動画像処理装置の構成を示す図 従来例の顔検出情報を示す図 従来例の顔保護領域を示す図 従来例のフレーム単位の処理のタイミングチャート 顔保護領域と入力画像とのずれを示す図

以下、本発明を実施するための形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、本発明の実施の形態１における動画像処理装置の構成を示すブロック図である。なお、図１は動画像処理装置の典型的な構成を表しているに過ぎず、全ての要素が不可欠というわけではない。

図１に示すように、動画像処理装置２００は、動画像圧縮部１、画像メモリ２、顔検出部３および圧縮率制御部４を備えている。入力画像データは動画像圧縮部１と画像メモリ２にそれぞれ供給され、画像メモリ２の出力は顔検出部３に供給される。顔検出部３は、入力画像データ中の顔を特定対象として検出し（抽出し）、顔検出情報を出力する。圧縮率制御部４は、顔検出部３からの顔検出情報を基に、顔保護指示を生成し、出力する。「顔保護指示」とは、顔検出部３で抽出された顔領域における圧縮率を下げるための圧縮制御指示を意味する。

動画像圧縮部１は、参照メモリ５、動き補償部６、減算器７、ＤＣＴ部８、量子化部９、符号化部１０、バッファメモリ１１、逆量子化部１２、逆ＤＣＴ部１３、加算器１４およびビットレート制御部１５を備えている。入力画像データは、減算器７、ＤＣＴ部８、量子化部９および符号化部１０を経て圧縮され、バッファメモリ１１に蓄積される。ビットレート制御部１５は、バッファメモリ１１を管理するとともに、最適な基準量子化指標Ｑ₀を作成し、作成した基準量子化指標Ｑ₀を量子化部９に供給する。量子化部９の出力は、逆量子化部１２、逆ＤＣＴ部１３および加算器１４を経て復号化される。復号化された画像データは、参照画像データとして参照メモリ５に記憶される。動き補償部６は、復号化された画像データを参照メモリ５から取得するとともに、復号化された画像データと入力画像データとを用いて予測画像データを作成し、それを減算器７に出力する。

以下、本発明の実施の形態１の動画像処理装置２００の動作について詳細に説明する。まず、基本動作として、入力画像データに人物の顔が含まれない場合について説明する。

入力画像データは画像メモリ２に蓄積され、１フレーム分蓄積されてから、顔検出部３が顔オブジェクト検出処理を実行し、その結果の顔検出情報を圧縮率制御部４に供給する。いま、入力画像データに人物の顔が含まれていないため、空の顔検出情報が圧縮率制御部４に供給される。圧縮率制御部４は、空の顔検出情報を取得したら、保護すべき顔が存在しない旨の顔保護指示を出力する。

動画像圧縮部１は、入力画像データの動画像圧縮を実行する。ＭＰＥＧ２規格に従い、また、フレーム構造で圧縮を行うものとする。動き補償部６は、参照メモリ５に記憶された参照画像データと入力画像データを用いて動きベクトル探索を行い、参照画像データの中から最適な部分を切り出して予測画像データとして出力する。減算器７は、予測画像データと入力画像データの差分を残差データとして算出する。ＤＣＴ部８は、残差データを直交変換の一種である離散コサイン変換して周波数領域データ（ＤＣＴ係数）を生成および出力する。量子化部９は、保護すべき顔が存在しない旨の顔保護指示を取得した場合には、ビットレート制御部１５から与えられた基準量子化指標Ｑ₀をそのまま量子化指標Ｑとして採用し、基準量子化指標Ｑ₀に従って周波数領域データを量子化する。具体的には、量子化指標Ｑを乗じた量子化行列を用いて周波数領域データを量子化する。量子化されたデータは符号化部１０で可変長符号化され、バッファメモリ１１に一時格納された後に圧縮データとして出力される。

一方、量子化部９の出力は、逆量子化部１２および逆ＤＣＴ部１３で逆変換の処理を受け、加算器１４で動き補償部６の予測画像データに加算される。これにより、復号化された画像データが得られ、次のフレーム以降の圧縮処理のための参照画像データとして参照メモリ５に記憶される。ビットレート制御部１５は、バッファメモリ１１の転送動作を制御するとともに、最適な基準量子化指標Ｑ₀を決定する。具体的には、圧縮データを適切なビットレートで外部へ出力させながら、バッファメモリ１１に圧縮データが溜まり過ぎてオーバーフローしないように、あるいは外部へ出力するべき圧縮データが枯渇しないように、フレーム単位で基準量子化指標Ｑ₀を決定する。

量子化部９での量子化指標Ｑは、量子化のステップ幅を決める指標である。量子化指標Ｑが大きいほど量子化ステップ幅が大きくなる。即ち、量子化指標Ｑを大きくすると圧縮率が高くなって、データ量が減少する一方、圧縮歪みが増加する。量子化部９が基準量子化指標Ｑ₀をそのまま量子化指標Ｑに用いている場合、ビットレート制御部１５は量子化指標Ｑ₀によって圧縮データのビットレートを直接制御することができる。

次に、入力画像データに人物の顔が含まれる場合について説明する。

顔検出部３は、入力画像データに対して顔オブジェクト検出処理を行う。具体的には、入力画像データに含まれる顔画像部分をオブジェクトとして捉え、目、鼻、口などの顔の特徴的構成物とそれらの相互の位置関係とから人物の顔を検出する。さらに、人物の顔を含む領域（顔領域）を矩形領域として特定して、顔領域の中心座標と、顔領域の大きさとで構成された顔検出情報を圧縮率制御部４に出力する。圧縮率制御部４は、１フレーム分の画像を保護単位ブロックに区切って管理する。

図２は、保護単位ブロックの構成を示す図である。図２に示す例では、ハイビジョン画像を想定して、横１９２０画素、縦１０８０画素を１フレーム分の画像データとして取り扱っている。なお、本実施の形態１では、入力画像データとしてハイビジョン画像を用いるとしたが、本発明はこれに限定されず、入力画像データとしてどのような画素数のデータであってもよい。図２に示すように、圧縮率制御部４は、１フレーム分の画像を縦９個、横１５個の領域に分割し、総計１３５個の保護単位ブロックとして管理している。１つの保護単位ブロックは、縦８個、横８個、総計６４個のマクロブロックより構成されている。圧縮率制御部４は、１フレーム分の処理を開始する時点で顔検出部３から顔検出情報を受け取り、顔領域を矩形領域として復元し、さらに復元した顔領域を拡大して顔拡大領域を算出する。

図３は、顔領域と顔拡大領域と顔保護領域との相互関係を示すものである。本実施の形態１では、図３に示すように、顔領域を中心座標に対して縦１．５倍、横２倍に拡大して顔拡大領域を算出している。圧縮率制御部４は、顔拡大領域を含む保護単位ブロックを顔保護領域に決定し、決定した顔保護領域を顔保護マップとして内部に保持する。

図４は、本実施の形態１における顔保護マップの構成を示す図である。図４に示すように、顔保護マップは、１つの保護単位ブロックを１ビットの情報で管理するように構成されている、即ち、縦９ビット、横１５ビット、総計１３５ビットの情報で構成されている。具体的には、顔保護領域を「１」で、それ以外の領域を「０」で記憶している。

図５は、マクロブロックの処理順を示すものである。１フレームの圧縮処理が開始されると、図５に示すように、左から１マクロブロックずつ右方向に処理が進む。最上段のマクロブロック１行分の処理が終了すると、２段目のマクロブロックの処理がまた左から右方向に進んでいく。圧縮率制御部４は、各段の左端のマクロブロックの処理開始時点で顔保護マップから対応する１行分１５ビットの情報を取り出す。８マクロブロックの処理が進むごとに、顔保護マップから取り出した情報を１ビットシフトさせる。そして、最上位ビットの値によって、該当するマクロブロックが顔保護領域であるかどうかを判断する。つまり、最上位ビットが１であれば顔保護領域であると判断して顔保護指示を出力する。量子化部９は、ビットレート制御部１５から供給された基準量子化指標Ｑ₀から予め設定された量子化指標変動幅（例えば、数値「３」）を減じた値を量子化指標Ｑとして採用し、該当するマクロブロックの量子化処理を実行する。上記説明から理解できるように、本実施の形態１において、「量子化指標変動幅」は、顔保護領域以外の領域の圧縮率に対する、顔保護領域の圧縮率の下げ幅を規定する値である。

以上の処理により、図３に示した顔保護領域に属するマクロブロックでは量子化指標Ｑがその他の領域よりも、例えば「３」小さな値となる。量子化指標Ｑを小さくすると量子化ステップが小さくなる。これにより、該当するマクロブロックの圧縮率が下がり、顔保護領域の画質改善が実現される。

次に、フレーム単位の処理の相互関係を説明する。

図６は、本実施の形態１のフレーム単位の処理のタイミングチャートを示すものである。図６に示すように、画像メモリ２への第１フレームの入力画像データの蓄積が完了した矢印Ａのタイミングで、顔検出部３による顔オブジェクト検出処理が開始される。第１フレームの入力画像データを対象とした顔オブジェクト検出処理は、第２フレームの入力画像データを画像メモリ２に蓄積するのに必要な時間よりも長い処理時間を要し、第３フレームの入力画像データが画像メモリ２に蓄積されている途中で終了している。圧縮率制御部４は、第３フレームの入力画像データの圧縮処理終了後、図中矢印Ｂのタイミングで第１フレームの顔検出情報を受け取り、符号Ｃに示す期間で顔保護マップを作成する。圧縮率制御部４は、作成した顔保護マップを保持して、続く第４フレームおよび第５フレームの入力画像データに対する圧縮処理で量子化部９に顔保護指示を供給する。即ち、上述した従来例と同じく顔オブジェクト検出処理の処理時間が長く、フレーム毎に顔オブジェクト検出処理を実行できず間欠的動作であったとしても、顔検出情報を用いた圧縮処理が実現可能である。また、図６の符号Ｄに示すように、第１フレームで得た顔検出情報を第５フレームの圧縮処理に使用するなど、顔検出情報と実際の顔の位置や大きさがずれている可能性があることも従来例と同じである。

図７は、本実施の形態１の顔検出情報と入力画像とのずれを示す図であり、第１フレームで得た顔検出情報を第５フレームの入力画像データの圧縮処理に適用した状態を想定している。図７中において、顔領域は入力画像の実際の顔の位置とずれている。しかし、本実施の形態１では、顔拡大領域を導入しているので、実際の顔の位置は顔保護領域に収まっている。これにより、確実に顔部分の画質を改善できる。なお、ＭＰＥＧ２規格ではＩピクチャー（Intra-Picture）、Ｐピクチャー（Predictive-Picture）、Ｂピクチャー（Bi-directional Predictive-Picture）の並べ替えが発生し、圧縮処理順が入力画像順と異なる。ただし、図６では、説明の簡単化のため並べ替え済みの画像が入力されるものとした。

従来の動画像処理装置では、マクロブロック単位に顔領域を含むかどうかの判定処理を行う必要がある。一般に、１つのマクロブロックの処理時間は短く、高速処理が要求される。そのため、マイクロプロセッサなどに軽微な処理を追加する程度では従来の方法を実現できず、専用のハードウェアが必要になるという課題があった。また、図１６の符号Ｃに示したように、第１フレームで得た顔検出情報を第５フレームの圧縮処理に使用するなど圧縮処理する画像データと使用する顔検出情報に時間差がある場合、図１７に示すように顔検出情報と実際の顔の位置や大きさがずれている可能性があり、顔の一部で画質が悪化するという課題を有していた。

これに対し、本実施の形態１では、複数のマクロブロックからなる保護単位ブロックを用いて圧縮率を下げるかどうか判断する圧縮率制御部４を設けている。具体的に、動画像圧縮部１（詳細には量子化部９）は、入力画像をマクロブロック単位で量子化することによってマクロブロック毎に異なる圧縮率で入力画像を圧縮可能である。圧縮率制御部４は、入力画像を複数のマクロブロックからなる保護単位ブロックに分割し、顔検出部３で抽出された顔領域を含む保護単位ブロックにおける圧縮率を下げるように動画像圧縮部１の量子化部９に圧縮制御指示を出力する。

上記構成によれば、顔領域を含むかどうかの判断処理回数が大幅に減少する。図１３の従来例では１フレームあたり８１６０回の判断処理が必要であったが、本実施の形態１では１３５回に減少し１．７％の処理量にまで削減している。顔領域が矩形であれば算術演算と論理和演算のみで顔保護マップを生成することも可能である。さらに、１３５回の判断処理および顔保護マップの作成処理は、図６の符号Ｃに示すように、１フレーム分の圧縮処理と次フレームの圧縮処理の間に完了すればよく、高速処理は要求されない。高速性が求められるマクロブロック単位の処理に、単にビット確認と量子化指標Ｑの調整のみという極めて簡易な処理を追加するだけで足りる。そのため、本実施の形態１を実施するのに高速処理のための専用ハードウェアの追加は必須でない。動画像圧縮部１の各処理ブロックを構成するディジタルシグナルプロセッサあるいはマイクロプロセッサの処理の一部に、上述した各処理を組み込むことで、本実施の形態１を極めて容易、安価に実現できる。

また、圧縮率制御部４は、顔領域を拡大した顔拡大領域を抽出し、顔拡大領域を含む保護単位ブロックにおける圧縮率を下げるように量子化部９に圧縮制御指示を出力する。即ち、顔拡大領域を求めて顔保護領域を決定する構成としたので、圧縮率を下げるべき顔保護範囲を拡大して、髪、顔輪郭、首など顔近傍部分まで画質改善することができる。また、図７に示したように、圧縮処理中の画像の顔部分の位置や大きさが顔検出情報とずれていても、ほとんどの場合に顔保護領域の範囲に顔部分を収めて画質改善することができる。

なお、本実施の形態１の説明では入力画像に人物の顔が１つ含まれる場合について説明したが、複数の顔が含まれる場合にも同じ処理で同じ効果が得られることは言うまでもない。

また、本実施の形態１では、顔保護領域とするかどうかの判断処理を図６の符号Ｃに示す期間で実行および完了し、その結果を顔保護マップとして保持する方法を説明したが、その他どのような処理タイミング、保持手法を用いてもよい。本実施の形態１によれば、１つの保護単位ブロックに対して１回顔保護領域とするかどうか判断するだけなので、その保護単位ブロックに含まれる個々のマクロブロックで個別に判断処理する必要がなく、判断結果の総数が極めて少ない。そのため、図６のタイミングチャートや顔保護マップ以外の方法を用いても同様に簡易な構成で本実施の形態１を実現することができる。

本実施の形態１では保護単位ブロックを６４個のマクロブロックから構成されるとしたが、他の大きさで構成してもよい。例えば、１つの保護単位ブロックを縦４マクロブロック、横４マクロブロックの１６マクロブロックで構成しうる。この場合、１フレームを縦１７個、横３０個の総計５１０個の保護単位ブロックで構成することとなる。そのため、保護単位ブロックを顔保護領域とするかどうかの判断処理を上述した従来例に対して約６．３％の軽微な処理量で実現できる。

本実施の形態１では、圧縮率制御部４が図３に示すように顔領域を中心座標に対して縦１．５倍、横２倍に拡大して顔拡大領域を求めるとしたが、その他の拡大方法を採用してもよい。倍率による拡大ではなく、縦の長さ、横の長さに拡張分を加算する方式とすることもできる。入力画面の中で顔部分が移動するとき、その移動速度がある程度以下であれば圧縮率を下げて画質改善する効果が大きい。しかし、移動速度がある程度以上速ければ撮影時のブレが生じて顔部分の画像の情報量が大きく減少することから、圧縮率を下げて画質改善を図る必要性が乏しくなる。改善効果が見込める上限速度は、動画像圧縮部１の圧縮効率とビットレートに依存する。図６に示したように、本実施の形態１の場合では、顔保護領域の決定に使用したフレームと圧縮処理されるフレームとの間に最大４フレームの時間差がある。そのため、画質改善する必要がある顔の移動速度で４フレーム分の移動量を補う程度に顔拡大領域の倍率または加算量を設定したとき、最も効率よい画質改善効果が得られる。

なお、本実施の形態１では、圧縮率制御部４が顔保護領域のマクロブロックの圧縮率を下げるとしたが、顔保護領域以外のマクロブロックの圧縮率を上げる処理もあわせて実装する構成としてもよい。また、動画像圧縮部１は入力画像データをフレーム構造で圧縮するとしたが、フィールド構造で圧縮する構成としてもよい。この場合、圧縮率制御部４は、フィールド構造の顔保護マップを保持することとなる。動画像圧縮部１はＭＰＥＧ２規格に従う動画像圧縮処理を実行するように構成されているが、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４規格やその他の動画像圧縮方式に従うものとしてもよい。

続いて、入力画像全体に対する顔保護領域の面積比に応じて、圧縮率を調整する方法について説明する。具体的には、顔保護領域の面積比が相対的に大きい場合には、顔保護領域における圧縮率の下げ幅を小さくする。顔保護領域の面積比が相対的に小さい場合には、顔保護領域における圧縮率の下げ幅を大きくする。つまり、以下に説明する技術は、小さく映った顔の圧縮率を優先的に下げて、小さく映った顔を鮮明に再生できるようにすることを趣旨としている。大きく映った顔の圧縮率も下げるものの、その下げ幅をある程度制限する。

なお、「圧縮率の下げ幅」とは、顔保護指示（圧縮制御指示）が作成および出力されなかったと仮定した場合における、その顔保護領域の圧縮率（基準圧縮率）からの下げ幅を意味する。より詳細には、ビットレート制御部１５から量子化部９に供給された基準量子化指標Ｑ₀と、その顔保護領域の圧縮処理に実際に用いられる量子化指標Ｑとの差分によって、圧縮率の下げ幅が特定される。また、「圧縮率の下げ幅」が、顔保護領域以外の領域の圧縮率に対する下げ幅を意味することもある。

図８は、顔保護領域が大きい場合の顔保護領域の例を示すものであり、図９は、その場合の顔保護マップの構成を示すものである。図８では、入力画像に２人の人物の顔が大きく映っている例を示している。顔Ａの保護領域と顔Ｂの保護領域とから、顔保護マップは、図９のような形態となっている。

圧縮率制御部４は、顔保護マップ作成後、直ちに顔保護領域の総面積を算出する。具体的には、保護単位ブロックの数で顔保護領域の総面積を求めるものとする。圧縮率制御部４には、表１に示すように、顔保護領域の総面積と保護比率との対応関係を記述した定義表が予め格納されている。表１の定義表を参照することにより、顔保護領域の総面積から保護比率を定める。保護比率を所定の量子化指標最大変動幅に乗じて量子化指標変動幅を決定する。ここで、「保護比率」とは、その顔保護領域の圧縮率の下げ幅を調整するために用いられるパラメータである。保護比率が大きければ大きいほど、その顔保護領域の圧縮率が下がる。「量子化指標最大変動幅」とは、圧縮率の最大の下げ幅を規定する値を意味する。

図８および図９の例の場合、顔保護領域の総面積は保護単位ブロック９０個であるから表１より保護比率が０．４と定まる。例えば、量子化指標最大変動幅が予め「６」と定義されていれば、６に０．４を乗じて得た値（６×０．４＝２．４）を四捨五入して量子化指標の下げ幅を「２」と決定する。

マクロブロックの処理が開始されると、圧縮率制御部４は、顔保護マップから処理するべきマクロブロックが顔保護領域にあるかどうかを判断する。顔保護領域にあるときには、量子化指標を「２」下げることを意味する顔保護指示を量子化部９に与える。量子化部９は、顔保護指示に従ってビットレート制御部１５から与えられた基準量子化指標Ｑ₀から「２」を減じて量子化指標Ｑを設定し、設定した量子化指標Ｑを用いて顔保護領域の量子化処理を実行する。他方、顔保護領域以外の領域の量子化処理には、基準量子化指標Ｑ₀をそのまま用いる。このようにすれば、顔保護領域の圧縮率を低くして画質改善を実現できる。表１では、顔保護領域の総面積が大きいほど保護比率を低く設定している。表１は、顔保護領域の総面積が大きい場合には圧縮率の下げ幅が小さくなるように顔保護指示を出力し、顔保護領域の総面積が小さい場合には圧縮率の下げ幅が大きくなるように顔保護指示を出力するという動作を端的に表している。なお、表１によれば、顔保護領域であったとしても、基準量子化指標Ｑ₀をそのまま用いることもある（保護比率がゼロの場合）。

入力画像に含まれる顔の総面積が大きい場合、ビットレートを目的の値に制御しあるいはバッファメモリ１１の破綻を防止しながら、顔保護領域の画質を一方的に改善し続けることは技術的に不可能である。仮に、量子化指標変動幅を大きく設定しても、既に従来技術の課題として上述したように、顔保護領域の画質はほとんど改善されず、逆にその他の領域の大幅な画質悪化が目立つという逆効果を生じる。

これに対し、本実施の形態１によれば、顔保護領域の総面積が小さい場合には保護比率を高くして量子化指標を大きく下げる。これにより、従来技術と同様に顔部分の画質改善を実現する。他方、顔保護領域の総面積が大きくて逆効果になってしまう場合には、保護比率を小さくして量子化指標の下げ幅を小さくする。これにより、顔保護領域以外の領域の極端な画質劣化を防止できる。即ち、本実施の形態１において、圧縮率制御部４は、入力画像全体に対する顔保護領域（言い換えれば、顔領域）の面積比が小さければ小さいほど、顔保護領域における圧縮率の下げ幅を段階的に大きくする。その結果、顔の総面積に応じて常に最適の画質が得られる。

また、入力画像に複数の顔保護領域が存在する場合においても、入力画像全体の面積に対する複数の顔保護領域の総面積の比率に基づいて、圧縮率制御部４で顔保護指示（圧縮制御指示）が作成される。具体的には、顔保護領域の総面積が相対的に大きい場合には圧縮率の下げ幅が小さくなり、顔保護領域の総面積が相対的に小さい場合には圧縮率の下げ幅が大きくなるように、顔保護指示が作成される。このようにすれば、複数の顔保護領域とそれ以外の領域とを互いに異なる圧縮率で適切に圧縮できる。

なお、表１のような定義表を用いて保護比率を求める代わりに、下記式１のような算術式によって保護比率を求めてもよい。式１では、保護比率がＲ、顔保護領域の総面積がＳで表されている。例えば、Ｓ＝９０のときＲ＝０．３３となり、このときの量子化指標変動幅は「２」となる。また、表１および式１によれば、顔保護領域の総面積に対して保護比率が直線的に変化する。ただし、動画像圧縮部１の量子化指標と量子化ステップとの関係に依存して、顔保護領域の総面積と保護比率との関係が、非線形の特性を有していてもよい。

（式１）
Ｒ＝（１３５−Ｓ）／１３５

また、保護比率を顔保護領域の総面積から求める代わりに、顔領域の総面積、あるいは顔拡大領域の総面積から求めてもよい。

本実施の形態１において、動画像圧縮部１は、（i）入力画像からマクロブロック単位の周波数領域データ（ＤＣＴ係数）を生成するＤＣＴ部８、（ii）周波数領域データを量子化する量子化部９、および（iii）入力画像から得られた圧縮データの平均的ビットレートが予め定められた範囲内に収まるように、量子化部９で実行するべき量子化処理における量子化ステップを規定するための基準量子化指標Ｑ₀を量子化部９に供給するビットレート制御部１５を備えている。圧縮率制御部４は、顔保護指示（圧縮制御指示）として、基準量子化指標Ｑ₀を補正するための量子化指標変動幅を量子化部９に与える。量子化部９は、顔保護領域における圧縮率を下げるように、圧縮率制御部４から与えられた量子化指標変動幅を基準量子化指標Ｑ₀から減ずることによって得た量子化指標Ｑを量子化処理で使用する。具体的には、量子化指標Ｑを量子化マトリクスに乗じる。表１を参照して説明したように、圧縮率制御部４は、予め定められた量子化指標最大変動幅に、顔保護領域の面積比に対応して定められた保護比率を乗じることによって、量子化部９に与えるべき量子化指標変動幅を算出する。このような処理を行うことによって、顔保護領域とそれ以外の領域とを互いに異なる圧縮率で適切に圧縮できる。

なお、本実施の形態１では、圧縮率制御部４が、同一画面に含まれる顔保護領域の総面積を求め、その総面積が大きい場合には圧縮率の下げ幅を抑制する形態について説明した。しかし、本発明はこれに限定されず、例えば図１３の従来例に本実施の形態を組み合わせることも可能である。例えば、保護単位ブロックを１マクロブロックとして、顔保護領域の総面積が大きい場合に圧縮率の下げ幅を抑制するとしてもよい。そのようにすれば、最適な画質改善を実現することができる。

（実施の形態２）
本発明の実施の形態２における動画像処理装置の構成は、図１に示す本発明の実施の形態１の構成と同一である。また、その動作は、圧縮率制御部４の処理内容のみが異なるものである。

以下、その相違点を中心に動作について説明する。

圧縮率制御部４が図６の符号Ｃのタイミングで顔検出部３から顔検出情報を受け取り、顔保護領域を特定することは上述した本発明の実施の形態１と同じである。図１０は、互いに大きさが異なる複数の顔保護領域がある場合の入力画像と顔保護領域との関係を示している。圧縮率制御部４は、顔Ａの顔保護領域と顔Ｂの顔保護領域とを特定するとともに、それぞれの顔保護領域の面積を個別に算出する。圧縮率制御部４には、表２に示すように、顔保護領域の面積と量子化指標最大変動幅との対応関係を記述した定義表が予め格納されている。つまり、本実施の形態２では、顔保護領域の面積に応じて、量子化指標最大変動幅が変化している。表２の定義表を参照することにより、顔保護領域の面積から顔保護領域毎にそれぞれの量子化指標最大変動幅を定め、顔保護マップに登録する。

図１１は、本実施の形態２における顔保護マップの構成を示す図である。顔保護マップは、保護単位ブロックごとに量子化指標最大変動幅を１桁の数値として格納する構成となっている。いま、顔Ａの顔保護領域の面積は「４２」であるから、表２より、量子化指標最大変動幅を「６」として図１１の顔保護マップの顔Ａの顔保護領域に登録する。顔Ｂの顔保護領域の面積は「９」であるから、表２より、量子化指標最大変動幅を「９」として顔保護マップの顔Ｂの顔保護領域に登録する。複数の顔保護領域が重複する部分では、量子化指標最大変動幅の大きい方を採用する。完成した顔保護マップにおいて、値「０」は顔保護領域以外の領域を示し、「０」以外の数値は量子化指標最大変動幅を示している。

圧縮率制御部４は、一方で実施の形態１と同じく顔保護領域の総面積から保護比率を算出する。図１０の例では、顔保護領域の総面積は「４８」であるから、表１より、保護比率は「０．６」となる。以上の処理により、図１０の入力画像に対して、保護比率「０．６」と、図１１に示す保護単位ブロックごとの量子化指標最大変動幅とが準備される。

マクロブロックの処理が開始されると、圧縮率制御部４は、顔保護マップから処理するべきマクロブロックが顔保護領域にあるかどうかを判断する。顔保護領域にあるときには、その保護単位ブロックの量子化指標最大変動幅に保護比率を乗じて四捨五入し、得られた量子化指標変動幅を顔保護指示として量子化部９に与える。図１１の例の場合は、顔Ａの顔保護領域では量子化指標変動幅として「４」が、顔Ｂの顔保護領域では量子化指標変動幅として「５」が指示されることになる。量子化部９は、顔保護指示に従って、ビットレート制御部１５から与えられた基準量子化指標Ｑ₀を補正し、これにより量子化指標Ｑを設定する。具体的には、与えられた量子化指標変動幅を基準量子化指標Ｑ₀から減じることによって量子化指標Ｑを設定する。そして、設定した量子化指標Ｑを用いて量子化処理を実行する。図１１の例では、顔Ａの顔保護領域のマクロブロックを量子化するための量子化指標Ｑとして、基準量子化指標Ｑ₀から「４」を減じた値Ｑ₀−４を用いる。顔Ｂの顔保護領域のマクロブロックを量子化するための量子化指標Ｑとして、基準量子化指標Ｑ₀から「５」を減じた値Ｑ₀−５を用いる。

以上のように、顔保護領域の圧縮率を低くして画質改善を実現できる。表２では、面積が小さい顔保護領域ほど量子化指標最大変動幅を大きく設定している。表２は、個々の顔領域の面積に応じてその面積が小さい顔領域の方がより圧縮率の下げ幅が大きくなるように顔保護指示を出力するという動作を端的に表している。

同一画像内に面積の大きな顔部分と小さな顔部分があった場合、視聴者は、図１０の顔Ａのように大きな顔の方に注目しやすい。しかし、大きな顔部分の画像は頬や額など平坦部分が多くて単位面積当たりの情報量が少ないため、圧縮歪みも出にくい。そのため、大きな顔部分の圧縮率を下げて画質改善する必要性が乏しく、また、圧縮率を大きく下げても元々の圧縮歪みが少ないので画質の改善程度も少ない。他方、小さな顔部分の画像は目、鼻、口などの特徴的構成物が密集しているため高周波数成分が多く、単位面積当たりの情報量が多いから圧縮歪みも発生しやすいという特徴がある。そのため、注目点でなくとも画質劣化が目立ちやすく、圧縮率を大きく下げる必要がある。

また、顔の総面積が同じでも、小さな顔が多数ある場合と大きな顔が１つある場合とでは、小さな顔が多数ある方が圧縮歪みが目立ちやすい。小さな顔が多数ある場合には、より圧縮率を下げた画質改善が望ましい。本実施の形態２では、個々の顔保護領域の面積を調べ、面積が小さい顔保護領域の方がより圧縮率の下げ幅が大きくなるようにしている。即ち、画質改善の必要性が少ない大きな顔保護領域では圧縮率の下げ幅を抑え、画質改善の必要性が高い小さな顔保護領域では圧縮率の下げ幅を大きくする。このようにすれば、ビットレートの無駄を減らして小さな顔から大きな顔まで最適な画質を実現することができる。

顔部分の大小によって、圧縮歪みの発生程度および目立ち方は異なる。上述した従来の動画像処理装置では、複数の顔保護領域を均一に保護するため、個々の顔画像を適切に画質改善することができないという課題があった。

本実施の形態２において、圧縮率制御部４は、入力画像に複数の顔保護領域が存在する場合に、顔保護領域の面積を個別に調査する。そして、相対的に小さい面積を有する顔保護領域における圧縮率の下げ幅が大きくなり、相対的に大きい面積を有する顔保護領域における圧縮率の下げ幅が小さくなるように、複数の顔保護領域に個別に対応した複数の圧縮制御指示を生成する。具体的に、圧縮率制御部４は、入力画像全体の面積に対する複数の顔保護領域の総面積の比率と、個々の顔保護領域の面積とに基づいて、複数の顔保護領域に個別に対応した内容の圧縮制御指示を生成する。その結果、互いに異なる面積を有する複数の顔が映った場合にも、個々の顔画像の画質を適切に改善できる。

また、表２に示すように、入力画像に複数の顔保護領域が存在する場合に、相対的に小さい面積を有する顔保護領域における圧縮率の下げ幅が大きくなり、相対的に大きい面積を有する顔保護領域における圧縮率の下げ幅が小さくなるように、顔保護領域の面積に対応する形で複数の量子化指標最大変動幅が準備されている。この構成によっても、顔の大きさ（面積）に応じて、個々の顔画像の画質を適切に改善できる。

また、入力画像に互いに異なる面積を有する複数の顔保護領域が存在し、かつ大きい面積を有する顔保護領域と小さい面積を有する顔保護領域との重複部分が存在する場合、その重複部分に対する量子化指標最大変動幅として、小さい面積を有する顔保護領域に対する量子化指標最大変動幅を使用する。そのため、大小複数の顔が重なって映った場合でも、顔の大きさ（面積）に応じて、個々の顔画像の画質を適切に改善できる。もちろん、表２に示す量子化指標最大変動幅をそのまま量子化指標の下げ幅として用いてもよい。つまり、複数の顔保護領域が存在したとしても、それらの総面積については考慮しないような実施の形態も適宜採用できる。

なお、本実施の形態２では、圧縮率制御部４が、入力画像に含まれる個々の顔保護領域の面積を調べ、その面積が小さい顔保護領域の方がより圧縮率の下げ幅が大きくなるように顔保護指示を出力する形態について説明したが、本発明はこれに限定されない。例えば、実施の形態１における圧縮率制御部４で入力画像に含まれる個々の顔保護領域の面積を調べ、その面積が小さい顔保護領域の方がより圧縮率の下げ幅が大きくなるように顔保護指示を出力してもよい。また、従来例のように、顔保護領域の面積をマクロブロック単位で調べ、その面積が小さい顔保護領域の方がより圧縮率の下げ幅が大きくなるように量子化処理を行ってもよい。

また、表１に示す定義表および表２に示す定義表を組み合わせることによって、単一の定義表で実施の形態２を実現できるようにしてもよい。実施の形態１で説明したように、量子化指標変動幅を算出するための計算式が準備されていてもよい。

なお、本実施の形態１および２において、特定対象として、人物の顔を検出する場合について説明したが、本発明はこれに限定されない。例えば、動物や、動く物等を特定対象として検出し、その特定対象について本実施形態１および２で説明した圧縮制御を行ってもよい。また、特定対象を検出するための技術として、オブジェクト検出技術に代えて、色情報の特徴や輝度平均などから特定対象を検出する技術を採用してもよい。

（撮像装置の実施の形態）
図１２は、ビデオカメラの典型的な構成を示すブロック図である。ビデオカメラ３００は、例えば、光学系２０、撮像素子２５、ＡＤＣ３０（Analog-Digital Converter）、画像処理部４０、コントローラ７０、バッファ７１、マイクロホン５０、音声処理部６０、システムエンコーダ７２、システムデコーダ７３、カードスロット８１、液晶ディスプレイ８２、スピーカ８３、操作部８４および電源７５を備えている。光学系２０および撮像素子２５は、被写体を撮像する撮像部を構成している。画像処理部４０は、画像前処理部４１、画像圧縮部４２および画像伸張部４３を含む。ＡＤＣ３０および画像前処理部４１は、撮像部の出力を処理することによって、処理された画像データを生成する画像生成部を構成している。具体的には、ＡＤＣ３０でアナログ信号からデジタル信号に変換された画像データに対して、ガンマ補正およびホワイトバランス補正等の各種画像処理を行い、処理された画像データを生成する。画像圧縮部４０は、画像生成部としての画像前処理部４１で生成された画像データを入力画像データとして取得し、取得した入力画像データを圧縮符号化することによって圧縮データを生成する。圧縮データは、カードスロット８１に装着されたメモリカード８０等のストレージに格納される。図１２中の画像圧縮部４０を、実施の形態１および２で説明した動画像処理装置によって構成しうる。

本明細書で説明した動画像処理装置によれば、入力画像を保護単位ブロックに分割して管理するからマクロブロック単位の処理を極めて簡素に実現できる。また、顔拡大領域を求めることにより顔近傍部分の画質も改善するとともに、顔領域と実際の顔の位置がずれていても顔画像の画質を改善することができる。また、顔保護領域の総面積によって圧縮率の下げ幅を制御するから、顔保護領域の面積が大きい場合にも画面内に画質劣化部分を目立たせることがない。また、複数の顔が含まれる画像に対して個々の顔保護領域の面積によって個別に圧縮率の下げ幅を制御するから個々の顔保護領域を適切に画質改善することができる。従って、本発明は、動画像を圧縮して記録するデジタルビデオレコーダ、デジタルビデオカメラ等の撮像装置に有利に適用されうる。

１ 動画像圧縮部
２ 画像メモリ
３ 顔検出部
４ 圧縮率制御部
５ 参照メモリ
６ 動き補償部
７ 減算器
８ ＤＣＴ部
９ 量子化部
１０ 符号化部
１１ バッファメモリ
１２ 逆量子化部
１３ 逆ＤＣＴ部
１４ 加算器
１５ ビットレート制御部
２０ 光学系
２５ 撮像素子
３０ ＡＤＣ
４０ 画像処理部４０
４１ 画像前処理部
２００ 動画像処理装置
３００ ビデオカメラ

Claims (14)

1. 入力画像の中で、特定対象が含まれている領域を特定対象領域として検出する特定対象検出部と、
   前記入力画像をその位置に応じて異なる圧縮率で圧縮可能な動画像圧縮部と、
   前記入力画像全体に対する前記特定対象領域の面積比が相対的に大きい場合には前記特定対象領域における圧縮率の下げ幅が小さくなり、前記入力画像全体に対する前記特定対象領域の面積比が相対的に小さい場合には前記特定対象領域における前記圧縮率の下げ幅が大きくなるように、前記特定対象検出部で検出された前記特定対象領域における前記圧縮率を下げるための圧縮制御指示を前記動画像圧縮部に対して出力する圧縮率制御部と、
   を備えた、動画像処理装置。
2. 前記動画像圧縮部は、前記入力画像をマクロブロック単位で量子化することによって前記マクロブロック毎に異なる圧縮率で前記入力画像を圧縮可能であり、
   前記圧縮率制御部は、前記入力画像を複数の前記マクロブロックからなる保護単位ブロックに分割し、前記特定対象検出部で検出された前記特定対象領域を含む前記保護単位ブロックにおける前記圧縮率を下げるように前記動画像圧縮部に前記圧縮制御指示を出力する、請求項１に記載の動画像処理装置。
3. 前記圧縮率制御部は、前記特定対象領域を拡大した特定対象拡大領域を抽出し、前記特定対象拡大領域を含む前記保護単位ブロックにおける前記圧縮率を下げるように前記動画像圧縮部に前記圧縮制御指示を出力する、請求項２に記載の動画像処理装置。
4. 前記圧縮率制御部は、前記入力画像全体に対する前記特定対象領域の面積比が小さければ小さいほど、前記特定対象領域における前記圧縮率の下げ幅を段階的に大きくする、請求項１〜３のいずれか１項に記載の動画像処理装置。
5. 前記圧縮率制御部は、前記入力画像に複数の前記特定対象領域が存在する場合に、前記入力画像全体の面積に対する複数の前記特定対象領域の総面積の比率に基づいて、前記圧縮制御指示を生成する、請求項１〜４のいずれか１項に記載の動画像処理装置。
6. 前記圧縮率制御部は、前記入力画像に複数の前記特定対象領域が存在する場合に、前記特定対象領域の面積を個別に調査し、相対的に小さい面積を有する前記特定対象領域における前記圧縮率の下げ幅が大きくなり、相対的に大きい面積を有する前記特定対象領域における前記圧縮率の下げ幅が小さくなるように、複数の前記特定対象領域に個別に対応した複数の前記圧縮制御指示を生成する、請求項１〜４のいずれか１項に記載の動画像処理装置。
7. 前記圧縮率制御部は、前記入力画像全体の面積に対する複数の前記特定対象領域の総面積の比率と、個々の前記特定対象領域の面積とに基づいて、複数の前記特定対象領域に個別に対応した内容の前記圧縮制御指示を生成する、請求項６に記載の動画像処理装置。
8. 前記動画像圧縮部は、（i）前記入力画像からマクロブロック単位の周波数領域データを生成するＤＣＴ部と、（ii）前記周波数領域データを量子化する量子化部と、（iii）前記入力画像から得られた圧縮データの平均的ビットレートが予め定められた範囲内に収まるように、前記量子化部で実行するべき量子化処理における量子化ステップを規定するための基準量子化指標を前記量子化部に供給するビットレート制御部と、を含み、
   前記圧縮率制御部は、前記圧縮制御指示として、前記基準量子化指標を補正するための量子化指標変動幅を前記量子化部に与え、
   前記量子化部は、前記特定対象領域における前記圧縮率を下げるように、前記圧縮率制御部から与えられた前記量子化指標変動幅を前記基準量子化指標から減ずることによって得た量子化指標を前記量子化処理で使用する、請求項１〜７のいずれか１項に記載の動画像処理装置。
9. 前記圧縮率制御部は、予め定められた量子化指標最大変動幅に、前記特定対象領域の前記面積比に対応して定められた保護比率を乗じることによって、前記量子化部に与えるべき前記量子化指標変動幅を算出する、請求項８に記載の動画像処理装置。
10. 前記入力画像に複数の前記特定対象領域が存在する場合に、相対的に小さい面積を有する前記特定対象領域における前記圧縮率の下げ幅が大きくなり、相対的に大きい面積を有する前記特定対象領域における前記圧縮率の下げ幅が小さくなるように、前記特定対象領域の面積に対応する形で複数の前記量子化指標最大変動幅が準備されている、請求項９に記載の動画像処理装置。
11. 前記入力画像に互いに異なる面積を有する複数の前記特定対象領域が存在し、かつ大きい面積を有する前記特定対象領域と小さい面積を有する前記特定対象領域との重複部分が存在する場合、その重複部分に対する前記量子化指標最大変動幅として、小さい面積を有する前記特定対象領域に対する前記量子化指標最大変動幅を使用する、請求項１０に記載の動画像処理装置。
12. 前記特定対象検出部は、前記入力画像に含まれる顔オブジェクトを検出し、前記特定対象領域として顔検出領域を抽出する、請求項１〜１１のいずれか１項に記載の動画像処理装置。
13. 入力画像の中で、特定対象が含まれている領域を特定対象領域として検出する特定対象検出工程と、
    前記入力画像全体に対する前記特定対象領域の面積比が相対的に大きい場合には前記特定対象領域における圧縮率の下げ幅が小さくなり、前記入力画像全体に対する前記特定対象領域の面積比が相対的に小さい場合には前記特定対象領域における前記圧縮率の下げ幅が大きくなるように、前記特定対象検出工程で検出された前記特定対象領域における前記圧縮率を下げるための圧縮制御指示を生成および出力する圧縮率制御工程と、
    前記圧縮率制御工程で生成された前記圧縮制御指示に従って前記特定対象領域の圧縮処理を行う動画像圧縮工程と、
    を含む、動画像処理方法。
14. 被写体を撮像する撮像部と、
    前記撮像部の出力を処理することによって、処理された画像データを生成する画像生成部と、
    前記画像生成部で生成された前記画像データを入力画像データとして取得し、取得した入力画像データから圧縮データを生成する、請求項１〜１１のいずれか１項に記載の動画像処理装置と、
    を備えた、撮像装置。

Images