JP2012099943A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】登録済みの顔、及び当該顔の人物と関連のある人物の未登録の顔に対して、高画質化処理を行うことができるようにする。
【解決手段】登録済み顔認識データ記録部４０２には顔画像データが記憶されており、顔認識部４０２は、顔検出部４０１により検出された顔が登録済み顔認識データ記録部４０２に記憶されている顔画像データの顔と同一であるか否かを判定する。そして、顔画像データの顔と同一であると判定された顔と同一でないと判定された顔とが映像信号に含まれている場合に、高画質化対象顔設定部４０４は、前記同一であると判定された顔、及び前記同一でないと判定された顔を高画質化対象顔の設定し、高画質化対象顔情報を出力する。
【選択図】図４

Description

本発明は、顔検出及び顔認識を行うために用いて好適な画像処理装置、画像処理方法及びプログラムに関する。

近年、顔検出機能や顔認識機能を搭載したデジタルビデオカメラやデジタルカメラ等の撮像装置が数多く製品化されている。これらの撮像装置の中には、顔検出機能により検出した顔に対して、自動的にフォーカスを合わせたり、検出した顔を高画質に処理したりすることができるものがある。

さらに、顔認識機能により、例えば、撮像装置内部の記憶媒体（データベース）に予め登録しておいた顔画像や顔の特徴量といった顔認識用データを用いて、顔検出機能により検出した顔が、登録済みの顔と一致するかどうかを判断できるものもある。そして、このような機能により、顔認識の結果として、登録人物の名前を表示したり、登録人物だけに特殊な処理を実行したりする。例えば、撮像画像に対してある登録人物に限定した高画質化処理を行って記録することも可能である。

このように撮像装置で撮影された画像の顔認識を行い、登録済みの顔に対し高画質化処理する技術として、圧縮符号化する際に顔認識した顔に対して多くの符号量を与え、高画質に圧縮符号化を行う技術が開示されている（例えば、特許文献１参照）。

特開２０００−１９７０４３号公報

前述したように、顔認識機能を搭載した撮像装置を用いて撮影を行うことにより、顔認識用データベースに予め登録されている顔と一致した顔に対し、高画質化処理して記録することができる。しかしながら、このような撮像装置を用いて撮影する場合において、顔認識用データベースに予め登録されていない顔に対しては高画質化処理して記録できない。例えば、顔が登録されている人物と一緒に知人が撮影され、知人の顔が顔認識用データベースに登録されていないような場合は、知人の顔に対しては高画質化処理して記録することができない。このような場合、符号化後の画像においてそれぞれの顔に対して画質に差が生じ、視覚的に違和感が生じてしまう。

本発明は前述の問題点に鑑み、登録済みの顔とともに撮影された未登録の顔に対して、高画質化処理を行うことができるようにすることを目的としている。

本発明に係る画像処理装置は、顔画像データを記憶する記憶手段と、映像信号から顔を検出する顔検出手段と、前記顔検出手段により検出された顔が前記記憶手段に記憶されている顔画像データに含まれているか否かを判定する顔認識手段と、前記顔認識手段により前記記憶手段に記憶されている顔画像データに含まれていると判定された顔と含まれていないと判定された顔とが前記映像信号から検出された場合に、前記顔画像データに含まれていると判定された顔、及び前記顔画像データに含まれていないと判定された顔の領域を、他の領域よりも高画質化した画像処理を行う画像処理手段とを備える。

本発明によれば、顔認識用のデータベースに予め登録されている顔だけではなく、登録済みの顔と一緒に撮影されている知人などの未登録の顔に対しても高画質化処理を行うことができる。

実施形態における撮像装置の機能構成例を示すブロック図である。 実施形態におけるカメラ部の詳細な構成例を示すブロック図である。 実施形態における符号化部の詳細な構成例を示すブロック図である。 第１の実施形態における高画質化対象顔判定部の詳細な構成例を示すブロック図である。 フレーム画像、登録されている顔画像及び識別情報の一例を示す図である。 顔認識部からフレーム毎に出力される顔情報の一例を示す図である。 高画質化対象顔の設定状況を被撮影状況と共に時系列的に示した図である。 高画質化対象顔に設定する処理手順の一例を示すフローチャートである。 第２の実施形態における高画質化対象顔判定部の詳細な構成例を示すブロック図である。 顔認識部からフレーム毎に出力される顔情報の一例を示す図である。

（第１の実施形態）
以下、図面を参照しながら本発明の好適な実施形態について説明する。
図１は、本実施形態における撮像装置１００の機能構成例を示すブロック図である。
本実施形態における撮像装置１００は、顔認識データベースに登録された顔が認識された場合に、登録済みの顔及び一緒に撮影されている未登録の顔に対し高画質化処理を行う。以下、本実施形態の構成例について図１を参照しながら説明する。

図１において、本実施形態における撮像装置１００は、カメラ部１０１、符号化部１０２、符号化ストリーム記録部１０３、及び高画質化対象顔判定部１０４を備えている。

カメラ部１０１は、被写体光を撮像し、映像信号を出力する。符号化部１０２は、カメラ部１０１から出力された映像信号を圧縮符号化し、符号化ストリームを出力する。符号化ストリーム記録部１０３は、符号化部１０２から出力された符号化ストリームを記録する。高画質化対象顔判定部１０４は、カメラ部１０１から出力された映像信号に含まれる顔を認識し、高画質化処理の対象となる顔（以下、高画質化処理対象顔）を判定する。そして、高画質化対象と判定された顔に関しての中心座標及び大きさを表す高画質化対象顔情報をカメラ部１０１及び符号化部１０２に出力する。なお、高画質化対象顔情報の詳細については後述する。カメラ部１０１及び符号化部１０２は、高画質化対象顔情報に応じてそれぞれ高画質化対象顔に対して高画質化処理を行う。

次に、カメラ部１０１、符号化部１０２、及び高画質化対象顔判定部１０４について詳しく説明する。

（カメラ部１０１）
まず、カメラ部１０１の構成例について、図２を参照しながら詳しく説明する。
図２は、本実施形態におけるカメラ部１０１の詳細な構成例を示すブロック図である。
図２に示すように、カメラ部１０１は、レンズ２０１、撮像部２０２、Ａ／Ｄ（アナログ−ディジタル）変換部２０３、カメラ信号処理部２０４、及びカメラ制御部２０５を備えている。

続いて、カメラ部１０１の動作について説明する。
レンズ２０１は、被写体光を撮像部２０２に導く。また、レンズ２０１は、後述のカメラ制御部２０５から出力される制御信号に従ってズーム動作や焦点整合動作などを行う。撮像部２０２は、ＣＣＤやＣＭＯＳ等の撮像素子により被写体を撮像し、得られた被写体光を電気信号に変換してＡ／Ｄ変換部２０３に出力する。

Ａ／Ｄ変換部２０３は、アナログ信号をディジタル信号に変換し、カメラ信号処理部２０４に出力する。カメラ信号処理部２０４は、Ａ／Ｄ変換部２０３より出力されたディジタル信号に対して、ガンマ補正、露出調整、平滑化フィルタ処理による美肌処理、ホワイトバランス等の画像処理を行い、その映像信号を出力する。

カメラ制御部２０５は、高画質化対象顔判定部１０４から出力される高画質化対象顔情報に応じてカメラ部１０１全体を制御する。例えば、カメラ制御部２０５は、高画質化対象顔情報に記述されている顔の中心座標に対して焦点が整合するようにレンズ２０１を制御する。本実施形態では、カメラ制御部２０５は、高画質化対象顔情報に記述されている顔の中心座標及び大きさから算出される顔領域に対して美肌処理を行い、露出及びホワイトバランスが適正になるようにカメラ信号処理部２０４を制御する。このように、カメラ制御部２０５は、高画質化対象顔判定部１０４により高画質化対象顔と判定された顔に対して、高画質な映像信号となるように制御する。

（符号化部１０２）
次に、図３を参照しながら符号化部１０２の構成例について説明する。本実施形態では、符号化方式としてＭＰＥＧ符号化方式を用いた例について説明するが符号化方式はこれに限ったものではなく、例えば、Ｈ．２６４符号化方式を用いてもよい。
図３は、本実施形態における符号化部１０２の詳細な構成例を示すブロック図である。
図３に示すように、符号化部１０２は、入力バッファ部３０１、減算器３０２、離散コサイン変換部３０３、量子化部３０４、可変長符号化部３０５、及び出力バッファ部３０６を備えている。さらに、逆量子化部３０７、逆離散コサイン変換部３０８、加算器３０９、フレームメモリ３１０、動き補償部３１１、動き検出部３１２、及び符号量制御部３１３を備えている。

続いて、符号化部１０２の動作について図３を参照しながら説明する。
入力バッファ部３０１は、入力された映像信号を格納する。減算器３０２は、フレーム内符号化処理の場合は、映像信号をそのまま出力し、フレーム間符号化処理の場合は、映像信号から予測画像データを減算し、画像残差データを出力する。なお、予測画像データを生成する手順については後述する。

離散コサイン変換部３０３は、減算器３０２から出力された画像残差データを直交変換して変換係数を出力する。そして、量子化部３０４は前記変換係数を量子化スケールに基づいて量子化する。ここで、この量子化スケールを変化させることによって量子化後の変換係数は大きく変化し、発生符号量及び画質が変化する。また、この量子化スケールは画面内の小領域（例えば、１６画素×１６画素のマクロブロック領域）毎に変化させることが可能である。

可変長符号化部３０５は、量子化部３０４で量子化された変換係数を入力し、この変換係数を可変長符号化して符号化ストリームとする。そして、符号化ストリームは、符号量を制御するために出力バッファ部３０６に一旦格納され、その後、符号化ストリーム記録部１０３に出力される。

符号量制御部３１３は、高画質化対象顔判定部１０４から出力される高画質化対象顔情報と出力バッファ部３０６から得られる符号量の情報とを用いて、高画質化対象顔情報に記述されている顔領域の量子化スケールを他領域よりも小さくするよう符号量を制御する。このように、符号量制御部３１３は、高画質化対象顔判定部１０４により高画質化対象顔と判定された顔に対して、高画質に符号化できるよう符号量を制御する。なお、登録済み顔及び未登録顔が高画質化対象顔として設定されている場合に、登録済み顔には未登録顔よりも多くの符号量を与え、登録済み顔を未登録顔よりもさらに高画質に符号化するようにしてもよい。

一方、量子化部３０４で量子化された変換係数は予測画像データを生成する際にも用いられる。逆量子化部３０７は、量子化部３０４で量子化された変換係数を逆量子化する。さらに、逆離散コサイン変換部３０８は、逆量子化部３０７で逆量子化された変換係数を逆離散コサイン変換し、復号画像残差データとして加算器３０９に出力する。加算器３０９は、復号画像残差データと予測画像データとを加算し、加算したデータは再構成画像データとしてフレームメモリ３１０に記録される。なお、再構成画像データのうち、以降の予測で参照される可能性があるデータは、フレームメモリ３１０にしばらくの間格納される。

動き補償部３１１は、フレームメモリ３１０に記録された再構成画像データを用いて動き検出部３１２によって検出された動きベクトル情報に基づいて動き補償を行い、予測画像データを生成する。動き検出部３１２は、映像信号における動きベクトルを検出し、検出した動きベクトル情報を動き補償部３１１及び可変長符号化部３０５へ出力する。

（高画質化対象顔判定部１０４）
次に、図４を参照しながら高画質化対象顔判定部１０４の構成例について説明する。
図４は、本実施形態における高画質化対象顔判定部１０４の詳細な構成例を示すブロック図である。
図４に示すように、高画質化対象顔判定部１０４は、顔検出部４０１、登録済み顔認識データ記録部４０２、顔認識部４０３、及び高画質化対象顔設定部４０４を備えている。

続いて、高画質化対象顔判定部１０４の動作について図４を参照しながら説明する。
顔検出部４０１は、カメラ部１０１から出力された映像信号に含まれる被写体の顔をフレーム毎に検出し、顔を検出するたびにフレーム内における顔の中心座標及び大きさを表す情報を顔認識部４０３に出力する。登録済み顔認識データ記録部４０２は、顔認識部４０３において顔認識を行うために用いる顔画像データやその顔の人物名などの識別情報を記録する。例えば、ユーザーが高画質化したい顔を撮影し、その顔の人物の名前を設定すると、登録済み顔認識データ記録部４０２に顔画像データと識別情報である人物の名前とが記録される。

顔認識部４０３は、顔検出部４０１から出力された顔の中心座標、大きさを表す情報を基に、入力した映像信号における被写体の顔が、登録済み顔認識データ記録部４０２に記録されている顔と一致するか否かを判定する。そして、その判定結果と、判定した顔の中心座標及び大きさとを顔情報として高画質化対象顔設定部４０４に出力する。高画質化対象顔設定部４０４は、顔認識部４０３から出力された顔情報を基に、登録済み顔と、一緒に撮影されている未登録顔とを高画質化の対象とする顔と判定し、高画質化の対象と判定された顔のみの顔情報を高画質化対象顔情報として出力する。

なお、顔検出部４０１による顔検出の方法は、例えば、オブジェクト検出等の既知の方式を用いるものとし、詳細な説明は省略する。顔認識部４０３による顔認識の方法は、例えば、登録済み顔認識データ記録部４０２に記録されている顔画像データと映像信号に含まれる顔との相関性を評価する既知のオブジェクト認識を用いるものとし、詳細な説明は省略する。

次に、顔検出部４０１及び顔認識部４０３について図５及び図６を参照しながら説明する。
図５（ａ）は、フレーム番号「０」の映像信号を示した図であり、図５（ｂ）は、登録済み顔認識データ記録部４０２に記録されている顔画像及び識別情報である人物の名前の一例を示す図である。また、図６は、顔認識部４０３からフレーム毎に出力される顔情報の一例を示す図であり、例として、フレーム番号「０」から得られた顔情報を示している。

例えば、図５（ａ）に示すようなフレーム番号「０」の映像信号において、顔検出部４０１は、点線内の顔を検出し、顔を検出するたびに顔の中心座標及び大きさの情報を出力する。図５（ａ）に示す例では３つの顔が存在するため、３つの顔に対応する中心座標及び大きさの情報を出力する。すなわち、一番左側の顔については、中心座標（ｘ，ｙ）＝（２５０，５００）、大きさ（ｘ＿ｓｉｚｅ，ｙ＿ｓｉｚｅ）＝（４００，５００）の情報を出力する。そして、中央の顔については、中心座標（ｘ，ｙ）＝（９６０，５００）、大きさ（ｘ＿ｓｉｚｅ，ｙ＿ｓｉｚｅ）＝（４００，５００）の情報を出力する。さらに、一番右側の顔については、中心座標（ｘ，ｙ）＝（１８００，２００）、大きさ（ｘ＿ｓｉｚｅ，ｙ＿ｓｉｚｅ）＝（２００，３００）の情報を出力する。

次に、顔認識部４０３は、登録済み顔認識データ記録部４０２に記録されている顔画像データの顔と顔検出部４０１により検出された顔とが一致するか否かを判定する。図５の例では、図５（ａ）に示す中央の顔は、登録済み顔認識データ記録部４０２に記録されている図５（ｂ）に示す「太郎」の顔と一致すると判定し、この顔を登録済み顔と判定する。また、図５（ａ）に示すその他の顔については、登録済み顔認識データ記録部４０２に記録されている図５（ｂ）に示す顔と一致しないと判定し、未登録顔と判定する。そして、顔認識部４０３は、判定結果と、判定した顔の中心座標及び大きさとについて、図６に示すような顔情報として高画質化対象顔設定部４０４に出力する。

次に、高画質化対象顔設定部４０４の処理について図７を参照しながら説明する。
図７（ａ）及び図７（ｂ）は、高画質化対象顔設定部４０４による高画質化対象顔の設定状況を被撮影状況と共に時系列的に示した図である。ここで、被撮影状況とは、登録済み顔又は未登録顔が撮影され、顔認識部４０３により顔認識されているか否かを示し、図７（ａ）及び図７（ｂ）の斜線に示した期間が顔認識されている期間を示している。

また、図７（ａ）及び図７（ｂ）に示す例では、時刻ｔ０に撮影及び映像の記録を開始して、時刻ｔ５に撮影及び映像の記録を終了している。撮影期間中は、顔認識部４０３により、撮影されている顔が登録済み顔か未登録顔かが判定される。図７（ａ）及び図７（ｂ）に示す例では、最上段に示す登録済み顔は、時刻ｔ０から時刻ｔ３の期間撮影されている。登録済み顔に関しては、撮影されている全ての期間（時刻ｔ０からｔ３の期間）において、高画質化対象顔設定部４０４は高画質化対象顔として設定する。

図７（ａ）に示す例の場合、未登録顔（１）は、時刻ｔ４からｔ５の期間撮影されており、未登録顔（２）は時刻ｔ０からｔ４の期間撮影されている。高画質化対象顔設定部４０４は、登録済み顔と一緒に撮影されている未登録顔に関しては高画質化対象顔として設定する。つまり、映像信号の１フレーム内に登録済み顔と未登録済み顔とが混在する場合は、登録済み顔及び未登録顔を高画質化対象顔として設定する。図７（ａ）において、未登録顔（２）は時刻ｔ０からｔ３の期間において、登録済み顔と一緒に撮影されているため、高画質化対象顔設定部４０４は、時刻ｔ０からｔ３の期間、未登録顔（２）を高画質化対象顔として設定する。

一方、図７（ａ）において、時刻ｔ４からｔ５の期間に撮影されている未登録顔（１）に関しては登録済み顔と一緒に撮影されていないため、高画質化対象顔設定部４０４は、高画質化対象顔として設定しない。

また、図７（ｂ）に示す例では、未登録顔（３）は時刻ｔ０からｔ４の期間撮影されており、未登録顔（４）は時刻ｔ０からｔ５の期間撮影されている。そこで、図７（ｂ）に示す未登録顔（３）のように、登録済み顔と未登録顔とが所定の期間以上検出（例えば時刻ｔ０からｔ１の期間）されてから未登録顔を高画質化対象顔として設定してもよい。このように設定することにより、通行人など注目度の低い未登録顔を除外することができる。

また、未登録顔（４）のように、未登録顔が高画質化対象顔と一旦設定されると、登録済み顔が撮影されなくなった以降も高画質化対象顔として所定期間設定し続けるようにしてもよい。図７（ｂ）に示す未登録顔（４）の例では、登録済み顔が撮影されていない時刻ｔ３からｔ５の期間まで高画質化顔と設定している。このように過去に登録済み顔とともに撮影され、登録済み顔が撮影されなくなった直後にそれまで高画質化処理されていた未登録顔の画質が急に低下するといったことを防ぐことができる。

このように設定された高画質化対象顔に対し、前述のようにカメラ部１０１においては、フォーカス、美肌処理、ホワイトバランス、露出が適正になるように調整を行い、符号化部１０２においては、符号量を他の領域より多く与えることにより高画質化処理を行う。

以上のように、顔認識部４０３から出力される顔情報により、登録済み顔だけではなく、登録済み顔と一緒に撮影されている未登録顔も高画質化対象顔として設定することができる。これにより、例えば、登録済み顔の人物とともに撮影者の知人ではあるが登録済み顔認識データ記録部４０２に記録されていない顔の人物も高画質に記録することが可能となる。

なお、高画質化対象顔設定部４０４は、登録済み顔と一緒に撮影されている未登録顔のうち、顔の大きさが所定サイズよりも小さい未登録顔については、高画質化対象顔として設定しないようにしてもよい。また、高画質化対象顔設定部４０４は、登録済み顔と一緒に撮影されている未登録顔のうち、登録済み顔と所定の距離以上離れている未登録顔について、高画質化対象顔として設定しないようにしてもよい。このように、未登録顔の顔の大きさや登録済み顔からの距離など、注目度を目安として高画質化対象顔を設定してもよい。

この場合、顔の大きさについては、例えば、図６に示すような顔情報に含まれる「大きさ」から顔の面積を算出して所定サイズよりも小さいか否かを判定することができる。また、登録済み顔と未登録顔との距離については、例えば、図６に示すような顔情報に含まれる「座標」から距離を算出して所定の距離以上離れているか否かを判定することができる。また、顔の大きさが所定サイズよりも小さい、もしくは登録済み顔と所定の距離以上離れている場合に、顔の大きさや距離に比例して高画質化の度合いを低く制御するといったような多値の制御を行ってもよい。

以上のように、登録済み顔と一緒に撮影されている未登録顔であっても、例えば、登録済み顔の背後を通過する通行人等などのように、登録済み顔から離れた場所に位置する未登録顔に関しては、高画質化対象顔から除外することが可能となる。そのため、登録済み顔と近い場所に位置する未登録顔を重点的に高画質化対象顔と設定することが可能となる。

図８は、高画質化対象顔設定部４０４により高画質化対象顔に設定する処理手順の一例を示すフローチャートである。
図８において、顔認識部４０３から顔情報が入力されることにより処理を開始する。そして、ステップＳ８０１において、入力された顔情報に登録済み顔が含まれているか否かを判定する。この判定の結果、登録済み顔が含まれていない場合は、ステップＳ８０３に進み、登録済み顔が含まれている場合は、ステップＳ８０２に進む。

次に、ステップＳ８０２において、全ての登録済み顔を高画質化対象顔に設定する。そして、ステップＳ８０３において、入力された顔情報に未登録顔が含まれるか否かを判定する。この判定の結果、未登録顔が含まれていない場合は、そのフレームについては処理を終了する。このとき、高画質化の対象であると判定された顔（登録済み顔）が含まれている場合は、高画質化の対象であると判定された顔のみの顔情報を高画質化対象顔情報としてカメラ部１０１及び符号化部１０２に出力する。なお、例えば図６に示すような顔情報に、高画質化対象顔か否かを示す情報を付加することによって高画質化対象顔情報を生成してもよい。

一方、ステップＳ８０３の判定の結果、未登録顔が含まれている場合は、ステップＳ８０４において、ある未登録顔に関して高画質化対象顔とする条件に合致するか否かを判定する。この判定の結果、条件に合致していない場合は、ステップＳ８０６に進む。なお、図７（ａ）に示す例のように、登録済み顔が検出されていない期間では高画質化対象顔としないような設定の場合は、ステップＳ８０１でＮＯと判定されると、ステップＳ８０４では、全ての未登録顔が条件に合致しないことになる。

一方、ステップＳ８０４の判定の結果、条件に合致した場合は、ステップＳ８０５において、その未登録顔を高画質化対象顔に設定する。なお、高画質化対象顔とする条件とは、前述のように、例えば、顔の大きさが所定サイズ以上であることや、図７（ｂ）の未登録顔（４）に示す設定の場合に、登録済み顔が撮影されなくなった以降も顔検出されていることなどの条件が挙げられる。

次に、ステップＳ８０６において、全ての未登録顔に対してステップＳ８０４の判定を行ったか否かを判定する。この判定の結果、まだ判定を行っていない未登録顔がある場合は、ステップＳ８０４に戻り、全ての未登録顔について判定を行った場合は、そのフレームについては処理を終了する。このとき、高画質化の対象であると判定された顔が含まれている場合は、前述と同様に、高画質化対象顔情報としてカメラ部１０１及び符号化部１０２に出力する。このように、ステップＳ８０１〜Ｓ８０６の処理をフレーム毎に繰り返し、登録済み顔及び高画質化対象顔とする条件に合致した未登録顔を高画質化対象顔に設定し、高画質化対象顔情報を出力する。

以上のように本実施形態によれば、所定の条件を満たす未登録顔に対しても高画質化処理を行うようにした。これにより、例えば、登録済み顔の人や撮影者の知人ではあるが登録済み顔認識データ記録部４０２に記録されていないような顔も高画質に記録することが可能となる。さらに、登録済み顔と一緒に撮影されている未登録顔であっても、顔が小さい未登録顔や登録済み顔から離れた位置にある未登録顔に関しては、高画質化対象顔と設定しないようにした。これにより、例えば、偶然撮影されてしまった人物の顔等を高画質化対象顔から除外することが可能となる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。特に顔が多く含まれる画像では符号量割り当てが困難になり、顔以外の画質の低下が目立ってしまう恐れがある。また、図７（ａ）に示すような設定の場合、全く無関係な人までも高画質にしてしまうことがある。そこで、本実施形態では、撮影頻度が所定値未満の未登録顔については高画質化しないようにする。

本実施形態では、高画質化対象顔判定部１０４の構成及び動作が第１の実施形態と異なっている。したがって、図１に示した他の構成については第１の実施形態と同様であるため、説明は省略する。また、以下の説明では、第１の実施形態で説明したものと同じ符号が付されているものも第１の実施形態と同様の動作、処理を行うものであるため、説明は省略する。

まず、図９を参照しながら高画質化対象顔判定部１０４の構成例について説明する。
図９は、本実施形態における高画質化対象顔判定部１０４の詳細な構成例を示すブロック図である。
図９に示すように、本実施形態における高画質化対象顔判定部１０４は、顔検出部４０１、登録済み顔認識データ記録部４０２、未登録顔認識データ記録部９０１、顔認識部９０２、及び高画質化対象顔設定部９０３を備えている。

続いて、本実施形態における高画質化対象顔判定部１０４の動作について図９を参照しながら説明する。
未登録顔認識データ記録部９０１は、登録済み顔認識データ記録部４０２に記録されていない顔（未登録顔）に関して、顔認識部９０２で顔認識するために用いる顔画像データや識別情報を記録する。さらに、未登録顔が撮影された頻度（検出頻度）も記録する。ここで、撮影された頻度とは、例えば、未登録顔が撮影されたフレーム数や撮影時間である。

顔認識部９０２は、顔検出部４０１から出力された顔の中心座標、大きさを表す情報を基に、入力した映像信号における被写体の顔が、登録済み顔認識データ記録部４０２又は未登録顔認識データ記録部９０１に記録されている顔と一致するか否かを判定する。そして、その判定結果と、判定した顔の中心座標、大きさ及び撮影頻度とを顔情報として高画質化対象顔設定部９０３に出力する。高画質化対象顔設定部９０３は、顔認識部９０２から出力された顔情報を基に、登録済み顔と、一緒に撮影されている未登録顔のうち、撮影頻度が所定値以上の未登録顔とを高画質化の対象とする顔と判定する。そして、高画質化の対象と判定された顔のみの顔情報を高画質化対象顔情報として出力する。

次に、顔認識部９０２について図１０を参照しながら説明する。
図１０は、顔認識部９０２からフレーム毎に出力される顔情報の一例を示す図であり、例として、フレーム番号「０」から得られた顔情報を示している。
図１０に示すように、入力した映像信号における被写体の顔が登録済み顔認識データ記録部４０２に記録されている顔と一致する場合は、登録済み顔という判定結果と、判定した顔の中心座標及び大きさとを顔情報として出力する。また、入力した映像信号における被写体の顔が未登録顔認識データ記録部９０１に記録されている顔と一致する場合は、未登録顔という判定結果と、判定した顔の中心座標、大きさ及び撮影頻度とを顔情報として出力する。その後、未登録顔認識データ記録部９０１に記録されている撮影頻度情報を更新する。例えば、図１０に示すように、ｘ＝２５０、ｙ＝５００の位置に存在する顔の場合は、撮影頻度を１２３４５フレームから１２３４６フレームにカウントアップする。

一方、入力した映像信号における被写体の顔が登録済み顔認識データ記録部４０２に記録されている顔、及び未登録顔認識データ記録部９０１に記録されている顔のいずれにも一致しない場合もある。この場合は、未登録顔という判定結果と、判定した顔の中心座標、大きさ及び０フレームとした撮影頻度とを顔情報として出力する。その後、顔認識部９０２は、判定した映像信号に含まれる顔を、識別情報及び１フレームとした撮影頻度の情報とともに顔画像データとして未登録顔認識データ記録部９０１に記録する。

このように顔認識部９０２から出力された顔情報を基に、高画質化対象顔設定部９０３は、登録済み顔と、一緒に撮影されている未登録顔のうち、撮影頻度が所定値以上の未登録顔とを高画質化の対象とする顔と判定する。そして、高画質化の対象と判定された顔のみの顔情報を高画質化対象顔情報としてカメラ部１０１及び符号化部１０２に出力する。例えば、図１０に示すような顔情報が入力された場合、登録済み顔と撮影頻度が１２３４５フレームの未登録顔とを高画質化対象顔として設定し、この２つの顔の顔情報を高画質化対象顔情報として出力する。

以上のように本実施形態によれば、顔認識部９０２から出力される顔情報により、登録済み顔だけではなく、登録済み顔と一緒に撮影されている未登録顔のうち、撮影頻度が高い未登録顔も高画質化対象顔として設定することができる。これにより、例えば、登録済み顔の人や撮影者の知人ではあるが登録済み顔認識データ記録部４０２に記録されていないような顔も高画質に記録することが可能となる。さらに、登録済み顔と一緒に撮影されている未登録顔であっても、撮影頻度が低い未登録顔に関しては、高画質化対象顔と設定しないことにより、例えば、登録済み顔の背後を通過する通行人等を高画質化対象顔から除外することが可能となる。そのため、撮影頻度が高い未登録顔を重点的に高画質化対象顔と設定することが可能となる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

４０１ 顔検出部
４０２ 登録済み顔認識データ記録部
４０３ 顔認識部
４０４ 高画質化対象顔設定部

Claims (14)

1. 顔画像データを記憶する記憶手段と、
   映像信号から顔を検出する顔検出手段と、
   前記顔検出手段により検出された顔が前記記憶手段に記憶されている顔画像データに含まれているか否かを判定する顔認識手段と、
   前記顔認識手段により前記記憶手段に記憶されている顔画像データに含まれていると判定された顔と含まれていないと判定された顔とが前記映像信号から検出された場合に、前記顔画像データに含まれていると判定された顔、及び前記顔画像データに含まれていないと判定された顔の領域を、他の領域よりも高画質化した画像処理を行う画像処理手段とを備えることを特徴とする画像処理装置。
2. 前記顔認識手段により前記顔画像データに含まれていないと判定された顔の注目度が所定の条件を満たすか否かを判定する判定手段をさらに備え、
   前記画像処理手段は、前記顔画像データに含まれていると判定された顔、及び前記判定手段により前記注目度が所定の条件を満たすと判定された場合は前記注目度が所定の条件を満たす顔の領域を、他の領域よりも高画質化した画像処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記判定手段は、前記注目度として、前記顔画像データに含まれていないと判定された顔の大きさを判定し、
   前記画像処理手段は、前記顔画像データに含まれていると判定された顔、及び前記判定手段により前記顔の大きさが所定値以上であると判定された場合は前記顔の大きさが所定値以上である顔の領域を、他の領域よりも高画質化した画像処理を行うことを特徴とする請求項２に記載の画像処理装置。
4. 前記判定手段は、前記注目度として、前記顔画像データに含まれていると判定された顔との距離を判定し、
   前記画像処理手段は、前記顔画像データに含まれていると判定された顔、及び前記判定手段により前記距離が所定値未満であると判定された場合は前記距離が所定値未満である顔の領域を、他の領域よりも高画質化した画像処理を行うことを特徴とする請求項２に記載の画像処理装置。
5. 前記判定手段は、前記注目度として、前記顔検出手段により検出されている期間を判定し、
   前記画像処理手段は、前記顔画像データに含まれていると判定された顔、及び前記判定手段により所定の期間以上検出されていると判定された場合は前記所定の期間以上検出されている顔の領域を、他の領域よりも高画質化した画像処理を行うことを特徴とする請求項２に記載の画像処理装置。
6. 前記顔認識手段により前記記憶手段に記憶されている顔画像データに含まれていないと判定された顔の顔画像データを記録部に記録する記録手段と、
   前記記録手段により記録された顔画像データの顔の検出頻度を算出する算出手段とをさらに備え、
   前記判定手段は、前記注目度として、前記算出手段により算出される検出頻度を判定し、
   前記画像処理手段は、前記顔画像データに含まれていると判定された顔、及び前記判定手段により前記検出頻度が所定値以上であると判定された場合は前記検出頻度が所定値以上の顔の領域を、他の領域よりも高画質化した画像処理を行うことを特徴とする請求項２に記載の画像処理装置。
7. 前記検出頻度とは、フレーム数であることを特徴とする請求項６に記載の画像処理装置。
8. 前記検出頻度とは、撮影時間であることを特徴とする請求項６に記載の画像処理装置。
9. 前記顔認識手段により前記記憶手段に記憶された顔画像データに含まれていないと判定された場合であって、前記顔画像データに含まれていないと判定された顔が過去に前記記憶手段に記憶された顔画像データに含まれていると判定された顔とともに検出されている場合、前記画像処理手段は、前記顔画像データに含まれていないと判定された顔の領域を、他の領域よりも高画質化した画像処理を行うことを特徴とする請求項１〜８の何れか１項に記載の画像処理装置。
10. 前記画像処理手段は、前記映像信号を圧縮符号化する符号化手段を有し、
    前記符号化手段は、前記画像処理として、前記顔画像データに含まれていると判定された顔、及び前記顔画像データに含まれていないと判定された顔の領域に対して符号量を他の領域よりも多く与えて圧縮符号化することを特徴とする請求項１〜９の何れか１項に記載の画像処理装置。
11. 前記符号化手段は、さらに、前記顔画像データに含まれていると判定された顔の領域に対して、前記顔画像データに含まれていないと判定された顔の領域よりも多くの符号量を与えて圧縮符号化することを特徴とする請求項１０に記載の画像処理装置。
12. 被写体を撮像して前記映像信号を生成する撮像手段をさらに備え、
    前記画像処理手段は、前記画像処理として、前記撮像手段により生成される映像信号に対するホワイトバランス、露出、フォーカス、平滑化フィルタ処理のうち、少なくとも１つを高画質化することを特徴とする請求項１〜１１の何れか１項に記載の画像処理装置。
13. 映像信号から顔を検出する顔検出工程と、
    前記顔検出工程において検出された顔が記憶手段に記憶されている顔画像データに含まれているか否かを判定する顔認識工程と、
    前記顔認識工程において前記記憶手段に記憶されている顔画像データに含まれていると判定された顔と含まれていないと判定された顔とが前記映像信号から検出された場合に、前記顔画像データに含まれていると判定された顔、及び前記顔画像データに含まれていないと判定された顔の領域を、他の領域よりも高画質化した画像処理を行う画像処理工程とを備えることを特徴とする画像処理方法。
14. 映像信号から顔を検出する顔検出工程と、
    前記顔検出工程において検出された顔が記憶手段に記憶されている顔画像データに含まれているか否かを判定する顔認識工程と、
    前記顔認識工程において前記記憶手段に記憶されている顔画像データに含まれていると判定された顔と含まれていないと判定された顔とが前記映像信号から検出された場合に、前記顔画像データに含まれていると判定された顔、及び前記顔画像データに含まれていないと判定された顔の領域を、他の領域よりも高画質化した画像処理を行う画像処理工程とをコンピュータに実行させることを特徴とするプログラム。

Images