JP2013131795A - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】顔画像の識別に要する演算量が多く、処理の高速化が困難であった。
【解決手段】画像データに含まれる顔画像を検出する顔検出部と、検出された顔画像が示す人物を識別する顔識別部と、第一の画像データから検出された顔画像の数が当該第一の画像データの直前に生成された先行画像データから検出された顔画像の数と同じであり、かつ、当該第一の画像データが生成された時刻と当該先行画像データが生成された時刻との差が所定のしきい以下である場合には、当該第一の画像データから検出された顔画像に対する識別を上記顔識別部に実行させず、当該先行画像データから検出された顔画像に対する識別の結果を当該第一の画像データから検出された顔画像に適用する識別結果適用部と、を備える構成とした。
【選択図】図２

Description

本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。

入力された画像に写っている人物の顔を認識する顔認識手段と、顔認識手段によって認識された顔に基づいて前記人物を特定する人物特定手段とを備えた画像分類装置が知られている（特許文献１参照）。

特開２００８‐７１１１２号公報

上記文献１によれば、特定された人物に従って複数の画像が分類される。ここで、上記分類の過程で、画像に写っている顔に基づいて人物を特定する処理（顔識別処理と呼ぶ。）が各画像に対して実行されている。しかし、顔識別処理は一般に、顔の特徴点等の情報を抽出して登録したり、抽出した情報を登録済みの情報と対比したりする等、多くの演算を要する処理であるため、全ての画像を顔識別処理の対象とすることは、画像分類等の処理の高速化に対する大きな妨げとなる。

本発明は上記課題を解決するためになされたものであり、顔識別処理を実行する機能を備えつつ全体として処理量の削減、高速化を実現することが可能な画像処理装置、画像処理方法および画像処理プログラムを提供する。

本発明にかかる画像処理装置の態様の一つは、画像データに含まれる顔画像を検出する顔検出部と、検出された顔画像が示す人物を識別（特定）する顔識別部と、第一の画像データから検出された顔画像の数が当該第一の画像データの直前に生成された先行画像データから検出された顔画像の数と同じであり、かつ、当該第一の画像データが生成された時刻と当該先行画像データが生成された時刻との差が所定のしきい以下である場合には、当該第一の画像データから検出された顔画像に対する識別を上記顔識別部に実行させず、当該先行画像データから検出された顔画像に対する識別の結果を当該第一の画像データから検出された顔画像に適用する識別結果適用部と、を備える構成としてある。

当該構成によれば、第一の画像データ内の顔画像の数が先行画像データ内の顔画像の数と同じであり、かつ、第一の画像データが生成された時刻と先行画像データが生成された時刻との差がしきい以下である場合には、第一の画像データ内の顔画像に対する顔識別処理を実行せず、先行画像データ内の顔画像に対する顔識別結果をそのまま第一の画像データ内の顔画像に適用する。そのため、複数の画像データ全てについて（複数の画像データを順番に第一の画像データとして扱って）顔識別処理を実行する場合と比較して、大幅に処理量を減らし、処理全体の高速化（短時間化）が実現される。

本発明の態様の一つとして、画像処理装置は、所定の記憶領域に保存された複数の画像データを、画像の撮像に用いられた機器の共通性に従ってグループ分けする分類処理部を備え、上記識別結果適用部は、上記分けられたグループ内において上記第一の画像データおよび当該第一の画像データに対する上記先行画像データを選出する構成としてもよい。
当該構成によれば、例えば、記憶領域に多数保存された画像データを分類等する際に、撮影に用いられた機器（デジタルスチルカメラ等の撮像装置）が共通する関係にある画像データ間で第一の画像データおよび先行画像データが選出されるため、先行画像データ内の顔画像に対する顔識別結果をそのまま第一の画像データ内の顔画像に適用した場合の結果の正確性がより高まる。

本発明の態様の一つとして、画像処理装置は、撮像素子を有し画像を撮像可能な撮像部を備え、上記識別結果適用部は、上記撮像素子を介して取得される画像データを上記第一の画像データとし、既に撮像部を介して取得された画像を上記先行画像データとする構成としてもよい。
当該構成によれば、例えば、画像処理装置としてのデジタルスチルカメラのモニターに撮像素子を介してリアルタイムで映し出される画像データ内で検出された人物について、既に撮像されてメモリーに保存された先行画像データ内の顔画像に対する顔識別結果をそのまま適用することができ、画像処理装置の演算負担が大幅に軽減される。

本発明の態様の一つとして、上記識別結果適用部は、先行画像データから検出された複数の顔画像に対する識別の結果を第一の画像データから検出された複数の顔画像に適用する場合は、顔画像の平均の頭頂方向を求め、平均の頭頂方向および平均の頭頂方向に垂直な方向それぞれにおける顔画像の位置の分散を求め、平均の頭頂方向又は当該垂直な方向のうち当該分散が大きい方の方向を特定する処理を、第一の画像データと先行画像データのそれぞれについて行い、第一の画像データについて上記特定した方向における顔画像の並びおよび先行画像データについて上記特定した方向における顔画像の並びに従って、顔画像を一対一で対応付ける、としてもよい。
当該構成によれば、第一の画像データに複数の顔画像が含まれている場合であっても、それぞれの顔画像にかかる人物を正確に識別した結果が容易に得られる。

本発明にかかる技術的思想は画像処理装置という形態のみで実現されるものではなく、例えば、上述した画像処理装置の各部が実行する各処理工程を有する画像処理方法の発明や、上述した画像処理装置の各部に相当する各機能をハードウェア（コンピューター）に実行させる画像処理プログラムの発明なども、把握することが可能である。

第一の実施形態にかかる画像処理装置の一例を概略的に示すブロック図である。 第一の実施形態で実行される処理の一例を示すフローチャートである。 複数の画像ファイルがソートされた様子を例示する図である。 先行画像データおよび対象画像データを例示する図である。 先行画像データおよび対象画像データを例示する図である。 ステップＳ１１６の詳細を示すフローチャートである。 第二の実施形態にかかる画像処理装置の一例を概略的に示すブロック図である。 第二の実施形態で実行される処理の一例を示すフローチャートである。 ＤＳＣの背面側の一例を簡易的に示す図である。

以下、図面を参照しながら本発明の実施形態を説明する
１．第一の実施形態
図１は、第一の実施形態にかかる画像処理装置の一例をブロック図により概略的に示している。画像処理装置は、画像処理方法の実行主体でもある。画像処理装置は、例えば、コンピューター１０である。コンピューター１０は、コンピューター１０の各部を制御するＣＰＵ１４と、例えばＲＯＭやＲＡＭによって構成された内部メモリー１９と、マウスやキーボードあるいはボタンやタッチパネル等により構成された操作部１２と、液晶ディスプレー等により構成された表示部１３と、記憶装置の一種としてのハードディスクドライブ（ＨＤＤ）１１と、カードインターフェース（Ｉ／Ｆ）１６と、外部機器との有線あるいは無線による通信を実行するためのＩ／Ｆ部１５等を備える。コンピューター１０の各構成要素は、バス１８を介して互いに接続されている。

カードＩ／Ｆ１６は、カードスロット１７に挿入された記憶媒体（メモリーカードＭＣ）との間でデータのやり取りを行うためのインターフェースである。カードスロット１７に挿入されたメモリーカードＭＣには、所定のフォーマットで生成された画像ファイルが複数保存されている。画像ファイルは、例えば、デジタルスチルカメラ等の撮像装置によって撮像、生成されたＥｘｉｆ（Exchangeable Image File Format）フォーマット等に対応したファイルであり、画像データの他に、種々の付帯情報を含んで構成される。コンピューター１０は、カードＩ／Ｆ１６を介してメモリーカードＭＣに格納された画像ファイルの取得を行う。あるいは、このような画像ファイルはＨＤＤ１１にも複数保存されており、コンピューター１０は、ＨＤＤ１１から画像ファイルの取得を行う。むろん、コンピューター１０は、画像ファイルの提供元としてはメモリーカードＭＣやＨＤＤ１１以外にも種々の媒体を用いることができるし、Ｉ／Ｆ部１５を介して通信可能に接続した外部機器から画像ファイルを取得することもできる。

内部メモリー１９には、種々のプログラムやデータが格納されており、その一部として画像処理部２０（画像処理プログラム）が格納されている。画像処理部２０は、分類処理部２１、顔検出部２２、顔識別部２３および識別結果適用部２４を含む。内部メモリー１９におけるこれら各部は、オペレーティングシステムの下で所定の処理を実現するためのコンピュータープログラムである。ＣＰＵ１４は、内部メモリー１９から、これらのプログラムを読み出して実行することにより、これら各部の機能を実現する。むろんコンピューター１０は、表示部１３を制御して種々の表示を実行させるディスプレードライバー等、コンピューターとして一般的な各種機能を有している。

図２は、本実施形態にかかる画像処理装置（コンピューター１０）において実現される処理を示すフローチャートである。当該フローチャートは、主に、ＣＰＵ１４が実行する画像処理部２０（分類処理部２１、顔検出部２２、顔識別部２３および識別結果適用部２４）の機能により実現される。
ステップＳ１００では、分類処理部２１が、分類対象となる複数の画像ファイルが保存された所定の記憶領域（例えばＨＤＤ１１）から、それら複数の画像ファイルを取得する。ここでは、Ｎ（２以上の整数）枚分の写真（画像データ）に相当するＮ枚の画像ファイルを取得したものとする。

ステップＳ１０２では、分類処理部２１は、上記Ｎ枚の各画像ファイルから、画像データに関する付帯情報を取得する。ここで言う付帯情報には、画像データの撮像に用いられた撮像装置の機種情報と、画像ファイルの撮像（画像データの生成）日時とを少なくとも含む。
ステップＳ１０４では、分類処理部２１は、上記付帯情報に基づいて、上記Ｎ枚の画像ファイルを、撮像装置毎にグループ分けし、かつ、各グループ内で日時順に並べる（ソートする）。

図３は、ステップＳ１０４においてＮ枚の画像ファイルＤＦがソートされた様子を模式的に示している。ここでは一例として、３台の撮像装置（カメラＡ，Ｂ，Ｃ）によってそれぞれ１００枚ずつ撮像された計３００枚分の画像ファイルＤＦがＨＤＤ１１に保存されていたものとする。そのため、カメラＡで撮像された１００枚の画像ファイルＤＦが撮像日時順にソートされ、同様に、カメラＢで撮像された１００枚の画像ファイルＤＦが撮像日時順にソートされ、カメラＣで撮像された１００枚の画像ファイルＤＦが撮像日時順にソートされている。また図３では、上記Ｎ枚の画像ファイルＤＦに１〜Ｎまでの通しのファイル番号を付与している。この場合、撮影に用いられた装置が共通するグループ内においてファイル番号は連番とする。図３では、カメラＡで撮像されて撮像日時順にソートされた１００枚の画像ファイルＤＦに１〜１００のファイル番号を付し、カメラＢで撮像されて撮像日時順にソートされた１００枚の画像ファイルＤＦに１０１〜２００のファイル番号を付し、カメラＣで撮像されて撮像日時順にソートされた１００枚の画像ファイルＤＦに２０１〜３００のファイル番号を付している。

ステップＳ１０６では、顔検出部２２が、処理対象とする画像データを有する画像ファイルＤＦの番号ｉ（ファイル番号）を、ｉ＝１に設定する。
ステップＳ１０８では、顔検出部２２は、現在の番号ｉにかかる画像ファイルＤＦの画像データ（第一の画像データ。『対象画像データ』とも呼ぶ。）に含まれる顔画像を検出する顔検出処理を実行する。顔検出処理とは、画像データが表す画像内に人顔が含まれているか否か判定し、人顔が含まれている場合に、その人顔を含む領域（例えば矩形領域）を顔画像として抽出する処理を言い、例えば、特許文献１で説明されている顔認識処理が該当する。なお、顔検出処理の具体的手法は特に限られず、肌色領域の検出や、パターンマッチングによる手法など、種々の公知の手法を採用可能である。

ステップＳ１１０では、顔検出部２２は、直近のステップＳ１０８において顔検出に成功したか否かにより処理を分岐する。具体的には、対象画像データから、一つ以上の顔画像の検出に成功した場合（ステップＳ１１０において“Ｙｅｓ”）にはステップＳ１１２へ進み、一つの顔画像も検出できなかった場合（ステップＳ１１０において“Ｎｏ”）にはステップＳ１１８へ進む。

ステップＳ１１２では、識別結果適用部２４は、対象画像データから検出された顔画像の数と、番号ｉ−１にかかる画像データ、つまり対象画像データの直前に撮像され生成された画像ファイルＤＦの画像データ（以下、『先行画像データ』と呼ぶ。）から検出済みの顔画像の数が一致するか否か判定する。さらに、識別結果適用部２４は、対象画像データにかかる撮像日時と先行画像データにかかる撮像日時との差が所定のしきい値（例えば、数秒）以下であるか否か判定する。そして、上記顔画像の数が一致し、かつ、上記撮像日時の差がしきい値以下である場合のみ（ステップＳ１１２において“Ｙｅｓ”）、ステップＳ１１６へ進み、それ以外の場合（ステップＳ１１２において“Ｎｏ”）はステップＳ１１４へ進む。なお、先行画像データは、必ず対象画像データと同一のグループ内（撮像装置が共通する関係内）で選出される。従って、図３の例によれば、現在のファイル番号ｉが「１」、「１０１」、「２０１」のいずれかである場合は、先行画像データは存在せず、ステップＳ１１２における判定は“Ｎｏ”となる。また、先行画像データに顔画像が存在しない（先行画像データが対象画像データであったときのステップＳ１０８で、顔画像が検出されなかった）場合も、当然ステップＳ１１２における判定は“Ｎｏ”となる。

ステップＳ１１４では、顔識別部２３は、対象画像データから検出された顔画像毎に、顔画像が示す人物を識別する顔識別処理を実行する。顔識別処理の具体的手法も特に限られず、種々の公知の手法を採用可能である。
一例として、所定の記憶領域にデータベースとして予め人物（例えば、人物ａ，ｂ，ｃ，ｄ）毎に登録した顔の特徴点（目、鼻、口、輪郭など）を示した特徴データと、対象画像データから検出された顔画像の特徴点との比較等により、顔画像が示す人物が誰であるか（人物ａ，ｂ，ｃ，ｄのいずれに一致するか）を識別し、識別結果を対象画像データにかかる画像ファイルＤＦの付帯情報の一種として記録する。また、対象画像データから検出された顔画像の特徴点が上記データベースに登録されたいずれの人物の特徴データとも一致しない場合（あるいは、上記データベースに人物の特徴データが登録されていない場合）は、対象画像データから検出された顔画像の特徴点に基づいて新たな人物の特徴データを登録しつつ、識別結果（当該新たな人物（例えば、人物ｅ）であるという識別結果）を、対象画像データにかかる画像ファイルＤＦの付帯情報の一種として記録する。

一方、ステップＳ１１６では、識別結果適用部２４は、対象画像データから検出された顔画像に対する顔識別処理を顔識別部２３に実行させず、先行画像データから検出された顔画像に対する識別結果を、対象画像データから検出された顔画像に適用する。つまり、同じ撮像装置で、上記しきい値以内の時間差で撮像された画像であって、写っている人数も同じであるという条件が満たされれば、それらの画像に写っている人物は同一人物であると見なしても問題ないため、当該条件が整う場合には、顔識別処理（ステップＳ１１４）は省いて、直前に撮像された画像内の顔に対する識別結果を流用するのである。なお上記しきい値としては、被写体となる人物の変更（人物の入れ替わり或いは増減）が起こらないと想定されるごく短い時間が用いられる。

図４（Ａ）は、先行画像データを例示し、図４（Ｂ）は、対象画像データを例示している。図４（Ａ），（Ｂ）に示した先行画像データ、対象画像データそれぞれにおいては、人物の顔を含む矩形領域が顔画像ＦＡとして検出されている。図４（Ａ），（Ｂ）に示した先行画像データ、対象画像データは、いずれも同人数（１人）の顔画像ＦＡを含んでいるため、これら先行画像データおよび対象画像データについての撮像日時の差が上記しきい値以下であれば、ステップＳ１１２の次にステップＳ１１６が実行される。つまり、図４（Ａ）に示した先行画像データが対象画像データであったとき（番号ｉ＝ｉ−１であったとき）に、その顔画像ＦＡに対してステップＳ１１４で実行された（あるいはステップＳ１１６で適用された）顔識別処理の結果（例えば、人物ａであるという識別結果）を、現在の対象画像データにおける顔画像ＦＡにもそのまま適用する。この適用結果は、対象画像データにかかる画像ファイルＤＦの付帯情報の一種として記録される。

ステップＳ１１８では、顔検出部２２は、現在の番号ｉ＝Ｎであるか否か判定し、番号ｉ＝Ｎであれば当該フローチャートを終了する。一方、番号ｉ＝Ｎが不成立であれば、ステップＳ１２０において、番号ｉの数字を一つインクリメントした上でステップＳ１０８以下の処理を繰り返す。

このように本実施形態によれば、複数の画像データについて、それらに含まれる顔画像を識別（特定）しようとする場合に、同じ撮像装置で所定のしきい値以内の時間差で撮像されかつ写っている人数も同じであるという条件が満たされれば、直前に撮像された画像データ内の顔画像に対する識別結果をそのまま適用するようにした。そのため、大量の画像データを対象とした顔識別にかかる演算量を大幅に低減させ、かつ短時間で処理を終わらせることができる。

ここで、先行画像データおよび対象画像データに複数の顔画像が含まれていることもある。そのような場合でも、ステップＳ１１２において“Ｙｅｓ”と判定された場合はステップＳ１１６が実行されるが、以下では、先行画像データおよび対象画像データに複数の顔画像が含まれる場面を想定して、ステップＳ１１６の処理を詳述する。
図５（Ａ）は、先行画像データを例示し、図５（Ｂ）は、対象画像データを例示している。図５（Ａ），（Ｂ）に示した先行画像データ、対象画像データそれぞれには、顔画像ＦＡが３つ検出されている。これら先行画像データおよび対象画像データについての撮像日時の差は上記しきい値以下であるとする。また、図５（Ａ）の先行画像データに関しては、それが対象画像データであったときにステップＳ１１４（またはＳ１１６）において、３つの顔画像ＦＡについて上から順に、人物ａ、人物ｂ、人物ｃと識別された（識別結果を適用された）ものとする。図５（Ａ）では便宜上、人物ａと識別された顔画像ＦＡを顔画像ＦＡ（ａ）、人物ｂと識別された顔画像ＦＡを顔画像ＦＡ（ｂ）、人物ｃと識別された顔画像ＦＡを顔画像ＦＡ（ｃ）、と表現している。

図６は、ステップＳ１１６の詳細をフローチャートにより示している。
ステップＳ１１６１では、識別結果適用部２４は、対象画像データから検出された顔画像の数が１であるか否か判定し、顔画像の数が１である場合はステップＳ１１６５へ進み、顔画像の数が１ではない（２以上）場合はステップＳ１１６２へ進む。
ステップＳ１１６２では、識別結果適用部２４は、先行画像データ、対象画像データそれぞれにおいて、顔画像の平均の頭頂方向（平均頭頂方向）を求める。図５（Ａ），（Ｂ）を例に説明すると、先行画像データに含まれる３つの顔画像ＦＡの頭頂方向の平均が、先行画像データにおける平均頭頂方向として算出され、同様に、対象画像データに含まれる３つの顔画像ＦＡの頭頂方向の平均が、対象画像データにおける平均頭頂方向として算出される。

ステップＳ１１６３では、識別結果適用部２４は、先行画像データについて、平均頭頂方向と平均頭頂方向に垂直な方向それぞれにおける顔画像ＦＡの位置の分散を求め、平均頭頂方向と平均頭頂方向に垂直な方向のうち、当該求めた分散の値が大きい方の方向を特定する。図５（Ａ）を例に説明すると、３つの顔画像ＦＡは、ほぼ顔の上下方向に沿って並んでいるため、平均頭頂方向における分散の方が、平均頭頂方向に垂直な方向における分散よりも大きい値となる。顔画像ＦＡの位置とは、例えば、顔画像ＦＡの矩形の中心位置である。同様に、識別結果適用部２４は、対象画像データについても、平均頭頂方向と平均頭頂方向に垂直な方向それぞれにおける顔画像ＦＡの位置の分散を求め、平均頭頂方向と平均頭頂方向に垂直な方向のうち、分散の値が大きい方の方向を特定する。図５（Ｂ）を例に説明すると、３つの顔画像ＦＡは、ほぼ顔の上下方向に沿って並んでいるため、平均頭頂方向における分散の方が、平均頭頂方向に垂直な方向における分散よりも大きい値となる。なお、ステップＳ１１６２，Ｓ１１６３で行なう処理のうち、先行画像データについての平均頭頂方向の算出や分散が大きい方向の特定は、既に実行済みであれば、当該実行済みの処理によって得られている結果を用いればよい。

ステップＳ１１６４では、識別結果適用部２４は、先行画像データについて上記特定した方向における顔画像ＦＡの並び、および対象画像データについて上記特定した方向における顔画像ＦＡの並びに従って、顔画像ＦＡを一対一で対応付ける。図５（Ａ），（Ｂ）を例に説明すると、先行画像データにおいて上記特定された方向（平均頭頂方向）に沿って一方側（例えば頭頂側）から順に並ぶ顔画像ＦＡ（ａ），ＦＡ（ｂ），ＦＡ（ｃ）を、対象画像データにおいて上記特定された方向（平均頭頂方向）に沿って一方側（同じく頭頂側）から順に並ぶ顔画像ＦＡ（ａ´），ＦＡ（ｂ´），ＦＡ（ｃ´）へ、一対一で対応付ける。なお、顔画像ＦＡ（ａ´），ＦＡ（ｂ´），ＦＡ（ｃ´）の表記は、図５（Ｂ）に例示した複数の顔画像ＦＡを区別するための便宜上の表現である。

ステップＳ１１６５では、識別結果適用部２４は、先行画像データ、対象画像データ間における顔画像ＦＡの対応付けの結果に従って、先行画像データにおける顔画像ＦＡに対する識別結果を、対象画像データにおける顔画像ＦＡに適用する。図５（Ａ），（Ｂ）を例に説明すると、対象画像データにおける顔画像ＦＡ（ａ´）へは、先行画像データにおける顔画像ＦＡ（ａ）に対する識別結果（人物ａであるという識別結果）が適用される。同様に、対象画像データにおける顔画像ＦＡ（ｂ´）へは、先行画像データにおける顔画像ＦＡ（ｂ）に対する識別結果（人物ｂであるという識別結果）が適用され、対象画像データにおける顔画像ＦＡ（ｃ´）へは、先行画像データにおける顔画像ＦＡ（ｃ）に対する識別結果（人物ｃであるという識別結果）が適用される。なお、対象画像データ内の顔画像ＦＡの数が１である場合（ステップＳ１１６１において“Ｙｅｓ”）は、先行画像データ、対象画像データ間における顔画像ＦＡの対応関係は選択の余地が無いため、ステップＳ１１６１〜Ｓ１１６４は不要である。
このように図５，６を参照した説明によれば、対象画像データ内に複数の人物が写っている場合であっても、各人の識別に要する演算量を大幅に削減しつつも、結果的に各人を的確に識別することができる。

本発明は上述した第一の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば以下に述べるような実施形態も可能である。各実施形態を適宜組み合わせた内容も、本発明の開示範囲である。なお以下では、これまでに説明した事項と同様の事項については、適宜説明を省略する。

２．第二の実施形態
図７は、第二の実施形態にかかる画像処理装置の一例をブロック図により概略的に示している。画像処理装置は、例えば、デジタルスチルカメラ（ＤＳＣ）３０である。ＤＳＣ３０は、レンズ３１と、レンズ３１を駆動して焦点（ピント）の位置や焦点距離を調整するレンズ駆動部４６と、レンズ駆動部４６を制御するレンズ駆動制御部４７と、レンズ３１を介して受光面に入力された光を電気信号に変換する撮像素子４４と、撮像素子４４から出力された電気信号に対するアナログ／デジタル変換を行うＡ／Ｄ変換器４５と、ＤＳＣ３０の各部を制御するＣＰＵ３４と、例えばＲＯＭやＲＡＭによって構成された内部メモリー３９と、ボタンやタッチパネル等により構成された操作部３２と、液晶ディスプレー等により構成された表示部３３と、カードＩ／Ｆ３６と、外部機器との有線あるいは無線による通信を実行するためのＩ／Ｆ部３５等を備える。ＤＳＣ３０の各構成要素は、バス３８を介して互いに接続されている。

撮像素子４４は、例えばＣＣＤやＣＭＯＳにより構成される。ＤＳＣ３０は、少なくとも撮像素子４４を有する点で、撮像部を備えると言える。カードＩ／Ｆ３６は、カードスロット３７に挿入された記憶媒体（メモリーカードＭＣ）との間でデータのやり取りを行うためのインターフェースである。カードスロット３７に挿入されたメモリーカードＭＣへは、撮像により生成された所定のフォーマットの画像ファイルが保存される。内部メモリー３９には、種々のプログラムやデータが格納されており、その一部として画像処理部４０（画像処理プログラム）が格納されている。画像処理部４０は、顔検出部４１、顔識別部４２および識別結果適用部４３を含む。ＣＰＵ３４は、内部メモリー３９から、当該プログラムを読み出して実行することにより、これら各部の機能を実現する。

図８は、本実施形態にかかる画像処理装置（ＤＳＣ３０）において実現される処理を示すフローチャートである。当該フローチャートは、主に、ＣＰＵ３４が実行する画像処理部４０（顔検出部４１、顔識別部４２および識別結果適用部４３）の機能により実現される。
ステップＳ２００では、画像処理部４０が準備画像を撮像素子４４を介して取得する。ここでは撮像前の種々の処理に用いられる画像という意味で準備画像と呼んでいるが、当該準備画像は、本実施形態においては対象画像データ（第一の画像データ）に該当する。画像処理部４０は、レンズ３１や撮像素子４４やＡ／Ｄ変換器４５を制御して、当該対象画像データを取得する。本実施形態では、表示部３３が撮像時のモニターとして利用されており、その時点でレンズ３１を通して撮像素子４４によって捉えられた画像を表す対象画像データが、当該モニターに出力される。

ステップＳ２０８では、顔検出部４１は、対象画像データに含まれる顔画像を検出する顔検出処理を実行する。
ステップＳ２１０では、顔検出部４１は、直近のステップＳ２０８において顔検出に成功したか否かにより処理を分岐する。対象画像データから一つ以上の顔画像の検出に成功した場合にはステップＳ２１２へ進み、一つの顔画像も検出できなかった場合にはステップＳ２００へ戻り、新たな対象画像データを取得する。

ステップＳ２１２では、識別結果適用部４３は、対象画像データから検出された顔画像の数と、先行画像データに含まれる顔画像の数が一致するか否か判定する。本実施形態で言う先行画像データとは、基本的には、過去にＤＳＣ３０のシャッターボタン４８（図９）が押されて撮像されメモリーカードＭＣに保存されている画像ファイルのうち、その時点で最新の画像ファイルにかかる画像データを意味する。先行画像データを有する画像ファイルには、先行画像データの撮像日時や顔画像の検出結果等の情報が付帯されている。さらに、識別結果適用部４３は、対象画像データの生成日時（直近のステップＳ２００で対象画像データを取得した日時。実質的には現在の時刻。）と、先行画像データにかかる撮像日時との差が所定のしきい値（例えば、数秒）以下であるか否か判定する。ＤＳＣ３０が、タイマー（時計）を備えることは言うまでもない。そして、上記顔画像の数が一致し、かつ、上記日時の差がしきい値以下である場合のみ、ステップＳ２１６へ進み、それ以外の場合はステップＳ２１４へ進む。先行画像データがそもそも存在しない場合や、先行画像データに顔画像が含まれていない場合はむろんステップＳ２１４へ進む。

ステップＳ２１４では、顔識別部４２は、対象画像データから検出された顔画像毎に、顔画像が示す人物を識別する顔識別処理を実行する。
一方、ステップＳ２１６では、識別結果適用部４３は、対象画像データから検出された顔画像に対する顔識別処理を顔識別部４２に実行させず、先行画像データから検出された顔画像に対する識別結果、つまり先行画像データが対象画像データであったときに顔画像に対してステップＳ２１４で実行された（あるいはステップＳ２１６で適用された）顔識別処理の結果を、対象画像データ内の顔画像へ適用する。つまり、直前の写真（先行画像データ）が生成されてから上記しきい値を越えない時間であって、撮像素子４４を介して表示部３３（モニター）に出力されている画像（対象画像データ）に写っている人数が先行画像データに写っている人数と同じであるという条件が満たされれば、写っている人物は同一人物であると見なしても問題ない。そのため、当該条件が整う場合には、顔識別処理（ステップＳ２１４）は省いて、直前に生成された画像内の顔に対する識別結果を流用するのである。

図９は、ＤＳＣ３０の背面側の一例を簡易的に示す図である。図９に示すように、ＤＳＣ３０は、背面側に表示部３３、操作部３２（操作部３２の一部）、ファインダー４９等、ＤＳＣとして一般的な各種構成を備える。また、ＤＳＣ３０の筺体の所定箇所には、シャッターボタン４８（操作部３２の一種）が備えられている。図９に示すように、表示部３３には、現時点で撮像素子４４を介して取得されている画像データ（対象画像データ）が表示されている。ここで、ＤＳＣ３０は、対象画像データ上で特定人物を追従する追従機能を有しており、追従機能が有効化されている場合は、特定人物の顔を対象画像データ上において枠Ｆで囲い続ける。本実施形態では、この追従機能に、ステップＳ２１４またはステップＳ２１６の結果が利用される。具体的には、画像処理部４０は、予め追従対象に設定されている特定人物（例えば、人物ａ）が、ステップＳ２１４における対象画像データ内の顔画像毎に対する顔識別処理で識別された場合には、当該特定人物と識別された顔画像に枠Ｆを表示する（ステップＳ２１８）。あるいは、ステップＳ２１６の処理で対象画像データ内の顔画像毎に対して適用された顔識別結果が、当該特定人物を示す結果を含むときも、当該特定人物の識別が適用された顔画像に枠Ｆを表示する（ステップＳ２１８）。

つまり本実施形態によれば、ＤＳＣ３０の表示部３３に表示される対象画像データ上で特定人物を追従する場合に、直前の写真（先行画像データ）が生成されてから上記しきい値を越えない時間であって対象画像データに写っている人数が先行画像データに写っている人数と同じである場合には、顔識別処理（ステップＳ２１４）を省略し、先行画像データ内の顔画像に対する識別結果を流用する。そのため、対象画像データ上においてリアルタイムで特定人物を追従する際の演算量が大幅に低減される。

図８のフローチャートは繰り返し実行されつつ、ユーザーがシャッターボタン４８を押下げたときに撮像が行われる。このとき、画像処理部４０は、レンズ３１、レンズ駆動部４６、レンズ駆動制御部４７を制御して、自動焦点合わせ（オートフォーカス）を行い撮像を行う。撮像により撮像素子４４で生成された画像データと撮像時刻、人物の識別結果等の付帯情報とを含む画像ファイルが生成され、画像ファイルはメモリーカードＭＣへ保存される。
なお、本実施形態においても、対象画像データから複数の顔画像が検出された場合であって、ステップＳ２１６に進んだ場合には、図６で説明した処理を行なうことにより、先行画像データ内の顔画像と対象画像データ内の顔画像とを対応付けて、顔識別結果を適用する。

また、本実施形態における先行画像データは、必ずしもメモリーに画像ファイルとして保存済み（撮像済み）のデータである必要はない。例えば、ユーザーが操作部３２を操作して表示部３３の表示内容を所定の操作画面に切り替えさせ、再び、撮像素子４４により取得される画像データを表示部３３に表示させる状態に戻した場合には、当該操作画面への切り替え直前に撮像素子４４により取得されていた画像データを先行画像データとしてもよい。あるいは、ユーザーが操作部３２を操作してＤＳＣ３０の電源をオフにし、再び電源をオンにした場合には、電源がオフされる直前に撮像素子４４により取得されていた画像データを先行画像データとしてもよい。

３．その他の実施形態
本発明にかかる画像処理装置は、上述したようなコンピューター１０やＤＳＣ３０の他にも、種々の製品によって具現化される。例えば、本発明にかかる画像処理装置は、大量の画像ファイルを蓄積可能なフォトビューワーや、プリンター等であってもよいし、それ以外の電子機器であってもよい。つまり、これらフォトビューワーやプリンター等の各種電子機器が分類処理部２１、顔検出部２２（４１）、顔識別部２３（４２）、識別結果適用部２４（４３）等の機能を発揮し、上述したようなフローチャートで示した処理を実行するとしてもよい。

１０…コンピューター、１１…ＨＤＤ、１２…操作部、１３…表示部、１４…ＣＰＵ、１９…内部メモリー、２０…画像処理部、２１…分類処理部、２２…顔検出部、２３…顔識別部、２４…識別結果適用部、３０…ＤＳＣ、３１…レンズ、３２…操作部、３３…表示部、３４…ＣＰＵ、３９…内部メモリー、４０…画像処理部、４１…顔検出部、４２…顔識別部、４３…識別結果適用部、４４…撮像素子、４８…シャッターボタン、ＭＣ…メモリーカード、ＤＦ…画像ファイル、ＦＡ…顔画像、Ｆ…枠

Claims (6)

1. 画像データに含まれる顔画像を検出する顔検出部と、
   検出された顔画像が示す人物を識別する顔識別部と、
   第一の画像データから検出された顔画像の数が当該第一の画像データの直前に生成された先行画像データから検出された顔画像の数と同じであり、かつ、当該第一の画像データが生成された時刻と当該先行画像データが生成された時刻との差が所定のしきい以下である場合には、当該第一の画像データから検出された顔画像に対する識別を上記顔識別部に実行させず、当該先行画像データから検出された顔画像に対する識別の結果を当該第一の画像データから検出された顔画像に適用する識別結果適用部と、
   を備えることを特徴とする画像処理装置。
2. 所定の記憶領域に保存された複数の画像データを、画像の撮像に用いられた機器の共通性に従ってグループ分けする分類処理部を備え、
   上記識別結果適用部は、上記分けられたグループ内において上記第一の画像データおよび当該第一の画像データに対する上記先行画像データを選出することを特徴とする請求項１に記載の画像処理装置。
3. 撮像素子を有し画像を撮像可能な撮像部を備え、
   上記識別結果適用部は、上記撮像素子を介して取得される画像データを上記第一の画像データとし、既に撮像部を介して取得された画像を上記先行画像データとすることを特徴とする請求項１に記載の画像処理装置。
4. 上記識別結果適用部は、先行画像データから検出された複数の顔画像に対する識別の結果を第一の画像データから検出された複数の顔画像に適用する場合は、
   顔画像の平均の頭頂方向を求め、平均の頭頂方向および平均の頭頂方向に垂直な方向それぞれにおける顔画像の位置の分散を求め、平均の頭頂方向又は当該垂直な方向のうち当該分散が大きい方の方向を特定する処理を、第一の画像データと先行画像データのそれぞれについて行い、第一の画像データについて上記特定した方向における顔画像の並びおよび先行画像データについて上記特定した方向における顔画像の並びに従って、顔画像を一対一で対応付けることを特徴とする請求項１〜請求項３のいずれかに記載の画像処理装置。
5. 画像データに含まれる顔画像を検出する顔検出工程と、
   検出された顔画像が示す人物を識別する顔識別工程と、
   第一の画像データから検出された顔画像の数が当該第一の画像データの直前に生成された先行画像データから検出された顔画像の数と同じであり、かつ、当該第一の画像データが生成された時刻と当該先行画像データが生成された時刻との差が所定のしきい以下である場合には、当該第一の画像データから検出された顔画像に対する識別を上記顔識別工程で実行させず、当該先行画像データから検出された顔画像に対する識別の結果を当該第一の画像データから検出された顔画像に適用する識別結果適用工程と、を備えることを特徴とする画像処理方法。
6. 画像データに含まれる顔画像を検出する顔検出機能と、
   検出された顔画像が示す人物を識別する顔識別機能と、
   第一の画像データから検出された顔画像の数が当該第一の画像データの直前に生成された先行画像データから検出された顔画像の数と同じであり、かつ、当該第一の画像データが生成された時刻と当該先行画像データが生成された時刻との差が所定のしきい以下である場合には、当該第一の画像データから検出された顔画像に対する識別を上記顔識別機能に実行させず、当該先行画像データから検出された顔画像に対する識別の結果を当該第一の画像データから検出された顔画像に適用する識別結果適用機能と、をコンピューターに実行させることを特徴とする画像処理プログラム。

Images