JP2008299784A - 被写体判定装置及びそのプログラム - Google Patents

Abstract

【課題】 被写体の判定精度を向上した被写体判定装置及びそのプログラムを実現する。
【解決手段】 直近に撮像された画像データを取得すると（Ｓ１）、該画像データに基づいて、何の被写体が撮像されたかを認識する顔認識処理を行い（Ｓ２）、画像認識処理により認識された被写体の種類及び、撮像された被写体と該認識された被写体の種類との一致度をバッファメモリに記憶させる（Ｓ３）。このような動作（Ｓ１〜Ｓ３）を所定回数行なうと、画像認識処理の認識結果を集計し最も多く認識された種類の被写体を選択する（Ｓ５）。そして、該選択した種類の被写体と認識された時の一致度の平均値を算出し（Ｓ６）、該一致度の平均値が所定以上であれば該選択した種類の被写体を被写体判定結果として出力する。
【選択図】 図２

Description

本発明は、被写体判定装置及びそのプログラムに係り、詳しくは、被写体の種類を判定する被写体判定装置及びそのプログラムに関する。

近年、被写体判定装置、例えば、撮像装置においては、画像認識を行なうことにより画像データに移っている被写体が何であるかを判定する技術は開発された
（特許文献１）。

公開特許公報 特開２００７−０６８１４９

しかしながら、類似する被写体を認識させるような場合では、画像認識を行なっても、本当に該認識された被写体が写っているとは限らない。また、刻々と動いている被写体を撮像している時は、撮像したときの被写体の位置、角度によって、認識される被写体が変わる場合もあり、なおさらである。

そこで本発明は、かかる従来の問題点に鑑みてなされたものであり、被写体の判定精度を向上した被写体判定装置及びそのプログラムを提供することを目的とする。

上記目的達成のため、請求項１記載の発明による被写体判定装置は、画像データを順次取得する取得手段と、
前記取得手段により順次取得された画像データに対して画像認識を行っていくことにより、各画像データ内に存在する被写体の種類を認識していく画像認識手段と、
前記画像認識手段による認識結果に基づいて、前記取得手段により順次取得される画像データに共通して存在する被写体の種類を判定する被写体判定手段と、
を備えたことを特徴とする。

また、例えば、請求項２に記載されているように、前記画像認識手段は、
前記取得手段により取得される画像データのうち、所定枚数毎に画像認識を行うようにしてもよい。

また、例えば、請求項３に記載されているように、前記取得手段により順次取得される画像データに基づいて、前記画像認識手段により認識された画像データ内に存在する被写体に対して被写体追従を行なう被写体追従手段を備え、
前記画像認識手段は、
前記被写体追従手段により被写体追従が行なわれていない場合は、画像データの全範囲に対して画像認識を行い、前記被写体追従手段により被写体追従が行なわれている場合は、該被写体追従されている被写体がいる領域の画像データに対してのみ画像認識を行なうことにより、該被写体の種類を認識するようにしてもよい。

また、例えば、請求項４に記載されているように、前記取得手段により順次取得される画像データの変化量を検出する変化量検出手段を備え、
前記画像認識手段は、
前記変化量検出手段により検出された変化量が所定量以上である場合は、画像データの全範囲に対して画像認識を行うようにしてもよい。

また、例えば、請求項５に記載されているように、前記被写体判定手段は、
前記画像認識手段により最も多く認識された種類の被写体を選択する選択手段を含み、該選択手段により選択した被写体の種類を前記取得手段により順次取得される画像データに共通して存在する被写体の種類と判定するようにしてもよい。

また、例えば、請求項６に記載されているように、前記被写体判定手段は、
前記画像認識手段により所定回数、連続して同一の種類の被写体が認識された場合は、該連続して所定回数認識された種類の被写体を選択する選択手段を含み、該選択手段により選択された被写体の種類を、前記取得手段により順次取得される画像データに共通して存在する被写体の種類と判定するようにしてもよい。

また、例えば、請求項７に記載されているように、前記画像認識手段は、
画像データ内に存在する被写体の種類を認識すると共に、画像データ内に存在する被写体が、該認識した被写体の種類である確率も認識し、
前記被写体判定手段は、
前記画像認識手段により前記選択手段により選択された被写体の種類と認識されたときの確率の平均が所定値以上である場合は、該選択手段により選択された被写体の種類を、前記取得手段により順次取得される画像データに共通して存在する被写体の種類と判定するようにしてもよい。

また、例えば、請求項８に記載されているように、前記被写体判定手段は、
前記画像認識手段により前記選択手段により選択された被写体の種類と認識されたときの確率の平均が所定値以上でない場合は、前記取得手段により順次取得される画像データに共通して存在する被写体の種類が不明であると判定するようにしてもよい。

また、例えば、請求項９に記載されているように、前記画像認識手段は、
前記取得手段により順次取得される画像データのうち、所定枚数の画像データに対して、画像認識処理を行っていくようにしてもよい。

また、例えば、請求項１０に記載されているように、前記画像認識手段は、
前記被写体判定手段により、前記取得手段により順次取得される画像データに共通して存在する被写体の種類が判定されるまで、前記取得手段により順次取得された画像データに対して画像認識を行っていき、
前記被写体判定手段は、
前記画像認識手段により前記選択手段により選択された被写体の種類と認識されたときの確率の平均が所定値以上でない場合は、判定を行なわないようにしてもよい。

また、例えば、請求項１１に記載されているように、前記被写体判定手段は、
前記画像認識手段により前記選択手段により選択された被写体の種類と認識されたときの確率の平均が所定値以上でない場合で、且つ、前記画像認識手段により一定枚数の画像データに対して画像認識を行なった場合は、前記取得手段により順次取得される画像データに共通して存在する被写体の種類が不明であると判定するようにしてもよい。

また、例えば、請求項１２に記載されているように、前記被写体判定手段は、
前記画像認識手段により所定回数、同一の種類の被写体が認識された場合は、該所定回数認識された種類の被写体を選択する選択手段を含み、該選択手段により選択された被写体の種類を、前記取得手段により順次取得される画像データに共通して存在する被写体の種類と判定するようにしてもよい。

また、例えば、請求項１３に記載されているように、被写体の種類毎にその特徴情報を記録した特徴情報記録手段を備え、
前記画像認識手段は、
画像認識により画像データ内に存在する被写体の特徴情報を算出し、該算出した特徴情報と最も一致する前記特徴情報記録手段に記録されている特徴情報に対応する被写体の種類を、該画像データ内に存在する被写体の種類と認識するようにしてもよい。

また、例えば、請求項１４に記載されているように、前記特徴情報記録手段は、
各種類の被写体毎に、複数の向きに対応する特徴情報をそれぞれ記録しているようにしてもよい。

また、例えば、請求項１５に記載されているように、画像認識により算出された画像データ内に存在する被写体の特徴情報と、該被写体の特徴情報と最も一致する前記特徴情報記録手段に記録されている特徴情報との一致の度合いを認識し、該認識した一致度合いが、画像データ内に存在する被写体が該認識した被写体の種類である確率であるようにしてもよい。

また、例えば、請求項１６に記載されているように、前記画像認識手段による画像認識は、
被写体が誰の顔であるかを認識する顔認識であるようにしてもよい。

上記目的達成のため、請求項１７記載の発明によるプログラムは、画像データを順次取得する取得処理と、
前記取得処理により順次取得された画像データに対して画像認識を行っていくことにより、各画像データ内に存在する被写体の種類を認識していく画像認識処理と、
前記画像認識処理による認識結果に基づいて、前記取得処理により順次取得される画像データに共通して存在する被写体の種類を判定する被写体判定処理と、
を含み、上記各処理をコンピュータで実行させることを特徴とする。

本発明によれば、撮像された被写体が何であるかの判定の精度を向上させることができる。

以下、本実施の形態について、本発明の被写体判定装置をデジタルカメラに適用した一例として図面を参照して詳細に説明する。
［第１の実施の形態］
Ａ．デジタルカメラの構成
図１は、本発明の被写体判定装置を実現するデジタルカメラ１の電気的な概略構成を示すブロック図である。
デジタルカメラ１は、撮影レンズ２、レンズ駆動ブロック３、絞り兼用シャッタ４、ＣＣＤ５、垂直ドライバ６、ＴＧ（timing generator）７、ユニット回路８、ＤＭＡコントローラ（以下、ＤＭＡという）９、ＣＰＵ１０、キー入力部１１、メモリ１２、ＤＲＡＭ１３、ＤＭＡ１４、動きベクトル検出部１５、ＤＭＡ１６、画像生成部１７、ＤＭＡ１８、ＤＭＡ１９、表示部２０、ＤＭＡ２１、圧縮伸張部２２、ＤＭＡ２３、フラッシュメモリ２４、バス２５を備えている。

撮影レンズ２は、図示しない複数のレンズ群から構成されるフォーカスレンズ、ズームレンズを含む。そして、撮影レンズ２には、レンズ駆動ブロック３が接続されている。レンズ駆動ブロック３は、フォーカスレンズ、ズームレンズをそれぞれ光軸方向に駆動させるフォーカスモータ、ズームモータ（図示略）と、ＣＰＵ１０から送られてくる制御信号にしたがって、フォーカスレンズ、ズームレンズを光軸方向に駆動させるフォーカスモータドライバ、ズームモータドライバ（図示略）とから構成されている。

絞り兼用シャッタ４は、図示しない駆動回路を含み、駆動回路はＣＰＵ１０から送られてくる制御信号にしたがって絞り兼用シャッタ４を動作させる。この絞り兼用シャッタ４は、絞り、シャッタとして機能する。
絞りとは、ＣＣＤ５に入射される光の量を制御する機構のことをいい、シャッタとは、ＣＣＤ５に光を当てる時間を制御する機構のことをいい、ＣＣＤ５に光を当てる時間（露光時間）は、シャッタ速度によって変わってくる。
露出量は、この絞り値（絞りの度合い）とシャッタ速度によって定められる。

ＣＣＤ５は、垂直ドライバ６によって走査駆動され、一定周期毎に被写体像のＲＧＢ値の各色の光の強さを光電変換して撮像信号としてユニット回路８に出力する。この垂直ドライバ６、ユニット回路８の動作タイミングはＴＧ７を介してＣＰＵ１０によって制御される。

ユニット回路８には、ＴＧ７が接続されており、ＣＣＤ５から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Correlated Double Sampling）回路、そのサンプリング後の撮像信号の自動利得調整を行なうＡＧＣ（Automatic Gain Control）回路、その自動利得調整後のアナログ信号をデジタル信号に変換するＡ／Ｄ変換器から構成されており、ＣＣＤ５によって得られた撮像信号はユニット回路８を経た後、ＤＭＡ９によってベイヤーデータの状態でバッファメモリ（ＤＲＡＭ１３）に記憶される。

ＣＰＵ１０は、ＡＥ処理、ＡＦ処理などを行う機能を有すると共に、デジタルカメラ１の各部を制御するワンチップマイコンである。
特に、ＣＰＵ１０は、画像認識処理を行う画像認識部１０１、画像認識処理の認識結果に基づいて被写体の種類を判定する被写体判定部１０２を含む。

キー入力部１１は、半押し操作全押し操作可能なシャッタボタン、モード切替キー、十字キー、ＳＥＴキー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をＣＰＵ１０に出力する。
メモリ１２には、ＣＰＵ１０がデジタルカメラ1の各部を制御するのに必要な制御プログラム（画像認識処理、被写体の判定に必要なプログラム等）、及び必要なデータ（各種類の被写体の特徴データ）が記録されており、ＣＰＵ１０は、該プログラムに従い動作する。

ＤＲＡＭ１３は、ＣＣＤ５によって撮像された画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ１０のワーキングメモリとしても使用される。

ＤＭＡ１４は、バッファメモリに記憶されているベイヤーデータ若しくは輝度色差信号の画像データを読み出して、動きベクトル検出部１５に出力するものである。
動きベクトル検出部１５は、画像データ内のある領域の動きベクトルを検出するものであり、代表点マッチング法や、ブロックマッチング法などを用いて該ある領域の動きベクトルを検出する。また、この動きベクトルを検出するには、ある領域の画像データと、その後に撮像された画像データとに基づいて該ある領域が次ぎに撮像された画像データのどこにあるかを検出することにより動きベクトルを検出するので、撮像された画像データを一定時間保持する記憶回路も含む。この検出された動きベクトルは、ＤＭＡ１４を介してＣＰＵ１０に送られる。
この動きベクトル検出部１５により被写体追従が行なわれる。

ＤＭＡ１６は、バッファメモリに記憶されたベイヤーデータの画像データを読み出して画像生成部１７に出力するものである。
画像生成部１７は、ＤＭＡ１６から送られてきた画像データに対して、画素補間処理、γ補正処理、ホワイトバランス処理などの処理を施すとともに、輝度色差信号（ＹＵＶデータ）の生成も行なう。つまり、画像処理を施す部分である。
ＤＭＡ１８は、画像生成部１７で画像処理が施された輝度色差信号の画像データ（ＹＵＶデータ）をバッファメモリに記憶させるものである。

ＤＭＡ１９は、バッファメモリに記憶されているＹＵＶデータの画像データを表示部２０に出力するものである。
表示部２０は、カラーＬＣＤとその駆動回路を含み、ＤＭＡ１９から出力された画像データの画像を表示させる。

ＤＭＡ２１は、バッファメモリに記憶されているＹＵＶデータの画像データや圧縮された画像データを圧縮伸張部２２に出力したり、圧縮伸張部２２により圧縮された画像データや、伸張された画像データをバッファメモリに記憶させたりするものである。
圧縮伸張部２２は、画像データの圧縮・伸張（例えば、ＪＰＥＧやＭＰＥＧ形式の圧縮・伸張）を行なう部分である。
ＤＭＡ２３は、バッファッメモリに記憶されている圧縮画像データを読み出してフラッシュメモリ２４に記録させたり、フラッシュメモリ２４に記録された圧縮画像データをバッファメモリに記憶させるものである。

Ｂ.デジタルカメラ１の動作
第１の実施の形態におけるデジタルカメラ１の動作を図２のフローチャートにしたがって説明する。

被写体判定処理を開始すると、ステップＳ１で、ＣＰＵ１０は、ＣＣＤ５により直近に撮像されバッファメモリ（ＤＲＡＭ１３）に記憶されている画像データ（ベイヤーデータ若しくは輝度色差信号の画像データ）を取得する。このとき、ＣＣＤ５によって所定のフレームレートで順次撮像されているものとし、順次撮像された輝度色差信号の画像データは、表示部２０に順次表示されていく。

ここでは、デジタルカメラ１は、動いている楕円形の被写体３１を動画撮像しているものとし、図３（ａ）はそのときの様子を示すものである。このとき、撮像された被写体３１の画像データは表示部２０に表示されている。なお、撮影レンズ２、ＣＣＤ５等の光学系は、表示部２０とは反対側の面に備えられている。

次いで、ステップＳ２で、ＣＰＵ１０の画像認識部１０１は、該取得した画像データに基づいて、何の被写体が撮像されたかを認識する画像認識処理を行う。
ここで、この画像認識は、撮像された画像データに基づいて撮像された被写体の特徴データ（被写体の輪郭や特徴点の認識、及び、それらの位置関係等も認識して、それらを数値化した数値データ）を算出し、予め登録されている各種類の被写体の特徴データと比較照合することにより、該撮像された被写体が「何であるか？」を具体的に認識する。このときは、登録されている各種類の被写体の特徴データのうち、撮像された被写体の特徴データと最も一致度の高い特徴データに対応する種類の被写体を撮像された被写体と認識することになる。
つまり、取得された画像データに対して画像認識処理を行なうことにより、登録されている各種類の被写体の特徴データのうち、最も一致する特徴データはどれであるかを認識することになり、該認識した特徴データに対応する種類の被写体が、撮像された被写体と認識することになる。これにより、被写体の種類を精度よく認識することができる。

また、ユーザは、登録モード等において、各種類の被写体を登録することができる。この登録モード等においては、ユーザが登録したい種類の被写体の画像を指定すると、ＣＰＵ１０は、該被写体の画像から画像認識により算出された特徴データを登録する。この登録された特徴データはメモリ１２に記録される。なお、予め所定の各種類の被写体の特徴データを記録しておくようにしてもよい。
ここでは、便宜上、登録された被写体の種類を、円、楕円、菱形として説明するが、登録される被写体の種類はこれに限られず、猫、犬、車、飛行機、電車、文字、人物等なんでもよい。

次いで、ステップＳ３で、ＣＰＵ１０は、画像認識処理の認識結果、つまり、画像認識処理により認識された被写体の種類及びその一致度をバッファメモリに記憶させる。即ち、最も一致度が高いと認識された種類の被写体と、該一致度を記憶させる。

次いで、ステップＳ４で、ＣＰＵ１０は、画像認識処理を所定回数（ここでは、６回とする）実行したか否かを判断する。つまり、所定枚数（ここでは、６枚）の画像データに対して画像認識処理が行なわれることになる。
ステップＳ４で、画像認識処理を所定回数実行していないと判断すると、ステップＳ１に戻り、上記した動作を繰り返す。これにより、所定回数分の画像データに対して被写体が「何であるか？」を具体的に認識する処理を行うことができる。

図３（ｂ）は、撮像された画像データ、及び、該撮像された画像データの画像認識処理による認識結果に基づいて、記憶される被写体の種類及び一致度の様子の一例を示す図である。
図３（ｂ）を見ると、１枚目の画像データ（１回目の画像認識処理が行なわれる画像データ）の画像認識結果、２枚目の画像データの画像認識結果、３枚目の画像認識結果、・・というように、６枚目の画像データまでの画像認識結果が記憶されているのが分かる。

１枚目の画像データの画像認識処理により、認識された被写体の種類（最も一致度が高いと認識された被写体の種類）は「楕円」であり、その一致度は「０．７」であるのがわかる。この一致度は「１．０」が最も高く、撮像された被写体の特徴データと、登録された被写体の特徴データとが完全に一致するときが「１．０」となり、その両者の特徴データがズレていくと共に一致度が下がる。つまり、一致度が高ければ高いほど、画像データ内に存在する被写体が該認識した被写体の種類である確率が高いということになる。これにより、精度よく認識した被写体の種類である確率を認識することができる。
また、２枚目の画像データの画像認識処理により認識された被写体の種類は「円」であり、その一致度は「０．５」であるのがわかり、３枚目の画像データの画像認識処理により認識された被写体の種類は「楕円」であり、その一致度は「０．４」であるのがわかる。このように、各回の画像認識処理による認識結果がバッファメモリに記憶されていく

一方、ステップＳ４で、画像認識処理を所定回数実行したと判断すると、ステップＳ５に進み、ＣＰＵ１０の被写体判定部１０２は、認識結果を集計し、最も多く認識された被写体の種類を選択する。図３（ｂ）を見ると分かるように、ここでは、最も多く認識された被写体の種類は「楕円」であるので、被写体の種類として楕円を選択する。
次いで、ステップＳ６で、ＣＰＵ１０の被写体判定部１０２は、該選択した種類の被写体と認識されたときの一致度の平均値を算出する。ここでは、選択した被写体の種類は「楕円」であるので、楕円と認識されたときの一致度の平均値を算出する。つまり、「楕円」と認識されたときの一致度は、それぞれ、「０．７」、「０．４」、「０．５」、「０．８」であるので、算出される平均値は「０．６」となる。

次いで、ステップＳ７で、ＣＰＵ１０の被写体判定部１０２は、該算出した平均値が所定値以上であるか否かを判断する。
ステップＳ７で、該算出した平均値が所定値以上であると判断すると、ステップＳ８に進み、ＣＰＵ１０の被写体判定部１０２は、ステップＳ５で選択した種類の被写体を被写体判定の結果として出力する。つまり、撮像されている被写体はステップＳ５で選択した種類の被写体と判定することになる。
一方、ステップＳ７で、該算出した平均値が所定値以上でないと判断すると、ステップＳ９に進み、ＣＰＵ１０の被写体判定部１０２は、被写体判定の結果として被写体の判定が不可である旨を出力する。つまり、被写体の種類が不明であると判定することになる。

以上のように、第１の実施の形態においては、動画撮像により得られた複数の画像データに対して画像認識処理を行い、該認識結果に基づいて被写体の種類を判定するので、撮像されている被写体が何であるかの判定の精度を向上させることができ、確実に撮像されている被写体が何であるかを判定することができる。
また、画像認識処理の認識結果に基づいて、最も多く認識された種類の被写体との一致度の平均値が所定値以上である場合に、該最も多く認識された種類の被写体が撮像されていると判定するので、判定精度を向上させることができ、確実に撮像されている被写体が何であるかを判定することができる。
また、所定回数しか画像認識を行なわないので、必要以上に被写体判定の処理時間が長くなることがなく、迅速に被写体判定を行なうことができる。

［第２の実施の形態］
次に第２の実施の形態について説明する。
第２の実施の形態も、図１に示したものと同様の構成を有するデジタルカメラ１を用いることにより本発明の被写体判定装置を実現する。なお、ここでは画像認識部１０１は画像認識処理の一態様でもある顔認識処理を行うものとする。この顔認識により撮像されている被写体である人物が誰なのか（被写体の種類）を認識することができる。つまり、上記第１の実施の形態においては、被写体の種類として、犬、猫、車、人等、被写体の種類を大まかに認識するようにしたが、第２の実施の形態においては、人が具体的に誰なのかを細かく具体的に認識することになる。

Ｃ.デジタルカメラ１の動作
以下、第２の実施の形態のデジタルカメラ１の動作を図４のフローチャートにしたがって説明する。

被写体処理判定処理を開始すると、ステップＳ３１で、ＣＰＵ１０は、ＣＣＤ５により直近に撮像されバッファメモリに記憶されている（ベイヤーデータ若しくは輝度色差信号の画像データ）を取得する。このときも、ＣＣＤ５によって所定のフレームレートで順次撮像されているものとし、順次撮像された輝度色差信号の画像データは、表示部２０に順次表示されていく。

次いで、ステップＳ３２で、ＣＰＵ１０は、所定周期が到来したか否かを判断する。この所定周期とは、画像認識処理を行った時点から所定時間が経過した周期（但し、ＣＣＤの撮像周期より長い周期）のことである。このとき、画像認識処理を１回も行っていない場合は所定周期が到来したと判断する。なお、この所定周期は、画像認識処理を行った画像データから所定枚数分の画像データが撮像される周期であってもよい。

ステップＳ３２で所定周期が到来していないと判断するとステップＳ３１に戻り、ステップＳ３２で所定周期が到来したと判断すると、ステップＳ３３に進み、ＣＰＵ１０は、撮像されている顔に対して被写体追従を行なっているか否かを判断する。つまり、動きベクトル検出部１５によって、撮像されている顔（被写体）の動きベクトルの検出が行なわれているか否かを判断する。
ステップＳ３３で、撮像されている顔に対して被写体追従を行なっていないと判断すると、ステップＳ３４に進み、ＣＰＵ１０の画像認識部１０１は、該ステップＳ３１で直近に取得した画像データの全範囲に基づいて、誰が撮像されたか認識する顔認識処理を行って、ステップＳ３６に進む。これにより、撮像された人物が誰なのか（被写体の種類）を認識することができる。

ここで、この顔認識処理は、上記第１の実施の形態で説明したような方法により行なう。具体的には、取得した画像データに基づいて、目の位置、口の位置、鼻の位置等の認識、及びそれらの位置関係なども認識し、それらを数値化して顔の数値データ（特徴データ）を算出し、登録されている人物の顔の特徴データと比較照合することにより、撮像された人物は「誰であるか？」を認識する。このとき、登録されている各種類の人物の顔の特徴データのうち、撮像された人物の顔の特徴データと最も一致度の高い特徴データに対応する種類の顔を撮像された人物と認識することになる。つまり、取得された画像データに対して画像認識処理を行なうことにより、登録されている人物の顔の特徴データのうち、最も一致する特徴データはどれであるかを認識することになり、該認識した特徴データに対応する人物が、撮像された人物と認識することになる。これにより、精度よく人物の種類を認識することができる。
また、この顔認識処理により、認識された顔の画像データ上の位置、大きさも分かり、この顔の位置、大きさに基づいて顔領域が定まる。

また、ユーザは、顔登録モード等において、人物の顔を登録することができる。この顔登録モード等においては、ユーザが登録したい人物の顔画像を指定すると、ＣＰＵ１０は、該人物の顔画像から顔認識により算出された数値データ（特徴データ）を登録する。この登録された顔の特徴データはメモリ１２に記録される。

一方、ステップＳ３３で、撮像されている顔に対して被写体追従を行なっていると判断すると、ステップＳ３５に進み、ＣＰＵ１０は、ステップＳ３１で直近に取得した画像データのうち、追従している顔が存在する顔領域の画像データに基づいて、誰が撮像されたかを認識する顔認識処理を行って、ステップＳ３６に進む。この追従している顔が存在する顔領域は、動きベクトル検出部１５から送られてくる動きベクトル若しくは顔領域の情報によって特定される。
このように、被写体追従を行なっている場合は、該追従している顔が存在する顔領域の画像データのみに対して顔認識処理を行うので、顔認識処理の負担を軽減することができる。

ステップＳ３６に進むと、ＣＰＵ１０は、顔認識処理の認識結果、つまり、画顔認識処理により認識された人物の種類及びその一致度をバッファメモリに記憶させる。即ち、最も一致度が高いと認識された種類の人物と、該一致度を記憶させる。
次いで、ステップＳ３７で、ＣＰＵ１０は、該認識した顔に対して被写体追従を行なっているか否かを判断する。

ステップＳ３７で、被写体追従を行っていないと判断すると、ステップＳ３８に進み、ＣＰＵ１０は、動き検出ブロック１５に該認識した顔に対して被写体追従をする処理を開始させて、ステップＳ３９に進む。被写体追従を開始すると、ＣＰＵ１０は、該認識した顔領域の画像データを動きベクトル検出部１５に送ると共に、以後ステップＳ３１で取得された画像データも動きベクトル検出部１５に送り、動きベクトル検出部１５はブロックマッチング法により該認識された顔が画像データのどこにあるかを検出することにより動きベクトルを検出する処理を開始する。この検出された動きベクトルは順次ＣＰＵ１０に送られる。なお、検出された顔が画像データのどの範囲にあるかを示す情報（顔領域の情報）をＣＰＵ１０に順次送るようにしてもよい。
このように、動きベクトル検出部１５は、順次動きベクトル、若しくは顔領域の情報をＣＰＵ１０に送るので、ＣＰＵ１０は、順次撮像された画像データのどこに該認識された顔が存在するかを特定することができる。

この動きベクトル検出部１５の動作を簡単に説明すると、ブロックマッチング法等により次に撮像された画像データ内のどこに該認識された顔領域の画像データがあるかを検出することにより該認識された顔の動きベクトルを検出する。そして、更に、次の画像データが取得されると、その１つ前の画像データの該検出された顔領域の画像データが該取得した次の画像データのどこにあるのかを検出することにより動きベクトルを検出する。

なお、ＣＰＵ１０は、動きベクトル検出部１５により検出された動きベクトル（若しくは顔領域の情報）に基づいて、画像データに重ねて追従枠を表示させるようにしてもよい。これにより、該顔認識された顔に追従枠が追従して表示されることになる。

一方、ステップＳ３７で、被写体追従を行っていると判断すると、そのままステップＳ３９に進む。
ステップＳ３９に進むと、ＣＰＵ１０の被写体判定部１０２は、認識結果を集計し、最も多く認識された人物の種類を選択する。
次いで、ステップＳ４０で、ＣＰＵ１０の被写体判定部１０２は、該選択した種類の人物と認識されたときの一致度の平均値を算出する。

次いで、ステップＳ４１で、ＣＰＵ１０の被写体判定部１０２は、該算出した平均値が所定値以上であるか否かを判断する。
ステップＳ４１で、該算出した平均値が所定値以上でないと判断すると、ステップＳ３１に戻り、上記した動作を繰り返す。つまり、算出した平均値が所定値以上にならないと被写体の判定を行なわないことになる。
一方、ステップＳ４１で、該算出した平均値が所定値以上であると判断すると、ステップＳ４２に進み、ＣＰＵ１０の被写体判定部１０２は、ステップＳ３９で直近に選択した種類の人物を、被写体判定の結果として出力する。つまり、直近に選択した種類の人物を撮像されている被写体と判定することになる。

このように、第２の実施の形態においては、顔認識処理により認識された顔に対して被写体追従が行なわれていないときは、全画像データに対して顔認識処理を行い、顔認識処理が行なわれると、該顔認識された顔に対して被写体追従を開始させると共に、所定周期で追従されている顔の顔領域の画像データに対してのみ顔認識処理を行うことになる。

また、顔認識処理による認識結果のうち最も多く認識された種類の人物と認識されたときの一致度の平均値が所定値以上になるまで、顔認識処理を行うので、つまり、被写体を判定しないので、精度良く撮像されている人物の種類を判定することができる。この場合は、画像認識処理の回数に関係なく、単に最も多く認識された種類の人物と認識されたときの一致度の平均値が所定値以上か否かで被写体を判定するので、例えば、１回の画像認識処理により認識された種類の人物との一致度が所定値以上の場合は、該認識された種類の人物を被写体と判定することになる。

図５は、被写体追従により追従されている被写体の移動遷移の様子、顔認識処理に対象となった顔領域、及び顔認識処理による認識結果に基づいて記憶される人物の種類及び一致度の様子の一例を示す図である。
図５を見ると、被写体追従により追従された人物の移動の様子が分かる。そして、顔の位置に重ねて表示されている四角は、顔認識処理の対象となった顔領域を示している。つまり、顔認識処理は、撮像される度に被写体追従されている顔に対して行なうのではなく、所定間隔で行なわれているのがわかる。
そして、顔認識処理により認識された人物の種類及びその一致度が記憶されているのが分かる。

１回目の顔認識処理により認識された人物の種類（最も一致度が高いと認識された人物の種類）は「人物Ａ」であり、その一致度は「０．６」であるのがわかる。また、２回目の顔認識処理により認識された人物の種類は「人物Ｂ」であり、その一致度は「０．４」であるのが分かる。このように、顔認識処理が行なわれる度に、顔認識処理による認識結果がバッファメモリに記憶させていく。

ここで、例えば、所定値を「０．７」とすると、１回目の顔認識処理により認識された人物Ａの一致度は「０．６」なので被写体の判定は行なわれず、２回目の顔認識処理により認識された人物Ｂの一致度は「０．４」のなで被写体の判定は行なわれず、３回目の顔認識処理により認識された人物は人物Ａであり一致度は「０．７」であるが、最も多く認識された人物Ａの一致度の平均値は「０．６５」なので、被写体の判定は未だ行なわれない。
そして、４回目、５回目と画像認識処理を行い、６回目にして初めて最も多く認識された人物Ａの一致度の平均値が「０．７」となるので、該人物Ａを被写体の判定結果として出力することになる。

以上のように、第２の実施の形態においては、動画撮像により得られた複数の画像データに対してそれぞれ顔認識処理を行い、該認識結果に基づいて撮像された人物が誰であるのかを判定するので、撮像されている人物が誰であるのかの判定の精度を向上させることができ、確実に撮像されている人物が誰であるのかを判定することができる。

また、顔認識処理は、最初は画像データの全範囲に対して行い、それ以降に撮像される画像データに対しては、該画像データのうち、該認識した顔がある領域（顔領域）の画像データに対してのみ顔認識処理を行うので、顔認識処理による処理負担を軽減させることができる。
また、顔認識処理により認識された顔の動きベクトルを検出することにより該顔に対して被写体追従を行なうので、それ以後に撮像された画像データのどこの領域に認識された顔があるかを精度よく特定することができる。

また、顔認識処理により最も多く認識された種類の人物との一致度の平均値が所定値以上になるまで顔認識処理を行い、一致度の平均値が所定値以上になると、該最も多く認識された種類の人物を撮像されている人物と判定するので、判定精度を向上させると共に、確実に撮像されている人物が誰であるかを判定することができる。

［変形例］
Ｄ．上記実施の形態は、以下のような変形例も可能である。

（０１）また、上記第１の実施の形態においては、単に撮像された画像データの全範囲に対して、画像認識を行なうようにしていったが、上記第２の実施の形態と同様に、初めは、画像データの全範囲に対して画像認識処理を行うようにし、以後は、該認識された被写体がいる領域の画像データに対して画像認識処理を行うようにしてもよい。このとき、該認識された被写体がいる領域は、被写体追従を行なうことにより特定することができる。

（０２）また、上記第１の実施の形態においては、ステップＳ７で、算出した平均値が所定値以上であるか否かを判断し、所定値以上である場合はステップＳ５で選択した被写体の種類を被写体の判定結果として出力するようにしたが、単に一番多く認識された種類の被写体を被写体の判定結果として出力するようにしてもよい。この場合は、ステップＳ５で最も多く認識された被写体の種類を選択すると、そのままステップＳ８に進むようにする。これによっても、撮像されている人物が誰であるのかの判定の精度を向上させることができる。

（０３）また、上記第１の実施の形態においては、画像認識処理を所定回数行なうようにしたが、上記第２の実施の形態と同様に、最も多く認識した種類の被写体との一致度の平均値が所定値以上になるまで、画像認識処理を行うようにしてもよい。
この場合は、ステップＳ３の動作が終わるとステップＳ５に進み、ステップＳ７で、平均値が所定値以上でないと判断するとステップＳ１に戻り、平均値が所定値以上であると判断するとステップＳ８に進むようにする。

この場合において、ステップＳ７で、平均値が所定値以上でないと判断した場合、そのままステップＳ１に戻るのではなく、画像認識処理を行った回数が一定回数より小さい場合のみステップＳ１に戻るようにし、画像認識処理を行った回数が一定回数より小さくない場合は、被写体の判定が不可である旨を出力するようにする。つまり、何回も画像認識処理を行っても最も認識した種類の被写体の一致度の平均値が所定値以上でない場合も有り得るので、画像認識処理を一定回数行なった場合は被写体の判定が不可と判定することになる。これにより、必要以上に被写体判定の処理時間が長くなることがなく、迅速に被写体判定を行なうことができる。

（０４）また、上記第１の実施の形態においては、撮像された画像データ毎に画像認識処理を行なうようにしたが、所定周期（所定枚数毎）で画像認識処理を行うようにしてもよい。

（０５）また、上記第２の実施の形態において、初めは、撮像された画像データの全範囲に対して顔認識処理を行い、以後は、該認識された顔がある顔領域の画像データに対して顔認識処理を行うようにしたが、所定の間隔で、画像データの全範囲に対して顔認識処理を行うようにしてもよい。
初めの顔認識処理が行なわれた画像データにはない被写体がその後の撮像される可能性があり、また、撮像された被写体が一度画角からはみ出してしまい、再び撮像されるという可能性もあり、このような場合、新たに撮像された被写体、再び撮像された被写体の種類は判定することはできないので、再度、画像データの全範囲に対して顔認識処理を行うことにより、新たに撮像された被写体の種類も判定することができる。

また、撮像された画像が大きく変化した場合は、画像データの全範囲に対して顔認識処理を行うようにしてもよい。画像が大きく変化した場合は、被写体追従の対象となっている人物を見失った可能性が高く、再度、画像データの全範囲に対して顔認識処理を行うことにより、精度よく被写体追従を行なうことができ、被写体判定の精度を向上させることができる。
この撮像された画像の変化が大きい場合として、被写体追従により追従されている被写体の動きベクトルが所定量より大きい場合や、被写体追従とは別個に動きベクトル検出部１５に複数の領域の動きベクトルを検出させていき、該検出された複数の領域の動きベクトルが何れかが、若しくは平均が所定量より大きい場合等がある。

（０６）また、上記第２の実施の形態においては、ステップＳ４１で最も多く認識された種類の人物の一致度の平均値が所定値以上でないと判断するとそのままステップＳ３１に戻るようにしたが、一致度の平均値が所定値以上でないと判断すると、顔認識処理の回数が一定回数より小さいか否かを判断し、顔認識処理の回数が一定回数より小さい場合にステップＳ３１に戻るようにし、顔認識処理の回数が一定回数より小さくない場合は被写体の判定が不可である旨を出力するようにしてもよい。つまり、何回も顔認識処理を行っても最も認識した種類の被写体の一致度の平均値が所定値以上でない場合も有り得るので、顔認識処理を一定回数行なった場合は被写体の判定が不可と判定することになる。これにより、必要以上に被写体判定の処理時間が長くなることがなく、迅速に被写体判定を行なうことができる。

（０７）また、上記第２の実施の形態においては、顔認識処理により最も多く認識した種類の人物との一致度の平均値が所定値以上である場合は、該最も多く認識した種類の人物を被写体判定の結果として出力するようにしたが、顔認識処理により直近に認識された種類の人物との一致度が所定値以上であれば、該直近に認識された種類の人物を、被写体判定結果として出力するようにしてもよい。つまり、顔認識処理により認識された種類の人物との一致度が所定値以上である場合は、直ちに、該認識された種類の人物を被写体判定の結果として出力することになる。
例えば、所定値が「０．７」の場合であって、図５に示すように、３回目の顔認識処理により最も一致度が高いと認識された種類の人物は「人物Ａ」であり、その一致度は「０．７」であるので、３回目の顔認識処理が行なわれた時点で、人物Ａが被写体判定の結果として出力されることになる。

（０８）また、上記第２の実施の形態においては、ステップＳ３９で最も多く認識された顔の人物を選択し、ステップＳ４１で該選択した種類の人物の一致度の平均値が所定値以上であれば、ステップＳ４２で該選択した種類の人物を判定結果として出力するようにしたが、画像認識により所定回数、同一の種類の人物が認識されるまで画像認識処理を行い、所定回数、同一の種類の人物が認識されると、該所定回数認識された種類の人物を判定結果として出力するようにしてもよい。これにより、撮像されている人物が誰であるのかの判定の精度を向上させることができ、確実に撮像されている人物が誰であるのかを判定することができる。
また、この場合においては、所定回数、同一の種類の人物が認識されると、該認識された人物との一致度の平均値が所定値以上であれば、該所定回数認識された種類の人物を判定結果として出力し、一致度の平均値が所定値以上でなければ、判定結果として被写体の判定が不可である旨を出力するようにしてもよい。これにより、撮像されている人物が誰であるのかの判定の精度を向上させることができ、確実に撮像されている人物が誰であるのかを判定することができる。

また、連続して所定回数、同一の種類の人物が認識されると、該連続して所定回数認識された種類の人物を判定結果として出力するようにしてもよい。この場合において、連続して所定回数認識された人物との一致度の平均値が所定値以上でなければ判定結果として被写体の判定が不可で旨を出力するようにしてもよいし、一致度の平均値が所定値以上になるまで画像認識を行なうようにしてもよい。これにより、撮像されている人物が誰であるのかの判定の精度を向上させることができ、確実に撮像されている人物が誰であるのかを判定することができる。

（０９）また、上記第２の実施の形態においては、顔認識を行なうようにしたが、上記第１の実施の形態で説明したような画像認識を行なうようにしてもよい。
また、所定周期（所定枚数毎）に顔認識を行なうようにしたが、取得した全ての画像データに対して（画像データ毎に）顔認識を行なうようにしてもよい。
また、顔認識ではなく、他の認識（車認識、鳥認識、動物認識等）であってもよい。例えば、バードウオッチチングをする人等は、予め複数種類の鳥の特徴データを登録しておくことにより、撮像している鳥が「何の鳥であるか？」を認識することができる。

（１０）また、上記各実施の形態においては、撮像される被写体が単数の場合について説明したが、もちろん複数の場合であってもよい。このとき、撮像される被写体が複数の場合は、認識された各被写体に対して被写体追従を行い、該追従されている被写体の領域に対して画像認識処理を行うことにより、単に画像認識処理を行うより、どの被写体がどの種類の被写体として認識されたかを区別することができる。

（１１）また、上記各実施の形態においては、登録する被写体（人物の顔も含む）の特徴データとして、多方向（複数の方向）から見た被写体の特徴データをそれぞれ記録することで、より更に画像認識（顔認識）処理の精度を高めることができる。
例えば、正面から見たときの顔の特徴データしか登録していない場合は、該顔がデジタルカメラ１から見えて横方向に向いたり、斜め方向に向いた時は（正面を向いていないときは）、該登録されている人物の顔が撮像されているにもかかわらず、登録されている該人物の顔と認識されない可能性が高くなってしまい、該人物が動いている場合はなおさらである。
したがって、登録する１つの被写体に対して、四方八方（正面、斜め右、横、斜め左、左等）から見た特徴データをそれぞれ記録させることにより、被写体追従の精度を向上することができる。

（１２）また、上記各実施の形態において、図２のステップＳ２の画像認識、図４のステップＳ３４の顔認識は、画像データの全範囲に対して行なうようにしたが、画像データの全範囲のうち、所定の領域（例えば、画角の中央領域）に対して、画像認識、顔認識を行なうようにしてもよい。これにより、画像認識、顔認識の処理負担を軽減させることができる。特に、画角の中央領域に対して画像認識、顔認識を行なう場合は、処理負担を軽減させることができるとともに、効果的にメイン被写体の種類を認識、判定することができる。ユーザは、真に撮影したい被写体（メイン被写体）が、画角の中央領域となるように撮像するのが通常だからである。
また、所定の領域に対して画像認識、顔認識を行う場合を、ステップＳ２、ステップＳ３４に限定して説明したが、要は、被写体追従されている被写体が存在する領域の画像データに対して画像認識、顔認識を行なう場合以外であればよい。

（１３）また、上記各実施の形態においては、動画撮像により撮像された画像データを取得するようにしたが、連続して静止画撮影された画像データを取得するようにしてもよい。

（１４）また、上記各実施の形態においては、現在ＣＣＤ５により撮像されている画像データを取得するようにしたが、過去に撮像された画像データ（例えば、記録されている動画データのフレーム画像）を取得するようにしてもよい。

（１５）また、上記各実施の形態及び上記各変形例を任意に組み合わせた態様であってもよい。

（１６）また、本発明の上記各実施形態及び各変形例は、何れも最良の実施形態としての単なる例に過ぎず、本発明の原理や構造等をより良く理解することができるようにするために述べられたものであって、添付の特許請求の範囲を限定する趣旨のものでない。
したがって、本発明の上記実施形態に対してなされ得る多種多様な変形ないし修正はすべて本発明の範囲内に含まれるものであり、添付の特許請求の範囲によって保護されるものと解さなければならない。

最後に、上記各実施の形態においては、本発明の被写体判定装置をデジタルカメラ１に適用した場合について説明したが、上記の実施の形態に限定されるものではなく、要は、被写体が何であるかを判定することができる機器であれば適用可能である。

本発明の実施の形態のデジタルカメラ１のブロック図である。 第１の実施の形態のデジタルカメラ１の動作を示すフローチャートである。 動いている楕円形の被写体３１を動画撮像しているときの様子、及び、撮像された画像データ及び該撮像された画像データの画像認識処理による認識結果に基づいて記憶される被写体の種類及び一致度の様子を示す図である。 第２の実施の形態のデジタルカメラ１の動作を示すフローチャートである。 被写体追従により追従されている被写体の移動遷移の様子、顔認識処理に対象となった顔領域、及び顔認識処理による認識結果に基づいて記憶される人物の種類及び一致度の様子を示す図である。

符号の説明

１ デジタルカメラ
２ 撮影レンズ
３ レンズ駆動ブロック
４ 絞り兼用シャッタ
５ ＣＣＤ
６ 垂直ドライバ
７ ＴＧ
８ ユニット回路
９ ＤＭＡ
１０ ＣＰＵ
１１ キー入力部
１２ メモリ
１３ ＤＲＡＭ
１４ ＤＭＡ
１５ 動きベクトル検出部
１６ ＤＭＡ
１７ 画像生成部
１８ ＤＭＡ
１９ ＤＭＡ
２０ 表示部
２１ ＤＭＡ
２２ 圧縮伸張部
２３ ＤＭＡ
２４ フラッシュメモリ
２５ バス

Claims (17)

1. 画像データを順次取得する取得手段と、
   前記取得手段により順次取得された画像データに対して画像認識を行っていくことにより、各画像データ内に存在する被写体の種類を認識していく画像認識手段と、
   前記画像認識手段による認識結果に基づいて、前記取得手段により順次取得される画像データに共通して存在する被写体の種類を判定する被写体判定手段と、
   を備えたことを特徴とする被写体判定装置。
2. 前記画像認識手段は、
   前記取得手段により取得される画像データのうち、所定枚数毎に画像認識を行うことを特徴とする請求項１記載の被写体判定装置。
3. 前記取得手段により順次取得される画像データに基づいて、前記画像認識手段により認識された画像データ内に存在する被写体に対して被写体追従を行なう被写体追従手段を備え、
   前記画像認識手段は、
   前記被写体追従手段により被写体追従が行なわれていない場合は、画像データの全範囲に対して画像認識を行い、前記被写体追従手段により被写体追従が行なわれている場合は、該被写体追従されている被写体がいる領域の画像データに対してのみ画像認識を行なうことにより、該被写体の種類を認識することを特徴とする請求項１又は２記載の被写体判定装置。
4. 前記取得手段により順次取得される画像データの変化量を検出する変化量検出手段を備え、
   前記画像認識手段は、
   前記変化量検出手段により検出された変化量が所定量以上である場合は、画像データの全範囲に対して画像認識を行うことを特徴とする請求項３記載の被写体判定装置。
5. 前記被写体判定手段は、
   前記画像認識手段により最も多く認識された種類の被写体を選択する選択手段を含み、該選択手段により選択した被写体の種類を前記取得手段により順次取得される画像データに共通して存在する被写体の種類と判定することを特徴とする請求項１乃至４の何れかに記載の被写体判定装置。
6. 前記被写体判定手段は、
   前記画像認識手段により所定回数、連続して同一の種類の被写体が認識された場合は、該連続して所定回数認識された種類の被写体を選択する選択手段を含み、該選択手段により選択された被写体の種類を、前記取得手段により順次取得される画像データに共通して存在する被写体の種類と判定することを特徴とする請求項１乃至４の何れかに記載の被写体判定装置。
7. 前記画像認識手段は、
   画像データ内に存在する被写体の種類を認識すると共に、画像データ内に存在する被写体が、該認識した被写体の種類である確率も認識し、
   前記被写体判定手段は、
   前記画像認識手段により前記選択手段により選択された被写体の種類と認識されたときの確率の平均が所定値以上である場合は、該選択手段により選択された被写体の種類を、前記取得手段により順次取得される画像データに共通して存在する被写体の種類と判定することを特徴とする請求項５又は６記載の被写体判定装置。
8. 前記被写体判定手段は、
   前記画像認識手段により前記選択手段により選択された被写体の種類と認識されたときの確率の平均が所定値以上でない場合は、前記取得手段により順次取得される画像データに共通して存在する被写体の種類が不明であると判定することを特徴とする請求項７記載の被写体判定装置。
9. 前記画像認識手段は、
   前記取得手段により順次取得される画像データのうち、所定枚数の画像データに対して、画像認識処理を行っていくことを特徴とする請求項１乃至８の何れかに記載の被写体判定装置。
10. 前記画像認識手段は、
    前記被写体判定手段により、前記取得手段により順次取得される画像データに共通して存在する被写体の種類が判定されるまで、前記取得手段により順次取得された画像データに対して画像認識を行っていき、
    前記被写体判定手段は、
    前記画像認識手段により前記選択手段により選択された被写体の種類と認識されたときの確率の平均が所定値以上でない場合は、判定を行なわないことを特徴とする請求項７記載の被写体判定装置。
11. 前記被写体判定手段は、
    前記画像認識手段により前記選択手段により選択された被写体の種類と認識されたときの確率の平均が所定値以上でない場合で、且つ、前記画像認識手段により一定枚数の画像データに対して画像認識を行なった場合は、前記取得手段により順次取得される画像データに共通して存在する被写体の種類が不明であると判定することを特徴とする請求項１０記載の被写体判定装置。
12. 前記被写体判定手段は、
    前記画像認識手段により所定回数、同一の種類の被写体が認識された場合は、該所定回数認識された種類の被写体を選択する選択手段を含み、該選択手段により選択された被写体の種類を、前記取得手段により順次取得される画像データに共通して存在する被写体の種類と判定することを特徴とする請求項１乃至４の何れかに記載の被写体判定装置。
13. 被写体の種類毎にその特徴情報を記録した特徴情報記録手段を備え、
    前記画像認識手段は、
    画像認識により画像データ内に存在する被写体の特徴情報を算出し、該算出した特徴情報と最も一致する前記特徴情報記録手段に記録されている特徴情報に対応する被写体の種類を、該画像データ内に存在する被写体の種類と認識することを特徴とする請求項１乃至１２の何れかに記載の被写体判定装置。
14. 前記特徴情報記録手段は、
    各種類の被写体毎に、複数の向きに対応する特徴情報をそれぞれ記録していることを特徴とする請求項１３記載の被写体判定装置。
15. 画像認識により算出された画像データ内に存在する被写体の特徴情報と、該被写体の特徴情報と最も一致する前記特徴情報記録手段に記録されている特徴情報との一致の度合いを認識し、該認識した一致度合いが、画像データ内に存在する被写体が、該認識した被写体の種類である確率であることを特徴とする請求項１３又は１４記載の被写体判定装置。
16. 前記画像認識手段による画像認識は、
    被写体が誰の顔であるかを認識する顔認識であることを特徴とする請求項１乃至１５の何れかに記載の被写体判定装置。
17. 画像データを順次取得する取得処理と、
    前記取得処理により順次取得された画像データに対して画像認識を行っていくことにより、各画像データ内に存在する被写体の種類を認識していく画像認識処理と、
    前記画像認識処理による認識結果に基づいて、前記取得処理により順次取得される画像データに共通して存在する被写体の種類を判定する被写体判定処理と、
    を含み、上記各処理をコンピュータで実行させることを特徴とするプログラム。
    

Images