JP2015111836A - 画像処理装置、カメラ、画像処理方法およびプログラム - Google Patents

Abstract

【課題】特定の被写体を検出する。
【解決手段】本発明にかかる画像処理装置は、画像より被写体画像を検出する被写体検出手段と、被写体画像の認識ＩＤと、被写体画像が検出されているか否かを示す検出フラグと、被写体画像が画像内で最後に検出された位置である第１の位置と、を記憶する被写体認識情報記憶手段と、被写体画像に認識ＩＤを付与する認識ＩＤ付与手段と、を備え、認識ＩＤ付与手段は、被写体検出手段が被写体画像を検出した位置から所定の距離内に第１の位置が存在する場合、第１の位置に対応する認識ＩＤを被写体画像に付与し、被写体画像が検出されたことを示す値を検出フラグに設定し、検出フラグが被写体画像が検出されたことを示す場合に、枠を被写体画像に重ねて表示手段に表示することを特徴とする。
【選択図】図１

Description

本発明は、被写体を検出する技術に関する。

人物の顔は、デジタルスチルカメラ（以降「カメラ」と称する）やデジタルビデオカメラの主要な被写体である。そのため、撮影時に、人物の顔を検出して、その人物の顔に合わせた自動焦点制御や自動露出制御などを行う技術が望まれていた。

また、実際の撮影においては、撮影しようとする人物の顔に加えて、他の人物の顔も同時に撮影されることがある。このため、複数の顔の中から特定の顔のみを検出・追跡する技術もまた望まれていた。

特許文献１は、被写体の顔などの特定部位の画像の特徴情報を予め登録しておき、これらの情報とモニタの画面画像との比較を行うことで、登録された被写体のみを検出・追跡する技術を開示している。

特許文献２は、携帯電話機が撮影している動画像から人物の顔画像を抽出してサーバに送信し、サーバで予め登録されている顔画像と照合して、照合に一致した顔画像に対応する人物の固有情報を携帯電話機に送信して表示させる技術を開示している。

特開２００６−１０１１８６号公報 特開２００６−２９３９１２号公報 特開平５−３３４４１１号公報

しかしながら、特許文献１に開示された技術は以下の問題点を持っている。
（１）被写体の特徴情報を記憶する手段が必要であるため、カメラの構造が複雑化する。このため、カメラの製造コストが増加する。
（２）利用者が予め被写体の特徴情報を登録する必要があるため、カメラの操作手順が複雑化する。このため、利用者の負担が増大する。

また、特許文献２に開示された技術は以下の問題点を持っている。
（３）被写体の顔画像を記憶するサーバが必要であるため、サーバの導入・運用コストが発生する。このため、システムの導入・運用コストが増大する。
（４）画像データを送受信する必要があるため、通信コストが発生する。このため、システムの運用コストが増大する。

本発明は、特定の被写体を検出することを目的とする。

本発明にかかる画像処理装置は、
画像より被写体画像を検出する被写体検出手段と、
前記被写体画像の認識ＩＤと、前記被写体画像が検出されているか否かを示す検出フラグと、前記被写体画像が前記画像内で最後に検出された位置である第１の位置と、を記憶する被写体認識情報記憶手段と、
前記被写体画像に認識ＩＤを付与する認識ＩＤ付与手段と、を備え、
前記認識ＩＤ付与手段は、前記被写体検出手段が前記被写体画像を検出した位置から所定の距離内に前記第１の位置が存在する場合、前記第１の位置に対応する認識ＩＤを前記被写体画像に付与し、被写体画像が検出されたことを示す値を前記検出フラグに設定し、前記検出フラグが被写体画像が検出されたことを示す場合に、枠を被写体画像に重ねて表示手段に表示することを特徴とする。

本発明によれば、特定の被写体を検出することができる。

本発明の第１の実施形態に係るカメラの画像処理部の機能構成を示すブロック構成図である。 第１の実施形態に係るカメラ全体の機能構成を示すブロック構成図である。 図１・２の被写体認識情報テーブルに格納される情報の一例を示す図である。 第１の実施形態における被写体画像認識処理動作を説明するフローチャートである。 第１の実施形態における被写体画像認識処理直後のモニタ画面が表示する映像を示す図（その１）である。 第１の実施形態における被写体画像認識処理直後の被写体認識情報テーブルの内容を示す図（その１）である。 第１の実施形態における被写体画像認識処理直後のモニタ画面が表示する映像を示す図（その２）である。 第１の実施形態における被写体画像認識処理直後の被写体認識情報テーブルの内容を示す図（その２）である。 第１の実施形態における被写体画像認識処理直後のモニタ画面が表示する映像を示す図（その３）である。 第１の実施形態における被写体画像認識処理直後の被写体認識情報テーブルの内容を示す図（その３）である。 第１の実施形態における被写体画像認識処理直後のモニタ画面が表示する映像を示す図（その４）である。 第１の実施形態における被写体画像認識処理直後の被写体認識情報テーブルの内容を示す図（その４）である。 第１の実施形態における被写体画像認識処理直後のモニタ画面が表示する映像を示す図（その５）である。 第１の実施形態における被写体画像認識処理直後の被写体認識情報テーブルの内容を示す図（その５）である。 第２の実施形態に係るカメラ全体の機能構成を示すブロック構成図である。 図１０の被写体認識情報テーブルに格納される情報の一例を示す図である。 第２の実施形態における被写体画像認識処理動作を説明するフローチャートである。 第３の実施形態における被写体画像認識処理動作を説明するフローチャートである。 第３の実施形態における被写体画像認識処理直後のモニタ画面が表示する映像を示す図である。 第３の実施形態における被写体画像認識処理直後の被写体認識情報テーブルの内容を示す図である。

次に、本発明の実施形態について図面を参照して説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係るカメラにおいて、被写体の画像データ処理を行う画像処理部１０の機能構成を示すブロック構成図である。

画像処理部１０は、被写体検出部１０１と、認識ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）付与部１０２と、被写体認識情報テーブル１０３とを含んでいる。被写体認識情報テーブル１０３は、被写体認識情報記憶部と呼ばれることもある。被写体検出部１０１は、入力された入力画像データ２１から被写体の画像を検出する。被写体認識情報テーブル１０３は、被写体の認識ＩＤや位置座標を記憶する。認識ＩＤ付与部１０２は、検出された被写体画像の位置座標から所定の距離内にある位置座標を被写体認識情報テーブル１０３内より検索する。該当する位置座標が被写体認識情報テーブル１０３に存在する場合は、その位置座標に対応する認識ＩＤを被写体画像に付与する。これらの構成要素は、ハードウェアで構成されていてもよいし、ソフトウェアで構成されていてもよい。出力画像データ２２は、認識ＩＤなどの被写体に関する情報を含む。

このように、画像処理部１０は、検出された被写体の位置座標と被写体認識情報テーブル１０３が記憶する位置座標を比較することにより、同一の被写体には常に同一の認識ＩＤを付与する。このことにより、画像処理部１０は、被写体の特徴情報を記憶することなく、特定の被写体を検出・追跡することを可能とする。

次に、画像処理部１０を含む、本発明の第１の実施形態に係るカメラ全体の構成について図２を参照して説明する。図２は、第１の実施形態に係るカメラ１の主要な機能構成を示すブロック構成図である。

撮像部１１は、レンズや合焦機構、ＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）などからなり、被写体を撮影してデジタルデータである画像データを生成する。モニタ画面１２は、液晶ディスプレイなどの表示装置であり、撮影する被写体の画像や、被写体に関する情報、カメラの動作に関する情報を表示する。キー入力部１３は、利用者がカメラ１に対する設定や指示を行う入力装置であり、カーソルキーや数字キー、決定キーなどからなる。制御処理部１４はシステムクロック発生装置やＣＰＵなどからなり、装置全般の制御処理を行う。画像処理部１０は、撮像部１１から入力される画像データを処理してモニタ画面１２に出力・表示する。なお、画像処理部１０の構成要素である被写体検出部１０１と認識ＩＤ付与部１０２と被写体認識情報テーブル１０３については既に説明済みのため説明を省略する。

ここで、被写体認識情報テーブル１０３に格納される情報について図３を参照して説明する。

被写体認識情報テーブル１０３は、被写体画像認識処理実行時の情報として、認識ＩＤ、最後に検出された位置座標、検出されたかどうかを示す検出フラグ、および追跡対象フラグを含む。これらの情報を「被写体認識情報」と称する。位置座標は、顔画像が画像データ内にて占める領域を表す。これは例えば｛（Ｘｍ，Ｙｍ），（Ｘｎ，Ｙｎ）｝のように、矩形状の領域の１つの頂点と、その頂点を通る対角線上に位置するもう１つの頂点の座標で表される。なお、被写体画像認識処理については次に述べる。

本発明の第１の実施形態に係るカメラは、入力画像データから被写体の特定部位の画像を検出し、検出した画像の位置座標をキーとして被写体認識情報テーブルを検索する。そして、検出した画像との距離が所定の距離内でありかつ最も近い位置座標を有する被写体認識情報を、検出した画像を示す被写体認識情報であると判定する。この一連の処理を「被写体画像認識処理」と称する。図４を参照して、以下に第１の実施形態における被写体画像認識処理動作を説明する。なお、被写体画像認識処理は被写体の特定部位の画像に関する処理であるが、第１の実施形態の以降の説明においては、この特定部位は人物の顔であるとする。

図４は、第１の実施形態における被写体画像認識処理を説明するフローチャートである。

前回の被写体画像認識処理から一定時間経過すると、制御処理部１４は、画像処理部１０に被写体画像認識処理の開始を指示する。これを受けて、最初に、被写体検出部１０１は、撮像部１１から取り込んだ画像データから被写体の人物の顔画像を検出する（ステップＳ１１１）。この検出処理は例えば、顔を構成する要素（髪の毛・目・鼻・口など）の形状および色彩が実際の顔と同じ位置関係で存在している領域を、画像データ内で検索することにより行われる。顔画像を検出すると、被写体検出部１０１は、検出した顔画像の画像データ内での位置座標を出力する。画像データに複数の顔画像が含まれている場合、被写体検出部１０１は、その全ての顔画像を検出する。

顔画像の検出処理が完了すると、認識ＩＤ付与部１０２が以下の処理を行う。まず、認識ＩＤ付与部１０２は、被写体認識情報テーブル１０３の全ての被写体認識情報の検出フラグをクリアする。（ステップＳ１１２）。次に、認識ＩＤ付与部１０２は、被写体検出部１０１が検出した顔画像のうちまだ処理していないもの１つを抽出する（ステップＳ１１３）。そして、認識ＩＤ付与部１０２は、抽出した顔画像との距離が所定の距離内でありかつ最も近い位置座標を有する被写体認識情報を、被写体認識情報テーブル１０３より検索する（ステップＳ１１４）。この処理は例えば、抽出した顔画像と被写体認識情報の中心座標同士の距離を計算することで行われる。なお、位置座標｛（Ｘｍ，Ｙｍ），（Ｘｎ，Ｙｎ）｝が表す領域の中心座標は｛（Ｘｍ＋Ｘｎ）／２，（Ｙｍ＋Ｙｎ）／２｝の計算式で求めることができる。検索の結果、認識ＩＤ付与部１０２は、該当する被写体認識情報が存在するかどうかを判定する（ステップＳ１１５）。存在する場合は、認識ＩＤ付与部１０２は、該当する被写体認識情報の位置座標を抽出した顔画像の位置座標の値で更新し、検出フラグに"○"を設定する（ステップＳ１１６）。該当する被写体認識情報が存在しない場合は、認識ＩＤ付与部１０２は、新たな認識ＩＤを採番する。そして、この認識ＩＤと、抽出した顔画像の位置座標の値と、検出フラグ＝"○"を新たな被写体認識情報として被写体認識情報テーブル１０３に追加登録する（ステップＳ１１７）。

ここで、画像処理部１０は、ステップＳ１１１で検出された顔画像全てに対して処理が完了したかどうかを判定する（ステップＳ１１８）。完了していない場合は、ステップＳ１１３に戻り、まだ処理していない顔画像に対して同様の処理が繰り返される。完了した場合は、被写体画像認識処理は終了する。

このように、画像処理部１０は、被写体画像認識処理において、今回検出された位置座標と前回検出された位置座標が近い被写体を同一の被写体と判定する。このような処理を実行することにより、第１の実施形態におけるカメラは、被写体の特徴情報を登録することなく、複数の被写体に対して、そのそれぞれに同一の認識ＩＤを継続的に付与する。このことにより、検出された複数の被写体の中から、特定の被写体を選択して追跡することが可能となる。

ここで、被写体画像認識処理が実行される周期は、撮像部１１が画像データを生成する周期（フレームレート）と同じである必要はない。ただし、処理が実行される周期が長いほど、処理の間の被写体の移動距離は大きくなる。このことは、「今回検出された位置座標と前回検出された位置座標が近い被写体を同一の被写体と判定する」という上記の方法において、誤判定の可能性を高くする。従って、被写体画像認識処理が実行される周期は、誤判定が発生しない程度に短いことが好ましい。

次に、図５〜９を参照して、第１の実施形態における被写体画像認識処理動作を、時系列に説明する。

被写体画像認識処理が終了すると、画像処理装置１０は、認識ＩＤなどの被写体に関する情報を出力する。これらの情報は、被写体の映像と共にモニタ画面１２に表示される。図５は、被写体画像認識処理が終了した直後のカメラ１の状態を表している。図５（ａ）はモニタ画面１２が表示する映像を示す。図５（ｂ）は被写体認識情報テーブル１０３の内容を示す。これは図６〜９に関しても同様である。

図５（ａ）のモニタ画面１２には３人の人物１２０１〜１２０３が表示されている。また、これらの人物の顔画像が検出された位置を示す枠１２１１〜１２１３が、対応する顔画像に重畳して表示されている。また、顔画像に付与された認識ＩＤ（"１"〜"３"）を表す符号１２２１〜１２２３が、対応する顔画像の近傍に表示されている。なお、以降の説明では、認識ＩＤ"１"が付与された顔画像のことを「顔画像"１"」と称する。

枠１２１３は他の枠と区別が可能であるように、他の枠と異なる太さあるいは異なる色で表示されている。これは、枠１２１３が示す顔画像"３"が追跡対象として設定されていることを示す。この設定は、顔画像"３"が検出されている状態で、利用者が顔画像"３"を選択する操作を行うことで成される。この操作とは、例えば、キー入力部１３の該当する数字キー（"３"キー）を押下する、カーソルキーを使用して顔画像"３"にカーソル（図示せず）を合わせる、等である。

図５（ｂ）の被写体認識情報テーブル１０３は３つの顔画像に関する被写体認識情報を保持している。それぞれのレコードには、"１"〜"３"の認識ＩＤと、顔画像が検出された位置座標｛（Ｘ１１，Ｙ１１），（Ｘ１２，Ｙ１２）｝，｛（Ｘ２１，Ｙ２１），（Ｘ２２，Ｙ２２）｝，｛（Ｘ３１，Ｙ３１），（Ｘ３２，Ｙ３２）｝が設定されている。全てのレコードの検出フラグには検出されていることを示す"○"が設定されている。また、認識ＩＤ"３"のレコードのみ、追跡対象フラグに"○"が設定されている。これは顔画像"３"が追跡対象として設定されていることを示す。

図６は、図５の時点の次に被写体画像認識処理が実行され、終了した直後のカメラ１の状態を表している。

図６（ａ）を参照すると、今回新たに検出された２人の人物１２０４，１２０５が新たに表示されている。これらの顔画像には新たな認識ＩＤ"４"，"５"が付与されており、枠１２１４，１２１５と符号１２２４，１２２５が表示されている。なお、複数の顔画像が新たに検出された場合、認識ＩＤは、顔画像の大きさの順番や、画面内の位置、例えば左上隅からの距離の順番などに基づいて採番されてもよい。

一方で、人物１２０２がフレーム外に移動している。このため、顔画像"２"は検出されていない。また、人物１２０１，１２０３の顔画像にはそれぞれ前回と同じ認識ＩＤ"１"，"３"が付与されている。これは、被写体画像認識処理において、人物１２０１，１２０３の顔画像が、前回検出された位置座標と近い距離にあることにより、対応する被写体認識情報と紐付けられたためである。

図６（ｂ）を参照すると、新たに２レコードの被写体認識情報が追加されている。これらの２レコードには、"４"，"５"の認識ＩＤと、顔画像が検出された位置座標｛（Ｘ４１，Ｙ４１），（Ｘ４２，Ｙ４２）｝，｛（Ｘ５１，Ｙ５１），（Ｘ５２，Ｙ５２）｝が設定されている。一方で、今回検出されなかった顔画像に関する認識ＩＤ"２"の被写体認識情報レコードは、検出フラグがクリアされている。また、位置座標には、顔画像"２"が最後に検出された時点の値｛（Ｘ２１，Ｙ２１），（Ｘ２２，Ｙ２２）｝が引き続き設定されている。

図７は、図６の時点の次に被写体画像認識処理が実行され、終了した直後のカメラ１の状態を表している。

図７（ａ）を参照すると、人物１２０３が後ろを振り向いている。このため、顔画像"３"は検出されていない。また、人物１２０４が人物１２０５の前を覆い隠す位置に移動している。このため、顔画像"５"もまた検出されていない。認識ＩＤ"２"，"３" ，"５"に対応する顔画像が検出されていないため、顔画像"２"，"３"，"５"を示す枠と符号は表示されていない。

図７（ｂ）を参照すると、今回検出されなかった顔画像に関する認識ＩＤ"２"，"３"，"５"の被写体認識情報レコードは、検出フラグがクリアされている。また、位置座標は、顔画像"２"，"３"，"５"が最後に検出された時点の値｛（Ｘ２１，Ｙ２１），（Ｘ２２，Ｙ２２）｝，｛（Ｘ３１，Ｙ３１），（Ｘ３２，Ｙ３２）｝，｛（Ｘ５１，Ｙ５１），（Ｘ５２，Ｙ５２）｝が引き続き設定されている。一方で、認識ＩＤ"４"のレコードは、顔画像の移動先の新たな位置座標｛（Ｘ４１´，Ｙ４１´），（Ｘ４２´，Ｙ４２´）｝が設定されている。なお、｛（Ｘ４１´，Ｙ４１´），（Ｘ４２´，Ｙ４２´）｝は、前回｛（Ｘ４１，Ｙ４１），（Ｘ４２，Ｙ４２）｝に位置していた顔画像と同一の被写体であると判定される程度に近い距離にある位置座標である。

この時点においては、追跡対象として設定されていた顔画像"３"が検出されていない。そのため、この時点においては、追跡対象の顔画像はない。ただし、被写体認識情報テーブル１０３の認識ＩＤ"３"のレコードの追跡対象フラグには、引き続き"○"が設定されている。

図８は、図７の時点の次に被写体画像認識処理が実行され、終了した直後のカメラ１の状態を表している。

図８（ａ）を参照すると、人物１２０２が再度フレーム内に移動している。また人物１２０４が再度移動し、覆い隠されていた人物１２０５が再度現れている。このため、前回検出されなかった人物１２０２と人物１２０５の顔画像が検出されている。人物１２０２，１２０５の顔画像にはそれぞれ以前検出されていた時と同じ認識ＩＤ"２"，"５"が付与されている。これは、被写体画像認識処理において、人物１２０２と人物１２０５の顔画像が、最後に検出された位置座標と近い距離にあることにより、対応する被写体認識情報と紐付けられたためである。一方で、人物１２０３は依然後ろを向いた状態であるため、顔画像"３"は検出されていない。

図８（ｂ）を参照すると、今回再度検出された顔画像に関する認識ＩＤ"２"，"５"の被写体認識情報レコードは、検出フラグに再度"○"が設定されている。また、認識ＩＤ"２"，"４"のレコードは、顔画像の移動先の新たな位置座標｛（Ｘ２１´，Ｙ２１´），（Ｘ２２´，Ｙ２２´）｝，｛（Ｘ４１´´，Ｙ４１´´），（Ｘ４２´´，Ｙ４２´´）｝が設定されている。

この時点においても、追跡対象として設定されていた顔画像"３"が検出されていない。そのため、この時点においても、追跡対象の顔画像はない。

図９は、図８の時点の次に被写体画像認識処理が実行され、終了した直後のカメラ１の状態を表している。

図９（ａ）を参照すると、人物１２０３が再度前を向いている。このため、前回検出されなかった人物１２０３の顔画像が検出されている。人物１２０３の顔画像には以前検出されていた時と同じ認識ＩＤ"３"が付与されている。これは、被写体画像認識処理において、人物１２０３の顔画像が、最後に検出された位置座標と近い距離にあることにより、対応する被写体認識情報と紐付けられたためである。また、顔画像"３"が検出されなくなる前と同様に、追跡対象として設定されていることを示す、他の枠と異なる太さあるいは異なる色で表示された枠１２１３が表示されている。これは、顔画像"３"が検出されなくなった時点においても、被写体認識情報テーブル１０３の認識ＩＤ"３"のレコードの追跡対象フラグに"○"が設定されていたためである。

図９（ｂ）を参照すると、今回再度検出された顔画像に関する認識ＩＤ"３"の被写体認識情報レコードは、検出フラグに再度"○"が設定されている。また、追跡対象フラグには、引き続き"○"が設定されている。

以上説明したように第１の実施形態に係るカメラは、被写体の特徴情報を登録することなく、検出した複数の被写体の顔画像に対して、そのそれぞれに同一の認識ＩＤを継続的に付与することができる。その理由は、認識ＩＤ付与部１０２が、検出された顔画像の位置座標と被写体認識情報テーブル１０３内の位置座標を比較することによって、検出された顔画像と対応する被写体認識情報を紐付けるためである。

また、第１の実施形態に係るカメラは、被写体の顔画像が一時的に検出されなくなり、その後再び検出された場合でも、検出した複数の被写体の顔画像に対して、そのそれぞれに同一の認識ＩＤを継続的に付与することができる。その理由は、検出されなかった被写体についても、被写体認識情報テーブル１０３が、被写体が最後に検出された位置座標と被写体の認識ＩＤを保持するからである。

また、第１の実施形態に係るカメラは、追跡対象に設定された被写体の顔画像が一時的に検出されなくなり、その後再び検出された場合でも、自動的に追跡を再開できる。その理由は、検出されなかった被写体についても、被写体認識情報テーブル１０３が、被写体の追跡対象フラグと被写体の認識ＩＤを保持するからである。

また、第１の実施形態に係るカメラは、データの記憶および比較処理が、特許文献１に開示されたカメラに比べ簡素な構成で実現できる。その理由は、被写体の画像の特徴情報に比べ、位置座標はデータ容量が少なく、また比較処理も簡易であるからである。

（第２の実施形態）
次に、本発明の第２の実施形態を説明する。

本発明の第１の実施形態において、被写体認識情報は、ひとたび登録されるとその後削除されることはなかった。しかし、本発明の第２の実施形態においては、被写体の画像が長時間検出されない場合、対応する被写体認識情報が削除される点が第１の実施形態と異なる。

図１０は、第２の実施形態に係るカメラ１の主要な機能構成を示すブロック構成図である。なお、図１０のブロック構成図において、図２のブロック構成図の参照符号と同一の符号を付した構成要素は、図２で説明した構成要素と同一内容である。図１０のカメラ１は、新たな構成要素として被写体認識情報削除部１０４を備えている。

図１１は、第２の実施形態における被写体認識情報テーブル１０３に格納される情報を示す図である。被写体認識情報テーブル１０３は、新たな項目として、検出時刻を備えている。なお、他の項目については図３と同様である。

次に、図１２を参照して、第２の実施形態における被写体画像認識処理動作を説明する。

図１２は、第２の実施形態における被写体画像認識処理を説明するフローチャートである。なお、図１２のフローチャートにおいて、図４のフローチャートの参照符号と同一の符号を付したステップは、図４で説明したステップと同一内容である。従って、これら同一内容のステップについての説明は省略される。図１２では、図４のステップＳ１１６とＳ１１７がそれぞれステップＳ２１６とＳ２１７に置き換えられ、また、新たにステップＳ２１９が追加されている。

ステップＳ２１６において、認識ＩＤ付与部１０２は、位置座標と検出フラグの更新に加えて、検出時刻を現時刻の値で更新する。また、ステップＳ２１７において、認識ＩＤ付与部１０２は、認識ＩＤと位置座標と検出フラグの設定に加えて、検出時刻に現時刻の値を設定する。なお、認識ＩＤ付与部１０２は、カメラ１の内蔵時計（図示せず）より現時刻の値を取得してもよい。

また、顔画像全てに対して処理が完了したとステップＳ１１８で判定された場合、被写体認識情報削除部１０４は、検出時刻より所定の時間経過している全ての被写体認識情報を抽出し、削除する（ステップＳ２１９）。この抽出処理は、例えば、検出時刻の値と現時刻を比較してその差が所定の値より大きいか判定することにより行われる。その後、被写体画像認識処理を終了する。

以上説明したように第２の実施形態に係るカメラは、所定の時間検出されていない被写体認識情報を削除する。これにより、被写体認識情報テーブル１０３の空き容量が長時間検出されていない被写体認識情報が滞留することにより不足し、顔画像への認識ＩＤ付与が行えなくなることが防止される。

（第３の実施形態）
次に、本発明の第３の実施形態を説明する。

本発明の第１の実施形態において、被写体は人物の顔であった。本発明の第３の実施形態においては、被写体が特定の服装を着用した人物の画像である点が第１の実施形態と異なる。

本発明の第３の実施形態に係るカメラの機能構成は、図１，２と同様であるため、説明を省略する。また、被写体認識情報テーブル１０３に格納される情報も、図３と同様であるため、説明を省略する。

次に、図１３を参照して、第３の実施形態における被写体画像認識処理動作を説明する。

図１３は、第３の実施形態における被写体画像認識処理を説明するフローチャートである。なお、図１３のフローチャートにおいて、図４のフローチャートの参照符号と同一の符号を付したステップは、図４で説明したステップと同一内容である。従って、これら同一内容のステップについての説明は省略される。図１３では、図４のステップＳ１１１が、ステップＳ３１１に置き換えられている。

被写体画像認識処理の開始がされると、最初に、被写体検出部１０１は、撮像部１１から取り込んだ画像データから特定の服装を着用した人物の画像を検出する。例えば、被写体検出部１０１は、上半身に黄色の半袖シャツを、下半身に緑色の短パンを着用した人物の画像を検出する（ステップＳ３１１）。この検出処理は例えば、色彩が黄色で半袖シャツの形状の部分と色彩が緑色で短パンの形状の部分が隣接して存在している領域を、画像データ内で検索することにより行われる。このような服装画像を検出すると、被写体検出部１０１は、検出した服装画像の画像データ内での位置座標を出力する。画像データに複数のこのような服装画像が含まれている場合、被写体検出部１０１は、その全ての服装画像を検出する。以降の処理は、被写体が顔画像ではなく服装画像である点を除いて図４と同様であるため、説明を省略する。

次に、図１４を参照して、第３の実施形態における被写体画像認識処理が終了した直後のカメラ１の状態を説明する。図１４（ａ）はモニタ画面１２の映像を、図１４（ｂ）は被写体認識情報テーブル１０３の内容をそれぞれ示す。また、以降の説明において、被写体検出部１０１は、上半身に黄色の半袖シャツを、下半身に緑色の短パンを着用した人物の画像を検出するものとする。

図１４（ａ）のモニタ画面１２には４人の人物１２０６〜１２０９が表示されている。このうち、人物１２０６，１２０７は、上半身に黄色の半袖シャツを、下半身に緑色の短パンを着用している。一方で、人物１２０８，１２０９は、これとは異なる服装を着用している（例えば青色の半袖シャツと白色の短パン）。

被写体検出部１０１は、人物１２０６，１２０７の服装画像を検出している。モニタ画面１２には、これらの服装画像が検出された位置を示す枠１２１６，１２１７と、服装画像に付与された認識ＩＤ（"６"，"７"）を表す符号１２２６，１２２７が表示されている。

図１４（ｂ）の被写体認識情報テーブル１０３は、検出された２つの服装画像に関する被写体認識情報を保持している。

以上説明したように第３の実施形態に係るカメラは、第１の実施形態のカメラの機能を、人物の顔画像ではなく、人物の特定の服装画像に適用する。これにより、例えばスポーツ試合の撮影において、特定のチームのユニフォームを着用した人物のみを検出・追跡できる。

また、猫や犬等の特定の動物や、自動車や飛行機等の特定の乗り物や、その他形状や色彩に特定の特徴を持つ被写体に、第１の実施形態のカメラの機能を適用してもよい。

以上のとおり、被写体に認識ＩＤを付与するカメラを例に本発明の実施形態が説明された。しかしながら、本発明に係る画像処理装置は、携帯電話端末やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）などが備えるカメラ機能にも適用できる。また、本発明に係る画像処理装置は、動画の撮影機能を備えるカメラにも適用できる。また、本発明に係る画像処理装置は、撮像手段を持たない、例えば録画画像を解析する画像解析装置にも適用できる。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

１ カメラ
１０ 画像処理部
１０１ 被写体検出部
１０２ 認識ＩＤ付与部
１０３ 被写体認識情報テーブル
１０４ 被写体認識情報削除部
１１ 撮像部
１２ モニタ画面
１３ キー入力部
１４ 制御処理部
２１ 入力画像データ
２２ 出力画像データ

Claims (6)

1. 画像より被写体画像を検出する被写体検出手段と、
   前記被写体画像の認識ＩＤと、前記被写体画像が検出されているか否かを示す検出フラグと、前記被写体画像が前記画像内で最後に検出された位置である第１の位置と、を記憶する被写体認識情報記憶手段と、
   前記被写体画像に認識ＩＤを付与する認識ＩＤ付与手段と、を備え、
   前記認識ＩＤ付与手段は、前記被写体検出手段が前記被写体画像を検出した位置から所定の距離内に前記第１の位置が存在する場合、前記第１の位置に対応する認識ＩＤを前記被写体画像に付与し、被写体画像が検出されたことを示す値を前記検出フラグに設定し、前記検出フラグが被写体画像が検出されたことを示す場合に、枠を被写体画像に重ねて表示手段に表示することを特徴とする画像処理装置。
2. 前記認識ＩＤ付与手段は、前記被写体検出手段が前記被写体画像を検出した位置から前記所定の距離内に前記第１の位置が存在しない場合、新たな認識ＩＤを前記被写体画像に付与することを特徴とする請求項１記載の画像処理装置。
3. 前記被写体認識情報記憶手段は、前記被写体画像が最後に検出された時刻である第１の時刻をさらに記憶し、
   前記画像処理装置は、前記第１の時刻から所定の時間が経過すると、前記第１の時刻と、前記第１の時刻に対応する前記認識ＩＤおよび前記第１の位置とを、
   前記被写体認識情報記憶手段から削除する被写体認識情報削除手段をさらに備えたことを特徴とする請求項１または２記載の画像処理装置。
4. 被写体を撮影する撮像手段と、
   請求項１乃至３のいずれかに記載の画像処理装置と、
   前記撮像手段が撮影する画像と、前記画像処理装置が生成する前記被写体に関する情報とを表示する表示手段と、を備えることを特徴とするカメラ。
5. 画像処理装置の画像処理方法であって、
   画像より被写体画像を検出する被写体検出工程と、
   前記被写体画像の認識ＩＤと、前記被写体画像が検出されているか否かを示す検出フラグと、前記被写体画像が前記画像内で最後に検出された位置である第１の位置と、を記憶手段に記憶する被写体認識情報記憶工程と、
   前記被写体画像に認識ＩＤを付与する認識ＩＤ付与工程と、を有し、
   前記認識ＩＤ付与工程は、前記被写体検出工程で前記被写体画像を検出した位置から所定の距離内に前記第１の位置が存在する場合、前記第１の位置に対応する認識ＩＤを前記被写体画像に付与し、被写体画像が検出されたことを示す値を前記検出フラグに設定し、前記検出フラグが被写体画像が検出されたことを示す場合に、枠を被写体画像に重ねて表示手段に表示することを特徴とする画像処理方法。
6. 画像より被写体画像を検出する被写体検出処理と、
   前記被写体画像の認識ＩＤと、前記被写体画像が検出されているか否かを示す検出フラグと、前記被写体画像が前記画像内で最後に検出された位置である第１の位置と、を記憶手段に記憶する被写体認識情報記憶処理と、
   前記被写体画像に認識ＩＤを付与する認識ＩＤ付与処理と、をコンピュータに実行させ、
   前記認識ＩＤ付与処理は、前記被写体検出処理で前記被写体画像を検出した位置から所定の距離内に前記第１の位置が存在する場合、前記第１の位置に対応する認識ＩＤを前記被写体画像に付与し、被写体画像が検出されたことを示す値を前記検出フラグに設定し、前記検出フラグが被写体画像が検出されたことを示す場合に、枠を被写体画像に重ねて表示手段に表示することを特徴とするプログラム。

Images