JP2023141001A - 探索制御装置、撮像装置および探索制御方法 - Google Patents

Abstract

【課題】探索範囲内の被写体を短時間で検出する。【解決手段】探索制御装置は、撮像装置１００により得られた画像データを用いて被写体探索を行う探索手段２０７、２０８、２０９と、撮像装置の焦点距離を制御する制御手段２０９とを有する。制御手段は、被写体探索が可能な探索距離の範囲のうち指定された探索距離と探索目標被写体のサイズとに応じて焦点距離を制御する。【選択図】図２

Description

本発明は、撮像により得られた画像データを用いて被写体探索を行う技術に関する。

ユーザが撮像の指示を与えることなく定期的および継続的に撮像を行う自動撮像装置が提案されている。例えば、ストラップ等でユーザの身体に装着された状態で、ユーザが日常生活で目にする光景を一定時間間隔で映像として記録するライフログカメラがある。また、笑顔等の人の顔、犬や猫といった動物の急な動きを認識して自動撮像を行うカメラや、ＰＴＺ（Ｐａｎ／Ｔｉｌｔ／Ｚｏｏｍ）の制御機構を有して自在に撮像範囲を変更しながら自動撮像を行うカメラも存在する。

さらに、優先して探索および撮像する被写体（優先被写体）を予めユーザが登録して指定することができるカメラも提案されている。優先被写体の探索においては、画角外の被写体を探索したりカメラからの距離方向にも探索して近くの被写体や遠くの被写体の中から適切な優先被写体を探索したりすることができることが好ましい。

また、特定の被写体を検出する方法として画像が抽出した特徴点を用いる方法やパターンマッチングを用いる方法が一般に用いられている。これらの被写体検出においては、画像上での被写体のサイズをある範囲に収める必要がある。このため、遠くの被写体から近くの被写体までを検出する場合には、距離の変更に応じてカメラの焦点距離を変更したり画像の一部を切り出して拡大したりする等してその都度、画像を取得して検出処理を行う必要がある。この結果、全探索範囲での検出処理を完了するまでに長い時間を要する。撮像する被写体の距離が決まっているにもかかわらず全探索範囲で検出処理を行うと、撮像する被写体が検出されるまでに時間を要し、撮像の機会を逃すおそれがある。

特許文献１には、撮像により得られた画像における領域（部分画像）ごとの距離分布の情報を用いて被写体検出を行う距離範囲を限定することで、被写体を短時間で検出する方法が開示されている。

特許第３８９７０８７号公報

しかしながら、特許文献１に開示された方法では、ＰＴＺカメラのようにカメラの向きを変更しながら広い探索範囲の被写体を探索するカメラでは、画角外の被写体の検出時間を短縮することができない。

本発明は、探索範囲内の被写体を短時間で検出できるようにした探索制御装置を提供する。

本発明の一側面としての撮像装置は、撮像装置により得られた画像データを用いて被写体探索を行う探索手段と、撮像装置の焦点距離を制御する制御手段とを有する。制御手段は、被写体探索が可能な探索距離の範囲のうち指定された探索距離と探索目標被写体のサイズとに応じて焦点距離を制御することを特徴とする。なお、被写体を撮像する撮像ユニットと上記探索制御装置とを有する撮像装置も、本発明の他の一側面を構成する。

また、本発明の他の一側面としての被写体探索を行うための制御方法は、撮像装置により画像データを得るステップと、撮像装置の焦点距離を制御するステップを有する。被写体探索が可能な探索距離の範囲のうち指定された探索距離と探索目標被写体のサイズとに応じて焦点距離を制御することを特徴とする。なお、コンピュータに上記制御方法に従う処理を実行させるプログラムも、本発明の他の一側面を構成する。

本発明によれば、探索範囲内の被写体を短時間で検出することができる。

実施例１，２の撮像装置の構成と回転軸を示す図。 実施例１，２の撮像装置の構成を示すブロック図。 実施例１，２の撮像装置と被写体の関係を示す図。 実施例１における探索シーケンスを示すフローチャート。 実施例１，２の画像処理装置の構成を示すブロック図。 実施例１，２における探索距離設定ＵＩを示す図。 実施例１，２における優先距離設定に関するユーザ通知を説明する図。 実施例２における探索シーケンスを示すフローチャート。 実施例１，２における自動撮像での実行シーケンスを示すフローチャート。 実施例２における指定距離に応じた探索距離と探索時間を示す図。 実施例２における探索距離に応じたＰ／Ｔ駆動量およびＰ／Ｔ探索範囲を示す図。

以下、本発明の実施例について図面を参照しながら説明する。

実施例１では、撮像対象である被写体の探索距離を限定する自動撮像カメラ（撮像装置）について説明する。

本実施例のカメラは、ＰＴＺ制御が可能なデジタルカメラである。このカメラは、食事用のテーブルに設置して食事中の人物を撮像したり公園に設置して遊んでいる子供をベンチ越し等の遠方から撮像したりするといった様々な撮像状況で使用される。この際、カメラと撮像対象である被写体（以下、特定被写体という）との距離は、撮像状況によって変化する。カメラが撮像可能な範囲をくまなく探索する場合、特定被写体が存在しない領域での探索を行うことで特定被写体に対する撮像機会を逃すことがある。

このため、本実施例のカメラは、探索する距離をユーザに指定させる。カメラは、指定された探索距離（以下、指定距離という）と、探索目標被写体であるヒトの顔の平均的サイズとに基づいて、指定距離の顔を認識するために適した焦点距離を算出する。被写体探索の際にその焦点距離を用いて撮像および被写体判定を行う。これにより、ユーザが意図した位置の被写体に対する撮像チャンスを逃すことなく自動撮像を行うことができる。

図１（Ａ）は、本実施例のカメラ１００を示している。カメラ１００は、撮像手段としての撮像ユニット１０１と、撮像ユニット１０１をチルト方向に駆動するチルト回転ユニット１０２と、撮像ユニット１０１をパン方向に駆動するパン回転ユニット１０３と、撮像を制御する制御部等が収容された本体ボックス１０４とを備える。チルト回転ユニット１０２とパン回転ユニット１０３は、撮像手段の撮像方向を変更する方向変更手段として機能する。

図２は、カメラ１００の内部構成を示している。撮像ユニット１０１には、撮像光学系としてのレンズユニット２０１と、レンズユニット２０１からの光により形成された被写体像を光電変換（撮像）する撮像素子を含む撮像部２０２とを有する。撮像部２０２には、撮像素子から出力されたアナログ撮像信号をデジタル撮像信号（撮像データ）に変換するＡ／Ｄ変換部も設けられている。撮像ユニット１０１は、チルト回転ユニット１０２およびパン回転ユニット１０３を介して本体ボックス１０４により保持されている。

チルト回転ユニット１０２は、アクチュエータとしてのチルトモータと、該チルトモータにより撮像ユニット１０１を図１（Ｂ）に示すピッチ方向に回転駆動する回転機構とを備えている。パン回転ユニット１０３は、アクチュエータとしてのパンモータと、該パンモータにより撮像ユニット１０１を図１（Ｂ）に示すパン方向に回転駆動する回転機構とを備えている。ピッチ方向は撮像装置１００の水平軸（Ｘ軸）回りの回転方向であり、パン方向は撮像装置１００の垂直軸（Ｙ軸）回りの回転方向である。

図２に示すように、本体ボックス１０４内には、撮像ユニット１０１内のレンズユニット２０１のズーム動作やフォーカス動作の制御、撮像部２０２の撮像の制御、チルトおよびパン回転ユニット１０２、１０３の駆動の制御を行う制御部２０７が配置されている。制御手段としての制御部２０７は、レンズ駆動部２０５を介してレンズユニット２０１の動作を制御し、鏡筒回転駆動部２０６を介してチルトおよびパン回転ユニット１０２、１０３の駆動を制御する。

また、本体ボックス１０４内には、画像処理部２０３、記憶部２０４、探索距離設定部２０８、被写体検出部２０９、被写体情報記録部２１０および通信部２１１が設けられている。画像処理部２０３は、撮像部２０２から出力された撮像データに対して、歪曲補正、ホワイトバランス調整よび色補間処理等の画像処理を行って画像データを生成する。生成された画像データは、記憶部２０４および被写体検出部２０９に出力される。

記憶部２０４は、画像処理部２０３にて生成された画像データをＪＰＥＧ形式やＭＰＥＧ形式等の記録用フォーマットに変換し、不揮発性メモリ等の記録媒体に記録する。また、記憶部２０４は、記録した画像データと関連付けて、過去の撮像情報として、撮像された被写体の情報（以下、被写体情報という）も記録する。

レンズ駆動部２０５は、レンズユニット２０１に含まれるズームレンズやフォーカスレンズを駆動するモータとこれを駆動するドライバとを有し、制御部２０７から入力される目標位置と駆動速度に基づいて各レンズを駆動する。鏡筒回転駆動部２０６は、制御部２０７から入力される目標位置と駆動速度に基づいてチルトおよびパン回転ユニット１０２、１０３を駆動し、撮像ユニット１０１をチルト方向およびパン方向に回転させる。なお、ここでは、鏡筒回転駆動部２０６の入力および制御部２０７の出力として目標位置と駆動速度を指定するが、加速度や目標位置までの時分割データ等を指定してもよい。

制御部２０７は、上述した動作や駆動の制御に加えて、ユーザの操作を介さない自動撮像のためのシーケンスを実行する。具体的には、撮像対象の被写体を検出するための探索シーケンスと、探索シーケンスで検出した被写体を見失わないようにするための追尾シーケンスと、撮像構図の調整やシャッタータイミングの制御を行うための撮像シーケンス等を実行する。探索シーケンスについては後述する。

追尾シーケンスおよび撮像シーケンスでは、被写体検出部２０９から入力される被写体情報に基づいて次の撮像対象の被写体を決定し、該被写体を撮像ユニット１０１による撮像画角内に収め続けて適切な撮像構図を得るのに必要なレンズ駆動および鏡筒回転駆動の目標位置を決定する。決定された目標位置の情報はレンズ駆動部２０５と鏡筒回転駆動部２０６に出力される。また、適切なタイミングで撮像の開始と終了の指示を記憶部２０４に出力する。

探索距離設定部２０８は、ユーザから入力された指定距離を記憶する。指定距離とは、カメラ１００からの距離であって、被写体探索が可能な探索距離の範囲のうち指定された探索距離である。指定距離は、後述する画像処理装置を介してユーザによって指定され、通信部２１１を介して探索距離設定部２０８に入力される。また、指定距離は、本実施例では抽象的な距離であり、本実施例においては「近距離」、「中距離」、「遠距離」および「自動」のいずれかである。探索距離設定部２０８は、入力された指定距離を記録し、制御部２０７からの要求に応じて指定距離を出力する。また、ユーザの設定忘れ防止策として、指定距離の指定後に所定時間経過した場合や電源の遮断による使用終了時に、探索距離設定を初期値に設定変更する。

被写体検出部２０９は、被写体の顔の向きを判定する機能、顔の位置を検出する機能、顔のサイズを検出する機能、被写体を登録する機能および登録被写体を一意に識別する機能を有する。被写体検出部２０９は、画像処理部２０３から入力された画像データの顔領域から被写体情報（検出された顔の大きさ、画像内での顔の位置や向きおよび登録被写体の識別結果等）を抽出し、制御部２０７および被写体情報記録部２１０に出力する。被写体検出部２０９と探索距離設定部２０８と制御部２０７により探索手段が構成される。また、この探索手段と制御手段としての制御部２０７により探索制御装置が構成される。

なお、被写体検出部２０９により検出可能な画像上での顔のサイズには制限がある。例えば、撮像画像の端部や全面に被写体が写っていてその顔の一部が欠けている場合は精度良く顔を識別できないだけでなく、顔として認識されないことがある。また、撮像画像がＶＧＡ（６４０×４８０画素）の画像であるとき、ヒトの顔として精度良く認識するためには頭頂部から顎までが撮像画像上で一定のサイズ、例えば撮像画像の短辺方向で１６０～３６０画素の間に収まっていることが望ましい。

被写体情報記録部２１０は、被写体検出部２０９から入力された被写体検出結果に基づいて被写体を登録する。また、被写体情報記録部２１０は、後述する画像処理装置が提供するユーザに被写体優先度を設定するための手段（ユーザインターフェース等）を通じて通信部２１１から入力された被写体ごとの名前、誕生日および優先設定情報等を記録する。さらに被写体情報記録部２１０は、被写体検出部２０９から入力された被写体検出結果に応じて、その被写体に対応する優先設定情報を制御部２０７に出力する。

通信部２１１は、遠距離無線通信を行う機能を有し、無線通信によって後述する画像処理装置と通信を行う。通信部２１１は、画像処理装置を介してユーザが指定した指定距離を探索距離設定部２０８に出力し、被写体ごとの名前、誕生日および優先設定情報を被写体情報記録部２１０に出力する。

撮像装置１００と被写体の位置と関係について図３（Ａ）、（Ｂ）を用いて説明する。探索距離ｘは、実際に探索に用いる距離であり、撮像装置１００と探索目標被写体３０１との間の距離を示す具体的な数値である。探索距離ｘは、探索距離設定部２０８によって設定された指定距離に基づいて制御部２０７により決定される。

図３（Ａ）に示すように、探索目標被写体３０１の実際のサイズ（以下、実サイズという）をａとする。実サイズａは、ヒトの顔の頭頂部から顎先までの長さの平均値や中央値等の代表値に応じたサイズであり、ここでは２３ｃｍとする。また、図３（Ｂ）に示すように、撮像素子の撮像面３００上での所定の適切な探索目標被写体のサイズ（撮像上のサイズ：以下、撮像サイズという）をｂとする。サイズｂは、前述したように、撮像面３００（つまりは撮像画像）の短辺の長さに対して１／３～３／４程度のサイズとする。

撮像サイズｂは、被写体検出部２０９での検出率の高さや画像内での被写体数等に応じて決定される。なお、撮像サイズｂを撮像画像上での探索目標被写体のサイズとレンズユニット２０１の光学パラメータに基づいて算出してもよい。レンズユニット２０１の焦点距離ｆは、ｘ，ａ，ｂを用いて以下の式（１）のように算出できる。
ｆ＝ｂｘ／ａ （１）
式（１）で算出された焦点距離ｆは、制御部２０７が探索シーケンスを実行する際に使用する。

図９のフローチャートは、被写体探索から撮像までの一連の自動撮像処理を示している。自動撮像処理は、自動探索シーケンス、探索シーケンス、追尾シーケンスおよび撮像シーケンスに分かれており、制御部２０７がそれらのシーケンスを状況に応じて実行する。コンピュータとしての制御部２０７は、コンピュータプログラムに従って本処理を実行する。

制御部２０７は、カメラの電源投入やスリープ状態からの復帰に応じて自動撮像処理を開始する。制御部２０７は、ステップＳ９０１において、探索距離設定部２０８から指定距離を取得し、「自動」かそれ以外の距離のどちらが選択されているかを判定する。「自動」が選択されている場合はステップＳ９０２で自動探索シーケンスを実行し、「近距離」、「中距離」および「遠距離」のいずれかが選択されている場合はステップＳ９０３で探索シーケンスＳ９０３を実行する。

探索シーケンス（ステップＳ９０３）は、その詳細は後述するが、指定距離に基づいて探索距離を決定し、パン／チルト角度を逐次変更することで空間範囲としての探索範囲を走査しながら被写体を探索（検出）するシーケンスである。制御部０７は、探索シーケンスにより被写体を検出すると、検出した被写体が優先被写体（特定被写体）か非優先被写体を示す被写体情報を記憶してステップＳ９０４に進む。優先被写体は、探索目標被写体としてのヒトの顔の中でも優先して探索および撮像する特定の人物の顔である。

自動探索シーケンス（ステップＳ９０２）は、探索距離を限定せず、パン／チルト角度とズーム位置を逐次変更することで探索範囲を走査しながら被写体を検出するシーケンスである。自動探索シーケンスでも、探索シーケンスと同様に、検出した被写体が優先被写体か非優先被写体を示す被写体情報を記憶してステップＳ９０４に進む。

ステップＳ９０４では、制御部２０７は、ステップＳ９０２またはステップＳ９０３で記憶した被写体情報から、これらのステップで検出された被写体が優先被写体か非優先被写体かを判定する。優先被写体が検出された場合はステップＳ９０５に進んで追尾シーケンスを実行し、非優先被写体が検出された場合はステップＳ９０６に進んで撮像シーケンスを実行する。

追尾シーケンス（ステップＳ９０５）は、既に撮像画角内に捉えている被写体を捉え続けるようにパン／チルト／ズーム駆動することで被写体を追尾するシーケンスである。制御部２０７は、パン／チルト／ズーム駆動量を、追尾対象の被写体を１つに限定してその被写体を撮像画角（撮像画像）の中心に捉え続けるように算出する。具体的には、制御部２０７は、パン／チルト駆動量を、撮像画像の中心と被写体の中心との位置差を打ち消すように算出する。また、ズーム駆動量を、撮像画面上での実際の被写体サイズと理想の被写体サイズとの差を打ち消すように算出する。理想の被写体サイズは、図３で説明した撮像面３００上で期待される被写体のサイズｂとしてもよいし、動く被写体に対する追尾不良を防ぐためにサイズｂより小さいサイズを用いてもよい。

また、追尾シーケンスにおいて、制御部２０７は、さらに撮像を行うか否かを判定し、撮像を行う場合は不図示の撮像サブシーケンスに移行する。撮像サブシーケンスは、後述するステップＳ９０６の撮像シーケンスと同様の処理を行うが、撮像サブシーケンスが終了すると追尾シーケンスに戻って被写体の追尾を再開する。このように、追尾シーケンスは、優先被写体が追尾できなくなるまで追尾と撮像を行うシーケンスである。

撮像シーケンス（ステップＳ９０６）は、前段のシーケンスで検出された被写体を撮像するシーケンスである。撮像シーケンスでは、制御部２０７は、被写体情報に基づいて構図調整を行って撮像を行い、撮像画像を記憶部２０４に出力して記録メディアに保存する。構図調整は、撮像画像上の被写体の数、位置、サイズおよび顔の向き等に基づいて算出したパン／チルト／ズーム駆動量で行う。また、構図調整と撮像を一度だけでなく数回行うようにしてもよい。この場合、構図調整にバリエーションを持たせて、それぞれ構図が異なる撮像を行うようにすることもできる。

追尾シーケンスまたは撮像シーケンスＳ９０６が終了すると、制御部２０７は、ステップＳ９０７において、撮像回数や使用電力量等に基づいて自動撮像を終了するか否かを判定する。自動撮像を継続する場合はステップＳ９０１に戻り、自動撮像を終了する場合は本処理を終了する。

図４のフローチャートは、ステップＳ９０３で実行される探索シーケンスの詳細を示している。前述したように、探索シーケンスは、指定距離に基づいて被写体を探索するシーケンスである。

制御部２０７は、まず被写体探索に先立つステップＳ４０１において、探索距離設定部２０８で設定された指定距離を取得する。

次にステップＳ４０２において、制御部２０７は、指定距離に基づいて探索距離を決定する。指定距離に対応する探索距離は、「近距離」の場合は１ｍ、「中距離」の場合は５ｍ、「遠距離」の場合は１０ｍのように予め値が決められている。この際、指定距離から探索距離への変換を、予め用意された変換テーブルを用いて行ってもよい。また、ユーザによって探索距離の値を指定できたり、他の設定に応じて探索距離への変換値を動的に変更したりできるようにしてもよい。

次に制御部２０７は、ステップＳ４０３にて探索距離と探索目標被写体（顔）のサイズとを式（１）に代入して焦点距離を算出し、ステップＳ４０４にて該焦点距離が得られるようにレンズユニット２０１をズーム駆動する。この処理により、探索距離に存在する被写体を検出するための理想的なサイズで被写体を撮像できるようになる。

次のステップＳ４０５～Ｓ４０７は、周期的にパン／チルト駆動によって撮像ユニット１０１の向きを変えながら、探索可能な距離領域で網羅的に被写体を検出するための検出サイクルである。制御部２０７は、まずステップＳ４０５で目標とする撮像ユニット１０１の向き（パン／チルト角度）を算出し、ステップＳ４０６で撮像ユニット１０１が目標とする向きになるようにパン／チルト駆動を行う。そして、ステップＳ４０７にてパン／チルト駆動後の撮像画像内の被写体を検出する。被写体を検出しなかった場合は、ステップＳ４０５に戻って次の検出サイクルを実行する。被写体を検出した場合は、前述したように、その被写体が優先被写体か非優先被写体かを示す被写体情報を記憶して本シーケンスを終了する。

ステップＳ４０５でのパン／チルト角度の算出について例を挙げて説明する。以下、パン／チルト角度を（パン角度，チルト角度）のように記載する。ここでは、被写体が検出されず、パン／チルト角度を算出するたびにステップＳ４０５とステップＳＳ４０６を経由して再度ステップＳ４０４が実行される場合について説明する。本実施例での探索範囲は、パン角度とチルト角度のそれぞれおいて±１２０ｄｅｇと０～９０ｄｅｇである。

まず撮像ユニット１０１の向き（最初のパン／チルト角度）が、探索範囲の最小値である（－１２０ｄｅｇ，０ｄｅｇ）に設定される。その後、パン角度が１ｄｅｇずつ加算されて撮像ユニット１０１が（１２０ｄｅｇ，０ｄｅｇ）までパン駆動される。

パン角度が探索範囲の上限である１２０ｄｅｇに達すると、撮像ユニット１０１が（－１２０ｄｅｇ，０ｄｅｇ）に戻され、続いてチルト角度が１ｄｅｇ加算されて撮像ユニット１０１が（－１２０ｄｅｇ，１ｄｅｇ）にチルト駆動された状態でパン角度が加算されていく。その後は、パン角度が１２０ｄｅｇに達して－１２０ｄｅｇにリセットされるごとにチルト角度が１ｄｅｇずつ加算されていく。こうしてチルト角度が探索範囲の上限である９０ｄｅに達すると、パン／チルト角度を最初の（－１２０，０）に戻す。このようにパン／チルト角度を周期的に変更しながら被写体検出を行うことで、探索範囲内の被写体を網羅的に探索することができる。

図５は、カメラ１００とは別に設けられる画像処理装置５００の構成を示している。画像処理装置５００は、パーソナルコンピュータやスマートフォン端末等により構成されている。

画像処理装置５００は、制御部５０６、記憶部５０３、表示部５０１、操作部５０４、電源部５０５および通信部５０２を有する。制御部５０６は、記憶部５０３に記憶された制御プログラムに従って画像処理装置５００全体を制御する。記憶部５０３は、上記制御プログラムや通信に必要なパラメータ等の各種情報を記憶する。

電源部５０５は、画像処理装置５００内の各部に電源を供給する。表示部５０１は、ＬＣＤやＬＥＤ等の情報を表示する表示デバイスと、音出力が可能なスピーカを有する。操作部５０４は、ユーザによる操作を受け付けるボタン等の操作部材を有する。なお、画像処理装置５００がスマートフォン端末である場合には、表示部５０１と操作部５０４はタッチパネルで構成される。

画像処理装置５００は、通信部５０２を介してカメラ１００との間でデータやコマンドのやり取りを行う。データには、音声データ、画像データ、圧縮音声データ、圧縮画像データが含まれる。コマンドには、画像処理装置５００からカメラ１００に対する設定変更要求、データ送信要求およびコマンド応答要求等が含まれる。なお、通信には、ＩＥＥＥ８０２．１１規格シリーズに準拠した無線ＬＡＮやBluetooth Low Energy（ＢＬＥ）（登録商標）が用いられる。

なお、カメラ１００内に構成されている探索制御装置を画像処理装置５００内に設けてもよいし、カメラ１００および画像処理装置５００とは別の装置として設けてもよい。この場合、探索制御装置は、カメラ１００（撮像ユニット２０１）から通信によって画像データを取得する。

図６は、画像処理装置５００にて表示部５０１（操作部５０４）を通じて提供される探索距離設定手段としてのユーザインターフェース（ＵＩ）を示している。この探索距離設定ＵＩは、カメラ１００を操作するためのアプリケーションの一部として提供される。探索距離設定ＵＩは、優先して探索する探索距離（指定距離）を設定するか否かをユーザに選択させるため優先距離設定ボタン６０１と、指定距離を「近距離」、「中距離」および「遠距離」からユーザに選択させる距離選択バー６０２とを含む。優先距離設定ボタン６０１がＯＦＦ（無効）に設定されると、指定距離が「自動」に指定される。優先距離設定ボタン６０１がＯＮ（有効）に設定されると、距離選択バー６０２によって指定距離の選択が可能になる。設定された指定距離の情報は、通信部５０２を介してカメラ１００に送信される。カメラ１００は、受信した指定距離を探索距離設定部２０８に記憶させる。

図７（Ａ）、（Ｂ）は、画像処理装置５００で表示される、探索距離設定に応じたユーザへの通知の例を示している。画像処理装置５００は、カメラ１００において発行された通知コマンドに対応する通知７０１、７０３を、通信部５０２を介して表示部５０１に表示する。

図７（Ａ）は、探索距離の設定（指定距離の指定）がなされたことをユーザに伝える通知７０１を示している。この通知７０１では、探索距離（図では遠距離）が設定されていることを文章７０２でユーザに知らせる。画像処理装置５００が専用のアプリケーションを起動している場合は、そのアプリケーション内に通知７０１が表示される。画像処理装置５００が専用のアプリケーションを起動していない場合は、画像処理装置５００のオペレーティングシステムが提供する通知領域に表示される。例えば、画像処理装置５００がＡｎｄｒｏｉｄやｉＯＳ等のオペレーティングシステムを搭載するスマートフォン端末である場合は、そのオペレーティングシステムが提供する通知領域に表示される。このことは、後述する通知７０３も同様である。

カメラ１００は、ユーザによって探索距離の設定が変更された直後や、カメラ１００の電源投入またはスリープ状態からの復帰の直後に探索距離設定がユーザによって有効に設定されている場合に通知コマンドを発行する。画像処理装置５００は、探索距離がユーザによって有効に設定されている場合は常に通知７０１を表示するようにしてもいい。

図７（Ｂ）は、探索距離での被写体探索を所定時間行ったにもかかわらず被写体を検出できない場合に、ユーザに探索距離設定の見直しを促す通知７０３を示している。通知７０３は、被写体を検出できないことをユーザに知らせる文章７０４を含む。カメラ１００は、探索距離がユーザによって有効に設定されている状態で被写体を検出できないまま探索シーケンスの実行時間が所定時間（例えば１０分）を超えると、画像処理装置５００に通知７０３を表示させための通知コマンドを発行する。

なお、これらの通知は、画像処理装置５００の表示部５０１のスピーカから音声により出力されてもよいし、カメラ１００に設けられた不図示の表示部や音声出力部やから画像または音声として出力されてもよい。

本実施例によれば、撮像ユニット１０１の向き（撮像方向）を変更しながら探索範囲を網羅的に探索するカメラ１００において、広い探索範囲に存在する被写体を短時間で検出することができる。

なお、上記実施例では、機械的なＰＴＺ機構により撮像方向を変更する場合について説明したが、撮像画像からの切り出し処理によって電子的に撮像方向を変更してもよい。

また上記実施例では、指定距離の１つとして「自動」が選択可能である場合について説明したが、必ず指定距離を「近距離」、「中距離」、「遠距離」から選択するようにしてもよい。この場合、図９のステップＳ９０１とステップＳ９０２を削除して、自動撮像処理の開始後、ステップＳ９０３の探索シーケンスが実行されるようにすればよい。

また上記実施例において、優先距離設定ボタン６０１と距離選択バー６０２を有する探索距離設定ＵＩについて説明した。こりに対して、「遠距離優先ボタン」等の距離選択ボタンを設けたり、距離選択ボタンを操作するごとに指定距離が「遠距離」と「自動」に交互に切り替えわったりするようにしてもよい。さらに、指定距離として具体的な数値を入力できるようにしてもよい。また、複数の指定距離を選択できるようにしてもよい。

また、カメラ１００と画像処理装置５００は、ＵＳＢ接続等による有線接続を介して通信を行ってもよい、さらに、カメラ１００と画像処理装置５００が一体の装置として構成され、装置内部でバス等を介した通信が行われるようにしてもよい。

また、上記実施例では、被写体としてヒトの顔を検出する場合について説明したが、ヒトの目や手等の部位や全身を検出対象としてもよい。また、イヌやネコ等の動物や、車や飛行機等の乗り物を検出対象としてもよい。

実施例２では、実施例１で説明した探索シーケンス（ステップＳ９０３）を発展させた探索シーケンスについて説明する。実施例１では、ユーザが指定した指定距離のみを探索する場合について説明した。スポーツシーンの撮像等、被写体との距離がある程度固定されている場合は実施例１の探索シーケンスを用いて指定距離を探索することで被写体を撮像することができる。しかし、公園等の広い場所での撮像のように、被写体までの距離が経時的に変化したり一時的に大きく変動したりするように被写体の距離方向での移動量が大きい場合は、指定距離のみを探索するだけでは移動量が大きい被写体を検出できない場合がある。実施例２は、このような状況において、指定距離を優先的に探索しつつ、それ以外の距離も探索して被写体の検出率を高める。本実施例のカメラおよび画像処理装置の構成は実施例１と同じである。また、被写体を検出した場合の追尾シーケンスや撮像シーケンスも実施例１と同様である。

図８のフローチャートは、本実施例における探索シーケンスを示しており、図４に示した探索シーケンスにおけるステップＳ４０２をステップＳ８０１に変更し、さらに図４に示した探索シーケンスにステップＳ８０２を追加している。ステップＳ８０１では、制御部２０７は、探索距離とその探索距離での探索条件を決定する。ステップＳ８０２では、ステップＳ８０１で決定された探索条件に含まれる探索終了条件を満足するか否かを判定する。ステップＳ８０１とステップＳ８０２によって指定距離に対応する探索距離での探索を行った後、探索距離を変えて探索を行うことを繰り返すことで、指定距離以外の距離を含めた探索範囲での探索を行う。以下、ステップＳ８０１とステップＳ８０２の処理の詳細を説明する。

ステップＳ４０１で指定距離を取得した制御部２０７は、ステップＳ８０１にて探索距離とその探索距離での探索条件を決定する。探索距離と探索条件の決定には、後述する図１０および図１１に示すテーブルを用いて行う。探索距離は、ステップＳ４０１で取得した指定距離を具体的な距離に変換した値である。探索条件は、探索距離に基づいて決定される被写体検出１サイクル当たりのパン／チルト駆動量（つまりは撮像ユニット１０１の向き）、被写体探索を行う時間（探索時間）および被写体探索を行うパン／チルト角度の範囲（探索範囲）である。探索終了条件は、探索時間内または所定の探索量内で被写体が検出できなかったことである。

ステップＳ４０３では、制御部２０７は、ステップＳ８０１で決定された探索距離に基づいて式（１）を用いて焦点距離を算出する。

次にステップＳ４０４では、制御部２０７は、ステップＳ８０１で決定された探索条件としてのパン／チルト駆動量と探索範囲に基づいてパン／チルト角度を算出する。

そして、ステップＳ４０５，Ｓ４０６、Ｓ４０７およびＳ８０２のループにおいて、ステップＳ８０１で決定された探索距離における被写体検出のサイクルを実行する。ステップＳ８０２において被写体が検出されないまま探索終了条件が満足された場合は、ステップＳ８０１に戻って、再度、探索距離と探索条件を決定して探索を行う。

ステップＳ８０１での探索距離と探索条件は、指定距離に対応する探索距離を優先して探索し、それ以外の距離もまんべんなく探索することを想定して決定される。具体的には、指定距離の探索は十分に長い時間（第１の時間）行い、それ以外の距離の探索は短時間（第２の時間）行うように探索条件を決定する。

図１０のテーブルは、図９のステップＳ８０１で使用され、指定距離に対する探索距離と探索終了条件である探索時間の対応を示している。このテーブルのＮｏ．１は、指定距離ごとの探索距離と探索時間を示している。Ｎｏ．２～Ｎｏ．６は、Ｎｏ．１の探索以降に順次探索される探索距離と探索時間を示している。

ステップＳ８０１では、制御部２０７は、指定距離に対応するＮｏ．１の探索距離を探索時間だけ探索する。被写体が検出されないままＮｏ．１の探索時間が経過すると、ステップＳ８０２からステップＳ８０１に戻り、次のＮｏ．２の探索距離を探索時間だけ探索する。さらに被写体が検出されないままＮｏ．２の探索時間が経過すると、ステップＳ８０２からステップＳ８０１に戻り、次のＮｏ．３の探索距離を探索時間だけ探索する。このように、被写体が検出されるまで、探索距離と探索時間を変更しながら探索を続ける。Ｎｏ．６の探索距離を探索時間だけ探索しても被写体が検出されない場合には、再度Ｎｏ．１の探索距離の探索を行ってもよい。

図１１のテーブルは、探索距離ごとの探索条件としてのパン駆動量、チルト駆動量、パン探索範囲およびチルト探索範囲を示している。パン駆動量とチルト駆動量は、図９のステップＳ４０５において制御部２０７がパン／チルト角度を算出する際に使用される。また、パン探索範囲とチルト探索範囲は、その探索距離の探索を行う際にパン／チルト駆動する範囲を示している。ステップＳ４０５～ステップＳ８０２の検出サイクルにおいて、制御部２０７は、パン／チルト角度をパン／チルト探索範囲内に収めるように順次変更する。

ステップＳ４０５でのパン／チルト角度の算出について、探索距離が９ｍの場合を例として説明する。ここでも、パン／チルト角度を（パン角度，チルト角度）のように記載する。また、ここでは、検出サイクルごとに被写体が検出されず、ステップＳ４０５でパン／チルト角度が算出されるごとにステップＳ４０６、Ｓ４０７およびＳ８０２を経由して再度ステップＳ４０５に戻る場合について説明する。

探索距離が９ｍであるとき、図１１に示すようにパン探索範囲は±６０ｄｅｇ、チルト探索範囲は０～３０ｄｅｇである。このため、制御部２０７は、まず撮像ユニット１０１の向きを（－６０ｄｅｇ，０ｄｅｇ）に設定する。次に制御部２０７は、パン角度にパン駆動量である４．８ｄｅｇを加算して撮像ユニット１０１を（－５５．２ｄｅｇ，０ｄｅｇ）に駆動する。

その後、制御部２０７は、パン角度に４．８ｄｅｇずつ加算して、撮像ユニット１０１を（６０ｄｅｇ，０ｄｅｇ）まで順次駆動する。パン角度がパン探索範囲の上限である６０ｄｅｇに達すると、制御部２０７は、チルト角度にチルト駆動量である２．４ｄｅｇを加算して、撮像ユニット１０１を（６０ｄｅｇ，２．４ｄｅｇ）に駆動する。このとき、以降のパン角度算出を減算とするためのフラグを立てる。制御部２０７は、次にこのフラグに基づいてパン角度から４．８ｄｅｇを減算して、撮像ユニット１０１を（５５．２ｄｅｇ，２．４ｄｅｇ）に駆動する。これ以降、パン角度から４．８ｄｅｇずつ減算していく。パン角度がパン探索範囲の下限である－６０ｄｅｇに達すると、制御部２０７は、チルト角度に２．４ｄｅｇを加算して、撮像ユニット１０１を（－６０ｄｅｇ，５．８ｄｅｇ）に駆動する。これ以降、パン角度に４．８ｄｅｇずつ加算していく。パン角度がパン探索範囲の上限である６０ｄｅｇに達すると、制御部２０７は、チルト角度にさらに２．４ｄｅｇを加算して、撮像ユニット１０１を（６０ｄｅｇ，７．２ｄｅｇ）に駆動する。このように、パン角度の加算と減算およびチルト角度の加算を経て、チルト角度がチルト探索範囲の上限である３０ｄｅｇに達すると、パン／チルト角度を最初の（－６０ｄｅｇ，０ｄｅｇ）に戻す。

図９に示した追尾シーケンス（ステップＳ９０５）や撮像シーケンス（ステップＳ９０６）が終了して探索シーケンス（ステップＳ９０３）に戻った場合のステップＳ８０１では、制御部２０７は、記憶された被写体情報に基づいて、探索距離と探索条件の決定方法を変更する。具体的には、記憶された被写体情報が非優先被写体である場合は、既に行なった被写体探索での探索距離と探索条件を引き継ぎ、続きから被写体探索を再開する。一方、記憶された被写体情報が優先被写体である場合は、既に行なった被写体探索での探索距離と探索条件をリセットし、初期状態から被写体探索を再開する。これにより、探索範囲内の優先被写体を網羅的に探索しながらも、非優先被写体を検出した際は一時的にその非優先被写体の撮像を行うことができる。

図１０および図１１に示した６つの探索距離について説明する。本実施例では、探索可能な距離の範囲を１～１０ｍとし、その範囲内の被写体を逃すことなく検出でき、かつなるべく少なく距離範囲を分割することを目的としてこれら６つの探索距離を用いている。レンズユニット２０１の焦点距離をある探索距離に設定して、そのときの撮像画像を用いて被写体検出を行うと、その探索距離に存在する被写体だけでなく近傍の被写体も検出することができる。例えば、十分な精度で被写体を検出できる撮像画像上での被写体の顔サイズが短辺方向で１６０～３６０画素である場合に探索距離を１．２ｍとし、撮像画像上の被写体の顔サイズが３００画素となるように焦点距離を設定する。このとき、１ｍ～１．５ｍの間に位置する被写体を検出可能である。同様に探索距離を１．８ｍとすると、１．５ｍ～２．２５ｍの間に位置する被写体を検出可能である。このように、ある焦点距離で検出できる被写体距離には幅があるため、この幅を重複させないように探索距離を選ぶことで、探索時間を短縮することができる。

図１１に示したパン駆動量とチルト駆動量についてさらに説明する。これらのパン／チルト駆動量は、被写体検出の１サイクルごとの撮像ユニット１０１のパン／チルト角度の変更量を示す。パン／チルト角度を示す。パン／チルト駆動量が大きすぎると被写体を撮像画角内に捉えられず、検出に失敗する可能性が生ずる。また、パン／チルト駆動量が小さすぎると、被写体の検出逃しはなくなるものの、探索範囲の探索が完了するまでの検出サイクル数が多くなり、探索に長時間を要する。さらに、被写体を撮像画角内に捉えたとしても、被写体が撮像画像の端で切れるとその被写体を精度良く検出できないため、前後の検出サイクルでの撮像画像の一部同士が重複するようにパン／チルト駆動量を設定する必要がある。

本実施例では、撮像画像がＶＧＡ（６４０×４８０画素）の画像であるとき、該撮像画像上での被写体サイズが３００画素になるように制御される。被写体の顔の形状が円形だと仮定すると、被写体は撮像画像上で直径３００画素の円として写る。この円を画像端で切れないように撮像するためには、パン駆動量が撮像画像の横幅の１／２以内、チルト駆動量が撮像画像の縦幅の１／３以内であれば十分である。したがって、本実施例においては、図１１に示すように、パン駆動量を各焦点距離における撮像画角の１／２、チルト駆動量を各焦点距離における撮像画角の１／３の値を用いている。

図１１に示したパン探索範囲とチルト探索範囲について説明する。本実施例では、探索距離が遠距離であるほどパン探索範囲を限定する構成としている。被写体が一定範囲を移動する場合、その被写体の位置が遠方であるほど、その移動範囲を網羅するパン角度は狭くなる。このため、パン探索範囲を限定することで、より狙った範囲の被写体を検出できるようになる。一方、被写体がカメラ１００の近くに位置する場合は、被写体の移動量に対して広い角度の探索が必要になるため、パン探索範囲を限定せず、探索可能な範囲をすべて探索する。

また、チルト探索範囲についても、探索距離が遠距離であるほど限定している。これは、その距離に立っている人物の顔の位置に合わせるようにするためである。具体的には、チルト探索範囲を、ヒトの一般的身長に応じて限定する。ただし、近距離の場合は、カメラ１００の位置や人物のばらつきの影響が大きいため、広いチルト探索範囲を探索可能とする。

以上説明したように本実施例によれば、指定距離に対応する探索距離の被写体を優先的に探索しつつ、それ以外の距離の被写体も探索する。これにより、移動量が大きい被写体であっても短時間で検出することができる。

なお、撮像装置をユーザが手に持っている状態と固定物に設置されている状態とを検出する検出手段を設け、カメラの設置位置の変更を検出して探索シーケンス（ステップＳ９０３）の探索距離選択をリセットし、図１０のＮｏ．１から再度探索するようにしてもよい。また、手持ち状態の場合と固定物設置状態の場合とで異なる探索距離決定方法を用いてもよい。例えば、固定物設置状態の場合は指定距離に加えて非指定距離も探索する一方で、手持ち状態の場合は指定距離のみ探索する方法を用いてもよい。

また、指定距離に「自動」が設定されている場合、図９のステップＳ９０１によって自動探索シーケンスＳ９０２に移行する方法を説明したが、ステップＳ９０１およびＳ９０２を除いてすべてステップＳ９０３を実行する方法を用いてもよい。この場合、ステップＳ８０１にて決定される探索距離と探索条件を、全探索範囲をまんべんなく探索するような条件に設定する。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１００ 自動撮像カメラ
１０１ 鏡筒
１０２ チルト回転ユニット
１０３ パン回転ユニット
２０１ レンズユニット
２０２ 撮像部
２０８ 探索距離設定部
２０７ 制御部
２０９ 被写体検出部

Claims (17)

1. 撮像装置により得られた画像データを用いて被写体探索を行う探索手段と、
   前記撮像装置の焦点距離を制御する制御手段とを有し、
   前記制御手段は、前記被写体探索が可能な探索距離の範囲のうち指定された探索距離と探索目標被写体のサイズとに応じて前記焦点距離を制御することを特徴とする探索制御装置。
2. 前記制御手段は、前記探索目標被写体のサイズとして、該探索目標被写体の実サイズと撮像上のサイズとを用いて前記焦点距離を制御することを特徴とする請求項１に記載の探索制御装置。
3. 前記探索目標被写体は、ヒトの顔であり、
   前記実サイズは、前記顔の長さの代表値に応じたサイズであることを特徴とする請求項２に記載の探索制御装置。
4. 前記制御手段は、前記指定された探索距離での前記被写体探索が終了すると、該指定された探索距離とは異なる探索距離での前記被写体探索を行うことを特徴とする請求項１から３のいずれか一項に記載の探索制御装置。
5. 前記制御手段は、前記被写体探索を行う探索距離に応じて探索条件を決定し、
   前記探索手段は、前記探索条件で前記被写体探索を行うことを特徴とする請求項１から４のいずれか一項に記載の探索制御装置。
6. 前記制御手段は、既に行われた前記被写体探索での前記探索距離と前記探索条件に基づいて次に行われる前記被写体探索での前記探索距離と前記探索条件を決定することを特徴とする請求項５に記載の探索制御装置。
7. 前記探索条件は、前記被写体探索を行う時間としての探索時間を含むことを特徴とする請求項５または６に記載の探索制御装置。
8. 前記制御手段は、前記指定された探索距離での前記被写体探索を前記探索時間だけ行った後、前記指定された探索距離とは異なる探索距離での前記被写体探索を行うことを特徴とする請求項６に記載の探索制御装置。
9. 前記制御手段は、前記被写体探索を前記指定された探索距離で行う場合の前記探索時間よりも前記指定された探索距離とは異なる探索距離で行う場合の前記探索時間を短くすることを特徴とする請求項７または８に記載の探索制御装置。
10. 前記探索条件は、前記撮像装置の向きを変えながら前記被写体探索を行う空間範囲としての探索範囲を含むことを特徴とする請求項４から８のいずれか一項に記載の探索制御装置。
11. 前記制御手段は、前記探索範囲を、ヒトの一般的身長に応じて限定することを特徴とする請求項１０に記載の探索制御装置。
12. 前記制御手段は、前記探索距離の指定後に所定時間が経過したときおよび前記撮像装置の電源が遮断されたときのうち少なくとも一方において、前記探索距離を初期値に設定することを特徴とする請求項１から１１のいずれか一項に記載の探索制御装置。
13. ユーザに対する通知を行う通知手段を有し、
    前記制御手段は、前記探索距離が指定されたとき、前記探索距離が変更されたときおよび前記被写体探索において所定時間を超えて被写体が検出されないときのうち少なくとも１つにおいて、前記通知手段に前記通知を行わせることを特徴とする請求項１から１２のいずれか一項に記載の探索制御装置。
14. 前記制御手段は、前記被写体探索により検出された被写体が特定被写体である場合は、前記撮像装置に前記特定被写体を追尾させることを特徴とする請求項１から１２のいずれか一項に記載の探索制御装置。
15. 被写体を撮像する撮像ユニットと、
    請求項１から１４のいずれか一項に記載の探索制御装置とを有することを特徴とする撮像装置。
16. 被写体探索を行うための制御方法であって、
    撮像装置により画像データを得るステップと、
    前記撮像装置の焦点距離を制御するステップを有し、
    前記被写体探索が可能な探索距離の範囲のうち指定された探索距離と探索目標被写体のサイズとに応じて前記焦点距離を制御することを特徴とする制御方法。
17. コンピュータに、請求項１６に記載の制御方法に従う処理を実行させることを特徴とするプログラム。