JP2023127983A

JP2023127983A - 撮像装置およびその制御方法、プログラム

Info

Publication number: JP2023127983A
Application number: JP2022031994A
Authority: JP
Inventors: 茂夫小川; Shigeo Ogawa
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2022-03-02
Filing date: 2022-03-02
Publication date: 2023-09-14

Abstract

【課題】自動撮影が可能な撮像装置において被写体の自動認証登録を行うタイミングを制御する。【解決手段】撮像装置は被写体の自動撮影および自動認証登録が可能である。撮像装置は鏡筒１０２をパンニング方向およびチルティング方向に回動させる駆動部を備え、駆動部の制御によって撮影方向の変更が可能である。撮像装置は、撮像された画像データから検出される被写体の探索を行い、被写体を認証して記憶する自動認証登録が可能である。撮像装置の第１制御部２２３は自動認証登録を行う条件を満たすか否かの判定と、自動撮影を行う条件を満たすか否かの判定を行う。第１制御部２２３は、自動撮影のための探索を行いつつ、自動認証判定処理と自動撮影判定処理を実行し、判定結果に基づいて自動認証登録を行うタイミングを決定する。【選択図】図２

Description

本発明は、撮像装置における自動撮影技術に関する。

撮像装置による静止画や動画の撮影においては、撮影者がファインダーなどを通して撮影対象を決定し、撮影状況を自ら確認して撮影画像のフレーミングを調整することが一般的である。従来の技術として、ユーザの操作ミスや外部環境の検知を行い、撮影に適していないことをユーザに通知し、または撮影に適した状態になるようにカメラを制御する仕組みがある。

ユーザの操作により撮影を実行する撮像装置に対し、特許文献１ではユーザが撮影指示を与えることなく定期的および継続的に撮影を行うライフログカメラが開示されている。ライフログカメラは、ストラップなどでユーザの身体に装着された状態で使用され、ユーザが日常生活で目にする光景を一定時間間隔で映像として記録する。ライフログカメラによる撮影では、ユーザがシャッターボタンの押下などの意図したタイミングで撮影するのではなく、一定の時間間隔で撮影が行われる。よって、ユーザが普段撮影しないような不意な瞬間の映像を記録可能である。また、対象物の撮影を自動的に行う撮像装置が知られている。特許文献２には所定条件を満す場合に自動的に撮影を行う装置が開示されている。

特表２０１６－５３６８６８号公報特開２００１－５１３３８号公報

従来の技術では、自動撮影に求められる要件と自動認証登録に求められる要件とが異なる場合、１度の撮影で２つの要件を両立させることが困難である。

本発明の目的は、自動撮影が可能な撮像装置において被写体の自動認証登録を行うタイミングを制御することである。

本発明の実施形態の撮像装置は、自動撮影および自動認証登録が可能な撮像装置であって、被写体を撮像する撮像手段と、前記撮像手段により取得された画像データから検出される被写体の探索を行う探索手段と、検出された被写体を認証して記憶する認証登録手段と、前記認証登録手段により前記自動認証登録を行う第１の条件を満たすか否かの認証登録判定、および、前記自動撮影を行う第２の条件を満たすか否かの撮影判定を行い、前記自動撮影および自動認証登録のタイミングを制御する制御手段と、を備え、前記制御手段は、前記探索手段による探索の制御を行いつつ、検出された被写体に係る前記認証登録判定と前記撮影判定を実行することにより、前記自動認証登録のタイミングを決定することを特徴とする。

本発明の撮像装置によれば、自動撮影が可能な撮像装置において被写体の自動認証登録を行うタイミングを制御することができる。

実施形態のカメラの外観および駆動方向を模式的に示す図である。実施形態のカメラの全体構成を示すブロック図である。カメラと外部装置との無線通信システムの構成例を示す図である。図３の外部装置の構成を示すブロック図である。カメラと外部装置の構成を示す図である。図５の外部装置の構成を示すブロック図である。第１制御部の動作を説明するフローチャートである。第２制御部の動作を説明するフローチャートである。撮影モード処理を説明するフローチャートである。撮影画像内のエリア分割の説明図である。自動認証登録判定と自動撮影判定に基づく実行判断を示す表である。構図調節における被写体配置の説明図である。ニューラルネットワークの説明図である。外部装置での画像の閲覧状態を示す図である。学習モード判定を説明するフローチャートである。学習モード処理を説明するフローチャートである。撮像装置の構成を示すブロック図である。人物情報の例を示す表である。外部装置に表示される人物情報の画面例を示す図である。画像データと被写体情報の例を示す図である。撮像装置による周期動作の概要を説明するフローチャートである。仮登録判定処理を説明するフローチャートおよび表である。仮登録判定による画角調整後の画像データを示す図と表である。本登録判定処理を説明するフローチャートおよび表である。第１の本登録カウント判定処理を説明するフローチャートである。第２の本登録カウント判定処理を説明するフローチャートである。撮影対象判定処理を説明するフローチャートおよび表である。画像データと被写体情報の例を示す図である。撮影対象判定による画角調整後の画像例を示す図である。登録人物情報の例を示す図である。画像データと被写体情報の例を示す図である。撮像装置による周期動作の概要を説明するフローチャートである。重要度判定処理を説明するフローチャートおよび表である。撮影対象判定処理を説明するフローチャートおよび表である。変形例に係る画像データと被写体情報の例を示す図である。登録専用状態の処理を説明するフローチャートである。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。まず、本発明に関する技術的背景について説明する。例えば、ライフログを目的とした撮影では定期的および継続的に撮影が行われるので、ユーザにとっては面白みに欠ける画像情報が記録される可能性がある。そこで、自動で撮像装置のパンニング動作やチルティング動作を行って、周辺の被写体を探索し、検出した被写体を含む画角で撮影する方法がある。これにより、ユーザにとって好ましい画像情報を記録できる可能性を高めることができる。

撮影方向を自動制御可能な撮像装置では、撮影対象となる被写体を探索すると同時に、撮影タイミングを逃さないようにすることが求められる。被写体の人数や移動方向と背景を考慮してパンニングおよびチルティング機構、ズーム機構により撮影構図の調節を行いつつ、撮影タイミングを捉えたら速やかに撮影動作を行うことが必要である。

さらには個人認証情報を用いることで、探索において優先して撮影するべき被写体を検知することができ、撮影においては画角に収めるべき被写体の判定に用いることができる。そのため、ユーザにとってより好ましい画像を記録できる可能性を高めることができる。

ところで、自動撮影が可能な撮像装置において、個人認証の登録が自動で実行されない場合、著しく利便性が低下する可能性がある。個人認証における個人の特定処理は顔の画像から得られる特徴量を数値化することで行われる。しかし人物の成長に伴う変化、顔の僅かな角度変化や顔に照射される僅かな光の加減などで数値が変化すると、本来同一の人物とすべき場合に同一人物とはみなされなくなる可能性がある。この場合、被写体追尾制御で誤認証により別の人物と誤認識されると、撮像装置が別の人物を追尾する結果、本来撮影したい人物の撮影機会を逃してしまうという問題が発生する。従って自動撮影が可能な撮像装置において、個人認証の信頼性は自動撮影への信頼性に直結する。同一人物に対する個人認証の登録情報に関して、その登録情報を随時追加してゆくことで複数の登録情報を用いて認証精度の維持向上を図っていくことが重要であり、且つ登録情報の更新は自動で行われるべきである。より高性能で、且つ利便性の高い自動撮影を実現するためには、個人認証の自動登録が非常に重要になってくる。

より正確な個人認証の登録には、高精度な顔画像データを必要とする。つまり、光学レンズの収差の影響を最も受けにくい光学中心に配置された構図配置を前提とする。その上で顔の領域を大きく捉えた画像が必要であり、且つ被写体に焦点の合った高解像度画像を得るために撮像装置が持つ静止画撮影の機能を利用することが必要である。しかしながら、自動撮影においては、シャッターチャンスを逃さぬように複数人の被写体と背景を考慮した構図調節が行われる。そのため、自動撮影に求められる条件と、個人認証登録で求められる構図調節の条件とを同時に満たすことができない場合がありうる。そこで本実施形態では、自動撮影の撮影機会を阻害せずに、個人認証の自動登録を行うようにタイミングを制御可能とする撮像装置の例を説明する。

図１（Ａ）は、本実施形態の撮像装置の外観を模式的に示す図である。カメラ１０１には、電源スイッチのほかに、カメラ操作用の操作部材が設けられている。鏡筒１０２は、被写体の撮像を行う撮像光学系としての撮影レンズ群や撮像素子を一体的に含んでおり、カメラ１０１の固定部１０３に対して移動可能に取り付けられている。具体的には、鏡筒１０２は、固定部１０３に対して回転駆動できる機構である第１の回転ユニット１０４と第２の回転ユニット１０５とを介して固定部１０３に取り付けられており、撮影方向の変更が可能である。第１の回転ユニット１０４は鏡筒１０２のチルティング方向の駆動を行うユニット（以下、チルト回転ユニットという）である。第２の回転ユニット１０４は鏡筒１０２のパンニング方向の駆動を行うユニット（以下、パン回転ユニットという）である。角速度計１０６および加速度計１０７は、カメラ１０１の固定部１０３に配置されている。例えば、角速度計１０６はジャイロセンサを有し、加速度計１０７は加速度センサを有する。

図１（Ｂ）は、３次元直交座標系（Ｘ軸、Ｙ軸、Ｚ軸）と３方向（ピッチ、ヨー、ロール）との関係を示す模式図である。Ｘ軸（水平軸）、Ｙ軸（垂直軸）、Ｚ軸（奥行き方向の軸）は固定部１０３の位置に対してそれぞれ定義されている。Ｘ軸回り方向をピッチ方向とし、Ｙ軸回り方向をヨー方向とし、Ｚ軸回り方向をロール方向とする。

チルト回転ユニット１０４は、鏡筒１０２を図１（Ｂ）に示すピッチ方向に回転駆動することができるモーター駆動機構を備える。パン回転ユニット１０５は、鏡筒１０２を図１（Ｂ）に示すヨー方向に回転駆動することができるモーター駆動機構を備える。すなわちカメラ１０１は、鏡筒１０２を２軸方向に回転駆動する機構を有する。

角速度計１０６、加速度計１０７は角速度検出信号、加速度検出信号をそれぞれ出力する。角速度計１０６や加速度計１０７の出力信号に基づいて、カメラ１０１の振動が検出され、チルト回転ユニット１０４とパン回転ユニット１０５を回転駆動が行われる。これによって、鏡筒１０２の振れの補正や、傾きの補正が行われる。また、角速度計１０６や加速度計１０７の出力信号に基づき、一定の期間の計測結果に基づいて、カメラ１０１の移動検出が行われる。

図２はカメラ１０１の全体構成を示すブロック図である。第１制御部２２３は、演算処理部を備える。演算処理部はＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ－ＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）などである。メモリ２１５はＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＳＲＡＭ（ＳｔａｔｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）などを備える。第１制御部２２３は、不揮発性メモリ（ＥＥＰＲＯＭ）２１６に記憶されたプログラムに従って、各種処理を実行してカメラ１０１の各ブロックの制御や、各ブロック間でのデータ転送の制御を行う。不揮発性メモリ２１６は、電気的に消去および記憶が可能なメモリであり、第１制御部２２３の動作用の定数、プログラムなどが記憶される。

ズームユニット２０１は、変倍（結像された被写体像の拡大・縮小）を行うズームレンズを含む。ズーム駆動制御部２０２は、ズームユニット２０１を駆動制御するとともに、駆動制御時の焦点距離を検出する。フォーカスユニット２０３は、焦点調節を行うフォーカスレンズを含む。フォーカス駆動制御部２０４は、フォーカスユニット２０３を駆動制御する。撮像部２０６は撮像素子を備え、各レンズ群を通して入射する光を受け、その光量に応じた電荷の情報をアナログ画像信号として画像処理部２０７に出力する。尚、ズームユニット２０１、フォーカスユニット２０３、撮像部２０６は、鏡筒１０２内に配置されている。

画像処理部２０７はアナログ画像信号をＡ／Ｄ変換して得られたデジタル画像データに対して画像処理を行う。画像処理とは、歪曲補正、ホワイトバランス調整、色補間処理などであり、画像処理部２０７は画像処理後のデジタル画像データを出力する。画像記録部２０８は、画像処理部２０７から出力されるデジタル画像データを取得する。デジタル画像データはＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓＧｒｏｕｐ）形式などの記録用フォーマットに変換される。変換後のデータはメモリ２１５に記憶され、また後述する映像出力部２１７に送信される。

鏡筒回転駆動部２０５はチルト回転ユニット１０４とパン回転ユニット１０５を駆動し、鏡筒１０２をチルティング方向とパンニング方向に回動させる。装置揺れ検出部２０９は、カメラ１０１の３軸方向の角速度を検出する角速度計１０６と、カメラ１０１の３軸方向の加速度を検出する加速度計１０７を備える。第１制御部２２３は、装置揺れ検出部２０９による検出信号に基づいて、装置の回転角度や装置のシフト量などを算出する。

音声入力部２１３は、カメラ１０１に設けられたマイクロホンによりカメラ１０１の周辺の音声信号を取得し、デジタル音声信号に変換して音声処理部２１４に送信する。音声処理部２１４は、入力されたデジタル音声信号の適正化処理などの、音声に関する処理を行う。音声処理部２１４で処理された音声信号は、第１制御部２２３によりメモリ２１５に送信される。メモリ２１５は、画像処理部２０７および音声処理部２１４により得られた画像信号および音声信号を一時的に記憶する。

画像処理部２０７および音声処理部２１４は、メモリ２１５に一時的に記憶された画像信号および音声信号を読み出して画像信号の符号化、音声信号の符号化などを行い、圧縮画像信号および圧縮音声信号を生成する。第１制御部２２３は、生成後の圧縮画像信号、圧縮音声信号を記録再生部２２０に送信する。

記録再生部２２０は、記録媒体２２１に対して画像処理部２０７および音声処理部２１４で生成された圧縮画像信号および圧縮音声信号、撮影に関する制御データなどを記録する。また、音声信号を圧縮符号化しない場合には、第１制御部２２３は、音声処理部２１４により生成された音声信号と画像処理部２０７により生成された圧縮画像信号とを、記録再生部２２０に送信して記録媒体２２１に記録させる。

記録媒体２２１は、カメラ１０１に内蔵された記録媒体、または取外し可能な記録媒体である。記録媒体２２１はカメラ１０１で生成された圧縮画像信号、圧縮音声信号、音声信号などの各種データを記録することができる。一般的には、記録媒体２２１には不揮発性メモリ２１６よりも大容量の媒体が使用される。例えば、記録媒体２２１には、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－Ｒ、ＤＶＤ－Ｒ、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリなどの、あらゆる方式の記録媒体を使用することができる。

記録再生部２２０は、記録媒体２２１に記録された圧縮画像信号、圧縮音声信号、音声信号、各種データ、プログラムを読み出して再生する。第１制御部２２３は、読み出された圧縮画像信号および圧縮音声信号を、画像処理部２０７および音声処理部２１４にそれぞれ送信する。画像処理部２０７および音声処理部２１４は、圧縮画像信号、圧縮音声信号を一時的にメモリ２１５に記憶させ、所定の手順で復号し、復号された信号を映像出力部２１７に送信する。

カメラ１０１の音声入力部２１３には複数のマイクロホンが配置されている。音声処理部２１４は複数のマイクロホンが設置された平面に対する音の方向を検出することができ、検出情報は後述する被写体の探索や自動撮影に用いられる。音声処理部２１４は特定の音声コマンドを検出する。音声コマンドは、例えば事前に登録された、いくつかのコマンドや、ユーザが特定音声をカメラに登録できるようにした実施形態では、登録音声に基づくコマンドである。また音声処理部２１４は音シーン認識も行う。音シーン認識では、予め大量の音声データに基づいて機械学習が行われたネットワークにより音シーンの判定処理が実行される。例えば、「歓声が上がっている」、「拍手している」、「声を発している」などの特定シーンを検出するためのネットワークが音声処理部２１４に設定されており、特定音シーンや特定音声コマンドが検出される。音声処理部２１４は特定音シーンや特定音声コマンドを検出すると、第１制御部２２３や第２制御部２１１に検出トリガー信号を出力する。

第２制御部２１１は、カメラシステム全体を制御する第１制御部２２３とは別に設けられており、第１制御部２２３への供給電源を制御する。第１電源部２１０、第２電源部２１２はそれぞれ、第１制御部２２３、第２制御部２１１を動作させるための電力を供給する。カメラ１０１に設けられた電源ボタンの押下により、まず第１制御部２２３と第２制御部２１１の両方に電源が供給される。後述するように、第１制御部２２３は、第１電源部２１０へ自らの電源供給をＯＦＦする制御も行う。第１制御部２２３が動作していない間であっても第２制御部２１１は動作しており、第２制御部２１１には装置揺れ検出部２０９および音声処理部２１４からの情報が入力される。第２制御部２１１は、各種入力情報に基づいて、第１制御部２２３を起動するか否かの判定を行う。第１制御部２２３を起動させることが判定された場合、第２制御部２１１は第１電源部２１０に対して、第１制御部２２３へ電力の供給を指示する。

音声出力部２１８はカメラ１０１に内蔵されたスピーカーを有しており、例えば撮影時などにスピーカーから予め設定されたパターンの音声を出力する。ＬＥＤ制御部２２４はカメラ１０１に設けられたＬＥＤ（発光ダイオード）を制御する。また撮影時などに、予め設定された点灯パターンや点滅パターンに基づいてＬＥＤの制御が行われる。

映像出力部２１７は、例えば映像出力端子を有しており、接続された外部ディスプレイなどに映像を表示させるために画像信号を出力する。尚、音声出力部２１８、映像出力部２１７は、結合された１つの端子、例えばＨＤＭＩ（登録商標：Ｈｉｇｈ－ＤｅｆｉｎｉｔｉｏｎＭｕｌｔｉｍｅｄｉａＩｎｔｅｒｆａｃｅ）端子であってもよい。

通信部２２２は、カメラ１０１と外部装置との間で通信を行う処理部である。例えば、通信部２２２は音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送受信する。通信部２２２は撮影開始や終了のコマンド、パン・チルト、ズーム駆動などの撮影にかかわる制御信号を受信して第１制御部２２３に出力する。これにより外部装置の指示に基づいてカメラ１０１を駆動することができる。また通信部２２２は、カメラ１０１と外部装置との間で、後述する学習処理部２１９で処理される学習にかかわる各種パラメータなどの情報を送受信する。通信部２２２は、例えば、赤外線通信モジュール、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信モジュール、無線ＬＡＮ通信モジュール、ＷｉｒｅｌｅｓｓＵＳＢ（登録商標）、ＧＰＳ受信機などの無線通信モジュールを備える。

環境センサ２２６は、カメラ１０１の周辺環境の状態を所定の周期で検出する。環境センサ２２６は、例えば以下に示すセンサを用いて構成される。
・カメラ１０１の周辺の温度を検出する温度センサ。
・カメラ１０１の周辺の気圧を検出する気圧センサ。
・カメラ１０１の周辺の明るさを検出する照度センサ。
・カメラ１０１の周辺の湿度を検出する湿度センサ。
・カメラ１０１の周辺の紫外線量を検出するＵＶセンサ。

検出された各種情報（温度情報、気圧情報、照度情報、湿度情報、ＵＶ情報）に加え、各種情報から所定時間間隔での変化率を算出することができる。つまり、温度変化量、気圧変化量、照度変化量、湿度変化量、紫外線変化量を自動撮影などの判定に使用することができる。

図３を参照して、カメラ１０１と外部装置３０１との通信について説明する。図３は、カメラ１０１と外部装置３０１との無線通信システムの構成例を示す図である。カメラ１０１は撮影機能を有するデジタルカメラであり、外部装置３０１はＢｌｕｅｔｏｏｔｈ（登録商標）通信モジュール、無線ＬＡＮ通信モジュールを含むスマートデバイスである。

図３ではカメラ１０１と外部装置３０１との通信を第１の通信３０２（実線の矢印参照）、第２の通信３０３（点線の矢印参照）として示す。例えば第１の通信３０２は、ＩＥＥＥ８０２．１１規格シリーズに準拠した無線ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）による通信である。第２の通信３０３は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）ＬｏｗＥｎｅｒｇｙ（以下、「ＢＬＥ」と呼ぶ）などのように、制御局と従属局などの主従関係を有する通信である。尚、無線ＬＡＮおよびＢＬＥは通信方法の一例である。各通信装置は、２つ以上の通信機能を有し、例えば制御局と従属局との関係の中で通信を行う一方の通信機能によって、他方の通信機能の制御を行うことが可能であれば、他の通信方法が用いられてもよい。ただし、無線ＬＡＮなどによる第１の通信３０２は、ＢＬＥなどによる第２の通信３０３より高速な通信が可能である。また、第２の通信３０３は、第１の通信３０２よりも消費電力が少ないか、または通信可能距離が短いかの少なくともいずれかであるものとする。

次に図４を参照して、外部装置３０１の構成を説明する。外部装置３０１は、例えば、無線ＬＡＮ用の無線ＬＡＮ制御部４０１、および、ＢＬＥ用のＢＬＥ制御部４０２、および、公衆無線通信用の公衆無線制御部４０６を有する。

無線ＬＡＮ制御部４０１は、無線ＬＡＮのＲＦ制御、通信処理、ＩＥＥＥ８０２．１１規格シリーズに準拠した無線ＬＡＮによる通信の各種制御を行うドライバ処理や無線ＬＡＮによる通信に関するプロトコル処理を行う。ＢＬＥ制御部４０２は、ＢＬＥのＲＦ制御、通信処理、ＢＬＥによる通信の各種制御を行うドライバ処理やＢＬＥによる通信に関するプロトコル処理を行う。公衆無線制御部４０６は、公衆無線通信のＲＦ制御、通信処理、公衆無線通信の各種制御を行うドライバ処理や公衆無線通信関連のプロトコル処理を行う。公衆無線通信は、例えばＩＭＴ（ＩｎｔｅｒｎａｔｉｏｎａｌＭｕｌｔｉｍｅｄｉａＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ）規格やＬＴＥ（ＬｏｎｇＴｅｒｍＥｖｏｌｕｔｉｏｎ）規格などに準拠した通信である。

外部装置３０１はさらに、パケット送受信部４０３を有する。パケット送受信部４０３は、無線ＬＡＮ並びにＢＬＥによる通信および公衆無線通信に関するパケットの送信と受信との少なくともいずれかを実行するための処理を行う。尚、本実施形態の外部装置３０１は、通信においてパケットの送信と受信との少なくともいずれかを行うものとして説明するが、パケット交換以外に、例えば回線交換などの、他の通信形式が用いられてもよい。

外部装置３０１が備える制御部４１１はＣＰＵなどを備え、記憶部４０４に記憶された制御プログラムを実行することにより、外部装置３０１全体を制御する。記憶部４０４は、例えば制御部４１１が実行する制御プログラムと、通信に必要なパラメータなどの各種情報を記憶する。後述する各種動作は、記憶部４０４に記憶された制御プログラムを制御部４１１が実行することによって実現される。

ＧＰＳ（Ｇｌｏｂａｌｐｏｓｉｔｉｏｎｉｎｇｓｙｓｔｅｍ）受信部４０５は、人工衛星から通知されるＧＰＳ信号を受信し、ＧＰＳ信号を解析し、外部装置３０１の現在位置（経度・緯度情報）を推定する。あるいは、ＷＰＳ（Ｗｉ－ＦｉＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）などを利用して、周囲に存在する無線ネットワークの情報に基づいて、外部装置３０１の現在位置を推定する実施形態がある。例えばＧＰＳ受信部４０５により取得した現在のＧＰＳ位置情報が予め設定されている位置範囲（検出位置を中心として所定半径の範囲以内）に位置している場合や、ＧＰＳ位置情報に所定以上の位置変化があった場合を想定する。これらの場合、ＢＬＥ制御部４０２を介してカメラ１０１へ移動情報が通知されて、後述する自動撮影や自動編集のためのパラメータとして使用される。

表示部４０７は、例えば、ＬＣＤ（液晶表示装置）やＬＥＤのように視覚で認知可能な情報の出力、またはスピーカーなどの音出力が可能な機能を有し、各種情報を提示する。操作部４０８は、例えばユーザによる外部装置３０１の操作を受け付けるボタンなどを含む。尚、表示部４０７および操作部４０８については、例えばタッチパネルなどで構成されてよい。

音声入力音声処理部４０９は、例えば外部装置３０１に内蔵された汎用的なマイクロホンにより、ユーザが発した音声の情報を取得する。音声認識処理により、ユーザの操作命令を識別する構成にしてもよい。また、外部装置３０１内の専用のアプリケーションを用いて、ユーザの発音により音声コマンドを取得する方法がある。この場合、無線ＬＡＮによる第１の通信３０２を介して、カメラ１０１の音声処理部２１４に認識させるための特定音声コマンドを登録することができる。電源部４１０は、外部装置３０１の各部に必要な電力を供給する。

カメラ１０１と外部装置３０１は、無線ＬＡＮ制御部４０１およびＢＬＥ制御部４０２を用いた通信により、データの送受信を行う。例えば、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータの送受信が行われる。また、外部装置３０１からカメラ１０１への撮影指示などの送信、音声コマンド登録データの送信、ＧＰＳ位置情報に基づいた所定位置検出通知の送信、場所移動通知の送信などが行われる。また、外部装置３０１内の専用のアプリケーションを用いて学習用データの送受信が行われる。

図５は、カメラ１０１と通信可能である外部装置５０１の構成例を模式的に示す図である。例えばカメラ１０１は撮影機能を有するデジタルカメラである。外部装置５０１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信モジュールなどにより、カメラ１０１と通信可能である各種センシング部を含むウエアラブルデバイスである。

外部装置５０１は、ユーザの腕などに装着が可能な構成である。外部装置５０１には、所定の周期でユーザの脈拍、心拍、血流などの生体情報を検出するセンサやユーザの運動状態を検出可能な加速度センサなどが搭載されている。

外部装置５０１が備える生体情報検出部６０２は、例えばユーザの脈拍、心拍、血流をそれぞれ検出する脈拍センサ、心拍センサ、血流センサと、導電性高分子を用いた皮膚の接触によって電位の変化を検出するセンサを備える。本実施形態では、生体情報検出部６０２が備える心拍センサを用いて説明する。心拍センサは、例えばＬＥＤなどを用いて皮膚に赤外光を照射し、体組織を透過した赤外光を受光センサで検出して信号処理することによりユーザの心拍を検出する。生体情報検出部６０２は、検出した生体情報の信号を制御部６０７（図６参照）へ出力する。

外部装置５０１が備える揺れ検出部６０３は、ユーザの運動状態を検出する。揺れ検出部６０３は、例えば加速度センサやジャイロセンサを備えており、移動情報およびモーション検出情報を取得する。移動情報は、加速度情報に基づいた、ユーザが移動しているか否かを示す情報、移動速度などである。モーション検出情報は、ユーザが腕を振り回してアクションをしているかなどのモーションの検出情報である。

外部装置５０１は表示部６０４、操作部６０５を備える。表示部６０４はＬＣＤやＬＥＤのように視覚で認知可能な情報を出力する。操作部６０５は、ユーザによる外部装置５０１の操作指示を受け付ける。

図６は、外部装置５０１の構成を示すブロック図である。外部装置５０１は、制御部６０７、通信部６０１、生体情報検出部６０２、揺れ検出部６０３、表示部６０４、操作部６０５、電源部６０６、記憶部６０８を備える。

制御部６０７はＣＰＵなどを備え、記憶部６０８に記憶された制御プログラムを実行することにより、外部装置５０１全体を制御する。記憶部６０８は、例えば制御部６０７が実行する制御プログラムと、通信に必要なパラメータなどの各種情報を記憶している。後述する各種動作は、記憶部６０８に記憶された制御プログラムを制御部６０７が実行することによって実現される。電源部６０６は外部装置５０１の各部に電力を供給する。

操作部６０５は、ユーザによる外部装置５０１の操作指示を受け付けて制御部６０７に通知する。また操作部６０５は、例えば外部装置５０１に内蔵された汎用的なマイクロホンによりユーザが発した音声を取得し、音声認識処理により、ユーザの操作命令を識別して制御部６０７に通知する。表示部６０４は、視覚で認知可能な情報の出力、またはスピーカーなどの音出力によって、各種情報をユーザに提示する。

制御部６０７は生体情報検出部６０２、揺れ検出部６０３から検出情報を取得して処理を行う。制御部６０７で処理された各種検出情報は、通信部６０１により、カメラ１０１へ送信される。例えば外部装置５０１は、ユーザの心拍の変化が検出されたタイミングで検出情報をカメラ１０１に送信し、また歩行移動、走行移動、立ち止まりなどの移動状態の変化のタイミングで検出情報が送信することができる。また外部装置５０１は、予め設定された腕ふりのモーションが検出されたタイミングで検出情報をカメラ１０１に送信し、また予め設定された距離の移動が検出されたタイミングで検出情報を送信することもできる。

図７を参照して、カメラ１０１の動作シーケンスについて説明する。図７は、カメラ１０１の第１制御部２２３（ＭａｉｎＣＰＵ）が行う処理例を説明するフローチャートである。ユーザがカメラ１０１に設けられた電源ボタンを操作すると、第１電源部２１０から第１制御部２２３およびカメラ１０１の各構成部に電力が供給される。また、第２電源部２１２から第２制御部２１１に電力が供給される。第２制御部２１１の動作の詳細については、図８のフローチャートを用いて後述する。

装置に電力が供給されてから図７の処理が開始し、Ｓ７０１では、起動条件の読み込みが行われる。本実施形態にて電源が起動される条件に関し、以下の３つの場合がある。
（１）電源ボタンが手動で押下されて電源が起動される場合。
（２）外部装置（例えば外部装置３０１）から外部通信（例えばＢＬＥ通信）により起動指示が送られ、電源が起動される場合。
（３）第２制御部２１１の指示により、電源が起動される場合。

ここで、（３）の場合、つまり第２制御部２１１の指示により電源が起動される場合には、第２制御部２１１内で演算された起動条件が読み込まれることになる。その詳細については図８を用いて後述する。また、ここで読み込まれた起動条件は、被写体探索や自動撮影時の１つのパラメータ要素として用いられるが、それについても後述する。Ｓ７０１での起動条件の読み込みが終了するとＳ７０２の処理に進む。

Ｓ７０２では、各種センサの検出信号の読み込みが行われる。ここで読み込まれるセンサの信号は、以下のとおりである。
・装置揺れ検出部２０９におけるジャイロセンサや加速度センサなどの、振動を検出するセンサの信号
・チルト回転ユニット１０４およびパン回転ユニット１０５の、各回転位置の信号
・音声処理部２１４で検出される音声信号、特定音声認識の検出トリガー信号、音方向検出信号
・環境センサ２２６による環境情報の検出信号
Ｓ７０２で各種センサの検出信号の読み込みが行われた後、Ｓ７０３の処理に進む。

Ｓ７０３で第１制御部２２３は、外部装置から通信指示が送信されているかを検出し、通信指示があった場合、外部装置との通信の制御を行う。例えば、外部装置３０１からの各種情報の読み込み処理が実行される。各種情報には無線ＬＡＮやＢＬＥを介したリモート操作、音声信号、画像信号、圧縮音声信号、圧縮画像信号などの送受信、外部装置３０１からの撮影などの操作指示、音声コマンド登録データの送信の情報がある。またＧＰＳ位置情報に基づいた所定位置検出通知、場所移動通知、学習用データの送受信の情報などがある。また、外部装置５０１からの、ユーザの運動情報、腕のアクション情報、心拍などの生体情報の更新が必要である場合には、ＢＬＥを介した情報の読み込み処理が実行される。尚、環境センサ２２６がカメラ１０１に搭載された例を説明したが、外部装置３０１または外部装置５０１に搭載されていてもよい。その場合、Ｓ７０３では、ＢＬＥを介した環境情報の読み込み処理が行われる。Ｓ７０３での通信読み込みが行われたのち、Ｓ７０４の処理に進む。

Ｓ７０４では、モード設定判定が行われる。「自動撮影モード」（Ｓ７１０）、「自動編集モード」（Ｓ７１２）、「画像自動転送モード」（Ｓ７１４）、「学習モード」（Ｓ７１６）、「ファイル自動削除モード」（Ｓ７１８）の例を説明する。次のＳ７０５では、Ｓ７０４で動作モードが低消費電力モードに設定されているか否かについて判定処理が行われる。低消費電力モードは、「自動撮影モード」、「自動編集モード」、「画像自動転送モード」、「学習モード」、「ファイル自動削除モード」、の何れのモードでもない場合に設定されるモードである。Ｓ７０５で、低消費電力モードであると判定された場合、Ｓ７０６の処理に進み、Ｓ７０５で、低消費電力モードでないと判定された場合にはＳ７０９の処理に進む。

Ｓ７０６では、第２制御部２１１（ＳｕｂＣＰＵ）へ、第２制御部２１１内で判定する起動要因に係る各種パラメータを通知する処理が行われる。各種パラメータとは揺れ検出判定用パラメータ、音検出用パラメータ、時間経過検出用パラメータであり、後述する学習処理で学習されることによってパラメータ値が変化する。Ｓ７０６の処理を終了すると、Ｓ７０７の処理に進み、第１制御部２２３（ＭａｉｎＣＰＵ）の電源がＯＦＦにされて、一連の処理を終了する。

Ｓ７０９では、Ｓ７０４におけるモード設定が自動撮影モードか否かについて判定処理が行われる。続いてＳ７１１、Ｓ７１３、Ｓ７１５、Ｓ７１７ではそれぞれに対応するモードごとの判定処理が行われる。ここで、Ｓ７０４でのモード設定判定処理について説明する。モード設定判定では、以下の（１）から（５）に示すモードから、モード選択が行われる。

（１）自動撮影モード
＜モード判定条件＞
学習設定された各検出情報、自動撮影モードに移行してからの経過時間、過去の撮影情報および撮影枚数などの情報から、自動撮影を行うべきと判定されることを条件とする。各検出情報とは、画像、音、時間、振動、場所、身体の変化、環境変化などの情報である。

＜モード内処理＞
Ｓ７０９で自動撮影モードと判定された場合、自動撮影モード処理（Ｓ７１０）に進む。学習設定された前記の各検出情報に基づいて、パン・チルトやズームの駆動が行われ、被写体の自動探索が実行される。撮影者の好みの撮影が行えるタイミングであると判定されると自動で撮影が行われる。

（２）自動編集モード
＜モード判定条件＞
前回の自動編集が行われた時点からの経過時間、過去の撮影画像情報から、自動編集を行うべきと判定されることを条件とする。

＜モード内処理＞
Ｓ７１１で自動編集モードと判定された場合、自動編集モード処理（Ｓ７１２）に進む。学習に基づいた静止画像や動画像の選抜処理が行われ、学習に基づいて、画像効果や編集後動画の時間などにより、一つの動画にまとめたハイライト動画を作成する自動編集処理が行われる。

（３）画像自動転送モード
＜モード判定条件＞
外部装置３０１内の専用のアプリケーションを用いた指示により、画像自動転送モードに設定されている場合、前回の画像転送が行われた時点からの経過時間と過去の撮影画像情報から、自動転送を行うべきと判定されることを条件とする。

＜モード内処理＞
Ｓ７１３で画像自動転送モードと判定された場合、画像自動転送モード処理（Ｓ７１４）に進む。カメラ１０１は、ユーザの好みに合うであろう画像を自動で抽出し、外部装置３０１にユーザの好みと思われる画像を自動で転送する。ユーザの好みの画像抽出は、後述する各画像に付加されたユーザの好みを判定したスコアに基づいて行われる。

（４）学習モード
＜モード判定条件＞
前回学習処理が行われた時点からの経過時間と、学習に使用することのできる画像に一体となった情報や学習データの数などから、自動学習を行うべきと判定されることを条件とする。または、外部装置３０１からの通信を介して学習モードが設定されるように指示があった場合にも学習モードに設定される。

＜モード内処理＞
Ｓ７１５で学習モードと判定された場合、学習モード処理（Ｓ７１６）に進む。外部装置３０１での各操作情報、外部装置３０１からの学習情報の通知などに基づいて、ニューラルネットワークを用いて、ユーザの好みに合わせた学習が行われる。各操作情報とは、カメラからの画像取得情報、専用アプリケーションを介して手動編集した情報、カメラ内の画像に対してユーザが入力した判定値情報などである。また、個人認証の登録、音声登録、音シーン登録、一般物体の認識登録などの、検出に関する学習や、上述した低消費電力モードの条件などの学習も同時に行われる。

（５）ファイル自動削除モード
＜モード判定条件＞
前回のファイル自動削除が行われた時点からの経過時間と、画像データを記録している不揮発性メモリ２１６の残容量とに基づいて、ファイル自動削除を行うべきと判定されることを条件とする。

＜モード内処理＞
Ｓ７１７でファイル自動削除モードと判定された場合、ファイル自動削除モード処理（Ｓ７１８）に進む。不揮発性メモリ２１６内の画像の中から、各画像のタグ情報と撮影された日時などに基づいて自動削除されるべきファイルを指定して削除する処理が実行される。

図７のＳ７１０、Ｓ７１２、Ｓ７１４、Ｓ７１６、Ｓ７１８の処理を終えると、Ｓ７０２に戻って処理を続行する。各モードにおける処理（Ｓ７１０、Ｓ７１６）の詳細については後述する。図７のＳ７０９にて自動撮影モードでないと判定された場合、Ｓ７１１の処理に進む。Ｓ７１１で自動編集モードでないと判定された場合、Ｓ７１３の処理に進む。Ｓ７１３で画像自動転送モードでないと判定された場合、Ｓ７１５の処理に進む。Ｓ７１５で学習モードでないと判定された場合、Ｓ７１７の処理に進む。Ｓ７１７でファイル自動削除モードでないと判定された場合、Ｓ７０２に戻って処理を繰り返す。尚、自動編集モード、画像自動転送モード、ファイル自動削除モードについては、本発明の主旨に直接関係しないため、詳細な説明を省略する。

図８は、カメラ１０１の第２制御部２１１が行う処理例を説明するフローチャートである。ユーザがカメラ１０１に設けられた電源ボタンを操作すると、第１電源部２１０から第１制御部２２３およびカメラ１０１の各構成部に電力が供給される。また、第２電源部２１２から第２制御部２１１に電力が供給される。

電力が供給されてから、第２制御部（ＳｕｂＣＰＵ）２１１が起動し、図８の処理が開始する。Ｓ８０１では、所定サンプリング周期が経過したか否かについての判定処理が行われる。所定サンプリング周期は、例えば１０ｍｓｅｃ（ミリ秒）に設定され、１０ｍｓｅｃの周期の判定結果にしたがって（所定サンプリング周期が経過したとき）、Ｓ８０２の処理に進む。また所定サンプリング周期が経過していないと判定された場合、第２制御部２１１はＳ８０１の判定処理が再び実行されるまでの間、待機する。

Ｓ８０２では、学習情報の読み込みが行われる。学習情報は、図７のＳ７０６での第２制御部２１１へ情報を通信する際に転送された情報であり、例えば以下の判定に用いられる情報が含まれる。
（１）特定揺れ状態検出（後述するＳ８０４）の判定用情報。
（２）特定音検出（後述するＳ８０５）の判定用情報。
（３）時間経過検出（後述するＳ８０７）の判定用情報。

Ｓ８０２の処理後、Ｓ８０３に進み、揺れ検出値が取得される。揺れ検出値は、装置揺れ検出部２０９におけるジャイロセンサや加速度センサなどの出力値である。つぎに、Ｓ８０４に進み、予め設定された特定の揺れ状態の検出処理が行われる。ここでは、Ｓ８０２で読み込まれた学習情報によって判定処理を変更する、いくつかの例について説明する。

＜タップ検出＞
タップ状態は、例えばユーザがカメラ１０１を指先などで叩いた状態であり、カメラ１０１に取り付けられた加速度センサの出力値から検出することが可能である。３軸の加速度センサの出力は、所定サンプリング周期で、特定の周波数領域に設定されたバンドパスフィルタ（ＢＰＦ）に通すことで処理され、タップによる加速度変化の信号領域の成分が抽出される。ＢＰＦを通過した後の加速度信号が、所定時間（ＴｉｍｅＡと記す）の間に、所定閾値（ＴｈｒｅｓｈＡと記す）を超えた回数の計測が行われる。計測された回数が所定回数（ＣｏｕｎｔＡと記す）であるか否かにより、タップ判定が行われる。例えば、ダブルタップの場合、ＣｏｕｎｔＡの値が２に設定され、トリプルタップの場合、ＣｏｕｎｔＡの値が３に設定される。ＴｉｍｅＡやＴｈｒｅｓｈＡの各値についても、学習情報によって変化させることができる。

＜揺れ状態の検出＞
カメラ１０１の揺れ状態は、カメラ１０１に取り付けられたジャイロセンサや加速度センサの出力値から検出することが可能である。ジャイロセンサや加速度センサの出力は、その高周波成分がハイパスフィルタ（ＨＰＦ）でカットされ、低周波成分がローパスフィルタ（ＬＰＦ）でカットされた後で、絶対値変換が行われる。算出された絶対値が、所定時間（ＴｉｍｅＢと記す）の間に、所定閾値（ＴｈｒｅｓｈＢと記す）を超えた回数の計測が行われる。計測された回数が所定回数（ＣｏｕｎｔＢと記す）以上であるか否かにより、振動検出が行われる。例えばカメラ１０１を机などに置いた状態、つまり揺れが小さい状態であるか、またはカメラ１０１をウェアラブルカメラとしてユーザが身体に装着して歩いている状態、つまり揺れが大きい状態であるかを判定することが可能である。また、判定閾値や判定のカウント数の条件に関し、複数の条件を設定することにより、揺れレベルに応じた詳細な揺れ状態を検出することも可能である。ＴｉｍｅＢ、ＴｈｒｅｓｈＢ、ＣｏｕｎｔＢの各値については、学習情報によって変化させることができる。

上記の例では、揺れ検出センサの検出値を判定することにより、特定の揺れ状態を検出する方法について説明した。その他、所定時間内でサンプリングされた揺れ検出センサのデータを、ニューラルネットワーク（ＮＮとも記す）を用いた揺れ状態判定器に入力することで、学習させたＮＮにより、事前に登録しておいた特定の揺れ状態を検出する方法がある。その場合、Ｓ８０２（学習情報の読み込み）ではＮＮの重みパラメータの読み込みが行われる。

Ｓ８０４での検出処理が行われた後、Ｓ８０５の処理に進み、予め設定された特定の音の検出処理が行われる。ここでは、Ｓ８０２で読み込まれた学習情報によって、検出判定処理を変更する、いくつかの例について説明する。

＜特定音声コマンド検出＞
特定の音声コマンドを検出する処理において、特定の音声コマンドには、事前に登録された、いくつかのコマンドと、ユーザがカメラに登録した特定音声に基づくコマンドがある。

＜特定音シーン認識＞
予め大量の音声データに基づいて、機械学習が行われたネットワークにより音シーンの判定が行われる。例えば、「歓声が上がっている」、「拍手している」、「声を発している」などの特定シーンを検出することが可能である。検出対象とするシーンは学習によって変化する。

＜音レベル判定＞
音声レベルの大きさが所定時間（閾値時間）に亘って、所定の大きさ（閾値）を超えているかどうかを判定することよって、音レベルの検出が行われる。閾値時間や閾値などが学習によって変化する。

＜音方向判定＞
平面上に配置された複数のマイクロホンにより、所定の大きさの音について、音の方向が検出される。

音声処理部２１４内では上記の判定処理が行われ、事前に学習された各設定により、特定の音の検出がされたかどうかについてＳ８０５で判定される。

Ｓ８０５の検出処理が行われた後、Ｓ８０６の処理に進み、第２制御部２１１は、第１制御部２２３の電源がＯＦＦ状態であるか否かを判定する。第１制御部２２３（ＭａｉｎＣＰＵ）がＯＦＦ状態であると判定された場合、Ｓ８０７の処理に進み、第１制御部２２３（ＭａｉｎＣＰＵ）がＯＮ状態であると判定された場合にはＳ８１１の処理に進む。Ｓ８０７では、予め設定された時間の経過検出処理が行われる。ここでは、Ｓ８０２で読み込まれた学習情報によって、検出判定処理が変更される。学習情報は、図７で説明したＳ７０６での第２制御部２１１へ情報を通信する際に転送された情報である。第１制御部２２３がＯＮ状態からＯＦＦ状態へ遷移したときからの経過時間が計測される。計測された経過時間が所定の時間（ＴｉｍｅＣと記す）以上である場合、所定時間が経過したと判定される。また計測された経過時間がＴｉｍｅＣより短い場合、所定時間が経過していないと判定される。ＴｉｍｅＣは、学習情報によって変化するパラメータである。

Ｓ８０７の検出処理が行われた後、Ｓ８０８の処理に進み、低消費電力モードを解除する条件が成立したか否かについて判定処理が行われる。低消費電力モードの解除については、以下の条件によって判定される。
（１）特定の揺れが検出されたこと。
（２）特定の音が検出されたこと。
（３）所定の時間が経過したこと。

（１）については、Ｓ８０４（特定揺れ状態検出処理）により、特定の揺れが検出されたか否かが判定されている。（２）については、Ｓ８０５（特定音検出処理）により、特定の音が検出されたか否かが判定されている。（３）については、Ｓ８０７（時間経過検出処理）により、所定時間が経過したか否かが判定されている。（１）～（３）に示す条件のうち、少なくとも１つが満たされる場合、低消費電力モードの解除を行うように判定される。Ｓ８０８で低消費電力モードの解除が判定された場合、Ｓ８０９の処理に進み、低消費電力モード解除の条件を満たしていないと判定された場合、Ｓ８０１に戻って処理を続行する。

Ｓ８０９で第２制御部２１１は、第１制御部２２３の電源をＯＮし、Ｓ８１０では、低消費電力モードの解除が判定された条件（揺れ、音、時間のいずれか）を第１制御部２２３に通知する。そして、Ｓ８０１に戻って処理を続行する。

一方、Ｓ８０６からＳ８１１に移行する場合（第１制御部２２３がＯＮ状態であると判定された場合）、Ｓ８１１の処理に進む。Ｓ８１１では、Ｓ８０３～Ｓ８０５にて取得された情報を第１制御部２２３に通知する処理が行われた後、Ｓ８０１に戻って処理を続行する。

本実施形態においては、第１制御部２２３がＯＮ状態である場合でも、揺れ検出や特定音の検出を第２制御部２１１が行い、その検出結果を第１制御部２２３に通知する構成である。この例に限らず、第１制御部２２３がＯＮ状態である場合にＳ８０３～Ｓ８０５の処理を行わず、第１制御部２２３内の処理（図７のＳ７０２）で揺れ検出や特定音の検出を行う構成にしてもよい。

上述したように、図７のＳ７０４～Ｓ７０７や、図８の処理を行うことにより、低消費電力モードに移行する条件や低消費電力モードを解除する条件が、ユーザの操作に基づいて学習される。つまりカメラ１０１を所有するユーザの使い勝手に合わせたカメラ動作を行うことが可能となる。学習の方法については後述する。

上記の例では、揺れ検出、音検出、時間経過に基づいて低消費電力モードを解除する方法について詳しく説明したが、環境情報により低消費電力モードの解除を行ってもよい。環境情報として温度、気圧、照度、湿度、紫外線量の絶対量や変化量が所定閾値を超えたか否かにより、解除の判定を行うことができ、後述する学習により閾値を変化させることもできる。また、揺れ検出、音検出、時間経過の検出情報や、各環境情報の絶対値や変化量をニューラルネットワークに基づいて判断し、低消費電力モードを解除する判定を行ってもよい。この判定処理では、後述する学習によって判定条件を変更することができる。

図９を参照して、図７のＳ７１０について説明する。まず、Ｓ９０１（画像認識処理）で画像処理部２０７は、撮像部２０６により取り込まれた信号に対して画像処理を行い、被写体検出用の画像を生成する。生成された画像に対して、人物や物体などを検出する被写体検出処理が行われる。

被写体である人物を検出する場合、被写体の顔や人体が検出される。顔検出処理では、人物の顔を判断するためのパターンが予め定められており、撮像された画像内にてそのパターンに一致する箇所を、人物の顔領域として検出することができる。また、被写体の顔としての確からしさを示す信頼度が同時に算出される。信頼度は、例えば撮像された画像内における顔領域の大きさや、顔パターンとの一致の程度を表す一致度から算出される。物体認識についても同様に行われ、予め登録されたパターンに一致する物体を認識することができる。

また、撮像された画像内の色相や彩度などのヒストグラムを用いて特徴被写体を抽出する方法がある。撮影画角内に捉えられている被写体の画像に関し、その色相や彩度などのヒストグラムから導出される分布を複数の区間に分け、区間ごとに撮像された画像を分類する処理が実行される。例えば、撮像された画像について複数の色成分のヒストグラムが作成され、その山型の分布範囲で区分けされる。同一の区間の組み合わせに属する領域において撮像された画像が分類されて、被写体の画像領域が認識される。認識された被写体の画像領域ごとに評価値を算出することで、その評価値が最も高い被写体の画像領域を主被写体領域として判定することができる。以上の方法で、撮像情報から各被写体情報を得ることができる。

Ｓ９０２では像ブレ補正量の算出処理が行われる。具体的には、まず装置揺れ検出部２０９にて取得された角速度および加速度の情報に基づいてカメラの揺れの絶対角度が算出される。その絶対角度を打ち消す角度方向にチルト回転ユニット１０４およびパン回転ユニット１０５を駆動して像ブレを補正する角度を求めることで、像ブレ補正量が取得される。尚、ここでの像ブレ補正量算出処理は、後述する学習処理によって算出方法を変更することができる。

Ｓ９０３では、カメラの状態判定が行われる。角速度情報および加速度情報、ＧＰＳ位置情報などに基づいて検出されるカメラ角度やカメラ移動量などにより、現在のカメラがどのような振動／動き状態であるかが判定される。例えば、車両にカメラ１０１を装着して撮影する場合を想定する。この場合、車両の移動距離によって周囲の風景などの被写体情報が大きく変化する。そのため、カメラ１０１が装着されて高速で移動している「乗り物移動状態」であるか否かについて判定され、その判定結果は後に説明する自動被写体探索に使用される。また、カメラ１０１の角度の変化が大きいか否かについて判定される。カメラ１０１の揺れがほとんどない「置き撮り状態」であるか否かについて判定され、「置き撮り状態」である場合、カメラ１０１自体の位置変化はないと判断できる。この場合には置き撮り用の被写体探索を行うことができる。また、カメラ１０１の角度変化が比較的大きい場合には「手持ち状態」と判定される。この場合、手持ち撮影用の被写体探索を行うことができる。

また第１制御部２２３は、図４の操作部４０８のボタン操作、タッチパネル上での被写体へのタッチ操作、及び音声入力音声処理部４０９の音声コマンドのいずれかによる、被写体指定の指示或いは単なる状態遷移の指示を受信すると人物登録専用の状態に遷移する。ことで、人物の登録専用の状態に遷移することも可能である。人物の登録専用の状態に遷移した場合の処理については、図３６を用いて後述する。

Ｓ９０４では、被写体探索処理が行われる。被写体探索は、以下の処理によって構成される。
（１）エリア分割。
（２）エリアごとの重要度レベルの算出。
（３）探索対象エリアの決定。

以下、各処理について順次説明する。

（１）エリア分割
図１０を参照して、エリア分割について説明する。３次元直交座標の原点Ｏをカメラ位置とする。図１０（Ａ）は、カメラ位置（原点Ｏ）を中心として、全周囲でエリア分割を行う例を示す模式図である。図１０（Ａ）の例では、チルティング方向、パンニング方向についてそれぞれ２２．５度ごとのエリアに分割されている。このような分割の場合、チルティング角度が０度から離れるにつれて、水平方向の円周が小さくなり、エリア領域が小さくなる。これに対し、図１０（Ｂ）は、チルティング角度が４５度以上である場合、水平方向のエリア範囲を２２．５度よりも大きく設定した例を示す模式図である。図１０（Ｃ）および（Ｄ）は、撮影画角内でのエリア分割された領域の例を示す模式図である。図１０（Ｃ）に示される軸１３０１は、初期化時のカメラ１０１の向きを表し、軸１３０１の方向を基準方向としてエリア分割が行われる。撮像画像の画角エリア１３０２を示しており、当該エリアに対応する画像例を図１０（Ｄ）に示す。撮像画角の画像内では、エリア分割に基づいて、図１０（Ｄ）で示されるように画像が分割される。複数の分割領域１３０３～１３１８の例を示す。

（２）エリアごとの重要度レベルの算出
分割された各エリアについて、エリア内に存在する被写体の状況やシーンの状況に応じて、探索を行う優先順位を示す重要度レベルが算出される。被写体の状況に基づく重要度レベルは、例えば、エリア内に存在する人物の数、人物の顔の大きさ、顔の向き、顔検出の確からしさ、人物の表情、人物の個人認証結果などに基づいて算出される。また、シーンの状況に応じた重要度レベルは、例えば、一般物体認識結果、シーン判別結果（青空、逆光、夕景など）、エリアの方向から検出される音のレベルや音声認識結果、エリア内の動き検知情報などに基づいて算出される。

また、図９のカメラ状態判定（Ｓ９０３）においてカメラの振動が検出されている場合、振動状態に応じても重要度レベルが変化するように構成することもできる。例えば、「置き撮り状態」と判定された場合を想定する。この場合、顔認証で登録されている中で優先度の高い被写体（例えばカメラの所有者）を中心に被写体探索が行われるように判定される。また後述する自動撮影についても、例えばカメラの所有者の顔を優先して撮影が行われる。これにより、カメラの所有者がカメラを身に着けて持ち歩き撮影を行っている時間が長いとしても、カメラを取り外して机の上などに置くことで、所有者が写った画像も多く記録することができる。このとき、パンニングやチルティングにより顔の探索が可能であるため、ユーザはカメラの置き角度などを考えなくても、適当に設置するだけで所有者が写った画像や多くの顔が写った集合写真などを記録することができる。

尚、上記の条件だけでは、各エリアに変化がない限り、最も重要度レベルが高いエリアが同じとなる可能性がある。その結果、探索されるエリアがずっと変わらないことになってしまう。そこで、過去の撮影情報に応じて重要度レベルを変化させる処理が行われる。具体的には、所定時間にわたって継続して探索エリアに指定され続けたエリアに対して、重要度レベルを下げる処理や、後述するＳ９１０において撮影を行ったエリアに対して、所定時間の間、重要度レベルを下げる処理が行われる。

（３）探索対象エリアの決定
上記のように算出された各エリアの重要度レベルに基づき、重要度レベルが高いエリアを探索対象エリアとして決定する処理が実行される。そして、探索対象エリアを画角に捉えるために必要なパンニングおよびチルティングの探索目標角度が算出される。

図９のＳ９０５では、パンニングおよびチルティングの駆動が行われる。具体的には、制御サンプリング周波数での、像ブレ補正量と、パンニングおよびチルティングの探索目標角度に基づいた駆動角度とを加算することにより、パンニング駆動量およびチルティング駆動量が算出される。鏡筒回転駆動部２０５によって、チルト回転ユニット１０４およびパン回転ユニット１０５が駆動制御される。

Ｓ９０６ではズームユニット２０１を制御することによって、ズーム駆動が行われる。具体的には、Ｓ９０４で決定された探索対象被写体の状態に応じてズーム駆動が行われる。例えば、探索対象の被写体が人物の顔である場合を想定する。この場合、画像上の顔サイズが小さすぎると検出可能な最小サイズを下回ることで検出が出来ず、被写体を見失ってしまう可能性がある。そのような場合、望遠側へのズーム制御により、画像上の顔のサイズを大きくする制御が行われる。一方、画像上の顔サイズが大きすぎる場合、被写体やカメラ自体の動きによって被写体が画角から外れやすくなってしまう可能性がある。そのような場合、広角側へのズーム制御により、画面上の顔のサイズを小さくする制御が行われる。このようにズーム制御を行うことで、被写体の追跡に適した状態を保つことができる。尚、ズーム制御には、レンズの駆動によって行う光学ズーム制御と、画像処理によって画角変更を行う電子ズーム制御がある。いずれか一方の制御を行う形態と、両方の制御を組み合わせた形態がある。

Ｓ９０７は自動認証登録の判定処理である。被写体の検出状況により、個人認証の自動登録が可能であるか否かについて判定される。顔としての検出信頼度が高く、且つ、顔検出信頼度が高い状態を維持している場合、さらに詳細な判定が行われる。すなわち、顔が横顔ではなくカメラに向かって正面を向いている状態であること、また、顔の大きさが所定値以上の大きさである場合には、個人認証の自動登録に適した状態にあると判定される。

続くＳ９０８は自動撮影の判定処理である。自動撮影判定では、自動撮影を行うか否かの判定と、撮影方法の判定（静止画撮影、動画撮影、連写、パノラマ撮影などのうち、どれを実行するかの判定）が行われる。自動撮影を行うか否かの判定については後述する。

Ｓ９０９では、手動による撮影指示があったか否かについて判定される。手動による撮影指示には、シャッターボタンの押下による指示、カメラ筺体を指などで軽く叩くこと（タップ）による指示、音声コマンド入力による指示、外部装置からの指示などがある。例えばタップ操作をトリガーとする撮影指示については、ユーザがカメラ筺体をタップした際、装置揺れ検出部２０９によって短期間に連続した高周波の加速度を検知することにより判定される。また音声コマンド入力方法は、ユーザが所定の撮影を指示する合言葉（例えば「写真とって」）を発声した場合、音声処理部２１４が音声を認識し、撮影のトリガーとする撮影指示方法である。外部装置からの指示方法は、例えばカメラとＢｌｕｅＴｏｏｔｈ（登録商標）接続したスマートフォンなどから、専用のアプリケーションを用いて送信されたシャッター指示信号をトリガーとする撮影指示方法である。

Ｓ９０９にて手動による撮影指示があったと判定された場合、Ｓ９１０の処理に進む。また、Ｓ９０９で手動による撮影指示がなかったと判定された場合には、Ｓ９１４の処理に進む。Ｓ９１４では自動認証登録の実行について判断される。Ｓ９０７での自動認証登録の可否判定結果と、Ｓ９０８での自動撮影の可否判定結果を用いて、自動認証登録を実行するか否かが判断される。Ｓ９１４にて自動認証登録を実行することが判定された場合、Ｓ９１５の処理に進み、自動認証登録を実行しないことが判定された場合、Ｓ９１６の処理に進む。図１１を参照して、具体例を説明する。

図１１は自動認証登録と自動撮影の実行判断を説明するための表である。自動認証登録判定結果については「登録可」および「登録不可」のいずれかとし、自動撮影判定結果については「撮影可」および「撮影不可」のいずれかとする。個人認証の登録に適していることが判定された場合、自動撮影の判定結果に依らずに、個人認証の登録が行われるものとする。個人認証の登録に適していないことが判定された場合であって、自動撮影の条件が満たされている場合（「撮影可」）には、自動撮影が行われるものとする。

自動認証登録の可否を優位に扱う理由は、自動認証登録のためには安定した正面顔の情報を必要とするためである。自動撮影では、被写体が横顔の状態であるときや、一時的な笑顔や、前回の撮影からの経過時間などの要素によっても撮影を行うと判定される場合があり得る。しかし、自動認証登録に適した条件が成立することは低頻度である。そのため、本実施形態では、自動認証登録に適した条件が得られた場合を優先するアルゴリズムとなっている。

自動認証登録を優先すると自動撮影の機会を阻害するという見方も可能である。しかし、それが誤りである理由は、自動認証登録を行うことで個人認証の精度が高まり、優先被写体の探索および追尾の精度がより良くなることによって自動撮影における撮影機会の発見に大いに役立つからである。また、本実施形態では個人認証の登録に適していると判定された場合、常に自動撮影の可否結果よりも優先して扱っている。これに限らず、自動撮影による所定時間内での撮影回数または撮影間隔に応じて優先度を変化させてもよい。例えば、自動撮影による撮影頻度が低い場合には一時的に自動撮影を優先して扱うように制御することも可能である。

図９のＳ９１５は個人認証の登録処理である。個人認証に適した撮影状態に制御して撮影処理を行い、顔の特徴量を数値化して記憶する一連の処理が実行される。図１２を参照して、具体的に説明する。

図１２は構図調節における被写体配置を説明するための模式図である。図１２（Ａ）は静止画の自動撮影時の構図を表し、図１２（Ｂ）は個人認証用の撮影時の構図を表している。構図調節により、図１２（Ｂ）に示されるような個人認証に適した状態となる。顔の特徴量をより精度良く得るためには、光学収差の影響を受けにくい画像中心に被写体を配置し、顔を大きく捉えられるように構図調節することが重要である。他方、後述するＳ９１０において静止画の自動撮影を行う場合には、図１２（Ａ）のように主要被写体と背景が収まる構図調節を行う方が、より満足度の高い写真が得られる。

個人認証の登録処理においてユーザからの手動撮影指示が発生した場合には、Ｓ９１５の処理を一時中断して撮影モード処理を終了し、再び撮影モード処理を実行することも可能である。構図調節の制御は、パンニング、チルティング、およびズームレンズ駆動と、顔検出による顔位置の確認を繰り返す動作である。この繰り返し動作のなかで手動撮影指示を随時確認し、割り込みが確認された場合に個人認証登録処理を中断することで、ユーザの意図を速やかに反映させることができる。

自動撮影は、撮像部によって出力された画像データを自動的に記録する撮影である。図９のＳ９１６にて自動撮影を行うか否かの判定は以下のように行われる。具体的には、以下の２つの場合に、自動撮影を実行することが判定される。第１の場合は、Ｓ９０４にて得られたエリア別の重要度レベルに基づき、重要度レベルが所定値を超えている場合である。第２の場合は、ニューラルネットワークに基づく判定結果を利用する場合であり、これについては後述する。尚、自動撮影における記録は、メモリ２１５への画像データの記録、あるいは不揮発性メモリ２１６への画像データの記録である。また、外部装置３０１に画像データを自動で転送し、外部装置３０１に画像データを記録することも含まれるものとする。

本実施形態では、ニューラルネットワークに基づく自動撮影判定処理により、撮影を自動的に行うように制御が行われる。撮影場所の状況やカメラの状況によっては、自動撮影の判定パラメータを変更した方がよい場合もある。一定時間間隔での撮影とは異なり、状況判断に基づく自動撮影制御は、以下のような要望に応える形態が好まれる傾向にある。
（１）人や物を含めて、多めの枚数の画像を撮影したい。
（２）思い出に残るシーンを撮り逃したくない。
（３）バッテリーの残量、記録メディアの残量を考慮し、省電力で撮影を行いたい。

自動撮影は、被写体の状態から評価値を算出し、評価値と閾値を比較して、評価値が閾値を超える場合に実施される。自動撮影の評価値はニューラルネットワークを用いた判定により決定される。

次にニューラルネットワーク（ＮＮ）に基づく判定について説明する。ＮＮの一例として、多層パーセプトロンによるネットワークの例を図１３に示す。ＮＮは、入力値から出力値を予測することに使用される。予め入力値と、その入力に対して模範となる出力値とを学習しておくことで、新たな入力値に対して、学習した模範に倣った出力値を推定することができる。尚、学習の方法については後述する。

図１３のノード１２０１およびその縦に並ぶ丸印で示す複数のノードは入力層のニューロンを示す。ノード１２０３およびその縦に並ぶ丸印で示す複数のノードは中間層のニューロンを示す。ノード１２０４は出力層のニューロンを示す。矢印１２０２は各ニューロンを繋ぐ結合を示している。ＮＮに基づく判定では、入力層のニューロンに対して、現在の画角中に写る被写体や、シーンやカメラの状態に基づいた特徴量が入力として与えられる。多層パーセプトロンの順伝播則に基づく演算を経て出力層から出力された値が取得される。出力値が閾値以上であれば、自動撮影を実施する判定が下される。

被写体の特徴としては、例えば以下の情報が用いられる。
・現在のズーム倍率、現在の画角における一般物体の認識結果の情報。
・顔検出結果、現在の画角に写る顔の数、顔の笑顔度、目瞑り度、顔角度、顔認証ＩＤ番号、被写体人物の視線角度。
・シーン判別結果、前回撮影時からの経過時間、現在時刻、ＧＰＳ位置情報および前回撮影位置からの変化量。
・現在の音声レベル、声を発している人物、拍手、歓声が上がっているか否かの情報。
・振動情報（加速度情報、カメラ状態）、環境情報（温度、気圧、照度、湿度、紫外線量）など。

更に、外部装置５０１からの情報通知がある場合には、通知情報（ユーザの運動情報、腕のアクション情報、心拍などの生体情報など）も特徴情報として使用される。特徴情報は所定の範囲の数値に変換され、特徴量として入力層の各ニューロンに与えられる。そのため、入力層の各ニューロンは使用する特徴量の数だけ必要となる。

ニューラルネットワークに基づく判断では、後述する学習処理で各ニューロン間の結合重みを変化させることによって、出力値を変化させることができ、判断の結果を学習結果に適応させることができる。

また、図７のＳ７０２で読み込まれた第１制御部２２３の起動条件によって、自動撮影の判定も変化する。例えば、タップ検出による起動や特定音声コマンドによる起動の場合には、ユーザの意図として現在撮影を指示する操作である可能性が非常に高い。そこで、撮影頻度が多くなるように設定される。

撮影方法の判定では、Ｓ９０１～Ｓ９０４にて検出された、カメラの状態や周辺の被写体の状態に基づいて決定される撮影の実行が判定される。静止画撮影、動画撮影、連写撮影、パノラマ撮影などのうち、どれを実行するかが判定される。例えば、被写体である人物が静止している場合、静止画撮影が選択されて実行される。当該被写体が動いている場合には動画撮影または連写撮影が実行される。また、複数の被写体がカメラを取り囲むように存在している場合や、ＧＰＳ情報に基づいて景勝地であることが判断されている場合には、パノラマ撮影処理が実行される。パノラマ撮影処理は、カメラのパンニングおよびチルティングの駆動を行いながら順次撮影した画像を合成してパノラマ画像を生成する処理である。尚、自動撮影を行うか否かの判定方法と同様に、撮影前に検出された各種情報をニューラルネットワークに基づいて判断し、撮影方法を決定することもできる。また、この判定処理では、後述する学習処理によって判定条件を変更することもできる。

図９のＳ９１６において、Ｓ９０８の自動撮影判定処理により自動撮影を行うことが判定された場合、Ｓ９１０の処理に進む。Ｓ９１６にて自動撮影を行わないことが判定された場合、撮影モード処理を終了する。またＳ９１５（自動認証登録処理）の後、撮影モード処理を終了する。

Ｓ９１０では自動撮影が開始される。つまりＳ９０８にて判定された撮影方法による撮影を開始する。その際、フォーカス駆動制御部２０４はオートフォーカス制御を行う。また、不図示の絞り制御部およびセンサゲイン制御部、シャッター制御部を用いて露出制御が行われることで、被写体が適切な明るさになるように調節される。撮影後に画像処理部２０７は、オートホワイトバランス処理、ノイズリダクション処理、ガンマ補正処理など、種々の公知の画像処理を行い、画像データが生成される。

Ｓ９１０での自動撮影の際、所定の条件を満たした場合、カメラが撮影対象となる人物に対し撮影を行う旨を報知した上で撮影が行われてもよい。所定の条件は、例えば以下の情報に基づいて設定される。
・画角内における顔の数、顔の笑顔度、目瞑り度、被写体人物の視線角度や顔角度、顔認証ＩＤ番号。
・個人認証登録されている人物の数、撮影時の一般物体の認識結果。
・シーン判別結果、前回撮影時からの経過時間、撮影時刻、ＧＰＳ情報に基づく現在位置が景勝地であるか否かの情報。
・撮影時の音声レベル、声を発している人物の有無、拍手、歓声が上がっているか否かの情報。
・振動情報（加速度情報、カメラ状態）、環境情報（温度、気圧、照度、湿度、紫外線量）など。

報知方法として、例えば、音声出力部２１８からの発音やＬＥＤ制御部２２４によるＬＥＤ点灯などを使用する方法がある。これらの条件に基づいて報知を伴う撮影を行うことによって、重要性が高いシーンにおいて好ましいカメラ目線の画像を記録することができる。撮影前の報知についても、撮影画像の情報、あるいは撮影前に検出された各種情報をニューラルネットワークに基づいて判断し、報知方法やタイミングを決定することができる。また、この判定処理では、後述する学習処理によって、判定条件を変更することもできる。

Ｓ９１１では、Ｓ９１０にて生成された画像を加工し、動画に追加するなどの編集処理が実行される。具体的には、画像加工については人物の顔や合焦位置に基づくトリミング処理、画像の回転処理、ＨＤＲ（ハイダイナミックレンジ）効果処理、ボケ効果処理、色変換フィルタ効果処理などがある。画像加工では、Ｓ９１０にて生成された画像データに基づいて、上記の処理の組み合わせによって複数の加工画像が生成される。Ｓ９１０において生成された画像データとは別に上記画像データを保存する処理を行ってもよい。また動画処理については、撮影された動画または静止画を、生成済みの編集動画にスライド、ズーム、フェードの特殊効果処理を施しながら追加する処理などが行われる。Ｓ９１１での編集処理に関しても、撮影画像の情報、あるいは撮影前に検出された各種情報をニューラルネットワークに基づいて判断し、画像加工の方法を決定することができる。また、この判定処理では、後述する学習処理によって、判定条件を変更することもできる。

Ｓ９１２では、撮影画像の学習情報生成処理が行われる。この処理は、後述する学習処理に使用する情報を生成して記録する処理である。具体的には、例えば以下の情報がある。
・今回の撮影画像における、撮影時のズーム倍率、撮影時の一般物体認識結果、顔検出結果、撮影画像に写る顔の数、顔の笑顔度、目瞑り度、顔角度、顔認証ＩＤ番号、被写体人物の視線角度。
・シーン判別結果、前回撮影時からの経過時間、撮影時刻、ＧＰＳ位置情報および前回撮影位置からの変化量。
・撮影時の音声レベル、声を発している人物、拍手、歓声が上がっているか否かの情報。
・振動情報（加速度情報、カメラ状態）、環境情報（温度、気圧、照度、湿度、紫外線量）
・動画撮影時間、手動撮影指示によるものか否かの情報など。

更には、ユーザの画像の好みを数値化したニューラルネットワークの出力であるスコアの演算が行われる。これらの情報を生成し、撮影画像ファイルへタグ情報として記録する処理が実行される。あるいは不揮発性メモリ２１６へ記憶するか、記録媒体２２１内に、所謂カタログデータとして各々の撮影画像の情報をリスト化した形式で保存する方法がある。

Ｓ９１３では過去の撮影情報を更新する処理が行われる。具体的には、Ｓ９０８で説明したエリアごとの撮影枚数、個人認証登録された人物ごとの撮影枚数、一般物体認識で認識された被写体ごとの撮影枚数、シーン判別のシーンごとの撮影枚数についての更新処理である。つまり今回撮影された画像が該当する枚数のカウント数を１つ増やす処理が行われる。また同時に、今回の撮影時刻、自動撮影の評価値を記憶し、撮影履歴情報として保持する処理が行われる。Ｓ９１３の後、一連の処理を終了する。

次に、ユーザの好みに合わせた学習について説明する。本実施形態では、図１３に示すようなニューラルネットワーク（ＮＮ）を用い、機械学習アルゴリズムを使用して、学習処理部２１９がユーザの好みに合わせた学習を行う。ＮＮは入力値から出力値を予測することに使用され、予め入力値の実績値と出力値の実績値を学習しておくことで、新たな入力値に対して出力値を推定することができる。ＮＮを用いることにより、前述の自動撮影や自動編集、被写体探索に対して、ユーザの好みに合わせた学習を行うことができる。また、ＮＮに入力する特徴データともなる被写体情報（顔認証や一般物体認識などの結果）の登録や、撮影報知制御や低消費電力モード制御やファイル自動削除を学習により変更することも行われる。

本実施形態において、学習処理が適用される動作の例を、以下に示す。
（１）自動撮影
（２）自動編集
（３）被写体探索
（４）被写体登録
（５）撮影報知制御
（６）低消費電力モード制御
（７）ファイル自動削除
（８）像ブレ補正
（９）画像自動転送

学習処理が適用される動作のうち、（２）自動編集、（７）ファイル自動削除、（９）画像自動転送については、本発明の主旨と直接関係しないので説明を省略する。

＜自動撮影＞
自動撮影に対する学習について説明する。自動撮影では、ユーザの好みに合った画像の撮影を自動で行うための学習が行われる。図９を用いて説明したように、撮影後（Ｓ９１０の後）に学習用情報生成処理（Ｓ９１２）が行われる。これは、後述する方法により学習させる画像を選択し、画像に含まれる学習情報に基づいて、ＮＮの重みを変化させることにより学習を行わせる処理である。学習は、自動撮影タイミングの判定を行うＮＮの変更と、撮影方法（静止画撮影、動画撮影、連写、パノラマ撮影など）の判定を行うＮＮの変更により行われる。

＜被写体探索＞
被写体探索に対する学習について説明する。被写体探索では、ユーザの好みに合った被写体の探索を自動的に行うための学習が行われる。図９の被写体探索処理（Ｓ９０４）において、各エリアの重要度レベルが算出されて、パンニングおよびチルティング、ズームの駆動により、被写体探索が行われる。学習は撮影画像や探索中の検出情報に基づいて行われ、ＮＮの重みを変化させることで学習結果として反映される。探索動作中の各種検出情報をＮＮに入力し、重要度レベルの判定を行うことにより、学習結果を反映させた被写体探索を行うことができる。また重要度レベルの算出以外にも、パンニングおよびチルティングによる探索方法（速度、動かす頻度）の制御などが行われる。

＜被写体登録＞
被写体登録に対する学習について説明する。被写体登録では、ユーザの好みに合った被写体の登録やランク付けを自動的に行うための学習が行われる。学習として、例えば、顔認証登録や一般物体認識の登録、ジェスチャーや音声の認識、音によるシーン認識の登録が行われる。人と物体に対する認証登録が行われ、画像の取得される回数や頻度、手動撮影される回数や頻度、探索中の被写体の現れる頻度からランク付けの設定が行われる。各情報については、各々ニューラルネットワークを用いた判定のための入力として登録されることになる。

＜撮影報知制御＞
撮影報知に対する学習について説明する。図９のＳ９１０で説明したように、撮影直前に、所定の条件を満たしたとき、カメラが撮影対象となる人物に対して撮影を行う旨を報知した上で撮影が行われる。例えば、パンニングおよびチルティングの駆動により視覚的に被写体の視線を誘導したり、音声出力部２１８から発するスピーカー音や、ＬＥＤ制御部２２４によるＬＥＤ点灯光を使用して被写体の注意を促したりする処理が実行される。報知の直後に、被写体の検出情報（例えば、笑顔度、目線検出、ジェスチャー）が取得されたか否かに基づいて、検出情報を学習に使用するか否かが判定され、ＮＮの重みを変化させることで学習が行われる。

撮影直前の各検出情報はＮＮに入力され、報知を行うか否かが判定される。報知音の場合の音レベル、音の種類とタイミング、また報知用の光については点灯時間、スピード、そしてカメラの向き（パンニング・チルティングモーション）の判定が行われる。

＜低消費電力モード制御＞
図７、図８を用いて説明したように、第１制御部２２３（ＭａｉｎＣＰＵ）への電源供給をＯＮ／ＯＦＦする制御が行われる。低消費電力モードからの復帰条件や、低消費電力状態への遷移条件の学習が行われる。まず、低消費電力モードを解除する条件の学習について説明する。

・音検出
ユーザの特定音声や検出したい特定音シーンや特定音レベルを、例えば外部装置３０１の専用アプリケーションを用いた通信により、手動で設定することで学習を行うことができる。また、複数の検出方法を音声処理部に予め設定しておき、後述する方法により学習させる画像を選択させる方法がある。選択された画像に含まれる前後音の情報を学習し、起動要因とする音判定（特定音コマンドや、「歓声」、「拍手」などの音シーン）を設定することで学習を行うことができる。

・環境情報検出
ユーザが起動条件としたい環境情報変化を、例えば外部装置３０１の専用アプリケーションを用いた通信により、手動で設定することで学習を行うことができる。例えば、温度、気圧、照度、湿度、紫外線量の絶対量や変化量などの特定条件が設定され、条件を満たす場合に撮像装置を起動させることができる。各環境情報に基づく判定閾値を学習することもできる。環境情報に基づく起動後のカメラ検出情報から、起動要因ではなかったと判定される場合には、各判定閾値のパラメータが環境変化を検出し難いように設定される。

また上記の各パラメータは電池の残容量によっても変化する。例えば、電池残量が少ないときは各種判定に移行し難くなり、電池残量が多いときは各種判定に移行し易くなる。具体的には、ユーザがカメラの起動を意図するときの要因ではない揺れ状態検出結果や音シーン検出結果でも、電池残量が多い場合にはカメラを起動することが判定される場合もある。

また、低消費電力モードの解除条件の判定は、揺れ検出情報、音検出情報、時間経過の検出情報、各環境情報、電池残量などからニューラルネットワークに基づいて行うこともできる。その場合、後述する方法により学習させる画像が選択されて、画像に含まれる学習情報に基づいて、ＮＮの重みを変化させることにより学習が行われる。

次に、低消費電力状態への遷移条件の学習について説明する。図７に示したとおり、Ｓ７０４のモード設定判定では、「自動撮影モード」、「自動編集モード」、「画像自動転送モード」、「学習モード」、「ファイル自動削除モード」の何れでもないと判定された場合に低消費電力モードに遷移する。各モードの判定条件については、上述したとおりであるが、各モードが判定される条件についても学習によって変化する。

＜自動撮影モード＞
エリアごとの重要度レベルを判定し、パンニングおよびチルティングで被写体を探索しつつ自動撮影が行われる。撮影対象とされる被写体が存在しないことが判定された場合には自動撮影モードが解除される。例えば、全てのエリアの重要度レベルや、各エリアの重要度レベルを加算した値が、所定閾値以下になった場合、自動撮影モードが解除される。このとき、自動撮影モードに遷移した時点からの経過時間によって所定閾値を下げていく設定が行われる。自動撮影モードに遷移した時点からの経過時間が長くなるにつれて低消費電力モードへ移行し易くなる。

また、電池の残容量によって所定閾値を変化させることにより、電池の使用可能時間を考慮した低消費電力モード制御を行うことができる。例えば、電池残量が少ないときには閾値を大きくして低消費電力モードに移行し易くし、電池残量が多いときには閾値を小さくして低消費電力モードに移行し難くする処理が行われる。ここで、前回自動撮影モードに遷移した時点からの経過時間と撮影枚数によって、第２制御部２１１に対して、次回の低消費電力モード解除条件のパラメータ（経過時間閾値ＴｉｍｅＣ）が設定される。上記の各閾値は学習によって変化する。学習は、例えば外部装置３０１の専用アプリケーションを用いた通信により、手動で撮影頻度や起動頻度などを設定することで行われる。

また、カメラ１０１の電源ボタンがＯＮ操作された時点から、電源ボタンがＯＦＦ操作される時点までの経過時間の平均値や、時間帯ごとの分布データを蓄積し、各パラメータを学習する構成にしてもよい。その場合、電源ＯＮ時点からＯＦＦ時点までの経過時間が短い時間であるユーザに対しては低消費電力モードからの復帰や、低消費電力状態への遷移の時間間隔が学習によって短くなる。逆に、電源ＯＮ時点からＯＦＦ時点までの経過時間が長い時間であるユーザに対しては前記時間間隔が学習によって長くなる。

被写体探索中の検出情報によっても学習が行われる。設定された重要な被写体が多いと判断されている間、低消費電力モードからの復帰や、低消費電力状態への遷移の時間間隔は学習によって短くなる。逆に、重要な被写体が少ないと判断されている間、前記時間間隔は学習によって長くなる。

＜像ブレ補正＞
像ブレ補正に対する学習について説明する。図９のＳ９０２で像ブレ補正量が算出され、像ブレ補正量に基づいてＳ９０５でパンニングおよびチルティングの駆動により行われる。像ブレ補正では、ユーザの揺れの特徴に合わせた補正を行うための学習が行われる。撮影画像に対して、例えばＰＳＦ（ＰｏｉｎｔＳｐｒｅａｄＦｕｎｃｔｉｏｎ）を用いることにより、ブレの方向および大きさを推定することが可能である。図９のＳ９１２の学習用情報生成では、推定されたブレの方向および大きさの情報が画像データに対して付加される。

図７のＳ７１６での学習モード処理内では、所定の入力情報、および出力（推定されたブレの方向と大きさ）について像ブレ補正用のＮＮの重みを学習させる処理が行われる。所定の入力情報とは、例えば撮影時の各検出情報（撮影前の所定時間における画像の動きベクトル情報、検出した被写体（人や物体）の動き情報、振動情報（ジャイロ出力、加速度出力、カメラ状態）である。さらに環境情報（温度、気圧、照度、湿度）、音情報（音シーン判定、特定音声検出、音レベル変化）、時間情報（起動からの経過時間、前回撮影時からの経過時間）、場所情報（ＧＰＳ位置情報、位置移動変化量）などを入力に加えてもよい。

図９のＳ９０２での像ブレ補正量の算出時には、上記の各検出情報をニューラルネットワークに入力することにより、その瞬間に撮影したときのブレの大きさを推定することができる。推定されたブレの大きさが閾値より大きいときには、シャッター速度を速くするなどの制御が可能となる。また、推定されたブレの大きさが閾値より大きい場合には像ブレ画像が取得される可能性があるので、その撮影を禁止する方法などがある。

また、パンニングやチルティングの駆動角度には制限があるので、駆動端への到達後には、それ以上の像ブレ補正を行うことができない。本実施形態では撮影時のブレの大きさと方向を推定することにより、露光中の像ブレを補正するためのパンニングやチルティングの駆動に必要な範囲の推定が可能である。パンニングやチルティングの駆動角度に関し、露光中の可動範囲に余裕がない場合には、像ブレ補正量を算出するフィルタのカットオフ周波数を大きくして、駆動角度が可動範囲を超えないように設定する処理が実行される。これにより、大きなブレを抑制可能である。また駆動角度が可動範囲を超えることが予測される場合には、露光直前に駆動角度を変更し、駆動角度が可動範囲を超える方向とは逆の方向への回転を行ってして露光を開始する。これにより、可動範囲を確保しつつ、像ブレが抑制された撮影を行うことができる。ユーザの撮影時の特徴や使い方に合わせて像ブレ補正に係る学習を行うことにより、撮影画像の像ブレを抑制し、または防止できる。

本実施形態の撮影方法の判定において、流し撮りの判定処理が行われてもよい。流し撮りでは、動体である被写体に対して像ブレがなく、動いていない背景に対して画像が流れるように撮影が行われる。流し撮りを行うか否かの判定処理では、撮影前までの検出情報から、被写体をブレなく撮影するためのパンニングおよびチルティングの駆動速度が推定されて、被写体の像ブレ補正が行われる。この時、上記の各検出情報を既に学習させているニューラルネットワークに対する情報の入力によって、駆動速度を推定することができる。画像を複数のブロックに分割して、各ブロックのＰＳＦを推定することにより、主被写体が位置するブロックでのブレの方向および大きさが推定される。それらの情報に基づいて学習が行われる。

また、ユーザが選択した画像の情報から背景流し量を学習することもできる。その場合、主被写体が位置しないブロック（画像領域）でのブレの大きさが推定され、その情報に基づいてユーザの好みを学習することができる。学習された好みの背景流し量に基づいて、撮影時のシャッター速度を設定することにより、ユーザの好みに合った流し撮り効果が得られる撮影を自動で行うことができる。

次に、学習方法について説明する。学習方法としては、「カメラ内の学習」と「通信機器などの外部装置との連携による学習」がある。まず、前者の学習方法について説明する。本実施形態におけるカメラ内の学習には、以下の方法がある。

（１）手動撮影時の検出情報による学習
図９のＳ９０７～Ｓ９１３で説明したとおり、カメラ１０１は手動撮影と自動撮影を行うことができる。Ｓ９０７で手動撮影指示があった場合、Ｓ９１２において、撮影画像には手動で撮影された画像であることを示す情報が付加される。また、Ｓ９１６において自動撮影ＯＮと判定されて撮影された場合、Ｓ９１２において、撮影画像には自動で撮影された画像であることを示す情報が付加される。手動撮影の場合、ユーザの好みの被写体、好みのシーン、好みの場所や時間間隔に基づいて撮影が行われた可能性が非常に高い。よって、手動撮影時に得られた各特徴データや撮影画像の学習データに基づいて学習が行われる。また、手動撮影時の検出情報から、撮影画像における特徴量の抽出や個人認証の登録、個人ごとの表情の登録、人の組み合わせの登録に関して学習が行われる。また、被写体探索時の検出情報からは、例えば、個人登録された被写体の表情から、その近くの人や物体の重要度を変更する学習が行われる。

（２）被写体探索時の検出情報による学習
被写体探索中には、個人認証登録されている被写体が、どんな人物、物体、シーンと同時に写っているかが判定され、同時に画角内に被写体が写っている時間比率が算出される。例えば、個人認証登録された被写体の人物Ａが、個人認証登録された被写体の人物Ｂと同時に写っている時間比率が計算される。人物Ａと人物Ｂが画角内に入る場合には、自動撮影判定の点数（スコア）が高くなるように、各種検出情報が学習データとして保存されて、学習モード処理（図７：Ｓ７１６）で学習が行われる。他の例では、個人認証登録された被写体の人物Ａが、一般物体認識により判定された被写体である「猫」と同時に写っている時間比率が計算される。人物Ａと「猫」が画角内に入る場合には、自動撮影判定の点数が高くなるように、各種検出情報が学習データとして保存されて、学習モード処理（図７：Ｓ７１６）で学習が行われる。

また、個人認証登録された被写体の人物Ａの高い笑顔度が検出された場合や、「喜び」、「驚き」などの表情が検出された場合、同時に写っている被写体は重要であると学習される。あるいは、人物Ａにて「怒り」、「真顔」などの表情が検出された場合、同時に写っている被写体は重要である可能性が低いと判断され、学習は行われない。

次に、本実施形態における外部装置との連携による、以下の学習について説明する。
（１）外部装置で画像を取得したことによる学習。
（２）外部装置を介して画像に判定値を入力することによる学習。
（３）外部装置内に保存されている画像を解析することによる学習。
（４）外部装置でＳＮＳ（ＳｏｃｉａｌＮｅｔｗｏｒｋｉｎｇＳｅｒｖｉｃｅ）のサーバにアップロードされた情報からの学習。
（５）外部装置でカメラパラメータを変更することによる学習。
（６）外部装置で画像が手動編集された情報からの学習。

付与番号に沿って順に説明を行う。

＜外部装置で画像を取得したことによる学習＞
図３で説明したとおり、カメラ１０１と外部装置３０１は、第１および第２の通信３０２，３０３を行う通信手段を有する。主に第１の通信３０２によって画像データの送受信が行われ、外部装置３０１内の専用のアプリケーションを介して、カメラ１０１内の画像を外部装置３０１に送信することができる。また、カメラ１０１内に保存されている画像データのサムネイル画像は、外部装置３０１内の専用のアプリケーションを用いて、閲覧可能である。ユーザは、サムネイル画像の中から、自分が気に入った画像を選んで確認することや、画像取得指示の操作を行うことで外部装置３０１に画像データを送信させることができる。ユーザが画像を選んで取得された画像は、ユーザの好みの画像である可能性が非常に高い。よって取得された画像は、学習すべき画像であると判定される。取得された画像の学習情報に基づいて、ユーザの好みの各種学習を行うことができる。

図１４を参照して、操作例について説明する。図１４は、外部装置３０１の専用のアプリケーションを用いて、ユーザがカメラ１０１内の画像の閲覧を行う例を説明する図である。表示部４０７にはカメラ内に保存されている画像データのサムネイル画像１６０４～１６０９が表示される。ユーザは自分が気に入った画像を選択して取得することができる。ボタン１６０１～１６０３は表示方法を変更するときに操作され、表示方法変更部を構成する。

第１のボタン１６０１が押下されると日時優先表示モードに変更され、カメラ１０１内の画像の撮影日時の順番で表示部４０７に画像が表示される。例えば、サムネイル画像１６０４で示される位置には日時の新しい画像が表示され、サムネイル画像１６０９で示される位置には日時の古い画像が表示される。また第２のボタン１６０２が押下されると、おすすめ画像優先表示モードに変更される。図９のＳ９１２で演算された各画像に対するユーザの好みを判定したスコアに基づいて、カメラ１０１内の画像が、スコアの高い順番で表示部４０７に表示される。例えば、サムネイル画像１６０４で示される位置にはスコアの高い画像が表示され、サムネイル画像１６０９で示される位置にはスコアの低い画像が表示される。またユーザが第３のボタン１６０３を押下すると、人物や物体の被写体を指定でき、続いて特定の人物や物体の被写体を指定すると特定の被写体のみを表示することもできる。

ボタン１６０１～１６０３は同時に設定をＯＮすることもできる。例えばすべての設定がＯＮされている場合、指定された被写体のみを表示し、且つ、撮影日時が新しい画像が優先され、且つ、スコアの高い画像が優先されて表示される。このように、撮影画像に対してもユーザの好みが学習されているので、撮影された大量の画像の中から簡単な確認作業でユーザの好みの画像のみを抽出することが可能である。

＜外部装置を介して画像に判定値を入力することによる学習＞
カメラ１０１内に保存されている画像の閲覧に関し、ユーザは各画像に対して点数付けを行うことができる。ユーザが好みと思った画像に対して高い点数（例えば５点）を付けたり、好みでないと思った画像に対して低い点数（例えば１点）を付けたりすることができる。ユーザ操作に応じてカメラが画像の判定値を学習していく構成である。各画像に対する点数は、カメラ内で学習情報と共に再学習に使用される。指定した画像情報からの特徴データを入力にした、ニューラルネットワークの出力は、ユーザが指定した点数に近づくように学習される。

外部装置３０１を介して、撮影済み画像にユーザが判定値を入力する構成の他に、ユーザがカメラ１０１を操作して、画像に対して判定値を直接入力する構成がある。その場合、例えば、カメラ１０１はタッチパネルディスプレイを備える。ユーザはタッチパネルディスプレイの画面表示部に表示されたＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）ボタンを操作して、撮影済み画像を表示するモードに設定する。そして、ユーザが撮影済み画像を確認しながら、各画像に対して判定値を入力することにより、上記と同様の学習を行うことができる。

＜外部装置内に保存されている画像を解析することによる学習＞
外部装置３０１が有する記憶部４０４には、カメラ１０１で撮影された画像以外の画像も記録される。外部装置３０１内に保存されている画像は、ユーザが閲覧し易く、公衆無線制御部４０６を介して、共有サーバに画像をアップロードすることも容易であるため、ユーザの好みの画像が多く含まれる可能性が非常に高い。

外部装置３０１の制御部４１１は、専用のアプリケーションを用いて、記憶部４０４に保存されている画像を、カメラ１０１内の学習処理部２１９と同等の能力で処理可能であるものとする。処理された学習用データをカメラ１０１に通信することにより、学習が行われる。あるいは、カメラ１０１に学習させたい画像やデータを送信して、カメラ１０１内で学習を行う構成にしてもよい。また、専用のアプリケーションを用いて、記憶部４０４に保存されている画像の中から、学習させたい画像をユーザが選択して学習する構成にすることもできる。

＜外部装置でＳＮＳのサーバにアップロードされた情報からの学習＞
人と人の繋がりに主眼をおいた社会的なネットワークを構築できるサービスやウェブサイトであるソーシャル・ネットワーキング・サービス（ＳＮＳ）における情報を学習に使用する方法について説明する。画像をＳＮＳにアップロードする際に、外部装置３０１から画像に関するタグを入力した上で、画像と共に送信する技術がある。また、他のユーザがアップロードした画像に対して好き嫌いの情報を入力する技術もある。他のユーザがアップロードした画像が、外部装置３０１を所有するユーザの好みの写真であるかどうかも判定できる。

外部装置３０１内にダウンロードされた専用のＳＮＳアプリケーションで、ユーザが自らアップロードした画像と、その画像についての情報を取得することができる。また、ユーザが他のユーザがアップロードした画像に対して好きか否かのデータを入力することにより、ユーザの好みの画像やタグ情報を取得することもできる。それらの画像やタグ情報を解析して、カメラ１０１内で学習が行われる。

外部装置３０１の制御部４１１は、ユーザがアップロードした画像や、ユーザが好きと判定した画像を取得し、カメラ１０１内の学習処理部２１９と同等の能力で処理が可能である。処理された学習用データをカメラ１０１に通信することで学習が行われる。あるいは、カメラ１０１に学習させたい画像データを送信してカメラ１０１内で学習する構成にしてもよい。

タグ情報に設定された被写体情報（例えば、犬、猫などの物体情報、ビーチなどのシーン情報、スマイルなどの表情情報など）から、ユーザが好みであろう被写体情報を推定可能である。ニューラルネットワークに入力する検出すべき被写体として登録することによる学習が行われる。また、ＳＮＳでのタグ情報（画像フィルタ情報や被写体情報）の統計値から、世の中で現在流行している画像情報を推定し、カメラ１０１内で学習可能な構成にすることもできる。

＜外部装置でカメラパラメータを変更することによる学習＞
カメラ１０１内に現在設定されている学習パラメータ（ＮＮの重みや、ＮＮに入力する被写体の選択など）を外部装置３０１に送信して、外部装置３０１の記憶部４０４に保存することができる。また、外部装置３０１内の専用のアプリケーションを用いて、専用のサーバにセットされた学習パラメータが公衆無線制御部４０６を介して取得される。これをカメラ１０１内の学習パラメータに設定することもできる。ある時点でのパラメータを外部装置３０１に保存しておいて、カメラ１０１に設定することで、学習パラメータを戻すこともできる。また、他のユーザが持つ学習パラメータは専用サーバを介して取得されて、所有者自身のカメラ１０１に設定することもできる。

また、外部装置３０１の専用のアプリケーションを用いて、ユーザが登録した音声コマンドや認証登録、ジェスチャーを登録できる構成としてもよいし、重要な場所を登録してもよい。これらの情報は、撮影モード処理（図９）で説明した撮影トリガーや自動撮影判定の入力データとして扱われる。また、撮影頻度や起動間隔、静止画と動画の割合や好みの画像などを設定することができる構成とし、前記の低消費電力モード制御で説明した起動間隔などの設定が行われる構成としてもよい。

＜外部装置で画像が手動編集された情報からの学習＞
外部装置３０１の専用のアプリケーションにより、ユーザの操作にしたがって手動で編集できる機能を実現し、編集作業の内容を学習にフィードバックすることもできる。例えば、画像効果付与（トリミング処理、回転処理、スライド、ズーム、フェード、色変換フィルタ効果、時間、静止画動画比率、ＢＧＭ）の編集が可能である。画像の学習情報に対して、手動で編集された画像効果付与が判定されるように、自動編集のニューラルネットワークの学習が行われる。

次に、学習処理シーケンスについて説明する。図７のＳ７０４のモード設定判定において、学習処理を行うべきか否かが判定される。学習処理を行うべきであると判定された場合、Ｓ７１６の学習モード処理が実行される。学習モードの判定条件について説明する。学習モードに移行するか否かの判定は、前回の学習処理が行われた時点からの経過時間と、学習に使用できる情報の数、通信機器を介して学習処理の指示があったかなどの情報に基づいて行われる。図１５を参照して、学習モード判定処理について説明する。

図１５は、図７のＳ７０４（モード設定判定処理）内で実行される、学習モードに移行すべきか否かの判定処理を説明するフローチャートである。Ｓ７０４のモード設定判定処理内で学習モード判定の開始指示がなされると、図１５の処理が開始する。Ｓ１４０１では、外部装置３０１からの登録指示があるか否かについて判定される。この登録指示は、上記の＜外部装置で画像を取得したことによる学習＞、＜外部装置を介して画像に判定値を入力することによる学習＞、＜外部装置内に保存されている画像を解析することによる学習＞などの、学習するための登録指示である。

Ｓ１４０１で、外部装置３０１からの登録指示があったと判定された場合、Ｓ１４０８の処理に進む。Ｓ１４０８では学習モード判定のフラグがＴＲＵＥに設定され、Ｓ７１６の処理を行うように設定されてから、学習モード判定処理を終了する。また、Ｓ１４０１で外部装置３０１からの登録指示がないと判定された場合には、Ｓ１４０２の処理に進む。

Ｓ１４０２では、外部装置３０１からの学習指示があるか否かについて判定される。この学習指示は、＜外部装置でカメラパラメータを変更することによる学習＞のように、学習パラメータをセットする指示である。Ｓ１４０２で外部装置３０１からの学習指示があったと判定された場合、Ｓ１４０８の処理に進む。また、Ｓ１４０２で外部装置３０１からの学習指示がないと判定された場合、Ｓ１４０３の処理に進む。

Ｓ１４０３では、前回の学習処理（ＮＮの重みの再計算）が行われた時点からの経過時間（ＴｉｍｅＮと記す）が取得される。そしてＳ１４０４に進み、学習する新規のデータ数（ＤＮと記す）が取得される。データ数ＤＮは、前回の学習処理が行われた時点からの経過時間ＴｉｍｅＮの間で、学習するように指定された画像の数に相当する。

次にＳ１４０５に進み、経過時間ＴｉｍｅＮに基づき、学習モードに移行するか否かを判定する閾値ＤＴが演算される。閾値ＤＴの値が小さいほど学習モードに移行しやすくなるように設定される。例えば、ＴｉｍｅＮが所定値よりも小さい場合の閾値ＤＴの値をＤＴａと表記し、ＴｉｍｅＮが所定値よりも大きい場合の閾値ＤＴの値をＤＴｂと表記する。ＤＴａはＤＴｂよりも大きく設定されており、時間の経過とともに、閾値が小さくなるように設定されている。これにより、学習データが少ない場合であっても、経過時間が長いと学習モードに移行し易くなり、再度の学習が行われる。つまり使用時間に応じてカメラが学習モードへの移行し易さおよび移行し難さの設定変更が行われる。

Ｓ１４０５の処理後、Ｓ１４０６に進み、学習するデータ数ＤＮが、閾値ＤＴよりも大きいか否かについて判定される。データ数ＤＮが閾値ＤＴよりも大きいと判定された場合、Ｓ１４０７の処理に進み、データ数ＤＮが閾値ＤＴ以下であると判定された場合には、Ｓ１４０９の処理に進む。Ｓ１４０７ではデータ数ＤＮがゼロに設定される。その後、Ｓ１４０８の処理が実行されてから、学習モード判定処理を終了する。

Ｓ１４０９に進む場合、外部装置３０１からの登録指示も学習指示もなく、且つ学習データ数ＤＮが閾値ＤＴ以下であるので、学習モード判定のフラグがＦＡＬＳＥに設定される。Ｓ７１６の処理を行わないように設定されてから、学習モード判定処理を終了する。

次に、学習モード処理（図７：Ｓ７１６）内の処理について説明する。図１６は学習モード処理の例を示すフローチャートである。図７のＳ７１５で学習モードであると判定され、Ｓ７１６に進むと、図１６の処理が開始する。Ｓ１５０１では、外部装置３０１からの登録指示があるか否かについて判定される。Ｓ１５０１で、外部装置３０１からの登録指示があったと判定された場合、Ｓ１５０２の処理に進む。また、Ｓ１５０１で外部装置３０１からの登録指示がないと判定された場合には、Ｓ１５０４の処理に進む。

Ｓ１５０２では、各種登録処理が実行される。各種登録は、ニューラルネットワークに入力する特徴の登録であり、例えば顔認証の登録、一般物体認識の登録、音情報の登録、場所情報の登録などである。登録処理の終了後にＳ１５０３の処理に進む。Ｓ１５０３では、Ｓ１５０２で登録された情報から、ニューラルネットワークへ入力する要素を変更する処理が行われる。Ｓ１５０３の処理を終了すると、Ｓ１５０７の処理に進む。

Ｓ１５０４では、外部装置３０１からの学習指示があるか否かについて判定される。外部装置３０１からの学習指示があったと判定された場合、Ｓ１５０５の処理に進み、当該学習指示がないと判定された場合には、Ｓ１５０６の処理に進む。

Ｓ１５０５では、外部装置３０１から通信された学習パラメータが各判定器（ＮＮの重みなど）に設定された後、Ｓ１５０７の処理に進む。また、Ｓ１５０６では学習（ＮＮの重みの再計算）が行われる。Ｓ１５０６の処理に遷移する場合は、図１５を用いて説明したように、データ数ＤＮが閾値ＤＴを超えていて、各判定器の再学習を行う場合である。誤差逆伝搬法、勾配降下法などを使った再学習によって、ＮＮの重みが再計算されることで、各判定器のパラメータが変更される。学習パラメータが設定されると、Ｓ１５０７の処理に進む。

Ｓ１５０７で、ファイル内の画像に対する再スコア付けの処理が実行される。本実施形態では、学習結果に基づいて記録媒体２２１のファイル内に保存されている全ての撮影画像にスコアを付けておき、付けられたスコアに応じて、自動編集や自動ファイル削除を行う構成となっている。よって、再学習や外部装置からの学習パラメータのセットが行われた場合には、撮影済み画像のスコアについても更新を行う必要がある。Ｓ１５０７では、ファイル内に保存されている撮影画像に対して新たなスコアを付ける再計算が行われ、処理が終了すると学習モード処理を終了する。

以上、ユーザが好むと推定されるシーンを抽出し、その特徴を学習して自動撮影や自動編集といったカメラ動作に反映させることにより、ユーザの好みの映像を提案する方法を説明した。本発明の実施形態はこの用途に限定されるものではない。例えば以下のように、あえてユーザ自身の好みとは異なる映像を提案する用途への適用も可能である。

＜好みを学習させたニューラルネットワークを用いる方法＞
上記に説明した方法により、ユーザの好みの学習が行われる。そして、図９のＳ９０８において自動撮影判定処理が実行される。ＮＮの出力値が、教師データであるユーザの好みとは異なることを示す値であるときに、自動撮影が行われる。例えば、ユーザの好む画像を教師画像とし、教師画像と類似する特徴を示すときに高い値が出力されように学習が行われた場合を想定する。この場合、逆に出力値が所定の閾値より低いことを条件として自動撮影が行われる。同様に、被写体探索処理や自動編集処理においても、ＮＮの出力値が、教師データであるユーザの好みとは異なることを示す値となる処理が実行される。

＜好みとは異なる状況を学習させたニューラルネットワークを用いる方法＞
学習処理の時点で、ユーザの好みとは異なる状況を教師データとして学習する処理が実行される。前記の例では、手動で撮影した画像はユーザが好んで撮影したシーンであるとして、これを教師データとする学習方法について説明した。これに対し、手動撮影した画像は教師データとして使用せず、所定時間以上に亘って手動撮影が行われなかったシーンを教師データとして追加する処理が行われる。あるいは、教師データの中に手動撮影した画像と特徴が類似するシーンのデータがある場合、このデータを教師データから削除する処理が行われる。また、外部装置で取得された画像と特徴が異なる画像を教師データに追加する処理や、取得された画像と特徴が似た画像を教師データから削除する処理が行われる。このようにすることで、教師データには、ユーザの好みと異なるデータが集積されるので、学習の結果、ＮＮはユーザの好みと異なる状況を判別することができるようになる。自動撮影ではそのＮＮの出力値に応じて撮影が行われるので、ユーザの好みとは異なるシーンを撮影することができる。

あえてユーザの好みとは異なる映像を提案する方法により、ユーザが手動で撮影をしないであろうシーンが撮影され、撮り逃し回数を減少させることができる。また、ユーザ自身の発想にないシーンでの撮影を提案することにより、ユーザへの気付きを促したり、嗜好の幅を広げたりする効果を奏する。

上記の方法を組み合わせることにより、ユーザの好みと多少似てはいるが一部では違う状況の提案を行うことや、ユーザの好みに対する適合度合いを調節することも容易である。ユーザの好みに対する適合度合いについては、モード設定や、各種センサの状態、検出情報の状態に応じて変更可能である。

本実施形態においては、カメラ１０１内で学習する構成について説明した。一方で、外部装置３０１が学習機能を有する場合には、学習に必要なデータが外部装置３０１に送信されて、外部装置３０１でのみ学習が実行される。このような構成でも上記と同様の学習効果を実現可能である。例えば、＜外部装置でカメラパラメータを変更することによる学習＞で説明したように、外部装置３０１が学習したＮＮの重みなどのパラメータを、カメラ１０１に通信により設定することで学習を行う構成にしてもよい。

その他にはカメラ１０１および外部装置３０１が、それぞれ学習機能を有する実施形態がある。例えばカメラ１０１内で学習モード処理（図７：Ｓ７１６）が行われるタイミングで外部装置３０１が持つ学習情報がカメラ１０１に送信されて、学習パラメータのマージが行われ、マージ後のパラメータを使用して学習が行われる。

本実施形態によれば、単一の撮像装置を用いて自動撮影と自動認証登録を行う場合において、自動撮影のための撮影と自動認証登録のための撮影との両立が可能となる。特に、自動認証登録によって自動撮影の精度を向上しつつ、自動撮影の機会を阻害することのない制御を実現できる。

以下、図１７乃至図３５を参照して、撮影対象となる被写体人物を判定して追尾制御を行う実施例について説明する。

自動撮影において、例えば、ユーザが主要な人物の特徴情報をカメラに登録し、登録された人物に対して、優先的に追尾および撮影を行うように指定することで、その人物（優先人物）を中心とした撮影が可能となる。優先人物が検出されなかった場合、あるいは優先人物が検出されたにも関わらず優先人物として認識されなかった場合などにおいても、できるだけ主要な人物が撮影されることが望まれる。また、優先人物が検出されている場合であっても、家族や友人といった別の主要な人物が同時に検出されていた場合には、それらの人物も画角内に収め、無関係の人物はなるべく画角内に入らないような制御が望まれる。

被写体の識別技術として、フレーム単位で画像データを解析して検出された被写体を識別し、識別された被写体の出現頻度を抽出し、出現頻度に基づいて被写体の内から主要被写体を選択する技術がある。この技術では出現頻度の多い順に特定数の被写体が必ず選別される。そのため、人物の絶対数が少ない場合などにおいては、本来の主要人物よりも出現頻度が大幅に少なかったとしても主要人物と判定される可能性がある。また、被写体と撮像装置との間の距離などが考慮されていないので、撮像装置から遠くにいる無関係の人物までもが主要人物に含まれてしまう可能性がある。

以下では、ユーザが撮影指示を与えることなく定期的および継続的に撮影を行う自動撮影カメラにおいて、主要な人物を撮影画角内に収めつつ、無関係の人物が撮影画角内に収まる頻度を低減するための技術を説明する。具体的には、検出された人物の顔サイズ、顔位置、顔信頼度および検出頻度、ユーザ設定に基づき、人物の撮影優先度を判定し、各人物の撮影優先度に応じて撮影対象とする人物を判定する例を示す。撮影優先度の高い人物が検出された場合、その人物および撮影優先度の近い人物を撮影対象として決定し、撮影優先度が一定以上離れた人物を撮影の対象外とする制御が行われる。撮影対象を選別することで、ユーザおよび撮影優先度がユーザに近い人物が撮影される可能性を増やし、無関係の人物が撮影される可能性を低減することができる。

図１７は、鏡筒１０２、チルト回転ユニット１０４、パン回転ユニット１０５、制御ボックス１１００で構成される撮像装置を示すブロック図である。制御ボックス１１００は、鏡筒１０２に含まれる撮影レンズ群および、チルト回転ユニット１０４、パン回転ユニット１０５を制御するためのマイクロコンピュータなどを備える。制御ボックス１１００は撮像装置の固定部１０３内に配置されている。鏡筒１０２のパンニング駆動やチルティング駆動が行われても制御ボックス１１００は固定されている。

鏡筒１０２は、撮像光学系を構成するレンズユニット１０２１と、撮像素子を有する撮像部１０２２とを備える。鏡筒１０２は、チルト回転ユニット１０４、パン回転ユニット１０５によって、チルティング方向、パンニング方向にそれぞれ回転駆動するように制御される。レンズユニット１０２１は、変倍を行うズームレンズやピント調節を行うフォーカスレンズなどで構成され、制御ボックス１１００内のレンズ駆動部１１１３によって駆動制御される。ズーム機構部はズームレンズおよび該レンズを駆動するレンズ駆動部１１１３により構成される。ズームレンズがレンズ駆動部１１１３により光軸方向に移動することにより、ズーム機能が実現される。

撮像部１０２２は撮像素子を有し、レンズユニット１０２１を構成する各レンズ群を通して入射する光を受け、その光量に応じた電荷の情報をデジタル画像データとして画像処理部１１０３に出力する。チルト回転ユニット１０４およびパン回転ユニット１０５は、制御ボックス１１００内の鏡筒回転駆動部１１１２から入力される駆動指示によって鏡筒１０２を回転駆動する。

次に制御ボックス１１００内の構成を説明する。自動撮影における撮影方向は、仮登録判定部１１０８、撮影対象判定部１１１０、駆動制御部１１１１、鏡筒回転駆動部１１１２により制御される。

画像処理部１１０３は、撮像部１０２２より出力されたデジタル画像データを取得する。取得されたデジタル画像データに対して、歪曲補正やホワイトバランス調整、色補間処理などの画像処理が適用される。適用後のデジタル画像データは画像記録部１１０４および被写体検出部１１０７に出力される。また、画像処理部１１０３は仮登録判定部１１０８からの指示に応じて、デジタル画像データを特徴情報抽出部１１０５に出力する。

画像記録部１１０４は、画像処理部１１０３から出力されたデジタル画像データをＪＰＥＧ形式などの記録用フォーマットに変換し、記録媒体（不揮発性メモリなど）に記録する。特徴情報抽出部１１０５は、画像処理部１１０３から出力されたデジタル画像データの中央に位置する顔の画像を取得する。特徴情報抽出部１１０５は、取得した顔画像から特徴情報を抽出して、顔画像および特徴情報を人物情報管理部１１０６へ出力する。特徴情報とは、顔の目や鼻、口などの部位に位置する複数の顔特徴点を示す情報であり、検出された被写体の人物判別に用いられる。特徴情報は、顔の輪郭、顔の色情報、顔の深度情報など、顔の特徴を示す別の情報であってもよい。

人物情報管理部１１０６は、人物ごとに紐づけられた人物情報を記憶部に記憶して管理する処理を行う。図１８を参照して、人物情報の例について説明する。人物情報は、人物ＩＤ、顔画像、特徴情報、登録状態、優先設定、名前によって構成される。人物ＩＤは、複数の人物情報を識別するためのＩＤ（識別情報）であり、同一のＩＤは発行されず、１以上の値が設定される。顔画像データは、特徴情報抽出部１１０５より入力される顔画像のデータである。特徴情報は、特徴情報抽出部１１０５より入力される情報である。登録状態については、「仮登録」と「本登録」の２つの状態が定義されているものとする。「仮登録」は仮登録判定によって主要な人物の可能性があると判断された状態を示す。「本登録」は本登録判定、あるいはユーザ操作の有無によって主要な人物であると判断された状態を示す。仮登録判定および本登録判定の処理の詳細については後述する。優先設定は、ユーザ操作によって、優先的に撮影するかどうかを示す設定である。名前は、ユーザ操作によって人物ごとに付けられた名称である。

人物情報管理部１１０６は、特徴情報抽出部１１０５より顔画像および特徴情報を取得すると、新たに人物ＩＤを発行し、該人物ＩＤと入力された顔画像と特徴情報とを紐づけ、人物情報を新規に追加する。人物情報の新規追加時における登録状態の初期値は「仮登録」、優先設定の初期値は「無し」、名前の初期値は空欄とする。人物情報管理部１１０６は、本登録判定部１１０９より、本登録判定結果（本登録すべき人物ＩＤ）を取得すると、当該人物ＩＤに対応する人物情報の登録状態を「本登録」に変更する。また人物情報管理部１１０６は、ユーザ操作によって通信部１１１４から人物情報（優先設定あるいは名前）の変更指示が入力された場合、指示に従い人物情報を変更する。また人物情報管理部１１０６は、登録状態が「仮登録」である人物に対して、優先設定または名前のいずれかの変更があった場合、主要な人物であると判断し、当該人物の登録状態を「本登録」に変更する。尚、重要度判定部１５１４については後述する。

図１９は、カメラ１０１と通信する携帯端末装置（外部装置）の画面例を示す模式図である。携帯端末装置は、カメラ１０１の通信部１１１４を介して人物情報を取得し、画面上に一覧表示する。図１９に示す例では顔画像、名前、優先設定が画面上に表示される。名前、優先設定に関しては、ユーザからの変更が可能である。名前または優先設定が変更された場合、携帯端末装置は、人物ＩＤに紐づけられた名前または優先設定の変更指示を、通信部１１１４に対して出力する。

被写体検出部１１０７（図１７）は、画像処理部１１０３から入力されるデジタル画像データから被写体検出を行い、検出した被写体の情報（被写体情報）を抽出する。被写体検出部１１０７が人物の顔を被写体として検出する例を示す。被写体情報とは、例えば、検出された被写体の数、顔の位置、顔のサイズ、顔の向き、検出の確からしさを示す顔信頼度などである。また被写体検出部１１０７は人物情報管理部１１０６より取得した各人物の特徴情報と、検出された被写体の特徴情報とを照合して類似度を算出する。類似度が閾値以上であった場合、検出された人物の人物ＩＤ、登録状態および優先設定を被写体情報に追加する処理が実行される。被写体検出部１１０７は、被写体情報を仮登録判定部１１０８、本登録判定部１１０９、および撮影対象判定部１１１０に出力する。被写体情報の例については、図２０を用いて後述する。

仮登録判定部１１０８は、被写体検出部１１０７で検出された被写体に対して、主要な人物の可能性があるかどうか、すなわち仮登録すべきかどうかを判定する。いずれかの被写体が仮登録すべき人物であると判断された場合、仮登録判定部１１０８は仮登録すべき人物を指定のサイズで画面中央に配置するために必要な、パンニング駆動角度、チルティング駆動角度、目標ズーム位置を算出する。算出結果に基づく指令信号は駆動制御部１１１１に出力される。仮登録判定処理の詳細については、図２２を用いて後述する。

本登録判定部１１０９は、被写体検出部１１０７から取得される被写体情報に基づいて、ユーザと近しい人物、すなわち本登録すべき人物を判定する。いずれかの人物が本登録すべき人物であると判断された場合、本登録すべき人物の人物ＩＤは人物情報管理部１１０６に出力される。本登録判定処理の詳細については、図２４から図２６を用いて後述する。

撮影対象判定部１１１０は、被写体検出部１１０７から取得される被写体情報に基づいて、撮影対象とする被写体を判定する。更に撮影対象判定部１１１０は撮影対象とすべき人物の判定結果に基づき、撮影対象とすべき人物を指定のサイズで画角内に収めるための、パンニング駆動角度、チルティング駆動角度、目標ズーム位置を算出する。算出結果に基づく指令信号は駆動制御部１１１１に出力される。撮影対象判定処理の詳細については、図２７を用いて後述する。

駆動制御部１１１１は、仮登録判定部１１０８または撮影対象判定部１１１０からの指令信号を取得すると、レンズ駆動部１１１３および、鏡筒回転駆動部１１１２に制御パラメータの情報を出力する。目標ズーム位置に基づくパラメータはレンズ駆動部１１１３に出力される。パンニング駆動角度およびチルティング駆動角度に基づく目標位置に対応するパラメータは鏡筒回転駆動部１１１２に出力される。

駆動制御部１１１１は、仮登録判定部１１０８から入力があった場合、撮影対象判定部１１１０からの入力は参照せず、仮登録判定部１１０８からの入力値に基づいて各目標位置（目標ズーム位置、前記駆動角度に基づく目標位置）を決定する。鏡筒回転駆動部１１１２は、駆動制御部１１１１からの目標位置と駆動速度に基づいてチルト回転ユニット１０４およびパン回転ユニット１０５に駆動指令を出力する。レンズ駆動部１１１３は、レンズユニット１０２１を構成するズームレンズやフォーカスレンズなどを駆動するためのモーターとドライバ部を有する。レンズ駆動部１１１３は駆動制御部１１１１からの目標位置に基づいて各レンズを駆動させる。

通信部１１１４は、人物情報管理部１１０６に記憶されている人物情報を携帯端末装置などの外部装置へ送信する。また通信部１１１４は、外部装置からの人物情報の変更指示を受信すると、指示信号を人物情報管理部１１０６へ出力する。本実施例にて外部装置からの変更指示は人物情報の優先設定および名前の変更指示であるものとする。

図２０は、画像データ例および被写体検出部１１０７にて取得される被写体情報の例を示す図である。図２０（Ａ）は、被写体検出部１１０７に入力される画像データの一例を示す模式図である。例えば、画像データは水平解像度９６０ピクセル、垂直解像度５４０ピクセルで構成される。図２０（Ｂ）は、図２０（Ａ）に示す画像のデータが被写体検出部１１０７に入力された場合に抽出される被写体情報の例を示す表である。例示した被写体情報は、被写体数および、各被写体の被写体ＩＤ、顔サイズ、顔位置、顔の向き、顔信頼度、人物ＩＤ、登録状態、優先設定によって構成される。

被写体数は検出された顔の数を示す。図２０（Ｂ）の例では、被写体数は４であり、４被写体分の顔のサイズ、顔の位置、顔の向き、顔信頼度、人物ＩＤ、登録状態、優先設定が含まれることを示す。被写体ＩＤは、被写体を識別するための数値であり、新たに被写体が検出されると発行される。同一の被写体ＩＤは発行されず、被写体が検出される度に新しい値で発行される。例えば特定の被写体が一度画角の外に移動したことで検出できなくなり、その後画角内に戻ってきて再検出された場合、たとえ同じ被写体であっても新規に別の値が発行される。

顔サイズ（ｗ，ｈ）は、検出された顔の大きさを示す数値であって、顔の幅（ｗ）と高さ（ｈ）のピクセル数が入力される。本実施例では、幅と高さは同一の値であるとする。顔位置（ｘ、ｙ）は、撮影範囲内における検出された顔の相対位置を示す数値である。画像データの左上隅を始点（０，０）とし、画面右下隅を終点（９６０，５４０）として定義した場合の、始点から顔の中心座標までの水平ピクセル数および垂直ピクセル数が入力される。顔向きは、検出された顔の向きを示す情報であって、正面、右向き４５度、右向き９０度、左向き４５度、左向き９０度、不明のうち、いずれかの情報が入力される。顔信頼度は、検出された人物顔の確からしさを示す情報であって、０～１００のいずれかの値が入力される。顔信頼度については、予め記憶されている複数の標準的な顔テンプレートの特徴情報との類似度から算出されるものとする。

人物ＩＤは、人物情報管理部１１０６で管理する人物ＩＤと同一である。被写体が検出されると、被写体検出部１１０７は人物情報管理部１１０６より取得した各人物の特徴情報と、被写体の特徴情報との類似度を算出する。類似度が閾値以上であった人物の人物ＩＤが入力される。人物情報管理部１１０６より取得された、どの人物とも特徴情報が類似しなかった場合には、ＩＤ値としてゼロが入力される。登録状態および優先設定の情報は、人物情報管理部１１０６で管理される登録状態および優先設定の情報と同一である。人物ＩＤがゼロではない場合、すなわち人物情報管理部１１０６で管理するいずれかの人物であると判断された場合に、人物情報管理部１１０６より取得された該当人物の登録状態および優先設定の情報が入力される。

図２１を参照して、本実施例にて周期的に実行される処理を説明する。図２１は、撮影および人物情報の登録、更新の全体の流れを示すフローチャートである。撮像装置の電源がＯＮされると、撮像装置の撮像部１０２２は各種判定（撮影対象判定、仮登録判定および本登録判定）の判断に用いる画像データを取得するために、周期的な撮影（動画撮影）を開始する。Ｓ５００で反復処理が開始する。

撮影により取得された画像データは画像処理部１１０３に出力され、Ｓ５０１では、各種画像処理を施した画像データが取得される。取得された画像データは各種判定のための画像データであるため、この画像データは画像処理部１１０３から被写体検出部１１０７に対して出力される。言い換えると、ここで取得される画像データは、ユーザが構図の調整およびシャッター操作をして撮影する撮像装置におけるライブビュー表示用の画像データに対応しており、この画像データを取得するための周期的な撮影は、ライブビュー撮影に対応する。取得された画像データを使って、制御ボックス１１００が構図の調整や自動撮影タイミングの判断を行う。

次にＳ５０２で被写体検出部１１０７は、画像データに基づいて被写体検出を行い、被写体情報を取得する（図２０（Ｂ）参照）。被写体の検出および被写体情報の取得の後、Ｓ５０３で本登録判定が行われる。本登録判定では、検出された被写体の情報を用いて、本登録すべき人物の判定が行われる。この判定では、人物情報管理部１１０６の人物情報は更新されるが、パンニング駆動、チルティング駆動、ズーム駆動は実行されない。

Ｓ５０４で仮登録判定が行われる。仮登録判定では、検出された被写体のうちで仮登録すべき被写体を決定し、仮登録すべき被写体の顔の位置に基づいてパンニング駆動角度とチルティング駆動角度が取得される。また、顔の位置とサイズに基づいて目標ズーム位置が取得される。仮登録判定部１１０８は、画像処理部１１０３に対して、特徴情報抽出部１１０５へ画像データを出力するように指示する。仮登録判定において、パンニング駆動角度、チルティング駆動角度、目標ズーム位置が取得されると、これらの情報に基づいてパンニング駆動、チルティング駆動、ズーム駆動が実行されることで、仮登録用の構図が調整される。

Ｓ５０４の処理後、Ｓ５０５に進み、仮登録用の構図調整処理の実行中であるか否かが判定される。Ｓ５０５にて、仮登録用の構図調整処理が実行されている場合、Ｓ５０６へ移行し、仮登録用の構図調整処理が実行されていない場合にはＳ５０７へ移行する。

Ｓ５０６で特徴情報抽出部１１０５は、画像データの中央に位置する被写体の特徴情報を抽出し、抽出された特徴情報を人物情報管理部１１０６へ出力する。またＳ５０７では、撮影対象判定が実行される。撮影対象判定部１１１０は、検出された被写体のうち、撮影対象とする被写体を決定する。撮影対象とする被写体の顔の位置に基づいてパンニング駆動角度とチルティング駆動角度が取得される。また、顔の位置とサイズに基づいて目標ズーム位置が取得される。撮影対象判定により、パンニング駆動角度、チルティング駆動角度、目標ズーム位置が取得されると、これらの情報に基づいてパンニング駆動、チルティング駆動、ズーム駆動が実行されることで、撮影構図が調整される。

Ｓ５０６、Ｓ５０７の後、Ｓ５０８に進み、反復処理の終了判定が行われる。処理を継続する場合には、Ｓ５００に戻って処理を続行する。Ｓ５０１～Ｓ５０７に示す処理は、撮像部１０２２の撮像周期に合わせて繰り返し実行される。

＜仮登録処理＞
図２２を参照し、図２１のＳ５０４に示した仮登録判定処理について説明する。図２２（Ａ）は、仮登録判定部１１０８が行う仮登録判定処理を説明するフローチャートである。本処理は周期的に実行され、主要な人物の可能性があるかどうかについて判定が行われる。図２２（Ｂ）は、仮登録カウントを示した表である。仮登録カウントは、被写体ＩＤに紐づいており、仮登録カウントが５０以上になった場合に、該当する被写体は仮登録の対象人物であると判定される。仮登録判定は、複数周期にわたって実行されるため、今回の周期での判定時に現在の仮登録カウントを記憶し、次回の周期において前回周期までに加算された仮登録カウントを参照して引き継ぐ処理が行われるものとする。

Ｓ６００で検出被写体数に対応する反復処理が開始される。仮登録判定部１１０８は、被写体検出部１１０７から被写体情報を取得すると、各被写体に対し、Ｓ６０１～Ｓ６０９の処理を実行し、いずれかの被写体が仮登録対象として判定されると、Ｓ６１０～Ｓ６１３の処理を実行する。Ｓ６０１では未登録の判定処理が実行される。仮登録判定部１１０８は、被写体情報の人物ＩＤを参照し、未登録の状態（人物ＩＤがゼロ）であると判定した場合、Ｓ６０２の処理に移行させる。また人物ＩＤの値が１以上、すなわち既に登録済であると判定された場合、次の被写体の判定処理に移行する。

Ｓ６０２で仮登録判定部１１０８は、保存しておいた前回フレームまでの仮登録カウントを参照し、同一の被写体ＩＤの仮登録カウントが存在する場合には、その仮登録カウントを引き継ぐ。次にＳ６０３で仮登録判定部１１０８は、顔向きが正面であるかどうかを判定する。顔向きが正面であると判定された場合、Ｓ６０４の処理に進み、顔向きが正面でないと判定された場合、Ｓ６０７の処理に進む。

Ｓ６０４は、ズームワイド時の顔サイズが１００～２００の範囲であるか否かの判定処理である。この条件を満たす場合、Ｓ６０５の処理に進み、条件を満たさない場合にはＳ６０７に進む。Ｓ６０５は、顔信頼度が閾値８０以上であるか否かの判定処理である。この条件を満たす場合、Ｓ６０６の処理に進み、条件を満たさない場合にはＳ６０７に進む。

Ｓ６０３からＳ６０５に示される全ての条件を満たす場合には、Ｓ６０６の処理に進む。Ｓ６０６で仮登録判定部１１０８は、ユーザに近しい主要な人物である可能性があると判断して、仮登録カウントに１を加算する（インクリメント）。他方、Ｓ６０３からＳ６０５に示される各条件のうち、１つでも条件が満たされない場合にはＳ６０７の処理に進む。Ｓ６０７で仮登録判定部１１０８は、対象人物が主要な人物である可能性は低いと判断して、仮登録カウントをゼロに設定する。

Ｓ６０６、Ｓ６０７の処理後、Ｓ６０８で仮登録判定部１１０８は、被写体の仮登録カウントの値を閾値５０と比較する。仮登録カウントの値が５０未満であると判定された場合、Ｓ６０９に移行する。また、仮登録カウントの値が５０以上であると判定された場合には、Ｓ６１１に移行する。

Ｓ６０９で仮登録判定部１１０８は、仮登録カウントの値がゼロより大きいか否かを判定する。仮登録カウントの値がゼロより大きいと判定された場合、Ｓ６１０に移行し、条件を満たさない場合（仮登録カウントの値がゼロである）には仮登録カウントを保存せずにＳ６１４に移行する。また、Ｓ６１０で仮登録判定部１１０８は仮登録カウントを保存してから、Ｓ６１４の判定処理に進む。Ｓ６１４で反復処理の終了判定が行われ、処理を続行する場合には、Ｓ６００に戻って、次の被写体の判定処理に移行する。

Ｓ６１１で仮登録判定部１１０８は、該当する被写体を主要な人物の可能性があると判断して仮登録の対象に設定する。Ｓ６１２で仮登録判定部１１０８は、仮登録対象の被写体の顔が画面中央に適切な顔サイズで配置されるようにパンニング駆動角度、チルティング駆動角度およびズーム移動位置を算出し、算出結果に基づく指令を駆動制御部１１１１に出力する。例えば、顔の中心位置が画面中央５％以内に収まり、且つ顔サイズが１００～２００となった場合に、特徴情報抽出部１１０５において特徴情報の取得が可能になるものとする。

本実施例では特徴情報の取得のために、撮影対象とする被写体が画面中央に配置されるように制御が行われる。これに限らず、被写体の位置を変更せずに、対象とする被写体の顔を含む画像データの一部を切り出すなどの画像処理を行って、特徴情報を抽出してもよい。

Ｓ６１３で仮登録判定部１１０８は、画像処理部１１０３に対し、特徴情報抽出部１１０５へ画像データを出力するように指示する。特徴情報抽出部１１０５は、入力された画像データの中央に位置する顔画像を切り出し、特徴情報を抽出して人物情報管理部１１０６に出力する。人物情報管理部１１０６は、入力された顔画像および特徴情報に基づいて人物情報を新規に追加する。Ｓ６１３の処理後に、一連の処理を終了する。

本実施例の撮像装置におけるズーム位置は０～１００まで設定可能であるものとする。ズーム位置は、その値が小さいほどワイド側であり、その値が大きいほどテレ側であることを意味する。すなわちＳ６０４に示されるズームワイドとは、ズーム位置がゼロであって、最も画角が広い状態を意味する。撮像装置において、ズームワイド時の顔サイズが１００～２００であれば、被写体と撮像装置との距離が約５０ｃｍ～１５０ｃｍであると予測可能と判断される。つまり被写体が撮像装置に近すぎず、遠すぎない距離に位置している場合、主要な人物の可能性があると判定される。図２２の例では、被写体と撮像装置との距離を顔サイズから算出する処理を説明したが、深度センサや、複眼レンズなどを使用した別の方法によって被写体までの距離を測定してもよい。

続いて、図２０（Ｂ）に示す被写体情報が入力された場合の仮登録判定の具体例について説明する。尚、ここでズーム位置をゼロとする。図２０（Ｂ）の被写体１、被写体２は、図２２（Ａ）のＳ６０１でそれぞれ登録済であること（人物ＩＤがゼロではないこと）から、Ｓ６０２以降の処理は実行されない。

図２０（Ｂ）の被写体３は、図２２（Ａ）のＳ６０１で人物ＩＤがゼロである（未登録）ことから、Ｓ６０２以降の処理が実行される。図２２（Ｂ）に示すように、前回周期までの被写体ＩＤ３の仮登録カウントは３０とする。図２２（Ａ）のＳ６０２で、前回周期までの仮登録カウントが参照され、被写体ＩＤが３の仮登録カウントが存在した場合、その情報の引き継ぎが行われる。図２０（Ｂ）の被写体３は顔向きが正面であるので、図２２（Ａ）のＳ６０３からＳ６０４に移行する。Ｓ６０４ではズームワイド時の顔サイズが１２０であるのでＳ６０５に移行し、Ｓ６０５では顔信頼度が８０であるのでＳ６０６に移行する。図２２のＳ６０６で仮登録カウントに１が加算され、３１となる。Ｓ６０８では仮登録カウントが５０未満であるので、Ｓ６０９で仮登録カウントが保存された後、次の被写体の判定へと移行する。

図２０（Ｂ）の被写体４は、図２２（Ａ）のＳ６０１で人物ＩＤがゼロであることから、Ｓ６０２以降の処理が実行される。Ｓ６０２で、前回周期までの仮登録カウントが参照され、被写体ＩＤが４の仮登録カウントが存在した場合、その情報の引き継ぎが行われる。ここでは、前回周期までの被写体ＩＤの仮登録カウントは存在しないとする。図２２（Ａ）のＳ６０３では顔向きが左９０度であるので、Ｓ６０７に移行し、仮登録カウントはゼロに設定される。Ｓ６０８では仮登録カウントが５０未満であるのでＳ６０９に移行し、Ｓ６０９では仮登録カウントがゼロであるため、仮登録カウントは保存されずに処理を終了する。

続いて、図２２（Ａ）のＳ６０８にて仮登録カウントが５０以上となり、パンニング駆動、チルティング駆動、ズーム駆動によって、仮登録の対象となる被写体を画角の中央に配置する例について説明する。図２０（Ｂ）の被写体３が仮登録対象となった場合、被写体の顔位置が所定範囲となるように、パンニング駆動角度、チルティング駆動角度が算出される。所定範囲とは、被写体の顔位置が画面中央５％以内の範囲、すなわちｘ位置座標値が４３２～５２８の範囲でｙ位置座標値が５１３～５６７の範囲である。被写体３の顔サイズは１００～２００に収まっているので、ズーム位置の変更は行われない。

図２３（Ａ）は、図２０（Ａ）に対してパンニング位置、チルティング位置が変更された場合の画像データの例を示す図である。図２３（Ｂ）は、被写体検出部１１０７に図２３（Ａ）に示す画像データが入力された場合に、抽出される被写体情報の例を示す表である。本実施例では、画面の中央に適切なサイズで顔を配置することで、特徴情報抽出部１１０５において特徴情報の取得が可能になる。仮登録判定処理においては、複数周期にわたり特定の条件を満たす未登録の人物は、主要な人物の可能性があると判断されて、人物情報管理部１１０６に追加される。

＜本登録＞
次に図２４を参照し、図２１のＳ５０３に示した本登録判定処理について説明する。図２４（Ａ）は、本登録判定部１１０９が行う本登録判定処理を説明するフローチャートである。本判定処理は仮登録判定と同様に、複数周期にわたって実行され、既に仮登録されている人物の中から、主要な人物が判定される。

図２４（Ｂ）は、人物ＩＤに紐づいたカウントＡ、カウントＢ、本登録カウントを示した表である。カウントＡとカウントＢはそれぞれ異なる条件で加算され、カウントＡの値が５０以上、あるいはカウントＢの値が５０以上であると、本登録カウントが加算される。本登録カウントが１００に到達した場合、該当する被写体は本登録の対象人物として判定される。周期ごとの判定時に現在のカウントＡ、カウントＢ、本登録カウントを記憶し、次回の周期において前回周期までに加算された各種カウントを参照して引き継ぐ処理が行われるものとする。

Ｓ１７００で検出被写体数に対応する反復処理が開始される。本登録判定部１１０９は、被写体検出部１１０７から被写体情報を取得すると、各被写体に対し、図２４（Ａ）のＳ１７０１～Ｓ１７０７の処理を実行する。Ｓ１７０１で本登録判定部１１０９は、「仮登録」の判定を行う。被写体情報の登録状態の参照が行われ、「仮登録」であると判定された場合、Ｓ１７０２に移行する。「仮登録」でないと判定された場合には次の被写体の判定処理に移行する。

Ｓ１７０２で本登録判定部１１０９は、記憶しておいた前回フレームまでの各種カウントを参照し、同一の人物ＩＤの各種カウントが存在する場合には、その各種カウントを引き継ぐ。そして本登録判定部１１０９は、第１の本登録カウント判定を実行し（Ｓ１７０３）、さらに第２の本登録カウント判定を実行する（Ｓ１７０４）。第１の本登録カウント判定は、人物単体の被写体情報による判定である。対象人物と撮像装置との距離および信頼度に応じてカウントＡを加算し、本登録カウントを加算する処理が実行される。また、第２の本登録カウント判定は、既に主要な人物と判定されている「本登録」済み人物との関連度に基づく判定である。具体的には複数の「本登録人物」が同時に検出されており、撮像装置からの距離が同等かどうかに応じてカウントＢを加算し、本登録カウントを加算する処理が実行される。尚、第１および第２の本登録カウント判定処理の詳細については後述する。

Ｓ１７０４の次のＳ１７０５で本登録判定部１１０９は、該当人物の本登録カウントの値を閾値１００と比較する。本登録カウントの値が１００以上であると判定された場合、Ｓ１７０６に移行し、本登録カウントの値が１００未満であると判定された場合にはＳ１７０７に移行する。Ｓ１７０６で本登録判定部１１０９は該当人物の登録状態を「本登録」に変更するように、人物情報管理部１１０６に指示する。またＳ１７０７で本登録判定部１１０９は現在の各種カウントを保存する。Ｓ１７０６、Ｓ１７０７の後、Ｓ１７０８に進み、反復処理の終了判定が行われる。処理を継続する場合、Ｓ１７００に戻って次の検出被写体に対する処理を続行する。

続いて、図２５のフローチャートを参照し、図２４のＳ１７０３（第１の本登録カウント判定）の処理について説明する。Ｓ１８０１で本登録判定部１１０９は、ズームワイド時の顔サイズが１００～２００の範囲内であるか否かを判定する。この条件を満たす場合、Ｓ１８０２に移行し、条件を満たさない場合にはＳ１８０４に移行する。

Ｓ１８０２で本登録判定部１１０９は、顔信頼度が閾値８０以上であるか否かを判定する。この条件を満たす場合、Ｓ１８０３に移行し、条件を満たさない場合にはＳ１８０４に移行する。Ｓ１８０１およびＳ１８０２の各条件をすべて満たす場合、Ｓ１８０３に移行して、カウントＡに対して、「ズームワイド時の顔サイズ／１０」に相当する値を加算する処理が行われる。またＳ１８０４で本登録判定部１１０９は、カウントＡをゼロに設定してから、処理を終了する。

Ｓ１８０３の次にＳ１８０５で本登録判定部１１０９は、カウントＡの値を閾値５０と比較する。カウントＡの値が５０以上であると判定された場合、Ｓ１８０６に移行し、カウントＡが５０未満であると判定された場合には処理を終了する。Ｓ１８０６で本登録判定部１１０９は、本登録カウントに１を加算し、Ｓ１８０７でカウントＡをゼロに設定する。Ｓ１８０７の後、処理を終了する。

図２６のフローチャートを参照し、図２４のＳ１７０４（第２の本登録カウント判定）の処理について説明する。Ｓ１９０１で本登録判定部１１０９は、被写体情報を参照し、登録状態が「本登録」である人物、すなわち既に主要であると判断されている複数の人物が同時に検出されているかどうかを判定する。本登録人物が同時に検出されていると判定された場合、Ｓ１９０２へ移行する。本登録人物が同時に検出されていないと判定された場合、Ｓ１９０５へ移行する。

Ｓ１９０２で本登録判定部１１０９は、被写体情報の顔サイズを参照し、同時に検出されているいずれかの本登録人物と、顔サイズが近いかどうかを判定する。具体的には、例えば判定条件として被写体情報の顔サイズが「本登録人物の顔サイズ±１０％」の範囲内である場合、顔サイズが近いとみなされる。Ｓ１９０２の条件を満たす場合、Ｓ１９０３に移行し、条件を満たさない場合にはＳ１９０５に移行する。

Ｓ１９０３で本登録判定部１１０９は、顔信頼度を閾値８０と比較する。顔信頼度が８０以上であると判定された場合、Ｓ１９０４へ移行し、顔信頼度が８０未満であると判定された場合にはＳ１９０５に移行する。Ｓ１９０４で本登録判定部１１０９は、カウントＢに対して「ズームワイド時の顔サイズ／１０」に相当する値を加算する。またＳ１９０５で本登録判定部１１０９は、カウントＢをゼロに設定してから処理を終了する。

Ｓ１９０４の次にＳ１９０６で本登録判定部１１０９は、カウントＢの値を閾値５０と比較する。カウントＢの値が閾値５０以上であると判定された場合、Ｓ１９０７に移行する。カウントＢの値が閾値５０未満であると判定された場合には処理を終了する。Ｓ１９０７で本登録判定部１１０９は、本登録カウントに１を加算し、Ｓ１９０８でカウントＢをゼロに設定してから処理を終了する。

続いて、本登録判定部１１０９が、図２０（Ｂ）に示す被写体情報を取得した場合の本登録判定の具体例について説明する。尚、ズーム位置をゼロとする。図２０（Ｂ）の被写体１、被写体３、被写体４は、図２４（Ａ）のＳ１７０１でそれぞれ登録状態が「仮登録」ではないので、Ｓ１７０２以降の処理は実行されない。図２０（Ｂ）の被写体２は、図２４（Ａ）のＳ１７０１で登録状態が「仮登録」であることから、Ｓ１７０２以降の処理が実行される。

図２４（Ａ）のＳ１７０２で、前回周期までのカウントＡ、カウントＢおよび本登録カウントが参照され、人物ＩＤが４の各種カウントが存在した場合、その情報の引き継ぎが行われる。図２４（Ｂ）に示すように、前回周期までの人物ＩＤが４のカウントＡ、カウントＢ、本登録カウントを、それぞれ３０、４０、７０とする。カウントＡとカウントＢの各値の和が本登録カウントの値である。図２４（Ａ）のＳ１７０３で、第１の本登録カウント判定が実行される。図２５のＳ１８０１ではズームワイド時の顔サイズが１１０であるのでＳ１８０２に移行し、Ｓ１８０２では顔信頼度が９０であるのでＳ１８０３に移行する。図２５のＳ１８０３では、ズームワイド時の顔サイズが１１０であることから、カウントＡは１１（＝１１０／１０）だけ加算されて、４１（＝３０＋１１）となる。図２５のＳ１８０５では、カウントＡの値が閾値５０未満であるので、第１の本登録カウント判定処理を終了する。

続いて、図２４（Ａ）のＳ１７０４で、第２の本登録カウント判定が実行される。図２６のＳ１９０１で、被写体情報の参照が行われて、同時に検出されている被写体１の登録状態が「本登録」であることが判明する。本登録人物が同時に検出されていると判断され、Ｓ１９０２へ移行する。図２６のＳ１９０２では、本登録人物である被写体１と、被写体２との間で顔サイズが比較される。被写体１の顔サイズが１２０であることから、顔サイズが１２０±１０％すなわち、１０８～１３２である場合には、顔サイズが近いと判断される。被写体２の顔サイズは１１０であることから、本登録人物と顔サイズが近いと判断されてＳ１９０３へ移行する。Ｓ１９０３では顔信頼度が９０であるので、Ｓ１９０４に移行する。

図２６のＳ１９０４では、ズームワイド時の顔サイズが１１０であることから、カウントＢは１１（＝１１０／１０）だけ加算されて、５１（＝４０＋１１）となる。図２６のＳ１９０６では、カウントＢが５０以上であるので、Ｓ１９０７に移行する。Ｓ１９０７で本登録カウントの値７０に１が加算されて７１となる。Ｓ１９０８ではカウントＢがゼロに設定されてから、第２の本登録カウント判定処理を終了する。続いて、図２４（Ａ）のＳ１７０５では、本登録カウントの値が閾値１００未満であるので、Ｓ１７０７に移行する。人物ＩＤが４のカウントＡを４１、カウントＢを０、本登録カウントを７１として各種カウントの保存処理が実行される。

本登録判定処理によって、撮像装置との距離が所定範囲以内であるか、あるいは既に主要な人物であると判断されている人物との距離が近い、という条件が複数周期にわたり満たし続けた仮登録人物は、主要な人物であると判断される。この判断結果に基づいて人物情報管理部１１０６は更新を行うことができる。

＜撮影対象判定＞
図２７を参照し、図２１のＳ５０７に示した撮影対象判定処理の詳細を説明する。図２７（Ａ）は、撮影対象判定部１１１０が行う処理を説明するフローチャートである。本処理は、周期ごとに実行され、検出されている人物の中から撮影対象となる人物が判定される。撮影対象判定部１１１０は、被写体検出部１１０７から被写体情報を取得すると、Ｓ１００１～Ｓ１００８の処理を実行し、撮影対象となる被写体を判定する。その判定結果に基づきＳ１００９、Ｓ１０１０の処理にてパンニング駆動角度、チルティング駆動角度、ズーム移動位置が算出される。

Ｓ１００１で撮影対象判定部１１１０は、被写体情報を参照し、優先設定が「有り」の人物が検出されているかどうかを判定する。該当人物が検出されている場合、Ｓ１００２へ移行し、該当人物が検出されていない場合にはＳ１００５へ移行する。

Ｓ１００２で撮影対象判定部１１１０は、優先設定が「有り」の人物を撮影対象人物に追加し、Ｓ１００３に移行する。Ｓ１００３で撮影対象判定部１１１０は、被写体情報を参照し、登録状態が「本登録」である人物が検出されているかどうかを判定する。該当人物が検出されている場合、Ｓ１００４へ移行し、該当人物が検出されていない場合にはＳ１００９へ移行する。Ｓ１００４で撮影対象判定部１１１０は、登録状態が「本登録」の人物を撮影対象人物に追加し、Ｓ１００９に移行する。

優先設定「有り」の人物が検出されている場合には、Ｓ１００１～Ｓ１００４の処理によって、優先設定「有り」の人物と登録状態が「本登録」の人物が、撮影対象人物であると判定される。Ｓ１００５で撮影対象判定部１１１０は、被写体情報を参照し、登録状態が「本登録」である人物が検出されているかどうかを判定する。該当人物が検出されている場合、Ｓ１００６へ移行し、該当人物が検出されていない場合にはＳ１００９へ移行する。Ｓ１００６で撮影対象判定部１１１０は、登録状態が「本登録」である人物を撮影対象人物に追加し、Ｓ１００７に移行する。

Ｓ１００７で撮影対象判定部１１１０は、被写体情報を参照し、登録状態が「仮登録」である人物が検出されているかどうかを判定する。該当人物が検出されている場合はＳ１００８へ移行し、該当人物が検出されていない場合にはＳ１００９へ移行する。Ｓ１００８で撮影対象判定部１１１０は、登録状態が「仮登録」である人物を撮影対象人物に追加し、Ｓ１００９に移行する。

優先設定「有り」の人物が検出されておらず、登録状態が「本登録」である人物が検出されている場合には、Ｓ１００６～Ｓ１００８の処理によって撮影対象の人物が判定される。つまり、登録状態が「本登録」である人物および登録状態が「仮登録」である人物が、撮影対象の人物であると判定される。

Ｓ１００９で撮影対象判定部１１１０は、撮影対象となる人物の数を判定する。撮影対象となる人物が１人以上であると判定された場合、Ｓ１０１０に移行し、撮影対象となる人物の数がゼロであると判定された場合には処理を終了する。Ｓ１０１０で撮影対象判定部１１１０は、撮影対象が画角内に収まるようにパンニング駆動角度、チルティング駆動角度、およびズーム移動位置を算出し、駆動制御部１１１１に出力する。

図２７（Ｂ）は、被写体情報の登録状態および優先設定に応じた人物の重要度を例示した表である。撮影優先度は１～４の数値で表され、１が最も撮影優先度が高く、４が最も撮影優先度が低いものとする。
・撮影優先度が１の人物は、登録状態が「本登録」で、優先設定が「有り」の人物である。
・撮影優先度が２の人物は、登録状態が「本登録」で、優先設定が「無し」の人物である。
・撮影優先度が３の人物は、登録状態が「仮登録」の人物である。
・撮影優先度が４の人物は、未登録の人物である。

図２７（Ａ）の処理によれば、撮影優先度が１の人物が検出された場合、撮影対象判定部１１１０は撮影優先度１～２の人物を撮影対象とし、撮影優先度３～４の人物は撮影対象としない。また、撮影優先度が１の人物が検出されず、撮影優先度が２の人物が検出された場合、撮影対象判定部１１１０は撮影優先度２～３の人物を撮影対象とし、撮影優先度が４の人物は撮影対象としない。さらに、撮影優先度が１または２の人物が検出されなかった場合には、どの被写体も撮影対象としないという判定結果となる。

図２８は、画像データと被写体情報の例を示す図である。図２８（Ａ）は、被写体検出部１１０７に入力される画像データの一例を示す模式図である。図２８（Ｂ）は、被写体検出部１１０７に、図２８（Ａ）に示す画像データが入力された場合、抽出される被写体情報の例を示す表である。図２８（Ｂ）の例では、被写体数は６であり、６被写体分の被写体ＩＤ、顔のサイズ、顔の位置、顔の向き、顔信頼度、人物ＩＤ、登録状態、優先設定の情報を示す。撮影対象判定部１１１０が、図２８（Ｂ）に示す被写体情報を取得した場合の撮影対象判定の具体例について説明する。尚、ズーム位置はゼロとする。

図２７のＳ１００１にて、図２８（Ｂ）の被写体情報が参照されて、被写体２の優先設定が「有り」であることからＳ１００２へ移行し、被写体２が撮影対象として追加される。Ｓ１００３では、図２８（Ｂ）の被写体情報が参照されて、被写体１の登録状態が「本登録」であることからＳ１００４へ移行し、被写体１が撮影対象として追加される。

図２７のＳ１００９では、撮影対象人数が２であるのでＳ１０１０に移行する。Ｓ１０１０では、被写体１と被写体２が画角内に収まるようにパンニング駆動角度、チルティング駆動角度、ズーム移動位置が算出される。角度や位置の具体的な数値の算出方法については説明を割愛する。絶対値で指定する方法や、指定可能な駆動角度や位置の最小値を設けて、複数周期にまたがり目標の角度や位置に徐々に変化させる方法などがある。

図２９は、算出されたパンニング駆動角度、チルティング駆動角度、ズーム移動位置の入力にしたがって、駆動制御部１１１１が各駆動部を制御した結果である画像データ例を示す模式図である。図２９の例では、右側の被写体１と左側の被写体２の顔位置の重心が画面の中央部に配置され、且つそれぞれの被写体の顔サイズが１５０～２００に収まるようなパンニング駆動、チルティング駆動、ズーム位置移動の制御が行われている。

上記の制御によって、撮影対象である、撮影優先度が高いと判断された被写体１と被写体２を画角内に収めつつ、撮影対象外である、撮影優先度が低いと判断された被写体３～６を画角の入れない撮影を行うことができる。撮影優先度が一定以上の人物が検出された場合、撮影優先度が近い人物を撮影対象とし、主要な人物から撮影優先度が離れた人物を撮影対象としない処理が実行される。その結果として、主要な人物を撮影対象としつつ、関係度の低い人物を極力撮影対象から除外した撮影を実施することができる。

次に、図１７、図３０乃至図３４を参照して、重要度判定部１５１４が追加された実施例について説明する。本実施例では、撮影優先度を判断するための人物情報をさらに細分化し、各人物の検出間隔に応じて重要度を増減させることで、主要な人物の判別精度を向上させる例を示す。

図１７を参照して、制御ボックス１１００による処理の詳細について前記実施例との相違点を主に説明する。人物情報管理部１１０６は、人物ごとに紐づけられた人物情報の記憶および管理を行う。図３０を用いて人物情報について以下に説明する。

図３０は、重要度を含む人物情報の例を示す表である。重要度以外の項目は、前記例と同様であるため、それらの説明を省略する。重要度は１～１０の１０段階の数値が設定され、１が最も重要度が低く、１０が最も重要度が高いとする。尚、重要度の下限値については、名前が空欄の場合に「０」であり、名前が入力されている場合に「５」であるとする。

人物情報管理部１１０６は、特徴情報抽出部１１０５より顔画像および特徴情報を取得すると、新たに人物ＩＤを発行し、該人物ＩＤと入力された顔画像と特徴情報とを紐づけ、人物情報を新規に追加する。人物情報の新規追加時における登録状態の初期値は「仮登録」、重要度は「０」（未設定）、優先設定の初期値は「無し」、名前の初期値は空欄とする。人物情報管理部１１０６は、本登録判定部１１０９より、本登録判定結果（本登録すべき人物ＩＤ）を取得すると、該当人物の人物ＩＤに対応する人物情報の登録状態を「本登録」に変更し、重要度を「１」に設定する。また、ユーザ操作によって通信部１１１４から人物情報（優先設定の情報または名前）の変更指示が入力され場合、人物情報管理部１１０６は指示に従い人物情報を変更する。また人物情報管理部１１０６は、登録状態が「仮登録」である人物に対して、優先設定または名前のいずれかの変更があった場合、該当人物の登録状態を「本登録」に変更し、名前の変更があった場合には、重要度を「５」に設定する。

人物情報管理部１１０６は、重要度判定部１５１４より、人物ＩＤに対する重要度の加算指示または減算指示を受けると、該当人物の人物ＩＤに対応する人物情報の重要度の加算または減算を行う。被写体検出部１１０７は、画像処理部１１０３からのデジタル画像データから被写体検出を行い、検出された被写体の情報を抽出する。例えば、被写体検出部１１０７が人物の顔を被写体として検出する例について説明する。被写体の情報とは、例えば、検出された被写体の数、顔の位置、顔のサイズ、顔の向き、検出の確からしさを示す顔信頼度などである。被写体の情報の例については、図３１を用いて後述する。

被写体検出部１１０７は、人物情報管理部１１０６より取得した各人物の特徴情報と、検出した被写体の特徴情報とを照合して類似度を算出する。類似度が閾値以上である場合、被写体検出部１１０７は検出した人物の人物ＩＤ、登録状態、重要度および優先設定を被写体の情報に追加する。被写体検出部１１０７は、被写体の情報を仮登録判定部１１０８、本登録判定部１１０９、撮影対象判定部１１１０、および重要度判定部１５１４に出力する。

撮影対象判定部１１１０は、被写体検出部１１０７から取得した被写体の情報に基づいて、撮影対象とする被写体を判定する。撮影対象判定部１１１０は更に、撮影対象とすべき人物の判定結果に基づき、撮影対象とすべき人物を指定のサイズで画角内に収めるための、パンニング駆動角度、チルティング駆動角度、目標ズーム位置を算出する。算出結果に基づく指令は駆動制御部１１１１に出力される。撮影対象判定処理の詳細については、図３４を用いて後述する。

図３１は、画像データおよび被写体情報の例を示す図である。図３１（Ａ）は、被写体検出部１１０７に入力される画像データの一例を示す模式図である。図３１（Ｂ）は、被写体検出部１１０７に図３１（Ａ）に示す画像データが入力された場合、抽出される被写体情報の例を示す表である。被写体情報が、被写体数、各被写体の被写体ＩＤ、顔サイズ、顔位置、顔の向き、顔信頼度、人物ＩＤ、登録状態、重要度、優先設定によって構成される例を示す。重要度以外の項目に関しては、前記例と同様であるため、それらの説明を省略する。

重要度は、人物情報管理部１１０６が管理する重要度と同一である。人物ＩＤがゼロでない場合、すなわち人物情報管理部１１０６が管理するいずれかの人物であると判断された場合、人物情報管理部１１０６より取得した該当人物の重要度が取得される。

図３２は、本実施例における撮影および人物情報の登録、更新の全体の流れを示すフローチャートであり、以下の処理は周期的な処理として実行される。撮像装置の電源がＯＮされると、撮像部１０２２は各種判定に用いる画像データを取得するために、周期的な撮影（動画撮影）を開始する。各種判定とは撮影対象判定、仮登録判定、本登録判定、および重要度判定である。Ｓ２８００で反復処理が開始される。

Ｓ２８０１では、撮影により取得された画像データは画像処理部１１０３に出力され、各種画像処理を施した画像データが取得される。Ｓ２８０２にて被写体が検出され、被写体情報が取得されると、Ｓ２８０３で本登録判定、Ｓ２８０４で重要度判定、Ｓ２８０５で仮登録判定が行われる。仮登録判定処理および本登録判定処理については説明を省略する。Ｓ２８０４で重要度判定部１５１４は、検出された被写体の情報を用いて、人物の重要度を判定する。重要度判定では、人物情報管理部１１０６の人物情報が更新されるが、パンニング駆動、チルティング駆動、ズーム駆動は実行されない。

Ｓ２８０６は、仮登録用の構図調整処理が実行中であるか否かの判定処理である。仮登録用の構図調整処理が実行中であると判定された場合、Ｓ２８０７に移行し、仮登録用の構図調整処理が実行中でないと判定された場合にはＳ２８０８に移行する。Ｓ２８０７で特徴情報抽出部１１０５は、画像データの中央に位置する被写体の特徴情報を抽出し、人物情報管理部１１０６へ出力する。またＳ２８０７では撮影対象判定が実行される。

Ｓ２８０７、Ｓ２８０８の後、Ｓ２８０９に進み、反復処理の終了判定が行われ、処理を続行する場合、Ｓ２８００へ戻る。Ｓ２８０１～Ｓ２８０８の処理は撮像部１０２２の撮像周期に合わせて繰り返し実行される。

次に図３３を参照し、図３２のＳ２８０４に示した重要度判定処理について説明する。図３３（Ａ）は、重要度判定部１５１４が行う処理を説明するフローチャートである。重要度判定処理は複数周期にわたって実行され、既に本登録されている人物の重要度の判定と更新が行われる。図３３（Ｂ）は、人物ＩＤに紐づいた最終検出日時および最終更新日時を示した表である。最終検出日時は、最後に本登録人物が検出された日時である。最終更新日時は、最後に本登録人物の重要度が更新された日時である。最終検出日時および最終更新日時は、本登録人物の人数分のデータがメモリに記憶されており、周期ごとの判定時に参照されるものとする。

重要度判定部１５１４は、被写体検出部１１０７から被写体情報を取得すると、Ｓ２９０１の処理を実行後、検出被写体に対しＳ２９０２～Ｓ２９０６の処理を実行し、また本登録人物に対してＳ２９０７～Ｓ２９０９の処理を実行する。Ｓ２９０１で重要度判定部１５１４は、カメラ１０１のシステム時刻より現在日時を取得する。そしてＳＴＡで検出被写体数に対応する反復処理が開始される。Ｓ２９０２で重要度判定部１５１４は、被写体情報を参照し、登録状態が「本登録」であるか否かを判定する。「本登録」と判定された場合、Ｓ２９０３へ移行し、「本登録」以外であると判定された場合には、ＳＴＢへ移行する。

Ｓ２９０３で重要度判定部１５１４は、検出された人物に対し、最終検出日時に現在日時を設定する。Ｓ２９０４で重要度判定部１５１４は、現在日時が最終更新日時から３０分以上経過しており、且つ２４時間以内であるか否かを判定する。この条件を満たす場合、Ｓ２９０５に移行し、条件を満たさない場合には、ＳＴＢへ移行する。

Ｓ２９０５で重要度判定部１５１４は、重要度に１を加算するように、人物情報管理部１１０６へ指示し、Ｓ２９０６では最終更新日時に現在日時を設定する。そしてＳＴＢで反復処理の終了判定が行われ、処理を続行する場合、ＳＴＡへ戻って、次の被写体の処理へと移行する。

次に、本登録の各人物に対して、以下の処理が実行される。ＳＴＣで本登録被写体の人数に対応する反復処理が開始される。Ｓ２９０７で重要度判定部１５１４は、現在日時を参照し、最終検出日時および最終更新日時ともに１週間以上間隔が空いているか否かを判定する。１週間以上の未検出および未更新と判定された場合、Ｓ２９０８に移行し、１週間内に検出または更新が行われたと判定された場合には、ＳＴＤへ移行する。

Ｓ２９０８で重要度判定部１５１４は、重要度から１を減算するように人物情報管理部１１０６へ指示し、Ｓ２９０６では最終更新日時に現在日時を設定する。そしてＳＴＤで反復処理の終了判定が行われ、処理を続行する場合、ＳＴＣに戻って、次の本登録被写体に対する処理に移行する。

重要度判定処理によって、１日以内おきに再検出された人物の重要度が増加していき、また、１週間以上検出されない被写体に関しては重要度が減少していく。つまり、頻繁に現れる主要な人物の重要度を上げることができるとともに、めったに見かけないか、あるいは本登録されてしまった無関係の人物の重要度を下げることができる。

図３４を参照して、図３２のＳ２８０８に示した撮影対象判定処理について説明する。図３４（Ａ）は、撮影対象判定部１１１０が行う処理を説明するフローチャートである。本処理は、周期ごとに実行され、検出されている人物の中から撮影対象となる人物が判定される。図３４（Ｂ）は、被写体情報の登録状態、重要度および優先設定に応じた人物の撮影優先度を示す表（撮影優先度テーブル）である。撮影優先度は１～１３の数値で表され、１が最も撮影優先度が高く、１３が最も撮影優先度が低いものとする。
・撮影優先度が１の人物は、登録状態が「本登録」で、優先設定が「有り」の人物である。
・撮影優先度が２～１１の人物は、登録状態が「本登録」で、優先設定が「無し」の人物であり、重要度が高いほど撮影優先度が高い。
・撮影優先度が１２の人物は、登録状態が「仮登録」の人物である。
・撮影優先度が１３の人物は、未登録の人物である。

撮影対象判定部１１１０は、被写体検出部１１０７から被写体情報を取得すると、Ｓ３００１～Ｓ３００４の処理を実行し、撮影対象となる被写体を判定する。その判定結果に基づきＳ３００５、Ｓ３００６の処理にてパンニング駆動角度、チルティング駆動角度、ズーム移動位置を算出する処理が行われる。

Ｓ３００１で撮影対象判定部１１１０は、被写体情報および図３４（Ｂ）に示した撮影優先度テーブルを参照し、各被写体の撮影優先度を取得する。Ｓ３００２で撮影対象判定部１１１０は、検出された全被写体のうちで最も撮影優先度の高い被写体の撮影優先度が、閾値１０以下であるか否かを判定する。この条件を満たす場合、ＳＴＥへ移行し、条件を満たさない場合には撮影対象がいないと判断されて処理を終了する。ＳＴＥで検出被写体数に対応する反復処理が開始される。Ｓ３００３で撮影対象判定部１１１０は、各被写体の撮影優先度が、全被写体のうち最も高い撮影優先度に２を加算した値未満であるか否かを判定する。この条件を満たす場合、Ｓ３００４に移行し、条件を満たさない場合には、ＳＴＦに移行する。ＳＴＦで反復処理の終了判定が行われ、処理を続行する場合、ＳＴＥに戻って、次の検出被写体の処理に移行する。

Ｓ３００４で撮影対象判定部１１１０は、判定した検出被写体を撮影対象として追加する。例えば、最も撮影優先度の高い被写体の撮影優先度が「４」であれば、撮影優先度が「４」、「５」、「６」の被写体が撮影対象として判定される。また最も撮影優先度の高い被写体の撮影優先度が「７」であれば、撮影優先度が「７」、「８」、「９」の被写体が撮影対象として判定される。Ｓ３００４の次にＳＴＦに移行し、反復処理の終了判定が行われ、処理を続行する場合、ＳＴＥに戻って、次の検出被写体の処理に移行する。反復処理を終了すると、Ｓ３００５に進む。

Ｓ３００５で撮影対象判定部１１１０は、撮影対象となる人物が１人以上いるか否かを判定する。この条件を満たす場合、Ｓ３００６に移行し、条件を満たさない場合には処理を終了する。Ｓ３００６で撮影対象判定部１１１０は、撮影対象が画角内に収まるようにパンニング駆動角度、チルティング駆動角度、およびズーム移動位置を算出し、駆動制御部１１１１に出力する。その後、一連の処理を終了する。

上記制御によって、撮影対象である被写体、すなわち撮影優先度が高いと判断された被写体を画角内に収めつつ、撮影対象ではない被写体、すなわち撮影優先度が低いと判断された被写体は画角に入れない撮影を行うことができる。撮影優先度が相対的に高い人物が検出された場合には、撮影優先度が近い複数の人物は撮影対象と判断され、また撮影優先度が離れた人物は撮影対象と判断されない。主要な人物を撮影対象としつつ、関係度の低い人物を極力撮影対象から除外した撮影を行うことができる。

図３６を参照して、図９のＳ９０３で人物の登録専用状態に遷移した場合の処理について説明する。本処理は、人物の登録専用の状態とすることで、ユーザ自らが撮像装置を被写体人物に向けて人物登録を容易にするものである。

Ｓ３６００では、探索追尾処理を停止する。ユーザが撮像装置を被写体人物に向け易くするためにパンニング駆動及びチルティング駆動及びズーム駆動を停止する。

Ｓ３６０１では、自動撮影処理を停止する。撮影処理による割り込みによって登録の機会を逸しないように自動撮影の判定及び撮影処理を停止する。

Ｓ３６０２では、被写体検出処理である。図１７の被写体検出部１１０７を用いて被写体人物を検出する。

Ｓ３６０３では、Ｓ３６０２での被写体検出結果を参照し、被写体人物が存在する場合にはＳ３６０４へ移行する。被写体人物が存在しない場合はＳ３６０８に移行する。

Ｓ３６０４では、画角調節処理である。図１２（Ｂ）を用いて説明した方法を用いて人物登録に適した画角に調節する。

Ｓ３６０５では、特徴情報抽出処理である。画像データから被写体人物の特徴情報を抽出する。

Ｓ３６０６では、Ｓ３６０５で抽出した特徴情報を評価し、正常に特徴情報が取得できた場合にはＳ３６０７に移行し、特徴を捉えることができなかった場合にはＳ３６１１に移行する。

Ｓ３６０７では、Ｓ３６０５及びＳ３６０６によって特徴情報が正しく取得できた場合の処理であり、人物登録が成功したことをユーザに通知する。音声出力部２１８及びＬＥＤ制御部２２４を用いて、所定の登録成功時の音声パターンと発光パターンを実行する。

Ｓ３６０８では、Ｓ３６０３において被写体人物が発見できなかった場合の処理である。被写体人物が検出できるのを所定時間待つためのカウンタを加算する。

Ｓ３６０９では、Ｓ３６０８で加算したカウンタが所定回数を超えたか否か判定し、カウンタが所定回数以上に達した場合はＳ３６１１に移行する。カウンタが所定回数未満の場合にはＳ３６１０に移行する。

Ｓ３６１０では、画角振り処理である。Ｓ３６０３で被写体人物が発見できず、Ｓ３６０９でカウンタが所定回数未満である場合は、所定時間のあいだ、被写体人物が検出できるまで待機する。このとき、ズーム駆動制御部２０２を用いてズーム駆動をおこなうことで被写体人物の検出を試みる。具体的には、ズーム駆動をワイド端からミドル領域まで動かすことで、被写体人物が撮影画角の外側に存在する場合や被写体人物が遠いために検出できない場合に対応することが可能である。ズーム駆動をおこないＳ３６０２に復帰して被写体人物の検出を試みる。

Ｓ３６１１では、被写体登録に失敗した場合の通知処理である。音声出力部２１８及びＬＥＤ制御部２２４を用いて、所定の登録失敗時の音声パターンと発光パターンを実行する。

Ｓ３６１２では、Ｓ３６００で停止した探索追尾処理を再開する。

Ｓ３６１３では、Ｓ３６０１で停止した自動撮影処理を再開する。

以上で人物の登録専用状態に遷移した場合の処理についての説明を終了する。

（変形例）
以下に前記実施例の変形例を説明する。前記実施例では、被写体情報を人物の顔の特徴に関わる情報とした。変形例では、被写体情報として、動物、物体などの人物以外の被写体に関する特徴情報を用いることができる。

図３５は、人物に加えて動物の顔情報を検出可能とする例を示す。図３５（Ａ）は被写体検出部１１０７に入力される画像データの一例を示す模式図である。図３５（Ｂ）は、図３５（Ａ）の画像データに対応する被写体情報を示す表である。動物や物体を撮影する場合、仮登録判定および本登録判定は人物とは別の処理として実行される。あるいは、動物または物体と人物とが混在している場合には、被写体の種別に応じて重要度を重み付けして撮影対象を判定する処理などが実行される。

また前記実施例では、撮像部１０２２を含む鏡筒１０２がＸ軸およびＹ軸の両方を中心に回転することにより、パンニング駆動およびチルティング駆動が可能な例である。Ｘ軸とＹ軸と両方を中心に回転可能でなくても、いずれか一方の軸を中心に回転可能であれば本発明を適用可能である。例えば、Ｙ軸を中心に回転可能な構成の場合、被写体の向きに基づいてパンニング駆動が行われる。

また前記実施例では、撮像光学系と撮像素子とを備える鏡筒と、鏡筒による撮像方向を制御する撮像制御装置とが一体化された撮像装置を説明した。本発明はこれに限定されない。例えば、撮像装置はレンズ装置を交換可能な構成としてもよい。また、パンニング方向およびチルティング方向に駆動する回転機構を備える雲台に、撮像装置が取り付けられた構成がある。撮像装置は撮像機能と、その他の機能を有していてもよい。例えば、撮像機能を有するスマートフォンを固定することができる雲台とスマートフォンとを組み合わせる構成がある。また、鏡筒およびその回転機構（チルト回転ユニットとパン回転ユニット）と、制御ボックスとは、物理的に接続されている必要はない。例えば、Ｗｉ－Ｆｉ（登録商標）などの無線通信を介して回転機構やズーム機能の制御が行われてもよい。

また、人物の特徴情報を撮像装置で取得する実施例について説明した。これに限らず、例えば別の顔登録用の撮像装置、あるいは携帯端末装置などの外部機器から人物情報における顔画像や特徴情報を取得して登録または追加を行う構成としてもよい。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１カメラ
３０１，５０１外部装置

Claims

撮像手段により取得された画像データから検出される被写体の探索を行う探索手段と、
検出された被写体を認証して記憶する認証登録手段と、
前記認証登録手段により自動認証登録を行う第１の条件を満たすか否かの認証登録判定、および、前記撮像手段により自動撮影を行う第２の条件を満たすか否かの撮影判定を行い、前記自動撮影および自動認証登録のタイミングを制御する制御手段と、を備え、
前記制御手段は、
前記探索手段による探索の制御を行いつつ、検出された被写体に係る前記認証登録判定と前記撮影判定を実行することにより、前記自動認証登録のタイミングを決定し、
前記探索手段による探索及び前記制御手段による自動撮影を停止し、前記認証登録手段による被写体の認証のみを行う状態をさらに有する
ことを特徴とする画像処理装置。
前記制御手段は、前記認証登録判定を前記撮影判定よりも優先する
ことを特徴とする請求項１に記載の画像処理装置。
前記認証登録判定および撮影判定の結果、前記第１の条件を満たしている場合、前記認証登録手段は検出された被写体の登録を行い、前記第１の条件を満たしておらず、かつ前記第２の条件を満たしている場合、前記制御手段は前記自動撮影の制御を行う
ことを特徴とする請求項２に記載の画像処理装置。
撮影方向を変更する第１の変更手段と、
撮影画角を変更する第２の変更手段と、を備え、
前記制御手段は前記第１または第２の変更手段により、前記自動撮影および自動認証登録にて、前記撮影方向または前記撮影画角を変更するタイミングを制御する
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
前記第１の変更手段は、前記撮像手段を複数の方向に回動させる駆動手段を備え、
前記第２の変更手段は、レンズの駆動または画像処理によって前記自動撮影の画角を変更する
ことを特徴とする請求項４に記載の画像処理装置。
前記制御手段は、前記第１の条件を満たしていると判定した場合、前記第１の変更手段により、被写体の顔を撮影画角の中央に配置させる制御を行う
ことを特徴とする請求項４または請求項５に記載の画像処理装置。
前記制御手段は、前記第１の条件を満たしていると判定した場合、前記第２の変更手段により、被写体の顔の大きさを、予め設定された大きさに変更する制御を行う
ことを特徴とする請求項４または請求項５に記載の画像処理装置。
前記制御手段は、前記第２の条件を満たしており、かつ検出された被写体が人物であると判定した場合、前記第２の変更手段により、撮影画角内に前記被写体が収まる画角に変更する制御を行う
ことを特徴とする請求項４または請求項５に記載の画像処理装置。
前記制御手段は、撮影の回数または撮影の時間間隔によって、前記認証登録判定の結果を前記撮影判定の結果よりも優位に設定する
ことを特徴とする請求項２に記載の画像処理装置。
前記制御手段は、前記第１の条件を満たしていると判定し、かつ外部装置から撮影指示が行われた場合、前記自動認証登録の処理を中断する制御を行う
ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
前記第１の条件は、被写体の顔情報を取得し、顔検出の信頼度が閾値より高いこと、もしくは前記信頼度が前記閾値より高い状態が継続していること、または、前記撮像手段に対して被写体の顔が正面の顔を向いていることである
ことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
前記制御手段は、検出された被写体の情報および撮影の履歴情報を取得して撮影のスコアの計算および判定用の閾値の算出を行い、
前記第２の条件は前記スコアが前記閾値を超えることである
ことを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
前記制御手段は、前記第１の条件を満たしていると判定した場合、前記自動認証登録の前に前記第２の変更手段によって撮影画角を調節する制御を行う
ことを特徴とする請求項４または請求項５に記載の画像処理装置。
前記画像データの機械学習によって算出または変更される情報を取得する取得手段を備え、
前記制御手段は、前記取得手段によって取得された情報を用いて、前記被写体の登録判定、または前記第２の条件に基づく撮影判定を行う
ことを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
前記制御手段は、前記取得手段によって取得された情報を用いて、低消費電力状態への遷移条件または低消費電力状態を解除する条件を満たすか否かの判定を行い、判定の結果に基づく電源供給の制御を行う
ことを特徴とする請求項１４に記載の画像処理装置。
前記制御手段は前記自動撮影にて、被写体の距離と検出の頻度の情報を取得して各被写体の撮影の優先度を判定し、検出された複数の被写体のうち、前記優先度が予め設定された範囲内である優先度の被写体を撮影対象の被写体として決定する
ことを特徴とする請求項１乃至１５のいずれか１項に記載の画像処理装置。
前記制御手段は、前記優先度が第１の優先度である第１の被写体、および前記優先度が前記第１の優先度から予め設定された範囲内である第２の優先度をもつ第２の被写体を撮影対象の被写体として決定する
ことを特徴とする請求項１６に記載の画像処理装置。
前記制御手段は、前記優先度が前記第２の優先度より低い被写体を撮影対象に含めないで前記自動撮影の制御を行う
ことを特徴とする請求項１７に記載の画像処理装置。
前記制御手段は、前記撮像手段から前記第１および第２の被写体までの距離の情報を用いて各被写体の撮影の優先度を判定する
ことを特徴とする請求項１７または請求項１８に記載の画像処理装置。
前記制御手段は、被写体の特徴情報を記憶手段に記憶して管理する処理を行い、検出された被写体の特徴情報と前記記憶手段に記憶されている特徴情報とが一致するかどうかを判断する
ことを特徴とする請求項１６乃至１９のいずれか１項に記載の画像処理装置。
前記記憶手段は、前記被写体の特徴情報と前記優先度とを紐づけて記憶する
ことを特徴とする請求項２０に記載の画像処理装置。
前記制御手段は、前記記憶手段に記憶されている特徴情報に対応する被写体が検出された場合、検出された被写体の優先度により、前記記憶手段に記憶されている優先度を更新する処理を行う
ことを特徴とする請求項２１に記載の画像処理装置。
検出された被写体の特徴情報が取得された場合、前記制御手段は、前記優先度が予め設定された値または範囲内である被写体の特徴情報を、前記記憶手段に記憶させる処理を行う
ことを特徴とする請求項２０または請求項２１に記載の画像処理装置。
前記制御手段は、検出された被写体の最終検出日時から経過した時間により、前記被写体の優先度を判定する
ことを特徴とする請求項１６乃至２３のいずれか１項に記載の画像処理装置。
前記撮像手段と、
前記撮像手段の撮影方向を変更する変更手段を備え、
前記制御手段は前記変更手段を制御し、決定された前記撮影対象の被写体に対する撮影の制御を行う
ことを特徴とする請求項１６乃至２４のいずれか１項に記載の画像処理装置。
前記撮像手段と、
前記撮像手段の撮影画角を変更する変更手段を備え、
前記制御手段は前記変更手段を制御し、決定された前記撮影対象の被写体を撮影画角内に収めた状態で撮影の制御を行う
ことを特徴とする請求項１６乃至２４のいずれか１項に記載の画像処理装置。
前記制御手段は、前記被写体の顔の向きの情報または顔の確からしさを表す信頼度を用いて前記被写体の優先度を判定する
ことを特徴とする請求項２６に記載の画像処理装置。
前記制御手段は、前記被写体の顔の画像データ、および前記優先度を出力する制御を行う
ことを特徴とする請求項２７に記載の画像処理装置。
前記制御手段は、ユーザーからの指示に基づいて外部装置から受信する被写体指定の指示に応じて、前記探索手段による探索及び前記制御手段による自動撮影を停止し、前記認証登録手段による被写体の認証のみを行う状態へと遷移することを特徴とする請求項１乃至２８のいずれか１項に記載の画像処理装置。
撮像手段により取得された画像データから検出される被写体の探索を行う探索工程と、
検出された被写体を認証して記憶する認証登録工程と、
自動認証登録を行う第１の条件を満たすか否かの認証登録判定、および、前記撮像手段による自動撮影を行う第２の条件を満たすか否かの撮影判定を行い、前記自動撮影および自動認証登録のタイミングを制御する制御工程と、を有し、
前記制御工程では、前記被写体の探索の制御を行いつつ、検出された被写体に係る前記認証登録判定と前記撮影判定を実行することにより、前記自動認証登録のタイミングを決定する処理が行われる
ことを特徴とする画像処理装置の制御方法。
請求項３０に記載の各工程をコンピュータに実行させる
ことを特徴とするプログラム。