JP2020195099A - 画像処理装置及び画像処理方法、撮像装置、プログラム、記憶媒体 - Google Patents

Abstract

【課題】ユーザにとって重要でないと思われる画像を自動的に選択することができる画像処理装置を提供する。【解決手段】被写体を撮像して得られた画像を記憶する記憶手段と、機械学習により、ユーザの好みの画像を学習する学習手段と、学習手段の学習結果に基づいて、記憶手段に記憶されている画像を評価する評価手段と、評価手段により評価した評価結果に基づいて、記憶手段に記憶されている画像から一部の画像を選択する選択手段と、を備える画像処理装置であり、学習手段の学習パラメータが更新された場合と、更新されていない場合で、前記記憶手段に記憶されている画像のうち、評価の対象とする画像の範囲を異ならせる。【選択図】 図１１

Description

本発明は、機械学習を用いて画像を選択する技術に関するものである。

カメラ等の撮像装置による静止画・動画撮影においては、ユーザがファインダー等を通して撮影対象を決定し、撮影状況を自ら確認して撮影画像のフレーミングを調整し、シャッターボタンを操作することによって、画像を撮影するのが一般的である。

このようなユーザの操作により撮影を実行する撮像装置に対し、特許文献１には、所謂ライフログカメラと呼ばれる、ユーザが撮影指示を与えることなく定期的および継続的に撮影を行うカメラが開示されている。ライフログカメラは、ストラップ等でユーザの身体に装着された状態で用いられ、ユーザが日常生活で目にする光景を一定時間間隔で映像として記録する。ライフログカメラによる撮影は、ユーザがシャッターを切るなどの意図したタイミングで行われるのではなく、一定の間隔で行われるため、普段撮影しないような不意な瞬間を映像として残すことができる。

特表２０１６−５３６８６８号公報

ライフログカメラをユーザが身に着けた状態において、定期的に自動撮影を行った場合、以下のような問題が起こることが考えられる。

例えば、カメラ自体に撮影画像を記録する場合や、カメラと接続されたスマートフォンや携帯型タブレット端末に画像を記録する場合に、ユーザが気づかないうちにメディア容量を使い切ってしまう恐れがある。メディアに空き容量がなくなると、ユーザの意図したときに撮影を行うことができなかったり、自動撮影において狙ったシーンを撮影できない。

あるいは、容量不足の懸念が少ないサーバに撮影画像を転送する場合であっても、自動撮影により膨大な画像が撮影される可能性があるので、撮影された画像を確認して、好みでない画像や失敗画像を選別するのに手間がかかる。

これらの問題を解決するため、自動撮影された画像のそれぞれに対してスコアをつけ、そのスコアに応じて記録あるいは表示する画像を選択することが考えられる。しかしながら、機械学習を用いる場合、時間の経過とともに、スコアのつけ方が変化する可能性がある。この場合、過去に記録あるいは表示対象として選択された画像と、新たに記録あるいは表示対象として選択された画像において、選択される基準に差異が生じてしまう可能性がある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、ユーザにとって重要でないと思われる画像を自動的に選択することができる画像処理装置を提供することである。

本発明に係わる画像処理装置は、被写体を撮像して得られた画像を記憶する記憶手段と、機械学習により、ユーザの好みの画像を学習する学習手段と、前記学習手段の学習結果に基づいて、前記記憶手段に記憶されている画像を評価する評価手段と、前記評価手段により評価した評価結果に基づいて、前記記憶手段に記憶されている画像から一部の画像を選択する選択手段と、を備え、前記評価手段は、前記学習手段の学習パラメータが更新された場合と、更新されていない場合で、前記記憶手段に記憶されている画像のうち、評価の対象とする画像の範囲を異ならせることを特徴とする。

本発明によれば、ユーザにとって重要でないと思われる画像を自動的に選択することができる画像処理装置を提供することが可能となる。

撮像装置を模式的に示す図である。 撮像装置の構成を示す図である。 撮像装置と外部機器との構成を示す図である。 外部機器の構成を示す図である。 制御回路の動作を説明するフローチャートである。 自動撮影モード処理を説明するフローチャートである。 ニューラルネットワークを説明する図である。 画像の表示処理を説明するための図である。 学習モード判定を説明するフローチャートである。 学習モード処理を説明するフローチャートである。 ファイル自動削除モード処理を説明するフローチャートである。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

＜撮像装置の構成＞
図１は、本発明の画像処理装置の一実施形態である撮像装置を模式的に示す図である。本発明は、デジタルカメラやデジタルビデオカメラに限らず、監視カメラ、Ｗｅｂカメラ、携帯電話などにも適用可能である。本実施形態では、撮像装置そのものが機械学習を行う画像処理装置を兼ねている構成を前提として説明を行うが、撮像装置と別であって、撮像装置と通信可能な画像処理装置において撮像装置のための機械学習を行う構成としてもよい。

図１（ａ）に示す撮像装置１０１は、電源スイッチの操作を行うことができる操作部材（以後、電源ボタンというが、タッチパネルへのタップやフリック、スワイプなどの操作でもよい）などが設けられている。撮像を行う撮影レンズ群や撮像素子を含む筐体である鏡筒１０２は、撮像装置１０１に取り付けられ、鏡筒１０２を固定部１０３に対して回転駆動できる回転機構が設けられている。チルト回転ユニット１０４は、鏡筒１０２を図１（ｂ）に示すピッチ方向に回転できるモーター駆動機構であり、パン回転ユニット１０５は、鏡筒１０２をヨー方向に回転できるモーター駆動機構である。よって、鏡筒１０２は、１軸以上の方向に回転可能である。なお、図１（ｂ）は、固定部１０３位置での軸定義を示している。角速度計１０６と加速度計１０７はともに、撮像装置１０１の固定部１０３に実装されている。そして、角速度計１０６や加速度計１０７に基づいて、撮像装置１０１の振動を検出し、チルト回転ユニットとパン回転ユニットを検出した揺れ角度に基づいて回転駆動する。これにより、可動部である鏡筒１０２の振れを補正したり、傾きを補正したりすることができる。

図２は、本実施形態の撮像装置の構成を示すブロック図である。図２において、制御回路２２１は、プロセッサ（例えば、ＣＰＵ、ＧＰＵ、マイクロプロセッサ、ＭＰＵなど）、メモリ（例えば、ＤＲＡＭ、ＳＲＡＭなど）からなる。これらは、各種処理を実行して撮像装置１０１の各ブロックを制御したり、各ブロック間でのデータ転送を制御したりする。不揮発性メモリ（ＥＥＰＲＯＭ）２１４は、電気的に消去・記録可能なメモリであり、制御回路２２１の動作用の定数、プログラム等が記憶される。

図２において、ズームユニット２０１は、変倍を行うズームレンズを含む。ズーム駆動制御回路２０２は、ズームユニット２０１を駆動制御する。フォーカスユニット２０３は、ピント調整を行うレンズを含む。フォーカス駆動制御回路２０４は、フォーカスユニット２０３を駆動制御する。

撮像部２０６は、撮像素子とＡ／Ｄ変換器を備え、撮像素子が各レンズ群を通して入射する光を受け、その光量に応じた電荷の情報をアナログ画像信号として画像処理回路２０７に出力する。画像処理回路２０７は複数のＡＬＵ（Ａｒｉｔｈｍｅｔｉｃ ａｎｄ Ｌｏｇｉｃ Ｕｎｉｔ）を搭載した演算回路であり、Ａ／Ｄ変換により出力されたデジタル画像データに対して、歪曲補正やホワイトバランス調整や色補間処理等の画像処理を適用し、適用後のデジタル画像データを出力する。画像処理回路２０７から出力されたデジタル画像データは、画像記録回路２０８でＪＰＥＧ形式等の記録用フォーマットに変換され、メモリ２１３や後述する映像出力回路２１５に送信される。

鏡筒回転駆動回路２０５は、チルト回転ユニット１０４、パン回転ユニット１０５を駆動して鏡筒１０２をチルト方向とパン方向に駆動させる。

装置揺れ検出回路２０９には、例えば撮像装置１０１の３軸方向の角速度を検出する角速度計（ジャイロセンサ）１０６や、装置の３軸方向の加速度を検出する加速度計（加速度センサ）１０７が搭載される。装置揺れ検出回路２０９は、検出された信号に基づいて、装置の回転角度や装置のシフト量などを算出する。

音声入力回路２１１は、撮像装置１０１に設けられたマイクから撮像装置１０１周辺の音声信号を取得し、アナログデジタル変換をして音声処理回路２１２に送信する。音声処理回路２１２は、入力されたデジタル音声信号の適正化処理等の音声に関する処理を行う。そして、音声処理回路２１２で処理された音声信号は、制御回路２２１によりメモリ２１３に送信される。メモリ２１３は、画像処理回路２０７、音声処理回路２１２により得られた画像信号及び音声信号を一時的に記憶する。

画像処理回路２０７及び音声処理回路２１２は、メモリ２１３に一時的に記憶された画像信号や音声信号を読み出して画像信号の符号化、音声信号の符号化などを行い、圧縮画像信号、圧縮音声信号を生成する。制御回路２２１は、これらの圧縮画像信号、圧縮音声信号を、記録再生回路２１８に送信する。

記録再生回路２１８は、記録媒体２１９に対して画像処理回路２０７及び音声処理回路２１２で生成された圧縮画像信号、圧縮音声信号、その他撮影に関する制御データ等を記録する。また、音声信号を圧縮符号化しない場合には、制御回路２２１は、音声処理回路２１２により生成された音声信号と画像処理回路２０７により生成された圧縮画像信号とを、記録再生回路２１８に送信し記録媒体２１９に記録させる。

記録媒体２１９は、撮像装置１０１に内蔵された記録媒体でも、取外し可能な記録媒体でもよい。記録媒体２１９は、撮像装置１０１で生成された圧縮画像信号、圧縮音声信号、音声信号などの各種データを記録することができ、不揮発性メモリ２１４よりも大容量な媒体が一般的に使用される。例えば、記録媒体２１９は、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、ＤＶＤ−Ｒ、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ、などのあらゆる方式の記録媒体を含む。

記録再生回路２１８は、記録媒体２１９に記録された圧縮画像信号、圧縮音声信号、音声信号、各種データ、プログラムを読み出す（再生する）。そして制御回路２２１は、読み出した圧縮画像信号及び圧縮音声信号を、画像処理回路２０７及び音声処理回路２１２に送信する。画像処理回路２０７及び音声処理回路２１２は、圧縮画像信号、圧縮音声信号を一時的にメモリ２１３に記憶させ、所定の手順で復号し、復号した信号を映像出力回路２１５、音声出力回路２１６に送信する。

音声入力回路２１１には、撮像装置１０１に搭載された複数のマイクが接続され、音声処理回路２１２は複数のマイクが設置された平面上の音の方向を検出することができる。この情報は、後述する被写体の探索や自動撮影に用いられる。さらに、音声処理回路２１２では、特定の音声コマンドを検出する。音声コマンドは事前に登録された複数のコマンドの他、ユーザが特定音声を撮像装置に登録できる構成にしてもよい。また、音シーン認識も行う。音シーン認識では、予め大量の音声データを基に機械学習により学習させたネットワークにより音シーン判定を行う。例えば、「歓声が上がっている」、「拍手している」、「声を発している」などの特定シーンを検出するためのネットワークが音声処理回路２１２に設定されている。そして、特定音シーンや特定音声コマンドを検出すると、制御回路２２１に、検出トリガー信号を出力する。電源回路２１０は、制御回路２２１を動作させるための電源を供給する。

音声出力回路２１６は、例えば撮影時などに撮像装置１０１に内蔵されたスピーカーから予め設定された音声パターンを出力する。ＬＥＤ制御回路２２２は、例えば撮影時などに撮像装置１０１に設けられたＬＥＤを予め設定された点灯点滅パターンで制御する。映像出力回路２１５は、例えば映像出力端子からなり、接続された外部ディスプレイ等に映像を表示させるために画像信号を送信する。また、音声出力回路２１６、映像出力回路２１５は、結合された１つの端子、例えばＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子のような端子であってもよい。

通信回路２２０は、撮像装置１０１と外部装置との間で通信を行い、例えば、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信したり受信したりする。また、撮影開始や終了コマンド、パン・チルトやズーム駆動等の、撮影にかかわる制御信号を受信して、撮像装置１０１と相互通信可能な外部機器の指示により撮像装置１０１を駆動する。また、撮像装置１０１と外部装置との間で、後述する学習処理回路２１７で処理される学習にかかわる各種パラメータなどの情報を送信したり受信したりする。通信回路２２０は、例えば、赤外線通信モジュール、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信モジュール、無線ＬＡＮ通信モジュール、ＷｉｒｅｌｅｓｓＵＳＢ、ＧＰＳ受信機等の無線通信モジュールである。

＜外部通信機器との構成＞
図３は、撮像装置１０１と外部機器３０１との無線通信システムの構成例を示す図である。撮像装置１０１は撮影機能を有するデジタルカメラであり、外部機器３０１はＢｌｕｅｔｏｏｔｈ通信モジュール、無線ＬＡＮ通信モジュールを含むスマートデバイスである。

撮像装置１０１と外部機器３０１は、例えばＩＥＥＥ８０２．１１規格シリーズに準拠した無線ＬＡＮによる通信３０２と、例えばＢｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ（以下、「ＢＬＥ」と呼ぶ）などの、制御局と従属局などの主従関係を有する通信３０３とによって通信可能である。なお、無線ＬＡＮ及びＢＬＥは通信手法の一例であり、各通信装置は、２つ以上の通信機能を有し、例えば制御局と従属局との関係の中で通信を行う一方の通信機能によって、他方の通信機能の制御を行うことが可能であれば、他の通信手法が用いられてもよい。ただし、一般性を失うことなく、無線ＬＡＮなどの第１の通信は、ＢＬＥなどの第２の通信より高速な通信が可能であり、また、第２の通信は、第１の通信よりも消費電力が少ないか通信可能距離が短いかの少なくともいずれかであるものとする。

外部機器３０１の構成を、図４を用いて説明する。外部機器３０１は、例えば、無線ＬＡＮ用の無線ＬＡＮ制御回路４０１、及び、ＢＬＥ用のＢＬＥ制御回路４０２に加え、公衆無線通信用の公衆回線制御回路４０６を有する。また、外部機器３０１は、パケット送受信回路４０３をさらに有する。無線ＬＡＮ制御回路４０１は、無線ＬＡＮのＲＦ制御、通信処理、ＩＥＥＥ８０２．１１規格シリーズに準拠した無線ＬＡＮによる通信の各種制御を行うドライバや無線ＬＡＮによる通信に関するプロトコル処理を行う。ＢＬＥ制御回路４０２は、ＢＬＥのＲＦ制御、通信処理、ＢＬＥによる通信の各種制御を行うドライバやＢＬＥによる通信に関するプロトコル処理を行う。公衆回線制御回路４０６は、公衆無線通信のＲＦ制御、通信処理、公衆無線通信の各種制御を行うドライバや公衆無線通信関連のプロトコル処理を行う。公衆無線通信は例えばＩＭＴ（ＩｎｔｅｒｎａｔｉｏｎａｌＭｕｌｔｉｍｅｄｉａ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ）規格やＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）規格などに準拠したものである。パケット送受信回路４０３は、無線ＬＡＮ並びにＢＬＥによる通信及び公衆無線通信に関するパケットの送信と受信との少なくともいずれかを実行するための処理を行う。なお、本例では、外部機器３０１は、通信においてパケットの送信と受信との少なくともいずれかを行うものとして説明するが、パケット交換以外に、例えば回線交換など、他の通信形式が用いられてもよい。

外部機器３０１は、例えば、制御回路４１１、記憶回路４０４、ＧＰＳ受信回路４０５、表示装置４０７、操作部材４０８、音声入力／処理回路４０９、電源回路４１０をさらに有する。制御回路４１１は、例えば、記憶回路４０４に記憶される制御プログラムを実行することにより、外部機器３０１全体を制御する。記憶回路４０４は、例えば制御回路４１１が実行する制御プログラムと、通信に必要なパラメータ等の各種情報とを記憶する。後述する各種動作は、記憶回路４０４に記憶された制御プログラムを制御回路４１１が実行することにより、実現される。

電源回路４１０は外部機器３０１に電源を供給する。表示装置４０７は、例えば、ＬＣＤやＬＥＤのように視覚で認知可能な情報の出力、又はスピーカー等の音出力が可能な機能を有し、各種情報の表示を行う。操作部材４０８は、例えばユーザによる外部機器３０１への操作を受け付けるボタン等である。なお、表示装置４０７及び操作部材４０８は、例えばタッチパネルなどの共通する部材によって構成されてもよい。

音声入力／処理回路４０９は、例えば外部機器３０１に内蔵された汎用的なマイクから、ユーザが発した音声を取得し、音声認識処理により、ユーザの操作命令を取得する構成にしてもよい。

また、外部機器３０１内の専用のアプリケーションを介して、ユーザの発音により音声コマンドを取得する。そして、無線ＬＡＮによる通信３０２を介して、撮像装置１０１の音声処理回路２１２に特定音声コマンドを認識させるための特定音声コマンドとして登録することもできる。

ＧＰＳ（Ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）４０５は、衛星から通知されるＧＰＳ信号を受信し、ＧＰＳ信号を解析し、外部機器３０１の現在位置（経度・緯度情報）を推定する。もしくは、位置推定は、ＷＰＳ（Ｗｉ−Ｆｉ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等を利用して、周囲に存在する無線ネットワークの情報に基づいて、外部機器３０１の現在位置を推定するようにしてもよい。取得した現在のＧＰＳ位置情報が予め事前に設定されている位置範囲（所定半径の範囲以内）に位置している場合に、ＢＬＥ制御回路４０２を介して撮像装置１０１へ移動情報を通知し、後述する自動撮影や自動編集のためのパラメータとして使用する。また、ＧＰＳ位置情報に所定以上の位置変化があった場合に、ＢＬＥ制御回路４０２を介して撮像装置１０１へ移動情報を通知し、後述する自動撮影や自動編集のためのパラメータとして使用する。

上記のように撮像装置１０１と外部機器３０１は、無線ＬＡＮ制御回路４０１、及び、ＢＬＥ制御回路４０２を用いた通信により、撮像装置１０１とデータのやりとりを行う。例えば、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信したり受信したりする。また、外部機器３０１から撮像装置１０１へ、撮影などの操作指示や、音声コマンド登録データ送信や、ＧＰＳ位置情報に基づいた所定位置検出通知や場所移動通知を行う。また、外部機器３０１内の専用のアプリケーションを介しての学習用データの送受信も行う。

＜撮像動作のシーケンス＞
図５は、本実施形態における撮像装置１０１の制御回路２２１が受け持つ動作の例を説明するフローチャートである。

ユーザが撮像装置１０１に設けられた電源ボタンを操作すると、電源回路２１０が制御回路２２１及び撮像装置１０１の各ブロックに電源を供給する。電源が供給されると、図５の処理がスタートする。ステップＳ５０１（以下では、「ステップＳ」を単に「Ｓ」と省略する）では、起動条件の読み込みが行われる。本実施形態においては、電源ボタンが手動で押下されて電源起動をしてもよいし、外部機器（例えば３０１）から外部通信（例えばＢＬＥ通信）による指示で電源起動してもよい。あるいは、ユーザが撮像装置１０１をタップしたことを検知して電源起動してもよいし、特定の音声コマンドが入力されたことを検知して電源起動してもよい。また、ここで読み込まれた起動条件は、被写体探索や自動撮影時の１つのパラメータ要素として用いられるが、これについては後述する。起動条件読み込みが終了するとＳ５０２に進む。

Ｓ５０２では、各種センサの検出値の読み込みが行われる。ここで読み込まれるセンサの検出値は、装置揺れ検出回路２０９からのジャイロセンサや加速度センサなどの振動を検出するセンサの検出値である。また、チルト回転ユニット１０４やパン回転ユニット１０５の回転位置である。さらに、音声処理回路２１２において検出される音声レベルや特定音声認識の検出トリガーや音方向の検出値である。

また、図１乃至図４には図示していないが、環境情報を検出するセンサでも情報を取得する。例えば、所定の周期で撮像装置１０１の周辺の温度を検出する温度センサや、撮像装置１０１の周辺の気圧の変化を検出する気圧センサを備える。また、撮像装置１０１の周辺の明るさを検出する照度センサや、撮像装置１０１の周辺の湿度を検出する湿度センサや、撮像装置１０１の周辺の紫外線量を検出するＵＶセンサ等を備えてもよい。検出した温度情報や気圧情報や明るさ情報や湿度情報やＵＶ情報に加え、検出した各種情報から所定時間間隔での変化率を算出した温度変化量や気圧変化量や明るさ変化量や湿度変化量や紫外線変化量などを後述する自動撮影などの判定に使用する。

Ｓ５０２で各種センサの検出値の読み込みが行われるとＳ５０３に進む。Ｓ５０３では、外部機器からの通信が指示されているかを検出し、通信指示があった場合、外部機器との通信を行う。例えば、外部機器３０１から、無線ＬＡＮやＢＬＥを介した、リモート操作を受信したり、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信したり受信したりする。また、外部機器３０１からの撮像装置１０１の撮影などの操作指示や、音声コマンド登録データ送信や、ＧＰＳ位置情報に基づいた所定位置検出通知や場所移動通知や学習用データの送受信の指示があるかどうかの読み込みを行う。

また、上述した環境情報を検出する各種センサは、撮像装置１０１に搭載されていてもよいが、外部機器３０１に搭載されていてもよく、その場合、ＢＬＥを介した環境情報の読み込みも行う。Ｓ５０３で外部機器からの通信読み込みが行われると、Ｓ５０４に進む。

Ｓ５０４では、モード設定判定が行われる。Ｓ５０４で設定されるモードは、以下の内から判定され選ばれる。

（１）手動撮影モード
［モード判定条件］
外部機器３０１から手動撮影モードを設定するコマンドが送信されたことを検出した場合に、手動撮影モードに設定される。

［モード内処理］
手動撮影モード処理（Ｓ５０６）では、ユーザの入力内容に応じて、パン・チルトあるいはズームを駆動し、ユーザの撮影指示に応じて静止画の撮影をしたり、動画の記録を開始したりする。

（２）自動撮影モード
［モード判定条件］
後述する学習により設定された各検出情報（画像、音、時間、振動、場所、身体の変化、環境変化）や、自動撮影モードに移行してからの経過時間や、過去の撮影情報などから、自動撮影を行うべきと判定されると、自動撮影モードに設定される。

［モード内処理］
自動撮影モード処理（Ｓ５０８）では、各検出情報（画像、音、時間、振動、場所、体の変化、環境変化）に基づいて、パン・チルトやズームを駆動して被写体を自動探索する。そして、ユーザの好みの撮影が行えるタイミングであると判定されると、自動で撮影が行われる。なお、ユーザから撮影指示があった場合には、その指示に応じて撮影を行う。

（３）学習モード
［モード判定条件］
前回学習処理を行ってからの経過時間と、学習に使用することのできる画像に対応付けられた情報や学習データの数などから、学習を行うべきと判定されると、学習モードに設定される。または、外部機器３０１からの通信を介して学習パラメータを設定するように指示があった場合も本モードに設定される。

［モード内処理］
学習モード処理（Ｓ５１０）では、ユーザの好みに合わせた学習を行う。外部機器３０１での各操作、外部機器３０１からの学習データ通知などの情報を基にニューラルネットワークを用いて、ユーザの好みに合わせた学習が行われる。外部機器３０１での各操作の情報としては、例えば、撮像装置１０１からの画像取得情報、専用アプリケーションを介して手動による編集指示がされた情報、撮像装置内の画像に対してユーザが入力した判定値情報がある。

（４）ファイル自動削除モード
［モード判定条件］
前回ファイル自動削除を行ってからの経過時間や、記録媒体２１９あるいは不揮発性メモリ２１４に記録したデータ量、学習データの更新の有無により、ファイル自動削除を行うべきと判定されると、ファイル自動削除モードに設定される。

［モード内処理］
ファイル自動削除モード処理（Ｓ５１２）では、記録媒体２１９あるいは不揮発性メモリ２１４内の画像の中から、各画像のタグ情報と撮影された日時などから自動削除されるファイルを指定し削除する。

なお、自動撮影モード処理、学習モード処理、および、ファイル自動削除モード処理についての詳細は、後述する。

図５のＳ５０５では、Ｓ５０４でモード設定判定が手動撮影モードに設定されているか否かを判定する。手動撮影モードであると判定されれば、Ｓ５０６に進み、手動撮影モード処理が行われる。手動撮影モード処理では、上述したようにユーザの入力内容に応じて撮像装置１０１を駆動する。処理が終了すると、Ｓ５０２に戻る。

一方、Ｓ５０５で手動撮影モードでないと判定されると、Ｓ５０７に進み、モード設定が自動撮影モードであるか否かを判定し、自動撮影モードであればＳ５０８に進み、自動撮影モード処理が行われる。処理が終了すると、Ｓ５０２に戻る。Ｓ５０７で、自動撮影モードでないと判定されると、Ｓ５０９に進む。

Ｓ５０９では、モード設定が学習モードであるか否かを判定し、学習モードであればＳ５１０に進み、学習モード処理が行われる。処理が終了すると、Ｓ５０２に戻り、処理を繰り返す。Ｓ５０９で、学習モードでないと判定されると、Ｓ５１１に進む。

Ｓ５１１では、モード設定がファイル自動削除モードであるか否かを判定し、ファイル自動削除モードであればＳ５１２に進み、ファイル自動削除モード処理が行われる。処理が終了すると、Ｓ５０２に戻り、処理を繰り返す。Ｓ５１１で、ファイル自動削除モードでないと判定されると、Ｓ５０２に戻り、処理を繰り返す。

＜自動撮影モード処理＞
図６を用いて、図５のＳ５０８の自動撮影モード処理の詳細について説明する。前述したように、以下の処理は、本実施形態における撮像装置１０１の制御回路２２１が制御を行う。

Ｓ６０１では、画像処理回路２０７に撮像部２０６で取り込まれた画像信号に対して画像処理を行わせ、被写体認識用の画像を生成させる。生成された画像に対して、人物や物体認識などの被写体認識が行われる。

人物を認識する場合、被写体の顔や人体を検出する。顔検出処理では、人物の顔を判断するためのパターンが予め定められており、撮像された画像内に含まれる領域のうち、このパターンに一致する箇所を人物の顔画像として検出することができる。また、被写体の顔としての確からしさを示す信頼度も同時に算出する。信頼度は、例えば画像内における顔領域の大きさや、顔パターンとの一致度等から算出される。

物体認識についても同様に、予め登録されたパターンに一致する物体を認識することができる。また、撮像された画像内の色相や彩度等のヒストグラムを使用する方法で特徴被写体を抽出する方法などもある。この場合、撮影画角内に捉えられている被写体の画像に関し、その色相や彩度等のヒストグラムから導出される分布を複数の区間に分け、区間ごとに撮像された画像を分類する処理が実行される。

例えば、撮像された画像について複数の色成分のヒストグラムが作成され、その山型の分布範囲を区分けし、同一の区間の組み合わせに属する領域において撮像された画像が分類され、被写体の画像領域が認識される。

認識された被写体の画像領域ごとに評価値を算出することにより、その評価値が最も高い被写体の画像領域を主被写体領域として判定することができる。

以上の方法で、撮像情報から各被写体情報を得ることができる。

Ｓ６０２では、揺れ補正量の算出を行う。具体的には、まず、装置揺れ検出回路２０９において取得した角速度および加速度情報に基づいて、撮像装置１０１の姿勢変化の絶対角度を算出する。そして、絶対角度を打ち消す角度方向にチルト回転ユニット１０４およびパン回転ユニット１０５を動かす揺れ補正角度を求め、揺れ補正量とする。

Ｓ６０３では、撮像装置１０１の状態判定を行う。角速度情報や加速度情報やＧＰＳ位置情報などで検出した角度や移動量などにより、現在、撮像装置１０１がどのような振動／動き状態なのかを判定する。例えば、車に撮像装置１０１を装着して撮影する場合、移動された距離によって周りの風景などの被写体情報が大きく変化する。

そのため、車などに装着して速い速度で移動している「乗り物移動状態」か否かを判定し、後に説明する自動被写体探索に使用することができる。

また、角度の変化が大きいか否かを判定し、撮像装置１０１が揺れ角度がほとんどない「置き撮り状態」であるのか否かを判定する。「置き撮り状態」である場合は、撮像装置１０１自体の角度変化はないと考えてよいので、置き撮り用の被写体探索を行うことができる。また、比較的角度変化が大きい場合は、「手持ち状態」と判定され、手持ち用の被写体探索を行うことができる。

Ｓ６０４では、被写体探索処理を行う。制御回路２２１は、撮像装置１０１の位置（図１の原点Ｏが撮像装置の位置とする）を中心として、全周囲でエリア分割を行う。分割した各エリアについて、エリア内に存在する被写体やエリアのシーン状況に応じて、探索を行う優先順位を示す重要度レベルを算出する。

被写体の状況に基づいた重要度レベルは、例えば、エリア内に存在する人物の数、人物の顔の大きさ、顔の向き、顔検出の確からしさ、人物の表情、人物の個人認証結果に基づいて算出される。また、シーンの状況に応じた重要度レベルは、例えば、一般物体認識結果、シーン判別結果（青空、逆光、夕景など）、エリアの方向からする音のレベルや音声認識結果、エリア内の動き検知情報等から算出される。また、撮像装置１０１の状態判定（Ｓ６０３）で、撮像装置１０１の振動状態が検出されており、振動状態に応じても重要度レベルが変化するようにすることができる。例えば、「置き撮り状態」と判定された場合、顔認証で登録されている中で優先度の高い被写体（例えば撮像装置のユーザ）を中心に被写体探索が行われるように、特定人物の顔が検出されると重要度レベルが高くなるように判定される。また、後述する自動撮影も特定人物の顔を優先して行われることになり、撮像装置１０１のユーザが撮像装置を身に着けて持ち歩き撮影を行っている時間が多くても、撮像装置を取り外して机の上などに置くことで、ユーザが写った画像も多く残すことができる。このときパン・チルトにより探索可能であることから、撮像装置の置き角度などを考えなくても、適当に設置するだけでユーザが写った画像やたくさんの顔が写った集合写真などを残すことができる。

なお、上記条件だけでは、各エリアに変化がない限りは、最も重要度レベルが高いエリアが同じとなり、その結果探索されるエリアがずっと変わらないことになってしまう。そこで、過去の撮影情報に応じて重要度レベルを変化させる。具体的には、所定時間継続して探索エリアに指定され続けたエリアは重要度レベルを下げたり、後述するＳ６１０において撮影を行ったエリアでは、所定時間の間重要度レベルを下げたりしてもよい。

上記のように各エリアの重要度レベルが算出されたら、重要度レベルが高いエリアを探索対象エリアとして決定する。そして、探索対象エリアを画角に捉えるために必要なパン・チルト探索目標角度を算出する。

Ｓ６０５では、パン・チルト駆動を行う。具体的には、像振れ補正量とパン・チルト探索目標角度に基づいて、制御サンプリングでの駆動角度を加算することにより、パン・チルト駆動量を算出する。そして、鏡筒回転駆動回路２０５によって、チルト回転ユニット１０４、パン回転ユニット１０５をそれぞれ駆動制御する。

Ｓ６０６では、ズームユニット２０１を制御しズーム駆動を行う。具体的には、Ｓ６０４で決定した探索対象被写体の状態に応じてズームを駆動させる。例えば、探索対象被写体が人物の顔である場合、画像上の顔が小さすぎると検出可能な最小サイズを下回って検出することができず、見失ってしまう恐れがある。そのような場合は、望遠側にズームすることにより、画像上の顔のサイズが大きくなるように制御する。一方で、画像上の顔が大きすぎる場合、被写体や撮像装置１０１自体の動きによって被写体が画角から外れやすくなってしまう。そのような場合は、広角側にズームすることにより、画面上の顔のサイズが小さくなるように制御する。このようにズーム制御を行うことにより、被写体を追跡するのに適した状態を保つことができる。

Ｓ６０４〜Ｓ６０６では、パン・チルトやズーム駆動により被写体探索を行う方法について説明したが、広角レンズを複数使用して全方位を一度に撮影する撮像システムで被写体探索を行ってもよい。全方位カメラの場合、撮像によって得られる信号全てを入力画像として被写体検出などの画像処理を行うと、膨大な処理が必要となる。そこで、画像の一部を切り出して、切り出した画像範囲の中で被写体の探索処理を行う構成にする。上述した方法と同様にエリア毎の重要度レベルを算出し、重要度レベルに基づいて切り出し位置を変更し、後述する自動撮影の判定を行う。これにより画像処理による消費電力の低減や高速な被写体探索が可能となる。

Ｓ６０７では、自動撮影モードが設定されている状態で、ユーザ（手動）による撮影指示があったか否かを判定し、撮影指示があった場合、Ｓ６１０に進む。この場合、ユーザ（手動）による撮影指示は、シャッターボタンの押下により行ってもよいし、撮像装置１０１の筺体を指等で軽く叩く（タップ）、音声コマンド入力、外部機器からの指示などによって行ってもよい。タップ操作による撮影指示は、ユーザが撮像装置１０１の筺体をタップした際の振動を、装置揺れ検出回路２０９によって短期間に連続した高周波の加速度として検知し、撮影のトリガーとする撮影指示方法である。音声コマンド入力は、ユーザが所定の撮影を指示する合言葉（例えば「写真とって」等）を発声した場合、その音声を音声処理回路２１２で認識し、撮影のトリガーとする撮影指示方法である。外部機器からの撮影指示は、例えば撮像装置１０１とＢｌｕｅＴｏｏｔｈ接続したスマートフォン等から、専用のアプリケーションを介して送信されたシャッター指示信号をトリガーとする撮影指示方法である。

Ｓ６０７で撮影指示がなかった場合、Ｓ６０８に進み、自動撮影判定を行う。自動撮影判定では、自動撮影を行うか否かの判定を行う。

自動撮影を行うか否かの判定は、機械学習の１つであるニューラルネットワークに基づいて行われる。ニューラルネットワークの一例として、多層パーセプトロンによるネットワークの例を図７に示す。ニューラルネットワークは、入力値から出力値を予測することに使用されるものであり、予め入力値と、その入力に対して模範となる出力値とを学習しておくことで、新たな入力値に対して、学習した模範に倣った出力値を推定することができる。なお、学習の方法は後述する。

図７の７０１およびその縦に並ぶ丸は入力層のニューロンであり、７０３およびその縦に並ぶ丸は中間層のニューロンであり、７０４は出力層のニューロンである。７０２のような矢印は各ニューロンを繋ぐ結合を示している。ニューラルネットワークに基づく判定では、入力層のニューロンに対して、現在の画角中に写る被写体や、シーンや撮像装置の状態に基づいた特徴量を入力として与え、多層パーセプトロンの順伝播則に基づく演算を経て出力層から出力された値を得る。そして、出力の値が閾値以上であれば、自動撮影を実施する判定を下す。

なお、被写体の特徴は、現在のズーム倍率、現在の画角における一般物体認識結果、顔検出結果、現在画角に写る顔の数、顔の笑顔度・目瞑り度、顔角度、顔認証ＩＤ番号、被写体人物の視線角度、シーン判別結果、特定の構図の検出結果等を使用する。また、前回撮影時からの経過時間、現在時刻、ＧＰＳ位置情報および前回撮影位置からの変化量、現在の音声レベル、声を発している人物、拍手、歓声が上がっているか否か等を使用してもよい。また、振動情報（加速度情報、撮像装置の状態）、環境情報（温度、気圧、照度、湿度、紫外線量）等を使用してもよい。この特徴を所定の範囲の数値に変換し、特徴量として入力層の各ニューロンに与える。そのため、入力層の各ニューロンは上記の使用する特徴量の数だけ必要となる。

なお、このニューラルネットワークに基づく判断は、後述する学習処理によって、各ニューロン間の結合重みを変化させることによって、出力値が変化し、判断の結果を学習結果に適応させることができる。

また、図５のＳ５０１で読み込んだ起動条件によって、自動撮影される判定も変化する。例えば、タップ検出による起動や特定音声コマンドによる起動の場合は、ユーザが現在撮影してほしいための操作である可能性が非常に高い。そこで、撮影頻度が多くなるように設定される。

Ｓ６０９では、Ｓ６０８の自動撮影判定により撮影する判定が下された場合、Ｓ６１０に進み、下されなかった場合、撮影モード処理を終了し、図５のＳ５０２に進む。

Ｓ６１０では、撮影を開始する。この時、手動撮影であれば静止画の撮影、あるいは、ユーザが手動で設定した撮影方法で撮影を行い、自動撮影であればＳ６０８において判定されたタイミングで撮影を開始する。その際、フォーカス駆動制御回路２０４によるオートフォーカス制御を行う。また、不図示の絞り制御回路およびセンサゲイン制御回路、シャッター制御回路を用いて、被写体が適切な明るさになるような露出制御を行う。さらに、撮影後には画像処理回路２０７において、オートホワイトバランス処理、ノイズリダクション処理、ガンマ補正処理等、種々の画像処理を行い、画像を生成する。

なお、この撮影の際に、所定の条件を満たした場合、撮像装置１０１が撮影対象となる人物に対し撮影を行う旨を報知した上で撮影する方法をとってもよい。報知の方法は、例えば、音声出力回路２１６からの音声やＬＥＤ制御回路２２２によるＬＥＤ点灯光を使用してもよいし、パン・チルトを駆動することにより視覚的に被写体の視線を誘導するモーション動作をしてもよい。所定の条件は、例えば、画角内における顔の数、顔の笑顔度・目瞑り度、被写体人物の視線角度や顔角度、顔認証ＩＤ番号、個人認証登録されている人物の数等である。また、撮影時の一般物体認識結果、シーン判別結果、前回撮影時からの経過時間、撮影時刻、ＧＰＳ情報に基づく現在位置が景勝地であるか否か、撮影時の音声レベル、声を発している人物の有無、拍手、歓声が上がっているか否か等である。また、振動情報（加速度情報、撮像装置の状態）、環境情報（温度、気圧、照度、湿度、紫外線量）等である。これらの条件に基づき報知撮影を行うことによって、重要性が高いシーンにおいてカメラ目線の好ましい画像を残すことができる。

また、所定の条件を複数もち、各条件に応じて音声を変更したり、ＬＥＤの点灯方法（色や点滅時間など）を変更したり、パン・チルトのモーション方法（動き方や駆動速度）を変更してもよい。

Ｓ６１１では、Ｓ６１０において生成した画像を加工したり、動画に追加したりといった編集処理を行う。画像加工は、具体的には、人物の顔や合焦位置に基づいたトリミング処理、画像の回転処理、ＨＤＲ（ハイダイナミックレンジ）効果、ボケ効果、色変換フィルタ効果などの各種効果の追加処理などである。画像加工は、Ｓ６１０において生成した画像を元に、上記の処理の組み合わせによって複数生成し、Ｓ６１０において生成した画像とは別に保存するようにしてもよい。また、動画処理については、撮影した動画または静止画を、生成済みの編集動画にスライド、ズーム、フェードの特殊効果処理をつけながら追加するといった処理をしてもよい。Ｓ６１１での編集においても、撮影画像の情報、或いは撮影前に検出した各種情報をニューラルネットワークに基づいて判断し、画像加工の方法を判定することもできる。また、この判定処理は、後述する学習処理によって、判定条件を変更することができる。

Ｓ６１２では、撮影画像から学習データを生成する処理を行う。ここでは、後述する学習処理に使用する情報を生成し、記録する。具体的には、今回の撮影画像における、撮影時のズーム倍率、撮影時の一般物体認識結果、顔検出結果、撮影画像に写る顔の数、顔の笑顔度・目瞑り度、顔角度、顔認証ＩＤ番号、被写体人物の視線角度等である。また、シーン判別結果、前回撮影時からの経過時間、撮影時刻、ＧＰＳ位置情報および前回撮影位置からの変化量、撮影時の音声レベル、声を発している人物、拍手、歓声が上がっているか否か等である。また、振動情報（加速度情報、撮像装置の状態）、環境情報（温度、気圧、照度、湿度、紫外線量）、動画撮影時間、手動撮影指示によるものか否か、等である。更にユーザの画像の好みを数値化したニューラルネットワークの出力であるスコアも算出する。

これらの情報を生成し、撮影画像ファイルへタグ情報として記録する。あるいは、不揮発性メモリ２１４へ書き込むか、記録媒体２１９内に、所謂カタログデータとして各々の撮影画像の情報をリスト化した形式で保存するようにしてもよい。

Ｓ６１３では、過去の撮影情報の更新を行う。具体的には、Ｓ６０８で説明したエリア毎の撮影枚数や、個人認証登録された人物毎の撮影枚数、一般物体認識で認識された被写体毎の撮影枚数、シーン判別のシーン毎の撮影枚数について、今回撮影された画像が該当する枚数のカウントを１つ増やす。

＜学習モード処理＞
次に、本実施形態におけるユーザの好みに合わせた学習について説明する。

本実施形態では、図７に示すようなニューラルネットワークを用い、機械学習アルゴリズムを使用して、学習処理回路２１７においてユーザの好みに合わせた学習を行う。学習処理回路２１７は、例えば、ＮＶＩＤＩＡ社のＪｅｔｓｏｎ ＴＸ２を用いる。ニューラルネットワークは、入力値から出力値を予測することに使用されるものであり、予め入力値の実績値と出力値の実績値を学習しておくことで、新たな入力値に対して、出力値を推定することができる。ニューラルネットワークを用いることにより、前述の自動撮影や被写体探索に対して、ユーザの好みに合わせた学習を行う。

また、ニューラルネットワークに入力する特徴データともなる被写体登録（顔認証や一般物体認識など）も行う。

本実施形態における自動撮影に対する学習について説明する。自動撮影では、ユーザの好みに合った画像の撮影を自動で行うための学習を行う。図６のフローチャートを用いて説明したように、撮影後に学習データを生成する処理（Ｓ６１２）が行われている。後述する方法により学習させる画像を選択させ、画像に含まれる学習データに基づいて、ニューラルネットワークのニューロン間の結合重みを変化させることにより学習する。

次に、学習方法について説明する。学習方法としては、「撮像装置内の学習」と「通信機器との連携による学習」がある。撮像装置内学習の方法について、以下説明する。

本実施形態における撮像装置内学習は、以下の方法がある。

（１）ユーザによる撮影指示時の検出情報による学習
図６のＳ６０７〜Ｓ６１３で説明したとおり、本実施形態においては、撮像装置１０１は、手動撮影と自動撮影の２つの撮影を行うことができる。Ｓ６０７で手動操作による撮影指示（上記で説明したとおり、３つの判定に基づいて行う）があった場合は、Ｓ６１２において、撮影画像は手動で撮影された画像であるとの情報が付加される。また、Ｓ６０９において自動撮影ＯＮと判定されて撮影された場合においては、Ｓ６１２において、撮影画像は自動で撮影された画像であると情報が付加される。また、Ｓ５０６の手動撮影モード処理で撮影した画像に対しても、手動で撮影された画像であるとの情報が付加される。

ここで手動撮影される場合、ユーザの好みの被写体、好みのシーン、好みの場所や時間間隔を基に撮影された可能性が非常に高い。よって、手動撮影時に得られた各特徴データや撮影画像の学習データを基にした学習が行われるようにする。

また、手動撮影時の検出情報から、撮影画像における特徴量の抽出や個人認証の登録、個人ごとの表情の登録、人の組み合わせの登録に関して学習を行う。また、被写体探索時の検出情報からは、例えば、個人登録された被写体の表情から、近くの人や物体の重要度を変更するような学習を行う。

次に、本実施形態における外部通信機器との連携による学習について説明する。本実施形態における外部通信機器との連携による学習には、以下の方法がある。

（２）外部通信機器で画像を取得したことによる学習
図３で説明したとおり、撮像装置１０１と外部機器３０１は、通信３０２,３０３を行う通信手段を有している。主に通信３０２によって画像の送受信が行われ、外部機器３０１は、その内部の専用のアプリケーションを介して、撮像装置１０１内の画像を通信により取得することができる。また、外部機器３０１は、その内部の専用のアプリケーションを介して、撮像装置１０１内の保存されている画像データのサムネイル画像を閲覧可能である。これにより、ユーザはサムネイル画像の中から、自分が気に入った画像を選択して、画像確認し、取得指示を操作することにより、その画像を外部機器３０１に取得することができる。

このとき、ユーザが選んだ画像について送信指示（送信要求）して取得しているので、取得された画像はユーザの好みの画像である可能性が非常に高い。よって取得された画像は、学習すべき画像であると判定し、取得された画像から図６のＳ６１２と同様に学習データを生成し、この学習データに基づいて学習する。これにより、ユーザの好みの各種学習を行うことができる。

操作例について説明する。スマートデバイスである外部機器３０１の専用のアプリケーションを介して、撮像装置１０１内の画像を閲覧している例を図８に示す。表示装置４０７に、撮像装置１０１内に保存されている画像データのサムネイル画像（８０４〜８０９）が表示されており、ユーザは自分が気に入った画像を選択し、取得することができる。このとき、表示方法を変更する変更ボタンアイコン８０１,８０２,８０３が設けられている。変更ボタンアイコン８０１を押下すると、表示順序が日時優先表示モードに変更され、撮像装置１０１内の画像が撮影日時の順番で表示装置４０７に表示される。例えば、画像８０４は日時が新しく、画像８０９が日時は古いように表示される。変更ボタンアイコン８０２を押下すると、おすすめ画像優先表示モードに変更される。図６のＳ６１２で算出された、各画像に対してのユーザの好みを判定した評価結果であるスコアに基づいて、撮像装置１０１内の画像がスコアの高い順番で表示装置４０７に表示される。例えば、画像８０４はスコアが高く、画像８０９がスコアは低いように表示される。変更ボタンアイコン８０３を押下すると、人物や物体被写体を指定でき、続いて特定の人物や物体被写体を指定すると特定の被写体のみを表示することもできる。

変更ボタンアイコン８０１〜８０３は、同時に設定をＯＮすることもでき、例えば全ての設定がＯＮされている場合、指定された被写体のみを表示し、且つ、撮影日時が新しい画像が優先され、且つ、スコアの高い画像が優先され、表示されることになる。

このように、撮影画像についてもユーザの好みを学習するため、撮影された大量の画像の中から簡単な確認作業で、ユーザの好みの画像のみを簡単に抽出することが可能である。

（３）外部通信機器を介して画像に判定値を入力することによる学習
上記で説明したとおり、撮像装置１０１と外部機器３０１は、通信手段を有しており、撮像装置１０１内の保存されている画像を、外部機器３０１内の専用のアプリケーションを介して閲覧可能である。ここで、ユーザが、各画像に対して点数付けを行う構成にしてもよい。ユーザが好みと思った画像に対して高い点数（例えば５点）を付けたり、好みでないと思った画像に対して低い点数（例えば１点）を付けることができ、ユーザの操作によって、撮像装置１０１が学習していくような構成にする。各画像の点数は、撮像装置内で学習データと共に再学習に使用する。指定した画像情報からの特徴データを入力にした、ニューラルネットワークの出力がユーザが指定した点数に近づくように学習される。

本実施形態では、外部機器３０１を介して、撮影済み画像にユーザが点数を入力する構成にしたが、撮像装置１０１を操作して、直接、画像に点数を入力する構成にしてもよい。その場合、例えば、撮像装置１０１にタッチパネルディスプレイを設け、タッチパネルディスプレイに表示されたＧＵＩボタンをユーザが押下して、撮影済み画像を表示するモードに設定する。そして、ユーザが撮影済み画像を確認しながら、各画像に点数を入力するなどの方法により、同様の学習を行うことができる。

（４）外部通信機器でパラメータを変更することによる学習
上記で説明したとおり、撮像装置１０１と外部機器３０１は、通信手段を有しており、撮像装置１０１内に現在設定されている学習パラメータを外部機器３０１に送信し、外部機器３０１の記憶回路４０４に保存することができる。学習パラメータとしては、例えば、ニューラルネットワークのニューロン間の結合重みや、ニューラルネットワークに入力する被写体の選択などが考えられる。また、外部機器３０１内の専用のアプリケーションを介して、専用のサーバにセットされた学習パラメータを公衆回線制御回路４０６を介して取得して、撮像装置１０１内の学習パラメータに設定することもできる構成とする。これにより、ある時点でのパラメータを外部機器３０１に保存しておいて、撮像装置１０１に設定することにより学習パラメータを戻すこともできるし、他のユーザが持つ学習パラメータを専用のサーバを介して取得し自身の撮像装置１０１に設定することもできる。

次に、学習処理シーケンスについて説明する。図５のＳ５０４のモード設定判定において、学習処理を行うべきか否かを判定し、学習処理を行う場合、学習モードであると判定され、Ｓ５１０の学習モード処理を行う。

学習モードの判定条件について説明する。学習モードに移行するか否かは、前回学習処理を行ってからの経過時間と、学習に使用できる情報の数、通信機器を介して学習処理指示があったかなどから判定される。Ｓ５０４のモード設定判定処理内で判定される、学習モードに移行すべきか否かの判定処理フローを図９に示す。

Ｓ５０４のモード設定判定処理内において学習モード判定が開始指示されると、図９の処理がスタートする。Ｓ９０１では外部機器からの学習指示があるか否かを判定する。ここでの学習指示の有無の判定は、＜（４）外部通信機器でパラメータを変更することによる学習＞のように、学習パラメータをセットする指示があったか否かの判定である。Ｓ９０１で、外部機器３０１からの学習指示があった場合、Ｓ９０７に進み、学習モード判定をＴＲＵＥにして、Ｓ５１０の処理を行うように設定し、学習モード判定処理を終了する。Ｓ９０１で外部機器３０１からの学習指示がない場合、Ｓ９０２に進む。

Ｓ９０２では、前回学習モード処理が行われてからの経過時間ＴｉｍｅＮを取得し、Ｓ９０３に進む。Ｓ９０３では、学習する新規のデータ数ＤＮ（前回学習処理が行われてからの経過時間ＴｉｍｅＮの間で、学習するように指定された画像の数）を取得し、Ｓ９０４に進む。Ｓ９０４では、ＴｉｍｅＮから閾値ＤＴを算出する。あるいは、ＴｉｍｅＮから閾値ＤＴを得るためのテーブルを用意しておいてもよい。例えば、ＴｉｍｅＮが所定値よりも小さい場合の閾値ＤＴａが、所定値よりも大きい場合の閾値ＤＴｂよりも大きく設定されており、時間経過によって、閾値が小さくなるように設定されている。これにより、学習データが少ない場合においても、時間経過が大きいと再度学習するようにすることで、使用時間が長くなると撮像装置が学習モードに変化し易いようにすることができる。なお、学習モード処理が行われてから暫くの期間は学習モードに移行しないように、閾値ＤＴを大きくするとよい。

Ｓ９０４において閾値ＤＴが算出されると、Ｓ９０５に進み、学習するデータ数ＤＮが、閾値ＤＴ以上であるか否かを判定する。データ数ＤＮが、閾値ＤＴ以上である場合、Ｓ９０６に進み、ＤＮを０に設定する。その後、Ｓ９０７に進み、学習モード判定をＴＲＵＥにして、Ｓ５１０の処理を行うように設定し、学習モード判定処理を終了する。

Ｓ９０５においてデータ数ＤＮが、閾値ＤＴ未満の場合、Ｓ９０８に進む。Ｓ９０８では、外部機器３０１からの登録指示も、外部機器からの学習指示もなく、且つ学習データの数も所定値未満であるので、学習モード判定をＦＡＬＳＥにし、Ｓ５１０の処理は行わないように設定し、学習モード判定処理を終了する。

次に、学習モード処理（Ｓ５１０）内の処理について説明する。学習モード処理の詳細なフローを図１０に示す。

図５のＳ５０９で学習モードと判定され、Ｓ５１０に進むと、図１０の処理がスタートする。Ｓ１００１では、外部機器３０１からの学習パラメータの設定指示があるか否かを判定する。外部機器３０１から学習パラメータの設定指示があった場合、Ｓ１００６に進み、外部機器から送信された学習パラメータを各判定器（ニューラルネットワークのニューロン間の結合重みなど）に設定し、Ｓ１００７に進む。Ｓ１００１で外部機器３０１からの学習指示がない場合、Ｓ１００２に進む。

Ｓ１００２では、いずれかの学習データを選択して機械学習を行う。この学習データは、手動で撮影された画像であるとの情報が付加された撮影画像から生成された学習データ、外部通信機器で取得した画像から生成された学習データ、外部通信機器を介して判定値が入力された撮影画像から生成された学習データを含む。誤差逆伝搬法あるいは、勾配降下法などの方法を用いて学習させ、ニューラルネットワークのニューロン間の結合重みを再計算して、各判定器のパラメータを変更する。学習データを生成した画像に対してユーザが点数を付けていれば、その点数を加味した学習を行う。

Ｓ１００３では、機械学習のために用意した全ての学習データを用いて学習を行ったかを判定する。まだ残っている学習データがあればＳ１００２に戻り、全ての学習データを用いて学習を行っていればＳ１００４に進む。

Ｓ１００４では、機械学習により得られた学習パラメータを、基準回数に対応付けて不揮発性メモリ２１４に記憶する。

Ｓ１００５では、Ｓ１００４で記憶した最新の学習パラメータを各判定器（ニューラルネットワークのニューロン間の結合重みなど）に設定し、Ｓ１００７に進む。

Ｓ１００７では、記録媒体２１９内あるいは不揮発性メモリ２１４内の画像に対してスコアを付け直す（再評価する）。本実施形態においては、新たな学習結果に基づいて、記録媒体２１９内あるいは不揮発性メモリ２１４内に保存されている全ての撮影画像にスコアを付けておき、付けられたスコアに応じて、自動編集や自動ファイル削除を行う構成とする。つまり、再学習や外部機器からの学習パラメータのセットが行われた場合には、撮影済み画像のスコアも更新する必要がある。よって、Ｓ１００７では、記録媒体２１９内あるいは不揮発性メモリ２１４内に保存されている撮影画像に対して、新たなスコアを付ける再計算が行われ、処理が終了すると学習モード処理を終了する。なお、新たなスコアを付ける再計算は、ユーザの指示に応じて行うようにしてもよい。

本実施形態においては、撮像装置１０１内で学習する構成を基に説明したが、外部機器３０１側に学習機能を持たせ、学習に必要なデータを外部機器３０１に送信し、外部機器側でのみ学習を実行する構成でも同様の学習効果を実現可能である。その場合、上記の＜（４）外部通信機器でパラメータを変更することによる学習＞で説明したように、外部機器側で学習したニューラルネットワークのニューロン間の結合重みなどのパラメータを撮像装置１０１に送信して設定することにより、学習を行う構成にしてもよい。

また、撮像装置１０１内と、外部機器３０１内の両方に、それぞれ学習処理機能をもつ構成にしてもよい。例えば撮像装置１０１内で学習モード処理が行われるタイミングで外部機器３０１が持つ学習データを撮像装置１０１に通信し、学習パラメータをマージすることで学習を行う構成にしてもよい。

＜ファイル自動削除処理＞
次に、ファイル自動削除処理の詳細について図１１を用いて説明する。図１１は、図５のＳ５１２で実行されるファイル自動削除処理の動作を示すフローチャートである。

図５のＳ５１１において、前回ファイル自動削除を行ってからの経過時間や、記録媒体２１９あるいは不揮発性メモリ２１４に記録したデータ量、学習データの更新の有無等により、ファイル自動削除を行うべきと判定されると、Ｓ５１２に進み、図１１のファイル自動削除モードの動作が実行される。

Ｓ１１０２では、前回のファイル自動削除処理を実行した際に参照した学習データに対して、学習データが更新されているか否かを判断する。学習データつまり学習パラメータが更新されている場合は、ユーザの好みが更新されている可能性があり、削除候補も変化している可能性がある。そのため、前回から学習パラメータが更新されていればＳ１１０３に進み、更新されていなければ、Ｓ１１０８に進む。

Ｓ１１０３では、前回のファイル自動削除処理から学習パラメータが更新されているので、ユーザの好みも更新されている可能性がある。そのため、記録媒体２１９内あるいは不揮発性メモリ２１４内に保存されている全ての撮影画像を対象にして、図１０のＳ１００７で付与されたスコアを参照し、スコアが第１の基準値よりも低い撮影画像を、削除候補画像として選択する。この第１の基準値は一定値でも、ユーザが設定した値でもよいし、全ての撮影画像のスコアのヒストグラム分布に応じて設定した値としてもよい。なお、説明を簡単にするために、記録媒体２１９内あるいは不揮発性メモリ２１４内に保存されている全ての撮影画像を対象としているが、ユーザによる指示、日付、あるいは、画像が格納されているフォルダなどによって、対象とする撮影画像を制限するようにしてもよい。

Ｓ１１０４では、削除されずに残る画像が第２の基準値以上の場合には、Ｓ１１０５に進み、第２の基準値未満の場合にはＳ１１０６に進む。このＳ１１０４は、記録対象として残す画像が多すぎるか否かを判定する処理である。そのため、この第２の基準値は固定値でもよいが、撮影回数が増えるほど、記録対象として残す画像が増えることが望ましいので、撮影回数が増加するほど、この第２の基準値も増加させることが望ましい。

Ｓ１１０５では、Ｓ１１０３とは異なる評価基準により、削除候補画像の選択を行う。学習データに基づくスコアはすでに算出されているため、例えば、Ｓ１１０３で削除候補画像とならなかった撮影画像間の類似度を比較し、類似度が高い撮影画像が存在する場合には、いずれか（例えば、スコアの低いほう）の類似画像を削除する。類似度の判断基準としては、例えば、撮影された場所、撮影された日時、撮影画像内の被写体の構図、撮影画像内の被写体の種類などが考えられるが、これに限られるものではない。なお、スコアが高い画像を全て残したいのであれば、Ｓ１１０４およびＳ１１０５は、省略しても構わない。

Ｓ１１０６では、前回のファイル自動削除処理では削除されなかったが、今回のファイル自動削除処理で削除候補となった画像がある場合には、それらの画像が削除候補となったことをユーザに報知する。報知処理の一例としては、音声出力回路２１６から発するスピーカー音を用いて報知する方法や、ＬＥＤ制御回路２２２によるＬＥＤ点灯光を用いて報知する方法などが考えられる。また、削除候補を確認する手法としては、スマートデバイスである外部機器３０１の専用のアプリケーションを介して、カメラ１０１内に記録されている削除候補を一覧表示する方法などが考えられる。一例としては、削除対象の画像を一覧表示し、過去に削除対象とならなかった画像がわかるように色分けやアイコン表示を行い、削除候補をユーザに視覚的に認識させる。これは、過去のファイル自動削除処理において削除されなかった画像については、ユーザは、今回のファイル自動削除処理においても削除されないと思い込んでいる可能性があるためである。そして、ユーザからの指示があれば、その指示に応じて画像を削除対象から除外する。

そして、Ｓ１１０７において、削除対象画像を記録媒体２１９あるいは不揮発性メモリ２１４から削除して、本フローの動作を終了する。

なお、Ｓ１１０２において学習パラメータの更新がされていなければ、Ｓ１１０８に進む。Ｓ１１０８おいては、記録媒体２１９内あるいは不揮発性メモリ２１４内に保存されている撮影画像のうち、前回のファイル自動削除処理よりも後に得られた撮影画像のみを対象にして、図１０のＳ１００７で付与されたスコアを参照する。そして、スコアが前述した第１の基準値よりも低い撮影画像を、削除候補画像として選択する。学習パラメータが更新されていない状態であれば、すでに判定済みの撮影画像に対して判定を行ったとしても、判定結果が変わらないためである。また、スコアを参照する撮影画像を減らすことにより、処理負荷を軽減することができる。

そして、Ｓ１１０９で削除対象画像を記録媒体２１９あるいは不揮発性メモリ２１４から削除して、本フローの動作を終了する。

なお、削除対象画像を選択する際に、図１０のＳ１００７で付与されたスコアに加え、画像観閲記録や画像転送記録に基づいて、画像を選択して削除処理を実行してもよい。例えば、ユーザが長い期間観閲していない画像や、すでに転送している画像は、削除しても不利益はないと考えられるためである。

また、Ｓ１１０６において削除候補画像をユーザに報知するステップを設けたが、報知せずに自動削除を行う構成としてもよい。また、Ｓ１１０３に進む条件として、学習パラメータが更新された場合だけでなく、記録媒体２１９あるいは不揮発性メモリ２１４の残容量が閾値を下回っている場合を含めるようにしてもよい。

このように、本実施形態では、学習パラメータが更新されている場合のほうが、学習パラメータが更新されていない場合よりも、ファイル自動削除処理の判定の対象となる画像の範囲が広い。すなわち、記録媒体２１９内あるいは不揮発性メモリ２１４内に保存されている撮影画像が同じ条件であっても、ファイル自動削除処理を行う際に学習パラメータが更新されていれば、学習パラメータが更新されていない場合に比べて、ファイル自動削除処理の判定の対象となる画像の数が多くなる。なお、本実施形態では、学習パラメータが更新されていない状態であれば、前回のファイル自動削除処理よりも後に得られた撮影画像のみから、削除候補画像を選択する例をあげて説明を行ったが、これに限られるものではない。

例えば、ファイル自動削除処理において、スコアが高いものから所定数の画像を残し、それ以外の画像を削除する仕様とすることが考えられる。このような仕様であれば、学習パラメータが更新されてなくとも、撮影画像が増えることで、前回のファイル自動削除処理で削除されなかった画像が、次のファイル自動削除処理では削除される可能性がある。このような場合は、学習パラメータが更新されていれば、次のファイル自動削除処理では、記録媒体２１９内に保存されている全ての撮影画像を対象にする。これに対して、学習パラメータが更新されていなければ、次のファイル自動削除処理では、前回のファイル自動削除処理よりも後に得られた撮影画像と、前回のファイル自動削除処理よりも前に得られた撮影画像のうちの一部のみを対象にする。前回のファイル自動削除処理よりも後に撮影画像が得られることによって削除する対象となる撮影画像は、前回のファイル自動削除処理よりも前に得られた撮影画像のうち、相対的にスコアが低い撮影画像である。よって、前回のファイル自動削除処理よりも前に得られた撮影画像においては、これらの相対的にスコアが低い撮影画像のみを次のファイル自動削除処理の対象としてもよい。

なお、本実施形態では、撮像装置１０１内でファイルの自動削除を行う構成を前提として説明したが、これに限られるものではない。撮像装置１０１から撮影画像が転送された外部機器３０１や、外部機器３０１を介して転送されたサーバにおいて、ファイルの自動削除を行う構成としてもよい。この場合、撮像装置１０１は画像の自動削除を行う必要はなく、全ての撮影画像を外部機器３０１やサーバに転送する構成とすることができる。

また、外部機器３０１やサーバに、撮影画像を記録するための十分な容量がある場合には、ファイルを自動削除する代わりに、ユーザが閲覧するための撮影画像を自動選択する構成としてもよい。すなわち、撮影画像を自動削除することはせずに、ユーザが撮影画像を閲覧しようとした場合に、学習パラメータに基づくスコアの低い画像を表示対象とはせずに、スコアの高い画像のみをユーザが閲覧可能なように選択する仕様とすることができる。この場合は、Ｓ１１０３、Ｓ１１０５、Ｓ１１０８において、削除候補画像を選択する代わりに、非表示候補画像を選択することになる。この場合、撮影画像は削除されずに残るため、過去に低いスコアが付いた画像であっても、新たな学習パラメータに基づく評価では高いスコアとなる画像を救済することが可能となる。

以上説明したように、本実施形態によれば、学習データの更新に応じて、記録あるいは表示対象とする画像を適切に選択できるようになるため、ユーザの好みが変わった場合に、それに応じた画像の選択が行えるようになる。これにより、ユーザの好みの画像を残し、そうでない画像を自動的に削除することができ、メディアの空き容量不足によりユーザの意図した撮影を行うことができなかったり、自動撮影において狙ったシーンを撮影できなかったりする不都合を解消することができる。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０１：撮像装置、１０２：鏡筒、１０４：チルト回転ユニット、１０５：パン回転ユニット、２１７：学習処理回路、２１９：記録媒体、２２１：制御回路、３０１：外部機器

Claims (20)

1. 被写体を撮像して得られた画像を記憶する記憶手段と、
   機械学習により、ユーザの好みの画像を学習する学習手段と、
   前記学習手段の学習結果に基づいて、前記記憶手段に記憶されている画像を評価する評価手段と、
   前記評価手段により評価した評価結果に基づいて、前記記憶手段に記憶されている画像から一部の画像を選択する選択手段と、
   を備え、
   前記評価手段は、前記学習手段の学習パラメータが更新された場合と、更新されていない場合で、前記記憶手段に記憶されている画像のうち、評価の対象とする画像の範囲を異ならせることを特徴とする画像処理装置。
2. 前記評価手段は、前記記憶手段に記憶されている画像が同じであっても、前記学習手段の学習パラメータが更新された場合は、更新されていない場合に比べて、多くの画像を評価することを特徴とする請求項１に記載の画像処理装置。
3. 前記評価手段は、前記学習手段の学習パラメータが更新された場合に、前記記憶手段に記憶されている全ての画像について、更新された前記学習パラメータに基づいて評価を行うことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記評価手段は、前記学習手段の学習パラメータが更新されていない場合に、前回の評価を行った後に前記記憶手段に追加された画像について、評価を行うことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記選択手段により選択された画像を、前記記憶手段から削除する削除手段をさらに備えることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記選択手段により選択された画像を、表示手段に表示しないように制御する制御手段をさらに備えることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
7. 前記評価手段は、前記学習手段の学習パラメータに基づいて、前記記憶手段に記憶されている画像の評価値であるスコアを算出し、前記選択手段は、前記スコアが所定の値よりも低い画像を前記一部の画像として選択することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記選択手段は、前記スコアに加え、前記記憶手段に記憶されている画像の観閲記録、外部機器への転送記録の少なくともいずれかに基づいて、前記一部の画像を選択することを特徴とする請求項７に記載の画像処理装置。
9. 前記学習手段は、外部機器からのパラメータの設定指示に従って、学習パラメータを設定することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記学習手段は、ユーザの手動による撮影指示によって撮影された画像に基づいて、学習パラメータを設定することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
11. 前記学習手段は、外部機器から送信要求のあった画像に基づいて、学習パラメータを設定することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
12. 前記学習手段は、ユーザにより入力された前記記憶手段に記憶されているそれぞれの画像の評価値であるスコアに基づいて学習し、学習パラメータを設定することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
13. 前記選択手段は、前記記憶手段に記憶されている画像のうち、前記選択手段により選択された以外の画像の数が所定の閾値以上である場合に、前記選択された以外の画像から類似の画像を判定し、該類似の画像の少なくとも１つをさらに選択することを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 前記選択手段によりさらに選択された画像を、ユーザに認知可能に報知する報知手段をさらに備えることを特徴とする請求項１３に記載の画像処理装置。
15. 前記選択手段は、前記記憶手段に記憶されている画像のデータ量に基づいて、前記記憶手段に記憶されている画像からの前記一部の画像の選択を実行するか否かを判定することを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
16. 被写体を撮像する撮像手段と、
    請求項１乃至１５のいずれか１項に記載の画像処理装置と、
    を備えることを特徴とする撮像装置。
17. 画像、音、時間、振動、身体の変化、過去の撮影情報の少なくとも１つに基づいて被写体を探索し、前記撮像手段に自動撮影を行わせる制御手段をさらに備えることを特徴とする請求項１６に記載の撮像装置。
18. 被写体を撮像して得られた画像を記憶手段に記憶する記憶工程と、
    機械学習により、ユーザの好みの画像を学習する学習工程と、
    前記学習工程における学習結果に基づいて、前記記憶手段に記憶されている画像を評価する評価工程と、
    前記評価工程において評価した評価結果に基づいて、前記記憶手段に記憶されている画像から一部の画像を選択する選択工程と、
    を有し、
    前記評価工程おいて、前記学習工程の学習パラメータが更新された場合と、更新されていない場合で、前記記憶手段に記憶されている画像のうち、評価の対象とする画像の範囲を異ならせることを特徴とする画像処理方法。
19. コンピュータを、請求項１乃至１５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
20. コンピュータを、請求項１乃至１５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images