JP2021018315A - 制御装置、撮像装置、制御方法、プログラム - Google Patents

Abstract

【課題】 像装置の設定に関する使用者の操作負荷を減じることである。【解決手段】 デジタルカメラ１００のシステム制御部５０は、被写体に関する画像に関する画像情報と、使用者の視線に関する視線情報を取得する。システム制御部５０は、視線情報および画像情報を用いて撮影シーンを認識、認識結果に基づいて撮影条件を決定する。【選択図】 図１

Description

本発明は、焦点調節手段を制御する制御装置に関する。

使用者の操作負荷を減らすにあたり、撮像装置の設定を自動で決定する技術が重要となる。

特許文献１には、撮影画角内に存在する顔と撮影シーンを認識し、その認識結果を以て撮影条件を自動で設定する方法が開示されている。

特開２００３−３４４８９１号公報

しかしながら、特許文献１の手法では被写体に関する情報しか用いていないため、使用者の意思を撮像装置の設定に反映できず使用者の操作負荷を十分に減らせない場合があった。

そこで本発明は、撮像装置の設定に関する使用者の操作負荷を減じることを目的とする。

本発明の制御装置は、撮像装置を介して得られた被写体の画像情報を取得する画像取得手段と、前記撮像装置の使用者の視線に関する視線情報を取得する視線取得手段と、前記視線情報および前記画像情報を用いて撮影シーンを認識する認識手段と、認識手段によって認識された撮影シーンに基づいて、前記撮像装置の撮影条件を決定する制御手段と、を有することを特徴とする。

本発明によれば、撮像装置の設定に関する使用者の操作負荷を減じることができる。

デジタルカメラの外観図である。 デジタルカメラの構成を示す機能ブロック図である。 視線検出手段の概略図である。 画像情報の例を示す図である。 視線情報の例を示す図である。 撮影条件の決定に関するフローチャートである。 スマートフォンの外観図である。 撮影用アプリケーションが起動されている際の表示を示す図である。 撮影条件の決定に関するフローチャートである。

以下、本発明の制御装置を有する撮像装置の実施形態について、添付の図面に基づいて説明する。

［実施例１］
図１に本実施形態による撮像装置の一例としてのデジタルカメラ１００の背面外観図を示す。表示部（表示手段）２８は画像や各種情報を表示する電子ビューファインダーである。シャッターボタン６１は撮影指示を行うために用いられる。コネクタ１１２は、パーソナルコンピュータやプリンタなどの外部機器と接続するための接続ケーブル１１１とデジタルカメラ１００とを接続するためのコネクタである。操作部７０は使用者からの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材より成る。コントローラホイール７３は操作部７０に含まれる回転操作可能な操作部材である。電源スイッチ７２は、電源オン、電源オフを切り替えるための押しボタンである。

記録媒体２００は、例えばメモリカードやハードディスク等を含み、デジタルカメラ１００により撮影された画像等を格納する。記録媒体スロット２０１は記録媒体２００を着脱可能に格納するためのスロットである。記録媒体スロット２０１に格納された記録媒体２００は、デジタルカメラ１００との通信が可能となり、記録や再生が可能となる。蓋２０２は記録媒体スロット２０１の蓋である。図１においては、蓋２０２を開けて記録媒体スロット２０１から記録媒体２００の一部を取り出して露出させた状態を示している。

図２は、本実施形態によるデジタルカメラ１００の構成例を示すブロック図である。図２において、撮影レンズ１０３はズームレンズ、フォーカスレンズ、絞りを含む光学系と、フォーカスレンズを駆動することで合焦する位置を変化させる焦点調節手段を含む。シャッター１０１は機械式シャッターである。撮像素子２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される。Ａ／Ｄ変換器２３は、アナログ信号をデジタル信号に変換する。

画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対し所定の画素補間、縮小等のリサイズ処理や色変換処理を行う。また、画像処理部２４では、撮像した画像データ（画像情報）を用いて所定の演算処理を行う。画像処理部２４により得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス。自動焦点調節）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。また画像処理部２４は、後述する視線検出部２８ｄから送信された使用者の眼球の画像データを解析し、使用者の視線に関する視線情報を検出する。視線情報は、使用者の注視点の座標、使用者の注視点の動きを含んでも良い。使用者の注視点の動きとは、例えば、一定周期毎に取得された使用者の注視点の座標の変化である。本実施例のデジタルカメラ１００では、視線情報はシステム制御部５０に送信される。

Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５のみを介してメモリ３２に書き込まれる。メモリ３２は、例えば、撮像素子２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１３は、メモリ３２に格納されている表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器２３によって一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１３においてアナログ変換し、表示部２８に逐次転送して表示することで、スルー画像表示（ライブビュー表示（ＬＶ表示））を行える。以下、ライブビューで表示される画像をＬＶ画像と称する。

表示部２８は、表示素子２８ａ、接眼光学系２８ｂ、接眼検知部２８ｃ、視線検出部２８ｄを有する。表示素子２８ａは液晶パネル等から成り、メモリ制御部１５から供給された表示用の画像データを表示する。表示用の画像データには、撮影レンズ１０３を介して得られた被写体空間の画像情報と、デジタルカメラ１００の各種設定等の情報が含まれる。デジタルカメラ１００の使用者は接眼光学系２８ｂを介して表示素子に表示された画像データを拡大して観察できる。接眼検知部２８ｃは目（物体）の接近（接眼）を検知する。システム制御部は、接眼検知部２８ｃで検知された状態に応じて、表示部２８の表示／非表示を切り替える。視線検出部２８ｄは、接眼光学系２８ｂを介して使用者の眼球の画像データを取得する。視線検出部２８ｄにより取得された使用者の眼球の画像データはＡ／Ｄ変換器２９を介して画像処理部２４へ送信される。

不揮発性メモリ５６は、電気的に消去・記録可能な記録媒体としてのメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのコンピュータプログラムのことである。

システム制御部５０は、デジタルカメラ１００全体を制御する少なくとも１つのプロセッサーまたは回路である。前述した不揮発性メモリ５６に記録されたプログラムがシステム制御部５０で実行されることで、後述する本実施例の各処理が実行される。システムメモリ５２には、例えばＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等が展開される。また、システム制御部５０はメモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。また、システム制御部５０は被写体の画像情報および使用者の視線情報を取得する画像取得手段および視線取得手段としても機能する。さらに、システム制御部５０は、視線情報および画像情報を用いて撮影シーンを認識し、認識された撮影シーンを用いてデジタルカメラ１００における撮影条件を決定する。すなわち、システム制御部は認識手段および制御手段としても機能する。

システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。シャッターボタン６１、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。

シャッターボタン６１は、第１シャッタースイッチ６２と第２シャッタースイッチ６４を有する。第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）による焦点調節が開始される。焦点調節は、焦点調節の目標となる被写体に対する測距を行う命令を行った後、当該被写体に合焦する位置にフォーカスレンズを移動させるための命令を行うことで実行される。第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像素子２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理の動作を開始する。

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。

電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。

記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや光ディスク、磁気ディスク等から構成される。通信部５４は、無線または有線ケーブルによって外部機器と接続可能とし、映像信号や音声信号等の送受信を行う。通信部５４は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットとも接続可能である。通信部５４は撮像素子２２で撮像した画像（スルー画像を含む）や、記録媒体２００に記録された画像を送信可能であり、また、外部機器から画像データやその他の各種情報を受信することができる。

なお、本実施例のデジタルカメラ１００は光学系と撮像素子が一体となったいわゆる一体型のデジタルカメラであるが、本発明はこれに限定されない。撮像素子を有するカメラ本体に対して光学系を有するレンズ装置（交換レンズ）を交換可能ないわゆるレンズ交換式カメラに対しても適用可能である。レンズ交換式カメラの場合、レンズ装置とカメラ本体は互いに通信可能に構成され、レンズ装置はカメラ本体からの指示に基づいて機能する。

図３は本実施例の表示部２８（電子ビューファインダー）の構成を説明する図である。

本実施例の視線検出部２８ｄは、複数の赤外線ＬＥＤ３０１からの光を使用者の眼球に照射し、眼球からの反射光をレンズ３０２、ダイクロイックミラー３０４を用いて撮像素子３０３に導光する構成をとっている。撮像素子３０３により得られた眼球の画像（所謂プルキニエ像）を解析することにより使用者の視線情報を取得することができる。

このように、本実施例での視線検出部２８ｄは、電子ビューファインダーの光路を分割することにより使用者の視線を検出する。このため、視線検出部２８ｄは、表示素子２８ｄを観察している使用者の視線を検出することができる。なお、図３は視線検出部２８ｂとしての一例を示しているにすぎず、本発明はこれに限定されない。

次に、本実施例の特徴について述べる。本実施例のデジタルカメラ１００は、使用者の操作負荷を減じるために、画像情報と視線情報を用いて撮影条件の決定を行っている。具体的には、本実施例のデジタルカメラ１００は画像情報と視線情報を用いて撮影シーンを認識する機能を有する。そして、認識された撮影シーンに適した撮影条件を自動的に設定する。ここで「撮影条件」とは、撮影に関する条件（設定）を指し、撮影時の条件（例えばシャッター速度、ＩＳＯ感度、絞り値（Ｆ値））、および現像時の条件（例えばホワイトバランス、コントラスト、彩度等）のうち少なくとも１つを含む。また、「撮影シーン」とは、被写体の空間配置、種類、輝度、色、動きの少なくとも１つに基づいてあらかじめパターン化された被写体空間の状況を指す。撮影シーンの分類については特に限定されないが、例えばポートレート、風景、スポーツ、夜景、食べ物等に分類することができる。

撮影シーンごとに適切な撮影条件の設定は異なる。例えば、ポートレート撮影のようなシーンでは被写界深度を浅くすることが好まれ、記念撮影や風景撮影のようなシーンでは被写界深度を深くすることが好まれる。しかしながら、使用者が撮影シーンを判別しそれに適した撮影条件を手動で設定することには、熟練した撮影技術を要したり複雑な操作が必要となったりする課題があった。

さらに、撮影シーンを画像情報から自動で認識しそれに適した撮影条件を自動で設定するとしても、使用者の意思通りに撮影シーンが認識されなかった場合には使用者の意思通りの撮影が行えなかった。

図４（ａ）、（ｂ）は互いに異なる撮影シーンにおける画像情報を示している。図４（ａ）では、昼間の時間帯であって、近距離の被写体（人物）と遠距離の被写体（木）が映り込んでいる。この場合、人物のみを強調すべき撮影シーンであるか、人物と背景を共に強調すべきシーンであるか判別することは難しい。図４（ｂ）では、夜間の時間帯であって、近距離の被写体（人物）と中距離の被写体（自動車）と遠距離の被写体（建築物）が映り込んでいる。自動車は動体である。この場合にも図４（ａ）と同様にどの被写体を強調すべき撮影シーンであるか判別することは難しい。また、図４（ｂ）の場合には静体と動体が混在しており、強調すべき被写体に依って撮影条件（特にシャッター速度）として適切な値が全く異なる場合がある。さらに、夜間の時間帯は一般に被写体の明暗差が付きやすいため、強調すべき被写体に依って撮影条件（適正露出）が全く異なる場合がある。

これに対し、本実施例のデジタルカメラ１００では、撮影シーンの認識に際して画像情報に加えて視線情報を用いる構成としている。デジタルカメラ１００の使用者は表示部２８の表示を見ながら撮影構図を決めるため、使用者の撮影意図は視線に強く反映される。このため、撮影シーンの認識に視線情報を用いることで、撮影者の撮影意図を加味することが可能となる。

図５（ａ）、（ｂ）は、図４（ａ）、（ｂ）のそれぞれに撮影時の使用者の視線の動き５０１、５０２を重畳して示したものである。すなわち、図５（ａ）、（ｂ）は視線取得手段２４ｂによって取得される視線情報の例でもある。

図５（ａ）に示す視線情報から、使用者は近距離被写体（人物）に注視し、遠距離被写体（木）にはほとんど意識を向けていないことがわかる。この場合、使用者は近距離被写体（人物）のみを強調しようとしていると推測できる。すなわち、図４（ａ）の画像情報と図５（ａ）の視線情報から、人物のみを強調すべき撮影シーンであるというように推定することができる。そして、推定された撮影シーンに基づいて撮影条件を設定すればよい。例えば、近距離被写体（人物）のみが協調されるようＦ値を小さくし、ＩＳＯ感度をなるべく低くしつつ適正露出となるようシャッター速度を定める。さらに、人物撮影に適した現像条件を設定する。

また、図５（ｂ）に示す視線情報から、使用者は近距離被写体（人物）と遠距離被写体（建築物）の両方に視線を向け、中距離被写体（車）にはほとんど意識を向けていないことがわかる。この場合、使用者は遠距離被写体の様子と共に近距離被写体（人物）を撮影しようとしていると推測できる。また、使用者は動体である中距離被写体（車）には注意を払っていないと推測できる。すなわち、図４（ｂ）の画像情報と図５（ｂ）の視線情報から、静止した背景の様子と共に人物を撮影すべき撮影シーンであるというように推定することができる。そして、推定された撮影シーンに基づいて撮影条件を設定すればよい。例えば、被写界深度が深くなるようにＦ値を大きくし、人物が適正露出となるような露出条件を決定する。また、動体に注目した撮影でないためシャッター速度は比較的遅く設定することができる。

このように、視線情報を用いることにより使用者の撮影意図を推測することができる。このため、本実施例のように撮影シーンを認識し、それに基づいて撮影条件を決定することで、使用者の意思を反映した撮影を少ない操作で行うことが可能となる。

次に、本実施例における撮影シーンの認識方法について具体的に述べる。

本実施例における撮影シーンの認識には、少なくとも視線情報と画像情報を入力とする、予め学習された機械学習モデルが用いられる。機械学習モデルとしては少なくとも３層以上のニューラルネットワークを用いることが好ましい。入力として用いる画像情報と視線情報は共に自由度が高く、撮影シーンの認識に用いるべき特徴量が膨大となり得るためである。

なお、上述したように使用者の視線の動きから撮影シーンの認識を行うことでより使用者の意思を反映させやすくすることができる。このため、少なくとも視線情報は時系列データとして扱えることが好ましい。視線情報と共に画像情報も時系列データとしても良い。このようにすることで被写体の動きと使用者の視線の動きの対応関係から撮影シーンの認識が可能となる。

視線情報を時系列データとする場合、学習モデルとしては再帰結合を有するニューラルネットワーク（リカレントニューラルネットワーク）を用いることが好ましい。再帰結合とは、ある時系列データ内の時刻（ｔ−１）のデータを入力した際の中間層の出力を、時刻ｔのデータを入力した際の中間層の入力に加えるようなニューラルネットワークの構造を指す。再帰結合を有することにより時系列データの相関を考慮した推定を行うことが可能となる。なお、入力される時系列データのデータ長は特に限定されない。

本実施例では、機械学習モデルとして再帰結合を有する多層のニューラルネットワークを用いる。本実施例のニューラルネットワークは、視線情報の時系列データと画像情報の時系列データを入力可能であって、予めクラス化された複数の撮影シーンのそれぞれについて該当する確率を要素とする正規化されたベクトルを出力するように設計される。なお、出力されるベクトルの要素に、推定エラーに対応する要素を加えてもよい。推定エラーの場合とは、例えば画像情報のほとんどにピントが合っておらず、画像情報から得られる情報が極端に少ない場合などである。

本実施例の機械学習モデルの学習は、少なくとも視線情報の時系列データ、画像情報の時系列データ、撮影シーンの正解データを含む訓練用データセットを複数用意して行われる。訓練用データセットのそれぞれは、例えば画像情報の時間的遷移に対する視線情報の時間的遷移に基づいて、時系列データにおける最後の時点において好ましいとされる撮影シーンを判断することによって用意される。この判断は何等かの基準（例えば図４，５を用いて説明したような基準）を設定して自動的に行っても良いし、人が行っても良い。

次に、本実施例の撮影条件の決定フローについて具体的に説明する。

図６は、上述した本実施例のデジタルカメラ１００における撮影条件の決定に関するフローチャートである。図６の処理は不揮発性メモリ５６に記録されたプログラムを、システムメモリ５２をワークメモリとしてシステム制御部５０が実行することにより実現される。図６の処理は、視線検出部２８ｃによって使用者の視線が検出されると開始される。

Ｓ６０１において、システム制御部５０は現時点から過去所定期間の視線情報と画像情報を時系列データとして取得する。

Ｓ６０２において、システム制御部５０は使用者によって撮影準備指示が行われているか否かを判別する。使用者によって撮影準備指示が行われている場合にはＳ６０３に進み、行われていない場合にはＳ６１６に進む。本実施例のように撮影準備指示が行われたことに応じてＳ６０３以降のシーン認識処理を実行するように構成することで、処理負荷を低減させることができる。

Ｓ６０３において、システム制御部５０は画像情報および視線情報を用いて、撮影シーンの認識を行う。具体的には、画像情報および視線情報をニューラルネットワークに入力して出力されたベクトルデータから、現在の撮影シーンを認識する。

Ｓ６０４において、システム制御部５０はＳ６０３での認識が成功したか否か判定する。認識に成功した場合にはＳ６０５に進み、認識結果がエラーであった場合にはＳ６０６に進む。

Ｓ６０５では、システム制御部５０は撮影シーンに基づいて適切な撮影条件を決定する。ここで決定される撮影条件は撮影シーンにのみ基づいて決定されても良いし、撮影シーンと他の情報の組み合わせに基づいて決定されても良い。他の情報としては測光結果や、予め入力された使用者の好みに関する情報が挙げられる。

Ｓ６０６では、システム制御部５０は画像情報のみから撮影条件を決定する。Ｓ６０６に進む場合は、画像情報と視線情報に基づいて撮影シーンの分類ができなかった場合である。このため、Ｓ６０６ではＳ６０５と異なる方法で撮影条件を決定する。なお、本実施例ではＳ６０５と異なる方法として画像情報のみから撮影条件を決定する方法を採っているが、本発明はこれに限定されない。例えば、画像情報を用いずに測光結果のみから撮影条件を決定しても良い。このように、Ｓ６０５と異なる方法で撮影条件を決定することで、撮影シーンの認識結果がエラーであった場合であっても、何等かの撮影条件を決定することができ、全く撮影条件が決定されないという事態を回避することができる。

Ｓ６０７では、システム制御部５０はＳ６０３における認識結果がエラーであったか、Ｓ６０３で認識された撮影シーンから現在の撮影シーンが静体撮影に関するものであるかを判定する。Ｓ６０３における認識結果がエラーであった場合、または、現在の撮影シーンが静体撮影に関するものである場合にはＳ６０８に進む。Ｓ６０３における認識結果がエラーでなく、さらに、現在の撮影シーンが静体撮影に関するものでない場合（動体撮影に関するものである場合）にはＳ６１３に進む。Ｓ６０８に進む場合、１度の撮影準備指示に対して１度のＡＦを行う、いわゆるワンショットＡＦの動作が行われる。Ｓ６１３に進む場合、撮影準備指示が継続されている間中被写体を追尾する、いわゆるコンティニュアスＡＦの動作が行われる。すなわち、本実施例では、撮影シーンの認識結果に応じてＡＦモードを変化させる。

Ｓ６０８では、システム制御部５０はＡＦおよびＡＥを実行する。ＡＦおよびＡＥの対象は使用者が決定しても良いし自動的に決定されても良い。

Ｓ６０９では、システム制御部５０は使用者による撮影準備指示が継続されているか否かを判別する。撮影準備指示が継続されている場合にはＳ６１０に進み、撮影準備指示が解除されている場合にはＳ６１６に進む。

Ｓ６１０において、システム制御部５０は使用者による撮影指示が行われているか判別する。撮影指示が行われていない場合にはＳ６０９に戻り、撮影指示が行われている場合にはＳ６１２に進む。

Ｓ６１２において、システム制御部５０は所定の撮影シーケンスを実行し、画像を取得する。

Ｓ６０７からＳ６１３に進んだ場合、システム制御部５０はＡＦおよびＡＥを実行する。ＡＦおよびＡＥの対象は使用者が決定しても良いし自動的に決定されても良い。ここで決定されたＡＦおよびＡＥの対象はその後Ｓ６１２またはＳ６１６に進むまで追尾される。

Ｓ６１４では、システム制御部５０は使用者による撮影準備指示が継続されているか否かを判別する。撮影準備指示が継続されている場合にはＳ６１５に進み、撮影準備指示が解除されている場合にはＳ６１６に進む。

Ｓ６１５において、システム制御部５０は使用者による撮影指示が行われているか判別する。撮影指示が行われていない場合にはＳ６１３に戻り再度ＡＦ，ＡＥを実行する。撮影指示が行われている場合にはＳ６１２に進む。

Ｓ６１６では、システム制御部５０は使用者の視線が継続して検出されているか否か判別する。使用者の視線が検出されなくなった場合には処理を終了し、使用者の視線が継続して検出されている場合にはＳ６０１に戻る。

以上のように、本実施例のデジタルカメラ１００は、撮影条件を決定する制御装置として機能するシステム制御部５０を有している。これにより、撮像装置の設定に関する使用者の操作負荷を減じることができる。

なお、操作部７０を介して使用者が撮影条件を変更できるように構成し、操作部７０を介して撮影条件が設定された場合には図６に示した処理を行わないことが好ましい。すなわち、操作部７０を介して撮影条件の設定が行われた場合には視線情報および画像情報を用いた撮影条件の決定は行われないことが好ましい。使用者の意思は、使用者の視線よりも操作部７０を介した操作により強く反映されるためである。

なお、本実施例では図６に示されるすべての処理をデジタルカメラ１００内で行う例について述べたが、本発明はこれに限定されない。図６に示される処理の一部を、デジタルカメラ１００と通信可能な外部機器で行っても良い。これにより、処理負荷の高い処理については外部機器で行うことが可能となる。

［実施例２］
次に、実施例２の撮像装置について説明する。

図７は本実施例の撮像装置としてのスマートフォン７００である。

図７（ａ）はスマートフォン７００の前面を示しており、図７（ｂ）はスマートフォン７００の背面を示している。

スマートフォン７００は、表示部７０１、操作部７０２、前面撮像部７０３、背面撮像部７０４を有する。

表示部７０１は液晶パネルなどで構成され、タッチセンサを有する。すなわち、使用者は操作部７０２に加えて表示部７０１に触れることでもスマートフォン７００を操作することが可能である。

前面撮像部７０３は主として使用者を撮影するために用いられる。背面撮像部７０４は主として使用者に対向する被写体を撮影するのに用いられる。前面撮像部７０３および背面撮像部７０４はともに不図示の光学系と撮像素子を含む。光学系は、可変開口絞りを有する。

図８は、本実施例のスマートフォン７００において、写真撮影用のアプリケーションが起動された状態を示している。

写真撮影用のアプリケーション起動時のスマートフォン７００の表示部７０１には、被写体の画像（画像情報）８０１と、撮影を指示するための仮想ボタン８０２等が表示される。

このとき、スマートフォン７００は画像情報として表示部７０１上に表示された画像を取得可能に構成されている。また、スマートフォン７００は前面撮像部７０３を介して得られた使用者の顔を解析し、使用者の視線情報を取得可能に構成されている。

図９は本実施例の撮影条件の決定フローを示したフローチャートである。図９の処理は、前面撮像部７０３を介して使用者の視線が検出されると開始される。

Ｓ９０１では、スマートフォン７００は現時点から過去所定期間の視線情報と画像情報を時系列データとして取得する。

Ｓ９０２では、スマートフォン７００は視線情報と画像情報から撮影シーンの認識を行う。具体的には、スマートフォン７００は視線情報に基づいて使用者が被写界深度内に入れようとする被写体の距離範囲を推定（決定）する。この推定は、例えば画像情報と視線情報を比較し、所定期間内で使用者の視線が動いた範囲（注視範囲）にある被写体の距離範囲を使用者が被写界深度内に入れようとする被写体の距離範囲とみなすことで行われる。

次に、所定期間内で使用者の撮影対象が動体であるか静体であるか判定する。この推定は、例えば使用者の注視範囲内の被写体について、各時刻の画像情報を比較して注視範囲に動体が含まれるか否か判定し、その動体の動きに沿って使用者の視線が動いているか否かを判定することによって行われる。

次に、使用者の注視範囲内に含まれる被写体の種類を推定する。推定結果としては、例えば人物、動物、人工物、植物、食べ物などである。この推定は、例えば使用者の注視範囲に含まれる被写体の色、形、大きさに基づいて行われる。

以上の被写界深度、動体、被写体の種類に関する推定結果に基づいて現在の撮影シーンを認識する。例えば、使用者の注視範囲に多数の人が含まれる場合には現在の撮影シーンは集合撮影と認識される。使用者の注視範囲に係る被写界深度が浅く、注視範囲内の被写体の数が少なければポートレート撮影と認識される。注視範囲に係る被写界深度が深ければ風景撮影と認識される。注視範囲内の被写体を追っていれば動体撮影と認識される。

なお、Ｓ９０２では実施例１と同様のニューラルネットワークを用いて撮影シーンの認識を行っても良い。

Ｓ９０３では、スマートフォン７００はＳ９０２において推定（決定）された距離範囲と現在の被写界深度を比較することにより、使用者の注視範囲にある被写体が被写界深度内に入っているか否か判定する。被写界深度内に入っていない場合にはＳ９０２において正しく撮影シーンの認識がされていない場合があり得る。このため、被写界深度を変化させるためにＳ９０５に進む。被写界深度内に入っている場合にはＳ９０４に進む。なお、Ｓ９０４に進む場合としては、注視範囲内にあるすべての被写体が被写界深度内に入っている必要はない。例えば５割以上が被写界深度内に入っていればＳ９０４に進むなど、適宜閾値を設定すればよい。

Ｓ９０５では、スマートフォン７００は光学系の可変開口絞りを現在の絞り値からさらに所定段数絞ることで、被写界深度を深くさせる。

Ｓ９０６では、スマートフォン７００はＡＦおよびＡＥ動作を行う。ＡＦおよびＡＥの対象は自動的に選択されても良いし使用者によって選択されても良い。これにより使用者の注視範囲からピント位置が大幅にはずれた結果、注視範囲内の被写体が被写界深度外となってしまった場合においても適切な撮影シーン認識処理に復帰することが可能となる。

Ｓ９０４では、スマートフォン７００は認識された撮影シーンに基づいて撮影条件を決定する。

Ｓ９０７では、スマートフォン７００は使用者による撮影指示が行われているか判別する。撮影指示が行われていない場合にはＳ９０９に進み、撮影指示が行われている場合にはＳ９０８に進む。

Ｓ９０８において、スマートフォン７００は所定の撮影シーケンスを実行し、画像を取得する。

Ｓ９０９では、スマートフォン７００は使用者の視線が継続して検出されているか否か判別する。使用者の視線が検出されなくなった場合には処理を終了し、使用者の視線が継続して検出されている場合にはＳ９０１に戻る。

このように、本実施例の形態によっても本発明の効果を得ることができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の組合せ、変形及び変更が可能である。

５０ システム制御部（画像取得手段、視線取得手段、認識手段、制御手段）

Claims (15)

1. 撮像装置を介して得られた被写体の画像情報を取得する画像取得手段と、
   前記撮像装置の使用者の視線に関する視線情報を取得する視線取得手段と、
   前記視線情報および前記画像情報を用いて撮影シーンを認識する認識手段と、
   認識手段によって認識された撮影シーンに基づいて、前記撮像装置の撮影条件を決定する制御手段と、
   を有することを特徴とする制御装置。
2. 前記撮影シーンは、被写体の空間配置、種類、輝度、色、動きの少なくとも１つに基づいてパターン化された被写体空間の状況を示す情報であることを特徴とする請求項１に記載の制御装置。
3. 前記撮影条件は、Ｆ値、ＩＳＯ感度、シャッター速度の少なくとも１つを含むことを特徴とする請求項１または２に記載の制御装置。
4. 前記撮影条件は、ホワイトバランス、コントラスト、彩度の少なくとも１つを含むことを特徴とする請求項１乃至３のいずれか一項に記載の制御装置。
5. 前記視線情報は所定の期間における使用者の視線に関する時系列データを含み、
   前記画像情報は所定の期間における前記撮像装置を介して得られた被写体に関する時系列データを含むことを特徴とする請求項１乃至４のいずれか一項に記載の制御装置。
6. 前記認識手段は、前記使用者により撮影準備指示が行われたことに応じて前記認識を行うことを特徴とする請求項１乃至５のいずれか一項に記載の制御装置。
7. 前記認識手段は、前記認識の結果がエラーであった場合、前記画像情報を用いて前記撮影条件を決定することを特徴とする請求項１乃至６のいずれか一項に記載の制御装置。
8. 前記認識手段は、前記画像情報および前記視線情報に基づいて距離範囲を決定し、
   決定された距離範囲よりも現在の被写界深度が浅い場合、前記撮像装置の被写界深度を深くさせた後に前記認識を行うことを特徴とする請求項１乃至５のいずれか一項に記載の制御装置。
9. 前記制御装置は、撮影シーンの認識結果に基づいて、前記撮像装置の焦点調節において被写体を追尾するか否かを決定することを特徴とする請求項１乃至８のいずれか一項に記載の制御装置。
10. 前記認識手段は、前記視線情報と前記画像情報を入力とするニューラルネットワークを用いて前記認識を行う請求項１乃至９のいずれか一項に記載の制御装置。
11. 前記ニューラルネットワークは再帰結合を有することを特徴とする請求項１０に記載の制御装置。
12. 前記制御手段は、操作部を介した操作によって、前記撮影条件に関する指示が行われた場合には、前記指示に基づいて前記撮影条件の制御を行うことを特徴とする請求項１乃至１１のいずれか一項に記載の制御装置。
13. 光学系および撮像素子を含む撮像部と、
    請求項１乃至１２のいずれか一項に記載の制御装置と、
    を有することを特徴とする撮像装置。
14. 撮像装置を介して得られた被写体の画像情報を取得するステップと、
    前記撮像装置の使用者の視線に関する視線情報を取得するステップと、
    前記視線情報および前記画像情報を用いて撮影シーンを認識するステップと、
    認識手段によって認識された撮影シーンに基づいて、前記撮像装置の撮影条件を決定するステップと、
    を有することを特徴とする制御方法。
15. コンピュータに、請求項１４に記載の制御方法を実行させることを特徴とするプログラム。

Images