JP2016018085A - 画像表示制御装置、画像表示制御方法、及び画像表示制御プログラム - Google Patents

Abstract

【課題】一実施形態は、或る画角において複数の被写体のそれぞれに焦点を合わせて取得された複数の画像を適切に表示する。
【解決手段】一実施形態に係る画像表示制御装置は、出力部を含む。出力部は、撮影者の視線に基づき検出された複数の被写体のそれぞれに対して、撮影を指示する信号に応じて合焦することで得られた複数の画像を、注視度合いに基づいて表示するための表示情報を出力する。注視度合いは、撮影者が複数の被写体のそれぞれへと向けた視線から求められる。
【選択図】図５

Description

本発明は、画像表示制御装置、画像表示制御方法、及び画像表示制御プログラムに関する。

近年、デジタルカメラ、携帯電話機、スマートフォン、タブレット端末、ノートＰＣ（パーソナルコンピュータ）などの撮影機能を搭載した機器が普及している。また、例えば、ブログやソーシャルネットワークなどにおいてユーザが情報を発信する機会が増加しており、それに伴いユーザが写真を撮る機会も増えている。

一方で、一眼レフカメラなどで行われているぼかしの効果を生かした撮影に対するユーザの関心が高まっており、例えば、或る画角において焦点を合わせる被写体を変えて複数枚の画像を撮影するといったことが行われている。

これに関し、視線検出装置により検出される撮影者の視線の注視点の情報を用いて自動焦点、露出制御を行うカメラの撮影制御装置に関する技術が知られている。また、屋内に適用可能な全方位型の高精細撮影システムを提供するための技術が知られている。ユーザの意図に反する合焦状態の画像が生成及び記録されることを抑制するための技術が知られている。利用者の眼に掛かる負担を軽減するための技術が知られている。（例えば、特許文献１から４）また、特許文献５から８にも関連する技術が記載されている。

特開平３−１０７９３２号公報 特開２００４−１９４０７５号公報 特開２０１２−４４５６３号公報 特開２０１３−２４２６７１号公報 特開２０１０−１１４６１１号公報 特開２００１−１５９７３０号公報 特開平２−０３２３１２号公報 特開２００７−００４４７１号公報

しかしながら、例えば、或る画角において複数の被写体のそれぞれに焦点を合わせて複数の画像を取得する場合に、取得された複数の画像を撮影の際の撮影者の視線の動きを反映して適切に表示するための技術は知られていない。本発明に係る一態様の目的は、或る画角において複数の被写体のそれぞれに焦点を合わせて取得された複数の画像を適切に表示することである。

本発明の一つの態様は、出力部を含む画像表示制御装置を提供する。出力部は、撮影者の視線に基づき検出された複数の被写体のそれぞれに対して、撮影を指示する信号に応じて合焦することで得られた複数の画像を、注視度合いに基づいて表示するための表示情報を出力する。注視度合いは、撮影者が複数の被写体のそれぞれへと向けた視線から求められる。

一つの側面によれば、或る画角において複数の被写体のそれぞれに焦点を合わせて取得された複数の画像を適切に表示することができる。

画像表示制御装置の或る画角において異なる距離にある複数の被写体を例示する図である。 画角内に収まっている複数の被写体の撮影について例示する図である。 実施形態に係る画像表示制御装置を例示する図である。 実施形態に係る画像表示制御装置の機能ブロック構成を例示する図である。 第１の実施形態に係る撮影処理の動作フローを例示する図である。 第１の実施形態に係るスコアに基づく画像の表示情報出力処理の動作フローを例示する図である。 第１の実施形態に係る表示情報による画像の表示を例示する図である。 画像表示制御装置の或る画角における複数の被写体を例示する図である。 画角内に収まっている複数の被写体を集約して撮影する例を示す図である。 第２の実施形態に係る撮影処理の動作フローを例示する図である。 第２の実施形態に係る撮影効率化処理の動作フローを例示する図である。 実施形態に係る画像表示制御装置を実現するためのコンピュータのハードウェア構成を例示する図である。

上述のように、近年、一眼レフカメラなどで行われているぼかしの効果を生かした撮影に対するユーザの関心が高まっており、例えば、或る画角において焦点を合わせる被写体を変えて複数枚の画像を撮影するといったことがしばしば行われている。そこで、例えば、撮影の際の或る画角内に複数の被写体が収まっている場合には、ユーザが１回の撮影操作を行った際に、複数の被写体のそれぞれに焦点を合わせて複数枚の画像を撮影してしまうことが考えられる。この様にすることで、例えば、ユーザが、或る画角で焦点を変更しながら複数回にわたって画像を撮り直したり、或いは撮影後に焦点の位置を指定したりする手間を省くことができる。しかしながら、例えば、この様に、或る画角において複数の被写体のそれぞれに焦点を合わせて複数の画像を取得する場合に、それらの複数の画像を撮影の際の撮影者の視線の動きを反映して適切に表示するための技術は知られていない。そして、得られた複数の画像のうちからユーザが見たいと望む可能性の高い被写体に焦点の合った画像を優先して表示することは難しい。

例えば、ユーザが或る画角において画像を撮影する場合に、画角内に画像表示制御装置３からの距離が異なる複数の被写体が収まっていることがある。図１は、画像表示制御装置３の或る画角において異なる距離にある複数の被写体を例示する図である。図１（ａ）に示す例では、画角内に被写体ａ：鳥と、被写体ｂ：家と、被写体ｃ：背景とが収まっている。そして、図１（ｂ）に示すように、画像表示制御装置３からの被写体ａ：鳥までの距離は約０．３ｍであり、画像表示制御装置３からの被写体ｂ：家までの距離は約１０ｍであり、画像表示制御装置３からの被写体ｃ：背景までの距離は１００ｍ以上である。

この場合に、画像表示制御装置３からの距離が異なる複数の被写体のそれぞれに焦点を合わせて複数の画像を撮影することが考えられる。図２は、画角内に収まっている複数の被写体の撮影について例示する図である。図２（ａ）は、被写体ａ：鳥に焦点が合わせられており、異なる距離にあるその他の被写体ｂ：家、及び被写体ｃ：背景はぼけている。また、図２（ｂ）に示す画像では、被写体ｂ：家に焦点が合わせられており、その他の被写体ａ：鳥、及び被写体ｃ：背景はぼけている。同様に、図２（ｃ）に示す画像は、被写体ｃ：背景に焦点が合わせられており、その他の被写体はぼけている。例えば、この様に、或る画角内において複数の被写体のそれぞれに焦点を合わせて複数の画像を取得する。この場合に、撮影された複数の画像のうちからユーザが見たいと望む可能性の高い画像を優先して表示させることは難しい。そのため、例えばユーザが撮影した画像を確認する際などに、撮影したい対象に焦点の合った画像が表示されるまで得られた画像を順に見て行くなどの手間がかかっている。

そこで、いくつかの実施形態においては、撮影の際に撮影者が被写体を注視した度合いを表す注視度合いのスコアを演算し、得られた注視度合いのスコアに基づいて注視度合いの高い被写体に合焦させた画像を優先して表示する。例えば、撮影者が画像を撮影する際に、画像表示制御装置３のファインダ内で撮影者が注視している時間（注視時間）の長い被写体は、撮影者が撮影したいと望んでいる対象である可能性が高いことが推測される。同様に、撮影の際の所定の時間間隔において注視されている割合（注視率）の高い被写体は、撮影者が撮影したいと望んでいる対象である可能性が高いことが推測される。また、撮影の際に撮影者により注視された順番（注視順）の早い被写体は、撮影者が撮影したいと望んでいる対象である可能性が高いことが推測される。そのため、いくつかの実施形態においては、例えば、このような注視時間、注視率、及び注視順などの撮影者の視線に基づく値から注視度合いのスコアを演算し、注視度合いのスコアに基づいて注視度合いの高い被写体に合焦させた画像を優先して表示する。それにより、例えば、ユーザが見たいと望む可能性の高い画像を優先して表示することができる。以下、図面を参照していくつかの実施形態が説明される。

＜第１の実施形態＞
図３は、実施形態に係る画像表示制御装置３を例示する図である。図３（ａ）は画像表示制御装置３の背面図であり、また、図３（ｂ）は画像表示制御装置３の正面図を例示している。画像表示制御装置３は、例えば、デジタルカメラ、携帯電話機、スマートフォン、タブレット端末、バングル型端末、ノートＰＣなどの装置であってよい。画像表示制御装置３は撮影機能を備えていてよい。例えば、画像表示制御装置３は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを用いたカメラなどの撮像素子３１を備えていてよい。また、画像表示制御装置３は、図３（ｂ）に示すように、例えば、撮影者の視線を検出するための視線センサ３２を備えていてよい。視線センサ３２は、例えば、カメラなどの撮像素子であってよく、或いは、赤外線光源及び受光素子を備える視線検出装置であってもよい。また、画像表示制御装置３は、例えば、ディスプレイなどの表示装置３３を備えていてよく、撮影の際には表示装置３３はファインダとして機能してよい。

図４は、実施形態に係る画像表示制御装置３の機能ブロック構成を例示する図である。画像表示制御装置３は、例えば、制御部４００及び記憶部４２０を含んでいる。制御部４００は、例えば取得部４１１、演算部４１２、及び出力部４１３などの機能部を含んでいる。記憶部４２０は、例えば、プログラム４３０などの情報を記憶している。画像表示制御装置３の制御部４００は、プログラム４３０を読み出して実行することで例えば取得部４１１、演算部４１２、及び出力部４１３などの機能部として機能してよい。これらの各機能部の詳細及び記憶部４２０に格納されている情報の詳細については後述する。

図５は、第１の実施形態に係る撮影処理の動作フローを例示する図である。一実施形態においては、画像表示制御装置３において撮影機能を起動する実行指示が制御部４００に入力されると、撮影処理は開始する。

ステップ５０１（以降、ステップを“Ｓ”と記載し、例えば、Ｓ５０１と表記する）において、画像表示制御装置３の制御部４００は、視線センサ３２を起動して視線検出を開始し、Ｓ５０２において制御部４００は、撮影者の視線を検出する。なお、視線検出では、制御部４００は、撮影者の視線の向きを検出することで、撮影者がファインダに表示されている画像のうちでどこを注視しているかを特定する。視線検出は、さまざまな手法で実行されてよく、例えば、特許文献４に記載される手法を用いて実行されてよい。

Ｓ５０２において制御部４００は撮影者の視線を検出すると、例えば、所定期間にわたって撮影者の視線の動きを検出し続ける。そして、Ｓ５０３において、制御部４００は、例えば、所定期間にわたって検出された撮影者の視線の動きにおいてファインダ上で長い時間注視されている箇所がある場合に、その箇所にある被写体を撮影者に注視された被写体として抽出する。即ち、制御部４００は、例えば、所定期間にわたって検出された撮影者の視線の動きにおいて所定時間以上にわたって注視されている被写体を抽出してよい。

Ｓ５０４において制御部４００は、Ｓ５０３で抽出された被写体が複数あるか否かを判定する。抽出された被写体が１つである場合には（Ｓ５０４がＮＯ）、フローはＳ５０５へと進む。Ｓ５０５において制御部４００は、抽出された１つの被写体を選択し、Ｓ５０６において、選択した被写体に焦点を合わせる。なお、制御部４００は、例えば、画像表示制御装置３のファインダに、選択した被写体に焦点を合わせた画像を表示させてよい。Ｓ５０７において制御部４００は、選択した被写体に焦点を合わせた状態で焦点をロックする。Ｓ５０８において、例えば、撮影者がシャッターボタンを押し下げるなどして、撮影者からの撮影を指示する入力を制御部４００が受け付けると、フローはＳ５０９へと進む。Ｓ５０９において、画像表示制御装置３の制御部４００は、抽出された１つの被写体に焦点を合わせて撮影を行って画像を１枚取得する。そして、Ｓ５１０において画像表示制御装置３の制御部４００は、得られた画像データを、例えば、記憶部４２０に保存し、フローはＳ５０１へと戻る。

一方、Ｓ５０４において抽出された被写体が複数ある場合には（Ｓ５０４がＹＥＳ）、フローはＳ５１１へと進む。Ｓ５１１において制御部４００は、例えば、Ｓ５０３で抽出された複数の被写体のそれぞれについて注視率を算出する。注視率は、例えば、Ｓ５０２で撮影者の視線が検出されてから所定時間が経過するまでの間において、Ｓ５０３で抽出された複数の被写体のそれぞれが注視された時間の割合として算出されてよい。即ち、制御部４００は、例えば、Ｓ５０２で撮影者の視線が検出されてからＳ５０３で被写体を抽出するまでの期間を分母とし、この期間のうちで抽出された個々の被写体が注視されていた時間を分子として得られた割合を、注視率として算出してもよい。

続いて、Ｓ５１２において制御部４００は、Ｓ５１１で算出した各被写体への注視率を比較し、Ｓ５０３で抽出された複数の被写体のそれぞれへの注視率がおおよそ同じであるか否かを判定する。制御部４００は、例えば、算出された各被写体への注視率の差異がいずれも所定の値以下であれば、注視率が同じであると判定してよい。

Ｓ５１２において注視率が異なる場合（Ｓ５１２がＮＯ）、フローはＳ５１３へと進む。Ｓ５１３において画像表示制御装置３の制御部４００は、Ｓ５０３で抽出された複数の被写体のそれぞれに対する注視の度合いを表す注視度合いのスコアを演算する。例えば、制御部４００は、注視率に基づいて、注視度合いのスコアを算出してもよい。この場合には、制御部４００は、注視率の最も低い被写体のスコアを１点とし、注視率の低い方から高い方へ順に１点ずつ増加させた得点を被写体に対して付けることで、各被写体に対する注視度合いのスコアを演算してよい。

或いは、制御部４００は、例えば、各被写体のそれぞれに対する注視時間に基づいて、注視度合いのスコアを算出してもよい。例えば、この場合には、制御部４００はＳ５０２で撮影者の視線が検出されてからＳ５０３で被写体を抽出するまでの期間において、注視されている時間の最も短い被写体のスコアを１点とする。そして、制御部４００は注視されている時間の最も短い被写体から注視時間の長い方へと順に１点ずつ増加させた得点を被写体に対して付けることで、各被写体に対する注視度合いのスコアを演算してよい。

更に別の例では、制御部４００は、例えば、各被写体のそれぞれに対する注視順に基づいて、注視度合いのスコアを算出してもよい。例えば、この場合には、制御部４００は、Ｓ５０２で撮影者の視線が検出されてからＳ５０３で被写体を抽出するまでの期間において、被写体が注視された順番の最も遅い被写体のスコアを１点とする。そして、制御部４００は、注視されている順番の遅い方から早い方へと順に１点ずつ増加させた得点を被写体に対して付けることで、各被写体に対する注視度合いのスコアを演算してよい。

また更に別の実施形態では、これらの注視率、注視時間、及び注視順に基づいて得られたスコアを組み合わせて被写体の注視度合いのスコアが演算されてもよい。即ち、例えば、注視率、注視時間、及び注視順のそれぞれに基づいて得られたスコアを足し合わせるなどして、注視度合いのスコアが演算されてもよい。換言すると、制御部４００は、例えば、注視率、注視時間、及び注視順のうちの少なくとも１つを用いて注視度合いのスコアを演算してよい。なお、以下の説明では、撮影の際に撮影者により注視されていた度合いがより高い被写体に、より高いスコアが付けられる場合を例として説明を行う。しかしながら、実施形態はこれに限定されるものではなく、別の実施形態では、撮影の際に撮影者により注視されていた度合いがより高い被写体に、より低いスコアが付けられてもよい。

続いて、Ｓ５１４において制御部４００は、算出された注視度合いのスコアに基づいてＳ５０３で抽出された複数の被写体を代表する代表被写体を選択する。代表被写体は、例えば、撮影者により注視されていた度合いが最も高い被写体であってよい。例えば、上述したように、注視されていた度合いが高い被写体に、高いスコアが付くようにスコアを演算した場合には、代表被写体は、最も高いスコアを有する被写体であってよい。続いて、Ｓ５１５において制御部４００は、選択した代表被写体に焦点を合わせる。また、制御部４００は、画像表示制御装置３のファインダに、選択した代表被写体に焦点を合わせた画像を表示させてよい。

Ｓ５１６において制御部４００は、合わせた焦点をロックする。Ｓ５１７において、例えば、撮影者がシャッターボタンを押し下げるなどして、撮影者からの撮影を指示する入力を制御部４００が受け付けると、フローはＳ５１８へと進む。Ｓ５１８において、画像表示制御装置３の制御部４００は、Ｓ５０３で抽出された複数の被写体のそれぞれに焦点を合わせて複数の画像を取得する。なお、一実施形態においては、例えば、画像表示制御装置３が、単眼カメラである場合には、制御部４００は、連写して撮影することで複数の画像を取得してよい。また、画像表示制御装置３が、ライトフィールドカメラなどの複眼カメラである場合には、制御部４００は、例えば特許文献８に記載される手法を用いて撮影後にピント合わせを行うことで複数の画像を取得してもよい。

Ｓ５１９において制御部４００は、得られた複数の画像のデータを、例えば、記憶部４２０に保存し、フローはＳ５０１へと戻る。なお、一実施形態においては、Ｓ５１９で保存される画像データのヘッダ領域には、その画像において焦点が合わせられている被写体に対してＳ５１３で演算されたスコアが格納されていてよい。また、別の実施形態では、撮影された複数の画像と、複数の画像のそれぞれにおいて焦点が合わせられている被写体に対して演算されたスコアとを対応付ける情報が記憶部４２０に記憶されてもよい。

Ｓ５１２において複数の被写体の注視率がおおよそ同じである場合（Ｓ５１２がＹＥＳ）、フローはＳ５２０へと進む。Ｓ５２０において制御部４００は、Ｓ５０３で抽出された複数の被写体のそれぞれまでの画像表示制御装置３からの距離を算出する。そして、Ｓ５２１において制御部４００は、算出した距離に基づいて、各被写体のスコアを計算する。例えば、画像表示制御装置３からの距離が近い被写体の方が、撮影者が撮影したいと望んでいる対象である可能性が高いことが推測される。そのため、制御部４００は、距離の遠い方から近い方へと順にスコアが高くなるようにスコアを計算してよい。例えば、制御部４００は、距離が最も遠い被写体のスコアを１点とし、その被写体から距離の近い方へ順に１点ずつ増加した得点を被写体に対して付けることで、被写体に対するスコアを演算してよい。Ｓ５２１においてスコアが演算されると、フローはＳ５２２へと進む。

Ｓ５２２において制御部４００は、Ｓ５０３で抽出された複数の被写体を代表する代表被写体を選択する。代表被写体は、例えば、被写体までの距離が最も短い被写体であってよく、以上で例示したように、距離が近い被写体に高いスコアが付くようにスコアを演算した場合には、代表被写体は、Ｓ５２１で演算されたスコアの最も高い被写体であってよい。続いて、Ｓ５２３において制御部４００は、選択した代表被写体に焦点を合わせる。また、制御部４００は、画像表示制御装置３のファインダに、選択した代表被写体に焦点を合わせた画像を表示させてよい。Ｓ５２４において制御部４００は、合わせた焦点をロックする。Ｓ５２５において、例えば、撮影者がシャッターボタンを押し下げるなどして、撮影者からの撮影を指示する入力を受け付けると、フローはＳ５２６へと進む。Ｓ５２６において、画像表示制御装置３の制御部４００は抽出された複数の被写体のそれぞれに焦点を合わせた複数の画像を取得する。

Ｓ５２７において制御部４００は、得られた複数の画像データを、例えば、記憶部４２０に保存し、フローはＳ５０１へと戻る。なお、一実施形態においては、Ｓ５２７で保存される画像データのヘッダ領域には、画像において焦点が合わせられている被写体に対してＳ５２１で演算されたスコアが格納されていてよい。また、別の実施形態では、撮影された複数の画像と、複数の画像のそれぞれにおいて焦点が合わせられている被写体に対して演算されたスコアとを対応付ける情報が記憶部４２０に記憶されてもよい。

なお、図５の動作フローにおいて、Ｓ５０１〜Ｓ５１０、Ｓ５１４〜Ｓ５１９、及びＳ５２２〜Ｓ５２７の処理では、画像表示制御装置３の制御部４００は、例えば、取得部４１１として機能する。また、Ｓ５１１〜Ｓ５１３及びＳ５２０〜Ｓ５２１の処理では、画像表示制御装置３の制御部４００は、例えば、演算部４１２として機能する。

以上の図５の第１の実施形態に係る撮影処理により、制御部４００は、撮影者の視線に基づいて画角内から被写体を検出し、検出された被写体に焦点を合わせて画像を撮影する。また、画角内から検出された被写体が複数ある場合には、制御部４００は、例えば、検出された複数の被写体の注視率がおおよそ同じであるか否かを判定する。そして、検出された複数の被写体の注視率がおおよそ同じでない場合には、制御部４００は、検出された複数の被写体のそれぞれについて、例えば、注視率、注視時間、及び注視順などに基づいて注視度合いのスコアを演算する。一方、検出された複数の被写体の注視率がほぼ同じである場合には、制御部４００は、検出された複数の被写体のそれぞれの画像表示制御装置３からの距離に基づいてスコアを演算する。また、制御部４００は、例えば、検出された複数の被写体のそれぞれに焦点を合わせて複数の画像を取得する。そして、演算されたスコアは、例えば、検出された複数の被写体のそれぞれに焦点を合わせて取得された複数の画像のデータのヘッダ領域などに保存される。演算されたスコアは、後述するように、例えば、撮影された画像を表示する際に、ユーザが見たいと望む可能性の高い被写体に焦点の合った画像を優先して表示するために用いることができる。また、Ｓ５１５及びＳ５２３の説明において述べたように、演算されたスコアは、例えば、撮影の際にファインダに表示する画像において焦点を合わせる被写体を決定するために用いられてもよい。スコアに基づいて撮影の際にファインダに表示する画像において焦点を合わせる被写体を決定することで、例えば、撮影者がファインダ上で焦点を合わせる被写体を選択する手間を省くことができる。

また更に、画像を撮影した際に、撮影した画像をファインダ上に縮小して表示するように画像表示制御装置３が設計されている場合がある。この場合には、Ｓ５１８において、制御部４００は、例えば、撮影された複数の画像のうちから、Ｓ５１４で選択された代表被写体に焦点を合わせて撮影された画像をファインダ上に表示してもよい。また、同様に、Ｓ５２６において、制御部４００は、例えば、撮影された複数の画像のうちから、Ｓ５２２で選択された代表被写体に焦点を合わせて撮影された画像をファインダ上に表示してもよい。

続いて、第１の実施形態に係る撮影処理で演算されたスコアに基づく画像の表示について説明する。図６は、第１の実施形態に係るスコアに基づく画像の表示情報出力処理の動作フローを例示する図である。一実施形態においては、画像表示制御装置３の制御部４００に画像の閲覧指示が入力されると、図６の表示情報出力処理は開始する。

Ｓ６０１において画像表示制御装置３の制御部４００は、例えば記憶部４２０に記憶されている画像ファイルを撮影順にソートする。続いて、Ｓ６０２において制御部４００は、スコアが付けられた画像があるか否かを判定する。例えば、上述の図５の動作フローのＳ５１９及びＳ５２７において、制御部４００はスコアを画像ファイルのヘッダに書き込んでよい。この場合には、制御部４００は、Ｓ６０２において画像ファイルのヘッダにスコアが書き込まれているか否かにより、スコアが付けられた画像ファイルがあるか否かを判定してよい。Ｓ６０２においてスコアが付けられた画像ファイルが無い場合（Ｓ６０２がＮＯ）、フローはＳ６０３へと進み、制御部４００は撮影順にソートされた画像ファイルを表示するための表示情報を、例えば画像表示制御装置３に備えられた表示装置３３に出力する。そして、画像表示制御装置３に備えられた表示装置３３は、表示情報が入力されると、例えば、撮影順にソートされた画像ファイルを表示画面に表示してよい。図７は、第１の実施形態に係る表示情報による画像の表示を例示する図である。図７（ａ）は、スコアが付けられた画像ファイルが無い場合に表示される撮影順にソートされた画像ファイルの表示画面を例示しており、すべての画像が撮影順にソートされて表示されている。

一方、Ｓ６０２においてスコアが付けられた画像ファイルがある場合（Ｓ６０２がＹＥＳ）、フローはＳ６０４へと進む。Ｓ６０４において制御部４００は、１回の撮影操作の入力に対してスコアが演算されて撮影された複数の画像の組ごとに、画像ファイルをスコア順にソートする。そして、Ｓ６０３で制御部４００は、Ｓ６０４で並べ替えられた画像ファイルを表示するための表示情報を、例えば画像表示制御装置３に備えられた表示装置３３に出力する。そして、画像表示制御装置３に備えられた表示装置３３は、表示情報が入力されると、例えば、Ｓ６０４で並べ替えられた画像ファイルを表示画面に表示してよい。

図７（ｂ）は、スコアが付けられた画像ファイルがある場合に表示される表示画面を例示している。なお、図７（ｂ）において画像の組７０に含まれる画像Ａ、画像Ｂ、及び画像Ｃは、１回の撮影操作の入力に対して例えばＳ５１９又はＳ５２７で保存された複数の画像である。そのため、これらの複数の画像に対しては、例えばＳ５１３又はＳ５２１においてスコアが演算されている。また、図７（ｃ）は、図７（ｂ）の組７０に含まれる画像Ａ、画像Ｂ、及び画像Ｃのスコアによる順位と、撮影の順番との関係を例示している。なお、図７（ｃ）の例では、画像Ａで焦点が合わせられている被写体は鳥である。また、画像Ｂで焦点が合わせられている被写体は家である。画像Ｃで焦点が合わせられている被写体は背景である。そして、図７（ｃ）に示す例では、撮影の順序は画像Ａ、画像Ｂ、画像Ｃの順に行われているが、スコアによる順位は画像Ｂ、画像Ａ、画像Ｃの順である。なお、図７（ｃ）のスコアによる順位は、例えば、撮影者が撮影の際に、画像Ｂで焦点が合わせられている家を、画像Ａで焦点が合わせられている鳥よりも長く、或いは早い順番で注視していたことを示していてよい。また、図７（ｃ）のスコアによる順位は、例えば、撮影者が撮影の際に、画像Ａで焦点が合わせられている鳥を、画像Ｃで焦点が合わせられている背景よりも長く、或いは早い順番で注視していたことを示していてよい。そのため、組７０に含まれる画像Ａ〜画像Ｃは、図７（ｃ）に示すスコアの順位に従って、図７（ｂ）に示すように組７０内で並べ替えられて表示されている。一方、画像表示制御装置３に記憶されているスコアの付いていないその他の画像ファイルは、撮影の順序に従って表示されている。

図７（ｄ）は、スコアが付けられた画像ファイルがある場合に表示される画像ファイルのサムネイル表示の表示画面の別な例である。図７（ｄ）に示す表示画面の例では、１回の撮影操作の入力に対して例えばＳ５１９又はＳ５２７で保存された複数の画像の組７０はまとめられており、組７０に含まれる画像Ａ〜画像Ｃを代表してスコアの順位において最も順位の高かった画像Ｂが表示されている。また、図７（ｅ）は、図７（ｄ）において、例えばユーザが表示画面上で画像Ｂをタップした場合に表示される表示画面を例示しており、組７０に含まれる複数の画像がスコアの順位に従って並べられて表示されている。

以上で述べたように、スコアが付けられた画像ファイルがある場合には、組７０に含まれる複数の画像がスコアの順位に従って並べ替えられた表示情報が出力されてよい。また、この場合に、表示情報が入力された表示装置３３は、スコアの順位に従って並べ替えられた表示情報に従って例えば、図７（ｂ）、図７（ｄ）、及び図７（ｅ）で例示する表示画面を表示してよい。即ち、制御部４００は、スコアによる順位の高かった画像を優先して表示してよい。

Ｓ６０３において制御部４００が画像ファイルを表示するための表示情報を、例えば画像表示制御装置３に備えられた表示装置３３に出力すると、本動作フローは終了する。

図６の動作フローにおいて、Ｓ６０１〜Ｓ６０４の処理では、画像表示制御装置３の制御部４００は、例えば、出力部４１３として機能する。

以上で述べたように、第１の実施形態によれば、撮影者の視線に基づいて検出された複数の被写体のそれぞれに合焦させて複数の画像が１回の撮影操作の入力で取得される。また、画像の取得の際の各被写体への例えば注視時間、注視率、及び注視順などの注視度合いに基づいて、或いは画像表示制御装置３からの距離に基づいて被写体のスコアが演算される。そして、制御部４００は、演算されたスコアに基づいて画像を表示画面に表示するための表示情報を出力する。従って、例えば、制御部４００は、撮影者が撮影時に撮影したいと望んでいた可能性の高い被写体が写る画像を閲覧の際に優先して表示装置３３の表示画面に表示させることができる。そのため、ユーザは撮影した画像を閲覧する際に、撮影者が撮影したいと望んでいた被写体に焦点の合った画像が表示されるまで、保存された画像を順に見て行くなどの手間を軽減することができ、画像表示制御装置３のユーザビリティが向上する。

また、第1の実施形態では、視線検出により、例えば、撮影者によって所定時間以上注視された箇所にある被写体を撮影対象として抽出し、撮影を行っている。そのため、例えば、撮影者が撮影対象を個別に選択し、焦点を合わせて複数回にわたり撮影操作を行う等の手間を軽減することができる。

＜第２の実施形態＞
続いて、第２の実施形態が説明される。ユーザがある画角において画像を撮影する場合に、画角内に複数の被写体が収まっていることがある。図８は、画像表示制御装置３の或る画角における複数の被写体を例示する図である。図８（ａ）に示す例では、画角内に被写体ａ：鳥と、被写体ｂ：花と、被写体ｃ：背景とが収まっている。そして、図８（ｂ）に示すように、画像表示制御装置３からの被写体ａ：鳥、及び被写体ｂ：花までの距離はほぼ同じ約１．０ｍであり、一方、画像表示制御装置３からの被写体ｃ：背景までの距離は１００ｍ以上である。

この場合に、複数の被写体のそれぞれに焦点を合わせて複数の画像を撮影することが考えられるが、被写体ａ：鳥、及び被写体ｂ：花までの距離はほぼ同じ約１．０ｍである。そのため、これらのほぼ同じ距離にある複数の被写体については、個別にレンズの焦点距離を合わせなくてもよく、例えば、１枚の撮影画像でほぼ同じ距離にある複数の被写体に焦点のあった画像を得ることが可能である。

図９は、画角内に収まっている複数の被写体を撮影する際に、画像表示制御装置３からの距離がほぼ同じ被写体を１枚の画像に集約して撮影する例を示している。図９（ａ）では、被写体ａ：鳥と、被写体ｂ：花との両方に焦点が合わせられており、被写体ｃ：背景はぼけている。また、図９（ｂ）では、被写体ｃ：背景に焦点が合わせられており、その他の被写体はぼけている。例えば、このように、被写体ａ：鳥と、被写体ｂ：花とはおおよそ同じ距離にあるため集約して撮影することができ、１枚の画像で被写体ａ：鳥と、被写体ｂ：花との両方に焦点のあった画像を撮影することができる。そして、おおよそ等しい距離にある被写体を集約して撮影することで、撮影時間の短縮や、撮影枚数の効率化を図ることができる。また、撮影時間が短縮されるので手振れの影響も抑制できる。

或いは、例えば、ほぼ同じ距離にある複数の被写体の明るさが大きく異なっている場合には、焦点距離が同じであっても明るさをそれぞれの被写体に対して調節して撮影することが好ましい場合がある。この場合には、画像表示制御装置３の制御部４００は、ほぼ同じ距離にある複数の被写体のそれぞれに対して明るさを調節し、それぞれの画像を撮影してよい。この場合にも、制御部４００は、ほぼ同じ距離にある複数の被写体のそれぞれに対して別々に焦点距離を合わせる処理を実行しなくてもよく、例えばそれらのほぼ同じ距離にある複数の被写体に対しては焦点距離を１度調節すればよい。そのため、撮影時間を短縮することができる。また、撮影時間が短縮されるので手振れの影響も抑制できる。

そこで、第２の実施形態では、撮影者が或る画角を撮影する際に、撮影者の視線検出により注視されている複数の被写体が抽出された場合に、制御部４００は、画像表示制御装置３からの距離がほぼ同じ被写体が複数の被写体に含まれているかを判定する。そして、画像表示制御装置３からの距離がほぼ同じ被写体が含まれている場合には、制御部４００は、それらの被写体については例えば、撮影枚数又は焦点距離の調節回数などを集約することで撮影時間の短縮や、撮影枚数の効率化を図る。

図１０は、第２の実施形態に係る撮影処理の動作フローを例示する図である。一実施形態においては、画像表示制御装置３において撮影機能を起動する実行指示が制御部４００に入力されると、撮影処理は開始する。

なお、図１０のＳ１００１からＳ１０１０の処理は、例えば、図５のＳ５０１からＳ５１０の処理とそれぞれ対応していてよい。即ち、例えば、Ｓ１００１からＳ１０１０の処理において、制御部４００は、図５のＳ５０１からＳ５１０の処理と同様の処理を実行してよい。例えば、Ｓ１００１において制御部４００は、視線検出を開始してよい。

また、Ｓ１００４において、Ｓ１００３で抽出された被写体が複数ある場合には（Ｓ１００４がＹＥＳ）、フローはＳ１０１１へと進む。Ｓ１０１１において制御部４００は、例えば、撮影効率化処理を実行する。

図１１は、第２の実施形態に係る撮影効率化処理の動作フローを例示する図である。一実施形態においては、図１０のＳ１０１１へと進むと、図１１の撮影効率化処理は開始する。Ｓ１１０１において画像表示制御装置３の制御部４００は、Ｓ１００３で抽出された複数の被写体のそれぞれの明るさを取得する。また、Ｓ１１０２において制御部４００は、画像表示制御装置３からＳ１００３で抽出された複数の被写体のそれぞれまでの距離を取得する。Ｓ１１０３において制御部４００は、Ｓ１１０２で取得した複数の被写体それぞれまでの距離を比較し、Ｓ１１０４においてほぼ同じ距離にある被写体があるか否かを判定する。なお、制御部４００は、例えば、Ｓ１１０２で取得した複数の被写体に、距離の差が所定の距離以内である被写体が含まれていない場合に、ほぼ同じ距離にある被写体が無いと判定してよい。ほぼ同じ距離にある被写体が無い場合（Ｓ１１０４がＮＯ）、フローはＳ１１０５へと進む。

Ｓ１１０５において制御部４００は、オートエクスポージャ（ＡＥ：自動段階露光）、及びオートフォーカス（ＡＦ：自動焦点）、及び撮影をＳ１００３で抽出された複数の被写体毎に行うように撮影条件を設定する。なお、この場合、撮影される画像の撮影枚数は、Ｓ１００３で抽出された複数の被写体の数と同じになる。

一方、Ｓ１１０４においてほぼ同じ距離にある被写体がある場合（Ｓ１１０４がＹＥＳ）、フローはＳ１１０６へと進む。制御部４００は、例えば、Ｓ１１０２で取得した複数の被写体に、距離の差が所定の距離以内である複数の被写体が含まれている場合に、ほぼ同じ距離にある被写体があると判定してよい。Ｓ１１０６において制御部４００は、Ｓ１１０４でほぼ同じ距離にあると判定された複数の被写体の明るさを比較する。そして、Ｓ１１０７において制御部４００が、ほぼ同じ距離にあると判定された複数の被写体の明るさが異なると判定した場合（Ｓ１１０７がＮＯ）、フローはＳ１１０８へと進む。なお、制御部４００は、例えば、ほぼ同じ距離にあると判定された複数の被写体の明るさの差が、所定の範囲以内でない場合に、明るさが異なると判定してよい。Ｓ１１０８において制御部４００は、例えば、ほぼ同じ距離にある複数の被写体についてはＡＦの設定を１回に集約し、一方、ＡＥ及び撮影は被写体毎に行うように撮影条件を設定する。

一方、Ｓ１１０７において制御部４００が、ほぼ同じ距離にあると判定された被写体の明るさがほぼ同じであると判定した場合（Ｓ１１０７がＹＥＳ）、フローはＳ１１０９へと進む。なお、制御部４００は、例えば、ほぼ同じ距離にあると判定された複数の被写体の明るさの差が、所定の範囲以内である場合に、明るさがほぼ同じであると判定してよい。Ｓ１１０９において制御部４００は、例えば、ほぼ同じ距離にあり、且つ、明るさもほぼ同じである被写体についてはＡＦ、ＡＥの設定を１回に集約し、また、撮影を１枚の画像に集約して行うように撮影条件を設定する。この場合、撮影される画像の撮影枚数は、集約して撮影される被写体の数に応じて削減される。例えば、以上のようにして、Ｓ１１０５、Ｓ１１０８、又はＳ１１０９において制御部４００が撮影条件を設定すると、本動作フローは終了し、フローはＳ１０１２へと進む。

Ｓ１０１２において制御部４００は、例えば、Ｓ１００３で抽出された複数の被写体のそれぞれについて注視率を算出する。注視率は、例えば、Ｓ１００２で撮影者の視線が検出されてから所定の時間が経過するまでの間において、Ｓ１００３で抽出された複数の被写体のそれぞれが注視された時間の割合として算出されてよい。続いて、Ｓ１０１３において制御部４００は、Ｓ１０１２で算出した各被写体への注視率を比較し、Ｓ１００３で抽出された複数の被写体のそれぞれへの注視率がおおよそ同じであるか否かを判定する。制御部４００は、Ｓ１０１３において例えば、算出された各被写体への注視率の差異がいずれも所定の値以下であれば、注視率が同じであると判定してよい。

Ｓ１０１３において注視率が異なる場合（Ｓ１０１３がＮＯ）、フローはＳ１０１４へと進む。Ｓ１０１４において画像表示制御装置３の制御部４００は、Ｓ１００３で抽出された複数の被写体のそれぞれに対する注視度合いを表すスコアを演算する。注視度合いを表すスコアの演算は、例えば、図５のＳ５１３で述べた例と同様に実行されてよい。なお、例えば、上述の図１１のＳ１１０９において制御部４００が、明るさと距離がほぼ同じである複数の被写体に対して、ＡＦ、ＡＥ、及び撮影を集約するように撮影条件を設定している場合がある。この場合に、制御部４００は、集約して撮影される複数の被写体のうちで注視度合いのスコアが最も高い被写体のスコアを、集約して撮影される画像に対するスコアとして用いてよい。

続いて、Ｓ１０１５において制御部４００は、算出された注視度合いのスコアに基づいてＳ１００３で抽出された複数の被写体を代表する代表被写体を選択する。代表被写体は、例えば、注視度合いのスコアが最も高い被写体であってよい。続いて、Ｓ１０１６において制御部４００は、選択した代表被写体に焦点を合わせる。また、制御部４００は、画像表示制御装置３のファインダに、選択した代表被写体に焦点を合わせた画像を表示させてよい。

Ｓ１０１７において制御部４００は、合わせた焦点をロックする。Ｓ１０１８において、例えば、撮影者がシャッターボタンを押し下げるなどして、撮影者からの撮影を指示する入力を制御部４００が受け付けると、フローはＳ１０１９へと進む。

Ｓ１０１９において、画像表示制御装置３の制御部４００は、例えば、Ｓ１００３で抽出された複数の被写体のそれぞれに焦点の合った複数の画像を撮影する。なお、例えば、上述の図１１のＳ１１０９において制御部４００が、明るさと距離がほぼ同じである複数の被写体に対して、ＡＦ、ＡＥ、及び撮影を集約するように撮影条件を設定している場合がある。この場合には、制御部４００は、Ｓ１１０９において集約するように撮影条件が設定されている複数の被写体に対して、１回のＡＦ及びＡＥを行って値を設定し、１枚の画像を撮影してよい。また、例えば、Ｓ１１０８において制御部４００が、距離がほぼ同じである複数の被写体に対して、ＡＦを集約するように撮影条件を設定している場合がある。この場合には、制御部４００は、Ｓ１１０８においてＡＦを集約するように撮影条件が設定されている複数の被写体に対して１回のＡＦを行って値を設定する。一方、ＡＥと画像の撮影は、ＡＦを集約するように撮影条件が設定されている複数の被写体のそれぞれに対して実行されてよい。また更に、例えば、Ｓ１１０５において制御部４００が、ＡＥ、ＡＦ、及び撮影をＳ１００３で抽出された複数の被写体毎に行うように撮影条件を設定している場合がある。この場合には、制御部４００は、Ｓ１００３で抽出された複数の被写体のそれぞれに対して、ＡＦ及びＡＥを行って画像を撮影してよい。

Ｓ１０２０において制御部４００は、得られた画像のデータを、例えば、記憶部４２０に保存し、フローはＳ１００１へと戻る。なお、一実施形態においては、Ｓ１０２０で保存される画像データのヘッダ領域には、その画像において焦点が合わせられている被写体に対してＳ１０１４で演算されたスコアが格納されていてよい。また、別の実施形態では、撮影された複数の画像と、複数の画像のそれぞれにおいて焦点が合わせられている被写体に対して演算されたスコアとを対応付ける情報が記憶部４２０に記憶されてもよい。

Ｓ１０１３において複数の被写体の注視率がおおよそ同じである場合（Ｓ１０１３がＹＥＳ）、フローはＳ１０２１へと進む。Ｓ１０２１において制御部４００は、画像表示制御装置３からＳ１００３で抽出された複数の被写体のそれぞれまでの距離を算出する。そして、Ｓ１０２２において制御部４００は、算出した距離に基づいて、各被写体のスコアを計算する。例えば、画像表示制御装置３からの距離が近い被写体の方が、撮影者が撮影したいと望んでいる対象である可能性が高いことが推測される。そのため、制御部４００は、距離の近い方から遠い方へと順にスコアが高くなるようにスコアを計算してよい。例えば、制御部４００は、距離が最も遠い被写体のスコアを１点とし、その被写体から距離の近い方へ順に１点ずつ増加した得点を被写体に対して付けることで、被写体に対するスコアを演算してよい。Ｓ１０２２においてスコアが演算されると、フローはＳ１０２３へと進む。

なお、例えば、図１１のＳ１１０９において制御部４００が、明るさと距離がほぼ同じである複数の被写体に対して、ＡＦ、ＡＥ、及び撮影を集約するように撮影条件を設定している場合がある。この場合、集約して撮影される画像に対して、明るさと距離がほぼ同じである複数の被写体の距離に応じた１つのスコアを制御部４００は演算してよい。

Ｓ１０２３において制御部４００は、Ｓ１００３で抽出された複数の被写体を代表する代表被写体を選択する。代表被写体は、例えば、被写体までの距離が最も短い被写体であってよく、以上で例示したように、距離が近い被写体に高いスコアが付くようにスコアを演算した場合には、代表被写体は、Ｓ１０２２で演算されたスコアの最も高い被写体であってよい。続いて、Ｓ１０２４において制御部４００は、選択した代表被写体に焦点を合わせる。また、制御部４００は、画像表示制御装置３のファインダ上に選択した代表被写体に焦点を合わせた画像を表示させてもよい。

Ｓ１０２５において制御部４００は、合わせた焦点をロックする。Ｓ１０２６において、例えば、撮影者がシャッターボタンを押し下げるなどして、撮影者からの撮影を指示する入力を受け付けると、フローはＳ１０２７へと進む。

Ｓ１０２７において、画像表示制御装置３の制御部４００は、例えば、Ｓ１００３で抽出された複数の被写体のそれぞれに焦点の合った複数の画像を撮影する。なお、例えば、図１１のＳ１１０９において制御部４００が、明るさと距離がほぼ同じである複数の被写体に対して、ＡＦ、ＡＥ、及び撮影を集約するように撮影条件を設定している場合がある。この場合には、制御部４００は、Ｓ１１０９において集約するように撮影条件が設定されている複数の被写体に対して、１回のＡＦ及びＡＥを行って値を設定し、１枚の画像を撮影してよい。また、例えば、Ｓ１１０８において制御部４００が、距離がほぼ同じである複数の被写体に対して、ＡＦを集約するように撮影条件を設定している場合がある。この場合には、制御部４００は、Ｓ１１０８においてＡＦを集約するように撮影条件が設定されている複数の被写体に対して１回のＡＦを行って値を設定する。一方、ＡＥと画像の撮影は、ＡＦを集約するように撮影条件が設定されている複数の被写体のそれぞれに対して実行されてよい。また更に、例えば、Ｓ１１０５において制御部４００が、ＡＥ、ＡＦ、及び撮影をＳ１００３で抽出された複数の被写体毎に行うように撮影条件を設定している場合がある。この場合には、制御部４００は、Ｓ１００３で抽出された複数の被写体のそれぞれに対して、ＡＦ及びＡＥを行って画像を撮影してよい。

Ｓ１０２８において制御部４００は、得られた画像のデータを、例えば、記憶部４２０に保存し、フローはＳ１００１へと戻る。なお、一実施形態においては、Ｓ１０２８で保存される画像データのヘッダ領域には、その画像において焦点が合わせられている被写体に対してＳ１０２２で演算されたスコアが格納されていてよい。また、別の実施形態では、撮影された複数の画像と、複数の画像のそれぞれにおいて焦点が合わせられている被写体に対して演算されたスコアとを対応付ける情報が記憶部４２０に記憶されてもよい。

なお、図１０の動作フローにおいて、Ｓ１００１〜Ｓ１０１０、Ｓ１０１１、Ｓ１０１５〜Ｓ１０２０、及びＳ１０２３〜Ｓ１０２８の処理では、画像表示制御装置３の制御部４００は、例えば、取得部４１１として機能する。また、Ｓ１０１２〜Ｓ１０１４及びＳ１０２１〜Ｓ１０２２の処理では、画像表示制御装置３の制御部４００は、例えば、演算部４１２として機能する。また、図１１の動作フローにおいて、Ｓ１１０１〜Ｓ１１０９の処理では、画像表示制御装置３の制御部４００は、例えば、取得部４１１として機能する。

以上の図１０の第２の実施形態に係る撮影処理により、撮影者の視線に基づいて画角内から被写体が検出され、その被写体に焦点を合わせて画像が撮影される。また、画角内から検出された被写体が複数ある場合には、制御部４００は、例えば、検出された複数の被写体に画像表示制御装置３からの距離がほぼ同じである被写体が含まれているか否かを判定する。また、画像表示制御装置３からの距離がほぼ同じである被写体が含まれている場合には、制御部４００は、距離が等しい被写体の明るさがほぼ同じであるか否かを判定する。そして、距離と明るさがほぼ同じである被写体がある場合には、制御部４００はそれらの被写体を１枚の画像に集約して撮影する。また、画像表示制御装置３からの距離がほぼ同じであるが、明るさの異なる被写体が含まれている場合には、制御部４００は、それらの被写体に対するＡＦの実行を１回に集約し、それぞれの被写体に対してＡＥを行って画像を撮影する。そのため、第２の実施形態によれば、撮影枚数又は焦点距離の調節回数を削減することができ、撮影時間の短縮や撮影枚数の効率化を図ることができる。

なお、図１０の第２の実施形態に係る撮影処理で撮影された画像は、図６の表示情報出力処理により表示情報を出力することで、例えば、画像表示制御装置３が備える表示装置３３の表示画面に表示されてよい。それにより、制御部４００は、スコアが演算されている場合には、スコアに基づいて画像を表示画面に表示させることができる。従って、制御部４００は、撮影時に撮影者が撮影したいと望んでいた可能性の高い被写体が写る画像を優先して表示画面に表示させることができる。そのため、ユーザは、撮影した画像を閲覧する際に、撮影者が撮影したいと望んでいた被写体に焦点の合った画像が表示されるまで、保存された画像を順に見て行くなどの手間を軽減することができ、画像表示制御装置３のユーザビリティが向上する。

また、上述の例えば、図５、図６、図１０、及び図１１の動作フローは例示であり、実施形態はこれに限定されるものではない。例えば、これらの動作フローは、可能な場合には、処理の順番を変更して実行してもよく、別に更なる処理を含んでいてもよく、又は、一部の処理が省略されてもよい。例えば、図１１のＳ１１０１及びＳ１１０２の処理は、任意に順序を入れ替えて実行されてもよい。また、別の実施形態においては、図５のＳ５０４において抽出された被写体が複数ある場合に、Ｓ５１３へと進むように動作フローを変更してもよい。この場合には、例えば、Ｓ５１１、Ｓ５１２、Ｓ５２０〜Ｓ５２７の処理は省略されてもよい。また、図１０のＳ１０１１の撮影効率化処理が完了した場合に、処理をＳ１０１４へと進めるように動作フローを変更してもよい。この場合には、例えば、Ｓ１０１２、Ｓ１０１３、Ｓ１０２１〜Ｓ１０２８の処理は省略されてもよい。

また、上記の図５又は図１０に示す例では画像表示制御装置３が、例えば撮像素子３１及び視線センサ３２を備え、画像表示制御装置３が複数の画像を取得し、得られた複数の画像のスコアを演算する場合の例を述べた。この場合、画像表示制御装置３の制御部４００は、例えば、取得部４１１、及び演算部４１２として機能してよい。しかしながら、実施形態はこれに限定されるものではない。例えば、他の装置が図５、又は図１０の動作フローを実行してスコアが演算された複数の画像を取得し、得られた複数の画像を画像表示制御装置３が受信して、画像表示制御装置３が図１１の動作フローを実行する場合がある。この場合には、画像表示制御装置３の制御部４００は、取得部４１１、及び演算部４１２を含まなくてもよい。

図１２は、実施形態に係る画像表示制御装置３を実現するためのコンピュータ１２００のハードウェア構成を例示する図である。図１２の画像表示制御装置３を実現するためのハードウェア構成は、例えば、プロセッサ１２０１、メモリ１２０２、記憶装置１２０３、読取装置１２０４、通信インタフェース１２０５、及び入出力装置１２０６を備えていてよい。また、更に画像表示制御装置３を実現するためのハードウェア構成は、例えば、表示装置１２１１、視線センサ１２１２、画像処理部１２１３、撮像素子１２１４、レンズ駆動装置１２１５を備えていてよい。なお、プロセッサ１２０１〜入出力装置１２０６、及び表示装置１２１１〜レンズ駆動装置１２１５は、例えば、バス１２０８を介して互いに接続されていてよい。

プロセッサ１２０１は、例えば、ＣＰＵ（Central Processing Unit）であってよい。プロセッサ１２０１は、例えば、メモリ１２０２を利用して上述の動作フローの手順を記述したプログラム４３０を実行することにより、上述した各機能部の一部または全部の機能を提供する。例えば、画像表示制御装置３の制御部４００は、プロセッサ１２０１であってよく、また、記憶部４２０は、例えばメモリ１２０２、記憶装置１２０３、及び着脱可能記憶媒体１２１０を含んでいてよい。画像表示制御装置３のプロセッサ１２０１は、例えば、記憶装置１２０３に格納されているプログラム４３０を読み出して実行することで、取得部４１１、演算部４１２、及び出力部４１３として機能してよい。画像表示制御装置３の記憶装置１２０３には、例えば、プログラム４３０が格納されていてよい。

メモリ１２０２は、例えば半導体メモリであり、ＲＡＭ領域及びＲＯＭ領域を含んでいてよい。なお、ＲＡＭは、Random Access Memoryの略称である。また、ＲＯＭは、Read Only Memoryの略称である。記憶装置１２０３は、例えばハードディスク、フラッシュメモリ等の半導体メモリ、又は外部記憶装置である。

読取装置１２０４は、プロセッサ１２０１の指示に従って着脱可能記憶媒体１２１０にアクセスする。着脱可能記憶媒体１２１０は、例えば、半導体デバイス（ＵＳＢメモリ等）、磁気的作用により情報が入出力される媒体（磁気ディスク等）、光学的作用により情報が入出力される媒体（ＣＤ−ＲＯＭ、ＤＶＤ等）などにより実現される。なお、ＵＳＢは、Universal Serial Busの略称である。ＣＤは、Compact Discの略称である。ＤＶＤは、Digital Versatile Diskの略称である。通信インタフェース１２０５は、プロセッサ１２０１の指示に従って有線又は無線で周辺機器、又はネットワークに接続してデータを送受信する。入出力装置１２０６は、例えば、ユーザからの指示を受け付けるキーボードやマウスなどの入力装置であってよい。また、入出力装置１２０６は、音声装置（例えばスピーカ）などの出力装置であってよい。

また、表示装置１２１１は、例えば、ディスプレイであってよく、撮影の際には表示装置１２１１はファインダとして機能してよい。なお、図３の表示装置３３は、例えば表示装置１２１１であってよい。視線センサ１２１２は、例えば、カメラなどの撮像素子であってよく、或いは、赤外線光源及び受光素子を備える視線検出装置であってよい。図３の視線センサ３２は、例えば視線センサ１２１２であってよい。画像処理部１２１３は、例えばＩＳＰ（image signal processor）などの画像処理用のプロセッサであってよい。そして、画像表示制御装置３の制御部４００は、例えば画像処理部１２１３であってもよい。撮像素子１２１４は、例えば、ＣＣＤやＣＭＯＳなどを用いたカメラであってよい。図３の撮像素子３１は、例えば撮像素子１２１４であってよい。レンズ駆動装置１２１５は、例えば、焦点を変更するためにレンズを駆動するためのアクチュエータであってよい。

実施形態に係る各プログラムは、例えば、下記の形態で画像表示制御装置３に提供されてよい。
（１）記憶装置１２０３に予めインストールされている。
（２）着脱可能記憶媒体１２１０により提供される。
（３）プログラムサーバなどのサーバから通信インタフェース１２０５を介して提供される。

以上で述べたように、いくつかの実施形態は画像表示制御装置３が備えるプロセッサ１２０１がプログラム４３０を読み出して実行することで実施されてよい。しかしながら、実施形態はこれに限定されるものではない。例えば、画像表示制御装置３が備える上述の機能部の一部または全部の機能をＦＰＧＡ及びＳｏＣなどによるハードウェアとして実装してもよい。なお、ＦＰＧＡは、Field Programmable Gate Arrayの略称である。ＳｏＣは、System-on-a-chipの略称である。この場合、制御部４００は、ＦＰＧＡ及びＳｏＣなどのハードウェアとして実装された回路であってよい。

また、別の実施形態として、例えば、他の装置が図５、又は図１０の動作フローを実行して取得した複数の画像を、画像表示制御装置３が受信し、画像表示制御装置３が、図１１の動作フローを実行する場合がある。この場合には、画像表示制御装置３は、例えば、表示装置１２１１、視線センサ１２１２、画像処理部１２１３、撮像素子１２１４、及びレンズ駆動装置１２１５を含まなくてもよい。

以上で述べた実施形態を含むいくつかの実施形態は、上述の実施形態の各種変形形態及び代替形態を包含するものとして当業者には理解される。例えば、各種実施形態は、構成要素を変形して具体化されてよい。また、上述した実施形態に開示されている複数の構成要素を適宜組み合わせることにより、種々の実施形態が実施されてよい。更には、実施形態に示される全構成要素からいくつかの構成要素を削除して又は置換して、或いは実施形態に示される構成要素にいくつかの構成要素を追加して種々の実施形態が実施されてよい。

３ 画像表示制御装置
４００ 制御部
４１１ 取得部
４１２ 演算部
４１３ 出力部
４２０ 記憶部
１２００ コンピュータ
１２０１ プロセッサ
１２０２ メモリ
１２０３ 記憶装置
１２０４ 読取装置
１２０５ 通信インタフェース
１２０６ 入出力装置
１２０８ バス
１２１１ 表示装置
１２１２ 視線センサ
１２１３ 画像処理部
１２１４ 撮像素子
１２１５ レンズ駆動装置

Claims (6)

1. 撮影者の視線に基づき検出された複数の被写体のそれぞれに対して、撮影を指示する信号に応じて合焦することで得られた複数の画像を、前記撮影者が前記複数の被写体のそれぞれへと向けた視線から求められる注視度合いに基づいて表示するための表示情報を出力する出力部、
   を含む、画像表示制御装置。
2. 前記撮影者の注視度合いは、前記撮影の際に前記撮影者が前記複数の被写体それぞれへと視線を向けていた時間を表す注視時間、前記撮影の際に前記撮影者が前記複数の被写体それぞれへと視線を向けていた時間の割合を表す注視率、及び前記撮影の際に前記撮影者が前記複数の被写体それぞれへと視線を向けた順番を表す注視順のうちの少なくとも１つに基づいて求められる、請求項１記載の画像表示制御装置。
3. 前記複数の被写体に、前記画像表示制御装置からの距離の差が所定の距離以内である複数の被写体が含まれている場合に、前記画像表示制御装置からの距離の差が所定の距離以内である複数の被写体に対しては焦点距離を合わせる処理を１度に集約し、前記複数の画像を取得する取得部、
   を更に含む、請求項１又は２記載の画像表示制御装置。
4. 前記取得部は、前記画像表示制御装置からの距離の差が所定の距離以内である複数の被写体の明るさの差が、所定の範囲以内である場合に、前記画像表示制御装置からの距離の差が所定の距離以内である複数の被写体を１つの画像に集約し、前記複数の画像を取得する、請求項３記載の画像表示制御装置。
5. 撮影者の視線に基づき検出された複数の被写体のそれぞれに対して、撮影を指示する信号に応じて合焦することで得られた複数の画像を、前記撮影者が前記複数の被写体のそれぞれへと向けた視線から求められる注視度合いに基づいて表示するための表示情報を出力する、
   処理を画像表示制御装置に実行させる画像表示制御プログラム。
6. 撮影者の視線に基づき検出された複数の被写体のそれぞれに対して、撮影を指示する信号に応じて合焦することで得られた複数の画像を、前記撮影者が前記複数の被写体のそれぞれへと向けた視線から求められる注視度合いに基づいて表示するための表示情報を出力する工程を、
   含む、画像表示制御装置が実行する画像表示制御方法。