JP2023157200A - 電子機器、制御方法およびプログラム - Google Patents

Abstract

【課題】ユーザの視点検出を利用した主被写体の選択・切り替え操作の応答性向上を可能とする電子機器を提供する。【解決手段】本開示の電子機器は、撮像手段により撮像されて表示手段に表示された画像におけるユーザの視点を検出する検出手段と、前記画像における複数の被写体を追尾する追尾手段と、前記ユーザの視点を基に、前記複数の被写体それぞれに対する前記ユーザの注目度を判定する判定手段と、前記複数の被写体のいずれかを主被写体として選択する選択手段とを有し、前記選択手段は、前記複数の被写体それぞれの注目度に基づいて前記主被写体を選択する。【選択図】図２

Description

本発明は電子機器、制御方法およびプログラムに関し、特に電子機器における被写体の切り替え制御に関するものである。

近年デジタルカメラのミラーレス化が進み、手動で十字キーやマルチコントローラ等を操作せずとも、ファインダを覗くユーザの視点を検出し、その位置情報に基づいて視点ポインタを表示し、ユーザが任意の位置指定を可能とする技術が用いられている。

特許文献１には、ユーザである撮影者の視線による位置指定を利用して自動焦点（オートフォーカス：ＡＦ）制御を行う対象である主被写体の選択・切り替えに関する技術が開示されている。

また、特許文献２には、人間の眼球にある固視微動と呼ばれる、ある一点を注視している際にも眼球が細かい運動を起こす特性に対して、その影響を緩和するために視点ポインタを、時間で平均化した位置により表示する技術が開示されている。

特開２０２１－６７８５３号公報 特開２０２１－１０８４４７号公報

しかしながら、上述の特許文献に開示された従来技術では、固視微動による影響緩和のために視点ポインタの位置を時間平均して表示しているため、視点による位置指定の応答性が損なわれる可能性がある。その結果、視点による位置指定を利用したオートフォーカス（以下、ＡＦ）制御を行う対象である主被写体の選択・切り替え操作では、タイミングの遅れによる撮影機会の損失につながる可能性がある。

そこで、本発明の目的は、ユーザの視点検出を利用した主被写体の選択・切り替え操作の応答性向上を可能とする電子機器を提供することである。

上記目的を達成するために、本開示に係る電子機器は、
撮像手段により撮像されて表示手段に表示された画像におけるユーザの視点を検出する検出手段と、前記画像における複数の被写体を追尾する追尾手段と、前記ユーザの視点を基に、前記複数の被写体それぞれに対する前記ユーザの注目度を判定する判定手段と、前記複数の被写体のいずれかを主被写体として選択する選択手段とを有し、前記選択手段は、前記複数の被写体それぞれの注目度に基づいて前記主被写体を選択する、
ことを特徴とする電子機器を含む。
また、本開示に係る電子機器は、
表示手段に表示された画像におけるユーザの視点を検出する検出手段と、
前記ユーザの視点を基に、前記画像における複数のオブジェクトそれぞれに対する前記ユーザの注目度を判定する判定手段と、
前記複数のオブジェクトそれぞれの注目度に基づいてオブジェクトを選択する選択手段と、
を有することを特徴とする電子機器を含む。
また、本開示に係る電子機器は、
撮像手段により撮像されて表示手段に表示された画像における複数の被写体を選択可能に表示する表示制御手段と、
選択可能に表示された前記複数の被写体のいずれかを選択する選択手段と
を有し、
前記複数の被写体のうち、ユーザが第１の時間見た被写体よりも、前記ユーザが前記第１の時間よりも長い第２の時間見た被写体の方が前記選択手段によって選択されやすい
ことを特徴とする電子機器を含む。
また、本開示に係る電子機器は、
撮像手段により撮像された画像を表示手段に表示する表示制御手段と、
前記表示手段に表示された画像におけるユーザの視点を検出する検出手段と、
前記複数の被写体のいずれかを主被写体として選択する選択手段と、
前記ユーザによる操作を受け付けるための操作手段と、
を有し、
前記操作手段が受け付けた操作によって前記選択手段により選択される主被写体の切り替えが可能であり、
前記表示制御手段は、前記複数の被写体のうち、第１の被写体ではなく、該第１の被写体よりユーザが長い時間見た第２の被写体を、前記主被写体の切り替え候補として区別可能に表示する
ことを特徴とする電子機器を含む。

また、本開示に係る電子機器の制御方法は、
撮像手段により撮像されて表示手段に表示された画像におけるユーザの視点を検出する検出ステップと、
前記画像における複数の被写体を追尾する追尾ステップと、
前記ユーザの視点を基に、前記複数の被写体それぞれに対する前記ユーザの注目度を判定する判定ステップと、
前記複数の被写体のいずれかを主被写体として選択する選択ステップと
を含み、
前記選択ステップは、前記複数の被写体それぞれの注目度に基づいて前記主被写体を選択する
ことを特徴とする制御方法を含む。

本開示によれば、ユーザの視点と画像処理によって認識される被写体の領域から算出される被写体ごとの注目度に基づいて、ＡＦ制御を行う主被写体の選択・切り替え操作を制御することで、応答性を向上することができる。また、本開示によれば、撮影機会の損失を低減できる。

一実施形態に係るデジタルカメラの外観図 一実施形態に係るデジタルカメラの構成を示すブロック図 一実施形態に係るデジタルカメラの筐体の断面図 視線検出方法の原理を説明する要約図 撮像素子に投影される眼球像の概略図および撮像素子における出力強度図 一実施形態における視線検出処理を示すフローチャート 第１の実施形態の主被写体の切り替え制御処理を示すフローチャート 第１の実施形態の主被写体の切り替え制御処理を示す模式図 一実施形態における注目度の表示例を示す模式図 第２の実施形態の主被写体の切り替え制御処理を示すフローチャート 第２の実施形態の主被写体の切り替え制御処理を示す模式図 第３の実施形態の主被写体の切り替え制御処理を示すフローチャート 第３の実施形態の主被写体の切り替え制御処理を示す模式図 第４の実施形態の主被写体の切り替え制御処理を示すフローチャート 第４の実施形態の主被写体の切り替え制御処理を示す模式図

以下、本開示の実施形態について図面を用いて説明する。なお、本開示は以下の実施形態に限定されるものではなく、その要旨を逸脱しない範囲において適宜変更可能である。また、以下で説明する図面において、同じ機能を有するものは同一の符号を付し、その説明を省略又は簡潔にすることもある。

（第１の実施形態）
図１Ａおよび図１Ｂは、第１の実施形態に係る電子機器であるデジタルカメラ１００の外観を示す。デジタルカメラ１００は、被写体を撮像する撮像装置の一例である。図１Ａは正面斜視図であり、図１Ｂは背面斜視図である。図１Ａに示すように、カメラ１は、撮影レンズ１００Ａおよび筐体部１００Ｂを有する。筐体部１００Ｂには、ユーザ（撮影者）からの撮像操作を受け付ける操作部材であるレリーズボタン５が配置されている。図１Ｂに示すように、カメラ筐体１００Ｂの背面には、カメラ筐体１００Ｂ内に含まれる表示部１１３をユーザが覗き込むための接眼窓枠６と接眼レンズ２０３（接眼光学系）が配置されている。接眼窓枠６は接眼レンズ２０３を囲んでおり、接眼レンズ２０３に対して、カメラ筐体１００Ｂの外側（背面側）に突出している。なお、接眼光学系には複数枚のレンズが含まれていてもよい。カメラ筐体１００Ｂの背面には、ユーザからの各種操作を受け付ける操作部材１１５ａ、１１５ｂ、１１５ｃからなる操作部１１５も配置されている。例えば、操作部材１１５ａはタッチ操作を受け付けるタッチパネルであり、操作部材１１５ｂは各方向に押し倒し可能な操作レバーであり、操作部材１１５ｃは４方向のそれぞれに押し込み可能な４方向キーである。操作部材１１５ａ（タッチパネル）は、液晶パネル等の表示パネルを備えており、表示パネルで画像を表示する機能を有する。

図２は、本発明に第１の実施形態に係る電子機器であるデジタルカメラ１００のブロック図である。図２において、結像光学部１０１は焦点レンズや防振レンズを含む複数のレンズ群および絞りを備えている。撮影の際、結像光学部１０１は、焦点制御部１１８で焦点調節、絞り制御部１１９で露出調節、ブレ補正等を行い、撮像素子１０２に光学像を結像する。撮像素子１０２は、光学像を電気信号（アナログ画像信号）に変換する光電変換機能を有する。撮像素子１０２は、例えばＣＣＤ（Charged Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサ等で構成される。また、撮像素子
１０２は、像面位相差ＡＦ用に、専用画素や各画素内に複数の独立したフォトダイオードを備えている。Ａ／Ｄ変換部１０３は、撮像素子部１０２からのアナログ画像信号をデジタル画像信号に変換する。変換後の画像データは後段の画像処理部１０４に入力される。

バス１１６は主にＣＰＵ１１４などから各ブロックの制御信号を伝送するためのシステムバスであり、バス１１７は主に画像データを転送るためのデータバスである。ＣＰＵ１１４は、デジタルカメラ１００全体の制御を司るマイクロコンピュータ等で構成され、各機能ブロックに対して動作指示を行い、各種の制御処理を実行する。また、ＣＰＵ１１４は、各種制御処理の際に必要となる演算も行う。ＣＰＵ１１４は、システムバス１１６を介して画像処理部１０４、データ転送部１０５、メモリ制御部１０６、不揮発性メモリ制御部１０８、記録メディア制御部１１０、表示制御部１１２、操作部１１５、撮像素子１０２等を制御する。ＣＰＵ１１４は、ＲＯＭ１０９に記録されたプログラムを実行することにより、以下に説明するデジタルカメラの制御方法の各処理を実現する。さらに、ＣＰ
Ｕ１１４は、結像光学部１０１のレンズ、絞りの制御や、焦点距離等の情報取得を行う。

データ転送部１０５は、データ転送を行う複数のＤＭＡＣ（Direct Memory Access Controller）で構成されている。ＤＲＡＭ（メモリ）１０７は、データを記憶するメモリで
あり、所定枚数の静止画像や所定時間の動画像、音声等のデータやＣＰＵ１１４の動作用の定数、プログラム等を格納するのに十分な記憶容量を備える。メモリ制御部１０６は、ＣＰＵ１１４あるいはデータ転送部１０５からの指示に応じて、ＤＲＡＭ１０７へのデータ書き込みおよびデータ読み出しを行う。

不揮発性メモリ制御部１０８は、ＣＰＵ１１４からの指示に応じて、ＲＯＭ（不揮発性メモリ）１０９にデータの書き込みおよび読み出しを行う。ＲＯＭ１０９は、電気的に消去・記録可能なメモリであり、ＥＥＰＲＯＭ等が用いられる。ＲＯＭ１０９には、ＣＰＵ１１４の動作用の定数、プログラム等が記憶される。

画像処理部１０４は、各種画像処理部およびバッファメモリ等から構成されており、画像データに対して、倍率色収差補正、現像処理、ノイズリダクション処理、幾何変形、拡縮といったリサイズなどの処理を行う。また、画像処理部１０４は、現像および加工された画像から被写体を検出、認識、追尾する処理を行い、Ａ／Ｄ変換器１０３により変換された画像データに対して画素補正、黒レベル補正、シェーディング補正、傷補正などを適正に行う撮像補正部等も備える。

記録メディア１１１は、ＳＤカード等の記録媒体であり、記録メディア制御部１１０により制御され、画像データの記録や、記録データの読み出しを行う。

表示部１１３は、液晶ディスプレイや電子ビューファインダからなり、表示制御部１１２により制御され、画像処理部１０４から転送された各種の画像データやメニュー画面などを表示する。また、静止画撮影の撮影前や、動画撮影時には、Ａ／Ｄ変換部１０３から入力された画像データをリアルタイムで処理して表示する。

操作手段である操作部１１５は、ユーザにより操作されるスイッチやボタン、タッチパネル等を含み、電源のＯＮ／ＯＦＦ、シャッターのＯＮ／ＯＦＦ等の操作に使用される。眼球用撮像素子１２１は、ビューファインダを覗くユーザの眼球の光学像を結像し、視線検出部１２０に画像データを出力する。視線検出部１２０は、眼球用撮像素子１２１から入力された画像を基にユーザの視線方向を検出する。視線検出動作の詳細については後述する。

照明光源１２３および照明光源駆動部１２４は、視線検出のための赤外光源とそれを制御する駆動部である。赤外光はユーザの眼球に向けて照射され、その反射像を眼球用撮像素子１２０で結像する。

注目度検出部１２５は、視線検出部１２０が検出したユーザの視線データと画像処理部１０４が認識した被写体領域情報に基づいて、被写体ごとのユーザの関心度合いを算出し、注目度として出力する。

自動焦点検出部１２２は、視線検出部１２０や画像処理部１０４により出力される焦点を合わせる領域に対するレンズ駆動量を算出し、焦点制御部１１８に対して焦点レンズの駆動制御を指示する。レンズ駆動量の算出は例えば、撮像素子１０２で取得される焦点検出用画像に基づく像面位相差方式等で行われる。

図３は、第１の実施形態に係るデジタルカメラ１００の筐体の断面図であり、その構成
を概略的に示す説明図である。図１および図２において、対応する部位は同じ番号で表記されている。

図３において、撮影レンズ１００Ａはレンズ交換式カメラ用のレンズである。本実施形態では便宜上、撮影レンズ１００Ａの内部を２０５、２０６の２枚のレンズで表すが、実際はさらに多数のレンズで構成されてよい。筐体部１００Ｂはカメラ本体であり、撮像素子１０２は、デジタルカメラ１００の撮影レンズ１００Ａの予定結像面に配置されている。接眼レンズ２０３は、表示部１１３に表示された被写体像を観察するためのレンズである。

筐体部１００Ｂには、光源の角膜反射による反射像と瞳孔の関係から視線方向を検出するためのユーザの眼球２０４を照明するための赤外発光ダイオードからなる光源１２３ａ、１２３ｂが、接眼レンズ２０３の周りに配置されている。照明された眼球像と光源１２３ａ～１２３ｂの角膜反射による像は接眼レンズ２０３を透過し、光分割器２０２で反射され、受光レンズ２０１によってＣＣＤ等の光電素子列を２次元的に配した眼球用撮像素子１２１上に結像される。受光レンズ２０１はユーザの眼球２０４の瞳孔と眼球用撮像素子１２１を共役な結像関係に配置されている。眼球用撮像素子１２１上に結像された眼球と光源１２３ａ、１２３ｂの角膜反射による像の位置関係から後述する所定のアルゴリズムで視線方向を検出する。

撮影レンズ１００Ａ内には絞り２０７、絞り制御部１１９、駆動ギヤ等からなるレンズ駆動部材２１０、レンズ駆動用モータ２１１が設けられている。また、撮影レンズ１００Ａ内には、レンズ駆動部材２１０に連動するパルス板２０８の回転を検知して、焦点制御部１１８に伝えるフォトカプラ２０９が設けられている。焦点制御部１１８は、フォトカプラ２０９からの情報とカメラ側からのレンズ駆動量の情報に基づいて、レンズ駆動用モータ２１１を所定量駆動させ、焦点レンズ２０５を合焦点位置に移動させる。また、撮影レンズ１００Ａは、カメラとレンズとのインターフェイスとなるマウント接点２１２を有する。

図４は視線検出方法の原理を示す説明図であり、視線検出をおこなうための光学系の要約図である。図３において、光源１２３ａ、１２３ｂはユーザに対して不感の赤外光を放射する発光ダイオード等であり、各光源１２３ａ、１２３ｂは受光レンズ２０１の光軸に対して略対称に配置され観察者の眼球２０４を照らしている。眼球２０４により反射された照明光の一部は受光レンズ２０１によって、眼球用撮像素子１２１に集光する。

図５は、眼球用撮像素子１２１に投影される眼球像の概略図と眼球用撮像素子１２１におけるＣＣＤの出力強度図とを示す。図中、上側の図が眼球像の概略図であり、下側の図がＣＣＤの出力強度図である。図６は、本実施形態においてデジタルカメラ１００のＣＰＵ１１４が実行する視線検出処理のフローチャートを示す。以下、図４～６を用いて、本実施形態における視線検出処理について説明する。

＜視線検出動作の説明＞
視線検出ルーチンが開始すると、ステップＳ６０１において、ＣＰＵ１１４は、光源１２３ａ、１２３ｂによりユーザの眼球２０４に向けて赤外光を放射する。赤外光によって照明されたユーザの眼球像は、眼球用撮像素子１２１上に受光レンズ２０１を通して結像し、眼球用撮像素子１２１により光電変換がなされ、眼球像は電気信号として処理が可能となる。

ステップＳ６０２において、ＣＰＵ１１４は、眼球用撮像素子１２１から得られた眼球画像信号を視線検出部１２０に送る。

ステップＳ６０３では、ＣＰＵ１１４は、ステップＳ６０２において得られた眼球画像信号の情報から、図４に示す光源１２３ａ、１２３ｂの角膜反射像Ｐｄ、Ｐｅおよび瞳孔中心ｃに対応する点の座標を求める。光源１２３ａ、１２３ｂより放射された赤外光はユーザの眼球２０４の角膜３０１を照明する。このとき、角膜３０１の表面で反射した赤外光の一部により形成される角膜反射像Ｐｄ、Ｐｅは受光レンズ２０１により集光され、眼球用撮像素子１２１上に結像する（図の点Ｐｄ’、Ｐｅ’）。同様に瞳孔３０２の端部ａ、ｂからの光束も眼球用撮像素子１２１上に結像する。

図５には、眼球用撮像素子１２１から得られる反射像の画像例（図中上側の図）と当該画像例の領域αにおける、眼球用撮像素子１２１から得られる輝度情報例（図中下側の図）とを示す。図示のように、水平方向をＸ軸、垂直方向をＹ軸とする。このとき、光源１２３ａ、１２３ｂの角膜反射像が結像した像Ｐｄ’、Ｐｅ’のＸ軸方向（水平方向）の座標をそれぞれＸｄ、Ｘｅとする。また、瞳孔３０２の端部ａ、ｂからの光束が結像した像ａ’、ｂ’のＸ軸方向の座標をそれぞれＸａ、Ｘｂとする。図５の輝度情報例において、光源１２３ａ、１２３ｂの角膜反射像が結像した像Ｐｄ’、Ｐｅ’に相当する位置Ｘｄ、Ｘｅでは、極端に強いレベルの輝度が得られている。瞳孔３０２の領域に相当する、座標ＸａからＸｂの間の領域は、上記Ｘｄ、Ｘｅの位置を除き、極端に低いレベルの輝度が得られる。これに対し、瞳孔３０２の外側の光彩４０１の領域に相当する、Ｘａより低いＸ座標の値を持つ領域およびＸｂより高いＸ座標の値を持つ領域では、上記２種の輝度レベルの中間の値が得られる。そして、上記Ｘ座標位置に対する輝度レベルの変動情報から、光源１２３ａ、１２３ｂの角膜反射像が結像した像Ｐｄ’、Ｐｅ’のＸ座標Ｘｄ、Ｘｅと、瞳孔端の像ａ’、ｂ’のＸ座標Ｘａ、Ｘｂを得ることができる。また、受光レンズ２０１の光軸に対する眼球２０４の光軸の回転角θｘが小さい場合、眼球用撮像素子１２１上に結像する瞳孔中心ｃに相当する箇所（ｃ’とする）の座標Ｘｃは、Ｘｃ≒（Ｘａ＋Ｘｂ）／２と表すことができる。上記より、眼球用撮像素子１２１上に結像する瞳孔中心に相当するｃ’のＸ座標、光源１２３ａ、１２３ｂの角膜反射像Ｐｄ’、Ｐｅ’の座標を見積もることができる。

次に、ステップＳ６０４では、ＣＰＵ１１４は眼球像の結像倍率βを算出する。結像倍率βは受光レンズ２０１に対する眼球２０４の位置により決まる倍率で、実質的には角膜反射像Ｐｄ’、Ｐｅ’の間隔（Ｘｄ－Ｘｅ）の関数として求めることができる。

また、ステップＳ６０５では、角膜反射像ＰｄおよびＰｅの中点のＸ座標と角膜３０１の曲率中心ＯのＸ座標とはほぼ一致する。このため、角膜３０１の曲率中心Ｏと瞳孔３０２の中心ｃまでの標準的な距離をＯｃとすると、眼球２０４の光軸のＺ－Ｘ平面内の回転角θｘは、以下の式（１）で求めることができる。
β×Ｏｃ×ｓｉｎθｘ≒｛（Ｘｄ＋Ｘｅ）／２｝－Ｘｃ・・・（１）

また、図４、図５においては、ユーザの眼球がＹ軸に垂直な平面内で回転する場合の回転角θｘを算出する例を示しているが、ユーザの眼球がＸ軸に垂直な平面内で回転する場合の回転角θｙの算出方法も同様である。

ユーザの眼球２０４の光軸の回転角θｘ、θｙが算出されると、ステップＳ５０６では、ＣＰＵ１１４は、θｘ、θｙを用いて、表示部１１３上でユーザの視線の位置（注視している点の位置。以下、注視点と称する。）を求める。注視点位置を表示部１１３上での瞳孔３０２の中心ｃに対応する座標（Ｈｘ，Ｈｙ）として、以下の式（２）、（３）で求めることができる。
Ｈｘ＝ｍ×（Ａｘ×θｘ＋Ｂｘ）・・・（２）
Ｈｙ＝ｍ×（Ａｙ×θｙ＋Ｂｙ）・・・（３）
ここで、係数ｍはカメラのファインダ光学系の構成で定まる定数で、回転角θｘ、θｙを表示部１１３上での瞳孔３０２の中心ｃに対応する位置座標に変換する変換係数であり、あらかじめ決定されてメモリ１０７に記憶されている。また、Ａｘ、Ｂｘ、Ａｙ、Ｂｙはユーザの視線の個人差を補正する視線補正係数であり、キャリブレーション作業を行うことで取得され、図６の視線検出ルーチンが開始する前にメモリ１０７に記憶されている。

上記のように表示部１１３上での瞳孔３０２の中心ｃの座標（Ｈｘ，Ｈｙ）を算出した後、ステップＳ６０７で固視微動による座標ブレの影響を緩和するため、ＣＰＵ１１４は、所定期間分平均化する時系列フィルタを算出した座標に適用する。そして、ステップＳ６０８においてメモリ１０７に上記座標を記憶して、視線検出ルーチンを終了する。また、ＣＰＵ１１４は、視線の位置がある領域にどのくらい留まっていたかを計測し、領域ごとの視線の位置の滞在時間を注視時間としてメモリ１０７に記憶する。

なお、上記の処理は、光源１２３ａ、１２３ｂの角膜反射像を利用した表示素子上での注視点座標を取得する手法の一例であるが、撮像された眼球画像から眼球回転角度を取得できれば任意の手法が本実施形態に適用可能である。

図７は、本実施形態に係るデジタルカメラ１００が実行する主被写体の選択・切り替え制御処理のフローチャートを示し、図８は、本実施形態の主被写体の選択・切り替え制御処理を模式的に説明する図である。また、図９は、ユーザの注目度の表示例を示す図である。以下、図７～９を参照しながら、図７において実行される処理について説明する。

ユーザによる撮影が開始されると、ＣＰＵ１１４は主被写体の選択・切り替え制御処理を開始し、ステップＳ７０１とステップＳ７０４の２つの処理が平行して実行される。

ステップＳ７０１では、撮像素子１０２は、主被写体を含む撮影領域の画像を取得し、取得した画像をＡ／Ｄ変換部１０３を介して画像処理部１０４に出力する。ステップＳ７０１で撮影領域の画像が取得および出力が完了すると、処理はステップＳ７０２に進む。

ステップＳ７０２では、画像処理部１０４は、ファインダ内の表示部１１３に表示するために生成したライブビュー画像における被写体の認識を行う。被写体認識処理は、例えば深層学習（ディープラーニング）、すなわち学習済みの畳み込み層を含む多層ニューラルネットワークを用いて特定の被写体領域を推定するものである。また、深層学習を用いずにテクスチャや色、ヒストグラム等から画像内の顕著な領域を算出し、被写体領域として推定するものであってもよい。画像内に複数の被写体が存在する場合は、被写体領域の推定結果も複数出力される。被写体領域の推定結果は、初期フレームにおいてはすべての被写体、その後のフレームにおいては追尾対象となっていない新たにフレームインした被写体に対応する結果が出力される。例えば、図８Ａに示すようにライブビュー画像内に被写体８０１、８０３、８０５が存在した場合、それぞれの被写体領域８０２、８０４、８０６が推定結果として出力される。ステップＳ７０２で被写体認識処理により被写体領域が推定されると、処理はステップＳ７０３に進む。

ステップＳ７０３では、画像処理部１０４は、追尾手段として機能し、ステップＳ７０２で出力される複数の被写体の追尾を行い、被写体追尾結果をＣＰＵ１１４に出力する。被写体追尾処理は、例えば深層学習を用いて過去フレームにおける追尾対象の被写体領域に対応する、現フレーム内の領域を推定する。より具体的には、被写体領域についての特徴点と、特徴点が含む特徴量とを抽出する機能と、抽出した特徴点をフレーム間で対応付ける機能とを有する。すなわち、過去フレームの追尾対象の被写体領域についての特徴点に対応付けられる現フレームの特徴点から、現フレームにおける追尾対象の被写体領域の位置と大きさを推定する。また、深層学習を用いずにテクスチャや色、ヒストグラム等か
ら過去フレームにおける追尾対象の被写体領域に対応する、現フレーム内の被写体領域を推定するものであってもよい。被写体追尾結果は、被写体のフレームアウト等により過去フレームにおける追尾対象の被写体領域が、現フレーム内で見つけられなかった場合にロスト判定となる。また、現フレームにおいてステップＳ７０２で新たに認識された被写体においては、被写体認識処理の推定結果をそのまま被写体追尾結果として出力する。

例えば、図８Ａに示すようにライブビュー画像内に被写体８０１、８０３、８０５が存在した場合、１つ前のフレーム内の対応する各被写体領域８０２、８０４、８０６を推定し、複数フレームにわたって同一の被写体として認識し続けることが可能となる。ステップＳ７０３で被写体追尾処理により現フレームにおける各被写体領域が推定されると、結果は注目度算出部１２５にも出力され、処理はステップＳ７０５の完了と待ち合わせを行い、ステップＳ７０６に進む。

一方、ステップＳ７０４では、眼球用撮像素子１２１は、照明光源１２３が照射されたユーザの眼球の画像を取得し、画像データを視線検出部１２０に出力する。ステップＳ７０４でユーザの眼球画像を取得すると、処理はステップＳ７０５に進む。

ステップＳ７０５では、視線検出部１２０は、検出手段として機能し、上記の視線検出ルーチンによりユーザの視線を検出する。そして、視線検出部１２０は、ファインダ内の表示部１１３に表示されるライブビュー画像における視点座標を算出して、視点ポインタ（例えば、図８Ａの８０８）を表示する。また、視線検出部１２０は、視点座標をＣＰＵ１１４および注目度算出部１２５に出力する。ステップＳ７０５でユーザの視点座標が算出されると、処理はステップＳ７０３の完了と待ち合わせを行い、ステップＳ７０６に進む。

ステップＳ７０６では、注目度算出部１２５は、判定手段として機能し、ユーザの視点を基に、複数の被写体それぞれに対するユーザの注目度を判定する。具体的には、注目度算出部１２５は、ステップＳ７０３で画像処理部１０４により出力された現フレームにおける各被写体領域情報と、ステップＳ７０５で視線検出部１２０により出力された視点座標から、被写体ごとのユーザの注目度を算出する。被写体ごとの注目度は、追尾される被写体の領域内に検出されたユーザの視点が含まれる度合いである。この度合いとしては、被写体領域内に視点座標が滞在していた期間（例えば、視点座標算出のサンプリング数や該当する表示フレーム数、もしくは所定時間留まった回数のカウント値そのもの、すべての被写体の合計値に対する割合等）が挙げられる。ステップＳ７０３でロスト判定された被写体については、注目度を破棄する。算出された被写体ごとの注目度はＣＰＵ１１４に出力される。また注目度情報は、設定に応じてファインダ内の表示部１１３に表示するライブビュー画像に重畳表示（例えば、図８Ａの８０９）される。

注目度情報の表示は図９Ａに示すように、予め設定された閾値により数段階（例えば、５段階）に区分し、数値として表示したり、図９Ｂに示すように注目度情報をそのまま数値として表示したり、図９Ｃに示すように段階値をメーター表示したりしてもよい。また、被写体領域を示す枠表示の色や太さ、多重線で段階値を表現するように表示するなどしてもよい。このように、表示部１１３には、判定された複数の被写体の注目度を、数値、図形、色の少なくとも１つを用いて表示することができる。ステップＳ７０６で被写体ごとの注目度が算出されると、処理はステップＳ７０７に進む。

ステップＳ７０７では、ＣＰＵ１１４は、ユーザが操作手段である操作部１１５の操作によりＡＦ制御対象とする主被写体の切り替え決定操作を行ったか否かを判定する。ここで、主被写体の切り替え決定操作の一例として、タッチパネル１１５ａ、操作レバー１１５ｂ、４方向キー１１５ｃの少なくとも１つを用いて切り替え後の主被写体を決定する操
作が挙げられる。主被写体の切り替え決定操作が行われた場合（Ｓ７０７：ＹＥＳ）、処理はステップＳ７０８に進み、主被写体の切り替え決定操作が行われなかった場合（Ｓ７０７：ＮＯ）、処理はステップＳ７０９に進む。

ステップＳ７０９では、ＣＰＵ１１４は、視点座標と被写体の座標（例えば、被写体領域の中心座標）との距離が特定の閾値距離以下であるか否かを判定する。図８Ａのようにユーザの視点を示す視点ポインタが８０７の位置から８０８の位置に移動すると、図８Ｂの被写体８０３から特定の閾値距離の範囲内であることを示す領域８１０内に視点座標が含まれる。これにより、視点座標と被写体座標とが特定の閾値距離以下と判定される。被写体８０３からの特定の閾値距離を示す領域８１０は、例えば被写体８０３の注目度がゼロの時に被写体領域８０４と同じ大きさになり、注目度が高いほど大きくなるように算出される。また、説明の便宜上、図では領域８１０が表示部１１３に表示されているように示しているが、ファインダ内の表示部１１３には領域８１０は表示されず、領域８１０に関する情報はデジタルカメラ１００が内部的に保持しているものとする。

また、基本的に主被写体の切り替えにおいては、主被写体から主被写体以外の被写体への切り替えが想定されるため、ステップＳ７０９において、主被写体８０１の注目度はゼロとして扱うこととする。ステップＳ７０９で視点座標と被写体座標とが特定の距離以下と判定されると（Ｓ７０９：ＹＥＳ）、処理はステップＳ７１０に進む。また、視点座標と被写体座標とが特定の距離より大きいと判定されると（Ｓ７０９：ＮＯ）、処理はステップＳ７１１に進む。

ステップＳ７１０では、ＣＰＵ１１４は、選択手段として機能し、視点座標との距離が特定の距離以下である被写体を、主被写体切り替えの対象として有効化状態（主被写体として決定可能な選択状態）にする。そして、ＣＰＵ１１４は、ユーザにその状態を通知するための表示を行う命令を表示制御部１１２に出力する。表示制御部１１２は、ＣＰＵ１１４からの命令に従って、表示制御手段として機能し、画像における複数の被写体を選択可能に表示する。具体的には、例えば図８Ｂに示すような被写体を囲む二重枠８１１の表示であり、現在のＡＦ制御対象である主被写体８０１の太枠８０２や主被写体以外の被写体領域を示す破線枠８０６とは異なる表示である。ステップＳ７１０で主被写体の切り替え対象としての有効化表示がされると、処理はステップＳ７１１に進む。

一方、ステップＳ７０８では、ＣＰＵ１１４は、ユーザにより主被写体の切り替え決定操作が行われる際に選択されている被写体を主被写体として設定し、すべての被写体の注目度を初期値にリセットする。また、注目度情報の表示も初期値のゼロにリセットされる。ステップＳ７０８で主被写体の切り替え処理がなされると、処理はステップＳ７１１に進む。

ステップＳ７１１では、ＣＰＵ１１４は、自動焦点検出部１２２に主被写体領域（８０２もしくは８１２）に対する焦点制御を行うように指示を行い、自動焦点検出部１２２はレンズ駆動量を算出し、焦点制御部１１８に焦点レンズの駆動制御を指示する。焦点制御部１１８の焦点レンズの駆動制御により主被写体領域に対する焦点制御が完了すると、処理はステップＳ７１２に進む。

図８Ａ～図８Ｃの例では、被写体８０１が主被写体として設定されている状態で、ユーザの視点位置を示す視点ポインタ８０８が領域８１０内に移動すると、被写体８０３が主被写体として決定可能である通知（枠８１１の表示）が行われる。また、ユーザが被写体８０３を主被写体に切り替えるための決定操作を行うまでは、被写体８０１に対してＡＦ制御が行われる。そして、ユーザが主被写体を被写体８０３に切り替える決定操作を行うと、図８Ｃのように主被写体が被写体８０１から被写体８０３に切り替わり、被写体８０
３に対してＡＦ制御が行われる。また、表示部１１３では、被写体領域の枠については、それぞれ主被写体以外の被写体を示す破線枠８１３と主被写体を示す太枠８１２とが表示される。

そして、ステップＳ７１２では、ＣＰＵ１１４は、ユーザによる撮影が終了したか否かを判断する。ユーザによりデジタルカメラ１００の電源がＯＦＦに操作されたり、ＡＦ操作が解除されたりした場合は（Ｓ７１２：ＹＥＳ）、ＣＰＵ１１４は、主被写体の選択・切り替え制御処理を終了する。また、撮影が継続される場合は（Ｓ７１２：ＮＯ）、ＣＰＵ１１４は、処理をステップＳ７０１、Ｓ７０４に戻し、上記のステップＳ７０１～Ｓ７１２の処理を繰り返す。

以上説明したように、被写体ごとの注目度に基づいて主被写体の被写体候補として選択される範囲が拡大される。そして、複数の被写体のうち画像において注目度がより高い被写体、すなわちユーザの視点をより集めた被写体に対して、他の被写体よりも優先度の高い表示が行われる。表示制御部１２０は、複数の被写体のうち、第１の被写体ではなく、第１の被写体よりユーザが長い時間見た第２の被写体を、主被写体の切り替え候補として区別可能に表示する。したがって、複数の被写体のうち、ユーザが第１の時間見た被写体よりも、ユーザが第１の時間よりも長い第２の時間見た被写体の方が選択されやすくなる。また、視点ポインタが完全に被写体領域上にない状態でも主被写体の切り替え対象として選択可能となる。これにより、主被写体の切り替え操作がユーザの視線による位置指定とボタン操作による決定操作でなされる場合において、主被写体の選択・切り替え操作の応答性向上が可能となり、撮影機会の損失の低減をもたらすことができる。

（第２の実施形態）
次に、図１０と図１１を参照して第２の実施形態に係る電子機器であるデジタルカメラについて説明する。第２の実施形態では、視点座標との距離が特定の距離以下である被写体を主被写体切り替えの対象として有効化する代わりに、視点ポインタの位置を移動させる。これにより、視点ポインタが完全に被写体領域上にない状態でも切り替え対象として選択可能となる。

本実施形態に係るデジタルカメラの構成は第１の実施形態と同一であり、主被写体の選択・切り替え制御処理の一部は第１の実施形態と同一である。以下の説明では、主に第１の実施形態と異なる部分について説明し、同一の構成要素や処理については同一の符号を付し、詳細な説明は省略する。

図１０は、本実施形態に係るデジタルカメラ１００の主被写体の選択・切り替え制御処理のフローチャートを示す図であり、図１１は、本実施形態の主被写体の選択・切り替え制御処理を模式的に説明する図である。以下、図１０、１１を参照しながら、図１０において実行される処理について説明する。

ユーザによる撮影が開始されると、ＣＰＵ１１４は主被写体の選択・切り替え制御処理を開始し、ステップＳ７０１とステップＳ７０４の２つの処理が平行して実行される。なお、ステップＳ７０１～Ｓ７０９は、第１の実施形態と同様の処理である。

次に、ステップＳ１００１では、ＣＰＵ１１４は、視点座標との距離が特定の距離以下である被写体と重なる座標に視点ポインタを移動する。そして、ＣＰＵ１１４は、視点ポインタと重なる被写体を主被写体の切り替えの対象として決定可能な状態とし、ユーザにその状態であることを通知するための表示を行う命令を表示制御部１１２に出力する。ここで、ユーザに対する通知の表示は、例えば図１１Ｂに示すように視点ポインタ８０８の位置を被写体１１０１と重なる位置に変更する表示である。なお、図１１Ａの視点ポイン
タ８０８の位置から図１１Ｂの視点ポインタ８０８の位置までの視点ポインタ８０８の移動の表示形態は、任意の表示形態が採用できる。例えば図１１Ａの視点ポインタ８０８を瞬時に図１１Ｂの表示に切り替えてもよいし、図１１Ａの視点ポインタ８０８が図１１Ｂの視点ポインタ８０８の位置に吸い寄せられるような移動表示としてもよい。ステップＳ１００１で視点座標および視点ポインタの表示位置が変更されると、処理はステップＳ７１１に進む。ステップＳ７１１、Ｓ７１２の処理は、第１の実施形態と同様である。

以上説明したように、被写体ごとの注目度に基づいて決定される視点座標の移動範囲の適用により、視点ポインタが被写体上にない状態でも視点ポインタが移動され、主被写体の切り替え対象として選択可能となる。これにより、主被写体の切り替え操作がユーザの視線による位置指定とボタン操作による決定操作でなされる場合において、主被写体の選択・切り替え操作の応答性向上が可能となり、撮影機会の損失の低減をもたらすことができる。

（第３の実施形態）
次に、図１２、図１３を参照して第３の実施形態に係るデジタルカメラについて説明する。第３の実施形態では、被写体を選択する際の決定が、ボタン操作ではなく、注視判定によって行われる場合の主被写体の選択・切り替え処理の例について説明する。

本実施形態に係るデジタルカメラの構成は第１の実施形態と同一であり、主被写体の選択・切り替え制御処理の一部は第１の実施形態と同一である。以下の説明では、主に第１の実施形態と異なる部分について説明し、同一の構成要素や処理については同一の符号を付し、詳細な説明は省略する。

図１２は、本実施形態に係るデジタルカメラ１００の主被写体の選択・切り替え制御処理のフローチャートを示す図であり、図１３は、本実施形態の主被写体の選択・切り替え制御処理を模式的に説明する図である。以下、図１２、１３を参照しながら、図１２において実行される処理について説明する。

ユーザによる撮影が開始されると、ＣＰＵ１１４は主被写体の選択・切り替え制御処理を開始し、ステップＳ７０１とステップＳ７０４の２つの処理が平行して実行される。ステップＳ７０１～Ｓ７０６は、第１の実施形態と同様の処理である。

次に、ステップＳ１２０１では、ＣＰＵ１１４は、視点座標が主被写体以外の被写体領域内に存在しているか否かを判定する。具体例として、図１３Ａのようにユーザの視点を示す視点ポインタの位置が、視点ポインタ８０７の位置から被写体領域８０４内の視点ポインタ１３０１の位置に移動する。このとき、ＣＰＵ１１４は、ユーザの視点座標が被写体７０３の被写体領域７０４内に存在していると判定する。視点座標が主被写体以外の被写体領域内に存在していると判定された場合（Ｓ１２０１：ＹＥＳ）、処理はステップＳ１２０２に進む。また、視点座標が主被写体以外の被写体領域内に存在していないと判定された場合（Ｓ１２０１：ＮＯ）、処理はステップＳ７１１に進む。

ステップＳ１２０２では、ＣＰＵ１１４は、ステップＳ７０５でメモリ１０７に記憶されたユーザの注視時間を読み出し、注視時間が特定の時間以上であるか否かを判定する。例えば、図１３Ｂのように視点ポインタ１３０１が被写体領域８０４内に移動した後、特定の時間以上、視点ポインタ１３０１が被写体７０３の被写体領域７０４内に留まり続ける。このとき、ＣＰＵ１１４は、注視時間が特定の時間以上であると判定して、主被写体を切り替える決定操作が行われたと判定する。ここで、注視判定を行うための閾値である特定の時間は、例えば被写体７０３の注目度がゼロの時にあらかじめ設定されている閾値の時間である。この時間は、注目度が高いほど短くなるように設定され、注目度が高い被
写体ほど注視判定の所要時間が短くなる。注視時間が特定の時間以上であると判定された場合（Ｓ１２０２：ＹＥＳ）、処理はステップＳ７０８に進む。また、注視時間が特定の時間より短いと判定された場合（Ｓ１２０２：ＮＯ）、処理はステップＳ７１１に進む。ステップＳ７０８およびステップＳ７１１、Ｓ７１２の処理は、第１の実施形態と同様の処理である。

以上説明したように、注視判定の閾値の時間が被写体ごとの注目度に基づいて設定されることで、注目度が高い被写体ほど主被写体の切り替え対象として決定されるまでの時間が短くなる。これにより、主被写体の切り替え操作がユーザの視線による位置指定と注視判定による決定操作でなされる場合において、主被写体の選択・切り替え操作の応答性向上が可能となり、撮影機会の損失の低減をもたらすことができる。

（第４の実施形態）
次に、図１４、図１５を参照して第４の実施形態に係るデジタルカメラについて説明する。第４の実施形態では、被写体を選択する際の決定が、ユーザの視点位置を用いた処理を基に行うのではなく、ボタン操作によって行う場合の主被写体の選択・切り替え処理の例について説明する。

本実施形態に係るデジタルカメラの構成は第１の実施形態と同一であり、主被写体の選択・切り替え制御処理の一部は第１の実施形態と同一である。以下の説明では、主に第１の実施形態と異なる部分について説明し、同一の構成要素や処理については同一の符号を付し、詳細な説明は省略する。

図１４は、本実施形態に係るデジタルカメラ１００の主被写体の選択・切り替え制御処理のフローチャートを示す図であり、図１５は、本実施形態の主被写体の選択・切り替え制御処理を模式的に説明する図である。以下、図１４、１５を参照しながら、図１４において実行される処理について説明する。

ユーザによる撮影が開始されると、ＣＰＵ１１４は、主被写体の選択・切り替え制御処理を開始し、ステップＳ７０１とステップＳ７０４の２つの処理が平行して実行される。ステップＳ７０１～Ｓ７０８は、第１の実施形態と同様の処理である。

次に、ステップＳ１４０１では、ＣＰＵ１１４は、ユーザが操作部１１５の十字キーなどの特定の操作により、ＡＦ制御対象とする主被写体の切り替えのための被写体を選択する操作を行ったか否かを判定する。ここで、被写体の選択操作とは、表示部１１３に表示された主被写体の被写体候補となる被写体を対象に、選択を切り替える操作である。本ステップでは、選択されている被写体を主被写体として決定する操作を行ったか否かは判定されず、この判定はステップＳ７０７で行われる。ユーザにより被写体の選択操作が行われたと判定された場合（Ｓ１４０１：ＹＥＳ）、処理はステップＳ１４０２に進む。また、ユーザにより被写体の選択操作が行われなかったと判定された場合（Ｓ１４０１：ＮＯ）、処理はステップＳ７１１に進む。

ステップＳ１４０２では、ＣＰＵ１１４は、ユーザによる選択操作に応じて、注目度の高い被写体から順に、主被写体の切り替えの対象の被写体候補として選択し、ユーザに被写体の選択状態を通知するための表示を行う命令を表示制御部１１２に出力する。ユーザに対する通知の表示は、例えば図１５Ｂの二重枠１４０１による表示であり、ＡＦ制御対象となっている主被写体８０１を示す太枠８０２や主被写体以外の被写体領域を示す破線枠８０６とは異なる表示である。また、図１５Ｂは、ユーザにより被写体選択操作が１回行われたときの表示部１１３の表示状態を示し、主被写体８０１以外で最も注目度の高い被写体８０３が主被写体切り替えの対象として選択されていることを示している。ステッ
プＳ１４０２で主被写体の被写体候補としての被写体の選択状態が表示された後、処理はステップＳ７１１に進む。ステップＳ７１１、Ｓ７１２は、第１の実施形態と同様の処理である。

図１５Ｄは、図１５Ｂの状態からユーザにより被写体の選択操作がさらにもう１回行われた状態である。より具体的には、ステップＳ１４０２の処理が実行されて表示部１１３の表示状態が図１５Ｂに示す状態となった後、処理がステップＳ７１１に進んで主被写体８０１に対してＡＦ制御が実行される。そして、処理がステップＳ７１２からステップＳ７０１およびＳ７０４に戻った後、ステップＳ７０１～Ｓ７０６の処理が実行されてステップＳ７０７からステップＳ１４０１に進む。そして、ユーザにより被写体の選択操作がさらにもう１回行われたことで、処理はステップＳ１４０１からステップＳ１４０２に進む。ステップＳ１４０２では、表示部１１３の表示状態が、図１５Ｄに示すように、主被写体８０１以外で被写体８０３の次に注目度が高い被写体８０５が主被写体切り替えの対象として選択された状態になる。なお、主被写体以外で現在選択表示されている被写体の次に注目度が高い被写体が存在しない場合は、主被写体以外の被写体のうち注目度が最も高い被写体が再度選択された状態となるように表示制御されてよい。図１５Ａ～図１５Ｄの例では、図１５Ｄに示すように被写体８０５が主被写体切り替えの対象として選択されている状態からユーザが被写体の選択操作をさらにもう１回行うと、表示部１１３の表示状態は図１５Ｂに示す状態に戻ることとなる。

以上説明したように、主被写体の切り替え対象の被写体候補となる被写体が、被写体ごとの注目度に基づく表示順序で選択表示されることで、注目度が高い被写体ほど主被写体の切り替え対象として優先して選択される。すなわち、表示制御部１２０は、複数の被写体のうち切り替え対象となる被写体候補を、被写体候補ごとの注目度を区別可能に表示する。これにより、主被写体の切り替え操作がユーザのボタン操作による被写体選択と決定操作でなされる場合において、主被写体の選択・切り替え操作の応答性向上が可能となり、撮影機会の損失の低減をもたらすことができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

上述の実施形態では本発明をデジタルカメラに適用する例を説明したが、本発明を適用可能な電子機器は、デジタルカメラに限られない。例えば、本発明は、パーソナルコンピュータやスマートフォン、タブレット端末、ヘッドマウントディスプレイ、スマートグラスなどにも適用可能である。また、表示する画像は、撮像装置により撮像されたものに限られない。例えば、複数のアイテム（オブジェクト）を含む画面（画像、例えばメニュー画面やデスクトップ画面）からアイテムを選択する場合にも、本発明は適用可能である。

また、例えば、第１の実施形態において、視線検出方法としてユーザがファインダを覗くことを前提とした検出方法例を説明したが、ユーザが背面パネルの表示を見ている場合の視線を検出方法としてもよい。また、主被写体切り替えの対象として主被写体以外の被写体を想定し、主被写体の注目度をゼロとして扱う形で説明したが、この限りではない。主被写体も主被写体以外の被写体と同様に扱ってもよい。

また、第３の実施形態において、主被写体の選択・切り替え操作の対象を主被写体以外の被写体とする例について説明したが、主被写体も他の被写体と同様の処理対象とすることで、主被写体を再選択するように処理が実行されてもよい。これにより、いわゆる被写体のつかみ直しの制御が可能となる。

なお、上記の各実施形態（各変形例）の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。１つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つの機能部の２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ＡＳＩＣ、ＦＰＧＡ、ＤＳＰなどのハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリ（記憶媒体）とを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。

（その他の実施形態）
本発明は、上記の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本実施形態の開示は、以下の構成および方法を含む。
（構成１）撮像手段により撮像されて表示手段に表示された画像におけるユーザの視点を検出する検出手段と、
前記画像における複数の被写体を追尾する追尾手段と、
前記ユーザの視点を基に、前記複数の被写体それぞれに対する前記ユーザの注目度を判定する判定手段と、
前記複数の被写体のいずれかを主被写体として選択する選択手段と
を有し、
前記選択手段は、前記複数の被写体それぞれの注目度に基づいて前記主被写体を選択する
ことを特徴とする電子機器。
（構成２）前記判定手段は、前記追尾手段により追尾される前記被写体の領域内に前記検出手段により検出された前記ユーザの視点が含まれる度合いを注目度として判定することを特徴とする構成１に記載の電子機器。
（構成３）前記度合いは、前記検出手段により検出された前記ユーザの視点が前記被写体の領域内に存在する画像のサンプリング数もしくは表示フレーム数、または前記検出手段により検出された前記ユーザの視点が前記被写体の領域内に所定時間留まった回数であることを特徴とする構成２に記載の電子機器。
（構成４）前記選択手段は、前記複数の被写体のうち前記注目度がより高い被写体を優先して選択することを特徴とする構成１から３のいずれか一項に記載の電子機器。
（構成５）前記選択手段は、前記複数の被写体のうち前記主被写体として選択されている被写体を除く被写体それぞれの注目度に基づいて前記主被写体を選択することを特徴とする構成１から４のいずれか一項に記載の電子機器。
（構成６）前記判定手段は、前記追尾手段により追尾される被写体が前記画像内に存在しなくなった場合に前記追尾される被写体の注目度を初期値に戻すことを特徴とする構成１から５のいずれか一項に記載の電子機器。
（構成７）前記判定手段により判定された前記複数の被写体の注目度を、数値、図形、色の少なくとも１つを用いて前記表示手段に表示する表示制御手段をさらに有することを特徴とする構成１から６のいずれか一項に記載の電子機器。
（構成８）前記ユーザによる操作を受け付けるための操作手段をさらに有し、
主被写体の切り替えが、前記画像における前記ユーザの視点による位置指定と前記操作手段が受け付けた操作とで行われる場合に、前記選択手段は、前記被写体と前記ユーザの視点との距離と、前記注目度とに基づいて、主被写体となる被写体候補を決定することを特徴とする構成１から７のいずれか一項に記載の電子機器。
（構成９）前記選択手段は、前記被写体と前記ユーザの視点との距離が前記注目度に応じて決まる閾値距離以下となる被写体を、前記被写体候補として決定することを特徴とする構成８に記載の電子機器。
（構成１０）前記操作手段によって主被写体が切り替え可能であることをユーザに通知する通知手段をさらに有することを特徴とする構成８または９に記載の電子機器。
（構成１１）前記ユーザによる操作を受け付けるための操作手段をさらに有し、
主被写体の切り替えが、前記画像における前記ユーザの視点による位置指定と前記操作手段が受け付けた操作とで行われる場合に、前記選択手段は、前記被写体と前記ユーザの視点との距離と、前記注目度とに基づいて、前記画像における前記ユーザの視点の表示位置を決定することを特徴とする構成１から７のいずれか一項に記載の電子機器。
（構成１２）前記選択手段は、前記被写体と前記ユーザの視点との距離が前記注目度に応じて決まる閾値距離以下となる被写体と重なる位置を、前記ユーザの視点の表示位置として決定することを特徴とする構成１１に記載の電子機器。
（構成１３）主被写体の切り替えが、前記ユーザの視点による位置指定と前記ユーザの視点の注視判定とで行われる場合に、前記選択手段は、前記被写体の前記注目度に基づいて、前記注視判定に用いられる注視時間を決定することを特徴とする構成１から７のいずれか一項に記載の電子機器。
（構成１４）前記ユーザによる操作を受け付けるための操作手段と、
前記複数の被写体のうち切り替え対象となる被写体候補を区別可能に表示する表示制御手段をさらに有し、
主被写体の切り替えが、前記操作手段が受け付けた操作によって行われる場合に、前記表示制御手段は、切り替え対象となる被写体候補を、前記被写体候補ごとの前記注目度を区別可能に表示することを特徴とする構成１から７のいずれか一項に記載の電子機器。
（構成１５）撮像手段により撮像されて表示手段に表示された画像における複数の被写体を選択可能に表示する表示制御手段と、
選択可能に表示された前記複数の被写体のいずれかを選択する選択手段と
を有し、
前記複数の被写体のうち、ユーザが第１の時間見た被写体よりも、前記ユーザが前記第１の時間よりも長い第２の時間見た被写体の方が前記選択手段によって選択されやすい
ことを特徴とする電子機器。
（構成１６）
撮像手段により撮像された画像を表示手段に表示する表示制御手段と、
前記表示手段に表示された画像におけるユーザの視点を検出する検出手段と、
前記複数の被写体のいずれかを主被写体として選択する選択手段と、
前記ユーザによる操作を受け付けるための操作手段と、
を有し、
前記操作手段が受け付けた操作によって前記選択手段により選択される主被写体の切り替えが可能であり、
前記表示制御手段は、前記複数の被写体のうち、第１の被写体ではなく、該第１の被写体よりユーザが長い時間見た第２の被写体を、前記主被写体の切り替え候補として区別可能に表示することを特徴とする電子機器。
（構成１７）表示手段に表示された画像におけるユーザの視点を検出する検出手段と、
前記ユーザの視点を基に、前記画像における複数のオブジェクトそれぞれに対する前記ユーザの注目度を判定する判定手段と、
前記複数のオブジェクトそれぞれの注目度に基づいてオブジェクトを選択する選択手段と、
を有することを特徴とする電子機器。
（方法１）撮像手段により撮像されて表示手段に表示された画像におけるユーザの視点を検出する検出ステップと、
前記画像における複数の被写体を追尾する追尾ステップと、
前記ユーザの視点を基に、前記複数の被写体それぞれに対する前記ユーザの注目度を判定する判定ステップと、
前記複数の被写体のいずれかを主被写体として選択する選択ステップと
を含み、
前記選択ステップは、前記複数の被写体それぞれの注目度に基づいて前記主被写体を選択する
ことを特徴とする電子機器の制御方法。
（プログラム１）コンピュータに方法１に記載の制御方法を実行させるためのプログラム。

１００ デジタルカメラ、１０４ 画像処理部、１１４ ＣＰＵ、１２０ 視線検出部、１２５ 注目度算出部

Claims (19)

1. 撮像手段により撮像されて表示手段に表示された画像におけるユーザの視点を検出する検出手段と、
   前記画像における複数の被写体を追尾する追尾手段と、
   前記ユーザの視点を基に、前記複数の被写体それぞれに対する前記ユーザの注目度を判定する判定手段と、
   前記複数の被写体のいずれかを主被写体として選択する選択手段と
   を有し、
   前記選択手段は、前記複数の被写体それぞれの注目度に基づいて前記主被写体を選択する
   ことを特徴とする電子機器。
2. 前記判定手段は、前記追尾手段により追尾される前記被写体の領域内に前記検出手段により検出された前記ユーザの視点が含まれる度合いを注目度として判定することを特徴とする請求項１に記載の電子機器。
3. 前記度合いは、前記検出手段により検出された前記ユーザの視点が前記被写体の領域内に存在する画像のサンプリング数もしくは表示フレーム数、または前記検出手段により検出された前記ユーザの視点が前記被写体の領域内に所定時間留まった回数であることを特徴とする請求項２に記載の電子機器。
4. 前記選択手段は、前記複数の被写体のうち前記注目度がより高い被写体を優先して選択することを特徴とする請求項１または２に記載の電子機器。
5. 前記選択手段は、前記複数の被写体のうち前記主被写体として選択されている被写体を除く被写体それぞれの注目度に基づいて前記主被写体を選択することを特徴とする請求項１または２に記載の電子機器。
6. 前記判定手段は、前記追尾手段により追尾される被写体が前記画像内に存在しなくなった場合に前記追尾される被写体の注目度を初期値に戻すことを特徴とする請求項１または２に記載の電子機器。
7. 前記判定手段により判定された前記複数の被写体の注目度を、数値、図形、色の少なくとも１つを用いて前記表示手段に表示する表示制御手段をさらに有することを特徴とする請求項１または２に記載の電子機器。
8. 前記ユーザによる操作を受け付けるための操作手段をさらに有し、
   主被写体の切り替えが、前記画像における前記ユーザの視点による位置指定と前記操作手段が受け付けた操作とで行われる場合に、前記選択手段は、前記被写体と前記ユーザの視点との距離と、前記注目度とに基づいて、主被写体となる被写体候補を決定することを特徴とする請求項１または２に記載の電子機器。
9. 前記選択手段は、前記被写体と前記ユーザの視点との距離が前記注目度に応じて決まる閾値距離以下となる被写体を、前記被写体候補として決定することを特徴とする請求項８に記載の電子機器。
10. 前記操作手段によって主被写体が切り替え可能であることをユーザに通知する通知手段をさらに有することを特徴とする請求項８に記載の電子機器。
11. 前記ユーザによる操作を受け付けるための操作手段をさらに有し、
    主被写体の切り替えが、前記画像における前記ユーザの視点による位置指定と前記操作手段が受け付けた操作とで行われる場合に、前記選択手段は、前記被写体と前記ユーザの視点との距離と、前記注目度とに基づいて、前記画像における前記ユーザの視点の表示位置を決定することを特徴とする請求項１または２に記載の電子機器。
12. 前記選択手段は、前記被写体と前記ユーザの視点との距離が前記注目度に応じて決まる閾値距離以下となる被写体と重なる位置を、前記ユーザの視点の表示位置として決定することを特徴とする請求項１１に記載の電子機器。
13. 主被写体の切り替えが、前記ユーザの視点による位置指定と前記ユーザの視点の注視判定とで行われる場合に、前記選択手段は、前記被写体の前記注目度に基づいて、前記注視判定に用いられる注視時間を決定することを特徴とする請求項１または２に記載の電子機器。
14. 前記ユーザによる操作を受け付けるための操作手段と、
    前記複数の被写体のうち切り替え対象となる被写体候補を区別可能に表示する表示制御手段をさらに有し、
    主被写体の切り替えが、前記操作手段が受け付けた操作によって行われる場合に、前記表示制御手段は、切り替え対象となる被写体候補を、前記被写体候補ごとの前記注目度を区別可能に表示することを特徴とする請求項１または２に記載の電子機器。
15. 撮像手段により撮像されて表示手段に表示された画像における複数の被写体を選択可能に表示する表示制御手段と、
    選択可能に表示された前記複数の被写体のいずれかを選択する選択手段と
    を有し、
    前記複数の被写体のうち、ユーザが第１の時間見た被写体よりも、前記ユーザが前記第１の時間よりも長い第２の時間見た被写体の方が前記選択手段によって選択されやすい
    ことを特徴とする電子機器。
16. 撮像手段により撮像された画像を表示手段に表示する表示制御手段と、
    前記表示手段に表示された画像におけるユーザの視点を検出する検出手段と、
    前記複数の被写体のいずれかを主被写体として選択する選択手段と、
    前記ユーザによる操作を受け付けるための操作手段と、
    を有し、
    前記操作手段が受け付けた操作によって前記選択手段により選択される主被写体の切り替えが可能であり、
    前記表示制御手段は、前記複数の被写体のうち、第１の被写体ではなく、該第１の被写体よりユーザが長い時間見た第２の被写体を、前記主被写体の切り替え候補として区別可能に表示する
    ことを特徴とする電子機器。
17. 表示手段に表示された画像におけるユーザの視点を検出する検出手段と、
    前記ユーザの視点を基に、前記画像における複数のオブジェクトそれぞれに対する前記ユーザの注目度を判定する判定手段と、
    前記複数のオブジェクトそれぞれの注目度に基づいてオブジェクトを選択する選択手段と、
    を有することを特徴とする電子機器。
18. 撮像手段により撮像されて表示手段に表示された画像におけるユーザの視点を検出する
    検出ステップと、
    前記画像における複数の被写体を追尾する追尾ステップと、
    前記ユーザの視点を基に、前記複数の被写体それぞれに対する前記ユーザの注目度を判定する判定ステップと、
    前記複数の被写体のいずれかを主被写体として選択する選択ステップと
    を含み、
    前記選択ステップは、前記複数の被写体それぞれの注目度に基づいて前記主被写体を選択する
    ことを特徴とする電子機器の制御方法。
19. コンピュータに請求項１８に記載の制御方法を実行させるためのプログラム。

Images