JP2023073758A - 電子機器、制御方法 - Google Patents
電子機器、制御方法 Download PDFInfo
- Publication number
- JP2023073758A JP2023073758A JP2021186420A JP2021186420A JP2023073758A JP 2023073758 A JP2023073758 A JP 2023073758A JP 2021186420 A JP2021186420 A JP 2021186420A JP 2021186420 A JP2021186420 A JP 2021186420A JP 2023073758 A JP2023073758 A JP 2023073758A
- Authority
- JP
- Japan
- Prior art keywords
- line
- sight
- subject
- movement
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 19
- 238000004091 panning Methods 0.000 claims abstract description 10
- 238000001514 detection method Methods 0.000 claims description 61
- 241001465754 Metazoa Species 0.000 claims description 5
- 210000005252 bulbus oculi Anatomy 0.000 description 41
- 238000003384 imaging method Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 13
- 210000001747 pupil Anatomy 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 241000282472 Canis lupus familiaris Species 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 210000004087 cornea Anatomy 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000005375 photometry Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
【課題】 注視位置の近傍に対象物の候補が複数ある場合により精度良く対象物を選択すること。【解決手段】 CPU3はユーザーの注視位置に基づいて対象物を選択する。CPU3は、対象物の移動に関する情報に基づいて対象物を選択するか否かを、対象物の種別、撮影シーン、撮影モード、パンニング速度の少なくとも1つに基づいて決定する。【選択図】 図6
Description
本発明はユーザーの視線検出に基づいた視線検出装置に関し、特に視線位置と視線の移動履歴のどちらを優先して被写体の検出を行うかの判別手段を有した視線検出装置に関する。
ユーザーが注視している対象物を特定し選択する技術が知られている。特許文献1では、カメラのファインダを覗くユーザーの注視位置に対応する被写体を選択することが開示されている。注視位置の移動履歴と被写体の移動履歴を比較して、両者に類似性がある場合には、その被写体をユーザーが注視している対象物として検出する。
特許文献1によれば、対象物が動いている場合であっても、注視による対象物の選択をより精度良く実現することができる。しかしながら、注視位置の近傍に対象物の候補が複数存在する場合が考慮されていない。このため、ユーザーが意図しない対象物を選択してしまう場合があった。
そこで、本発明は、注視位置の近傍に対象物の候補が複数ある場合により精度良く対象物を選択することができる電子機器及びその制御方法を提供することを目的とする。
上記の目的を達成するために、本発明は、ユーザーの注視位置を検出する検出手段と、前記検出手段によって検出された注視位置に基づいて対象物を選択する選択手段と、を有し、前記選択手段は、対象物の移動に関する情報に基づいて対象物を選択するか否かを、対象物の種別、撮影シーン、撮影モード、パンニング速度の少なくとも1つに基づいて決定するよう構成したことを特徴とする。
本発明によれば、注視位置の近傍に対象物の候補が複数ある場合により精度良く対象物を選択することができる。
<<実施例1>>
以下、図1~7を参照して、本発明を適用した第1の実施例について説明する。本実施例では前記視線検出機能を有する電子機器の一例である撮像装置(例えばデジタルスチルカメラ)を例として説明する。
以下、図1~7を参照して、本発明を適用した第1の実施例について説明する。本実施例では前記視線検出機能を有する電子機器の一例である撮像装置(例えばデジタルスチルカメラ)を例として説明する。
<構成の説明>
図1はデジタルスチルカメラの概略図である。1は撮影レンズで、本実施形態では便宜上1a、1bの二枚のレンズで示している。実際はさらに多数のレンズで構成されていることは周知の通りである。2は撮像素子で、デジタルスチルカメラの撮影レンズ1の予定結像面に配置されている。デジタルスチルカメラには、カメラ全体を制御するマイクロコンピュータの中央処理装置(CPU)3、撮像素子2にて撮像された画像を記録するメモリ部4が内包される。また、撮像された画像を表示するための液晶等で構成される表示素子10と、それを駆動する表示素子駆動回路11、表示素子10に表示された被写体像を観察するための接眼レンズ12が配置されている。
図1はデジタルスチルカメラの概略図である。1は撮影レンズで、本実施形態では便宜上1a、1bの二枚のレンズで示している。実際はさらに多数のレンズで構成されていることは周知の通りである。2は撮像素子で、デジタルスチルカメラの撮影レンズ1の予定結像面に配置されている。デジタルスチルカメラには、カメラ全体を制御するマイクロコンピュータの中央処理装置(CPU)3、撮像素子2にて撮像された画像を記録するメモリ部4が内包される。また、撮像された画像を表示するための液晶等で構成される表示素子10と、それを駆動する表示素子駆動回路11、表示素子10に表示された被写体像を観察するための接眼レンズ12が配置されている。
13は視線方向を検出するためにユーザーの眼球14を照明する光源で、任意の複数個の赤外発光ダイオードからなり、接眼レンズ12の周りに配置されている。照明された眼球像と光源13の角膜反射による像は接眼レンズ12を透過し、光分割器15で反射され、受光レンズ16によってCMOS等の光電素子列を2次元的に配した眼球用撮像素子17上に結像される。受光レンズ16はユーザーの眼球14の瞳孔と眼球用撮像素子17を相補的な結像関係に位置付けている。眼球用撮像素子17上に結像された眼球と光源13の角膜反射による像の位置関係から、後述する所定のアルゴリズムで視線方向を検出する。
111は撮影レンズ1内に設けた絞り、112は絞り駆動装置、113はレンズ駆動用モーター、114は駆動ギヤ等からなるレンズ駆動部材である。115はフォトカプラーであって、レンズ駆動部材114に連動するパルス板116の回転量を検知して、レンズ焦点調節回路118に伝えている。レンズ焦点調節回路118は、この回転量とカメラ側から指示されるレンズ駆動量の情報に基づいてレンズ駆動用モーター113を所定量駆動させ、撮影レンズ1aを合焦点位置に移動させるようになっている。117はカメラとレンズのインターフェイスとなるマウント接点である。
図2は前記構成のデジタルスチルカメラに内蔵された電気的構成を示すブロック図であり、図1と同一のものは同一番号をつけている。カメラ本体に内蔵されたCPU3には視線検出回路201、測光回路202、自動焦点検出回路203、信号入力回路204、表示素子駆動回路11、照明光源駆動回路205が接続されている。また、撮影レンズ内に配置された焦点調節回路118、前述の絞り駆動装置112に含まれる絞り制御回路206とは図1で示したマウント接点117を介して信号の伝達がなされる。CPU3に付随したメモリ部4は、撮像素子2および眼球用撮像素子17からの撮像信号の記憶機能を有している。
視線検出回路201は、眼球用撮像素子17からの眼球像が結像することによる出力をA/D変換し、この像情報をCPU3に送信する。CPU3は視線検出に必要な眼球像の各特徴点を後述する所定のアルゴリズムに従って抽出し、更に各特徴点の位置からユーザーの視線を算出する。
測光回路202は、測光センサの役割も兼ねる撮像素子2から得られる信号を元に、被写界の明るさに対応した輝度信号出力を増幅後、対数圧縮、A/D変換し、被写界輝度情報として、CPU3に送る。
自動焦点検出回路203は、撮像素子2のCMOSの中に含まれる、位相差検出の為に使用される複数の画素からの信号電圧をA/D変換し、CPU3に送る。CPU3は前記複数の画素の信号から、各焦点検出ポイントに対応する被写体までの距離を演算する。これは撮像面位相差AFとして知られる公知の技術である。
信号入力回路204には、レリーズボタンの第一ストロークでONし、カメラの測光、測距、視線検出動作等を開始するためのスイッチであるSW1(不図示)が接続される。また、レリーズボタンの第二ストロークでONし、レリーズ動作を開始するためのスイッチであるSW2(不図示)が接続される。前記の信号が信号入力回路204に入力され、CPU3に送信される。
照明光源駆動回路205は、照明光源13に対して適切な発光を行うための回路である。
物体検出回路207はメモリ部4に保存された撮像素子2および眼球用撮像素子17からの撮像信号に対して、人、動物、その他の特定の物体の検出を行うことができる。
図3は視線検出方法の原理説明図であり、前述の図1の視線検出をおこなうための光学系の要約図に相当する。
図3において、13a、13bはユーザーに対して不感の赤外光を放射する発光ダイオード等の光源であり、各光源は受光レンズ16の光軸に対して略対称に配置されユーザーの眼球14を照らしている。眼球14で反射した照明光の一部は受光レンズ16によって、眼球用撮像素子17に集光する。
図4(a)は眼球用撮像素子17に投影される眼球像の概略図、同図(b)は眼球用撮像素子17における出力強度図である。
図5は視線検出の概略フロールーチンを表している。
以下、図3~5を用いて、視線の検出手段を説明する。
<視線検出動作の説明>
図5において、視線検出ルーチンが開始すると、ステップS001において、光源13a、13bはユーザーの眼球14に向けて赤外光を放射する。上記赤外光によって照明されたユーザーの眼球像は、眼球用撮像素子17上に受光レンズ16を通して結像し、眼球用撮像素子17により光電変換がなされ、眼球像は電気信号として処理が可能となる。
ステップS002において上記のように眼球用撮像素子17から得られた眼球画像信号をCPU3に送る。
図5において、視線検出ルーチンが開始すると、ステップS001において、光源13a、13bはユーザーの眼球14に向けて赤外光を放射する。上記赤外光によって照明されたユーザーの眼球像は、眼球用撮像素子17上に受光レンズ16を通して結像し、眼球用撮像素子17により光電変換がなされ、眼球像は電気信号として処理が可能となる。
ステップS002において上記のように眼球用撮像素子17から得られた眼球画像信号をCPU3に送る。
ステップS003では、S002において得られた眼球画像信号の情報から、図3に示す光源13a、13bの角膜反射像Pd,Pe及び瞳孔中心cに対応する点の座標を求める。光源13a、13bより放射された赤外光はユーザーの眼球14の角膜142を照明する。このとき角膜142の表面で反射した赤外光の一部により形成される角膜反射像Pd,Peは受光レンズ16により集光され、眼球用撮像素子17上に結像する(図示の点Pd’,Pe’)。同様に瞳孔141の端部a、bからの光束も眼球用撮像素子17上に結像する。図4では、図4(a)において眼球用撮像素子17から得られる反射像の画像例を、図4(b)に上記画像例の領域αにおける、眼球用撮像素子17から得られる輝度情報例を示す。図示のように、水平方向をX軸、垂直方向をY軸とする。このとき、光源13a、13bの角膜反射像が結像した像Pd’,Pe’のX軸方向(水平方向)の座標をXd,Xeとする。また、瞳孔141の端部a、bからの光束が結像した像a’,b’のX軸方向の座標をXa、Xbとする。(b)の輝度情報例において、光源13a、13bの角膜反射像が結像した像Pd’,Pe’に相当する位置Xd,Xeでは、極端に強いレベルの輝度が得られている。瞳孔141の領域に相当する、座標XaからXbの間の領域は、上記Xd、Xeの位置を除き、極端に低いレベルの輝度が得られる。これに対し、瞳孔141の外側の光彩143の領域に相当する、Xaより低いX座標の値を持つ領域及びXbより高いX座標の値を持つ領域では、前記2種の輝度レベルの中間の値が得られる。上記X座標位置に対する輝度レベルの変動情報から、光源13a、13bの角膜反射像が結像した像Pd’,Pe’のX座標Xd,Xeと、瞳孔端の像a’,b’のX座標Xa、Xbを得ることができる。また、受光レンズ16の光軸に対する眼球14の光軸の回転角θxが小さい場合、眼球用撮像素子17上に結像する瞳孔中心cに相当する箇所(c’とする)の座標Xcは、Xc≒(Xa+Xb)/2と表すことができる。上記より、眼球用撮像素子17上に結像する瞳孔中心に相当するc’のX座標、光源13a、13bの角膜反射像Pd’,Pe’の座標を見積もることができた。
さらに、ステップS004では、眼球像の結像倍率βを算出する。βは受光レンズ16に対する眼球14の位置により決まる倍率で、実質的には角膜反射像Pd’、Pe’の間隔(Xd-Xe)の関数として求めることができる。
また、ステップS005では、角膜反射像Pd’及びPe’の中点のX座標と角膜142の曲率中心OのX座標とはほぼ一致する。このため角膜142の曲率中心Oと瞳孔141の中心cまでの標準的な距離をOcとすると、眼球14の光軸のZ-X平面内の回転角θXは、次の関係式から求めることができる。
β*Oc*SINθX≒{(Xd+Xe)/2}-Xc
β*Oc*SINθX≒{(Xd+Xe)/2}-Xc
また、図3、図4においては、ユーザーの眼球がY軸に垂直な平面内で回転する場合の回転角θXを算出する例を示しているが、ユーザーの眼球がX軸に垂直な平面内で回転する場合の回転角θyの算出方法も同様である。
前ステップにおいてユーザーの眼球14の光軸の回転角θx、θyが算出されると、ステップS006では、θx、θyを用いて、表示素子10上でユーザーの視線の位置(注視点)を求める。注視点位置を表示素子10上での瞳孔141の中心cに対応する座標(Hx,Hy)であるとして、下記の関係式によって算出することができる。
係数mは光学系の構成で定まる定数で、回転角θx、θyを表示素子10上での瞳孔141の中心cに対応する位置座標に変換する変換係数であり、あらかじめ決定されてメモリ部4に記憶されているとする。また、Ax,Bx,Ay,Byはユーザーの視線の個人差を補正する視線補正係数であり、キャリブレーション作業を行うことで取得され、視線検出ルーチンが開始する前にメモリ部4に記憶されているものとする。
上記のように表示素子10上での瞳孔141の中心cの座標(注視点位置座標)(Hx,Hy)を算出した後、ステップS007においてメモリ部4に上記座標を記憶して、視線検出ルーチンを終える。
上記は光源13a、13bの角膜反射像を利用した表示素子10上での注視点座標取得手法を示したが、それに限られるものではなく、撮像された眼球画像から眼球回転角度を取得できればこの方法に限られない。
上記視線検出ルーチンが、請求項1における視線位置検出手段に相当する。
<視線位置の履歴と被写体検出履歴による視線検出方法設定の説明>
続いて、本実施例における視線検出方法の設定について、図6を参照に述べていく。
続いて、本実施例における視線検出方法の設定について、図6を参照に述べていく。
図6(a)において、視線検出方法設定ルーチンが開始すると、ステップS101において、視線位置の検出が行われる。視線位置の検出は図5を用いて説明した視線検出ルーチンに基づいて行われる。キャリブレーション作業の後でも、明るさ等の周囲の環境やユーザーの接眼の体勢等が変化することで視線位置の検出に誤差が生じてくる。このため、ユーザーが実際に見ている視線位置と、視線検出装置が検出する視線位置には少なからず視線位置ずれが存在する。装置が検出する視線位置には同図(b)で示すような視線ポインタを表示することは一般的に行われている。
ステップS102において、任意に設定された視線検出範囲内における被写体候補が検出される。検出範囲はフレーム全体であってもよく、処理負荷を抑制したい場合は、視線位置を中心に絞り込んだ範囲に設定されても構わない。これは、図2で示した物体検出回路207の機能を用いて行われる。視線位置に基づいて人、動物、その他の特定の物体の検出を行うことができる。視線検出範囲内に被写体候補が1つである場合は、該被写体候補を視線検出する。一方、被写体候補が複数存在する場合は、それぞれの被写体候補の検出を実行し、どの被写体候補が視線検出されるべきか否かは、後述の処理に委ねる。
ステップS103において、検出された複数の被写体候補の移動履歴の測定を行う。これは、被写体候補が所定の時間に移動する移動量及び移動方向を測定し、被写体候補の動きの履歴として情報を保持する。移動履歴の取得は、いわゆる動きベクトルや動きベクトルの分布であるオプティカルフローの取得をもって行われる。ここで、動きベクトルはある画像フレーム内のある点が任意のフレーム数後にどこに移動しているかを意味し、オプティカルフローはその動きベクトルを任意の数で結合した分布であることを意味している。動きベクトルは、一般的な動画撮影で用いられる数十~数百fpsであれば、毎フレーム間での取得が好ましいが、処理負荷の低減のためにフレーム間隔を大きくしても構わない。
移動履歴として時系列的な情報を有することからオプティカルフローを取得することがより好ましい。オプティカルフローの取得には、ブロックマッチング法、勾配法、ディープラーニング法など公知の技術を用いることが可能である。オプティカルフローは、検出された被写体候補の任意の箇所を追うようにして取得してもよく、複数箇所を追うようにして取得してもよい。検出された被写体候補として特徴づけられる任意の箇所においてオプティカルフローを取得して構わない。
ステップS104において、検出された視線位置の移動履歴の測定を行う。これは、ユーザーの視線位置が所定の時間に移動する移動量及び移動方向を測定し、視線の動きの履歴として情報を保持する。視線位置は本来、被写体を捕捉しようと、被写体の移動履歴に沿うように移動する。移動履歴は、例えば、視線検出ルーチンでメモリ部4に記憶された注視点位置座標(Hx,Hy)のベクトルの計算および分布化をもって表現される。
ステップS105において、前記被写体候補の移動履歴の情報と前記視線の移動履歴の情報を比較する。比較の結果、所定度合以上に一致するオプティカルフローを有する被写体候補が画面内にあるか否かの判定を行う。一致の判定は予め設定した許容差異の度合を用いて行う。ベクトルの大きさが必ずしも一致していなくても、その軌跡の類似性等を加味して判定を行う。両者の差異が該許容差異度合の範囲内に収まる場合は一致と判断される。被写体候補が複数ある場合は、一致の度合を相対的に評価され、最も一致する被写体候補を抽出する。
ステップS106において、視線で追う被写体を確定するために、視線位置と視線の移動履歴のどちらを優先して用いるかの設定を行う。視線優先度の切り替えは、本実施例のように検出された被写体候補の識別・分類に応じて重みづけを持たせるよう設定してもよく、また、実施例2以降のように撮影のシーンやモードに応じて設定されてもよい。被写体候補と視線位置の間に視線位置ずれが存在していても、視線位置の近さや視線の移動履歴の類似性から被写体を確定して構わない。分類やシーン等に応じた視線優先度の切り替えによって、視線位置が最も近い被写体候補と視線の移動履歴が最も近い被写体候補が混在する状況であっても、視線による被写体認識の精度を高めることが可能となる。尚、本フローにおいて、意図する機能が発現する範囲であれば、各ステップの順序は特に問わない。ステップS106はステップS101より前に置いてもよく、あるいは、ステップS103の前に置いてもよい。
視線で追う被写体が確定した場合は、該被写体の座標位置において測距を行い、該領域に相当する位置の焦点検出ポイントの指標を強調表示する。これにより、視線を用いた被写体の認識および被写体への焦点距離の調整が可能となる。視線検出結果に誤差がある場合にも、ユーザーが実際に注目している被写体に焦点を合わせることが可能となり、被写体補足精度が向上する。また、前記被写体の確定時点において、視線位置と確定した被写体の間の視線位置ずれをゼロとするように視線位置座標に対してオフセット補正を施したり、視線補正係数を再キャリブレーションしても構わない。
<視線優先度の切り替え方法の説明>
続いて、本実施例における視線優先度の切り替え方法について、図7を参照に述べていく。
続いて、本実施例における視線優先度の切り替え方法について、図7を参照に述べていく。
本実施例では、視線優先度の切り替えは、被写体のクラスごとに定義された視線情報の固有値に基づいて行われる。具体的には、検出された被写体の識別・分類に応じて優先度に重みづけを持たせる形で設定する。
物体検出回路207を用いて、人、動物、その他の特定の物体の検出を行う。検出された被写体は予め教師データを用いて学習した分類器によって、人・犬・花などの各種クラスに分類される。被写体のクラスを被写体の種別とも称する。各クラスには、視線優先度の重みづけが予め設定されていて、該重みづけをもって、検出された被写体に対して視線位置を優先するのか、視線の移動履歴を優先するのか、の調整を行う。例えば、同図(a)において、犬は動き回ることが想定され、動き量が大きいものとして定義される。視線位置に対して0.3、視線の移動履歴に対して0.7の重みづけを持たせている。一方、植えられた花は基本的にその場から動かず、動き量が小さいものとして定義される。視線位置に対して0.8、視線の移動履歴に対して0.2の重みづけを持たせている。人に対しては動き量が両者の中間にあたるとして、視線位置に対して0.5、視線の移動履歴に対して0.5の重みづけを与えている。このように、クラス分類された被写体に対して、その動き量の大きさに応じて視線の移動履歴の使用優先度を与えている。尚、これら視線情報の固有値は固定されたものではなく、装置側による自動調整、あるいは、ユーザー側による手動調整等で柔軟に変更可能である。
同図(a)のように視線検出範囲で検出される被写体が犬であるならば、視線の移動履歴を優先とし、動き回る犬の軌跡に追従しやすくする。視線位置ずれが存在していても、移動履歴の類似性から視線で追う被写体を確定することができる。動きの速い被写体を視線で追う場合には、どうしても視線の追従遅れが生じ、視線位置ずれを拡大させる場合がある。移動履歴の類似性を用いるように設定することで、視線位置ずれの影響を低減し、視線による被写体検出が可能となる。反対に、視線検出範囲の被写体が花である場合は、視線位置を優先とするよう設定する。視線位置ずれが存在しても、視線位置に最も近い花を検出することで、被写体の周囲に視線が抜けてしまう状況を回避し、かつ、チラ見などによる視線のノイズの影響を低減して、被写体を安定して捕捉し続けることが可能となる。
同図(b)のように視線検出範囲に人も花も犬も混在するような場合は、視線位置が最も近い被写体候補Aと、視線の移動履歴との類似性が最も近い被写体候補Bが抽出される。Bに該当するものが無い場合はAが被写体として確定し、また、Bに該当するものが存在し、AとBが同じ場合は該被写体がそのまま確定される。残るAとBが異なる場合は、クラス分類による視線優先度の設定を用いて該当する被写体を確定しても構わない。例えば、視線位置に最も近い被写体が人であり、視線の移動履歴との類似性に最も近い被写体が犬であった場合は、クラスとして視線の移動履歴への重みづけがより高く、かつ、類似性が一致している犬を被写体であると確定して構わない。動き量の大きい被写体に対しては視線の追従遅れから視線位置ずれが大きくなる傾向があり、これを加味すれば、視線位置よりも視線の移動履歴の類似性を優先すべきケースは存在しうる。また、例えば、視線位置に最も近い被写体が人であり、視線の移動履歴との類似性に最も近い被写体が搖動する花であるとする。この場合、クラスとして視線の移動履歴への重みづけが相対的に低い花の類似性はキャンセルして、視線位置の近さを優先して人を被写体として確定して構わない。視線の移動履歴を用いることの少ないクラスに対して、移動履歴の類似性は偶発的な視線のノイズであると判断している。視線のノイズの影響を低減し、被写体を安定して捕捉したいケースとして想定される。
このように、被写体をクラス分類し、クラスに応じた視線優先度の設定を行うことで、被写体自体の視線による検出精度を高めることが可能となる。また、視線位置が最も近い被写体候補と視線の移動履歴が最も近い被写体候補が混在する状況であっても、視線による被写体検出の精度を高めることが可能となる。
<<実施例2>>
以下、図8を参照して、本発明を適用した第2の実施例による視線検出装置について説明する。本実施例では、実施例1で説明した前記視線検出装置を有する撮像装置において、その視線優先度の別の切り替え方法について説明する。
以下、図8を参照して、本発明を適用した第2の実施例による視線検出装置について説明する。本実施例では、実施例1で説明した前記視線検出装置を有する撮像装置において、その視線優先度の別の切り替え方法について説明する。
<視線優先度の別の切り替え方法の説明>
本実施例における視線優先度の切り替え方法について、図8を参照に述べていく。本実施例では、視線優先度の切り替えは、撮影シーン、撮影モード、カメラワークごとに行われる。各撮影状況に応じて、視線位置を優先するか、視線の移動履歴の類似性を優先するか、それぞれの重みづけで定義される視線情報の固有値に基づいて行われる。
本実施例における視線優先度の切り替え方法について、図8を参照に述べていく。本実施例では、視線優先度の切り替えは、撮影シーン、撮影モード、カメラワークごとに行われる。各撮影状況に応じて、視線位置を優先するか、視線の移動履歴の類似性を優先するか、それぞれの重みづけで定義される視線情報の固有値に基づいて行われる。
撮影シーンにおいては、選択するシーンに応じて視線優先度の重みづけを変更すればよい。カメラ側機能としていわゆるシーンモードが一般的に存在し、被写体やシーンに合わせてモードを選択することで、それに適した露出設定が自動で行われている。視線優先度をこの機能に紐付けして用いればよい。例えば、風景やポートレートを撮影する場合には、目的とする被写体の動き量が小さいことが想定されるため、視線位置を優先させるように設定すればよい。また、動物やスポーツシーンを撮影する場合には、目的とする被写体の動き量が大きいことが想定されるため、視線の移動履歴を優先させるように設定すればよい。
撮影モードにおいては、選択する絞り値やシャッタースピード(SS)の設定に応じて視線優先度の重みづけを変更すればよい。例えば、SS優先モードでSSを高速設定した場合は、動き量が大きい、動きが速い被写体を撮影すると想定されるため、視線の移動履歴を優先させるように設定すればよい。また、SS優先モードでSSを低速設定した場合は、動き量の小さい、動きが遅い被写体を撮影すると想定されるため、視線位置を優先させるように設定すればよい。また、絞り優先モードで絞り値(F)を高く設定した場合は、パンフォーカス撮影として、特定の被写体をフォーカスする必要がないと想定されるため、視線位置を優先させるように設定すればよい。また、絞り優先モードで絞り値(F)を低く設定した場合は、パンフォーカス撮影とは逆に、特定の被写体をフォーカスする必要があると想定されるため、視線の移動履歴を優先させるように設定すればよい。
カメラワークにおいては、例えば、カメラ側に備わるジャイロセンサ等による角速度検出等を用いて、カメラのパン(水平方向)やティルト(垂直方向)等のワークの状態を検出する。速いパンニングを伴う場合は、動き量が大きい、動きが速い被写体を撮影すると想定される。パンニング速度が速い場合には、でフレーム内における被写体の位置座標の変化に追従するため、視線の移動履歴を優先させるように動的に切り替えればよい。パンニング速度が遅い場合には、動き量が小さい、動きが遅い被写体を撮影すると想定される。この場合は、視線位置を優先させるように動的に切り替えればよい。
このように、撮影シーン、撮影モード、カメラワークに応じた視線優先度の設定を行うことで、被写体の視線による検出精度を高めることが可能となる。また、視線位置が最も近い被写体候補と視線の移動履歴が最も近い被写体候補が混在する状況であっても、視線による被写体検出の精度を高めることが可能となる。
本実施例の撮影シーン、撮影モード、カメラワークと、実施例1のクラス分類とは都度組み合わせで用いられることになる。視線優先度の設定は、該組み合わせから適宜最適なものを選択されればよい。例えば、撮影シーンが風景モードであるならば、クラス分類で動き量が大きいと判断された被写体はフォーカス対象として省いても構わない。また、撮影モードがSS優先モードで高速SS設定ならば、クラス分類で動き量が大きいと判断される被写体を検出対象としてより優先しても構わない。また、速いパン動作においては、クラス識別で動き量の大きい被写体を検出対象としてより優先しても構わない。
<<その他の実施例>>
上述の実施例では、電子機器としてデジタルスチルカメラを例に説明したが、ARグラスやHMDなど所謂xR装置全般に適用可能である。また、車載カメラやPC,タブレット、スマートフォンなど外部カメラを有する装置においても適用が可能である。
上述の実施例では、電子機器としてデジタルスチルカメラを例に説明したが、ARグラスやHMDなど所謂xR装置全般に適用可能である。また、車載カメラやPC,タブレット、スマートフォンなど外部カメラを有する装置においても適用が可能である。
本発明は、次の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
3 CPU
201 視線検出回路
201 視線検出回路
Claims (8)
- ユーザーの注視位置を検出する検出手段と、
前記検出手段によって検出された注視位置に基づいて対象物を選択する選択手段と、を有し、
前記選択手段は、対象物の移動に関する情報に基づいて対象物を選択するか否かを、対象物の種別、撮影シーン、撮影モード、パンニング速度の少なくとも1つに基づいて決定することを特徴とする電子機器。 - 前記対象物が動物の場合には対象物が人の場合と比較して、対象物の移動に基づく選択を優先することを特徴とする請求項1に記載の電子機器。
- 前記撮影シーンがスポーツである場合は、対象物の移動に基づいて対象物を選択し、前記撮影シーンがポートレートの場合は、対象物の移動によらず対象物を選択することを特徴とする請求項1又は請求項2の記載の電子機器。
- 前記パンニング速度が速い場合は、対象物の移動に基づいて対象物を選択し、前記パンニング速度が遅い場合は、対象物の移動によらず対象物を選択することを特徴とする請求項1乃至請求項3のいずれか1項に記載の電子機器。
- 前記選択手段によって選択された対象物に対応して、当該対象物が選択されたことを示す表示を行う表示手段を有することを特徴とする請求項1乃至請求項4のいずれか1項の記載の電子機器。
- 前記表示手段は、撮像された前記対象物を表示することを特徴とする請求項5に記載の電子機器。
- 前記表示手段は、ユーザーの前記表示手段における注視位置に対応する指標を表示することを特徴とする請求項1乃至請求項6のいずれか1項の記載の電子機器。
- 電子機器の制御方法であって、
ユーザーの注視位置を検出する検出ステップと、
前記検出ステップによって検出された注視位置に基づいて対象物を選択する選択ステップと、を有し、
前記選択ステップでは、対象物の移動に関する情報に基づいて対象物を選択するか否かを、対象物の種別、撮影シーン、撮影モード、パンニング速度の少なくとも1つに基づいて決定することを特徴とする電子機器の制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021186420A JP2023073758A (ja) | 2021-11-16 | 2021-11-16 | 電子機器、制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021186420A JP2023073758A (ja) | 2021-11-16 | 2021-11-16 | 電子機器、制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023073758A true JP2023073758A (ja) | 2023-05-26 |
Family
ID=86425763
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021186420A Pending JP2023073758A (ja) | 2021-11-16 | 2021-11-16 | 電子機器、制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023073758A (ja) |
-
2021
- 2021-11-16 JP JP2021186420A patent/JP2023073758A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7358530B2 (ja) | 被写体認識装置及び被写体認識装置の制御方法 | |
JP5216137B2 (ja) | カメラおよびカメラの制御方法 | |
JP2013101305A (ja) | 焦点調節装置及び焦点調節装置の制御方法 | |
JP2012500506A5 (ja) | ||
US11509816B2 (en) | Image processing apparatus, image pickup apparatus, and control method of image processing apparatus | |
US20220417420A1 (en) | System for Acquisiting Iris Image for Enlarging Iris Acquisition Range | |
US11662809B2 (en) | Image pickup apparatus configured to use line of sight for imaging control and control method thereof | |
US20230013134A1 (en) | Electronic device | |
JP2023073758A (ja) | 電子機器、制御方法 | |
US20220329740A1 (en) | Electronic apparatus, method for controlling electronic apparatus, and non-transitory computer readable storage medium | |
JPH0556924A (ja) | ビデオカメラ | |
JP2021125867A (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法、およびプログラム | |
US20230336862A1 (en) | Electronic device, control method, and non-transitory computer readable medium | |
US20230092593A1 (en) | Detection device detecting gaze point of user, control method therefor, and storage medium storing control program therefor | |
US20240085979A1 (en) | Recording device, image-capturing apparatus, control method, and recording system | |
WO2022091664A1 (ja) | 電子機器およびその制御方法 | |
JP2023074878A (ja) | 視線検出装置、視線検出装置の制御方法およびプログラム | |
US20240114228A1 (en) | Line-of-sight detecting apparatus, image pickup apparatus, line-of-sight detecting method, and storage medium | |
JP7358130B2 (ja) | 電子機器およびその制御方法 | |
US11553128B2 (en) | Image pickup control device, image pickup device, control method for image pickup device, non-transitory computer-readable storage medium | |
US20230186520A1 (en) | Gaze detection apparatus | |
JP2024003432A (ja) | 電子機器 | |
JP7446898B2 (ja) | 電子機器 | |
JP2023063023A (ja) | 電子機器及び電子機器の制御方法 | |
JP3180458B2 (ja) | 視線検出手段を有するカメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |