JP2022171056A - 視線情報取得装置、撮像装置、視線情報取得方法、およびプログラム - Google Patents
視線情報取得装置、撮像装置、視線情報取得方法、およびプログラム Download PDFInfo
- Publication number
- JP2022171056A JP2022171056A JP2021077440A JP2021077440A JP2022171056A JP 2022171056 A JP2022171056 A JP 2022171056A JP 2021077440 A JP2021077440 A JP 2021077440A JP 2021077440 A JP2021077440 A JP 2021077440A JP 2022171056 A JP2022171056 A JP 2022171056A
- Authority
- JP
- Japan
- Prior art keywords
- line
- sight
- sight information
- display
- pointer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000003384 imaging method Methods 0.000 title claims description 93
- 238000001514 detection method Methods 0.000 claims description 224
- 238000012545 processing Methods 0.000 claims description 167
- 238000012790 confirmation Methods 0.000 claims description 32
- 238000012935 Averaging Methods 0.000 claims description 31
- 230000008859 change Effects 0.000 claims description 16
- 230000002123 temporal effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 46
- 210000001747 pupil Anatomy 0.000 description 26
- 238000012805 post-processing Methods 0.000 description 25
- 238000006243 chemical reaction Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 23
- 238000007781 pre-processing Methods 0.000 description 16
- 230000000875 corresponding effect Effects 0.000 description 13
- 210000001508 eye Anatomy 0.000 description 11
- 210000005252 bulbus oculi Anatomy 0.000 description 10
- 230000000694 effects Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 8
- 210000000744 eyelid Anatomy 0.000 description 8
- 238000005259 measurement Methods 0.000 description 6
- 230000001629 suppression Effects 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 238000001454 recorded image Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 206010034960 Photophobia Diseases 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 208000013469 light sensitivity Diseases 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 229910005580 NiCd Inorganic materials 0.000 description 1
- 229910005813 NiMH Inorganic materials 0.000 description 1
- 206010034972 Photosensitivity reaction Diseases 0.000 description 1
- 241000593989 Scardinius erythrophthalmus Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 201000005111 ocular hyperemia Diseases 0.000 description 1
- 230000036211 photosensitivity Effects 0.000 description 1
- 238000001028 reflection method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Automatic Focus Adjustment (AREA)
- Exposure Control For Cameras (AREA)
Abstract
【課題】ポインタの表示設定の有無によらず、観察者がみている位置を、精度よく選択可能な視線情報を算出する。【解決手段】画像を表示する表示手段を観察する観察者の第1視線情報を取得する第1取得手段と、表示設定がオンに設定されている場合に、観察者の視線位置を示すポインタを前記表示手段に表示するポインタ表示手段と、前記第1視線情報に基づいて、第2視線情報を取得する第2取得手段と、を備え、前記第2取得手段は、前記ポインタの表示設定に応じて異なる方法で前記第2視線情報を取得する、視線情報取得装置。【選択図】図8
Description
本発明は、表示装置を観察する観察者の視線情報を取得する視線情報取得装置に関する。
ファインダ視野内を覗く撮影者の視線位置を検出することで、測距点を選択する方法が特許文献1に開示されている。特許文献1では、複数の測距点選択手段の優先度に応じて測距点選択を行うため、撮影者の意図に応じた測距点選択を実現することができる。特許文献1に記載の撮像装置は、ピント板上に光学像を形成するいわゆる光学ファインダを有している。
一方で、近年、光学ファインダを備えず、撮影光学系を通過した光束を受光する撮像素子で取得された映像を再生する表示装置として、電子ビューファインダ(EVF)を有する撮像装置が存在する。光学ファインダを有する撮像装置が、光束分割手段を有するのに対して、電子ビューファインダを有する撮像装置は、光束分割手段を必要としない為、撮影範囲内のより広い範囲で焦点検出を行ったり、被写体検出を行ったりすることができる。
電子ビューファインダを備える撮像装置に対して、特許文献1に記載の視線位置検出技術を適用する構成が考えられる。このような構成では、動画像を撮像しながら、それを観察する視線位置を検出することができる。また、同様に、VRゴーグルやPCなどに対して、視線位置検出技術を適用する構成も考えられる。このような構成では、動画像を視聴しながら、それを観察する視線位置を検出することができる。
表示装置を観察する観察者の視線位置は、当該表示装置上にポインタによって表示することが考えられる。また、このようなポインタを表示するか非表示とするか設定可能とすることも考えられる。ポインタの表示・非表示を切り替え可能な場合、次のような課題が生じる。
例えば、視線位置を検出する手段を有し、電子ビューファインダを備える撮像装置において、視線位置がポインタ表示されていれば、撮影者は、被写体にポインタが到達したことを確認してから、視線位置の確定操作を行うことができる。一方で、視線位置がリアルタイムに表示されるため、視線位置にばらつきがあると、ポインタが揺れて視認性が悪い。視認性を改善するために、過去の所定期間に得られた視線位置を用いて移動平均処理などを行うことが考えられるが、ポインタ表示の即時性が損なわれる。一方で、ポインタ非表示の場合は、撮影者は、被写体にポインタが到達したかの確認ができないため、到達する前に視線位置の確定操作が行われる可能性がある。そのため、実際に見ている位置と制御に用いる視線位置との間に時間的に遅延があると、観察者が視線を移動させた直後に見ている位置を選択する操作を行った際に、誤った位置を選択するといった不具合が生じる。なお、ここでは撮像装置を例に課題の説明をしたが、表示装置を観察する観察者の視線位置を検出して制御に利用する電子機器一般で同様の課題が生じる。
本発明は、このような従来技術の問題点を鑑みてなされたものであり、ポインタの表示設定の有無にかかわらず、観察者が観察している位置を精度よく選択可能な視線情報の算出を実現することを目的とする。
上記目的を達成するための本発明の第一態様は、画像を表示する表示手段を観察する観察者の第1視線情報を取得する第1取得手段と、表示設定がオンに設定されている場合に、観察者の視線位置を示すポインタを前記表示手段に表示するポインタ表示手段と、前記第1視線情報に基づいて、第2視線情報を取得する第2取得手段と、を備え、前記第2取得手段は、前記ポインタの表示設定に応じて異なる方法で前記第2視線情報を取得する、視線情報取得装置である。
本発明の第二態様は、画像を表示する表示手段を観察する観察者の視線情報と、前記観察者による確定操作と、に基づいて枠を表示する処理手段と、表示設定がオンに設定されている場合に、観察者の視線位置を示すポインタを前記表示手段に表示するポインタ表示手段と、を有し、前記観察者が視線位置を第1の位置から第2の位置に移動させ、視線位置が第2の位置に移動したタイミングで前記確定操作を行った場合に、前記表示設定がオフの場合の前記枠と前記第2の位置との間の距離は、前記表示設定がオンの時の前記枠と前記第2の位置との間の距離よりも小さいことを特徴とする視線情報取得装置である。
本発明の第三態様は、画像を表示する表示手段を観察する観察者の視線情報と、前記観察者による確定操作と、に基づいて枠を表示する処理手段と、表示設定がオンに設定されている場合に、観察者の視線位置を示すポインタを前記表示手段に表示するポインタ表示手段と、を有し、前記観察者が視線位置を第1の位置から第2の位置に移動させ、視線位置が第2の位置に移動してから所定時間が経過したタイミングで前記確定操作を行った場合に、前記枠と前記第2の位置との間の距離が所定値よりも少なくなるために必要な前記所定時間は、前記表示設定がオフの時の方が、前記表示設定がオンの時よりも短い、ことを特徴とする視線情報取得装置である。
本発明の第四態様は、画像を表示する表示手段を観察する観察者の視線情報と、前記観察者による確定操作と、に基づいて被写体を選択しその旨の表示を行う処理手段と、表示設定がオンに設定されている場合に、観察者の視線位置を示すポインタを前記表示手段に表示するポインタ表示手段と、を有し、被写体が選択されるために許容される、前記観察者の視線位置と被写体の位置ズレ量は、前記表示設定がオフの時の方が、前記表示設定がオンの時よりも大きい。ことを特徴とする視線情報取得装置である。
本発明の第五態様は、第1モードと第2モードを含む複数の撮像モードの中から、撮像モードを設定するための設定手段と、前記撮像モードに応じて、画像を撮像する撮像手段と、前記画像を表示する表示手段と、前記表示手段を観察する観察者の第1視線情報を取得する第1取得手段と、前記第1視線情報に基づいて、第2視線情報を取得する第2取得手段を、を備え、前記第2取得手段は、前記設定された撮像モードが前記第1モードである場合と前記第2モードである場合とで異なる方法で前記第2視線情報を取得する、撮像装置である。
本発明の第六態様は、視線情報取得装置が行う視線情報取得方法であって、画像を表示する表示手段を観察する観察者の第1視線情報を取得する第1取得ステップと、表示設定がオンに設定されている場合に、観察者の視線位置を示すポインタを前記表示手段に表示するポインタ表示ステップと、前記第1視線情報に基づいて、第2視線情報を取得する第2取得ステップと、を含み、前記第2取得ステップでは、前記ポインタの表示設定に応じ
て異なる方法で前記第2視線情報を取得する、視線情報取得方法である。
て異なる方法で前記第2視線情報を取得する、視線情報取得方法である。
本発明によれば、ポインタの表示設定の有無にかかわらず、観察者が観察している位置を精度よく選択可能な視線情報の算出が行える。
以下に、本発明の具体的な実施の形態を、添付の図面に基づいて詳細に説明する。
[撮像装置の構成の説明]
図1は、一実施形態にかかる視線情報取得装置を含む撮像装置の構成を示すブロック図である。図1において、レンズユニット150は、交換可能な撮影レンズ103を搭載するレンズユニットである。撮影レンズ103は通常、複数枚のレンズから構成されるが、ここでは簡略して一枚のレンズのみで示している。通信端子6はレンズユニット150がデジタルカメラ100側と通信を行う為の通信端子であり、通信端子10はデジタルカメラ100がレンズユニット150側と通信を行う為の通信端子である。レンズユニット150は、この通信端子6、10を介してシステム制御部50と通信し、内部のレンズシステム制御回路4によって絞り駆動回路2を介して絞り102の制御を行い、AF駆動回路3を介して撮影レンズ103の位置を変位させて焦点を合わせる。
図1は、一実施形態にかかる視線情報取得装置を含む撮像装置の構成を示すブロック図である。図1において、レンズユニット150は、交換可能な撮影レンズ103を搭載するレンズユニットである。撮影レンズ103は通常、複数枚のレンズから構成されるが、ここでは簡略して一枚のレンズのみで示している。通信端子6はレンズユニット150がデジタルカメラ100側と通信を行う為の通信端子であり、通信端子10はデジタルカメラ100がレンズユニット150側と通信を行う為の通信端子である。レンズユニット150は、この通信端子6、10を介してシステム制御部50と通信し、内部のレンズシステム制御回路4によって絞り駆動回路2を介して絞り102の制御を行い、AF駆動回路3を介して撮影レンズ103の位置を変位させて焦点を合わせる。
シャッター101は、システム制御部50の制御により撮像部22の露光時間を自由に制御できるフォーカルプレーンシャッターである。撮像部22は光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子である。A/D変換器23は、アナログ信号をデジタル信号に変換する。A/D変換器23は、撮像部22から出力されるアナログ信号をデジタル信号に変換するために用いられる。撮像部22から得られた信号は、撮像だけでなく、露出制御、焦点制御にも用いられる。
撮像部22には、1つのマイクロレンズに対して、光電変換部が分割された画素が設けられている。光電変換部を分割することにより入射瞳が分割され、それぞれの光電変換部から位相差検出信号を得ることができる。また、分割された光電変換部からの信号を加算することにより、撮像信号も得ることができる。このような画素は、焦点検出画素と撮像画素を兼用できるというメリットがある。
図2は、本実施形態にかかる画素の構成と、瞳面と光電変換部の対応関係を示している。201aおよび201bが光電変換部を、253aおよび253bが瞳面を、251がマイクロレンズを、252がカラーフィルタをそれぞれ示している。図2には、光電変換部201a(第1焦点検出画素)と、光電変換部201b(第2焦点検出画素)の2つの光電変換部201が設けられている。光電変換部201aにおいて、瞳面253aを通過した光が光電変換部201aに入射する。また、光電変換部201bにおいて、瞳面253bを通過した光が光電変換部201bに入射する。これにより、光電変換部201aと、光電変換部201bから得られた信号から焦点状態の検出(焦点検出)が行える。また、光電変換部201aと、光電変換部201bから得られた信号を加算することにより、撮像信号を生成することができる。ここでは1画素が2つの光電変換部を有する例を示したが、1画素がより多く(例えば4つ)の光電変換部を有してもよい。
本実施形態では、図2に示した画素を、撮像部22の全画面領域に設けることにより、画面上に写るいずれの被写体に対しても、位相差検出により焦点を合わせることが可能となる。なお、本実施形態では、上記の焦点検出方式で説明を行うが、焦点検出方式はこの場合に限らない。例えば、別の実施形態では、撮像部22に、後述の図3に示す焦点検出専用画素を設けて焦点検出を行ってもよい。また、撮像部22には、焦点検出用の画素を設けず、撮像用の画素のみを設け、コントラスト方式で焦点検出を行ってもよい。
図3は、別の実施形態に係る、焦点検出専用画素の構成と、瞳面と光電変換部の対応関係を示している。図3は、図2と異なり、焦点検出専用の画素である。瞳面253の形状は、開口部254により決定される。また、瞳面253を通過した光のみを検出するため、対となる画素、具体的には、図3において不図示の右側の瞳面からの光を検出する画素、を別途設けて焦点検出信号を取得する必要がある。撮像部22に、図3に示す焦点検出画素と、撮像画素を全画面領域に設けることにより、画面上に写るいずれの被写体に対しても、位相差検出により焦点を合わせることが可能となる。
画像処理部24は、A/D変換器23からのデータ、又は、メモリ制御部15からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部24では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部50が露光制御、測距制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理が行われる。画像処理部24では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理も行っている。
A/D変換器23からの出力データは、画像処理部24及びメモリ制御部15を介して、或いは、メモリ制御部15を介してメモリ32に直接書き込まれる。メモリ32は、撮像部22によって得られA/D変換器23によりデジタルデータに変換された画像データや、表示手段としての表示部28に表示するための画像データを格納する。メモリ32は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
また、メモリ32は画像表示用のメモリ(ビデオメモリ)を兼ねている。D/A変換器
19は、メモリ32に格納されている画像表示用のデータをアナログ信号に変換して表示部28に供給する。こうして、メモリ32に書き込まれた表示用の画像データはD/A変換器19を介して表示部28により表示される。表示部28は、LCD等の表示器上に、D/A変換器19からのアナログ信号に応じた表示を行う。A/D変換器23によって一度A/D変換されメモリ32に蓄積されたデジタル信号をD/A変換器19においてアナログ変換し、表示部28に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示(ライブビュー表示)を行える。表示部28は、撮像手段によって撮像された画像を表示する表示手段に相当する。なお、表示部28は、不図示の接眼部を通して覗き込む電子ビューファインダであっても、デジタルカメラ100の背面にディスプレイであってもよい。また、撮像装置100は、表示部28として、電子ビューファインダと、背面のディスプレイの両方を有してもよい。
19は、メモリ32に格納されている画像表示用のデータをアナログ信号に変換して表示部28に供給する。こうして、メモリ32に書き込まれた表示用の画像データはD/A変換器19を介して表示部28により表示される。表示部28は、LCD等の表示器上に、D/A変換器19からのアナログ信号に応じた表示を行う。A/D変換器23によって一度A/D変換されメモリ32に蓄積されたデジタル信号をD/A変換器19においてアナログ変換し、表示部28に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示(ライブビュー表示)を行える。表示部28は、撮像手段によって撮像された画像を表示する表示手段に相当する。なお、表示部28は、不図示の接眼部を通して覗き込む電子ビューファインダであっても、デジタルカメラ100の背面にディスプレイであってもよい。また、撮像装置100は、表示部28として、電子ビューファインダと、背面のディスプレイの両方を有してもよい。
不揮発性メモリ56は、電気的に消去・記録可能なメモリであり、例えばEEPROM等が用いられる。不揮発性メモリ56には、システム制御部50の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
システム制御部50は、デジタルカメラ100全体を制御する。システム制御部50は、演算プロセッサーを有しており、当該演算プロセッサーが前述した不揮発性メモリ56に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。52はシステムメモリであり、例えばRAMである。システムメモリ52には、システム制御部50の動作用の定数、変数、不揮発性メモリ56から読み出したプログラム等が格納される。また、システム制御部はメモリ32、D/A変換器19、表示部28等を制御することにより表示制御も行う。システムタイマー53は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
電源スイッチ72はデジタルカメラ100の電源のON及びOFFを切り替える操作部材である。モード切替スイッチ60、第1シャッタースイッチ62、第2シャッタースイッチ64、操作部70はシステム制御部50に各種の動作指示を入力するための操作手段である。モード切替スイッチ60は、システム制御部50の動作モードを静止画記録モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード(Avモード)、シャッター速度優先モード(Tvモード)がある。また、撮影シーン別の撮影設定となる各種シーンモード、プログラムAEモード、カスタムモード等がある。シーンモードの例として、スポーツシーン用モードまたは高速被写体撮影用モードが挙げられる。モード切り替えスイッチ60で、メニューボタンに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切り替えスイッチ60でメニューボタンに一旦切り換えた後に、メニューボタンに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
第1シャッタースイッチ62は、デジタルカメラ100に設けられたシャッターボタン61の操作途中、いわゆる半押し(撮影準備指示)でONとなり第1シャッタースイッチ信号SW1を発生する。第1シャッタースイッチ信号SW1により、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の動作を開始する。
第2シャッタースイッチ64は、シャッターボタン61の操作完了、いわゆる全押し(撮影指示)でONとなり、第2シャッタースイッチ信号SW2を発生する。システム制御部50は、第2シャッタースイッチ信号SW2により、撮像部22からの信号読み出しか
ら記録媒体200に画像データを書き込むまでの一連の撮影処理の動作を開始する。
ら記録媒体200に画像データを書き込むまでの一連の撮影処理の動作を開始する。
操作部70の各操作部材は、表示部28に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部28に表示される。利用者は、表示部28に表示されたメニュー画面と、上下左右の4方向ボタンやSETボタンとを用いて直感的に各種設定を行うことができる。
操作部70は、ユーザーからの操作を受け付ける入力部としての各種操作部材である。操作部70には、メニュー選択、モード選択、撮影した動画像の再生などを実施するための電子ボタンや十字キーなどが設けられている。
本実施形態では、操作部70の1つとして、視線入力操作部701が設けられている。視線入力操作部701は、表示部28を観察するユーザー(観察者)の視線が表示部28のいずれの箇所を見ているかを検出するための操作部材である。ユーザーは視線入力操作部701を用いて視線位置を用いた操作が可能となる。
図4は、視線入力操作部701の一例を示す。図4に示す構成は、ファインダ視野内を覗くユーザーの眼球501aの光軸の回転角を検出し、検出した回転角からユーザーの視線を検出する方式を実現する構成である。当該構成の視線入力操作部701は、イメージセンサ701a、受光レンズ701b、ダイクロイックミラー701c、接眼レンズ701d、および照明光源701eを含んで構成される。表示部28には、レンズユニット150を通して撮影されたライブビュー表示画像が表示されている。照明光源701eにより、眼球501aに赤外光が投射される。眼球501aを反射した赤外光は、ダイクロイックミラー701cで反射され、イメージセンサ701aにより撮影される。撮影された眼球画像は、不図示のA/D変換器によりデジタル信号に変換され、システム制御部50に送信される。視線情報生成手段、および、視線位置情報出力手段としてのシステム制御部50では、撮影された眼球画像から、瞳孔の領域などを抽出し、ユーザーの視線を算出する。
なお、視線入力操作部701は、この方式に限らず、ユーザーの両目を撮影し、視線を検出する方式でもよい。図5には、図4とは異なる視線入力操作部701の一例を示す。図5は、デジタルカメラ100の背面に設けられている表示部28に、レンズユニット150を通して撮影されたライブビュー表示画像が表示されている。図5では、デジタルカメラ100の背面に、表示部28を観察しているユーザーの顔500を撮影するカメラ701fが設けられている。図5において、カメラ701fが撮影する画角を点線で示している。不図示の照明光源701eからユーザーの顔に投光を行い、カメラ701fにより眼球画像を取得する。これにより、ユーザーの視線を算出する。なお、視線入力操作部701は、この方式に限らず、ユーザーが表示部28のいずれの箇所を注視しているかを検出できる構成であればよい。
電源制御部80は、電池検出回路、DC-DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部80は、その検出結果及びシステム制御部50の指示に基づいてDC-DCコンバータを制御し、必要な電圧を必要な期間、記録媒体200を含む各部へ供給する。
電源部30は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電
池、Li電池等の二次電池、ACアダプター等からなる。記録媒体I/F18は、メモリ
カードやハードディスク等の記録媒体200とのインターフェースである。記録媒体200は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
池、Li電池等の二次電池、ACアダプター等からなる。記録媒体I/F18は、メモリ
カードやハードディスク等の記録媒体200とのインターフェースである。記録媒体200は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
通信部54は、無線または優先ケーブルによって接続し、映像信号や音声信号の送受信を行う。通信部54は無線LAN(Local Area Network)やインターネットとも接続可能である。通信部54は撮像部22で撮像した画像(スルー画像を含む)や、記録媒体200に記録された画像を送信可能であり、また、外部機器から画像データやその他の各種情報を受信することができる。
姿勢検知部55は重力方向に対するデジタルカメラ100の姿勢を検知する。姿勢検知部55で検知された姿勢に基づいて、撮像部22で撮影された画像が、デジタルカメラ100を横に構えて撮影された画像であるか、縦に構えて撮影された画像なのかを判別可能である。システム制御部50は、姿勢検知部55で検知された姿勢に応じた向き情報を撮像部22で撮像された画像の画像ファイルへの付加や、画像を回転して記録することが可能である。姿勢検知部55としては、加速度センサやジャイロセンサーなどを用いることができる。
上述したデジタルカメラ100では中央1点AFや顔AFを用いた撮影が可能である。中央1点AFとは撮影画面内の中央位置1点に対してAFを行うことである。顔AFとは顔検出機能によって検出された撮影画面内の顔に対してAFを行うことである。
顔検出機能について説明する。システム制御部50は顔検出対象の画像データを画像処理部24に送る。システム制御部50の制御下で画像処理部24は、当該画像データに水平方向バンドパスフィルタを作用させる。また、システム制御部50の制御下で画像処理部24は処理された画像データに垂直方向バンドパスフィルタを作用させる。これら水平及び垂直方向のバンドパスフィルタにより、画像データよりエッジ成分が検出される。
その後、システム制御部50は、検出されたエッジ成分に関してパターンマッチングを行い、目及び鼻、口、耳の候補群を抽出する。そして、システム制御部50は、抽出された目の候補群の中から、予め設定された条件(例えば2つの目の距離、傾き等)を満たすものを、目の対と判断し、目の対があるもののみ目の候補群として絞り込む。そして、システム制御部50は、絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ(鼻、口、耳)を対応付け、また、予め設定した非顔条件フィルターを通すことで、顔を検出する。システム制御部50は、顔の検出結果に応じて上記顔情報を出力し、処理を終了する。このとき、顔の数などの特徴量をシステムメモリ52に記憶する。顔検出機能の実現方法は、上述の方法に限らず、公知の機械学習を用いた方法により、同様に、顔の数、サイズ、パーツなどを検出してもよい。また、被写体の種別として、人物の顔に限らず、動物や乗り物などを検出してもよい。
以上のようにライブビュー表示あるいは再生表示される画像データを画像解析して、画像データの特徴量を抽出して被写体情報を検出することが可能である。本実施形態では被写体情報として顔情報を例に挙げたが、被写体情報には他にも赤目判定や目の検出、目つむり検出、笑顔検出等の様々な情報がある。
なお、顔AFと同時に顔AE,顔FE、顔WBを行うことができる。顔AEとは検出された顔の明るさに合わせて、画面全体の露出を最適化することである。顔FEとは検出された顔を中心にフラッシュの調光をすることである。顔WBとは、検出された顔の色に合わせて画面全体のWBを最適化することである。
[視線検出及び撮影動作の説明]
以下、図6から図16を参照して、本実施形態における視線位置の検出処理方法について説明する。
以下、図6から図16を参照して、本実施形態における視線位置の検出処理方法について説明する。
図6は、本実施形態の撮像装置の焦点検出、視線検出及び撮影動作を説明するためのフローチャートである。図6は、撮影スタンバイ状態などのライブビュー状態(動画撮影状態)から撮影を行うライブビュー撮影時の動作を示し、システム制御部50が主体となって実現される。
S1では、システム制御部50の制御に従い、撮像部22を駆動し、撮像データを取得する。取得する撮像データは、後述する記録用ではなく、検出・表示用の画像であるため、記録画像に対してサイズの小さい画像を取得する。S1では、焦点検出や被写体検出、もしくは、ライブビュー表示を行うために十分な解像度を有する画像を取得する。ここでは、ライブビュー表示用の動画撮影のための駆動動作であるため、ライブビュー表示用のフレームレートに応じた時間の電荷蓄積と読み出しを行う、いわゆる電子シャッターを用いた撮影を行う。ここで行うライブビュー表示は、撮影者が撮影範囲や撮影条件の確認を行うためのもので、例えば、30フレーム/秒(撮影間隔33.3ms)や60フレーム/秒(撮影間隔16.6ms)であってよい。
S2で、システム制御部50は、S1で得られた撮像データのうち、焦点検出領域に含まれる第1焦点検出画素と第2焦点検出画素から得られる焦点検出データを取得する。また、システム制御部50は、第1焦点検出画素と第2焦点検出画素の出力信号を加算し撮像信号を生成し、画像処理部24で色補間処理などを適用して得られる画像データを取得する。このように、1回の撮影により、画像データと、焦点検出データとを取得することができる。なお、撮像画素と、第1焦点検出画素、第2焦点検出画素を個別の画素構成とした場合には、撮像画素から得られるデータに焦点検出用画素の補完処理などを行って画像データを取得する。
S3で、システム制御部50は、S2で得られた画像データをもとに、画像処理部24を用いてライブビュー表示用の画像を生成し、表示部28に表示する。なお、ライブビュー表示用の画像は、例えば表示部28の解像度に合わせた縮小画像であり、S2で画像データを生成する際に画像処理部24で縮小処理を実施することもできる。この場合、システム制御部50はS2で取得した画像データを表示部28に表示させる。上述の通り、ライブビュー表示中は所定のフレームレートでの撮影と表示が行われるため、表示部28を通じて撮影者は撮影時の構図や露出条件の調整などを行うことができる。 また、上述の
通り、本実施形態では、被写体として人物の顔や動物などを検出することが可能である。S3で、ライブビュー表示の開始に合わせて、検出している被写体の領域を示す枠などの表示も行う。
通り、本実施形態では、被写体として人物の顔や動物などを検出することが可能である。S3で、ライブビュー表示の開始に合わせて、検出している被写体の領域を示す枠などの表示も行う。
S4で、システム制御部50は、視線検出、および焦点検出を開始する。S4以降、視線入力操作部701により、撮影者が、表示部28上のどの位置を観察しているか(視線位置)を、撮影者が観察していた表示画像と関連付けて、所定の時間間隔で取得する。検出された視線位置には、ばらつきを抑制するための加工処理(スムージング処理)が施される。視線位置(ポインタ)の表示設定が「表示する」あるいはオンに設定されている場合、検出された視線位置を撮影者に通知するため、システム制御部50は、表示部28上の視線位置(上述した加工後の視線位置)に対応する位置または領域にポインタを表示する。視線位置の表示設定が「表示しない」あるいはオフに設定されている場合には、システム制御部50は、視線位置を表すポインタを表示部28上に表示しない。S4における視線位置の検出および加工については後述する。表示部28にポインタを表示するための
制御を行うシステム制御部50が、表示設定がオンに設定されている場合に、観察者の視線位置を示すポインタを表示部28に表示するポインタ表示手段に相当する。
制御を行うシステム制御部50が、表示設定がオンに設定されている場合に、観察者の視線位置を示すポインタを表示部28に表示するポインタ表示手段に相当する。
S5で、システム制御部50は、撮影準備開始を示す第1シャッタースイッチ62(Sw1)のオン/オフを検出する。操作部70の一つであるシャッターボタン61は、押し込み量に応じて、2段階のオン/オフを検出することが可能で、上述のSw1のオン/オフは、レリーズ(撮影トリガ)スイッチの1段階目のオン/オフに相当する。
S5でSw1のオンが検出されない(あるいはオフが検出された)場合、システム制御部50は処理をS11に進め、操作部70に含まれるメインスイッチがオフされたか否かを判別する。一方、S5でSw1のオンが検出されると、システム制御部50は処理をS6に進め、合焦させる焦点検出領域の設定、および焦点検出を行う。第1シャッタースイッチ(Sw1)62が視線位置の入力を確定する確定操作を受け付ける受付手段に相当し、システム制御部50は、確定操作を受け付けた時点での加工後視線位置を用いて、焦点検出領域を設定する。S4で検出される視線位置は、撮影者が意図する被写体の位置に対して、様々な要因で、誤差を有する。本実施形態では、検出される視線位置情報を、状況に応じて加工したり、検出タイミングの制御をしたりといった処理をすることにより、より精度の高い視線位置情報を取得する。詳細は、後述する。
S6で、システム制御部50は、後述する処理が施された視線位置情報(加工後の視線位置情報、第2視線情報)を用いて焦点検出領域を設定し、焦点検出領域に対する焦点検出処理を行う。システム制御部50は、設定された焦点検出領域を示す枠であるAF枠(焦点検出枠とも称する)を、表示部28に表示してもよい。焦点検出領域を示す表示は例えば、焦点検出領域を示す矩形の枠であり、AF枠とも呼ばれる。S6以降、視線位置情報を用いた焦点検出領域の設定と、焦点検出処理は、撮像を行うたびに、繰り返し実行される。
S6における焦点検出領域の設定の詳細は後述するものとし、まず焦点検出領域に対する焦点検出処理について説明する。焦点検出処理は、焦点検出領域における焦点のずれ量(デフォーカス量)とそのずれの向き(前後)を求める処理である。
システム制御部50は、設定された焦点検出領域に対応する焦点検出データを用いて、デフォーカス量および方向を焦点検出領域ごとに求める。本実施形態では、システム制御部50が焦点検出用の像信号の生成と、焦点検出用信号のずれ量(位相差)の算出と、算出したずれ量からデフォーカス量と方向を求める処理を実施するものとする。
システム制御部50は、設定した焦点検出領域から、焦点検出用の像信号として得られた第1焦点検出信号と第2焦点検出信号に、シェーディング補正、フィルター処理を行い、対の信号の光量差の低減と、位相差検出を行う空間周波数の信号抽出を行う。次に、システム制御部50は、フィルター処理後の第1焦点検出信号と第2焦点検出信号を相対的に瞳分割方向にシフトさせるシフト処理を行い、信号の一致度を表す相関量を算出する。
フィルター処理後のk番目の第1焦点検出信号をA(k)、第2焦点検出信号をB(k)、焦点検出領域に対応する番号kの範囲をWとする。さらに、シフト処理によるシフト量をs1、シフト量s1のシフト範囲をΓ1とすると、相関量CORは、式(1)により算出される。
シフト量s1のシフト処理により、k番目の第1焦点検出信号A(k)とk-s1番目の第2焦点検出信号B(k-s1)を対応させ減算し、シフト減算信号を生成する。生成されたシフト減算信号の絶対値を計算し、焦点検出領域に対応する範囲W内で番号kの和を取り、相関量COR(s1)を算出する。必要に応じて、各行毎に算出された相関量を、シフト量毎に、複数行に渡って加算しても良い。
次に、相関量から、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出して像ずれ量p1とする。そして、算出した像ずれ量p1に、焦点検出領域の像高と、撮像レンズ(結像光学系)のF値、射出瞳距離に応じた変換係数K1をかけて、検出デフォーカス量を検出する。
S7で、システム制御部50は、選択した焦点検出領域で検出されたデフォーカス量に基づき、焦点検出領域に焦点が合うようにレンズ駆動を行う。検出されたデフォーカス量が所定値より小さい場合には、必ずしもレンズ駆動を行う必要はない。
S8で、システム制御部50は、S1で行った検出・表示用の画像の取得とライブビュー表示、および、S6で行った焦点検出処理を行う。ライブビュー表示には、上述の通り検出された被写体領域が重畳して表示される。また、表示ポインタの表示設定が有効な場合には、加工済み視線位置情報(第2視線情報)を用いて視線位置の情報も重畳して表示する。S8で行う処理は、S7のレンズ駆動中に、並列的に行ってもよい。また、随時更新されるライブビュー表示に合わせて、得られる視線位置に対応させて、焦点検出領域を変更してもよい。
焦点検出処理を終えるとS9に進み、システム制御部50は撮影開始指示を示す第2シャッタースイッチ64(Sw2)のオン/オフを検出する。操作部70の一つであるレリーズ(撮影トリガ)スイッチは、押し込み量に応じて、2段階のオン/オフを検出することが可能で、上述のSw2は、レリーズ(撮影トリガ)スイッチの2段階目のオン/オフに相当する。システム制御部50は、S9でSw2のオンが検出されない場合、S5に戻り、Sw1のオン/オフを検出する。
S9でSw2のオンが検出されるとシステム制御部50は処理をS10に進め、画像記録を行うか否かを判定する。本実施形態では、連写中の画像取得を、記録画像用と撮像/
表示、焦点検出用で、処理を切り替える。切り替えは、交互でもよいし、例えば、3回に1回撮像/表示、焦点検出を行うなどしてもよい。これにより、単位時間当たりの撮影枚
数を、大幅に減らすことなく、高精度な焦点検出を行うができる。
表示、焦点検出用で、処理を切り替える。切り替えは、交互でもよいし、例えば、3回に1回撮像/表示、焦点検出を行うなどしてもよい。これにより、単位時間当たりの撮影枚
数を、大幅に減らすことなく、高精度な焦点検出を行うができる。
S10で画像記録を行うと判定した場合には、S300に進み、撮影サブルーチンを実行する。撮影サブルーチンの詳細については後述する。S300で撮影サブルーチンが実行されるとS9に戻り、Sw2のオンが検出される、すなわち連写指示がされているか否かを判断する。
S10で撮像/表示、焦点検出を行うと判定した場合には、S400に進み、連写中の
撮像/表示、焦点検出処理を実行する。連写中の撮像/表示、焦点検出処理は、実行する処理の内容は、S8と同じである。違いは、連写の撮影コマ速、記録画像の生成処理などに応じて、S400で撮像した画像の表示期間、表示更新レート(間隔)、表示遅延が、S8の処理の場合と異なっている点である。表示制御手段としてのシステム制御部50が、上述の表示制御を行う。本実施形態のように、連写中に、表示画像の表示期間、更新レート、表示遅延が変わった際に、撮影者の視線位置は、少なからず影響を受ける。本実施形態では、上述の表示仕様の状態や切り替わりに応じて、検出される視線位置に誤差が生じ
ることを鑑みて、適切に視線位置の加工や検出処理の制御を行う。これにより、表示仕様の変化によらず、精度の高い視線位置を取得することができる。得られた視線位置情報は、上述の通り、焦点検出領域の設定や検出された被写体領域との紐づけなどに用いる。詳細は後述する。S400で連写中の撮像/表示、焦点検出処理が実行されるとS9に戻り
、Sw2のオンが検出される、すなわち連写指示がされているか否かを判断する。
撮像/表示、焦点検出処理を実行する。連写中の撮像/表示、焦点検出処理は、実行する処理の内容は、S8と同じである。違いは、連写の撮影コマ速、記録画像の生成処理などに応じて、S400で撮像した画像の表示期間、表示更新レート(間隔)、表示遅延が、S8の処理の場合と異なっている点である。表示制御手段としてのシステム制御部50が、上述の表示制御を行う。本実施形態のように、連写中に、表示画像の表示期間、更新レート、表示遅延が変わった際に、撮影者の視線位置は、少なからず影響を受ける。本実施形態では、上述の表示仕様の状態や切り替わりに応じて、検出される視線位置に誤差が生じ
ることを鑑みて、適切に視線位置の加工や検出処理の制御を行う。これにより、表示仕様の変化によらず、精度の高い視線位置を取得することができる。得られた視線位置情報は、上述の通り、焦点検出領域の設定や検出された被写体領域との紐づけなどに用いる。詳細は後述する。S400で連写中の撮像/表示、焦点検出処理が実行されるとS9に戻り
、Sw2のオンが検出される、すなわち連写指示がされているか否かを判断する。
S5でSw1のオンが検出されず(あるいはオフが検出された)、かつ、S11でメインスイッチのオフが検出されると、焦点検出及び撮影動作を終了する。一方で、S11でメインスイッチのオフが検出されない場合には、S2に戻り、画像データ、焦点検出データの取得を行う。
次に、図7に示すフローチャートを用いて、図6のS300で実行する撮影サブルーチンの詳細について説明する。本サブルーチンの一連の動作も、システム制御部50が主体となって実現される。
S301で、システム制御部50は、露出制御処理を実行し、撮影条件(シャッタ速度、絞り値、撮影感度)を決定する。この露出制御処理は、システム制御部50が画像データの輝度情報に基づいて行うことができるが、任意の公知技術を用いることができる。本実施形態において、露出制御処理を行う際に用いる画像データを得るタイミングなどの詳細は後述する。
S301で、システム制御部50は、決定した絞り値とシャッター速度に基づいて、シャッター101の動作を制御する。また、システム制御部50により、シャッター101を通じて撮像部22が露光される期間、電荷蓄積を行わせる。
露光期間が終了すると、S302で、システム制御部50は、高画素静止画撮影のための画像読み出し、すなわち全画素の読み出しを行う。また、第1焦点検出画素、もしくは、第2焦点検出画素のいずれかの画像読み出しを行う。焦点検出画素から読みだされた信号は、画像再生時に、被写体のピント状態を検出するために用いられる。そのため、高画素静止画撮影の記録画像に対して、領域の制限や、全画素に対して低解像度にすることで、読出しデータ量を低減してもよい。第1焦点検出画素、もしくは第2焦点検出画素の信号があれば、高画素静止画撮影のための画像との差分を算出することで、もう一方の焦点検出信号を算出することができる。本実施形態では、高画素静止画撮影のための画像の信号のS/Nを優先するため、高画素静止画撮影のための画像信号と一方の焦点検出信号を読み出し、記録し、もう一方の焦点検出信号は演算により算出する。以降の画像に関する処理は、高画素静止画撮影のための画像信号と一方の焦点検出信号に対して施される。
S303で、システム制御部50は、読み出された画像データに対して画像処理部24によって欠陥画素補正処理を実施する。S304で、システム制御部50は、欠陥画素補正後の画像データに対して画像処理部24によってデモザイク(色補間)処理、ホワイトバランス処理、γ補正(階調補正)処理、色変換処理、エッジ強調処理等の画像処理や、符号化処理などを適用する。S305で、システム制御部50は、高画素静止画撮影のための画像信号と一方の焦点検出信号を画像データファイルとしてメモリ32に記録する。
S306で、システム制御部50は、S305で記録した撮影画像に対応させて、カメラ本体の特性情報をメモリ32とシステム制御部50内のメモリに記録する。ここでカメラ本体の特性情報としては、以下の様な情報が例示できる。
・撮影条件(絞り値、シャッタ速度、撮影感度など)
・画像処理部24で適用した画像処理に関する情報、
・撮像部22の撮像用画素及び焦点検出用画素の受光感度分布情報、
・カメラ本体内での撮影光束のケラレ情報、
・カメラ本体とレンズユニットとの取り付け面から撮像部22までの距離情報、
・製造誤差情報
・撮影条件(絞り値、シャッタ速度、撮影感度など)
・画像処理部24で適用した画像処理に関する情報、
・撮像部22の撮像用画素及び焦点検出用画素の受光感度分布情報、
・カメラ本体内での撮影光束のケラレ情報、
・カメラ本体とレンズユニットとの取り付け面から撮像部22までの距離情報、
・製造誤差情報
なお、撮像部22の撮像用画素及び焦点検出用画素の受光感度分布情報は、オンチップマイクロレンズMLと光電変換部PDに依存する情報であるため、これら部材に関する情報を記録しても良い。受光感度分布情報は、撮像素子から光軸上の所定の距離における位置に応じた感度の情報である。また、受光感度分布情報は、光の入射角度に対する感度の変化を情報としてもよい。
S307で、システム制御部50は、S305で記録した撮影画像に対応させて、レンズユニットの特性情報をメモリ32とシステム制御部50内のメモリに記録する。レンズユニットの特性情報としては、射出瞳の情報、枠情報、撮影時の焦点距離やFナンバー情報、収差情報、製造誤差情報、撮影時のフォーカスレンズ位置と対応付けられた被写体距離情報などが例示できる。
S308で、システム制御部50は、撮影した画像に関する画像関連情報をメモリ32とシステム制御部50内のメモリに記録する。画像関連情報には、撮影前の焦点検出動作に関する情報や、被写体移動情報、焦点検出動作の精度に関わる情報などが含まれてよい。
S309で、システム制御部50は、表示部28に、撮影画像のプレビュー表示を行う。これにより撮影者は、撮影画像の簡易的な確認を行うことができる。S309で行うプレビュー表示に用いる画像は、画像の簡易的な確認が目的であるため、S303やS304で行う各種処理を行わなくてもよい。これらの各種処理を行わない場合には、S303以降の処理と並列して、S309のプレビュー表示を行うことで、より露光から表示までのタイムラグを少なくすることができる。
S309の処理が終わると、システム制御部50はS300の撮影サブルーチンを終了し、メインルーチンのS9に処理を進める。本実施形態では、連写中は、S300の撮影サブルーチンで画像記録する場合も、S400で連写中の撮像/表示、焦点検出処理を行
う場合も、取得した画像の表示を行う。
う場合も、取得した画像の表示を行う。
(視線位置加工フロー)
次に、図8を用いて、図6のS4の視線位置検出処理の詳細、特に、検出された視線位置情報の精度を向上するための視線位置の加工処理について説明する。図8は、視線位置情報の加工処理方法を説明するためのフローチャートである。図8の処理は、図6のS4以降、システム制御部50が主体となって、並行して処理が実行される。
次に、図8を用いて、図6のS4の視線位置検出処理の詳細、特に、検出された視線位置情報の精度を向上するための視線位置の加工処理について説明する。図8は、視線位置情報の加工処理方法を説明するためのフローチャートである。図8の処理は、図6のS4以降、システム制御部50が主体となって、並行して処理が実行される。
図6のS4において視線検出が開始されると、システム制御部50は、視線入力操作部701のイメージセンサ701aによって撮影した眼球画像から、撮影者の視線位置を検出する処理を継続的に行う。視線位置の検出は、瞳孔中心とプルキニエ像の位置に基づいて行えばよい。検出された視線位置は、撮影者が観察していた表示画像と関連付けてメモリ32に記憶される。ここでは、1枚の眼画像から得られる視線位置に関する情報を「加工前視線位置情報」(第1視線情報)と称するが、後述する加工後視線位置情報との区別が明確である場合には単に視線位置情報とも称することがある。図8の処理が開始される時点で、メモリ32には加工前視線位置情報が複数格納されているものとする。
S201では、システム制御部50は、メモリ32から、直近の複数フレームにおいて検出された加工前視線位置情報を取得する。なお、メモリ32から加工前視線位置情報(
第1視線情報)を取得するシステム制御部50が、表示部28を観察する観察者の第1視線情報を取得する第1取得手段に相当する。
第1視線情報)を取得するシステム制御部50が、表示部28を観察する観察者の第1視線情報を取得する第1取得手段に相当する。
S202で、システム制御部50は、視線位置情報を取得した期間内あるいは現時点でのライブビュー設定情報を取得する。ライブビュー設定情報は、視線位置を通知するためのポインタを表示するか非表示とするかを示すポインタの表示設定情報を含む。図17(a)は、ポインタ表示設定時のライブビュー画像であり、図17(b)は、ポインタ非表示設定時のライブビュー画像である。ポインタ表示時は、ポインタPt1が、視線位置を中心に表示され、ポインタ非表示時には、ポインタPt1は表示されない。本実施形態の撮像装置では、ライブビュー設定情報(ポインタ表示設定)に応じて、撮影者が視線位置を確定するタイミングが異なり、視線位置のばらつき、および加工処理による遅延がシステム動作およびユーザーの使用感に与える影響度が異なる。そのため、本実施形態では、S201で得られた視線位置情報の加工処理の内容を、S202で取得するライブビュー設定情報に応じて切り替える。すなわち、システム制御部50は、ポインタの表示設定に応じて異なる方法で加工後視線位置情報(第2視線情報)を取得する第2取得手段に相当する。ライブビュー設定情報によって、視線位置のばらつきと、遅延の影響度が異なる原因については、後述する。
S203で、システム制御部50は、S202で取得したライブビュー設定情報が、ポインタ非表示かどうかの判定を行う。ポインタ非表示の場合にはS204へ、ポインタ表示の場合にはS205へ処理を進める。
次に、システム制御部50は、ポインタ非表示時にはS204で、S206~S208の処理で用いるパラメータである、信頼性判定閾値(Th2)、ジャンプ判定フレーム数(N2)、平均化処理フレーム数(N4)を非表示時用の値で設定する。
次に、システム制御部50は、ポインタ表示時にはS205で、S206~S208の処理で用いるパラメータである、信頼性判定閾値(Th1)、ジャンプ判定フレーム数(N1)、平均化処理フレーム数(N3)を表示時用の値で設定する。
ここで、信頼性判定閾値Th1の方が信頼性判定閾値Th2よりも小さく、ジャンプ判定フレーム数N1の方がジャンプ判定フレーム数N2よりも大きく、平均化処理フレーム数N3の方が平均化処理フレーム数N4よりも大きい。ポインタ表示時とポインタ非表示時でこのようなパラメータを採用する理由は後述する。
S206で、システム制御部50は、加工前視線位置情報の信頼性判定を行う。S206を実行するシステム制御部50が、加工前視線位置情報(第1視線情報)が信頼できるか否かを判定する第1判定手段に相当する。
検出された視線位置情報は、撮影者の瞳の生理的なばらつきや、視線を検出する検出器の検出ばらつきなどによって、撮影者が意図している位置とは異なる位置となる場合がある。そのため、視線位置情報の信頼性判定を行い、信頼性NGの視線位置情報は、S208で処理を行う視線位置情報の加工処理に用いず、信頼性OKの視線情報のみを用いて処理を行う。また、本実施形態では、ポインタの表示設定に応じて、異なる信頼性判定処理を行う。S206の信頼性判定の詳細については、後述する。
S207で、システム制御部50は、加工前視線位置情報のジャンプ判定を行う。S207を実行するシステム制御部が、加工前視線位置情報(第1視線情報)のジャンプが発生したか否かを判定する第2判定手段に相当する。
検出された視線位置が大きく変化した場合には、撮影者が意図して大きく位置を変えた場合と、上述したばらつきによって大きく位置が変わってしまった場合がある。そして、視線位置の大きな変化がどちらを原因とするものかによって、加工後の視線位置の決定方法を変えることが望ましい。そこでシステム制御部50は、複数回にわたって検出された位置情報に対して、特定フレームとの差が所定値以上かの判定を行い、所定値以上であるフレームが所定フレーム以上連続している場合に、撮影者が意図して大きく変えた(ジャンプ)したと判定する。また、本実施形態では、ポインタの表示設定に応じて、異なる判定処理を行う。S207のジャンプ判定の詳細は、後述する。
S208で、システム制御部50は、視線位置情報の加工処理を行う。S208を実行するシステム制御部50が、加工前視線位置情報(第1視線情報)に基づいて、加工後視線位置情報を取得する第2取得手段に相当する。
本実施形態における加工処理は、複数回にわたって検出された位置情報(座標)に対するスムージング処理であり、加工前位置情報の位置変動のばらつきを抑制して滑らかな位置変化となるようにする加工処理である。本実施形態では、システム制御部50は、ポインタの表示設定に応じて異なる加工処理を行う。具体的には、スムージング処理に用いる視線位置情報の個数(フレーム数)が、ポインタの表示設定に応じて異なる。また、スムージング処理に用いる視線位置情報は、S206の信頼性判定の結果、およびS207のジャンプ判定の結果によって異なる。したがって、ポインタの表示設定(S203の判定結果)に応じて、S204~S208で行われる処理が切り替わることによって、視線位置情報の加工処理の内容が異なるものとなる。S208の視線位置情報の加工処理のさらなる詳細は、後述する。
S209で、加工処理を施された視線位置情報を出力する。出力された情報は、上述の図6のS6で説明したように、焦点検出領域の設定に用いられる。S209の処理を終えると、本フローの処理を終了する。
(ばらつきと遅延の関係)
図9を用いて、図8のS202で説明したライブビュー設定情報で、視線位置のばらつきと、加工処理による遅延が、確定視線位置とユーザーの使用感に与える影響度が異なる理由について説明する。図9は、撮影中のシーンの一例を示しており、左側の人から右側の人へ撮影対象を変更し、視線を移動させている状況である。図9(a)のP1~P5は、加工前の視線位置、図9(b)のA1~A5は、加工後の視線位置を示している。加工処理は、複数フレームでの平均化処理であり、例えば、P1~P3の視線位置の平均化処理によって、A3が算出される。
図9を用いて、図8のS202で説明したライブビュー設定情報で、視線位置のばらつきと、加工処理による遅延が、確定視線位置とユーザーの使用感に与える影響度が異なる理由について説明する。図9は、撮影中のシーンの一例を示しており、左側の人から右側の人へ撮影対象を変更し、視線を移動させている状況である。図9(a)のP1~P5は、加工前の視線位置、図9(b)のA1~A5は、加工後の視線位置を示している。加工処理は、複数フレームでの平均化処理であり、例えば、P1~P3の視線位置の平均化処理によって、A3が算出される。
図9(a)の加工前の視線位置は、P1からP5で示すようにフレームごとに視線位置がばらついて、視線位置が揺れてしまい、そのまま視線位置にポインタ表示してしまうと、撮影者にとって視認性の良い表示とは言えない。このような現象は、視線位置が、固定点を注視していても生じるバラツキに加えて、動いている被写体を観察することによるバラツキがあるため、常に、人物の顔の瞳を注視し続けるということは困難で、一定の誤差ばらつきを有しているために生じる。
一方で、図9(b)の加工後の視線位置は、P1からP5に示す視線位置表示に対して、ばらつきが小さく抑制されている様子が示されている。このように加工後の視線位置は、ばらつき抑制により、揺れが小さくなるため撮影者にとって視認性の良い視線位置といえる。しかし、複数フレームの視線情報から加工後の視線位置A1~A5は算出されているため、加工前の視線位置P1からP5に対して遅延が生じる。すなわち、加工後の視線位置は、複数フレーム前の実際の視線位置を平均化して求めることにより、現時点での視
線位置よりも前の時点で見ていた位置となってしまう。
線位置よりも前の時点で見ていた位置となってしまう。
ライブビュー設定が、ポインタ表示ありである場合には、撮影者はポインタが被写体に重なったことを確認して確定操作を実行することが可能なため、遅延があっても適切に被写体を選択できる。一方、ポインタが表示されるため、視線位置がばらつくと視認性が悪い。そのため、ポインタ表示設定時には、遅延抑制よりも視認性を重視した視線位置の加工を行う。
ライブビュー設定が、ポインタ非表示の場合には、撮影者はポインタが被写体に重なったことを確認して確定操作を実行することができない。撮影者は、被写体を見たと思った時点で確定操作を実行するため、ポインタ表示の場合よりも、確定操作を実行するタイミングが早くなり、遅延の影響により被写体を選択できない場合がある。一方、ポインタが表示されないため、視線位置がばらついても視認性への影響はない。そのため、ポインタ非表示設定時には、視認性よりも遅延抑制を重視した視線位置の加工を行う。
(信頼性判定)
図10を用いて、図8のS206で説明した信頼性判定について説明する。図10の横軸は時間、縦軸は信頼性評価値である。I1~I11は、各フレームの視線情報に対する信頼性評価値である。Th1は、ライブビュー設定がポインタの表示設定がオンの時の信頼性判定閾値、Th2は、ライブビュー設定がポインタの表示設定がオフの時の信頼性判定閾値であり、Th1の方がTh2よりも小さい。
図10を用いて、図8のS206で説明した信頼性判定について説明する。図10の横軸は時間、縦軸は信頼性評価値である。I1~I11は、各フレームの視線情報に対する信頼性評価値である。Th1は、ライブビュー設定がポインタの表示設定がオンの時の信頼性判定閾値、Th2は、ライブビュー設定がポインタの表示設定がオフの時の信頼性判定閾値であり、Th1の方がTh2よりも小さい。
本実施形態において、ポインタの表示設定がオンの時の信頼性判定閾値Th1を厳格な値に設定し、ポインタの表示設定がオフ(非表示)の時には、信頼性判定閾値Th2をTh1に比べて緩い値に設定している。したがって、ポインタの表示設定がオンの時には、表示設定がオフな時よりも厳格な判定閾値を用いて、信頼性判定が行われる。図10においては、ポインタ表示時には、I5、I11が、ポインタ非表時には、I11のみが信頼性NGとなる。
ポインタの表示設定がオンの時には、表示設定がオフの時よりも厳格な信頼性判定閾値を用いる理由は次の通りである。信頼性判定閾値が厳格なほど信頼性NGと判定されるフレームが多くなる。後述するように、S208の視線位置情報の加工処理では、視線位置の加工処理において信頼性できないと判定された視線位置は用いずに、信頼できると判定された視線位置のみを用いて加工後視線位置を求める。したがって、信頼性判定閾値が厳格なほど、直近のフレームの視線位置が反映されずに加工後視線位置が求められることが増える。そのような場合には、加工処理による視線位置の遅延の影響が大きくなる。上述したように、本実施形態では、ポインタ表示時よりもポインタ非表示時の方が遅延抑制を重視した加工処理を行うので、ポインタ表示時には閾値Th1を厳しくして安定性を重視し、ポインタ非表示時には閾値Th2を緩くして遅延の影響を少なくする。
信頼性評価値について説明する。図16は、各視線の向きにおける瞳孔中心とプルキニエ像の相対関係を示した概略図である。図中で、701はプルキニエ像、702は瞳孔を示す。
一般的に視線検出センサは中央位置でキャリブレーションして使用することもあり、中央位置で最も検出精度が良く設計されている。視線位置の検出方法としては瞳孔中心とプルキニエ像の相対位置関係の変化を検出して算出する角膜反射法が一般的に知られているが、視線位置に対して検出精度が異なるといった課題がある。理由としては、プルキニエ像取得に使用する近赤外線光はレイアウトの制約から瞳孔中心に対して少しずれた場所に照射されるが、照射光は眼球の正面に対して斜入射させるため、取得されるプルキニエ像
は眼球の中心に対してずれた場所で観測されるためである。上記課題に加えて、視線検出精度の視線位置変化には異方性があるといった課題もある。これは、図16に示すように、瞳孔中心が瞼の開閉方向(上下方向)に移動する場合、瞳孔の一部が瞼に隠れることによって瞳孔中心の検出精度が低下しやすいことが一因として挙げられる。
は眼球の中心に対してずれた場所で観測されるためである。上記課題に加えて、視線検出精度の視線位置変化には異方性があるといった課題もある。これは、図16に示すように、瞳孔中心が瞼の開閉方向(上下方向)に移動する場合、瞳孔の一部が瞼に隠れることによって瞳孔中心の検出精度が低下しやすいことが一因として挙げられる。
上述は視線検出センサ起因の視線検出精度であるが、加えて、人間起因の視線検出精度に影響を与える項目として固視微動が挙げられる。こちらも視線位置に応じて変化し、個人差も大きいため、視線検出精度は個人データをキャリブレーション時に固視微動の大きさを視線位置毎で取得して対応することが好ましい。
以上により、視線位置による視線検出精度のばらつきは、視線検出センサ起因の要因と、人間起因の要因が掛け合わさって決定されることが分かる。これらを加味して高精度に視線検出を行うためには、視線検出データの信頼性に基づいて後段の視線処理方法を適正化する必要がある。
視線検出データの信頼性を取得する方法としては、対象フレームの直近の複数フレームの視線位置情報の分散(ばらつき)を計算し、その逆数を対象フレームの視線位置情報の信頼性評価値とすることが考えられる。分散が小さいほどばらつきが小さく、値が安定しており信頼度が高く、分散が大きいほどばらつきが大きく、値が不安定で信頼度が低い。そこで、分散の逆数を信頼性評価値とすることで、視線位置情報の信頼性を適切に評価できる。その他にも、焦点距離が長い程、ユーザーの手振れにより撮影中の被写体がブレてしまい、そのブレた被写体をユーザーが視線で追うと視線情報も正しく視線で追えず振動してしまうため、焦点距離を加味して信頼性を算出しても良い。具体的には、焦点距離が短い程信頼性を高く、焦点距離が長い程信頼性を低く評価すれば良い。
また、上記に加え、瞼の開き具合に応じて視線検出センサ自体から取得された視線情報の信頼性が変化する事を加味してもよい。瞼の開き具合に応じて視線情報の信頼性が変化する理由は、視線位置に応じて視線検出精度が異なる理由と類似し、瞼によって瞳孔の一部が隠れてしまうことで生じる。瞼の開き具合に応じた視線情報の信頼性の変化は、視線検出センサより取得可能である。視線検出センサで瞼の開き具合による視線情報の信頼性を得ることが出来ない場合には、別途センサより瞼の開き具合の情報を取得し、信頼性を評価しても良い。
また、複数フレームの視線位置または、瞳孔径の平均値と、現フレームの視線位置または、瞳孔径との差分を信頼性評価値としてもよい。
信頼性判定閾値は、予め測定された複数人の様々な状況での視線位置、瞳孔径に基づいて信頼性評価値を算出し、それを基に、ライブビュー設定に応じた適切な値をあらかじめ設定すればよい。
(ジャンプ判定)
図11を用いて、図8のS207で説明したジャンプ判定について説明する。図11の横軸は時間、縦軸は検出された視線位置の変化量であり、Th3は、ジャンプ判定閾値である。J1~J11は、各フレームに対する視線位置変化量である。視線位置の変化量は、基準フレームの視線位置との差分の絶対値であり、本実施形態では、基準フレームを最初のフレームとした例を示しており、J1=0となっている。なお、基準フレームは、対象フレームの所定数フレーム前のフレームとしてもよい。
図11を用いて、図8のS207で説明したジャンプ判定について説明する。図11の横軸は時間、縦軸は検出された視線位置の変化量であり、Th3は、ジャンプ判定閾値である。J1~J11は、各フレームに対する視線位置変化量である。視線位置の変化量は、基準フレームの視線位置との差分の絶対値であり、本実施形態では、基準フレームを最初のフレームとした例を示しており、J1=0となっている。なお、基準フレームは、対象フレームの所定数フレーム前のフレームとしてもよい。
ジャンプ判定処理では、基準フレームでの視線位置と現フレームでの視線位置の差分が所定の値(ジャンプ判定閾値)よりも大きいフレーム数が所定数(ジャンプ判定フレーム
数)だけ連続したときにジャンプが発生したと判定される。本実施形態では、ポインタの表示設定がオフの時のジャンプ判定フレーム数N2の方が、表示設定がオンの時のジャンプ判定フレーム数N1よりも小さい(N1>N2)。
数)だけ連続したときにジャンプが発生したと判定される。本実施形態では、ポインタの表示設定がオフの時のジャンプ判定フレーム数N2の方が、表示設定がオンの時のジャンプ判定フレーム数N1よりも小さい(N1>N2)。
S208の視線位置情報の加工処理では、ジャンプ発生よりも前の視線位置は用いずに、ジャンプが発生した直近のフレームよりも後の視線位置のみを用いて加工後視線位置情報を求める。これにより、ジャンプが発生した場合には、加工後の視線位置がジャンプ後の位置に即座に一致する。そのため、ジャンプ判定フレーム数が少ないほど、ジャンプした位置への移動の遅延が少なくなる。一方、ばらつきによる誤判定も生じやすくなるため、視認性に関しては低くなる。
図11に示すように、ポインタ表示時には、視認性を重視するため、J4~J6で、N1フレーム(3フレーム)連続して差分がジャンプ判定閾値を超えた場合に、ジャンプしたと判定し、J6に対応するフレームで、ジャンプしたと判定される。
ポインタ非表示時には、遅延を少なくするため、J4、J5でN2フレーム(2フレーム)連続して差分がジャンプ判定閾値を超えた時点で、ジャンプしたと判定し、J5に対応するフレームで、ジャンプしたと判定される。
本実施形態では、ポインタ表示時にN1フレーム(3フレーム)、ポインタ非表示時にN2フレーム(2フレーム)連続した場合に、ジャンプしたと判定したがその限りではなく、ポインタ非表示の方がポインタ表示時よりも少ないフレーム数であればよい。また、必ずしも連続したフレームでなくてもよく、所定期間内の所定割合以上が、ジャンプ判定閾値以上であれば、ジャンプしたと判定してもよい。
また、本実施形態では、差分をとる基準フレームを固定としたが、その限りではなく、現フレームより所定数フレーム前のフレームを基準フレームとしてもよい。
また、上述した信頼性NGの視線位置が含まれていた場合には、そのフレーム情報をジャンプ判定には含めず判定してもよい。この場合、連続したフレーム数での判定であれば、信頼性NGのフレームの結果は考慮せず、次のフレームが閾値を超えていれば、連続してフレームとしてカウントする。また、所定期間内の割合での判定であれば、信頼性NGのフレームは除いた割合を算出して判定するか、信頼性NGのフレームの代わりに別のフレームを含めて割合を算出し、判定する。
このように、ライブビュー設定に応じて、ジャンプ判定の閾値を切り替えることで、ポインタ表示、非表示のそれぞれで適切な視線位置情報を算出することが可能となる。
(視線位置情報の加工)
図12から図14を用いて、検出された視線位置の加工処理について説明する。図12は、ライブビュー表示画像と視線検出と加工処理のタイミングチャートの一例を示している。
図12から図14を用いて、検出された視線位置の加工処理について説明する。図12は、ライブビュー表示画像と視線検出と加工処理のタイミングチャートの一例を示している。
図12の上段は、ライブビュー表示画像の種別と表示期間を、タイミングチャート上に示している。表示する各画像を、D1からD12の添え字で示している。D1からD5は、図6のS3で開始されるライブビュー表示(LV)を示している。ライブビュー表示は、例えば、60fpsで更新されている。D5を表示している間に、第2シャッタースイッチ信号SW2のオンを検出し、図6のS10に進み、それ以降、S300で取得する記録画像(D7、D9)の表示と、S400で取得する検出・表示用画像の表示(D8,D10を交互に行う。記録画像の表示に際し、上述の通り時間を要するため、ライブビュー
表示画像D6は、表示が更新されず(フリーズ)、表示期間が延長されている。D10を表示中に、第2シャッタースイッチ信号SW2のオフを検出し、図6のS3で開始されるライブビュー表示(D11,D12)に戻っている。
表示画像D6は、表示が更新されず(フリーズ)、表示期間が延長されている。D10を表示中に、第2シャッタースイッチ信号SW2のオフを検出し、図6のS3で開始されるライブビュー表示(D11,D12)に戻っている。
図12の中段は、ポインタ表示時の視線位置の加工処理を説明する図であり、視線検出タイミング(加工前視線位置の取得タイミング)と加工後視線位置の取得タイミングを示している。図12の中段の視線検出タイミングは、上段の表示画像の表示期間、表示更新タイミングに対して、視線位置を検出するタイミングを黒丸(P1からP11)で示している。視線位置の検出は、視線入力操作部701で行われ、撮像動作と並行して、30fpsで行われていることを示している(P1からP10)。視線位置の検出は、連写中であるか否かにかかわらず、一定の検出レートで行われている。P11では、連写完了後に、視線取得タイミングを、D12の表示画像に対して、同期処理を行っているため、検出間隔(P10からP11)は、他の検出間隔と異なる。
図12の中段の加工後視線位置の取得タイミングは、ポインタ表示時の視線位置の加工後の結果(加工後視線位置情報)を取得するタイミングを示している。A1からA11のタイミングで得られる加工済視線位置情報は、N3フレーム(3フレーム)分の検出視線位置情報を用いて算出されることを示している。例えば、A4のタイミングで得られる加工済視線位置情報は、P2、P3、P4のタイミングで得られる視線位置を平均化処理した位置情報とする。上述の通り、ポインタ表示時には、視認性を重視するため、ポインタ非表示時よりも、多いフレーム数で、平均化処理などの加工処理を行う。これによって、視認性を高めることができる。
図12の下段は、ポインタ非表示時の加工処理を説明する図であり、視線検出タイミングと加工後視線位置の取得タイミングを示している。図12の下段の視線検出タイミングは、上段の表示画像の表示期間、表示更新タイミングに対して、視線位置を検出するタイミングを黒丸(P1からP11)で示している。視線位置の検出は、視線入力操作部701で行われ、撮像動作と並行して、30fpsで行われていることを示している(P1からP10)。視線位置の検出は、連写中であるか否かにかかわらず、一定の検出レートで行われている。P11では、連写完了後に、視線取得タイミングを、D12の表示画像に対して、同期処理を行っているため、検出間隔(P10からP11)は、他の検出間隔と異なる。
図12の下段の加工済み視線位置取得タイミングは、ポインタ非表示時の視線位置の加工後の結果(加工後視線位置情報)を取得するタイミングを示している。前述のポインタ表示時の視線位置情報とは異なり、N4フレーム(2フレーム)分の検出視線位置情報を用いて算出されることを示している。
例えば、B4のタイミングで得られる加工後視線位置情報は、前述のポインタ表示時の視線位置情報よりも少ないP3、P4のタイミングで得られる視線位置を平均化処理した位置情報とする。上述の通り、ポインタ非表示時には、遅延の影響を少なくすることを重視するため、ポインタ表示時よりも、少ないフレーム数で、平均化処理などの加工処理を行う。これによって、遅延の影響を少なくすることができる。
本実施形態では、システム制御部50は、複数の加工前視線位置に基づいて加工後視線位置を算出しており、ポインタの表示設定がオフの時には、表示設定がオンの時よりも少ない数の下降前視線位置を用いて加工後視線位置を算出する。本実施形態では、ポインタ表示時の平均化処理フレーム数N3が3フレームであり、非表示時の平均化処理フレーム数N2が2フレームとしているが、それぞれのフレーム数がこれらの値に限られない。ポインタ非表示の平均化処理フレーム数N4の方が、ポインタ表示時の平均化処理フレーム
数N3よりも少なければ(N3>N4)、具体的な値は特に限定されない。
数N3よりも少なければ(N3>N4)、具体的な値は特に限定されない。
図12で行う加工処理としての平均化処理は、処理に用いる視線位置情報を、単純に平均化した場合を説明したが、重みづけ加算平均処理を行ってもよい。単純な平均化処理は、使用する視線位置情報を増やすと、検出される位置情報の時間的な遅延が大きくなる。そのため、より過去の情報の重みを下げることにより、時間的な遅延が大きくなることを避けることができる。この際にも、ポインタ表示、ポインタ非表示時で、重みづけの程度や使用する位置情報の数を変更することが考えられる。
ポインタ非表示時は、より少ない位置情報を用いて、より時間的に近い情報の重みを大きくした加工処理を行うことにより、遅延の影響を少なくすることを重視することができる。一方で、ポインタ表示時は、より多い位置情報を用いて、より時間的に過去の情報の重みを大きくした加工処理を行うことにより、視認性を重視した処理を行うことができる。すなわち、システム制御部50は、ポインタの表示設定がオフの時には、表示設定がオンの時よりも、現フレームに時間的に近いフレームの加工前視線位置に対する重みを大きくして、複数の加工前視線位置を重み付け平均することで加工後視線位置を算出する。
次に、図13を用いて、S206の信頼性判定で、信頼性NGと判定された視線位置情報がある場合の例を説明する。本実施形態において、加工後視線位置は、直近の所定数フレーム(平均化処理フレーム数)の視線位置を平均化することにより求めるが、これらの視線位置のうち信頼性NGと判定された視線位置は用いずに平均化処理を行う。
図13は、図12と同様に、ライブビュー表示画像と視線検出と加工処理のタイミングチャートの一例を示している。図13のP1~P4、P6~P11、A1~A4、A8~A11は、図12と同じ図を示している。図13のP5が、信頼性NGと判定されている点と、それに伴って、A5~A7の加工後視線位置の算出方法が図12と異なる。
図13のA5~A7の加工後視線位置の算出方法について説明する。本実施形態では、加工後視線位置を算出する際に、信頼できないと判定された加工前視線位置は用いずに、信頼できると判定された加工前視線位置のみを用いて加工後視線位置を求める。図12ではP5が信頼性できると判定されていたので、A5~A7の算出に際し、P5の視線位置を含めて平均化などの加工処理を行っていたが、図13では、P5が信頼性NGと判定されているため、P5の視線位置は含めずに平均化などの加工処理を行う。具体的には、A5はP3とP4、A6はP4とP6、A7はP6とP7の平均化処理により算出する。信頼性NGの視線位置を用いて平均化すると、ばらつきにより大きくずれた位置情報を含めて処理してしまう可能性があるため、信頼性NGの視線位置は除いて処理を行う。
なお、信頼性NGの視線位置が存在すると、加工による遅延の影響が大きくなることがある。例えば、P5で信頼性NGと判定されていると、A5はP3とP4の平均として求められるため、P3からP5の全ての平均として求めた場合よりも、過去の視線位置を反映した位置となってしまう。そこで、本実施形態では、ポインタの表示設定に応じて信頼性判定閾値の値を変えて、ポインタ非表示の時には信頼性判定閾値を緩く設定することで、遅延を少なくすることを重視した処理を行っている。
次に、図14を用いて、S207のジャンプ判定で、ジャンプしたと判定された視線位置情報がある場合の例を説明する。本実施形態において、加工後視線位置は、直近の所定数フレーム(平均化処理フレーム数)の視線位置を平均化することにより求めるが、これらの視線位置のうち直近のジャンプ発生よりも前の視線位置は用いずに平均化処理を行う。
図14は、図13と同様に、ライブビュー表示画像と視線検出と加工処理のタイミングチャートの一例を示している。図14のP1~P4、P6~P11、A1~A4、A7~A11は、図12と同じ図を示している。図15のP5が、ジャンプしたと判定されている点と、それに伴って、A5、A6の加工済視線位置の算出方法が図12と異なる。
図14のA5、A6の加工済視線位置の算出方法について説明する。図12では、A5、A6の算出に際し、P5より前の時刻の視線位置を含めて平均化などの加工処理を行っていたが、図13では、P5がジャンプしたと判定されているため、P5より前の時刻の視線位置は含めずに平均化などの加工処理を行う。具体的には、A5はP5の位置をそのまま出力し、A6はP5とP6の平均化処理により算出する。ジャンプした時刻より前の視線位置を用いて平均化すると、ジャンプ前の位置に引っ張られて、即座に移動することができないため、ジャンプしたと判定された時刻より前の視線位置は除いて処理を行う。
なお、ジャンプしたと判定された時刻より後の視線位置を元いて加工後視線位置を求めることで、遅延の影響を少なくすることができる。そこで、本実施形態では、ポインタの表示設定に応じてジャンプ判定フレーム数の値を変えて、ポインタ非表示の時にはジャンプ発生と判定される条件を緩くすることで、遅延を少なくすることを重視した処理を行っている。
図12、図13、図14で説明した平均化処理や間引き処理は、広義には重み付け処理と考えることができる。処理に用いるデータ間で、均等に重み付けすると平均化処理に相当し、あるデータの重みを0にすると、間引き処理に相当する。また、上記で説明した加工処理における表示設定がオンとオフの時の相違は次のように特定することができる。すなわち、本実施形態の加工処理は、同一の時系列の加工前視線位置を処理対象とする場合に、表示設定がオンの時には、表示設定がオフの時よりも、加工後視線位置の変化がより滑らかになるように加工後視線位置を求める処理であるといえる。
また、本実施形態では、加工前視線位置を加工することにより、視線位置を求めているが、一定の広がりを有する範囲を求めてもよい。例えば、加工処理は、複数の加工前視線位置の重心を中心として、所定の大きさを有する範囲を加工後視線領域(第2視線情報)として求めてもよい。
本実施形態では、遅延の影響を受ける撮影条件が、ポインタ非表示の設定の場合の対応として説明したが、遅延の影響を受ける状況は、これに限らない。ポインタの表示設定外の動作モードに応じて、遅延の影響が少ない動作モード(第1動作モード)と、視線位置の加工による遅延の影響を少なくすべき動作モード(第2動作モード)の間で、視線位置の加工処理の内容を上記のように切り替えてもよい。上記の説明では、ポインタの表示設定がオンの場合が第1動作モードに相当し、ポインタの表示設定がオフの場合が第2動作モードに相当する。
その他の第2動作モードの一例は、高速被写体を撮影するモードであり、第1動作モードの例は第2動作モード以外のモードである。高速被写体を撮影するモードの具体例としては、スポーツ用のプリセット撮影モード、シャッター速度が閾値よりも短く設定されているシャッター速度優先モードが挙げられる。撮影者が撮影モードを、高速被写体を撮影するモードに設定している場合には、ポインタが被写体位置に到達したことを確認する前に、確定操作を行う可能性が高いと考えられる。そのような場合にも、非表示時の処理で説明したように、加工後視線位置の算出を、通常よりも遅延の影響が少なくなるような算出方法で算出することは有効である。
また、カメラ設定にて、撮影者が遅延抑制と視認性のどちらを優先するかを動作モード
として設定できるようにしておき、その設定に応じて、加工済視線位置の算出方法を変更してもよい。視認性を優先するモードが第1動作モードに相当し、遅延抑制を優先するモードが第2動作モードに相当する。またその設定は、何段階か設定可能としてもよい。
として設定できるようにしておき、その設定に応じて、加工済視線位置の算出方法を変更してもよい。視認性を優先するモードが第1動作モードに相当し、遅延抑制を優先するモードが第2動作モードに相当する。またその設定は、何段階か設定可能としてもよい。
(焦点検出領域設定)
図15を用いて、図6のS6における、視線位置情報を用いた焦点検出領域の設定について説明する。焦点検出領域は、第1シャッタースイッチ(Sw1)62を押した時点の加工後視線位置に基づいて設定される。したがって、Sw1は、焦点検出領域を設定するための視線位置の入力を確定する確定操作を受け付ける受付手段に相当する。そして、システム制御部50は、確定操作を受け付けた時点での加工後視線情報(第2視線情報)に基づいて処理を行う処理手段に相当する。
図15を用いて、図6のS6における、視線位置情報を用いた焦点検出領域の設定について説明する。焦点検出領域は、第1シャッタースイッチ(Sw1)62を押した時点の加工後視線位置に基づいて設定される。したがって、Sw1は、焦点検出領域を設定するための視線位置の入力を確定する確定操作を受け付ける受付手段に相当する。そして、システム制御部50は、確定操作を受け付けた時点での加工後視線情報(第2視線情報)に基づいて処理を行う処理手段に相当する。
図15(a)は、ポインタ表示時、図15(b)は、ポインタ非表示時の焦点検出領域の探索範囲(設定範囲)を説明する説明図である。図15(a)のR1は、ポインタ表示時の焦点検出領域の探索範囲、R2は、ポインタ非表示時の焦点検出領域の探索範囲である。Pt1は、ポインタ表示時に表示される、視線位置を示すポインタである。システム制御部50は、撮影者がSw1を押した時点の加工後視線位置(以下、確定位置とも称する)に対応する範囲を対象として、どの領域を焦点検出領域とするかを決定する。
ポインタ表示時には、上述したように、撮影者は、ポインタが被写体に到達したことを確認してから確定操作を実行する可能性が高いため、撮影者が焦点を合わせようと考える被写体位置と確定後の加工後視線位置のずれ量は、小さくなる。そのため、焦点検出領域の探索範囲は、確定位置近傍の範囲R1とする。本実施形態では、範囲R1は確定位置を中心とする半径r1の円とするが、円に限られず矩形などその他の形状であってもよい。システム制御部50は、範囲R1について測距を行い、範囲R1内で最至近のデフォーカス量を検出している測距点を焦点検出領域として設定する。本実施形態では、最至近のデフォーカス量を検出している測距点を焦点検出領域として設定したがその限りではない。範囲R1内のデフォーカス量をクラス分類して算出したデフォーカスヒストグラムの最頻クラスに属する測距点を焦点検出領域として設定してもよい。
一方、ポインタ非表示には、ポインタが表示されないので、撮影者は、被写体を見たらすぐに確定操作を実行する可能性が高いため、被写体位置と確定位置のずれ量は、大きくなりやすい。そのため、焦点検出領域の探索範囲は、確定位置がずれている可能性があることを考慮し、ポインタ表示時よりも広い範囲R2とする。本実施形態では、範囲R2は、確定位置を中心とする半径r2の円であり、半径r2は半径r1よりも大きい。すなわち、焦点検出を行う対象の範囲は、ポインタの表示設定がオフの時の方が、表示設定がオンの時よりも大きく設定される。
このように、ポインタの表示、非表示によって、焦点検出領域の設定範囲を切り替えることで、確定位置のずれ易さを考慮した焦点検出領域の設定が可能となる。
また、焦点検出領域は、視線位置情報によって検出された被写体領域に設定してもよい。この場合は、上述した焦点検出領域の探索範囲の代わりに、被写体検出領域の探索範囲を、ポインタの表示、非表示によって、切り替えてもよい。この場合、ポインタ表示時は、範囲R1内にある被写体のみを検出し、検出された場合には、被写体検出領域を焦点検出領域に設定する。ポインタ非表示時は、範囲R1を範囲R2として同様の処理を行う。このように、ポインタの表示、非表示によって、被写体検出領域の探索範囲を切り替えることで、確定位置のずれ易さを考慮した被写体検出領域の設定が可能となる。
(動作例)
本実施形態に係る撮像装置の動作を具体例に即して説明する。
本実施形態に係る撮像装置の動作を具体例に即して説明する。
図18は、第一の動作例を説明する図である。本動作例では撮影者の視線位置と確定操作に基づく位置にAF枠を表示する例を説明する。本動作例では、被写体検出がオフ(無効)の場合や、被写体検出がオン(有効)であっても検出できる被写体が存在しない場合を想定する。この場合、確定操作がされた時点の視線位置に基づいて設定される領域は焦点検出領域であり、表示部28には、焦点検出領域を示すAF枠(焦点検出枠)が表示される。
符号200は、表示部28の表示領域を示す。撮影者は視線位置を位置Aから位置Bに移動させ、視線位置が位置Bまで移動したタイミングで確定操作(Sw1)を行う。システム制御部50は、確定操作に応答して、確定操作が行われタイミングの加工後視線位置に基づいて、焦点検出領域の設定を行い、設定された焦点検出領域を示すAF枠を表示部28に表示する。ここでは、被写体検出がオフであるか、オンであっても検出できる被写体が存在しないことを想定しているので、加工後視線位置を中心とした位置にAF枠が設定される。符号201は、ポインタ表示がオンの時に表示されるAF枠を示し、符号202は、ポインタ表示がオフの時に表示されるAF枠を示す。図示のように、ポインタの表示設定がオフの時のAF枠202と位置Bの間の距離d2の方が、ポインタの表示設定がオンの時のAF枠201と位置Bの間の距離d1よりも小さい。すなわち、AF枠202の方がAF枠201よりも位置Bに近くに表示される。
ここで、AF枠202の方がAF枠201よりも位置Bに近くに表示されるのは、主に、ポインタ非表示時の平均化処理フレーム数N4がポインタ表示時の平均化処理フレーム数N3よりも小さいことに起因する。ここでは、信頼性判定はいずれも信頼性ありと判定され、ジャンプ判定ではいずれもジャンプ発生なしと判定されていないことを想定している。ポインタ非表示時の方が、より直近のフレームにおける加工前視線位置に基づいて加工後視線位置を求めているので、確定操作をしたタイミングで、実際の視線位置と加工後視線位置の誤差が小さくなる。このように、ポインタ非表示時には、視線位置の加工処理において遅延の影響が少なくなる。
なお、撮影者が視線位置を位置Aから位置Bに移動させる移動速度を途中で速くした場合には、一定速度で移動させた場合よりもd1とd2の差分が大きくなる。より具体的には、撮影者が視線位置を位置Aから位置Bに移動させる速度が第1の速度(略一定速)である場合と、撮影者が視線位置を位置Aから位置Bに第1の速度で開始し、第1の速度よりも速い第2の速度に変更した場合と比較すると、後者の場合は前者の場合と比較してd1とd2との差分が大きくなる。これは、ポインタ非表示時の平均化処理フレーム数N4がポインタ表示時の平均化処理フレーム数N3よりも小さいことに起因する。第1の速度から第2の速度への変更は、徐々に行われてもよいし、瞬時に切り替えられてもよいし、段階的に切り替えられてもよいし、これらの組合せであってもよい。
図19は、第二の動作例を説明する図である。
上記では、位置Bに視線移動した直後に撮影者が確定操作を行っているが、ここでは、位置Bに視線移動してから時間tだけ経過してから確定操作を行う。図19(a)、図19(b)は、時間tと、焦点検出領域(AF枠)と位置Bとの誤差の関係を示すグラフである。
図19(a)は、ジャンプ判定がされない程度の視線移動速度で視線位置を位置Aから位置Bに移動させた場合の例を示す。グラフ203はポインタ表示時の時間tと誤算の関係を示し、グラフ204はポインタ非表示時の時間tと誤差の関係を示す。上述したよう
に、位置Bへ視線移動した直後に確定操作した場合(t=0の場合)、ポインタ非表示時の方が、ポインタ表示時よりも誤差が少ない。そして、誤差が0となる、あるいは所定値以内となるまでに要する時間も、ポインタ非表示時の方が、ポインタ表示時よりも短い。これは、平均化処理フレーム数が、ポインタ非表示時の時の方がポインタ表示時よりも小さいことに起因する。
に、位置Bへ視線移動した直後に確定操作した場合(t=0の場合)、ポインタ非表示時の方が、ポインタ表示時よりも誤差が少ない。そして、誤差が0となる、あるいは所定値以内となるまでに要する時間も、ポインタ非表示時の方が、ポインタ表示時よりも短い。これは、平均化処理フレーム数が、ポインタ非表示時の時の方がポインタ表示時よりも小さいことに起因する。
図19(b)は、位置Aから位置Bまで一気に(ジャンプ判定される程度の視線移動速度で)視線移動させた場合の例を示す。ポインタ表示時のグラフ205およびポインタ非表示時のグラフ206ともに、経過時間が短い間は図19(a)と同様であるが、ジャンプ判定がされたタイミングで誤差が小さく(ほぼ0)になる。そして、誤差が小さくなる経過時間tは、ポインタ非表示の時の方がポインタ非表示の時よりも短くなる。これは、ポインタ非表示時のジャンプ判定フレーム数N2がポインタ表示時のジャンプ判定フレーム数N1よりも小さいことに起因する。
なお、上記の第一の動作例と第二の動作例では、位置B近傍には全体的に同じ距離に被写体が存在しており、焦点検出領域(AF枠)が確定操作時の加工後視線位置とずれない環境を想定している。
第三の動作例は、本動作例では被写体検出に関し、撮影者の視線位置と確定操作に基づく位置から被写体を選択しその旨の表示を行う。より具体的には、視線位置の周辺から被写体を検出して、検出された被写体領域を示す枠を表示部に表示する。ここでは、比較的小さな被写体が存在している状況で、被写体位置から離れた位置に視線を合わせることを想定する。視線位置が被写体位置から離れているので、実際に被写体が存在する領域を被写体領域として検出できるか否かは、視線位置と被写体位置との間の距離に依存する。
例えば、視線位置と被写体位置の間の距離dを変えながら、被写体領域を正しく検出できたか否か判定すると、被写体領域を正しく検出できる最大の距離(位置ズレ量)が求められる。本実施形態では、ポインタ非表示の時の方が、ポインタ表示の時よりも、実際に被写体が存在する領域が被写体領域として正しく検出(選択)されるために許容される位置ズレ量の最大値が大きい。これは、ポインタ非表示の時の方が、ポインタ表示の時よりも、被写体検出領域の探索範囲を大きく設定して被写体検出が行われるためである。なお、視線位置とこの被写体の位置ズレ量が、被写体領域が正しく検出されるために許容される位置ズレ量の最大値を超えた場合には、第一の動作例で説明したように撮影者の視線位置と確定操作に基づく位置にAF枠を表示する。
第4の動作例では、視線位置の周辺から焦点検出領域を設定し、焦点検出領域から合焦位置を決定する動作に関する。ここでは、比較的小さな被写体が存在している状況で、撮影者が合焦させたい位置(狙い位置)から離れた位置に視線を合わせることを想定する。なお、合焦位置が被写体の最至近位置として決定される場合には、狙い位置は被写体の最至近位置とするのがよい。視線位置が狙い位置から離れているので、実際に狙い位置に焦点が合うか否かは、視線位置と狙い位置との間の距離に依存する。
例えば、視線位置と狙い位置の間の距離dを変えながら、狙い位置に焦点が合ったか否か判定すると、狙い位置に焦点を合わせられる最大の距離(位置ズレ量)が求められる。本実施形態では、ポインタ非表示の時の方が、ポインタ表示の時よりも、狙い位置に合焦するために許容される位置ズレ量の最大値が大きいことが分かる。これは、ポインタ非表示の時の方が、ポインタ表示の時よりも、焦点検出領域の探索範囲(測距領域)を大きく設定して焦点検出が行われるためである。
(変型例)
上記の実施形態では、信頼性判定閾値、ジャンプ判定フレーム数、平均化処理フレーム数の全てが、ポインタの表示設定がオンの時とオフの時とで異なっている。しかしながら、他の実施形態では、信頼性判定閾値、ジャンプ判定フレーム数、平均化処理フレーム数のうちのいずれか1つまたは2つのみが、表示設定がオンの時とオフの時とで異なっていてもよい。また、ポインタの表示設定がオンの時には加工後視線位置がより滑らかになり、ポインタの表示設定がオフの時には加工処理による遅延の影響が少なくなる限り、表示設定がオンとオフの場合で加工処理を異ならせる具体的方法は特に限定されない。
上記の実施形態では、信頼性判定閾値、ジャンプ判定フレーム数、平均化処理フレーム数の全てが、ポインタの表示設定がオンの時とオフの時とで異なっている。しかしながら、他の実施形態では、信頼性判定閾値、ジャンプ判定フレーム数、平均化処理フレーム数のうちのいずれか1つまたは2つのみが、表示設定がオンの時とオフの時とで異なっていてもよい。また、ポインタの表示設定がオンの時には加工後視線位置がより滑らかになり、ポインタの表示設定がオフの時には加工処理による遅延の影響が少なくなる限り、表示設定がオンとオフの場合で加工処理を異ならせる具体的方法は特に限定されない。
また、上記の実施形態では、焦点検出領域または被写体検出領域の中心位置は、撮影者が確定操作を行ったタイミングで取得された加工後の視線位置に設定したが、確定操作後の視線位置を用いて得られた加工後の視線位置に設定してもよい。例えば、ポインタ非表示時には、遅延の影響を考慮し、確定操作が行われたタイミングから所定時間後のタイミングで取得された加工後の視線位置を、焦点検出領域または被写体検出領域の中心位置に設定してもよい。このように、所定時間後のタイミングの視線情報に基づいて、焦点検出領域、被写体検出領域を設定することで、加工処理による遅延の影響を軽減することができる。
上記の説明では、焦点検出領域(測距領域)および被写体検出領域は、加工後視線位置(第2視線情報)に基づいて決定されるように説明したが、これらの領域は、複数の加工前視線位置(第1視線情報)に基づいて決定されると捉えることもできる。言い換えると、焦点検出領域および被写体検出領域を、複数の加工前視線位置(第1視線情報)から決定される領域(第2視線情報)と捉えることもできる。
(他の電子機器への適用例)
本発明は、視線検出を行い視線位置に応じた処理を行う装置であれば、任意の装置に適用可能である。特に、視線位置を表すポインタの表示のオンオフを設定可能であり、キー操作やボタン操作などの確定操作における視線位置に対応する画像の領域に対して処理を施す装置であれば特に限定されない。
本発明は、視線検出を行い視線位置に応じた処理を行う装置であれば、任意の装置に適用可能である。特に、視線位置を表すポインタの表示のオンオフを設定可能であり、キー操作やボタン操作などの確定操作における視線位置に対応する画像の領域に対して処理を施す装置であれば特に限定されない。
図20(a)は、本発明を適用したノート型パーソナルコンピュータ910(ノートPC)の外観図である。図20(a)では、ノートPC910の表示部911を見るユーザーを撮像する撮像ユニット915がノートPC910に接続されており、ノートPC910は撮像ユニット915から撮像結果を取得する。そして、ノートPC910は、撮像結果に基づいてユーザーの視線を検知し、表示部911に表示した画面の読了結果に応じて画面表示の変更を行う。なお、本発明を適用した電子機器は、視線検知の結果を視線入力として受け付けるインターフェースを有していればよく、外部機器で視線検知が行われてもよい。つまり、撮像ユニット915が視線検知を行い、ノートPC910が撮像ユニット915から視線検知の結果を取得してもよい。
図20(b)は、本発明を適用したスマートフォン920の外観図である。図20(b)では、スマートフォン920は、インカメラ921(フロントカメラ)の撮像結果に基づいてユーザーの視線を検知し、表示部922に表示した画面の読了結果に応じて画面表示の変更を行う。
図20(c)は、本発明を適用したゲーム機930の外観図である。図20(c)では、ゲームのVR(Virtual Reality)画像を表示するヘッドマウントディスプレイ935(HMD)が、ゲーム機930に接続されている。HMD935は、HMD935を装着したユーザーの目を撮像するカメラ937を有しており、ゲーム機930は、HMD935から撮像結果を取得する。そして、ゲーム機930は、撮像結果に基づいてユーザーの視線を検知し、HMD935の表示部936に表示した画面(VR画像の
一部)の読了結果に応じて、画面表示の変更を行う。HMDに表示する画面の変更に本発明が適用可能であるのと同様に、眼鏡型のウェアラブル端末のレンズ部分などに表示する画面(AR(Augmented Reality)画像の一部)の変更にも本発明は適用可能である。
一部)の読了結果に応じて、画面表示の変更を行う。HMDに表示する画面の変更に本発明が適用可能であるのと同様に、眼鏡型のウェアラブル端末のレンズ部分などに表示する画面(AR(Augmented Reality)画像の一部)の変更にも本発明は適用可能である。
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100:撮像装置 28:表示部 50:システム制御部 700:視線入力操作部
Claims (27)
- 画像を表示する表示手段を観察する観察者の第1視線情報を取得する第1取得手段と、
表示設定がオンに設定されている場合に、観察者の視線位置を示すポインタを前記表示手段に表示するポインタ表示手段と、
前記第1視線情報に基づいて、第2視線情報を取得する第2取得手段と、
を備え、
前記第2取得手段は、前記ポインタの表示設定に応じて異なる方法で前記第2視線情報を取得する、
視線情報取得装置。 - 前記第2取得手段は、複数の第1視線情報を用いて前記第2視線情報を算出するものであり、前記表示設定がオフの時には、前記表示設定がオンの時よりも少ない数の前記第1視線情報を用いて前記第2視線情報を算出する、
請求項1に記載の視線情報取得装置。 - 前記第2取得手段は、複数の第1視線情報を重み付け平均することで前記第2視線情報を算出するものであり、前記表示設定がオフの時には、前記表示設定がオンの時よりも、時間的に近い前記第1視線情報に対する重みを大きくする、
請求項1に記載の視線情報取得装置。 - 前記第2取得手段は、前記表示設定がオンの時には、前記表示設定がオフの時よりも、前記第2視線情報の時間的な変化が滑らかになるように前記第2視線情報を取得する、
請求項1に記載の視線情報取得装置。 - 前記第1視線情報が信頼できるか否かを判定する第1判定手段をさらに有し、
前記第2取得手段は、信頼できると判定された前記第1視線情報を用いて前記第2視線情報を取得し、
前記第1判定手段は、前記表示設定がオンの時には、前記表示設定がオフの時よりも厳格な判定閾値を用いて前記判定を行う、
請求項1から4のいずれか1項に記載の視線情報取得装置。 - 前記第1視線情報のジャンプが発生したか否かを判定する第2判定手段をさらに有し、
前記第2取得手段は、ジャンプが発生した直近のフレームよりも後の前記第1視線情報を用いて、前記第2視線情報を取得し、
前記第2判定手段は、基準フレームでの第1視線情報と現フレームでの第1視線情報の差分が所定の値よりも大きいフレームが所定数だけ連続したときに前記ジャンプが発生したと判定し、
前記表示設定がオフの時の方が、前記表示設定がオンの時よりも前記所定数は小さい、
請求項1から5のいずれか1項に記載の視線情報取得装置。 - 前記第2視線情報は、位置または範囲である、
請求項1から6のいずれか1項に記載の視線情報取得装置。 - 前記ポインタ表示手段は、前記第2視線情報に対応する位置または領域に前記ポインタを表示する、
請求項1から7のいずれか1項に記載の視線情報取得装置。 - 前記観察者による確定操作を受け付ける受付手段と、
前記確定操作を受け付けた時点での前記第2視線情報に基づいて処理を行う処理手段と
、
をさらに備える、請求項1から8のいずれか1項に記載の視線情報取得装置。 - 前記処理手段は、前記第2視線情報に対応する範囲を対象として、焦点検出または被写体検出を行う、
請求項9に記載の視線情報取得装置。 - 前記第2視線情報に対応する前記範囲は、前記表示設定がオフの時の方が、前記表示設定がオンの時よりも、大きい、
請求項10に記載の視線情報取得装置。 - 画像を表示する表示手段を観察する観察者の視線情報と、前記観察者による確定操作と、に基づいて枠を表示する処理手段と、
表示設定がオンに設定されている場合に、観察者の視線位置を示すポインタを前記表示手段に表示するポインタ表示手段と、を有し、
前記観察者が視線位置を第1の位置から第2の位置に移動させ、視線位置が第2の位置に移動したタイミングで前記確定操作を行った場合に、前記表示設定がオフの場合の前記枠と前記第2の位置との間の距離は、前記表示設定がオンの時の前記枠と前記第2の位置との間の距離よりも小さい
ことを特徴とする視線情報取得装置。 - 画像を表示する表示手段を観察する観察者の視線情報と、前記観察者による確定操作と、に基づいて枠を表示する処理手段と、
表示設定がオンに設定されている場合に、観察者の視線位置を示すポインタを前記表示手段に表示するポインタ表示手段と、を有し、
前記観察者が視線位置を第1の位置から第2の位置に移動させ、視線位置が第2の位置に移動してから所定時間が経過したタイミングで前記確定操作を行った場合に、前記枠と前記第2の位置との間の距離が所定値よりも少なくなるために必要な前記所定時間は、前記表示設定がオフの時の方が、前記表示設定がオンの時よりも短い、
ことを特徴とする視線情報取得装置。 - 前記枠は焦点検出枠であることを特徴とする請求項12又は請求項13に記載の視線情報取得装置。
- 被写体検出を無効に設定している場合に、前記確定操作によって前記観察者の視線位置に基づいて焦点検出枠が表示される、
請求項13に記載の視線情報取得装置。 - 画像を表示する表示手段を観察する観察者の視線情報と、前記観察者による確定操作と、に基づいて被写体を選択しその旨の表示を行う処理手段と、
表示設定がオンに設定されている場合に、観察者の視線位置を示すポインタを前記表示手段に表示するポインタ表示手段と、を有し、
被写体が選択されるために許容される、前記観察者の視線位置と被写体の位置ズレ量は、前記表示設定がオフの時の方が、前記表示設定がオンの時よりも大きい。
ことを特徴とする視線情報取得装置。 - 前記観察者の視線位置と被写体の位置ズレ量が、被写体が選択されるために許容される位置ズレ量を超えた場合には、前記観察者の視線位置に焦点検出枠が表示される
請求項12から16のいずれか1項に記載の視線情報取得装置。 - 前記観察者による確定操作を受け付ける受付手段と、
前記確定操作を受け付けた時点から所定時間後に求められる前記第2視線情報に基づいて処理を行う処理手段と、
をさらに備え、
前記所定時間は、前記表示設定がオフの時の方が、前記表示設定がオンの時よりも長い、
請求項1から11のいずれか1項に記載の視線情報取得装置。 - 第1動作モードと第2動作モードを含む複数の動作モードの中から、動作モードを設定するための設定手段と、
画像を撮像する撮像手段と、
前記画像を表示する表示手段と、
前記表示手段を観察する観察者の第1視線情報を取得する第1取得手段と、
前記第1視線情報に基づいて、第2視線情報を取得する第2取得手段を、
を備え、
前記第2取得手段は、前記設定された動作モードが前記第1動作モードである場合と前記第2動作モードである場合とで異なる方法で前記第2視線情報を取得する、
撮像装置。 - 前記第1動作モードは、前記観察者の視線位置を示すポインタを前記表示手段に表示するモードであり、
前記第2動作モードは、前記ポインタを前記表示手段に表示しないモードである、
請求項19に記載の撮像装置。 - 前記第2動作モードは、高速被写体を撮像するためのモードである、
前記第1動作モードは、前記第2動作モード以外のモードである、
請求項19に記載の撮像装置。 - 前記第2取得手段は、複数の第1視線情報を用いて前記第2視線情報を算出するものであり、前記第2動作モードが設定されている時には、前記第1動作モードが設定されている時よりも少ない数の前記第1視線情報を用いて前記第2視線情報を算出する、
請求項19から21のいずれか1項に記載の撮像装置。 - 前記第2取得手段は、複数の第1視線情報を重み付け平均することで前記第2視線情報を算出するものであり、前記第2動作モードが設定されている時には、前記第1動作モードが設定されている時よりも、時間的に近い前記第1視線情報に対する重みを大きくする、
請求項19から21のいずれか1項に記載の撮像装置。 - 前記第2取得手段は、前記第2動作モードが設定されている時には、前記第1動作モードが設定されている時よりも、前記第2視線情報の時間的な変化が滑らかになるように前記第2視線情報を取得する、
請求項19から21のいずれか1項に記載の撮像装置。 - 視線情報取得装置が行う視線情報取得方法であって、
画像を表示する表示手段を観察する観察者の第1視線情報を取得する第1取得ステップと、
表示設定がオンに設定されている場合に、観察者の視線位置を示すポインタを前記表示手段に表示するポインタ表示ステップと、
前記第1視線情報に基づいて、第2視線情報を取得する第2取得ステップと、
を含み、
前記第2取得ステップでは、前記ポインタの表示設定に応じて異なる方法で前記第2視線情報を取得する、
視線情報取得方法。 - コンピュータを、請求項1から18のいずれか1項に記載の視線情報取得装置の各手段、または、請求項19から24のいずれか1項に記載の撮像装置の各手段として機能させるためのプログラム。
- コンピュータに、請求項25の視線情報取得方法の各ステップを実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021077440A JP2022171056A (ja) | 2021-04-30 | 2021-04-30 | 視線情報取得装置、撮像装置、視線情報取得方法、およびプログラム |
US17/727,397 US11877051B2 (en) | 2021-04-30 | 2022-04-22 | Eye-gaze information acquiring apparatus, imaging apparatus, eye-gaze information acquiring method, and computer-readable storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021077440A JP2022171056A (ja) | 2021-04-30 | 2021-04-30 | 視線情報取得装置、撮像装置、視線情報取得方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022171056A true JP2022171056A (ja) | 2022-11-11 |
Family
ID=83809198
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021077440A Pending JP2022171056A (ja) | 2021-04-30 | 2021-04-30 | 視線情報取得装置、撮像装置、視線情報取得方法、およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11877051B2 (ja) |
JP (1) | JP2022171056A (ja) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9445005B2 (en) | 2013-07-22 | 2016-09-13 | Canon Kabushiki Kaisha | Optical device capable of selecting focus detection point, method of controlling the same, and storage medium |
JP6257199B2 (ja) | 2013-07-22 | 2018-01-10 | キヤノン株式会社 | 光学機器、その制御方法、および制御プログラム |
KR102337682B1 (ko) * | 2014-10-01 | 2021-12-09 | 삼성전자주식회사 | 디스플레이 장치 및 그의 제어 방법 |
US10871875B2 (en) * | 2019-05-24 | 2020-12-22 | Dell Products, L.P. | Cursor identification on an IHS display |
JP7321786B2 (ja) * | 2019-06-17 | 2023-08-07 | キヤノン株式会社 | 電子機器およびその制御方法 |
JP7433860B2 (ja) * | 2019-11-26 | 2024-02-20 | キヤノン株式会社 | 電子機器及び電子機器の制御方法 |
-
2021
- 2021-04-30 JP JP2021077440A patent/JP2022171056A/ja active Pending
-
2022
- 2022-04-22 US US17/727,397 patent/US11877051B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20220353431A1 (en) | 2022-11-03 |
US11877051B2 (en) | 2024-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8542941B2 (en) | Imaging device, image detecting method and focus adjusting method | |
JP2010119097A (ja) | 画像評価装置及びカメラ | |
JP2018129659A (ja) | 画像処理装置、撮像装置および制御方法 | |
JP5171468B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
US20210158537A1 (en) | Object tracking apparatus and control method thereof | |
US11388331B2 (en) | Image capture apparatus and control method thereof | |
US11662809B2 (en) | Image pickup apparatus configured to use line of sight for imaging control and control method thereof | |
US20210258472A1 (en) | Electronic device | |
US11509816B2 (en) | Image processing apparatus, image pickup apparatus, and control method of image processing apparatus | |
JP4567538B2 (ja) | 露出量算出システムならびにその制御方法およびその制御プログラム | |
US20220329740A1 (en) | Electronic apparatus, method for controlling electronic apparatus, and non-transitory computer readable storage medium | |
US20230142934A1 (en) | Electronic device, control method of electronic device, and non-transitory computer readable medium | |
US11523048B2 (en) | Electronic device, control method of electronic device, and non-transitory computer readable medium | |
JP2023004678A (ja) | 処理装置及びその制御方法 | |
JP2022171056A (ja) | 視線情報取得装置、撮像装置、視線情報取得方法、およびプログラム | |
US20230076475A1 (en) | Electronic apparatus and control method | |
US11968445B2 (en) | Control apparatus for detecting and displaying line-of-sight position, control method thereof, and recording medium | |
JPH0553043A (ja) | 被写体認識装置およびカメラ | |
US11665438B2 (en) | Electronic device capable of acquiring line-of-sight information | |
US12026303B2 (en) | Sight line position processing apparatus, image capturing apparatus, training apparatus, sight line position processing method, training method, and storage medium | |
US20220026985A1 (en) | Sight line position processing apparatus, image capturing apparatus, training apparatus, sight line position processing method, training method, and storage medium | |
US20230336862A1 (en) | Electronic device, control method, and non-transitory computer readable medium | |
US20230254470A1 (en) | Stereoscopic image pickup apparatus, control method, storage medium, and control apparatus | |
US20230396876A1 (en) | Apparatus, method for apparatus, image capturing apparatus, and storage medium | |
US20220272271A1 (en) | Image pickup apparatus capable of keeping focus on subject even when moving direction of subject changes in time series, control method for image pickup apparatus, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240422 |