JP2021131443A - 電子機器 - Google Patents
電子機器 Download PDFInfo
- Publication number
- JP2021131443A JP2021131443A JP2020026018A JP2020026018A JP2021131443A JP 2021131443 A JP2021131443 A JP 2021131443A JP 2020026018 A JP2020026018 A JP 2020026018A JP 2020026018 A JP2020026018 A JP 2020026018A JP 2021131443 A JP2021131443 A JP 2021131443A
- Authority
- JP
- Japan
- Prior art keywords
- line
- sight
- image
- information
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 claims abstract description 193
- 238000000034 method Methods 0.000 claims abstract description 146
- 238000012545 processing Methods 0.000 claims abstract description 145
- 238000007619 statistical method Methods 0.000 claims abstract description 23
- 230000008569 process Effects 0.000 claims description 127
- 230000008859 change Effects 0.000 claims description 37
- 230000015572 biosynthetic process Effects 0.000 claims description 8
- 238000003786 synthesis reaction Methods 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 description 31
- 238000006243 chemical reaction Methods 0.000 description 22
- 238000012935 Averaging Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 14
- 230000035945 sensitivity Effects 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 12
- 210000001747 pupil Anatomy 0.000 description 12
- 238000001454 recorded image Methods 0.000 description 12
- 238000012937 correction Methods 0.000 description 11
- 210000005252 bulbus oculi Anatomy 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 7
- 239000000203 mixture Substances 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 3
- 230000004907 flux Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000009966 trimming Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000003705 background correction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 241000593989 Scardinius erythrophthalmus Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 201000005111 ocular hyperemia Diseases 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
Abstract
Description
図1は、本発明の実施形態にかかる電子機器の一例としてのデジタルカメラシステムの構成例を示すブロック図である。デジタルカメラシステムは、レンズ交換式デジタルカメラの本体100と、本体100に着脱可能なレンズユニット150とを有している。なお、レンズ交換式であることは本発明に必須でない。
を通じて双方向に通信可能である。
用のセンサとして用いる構成であるが、任意の大きさ及び位置の焦点検出領域を設定可能な他のAFなど、AFの方式に依らず本発明は実施可能である。例えばコントラストAFを用いる構成であっても本発明は実施可能である。コントラストAFのみを用いる場合には、各画素が有する光電変換部は1つである。
より、レンズユニット150の動作を制御する。
出部55で検出された姿勢に応じた向き情報を、当該撮影で得られた画像データを格納するデータファイルに記録することができる。向き情報は、例えば記録済みの画像を撮影時と同じ向きで表示するために用いることができる。
以下、図4を参照して、本体100で行われる撮影処理について説明する。図4は、本実施形態に係る撮影処理のフローチャートである。撮影モードで本体100が起動したことや、本体100のモードとして撮影モードが設定されたことなどに応じて、図4の処理が開始される。
像により、焦点検出データと撮像画像データを取得することができる。なお、焦点検出用画素と撮像用画素とを別々の画素とした場合には、焦点検出用画素の位置での画素値を得る補間処理などを行って撮像画像データを取得する。
を進め、信号SW2が検出されなかったと判定した場合にステップS5へ処理を戻す。
ための撮像画像を撮像素子22から取得する(読み出す)。さらに、システム制御部50は、焦点検出領域における視差画像対を構成する第1画像と第2画像の一方である焦点検出画像を撮像素子22から取得する(読み出す)。焦点検出画像は、記録画像(撮影画像;撮像画像に基づいて記録された画像)の再生時に、被写体のピント状態を検出するために用いられる。撮像画像に比べ狭い領域の画像や、撮像画像に比べ解像度が低い画像を、焦点検出画像として取得することで、焦点検出画像のデータ量を低減してもよい。第1画像と第2画像の一方と撮像画像との差分を、第1画像と第2画像の他方として算出することができる。本実施形態では、撮像画像と一方の焦点検出画像とを取得して(読み出して)記録し、他方の焦点検出画像は算出する。以降の画像処理(画像に関する処理)は、取得した撮像画像と一方の焦点検出画像とに対して施される。
・撮影条件(絞り値、シャッタ速度、撮影感度など)に関する情報
・画像処理部24で適用した画像処理に関する情報
・撮像素子22の受光感度分布に関する情報
・本体100内での撮影光束のケラレに関する情報
・本体100とレンズユニット150との取り付け面から撮像素子22までの距離に関する情報
・製造誤差に関する情報
な確認を行うことができる。ステップS305の記録用の画像は、ステップS303,S304などの各種処理を施して生成するが、ステップS309のプレビュー表示用の画像は、簡易的な確認のための画像であるため、これら各種処理を施さずに生成してもよい。これらの各種処理を行わずにプレビュー表示用の画像を生成する場合には、ステップS303以降の処理と並列に、ステップS309のプレビュー表示を行うことで、露光から表示までのタイムラグをより短くすることができる。
、当該被写体の領域を焦点検出領域に設定することができる。図7(a)では、視線位置のアイテムP1〜P5が、それぞれ、被写体領域のアイテムW1〜W5内に位置しているため、フレームF1からフレームF5にわたって、アイテムW1〜W5に対応する被写体(頭部)を追尾できている。このため、フレームF1からフレームF5にわたって、アイテムW1〜W5に対応する被写体(頭部)の領域を焦点検出領域に設定できている。
更新レートが一定(例えば60fps)とされている。その後、図4のステップS10以降の処理が行われ、連写状態に移行すると、フレームF209〜F215のように、ライブビュー画像の表示更新レートが変化する(例えば20fps)。連写時における記録画像の取得には、ライブビュー画像の取得に対して、撮像素子からの画像読み出しや、読み出した画像に対する画像処理などの影響で、比較的長い処理時間を要する。そのため、連写時に表示更新レートが低減され、図8(b)のような状態が生じる。
れるライブビュー表示(LV)であり、画像D1〜D5は、例えば60fpsで更新されて表示される。画像D5の表示中に信号SW2が検出され、図4のステップS10へ処理が進められる。それ以降、ステップS300で取得される記録画像(画像D7,D9)の表示と、ステップS400で取得される画像(焦点検出用の画像;画像D8,D10)の表示とが交互に行われる。記録画像の表示には上述の通り時間を要するため、画像D6の表示は画像D1〜D5の表示のようには更新されず(フリーズ)、画像D6の表示期間は画像D1〜D5の表示期間に比べ延長されている。画像D10の表示中に信号SW2が検出されなくなり、図4のステップS3で開始されるライブビュー表示(画像D11,D12)に戻る。
線位置に誤差(ユーザの意図した被写体位置と検出される視線位置とのずれ)が生じる。そのため、図9では、検出された視線位置の情報をそのまま第1視線情報とはせず、平均化処理(重みづけ合成)などの加工処理を行って第1視線情報を得ている。これにより、検出される視線位置の誤差による影響を低減することができる。
示画像が画像D8から画像D9に切り替わった直後である。このため、図10の中段では、視線検出タイミングE5,E8で検出された視線位置(加工前の視線情報)を間引いている。間引き処理は、例えば、所定値以下の表示更新レートの場合に、表示画像の切り替わりから第1時間以上かつ第2時間以下の期間に検出された視線位置を間引く処理である。間引き処理は、所定値以下の表示更新レートの場合に、表示画像の切り替わりから所定時間内に検出された視線位置を間引く処理であってもよい。
、視線検出タイミングE5’は、画像D7の表示期間の後半のタイミングとなるように制御されている。同様に、視線検出タイミングE6’〜E8’は、画像D6〜D8の表示期間に基づいて制御されている。
上述の実施形態では、静止画を撮影する前のライブビュー表示状態から、連写時のライブビュー表示に移行した際に生じる視線位置の誤差を考慮した例を説明した。検出される視線位置の誤差は、他の状況でも生じ得る。例えば、動画記録(動画撮影)時におけるライブビュー表示の表示更新レートや表示遅延によって、検出される視線位置の誤差は増大する。動画記録時における視線位置の誤差を考慮した例について、図12(a),12(b)を用いて説明する。図12(a),12(b)は、動画記録時のライブビュー表示の表示期間と視線検出タイミングのタイミングチャートの一例である。
き処理などを適宜組み合わせて実施してもよい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(処理の順番を含む)を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。実施形態の構成を適宜組み合わせて得られる構成も、本発明に含まれる。
701:視線検出部
Claims (13)
- 表示面を見るユーザの視線に関する視線情報として、互いに異なる統計方法で生成された第1視線情報と第2視線情報を取得する取得手段と、
前記第1視線情報に基づいて第1処理を行い、前記第2視線情報に基づいて、前記第1処理とは異なる第2処理を行う処理手段と
を有することを特徴とする電子機器。 - 前記取得手段は、順次検出される視線の検出結果から前記第1視線情報と前記第2視線情報を生成する
ことを特徴とする請求項1に記載の電子機器。 - 前記視線の変化に対して、前記第1視線情報の変化は前記第2視線情報の変化よりも小さい
ことを特徴とする請求項1または2に記載の電子機器。 - 前記第1視線情報と前記第2視線情報のそれぞれは、複数のタイミングにそれぞれ対応する複数の視線の重みづけ合成を含み得る処理により生成された情報であり、
前記第1視線情報と前記第2視線情報とで、前記重みづけ合成の方法が異なる
ことを特徴とする請求項1〜3のいずれか1項に記載の電子機器。 - 前記第1視線情報と前記第2視線情報のそれぞれは、順次検出される視線の間引き処理を含み得る処理により生成された情報であり、
前記第1視線情報と前記第2視線情報とで、前記間引き処理の方法が異なる
ことを特徴とする請求項1または2に記載の電子機器。 - 前記第1視線情報と前記第2視線情報のそれぞれは、前記表示面に表示する画像を更新する時間間隔と、前記画像を取得してから前記表示面に表示するまでの遅延時間との少なくとも一方に基づいて生成される
ことを特徴とする請求項1〜5のいずれか1項に記載の電子機器。 - 前記第1視線情報と前記第2視線情報のそれぞれは、順次検出される視線の検出結果から生成された情報であり、
前記電子機器は、前記表示面に表示する画像を更新する時間間隔と、前記画像を取得してから前記表示面に表示するまでの遅延時間との少なくとも一方に基づいて、前記視線を検出するタイミングを制御する制御手段をさらに有する
ことを特徴とする請求項1〜6のいずれか1項に記載の電子機器。 - 前記制御手段は、
前記表示面に表示する画像を更新する前記時間間隔、または、前記画像を取得してから前記表示面に表示するまでの前記遅延時間である参照時間が長いほど長い時間間隔で前記視線を順次検出し、
前記参照時間が閾値よりも長い場合に、1枚の画像を前記表示面に表示する期間の後半のタイミングで前記視線を検出するように、
前記視線を検出するタイミングを制御する
ことを特徴とする請求項7に記載の電子機器。 - 前記第1処理は、表示面に画像を表示するように制御すると共に、前記表示面における、前記第1視線情報に基づく位置に、所定のアイテムを表示するような制御である
ことを特徴とする請求項1〜8のいずれか1項に記載の電子機器。 - 前記表示面には、撮像された画像が表示され、
前記第2処理は、前記画像のうち、合焦点を検出する領域を設定する処理である
ことを特徴とする請求項1〜9のいずれか1項に記載の電子機器。 - 表示面を見るユーザの視線に関する視線情報として、互いに異なる統計方法で生成された第1視線情報と第2視線情報を取得する取得ステップと、
前記第1視線情報に基づいて第1処理を行い、前記第2視線情報に基づいて、前記第1処理とは異なる第2処理を行う処理ステップと
を有することを特徴とする電子機器の制御方法。 - コンピュータを、請求項1〜10のいずれか1項に記載の電子機器の各手段として機能させるためのプログラム。
- コンピュータを、請求項1〜10のいずれか1項に記載の電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020026018A JP2021131443A (ja) | 2020-02-19 | 2020-02-19 | 電子機器 |
US17/178,516 US11665438B2 (en) | 2020-02-19 | 2021-02-18 | Electronic device capable of acquiring line-of-sight information |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020026018A JP2021131443A (ja) | 2020-02-19 | 2020-02-19 | 電子機器 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021131443A true JP2021131443A (ja) | 2021-09-09 |
JP2021131443A5 JP2021131443A5 (ja) | 2023-02-15 |
Family
ID=77273297
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020026018A Pending JP2021131443A (ja) | 2020-02-19 | 2020-02-19 | 電子機器 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11665438B2 (ja) |
JP (1) | JP2021131443A (ja) |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6388707B1 (en) * | 1994-04-12 | 2002-05-14 | Canon Kabushiki Kaisha | Image pickup apparatus having means for appointing an arbitrary position on the display frame and performing a predetermined signal process thereon |
JP6257199B2 (ja) | 2013-07-22 | 2018-01-10 | キヤノン株式会社 | 光学機器、その制御方法、および制御プログラム |
US10885802B2 (en) * | 2015-08-07 | 2021-01-05 | Gleim Conferencing, Llc | System and method for validating honest test taking |
CN109478334B (zh) * | 2016-07-20 | 2021-04-20 | 富士胶片株式会社 | 关注位置识别装置、摄像装置、显示装置、关注位置识别方法及非暂时性有形介质 |
US11237691B2 (en) * | 2017-07-26 | 2022-02-01 | Microsoft Technology Licensing, Llc | Intelligent response using eye gaze |
JP6852612B2 (ja) * | 2017-07-26 | 2021-03-31 | 富士通株式会社 | 表示プログラム、情報処理装置、及び表示方法 |
WO2019224866A1 (ja) * | 2018-05-21 | 2019-11-28 | 楽天株式会社 | 表示装置、表示方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体 |
IL282419B1 (en) * | 2018-10-23 | 2024-04-01 | Burke Neurological Inst | Systems and methods for evaluating contrast sensitivity and other visual metrics |
CN112805670B (zh) * | 2018-12-19 | 2024-02-09 | 徕卡生物系统成像股份有限公司 | 用于数字病理学的眼睛跟踪的图像查看器 |
-
2020
- 2020-02-19 JP JP2020026018A patent/JP2021131443A/ja active Pending
-
2021
- 2021-02-18 US US17/178,516 patent/US11665438B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20210258477A1 (en) | 2021-08-19 |
US11665438B2 (en) | 2023-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4378272B2 (ja) | 撮影装置 | |
JP7467114B2 (ja) | 撮像装置およびその制御方法 | |
JP5676988B2 (ja) | 焦点調節装置 | |
JP2013013050A (ja) | 撮像装置及びこの撮像装置を用いた表示方法 | |
JP2018129659A (ja) | 画像処理装置、撮像装置および制御方法 | |
US11450131B2 (en) | Electronic device | |
JP6833801B2 (ja) | 撮像装置、撮像方法、プログラムおよび記録媒体 | |
JP6312460B2 (ja) | 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体 | |
US20210258472A1 (en) | Electronic device | |
JP2020017807A (ja) | 画像処理装置および画像処理方法、ならびに撮像装置 | |
JP5693664B2 (ja) | 撮像装置、撮像装置の制御方法及びプログラム | |
JP6758950B2 (ja) | 撮像装置、その制御方法とプログラム | |
CN107800956B (zh) | 摄像设备、控制方法和存储介质 | |
JP2010233188A (ja) | 撮像装置、その制御方法及びプログラム | |
US11523048B2 (en) | Electronic device, control method of electronic device, and non-transitory computer readable medium | |
US11330179B2 (en) | Imaging device and control method thereof | |
WO2019065820A1 (ja) | 撮影装置とその制御方法および制御プログラム | |
JP2023004678A (ja) | 処理装置及びその制御方法 | |
JP2021131443A (ja) | 電子機器 | |
JP2015232620A (ja) | 撮像装置、制御方法およびプログラム | |
JP6949803B2 (ja) | 撮像装置、その制御方法とプログラムと記録媒体 | |
JP2010183353A (ja) | 撮影装置 | |
JP2023047605A (ja) | 制御装置、撮像装置、制御方法、およびプログラム | |
US20240028113A1 (en) | Control apparatus, image pickup apparatus, control method, and storage medium | |
JP2021180347A (ja) | 制御装置、撮像装置、制御方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230207 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240325 |