JP2021170699A - 電子機器 - Google Patents
電子機器 Download PDFInfo
- Publication number
- JP2021170699A JP2021170699A JP2020072186A JP2020072186A JP2021170699A JP 2021170699 A JP2021170699 A JP 2021170699A JP 2020072186 A JP2020072186 A JP 2020072186A JP 2020072186 A JP2020072186 A JP 2020072186A JP 2021170699 A JP2021170699 A JP 2021170699A
- Authority
- JP
- Japan
- Prior art keywords
- eyepiece
- line
- detection
- sight
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 claims abstract description 187
- 230000003287 optical effect Effects 0.000 claims description 56
- 230000006870 function Effects 0.000 abstract description 20
- 210000005252 bulbus oculi Anatomy 0.000 description 26
- 210000001508 eye Anatomy 0.000 description 20
- 238000003384 imaging method Methods 0.000 description 16
- 210000001747 pupil Anatomy 0.000 description 15
- 238000000034 method Methods 0.000 description 11
- 210000004087 cornea Anatomy 0.000 description 9
- 230000011514 reflex Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 210000000744 eyelid Anatomy 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/04—Systems determining the presence of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/02—Viewfinders
- G03B13/06—Viewfinders with lenses with or without reflectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/53—Constructional details of electronic viewfinders, e.g. rotatable or detachable
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2213/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B2213/02—Viewfinders
- G03B2213/025—Sightline detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Automatic Focus Adjustment (AREA)
- Eye Examination Apparatus (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
- Exposure Control For Cameras (AREA)
- Viewfinders (AREA)
- Studio Devices (AREA)
Abstract
【課題】接眼検知機能と視線検出機能を少ない消費電力で実現する電子機器を低コストで提供する。【解決手段】本発明の電子機器は、接眼部に対する接眼を検知する接眼検知と、ユーザーの視線を検出する視線検出とを実行可能な電子機器であって、前記接眼検知のために受光する接眼検知センサーと、前記接眼検知センサーとは別の、前記視線検出のために受光する視線検出センサーと、前記接眼検知と前記視線検出で兼用される光源を含む1つ以上の光源とを有することを特徴とする。【選択図】図4
Description
本発明は、視線検出機能を有する電子機器に関する。
視線検出機能でユーザーの視線(視線方向)を検出し、視線の検出結果に基づいて測距点選択などを行うことが可能なカメラ(ビデオカメラを含む)が実用化されている。さらに、ユーザーがファインダー(接眼部)に接眼したときのみ視線検出機能が有効となるように、接眼検知機能を有するカメラも実用化されている。
特許文献1には、視線検出のための発光ダイオード、視線検出センサーとは別に、接眼検知のための発光ダイオード、接眼検知センサーを設けることで、視線検出機能と接眼検知機能を実現する技術が開示されている。特許文献2には、視線検出と接眼検知を同一のセンサーで実施する技術が開示されている。
しかしながら、特許文献1に開示された従来技術では、視線検出のための部材と接眼検知のための部材とが別々に設られるため、構成が複雑化し、コストが増してしまう。特許文献2に開示された従来技術では、視線検出と接眼検知が同一のセンサーで行われるため、接眼検知の消費電力が増してしまう。
本発明は、接眼検知機能と視線検出機能を少ない消費電力で実現する電子機器を低コストで提供することを目的とする。
本発明の電子機器は、接眼部に対する接眼を検知する接眼検知と、ユーザーの視線を検出する視線検出とを実行可能な電子機器であって、前記接眼検知のために受光する接眼検知センサーと、前記接眼検知センサーとは別の、前記視線検出のために受光する視線検出センサーと、前記接眼検知と前記視線検出で兼用される光源を含む1つ以上の光源とを有することを特徴とする。
本発明によれば、接眼検知機能と視線検出機能を少ない消費電力で実現する電子機器を低コストで提供できる。
以下、添付の図面を参照して本発明の好適な実施形態を説明する。
<構成の説明>
図1(a),1(b)は、本実施形態に係るカメラ1(デジタルスチルカメラ;レンズ交換式カメラ)の外観を示す。なお、本発明は、画像、文字等の情報を表示するデバイスや、接眼光学系を通して光学像を視認するユーザーの視線を検出することが可能な任意の電子機器にも適用可能である。これらの電子機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末、ヘッドマウントディスプレイ、双眼鏡などが含まれてよい。
図1(a),1(b)は、本実施形態に係るカメラ1(デジタルスチルカメラ;レンズ交換式カメラ)の外観を示す。なお、本発明は、画像、文字等の情報を表示するデバイスや、接眼光学系を通して光学像を視認するユーザーの視線を検出することが可能な任意の電子機器にも適用可能である。これらの電子機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末、ヘッドマウントディスプレイ、双眼鏡などが含まれてよい。
図1(a)は正面斜視図であり、図1(b)は背面斜視図である。図1(a)に示すように、カメラ1は、撮影レンズユニット1A及びカメラ筐体1Bを有する。カメラ筐体1Bには、ユーザー(撮影者)からの撮像操作を受け付ける操作部材であるレリーズボタン34が配置されている。図1(b)に示すように、カメラ筐体1Bの背面には、カメラ筐体1B内に含まれている後述の表示パネル6をユーザーが覗き込むための接眼窓枠121が配置されている。接眼窓枠121は覗き口12を形成し、カメラ筐体1Bに対しては外側(背面側)に突出している。カメラ筐体1Bの背面には、ユーザーからの各種操作を受け付ける操作部材41〜43も配置されている。例えば、操作部材41はタッチ操作を受け付けるタッチパネルであり、操作部材42は各方向に押し倒し可能な操作レバーであり、操作部材43は4方向のそれぞれに押し込み可能な4方向キーである。操作部材41(タッチパネル)は、液晶パネル等の表示パネルを備えており、表示パネルで画像を表示する機能を有する。
図2は、カメラ1内の構成を示すブロック図である。
撮像素子2は例えばCCDやCMOSセンサー等の撮像素子であり、撮影レンズユニット1Aの光学系により撮像素子2の撮像面上に結像された光学像を光電変換し、得られたアナログ画像信号をA/D変換部(不図示)に出力する。A/D変換部は、撮像素子2により得られたアナログ画像信号をA/D変換し、画像データとして出力する。
撮影レンズユニット1Aは、ズームレンズ、フォーカスレンズ、絞り等を含む光学系で構成され、カメラ筐体1Bに装着された状態で、被写体からの光を撮像素子2に導き、被写体像を撮像素子2の撮像面上に結像する。絞り制御部118、焦点調節部119、ズーム制御部120は、それぞれマウント接点117を介してCPU3からの指示信号を受信し、該指示信号に従い、絞り、フォーカスレンズ、ズームレンズを駆動制御する。
カメラ筐体1Bが備えるCPU3は、カメラ筐体1Bが備える各ブロックに対する制御プログラムをメモリ部4の有するROMより読み出し、メモリ部4の有するRAMに展開して実行する。これによりCPU3は、カメラ筐体1Bが備える各ブロックの動作を制御する。CPU3には、視線検出部201、測光部202、自動焦点検出部203、信号入力部204、接眼検知部208、表示デバイス駆動部210、光源駆動部205等が接続されている。また、CPU3は、撮影レンズユニット1A内に配置された絞り制御部118、焦点調節部119、ズーム制御部120に、マウント接点117を介して信号を伝達する。本実施形態では、メモリ部4は、撮像素子2および視線検出センサー30からの撮像信号の記憶機能を備える。
視線検出部201は、視線検出センサー30上に眼球像が結像した状態での視線検出センサー30の出力(眼を撮像した眼画像)をA/D変換し、その結果をCPU3に送信する。CPU3は、後述する所定のアルゴリズムに従って眼画像から視線検出に必要な特徴点を抽出し、特徴点の位置からユーザーの視線(視認用画像における視点)を算出する。
接眼検知部208は、接眼検知センサー50の出力をCPU3に送信する。CPU3は、後述する所定のアルゴリズムに従ってユーザーが接眼部(ファインダー;覗き口12の部分)に対して接眼したか否かを算出する。
測光部202は、測光センサーの役割を兼ねた撮像素子2から得られる信号、具体的には被写界の明るさに対応した輝度信号の増幅、対数圧縮、A/D変換等を行い、その結果を被写界輝度情報としてCPU3に送る。
自動焦点検出部203は、撮像素子2(例えばCCD)の中に含まれる、位相差検出のために使用される複数の検出素子(複数の画素)からの信号電圧をA/D変換し、CPU3に送る。CPU3は、複数の検出素子の信号から、各焦点検出ポイントに対応する被写体までの距離を演算する。これは撮像面位相差AFとして知られる公知の技術である。本実施形態では、一例として、ファインダー内の視野像(視認用画像)を分割し、撮像面上の分割された180か所のそれぞれに、焦点検出ポイントがあるとする。
光源駆動部205は、CPU3からの信号(指示)に基づいて、後述する赤外LED18,19,22〜27を駆動する。具体的には、光源駆動部205は、CPU3からの信号に基づいて、赤外LED18,19,22〜27の発光強度(発光量;発光輝度)を個別または一律に制御する。発光強度の制御は、点灯/消灯の切り替えを含むものとする。
画像処理部206は、RAMに格納されている画像データに対して、各種画像処理を行う。例えば、光学系や撮像素子に起因する画素欠陥の補正処理、デモザイキング処理、ホワイトバランス補正処理、色補間処理、ガンマ処理など、デジタル画像データを現像し表示・記録するための様々な画像処理が行われる。
信号入力部204には、スイッチSW1とスイッチSW2が接続されている。スイッチSW1は、カメラ1の測光、測距、視線検出動作等を開始するためのスイッチであり、レリーズボタン34の第1ストロークでONする。スイッチSW2は、撮影動作を開始するためのスイッチであり、レリーズボタン34の第2ストロークでONする。スイッチSW1,SW2からのON信号は信号入力部204に入力され、CPU3に送信される。また信号入力部204は、図1(b)の操作部材41(タッチパネル)、操作部材42(操作レバー)、操作部材43(4方向キー)からの操作入力も受け付ける。
記録/出力部207は、着脱可能なメモリカード等の記録媒体に画像データを含むデータを記録、またはこれらのデータを外部インターフェースを介して外部装置に出力する。
表示デバイス駆動部210は、CPU3からの信号に基づいて、表示デバイス209を駆動する。表示デバイス209は、後述する表示パネル5,6である。
図3は、図1(a)に示したY軸とZ軸が成すYZ平面でカメラ1を切断した断面図であり、カメラ1の構成を概念的に示した図である。
シャッター32と撮像素子2は撮影レンズユニット1Aの光軸方向に順に並ぶ。
カメラ筐体1Bの背面には表示パネル5が設けられ、表示パネル5は、カメラ1の操作やカメラ1で得られた画像の鑑賞・編集のために、メニュー表示や画像表示を行う。表示パネル5は、バックライト付きの液晶パネルや、有機ELパネル等で構成される。
カメラ筐体1Bに設けられたEVFは、通常のEVFとして表示パネル5のようにメニューや画像の表示が行えることに加えて、EVFを覗くユーザーの視線を検出し、検出結果をカメラ1の制御に反映することが可能な構成となっている。
表示パネル6は、ユーザーがファインダーを覗いているときに、表示パネル5と同様の表示(カメラ1の操作やカメラ1で得られた画像の鑑賞・編集のためのメニュー表示や画像表示)を行う。表示パネル6は、バックライト付きの液晶パネルや、有機ELパネル等で構成される。表示パネル6は一般的なカメラにおける撮影画像と同様に、3:2や4:3、16:9といったX軸方向(水平方向)のサイズがY軸方向(垂直方向)のサイズよりも長い長方形で構成される。
パネルホルダー7は表示パネル6を保持するパネルホルダーで、表示パネル6とパネルホルダー7は接着固定され、表示パネルユニット8を構成している。
第一光路分割プリズム9、第二光路分割プリズム10は貼り付け接着されて光路分割プリズムユニット11(光路分割部材)を構成している。光路分割プリズムユニット11は、表示パネル6からの光を覗き口12に設けられたアイピース窓17に導き、逆にアイピース窓17から導かれる目(瞳)からの反射光などを視線検出センサー30に導く。
表示パネルユニット8と光路分割プリズムユニット11は、マスク33を挟んで固定され、一体形成されている。
接眼光学系16は、G1レンズ13、G2レンズ14、G3レンズ15により構成される。
アイピース窓17は、可視光を透過する透明な部材である。表示パネルユニット8に表示された画像は、光路分割プリズムユニット11と接眼光学系16とアイピース窓17を通して観察される。
照明窓20,21は、赤外LED18,19,22〜27が外から視認できないように隠すための窓で、可視光を吸収し赤外光を透過する樹脂で構成されている。
図4(a)は、カメラ1のEVF部分の構成を示す斜視図、図4(b)はEVF部分の光軸の横断面図である。
赤外LED18,19,22,23,24,25,26,27は、各々が覗き口12に向けて赤外光を照射するように、互いに異なる位置・姿勢で配置されている。赤外LED18,19,23,25は近距離照明用の赤外LED(光源)である。赤外LED22,24,26,27は遠距離照明用の赤外LED(光源)である。なお、赤外LED以外の光源が使用されてもよい。
絞り28、視線結像レンズ29を含む視線検出光学系は、光路分割プリズムユニット11によってアイピース窓17から導かれた赤外反射光を、視線検出センサー30に導く。
視線検出センサー30は、CCDやCMOSなどの固体撮像素子で構成される。赤外LED18,19,22〜27はユーザーの眼球に光を照射し、視線検出センサー30は、
ユーザーの眼球からの反射光(赤外LED18,19,22〜27から発せられ眼球で反射した反射光)を受光する。
ユーザーの眼球からの反射光(赤外LED18,19,22〜27から発せられ眼球で反射した反射光)を受光する。
接眼検知センサー50は、視線検出センサー30よりも低電力で駆動可能なフォトダイオードなどで構成される。視線検出用の赤外LED18,19,22〜27のうち、赤外LED22は、接眼検知用の赤外LEDも兼ねている。つまり、赤外LED22は、視線検出と接眼検知とで兼用される。赤外LED22はユーザーに光を照射し、接眼検知センサー50は、ユーザーからの拡散反射光(赤外LED22から発せられユーザーで拡散反射した拡散反射光)を受光する。
ここで、赤外LED18,19,22〜27の少なくともいずれかから、ファインダーを覗いているユーザーの眼球に光が照射された場合を考える。この場合は、図4(b)の光路31aで示すように、光が照射された眼球の光学像(眼球像)が、アイピース窓17、G3レンズ15、G2レンズ14、G1レンズ13を通り、第二光路分割プリズム10の第2面10aから第二光路分割プリズム10内に入る。第二光路分割プリズムの第1面10bには、赤外光を反射するダイクロイック膜が形成されており、反射光路31bで示すように、第二光路分割プリズム10内に入った眼球像は、第1面10bで、第2面10aの側に反射される。そして、結像光路31cで示すように、反射された眼球像は、第2面10aで全反射され、第二光路分割プリズム10の第3面10cから第二光路分割プリズム10外へ出て、絞り28を通り、視線結像レンズ29により視線検出センサー30に結像される。視線検出には、このような眼球像と共に、赤外LEDから発せられた光が角膜で正反射して形成された角膜反射像が用いられる。
図5は、近距離照明用の赤外LED18,19,23,25から発せられた光が眼球の角膜37で正反射し、視線検出センサー30で受光されるまでの光路の例を示す。
<視線検出動作の説明>
図6,7(a),7(b),8を用いて、視線検出方法について説明する。ここでは、赤外LED18,19,22〜27のうちの2つ(図6の赤外LED51a,51b)を用いた例について説明する。図6は、視線検出方法の原理を説明するための図であり、視線検出を行うための光学系の概略図である。図6に示すように、赤外LED51a,51bはユーザーの眼球140に赤外光を照射する。赤外LED51a,51bから発せられて眼球140で反射した赤外光の一部は、視線結像レンズ29によって、視線検出センサー30近傍に結像される。図6では、視線検出方法の原理が理解しやすいよう、赤外LED51a,51b、視線結像レンズ29、視線検出センサー30の位置が調整されている。
図6,7(a),7(b),8を用いて、視線検出方法について説明する。ここでは、赤外LED18,19,22〜27のうちの2つ(図6の赤外LED51a,51b)を用いた例について説明する。図6は、視線検出方法の原理を説明するための図であり、視線検出を行うための光学系の概略図である。図6に示すように、赤外LED51a,51bはユーザーの眼球140に赤外光を照射する。赤外LED51a,51bから発せられて眼球140で反射した赤外光の一部は、視線結像レンズ29によって、視線検出センサー30近傍に結像される。図6では、視線検出方法の原理が理解しやすいよう、赤外LED51a,51b、視線結像レンズ29、視線検出センサー30の位置が調整されている。
図7(a)は、視線検出センサー30で撮像された眼画像(視線検出センサー30に投影された眼球像)の概略図であり、図7(b)は視線検出センサー30(例えばCCD)の出力強度を示す図である。図8は、視線検出動作の概略フローチャートを表す。
視線検出動作が開始すると、図8のステップS801で、赤外LED51a,51bは、光源駆動部205からの指示に従って、ユーザーの眼球140に向けて視線検出用の発光強度E2で赤外光を発する。赤外光によって照明されたユーザーの眼球像は、視線結像レンズ29(受光レンズ)を通して視線検出センサー30上に結像され、視線検出センサー30により光電変換される。これにより、処理可能な眼画像の電気信号が得られる。
ステップS802では、視線検出部201(視線検出回路)は、視線検出センサー30から得られた眼画像(眼画像信号;眼画像の電気信号)をCPU3に送る。
ステップS803では、CPU3は、ステップS802で得られた眼画像から、赤外LED51a,51bの角膜反射像Pd,Peと瞳孔中心cに対応する点の座標を求める。
赤外LED51a,51bより発せられた赤外光は、ユーザーの眼球140の角膜142を照明する。このとき、角膜142の表面で反射した赤外光の一部により形成される角膜反射像Pd,Peは、視線結像レンズ29により集光され、視線検出センサー30上に結像して、眼画像における角膜反射像Pd’,Pe’となる。同様に瞳孔141の端部a,bからの光も視線検出センサー30上に結像して、眼画像における瞳孔端像a’,b’となる。
図7(b)は、図7(a)の眼画像における領域α’の輝度情報(輝度分布)を示す。図7(b)では、眼画像の水平方向をX軸方向、垂直方向をY軸方向とし、X軸方向の輝度分布が示されている。本実施形態では、角膜反射像Pd’,Pe’のX軸方向(水平方向)の座標をXd,Xeとし、瞳孔端像a’,b’のX軸方向の座標をXa,Xbとする。図7(b)に示すように、角膜反射像Pd’,Pe’の座標Xd,Xeでは、極端に高いレベルの輝度が得られる。瞳孔141の領域(瞳孔141からの光が視線検出センサー30上に結像して得られる瞳孔像の領域)に相当する、座標Xaから座標Xbまでの領域では、座標Xd,Xeを除いて、極端に低いレベルの輝度が得られる。そして、瞳孔141の外側の虹彩143の領域(虹彩143からの光が結像して得られる、瞳孔像の外側の虹彩像の領域)では、上記2種の輝度の中間の輝度が得られる。具体的には、X座標(X軸方向の座標)が座標Xaより小さい領域と、X座標が座標Xbより大きい領域とで、上記2種の輝度の中間の輝度が得られる。
図7(b)に示すような輝度分布から、角膜反射像Pd’,Pe’のX座標Xd,Xeと、瞳孔端像a’,b’のX座標Xa,Xbを得ることができる。具体的には、輝度が極端に高い座標を角膜反射像Pd’,Pe’の座標として得ることができ、輝度が極端に低い座標を瞳孔端像a’,b’の座標として得ることができる。また、視線結像レンズ29の光軸に対する眼球140の光軸の回転角θxが小さい場合には、瞳孔中心cからの光が視線検出センサー30上に結像して得られる瞳孔中心像c’(瞳孔像の中心)の座標Xcは、Xc≒(Xa+Xb)/2と表すことができる。つまり、瞳孔端像a’,b’のX座標Xa,Xbから、瞳孔中心像c’の座標Xcを算出できる。このようにして、角膜反射像Pd’,Pe’の座標と、瞳孔中心像c’の座標とを見積もることができる。
ステップS804では、CPU3は、眼球像の結像倍率βを算出する。結像倍率βは、視線結像レンズ29に対する眼球140の位置により決まる倍率で、角膜反射像Pd’,Pe’の間隔(Xd−Xe)の関数を用いて求めることができる。
ステップS805では、CPU3は、視線結像レンズ29の光軸に対する眼球140の光軸の回転角を算出する。角膜反射像Pdと角膜反射像Peの中点のX座標と角膜142の曲率中心OのX座標とはほぼ一致する。このため、角膜142の曲率中心Oから瞳孔141の中心cまでの標準的な距離をOcとすると、Z−X平面(Y軸に垂直な平面)内での眼球140の回転角θxは、以下の式1で算出できる。Z−Y平面(X軸に垂直な平面)内での眼球140の回転角θyも、回転角θxの算出方法と同様の方法で算出できる。
β×Oc×SINθx≒{(Xd+Xe)/2}−Xc ・・・(式1)
β×Oc×SINθx≒{(Xd+Xe)/2}−Xc ・・・(式1)
ステップS806では、CPU3は、ステップS805で算出した回転角θx,θyを用いて、表示パネル6に表示された視認用画像におけるユーザーの視点(視線が注がれた位置;ユーザーが見ている位置)を求める(推定する)。視点の座標(Hx,Hy)が瞳孔中心cに対応する座標であるとすると、視点の座標(Hx,Hy)は以下の式2,3で算出できる。
Hx=m×(Ax×θx+Bx)・・・(式2)
Hy=m×(Ay×θy+By)・・・(式3)
Hx=m×(Ax×θx+Bx)・・・(式2)
Hy=m×(Ay×θy+By)・・・(式3)
式2,3のパラメータmは、カメラ1のファインダー光学系(視線結像レンズ29等)の構成で定まる定数であり、回転角θx,θyを視認用画像において瞳孔中心cに対応する座標に変換する変換係数であり、予め決定されてメモリ部4に格納されるとする。パラメータAx,Bx,Ay,Byは、視線の個人差を補正する視線補正パラメータであり、公知のキャリブレーション作業を行うことで取得され、視線検出動作が開始する前にメモリ部4に格納されるとする。
ステップS807では、CPU3は、視点の座標(Hx,Hy)をメモリ部4に格納し、視線検出動作を終える。
なお、視線検出の方法は上記方法に限られない。視線検出に用いられる赤外LEDの数は2つより多くても少なくてもよく、視線検出と接眼検知とで兼用される赤外LED22を含む1つ以上の赤外LEDを用いて、視線検出が行われる。視線検出と接眼検知とで兼用される赤外LEDの数も、2つより多くても少なくてもよい。視線検出に用いられる全ての赤外LEDが接眼検知でも用いられるようにしてもよい。
<接眼検知を含んだカメラ1の動作の説明>
図9は、接眼検知を含んだカメラ1の動作の概略フローチャートを表す。
図9は、接眼検知を含んだカメラ1の動作の概略フローチャートを表す。
図9のステップS901で、赤外LED22は、光源駆動部205からの指示に従って、接眼検知用の発光強度E1で点灯する。このとき、赤外LED18,19,23〜27は、消費電力低減の観点から消灯することが好ましいが、点灯してもよい。接眼検知用の発光強度E1と視線検出用の発光強度E2とを同じとしてもよいが、異ならせてもよい。本実施形態では、発光強度E1は発光強度E2よりも強く設定されているとする。赤外LED22からの赤外光はユーザーに照射され、ユーザーからの拡散反射光は接眼検知センサー50で受光される。
ステップS902では、CPU3は、接眼検知センサー50が受光する反射光量、つまり接眼検知センサー50の受光量(受光強度;受光輝度)が接眼判定閾値Th1を超えているか否かを判定する。接眼判定閾値Th1はメモリ部4に予め格納されている。受光量が接眼判定閾値Th1を超えている場合は、ユーザーが接眼部(ファインダー;覗き口12の部分)に対して接眼したと判断し、ステップS903に進む。一方、受光量が接眼判定閾値Th1を超えていない場合は、ユーザーが接眼部に対して接眼していないと判断し、ステップS902に戻り、受光量が接眼判定閾値Th1を超えるまでステップS902の処理を繰り返す。
ステップS903では、図8で説明したような視線検出動作が行われる。このとき、光源駆動部205からの指示に従って、赤外LED22の発光強度は、接眼検知用の発光強度E1から視線検出用の発光強度E2に制御される。赤外LED18,19,23〜27の少なくともいずれかも点灯してよい。上述したように、本実施形態では、発光強度E1は発光強度E2よりも強い。つまり、赤外LED22の発光強度は、接眼が検知された後に弱められる。
ステップS904では、CPU3は、接眼検知センサー50の受光量(受光強度;受光輝度)が接眼判定閾値Th2を超えているか否かを判定する。接眼判定閾値Th2はメモリ部4に予め格納されている。接眼判定閾値Th1,Th2は、赤外LED22の発光強度に基づいて決められ、本実施形態では発光強度E2は発光強度E1のよりも弱いため、
接眼判定閾値Th2は接眼判定閾値Th1よりも小さく設定される。つまり、接眼判定閾値は、接眼が検知された後に低減される。受光量が接眼判定閾値Th2を超えている場合は、ユーザーが接眼部(ファインダー;覗き口12の部分)に対して接眼したと判断し、ステップS903に進む。一方、受光量が接眼判定閾値Th2を超えていない場合は、ユーザーが接眼部から眼を離した(離眼した)と判断し、図9の動作を終了する。若しくは、ステップS901に戻る。
接眼判定閾値Th2は接眼判定閾値Th1よりも小さく設定される。つまり、接眼判定閾値は、接眼が検知された後に低減される。受光量が接眼判定閾値Th2を超えている場合は、ユーザーが接眼部(ファインダー;覗き口12の部分)に対して接眼したと判断し、ステップS903に進む。一方、受光量が接眼判定閾値Th2を超えていない場合は、ユーザーが接眼部から眼を離した(離眼した)と判断し、図9の動作を終了する。若しくは、ステップS901に戻る。
以上説明したように、本実施形態によれば、1つ以上の光源の少なくとも一部が接眼検知と視線検出で兼用される。具体的には、視線検出用の赤外LED18,19,22〜27のうち、赤外LED22は、接眼検知用の赤外LEDも兼ねている。これにより、視線検出用の光源と接眼検知用の光源とを別々に設ける構成と比較して、より少ない光源で接眼検知機能と視線検出機能を実現できる。その結果、構成の複雑化や装置の大型化を抑制でき、接眼検知機能と視線検出機能を少ない消費電力で実現する電子機器を低コストで提供できる。
視線検出では2次元の眼球像が使用されるため、視線検出センサー30としてCCDやCMOSなどの固体撮像素子を用いる必要がある。一方、接眼検知では、ユーザーからの反射光の光量が所定量に達したか否かを判定できればよいため、接眼検知センサー50として、フォトダイオードなどの低電力で駆動可能なセンサーを用いることができる。本実施形態では、接眼検知センサー50として、視線検出センサー30よりも低電力で駆動可能なセンサーを用いることで、電子機器の消費電力がより低減されている。
赤外LED(光源)の数や配置、種類は特に限定されないが、本実施形態では、近距離を照明する赤外LEDと、遠距離を照明する赤外LEDとを設けることで、眼球が接眼部に近い状態でも遠い状態でも高精度な視線検出が可能にされている。さらに、複数の赤外LEDを設けることで、視線がより確実に検出できるようにされている。具体的には、いずれかの赤外LEDから光が瞼などで遮られて角膜に照射されなくても、他の赤外LEDが角膜を照明することで、視線を検出することができる。
上述のとおり、接眼検知にはユーザーからの拡散光が用いられるのに対して、視線検出には角膜からの正反射光が用いられる。そのため、接眼検知用の光源は高い自由度で配置できるが、視線検出用の光源の配置には制約が多い。一例として、接眼光学系16の右側(接眼光学系16の光軸に垂直なX軸の正方向側)や、左側(X軸の負方向側)に視線検出用の光源を配置する場合を考える。この場合は、接眼光学系16がY軸方向よりもX軸方向に長い形状を有するため、接眼光学系16の光軸から大きく離れた位置に光源が配置されることになる。そうすると、眼球のより外側での正反射光が視線検出センサー30に集光することになるが、光源からの光が瞼でケラレやすく(遮られやすく)なってしまう。特に、ユーザーがカメラ1をZ軸周りに90°回転させて接眼光学系16を覗く、縦位置撮影の際に、上記ケラレは発生しやすい。接眼光学系16をX軸方向に狭めて光源を接眼光学系16の光軸に近づければ、上記ケラレを抑制することができるが、ユーザーの快適性が損なわれる。本実施形態では、接眼検知と視線検出で兼用される赤外LED22を、接眼光学系16の上側(接眼光学系16の光軸に垂直なY軸の正方向側)に配置することで、ユーザーの快適性を損なわず、上記ケラレの発生が抑制されている。なお、赤外LED22を接眼光学系16の下側(Y軸の負方向側)に配置しても同様の効果が得られる。赤外LED18,19,23〜27についても同様である。
視線検出センサー30が受光を行う期間は特に限定されないが、視線検出センサー30は、接眼検知後に受光(動作)を開始することが好ましい。そうすることで、接眼が検知されるまではが視線検出センサー30が駆動されないため、電子機器の消費電力をより低減することができる。
赤外LED18,19,22〜27の発光強度は特に限定されないが、本実施形態では、赤外LED18,19,22〜27の発光強度が制御可能である。このため、視線検出と接眼検知のそれぞれに好適な発光強度で、赤外LED18,19,22〜27を点灯させることが可能である。具体的には、視線検出と接眼検知で兼用される赤外LED22の発光強度は、接眼検知後に弱くなるよう制御される。これにより、接眼検知時は、より遠くに眼がある状態でも接眼を検知でき、視線検出時はより少ない消費電力で視線検出が実行可能となる。なお、赤外LED22の発光強度は、接眼検知後に強くなるよう制御してもよい。そうすることで、接眼検知時はより少ない消費電力で接眼検知が実行可能となり、視線検出時は角膜反射像の強度が強められることで、より外乱に強い視線検出が可能となる。電子機器に求められる性能に応じて、接眼検知用の発光強度と視線検出用の発光強度を設定することが好ましい。赤外LED18,19,23〜27の発光強度も適宜制御してよい。例えば、接眼検知時(視線検出前)に赤外LED18,19,23〜27を消灯したり、視線検出時(接眼検知後)に赤外LED18,19,23〜27の発光強度を赤外LED22と同じ発光強度に制御したりしてもよい。
接眼判定閾値は特に限定されないが、本実施形態では、光源(赤外LED)の発光強度の制御に応じて、接眼判定閾値が制御される。具体的には、赤外LED22の発光強度が接眼検知後に弱められるため、それに合わせて、接眼判定閾値も接眼検知後に低減される。これにより、接眼検知前でも後でも、好適に(高精度に)接眼検知を行うことができる。なお、赤外LED22の発光強度は接眼検知後に強められてもよく、その場合には、接眼判定閾値も接眼検知後に高められることが好ましい。
なお、上述した実施形態(変形例を含む)はあくまで一例であり、本発明の要旨の範囲内で上述した構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。上述した構成を適宜組み合わせて得られる構成も、本発明に含まれる。
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
1:カメラ 30:視線検出センサー 50:接眼検知センサー
18,19,22〜27:赤外LED
18,19,22〜27:赤外LED
Claims (7)
- 接眼部に対する接眼を検知する接眼検知と、ユーザーの視線を検出する視線検出とを実行可能な電子機器であって、
前記接眼検知のために受光する接眼検知センサーと、
前記接眼検知センサーとは別の、前記視線検出のために受光する視線検出センサーと、
前記接眼検知と前記視線検出で兼用される光源を含む1つ以上の光源と
を有することを特徴とする電子機器。 - 前記接眼検知センサーは、前記視線検出センサーよりも低電力で駆動可能である
ことを特徴とする請求項1に記載の電子機器。 - 前記1つ以上の光源は複数の光源である
ことを特徴とする請求項1または2に記載の電子機器。 - 前記接眼部に設けられた接眼光学系は、前記接眼光学系の光軸に垂直な第1方向に比べ、前記光軸に垂直な第2方向に長い形状を有し、
少なくとも前記兼用される光源は、前記接眼光学系から前記第1方向の側に配置されることを特徴とする請求項1〜3のいずれか1項に記載の電子機器。 - 前記視線検出センサーは、前記接眼検知により前記接眼が検知された後に、受光を開始する
ことを特徴とする請求項1〜4のいずれか1項に記載の電子機器。 - 少なくとも前記兼用される光源の発光強度を制御する制御手段をさらに有し、
前記制御手段は、前記接眼検知により前記接眼が検知された後に、前記発光強度を制御する
ことを特徴とする請求項1〜5のいずれか1項に記載の電子機器。 - 前記接眼検知では、前記接眼検知センサーの受光量が閾値を超えた状態が、前記接眼として検知され、
前記制御手段は、前記発光強度の制御に応じて、前記閾値を制御する
ことを特徴とする請求項6に記載の電子機器。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020072186A JP2021170699A (ja) | 2020-04-14 | 2020-04-14 | 電子機器 |
CN202180028226.0A CN115427883A (zh) | 2020-04-14 | 2021-01-27 | 电子装置 |
PCT/JP2021/002814 WO2021210235A1 (ja) | 2020-04-14 | 2021-01-27 | 電子機器 |
US17/954,470 US20230013134A1 (en) | 2020-04-14 | 2022-09-28 | Electronic device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020072186A JP2021170699A (ja) | 2020-04-14 | 2020-04-14 | 電子機器 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021170699A true JP2021170699A (ja) | 2021-10-28 |
JP2021170699A5 JP2021170699A5 (ja) | 2023-05-01 |
Family
ID=78084105
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020072186A Pending JP2021170699A (ja) | 2020-04-14 | 2020-04-14 | 電子機器 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230013134A1 (ja) |
JP (1) | JP2021170699A (ja) |
CN (1) | CN115427883A (ja) |
WO (1) | WO2021210235A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023062979A1 (ja) * | 2021-10-14 | 2023-04-20 | キヤノン株式会社 | 電子機器および撮像装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2948975B2 (ja) * | 1992-03-13 | 1999-09-13 | オリンパス光学工業株式会社 | 視線検出装置 |
JPH07199047A (ja) * | 1993-12-30 | 1995-08-04 | Canon Inc | 視線検出機能付カメラ |
JPH09253050A (ja) * | 1996-03-26 | 1997-09-30 | Canon Inc | 視線検出装置及び視線検出機能付撮像装置 |
JPH09262209A (ja) * | 1996-03-28 | 1997-10-07 | Canon Inc | 視線検出手段,接眼検出手段を備えた撮像装置 |
JP2004012503A (ja) * | 2002-06-03 | 2004-01-15 | Canon Inc | カメラ |
JP2004215062A (ja) * | 2003-01-07 | 2004-07-29 | Minolta Co Ltd | 撮像装置 |
-
2020
- 2020-04-14 JP JP2020072186A patent/JP2021170699A/ja active Pending
-
2021
- 2021-01-27 WO PCT/JP2021/002814 patent/WO2021210235A1/ja active Application Filing
- 2021-01-27 CN CN202180028226.0A patent/CN115427883A/zh active Pending
-
2022
- 2022-09-28 US US17/954,470 patent/US20230013134A1/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023062979A1 (ja) * | 2021-10-14 | 2023-04-20 | キヤノン株式会社 | 電子機器および撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
CN115427883A (zh) | 2022-12-02 |
WO2021210235A1 (ja) | 2021-10-21 |
US20230013134A1 (en) | 2023-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11650660B2 (en) | Electronic device, control method, and non-transitory computer readable medium | |
JP2004326118A (ja) | アイスタート能力を組み込んだ機器 | |
WO2021210235A1 (ja) | 電子機器 | |
US11822714B2 (en) | Electronic device and control method for capturing an image of an eye | |
US20220329740A1 (en) | Electronic apparatus, method for controlling electronic apparatus, and non-transitory computer readable storage medium | |
WO2021210225A1 (ja) | 電子機器 | |
US11971552B2 (en) | Electronic device, method of controlling the same, and storage medium | |
JP2021182736A (ja) | 電子機器 | |
JP2022124778A (ja) | 電子機器 | |
WO2021085541A1 (ja) | 撮像装置、電子機器、ファインダーユニット | |
US20230224561A1 (en) | Display apparatus, finder apparatus, and imaging apparatus | |
US20230092593A1 (en) | Detection device detecting gaze point of user, control method therefor, and storage medium storing control program therefor | |
US20220108658A1 (en) | Display device, photoelectric conversion device, electronic device, moving body, and wearable device | |
US20240114228A1 (en) | Line-of-sight detecting apparatus, image pickup apparatus, line-of-sight detecting method, and storage medium | |
JP2021076832A (ja) | 撮像装置、電子機器、ファインダーユニット | |
JP2023083695A (ja) | 電子機器 | |
JP2024003432A (ja) | 電子機器 | |
JP2022096819A (ja) | 視線検出装置 | |
JP2022187913A (ja) | 表示装置、撮像装置、表示装置の制御方法、プログラム、および記録媒体 | |
JP2023063023A (ja) | 電子機器及び電子機器の制御方法 | |
JP2023087377A (ja) | 視線検出装置 | |
JP3437343B2 (ja) | 視線検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230410 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230410 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240328 |