JP2021170045A

JP2021170045A - 電子機器

Info

Publication number: JP2021170045A
Application number: JP2020072109A
Authority: JP
Inventors: 英明山本; Hideaki Yamamoto
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2020-04-14
Filing date: 2020-04-14
Publication date: 2021-10-28
Anticipated expiration: 2040-04-14
Also published as: WO2021210225A1; JP7446898B2; US20230030103A1

Abstract

【課題】接眼検知と視線検出を高精度に行うことのできる電子機器を提供する。【解決手段】本発明の電子機器は、接眼部に対する接眼を検知する接眼検知と、ユーザーの視線を検出する視線検出とを実行可能な電子機器であって、前記接眼検知のために発光する第１光源と、前記視線検出のために受光する第２光源と、前記接眼検知のために受光する接眼検知センサーと、前記視線検出のために受光する視線検出センサーとを有し、前記第１光源が発する光のピーク波長である第１波長は、前記第２光源が発する光のピーク波長である第２波長と異なることを特徴とする。【選択図】図１０

Description

本発明は、視線検出機能を有する電子機器に関する。

視線検出機能でユーザーの視線（視線方向）を検出し、視線の検出結果に基づいて測距点選択などを行うことが可能なカメラ（ビデオカメラを含む）が実用化されている。さらに、ユーザーがファインダー（接眼部）に接眼したときのみ視線検出機能が有効となるように、接眼検知機能を有するカメラも実用化されている。

特許文献１には、視線検出のための発光ダイオード、視線検出センサーとは別に、接眼検知のための発光ダイオード、接眼検知センサーを設けることで、視線検出機能と接眼検知機能を実現する技術が開示されている。特許文献２には、複数の発光ダイオードを時分割で順次発光させることで、ユーザーの眼における複数の輝点をそれぞれ一意に特定する技術が開示されている。さらに、複数の輝点を異なる形状とすることで、複数の輝点を一意に特定する技術も開示されている。

特開平７−１９９０４７号公報特開２０１６―１２７５８７号公報

しかしながら、特許文献１に開示された従来技術では、接眼検知のための発光ダイオードによる輝点と、視線検出のための発光ダイオードによる輝点とを判別できず、視線検出を高精度に行えないことがある。特許文献２に開示された従来技術では、複数の発光ダイオードを時分割で発光させると、視線検出の時間分解能が低くなってしまう。複数の輝点を異なる形状とすると、輝点の判別のための画像処理が複雑となってしまう。さらに、不要光などの影響で輝点の形状が崩れ、視線検出を高精度に行えないことがある。

本発明は、接眼検知と視線検出を高精度に行うことのできる電子機器を提供することを目的とする。

本発明の電子機器は、接眼部に対する接眼を検知する接眼検知と、ユーザーの視線を検出する視線検出とを実行可能な電子機器であって、前記接眼検知のために発光する第１光源と、前記視線検出のために受光する第２光源と、前記接眼検知のために受光する接眼検知センサーと、前記視線検出のために受光する視線検出センサーとを有し、前記第１光源が発する光のピーク波長である第１波長は、前記第２光源が発する光のピーク波長である第２波長と異なることを特徴とする。

本発明によれば、接眼検知と視線検出を高精度に行うことができる。

本実施形態に係るカメラの外観図である。本実施形態に係るカメラのブロック図である。本実施形態に係るカメラの断面図である。本実施形態に係るカメラのＥＶＦ部分を示す図である。本実施形態に係る赤外ＬＥＤから発せられた光の光路を示す図である。本実施形態に係る視線検出方法の原理を説明するための図である。本実施形態に係る眼画像を示す図である。本実施形態に係る視線検出動作のフローチャートである。本実施形態に係る接眼検知を含む動作のフローチャートである。本実施形態に係る赤外ＬＥＤの分光特性などを示す図である。

以下、添付の図面を参照して本発明の好適な実施形態を説明する。

＜構成の説明＞
図１（ａ），１（ｂ）は、本実施形態に係るカメラ１（デジタルスチルカメラ；レンズ交換式カメラ）の外観を示す。なお、本発明は、画像、文字等の情報を表示するデバイスや、接眼光学系を通して光学像を視認するユーザーの視線を検出することが可能な任意の電子機器にも適用可能である。これらの電子機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末、ヘッドマウントディスプレイ、双眼鏡などが含まれてよい。

図１（ａ）は正面斜視図であり、図１（ｂ）は背面斜視図である。図１（ａ）に示すように、カメラ１は、撮影レンズユニット１Ａ及びカメラ筐体１Ｂを有する。カメラ筐体１Ｂには、ユーザー（撮影者）からの撮像操作を受け付ける操作部材であるレリーズボタン３４が配置されている。図１（ｂ）に示すように、カメラ筐体１Ｂの背面には、カメラ筐体１Ｂ内に含まれている後述の表示パネル６をユーザーが覗き込むための接眼窓枠１２１が配置されている。接眼窓枠１２１は覗き口１２を形成し、カメラ筐体１Ｂに対しては外側（背面側）に突出している。カメラ筐体１Ｂの背面には、ユーザーからの各種操作を受け付ける操作部材４１〜４３も配置されている。例えば、操作部材４１はタッチ操作を受け付けるタッチパネルであり、操作部材４２は各方向に押し倒し可能な操作レバーであり、操作部材４３は４方向のそれぞれに押し込み可能な４方向キーである。操作部材４１（タッチパネル）は、液晶パネル等の表示パネルを備えており、表示パネルで画像を表示する機能を有する。

図２は、カメラ１内の構成を示すブロック図である。

撮像素子２は例えばＣＣＤやＣＭＯＳセンサー等の撮像素子であり、撮影レンズユニット１Ａの光学系により撮像素子２の撮像面上に結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部（不図示）に出力する。Ａ／Ｄ変換部は、撮像素子２により得られたアナログ画像信号をＡ／Ｄ変換し、画像データとして出力する。

撮影レンズユニット１Ａは、ズームレンズ、フォーカスレンズ、絞り等を含む光学系で構成され、カメラ筐体１Ｂに装着された状態で、被写体からの光を撮像素子２に導き、被写体像を撮像素子２の撮像面上に結像する。絞り制御部１１８、焦点調節部１１９、ズーム制御部１２０は、それぞれマウント接点１１７を介してＣＰＵ３からの指示信号を受信し、該指示信号に従い、絞り、フォーカスレンズ、ズームレンズを駆動制御する。

カメラ筐体１Ｂが備えるＣＰＵ３は、カメラ筐体１Ｂが備える各ブロックに対する制御プログラムをメモリ部４の有するＲＯＭより読み出し、メモリ部４の有するＲＡＭに展開して実行する。これによりＣＰＵ３は、カメラ筐体１Ｂが備える各ブロックの動作を制御する。ＣＰＵ３には、視線検出部２０１、測光部２０２、自動焦点検出部２０３、信号入
力部２０４、接眼検知部２０８、表示デバイス駆動部２１０、光源駆動部２０５等が接続されている。また、ＣＰＵ３は、撮影レンズユニット１Ａ内に配置された絞り制御部１１８、焦点調節部１１９、ズーム制御部１２０に、マウント接点１１７を介して信号を伝達する。本実施形態では、メモリ部４は、撮像素子２および視線検出センサー３０からの撮像信号の記憶機能を備える。

視線検出部２０１は、視線検出センサー３０上に眼球像が結像した状態での視線検出センサー３０の出力（眼を撮像した眼画像）をＡ／Ｄ変換し、その結果をＣＰＵ３に送信する。ＣＰＵ３は、後述する所定のアルゴリズムに従って眼画像から視線検出に必要な特徴点を抽出し、特徴点の位置からユーザーの視線（視認用画像における視点）を算出する。

接眼検知部２０８は、接眼検知センサー５０の出力をＣＰＵ３に送信する。ＣＰＵ３は、後述する所定のアルゴリズムに従ってユーザーが接眼部（ファインダー；覗き口１２の部分）に対して接眼したか否かを算出する。

測光部２０２は、測光センサーの役割を兼ねた撮像素子２から得られる信号、具体的には被写界の明るさに対応した輝度信号の増幅、対数圧縮、Ａ／Ｄ変換等を行い、その結果を被写界輝度情報としてＣＰＵ３に送る。

自動焦点検出部２０３は、撮像素子２（例えばＣＣＤ）の中に含まれる、位相差検出のために使用される複数の検出素子（複数の画素）からの信号電圧をＡ／Ｄ変換し、ＣＰＵ３に送る。ＣＰＵ３は、複数の検出素子の信号から、各焦点検出ポイントに対応する被写体までの距離を演算する。これは撮像面位相差ＡＦとして知られる公知の技術である。本実施形態では、一例として、ファインダー内の視野像（視認用画像）を分割し、撮像面上の分割された１８０か所のそれぞれに、焦点検出ポイントがあるとする。

光源駆動部２０５は、ＣＰＵ３からの信号（指示）に基づいて、後述する赤外ＬＥＤ１８，１９，２２〜２７，５３を駆動する。赤外ＬＥＤ１８，１９，２２〜２７は視線検出用の光源であり、赤外ＬＥＤ５３は接眼検知用の光源である。なお、赤外ＬＥＤ以外の光源が使用されてもよい。

画像処理部２０６は、ＲＡＭに格納されている画像データに対して、各種画像処理を行う。例えば、光学系や撮像素子に起因する画素欠陥の補正処理、デモザイキング処理、ホワイトバランス補正処理、色補間処理、ガンマ処理など、デジタル画像データを現像し表示・記録するための様々な画像処理が行われる。

信号入力部２０４には、スイッチＳＷ１とスイッチＳＷ２が接続されている。スイッチＳＷ１は、カメラ１の測光、測距、視線検出動作等を開始するためのスイッチであり、レリーズボタン３４の第１ストロークでＯＮする。スイッチＳＷ２は、撮影動作を開始するためのスイッチであり、レリーズボタン３４の第２ストロークでＯＮする。スイッチＳＷ１，ＳＷ２からのＯＮ信号は信号入力部２０４に入力され、ＣＰＵ３に送信される。また信号入力部２０４は、図１（ｂ）の操作部材４１（タッチパネル）、操作部材４２（操作レバー）、操作部材４３（４方向キー）からの操作入力も受け付ける。

記録／出力部２０７は、着脱可能なメモリカード等の記録媒体に画像データを含むデータを記録、またはこれらのデータを外部インターフェースを介して外部装置に出力する。

表示デバイス駆動部２１０は、ＣＰＵ３からの信号に基づいて、表示デバイス２０９を駆動する。表示デバイス２０９は、後述する表示パネル５，６である。

図３は、図１（ａ）に示したＹ軸とＺ軸が成すＹＺ平面でカメラ１を切断した断面図であり、カメラ１の構成を概念的に示した図である。

シャッター３２と撮像素子２は撮影レンズユニット１Ａの光軸方向に順に並ぶ。

カメラ筐体１Ｂの背面には表示パネル５が設けられ、表示パネル５は、カメラ１の操作やカメラ１で得られた画像の鑑賞・編集のために、メニュー表示や画像表示を行う。表示パネル５は、バックライト付きの液晶パネルや、有機ＥＬパネル等で構成される。

カメラ筐体１Ｂに設けられたＥＶＦは、通常のＥＶＦとして表示パネル５のようにメニューや画像の表示が行えることに加えて、ＥＶＦを覗くユーザーの視線を検出し、検出結果をカメラ１の制御に反映することが可能な構成となっている。

表示パネル６は、ユーザーがファインダーを覗いているときに、表示パネル５と同様の表示（カメラ１の操作やカメラ１で得られた画像の鑑賞・編集のためのメニュー表示や画像表示）を行う。表示パネル６は、バックライト付きの液晶パネルや、有機ＥＬパネル等で構成される。表示パネル６は一般的なカメラにおける撮影画像と同様に、３：２や４：３、１６：９といったＸ軸方向（水平方向）のサイズがＹ軸方向（垂直方向）のサイズよりも長い長方形で構成される。

パネルホルダー７は表示パネル６を保持するパネルホルダーで、表示パネル６とパネルホルダー７は接着固定され、表示パネルユニット８を構成している。

第一光路分割プリズム９、第二光路分割プリズム１０は貼り付け接着されて光路分割プリズムユニット１１（光路分割部材）を構成している。光路分割プリズムユニット１１は、表示パネル６からの光を覗き口１２に設けられたアイピース窓１７に導き、逆にアイピース窓１７から導かれる目（瞳）からの反射光などを視線検出センサー３０に導く。光路分割プリズムユニット１１には誘電体多層膜が形成されており、光路分割プリズムユニット１１は、接眼検知用の赤外ＬＥＤ５３から発せられる光のピーク波長と同じ波長の光が視線検出センサー３０側に透過するのを、誘電体多層膜により抑制する。

表示パネルユニット８と光路分割プリズムユニット１１は、マスク３３を挟んで固定され、一体形成されている。

接眼光学系１６は、Ｇ１レンズ１３、Ｇ２レンズ１４、Ｇ３レンズ１５により構成される。

アイピース窓１７は、可視光を透過する透明な部材である。表示パネルユニット８に表示された画像は、光路分割プリズムユニット１１と接眼光学系１６とアイピース窓１７を通して観察される。

照明窓２０，２１は、赤外ＬＥＤ１８，１９，２２〜２７が外から視認できないように隠すための窓で、可視光を吸収し赤外光を透過する樹脂で構成されている。

図４（ａ）は、カメラ１のＥＶＦ部分の構成を示す斜視図、図４（ｂ）はＥＶＦ部分の光軸の横断面図である。

赤外ＬＥＤ１８，１９，２３，２５は近距離照明用の赤外ＬＥＤである。赤外ＬＥＤ２２，２４，２６，２７は遠距離照明用の赤外ＬＥＤである。絞り２８、視線結像レンズ２９を含む視線検出光学系は、光路分割プリズムユニット１１によってアイピース窓１７か
ら導かれた赤外反射光を、視線検出センサー３０に導く。視線検出センサー３０は、ＣＣＤやＣＭＯＳなどの固体撮像素子で構成される。

接眼検知センサー５０は、視線検出センサー３０よりも低電力で駆動可能なフォトダイオードなどで構成される。接眼検知用の赤外ＬＥＤ５３はユーザーに光を照射し、接眼検知センサー５０は、ユーザーからの拡散反射光（赤外ＬＥＤ５３から発せられユーザーで拡散反射した拡散反射光）を受光する。赤外線吸収フィルター５２は接眼検知センサー５０の前に配置され、視線検出用の赤外ＬＥＤ１８，１９，２２〜２７から発せられる光のピーク波長と同じ波長の光が接眼検知センサー５０側に透過するのを抑制する。

図１０（ａ）は、赤外ＬＥＤの分光特性を示す図である。発光特性７０は接眼検知用の赤外ＬＥＤ５３の分光特性である。発光特性７１は、視線検出用の赤外ＬＥＤ１８，１９，２２〜２７の分光特性である。図１０（ａ）に示す通り、視線検出用の赤外ＬＥＤ１８，１９，２２〜２７と、接眼検知用の赤外ＬＥＤ５３とで、発光のピーク波長が異なる。また、接眼検知用の赤外ＬＥＤ５３のピーク波長は、視線検出用の赤外ＬＥＤ１８，１９，２２〜２７のピーク波長より短波長側となっている。本実施形態では、接眼検知用の赤外ＬＥＤ５３のピーク波長は８５０ｎｍであり、視線検出用の赤外ＬＥＤ１８，１９，２２〜２７のピーク波長は１０００ｎｍであるとする。さらに、接眼検知用の赤外ＬＥＤ５３のピーク波長における分光全放射束は、視線検出用の赤外ＬＥＤ１８，１９，２２〜２７のピーク波長における分光全放射束より強くなっている。

図１０（ｂ）は光学部材の分光透過率を示す図である。透過特性７２は、赤外線吸収フィルター５２の分光透過率を示している。図１０（ｂ）に示す通り、赤外線吸収フィルター５２は、視線検出用の赤外ＬＥＤ１８，１９，２２〜２７のピーク波長を有する光の透過を抑制している。透過特性７３は、光路分割プリズムユニット１１にユーザー側から入射した光が視線検出センサー３０側へ透過する際の光の分光透過率（光路分割プリズムユニット１１に形成された誘電体多層膜の分光透過率）を示している。図１１（ｂ）に示す通り、光路分割プリズムユニット１１（誘電体多層膜）は、接眼検知用の赤外ＬＥＤ５３のピーク波長を有する光の透過を抑制する。

ここで、赤外ＬＥＤ１８，１９，２２〜２７の少なくともいずれかから、ファインダーを覗いているユーザーの眼球に光が照射された場合を考える。この場合は、図４（ｂ）の光路３１ａで示すように、光が照射された眼球の光学像（眼球像）が、アイピース窓１７、Ｇ３レンズ１５、Ｇ２レンズ１４、Ｇ１レンズ１３を通り、第二光路分割プリズム１０の第２面１０ａから第二光路分割プリズム１０内に入る。第二光路分割プリズムの第１面１０ｂには、赤外光を反射する誘電体多層膜が形成されており、反射光路３１ｂで示すように、第二光路分割プリズム１０内に入った眼球像は、第１面１０ｂで、第２面１０ａの側に反射される。そして、結像光路３１ｃで示すように、反射された眼球像は、第２面１０ａで全反射され、第二光路分割プリズム１０の第３面１０ｃから第二光路分割プリズム１０外へ出て、絞り２８を通り、視線結像レンズ２９により視線検出センサー３０に結像される。視線検出には、このような眼球像と共に、赤外ＬＥＤから発せられた光が角膜で正反射して形成された角膜反射像が用いられる。

図５は、近距離照明用の赤外ＬＥＤ１８，１９，２３，２５から発せられた光が眼球の角膜３７で正反射し、視線検出センサー３０で受光されるまでの光路の例を示す。

＜視線検出動作の説明＞
図６，７（ａ），７（ｂ），８を用いて、視線検出方法について説明する。ここでは、赤外ＬＥＤ１８，１９，２２〜２７のうちの２つ（図６の赤外ＬＥＤ５１ａ，５１ｂ）を用いた例について説明する。図６は、視線検出方法の原理を説明するための図であり、視
線検出を行うための光学系の概略図である。図６に示すように、赤外ＬＥＤ５１ａ，５１ｂはユーザーの眼球１４０に赤外光を照射する。赤外ＬＥＤ５１ａ，５１ｂから発せられて眼球１４０で反射した赤外光の一部は、視線結像レンズ２９によって、視線検出センサー３０近傍に結像される。図６では、視線検出方法の原理が理解しやすいよう、赤外ＬＥＤ５１ａ，５１ｂ、視線結像レンズ２９、視線検出センサー３０の位置が調整されている。

図７（ａ）は、視線検出センサー３０で撮像された眼画像（視線検出センサー３０に投影された眼球像）の概略図であり、図７（ｂ）は視線検出センサー３０（例えばＣＣＤ）の出力強度を示す図である。図８は、視線検出動作の概略フローチャートを表す。

視線検出動作が開始すると、図８のステップＳ８０１で、赤外ＬＥＤ５１ａ，５１ｂは、光源駆動部２０５からの指示に従って、ユーザーの眼球１４０に向けて赤外光を発する。赤外光によって照明されたユーザーの眼球像は、視線結像レンズ２９（受光レンズ）を通して視線検出センサー３０上に結像され、視線検出センサー３０により光電変換される。これにより、処理可能な眼画像の電気信号が得られる。

ステップＳ８０２では、視線検出部２０１（視線検出回路）は、視線検出センサー３０から得られた眼画像（眼画像信号；眼画像の電気信号）をＣＰＵ３に送る。

ステップＳ８０３では、ＣＰＵ３は、ステップＳ８０２で得られた眼画像から、赤外ＬＥＤ５１ａ，５１ｂの角膜反射像Ｐｄ，Ｐｅと瞳孔中心ｃに対応する点の座標を求める。

赤外ＬＥＤ５１ａ，５１ｂより発せられた赤外光は、ユーザーの眼球１４０の角膜１４２を照明する。このとき、角膜１４２の表面で反射した赤外光の一部により形成される角膜反射像Ｐｄ，Ｐｅは、視線結像レンズ２９により集光され、視線検出センサー３０上に結像して、眼画像における角膜反射像Ｐｄ’，Ｐｅ’となる。同様に瞳孔１４１の端部ａ，ｂからの光も視線検出センサー３０上に結像して、眼画像における瞳孔端像ａ’，ｂ’となる。

図７（ｂ）は、図７（ａ）の眼画像における領域α’の輝度情報（輝度分布）を示す。図７（ｂ）では、眼画像の水平方向をＸ軸方向、垂直方向をＹ軸方向とし、Ｘ軸方向の輝度分布が示されている。本実施形態では、角膜反射像Ｐｄ’，Ｐｅ’のＸ軸方向（水平方向）の座標をＸｄ，Ｘｅとし、瞳孔端像ａ’，ｂ’のＸ軸方向の座標をＸａ，Ｘｂとする。図７（ｂ）に示すように、角膜反射像Ｐｄ’，Ｐｅ’の座標Ｘｄ，Ｘｅでは、極端に高いレベルの輝度が得られる。瞳孔１４１の領域（瞳孔１４１からの光が視線検出センサー３０上に結像して得られる瞳孔像の領域）に相当する、座標Ｘａから座標Ｘｂまでの領域では、座標Ｘｄ，Ｘｅを除いて、極端に低いレベルの輝度が得られる。そして、瞳孔１４１の外側の虹彩１４３の領域（虹彩１４３からの光が結像して得られる、瞳孔像の外側の虹彩像の領域）では、上記２種の輝度の中間の輝度が得られる。具体的には、Ｘ座標（Ｘ軸方向の座標）が座標Ｘａより小さい領域と、Ｘ座標が座標Ｘｂより大きい領域とで、上記２種の輝度の中間の輝度が得られる。

図７（ｂ）に示すような輝度分布から、角膜反射像Ｐｄ’，Ｐｅ’のＸ座標Ｘｄ，Ｘｅと、瞳孔端像ａ’，ｂ’のＸ座標Ｘａ，Ｘｂを得ることができる。具体的には、輝度が極端に高い座標を角膜反射像Ｐｄ’，Ｐｅ’の座標として得ることができ、輝度が極端に低い座標を瞳孔端像ａ’，ｂ’の座標として得ることができる。また、視線結像レンズ２９の光軸に対する眼球１４０の光軸の回転角θｘが小さい場合には、瞳孔中心ｃからの光が視線検出センサー３０上に結像して得られる瞳孔中心像ｃ’（瞳孔像の中心）の座標Ｘｃは、Ｘｃ≒（Ｘａ＋Ｘｂ）／２と表すことができる。つまり、瞳孔端像ａ’，ｂ’のＸ座
標Ｘａ，Ｘｂから、瞳孔中心像ｃ’の座標Ｘｃを算出できる。このようにして、角膜反射像Ｐｄ’，Ｐｅ’の座標と、瞳孔中心像ｃ’の座標とを見積もることができる。

ステップＳ８０４では、ＣＰＵ３は、眼球像の結像倍率βを算出する。結像倍率βは、視線結像レンズ２９に対する眼球１４０の位置により決まる倍率で、角膜反射像Ｐｄ’，Ｐｅ’の間隔（Ｘｄ−Ｘｅ）の関数を用いて求めることができる。

ステップＳ８０５では、ＣＰＵ３は、視線結像レンズ２９の光軸に対する眼球１４０の光軸の回転角を算出する。角膜反射像Ｐｄと角膜反射像Ｐｅの中点のＸ座標と角膜１４２の曲率中心ＯのＸ座標とはほぼ一致する。このため、角膜１４２の曲率中心Ｏから瞳孔１４１の中心ｃまでの標準的な距離をＯｃとすると、Ｚ−Ｘ平面（Ｙ軸に垂直な平面）内での眼球１４０の回転角θｘは、以下の式１で算出できる。Ｚ−Ｙ平面（Ｘ軸に垂直な平面）内での眼球１４０の回転角θｙも、回転角θｘの算出方法と同様の方法で算出できる。
β×Ｏｃ×ＳＩＮθｘ≒｛（Ｘｄ＋Ｘｅ）／２｝−Ｘｃ・・・（式１）

ステップＳ８０６では、ＣＰＵ３は、ステップＳ８０５で算出した回転角θｘ，θｙを用いて、表示パネル６に表示された視認用画像におけるユーザーの視点（視線が注がれた位置；ユーザーが見ている位置）を求める（推定する）。視点の座標（Ｈｘ，Ｈｙ）が瞳孔中心ｃに対応する座標であるとすると、視点の座標（Ｈｘ，Ｈｙ）は以下の式２，３で算出できる。
Ｈｘ＝ｍ×（Ａｘ×θｘ＋Ｂｘ）・・・（式２）
Ｈｙ＝ｍ×（Ａｙ×θｙ＋Ｂｙ）・・・（式３）

式２，３のパラメータｍは、カメラ１のファインダー光学系（視線結像レンズ２９等）の構成で定まる定数であり、回転角θｘ，θｙを視認用画像において瞳孔中心ｃに対応する座標に変換する変換係数であり、予め決定されてメモリ部４に格納されるとする。パラメータＡｘ，Ｂｘ，Ａｙ，Ｂｙは、視線の個人差を補正する視線補正パラメータであり、公知のキャリブレーション作業を行うことで取得され、視線検出動作が開始する前にメモリ部４に格納されるとする。

ステップＳ８０７では、ＣＰＵ３は、視点の座標（Ｈｘ，Ｈｙ）をメモリ部４に格納し、視線検出動作を終える。

＜接眼検知を含んだカメラ１の動作の説明＞
図９は、接眼検知を含んだカメラ１の動作の概略フローチャートを表す。

図９のステップＳ９０１で、接眼検知用の赤外ＬＥＤ５３は、光源駆動部２０５からの指示に従って点灯する。赤外ＬＥＤ５３からの赤外光はユーザーに照射され、ユーザーからの拡散反射光は接眼検知センサー５０で受光される。

ステップＳ９０２では、ＣＰＵ３は、接眼検知センサー５０が受光する反射光量、つまり接眼検知センサー５０の受光量（受光強度；受光輝度）が接眼判定閾値Ｔｈを超えているか否かを判定する。接眼判定閾値Ｔｈはメモリ部４に予め格納されている。受光量が接眼判定閾値Ｔｈを超えている場合は、ユーザーが接眼部（ファインダー；覗き口１２の部分）に対して接眼したと判断し、ステップＳ９０３に進む。一方、受光量が接眼判定閾値Ｔｈを超えていない場合は、ユーザーが接眼部に対して接眼していないと判断し、ステップＳ９０２に戻り、受光量が接眼判定閾値Ｔｈを超えるまでステップＳ９０２の処理を繰り返す。

ステップＳ９０３では、図８で説明したような視線検出動作が行われる。

ステップＳ９０４では、ＣＰＵ３は、接眼検知センサー５０の受光量（受光強度；受光輝度）が接眼判定閾値Ｔｈを超えているか否かを判定する。受光量が接眼判定閾値Ｔｈを超えている場合は、ユーザーが接眼部に対して接眼したと判断し、ステップＳ９０３に進む。一方、受光量が接眼判定閾値Ｔｈを超えていない場合は、ユーザーが接眼部から眼を離した（離眼した）と判断し、図９の動作を終了する。若しくは、ステップＳ９０１に戻る。

以上説明したように、本実施形態によれば、視線検出用の赤外ＬＥＤ１８，１９，２２〜２７と、接眼検知用の赤外ＬＥＤ５３とで、発光のピーク波長が異なる。これにより、視線検出用の赤外ＬＥＤ１８，１９，２２〜２７からの光と、接眼検知用の赤外ＬＥＤ５３と赤外ＬＥＤ５３からの光とが容易に区別でき、接眼検知と視線検出が高精度に実行可能となる。例えば、視線検出用の複数の赤外ＬＥＤを時分割で発光させると、視線検出の時間分解能が低くなるが、本実施形態では、複数の赤外ＬＥＤを時分割で発光させる必要が無いため、視線検出の時間分解能は低下しない。複数の赤外ＬＥＤによる複数の輝点を異なる形状とすると、輝点の判別のための画像処理が煩雑となるが、本実施形態では、複数の輝点を異なる形状にする必要が無いため、画像処理は煩雑にならない（簡易である）。さらに、輝点の形状は不要光などの影響で崩れることがあるが、上記ピーク波長は不要光などの影響を受けにくい。

本実施形態では、光路分割プリズムユニット１１を、接眼検知用の赤外ＬＥＤ５３のピーク波長を有する光の透過を抑制するように構成した。これにより、接眼検知用の赤外ＬＥＤ５３からの光を視線検出センサー３０が受光することを抑制でき、より高精度に視線検出を行うことが可能となる。なお、赤外ＬＥＤ５３のピーク波長を有する光の透過を抑制するように光路分割プリズムユニット１１を構成する例を説明したが、これに限られない。例えば、視線検出センサー３０とユーザーの間にある他の光学部材を、赤外ＬＥＤ５３のピーク波長を有する光の透過を抑制するように構成してもよい。赤外ＬＥＤ５３の発光波長域の受光感度が低いセンサーを、視線検出センサー３０として用いてもよい。この場合は、視線検出センサー３０の工夫（赤外ＬＥＤ５３の発光波長域の受光感度を低減するための工夫）が必要となるが、光学部材の工夫（赤外ＬＥＤ５３のピーク波長を有する光の透過を抑制する工夫）を省略できるというメリットがある。

本実施形態では、接眼検知用の赤外ＬＥＤ５３のピーク波長を有する光の透過を抑制するために、光路分割プリズムユニット１１に誘電体多層膜を形成した。誘電体多層膜では、熱吸収フィルターなどの光学部材と比較して、波長の変化に対する透過率の変化が大きい。このため、視線検出のための赤外線が表示パネル６側に透過することを抑制でき、視線検出の光量低下を抑制できる。

本実施形態では、赤外線吸収フィルター５２を、視線検出用の赤外ＬＥＤ１８，１９，２２〜２７のピーク波長を有する光の透過を抑制するように構成した。これにより、視線検出用の赤外ＬＥＤ１８，１９，２２〜２７からの光を接眼検知センサー５０が受光することを抑制でき、より高精度に接眼検知を行うことが可能となる。なお、赤外線吸収フィルター５２を用いることで、誘電体多層膜などを用いるよりも低コストで上記効果を得ることができる。なお、赤外ＬＥＤ１８，１９，２２〜２７のピーク波長を有する光の透過を抑制するように赤外線吸収フィルター５２を構成する例を説明したが、これに限られない。例えば、接眼検知センサー５０とユーザーの間にある他の光学部材を、赤外ＬＥＤ１８，１９，２２〜２７のピーク波長を有する光の透過を抑制するように構成してもよい。赤外ＬＥＤ１８，１９，２２〜２７の発光波長域の受光感度が低いセンサーを、接眼検知センサー５０として用いてもよい。この場合は、接眼検知センサー５０の工夫（赤外ＬＥＤ１８，１９，２２〜２７の発光波長域の受光感度を低減するための工夫）が必要となる
。その代わり、光学部材の工夫（赤外ＬＥＤ１８，１９，２２〜２７のピーク波長を有する光の透過を抑制する工夫）を省略できるというメリットがある。

上述したピーク波長は特に限定されないが、本実施形態では、接眼検知用の赤外ＬＥＤ５３のピーク波長を、視線検出用の赤外ＬＥＤ１８，１９，２２〜２７のピーク波長より短波長側とした。これにより、視線検出に用いる波長域を、可視域からより離れた波長域とすることができる。光路分割プリズムユニット１１は、ユーザー側から入射した光のうち可視光を表示パネルユニット８側へ透過し、赤外光を視線検出センサー３０側へ透過する。一般的に、特定の波長を境に透過率が０％から１００％に切り替わるように光学部材を構成することは困難で、図１０（ｂ）に示すように、透過率は波長の変化に対して徐々に変化する。視線検出に用いる波長域を、ユーザーが表示パネル６を視認するために必要な可視域から離すことで、表示パネル６を視認するために必要な可視域の光が視線検出センサー３０側に透過することをより抑制した構成が可能となる。その結果、ユーザーが表示パネル６を見る際の光量低下を抑制できる。さらに、視線検出のための赤外線が表示パネル６側に透過することを抑制でき、視線検出の光量低下を抑制できる。

分光全放射束は特に限定されないが、本実施形態では、接眼検知用の赤外ＬＥＤ５３のピーク波長における分光全放射束を、視線検出用の赤外ＬＥＤ１８，１９，２２〜２７のピーク波長における分光全放射束よりも強いものとした。これにより、ユーザーが接眼部から離れた状態でも、高精度に接眼を検知することが可能となる。

なお、上述した実施形態（変形例を含む）はあくまで一例であり、本発明の要旨の範囲内で上述した構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。上述した構成を適宜組み合わせて得られる構成も、本発明に含まれる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１：カメラ３０：視線検出センサー５０：接眼検知センサー
１８，１９，２２〜２７，５３：赤外ＬＥＤ

Claims

接眼部に対する接眼を検知する接眼検知と、ユーザーの視線を検出する視線検出とを実行可能な電子機器であって、
前記接眼検知のために発光する第１光源と、
前記視線検出のために受光する第２光源と、
前記接眼検知のために受光する接眼検知センサーと、
前記視線検出のために受光する視線検出センサーと
を有し、
前記第１光源が発する光のピーク波長である第１波長は、前記第２光源が発する光のピーク波長である第２波長と異なる
ことを特徴とする電子機器。
前記第１波長は、前記第２波長よりも短波長側の波長である
ことを特徴とする請求項１に記載の電子機器。
前記第１光源が発する光の前記第１波長における分光全放射束は、前記第２光源が発する光の前記第２波長における分光全放射束よりも強い
ことを特徴とする請求項１または２に記載の電子機器。
前記第１波長の光の透過を抑制する第１光学部材をさらに有し、
前記接眼検知センサーは、前記第１光学部材を透過した光を受光する
ことを特徴とする請求項１〜３のいずれか１項に記載の電子機器。
前記第１光学部材は、赤外線吸収フィルターを含む
ことを特徴とする請求項４に記載の電子機器。
前記第２波長の光の透過を抑制する第２光学部材をさらに有し、
前記視線検出センサーは、前記第２光学部材を透過した光を受光する
ことを特徴とする請求項１〜５のいずれか１項に記載の電子機器。
前記第２光学部材は、誘電体多層膜を含む
ことを特徴とする請求項６に記載の電子機器。