JP2023102822A - 表示装置、ファインダ装置、および撮像装置 - Google Patents

Abstract

【課題】装置の大型化やコストアップを抑制しつつ、ユーザの眼を捕えやすくする技術を提供する。【解決手段】本発明の表示装置は、表示パネルと、前記表示パネルを視認するための表示光学系と、前記表示パネルを視認するユーザの眼を撮像するための、長方形の撮像面を有する撮像センサと、前記眼の光学像を前記撮像面に結像するための撮像光学系とを有し、前記撮像光学系の光軸は、前記表示光学系の光軸と非平行であり、前記表示光学系の光軸を前記撮像面に投影した直線は、前記撮像面の長辺と略平行であることを特徴とする。【選択図】図８

Description

本発明は、表示装置、ファインダ装置、および撮像装置に関する。

視線入力機能のための構成（ユーザの眼を撮像するための眼球撮像センサなど）をファインダ部分に備えるカメラが提案されている。カメラのファインダをユーザが覗き込む場合に、通常は、ファインダ光学系（ユーザがファインダを覗き込んで被写体などを視認するための光学系）を構成する接眼レンズと、ユーザの眼球との距離は一定しない。それを考慮し、視線入力機能のために、ファインダ光学系の一部として光路分割プリズムが設けられ、眼球撮像光学系（眼の光学像を眼球撮像センサの撮像面に結像するための光学系）の光軸の一部と、ファインダ光学系の光軸の一部とが同軸とされる。特許文献１には、視線位置（ユーザが見ている位置）を検出するビデオカメラが開示されている。

特開平５－０９１３９４号公報

ここで、特許文献１に示すビデオカメラにおいて、視線入力機能を保持したままファインダ光学系の拡大倍率を上げたり、ファインダ光学系の光学性能を向上させようとしたとする。その場合には、光路分割プリズムの存在により、ファインダ部分の大型化や大幅なコストアップなどが必要となる。光路分割プリズムを取り除き、眼球撮像光学系の光軸とファインダ光学系の光軸とを互いに独立にすれば、ファインダ部分の大型化や大幅なコストアップなどを抑制することができる。

しかしながら、光路分割プリズムを取り除き、眼球撮像光学系の光軸とファインダ光学系の光軸とを互いに独立にすると、眼球撮像センサでユーザの眼が捕えにくくなってしまう。例えば、ユーザの眼が接眼レンズから遠ざかるにつれ、眼球撮像センサにより撮像された眼の画像における瞳孔中心位置が変化し、眼球撮像センサの撮像範囲からユーザの眼が外れてしまう。

本発明は、装置の大型化やコストアップを抑制しつつ、ユーザの眼を捕えやすくする技術を提供することを目的とする。

本発明の表示装置は、表示パネルと、前記表示パネルを視認するための表示光学系と、前記表示パネルを視認するユーザの眼を撮像するための、長方形の撮像面を有する撮像センサと、前記眼の光学像を前記撮像面に結像するための撮像光学系とを有し、前記撮像光学系の光軸は、前記表示光学系の光軸と非平行であり、前記表示光学系の光軸を前記撮像面に投影した直線は、前記撮像面の長辺と略平行であることを特徴とする。

本発明のファインダ装置は、前記表示装置と、前記眼が接眼する接眼部とを有し、前記表示装置は、前記撮像センサにより撮像された前記眼の画像に基づいて、前記ユーザの視線を検出する検出手段をさらに有することを特徴とする。本発明の撮像値は、被写体を撮像するための第２の撮像センサと、前記第２の撮像センサにより撮像された前記被写体の画像を表示可能な前記表示装置とを有することを特徴とする。

本発明によれば、装置の大型化やコストアップを抑制しつつ、ユーザの眼が捕えやすくなる。

カメラの外観図である。 カメラのブロック図である。 カメラ筐体の断面図である。 ＥＶＦユニットの断面図である。 図４の一部を示す断面図である。 ＥＶＦパネルと視線検出系の配置を示す図である。 Ｇ３レンズと視線検出系の配置を示す図である。 視線センサ画像を示す図である。 視線センサ画像を示す図である。 視線検出動作のフローチャートである。

以下、本発明の実施形態について説明する。

図１（ａ），１（ｂ）を用いて、本実施形態に係る撮像装置であるカメラ１（デジタルスチルカメラ；レンズ交換式カメラ）の外観について説明する。図１（ａ），１（ｂ）は、カメラ１の外観を示す。なお、本発明は、ユーザの視線を検出する視線検出を実行可能な任意の電子機器に適用可能である。ユーザは、例えば、表示デバイスに表示された画像や文字などの情報を視認したり、接眼光学系（表示光学系）を通して光学像を視認したりする。これらの電子機器には、例えば携帯電話機やゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末、ヘッドマウントディスプレイ、双眼鏡などが含まれてよい。なお、ユーザの視線は、換言すると、表示デバイスに表示された画像などにおけるユーザの注視位置である。

図１（ａ）は正面斜視図であり、図１（ｂ）は背面斜視図である。図１（ａ）に示すように、カメラ１は、撮影レンズユニット１Ａとカメラ筐体１Ｂを有する。カメラ筐体１Ｂには、ユーザ（撮影者）からの撮像操作を受け付ける操作部材であるレリーズボタン５が配置されている。

ここで、図１（ａ）に示すカメラ筐体１Ｂの姿勢は最も基本的な姿勢（標準の姿勢）、いわゆる正位置である。このときに、撮影レンズユニット１Ａの光学系の光軸をＺ軸とし、Ｚ軸と直交し鉛直上方向の軸をＹ軸とする。そして、Ｙ軸とＺ軸にそれぞれ直交する右手系の軸をＸ軸とする。

図１（ｂ）に示すように、カメラ筐体１Ｂの背面には、カメラ筐体１Ｂ内に含まれている後述のＥＶＦパネル６をユーザが覗き込むための接眼窓枠１２１（接眼部）が配置されている。接眼窓枠１２１はアイピース窓１３を保持しており、カメラ筐体１Ｂに対して外側（背面側）に突出している。カメラ筐体１Ｂの背面には、ユーザからの各種操作を受け付ける操作部材４１～４３も配置されている。例えば、操作部材４１はタッチ操作を受け付けるタッチパネルであり、操作部材４２は各方向に押し倒し可能な操作レバーであり、操作部材４３は４方向のそれぞれに押し込み可能な４方向キーである。操作部材４１（タッチパネル）は、液晶パネルなどの表示パネル４１１を備えており、表示パネル４１１で画像を表示する機能を有する。

図２を用いて、カメラ１内の構成について説明する。図２は、カメラ１内の構成を示すブロック図である。

撮像素子２は例えばＣＣＤやＣＭＯＳセンサなどの撮像素子（撮像センサ）であり、被写体を撮像するために使用される。撮像素子２は、撮影レンズユニット１Ａの光学系により撮像素子２の撮像面上に結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部（不図示）に出力する。Ａ／Ｄ変換部は、撮像素子２により得られたアナログ画像信号をＡ／Ｄ変換し、画像データとして出力する。

撮影レンズユニット１Ａは、ズームレンズやフォーカスレンズ、絞りなどを含む光学系で構成され、カメラ筐体１Ｂに装着された状態で、被写体からの光を撮像素子２に導き、被写体像を撮像素子２の撮像面上に結像する。絞り制御部５１８、焦点調節部５１９、ズーム制御部５２０は、それぞれマウント接点１１７を介してＣＰＵ３からの指示信号を受信し、当該指示信号に従い、絞り、フォーカスレンズ、ズームレンズを駆動制御する。

カメラ筐体１Ｂが備えるＣＰＵ３は、カメラ筐体１Ｂが備える各ブロックに対する制御プログラムをメモリ部４の有するＲＯＭより読み出し、メモリ部４の有するＲＡＭに展開して実行する。これによりＣＰＵ３は、カメラ筐体１Ｂが備える各ブロックの動作を制御する。ＣＰＵ３には、視線検出部２０１や測光部２０２、自動焦点検出部２０３、信号入力部２０４、光源駆動部２０５、接眼検知部２０８、距離算出部２０９、表示デバイス駆動部５２１などが接続されている。また、ＣＰＵ３は、撮影レンズユニット１Ａ内に配置された絞り制御部５１８と焦点調節部５１９とズーム制御部５２０とに、マウント接点１１７を介して信号を伝達する。本実施形態では、メモリ部４は、撮像素子２および視線撮像センサ１９からの撮像信号の記憶機能を備える。

視線撮像センサ１９は例えばＣＣＤやＣＭＯＳセンサなどの撮像素子であり、ＥＶＦパネル６を視認するユーザの眼を撮像するための眼球撮像センサである。

視線検出部２０１は、視線撮像センサ１９の出力（視線センサ画像）、例えば視線撮像センサ１９近傍に眼球像（眼球の光学像）が結像した状態での視線撮像センサ１９の出力をＡ／Ｄ変換し、その結果をＣＰＵ３に送信する。ＣＰＵ３は、後述する所定のアルゴリズムに従って視線センサ画像から視線検出に必要な特徴点を抽出し、特徴点の位置からユーザの視線（ＥＶＦパネル６の表示面における視線位置）を算出する。

測光部２０２は、測光センサの役割を兼ねた撮像素子２から得られる信号、具体的には被写界の明るさに対応した輝度信号の増幅や、対数圧縮、Ａ／Ｄ変換などを行い、その結果を被写界輝度情報としてＣＰＵ３に送る。

自動焦点検出部２０３は、撮像素子２の中に含まれる、位相差検出のために使用される複数の検出素子（複数の画素）からの信号電圧をＡ／Ｄ変換し、ＣＰＵ３に送る。ＣＰＵ３は、複数の検出素子の信号から、各焦点検出ポイントに対応する被写体までの距離を演算する。これは撮像面位相差ＡＦとして知られる公知の技術である。本実施形態では、一例として、ファインダ内の視野像（ＥＶＦパネル６の表示面）上の１８０か所に対応する、撮像面上の１８０か所のそれぞれに、焦点検出ポイントがあるとする。

信号入力部２０４には、スイッチＳＷ１とスイッチＳＷ２が接続されている。スイッチＳＷ１は、カメラ１の測光や測距、視線検出動作などを開始するためのスイッチであり、レリーズボタン５の第１のストローク（例えば半押し）でＯＮする。スイッチＳＷ２は、撮影動作を開始するためのスイッチであり、レリーズボタン５の第２のストローク（例えば全押し）でＯＮする。スイッチＳＷ１，ＳＷ２からのＯＮ信号は信号入力部２０４に入
力され、ＣＰＵ３に送信される。また信号入力部２０４は、図１（ｂ）の操作部材４１（タッチパネル）、操作部材４２（操作レバー）、操作部材４３（４方向キー）からの操作入力も受け付ける。

赤外ＬＥＤ１４は、ユーザの眼球に赤外光を照射する光源である。光源駆動部２０５は、ＣＰＵ３からの信号（指示）に基づいて赤外ＬＥＤ１４を駆動する。例えば、光源駆動部２０５は、ＣＰＵ３からの指示に従い、赤外ＬＥＤ１４が所定の発光強度で発光するように赤外ＬＥＤ１４を駆動する。

画像処理部２０６は、メモリ部４のＲＡＭに格納されている画像データに対して、各種画像処理を行う。例えば、光学系や撮像素子に起因する画素欠陥の補正処理や、デモザイキング処理、ホワイトバランス補正処理、色補間処理、ガンマ処理などが行われる。

記録／出力部２０７は、着脱可能なメモリカードなどの記録媒体に画像データを含むデータを記録、またはこれらのデータを外部インターフェースを介して外部装置に出力する。

接眼検知センサ５０は、赤外線近接センサや、静電容量方式のセンサなどである。接眼検知部２０８は、接眼検知用センサ５０の出力をＣＰＵ３に送信する。ＣＰＵ３は、所定のアルゴリズムに従って、接眼検知センサ５０（接眼検知部２０８）の出力から、ユーザの眼が接眼窓枠１２１（接眼部）に接眼したか否かを判断する。

距離算出部２０９は、視線撮像センサ１９により撮像された画像（視線センサ画像）における角膜反射像（赤外ＬＥＤ１４から発せられた赤外光が角膜で正反射して形成された像）の座標に基づいて、ファインダからユーザの眼までの距離を算出する。例えば、距離算出部２０９は、ユーザがＥＶＦパネル６を視認するための表示光学系１２（後述）の最終面から眼までの距離を算出する。そして、距離算出部２０９は、算出した距離をＣＰＵ３に送信する。

表示デバイス駆動部５２１は、ＣＰＵ３からの信号に基づいて、表示デバイス５１０を駆動する。例えば、表示デバイス駆動部５２１は、撮像素子２により撮像された被写体の画像や、各種情報などを、表示デバイス５１０に表示する。表示デバイス５１０は、表示パネル４１１やＥＶＦパネル６である。

図３を用いて、カメラ筐体１Ｂの構成について説明する。図３は、図１（ａ）に示したＹ軸とＺ軸が成すＹＺ平面でカメラ筐体１Ｂを切断した断面図であり、カメラ筐体１Ｂの構成を模式的に示した図である。これは正位置状態にあるカメラ筐体１Ｂをユーザの左手側からみた断面図である。

カメラ筐体１Ｂにおいて、シャッター７と撮像素子２は撮影レンズユニット１Ａの光軸方向に順に並ぶ。カメラ筐体１Ｂの背面には表示パネル４１１が設けられ、表示パネル４１１は、カメラ１の操作やカメラ１で得られた画像の鑑賞・編集のために、メニュー表示や画像表示を行う。表示パネル４１１は、バックライト付きの液晶パネルや、有機ＥＬパネルなどで構成される。カメラ筐体１Ｂの上部には、ＥＶＦパネル６や表示光学系１２、視線検出系２０などを含んだＥＶＦユニット１Ｃ（ファインダ装置；ファインダモジュール）が設けられている。ＥＶＦパネル６は、表示パネル４１１と同様の画面を表示可能であり、バックライト付きの液晶パネルや、有機ＥＬパネルなどで構成される。表示光学系１２と視線検出系２０の詳細は後述する。ＥＶＦユニット１Ｃはカメラ筐体１Ｂに対して着脱可能であってもよいし、そうでなくてもよい（カメラ筐体１Ｂの一部として固定されていてもよい）。

図４を用いて、ＥＶＦユニット１Ｃの構成について説明する。図４は、ＹＺ平面でＥＶＦユニット１Ｃを切断した断面図であり、ＥＶＦユニット１Ｃの構成を模式的に示した図である。

表示光学系１２の光軸である表示光学系光軸２３に沿って、ＥＶＦパネル６、表示光学系１２、およびアイピース窓１３が並んでいる。

表示光学系１２は、ＥＶＦパネル６の表示面前方に配置されおり、ＥＶＦパネル６を拡大するために、通常は複数枚のレンズにより構成される。本実施形態では、表示光学系１２は、Ｇ１レンズ９とＧ２レンズ１０とＧ３レンズ１１の３枚のレンズで構成されているとする。なお、表示光学系１２を構成するレンズの枚数は特に限定されず、４枚や５枚などであってもよい。Ｇ１レンズ９とＧ２レンズ１０とＧ３レンズ１１は、可視光を透過する光学レンズであり、切削および研削、またはモールド成型により製造される光学ガラスや透明な光学プラスチックなどである。

表示光学系１２のさらに前方（表示光学系１２に対してＥＶＦパネル６とは反対の側）に配置されたアイピース窓１３は、可視光を透過する部分を有した透明な部材である。ＥＶＦパネル６に表示された画像は、表示光学系１２により拡大され、アイピース窓１３の透明部を通ってユーザに観察される。

表示光学系１２を構成するレンズおよびアイピース窓１３は、必ずしも光学的に有効な形状および面のみを有するもの（例えば透明な面のみを有するもの）に限られない。例えば、表示光学系１２を構成するレンズおよびアイピース窓１３は、位置決め形状や補強形状、組立時に作業者が把持するための形状、接着固定時に接着面となる形状、肉抜き形状など有していてもよく、それらの箇所は透明でなくてもよい。さらに、光学的に透明であることを求めない部位（例えば、光を透過させたくない部位）については、表面が塗装や印刷により遮光されていてもよい。

アイピース窓１３の後方（ＥＶＦパネル６側）には、赤外ＬＥＤ１４と赤外透過窓１６が設けられている。赤外透過窓１６は赤外ＬＥＤ１４を外から視認できないように隠すための窓で、可視光を吸収し赤外光を透過する樹脂で構成されている。

アイピース窓１３の後方には、視線検出系２０も配置されている。視線検出系２０は、絞り１７、視線光学系１８、および視線撮像センサ１９を含み、それらは視線光学系１８の光軸である視線光学系光軸２２に沿って並んでいる。

絞り１７は、ユーザの眼（眼球２１）の像を視線撮像センサ１９に結像させるために必要な光束を絞る絞りである。本実施形態では、赤外ＬＥＤ１４から発せられて眼球２１で反射した反射光を検知するために、絞り１７には、可視光を吸収し赤外光を透過するフィルタが設けられている。

視線光学系１８は、眼球２１の光学像を視線撮像センサ１９の撮像面に結像するための光学系（眼球撮像光学系）であり、光学レンズなどにより構成される。図４には視線光学系１８として１枚のレンズが示されているが、視線光学系１８は複数のレンズで構成されてもよい。

視線撮像センサ１９は、眼球２１を撮像するための眼球撮像センサであり、赤外線成分を含む画像（視線センサ画像；例えば、ユーザの眼を撮像した画像）を出力する。視線撮像センサ１９の撮像面は長方形であり、視線センサ画像も長方形である。視線センサ画像
の詳細については、図８（ａ），８（ｂ）を用いて後述する。

本実施形態では、視線検出系２０の絞り１７と視線光学系１８と視線撮像センサ１９を別体の部材とするが、視線検出系２０は、これらの部材を一体にパッケージ化したモジュール型の小型カメラであってもよい。

本実施形態では、視線光学系光軸２２と表示光学系光軸２３は非平行であり、視線光学系光軸２２と表示光学系光軸２３は角度２４で交差している。具体的には、カメラ筐体１Ｂの姿勢が正位置状態（所定の姿勢）であるときに、視線検出系２０はＥＶＦユニット１ＣのうちＹ軸下側に位置している。また視線光学系光軸２２は、Ｙ軸上側に位置する表示光学系光軸２３の方（ＹＺ平面内で斜め上）を向いた構成となっている。

従来の構成として、表示光学系１２の一部として光路分割ミラーまたは光路分割プリズムを配置して、視線光学系光軸２２と表示光学系光軸２３を部分的に一致させた構成がある。しかし、そのような構成では、光路分割ミラーや光路分割プリズムを用いない構成と比較して、ＥＶＦユニット１Ｃのサイズを保ったままＥＶＦユニット１Ｃの光学性能を向上させることが著しく困難となる。また、光路分割プリズムなどは一般的に高価であるため、コストアップの原因にもなる。本実施形態では、視線光学系光軸２２と表示光学系光軸２３を非平行にし、光路分割ミラーや光路分割プリズムを用いない構成としたことで、大型化やコストアップを抑制しつつ、ＥＶＦユニット１Ｃの光学性能を向上させることができる。

なお、本実施形態では視線光学系光軸２２と表示光学系光軸２３は同一のＹＺ平面上にあるとする。しかし、これら２つの光軸は同一のＹＺ平面上になくてもよく、例えば一方の光軸がＸ軸方向にオフセットしていてもよい。つまり、２つの光軸がねじれの関係にあってもよい。

図５を用いて、視線光学系光軸２２と表示光学系光軸２３の好適な配置について説明する。図５は、図４の一部を示す断面図である。

図５では、カメラ筐体１Ｂの姿勢は正位置状態であり、ＥＶＦユニット１Ｃを覗き込むユーザの眼球２１が表示光学系光軸２３上にある。眼球２１には、ユーザの上瞼２７と下瞼２８からなる瞼３０が被さっている。赤外ＬＥＤ１４と赤外透過窓１６は、表示光学系光軸２３の上側と下側それぞれから眼球２１に赤外光を照射するように配置されている。

視線光学系光軸２２（視線撮像センサ１９）は、表示光学系光軸２３（表示光学系１２；ＥＶＦパネル６）の下側から、すなわちユーザの下瞼２８が存在する方向から眼球２１を見上げるような向きで配置される。大抵は上瞼２７のほうが下瞼２８よりも大きく厚い。そのため、下瞼２８側から眼球２１を見上げるように視線光学系光軸２２を配置することで、上瞼２７側から眼球２１を見下ろすように視線光学系光軸２２を配置するよりも眼球２１が捕えやすくなる。具体的には、視線撮像センサ１９が眼球２１を撮像する際に、眼球２１が瞼３０に遮られること（ケラレの発生）を抑制できる。同様に、赤外ＬＥＤ１４の照射する赤外光の正反射成分の主光線の像（角膜反射像；プルキンエ像；プルキニエ像）が瞼３０に遮られることも抑制できる。角度２４が小さいほど、つまり視線光学系光軸２２と表示光学系光軸２３とが平行または一致に近いほど、視線検出系２０は眼球２１の像を捕えやすいため、角度２４は小さいことが好ましい。

カメラ１は様々な持ち方で使用され得るため、カメラ筐体１Ｂの姿勢に対するユーザ（眼球２１）の姿勢（相対的な姿勢）も様々である。そのため、最も頻度が高いと想定される姿勢（カメラ筐体１Ｂと眼球２１と瞼３０の姿勢や位置関係）で、下瞼２８側から眼球
２１を見上げるように視線光学系光軸２２を設定するのが好ましい。

図６，７を用いて、視線検出系２０の配置について、より詳細に説明する。図６，７では、複数の部材から構成されている視線検出系２０を、モジュール型の１つのユニットとして示している。図６は、眼球２１から見たＥＶＦパネル６と視線検出系２０の配置を模式的に示す。

図６に示すように、表示光学系光軸２３上の眼球２１からＥＶＦパネル６を見ると、ＥＶＦパネル６の表示面の形状は、横辺６ａ（横方向（左右方向）に略平行な辺）が縦辺６ｂ（縦方向（上下方向）に略平行な辺）よりも長い、横長の長方形である。そして、横辺６ａの長さと縦辺６ｂの長さは、以下の式１を満たす。つまり、横辺６ａ（ＥＶＦパネル６の表示面の長辺）の長さの３倍は縦辺６ｂ（ＥＶＦパネル６の表示面の短辺）の長さの４倍以上である。例えば、ＥＶＦパネル６の表示面のアスペクト比（横辺６ａの長さ：縦辺６ｂの長さ）はおおよそ４：３の比率である。
３×｛横辺６ａの長さ｝≧４×｛縦辺６ｂの長さ｝ ・・・（式１）

視線検出系２０は、表示面を有するＥＶＦパネル６の下側から上側を見上げるよう配置されている。これにより、上述したようにケラレの発生を抑制することができる。さらに、ＥＶＦパネル６の表示面が横長である（縦辺６ｂが短い）ことによって、視線光学系光軸２２と表示光学系光軸２３とのなす角度２４を小さくなるため、ケラレの発生をより抑制することができる。ＥＶＦパネル６の表示面の面積を一定とするならば、表示面のアスペクト比（横辺６ａの長さ／縦辺６ｂの長さ）が大きいほど、ケラレの発生を大きく抑制することができる。しかし、ＥＶＦパネル６の表示面の形状は、式１を満たす形状に限られない。

図７は、眼球２１（表示光学系光軸２３に平行な方向）から見た表示光学系１２のＧ３レンズ１１と視線検出系２０の配置を模式的に示す。

Ｇ３レンズ１１は表示光学系１２を構成する光学レンズであり、表示光学系光軸２３を中心とした円形状の外周部分であるレンズ外周部１１１の内部に、ＥＶＦパネル６を拡大表示するために必要な光学面を有している。ＥＶＦパネル６の拡大表示に必要な光束はＧ３レンズ１１の光学面すべてを通るとは限らず、必要に応じてレンズ外周部１１１の一部または全部を直線や曲線によって取り除く（切り欠く）ことができる。図７においては、レンズ外周部１１１の下部を直線である切り欠き線１１２で切り欠いている。そして、レンズ外周部１１１の下部と切り欠き線１１２で囲まれた切り欠き領域１１ｂに視線検出系２０（視線撮像センサ１９）の一部が含まれるように、視線検出系２０（視線撮像センサ１９）が配置されている。また、切り欠き線１１２はＥＶＦパネル６の横辺６ａ（図６）と略平行である。こうすることで、視線検出系２０をより表示光学系光軸２３に近い位置に配置することが可能となり、視線光学系光軸２２と表示光学系光軸２３をより平行（一致）に近づけることができる。なお、切り欠き領域１１ｂには視線検出系２０（視線撮像センサ１９）の全体が含まれてもよいし、切り欠き線は、ＥＶＦパネル６の横辺６ａと略平行な直線部分と、そうでない部分とを含んでもよい。

Ｇ３レンズ１１を含む表示光学系１２のレンズは、切削および研削、またはモールド成型により製造される光学ガラスや透明な光学プラスチックなどであり、加工コストや光学性能確保の観点からは、切り欠き線１１２は簡易な直線であることが好ましい。しかし、切り欠き線１１２は直線に限られない。例えば、切り欠き線１１２は一部に直線を含む曲線でもよいし、切り欠き線１１２の全体が曲線でもよい。レンズ外周部１１１に穴あけ加工（切り抜き加工）を施し、穴あけ加工によりレンズ外周部１１１に形成された円筒状の穴を視線光学系光軸２２が通るように視線検出系２０を配置してもよい。この場合は、切
り欠き線１１２は円形状または楕円形状となる。切り欠き線１１２が円弧状になるような切断加工、もしくは成型を行ってもよい。

さらに、表示光学系１２の１枚のレンズにのみ切り欠き領域を設けてもよいし、複数のレンズに切り欠き領域を設けてもよい。図４では、表示光学系１２を構成する３枚のレンズのうち２枚（Ｇ２レンズ１０とＧ３レンズ１１）にそれぞれ切り欠き領域１０ｂと切り欠き領域１１ｂが設けられている。そして、表示光学系光軸２３に平行な方向から見た場合に、切り欠き領域１０ｂ，１１ｂに視線検出系２０の一部が含まれるように、視線検出系２０が配置されている。

図９（ａ），９（ｂ），１０を用いて、視線検出系２０を用いた視線検出方法について説明する。図９（ａ）は、視線撮像センサ１９により撮像された画像（視線センサ画像）を示す概略図である。図９（ａ）は、眼球像が視線撮像センサ１９に投影されている状態で得られた視線センサ画像を示す。図９（ｂ）は視線撮像センサ１９の出力強度（視線センサ画像の輝度）を示す図である。図９（ｂ）は、図９（ａ）の領域αの輝度情報（輝度分布）を示す。図９（ｂ）では、視線センサ画像の水平方向をＸ軸方向、垂直方向をＹ軸方向とし、Ｘ軸方向の輝度分布が示されている。図１０は、視線検出動作の概略フローチャートを表す。

Ｘ軸方向に並んだ２つの赤外ＬＥＤ１４から発せられた赤外光は、ユーザの眼球２１の角膜を照明する。このとき、図９（ａ）に示すように、角膜表面で反射した赤外光の一部により形成される２つの角膜反射像（２つの赤外ＬＥＤ１４に対応する２つの角膜反射像）は、視線撮像センサ１９近傍に結像して、視線センサ画像における角膜反射像Ｐｄ，Ｐｅとなる。同様に、眼球２１の瞳孔の光学像も視線撮像センサ１９近傍に結像して、視線センサ画像における瞳孔像２１２となる。眼球２１の虹彩の光学像も視線撮像センサ１９近傍に結像して、視線センサ画像における虹彩像２１３となる。以後、瞳孔像２１２のＸ軸方向の２つの端部を瞳孔端像２１２ａ，２１２ｂと記載する。角膜反射像Ｐｄ，Ｐｅは瞳孔像２１２または虹彩像２１３の内部に写る。本実施形態では、視線光学系光軸２２が表示光学系光軸２３をＹ軸下側から見上げている（視線光学系光軸２２が下瞼２８側から眼球２１を見上げている）ため、瞳孔像２１２と虹彩像２１３は上すぼまりのようなゆがんだ形状で写る。

視線検出動作が開始すると、図１０のステップＳ８０１で、赤外ＬＥＤ１４は、赤外光を発する。例えば、赤外ＬＥＤ１４は、ユーザの眼球２１に向けて赤外光を発する。赤外光によって照明されたユーザの眼球像は、視線光学系１８を通って視線撮像センサ１９上に結像され、光電変換される。これにより、処理可能な視線センサ画像の電気信号が得られる。

ステップＳ８０２では、視線検出部２０１は、視線撮像センサ１９から得られた画像（視線センサ画像）をＣＰＵ３に送る。

ステップＳ８０３では、ＣＰＵ３は、ステップＳ８０２で得られた視線センサ画像から、角膜反射像と瞳孔中心に対応する点の座標を求める。

図９（ｂ）に示すように、角膜反射像Ｐｄ，Ｐｅの座標Ｘｄ，Ｘｅでは、極端に高いレベルの輝度が得られる。瞳孔像２１２の領域（瞳孔端像２１２ａに対応する座標Ｘａから瞳孔端像２１２ｂに対応する座標Ｘｂまでの領域）では、座標Ｘｄ，Ｘｅを除いて、極端に低いレベルの輝度が得られる。そして、瞳孔像２１２の外側の虹彩像２１３の領域では、前述した２種の輝度の中間の輝度が得られる。図９（ｂ）に示すような輝度分布から、角膜反射像Ｐｄ，ＰｅのＸ座標Ｘｄ，Ｘｅと、瞳孔端像２１２ａ，２１２ｂのＸ座標Ｘａ
，Ｘｂを得ることができる。また、Ｘ座標Ｘａ，Ｘｂの中間位置を、瞳孔中心ｃのＸ座標Ｘｃとして算出することができる。

ステップＳ８０４では、ＣＰＵ３は、眼球像の結像倍率βを算出する。結像倍率βは、視線光学系１８に対する眼球２１の位置（相対位置）により決まる倍率で、角膜反射像Ｐｄ，Ｐｅの間隔（Ｘｄ－Ｘｅ）の関数を用いて算出することができる。

ステップＳ８０５では、ＣＰＵ３は、視線光学系光軸２２に対する眼球２１の光軸の回転角を算出する。角膜反射像Ｐｄと角膜反射像Ｐｅの中点のＸ座標と、角膜の曲率中心のＸ座標とはほぼ一致する。このため、角膜の曲率中心から瞳孔中心までの標準的な距離を距離Ｏｃとすると、ＸＺ平面内での眼球２１の回転角θｘは、以下の式２で近似的に算出することができる。ＹＺ平面内での眼球２１の回転角θｙも同様にして算出することができる。
β×Ｏｃ×ＳＩＮθｘ≒｛（Ｘｄ＋Ｘｅ）／２｝－Ｘｃ ・・・（式２）

ステップＳ８０６では、ＣＰＵ３は、ステップＳ８０５で算出した回転角θｘ，θｙを用いて、ＥＶＦパネル６の表示面におけるユーザの視線位置（視点；ユーザの視線が注がれた位置；ユーザが見ている位置）の座標（Ｈｘ，Ｈｙ）を推定する。

ステップＳ８０７では、ＣＰＵ３は、推定した視線位置の座標（Ｈｘ，Ｈｙ）をメモリ部４に格納し、視線検出動作を終える。

図８（ａ），８（ｂ）を用いて、視線センサ画像について説明する。ＥＶＦユニット１Ｃに対する眼球２１の位置は、一か所に定めることができない。例えば、ユーザが眼鏡をかけているか否かや、ユーザの体調、ユーザの髪型、ユーザが帽子をかぶっているか否かなどにより、ＥＶＦパネル６を覗き込むユーザの眼球２１の位置は変わる。図４には、表示光学系光軸２３上に位置した眼球２１として、ＥＶＦパネル６に近い眼球２１ａと、ＥＶＦパネル６から離れた眼球２１ｂとが示されている。図８（ａ），８（ｂ）では、眼球２１ａの場合の視線センサ画像と眼球２１ｂの場合の視線センサ画像とを重ね合わせたものを、視線センサ画像２１１として示している。

図８（ａ）は、本実施形態に係る視線センサ画像２１１を示し、図８（ｂ）は、比較のための一般的な視線センサ画像２１１を示す。図８（ａ）と図８（ｂ）とで、視線光学系光軸２２や視線光学系１８などは共通するが、視線撮像センサ１９の向き（撮像面の縦横）が異なる。

眼球像２２１ａは、眼球２１ａが視線撮像センサ１９近傍に結像した像であり、眼球像２２１ｂは、眼球２１ｂが視線撮像センサ１９近傍に結像した像である。当然、実際の視線センサ画像には、眼球像２２１ａと眼球像２２１ｂの両方が写ることはなく、眼球像２２１ａと眼球像２２１ｂの一方しか写りえない。投影光軸２２３は、表示光学系光軸２３を視線センサ画像２１１（視線撮像センサ１９の撮像面）に投影した直線である。

視線撮像センサ１９の撮像面は長方形であり、視線センサ画像も長方形である。図８（ａ），８（ｂ）では、視線センサ画像２１１は、長辺２１１ａと短辺２１１ｂを有する長方形の画像である。長辺２１１ａの長さは、短辺２１１ｂの長さよりも長い。図８（ａ）（本実施形態）では、投影光軸２２３は視線センサ画像２１１の長辺２１１ａ（視線撮像センサ１９の長辺）と略平行となっている。一方、図８（ｂ）（比較例）では、投影光軸２２３は視線センサ画像２１１の短辺２１１ｂと略平行（長辺２１１ａに対して略垂直）となっている。

図８（ａ）と図８（ｂ）を比較すると、図８（ｂ）（比較例）では眼球像２２１ｂが視線センサ画像２１１に含まれていないが、図８（ａ）（本実施形態）では眼球像２２１ｂが完全に視線センサ画像２１１に含まれている。つまり、比較例では眼球２１ｂを捕えることができていないが、本実施形態では眼球２１ｂを捕えることができている。

ユーザは、ＥＶＦユニット１Ｃを覗き込む際に、表示光学系光軸２３に眼球中心が近づくように眼球２１の位置を調整する。しかしながら、上述したように、表示光学系光軸２３上での眼球２１の位置は様々である。本実施形態によれば、投影光軸２２３が視線センサ画像２１１の長辺２１１ａ（視線撮像センサ１９の長辺）と略平行であることにより、表示光学系光軸２３上における、視線検出系２０が検出できる範囲を広げることができる。そして、眼球２１がアイピース窓１３から遠い位置にあっても眼球２１を捕えることができる。

以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されない。上記実施形態では、撮像装置に本発明を適用したと捉えることもできるし、ファインダ装置に本発明を適用したと捉えることもできる。表示パネルを有する装置であって、表示パネルと、当該表示パネルを視認する眼との距離が変化し得る装置であれば、本発明を適用可能である。例えば、ＨＭＤ（ヘッドマウントディスプレイ）などの表示装置に本発明を適用することもできる。ＨＭＤに本発明を適用する場合には、例えば、視線検出系２０として、右眼の視線検出系と左眼の視線検出系との少なくとも一方がＨＭＤに設けられ、ＨＭＤは、ＨＭＤを装着したユーザの視線（右眼と左眼の少なくとも一方の視線）を検出する。ＨＭＤの表示パネルも長方形の表示面を有することがあり、ＨＭＤの姿勢が正位置状態であるときに、表示面の長辺が上下方向と略平行になるような向きで表示パネルが設けられることがある。そのような場合であっても、投影光軸が視線センサ画像の長辺（視線撮像センサの長辺）と略平行になるように視線検出系を配置すればよい。例えば、ＨＭＤの姿勢が正位置状態であるときに、縦長のＥＶＦパネル６に対して左または右側に、視線撮像センサ１９が横長となるように配置される。本発明の要旨の範囲内で上記実施形態の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。

１：カメラ １Ｂ：カメラ筐体 １Ｃ：ＥＶＦユニット
２：撮像素子 ６：ＥＶＦパネル
１２：表示光学系 １８：視線光学系 １９：視線撮像センサ

Claims (11)

1. 表示パネルと、
   前記表示パネルを視認するための表示光学系と、
   前記表示パネルを視認するユーザの眼を撮像するための、長方形の撮像面を有する撮像センサと、
   前記眼の光学像を前記撮像面に結像するための撮像光学系と
   を有し、
   前記撮像光学系の光軸は、前記表示光学系の光軸と非平行であり、
   前記表示光学系の光軸を前記撮像面に投影した直線は、前記撮像面の長辺と略平行である
   ことを特徴とする表示装置。
2. 前記表示装置の姿勢が所定の姿勢であるときに前記撮像センサが前記表示光学系の光軸の下側から見上げるような向きで、前記撮像センサは配置されている
   ことを特徴とする請求項１に記載の表示装置。
3. 前記表示装置の姿勢が前記所定の姿勢であるときに前記撮像センサが前記表示パネルの下側から見上げるような向きで、前記撮像センサは配置されている
   ことを特徴とする請求項２に記載の表示装置。
4. 前記表示パネルの表示面の形状は、前記表示装置の姿勢が前記所定の姿勢であるときに長辺が左右方向と略平行になる長方形である
   ことを特徴とする請求項３に記載の表示装置。
5. 前記表示面の長辺の長さの３倍は、前記表示面の短辺の長さの４倍以上である
   ことを特徴とする請求項４に記載の表示装置。
6. 前記表示光学系は、前記表示光学系の光軸に平行な方向から見た場合に円形状から当該円形状の外周部分の一部を除いたような形状を有するレンズを含み、
   前記撮像センサは、前記表示光学系の光軸に平行な方向から見た場合に、前記外周部分の一部が除かれたような領域に前記撮像センサの少なくとも一部が含まれるように配置される
   ことを特徴とする請求項１～５のいずれか１項に記載の表示装置。
7. 前記レンズは、前記表示光学系の光軸に平行な方向から見た場合に、前記外周部分の一部を切り欠いたような形状を有する
   ことを特徴とする請求項６に記載の表示装置。
8. 前記レンズは、前記表示光学系の光軸に平行な方向から見た場合に、前記表示パネルの表示面の辺と略平行な直線部分を含む切り欠き線で前記外周部分の一部を切り欠いたような形状を有する
   ことを特徴とする請求項７に記載の表示装置。
9. 前記撮像センサにより撮像された前記眼の画像に基づいて、前記ユーザの視線を検出する検出手段
   をさらに有する
   ことを特徴とする請求項１～８のいずれか１項に記載の表示装置。
10. 請求項９に記載の表示装置と、
    前記眼が接眼する接眼部と
    を有することを特徴とするファインダ装置。
11. 被写体を撮像するための第２の撮像センサと、
    前記第２の撮像センサにより撮像された前記被写体の画像を表示可能な、請求項１～９のいずれか１項に記載の表示装置と
    を有することを特徴とする撮像装置。

Images