JP2003307774A - 視線検出機能付き光学機器 - Google Patents

Abstract

(57)【要約】 【課題】 キャリブレーション時に観察者の注視能力を
自分で認識できるようにすることで、学習効果として、
注視能力を向上させることを可能とすると同時に、観察
者が安心して使えるシステムを提供する。 【解決手段】 観察者の視線を検出する視線検出手段、
該視線検出手段で算出された視線位置を補正するための
補正値を算出するためのキャリブレーション手段、観察
者が同一個所を注視した時の複数の視線位置情報を得る
ための注視点分布採取手段、表示手段を有し、該キャリ
ブレーション手段実行と同時に、該注視点分布採取手段
も実行され、該注視点分布採取手段の出力に基づいて、
注視点分布のバラツキの程度を該表示手段に表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、被写体を観察して
いる撮影者の視線を検出する視線検出機能を有する光学
機器に関するものであり、例えば光学機器のファインダ
視野を観察者が覗き、該観察者の視線情報を用いて該フ
ァインダ内に表示された光学装置の機能を表すシンボル
を視線情報で選択し機能を実行するといったものに好適
である。具体的にはカメラのファインダ視野内に表示さ
れた複数の焦点検出領域を撮影者の視線情報を利用して
選択し、焦点検出を行うことや、ヘッドマウントディス
プレイ等の視線検出装置を身につけた被験者がＴＶモニ
タ等に表示されたメニューを選択して、ある種の機能を
実行するといった装置なども挙げられる。

【０００２】

【従来の技術】従来より撮影者（観察者）の視線方向を
検知し、撮影者がファインダ視野内のどの領域（位置）
を観察しているか、いわゆる撮影者の注視方向をカメラ
の一部に設けた視線検出手段で検知し、該視線検出手段
からの信号に基づいて自動焦点調節や自動露出等の各種
撮影機能を制御するようにしたカメラが種々提案されて
いる。

【０００３】例えば本出願人は、特開平１−２４１５１
１号公報において、撮影者の注視方向を検出する視線検
出手段と複数個の測光感度分布を持つ自動露出制御手段
とを有し、このとき該視線検出手段からの出力信号に基
づいて焦点検出手段や自動露出制御手段の駆動を制御す
るようにしたカメラを提案している。

【０００４】また、本出願人は、特開平６−３４８７３
号広報において、キャリブレーションに関する技術を提
案している。更に、本出願人は、特開平８−１９１７９
８号広報でキャリブレーションデータの消去法に関する
技術を提案している。

【０００５】

【発明が解決しようとする課題】上記説明したカメラの
みならず視線検出機能を有する機器を使用する場合、観
察者は、機器の表示部にある選択すべき領域の表示を注
視することになる訳であるが、この注視するという行為
自体が視線検出を行う上で大きな誤差を生む要因となっ
ている。

【０００６】つまり、一点、あるいは一方向を所定時間
注視する能力が個人によって異なっているために、前記
視線検出機能を持った機器の表示部にある選択すべき領
域の表示を注視しても、ある人は目的の領域を選択でき
るが、またある別の人は選択できないということが発生
してしまっていた。

【０００７】つまり一点、あるいは一方向を所定時間注
視する能力のばらつきは、視線検出機能を誰もが使える
ようになるための大きな障害となっていた。

【０００８】従来例においては、この注視能力を、観察
者が認識する手段は無かった。もし、この注視能力を観
察者が認識できれば、学習効果として、注視能力を向上
させることも可能となり、また、観察者が安心して使え
るシステムを提供することが可能となる。

【０００９】

【課題を解決するための手段】上記課題を解決するため
に、観察者の視線を検出する視線検出手段、該視線検出
手段で算出された視線位置を補正するための補正値を算
出するためのキャリブレーション手段、観察者が同一個
所を注視した時の複数の視線位置情報を得るための注視
点分布採取手段、表示手段を有し、該キャリブレーショ
ン手段実行と同時に、該注視点分布採取手段も実行さ
れ、該注視点分布採取手段の出力に基づいて、注視点分
布のバラツキの程度を該表示手段に表示することを特徴
とする視線検出機能付き光学機器を提供することによっ
て上記問題の解決を図るものである。

【００１０】

【発明の実施の形態】以下、本発明を図示の実施の形態
に基づいて詳細に説明する。

【００１１】（実施例）まず本発明の実施例を図１から
図１０を用いて説明する。

【００１２】図１は本発明を一眼レフカメラに適用した
ときの実施の形態を示す要部構成図、図２（Ａ），
（Ｂ）は図１の一眼レフカメラの上面及び背面を示す
図、図３は同じく図１の一眼レフカメラのファインダ内
を示す図である。

【００１３】これらの図において、１は撮影レンズで、
便宜上２枚のレンズで示したが、実際はさらに多数のレ
ンズから構成されている。２は主ミラーで、ファインダ
系による被写体像の観察状態と被写体像の撮影状態に応
じて撮影光路へ斜設され或は退去される。３はサブミラ
ーで、主ミラー２を透過した光束をカメラボディの下方
の後述する焦点検出装置６へ向けて反射する。

【００１４】４はシャッタ、５は感光部材で、銀塩フィ
ルム或はＣＣＤやＭＯＳ型等の固体撮像素子、或は、ビ
ディコン等の撮像管より成っている。

【００１５】６は焦点検出装置であり、結像面近傍に配
置されたフィールドレンズ６ａ，反射ミラー６ｂ及び６
ｃ，二次結像レンズ６ｄ，絞り６ｅ，複数のＣＣＤから
成るラインセンサ６ｆ等から構成されている。

【００１６】本例における焦点検出装置６は、周知の位
相差方式にて焦点検出を行うものであり、図３に示すよ
うに、被写界内の複数の領域（焦点検出領域マーク７０
〜７４で示される５箇所）を焦点検出領域（焦点検出領
域）として、該焦点検出領域が焦点検出可能となるよう
に構成されている。

【００１７】７は撮影レンズ１の予定結像面に配置され
たピント板、８はファインダ光路変更用のペンタプリズ
ムである。９，１０は各々観察画面内の被写体輝度を測
定するための結像レンズと測光センサであり、結像レン
ズ９はペンタプリズム８内の反射光路を介してピント板
７と測光センサ１０を共役に関係付けている。

【００１８】１１は、ペンタプリズム８の射出後方に配
置される、光分割器１１ａを備えた接眼レンズ１１であ
り、撮影者の眼１５によるピント板７の観察に使用され
る。光分割器１１ａは、例えば可視光を透過し赤外光を
反射するダイクロイックミラーより成っている。

【００１９】上記の主ミラー２，ピント板７，ペンタプ
リズム８，接眼レンズ１１によってファインダ光学系が
構成されている。

【００２０】１２は結像レンズ、１４はＣＣＤ等の光電
変換素子列を縦、横それぞれ８０画素、１００画素の二
次元的に配したイメージセンサ（ＣＣＤ−ＥＹＥ）で、
結像レンズ１２に関して所定の位置にある撮影者の眼球
１５の瞳孔近傍と共役になるように配置されており、結
像レンズ１２とイメージセンサ１４（ＣＣＤ−ＥＹＥ）
にて視線検出を行うための受光手段を構成している。１
３ａ〜１３ｈは各々撮影者の眼球１５の瞳孔近傍を照明
するための発光素子からなる照明手段である。これら発
光素子には、赤外発光ダイオード（以下、ＩＲＥＤと記
す）が用いられ、図２（Ｂ）に示すように接眼レンズ１
１の回りに配置されており、一回の視線検出時に発光す
るのは１３ａから１３ｈの内のいづれかの２個一組の照
明である。

【００２１】以上、受光手段と照明手段と前述のダイロ
イックミラー１１ａとによって視線検出装置が構成され
ている。

【００２２】２１は明るい被写体の中でも視認できる高
輝度のスーパーインポーズ用ＬＥＤで、ここから発光さ
れた光は投光用プリズム２２を介し、主ミラー２で反射
されてピント板７の表示部に設けた微小プリズムアレイ
７ａで垂直方向に曲げられ、ペンタプリズム８，接眼レ
ンズ１１を通って撮影者の眼１５に達する。

【００２３】つまり、図３に示したファインダ視野から
判かるように、各々の焦点検出領域マーク７０〜７４が
ファインダ視野内で光り、焦点検出領域を表示させるこ
とができるものである（以下、これをスーパーインポー
ズ表示という）。

【００２４】図３において、左右の焦点検出領域マーク
７０，７４の内部には、ドットマーク７０′、７４′が
刻印されており、これは眼球の個人差による視線の検出
誤差を補正するための視線補正データを採取する（キャ
リブレーションと称されている）際の視標を示すもので
ある。

【００２５】また、図３の破線で描かれた６０から６４
までの５つの領域は、視線検出によって演算された撮影
者の視線位置と前記５つの焦点検出領域を対応させるた
めに設定された視線有効領域であり、例えば演算された
視線位置が領域６１内に存在していたら、領域６１内の
焦点検出領域マーク７１に対応したＣＣＤ−Ｌ１センサ
（後述）にて焦点検出が実行される。また視線有効領域
６０から６４は図１の測光センサ１０の分割形状と概一
致しており、周辺領域６５と合わせ測光センサ１０は６
分割センサとなっている。

【００２６】さらに、図３ファインダ画面下部におい
て、５１はシャッタ速度表示、５２は絞り値表示のセグ
メント、５０は視線入力状態であることを示す視線入力
マーク、５３は撮影レンズ１の合焦状態を示す合焦マー
クである。２４はファインダ視野外に撮影情報を表示す
るためのファインダ内ＬＣＤ（以下、Ｆ−ＬＣＤとも記
す）で、照明用ＬＥＤ２５によって照明される。

【００２７】上記Ｆ−ＬＣＤ２４を透過した光は三角プ
リズム２６によって、図３の２４で示したようにファイ
ンダ視野外に導かれ、撮影者は各種の撮影情報を知るこ
とができる。

【００２８】図１に戻って、３１は撮影レンズ１内に設
けた絞り、３２は絞り駆動回路１１１を含む絞り駆動装
置、３３はレンズ駆動用モータ、３４は駆動ギヤ等から
成るレンズ駆動部材である。３５はフォトカプラで、前
記レンズ駆動部材３４に連動するパルス板３６の回転を
検知してレンズ焦点調節回路１１０に伝えており、該焦
点調節回路１１０は、この情報とカメラ側からのレンズ
駆動量の情報に基づいて前記レンズ駆動用モータ３３を
所定量駆動させ、撮影レンズ１を合焦位置に移動させる
ようになっている。３７は公知のカメラとレンズとのイ
ンターフェイスとなるマウント接点である。

【００２９】２７は水銀スイッチ等の姿勢検出スイッチ
でカメラが横位置で構えられたか、縦位置で構えられた
かを検出するものである。

【００３０】図２（ａ），（ｂ）において、４１はレリ
ーズ釦である。４２は外部モニタ表示装置としてのモニ
タ用ＬＣＤで、予め決められたパターンを表示する固定
セグメント表示部と、可変数値表示用の７セグメント表
示部とから成っている。

【００３１】４４はモードダイヤルで、撮影モード等の
選択を行うためのものである。カメラ本体に刻印された
指標４３を表示に合わせる事によって、その表示内容で
撮影モードが設定される。例えば、カメラを不作動とす
するロックポジション、予め設定した撮影プログラムに
よって制御される自動撮影モードのポジション、撮影者
が撮影内容を認定できるマニュアル撮影モードで、プロ
グラムＡＥ、シャッタ優先ＡＥ，絞り優先ＡＥ，被写体
深度優先ＡＥ，マニュアル露出の各撮影モードが設定可
能である。また、視線入力用の「ＣＡＬ」ポジションも
モードダイヤル４４中にあり、「ＣＡＬ」ポジションに
して、後述の電子ダイヤル４５を操作する事により、視
線入力のＯＮ，ＯＦＦ、そしてキャリブレーションの実
行及び選択を行うことができる。

【００３２】４５は電子ダイヤルで、回転してクリック
パルスを発生させることによってモードダイヤル４４で
選択されたモードの中でさらに選択されたモードの中で
さらに選択し得る設定値を選択する為のものである。例
えば、モードダイヤル４４にてシャッタ優先の撮影モー
ドを選択すると、ファインダ内ＬＣＤ２４及びモニタ用
ＬＣＤ４２には、現在設定されているシャッタ速度が表
示される。この表示を見て、撮影者が電子ダイヤル４５
を回転させると、その回転方向にしたがって現在設定さ
れているシャッタ速度から順次シャッタ速度が変化して
いくように構成されている。

【００３３】その他の操作部材については、本発明とは
直接関係ないのでその説明は省略する。

【００３４】図４は上記構成の一眼レフカメラに内蔵さ
れた電気的構成を示すブロック図であり、図１と同一の
ものは同一番号をつけている。

【００３５】カメラ本体に内蔵されたマイクロコンピュ
ータの中央処理装置（以下、ＣＰＵと記す）１００に
は、視線検出回路１０１，測光回路１０２，自動焦点検
出回路１０３，信号入力回路１０４，ＬＣＤ駆動回路１
０５，ＬＥＤ駆動回路１０６，ＩＲＥＤ駆動回路１０
７，シャッタ制御回路１０８，モータ制御回路１０９が
接続されている。また、撮影レンズ１内に配置された焦
点調節回路１１０，絞り駆動回路１１１とは、図１で示
したマウント接点３７を介して信号の伝達がなされる。

【００３６】ＣＰＵ１００に付随したＥＥＰＲＯＭ１０
０ａは記憶手段としての視線の個人差を補正する視線補
正データの記憶機能を有している。

【００３７】前記視線検出回路１０１は、イメージセン
サ１４（ＣＣＤ−ＥＹＥ）からの眼球像の信号をＡ／Ｄ
変換し、この像情報をＣＰＵ１００に送信する。ＣＰＵ
１００は視線検出に必要な眼球像の各特徴点を所定のア
ルゴリズムにしたがって抽出し、さらに各特徴点の位置
から撮影者の視線を算出する。

【００３８】前記測光回路１０２は、測光センサ１０か
らの信号を増幅後、対数圧縮，Ａ／Ｄ変換し、各センサ
の輝度情報としてＣＰＵ１００に送信する。測光センサ
１０は、ファインダ画面内の６つの領域（図３の領域６
０から６５に対応）を測光するＳＰＣ−Ｌ２，ＳＰＣ−
Ｌ１、ＳＰＣ−Ｃ，ＳＰＣ−Ｒ１，ＳＰＣ−Ｒ２、ＳＰ
Ｃ−Ｍから成る６つのフォトダイオードから構成されて
おり、いわゆる分割測光が可能である。

【００３９】ラインセンサ６ｆは、前述の図３に示し
た、画面内の５つの焦点検出領域７０〜７４に対応した
５組のラインセンサＣＣＤ−Ｌ２，ＣＣＤ−Ｌ１，ＣＣ
Ｄ−Ｃ，ＣＣＤ−Ｒ１，ＣＣＤ−Ｒ２から構成される公
知のＣＣＤラインセンサである。

【００４０】前記自動焦点検出回路１０３は、上記のラ
インセンサ６ｆから得た電圧をＡ／Ｄ変換し、ＣＰＵ１
００に送る。

【００４１】ＳＷ１はレリーズ釦４１の第１ストローク
でＯＮし、測光，ＡＦ，視線検出動作等を開始させる為
のスイッチ、ＳＷ２はレリーズ釦４１の第２ストローク
でＯＮするレリーズスイッチである。ＳＷ−ＤＩＡＬＩ
とＳＷ−ＤＩＡＬ２は、既に説明した電子ダイヤル４５
内に設けられたダイヤルスイッチで、信号入力回路１０
４のアップダウンカウンタに入力され、電子ダイヤル４
５の回転クリック量をカウントする。ＳＷ−ＨＶ１，Ｓ
Ｗ−ＨＶ２は姿勢検出スイッチ２７に相当する視線検出
スイッチであり、この信号を基にカメラの姿勢状態が検
出される。

【００４２】これらスイッチの状態信号入力回路１０４
に入力され、データバスによってＣＰＵ１００に送信さ
れる。

【００４３】前記ＬＣＤ駆動回路１０５は、液晶表示素
子であるＬＣＤを表示駆動させるための公知の構成より
成るもので、ＣＰＵ１００からの信号に従い、絞り値，
シャッタ秒時，設定した撮影モード等の表示をモニタ用
ＬＣＤ４２とファインダ内ＬＣＤ（Ｆ−ＬＣＤ）２４の
両方に同時に表示させることができる。

【００４４】前記ＬＥＤ駆動回路１０６は、照明用ＬＥ
Ｄ（Ｆ−ＬＥＤ）２５とスーパーインポーズ用ＬＥＤ２
１を点灯，点滅制御する。前記ＩＲＥＤ駆動回路１０７
は、ＣＰＵ１００の指示に従って赤外発光ダイオード１
３ａ〜１３ｈを選択的に点灯させたり、赤外発光ダイオ
ード１３ａ〜１３ｈへの出力電流値（あるいはパルス
数）を変化させて照明パワーを制御する。

【００４５】前記シャッタ制御回路１０８は、通電する
と先幕を走行させるマグネットＭＧ−１と、後幕を走行
させるマグネットＭＧ−２を制御し、感光部材に所定光
量を露光させる。前記モータ制御回路１０９は、フィル
ムの巻き上げ、巻き戻しを行うモータＭ１と主ミラー２
及びシャッタ４のチャージを行うモータＭ２を制御する
ためのものである。

【００４６】上記シャッタ制御回路１０８とモータ制御
回路１０９によって、一連のカメラのレリーズシーケン
ス動作する。

【００４７】次に、本発明の内容となる視線検出装置を
有したカメラの動作について、図５のフローチャートを
用いて説明する。

【００４８】モードダイヤル４４を回転させてカメラを
不作動状態から所定の撮影モードに設定すると（この実
施の形態では、シャッタ優先ＡＥに設定された場合をも
とに説明する）、カメラの電源がＯＮされ（ステップ＃
１００）、ＣＰＵ１００のＥＥＰＲＯＭ１００ａに記憶
された視線のキャリブレーションデータ以外の視線検出
に使われる変数がリセットされる（ステップ＃１０
１）。そして、カメラはレリーズ釦４１が押し込まれて
スイッチＳＷ１がＯＮされるまで待機する（ステップ＃
１０２）。

【００４９】レリーズ釦４１が押し込まれてスイッチＳ
Ｗ１がＯＮされたことを信号入力回路１０４が検出する
と、６秒間の測光タイマが作動し、その間カメラは連続
的に測光センサ１０と測光回路１０２、ＣＰＵ１００は
カメラの被写界光の測光値取り込み及び演算を繰り返
し、ファインダ内Ｆ−ＬＣＤ２４と外部モニタ用ＬＣＤ
４２に常に最新の測光演算値、つまりシャッタ秒時の表
示５１と撮影レンズの絞り値表示５２を行う。

【００５０】ＳＷ１がＯＮし、測光タイマが作動すると
同時にＣＰＵ１００は図２のモードダイヤル４４の設定
が視線入力がＯＮかＯＦＦのいづれにセットされている
のかを信号入力回路１０４を通じて検知する（ステップ
＃１０３）。ここで、視線入力ＯＦＦつまり視線禁止モ
ードに設定されているか、あるいは後述の視線検出が不
成功であった場合は視線情報を用いずに焦点検出領域自
動選択サブルーチンによって特定の焦点検出領域を選択
する（ステップ＃１１６）。そして、この焦点検出領域
において自動焦点検出回路１０３は焦点検出動作を行う
（ステップ＃１０７）。

【００５１】焦点検出領域自動選択のアルゴリズムとし
てはいくつかの方法が考えられるが、多点ＡＦカメラで
は公知となっている中央焦点検出領域に重み付けを置い
た近点優先アルゴリズムが有効である。

【００５２】また、ステップ＃１０３にてカメラの動作
モードが視線検出動作を実行する視線検出モードに設定
されている時は、視線検出を行う際にどのキャリブレー
ションデータを使用するかを視線検出回路１０１に確認
する。さらに、前記キャリブレーションデータナンバー
に対応する視線のキャリブレーションデータが所定の値
に設定されていてそのデータが撮影者により入力された
ものであることが認識されると、視線検出回路１０１は
そのキャリブレーションデータにしたがって視線検出を
実行し、視線はピント板７上の視線位置座標に変換され
る（ステップ＃１０４）。

【００５３】上記ステップ＃１０４の視線検出動作につ
いての詳細は後述するとして、次にステップ＃１０４で
検出された視線検出は成功か否かの判定にかけられる
（ステップ＃１０５）。ここでの判定条件は、角膜反射
像であるプルキンエ像及び瞳孔中心位置の信頼性及び眼
球の回転角等である。この結果、不成功ならばステップ
＃１１６の焦点検出領域自動選択サブルーチンに進む。
また、視線検出が成功ならば、ＣＰＵ１００は該視線位
置座標が属する視線有効領域に対応した焦点検出領域を
選択する（ステップ＃１０６）。これが領域選択手段で
ある。そして、自動焦点検出回路１０３はステップ＃１
０６あるいはステップ＃１１６にて選択がなされた焦点
検出領域での焦点検出を実行する（ステップ＃１０
７）。

【００５４】次に、レンズ駆動を行う前の状態でＣＣＤ
ラインセンサの信号から、上記フローにより選択された
焦点検出領域の焦点検出が可能か否かの判定が行われ
（ステップ＃１０８）、焦点検出が可能であれば、ＣＰ
Ｕ１００はレンズ焦点調節回路１１０に信号を送って所
定量撮影レンズ１を駆動させる（ステップ＃１０９）。

【００５５】さらに撮影レンズ駆動後の所定の焦点検出
領域において撮影レンズ１が合焦しているか否かの判定
が行われ（ステップ＃１１０）、合焦していたならば、
ＣＰＵ１００はＬＣＤ駆動回路１０５に信号を送ってフ
ァインダ内ＬＣＤ２４の合焦マーク５３を点灯させると
ともに、ＬＥＤ駆動回路１０６にも信号を送って合焦し
ている焦点検出領域に対応したスーパーインポーズ用Ｌ
ＥＤ２１を点灯させ、該焦点検出領域を光らせることで
合焦表示させる（ステップ＃１１１）。

【００５６】ステップ＃１０８にて焦点検出判定にて不
能と判断されるか、あるいはステップ＃１１０にてレン
ズ駆動後に合焦判定で合焦失敗と判断された場合は、Ｃ
ＰＵ１００はＬＣＤ駆動回路１０５に信号を送ってファ
インダ内ＬＣＤ２４の合焦マーク５３を点滅させ、被写
体にピントを合わせることができなかったことを知らし
め（ステップ＃１１７）、再度ＳＷ１が一旦ＯＦＦし、
再度ＯＮするのを待つ（ステップ＃１１８）。

【００５７】ここでステップ＃１１１に戻ると、撮影レ
ンズ１の合焦表示がなされた後、ＣＰＵ１００はステッ
プ＃１０２でＯＮした測光タイマの状態が引き続きＯＮ
しているか否かの検知を行う（ステップ＃１１２）。こ
こで合焦した焦点検出領域がファインダ内に表示された
のを撮影者が見て、その焦点検出領域が正しくない、あ
るいは撮影を中止すると判断してレリーズ釦４１から手
を離し、スイッチＳＷ１がＯＦＦされるとステップ＃１
０２に戻りＳＷ１ＯＮ待ちとなる。

【００５８】一方、撮影者が合焦表示された焦点検出領
域を見て、引き続きスイッチＳＷ１をＯＮし続けられて
いるならば、ＣＰＵ１００は測光回路１０２に被写界輝
度の測定を実行させ、カメラの露出値を決定させる（ス
テップ＃１１３）。さらにレリーズ釦４１を押し込んで
スイッチＳＷ２がＯＮされたならば（ステップ＃１１
４）、ＣＰＵ１００はシャッタ制御回路１０８、モータ
制御回路１０９、及び、絞り駆動回路１１１にそれぞれ
信号を送信して、公知のシャッタレリーズ動作を行う
（ステップ＃１１５）。

【００５９】具体的には、まず、モータ制御回路１０９
を介してモータＭ２に通電して主ミラー２をアップさ
せ、絞り３１を絞り込んだ後、マグネットＭＧ−１に通
電し、シャッタ４の先幕を開放する。絞り３１の絞り値
及びシャッタ４のシャッタスピードは、前記測光回路１
０２にて検出された露出値とフィルム５の感度から決定
される。所定のシャッタ秒時（１／１２５秒）経過後、
マグネットＭＧ−２に通電し、シャッタ４の後幕を閉じ
る。フィルム５への露光が終了すると、モータＭ２に再
度通電し、ミラーダウン、シャッタチャージを行うとと
もにフィルム給送用のモータＭ１にも通電し、フィルム
の駒送りを行い、一連のシャッタレリーズシーケンスの
動作が終了する。

【００６０】その後カメラは再びスイッチＳＷ１がＯＮ
されるまで待機する（ステップ＃１０２）。

【００６１】図６は、視線検出動作アルゴリズムを示す
フローチャートである。

【００６２】図６において、前述のように視線検出回路
１０１は、ＣＰＵ１００より信号を受け取ると視線検出
を実行する（ステップ＃１０４）。視線検出回路１０１
は撮影モードの中での視線検出かあるいは視線のキャリ
ブレーションモードの中での視線検出かの判定を行う
（ステップ＃２００）。

【００６３】実際には、図２のモードダイヤル４４が視
線検出動作のためのキャリブレーションモードに設定さ
れていた場合は、後述するキャリブレーション（ＣＡ
Ｌ）動作（ステップ＃３００）を実行する。

【００６４】モードダイヤル４４には視線検出モードの
設定があり、この設定位置で、３人分のキャリブレーシ
ョンデータを登録、実行が可能となるキャリブレーショ
ンデータナンバー１、２、３と視線検出を実行しないＯ
ＦＦの計４つのポジション設定が図２の電子ダイヤル４
５の操作で可能である。

【００６５】そこで、カメラがキャリブレーションモー
ドに設定されていない場合、視線検出回路１０１はカメ
ラが現在どのキャリブレーションデータナンバーに設定
されているかを認識する。

【００６６】つづいて視線検出回路１０１は、撮影モー
ドでの視線検出の場合はまず最初にカメラがどのような
姿勢になっているかを信号入力回路１０４を介して検出
する（ステップ＃２０１）。信号入力回路１０４は図１
中の水銀スイッチ２７（ＳＷ−ＡＮＧ）の出力信号を処
理してカメラが横位置であるか縦位置であるか、また縦
位置である場合は例えばレリーズ釦４１が天方向にある
か地（面）方向にあるか判断する。

【００６７】次に、先に検出されたカメラの姿勢情報と
キャリブレーションデータに含まれる撮影者の眼鏡情報
より赤外発光ダイオード（以下、ＩＲＥＤと称す）１３
ａ〜１３ｈの選択を行う（ステップ＃２０２）。

【００６８】すなわち、カメラが横位置に構えられ、撮
影者が眼鏡をかけていなかったならば、図２（ｂ）に示
すＩＲＥＤ１３ａ，１３ｂが選択される。また、カメラ
が横位置で、撮影者が眼鏡をかけていれば、撮影者の眼
鏡反射光の影響が少なくなるように、ＩＲＥＤ１３ａ、
１３ｂの間隔よりもさらに間隔の広い１３ｃ，１３ｄの
ＩＲＥＤが選択される。

【００６９】又カメラが、例えばレリーズ釦４１が天方
向にあるか地（面）方向に縦位置で構えられていたなら
ば、撮影者の眼球を下方から照明するようなＩＲＥＤの
組み合わせ、すなわち撮影者が眼鏡をかけていなかった
ならば、１３ａ，１３ｅを、撮影者が眼鏡をかけていれ
ば、１３ｃ，１３ｇの組み合わせが選択される。次にＣ
ＣＤ−ＥＹＥ１４の本蓄積に先だって予備蓄積が行われ
る（ステップ＃２０３）。

【００７０】ＣＣＤ−ＥＹＥ１４予備蓄積というのは、
本蓄積の直前に一定時間、たとえば１ｍｓと蓄積時間を
決めて常に像信号を取り込むことで、その信号レベルの
強弱に応じて実際の眼球像取り込みの蓄積時間を制御す
ることで、安定した眼球像信号を得ることが可能とな
る。

【００７１】つまり予備蓄積の像信号出力に基づいて、
観察者の眼球近傍の明るさ（外光量）が測定される（ス
テップ＃２０４）。

【００７２】次にイメージセンサ１４（以下、ＣＣＤ−
ＥＹＥと称す）の蓄積時間及びＩＲＥＤの照明パワー
が、ステップ＃２０４の外光量あるいは眼鏡装着か否か
の情報等に基づいて設定される（ステップ＃２０５）。

【００７３】ＣＣＤ−ＥＹＥ１４の蓄積時間及びＩＲＥ
Ｄの照明パワーが設定されると、ＣＰＵ１００はＩＲＥ
Ｄ駆動回路１０７を介してＩＲＥＤ１３を所定のパワー
で点灯させるとともに、視線検出回路１０１はＣＣＤ−
ＥＹＥ１４の蓄積を開始する（ステップ＃２０６）。ま
た、先に設定されたＣＣＤ−ＥＹＥ１４の蓄積時間にし
たがってここでの蓄積を終了し、それとともにＩＲＥＤ
１３も消灯される。次に、ＣＣＤ−ＥＹＥ１４にて蓄積
された像信号は順次読み出され、視線検出回路１０１で
Ａ／Ｄ変換された後にＣＰＵ１００にメモリされる（ス
テップ＃２０７）。

【００７４】ここで簡単に視線検出の原理について図１
１、図１２を用いて説明する。

【００７５】図１１は、ＣＣＤ−ＥＹＥ１４の眼球像信
号を画像化したもので、図１２中の眼球１５の角膜１６
において、仮にＩＲＥＤ１３ａと１３ｂが発光すること
で、図１１に示す角膜反射像（以下、プルキンエ像と記
す）１９ａ、１９ｂが生じる。また、１７は虹彩、１８
は瞳孔である。

【００７６】これらの像信号に対して公知であるところ
の視線検出処理が行われる（ステップ＃２０８）。

【００７７】すなわち、ＣＰＵ１００において、眼球の
照明に使用された１組のＩＲＥＤ１３ａ、１３ｂの虚像
であるプルキンエ像１９ａ、１９ｂの位置が検出され
る。

【００７８】前述の通り、プルキンエ像１９ａ、１９ｂ
は光強度の強い輝点として現れるため、光強度に対する
所定のしきい値を設け、該しきい値を超える光強度のも
のをプルキンエ像とすることにより検出可能である。ま
た、瞳孔の中心位置は瞳孔１８と虹彩１７の境界点を複
数検出し、各境界点を基に円の最小二乗近似を行うこと
により算出される。これらプルキンエ像位置と瞳孔中心
位置とから眼球における回転角度θが求まり、さらに二
つのプルキンエ像１９の間隔からカメラの接眼レンズ１
１と撮影者の眼球１５との距離が算出され、ＣＣＤ−Ｅ
ＹＥ１４に投影された眼球像の結像倍率βを得ることが
できる。

【００７９】以上のことから、眼球の回転角度θと結像
倍率β、さらにキャリブレーションで得られた個人差補
正情報を用いて、撮影者の視線方向のピント板７上の位
置座標を求めることができる。

【００８０】図６に戻って、ステップ＃２０３からステ
ップ＃２０８で行われた視線検出動作が何回行われたか
が判定され（ステップ＃２０９）、後述するキャリブレ
ーション時に撮影者の注視点分布に基づいて決定された
視線検出実行回数：ｎに達していなければステップ＃２
０３に戻って再度視線検出を実行し、ｎ回に達したなら
ば、ｎ回の視線検出で得られた撮影者の視線方向のピン
ト板７上の位置座標のｘ、ｙ値の各々の平均値を算出し
て最終的な視線位置として決定する（ステップ＃２１
０）。これが視線位置決定手段であり、ここで視線位置
が決まると図５のステップ＃１０５の領域選択手段に戻
り、視線位置に対応した視線有効領域が決定し、さらに
該領域に対応した焦点検出領域が決定される。

【００８１】つづいて、図７のフローチャートを用いて
キャリブレーション動作アルゴリズムの説明を行う。

【００８２】前述したように、キャリブレーションとは
撮影者がファインダ視野内の焦点検出領域のドットマー
ク右端７４′、左端７０′をそれぞれ一定時間固視する
ことで行い、そこから得られた眼球像データから視線補
正データを採取するというものであり、本実施例ではこ
のキャリブレーション動作そのものが前記図６の視線検
出アルゴリズム中の視線検出実行回数：ｎを決める注視
点分布採取手段となっている。

【００８３】モードダイヤル４４が「ＣＡＬ」ポジショ
ンに設定されることで、キャリブレーション動作がスタ
ートする（ステップ＃３００）。

【００８４】まず最初にカメラがどのような姿勢になっ
ているかを水銀スイッチ２７（ＳＷ−ＡＮＧ）の出力信
号と信号入力回路１０４を介して検出する（ステップ＃
３０１）。これは図６視線検出フローのステップ＃２０
１と同じ検出処理である。つぎに、ファインダ視野内の
焦点検出領域のドットマーク右端７４′を点滅表示して
撮影者に固視すべき目標を表示する（ステップ＃３０
２）。

【００８５】また同時に現在設定されているキャリブレ
ーションナンバからＥＥＰＲＯＭ１００ａにメモリされ
ているキャリブレーションデータの確認を行い、既に登
録済みの場合は、図２のモニタ用ＬＣＤ４２の「ＣＡ
Ｌ」表示をそのまま点灯に、未登録の場合には、「ＣＡ
Ｌ」表示を点滅させる。

【００８６】つづいてカメラは、キャリブレーションを
行う際の撮影者の眼球を照明するＩＲＥＤの選択動作を
行う（ステップ＃３０３）。この場合のＩＲＥＤの選択
動作は、図６中で説明した動作と多少異なり、カメラの
姿勢情報を用いるのは同様であるが、キャリブレーショ
ンを過去に行って、キャリブレーションデータが既にカ
メラに記憶されている場合には、記憶されているＩＲＥ
Ｄの組を、つまり、眼鏡装着時用か非装着時（裸眼）用
の組のいづれかを記憶情報に従って最初から選択する。
一方、初めてキャリブレーションを行う場合は、眼鏡装
着時用か非装着時用のＩＲＥＤの組を選択する情報がな
いため、キャリブレーションの第一回目の眼球像照明は
眼鏡非装着時用のＩＲＥＤの組を選択発光し、後述のＣ
ＣＤの眼球像信号中に眼鏡の反射によるゴーストの有無
の判定に従って、眼鏡ゴースト発生が検知されれば、二
回目以降の照明は眼鏡用のＩＲＥＤの組に変更される。
ステップ＃３０３にて、発光を行うべきＩＲＥＤの組が
決定され、カメラは撮影者のＳＷ１のＯＮ信号待ちとな
り、ＳＷ１−ＯＮ信号を検知すると前記図６のフローチ
ャート説明で行ったステップ＃２０３から＃ステップ２
０５と同じ眼球像取り込み動作が行われる。

【００８７】つまり、ＣＣＤ−ＥＹＥ１４の蓄積時間と
ＩＲＥＤ１３の照明パワーが設定され（ステップ＃３０
４）、実際にＣＣＤ−ＥＹＥ１４の蓄積とＩＲＥＤ１３
の照明が実行され（ステップ＃３０５）、ＣＣＤ−ＥＹ
Ｅ１４にて蓄積された像信号が順次読み出され、ＡＤ変
換後にＣＰＵ１００にメモリされる（ステップ＃３０
６）。次にＣＰＵ１００はメモリ上のＡＤ変換された像
信号を定められた計算式に従って撮影者の眼球の回転角
度θを算出する（ステップ＃３０７）。

【００８８】なお、眼球像取り込み動作中はファインダ
視野内の焦点検出領域のドットマーク右端７４′の点滅
は点灯表示に変わり、撮影者に眼球像取り込み動作を実
行している最中であることを知らしめている。

【００８９】つづいて算出された回転角度θは、その値
が妥当か否かの判定にかけられる（ステップ＃３０
８）。

【００９０】眼球光軸と視軸のズレが生体的に数十度も
ずれていることはほとんどないので、ここでは判定の閾
値を±１０度に設定してある。ステップ＃３０８では、
検出された眼球の回転角度ＯＫ、ＮＧの判定を行ってい
るだけで、その結果がＯＫでもＮＧでも次のステップ＃
３０９に進み、眼球の回転角度検出の総回数が１０回未
満であればステップ＃３０４にもどり、再度眼球像取り
込み動作が行われ、眼球の回転角度検出の総回数が１０
回に達すると、今度はその１０回のうちＯＫが何回発生
したかによってキャリブレーション（ＣＡＬ）成功、失
敗の判定を行う（ステップ＃３１０）。

【００９１】ここでは５回以上の回転角度検出成功で右
端７４′でのキャリブレーション成功となり、引き続
き、今度は左端７０′でのキャリブレーション動作を開
始する。左端７０′でのキャリブレーションが同様に成
功すると右端指標７４′と左端指標７０′それぞれにお
ける注視点（正確には注視回転角）の分布が得られる。
図８（ａ）と図８（ｂ）にその一例を示す。

【００９２】図８（ａ）と図８（ｂ）は、撮影者：ａと
撮影者：ｂという２人の本発明のカメラのキャリブレー
ション対象者に、各人右端指標７４′を見てキャリブレ
ーションを行ってもらい、１０回の回転角度検出に全て
成功したデータをθｘ、θｙ座標系にプロットしたもの
であり、便宜的にθｘ、θｙ座標系の原点に各θｘ、θ
ｙ１０個づつのデータの平均値を一致させてあるため、
原点を平均中心とした分布となっている。

【００９３】図８（ａ）と図８（ｂ）から明らかなよう
にａの人に対し、ｂの人は１点（この場合指標７４′）
を注視していてもその注視点のばらつきが大きいことが
わかる。そこで、これら注視点分布を定量化するために
θｘ、θｙ各々に対して標準偏差を計算する（ステップ
＃３１１）。

【００９４】標準偏差：σは次式で算出する（式はθｘ
についてのもの）。

【００９５】

【数１】

【００９６】よって上式より指標４７′を注視したとき
のＸ方向、ｙ方向の標準偏差をそれぞれ、σＲｘ、σＲ
ｙ、また指標４０′を注視したときのＸ方向、ｙ方向の
標準偏差をそれぞれ、σＬｘ、σＬｙと各々計算するこ
とができる。本説明のカメラでは視線検出で選択すべき
視線有効領域６０から６４が水平方向のみに並んでいる
ことから、ここではＸ方向のみの注視点分布を示す標準
偏差σｘ＝（σＲｘ＋σＬｘ）／２を定義して以下説明
を続ける。

【００９７】次に、計算されたＸ方向の注視点分布の標
準偏差σｘのバラツキ表示を行う（ステップ＃３１
２）。

【００９８】図９は、視線検出キャリブレーション時の
ファインダー内表示図であり、２４は、前述のファイン
ダー内ＬＣＤであり、ドットマトリクス液晶等、表示を
任意に変えられるよう構成されており、図３の表示と
は、全く別の表示が可能となっている。９０は、キャリ
ブレーションの状態表示手段であり、ＣＡＬ１〜ＣＡＬ
３の表示を行う。９１〜９６は、注視点分布のバラツキ
の程度を表示する手段であり、６段階の表示が可能であ
る。

【００９９】以下、注視点分布のバラツキの程度を表示
する方法を説明する。説明の便宜上、σｘ＝σＲｘとし
て説明する。σｘが１．３°以下であれば、表示部９１
が点灯し、以下、σｘが１．１°以下であれば、更に、
表示部９２が点灯、σｘが０．９°以下であれば、表示
部９３が点灯、σｘが０．７以下であれば、表示部９４
が点灯、σｘが０．５以下であれば、表示ぶ９５が点
灯、σｘが０．３以下であれば、表示部９６が点灯す
る。

【０１００】以上、説明したように、注視点分布のバラ
ツキを表示する表示手段９１〜９６は、バラツキが少な
い程、より多くの表示部が点灯し、撮影者の注視能力を
撮影者自身が認識することができる。

【０１０１】図９（ａ）と図９（ｂ）は、前記、図８
（ａ）と図８（ｂ）で説明した撮影者ａ、ｂが実際にキ
ャリブレーションを行ったときの表示手段の状態を示す
図である。

【０１０２】図９（ａ）において、撮影者ａは、標準偏
差σｘ＝０．３９であることにより、表示部９１，９
２，９３，９４，９５が点灯する。図９（ｂ）におい
て、撮影者ｂは、標準偏差σｘ＝０．８５であることよ
り、表示部９１，９２，９３が点灯する。

【０１０３】次に、計算されたＸ方向の注視点分布の標
準偏差σｘを閾値と比較する（ステップ＃３１３）。閾
値はここでは０．７度としている。実際には視線検出で
選択すべき領域６０から６４を選択するためには隣接し
た各領域中心間の距離／２（ここでは視線角度にして約
２度）が分離できれば可能であるはずであるが、実際に
は注視時のばらつき以外にも撮影者のファインダの覗き
方の差、キャリブレーションでの誤差、視線検出時の誤
差等が視線検出の結果に影響するため、ここでの閾値は
厳しい値を設定してある。

【０１０４】説明の便宜上σｘ＝σＲｘとすると、上記
撮影者ａは標準偏差σｘ＝０．３９であることより閾値
０．７を下回っているので注視点分布のばらつきは少な
い人であると判断し、図６で説明したところの視線検出
動作実行為時における視線検出実行回数はｎ＝１と決定
され、その回数がＥＥＰＲＯＭ１００ａにメモリされる
（ステップ＃３１３）。一方、上記撮影者ｂは標準偏差
σｘ＝０．８５であることより閾値０．７を上回ってい
るので注視点分布のばらつきは大きい人であると判断
し、視線検出実行回数はｎ＝３と決定され、その回数が
ＥＥＰＲＯＭ１００ａにメモリされる（ステップ＃３１
５）。

【０１０５】図１０（ａ）と図１０（ｂ）は、前記図８
（ａ）と図８（ｂ）で説明した撮影者ａ、ｂが実際に視
線検出を行って、視線有効領域６１が選択されることを
説明したものである。

【０１０６】図１０（ａ）において、撮影者ａはキャリ
ブレーション時の注視点分布採取手段によって注視点分
布のばらつきが少ない人と判断されているため、ｎ＝１
回のみの視線検出で検出されたピント板７上の座標８０
がそのまま視線位置として決定され、その座標が属する
視線有効領域６１が選択されている。

【０１０７】一方図１０（ｂ）においては、撮影者ｂは
注視点分布のばらつきが大きい人と判断されるため、視
線検出はｎ＝３回実行され、それぞれピント板７上の座
標８１、８２、８３が視線位置として検出される。そし
て最終的には座標８１、８２、８３のそれぞれのＸ，Ｙ
座標値が平均された８４が視線位置として決定し、その
座標が属する視線有効領域６１が選択されている。

【０１０８】図７に戻って、ステップ＃３１４およびス
テップ＃３１５にて視線検出実行回数が決定されると、
モニタ用ＬＣＤ４２の「ＣＡＬ」表示はキャリブレーシ
ョン成功を意味する点灯表示となりキャリブレーション
データはＣＰＵ１００にメモリされる。キャリブレーシ
ョンが成功すると、ＣＰＵ１００はキャリブレーション
によって得られた撮影者の眼球の個人差による視線の検
出誤差を補正するための視線補正データをＣＰＵ１００
のＥＥＰＲＯＭ１００ａに記憶する。もし既にキャリブ
レーションデータが登録されていた場合、新たに採取さ
れたキャリブレーションデータは、メモリされていた過
去のデータと統合される（ステップ＃３１７）。

【０１０９】またステップ＃３１０にて回転角度の検出
成功回数が５回未満の場合にはＣＡＬ失敗となり、モニ
タ用ＬＣＤ４２の「ＣＡＬ」表示は点滅表示にかわり、
撮影者にキャリブレーションが失敗したことを知らしめ
る（ステップ＃３１６）。

【０１１０】上記説明において、注視点分布採取手段と
して、注視点座標の標準偏差を利用し、注視点分布のバ
ラツキの程度を表示したが、標準偏差以外にも、分散の
値等を利用しても良い。また、注視点分布のバラツキの
程度を表示する手段も、実施例に限らず、応用例が多数
あることも、言うまでも無い。

【０１１１】（変形例）本発明は、一眼レフカメラに適
用した場合を述べているが、レンズシャッタカメラ，ビ
デオカメラ等のカメラにも適用可能である。更に、ヘッ
ドマウント式の視線検出ユニットとディスプレイを組み
合わせた機器やその他の機器、構成ユニットとしても適
用することができるものである。

【０１１２】

【発明の効果】本発明は、観察者の視線を検出する視線
検出手段、該視線検出手段で算出された視線位置を補正
するための補正値を算出するためのキャリブレーション
手段、観察者が同一個所を注視した時の複数の視線位置
情報を得るための注視点分布採取手段、表示手段を有
し、該キャリブレーション手段実行と同時に、該注視点
分布採取手段も実行され、該注視点分布採取手段の出力
に基づいて、注視点分布のバラツキの程度を該表示手段
に表示することを特徴とする視線検出機能付き光学機器
を提供するものである。

【０１１３】この発明により、キャリブレーション時
に、観察者の注視能力を自分で認識することができ、学
習効果として、注視能力を向上させることも可能とな
り、また、観察者が、安心して使えるシステムを提供す
ることが可能となる。

【図面の簡単な説明】

【図１】一眼レフカメラの概略図。

【図２】一眼レフカメラの上面概観図および一眼レフカ
メラの後部外観図。

【図３】ファインダ視野図。

【図４】カメラの電気回路図。

【図５】カメラ動作のフローチャート。

【図６】視線検出動作のフローチャート。

【図７】視線検出キャリブレーションのフローチャー
ト。

【図８】注視点分布図。

【図９】視線検出キャリブレーション時のファインダー
内表示図。

【図１０】視線選択領域説明図。

【図１１】視線検出原理説明図。

【図１２】視線検出原理説明図。

【符号の説明】

１ 撮影レンズ ２ 主ミラー ６ 焦点検出装置 ６ｆ イメージセンサ ７ ピント板 １０ 測光センサ １１ 接眼レンズ １３ 赤外発光ダイオード（ＩＲＥＤ） １４ イメージセンサ（ＣＣＤ−ＥＹＥ） １５ 眼球 １６ 角膜 １７ 虹彩 １８ 瞳孔 ２４ ファインダー内ＬＣＤ ２７ 水銀スイッチ ３１ 絞り ４１ レリーズ釦 ４４ モードダイヤル ４５ 電子ダイヤル ５０ 視線入力マーク ５３ 合焦マーク ７０〜７４ 焦点検出領域マーク ９１〜９６ 表示手段 １００ ＣＰＵ １０１ 視線検出回路 １０３ 焦点検出回路 １０４ 信号入力回路 １０５ ＬＣＤ駆動回路 １０６ ＬＥＤ駆動回路 １０７ ＩＲＥＤ駆動回路 １１０ 焦点調節回路

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０２Ｂ 7/34 Ｇ０２Ｂ 7/11 Ｃ Ｇ０３Ｂ 13/36 Ｇ０３Ｂ 3/00 Ａ Ｆターム(参考） 2H011 BA23 CA19 2H018 AA00 AA21 BE00 BE02 2H051 BA04 DA24 2H102 AA71 AB00 BA01 BA12 BB05 BB08 BB24 CA11 CA12 CA13 CA19 CA26 CA27

Claims (3)

【特許請求の範囲】
1. 【請求項１】 観察者の視線を検出する視線検出手段、
   該視線検出手段で算出された視線位置を補正するための
   補正値を算出するためのキャリブレーション手段、観察
   者が同一個所を注視した時の複数の視線位置情報を得る
   ための注視点分布採取手段、表示手段を有し、該キャリ
   ブレーション手段実行と同時に、該注視点分布採取手段
   も実行され、該注視点分布採取手段の出力に基づいて、
   注視点分布のバラツキの程度を該表示手段に表示するこ
   とを特徴とする視線検出機能付き光学機器。
2. 【請求項２】 該注視点分布採取手段によって得られた
   観察者の複数の視線位置データは、統計処理によって数
   値化されることを特徴とする請求項１記載の視線検出機
   能付き光学機器。
3. 【請求項３】 該表示手段は、カメラのファインダ内に
   配置されることを特徴とする請求項１記載の視線検出装
   置付き機器。