JP2009240551A

JP2009240551A - 視線検出装置

Info

Publication number: JP2009240551A
Application number: JP2008091129A
Authority: JP
Inventors: Yumiko Abe; 夕美子阿部; Koji Sone; 浩二曽根; Eiichiro Hikosaka; 英一郎彦坂
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2008-03-31
Filing date: 2008-03-31
Publication date: 2009-10-22

Abstract

【課題】装着者にとり視界が妨げられず美観の良い視線検出装置を提供する。
【解決手段】左右の眼球を撮影するための両眼画像撮影素子と、前記両眼画像撮影手段により撮影された左右の眼球映像を用いて左右の眼球から左右の視線が交差する点までの距離を計算する画像処理部とから成り、前記両眼画像撮影素子は、右眼球を撮影するための第1撮像レンズと、左眼球を撮影するための第２撮像レンズと、前記第1撮像レンズからの右眼球画像を反射する第１のミラーと、前記第２撮像レンズからの左眼球画像を反射する第２のミラーと、前記第１のミラーと前記第２のミラーからの各々の反射光を受光するための撮像素子とから成る請求項１に記載の視線検出装置。
【選択図】図７

Description

本発明は、使用者の視線方向及び焦点を検出する視線検出装置に係り、特に眼鏡型の装置にとりつける場合に好適に利用できるものである。

眼球の中心と見ている対象を結ぶ線である視線を検知する方法には、接触型と非接触型がある。しかし、接触型の検知方法は装着感が悪いため、長時間の使用には不向きである。非接触型の検知方法には、強膜反射法と角膜反射法がある。強膜反射法は黒目と白目の反射率の違いを利用して眼球の動きを検出し、角膜反射法は眼の外部からの光源が角膜に映ってできる輝点の動きから眼球の動きを検出する。これらの検出には、撮像素子である光電素子やＣＣＤカメラ等が用いられる。このような方法を用いて、左右の視線が交差する点（焦点）までの距離を左右の眼の視線から算出すできることが知られている（例えば、特許文献１及び特許文献２参照。）。
特開２０００−２４９９０２号公報特開平７−５６５１７号公報

しかしながら、前記従来の構成では、左右の眼の前に撮像素子を各々配置する必要があるため、装着者にとっては視界が妨げられると供に美観を損なうという課題を有していた。

本発明は、前記従来の課題を解決するもので、装着者にとり視界が妨げられず美観の良い視線検出装置を提供することを目的とする。

前記従来の課題を解決するために、本発明の視線検出装置は、左右の眼球を撮影するための両眼画像撮影素子と、前記両眼画像撮影手段により撮影された左右の眼球映像を用いて左右の眼球から左右の視線が交差する点までの距離を計算する画像処理部とから成ることを特徴としたものである。

本発明の視線検出装置によれば、小型で装着時に視界を妨げないため、美観が良く、さらには装着感の良い視線検出装置を提供することができる。

以下に、本発明の視線検出装置の実施の形態を図面とともに詳細に説明する。

（実施の形態１）
図１は、視線検出装置の構成図を示す。矢印１０１、１０２はデータ信号の流れを表す。視線検出装置１０３は、両眼を撮影する撮像部１０４と、撮像部１０４で撮影された画像から視線及び焦点を検出して両眼から焦点までの距離を演算する画像処理部１０５で構成される。視線検出装置１０３の出力は制御部１０６に接続されている。画像処理部１０５で検出された両眼から焦点までの距離を用いて、様々なシステムの制御ができる。例えば、可変焦点レンズを備えた自動焦点眼鏡では、両眼から焦点までの距離に応じて自動的にレンズの焦点調節が出来る。また、視線方向により各種データの入力を行う視線入力装置に利用すれば、視線検出装置１０３の算出結果により入力情報を与えられる視線入力装置が実現できる。さらに、視線追従機能を備えたヘッドマウントディスプレイでは、視線検出装置１０３の算出結果に合わせて表示映像を更新する。視線を分析等の目的で記録する視線記録追跡装置では、視線検出装置１０３の結果が記録媒体に保存される。

図２は、視線検出装置の両眼画像撮影素子を示す。眼からの反射光を集光する左右のレンズ２０１、２０２と、左右のミラー２０３、２０４と、ノイズとなる赤外線をカットするＩＲカットフィルタ２０５と、ＣＣＤイメージセンサなどの撮像素子２０６を備える。両眼の像が左右のレンズ２０１、２０２を通り、それぞれ左右のミラー２０３、２０４によって反射され、光路を変える。ミラー２０３、２０４はレンズ２０１、２０２からの像が撮像素子２０６に向けて反射される角度に傾斜して設けられている。ミラー２０３、２０４で反射した両眼の像は赤外線フィルタ２０５を通り、撮像素子２０６の有効画素領域に左右分割して投影される。撮像素子に投影されたときの像の様子を図３に示す。撮像素子に投影された像は電気信号に変換され、画像処理部により眼球の移動量を認識し、視線及び焦点を算出する。

図４は、画像処理部での視線検出処理例のフローチャートである。ここでは、黒目の境界から視線を検出して焦点までの距離を算出する。まず、最初に左右両方の眼が映っている画像から右眼だけを検知する４０１。次に右眼の黒目と白目の境界を検知し４０２、境界の位置から右眼の視線を算出する４０３。同様に左眼も処理し左眼の視線を算出する４０４〜４０６。最後に両眼の視線から焦点の距離を算出する４０７。
次に、視線を算出する方法４０３の例を説明する。図５に右眼の視線の算出概念を示す。図５は右の眼球を上から見た図である。実際の眼球は、角膜部分が眼球全体に対してやや外側に膨らんでいる。この厚みを考慮して計算する事も可能であるが、説明を簡略化するためにここでは眼球を正円として考える。cは横から見える黒目の厚さである。図６に右眼を横から撮影した図を示す。横から撮影した黒目の厚み６０１が図５のcに相当する。眼球の半径をｒeとすると、眼球中心から黒目と白目の境界までの角度θは数１で計算される。

眼球が正面を向いている場合のｃの値で角度を計算しておき、眼球移動時のｃの値で計算した角度から差し引けば、視線を求める事ができる。また、他の手段として、予め基準となる画像とそのときの視線角度をパターン化して蓄積し、撮影した画像が蓄積しているパターンと同じものがあるか、または近いものがあるかを検出することにより角度を求めるパターンマッチング方式により検出しても良い。

次に、焦点までの距離を算出する方法４０７の例を説明する。特開２０００−２４９９０２号公報の実施の形態及び図５に示す通り、左右の眼の瞳孔間距離をｄとして各眼球の内側への視線方向の角度をそれぞれθL、θRとすると眼から注視点の距離は、数２で計算することができる。

図７は、撮像部を眼鏡に取り付けた場合の例で、眼鏡を上から見た図である。撮像部７０１は、眼鏡の鼻パッドまたは鼻パッド付近などの視線を妨げない場所に設置され、レンズ部は左右の眼球に向けて設置される。画像処理部の装着場所はどこでもよく、デザイン上都合の良い場所に装着しても良いし、撮像部と一体化させても良い。

以上のように、実施の形態１においては撮像部を一つにすることにより小型となり、さらに両眼の間に設置することにより視界を妨げることのない視線検出装置を提供することができる。

また、実施の形態１の撮像部において、時分割で片眼ずつを撮像素子に投影して撮影することにより、撮影画像における片眼当たりの画素が多くなり、視線検出の精度を上げることができる。

本発明にかかる視線検出装置は、小型で視界を妨げることなく視線を検出する手段を有し、装着型の装置の視線検出部として有用であり、特に眼鏡型の装置にとりつける場合に有用である。

本発明の実施の形態１における視線検出装置のブロック図本発明の実施の形態１における両眼画像撮影素子の構成図本発明の実施の形態１における撮像素子に投影された図本発明の実施の形態１における画像処理のフローチャート本発明の実施の形態１における眼球角度の算出方法を示す図本発明の実施の形態１における横から撮影した右眼の図本発明の実施の形態１における撮像部を眼鏡に取り付けた図

符号の説明

１０１データの流れ
１０２データの流れ
１０３視線検出装置
１０４撮像部
１０５画像処理部
１０６制御部
２０１レンズ
２０２レンズ
２０３ミラー
２０４ミラー
２０５ＩＲカットフィルタ
２０６撮像素子
３０１眼の像
３０２眼の像
６０１横から撮影したときの黒目の厚み
７０１撮像部

Claims

左右の眼球を撮影するための両眼画像撮影素子と、
前記両眼画像撮影手段により撮影された左右の眼球映像を用いて左右の眼球から左右の視線が交差する点までの距離を計算する画像処理部とから成る視線検出装置。
前記両眼画像撮影素子は、左右の眼球の間に配置される請求項１に記載の視線検出装置。
前記両眼画像撮影素子は、
右眼球を撮影するための第1撮像レンズと、
左眼球を撮影するための第２撮像レンズと、
前記第1撮像レンズからの右眼球画像を反射する第１のミラーと、
前記第２撮像レンズからの左眼球画像を反射する第２のミラーと、
前記第１のミラーと前記第２のミラーからの各々の反射光を受光するための撮像素子とから成る請求項１に記載の視線検出装置。
前記第１のミラーと前記第２のミラーと前記撮像素子との光路間に赤外線フィルタを設けた請求項３に記載の視線検出装置。
前記第１のミラーと前記第２のミラーからの各々の反射光が、前記撮像素子の有効画素領域上に左右均等に照射されるように前記第１のミラーと前記第２のミラーを配置した請求項３に記載の視線検出装置。
前記画像処理部は、左右の眼球の側面の画像から視線及び焦点を算出することを特徴とした請求項１の視線検出装置。
前記画像処理部は、黒目と白目の境界移動を検知して視線を算出する手段を備えた請求項１の視線検出装置。
前記画像処理部は、瞳孔の移動を検知して視線を算出する手段を備えた請求項１の視線検出装置。
請求項１の視線検出装置を用いた自動焦点眼鏡。
請求項１の視線検出装置を用いた視線入力装置。
請求項１の視線検出装置を用いた眼鏡型表示装置。
請求項１の視線検出装置を用いた視線記録装置。