JP2006332970A

JP2006332970A - 視覚補助装置

Info

Publication number: JP2006332970A
Application number: JP2005152519A
Authority: JP
Inventors: Masaharu Yonetani; 正治米谷; Hideaki Yashima; 秀明八島
Original assignee: Fujifilm Holdings Corp
Current assignee: Fujifilm Holdings Corp
Priority date: 2005-05-25
Filing date: 2005-05-25
Publication date: 2006-12-07

Abstract

【課題】ユーザの前方，左右側方，上下方，後方等のユーザ視角内及び視角外の画像を簡単な操作により見ることができる視覚補助装置を提供する。
【解決手段】フレーム３１，３２Ｒ，３２Ｌに取り付けられフレーム３１，３２Ｒ，３２Ｌを装着するユーザの視角内及び視角外を撮像する複数の撮像素子１〜１０と、ユーザの視線方向を検出する視線検出手段１９，２０と、複数の撮像素子１〜１０により撮像された撮像画像の中から視線検出手段１９，２０が検出した視線方向の撮像画像を求める画像処理手段と、前記ユーザの目の前に設けられ前記画像処理手段が求めた前記視線方向の撮像画像を表示する表示部とを備える。
【選択図】図１

Description

本発明は眼鏡型の視覚補助装置に関する。

下記特許文献１，２には、従来の電子式眼鏡装置が開示されている。この従来の電子式眼鏡装置は、これを掛けたユーザの前方画像をＣＣＤ等の固体撮像素子で撮像し、得られた撮像画像を、ユーザの目の前に設けた液晶表示装置に表示し、ユーザの視覚を補助する構成になっている。

特開２００１―４２２５２号公報特開２００３―１３４４２０号公報

上述した従来の電子式眼鏡装置は、近眼や老眼等のユーザの為に、ユーザ前方の画像を固体撮像素子で撮像して液晶表示装置に表示する構成になっており、ユーザ前方の画像しか補助しない。

このため、側方を見たい場合や、上方，下方を見たい場合には、ユーザは首を側方や上方，下方に向けて固体撮像素子の視野内に側方の画像や上方，下方の画像を入れなければならず、例えば首を自由に動かせないユーザにとっては使い勝手の良いものではないという問題がある。

本発明の目的は、ユーザの前方，左右側方，上下方，後方等のユーザ視角内及び視角外の画像を簡単な操作により見ることができる視覚補助装置を提供することにある。

本発明の視覚補助装置は、フレームに取り付けられ該フレームを装着するユーザの視角内及び視角外を撮像する複数の撮像素子と、前記ユーザの視線方向を検出する視線検出手段と、前記複数の撮像素子により撮像された撮像画像の中から前記視線検出手段が検出した視線方向の撮像画像を求める画像処理手段と、前記ユーザの目の前に設けられ前記画像処理手段が求めた前記視線方向の撮像画像を表示する表示部とを備えることを特徴とする。

本発明の視覚補助装置の前記画像処理手段は、前記フレームに取り付けられる前記複数の固体撮像素子による撮像画像を合成して該フレーム周りの全方位の画像を合成し、該全方位の画像の中から切り出され前記表示部に表示される画像を前記視線方向に応じてスクロールさせることを特徴とする。

本発明の視覚補助装置は、前記フレームに取り付けられた複数の指向性集音装置と、前記フレームに取り付けられ該フレームを装着する前記ユーザの耳部分に音声を出力する音声出力装置と、前記表示部に表示されている画像の撮像方向の音声を該当する前記指向性集音装置から取り込み前記音声出力装置に出力する音声処理手段とを備えることを特徴とする。

本発明の視覚補助装置の前記音声処理手段は、前記該当する前記指向性集音装置から取り込んだ音声信号を前記音声出力装置から出力させるとき、該指向性集音装置以外の前記指向性集音装置が集音した音声信号の逆位相の音声を生成し前記音声出力装置から出力させることを特徴とする。

本発明によれば、ユーザが目の動きによって見たい画像の方向や聞きたい音声の方向を操作することができるため、使い勝手の良い視覚補助装置を提供することが可能となる。

以下、本発明の一実施形態について、図面を参照して説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る眼鏡型の視覚補助装置の外観図である。本実施形態の視覚補助装置は、聴覚補助機能も搭載した視聴覚補助装置となっている。

この視聴覚補助装置３０は、ユーザの両目前方を覆う広さの液晶表示装置を収納した長円形板（フレーム）３１と、長円形板３１の長径部両脇に夫々の一端が連結され他端側がユーザの耳に掛けられる眼鏡のつる部分（フレーム）３２Ｒ，３２Ｌとを備える。

長円形板３１のユーザ側端面（ユーザの目に対面する側の端面）に液晶表示装置が填め込まれ、ユーザ側端面と反対側の端面を覆う前方板と液晶表示装置との間の隙間に、図２に示す画像処理ユニット４０及び図３に示す音声処理ユニット４１が収納され、また、図示しない板状のバッテリが収納される。

本実施形態の視聴覚補助装置３０は、適宜箇所に複数の固体撮像素子１，２，３，４，５，６，７，８，９，１０が設けられると共に、指向性を有する集音装置（マイク等の音声入力装置）１１，１２，１３，１４が設けられ、つる部分３２Ｒ，３２Ｌのユーザの耳に当たる部分にイヤースピーカ（音声出力装置）１５，１６が設けられる。

例えば、図示する例では、長円形板３１のつる部分３２Ｒ，３２Ｌとの連結部分に、ユーザ前方の画像を撮像するＣＣＤ型固体撮像素子１，２が設けられ、長円形板３１の上縁部分にユーザ上方の画像を撮像するＣＣＤ型固体撮像素子３，４が設けられ、長円形板３１の下縁部分にユーザ下方の画像を撮像するＣＣＤ型固体撮像素子５，６が設けられ、つる部分３２Ｌの外側にはユーザ左側方の画像を撮像するＣＣＤ型固体撮像素子７が設けられ、つる部分３２Ｒの外側にはユーザ右側方の画像を撮像するＣＣＤ型固体撮像素子８が設けられ、つる部分３２Ｒ，３２Ｌの後端部にはユーザ後方の画像を撮像するＣＣＤ型固体撮像素子９，１０が設けられる。

また、ＣＣＤ型固体撮像素子１，２の近傍には、ユーザ前方に指向性を有する集音装置１１，１２が設けられ、イヤースピーカ１５，１６の外側部分にはユーザ側方に指向性を有する集音装置１３，１４が設けられる。また、つる部分３２Ｒの中間位置及びつる部分３２Ｌの中間位置には、夫々振動センサ１７，１８が取り付けられる。

ユーザの目に対面する液晶表示装置の所定箇所には、ユーザの右目の瞳孔の方向（視線方向）を検知する視線検出手段としての右目瞳孔モニタ用ＣＣＤ型固体撮像素子１９と、ユーザの左目の瞳孔の方向を検知する視線検出手段としての左目瞳孔モニタ用ＣＣＤ型固体撮像素子２０とが設けられる。

尚、上述したＣＣＤ型固体撮像素子１〜１０の他に必要に応じ適宜箇所にＣＣＤ型固体撮像素子を増設してもよく、各ＣＣＤ型固体撮像素子の前部にズーム機能や絞り機能を持った光学系を設けることも可能である。各ＣＣＤ型固体撮像素子としては、例えば、内視鏡用の小型固体撮像素子を用いることができる。

図２は、長円形板３１内に設けられる画像処理ユニットの構成図である。この画像処理ユニット４０には、上述したＣＣＤ型固体撮像素子１〜１０，１９，２０の出力信号や制御用信号が入力され、画像処理された画像信号が、液晶表示装置に出力される。

図３は、長円形板３１内に設けられる音声処理ユニットの構成図である。この音声処理ユニット４１には、上述した集音装置１１，１２，１３，１４の出力信号や制御用信号が入力され、音声処理された音声信号が、スピーカ１５，１６に出力される。

斯かる構成の視聴覚補助装置３０をユーザが掛け、電源を投入すると、画像処理ユニット４０が各固体撮像素子１〜１０から撮像画像信号を取り込む。これら１０個の固体撮像素子１〜１０の撮像画像は、ユーザの周囲全方位の画像であり、これを例えば１枚の全方位画像として合成することが可能となる。

画像処理ユニット４０は、瞳孔モニタ用ＣＣＤ型固体撮像素子１９，２０の検出画像を解析し、上記の全方位画像の中からユーザが見ている方向の画像を切り出し、長円形板３１の背面側（ユーザの目に対向する側）に設けられている液晶表示装置に切り出した画像データを出力し、その画像を液晶表示装置に表示させる。

このとき、音声処理ユニット４１は、液晶表示装置に表示される画像に合わせて音声制御を行う。例えば、ユーザがユーザ前方の画像を見ている場合には、集音装置１１，１２のボリュームを上げて前方の音声をスピーカ１５，１６から出力させる。また、このとき、集音装置１３，１４から入力された音声信号の逆位相の音声信号を生成し、これをスピーカ１５，１６から出力させることで、ユーザ前方音声中のノイズが消去され、ユーザは前方音声を低ノイズで聞くことが可能となる。

ユーザが見ている画像の拡大画像を見たいときや音声出力のボリュームを上げたいときは、例えば、予め決められた方法で歯を噛み合わせる。この歯の噛み合わせによる振動が振動センサ１７，１８によって検出され、画像処理ユニット４０，音声処理ユニット４１に制御用信号として入力される。これにより、画像処理ユニット４０はデジタルズームした拡大画像を液晶表示装置に表示し、音声処理ユニット４１は出力音声のボリュームを上げる。

ユーザが例えば右側方の画像を見たいために眼球を動かすと、瞳孔モニタ用固体撮像素子１９，２０がこれを検知し、画像処理ユニット４０は、全方位画像から切り出し液晶表示装置に表示する画像をスクロールさせる。見たい画像が目の前に来ると、眼球は正面方向を向くため、瞳孔モニタ用固体撮像素子１９，２０がこれを検知し、画像処理ユニット４０が画像のスクロールを停止させ、ユーザが望んだ画像を液晶表示装置に表示させる。

今の場合、ユーザの右側方の画像が液晶表示装置に表示させているため、音声処理ユニット４１は、右側方の集音を行う集音装置１３が取り込んだ音声信号を大きくしてスピーカ１５，１６から出力させ、他の集音装置１１，１２，１４の入力音声の逆位相の音声を生成しスピーカ１５，１６から出力させる。

このように、ユーザは、全方位画像の中から見たい画像を眼球の動きにより指示することができるため、使い勝手の良い視聴覚補助装置を提供することが可能となる。

尚、液晶表示装置に表示されている画像が、ユーザの前方の画像なのか後方或いは側方の画像なのか分からないと不便なため、固体撮像素子１〜１０の内のどの素子が撮像した画像を液晶表示装置に表示しているのを示す情報を一緒に表示するのが良い。例えば「前方画像」「右側方画像」などの文字を液晶表示装置の隅に表示したり、撮像画像中に色分けしたマーク等を表示する。

（第２の実施形態）
本実施形態の視覚補助装置は、ドライバーが自動車運転中に掛けて運転を補助するために使用する。このため、例えば特許文献２に記載されている様に、眼鏡の上半分にのみ或いは下半分にのみ液晶表示装置を取り付け、自動車前方をドライバーが直視できるようにする。そして、固体撮像素子１〜１０の光学系としてズーム機能や絞り機能を設けたり、固体撮像素子に通常設ける赤外線カットフィルタを取り除いた固体撮像素子を増設する。

これにより、ドライバーは、前方の画像をデジタルズームした画像や光学ズームした画像を液晶表示装置で確認することが可能となり、また、太陽光が眩しく前方の確認が裸眼で困難なときに、露出を絞った画像を液晶表示装置で見ることが可能となる。更に、夜間運転で見えにくい人影等を赤外線画像として液晶表示装置で見ることが可能となる。

本発明に係る視覚補助装置は、ユーザの視角内及び視角外を撮像する撮像素子を複数設け、ユーザの視線方向を検出し、前記撮像素子の各撮像画像のうち検出した視線方向の画像を表示部に表示するため、使い勝手の良い視覚補助装置として有用である。

本発明の一実施形態に係る視聴覚補助装置の外観図である。図１に示す視聴覚補助装置内に設けられる画像処理ユニットの構成図である。図１に示す視聴覚補助装置内に設けられる音声処理ユニットの構成図である。

符号の説明

１，２前方撮像用固体撮像素子
３，４上方撮像用固体撮像素子
５，６下方撮像用固体撮像素子
７左方撮像用固体撮像素子
８右方撮像用固体撮像素子
９，１０後方撮像用固体撮像素子
１１，１２前方用集音装置
１３右方用集音装置
１４左方用集音装置
１５，１６イヤースピーカ
１７，１８振動センサ
１９，２０瞳孔モニタ用固体撮像素子
４０画像処理ユニット
４１音声処理ユニット

Claims

フレームに取り付けられ該フレームを装着するユーザの視角内及び視角外を撮像する複数の撮像素子と、前記ユーザの視線方向を検出する視線検出手段と、前記複数の撮像素子により撮像された撮像画像の中から前記視線検出手段が検出した視線方向の撮像画像を求める画像処理手段と、前記ユーザの目の前に設けられ前記画像処理手段が求めた前記視線方向の撮像画像を表示する表示部とを備えることを特徴とする視覚補助装置。
前記画像処理手段は、前記フレームに取り付けられた前記複数の固体撮像素子による撮像画像を合成して該フレーム周りの全方位の画像を求め、該全方位の画像の中から切り出され前記表示部に表示される画像を前記視線方向に応じてスクロールさせることを特徴とする請求項１に記載の視覚補助装置。
前記フレームに取り付けられた複数の指向性集音装置と、前記フレームに取り付けられ該フレームを装着する前記ユーザの耳部分に音声を出力する音声出力装置と、前記表示部に表示されている画像の撮像方向の音声を該当する前記指向性集音装置から取り込み前記音声出力装置に出力する音声処理手段とを備えることを特徴とする請求項１または請求項２に記載の視覚補助装置。
前記音声処理手段は、前記該当する前記指向性集音装置から取り込んだ音声信号を前記音声出力装置から出力させるとき、該指向性集音装置以外の前記指向性集音装置が集音した音声信号の逆位相の音声を生成し前記音声出力装置から出力させることを特徴とする請求項３に記載の視覚補助装置。