JP2014165768A - 視覚補助装置 - Google Patents

Abstract

【課題】外界を撮影した画像の色を色覚異常者が弁別することのできる色に変換した上で表示することにより、外界の色の弁別をリアルタイムで補助する。
【解決手段】外界を撮影して各色毎に画像データを生成するカラーカメラと、画像データの各色毎の入出力特性を格納したルックアップテーブルと、ルックアップテーブルの出力を予め設定したゲインで増幅する乗算器と、前記乗算器出力を画像に再生する表示器と、該表示器で再生された画像を瞳に投影する投影レンズを備え、 撮影して得られた各色毎の画像データを装着者が色弁別しやすい画像データに変換して表示する。
【選択図】図１

Description

本発明は、例えば、頭部に装着して使用する映像表示装置（ヘッドマウントディスプレイ、以下「ＨＭＤ」）を用いた視覚補助装置に関し、特に、装着者（利用者）の視覚能力を補助して、色弁別能力を高めることのできる視覚補助装置に関する。

「ＨＭＤ」は、眼鏡のように頭部に装着できる小型の映像表示装置であり、目の前に映像を表示させる装置として、映画鑑賞用あるいは産業用に広く利用されている。

ＨＭＤの内、映画鑑賞用などを主目的としたＨＭＤは、その性質上、外界への視界が遮られているため、ＨＭＤを常時装着するのは不都合である。これに対し、装着者の外界への視界中に、電子画像を重畳して、外界への視界を確保するシースルー型の表示装置も開発されている。このシースルー型のＨＭＤは、通常の肉眼での視界を妨げることなく映像情報を重畳して表示することができることから、弱視等の視覚障がい者に利用される（特許文献１、２）。

特開２００６−１６５７７３号公報 特開２０１１−２４７９７５号公報 特開２００５−３４６２７３号公報

ところで、ヒトの網膜には、それぞれ長波長（５６５ｎｍ）、中波長（５４５ｎｍ）、および短波長（４４０ｎｍ）付近の光に感度の高い錐体が存在し、それぞれＬ錐体、Ｍ錐体、およびＳ錐体と呼ばれている。目に光が入るとこれらの錐体が反応し、その情報が網膜から視神経を伝わって大脳皮質の視覚中枢に運ばれ、可視光線（４００〜８００ｎｍ）の各波長に応じた色覚が起こるといわれている。

この色覚に異常をもつ色覚異常者は、例えば、Ｌ錐体、Ｍ錐体、Ｓ錐体のうちのいいずれかの感覚が弱い、あるいは欠落していることによって、「正常」な人とは少し違った色感覚を持つことになる。

ここで、色覚異常のタイプについて説明する。上述のように、ヒトの網膜にある３種類の視細胞（錐体）はそれぞれの分光感度の違いにより、L錐体が主に赤色を、M錐体が主に緑色を、S錐体が主に青色を認識する。L錐体に異常が認められる状態を１型色覚、M錐体の同状態を２型色覚、S錐体の同状態を３型色覚と呼ぶ。さらに細分化すると、L錐体が全く機能しない状態を１型２色覚、M錐体の同状態を２型２色覚、S錐体の同状態を３型２色覚と呼び、L錐体の分光感度にずれが認められる状態を１型３色覚、M錐体の同状態を２型３色覚、S錐体の同状態を３型３色覚と呼ぶ。日本における色覚異常者の殆どは１型色覚か２型色覚である。１型２色覚者および２型２色覚者は赤色に対する緑色などの色弁別が困難となる。また、１型３色覚者でL錐体がM錐体の分光感度に似通っている場合や、２型３色覚者でM錐体がL錐体の分光感度に似通っている場合も、結果として赤色に対する緑色などの色弁別が困難となる。

このような特徴を持つ色覚異常者は、例えば、隣り合った２色（赤と緑など）の区別が困難となる場合がある（赤緑色覚異常）。

このような色覚異常者の色覚を補助するため、実際に見ている色がその混同中心色からどのくらいの色差があるかをグレースケール画像または同系色のグラデーション画像として視覚的に教示することにより、色を見分け易くするツールが開示されている（特許文献３）。

なお、このツールは元画像をその色が弁別し易いように変換して表示した上で、その色を見て元画像の色の種類を弁別するというものであり、外界を見た瞬間に外界の色を見分けることはできない。

本発明は、このような問題点に鑑みてなされたもので、外界を撮影した画像の色を色覚異常者が弁別することのできる色に変換した上で直ちに表示して、色覚異常者による外界の色の弁別をリアルタイムで補助することのできる色覚補助装置を提供するものである。

本発明は上記課題を解決するため、次のような手段を採用した。

外界を撮影して各色毎に画像データを生成するカラーカメラと、画像データの各色毎の入出力特性を格納したルックアップテーブルと、ルックアップテーブルの出力を予め設定したゲインで増幅する乗算器と、前記乗算器出力を画像に再生する表示器と、該表示器で再生された画像を瞳に投影する投影レンズを備え、 撮影して得られた各色毎の画像データを装着者が色弁別しやすい画像データに変換して表示する。

本発明は、以上の構成を備え、外界を撮影した画像の色を色覚異常者が弁別することのできる色に変換した上で表示するので、色覚異常者による外界の色の弁別をリアルタイムで補助することができる。

本発明の視覚補助装置の構成を示す図である。 本発明の視覚補助装置のハードウエア構成を示す図である。 処理部１０３の詳細を説明する図である。 ルックアップテーブル部および記憶部のアドレスマップを示す図である。 強調／抑制スイッチの例を示す図である。 電源スイッチ１０８投入時の処理を説明する図である。 調整アプリケーションがパーソナルコンピュータに表示する画面構成の例を説明する図である。 調整アプリケーション使用時における視覚補助装置とのデータ通信フォーマットの例を説明する図である。 調整アプリケーション使用時の処理を説明する図である。 トーンカーブ調整前における健常者と１型３色覚者の色覚を説明する図である。 トーンカーブ調整後における健常者と１型３色覚者の色覚を説明する図である。

以下、本発明の実施形態を添付図面を参照しながら説明する。図１は本発明の視覚補助装置を示す図であり、図１(ａ)は本体部を示す図，図１（ｂ）は強調／抑制スイッチを示す図である。図２は本発明の視覚補助装置のハードウエア構成を示す図である。図３は、処理部１０３の詳細を説明する図である
これらの図において、１０１はカラーカメラであり、撮影した外界画像を電子化し、電子化した画像データを外界画像データＲ、Ｇ、Ｂとして出力する。１０３は処理部であり、外界画像データＲ、Ｇ、Ｂを受信し、受信した画像データＲ、Ｇ、Ｂのそれぞれを、ルックアップテーブル部３０１に格納したルックアップテーブルを参照して装着者にとって色弁別しやすい色となるように画像データを修正（変換）する。なお、ルックアップテーブルの内容は装着者により書き換え可能である。

３０２は乗算部であり、ルックアップテーブルから受信した画像データＲ、Ｇ、Ｂのそれぞれに乗算係数を乗算して画像データＲ、Ｇ、Ｂを出力する。３０３はクリップ回路であり、画像データを設定値に制限する。

１０２は記憶部であり、ルックアップテーブルのテーブル内容を不揮発に保存する。１０５は液晶表示装置（ＬＣＤ）であり、前記画像データを可視化し電子画像を生成する。

１０６は電子画像を瞳２１０に拡大投影するレンズ、１０４は液晶表示装置と前記レンズとの距離を調整する焦点調整ネジ、１０７は強調／抑制スイッチであり、前記処理部における前記画像データＲ，Ｇ，Ｂに乗算すべき乗算係数１０７Ｒ，１０７Ｇ，１０７Ｂをリアルタイムで調整することができる。１０８は電源スイッチ、１０９は外部接続コネクタである。なお、前記処理部はＦＰＧＡ(Field Programmable Gate Array)あるいはＡＳＩＣ(Application Specific Integrated Circuit)のような半導体で構成することができる。また、前記記憶部はフラッシュメモリのような半導体で構成することができる。前記焦点調整ネジは時計回りに回転さることで前記液晶表示装置ＬＣＤと前記レンズとの距離を縮小し、反時計回りに回転させることで前記液晶表示装置ＬＣＤと前記レンズとの距離を拡大することができる。

前記強調／抑制スイッチ１０７はロータリースイッチのような回転式のスイッチである。このスイッチは、前記ルックアップテーブルを用いて色信号を変換しても、なお前記装着者が色弁別しにくい色の組み合わせが前記外界画像に存在するとき、前記強調／抑制スイッチを時計回りまたは反時計回りに回転させＲ、Ｇ、Ｂの３色のいずれかを強調または抑制する。これにより、色の微妙な違いを際立たせることができる。すなわち、前記外界画像の傾向に応じてＲ、Ｇ、Ｂの３色のいずれかを強調または抑制することにより、色弁別能力を向上させることができる。

また、パーソナルコンピュータ２１２で動作する調整アプリケーション２１３により前記ルックアップテーブルのデータを装着者毎に調整することができる。また、調整したデータは前記記憶部１０２に装着者毎に保存することができる。ルックアップテーブルのデータ調整に際しては、視覚補助装置と前記パーソナルコンピュータを外部接続ケーブル２１１で接続しなければならない。

図３は、処理部１０３の詳細を説明する図である。前記処理部１０３は、ルックアップテーブル部３０１、乗算部３０２、クリップ部３０３、ルックアップテーブル制御部３０４を備える。ルックアップテーブル部３０１は、前記外界画像データＲ、Ｇ、Ｂのそれぞれを読み出しアドレスとして前記ルックアップテーブルから対応するデータを読み出す。乗算部３０２は、前記ルックアップテーブル部で読み出したデータに対して前記強調／抑制スイッチの設定値を乗算係数として乗算する。クリップ部３０３は、前記乗算部で乗算したデータを上限値に制限する。ルックアップテーブル制御部３０４は、前記ルックアップテーブル部への書き込みおよび読み出し、前記記憶部への書き込みおよび読み出し、前記外部接続コネクタを経由して前記調整アプリケーションへの送信および受信制御を行う。

図４は、ルックアップテーブル部および記憶部のアドレスマップを示す図である。図に示すように、入力値である外界画像データＲ、Ｇ、Ｂのそれぞれに対応して装着者にとって色弁別しやすい画像データに変換するための出力値が格納されている。例えば前記外界画像データがＲ、Ｇ、Ｂの３色でそれぞれが８ビットずつ、計２４ビットのデータとすると、８ビットで表現可能な値は０から２５５までの２５６種類であるため、前記ルックアップテーブルはＲ、Ｇ、Ｂの３色でそれぞれ２５６種類ずつ計７６８種類となり、７６８種類を選択するためのアドレスは１０ビット必要となる。

図５は、強調／抑制スイッチの例を示す図である。図５は強調／抑制スイッチに１６進ロータリースイッチを用いる場合の設定値に対する乗算係数を示す。

前記１６進ロータリースイッチは０ｘ０から０ｘＦまでの１６種類の設定を持つ４ビットのスイッチであり、例えば前記４ビットのうち最上位ビットを前記乗算係数の整数部とみなし、前記最上位ビット以外の３ビットを前記乗算係数の小数部とみなすことで、０ｘ６で０．７５０、０ｘ７で０．８７５、０ｘ８で１．０００、０ｘ９で１．１２５、０ｘＡで１．２５０、のように１／８すなわち０．１２５刻みで前記乗算係数を設定して出力することができる。

図６は、電源スイッチ１０８投入時の処理を説明する図である。視覚補助装置の装着者が操作６０１で視覚補助装置の前記電源スイッチを押下すると電源が投入され、視覚補助装置は初期動作として処理６０２において前記記憶部１０２からすべてのデータを読み出して前記ルックアップテーブル部３０１に書き込む。

図７は、調整アプリケーションがパーソナルコンピュータに表示する画面構成の例を説明する図である。

調整アプリケーションは、調整アプリケーションの使用方法を記した注意書き７０１、複数パターンの色覚検査表７０２、ルックアップテーブルの各色毎の入出力特性を表すトーンカーブ７０３、マウスポインタ７０４、保存ボタン７０５、キャンセルボタン７０６を表示する。

装着者は、視覚補助装置とパーソナルコンピュータを前記外部接続ケーブルで接続して調整アプリケーションを起動し、強調／抑制スイッチによる乗算係数をすべて「１」に設定する。次いで、この状態で、前記色覚検査表の数値がすべて判別可能となるように前記トーンカーブを例えばマウスポインタでドラッグして調整する。前記トーンカーブの横軸は入力データ、縦軸は出力データを表しており、例えば前記トーンカーブを左下から右上への対角線とすると、出力データは入力データと同一となる。また、トーンカーブを左上から右下への対角線とすると、出力データは入力データの反転となる。

図８は、調整アプリケーション使用時における視覚補助装置とのデータ通信フォーマットの例を説明する図である。

前記データ通信フォーマットは４バイトすなわち３２ビットであり、最上位２ビットすなわち［３１：３０］でデータ通信種を示し、前記最上位２ビット以外の３０ビットすなわち［２９：０］で前記データ通信種に応じた詳細データを示す。［３１：３０］が０ｂ００の場合、ルックアップテーブル読み出し要求８０１を示し、［２５：１６］で１０ビットの読み出し開始アドレスを示し、［９：０］で１０ビットの読み出しデータ数を示す。

［３１：３０］が０ｂ０１の場合、ルックアップテーブル読み出し応答８０２を示し、［２５：１６］で１０ビットの読み出しアドレスを示し、［７：０］で８ビットの読み出しデータを示す。［３１：３０］が０ｂ１０の場合、ルックアップテーブル書き込み要求８０３を示し、［２５：１６］で１０ビットの書き込みアドレスを示し、［７：０］で８ビットの書き込みデータを示す。［３１：３０］が０ｂ１１の場合、ルックアップテーブル保存要求８０４を示す。

なお、前記ルックアップテーブル読み出し要求と前記ルックアップテーブル読み出し応答は連動しており、例えば前記調整アプリケーションが前記ルックアップテーブル読み出し要求で前記読み出し開始アドレスが０ｘ０００で前記読み出しデータ数が０ｘ３００を要求したとき、視覚補助装置は前記ルックアップテーブル読み出し応答で前記読み出しアドレスを０ｘ０００から０ｘ２ＦＦまでの０ｘ３００回分、すなわち７６８回分を応答する。

図９は、調整アプリケーション使用時の処理を説明する図である。

装着者が調整アプリケーションを起動すると、調整アプリケーションはルックアップテーブル制御部３０４にルックアップテーブル読み出し要求を送信する（ステップ９０１，９０２）。ルックアップテーブル制御部３０４はルックアップテーブル部３０１からすべてのデータを読み出して前記調整アプリケーションへ送信する（ステップ９０３）。調整アプリケーションはルックアップテーブル制御部３０４からのルックアップテーブル読み出し応答を受信して前記トーンカーブの画面表示を更新する（ステップ９０４，９０５）。

装着者は前記色覚検査表の数値がすべて判別可能かどうかの可否を判断する（ステップ９０６）。判断が否の場合、装着者は前記トーンカーブをドラッグして変形させる（ステップ９０７）、調整アプリケーションは、前記トーンカーブの変形に伴うルックアップテーブルのテーブルデータの書き換え要求をルックアップテーブル制御部３０４に送信する（ステップ９０８）。書き換え要求を受信したルックアップテーブル制御部は、ルックアップテーブル部３０１のテーブルデータを書き換える（ステップ９０９）。調整アプリケーションは，前記テーブルデータの書き換えに伴いトーンカーブの表示を更新し（ステップ９０５）、装着者は色覚検査表の数値がすべて判別可能かどうかの可否を再度判断する（ステップ９０６）。

ステップ９０６での判断が可の場合、装着者は前記トーンカーブの調整結果を保存するかどうかを判断する（ステップ９１０）。この判断が否の場合、装着者はでキャンセルボタンをクリックし、調整アプリケーションによる処理を終了する（ステップ９１１，９１５）。ステップ９１０における判断が可の場合、前記装着者は保存ボタンをクリックし、調整アプリケーションはルックアップテーブル制御部３０４にルックアップテーブル保存要求を送信し、ルックアップテーブル制御部３０４はルックアップテーブル部からすべてのデータを読み出して記憶部１０２に書き込み、調整アプリケーションは処理を終了する（ステップ９１２，９１３，９１４，９１５）。なお、記憶部１０２に保存されたデータは、電源投入時に自動的にルックアップテーブルに読み込まれる。

図１０はトーンカーブ調整前における健常者と１型３色覚者の色覚を説明する図、図１１はトーンカーブ調整後における健常者と１型３色覚者の色覚を説明する図である。

これらの図は、緑地に赤色の警告表示１００２が貼り付けられたドア１００３を健常者と１型３色覚者がそれぞれ目視したときの見え方を説明する図であり、図１０（ａ）、図１１（ａ）は健常者の見え方、図１０（ｂ）、図１１（ｂ）は１型３色覚者の見え方を示す。

すなわち、健常者と１型３色覚者が、それぞれ調整前のトーンカーブ１００１が保存されたルックアップテーブルを備えた視覚補助装置を装着して、警告表示１００２を貼り付けたドア１００３を目視したとき、健常者には前記警告表示の文字（赤色）と背景色（緑色）が分離して見えるが、１型３色覚者には前記警告表示の文字と背景色が混同して見える。

これは、１型３色覚者は主に赤色の認識に弱く、相対的に緑色および青色の認識に強いためである。

これに対し、図１１に示すように、赤色を強調し、緑色および青色を抑制するように調整したトーンカーブ１１０１をルックアップテーブルに保存した視覚補助装置を装着して、前記警告表示が貼り付けされた前記ドアを健常者と１型３色覚者がそれぞれ目視するとき、健常者には前記警告表示の文字と背景色がより分離して見える（図１１（ａ））。また、１型３色覚者も前記警告表示の文字と背景色が分離して見える（図１１（ｂ）。

以上説明したように、本実施形態によれば、外界を撮影して得た各色毎の画像データの入出力特性を各色毎にルックアップテーブルを参照することにより任意に変更し、さらに任意の設定値（強調／抑制スイッチの設定値）を乗算する乗算処理および乗算処理された出力を所定の上下限内に制限するクリップ処理を施したのち、ＨＭＤに供給して利用者の瞳に投影する。

このように、ルックアップテーブルのデータを調整して記憶部へ保存するので、色弁別能力が装着者毎に最適となるように調整することができる。さらに強調／抑制スイッチを環境に応じて，例えば一時的に調整することにより、色弁別能力を環境に応じて一時的に向上させることができる（例えば環境に緑色が多い場合は緑色を抑制する）。また、前記焦点調整ネジを調整することで合焦能力を向上させることができる。

なお、本発明では、液晶表示装置１０５は、電子画像を外界を見るときの外界光に近い光軸上に配置し、リアルタイム処理された電子画像を表示する。これにより，装着者は健常者と同様な色識別能力を他人に気づかれることなくリアルタイムで獲得することができる。

また、以上で説明した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。

１０１ カメラ
１０２ 記憶部
１０３ 処理部
１０４ 焦点調整ネジ
１０５ 液晶表示装置
１０６ レンズ
１０７ 強調／抑制スイッチ
１０８ 電源スイッチ
１０９ 外部接続コネクタ
２１０ 瞳
２１１ 外部接続ケーブル
２１２ パーソナルコンピュータ
２１３ 調整アプリケーション
３０１ ルックアップテーブル部
３０２ 乗算部
３０３ クリップ部
３０４ ルックアップテーブル制御部

Claims (5)

1. 外界を撮影して各色毎に画像データを生成するカラーカメラと、
   画像データの各色毎の入出力特性を格納したルックアップテーブルと、
   ルックアップテーブルの出力を予め設定したゲインで増幅する乗算器と、
   前記乗算器出力を画像に再生する表示器と、該表示器で再生された画像を瞳に投影する投影レンズを備え、
   撮影して得られた各色毎の画像データを装着者が色弁別しやすい画像データに変換して表示することを特徴とする視覚補助装置。
2. 請求項１記載の視覚補助装置において、
   前記ゲインを設定する強調／抑制スイッチを備えたことを特徴とする視覚補助装置。
3. 請求項１記載の視覚補助装置において、
   前記ルックアップテーブルの内容を不揮発に保存する記憶装置および前記ルックアップテーブルの内容を書き換える書き換え手段を備えたことを特徴とする視覚補助装置。
4. 請求項１記載の視覚補助装置において、
   前記表示器と投影レンズ間の距離を調整する調節ねじを備えたことを特徴とする視覚補助装置。
5. 外界を撮影して各色毎に画像データを生成するカラーカメラと、
   画像データの各色毎の入出力特性を格納したルックアップテーブルと、
   ルックアップテーブルの書き換えを制御するルックアップテーブル制御部と、
   ルックアップテーブルの出力を予め設定したゲインで増幅する乗算器と、
   該乗算器の出力を所定の制限値にクリップするクリップ回路と、
   前記乗算器出力を画像に再生する表示器と、表示器で再生された画像を瞳に投影する投影レンズを備え、
   前記ルックアップテーブルの内容である入出力特性および前記ゲインを書き換えることにより、撮影して得られた入力画像データを装着者が色弁別しやすい画像データに変換して表示することを特徴とする視覚補助方法。