JP2013510329A - 代替感覚による視覚画像の表示 - Google Patents

Abstract

視覚画像を代替感覚により表示する方法を提供する。前記方法には以下のステージがある。背景のある周囲環境の画像、背景から識別できる物理オブジェクトを取得するステージ。画像を複数のスライス画像にスライスする。スライス画像の中に含まれた物理的オブジェクトの少なくとも一部分を各スライス画像ごとに、一度に特定の順序で識別する。変換機能を、特定の順序で、物理的画像の各識別済みの部分に適用して、音信号または触覚オブジェクト依存信号を生成する。各スライス画像に、その画像に固有の音信号または触覚位置依存信号または触覚位置依存信号を対応づける。特定の順序で各オブジェクト依存信号を各位置依存信号に重ね合わせて結合オブジェクト位置信号を生成させる。前記結合オブジェクト位置信号をインターフェースを介してユーザである盲人に出力して、盲人またはが視覚障害者が使えるようにする。

Description

本発明は、視力補助具の分野に関し、特に、画像から音への変換、画像から触覚への変換技術に関する。

盲人、視覚障害者は、自分の易動性と日常の動く方向に深刻な問題を抱えて、日々、苦闘しており、幸福な生活に影響を与えている。現代生活では、情報技術の進歩により、グラフィックディスプレイを使って、日常的に、インターフェースが可能となるようにコンピュータの使用法が拡大されている。

科学的研究の成果として、盲人および視覚障害者における聴覚力の強化が進められている。具体的には、幼少時より盲目であった人の音源を探知する能力は、視覚健常者に較べて優れており、同時に、触覚能力（例えば、点字解読）も向上している。さらに、視覚野のような、通常は、光景を処理することに使われている脳の各部分の機能が、音と触覚を処理する盲人の能力として使えることは、脳スキャンにて確認されていることである。

ライブカメラから取り込んだ画像を、音信号に変換して、視覚表現としようとする試みがなされている。

その一つの例が「ｖＯＩＣｅ」（登録商標）での視覚技術であり、「画像から音」への変換技術を通して、盲人にライブカメラ画像を経験させるものである。

もう一つの例は、「brainport」（登録商標）技術であり、これは、視覚補助器として開発されたものである。この技術は、盲人が、周囲環境を多角形とピクセルの形で見えるようにしたものである。この技術は、カメラが周囲環境の画像を撮像して、その情報をチップ処理して、インパルスに変換して電極を介して、舌から人間の脳に送達されるようにしたものである。

理論的には、デジタル感覚は、実際の視覚誘導による、異なった感覚への感覚統合により、合成像に導き、マルチ感覚処理と、訓練と、教育によって、人間の脳を神経可逆性の開発に導くことが可能である。

本発明の追加も可能であり、本発明の詳しい記述から、あるいは、本発明の実施形態から、別の態様や長所についても推論が可能になっている。

本発明のひとつの態様は、撮像デバイスを用いて、背景のある周囲環境の画像および前記背景から識別可能な、少なくとも一つの物理的オブジェクト画像を取得すること、前記画像を複数のスライス画像にスライスすること、一度に、スライス画像のそれぞれについて、スライス画像ごとの順番で、前記スライス画像に含まれる、少なくとも一つの物理的オブジェクトの少なくとも一部を識別すること、前記の少なくとも一つの物理的オブジェクトの各識別済みの部分に、特定の順序で、変換機能を適用して、音信号または触覚オブジェクト依存の信号を生成すること、各スライス画像に音信号または触覚位置依存信号を対応させること、特定の順序で、各オブジェクト依存信号に各位置依存信号を重ね合わせて、結合オブジェクト位置信号を生成すること、前記オブジェクト位置信号を、インターフェースを介して、ユーザに出力して、前記結合オブジェクト位置信号を盲人が使用できるようにして、その盲人が、周囲環境との関係で、前記少なくとも一つの物理的オブジェクトの位置と特徴を決めることから成る方法である。

本発明の別の態様は、撮像デバイスを使用して、少なくとも一つの物理的オブジェクトが含まれる周囲環境の三次元モデル画像をスライスすること、前記三次元モデル画面を表面画像により分割すること、一度に表面画像のそれぞれについて、特定の順序で、表面画像により横断面に切断された、少なくとも一つの物理的オブジェクトの、少なくとも、一部分を識別すること、特定の順序で、前記の少なくとも一つの物理的オブジェクトの各識別済みの横断面に、変換機能を適用して、音信号または触覚オブジェクト依存信号を生成すること、各表面画像に音信号または触覚位置依存信号を対応づけること、特定の順序で各オブジェクト依存信号に、各位置依存信号を重ね合わせて、結合オブジェクト位置信号を生成すること、インターフェースを介して、前記結合オブジェクト位置信号をユーザに出力して、盲人が、この結合オブジェクト位置信号を使用できるようにして、周囲環境との関係において、少なくとも一つの物理的オブジェクトの位置と特徴を決定することから成ることを特徴とする方法である。

さらに別の態様によれば、グラフィックディスプレイ画像を複数のスライス画像にスライスして、前記グラフィックディスプレイ画像に、特定の外観と特定の機能を対応づけられた複数のオブジェクトとアイコンを表示すること、各スライスごとに、変換機能をスライス画像内に含まれる各オブジェクトまたはアイコンに適用して、音信号または触覚オブジェクト依存信号を発生させること、各スライス画像に、そのスライス信号に、音信号または触覚位置依存信号を対応づけること、グラフィックディスプレイ上のユーザ制御インジケータを追跡して、インジケータの位置を探知すること、インジケータの位置が対応づけられた位置依存信号を、少しずつ、インジケータからの特定範囲内に位置するオブジェクトまたはアイコンのすべてのオブジェクト依存信号に重ね合わせて、結合オブジェクト位置信号を生成し、さらに、インターフェースを介して結合オブジェクト位置信号をユーザに出力して、前記結合オブジェクト位置信号をユーザである盲人が使用できるようにして、盲人が、グラフィックディスプレイ上のオブジェクトとアイコンの位置、外観、機能を決定できるようにして、さらに、取得すること、スライスすること、追跡すること、適用すること、対応づけること、重ね合わせること、出力することの動作のうちの少なくとも一つが少なくとも一つのコンピュータで実現されることを特徴とする方法である。

本発明の追加、別の態様、長所は、本発明の詳しい説明で記述されているし、その記載からの推論も可能であり、本発明の実施例からも知ることができる。

本発明の実施形態をより深く理解し、本発明がどのように実施されるかを知るために、添付図面を参照できるが、これらの図面は単に例示のためだけのものであり、さらに、図面に同じ番号が割り振られている場合には、機能が同じ構成要素であるために、類似番号が付されているものである。

本発明のいくつかの実施形態によるシステムを図示した高レベルの模式図である。 本発明のいくつかの実施形態による態様を図示した画像図である。 本発明のいくつかの実施形態による方法を図示した高レベルのフローチャートである。 本発明のいくつかの実施形態を図示したモデル図である。 本発明のいくつかの実施形態による高レベルのフローチャートである。 本発明のいくつかの実施形態による高レベルの模式図である。 本発明のいくつかの実施形態による方法を図示した高レベルのフローチャートである。

これらの図は、以下の明細書の記述を同時に参照することで、本発明がどのように実施されたかについて、当業者には明白である。

詳細な説明に先立って、この後の説明で使用される用語の定義について述べておくことが有益であろう。

この明細書の中で使用される「物理的オブジェクト」という用語は、空間的及び時間的に存在する実体のすべてのことを指す。この物理的オブジェクトの幾何学的特質として、この明細書の中では、少なくとも１つの特定の撮像機器により検出されたテキスチャ、形状、色、動きを含んでいる。

この明細書の中で使われる「撮像機器」という用語の定義は広く、物理的オブジェクトを画像として取り入れる機器を指す。この撮像機器は、光学的な動作を基本としてもよいし、取り込まれる画像は、高周波（ＲＦ）画像、超音波（ＵＳ）画像、赤外（ＩＦ)画像などであってもよい。この画像機器は、限定的な照明条件下で機能する。

この明細書でグラフィック・コンピュータ・ディスプレイに関連して使用されている「アイコン」または「コンピュータアイコン」という用語は、小さいピクトグラム（絵文字）を指す。このアイコンというのは、コンピュータでの通常の英数字を補完するものとして使われている。最近のコンピュータでは、ディスプレイ端末において、ビットマップグラフィックを扱うことが可能となっているので、ユーザを補助するためのアイコンが広く使用されている。本明細書では、アイコンとは、なんらかの機能を有するコンピュータグラフィックにおける、すべてのグラフィック実体を含むものと広く定義されている。

特定の詳しい図面を参照することに関して、この明細書で提供されている図面は、例示目的のためであり、本発明の好ましい実施形態を例示的に説明するためだけのもので、さらに、本発明の原理の概念的な態様を容易に理解できるようするために添付されていることを理解する必要がある。この点について、発明の基本的な発明の理解のために必要である程度以上には、あるいは、発明のいくつかの形態が、どのように実際に具現化されるかについて当業者に明確にするために必要である程度以上には、発明の構造的な詳細を示す試みはしていない。

本発明の少なくとも１つの実施形態を説明する前に理解しておくべきことは、本発明が、以下の明細書で述べられている詳細な記載と構成内容に、その適用が限定されるものでないということである。本発明は、ほかの実施形態にも適用できるし、別の多様な方法によっても実施可能である。本明細書で使用されている専門語と用語は、発明の内容を説明するために使用するもので、限定的に解釈してはならない。

図１は、本発明のいくつかの実施形態における、システムを図示した高レベル模式図である。このシステムは、撮像デバイス１１０、データ処理モジュール１００、ヘッドホン１２０、触覚インターフェース１３０から成る。図示したように、このシステムは容易にユーザへの装着が可能であり、撮像デバイス１１０は、ユーザの頭上最頂上部に設置し、データ処理モジュール１００は、ケーブルを使って両方のヘッドホン１２０、撮像デバイス１１０、触覚インターフェース１３０に接続する。この触覚インターフェース１３０は、ピンマトリックスとして実装されるもので、このピンマトリックスは、ピンアレイ（６０ピンｘ４０ピン）から成り、データ処理モジュール１００からの信号に応答して、ピンのそれぞれが、特定の高さに位置することになる。ユーザは、例えば、ディスク１４６、椅子１４８、コンピュータ画面１４２、電話１４４の存在する特定の周囲環境１４０に置かれることになる。

いくつかの実施形態では、データ処理モジュール１００は、プロセッサ（不図示）と保存モジュール（不図示）を有するコンピュータの形を取ってもかまわない。

一般的に、プロセッサは、ＲＯＭ（リードオンリメモリ）から、あるいは、ＲＡＭ（ランダムアクセスメモリ）から、または、その両方から命令とデータを受け取る。コンピュータに必要な要素は、命令を実行するプロセッサと、命令とデータを保存する、１つまたは複数のメモリーである。さらに、一般的に、コンピュータというのは、データファイルを保存するための１つまたは複数の保存デバイスを有するか、あるいは、それらと協働して通信するようになっている。このコンピュータプログラム命令を触覚的に具現化するための保存モジュールは、非揮発性のメモリー、例えば、ＥＰＲＯＭ（消去可能プログラマブルＲＯＭ）、ＥＥＰROM（電気的消去可能プログラマブルＲＯＭ)，フラッシュメモリ、磁気光学記憶デバイスのような半導体記憶装置で構成されている。データ処理モジュール１００の例としては、セルラー電話やＰＤＡ（携帯情報端末）のようなセルラー方式の通信機器がある。

図２は、撮像デバイス１１０により取り込んだ画像を示したものであり、本発明のいくつかの実施形態による態様を図示したものである。この操作においては、撮像デバイス１１０が、周囲環境１４０の画像２００を取得して、その中に物理的オブジェクト含んだ画像が表示されるようになっている。机１４６、椅子１４８、コンピュータスクリーン１４２、電話１４４などのすべてが画像２００に中に収まっている。

データ処理モジュール１００は、画像２００を、例えば、画像２１０、２２０、２３０、２４０のような複数スライス画像にスライス（分割）する構成となっている。一度に、スライス画像ごとの特定順序で（例えば、２４０、２３０、２２０、最後に２１０の順序で）、このスライス画像に含まれる、少なくとも、一つの物理的オブジェクト画像の少なくとも一部を識別する。特定の順序で、変換機能アルゴリズムを少なくとも一つの物理的オブジェクトの各識別済みの部分に適用して、音信号または触覚オブジェクトー依存信号を生成させる。各スライス画像に音信号または触覚位置依存信号を対応づける。特定の順序で、各オブジェクト依存信号に、個別の位置依存信号を重ね合わせることで、結合オブジェクト位置信号を生成する。前記結合オブジェクト位置信号を、ユーザインターフェース１２０と１３０を介してユーザに出力する。具体的には、この結合オブジェクト位置信号は、盲人または視覚障害者が使えるフォーマットになっており、周囲環境の中にある、少なくとも一つの物理的オブジェクトの位置と特徴を判断できる構成となっている。

本発明の実施形態によれば、変換機能アルゴリズムが、光景内のオブジェクトの個別の特徴に、特定の音を対応付づけるために盲人が訓練できるように、形、色、光景の位置のようなオブジェクトの全部の特徴に対応する音がマッピングされるようになっている。

本申請者は、実験により、オブジェクトの特徴を、対応する楽器の音の組み合わせにマッピングすることで、今までに経験したことのない、極めて有意な結果を導き出すことに成功した。この良好な結果を、いくつかの実施形態の形で示した。態様の一つによれば、この楽器マッピングの方法により、盲人がオブジェクト音マッピングを習得する訓練時間を短縮できる。別の実施形態によれば、この楽器マッピングの方法により、盲人が音により光景を描く能力が増強される。さらに別の実施形態では、楽器を使う、このマッピング方法により「感覚刺激飽和点」を上げることに成功している（この感覚刺激飽和点というのは、盲人が自分の解釈能力を越えて過度に多い音の情報を受けて困惑してしまう点のことである）。

技術的には、この実施形態の楽器マッピングというのは、実際の楽器から事前に別のサンプリングの音を集めて、それらをオブジェクト音マッピング方法にあわせて、音を出すようにする。この楽器マッピングの方法では、例えば、ある特定の形状には、ある音階の音を充て、視界を越えるような、オブジェクトの多様な高さに対しては音楽弦の音で対応する。同様に、光景の中のオブジェクトの別の高さ（または、別の位置）を表現したり別の色を表現するには、ほかの別の種類の楽器を使用してもよい。

図２に示すように、画像２００はピクセル（不図示）の配列で構成されており、各ピクセルに場所、色、明るさレベルが対応づけられている。この変換機能というのは、特定のイメージを音に変換するアルゴリズムまたはイメージを触覚に変換するアルゴリズムであって、二次元のイメージを、各ピクセルの位置、色、明るさのレベルに従って、ある時点での音信号、二次元の触覚信号にマッピングするものである。

本発明のいくつかの実施形態によれば、データ処理モジュール１００は、イメージの円形部分をスライスするように構成されており、各スライス画像が円形部分を示しており、ここで特定の順序とは、時計回りの順序または反時計回りの順序のことである。円形部の幅は、スライス工程で要求される精度を基に選択される。具体的には、この幅は、画像２００の中における物理的オブジェクトの大きさと複雑さの程度に影響される。

本発明のいくつかの実施形態によれば、データ処理モジュール１００は、イメージの円形部分をスライスするようになっており、各スライス画面は内部半径と外部半径により規定される円形のリングを有しており、ここで、前記の特定順序というのは、半径方向に内側方向または外側方向の順序である。このリングの幅は、スライシングプロセスで要求される精細度の見地から選択される幅である。具体的には、この幅は、イメージ２００上の物理的オブジェクト画像の大きさと複雑さの影響を受ける。

好都合なことは、円形構造、円形部分、円形リングを、スライス画像として活用することは、目と脳の生理機能に適合した方法であり、画像の結果が改善されるのである。この円形構造を利用した方法は、網膜上のユークリッド画像を、大脳皮質内の偏心座標系と極角座標系に変換することである。このことは、窩、即ち、視野中心に大きな表示（拡大率による極角偏心表示）が現れる回転ウエッジを刺激することで実現できる。

図３は、本発明のいくつかの実施形態における方法を示した高レベルのフローチャートである。この方法は、撮像デバイスを用いて、背景のある周囲環境の画像および背景とは識別可能な、少なくとも一つの物理的オブジェクト画像を取得すること３１０、画像を複数のスライス画像にスライスすること３２０、一度に、スライス画像のそれぞれについて、スライスごとの順番で、このスライス画像に含まれる、少なくとも一つの物理的オブジェクトの、少なくとも一部を識別すること３３０、特定の順序で、変換機能を、少なくとも一つの物理的オブジェクトの各識別済みの部分に適用して、音信号または触覚依存信号を発生させること３４０、各スライス画像に触覚位置依存信号を対応づけること３５０、特定の順序で、各オブジェクト依存信号に個別の位置依存信号を重ね合わせて、結合オブジェクト位置信号を作成すること３６０、インターフェースを介して結合オブジェクト位置信号をユーザに出力して、この結合オブジェクト信号を盲人が使えるようにして、周囲環境における少なくとも一つの物理的オブジェクトの位置と特徴を判断できるようにすること３７０を含む。

本発明のいくつかの実施形態によれば、取得すること、スライスすること、識別すること、適用すること、対応づけること、重ね合わせること、出力することの動作のうちの少なくとも一つは、少なくとも一つのコンピュータにより実行される。

図４は、本発明のいくつかの実施形態による、特に、撮像デバイス１１０を使って得た、別の態様を図示したモデル図である。構造が図１に類似した、この態様のシステムの動作を以下に説明する。このシステムは、撮像デバイス１１０、データ処理モジュール１００、ユーザ・インターフェース・モジュール（１２０または１３０のいずれか、あるいは、両方）から成り、この撮像デバイス１１０は、背景を有する周囲環境１４０の画像と、その背景から識別が可能な少なくとも一つの物理的オブジェクト（机１４６、椅子１４８、コンピュータスクリーン１４２、および電話１４４など）を取得する構造になっている。

本発明のいくつかの実施態様によれば、データ処理モジュール１００は、以下の動作を行うようになっている。即ち、（ｉ）撮像デバイス１１０を使って、少なくとも一つの物理的オブジェクトを含む、周囲環境の三次元モデル画像を取得すること、（ｉｉ）表面画像により、前記三次元モデル画像を区切ること（例えば、平面の４１０、４１２、４１４、４１６または球面の４２０、４２２、４２４、４２６）、（ｉｉｉ）一度に表面画像のそれぞれについて、表面画像ごとの順序で、各表面画像により横断に切断された、少なくとも一つの物理的オブジェクトの少なくとも一部分を識別すること、（ｉｖ）特定の順序で、変換機能を、少なくとも一つの物理的オブジェクトの各識別済みの断面部に適用して、音信号または触覚オブジェクト依存信号を生成させること、（ｖ）音信号または触覚位置依存信号を各表面画像に対応づけること、（ｖｉ）特定の順序で、各オブジェクト依存信号に個別の位置依存信号を重ね合わせて、結合オブジェクト位置信号を作成すること、（ｖｉｉ）この結合オブジェクト位置信号をインターフェースを介してユーザである盲人に出力して、その盲人が、この結合オブジェクト位置信号を使って、周囲環境において、少なくとも一つの物理的オブジェクトの位置と特徴を判断できるようにする動作を含む。

図５は、本発明のいくつかの実施形態における方法を示した高レベルフローチャートである。この方法は、以下の動作からなる。即ち、撮像デバイスを使って、少なくとも一つの物理的オブジェクトを含む周囲環境の三次元モデル画像を取得すること（５１０）。この三次元モデルを表面画像により区分すること（５２０）。一度に表面画像のそれぞれについて、表面画像ごとの順序で、各表面画像により横断に切断された、少なくとも一つの物理的オブジェクトの少なくとも一部分を識別すること（５３０）。特定の順序で、変換機能を、少なくとも一つの物理的オブジェクトの各識別済みの断面に適用して、音信号または触覚オブジェクト依存信号を生成させること（５４０）。音信号または触覚位置依存信号を各表面画像に対応づけること（５５０）。特定の順序で、各オブジェクト依存信号に個別の位置依存信号を重ね合わせて、結合オブジェクト位置信号を作成すること。この結合オブジェクト位置信号をインターフェースを介してユーザである盲人に出力して、その盲人が、この結合オブジェクト位置信号を使って、周囲環境において、少なくとも一つの物理的オブジェクトの位置と特徴を判断できるようにすること（５６０）。

本発明のいくつかの実施形態によれば、取得すること、分割すること、適用すること、対応づけること、重ね合わせること、出力することの動作のうちの少なくとも一つは、少なくとも一つのコンピュータにより実行される。

本発明のいくつかの実施形態によれば、各表面画像はピクセル配列から成る画像であって、この各ピクセルは、位置、色、明るさレベルに対応付けられており、前記変換機能は、各ピクセルの位置、色、明るさレベルに従って、ピクセルの配列に、ある時点での音信号または二次元の触覚信号をマッピングする構造になっている。

本発明のいくつかの実施形態によれば、その表面は同心円状の球体または同心円状の筒であり、前記特定の順序は特定の中心４３０に向かう順序でもよいし、中心４３０から外に向かう順序でもよい。好都合であるのは、この構成により、ユーザは、自分の周囲環境の中で、自分の距離感を改善できることである。

本発明のいくつかの実施形態によれば、この表面は半径方向において平面であり、特定の軸に貫通しており、特定の中心部４３０で規定され、この特定の順序は、軸を中心として時計回りまたは反時計回りの順序である。

本発明のいくつかの実施形態によれば、前記の特定の順序は、ユーザが自分の周囲環境の空間的なスキャンパターンを決定できるように、ユーザが動的に決定することができる。

図６は、本発明のいくつかの実施形態によるシステムを図示した高レベルの模式図である。このシステムは、グラフィックディスプレイを表示するコンピュータスクリーン６１０、パーソナルコンピュータ６５０内のデータ処理モジュール（不図示）（これは、コンピュータプログロラムにより実現される）、ヘッドホン６８０、触覚・ユーザ・インターフェース・モジュール６２０から成る。

データ処理モジュールは、以下の動作を行う。即ち、グラフィックディスプレイを、６１７と６１９のような「行」、および、６１３や６１５のような「列」で規定される複数のスライス画像にスライスし、このグラフックディスプレイが複数のアイコン６１８や、特定の外観を特定の機能に対応している、その他のグラフィックオブジェクト６１２と６１４を表示する。各スライスごとに、スライス画面に含まれる各アイコンに変換機能を適用して、音信号またはアイコン依存信号を生成する。触覚位置依存信号を各スライス画像に対応づけする。グラフィックディスプレイ上のユーザ制御インジケータ６１６（例えば、６４０による制御）を追跡して、インジケータ６１６の位置を探知する。インジケータ６１６に対応づけられた位置依存信号に、インジケータ６１６から特定の距離範囲にある全部のアイコンのアイコン依存信号を、少しずつ重ね合わせて結合アイコン位置信号を生成する。この結合オブジェクト位置信号を、インターフェースを介してユーザである盲人に出力して、その盲人が、この結合オブジェクト位置信号を使って、グラフィックディスプレイ上のアイコンの位置、外観、機能を判断できるようにする。

本発明のいくつかの実施形態によれば、前記スライス画像はピクセルから成り、各ピクセルは、位置、色、明るさレベルに対応づけられており、変換機能が二次元のピクセル配列を、各ピクセルの位置、色、明るさレベルに従って、さらに、ピクセルに対応づけられたアイコンの機能の点から、ある時点の音信号または二次元の触覚信号にマッピングを行う。

上で述べたような触覚入力と聴覚入力を組み合わせて使うことは、多様な感覚刺激を同時に作り出すことが可能となるという長所がある。つまり、このことは盲人の置かれた限定的な状況において大きな効果を生む。盲人が触覚入力と聴覚入力を使って、ウエブカムにより取り込まれた視覚イメージを理解する場合には最大の効果が得られる。触覚アルゴリズムと聴覚アルゴリズムを同時に併用することで、オブジェクトの認識や動いているオブジェクトをより深く理解し認識できるようになり、強力な探知も可能になる。

図７は、本発明のいくつかの実施形態の方法を図示した高レベルのフローチャートである。この方法は、以下の動作から成る。即ち、グラフィックディスプレイを、複数のスライス画像にスライスし、このグラフィックディスプレイが、特定の外観や特定の機能に対応づけされている、複数のオブジェクトやアイコンを表示すること（７１０）。各スライスごとに、スライス画像内に含まれるオブジェクトまたはアイコンに変換機能を適用すること（７２０）。各スライス画像に音または触覚位置依存信号を対応づけること（７３０）。グラフィックディスプレイ上のユーザ制御のインジケータを追跡して、そのインジケータの位置を探知すること（７４０）。インジケータの位置に対応している位置依存信号をインジケータから特定の距離範囲に位置するオブジェクトまたはアイコンの全部のオブジェクト依存信号に重ね合わせて結合オブジェト位置信号を作成すること（７５０）、この結合オブジェクト位置信号を、ヘッドホンのようなインターフェースを介してユーザである盲人に出力して、その盲人が、この結合オブジェクト位置信号を使って、グラフィックディスプレイ上のオブジェクトとアイコンの位置、外観、機能を判断できるようにすること（７６０）。

本発明のいくつかの実施形態によれば、取得すること、スライスすること、追跡すること、適用すること、対応づけること、重ね合わせること、出力することの動作のうちの少なくとも一つは、すくなくとも一つのコンピュータにより実行される。

本発明のいくつかの実施形態では、このスライス画像はピクセルの配列で構成されており、各ピクセルが、場所、色、明るさレベルに対応づけられている。この変換機能により、ピクセルの二次元配列が、各ピクセルの位置、色、明るさのレベルに従って、および、ピクセルに対応づけられたアイコンの機能の点から、ある時点の音信号または二次元触覚信号にマッピングされている。

本発明の実施形態では、主に、視覚障害者用の補助具として、本発明を使うことを目標としている。しかし、視力健常者に対する追加の視覚を提供する場合には、本発明の実施形態に必要な修正を施せば使用が可能となる。例えば、赤外線照射源付きの赤外線撮像デバイスを用いて、視野の制限されている周囲環境にある軍のパイロットが画像を取得する場合に、視覚入力情報に代えて、本発明の方向に関する視覚情報を提供する技術として使える。

本発明の態様は、システムとして、方法として、あるいは、コンピュータプログラムの形で発明を実現してもよいことは、当業者に理解できることである。即ち、発明の態様の全部がハードウエア、全部がソフトウエア（ファームウエア、常駐ソフト、ミクロコード等を含む）またはハードウエアとソフトウエアの組み合わせの構成としてもよく、一般的に「回路」、「モジュール」、「システム」と呼ばれるもので構成されていてもよい。さらに、コンピュータ・リーダブル（コンピュータが読める）・プログラム・コードを有する媒体として具現化されたものでもよい。

コンピュータ・リーダブルの媒体は、一つでも複数でもよい。コンピュータ・リーダブル媒体として、コンピュータ・リーダブル信号媒体またはコンピュータ・リーダブル保存媒体でもかまわない。コンピュータ・リーダブル保存媒体としては、電子式、磁気式、光学式、電磁気式、赤外線式、半導体式のシステム、デバイス、これらを組み合わせたものがあるが、これらに限らない。コンピュータ・リーダブル保存システムの、より具体的な例（非網羅）として一つ又は複数の電気接続体、携帯コンピュータメモリ、ハードデスク、RAM, ROM, EPROM、または、フラッシュメモリ、オプティカルファイバ、携帯コンパクトディスク、ＣＤ−ＲＯＭ，光学保存ディスク、磁気保存ディスク、これらを組み合わせた構成品などがある。特に、本発明では、触覚入力した命令コードを実行できるシステム、装置、デバイスなどがある。

コンピュータ・リーダブル媒体上で具現化されるプログラムコードは、通信線、光学線、あるいは、上記のものを組み合わせた媒体（これらに限定されない）を介して発信されることになる。

本発明の実施形態を実行するコンピュータプログラムは、一つまたは複数のプログラム言語により、あるいは、それらを組み合わせた言語により書くことが可能であり、このプログラム言語としては、Ｊａｖａ（登録商標）、スモールトーク、Ｃ＋＋などのオブジェクト指向言語、Ｃ言語のような従来の手続型プログラミング言語、または、Ｊａｖａ（登録商標）ｓｃｒｉｐｔ（ジャバスクリプト）のようなスクリプト言語がある。これらのプログラムコードは、その全体をユーザコンピュータ上で実現可能であるが、部分的にスタンドアロン型のソフトウエアパッケ−ジとして実現してもよいし、ユーザコンピュータ上で一部を実現してもよい。部分的にリモートコンピュータで実現してもよいし、全体をリモートコンピュータ上で実現してもよい。リモートコンピュータを使用した場合，ネットワークを介してユーザコンピュータに接続してもよい。ネットワークの例としては、ＬＡＮ（ローカルエリアネットワーク）、ＷＡＮ（広域エリアネットワーク）があり、リモートコンピュータに接続する場合には、インターネット・サービス・プロバイダーの提供するインターネット経由で接続してもよい。

本発明の態様において、実施形態ごとに、発明の方法、構成、コンピュータプログラム等について、フローチャート、ブロック図などの図面を使って説明している。フローチャート内の各ブロック図、それらの組み合わせは、コンピュータプログラムの命令で実行が可能である。コンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、その他のプログラマブル処理デバイス内のプロセッサに転送されて処理される。これらにより、フローチャートのブロック図の中での特定の機能を実現する。

これらのコンピュータプログラム命令は、コンピュータリーダブル媒体に保存され、コンピュータやその他のプログラマブルデータ処理デバイスを直接に動作させ、フローチャートやブロック図で示されている機能を実現するために使われる。

このコンピュータ命令が、コンピュータやその他のプログラマブルデータ処理デバイスにロードされて、一連の動作ステップが実行されるように、各命令がフローチャート、ブロック図等で特定されている機能を実現させることになる。

上記のフローチャートと図面は、本発明の多様な実施形態における、構造、機能、システム、方法、コンピュータプログラムの実施のための動作を示している。フローチャートまたはブロック図は、特定のロジック機能を実現するための、一つまたは複数の実行可能な命令から成るモジュール、要素、コードを図示している。いくつかの別の実施形態では、ブロック図に示された機能は、別の違った順序で示されていることがある。例えば、連続して図示されている二つのブロック図であっても、それぞれのブロックの機能次第では、ある場合には、二つが同時に実行されることもあり、別の場合には、反対の順序で実行されることもあるからである。注意すべきことは、各ブロック図、フローチャート、それらの組み合わされたものが、特定の機能を持ち、特定の動作を実行したり、特定目的をもったハードウエアシステム、あるいは、特定目的をもったソフトウエアシステム、あるいは、それらの組み合わされた命令やコンピュータ命令により、実行されることがあるということである。

上記で示されている実施形態は、本発明の実現例である。one embodiment, an
embodiment, some embodimentsのように示されているが、これらすべてが同じ実施形態を指している訳ではない。

多様な発明の特徴を単一の実施形態で示している場合もあるが、別々の実施形態で示してもよいし、これらの組み合わせで示してもよい。発明を明確にするために、別々の実施形態で説明している場合もあるが、まとめて単一の実施形態で説明してもよい。

明細書の中で、「いくつかの実施形態」、「ある実施形態」、「一つの実施形態」、「その他の実施形態」という場合、発明の特徴、構造、特質が、いくつかの実施形態に含まれてはいるが、必ずしも、それら全部が、すべての実施形態に含まれていることを意味する訳ではない。

この明細書で使用された専門用語および用語は、単に記載上の目的のためであり、限定的な意味に解釈してはならない。

本発明の知見についての原理と使用法は、明細書の記載、図面、例を参照することで、理解が深まる。

本発明に述べられている詳細は、発明の適用に制限を加えるものではない。

さらに、本発明は多様な方法で実行され、上記で述べた以外の実施形態によっても実行が可能である。

including（含む）、comprising（成る）、consisting（成る）や、文法的に同じ使い方をする類似語は、一つまたは複数の別の構成品、特徴、ステップ、グループなどの追加を排除するものではなく、この用語は、構成品、特徴、ステップを特定する用語と解釈してはならない。

明細書またはクレームにおいて、追加要素と指定されている場合、その追加要素は一つだけでなく、複数の場合も含む。

クレームや明細書において、「a」 や「an」がついている場合、例えば、「a device」、「an embodiment」のような場合、これらの「a」や「an」は、その構成物などが唯一で、ただ一つだけという意味に解釈してはならない。

明細書において、要素、特徴、構造、特質などについて、may be included、might be included、can be included、could be included という表現になっている場合、ある特定の要素、特徴、構造、特質などが、「要求される」「要求されている」と解釈すべきでない。

本明細書では、実施形態を説明するために、状態図、フロー図、その両方を使うことができるが、本発明がこれらの状態図やフロー図、それらに対応する記載だけに限定されるものではない。

本発明の方法として、ステップまたはタスクが選択されるが、その動作は、手動であっても、自動であっても、その両方であってもかまわない。

明細書のクレームで示された記載、例、方法、材料などは、これらに限定されると解釈してはならない。あくまで、例示のみの目的と解釈すべきである。

本発明の明細書で記載された技術的、科学的用語の意味は、別に定義されていない限り、本発明の属する技術分野の当業者には、共通に理解されている意味である。

本発明の試験では、この明細書に記載されたものと同等で類似のものであれば、使用可能である。

この明細書で参照されている、すべての出版物、特許、特許出願、論文は、全体として本明細書に取り込まれるものであり、いくつかの実施形態に記載された引用物、参照文献での技術は、本発明の先行技術として使えることにはならない。

Claims (27)

1. 撮像デバイスを用いて、背景のある周囲環境の画像および前記背景から識別可能な、少なくとも一つの物理的オブジェクト画像を取得すること、
   前記画像を複数のスライス画像にスライスすること、
   一度に、スライス画像のそれぞれについて、スライス画像ごとの順番で、前記スライス画像に含まれる、少なくとも一つの物理的オブジェクトの少なくとも一部を識別すること、
   前記の少なくとも一つの物理的オブジェクトの各識別済みの部分に、特定の順序で、変換機能を適用して、音信号または触覚オブジェクト依存の信号を生成すること、
   各スライス画像に音信号または触覚位置依存信号を対応させること、
   特定の順序で、各オブジェクト依存信号に各位置依存信号を重ね合わせて、結合オブジェクト位置信号を生成すること、
   前記オブジェクト位置信号を、インターフェースを介して、ユーザに出力して、前記結合オブジェクト位置信号を盲人が使用できるようにして、その盲人が、周囲環境との関係で、前記少なくとも一つの物理的オブジェクトの位置と特徴を決めることから成り、
   前記のスライス、識別、適用、対応づけ、重ね合わせ、および、出力の動作の少なくとも一つは、少なくとも一つのコンピュータにより実施されることを特徴とする方法。
2. 前記画像がピクセルの配列から成り、各ピクセルは、位置、色、明るさレベルと対応づけられており、前記変換機能により、ある時点の音信号または二次元の触覚信号が、各ピクセルの位置、色、明るさレベルに従って、マッピングされることを特徴とする請求項１に記載の方法。
3. 前記画像の円形部分がスライスされて、各スライス画像が円形となり、さらに、特定の順序が、時計回りまたは反時計回りの順序であることを特徴とする請求項１に記載の方法。
4. 前記変換機能により、オブジェクト画像が、実際の楽器に対応づけられた１セットの音にマッピングされ、一つまたは複数の楽器が、一つまたは複数の動作状況において、各オブジェクトの少なくとも一つの形状、位置、色を表示するのに用いられることを特徴とする請求項１に記載の方法。
5. 撮像デバイス、データ処理モジュール、ユーザ・インターフェース・モジュールから成るシステムであって、前記撮像デバイスが、背景のある周囲環境と、前記背景から識別できる、少なくとも一つの物理オブジェクトの画像を取得すること、
   前記データ処理モジュールが、画像を複数モジュール画像にスライスして、一度に、スライス画像のそれぞれについて、スライス画像ごとの順序で、このスライス画像に含まれる少なくとも一つの物理的オブジェクトの少なくとも一部を識別すること、前記の少なくとも一つの物理的オブジェクトの各識別済みの部分に、特定の順序で、前記変換機能を適用して、音信号または触覚オブジェクト依存の信号を生成すること、各スライスに音信号または触覚位置依存信号を対応づけすること、特定の順序で各オブジェクト依存信号に各位置依存信号を重ね合わせて、結合オブジェクト依存信号を生成すること、前記ユーザ・インターフェース・モジュールが、前記結合オブジェクト位置信号をインターフェースを介してユーザに出力して、前記結合オブジェクト位置信号を盲人が使用できるようにして、盲人が周囲環境との関係で、前記の少なくとも一つの物理的オブジェクトの位置と特徴を決定できるようにすることを特徴とするシステム。
6. 前記画像がピクセル配列から成り、各ピクセルは、位置、色、明るさレベルと対応しており、前記変換機能により、各ピクセルの位置、色、明るさレベルに従って、二次元の画像が、ある時点の音信号または二次元の触覚信号にマッピングされていることを特徴とする請求項５に記載のシステム。
7. 前記データ処理モジュールが、前記画像の円形部分をスライスして、各スライス画像を円形とし、さらに、ここでの特定の順序が、時計回りまたは反時計回りの順序であることを特徴とする請求項５に記載のシステム。
8. 前記変換機能は、オブジェクト画像を実際の楽器に対応している音のセットにマッピングをするように構成されており、一つまたは複数の楽器が一つまたはそれ以上の状態で、各オブジェクトの少なくとも形状、位置、色を表示するようになっていることを特徴とする請求項５に記載のシステム。
9. コンピュータ・リーダブル・プログラム・コードを有するコンピュータ・リーダブル・保存媒体から成るコンピュータ・プログラム・プロダクトであって、
   前記コンピュータ・リーダブル・プログラム・コードは、
   撮像デバイスを使って、背景を有する周囲環境の画像と、前記背景から識別できる、少なくとも、一つの物理的オブジェクトを取得するプログラムコードと、
   前記画像を複数のスライス画像にスライスするプログラムコードと、
   各スライド画像ごとに、一度で、特定の順序で、スライス画像に含まれる少なくとも一つの物理的オブジェクトの少なくとも一部分を識別するプログラムコードと、
   特定の順序で、前記変換機能を、少なくとも一つの物理的オブジェクトの各識別済みの部分を適用して、音または触覚オブジェクト依存信号を生成するプログラムコードと、
   各スライス画像に、音信号または触覚位置依存信号を対応づけるようになっているプログラムコードと、
   特定の順序でオブジェクト依存信号に各位置依存信号を重ね合わせて結合オブジェクト位置信号を発生させるようになっているプログラムコードと、
   この結合オブジェクト位置信号を、インターフェースを介して、ユーザに出力して、盲人がこの結合オブジェクト位置信号を使用できるようにして、盲人が、周囲環境との関係で、前記の少なくとも一つの物理的オブジェクトの位置と特徴を決定するプログラムコードから成ることを特徴とするコンピュータ・プログラム・プロダクト。
10. 前記画像がピクセルの配列から成り、各ピクセルには、位置、色、明るさのレベルが対応づけられ、前記変換機能により、各ピクセルの位置、色、明るさレベルに従って、前記ピクセル配列が、ある時点の音信号または二次元の触覚信号にマッピングされていることを特徴とする請求項９に記載のコンピュータ・プログラム・プロダクト。
11. 画像の円形部分をスライスするようにプログラムされ、各スライス画像が円形となり、さらに、前記特定の順序は、時計回りまたは反時計回りの順序のことであることを特徴とする請求項９に記載のコンピュータ・プログラム・プロダクト。
12. 撮像デバイスを使用して、少なくとも一つの物理的オブジェクトが含まれる周囲環境の三次元モデル画像をスライスすること、
    前記三次元モデル画面を表面画像により区分すること、
    一度に表面画像のそれぞれについて、特定の順序で、表面画像により横断面に切断された、少なくとも一つの物理的オブジェクトの、少なくとも、一部分を識別すること、
    特定の順序で、前記の少なくとも一つの物理的オブジェクトの各識別済みの横断面に、変換機能を適用して、音信号または触覚オブジェクト依存信号を生成すること、
    各表面画像に、音信号または触覚位置依存信号を対応づけること、
    特定の順序で、各オブジェクト依存信号に、各位置依存信号を重ね合わせて、結合オブジェクト位置信号を生成すること、
    インターフェースを介して、前記結合オブジェクト位置信号をユーザに出力して、盲人が、この結合オブジェクト位置信号を使用できるようにして、周囲環境との関係において、少なくとも一つの物理的オブジェクトの位置と特徴を決定することから成る方法であって、前記画像を取得すること、分割すること、識別すること、適用すること、対応づけること、重ね合わせること、出力することの動作の少なくとも一つを、少なくとも一つのコンピュータで実現することを特徴とする方法。
13. 各表面画像がピクセルの配列から成る画像であり、各ピクセルは、位置、色、明るさレベルに対応づけされており、変換機能により、ピクセルの配列が、各ピクセルの位置、色、明るさのレベルに従って、ある時点の音信号または二次元の触覚信号に、マッピングされていることを特徴とする請求項１２に記載の方法。
14. 前記の表面画像は、同心円状の球または筒であり、前記特定の順序は、特定の中心に向かって内側に向かう順序であるか、外側に向かう順序であることを特徴とする請求項１２に記載の方法。
15. 前記表面画像が半径方向の平面であり、特定の軸を貫通して、前記特定の順序は、軸を中心として、時計回りまたは反時計回りの順番であることを特徴とする請求項１２に記載の方法。
16. 撮像デバイス、データ処理モジュール、および、ユーザ・インターフェース・モジュールから成るシステムであって、前記撮像デバイスは、背景を有する周囲環境の画像と、背景から識別できる少なくとも一つの物理的オブジェクトを取得し、
    データ処理モジュールは、撮像デバイスを使って、少なくとも一つの物理的オブジェクトを含む周囲環境の三次元モデルを取得し、
    前記三次元モデルを表面画像により区分し、
    各表面画像ごとに一度で、特定の順序で、表面画像により横断面に切断された、少なくとも一つの物理的オブジェクトの少なくとも一部分を識別し、
    前記特定の順序で変換機能を少なくとも一つの物理的オブジェクトの、各識別済みの横断面に適用し、
    各表面に音信号または触覚位置依存の信号を対応づけさせ、前記特定の順序で、各オブジェクト依存信号に、各位置依存信号を重ね合わせて、結合オブジェクト位置信号を生成させ、
    インターフェースを介して、前記結合オブジェクト位置信号をユーザに出力して、出力された結合オブジェクト位置信号を盲人が使用できるようにして、周囲環境に対して、少なくとも一つの物理的オブジェクトの位置と特徴を決定させることを特徴とするシステム。
17. 前記画像はピクセルの配列から成り、各ピクセルが、位置、色、明るさレベルに対応づけられており、前記変換機能により、ピクセルの配列が各ピクセルの位置、色、明るさレベルに従って、ある時点の音信号または二次元の触覚信号にマッピングされていることを特徴とする請求項１６に記載のシステム。
18. 前記データ処理モジュールは、前記画像の円形部分をスライスする構成であり、各スライス画像が円形となり、さらに、特定の順序は、時計回りまたは反時計回りの順序であることを特徴とする請求項１６に記載のシステム。
19. コンピュータ・リーダブル・プログラム・コードを有するコンピュータ・リーダブル・保存媒体から成るコンピュータ・プログラム・プロダクトであって、
    前記コンピュータ・リーダブル・プログラム・コードには、撮像デバイスを使って、背景を有する周囲環境の画像と、前記背景から識別できる、少なくとも一つの物理的オブジェクトを取得するコンピュータ・リーダブル・プログラム・コードと、
    前記画像を複数のスライス画像にスライスするコンピュータ・リーダブル・プログラム・コードと、
    各スライド画像ごとに一度で、特定の順序で、スライス画像に含まれる少なくとも一つの物理的オブジェクトの少なくとも一つの部分を識別するコンピュータ・リーダブル・プログラム・コードと、
    特定の順序で、前記変換機能を、少なくとも一つの物理的オブジェクトの各識別済みの部分に適用して、音または触覚オブジェクト依存信号を生成するコンピュータ・リーダブル・プログラム・コードと、
    各スライス画像に、音または触覚位置依存信号を対応づけるコンピュータ・リーダブル・プログラム・コードと、
    特定の順序で、オブジェクト依存信号に各位置依存信号を重ね合わせて、結合オブジェクト位置信号を発生させるコンピュータ・リーダブル・プログラム・コードと、
    前記結合オブジェクト位置信号を、インターフェースを介して、ユーザに出力させ、この結合オブジェクト位置信号を盲人に使えるようにして、前記盲人が周囲環境との関係で、少なくとも一つの物理的オブジェクトの位置と特徴を決定するコンピュータ・リーダブル・プログラム・コードとが含まれることを特徴とするコンピュータ・プログラム・プロダクト。
20. 前記画像がピクセルの配列から成り、各ピクセルは、位置、色、明るさのレベルに対応づけられており、さらに前記変換機能により、前記ピクセルの配列を、ある時点の音または二次元の触覚信号に、各ピクセルの位置、色、明るさのレベルに従って、マッピングすることを特徴とする請求項１９に記載のコンピュータ・プログラム・プロダクト。
21. 前記コンピュータ・プログラム・プロダクトは、画像の円形部分をスライスして、各スライス画像が円形となり、さらに、前記特定の順序が、時計回りまたは反時計回りの順序であることを特徴とする、請求項１９に記載のコンピュータ・プログラム・プロダクト。
22. グラフィックディスプレイ画像を複数のスライス画像にスライスして、前記グラフィックディスプレイ画像に、特定の外観と特定の機能を対応づけられた複数のオブジェクトとアイコンを表示すること、
    各スライスごとに、前記変換機能をスライス画像内に含まれる各オブジェクトまたはアイコンに適用して、音信号または触覚オブジェクト依存信号を発生させること、
    各スライス画像に、そのスライス信号に固有の音信号または触覚位置依存信号を対応づけること、
    グラフィックディスプレイ上のユーザ制御インジケータを追跡して、インジケータの位置を探知すること、
    インジケータの位置が対応づけられた位置依存信号を、少しずつ、インジケータからの特定範囲内に位置するオブジェクトまたはアイコンのすべてのオブジェクト依存信号に重ね合わせて、結合オブジェクト位置信号を生成させ、さらに、インターフェースを介して結合オブジェクト位置信号をユーザに出力して、前記結合オブジェクト位置信号をユーザである盲人が使用できるようにして、盲人がグラフィックディスプレイ上のオブジェクトとアイコンの位置、外観、機能を決定できるようにすること、
    少なくとも、画像の取得、スライス、追跡、適用、対応づけ、重ね合わせ、出力の動作を少なくとも一つのコンピュータで実行することから成る方法。
23. 前記スライス画像がピクセルの配列から成り、各ピクセルは、位置、色、明るさレベルに対応づけられ、前記変換機能により、二次元のピクセル配列を、各ピクセルの位置、色、明るさレベルに従って、さらには、ぴクセルに対応づけられたアイコンの機能の点から、ある時点の音信号または二次元の触覚信号にマッピングすることを特徴とする請求項２２に記載の方法。
24. グラフィックディスプレイ、データ処理モジュール、ユーザ・インターフェース・モジュールから成るシステムであって、前記データ処理モジュールは、
    グラフィックディスプレイを複数のスライス画像にスライスして、前記グラフィックディスプレイが特定の外観と特定の機能が対応づけられた複数のアイコンを表示し、
    各スライス画像ごとに、前記変換機能を、スライス画像内の各アイコンに適用して、音信号または触覚アイコン依存信号を生成させ、
    各スライスに音信号または触覚位置依存信号を対応づけして、
    前記グラフィックディスプレイ上において、ユーザ制御のインジケータを追跡し、インジケータの位置を探知し、
    インジケータ位置に対応づけされた位置依存信号を、インジケータから特定範囲に位置する、すべてのアイコンのアイコン依存信号に重ね合わせて、結合アイコン位置信号を生成させ、ユーザインターフェースを介して、結合アイコン位置信号をユーザに出力させ、前記結合アイコン位置信号を盲人が使用できるようにして、グラフィックディスプレイ上のアイコンの位置、外観、機能を決定できるようにするシステム。
25. 前記スライス画像がピクセルから成り、各ピクセルは、位置、色、明るさレベルに対応づけられており、前記変換機能により、ピクセルの二次元配列を、各ピクセルの位置、色、明るさレベルに従って、および、ピクセルに対応づけられている機能の観点から、ある時点での音信号または二次元の触覚信号にマッピングすることを特徴とする請求項２４に記載のシステム。
26. コンピュータ・リーダブル・プログラム・コードから成るコンピュータ・プログラム・プロダクトであって、前記コンピュータ・リーダブル・プログラムは、
    グラフィックディスプレイ画面を複数のスライス画像にスライスし、前記グラフィックディスプレイに、特定の外観と特定の機能に対応づけられた複数のオブジェクトとアイコンを表示させるコンピュータ・リーダブル・プログラム・コードと、
    スライス画像ごとに、スライス画像に含まれる各オブジェクトまたはアイコンに変換機能を適用して、音信号または触覚オブジェクト依存信号を生成するコンピュータ・リーダブル・プログラム・コードと、
    各スライス画像に、音信号または位置依存信号の対応づけを行うコンピュータ・リーダブル・プログラム・コードと、
    ユーザ制御のインジケータをグラフィックディスプレイ上で追跡して、前記インジケータの位置を探知するコンピュータ・リーダブル・プログラム・コードと、
    インジケータの位置に対応づけされた位置依存信号を、少しずつ、インジケータから特定の範囲内に位置しているオブジェクトのすべてのオブジェクト依存信号に重ね合わせて、結合オブジェクト位置信号を生成させ、前記結合オブジェクト信号を、インターフェースを介してユーザに出力し、前記結合オブジェクト位置信号を、ユーザである盲人が、グラフィックディスプレイ上のオブジェクトおよびアイコンの位置、外観、機能を決定できるようにするコンピュータ・リーダブル・プログラム・コードとが含まれることを特徴とするコンピュータ・プログラム・プロダクト。
27. 前記スライス画像は、ピクセル配列から成り、各ピクセルは、位置、色、明るさレベルに対応づけられており、さらに、前記変換機能は、ピクセル配列を、各ピクセルの位置、色、明るさレベルに従って、および、ぴクセルに対応づけられたアイコンの機能の見地から、ある時点での音信号または二次元の触感信号にマッピングさせることを特徴とする請求項２６に記載のコンピュータ・プログラム・プロダクト。
    

Images