JP2004191994A - ３次元画像を得るための方法及びシステム - Google Patents

Abstract

【課題】 視覚障害者が方向を決めるための補助器具を提供する。
【解決手段】 物体又は光景の３次元画像を取り込み、これらの物理的表現を生じさせるために３次元画像から得られた情報を使用する。この物理的表現は、画像取り込み地点から２次元の表面上の位置に対応する光景の地点までの距離を表す表面を有する。
【選択図】 図１

Description

本発明は、視覚障害者に対するその視覚障害者の周囲環境の伝達を改善するための装置の分野に関する。

電子カメラが、静止画像と動画像の両方を取り込むために一般的に使用されている。これらの画像は即時に目視することも、後で目視してプリントするために記憶することも可能である。動画像のリアルタイム表示を使用するシステムは、監視のための利用、及び例えば配水管内の調査または内視鏡による医療検査の場合のように撮像対象の光景から目視者が遠隔位置にいる場合に有用である。これらの事例のすべては、画像情報を可視的形式で表示することを含む。

例えばドイツのF.H.Papenmeier GmbH & Co.KGによって製造されているPapenmeier Braillexのような、市販品として入手可能な電子的にアドレス指定された触覚パネルが、ブライユ点字の形に符号化されたテキストを視覚障害者が読み取ることを可能にするために存在している。こうした触覚パネルは、一般的に、４０個（または、場合によっては８０個）の６ドットまたは８ドットのセルを備えており、このセルの各々がテキスト文字を表す。http://snow.utoronto.ca/technology/products/refreshable-braille.htmlを参照されたい。

触覚コンピュータスクリーンが必要とされていることが認識されている。例えば、テキストのフルスクリーンが可能なシステムの着想が特許文献１に開示されている。

特許文献２は、接触表面の構成が容易に拡大可能である、図形パターンを表示するためのグラフィック触覚セルを開示している。このグラフィック触覚セルは、垂直移動によって図形パターンを表示する触覚ピンと、電圧印加によって湾曲させられて触覚ピンを垂直方向に駆動する圧電要素セグメントと、触覚ピンと圧電要素セグメントとを保持するユニット基部とを含む。圧電要素セグメントに対応する、単位数の触覚ピンを各々が含む複数のセルユニットと、接触ピンと圧電要素セグメントとを保持するための基部ユニットとが、触覚ピンが垂直方向と水平方向とにおいて等間隔で配置されているように水平および垂直に結合されている。圧電要素セグメントの基部端部が、塑性的に変形可能な調整部材を介してユニット基部によって保持されている。

特許文献３は、この目的のための電気機械式アクチュエータによって少なくとも２つの安定位置に位置する軸方向ピンを有する多孔プレートを開示している。

この装置は、National Institute for Standards and Technology,Gaithersburgによって、２次元ディジタル画像から得られた線画像に関する使用が実証されている。この装置では、線は、ディスプレイタブレットの平面の上方の単一の位置に上昇するピンを使用して生じる。

特許文献４は、「視覚障害者のための方向決め補助器具」を開示している。この方向決め補助器具は、投射単一ビーム／反射ビーム検出器から成る距離測定システムから成り、この検出器の信号が反射物体からその装置までの距離として翻訳される。この距離は触覚表示装置によって表示される。

視覚障害者が周囲区域を正しく認識することを補助する別の装置が、杖で叩くことによって生じる反響音を使用して壁のような障害物を何らかの形で認識する視覚障害者の方法を真似ている装置である。米国特許出願番号２００１／００１６８１８ Ａ１が、「振幅」対「周波数」関係に関して音を分析して、幾つかの個別の周波数範囲内の振幅信号を制御信号に変換するための装置を開示している。この制御信号は、ユーザによって感知される触覚変換器の直線配列を制御するために使用される。

３次元画像情報から３次元物体を生じさせるシステムが存在している。例えば、3-D Systems Incが、コンピュータ援用設計（ＣＡＤ）システムからの３次元物体の作成を可能にする幾つかの製品を製造している。このような「ソリッドオブジェックトプリンタ（Solid Object Printer）」の１つが、「ThermoJet」プリンタである。これは、溶着後に乾燥してワックス層を形成する溶融ワックスインク（melted wax ink）を使用する一種のインクジェットプリンタである。物体が幾つかのワックス層から作り上げられる。

３次元浮き出し物体を真空成形技術によって作成することが可能である。この真空成形技術では、第１の表面が、その第１の表面の形状に合致する別の表面を形成するために作られ、この別の表面は、必要とされる形状に変形させることが可能であり、かつ硬化してその変形形状を保持する材料によって形成される。凹角がないので、その硬化した別の表面を容易に取り外すことが可能である。典型的には、熱可塑性プラスチック材料シートが軟化するように加熱され、その次に、第１の成形表面の上に置かれる。適切な方法を使用して成形表面と熱可塑性プラスチックシートとの間から空気を抜くことが可能である。その次に、大気圧が熱可塑性プラスチックシートを成形表面に押し付けて合致させる。このシートは冷却時に硬化する。

特許文献５には、ブライユテキストとグラフィックのための電子触覚表示装置が開示されている。

米国特許第４，８７１，９９２号 米国特許第５，８４２，８６７号 米国特許第６，１０９，９２２号 米国特許第６，２９８，０１０号 米国特許第５，５８０，２５１号

触覚パネルを使用する視覚障害者に対して表示することが可能な可視画像の情報、すなわち、光の強さすなわち輝度の空間分布の情報はあまり有用ではない。この場合には、物体の形状のほうがはるかに有用な情報である。視覚障害者は、さらに、物体の近接、特に、移動中の車両のような危険な物体の近接を認識することを必要とする。感触によって調べられる距離表示装置の２次元配列を有することのほうが、こうした配列の中の１つの要素だけを１回ずつサンプリングする装置よりもはるかに有用である。

解決すべき問題は、自分を危険に直面させるかも知れない周囲状況の特徴を検出する能力を殆ど持たないか全く持たない視覚障害者の方向決めのための補助器具を提供するという問題である。したがって、この問題は、３次元情報をリアルタイムで伝達する形で光景の画像を提供することである。このことが、階段や縁石のような床または地面の特徴、家具や街灯柱、近くの人々や動物のような障害物、または、潜在的に危険な交通に視覚障害者が気が付くことを可能にすることができる。生じた画像の形態が動的な３次元形式であることが好ましい。

解決すべき別の問題は、便利でかつ低コストの方法で永久的またな疑似永久的な３次元浮き出し画像を実現することである。こうした浮き出し画像は、視覚障害者が後で感触によって認識することが可能な、顔や建物のような実物の物体または光景の記録として有用であろう。視覚障害者がこの浮き出し画像に手を触れることができること、または、その代わりに、視覚障害者がディジタル形式の情報にアクセスでき、および、適切な装置を使用して浮き出し画像を生じさせることが有用であろう。この浮き出し画像は、永久的な画像であっても、３次元表面を生成することが可能な装置における一時的な画像であってもよい。この装置は、リアルタイムで動的な３次元表面を提供するのに適している装置と同じ装置とすることも可能である。

このような３次元表面を提供できる任意の機器は、感触だけでなく視覚によってもその３次元表面を認識できる正常な視覚を持つ人々にも使用することが可能であるということが理解できるであろう。

本発明の目的は、実物の物体または光景の３次元画像を取り込むことと、視覚障害者に適した仕方でその３次元画像を表示することである。

本発明によって、物体または光景の３次元画像を取り込んで、その光景の物理的表現を生じさせるためにその３次元画像から得られた情報を使用する方法であって、この物理的表現は、表面の１つの特徴が、画像取込み地点から２次元の表面上の位置に対応する光景の地点までの距離を表す表面を有する方法が提供される。

画像取込み地点から２次元の表面上の位置に対応する光景の地点までの距離を表す表面の特徴は、基準面よりも高い表面高さであってもよい。あるいは、この特徴は、温度のような物理的刺激、すなわち、距離の違いを表す表面上の異なる位置における温度の違いであってもよい。振動振幅または振動数の違いも使用できる。

本発明は、さらに、物体または光景の３次元画像を取り込む手段と、この３次元画像から情報を得る手段と、この得られた情報からその光景の物理的表現を生じさせる手段とを備えるシステムであって、この物理的表現は、表面の１つの特徴が画像取込み地点から２次元の表面上の位置に対応する光景の地点までの距離を表す表面を有するシステムを提供する。

立体カメラ構成を、３次元画像を取り込むために使用することが可能である。立体画像の場合には、立体カメラまたは立体カメラ構成が、少なくとも２つの位置から画像を取り込み、この得られた画像情報が、３次元画像を生じさせるために使用される。例えばソナー技術に基づく方法のような代替の方法を使用することが可能である。赤外光が使用されてもよい。

得られた奥行情報は電子信号に変換され、この電子信号は、実物の物体または光景を表現する３次元物体として解釈できるように感知することが可能な画像の表示を生じさせるために使用される。距離を求めるために使用されたかも知れないが表示することは不可能である他の情報は、廃棄することができる。あるいは、この代わりに、こうした他の情報を、追加の情報を提供するために保存することも可能である。

画像情報が反復的に取り込まれて処理され、感知可能な形の３次元の出力画像に変換される、動的な表示を生じさせることが可能である。これが十分に高速に行われる場合には、リアルタイムの動的画像を生成することが可能である。

出力画像は、ブライユ点字（Braille character）の形成のために使用されるリフレッシュ可能な触覚ディスプレイパネルと同様であり、かつ、カメラから実物の要素までの距離を伝達するように高さが調節可能な、個別的にアドレス指定可能な釘部材またはピン部材の２次元配列を使用する、リフレッシュ可能な触覚ディスプレイパネルを使用して生じさせることが可能である。

３次元物体すなわち触覚パネルの動的パターンに触って調べることによって、視覚障害者はその形状を実物の物体の形状または光景の様々の部分の距離に置き換えて解釈することが可能である。

奥行を表示するために画像表面に対する空間次元上の変化以外の変化を、生じさせることが可能である。これらは画像奥行（image depth）として解釈されなければならないであろう。

本発明は静止画像も動画像も提供することが可能である。静止物体は浮き出し画像を生じさせるであろう。この静止画像は、例えば、場所、建物、物体、または、人物の画像とすることができる。この静止画像は視覚障害者に提供され、したがって視覚障害者に通常の可視画像と同等な経験を与えることが可能である。
動画像の場合には、本発明は安全上の明確な利点を与える。環境のリアルタイム画像が提供される。したがって階段や街灯柱や他の障害物のような危険物の存在が表示される。

以下に、添付図面を参照しながら、例示する形で本発明を説明する。

図１は、本発明によるシステムを示す。このシステムは、動的な３次元表示を提供することが意図されている。静止物体または光景を表現する固体の物体または表面である３次元「プリント」の場合には、フィルムによる立体カメラを使用してもよい。こうしたカメラは、少なくともフィルムの区域を同時に露光させるための少なくとも２つのレンズを有する。物体が十分に安定している時には、単一のカメラが、２つ以上の位置から画像を取り込むために使用することが可能である。いずれの場合にも、取り込まれた画像が、その取込み画像から必要な奥行情報を得るために走査されディジタル画像ファイルに変換することが可能である。

人間の目視のための立体撮像を行うためには、レンズがおおむね人間の眼間距離において水平線上に位置していることが必要である。このことが、立体画像対の一方の画像が一方の目で見られ、その他方の画像が他方の目で見られる時に、目視者によって画像が単一の３次元画像として認識されることを可能にする。取込み位置から隔たった距離が、目視者による奥行の知覚の度合いを指示する。奥行情報を得るために画像を取り込むためには、眼間距離の要件も取込み地点の水平配置も該当しない。実際には、取込み位置の間の全く異なる距離を使用することが望ましいであろう。例えば、動的３次元触覚表示表面を使用する方向決め補助器具の場合の奥行情報、距離スケールが著しく圧縮されるので、取込み位置が眼間距離の例えば１０％よりも大きいことは必要ないであろう。

こうした距離は、よりコンパクトな取込み装置を可能にする。さらに、単一の装置を使用してその装置を一方の位置から他方の位置に動かすことが、より容易になる。極端なケースでは、単一の装置を振動させて、光景の要素の横方向移動をこれらの要素の距離に関係付けることも可能なことがある。こうした単一の取込み装置の迅速な位置決めは、十分に高速の画像取込み速度が動的表示において有効であることを実現する。

図１に示されている実施形態では、１対のディジタルビデオカメラ１２が、物体または光景の３次元画像を取り込むために備えられている。この例では、カメラが野球帽１０のひさしの両側に配置されている。カメラ１２が野球帽の上に配置されていることは必ずしも不可欠ではないということが理解されるであろう。カメラが互いに適切な間隔で位置している任意の場所が使用可能である。カメラ１２は、電線１６を介して触覚出力パネル１４と接続されている。プロセッサが、カメラからの信号を触覚パネル１４に適した情報の形に処理するために、システム内の都合のよい任意の場所に配置されている。これに関しては、さらに詳細に後述する。当業者は、カメラと触覚パネルとが物理的に連結されていることは必ずしも不可欠ではないということを理解するであろう。本発明の方法は、さらに、無線信号または他のワイヤレス手段を使用して実現してもよい。

当然のことながら、物理的に分離した２つのカメラの代わりに立体カメラを使用することが可能である。唯一の相違点は、立体カメラでは２つ以上のレンズが既知の間隔を置いて互いに物理的に連結されているということである。

光景を表現しており、また、触覚によって感知される浮き出し表面（relief surface）の形態である３次元表面が、取込み地点から光景の様々な部分までの一定の範囲の距離を表現する最大範囲の奥行を有することが必要であるということが理解できる。高さにおけるこの最大の差、例えば、ピン配列の中の作動ピンの最大の移動距離が、表示の有効性を最大化する設計上の妥協と要因とによって影響を受ける。典型的には、表示高さの範囲は数ミリメートルであり、例えば５ミリメートルとすることができる。この場合には、最も遠くの物体が、表示装置の基部高さであるピンのゼロの移動距離によって表示されるであろう。最も近い物体は、基部位置から５ｍｍ上昇した位置にあるピンによって表現されるであろう。

したがって、光景の様々な部分の実際の距離は著しく圧縮される。視覚障害者が近くの物体または構造物を察知することを補助する補助器具である、方向決め補助器具としての最大の有効性を実現するためには、距離と表示高さとの間の好ましい関係は非線形である。例えば、例えば１０ｍのような特定の最大値を越える距離の間の違いを識別することは重要ではないだろうが、物体との衝突が起こりそうな時、または、座席もしくは扉のような物体が探し求められている時を察知することは重要である。ｘが「表示表面の高さの差」に対する「取込み地点からの光景の２つの部分の間の距離の差」の比率である圧縮の度合いであるならば、このｘは距離に応じて変化しなければならない。距離と圧縮との間の関係は、例えば、距離の逆数から導き出すことが可能である。このアプローチが次の表に例示されている。

この例では、近くの物体に関する距離の差は、表示表面における著しくより大きな相対的高さに翻訳されている。一方、光景の距離と表面高さとの間のより複雑な関係を、経験に基づいて導き出すこともできる。

表示表面は、限られた数の個別の位置を有するであろう。例えば、高さの範囲は、４ビットの奥行情報である８つの位置に分けることができる。この場合には、高さの１つの増分を０．５ｍｍとすることができる。

光景の中の物体が特に近い場合には、すなわち、表面高さが最大化されているか、概ね最大化されている場合には、街灯柱のような物体に衝突する危険性があるかもしれない。表示表面の表面高さが概ね最大であるかもしれないという事実が明らかでないこともあるであろう。こうした状況では、近接の付加的表示を提供することが有効である。これは、距離表示子として、すなわち、付加的情報を提供する手段として、高さに代わる代替案として後述の方法のいずれかによって実現することが可能である。例えば、表示表面は、高さ範囲の限界付近にある時に、より高温とすることが可能である。あるいは、この代わりに、触覚距離表示子に奥行情報を提供するために使用される情報と同じ入力情報によって制御された、接近を表示する別の方法を提供することが可能である。例えば、取り込まれた光景のどれかの部分の距離が特定の距離（例えば０．２５ｍ）よりも近いならば、可聴信号を提供することが可能である。

詳細な説明の結末に例が示されている本発明の他の応用例では、光景または物体の距離と表示高さとの間の非常に異なる関係を使用することが望ましいことがある。例えば、誇張された表面特徴を再現する場合のように、距離の間の差を誇張することが有利なことがある。へこみや割れ目のような特徴を圧縮するのではなく誇張することが有益であることがある。例えば３次元地図の場合には、高さ次元が平面次元に比較して拡大されていることが多い。この場合には、取込み地点の間のより広い間隔を使用することと、３次元画像の表面の計算で使用される数学的関係を変更することとが好ましい。

実物の光景からの位置情報を、感知された表面特徴の２次元表示装置の表面上の位置によってユーザに伝達することも可能である。この場合には、表示は、ユーザが平面図内の特定の位置（例えば、長方形の表示装置の１つの縁の中央）に位置している時の光景の平面図を表現することが可能である。この表面特徴は、他の２つの次元の平面に対して直交する次元における表面上の位置とすることが可能である。あるいは、この代わりに、温度または振動のような、この出願の他の地点で説明されている表面特徴のどれかとすることも可能である。

この場合の表示が透視図の場合とは幾分か異なる次元情報を伝達するということが理解されるであろう。例えば、街灯柱は、おそらくは円形の形状であり、かつおそらくは基部平面から浮き上がっている小さい表面領域によって表現することが可能である。この浮き上がった表面の高さは、その物体の高さを表現することが可能である。これは、光景特徴の高さの著しく正確な表現を与えることはないであろうが、ユーザに対する光景特徴の相対的位置がより適切に評価されるであろう。これは、視覚障害者のための方向決め補助器具の場合に特に重要であろう。

出力画像の視覚的感知の場合には、物理的画像を生じさせることは不要であるということが理解されるであろう。３次元画像は、奥行情報の視覚的認識を可能にする仕方で表示することが可能なディジタル画像ファイルの形とすることができる。

図２は、本発明の方法を実施する２つの主要な段階を示す。
カメラ１２の対が立体画像対を取り込む。ステップＳ１が、この画像対における局所的な変位を検出する。ステップＳ２が、この画像対における対応する特徴の間の局所的な変位を、奥行の推定値、すなわち、これらの特徴に対応する光景内の物体と画像取込み平面との間の距離に変換する。その次に、奥行情報が、触覚パネルのような実行装置に送られる。図３が、ステップＳ１とステップＳ２をさらに詳細に説明する。

図３を参照すると、ステップＳ１において、カメラ１２によって取り込まれた立体画像対に対してグローバルアラインメント（global alignment）が行われる。画像対を取り込むために使用される１つまたは複数の装置の光学装置がアラインメント調整されており、立体対が適正に位置合せされている場合には、このステップは不要である。そうでない場合には、グローバルアラインメントが、立体対における対応する特徴に関する探索区域を最小限にするので有利である。このことが局所的変位の推定値の精度を改善し、計算負荷を最小にする。

様々な方法がグローバルアラインメントのためにグローバル変位ベクトルを生成するのに適しているが、この用途のための好ましい方法は部分正規化位相相関（partially normalised phase correlation）である。部分正規化位相相関を使用してサブピクセル精度でグローバル変位ベクトルを生成する方法の詳細は、ＥＰ ０６５９０２１に開示されている。その次に、立体画像対の一方の画像を、グローバル変位ベクトルにしたがって、例えばバイキュービック補間のような当分野で公知の補間方法によって、立体画像対の第２の画像に対するグローバルアラインメント調整を行ってもよい。その次に、後述する変位ベクトル場が、ステップＳ１ｂにおいて、グローバルアラインメントが行われた立体画像対に関して生成される。
その次に、ステップＳ１ｂでは、変位ベクトルが各ピクセル位置に関して生成される。

ディジタル化された立体画像対の画像間の局所的なｘ、ｙ変位を特徴付ける、典型的にはサブピクセル精度を有する１組の変位ベクトルが生成される。両方とも当分野で公知であるブロックマッチング（block matching）と微分法（method of differentials）とを含む様々な方法が適しているであろうが（Image Processing、D.Pearson編,Chapter 3,“Motion and Motion Estimation”,G.Thomas,PP40-57,McGraw-Hill,1991）、この用途のための好ましい方法は位相相関である。位相相関法のより詳細な説明に関してはＰｅａｒｓｏｎ（上記参照）を参照し、さらに、部分正規化位相相関法を使用してサブピクセル精度で変位ベクトルを生成する方法に関してはＥＰ ０６５９０２１を参照されたい。

適切なサイズの１組の対応するサブブロックがディジタル画像対の各画像において規定される。この用途においてサブブロックがオーバラップすることは可能であるが、オーバラップせずに隣接するブロックを使用することが適切である。適切なブロックサイズが、画像間の最大の変位を含むのに十分だけ大きいことと、必要とされる精度を生じさせるのに十分なだけ小さいこととの間の折り合いを実現する。

少なくとも１つの変位ベクトルが、そのサブブロックの組の中の各サブブロックに関して生成される。この例では、部分正規化位相相関が、次式を使用して各サブブロックに関する立体画像対の画像の間の発生可能な変位を表示するために使用される。

ここで、Ｐ（ｕ，ｖ）とＱ（ｕ，ｖ）は、２つの画像において対応する位置にあるサブブロックｐ、ｑの空間周波数（ｕ，ｖ）での２次元フーリエ変換であり、
ｎは、典型的には０．５＜ｎ＜０．９である正規化因子であり、
Ｆ^-1は逆フーリエ変換であり、
Ｃ_p,q（ｘ，ｙ）は、入力ブロックｐ、ｑに関する変位（ｘ，ｙ）の関数としての相関表面である。

各サブブロックに関して、対応する相関表面Ｃ_p,q（ｘ，ｙ）において最も高いピークを与える変位ベクトル（ｘ，ｙ）の組が記憶される。サブブロック１つにつき固定した数の変位ベクトルを選択することが可能であるが、この応用例では、選択された閾値ｔ（典型的には０．０５＜ｔ＜０．２）よりも高いピーク値を与える、各サブブロックに関する変位ベクトルのすべてを選択することが好ましい。

（０，０）変位を中心とした各サブブロックに関する相関表面が入力サブブロックと同じサイズであり、また、入力データと同じサンプリングレートでサンプリングされるということに留意されたい。したがって、変位ベクトルはピクセル精度で生成される。この特定の応用例では、変位ベクトルがピクセル精度で測定される場合に、得ることが可能な精度よりも高い精度で奥行情報を生成することが必要とされることがある。この場合には、ＥＰ ０６５９０２１にしたがって、ピークの位置としたがって変位ベクトルとをサブピクセル精度で推定するために、相関表面を補間してもよい。

変位ベクトル場を生成する最終ステップは、立体画像対の一方の画像における各ピクセル位置に関する候補ベクトルの組を生成することである。この好ましい方法では、候補ベクトルは、当該ピクセルが中に位置しているサブブロックに関するベクトルの組と、おそらくは、１つまたは複数の近傍サブブロックからのベクトルのうちの１つまたは複数のベクトルとを含む。その次に、画像対の一方の画像における各ピクセルに関して、候補ベクトルの各々が、第１の画像中のピクセル値と、第２の画像中の適切に変位しているピクセル値との間の最小デルタエラー（minimum delta error）を生じさせるピクセル１つ当たり１つのベクトルを求めるために検査される。これはステップＳ１ｃで行われる。

結果として生じる変位ベクトル場におけるノイズを最小化するために、幾つかの方法を使用することができる。第１に、ピクセル１つ当たりの変位ベクトルの選択は、変位ベクトルの長さの測定された量によって重み付けされた最小デルタエラーの関数であってもよい。したがって、ベクトル選択プロセスは、より短いベクトルとより小さい変位とに向かって重み付けされる。第２に、各ピクセルに関する変位ベクトルの選択は、近傍ピクセルに関する選択された変位ベクトルによって制約されるであろう。あるいは、この代わりに、そのベクトル場自体が、ノイズを最小化するために空間フィルタリングされてもよい。この応用例では、第３の選択肢が好ましく、選択されるフィルタリング方法は、ノイズを抑制するが「エッジ」を維持するフィルタリング方法である。ここで、「エッジ」は、光景内の非平滑な奥行変化に対応する立体画像対での位置における非平滑なパララックス変化に対応するベクトル場内の真の断絶（break）として定義される。エッジを維持したままノイズを抑制するための幾つかの方法が公知であり、メディアンフィルタまたはシグマフィルタを含む。

立体画像対の場合には、各画像の間のパララックスが画像取込み装置を結合する軸線に対して平行に生じるだけであるということにさらに留意されたい。したがって、このパララックスに関連する変位ベクトルは、単一の次元に存在するはずである。この１次元における変位を推定するするための方法を適用することによって、すなわち、変位の方向に存在する１次元ブロックを使用することによって、この制約を利用することは可能であろう。しかし、このシステムが処理速度によって制限されない場合には、この好ましい方法は、上述のように２次元の相関表面を計算することであり、しかし、パララックスによって定義される通りの適切な方向に存在するベクトルだけを選択することである。

変位場が求められ終わると直ちに、ステップＳ２ａにおいて、次式にしたがって、三角法を、変位場をピクセル１つ当たりの奥行値に変換するために使用することが可能であり、
奥行＝関数（１／変位場値）
ここで、この関数は、レンズ間の間隔とレンズの焦点距離とに従属したスカラー量である。

その次に、ステップＳ２ｂにおいて、奥行値が、実行装置に送られる奥行表現値を与えるように適切な関数によって変換される。この実行装置が、基準面の上方のその装置の表面の高さを変更することによって画像取込み地点から物体または光景までの距離を表現し、また、その基準面が光景内の無限遠にある物体に対応するものとして定義されている場合には、光景内の物体の奥行とその装置上での奥行表現との間の関数的関係も逆の特徴を有するということに留意されたい。したがって、無限遠の光景物体または無限遠に近い光景物体が表面のゼロの変位またはゼロに近い変位によって表現され、近くの物体が表面の比較的大きな変位によって表現されるであろう。理想的には、この関数は単調であるが非線形であり、奥行の増大につれてゼロに減少する、例えば、１／奥行、または、適切にオフセットした負の対数関数である。こうして、画像取込み平面からより遠く離れている物体の奥行における差に、近くの物体の奥行における差よりも小さい強調が加えられる。物体の距離と、立体取込み装置の分解能と、相関表面の導出とが、値ゼロを有する変位ベクトルを結果的に与える場合には、その物体の奥行が無限であると定義される。したがって、取込みシステムの分解能が、そのシステムが取り扱うことが可能な最大奥行の上限を決める。その最大奥行を超えると物体奥行が無限と定義される（取込みシステムによって決定される最大奥行よりは小さい）最大奥行を非線形関数の形式によって設定することにおいて、表示システムの設計仕様を最適化し、さらには、その表示システム上の信号の翻訳を補助するためのさらに別の利点があるであろう。奥行に対する局所的変位と、奥行表現に対する局所的変位とに関する２つの連続した変換を上述したが、これらの変換を単一の演算の形に組み合わせることが可能であるということに留意されたい。

リアルタイム表示のためには、カメラからの信号が常に更新されなければならないであろう。例えば、カメラは毎秒１０フレームまでを取り込むことが可能である。これは、視覚障害者が移動する時に最適な量の情報をその視覚障害者に提供し、その視覚障害者の方向決めを補助するであろう。

リアルタイム表示のためには、ディジタルカメラが使用されることが不可欠である。
必要に応じて、カメラが互いに対して所定の相対的位置に固定されているか否かを判定するために、カメラからのフィードバックを提供することが可能であろう。
実行装置は触覚ユニット／パネルの形態をとってもよい。この触覚パネルはリアルタイムで光景の平らな３次元画像を生じさせる。

各ピクセルが表面要素の高さによって表現される動的表示の場合には、この高さが、作動する釘部材またはピン部材によって調整することが可能である。ピン部材の集合体によって形成された表面が、重要な空間奥行情報を提供する。この表示は、接触によって認識される時に光景の動的画像を提供するために、連続的にリフレッシュされて連続的に手で触れられる。

図４と、図５と、図６は、採用可能な触覚ユニットの略図を示す。
図４は、触覚表示ユニットの略平面図である。
このユニットはピン部材２の配列を備える。各々のピン部材を個別に作動することが可能である。

図５は、ピン部材がどのように作動するかを示す一例である。この例では、各ピン部材２は、上部表面要素３と、この上部表面要素の底部から依存する細長い部材５とを有する。表面要素３は、細長い部材５に対して相対的に上下に動くことが可能であってもよい。細長い部材の各々は、対応する軸７の内側に配置されている。各々の軸は作動液６で満たされている。この作動液はアクチュエータ４による作用を受ける。したがって、細長い部材５は、表面要素３を動かすためのピストンとして作用する。アクチュエータは圧電要素（図示されていない）によって駆動される。この代わりに、このアクチュエータは電磁要素によって駆動されてもよい。重要なことは、この表示ユニットを使用する人間が表面要素３の位置の差を各表面要素間において感知することができるように、圧電要素または各電磁要素の微細な動きがピストンアセンブリによって拡大されるということであるということを当業者は理解するであろう。

図６は、触覚配列の表面要素３を動かすためのさらに別の手段の略図である。この場合には、各表面要素３はソレノイド８の作動によって動かされる。細長い部材５ａはこの実施形態では磁気要素である。ソレノイド８の作動が細長い部材の動きを制御し、したがってピン部材の表面要素の垂直位置を制御する。

他の作動手段が、垂直移動に移行するようにねじ頭を駆動する小型回転モータを含むことが可能である。これは、人間が触覚ユニットを押し下げる時に表面要素の下向きの移動を防止するという利点を有する。この回転モータは例えばステッピングモータであってもよい。
ここで説明するすべての部材と要素は、当然のことながら、触覚ユニットが概ね人間の手のサイズであることを可能にするために小型である。

上述の２つの実施形態が単なる具体例にすぎず、また、本発明はこれらの具体例に限定されないということを当業者は理解するであろう。ピン部材の動きは任意の都合のよい仕方で制御してよい。

ピン部材は、ピン部材の表面要素の個々の位置の間の機械的補間を生じさせる連続表面を実現する膜を支持してもよい。ピン部材の密度が大きければ大きいほど、より詳細な画像が得られるということが理解されるであろう。ピン部材の垂直位置の数は２つよりも多いことが好ましい。最適な数は、表示を使用する人間によって正しく識別されることが可能な２つのピン部材高さの間の差を与える数である。これは、例えば３２の異なるレベルであってもよい。ピン部材の動きを可能にするために必要とされる作動装置は、さらに、ユーザの指からの圧力に起因する下向きの動きも防止しなければならない。

奥行情報は著しく圧縮されるだろうが、特に互いに隣接する表面または点における、小さな位置の違いに対する指の敏感性が、表示装置における圧縮された奥行情報の効果的な増強を可能にする。

指で表面を迅速に触れることによって表示装置を「走査」することによって、表面を迅速に認識することが可能である。表面形状の変化を検出することが可能である。情報が頻繁に更新されるならば、この表示装置は物体移動の検出を可能にする。ブライユ点字の迅速な読取りを可能にする発達した能力と同じ能力が３次元画像とその動きの詳細な翻訳を可能にするように発展するであろうことが理解される。視覚障害者は、例えば、街灯柱、扉、壁、人間や動物や自動車のような移動物体を認識することが急速に可能になるであろうと予想される。特に聴覚のような他の感覚からの情報との組合せによって、視覚障害者の著しく強化された周囲環境の認識が実現されることが予想される。

ピン部材は、さらに別の追加の情報を提供することも可能である。各ピン部材が非可視的な仕方で識別されることを可能にする任意の方法を使用することが可能である。例えば、各ピン部材を振動させることが可能であり、この振動の振幅および／または振動数が画像の特徴を伝達する。さらに別の例が、各ピン部材を区別する方法として温度を使用することが可能である。別の例は電圧を使用することが可能であり、皮膚を通して放電される電流を与える。当然のことながら、ピン部材の相対的な高さを使用することに代わる代替物として奥行を表示するために、こうした方法のどれもを平らな表面上において使用することが可能である。

表面の感触の変化を与えるためにピン部材を使用することは必ずしも不可欠ではない。電気信号を使用する空洞を形成することが可能である。この使用は米国特許第５，５８０，２５１号に開示されている。この空洞を振動させることも可能である。
特性の任意の組合せを追加の情報を提供するために使用することが可能であるということが当業者には明らかであろう。

１つのピン部材がそれぞれ１つのピクセルを表現する各々に個別にアドレス指定され制御されるピン部材のような触覚ピクセルの配列に代わる代替物として、２次元画像における指の位置が検出されて信号がその指の尖端に送られる表示装置が提供されることも可能である。この信号は、配列の位置上の変化、または、ピン部材の高さに代わる代替物としての上述の代替物のどれかの形であることが可能である。一例が、着用者の指の末端の各々が手袋の指の中の小さいパッドに接触している、ユーザによって着用される手袋である。この場合に、このパッドは、２次元画像における指の位置に応じて指の末端に信号を供給する。こうすることによって、信号を供給するために必要とされる装置の数を減少することが可能である。極端な場合には、単一の指が単一の作動ピン部材に接触していることができる。指がピンの位置を移動させる時、したがって指の末端上の圧力が画像情報にしたがって変化することが可能である。中間的な例は、３ｘ３個のピンの配列のようなピン配列を含むことが可能である。この例の性能はピン部材の全画像配列よりも必ずしも優れてはいないが、装置の製造コストを低減させることが可能である。
上述の説明は、視覚障害者が自分自身を特定の方向に方向付けることと、どんな障害物が前方に存在するかを調べることとを望む時に使用するための動画像に関する。

次の説明は、永久的な画像または半永久的な画像のために使用できる静止表示のような静止表示に関する説明である。
永久的な３次元画像の場合には、光景をディジタルカメラまたは従来のカメラによって取り込むことが可能である。立体カメラが使用されることが想定されている。その次に、画像の立体対を、２つのディジタル画像ファイルを得るために走査することが可能である。ディジタルカメラが使用される場合には、その画像ファイルは１対のディジタルカメラから直接的に得られる。

このファイルは、上述したように画像処理アルゴリズムを使用して奥行情報を提供するために処理される。その次に、この奥行情報は、動的表示の形成の場合のように実行装置に送られる。しかし、永久画像の場合には、実行装置は、表示装置自体としてではなく、永久的な３次元画像を得るためのフォーマ（former）として働く。例えば上述のピン配列が、３次元表面を提供するフォーマとして使用可能である。このピン部材配列は可橈性の膜で覆われてもよい。その次に、熱可塑性プラスチックシート材料を、３次元浮き出し画像を生じさせるこの表面にぴったりと合致するように変形させることが可能である。任意の適切な手段を、そのフォーマの形状に熱可塑性プラスチックを変形させるために使用することが可能である。例えばこの材料を真空成形法によって変形することが可能である。代替案は何らかの種類のプレス技術を使用することであろう。任意の適切な手段が熱可塑性プラスチック材料を変形させるために使用可能であるということを当業者は理解するであろう。熱可塑性プラスチック材料は、永久的な３次元画像を提供するために変形させられた後にこの形状を維持する特性を有するということが理解されるであろう。

この代わりに、永久画像表面は、層の数が画像の奥行を表す一連の層を付着させる一種のインクジェットプリンタによって形成されてもよい。この「プリンタ」はワックス材料またはポリマー材料を使用してもよい。

上述のプロセスによって生じた３次元浮き出し画像が正常な視力を持つ人々にとっても有用であり得るということが理解できるであろう。例えば、浮き出し肖像に類似した３次元浮き出し肖像を作成することが可能である。本発明は、さらに、着想の説明または装置プロトタイプの説明のための補助物として３次元物体を作成するために使用することも可能である。

３次元浮き出し物体の表面に装飾を施すことが可能であることを理解されたい。例えば、写真画像を３次元浮き出し物体の表面上に投射することが可能であり、または、３次元浮き出し物体の表面上に永久的に書き込むことが可能である。この書込みのプロセスを、３次元表面が形成された後に行うことが可能である。あるいは、例えば上述のように真空成形技術を使用して、平らな表面を変形させることによって形成される表面の場合には、この表面を変形前にパターンまたは画像によって装飾することが可能である。例えば、この平らな表面を、インクジェットプリンタにおける記録媒体として使用することが可能である。したがって、本発明は、地図作成データまたは航空写真画像を使用して起伏地図または起伏景観（relief landscape）を作成する上で特に有用である可能性がある。

本発明が視覚障害者のための方向決め補助器具の分野に限定されないということが、上述の説明から理解されるであろう。本発明は、物体を遠隔的に「触って調べる」ことが望まれる工学技術分野にも同様に適用可能である。これは、例えば、メンテナンス作業において有用であろう。これは、亀裂や凹みのような表面特徴の検出に関して、本明細書内で既に説明されている。さらに、本発明は、可視域内の光を用いた使用に限定されていない。赤外光を画像取込みのために使用してもよいということが想定されている。

本発明をその好ましい実施形態に関して詳細に説明してきた。変形と変更とが本発明の範囲内で行われることが可能であるということが当業者に理解されるであろう。

本発明によるシステムの略図である。 本発明の方法を行う主要な段階を示す流れ図である。 本発明の諸段階をさらに詳細に示す流れ図である。 ３次元画像を生じさせるための手段の略図である。 図４に示されている略図の側面図である。 ３次元画像を生じさせるための手段のさらに別の略図である。

符号の説明

２…ピン部材
３…上部表面要素
４…アクチュエータ
５…細長い部材
６…作動液
７…軸
８…ソレノイド
１０…野球帽
１２…ディジタルビデオカメラ
１４…触覚出力パネル
１６…電線

Claims (7)

1. 物体または光景の３次元画像を取り込んで、前記光景の物理的表現を生じさせるために前記３次元画像から得られた情報を使用する方法であって、前記物理的表現は、表面の１つの特徴が画像取込み地点から２次元の表面上の位置に対応する前記光景の地点までの距離を表す表面を有する方法。
2. 前記画像が取り込まれ、前記情報は少なくとも２つの２次元光学画像から得られる、請求項１に記載の方法。
3. 前記表面がピン部材の配列で形成されている、請求項１に記載の方法。
4. 物体または光景の３次元画像を取り込む手段と、前記３次元画像から情報を得る手段と、前記得られた情報を使用して前記光景の物理的表現を生じさせる手段とを備えるシステムであって、前記物理的表現は、表面の１つの特徴が、画像取込み地点から２次元の表面上の位置に対応する前記光景の地点までの距離を表す表面を有するシステム。
5. 前記３次元画像を取り込む手段と前記３次元画像から情報を得る手段は、少なくとも２つの２次元光学画像を備える、請求項４に記載のシステム。
6. 前記表面はピン部材の配列を備える、請求項４に記載のシステム。
7. 前記表面は一連の層の付着によって形成される、請求項４に記載のシステム。

Images