JP2010512879A - ３次元画像取得を伴う視覚補助具 - Google Patents

Abstract

視覚の一部に障害がある人の生得の視機能を、視覚補助具すなわち人工眼により可能な限り写実的に回復または補助できるようにする装置を提供するという課題が、本発明に係る視覚補助具により達成される。すなわち、単に２次元画像を取得するにとどまらず、画像処理に付加情報を織り込む。この目的のため、処理された画像を再現する際に、取得された画像内の物体の空間位置および／または特定の属性に関する付加情報を可視化し、該付加情報を取得された画像内の物体に対応付ける視覚補助システムを提案する。これにより、本発明によれば、本発明に係る視覚補助システムによりユーザに対して視覚化される画像が、例えば該画像に含まれる物体の相対距離に関する情報等の付加情報を含み、これにより取得された画像の奥行き選択表現が可能になることによって、ユーザの現在の周囲環境の３次元画像を取得することができるという利点がある。

Description

本発明は、３次元画像および情報の取得を伴う視覚補助具に関する。本発明における視覚補助具の意味には、例えば人間の視機能を補助するための残光増幅器や暗視装置等、他の画像取得システムも含まれる。そのような視覚補助具や、例えば移植網膜等の人工眼は、画像拡大や残光増幅の機能を含んでいてもよい。

視覚補助具はすでに人間の目の網膜への移植体という形で開発されており、網膜移植体は網膜の障害により視機能の一部または全部を失った患者の医療用に提供されている。この過程で、感光性の複数の画素要素を有する超小型電子デバイスが網膜の領域に移植され、目のまだ損なわれていない自然の光路を介して網膜に投影された画像が該画素要素で受け取られる。他の人工眼では、画像取得は外部のカメラ、特にビデオカメラを用いて行われ、該外部カメラは好ましくは眼鏡に収容されている。画素要素またはカメラを通して取得された画像は電気信号に変換され、電気刺激インパルスによって刺激電極を介して網膜神経節細胞および視神経へと送られ、これにより患者の視機能が回復または改善される。

しかしながら、これら公知の視覚補助具には、もっぱら目の自然の光路を介して取得された画像、またはカメラから取得された画像を処理するだけであるという不都合がある。したがってこれにより得られる画像は２次元に過ぎず、３次元情報を含まない。
したがって、視覚補助具や人工眼によって生得の視機能を可能な限り写実的になるように回復または補助するには、単に２次元画像を取得するだけにとどまらず、画像処理に付加情報を織り込むのが望ましい。

この課題は、請求項１に記載の特徴を有する発明の装置により達成される。本発明の好適な実施形態の特徴は従属請求項に記す。

本発明は以下の視覚補助システムにより上記の課題を達成する。視覚補助システムは、複数の画像データを有する画像を取得するための少なくとも１つのカメラと、該取得された画像データを処理するための電子的手段と、対応する刺激を視覚器に与えることによって該処理された画像を再現するための、視覚器において体内に移植可能な刺激デバイスとを備え、該処理された画像の再現像において、該取得された画像内の物体の空間位置に関する付加情報および／または特定の属性が視覚化され、これらは該取得された画像内の物体に対応付けられる。

本発明の視覚補助具によれば、特にユーザの直近傍にある物体を特別に視覚化または強調することができ、また任意でより遠くにある物体をマスクして消去することができる。特定の物体の強調は、異なる階調や様々な色を用いて行ってもよい。このようにして、近傍の近い所に位置する物体を、例えばより遠くにある物体とは別の色や階調で表現してもよい。これにより、本発明によれば、ユーザの現在の周囲環境の３次元複製像を取得することができるという利点があり、本発明に係る視覚補助システムからユーザにより視覚化される画像は、例えば、該画像に含まれる物体の相対距離等の付加情報を含み、これにより該取得された画像の奥行き選択表現を行うこととしてもよい。

奥行き選択表現の利点は、視覚補助システムのユーザが、視覚補助システムの画素解像度、色の変化、階調の濃淡、あるいは構成画像要素（画素）が限られていても、近傍の近い所またはもう少し遠い所の、視覚的によく構造化され、理解しやすい視覚的印象を受け取ることができることにある。これにより、ユーザの近傍を、例えば輪郭表現により視覚化することができ、これは比較的少ない数の画像要素を同時に点灯させることで実現できる。

本発明によれば、視覚補助システムは全体として、眼鏡と、任意で例えばポケットコンピュータ等の身に着けて持ち運ぶ付属ユニットとを有し、該付属ユニットは体の所望の位置に身に着けて持ち運ぶことができ、ケーブル接続または無線接続を介して眼鏡と通信して画像データをやりとりできる。本発明を上述の網膜移植体システムに特に適用する場合は、体内に移植されたデバイスをさらに設けることができ、該デバイスが外部カメラにより取得された画像データを受け取る。

本発明の好適な実施形態において、描かれる画像区画（image section）を用意するために３次元地図が用いられる。視覚補助具のユーザの近くあるいは中程度の距離に存在するある一区間の画像のみを描くのに、ある特定の画像区画近傍の３次元地図を用いることができる。なぜなら、ユーザは、より遠くに位置する物体またはより遠くに位置するある一区間の画像よりも、これらの画像の方に関心をよせる可能性があるからである。または、本発明に係る視覚補助具の特別な動作モードにおいて、視覚補助具のユーザが取得された画像の背景またはより遠くの物体をむしろ視覚化したいと望む場合には、より遠くにある物体のみを描くようにしてもよい。

視覚補助具の様々な動作モードは、システムの画像処理において固定的に実装されていてもよいし、ユーザが任意で選択して用いることができるようにしてもよい。動作モードの選択は、眼鏡の起動要素を用いて、任意で設けられるポケットコンピュータを用いて、又は体の所望の位置に身に着けることができる遠隔操作器を用いて、行うこととしてもよい。

システムの表示領域は、ポケットコンピュータの３次元モデルにおいて、対応するように選ばれた複数の数学的交差面または複数の面関数を用いて設定可能である。交差面としては、例えば、平面、円筒面、あるいは球面の部分領域や、またはその他の所望の形状の交差面を選択してもよい。これにより、移植体システムの動作モードによれば、取得された物体を含む複数の交差面のみがポケットコンピュータ（または眼鏡）の３次元モデルに描かれる。

移植体システムの設定デバイスにより、視覚補助具のユーザは、例えば走査モード等の、システムの特定の取得領域に位置する物体のみが描画されるような動作モードを選択することができる。さらに、視覚補助具のユーザは、システムの光学的取得領域を該設定デバイスにより変更することができる。本発明に係るシステムの特定の動作モードにおいては、システムの光学的取得領域を拡大し、再び縮小することを繰り返すことにより、視覚補助具のユーザに対して、周囲環境の空間的画像区画を連続的に提示することができる。

さらなる好適な実施形態によれば、本発明に係る視覚補助具は、取得された画像データを用いて、ポケットコンピュータの電子計算力により３次元地図を生成してユーザに対して視覚化することができる。３次元地図を用いて、例えば、画像区画を現在の周囲環境および該周囲環境内に位置する物体の輪郭が描画された鳥瞰図として視覚補助具のユーザに対して提示することもでき、これは不明瞭な周囲環境におけるナビゲーションに特に有用である。

これらの動作モードは、視機能が著しく減退したユーザのための視覚補助具に用いるのみならず、通常の視機能を有するユーザの定位システム用の視覚化システムにおいて用いてもよい。本発明は、眼鏡に一体化されたビデオカメラにより画像が取得され、同じく眼鏡に一体化されたディスプレイを介して視覚障害のあるユーザの網膜に投影される視覚補助具に適用することもできる。この過程において、たとえ粗い画素表現であっても視覚的印象が改善される。

本発明に係る視覚補助具のさらなる好適な実施形態において、１台のみのカメラを用いて３次元地図が生成される。この過程において、立体的画像処理を行うために、好ましくは画像情報の取得のために、眼鏡に一体化されたカメラが用いられる。この点に関して、わずかな時間オフセットをおいて次々に記録されたカメラの異なる空間位置からの画像を用いることができる。この目的のために、カメラの相対空間位置および相対角方向を考慮に入れなければならないが、この点は後述する。

カメラが一体化されている眼鏡は、例えば、それぞれ眼鏡の加速度[数１]を求め、それによりカメラの３つの空間方向[x, y, z]における加速度を求める３次元加速度センサを備えていてもよい。

または、カメラが一体化されている眼鏡は、それぞれ眼鏡の加速度を求め、それによりカメラの３つの空間方向[x, y, z]における加速度と、眼鏡の参照系の３つの空間軸まわりの角加速度[数２]とを求める６次元加速度センサを備えていてもよい。

センサの次元数は、結果的にセンサが求めることができる測定変数の数を決めることになる。６次元加速度センサは、例えば、互いを基準として直交する３つの並進加速度と３つの角加速度とを求め、これにより全部で６つの直交加速度測定値を求める。

前のカメラ位置に対する現在のカメラ位置を決定するために、慣性航法を用いてもよい。この目的のため、１つ、２つ、あるいはそれより多い数の加速度センサ（１次元、２次元、３次元、あるいは例えば６次元等の多次元加速度センサを、眼鏡の運動学的に条件のよい位置に配置することができる。運動学的に条件のよい位置とは、例えば、眼鏡において互いに十分に離れた場所である。

上記の６つの直交加速度値の二重積分により、前のカメラ位置に対する眼鏡の相対位置[Δx Δy Δz Δφ_x Δφ_y Δφ_z]すなわちカメラ位置を決定することができる。加速度測定値の積分と眼鏡の位置および方向の計算は、視覚補助システムに一体化され、眼鏡内に、または例えばユーザが身に着けて持ち運ぶユニット（「ポケットコンピュータ」）内等の眼鏡外に収容された、あるいは眼鏡と身に着けて持ち運ぶユニットとに分散できる計算ユニット内の電子積分器により行うのが好適である。これを行う際、身に着けて持ち運ぶユニットは、ケーブル接続および／または無線接続を介して（例えば、Bluetooth、WLAN、あるいは他の通信技術により）眼鏡と通信することができる。

加速度測定値の積分における時間積分の増分は、眼鏡すなわちカメラの位置の変化を例えば１０秒といった、限られた長さの時間で十分に精度よく測定できるように、眼鏡の加速度が有意の変化を示す時間の長さより十分に短くするべきであり、こうすることにより、少なくとも２つあるいはより多くのカメラ画像をカメラの異なる位置から取得することができる。

上述の二重積分により、６次元加速度ベクトルの６つの直交加速度測定値から、前のカメラの位置から次のカメラ位置までの差分を表す６次元相対位置ベクトルが生成される。この６次元相対位置ベクトルは、前のカメラ位置から次のカメラ位置への位置座標(x, y, z)の変位を表す３つの位置差分座標(Δx, Δy, Δz)と、前のカメラ位置から次のカメラ位置への角位置(φ_x, φ_y, φ_z)の変位を表す３つの角差分座標とを含んでいる。積分は離散的に、時間的間隔をおいて行ってもよいし、連続的に行ってもよい。

このようにして、異なるカメラ位置におけるカメラ画像のシーケンスを取得することができ、シーケンスは少なくとも２つのカメラ画像より成る。例えば上記の位置差分座標および角差分座標により、前または次のカメラ画像を基準とする相対位置がこのシーケンスの各カメラ画像に割り当てられる。カメラ画像は、相関する位置とともに一定時間間隔で記録することもでき、任意でより前の画像が現在の空間計算に与える影響が最終的にはもはやなくなるまで、漸進的に弱くなるように重み付けすることも可能である。これにより、より長い時間にわたって慣性航法により位置決定を行うほど位置のずれという形で誤差が増えていくという影響が打ち消される。

本発明に係る視覚補助具のさらなる好適な実施形態において、カメラ画像およびカメラ位置を異なる測定時間点に割り当てることができる。これにより、こうしなければ立体画像を撮影するために必要になるであろう第２のカメラを、３次元画像を放棄することなく省略できるという利点がある。さらに、異なる位置および方向からの２つまたはそれより多くの画像を処理することにより、視覚補助具のユーザの周囲環境のより完全な３次元地図を生成することができる。これは、例えば公知の「バッチ補正法」により行ってもよい。この方法の前提条件として、人間の２つの目の離間の大きさに対してユーザの頭の動きが小さいことが挙げられる。これにより、カメラは異なる位置からそれぞれ１つの画像を取得し、これにより通常の視機能を有する人が両目で取得するであろう２つの画像を短い時間間隔で連続して計算ユニットに送ることができる。計算ユニットは、その後すぐに２つのカメラ画像を別々に用意し、ポケットコンピュータ内の３次元モデルを更新し、拡大することができる。

さらに、上記の積分の開始時に、測定精度を向上させ、それにより計算されたカメラの場所および角位置への取得された画像の割り当てを改善するために、速度オフセットの測定を行うことができる。これは様々な可能な方法で行い得る。

視覚補助具のユーザは、対応する入力手段により、例えば短い時間の間眼鏡を静止させた後、眼鏡の速度をゼロに設定してもよい。これを例えば、眼鏡を少しの間静止した支持台に置くことにより行ってもよい。加速度センサと電子積分器の精度が十分に高ければ、充電中は高い確率で眼鏡は静止しているので、充電中に眼鏡を速度オフセットゼロに合わせ、この時点から積分を開始し、この速度オフセットを１日中用いればよい場合もある。

現在の絶対速度は、例えばGPSや類似の無線三角測量法等の、他のナビゲーション手段の補助により決定することもできる。さらに、眼鏡すなわち視覚補助具のユーザの現在速度は、画像データの変化と眼鏡の加速度測定データを組み合わせて用いることにより求めることも可能である。上記の速度決定に加えて、GPSや類似の無線三角測量法により、ユーザの眼鏡の現在位置を決定することも可能である。空間における眼鏡の方向、すなわち眼鏡の角位置は、前の角位置値の評価により、または例えばコンパス（例えばホールプローブ）を用いて、あるいは類似の方向測定法により求めることができる。眼鏡の傾き軸まわりの角度（傾き角）は、コンパスでは求めることができないが、例えば重力式傾きセンサで求めることができる。

眼鏡に一体化されたセンサの測定誤差を極力小さくし、特に様々な方法を用いることにより起こりうる例外に特有な対処をするため、上記の方法を組み合わせて用いることもできる。これは特に、ユーザの周囲環境の一部が高速で移動する場合や、ユーザが例えば列車、自動車、航空機等の高速で移動する慣性系の中にいる場合に当てはまる。

本発明に係る視覚補助具のさらなる好適な実施形態によれば、ユーザの視野における空間環境に関する立体すなわち３次元情報の作成は、眼鏡に設けられた第２のカメラを用いて行われる。この過程において、第２のカメラも眼鏡に一体化されており、眼鏡において第１のカメラからできるだけ離れていることが好ましい。２つのカメラ間の既知の一定の離間により、２つの微妙に異なる画像から現在の画像区画の部分に関する立体奥行き情報を計算することができ、これをその後電子計算ユニットによりユーザの周囲環境の３次元地図に変換して刺激手段によりユーザに伝達することができる。

本発明に係る視覚補助具のまたさらなる好適な実施形態において、例えば超音波センサや、可視波長域あるいは紫外光または赤外光域等の不可視波長域における回転式レーザスキャナ等の距離センサを代替的または追加的に設ける。このような距離センサの補助により、移植体を装着した人の周囲環境をよりよく捕捉して、これにより障害物をよりよく特定できる。距離センサにより得られた情報は、例えば三角測量法によりさらに処理されて取得されたカメラ画像またはカメラ画像シーケンスの対応する切断面に割り当てることもできる。この点において、複数のセンサを例えば１次元または多次元アレイの形状に配置してもよい。本発明のこの好適な実施形態においては、眼鏡は、例えば超音波センサ、赤外線センサ、光センサ、レーザ、その他のセンサまたはアクチュエータ、あるいはこれらの組み合わせ等、１次元または多次元のセンサまたはアクチュエータのアレイを有する。

本発明に係る視覚補助具のさらなる好適な実施形態において、縞状の投影あるいは構造化された照明が行われる。この過程において、均質あるいは構造化された（例えば「階調コード化された」）縞状パターンが、好ましくは赤外線、例えばレーザ光を用いて、ユーザの周囲環境に投影される。縞状パターンの生成は、例えば、光線の前に配置された投影テンプレートを用いて行われる。この点に関連して、この代わりに、例えばレーザビームを用いて、干渉効果を用いることにより対応するパターンをユーザの周囲環境において好適に発生させることもできる。または、例えば、マイクロミラーシステムの補助により光線を偏向させ並列時間変調してユーザの現在の視野を捕捉することもできる。

赤外光を用いた場合、縞状パターンはユーザには見えない。しかし、視覚補助具の眼鏡内のカメラは赤外光に対する感度を有しており、縞状パターンを検知することができる。この縞状パターンの歪み（例えば偏向やずれ）は、対応する三角測量法により奥行き寸法情報に変換し直すことができ、これによりさらに現在の画像区画の３次元地図を計算することができる。

この点に関連して、縞状パターンは、元の映像が記録された時間点の間に定義された時間間隔において周期的に点灯されるようにしてもよい（例えば１０ｍｓの間縞状パターンあり、４９０ｍｓの間縞状パターンなし）。これにより周囲環境の実際の画像も同時に取得可能になり、これを例えば現在の周囲環境の現在描かれている物体へのいわゆる「テクスチャマッピング」に用いることができる。「テクスチャマッピング」に代えて、現在表示されていない物体を３次元地図でマスクして消去することもでき、これにより現在描かれている物体を含む画像区画のみが見えるようになり、これは比較的小さい計算量により達成することができる。このようにして、視覚補助具のユーザの周囲環境をより明確に描くことができる。

本発明に係る視覚補助具のさらなる好適な実施形態において、眼鏡は、カメラと、例えば偏向ユニットを有するレーザプロジェクタ等のグリッドプロジェクタ、光源を有する投影マスク、あるいは他の投影手段とが設けられている。本実施形態において、視覚補助システムにより検知される視野のサンプリングは、例えば圧電技術式マイクロミラーシステムや回転式ミラーシステム等の対応する偏向ユニットとともにレーザの光線路に配置されたレーザ光線により行われる。これにより、カメラ画像を画像要素の位置決定に用いることができ、その後これにより例えば三角測量法を用いて反射物体部分の位置も求めることができる。または、高速XY光検出器を用いて、ユーザの周囲環境における画像要素の現在位置を求めることにより、数秒程度でユーザの全周囲環境をサンプリングできるようにすることもできる。

本発明に係る視覚補助具のさらなる好適な実施形態において、高速光検出器の補助により、反射されたレーザ光の持続時間測定を行う。光検出器における各レーザ光インパルスの発信時から反射されたレーザ光の受信時までの持続時間がこれにより求められ、光速を考慮して、該当する画像要素の距離をそこから計算する。その後、画像ラスタの測定値を評価することにより、該当する画像区画の３次元地図を構築することができる。

本発明のさらなる好適な実施形態によれば、ポケットコンピュータにより生成される３次元地図は、外部の３次元データ記憶装置で保管することもでき、視覚補助システムにより取得された画像領域内の特定の物体、重要な地形、あるいは重要なものを特に特徴づけまたは強調することができる。このようにして、日常周囲環境における次のような特定の物体を、視覚補助システムの３次元地図において、例えば特に特徴付けることができる。特定の物体とは、階段の各段、街灯、交通信号、横断歩道、縁石の端、地面の凹凸、自動車、自転車、あるいは様々な種類や形態の乗り物、人々、顔、体の部分、ドア枠、窓枠、テーブル、陶磁器、あるいは他の重要な物体といった、観察者すなわち視覚補助システムのユーザが特に注意を要する物体である。

好ましくは、特定の物体はポケットコンピュータまたは外部データ記憶装置に記憶された画像ライブラリとの比較により自動的に検知される。この画像ライブラリは、例えば信号あるいは他の重要な物体を様々な方向から見た写真など、視覚補助システムのユーザにとって重要でありうるいかなる所望の画像サンプルを集めたものであってもよい。視覚補助システムにより取得または記録された映像を画像ライブラリに保存された画像と常時比較することにより、映像におけるこのような特定の物体を自動的に認識してその後３次元地図において特徴付けることができる。

ポケットコンピュータにより生成された３次元地図の画像部品の取得は、例えば公知のガボールフィルタリングや他の画像分割法により行うことができる。この目的のために、例えば、３次元地図の各画像要素ベクトルPi = (x_i, y_i, z_i)に特徴変数E_iを与えて、拡張画像要素ベクトルP_i = (x_i, y_i, z_i, E_i)（i = 1, ..., N）を得てもよい。この特徴変数E_iは、例えば重要か重要でないかといったように、単純な属性を２元的に表現してもよいし、または、例えば関心なし、関心あり、強い関心あり、有用、危険といった異なる分類による格付けを表現してもよい。これにより、このような属性や特徴の１つを備えた物体は、視覚補助システムにより描かれた画像区画において、例えば点滅、輝度を高くした表現、特別な色づけ、あるいはその他のマーキングといった特殊効果により視覚化することができる。

本発明の視覚補助具のさらなる好適な実施形態によれば、画像要素またはユーザの周囲環境における物体の距離の測定は、レーザ距離センサの補助により行う。そのようなレーザ距離センサは、典型的にはｚ空間軸の周囲を回るレーザ光を備えて回転ごとに行単位で周囲環境をサンプリングできるようになっており、実装位置しだいでは、３６０°角周囲全体をサンプリングすることができる。レーザ光源は回転する土台の上に配置され、こちら方は土台の現在の回転角ｚ（０°から３６０°）を取得することができる。

レーザ距離センサのレーザ光源は、十分に長い時間間隔をおいたレーザ光インパルスを発信し、このインパルスが走査された周囲環境内の物体により反射されて発信場所へと戻ってくるまでの時間が光検出器により測定される。発信され反射された光インパルスの捕捉は、例えばフォトダイオードの補助により行われ、光インパルスの持続時間は十分に高速な電子機器により求められる。レーザインパルスの発信とレーザインパルスの戻りの間の測定された時間間隔（持続時間ｔ）と光速（c = 3 10⁸ m/s）から、レーザパルスが衝突した物体の距離ｓを、公式 s = 1/2vt の積から計算できる。レーザ距離センサによる距離測定の利点は、大変小さい画像要素をレーザ光線により周囲環境に投影して、物体表面の詳細な走査と解像ができることである。

周囲環境の完全な画像を取得し全画像表面を取得するためには、１行より多い画像の行をサンプリングすることが必要である。この目的のために、所望の角度区画の画像列をサンプリングするために、レーザ距離センサのレーザ光線は、さらに鉛直方向にも偏向されなければならない。これは例えば、ｘ空間軸まわりの角度ｘ用の角度測定装置を同様に備えたｘ軸まわりを回動可能な鏡を用いて行うことができる。角度ｘとｚおよび距離ｓを用いて、見られている画像要素の位置 P_s = (x_s, y_s, z_s) を三角測量により直接計算することができ、視覚補助システムにより生成された３次元地図における空間点として採用することができる。

レーザ光源として、例えばいわゆるVCSEL（Vertical Cavity Surface Emitting Laser）を用いることができる。そのような部品は、約３００μｍの短い端長を有し、ゆえに視覚補助システムの眼鏡に容易に一体化することができる。鉛直偏向ユニットとして、例えばビデオプロジェクタに既に採用されているような、例えば商業的に入手可能なマイクロミラーを用いることができる。ｚ空間軸まわりのマイクロミラーの回転は、例えばマイクロモータにより駆動される回転式ミラードプリズムを用いて行うことができる。これにより構造物全体の寸法を１０ｍｍ端長未満にすることができ、視覚補助システムの眼鏡に収容することができる。可視光域外の赤外レーザ光用のVCSELを用いる場合、これにより周囲環境のサンプリングはユーザの近傍にいる人の邪魔になったり気づかれたりすることなく行うことができる。

上述したように、視覚補助システムの３次元情報取得および取得した画像データのその後の処理を、該取得された画像データの、外部で生成された３次元地図により支援することができる。好ましくは、３次元地図はポケットコンピュータの電子部品により生成され、該ポケットコンピュータまたは視覚補助システムに無線接続された（例えばWLANまたはBluetoothを介して）例えば電子サーバ等の外部３次元データ記憶装置に記憶される。

３次元画像地図は、例えばCDや他の記憶媒体またはインターネット接続を介してサーバやポケットコンピュータに転送されるナビゲーションシステム用の地図等の外部ソースを介して、電子地図資料として利用可能にすることもできる。そのような電子地図資料を用いて、一般的には、周囲環境はグリッドネットワークとして描画され、その上にビデオにより記録された世界の表面を任意でラップすなわち投影することができる。

３次元地図については、移植網膜体システム用に特別に製作または用意され、近傍の詳細な輪郭を含む３次元情報に係るものであってもよい。そのような描画の最低限十分な解像度は、好ましくは数ミリメートルからセンチメートル程度である。３次元地図は、例えば、該当する周囲環境の特定の画素または表面点に対応するN個の格子点P_i = (x_i, y_i, z_i) (i = 1, ..., N)を含んでいてもよい。これらの格子点は、グリッドネットワークを張るように隣接する点と線で結ぶことができる。

例えば周囲環境の写真など、電子的に記録された画像は、３次元地図のこのグリッドネットワークに張られた面にラップすなわち投影することができる。これは、公知のいわゆる「テクスチャマッピング」の手法を用いて好適に行うことができ、これにより周囲環境の３次元描画が生成される。観察者すなわち視覚補助システムのユーザの眼鏡の位置 P_B = (x_B, y_B, z_B) および方向 _B = (_Bx, _By, _Bz) を用いて、ユーザに現在見えている視野を、行列代数の標準的な射影、スケーリング、および回転の手法の補助により計算することができる。そのような手法は、「レイトレーシング」（ビームリトレーシング）、「ベクターグラフィクス」、あるいは「テクスチャマッピング」（３次元グリッドネットワーク体への画像投影）という名前で既に知られている。

観察者すなわち眼鏡の位置P_Bと方向_Bは、現在取得されている画像区画を表現するために、ポケットコンピュータの補助により求められる。これは、上述の慣性航法によってまたは例えばGPSナビゲーションによって行われる。正確で地域的に参照されるGPSに似たナビゲーション法を用いることもでき、この場合も、M回の参照発信により持続時間の差を測定することにより、無線三角測量によって観察者の位置P_Bをミリメートルやセンチメートルの範囲で十分正確に決定することができる。これにより、参照発信器の正確な絶対位置 P_Rj = (X_Rj, Y_Rj, Z_Rj)（j = 1, ..., M）が、好ましくはポケットコンピュータに記憶される。

本発明に係る視覚補助システムの眼鏡の空間方向すなわち向き_Bは、重力式傾きセンサによりまたは他の手法を用いて（例えば無線三角測量）決定することもできる。眼鏡内のカメラが取得した映像は、任意で３次元グリッドネットワークモデルと組み合わせて、例えば「テクスチャマッピング」に用いてもよい。このようにして、邪魔になりうる映像の背景をマスクして消去し、ユーザの近傍に位置する物体のみを描画するようにすることができる。これにより、画像の邪魔になる背景部分をすべて、例えば黒く描画してもよく、この場合移植体のこれらの場所では電気的刺激は発生しない。この際、３次元グリッドネットワークの前景にある物体は、該物体の輪郭とともに、描画すべき映像区画との境界線を示す。

ユーザの周囲環境の３次元地図の生成は、視覚補助システムの眼鏡には一体化されていない電子部品によって行うこともできる。眼鏡により取得された映像およびそれぞれ対応する位置P_Bと方向_Bは、ポケットコンピュータまたは３次元サーバに無線またはケーブル接続により伝達することができ、これがこのデータを用いて周囲環境の３次元地図を生成または更新する。さらに、例えば、いわゆるバッチ補正法やその他の手法を用いることができる。

上記の慣性航法のため、原則として加速度センサと電子積分器が用いられ、加速度センサの測定値が電子積分器によって積分される。加速度センサは通常、キャリアに弾性的に実装される、加速される参照質量体Mから成る。質量体のキャリアに対する位置は、櫛状の測定構造を用いて容量的に決定することができる。この目的のために、櫛状の測定構造はキャリアと参照質量体とに固定される。互いに噛み合っている櫛状の構造物が互いに離れている距離ｓに応じて、該構造の電気的容量に変化が起き、これにより機械的加速度ａの対応する測定値が得られる。参照質量体の実装の既知のばね強度Ｄを用いて、公式 F = D・sによりばね力が得られ、加速度力の公知の公式 F = m・a の等式から、a = (D/m) ・ｓ により参照質量体の加速度ａの測定値が得られる。半導体プロセスにより製造される寸法の小さいそのようなシリコン加速度センサは、アナログデバイセズ社の部品「ADXL330」のように、３次元フォーマットで既に入手可能である。

慣性航法を用いる場合、ジャイロスコープの安定のため、すなわち構造物を選ばれた空間方向へ固定するため、３つの空間軸すべてのまわりを回動可能なジャイロスコープに加速度センサを実装するのが好適である。これにより、必要な加速度センサの数を１つの３次元ｘｙｚセンサに減らすことができる。

電子積分器は、正確なオペアンプ回路の補助によりアナログ的に構成することもできるし、様々な数値積分法を備え好ましくはその精度を入力信号に合わせるデジタルプロセッサを用いて実現することもできる。公知の積分法として、例えば、オイラー法、ルンゲ・クッタ法、ブルリッシュ・ストア法、およびアダムス・ギア法がある。電子積分器の実現のため、上記の方法の変形または組み合わせに基づく手法を用いることもできる。一般的に、数値積分法は電気的積分法よりも正確であり、それゆえ本発明に係る視覚補助システムでは好ましくは数値積分法が用いられる。

眼鏡とポケットコンピュータとがケーブル接続により結合されたバージョンの、本発明の好適な実施形態に係る視覚補助システムの模式図である。 本発明のさらなる好適な実施形態に係る、眼鏡とポケットコンピュータとを無線結合した視覚補助システムの模式図である。 本発明のさらなる好適な実施形態に係る、３次元またはｎ次元（n = 1, 2, 3, 4, 5, 6, ...）の加速度センサを備えた視覚補助システムの模式図である。 本発明のさらなる好適な実施形態に係る、６次元加速度センサを備えた視覚補助システムの模式図である。 本発明の好適な実施形態に係る、本発明に係る視覚補助システムにおいて視覚補助システムの位置決定のために行われる計算の模式図である。 本発明に係る視覚補助システムの、いくつかの異なる連続する位置を有する動き跡の模式図である。 本発明のさらなる好適な実施形態に係る、立体画像を取得するための２つのカメラを備えた視覚補助システムの模式図である。 本発明のさらなる好適な実施形態に係る、センサアレイを備えた視覚補助システムの模式図である。 本発明のさらなる好適な実施形態に係る、グリッドプロジェクタを備えた視覚補助システムの模式図である。

以下、添付図面を参照しつつ好適な実施形態に基づいて本発明をより詳細に説明する。

図１は、本発明の好適な実施形態に係る視覚補助システム１の模式図を示す。本実施形態において、本発明に係る視覚補助システム１は、形状が通常の眼鏡に似ており視覚補助システム１のユーザが、通常の眼鏡と同じようにかけることもできる眼鏡２を有している。眼鏡２には、視覚補助システムの視野における映像を取得し該映像を画像要素（画素）を有する電気的画像情報に変換する電子カメラ７が一体となっている。図１に示す実施形態において、本発明に係る視覚補助のシステム１は、全体として、眼鏡２と、例えば別体のユニットとしてユーザが身に着けて持ち運びできるポケットコンピュータ３とを有する。眼鏡２とポケットコンピュータ３とはデータ導体４を介して互いに接続されており、データ導体４は、任意でポケットコンピュータ３から眼鏡２へ電力を送るための電力導体を有していてもよい。

本発明の視覚補助システムは、取得された画像データを電子的に処理するための電子的手段を有する。好ましくは、この電子的手段は視覚補助システム内に一体化された計算ユニットおよび／または別体ユニット３に収容されており、該別体ユニット３は画像データおよび／または制御データをデータ導体４を介してカメラとやりとりできる。図１に示す実施形態において、電子部品は別体要素すなわちポケットコンピュータ３に含まれており、該電子部品はカメラ７によって取得され、データ導体４を介して送られてきた画像データを電子的に処理することができる。ポケットコンピュータ３内の電子部品により処理された画像データは、ディスプレイ（図示略）上に可視化してユーザに見せることができる。

本発明に係る視覚補助具を視覚障害のあるユーザを支援するために用いる場合、ポケットコンピュータ３内の電子部品により処理された画像データは、データ導体４を介して眼鏡２に送り返され、ユーザの目５に移植された超小型電子刺激デバイス６に伝えられるようにしてもよい。眼鏡２から超小型電子刺激デバイス６への画像データの転送は、例えば、誘導式および／または光電子式インターフェースを介して無線により行われる。超小型電子刺激デバイス６は、受信した画像データを電気的刺激のインパルスに変換し、該インパルスを網膜神経節細胞と視神経とへ送り、これにより対応する画像がユーザに対して視覚化される。

カメラ７により取得された画像の写実的な再現に加えて、本発明に係る視覚補助システムでは、付加情報を用いて、取得された画像内の特定の物体を特に強調してユーザに見せることができる。特定の物体の強調は、例えば、異なる階調を用いたり、特定の色を用いて該当する物体を視覚化することによりなされる。また、ユーザのすぐ近くにある特定の物体を、該当する物体までの距離に関する情報を視覚化することによって、特に強調することができる。このようにして、例えば、近くに位置する物体を、より遠くにある物体とは異なる色や階調で描くことができる。これに加えて、または、これに代えて、より遠くにある物体を取得した画像からマスクして、なくしてもよい。さらに、ユーザの周囲環境を、例えば輪郭描画によって視覚化してもよい。

本発明に係る視覚補助具を視覚障害のあるユーザを支援する上記の網膜移植体システムに接続して用いる場合、外部カメラ７により取得された画像データを受信する超小型電子刺激デバイス６は、ユーザの目５に移植することができる。超小型電子刺激デバイス６は、網膜の領域に移植され、受信した画像データに対応する電気刺激インパルスを網膜へと伝える複数の刺激電極を有している。このようにして、ユーザの視機能を回復または改善させるため、カメラ７により取得された画像は電気信号に変換されて、刺激デバイス６の刺激電極を介して電気刺激インパルスによって網膜神経節細胞と視神経とへ送られる。

視覚補助システム１の眼鏡２と別体ユニットすなわちポケットコンピュータ３とは、データ導体および／または電力導体４のケーブルで互いに接続されており、該通信路を介して双方向にデータを転送することができる。一方向においては、眼鏡内の電子カメラ７により取得された画像データをポケットコンピュータ３に送信でき、他方向においては、ポケットコンピュータ３から例えば制御データや刺激データをカメラ７に送信できる。別体要素３からカメラ７に送られるこのような制御データは、例えばカメラ７の鮮明度、方向、焦点やズーム、カメラ７により取得すべき特定の画像区画の選択や拡大といった設定に用いられる。

図２は、本発明のさらなる好適な実施形態に係る、無線通信路を備えた視覚補助システムの模式図を示す。図２に示す本発明に係る視覚補助システムの実施形態の構成は、図１に示す実施形態の構成と実質的に対応するので、図１の記載を参照してもよい。前述の実施形態とは異なり、図１（原文通り）に示す実施形態においては、ケーブル導体４に代えて無線データ導体８が設けられている。このような無線データ導体８は、例えば、視覚補助システム１の眼鏡２と別体ユニットすなわちポケットコンピュータ３との間の双方向無線接続として実現される。この双方向無線データ導体８を介して、視覚補助システム１の眼鏡２と別体ユニットすなわちポケットコンピュータ３とは、相互に通信を行い画像データや制御データをやりとりできる。

図３は、本発明のさらなる好適な実施例に係る、３次元加速度センサ９を備えた視覚補助システムの模式図を示す。ここでは、カメラ７と３つの加速度センサ９とはともに眼鏡２上に配置されており、これにより互いに連動するようになっている。加速度センサ９は、３つの空間方向[x, y, z]におけるカメラ７の並進加速度[数３]を測定する。

さらに、３つの空間軸まわりのカメラ７の角加速度[数４]をセンサ９の並進加速度値から求めることができる。

図４は、本発明のさらなる好適な実施形態に係る、６次元加速度センサを備えた視覚補助システムの模式図を示している。６次元加速度センサ１０は、カメラ７と同様に眼鏡２上に設けられ、これにより動きや加速度がカメラ７と同じになる。この６次元加速度センサ１０は、カメラ７の並進加速度[数５]と、３つの空間軸まわりのカメラの角加速度[数６]とをともに測定することができる。

加速度センサ９と角加速度センサ１０とによってもたらされる測定値を用いて、カメラ７の前の空間方向に対するカメラ７の空間方向の変化を決定することができる。このために、カメラ７の前の位置または方向に対するカメラ７の空間位置または空間方向を、慣性航法を用いて視覚補助システム１の電子的手段により決定する。

図５は、本発明の好適な実施例に係る、本発明の視覚補助システムにおいて視覚補助システムの位置決定のために行われる計算の模式図を示している。本発明に係る視覚補助システム１の電子的手段は、計算により数学的積分を行うことができる電子積分器１１および１２を有している。図５に示すように、加速度センサにより測定された直交加速度測定値から６次元加速度ベクトルを生成することができ、このベクトルは３つの並進加速度値と３つの角加速度値を含んでいる。ベクトルの要素の添字ｘ、ｙ、ｚは、それぞれカメラ７の慣性系１３の直交空間軸に対応している。カメラの角方向は、前の角位置値の評価、コンパス、ホールプローブ、および／または重力式の傾きセンサによって決定することとしてもよい。

ポケットコンピュータ３の電子部品は、カメラの空間位置および方向を決定するために、加速度センサによりもたらされる測定値の計算による積分を行うことができるように構成されている。このために、第１の積分器１１によって、加速度ベクトルの６つの直交加速度測定値から、３つの並進速度値と３つの回転速度値とを含む６次元速度ベクトルが生成される。取得された画像データの変化を用いるとともに、カメラに結合された加速度センサにより求められた加速度測定値を考慮することにより、結果としてカメラの現在の速度も決定することができる。ここでは、６次元速度オフセットベクトルの単純なベクトル加算により速度オフセットを考慮に入れることができ、これによって、速度オフセットを計算結果から除去することが可能となる。また、加速度センサおよび／または角加速度センサの測定値を０に設定するための入力手段が設けられていてもよい。

第２の積分器１２により、前のカメラ位置から次のカメラ位置への変位を表す６次元相対位置ベクトルが速度ベクトルから生成される。この６次元相対位置ベクトルは、前のカメラ位置の位置座標(x, y, z)から次のカメラ位置への変位を表す３つの位置差分座標(Δx, Δy, Δz)と、前のカメラ位置の角位置(φ_x, φ_y, φ_z)から次のカメラ位置への変位を表す３つの角差分座標(Δφ_x, Δφ_y, Δφ_z)とを含んでいる。積分は離散的に時間間隔をおいて行ってもよいし連続的に行ってもよく、この際加速度測定値の積分における時間積分の増分は、カメラの加速度が実質的に変化する時間より小さくするとよい。

図６は、本発明に係る視覚補助システムの、いくつかの異なる連続する位置を有する動き跡の模式図を示している。本発明に係る視覚補助システムでは、少なくとも２つの画像のシーケンスをそれぞれ異なるカメラ位置においてカメラに取得したり、画像のシーケンスを一定時間間隔でそれぞれ異なるカメラ位置において記録したりすることができる。このように異なるカメラ位置で比較的短い時間間隔で次々と取得された画像のシーケンスから、取得された画像の立体的再現像、すなわち取得された周囲環境の３次元再現像を、電子的手段により計算して、視覚化することができる。

さらに、この異なるカメラ位置から取得された画像のシーケンスから、電子的手段により、カメラ７の空間位置および／または方向が計算される。位置差分座標と角差分座標とを用いて、先行または後続の画像の取得時におけるカメラ位置または視覚補助システムのユーザの位置を参照点として、シーケンスの各取得画像にカメラ７の相対位置を割り当てることができる。この際、取得画像シーケンスにおける比較的前の画像が計算に与える影響が漸進的に弱くなるように重み付けしたり、計算にもはや全く影響を与えないようにしたりすることもできる。このようにして、１つだけのカメラ７を備えた本発明に係る視覚補助システムでは、異なるカメラ位置から連続的に取得した画像のシーケンスに基づき、取得された画像およびその中に位置する物体の３次元再現像を計算し、視覚化することができる。

図７は、本発明のさらなる好適な実施形態に係る、２つのカメラ７を有する視覚補助システムの模式図を示している。第２のカメラは、第１のカメラとは間隔をあけた位置で眼鏡と一体化されている。両カメラ７の助けにより、２つの画像を同時に取得でき、これにより立体画像が生成される。この取得された立体的画像を用いて、取得された画像およびその中に位置する物体の３次元再現像を、視覚補助システムの電子的手段により計算してユーザに対して視覚化することができる。取得された画像の３次元再現像の計算は、バッチ補正法を用いて行うことができる。

図８は、本発明のさらなる好適な実施形態に係る、センサアレイを備えた視覚補助システムの模式図を示す。本実施形態において、１次元または複数次元アレイ１４の形状に配置された複数の距離センサが眼鏡２に設けられている。これにより、このセンサは、取得された画像における物体および／または障害物の距離を決定し、また、この距離を付加情報として視覚補助システムで使用できるようにしてもよい。距離センサは、超音波センサや、可視または不可視波長域における回転式レーザスキャナとして構成されていてもよい。超音波センサ、赤外線センサ、光センサ、レーザ、あるいはこれらの組み合わせ等、上記以外の種類のセンサやアクチュエータを眼鏡２に設けてもよい。

図９は、本発明に係る視覚補助システムのさらなる好適な実施形態の模式図を示している。この好適な実施形態において、視覚補助システムは、カメラによって取得されるべき画像領域を、可視または不可視波長域の光１８、赤外光、あるいは、赤外または可視レーザ光１８で照らすための光源１５を備えているとともに、視覚補助システムのカメラ７は対応する波長域に感度を有している。このような光源１５により、カメラによって取得すべき画像領域を、均一なまたは構造化された縞状のパターンで照らすことができる。カメラ７で取得されるべき画像領域に構造化された縞状のパターンを投影するには、適当な偏光ユニットを備えたレーザプロジェクタを使用してもよいし、光源の光線経路に、グリッドプロジェクタや投影マスクを設けることとしてもよい。レーザ光により干渉効果を発生させて、カメラによって取得されるべき画像領域に投影することも可能である。

図９は、グリッドプロジェクタを備えた視覚補助システムの模式図を示している。このグリッドプロジェクタは、カメラで取得するべき画像領域を、縞状あるいは格子状のパターンで露光し、このパターンは当該画像領域の物体を照らし、そこから反射される。これにより縞状あるいは格子状のパターンの歪みが生じ、この歪みを基に、取得された画像における物体の位置、大きさ、状況を判断することができる。視覚補助システム１の電子的手段の助けにより、縞状あるいは格子状のパターンの歪み、偏向、ずれ、あるいはその他の変化から、取得された画像およびその中に位置する物体の３次元再現像を生成し、可視化することができる。

視覚補助システムは、縞状パターン１６により照らされている取得すべき画像領域の画像と、縞状パターン１６により照らされていない取得すべき画像領域の画像とを交互に記録し、取得された画像同士を電子的手段により合成あるいは比較することができる。付加的な画像データおよび／または取得された画像内の物体の距離に関する情報を得るため、取得すべき画像領域は、列および行単位で制御されるレーザ光線１８により走査されてもよい。これと同時に、本発明に係る視覚補助システムは、取得された画像における物体の空間位置および／または該物体のカメラまでの距離を決定する光検出器を備えていてもよく、この場合、光検出器は該当する画像要素により反射されたレーザ光１８の持続時間を測定する。

１ 視覚補助システム
２ 眼鏡
３ 別体電子ユニットすなわちポケットコンピュータ
４ ２と３との間のケーブル接続によるデータ導体および／または電力導体
５ ユーザの目
６ 移植可能な刺激デバイス
７ カメラ
８ ２と３との間の無線データ導体
９ 並進または角加速度測定用のセンサ
１０ 並進および角加速度測定用のセンサ
１１ 電子的手段すなわち電子積分器Ｉ
１２ 電子的手段すなわち電子積分器ＩＩ
１３ カメラの慣性系
１４ センサのアレイ
１５ 光源またはグリッドプロジェクタ
１６ 投影された格子状または縞状のパターン
１７ 反射された格子状または縞状のパターンの歪み
１８ 光線またはレーザ光線

Claims (68)

1. 複数の画像データを有する画像を取得するための少なくとも１つの第１のカメラ（７）と、該取得された画像を処理するための電子的手段（１１、１２）と、対応する刺激を視覚器（５）に与えることによって該処理された画像を再現するための、視覚器（５）において体内に移植可能な刺激デバイス（６）とを備えた視覚補助システムにおいて、
   前記取得された画像内の物体の空間位置に関する付加情報および／または前記取得された画像内の物体の特定の属性に関する付加情報を、前記処理された画像の再現像において可視化し、該情報は前記取得された画像内の物体に対応付けられることを特徴とする視覚補助システム。
2. 前記カメラ（７）と前記取得された画像内の物体との距離に関する情報を、前記処理された画像の再現像における当該物体に対応付ける請求項１に記載の視覚補助システム。
3. 前記取得された画像内の物体の位置に関する付加情報は、前記処理された画像の再現像において特定の物体を視覚的に強調することにより表される請求項１または請求項２に記載の視覚補助システム。
4. 前記取得された画像内の物体の位置に関する付加情報は、前記処理された画像の再現像において特定の物体を異なる階調レベルを用いて視覚化することにより表される請求項１から請求項３のいずれかに記載の視覚補助システム。
5. 前記取得された画像内の物体の位置に関する付加情報は、前記処理された画像の再現像において特定の物体を特定の色を用いて視覚化することにより表される請求項１から請求項４のいずれかに記載の視覚補助システム。
6. 前記取得された画像内の物体は、前記処理された画像の再現像において、前記視覚補助システム（１）のユーザの位置に対する該当する物体の距離に関する情報の視覚化を特定の視覚化法で行うことにより特徴付けられる請求項１から請求項５のいずれかに記載の視覚補助システム。
7. 前記視覚補助システム（１）のユーザの位置に対してより近い距離にある前記取得された画像内の物体は、より遠い位置にある物体に比べて、前記処理された画像の再現像において、異なる階調レベルおよび／または異なる色を用いて視覚化されることにより特徴付けられる請求項１から請求項６のいずれかに記載の視覚補助システム。
8. 前記視覚補助システム（１）のユーザの位置に対して前記取得された画像においてより離れている物体は、前記処理された画像の再現像においてマスクされて消去される請求項１から請求項７のいずれかに記載の視覚補助システム。
9. 前記視覚補助システム（１）のユーザの周囲環境が、前記処理された画像の再現像において輪郭表現により視覚化される請求項１から請求項８のいずれかに記載の視覚補助システム。
10. 前記処理された画像の各画素に、３次元空間座標[x_i, y_i, z_i]と当該画素の特定の属性を表す特徴変数E_iとを含む画素ベクトル[P_i = (x_i, y_i, z_i, E_i)]を割り当てる請求項１から請求項９のいずれかに記載の視覚補助システム。
11. 前記取得された画像内の特定の物体、特殊な地形やものは、前記処理された画像の再現像において特に特徴付けあるいは強調される請求項１から請求項１０のいずれかに記載の視覚補助システム。
12. 前記取得された画像用の付加情報は、ナビゲーションシステム用の電子地図データから前記処理された画像の再現像に挿入される請求項１から請求項１１のいずれかに記載の視覚補助システム。
13. 前記取得された画像内の該当する画像領域の写真を、前記処理された画像の再現像の少なくとも一部に投影する請求項１から請求項１２のいずれかに記載の視覚補助システム。
14. 前記取得された画像の３次元再現像は、該取得された画像の特定の画素に対応する格子点[P_i = (x_i, y_i, z_i)]を含み、隣接する格子点間の線により格子ネットワークが張られる請求項１から請求項１３のいずれかに記載の視覚補助システム。
15. 前記カメラ（７）は電子カメラであり、該電子カメラは複数の画素における画像を取得し該画像を電気信号に変換し、該電気信号は画像データとして前記電子的手段（１１、１２）に送られる請求項１から請求項１４のいずれかに記載の視覚補助システム。
16. 前記視覚補助システム（１）に対して異なる動作モードを設定可能であり、前記視覚補助システム（１）は該動作モードに応じて前記取得された画像を処理し該処理された画像を再現する請求項１から請求項１５のいずれかに記載の視覚補助システム。
17. ある特定の動作モードにおいて、前記取得された画像内の前記視覚補助システム（１）のある特定の取得領域に位置する物体のみが前記処理された画像の再現像において視覚化される請求項１から請求項１６のいずれかに記載の視覚補助システム。
18. ある特定の動作モードにおいて、前記視覚補助システム（１）の光学的取得領域を拡大し再び縮小することが繰り返されることにより、取得領域の異なる空間部分画像が連続的に視覚化される請求項１から請求項１７のいずれかに記載の視覚補助システム。
19. 前記動作モードの選択は、前記視覚補助システム（１）上の起動要素を用いてまたは遠隔起動を用いて行う請求項１から請求項１８に記載の視覚補助システム。
20. 前記視覚補助システム（１）の光学的表示領域は、前記取得された画像の３次元モデルにおける数学的面関数により定義できる請求項１から請求項１９に記載の視覚補助システム。
21. 前記視覚補助システム（１）の光学的取得領域は、前記取得された画像の３次元モデルにおける、数学的球面、円筒面、凹面、凸面、あるいは平面関数による部分領域を用いて、または自由に定義できる面を用いて設定することができる請求項１から請求項２０のいずれかに記載の視覚補助システム。
22. 前記電子的手段（１１、１２）が、前記取得された画像データを用いて、前記取得された画像および該画像内に位置する物体の鳥瞰視点または別の視点からの描写またはズームレベルを生成し、視覚化する請求項１から請求項２１のいずれかに記載の視覚補助システム。
23. 前記電子的手段（１１、１２）が、前記取得された画像データを用いて、前記取得された画像および該画像内に位置する物体の配置図を生成し視覚化する請求項１から請求項２２のいずれかに記載の視覚補助システム。
24. 前記電子的手段（１１、１２）が、前記取得された画像データを用いて、前記取得された画像および該画像内に位置する物体の３次元再現像を生成し視覚化する請求項１から請求項２３のいずれかに記載の視覚補助システム。
25. 前記取得された画像および該画像内に位置する物体の３次元再現像は、外部データ記憶装置に保管される請求項１から請求項２４に記載の視覚補助システム。
26. 前記外部データ記憶装置は、ケーブル接続によるデータ導体または無線伝送接続を介して前記視覚補助システムと画像データおよび／または制御データをやりとりできる請求項１から請求項２５に記載の視覚補助システム。
27. いくつかの画像パターンを有する画像ライブラリを記憶することができるデータ記憶装置をさらに備える請求項１から請求項２６のいずれかに記載の視覚補助システム。
28. 前記電子的手段（１１、１２）は、画像パターン認識を行うように構成され、前記取得された画像内の物体を事前に用意された画像パターンと比較し、対応するように関連付ける請求項１から請求項２７のいずれかに記載の視覚補助システム。
29. ３次元再現像の生成において、前記カメラ（７）の空間的に異なる位置および相対角方向を考慮しつつ該カメラ（７）の空間的に異なる位置から少なくとも２つの画像が取得され、前記電子的手段（１１、１２）により処理される請求項１から請求項２８に記載の視覚補助システム。
30. 前記カメラ（７）は、３つの空間方向[x, y, z]における該カメラ（７）の並進加速度[数１]を求める少なくとも１つの加速度センサ（９）に結合されており、また該加速度センサ（９）は、その数および配置に応じて、３つの空間軸[x, y, z]まわりの該カメラ（７）の角加速度[数２]も求めることができる請求項１から請求項２９のいずれかに記載の視覚補助システム。
    

    

    
31. 前記カメラ（７）は、３つの空間軸[x, y, z]まわりの該カメラ（７）の角加速度[数３]を求める少なくとも１つの角加速度センサ（１０）に結合されている請求項１から請求項３０のいずれかに記載の視覚補助システム。
    

    
32. 前記カメラ（７）は、３つの空間方向[x, y, z]における該カメラ（７）の加速度[数４]と３つの空間軸まわりの該カメラ（７）の角加速度[数５]とを求める少なくとも１つの多次元加速度センサ（９、１０）に結合されている請求項１から請求項３１のいずれかに記載の視覚補助システム。
    

    

    
33. 前記視覚補助システム（１）は、前記電子的手段（１１、１２）により慣性航法を用いて前記カメラ（７）の前の位置に対する該カメラ（７）の空間位置を決定するように適応されている請求項１から請求項３２のいずれかに記載の視覚補助システム。
34. 前記電子的手段（１１、１２）が、いくつかの加速度センサ（１０）によりもたらされる角加速度測定値を用いて、前記カメラ（７）の前の空間方向に対する該カメラの空間方向の変化を決定する請求項１から請求項３３のいずれかに記載の視覚補助システム。
35. 前記視覚補助システム（１）は、いくつかの加速度センサ（９、１０）によりもたらされる加速度測定値を積分し前記カメラ（７）の空間位置および方向を計算するための電子積分器（１１、１２）を有する請求項１から請求項３４のいずれかに記載の視覚補助システム。
36. 前記カメラ（７）の前の位置に対する該カメラ（７）の位置の変化[Δx Δy Δz Δφ_x Δφ_y Δφ_z]は、いくつかの加速度センサ（９、１０）によりもたらされる加速度測定値の二重積分によって前記電子的手段（１１、１２）により決定される請求項１から請求項３５のいずれかに記載の視覚補助システム。
37. 加速度センサ（９、１０）によりもたらされる加速度測定値の積分は、離散的に時間間隔をおいてまたは連続的に行われる請求項１から請求項３６に記載の視覚補助システム。
38. 前記加速度値の積分における時間積分増分は、前記カメラの加速度が有意の変化を示す時間の長さより短くされる請求項３６または請求項３７に記載の視覚補助システム。
39. 前記電子的手段（１１、１２）は、前のカメラ位置から次のカメラ位置への位置座標(x, y, z)の変位を表す位置差分座標(Δx, Δy, Δz) と、前のカメラ方向から次のカメラ方向への角位置(φ_x, φ_y, φ_z)の変位を表す３つの角差分座標(Δφ_x, Δφ_y, Δφ_z)とを含む相対位置ベクトルを、いくつかの加速度センサ（９、１０）によりもたらされる加速度測定値から決定する請求項３６から請求項３８のいずれかに記載の視覚補助システム。
40. 前記加速度測定値の積分には、数値積分法、オイラー法、ルンゲ・クッタ法、ブルリッシュ・ストア法、アダムス・ギア法、あるいはこれらの組み合わせが用いられる請求項３６から請求項３９のいずれかに記載の視覚補助システム。
41. 前記カメラ（７）のそれぞれ異なる位置における少なくとも２つの画像のシーケンスを取得する請求項１から請求項４０のいずれかに記載の視覚補助システム。
42. 前記カメラ（７）のそれぞれ異なる位置における一定時間間隔の画像のシーケンスを取得する請求項１から請求項４１のいずれかに記載の視覚補助システム。
43. 前記電子的手段（１１、１２）は、異なるカメラ位置から取得された画像の前記シーケンスから、該取得された画像の立体再現像を計算する請求項１から請求項４２に記載の視覚補助システム。
44. 前記電子的手段（１１、１２）は、異なるカメラ位置から取得された画像の前記シーケンスから、前記カメラ（７）の空間位置および／または方向を計算する請求項１から請求項４３に記載の視覚補助システム。
45. 位置差分座標と角差分座標とを用いて、前または次の画像の取得時のカメラ位置を参照点として、前記シーケンスの各取得された画像に前記カメラ（７）の相対位置を割り当てる請求項１から請求項４４に記載の視覚補助システム。
46. 前記カメラ（７）の空間位置および／または方向を決定するにあたり、取得された一連の画像において前に取得された画像から順に、前記電子的手段（１１、１２）による計算に与える影響が漸進的に弱くなるような重み付けがされるか、または、より古い画像はもはや計算に影響を与えないようにされる請求項１から請求項４５に記載の視覚補助システム。
47. 前記電子的手段（１１、１２）が、異なるカメラ位置から取得された一連の画像を用いて、該取得された画像および該画像内に位置する物体の３次元再現像を計算し視覚化する請求項１から請求項４６に記載の視覚補助システム。
48. 第２のカメラ（７）が設けられ、該第２のカメラと前記第１のカメラ（７）とにより立体画像を取得する請求項１から請求項４７のいずれかに記載の視覚補助システム。
49. 前記電子的手段（１１、１２）が、前記立体画像を用いて、前記取得された画像と該画像内の物体の３次元再現像を計算し視覚化する請求項１から請求項４８に記載の視覚補助システム。
50. 前記電子的手段（１１、１２）は、バッチ補正法を用いて前記取得された画像の３次元再現像を計算する請求項１から請求項４９に記載の視覚補助システム。
51. 前記加速度センサおよび／または角加速度センサ（９、１０）の測定値をゼロに設定することができる入力手段が設けられた請求項１から請求項５０のいずれかに記載の視覚補助システム。
52. 前記カメラ（７）の空間位置および／または現在速度が、三角測量法またはGPSによって決定される請求項１から請求項５１のいずれかに記載の視覚補助システム。
53. 前記カメラ（７）の現在速度は、該カメラ（７）に結合された加速度センサ（９、１０）により求められる加速度測定値を考慮しつつ、前記取得された画像データの変化を用いて決定される請求項１から請求項５２のいずれかに記載の視覚補助システム。
54. 前記カメラ（７）の角方向は、前の角位置値の評価、コンパス、ホールプローブ、および／または重力式傾きセンサにより決定される請求項１から請求項５３のいずれかに記載の視覚補助システム。
55. 前記少なくとも１つのカメラ（７）は、通常の眼鏡としてユーザがかけることができる眼鏡（２）に一体化されている請求項１から請求項５４のいずれかに記載の視覚補助システム。
56. 前記第２のカメラ（７）が、前記眼鏡（２）の前記第１のカメラ（７）とは離れた位置において、該眼鏡（２）に一体化されている請求項１から請求項５５に記載の視覚補助システム。
57. 前記取得された画像内の物体および／または障害物の距離を決定するための少なくとも１つの距離センサが設けられた請求項１から請求項５６のいずれかに記載の視覚補助システム。
58. 前記距離センサは、超音波センサ、あるいは可視または不可視波長域における回転式レーザスキャナとして設計されている請求項１から請求項５７に記載の視覚補助システム。
59. 複数の距離センサ、超音波センサ、赤外線センサ、光センサ、および／またはレーザが設けられ、１次元または複数次元アレイ（１４）の形状に配置されている請求項１から請求項５８のいずれかに記載の視覚補助システム。
60. 前記視覚補助システム（１）は、前記カメラ（７）により取得されるべき画像領域を、可視または不可視波長域の光（１８）、赤外光、あるいはレーザ光（１８）で照らすための光源を有し、該視覚補助システム（１）のカメラ（７）は対応する波長域に感度を有する請求項１から請求項５９に記載の視覚補助システム。
61. 前記視覚補助システムは、前記カメラ（７）により取得されるべき画像領域に対して、均質または構造化された縞状パターン（１６）を有する光（１８）を投影する請求項１から請求項６０のいずれかに記載の視覚補助システム。
62. 前記電子的手段（１１、１２）が、前記取得された画像における縞状パターン（１６）の歪み、曲がり、ずれ、あるいはその他の変化（１７）から、前記取得された画像および該画像内に位置する物体の３次元再現像を生成し視覚化する請求項１から請求項６１に記載の視覚補助システム。
63. 前記カメラ（７）により取得されるべき画像領域を縞状パターン（１６）で照らすために、前記視覚補助システムは、偏向ユニットを有するレーザプロジェクタ、グリッドプロジェクタ（１５）、あるいは光源の光線経路に位置する投影マスクを有する請求項１から請求項６２のいずれかに記載の視覚補助システム。
64. 前記視覚補助システムは、レーザ光（１８）を用いて干渉効果を発生させ、前記カメラ（７）により取得されるべき画像領域に干渉パターン（１６）を投影する請求項１から請求項６３のいずれかに記載の視覚補助システム。
65. 前記視覚補助システムは、縞状パターン（１６）に照らされている前記取得されるべき画像領域の画像と、照らされていない前記取得されるべき画像領域の画像とを交互に取得し、前記電子的手段（１１、１２）が、取得された画像データ同士を合成または比較する請求項１から請求項６４のいずれかに記載の視覚補助システム。
66. 前記取得されるべき画像領域をレーザ光線で走査することにより、画像データおよび／または前記取得された画像における物体の距離に関する情報を得る請求項１から請求項６５のいずれかに記載の視覚補助システム。
67. 前記視覚補助システムは、前記取得された画像内の物体の空間位置および／または該物体の前記カメラ（７）までの距離を決定する光検出器を有し、該光検出器は該当する画像要素から反射されたレーザ光の持続時間を測定する請求項１から請求項６６のいずれかに記載の視覚補助システム。
68. 前記電子的手段（１１、１２）は前記視覚補助システムに一体化された計算ユニットおよび／または別体ユニット（３）に収容され、該別体ユニットはケーブル接続によるデータ導体（４）または無線伝送接続（８）を介して画像データおよび／または制御データを前記カメラ（７）とやりとりできる請求項１から請求項６７のいずれかに記載の視覚補助システム。

Images