JP2008504597A - 周辺界の画像を表示するための装置及び方法 - Google Patents
周辺界の画像を表示するための装置及び方法 Download PDFInfo
- Publication number
- JP2008504597A JP2008504597A JP2007518006A JP2007518006A JP2008504597A JP 2008504597 A JP2008504597 A JP 2008504597A JP 2007518006 A JP2007518006 A JP 2007518006A JP 2007518006 A JP2007518006 A JP 2007518006A JP 2008504597 A JP2008504597 A JP 2008504597A
- Authority
- JP
- Japan
- Prior art keywords
- image
- user
- central unit
- dimensional field
- image sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000002093 peripheral effect Effects 0.000 title claims description 11
- 230000005540 biological transmission Effects 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims description 13
- 230000002457 bidirectional effect Effects 0.000 claims description 2
- 238000004891 communication Methods 0.000 claims description 2
- 210000003128 head Anatomy 0.000 description 26
- 230000004438 eyesight Effects 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 231100000040 eye damage Toxicity 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F41—WEAPONS
- F41H—ARMOUR; ARMOURED TURRETS; ARMOURED OR ARMED VEHICLES; MEANS OF ATTACK OR DEFENCE, e.g. CAMOUFLAGE, IN GENERAL
- F41H7/00—Armoured or armed vehicles
- F41H7/02—Land vehicles with enclosing armour, e.g. tanks
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F41—WEAPONS
- F41G—WEAPON SIGHTS; AIMING
- F41G1/00—Sighting devices
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F41—WEAPONS
- F41H—ARMOUR; ARMOURED TURRETS; ARMOURED OR ARMED VEHICLES; MEANS OF ATTACK OR DEFENCE, e.g. CAMOUFLAGE, IN GENERAL
- F41H5/00—Armour; Armour plates
- F41H5/26—Peepholes; Windows; Loopholes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/12—Panospheric to cylindrical image transformations
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
使用者に周辺状況の画像を表示するための装置及び方法は、周辺界の画像情報を記録し、伝達装置20を介して中央ユニット30に接続される画像センサー装置10と、中央ユニット30が前記画像センサー装置10からの画像を表示する頭部搭載型の表示装置40とを備えている。本発明は、中央ユニット30が仮想3次元界を生成し、画像情報8が3次元界にテクスチャとして画像センサー装置10から即時に投射される。そのとき、3次元界の一部が、表示装置40に即時に表示される。
【選択図】図4
【選択図】図4
Description
本発明は、間接視によって、周辺状況の画像を使用者に表示するための装置及び方法に関するものである。
軍事状況においては、周辺界の視覚的な認識は重要である。概して、周辺界は、直接、眼又は光学式潜望鏡によって観測される。この潜望鏡は、例えば、戦車や潜水艦で用いられる。しかしながら、新たな要求と脅威によって、画像センサー(一般にはカメラ)による周辺認識を取得する必要性が生み出され、この画像データが、表示装置等に表示される。この方法は、間接視と呼ばれる。これらの状況で、画像データが、瞬時(使用者が動作中に連続性を体験する画像速度)に、記録及び表示される。通常、瞬時(事情によっては速度が遅くなるが)表示のためには、最低20の画像が構成される。
間接視を用いるのにいくつかの理由がある。理由の一つは、眼では見ることができない画像情報を記録可能なことである。例えば、暗視式の画像センサーや、赤外線熱放射線に敏感な画像センサーを用いることにより、周辺の認識を可能又は補強する。間接視を用いる他の理由は、レーザー放射による眼損傷に対して、眼を保護することにある。更に、軍事状況において、内部照明から放射される光又は放射線によって、光学式潜望鏡を通じて戦車が自分自身を露呈する。
即時的に間接視を介して使用者に表示される画像は、画像センサー装置で生成され、又使用者に記録される画像は、仮想環境やこれらの合成で生成される。画像センサー装置は、例えば、視野感度のよい一又は複数のビデオカメラ、赤外線領域(3〜5μm、8〜12μm附近の赤外線)の一つに敏感な赤外線カメラ、紫外線カメラ、又はその他のレーダー又はレーザー・レーダー等の直接又は間接的な画像生成センサーシステムからなる。種々のセンサーシステムからの画像は、データ融合によって合成され、使用者に表示される。
間接視のシステムでは、画像センサーは、使用者の近辺に配置される必要がない。使用者は、画像センサーから隔離し、任意の物理的場所に配置されるが、仮想的にはセンサーの場所に存在する。使用者が周囲を的確に認識するため、周囲を自然に体験するように、可能な限り大きな視界を記録し表示するべきである。しかしながら、常に配置できるとは限らず、例えば、戦車内には大型の表示装置のための空間がない。この問題を解決するために、例えば、視角を拡大することにより観察可能な一又は複数の表示装置、使用者の眼の網膜にある画像を与え描写する装置等からなる頭部搭載型の表示装置、を使用者に提供する方法がある。
頭部搭載型の表示装置を使用する際、画像は、単眼の表示装置で単眼に表示される。二つの表示装置を使用する際には、同一の画像が、両眼の表示装置で両眼に表示されるか、異なる画像が、両眼の表示装置に表示される。両眼の表示装置では立体感を実現し得る。例えば、二つの追加表示装置を用いることによって、周辺視野感を実現し得る。表示装置は、好ましくは間接的に、メガネフレームやヘルメットタイプの装置によって使用者の頭部に固定される。
視覚的印象は、通常、使用者が頭部を動かすにつれて変化する。通常、頭部搭載型の表示装置を介して使用者に表示される画像は、周囲に関連して、使用者頭部の動作に影響されない。動作によって視覚的印象を変化できない感覚は、頭部搭載型の表示装置を使用するほとんどの者にとって、しばらくして苛立ちを感じる。頭部を動かして周囲を見ることによって周辺を観測するという正常な行動が機能しない。
この解決法は、頭部位置センサーによって、使用者の頭部の位置及び方向を検知することである。使用者に対して頭部搭載型の表示装置に表示される画像は、使用者が見回して体感するような方法で調節される。
間接視を用いることによって、使用者が頭部搭載型の表示装置を運搬した場所、使用者の頭部の位置及び方向が検知された場所で、戦車内の使用者は、戦車の壁を通して見るという感覚(即ち、「透視装甲(以下、STAと略す)」)を取得できる。
画像センサー装置は、種々の方向に移動可能に、ジンバル(常平架)に設けられる。頭部位置センサーで制御されるジンバルは、加速・減速及び単位時間の回転能力に関して非常に機敏である。これにより、使用者は、頭部を機敏に動かしても、妨害表示を体験しないことは確実である。ジンバルは、複数の移動部を有する複雑な装置である。間接視の場合、ジンバルは使用者一人だけにより制御される。実質上、他の使用者は、画像センサーシステムからの情報の受信を妨げられるので、この点が欠点である。
ジンバルに設けられた画像センサーの代用として、複数の画像センサーからなる手段によって周囲の状況を記録する画像センサー装置が用いられ、各画像センサーが、広周囲の一部を記録する。
このようなシステムは、インターネット(http://www.cis.upenn.edu/~reich/paper11.htm)で公開されている「戦車視覚化システム(Combat Vehicle Visualization System)」(米国、プリンストン、サーノフ社、R.ベルト、J.ハウゲ、J.ケリー、G.ノールズ及びR.ル・バンドウスキー著)の記事で知られている。このシステムは、「透視砲塔視覚化システム(以下、STTVと略す)」と呼ばれている。
STTVでは、マルチカメラ装置からの画像が、種々の機能を有する複数のプリント基板カードからなるシステムによってデジタル化される。プリント基板カードは、とりわけ、画像処理プロセッサ、デジタル信号処理プロセッサ及び画像記憶部を有する。主処理プロセッサは、マルチカメラ装置からの画像情報をデジタル化し、使用者の頭部の方向に基づいて一又は二のカメラの画像情報を選択し、カメラレンズの歪曲を矯正するように画像の歪みをなくし、これらを画像記憶部に特別な合成なく組み合わせ、使用者の頭部の方向に応じて画像記憶部の一部を表示する。STTVは、単に仮想2次元(2D)画像情報を重ね合わせ、例えば、使用者がどちらの方向に頭部を向けるかを、十字線や矢印が示すだけである。STTVにおいて、使用者の頭部の方向は、3自由度(即ち、回転、横揺れ及び縦揺れ)を処理する頭部位置センサーにより検知される。
しかしながら、広範な応用分野を有する使い易いSTAシステムは、単に2次元情報を記録して重ねて画像情報を表示するよりも広義に用いられる。
本発明は、一般的及びより柔軟な解決手段によって、これを解決する装置及び方法である。この解決手段は、独立項により画定され、従属項で有効な実施形態が画定される。
本発明について、添付した図面に基づき、より詳細に説明する。
図1aは、画像センサー装置10の一実施形態を示す。画像センサー装置10は、複数の画像センサー(例えば、360度領域を網羅するように環状に配置されたカメラ1,2,3,4)を備えている。カメラ1,2,3,4からの画像は、デジタル化され、中央ユニット30(図2参照)へ送信される。中央ユニット30は、中央演算処理装置(CPU)を有するコンピューターユニット、記録手段及びコンピューターグラフィック処理ユニット32を備えている。目的に応じたソフトウェアが、中央ユニット30で実行される。
中央ユニット30において、一又は複数の3次元モデルからなる仮想3次元界に、画像がテクスチャとして取り込まれる。このようなモデルは、例えば、円筒状に設計され、テクスチャが円筒内面に配置される(図1b参照)。第一カメラ1の画像が、第一の映像面1’にテクスチャとして取り込まれ、第二カメラ2の画像が、第二の映像面2’に取り込まれたりする。画像は、円筒状よりも高機能な3次元モデル、例えば、好ましくは少し平坦な底を有する半球形状又は球形状に取り込むこともできる。
図1bに関する場合において、3次元界は、例えば、円筒状を描くモデル内に配置される戦車内装の仮想モデルにより開発される(図1c参照)。図1cは、内装5及び窓6のモデルを図式的に示すものである。使用者が3次元界を観測している地点及び方角が、例えば、内装5のモデルに配置される(図3d参照)。この地点及び方角は、位置センサー(例えば、頭部位置センサー51)から取得される(図4参照)。3次元界に内装のモデルを取り込む利点は、このように使用者が一又はそれ以上の参照地点を取得できることである。
図2は、本発明に係る一実施形態を示す原理図である。複数のセンサー(例えば、図1aにおける複数のカメラ)を備える画像センサー装置10は、例えば、図4における戦車に取り付けられる。図1aで図示された実施形態において、画像センサーは、戦車の360度周囲を対象とする。画像センサーは、戦車の回転の全体を網羅する必要はなく、全回転より少ない量で十分に網羅できる場合もある。例えば、上方及び下方、隠れた角度を網羅するための追加画像センサーや、可視域外を記録するためのセンサーも接続され得る。
画像センサー装置10は、画像をデジタル化するための装置も備えており、中央ユニット30へ画像情報を通信するための伝達装置20に接続されている。伝達装置20での通信は、単一方向性、即ち、画像センサー装置10が画像情報をセンサーから中央ユニット30へ送信するものであったり、双方向性、即ち、中央ユニット30が、例えば中央センサー30へ伝達される画像センサーからの画像情報の信号を画像センサー装置10へ送信することができる。この伝達は時間のロスが小さい方が好ましいので、イーサネット(登録商標)やファイヤーワイヤーのような高速伝達が必要とされる。
中央ユニット30は、メモリーを備えた中央演算処理装置(CPU)、伝達装置20に接続されたインターフェース31、仮想3次元界を(可視可能に)生成するコンピュータ・グラフィック・プロセッシング・ユニット(GPU)、位置センサー50からのデータによって、表示装置40にどの3次元世界の視界が描写されるかを制御するソフトウェア形式のコントロール手段、を備えている。位置センサー50は、マウス又は同種のものでよいが、好ましくは使用者の位置52及び視角53を検出する頭部搭載型の頭部位置センサーがよい(図3b参照)。頭部位置センサー51からのデータに基づき、使用者が仮想3次元界に仮想的に配置される。使用者が移動すると、これについてのデータが、中央ユニット30へ送られ、さらに、どの視界が使用者に描写されるかを計算するコンピュータ・グラフィック・プロセッシング・ユニットへ送られる。
一般的なコンピュータ・グラフィック・システムにおいて、仮想3次元界は、種々の特性が与えられる多数の映像面を用いて形成される。この映像面は、通常、好適な方法で組み合わされた複数の三角形状から構成されており、それにより、例えば、円筒又は球面の一部の形状に映像面を与える。図3aは、仮想3次元界がどのように三角形状で構成されるかを示す。2次元画像が、これら三角形状にテクスチャとして配置され得る(図3c参照)。この類型のテクスチャは、静的であって、画像だけでなく、色彩や特性(透明又は反射など)から構成することができる。概して、テクスチャは適時に取り込まれ、3次元界に表示される。
本発明によれば、この装置及び方法は、画像センサー装置10からの画像情報を用いて、それを3次元界にテクスチャとして取り込む。これらテクスチャは、好ましくは、即時に、即ち画像センサーが画像情報を記録し中央ユニット30に伝達可能な速度で、3次元界に取り込まれる。コンピューターグラフィック処理ユニット32は、位置52及び視角53に依存する使用者90に対して、テクスチャを有する3次元界を表示する方法を演算する。
他の仮想画像情報も3次元界に配置され得る。制御装置、ステアリングホイール、ボンネット及びビームを有するフロントガラスの周域を備えた戦車の内装5の仮想3次元界が、3次元界に配置され、使用者に一又はそれ以上の参照点を与え得る。更に、仮想のバック及びサイド・ミラーが配置され、好適な画像センサーからの画像情報を表示する。図5及び6は、使用者の附近(例えば、使用者の頭部)におけるセンサーからの画像情報がどのように用いられるかを示す。
図4は、本発明に係る装置を備えた戦車を示す。センサー装置10は、例えば、図1に示すような複数のカメラを備えている。追加カメラ12(例えば、後方カメラ)も戦車に配置され、引っ込んだ部分や隠れた部分も網羅する。頭部搭載型の表示装置40及び頭部搭載型の位置装置51を備えた使用者90は、戦車80内で着座している。
図5は、本発明に係る他の実施形態を示す。使用者90は、頭部搭載型の表示装置40、頭部位置センサー51、使用者の附近(この場合は、使用者の頭部)に配置されたカメラ13からなるセンサー装置も備えている。カメラ13は、操縦者周辺の画像を使用者に表示するために用いられる。表示装置40は、使用者の視野全体を頻繁に表示するので、使用者が手元、制御装置等を見下ろした際に、制御装置を見ることができないことになる。使用者90の附近(例えば、頭部)に搭載されたカメラ13は、画像情報を3次元界に取り込む中央ユニットへ、周辺に関する画像情報を伝達することにより、使用者を支援する。
図6は、使用者に表示される視界として、種々のカメラからの画像情報を組み立てる方法を示す。3次元界は、円筒状の一部として表示される。暗い部分45は、表示装置40を介して表示される使用者の視野を表す。他の暗い部分46は、第二使用者に対する同様のものである。視野45に、カメラ13からの画像部分が表示され、3次元界の一部13’に動的テクスチャとして情報が配置される。この動的テクスチャは、3次元界において、次々に動的に表示される。即ち種々の場所において、動的テクスチャは、使用者の頭部の位置及び視角によって制御される。例えば、後方カメラ12からの画像は、周辺のモデルの一部12’に動的テクスチャとして配置され、バック・ミラーとして機能し得る。
図1aによるカメラ装置(例えば、2つのカメラ及び図5等における頭部搭載型のカメラ)からの画像情報(映像面1’,2’)が、使用者に表示され得る。種々のカメラからの画像情報は互いに合成され、使用者に表示され得る。画像を使用者に表示するために、画像センサー装置の複数のセンサーが、情報を提供する必要がある。本発明では、使用者の画像として組み立てられ得る情報数は限定されない。
本発明に係る方法を次に説明する。本方法は、使用者90に対して一又はそれ以上の表示装置40に周辺画像を表示するものである。画像センサー装置10は、周辺の画像情報8を記録する。画像情報8は、伝達装置20を介して中央ユニット30に伝達される。コンピューターグラフィック処理ユニット32を備えた中央ユニット30は、例えば、図3等の仮想円筒状部分や、半球状や球状のさらに進歩した実施形態において、(可視的に)仮想3次元界を生成する。
位置センサーからの情報に基づき、使用者が仮想3次元界に仮想的に配置される。適宜に頭部位置センサー51の形式で、位置センサー50が、6自由度を検出することができ、使用者の位置52及び視角53に関する情報を中央ユニット30に送信する。地点及び視角に基づいて、使用者が3次元界に配置され、中央ユニット30が、どの画像情報を表示装置40で表示するべきかを演算する。使用者90が動き視角を変更すると、中央ユニット30は、どの画像情報を使用者に表示するべきかを自動的に演算する。中央ユニット30は、例えば使用者の頭部に搭載されたカメラ13及び追加カメラ12を備え得る画像センサー装置10からの画像情報を要求する。要求した画像情報をデジタル化した後、画像センサー装置10はこれを中央ユニット30に送信する。中央ユニット30におけるコンピューターグラフィック処理ユニット32は、画像センサー装置10からの画像情報8を動的テクスチャとして3次元界に即時に取り込む。中央ユニット30は、使用者の地点及び視角に基づき、3次元界から表示装置40へ最新の画像情報を伝達する。
本発明に係る間接視としての装置及び方法においては、画像センサーは表示装置や使用者の附近に配置される必要はない。使用者は、任意の実在する場所にいるが、仮想的には画像センサーの場所にいる。本発明は、軍事及び民間の双方において、戦車、空中プラットフォーム(例えば、無人調査航空機)、遠隔操作式小型車、大型車(例えば、鉱山車)、戦闘艦(例えば、潜水艦の光学的潜望鏡に替わるもの)等、多くの用途で使用可能である。これは、人に取り付けられ、個人の兵士に使用され得る。
複数の画像センサー(カメラ)からの情報は、動的テクスチャ(即ち、テクスチャは外部情報に基づいて即時に変更される)として仮想3次元界に映像面に配置される。結果的に、カメラレンズからの歪みは、カメラ画像が動的テクスチャとして配置される仮想映像面を修正することにより排除され得る。この修正は、例えば、ベンド方式でなされ得る。動的テクスチャが配置される映像面は、仮想3次元界において、他の映像面と合成され、戦車の内装のような使用者参照地点を与え得る。頭部位置センサーは、使用者の頭部の地点及び視角に関して、最大6自由度の情報を提供する。この情報に基づき、中央ユニットは、コンピューターグラフィック処理ユニットによって全映像面を処理でき、該当する画像情報を使用者に表示する。
本発明は、仮想3次元(3D)画像情報を、画像センサーによって記録された周辺画像に合成可能とする。例えば、戦車が、画像に取り込まれ、戦車が位置する場所を示すことができる。種々の理由から、実存の戦車は隠され発見困難な状況になり得る。仮想の戦車は、適当なテクスチャにより3Dモデルとなる。このモデルは、コンピュータ・グラフィックにより装飾され、モデル上及びモデルからの影が実態と合うようになっている。
画像センサー及び戦車の内装によって記録された周囲に対して、本発明の使用者が自身の位置をより確認し易いように、例えば、仮想内装が周囲の画像に合成され、使用者がこの内装を参照として使用可能となる点で、有利である。
本発明は、単に画像情報を記録したり表示するよりも広義に使用され得る。例えば、本発明に係る装置及び/又は方法を装備した戦車が任務を負っているとき、搭乗員が任務前、即ち、任務計画において準備できる点で好適である。この準備は、仮想的に任務を立てることも含み得る。この仮想任務が遂行される一方法を次に説明する。
有人又は無人の航空機は、任務が立てられる地域へ送り出される。この航空機は、データ収集、データ処理及び3次元界のモデリングを含む周辺の3次元マッピングのための機器を運搬し、周辺の3次元モデルを生成する。3次元モデルでは、動的作用、例えば、脅威、濃霧、天候及び一日の日光時間が導入され得る。これにより、任務を仮想的に訓練でき、別の手段を試すことができる。
周辺の3次元モデルが利用可能となった際に、実際の任務においても使用され得る。戦車の即時位置を取得可能になると、例えば、周辺からの画像センサー・データが3次元モデルに合成され、補強された周辺体験を与え得る。
本発明は、画像センサーからの情報に基づき、コンピュータ工学によって即時にモデル化される3次元モデルを適用できる。この方法は、「レンダリングに基づく画像」と呼ばれ、この画像の特性は、3次元モデルを構築することに用いられる。
通例のコンピューター・グラフィック工学を用いた一般解によって、上記したようなあらゆる2次元及び3次元の仮想情報が、迅速に画像センサーの画像に合成され、使用者にとって好ましい手法で表示され得る。STTVのような従来システムは、これらの選択が欠けており、単に2次元情報が重ね合わされるものである。
Claims (20)
- 周辺界の画像情報を記録し、伝達装置20を介して中央ユニット30に接続される画像センサー装置10と、前記中央ユニット30で前記画像センサー装置10からの画像を表示する頭部搭載型の表示装置40とを備えた、使用者90に周辺状況の画像を表示するための装置において、前記装置は、使用者の位置52及び視角53を検知する頭部位置センサー51を備え、
前記中央ユニット30は、コンピュータグラフィック処理ユニット32を備え、
前記中央ユニット30は、仮想3次元界を生成し、
前記中央ユニット30は、前記3次元界にテクスチャとして前記画像センサー装置10から即時に画像情報8を投射し、
前記中央ユニット30は、前記表示装置40に即時に前記3次元界の一部を表示することを特徴とする使用者に周辺状況の画像を表示するための装置。 - 前記表示装置40に表示される前記3次元界の一部は、前記頭部位置センサー50からの情報によって決定されることを特徴とする請求項1に記載の装置。
- 前記中央ユニット30は、記憶された画像情報8をテクスチャとして前記3次元界に投射することを特徴とする請求項1又は2に記載の装置。
- 前記仮想3次元界は、円筒状、球状又は半球状の一部の形式であることを特徴とする請求項1乃至3のいずれか1項に記載の装置。
- 前記伝達装置20の通信は、前記中央ユニットから要求される画像が前記中央ユニット30へ送信されるように、双方向性であることを特徴とする請求項1乃至4のいずれか1項に記載の装置。
- 前記表示装置40は、使用者の視線に関連して移動する頭部搭載型の小型表示装置などの表示装置であることを特徴とする請求項1乃至5のいずれか1項に記載の装置。
- 前記画像センサー装置10は、前記画像センサーからの画像をデジタル化するための手段を備えていることを特徴とする請求項1乃至6のいずれか1項に記載の装置。
- 前記画像センサー装置10は、使用者の附近、好ましくは使用者の頭部に配置されるカメラ30を備えていることを特徴とする請求項1乃至7のいずれか1項に記載の装置。
- 前記画像センサー装置10は、追加カメラ12を備えていることを特徴とする請求項1乃至8のいずれか1項に記載の装置。
- 前記中央ユニット30は、前記3次元界に仮想物体を投射することを特徴とする請求項1乃至9のいずれか1項に記載の装置。
- 2又はそれ以上の使用者90に接続された頭部位置センサー51と、各使用者90に対応する前記3次元界の一部を表示するための2又はそれ以上の表示装置40とを備えていることを特徴とする請求項1乃至10のいずれか1項に記載の装置。
- 周辺界の画像情報8を記録する画像センサー装置10と、伝達装置20と、中央ユニット30と、表示装置40と、頭部位置センサー50とを含む、使用者90に周辺状況の画像を表示するための方法において、
コンピュータグラフィック処理ユニット32を備えた前記中央ユニット30が、仮想3次元界を生成し、
前記頭部位置センサー50が、前記使用者の位置52及び視角53に関する情報を前記中央ユニット30に送信し、
前記中央ユニットが、前記頭部位置センサー50からの情報に基づき、仮想3次元界に仮想的に前記使用者90を取り込み、
前記画像センサー装置10が、前記伝達装置20を通じて前記中央ユニット30に画像情報8を送信し、
前記コンピュータグラフィック処理ユニット32が、前記3次元界に即時にテクスチャとして前記画像センサー装置10からの即時画像情報8を投射し、
前記中央ユニット30が、前記使用者の視角周辺領域に配置される前記3次元界の一部を表示するために前記表示装置40へ送信することを特徴とする使用者に周辺状況の画像を表示するための方法。 - 前記画像センサー装置10は、前記画像8をデジタル化することを特徴とする請求項12に記載の方法。
- 前記中央ユニット30は、表示される画像情報8に対して前記画像センサー装置10へ要求を送信することを特徴とする請求項12又は13に記載の方法。
- 前記画像センサー装置10は、前記要求された画像情報8を前記中央ユニット30へ送信することを特徴とする請求項14に記載の方法。
- 前記中央ユニット30は、車5の内装などを前記3次元界に取り込み、前記使用者90に一又はそれ以上の参照点を与えることを特徴とする請求項12乃至15のいずれか1項に記載の方法。
- 前記中央ユニット30は、戦車又は家屋などの仮想物体を前記3次元界に取り込み、より良い周辺状況の画像を与えて使用者を支援することを特徴とする請求項12乃至16のいずれか1項に記載の方法。
- 前記中央ユニット30は、前記使用者の附近のカメラ、好ましくは前記使用者の頭部上のカメラ13からの画像情報を前記3次元界に取り込むことを特徴とする請求項12乃至17のいずれか1項に記載の方法。
- 前記中央ユニット30は、追加カメラ12からの画像情報を前記3次元界に取り込むことを特徴とする請求項12乃至18のいずれか1項に記載の方法。
- 前記仮想3次元界は、円筒状、球状又は半球状の一部の形式であることを特徴とする請求項12乃至20のいずれか1項に記載の装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
SE0401603A SE527257C2 (sv) | 2004-06-21 | 2004-06-21 | Anordning och metod för att presentera en omvärldsbild |
PCT/SE2005/000974 WO2005124694A1 (en) | 2004-06-21 | 2005-06-21 | Device and method for presenting an image of the surrounding world |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008504597A true JP2008504597A (ja) | 2008-02-14 |
Family
ID=32906835
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007518006A Pending JP2008504597A (ja) | 2004-06-21 | 2005-06-21 | 周辺界の画像を表示するための装置及び方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20070247457A1 (ja) |
EP (1) | EP1774479A1 (ja) |
JP (1) | JP2008504597A (ja) |
CA (1) | CA2569140A1 (ja) |
SE (1) | SE527257C2 (ja) |
WO (1) | WO2005124694A1 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011070631A1 (ja) * | 2009-12-11 | 2011-06-16 | 三菱電機株式会社 | 画像合成装置及び画像合成プログラム |
JP2014526157A (ja) * | 2011-06-23 | 2014-10-02 | マイクロソフト コーポレーション | ヘッドマウントディスプレイの全視野の分類 |
JP2017111724A (ja) * | 2015-12-18 | 2017-06-22 | 株式会社ブリリアントサービス | 配管用ヘッドマウントディスプレイ |
JP6429350B1 (ja) * | 2018-08-08 | 2018-11-28 | 豊 川口 | 車両 |
JP2021092802A (ja) * | 2013-02-22 | 2021-06-17 | ソニーグループ株式会社 | 情報処理装置、制御方法及びプログラム |
JP6903287B1 (ja) * | 2020-12-25 | 2021-07-14 | 雄三 安形 | ワイパーを具備しない車両 |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SE528518C2 (sv) * | 2005-04-29 | 2006-12-05 | Totalfoersvarets Forskningsins | Sätt att navigera i en omvärld registrerad av en eller flera bildsensorer och en anordning för genomförande av sättet |
DE102006003524A1 (de) | 2006-01-24 | 2007-07-26 | Oerlikon Contraves Ag | Panorama-Sicht-System insbesondere in Kampfahrzeugen |
EP2031137A1 (en) * | 2007-08-29 | 2009-03-04 | Caterpillar Inc. | Machine and method of operating thereof |
IL189251A0 (en) * | 2008-02-05 | 2008-11-03 | Ehud Gal | A manned mobile platforms interactive virtual window vision system |
US20100026897A1 (en) * | 2008-07-30 | 2010-02-04 | Cinnafilm, Inc. | Method, Apparatus, and Computer Software for Modifying Moving Images Via Motion Compensation Vectors, Degrain/Denoise, and Superresolution |
DE102009014401A1 (de) * | 2009-03-26 | 2010-09-30 | Skoff, Gerhard, Dr. | Knickgelenktes Fahrzeug, insbesondere gepanzertes Fahrzeug |
US10168153B2 (en) | 2010-12-23 | 2019-01-01 | Trimble Inc. | Enhanced position measurement systems and methods |
US9879993B2 (en) | 2010-12-23 | 2018-01-30 | Trimble Inc. | Enhanced bundle adjustment techniques |
WO2013111145A1 (en) * | 2011-12-14 | 2013-08-01 | Virtual Logic Systems Private Ltd | System and method of generating perspective corrected imagery for use in virtual combat training |
WO2013111146A2 (en) * | 2011-12-14 | 2013-08-01 | Virtual Logic Systems Private Ltd | System and method of providing virtual human on human combat training operations |
DE102012203523A1 (de) * | 2012-03-06 | 2013-09-12 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Vorrichtung zur Bildverarbeitung von Bilddaten |
US20140003654A1 (en) * | 2012-06-29 | 2014-01-02 | Nokia Corporation | Method and apparatus for identifying line-of-sight and related objects of subjects in images and videos |
WO2014077046A1 (ja) * | 2012-11-13 | 2014-05-22 | ソニー株式会社 | 画像表示装置及び画像表示方法、移動体装置、画像表示システム、並びにコンピューター・プログラム |
US9235763B2 (en) * | 2012-11-26 | 2016-01-12 | Trimble Navigation Limited | Integrated aerial photogrammetry surveys |
JP6123365B2 (ja) * | 2013-03-11 | 2017-05-10 | セイコーエプソン株式会社 | 画像表示システム及び頭部装着型表示装置 |
US9247239B2 (en) | 2013-06-20 | 2016-01-26 | Trimble Navigation Limited | Use of overlap areas to optimize bundle adjustment |
SE537279C2 (sv) * | 2013-07-12 | 2015-03-24 | BAE Systems Hägglunds AB | System och förfarande för behandling av taktisk informationhos stridsfordon |
WO2015015521A1 (en) * | 2013-07-31 | 2015-02-05 | Mes S.P.A. A Socio Unico | Indirect vision system and associated operating method |
US9335545B2 (en) * | 2014-01-14 | 2016-05-10 | Caterpillar Inc. | Head mountable display system |
US9677840B2 (en) * | 2014-03-14 | 2017-06-13 | Lineweight Llc | Augmented reality simulator |
KR102246553B1 (ko) * | 2014-04-24 | 2021-04-30 | 엘지전자 주식회사 | Hmd 및 그 제어 방법 |
JP6642432B2 (ja) | 2014-07-31 | 2020-02-05 | ソニー株式会社 | 情報処理装置及び情報処理方法、並びに画像表示システム |
GB2532464B (en) | 2014-11-19 | 2020-09-02 | Bae Systems Plc | Apparatus and method for selectively displaying an operational environment |
GB2532465B (en) | 2014-11-19 | 2021-08-11 | Bae Systems Plc | Interactive control station |
US9542718B2 (en) * | 2014-12-18 | 2017-01-10 | Intel Corporation | Head mounted display update buffer |
US10216273B2 (en) | 2015-02-25 | 2019-02-26 | Bae Systems Plc | Apparatus and method for effecting a control action in respect of system functions |
DE102015204746A1 (de) * | 2015-03-17 | 2016-09-22 | Bayerische Motoren Werke Aktiengesellschaft | Vorrichtung und Verfahren zur Wiedergabe von Daten in einer erweiterten Realität |
DE102016102808A1 (de) * | 2016-02-17 | 2017-08-17 | Krauss-Maffei Wegmann Gmbh & Co. Kg | Verfahren zur Steuerung eines an einem Fahrzeug richtbar angeordnetes Sichtgeräts |
US10809380B2 (en) * | 2017-05-15 | 2020-10-20 | Ouster, Inc. | Augmenting panoramic LIDAR results with color |
US10586349B2 (en) | 2017-08-24 | 2020-03-10 | Trimble Inc. | Excavator bucket positioning via mobile device |
CN108322705A (zh) * | 2018-02-06 | 2018-07-24 | 南京理工大学 | 基于视角显示的特种车辆舱外观察系统及视频处理方法 |
DE102018203405A1 (de) * | 2018-03-07 | 2019-09-12 | Zf Friedrichshafen Ag | Visuelles Surround-View-System zur Überwachung des Fahrzeuginneren |
US10943360B1 (en) | 2019-10-24 | 2021-03-09 | Trimble Inc. | Photogrammetric machine measure up |
RU2740472C2 (ru) * | 2020-03-20 | 2021-01-14 | Антон Алексеевич Шевченко | Способ формирования сферопанорамного поля зрения приборов наблюдения и прицеливания |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001344597A (ja) * | 2000-05-30 | 2001-12-14 | Fuji Heavy Ind Ltd | 融合視界装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5130794A (en) * | 1990-03-29 | 1992-07-14 | Ritchey Kurtis J | Panoramic display system |
US5684937A (en) * | 1992-12-14 | 1997-11-04 | Oxaal; Ford | Method and apparatus for performing perspective transformation on visible stimuli |
US5495576A (en) * | 1993-01-11 | 1996-02-27 | Ritchey; Kurtis J. | Panoramic image based virtual reality/telepresence audio-visual system and method |
US5850469A (en) * | 1996-07-09 | 1998-12-15 | General Electric Company | Real time tracking of camera pose |
EP1297691A2 (en) * | 2000-03-07 | 2003-04-02 | Sarnoff Corporation | Camera pose estimation |
US7056119B2 (en) * | 2001-11-29 | 2006-06-06 | Lsa, Inc. | Periscopic optical training system for operators of vehicles |
WO2004036894A2 (en) * | 2002-10-18 | 2004-04-29 | Sarnoff Corporation | Method and system to allow panoramic visualization using multiple cameras |
WO2004099851A2 (en) * | 2003-05-12 | 2004-11-18 | Elbit Systems Ltd. | Method and system for audiovisual communication |
US20070182812A1 (en) * | 2004-05-19 | 2007-08-09 | Ritchey Kurtis J | Panoramic image-based virtual reality/telepresence audio-visual system and method |
SG155167A1 (en) * | 2004-08-03 | 2009-09-30 | Silverbrook Res Pty Ltd | Walk-up printing |
-
2004
- 2004-06-21 SE SE0401603A patent/SE527257C2/sv not_active IP Right Cessation
-
2005
- 2005-06-21 WO PCT/SE2005/000974 patent/WO2005124694A1/en active Application Filing
- 2005-06-21 CA CA002569140A patent/CA2569140A1/en not_active Abandoned
- 2005-06-21 EP EP05753841A patent/EP1774479A1/en not_active Withdrawn
- 2005-06-21 US US11/630,200 patent/US20070247457A1/en not_active Abandoned
- 2005-06-21 JP JP2007518006A patent/JP2008504597A/ja active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001344597A (ja) * | 2000-05-30 | 2001-12-14 | Fuji Heavy Ind Ltd | 融合視界装置 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102652321A (zh) * | 2009-12-11 | 2012-08-29 | 三菱电机株式会社 | 图像合成装置以及图像合成程序 |
JP5318225B2 (ja) * | 2009-12-11 | 2013-10-16 | 三菱電機株式会社 | 画像合成装置及び画像合成プログラム |
WO2011070631A1 (ja) * | 2009-12-11 | 2011-06-16 | 三菱電機株式会社 | 画像合成装置及び画像合成プログラム |
JP2014526157A (ja) * | 2011-06-23 | 2014-10-02 | マイクロソフト コーポレーション | ヘッドマウントディスプレイの全視野の分類 |
US11513353B2 (en) | 2013-02-22 | 2022-11-29 | Sony Corporation | Information processing device that displays a virtual object relative to real space |
US11885971B2 (en) | 2013-02-22 | 2024-01-30 | Sony Corporation | Information processing device that displays a virtual object relative to real space |
JP2021092802A (ja) * | 2013-02-22 | 2021-06-17 | ソニーグループ株式会社 | 情報処理装置、制御方法及びプログラム |
JP7268692B2 (ja) | 2013-02-22 | 2023-05-08 | ソニーグループ株式会社 | 情報処理装置、制御方法及びプログラム |
JP2017111724A (ja) * | 2015-12-18 | 2017-06-22 | 株式会社ブリリアントサービス | 配管用ヘッドマウントディスプレイ |
JP2020023293A (ja) * | 2018-08-08 | 2020-02-13 | 豊 川口 | 車両 |
JP6429350B1 (ja) * | 2018-08-08 | 2018-11-28 | 豊 川口 | 車両 |
JP2022103000A (ja) * | 2020-12-25 | 2022-07-07 | 雄三 安形 | ワイパーを具備しない車両 |
WO2022137599A1 (ja) * | 2020-12-25 | 2022-06-30 | 雄三 安形 | ワイパーを具備しない車両 |
JP6903287B1 (ja) * | 2020-12-25 | 2021-07-14 | 雄三 安形 | ワイパーを具備しない車両 |
Also Published As
Publication number | Publication date |
---|---|
WO2005124694A1 (en) | 2005-12-29 |
SE0401603D0 (sv) | 2004-06-21 |
CA2569140A1 (en) | 2005-12-29 |
EP1774479A1 (en) | 2007-04-18 |
US20070247457A1 (en) | 2007-10-25 |
SE527257C2 (sv) | 2006-01-31 |
SE0401603L (sv) | 2005-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008504597A (ja) | 周辺界の画像を表示するための装置及び方法 | |
US11237594B2 (en) | Headset computer that uses motion and voice commands to control information display and remote devices | |
US8063849B2 (en) | Method of navigating in a surrounding world captured by one or more image sensors and a device for carrying out the method | |
US7542210B2 (en) | Eye tracking head mounted display | |
EP2979127B1 (en) | Display method and system | |
US6359601B1 (en) | Method and apparatus for eye tracking | |
US9270976B2 (en) | Multi-user stereoscopic 3-D panoramic vision system and method | |
US20190049949A1 (en) | Modified-reality device and method for operating a modified-reality device | |
WO2014077046A1 (ja) | 画像表示装置及び画像表示方法、移動体装置、画像表示システム、並びにコンピューター・プログラム | |
US6778150B1 (en) | Method and apparatus for eye tracking | |
JPH05112298A (ja) | 航空機用仮想映像表示システム | |
CN108040247A (zh) | 一种头戴式增强现实显示设备及方法 | |
US20230334788A1 (en) | Mixed-Reality Visor For In-Situ Vehicular Operations Training | |
CN111541887B (zh) | 一种裸眼3d视觉伪装系统 | |
US10464482B2 (en) | Immersive displays | |
JP3477441B2 (ja) | 画像表示装置 | |
ES2961614T3 (es) | Sistema inteligente para el control de funciones en una torreta de un vehículo de combate | |
RU2734063C1 (ru) | Устройство для визуального наблюдения для пилота летательного аппарата | |
US11798127B2 (en) | Spatial positioning of targeted object magnification | |
CN111541880B (zh) | 一种2d/3d兼容视觉伪装系统 | |
KR101973174B1 (ko) | 제스처 인식 기반 무인기 제어 장치 및 방법 | |
KR102495641B1 (ko) | 증강현실 hmd를 이용한 전차용 전방위 외부 관측 시스템 | |
CA3018465C (en) | See-through based display method and system for simulators | |
EP3857534A1 (en) | Camera based display method and system for simulators |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080617 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101027 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110323 |