JP2008504597A - 周辺界の画像を表示するための装置及び方法 - Google Patents

周辺界の画像を表示するための装置及び方法 Download PDF

Info

Publication number
JP2008504597A
JP2008504597A JP2007518006A JP2007518006A JP2008504597A JP 2008504597 A JP2008504597 A JP 2008504597A JP 2007518006 A JP2007518006 A JP 2007518006A JP 2007518006 A JP2007518006 A JP 2007518006A JP 2008504597 A JP2008504597 A JP 2008504597A
Authority
JP
Japan
Prior art keywords
image
user
central unit
dimensional field
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007518006A
Other languages
English (en)
Inventor
グスタフソン,トーブヨーン
カールベリ,ペル
Original Assignee
トータルフェルスバレッツ フォルスクニングスインスティテュート
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by トータルフェルスバレッツ フォルスクニングスインスティテュート filed Critical トータルフェルスバレッツ フォルスクニングスインスティテュート
Publication of JP2008504597A publication Critical patent/JP2008504597A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41WEAPONS
    • F41HARMOUR; ARMOURED TURRETS; ARMOURED OR ARMED VEHICLES; MEANS OF ATTACK OR DEFENCE, e.g. CAMOUFLAGE, IN GENERAL
    • F41H7/00Armoured or armed vehicles
    • F41H7/02Land vehicles with enclosing armour, e.g. tanks
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41WEAPONS
    • F41GWEAPON SIGHTS; AIMING
    • F41G1/00Sighting devices
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41WEAPONS
    • F41HARMOUR; ARMOURED TURRETS; ARMOURED OR ARMED VEHICLES; MEANS OF ATTACK OR DEFENCE, e.g. CAMOUFLAGE, IN GENERAL
    • F41H5/00Armour; Armour plates
    • F41H5/26Peepholes; Windows; Loopholes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/12Panospheric to cylindrical image transformations
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

使用者に周辺状況の画像を表示するための装置及び方法は、周辺界の画像情報を記録し、伝達装置20を介して中央ユニット30に接続される画像センサー装置10と、中央ユニット30が前記画像センサー装置10からの画像を表示する頭部搭載型の表示装置40とを備えている。本発明は、中央ユニット30が仮想3次元界を生成し、画像情報8が3次元界にテクスチャとして画像センサー装置10から即時に投射される。そのとき、3次元界の一部が、表示装置40に即時に表示される。
【選択図】図4

Description

本発明は、間接視によって、周辺状況の画像を使用者に表示するための装置及び方法に関するものである。
軍事状況においては、周辺界の視覚的な認識は重要である。概して、周辺界は、直接、眼又は光学式潜望鏡によって観測される。この潜望鏡は、例えば、戦車や潜水艦で用いられる。しかしながら、新たな要求と脅威によって、画像センサー(一般にはカメラ)による周辺認識を取得する必要性が生み出され、この画像データが、表示装置等に表示される。この方法は、間接視と呼ばれる。これらの状況で、画像データが、瞬時(使用者が動作中に連続性を体験する画像速度)に、記録及び表示される。通常、瞬時(事情によっては速度が遅くなるが)表示のためには、最低20の画像が構成される。
間接視を用いるのにいくつかの理由がある。理由の一つは、眼では見ることができない画像情報を記録可能なことである。例えば、暗視式の画像センサーや、赤外線熱放射線に敏感な画像センサーを用いることにより、周辺の認識を可能又は補強する。間接視を用いる他の理由は、レーザー放射による眼損傷に対して、眼を保護することにある。更に、軍事状況において、内部照明から放射される光又は放射線によって、光学式潜望鏡を通じて戦車が自分自身を露呈する。
即時的に間接視を介して使用者に表示される画像は、画像センサー装置で生成され、又使用者に記録される画像は、仮想環境やこれらの合成で生成される。画像センサー装置は、例えば、視野感度のよい一又は複数のビデオカメラ、赤外線領域(3〜5μm、8〜12μm附近の赤外線)の一つに敏感な赤外線カメラ、紫外線カメラ、又はその他のレーダー又はレーザー・レーダー等の直接又は間接的な画像生成センサーシステムからなる。種々のセンサーシステムからの画像は、データ融合によって合成され、使用者に表示される。
間接視のシステムでは、画像センサーは、使用者の近辺に配置される必要がない。使用者は、画像センサーから隔離し、任意の物理的場所に配置されるが、仮想的にはセンサーの場所に存在する。使用者が周囲を的確に認識するため、周囲を自然に体験するように、可能な限り大きな視界を記録し表示するべきである。しかしながら、常に配置できるとは限らず、例えば、戦車内には大型の表示装置のための空間がない。この問題を解決するために、例えば、視角を拡大することにより観察可能な一又は複数の表示装置、使用者の眼の網膜にある画像を与え描写する装置等からなる頭部搭載型の表示装置、を使用者に提供する方法がある。
頭部搭載型の表示装置を使用する際、画像は、単眼の表示装置で単眼に表示される。二つの表示装置を使用する際には、同一の画像が、両眼の表示装置で両眼に表示されるか、異なる画像が、両眼の表示装置に表示される。両眼の表示装置では立体感を実現し得る。例えば、二つの追加表示装置を用いることによって、周辺視野感を実現し得る。表示装置は、好ましくは間接的に、メガネフレームやヘルメットタイプの装置によって使用者の頭部に固定される。
視覚的印象は、通常、使用者が頭部を動かすにつれて変化する。通常、頭部搭載型の表示装置を介して使用者に表示される画像は、周囲に関連して、使用者頭部の動作に影響されない。動作によって視覚的印象を変化できない感覚は、頭部搭載型の表示装置を使用するほとんどの者にとって、しばらくして苛立ちを感じる。頭部を動かして周囲を見ることによって周辺を観測するという正常な行動が機能しない。
この解決法は、頭部位置センサーによって、使用者の頭部の位置及び方向を検知することである。使用者に対して頭部搭載型の表示装置に表示される画像は、使用者が見回して体感するような方法で調節される。
間接視を用いることによって、使用者が頭部搭載型の表示装置を運搬した場所、使用者の頭部の位置及び方向が検知された場所で、戦車内の使用者は、戦車の壁を通して見るという感覚(即ち、「透視装甲(以下、STAと略す)」)を取得できる。
画像センサー装置は、種々の方向に移動可能に、ジンバル(常平架)に設けられる。頭部位置センサーで制御されるジンバルは、加速・減速及び単位時間の回転能力に関して非常に機敏である。これにより、使用者は、頭部を機敏に動かしても、妨害表示を体験しないことは確実である。ジンバルは、複数の移動部を有する複雑な装置である。間接視の場合、ジンバルは使用者一人だけにより制御される。実質上、他の使用者は、画像センサーシステムからの情報の受信を妨げられるので、この点が欠点である。
ジンバルに設けられた画像センサーの代用として、複数の画像センサーからなる手段によって周囲の状況を記録する画像センサー装置が用いられ、各画像センサーが、広周囲の一部を記録する。
このようなシステムは、インターネット(http://www.cis.upenn.edu/~reich/paper11.htm)で公開されている「戦車視覚化システム(Combat Vehicle Visualization System)」(米国、プリンストン、サーノフ社、R.ベルト、J.ハウゲ、J.ケリー、G.ノールズ及びR.ル・バンドウスキー著)の記事で知られている。このシステムは、「透視砲塔視覚化システム(以下、STTVと略す)」と呼ばれている。
STTVでは、マルチカメラ装置からの画像が、種々の機能を有する複数のプリント基板カードからなるシステムによってデジタル化される。プリント基板カードは、とりわけ、画像処理プロセッサ、デジタル信号処理プロセッサ及び画像記憶部を有する。主処理プロセッサは、マルチカメラ装置からの画像情報をデジタル化し、使用者の頭部の方向に基づいて一又は二のカメラの画像情報を選択し、カメラレンズの歪曲を矯正するように画像の歪みをなくし、これらを画像記憶部に特別な合成なく組み合わせ、使用者の頭部の方向に応じて画像記憶部の一部を表示する。STTVは、単に仮想2次元(2D)画像情報を重ね合わせ、例えば、使用者がどちらの方向に頭部を向けるかを、十字線や矢印が示すだけである。STTVにおいて、使用者の頭部の方向は、3自由度(即ち、回転、横揺れ及び縦揺れ)を処理する頭部位置センサーにより検知される。
しかしながら、広範な応用分野を有する使い易いSTAシステムは、単に2次元情報を記録して重ねて画像情報を表示するよりも広義に用いられる。
本発明は、一般的及びより柔軟な解決手段によって、これを解決する装置及び方法である。この解決手段は、独立項により画定され、従属項で有効な実施形態が画定される。
本発明について、添付した図面に基づき、より詳細に説明する。
図1aは、画像センサー装置10の一実施形態を示す。画像センサー装置10は、複数の画像センサー(例えば、360度領域を網羅するように環状に配置されたカメラ1,2,3,4)を備えている。カメラ1,2,3,4からの画像は、デジタル化され、中央ユニット30(図2参照)へ送信される。中央ユニット30は、中央演算処理装置(CPU)を有するコンピューターユニット、記録手段及びコンピューターグラフィック処理ユニット32を備えている。目的に応じたソフトウェアが、中央ユニット30で実行される。
中央ユニット30において、一又は複数の3次元モデルからなる仮想3次元界に、画像がテクスチャとして取り込まれる。このようなモデルは、例えば、円筒状に設計され、テクスチャが円筒内面に配置される(図1b参照)。第一カメラ1の画像が、第一の映像面1’にテクスチャとして取り込まれ、第二カメラ2の画像が、第二の映像面2’に取り込まれたりする。画像は、円筒状よりも高機能な3次元モデル、例えば、好ましくは少し平坦な底を有する半球形状又は球形状に取り込むこともできる。
図1bに関する場合において、3次元界は、例えば、円筒状を描くモデル内に配置される戦車内装の仮想モデルにより開発される(図1c参照)。図1cは、内装5及び窓6のモデルを図式的に示すものである。使用者が3次元界を観測している地点及び方角が、例えば、内装5のモデルに配置される(図3d参照)。この地点及び方角は、位置センサー(例えば、頭部位置センサー51)から取得される(図4参照)。3次元界に内装のモデルを取り込む利点は、このように使用者が一又はそれ以上の参照地点を取得できることである。
図2は、本発明に係る一実施形態を示す原理図である。複数のセンサー(例えば、図1aにおける複数のカメラ)を備える画像センサー装置10は、例えば、図4における戦車に取り付けられる。図1aで図示された実施形態において、画像センサーは、戦車の360度周囲を対象とする。画像センサーは、戦車の回転の全体を網羅する必要はなく、全回転より少ない量で十分に網羅できる場合もある。例えば、上方及び下方、隠れた角度を網羅するための追加画像センサーや、可視域外を記録するためのセンサーも接続され得る。
画像センサー装置10は、画像をデジタル化するための装置も備えており、中央ユニット30へ画像情報を通信するための伝達装置20に接続されている。伝達装置20での通信は、単一方向性、即ち、画像センサー装置10が画像情報をセンサーから中央ユニット30へ送信するものであったり、双方向性、即ち、中央ユニット30が、例えば中央センサー30へ伝達される画像センサーからの画像情報の信号を画像センサー装置10へ送信することができる。この伝達は時間のロスが小さい方が好ましいので、イーサネット(登録商標)やファイヤーワイヤーのような高速伝達が必要とされる。
中央ユニット30は、メモリーを備えた中央演算処理装置(CPU)、伝達装置20に接続されたインターフェース31、仮想3次元界を(可視可能に)生成するコンピュータ・グラフィック・プロセッシング・ユニット(GPU)、位置センサー50からのデータによって、表示装置40にどの3次元世界の視界が描写されるかを制御するソフトウェア形式のコントロール手段、を備えている。位置センサー50は、マウス又は同種のものでよいが、好ましくは使用者の位置52及び視角53を検出する頭部搭載型の頭部位置センサーがよい(図3b参照)。頭部位置センサー51からのデータに基づき、使用者が仮想3次元界に仮想的に配置される。使用者が移動すると、これについてのデータが、中央ユニット30へ送られ、さらに、どの視界が使用者に描写されるかを計算するコンピュータ・グラフィック・プロセッシング・ユニットへ送られる。
一般的なコンピュータ・グラフィック・システムにおいて、仮想3次元界は、種々の特性が与えられる多数の映像面を用いて形成される。この映像面は、通常、好適な方法で組み合わされた複数の三角形状から構成されており、それにより、例えば、円筒又は球面の一部の形状に映像面を与える。図3aは、仮想3次元界がどのように三角形状で構成されるかを示す。2次元画像が、これら三角形状にテクスチャとして配置され得る(図3c参照)。この類型のテクスチャは、静的であって、画像だけでなく、色彩や特性(透明又は反射など)から構成することができる。概して、テクスチャは適時に取り込まれ、3次元界に表示される。
本発明によれば、この装置及び方法は、画像センサー装置10からの画像情報を用いて、それを3次元界にテクスチャとして取り込む。これらテクスチャは、好ましくは、即時に、即ち画像センサーが画像情報を記録し中央ユニット30に伝達可能な速度で、3次元界に取り込まれる。コンピューターグラフィック処理ユニット32は、位置52及び視角53に依存する使用者90に対して、テクスチャを有する3次元界を表示する方法を演算する。
他の仮想画像情報も3次元界に配置され得る。制御装置、ステアリングホイール、ボンネット及びビームを有するフロントガラスの周域を備えた戦車の内装5の仮想3次元界が、3次元界に配置され、使用者に一又はそれ以上の参照点を与え得る。更に、仮想のバック及びサイド・ミラーが配置され、好適な画像センサーからの画像情報を表示する。図5及び6は、使用者の附近(例えば、使用者の頭部)におけるセンサーからの画像情報がどのように用いられるかを示す。
図4は、本発明に係る装置を備えた戦車を示す。センサー装置10は、例えば、図1に示すような複数のカメラを備えている。追加カメラ12(例えば、後方カメラ)も戦車に配置され、引っ込んだ部分や隠れた部分も網羅する。頭部搭載型の表示装置40及び頭部搭載型の位置装置51を備えた使用者90は、戦車80内で着座している。
図5は、本発明に係る他の実施形態を示す。使用者90は、頭部搭載型の表示装置40、頭部位置センサー51、使用者の附近(この場合は、使用者の頭部)に配置されたカメラ13からなるセンサー装置も備えている。カメラ13は、操縦者周辺の画像を使用者に表示するために用いられる。表示装置40は、使用者の視野全体を頻繁に表示するので、使用者が手元、制御装置等を見下ろした際に、制御装置を見ることができないことになる。使用者90の附近(例えば、頭部)に搭載されたカメラ13は、画像情報を3次元界に取り込む中央ユニットへ、周辺に関する画像情報を伝達することにより、使用者を支援する。
図6は、使用者に表示される視界として、種々のカメラからの画像情報を組み立てる方法を示す。3次元界は、円筒状の一部として表示される。暗い部分45は、表示装置40を介して表示される使用者の視野を表す。他の暗い部分46は、第二使用者に対する同様のものである。視野45に、カメラ13からの画像部分が表示され、3次元界の一部13’に動的テクスチャとして情報が配置される。この動的テクスチャは、3次元界において、次々に動的に表示される。即ち種々の場所において、動的テクスチャは、使用者の頭部の位置及び視角によって制御される。例えば、後方カメラ12からの画像は、周辺のモデルの一部12’に動的テクスチャとして配置され、バック・ミラーとして機能し得る。
図1aによるカメラ装置(例えば、2つのカメラ及び図5等における頭部搭載型のカメラ)からの画像情報(映像面1’,2’)が、使用者に表示され得る。種々のカメラからの画像情報は互いに合成され、使用者に表示され得る。画像を使用者に表示するために、画像センサー装置の複数のセンサーが、情報を提供する必要がある。本発明では、使用者の画像として組み立てられ得る情報数は限定されない。
本発明に係る方法を次に説明する。本方法は、使用者90に対して一又はそれ以上の表示装置40に周辺画像を表示するものである。画像センサー装置10は、周辺の画像情報8を記録する。画像情報8は、伝達装置20を介して中央ユニット30に伝達される。コンピューターグラフィック処理ユニット32を備えた中央ユニット30は、例えば、図3等の仮想円筒状部分や、半球状や球状のさらに進歩した実施形態において、(可視的に)仮想3次元界を生成する。
位置センサーからの情報に基づき、使用者が仮想3次元界に仮想的に配置される。適宜に頭部位置センサー51の形式で、位置センサー50が、6自由度を検出することができ、使用者の位置52及び視角53に関する情報を中央ユニット30に送信する。地点及び視角に基づいて、使用者が3次元界に配置され、中央ユニット30が、どの画像情報を表示装置40で表示するべきかを演算する。使用者90が動き視角を変更すると、中央ユニット30は、どの画像情報を使用者に表示するべきかを自動的に演算する。中央ユニット30は、例えば使用者の頭部に搭載されたカメラ13及び追加カメラ12を備え得る画像センサー装置10からの画像情報を要求する。要求した画像情報をデジタル化した後、画像センサー装置10はこれを中央ユニット30に送信する。中央ユニット30におけるコンピューターグラフィック処理ユニット32は、画像センサー装置10からの画像情報8を動的テクスチャとして3次元界に即時に取り込む。中央ユニット30は、使用者の地点及び視角に基づき、3次元界から表示装置40へ最新の画像情報を伝達する。
本発明に係る間接視としての装置及び方法においては、画像センサーは表示装置や使用者の附近に配置される必要はない。使用者は、任意の実在する場所にいるが、仮想的には画像センサーの場所にいる。本発明は、軍事及び民間の双方において、戦車、空中プラットフォーム(例えば、無人調査航空機)、遠隔操作式小型車、大型車(例えば、鉱山車)、戦闘艦(例えば、潜水艦の光学的潜望鏡に替わるもの)等、多くの用途で使用可能である。これは、人に取り付けられ、個人の兵士に使用され得る。
複数の画像センサー(カメラ)からの情報は、動的テクスチャ(即ち、テクスチャは外部情報に基づいて即時に変更される)として仮想3次元界に映像面に配置される。結果的に、カメラレンズからの歪みは、カメラ画像が動的テクスチャとして配置される仮想映像面を修正することにより排除され得る。この修正は、例えば、ベンド方式でなされ得る。動的テクスチャが配置される映像面は、仮想3次元界において、他の映像面と合成され、戦車の内装のような使用者参照地点を与え得る。頭部位置センサーは、使用者の頭部の地点及び視角に関して、最大6自由度の情報を提供する。この情報に基づき、中央ユニットは、コンピューターグラフィック処理ユニットによって全映像面を処理でき、該当する画像情報を使用者に表示する。
本発明は、仮想3次元(3D)画像情報を、画像センサーによって記録された周辺画像に合成可能とする。例えば、戦車が、画像に取り込まれ、戦車が位置する場所を示すことができる。種々の理由から、実存の戦車は隠され発見困難な状況になり得る。仮想の戦車は、適当なテクスチャにより3Dモデルとなる。このモデルは、コンピュータ・グラフィックにより装飾され、モデル上及びモデルからの影が実態と合うようになっている。
画像センサー及び戦車の内装によって記録された周囲に対して、本発明の使用者が自身の位置をより確認し易いように、例えば、仮想内装が周囲の画像に合成され、使用者がこの内装を参照として使用可能となる点で、有利である。
本発明は、単に画像情報を記録したり表示するよりも広義に使用され得る。例えば、本発明に係る装置及び/又は方法を装備した戦車が任務を負っているとき、搭乗員が任務前、即ち、任務計画において準備できる点で好適である。この準備は、仮想的に任務を立てることも含み得る。この仮想任務が遂行される一方法を次に説明する。
有人又は無人の航空機は、任務が立てられる地域へ送り出される。この航空機は、データ収集、データ処理及び3次元界のモデリングを含む周辺の3次元マッピングのための機器を運搬し、周辺の3次元モデルを生成する。3次元モデルでは、動的作用、例えば、脅威、濃霧、天候及び一日の日光時間が導入され得る。これにより、任務を仮想的に訓練でき、別の手段を試すことができる。
周辺の3次元モデルが利用可能となった際に、実際の任務においても使用され得る。戦車の即時位置を取得可能になると、例えば、周辺からの画像センサー・データが3次元モデルに合成され、補強された周辺体験を与え得る。
本発明は、画像センサーからの情報に基づき、コンピュータ工学によって即時にモデル化される3次元モデルを適用できる。この方法は、「レンダリングに基づく画像」と呼ばれ、この画像の特性は、3次元モデルを構築することに用いられる。
通例のコンピューター・グラフィック工学を用いた一般解によって、上記したようなあらゆる2次元及び3次元の仮想情報が、迅速に画像センサーの画像に合成され、使用者にとって好ましい手法で表示され得る。STTVのような従来システムは、これらの選択が欠けており、単に2次元情報が重ね合わされるものである。
画像センサー装置及び3次元モデルを示す。 本発明の実施形態の原理図である。 3次元モデルを示す 本発明に係る装置を有する戦車を示す。 頭部搭載型表示装置を備えた使用者を示す。 使用者の表示装置への画像情報を示す。

Claims (20)

  1. 周辺界の画像情報を記録し、伝達装置20を介して中央ユニット30に接続される画像センサー装置10と、前記中央ユニット30で前記画像センサー装置10からの画像を表示する頭部搭載型の表示装置40とを備えた、使用者90に周辺状況の画像を表示するための装置において、前記装置は、使用者の位置52及び視角53を検知する頭部位置センサー51を備え、
    前記中央ユニット30は、コンピュータグラフィック処理ユニット32を備え、
    前記中央ユニット30は、仮想3次元界を生成し、
    前記中央ユニット30は、前記3次元界にテクスチャとして前記画像センサー装置10から即時に画像情報8を投射し、
    前記中央ユニット30は、前記表示装置40に即時に前記3次元界の一部を表示することを特徴とする使用者に周辺状況の画像を表示するための装置。
  2. 前記表示装置40に表示される前記3次元界の一部は、前記頭部位置センサー50からの情報によって決定されることを特徴とする請求項1に記載の装置。
  3. 前記中央ユニット30は、記憶された画像情報8をテクスチャとして前記3次元界に投射することを特徴とする請求項1又は2に記載の装置。
  4. 前記仮想3次元界は、円筒状、球状又は半球状の一部の形式であることを特徴とする請求項1乃至3のいずれか1項に記載の装置。
  5. 前記伝達装置20の通信は、前記中央ユニットから要求される画像が前記中央ユニット30へ送信されるように、双方向性であることを特徴とする請求項1乃至4のいずれか1項に記載の装置。
  6. 前記表示装置40は、使用者の視線に関連して移動する頭部搭載型の小型表示装置などの表示装置であることを特徴とする請求項1乃至5のいずれか1項に記載の装置。
  7. 前記画像センサー装置10は、前記画像センサーからの画像をデジタル化するための手段を備えていることを特徴とする請求項1乃至6のいずれか1項に記載の装置。
  8. 前記画像センサー装置10は、使用者の附近、好ましくは使用者の頭部に配置されるカメラ30を備えていることを特徴とする請求項1乃至7のいずれか1項に記載の装置。
  9. 前記画像センサー装置10は、追加カメラ12を備えていることを特徴とする請求項1乃至8のいずれか1項に記載の装置。
  10. 前記中央ユニット30は、前記3次元界に仮想物体を投射することを特徴とする請求項1乃至9のいずれか1項に記載の装置。
  11. 2又はそれ以上の使用者90に接続された頭部位置センサー51と、各使用者90に対応する前記3次元界の一部を表示するための2又はそれ以上の表示装置40とを備えていることを特徴とする請求項1乃至10のいずれか1項に記載の装置。
  12. 周辺界の画像情報8を記録する画像センサー装置10と、伝達装置20と、中央ユニット30と、表示装置40と、頭部位置センサー50とを含む、使用者90に周辺状況の画像を表示するための方法において、
    コンピュータグラフィック処理ユニット32を備えた前記中央ユニット30が、仮想3次元界を生成し、
    前記頭部位置センサー50が、前記使用者の位置52及び視角53に関する情報を前記中央ユニット30に送信し、
    前記中央ユニットが、前記頭部位置センサー50からの情報に基づき、仮想3次元界に仮想的に前記使用者90を取り込み、
    前記画像センサー装置10が、前記伝達装置20を通じて前記中央ユニット30に画像情報8を送信し、
    前記コンピュータグラフィック処理ユニット32が、前記3次元界に即時にテクスチャとして前記画像センサー装置10からの即時画像情報8を投射し、
    前記中央ユニット30が、前記使用者の視角周辺領域に配置される前記3次元界の一部を表示するために前記表示装置40へ送信することを特徴とする使用者に周辺状況の画像を表示するための方法。
  13. 前記画像センサー装置10は、前記画像8をデジタル化することを特徴とする請求項12に記載の方法。
  14. 前記中央ユニット30は、表示される画像情報8に対して前記画像センサー装置10へ要求を送信することを特徴とする請求項12又は13に記載の方法。
  15. 前記画像センサー装置10は、前記要求された画像情報8を前記中央ユニット30へ送信することを特徴とする請求項14に記載の方法。
  16. 前記中央ユニット30は、車5の内装などを前記3次元界に取り込み、前記使用者90に一又はそれ以上の参照点を与えることを特徴とする請求項12乃至15のいずれか1項に記載の方法。
  17. 前記中央ユニット30は、戦車又は家屋などの仮想物体を前記3次元界に取り込み、より良い周辺状況の画像を与えて使用者を支援することを特徴とする請求項12乃至16のいずれか1項に記載の方法。
  18. 前記中央ユニット30は、前記使用者の附近のカメラ、好ましくは前記使用者の頭部上のカメラ13からの画像情報を前記3次元界に取り込むことを特徴とする請求項12乃至17のいずれか1項に記載の方法。
  19. 前記中央ユニット30は、追加カメラ12からの画像情報を前記3次元界に取り込むことを特徴とする請求項12乃至18のいずれか1項に記載の方法。
  20. 前記仮想3次元界は、円筒状、球状又は半球状の一部の形式であることを特徴とする請求項12乃至20のいずれか1項に記載の装置。
JP2007518006A 2004-06-21 2005-06-21 周辺界の画像を表示するための装置及び方法 Pending JP2008504597A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
SE0401603A SE527257C2 (sv) 2004-06-21 2004-06-21 Anordning och metod för att presentera en omvärldsbild
PCT/SE2005/000974 WO2005124694A1 (en) 2004-06-21 2005-06-21 Device and method for presenting an image of the surrounding world

Publications (1)

Publication Number Publication Date
JP2008504597A true JP2008504597A (ja) 2008-02-14

Family

ID=32906835

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007518006A Pending JP2008504597A (ja) 2004-06-21 2005-06-21 周辺界の画像を表示するための装置及び方法

Country Status (6)

Country Link
US (1) US20070247457A1 (ja)
EP (1) EP1774479A1 (ja)
JP (1) JP2008504597A (ja)
CA (1) CA2569140A1 (ja)
SE (1) SE527257C2 (ja)
WO (1) WO2005124694A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011070631A1 (ja) * 2009-12-11 2011-06-16 三菱電機株式会社 画像合成装置及び画像合成プログラム
JP2014526157A (ja) * 2011-06-23 2014-10-02 マイクロソフト コーポレーション ヘッドマウントディスプレイの全視野の分類
JP2017111724A (ja) * 2015-12-18 2017-06-22 株式会社ブリリアントサービス 配管用ヘッドマウントディスプレイ
JP6429350B1 (ja) * 2018-08-08 2018-11-28 豊 川口 車両
JP2021092802A (ja) * 2013-02-22 2021-06-17 ソニーグループ株式会社 情報処理装置、制御方法及びプログラム
JP6903287B1 (ja) * 2020-12-25 2021-07-14 雄三 安形 ワイパーを具備しない車両

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE528518C2 (sv) * 2005-04-29 2006-12-05 Totalfoersvarets Forskningsins Sätt att navigera i en omvärld registrerad av en eller flera bildsensorer och en anordning för genomförande av sättet
DE102006003524A1 (de) 2006-01-24 2007-07-26 Oerlikon Contraves Ag Panorama-Sicht-System insbesondere in Kampfahrzeugen
EP2031137A1 (en) * 2007-08-29 2009-03-04 Caterpillar Inc. Machine and method of operating thereof
IL189251A0 (en) * 2008-02-05 2008-11-03 Ehud Gal A manned mobile platforms interactive virtual window vision system
US20100026897A1 (en) * 2008-07-30 2010-02-04 Cinnafilm, Inc. Method, Apparatus, and Computer Software for Modifying Moving Images Via Motion Compensation Vectors, Degrain/Denoise, and Superresolution
DE102009014401A1 (de) * 2009-03-26 2010-09-30 Skoff, Gerhard, Dr. Knickgelenktes Fahrzeug, insbesondere gepanzertes Fahrzeug
US10168153B2 (en) 2010-12-23 2019-01-01 Trimble Inc. Enhanced position measurement systems and methods
US9879993B2 (en) 2010-12-23 2018-01-30 Trimble Inc. Enhanced bundle adjustment techniques
WO2013111145A1 (en) * 2011-12-14 2013-08-01 Virtual Logic Systems Private Ltd System and method of generating perspective corrected imagery for use in virtual combat training
WO2013111146A2 (en) * 2011-12-14 2013-08-01 Virtual Logic Systems Private Ltd System and method of providing virtual human on human combat training operations
DE102012203523A1 (de) * 2012-03-06 2013-09-12 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Bildverarbeitung von Bilddaten
US20140003654A1 (en) * 2012-06-29 2014-01-02 Nokia Corporation Method and apparatus for identifying line-of-sight and related objects of subjects in images and videos
WO2014077046A1 (ja) * 2012-11-13 2014-05-22 ソニー株式会社 画像表示装置及び画像表示方法、移動体装置、画像表示システム、並びにコンピューター・プログラム
US9235763B2 (en) * 2012-11-26 2016-01-12 Trimble Navigation Limited Integrated aerial photogrammetry surveys
JP6123365B2 (ja) * 2013-03-11 2017-05-10 セイコーエプソン株式会社 画像表示システム及び頭部装着型表示装置
US9247239B2 (en) 2013-06-20 2016-01-26 Trimble Navigation Limited Use of overlap areas to optimize bundle adjustment
SE537279C2 (sv) * 2013-07-12 2015-03-24 BAE Systems Hägglunds AB System och förfarande för behandling av taktisk informationhos stridsfordon
WO2015015521A1 (en) * 2013-07-31 2015-02-05 Mes S.P.A. A Socio Unico Indirect vision system and associated operating method
US9335545B2 (en) * 2014-01-14 2016-05-10 Caterpillar Inc. Head mountable display system
US9677840B2 (en) * 2014-03-14 2017-06-13 Lineweight Llc Augmented reality simulator
KR102246553B1 (ko) * 2014-04-24 2021-04-30 엘지전자 주식회사 Hmd 및 그 제어 방법
JP6642432B2 (ja) 2014-07-31 2020-02-05 ソニー株式会社 情報処理装置及び情報処理方法、並びに画像表示システム
GB2532464B (en) 2014-11-19 2020-09-02 Bae Systems Plc Apparatus and method for selectively displaying an operational environment
GB2532465B (en) 2014-11-19 2021-08-11 Bae Systems Plc Interactive control station
US9542718B2 (en) * 2014-12-18 2017-01-10 Intel Corporation Head mounted display update buffer
US10216273B2 (en) 2015-02-25 2019-02-26 Bae Systems Plc Apparatus and method for effecting a control action in respect of system functions
DE102015204746A1 (de) * 2015-03-17 2016-09-22 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zur Wiedergabe von Daten in einer erweiterten Realität
DE102016102808A1 (de) * 2016-02-17 2017-08-17 Krauss-Maffei Wegmann Gmbh & Co. Kg Verfahren zur Steuerung eines an einem Fahrzeug richtbar angeordnetes Sichtgeräts
US10809380B2 (en) * 2017-05-15 2020-10-20 Ouster, Inc. Augmenting panoramic LIDAR results with color
US10586349B2 (en) 2017-08-24 2020-03-10 Trimble Inc. Excavator bucket positioning via mobile device
CN108322705A (zh) * 2018-02-06 2018-07-24 南京理工大学 基于视角显示的特种车辆舱外观察系统及视频处理方法
DE102018203405A1 (de) * 2018-03-07 2019-09-12 Zf Friedrichshafen Ag Visuelles Surround-View-System zur Überwachung des Fahrzeuginneren
US10943360B1 (en) 2019-10-24 2021-03-09 Trimble Inc. Photogrammetric machine measure up
RU2740472C2 (ru) * 2020-03-20 2021-01-14 Антон Алексеевич Шевченко Способ формирования сферопанорамного поля зрения приборов наблюдения и прицеливания

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001344597A (ja) * 2000-05-30 2001-12-14 Fuji Heavy Ind Ltd 融合視界装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5130794A (en) * 1990-03-29 1992-07-14 Ritchey Kurtis J Panoramic display system
US5684937A (en) * 1992-12-14 1997-11-04 Oxaal; Ford Method and apparatus for performing perspective transformation on visible stimuli
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5850469A (en) * 1996-07-09 1998-12-15 General Electric Company Real time tracking of camera pose
EP1297691A2 (en) * 2000-03-07 2003-04-02 Sarnoff Corporation Camera pose estimation
US7056119B2 (en) * 2001-11-29 2006-06-06 Lsa, Inc. Periscopic optical training system for operators of vehicles
WO2004036894A2 (en) * 2002-10-18 2004-04-29 Sarnoff Corporation Method and system to allow panoramic visualization using multiple cameras
WO2004099851A2 (en) * 2003-05-12 2004-11-18 Elbit Systems Ltd. Method and system for audiovisual communication
US20070182812A1 (en) * 2004-05-19 2007-08-09 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
SG155167A1 (en) * 2004-08-03 2009-09-30 Silverbrook Res Pty Ltd Walk-up printing

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001344597A (ja) * 2000-05-30 2001-12-14 Fuji Heavy Ind Ltd 融合視界装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102652321A (zh) * 2009-12-11 2012-08-29 三菱电机株式会社 图像合成装置以及图像合成程序
JP5318225B2 (ja) * 2009-12-11 2013-10-16 三菱電機株式会社 画像合成装置及び画像合成プログラム
WO2011070631A1 (ja) * 2009-12-11 2011-06-16 三菱電機株式会社 画像合成装置及び画像合成プログラム
JP2014526157A (ja) * 2011-06-23 2014-10-02 マイクロソフト コーポレーション ヘッドマウントディスプレイの全視野の分類
US11513353B2 (en) 2013-02-22 2022-11-29 Sony Corporation Information processing device that displays a virtual object relative to real space
US11885971B2 (en) 2013-02-22 2024-01-30 Sony Corporation Information processing device that displays a virtual object relative to real space
JP2021092802A (ja) * 2013-02-22 2021-06-17 ソニーグループ株式会社 情報処理装置、制御方法及びプログラム
JP7268692B2 (ja) 2013-02-22 2023-05-08 ソニーグループ株式会社 情報処理装置、制御方法及びプログラム
JP2017111724A (ja) * 2015-12-18 2017-06-22 株式会社ブリリアントサービス 配管用ヘッドマウントディスプレイ
JP2020023293A (ja) * 2018-08-08 2020-02-13 豊 川口 車両
JP6429350B1 (ja) * 2018-08-08 2018-11-28 豊 川口 車両
JP2022103000A (ja) * 2020-12-25 2022-07-07 雄三 安形 ワイパーを具備しない車両
WO2022137599A1 (ja) * 2020-12-25 2022-06-30 雄三 安形 ワイパーを具備しない車両
JP6903287B1 (ja) * 2020-12-25 2021-07-14 雄三 安形 ワイパーを具備しない車両

Also Published As

Publication number Publication date
WO2005124694A1 (en) 2005-12-29
SE0401603D0 (sv) 2004-06-21
CA2569140A1 (en) 2005-12-29
EP1774479A1 (en) 2007-04-18
US20070247457A1 (en) 2007-10-25
SE527257C2 (sv) 2006-01-31
SE0401603L (sv) 2005-12-22

Similar Documents

Publication Publication Date Title
JP2008504597A (ja) 周辺界の画像を表示するための装置及び方法
US11237594B2 (en) Headset computer that uses motion and voice commands to control information display and remote devices
US8063849B2 (en) Method of navigating in a surrounding world captured by one or more image sensors and a device for carrying out the method
US7542210B2 (en) Eye tracking head mounted display
EP2979127B1 (en) Display method and system
US6359601B1 (en) Method and apparatus for eye tracking
US9270976B2 (en) Multi-user stereoscopic 3-D panoramic vision system and method
US20190049949A1 (en) Modified-reality device and method for operating a modified-reality device
WO2014077046A1 (ja) 画像表示装置及び画像表示方法、移動体装置、画像表示システム、並びにコンピューター・プログラム
US6778150B1 (en) Method and apparatus for eye tracking
JPH05112298A (ja) 航空機用仮想映像表示システム
CN108040247A (zh) 一种头戴式增强现实显示设备及方法
US20230334788A1 (en) Mixed-Reality Visor For In-Situ Vehicular Operations Training
CN111541887B (zh) 一种裸眼3d视觉伪装系统
US10464482B2 (en) Immersive displays
JP3477441B2 (ja) 画像表示装置
ES2961614T3 (es) Sistema inteligente para el control de funciones en una torreta de un vehículo de combate
RU2734063C1 (ru) Устройство для визуального наблюдения для пилота летательного аппарата
US11798127B2 (en) Spatial positioning of targeted object magnification
CN111541880B (zh) 一种2d/3d兼容视觉伪装系统
KR101973174B1 (ko) 제스처 인식 기반 무인기 제어 장치 및 방법
KR102495641B1 (ko) 증강현실 hmd를 이용한 전차용 전방위 외부 관측 시스템
CA3018465C (en) See-through based display method and system for simulators
EP3857534A1 (en) Camera based display method and system for simulators

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101027

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110323