JP2023049039A - 強化されたビジュアル慣性オドメトリの方法及び装置 - Google Patents
強化されたビジュアル慣性オドメトリの方法及び装置 Download PDFInfo
- Publication number
- JP2023049039A JP2023049039A JP2022153974A JP2022153974A JP2023049039A JP 2023049039 A JP2023049039 A JP 2023049039A JP 2022153974 A JP2022153974 A JP 2022153974A JP 2022153974 A JP2022153974 A JP 2022153974A JP 2023049039 A JP2023049039 A JP 2023049039A
- Authority
- JP
- Japan
- Prior art keywords
- image
- spatial information
- imaging system
- images
- receiving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 27
- 238000003384 imaging method Methods 0.000 claims abstract description 126
- 230000015654 memory Effects 0.000 claims description 26
- 230000004297 night vision Effects 0.000 claims description 24
- 230000003287 optical effect Effects 0.000 claims description 21
- 230000000007 visual effect Effects 0.000 claims description 18
- 230000001133 acceleration Effects 0.000 claims description 13
- 238000005259 measurement Methods 0.000 claims description 9
- 239000004065 semiconductor Substances 0.000 claims description 6
- 230000000295 complement effect Effects 0.000 claims description 4
- 230000004807 localization Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 229910044991 metal oxide Inorganic materials 0.000 claims description 4
- 150000004706 metal oxides Chemical class 0.000 claims description 4
- 230000008045 co-localization Effects 0.000 claims 1
- 238000004891 communication Methods 0.000 description 17
- 238000004590 computer program Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 230000003190 augmentative effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- A—HUMAN NECESSITIES
- A42—HEADWEAR
- A42B—HATS; HEAD COVERINGS
- A42B3/00—Helmets; Helmet covers ; Other protective head coverings
- A42B3/04—Parts, details or accessories of helmets
- A42B3/0406—Accessories for helmets
- A42B3/042—Optical devices
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/20—Filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30212—Military
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
- Developing Agents For Electrophotography (AREA)
- Camera Bodies And Camera Details Or Accessories (AREA)
Abstract
【課題】強化されたビジュアル慣性オドメトリ・アルゴリズム及びイメージングシステムを提供する。【解決手段】ビジュアル慣性オドメトリ環境100において、イメージング装置104とコンピューティング装置106を有するイメージングシステム102は、第1の画像110を受け取り、その光度を増幅して第2の画像112を生成する倍増管、第2の画像をデジタルで取り込むイメージセンサ、第1の画像の受け取り又は第2の画像の取り込みに関連する第1の時間を特定するイメージングコンポーネント、イメージングシステムの空間情報102を取得し、空間情報の取得に関連する第2の時間を特定するIMUコンポーネント及び第1の時間が第2の時間と実質的に同時であることに基づいて第2の画像を空間情報と関連付けし、第2の画像と空間情報に基づいてイメージングシステムの位置又は向き116の少なくとも一方を生成するアルゴリズムコンポーネントを含む。【選択図】図1
Description
関連出願の相互参照
本願は、2021年9月28日に出願した、“METHODS AND APPARATI FOR INTENSIFIED VISUAL-INERTIAL ODOMETRY”という名称の米国仮出願第63/249,379号に対する優先権及びその利益を主張し、この文献の内容は、全体が参照により本明細書に組み込まれる。
本願は、2021年9月28日に出願した、“METHODS AND APPARATI FOR INTENSIFIED VISUAL-INERTIAL ODOMETRY”という名称の米国仮出願第63/249,379号に対する優先権及びその利益を主張し、この文献の内容は、全体が参照により本明細書に組み込まれる。
低照度環境において、人は、従来の暗視装置を利用して周囲を見ることができる。従来の暗視装置は、暗視装置によって取り込んだ画像を増幅する光増幅機構(増強管、光電陰極、光電子増倍管等)を含み得る。さらに、暗視装置によって取り込んだ画像に基づいて、位置特定情報(例えば、位置、向き)を人に提供することが望ましい場合がある。しかしながら、従来のシステムは周囲の照明を必要とする場合があり、これは特定の用途(例えば、軍事用途)では受け入れられない。従って、改善が望まれる場合がある。
この概要は、以下の詳細な説明でさらに説明する概念の選択を簡略化した形式で紹介するために提供する。この概要は、特許請求の範囲に記載した主題の主要な特徴を特定することを意図したものではなく、また、特許請求の範囲に記載した主題の範囲を決定する際の補助として使用することを意図したものでもない。
本開示の態様は、第1の画像を受け取り、第1の画像の光度を増幅して第2の画像を生成し、第2の画像をデジタルで取り込み、第1の画像の受け取り又は第2の画像の取り込みと同時にイメージングシステムの空間情報を取得し、第1の時間が第2の時間と実質的に同時であることに基づいて第2の画像を空間情報と関連付けし、第2の画像及び空間情報に基づいてイメージングシステムの位置又は向きの少なくとも一方を生成する、方法及びシステムを含む。
本開示の態様は、暗視ヘルメットを含み、暗視ヘルメットは、第1の画像を受け取り、第1の画像の第1の光度を増幅して第2の画像を生成するように構成された第1の増倍管(multiplier)と;第2の画像をデジタルで取り込むように構成された第1のイメージセンサと;第3の画像を受け取り、第3の画像の第2の光度を増幅して第4の画像を生成するように構成された第2の増倍管と;第4の画像をデジタルで取り込むように構成された第2のイメージセンサと;第1の画像の受け取り又は第2の画像の取り込みと同時に暗視ヘルメットの空間情報を取得するように構成された慣性測定ユニットと;命令を格納するメモリと;命令を実行して、第2の画像及び第4の画像を空間情報に関連付けし、第2の画像、第4の画像、及び空間情報に基づいて暗視ヘルメットの位置又は向きの少なくとも一方を生成するように構成されたプロセッサと;第2の画像、第4の画像の少なくとも一方、又は暗視ヘルメットの位置又は向きの少なくとも一方を表示するように構成されたディスプレイと;を含む。
これらの態様の利点及び新規な特徴は、一部が以下の説明で説明され、一部は、以下の検討又は本開示の実践による学習により、当業者により明らかになろう。
本開示の態様の特性であると考えられる特徴は、添付の特許請求の範囲に記載している。以下の説明において、同様の部分は、明細書及び図面全体を通して、それぞれ同じ数字で示される。図面は必ずしも一定の縮尺で描いているわけではなく、明確さ及び簡潔さのために誇張又は一般化された形式で特定の図を示す場合がある。しかしながら、本開示自体、並びにその好ましい使用モード、更なる目的及び利点は、添付の図面と併せて読むときに、本開示の例示的な態様の以下の詳細な説明を参照することによって最もよく理解されよう。
本開示の態様による強化されたビジュアル慣性オドメトリを実施するための環境の一例を示す図である。
本開示の態様による強化されたビジュアル慣性オドメトリを実施するための方法の一例を示す図である。
本開示の態様によるコンピュータシステムの一例を示す図である。
本開示の態様による様々な例示的なシステムコンポーネントのブロック図である。
以下は、本明細書で使用する選択した用語の規定を含む。規定には、用語の範囲内にあり、実施態様に使用できるコンポーネントの様々な例及び/又は形式が含まれる。これらの例は、限定を意図したものではない。
本開示のいくつかの態様では、イメージングシステムは、低照度環境(例えば夜間)で動作するように構成され得る。イメージングシステムは、低照度環境で第1の画像を受け取ることができる。イメージングシステムは、1つ又は複数の光電子増倍管(例えば、光電陰極)及び/又はフォトダイオード(例えば、アバランシェフォトダイオード)を使用して、第1の画像の光度を増幅することができる。増幅した画像は、イメージセンサ(例えば、電荷結合素子(CCD)センサ又は相補型金属酸化物半導体(CMOS)センサ)によってデジタルで取り込まれ得る。イメージングシステムは、イメージングシステムの線速度、直線加速度、角速度、角加速度、及び/又は直線加速度又は角加速度の変化、及び/又はイメージングシステムの近くの磁場を測定する慣性測定ユニット(IMU)を含み得る。
いくつかの態様では、イメージングシステムは、取り込んだ第1の画像及び/又は増幅した画像に関連する第1の時間を特定することができる。イメージングシステムは、IMUによって決定された空間情報に関連する第2の時間を特定することができる。イメージングシステムは、上記の情報(例えば、画像及びIMU測定値)を使用して、イメージングシステム及び/又はIMUの位置、速度、方向、動き、角速度、及び/又は向きの1つ又は複数を決定することができる。
本開示の一態様では、イメージングシステムは、ヘルメットの着用者が、ヘルメットのディスプレイを介して低照度環境で物体の光強調画像を見ることができるように、ヘルメットに結合され得る。着用者は、例えば、ヘルメットのディスプレイを介して着用者に表示される拡張現実情報を見ることもできる。拡張現実情報は、IMU情報に基づいて決定された位置、速度、方向、動き、及び/又は向きを使用して生成され得る。例えば、軍関係者は、夜間の戦闘環境でイメージングシステムを含むヘルメットを着用し得る。イメージングシステムは、風景の輪郭等の拡張現実情報(位置、角速度、及び/又は向きの情報に基づいて生成される)を提供して、軍関係者のナビゲーションを支援することができる。
別の態様では、イメージングシステムは、(陸上、空中、又は水上での使用のための)乗り物に配備してもよい。乗り物のオペレータは、イメージングシステムを利用して、低照度環境で物体の光強調画像を見ることができる。
図1を参照すると、非限定的な実施態様において、ビジュアル慣性オドメトリ(odometry)の環境100の例(例えば、夜間の屋外又は人工光のない屋内等の低照明環境)が、本開示の態様に従って示されている。環境100は、イメージング装置104及び/又はコンピューティング装置106を有するイメージングシステム102を含み得る。コンピューティング装置106は、イメージングシステム102内に物理的に配置され得るか、又はイメージングシステム102から離れて配置され得る。イメージングシステム102は、低照度状況(例えば、1カンデラ/平方メートル(cd/m2)未満、0.1cd/m2、10-3cd/m2、10-5cd/m2、又は10-7cd/m2未満)の下で、環境100内の物体108の画像を取り込むように構成され得る。
ある態様では、イメージング装置104は、イメージングシステム102に関連する空間情報を取得するように構成された慣性測定ユニット(IMU)122を含み得る。例えば、空間情報には、イメージングシステム102の線速度、角速度、直線加速度、角加速度、磁場、又は磁気双極子モーメントの1つ又は複数が含まれ得る。IMU122は、例えば、1つ又は複数の加速度計、ジャイロスコープ、及び/又は磁力計を含み得る。
一態様では、イメージング装置104は、入射光をフィルタリングするように構成されたオプションの第1の光学フィルタ130を含み得る。入射光は、1つ又は複数の画像を形成し得る。第1の光学フィルタ130の例には、コリメータ、デコリメータ、ローパスフィルタ、バンドパスフィルタ、ハイパスフィルタ、減光(neutral density)フィルタ、偏光子等が含まれ得る。イメージング装置104は、入射光の光度を受け取って及び/又は増幅するように構成された増倍管(multiplier)134を含み得る。いくつかの例では、増倍管134は、光電子増倍管、光電陰極、シンチレータ、ダイノード、アノード、真空管等の1つ又は複数であってもよく、又はそれらを含んでもよい。他の例では、増倍管134は、1つ又は複数のアバランシェフォトダイオード、量子井戸ダイオード、又は他の半導体ベースのデバイスを含むデジタル増倍管134であってもよい。いくつかの態様では、増倍管134は、入射光の光度を増幅光に増幅することができる。
本開示のいくつかの態様では、イメージング装置104は、第2の光学フィルタ136を含み得る。第2の光学フィルタ136は、増幅した光をフィルタリングすることができる。オプションの第2の光学フィルタ136の例には、コリメータ、デコリメータ、ローパスフィルタ、バンドパスフィルタ、ハイパスフィルタ、減光フィルタ、偏光子等が含まれ得る。
ある態様では、イメージング装置104は、増幅した光に基づいて形成された画像をデジタル画像にデジタル化するように構成されたイメージセンサ138を含み得る。例えば、イメージセンサ138は、電荷結合素子(CCD)センサ又は相補型金属酸化物半導体(CMOS)センサを含み得る。
引き続き図1を参照すると、本開示の一態様では、コンピューティング装置106は、本明細書に記載のロック解除機能を実行するためにメモリ120に格納された命令を実行するプロセッサ140を含み得る。
本明細書で使用する「プロセッサ」という用語は、信号を処理し、汎用計算及び算術機能を実行するデバイスを指し得る。プロセッサによって処理される信号には、デジタル信号、データ信号、コンピュータ命令、プロセッサ命令、メッセージ、ビット、ビットストリーム、又は受信、送信、及び/又は検出され得る他のコンピューティングが含まれ得る。プロセッサには、例えば、1つ又は複数のマイクロプロセッサ、コントローラ、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブル論理デバイス(PLD)、状態マシン、ゲートロジック、ディスクリートハードウェア回路、及び本明細書で説明する様々な機能を実行するように構成された他の適切なハードウェアが含まれ得る。
本明細書で使用する「メモリ」という用語には、揮発性メモリ及び/又は不揮発性メモリが含まれ得る。不揮発性メモリには、例えば、ROM(読み取り専用メモリ)、PROM(プログラム可能な読み取り専用メモリ)、EPROM(消去可能なPROM)、及びEEPROM(電気的に消去可能なPROM)が含まれ得る。揮発性メモリには、例えば、RAM(ランダムアクセスメモリ)、シンクロナスRAM(SRAM)、ダイナミックRAM(DRAM)、シンクロナスDRAM(SDRAM)、ダブルデータレートSDRAM(DDR SDRAM)、及びダイレクトRAMバスRAM(DRRAM)が含まれ得る。
いくつかの態様では、コンピューティング装置106はメモリ120を含み得る。メモリ120は、例えば、ソフトウェア命令及び/又はハードウェア命令を含み得る。プロセッサ140は、命令を実行して、本開示の態様を実施することができる。
特定の態様では、プロセッサ140は、1つ又は複数の有線及び/又は無線結合を介して外部装置と通信するように構成された通信コンポーネント142を含み得る。プロセッサ140は、イメージセンサ138を介して画像を取り込むように構成されたイメージングコンポーネント144を含み得る。プロセッサ140は、IMU122によって測定された空間情報を取得するように構成されたIMUコンポーネント146を含み得る。プロセッサ140は、例えば、イメージングシステム102及び/又はイメージング装置104の位置、向き、及び/又は動きを決定するように構成されたアルゴリズムコンポーネント148を含み得る。
例えば、動作中に、イメージングシステム102及び/又はイメージング装置104は、低照度条件下で物体108の第1の画像110を取り込むことができる。増倍管134は、第1の画像110を増幅して、第2の画像112を生成することができる。第2の画像112は、第1の画像110を「明るくした」バージョンとすることができる。イメージセンサ138は、第2の画像112をデジタルで取り込むことができる。イメージングコンポーネント144は、第1のタイムスタンプを第2の画像112に追加する。第1のタイムスタンプは、イメージング装置104が第1の画像110を取り込んだ、及び/又はイメージング装置104が第2の画像112を生成した第1の時間を示し得る。
ある実施態様では、イメージングシステム102及び/又はイメージング装置104は、アバランシェフォトダイオード、量子井戸ダイオード、又は他の半導体デバイスを有する装置を使用して、第1の画像110を取り込むことができる。装置は、第1の画像110を取り込み、第1の画像110を増幅し、第1の画像110をデジタル化するように構成され得る。こうして、増倍管134及びイメージセンサ138は、(オプションの光学フィルタ130、136を伴う又は伴わない)単一の装置であり得るか、又は単一の装置を含み得る。
オプションの実施態様では、第1の光学フィルタ130(存在及び/又は利用される場合)は、増倍管134が第1の画像110を増幅する前に、第1の画像110の光をフィルタリングすることができる。例えば、第1の光学フィルタ130は、第1の画像110の光をコリメートすることができる。加えて又は代替として、第2の光学フィルタ136は(存在及び/又は利用される場合)、イメージセンサ138が第2の画像112をデジタルで取り込む前に、第2の画像112の光をフィルタリングすることができる。例えば、第2の光学フィルタ136は、第2の画像112の光を焦点合せすることができる。
本開示のある態様では、IMU122は、イメージング装置104及び/又はイメージングシステム102の線速度、角速度、直線加速度、角加速度、磁場の存在又は強さ、磁気双極子モーメントの存在又は強さ等の、イメージング装置104及び/又はイメージングシステム102の空間情報114を取得することができる。IMU122は、IMU122内の1つ又は複数の加速度計、ジャイロスコープ、及び/又は磁力計を利用して、空間情報114に関連する測定を実行することができる。IMUコンポーネント146は、第2のタイムスタンプを空間情報114に追加することができる。第2のタイムスタンプは、IMU122が、イメージングシステム102及び/又はイメージング装置104の空間情報114を取得する第2の時間を示すことができる。
本開示の一態様では、アルゴリズムコンポーネント148は、第1のタイムスタンプに基づいて第1の画像110又は第2の画像112の第1の時間を特定し、第2のタイムスタンプに基づいて空間情報114の第2の時間を特定することができる。アルゴリズムコンポーネント148は、第1の時間が第2の時間と略同一(例えば、互いに1マイクロ秒以内、1ミリ秒以内、1秒以内等)であることに基づいて、第1の画像110又は第2の画像112を空間情報114と一致させることができる。こうして、イメージング装置104は、空間情報114を取得すると同時に、第1の画像110を取り込むか、又は第2の画像112を生成することができる。
本開示の一態様では、アルゴリズムコンポーネント148は、ビジュアル・オドメトリ、ビジュアル慣性オドメトリ、及び/又は同時位置特定及びマッピング(SLAM)等の1つ又は複数のアルゴリズムを実施して、イメージングシステム102及び/又はイメージング装置104の位置及び/又は向きを決定することができる。オプションの態様では、アルゴリズムコンポーネント148は、環境100の視覚マップを生成することができる。例えば、アルゴリズムコンポーネント148は、周囲環境の風景の輪郭を示す視覚マップを生成することができる。
ある実施態様では、イメージングシステム102は、オプションで、追加の増倍管、光学フィルタ、イメージセンサ、及び/又はIMU等の追加のイメージング装置を含み得る。イメージングシステム102は、追加のイメージング装置からのデータストリームを利用して、イメージングシステム102及び/又はイメージング装置104の位置及び/又は向き116の精度を高めることができる。
オプションの実施態様では、イメージングシステム102は、イメージングシステム102の近くの環境パラメータを取り込むように構成された、音響センサ又は磁気センサ等の非イメージセンサを含み得る。イメージングシステム102は、非イメージセンサからのデータストリームを利用して、イメージングシステム102及び/又はイメージング装置104の位置及び/又は方向116の精度を高めることができる。
場合によっては、ビジュアル・オドメトリ、ビジュアル慣性オドメトリ、及び/又はSLAM等のアルゴリズムは、(例えば、基準マークからの)基準追跡に基づいて視覚入力を受信して、イメージングシステム102及び/又はイメージング装置104の位置及び/又は向き116を決定することができる。
一例では、イメージングシステム102は、オペレータが着用するように構成されたヘルメットに取り付けられた2つの光学増倍光学カメラIMUパイプラインを含み得る(図1には図示せず)。パイプラインは、パイプラインが突出しないように、例えばミラーを組み込んで光を曲げることができる。各パイプライン回路は、無線ネットワーク(例えば、新しい無線又は第5世代(5G))を利用して、画像及び/又はIMU空間情報を(例えば、オペレータの身体に取り付けられた)コンピュータに送信することができる。コンピュータは、画像及び/又は空間情報を使用してビジュアル・ナビゲーション・アルゴリズムを実行し、2台のカメラの位置及び向きを出力することができる。いくつかの実施態様では、パイプラインは、ヘルメットのヘッドマウントディスプレイのディスプレイに画像を提供することもでき、これにより、オペレータが暗闇で実質的に仮想的に見ることができる。コンピュータは、カメラの位置及び向きを使用して、ディスプレイの位置及び/又は方向を推測することができる。コンピュータは、拡張現実及び/又は混合現実をディスプレイにレンダリングすることができる。例えば、コンピュータは、建物、風景、及び/又は物体の輪郭を重ね合わせて、オペレータが夜間に環境を見るのを助けることができる。
図2に移ると、強化されたビジュアル慣性オドメトリを生成するための方法200の例は、図1のイメージングシステム102、イメージング装置104、コンピューティング装置106、IMU122、増倍管134、イメージセンサ138、メモリ120、プロセッサ140、通信コンポーネント142、イメージングコンポーネント144、IMUコンポーネント146、及び/又はアルゴリズムコンポーネント148によって実施され得る。
ブロック202において、方法200は第1の画像を受け取ることができる。例えば、増倍管134は、第1の画像110(図1)を受け取ることができる。
ブロック204において、方法200は、第1の画像の光度を増幅して第2の画像を生成することができる。例えば、図1に示されるように、増倍管134は、第1の画像110の光度を増幅して、第2の画像112を生成することができる。
ブロック206において、方法200は、第2の画像をデジタルで取り込むことができる。例えば、図1に示されるように、イメージセンサ138は、第2の画像112をデジタルで取り込むことができる。
ブロック208において、方法200は、オプションとして、第1の画像の受け取り又は第2の画像の取り込みに関連する第1の時間を特定することができる。例えば、図1に示されるように、イメージングコンポーネント144は、第1の画像110の受け取り又は第2の画像112のデジタルでの取り込みに関連する第1の時間を特定することができる。
ブロック210において、方法200は、第1の画像の受け取り又は第2の画像の取り込みと同時に、イメージングシステムの空間情報を取得することができる。例えば、図1に示されるように、IMU122は、第1の画像110を受け取るか、又は第2の画像112を取り込むことで、イメージングシステム102及び/又はイメージング装置104の空間情報114を同時に取得することができる。
ブロック212において、方法200は、オプションで、空間情報の取得に関連する第2の時間を特定することができる。例えば、図1に示されるように、IMUコンポーネント146は、空間情報114の取得に関連する第2の時間を特定することができる。
ブロック214において、方法200は、第2の画像を空間情報に関連付けることができる。例えば、図1に示されるように、アルゴリズムコンポーネント148は、第2の画像112を空間情報114と関連付けることができる。1つのオプションの実施態様では、アルゴリズムコンポーネント148は、第1の時間が第2の時間と実質的に同時である(例えば、第1の時間及び第2の時間は、1ミリ秒、10ミリ秒、30ミリ秒、50ミリ秒、100ミリ秒、500ミリ秒等の範囲内である)ことに基づいて、第2の画像112を空間情報114と関連付けることができる。
ブロック216において、方法200は、第2の画像及び空間情報に基づいて、イメージングシステムの位置及び/又は向きの少なくとも一方を生成することができる。例えば、図1に示されるように、アルゴリズムコンポーネント148は、第2の画像112及び空間情報114に基づいて、イメージングシステム102の位置及び/又は向き116のうちの少なくとも一方を生成することができる。
本開示の態様は、ハードウェア、ソフトウェア、又はそれらの組合せを使用して実現することができ、1つ又は複数のコンピュータシステム又は他の処理システムで実現することができる。本開示の一態様では、特徴は、本明細書に記載の機能を実行できる1つ又は複数のコンピュータシステムを対象とする。このようなコンピュータシステム2000の一例を図3に示す。いくつかの例では、イメージングシステム102、イメージング装置104、及び/又はコンピューティング装置106は、図3に示されるコンピュータシステム2000として実装され得る。イメージングシステム102、イメージング装置104、及び/又はコンピューティング装置106は、コンピュータシステム2000のコンポーネントの一部又は全てを含み得る。
コンピュータシステム2000は、プロセッサ2004等の1つ又は複数のプロセッサを含む。プロセッサ2004は、通信インフラストラクチャ2006(例えば、通信バス、クロスオーバーバー、又はネットワーク)に接続される。この例示的なコンピュータシステムに関して、様々なソフトウェアの態様を説明する。この説明を読んだ後に、当業者には、他のコンピュータシステム及び/又はアーキテクチャを使用して本開示の態様をどのように実現するかが明らかになろう。
コンピュータシステム2000は、ディスプレイユニット2030上に表示するために、通信インフラストラクチャ2006から(又は図示していないフレームバッファから)グラフィックス、テキスト、及び他のデータを転送する表示インターフェイス2002を含み得る。コンピュータシステム2000は、1次メモリ2008、好ましくはランダムアクセスメモリ(RAM)も含み、また、2次メモリ2010も含む。2次メモリ2010は、例えば、フロッピーディスク、磁気テープドライブ、光ディスクドライブ、ユニバーサルシリアルバス(BUS)、フラッシュドライブ等を表す、ハードディスクドライブ2012及び/又はリムーバブルストレージドライブ2014を含み得る。リムーバブルストレージドライブ2014は、よく知られた方法でリムーバブル記憶装置2018との間で読み書きする。リムーバブル記憶装置2018は、フロッピーディスク、磁気テープ、光ディスク、USBフラッシュドライブ等を表し、リムーバブルストレージドライブ2014によって読み書きされる。理解されるように、リムーバブル記憶装置2018は、そこに格納されているコンピュータソフトウェア及び/又はデータを含むコンピュータ使用可能な記憶媒体を含む。いくつかの例では、1次メモリ2008、2次メモリ2010、リムーバブル記憶装置2018、及び/又はリムーバブル記憶装置2022の1つ又は複数は、非一時的なメモリであり得る。
本開示の代替の態様は、2次メモリ2010を含むことができ、コンピュータプログラム又は他の命令をコンピュータシステム2000にロードできるようにするための他の同様の装置を含み得る。このような装置には、例えば、リムーバブル記憶装置2022及びインターフェイス2020が含まれ得る。このような例には、プログラムカートリッジ及びカートリッジインターフェイス(ビデオゲーム装置に見受けられるもの等)、リムーバブルメモリチップ(消去可能なプログラム可能な読み取り専用メモリ(EPROM)、又はプログラム可能な読み取り専用メモリ(PROM)等)及び関連するソケット、及びリムーバブル記憶装置2022及びインターフェイス2020が含まれ得、ソフトウェア及びデータをリムーバブル記憶装置2022からコンピュータシステム2000に転送するのを可能にする。
コンピュータシステム2000は、通信インターフェイス2024も含み得る。通信インターフェイス2024は、ソフトウェア及びデータをコンピュータシステム2000と外部装置との間で転送するのを可能にし得る。通信インターフェイス2024の例には、モデム、ネットワークインターフェイス(イーサネットカード等)、通信ポート、パーソナルコンピュータメモリカード国際協会(PCMCIA)スロット及びカード等が含まれ得る。通信インターフェイスを介して転送されるソフトウェア及びデータは、信号2028の形式であり得、これらの信号2028は、通信インターフェイス2024によって受信可能な電子信号、電磁気信号、光信号、又は他の信号であってよい。これらの信号2028は、通信経路(例えば、チャネル)2026を介して通信インターフェイス2024に提供される。この経路2026は、信号2028を搬送し、ワイヤ又はケーブル、光ファイバ、電話回線、セルラリンク、RFリンク、及び/又は他の通信チャネルを使用して実装することができる。この文書では、「コンピュータプログラム媒体」及び「コンピュータで使用可能な媒体」という用語は、一般に、リムーバブル記憶装置2018、ハードディスクドライブ2012にインストールされたハードディスク、信号2028等の媒体を指すために使用される。これらのコンピュータプログラム製品は、ソフトウェアをコンピュータシステム2000に提供する。本開示の態様は、そのようなコンピュータプログラム製品を対象とする。
コンピュータプログラム(コンピュータ制御ロジックとも呼ばれる)は、1次メモリ2008及び/又は2次メモリ2010に格納される。コンピュータプログラムは、通信インターフェイス2024を介して受信することもできる。そのようなコンピュータプログラムは、実行されると、本明細書で説明するように、コンピュータシステム2000が本開示の態様に従って機能を実行するのを可能にする。特に、コンピュータプログラムは、実行されると、プロセッサ2004が本開示の態様に従って特徴を実行するのを可能にする。従って、そのようなコンピュータプログラムは、コンピュータシステム2000のコントローラを表す。
方法がソフトウェアを使用して実施される本開示の一態様では、ソフトウェアは、コンピュータプログラム製品に格納され、リムーバブルストレージドライブ2014、ハードディスクドライブ2012、又はインターフェイス2020を使用してコンピュータシステム2000にロードされ得る。制御ロジック(ソフトウェア)は、プロセッサ2004によって実行されると、プロセッサ2004に本明細書に記載の機能を実行させる。本開示の別の態様では、システムは、例えば、特定用途向け集積回路(ASIC)等のハードウェアコンポーネントを使用して、主にハードウェアで実装される。本明細書に記載の機能を実行するためのハードウェア状態マシンの実施態様は、当業者には明らかであろう。
図4は、本開示の一態様による、様々な例示的なシステムコンポーネントのブロック図である。図4は、本開示に従って使用可能な通信システム2100を示す。通信システム2100は、1つ又は複数のアクセサ(accessors)2160、2162(本明細書では、1つ又は複数の「ユーザ」とも交換可能に呼ばれる)及び1つ又は複数の端末2142、2166を含む。一態様では、本開示の態様に従って使用するためのデータは、例えば、パーソナルコンピュータ(PC)、ミニコンピュータ、メインフレームコンピュータ、マイクロコンピュータ、電話装置、又は携帯情報端末(「PDA」)等の無線装置等の1つ又は複数の端末2142、2166を介して、又はインターネット又はイントラネット等のネットワーク2144、及びカップリング2145、2146、2164を介して、PC、ミニコンピュータ、メインフレームコンピュータ、マイクロコンピュータ、又はデータのためのプロセッサ及びレポジトリ及び/又はデータのためのレポジトリへの接続を有する他の装置等のサーバ2143に結合されたハンドヘルド無線装置介して1つ又は複数のアクセサ2160、2162によって入力及び/又はアクセスされる。カップリング2145、2146、2164は、例えば、有線、無線、又は光ファイバリンクを含む。別の変形例では、本開示の態様による方法及びシステムは、単一の端末等のスタンドアロン環境で動作する。
上に開示した及び他の特徴及び機能、又はその代替物又は変形の様々な実施態様は、多くの他の異なるシステム又はアプリケーションに望ましく組み合わせることができることを理解されたい。また、現在予見されていない、又は予期されていない様々な代替、変更、変形、又は改良が、当業者によってその後になされる可能性もあり、これらもまた、以下の特許請求の範囲に含まれることが意図される。
Claims (32)
- イメージングシステムによって実施される方法であって、当該方法は、
第1の画像を受け取るステップと、
該第1の画像の光度を増幅して第2の画像を生成するステップと、
該第2の画像をデジタルで取り込むステップと、
前記第1の画像の受け取り又は前記第2の画像の取得と同時に、前記イメージングシステムの空間情報を取得するステップと、
前記第2の画像を前記空間情報に関連付けるステップと、
前記第2の画像及び前記空間情報に基づいて、前記イメージングシステムの位置又は向きの少なくとも一方を生成するステップと、を含む、
方法。 - 前記光度を増幅する前に、前記第1の画像に関連する光をコリメートするステップをさらに含む、請求項1に記載の方法。
- 前記第2の画像をデジタルで取り込む前に、前記第2の画像の焦点を合わせるステップをさらに含む、請求項1に記載の方法。
- 前記第1の画像の受け取り又は前記第2の画像の取り込みに関連する第1の時間を特定するステップと、
前記空間情報の取得に関連する第2の時間を特定するステップと、
前記第1の時間を示す第1のタイムスタンプを前記第1の画像又は前記第2の画像に追加するステップと、
前記第2の時間を示す第2のタイムスタンプを前記空間情報に追加するステップと、を含み、
前記第2の画像を前記空間情報に関連付けるステップは、前記第1の時間が前記第2の時間と実質的に同時であることに基づいて、前記第2の画像を前記空間情報に関連付けるステップを含む、請求項1に記載の方法。 - 前記イメージングシステムを取り囲む環境の点の3次元位置を決定するステップをさらに含む、請求項1に記載の方法。
- 前記イメージングシステムの前記位置又は向きの少なくとも一方を生成するステップは、同時位置特定及びマッピングアルゴリズム、ビジュアル・オドメトリ・アルゴリズム、又はビジュアル慣性オドメトリ・アルゴリズムの1つ又は複数を使用して前記生成するステップを含む、請求項1に記載の方法。
- 前記空間情報を受け取るステップは、前記イメージングシステムの線速度、前記イメージングシステムの角速度、前記イメージングシステムの直線加速度、前記イメージングシステムの角加速度、磁場、又は磁気双極子モーメントの1つ又は複数を測定するステップを含む、請求項1に記載の方法。
- 前記第1の画像に関連付けられた第3の画像を受け取るステップと、
該第3の画像の第2の光度を増幅して第4の画像を生成するステップと、
該第4の画像をデジタルで取り込むステップと、
前記第3の画像の受け取り又は前記第4の画像の取り込みと同時に、前記イメージングシステムの追加の空間情報を取得するステップであって、前記空間情報及び前記追加の空間情報は同一又は異なる、ステップと、
前記第4の画像を前記追加の空間情報に関連付けるステップと、を含み、
前記イメージングシステムの前記位置又は前記向きの少なくとも一方を生成するステップは、前記第2の画像、前記第4の画像、前記空間情報、及び前記追加の空間情報に基づいて前記生成するステップを含む、請求項1に記載の方法。 - 前記第1の画像に関連付けられた第1の複数の画像を受け取るステップと、
該第1の複数の画像の複数の光度を増幅して、第2の複数の画像を生成するステップと、
該第2の複数の画像をデジタルで取り込むステップと、
前記第1の複数の画像の受け取り又は前記第2の複数の画像の取り込みと同時に、前記イメージングシステムの追加の空間情報を取得するステップであって、前記空間情報及び前記追加の空間情報は同一又は異なる、ステップと、
前記第2の複数の画像を前記追加の空間情報と関連付けるステップと、を含み、
前記イメージングシステムの前記位置又は前記向きの少なくとも一方を生成するステップは、前記第2の画像、前記第2の複数の画像、前記空間情報、及び前記追加の空間情報に基づいて前記生成するステップを含む、請求項1に記載の方法。 - イメージングシステムであって、当該イメージングシステムは、
増倍管であって、
第1の画像を受け取り、
該第1の画像の光度を増幅して第2の画像を生成するように構成された増倍管と、
前記第2の画像をデジタルで取り込むように構成されたイメージセンサと、
前記第1の画像の受け取り又は前記第2の画像の取得と同時に、前記イメージングシステムの空間情報を取得するように構成された慣性測定ユニットと、
命令を格納するメモリと、
プロセッサであって、前記命令を実行して、
前記第2の画像を前記空間情報に関連付け、
前記第2の画像及び前記空間情報に基づいて、前記イメージングシステムの位置又は向きの少なくとも一方を生成するように構成されたプロセッサと、を含む、
イメージングシステム。 - 前記光度を増幅する前に、前記第1の画像に関連する光をコリメートするように構成された第1の光学フィルタをさらに含む、請求項10に記載のイメージングシステム。
- 前記第2の画像をデジタルで取り込む前に、前記第2の画像の焦点を合わせるように構成された第2の光学フィルタをさらに含む、請求項11に記載のイメージングシステム。
- 前記プロセッサは、
前記第1の画像の受け取り又は前記第2の画像の取り込みに関連する第1の時間を特定し、
前記空間情報の取得に関連する第2の時間を特定し、
前記第1の時間を示す第1のタイムスタンプを前記第1の画像又は前記第2の画像に追加し、
前記第2の時間を示す第2のタイムスタンプを前記空間情報に追加するようにさらに構成され、
前記第2の画像を前記空間情報に関連付けることは、前記第1の時間が前記第2の時間と実質的に同時であることに基づいて、前記第2の画像を前記空間情報に関連付けることを含む、請求項10に記載のイメージングシステム。 - 前記プロセッサは、前記イメージングシステムを取り囲む環境の点の3次元位置を決定するようにさらに構成される、請求項10に記載のイメージングシステム。
- 前記プロセッサは、同時位置特定及びマッピングアルゴリズム、ビジュアル・オドメトリ・アルゴリズム、又はビジュアル慣性オドメトリ・アルゴリズムの1つ又は複数を用いて、前記イメージングシステムの前記位置又は前記向きの少なくとも一方を生成するようにさらに構成される、請求項10に記載のイメージングシステム。
- 前記プロセッサは、前記イメージングシステムの線速度、前記イメージングシステムの角速度、前記イメージングシステムの線形加速度、前記イメージングシステムの角加速度、磁場、又は磁気双極子モーメントの1つ又は複数を測定することによって、前記空間情報を受信するようにさらに構成される、請求項10に記載のイメージングシステム。
- 前記プロセッサは、
前記第1の画像に関連付けられた第3の画像を受け取ること、
該第3の画像の第2の光度を増幅して第4の画像を生成すること、
該第4の画像をデジタルで取り込むこと、
前記第3の画像の受け取り又は前記第4の画像の取り込みと同時に、前記イメージングシステムの追加の空間情報を取得することであって、前記空間情報及び前記追加の空間情報は同一又は異なる、こと、及び
前記第4の画像を前記追加の空間情報と関連付けること、を行うようにさらに構成され、
前記イメージングシステムの前記位置又は前記向きの少なくとも一方を生成することは、前記第2の画像、前記第4の画像、前記空間情報、及び前記追加の空間情報に基づいて前記生成することを含む、請求項10に記載のイメージングシステム。 - 前記プロセッサは、
前記第1の画像に関連付けられた第1の複数の画像を受け取ること、
前記第1の複数の画像の複数の光度を増幅して第2の複数の画像を生成すること、
前記第2の複数の画像をデジタルで取り込むこと、
前記第1の複数の画像の受け取り又は前記第2の複数の画像を取り込みと同時に、前記イメージングシステムの追加の空間情報を取得することであって、前記空間情報及び前記追加の空間情報は同一又は異なる、こと、及び
前記第2の複数の画像を前記追加の空間情報と関連付けること、を行うようにさらに構成され、
前記イメージングシステムの前記位置又は前記向きの少なくとも一方を生成することは、前記第2の画像、前記第2の複数の画像、前記空間情報、及び前記追加の空間情報に基づいて前記生成することを含む、請求項10に記載のイメージングシステム。 - 前記慣性測定ユニットは、少なくとも1つ又は複数の加速度計、ジャイロスコープ、及び/又は磁力計を含む、請求項10に記載のイメージングシステム。
- 前記イメージセンサは、電荷結合素子(CCD)センサ又は相補型金属酸化膜半導体(CMOS)センサを含む、請求項10に記載のイメージングシステム。
- 前記増倍管(multiplier)は、増強管(intensifier tube)、光電陰極、光電子増倍管、アバランシェフォトダイオード、又は量子井戸ダイオードを含む、請求項10に記載のイメージングシステム。
- 暗視ヘルメットであって、
第1の増倍管であって、
第1の画像を受け取り、
該第1の画像の第1の光度を増幅して第2の画像を生成するように構成された第1の倍増管と、
前記第2の画像をデジタルで取り込むように構成された第1のイメージセンサと、
第2の増倍管であって、
前記第1の画像の受け取りと同時に第3の画像を受け取り、
該第3の画像の第2の光度を増幅して第4の画像を生成するように構成された第2の増倍管と、
前記第4の画像をデジタルで取り込むように構成された第2のイメージセンサと、
前記第1の画像の受け取り又は前記第2の画像の取得と同時に、当該暗視ヘルメットの空間情報を取得するように構成された慣性測定ユニットと、
命令を格納するメモリと、
プロセッサであって、前記命令を実行して、
前記第2の画像及び前記第4の画像を前記空間情報に関連付け、
前記第2の画像、前記第4の画像、及び前記空間情報に基づいて、前記暗視ヘルメットの位置又は向きの少なくとも一方を生成するように構成されたプロセッサと、
前記第2の画像、前記第4の画像の少なくとも一方、又は当該暗視ヘルメットの前記位置又は前記向きの少なくとも一方を表示するように構成されたディスプレイと、を含む、
暗視ヘルメット。 - 前記第1の光度を増幅する前に、前記第1の画像に関連する光をコリメートするように構成された第1の光学フィルタと、
前記第2の光度を増幅する前に、前記第3の画像に関連する光をコリメートするように構成された第2の光学フィルタをさらに含む、請求項22に記載の暗視ヘルメット。 - 前記第2の画像をデジタルで取り込む前に、前記第2の画像の焦点を合わせるように構成された第3の光学フィルタと、
前記第4の画像をデジタルで取り込む前に、前記第4の画像の焦点を合わせるように構成された第4の光学フィルタと、をさらに含む、請求項23に記載の暗視ヘルメット。 - 前記プロセッサは、
前記第1の画像の受け取り又は前記第2の画像の取り込みに関連する第1の時間を特定し、
前記第3の画像の受け取り又は前記第4の画像の取り込みに関連する第2の時間を特定し、
前記空間情報の取得に関連する第3の時間を特定し、
前記第1の時間を示す第1のタイムスタンプを、前記第1の画像、前記第2の画像、前記第3の画像、又は前記第4の画像の少なくとも1つに追加し、
前記第3の時間を示す第2のタイムスタンプを前記空間情報に追加する、ようにさらに構成され、
前記第2の画像及び前記第4の画像を前記空間情報に関連付けることは、前記第1の時間及び前記第2の時間が前記第3の時間と実質的に同時であることに基づいて、前記第2の画像及び前記第4の画像を前記空間情報に関連付けることを含む、請求項22に記載の暗視ヘルメット。 - 前記プロセッサは、イメージングシステムを取り囲む環境の点の3次元位置を決定するようにさらに構成される、請求項22に記載の暗視ヘルメット。
- 前記プロセッサは、同時位置特定及びマッピングアルゴリズム、ビジュアル・オドメトリ・アルゴリズム、又はビジュアル慣性オドメトリ・アルゴリズムの1つ又は複数を用いて、イメージングシステムの前記位置又は前記向きの少なくとも一方を生成するようにさらに構成される、請求項22に記載の暗視ヘルメット。
- 前記プロセッサは、イメージングシステムの線速度、前記イメージングシステムの角速度、前記イメージングシステムの直線加速度、前記イメージングシステムの角加速度、磁場、又は磁気双極子モーメントの1つ又は複数を測定することによって、前記空間情報を受信するようにさらに構成される、請求項22に記載の暗視ヘルメット。
- 前記プロセッサは、
前記第1の画像に関連付けられた第1の複数の画像を受け取ること、
前記第1の複数の画像の複数の光度を増幅して第2の複数の画像を生成すること、
該第2の複数の画像をデジタルで取り込むこと、
前記第1の複数の画像の受け取り又は前記第2の複数の画像を取り込みと同時に、当該暗視ヘルメットの追加の空間情報を取得することであって、前記空間情報及び前記追加の空間情報は同一又は異なる、こと、及び
前記第2の複数の画像を前記追加の空間情報に関連付けること、を行うようにさらに構成され、
イメージングシステムの前記位置又は前記向きの少なくとも一方を生成することは、前記第2の画像、前記第2の複数の画像、前記空間情報、及び前記追加の空間情報に基づいて前記生成することを行う、請求項22に記載の暗視ヘルメット。 - 前記慣性測定ユニットは、少なくとも1つ又は複数の加速度計、ジャイロスコープ、及び/又は磁力計を含む、請求項22に記載の暗視ヘルメット。
- 前記イメージセンサは、電荷結合素子(CCD)センサ又は相補型金属酸化物半導体(CMOS)センサを含む、請求項22に記載の暗視ヘルメット。
- 前記増倍管は、増強管、光電陰極、光電子増倍管、アバランシェフォトダイオード、又は量子井戸ダイオードを含む、請求項22に記載の暗視ヘルメット。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163249379P | 2021-09-28 | 2021-09-28 | |
US63/249,379 | 2021-09-28 | ||
US17/935,383 US20230094104A1 (en) | 2021-09-28 | 2022-09-26 | Methods and apparati for intensified visual-inertial odometry |
US17/935,383 | 2022-09-26 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023049039A true JP2023049039A (ja) | 2023-04-07 |
Family
ID=83506293
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022153974A Pending JP2023049039A (ja) | 2021-09-28 | 2022-09-27 | 強化されたビジュアル慣性オドメトリの方法及び装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230094104A1 (ja) |
EP (1) | EP4156103A1 (ja) |
JP (1) | JP2023049039A (ja) |
KR (1) | KR20230045587A (ja) |
IL (1) | IL296849A (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4194811A1 (en) * | 2015-11-10 | 2023-06-14 | Thales Defense & Security Inc. | Robust vision-inertial pedestrian tracking with heading auto-alignment |
US10482668B2 (en) * | 2016-06-02 | 2019-11-19 | Thales Visionix, Inc. | Miniature vision-inertial navigation system with extended dynamic range |
CN112129287B (zh) * | 2020-09-24 | 2022-06-10 | 北京华捷艾米科技有限公司 | 一种基于视觉惯性里程计处理的方法和相关装置 |
-
2022
- 2022-09-26 US US17/935,383 patent/US20230094104A1/en active Pending
- 2022-09-27 JP JP2022153974A patent/JP2023049039A/ja active Pending
- 2022-09-28 IL IL296849A patent/IL296849A/en unknown
- 2022-09-28 EP EP22198433.9A patent/EP4156103A1/en active Pending
- 2022-09-28 KR KR1020220123805A patent/KR20230045587A/ko unknown
Also Published As
Publication number | Publication date |
---|---|
EP4156103A1 (en) | 2023-03-29 |
US20230094104A1 (en) | 2023-03-30 |
KR20230045587A (ko) | 2023-04-04 |
IL296849A (en) | 2023-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9710919B2 (en) | Image-based surface tracking | |
CN106871878B (zh) | 手持测距装置及利用其创建空间模型的方法、存储介质 | |
CN106774844B (zh) | 一种用于虚拟定位的方法及设备 | |
JP2021517685A (ja) | 機械学習を使用した画像増強深度感知 | |
US20120001901A1 (en) | Apparatus and method for providing 3d augmented reality | |
CN108692701B (zh) | 基于粒子滤波器的移动机器人多传感器融合定位方法 | |
JP6304244B2 (ja) | 3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム | |
CN107122770A (zh) | 多目相机系统、智能驾驶系统、汽车、方法和存储介质 | |
CN114830624A (zh) | 弱光环境下的曝光变化控制 | |
CN116137902A (zh) | 用于红外光检测的计算机视觉相机 | |
KR101296601B1 (ko) | 지리 정보 파노라마 사진의 제작을 위한 카메라 제어 시스템 및 방법 | |
CN106597469B (zh) | 主动成像的激光摄像头的成像方法 | |
CN107347133A (zh) | 一种双传感器相机 | |
JP2023049039A (ja) | 強化されたビジュアル慣性オドメトリの方法及び装置 | |
AU2016321728B2 (en) | An apparatus and a method for encoding an image captured by an optical acquisition system | |
US20090003654A1 (en) | Single-aperature passive rangefinder and method of determining a range | |
JP5514062B2 (ja) | 電子機器、情報付き撮像画面表示方法及びプログラム | |
JP2009031206A (ja) | 位置測定装置 | |
JP2019215364A (ja) | 水底観測システム | |
JP6868167B1 (ja) | 撮像装置および撮像処理方法 | |
JP6610741B2 (ja) | 画像表示システム、画像表示装置、画像表示方法、およびプログラム | |
WO2020045092A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
Tommaselli et al. | Effects of hyper hemispherical field in bundle adjustment with fisheye images | |
JP6868168B1 (ja) | 撮像装置および撮像処理方法 | |
JP6966011B1 (ja) | 撮像装置、撮像方法および情報処理装置 |