JP2021170007A - 複数技術奥行きマップ取得および融合のための方法および装置 - Google Patents
複数技術奥行きマップ取得および融合のための方法および装置 Download PDFInfo
- Publication number
- JP2021170007A JP2021170007A JP2021096659A JP2021096659A JP2021170007A JP 2021170007 A JP2021170007 A JP 2021170007A JP 2021096659 A JP2021096659 A JP 2021096659A JP 2021096659 A JP2021096659 A JP 2021096659A JP 2021170007 A JP2021170007 A JP 2021170007A
- Authority
- JP
- Japan
- Prior art keywords
- depth
- sensing
- map
- depth map
- depth sensing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 238000000034 method Methods 0.000 title claims abstract description 171
- 230000004927 fusion Effects 0.000 title claims abstract description 63
- 238000005516 engineering process Methods 0.000 title description 8
- 238000003384 imaging method Methods 0.000 claims abstract description 105
- 238000005259 measurement Methods 0.000 claims abstract description 75
- 238000012545 processing Methods 0.000 claims description 50
- 230000001419 dependent effect Effects 0.000 claims description 15
- 238000012552 review Methods 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 description 43
- 230000015654 memory Effects 0.000 description 29
- 230000003287 optical effect Effects 0.000 description 29
- 230000009471 action Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000003936 working memory Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000008901 benefit Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000003213 activating effect Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 239000000835 fiber Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 244000144992 flock Species 0.000 description 1
- 230000001404 mediated effect Effects 0.000 description 1
- 239000005022 packaging material Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/507—Depth or shape recovery from shading
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/36—Videogrammetry, i.e. electronic processing of video signals from a single source or from different sources to give parallax or range information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【課題】複数の個々の奥行きマップから融合奥行きマップを生成するためのシステム、装置、および方法を提供する。【解決手段】融合奥行きマップは、奥行きマップ内のポイントに強固な奥行き評価を与えるように構成される。視野(FOV)の画像を取り込み第1の奥行き感知方法を選択するように構成されたイメージングデバイスのFOVを識別する構成要素を備える。第1の選択された奥行き感知方法を使用してイメージングデバイスに対するFOVの奥行きを感知し、第1の選択された奥行き感知方法の感知された奥行きに基づいてFOVの第1の奥行きマップを生成することができる。さらに、1つまたは複数の不正確な奥行き測定値を有する第1の奥行きマップの1つまたは複数のポイントの領域を識別し、追加の奥行き感知が必要とされるかどうかを決定することができる。【選択図】図2
Description
[0001]本出願は、一般に、視野(FOV)の奥行きマップの生成に関し、より詳細には、個々に生成された奥行きマップによってもたらされることがある欠点を補償するように構成されたFOVの融合または集合型の(fused or aggregate)奥行きマップを自動的に生成するためのシステム、方法、およびデバイスに関する。
[0002]ユーザは、写真またはビデオに取り込み、後日および/または後の時刻に再び見たい瞬間または出来事、たとえば子供の最初の歩みもしくは言葉、卒業式、眺めのよい風景、または結婚式に、しばしば遭遇する。多くの場合、これらの瞬間または出来事は、静的であり、一般に予測可能な発生であり得(たとえば、結婚式、卒業式、穏やかな景観、またはポートレート)、ユーザがイメージング機器、たとえば、カメラ、ビデオレコーダ、スマートフォンなどを利用することによって特定の奥行きで完全に取り込まれ得る。しかしながら、時には、適切な時に特定の奥行きで対象物または出来事をもつ光景(scenes)を取り込むことは、特に光景が移動対象物を含んでいる場合またはカメラがパニングにかけられている場合、課題をもたらすことがある。たとえば、子供を伴ってカメラがパンしなければならない間、一群の木を通って飛んでいる鳥を取り込むこと、または歩いている子供を取り込むこと。これは、イメージング機器がFOVの奥行きマップを生成する際に有し得る難しさに少なくとも部分的に起因することがある。奥行きマッピングシステムは、目標対象物の相対奥行きを決定するために使用され得、いくつかのプロセス、たとえば、とりわけ、オートフォーカシング、対象物検出、顔認識のいずれかを制御するために使用され得る。したがって、正確で信頼できる奥行きマップを生成することの難しさは、その機能において奥行きマッピングシステムを使用するイメージングデバイスに対して難しさをもたらすことがある。したがって、イメージング機器において使用するために光景の奥行きマップを生成するのを容易にするシステムおよび方法が有益であろう。
[0003]本発明のシステム、方法、およびデバイスは各々いくつかの態様を有し、いくつかの態様のうちの単一のものが、望ましい属性への責任を単独で負うものではない。本明細書で開示される実施態様は各々いくつかの革新的な態様を有し、いくつかの革新的な態様のうちの単一のものが、本発明の望ましい属性への責任を単独で負うものではない。以下の特許請求の範囲によって表されるような本発明の範囲を限定することなく、いくつかの特徴が次に簡単に論じられる。この議論を検討した後、および特に「発明を実施するための形態」と題するセクションを読んだ後、改良型の取込みを含み、またはフレーム内の目標対象物を所望の奥行きで識別する本発明の様々な実施形態の特徴がどのように利点を提供するかを理解するであろう。
[0004]本開示で説明される主題の1つの態様は、奥行きマップを生成するための装置を提供する。装置は、画像取込みデバイスの視野(FOV)の画像を感知し記録するように構成された画像取込みデバイス(またはイメージングデバイス)を備える。画像取込みデバイスは、画像取込みデバイスのFOV中の光景を表す、複数の画素を備える、画像を電子的に記録するように構成された少なくとも1つのセンサを含む。いくつかの実施形態は、2つ以上のセンサを含むことができる。装置(および本明細書で説明される方法)は、複数の「奥行き感知モジュール」をさらに備えることができ、奥行き感知モジュールの各々は、いくつかの処理技法を使用して視野の奥行きマップを生成するように構成される。そのような奥行き感知モジュールは、たとえば、ソフトウェアモジュール、ハードウェアに実装された機能、または両方の組合せとすることができる。言い換えれば、本明細書で使用される「奥行き感知モジュール」は、ソフトウェア、ハードウェア、またはソフトウェアとハードウェアの両方で実装された機能を指すことができ、ザ(the)は画像取込みデバイスのFOVの少なくとも一部の奥行き情報を決定するためのアクションを実行する。奥行き情報は、たとえば、センサ(または画像取込みデバイスの別の部分)から画像取込みデバイスのFOV(またはその一部)中の様々な対象物、フィーチャ、またはバックグラウンドまでの距離を示す情報を含むことができる。画像取込みデバイスは、複数の奥行き感知モジュールの各々の視野の奥行きマップを生成するように構成された構成要素を含むことができ、あるいはそのような構成要素にバイ接続され、かつ/またはそのような構成要素と通信している。装置は、処理システムをさらに含む。処理システムは、複数の奥行き感知モジュールから第1の奥行き感知モジュールを選択し、第1の選択された奥行き感知モジュールを使用してイメージングデバイスの視野の第1の奥行きを感知するように構成される。処理システムは、さらに、第1の選択された奥行き感知モジュールの第1の感知された奥行きに基づいて視野の第1の奥行きマップを生成するように構成される。第1の奥行きマップは、視野のすべてのポイントの奥行き測定値を備え、第1の奥行きマップにおいて1つまたは複数の不正確な奥行き測定値を有する第1の奥行きマップの1つまたは複数のポイントの領域を識別する。処理システムは、1つまたは複数の不正確な奥行き測定値を有する1つまたは複数のポイントを有する領域を識別することに基づいて、複数の奥行き感知モジュールうちの第2の選択された奥行き感知モジュールを介した追加の奥行き感知が保証されるかどうかを決定するように構成される。
[0005]本開示で説明される主題の別の態様は、奥行きマップを生成する方法を提供する。方法は、イメージングデバイスの視野を識別することを備える。イメージングデバイスは、視野の少なくとも1つの画像を取り込むように構成される。方法は、複数の奥行き感知方法から第1の奥行き感知方法を選択することをさらに備える。方法は、第1の選択された奥行き感知方法を使用してイメージングデバイスの視野の第1の奥行きを感知することと、第1の選択された奥行き感知方法の感知された奥行きに基づいて少なくとも1つの視野の第1の奥行きマップを生成することとをさらに含む。第1の奥行きマップは、視野のすべてのポイントの奥行き測定値を備える。方法は、第1の奥行きマップにおいて1つまたは複数の不正確な奥行き測定値を有する第1の奥行きマップの1つまたは複数のポイントの領域を識別することをさらに備える。方法は、1つまたは複数の不正確な奥行き測定値を有する1つまたは複数のポイントを有する領域を識別することに基づいて、第2の選択された奥行き感知方法を介した追加の奥行き感知が保証されるかどうかを決定することをも備える。
[0006]説明される主題の別の態様は、奥行きマップを生成するために別の装置を提供する。装置は、視野の画像を取り込むための手段を備える。装置は、奥行きを感知するための複数の手段と、複数の奥行き感知手段の各々が視野の奥行きを感知するように構成される、複数の奥行き感知手段から第1の奥行き感知手段を選択するための手段とをさらに備える。装置は、第1の選択された奥行き感知手段を使用して画像取込み手段の視野の第1の奥行きを感知するための手段と、第1の選択された奥行き感知手段の感知された奥行きに基づいて視野の第1の奥行きマップを生成するための手段と、第1の奥行きマップが視野のすべてのポイントの奥行き測定値を備える、をさらに含む。装置は、第1の奥行きマップにおいて1つまたは複数の不正確な奥行き測定値を有する第1の奥行きマップの1つまたは複数のポイントの領域を識別するための手段をさらに備える。装置は、1つまたは複数の不正確な奥行き測定値を有する領域を識別することに基づいて、複数の奥行き感知手段うちの第2の選択された奥行き感知手段を介した追加の奥行き感知が保証されるかどうかを決定するための手段をさらに含む。
[0007]上記の態様、ならびに本技術の他の特徴、態様、および利点が、添付図面を参照して様々な実施形態に関連してここで説明される。しかしながら、示される実施形態は例にすぎず、限定的であることは意図されていない。図面の全体にわたって、文脈が別段規定しない限り、同様のシンボルは、一般に、同様の構成要素を特定する。以下の図の相対的な寸法は縮尺通りに描かれていないことがあることに留意されたい。
[0014]新規なシステム、装置、および方法の様々な態様が、添付図面を参照してより完全に以下で説明される。しかしながら、本開示は多くの異なる形態で具現され得、本開示の全体にわたって提示される任意の特定の構造または機能に限定されると解釈されるべきでない。むしろ、これらの態様は、本開示が周到で完全になり得、本開示の範囲を当業者に十分に伝え得るように与えられる。本明細書の教示に基づいて、本開示の範囲は、本発明の他のいずれかの態様とは独立に実施されるかまたは本発明の他のいずれかの態様と組み合わせて実施されるかにかかわらず、本明細書で開示される新規のシステム、装置、および方法のあらゆる態様を含むように意図されることを当業者は理解されたい。たとえば、本明細書に記載される任意の数の態様を使用して、装置が実装されてもよく、または方法が実践されてもよい。加えて、本発明の範囲は、本明細書に記載される本発明の様々な態様に加えてまたはそれ以外に他の構造、機能、または構造および機能を使用して実践されるそのような装置または方法を含むように意図される。本明細書で開示されるいかなる態様も請求項の1つまたは複数の要素によって具現され得ることを理解されたい。
[0015]特定の態様が本明細書で説明されるが、これらの態様の多くの変更および置換は本開示の範囲内にある。好ましい態様のいくつかの利益および利点が述べられるが、本開示の範囲は、特定の利益、使用、または目的に限定されるように意図されていない。詳述された説明および図面は、限定ではなく単に本開示の例証であり、本開示の範囲は、添付の特許請求の範囲およびその均等物によって定義される。
[0016]写真撮影において、ユーザは、取り込まれた光景内に様々な奥行きで対象物または出来事を含む画像を、イメージングデバイスの視野(FOV)に取り込みたいことがある。使用されるイメージング機器に応じて、目標対象物または光景またはFOVの奥行きマップを決定するための1つまたは複数の方法(奥行き推定)が、オートフォーカシング、前景/背景分離、顔認識または検出、3Dスキャニング、自動屋内/屋外場所検出、フレーム内の対象物検出などの特徴、および他の多くの機能を可能にするために使用され得る。しかしながら、奥行きマップを生成するための様々なシステムは異なる欠点を有することがある。たとえば、あるシステムは、計算負荷の高いことがあり、または複雑なアルゴリズムを利用することがある。いくつかのシステムは、奥行きマップを生成するために使用される様々な構成要素、たとえば、複数のフレッシュバルブ構成要素または複数のカメラもしくは光学部品に供給される追加の電力を利用することがある。代替として、複数の画像取込みシステムが、奥行きマップを生成するために必要とされることがあり、それは、追加の計算スループットを必要とすることがあり、またはFOVへの追加の露光時間を必要とすることがある。したがって、利用可能な奥行きマッピングシステムのうちの1つまたは複数は、イメージング機器の状態または環境によっては適切でないかまたは利用できないことがある。
[0017]ユーザがイメージング機器を能動的にモニタし、イメージング機器を手動で制御している場合、ユーザは、目標対象物が視野(FOV)中で所望の奥行きにあるときに目標対象物の画像を、または目標対象物に焦点があっているときに光景を取り込むことができる可能性がある。しかしながら、イメージング機器を手動で制御する場合でさえ、光景が複数の移動対象物を含むとき、またはイメージング機器がパンされている(たとえば、目標対象物を追跡するように移動されているか、または目標象物を検出するように移動されている)場合、またはデフォルトもしくは選択された奥行きマッピング方法によって生成された奥行きマップが完全に正確であるとは限らない場合、所望の奥行きで目標対象物を取り込むことは困難であることがある。追加として、ユーザが、所与の環境および主題に対して使用するための最良の奥行きマッピングシステムを決定することが困難であることがあり、またはイメージング機器が、取り込まれたFOVについて不十分に策定された奥行きマップを生成することがある。たとえば、装置は、近接して配置されたステレオ光学部品を含むことがあり、それは、イメージング機器からかなりの距離(たとえば、10メートルを超える)のFOV内の対象物の奥行きマップを効果的に信頼性高く提供することができないことがある。
[0018]ユーザがイメージング機器を能動的に制御していない場合、たとえば、イメージング機器が画像を自動的に取り込むように設定されている場合、正確で信頼できる奥行きマップを使用したFOVの取込みは、特にイメージング機器が単一の奥行きマッピング方法またはシステムを備える場合、ますます複雑になることがある。残念ながら、イメージング機器によって作られる奥行きマップは、オートフォーカシング、前景/背景分離、顔検出/認識、3Dスキャニング、対象物検出、場所検出、および自動イメージング機器の様々な他の機能による使用のための情報が不十分であることがある。これは、単一の奥行きマッピング方法またはシステムが様々な環境でFOVの奥行きを正確に信頼性高く決定することが困難であることに起因することがある。FOVの奥行きを正確に信頼性高く決定することは、FOV中の対象物ごとに正しい奥行きを示すFOVの奥行きマップを生成できることを含むことができる。いくつかの実施形態では、正確で信頼できる奥行きマップは、FOV中の対象物の75%に対して正しい奥行きを示すことができる。いくつかの実施形態では、正確で信頼できる奥行きマップは、FOV中の対象物の90%に対して正しい奥行きを示すことができる。いくつかの実施形態では、ユーザは、正確で信頼できる奥行きマップに対応することになるFOV内の対象物の正しい奥行き測定値の割合を選択および/または決定することができる。正確で信頼できる奥行きは、1メートルの距離で1cm以内であるとして測定され得る。いくつかの実施形態では、ユーザは、正確で信頼できる奥行きの範囲および尺度を選択および/または決定することができる。
[0019]奥行きマップを生成する異なるシステムの確度および信頼性は変わることがある。たとえば、外部照明が制限されている10’×10’室内で機能するように構成された奥行きマッピングシステムを有する近接配置ステレオカメラシステムは、目標対象物が20メートルの距離にある屋外光景では、屋外光景のために構成された構造化光奥行きマッピングシステムと同様の正確なまたは信頼できる奥行きマップを提供しないことがある。したがって、FOVに応じて、FOVの奥行きマップを生成する異なるシステムまたは方法のうちの1つまたは複数が、FOVの奥行きマップを生成する他のシステムまたは方法よりも正確で信頼できることがある。追加として、奥行きマップを生成する異なるシステムまたは方法の各々は異なる欠点を有することがある。たとえば、陰影に基づく奥行きシステムの欠点は、ステレオカメラシステムの欠点と異なることがある。
[0020]奥行きマップを生成するために使用され得る異なる方法の本質的な限界および欠点を考慮して、様々なプロセスまたは構成が、所望の奥行きで目標対象物を取り込む見込みを改善するように試みられ得る。いくつかの実施形態では、所望の奥行きで目標対象物の画像を取り込むために、イメージング機器は、複数のフレームを連続して取り込む(たとえば、単一のカメラのマルチショットモード、または、フレーム取込みのバーストモードを実行する)ように構成され得る。イメージング機器は、イメージング機器の奥行きマッピングシステムが決定できる最高の理想的な奥行きの近くに目標対象物があるときマルチショットバーストを始めることができる。しかしながら、そのようなマルチショット実施態様は、メモリおよび処理時間のかなり大きいオーバヘッドと、複数のフレームを取り込みそれらをユーザレビューのためにメモリに格納するための電力とを必要とする。追加として、そのようなマルチショットバーストは、所望の対象物またはアクションを取り込むことを少しも保証することができない。代替として、目標対象物は、フレームに取り込まれ得るが、所望の奥行きで取り込まれ得ない。所望の対象物またはアクションが、所望の奥行きでマルチショットバーストのフレームに取り込まれる場合、マルチショット実施態様は、目標対象物に適切に合焦せず、代わりに、フレームの背景または別の対象物に合焦することがあり、または、特に、目標対象物が動いている場合および/またはイメージング機器が動いている場合、FOV中のいかなる対象物にも合焦しないことがある。単一の奥行きマッピングシステムを有するシステムに存在し得る技術的困難に加えて、ユーザおよび/またはイメージング機器は、取り込まれたフレームをレビューし、もしあれば、どのフレームが、マルチショットバーストのすべての取込フレームに関して所望の奥行きでおよび適切に合焦して目標対象物を取り込んだかを決定するために時間を費やす。
[0021]いくつかの実施形態では、イメージング機器は、個々の奥行きマップを生成するための複数のシステムを備えることができる。たとえば、イメージング機器は、とりわけ、ステレオビジョン奥行きマッピングが可能であるシステムと、構造化光奥行きマッピングが可能であるシステムと、陰影基づく奥行きの奥行きマッピングが可能であるシステムとをマイ(my)備える。追加として、イメージング機器は、最大の数の正確で信頼できる領域をもつ単一の融合奥行きマップを提供することができる組合せ奥行きマップに個々の奥行きマップを動的に融合させるように構成された融合システムを備えることができる。融合奥行きマップは、単一の奥行きマップのいずれかに関する限界を克服することができる。単一の奥行きマップに融合されると、個々の奥行きマップの各々は、他の奥行きマップが失敗することがあるかまたは不正確かもしくは信頼できない(またはあまり正確でないかもしくはあまり信頼できない)ことがある場合にシナリオおよび使用のために最適化され得、それにより、個々の奥行きマップの各々は、その強度に従って使用され、その弱点を無視することができる。
[0022]したがって、イメージング機器は、FOVの複数の奥行きマップを生成するのに必要な構成要素または装置を備えることができる。たとえば、上述のように、ステレオビジョンを使用して奥行きマップを生成するための構成要素は、2つの画像センサ(またはカメラもしくは光学部品)と、単一の光源とを含むことができ、陰影を使用して奥行きマップを生成するための構成要素は、2つの光源と、単一の画像センサとを含むことができ、構造化光を使用して奥行きマップを生成するための構成要素は、単一の構造化光源と、単一の画像センサとを含むことができる。光源および画像センサに加えて、奥行きマップを生成するための個々のシステムの各々は、取り込まれたFOVまたは光景のポイントごとに奥行きを測定し、画像センサによって取り込まれたデータから関連する奥行きマップを生成するように構成された個々の処理システムおよび回路を備えることができるが、いくつかの実施形態では、複数の奥行きマッピングシステムが処理システムおよび回路を共有することができる。
[0023]図1Aは、例示的な実施形態による、画像取込みシステムの視野の奥行きマップを生成するために使用され得るステレオカメラシステム100の例示的なブロック図を示している。図1Aに示すように、ステレオカメラシステム100は、複数の構成要素を備えることができる。複数の構成要素は、単一の光源105と、第1のカメラ110と、第2のカメラ115とを備える。いくつかの実施形態では、筐体120で表されるような単一の筐体が、光源105、第1のカメラ110、および第2のカメラ115の各々を収容することができる。いくつかの実施形態では、光源105、第1のカメラ110、および第2のカメラ115は、2つ以上の筐体に収容されてもよく、構成要素のうちの1つまたは複数は、ステレオカメラシステム100の1つまたは複数の他の構成要素から隔置される。第1のカメラ110および第2のカメラ115は、ポイント127への焦点線126を有するように示されている。これらの焦点線は、第1のカメラ110および第2のカメラ115の異なる注視点を表すことができる。追加として、距離125は、2つの第1のカメラ110および第2のカメラ115の間に示されている。距離125は、ステレオカメラの奥行き計算またはマッピングの範囲に影響を与え得る。たとえば、第1のカメラ110および第2のカメラ115が近接して配置された場合、第1のカメラと第2のカメラの両方によって取り込まれるフレーム内の対象物の知覚奥行きは、第1のカメラ110と第2のカメラ115との間の距離125が大きい場合よりも制限されることになる(たとえば、知覚奥行きは、それほど遠くないことになる)。
[0024]異なる好都合なポイントから対象物またはエッジを見ると、対象物またはエッジは異なる場所にあるように見えることになることがある。たとえば、第1のカメラ110がポイント135を見る場合、ポイント135は、第2のカメラ115によって同時に見られる同じポイント135とは異なる場所にあるように見えることがある。これは、第1のカメラ110および第2のカメラ115が異なる(または本質的に異なる)場所にあるからである。したがって、第1のカメラ110および第2のカメラ115に応じて、目標対象物は、それぞれ第1のカメラ110および第2のカメラ115の位置に関連して1つの方向においてわずかにシフトされ得る。第1のカメラ110と第2のカメラ115との間の距離125と、それぞれ、第1のカメラ110および第2のカメラ115におけるポイント135の結果として生じた画像の観察された視差とを使用することによって、ステレオカメラシステム100は、第1のカメラ110および第2のカメラ115によって共有される視野中の対象物の奥行きマップを生成することが可能であり得る。この方法は、第1のカメラ110および第2のカメラ115のFOVまたは光景中のすべての点に適用され得、ポイント135はFOVまたは光景中のすべての点に置かれる。
[0025]この図には示されていないが、ステレオカメラシステム100は、画像を取り込むおよび/または奥行きマップを生成するために、光源105、第1のカメラ110、および第2のカメラ115を制御するように構成された1つまたは複数の処理構成要素をさらに備えることができる。いくつかの実施形態では、これらの1つまたは複数の構成要素はコントローラまたはプロセッサを備えることができる。コントローラまたはプロセッサは、ステレオカメラシステムの1つまたは複数の構成要素を制御し(すなわち、視野の画像を取り込むために光源105、第1のカメラ110、および第2のカメラ115を作動させ)、第1のカメラ110と第2のカメラ115との間で共有されるFOVの奥行きマップを生成するために、それぞれ、第1のカメラ110および第2のカメラ115によって生成された画像を処理するように構成され得る。いくつかの実施形態では、1つまたは複数の処理構成要素は、生成された奥行きマップを格納するためのメモリ(この図には示されていない)をさらに含むことができる。
[0026]ステレオカメラシステム100を使用する奥行き感知は、多くの理由で有益であると立証することができる。たとえば、ステレオカメラシステム100は、FOVの奥行きマップを能動的または受動的のいずれかで生成するように構成され得る。追加として、いくつかの実施形態では、ステレオカメラシステム100は、一般に、良好な確度を有することができ、多くの場合、ステレオカメラシステム100に近接して配置されたFOV中の目標対象物から、ステレオカメラシステム100から無限距離に配置されたFOV中のそれらの目標対象物までの奥行きを決定することができる範囲を備えることができる。しかしながら、ステレオカメラシステム100は、観察されたFOVの正確で信頼できる奥行きマップを生成することに関していくつかの負の側面を有することがある。いくつかの実施形態では、良好な確度の決定はステレオカメラシステム100からの目標対象物の距離に対応することがあり、距離が増加するにつれて誤差が増加する。さらに、いくつかの実施形態では、良好な確度の決定は、ステレオカメラシステム100の使用法に依存することがある。たとえば、識別などの確実性の高い用途で使用される場合、確実性の低い用途、たとえば、動き検出などで使用される場合よりも高い確度が必要とされ得る。
[0027]上述のように、いくつかの実施形態では、第1のカメラ110と第2のカメラ115との間の距離125は、両方のカメラ110および115によって観察される対象物の知覚奥行きに影響を与え得る。したがって、FOV中の対象物の知覚奥行きは、処理構成要素が第1のカメラ110および第2のカメラ115によって取り込まれた画像からFOVの奥行きマップを正確に信頼性高く生成する能力に影響を及ぼすことがある。したがって、ステレオカメラシステム100によって生成された奥行きマップは、第1のカメラ110および第2のカメラ115が近接して配置される(たとえば、距離125が小さい(たとえば、数ミリメートル間隔))場合、または第1のカメラ110および第2のカメラ115がステレオカメラシステム100において遠く離して配置される(たとえば、距離125がより大きい(たとえば、数インチ以上))の場合、影響されやすいことがある(すなわち、それほど正確でないことがあり、および/またはそれほど信頼できないことがある)。ステレオカメラ奥行き感知方法に関する1つの潜在的な欠点は、第1のカメラ110と第2のカメラ115の両方が向けられ合焦されるFOV中の合焦点をステレオカメラが使用することである。これらの光景依存「キーポイント」がなければ、第1のカメラ110および第2のカメラ115から得られた画像は、個々では、FOV中の同じ目標対象物または場所に対応していないことがあるので、2つのカメラ110および115はFOV中の対象物の奥行きを決定することができないことがある。
[0028]図1Bは、例示的な実施形態による、システムの視野(FOV)の奥行きマップを生成するために使用され得る陰影に基づく奥行きシステム130の例示的なブロック図を示している。図1Bに示すように、陰影に基づく奥行きシステム130は、複数の構成要素を備えることができる。複数の構成要素は、第1の光源140と、第2の光源145と、カメラ135とを備える。いくつかの実施形態では、筐体150で表されるような単一の筐体が、第1の光源140、第2の光源145、およびカメラ135の各々を収容することができる。いくつかの実施形態では、第1の光源140、第2の光源145、およびカメラ135は、2つ以上の筐体に収容されてもよく、構成要素のうちの1つまたは複数は、陰影に基づく奥行きシステム130の1つまたは複数の他の構成要素から隔置される。第1の光源140および第2の光源145は、対象物155から反射され得る光を生成するように示されている。カメラ135は、対象物155から反射する光を吸収することができる。対象物155から反射された光の強度は、光を画像センサ135に反射して戻す表面の形状に基づいて変化し得る。したがって、反射光の強度の変化は、光が反射された対象物155の表面の形状情報を決定するために使用され得る。
[0029]対象物155の表面の形状情報は、対象物155の各ポイントに対応する表面の方位を計算することによって決定され得る。陰影に基づく奥行きシステム130は、そのポイントにおける対象物155の表面の法線(対象物155のポイントが面している方向)を決定するために、対象物155の各ポイントから反射された光の強度を使用することができる。対象物155の表面の法線は、次いで、対象物155を再構築するために使用され得る。しかしながら、陰影に基づく奥行きシステム130は、対象物155の表面が滑らかであると仮定することがあり、表面の輪郭が対象物155を再構築する際の困難さを増加させることがある。
[0030]この図には示されていないが、陰影に基づく奥行きシステム130は、画像を取り込むおよび/または奥行きマップを生成するために第1の光源140、第2の光源145、およびカメラ135を制御するように構成された1つまたは複数の処理構成要素をさらに備えることができる。いくつかの実施形態では、これらの1つまたは複数の構成要素は、コントローラまたはプロセッサを備えることができる。コントローラまたはプロセッサは、陰影に基づく奥行きシステム130の1つまたは複数の構成要素を制御するように構成され得る。これは、対象物155を照明するために、それぞれ、第1の光源140および第2の光源145を作動させることと、視野の画像を取り込むためにカメラ135を作動させることとを備えることができる。コントローラまたはプロセッサは、さらに、カメラ135によって生成された画像を処理し、再構築された対象物155に基づいて(たとえば、対象物155の表面からの光の計算に基づいて)FOVの間接奥行きマップを生成するように構成され得る。いくつかの実施形態では、1つまたは複数の処理構成要素は、生成された奥行きマップを格納するためのメモリ(この図には示されていない)をさらに含むことができる。
[0031]陰影に基づく奥行きシステム130を使用する奥行き感知は、多くの理由で有益であると立証することができる。たとえば、陰影に基づく奥行きシステム130は、陰影システム130のFOV内のキーポイントを使用せず、したがって、陰影に基づく奥行きシステム130を、FOVの取込みとは独立したものにすることができる。追加として、陰影に基づく奥行きシステム130は、FOVの奥行きマップを能動的に生成するように構成され得る。しかしながら、陰影に基づく奥行きシステム130は、観察されるFOVの広範囲の距離に対して正確で信頼できる奥行きマップを生成することに関していくつかのさらなる負の側面を有することがある。たとえば、いくつかの実施形態では、ステレオカメラシステム100は、一般に、良好な確度(たとえば、1メートルの距離で1センチメートル未満の誤差を有する)を有することができ、多くの場合、ステレオカメラシステム100に近接して配置されたFOV中の目標対象物から、ステレオカメラシステム100からほぼ無限の距離に置かれたFOV中のそれらの目標対象物までの奥行きを決定することができる範囲を備えることができるが、陰影システム130は、陰影システム130の近くから陰影システム130から遠い距離までの目標対象物に制限されることがあるが、ステレオカメラシステム100の無限大の範囲を有していないことがある。上述のように、いくつかの実施形態では、対象物155の表面は、カメラ135へと戻る対象物155の表面の反射特性を表面のテクスチャが変化させることがあるので陰影に基づく奥行き感知の奥行き感知に影響を与え、したがって、対象物155の表面の知覚奥行きに影響を与えることがある。したがって、FOV中の対象物155の知覚奥行きは、対象物155によって反射されカメラ135によって取り込まれる光に基づいてFOVのための奥行きマップを正確に信頼性高く生成するための処理構成要素の能力に影響を与えることがある。追加として、上述で論じたように、陰影に基づく奥行きシステム130から生成された奥行きマップの確度は、ステレオカメラシステム100によって生成された奥行きマップと比較して、「おおむね良好」であるにすぎないことがある。さらに、陰影に基づく奥行きシステムは、FOVまたは光景に存在する明るい外部光に影響されやすいことがある。
[0032]図1Cは、例示的な実施形態による、システムの視野(FOV)の奥行きマップを生成するために使用され得る構造化光感知システム160の例示的なブロック図を示している。図1Cに示すように、構造化光感知システム160は、複数の構成要素を備えることができる。複数の構成要素は、構造化光源165と、カメラ170とを備える。いくつかの実施形態では、筐体180で表されるような単一の筐体が、構造化光源165とカメラ170の両方を収容することができる。いくつかの実施形態では、構造化光源165およびカメラ170は、2つ以上の筐体に収容されてもよく、構造化光源165およびカメラ170は互いに隔置される。図1Cに示すように、構造化光源165とカメラ170とは、距離185だけ隔てられ得る。構造化光源165は、対象物186から反射され得る光を生成するように示されている。構造化光源165によって生成される光は既知パターンのものとすることができる。カメラ170は、対象物186から反射する光を吸収することができる。既知パターンの光が反射または表面への衝突の際に反射または変形する方法により、カメラ170は、光景またはFOV中の対象物の奥行きおよび表面情報を計算することが可能になる。したがって、反射は、対象物186の奥行き情報を決定するために使用され得る。様々なタイプの構造化光システム160、たとえば、光平面、グレーコードパターン、および一連の正弦波が存在し得る。
[0033]この図には示されていないが、構造化光システム160は、画像を取り込むおよび/または奥行きマップを生成するために構造化光源165およびカメラ170を制御するように構成された1つまたは複数の処理構成要素をさらに備えることができる。いくつかの実施形態では、これらの1つまたは複数の構成要素は、コントローラまたはプロセッサを備えることができる。コントローラまたはプロセッサは、構造化光システム160の1つまたは複数の構成要素を制御するように構成され得る。これは、既知の光パターンを有する対象物186を生成および照明するために構造化光源165を作動させることと、視野の画像を取り込むためにカメラ170を作動させることとを備えることができる。コントローラまたはプロセッサは、さらに、カメラ170によって生成された画像を処理し、FOVまたは光景中の対象物186および任意の対象物の表面から反射された光の計算に基づいてFOVの奥行きマップを生成するように構成され得る。いくつかの実施形態では、1つまたは複数の処理構成要素は、生成された奥行きマップを格納するためのメモリ(この図には示されていない)をさらに含むことができる。
[0034]構造化光システム160を使用する奥行き感知は、多くの理由で有益であると立証することができる。たとえば、陰影に基づく奥行きシステム130と同様に、構造化光システム160は、FOVまたは光景内のキーポイントを使用せず、したがって、構造化光システム160をFOVの取込みとは独立したものにすることができる。追加として、構造化光システム160は、FOVの奥行きマップを能動的に生成するように構成され得る。さらに、構造化光システム160によって生成される奥行きマップは、良好な確度および信頼性を有することができる。しかしながら、構造化光システム160は、観察されるFOVの広範囲の距離に対して正確で信頼できる奥行きマップを生成することに関していくつかの負の側面を有することがある。いくつかの実施形態では、対象物186またはカメラ170の移動は、対象物186から反射する既知のパターンの光を構造化光システムが検出する能力を妨害することがある。追加として、構造化光システム160は限定された範囲を有し、したがって、対象物186の知覚奥行きに影響を与えることがある。したがって、FOV中の対象物186の知覚奥行きは、処理構成要素がFOVの正確で信頼できる奥行きマップを生成する能力に影響を与えることがある。さらに、構造化光システムは、FOVまたは光景に存在する明るい外部光に影響されやすいことがある。
[0035]本明細書で説明される奥行きマッピングシステムは、例示であることが意図されており、本発明によって含まれる奥行きマッピングシステムを限定していない。追加の奥行きマッピングシステムは、不正確なまたは信頼できない奥行きの区域または領域が最小である融合奥行きマップを生成するためのシステムまたは方法に組み込まれ得る。
[0036]図2は、複数のカメラまたは光学部品215a〜215nと、複数の光源216a〜216mとに連結された画像プロセッサ220を含む1組の構成要素を有する画像取込みデバイス200の1つの可能な実施形態のハイレベルブロック図を示す。画像プロセッサ220は、さらに、作業メモリ205、メモリ230、およびデバイスプロセッサ250と通信することができ、そして次に、デバイスプロセッサ250は、電子記憶モジュール210、電子ディスプレイ225、および奥行き感知システム260と通信することができる。いくつかの実施形態では、シングルプロセッサが、図2に示されたような2つの別個のプロセッサの代わりに、画像プロセッサ220とデバイスプロセッサ250の両方を備えることができる。いくつかの実施形態は3つ以上のプロセッサを含むことができる。いくつかの実施形態では、上述された構成要素のうちのいくつかは画像取込みデバイス200に含まれないことがあり、または上述されていない追加の構成要素が画像取込みデバイス200に含まれることがある。いくつかの実施形態では、上述された、または画像取込みデバイス200に含まれるとして説明された構成要素のうちの1つまたは複数は、画像取込みデバイス200の任意の他の構成要素に組み合わされてもよくまたは統合されてもよい。
[0037]画像取込みデバイス200は、携帯電話、デジタルカメラ、タブレットコンピュータ、携帯情報端末などとすることができ、またはそれらの一部とすることができる。本明細書で説明されるような奥行きマップ融合システムが有利であるとわかる多くの携帯コンピューティングデバイスがある。画像取込みデバイス200は、さらに、奥行きマップ融合システムが有利である据置コンピューティングデバイスまたは任意のデバイスとすることができる。複数のアプリケーションが、画像取込みデバイス200においてユーザに利用可能となり得る。これらのアプリケーションは、従来の写真およびビデオアプリケーション、高ダイナミックレンジ画像化、パノラマ写真およびビデオ、または3D画像もしくは3Dビデオなどの立体画像化を含むことができる。
[0038]画像取込みデバイス200は、外部画像を取り込むためのカメラまたは光学部品215a〜215nを含む。各カメラまたは光学部品215は、少なくとも1つのセンサ、画像取込みデバイス200のFOVから受け取った光を少なくとも1つのセンサ(たとえば、レンズ系)に合焦する少なくとも1つの光学結像構成要素、および/または少なくとも1つの光学結像構成要素に結合されたオートフォーカスアセンブリを含むことができる。一般に、N個のカメラ215a〜215nが使用され得、ここで、N≧1である。しかしながら、いくつかの実施形態は1つの画像センサアセンブリのみを利用することができ、カメラまたは光学部品215a〜215nは本明細書で説明される奥行きマップ融合システムの実施態様に好適な任意の数の画像センサアセンブリを備えることができることを理解されよう。カメラまたは光学部品の数は、所与の視野のより大きい奥行き決定能力を達成するために増やされてもよい。カメラまたは光学部品215a〜215nは、取り込まれた画像を画像プロセッサ220に送信するために画像プロセッサ220に結合され得る。カメラまたは光学部品215a〜215nによって取り込まれる画像は、光源216a〜216mによって照明され得る。光源216a〜216mは、とりわけ、フレッシュバルブ、リフレクタ、および幾何学的光パターン発生器を含むことができる。一般に、M個の光源216a〜216mが使用され得、ここで、M≧2である。画像プロセッサ220またはデバイスプロセッサ250は、取り込まれた画像を受け取り、それに応じて、その中に取り込まれた光景またはFOVの奥行きを決定するように構成され得る。いくつかの実施形態では、カメラまたは光学部品215は、光景またはFOVの奥行きマップを生成するために使用される「予備」画像を取り込むことができる。いくつかの実施形態では、カメラまたは光学部品215a〜215nと、それらに結合された処理装置とは、対象物の奥行きを決定するために画像を取り込むのではなく、むしろ画像を実際に取り込むことなしに「ライブ」ビューからFOVの奥行きマップを生成することができる。
[0039]画像プロセッサ220は、高品質画像を出力するために目標画像の一部分を備える受取画像データに様々な処理動作を実行するように構成され得る。プロセッサ220は、汎用処理ユニット、または画像化アプリケーションのために特に設計されたプロセッサとすることができる。画像処理動作の例は、奥行きマッピング、奥行き整合、奥行き決定動作、または奥行きマップ融合動作を含む。これらの動作は、クロッピング、スケーリング(たとえば、異なる分解能への)、画像スティッチング(image stitching)、画像フォーマット変換、色補間、色処理、画像フィルタ処理(たとえば、空間画像フィルタ処理)、レンズアーティファクトまたは欠陥補正、ビネット(vignette)によって引き起こされる光レベルのレンズ光ロールオフまたは低減などを実行する同じまたは異なるプロセッサによって実行され得る。プロセッサ220は、いくつかの実施形態では、複数のプロセッサを備えることができる。いくつかの実施形態は、各画像センサに専用のプロセッサを有することができる。画像プロセッサ220は、1つまたは複数の専用画像信号プロセッサ(ISP)またはプロセッサのソフトウェア実装とすることができる。
[0040]図示のように、画像プロセッサ220は、メモリ230と作業メモリ205とに接続される。図示の実施形態では、メモリ230は、取込み制御モジュール235、奥行きマップ融合モジュール240、オペレーティングシステム245、およびオートフォーカスモジュール255を格納する。いくつかの実施形態では追加モジュールが含まれてもよく、またはいくつかの実施形態ではより少ないモジュールが含まれてもよい。これらのモジュールは、様々な画像処理およびデバイス管理タスクを実行するためにデバイス200の画像プロセッサ220を構成する命令を含む。作業メモリ205は、メモリ230のモジュールに含まれるプロセッサ命令の作業セットを格納するために画像プロセッサ220によって使用され得る。代替として、作業メモリ205は、さらに、デバイス200の動作の間に作り出される動的データ(たとえば、単一の融合奥行きマップに融合されるべき1つまたは複数の奥行きマップ)を格納するために画像プロセッサ220によって使用されてもよい。追加モジュール、または外部デバイスもしくはハードウェアへの接続が、この図に示されていない可能性があるが、それらは、他の奥行きトリガオプションまたはアクションを行うために存在し得る。
[0041]上記のように、画像プロセッサ220は、メモリ230に格納されているいくつかのモジュールによって構成され得る。取込み制御モジュール235は、デバイス200の画像取込み機能と奥行き決定機能との全体を制御する命令を含むことができる。たとえば、取込み制御モジュール235は、カメラ/光学部品215a〜215nを使用して目的画像光景の生画像データを取り込むために画像プロセッサ220を構成する命令を含むことができる。次いで、取込み制御モジュール235は、複数の奥行きマップを一緒に融合させるために奥行き融合モジュール240を呼び出すことができる。
[0042]奥行きマップ融合モジュール240は、画像プロセッサ220またはデバイスプロセッサ250が複数の奥行きマップを単一の空間依存奥行きマップに融合または組み合わせることを可能にする命令を備えることができる。融合奥行きマップのポイントの各々は、複数の奥行き感知モジュール265a〜265oからの最も信頼でき最も正確な奥行き情報を備えることができる。空間依存性は、奥行きマップ融合モジュール240が、1つの奥行きマップの不正確なまたは信頼できない部分を、奥行きマップのFOV中の同じ物理的場所に対応する別の奥行きマップの正確で信頼できる部分と取り替えるように画像プロセッサ220を構成することを確実にすることを備えることができる。たとえば、奥行きマップ融合モジュール240は、ステレオカメラシステムによって生成され奥行きマップを、陰影に基づく奥行きシステムによって生成された奥行きマップと融合させるように画像プロセッサ220を構成することができる。結果として生じる融合奥行きマップは、2つの個々の奥行きマップの欠点を避けながら、各奥行きマップの利点(ステレオカメラ奥行きマップからの良好な確度および陰影奥行きマップからのキーポイントの必要なし)から利益を得ることができる。したがって、奥行きマップの各々によってマッピングされたFOVまたは光景は、上述のように、融合奥行きマップが空間的に依存するように、実質的に同じであるかまたは実質的に同じ対象物を備えることができる。
[0043]オペレーティングシステムモジュール245は、デバイス200の作業メモリ205および処理リソースを管理するように画像プロセッサ220を構成する。たとえば、オペレーティングシステムモジュール245は、カメラ215a〜215nなどのハードウェアリソースを管理するためのデバイスドライバを含むことができる。したがって、いくつかの実施形態では、上述で論じた画像処理モジュールに含まれる命令は、これらのハードウェアリソースと直接対話するのではなく、代わりに、オペレーティングシステム構成要素245中にある標準サブルーチンまたはAPIを通して対話することができる。次いで、オペレーティングシステム245内の命令は、これらのハードウェア構成要素と直接対話することができる。オペレーティングシステムモジュール245は、さらに、情報をデバイスプロセッサ250と共有するように画像プロセッサ220を構成することができる。
[0044]オートフォーカスモジュール255は、カメラ215a〜215nの各々の焦点位置を、たとえば対応するオートフォーカスアセンブリの移動および位置決めを制御することによって調節するように画像プロセッサ220を構成する命令を含むことができる。オートフォーカスモジュール255は、いくつかの実施形態では、合焦分析を実行し、合焦パラメータを自動的に決定するように画像プロセッサ220を構成する命令を含むことができ、いくつかの実施形態では、ユーザ入力合焦コマンドに応答するように画像プロセッサ220を構成する命令を含むことができる。いくつかの実施形態では、オートフォーカスモジュール255は、FOV中の目標対象物が特定の奥行きおよび目標対象物への適切な合焦であるときを決定するために、奥行きマップ融合モジュール240によって生成された融合奥行きマップからの情報を使用することができる。いくつかの実施形態では、アレイ中の各カメラのレンズ系は別個に合焦され得る。いくつかの実施形態では、アレイ中の各カメラのレンズ系はグループとして合焦され得る。いくつかの実施形態では、オートフォーカスモジュール255は、奥行きマップ融合モジュール240からまたはプロセッサ220もしくはプロセッサ250の一方からコマンドを受け取るように構成され得る。
[0045]デバイスプロセッサ250は、取り込まれた画像または取り込まれた画像のプレビューをユーザに表示するためにディスプレイ225を制御するように構成され得る。ディスプレイ225は、イメージングデバイス200の外部にあってもよく、またはイメージングデバイス200の一部であってもよい。ディスプレイ225は、さらに、画像を取り込む前にユーザにプレビュー画像を表示するビューファインダを設けるように構成されてもよく、またはメモリに格納されているかもしくはユーザによって最近取り込まれた、取り込まれた画像を表示するように構成されてもよい。ディスプレイ225は、パネルディスプレイ、たとえば、LCDスクリーン、LEDスクリーン、または他のディスプレイ技術を含むことができ、タッチセンシティブ技術を実装することができる。デバイスプロセッサ250は、さらに、ユーザからの入力を受け取るように構成され得る。たとえば、ディスプレイ225は、さらに、タッチスクリーンとなるように構成されてもよく、それにより、ユーザからの入力を受け取るように構成されてもよい。ユーザは、プロセッサが奥行きマップ融合モジュール240に供給できる情報を入力するためにタッチスクリーンディスプレイ225を使用することができる。たとえば、ユーザは、ディスプレイ225に示された視野から目標対象物を選択するか、または融合奥行きマップ向けに最小限の確度または信頼性を確立するためにタッチスクリーンを使用することができる。デバイスプロセッサ250は、その入力を受け取り、それを奥行きマップ融合モジュール240に供給することができ、奥行きマップ融合モジュール240は、融合動作に向けて奥行きマップを選択するのに入力を使用することができ、または光景もしくはFOVで使用するための特定の奥行きマッピング方法を選択することができる。
[0046]いくつかの実施形態では、デバイスプロセッサ250は、奥行き感知システム260を制御するように、または奥行き感知システム260からの入力を受け取るように構成され得る。奥行き感知システム260は、画像取込みデバイス200の特定のFOVまたは光景の奥行きマップを生成するためにどの1つまたは複数の奥行き感知モジュール265a〜265oを使用すべきかを決定するように構成され得る。たとえば、奥行き感知システム260は、利用可能な作業メモリ205および/または利用可能なバッテリもしくは電力を評価し、奥行き感知モジュール265a〜265oのうちのどれが所与の条件に対してその時点で最も適切であり得るかを決定するためにその情報を使用することができる。追加として、奥行き感知システム260は、奥行きマップが生成されるべき環境または光景もしくはFOVにとってどの奥行き感知モジュール265a〜265oが最もよく適しているかを決定するためにカメラまたは光学部品215a〜215nからの「ライブ」ビューを評価することができる。いくつかの実施形態では、奥行き感知システム260は、後続の奥行きマップのFOVまたは光景のためにユーザにとってどの奥行き感知モジュール265a〜265oかを評価または決定するためにFOVまたは光景の以前に取り込まれたフレームを見ることができる。
[0047]いくつかの実施形態では、デバイスプロセッサ250または奥行き感知システム260は、複数の奥行き感知モジュール265a〜265oを選択することができ、選択された奥行き感知モジュール265a〜265oによって生成された個々の奥行きマップから単一の融合奥行きマップを生成するために奥行きマップ融合モジュール240を使用するように決定することができる。複数の奥行き感知モジュール265a〜265oの選択は、画像取込みデバイス200の環境または光景もしくはFOVのうちの1つまたは複数、画像取込みデバイスの1つまたは複数のパラメータに基づくことができる。一般に、O個の奥行き感知モジュール265a〜265oが使用され得、ここで、O≧2である。いくつかの実施形態では、奥行き感知モジュール265aはステレオカメラシステム100を備えることができ、奥行き感知モジュール265bは陰影に基づく奥行きシステム130を備えることができ、奥行き感知モジュール265cは構造化光システム160を備えることができる。
[0048]デバイスプロセッサ250は、データ、たとえば取り込まれた画像を表すデータを、記憶モジュール210に書き込むことができる。記憶モジュール210は従来のディスクデバイスとして図式的に表されているが、いくつかの実施形態では、記憶モジュール210は任意の記憶媒体デバイスとして構成され得る。たとえば、記憶モジュール210は、フロッピー(登録商標)ディスクドライブ、ハードディスクドライブ、光ディスクドライブ、または光磁気ディスクドライブなどのディスクドライブ、またはFLASH(登録商標)メモリ、RAM、ROM、および/またはEEPROM(登録商標)などの固体メモリを含むことができる。記憶モジュール210は複数のメモリユニットをさらに含んでもよく、メモリユニットのうちの任意の1つは、画像取込みデバイス200内にあるように構成されてもよく、または画像取込みデバイス200の外側にあってもよい。たとえば、記憶モジュール210は、画像取込みデバイス200内に格納されたシステムプログラム命令を含むROMメモリを含むことができる。記憶モジュール210は、カメラから取外し可能とすることができる、取り込まれた画像を格納するように構成されたメモリカードまたは高速メモリをさらに含むことができる。
[0049]図2は、プロセッサ、画像センサ、およびメモリを含むように別個の構成要素を有するデバイスを示しているが、いくつかの実施形態では、これらの別個の構成要素は特定の設計目的を達成するために様々な方法で組み合わされてもよい。たとえば、代替の実施形態では、メモリ構成要素は、コストを節約し性能を改善するために、プロセッサ構成要素と組み合わされてもよい。
[0050]追加として、図2は、いくつかのモジュールを備えるメモリ構成要素230と、作業メモリを備える別個のメモリ205とを含むいくつかのメモリ構成要素を示しているが、いくつかの実施形態では、異なるメモリアーキテクチャが利用されてもよい。たとえば、設計は、メモリ230に含まれるモジュールを実装するプロセッサ命令を格納するためにROMまたはスタティックRAMメモリを利用することができる。プロセッサ命令は、画像プロセッサ220による実行を容易にするためにRAMにロードされ得る。たとえば、作業メモリ205はRAMメモリを備えることができ、命令は、画像プロセッサ220による実行の前に作業メモリ205にロードされる。いくつかの実施形態では、奥行き感知システム260は、メモリ230に格納されたソフトウェアとすることができ、またはソフトウェア構成要素と組み合わされたハードウェアシステムとすることができる。
[0051]図3は、例示的な実施形態による、ステレオ光学、陰影、または構造化光技法のうちの少なくとも1つを使用して1つまたは複数の奥行きマップを生成するために使用され得るような図2の画像取込みデバイス200の構成要素を示すチャート300を示す。図3のチャート300は、チャートの最上部の行に沿って、第1のカメラ215a、第1の光源216a、第2のカメラ215b、第2の光源216b、および第3の光源216cを含む、図2の画像取込みデバイス200の様々な構成要素を備える。いくつかの実施形態において、カメラ215aまたはカメラ215bのうちの1つまたは複数は、赤/緑/青カメラ(RGBカメラ)、または赤外線カメラ(IRカメラ)、または組合せRGB/IRカメラを備えることができる。いくつかの実施形態では、光源216a〜216cのうちの1つまたは複数は構造化光源を備えることができ、構造化光源は、既知のパターン(たとえば、幾何学的パターンまたは時間経過パターン)を有する光を生成し放出する。チャート300の縦軸は、時間(頁の上から下に進む)と、3つの例示的な奥行きマッピングシステムステレオカメラシステム100、陰影に基づく奥行きシステム130、および構造化光システム160とを備える。
[0052]チャート300は、さらに、画像取込みデバイス200のどの構成要素が奥行きマッピングシステムの各々によって使用され得るかを示している。たとえば、行310に示すように、ステレオカメラシステムでは、第1のカメラ215a、第1の光源216a、および第2のカメラ215bが、画像取込みデバイス200によって取り込まれるべきFOVまたは光景中のすべてのポイントの奥行きを測定しFOVまたは光景の奥行きマップを生成するために使用され得る。行312に示された陰影による奥行きシステムでは、第1の光源216a、第2のカメラ215b、および第2の光源216bが、FOVまたは光景中のすべてのポイントの奥行きを測定しFOVまたは光景の奥行きマップを生成するために使用され得る。同様に、行314の構造化光システムでは、第2のカメラ215bおよび第3の光源216cが、FOVまたは光景中のすべてのポイントの奥行きを測定しFOVまたは光景の奥行きマップを生成するために使用され得る。
[0053]チャートの時間要素(time element)は、画像取込みデバイス200が本発明の例示的な実施形態に従って利用できるプロセスを示している。上述で論じたように、任意の他の奥行きマッピングシステムの中のステレオカメラシステム、陰影に基づく奥行きシステム、および構造化光システムのうちの1つまたは複数は、欠点を備えることがあり、またはFOVもしくは光景のための生成された奥行きマップに不正確または非信頼性をもたらすことがある。したがって、本明細書で説明されるシステム、方法、および装置を使用して、2つ以上の奥行きマップが、2つ以上の奥行きマッピングシステムを使用して生成され得、個々に生成された奥行きマップは、単一の空間依存奥行きマップに融合され得る。
[0054]融合奥行きマップは、第1の奥行きマッピングシステムによって生成された第1の奥行きマップの正確で信頼できるポイントを、および第2の奥行きマッピングシステムによって生成された第2の奥行きマップの正確で信頼できるポイントと組み合わせることによって生成され得る。いくつかの実施形態では、第1の奥行きマッピングシステムは、画像取込みデバイス200によって取り込まれるべきFOVもしくは光景、または画像取込みデバイス200の1つまたは複数のパラメータに基づいて選択され得る。たとえば、画像取込みデバイス200、またはターゲットFOVもしくは光景中の1つまたは複数の対象物が動いている場合、ステレオカメラシステム100は、陰影に基づく奥行きシステム130または構造化光システム160に優先して第1の奥行きマッピングシステムであるように選択され得、その理由は、ステレオカメラシステム100は、動いているFOVもしくは光景の最も完全で最も正確な奥行きマップを生成することが可能であり得るからである。いくつかの実施形態では、画像取込みデバイス200が作業メモリまたは一時的に複数の画像を格納する能力を欠いている場合、陰影に基づく奥行きシステム130が、ステレオ取込みシステム100および構造化光システム160に優先して第1の奥行きマッピングシステムとして選択され得る。第1の奥行きマップが、第1の奥行きマッピングシステムによって生成された情報および測定値から生成された後、画像取込みデバイス200は、第1の生成された奥行きマップと融合させるための第2の奥行きマップを生成する必要性を決定することができる。いくつかの実施形態では、第2の奥行きマップが必要であると画像取込みデバイス200が決定すると、第2の奥行きマッピングシステムが、残りの利用可能な奥行きマッピングシステムから選択され得る。第2の奥行きマッピングシステムは、欠陥(すなわち、第1の奥行きマップの不正確で信頼できない部分)の認識または識別に基づいて選択され得る。したがって、第2の奥行きマップは、第1の奥行きマップの不正確なまたは信頼できない奥行き測定値を埋める意図を持って選択され得る。追加の奥行きマップが必要でないと画像取込みデバイス200が決定する場合、画像取込みデバイス200は第2の奥行きマップを生成しなくてもよい。したがって、画像取込みデバイス200は、画像取込みデバイス200への最小限の要求により最も完全で最も正確な奥行きマップを生成することができる。
[0055]上記のように、画像取込みデバイス200は、取り込まれるべき光景またはFOVに基づいて奥行きマッピングシステムのうちの1つを選択することができる。たとえば、FOVまたは光景が良好なテクスチャを備える場合、ステレオカメラシステム100は、画像取込みデバイス200の光源なしでFOVまたは光景がどれくらい十分に照らされるかに依存して、第1の奥行きマップを生成するために受動(もしくは低電力)モードまたは能動(もしくは高電力)モードのいずれかで使用され得る。追加として、明るい外部光があるかまたは屋外環境にある場合、ステレオカメラシステム100が使用され得る。いくつかの実施形態において、FOVまたは光景がテクスチャをほとんど備えていない場合、ステレオカメラシステム100は、奥行き測定値を得ることが困難であることがあり、ステレオカメラシステム100によって生成された第1の奥行きマップは、陰影に基づく奥行きシステム130または構造化光システム160の一方から生成された第2の奥行きマップと融合され得る。FOVまたは光景がテクスチャを備えないかまたは平坦な区域しか備えない場合、陰影に基づく奥行きシステム130または構造化光システム160のいずれかが、第1の奥行きマップを生成するために選択され得る。FOVまたは光景中の対象物が、低い光レベルで中間距離(たとえば、0.5mから5メートル)にある場合、構造化光システム160が、第1の奥行きマップを生成するために使用され得る。しかしながら、FOVまたは光景中の対象物がFOVまたは光景において無限遠にある場合、ステレオカメラシステム100または陰影に基づく奥行きシステム130が、第1の奥行きマップを生成するために使用され得る。小さい距離は0mから0.5mであり得、無限遠は10mを超えた任意距離であり得る。
[0056]さらに上記のように、画像取込みデバイス200は、画像取込みデバイス200の1つまたは複数のパラメータに基づいて奥行きマッピングシステムのうちの1つを選択することができる。たとえば、バッテリ容量または電力が節約されるべきである場合、画像取込みデバイス200は、ステレオカメラシステム100が、陰影に基づく奥行きシステム130または構造化光システム160のいずれよりも電力消費が少ないので、ステレオカメラシステム100を選択することができる。しかしながら、上記のように、メモリが貴重である場合、画像取込みデバイス200は、陰影に基づく奥行きシステム130または構造化光システム160の一方を選択することができる。追加として、陰影に基づく奥行きシステム130は、取り込まれるべき静止画像が短寿命である場合、陰影に基づく奥行きシステム130が最も適切となり得るように、FOVまたは光景において最小の露光時間を要し得る。追加として、画像取込みデバイス200は、所望の奥行き分解能に基づいて奥行きマッピングシステムのうちの1つを選択することができる。いくつかの実施形態において、画像取込みデバイス200の1つまたは複数のパラメータは、取り込まれるべきFOVまたは光景に鑑みて考慮されてもよい。
[0057]いくつかの実施形態において、画像取込みデバイス200のユーザは、上述で列記されたパラメータおよび光景またはFOVの特性の評価に基づいて所与の時に使用すべき奥行きマッピングシステムを選択することができる。いくつかの実施形態では、画像取込みデバイス200は、上述で列記されたパラメータおよび光景またはFOVの特性の分析に基づいて使用すべき奥行きマッピングシステムを自動的に選択することができる。追加として、いくつかの実施形態では、画像取込みデバイス200は、以前に取り込まれた光景またはFOVの内容に基づいて奥行きマッピングシステムの選択を自動的に修正するように構成され得、その結果、奥行きマッピングシステムの選択は動的となり得る。
[0058]図4は、例示的な実施形態による、奥行きマップを生成し、必要に応じてそれを追加の奥行きマップと融合させる例示的な方法を具現する流れ図を示す。図4の方法400は、任意のイメージングデバイス、またはデバイスのFOVもしくは光景の奥行きマップを生成することができるイメージング機器を備える任意の他の電子デバイスによって実施され得る。いくつかの実施形態では、上述のように、イメージングデバイスまたは他の電子デバイスは、ステレオ光学カメラシステム、構造化光カメラシステム、および/または陰影に基づく奥行きカメラシステム、またはイメージングデバイスのFOVもしくは光景の奥行きマップを生成することができる他のタイプのカメラシステムを備える複数の奥行きマッピングシステムを備えることができる。方法400は、ブロック402において開始することができる。開始ブロック402は、イメージングデバイスの少なくとも1つの視野を識別することを備える方法400のブロック404に進む。イメージングデバイスの識別された視野は、イメージングデバイスによって取り込まれ得る光景、またはイメージングデバイスによって見られ得る視界を備えることができる。いくつかの実施形態では、視野を識別することは、イメージングデバイスが取り込むことができるフレーム内に所望の光景または対象物が存在するようにイメージングデバイスの位置を変えることを備えることができる。いくつかの実施形態では、少なくとも1つの視野は、方法400を実行するイメージングデバイスによって自動的に識別され得、またはユーザによって識別され得る。少なくとも1つの視野が識別された後、方法400はブロック406に進む。
[0059]ブロック406は、複数の奥行き感知方法から第1の奥行き感知方法を選択することを備える。いくつかの実施形態では、複数の奥行き感知方法から第1の奥行き感知方法を選択することは、イメージングデバイスのユーザによって実行されてもよい。いくつかの実施形態では、選択することは、イメージングデバイス自体によって自動的に実行されてもよい。いくつかの実施形態では、選択することは、奥行き感知方法のうちの1つまたは複数が、奥行き感知方法の別のものよりも信頼でき正確な奥行きマップを生成するという決定に基づいて実行され得る。いくつかの実施形態では、選択することは、イメージングデバイスの1つまたは複数のパラメータ、たとえば、利用可能なメモリ、利用可能な電力、感度、または閾値奥行きレベルに基づいて実行され得る。いくつかの実施形態では、選択することは、少なくとも1つの対象物の奥行き、少なくとも1つの対象物の環境、少なくとも1つの対象物のフレーム内の場所、またはイメージングデバイスの特性に少なくとも部分的に基づいて実行され得る。第1の奥行き感知方法が選択された後、方法400はブロック408に進む。
[0060]ブロック408は、第1の選択する奥行き感知方法を使用してイメージングデバイスに対する少なくとも1つの視野の奥行きを感知することを備える。少なくとも1つの視野の奥行きを感知することは、イメージングデバイスによって取り込まれた光景の奥行きを測定するためにステレオカメラシステムを使用することを備えることができる。いくつかの実施形態では、奥行きを感知することは、陰影に基づく奥行きシステムまたは構造化光システムを使用することを備えることができる。いくつかの実施形態では、感知することは、識別された少なくとも1つの視野に視差整合を適用することを備え、イメージングデバイスはステレオ光学部品を備える。いくつかの実施形態では、奥行きを感知することは、奥行きを測定することを備えることができ、視野または光景の各ポイントの奥行きが測定される。第1の選択された奥行き感知方法を使用して視野の奥行きが感知された後、方法はブロック410に進む。
[0061]ブロック410は、第1の選択された奥行き感知方法の感知された奥行きに基づいて少なくとも1つの視野の第1の奥行きマップを生成することを備える。第1の奥行きマップを生成することは、視野または光景の各ポイントの感知または測定された奥行きを視野または光景全体の単一のマップに編集することを備えることができ、ここで、すべての奥行きが単一の奥行きマップに存在する。第1の奥行きマップが生成された後、方法400はブロック412に進む。
[0062]ブロック412は、不正確な奥行き測定値を有する第1の奥行きマップの1つまたは複数のポイントの領域を識別することを備える。いくつかの実施形態では、コントローラまたは他のプロセッサは、第1の奥行きマップを分析し、奥行きマップの1つまたは複数のポイントの奥行き測定値が正確でないかまたは信頼できないと決定することができる。信頼性の欠如または不正確の決定は、ブロック406において選択された奥行き感知方法に少なくとも部分的に基づいてなされ得る。いくつかの実施形態では、決定は、奥行きマップを光景のポイントの既知の奥行き測定値と比較することに基づいてなされ得る。いくつかの実施形態では、奥行き測定値は、奥行きが特定の閾値内にあるオブ(of)否かを決定することによって不正確であると決定されてもよい。いくつかの実施形態では、奥行き測定値は、たとえば、奥行きのばらつきを比較すること、および/または奥行きのばらつきが光景における対象物の対応するエッジと一致しているかどうかを決定することにより、データの不正確な統計分析であると決定されてもよい。不正確な奥行き測定値を有する領域がブロック412において識別された後、方法400はブロック414に進む。
[0063]ブロック414において、方法400は、1つまたは複数の不正確な奥行き測定値を有する領域の識別の1つまたは複数の特性に基づいて、第2の選択された奥行き感知方法を介した追加の奥行き感知が必要であるどうかを決定する。たとえば、閾値をイズ(is)超える不正確な領域を奥行きマップが有するかまたは追加の奥行き感知を実行する他の要件を満たすと方法400が決定した場合、方法400は、複数の奥行き感知方法から第2の奥行き感知方法を選択し、奥行きマップが不正確なまたは信頼できない領域を有していない(または追加の奥行き感知方法を必要とする最小限の不正確さ、非信頼性、もしくは誤差閾値を満たさない)と方法400が決定するまでブロック408からブロック414を繰り返すことができる。ブロック414における決定することは、さらに、利用可能な奥行きマッピングシステムのいずれかが既存の奥行きマップに情報を加えることができるという決定に基づくことができる。追加の奥行きマップが必要であると決定された場合、生成された奥行きマップは、単一の空間依存奥行きマップに融合され得る。この時点で、方法400はブロック416において終了する。いくつかの実施形態では、方法400は、複数の奥行き感知方法の各々が、奥行きマップを発生させるために使用され終わるまで終了しないことがある。
[0064]本明細書で使用される「決定すること」という用語は多種多様なアクションを包含する。たとえば、「決定すること」は、計算すること、算出すること、処理すること、導出すること、調査すること、探索すること(たとえば、テーブル、データベース、または別のデータ構造において探索すること)、確認することなどを含むことができる。さらに、「決定すること」は、受け取ること(たとえば、情報を受け取ること)、アクセスすること(たとえば、メモリ中のデータにアクセスすること)などを含むことができる。さらに、「決定すること」は、解決すること、選択すること、選ぶこと、確立することなどを含むことができる。さらに、本明細書で使用される「チャネル幅」は、いくつかの態様では帯域幅を包含することがあり、または帯域幅と呼ばれることもある。
[0065]本明細書で使用されるとき、項目のリスト「のうちの少なくとも1つ」を指す句は、単一のメンバを含む、それらの項目の任意の組合せを指す。一例として、「a、b、またはcのうちの少なくとも1つ」は、a、b、c、a〜b、a〜c、b〜c、およびa〜b〜cを範囲に含むように意図される。
[0066]上述の方法の様々な動作は、様々なハードウェアおよび/またはソフトウェア構成要素、回路、および/またはモジュールなどの、動作を実行することができる任意の好適な手段によって実行され得る。一般に、図に示されたいかなる動作も、その動作を実行することが可能な対応する機能的手段によって実行され得る。
[0067]本明細書で使用されるインターフェースという用語は、2つ以上のデバイスを一緒に接続するように構成されたハードウェアまたはソフトウェアを指すことができる。たとえば、インターフェースは、プロセッサまたはバスの一部であり得、デバイス間での情報またはデータの通信を可能にするように構成され得る。インターフェースは、チップまたは他のデバイスに統合され得る。たとえば、いくつかの実施形態では、インターフェースは、あるデバイスからの情報または通信を別のデバイスにおいて受信するように構成された受信機を備えることができる。インターフェース(たとえば、プロセッサまたはバスの)は、フロントエンドまたは別のデバイスによって処理された情報またはデータを受信することができ、あるいは受信された情報を処理することができる。いくつかの実施形態では、インターフェースは、情報またはデータを別のデバイスに送信または通信するように構成された送信機を備えることができる。したがって、インターフェースは、情報またはデータを送信することができ、あるいは送信(たとえば、バスを介した)のために出力するための情報またはデータを準備することができる。
[0068]本開示に関連して説明された様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ信号(FPGA)または他のプログラマブル論理デバイス(PLD)、個別ゲートまたはトランジスタ論理、個別ハードウェア構成要素、あるいは本明細書で説明された機能を実施するように設計されたそれらの任意の組合せを用いて実施または実行され得る。汎用プロセッサはマイクロプロセッサとすることができるが、代替として、プロセッサは、任意の市販のプロセッサ、コントローラ、マイクロコントローラ、または状態機械とすることができる。プロセッサは、さらに、コンピューティングデバイスの組合せ、たとえば、DSPとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、DSPコアと連携する1つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。
[0069]1つまたは複数の態様では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装された場合、機能は、1つまたは複数の命令またはコードとして、コンピュータ可読媒体に格納され得、またはコンピュータ可読媒体を通じて送信され得る。コンピュータ可読媒体は、ある場所から別の場所にコンピュータプログラムを転送しやすくする任意の媒体を含む、コンピュータ記憶媒体と通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体とすることができる。限定ではなく例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD−ROM、もしくは他の光ディスク記憶デバイス、磁気ディスク記憶デバイスもしくは他の磁気記憶デバイス、または、命令もしくはデータ構造の形態の所望のプログラムコードを搬送もしくは格納するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体を含むことができる。さらに、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用されるディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)、およびブルーレイ(登録商標)ディスク(disc)を含み、ここで、ディスク(disk)は、通常、データを磁気的に再生し、一方、ディスク(disc)は、データをレーザで光学的に再生する。したがって、いくつかの態様では、コンピュータ可読媒体は、非一時的コンピュータ可読媒体(たとえば、有形媒体)を備えてもよい。加えて、いくつかの態様では、コンピュータ可読媒体は、一時的コンピュータ可読媒体(たとえば、信号)を備えてもよい。上述のものの組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
[0070]本明細書で開示される方法は、説明された方法を達成するための1つまたは複数のステップまたはアクションを含む。方法ステップおよび/またはアクションは、特許請求の範囲の範囲から逸脱することなく互いに交換され得る。言い換えれば、ステップまたはアクションの特定の順序が指定されていない限り、特定のステップおよび/またはアクションの順序および/または使用は、特許請求の範囲の範囲から逸脱することなく修正され得る。
[0071]説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装された場合、機能は、1つまたは複数の命令としてコンピュータ可読媒体に格納され得る。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体とすることができる。限定ではなく例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD−ROM、もしくは他の光ディスク記憶デバイス、磁気ディスク記憶デバイスもしくは他の磁気記憶デバイス、または、命令もしくはデータ構造の形態の所望のプログラムコードを搬送もしくは格納するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体を含むことができる。本明細書で使用されるディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)、およびブルーレイディスク(disc)を含み、ここで、ディスク(disk)は、通常、データを磁気的に再生し、一方、ディスク(disc)は、データをレーザで光学的に再生する。
[0072]したがって、いくつかの態様は、本明細書で提示された動作を実行するためのコンピュータプログラム製品を備えることができる。たとえば、そのようなコンピュータプログラム製品は、本明細書で説明された動作を実施するために1つまたは複数のプロセッサによって実行可能である命令をその上に格納した(および/または符号化した)コンピュータ可読媒体を備えることができる。いくつかの態様では、コンピュータプログラム製品はパッケージング材料を含むことができる。
[0073]ソフトウェアまたは命令は、さらに、送信媒体を通じて送信され得る。たとえば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、送信媒体の定義に含まれる。
[0074]さらに、本明細書で説明された方法および技法を実行するためのモジュールおよび/または他の適切な手段は、該当する場合ユーザ端末および/または基地局によってダウンロードされ得るおよび/または他の方法で得られ得ることを理解されたい。たとえば、そのようなデバイスは、本明細書で説明された方法を実行するための手段を転送しやすくするためにサーバに結合され得る。代替として、本明細書で説明された様々な方法は、記憶手段(たとえば、RAM、ROM、コンパクトディスク(CD)またはフロッピーディスクなどの物理的記憶媒体など)を介して提供され得、その結果、ユーザ端末および/または基地局は、記憶手段をデバイスに結合または提供する際様々な方法を得ることができる。その上、本明細書で説明された方法および技法をデバイスに提供するための任意の他の好適な技法が利用され得る。
[0075]特許請求の範囲は、上述で示された厳密な構成および構成要素に限定されないことを理解されたい。様々な修正、改変、および変更が、上述の方法および装置の構成、動作、および詳細において特許請求の範囲の範囲から逸脱することなくなされ得る。
[0076]前述は本開示の態様に関するが、本開示の他のおよびさらなる態様がその基本的な範囲から逸脱することなく考案され得、その範囲は以下の特許請求の範囲によって決定される。
[0076]前述は本開示の態様に関するが、本開示の他のおよびさらなる態様がその基本的な範囲から逸脱することなく考案され得、その範囲は以下の特許請求の範囲によって決定される。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
[C1]
奥行きマップを生成するための装置であって、
イメージングデバイスの視野(FOV)中の光景の少なくとも画像を取り込むように構成された前記イメージングデバイスと、
複数の奥行き感知モジュールと、前記奥行き感知モジュールの各々が前記光景の奥行きマップを生成するように構成される、
プロセッサを備える処理システムとを備え、前記処理システムが、
前記複数の奥行き感知モジュールから第1の奥行き感知モジュールを選択し、
前記第1の選択された奥行き感知モジュールおよび前記イメージングデバイスを使用して、前記イメージングデバイスのFOV中の前記光景の第1の奥行き情報を感知し、 前記第1の奥行き情報に基づいて第1の奥行きマップを生成し、前記第1の奥行きマップが前記光景の複数のポイントの奥行き測定値を備える、
1つまたは複数の不正確な奥行き測定値を有する前記第1の奥行きマップの1つまたは複数のポイントの少なくとも1つの領域を識別し、
前記識別された少なくとも1つの領域の特性に基づいて、前記複数の奥行き感知モジュールのうちの第2の選択された奥行き感知モジュールを使用して追加の奥行き感知を実行すべきかどうかを決定するように構成される、装置。
[C2]
前記処理システムが、
追加の奥行き感知を実行するという決定に基づいて、前記複数の奥行き感知モジュールから前記第2の奥行き感知モジュールを選択し、
前記第2の選択された奥行き感知モジュールを使用して、前記イメージングデバイスの前記FOV中の前記光景の第2の奥行き情報を感知し、
前記第2の奥行き情報に基づいて第2の奥行きマップを生成し、
前記第1の奥行きマップと前記第2の奥行きマップの少なくとも一部を一緒に使用して融合奥行きマップを作り出す、前記融合奥行きマップが、1つまたは複数の不正確な奥行き測定値を有する前記第1の奥行きマップの前記少なくとも1つの領域に対応する前記第2の奥行きマップの少なくとも一部を使用する、ようにさらに構成される、C1に記載の装置。
[C3]
前記処理システムが、
1つまたは複数の不正確な奥行き測定値を有する前記融合奥行きマップの1つまたは複数のポイントの少なくとも第2の領域を識別し、
前記識別された第2の領域の特性に基づいて、第3の選択された奥行き感知モジュールを使用して追加の奥行き感知を実行すべきかどうかを決定するようにさらに構成される、C2に記載の装置。
[C4]
前記処理システムが、前記第1の奥行きマップと前記第2の奥行きマップとの空間依存融合を生成することによって、前記第1の奥行きマップと前記第2の奥行きマップとを融合させるようにさらに構成される、C2に記載の装置。
[C5]
前記処理システムが前記複数の奥行き感知モジュールから前記第2の奥行き感知モジュールを選択するように構成されることが、前記FOVの以前に取り込まれたフレームのレビューに基づいて、前記第1の奥行きマップの前記奥行き測定値を改善しないことになる前記複数の奥行き感知モジュールのうちの1つまたは複数の奥行き感知モジュールを識別するように前記処理システムが構成されることを備える、C2に記載の装置。
[C6]
前記処理システムが前記複数の奥行き感知モジュールのうちの第3の選択された奥行き感知モジュールを介して追加の奥行き感知を実行すべきかどうかを決定するように構成されることは、前記複数の奥行き感知モジュールのうちのいずれかの奥行き感知モジュールが前記融合奥行きマップの前記奥行き測定値よりも良好な奥行き測定値を提供することになるかどうかを決定するように前記処理システムが構成されることを備える、C3に記載の装置。
[C7]
前記処理システムが前記複数の奥行き感知モジュールのうちの第2の選択された奥行き感知モジュールを介して追加の奥行き感知を実行すべきかどうかを決定するように構成されることが、前記複数の奥行き感知モジュールのうちのいずれかの奥行き感知モジュールが前記第1の奥行きマップの前記奥行き測定値よりも良好な奥行き測定値を提供することになるかどうかを決定するように前記処理システムが構成されることを備える、C1に記載の装置。
[C8]
前記第1の奥行き感知モジュールが、ステレオビジョン奥行き感知モジュール、構造化光奥行き感知モジュール、または陰影奥行き感知モジュールのうちの少なくとも1つから選択される、C1に記載の装置。
[C9]
前記ステレオビジョン奥行き感知モジュール、前記構造化光奥行き感知モジュール、および前記陰影奥行き感知モジュールが、前記イメージングデバイスのハードウェア構成要素を共有する、C8に記載の装置。
[C10]
前記第1の奥行き感知モジュールの前記選択が、前記イメージングデバイスにおける利用可能な記憶空間、前記イメージングデバイスの利用可能なバッテリ電力、利用可能な奥行き分解能、前記イメージングデバイスの環境、または前記イメージングデバイスによって取り込まれるべき光景のうちの少なくとも1つに基づく、C1に記載の装置。
[C11]
前記第1の奥行き感知モジュールの前記選択が、前記少なくとも1つの対象物の奥行き、前記少なくとも1つの対象物の環境、前記少なくとも1つの対象物のフレーム内の場所、または前記イメージングデバイスの特性に少なくとも部分的に基づく、C1に記載の装置。
[C12]
前記イメージングデバイスが、ステレオイメージングシステムを備え、前記光景の2つ以上の画像を取り込み、前記処理システムが、前記2つ以上の画像に視差整合を実行することによって第1の奥行き情報を感知するように構成される、C1に記載の装置。
[C13]
奥行きマップを生成する方法であって、
イメージングデバイスの視野を識別することと、前記イメージングデバイスが前記視野の少なくとも1つの画像を取り込むように構成される、
複数の奥行き感知方法から第1の奥行き感知方法を選択することと、
前記第1の選択された奥行き感知方法を使用して前記イメージングデバイスの前記視野の第1の奥行きを感知することと、
前記第1の選択された奥行き感知方法の前記第1の感知された奥行きに基づいて前記視野の第1の奥行きマップを生成することと、前記第1の奥行きマップが前記視野のすべてのポイントの奥行き測定値を備える、
前記第1の奥行きマップにおいて1つまたは複数の不正確な奥行き測定値を有する前記第1の奥行きマップの1つまたは複数のポイントの領域を識別することと、
1つまたは複数の不正確な奥行き測定値を有する1つまたは複数のポイントを有する前記領域を前記識別することに基づいて、第2の選択された奥行き感知方法を介した追加の奥行き感知が保証されるかどうかを決定することとを備える、方法。
[C14]
前記複数の奥行き感知方法から前記第2の奥行き感知方法を選択することと、
追加の奥行き感知が保証されるという前記決定に基づいて、前記第2の選択された奥行き感知方法を使用して前記イメージングデバイスに対する前記少なくとも1つの視野の第2の奥行きを感知することと、
前記第2の選択された奥行き感知方法の前記第2の感知された奥行きに基づいて前記少なくとも1つの視野の第2の奥行きマップを生成することと、
融合奥行きマップを作り出すために前記第1の奥行きマップと前記第2の奥行きマップとを一緒に融合させることと、前記融合奥行きマップが、前記第1の奥行きマップおよび前記第2の奥行きマップの各々よりも少ない数の信頼できない領域を有するように構成される、
前記融合奥行きマップにおいて1つまたは複数の不正確な奥行き測定値を有する前記融合奥行きマップの1つまたは複数のポイントの第2の領域を識別することと、
1つまたは複数の不正確な奥行き測定値を有する前記融合奥行きマップの1つまたは複数のポイントの前記第2の領域を前記識別することに基づいて、第3の選択された奥行き感知方法を介した追加の奥行き感知が保証されるかどうかを決定することとをさらに備える、C12に記載の方法。
[C15]
前記第1の奥行きマップと前記第2の奥行きマップとを前記融合させることが、前記第1の奥行きマップと前記第2の奥行きマップとの空間依存融合を生成することを備える、C13に記載の方法。
[C16]
前記複数の奥行き感知方法から前記第2の奥行き感知方法を選択することが、前記少なくとも1つの視野の以前に取り込まれたフレームのレビューに基づいて、前記複数の奥行き感知方法のうちの奥行き感知方法を識別することを備える、C13に記載の方法。
[C17]
前記第3の選択された奥行き感知方法を介した追加の奥行き感知が保証されるかどうかを決定することは、前記複数の奥行き感知方法のうちのいずれかの奥行き感知方法が前記融合奥行きマップの前記奥行き測定値よりも良好な奥行き測定値を提供することになるかどうかを決定することを備える、C13に記載の方法。
[C18]
前記第2の選択された奥行き感知方法を介した追加の奥行き感知が保証されるかどうかを決定することは、前記複数の奥行き感知方法のうちのいずれかの奥行き感知方法が前記第1の奥行きマップの前記奥行き測定値よりも良好な奥行き測定値を提供することになるかどうかを決定することを備える、C12に記載の方法。
[C19]
前記第1の奥行き感知方法が、ステレオビジョン奥行き感知方法、構造化光奥行き感知方法、および陰影奥行き感知方法のうちの少なくとも1つから選択される、C12に記載の方法。
[C20]
前記ステレオビジョン奥行き感知方法、前記構造化光奥行き感知方法、および前記陰影奥行き感知方法が、前記イメージングデバイスのハードウェア構成要素を共有する、C18に記載の方法。
[C21]
前記第1の奥行き感知方法の前記選択が、前記イメージングデバイスにおける利用可能な記憶空間、前記イメージングデバイスの利用可能なバッテリ電力、利用可能な奥行き分解能、前記イメージングデバイスの環境、および前記イメージングデバイスによって取り込まれるべき光景のうちの少なくとも1つに基づく、C12に記載の方法。
[C22]
前記第1の奥行き感知方法の前記選択が、前記少なくとも1つの対象物の奥行き、前記少なくとも1つの対象物の環境、前記少なくとも1つの対象物のフレーム内の場所、または前記イメージングデバイスの特性に少なくとも部分的に基づく、C12に記載の方法。[C23]
前記少なくとも1つの視野の前記奥行きを感知することが、前記識別された少なくとも1つの視野に視差整合を適用することを備え、前記イメージングデバイスがステレオ光学部品を備える、C12に記載の方法。
[C24]
奥行きマップを生成するための装置であって、
視野の画像を取り込むための手段と、
奥行きを感知するための複数の手段と、前記複数の奥行き感知手段の各々が前記視野の奥行きマップを生成するように構成される、
前記複数の奥行き感知手段から第1の奥行き感知手段を選択するための手段と、
前記第1の選択された奥行き感知手段を使用して前記画像取込み手段の前記視野の第1の奥行きを感知するための手段と、
前記第1の選択された奥行き感知手段の前記第1の感知された奥行きに基づいて前記視野の第1の奥行きマップを生成するための手段と、前記第1の奥行きマップが前記視野のすべてのポイントの奥行き測定値を備える、
前記第1の奥行きマップにおいて1つまたは複数の不正確な奥行き測定値を有する前記第1の奥行きマップの1つまたは複数のポイントの領域を識別するための手段と、
1つまたは複数の不正確な奥行き測定値を有する1つまたは複数のポイントを有する前記領域を前記識別することに基づいて、前記複数の奥行き感知手段うちの第2の選択された奥行き感知手段を介した追加の奥行き感知が保証されるかどうかを決定するための手段とを備える、装置。
[C25]
前記複数の奥行き感知手段から前記第2の奥行き感知手段を選択するための手段と、 追加の奥行き感知が保証されているという前記決定に基づいて、前記第2の選択された奥行き感知手段を使用して前記画像取込み手段に対する前記視野の第2の奥行きを感知するための手段と、
前記第2の選択された奥行き感知モジュールの前記感知された第2の奥行きに基づいて前記視野の第2の奥行きマップを生成するための手段と、
融合奥行きマップを作り出すために前記第1の奥行きマップと前記第2の奥行きマップとを一緒に融合させるための手段と、前記融合奥行きマップが、前記第1の奥行きマップおよび前記第2の奥行きマップの各々よりも少ない数の信頼できない領域を有するように構成される、
前記融合奥行きマップにおいて1つまたは複数の不正確な奥行き測定値を有する前記融合奥行きマップの1つまたは複数のポイントの第2の領域を識別するための手段と、
1つまたは複数の不正確な奥行き測定値を有する前記融合奥行きマップの1つまたは複数のポイントの前記第2の領域を前記識別すること基づいて、第3の選択された奥行き感知モジュールを介した追加の奥行き感知が保証されるかどうかを決定するための手段とをさらに備える、C23に記載の装置。
[C26]
前記第1の奥行きマップと前記第2の奥行きマップとを融合させるための手段が、前記第1の奥行きマップと前記第2の奥行きマップとの空間依存融合を生成するように構成される、C24に記載の装置。
[C27]
前記複数の奥行き感知手段から前記第2の奥行き感知手段を選択するための前記手段が、前記少なくとも1つの視野の以前に取り込まれたフレームのレビューに基づいて、前記第1の奥行きマップの前記奥行き測定値を改善しないことになる前記複数の奥行き感知手段のうちの1つまたは複数の奥行き感知手段を識別するように構成される、C24に記載の装置。
[C28]
前記複数の奥行き感知手段のうちの前記第3の選択された奥行き感知手段を介した追加の奥行き感知がどうかを決定するための前記手段が、前記複数の奥行き感知手段のうちのいずれかの奥行き感知手段が前記融合奥行きマップの前記奥行き測定値よりも良好な奥行き測定値を提供することになるかどうかを決定するように構成される、C24に記載の装置。
[C29]
前記複数の奥行き感知手段のうちの前記第2の選択された奥行き感知手段を介した追加の奥行き感知が必要とされるかどうかを決定するための前記手段が、前記複数の奥行き感知手段のうちのいずれかの奥行き感知手段が前記第1の奥行きマップの前記奥行き測定値よりも良好な奥行き測定値を提供することになるかどうかを決定するように構成される、C23に記載の装置。
[C30]
前記第1の奥行き感知手段が、ステレオ奥行き画像を取り込むための手段、構造化光奥行き画像を取り込むための手段、および陰影奥行き画像を取り込むための手段のうちの少なくとも1つから選択される、C23に記載の装置。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
[C1]
奥行きマップを生成するための装置であって、
イメージングデバイスの視野(FOV)中の光景の少なくとも画像を取り込むように構成された前記イメージングデバイスと、
複数の奥行き感知モジュールと、前記奥行き感知モジュールの各々が前記光景の奥行きマップを生成するように構成される、
プロセッサを備える処理システムとを備え、前記処理システムが、
前記複数の奥行き感知モジュールから第1の奥行き感知モジュールを選択し、
前記第1の選択された奥行き感知モジュールおよび前記イメージングデバイスを使用して、前記イメージングデバイスのFOV中の前記光景の第1の奥行き情報を感知し、 前記第1の奥行き情報に基づいて第1の奥行きマップを生成し、前記第1の奥行きマップが前記光景の複数のポイントの奥行き測定値を備える、
1つまたは複数の不正確な奥行き測定値を有する前記第1の奥行きマップの1つまたは複数のポイントの少なくとも1つの領域を識別し、
前記識別された少なくとも1つの領域の特性に基づいて、前記複数の奥行き感知モジュールのうちの第2の選択された奥行き感知モジュールを使用して追加の奥行き感知を実行すべきかどうかを決定するように構成される、装置。
[C2]
前記処理システムが、
追加の奥行き感知を実行するという決定に基づいて、前記複数の奥行き感知モジュールから前記第2の奥行き感知モジュールを選択し、
前記第2の選択された奥行き感知モジュールを使用して、前記イメージングデバイスの前記FOV中の前記光景の第2の奥行き情報を感知し、
前記第2の奥行き情報に基づいて第2の奥行きマップを生成し、
前記第1の奥行きマップと前記第2の奥行きマップの少なくとも一部を一緒に使用して融合奥行きマップを作り出す、前記融合奥行きマップが、1つまたは複数の不正確な奥行き測定値を有する前記第1の奥行きマップの前記少なくとも1つの領域に対応する前記第2の奥行きマップの少なくとも一部を使用する、ようにさらに構成される、C1に記載の装置。
[C3]
前記処理システムが、
1つまたは複数の不正確な奥行き測定値を有する前記融合奥行きマップの1つまたは複数のポイントの少なくとも第2の領域を識別し、
前記識別された第2の領域の特性に基づいて、第3の選択された奥行き感知モジュールを使用して追加の奥行き感知を実行すべきかどうかを決定するようにさらに構成される、C2に記載の装置。
[C4]
前記処理システムが、前記第1の奥行きマップと前記第2の奥行きマップとの空間依存融合を生成することによって、前記第1の奥行きマップと前記第2の奥行きマップとを融合させるようにさらに構成される、C2に記載の装置。
[C5]
前記処理システムが前記複数の奥行き感知モジュールから前記第2の奥行き感知モジュールを選択するように構成されることが、前記FOVの以前に取り込まれたフレームのレビューに基づいて、前記第1の奥行きマップの前記奥行き測定値を改善しないことになる前記複数の奥行き感知モジュールのうちの1つまたは複数の奥行き感知モジュールを識別するように前記処理システムが構成されることを備える、C2に記載の装置。
[C6]
前記処理システムが前記複数の奥行き感知モジュールのうちの第3の選択された奥行き感知モジュールを介して追加の奥行き感知を実行すべきかどうかを決定するように構成されることは、前記複数の奥行き感知モジュールのうちのいずれかの奥行き感知モジュールが前記融合奥行きマップの前記奥行き測定値よりも良好な奥行き測定値を提供することになるかどうかを決定するように前記処理システムが構成されることを備える、C3に記載の装置。
[C7]
前記処理システムが前記複数の奥行き感知モジュールのうちの第2の選択された奥行き感知モジュールを介して追加の奥行き感知を実行すべきかどうかを決定するように構成されることが、前記複数の奥行き感知モジュールのうちのいずれかの奥行き感知モジュールが前記第1の奥行きマップの前記奥行き測定値よりも良好な奥行き測定値を提供することになるかどうかを決定するように前記処理システムが構成されることを備える、C1に記載の装置。
[C8]
前記第1の奥行き感知モジュールが、ステレオビジョン奥行き感知モジュール、構造化光奥行き感知モジュール、または陰影奥行き感知モジュールのうちの少なくとも1つから選択される、C1に記載の装置。
[C9]
前記ステレオビジョン奥行き感知モジュール、前記構造化光奥行き感知モジュール、および前記陰影奥行き感知モジュールが、前記イメージングデバイスのハードウェア構成要素を共有する、C8に記載の装置。
[C10]
前記第1の奥行き感知モジュールの前記選択が、前記イメージングデバイスにおける利用可能な記憶空間、前記イメージングデバイスの利用可能なバッテリ電力、利用可能な奥行き分解能、前記イメージングデバイスの環境、または前記イメージングデバイスによって取り込まれるべき光景のうちの少なくとも1つに基づく、C1に記載の装置。
[C11]
前記第1の奥行き感知モジュールの前記選択が、前記少なくとも1つの対象物の奥行き、前記少なくとも1つの対象物の環境、前記少なくとも1つの対象物のフレーム内の場所、または前記イメージングデバイスの特性に少なくとも部分的に基づく、C1に記載の装置。
[C12]
前記イメージングデバイスが、ステレオイメージングシステムを備え、前記光景の2つ以上の画像を取り込み、前記処理システムが、前記2つ以上の画像に視差整合を実行することによって第1の奥行き情報を感知するように構成される、C1に記載の装置。
[C13]
奥行きマップを生成する方法であって、
イメージングデバイスの視野を識別することと、前記イメージングデバイスが前記視野の少なくとも1つの画像を取り込むように構成される、
複数の奥行き感知方法から第1の奥行き感知方法を選択することと、
前記第1の選択された奥行き感知方法を使用して前記イメージングデバイスの前記視野の第1の奥行きを感知することと、
前記第1の選択された奥行き感知方法の前記第1の感知された奥行きに基づいて前記視野の第1の奥行きマップを生成することと、前記第1の奥行きマップが前記視野のすべてのポイントの奥行き測定値を備える、
前記第1の奥行きマップにおいて1つまたは複数の不正確な奥行き測定値を有する前記第1の奥行きマップの1つまたは複数のポイントの領域を識別することと、
1つまたは複数の不正確な奥行き測定値を有する1つまたは複数のポイントを有する前記領域を前記識別することに基づいて、第2の選択された奥行き感知方法を介した追加の奥行き感知が保証されるかどうかを決定することとを備える、方法。
[C14]
前記複数の奥行き感知方法から前記第2の奥行き感知方法を選択することと、
追加の奥行き感知が保証されるという前記決定に基づいて、前記第2の選択された奥行き感知方法を使用して前記イメージングデバイスに対する前記少なくとも1つの視野の第2の奥行きを感知することと、
前記第2の選択された奥行き感知方法の前記第2の感知された奥行きに基づいて前記少なくとも1つの視野の第2の奥行きマップを生成することと、
融合奥行きマップを作り出すために前記第1の奥行きマップと前記第2の奥行きマップとを一緒に融合させることと、前記融合奥行きマップが、前記第1の奥行きマップおよび前記第2の奥行きマップの各々よりも少ない数の信頼できない領域を有するように構成される、
前記融合奥行きマップにおいて1つまたは複数の不正確な奥行き測定値を有する前記融合奥行きマップの1つまたは複数のポイントの第2の領域を識別することと、
1つまたは複数の不正確な奥行き測定値を有する前記融合奥行きマップの1つまたは複数のポイントの前記第2の領域を前記識別することに基づいて、第3の選択された奥行き感知方法を介した追加の奥行き感知が保証されるかどうかを決定することとをさらに備える、C12に記載の方法。
[C15]
前記第1の奥行きマップと前記第2の奥行きマップとを前記融合させることが、前記第1の奥行きマップと前記第2の奥行きマップとの空間依存融合を生成することを備える、C13に記載の方法。
[C16]
前記複数の奥行き感知方法から前記第2の奥行き感知方法を選択することが、前記少なくとも1つの視野の以前に取り込まれたフレームのレビューに基づいて、前記複数の奥行き感知方法のうちの奥行き感知方法を識別することを備える、C13に記載の方法。
[C17]
前記第3の選択された奥行き感知方法を介した追加の奥行き感知が保証されるかどうかを決定することは、前記複数の奥行き感知方法のうちのいずれかの奥行き感知方法が前記融合奥行きマップの前記奥行き測定値よりも良好な奥行き測定値を提供することになるかどうかを決定することを備える、C13に記載の方法。
[C18]
前記第2の選択された奥行き感知方法を介した追加の奥行き感知が保証されるかどうかを決定することは、前記複数の奥行き感知方法のうちのいずれかの奥行き感知方法が前記第1の奥行きマップの前記奥行き測定値よりも良好な奥行き測定値を提供することになるかどうかを決定することを備える、C12に記載の方法。
[C19]
前記第1の奥行き感知方法が、ステレオビジョン奥行き感知方法、構造化光奥行き感知方法、および陰影奥行き感知方法のうちの少なくとも1つから選択される、C12に記載の方法。
[C20]
前記ステレオビジョン奥行き感知方法、前記構造化光奥行き感知方法、および前記陰影奥行き感知方法が、前記イメージングデバイスのハードウェア構成要素を共有する、C18に記載の方法。
[C21]
前記第1の奥行き感知方法の前記選択が、前記イメージングデバイスにおける利用可能な記憶空間、前記イメージングデバイスの利用可能なバッテリ電力、利用可能な奥行き分解能、前記イメージングデバイスの環境、および前記イメージングデバイスによって取り込まれるべき光景のうちの少なくとも1つに基づく、C12に記載の方法。
[C22]
前記第1の奥行き感知方法の前記選択が、前記少なくとも1つの対象物の奥行き、前記少なくとも1つの対象物の環境、前記少なくとも1つの対象物のフレーム内の場所、または前記イメージングデバイスの特性に少なくとも部分的に基づく、C12に記載の方法。[C23]
前記少なくとも1つの視野の前記奥行きを感知することが、前記識別された少なくとも1つの視野に視差整合を適用することを備え、前記イメージングデバイスがステレオ光学部品を備える、C12に記載の方法。
[C24]
奥行きマップを生成するための装置であって、
視野の画像を取り込むための手段と、
奥行きを感知するための複数の手段と、前記複数の奥行き感知手段の各々が前記視野の奥行きマップを生成するように構成される、
前記複数の奥行き感知手段から第1の奥行き感知手段を選択するための手段と、
前記第1の選択された奥行き感知手段を使用して前記画像取込み手段の前記視野の第1の奥行きを感知するための手段と、
前記第1の選択された奥行き感知手段の前記第1の感知された奥行きに基づいて前記視野の第1の奥行きマップを生成するための手段と、前記第1の奥行きマップが前記視野のすべてのポイントの奥行き測定値を備える、
前記第1の奥行きマップにおいて1つまたは複数の不正確な奥行き測定値を有する前記第1の奥行きマップの1つまたは複数のポイントの領域を識別するための手段と、
1つまたは複数の不正確な奥行き測定値を有する1つまたは複数のポイントを有する前記領域を前記識別することに基づいて、前記複数の奥行き感知手段うちの第2の選択された奥行き感知手段を介した追加の奥行き感知が保証されるかどうかを決定するための手段とを備える、装置。
[C25]
前記複数の奥行き感知手段から前記第2の奥行き感知手段を選択するための手段と、 追加の奥行き感知が保証されているという前記決定に基づいて、前記第2の選択された奥行き感知手段を使用して前記画像取込み手段に対する前記視野の第2の奥行きを感知するための手段と、
前記第2の選択された奥行き感知モジュールの前記感知された第2の奥行きに基づいて前記視野の第2の奥行きマップを生成するための手段と、
融合奥行きマップを作り出すために前記第1の奥行きマップと前記第2の奥行きマップとを一緒に融合させるための手段と、前記融合奥行きマップが、前記第1の奥行きマップおよび前記第2の奥行きマップの各々よりも少ない数の信頼できない領域を有するように構成される、
前記融合奥行きマップにおいて1つまたは複数の不正確な奥行き測定値を有する前記融合奥行きマップの1つまたは複数のポイントの第2の領域を識別するための手段と、
1つまたは複数の不正確な奥行き測定値を有する前記融合奥行きマップの1つまたは複数のポイントの前記第2の領域を前記識別すること基づいて、第3の選択された奥行き感知モジュールを介した追加の奥行き感知が保証されるかどうかを決定するための手段とをさらに備える、C23に記載の装置。
[C26]
前記第1の奥行きマップと前記第2の奥行きマップとを融合させるための手段が、前記第1の奥行きマップと前記第2の奥行きマップとの空間依存融合を生成するように構成される、C24に記載の装置。
[C27]
前記複数の奥行き感知手段から前記第2の奥行き感知手段を選択するための前記手段が、前記少なくとも1つの視野の以前に取り込まれたフレームのレビューに基づいて、前記第1の奥行きマップの前記奥行き測定値を改善しないことになる前記複数の奥行き感知手段のうちの1つまたは複数の奥行き感知手段を識別するように構成される、C24に記載の装置。
[C28]
前記複数の奥行き感知手段のうちの前記第3の選択された奥行き感知手段を介した追加の奥行き感知がどうかを決定するための前記手段が、前記複数の奥行き感知手段のうちのいずれかの奥行き感知手段が前記融合奥行きマップの前記奥行き測定値よりも良好な奥行き測定値を提供することになるかどうかを決定するように構成される、C24に記載の装置。
[C29]
前記複数の奥行き感知手段のうちの前記第2の選択された奥行き感知手段を介した追加の奥行き感知が必要とされるかどうかを決定するための前記手段が、前記複数の奥行き感知手段のうちのいずれかの奥行き感知手段が前記第1の奥行きマップの前記奥行き測定値よりも良好な奥行き測定値を提供することになるかどうかを決定するように構成される、C23に記載の装置。
[C30]
前記第1の奥行き感知手段が、ステレオ奥行き画像を取り込むための手段、構造化光奥行き画像を取り込むための手段、および陰影奥行き画像を取り込むための手段のうちの少なくとも1つから選択される、C23に記載の装置。
Claims (30)
- 奥行きマップを生成するための装置であって、
イメージングデバイスの視野(FOV)中の光景の少なくとも画像を取り込むように構成された前記イメージングデバイスと、
複数の奥行き感知モジュールと、前記奥行き感知モジュールの各々が前記光景の奥行きマップを生成するように構成される、
プロセッサを備える処理システムとを備え、前記処理システムが、
前記複数の奥行き感知モジュールから第1の奥行き感知モジュールを選択し、
前記第1の選択された奥行き感知モジュールおよび前記イメージングデバイスを使用して、前記イメージングデバイスのFOV中の前記光景の第1の奥行き情報を感知し、 前記第1の奥行き情報に基づいて第1の奥行きマップを生成し、前記第1の奥行きマップが前記光景の複数のポイントの奥行き測定値を備える、
1つまたは複数の不正確な奥行き測定値を有する前記第1の奥行きマップの1つまたは複数のポイントの少なくとも1つの領域を識別し、
前記識別された少なくとも1つの領域の特性に基づいて、前記複数の奥行き感知モジュールのうちの第2の選択された奥行き感知モジュールを使用して追加の奥行き感知を実行すべきかどうかを決定する
ように構成される、装置。 - 前記処理システムが、
追加の奥行き感知を実行するという決定に基づいて、前記複数の奥行き感知モジュールから前記第2の奥行き感知モジュールを選択し、
前記第2の選択された奥行き感知モジュールを使用して、前記イメージングデバイスの前記FOV中の前記光景の第2の奥行き情報を感知し、
前記第2の奥行き情報に基づいて第2の奥行きマップを生成し、
前記第1の奥行きマップと前記第2の奥行きマップの少なくとも一部を一緒に使用して融合奥行きマップを作り出す、前記融合奥行きマップが、1つまたは複数の不正確な奥行き測定値を有する前記第1の奥行きマップの前記少なくとも1つの領域に対応する前記第2の奥行きマップの少なくとも一部を使用する、
ようにさらに構成される、
請求項1に記載の装置。 - 前記処理システムが、
1つまたは複数の不正確な奥行き測定値を有する前記融合奥行きマップの1つまたは複数のポイントの少なくとも第2の領域を識別し、
前記識別された第2の領域の特性に基づいて、第3の選択された奥行き感知モジュールを使用して追加の奥行き感知を実行すべきかどうかを決定する
ようにさらに構成される、請求項2に記載の装置。 - 前記処理システムが、前記第1の奥行きマップと前記第2の奥行きマップとの空間依存融合を生成することによって、前記第1の奥行きマップと前記第2の奥行きマップとを融合させるようにさらに構成される、請求項2に記載の装置。
- 前記処理システムが前記複数の奥行き感知モジュールから前記第2の奥行き感知モジュールを選択するように構成されることが、前記FOVの以前に取り込まれたフレームのレビューに基づいて、前記第1の奥行きマップの前記奥行き測定値を改善しないことになる前記複数の奥行き感知モジュールのうちの1つまたは複数の奥行き感知モジュールを識別するように前記処理システムが構成されることを備える、請求項2に記載の装置。
- 前記処理システムが前記複数の奥行き感知モジュールのうちの第3の選択された奥行き感知モジュールを介して追加の奥行き感知を実行すべきかどうかを決定するように構成されることは、前記複数の奥行き感知モジュールのうちのいずれかの奥行き感知モジュールが前記融合奥行きマップの前記奥行き測定値よりも良好な奥行き測定値を提供することになるかどうかを決定するように前記処理システムが構成されることを備える、請求項3に記載の装置。
- 前記処理システムが前記複数の奥行き感知モジュールのうちの第2の選択された奥行き感知モジュールを介して追加の奥行き感知を実行すべきかどうかを決定するように構成されることが、前記複数の奥行き感知モジュールのうちのいずれかの奥行き感知モジュールが前記第1の奥行きマップの前記奥行き測定値よりも良好な奥行き測定値を提供することになるかどうかを決定するように前記処理システムが構成されることを備える、請求項1に記載の装置。
- 前記第1の奥行き感知モジュールが、ステレオビジョン奥行き感知モジュール、構造化光奥行き感知モジュール、または陰影奥行き感知モジュールのうちの少なくとも1つから選択される、請求項1に記載の装置。
- 前記ステレオビジョン奥行き感知モジュール、前記構造化光奥行き感知モジュール、および前記陰影奥行き感知モジュールが、前記イメージングデバイスのハードウェア構成要素を共有する、請求項8に記載の装置。
- 前記第1の奥行き感知モジュールの前記選択が、前記イメージングデバイスにおける利用可能な記憶空間、前記イメージングデバイスの利用可能なバッテリ電力、利用可能な奥行き分解能、前記イメージングデバイスの環境、または前記イメージングデバイスによって取り込まれるべき光景のうちの少なくとも1つに基づく、請求項1に記載の装置。
- 前記第1の奥行き感知モジュールの前記選択が、前記少なくとも1つの対象物の奥行き、前記少なくとも1つの対象物の環境、前記少なくとも1つの対象物のフレーム内の場所、または前記イメージングデバイスの特性に少なくとも部分的に基づく、請求項1に記載の装置。
- 前記イメージングデバイスが、ステレオイメージングシステムを備え、前記光景の2つ以上の画像を取り込み、前記処理システムが、前記2つ以上の画像に視差整合を実行することによって第1の奥行き情報を感知するように構成される、請求項1に記載の装置。
- 奥行きマップを生成する方法であって、
イメージングデバイスの視野を識別することと、前記イメージングデバイスが前記視野の少なくとも1つの画像を取り込むように構成される、
複数の奥行き感知方法から第1の奥行き感知方法を選択することと、
前記第1の選択された奥行き感知方法を使用して前記イメージングデバイスの前記視野の第1の奥行きを感知することと、
前記第1の選択された奥行き感知方法の前記第1の感知された奥行きに基づいて前記視野の第1の奥行きマップを生成することと、前記第1の奥行きマップが前記視野のすべてのポイントの奥行き測定値を備える、
前記第1の奥行きマップにおいて1つまたは複数の不正確な奥行き測定値を有する前記第1の奥行きマップの1つまたは複数のポイントの領域を識別することと、
1つまたは複数の不正確な奥行き測定値を有する1つまたは複数のポイントを有する前記領域を前記識別することに基づいて、第2の選択された奥行き感知方法を介した追加の奥行き感知が保証されるかどうかを決定することと
を備える、方法。 - 前記複数の奥行き感知方法から前記第2の奥行き感知方法を選択することと、
追加の奥行き感知が保証されるという前記決定に基づいて、前記第2の選択された奥行き感知方法を使用して前記イメージングデバイスに対する前記少なくとも1つの視野の第2の奥行きを感知することと、
前記第2の選択された奥行き感知方法の前記第2の感知された奥行きに基づいて前記少なくとも1つの視野の第2の奥行きマップを生成することと、
融合奥行きマップを作り出すために前記第1の奥行きマップと前記第2の奥行きマップとを一緒に融合させることと、前記融合奥行きマップが、前記第1の奥行きマップおよび前記第2の奥行きマップの各々よりも少ない数の信頼できない領域を有するように構成される、
前記融合奥行きマップにおいて1つまたは複数の不正確な奥行き測定値を有する前記融合奥行きマップの1つまたは複数のポイントの第2の領域を識別することと、
1つまたは複数の不正確な奥行き測定値を有する前記融合奥行きマップの1つまたは複数のポイントの前記第2の領域を前記識別することに基づいて、第3の選択された奥行き感知方法を介した追加の奥行き感知が保証されるかどうかを決定することと
をさらに備える、請求項12に記載の方法。 - 前記第1の奥行きマップと前記第2の奥行きマップとを前記融合させることが、前記第1の奥行きマップと前記第2の奥行きマップとの空間依存融合を生成することを備える、請求項13に記載の方法。
- 前記複数の奥行き感知方法から前記第2の奥行き感知方法を選択することが、前記少なくとも1つの視野の以前に取り込まれたフレームのレビューに基づいて、前記複数の奥行き感知方法のうちの奥行き感知方法を識別することを備える、請求項13に記載の方法。
- 前記第3の選択された奥行き感知方法を介した追加の奥行き感知が保証されるかどうかを決定することは、前記複数の奥行き感知方法のうちのいずれかの奥行き感知方法が前記融合奥行きマップの前記奥行き測定値よりも良好な奥行き測定値を提供することになるかどうかを決定することを備える、請求項13に記載の方法。
- 前記第2の選択された奥行き感知方法を介した追加の奥行き感知が保証されるかどうかを決定することは、前記複数の奥行き感知方法のうちのいずれかの奥行き感知方法が前記第1の奥行きマップの前記奥行き測定値よりも良好な奥行き測定値を提供することになるかどうかを決定することを備える、請求項12に記載の方法。
- 前記第1の奥行き感知方法が、ステレオビジョン奥行き感知方法、構造化光奥行き感知方法、および陰影奥行き感知方法のうちの少なくとも1つから選択される、請求項12に記載の方法。
- 前記ステレオビジョン奥行き感知方法、前記構造化光奥行き感知方法、および前記陰影奥行き感知方法が、前記イメージングデバイスのハードウェア構成要素を共有する、請求項18に記載の方法。
- 前記第1の奥行き感知方法の前記選択が、前記イメージングデバイスにおける利用可能な記憶空間、前記イメージングデバイスの利用可能なバッテリ電力、利用可能な奥行き分解能、前記イメージングデバイスの環境、および前記イメージングデバイスによって取り込まれるべき光景のうちの少なくとも1つに基づく、請求項12に記載の方法。
- 前記第1の奥行き感知方法の前記選択が、前記少なくとも1つの対象物の奥行き、前記少なくとも1つの対象物の環境、前記少なくとも1つの対象物のフレーム内の場所、または前記イメージングデバイスの特性に少なくとも部分的に基づく、請求項12に記載の方法。
- 前記少なくとも1つの視野の前記奥行きを感知することが、前記識別された少なくとも1つの視野に視差整合を適用することを備え、前記イメージングデバイスがステレオ光学部品を備える、請求項12に記載の方法。
- 奥行きマップを生成するための装置であって、
視野の画像を取り込むための手段と、
奥行きを感知するための複数の手段と、前記複数の奥行き感知手段の各々が前記視野の奥行きマップを生成するように構成される、
前記複数の奥行き感知手段から第1の奥行き感知手段を選択するための手段と、
前記第1の選択された奥行き感知手段を使用して前記画像取込み手段の前記視野の第1の奥行きを感知するための手段と、
前記第1の選択された奥行き感知手段の前記第1の感知された奥行きに基づいて前記視野の第1の奥行きマップを生成するための手段と、前記第1の奥行きマップが前記視野のすべてのポイントの奥行き測定値を備える、
前記第1の奥行きマップにおいて1つまたは複数の不正確な奥行き測定値を有する前記第1の奥行きマップの1つまたは複数のポイントの領域を識別するための手段と、
1つまたは複数の不正確な奥行き測定値を有する1つまたは複数のポイントを有する前記領域を前記識別することに基づいて、前記複数の奥行き感知手段うちの第2の選択された奥行き感知手段を介した追加の奥行き感知が保証されるかどうかを決定するための手段と
を備える、装置。 - 前記複数の奥行き感知手段から前記第2の奥行き感知手段を選択するための手段と、 追加の奥行き感知が保証されているという前記決定に基づいて、前記第2の選択された奥行き感知手段を使用して前記画像取込み手段に対する前記視野の第2の奥行きを感知するための手段と、
前記第2の選択された奥行き感知モジュールの前記感知された第2の奥行きに基づいて前記視野の第2の奥行きマップを生成するための手段と、
融合奥行きマップを作り出すために前記第1の奥行きマップと前記第2の奥行きマップとを一緒に融合させるための手段と、前記融合奥行きマップが、前記第1の奥行きマップおよび前記第2の奥行きマップの各々よりも少ない数の信頼できない領域を有するように構成される、
前記融合奥行きマップにおいて1つまたは複数の不正確な奥行き測定値を有する前記融合奥行きマップの1つまたは複数のポイントの第2の領域を識別するための手段と、
1つまたは複数の不正確な奥行き測定値を有する前記融合奥行きマップの1つまたは複数のポイントの前記第2の領域を前記識別すること基づいて、第3の選択された奥行き感知モジュールを介した追加の奥行き感知が保証されるかどうかを決定するための手段とをさらに備える、請求項23に記載の装置。 - 前記第1の奥行きマップと前記第2の奥行きマップとを融合させるための手段が、前記第1の奥行きマップと前記第2の奥行きマップとの空間依存融合を生成するように構成される、請求項24に記載の装置。
- 前記複数の奥行き感知手段から前記第2の奥行き感知手段を選択するための前記手段が、前記少なくとも1つの視野の以前に取り込まれたフレームのレビューに基づいて、前記第1の奥行きマップの前記奥行き測定値を改善しないことになる前記複数の奥行き感知手段のうちの1つまたは複数の奥行き感知手段を識別するように構成される、請求項24に記載の装置。
- 前記複数の奥行き感知手段のうちの前記第3の選択された奥行き感知手段を介した追加の奥行き感知がどうかを決定するための前記手段が、前記複数の奥行き感知手段のうちのいずれかの奥行き感知手段が前記融合奥行きマップの前記奥行き測定値よりも良好な奥行き測定値を提供することになるかどうかを決定するように構成される、請求項24に記載の装置。
- 前記複数の奥行き感知手段のうちの前記第2の選択された奥行き感知手段を介した追加の奥行き感知が必要とされるかどうかを決定するための前記手段が、前記複数の奥行き感知手段のうちのいずれかの奥行き感知手段が前記第1の奥行きマップの前記奥行き測定値よりも良好な奥行き測定値を提供することになるかどうかを決定するように構成される、請求項23に記載の装置。
- 前記第1の奥行き感知手段が、ステレオ奥行き画像を取り込むための手段、構造化光奥行き画像を取り込むための手段、および陰影奥行き画像を取り込むための手段のうちの少なくとも1つから選択される、請求項23に記載の装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/601,073 | 2015-01-20 | ||
US14/601,073 US10404969B2 (en) | 2015-01-20 | 2015-01-20 | Method and apparatus for multiple technology depth map acquisition and fusion |
JP2017537922A JP6946188B2 (ja) | 2015-01-20 | 2016-01-04 | 複数技術奥行きマップ取得および融合のための方法および装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017537922A Division JP6946188B2 (ja) | 2015-01-20 | 2016-01-04 | 複数技術奥行きマップ取得および融合のための方法および装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021170007A true JP2021170007A (ja) | 2021-10-28 |
Family
ID=55182612
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017537922A Active JP6946188B2 (ja) | 2015-01-20 | 2016-01-04 | 複数技術奥行きマップ取得および融合のための方法および装置 |
JP2021096659A Ceased JP2021170007A (ja) | 2015-01-20 | 2021-06-09 | 複数技術奥行きマップ取得および融合のための方法および装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017537922A Active JP6946188B2 (ja) | 2015-01-20 | 2016-01-04 | 複数技術奥行きマップ取得および融合のための方法および装置 |
Country Status (8)
Country | Link |
---|---|
US (1) | US10404969B2 (ja) |
EP (1) | EP3248374B1 (ja) |
JP (2) | JP6946188B2 (ja) |
KR (1) | KR102565513B1 (ja) |
CN (1) | CN107113415B (ja) |
BR (1) | BR112017015501A2 (ja) |
CA (1) | CA2969482C (ja) |
WO (1) | WO2016118313A1 (ja) |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3132598A1 (en) * | 2014-04-17 | 2017-02-22 | Sony Corporation | Depth assisted scene recognition for a camera |
US10531071B2 (en) * | 2015-01-21 | 2020-01-07 | Nextvr Inc. | Methods and apparatus for environmental measurements and/or stereoscopic image capture |
JP2016142676A (ja) * | 2015-02-04 | 2016-08-08 | ソニー株式会社 | 情報処理装置と情報処理方法とプログラムおよび撮像装置 |
US9716876B2 (en) * | 2015-04-01 | 2017-07-25 | Sony Corporation | Power efficient multiple camera system |
US9872011B2 (en) * | 2015-11-24 | 2018-01-16 | Nokia Technologies Oy | High-speed depth sensing with a hybrid camera setup |
US10701244B2 (en) | 2016-09-30 | 2020-06-30 | Microsoft Technology Licensing, Llc | Recolorization of infrared image streams |
CN106525004A (zh) * | 2016-11-09 | 2017-03-22 | 人加智能机器人技术(北京)有限公司 | 双目立体视觉系统及深度测量方法 |
US11042984B2 (en) * | 2016-11-10 | 2021-06-22 | Movea | Systems and methods for providing image depth information |
US10389948B2 (en) * | 2016-12-06 | 2019-08-20 | Qualcomm Incorporated | Depth-based zoom function using multiple cameras |
TWI679875B (zh) * | 2017-05-25 | 2019-12-11 | 鈺立微電子股份有限公司 | 用於產生360度深度圖的影像裝置 |
TWI647661B (zh) * | 2017-08-10 | 2019-01-11 | 緯創資通股份有限公司 | 影像深度感測方法與影像深度感測裝置 |
WO2019044608A1 (ja) * | 2017-08-29 | 2019-03-07 | 日本電気株式会社 | 情報処理装置、情報処理方法、及び、記録媒体 |
WO2019061064A1 (zh) * | 2017-09-27 | 2019-04-04 | 深圳市大疆创新科技有限公司 | 图像处理方法和设备 |
CN109870116B (zh) * | 2017-12-05 | 2021-08-03 | 光宝电子(广州)有限公司 | 深度成像装置及其驱动方法 |
US10798368B2 (en) | 2018-03-13 | 2020-10-06 | Lyft, Inc. | Exposure coordination for multiple cameras |
US10917628B2 (en) * | 2018-04-02 | 2021-02-09 | Mediatek Inc. | IR pattern characteristics for active stereo matching |
CN110349196B (zh) * | 2018-04-03 | 2024-03-29 | 联发科技股份有限公司 | 深度融合的方法和装置 |
CN108924408B (zh) * | 2018-06-15 | 2020-11-03 | 深圳奥比中光科技有限公司 | 一种深度成像方法及系统 |
CN108924407B (zh) * | 2018-06-15 | 2020-12-18 | 深圳奥比中光科技有限公司 | 一种深度成像方法及系统 |
WO2020010561A1 (zh) * | 2018-07-12 | 2020-01-16 | 华为技术有限公司 | 测量物体参数的方法及装置 |
CN110442235B (zh) * | 2019-07-16 | 2023-05-23 | 广东虚拟现实科技有限公司 | 定位跟踪方法、装置、终端设备及计算机可读取存储介质 |
KR102552923B1 (ko) * | 2018-12-03 | 2023-07-10 | 삼성전자 주식회사 | 복수의 카메라들 또는 깊이 센서 중 적어도 하나를 이용하여 깊이 정보를 획득하는 전자 장치 |
KR102606824B1 (ko) | 2018-12-14 | 2023-11-27 | 삼성전자주식회사 | 멀티 카메라를 포함하는 장치 및 이의 이미지 처리방법 |
US11151993B2 (en) * | 2018-12-28 | 2021-10-19 | Baidu Usa Llc | Activating voice commands of a smart display device based on a vision-based mechanism |
US10686980B1 (en) | 2019-01-22 | 2020-06-16 | Daqri, Llc | Systems and methods for generating composite depth images based on signals from an inertial sensor |
WO2020192039A1 (en) * | 2019-03-27 | 2020-10-01 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Three-dimensional localization using light-depth images |
WO2020209491A1 (en) | 2019-04-11 | 2020-10-15 | Samsung Electronics Co., Ltd. | Head-mounted display device and operating method of the same |
CN111829456A (zh) * | 2019-04-19 | 2020-10-27 | 株式会社三丰 | 三维形状测定装置以及三维形状测定方法 |
US10867220B2 (en) | 2019-05-16 | 2020-12-15 | Rpx Corporation | Systems and methods for generating composite sets of data from different sensors |
US11763433B2 (en) | 2019-11-14 | 2023-09-19 | Samsung Electronics Co., Ltd. | Depth image generation method and device |
CN113141496A (zh) * | 2020-01-20 | 2021-07-20 | 北京芯海视界三维科技有限公司 | 3d拍摄方法、装置及3d显示终端 |
US11836940B2 (en) * | 2020-06-15 | 2023-12-05 | Zebra Technologies Corporation | Three-dimensional sensor acuity recovery assistance |
KR20220030007A (ko) * | 2020-09-02 | 2022-03-10 | 삼성전자주식회사 | 이미지 생성 장치 및 방법 |
US11496660B2 (en) | 2020-09-04 | 2022-11-08 | Altek Semiconductor Corp. | Dual sensor imaging system and depth map calculation method thereof |
KR102609829B1 (ko) * | 2020-11-27 | 2023-12-04 | 연세대학교 산학협력단 | 생성적 적대 신경망을 이용한 스테레오 매칭 신뢰도 추정 장치 및 방법 |
CN112598711B (zh) * | 2020-12-25 | 2022-12-20 | 南京信息工程大学滨江学院 | 一种基于联合光谱降维和特征融合的高光谱目标跟踪方法 |
CN113902785B (zh) * | 2021-09-15 | 2022-04-15 | 珠海视熙科技有限公司 | 一种深度图像的处理方法、系统、装置及计算机存储介质 |
JP2023104131A (ja) * | 2022-01-17 | 2023-07-28 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10243281A (ja) * | 1997-02-28 | 1998-09-11 | Canon Inc | 測距装置及び測距方法 |
JP2008116308A (ja) * | 2006-11-02 | 2008-05-22 | Fujifilm Corp | 距離画像生成方法及びその装置 |
JP2012123296A (ja) * | 2010-12-10 | 2012-06-28 | Sanyo Electric Co Ltd | 電子機器 |
JP2013156109A (ja) * | 2012-01-30 | 2013-08-15 | Hitachi Ltd | 距離計測装置 |
JP2013544449A (ja) * | 2010-09-08 | 2013-12-12 | マイクロソフト コーポレーション | 構造化光および立体視に基づく深度カメラ |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5852672A (en) * | 1995-07-10 | 1998-12-22 | The Regents Of The University Of California | Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects |
US6084979A (en) * | 1996-06-20 | 2000-07-04 | Carnegie Mellon University | Method for creating virtual reality |
JP2000105105A (ja) * | 1998-09-29 | 2000-04-11 | Junichi Takeno | 回転・移動視差を用いた虚像とオクリュ―ジョンの発見手法およびその手法を現実化するための機構 |
US6868191B2 (en) * | 2000-06-28 | 2005-03-15 | Telefonaktiebolaget Lm Ericsson (Publ) | System and method for median fusion of depth maps |
AU2002303082A1 (en) * | 2001-01-26 | 2002-09-12 | Zaxel Systems, Inc. | Real-time virtual viewpoint in simulated reality environment |
JP2006107093A (ja) * | 2004-10-05 | 2006-04-20 | Konica Minolta Medical & Graphic Inc | 画像処理装置、およびプログラム |
US20110057930A1 (en) | 2006-07-26 | 2011-03-10 | Inneroptic Technology Inc. | System and method of using high-speed, high-resolution depth extraction to provide three-dimensional imagery for endoscopy |
GB2447434A (en) * | 2007-02-09 | 2008-09-17 | Vodafone Plc | Restricting access to telecommunications networks based upon network conditions |
US20090322859A1 (en) * | 2008-03-20 | 2009-12-31 | Shelton Damion M | Method and System for 3D Imaging Using a Spacetime Coded Laser Projection System |
US8774512B2 (en) * | 2009-02-11 | 2014-07-08 | Thomson Licensing | Filling holes in depth maps |
US8164617B2 (en) * | 2009-03-25 | 2012-04-24 | Cisco Technology, Inc. | Combining views of a plurality of cameras for a video conferencing endpoint with a display wall |
KR20110124473A (ko) * | 2010-05-11 | 2011-11-17 | 삼성전자주식회사 | 다중시점 영상을 위한 3차원 영상 생성 장치 및 방법 |
US8447098B1 (en) | 2010-08-20 | 2013-05-21 | Adobe Systems Incorporated | Model-based stereo matching |
DE112010006052T5 (de) | 2010-12-08 | 2013-10-10 | Industrial Technology Research Institute | Verfahren zum Erzeugen stereoskopischer Ansichten von monoskopischen Endoskopbildern und Systeme, die diese verwenden |
US8878950B2 (en) * | 2010-12-14 | 2014-11-04 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using super-resolution processes |
KR101210625B1 (ko) * | 2010-12-28 | 2012-12-11 | 주식회사 케이티 | 빈공간 채움 방법 및 이를 수행하는 3차원 비디오 시스템 |
EP2487504A1 (en) * | 2011-02-10 | 2012-08-15 | Technische Universität München | Method of enhanced depth image acquisition |
WO2013022401A2 (en) * | 2011-08-10 | 2013-02-14 | Telefonaktiebolaget L M Ericsson (Publ) | Method and apparatus for creating a disocclusion map used for coding a three-dimensional video |
US9497435B2 (en) * | 2011-08-15 | 2016-11-15 | Telefonaktiebolaget Lm Ericsson (Publ) | Encoder, method in an encoder, decoder and method in a decoder for providing information concerning a spatial validity range |
IN2014CN02708A (ja) * | 2011-09-28 | 2015-08-07 | Pelican Imaging Corp | |
US9098908B2 (en) | 2011-10-21 | 2015-08-04 | Microsoft Technology Licensing, Llc | Generating a depth map |
US9161010B2 (en) | 2011-12-01 | 2015-10-13 | Sony Corporation | System and method for generating robust depth maps utilizing a multi-resolution procedure |
US9117295B2 (en) * | 2011-12-20 | 2015-08-25 | Adobe Systems Incorporated | Refinement of depth maps by fusion of multiple estimates |
ITTO20120413A1 (it) * | 2012-05-08 | 2013-11-09 | Sisvel Technology Srl | Metodo per la generazione e ricostruzione di un flusso video tridimensionale, basato sull'utilizzo della mappa delle occlusioni, e corrispondente dispositivo di generazione e ricostruzione. |
US8633970B1 (en) * | 2012-08-30 | 2014-01-21 | Google Inc. | Augmented reality with earth data |
CN104662897A (zh) * | 2012-09-25 | 2015-05-27 | 日本电信电话株式会社 | 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质 |
RU2012154657A (ru) | 2012-12-17 | 2014-06-27 | ЭлЭсАй Корпорейшн | Способы и устройство для объединения изображений с глубиной, генерированных с использованием разных способов формирования изображений с глубиной |
US20140363097A1 (en) * | 2013-06-06 | 2014-12-11 | Etron Technology, Inc. | Image capture system and operation method thereof |
DE102013110615B3 (de) * | 2013-09-26 | 2014-11-27 | Sick Ag | 3D-Kamera nach dem Stereoskopieprinzip und Verfahren zum Erfassen von Tiefenkarten |
TWI573433B (zh) * | 2014-04-30 | 2017-03-01 | 聚晶半導體股份有限公司 | 優化深度資訊的方法與裝置 |
-
2015
- 2015-01-20 US US14/601,073 patent/US10404969B2/en active Active
-
2016
- 2016-01-04 WO PCT/US2016/012069 patent/WO2016118313A1/en active Application Filing
- 2016-01-04 JP JP2017537922A patent/JP6946188B2/ja active Active
- 2016-01-04 CA CA2969482A patent/CA2969482C/en active Active
- 2016-01-04 EP EP16701215.2A patent/EP3248374B1/en active Active
- 2016-01-04 BR BR112017015501A patent/BR112017015501A2/pt unknown
- 2016-01-04 KR KR1020177019335A patent/KR102565513B1/ko active IP Right Grant
- 2016-01-04 CN CN201680004749.0A patent/CN107113415B/zh active Active
-
2021
- 2021-06-09 JP JP2021096659A patent/JP2021170007A/ja not_active Ceased
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10243281A (ja) * | 1997-02-28 | 1998-09-11 | Canon Inc | 測距装置及び測距方法 |
JP2008116308A (ja) * | 2006-11-02 | 2008-05-22 | Fujifilm Corp | 距離画像生成方法及びその装置 |
JP2013544449A (ja) * | 2010-09-08 | 2013-12-12 | マイクロソフト コーポレーション | 構造化光および立体視に基づく深度カメラ |
JP2012123296A (ja) * | 2010-12-10 | 2012-06-28 | Sanyo Electric Co Ltd | 電子機器 |
JP2013156109A (ja) * | 2012-01-30 | 2013-08-15 | Hitachi Ltd | 距離計測装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2016118313A1 (en) | 2016-07-28 |
EP3248374B1 (en) | 2019-02-27 |
KR102565513B1 (ko) | 2023-08-09 |
KR20170106325A (ko) | 2017-09-20 |
EP3248374A1 (en) | 2017-11-29 |
US10404969B2 (en) | 2019-09-03 |
US20160212411A1 (en) | 2016-07-21 |
JP2018510324A (ja) | 2018-04-12 |
CN107113415B (zh) | 2019-06-14 |
JP6946188B2 (ja) | 2021-10-06 |
BR112017015501A2 (pt) | 2018-01-30 |
CA2969482C (en) | 2023-05-09 |
CA2969482A1 (en) | 2016-07-28 |
CN107113415A (zh) | 2017-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6946188B2 (ja) | 複数技術奥行きマップ取得および融合のための方法および装置 | |
CN111052727B (zh) | 电子装置及其控制方法 | |
US10116922B2 (en) | Method and system for automatic 3-D image creation | |
US9491370B2 (en) | Methods and apparatuses for providing guide information for a camera | |
US8786679B2 (en) | Imaging device, 3D modeling data creation method, and computer-readable recording medium storing programs | |
KR102085766B1 (ko) | 촬영 장치의 자동 초점 조절 방법 및 장치 | |
CN108028887A (zh) | 一种终端的拍照对焦方法、装置及设备 | |
EP3507765A1 (en) | Systems and methods for adjusting focus based on focus target information | |
WO2016000330A1 (zh) | 一种焦距调节方法、装置和终端、计算机存储介质 | |
JP2023509137A (ja) | パノラマ3次元画像をキャプチャ及び生成するシステム及び方法 | |
CN104349033A (zh) | 自拍补光方法、自拍补光装置及电子设备 | |
US20210084231A1 (en) | Electronic device including plurality of cameras, and operation method therefor | |
CN113129241B (zh) | 图像处理方法及装置、计算机可读介质、电子设备 | |
CN104243800A (zh) | 控制装置和存储介质 | |
TW201801516A (zh) | 影像擷取裝置及其攝影構圖的方法 | |
CN105578023A (zh) | 一种快速拍摄图像方法及装置 | |
CN108965579A (zh) | 基于tof摄像头实现测距的方法及其装置、终端和存储介质 | |
KR102668233B1 (ko) | 관심 영역을 통해 움직이는 외부 객체에 대해 프레임 레이트를 제어하여 이미지들을 획득하는 전자 장치 및 그의 동작 방법 | |
WO2016197494A1 (zh) | 对焦区域调整方法和装置 | |
JP2019179463A (ja) | 画像処理装置、その制御方法、プログラム、記録媒体 | |
KR20230107255A (ko) | 멀티-뷰 이미지 캡처를 위한 폴더블 전자 디바이스 | |
WO2018161322A1 (zh) | 基于深度的图像处理方法、处理装置和电子装置 | |
JP2017215851A (ja) | 画像処理装置および画像処理方法、造形システム | |
CN108317954B (zh) | 一种激光引导扫描系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210708 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210708 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220830 |
|
A045 | Written measure of dismissal of application [lapsed due to lack of payment] |
Free format text: JAPANESE INTERMEDIATE CODE: A045 Effective date: 20221220 |