JP2011527790A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2011527790A5 JP2011527790A5 JP2011517308A JP2011517308A JP2011527790A5 JP 2011527790 A5 JP2011527790 A5 JP 2011527790A5 JP 2011517308 A JP2011517308 A JP 2011517308A JP 2011517308 A JP2011517308 A JP 2011517308A JP 2011527790 A5 JP2011527790 A5 JP 2011527790A5
- Authority
- JP
- Japan
- Prior art keywords
- depth
- depth map
- image data
- color image
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 17
- 238000007906 compression Methods 0.000 claims description 12
- 238000005286 illumination Methods 0.000 claims description 10
- 230000000875 corresponding Effects 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 7
- 239000004065 semiconductor Substances 0.000 claims description 4
- 239000000758 substrate Substances 0.000 claims description 4
- 238000003672 processing method Methods 0.000 claims description 2
- 230000015654 memory Effects 0.000 description 32
- 238000004364 calculation method Methods 0.000 description 17
- 230000003287 optical Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 5
- 230000004301 light adaptation Effects 0.000 description 4
- 241001442055 Vipera berus Species 0.000 description 3
- 230000002093 peripheral Effects 0.000 description 3
- 230000001360 synchronised Effects 0.000 description 3
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 230000001427 coherent Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000000750 progressive Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 241000905137 Veronica schmidtiana Species 0.000 description 1
- 230000000903 blocking Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006011 modification reaction Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003068 static Effects 0.000 description 1
Images
Description
本発明は、一般的に3次元(3D)マッピング用の方法及びシステムに関し、特に3Dマッピングデータの生成と処理のための処理装置に関するものである。
(発明の背景)
光学3Dマッピング、即ち、ある物体の光学画像を処理することによりその物体の3D表面形状を生成すること、の種々の方法が従来技術で知られている。この種の3D形状は「深さマップ」又は「深さ画像」とも呼ばれ、3Dマッピングは「深さマッピング」とも呼ばれる。
光学3Dマッピング、即ち、ある物体の光学画像を処理することによりその物体の3D表面形状を生成すること、の種々の方法が従来技術で知られている。この種の3D形状は「深さマップ」又は「深さ画像」とも呼ばれ、3Dマッピングは「深さマッピング」とも呼ばれる。
ある方法では、レーザスペックルパターンを物体に投影し、物体上のパターンの画像を分析する。例えば特許文献1では物体再構築のシステムと方法を開示し、そこではコヒーレントな光源とランダムなスペックルパターン生成装置が、その物体にコヒーレントなランダムスペックルパターンを投影する。この特許文献1は、ここに参照され採り入れられる。画像化ユニットは、照射領域の光応答を検知し画像データを生成する。パターンの参照画像に対する物体の画像のパターンのズレが、物体の3Dマップのリアルタイムの構築に使用される。スペックルパターンを使用した3Dマッピングの方法については、例えば特許文献2に記載されており、特許文献2はここに参照され、採り入れられる。
光学3Dマッピングの他の方法では、違う種類のパターンをマップする物体に投影する。例えば特許文献3では、スポットの固定パターンを含む単一透明シートを有する3Dマッピング用の照明組立体を記載しており、特許文献3はここに参照され採り入れられる。光源は光学的放射により透明シートを透過し、そのパターンを物体上に投影する。画像獲得組立体は物体上のパターンの画像を獲得し、その後画像はその物体の3Dマップを再構築するために処理される。
更なる例として、特許文献4は3D映像システムを記載しており、特許文献4はここに参照され採り入れられる。そこでは1つ又は2つのプロジェクタが、異なる周期性と角度を有する2組の平行なストライプからなる構造を与えられた光を生成する。さらに他の1つの例として、特許文献5は対象を光学的にスキャンする方法について記載しており、特許文献5はここに参照され採り入れられる。そこでは対象は、点の格子のような、不連続の2次元画像オブジェクトのマトリックスにより照射される。また他の例では、特許文献6に紹介されるように、格子パターンを投影し、特許文献6はここに参照され採り入れられる。
以下に記述される本発明の実施形態によれば、カラー画像データを第1の画像センサから受け取るための第1の入力ポートと、
深さ関係画像データを第2の画像センサから受け取るための第2の入力ポートと、
深さ関係画像データを使用して深さマップを生成するための処理回路と、
深さマップとカラー画像データをホストコンピュータに運ぶための、少なくとも1つの出力ポートと、
を有することを特徴とする、データ処理装置、が提供される。
開示された実施形態では、第1と第2の入力ポートと、処理回路と、少なくとも1つの出力ポートは集積回路の要素であり、単一の半導体基板に組立可能である。
深さ関係画像データを第2の画像センサから受け取るための第2の入力ポートと、
深さ関係画像データを使用して深さマップを生成するための処理回路と、
深さマップとカラー画像データをホストコンピュータに運ぶための、少なくとも1つの出力ポートと、
を有することを特徴とする、データ処理装置、が提供される。
開示された実施形態では、第1と第2の入力ポートと、処理回路と、少なくとも1つの出力ポートは集積回路の要素であり、単一の半導体基板に組立可能である。
ある実施形態では、少なくとも1つの出力ポートは、単一のポートからなり、深さマップとカラー画像データを単一データ流としてマルチプレクスされたフォーマットでホストコンピュータに運ぶように接続される。典型的には、処理回路は、単一データ流の中で前記深さマップをカラー画像データと同期させるように構成される。或いは音響情報を受け取るための第3の入力ポートを有し、
処理回路は、深さマップとカラー画像データと共に、単一のポート経由でホストコンピュータに運ぶため、音響情報を単一データ流の中に組み込むように構成される。1つの実施形態では、単一のポートは、ユニバーサルシリアルポートからなる。
処理回路は、深さマップとカラー画像データと共に、単一のポート経由でホストコンピュータに運ぶため、音響情報を単一データ流の中に組み込むように構成される。1つの実施形態では、単一のポートは、ユニバーサルシリアルポートからなる。
開示された実施形態では、処理回路は、深さマップを前記カラー画像データとアライメントするように構成される。深さマップは、それぞれ深さ値を有するピクセルの配列からなり、処理回路は、深さマップをカラー画像データとアライメントするため、深さ値に対応してそのピクセルに対する其々の偏移を計算し、其々の偏移を深さマップ内のピクセルに適用するように構成される。ある実施形態では、処理回路は、深さマップの1行の中のピクセルの偏移が、従前のピクセルの偏移の関数として計算されるように、漸次適合工程を使用して、其々の偏移を漸次計算するように構成される。典型的に処理回路は、一方で深さ値を受け取りながら、装置内に深さマップ全体を保存することなく、ピクセルに対する其々の偏移をその都度計算するように構成される。
ある実施形態では、処理回路は、少なくとも1つの出力ポート経由でホストコンピュータに送信するため、深さマップとカラー画像データを圧縮するように構成される。ある実施形態では、処理回路は、損失の無い圧縮工程を深さマップとカラー画像データに適用するように構成される。
開示されたある実施形態では、深さ関係画像データは、物体上に投影されたパターンの画像を有し、処理回路は、参照画像に対するパターンの偏移を測定することにより、深さマップを生成するように構成される。
開示されたある実施形態では、深さ関係画像データは、物体上に投影されたパターンの画像を有し、処理回路は、参照画像に対するパターンの偏移を測定することにより、深さマップを生成するように構成される。
本発明の実施形態によれば、物体のカラー画像を獲得し出力するように構成された第1の画像センサと、
物体に関する深さ関係画像データを獲得し出力するように構成された第2の画像センサと、
処理装置と、
を有し、
処理装置は、
カラー画像データを第1の画像センサから受け取るための第1の入力ポートと、
深さ関係画像データを第2の画像センサから受け取るための第2の入力ポートを、
深さ関係画像データを使用して深さマップを生成するための処理回路と、
前記深さマップと前記カラー画像データをホストコンピュータに運ぶための、少なくとも1つの出力ポートと、
を有する、
ことを特徴とする画像化装置、が提供される。
物体に関する深さ関係画像データを獲得し出力するように構成された第2の画像センサと、
処理装置と、
を有し、
処理装置は、
カラー画像データを第1の画像センサから受け取るための第1の入力ポートと、
深さ関係画像データを第2の画像センサから受け取るための第2の入力ポートを、
深さ関係画像データを使用して深さマップを生成するための処理回路と、
前記深さマップと前記カラー画像データをホストコンピュータに運ぶための、少なくとも1つの出力ポートと、
を有する、
ことを特徴とする画像化装置、が提供される。
あるいは、本発明の画像化処理装置は、音響センサを有し、処理装置は、音響情報を音響センサから受け取るための第3の入力ポートを有し、処理装置は、音響情報を前記深さマップとカラー画像データと共に、前記ホストコンピュータに少なくとも1つの出力ポート経由で運ぶように構成される。
開示されたある実施形態では、パターンを物体に投影するように構成された照明サブ組立体を有し、深さ関係画像データは、物体上に投影されたパターンの画像を有し、処理回路は、参照画像に対するパターンの偏移を測定することにより、深さマップを生成するように構成される。
開示されたある実施形態では、パターンを物体に投影するように構成された照明サブ組立体を有し、深さ関係画像データは、物体上に投影されたパターンの画像を有し、処理回路は、参照画像に対するパターンの偏移を測定することにより、深さマップを生成するように構成される。
本発明の実施形態によれば、さらに第1の画像センサから第1の入力ポート経由でカラー画像データを受け取るステップと、
第2の画像センサから第2の入力ポート経由で深さ関係画像データを受け取るステップと、
深さ関係画像データを使用して深さマップを生成するステップと、
深さマップとカラー画像データを出力ポート経由でホストコンピュータに運ぶステップと、
を有することを特徴とするデータ処理方法が提供される。
本発明は図を参照した以下の詳細説明により、より十分に理解される。
第2の画像センサから第2の入力ポート経由で深さ関係画像データを受け取るステップと、
深さ関係画像データを使用して深さマップを生成するステップと、
深さマップとカラー画像データを出力ポート経由でホストコンピュータに運ぶステップと、
を有することを特徴とするデータ処理方法が提供される。
本発明は図を参照した以下の詳細説明により、より十分に理解される。
(実施形態の詳細説明)
図1は本発明の実施形態に基づく、3Dマッピングおよび画像化用のシステム20の鳥瞰図である。この例では、画像化組立体24が使用者22の3Dマップと画像を獲得し処理するように構成されている。この情報は、使用者がコンピュータ上で動作するゲームや他のアプリケーションと相互作用することを可能にする、3Dユーザインタフェースの一部として、ホストコンピュータ26に使用されてもよい。(この種の機能性は、例えば2009年1月13日に申請された特許文献7に記載され、特許文献7はここに参照され採り入れられる。)システム20のこの特定のアプリケーションはここに例示として示されるが、システム20のマッピング及び画像化能力は他の用途にも使用可能であり、実質的に全ての適合するタイプの3D物体に適用可能である。
図1は本発明の実施形態に基づく、3Dマッピングおよび画像化用のシステム20の鳥瞰図である。この例では、画像化組立体24が使用者22の3Dマップと画像を獲得し処理するように構成されている。この情報は、使用者がコンピュータ上で動作するゲームや他のアプリケーションと相互作用することを可能にする、3Dユーザインタフェースの一部として、ホストコンピュータ26に使用されてもよい。(この種の機能性は、例えば2009年1月13日に申請された特許文献7に記載され、特許文献7はここに参照され採り入れられる。)システム20のこの特定のアプリケーションはここに例示として示されるが、システム20のマッピング及び画像化能力は他の用途にも使用可能であり、実質的に全ての適合するタイプの3D物体に適用可能である。
図1の例では、画像化組立体24は光学的放射のパターンを使用者22の体(又は少なくとも体の一部)に投影し、体の表面に現れるパターンの画像を獲得する。この目的に使用される光学的放射は、典型的には赤外(IR)領域にある。画像化組立体24内の処理装置は、体の深さマップ、即ち既定領域内の各地点(X、Y)における体表面の深さ(Z)座標値からなる、3D座標の配列を生成するため、パターンの画像を処理する。(画像関連データの配列の文脈では、これらの(X、Y)点はピクセルとも呼ばれる。)以下に記述される実施形態では、処理装置は使用者の体の表面上の点の3D座標を、三角法により、パターン内のスポットの横方向偏移に基づいて、上記特許文献1−3に記載の通り、計算する。或いはシステム20は、単一又は多重のカメラ又は他のタイプの既知のセンサを使用して、3Dマッピングの他の方法を実行する。
更に画像化組立体24は使用者のカラー(2D)画像を獲得し、また音響入力を受け取ってもよい。画像化組立体24は深さマップをカラー画像とアライメントしかつ同期化し、そしてコンピュータ26への出力用の、深さマップと画像データ(そして場合によって音響データも)を含むデータ流を生成する。ある実施形態では、以下に記述するように、深さマップ、カラー画像、また場合によって音響データは1つのデータ流に集約され、単一ポート、例えば、USBポート、経由でコンピュータに出力される。
コンピュータ26は画像化組立体24により生成されたデータを、3D画像を抽出するために処理する。例えば、コンピュータ26は、使用者22の体の部分を識別し、それらの3D位置を発見するため深さマップを分割する。コンピュータ26は、この情報を表示装置28のような出力装置を駆動して、典型的に3D画像情報、及び/又は使用者の体の部分の動きによって制御されうるユーザインタフェース要素、を表示するのに使用してもよい。一般的にコンピュータ26は汎用コンピュータ処理装置を有し、それはこれらの機能を実行するためソフトウェアでプログラムされる。ソフトウェアは、例えばネットワーク経由で電子的に処理装置にダウンロードされ、或いはソフトウェアは、光学的、磁気的、電子的記憶媒体のような接触可能媒体で提供されてもよい。
あるいは、コンピュータ26に付随する処理機能は、表示装置28(例えばテレビ)に統合された適合する処理装置または、ゲームコンソール又はメディアプレーヤなどの他の適合する種類のコンピュータ装置により実行されてもよい。
図2は本発明の実施形態に基づく、画像化組立体24の概略平面図である。ここでX軸は画像化組立体24の前面に沿って水平方向に設定され、Y軸は垂直方向(この視線で頁の下に向かって)に、Z軸は画像化組立体24から離れ、ほぼ画像化組立体24に画像化される物体の方向に延びるように設定される。
3Dマッピングのため、照明サブ組立体30はスペックルパターンのような適切なパターンで物体を照明する。この目的のため照明サブ組立体30は典型的に、ダイオードレーザ、LED、又は他の光源のような適合する放射源32と、パターンを生成する分散装置34又は回折光学素子のような光学系を、上記特許文献で記載されるように、有している。深さ画像獲得サブ組立体36は物体表面のパターン画像を獲得する。深さ画像獲得サブ組立体36は典型的に、対物光学系38を有し、それはCMOSセンサのようなセンサ40の上に物体表面の画像を結ぶ。
上述のように、放射源32は典型的に赤外放射を放出するが、他の放射帯域、例えば可視又は紫外領域も使用可能である。センサ40は、投影されたパターンの画像を高感度で検知するため、赤外遮断フィルタを有しない単色画像センサからなってもよい。センサ40で獲得された画像のコントラストを高めるため、対物光学系38又はセンサそれ自体が、一方で他の帯域の周囲の放射をブロックしながら放射源32の波長を通過させる、バンドパスフィルタを有してもよい。
カラー画像獲得サブ組立体42は物体のカラー画像を獲得する。カラー画像獲得サブ組立体42は典型的に、対物光学系44を有し、それはCMOSカラーモザイク画像センサのようなセンサ46の上に物体表面の画像を結ぶ。対物光学系44又はセンサ46は典型的に、照明サブ組立体30から投影されたパターンがセンサ46で獲得されるカラー画像の中に現れないようにするため、赤外遮断フィルタのようなフィルタを有する。
選択肢としてマイクロフォン48が、使用者22が発した音声命令のような音響入力を獲得する。
選択肢としてマイクロフォン48が、使用者22が発した音声命令のような音響入力を獲得する。
処理装置50は深さ画像獲得サブ組立体36、カラー画像獲得サブ組立体42及びマイクロフォン48からの画像及び音響入力を受信し処理する。このような処理機能の詳細は以下で図を参照して示される。簡単には、処理装置50は深さ画像獲得サブ組立体36から提供された画像を、照明サブ組立体30により画像化組立体24から既知の距離Dsrs離れた平面54の上に投影された、パターンの参照画像と比較する。(参照画像は較正手続の一部として獲得され、メモリ52に保存されてもよい。)処理装置50は獲得された画像の中の局部パターンを参照画像のそれと適合させ、そして平面54内の各ピクセル56、またはピクセル群の横方向偏移を発見する。この横方向偏移及び照明サブ組立体30と画像獲得サブ組立体36の既知の光軸間距離D CL に基づいて、処理装置50は各ピクセルの深さ(Z)座標を計算する。
処理装置50は、其々の3Dマップ内の深さ座標をカラー画像獲得サブ組立体42により獲得されたカラー画像内の適切なピクセルと同期化しアライメントする。アライメントは典型的に3Dマップ内の其々の深さ値に関連する座標の偏移を伴う。偏移は、深さ画像獲得サブ組立体36とカラー画像獲得サブ組立体42の間の既知の光軸間距離Dcc及びセンサ間の任意の芯ずれに基づく静的成分と、深さ座標それ自体に依存する動的成分からなる。アライメントについては以下に詳述される。
深さマップとカラー画像をアライメントした後、処理装置50は深さとカラーのデータを、USBポートのようなポート経由でホストコンピュータ26に出力する。出力データは、バンド幅を節約するため、以下に記述するように圧縮されてもよい。上述のように、マイクロフォン48により提供された音響データも又、同期化されて深さ及びカラーデータと共にホストコンピュータ26に出力されてもよい。
(処理装置構成)
図3Aと図3Bは本発明の実施形態に基づく、処理装置50の機能要素を示すブロック図である。処理装置50は、画像化組立体24の他の要素に対するインタフェースとホストコンピュータ26に対するUSBポートを有する、独自のICとして単一半導体基板上に組み立てられてもよい。この種の実施は画像化組立体24のコスト、寸法、消費パワーを最小にするのに有用である。あるいは、処理装置50は多くの異なる回路部品を使用して実現されてもよい。処理装置50は、特殊目的マルチメディアアプリケーション処理装置のような、「シン」ホスト60に対するデータ及び制御インタフェースを含む他のインタフェースを有してもよい。
図3Aと図3Bは本発明の実施形態に基づく、処理装置50の機能要素を示すブロック図である。処理装置50は、画像化組立体24の他の要素に対するインタフェースとホストコンピュータ26に対するUSBポートを有する、独自のICとして単一半導体基板上に組み立てられてもよい。この種の実施は画像化組立体24のコスト、寸法、消費パワーを最小にするのに有用である。あるいは、処理装置50は多くの異なる回路部品を使用して実現されてもよい。処理装置50は、特殊目的マルチメディアアプリケーション処理装置のような、「シン」ホスト60に対するデータ及び制御インタフェースを含む他のインタフェースを有してもよい。
処理装置50の要素が本発明の原理の可能な実施の例として以下に詳述される。この実施の更なる詳細は上記の暫定特許申請に示される。他の実施は本発明の記述を基にして当業者には自明であり、それらは本発明の請求範囲に含まれると考えられる。例えば、以下の実施形態では独自のハードウェア処理部品を使用するが、ある部分又は全ての問題の処理機能は、適合するインタフェースを有する汎用プログラム可能処理装置によりソフトウェアで実現可能である。この目的のソフトウェアは、電子的に、例えばネットワーク経由で、ダウンロード可能である。又は或いは、ソフトウェアは光学的、磁気的、電子的記憶媒体のような接触可能媒体に保管されてもよい。
現在の事例では処理装置50は以下の要素からなる:
深さ処理装置62は、深さ画像獲得サブ組立体36により獲得された情報を深さマップを生成するために処理する。深さ処理装置62はメモリ130内の専用メモリ空間を使用する。このメモリは以下で記述される制御装置104によりアクセスされるが、典型的にはホストコンピュータ26からはアクセスされない。むしろ、深さ処理装置62は、アプリケーションプログラム・インタフェース(API)経由でホストコンピュータ26によりプログラムされる。
深さ処理装置62は、深さ画像獲得サブ組立体36により獲得された情報を深さマップを生成するために処理する。深さ処理装置62はメモリ130内の専用メモリ空間を使用する。このメモリは以下で記述される制御装置104によりアクセスされるが、典型的にはホストコンピュータ26からはアクセスされない。むしろ、深さ処理装置62は、アプリケーションプログラム・インタフェース(API)経由でホストコンピュータ26によりプログラムされる。
深さ処理装置62は、入力ビデオデータを深さCMOSセンサインタフェース64経由でセンサ40から受け取る。深さ処理装置62は、ビデオデータを後続の深さマップ、即ち、深さデータのフレームを生成するため処理する。これは以下で図を参照して詳述される。深さ処理装置62は、これらデータをUSB FIFOユニット68の深さ先入れ先出し(FIFO)メモリ66にロードする。
深さ入力と処理に並行して、カラー処理ブロック72は入力カラービデオデータをセンサ46からカラーCMOSセンサインタフェース70経由で受け取る。カラー処理ブロック72は生の入力データをRGBビデオデータの出力フレームに変換し、これらデータをUSB FIFOユニット68のRGB FIFOメモリ74にロードする。或いはカラー処理ブロック72は、YUV又はBayerモザイクフォーマットのような、他のフォーマットのビデオデータを出力してもよい。
さらに、マイクロフォン48からの音響データはアナログデジタル変換器(ADC)76によってデジタル化される。その結果としてのデジタル音響サンプルは音響インタフェース78によってUSB FIFOユニット68内の音響FIFOメモリ80に変換される。図3Aの例では、音響インタフェース78は集積チップ間音響(I2S)バスレシーバからなる。
USB FIFOユニット68は種々のデータ供給源とUSB制御装置86との間のバッファレベルとして働く。USB FIFOユニット68は様々なデータ形式を(USBビデオクラス及びUSB音響クラスのような)異なるクラスに従ってパックしフォーマットし、USBバンド幅異常によるデータ損出を防止する役割も果たす。それは、データのUSB制御装置への送信に先立って、データをUSBプロトコルやフォーマットに従ってUSBパケットに取りまとめる。
改良高性能バス(AHB)マトリックス82のような高バンド幅バスが処理装置50の要素の間でデータを運ぶのに使用され、特にUSB FIFOユニット68からUSB制御装置86へホストコンピュータ26への送信のためデータを運ぶのに使用される。(AHBは、英国ケンブリッジにあるARM Ltd.社により公表されたバスプロトコルである。)USB FIFOユニット68内でパケットが準備完了しており、USB制御装置86の内部メモリに余裕がある場合、USB制御装置86は直接メモリアクセス(DMA)を使用し、AHB従属モジュール84とAHBマトリックス経由でFIFOメモリ66,74,80からデータを読む。USB制御装置86は、USBインタフェース経由でホストコンピュータ26へ出力するため、カラー、深さ、音響データを単一のデータ流にマルチプレクスする。
USB通信の目的のため処理装置50は、USB物理層インタフェース(PHY)88を有し、それは、適合するUSBケーブル経由でホストコンピュータ26のUSBポートと通信するように、USB制御装置86により操作されてもよい。USB PHY88のタイミングは、水晶振動子92および位相固定ループ(PLL)により既知の通り制御される。或いは、USB制御装置86は、場合によりUSB2.0送受信機マクロセルインタフェース(UTMI)と外部PHY90を経由して、ホストコンピュータ26と通信する。
同様に、場合によって外部ADC96がマイクロフォン48により生成された音響信号をデジタル化するのに使用されてもよい。2:1スイッチ98は、I2Sレシーバ78に入力されるデジタル音響データのソースを選択する。
シンホスト60が(ホストコンピュータ26と異なり)カラーと深さ画像データと共に音響データを単一シリアルバス経由で受信するように設定されていない場合、I2Sレシーバ78は音響データを音響出力インタフェース100経由で直接シンホスト60に出力してもよい。この場合RGBと深さ(RGBD)データは別個のRGBDインタフェース102経由でシンホスト60に出力される。或いは、あるアプリケーションに対して、RGBDインタフェース102は深さデータのみをシンホスト60に出力してもよい。
制御装置104は、起動と自己テスト、設定、電力とインタフェース管理、パラメータ調整を含む、処理装置50の機能を管理する役割を果たす。制御装置104は、デジタル信号処理装置(DSP)コア106とAHBマトリックス82上のデータ移動を制御するAHBマスター108を有する。典型的に制御装置104は、起動読み出し専用メモリ(ROM)110から起動し、次にプログラムコードをフラッシュインタフェース132経由で、フラッシュメモリ52から命令随時アクセスメモリ(RAM)112にロードする。制御装置104は、また自分のデータメモリ114を有する。制御装置104はさらに、外部コンピュータ118によるデバッグのため、統合テストアクショングループ(JTAG)インタフェースのような、テストインタフェース116を有してもよい。
制御装置104は、先進周辺バス(APB)120のようなアライメント設定インタフェース経由で、設定データとパラメータを処理装置50の他の要素に配布し、そのアライメント設定インタフェースに制御装置104がAHBマトリックス82とAPBブリッジ122経由で接続している。これら他の要素の制御用には、集積回路間(I2C)主ユニット122及び従属ユニット126のみならず、シリアル同期インタフェース(SSI)及びシリアル周辺インタフェース(SPI)主ユニット124及び従属ユニット128を含む、様々な制御インタフェースが使用可能である。
電力制御インタフェース133は電力及びリセット信号を周辺機器に提供する。これら特定のインタフェースは、例示のためここに示されるが、他のインタフェース構成も同様の目的のために使用可能である。
電力制御インタフェース133は電力及びリセット信号を周辺機器に提供する。これら特定のインタフェースは、例示のためここに示されるが、他のインタフェース構成も同様の目的のために使用可能である。
図4は、本発明の実施形態に基づく、深さ処理装置62の要素を示すブロック図である。図4はまた、並行カラー処理ブロック72のある特定の機能を示す。
チップ上の保存とメモリ要求を減少させるため、深さ処理装置62は、典型的にスライディングウィンドウ手法を使用し、そこではある瞬間において処理済み画像の一部のみが処理装置50に保存され、全部の画像は保存されない。ウィンドウは典型的に、以下に記述するアルゴリズムに要求されるように、少数のピクセルの行しか含まない。新たに到着したデータは処理装置メモリ内の古い処理済みデータと置き換わる。深さ値は、入力画像データに基づき深さ処理装置62により動作中に再構築され、そして深さFIFOバッファ66経由でホストコンピュータ26に出力される。
深さ処理装置62内の入力データ事前処理ブロック140は深さ関連のピクセル値を深さCMOSインタフェース64経由で深さCMOSセンサ40より受け取り、そして、ノイズを減少させ、かつ場合によってピクセルを異なるグループにクラス分けするため、フィルタ処理を行う。現在の処理ウィンドウ内の事前処理されたデータはピクチャメモリ142に保存される。ピクチャメモリ142は多重データブロックの同時読み込みを可能にするため、複数のメモリ又はバンクを有する。
深さの計算のため、参照読み込みエンジン146は、フラッシュインタフェース132経由でフラッシュメモリ52から参照メモリ148に参照画像を読み込む。参照データは、現在の画像の対応する部分が入力データ事前処理ブロック140からピクチャメモリ142へ到着するのと同期して読み込まれる。ピクチャメモリと同様に参照メモリは、深さ再構築の目的のため、現在の処理ウィンドウにある参照画像の部分しか保存せず、そして複数のメモリ又はバンクを有してもよい。参照読み込みエンジン146は、較正手続の間、参照画像を最初はフラッシュメモリ52に保存するように制御されてもよい。
適合エンジン144は、入力ピクセルの相対的偏移を発見するため、ピクチャメモリ142からの入力ピクセルのグループを、参照メモリ148からの参照ピクセルの対応するグループと適合させる。適合エンジン144は、上記のように、この偏移を深さ値に翻訳し、深さ値を出力メモリ150に書き込む。また、出力メモリは、どの時点においても、深さマップ全体の内小さなスライディングウィンドウしか保存しておらず、そして複数のメモリ又はバンクを有してもよい。
アライメントエンジン152は、適合エンジン144で生成された深さ値を、カラーCMOSセンサ46から得られたカラー画像データと共にアライメントする。このアライメントプロセスは以下で詳述される。アライメントエンジン152は、深さ値の深さマップ内の位置を偏移させ、カラー画像内の適切なカラーピクセルと一致させる。或いは、カラーピクセル値を偏移させ対応する深さマップのピクセルと一致させることも可能である。アライメントに続いて、深さ処理後ブロック154がフィルタリング及び,場合により他の数学的操作を深さデータに適用する。
深さ画像圧縮ブロック156は、USB出力リンク上の必要バンド幅を減少させるため、データをUSB FIFOユニット68に渡す前に深さデータを圧縮する。圧縮機能の詳細は図7を参照して以下に記述される。
上記の深さ処理操作と並行して、並行カラー処理ブロック72内のカラー画像処理装置158は、カラーCMOSインタフェース70から受け取った入力ピクセル値を、例えばRGB又はYUVのような適切なビデオ基準に従って、画像データに変換する。深さ画像圧縮ブロック156と類似の設計のカラー画像圧縮ブロック160は、カラー画像データを同様に圧縮する。
上記の深さ処理操作と並行して、並行カラー処理ブロック72内のカラー画像処理装置158は、カラーCMOSインタフェース70から受け取った入力ピクセル値を、例えばRGB又はYUVのような適切なビデオ基準に従って、画像データに変換する。深さ画像圧縮ブロック156と類似の設計のカラー画像圧縮ブロック160は、カラー画像データを同様に圧縮する。
(深さのカラー画像データとのアライメント)
図5は本発明の実施形態に基づく、アライメントエンジン152の詳細を示すブロック図である。アライメントエンジン152は、深さピクセル値をピクセルバス170経由で受け取るように接続される。ピクセルは(x0,y0,dX0)の形式を有し、ここにx0、y0はアライメント前の未加工の水平及び垂直座標であり、dX0は、適合エンジン144で計測された、このピクセルと参照画像内の対応するピクセルとの間のピクセル偏移値である。(照明サブ組立体30と画像獲得サブ組立体36はX軸に沿って配置されているため、X軸方向の偏移のみが深さの三角法において意味が有る。)
図5は本発明の実施形態に基づく、アライメントエンジン152の詳細を示すブロック図である。アライメントエンジン152は、深さピクセル値をピクセルバス170経由で受け取るように接続される。ピクセルは(x0,y0,dX0)の形式を有し、ここにx0、y0はアライメント前の未加工の水平及び垂直座標であり、dX0は、適合エンジン144で計測された、このピクセルと参照画像内の対応するピクセルとの間のピクセル偏移値である。(照明サブ組立体30と画像獲得サブ組立体36はX軸に沿って配置されているため、X軸方向の偏移のみが深さの三角法において意味が有る。)
アライメント済み座標計算ブロック172は、入力ピクセルの列と行を数え、放物線近似計算を使用してそれぞれのピクセル偏移値dX0に対しアライメント済み座標(xr,yr)を計算する。この計算は以下に詳述される。入力流書込みロジック174は、入力されるピクセル偏位値をN行バッファ176内の適切なアライメント済み位置に、アライメント済み座標に従って書き込む。入力流書込みロジック174はまた、ピクセルが進む時に、バッファ行の割り当てを管理する。
垂直レンジ計算装置178は、もはや現在の入力行に影響されない、最小アライメント済み行番号(yr)を計算する。この番号はN行バッファ176から読みだされる次の行を示す。垂直レンジ計算装置178は、同様に放物線近似式をこの計算に使用する。出力流読み出しロジック180は、アライメント済み行番号の最小値を、N行バッファ176からピクセルバス170に読み出されるアライメント済みピクセル値の行を選択するのに使用する。アライメントプロセスの結果として、このピクセル深さ値の流れは並行カラー処理ブロック72内の対応するカラー値とアライメントされる。
ここでアライメント済み座標計算ブロック172の動作を詳細に説明する。アライメント済み座標計算ブロック172は以下のパラメータを使用し、その幾つかは図2に示される。
・Dcl:照明サブ組立体30と画像獲得サブ組立体36の光軸間距離
・dX:参照深さ画像と現在の深さ画像とのある点における計算されたパターン偏移
・Dsrs:画像獲得サブ組立体36と参照平面54との距離
・Dsrr:画像獲得サブ組立体36とアライメント参照平面との距離
・d :物体表面のある点における参照平面54に対する深さ値(正又は負)
・Dcc:深さ画像獲得サブ組立体36とカラー画像獲得サブ組立体42との距離
・Dcl:照明サブ組立体30と画像獲得サブ組立体36の光軸間距離
・dX:参照深さ画像と現在の深さ画像とのある点における計算されたパターン偏移
・Dsrs:画像獲得サブ組立体36と参照平面54との距離
・Dsrr:画像獲得サブ組立体36とアライメント参照平面との距離
・d :物体表面のある点における参照平面54に対する深さ値(正又は負)
・Dcc:深さ画像獲得サブ組立体36とカラー画像獲得サブ組立体42との距離
幾何学的要因により、ある点における深さ値dはカラー画像と深さ画像の間に偏移Δを引き起こす:
上記の式においてΔ0は、画像化組立体24から距離Dsrrにある参照平面におけるカラー画像と深さ画像との間の、カメラ間の位置のずれと誤配置に起因する、点に関する偏移の最初の組である。この式は理論的にX偏移とY偏移の両方に適用されるが、図にしめす設定ではY偏移は対象となる所定の領域では常に一定であり(Δy=Δy 0)、上記式はX偏移(Δx)にのみ適用される。
点偏移の最初の組は参照表に保存できるが、チップ上の保存容量を減らすため、アライメント済み座標計算ブロック172は放物線近似計算を替わりに使用してもよい:
上記式の12個の適合係数が、典型的に較正手続に基づいて事前に計算され、そして処理装置50の適切なアライメント装置にロードされる。或いは、他のタイプの適合関数が使用されうる。
上記計算を単純にするため、式内のΔx 0とΔy 0は其々のピクセルに対し、隣接するピクセルについて計算された値に基づいて漸次計算されてもよい:
ピクチャーの左上隅における値Δx 0(0,−1)とΔy 0(0,−1)は上記漸次計算の出発点として事前に計算される。
図6A、6Bは本発明の実施形態に基づく、アライメント済み座標計算ブロック172の詳細を示すブロック図である。図6AはX座標計算サブブロック186を示し、一方図6BはY座標計算サブブロック188を示す。これらサブブロックは、上記式(5)と(6)で概観される計算を実行する。これらサブブロックのデジタルロジック設計のさらなる詳細は上述の特許文献に記載されており、その幾つかは簡略化のためここでは割愛する。
サブブロック186,188は、式(6)の計算を行う漸次放物線近似回路190,192の周辺に構築される。其々の連続するピクセルに対し、漸次放物線近似回路190,192は、1つ前のピクセルに対し計算されたアライメント済み座標値(xprev,yprev)及びX及びYに対する放物線近似パラメータa,b,c,d,eを入力として受け取る。(本文と図における大文字と小文字は便利のため相互変換可能である)マルチプレクサ196は、画像の其々の行に沿った水平方向の前進の間(Xの漸増)は「ゼロ」入力を選択し、行から行への垂直方向の前進の間(Yの漸増)は「1」を選択する。
漸次放物線近似回路190,192の出力は現在のピクセルに対するΔx 0とΔy 0偏移値である。水平方向の前進の間、これらの値は列偏移累積装置198と206に保存される。列偏移累積装置198と206はその後、漸次放物線近似回路190,192の次のピクセルに対する近似計算に対し、1つ前のX及びY偏移値として入力するため、累積結果を出力する。偏移値はまた、マルチプレクサ202と210経由で行偏移累積装置200と208にも保存される。垂直方向の前進の間、マルチプレクサ204と212は、漸次放物線近似回路190,192への入力のため、行偏移累積装置200と208のコンテンツを選択する。上記のようにマルチプレクサは、水平方向の前進の間は「ゼロ」入力を選択し、垂直方向の前進の間は「1」入力を選択する。
X方向に対して、X座標計算サブブロック186は、深さ関連パターン偏移値dX0とdXcを適合エンジン144から受け取り、現在のピクセルに対する漸次偏移dXを与えるため、減算装置214においてこれら値の差異を取る。(dX0又はdXcに対して入力が無い場合は、ゼロの値が代用される)乗算装置216はこの偏移に事前に較正されたパラメータβを乗ずる。加算装置222は、その結果に漸次放物線近似回路190により計算された放物線偏移値を加算する。最後に、その結果は加算装置226により現在のX座標x0と加算され、式(5)で定義されるように、アライメント済み座標xrを得る。アライメント済みY座標は同様に加算装置230により計算されるが、上述の通り、深さ関連パターン偏移成分を有しない。
再び図5に戻る。各ピクセルに対し計算されたアライメント偏移は画像のエリアによって変化するため、アライメントエンジンで生成されたアライメント済み座標の流れは、通常入力ピクセルの流れと同期化されない。バッファ176と出力流読み込みロジック180は入力と出力の変化する遅れを補償する。バッファ176の行の数は以下で与えられる:
どの入力行y0に対しても、入力行y0からピクセルを受領できるバッファ176の最大アライメント済み行yrは次式で与えられる:
この値は垂直レンジ計算装置178により計算され、出力流読み込みロジック180に提供される。これに基づき、出力流読み込みロジック180はバッファ176から行yrより上の全ての行を読み出すことが出来る。
式(5)の係数fxとfyの値によって、並行カラー処理ブロック72により生成されたカラー画像と重ならない、深さ処理装置62により生成された深さマップの端にある、幾つかの列、及び/又は行が存在する。結果として出力流読み込みロジック180は、カラー画像の端から「こぼれ落ちる」深さマップの端における深さ値の行を無視し、深さマップを拡張してカラー画像全体をカバーするため1つ以上のゼロまたはダミーの深さ値を追加する必要があるかもしれない。このようなダミー値は深さ処理後ブロック154により合成して生成される。
(深さ及びカラー画像の無損失圧縮)
図7は本発明の実施形態に基づく、無損失深さ画像及びカラー画像圧縮ブロック156,160の詳細を示すブロック図である。図で示されるブロック設計は1−3個の画像要素を同時に圧縮できる。深さマップでは、典型的に1つの要素が使用される。カラー画像に対しては、カラー符号化により、2−3個の要素が使用される。圧縮ブロックはデータ損失なく効率的に入力流を圧縮するため、差異及び連長符号化を使用する。この圧縮は、深さとカラー画像データの両方(また更に音響データも)のホストコンピュータ26への送信を、単一USBシリアルリンクで提供可能な限られたバンド幅上で可能にする。或いは圧縮ブロックは、十分な出力バンド幅が使用可能な場合は、迂回されてもよい。
図7は本発明の実施形態に基づく、無損失深さ画像及びカラー画像圧縮ブロック156,160の詳細を示すブロック図である。図で示されるブロック設計は1−3個の画像要素を同時に圧縮できる。深さマップでは、典型的に1つの要素が使用される。カラー画像に対しては、カラー符号化により、2−3個の要素が使用される。圧縮ブロックはデータ損失なく効率的に入力流を圧縮するため、差異及び連長符号化を使用する。この圧縮は、深さとカラー画像データの両方(また更に音響データも)のホストコンピュータ26への送信を、単一USBシリアルリンクで提供可能な限られたバンド幅上で可能にする。或いは圧縮ブロックは、十分な出力バンド幅が使用可能な場合は、迂回されてもよい。
ピクセル配分装置240は入力ピクセル値の流れを要素に分割する。それぞれの要素に対し、減算装置244は要素遅延ライン242から提供される、現在の要素値と従前の値との差異を計算する。差異値はピクセル合体回路246に入力され、それは差異を合体させ単一の差異の流れに戻す。ピクセル合体回路246はまた要素値自体を受信し合体させ、その値は各行の第1ピクセルに対し使用され、又、連続するピクセルの間の差異が一定の閾値を越えた場合はいつでも、差異値の代わりに使用される。
シンボル生成装置248は差異及び/又は最初のピクセル値を符号化する。典型的にシンボル生成装置248は、同じ値の繰り返しの回数を表わすため連長符号化を使用し、それにより更にデータ量を減少させる。シンボル生成装置248はまた、その後の復号を補助し、下流における可能な全てのデータ損失の衝撃を減少させるため、同期化信号を行とフレームの境界に追加する。ビット流パッカ250は、符号化されたシンボルをUSB送信のため、連続ビット流に変換する。ビット流パッカ250は、新しい行とフレームの始まりがUSBパケットの中で適切にバイト整列されるように、スタッフビットを加えてもよい。
上記の実施形態は特定の装置構成、プロトコル、設定を使用しているが、本発明の思想は他のタイプの装置構成、プロトコル、設定を使用しても同様に適用可能である。上記の実施形態は例示のために引用されたものであり、本発明の思想はここに特に記載されたものに限定されない。むしろ本発明の権利範囲は、ここに記載された特徴の種々の組合せや準組合せ、この記載を読んだ当業者が想起する従来技術で開示されない変化や変更を含む。
20:システム 22:使用者 24:画像化組立体
26:ホストコンピュータ 28:表示装置 30:照明サブ組立体
32:放射源 34:分散装置
36:深さ画像獲得サブ組立体 38,44:対物光学系
40,46:センサ 42:カラー画像獲得サブ組立体
48:マイクロフォン 50:処理装置 52:メモリ
54:平面 56:ピクセル
26:ホストコンピュータ 28:表示装置 30:照明サブ組立体
32:放射源 34:分散装置
36:深さ画像獲得サブ組立体 38,44:対物光学系
40,46:センサ 42:カラー画像獲得サブ組立体
48:マイクロフォン 50:処理装置 52:メモリ
54:平面 56:ピクセル
Claims (28)
- カラー画像データを第1の画像センサから受け取るための第1の入力ポートと、
深さ関係画像データを第2の画像センサから受け取るための第2の入力ポートと、
前記深さ関係画像データを使用してそれぞれ深さ値を有するピクセルの配列からなる深さマップを生成し、及び、前記深さ値に対応して前記ピクセルの其々の偏移を計算し、そして前記其々の偏移を前記深さマップ内の前記ピクセルに適用することにより、前記深さマップを前記カラー画像データとアライメントするための処理回路と、
前記深さマップと前記カラー画像データをホストコンピュータに運ぶための、少なくとも1つの出力ポートと、
を有することを特徴とする、データ処理装置。 - 前記第1と第2の入力ポートと、前記処理回路と、前記少なくとも1つの出力ポートは集積回路の要素であり、単一の半導体基板に組立可能である、ことを特徴とする請求項1に記載の装置。
- 前記少なくとも1つの出力ポートは、単一のポートからなり、前記深さマップと前記カラー画像データを単一データ流としてマルチプレクスされたフォーマットでホストコンピュータに伝達するように接続される、ことを特徴とする請求項1に記載の装置。
- 前記処理回路は、前記単一データ流の中で前記深さマップを前記カラー画像データと同期させるように構成される、ことを特徴とする請求項3に記載の装置。
- 音響情報を受け取るための第3の入力ポートを有し、
前記処理回路は、前記深さマップと前記カラー画像データと共に前記単一のポート経由でホストコンピュータに伝達するため、前記音響情報を前記単一データ流の中に組み込むように構成される、ことを特徴とする請求項3に記載の装置。 - 前記単一のポートは、ユニバーサルシリアルポートからなる、ことを特徴とする請求項3に記載の装置。
- 前記処理回路は、前記深さマップの1つの行の中の前記ピクセルの前記偏移を、従前のピクセルの偏移の関数として計算することにより、前記其々の偏移を漸次計算するように構成される、ことを特徴とする請求項1−6のいずれかに記載の装置。
- 前記処理回路は、前記其々の偏移を、漸次適合工程を使用して計算するように構成される、ことを特徴とする請求項7に記載の装置。
- 前記処理回路は、前記装置内に前記深さマップ全体を保存することなく、前記深さ値を受け取りながら前記ピクセルに対する前記其々の偏移をその都度計算するように構成される、ことを特徴とする請求項1−6のいずれかに記載の装置。
- 前記処理回路は、前記少なくとも1つの出力ポート経由で前記ホストコンピュータに伝達するため、前記深さマップと前記カラー画像データを圧縮するように構成される、ことを特徴とする請求項1−6のいずれかに記載の装置。
- 前記処理回路は、損失の無い圧縮工程を前記深さマップと前記カラー画像データに適用するように構成される、ことを特徴とする請求項10に記載の装置。
- 前記深さ関係画像データは、物体上に投影されたパターンの画像を有し、
前記処理回路は、参照画像に対する前記パターンの偏移を測定することにより、前記深さマップを生成するように構成される、ことを特徴とする、請求項1−6のいずれかに記載の装置。 - 物体のカラー画像を獲得し出力するように構成された第1の画像センサと、
前記物体に関する深さ関係画像データを獲得し出力するように構成された第2の画像センサと、
処理装置と、
を有し、
前記処理装置は、
カラー画像データを第1の画像センサから受け取るための第1の入力ポートと、
前記深さ関係画像データを第2の画像センサから受け取るための第2の入力ポートと、
前記深さ関係画像データを使用してそれぞれ深さ値を有するピクセルの配列からなる深さマップを生成し、及び、前記深さ値に対応して前記ピクセルの其々の偏移を計算し、そして前記其々の偏移を前記深さマップ内の前記ピクセルに適用することにより、前記深さマップを前記カラー画像データとアライメントするための処理回路と、
前記深さマップと前記カラー画像データをホストコンピュータに伝達するための、少なくとも1つの出力ポートと、
を有する、
ことを特徴とする画像化装置。 - 音響センサを有し、
前記処理装置は、音響情報を前記音響センサから受け取るための第3の入力ポートを有し、
前記処理装置は、前記音響情報を前記深さマップと前記カラー画像データと共に、前記少なくとも1つの出力ポート経由で、前記ホストコンピュータに伝達するように構成される、
ことを特徴とする、請求項13に記載の装置。 - 前記少なくとも1つの出力ポートは、単一のポートからなり、前記深さマップと前記カラー画像データを単一データ流としてマルチプレクスされたフォーマットで、ホストコンピュータに伝達するように接続される、ことを特徴とする請求項13に記載の装置。
- パターンを前記物体に投影するように構成された照明サブ組立体を有し、
前記深さ関係画像データは、前記物体上に投影されたパターンの画像を有し、
前記処理回路は、参照画像に対する前記パターンの偏移を測定することにより、前記深さマップを生成するように構成される、ことを特徴とする、請求項13−15のいずれかに記載の装置。 - 第1の画像センサから第1の入力ポート経由でカラー画像データを受け取るステップと、
第2の画像センサから第2の入力ポート経由で深さ関係画像データを受け取るステップと、
前記深さ関係画像データを使用してそれぞれ深さ値を有するピクセルの配列からなる深さマップを生成するステップと、
前記深さ値に対応して前記ピクセルの其々の偏移を計算し、そして前記其々の偏移を前記深さマップ内の前記ピクセルに適用することにより、前記深さマップを前記カラー画像データとアライメントするステップと、
前記深さマップと前記カラー画像データを出力ポート経由でホストコンピュータに伝達するステップと、
を有することを特徴とするデータ処理方法。 - 前記深さマップは処理回路により生成され、
前記第1と第2の入力ポートと、前記処理回路と、少なくとも1つの前記出力ポートは集積回路の要素であり、単一の半導体基板に組立可能である、ことを特徴とする請求項17に記載の方法。 - 前記少なくとも1つの出力ポートは、単一のポートからなり、前記深さマップと前記カラー画像データを単一データ流としてマルチプレクスされたフォーマットで、ホストコンピュータに伝達するように接続される、ことを特徴とする請求項17に記載の方法。
- 前記深さマップを伝達するステップは、前記深さマップを前記カラー画像データと前記単一データ流内で同期させるステップを有する、ことを特徴とする請求項19に記載の方法。
- 音響情報を受け取るステップと、
前記単一のポート経由でホストコンピュータに運ぶため、前記深さマップと前記カラー画像データと共に、前記音響情報を前記単一データ流の中に組み込むステップと、
を有することを特徴とする請求項19に記載の方法。 - 前記単一のポートは、ユニバーサルシリアルポートからなる、ことを特徴とする請求項19に記載の方法。
- 前記其々の偏移を計算するステップは、前記深さマップの行の中の前記ピクセルの前記偏移を、従前のピクセルの偏移の関数として計算することにより、前記其々の偏移を漸次処理するステップを有する、ことを特徴とする請求項17−22のいずれかに記載の方法。
- 前記其々の偏移を処理するステップは、前記其々の偏移を漸次適合工程を使用して計算するステップを含む、ことを特徴とする請求項23に記載の方法。
- 前記其々の偏移を計算するステップは、前記深さマップ全体を保存することなく、前記深さ値を受け取りながら前記其々の偏移を計算して、前記ピクセルに対する前記其々の偏移をその都度計算するステップを有する、ことを特徴とする請求項17−22のいずれかに記載の方法。
- 前記深さマップと前記カラー画像データを伝達するステップは、前記少なくとも1つの出力ポート経由で前記ホストコンピュータに送信するため、前記深さマップと前記カラー画像データを圧縮するステップを有する、ことを特徴とする請求項17−22のいずれかに記載の方法。
- 前記深さマップと前記カラー画像データを圧縮するステップは、損失の無い圧縮工程を前記深さマップと前記カラー画像データに適用するステップを有する、ことを特徴とする請求項26に記載の方法。
- 前記深さ関係画像データは、前記物体上に投影されたパターンの画像を有し、
前記深さマップを生成するステップは、参照画像に対する前記パターンの偏移を測定するステップを有することを特徴とする、請求項17−22のいずれかに記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US7925408P | 2008-07-09 | 2008-07-09 | |
US61/079,254 | 2008-07-09 | ||
PCT/IL2009/000285 WO2010004542A1 (en) | 2008-07-09 | 2009-03-12 | Integrated processor for 3d mapping |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014133348A Division JP5861744B2 (ja) | 2008-07-09 | 2014-06-27 | 3次元マッピング用集積処理装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2011527790A JP2011527790A (ja) | 2011-11-04 |
JP2011527790A5 true JP2011527790A5 (ja) | 2013-03-14 |
JP5795734B2 JP5795734B2 (ja) | 2015-10-14 |
Family
ID=41504786
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011517308A Active JP5795734B2 (ja) | 2008-07-09 | 2009-03-12 | 3次元マッピング用集積処理装置 |
JP2014133348A Active JP5861744B2 (ja) | 2008-07-09 | 2014-06-27 | 3次元マッピング用集積処理装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014133348A Active JP5861744B2 (ja) | 2008-07-09 | 2014-06-27 | 3次元マッピング用集積処理装置 |
Country Status (5)
Country | Link |
---|---|
US (3) | US8456517B2 (ja) |
JP (2) | JP5795734B2 (ja) |
CN (1) | CN102057365B (ja) |
TW (1) | TWI557684B (ja) |
WO (1) | WO2010004542A1 (ja) |
Families Citing this family (229)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8390821B2 (en) * | 2005-10-11 | 2013-03-05 | Primesense Ltd. | Three-dimensional sensing using speckle patterns |
US9330324B2 (en) | 2005-10-11 | 2016-05-03 | Apple Inc. | Error compensation in three-dimensional mapping |
US20110096182A1 (en) * | 2009-10-25 | 2011-04-28 | Prime Sense Ltd | Error Compensation in Three-Dimensional Mapping |
CN101288105B (zh) | 2005-10-11 | 2016-05-25 | 苹果公司 | 用于物体重现的方法和系统 |
KR101408959B1 (ko) * | 2006-03-14 | 2014-07-02 | 프라임센스 엘티디. | 삼차원 감지를 위한 깊이 가변 광 필드 |
CN101501442B (zh) | 2006-03-14 | 2014-03-19 | 普莱姆传感有限公司 | 三维传感的深度变化光场 |
JP5167248B2 (ja) * | 2006-05-11 | 2013-03-21 | プライムセンス リミテッド | 深度マップによるヒューマノイド形状のモデル化 |
WO2008087652A2 (en) * | 2007-01-21 | 2008-07-24 | Prime Sense Ltd. | Depth mapping using multi-beam illumination |
US8150142B2 (en) * | 2007-04-02 | 2012-04-03 | Prime Sense Ltd. | Depth mapping using projected patterns |
US8493496B2 (en) | 2007-04-02 | 2013-07-23 | Primesense Ltd. | Depth mapping using projected patterns |
WO2008155770A2 (en) * | 2007-06-19 | 2008-12-24 | Prime Sense Ltd. | Distance-varying illumination and imaging techniques for depth mapping |
US8166421B2 (en) * | 2008-01-14 | 2012-04-24 | Primesense Ltd. | Three-dimensional user interface |
US8933876B2 (en) | 2010-12-13 | 2015-01-13 | Apple Inc. | Three dimensional user interface session control |
US9035876B2 (en) | 2008-01-14 | 2015-05-19 | Apple Inc. | Three-dimensional user interface session control |
US8384997B2 (en) * | 2008-01-21 | 2013-02-26 | Primesense Ltd | Optical pattern projection |
CN101984767B (zh) * | 2008-01-21 | 2014-01-29 | 普莱姆森斯有限公司 | 用于使零级减少的光学设计 |
CN102037717B (zh) * | 2008-05-20 | 2013-11-06 | 派力肯成像公司 | 使用具有异构成像器的单片相机阵列的图像拍摄和图像处理 |
US8866920B2 (en) | 2008-05-20 | 2014-10-21 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
US11792538B2 (en) | 2008-05-20 | 2023-10-17 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
KR101467509B1 (ko) | 2008-07-25 | 2014-12-01 | 삼성전자주식회사 | 이미지 센서 및 이미지 센서 동작 방법 |
US8462207B2 (en) | 2009-02-12 | 2013-06-11 | Primesense Ltd. | Depth ranging with Moiré patterns |
US8786682B2 (en) | 2009-03-05 | 2014-07-22 | Primesense Ltd. | Reference image techniques for three-dimensional sensing |
US8717417B2 (en) | 2009-04-16 | 2014-05-06 | Primesense Ltd. | Three-dimensional mapping and imaging |
WO2011013079A1 (en) | 2009-07-30 | 2011-02-03 | Primesense Ltd. | Depth mapping based on pattern matching and stereoscopic information |
US8565479B2 (en) * | 2009-08-13 | 2013-10-22 | Primesense Ltd. | Extraction of skeletons from 3D maps |
US8564534B2 (en) | 2009-10-07 | 2013-10-22 | Microsoft Corporation | Human tracking system |
US7961910B2 (en) | 2009-10-07 | 2011-06-14 | Microsoft Corporation | Systems and methods for tracking a model |
US8867820B2 (en) * | 2009-10-07 | 2014-10-21 | Microsoft Corporation | Systems and methods for removing a background of an image |
US8963829B2 (en) | 2009-10-07 | 2015-02-24 | Microsoft Corporation | Methods and systems for determining and tracking extremities of a target |
JP5588310B2 (ja) * | 2009-11-15 | 2014-09-10 | プライムセンス リミテッド | ビームモニタ付き光学プロジェクタ |
EP2502115A4 (en) | 2009-11-20 | 2013-11-06 | Pelican Imaging Corp | RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER |
US8830227B2 (en) * | 2009-12-06 | 2014-09-09 | Primesense Ltd. | Depth-based gain control |
TWI406694B (zh) * | 2010-02-01 | 2013-09-01 | Pixart Imaging Inc | 應用於3d互動系統之互動模組及其方法 |
US20110188054A1 (en) * | 2010-02-02 | 2011-08-04 | Primesense Ltd | Integrated photonics module for optical projection |
US9825425B2 (en) | 2013-06-19 | 2017-11-21 | Apple Inc. | Integrated structured-light projector comprising light-emitting elements on a substrate |
US20110187878A1 (en) | 2010-02-02 | 2011-08-04 | Primesense Ltd. | Synchronization of projected illumination with rolling shutter of image sensor |
KR101628383B1 (ko) * | 2010-02-26 | 2016-06-21 | 연세대학교 산학협력단 | 영상 처리 장치 및 방법 |
US8982182B2 (en) * | 2010-03-01 | 2015-03-17 | Apple Inc. | Non-uniform spatial resource allocation for depth mapping |
US8787663B2 (en) * | 2010-03-01 | 2014-07-22 | Primesense Ltd. | Tracking body parts by combined color image and depth processing |
CN102918477B (zh) * | 2010-04-13 | 2017-07-21 | 诺基亚技术有限公司 | 装置、方法、计算机程序和用户接口 |
KR101824672B1 (ko) | 2010-05-12 | 2018-02-05 | 포토네이션 케이맨 리미티드 | 이미저 어레이 구조 및 어레이 카메라 |
US8594425B2 (en) | 2010-05-31 | 2013-11-26 | Primesense Ltd. | Analysis of three-dimensional scenes |
EP2395369A1 (en) * | 2010-06-09 | 2011-12-14 | Thomson Licensing | Time-of-flight imager. |
WO2012011044A1 (en) | 2010-07-20 | 2012-01-26 | Primesense Ltd. | Interactive reality augmentation for natural interaction |
US9201501B2 (en) | 2010-07-20 | 2015-12-01 | Apple Inc. | Adaptive projector |
CN103053167B (zh) | 2010-08-11 | 2016-01-20 | 苹果公司 | 扫描投影机及用于3d映射的图像捕获模块 |
US9036158B2 (en) | 2010-08-11 | 2015-05-19 | Apple Inc. | Pattern projector |
US9348111B2 (en) | 2010-08-24 | 2016-05-24 | Apple Inc. | Automatic detection of lens deviations |
US9232912B2 (en) | 2010-08-26 | 2016-01-12 | The Regents Of The University Of California | System for evaluating infant movement using gesture recognition |
US20120050491A1 (en) * | 2010-08-27 | 2012-03-01 | Nambi Seshadri | Method and system for adjusting audio based on captured depth information |
US9071831B2 (en) * | 2010-08-27 | 2015-06-30 | Broadcom Corporation | Method and system for noise cancellation and audio enhancement based on captured depth information |
US8582867B2 (en) | 2010-09-16 | 2013-11-12 | Primesense Ltd | Learning-based pose estimation from depth maps |
US8959013B2 (en) * | 2010-09-27 | 2015-02-17 | Apple Inc. | Virtual keyboard for a non-tactile three dimensional user interface |
JP5704885B2 (ja) * | 2010-10-25 | 2015-04-22 | オリンパスイメージング株式会社 | 撮影機器、撮影方法及び撮影制御プログラム |
TWI492096B (zh) | 2010-10-29 | 2015-07-11 | Au Optronics Corp | 立體影像互動系統及其位置偏移補償方法 |
KR20120051212A (ko) * | 2010-11-12 | 2012-05-22 | 엘지전자 주식회사 | 멀티미디어 장치의 사용자 제스쳐 인식 방법 및 그에 따른 멀티미디어 장치 |
EP2643659B1 (en) | 2010-11-19 | 2019-12-25 | Apple Inc. | Depth mapping using time-coded illumination |
US9131136B2 (en) | 2010-12-06 | 2015-09-08 | Apple Inc. | Lens arrays for pattern projection and imaging |
US8872762B2 (en) | 2010-12-08 | 2014-10-28 | Primesense Ltd. | Three dimensional user interface cursor control |
US8878950B2 (en) | 2010-12-14 | 2014-11-04 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using super-resolution processes |
US8717422B2 (en) * | 2010-12-22 | 2014-05-06 | Texas Instruments Incorporated | Multi-sensor video frame synchronization apparatus and methods |
KR101816170B1 (ko) * | 2010-12-22 | 2018-01-09 | 한국전자통신연구원 | 3차원 깊이 정보 획득 장치 및 그 방법 |
EP2672880B1 (en) * | 2011-02-09 | 2019-05-22 | Apple Inc. | Gaze detection in a 3d mapping environment |
US9030528B2 (en) | 2011-04-04 | 2015-05-12 | Apple Inc. | Multi-zone imaging sensor and lens array |
DE102011017305A1 (de) * | 2011-04-15 | 2012-10-18 | Abb Technology Ag | Bedien- und Beobachtungssystem für technische Anlagen |
WO2012155119A1 (en) | 2011-05-11 | 2012-11-15 | Pelican Imaging Corporation | Systems and methods for transmitting and receiving array camera image data |
US8881051B2 (en) | 2011-07-05 | 2014-11-04 | Primesense Ltd | Zoom-based gesture user interface |
US9459758B2 (en) | 2011-07-05 | 2016-10-04 | Apple Inc. | Gesture-based interface with enhanced features |
US9377865B2 (en) | 2011-07-05 | 2016-06-28 | Apple Inc. | Zoom-based gesture user interface |
US9351028B2 (en) * | 2011-07-14 | 2016-05-24 | Qualcomm Incorporated | Wireless 3D streaming server |
US8749796B2 (en) | 2011-08-09 | 2014-06-10 | Primesense Ltd. | Projectors of structured light |
US8908277B2 (en) | 2011-08-09 | 2014-12-09 | Apple Inc | Lens array projector |
US8971572B1 (en) | 2011-08-12 | 2015-03-03 | The Research Foundation For The State University Of New York | Hand pointing estimation for human computer interaction |
US9030498B2 (en) | 2011-08-15 | 2015-05-12 | Apple Inc. | Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface |
US9218063B2 (en) | 2011-08-24 | 2015-12-22 | Apple Inc. | Sessionless pointing user interface |
US9122311B2 (en) | 2011-08-24 | 2015-09-01 | Apple Inc. | Visual feedback for tactile and non-tactile user interfaces |
US20130050415A1 (en) * | 2011-08-30 | 2013-02-28 | Himax Technologies Limited | System and Method of Handling Data Frames for Stereoscopic Display |
US9002099B2 (en) | 2011-09-11 | 2015-04-07 | Apple Inc. | Learning-based estimation of hand and finger pose |
WO2013043761A1 (en) | 2011-09-19 | 2013-03-28 | Pelican Imaging Corporation | Determining depth from multiple views of a scene that include aliasing using hypothesized fusion |
WO2013049699A1 (en) | 2011-09-28 | 2013-04-04 | Pelican Imaging Corporation | Systems and methods for encoding and decoding light field image files |
KR101828609B1 (ko) * | 2011-09-30 | 2018-02-12 | 엘지이노텍 주식회사 | 영상데이터 전송장치 |
WO2013058985A1 (en) * | 2011-10-17 | 2013-04-25 | Kimmel Zebadiah M | Method and apparatus for detecting deterioration of health status |
US9341464B2 (en) | 2011-10-17 | 2016-05-17 | Atlas5D, Inc. | Method and apparatus for sizing and fitting an individual for apparel, accessories, or prosthetics |
WO2013066601A1 (en) | 2011-10-17 | 2013-05-10 | Kimmel Zebadiah M | Method and apparatus for monitoring individuals while protecting their privacy |
US8989455B2 (en) | 2012-02-05 | 2015-03-24 | Apple Inc. | Enhanced face detection using depth information |
US9651417B2 (en) | 2012-02-15 | 2017-05-16 | Apple Inc. | Scanning depth engine |
US9412206B2 (en) | 2012-02-21 | 2016-08-09 | Pelican Imaging Corporation | Systems and methods for the manipulation of captured light field image data |
US9229534B2 (en) | 2012-02-28 | 2016-01-05 | Apple Inc. | Asymmetric mapping for tactile and non-tactile user interfaces |
WO2013140308A1 (en) | 2012-03-22 | 2013-09-26 | Primesense Ltd. | Diffraction-based sensing of mirror position |
WO2013144807A1 (en) | 2012-03-26 | 2013-10-03 | Primesense Ltd. | Enhanced virtual touchpad and touchscreen |
DE102012103766A1 (de) | 2012-04-27 | 2013-10-31 | Bircher Reglomat Ag | Verfahren zur Kontrolle und/oder Überwachung der Bereiche um wiederverschliessbare Gebäudeöffnungen |
US9210392B2 (en) | 2012-05-01 | 2015-12-08 | Pelican Imaging Coporation | Camera modules patterned with pi filter groups |
US9047507B2 (en) | 2012-05-02 | 2015-06-02 | Apple Inc. | Upper-body skeleton extraction from depth maps |
CN104508681B (zh) | 2012-06-28 | 2018-10-30 | Fotonation开曼有限公司 | 用于检测有缺陷的相机阵列、光学器件阵列和传感器的系统及方法 |
US20140002674A1 (en) | 2012-06-30 | 2014-01-02 | Pelican Imaging Corporation | Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors |
US10312715B2 (en) | 2015-09-16 | 2019-06-04 | Energous Corporation | Systems and methods for wireless power charging |
US10199835B2 (en) | 2015-12-29 | 2019-02-05 | Energous Corporation | Radar motion detection using stepped frequency in wireless power transmission system |
US10270261B2 (en) | 2015-09-16 | 2019-04-23 | Energous Corporation | Systems and methods of object detection in wireless power charging systems |
US10739952B2 (en) | 2012-07-31 | 2020-08-11 | Inuitive Ltd. | Multiple sensors processing system for natural user interface applications |
CN104662589B (zh) | 2012-08-21 | 2017-08-04 | 派力肯影像公司 | 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法 |
CN104685513B (zh) | 2012-08-23 | 2018-04-27 | 派力肯影像公司 | 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计 |
US20140092281A1 (en) | 2012-09-28 | 2014-04-03 | Pelican Imaging Corporation | Generating Images from Light Fields Utilizing Virtual Viewpoints |
KR101428866B1 (ko) * | 2012-10-26 | 2014-08-12 | 한국과학기술원 | 스테레오 영상의 깊이감 조절 장치 및 방법 |
US9019267B2 (en) | 2012-10-30 | 2015-04-28 | Apple Inc. | Depth mapping with enhanced resolution |
US9386298B2 (en) * | 2012-11-08 | 2016-07-05 | Leap Motion, Inc. | Three-dimensional image sensors |
US10049281B2 (en) | 2012-11-12 | 2018-08-14 | Shopperception, Inc. | Methods and systems for measuring human interaction |
WO2014078443A1 (en) | 2012-11-13 | 2014-05-22 | Pelican Imaging Corporation | Systems and methods for array camera focal plane control |
US9152234B2 (en) * | 2012-12-02 | 2015-10-06 | Apple Inc. | Detecting user intent to remove a pluggable peripheral device |
US10660526B2 (en) | 2012-12-31 | 2020-05-26 | Omni Medsci, Inc. | Near-infrared time-of-flight imaging using laser diodes with Bragg reflectors |
US9494567B2 (en) | 2012-12-31 | 2016-11-15 | Omni Medsci, Inc. | Near-infrared lasers for non-invasive monitoring of glucose, ketones, HBA1C, and other blood constituents |
CA2895982A1 (en) | 2012-12-31 | 2014-07-03 | Omni Medsci, Inc. | Short-wave infrared super-continuum lasers for early detection of dental caries |
WO2014143276A2 (en) | 2012-12-31 | 2014-09-18 | Omni Medsci, Inc. | Short-wave infrared super-continuum lasers for natural gas leak detection, exploration, and other active remote sensing applications |
CA2895969A1 (en) | 2012-12-31 | 2014-07-03 | Omni Medsci, Inc. | Near-infrared lasers for non-invasive monitoring of glucose, ketones, hba1c, and other blood constituents |
EP2946336B1 (en) | 2013-01-15 | 2023-06-21 | Mobileye Vision Technologies Ltd. | Stereo assist with rolling shutters |
US9462164B2 (en) | 2013-02-21 | 2016-10-04 | Pelican Imaging Corporation | Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information |
US9277132B2 (en) | 2013-02-21 | 2016-03-01 | Mobileye Vision Technologies Ltd. | Image distortion correction of a camera with a rolling shutter |
US9253380B2 (en) | 2013-02-24 | 2016-02-02 | Pelican Imaging Corporation | Thin form factor computational array cameras and modular array cameras |
RU2013109063A (ru) * | 2013-02-28 | 2014-09-10 | ЭлЭсАй Корпорейшн | Процессор изображения с многоканальным интерфейсом между уровнем предварительной обработки и одним или несколькими более высокими уровнями |
WO2014138697A1 (en) | 2013-03-08 | 2014-09-12 | Pelican Imaging Corporation | Systems and methods for high dynamic range imaging using array cameras |
US8866912B2 (en) | 2013-03-10 | 2014-10-21 | Pelican Imaging Corporation | System and methods for calibration of an array camera using a single captured image |
US9521416B1 (en) | 2013-03-11 | 2016-12-13 | Kip Peli P1 Lp | Systems and methods for image data compression |
US9519972B2 (en) | 2013-03-13 | 2016-12-13 | Kip Peli P1 Lp | Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies |
US20140267004A1 (en) * | 2013-03-13 | 2014-09-18 | Lsi Corporation | User Adjustable Gesture Space |
US9106784B2 (en) | 2013-03-13 | 2015-08-11 | Pelican Imaging Corporation | Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing |
WO2014164909A1 (en) | 2013-03-13 | 2014-10-09 | Pelican Imaging Corporation | Array camera architecture implementing quantum film sensors |
US9124831B2 (en) | 2013-03-13 | 2015-09-01 | Pelican Imaging Corporation | System and methods for calibration of an array camera |
WO2014159779A1 (en) | 2013-03-14 | 2014-10-02 | Pelican Imaging Corporation | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
US9100586B2 (en) | 2013-03-14 | 2015-08-04 | Pelican Imaging Corporation | Systems and methods for photometric normalization in array cameras |
US9497370B2 (en) | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Array camera architecture implementing quantum dot color filters |
US10122993B2 (en) | 2013-03-15 | 2018-11-06 | Fotonation Limited | Autofocus system for a conventional camera that uses depth information from an array camera |
US9445003B1 (en) | 2013-03-15 | 2016-09-13 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information |
US9497429B2 (en) | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Extended color processing on pelican array cameras |
WO2014145856A1 (en) | 2013-03-15 | 2014-09-18 | Pelican Imaging Corporation | Systems and methods for stereo imaging with camera arrays |
CN105103164B (zh) * | 2013-03-21 | 2019-06-04 | 皇家飞利浦有限公司 | 基于视图分类的模型初始化 |
WO2014171418A1 (ja) | 2013-04-19 | 2014-10-23 | 凸版印刷株式会社 | 3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム |
KR20140133093A (ko) * | 2013-05-09 | 2014-11-19 | 한국전자통신연구원 | 인식 장치 및 그 방법 |
US9686609B1 (en) * | 2013-06-28 | 2017-06-20 | Avnera Corporation | Low power synchronous data interface |
US9774833B2 (en) * | 2013-07-16 | 2017-09-26 | Texas Instruments Incorporated | Projector auto-focus correction with the aid of a camera |
WO2015048694A2 (en) | 2013-09-27 | 2015-04-02 | Pelican Imaging Corporation | Systems and methods for depth-assisted perspective distortion correction |
US8760500B1 (en) | 2013-10-23 | 2014-06-24 | Google Inc. | Depth map generation |
JP6589636B2 (ja) | 2013-11-06 | 2019-10-16 | 凸版印刷株式会社 | 3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム |
US9185276B2 (en) | 2013-11-07 | 2015-11-10 | Pelican Imaging Corporation | Methods of manufacturing array camera modules incorporating independently aligned lens stacks |
WO2015073368A1 (en) | 2013-11-12 | 2015-05-21 | Highland Instruments, Inc. | Analysis suite |
US10203399B2 (en) | 2013-11-12 | 2019-02-12 | Big Sky Financial Corporation | Methods and apparatus for array based LiDAR systems with reduced interference |
WO2015074078A1 (en) | 2013-11-18 | 2015-05-21 | Pelican Imaging Corporation | Estimating depth from projected texture using camera arrays |
EP3075140B1 (en) | 2013-11-26 | 2018-06-13 | FotoNation Cayman Limited | Array camera configurations incorporating multiple constituent array cameras |
US9528906B1 (en) | 2013-12-19 | 2016-12-27 | Apple Inc. | Monitoring DOE performance using total internal reflection |
US9600993B2 (en) | 2014-01-27 | 2017-03-21 | Atlas5D, Inc. | Method and system for behavior detection |
KR102277309B1 (ko) * | 2014-01-29 | 2021-07-14 | 엘지이노텍 주식회사 | 깊이 정보 추출 장치 및 방법 |
CN103839258A (zh) * | 2014-02-13 | 2014-06-04 | 西安交通大学 | 一种二值化激光散斑图像的深度感知方法 |
US10089740B2 (en) | 2014-03-07 | 2018-10-02 | Fotonation Limited | System and methods for depth regularization and semiautomatic interactive matting using RGB-D images |
JP6322028B2 (ja) * | 2014-03-31 | 2018-05-09 | アイホン株式会社 | 監視カメラシステム |
US10349037B2 (en) | 2014-04-03 | 2019-07-09 | Ams Sensors Singapore Pte. Ltd. | Structured-stereo imaging assembly including separate imagers for different wavelengths |
US9360554B2 (en) | 2014-04-11 | 2016-06-07 | Facet Technology Corp. | Methods and apparatus for object detection and identification in a multiple detector lidar array |
TWI589149B (zh) * | 2014-04-29 | 2017-06-21 | 鈺立微電子股份有限公司 | 可攜式立體掃描器和產生對應物件的立體掃描結果的方法 |
EP3161607B1 (en) * | 2014-06-24 | 2021-05-26 | Google LLC | Storing content items |
US9948911B2 (en) * | 2014-09-05 | 2018-04-17 | Qualcomm Incorporated | Method and apparatus for efficient depth image transformation |
USD733141S1 (en) | 2014-09-10 | 2015-06-30 | Faro Technologies, Inc. | Laser scanner |
US10392044B2 (en) * | 2014-09-16 | 2019-08-27 | Jennifer Repp | Climate controlling mechanisms for car seats/strollers |
EP3201877B1 (en) | 2014-09-29 | 2018-12-19 | Fotonation Cayman Limited | Systems and methods for dynamic calibration of array cameras |
US9881235B1 (en) | 2014-11-21 | 2018-01-30 | Mahmoud Narimanzadeh | System, apparatus, and method for determining physical dimensions in digital images |
US9626803B2 (en) * | 2014-12-12 | 2017-04-18 | Qualcomm Incorporated | Method and apparatus for image processing in augmented reality systems |
US10036801B2 (en) | 2015-03-05 | 2018-07-31 | Big Sky Financial Corporation | Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array |
US10013756B2 (en) | 2015-03-13 | 2018-07-03 | Atlas5D, Inc. | Methods and systems for measuring use of an assistive device for ambulation |
TWI610198B (zh) * | 2015-04-17 | 2018-01-01 | 鈺立微電子股份有限公司 | 遙控裝置與根據至少一靜態手勢產生控制指令的方法 |
US9942474B2 (en) | 2015-04-17 | 2018-04-10 | Fotonation Cayman Limited | Systems and methods for performing high speed video capture and depth estimation using array cameras |
US20160309135A1 (en) | 2015-04-20 | 2016-10-20 | Ilia Ovsiannikov | Concurrent rgbz sensor and system |
US11002531B2 (en) | 2015-04-20 | 2021-05-11 | Samsung Electronics Co., Ltd. | CMOS image sensor for RGB imaging and depth measurement with laser sheet scan |
US11736832B2 (en) | 2015-04-20 | 2023-08-22 | Samsung Electronics Co., Ltd. | Timestamp calibration of the 3D camera with epipolar line laser point scanning |
US10250833B2 (en) | 2015-04-20 | 2019-04-02 | Samsung Electronics Co., Ltd. | Timestamp calibration of the 3D camera with epipolar line laser point scanning |
US10132616B2 (en) | 2015-04-20 | 2018-11-20 | Samsung Electronics Co., Ltd. | CMOS image sensor for 2D imaging and depth measurement with ambient light rejection |
US9525863B2 (en) | 2015-04-29 | 2016-12-20 | Apple Inc. | Time-of-flight depth mapping with flexible scan pattern |
US10375709B2 (en) * | 2015-05-08 | 2019-08-06 | Lg Electronics Inc. | Method and LC device for transmitting scheduling request |
KR102329110B1 (ko) | 2015-05-30 | 2021-11-18 | 레이아 인코포레이티드 | 차량 모니터링 시스템 |
US20160360185A1 (en) * | 2015-06-03 | 2016-12-08 | Empire Technology Development Llc | Three-dimensional imaging sensor calibration |
US11054664B2 (en) | 2015-06-18 | 2021-07-06 | Apple Inc. | Monitoring DOE performance using software scene evaluation |
WO2017018993A1 (en) * | 2015-07-24 | 2017-02-02 | Hewlett Packard Enterprise Development Lp | Enabling compression of a video output |
US10012831B2 (en) | 2015-08-03 | 2018-07-03 | Apple Inc. | Optical monitoring of scan parameters |
US9871387B1 (en) | 2015-09-16 | 2018-01-16 | Energous Corporation | Systems and methods of object detection using one or more video cameras in wireless power charging systems |
US9893538B1 (en) | 2015-09-16 | 2018-02-13 | Energous Corporation | Systems and methods of object detection in wireless power charging systems |
US9992477B2 (en) | 2015-09-24 | 2018-06-05 | Ouster, Inc. | Optical system for collecting distance information within a field |
US10063849B2 (en) | 2015-09-24 | 2018-08-28 | Ouster, Inc. | Optical system for collecting distance information within a field |
US20170115737A1 (en) * | 2015-10-26 | 2017-04-27 | Lenovo (Singapore) Pte. Ltd. | Gesture control using depth data |
US10043279B1 (en) | 2015-12-07 | 2018-08-07 | Apple Inc. | Robust detection and classification of body parts in a depth map |
US9866816B2 (en) | 2016-03-03 | 2018-01-09 | 4D Intellectual Properties, Llc | Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis |
RU2639575C1 (ru) * | 2016-03-16 | 2017-12-21 | Масуд Таштариан | Способ обучения детей с нарушением слуха игре в бадминтон |
CN113903455A (zh) | 2016-08-02 | 2022-01-07 | 阿特拉斯5D公司 | 在保护隐私的同时识别人及/或识别并量化疼痛、疲劳、情绪及意图的系统及方法 |
CN109843500B (zh) | 2016-08-24 | 2021-06-29 | 奥斯特公司 | 用于收集场内的距离信息的光学系统 |
US10073004B2 (en) | 2016-09-19 | 2018-09-11 | Apple Inc. | DOE defect monitoring utilizing total internal reflection |
US10366278B2 (en) | 2016-09-20 | 2019-07-30 | Apple Inc. | Curvature-based face detector |
JP2018047858A (ja) * | 2016-09-23 | 2018-03-29 | 日本プラスト株式会社 | カウルトップカバー |
US10382665B2 (en) | 2016-12-30 | 2019-08-13 | Samsung Electronics Co., Ltd. | Auto focus method and electronic device for performing the same |
CN107424187B (zh) * | 2017-04-17 | 2023-10-24 | 奥比中光科技集团股份有限公司 | 深度计算处理器、数据处理方法以及3d图像设备 |
CN107105217B (zh) * | 2017-04-17 | 2018-11-30 | 深圳奥比中光科技有限公司 | 多模式深度计算处理器以及3d图像设备 |
WO2018213200A1 (en) | 2017-05-15 | 2018-11-22 | Ouster, Inc. | Optical imaging transmitter with brightness enhancement |
US11494897B2 (en) | 2017-07-07 | 2022-11-08 | William F. WILEY | Application to determine reading/working distance |
DE202017104506U1 (de) | 2017-07-28 | 2017-09-05 | Apple Inc. | Krümmungsbasierter Gesichtsdetektor |
US10482618B2 (en) | 2017-08-21 | 2019-11-19 | Fotonation Limited | Systems and methods for hybrid depth regularization |
US10153614B1 (en) | 2017-08-31 | 2018-12-11 | Apple Inc. | Creating arbitrary patterns on a 2-D uniform grid VCSEL array |
CN107748475A (zh) * | 2017-11-06 | 2018-03-02 | 深圳奥比中光科技有限公司 | 结构光投影模组、深度相机及制造结构光投影模组的方法 |
US10545457B2 (en) | 2017-12-05 | 2020-01-28 | K Laser Technology, Inc. | Optical projector with off-axis diffractive element and conjugate images |
US10310281B1 (en) | 2017-12-05 | 2019-06-04 | K Laser Technology, Inc. | Optical projector with off-axis diffractive element |
US11353556B2 (en) | 2017-12-07 | 2022-06-07 | Ouster, Inc. | Light ranging device with a multi-element bulk lens system |
CN109963135A (zh) * | 2017-12-22 | 2019-07-02 | 宁波盈芯信息科技有限公司 | 一种基于rgb-d的深度网络摄像装置及方法 |
US10317684B1 (en) | 2018-01-24 | 2019-06-11 | K Laser Technology, Inc. | Optical projector with on axis hologram and multiple beam splitter |
CN108594454B (zh) | 2018-03-23 | 2019-12-13 | 深圳奥比中光科技有限公司 | 一种结构光投影模组和深度相机 |
US10943092B2 (en) | 2018-05-23 | 2021-03-09 | ClairLabs Ltd. | Monitoring system |
US11422292B1 (en) | 2018-06-10 | 2022-08-23 | Apple Inc. | Super-blazed diffractive optical elements with sub-wavelength structures |
US10760957B2 (en) | 2018-08-09 | 2020-09-01 | Ouster, Inc. | Bulk optics for a scanning array |
US10739189B2 (en) | 2018-08-09 | 2020-08-11 | Ouster, Inc. | Multispectral ranging/imaging sensor arrays and systems |
CN110824599B (zh) | 2018-08-14 | 2021-09-03 | 白金科技股份有限公司 | 一种红外带通滤波器 |
CN112689776A (zh) | 2018-09-16 | 2021-04-20 | 苹果公司 | 使用彩色图像数据校准深度感测阵列 |
RU2693267C1 (ru) * | 2018-10-23 | 2019-07-01 | Акционерное общество Научно-производственное предприятие "Авиационная и Морская Электроника" | Способ распознавания объектов на изображении |
KR20200126129A (ko) * | 2019-04-29 | 2020-11-06 | 엘지이노텍 주식회사 | 카메라 모듈 |
WO2021055585A1 (en) | 2019-09-17 | 2021-03-25 | Boston Polarimetrics, Inc. | Systems and methods for surface modeling using polarization cues |
US11681019B2 (en) | 2019-09-18 | 2023-06-20 | Apple Inc. | Optical module with stray light baffle |
US11506762B1 (en) | 2019-09-24 | 2022-11-22 | Apple Inc. | Optical module comprising an optical waveguide with reference light path |
CN114766003B (zh) | 2019-10-07 | 2024-03-26 | 波士顿偏振测定公司 | 用于利用偏振增强传感器系统和成像系统的系统和方法 |
EP4066001A4 (en) | 2019-11-30 | 2024-01-24 | Boston Polarimetrics Inc | SYSTEMS AND METHODS FOR TRANSPARENT OBJECT SEGMENTATION USING POLARIZATION GUIDES |
KR20220132620A (ko) | 2020-01-29 | 2022-09-30 | 인트린식 이노베이션 엘엘씨 | 물체 포즈 검출 및 측정 시스템들을 특성화하기 위한 시스템들 및 방법들 |
JP2023511747A (ja) | 2020-01-30 | 2023-03-22 | イントリンジック イノベーション エルエルシー | 偏光画像を含む異なる撮像モダリティで統計モデルを訓練するためのデータを合成するためのシステムおよび方法 |
US11754767B1 (en) | 2020-03-05 | 2023-09-12 | Apple Inc. | Display with overlaid waveguide |
CN111444123B (zh) * | 2020-03-28 | 2021-01-15 | 珠海市一微半导体有限公司 | 基于硬件加速的spi接口的自动读取控制系统及方法 |
US11953700B2 (en) | 2020-05-27 | 2024-04-09 | Intrinsic Innovation Llc | Multi-aperture polarization optical systems using beam splitters |
DE102020124521B3 (de) | 2020-09-21 | 2021-09-30 | Agrippa Holding & Consulting Gmbh | Optische Vorrichtung und Verfahren zur Untersuchung eines Gegenstandes |
US11290658B1 (en) | 2021-04-15 | 2022-03-29 | Boston Polarimetrics, Inc. | Systems and methods for camera exposure control |
US11954886B2 (en) | 2021-04-15 | 2024-04-09 | Intrinsic Innovation Llc | Systems and methods for six-degree of freedom pose estimation of deformable objects |
US11689813B2 (en) | 2021-07-01 | 2023-06-27 | Intrinsic Innovation Llc | Systems and methods for high dynamic range imaging using crossed polarizers |
WO2023211435A1 (en) * | 2022-04-27 | 2023-11-02 | Innopeak Technology, Inc. | Depth estimation for slam systems using monocular cameras |
Family Cites Families (154)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE2951207A1 (de) | 1978-12-26 | 1980-07-10 | Canon Kk | Verfahren zur optischen herstellung einer streuplatte |
US4310849A (en) * | 1979-06-11 | 1982-01-12 | Glass Stuart M | Stereoscopic video system |
US4542376A (en) | 1983-11-03 | 1985-09-17 | Burroughs Corporation | System for electronically displaying portions of several different images on a CRT screen through respective prioritized viewports |
US4843568A (en) | 1986-04-11 | 1989-06-27 | Krueger Myron W | Real time perception of and response to the actions of an unencumbered participant/user |
JPH0615968B2 (ja) | 1986-08-11 | 1994-03-02 | 伍良 松本 | 立体形状測定装置 |
JPH0340591A (ja) * | 1989-07-06 | 1991-02-21 | Katsuji Okino | 立体像の撮影・表示方法及び装置 |
US5075562A (en) | 1990-09-20 | 1991-12-24 | Eastman Kodak Company | Method and apparatus for absolute Moire distance measurements using a grating printed on or attached to a surface |
GB9116151D0 (en) | 1991-07-26 | 1991-09-11 | Isis Innovation | Three-dimensional vision system |
US5483261A (en) | 1992-02-14 | 1996-01-09 | Itu Research, Inc. | Graphical input controller and method with rear screen image detection |
DE69226512T2 (de) | 1992-03-12 | 1999-04-22 | Ibm | Verfahren zur Bildverarbeitung |
US5636025A (en) | 1992-04-23 | 1997-06-03 | Medar, Inc. | System for optically measuring the surface contour of a part using more fringe techniques |
US5856871A (en) | 1993-08-18 | 1999-01-05 | Applied Spectral Imaging Ltd. | Film thickness mapping using interferometric spectral imaging |
US6041140A (en) | 1994-10-04 | 2000-03-21 | Synthonics, Incorporated | Apparatus for interactive image correlation for three dimensional image production |
JPH08186845A (ja) | 1994-12-27 | 1996-07-16 | Nobuaki Yanagisawa | 焦点距離制御式立体テレビ |
DE69612647T2 (de) * | 1995-03-08 | 2001-10-18 | Koninkl Philips Electronics Nv | Dreidimensionales bildanzeigesystem |
US5630043A (en) | 1995-05-11 | 1997-05-13 | Cirrus Logic, Inc. | Animated texture map apparatus and method for 3-D image displays |
IL114278A (en) | 1995-06-22 | 2010-06-16 | Microsoft Internat Holdings B | Camera and method |
BR9609697A (pt) | 1995-07-18 | 1999-12-21 | Budd Co | Sistema de interfometria para ondeado e método com profundidade de imagem ampliada. |
JPH09261535A (ja) | 1996-03-25 | 1997-10-03 | Sharp Corp | 撮像装置 |
DE19638727A1 (de) | 1996-09-12 | 1998-03-19 | Ruedger Dipl Ing Rubbert | Verfahren zur Erhöhung der Signifikanz der dreidimensionalen Vermessung von Objekten |
JP3402138B2 (ja) | 1996-09-27 | 2003-04-28 | 株式会社日立製作所 | 液晶表示装置 |
IL119341A (en) | 1996-10-02 | 1999-09-22 | Univ Ramot | Phase-only filter for generating an arbitrary illumination pattern |
IL119831A (en) | 1996-12-15 | 2002-12-01 | Cognitens Ltd | A device and method for three-dimensional reconstruction of the surface geometry of an object |
WO1998028593A1 (en) | 1996-12-20 | 1998-07-02 | Pacific Title And Mirage, Inc. | Apparatus and method for rapid 3d image parametrization |
US5838428A (en) | 1997-02-28 | 1998-11-17 | United States Of America As Represented By The Secretary Of The Navy | System and method for high resolution range imaging with split light source and pattern mask |
JPH10327433A (ja) | 1997-05-23 | 1998-12-08 | Minolta Co Ltd | 合成画像の表示装置 |
US6008813A (en) | 1997-08-01 | 1999-12-28 | Mitsubishi Electric Information Technology Center America, Inc. (Ita) | Real-time PC based volume rendering system |
DE19736169A1 (de) | 1997-08-20 | 1999-04-15 | Fhu Hochschule Fuer Technik | Verfahren zur Verformungs- oder Schwingungsmessung mittels elektronischer Speckle-Pattern-Interferometrie |
US6101269A (en) | 1997-12-19 | 2000-08-08 | Lifef/X Networks, Inc. | Apparatus and method for rapid 3D image parametrization |
DE19815201A1 (de) | 1998-04-04 | 1999-10-07 | Link Johann & Ernst Gmbh & Co | Meßanordnung zur Erfassung von Dimensionen von Prüflingen, vorzugsweise von Hohlkörpern, insbesondere von Bohrungen in Werkstücken, sowie Verfahren zur Messung solcher Dimensionen |
US6731391B1 (en) | 1998-05-13 | 2004-05-04 | The Research Foundation Of State University Of New York | Shadow moire surface measurement using Talbot effect |
DE19821611A1 (de) | 1998-05-14 | 1999-11-18 | Syrinx Med Tech Gmbh | Verfahren zur Erfassung der räumlichen Struktur einer dreidimensionalen Oberfläche |
GB2352901A (en) | 1999-05-12 | 2001-02-07 | Tricorder Technology Plc | Rendering three dimensional representations utilising projected light patterns |
US6377700B1 (en) | 1998-06-30 | 2002-04-23 | Intel Corporation | Method and apparatus for capturing stereoscopic images using image sensors |
JP2000115672A (ja) * | 1998-10-05 | 2000-04-21 | Pioneer Electronic Corp | 映像データ処理方法、映像データ処理装置および映像データ再生装置 |
JP2000112019A (ja) * | 1998-10-08 | 2000-04-21 | Olympus Optical Co Ltd | 電子3眼カメラ装置 |
JP3678022B2 (ja) * | 1998-10-23 | 2005-08-03 | コニカミノルタセンシング株式会社 | 3次元入力装置 |
US6084712A (en) | 1998-11-03 | 2000-07-04 | Dynamic Measurement And Inspection,Llc | Three dimensional imaging using a refractive optic design |
US8965898B2 (en) | 1998-11-20 | 2015-02-24 | Intheplay, Inc. | Optimizations for live event, real-time, 3D object tracking |
KR100321897B1 (ko) | 1998-12-22 | 2002-05-13 | 박남은 | 입체영상이미지변환방법및그장치 |
JP2001166810A (ja) | 1999-02-19 | 2001-06-22 | Sanyo Electric Co Ltd | 立体モデル提供装置及び方法 |
US6259561B1 (en) | 1999-03-26 | 2001-07-10 | The University Of Rochester | Optical system for diffusing light |
US6751344B1 (en) | 1999-05-28 | 2004-06-15 | Champion Orthotic Investments, Inc. | Enhanced projector system for machine vision |
US6512385B1 (en) | 1999-07-26 | 2003-01-28 | Paul Pfaff | Method for testing a device under test including the interference of two beams |
US6268923B1 (en) | 1999-10-07 | 2001-07-31 | Integral Vision, Inc. | Optical method and system for measuring three-dimensional surface topography of an object having a surface contour |
JP2001141430A (ja) | 1999-11-16 | 2001-05-25 | Fuji Photo Film Co Ltd | 画像撮像装置及び画像処理装置 |
LT4842B (lt) | 1999-12-10 | 2001-09-25 | Uab "Geola" | Hologramų spausdinimo būdas ir įrenginys |
US6301059B1 (en) | 2000-01-07 | 2001-10-09 | Lucent Technologies Inc. | Astigmatic compensation for an anamorphic optical system |
US6937348B2 (en) | 2000-01-28 | 2005-08-30 | Genex Technologies, Inc. | Method and apparatus for generating structural pattern illumination |
US6700669B1 (en) | 2000-01-28 | 2004-03-02 | Zheng J. Geng | Method and system for three-dimensional imaging using light pattern having multiple sub-patterns |
JP4560869B2 (ja) | 2000-02-07 | 2010-10-13 | ソニー株式会社 | メガネなし表示システムおよびバックライトシステム |
KR100355718B1 (ko) | 2000-06-10 | 2002-10-11 | 주식회사 메디슨 | 스티어링이 가능한 프로브를 사용한 3차원 초음파 영상시스템 및 영상 형성 방법 |
US6810135B1 (en) | 2000-06-29 | 2004-10-26 | Trw Inc. | Optimized human presence detection through elimination of background interference |
TW527518B (en) | 2000-07-14 | 2003-04-11 | Massachusetts Inst Technology | Method and system for high resolution, ultra fast, 3-D imaging |
US7227526B2 (en) | 2000-07-24 | 2007-06-05 | Gesturetek, Inc. | Video-based image control system |
US6686921B1 (en) | 2000-08-01 | 2004-02-03 | International Business Machines Corporation | Method and apparatus for acquiring a set of consistent image maps to represent the color of the surface of an object |
US6754370B1 (en) | 2000-08-14 | 2004-06-22 | The Board Of Trustees Of The Leland Stanford Junior University | Real-time structured light range scanning of moving scenes |
US6639684B1 (en) | 2000-09-13 | 2003-10-28 | Nextengine, Inc. | Digitizer using intensity gradient to image features of three-dimensional objects |
US6813440B1 (en) | 2000-10-10 | 2004-11-02 | The Hong Kong Polytechnic University | Body scanner |
JP3689720B2 (ja) | 2000-10-16 | 2005-08-31 | 住友大阪セメント株式会社 | 三次元形状測定装置 |
JP2002152776A (ja) | 2000-11-09 | 2002-05-24 | Nippon Telegr & Teleph Corp <Ntt> | 距離画像符号化方法及び装置、並びに、距離画像復号化方法及び装置 |
JP2002191058A (ja) | 2000-12-20 | 2002-07-05 | Olympus Optical Co Ltd | 3次元画像取得装置および3次元画像取得方法 |
JP2002213931A (ja) | 2001-01-17 | 2002-07-31 | Fuji Xerox Co Ltd | 3次元形状計測装置および3次元形状計測方法 |
US6841780B2 (en) | 2001-01-19 | 2005-01-11 | Honeywell International Inc. | Method and apparatus for detecting objects |
JP2002365023A (ja) | 2001-06-08 | 2002-12-18 | Koji Okamoto | 液面計測装置及び方法 |
EP1412803A2 (en) | 2001-07-13 | 2004-04-28 | Mems Optical, Inc. | Autostereoscopic display with rotated microlens-array and method of displaying multidimensional images, especially color images |
US6741251B2 (en) | 2001-08-16 | 2004-05-25 | Hewlett-Packard Development Company, L.P. | Method and apparatus for varying focus in a scene |
JP3957620B2 (ja) * | 2001-11-27 | 2007-08-15 | 三星電子株式会社 | 深さイメージ基盤3次元客体を表現するための装置及び方法 |
CN1136738C (zh) * | 2002-01-31 | 2004-01-28 | 北京理工大学 | 一种微型实时立体视觉机 |
US7340077B2 (en) | 2002-02-15 | 2008-03-04 | Canesta, Inc. | Gesture recognition system using depth perceptive sensors |
US7369685B2 (en) | 2002-04-05 | 2008-05-06 | Identix Corporation | Vision-based operating method and system |
US7811825B2 (en) | 2002-04-19 | 2010-10-12 | University Of Washington | System and method for processing specimens and images for optical tomography |
WO2003105289A2 (en) | 2002-06-07 | 2003-12-18 | University Of North Carolina At Chapel Hill | Methods and systems for laser based real-time structured light depth extraction |
US7006709B2 (en) | 2002-06-15 | 2006-02-28 | Microsoft Corporation | System and method deghosting mosaics using multiperspective plane sweep |
US6859326B2 (en) | 2002-09-20 | 2005-02-22 | Corning Incorporated | Random microlens array for optical beam shaping and homogenization |
KR100624405B1 (ko) | 2002-10-01 | 2006-09-18 | 삼성전자주식회사 | 광부품 실장용 기판 및 그 제조방법 |
US7194105B2 (en) | 2002-10-16 | 2007-03-20 | Hersch Roger D | Authentication of documents and articles by moiré patterns |
WO2004046645A2 (en) | 2002-11-21 | 2004-06-03 | Solvision | Fast 3d height measurement method and system |
US20040174770A1 (en) | 2002-11-27 | 2004-09-09 | Rees Frank L. | Gauss-Rees parametric ultrawideband system |
JP3855053B2 (ja) * | 2003-01-30 | 2006-12-06 | 国立大学法人 東京大学 | 画像処理装置、画像処理方法、及び画像処理プログラム |
US7639419B2 (en) | 2003-02-21 | 2009-12-29 | Kla-Tencor Technologies, Inc. | Inspection system using small catadioptric objective |
US7127101B2 (en) | 2003-03-10 | 2006-10-24 | Cranul Technologies, Inc. | Automatic selection of cranial remodeling device trim lines |
US20040213463A1 (en) | 2003-04-22 | 2004-10-28 | Morrison Rick Lee | Multiplexed, spatially encoded illumination system for determining imaging and range estimation |
US7539340B2 (en) | 2003-04-25 | 2009-05-26 | Topcon Corporation | Apparatus and method for three-dimensional coordinate measurement |
JP2006528770A (ja) | 2003-07-24 | 2006-12-21 | コグニテンス リミテッド | 対象物の3次元表面再構築の方法およびシステム |
CA2435935A1 (en) | 2003-07-24 | 2005-01-24 | Guylain Lemelin | Optical 3d digitizer with enlarged non-ambiguity zone |
JP4370855B2 (ja) * | 2003-08-28 | 2009-11-25 | ソニー株式会社 | 固体撮像デバイス、この固体撮像デバイスを用いた撮像方法および装置並びに距離計測方法およびシステム |
US7187437B2 (en) | 2003-09-10 | 2007-03-06 | Shearographics, Llc | Plurality of light sources for inspection apparatus and method |
US6934018B2 (en) | 2003-09-10 | 2005-08-23 | Shearographics, Llc | Tire inspection apparatus and method |
US7874917B2 (en) | 2003-09-15 | 2011-01-25 | Sony Computer Entertainment Inc. | Methods and systems for enabling depth and direction detection when interfacing with a computer program |
US7112774B2 (en) | 2003-10-09 | 2006-09-26 | Avago Technologies Sensor Ip (Singapore) Pte. Ltd | CMOS stereo imaging system and method |
US7250949B2 (en) | 2003-12-23 | 2007-07-31 | General Electric Company | Method and system for visualizing three-dimensional data |
US20050135555A1 (en) | 2003-12-23 | 2005-06-23 | Claus Bernhard Erich H. | Method and system for simultaneously viewing rendered volumes |
US8134637B2 (en) | 2004-01-28 | 2012-03-13 | Microsoft Corporation | Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing |
US7961909B2 (en) | 2006-03-08 | 2011-06-14 | Electronic Scripting Products, Inc. | Computer interface employing a manipulated object with absolute pose detection component and a display |
US20070165243A1 (en) | 2004-02-09 | 2007-07-19 | Cheol-Gwon Kang | Device for measuring 3d shape using irregular pattern and method for the same |
US7427981B2 (en) | 2004-04-15 | 2008-09-23 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Optical device that measures distance between the device and a surface |
US7308112B2 (en) | 2004-05-14 | 2007-12-11 | Honda Motor Co., Ltd. | Sign based human-machine interaction |
AU2005264061B2 (en) | 2004-07-23 | 2009-05-21 | Ge Healthcare Niagara, Inc. | Method and apparatus for fluorescent confocal microscopy |
US20060017656A1 (en) | 2004-07-26 | 2006-01-26 | Visteon Global Technologies, Inc. | Image intensity control in overland night vision systems |
WO2006011153A2 (en) | 2004-07-30 | 2006-02-02 | Extreme Reality Ltd. | A system and method for 3d space-dimension based image processing |
DE102004044111B4 (de) | 2004-09-08 | 2015-05-07 | Seereal Technologies Gmbh | Verfahren und Vorrichtung zum Kodieren und Rekonstruieren von computergenerierten Videohologrammen |
US7120228B2 (en) | 2004-09-21 | 2006-10-10 | Jordan Valley Applied Radiation Ltd. | Combined X-ray reflectometer and diffractometer |
JP2006128818A (ja) | 2004-10-26 | 2006-05-18 | Victor Co Of Japan Ltd | 立体映像・立体音響対応記録プログラム、再生プログラム、記録装置、再生装置及び記録メディア |
US7076024B2 (en) | 2004-12-01 | 2006-07-11 | Jordan Valley Applied Radiation, Ltd. | X-ray apparatus with dual monochromators |
US20060156756A1 (en) | 2005-01-20 | 2006-07-20 | Becke Paul E | Phase change and insulating properties container and method of use |
US20060221218A1 (en) | 2005-04-05 | 2006-10-05 | Doron Adler | Image sensor with improved color filter |
WO2006107929A1 (en) | 2005-04-06 | 2006-10-12 | Dimensional Photonics International, Inc. | Determining positional error of an optical component using structured light patterns |
US7560679B1 (en) | 2005-05-10 | 2009-07-14 | Siimpel, Inc. | 3D camera |
CN101288105B (zh) | 2005-10-11 | 2016-05-25 | 苹果公司 | 用于物体重现的方法和系统 |
US20110096182A1 (en) | 2009-10-25 | 2011-04-28 | Prime Sense Ltd | Error Compensation in Three-Dimensional Mapping |
US8390821B2 (en) | 2005-10-11 | 2013-03-05 | Primesense Ltd. | Three-dimensional sensing using speckle patterns |
AU2006311276A1 (en) | 2005-11-04 | 2007-05-18 | Clean Earth Technologies, Llc | Tracking using an elastic cluster of trackers |
US7856125B2 (en) | 2006-01-31 | 2010-12-21 | University Of Southern California | 3D face reconstruction from 2D images |
WO2007096893A2 (en) | 2006-02-27 | 2007-08-30 | Prime Sense Ltd. | Range mapping using speckle decorrelation |
CN101501442B (zh) | 2006-03-14 | 2014-03-19 | 普莱姆传感有限公司 | 三维传感的深度变化光场 |
KR101408959B1 (ko) * | 2006-03-14 | 2014-07-02 | 프라임센스 엘티디. | 삼차원 감지를 위한 깊이 가변 광 필드 |
US7869649B2 (en) | 2006-05-08 | 2011-01-11 | Panasonic Corporation | Image processing device, image processing method, program, storage medium and integrated circuit |
US8488895B2 (en) | 2006-05-31 | 2013-07-16 | Indiana University Research And Technology Corp. | Laser scanning digital camera with pupil periphery illumination and potential for multiply scattered light imaging |
US8139142B2 (en) | 2006-06-01 | 2012-03-20 | Microsoft Corporation | Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques |
EP2050067A1 (en) | 2006-08-03 | 2009-04-22 | Alterface S.A. | Method and device for identifying and extracting images of multiple users, and for recognizing user gestures |
KR20090052889A (ko) | 2006-09-04 | 2009-05-26 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 이미지들로부터 깊이 맵을 결정하기 위한 방법 및 깊이 맵을 결정하기 위한 디바이스 |
US7256899B1 (en) | 2006-10-04 | 2007-08-14 | Ivan Faul | Wireless methods and systems for three-dimensional non-contact shape sensing |
US8090194B2 (en) | 2006-11-21 | 2012-01-03 | Mantis Vision Ltd. | 3D geometric modeling and motion capture using both single and dual imaging |
US7990545B2 (en) | 2006-12-27 | 2011-08-02 | Cambridge Research & Instrumentation, Inc. | Surface measurement of in-vivo subjects using spot projector |
US7840031B2 (en) | 2007-01-12 | 2010-11-23 | International Business Machines Corporation | Tracking a range of body movement based on 3D captured image streams of a user |
WO2008087652A2 (en) | 2007-01-21 | 2008-07-24 | Prime Sense Ltd. | Depth mapping using multi-beam illumination |
US20080212835A1 (en) | 2007-03-01 | 2008-09-04 | Amon Tavor | Object Tracking by 3-Dimensional Modeling |
US8493496B2 (en) | 2007-04-02 | 2013-07-23 | Primesense Ltd. | Depth mapping using projected patterns |
US8150142B2 (en) | 2007-04-02 | 2012-04-03 | Prime Sense Ltd. | Depth mapping using projected patterns |
US8488868B2 (en) * | 2007-04-03 | 2013-07-16 | Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada | Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images |
US7835561B2 (en) | 2007-05-18 | 2010-11-16 | Visiongate, Inc. | Method for image processing and reconstruction of images for optical tomography |
WO2008155770A2 (en) | 2007-06-19 | 2008-12-24 | Prime Sense Ltd. | Distance-varying illumination and imaging techniques for depth mapping |
CN101785025B (zh) * | 2007-07-12 | 2013-10-30 | 汤姆森特许公司 | 用于从二维图像进行三维对象重构的系统和方法 |
JP4412362B2 (ja) | 2007-07-18 | 2010-02-10 | 船井電機株式会社 | 複眼撮像装置 |
US20090060307A1 (en) | 2007-08-27 | 2009-03-05 | Siemens Medical Solutions Usa, Inc. | Tensor Voting System and Method |
DE102007045332B4 (de) | 2007-09-17 | 2019-01-17 | Seereal Technologies S.A. | Holographisches Display zum Rekonstruieren einer Szene |
US8166421B2 (en) | 2008-01-14 | 2012-04-24 | Primesense Ltd. | Three-dimensional user interface |
US8176497B2 (en) | 2008-01-16 | 2012-05-08 | Dell Products, Lp | Method to dynamically provision additional computer resources to handle peak database workloads |
CN101984767B (zh) | 2008-01-21 | 2014-01-29 | 普莱姆森斯有限公司 | 用于使零级减少的光学设计 |
DE102008011350A1 (de) | 2008-02-27 | 2009-09-03 | Loeffler Technology Gmbh | Vorrichtung und Verfahren zur Echtzeiterfassung von elektromagnetischer THz-Strahlung |
US8121351B2 (en) | 2008-03-09 | 2012-02-21 | Microsoft International Holdings B.V. | Identification of objects in a 3D video using non/over reflective clothing |
US8462207B2 (en) | 2009-02-12 | 2013-06-11 | Primesense Ltd. | Depth ranging with Moiré patterns |
US8786682B2 (en) | 2009-03-05 | 2014-07-22 | Primesense Ltd. | Reference image techniques for three-dimensional sensing |
US8717417B2 (en) | 2009-04-16 | 2014-05-06 | Primesense Ltd. | Three-dimensional mapping and imaging |
US8503720B2 (en) | 2009-05-01 | 2013-08-06 | Microsoft Corporation | Human body pose estimation |
US8744121B2 (en) | 2009-05-29 | 2014-06-03 | Microsoft Corporation | Device for identifying and tracking multiple humans over time |
EP2275990B1 (de) | 2009-07-06 | 2012-09-26 | Sick Ag | 3D-Sensor |
WO2011013079A1 (en) | 2009-07-30 | 2011-02-03 | Primesense Ltd. | Depth mapping based on pattern matching and stereoscopic information |
WO2011031538A2 (en) | 2009-08-27 | 2011-03-17 | California Institute Of Technology | Accurate 3d object reconstruction using a handheld device with a projected light pattern |
US8830227B2 (en) | 2009-12-06 | 2014-09-09 | Primesense Ltd. | Depth-based gain control |
US8320621B2 (en) | 2009-12-21 | 2012-11-27 | Microsoft Corporation | Depth projector system with integrated VCSEL array |
US8982182B2 (en) | 2010-03-01 | 2015-03-17 | Apple Inc. | Non-uniform spatial resource allocation for depth mapping |
US8654152B2 (en) | 2010-06-21 | 2014-02-18 | Microsoft Corporation | Compartmentalizing focus area within field of view |
-
2009
- 2009-03-04 US US12/397,362 patent/US8456517B2/en active Active
- 2009-03-12 CN CN200980120888.XA patent/CN102057365B/zh active Active
- 2009-03-12 WO PCT/IL2009/000285 patent/WO2010004542A1/en active Application Filing
- 2009-03-12 JP JP2011517308A patent/JP5795734B2/ja active Active
- 2009-05-20 TW TW098116733A patent/TWI557684B/zh active
-
2013
- 2013-05-01 US US13/874,562 patent/US8848039B2/en active Active
-
2014
- 2014-06-27 JP JP2014133348A patent/JP5861744B2/ja active Active
- 2014-08-25 US US14/467,074 patent/US9348423B2/en active Active
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5861744B2 (ja) | 3次元マッピング用集積処理装置 | |
JP2011527790A5 (ja) | ||
US11741623B2 (en) | Depth calculation processor, data processing method and 3D image device | |
EP3435655B1 (en) | Electronic device for acquiring image using plurality of cameras and method for processing image using the same | |
KR102480600B1 (ko) | 이미지 처리 장치의 저조도 화질 개선 방법 및 상기 방법을 수행하는 이미지 처리 시스템의 동작 방법 | |
US20170099435A1 (en) | Image Generation Method Based On Dual Camera Module And Dual Camera Apparatus | |
US11394892B2 (en) | Electronic device, and method for electronic device compressing high dynamic range image data | |
WO2014018951A1 (en) | Ycbcr pulsed illumination scheme in a light deficient environment | |
KR20150084807A (ko) | 파노라마 혹은 스테레오스코픽 이미지의 스트림을 캡처 및 구성하기 위한 방법 및 장치 | |
CN109672827A (zh) | 用于组合多个图像的电子装置及其方法 | |
KR20190136560A (ko) | 직접 감쇄 모델을 이용한 내시경 영상 스테레오 정합 방법 및 장치 | |
CN110192391B (zh) | 一种处理的方法及设备 | |
WO2013080544A1 (ja) | 立体画像処理装置、立体画像処理方法、および立体画像処理プログラム | |
JP2015224909A (ja) | 3次元計測装置及び3次元計測方法 | |
TWI451751B (zh) | 立體影像擷取裝置以及其控制晶片 | |
JP4862004B2 (ja) | 奥行きデータ生成装置及び奥行きデータ生成方法ならびにそのプログラム | |
KR102301940B1 (ko) | 이미지 합성 방법 및 장치 | |
US9736453B2 (en) | Method for encoding a stereoscopic image | |
US20130169758A1 (en) | Three-dimensional image generating device | |
JP2019140483A (ja) | 画像処理システム、画像処理システムの制御方法、伝送装置、伝送方法及びプログラム | |
TWI517666B (zh) | 以單一影像擷取裝置產生立體影像之方法及其裝置 | |
US20190058869A1 (en) | Stereoscopic image-capturing apparatus | |
KR20190065736A (ko) | 3d 이미지를 생성하기 위한 전자 장치 및 방법 | |
KR102460762B1 (ko) | 이종 영상 일체형 카메라 장치 | |
Demir et al. | Real-Time Textureless-Region Tolerant High-Resolution Depth Estimation System |