JP2014209375A - ３次元マッピング用集積処理装置 - Google Patents

Abstract

【課題】３Ｄマッピングデータの生成と処理のための集積回路を提供する。
【解決手段】データ処理装置５０は、カラー画像データを第１の画像センサ４６から受け取るための第１の入力ポートと、深さ関係画像データを第２の画像センサ４０から受け取るための第２の入力ポートを有する。処理回路は、前記深さ関係画像データを使用して深さマップを生成する。少なくとも１つの出力ポートは、前記深さマップと前記カラー画像データをホストコンピュータ２６に伝達するように構成される。
【選択図】図２

Description

本発明は、一般的に３次元（３Ｄ）マッピング用の方法及びシステムに関し、特に３Ｄマッピングデータの生成と処理のための処理装置に関するものである。

（発明の背景）
光学３Ｄマッピング、即ち、ある物体の光学画像を処理することによりその物体の３Ｄ表面形状を生成すること、の種々の方法が従来技術で知られている。この種の３Ｄ形状は「深さマップ」又は「深さ画像」とも呼ばれ、３Ｄマッピングは「深さマッピング」とも呼ばれる。

ある方法では、レーザスペックルパターンを物体に投影し、物体上のパターンの画像を分析する。例えば特許文献１では物体再構築のシステムと方法を開示し、そこではコヒーレントな光源とランダムなスペックルパターン生成装置が、その物体にコヒーレントなランダムスペックルパターンを投影する。この特許文献１は、ここに参照され採り入れられる。画像化ユニットは、照射領域の光応答を検知し画像データを生成する。パターンの参照画像に対する物体の画像のパターンのズレが、物体の３Ｄマップのリアルタイムの構築に使用される。スペックルパターンを使用した３Ｄマッピングの方法については、例えば特許文献２に記載されており、特許文献２はここに参照され、採り入れられる。

光学３Ｄマッピングの他の方法では、違う種類のパターンをマップする物体に投影する。例えば特許文献３では、スポットの固定パターンを含む単一透明シートを有する３Ｄマッピング用の照明組立体を記載しており、特許文献３はここに参照され採り入れられる。光源は光学的放射により透明シートを透過し、そのパターンを物体上に投影する。画像獲得組立体は物体上のパターンの画像を獲得し、その後画像はその物体の３Ｄマップを再構築するために処理される。

更なる例として、特許文献４は３Ｄ映像システムを記載しており、特許文献４はここに参照され採り入れられる。そこでは１つ又は２つのプロジェクタが、異なる周期性と角度を有する２組の平行なストライプからなる構造を与えられた光を生成する。さらに他の１つの例として、特許文献５は対象を光学的にスキャンする方法について記載しており、特許文献５はここに参照され採り入れられる。そこでは対象は、点の格子のような、不連続の２次元画像オブジェクトのマトリックスにより照射される。また他の例では、特許文献６に紹介されるように、格子パターンを投影し、特許文献６はここに参照され採り入れられる。

ＷＯ ２００７／０４３０３６ ＷＯ ２００７／１０５２０５ ＷＯ ２００８／１２０２１７ ＷＯ ９３／０３５７９ 米国特許 ６，７５１，３４４ 米国特許 ４，８０２，７５９ 米国特許出願１２／３５２，６２２

以下に記述される本発明の実施形態によれば、カラー画像データを第１の画像センサから受け取るための第１の入力ポートと、
深さ関係画像データを第２の画像センサから受け取るための第２の入力ポートと、
深さ関係画像データを使用して深さマップを生成するための処理回路と、
深さマップとカラー画像データをホストコンピュータに運ぶための、少なくとも１つの出力ポートと、
を有することを特徴とする、データ処理装置、が提供される。
開示された実施形態では、第１と第２の入力ポートと、処理回路と、少なくとも１つの出力ポートは集積回路の要素であり、単一の半導体基板に組立可能である。

ある実施形態では、少なくとも１つの出力ポートは、単一のポートからなり、深さマップとカラー画像データを単一データ流としてマルチプレクスされたフォーマットでホストコンピュータに運ぶように接続される。典型的には、処理回路は、単一データ流の中で前記深さマップをカラー画像データと同期させるように構成される。或いは音響情報を受け取るための第３の入力ポートを有し、
処理回路は、深さマップとカラー画像データと共に、単一のポート経由でホストコンピュータに運ぶため、音響情報を単一データ流の中に組み込むように構成される。１つの実施形態では、単一のポートは、ユニバーサルシリアルポートからなる。

開示された実施形態では、処理回路は、深さマップを前記カラー画像データとアライメントするように構成される。深さマップは、それぞれ深さ値を有するピクセルの配列からなり、処理回路は、深さマップをカラー画像データとアライメントするため、深さ値に対応してそのピクセルに対する其々の偏移を計算し、其々の偏移を深さマップ内のピクセルに適用するように構成される。ある実施形態では、処理回路は、深さマップの１行の中のピクセルの偏移が、従前のピクセルの偏移の関数として計算されるように、漸次適合工程を使用して、其々の偏移を漸次計算するように構成される。典型的に処理回路は、一方で深さ値を受け取りながら、装置内に深さマップ全体を保存することなく、ピクセルに対する其々の偏移をその都度計算するように構成される。

ある実施形態では、処理回路は、少なくとも１つの出力ポート経由でホストコンピュータに送信するため、深さマップとカラー画像データを圧縮するように構成される。ある実施形態では、処理回路は、損失の無い圧縮工程を深さマップとカラー画像データに適用するように構成される。
開示されたある実施形態では、深さ関係画像データは、物体上に投影されたパターンの画像を有し、処理回路は、参照画像に対するパターンの偏移を測定することにより、深さマップを生成するように構成される。

本発明の実施形態によれば、物体のカラー画像を獲得し出力するように構成された第１の画像センサと、
物体に関する深さ関係画像データを獲得し出力するように構成された第２の画像センサと、
処理装置と、
を有し、
処理装置は、
カラー画像データを第１の画像センサから受け取るための第１の入力ポートと、
深さ関係画像データを第２の画像センサから受け取るための第２の入力ポートを、
深さ関係画像データを使用して深さマップを生成するための処理回路と、
前記深さマップと前記カラー画像データをホストコンピュータに運ぶための、少なくとも１つの出力ポートと、
を有する、
ことを特徴とする画像化装置、が提供される。

あるいは、本発明の画像化処理装置は、音響センサを有し、処理装置は、音響情報を音響センサから受け取るための第３の入力ポートを有し、処理装置は、音響情報を前記深さマップとカラー画像データと共に、前記ホストコンピュータに少なくとも１つの出力ポート経由で運ぶように構成される。
開示されたある実施形態では、パターンを物体に投影するように構成された照明サブ組立体を有し、深さ関係画像データは、物体上に投影されたパターンの画像を有し、処理回路は、参照画像に対するパターンの偏移を測定することにより、深さマップを生成するように構成される。

本発明の実施形態によれば、さらに第１の画像センサから第１の入力ポート経由でカラー画像データを受け取るステップと、
第２の画像センサから第２の入力ポート経由で深さ関係画像データを受け取るステップと、
深さ関係画像データを使用して深さマップを生成するステップと、
深さマップとカラー画像データを出力ポート経由でホストコンピュータに運ぶステップと、
を有することを特徴とするデータ処理方法が提供される。
本発明は図を参照した以下の詳細説明により、より十分に理解される。

本発明の実施形態に基づく、３Ｄマッピング用システムの鳥瞰図である。 本発明の実施形態に基づく、画像化組立体の概略平面図である。 本発明の実施形態に基づく、処理装置のブロック図である。 本発明の実施形態に基づく、処理装置のブロック図である。 本発明の実施形態に基づく、深さ処理装置の要素を示すブロック図である。 本発明の実施形態に基づく、アライメントエンジンの詳細を示すブロック図である。 本発明の実施形態に基づく、座標計算回路の詳細を示すブロック図である。 本発明の実施形態に基づく、座標計算回路の詳細を示すブロック図である。 本発明の実施形態に基づく、圧縮回路を示すブロック図である。

（実施形態の詳細説明）
図１は本発明の実施形態に基づく、３Ｄマッピングおよび画像化用のシステム２０の鳥瞰図である。この例では、画像化組立体２４が使用者２２の３Ｄマップと画像を獲得し処理するように構成されている。この情報は、使用者がコンピュータ上で動作するゲームや他のアプリケーションと相互作用することを可能にする、３Ｄユーザインタフェースの一部として、ホストコンピュータ２６に使用されてもよい。（この種の機能性は、例えば２００９年１月１３日に申請された特許文献７に記載され、特許文献７はここに参照され採り入れられる。）システム２０のこの特定のアプリケーションはここに例示として示されるが、システム２０のマッピング及び画像化能力は他の用途にも使用可能であり、実質的に全ての適合するタイプの３Ｄ物体に適用可能である。

図１の例では、画像化組立体２４は光学的放射のパターンを使用者２２の体（又は少なくとも体の一部）に投影し、体の表面に現れるパターンの画像を獲得する。この目的に使用される光学的放射は、典型的には赤外（ＩＲ）領域にある。画像化組立体２４内の処理装置は、体の深さマップ、即ち既定領域内の各地点（Ｘ、Ｙ）における体表面の深さ（Ｚ）座標値からなる、３Ｄ座標の配列を生成するため、パターンの画像を処理する。（画像関連データの配列の文脈では、これらの（Ｘ、Ｙ）点はピクセルとも呼ばれる。）以下に記述される実施形態では、処理装置は使用者の体の表面上の点の３Ｄ座標を、三角法により、パターン内のスポットの横方向偏移に基づいて、上記特許文献１−３に記載の通り、計算する。或いはシステム２０は、単一又は多重のカメラ又は他のタイプの既知のセンサを使用して、３Ｄマッピングの他の方法を実行する。

更に画像化組立体２４は使用者のカラー（２Ｄ）画像を獲得し、また音響入力を受け取ってもよい。画像化組立体２４は深さマップをカラー画像とアライメントしかつ同期化し、そしてコンピュータ２６への出力用の、深さマップと画像データ（そして場合によって音響データも）を含むデータ流を生成する。ある実施形態では、以下に記述するように、深さマップ、カラー画像、また場合によって音響データは１つのデータ流に集約され、単一ポート、例えば、ＵＳＢポート、経由でコンピュータに出力される。

コンピュータ２６は画像化組立体２４により生成されたデータを、３Ｄ画像を抽出するために処理する。例えば、コンピュータ２６は、使用者２２の体の部分を識別し、それらの３Ｄ位置を発見するため深さマップを分割する。コンピュータ２６は、この情報を表示装置２８のような出力装置を駆動して、典型的に３Ｄ画像情報、及び／又は使用者の体の部分の動きによって制御されうるユーザインタフェース要素、を表示するのに使用してもよい。一般的にコンピュータ２６は汎用コンピュータ処理装置を有し、それはこれらの機能を実行するためソフトウェアでプログラムされる。ソフトウェアは、例えばネットワーク経由で電子的に処理装置にダウンロードされ、或いはソフトウェアは、光学的、磁気的、電子的記憶媒体のような接触可能媒体で提供されてもよい。

あるいは、コンピュータ２６に付随する処理機能は、表示装置２８（例えばテレビ）に統合された適合する処理装置または、ゲームコンソール又はメディアプレーヤなどの他の適合する種類のコンピュータ装置により実行されてもよい。

図２は本発明の実施形態に基づく、画像化組立体２４の概略平面図である。ここでＸ軸は画像化組立体２４の前面に沿って水平方向に設定され、Ｙ軸は垂直方向（この視線で頁の下に向かって）に、Ｚ軸は画像化組立体２４から離れ、ほぼ画像化組立体２４に画像化される物体の方向に延びるように設定される。

３Ｄマッピングのため、照明サブ組立体３０はスペックルパターンのような適切なパターンで物体を照明する。この目的のため照明サブ組立体３０は典型的に、ダイオードレーザ、ＬＥＤ、又は他の光源のような適合する放射源３２と、パターンを生成する分散装置３４又は回折光学素子のような光学系を、上記特許文献で記載されるように、有している。深さ画像獲得サブ組立体３６は物体表面のパターン画像を獲得する。深さ画像獲得サブ組立体３６は典型的に、対物光学系３８を有し、それはＣＭＯＳセンサのようなセンサ４０の上に物体表面の画像を結ぶ。

上述のように、放射源３２は典型的に赤外放射を放出するが、他の放射帯域、例えば可視又は紫外領域も使用可能である。センサ４０は、投影されたパターンの画像を高感度で検知するため、赤外遮断フィルタを有しない単色画像センサからなってもよい。センサ４０で獲得された画像のコントラストを高めるため、対物光学系３８又はセンサそれ自体が、一方で他の帯域の周囲の放射をブロックしながら放射源３２の波長を通過させる、バンドパスフィルタを有してもよい。

カラー画像獲得サブ組立体４２は物体のカラー画像を獲得する。カラー画像獲得サブ組立体４２は典型的に、対物光学系４４を有し、それはＣＭＯＳカラーモザイク画像センサのようなセンサ４６の上に物体表面の画像を結ぶ。対物光学系４４又はセンサ４６は典型的に、照明サブ組立体３０から投影されたパターンがセンサ４６で獲得されるカラー画像の中に現れないようにするため、赤外遮断フィルタのようなフィルタを有する。
選択肢としてマイクロフォン４８が、使用者２２が発した音声命令のような音響入力を獲得する。

処理装置５０は深さ画像獲得サブ組立体３６、カラー画像獲得サブ組立体４２及びマイクロフォン４８からの画像及び音響入力を受信し処理する。このような処理機能の詳細は以下で図を参照して示される。簡単には、処理装置５０は深さ画像獲得サブ組立体３６から提供された画像を、照明サブ組立体３０により画像化組立体２４から既知の距離Ｄ_ｓｒｓ離れた平面５４の上に投影された、パターンの参照画像と比較する。（参照画像は較正手続の一部として獲得され、メモリ５２に保存されてもよい。）処理装置５０は獲得された画像の中の局部パターンを参照画像のそれと適合させ、そして平面５４内の各ピクセル５６、またはピクセル群の横方向偏移を発見する。この横方向偏移及び照明サブ組立体３０と画像獲得サブ組立体３６の既知の光軸間距離Ｄ_ＣＬに基づいて、処理装置５０は各ピクセルの深さ（Ｚ）座標を計算する。

処理装置５０は、其々の３Ｄマップ内の深さ座標をカラー画像獲得サブ組立体４２により獲得されたカラー画像内の適切なピクセルと同期化しアライメントする。アライメントは典型的に３Ｄマップ内の其々の深さ値に関連する座標の偏移を伴う。偏移は、深さ画像獲得サブ組立体３６とカラー画像獲得サブ組立体４２の間の既知の光軸間距離Ｄ_ｃｃ及びセンサ間の任意の芯ずれに基づく静的成分と、深さ座標それ自体に依存する動的成分からなる。アライメントについては以下に詳述される。

深さマップとカラー画像をアライメントした後、処理装置５０は深さとカラーのデータを、ＵＳＢポートのようなポート経由でホストコンピュータ２６に出力する。出力データは、バンド幅を節約するため、以下に記述するように圧縮されてもよい。上述のように、マイクロフォン４８により提供された音響データも又、同期化されて深さ及びカラーデータと共にホストコンピュータ２６に出力されてもよい。

（処理装置構成）
図３Ａと図３Ｂは本発明の実施形態に基づく、処理装置５０の機能要素を示すブロック図である。処理装置５０は、画像化組立体２４の他の要素に対するインタフェースとホストコンピュータ２６に対するＵＳＢポートを有する、独自のＩＣとして単一半導体基板上に組み立てられてもよい。この種の実施は画像化組立体２４のコスト、寸法、消費パワーを最小にするのに有用である。あるいは、処理装置５０は多くの異なる回路部品を使用して実現されてもよい。処理装置５０は、特殊目的マルチメディアアプリケーション処理装置のような、「シン」ホスト６０に対するデータ及び制御インタフェースを含む他のインタフェースを有してもよい。

処理装置５０の要素が本発明の原理の可能な実施の例として以下に詳述される。この実施の更なる詳細は上記の暫定特許申請に示される。他の実施は本発明の記述を基にして当業者には自明であり、それらは本発明の請求範囲に含まれると考えられる。例えば、以下の実施形態では独自のハードウェア処理部品を使用するが、ある部分又は全ての問題の処理機能は、適合するインタフェースを有する汎用プログラム可能処理装置によりソフトウェアで実現可能である。この目的のソフトウェアは、電子的に、例えばネットワーク経由で、ダウンロード可能である。又は或いは、ソフトウェアは光学的、磁気的、電子的記憶媒体のような接触可能媒体に保管されてもよい。

現在の事例では処理装置５０は以下の要素からなる：
深さ処理装置６２は、深さ画像獲得サブ組立体３６により獲得された情報を深さマップを生成するために処理する。深さ処理装置６２はメモリ１３０内の専用メモリ空間を使用する。このメモリは以下で記述される制御装置１０４によりアクセスされるが、典型的にはホストコンピュータ２６からはアクセスされない。むしろ、深さ処理装置６２は、アプリケーションプログラム・インタフェース（ＡＰＩ）経由でホストコンピュータ２６によりプログラムされる。

深さ処理装置６２は、入力ビデオデータを深さＣＭＯＳセンサインタフェース６４経由でセンサ４０から受け取る。深さ処理装置６２は、ビデオデータを後続の深さマップ、即ち、深さデータのフレームを生成するため処理する。これは以下で図を参照して詳述される。深さ処理装置６２は、これらデータをＵＳＢ ＦＩＦＯユニット６８の深さ先入れ先出し（ＦＩＦＯ）メモリ６６にロードする。

深さ入力と処理に並行して、カラー処理ブロック７２は入力カラービデオデータをセンサ４６からカラーＣＭＯＳセンサインタフェース７０経由で受け取る。カラー処理ブロック７２は生の入力データをＲＧＢビデオデータの出力フレームに変換し、これらデータをＵＳＢ ＦＩＦＯユニット６８のＲＧＢ ＦＩＦＯメモリ７４にロードする。或いはカラー処理ブロック７２は、ＹＵＶ又はＢａｙｅｒモザイクフォーマットのような、他のフォーマットのビデオデータを出力してもよい。

さらに、マイクロフォン４８からの音響データはアナログデジタル変換器（ＡＤＣ）７６によってデジタル化される。その結果としてのデジタル音響サンプルは音響インタフェース７８によってＵＳＢ ＦＩＦＯユニット６８内の音響ＦＩＦＯメモリ８０に変換される。図３Ａの例では、音響インタフェース７８は集積チップ間音響（Ｉ２Ｓ）バスレシーバからなる。

ＵＳＢ ＦＩＦＯユニット６８は種々のデータ供給源とＵＳＢ制御装置８６との間のバッファレベルとして働く。ＵＳＢ ＦＩＦＯユニット６８は様々なデータ形式を（ＵＳＢビデオクラス及びＵＳＢ音響クラスのような）異なるクラスに従ってパックしフォーマットし、ＵＳＢバンド幅異常によるデータ損出を防止する役割も果たす。それは、データのＵＳＢ制御装置への送信に先立って、データをＵＳＢプロトコルやフォーマットに従ってＵＳＢパケットに取りまとめる。

改良高性能バス（ＡＨＢ）マトリックス８２のような高バンド幅バスが処理装置５０の要素の間でデータを運ぶのに使用され、特にＵＳＢ ＦＩＦＯユニット６８からＵＳＢ制御装置８６へホストコンピュータ２６への送信のためデータを運ぶのに使用される。（ＡＨＢは、英国ケンブリッジにあるＡＲＭ Ｌｔｄ．社により公表されたバスプロトコルである。）ＵＳＢ ＦＩＦＯユニット６８内でパケットが準備完了しており、ＵＳＢ制御装置８６の内部メモリに余裕がある場合、ＵＳＢ制御装置８６は直接メモリアクセス（ＤＭＡ）を使用し、ＡＨＢ従属モジュール８４とＡＨＢマトリックス経由でＦＩＦＯメモリ６６，７４，８０からデータを読む。ＵＳＢ制御装置８６は、ＵＳＢインタフェース経由でホストコンピュータ２６へ出力するため、カラー、深さ、音響データを単一のデータ流にマルチプレクスする。

ＵＳＢ通信の目的のため処理装置５０は、ＵＳＢ物理層インタフェース（ＰＨＹ）８８を有し、それは、適合するＵＳＢケーブル経由でホストコンピュータ２６のＵＳＢポートと通信するように、ＵＳＢ制御装置８６により操作されてもよい。ＵＳＢ ＰＨＹ８８のタイミングは、水晶振動子９２および位相固定ループ（ＰＬＬ）により既知の通り制御される。或いは、ＵＳＢ制御装置８６は、場合によりＵＳＢ２．０送受信機マクロセルインタフェース（ＵＴＭＩ）と外部ＰＨＹ９０を経由して、ホストコンピュータ２６と通信する。

同様に、場合によって外部ＡＤＣ９６がマイクロフォン４８により生成された音響信号をデジタル化するのに使用されてもよい。２：１スイッチ９８は、Ｉ２Ｓレシーバ７８に入力されるデジタル音響データのソースを選択する。

シンホスト６０が（ホストコンピュータ２６と異なり）カラーと深さ画像データと共に音響データを単一シリアルバス経由で受信するように設定されていない場合、Ｉ２Ｓレシーバ７８は音響データを音響出力インタフェース１００経由で直接シンホスト６０に出力してもよい。この場合ＲＧＢと深さ（ＲＧＢＤ）データは別個のＲＧＢＤインタフェース１０２経由でシンホスト６０に出力される。或いは、あるアプリケーションに対して、ＲＧＢＤインタフェース１０２は深さデータのみをシンホスト６０に出力してもよい。

制御装置１０４は、起動と自己テスト、設定、電力とインタフェース管理、パラメータ調整を含む、処理装置５０の機能を管理する役割を果たす。制御装置１０４は、デジタル信号処理装置（ＤＳＰ）コア１０６とＡＨＢマトリックス８２上のデータ移動を制御するＡＨＢマスター１０８を有する。典型的に制御装置１０４は、起動読み出し専用メモリ（ＲＯＭ）１１０から起動し、次にプログラムコードをフラッシュインタフェース１３２経由で、フラッシュメモリ５２から命令随時アクセスメモリ（ＲＡＭ）１１２にロードする。制御装置１０４は、また自分のデータメモリ１１４を有する。制御装置１０４はさらに、外部コンピュータ１１８によるデバッグのため、統合テストアクショングループ（ＪＴＡＧ）インタフェースのような、テストインタフェース１１６を有してもよい。

制御装置１０４は、先進周辺バス（ＡＰＢ）１２０のようなアライメント設定インタフェース経由で、設定データとパラメータを処理装置５０の他の要素に配布し、そのアライメント設定インタフェースに制御装置１０４がＡＨＢマトリックス８２とＡＰＢブリッジ１２２経由で接続している。これら他の要素の制御用には、集積回路間（Ｉ２Ｃ）主ユニット１２２及び従属ユニット１２６のみならず、シリアル同期インタフェース（ＳＳＩ）及びシリアル周辺インタフェース（ＳＰＩ）主ユニット１２４及び従属ユニット１２８を含む、様々な制御インタフェースが使用可能である。
電力制御インタフェース１３３は電力及びリセット信号を周辺機器に提供する。これら特定のインタフェースは、例示のためここに示されるが、他のインタフェース構成も同様の目的のために使用可能である。

図４は、本発明の実施形態に基づく、深さ処理装置６２の要素を示すブロック図である。図４はまた、並行カラー処理ブロック７２のある特定の機能を示す。

チップ上の保存とメモリ要求を減少させるため、深さ処理装置６２は、典型的にスライディングウィンドウ手法を使用し、そこではある瞬間において処理済み画像の一部のみが処理装置５０に保存され、全部の画像は保存されない。ウィンドウは典型的に、以下に記述するアルゴリズムに要求されるように、少数のピクセルの行しか含まない。新たに到着したデータは処理装置メモリ内の古い処理済みデータと置き換わる。深さ値は、入力画像データに基づき深さ処理装置６２により動作中に再構築され、そして深さＦＩＦＯバッファ６６経由でホストコンピュータ２６に出力される。

深さ処理装置６２内の入力データ事前処理ブロック１４０は深さ関連のピクセル値を深さＣＭＯＳインタフェース６４経由で深さＣＭＯＳセンサ４０より受け取り、そして、ノイズを減少させ、かつ場合によってピクセルを異なるグループにクラス分けするため、フィルタ処理を行う。現在の処理ウィンドウ内の事前処理されたデータはピクチャメモリ１４２に保存される。ピクチャメモリ１４２は多重データブロックの同時読み込みを可能にするため、複数のメモリ又はバンクを有する。

深さの計算のため、参照読み込みエンジン１４６は、フラッシュインタフェース１３２経由でフラッシュメモリ５２から参照メモリ１４８に参照画像を読み込む。参照データは、現在の画像の対応する部分が入力データ事前処理ブロック１４０からピクチャメモリ１４２へ到着するのと同期して読み込まれる。ピクチャメモリと同様に参照メモリは、深さ再構築の目的のため、現在の処理ウィンドウにある参照画像の部分しか保存せず、そして複数のメモリ又はバンクを有してもよい。参照読み込みエンジン１４６は、較正手続の間、参照画像を最初はフラッシュメモリ５２に保存するように制御されてもよい。

適合エンジン１４４は、入力ピクセルの相対的偏移を発見するため、ピクチャメモリ１４２からの入力ピクセルのグループを、参照メモリ１４８からの参照ピクセルの対応するグループと適合させる。適合エンジン１４４は、上記のように、この偏移を深さ値に翻訳し、深さ値を出力メモリ１５０に書き込む。また、出力メモリは、どの時点においても、深さマップ全体の内小さなスライディングウィンドウしか保存しておらず、そして複数のメモリ又はバンクを有してもよい。

アライメントエンジン１５２は、適合エンジン１４４で生成された深さ値を、カラーＣＭＯＳセンサ４６から得られたカラー画像データと共にアライメントする。このアライメントプロセスは以下で詳述される。アライメントエンジン１５２は、深さ値の深さマップ内の位置を偏移させ、カラー画像内の適切なカラーピクセルと一致させる。或いは、カラーピクセル値を偏移させ対応する深さマップのピクセルと一致させることも可能である。アライメントに続いて、深さ処理後ブロック１５４がフィルタリング及び，場合により他の数学的操作を深さデータに適用する。

深さ画像圧縮ブロック１５６は、ＵＳＢ出力リンク上の必要バンド幅を減少させるため、データをＵＳＢ ＦＩＦＯユニット６８に渡す前に深さデータを圧縮する。圧縮機能の詳細は図７を参照して以下に記述される。
上記の深さ処理操作と並行して、並行カラー処理ブロック７２内のカラー画像処理装置１５８は、カラーＣＭＯＳインタフェース７０から受け取った入力ピクセル値を、例えばＲＧＢ又はＹＵＶのような適切なビデオ基準に従って、画像データに変換する。深さ画像圧縮ブロック１５６と類似の設計のカラー画像圧縮ブロック１６０は、カラー画像データを同様に圧縮する。

（深さのカラー画像データとのアライメント）
図５は本発明の実施形態に基づく、アライメントエンジン１５２の詳細を示すブロック図である。アライメントエンジン１５２は、深さピクセル値をピクセルバス１７０経由で受け取るように接続される。ピクセルは（ｘ_０，ｙ_０，ｄＸ_０）の形式を有し、ここにｘ_０、ｙ_０はアライメント前の未加工の水平及び垂直座標であり、ｄＸ_０は、適合エンジン１４４で計測された、このピクセルと参照画像内の対応するピクセルとの間のピクセル偏移値である。（照明サブ組立体３０と画像獲得サブ組立体３６はＸ軸に沿って配置されているため、Ｘ軸方向の偏移のみが深さの三角法において意味が有る。）

アライメント済み座標計算ブロック１７２は、入力ピクセルの列と行を数え、放物線近似計算を使用してそれぞれのピクセル偏移値ｄＸ_０に対しアライメント済み座標（ｘ_ｒ，ｙ_ｒ）を計算する。この計算は以下に詳述される。入力流書込みロジック１７４は、入力されるピクセル偏位値をＮ行バッファ１７６内の適切なアライメント済み位置に、アライメント済み座標に従って書き込む。入力流書込みロジック１７４はまた、ピクセルが進む時に、バッファ行の割り当てを管理する。

垂直レンジ計算装置１７８は、もはや現在の入力行に影響されない、最小アライメント済み行番号（ｙ_ｒ）を計算する。この番号はＮ行バッファ１７６から読みだされる次の行を示す。垂直レンジ計算装置１７８は、同様に放物線近似式をこの計算に使用する。出力流読み出しロジック１８０は、アライメント済み行番号の最小値を、Ｎ行バッファ１７６からピクセルバス１７０に読み出されるアライメント済みピクセル値の行を選択するのに使用する。アライメントプロセスの結果として、このピクセル深さ値の流れは並行カラー処理ブロック７２内の対応するカラー値とアライメントされる。

ここでアライメント済み座標計算ブロック１７２の動作を詳細に説明する。アライメント済み座標計算ブロック１７２は以下のパラメータを使用し、その幾つかは図２に示される。
・Ｄ_ｃｌ：照明サブ組立体３０と画像獲得サブ組立体３６の光軸間距離
・ｄＸ：参照深さ画像と現在の深さ画像とのある点における計算されたパターン偏移
・Ｄ_ｓｒｓ：画像獲得サブ組立体３６と参照平面５４との距離
・Ｄ_ｓｒｒ：画像獲得サブ組立体３６とアライメント参照平面との距離
・ｄ ：物体表面のある点における参照平面５４に対する深さ値（正又は負）
・Ｄｃｃ：深さ画像獲得サブ組立体３６とカラー画像獲得サブ組立体４２との距離

深さ値ｄは偏移ｄＸから次のように計算される：

幾何学的要因により、ある点における深さ値ｄはカラー画像と深さ画像の間に偏移Δを引き起こす：

上記の式においてΔ_０は、画像化組立体２４から距離Ｄ_ｓｒｒにある参照平面におけるカラー画像と深さ画像との間の、カメラ間の位置のずれと誤配置に起因する、点に関する偏移の最初の組である。この式は理論的にＸ偏移とＹ偏移の両方に適用されるが、図にしめす設定ではＹ偏移は対象となる所定の領域では常に一定であり（Δ^ｙ＝Δ^ｙ _０）、上記式はＸ偏移（Δ^ｘ）にのみ適用される。

未アライメント画像の点（ｘ０，ｙ０）における其々の入力パターン偏移値ｄＸにたいするアライメント済み座標は次式で与えられる：

点偏移の最初の組は参照表に保存できるが、チップ上の保存容量を減らすため、アライメント済み座標計算ブロック１７２は放物線近似計算を替わりに使用してもよい：

上記式の１２個の適合係数が、典型的に較正手続に基づいて事前に計算され、そして処理装置５０の適切なアライメント装置にロードされる。或いは、他のタイプの適合関数が使用されうる。

さて、上記の式を組み合わせ、Ｄ_ｓｒｓ＝Ｄ_ｓｒｒと仮定すると、アライメント済み座標は次式で与えられる：

ここでβ＝Ｄ_ｃｃ／Ｄ_ｃｌ である。

上記計算を単純にするため、式内のΔ^ｘ _０とΔ^ｙ _０は其々のピクセルに対し、隣接するピクセルについて計算された値に基づいて漸次計算されてもよい：

ピクチャーの左上隅における値Δ^ｘ _０（０，−１）とΔ^ｙ _０（０，−１）は上記漸次計算の出発点として事前に計算される。

図６Ａ、６Ｂは本発明の実施形態に基づく、アライメント済み座標計算ブロック１７２の詳細を示すブロック図である。図６ＡはＸ座標計算サブブロック１８６を示し、一方図６ＢはＹ座標計算サブブロック１８８を示す。これらサブブロックは、上記式（５）と（６）で概観される計算を実行する。これらサブブロックのデジタルロジック設計のさらなる詳細は上述の特許文献に記載されており、その幾つかは簡略化のためここでは割愛する。

サブブロック１８６，１８８は、式（６）の計算を行う漸次放物線近似回路１９０，１９２の周辺に構築される。其々の連続するピクセルに対し、漸次放物線近似回路１９０，１９２は、１つ前のピクセルに対し計算されたアライメント済み座標値（ｘ_ｐｒｅｖ，ｙ_ｐｒｅｖ）及びＸ及びＹに対する放物線近似パラメータａ，ｂ，ｃ，ｄ，ｅを入力として受け取る。（本文と図における大文字と小文字は便利のため相互変換可能である）マルチプレクサ１９６は、画像の其々の行に沿った水平方向の前進の間（Ｘの漸増）は「ゼロ」入力を選択し、行から行への垂直方向の前進の間（Ｙの漸増）は「１」を選択する。

漸次放物線近似回路１９０，１９２の出力は現在のピクセルに対するΔ^ｘ _０とΔ^ｙ _０偏移値である。水平方向の前進の間、これらの値は列偏移累積装置１９８と２０６に保存される。列偏移累積装置１９８と２０６はその後、漸次放物線近似回路１９０，１９２の次のピクセルに対する近似計算に対し、１つ前のＸ及びＹ偏移値として入力するため、累積結果を出力する。偏移値はまた、マルチプレクサ２０２と２１０経由で行偏移累積装置２００と２０８にも保存される。垂直方向の前進の間、マルチプレクサ２０４と２１２は、漸次放物線近似回路１９０，１９２への入力のため、行偏移累積装置２００と２０８のコンテンツを選択する。上記のようにマルチプレクサは、水平方向の前進の間は「ゼロ」入力を選択し、垂直方向の前進の間は「１」入力を選択する。

Ｘ方向に対して、Ｘ座標計算サブブロック１８６は、深さ関連パターン偏移値ｄＸ_０とｄＸ_ｃを適合エンジン１４４から受け取り、現在のピクセルに対する漸次偏移ｄＸを与えるため、減算装置２１４においてこれら値の差異を取る。（ｄＸ_０又はｄＸ_ｃに対して入力が無い場合は、ゼロの値が代用される）乗算装置２１６はこの偏移に事前に較正されたパラメータβを乗ずる。加算装置２２２は、その結果に漸次放物線近似回路１９０により計算された放物線偏移値を加算する。最後に、その結果は加算装置２２６により現在のＸ座標ｘ_０と加算され、式（５）で定義されるように、アライメント済み座標ｘ_ｒを得る。アライメント済みＹ座標は同様に加算装置２３０により計算されるが、上述の通り、深さ関連パターン偏移成分を有しない。

再び図５に戻る。各ピクセルに対し計算されたアライメント偏移は画像のエリアによって変化するため、アライメントエンジンで生成されたアライメント済み座標の流れは、通常入力ピクセルの流れと同期化されない。バッファ１７６と出力流読み込みロジック１８０は入力と出力の変化する遅れを補償する。バッファ１７６の行の数は以下で与えられる：

どの入力行ｙ_０に対しても、入力行ｙ_０からピクセルを受領できるバッファ１７６の最大アライメント済み行ｙ_ｒは次式で与えられる：

この値は垂直レンジ計算装置１７８により計算され、出力流読み込みロジック１８０に提供される。これに基づき、出力流読み込みロジック１８０はバッファ１７６から行ｙ_ｒより上の全ての行を読み出すことが出来る。

式（５）の係数ｆ_ｘとｆ_ｙの値によって、並行カラー処理ブロック７２により生成されたカラー画像と重ならない、深さ処理装置６２により生成された深さマップの端にある、幾つかの列、及び／又は行が存在する。結果として出力流読み込みロジック１８０は、カラー画像の端から「こぼれ落ちる」深さマップの端における深さ値の行を無視し、深さマップを拡張してカラー画像全体をカバーするため１つ以上のゼロまたはダミーの深さ値を追加する必要があるかもしれない。このようなダミー値は深さ処理後ブロック１５４により合成して生成される。

（深さ及びカラー画像の無損失圧縮）
図７は本発明の実施形態に基づく、無損失深さ画像及びカラー画像圧縮ブロック１５６，１６０の詳細を示すブロック図である。図で示されるブロック設計は１−３個の画像要素を同時に圧縮できる。深さマップでは、典型的に１つの要素が使用される。カラー画像に対しては、カラー符号化により、２−３個の要素が使用される。圧縮ブロックはデータ損失なく効率的に入力流を圧縮するため、差異及び連長符号化を使用する。この圧縮は、深さとカラー画像データの両方（また更に音響データも）のホストコンピュータ２６への送信を、単一ＵＳＢシリアルリンクで提供可能な限られたバンド幅上で可能にする。或いは圧縮ブロックは、十分な出力バンド幅が使用可能な場合は、迂回されてもよい。

ピクセル配分装置２４０は入力ピクセル値の流れを要素に分割する。それぞれの要素に対し、減算装置２４４は要素遅延ライン２４２から提供される、現在の要素値と従前の値との差異を計算する。差異値はピクセル合体回路２４６に入力され、それは差異を合体させ単一の差異の流れに戻す。ピクセル合体回路２４６はまた要素値自体を受信し合体させ、その値は各行の第１ピクセルに対し使用され、又、連続するピクセルの間の差異が一定の閾値を越えた場合はいつでも、差異値の代わりに使用される。

シンボル生成装置２４８は差異及び／又は最初のピクセル値を符号化する。典型的にシンボル生成装置２４８は、同じ値の繰り返しの回数を表わすため連長符号化を使用し、それにより更にデータ量を減少させる。シンボル生成装置２４８はまた、その後の復号を補助し、下流における可能な全てのデータ損失の衝撃を減少させるため、同期化信号を行とフレームの境界に追加する。ビット流パッカ２５０は、符号化されたシンボルをＵＳＢ送信のため、連続ビット流に変換する。ビット流パッカ２５０は、新しい行とフレームの始まりがＵＳＢパケットの中で適切にバイト整列されるように、スタッフビットを加えてもよい。

上記の実施形態は特定の装置構成、プロトコル、設定を使用しているが、本発明の思想は他のタイプの装置構成、プロトコル、設定を使用しても同様に適用可能である。上記の実施形態は例示のために引用されたものであり、本発明の思想はここに特に記載されたものに限定されない。むしろ本発明の権利範囲は、ここに記載された特徴の種々の組合せや準組合せ、この記載を読んだ当業者が想起する従来技術で開示されない変化や変更を含む。

２０：システム ２２：使用者 ２４：画像化組立体
２６：ホストコンピュータ ２８：表示装置 ３０：照明サブ組立体
３２：放射源 ３４：分散装置
３６：深さ画像獲得サブ組立体 ３８，４４：対物光学系
４０，４６：センサ ４２：カラー画像獲得サブ組立体
４８：マイクロフォン ５０：処理装置 ５２：メモリ
５４：平面 ５６：ピクセル

Claims (29)

1. カラー画像データを第１の画像センサから受け取るための第１の入力ポートと、
   深さ関係画像データを第２の画像センサから受け取るための第２の入力ポートと、
   前記深さ関係画像データを使用して深さマップを生成するための処理回路と、
   前記深さマップと前記カラー画像データをホストコンピュータに運ぶための、少なくとも１つの出力ポートと、
   を有することを特徴とする、データ処理装置。
2. 前記第１と第２の入力ポートと、前記処理回路と、前記少なくとも１つの出力ポートは集積回路の要素であり、単一の半導体基板に組立可能である、ことを特徴とする請求項１に記載の装置。
3. 前記少なくとも１つの出力ポートは、単一のポートからなり、前記深さマップと前記カラー画像データを単一データ流としてマルチプレクスされたフォーマットでホストコンピュータに伝達するように接続される、ことを特徴とする請求項１に記載の装置。
4. 前記処理回路は、前記単一データ流の中で前記深さマップを前記カラー画像データと同期させるように構成される、ことを特徴とする請求項３に記載の装置。
5. 音響情報を受け取るための第３の入力ポートを有し、
   前記処理回路は、前記深さマップと前記カラー画像データと共に、前記単一のポート経由でホストコンピュータに伝達するため、前記音響情報を前記単一データ流の中に組み込むように構成される、ことを特徴とする請求項３に記載の装置。
6. 前記単一のポートは、ユニバーサルシリアルポートからなる、ことを特徴とする請求項３に記載の装置。
7. 前記処理回路は、前記深さマップを前記カラー画像データに登録するように構成される、ことを特徴とする請求項１−６のいずれかに記載の装置。
8. 前記深さマップは、それぞれ深さ値を有するピクセルの配列からなり、
   前記処理回路は、前記深さマップを前記カラー画像データに登録するため、前記深さ値に対応して前記ピクセルの其々の偏移を計算し、前記其々の偏移を前記深さマップ内の前記ピクセルに適用するように構成される、ことを特徴とする請求項７に記載の装置。
9. 前記処理回路は、前記深さマップの１つの行の中の前記ピクセルの前記偏移を、従前のピクセルの偏移の関数として計算することにより、前記其々の偏移を漸次計算するように構成される、ことを特徴とする請求項８に記載の装置。
10. 前記処理回路は、前記其々の偏移を、漸次適合工程を使用して計算するように構成される、ことを特徴とする請求項９に記載の装置。
11. 前記処理回路は、前記装置内に前記深さマップ全体を保存することなく、前記深さ値を受け取りながら前記ピクセルに対する前記其々の偏移を動作中に計算するように構成される、ことを特徴とする請求項８に記載の装置。
12. 前記処理回路は、前記少なくとも１つの出力ポート経由で前記ホストコンピュータに伝達するため、前記深さマップと前記カラー画像データを圧縮するように構成される、ことを特徴とする請求項１−６のいずれかに記載の装置。
13. 前記処理回路は、損失の無い圧縮工程を前記深さマップと前記カラー画像データに適用するように構成される、ことを特徴とする請求項１２に記載の装置。
14. 前記深さ関係画像データは、物体上に投影されたパターンの画像を有し、
    前記処理回路は、参照画像に対する前記パターンの偏移を測定することにより、前記深さマップを生成するように構成される、ことを特徴とする、請求項１−６のいずれかに記載の装置。
15. 物体のカラー画像を獲得し出力するように構成された第１の画像センサと、
    前記物体に関する深さ関係画像データを獲得し出力するように構成された第２の画像センサと、
    処理装置と、
    を有し、
    前記処理装置は、
    カラー画像データを第１の画像センサから受け取るための第１の入力ポートと、
    深さ関係画像データを第２の画像センサから受け取るための第２の入力ポートと、
    前記深さ関係画像データを使用して深さマップを生成するための処理回路と、
    前記深さマップと前記カラー画像データをホストコンピュータに伝達するための、少なくとも１つの出力ポートと、
    を有する、
    ことを特徴とする画像化装置。
16. 音響センサを有し、
    前記処理装置は、音響情報を前記音響センサから受け取るための第３の入力ポートを有し、
    前記処理装置は、前記音響情報を前記深さマップと前記カラー画像データと共に、前記少なくとも１つの出力ポート経由で、前記ホストコンピュータに伝達するように構成される、
    ことを特徴とする、請求項１５に記載の装置。
17. パターンを前記物体に投影するように構成された照明サブ組立体を有し、
    前記深さ関係画像データは、前記物体上に投影されたパターンの画像を有し、
    前記処理回路は、参照画像に対する前記パターンの偏移を測定することにより、前記深さマップを生成するように構成される、ことを特徴とする、請求項１５−１６のいずれかに記載の装置。
18. 第１の画像センサから第１の入力ポート経由でカラー画像データを受け取るステップと、
    第２の画像センサから第２の入力ポート経由で深さ関係画像データを受け取るステップと、
    前記深さ関係画像データを使用して深さマップを生成するステップと、
    前記深さマップと前記カラー画像データを出力ポート経由でホストコンピュータに伝達するステップと、
    を有することを特徴とするデータ処理方法。
19. 前記深さマップは処理回路により生成され、
    前記第１と第２の入力ポートと、前記処理回路と、前記少なくとも１つの出力ポートは集積回路の要素であり、単一の半導体基板に組立可能である、ことを特徴とする請求項１８に記載の方法。
20. 音響情報を受け取るステップと、
    前記単一のポート経由でホストコンピュータに運ぶため、前記深さマップと前記カラー画像データと共に、前記音響情報を前記単一データ流の中に組み込むステップと、
    を有することを特徴とする請求項１８に記載の方法。
21. 前記単一のポートは、ユニバーサルシリアルポートからなる、ことを特徴とする請求項１８に記載の方法。
22. 前記深さマップを生成するステップは、前記深さマップを前記カラー画像データに登録するステップを有する、ことを特徴とする請求項１８−２１のいずれかに記載の方法。
23. 前記深さマップは、それぞれ深さ値を有するピクセルの配列からなり、
    前記深さマップを登録するステップは、前記深さマップを前記カラー画像データに登録するため、前記深さ値に対応して前記ピクセルの其々の偏移を計算するステップと、前記其々の偏移を前記深さマップ内の前記ピクセルに適用するステップと、を有することを特徴とする請求項２２に記載の方法。
24. 前記其々の偏移を計算するステップは、前記深さマップの行の中の前記ピクセルの前記偏移を、従前のピクセルの偏移の関数として計算することにより、前記其々の偏移を漸次処理するステップを有する、ことを特徴とする請求項２３に記載の方法。
25. 前記其々の偏移を処理するステップは、前記其々の偏移を漸次適合工程を使用して計算するステップを含む、ことを特徴とする請求項２４に記載の方法。
26. 前記其々の偏移を計算するステップは、前記深さマップ全体を保存することなく、前記深さ値を受け取りながら前記其々の偏移を計算して、前記ピクセルに対する前記其々の偏移を動作中に計算するステップを有する、ことを特徴とする請求項２３に記載の方法。
27. 前記深さマップと前記カラー画像データを伝達するステップは、前記少なくとも１つの出力ポート経由で前記ホストコンピュータに送信するため、前記深さマップと前記カラー画像データを圧縮するステップを有する、ことを特徴とする請求項１８−２１のいずれかに記載の方法。
28. 前記深さマップと前記カラー画像データを圧縮するステップは、損失の無い圧縮工程を前記深さマップと前記カラー画像データに適用するステップを有する、ことを特徴とする請求項２７に記載の方法。
29. 前記深さ関係画像データは、前記物体上に投影されたパターンの画像を有し、
    前記深さマップを生成するステップは、参照画像に対する前記パターンの偏移を測定するステップを有することを特徴とする、請求項１８−２１のいずれかに記載の方法。

Images