JP2022050854A - 奥行きに関連する画像を処理するシステム及び方法 - Google Patents

Abstract

【課題】データを処理する効率が向上した、奥行きに関連する画像を処理するシステム及び方法を提供する。【解決手段】システムによる方法において、第１の画像センサが第１の画像を生成し、第２の画像センサが第２の画像を生成し、第１の画像処理回路が、第１の画像と第２の画像とにおいて識別された１以上のオブジェクトに対応する奥行きデータを生成し、第１の画像処理回路が、第１の画像、第２の画像、奥行きデータのうちの２つを含む第１のデータパケットを生成し、第２の画像処理回路が第１のデータパケットを受け取り、第２の画像処理回路が第１の画像と第２の画像とに対しステレオマッチングを実行する。【選択図】図３

Description

本発明は、画像処理技術に関するものであり、特に、奥行きに関連する画像を処理するシステム及び方法に関するものである。

奥行き情報は、オブジェクト検出、３次元オブジェクション生成、又は他の実装に用いられうる。従来のアプローチにおいて、特定のプロセッサ（デジタル信号処理装置（ＤＳＰ）又は中央処理装置（ＣＰＵ））が、奥行き情報を生成するためのソフトウェア演算を用いることにより、画像に基づく奥行き計算を実行しうる。しかし、（スマートフォン、タブレット、手持ち型搭載ディスプレイ等といった）小型のデバイスでは、（デスクトップコンピュータ、ラップトップ、サーバ等といった）他のコンピューティングデバイスと比較し好ましい性能を有さない可能性があり、小型デバイスのソフトウェア演算は奥行き計算に十分な効率を提供しない可能性がある。

ソフトウェア上の奥行き計算は効率的でない可能性がある。従って、本発明は、ハードウェア演算で奥行き関連計算を処理する特定の回路を提供するための、奥行きに関連する画像を処理するシステム及び方法を対象とする。

例示的な実施形態の１つにおいて、奥行きに関連する画像を処理するシステムは、第１の画像センサと、第２の画像センサと、第１の画像処理回路と、第２の画像処理回路とを含むが、これに限定されない。第１の画像センサは、第１の画像を生成するために用いられる。第２の画像は、第２の画像を生成するために用いられる。第１の画像処理回路は、第１の画像センサと第２の画像センサとに連接される。第１の画像処理回路は、第１の画像と第２の画像とにおいて識別された１以上のオブジェクトに対応する奥行きデータを生成し、第１の画像、第２の画像、奥行きデータのうちの２つを含む第１のデータパケットを生成するよう構成される。第２の画像処理回路は、第１の画像処理回路に連接される。第２の画像処理回路は、第１のデータパケットを受け取り、第１の画像と第２の画像とに対しステレオマッチングを実行する。

例示的な実施形態の１つにおいて、奥行きに関連する画像を処理する方法は、次のステップを含むが、これに限定されない。第１の画像センサが第１の画像を生成する。第２の画像センサが第２の画像を生成する。第１の画像処理回路が、第１の画像と第２の画像とにおいて識別された１以上のオブジェクトに対応する奥行きデータを生成する。第１の画像処理回路が、第１の画像、第２の画像、奥行きデータのうちの２つを含む第１のデータパケットを生成する。第２の画像処理回路が第１のデータパケットを受け取る。第２の画像処理回路が、第１の画像と第２の画像とに対しステレオマッチングを実行する。

上記を鑑み、奥行きに関連する画像を処理するシステム及び方法によれば、第１の画像処理回路は奥行きデータを生成するための奥行き計算を処理することができる。更に、インターフェイスの制限のため、第１の画像、第２の画像、奥行きデータのうちの２つのデータのみが第２の画像処理回路に同時に送信されることができる。従って、奥行き関連計算の効率が向上する。

ただし、この概要は本発明の全ての様態と実施形態を含むものではなく、如何なる方法でも限定又は制限を意図するものではないことを理解されたい。そして、ここで開示される発明は、その明らかな改善と改変を含むと当業者により理解される。

本発明の更なる理解のため添付図面が含まれ、本明細書に包含され、本明細書の一部を構成する。図面は本発明の実施形態を表し、明細書と共に、本発明の原理を説明する役割を果たす。

図１は、本発明の例示的な実施形態の１つによる奥行きに関連する画像を処理するシステムを表すブロック図である。

図２は、本発明の例示的な実施形態の１つによる第１の画像処理回路を表すブロック図である。

図３は、本発明の例示的な実施形態の１つによる奥行きに関連する画像を処理する方法を表すフロー図である。

図４Ａは、本発明の例示的な実施形態の１つによる画像処理を表すブロック図である。

図４Ｂは、本発明の例示的な実施形態の１つによる画像処理を表すブロック図である。

図４Ｃは、本発明の例示的な実施形態の１つによる画像処理を表すブロック図である。

図４Ｄは、本発明の例示的な実施形態の１つによる画像処理を表すブロック図である。

図５は、本発明の例示的な実施形態の１つによるデータ伝送を表すブロック図である。

本発明の好ましい実施形態の詳細を述べる。実施例は添付の図面に表される。可能な限り、図面と明細書において同一の符号が同一又は類似の部材に対し用いられる。

図１は、本発明の例示的な実施形態の１つによる奥行きに関連する画像を処理するシステム１００を表すブロック図である。図１を参照し、システム１００は、第１の画像センサ１１１と、第２の画像センサ１１３と、第１の画像処理回路１２０と、第２の画像処理回路１３０と、第３の処理回路１４０と、第４の処理回路１５０と、中央処理装置（ＣＰＵ）１６０とを含むが、これに限定されない。

第１の画像センサ１１１と第２の画像センサ１１３は、赤外線（ＩＲ）センサ、カラー画像センサ、赤－緑－青（ＲＧＢ）センサ、ＲＧＢ－ＩＲセンサ、又はデプスカメラであってよい。１つの実施形態において、第１の画像センサ１１１と第２の画像センサ１１３は、それぞれ左目と右目に対応する。

１つの実施形態において、システム１００は、第３の画像センサ１１５を更に含む。第３の画像センサ１１５は、ＩＲセンサ、カラー画像センサ、ＲＧＢセンサ、ＲＧＢ－ＩＲセンサ、又はデプスカメラであってよい。

ＩＲセンサとＲＧＢ－ＩＲセンサのため、システム１００は、ＩＲ関連センサが赤外線光を検出できるよう、赤外線光源（図示せず）を更に含んでよい。

第１の画像処理回路１２０は、画像信号処理装置（ＩＳＰ）、画像チップ、又は画像関連プロセッサであることができる。第１の画像処理回路１２０は、第１の画像センサ１１１と、第２の画像センサ１１３と、第３の画像センサ１１５とに連接される。。

図２は、本発明の例示的な実施形態の１つによる第１の画像処理回路１２０を表すブロック図である。図２を参照し、第１の画像処理回路１２０は、画像抽出回路１２１と、奥行き計算回路１２２とを含むが、これに限定されない。１つの実施形態において、画像抽出回路１２１は、第１の画像センサ１１１と第２の画像センサ１１３とにより生成された画像Ｍ１とＭ２の赤、緑、青の画素に対応するカラー部分を抽出するよう構成される。更に、画像抽出回路１２１は、第１の画像センサ１１１、第２の画像センサ１１３Ｍ２、及び／又は第３の画像センサ１１５により生成された画像Ｍ１のＩＲ画素に対応する赤外線部分を抽出するよう構成される。ここでは、第１の画像センサ１１１、第２の画像センサ１１３、及び／又は第３の画像センサ１１５がＲＧＢ－ＩＲセンサであると仮定する。ただし、いくつかの実施形態において、ＩＲセンサ、カラー画像センサ、ＲＧＢセンサ、又はデプスカメラのため、画像抽出回路１２１は省略されてよい。

奥行き計算回路１２２は、画像解析回路１２３と、オブジェクト抽出回路１２４と、オブジェクト奥行き計算回路１２５と、重畳オブジェクト奥行き計算回路１２６と、マルチプレクサ１２７とを含むが、これに限定されない。

１つの実施形態において、画像解析回路１２３は、画質を向上させるために、第１の画像センサ１１１と第２の画像センサ１１３により生成された画像Ｍ１とＭ２の画素値を調整するか否かを判定するよう構成される。例えば、原画像が暗すぎる場合、画像解析回路１２３は、後続のオブジェクト抽出動作のために画質を向上させるよう、原画像の露出値を増加させてよい。いくつかの実施形態において、画素値は、彩度、コントラスト、又は他の画像関連パラメータに関連しうる。

オブジェクト抽出回路１２４は、画像解析回路１２３に連接される。１つの実施形態において、オブジェクト抽出回路１２４は、第１の画像センサ１１１と第２の画像センサ１１３とにより生成された原画像から現実世界における１以上のオブジェクトを識別するよう構成される。例えば、オブジェクト抽出回路１２４は、原画像から特徴を抽出し、該特徴を所定のオブジェクトの特徴と比較する。

オブジェクト奥行き計算回路１２５は、オブジェクト抽出回路１２４に連接される。１つの実施形態において、オブジェクト奥行き計算回路１２５は、三角測量法を用いて、第１と第２の画像センサ１１１と１１３との間の距離と、第１と第２の画像センサ１１１と１１３の両方の原画像において１以上のオブジェクトが位置する場所の間の画素距離に基づき、１以上のオブジェクトの第１の奥行きを算出するよう構成される。

重畳オブジェクト奥行き計算回路１２６は、オブジェクト奥行き計算回路１２５に連接される。１つの実施形態において、重畳オブジェクト奥行き計算回路１２６は、１以上のオブジェクトの２つの重畳オブジェクトの第２の奥行きを算出し、第１の奥行きと第２の奥行きとを含む奥行きデータＤを出力するよう構成される。

いくつかの実施形態において、奥行き計算はハードウェア演算により実行され、第１の画像処理回路１２０はデプスハードウェアエンジンと見なすことができる。

マルチプレクサ１２７は、重畳オブジェクト奥行き計算回路１２６に連接される。１つの実施形態において、マルチプレクサ１２７は、制御信号に応じて、第１の画像センサ１１１と第２の画像センサ１１３により生成された原画像Ｍ１とＭ２のうちの１つと、奥行きデータＤとを出力するよう構成される。制御信号は、第２の画像処理回路１３０又は他の回路の要件に基づき生成されてよく、本実施形態はこれに限定されない。

第２の画像処理回路１３０は、視覚処理装置（ＶＰＵ）、視覚タスク用の人工知能（ＡＩ）アクセラレータ、又は他の画像関連プロセッサであることができる。第２の画像処理回路１３０は、第１の画像処理回路１２０と連接される。１つの実施形態において、第２の画像処理回路１３０は、画像に対しステレオマッチングを実行するよう構成される。ステレオマッチング処理は、デジタル画像から奥行き情報又は３次元情報を抽出するために用いられる。例えば、第２の画像処理回路１３０は、第１の画像センサ１１１と第２の画像センサ１１３からの２つの画像Ｍ１とＭ２とを比較してよく、奥行き情報又は３次元情報は差異に基づき取得されることができる。もう１つの例において、第２の画像処理回路１３０は、第１の画像センサ１１１と第２の画像センサ１１３からの２つの画像Ｍ１とＭ２に基づき、特定の形状又はパターン（例えば、ハンドジェスチャー）を有する１以上の抽出されたオブジェクトを判定するよう構成される。

第３の画像処理回路１４０は、ＩＳＰ、画像チップ、又は他の画像関連プロセッサであることができる。第３の画像処理回路１４０は、第２の画像処理回路１３０に連接される。１つの実施形態において、第３の画像処理回路１４０は、オブジェクト認識と奥行き計算のために画質を向上させるため。第２の画像処理回路１３０から出力された画像に対し、自動ホワイトバランス及び露出値補正を実行するよう構成される。いくつかの実施形態において、第３の画像処理回路１４０は、彩度、コントラスト、又は他の画像関連パラメータを補正してよい。更にいくつかの実施形態において、第１、第２、第３の画像処理回路１２０、１３０、１４０のうちの２以上は、単一のチップ又はデジタル回路に統合されてよい。

第４の画像処理回路１５０は、デジタル信号処理装置（ＤＳＰ）、画像チップ、又は他の画像関連プロセッサであることができる。第４の画像処理回路１５０は、第３の画像処理回路１４０に連接される。１つの実施形態において、第４の画像処理回路１５０は、立体画像を生成するため、第１の画像処理回路１２０により生成された奥行き情報に基づき、第２又は第３の画像処理回路１３０又は１４０から出力された画像を立体画像変換するよう構成される。例えば、立体画像は、２次元表面上に投影された３次元オブジェクトを含む。いくつかの実施形態において、第４の画像処理回路１５０は省略されてよい。

ＣＰＵ１６０は、マイクロプロセッサ、マイクロコントローラ、画像処理装置（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）であることができる。ＣＰＵ１６０の機能は、独立した電子デバイス又は集積回路（ＩＣ）により実装されてもよく、ＣＰＵ１６０の動作はソフトウェアにより実装されてもよい。ＣＰＵ１６０は、第３の画像処理回路１４０又は第４の画像処理回路１５０に連接される。１つの実施形態において、ＣＰＵ１６０は、第１、第２、第３、及び／又は第４の画像処理回路１２０、１３０、１４０、１５０から出力された画像、及び／又は対応する奥行きデータに基づき、手の動きの検出と追跡、空間走査、オブジェクト走査、拡張現実（ＡＲ）シースルー、６自由度（ＤｏＦ）、及び自己位置推定と地図作成の同時実行（ＳＬＡＭ）のための応用に関する演算結果を生成するよう構成される。

システム１００は、第１、第２、第３、又は第４の画像処理回路１２０、１３０、１４０、１５０、又はＣＰＵ１６０にて用いられる、又はこれらから出力されたデータを格納するため、１以上のメモリ（図示せず）を含んでよい。

本発明の１以上の実施形態において提供される動作処理をより理解し易くするよう、システム１００の動作処理を詳述するため、いくつかの実施形態を以下に例示する。システム１００内のデバイスとモジュールは、ここで提供される奥行きに関連する画像を処理する方法を説明するための、下記の実施形態において適用される。方法の各ステップは実際の実装状況に応じて調整でき、ここで説明されるものに限定されるべきではない。

図３は、本発明の例示的な実施形態の１つによる奥行きに関連する画像を処理する方法を表すフロー図である。図３を参照し、第１の画像センサ１１１が第１の画像を生成してよい（ステップＳ３１０）。第１の画像センサ１１１の類別に関して、第１の画像は、ＩＲ画像、カラー画像、又はカラー赤外線画像であることができる。更に、第２の画像センサ１１３が第２の画像を生成してよい（ステップＳ３２０）。第２の画像センサ１１３の類別に関して、第２の画像も、ＩＲ画像、カラー画像、又はカラー赤外線画像であることができる。１つの実施形態において、第１と第２の画像センサ１１１と１１３は、人間の両眼視に基づき、情景における２つの異なる視野を取得するために水平方向にずらされている。

１つの実施形態において、第３の画像センサ１１５が第３の画像を生成してよい。いくつかの実施形態において、第１の画像は赤外線画像であり、第２の画像はもう１つの赤外線画像であり、第３の画像はカラー画像である。更にいくつかの実施形態において、第１の画像はカラー画像であり、第２の画像はもう１つのカラー画像であり、第３の画像は赤外線画像である。

第１の画像処理回路１２０は、第１の画像と第２の画像とにおいて識別された１以上のオブジェクトに対応する奥行きデータを生成してよい（ステップＳ３３０）。奥行き計算回路１２２の動作において言及したように、第１の画像と第２の画像とにおいて識別された、１以上の非重畳オブジェクトの第１の奥行き、及び／又は、１以上の重畳オブジェクトの第２の奥行きは、奥行きデータを形成するために生成される。いくつかの実施形態において、奥行き計算回路１２２は、第１の画像と第２の画像と第３の画像とにおいて識別された１以上のオブジェクトに対応する奥行きデータを生成してよい。

第１の画像処理回路１２０は、第１の画像、第２の画像、奥行きデータのうちの２つを含む第１のデータパケットを生成してよい（ステップＳ３４０）。１つの実施形態において、第１の画像、第２の画像、奥行きデータのうちの２つのデータが、第１のデータパケットを生成するため組み合わされる。データパケットのフォーマットは、画像処理回路１２０の伝送インターフェイスに基づき定義される。もう１つの実施形態において、第１の画像、第２の画像、奥行きデータ、ダミーデータのうちの２つのデータが、第１のデータパケットを生成するために組み合わされる。ダミーデータは、特定の値又はランダム値を含んでよい。

更にもう１つの実施形態において、第１の画像処理回路１２０は、第１のデータパケットとは異なる、第１の画像、第２の画像、奥行きデータ、ダミーデータのうちの他の２つを含む、第２のデータパケットを生成してよい。

例えば、図４Ａは、本発明の例示的な実施形態の１つによる画像処理を表すブロック図である。図４Ａを参照し、第１の画像センサ１１１はＲＧＢセンサ１１１－１であり、第２の画像センサ１１３はＲＧＢセンサ１１３－１である。同一の時点で、ＲＧＢセンサ１１１－１がカラー画像Ｃ１を生成し、ＲＧＢセンサ１１３－１がもう１つのカラー画像Ｃ２を生成する。次いで、第１の画像処理回路１２０は、カラー画像Ｃ１とＣ２との両方におけるオブジェクトに基づき、奥行きデータＤを生成する。更に、第１の画像処理回路１２０は、カラー画像Ｃ１とＣ２とを第１のデータパケットに組み合わせ、奥行きデータＤとダミーデータＤＹとを第２のデータパケットに組み合わせる。データ構造は次であることができる：

図４Ｂは、本発明の例示的な実施形態の１つによる画像処理を表すブロック図である。図４Ｂを参照し、第１の画像センサ１１１はＩＲセンサ１１１－２であり、第２の画像センサ１１３はＩＲセンサ１１３－２であり、第３の画像センサ１１５はＲＧＢセンサ１１５－１である。同一の時点で、ＩＲセンサ１１１－２が赤外線画像ＩＲ１を生成し、ＩＲセンサ１１３－２がもう１つの赤外線画像ＩＲ２を生成し、ＲＧＢセンサ１１５－２がカラー画像Ｃ３を生成する。次いで、第１の画像処理回路１２０は、赤外線画像ＩＲ１とＩＲ２及びカラー画像Ｃ３の全てにおいて識別されたオブジェクトに基づき、奥行きデータＤを生成する。更に、第１の画像処理回路１２０は、赤外線画像ＩＲ１とＩＲ２を第１のデータパケットに組み合わせ、奥行きデータＤとカラー画像Ｃ３を第２のデータパケットに組み合わせる。データ構造は次であることができる：

図４Ｃは、本発明の例示的な実施形態の１つによる画像処理を表すブロック図である。図４Ｃを参照し、第１の画像センサ１１１はＲＧＢ－ＩＲセンサ１１１－３であり、第２の画像センサ１１３はＲＧＢ－ＩＲセンサ１１３－３である。同一の時点で、ＲＧＢ－ＩＲセンサ１１１－３がカラー赤外線画像ＣＩＲ１を生成し、ＲＧＢ－ＩＲセンサ１１３－３がもう１つのカラー赤外線画像ＣＩＲ２を生成する。次いで、第１の画像処理回路１２０は、カラー赤外線画像ＣＩＲ１とＣＩＲ２との両方におけるオブジェクトに基づき、奥行きデータＤを生成する。更に、第１の画像処理回路１２０は、カラー赤外線画像ＣＩＲ１とＣＩＲ２とを第１のデータパケットに組み合わせ、奥行きデータＤとダミーデータＤＹとを第２のデータパケットに組み合わせる。データ構造は次であることができる：

１つの実施形態において、第１の画像センサ１１１の第１の画像は第１のカラー赤外線画像であり、第２の画像センサ１１３の第２の画像は第２のカラー赤外線画像である。例えば、図４Ｄは、本発明の例示的な実施形態の１つによる画像処理を表すブロック図である。図４Ｄを参照し、第１の画像センサ１１１はＲＧＢ－ＩＲセンサ１１１－３であり、第２の画像センサ１１３はＲＧＢ－ＩＲセンサ１１３－３である。画像抽出回路１２１は、第１の画像センサ１１１と第２の画像センサ１１３とにより生成された第１と第２のカラー赤外線画像ＣＩＲ１とＣＩＲ２の赤、緑、青の画素に対応するカラー部分Ｃ４とＣ５を抽出し、第１の画像センサ１１１と第２の画像センサ１１３とにより生成された第１と第２のカラー赤外線画像ＣＩＲ１とＣＩＲ２のＩＲ画素に対応する赤外線部分ＩＲ３とＩＲ４を抽出し、ここで、赤外線部分の画像画素はグレースケール値に基づき定義される。奥行き計算回路１２２は、第１のカラー赤外線画像と第２のカラー赤外線画像ＣＩＲ１とＣＩＲ２のカラー部分Ｃ４とＣ５において識別された１以上のオブジェクトに対応する第１の奥行きデータＤ１を生成し、第１のカラー赤外線画像と第２のカラー赤外線画像ＣＩＲ１とＣＩＲ２の赤外線部分ＩＲ３とＩＲ４において識別された１以上のオブジェクトに対応する第２の奥行きデータＤ２を生成してよく、ここで、奥行きデータＤは第１と第２の奥行きデータＤ１とＤ２とを含む。

更に、第１の画像処理回路１２０は、第１のカラー赤外線画像ＣＩＲ１と第２のカラー赤外線画像ＣＩＲ２のカラー部分Ｃ４とＣ５、第１のカラー赤外線画像ＣＩＲ１と第２のカラー赤外線画像ＣＩＲ２の赤外線部分ＩＲ３とＩＲ４、第１の奥行きデータＤ１、第２の奥行きデータＤ２のうちの２つを含む第１のデータパケットを生成し、カラー部分Ｃ４とＣ５、赤外線部分ＩＲ３とＩＲ４、第１の奥行きデータＤ１、第２の奥行きデータＤ２のうちの、第１のデータパケットとは異なる別の２つを含む第３のデータパケットを生成し、カラー部分Ｃ４とＣ５、赤外線部分ＩＲ３とＩＲ４、第１の奥行きデータＤ１、第２の奥行きデータＤ２のうちの、第１のデータパケット及び第２のデータパケットとは異なる別の２つを含む第４のデータパケットを生成してよい。

例えば、第１の画像処理回路１２０は、第１のカラー赤外線画像ＣＩＲ１と第２のカラー赤外線画像ＣＩＲ２のカラー部分Ｃ４とＣ５とを第１のデータパケットに組み合わせ、第１のカラー赤外線画像ＣＩＲ１と第２のカラー赤外線画像ＣＩＲ２の赤外線部分ＩＲ３とＩＲ４とを第３のデータパケットに組み合わせ、第１の奥行きデータＤ１と第２の奥行きデータＤ２とを第４のデータパケットに組み合わせる。データ構造は次であることができる：

第２の画像処理回路１３０は、第１の画像処理回路１２０から第１のデータパケットを受け取ってよい（ステップＳ３５０）。具体的には、第１の画像処理回路１２０は第１の伝送インターフェイスを提供し、第２の画像処理回路１３０は第１の伝送インターフェイスと接続する第２の伝送インターフェイスを提供する。第１と第２の伝送インターフェイスは、カメラシリアルインターフェイス（ＣＳＩ）－３、ＣＳＩ－２、別のモバイルインダストリープロセッサインターフェイス（ＭＩＰＩ）、または他の伝送インターフェイスであることができる。第１と第２の伝送インターフェイスは、データを伝送するための複数のデータ線を提供する。

１つの実施形態において、第１の伝送インターフェイスは、第１のチャネル上で第１のデータパケットを第２の伝送インターフェイスへ送信し、第１のデータパケットは、第１のチャネルのみに対応する第１のチャネル識別子を更に含む。第１のチャネルは、第１と第２の伝送インターフェイスのファームウェア又はソフトウェアにより識別される論理チャネルである。ただし、第１のデータパケットはやはり物理的なデータ線上で送信される。

もう１つの実施形態において、第１の伝送インターフェイスは、第１のチャネルとは異なる第２のチャネル上で第２のデータパケットを第２の伝送インターフェイスへ送信し、第２のデータパケットは、第２のチャネルのみに対応する第２のチャネル識別子を更に含む。第１のチャネルと第２のチャネルは、第２の伝送インターフェイスにおける異なるメモリブロックに対応する。第２の伝送インターフェイスは、データパケットがどちらのチャネルに属するかを知るため、チャネル識別子を識別してよい。例えば、第１のチャネル識別子は「００」であり、第２のチャネル識別子は「０１」である。次いで、第２の画像処理回路１３０は、対応するメモリブロックにデータパケットを格納してよい。

いくつかの実施形態において、第１のチャネルは物理チャネル／経路であり、第２のチャネルは仮想チャネル／経路である。ここでは、伝送インターフェイスが２つの伝送インターフェイス間のデータ線を介して複数の論理チャネルを提供すると仮定する。２以上の種類のデータパケットが存在する場合、第１の伝送インターフェイスは、異なるデータパケットを異なる論理チャネルに配置してよい。物理チャネルと呼ばれる１つの論理チャネルのみが存在してよく、他の論理チャネルは仮想チャネルと呼ばれる。図５は、本発明の例示的な実施形態の１つによるデータ伝送を表すブロック図である。図５を参照し、第１の伝送インターフェイスＴＩ１と第２の伝送インターフェイスＴＩ２との間には、物理チャネルＰＣＨと仮想チャネルＶＣＨ１とＶＣＨ２といった、複数のチャネルが存在する。

図４Ａを例とし、カラー画像Ｃ１とＣ２を含む第１のデータパケットは物理チャネルＰＣＨ上で送信され、ダミーデータＤＹと奥行きデータＤとを含む第２のデータパケットは仮想チャネルＶＣＨ１上で送信される。

もう１つの実施形態において、上述した第１、第３、第４のデータパケットという、３つの異なるデータパケットが存在する。第１の伝送インターフェイスは、第３のチャネル上で第１のデータパケットを第２の伝送インターフェイスへ送信し、第４のチャネル上で第３のデータパケットを第２の伝送インターフェイスへ送信し、第５のチャネル上で第４のデータパケットを第２の伝送インターフェイスへ送信してよい。第１のデータパケットは第３のチャネルのみに対応する第３のチャネル識別子を更に含み、第３のデータパケットは第４のチャネルのみに対応する第４のチャネル識別子を更に含み、第４のデータパケットは第５のチャネルのみに対応する第５のチャネル識別子を更に含む。例えば、第３のチャネル識別子は「０１」であり、第４のチャネル識別子は「１０」であり、第５のチャネル識別子は「１１」である。同様に、第３、第４、第５のチャネルは、第２の伝送インターフェイスにおける異なるメモリブロックに対応する。次いで、第２の画像処理回路１３０は、対応するメモリブロックから所望のデータを取得してよい。

いくつかの実施形態において、第３のチャネルは物理チャネルであり、第４のチャネルは仮想チャネルであり、第５のチャネルはもう１つの仮想チャネルである。図４Ｄと図５を例とし、カラー部分Ｃ４とＣ５とを含む第１のデータパケットは物理チャネルＰＣＨ上で送信され、赤外線部分ＩＲ３とＩＲ４とを含む第３のデータパケットは仮想チャネルＶＣＨ１上で送信され、第１の奥行きデータＤ１と第２の奥行きデータＤ２とを含む第４のデータパケットはもう１つの仮想チャネルＶＣＨ２上で送信される。

同一のデータパケット内のデータは、特定の応用に提供されてよいことに注意されたい。図４Ｄを例とし、カラー部分Ｃ４とＣ５を含む第１のデータパケットは、ＡＲシースルー応用に適用されるＲＧＢサイドバイサイドとして知られ、赤外線部分ＩＲ３とＩＲ４を含む第３のデータパケットは、ＳＬＡＭ、手の動作の検出と追跡、６ＤｏＦ応用に適用されるＩＲサイドバイサイドとして知られる。このため、データを処理する効率が向上しうる。

第２の画像処理回路１３０は、第１の画像と第２の画像とに対しステレオマッチングを実行してよい（ステップＳ３６０）。具体的には、第２の画像処理回路１３０は、奥行きデータに関連するマッチング画像を生成するため、ステレオマッチングアルゴリズムに基づき、第１の画像と、第２の画像と、奥行きデータとを組み合わせてよい。図４Ａを例とし、第２の画像処理回路１３０は、カラーマッチング画像ＲＧＢＤ１を生成するため、カラー画像Ｃ１とＣ２とにステレオマッチングを実行し、ここで、カラーマッチング画像ＲＧＢＤ１の画像画素は、赤、緑、青の画素により定義される。

図４Ｂを例とし、第２の画像処理回路１３０は、グレースケールマッチング画像を生成するため、赤外線画像ＩＲ１とＩＲ２とに対しステレオマッチングを実行し、カラーマッチング画像ＲＧＢＤ２を生成するため、グレースケールマッチング画像とカラー画像Ｃ３とに対しカラーマッチングを実行し、ここで、カラーマッチング画像ＲＧＢＤ１の画像画素は、赤、緑、青の画素、及びＩＲ／グレースケール画素により定義される。

図４Ｃを例とし、第２の画像処理回路１３０は、それぞれ第１の画像センサ１１１と第２の画像センサ１１３との視野角に基づくカラーマッチング画像ＲＧＢＤ３とＲＧＢＤ４とを生成するため、カラー赤外線画像ＣＩＲ１とＣＩＲ２とに対しステレオマッチングを実行する。

図４Ｄを例とし、第２の画像処理回路１３０は、グレースケールマッチング画像を生成するため、赤外線部分ＩＲ３とＩＲ４とに対しステレオマッチングを実行し、カラーマッチング画像ＲＧＢＤ５とＲＧＢＤ６とを生成するため、グレースケールマッチング画像とカラー画像Ｃ３とＣ４とに対しカラーマッチングを実行する。

１つの実施形態において、第４の画像処理回路１５０は、奥行きデータに基づき、カラーマッチング画像を立体画像に変換する。

もう１つの実施形態において、ＣＰＵ１６０は、立体画像及び対応する奥行きデータに基づき、手の動きの検出と追跡、空間走査、オブジェクト走査、ＡＲシースルー、６ＤｏＦ、ＳＬＡＭのための応用に関する演算結果を生成してよい。

システム１００のアーキテクチャにおいて、本発明は、先ず、先行技術におけるデジタル信号処理装置のソフトウェア計算を置き換えるため、第１の画像処理回路１２０（即ち、デプスハードウェアエンジン）を用いて画像Ｍ１とＭ２に対応する奥行きデータを算出する。その後、第２の画像処理回路１３０と第３の画像処理回路１４０の動作で、より好ましい画質を有する画像Ｍ１とＭ２と、対応するより高い精度を有する奥行きデータを得ることができる。このため、（手の動きの検出と追跡、空間走査、オブジェクト走査、ＡＲシースルー、ＳＬＡＭといった）応用を処理するＣＰＵ１６０の精度と効率を向上させることができる。

まとめると、上記の例示的な実施形態は、奥行きに関連する画像を処理する方法及びシステムを描写している。実施形態は、先ず、先行技術におけるデジタル信号処理装置のソフトウェア計算を置き換えるため、画像処理回路を用いて画像センサの原画像に対応する奥行きデータを算出する。更に、より好ましい画質を有する画像と、対応するより高い精度を有する奥行きデータを得ることができる。従って、より好ましいユーザエクスペリエンスを達成するよう、１以上の応用を処理するＣＰＵの精度と効率を向上することができる。

当業者にとって、本発明の範囲又は精神から逸脱することなく、本発明の構造に様々な改変と変形を行うことができることは明らかであろう。上記を鑑み、本発明は、以下の特許請求の範囲及びそれらの均等物の範囲内にあるという条件で、本発明の改変及び変形を網羅することを意図している。

画像を処理するための方法及びシステムは、奥行き関連計算に応用することができる。

１００：システム
１１１：第１の画像センサ
１１３：第２の画像センサ
１１５：第３の画像センサ
１２０：第１の画像処理回路
１３０：第２の画像処理回路
１４０：第３の画像処理回路
１５０：第４の画像処理回路
１６０：中央処理装置
Ｍ１、Ｍ２：画像
１２１：画像抽出回路
１２２：奥行き計算回路
１２３：画像解析回路
１２４：オブジェクト抽出回路
１２５：オブジェクト奥行き計算回路
１２６：重畳オブジェクト奥行き計算回路
Ｄ、Ｄ１、Ｄ２：奥行きデータ
１２７：マルチプレクサ
Ｓ３１０～Ｓ３６０：ステップ
１１１－１、１１３－１、１１５－１：ＲＧＢセンサ
Ｃ１～Ｃ５：カラー画像
ＤＹ：ダミーデータ
ＲＧＢＤ１～ＲＧＢＤ６：カラー赤外線画像
１１１－２、１１３－２：ＩＲセンサ
１１１－３、１１３－３：ＲＧＢＩＲセンサ
ＣＩＲ１、ＣＩＲ２：カラー赤外線画像
ＩＲ１、ＩＲ２：赤外線画像
ＩＲ３、ＩＲ４：赤外線部分
ＴＩ１、ＴＩ２：伝送インターフェイス
ＰＣＨ：物理チャネル
ＶＣＨ１、ＶＣＨ２：仮想チャネル

Claims (10)

1. 第１の画像を生成する、第１の画像センサと、
   第２の画像を生成する、第２の画像センサと、
   前記第１の画像センサと前記第２の画像センサに連接され、
   前記第１の画像と前記第２の画像とにおいて識別された少なくとも１つのオブジェクトに対応する奥行きデータを生成することと、
   前記第１の画像、前記第２の画像、前記奥行きデータのうちの２つを含む、第１のデータパケットを生成することと
   を行うよう構成される、第１の画像処理回路と、
   前記第１の画像処理回路に連接され、
   前記第１のデータパケットを受け取ることと、
   前記第１の画像と前記第２の画像とに対しステレオマッチングを実行することと
   を行うよう構成される、第２の画像処理回路と
   を含む、
   奥行きに関連する画像を処理するシステム。
2. 第１の画像センサにより、第１の画像を生成することと、
   第２の画像センサにより、第２の画像を生成することと、
   第１の画像処理回路により、前記第１の画像と前記第２の画像とにおいて識別された少なくとも１つのオブジェクトに対応する奥行きデータを生成することと、
   前記第１の画像処理回路により、前記第１の画像、前記第２の画像、前記奥行きデータのうちの２つを含む第１のデータパケットを生成することと、
   第２の画像処理回路により、前記第１のデータパケットを受け取ることと、
   前記第２の画像処理回路により、前記第１の画像と前記第２の画像とに対しステレオマッチングを実行することと
   を含む、
   奥行きに関連する画像を処理する方法。
3. 前記第１の画像処理回路が、第１の伝送インターフェイスを更に提供し、
   前記第２の画像処理回路が、前記第１の伝送インターフェイスと接続される第２の伝送インターフェイスを更に提供し、
   前記第１の伝送インターフェイスが、第１のチャネル上で前記第１のデータパケットを前記第２の画像処理回路へ送信し、前記第１のデータパケットが、前記第１のチャネルのみに対応する第１のチャネル識別子を更に含む、
   請求項１に記載のシステム、
   又は、
   前記第１のデータパケットを受け取るステップが、
   前記第１の画像処理回路により、第１の伝送インターフェイスを提供することと、
   前記第２の画像処理回路により、前記第１の伝送インターフェイスと接続する第２の伝送インターフェイスを提供することと、
   前記第１の伝送インターフェイスにより、第１のチャネル上で前記第１のデータパケットを前記第２の伝送インターフェイスへ送信することであって、前記第１のデータパケットが、前記第１のチャネルのみに対応する第１のチャネル識別子を更に含むことと
   を含む、
   請求項２に記載の方法。
4. 前記第１の画像処理回路が、前記第１の画像、前記第２の画像、前記奥行きデータ、ダミーデータのうちの、前記第１のデータパケットとは異なる別の２つを含む第２のデータパケットを生成することと、
   前記第１の伝送インターフェイスが、第２のチャネル上で前記第２のデータパケットを前記第２の伝送インターフェイスへ送信し、前記第２のデータパケットが、前記第２のチャネルのみに対応する第２のチャネル識別子を更に含むことと
   を行うよう更に構成される、
   請求項３に記載のシステム、
   又は、
   前記第１の画像処理回路により、前記第１の画像、前記第２の画像、前記奥行きデータ、ダミーデータのうちの、前記第１のデータパケットとは異なる別の２つを含む第２のデータパケットを生成することと、
   前記第１の伝送インターフェイスにより、第２のチャネル上で前記第２のデータパケットを前記第２の伝送インターフェイスへ送信することであって、前記第２のデータパケットが前記第２のチャネルのみに対応する第２のチャネル識別子を更に含むことと
   を更に含む、
   請求項３に記載の方法。
5. 前記第１のチャネルが物理チャネルであり、前記第２のチャネルが仮想チャネルであり、前記第１のチャネルと前記第２のチャネルが、前記第２の伝送インターフェイスにおける異なるメモリブロックに対応する、
   請求項４に記載のシステム、又は、請求項４に記載の方法。
6. 前記第２の画像処理回路が、前記奥行きデータに関連するマッチング画像を生成するため、前記第１の画像と、前記第２の画像と、前記奥行きデータとを組み合わせるよう更に構成される、
   請求項１に記載のシステム、
   又は、
   ステレオマッチングを実行するステップが、前記奥行きデータに関連するマッチング画像を生成するため、前記第１の画像と、前記第２の画像と、前記奥行きデータとを組み合わせることを含む、
   請求項２に記載の方法。
7. 前記第１の画像が第１のカラー赤外線画像であり、前記第２の画像が第２のカラー赤外線画像であり、前記奥行きデータが第１の奥行きデータと第２の奥行きデータとを含み、
   前記第１の画像処理回路が、
   前記第１のカラー赤外線画像と前記第２のカラー赤外線画像とのカラー部分において識別された前記少なくとも１つのオブジェクトに対応する前記第１の奥行きデータを生成することと、
   前記第１のカラー赤外線画像と前記第２のカラー赤外線画像との赤外線部分において識別された前記少なくとも１つのオブジェクトに対応する前記第２の奥行きデータを生成することと、
   前記第１のカラー赤外線画像と前記第２のカラー赤外線画像の前記カラー部分、前記第１のカラー赤外線画像と前記第２のカラー赤外線画像の前記赤外線部分、前記第１の奥行きデータ、前記第２の奥行きデータのうちの２つを含む、前記第１のデータパケットを生成することと、
   前記第１のカラー赤外線画像と前記第２のカラー赤外線画像の前記カラー部分、前記第１のカラー赤外線画像と前記第２のカラー赤外線画像の前記赤外線部分、前記第１の奥行きデータ、前記第２の奥行きデータのうちの、前記第１のデータパケットとは異なる別の２つを含む、第３のデータパケットを生成することと、
   前記第１のカラー赤外線画像と前記第２のカラー赤外線画像の前記カラー部分、前記第１のカラー赤外線画像と前記第２のカラー赤外線画像の前記赤外線部分、前記第１の奥行きデータ、前記第２の奥行きデータのうちの、前記第１のデータパケット及び前記第３のデータパケットとは異なる他の２つを含む、第４のデータパケットを生成することと
   を行うよう更に構成される、
   請求項１に記載のシステム、
   又は、
   前記第１の画像が第１のカラー赤外線画像であり、前記第２の画像が第２のカラー赤外線画像であり、前記奥行きデータが第１の奥行きデータと第２の奥行きデータとを含み、
   前記第１の画像処理回路により、前記第１のカラー赤外線画像と前記第２のカラー赤外線画像とのカラー部分において識別された前記少なくとも１つのオブジェクトに対応する前記第１の奥行きデータを生成することと、
   前記第１の画像処理回路により、前記第１のカラー赤外線画像と前記第２のカラー赤外線画像との赤外線部分において識別された前記少なくとも１つのオブジェクトに対応する前記第２の奥行きデータを生成することと、
   前記第１の画像処理回路により、前記第１のカラー赤外線画像と前記第２のカラー赤外線画像の前記カラー部分、前記第１のカラー赤外線画像と前記第２のカラー赤外線画像の前記赤外線部分、前記第１の奥行きデータ、前記第２の奥行きデータのうちの２つを含む、第１のデータパケットを生成することと、
   前記第１の画像処理回路により、前記第１のカラー赤外線画像と前記第２のカラー赤外線画像の前記カラー部分、前記第１のカラー赤外線画像と前記第２のカラー赤外線画像の前記赤外線部分、前記第１の奥行きデータ、前記第２の奥行きデータのうちの、前記第１のデータパケットとは異なる別の２つを含む、第３のデータパケットを生成することと、
   前記第１の画像処理回路により、前記第１のカラー赤外線画像と前記第２のカラー赤外線画像の前記カラー部分、前記第１のカラー赤外線画像と前記第２のカラー赤外線画像の前記赤外線部分、前記第１の奥行きデータ、前記第２の奥行きデータのうちの、前記第１のデータパケット及び前記第３のデータパケットとは異なる他の２つを含む、第４のデータパケットを生成することと
   を含む、
   請求項２に記載の方法。
8. 前記第１の画像処理回路が、第１の伝送インターフェイスを更に提供し、
   前記第２の画像処理回路が、前記第１の伝送インターフェイスと接続する第２の伝送インターフェイスを更に提供し、
   前記第１の伝送インターフェイスが、第３のチャネル上で前記第１のデータパケットを前記第２の伝送インターフェイスへ送信し、第４のチャネル上で前記第３のデータパケットを前記第２の伝送インターフェイスへ送信し、第５のチャネル上で前記第４のデータパケットを前記第２の伝送インターフェイスへ送信し、
   前記第１のデータパケットが前記第３のチャネルのみに対応する第３のチャネル識別子を更に含み、前記第３のデータパケットが前記第４のチャネルのみに対応する第４のチャネル識別子を更に含み、前記第４のデータパケットが前記第５のチャネルのみに対応する第５のチャネル識別子を更に含む、
   請求項７に記載のシステム、
   又は、
   前記第１のデータパケットを受け取るステップが、
   前記第１の画像処理回路により、第１の伝送インターフェイスを提供することと、
   前記第２の画像処理回路により、前記第１の伝送インターフェイスと接続する第２の伝送インターフェイスを提供することと、
   前記第１の伝送インターフェイスにより、第３のチャネル上で前記第１のデータパケットを前記第２の伝送インターフェイスへ送信することであって、前記第１のデータパケットが前記第３のチャネルのみに対応する第３のチャネル識別子を更に含むことと、
   前記第１の伝送インターフェイスにより、第４のチャネル上で前記第３のデータパケットを前記第２の伝送インターフェイスへ送信することであって、前記第３のデータパケットが前記第４のチャネルのみに対応する第４のチャネル識別子を更に含むことと、
   前記第１の伝送インターフェイスにより、第５のチャネル上で前記第４のデータパケットを前記第２の伝送インターフェイスへ送信することであって、前記第４のデータパケットが前記第５のチャネルのみに対応する第５のチャネル識別子を更に含むことと
   を含む、
   請求項７に記載の方法。
9. 前記第３のチャネルが物理チャネルであり、前記第４のチャネルが仮想チャネルであり、前記第５のチャネルがもう１つの仮想チャネルであり、前記第３のチャネルと前記第４のチャネルと前記第５のチャネルが、前記第２の伝送インターフェイスにおける異なるメモリブロックに対応する、
   請求項８に記載のシステム、又は、請求項８に記載の方法。
10. 前記第１の画像処理回路に連接され、第３の画像を生成する、第３の画像センサを更に含み、前記第１の画像が赤外線画像であり、前記第２の画像がもう１つの赤外線画像であり、前記第３の画像がカラー画像であり、
    前記第１の画像処理回路が、前記第１の画像と、前記第２の画像と、前記第３の画像とにおいて識別された少前記なくとも１つのオブジェクトに対応する前記奥行きデータを生成するよう更に構成される、
    請求項１に記載のシステム、
    又は、
    第３の画像センサにより、第３の画像を生成することを更に含み、前記第１の画像が赤外線画像であり、前記第２の画像がもう１つの赤外線画像であり、前記第３の画像がカラー画像であり、
    前記奥行きデータを生成するステップが、前記第１の画像処理回路により、前記第１の画像と、前記第２の画像と、前記第３の画像とにおいて識別された前記少なくとも１つのオブジェクトに対応する前記奥行きデータを生成することを含む、
    請求項２に記載の方法。
    
    

Images