JP2020177618A

JP2020177618A - 深度エンジンとデジタル信号プロセッサを用いた対話型画像処理の方法、装置、媒体

Info

Publication number: JP2020177618A
Application number: JP2019096208A
Authority: JP
Inventors: 毅剛謝; Yi Gang Xie; 俊偉林; jun wei Lin; 丞佑許; Cheng-Yu Hsu; 靖▲にん▼ ▲黄▼; Ching-Ning Huang
Original assignee: XRspace Co Ltd
Current assignee: XRspace Co Ltd
Priority date: 2019-04-17
Filing date: 2019-05-22
Publication date: 2020-10-29
Also published as: US10885671B2; CN111836035A; US20200334860A1

Abstract

【課題】ソフトウェア計算による負荷を低減することである。【解決手段】第１のカメラ、第２のカメラ、画像処理回路、ビジョン処理装置、画像信号プロセッサ、中央処理部、およびメモリ装置を含む対話型画像処理装置を開示する。本開示は、従来技術におけるデジタル信号プロセッサによる深度計算の負担を軽減するために、画像処理回路を利用して、対話型画像処理システムのフロントエンドにおいて第１のカメラ及び第２のカメラによって生成された原画像に従って深度データを計算する。【選択図】図１

Description

本開示は、対話型画像処理の方法、装置、および媒体に関し、より詳細には、最初に深度エンジンによって深度計算が実行される対話型画像処理に関する。

典型的なステレオ画像処理システムにおいて、赤緑青の画像センサまたはカメラからの原画像は、通常、画像解析、再構成、画質向上（自動ホワイトバランス、露光値、およびコントラスト較正を含む）、および深度計算などの種々の前処理動作を受ける。

その後、再構成された画像及び対応する深度は、仮想現実装置、ラップトップコンピュータ、タブレットコンピュータ、デスクトップコンピュータ、携帯電話、インタラクティブプロジェクタ、テレビジョンセット、又は他の電子コンシューマ装置のようなインタラクティブインタフェースを提供するビデオゲームシステム、キオスク又は他のシステムにおいて実行されるアプリケーションを処理するための中央処理部に入力される。

従来、これらの前処理動作（すなわち、画像解析、再構成、画質向上、および深度計算）は、特定のプロセッサがメモリ装置と協働して別途実行して、ソフトウェア計算で実現されている。例えば、ＤＳＰ（ディジタル信号プロセッサ）が、深度計算のために特別に設計され、ドライバプログラムコードが、ＤＳＰに命令をして深度計算を実行するように構成されている。

しかし、ソフトウェア計算には、メモリ装置との間でデータの読み込みと書き込みに時間と電力がかかる。そのため、ソフトウェア計算による負荷をどのように低減するかが業界の課題となっている。

従って、本開示の目的は、対話型画像処理の方法、装置、および媒体を提供することである。

本開示は、対話型画像処理システムであって、第１の画像を生成するように構成された第１のカメラと、第２の画像を生成するように構成された第２のカメラと、前記第１のカメラおよび前記第２のカメラに結合され、第１の画像および第２の画像において識別された少なくとも１つのオブジェクトに対応する深度データを計算するように構成された画像処理回路と、前記画像処理回路に結合され、第１のプログラムコードおよび深度データに従って、第１の画像および第２の画像にステレオマッチングを実行するように構成されたビジョン処理部と、前記ビジョン処理部に結合され、第２のプログラムコードに従って、第１の画像および第２の画像に対する自動ホワイトバランスおよび露出値の較正を処理するように構成された画像信号プロセッサと、前記画像信号プロセッサに結合され、第３のプログラムコードおよび深度データに従って、第１の画像および第２の画像をステレオグラフィに変換するように構成されたデジタル信号プロセッサと、前記画像信号プロセッサに結合され、前記ステレオグラフィおよび第４のプログラムコードに従って、計算結果を生成するように構成された中央処理部とを有する、対話型画像処理装置を開示する。

本開示は、対話型画像処理システムのための対話型画像処理方法を開示している。本方法は、画像処理回路を使用して、前記対話型画像処理システムの第１のカメラによって生成された第１の画像と、前記対話型画像処理システムの第２のカメラによって生成された第２の画像とで識別された少なくとも１つのオブジェクトに対応する深度データを計算することと、前記対話型画像処理システムのビジョン処理部を使用して、第１のプログラムコードおよび深度データに従って、第１の画像および第２の画像にステレオマッチングを行うことと、前記対話型画像処理システムの画像信号プロセッサを使用して、第２のプログラムコードに従って、第１の画像および第２の画像に対する自動ホワイトバランスおよび露出値の較正を処理することと、前記対話型画像処理システムのデジタル信号プロセッサを使用して、第３のプログラムコードおよび深度データに従って、第１の画像および第２の画像をステレオグラフィに変換することと、対話型画像処理システムの中央処理部を使用して、ステレオグラフィおよび第４のプログラムコードに従って、計算結果を生成することとを含む対話型画像処理方法である。

本開示は、対話型画像処理システムのための記憶装置であって、前記対話型画像処理システムの第１のカメラによって生成された第１の画像と、前記対話型画像処理システムの第２のカメラによって生成された第２の画像とを記憶する媒体と、前記対話型画像処理システムのビジョン処理部に命令を与えように構成された第１のプログラムコードであって、前記第１のプログラムコードと、前記対話型画像処理システムの画像処理回路によって生成される深度データに従って第１の画像および第２の画像にステレオマッチングを実行するように構成された第１のプログラムコードと、前記対話型画像処理システムの画像信号プロセッサに命令を与えるように較正された第２のプログラムコードであって、第１の画像および第２の画像に対する自動ホワイトバランスおよび露出値の較正を処理する第２のプログラムコードと、前記対話型画像処理システムのデジタル信号プロセッサに命令を与えるように構成された第３のプログラムコードであって、深度データに従って、第１の画像および第２の画像をステレオグラフィに変換する第３のプログラムコードと、対話型画像処理システムの中央処理部に命令を与えるように構成された第４のプログラムコードであって、ステレオグラフィに従って、計算結果を生成することとを含む第４のプログラムコードとを含む記憶装置である。

本開示は、従来技術におけるデジタル信号プロセッサによる深度計算の負担を軽減するために、画像処理回路を利用して、対話型画像処理システムのフロントエンドにおいて第１のカメラ及び第２のカメラによって生成された原画像に従って深度データを計算する。

当業者には、様々な図面に示した好ましい実施形態の詳細な説明を読めば、本開示の上記その他の目的が明らかにあるであろう。

本開示の一実施形態による、対話型画像処理システムの機能ブロック図である。本開示の一実施形態による、画像処理回路の機能ブロック図である。本開示の一実施形態による、対話型画像処理システムの機能ブロック図である。本開示の一実施形態による、対話型画像処理システムの機能ブロック図である。本開示の一実施形態による、対話型画像処理システムの機能ブロック図である。本開示の一実施形態による、画像処理プロセスのフローチャートである。本開示の一実施形態による、画像処理プロセスのフローチャートである。

図１は、本開示の一実施形態による、対話型画像処理システム１の機能ブロック図である。対話型画像処理システム１は、第１のカメラ１１、第２のカメラ１２、画像処理回路１３、ビジョン処理部１４、画像信号プロセッサ１５、中央処理部１６、メモリ装置１７を含む。

第１のカメラ１１及び第２のカメラ１２は、画像処理回路１３に結合され、画像処理回路１３にそれぞれ画像Ｍ１及びＭ２を生成するように構成される。

画像処理回路１３は、第１のカメラ、第２のカメラ１２及びビジョン処理部１４に結合され、深度ハードウェアエンジンとみなされ、画像Ｍ１及びＭ２において識別されるオブジェクトに対応する深度データＤを計算するように構成される。具体的には、画像処理回路１３は、画像Ｍ１及びＭ２のオブジェクトを識別し、基準パラメータ（例えば、第１のカメラ１１と第２のカメラ１２との間の距離）を考慮して、識別されたオブジェクトに対応する距離を計算する。ここで深度データＤは、識別されたオブジェクトに対応する距離を含む。

一実施形態では、画像処理回路１３は、同一の位置合わせマークを有する画像Ｍ１及びＭ２を、第１チャネルのタグを有する同一のデータパッケージに結合し、深度データＤ及びダミーデータＤＹを、第２チャネルのタグを有する同一のデータパッケージに結合する。第１チャネルは物理ウェイ（ｐｈｙｓｉｃａｌｗａｙ）であり、第２チャネルは仮想ウェイ（ｖｉｒｔｕａｌｗａｙ）である。このようにして、ビジョン処理部１４は、データパッケージのタグにより、物理ウェイのデータパッケージを仮想ウェイのデータパッケージから区別できる。一実施形態では、画像処理回路１３は、２つの画像Ｍ１、Ｍ２、深度データＤ及びダミーデータＤＹを第１チャネルのタグを有するデータパッケージに結合し、他の２つの画像Ｍ１、Ｍ２、深度データＤ及びダミーデータＤＹを第２チャネルのタグを有するデータパッケージに結合する。当業者は、実用的な要件に従ってデータパッケージの内容を変更することができる。

ビジョン処理部１４は、画像処理回路１３及び画像信号プロセッサ１５に結合され、深度データに応じて画像Ｍ１及びＭ２にステレオマッチングを行うように構成されている。また、ビジョン処理部１４は、画像Ｍ１及びＭ２に応じて、特定の図形又はパターン（例えば、ハンドジェスチャ）で、少なくとも１つの抽出オブジェクトを判定する。

画像信号プロセッサ１５は、ビジョン処理部１４及び中央処理部１６に結合され、原画像Ｍ１、Ｍ２に自動ホワイトバランス、露出値校正を行い、被写体認識および深度計算のため画質向上をするように構成される。一実施形態では、画像処理回路１３、ビジョン処理部１４および画像信号プロセッサ１５は、単一チップに集積されてもよい。

中央処理部１６は、画像信号プロセッサ１５及びメモリ装置１７に結合され、画像Ｍ１及びＭ２並びに対応する深度データＤに基づいて、ハンドモーション検出及び追跡、空間走査、オブジェクト走査、ＡＲ（拡張現実）シースルー、６Ｄｏｆ（６自由度）、及びＳＬＡＭ（同時位置決め及びマッピング）のためのアプリケーションに関する計算結果を生成するように構成される。

メモリ装置１７は、ビジョン処理部１４、画像信号プロセッサ１５および中央処理部１６に結合され、対応する処理部に特定のアルゴリズム計算を実行するように指示するプログラムコードを記憶するように構成される。一実施形態では、メモリ装置１７は、中央処理部１６に集積され、ビジョン処理部１４および画像信号プロセッサ１５のうちの少なくとも１つは、中央処理部１６からプログラムコードにアクセスして、関連機能を実行してもよい。

対話型画像処理システム１のアーキテクチャの下では、本開示は、先行技術におけるデジタル信号プロセッサのソフトウェア計算を置き換えるために、まず、画像処理回路１３（すなわち、深度ハードウェアエンジン）を用いて、原画像Ｍ１及びＭ２に対応する深度データＤを計算する。その後、ビジョン処理部１４及び画像信号プロセッサ１５の動作により、より良い画質を有する画像Ｍ１及びＭ２と、より高い精度を有する対応する深度データとを得ることができる。従って、アプリケーションを処理するための中央処理部１６の精度および効率（例えば、ハンドモーション検出および追跡、空間走査、オブジェクト走査、ＡＲシースルー、およびＳＬＡＭ）は、改善され、より良いユーザ体験を実現し得る。

図２は、本開示の一実施形態による、画像処理回路の機能ブロック図である。画像処理回路１３は、画像において識別されたオブジェクトに対応する深度データＤを計算するように構成されたＡＳＩＣ（特定用途向け集積回路）であってもよい。

画像処理回路１３は、画像解析回路２１、オブジェクト抽出回路２２、オブジェクト深度計算回路２３、重複オブジェクト深度計算回路２４、及びマルチプレクサ２５を含む。

画像解析回路２１は、画質を高めるために画像Ｍ１及びＭ２の画素値を調整するか否かを決定するように構成される。例えば、画像Ｍ１及びＭ２が暗すぎる場合、画像解析回路２１は、画像Ｍ１及びＭ２の露出値を増加させて、その後のオブジェクト抽出動作のためのより良い画質を得る。

オブジェクト抽出回路２２は、画像解析回路２１に結合され、第１の画像Ｍ１及び第２の画像Ｍ２から少なくとも１つのオブジェクトを識別するように構成される。

オブジェクト深度計算回路２３は、オブジェクト抽出回路２２に結合され、第１のカメラ１１と第２のカメラ１２との間の距離、少なくとも１つのオブジェクトが第１の画像Ｍ１にある場合と少なくとも１つのオブジェクトが第２の画像Ｍ２にある場合との画素距離、および三角測量法に従って、少なくとも１つのオブジェクトの第１の深度を計算するように構成される。

重複オブジェクト深度計算回路２４は、オブジェクト深度計算回路２３に結合され、少なくとも２つの重複オブジェクトの第２の深度を計算し、第１の深度と第２の深度を含む深度データＤを出力するように構成される。

マルチプレクサ２５は、重複オブジェクト深度計算回路２４に結合され、制御信号に従って、第１の画像Ｍ１、第２の画像Ｍ２および深度データＤのうちの１つを出力するように構成される。

本開示は、画像処理回路１３を利用して、従来技術におけるデジタル信号プロセッサによる深度計算の負担を軽減するために、対話型画像処理システム１のフロントエンドにおける原画像Ｍ１及びＭ２により深度データＤを計算する。

図３は、本開示の一実施形態による、対話型画像処理システム３の機能ブロック図である。対話型画像処理システム３は、第１のカメラ１１、第２のカメラ１２、画像処理回路１３、ビジョン処理部１４、画像信号プロセッサ１５、中央処理部１６、メモリ装置３７およびデジタル信号プロセッサ３８を含む。

対話型画像処理システム１および３は類似しており、同じ要素は同じ記号で示されている。デジタル信号プロセッサ３８は、画像信号プロセッサ１５と中央処理部１６との間に結合され、第４のプログラムコードおよび深度データＤに従って、画像Ｍ１およびＭ２をステレオグラフィＭＳに変換するように構成される。例えば、ステレオグラフィＭＳは、二次元面上に投影される三次元オブジェクトを含む。

メモリ装置３７は、デジタル信号プロセッサ３８に結合され、デジタル信号プロセッサ３８にステレオグラフィ変換（ｓｔｅｒｅｏｇｒａｐｈｙｃｏｎｖｅｒｓｉｏｎ）を実行するように命令する第４のプログラムコードを記憶するように構成される。

対話型画像処理システム３のアーキテクチャの下で、本開示は、画像処理回路１３を使用して、まず２つの原画像Ｍ１及びＭ２に対応する深度データＤを計算し、デジタル信号プロセッサ３８を使用して、ステレオグラフィ変換を行い、中央処理部１６の負担を軽減する（図１の実施例では、中央処理部１６がステレオ変換を処理することに注意されたい）。従って、中央処理部１６のソフトウェア計算の消費電力が節約され得る。

図４は、本開示の一実施形態による、対話型画像処理システム４の機能ブロック図である。対話型画像処理システム４は、第１のカメラ４１、第２のカメラ４２、第３のカメラ４０、画像処理回路４３、ビジョン処理部４４、画像信号プロセッサ４５、中央処理部１６、メモリ装置４７、デジタル信号プロセッサ４８、および赤外線光源４９を含む。

本実施形態では、第１のカメラ４１および第２のカメラ４２は、赤外線画像ＩＲ１およびＩＲ２（ここで、赤外線画像ＩＲ１およびＩＲ２の画像画素は、グレースケール値で画定される）を生成するための赤外線カメラであり、第３のカメラ４０は、カラー画像ＲＧＢ（赤−緑−青）を生成するためのＲＧＢ（赤−緑−青）カメラである（ここで、カラー画像ＲＧＢの画像画素は、赤、緑、および青の画素によって画定される）。赤外線光源４９は、第１のカメラ４１および第２のカメラ４２によるＩＲ（赤外）画像変換のための利用可能な周辺光を増大するように構成される
画像処理回路４３は、第１のカメラ４１、第２のカメラ４２および第３のカメラ４０に結合され、赤外線画像ＩＲ１およびＩＲ２、ならびにカラー画像ＲＧＢに従って深度データＤを計算するように構成される。画像処理回路４３は、更に、赤外線画像ＩＲ１及びＩＲ２を同じデータパッケージ（例えば、ＩＲサイドバイサイド）に結合するか、又はカラー画像ＲＧＢと深度データＤを同じデータパッケージに結合するか、又は赤外線画像ＩＲ１及びＩＲ２の一方と深度データＤを同じデータパッケージに結合する。

ビジョン処理部４４は、画像処理回路４３に結合され、赤外線画像ＩＲ１およびＩＲ２にステレオマッチング（ｓｔｅｒｅｏｍａｔｃｈｉｎｇ）を行い、グレースケールマッチング画像を生成し、グレースケールマッチング画像およびカラー画像ＲＧＢにカラーマッチングを行い、カラーマッチング画像ＲＧＢＩＲ（カラーマッチング画像ＲＧＢＩＲの画像画素は、赤、緑、青、およびＩＲ／グレースケール画素によって画定される）を生成するように構成される。

画像信号プロセッサ４５は、ビジョン処理部４４に結合され、カラーステレオグラフィＲＧＢＩＲに自動ホワイトバランスおよび露出値校正を行い、オブジェクト認識および深度計算のために画質向上をするように構成される。

デジタル信号プロセッサ４８は、画像信号プロセッサ４５に結合され、深度データＤに従ってカラーマッチング画像ＲＧＢＩＲをステレオグラフィＭＳに変換するように構成される。

中央処理部１６は、デジタル信号プロセッサ４８およびメモリ装置４７に結合され、ステレオグラフィＭＳおよび対応する深度データＤに基づき、ハンドモーション検出および追跡、空間走査、オブジェクト走査、ＡＲシースルー、６Ｄｏｆ、およびＳＬＡＭのアプリケーションに関する計算結果を生成するように構成される。

メモリ装置４７は、ビジョン処理部４４、画像信号プロセッサ４５、デジタル信号プロセッサ４８および中央処理部４６に結合され、対応する処理部に特定のアルゴリズム計算を実行するように指示するプログラムコードを記憶するように構成される。

対話型画像処理システム４のアーキテクチャの下では、２つのＩＲカメラ、ＩＲ光源および１つのＲＧＢカメラを使用する場合、深度品質は安定している。従って、アプリケーションを処理するための中央処理部１６の精度および効率（例えば、ハンドモーション検出および追跡、空間走査、オブジェクト走査、ＡＲシースルー、およびＳＬＡＭ）は、改善され、より良いユーザ体験を実現し得る。

図５は、本開示の一実施形態による、対話型画像処理システム５の機能ブロック図である。対話型画像処理システム５は、第１のカメラ５１、第２のカメラ５２、画像処理回路５３、ビジョン処理部５４、画像信号プロセッサ５５、中央処理部１６、メモリ装置５７、デジタル信号プロセッサ５８、およびランダムドット赤外線光源５９を含む。

本実施形態では、第１のカメラ５１および第２のカメラ５２は、カラー赤外線画像ＲＧＢＩＲ１およびＲＧＢＩＲ２（ここで、赤外線画像ＲＧＢＩＲ１およびＲＧＢＩＲ２の画像画素は、赤色、緑色、青色、およびグレースケール画素によって画定される）を生成するカラー赤外カメラである。ランダムドット赤外線光源５９は、第１のカメラ５１および第２のカメラ５２によるＩＲ画像変換のために利用可能な周辺光を増大するように構成される
画像処理回路５３は、第１のカメラ５１および第２のカメラ５２に結合され、カラー赤外線画像ＲＧＢＩＲ１およびＲＧＢＩＲ２に従って深度データＤを計算するように構成される。

画像処理回路５３は、さらに、カラー赤外線画像ＲＧＢＩＲ１及びＲＧＢＩＲ２から赤色、緑色、及び青色の画素を抽出し、カラー赤外線画像ＲＧＢＩＲ１及びＲＧＢＩＲ２の色成分を、同じデータパッケージに結合する。これは、ＡＲシースルーアプリケーションに適用されるＲＧＢサイドバイサイドとして知られている。

画像処理回路５３は、さらに、カラー赤外線画像ＲＧＢＩＲ１およびＲＧＢＩＲ２のＩＲ成分を同じデータパッケージに抽出する。このデータパッケージは、ＳＬＡＭ、ハンドモーション検出および追跡、６つのＤｏｆアプリケーションに適用されるＩＲサイドバイサイド（ＩＲｓｉｄｅｂｙｓｉｄｅ）として知られている。

画像処理回路５３は、さらに、深度データＤとカラー赤外線画像ＲＧＢＩＲ１の色成分とを同じデータパッケージに結合し、このデータパッケージは、第１のカメラ５１の視角（ｖｉｅｗａｎｇｌｅ）に基づいて空間走査およびオブジェクト走査アプリケーションに適用可能である。一実施形態では、画像処理回路５３は、さらに、深度データＤとカラー赤外線画像ＲＧＢＩＲ２の色成分とを同じデータパッケージに結合し、このデータパッケージは、第２のカメラ５２の視角（ｖｉｅｗａｎｇｌｅ）に基づいて空間走査およびオブジェクト走査アプリケーションに適用可能である。

ビジョン処理部５４は、画像処理回路５３に結合され、第１のカメラ５１と第２のカメラ５２の視角に基づいて、それぞれ、カラー赤外線画像ＲＧＢＩＲ１とＲＧＢＩＲ２にステレオマッチングを行い、カラーマッチング画像ＲＧＢＤ１とＲＧＢＤ２を生成するように構成される。

画像信号プロセッサ５５は、ビジョン処理部５４に結合され、カラーステレオグラフィＲＧＢＤ１およびＲＧＢＤ２に自動ホワイトバランスおよび露出値校正を行い、オブジェクト認識および深度計算のために画質向上をするように構成される。

デジタル信号プロセッサ５８は、画像信号プロセッサ５５に結合され、深度データＤに従ってカラーマッチング画像ＲＧＢＤ１またはＲＧＢＤ２をステレオグラフィＭＳに変換するように構成される。

中央処理部１６は、デジタル信号プロセッサ５８およびメモリ装置５７に結合され、ステレオグラフィＭＳおよび対応する深度データＤに基づき、ハンドモーション検出および追跡、空間走査、オブジェクト走査、ＡＲシースルー、６Ｄｏｆ、およびＳＬＡＭのアプリケーションに関する計算結果を生成するように構成される。

メモリ装置５７は、ビジョン処理部５４、画像信号プロセッサ５５、デジタル信号プロセッサ５８および中央処理部５６に結合され、対応する処理部に特定のアルゴリズム計算を実行するように指示するプログラムコードを記憶するように構成される。

対話型画像処理システム５のアーキテクチャの下では、ＲＧＢＩＲカメラによって生成されたカラーＩＲ画像のおかげで、高いフレームレートを実現することができる。深度の品質は安定しており、他の光源の影響を受けない。従って、アプリケーションを処理するための中央処理部１６の精度および効率（例えば、ハンドモーション検出および追跡、空間走査、オブジェクト走査、ＡＲシースルー、およびＳＬＡＭ）は、改善され、より良いユーザ体験を実現し得る。

対話型画像処理システム１の動作は、図６に示されるように、対話型画像処理プロセス６に要約でき、対話型画像処理プロセス６は、以下のステップを含む。

ステップ６１：画像処理回路を使用して、第１のカメラによって生成された第１の画像と第２のカメラによって生成された第２の画像に基づいて深度データを計算する。

ステップ６２：画像処理回路を使用して、第１の画像と第２の画像を、第１チャネルの第１のタグを有する第１のデータパッケージに結合し、深度データとダミーデータを、第２チャネルの第２のタグを有する第２のデータパッケージに結合する。

ステップ６３：ビジョン処理部を使用して、深度データに応じて、第１の画像と第２の画像にステレオマッチングを行う。

ステップ６４：画像信号プロセッサを使用して、第１の画像および第２の画像に対する自動ホワイトバランスおよび露出値の較正を実行する。

ステップ６５：中央処理部を使用して、第１の画像、第２の画像、および深度データに基づいて、ハンドモーション検出および追跡、空間走査、オブジェクト走査、ＡＲシースルー、６Ｄｏｆ、およびＳＬＡＭのアプリケーションに関する計算結果を生成する。

対話型画像処理プロセス６の詳細動作は、図１の説明を参照することによって得ることができ、ここでは省略する。

対話型画像処理システム３の動作は、図７に示されるように、対話型画像処理プロセス７に要約でき、対話型画像処理プロセス７は、以下のステップを含む。

ステップ７１：画像処理回路を使用して、第１のカメラによって生成された第１の画像と第２のカメラによって生成された第２の画像に基づいて深度データを計算する。

ステップ７２：画像処理回路を使用して、第１の画像と第２の画像を、第１チャネルの第１のタグを有する第１のデータパッケージに結合し、深度データとダミーデータを、第２チャネルの第２のタグを有する第２のデータパッケージに結合する。

ステップ７３：ビジョン処理部を使用して、深度データに応じて、第１の画像と第２の画像にステレオマッチングを行う。

ステップ７４：画像信号プロセッサを使用して、第１の画像および第２の画像に対する自動ホワイトバランスおよび露出値の較正を実行する。

ステップ７５：デジタル信号プロセッサを使用して、第１の画像と第２の画像をステレオグラフィに変換する。

ステップ７６：中央処理部を使用して、ステレオグラフィおよび深度データに基づいて、ハンドモーション検出および追跡、空間走査、オブジェクト走査、ＡＲシースルー、６Ｄｏｆ、およびＳＬＡＭのアプリケーションに関する計算結果を生成する。

対話型画像処理プロセス７の詳細動作は、図３の説明を参照することによって得ることができ、ここでは省略する。

従来技術では、モーション検出および追跡、空間走査、オブジェクト走査、ＡＲシースルー、およびＳＬＡＭを含む異なるアプリケーションは、特別に設計されたアーキテクチャおよびプラットフォームにおいてのみ動作可能であることに留意されたい。なぜなら、これらのアプリケーションは、異なるアーキテクチャおよびプラットフォームにおいて動作可能でなく、互換性がないからである。対照的に、本開示は、対話型画像処理システムの中央処理部またはメモリ装置に記憶された異なるアルゴリズムを実行することにより、上述のアプリケーションが動作可能なアーキテクチャを提供する。

さらに、中央処理部は、マルチタスクを実現するために、メモリ装置から２つ以上のプログラムコードにアクセスして、モーション検出および追跡、空間走査、オブジェクト走査、ＡＲシースルー、およびＳＬＡＭを含む２つ以上のアプリケーションを実行することができる。

要約すると、本開示は、先行技術におけるデジタル信号プロセッサのソフトウェア計算を置き換えるために、まず、画像処理回路を用いて、原画像に対応する深度データを計算する。その後、ビジョン処理部及び画像信号プロセッサの動作により、より良い画質を有する画像と、より高い精度を有する対応する深度データとを得ることができる。従って、アプリケーションを処理するための中央処理部の精度および効率（例えば、ハンドモーション検出および追跡、空間走査、オブジェクト走査、ＡＲシースルー、およびＳＬＡＭ）は、改善され、より良いユーザ体験を実現し得る。

当業者には言うまでもないが、本発明の教示を保持しつつ、上記の装置と方法について、多数の修正や変更をすることができる。したがって、上記の開示は添付した特許請求の範囲によってのみ限定されると解釈すべきである。

Claims

対話型画像処理装置であって、
第１の画像を生成するように構成された第１のカメラと、
第２の画像を生成するように構成された第２のカメラと、
前記第１のカメラおよび前記第２のカメラに結合され、第１の画像および第２の画像において識別された少なくとも１つのオブジェクトに対応する深度データを計算するように構成された画像処理回路と、
前記画像処理回路に結合され、第１のプログラムコードおよび深度データに従って、第１の画像および第２の画像にステレオマッチングを実行するように構成されたビジョン処理部と、
前記ビジョン処理部に結合され、第２のプログラムコードに従って、第１の画像および第２の画像に対する自動ホワイトバランスおよび露出値の較正を処理するように構成された画像信号プロセッサと、
前記画像信号プロセッサに結合され、第３のプログラムコードおよび深度データに従って、第１の画像および第２の画像をステレオグラフィに変換するように構成されたデジタル信号プロセッサと、
前記画像信号プロセッサに結合され、前記ステレオグラフィおよび第４のプログラムコードに従って、計算結果を生成するように構成された中央処理部とを有する、
対話型画像処理装置。
前記画像処理回路は、第１の画像および第２の画像から前記少なくとも１つのオブジェクトを識別し、参照パラメータを考慮に入れて、前記少なくとも１つのオブジェクトに対応する少なくとも１つの距離を計算するように較正され、前記参照パラメータは、前記第１のカメラと前記第２のカメラとの間の距離である、
請求項１に記載の対話型画像処理装置。
前記画像処理回路は、第１の画像、第２の画像、深度データ、およびダミーデータのうち２つを、第１のチャネルの第１のタグを有する第１のデータパッケージに結合し、第１の画像、第２の画像、深度データ、およびダミーデータのうち別の２つを、第２のチャネルの第２のタグを有する第２のデータパッケージに結合する、
請求項１に記載の対話型画像処理装置。
前記画像処理回路は、
前記第１のカメラおよび第２のカメラに結合され、第１の画像および第２の画像の画素値を調整するかどうかを決定するように構成された画像解析回路と、
前記画像解析回路に結合され、第１の画像及び第２の画像から少なくとも１つのオブジェクトを識別するように構成されたオブジェクト抽出回路と、
前記オブジェクト抽出回路に結合され、前記第１のカメラと前記第２のカメラとの間の距離、少なくとも１つのオブジェクトが第１の画像にある場合と少なくとも１つのオブジェクトが第２の画像にある場合との画素距離、および三角測量法に従って、前記少なくとも１つのオブジェクトの第１の深度を計算するように構成されるオブジェクト深度計算回路と、
前記オブジェクト深度計算回路に結合され、少なくとも１つのオブジェクトの２つの重複オブジェクトの第２の深度を計算し、第１の深度と第２の深度を含む深度データを出力するように構成される重複オブジェクト深度計算回路と、
前記重複オブジェクト深度計算回路に結合され、制御信号に従って、第１の画像、第２の画像および深度データのうちの１つを出力するように構成されるマルチプレクサとを有する、
請求項１に記載の対話型画像処理装置。
前記画像処理回路は前記ビジョン処理部および前記画像信号プロセッサと集積される、
請求項１に記載の対話型画像処理装置。
前記ビジョン処理部は、深度データに従って第１の画像及び第２の画像にステレオマッチングを行うように構成され、前記ビジョン処理部は、第１の画像及び第２の画像に従って、特定の図形を有する少なくとも１つの抽出オブジェクトを決定するように構成され、前記特定の図形は、ハンドジェスチャである、
請求項１に記載の対話型画像処理装置。
前記中央処理部は、ハンドモーション検出および追跡、空間スキャン、オブジェクトスキャン、ＡＲ（仮想現実）シースルー、およびＳＬＡＭ（同時ローカライズおよびマッピング）のうちの少なくとも１つのプログラムコードを同時に実行するように構成される、
請求項１に記載の対話型画像処理装置。
対話型画像処理システムのための対話型画像処理の方法であって、
画像処理回路を使用して、前記対話型画像処理システムの第１のカメラによって生成された第１の画像と、前記対話型画像処理システムの第２のカメラによって生成された第２の画像とで識別された少なくとも１つのオブジェクトに対応する深度データを計算することと、
前記対話型画像処理システムのビジョン処理部を使用して、第１のプログラムコードおよび深度データに従って、第１の画像および第２の画像にステレオマッチングを行うことと、
前記対話型画像処理システムの画像信号プロセッサを使用して、第２のプログラムコードに従って、第１の画像および第２の画像に対する自動ホワイトバランスおよび露出値の較正を処理することと、
前記対話型画像処理システムのデジタル信号プロセッサを使用して、第３のプログラムコードおよび深度データに従って、第１の画像および第２の画像をステレオグラフィに変換することと、
対話型画像処理システムの中央処理部を使用して、ステレオグラフィおよび第４のプログラムコードに従って、計算結果を生成することとを含む対話型画像処理方法。
対話型画像処理システムのための記憶装置であって、
前記対話型画像処理システムの第１のカメラによって生成された第１の画像と、前記対話型画像処理システムの第２のカメラによって生成された第２の画像とを記憶する媒体と、
前記対話型画像処理システムのビジョン処理部に命令を与えるように構成された第１のプログラムコードであって、前記第１のプログラムコードと、前記対話型画像処理システムの画像処理回路によって生成される深度データに従って第１の画像および第２の画像にステレオマッチングを実行するように構成された第１のプログラムコードと、
前記対話型画像処理システムの画像信号プロセッサに命令を与えるように構成された第２のプログラムコードであって、第１の画像および第２の画像に対する自動ホワイトバランスおよび露出値の較正を処理する第２のプログラムコードと、
前記対話型画像処理システムのデジタル信号プロセッサに命令を与えるように構成された第３のプログラムコードであって、深度データに従って、第１の画像および第２の画像をステレオグラフィに変換する第３のプログラムコードと、
対話型画像処理システムの中央処理部に命令を与えるように構成された第４のプログラムコードであって、ステレオグラフィに従って、計算結果を生成することとを含む第４のプログラムコードとを含む記憶装置。