JP2020177617A - 深度エンジンを用いた対話型画像処理の方法、装置、媒体 - Google Patents

深度エンジンを用いた対話型画像処理の方法、装置、媒体 Download PDF

Info

Publication number
JP2020177617A
JP2020177617A JP2019096075A JP2019096075A JP2020177617A JP 2020177617 A JP2020177617 A JP 2020177617A JP 2019096075 A JP2019096075 A JP 2019096075A JP 2019096075 A JP2019096075 A JP 2019096075A JP 2020177617 A JP2020177617 A JP 2020177617A
Authority
JP
Japan
Prior art keywords
image
image processing
camera
interactive
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019096075A
Other languages
English (en)
Inventor
毅剛 謝
Yi Gang Xie
毅剛 謝
俊偉 林
jun wei Lin
俊偉 林
丞佑 許
Cheng-Yu Hsu
丞佑 許
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XRspace Co Ltd
Original Assignee
XRspace Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XRspace Co Ltd filed Critical XRspace Co Ltd
Publication of JP2020177617A publication Critical patent/JP2020177617A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Library & Information Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】ソフトウェア計算による負荷を低減することである。【解決手段】第１のカメラ、第２のカメラ、画像処理回路、ビジョン処理装置、画像信号プロセッサ、中央処理部、およびメモリ装置を含む対話型画像処理装置を開示する。本開示は、従来技術におけるデジタル信号プロセッサによる深度計算の負担を軽減するために、画像処理回路を利用して、対話型画像処理システムのフロントエンドにおいて第１のカメラ及び第２のカメラによって生成された原画像に従って深度データを計算する。【選択図】図１

Description

本開示は、対話型画像処理の方法、装置、および媒体に関し、より詳細には、最初に深度エンジンによって深度計算が実行される対話型画像処理の方法、装置、および媒体に関する。
典型的なステレオ画像処理システムにおいて、赤緑青の画像センサまたはカメラからの原画像は、通常、画像解析、再構成、画質向上（自動ホワイトバランス、露光値、およびコントラスト較正を含む）、および深度計算などの種々の前処理動作を受ける。
その後、再構成された画像及び対応する深度は、仮想現実装置、ラップトップコンピュータ、タブレットコンピュータ、デスクトップコンピュータ、携帯電話、インタラクティブプロジェクタ、テレビジョンセット、又は他の電子コンシューマ装置のようなインタラクティブインタフェースを提供するビデオゲームシステム、キオスク又は他のシステムにおいて実行されるアプリケーションを処理するための中央処理部に入力される。
従来、これらの前処理動作（すなわち、画像解析、再構成、画質向上、および深度計算）は、特定のプロセッサがメモリ装置と協働して別途実行して、ソフトウェア計算で実現されている。例えば、ＤＳＰ（ディジタル信号プロセッサ）が、深度計算のために特別に設計され、ドライバプログラムコードが、ＤＳＰに命令をして深度計算を実行するように構成されている。
しかし、ソフトウェア計算には、メモリ装置との間でデータの読み込みと書き込みに時間と電力がかかる。そのため、ソフトウェア計算による負荷をどのように低減するかが業界の課題となっている。
従って、本開示の目的は、対話型画像処理の方法、装置、および媒体を提供することである。
本開示は、対話型画像処理システムであって、第１の画像を生成するように構成された第１のカメラと、第２の画像を生成するように構成された第２のカメラと、前記第１のカメラおよび前記第２のカメラに結合され、第１の画像および第２の画像において識別された少なくとも１つのオブジェクトに対応する深度データを計算するように構成された画像処理回路と、前記画像処理回路に結合され、第１のプログラムコードおよび深度データに従って、第１の画像および第２の画像にステレオマッチングを実行するように構成されたビジョン処理部と、前記ビジョン処理部に結合され、第２のプログラムコードに従って、第１の画像および第２の画像に対する自動ホワイトバランスおよび露出値の較正を処理するように構成された画像信号プロセッサと、前記画像信号プロセッサに結合され、第３のプログラムコードに従って、計算結果を生成するように構成された中央処理部とを有する、対話型画像処理装置を開示する。
本開示は、対話型画像処理システムのための対話型画像処理方法を開示している。本方法は、画像処理回路を使用して、前記対話型画像処理システムの第１のカメラによって生成された第１の画像と、前記対話型画像処理システムの第２のカメラによって生成された第２の画像とで識別された少なくとも１つのオブジェクトに対応する深度データを計算することと、前記対話型画像処理システムのビジョン処理部を使用して、第１のプログラムコードおよび深度データに従って、第１の画像および第２の画像にステレオマッチングを行うことと、前記対話型画像処理システムの画像信号プロセッサを使用して、第２のプログラムコードに従って、第１の画像および第２の画像に対する自動ホワイトバランスおよび露出値の較正を処理することと、対話型画像処理システムの中央処理部を使用して、第３のプログラムコードに従って、計算結果を生成することとを含む。
本開示は、対話型画像処理システムのための記憶装置であって、前記対話型画像処理システムの第１のカメラによって生成された第１の画像と、前記対話型画像処理システムの第２のカメラによって生成された第２の画像とを記憶する媒体と、前記対話型画像処理システムのビジョン処理部に命令を与えるように構成された第１のプログラムコードであって、前記第１のプログラムコードと、前記対話型画像処理システムの画像処理回路によって生成される深度データに従って第１の画像および第２の画像にステレオマッチングを実行するように構成された第１のプログラムコードと、前記対話型画像処理システムの画像信号プロセッサに命令を与えるように構成された第２のプログラムコードであって、第１の画像および第２の画像に対する自動ホワイトバランスおよび露出値の較正を処理する第２のプログラムコードと、対話型画像処理システムの中央処理部に命令を与えるように構成された第４のプログラムコードであって、計算結果を生成することとを含む第４のプログラムコードとを含む記憶装置を開示する。
本開示は、従来技術におけるデジタル信号プロセッサによる深度計算の負担を軽減するために、画像処理回路を利用して、対話型画像処理システムのフロントエンドにおいて第１のカメラ及び第２のカメラによって生成された原画像に従って深度データを計算する。
当業者には、様々な図面に示した好ましい実施形態の詳細な説明を読めば、本発明の上記その他の目的が明らかにあるであろう。
本開示の一実施形態による、対話型画像処理システムの機能ブロック図である。 本開示の一実施形態による、画像処理回路の機能ブロック図である。 本開示の一実施形態による、対話型画像処理システムの機能ブロック図である。 本開示の一実施形態による、対話型画像処理システムの機能ブロック図である。 本開示の一実施形態による、対話型画像処理システムの機能ブロック図である。 本開示の一実施形態による、画像処理プロセスのフローチャートである。 本開示の一実施形態による、画像処理プロセスのフローチャートである。
図１は、本開示の一実施形態による、対話型画像処理システム１の機能ブロック図である。対話型画像処理システム１は、第１のカメラ１１、第２のカメラ１２、画像処理回路１３、ビジョン処理部１４、画像信号プロセッサ１５、中央処理部１６、メモリ装置１７を含む。
第１のカメラ１１及び第２のカメラ１２は、画像処理回路１３に結合され、画像処理回路１３にそれぞれ画像Ｍ１及びＭ２を生成するように構成される。
画像処理回路１３は、第１のカメラ、第２のカメラ１２及びビジョン処理部１４に結合され、深度ハードウェアエンジンとみなされ、画像Ｍ１及びＭ２において識別されるオブジェクトに対応する深度データＤを計算するように構成される。具体的には、画像処理回路１３は、画像Ｍ１及びＭ２のオブジェクトを識別し、基準パラメータ（例えば、第１のカメラ１１と第２のカメラ１２との間の距離）を考慮して、識別されたオブジェクトに対応する距離を計算する。ここで深度データＤは、識別されたオブジェクトに対応する距離を含む。
一実施形態では、画像処理回路１３は、同一の位置合わせマークを有する画像Ｍ１及びＭ２を、第１チャネルのタグを有する同一のデータパッケージに結合し、深度データＤ及びダミーデータＤＹを、第２チャネルのタグを有する同一のデータパッケージに結合する。第１チャネルは物理ウェイ（ｐｈｙｓｉｃａｌ ｗａｙ）であり、第２チャネルは仮想ウェイ（ｖｉｒｔｕａｌ ｗａｙ）である。このようにして、ビジョン処理部１４は、データパッケージのタグにより、物理ウェイのデータパッケージを仮想ウェイのデータパッケージから区別できる。一実施形態では、画像処理回路１３は、２つの画像Ｍ１、Ｍ２、深度データＤ及びダミーデータＤＹを第１チャネルのタグを有するデータパッケージに結合し、他の２つの画像Ｍ１、Ｍ２、深度データＤ及びダミーデータＤＹを第２チャネルのタグを有するデータパッケージに結合する。当業者は、実用的な要件に従ってデータパッケージの内容を変更することができる。
ビジョン処理部１４は、画像処理回路１３及び画像信号プロセッサ１５に結合され、深度データに応じて画像Ｍ１及びＭ２にステレオマッチングを行うように構成されている。また、ビジョン処理部１４は、画像Ｍ１及びＭ２に応じて、特定の図形又はパターン（例えば、ハンドジェスチャ）で、少なくとも１つの抽出オブジェクトを判定する。
画像信号プロセッサ１５は、ビジョン処理部１４及び中央処理部１６に結合され、原画像Ｍ１、Ｍ２に自動ホワイトバランス、露出値校正を行い、被写体認識および深度計算のため画質向上をするように構成される。一実施形態では、画像処理回路１３、ビジョン処理部１４および画像信号プロセッサ１５は、単一チップに集積されてもよい。
中央処理部１６は、画像信号プロセッサ１５及びメモリ装置１７に結合され、画像Ｍ１及びＭ２並びに対応する深度データＤに基づいて、ハンドモーション検出及び追跡、空間走査、オブジェクト走査、ＡＲ（拡張現実）シースルー、６Ｄｏｆ（６自由度）、及びＳＬＡＭ（同時位置決め及びマッピング）のためのアプリケーションに関する計算結果を生成するように構成される。
メモリ装置１７は、ビジョン処理部１４、画像信号プロセッサ１５および中央処理部１６に結合され、対応する処理部に特定のアルゴリズム計算を実行するように指示するプログラムコードを記憶するように構成される。一実施形態では、メモリ装置１７は、中央処理部１６に集積され、ビジョン処理部１４および画像信号プロセッサ１５のうちの少なくとも１つは、中央処理部１６からプログラムコードにアクセスして、関連機能を実行してもよい。
対話型画像処理システム１のアーキテクチャの下では、本開示は、先行技術におけるデジタル信号プロセッサのソフトウェア計算を置き換えるために、まず、画像処理回路１３（すなわち、深度ハードウェアエンジン）を用いて、原画像Ｍ１及びＭ２に対応する深度データＤを計算する。その後、ビジョン処理部１４及び画像信号プロセッサ１５の動作により、より良い画質を有する画像Ｍ１及びＭ２と、より高い精度を有する対応する深度データとを得ることができる。従って、アプリケーションを処理するための中央処理部１６の精度および効率（例えば、ハンドモーション検出および追跡、空間走査、オブジェクト走査、ＡＲシースルー、およびＳＬＡＭ）は、改善され、より良いユーザ体験を実現し得る。
図２は、本開示の一実施形態による、画像処理回路の機能ブロック図である。画像処理回路１３は、画像において識別されたオブジェクトに対応する深度データＤを計算するように構成されたＡＳＩＣ（特定用途向け集積回路）であってもよい。
画像処理回路１３は、画像解析回路２１、オブジェクト抽出回路２２、オブジェクト深度計算回路２３、重複オブジェクト深度計算回路２４、及びマルチプレクサ２５を含む。
画像解析回路２１は、画質を高めるために画像Ｍ１及びＭ２の画素値を調整するか否かを決定するように構成される。例えば、画像Ｍ１及びＭ２が暗すぎる場合、画像解析回路２１は、画像Ｍ１及びＭ２の露出値を増加させて、その後のオブジェクト抽出動作のためのより良い画質を得る。
オブジェクト抽出回路２２は、画像解析回路２１に結合され、第１の画像Ｍ１及び第２の画像Ｍ２から少なくとも１つのオブジェクトを識別するように構成される。
オブジェクト深度計算回路２３は、オブジェクト抽出回路２２に結合され、第１のカメラ１１と第２のカメラ１２との間の距離、少なくとも１つのオブジェクトが第１の画像Ｍ１にある場合と少なくとも１つのオブジェクトが第２の画像Ｍ２にある場合との画素距離、および三角測量法に従って、少なくとも１つのオブジェクトの第１の深度を計算するように構成される。
重複オブジェクト深度計算回路２４は、オブジェクト深度計算回路２３に結合され、少なくとも２つの重複オブジェクトの第２の深度を計算し、第１の深度と第２の深度を含む深度データＤを出力するように構成される。
マルチプレクサ２５は、重複オブジェクト深度計算回路２４に結合され、制御信号に従って、第１の画像Ｍ１、第２の画像Ｍ２および深度データＤのうちの１つを出力するように構成される。
本開示は、画像処理回路１３を利用して、従来技術におけるデジタル信号プロセッサによる深度計算の負担を軽減するために、対話型画像処理システム１のフロントエンドにおける原画像Ｍ１及びＭ２により深度データＤを計算する。
図３は、本開示の一実施形態による、対話型画像処理システム３の機能ブロック図である。対話型画像処理システム３は、第１のカメラ１１、第２のカメラ１２、画像処理回路１３、ビジョン処理部１４、画像信号プロセッサ１５、中央処理部１６、メモリ装置３７およびデジタル信号プロセッサ３８を含む。
対話型画像処理システム１および３は類似しており、同じ要素は同じ記号で示されている。デジタル信号プロセッサ３８は、画像信号プロセッサ１５と中央処理部１６との間に結合され、第４のプログラムコードおよび深度データＤに従って、画像Ｍ１およびＭ２をステレオグラフィＭＳに変換するように構成される。例えば、ステレオグラフィＭＳは、二次元面上に投影される三次元オブジェクトを含む。
メモリ装置３７は、デジタル信号プロセッサ３８に結合され、デジタル信号プロセッサ３８にステレオグラフィ変換（ｓｔｅｒｅｏｇｒａｐｈｙ ｃｏｎｖｅｒｓｉｏｎ）を実行するように命令する第４のプログラムコードを記憶するように構成される。
対話型画像処理システム３のアーキテクチャの下で、本開示は、画像処理回路１３を使用して、まず２つの原画像Ｍ１及びＭ２に対応する深度データＤを計算し、デジタル信号プロセッサ３８を使用して、ステレオグラフィ変換を行い、中央処理部１６の負担を軽減する（図１の実施例では、中央処理部１６がステレオ変換を処理することに注意されたい）。従って、中央処理部１６のソフトウェア計算の消費電力が節約され得る。
図４は、本開示の一実施形態による、対話型画像処理システム４の機能ブロック図である。対話型画像処理システム４は、第１のカメラ４１、第２のカメラ４２、第３のカメラ４０、画像処理回路４３、ビジョン処理部４４、画像信号プロセッサ４５、中央処理部１６、メモリ装置４７、デジタル信号プロセッサ４８、および赤外線光源４９を含む。
本実施形態では、第１のカメラ４１および第２のカメラ４２は、赤外線画像ＩＲ１およびＩＲ２（ここで、赤外線画像ＩＲ１およびＩＲ２の画像画素は、グレースケール値で画定される）を生成するための赤外線カメラであり、第３のカメラ４０は、カラー画像ＲＧＢ（赤−緑−青）を生成するためのＲＧＢ（赤−緑−青）カメラである（ここで、カラー画像ＲＧＢの画像画素は、赤、緑、および青の画素によって画定される）。赤外線光源４９は、第１のカメラ４１および第２のカメラ４２によるＩＲ（赤外線）画像変換のための利用可能な周辺光を増大するように構成される
画像処理回路４３は、第１のカメラ４１、第２のカメラ４２および第３のカメラ４０に結合され、赤外線画像ＩＲ１およびＩＲ２、ならびにカラー画像ＲＧＢに従って深度データＤを計算するように構成される。画像処理回路４３は、更に、赤外線画像ＩＲ１及びＩＲ２を同じデータパッケージ（例えば、ＩＲサイドバイサイド）に結合するか、又はカラー画像ＲＧＢと深度データＤを同じデータパッケージに結合するか、又は赤外線画像ＩＲ１及びＩＲ２の一方と深度データＤを同じデータパッケージに結合する。
ビジョン処理部４４は、画像処理回路４３に結合され、赤外線画像ＩＲ１およびＩＲ２にステレオマッチング（ｓｔｅｒｅｏ ｍａｔｃｈｉｎｇ）を行い、グレースケールマッチング画像を生成し、グレースケールマッチング画像およびカラー画像ＲＧＢにカラーマッチングを行い、カラーマッチング画像ＲＧＢＩＲ（カラーマッチング画像ＲＧＢＩＲの画像画素は、赤、緑、青、およびＩＲ／グレースケール画素によって画定される）を生成するように構成される。
画像信号プロセッサ４５は、ビジョン処理部４４に結合され、カラーステレオグラフィＲＧＢＩＲに自動ホワイトバランスおよび露出値校正を行い、オブジェクト認識および深度計算のために画質向上をするように構成される。
デジタル信号プロセッサ４８は、画像信号プロセッサ４５に結合され、深度データＤに従ってカラーマッチング画像ＲＧＢＩＲをステレオグラフィＭＳに変換するように構成される。
中央処理部１６は、デジタル信号プロセッサ４８およびメモリ装置４７に結合され、ステレオグラフィＭＳおよび対応する深度データＤに基づき、ハンドモーション検出および追跡、空間走査、オブジェクト走査、ＡＲシースルー、６Ｄｏｆ、およびＳＬＡＭのアプリケーションに関する計算結果を生成するように構成される。
メモリ装置４７は、ビジョン処理部４４、画像信号プロセッサ４５、デジタル信号プロセッサ４８および中央処理部４６に結合され、対応する処理部に特定のアルゴリズム計算を実行するように指示するプログラムコードを記憶するように構成される。
対話型画像処理システム４のアーキテクチャの下では、２つのＩＲカメラ、ＩＲ光源および１つのＲＧＢカメラを使用する場合、深度品質は安定している。従って、アプリケーションを処理するための中央処理部１６の精度および効率（例えば、ハンドモーション検出および追跡、空間走査、オブジェクト走査、ＡＲシースルー、およびＳＬＡＭ）は、改善され、より良いユーザ体験を実現し得る。
図５は、本開示の一実施形態による、対話型画像処理システム５の機能ブロック図である。対話型画像処理システム５は、第１のカメラ５１、第２のカメラ５２、画像処理回路５３、ビジョン処理部５４、画像信号プロセッサ５５、中央処理部１６、メモリ装置５７、デジタル信号プロセッサ５８、およびランダムドット赤外線光源５９を含む。
本実施形態では、第１のカメラ５１および第２のカメラ５２は、カラー赤外線画像ＲＧＢＩＲ１およびＲＧＢＩＲ２（ここで、赤外線画像ＲＧＢＩＲ１およびＲＧＢＩＲ２の画像画素は、赤色、緑色、青色、およびグレースケール画素によって画定される）を生成するカラー赤外線カメラである。ランダムドット赤外線光源５９は、第１のカメラ５１および第２のカメラ５２によるＩＲ画像変換のために利用可能な周辺光を増大するように構成される
画像処理回路５３は、第１のカメラ５１および第２のカメラ５２に結合され、カラー赤外線画像ＲＧＢＩＲ１およびＲＧＢＩＲ２に従って深度データＤを計算するように構成される。
画像処理回路５３は、さらに、カラー赤外線画像ＲＧＢＩＲ１及びＲＧＢＩＲ２から赤色、緑色、及び青色の画素を抽出し、カラー赤外線画像ＲＧＢＩＲ１及びＲＧＢＩＲ２の色成分を、同じデータパッケージに結合する。これは、ＡＲシースルーアプリケーションに適用されるＲＧＢサイドバイサイドとして知られている。
画像処理回路５３は、さらに、カラー赤外線画像ＲＧＢＩＲ１およびＲＧＢＩＲ２のＩＲ成分を同じデータパッケージに抽出する。このデータパッケージは、ＳＬＡＭ、ハンドモーション検出および追跡、６つのＤｏｆアプリケーションに適用されるＩＲサイドバイサイド（ＩＲ ｓｉｄｅ ｂｙ ｓｉｄｅ）として知られている。
画像処理回路５３は、さらに、深度データＤとカラー赤外線画像ＲＧＢＩＲ１の色成分とを同じデータパッケージに結合し、このデータパッケージは、第１のカメラ５１の視角（ｖｉｅｗ ａｎｇｌｅ）に基づいて空間走査およびオブジェクト走査アプリケーションに適用可能である。一実施形態では、画像処理回路５３は、さらに、深度データＤとカラー赤外線画像ＲＧＢＩＲ２の色成分とを同じデータパッケージに結合し、このデータパッケージは、第２のカメラ５２の視角（ｖｉｅｗ ａｎｇｌｅ）に基づいて空間走査およびオブジェクト走査アプリケーションに適用可能である。
ビジョン処理部５４は、画像処理回路５３に結合され、第１のカメラ５１と第２のカメラ５２の視角に基づいて、それぞれ、カラー赤外線画像ＲＧＢＩＲ１とＲＧＢＩＲ２にステレオマッチングを行い、カラーマッチング画像ＲＧＢＤ１とＲＧＢＤ２を生成するように構成される。
画像信号プロセッサ５５は、ビジョン処理部５４に結合され、カラーステレオグラフィＲＧＢＤ１およびＲＧＢＤ２に自動ホワイトバランスおよび露出値校正を行い、オブジェクト認識および深度計算のために画質向上をするように構成される。
デジタル信号プロセッサ５８は、画像信号プロセッサ５５に結合され、深度データＤに従ってカラーマッチング画像ＲＧＢＤ１またはＲＧＢＤ２をステレオグラフィＭＳに変換するように構成される。
中央処理部１６は、デジタル信号プロセッサ５８およびメモリ装置５７に結合され、ステレオグラフィＭＳおよび対応する深度データＤに基づき、ハンドモーション検出および追跡、空間走査、オブジェクト走査、ＡＲシースルー、６Ｄｏｆ、およびＳＬＡＭのアプリケーションに関する計算結果を生成するように構成される。
メモリ装置５７は、ビジョン処理部５４、画像信号プロセッサ５５、デジタル信号プロセッサ５８および中央処理部５６に結合され、対応する処理部に特定のアルゴリズム計算を実行するように指示するプログラムコードを記憶するように構成される。
対話型画像処理システム５のアーキテクチャの下では、ＲＧＢＩＲカメラによって生成されたカラーＩＲ画像のおかげで、高いフレームレートを実現することができる。深度の品質は安定しており、他の光源の影響を受けない。従って、アプリケーションを処理するための中央処理部１６の精度および効率（例えば、ハンドモーション検出および追跡、空間走査、オブジェクト走査、ＡＲシースルー、およびＳＬＡＭ）は、改善され、より良いユーザ体験を実現し得る。
対話型画像処理システム１の動作は、図６に示されるように、対話型画像処理プロセス６に要約でき、対話型画像処理プロセス６は、以下のステップを含む。
ステップ６１：画像処理回路を使用して、第１のカメラによって生成された第１の画像と第２のカメラによって生成された第２の画像に基づいて深度データを計算する。
ステップ６２：画像処理回路を使用して、第１の画像と第２の画像を、第１チャネルの第１のタグを有する第１のデータパッケージに結合し、深度データとダミーデータを、第２チャネルの第２のタグを有する第２のデータパッケージに結合する。
ステップ６３：ビジョン処理部を使用して、深度データに応じて、第１の画像と第２の画像にステレオマッチングを行う。
ステップ６４：画像信号プロセッサを使用して、第１の画像および第２の画像に対する自動ホワイトバランスおよび露出値の較正を実行する。
ステップ６５：中央処理部を使用して、第１の画像、第２の画像、および深度データに基づいて、ハンドモーション検出および追跡、空間走査、オブジェクト走査、ＡＲシースルー、６Ｄｏｆ、およびＳＬＡＭのアプリケーションに関する計算結果を生成する。
対話型画像処理プロセス６の詳細動作は、図１の説明を参照することによって得ることができ、ここでは省略する。
対話型画像処理システム３の動作は、図７に示されるように、対話型画像処理プロセス７に要約でき、対話型画像処理プロセス７は、以下のステップを含む。
ステップ７１：画像処理回路を使用して、第１のカメラによって生成された第１の画像と第２のカメラによって生成された第２の画像に基づいて深度データを計算する。
ステップ７２：画像処理回路を使用して、第１の画像と第２の画像を、第１チャネルの第１のタグを有する第１のデータパッケージに結合し、深度データとダミーデータを、第２チャネルの第２のタグを有する第２のデータパッケージに結合する。
ステップ７３：ビジョン処理部を使用して、深度データに応じて、第１の画像と第２の画像にステレオマッチングを行う。
ステップ７４：画像信号プロセッサを使用して、第１の画像および第２の画像に対する自動ホワイトバランスおよび露出値の較正を実行する。
ステップ７５：デジタル信号プロセッサを使用して、第１の画像と第２の画像をステレオグラフィに変換する。
ステップ７６：中央処理部を使用して、ステレオグラフィおよび深度データに基づいて、ハンドモーション検出および追跡、空間走査、オブジェクト走査、ＡＲシースルー、６Ｄｏｆ、およびＳＬＡＭのアプリケーションに関する計算結果を生成する。
対話型画像処理プロセス７の詳細動作は、図３の説明を参照することによって得ることができ、ここでは省略する。
従来技術では、モーション検出および追跡、空間走査、オブジェクト走査、ＡＲシースルー、およびＳＬＡＭを含む異なるアプリケーションは、特別に設計されたアーキテクチャおよびプラットフォームにおいてのみ動作可能であることに留意されたい。なぜなら、これらのアプリケーションは、異なるアーキテクチャおよびプラットフォームにおいて動作可能でなく、互換性がないからである。対照的に、本開示は、対話型画像処理システムの中央処理部またはメモリ装置に記憶された異なるアルゴリズムを実行することにより、上述のアプリケーションが動作可能なアーキテクチャを提供する。
さらに、中央処理部は、マルチタスクを実現するために、メモリ装置から２つ以上のプログラムコードにアクセスして、モーション検出および追跡、空間走査、オブジェクト走査、ＡＲシースルー、およびＳＬＡＭを含む２つ以上のアプリケーションを実行することができる。
要約すると、本開示は、先行技術におけるデジタル信号プロセッサのソフトウェア計算を置き換えるために、まず、画像処理回路を用いて、原画像に対応する深度データを計算する。その後、ビジョン処理部及び画像信号プロセッサの動作により、より良い画質を有する画像と、より高い精度を有する対応する深度データとを得ることができる。従って、アプリケーションを処理するための中央処理部の精度および効率（例えば、ハンドモーション検出および追跡、空間走査、オブジェクト走査、ＡＲシースルー、およびＳＬＡＭ）は、改善され、より良いユーザ体験を実現し得る。
当業者には言うまでもないが、本発明の教示を保持しつつ、上記の装置と方法について、多数の修正や変更をすることができる。したがって、上記の開示は添付した特許請求の範囲によってのみ限定されると解釈すべきである。

Claims (8)

  1. 対話型画像処理装置であって、
    第１の画像を生成するように構成された第１のカメラと、
    第２の画像を生成するように構成された第２のカメラと、
    前記第１のカメラおよび前記第２のカメラに結合され、第１の画像および第２の画像において識別された少なくとも１つのオブジェクトに対応する深度データを計算するように構成された画像処理回路と、
    前記画像処理回路に結合され、第１のプログラムコードおよび深度データに従って、第１の画像および第２の画像にステレオマッチングを実行するように構成されたビジョン処理部と、
    前記ビジョン処理部に結合され、第２のプログラムコードに従って、第１の画像および第２の画像に対する自動ホワイトバランスおよび露出値の較正を処理するように構成された画像信号プロセッサと、
    前記画像信号プロセッサに結合され、第３のプログラムコードに従って、計算結果を生成するように構成された中央処理部とを有する、対話型画像処理装置。
  2. 前記画像処理回路は、第１の画像および第２の画像から前記少なくとも１つのオブジェクトを識別し、参照パラメータを考慮に入れて、前記少なくとも１つのオブジェクトに対応する少なくとも１つの距離を計算するように較正され、前記参照パラメータは、前記第１のカメラと前記第２のカメラとの間の距離である、
    請求項１に記載の対話型画像処理装置。
  3. 前記画像処理回路は、第１の画像、第２の画像、深度データ、およびダミーデータのうち２つを、第１のチャネルの第１のタグを有する第１のデータパッケージに結合し、第１の画像、第２の画像、深度データ、およびダミーデータのうち別の２つを、第２のチャネルの第２のタグを有する第２のデータパッケージに結合する、
    請求項１に記載の対話型画像処理装置。
  4. 前記画像処理回路は、
    前記第１のカメラおよび第２のカメラに結合され、第１の画像および第２の画像の画素値を調整するかどうかを決定するように構成された画像解析回路と、
    前記画像解析回路に結合され、第１の画像及び第２の画像から少なくとも１つのオブジェクトを識別するように構成されたオブジェクト抽出回路と、
    前記オブジェクト抽出回路に結合され、前記第１のカメラと前記第２のカメラとの間の距離、少なくとも１つのオブジェクトが第１の画像にある場合と少なくとも１つのオブジェクトが第２の画像にある場合との画素距離、および三角測量法に従って、前記少なくとも１つのオブジェクトの第１の深度を計算するように構成されるオブジェクト深度計算回路と、
    前記オブジェクト深度計算回路に結合され、少なくとも１つのオブジェクトの２つの重複オブジェクトの第２の深度を計算し、第１の深度と第２の深度を含む深度データを出力するように構成される重複オブジェクト深度計算回路と、
    前記重複オブジェクト深度計算回路に結合され、制御信号に従って、第１の画像、第２の画像および深度データのうちの１つを出力するように構成されるマルチプレクサとを有する、
    請求項１に記載の対話型画像処理装置。
  5. 前記中央処理部は、ハンドモーション検出および追跡、空間スキャン、オブジェクトスキャン、ＡＲ（仮想現実）シースルー、およびＳＬＡＭ（同時ローカライズおよびマッピング）のうちの少なくとも１つのプログラムコードを同時に実行するように構成される、
    請求項１に記載の対話型画像処理装置。
  6. 対話型画像処理システムのための対話型画像処理の方法であって、
    画像処理回路を使用して、前記対話型画像処理システムの第１のカメラによって生成された第１の画像と、前記対話型画像処理システムの第２のカメラによって生成された第２の画像とで識別された少なくとも１つのオブジェクトに対応する深度データを計算することと、
    前記対話型画像処理システムのビジョン処理部を使用して、第１のプログラムコードおよび深度データに従って、第１の画像および第２の画像にステレオマッチングを行うことと、
    前記対話型画像処理システムの画像信号プロセッサを使用して、第２のプログラムコードに従って、第１の画像および第２の画像に対する自動ホワイトバランスおよび露出値の較正を処理することと、
    対話型画像処理システムの中央処理部を使用して、第３のプログラムコードに従って、計算結果を生成することとを含む
    対話型画像処理方法。
  7. 前記画像処理回路を使用して、第１の画像、第２の画像、深度データ、およびダミーデータのうち２つを、第１のチャネルの第１のタグを有する第１のデータパッケージに結合し、第１の画像、第２の画像、深度データ、およびダミーデータのうち別の２つを、第２のチャネルの第２のタグを有する第２のデータパッケージに結合することをさらに含む、
    請求項６に記載の対話型画像処理方法。
  8. 対話型画像処理システムのための記憶装置であって、
    前記対話型画像処理システムの第１のカメラによって生成された第１の画像と、前記対話型画像処理システムの第２のカメラによって生成された第２の画像とを記憶する媒体と、
    前記対話型画像処理システムのビジョン処理部に命令を与えるように構成された第１のプログラムコードであって、前記第１のプログラムコードと、前記対話型画像処理システムの画像処理回路によって生成される深度データに従って第１の画像および第２の画像にステレオマッチングを実行するように構成された第１のプログラムコードと、
    前記対話型画像処理システムの画像信号プロセッサに命令を与えるように構成された第２のプログラムコードであって、第１の画像および第２の画像に対する自動ホワイトバランスおよび露出値の較正を処理する第２のプログラムコードと、
    対話型画像処理システムの中央処理部に命令を与えるように構成された第４のプログラムコードであって、計算結果を生成することとを含む第４のプログラムコードとを含む
    記憶装置。
JP2019096075A 2019-04-17 2019-05-22 深度エンジンを用いた対話型画像処理の方法、装置、媒体 Pending JP2020177617A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/387,528 2019-04-17
US16/387,528 US20200336655A1 (en) 2019-04-17 2019-04-17 Method, Apparatus, Medium for Interactive Image Processing Using Depth Engine

Publications (1)

Publication Number Publication Date
JP2020177617A true JP2020177617A (ja) 2020-10-29

Family

ID=72832106

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019096075A Pending JP2020177617A (ja) 2019-04-17 2019-05-22 深度エンジンを用いた対話型画像処理の方法、装置、媒体

Country Status (3)

Country Link
US (1) US20200336655A1 (ja)
JP (1) JP2020177617A (ja)
CN (1) CN111836030A (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011019028A (ja) * 2009-07-08 2011-01-27 Canon Inc 撮像装置、情報処理装置、撮像装置の制御方法、情報処理装置の制御方法、及びコンピュータプログラム
JP2013069100A (ja) * 2011-09-22 2013-04-18 Dainippon Screen Mfg Co Ltd 三次元位置・姿勢認識装置、産業用ロボット、三次元位置・姿勢認識方法、プログラム、記録媒体

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204206364U (zh) * 2014-11-21 2015-03-11 冠捷显示科技（厦门）有限公司 一种基于双目摄像头的影像预处理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011019028A (ja) * 2009-07-08 2011-01-27 Canon Inc 撮像装置、情報処理装置、撮像装置の制御方法、情報処理装置の制御方法、及びコンピュータプログラム
JP2013069100A (ja) * 2011-09-22 2013-04-18 Dainippon Screen Mfg Co Ltd 三次元位置・姿勢認識装置、産業用ロボット、三次元位置・姿勢認識方法、プログラム、記録媒体

Also Published As

Publication number Publication date
US20200336655A1 (en) 2020-10-22
CN111836030A (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
US20200051269A1 (en) Hybrid depth sensing pipeline
US9965861B2 (en) Method and system of feature matching for multiple images
US20200058153A1 (en) Methods and Devices for Acquiring 3D Face, and Computer Readable Storage Media
US11663691B2 (en) Method and apparatus for restoring image
US11445163B2 (en) Target image acquisition system and method
US11514658B2 (en) Enhancing three-dimensional models using multi-view refinement
KR102650217B1 (ko) 이미지를 제공하기 위한 방법 및 이를 지원하는 전자 장치
Zheng Spatio-temporal registration in augmented reality
US11039118B2 (en) Interactive image processing system using infrared cameras
US20200410705A1 (en) System and method for processing image related to depth
JP2020177618A (ja) 深度エンジンとデジタル信号プロセッサを用いた対話型画像処理の方法、装置、媒体
TWI731430B (zh) 資訊顯示方法與資訊顯示系統
JP2020177617A (ja) 深度エンジンを用いた対話型画像処理の方法、装置、媒体
TWI696980B (zh) 使用深度引擎和數位訊號處理器的互動影像處理方法、裝置及媒體
TWI696149B (zh) 使用深度引擎的互動影像處理方法、裝置及媒體
TWI696981B (zh) 使用紅外線攝影機的互動影像處理系統
EP3731183A1 (en) Method, apparatus, medium for interactive image processing using depth engine
EP3731184A1 (en) Method, apparatus, medium for interactive image processing using depth engine and digital signal processor
EP3731175A1 (en) Interactive image processing system using infrared cameras
US11847784B2 (en) Image processing apparatus, head-mounted display, and method for acquiring space information
US11170574B2 (en) Method and apparatus for generating a navigation guide
WO2021237736A1 (zh) 图像处理方法、装置和系统，计算机可读存储介质
CN115049711A (zh) 图像配准方法、装置、电子设备及介质
JP2022050854A (ja) 奥行きに関連する画像を処理するシステム及び方法
Manders et al. Tracking a user's face and hands in three-dimensions in real-time

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190522

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200811

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210309