JP2022533975A

JP2022533975A - ユーザ機器及び斜視補正方法

Info

Publication number: JP2022533975A
Application number: JP2021568633A
Authority: JP
Inventors: 洪偉張
Original assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Current assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date: 2019-05-24
Filing date: 2019-05-24
Publication date: 2022-07-27
Anticipated expiration: 2039-05-24
Also published as: JP7346594B2; CN113826376B; WO2020237441A1; CN113826376A

Abstract

【課題】本開示は、ユーザ機器（ＵＥ）及び斜視補正方法を提供する。【解決手段】前記斜視補正方法は、画像感知モジュールによってカラー画像、赤外線画像及び深度画像を撮影するステップと、前記深度画像から平面パラメータを推定するステップと、前記深度画像から焦点距離データを算出するステップと、前記画像感知モジュールによって、焦点距離データからこれらの焦点距離において部分合焦画像を撮影するステップと、前記部分合焦画像から合焦画像データを切り取り、各合焦画像データを完全合焦画像に合成するステップとを含む。【選択図】図２

Description

本開示は、画像処理技術の分野に関し、より具体的には、ユーザ機器（ＵＥ）及び斜視補正方法に関する。

図１を参照すると、現在の技術では、ユーザが携帯電話などのユーザ機器１を用いて輪郭が鮮明な斜め配向平面（ｏｒｉｅｎｔｅｄｐｌａｎｅｓｕｒｆａｃｅ）の写真を撮る場合、ユーザ機器１は、斜め配向平面の画像を歪みの無い形状に補正する。しかしながら、斜め配向平面の輪郭が不鮮明である場合、又は一部のみが撮影領域２内にある場合、又は斜め配向平面が撮影領域２の幅よりも大きい横幅を有する場合、ユーザは、被写体全体の透視歪み（ｐｅｒｓｐｅｃｔｉｖｅｄｉｓｔｏｒｔｉｏｎ）の無い単一の合焦画像を得ることができない。

米国特許第６４４９００４号は、斜視補正（ｏｂｌｉｑｕｅｖｉｅｗｃｏｒｒｅｃｔｉｏｎ）機能を備えた電子カメラを開示している。被写体の光像を光電的に撮影して画像データを生成する撮像素子を備えた電子カメラを開示している。傾斜角情報提供装置が、撮像素子の感知面と被写体の正面との間の傾斜角に関する情報を提供する。距離測定器が、被写体までの距離を測定する。補正器が、提供された傾斜角情報と測定された距離に基づいて補正して、画像データを生成することによって、正面が撮像素子の感知面に平行な平面にある擬似被写体像を生成する。

米国特許第７３６５３０１号は、３次元形状検出装置、画像撮影装置及び３次元形状検出プログラムを開示している。パターン光を投影する投影手段と、パターン光が投影された被写体のパターン光投影画像を撮影する画像撮影手段と、パターン光投影画像から抽出されたパターン光の軌跡に基づいて被写体の３次元形状を算出する３次元形状算出手段とを含む３次元形状検出装置を開示している。

米国特許第７７１１２５９号は、撮像部の被写界深度を増加させる方法及び装置を開示している。撮像部が、それぞれ異なる焦点位置で複数の画像を撮影し、これらの画像を１枚の画像に合成して鮮鋭化することを開示している。別の実施形態において、画像撮影中に焦点位置が変化しながら単一画像を撮影し、得られた画像が鮮鋭化される。

ヨーロッパ特許出願第０９０８８４７号は、画像合成装置及び画像合成方法を開示している。画像合成装置が、記憶された画像情報を用いて、選択された画像の位置関係を設定するための座標変換パラメータを生成し、生成された座標変換パラメータを任意の画像の基準位置として変更し、得られた座標変換パラメータを画像合成情報として提供し、画像合成情報に従って画像を合成することを開示している。

視野が被写体よりも狭いカメラによって透視歪みの無い単一画像を得る技術が存在しない。

ユーザが透視歪みの無い単一画像を得ることを可能にするユーザ機器（ＵＥ）及び斜視補正方法を提供することがまだ必要である。

本開示の目的は、ユーザが透視歪み（ｐｅｒｓｐｅｃｔｉｖｅｄｉｓｔｏｒｔｉｏｎ）の無い単一画像を得ることを可能にするユーザ機器（ＵＥ）及び斜視補正方法を提案することである。

本開示の第１の態様では、ユーザ機器（ＵＥ）は、画像感知モジュールと、前記画像感知モジュールに接続されたプロセッサとを含む。前記プロセッサは、前記画像感知モジュールを制御してカラー画像、赤外線（ＩＲ）画像及び深度画像を撮影し、前記深度画像から平面パラメータを推定し、前記深度画像から焦点距離データを算出し、前記画像感知モジュールを制御して前記焦点距離データから焦点距離において部分合焦画像（部分的に焦点の合った画像：ｐａｒｔｉａｌｌｙｆｏｃｕｓｅｄｉｍａｇｅ）を撮影し、前記部分合焦画像から合焦画像データを切り取り、これらの合焦画像データを完全合焦画像（全体合焦画像、全体的に焦点の合った画像：ｗｈｏｌｌｙｆｏｃｕｓｅｄｉｍａｇｅ）に合成する。

本開示の実施形態において、前記プロセッサは、前記完全合焦画像を非透視画像（ｎｏｎ－ｐｅｒｓｐｅｃｔｉｖｅｉｍａｇｅ）に調整する。

本開示の実施形態において、前記完全合焦画像を非透視画像に調整する方法は、前記深度画像から算出された透視座標軸（ｐｅｒｓｐｅｃｔｉｖｅｃｏｏｒｄｉｎａｔｅａｘｅｓ）において前記完全合焦画像の四隅の座標データを推定するステップと、前記完全合焦画像をドラッグして実世界座標軸（ｒｅａｌｗｏｒｌｄｃｏｏｒｄｉｎａｔｅａｘｅｓ）において非透視画像を形成するステップとを含む。

本開示の実施形態において、前記プロセッサは、いくつかの前記非透視画像を単一画像に合成する。

本開示の実施形態において、前記ＵＥは、表示モジュールを更に含み、前記プロセッサは、前記表示モジュールに表示された前記単一画像にトリミング候補枠（ｔｒｉｍｍｉｎｇｃａｎｄｉｄａｔｅｆｒａｍｅ）を設定する。

本開示の実施形態において、前記深度画像から平面パラメータを推定する方法は、前記深度画像から平面の法線ベクトルを推定するステップを含む。

本開示の実施形態において、前記ＵＥは、慣性計測ユニット（ＩＭＵ）を更に含む。前記深度画像から平面パラメータを推定する方法は、ＩＭＵのデータから透視垂直座標軸及び透視水平座標軸を推定するステップを更に含む。

本開示の実施形態において、前記深度画像から焦点距離データを算出する方法は、焦点距離に対応する被写界深度（ｄｅｐｔｈｏｆｆｉｅｌｄ）の領域が重なって前記カラー画像の全体をカバーするように、いくつかの焦点距離を決定するステップを含む。

本開示の実施形態において、前記深度画像から焦点距離データを算出する方法は、被写界深度の各領域がテクスチャ（ｔｅｘｔｕｒｅ）を有するか否かを判定するステップを更に含む。

本開示の実施形態において、前記画像感知モジュールは、カラー画像を感知するカメラモジュールと、深度画像を感知する深度感知モジュールとを含む。

本開示の実施形態において、前記画像感知モジュールは、前記カメラモジュール及び前記深度感知モジュールを制御する画像プロセッサを更に含む。

本開示の実施形態において、前記カメラモジュールは、レンズモジュールと、画像センサと、画像センサドライバと、合焦及び光学画像安定化（ＯＩＳ）ドライバと、合焦及びＯＩＳアクチュエータと、ジャイロセンサとを含む。前記画像センサドライバは、前記画像センサを制御して画像を撮影する。前記合焦及びＯＩＳドライバは、前記合焦及びＯＩＳアクチュエータを制御して前記レンズモジュールの焦点を合わせ、前記レンズモジュールを動かして人間の手振れ（ｈａｎｄｓｈｏｃｋ）を補正する（補償する：ｃｏｍｐｅｎｓａｔｅ）。前記ジャイロセンサは、前記合焦及びＯＩＳドライバに動きデータ（ｍｏｔｉｏｎｄａｔａ）を提供する。

本開示の実施形態において、前記深度感知モジュールは、プロジェクターと、レンズと、レンジセンサと、レンジセンサドライバとを含む。前記レンジセンサドライバは、前記プロジェクターを制御してドットマトリックスパルス光を投射し、前記レンジセンサを制御して前記レンズによって合焦した反射ドットマトリックス画像を撮影する。

本開示の実施形態において、前記ＵＥは、プログラム、画像データ、平面パラメータ及び変換行列（ｔｒａｎｓｌａｔｉｏｎｍａｔｒｉｘ）を記録するメモリを更に含む。

本開示の実施形態において、前記深度画像は、点群データを含む。

本開示の実施形態において、前記ＵＥは、人間の指示を受け付ける入力モジュールと、マルチメディアデータを圧縮及び解凍するコーデックと、前記コーデックに接続されたスピーカ及びマイクと、メッセージを送受信する無線通信モジュールと、測位情報を提供する全地球的航法衛星システム（ＧＮＳＳ）モジュールとを更に含む。

本開示の第２の態様では、斜視補正方法は、画像感知モジュールによってカラー画像、赤外線（ＩＲ）画像、深度画像を撮影するステップと、前記深度画像から平面パラメータを推定するステップと、前記深度画像から焦点距離データを算出するステップと、前記画像感知モジュールによって、焦点距離データからこれらの焦点距離において部分合焦画像を撮影するステップと、前記部分合焦画像から合焦画像データを切り取り、これらの合焦画像データを完全合焦画像に合成するステップとを含む。

本開示の実施形態において、前記斜視補正方法は、前記完全合焦画像を非透視画像に調整するステップを更に含む。

本開示の実施形態において、前記完全合焦画像を非透視画像に調整するステップは、前記深度画像から算出された透視座標軸において前記完全合焦画像の四隅の座標データを推定するステップと、前記完全合焦画像をドラッグして実世界座標軸において非透視画像を形成するステップとを更に含む。

本開示の実施形態において、前記斜視補正方法は、いくつかの前記非透視画像を単一画像に合成するステップを更に含む。

本開示の実施形態において、前記斜視補正方法は、表示モジュールに表示された前記単一画像にトリミング候補枠を設定するステップを更に含む。

本開示の実施形態において、前記深度画像から平面パラメータを推定するステップは、前記深度画像から平面の法線ベクトルを推定するステップを含む。

本開示の実施形態において、前記深度画像から平面パラメータを推定するステップは、ＩＭＵのデータから透視垂直座標軸及び透視水平座標軸を推定するステップを更に含む。

本開示の実施形態において、前記深度画像から焦点距離データを算出するステップは、焦点距離に対応する被写界深度の領域が重なって前記カラー画像の全体をカバーするように、いくつかの焦点距離を決定するステップを含む。

本開示の実施形態において、前記深度画像から焦点距離データを算出するステップは、被写界深度の各領域がテクスチャを有するか否かを判定するステップを更に含む。

本開示の実施形態において、前記カメラモジュールは、レンズモジュールと、画像センサと、画像センサドライバと、合焦及び光学画像安定化（ＯＩＳ）ドライバと、合焦及びＯＩＳアクチュエータと、ジャイロセンサとを含む。前記画像センサドライバは、前記画像センサを制御して画像を撮影する。前記合焦及びＯＩＳドライバは、前記合焦及びＯＩＳアクチュエータを制御して前記レンズモジュールの焦点を合わせ、前記レンズモジュールを動かして人間の手振れを補償する。前記ジャイロセンサは、前記合焦及びＯＩＳドライバに動きデータを提供する。

本開示の実施形態において、前記斜視補正方法は、プログラム、画像データ、平面パラメータ及び変換行列を記録するメモリを提供するステップを更に含む。

本開示の実施形態において、前記斜視補正方法は、人間の指示を受け付ける入力モジュールと、マルチメディアデータを圧縮及び解凍するコーデックと、前記コーデックに接続されたスピーカ及びマイクと、メッセージを送受信する無線通信モジュールと、測位情報を提供する全地球的航法衛星システム（ＧＮＳＳ）モジュールとを提供するステップを更に含む。

したがって、本発明の実施形態は、ユーザが透視歪みの無い単一画像を得ることを可能にするユーザ機器（ＵＥ）及び斜視補正方法を提供する。

本開示の実施形態又は従来技術をより明確に説明するために、実施形態で説明される以下の図面について簡単に紹介する。図面が本開示のいくつかの実施形態に過ぎず、当業者であれば、前提を定めることなく、これらの図に基づいて他の図を得ることができることは明らかである。

従来技術のユーザ機器の概略適用図である。本開示の実施形態に係るユーザ機器（ＵＥ）の概略図である。本開示の実施形態に係る斜視補正方法を示すフローチャートである。本開示の実施形態に係る深度画像から平面パラメータを推定するステップを示すフローチャートである。本開示の実施形態に係る深度画像から焦点距離データを算出するステップを示すフローチャートである。本開示の実施形態に係る完全合焦画像を非透視画像に調整するステップを示すフローチャートである。本開示の実施形態に係るカラー画像、赤外線（ＩＲ）画像及び深度画像を撮影するステップの概略図である。本開示の実施形態に係る深度画像から平面パラメータを推定するステップの概略図である。本開示の実施形態に係る深度画像から焦点距離データを算出するステップの概略図である。本開示の実施形態に係る焦点位置、焦点距離、被写界深度（ＤＯＦ）及びＤＯＦの領域の関係を説明する概略図である。本開示の実施形態に係る焦点距離データから焦点距離において部分合焦画像を撮影するステップの概略図である。本開示の実施形態に係る部分合焦画像から合焦画像データを切り取り、これらの合焦画像データを完全合焦画像に合成するステップの概略図である。本開示の実施形態に係る完全合焦画像を非透視画像に調整するステップの概略図である。本開示の実施形態に係るいくつかの非透視画像を単一画像に合成するステップの概略図である。本開示の実施形態に係る表示モジュールに表示された単一画像にトリミング候補枠を設定するステップの概略図である。

以下の添付図面を参照して、本開示の実施形態を技術的事項、構造的特徴、達成される目的及び効果とともに詳細に説明する。具体的には、本開示の実施形態における用語は、特定の実施形態の目的を説明するためのものに過ぎず、本開示を限定するものではない。

図２及び図３を参照すると、いくつかの実施形態において、ユーザ機器（ＵＥ）１００は、画像感知モジュール１０と、画像感知モジュール１０に接続されたプロセッサ２０とを含む。プロセッサ２０は、画像感知モジュール１０を制御してカラー画像Ｃ＿Ｉ、赤外線（ＩＲ）画像ＩＲ＿Ｉ及び深度画像Ｄ＿Ｉを撮影し、深度画像Ｄ＿Ｉから平面パラメータを推定し、深度画像Ｄ＿Ｉから焦点距離データを算出し、画像感知モジュール１０を制御して焦点距離データからこれらの焦点距離において部分合焦画像ＰＦ＿Ｉを撮影し、部分合焦画像ＰＦ＿Ｉから合焦画像データを切り取り、これらの合焦画像データを完全合焦画像ＷＦ＿Ｉに合成する。

詳細には、図７を参照すると、ＵＥ１００のプロセッサ２０は、画像感知モジュール１０を制御して、例えば、被写体の左側のカラー画像Ｃ＿Ｉ、赤外線（ＩＲ）画像ＩＲ＿Ｉ及び深度画像Ｄ＿Ｉを撮影し、被写体の右側のカラー画像Ｃ＿Ｉ’、赤外線（ＩＲ）画像ＩＲ＿Ｉ’及び深度画像Ｄ＿Ｉ’を撮影する。

いくつかの実施形態において、図４及び図８を参照すると、深度画像Ｄ＿Ｉから平面パラメータを推定する方法は、深度画像Ｄ＿Ｉから平面の法線ベクトルＮ＿Ｖを推定するステップを含む。

詳細には、図８を参照すると、ＵＥ１００は、深度画像Ｄ＿Ｉから平面の法線ベクトルＮ＿Ｖを推定し、深度画像Ｄ＿Ｉ’から平面の法線ベクトルＮ＿Ｖ’を推定する。

いくつかの実施形態において、図２、図４及び図８を参照すると、ＵＥは、慣性計測ユニット（ＩＭＵ）４０を更に含む。深度画像Ｄ＿Ｉから平面パラメータを推定する方法は、ＩＭＵ４０のデータから透視垂直座標軸ＰＶ＿ＣＡ及び透視水平座標軸ＰＨ＿ＣＡを推定するステップを更に含む。

詳細には、図８を参照すると、ＵＥ１００は、ＩＭＵ４０のデータから深度画像Ｄ＿Ｉの透視垂直座標軸ＰＶ＿ＣＡ及び透視水平座標軸ＰＨ＿ＣＡを推定し、ＩＭＵ４０のデータから深度画像Ｄ＿Ｉ’の透視垂直座標軸ＰＶ＿ＣＡ’及び透視水平座標軸ＰＨ＿ＣＡ’を推定する。

いくつかの実施形態において、図５及び図９を参照すると、深度画像Ｄ＿Ｉから焦点距離データを算出する方法は、焦点距離ＦＤ＿１～ＦＤ＿４に対応する被写界深度の領域ＤＦ＿Ａ１～ＤＦ＿Ａ４が重なってカラー画像Ｃ＿Ｉの全体をカバーするように、いくつかの焦点距離ＦＤ＿１～ＦＤ＿４を決定するステップを含む。

詳細には、図９及び図１０を参照すると、ＵＥ１００の焦点位置Ｆ＿１は、焦点距離ＦＤ＿１及び被写界深度ＤＦ＿１を有する。被写体上の被写界深度ＤＦ＿１の交差領域（ｉｎｔｅｒｓｅｃｔｉｏｎａｒｅａ）は、被写界深度の領域ＤＦ＿Ａ１である。被写界深度の領域ＤＦ＿Ａ１は、深度画像Ｄ＿Ｉのデータから算出することができる。一方、ＵＥ１００の焦点位置Ｆ＿２は、焦点距離ＦＤ＿２及び被写界深度ＤＦ＿２を有する。被写体上の被写界深度ＤＦ＿２の交差領域は、被写界深度の領域ＤＦ＿Ａ２である。ＵＥ１００の焦点位置Ｆ＿３は、焦点距離ＦＤ＿３及び被写界深度ＤＦ＿３を有する。被写体上の被写界深度ＤＦ＿３の交差領域は、被写界深度の領域ＤＦ＿Ａ３である。ＵＥ１００の焦点位置Ｆ＿４は、焦点距離ＦＤ＿４及び被写界深度ＤＦ＿４を有する。被写体上の被写界深度ＤＦ＿４の交差領域は、被写界深度の領域ＤＦ＿Ａ４である。

詳細には、図５、図９及び図１０を参照すると、ＵＥ１００は、焦点位置Ｆ＿１～Ｆ＿４に対応する被写界深度の領域ＤＦ＿Ａ１～ＤＦ＿Ａ４が重なってカラー画像Ｃ＿Ｉの全体をカバーするように、いくつかの焦点位置Ｆ＿１～Ｆ＿４を決定する。ＵＥ１００は、焦点位置Ｆ＿１～Ｆ＿４に対応する被写界深度の領域ＤＦ＿Ａ１’～ＤＦ＿Ａ４’が重なってカラー画像Ｃ＿Ｉ’の全体をカバーするように、いくつかの焦点位置Ｆ＿１’～Ｆ＿４’を決定する。

いくつかの実施形態において、図５を参照すると、深度画像Ｄ＿Ｉから焦点距離データを算出する方法は、被写界深度の領域ＤＦ＿Ａ１～ＤＦ＿Ａ４がそれぞれテクスチャを有するか否かを判定するステップを更に含む。

詳細には、図３、図１１及び図１２を参照すると、プロセッサ２０は、画像感知モジュール１０を制御して、焦点距離データから焦点距離ＦＤ＿２において部分合焦画像ＰＦ＿Ｉ２を撮影し、焦点距離データから焦点距離ＦＤ＿３において部分合焦画像ＰＦ＿Ｉ３を撮影し、部分合焦画像ＰＦ＿Ｉ２から合焦画像データを切り取り、部分合焦画像ＰＦ＿Ｉ３から合焦画像データを切り取り、これらの合焦画像データを完全合焦画像ＷＦ＿Ｉに合成する。プロセッサ２０は、画像感知モジュール１０を制御して、部分合焦画像ＰＦ＿Ｉ２’を撮影し、部分合焦画像ＰＦ＿Ｉ３’を撮影し、部分合焦画像ＰＦ＿Ｉ２’から合焦画像データを切り取り、部分合焦画像ＰＦ＿Ｉ３’から合焦画像データを切り取り、これらの合焦画像データを完全合焦画像ＷＦ＿Ｉ’に合成する。

いくつかの実施形態において、図３を参照すると、プロセッサ２０は、完全合焦画像ＷＦ＿Ｉを非透視画像ＮＰ＿Ｉに調整する。いくつかの実施形態において、図３、図６及び図１３を参照すると、完全合焦画像ＷＦ＿Ｉを非透視画像ＮＰ＿Ｉに調整する方法は、深度画像Ｄ＿Ｉから算出された透視座標軸Ｐ＿ＣＡにおいて完全合焦画像ＷＦ＿Ｉの四隅Ｃ１～Ｃ４の座標データを推定するステップと、完全合焦画像ＷＦ＿Ｉをドラッグして実世界座標軸Ｒ＿ＣＡにおいて非透視画像ＮＰ＿Ｉを形成するステップとを含む。

詳細には、ＵＥ１００は、深度画像Ｄ＿Ｉから算出された透視座標軸Ｐ＿ＣＡにおいて完全合焦画像ＷＦ＿Ｉの四隅Ｃ１～Ｃ４の座標データを推定した後、完全合焦画像ＷＦ＿Ｉをドラッグして実世界座標軸Ｒ＿ＣＡにおいて非透視画像ＮＰ＿Ｉを形成する。詳細には、ＵＥ１００は、透視座標軸Ｐ＿ＣＡから実世界座標軸Ｒ＿ＣＡへの変換行列を提供する。完全合焦画像ＷＦ＿Ｉは、完全合焦画像ＷＦ＿Ｉのデータに変換行列を乗算することによって、非透視画像ＮＰ＿Ｉに変換される。一方、ＵＥ１００は、深度画像Ｄ＿Ｉ’から算出された透視座標軸Ｐ＿ＣＡ’において完全合焦画像ＷＦ＿Ｉ’の四隅Ｃ１’～Ｃ４’の座標データを推定した後、完全合焦画像ＷＦ＿Ｉ’をドラッグして実世界座標軸Ｒ＿ＣＡにおいて非透視画像ＮＰ＿Ｉ’を形成する。

いくつかの実施形態において、図１４を参照すると、プロセッサ２０は、いくつかの非透視画像ＮＰ＿Ｉを単一画像Ｓ＿Ｉに合成する。

詳細には、プロセッサ２０は、非透視画像ＮＰ＿Ｉ、ＮＰ＿Ｉ’を単一画像Ｓ＿Ｉに合成する。

いくつかの実施形態において、図１５を参照すると、ＵＥ１００は、表示モジュール３０を更に含み、プロセッサ２０は、表示モジュール３０に表示された単一画像Ｓ＿Ｉにトリミング候補枠ＴＣ＿Ｆを設定する。いくつかの実施形態において、図２を参照すると、画像感知モジュール１０は、カラー画像Ｃ＿Ｉを感知するカメラモジュール１１と、深度画像Ｄ＿Ｉを感知する深度感知モジュール１２とを含む。いくつかの実施形態において、図２を参照すると、画像感知モジュール１０は、カメラモジュール１１及び深度感知モジュール１２を制御する画像プロセッサ１３を更に含む。いくつかの実施形態において、図２を参照すると、カメラモジュール１１は、レンズモジュール１１１と、画像センサ１１２と、画像センサドライバ１１３と、合焦及び光学画像安定化（ＯＩＳ）ドライバ１１４と、合焦及びＯＩＳアクチュエータ１１５と、ジャイロセンサ１１６とを含む。画像センサドライバ１１３は、画像センサ１１２を制御して画像を撮影する。合焦及びＯＩＳドライバ１１４は、合焦及びＯＩＳアクチュエータ１１５を制御してレンズモジュール１１１の焦点を合わせ、レンズモジュール１１１を動かして人間の手振れを補償する。ジャイロセンサ１１６は、合焦及びＯＩＳドライバ１１４に動きデータを提供する。

いくつかの実施形態において、図２を参照すると、深度感知モジュール１２は、プロジェクター１２４と、レンズ１２１と、レンジセンサ１２２と、レンジセンサドライバ１２３とを含む。レンジセンサドライバ１２３は、プロジェクター１２４を制御してドットマトリックスパルス光を投射し、レンジセンサ１２２を制御してレンズ１２１によって合焦した反射ドットマトリックス画像を撮影する。いくつかの実施形態において、図２を参照すると、ＵＥ１００は、プログラム、画像データ、平面パラメータ及び変換行列を記録するメモリ５０を更に含む。いくつかの実施形態において、深度画像Ｄ＿Ｉは、点群データを含む。いくつかの実施形態において、図２を参照すると、ＵＥ１００は、人間の指示を受け付ける入力モジュール６０と、マルチメディアデータを圧縮及び解凍するコーデック７０と、コーデック７０に接続されたスピーカ８０及びマイク９０と、メッセージを送受信する無線通信モジュール９１と、測位情報を提供する全地球的航法衛星システム（ＧＮＳＳ）モジュール９２とを更に含む。

また、図３を参照すると、いくつかの実施形態において、斜視補正方法は、ブロックＳ１００で、画像感知モジュール１０によってカラー画像Ｃ＿Ｉ、赤外線（ＩＲ）画像ＩＲ＿Ｉ及び深度画像Ｄ＿Ｉを撮影するステップと、ブロックＳ２００で、深度画像Ｄ＿Ｉから平面パラメータを推定するステップと、ブロックＳ３００で、深度画像Ｄ＿Ｉから焦点距離データを算出するステップと、ブロックＳ４００で、画像感知モジュール１０によって、焦点距離データからこれらの焦点距離ＦＤ＿１～ＦＤ＿４において部分合焦画像ＰＦ＿Ｉを撮影するステップと、ブロックＳ５００で、部分合焦画像ＰＦ＿Ｉから合焦画像データを切り取り、これらの合焦画像データを完全合焦画像ＷＦ＿Ｉに合成するステップとを含む。

詳細には、図２及び図７を参照すると、ＵＥ１００のプロセッサ２０は、画像感知モジュール１０を制御して、例えば、被写体の左側のカラー画像Ｃ＿Ｉ、赤外線（ＩＲ）画像ＩＲ＿Ｉ及び深度画像Ｄ＿Ｉを撮影し、被写体の右側のカラー画像Ｃ＿Ｉ’、赤外線（ＩＲ）画像ＩＲ＿Ｉ’及び深度画像Ｄ＿Ｉ’を撮影する。

いくつかの実施形態において、図４及び図８を参照すると、ブロックＳ２００で、深度画像Ｄ＿Ｉから平面パラメータを推定するステップは、ブロックＳ２１０で、深度画像Ｄ＿Ｉから平面の法線ベクトルＮ＿Ｖを推定するステップを含む。

いくつかの実施形態において、図２、４及び８を参照すると、ブロックＳ２００で、深度画像から平面パラメータを推定するステップは、ブロックＳ２２０で、ＩＭＵ４０のデータから透視垂直座標軸ＰＶ＿ＣＡ及び透視水平座標軸ＰＨ＿ＣＡを推定するステップを更に含む。

いくつかの実施形態において、図５及び図９を参照すると、ブロックＳ３００で、深度画像から焦点距離データを算出するステップは、ブロックＳ３１０で、焦点距離ＦＤ＿１～ＦＤ＿４に対応する被写界深度の領域ＤＦ＿Ａ１～ＤＦ＿Ａ４が重なってカラー画像Ｃ＿Ｉの全体をカバーするように、いくつかの焦点距離ＦＤ＿１～ＦＤ＿４を決定するステップを含む。

詳細には、図９及び図１０を参照すると、ＵＥ１００の焦点位置Ｆ＿１は、焦点距離ＦＤ＿１及び被写界深度ＤＦ＿１を有する。被写体上の被写界深度ＤＦ＿１の交差領域は、被写界深度の領域ＤＦ＿Ａ１である。被写界深度の領域ＤＦ＿Ａ１は、深度画像Ｄ＿Ｉのデータから算出することができる。一方、ＵＥ１００の焦点位置Ｆ＿２は、焦点距離ＦＤ＿２及び被写界深度ＤＦ＿２を有する。被写体上の被写界深度ＤＦ＿２の交差領域は、被写界深度の領域ＤＦ＿Ａ２である。ＵＥ１００の焦点位置Ｆ＿３は、焦点距離ＦＤ＿３及び被写界深度ＤＦ＿３を有する。被写体上の被写界深度ＤＦ＿３の交差領域は、被写界深度の領域ＤＦ＿Ａ３である。ＵＥ１００の焦点位置Ｆ＿４は、焦点距離ＦＤ＿４及び被写界深度ＤＦ＿４を有する。被写体上の被写界深度ＤＦ＿４の交差領域は、被写界深度の領域ＤＦ＿Ａ４である。

詳細には、図５、図９及び図１０を参照すると、ＵＥ１００は、焦点位置Ｆ＿１～Ｆ＿４に対応する被写界深度の領域ＤＦ＿Ａ１～ＤＦ＿Ａ４が重なってカラー画像Ｃ＿Ｉの全体をカバーするように、いくつかの焦点位置Ｆ＿１～Ｆ＿４を決定する。ＵＥ１００は、焦点位置Ｆ＿１’～Ｆ＿４’に対応する被写界深度の領域ＤＦ＿Ａ１’～ＤＦ＿Ａ４’が重なってカラー画像Ｃ＿Ｉ’の全体をカバーするように、いくつかの焦点位置Ｆ＿１’～Ｆ＿４’を決定する。

いくつかの実施形態において、ブロックＳ３００で、深度画像から焦点距離データを算出するステップは、ブロックＳ３２０で、被写界深度の領域ＤＦ＿Ａ１～ＤＦ＿Ａ４がそれぞれテクスチャを有するか否かを判定するステップを更に含む。

いくつかの実施形態において、図３を参照すると、斜視補正方法は、ブロックＳ６００で、完全合焦画像ＷＦ＿Ｉを非透視画像ＮＰ＿Ｉに調整するステップを更に含む。いくつかの実施形態において、図３、図６及び図１３を参照すると、ブロックＳ６００で、完全合焦画像ＷＦ＿Ｉを非透視画像ＮＰ＿Ｉに調整するステップは、ブロックＳ６１０で、深度画像Ｄ＿Ｉから算出された透視座標軸Ｐ＿ＣＡにおいて完全合焦画像ＷＦ＿Ｉの四隅Ｃ１～Ｃ４の座標データを推定するステップと、ブロックＳ６２０で、完全合焦画像ＷＦ＿Ｉをドラッグして実世界座標軸Ｒ＿ＣＡにおいて非透視画像ＮＰ＿Ｉを形成するステップとを更に含む。

詳細には、ＵＥ１００は、深度画像Ｄ＿Ｉから算出された透視座標軸Ｐ＿ＣＡにおいて完全合焦画像ＷＦ＿Ｉの四隅Ｃ１～Ｃ４の座標データを推定した後、完全合焦画像ＷＦ＿Ｉをドラッグして実世界座標軸Ｒ＿ＣＡにおいて非透視画像ＮＰ＿Ｉを形成する。詳細には、ＵＥ１００は、透視座標軸Ｐ＿ＣＡから実世界座標軸Ｒ＿ＣＡへの変換行列を提供する。完全合焦画像ＷＦ＿Ｉは、完全合焦画像ＷＦ＿Ｉのデータに変換行列を乗算することによって、非透視画像ＮＰ＿Ｉに変換される。一方、ＵＥ１００は、深度画像Ｄ＿Ｉ’から算出された透視座標軸Ｐ＿ＣＡ’において完全合焦画像ＷＦ＿Ｉ’の四隅Ｃ１’～Ｃ４’の座標データを推定した後、完全合焦画像ＷＦ＿Ｉ’をドラッグして実世界座標軸Ｒ＿ＣＡにおいて非透視画像ＮＰ＿Ｉ’を形成する。いくつかの実施形態において、図１４を参照すると、斜視補正方法は、ブロックＳ７００で、いくつかの非透視画像ＮＰ＿Ｉを単一画像Ｓ＿Ｉに合成するステップを更に含む。

いくつかの実施形態において、図１５を参照すると、斜視補正方法は、ブロックＳ８００で、表示モジュール３０に表示された単一画像Ｓ＿Ｉにトリミング候補枠ＴＣ＿Ｆを設定するステップを更に含む。いくつかの実施形態において、図２を参照すると、画像感知モジュール１０は、カラー画像Ｃ＿Ｉを感知するカメラモジュール１１と、深度画像Ｄ＿Ｉを感知する深度感知モジュール１２とを含む。いくつかの実施形態において、図２を参照すると、画像感知モジュール１０は、カメラモジュール１１及び深度感知モジュール１２を制御する画像プロセッサ１３を更に含む。

いくつかの実施形態において、図２を参照すると、カメラモジュール１１は、レンズモジュール１１１と、画像センサ１１２と、画像センサドライバ１１３と、合焦及び光学画像安定化（ＯＩＳ）ドライバ１１４と、合焦及びＯＩＳアクチュエータ１１５と、ジャイロセンサ１１６とを含む。画像センサドライバ１１３は、画像センサ１１２を制御して画像を撮影する。合焦及びＯＩＳドライバ１１４は、合焦及びＯＩＳアクチュエータ１１５を制御してレンズモジュール１１１の焦点を合わせ、レンズモジュール１１１を動かして人間の手振れを補償する。ジャイロセンサ１１６は、合焦及びＯＩＳドライバ１１４に動きデータを提供する。いくつかの実施形態において、図２を参照すると、深度感知モジュール１２は、プロジェクター１２４と、レンズ１２１と、レンジセンサ１２２と、レンジセンサドライバ１２３とを含む。レンジセンサドライバ１２３は、プロジェクター１２４を制御してドットマトリックスパルス光を投射し、レンジセンサ１２２を制御してレンズ１２１によって合焦した反射ドットマトリックス画像を撮影する。

いくつかの実施形態において、図２を参照すると、斜視補正方法は、プログラム、画像データ、平面パラメータ及び変換行列を記録するメモリ５０を提供するステップを更に含む。いくつかの実施形態において、深度画像Ｄ＿Ｉは、点群データを含む。いくつかの実施形態において、図２を参照すると、斜視補正方法は、人間の指示を受け付ける入力モジュール６０と、マルチメディアデータを圧縮及び解凍するコーデック７０と、コーデック７０に接続されたスピーカ８０及びマイク９０と、メッセージを送受信する無線通信モジュール９１と、測位情報を提供する全地球的航法衛星システム（ＧＮＳＳ）モジュール９２とを提供するステップを更に含む。

斜視補正方法の利点は、以下の２点を含む。
１．透視歪みの無い単一の完全合焦画像を提供する。
２．カメラの撮影領域の幅よりも大きい横幅を有する被写体の単一画像を提供する。

本開示の実施形態において、ＵＥ及び斜視補正方法を提供する。透視歪みの無い単一の合焦画像を提供するために、ＵＥの画像センサ通信方法は、画像感知モジュールによってカラー画像、赤外線画像及び深度画像を撮影するステップと、深度画像から平面パラメータを推定するステップと、深度画像から焦点距離データを算出するステップと、画像感知モジュールによって、焦点距離データからこれらの焦点距離において部分合焦画像を撮影するステップと、部分合焦画像から合焦画像データを切り取り、これらの合焦画像データを完全合焦画像に合成するステップとを含む。

本開示の実施形態で説明及び開示されるユニット、アルゴリズム及びステップのそれぞれは、電子ハードウェア、又はコンピュータのソフトウェアと電子ハードウェアとの組み合わせを使用して実現されることが当業者に理解される。機能がハードウェアによって実行されるかソフトウェアによって実行されるかは、技術案の適用条件と設計要件に依存する。当業者は、異なる方法を使用して、特定の用途ごとに機能を実現することができるが、そのような実現は、本開示の範囲を超えてはならない。上述したシステム、装置及びユニットの動作プロセスが基本的に同じであるので、上述した実施形態におけるシステム、装置及びユニットの動作プロセスを参照することができることは、当業者に理解される。説明の便宜及び簡潔にするために、これらの動作プロセスについては詳しく説明しない。本開示の実施形態における開示されたシステム、装置及び方法は、他の方法によって実現できることが理解される。上述した実施形態は例示である。ユニットの分割は、単に論理的機能に基づくものであり、他の分割は実現可能である。複数のユニット又はコンポーネントは、他のシステムに組み合わされてもよく、統合されてもよい。一部の特徴が省略されてもよく、スキップされてもよい。一方、表示又は議論された相互結合、直接結合又は通信結合は、電気的、機械的又は他の種類の形態による間接的又は通信的であるかどうかにかかわらず、いくつかのポート、装置又はユニットを介して動作する。分離コンポーネントとして説明したユニットは、物理的に分離していてもよく、分離していなくてもよい。表示用のユニットは、物理的なユニットであってもなくてもよく、すなわち、１箇所に配置されていてもよく、複数のネットワークユニットに分散してもよい。実施形態の目的に従って一部又は全部のユニットを使用する。更に、各実施形態における各機能ユニットが１つの処理ユニットに統合されてもよく、物理的に独立してもよく、２つ以上のユニットが１つの処理ユニットに統合されてもよい。ソフトウェア機能ユニットが実現され、製品として使用及び販売される場合、コンピュータの読み取り可能な記憶媒体に記憶することができる。この理解に基づいて、本開示が提案する技術案は、本質的に又は部分的にソフトウェア製品の形態として実現することができる。或いは、従来技術に有益な技術案の一部を、ソフトウェア製品の形態として実現することができる。コンピュータのソフトウェア製品は、本開示の実施形態に開示されるステップの全部又は一部を演算装置（パーソナルコンピュータ、サーバー又はネットワークデバイスなど）に実行させる複数の命令を含む記憶媒体に、格納される。記憶媒体は、プログラムコードを記憶可能なＵＳＢディスク、モバイルハードディスク、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、フロッピーディスク又は他の種類の媒体を含む。

本開示は、最も実用的かつ好ましい実施形態と考えられるものに関連して説明された。しかし、本開示は、開示された実施形態に限定されるものではなく、添付の特許請求の範囲の最も広い解釈の範囲から逸脱することなくなされた様々なアレンジをカバーすることを意図していることが理解される。

Claims

画像感知モジュールと、
前記画像感知モジュールに接続されたプロセッサとを含むユーザ機器であって、
前記プロセッサは、
前記画像感知モジュールを制御してカラー画像、赤外線（ＩＲ）画像及び深度画像を撮影し、
前記深度画像から平面パラメータを推定し、
前記深度画像から焦点距離データを算出し、
前記画像感知モジュールを制御して前記焦点距離データからこれらの焦点距離において部分合焦画像を撮影し、
前記部分合焦画像から合焦画像データを切り取り、これらの合焦画像データを完全合焦画像に合成することを特徴とする、ユーザ機器。
前記プロセッサは、前記完全合焦画像を非透視画像に調整することを特徴とする、請求項１に記載のユーザ機器。
前記完全合焦画像を非透視画像に調整することは、前記深度画像から算出された透視座標軸において前記完全合焦画像の四隅の座標データを推定することと、前記完全合焦画像をドラッグして実世界座標軸において非透視画像を形成することとを含むことを特徴とする、請求項２に記載のユーザ機器。
前記プロセッサは、いくつかの前記非透視画像を単一画像に合成することを特徴とする、請求項２に記載のユーザ機器。
表示モジュールを更に含み、前記プロセッサは、前記表示モジュールに表示された前記単一画像にトリミング候補枠を設定することを特徴とする、請求項４に記載のユーザ機器。
前記深度画像から平面パラメータを推定することは、前記深度画像から平面の法線ベクトルを推定することを含むことを特徴とする、請求項１に記載のユーザ機器。
慣性計測ユニット（ＩＭＵ）を更に含み、前記深度画像から平面パラメータを推定することは、ＩＭＵのデータから透視垂直座標軸及び透視水平座標軸を推定することを更に含むことを特徴とする、請求項６に記載のユーザ機器。
前記深度画像から焦点距離データを算出することは、焦点距離に対応する被写界深度の領域が重なって前記カラー画像の全体をカバーするように、いくつかの焦点距離を決定することを含むことを特徴とする、請求項１に記載のユーザ機器。
前記深度画像から焦点距離データを算出することは、前記被写界深度の各領域がテクスチャを有するか否かを判定することを更に含むことを特徴とする、請求項８に記載のユーザ機器。
前記画像感知モジュールは、カラー画像を感知するカメラモジュールと、深度画像を感知する深度感知モジュールとを含むことを特徴とする、請求項１～９のいずれか１項に記載のユーザ機器。
前記画像感知モジュールは、前記カメラモジュール及び前記深度感知モジュールを制御する画像プロセッサを更に含むことを特徴とする、請求項１０に記載のユーザ機器。
前記カメラモジュールは、レンズモジュールと、画像センサと、画像センサドライバと、合焦及び光学画像安定化（ＯＩＳ）ドライバと、合焦及びＯＩＳアクチュエータと、ジャイロセンサとを含み、前記画像センサドライバは、前記画像センサを制御して画像を撮影し、前記合焦及びＯＩＳドライバは、前記合焦及びＯＩＳアクチュエータを制御して前記レンズモジュールの焦点を合わせ、前記レンズモジュールを動かして人間の手振れを補償し、前記ジャイロセンサは、前記合焦及びＯＩＳドライバに動きデータを提供することを特徴とする、請求項１０に記載のユーザ機器。
前記深度感知モジュールは、プロジェクターと、レンズと、レンジセンサと、レンジセンサドライバとを含み、前記レンジセンサドライバは、前記プロジェクターを制御してドットマトリックスパルス光を投射し、前記レンジセンサを制御して前記レンズによって合焦した反射ドットマトリックス画像を撮影することを特徴とする、請求項１０に記載のユーザ機器。
プログラム、画像データ、平面パラメータ及び変換行列を記録するメモリを更に含むことを特徴とする、請求項１～１３のいずれか１項に記載のユーザ機器。
前記深度画像は、点群データを含むことを特徴とする、請求項１～１４のいずれか１項に記載のユーザ機器。
人間の指示を受け付ける入力モジュールと、マルチメディアデータを圧縮及び解凍するコーデックと、前記コーデックに接続されたスピーカ及びマイクと、メッセージを送受信する無線通信モジュールと、測位情報を提供する全地球的航法衛星システム（ＧＮＳＳ）モジュールとを更に含むことを特徴とする、請求項１～１５のいずれか１項に記載のユーザ機器。
画像感知モジュールによってカラー画像、赤外線（ＩＲ）画像及び深度画像を撮影するステップと、
前記深度画像から平面パラメータを推定するステップと、
前記深度画像から焦点距離データを算出するステップと、
前記画像感知モジュールによって、焦点距離データからこれらの焦点距離において部分合焦画像を撮影するステップと、
前記部分合焦画像から合焦画像データを切り取り、これらの合焦画像データを完全合焦画像に合成するステップとを含むことを特徴とする、斜視補正方法。
前記完全合焦画像を非透視画像に調整するステップを更に含むことを特徴とする、請求項１７に記載の斜視補正方法。
前記完全合焦画像を非透視画像に調整するステップは、前記深度画像から算出された透視座標軸において前記完全合焦画像の四隅の座標データを推定するステップと、前記完全合焦画像をドラッグして実世界座標軸において非透視画像を形成するステップとを更に含むことを特徴とする、請求項１８に記載の斜視補正方法。
いくつかの前記非透視画像を単一画像に合成するステップを更に含むことを特徴とする、請求項１８に記載の斜視補正方法。
表示モジュールに表示された単一画像にトリミング候補枠を設定するステップを更に含むことを特徴とする、請求項１８に記載の斜視補正方法。
前記深度画像から平面パラメータを推定するステップは、前記深度画像から平面の法線ベクトルを推定するステップを含むことを特徴とする、請求項１７に記載の斜視補正方法。
前記深度画像から平面パラメータを推定するステップは、ＩＭＵのデータから透視垂直座標軸及び透視水平座標軸を推定するステップを更に含むことを特徴とする、請求項１７に記載の斜視補正方法。
前記深度画像から焦点距離データを算出するステップは、焦点距離に対応する被写界深度の領域が重なって前記カラー画像の全体をカバーするように、いくつかの焦点距離を決定するステップを含むことを特徴とする、請求項１７に記載の斜視補正方法。
前記深度画像から焦点距離データを算出するステップは、被写界深度の各領域がテクスチャを有するか否かを判定するステップを更に含むことを特徴とする、請求項２４に記載の斜視補正方法。
前記画像感知モジュールは、カラー画像を感知するカメラモジュールと、深度画像を感知する深度感知モジュールとを含むことを特徴とする、請求項１７～２５のいずれか１項に記載の斜視補正方法。
前記画像感知モジュールは、前記カメラモジュール及び前記深度感知モジュールを制御する画像プロセッサを更に含むことを特徴とする、請求項２６に記載の斜視補正方法。
前記カメラモジュールは、レンズモジュールと、画像センサと、画像センサドライバと、合焦及び光学画像安定化（ＯＩＳ）ドライバと、合焦及びＯＩＳアクチュエータと、ジャイロセンサとを含み、前記画像センサドライバは、前記画像センサを制御して画像を撮影し、前記合焦及びＯＩＳドライバは、前記合焦及びＯＩＳアクチュエータを制御して前記レンズモジュールの焦点を合わせ、前記レンズモジュールを動かして人間の手振れを補償し、前記ジャイロセンサは、前記合焦及びＯＩＳドライバに動きデータを提供することを特徴とする、請求項２６に記載の斜視補正方法。
前記深度感知モジュールは、プロジェクターと、レンズと、レンジセンサと、レンジセンサドライバとを含み、前記レンジセンサドライバは、前記プロジェクターを制御してドットマトリックスパルス光を投射し、前記レンジセンサを制御して前記レンズによって合焦した反射ドットマトリックス画像を撮影することを特徴とする、請求項２６に記載の斜視補正方法。
プログラム、画像データ、前記平面パラメータ及び変換行列を記録するメモリを提供するステップを更に含むことを特徴とする、請求項１７～２９のいずれか１項に記載の斜視補正方法。
前記深度画像は、点群データを含むことを特徴とする、請求項１７～３０のいずれか１項に記載の斜視補正方法。
人間の指示を受け付ける入力モジュールと、マルチメディアデータを圧縮及び解凍するコーデックと、前記コーデックに接続されたスピーカ及びマイクと、メッセージを送受信する無線通信モジュールと、測位情報を提供する全地球的航法衛星システム（ＧＮＳＳ）モジュールとを提供するステップを更に含むことを特徴とする、請求項１７～３１のいずれか１項に記載の斜視補正方法。