JP2022506753A - 深度情報の取得方法および電子デバイス - Google Patents

深度情報の取得方法および電子デバイス Download PDF

Info

Publication number
JP2022506753A
JP2022506753A JP2021524333A JP2021524333A JP2022506753A JP 2022506753 A JP2022506753 A JP 2022506753A JP 2021524333 A JP2021524333 A JP 2021524333A JP 2021524333 A JP2021524333 A JP 2021524333A JP 2022506753 A JP2022506753 A JP 2022506753A
Authority
JP
Japan
Prior art keywords
camera
electronic device
image information
speckle
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021524333A
Other languages
English (en)
Inventor
国▲喬▼ ▲陳▼
梦尤 袁
江峰 袁
Original Assignee
オーナー・デヴァイス・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オーナー・デヴァイス・カンパニー・リミテッド filed Critical オーナー・デヴァイス・カンパニー・リミテッド
Publication of JP2022506753A publication Critical patent/JP2022506753A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/514—Depth or shape recovery from specularities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)

Abstract

本出願の実施形態は、深度情報を取得するための方法および電子デバイスを提供する。本方法は、画像処理技術の分野に適用され、電子デバイスによる深度情報の取得の精度の改善を助けることができる。具体的な解決策は、電子デバイスが、第1のカメラと、第2のカメラと、赤外線プロジェクタとを含むことを含む。電子デバイスは、対象の物体の深度情報を得るように電子デバイスをトリガするために使用される第1の命令を受信し、第1の命令に応答して赤外線プロジェクタを使用することによって光点を有する赤外光を送信し、第1のカメラを使用することによって対象の物体の第1の画像情報を収集し、第2のカメラを使用することによって対象の物体の第2の画像情報を収集し、第1の画像情報および第2の画像情報は、対象の物体の特徴と、光点を有する赤外光が対象の物体へと照射されたときに形成されるテクスチャ特徴とを含み、第1の画像情報、第2の画像情報、第1の長さ、第1のカメラのレンズ焦点距離、および第2のカメラのレンズ焦点距離に基づいて、対象の物体の深度情報を計算する。

Description

本出願の実施形態は、画像処理技術の分野に関し、とくには、深度情報を取得するための方法および電子デバイスに関する。
電子技術の発展に伴い、電子デバイスの機能は、ますます多様化している。例えば、電子デバイスは、顔認識および拡張現実（augmented reality、AR）などの機能を含み得る。顔認識を一例として使用すると、顔認識の実行時に、電子デバイスは、対象の物体（例えば、人間の顔）の2次元画像を収集するだけでなく、対象の物体の深度情報も取得することができる。
具体的には、電子デバイスは、両眼カメラ（すなわち、例えばカメラ1およびカメラ2などの2つのカメラ）を使用して対象の物体の画像情報を別々に収集し、次いで、カメラ1によって収集された画像情報とカメラ2によって収集された画像情報とにおいて同じ特徴を特定して、この同じ特徴についてカメラ1とカメラ2との間の視差を計算し、次いで、視差ならびにカメラ1およびカメラ2のハードウェアパラメータに基づいて、この特徴の地点の深度（すなわち、この地点から2つのカメラを結ぶ線までの垂直距離）を計算することができる。対象の物体の複数の地点の深度が、対象の物体の深度情報を構成することができる。対象の物体の深度情報は、対象の物体の3次元特徴を表すことができる。
カメラ1およびカメラ2によって収集された画像情報内の特徴の量が多いほど、カメラ1によって収集された画像情報およびカメラ2によって収集された画像情報において電子デバイス100によって特定される同じ特徴の量が多くなると、理解することができる。電子デバイスによって特定される同じ特徴の量が多いほど、電子デバイスはより多くの地点の深度を計算することができ、対象の物体の深度情報がより正確になる。
カメラによって収集される画像情報に含まれる特徴の量は、少なくとも以下の2つのパラメータに左右される。（1）対象の物体が明白な特徴を有するかどうか。例えば、対象の物体が明確なエッジおよび角を有する（すなわち、対象の物体が比較的明白な特徴を有する）場合、カメラによって収集される対象の物体の画像情報は、比較的大量の特徴を含むことができるが、対象の物体が比較的滑らかであり、すなわち対象の物体（例えば、白い壁）が明白な特徴を持たない場合、カメラによって収集される対象の物体の画像情報は、比較的少量の特徴しか含まない。（2）光強度。例えば、光が比較的強い場合、カメラによって収集される画像情報は、比較的大量の特徴を含むが、光が比較的乏しい場合、カメラによって収集される画像情報は、比較的少量の特徴しか含まない。
要約すると、両眼カメラによって収集された画像情報内の特徴の量が多いほど、電子デバイスによって計算される対象の物体の深度情報の精度が高くなる。しかしながら、両眼カメラによって収集される画像情報内の特徴量は、複数の要因に左右される。換言すると、深度情報の精度は、複数の要因に影響される。したがって、電子デバイスが比較的正確な深度情報を取得することは、きわめて困難である。
本出願の実施形態は、電子デバイスによって取得される対象の物体の深度情報の精度を改善するために、深度情報を取得するための方法および電子デバイスを提供する。
第1の態様によれば、本出願の実施形態は、深度情報を取得するための方法を提供する。本方法は、電子デバイスに適用され得る。電子デバイスは、赤外線プロジェクタと、第1のカメラと、第2のカメラとを含む。第1のカメラと第2のカメラとの間の距離は、第1の長さである。本方法は、電子デバイスが、対象の物体の深度情報を得るように電子デバイスをトリガするために使用される第1の命令を受信し、第1の命令に応答して赤外線プロジェクタを使用することによって光点を有する赤外光を放射し、第1のカメラを使用することによって対象の物体の第1の画像情報を収集し、第2のカメラを使用することによって対象の物体の第2の画像情報を収集し、第1の画像情報、第2の画像情報、第1の長さ、第1のカメラのレンズ焦点距離、および第2のカメラのレンズ焦点距離に基づいて、対象の物体の深度情報を計算することを含む。
第1のカメラによって収集される画像情報および第2のカメラによって収集される画像情報において、特徴の量が多くなり、特徴がより明白になることで、電子デバイスによって第1の画像情報および第2の画像情報において特定される同一の特徴の量が多くなる。電子デバイスによって同一の特徴がより多く特定されることで、電子デバイスは、特徴が位置するより多くの地点について深度を計算することができる。対象の物体の深度情報は、対象の物体の複数の地点の深度を含むため、電子デバイスによって深度が計算される地点の量が多いほど、対象の物体の深度情報の精度が高くなる。
この実施形態において、第1の画像情報および第2の画像情報は、対象の物体の特徴と、光点を有する赤外光が対象の物体へと照射されたときに形成されるテクスチャ特徴とを含む。換言すると、第1の画像情報および第2の画像情報は、対象の物体の特徴だけでなく、対象の物体へと光点を有する赤外光が照射されたときに形成されるテクスチャ特徴も含む。
第1のカメラおよび第2のカメラによって収集される対象の物体の画像内の特徴の量が増やされた後に、電子デバイスは、第1のカメラによって収集された画像情報内および第2のカメラによって収集された画像情報内の同一の特徴をより正確に特定でき、同一の特徴についての第1のカメラと第2のカメラとの間の視差をさらに決定し、各地点の深度を計算して対象の物体の深度情報を取得することができる。これにより、電子デバイスによって計算される対象の物体の深度情報の精度を向上させることができる。
第1の態様に関連して、1つの可能な設計のやり方において、第1のカメラのレンズ焦点距離は、第2のカメラのレンズ焦点距離と同じである。
第1の態様に関連して、別の可能な設計のやり方においては、電子デバイスによって、第1の画像情報、第2の画像情報、第1の長さ、第1のカメラのレンズ焦点距離、および第2のカメラのレンズ焦点距離に基づいて、対象の物体の深度情報を計算する方法が、電子デバイスが、第1の画像情報および第2の画像情報における複数の第1の特徴について、第1のカメラと第2のカメラとの間の視差を計算することを含むことができ、第1の特徴は、第1の画像情報および第2の画像情報における同一の特徴である。第1の特徴の各々について、電子デバイスは、第1の特徴が位置する地点の深度Zを、以下の式（2）を使用することにより、第1の特徴についての第1のカメラと第2のカメラとの間の視差、第1の長さ、およびレンズ焦点距離に基づいて計算し、対象の物体の深度情報を取得する。
Figure 2022506753000002
式中、fはレンズ焦点距離であり、dは第1の特徴についての第1のカメラと第2のカメラとの間の視差であり、Tは第1の長さである。
対象の物体の特徴（例えば、人物の鼻先および目）とカメラとの間の距離が、さまざまであり得ることが、理解されることができるであろう。対象の物体の各特徴とカメラとの間の距離は、その特徴（または、その特徴が位置する地点）の深度と呼ばれる。対象の物体の地点の深度が、対象の物体の深度情報を構成する。対象の物体の深度情報は、対象の物体の3次元特徴を表すことができる。
第1の態様に関連して、別の可能な設計のやり方において、複数の第1の特徴は、第1の画像情報および第2の画像情報における同一の特徴の一部である。電子デバイス100は、予め設定された特徴周波数に基づいて第1の画像情報から複数の第1の特徴を選択し、次いで、複数の第1の特徴と同一の特徴について第2の画像情報を探索し、最後に、各々の第1の特徴の深度を計算して、対象の物体の深度情報を得ることができる。あるいは、電子デバイスは、第1の画像情報からいくつかの第1の特徴をランダムに、または或る間隔で選択してもよい。
特徴周波数は、予め設定された領域に現れる同一の第1の特徴の量であってよい。画像に反映される特徴周波数は、電子デバイスによって選択された2つの隣接する第1の特徴の間の距離（特徴距離と呼ばれる）であってよい。電子デバイスによって、予め設定された特徴周波数に基づいて第1の画像情報から複数の第1の特徴を選択する方法は、電子デバイスが、特徴距離1つ分の間隔で位置する第1の画像情報内のすべての特徴からの第1の特徴を1つ選択することを含むことができる。換言すると、電子デバイスは、第1の画像情報および第2の画像情報における同一の特徴の各々が位置する地点の深度を計算する必要はなく、特徴距離1つ分の間隔にある1つの特徴を選択し、選択した特徴が位置する地点の深度を計算すればよい。
第1の態様に関連して、別の可能な設計のやり方において、光点を有する赤外光は、複数の光点を含み、複数の光点は、複数のスペックル格子群を含む。1つのスペックル格子群は、1つ以上のスペックル格子を含み、各スペックル格子は、複数のスペックルを含む。
第1の態様に関連して、別の可能な設計のやり方においては、複数のスペックル格子群のうちの少なくとも2つが異なる。複数のスペックル格子群のうちの少なくとも2つが異なるため、複数の光点におけるスペックル格子群の繰り返しが減らされることができ、したがって電子デバイスによる異なる特徴の特定を助けることができる。
第1の態様に関連して、別の可能な設計のやり方において、第1のスペックル格子群は、複数のスペックル格子群のうちの任意の1つであり、第1のスペックル格子群に含まれる複数のスペックル格子のうちの少なくとも2つは異なる。複数のスペックル格子のうちの少なくとも2つが異なるため、複数の光点におけるスペックル格子の繰り返しが減らされることができ、したがって電子デバイスによる異なる特徴の特定を助けることができる。
第1の態様に関連して、別の可能な設計のやり方において、第1のスペックル格子は、複数のスペックル格子のうちの任意の1つである。第1のスペックル格子内の複数のスペックルの各々は、同一の形状を有する。複数のスペックルのすべてが同一の形状を有する場合、電子デバイスは、スペックル格子内のスペックルの位置に基づいて異なるスペックルを識別することができる。
第1のスペックル格子内の複数のスペックルのうちの少なくとも2つは、異なる形状を有する。複数のスペックルのうちの少なくとも2つが異なる形状を有するため、スペックル格子内の複数のスペックルの繰り返しが減らされることができ、したがって電子デバイスによる異なる特徴の特定を助けることができる。
第1の態様に関連して、別の可能な設計のやり方において、電子デバイスは、予め設定された特徴周波数に基づいて第1の画像情報および第2の画像情報から複数の第1の特徴を選択する。特徴周波数は、複数の光点におけるスペックル格子の繰り返し周波数以上である。特徴周波数は、予め設定された領域を有する画像から電子デバイスによって選択された同一の第1の特徴の量によって表され、繰り返し周波数は、予め設定された領域に現れる同一のスペックル格子の量によって表される。
電子デバイスが第1の特徴を選択する際に用いられる特徴距離は、複数の光点におけるスペックル格子の繰り返し間隔以下であってよい。換言すると、特徴周波数は、複数の光点におけるスペックル格子の繰り返し周波数以上である。このようにして、電子デバイスによって第1の画像情報から選択された2つの隣接する第1の特徴が異なるスペックル格子のスペックルに対応することが可能な限り保証されることができ、その結果、電子デバイスは2つの隣接する第1の特徴を区別することができる。これにより、特徴マッチング誤差の可能性を低減することができ、電子デバイスによって計算される深度情報の精度を向上させることができる。
第1の態様に関連して、別の可能な設計のやり方においては、第1のカメラおよび第2のカメラの各レンズの両面の各々が、反射防止コーティングを含み、第1のカメラおよび第2のカメラの光フィルタの各々が、カットオフコーティングを含む。反射防止コーティングは、赤外光の透過率を高めるために用いられる。カットオフコーティングは、赤外光および可視光以外の光を除去し、赤外光の透過率を高めるために使用される。
一般的な赤緑青（red green blue、RGB）カメラは、可視光のみを感知することができ、赤外光を感知することができない。電子デバイスのハードウェアコストを削減するために、RGBカメラの各レンズの両面の各々に反射防止コーティングが施され、RGBカメラの光フィルタ（の一方の面または両面の各々）にカットオフコーティングが施されて、各レンズの両面の各々が反射防止コーティングを含み、光フィルタがカットオフコーティングを含むデュアルパスカメラ（すなわち、第1のカメラおよび第2のカメラ）を得ることができる。
第1の態様に関連して、別の可能な設計のやり方において、赤外光は、890ナノメートル（nm）～990nmの赤外光である。例えば、赤外光は、とくには、940nmの赤外光であってよい。これに対応して、反射防止コーティングは、例えば940nmの赤外光に合わせた反射防止コーティングなど、890nm～990nmの赤外光に合わせた反射防止コーティングであってよい。
第1の態様に関連して、別の可能な設計のやり方において、第1の長さは、20ミリメートル～30ミリメートルの範囲である。
第1の態様に関連して、別の可能な設計のやり方において、電子デバイスは、第3のカメラをさらに含み、第3のカメラはRGBカメラである。第3のカメラは、可視光下で画像情報を収集するように構成される。第3のカメラによって収集された画像情報は、電子デバイスの表示画面への表示に使用される。
第2の態様によれば、本出願の一実施形態は、電子デバイスを提供する。電子デバイスは、1つ以上のプロセッサと、メモリと、赤外線プロジェクタと、第1のカメラと、第2のカメラとを含む。第1のカメラと第2のカメラとの間の距離は、第1の長さである。メモリ、赤外線プロジェクタ、第1のカメラ、および第2のカメラは、プロセッサに結合される。メモリは、情報を格納するように構成される。プロセッサは、対象の物体の深度情報を得るように電子デバイスをトリガするために使用される第1の命令を受信するように構成される。プロセッサは、第1の命令に応答して、赤外線プロジェクタを使用することによって光点を有する赤外光を放射し、第1のカメラを使用することによって対象の物体の第1の画像情報を収集し、第2のカメラを使用することによって対象の物体の第2の画像情報を収集するようにさらに構成され、第1の画像情報および第2の画像情報は、対象の物体の特徴と、光点を有する赤外光が対象の物体へと照射されたときに形成されるテクスチャ特徴とを含む。プロセッサは、第1のカメラによって収集された第1の画像情報、第2のカメラによって収集された第2の画像情報、第1の長さ、第1のカメラのレンズ焦点距離、および第2のカメラのレンズ焦点距離に基づいて、対象の物体の深度情報を計算するようにさらに構成される。
第2の態様に関連して、1つの可能な設計のやり方において、第1のカメラのレンズ焦点距離は、第2のカメラのレンズ焦点距離と同じである。
第2の態様に関連して、別の可能な設計のやり方において、プロセッサが、第1の画像情報、第2の画像情報、第1の長さ、第1のカメラのレンズ焦点距離、および第2のカメラのレンズ焦点距離に基づいて、対象の物体の深度情報を計算するように構成されることは、プロセッサが、第1の画像情報および第2の画像情報における複数の第1の特徴について、第1のカメラと第2のカメラとの間の視差を計算するように構成され、第1の特徴は、第1の画像情報および第2の画像情報における同一の特徴であり、プロセッサが、第1の特徴の各々について、第1の特徴が位置する地点の深度Zを、上述の式（2）を使用することによって、第1の特徴についての第1のカメラと第2のカメラとの間の視差、第1の長さ、およびレンズ焦点距離に基づいて計算して、対象の物体の深度情報を取得するように構成され、fはレンズ焦点距離であり、dは第1の特徴についての第1のカメラと第2のカメラとの間の視差であり、Tは第1の長さであることを含む。
第2の態様に関連して、1つの可能な設計のやり方において、プロセッサは、第1の画像情報および第2の画像情報における複数の第1の特徴について第1のカメラと第2のカメラとの間の視差を計算する前に、第1の画像情報および第2の画像情報から複数の第1の特徴を選択するようにさらに構成される。複数の第1の特徴は、第1の画像情報および第2の画像情報における同一の特徴の一部である。
第2の態様に関連して、1つの可能な設計のやり方において、光点を有する赤外光は、複数の光点を含み、複数の光点は、複数のスペックル格子群を含む。1つのスペックル格子群は、1つ以上のスペックル格子を含み、各スペックル格子は、複数のスペックルを含む。
第2の態様および第2の態様の可能な設計のやり方において、スペックル格子群、スペックル格子、スペックル格子内の複数のスペックル、および赤外線プロジェクタによって放射される赤外光の波長について、第1の態様の可能な設計のやり方における関連の説明を参照できることに留意されたい。ここでは詳細が再び説明されることはない。
第2の態様に関連して、1つの可能な設計のやり方において、プロセッサは、予め設定された特徴周波数に基づいて第1の画像情報および第2の画像情報から複数の第1の特徴を選択するように構成される。特徴周波数は、複数の光点におけるスペックル格子の繰り返し周波数以上である。特徴周波数は、予め設定された領域を有する画像からプロセッサによって選択された同一の第1の特徴の量によって表され、繰り返し周波数は、予め設定された領域に現れる同一のスペックル格子の量によって表される。
第2の態様に関連して、1つの可能な設計のやり方において、第1のカメラおよび第2のカメラの各レンズの両面の各々が、反射防止コーティングを含み、第1のカメラおよび第2のカメラの光フィルタの各々が、カットオフコーティングを含む。反射防止コーティングは、赤外光の透過率を高めるために用いられる。カットオフコーティングは、赤外光および可視光以外の光を除去し、赤外光の透過率を高めるために使用される。
第2の態様に関連して、1つの可能な設計のやり方において、電子デバイスは、第3のカメラと表示画面とをさらに含む。第3のカメラは、RGBカメラである。第3のカメラは、可視光下で画像情報を収集するように構成される。第3のカメラによって収集された画像情報は、表示画面への表示に使用される。
第3の態様によれば、本出願の一実施形態は、デュアルパスカメラ（すなわち、第1のカメラまたは第2のカメラ）を提供する。デュアルパスカメラは、可視光および赤外光を受光するように構成される。デュアルパスカメラの各レンズの両面の各々が、反射防止コーティングを含み、デュアルパスカメラの光フィルタが、カットオフコーティングを含む。反射防止コーティングは、赤外光の透過率を高めるために用いられる。カットオフコーティングは、赤外光および可視光以外の光を除去し、赤外光の透過率を高めるために使用される。
第3の態様に関連して、1つの可能な設計のやり方において、デュアルパスカメラは、RGBカメラと、RGBカメラの各レンズの両面の各々に施された反射防止コーティングと、RGBカメラの光フィルタ（の一方の面または両面の各々）に施されたカットオフコーティングとを含む。
第4の態様によれば、本出願の一実施形態は、コンピュータ命令を含むコンピュータ記憶媒体を提供する。コンピュータ命令が電子デバイス上で動作するとき、電子デバイスは、第1の態様および第1の態様の可能な設計のやり方における深度情報を取得するための方法を実行することが可能にされる。
第5の態様によれば、本出願の一実施形態は、コンピュータプログラム製品を提供する。コンピュータプログラム製品がコンピュータ上で動作するとき、コンピュータは、第1の態様および第1の態様の可能な設計のやり方における深度情報を取得するための方法を実行することが可能にされる。
第2の態様および第2の態様の可能な設計方法における電子デバイス、第3の態様におけるコンピュータ記憶媒体、ならびに第4の態様におけるコンピュータプログラム製品が、いずれも以上の説明に示した対応する方法を実行するように構成されることが、理解されることができるであろう。したがって、電子デバイス、コンピュータ記憶媒体、およびコンピュータプログラム製品によって達成されることができる有益な効果については、以上の説明に提示された対応する方法の有益な効果を参照されたい。ここでは詳細が再び説明されることはない。
本出願の一実施形態による電子デバイスの一部分の概略図である。 本出願の一実施形態による深度情報の計算原理の概略図1である。 本出願の一実施形態による両眼カメラによって収集された2つの画像情報内の同一の特徴の一例の概略図である。 本出願の一実施形態による電子デバイスのハードウェア構造の概略図である。 本出願の一実施形態による深度情報を取得するための方法のフローチャート1である。 本出願の一実施形態によるグラフィカルユーザインターフェースの例の概略図1である。 本出願の一実施形態によるグラフィカルユーザインターフェースの例の概略図1である。 本出願の一実施形態によるスペックル格子の一例の概略図である。 本出願の一実施形態によるスペックル格子群の一例の概略図1である。 本出願の一実施形態によるスペックル格子群の一例の概略図2である。 本出願の一実施形態によるスペックル格子群の一例の概略図3である。 本出願の一実施形態によるスペックル格子群の一例の概略図4である。 本出願の一実施形態によるスペックル格子群の一例の概略図5である。 本出願の一実施形態によるスペックル格子群の一例の概略図6である。 本出願の一実施形態によるスペックル格子群の一例の概略図7である。 本出願の一実施形態によるカメラモジュールの概略の構造図である。 本出願の一実施形態による深度情報を取得するための方法のフローチャート2である。 本出願の一実施形態による深度情報の計算原理の概略図2である。 本出願の一実施形態による視差の計算原理の概略図である。 本出願の一実施形態による視差と深度との間の関係の概略図である。 本出願の一実施形態による対象の物体および光点を有する赤外光の一例の概略図である。 本出願の一実施形態による特徴周波数の一例の概略図である。 本出願の一実施形態による人間の顔の深度情報の一例の概略図である。 本出願の一実施形態によるグラフィカルユーザインターフェースの一例の概略図である。 本出願の一実施形態による電子デバイスの構造組成の概略図である。
本出願の実施形態は、深度情報を取得するための方法を提供する。本方法は、電子デバイスが対象の物体の画像情報を取得するプロセスに適用されることができる。画像情報は、対象の物体の2次元画像および対象の物体の深度情報を含むことができる。
一般に、対象の物体（例えば、人間の顔）は、三次元形態の物体である。電子デバイスのカメラが対象の物体を撮影するとき、対象の物体の特徴（例えば、人物の鼻先および目）とカメラとの間の距離は、さまざまであり得る。対象の物体の各特徴とカメラとの間の距離は、その特徴（または、その特徴が位置する地点）の深度と呼ばれる。対象の物体の地点の深度が、対象の物体の深度情報を構成する。対象の物体の深度情報は、対象の物体の3次元特徴を表すことができる。
両眼カメラ（すなわち、例えば第1のカメラおよび第2のカメラなどの2つのカメラ）の場合、対象の物体の各特徴とカメラとの間の距離（すなわち、地点の深度）は、対象の物体の各特徴が位置する地点から2つのカメラを結ぶ線までの垂直距離であり得る。例えば、図1Bに示されるように、Pが対象の物体の特徴であり、特徴Pの深度は、PからOLORまでの垂直距離Zであると仮定される。OLは第1のカメラの位置であり、ORは第2のカメラの位置である。
本出願の実施形態において提供される電子デバイスは、赤外線プロジェクタおよび2つのデュアルパスカメラ（例えば、第1のカメラおよび第2のカメラ）を含むことができる。2つのデュアルパスカメラ間の距離は、第1の長さである。一般に、2つのカメラの中心間の距離は、2つのカメラ間の距離と呼ばれる。
図1Aが、本出願の一実施形態による電子デバイス100の一部分の概略図である。図1Aに示されるように、電子デバイス100は、赤外線プロジェクタ101、第1のカメラ102、および第2のカメラ103を含むことができる。第1のカメラ102と第2のカメラ103との間の距離は、第1の長さTである。
赤外線プロジェクタ101は、光点を有する赤外光を放射するように構成される。デュアルパスカメラとは、カメラが可視光を受光できるだけでなく、赤外光も受光できることを意味する。例えば、デュアルパスカメラは、可視光および940nmの赤外光を受光することができる。940nmは、赤外光の波長である。当然ながら、上述の2つのデュアルパスカメラは、2つのオールパスカメラで置き換えられてもよい。オールパスカメラとは、カメラが可視光、赤外光、および他の波長の光を含む複数の種類の光を受光できることを意味する。対照的に、通常のRGBカメラは、可視光を受光することができるが、赤外光を受光することはできない。
本出願のこの実施形態において、第1のカメラ102は左側デュアルパスカメラであってよく、第2のカメラ103は右側デュアルパスカメラであってよいが、第1のカメラ102は右側デュアルパスカメラであってもよく、第2のカメラ103は左側デュアルパスカメラであってもよい。図1Aにおいては、第1のカメラ102が左側デュアルパスカメラであり、第2のカメラ103が右側デュアルパスカメラである例を用いて、電子デバイス100の一部分の構造が説明される。
本出願のこの実施形態において、第1のカメラ102および第2のカメラ103が同じ種類の赤外光を受光できることに留意されたい。同じ種類の赤外光は、同じ波長の赤外光である。換言すると、第1のカメラ102および第2のカメラ103は、赤外光を受光する能力が同じである。例えば、第1のカメラ102および第2のカメラ103は、940nmの赤外光を受光することができる。加えて、本出願のこの実施形態においては、赤外線プロジェクタ101によって放射される赤外光ならびに第1のカメラ102および第2のカメラ103によって受光することができる赤外光も、同じ種類の赤外光である。
電子デバイス100は、対象の物体の深度情報を取得するために、両眼カメラのハードウェアパラメータを参照し、三角測量の原理を使用することによって、同じ特徴についての両眼カメラの視差に基づいて、対象の物体の各特徴の深度を計算することができる。
本出願のこの実施形態において、視差に基づいて電子デバイス100によって深度情報を計算するための方法が、例を用いて説明される。
図1Bに示されるように、OLが第1のカメラ102の位置であり、ORが第2のカメラ103の位置であり、OLとORとの間の距離が第1の長さTであり、すなわちOLOR＝Tである。第1のカメラ102のレンズ焦点距離および第2のカメラ103のレンズ焦点距離は、どちらもfである。
特徴Pが、対象の物体の特徴である。特徴Pが位置する地点から第1のカメラ102と第2のカメラ103とを結ぶ線までの垂直距離は、Zである。すなわち、Pの深度情報はZである。第1のカメラ102は、対象の物体の画像1を収集し、特徴Pは、画像1内の点PLに位置する。第2のカメラ103は、対象の物体の画像2を収集し、特徴Pは、画像2内の点PRに位置する。画像1内の点PLに対応する特徴および画像2内の点PRに対応する特徴は、どちらも対象の物体の特徴Pである。
図1Bに示されるとおり、ALCL＝ARCR＝xであり、ALBL＝BLCL＝ARBR＝BRCR＝x／2である。特徴PLと特徴ALとの間の距離はxLであり、すなわち、特徴PLと画像1の左端との間の距離はxLであり、換言するとALPL＝xLである。特徴PRと特徴ARとの間の距離はxRであり、すなわち、特徴PRと画像2の左端との間の距離はxRであり、換言するとARPR＝xRである。ALPLとARPRとの間の差は、特徴Pについての第1のカメラ102と第2のカメラ103との間の視差であり、換言すると、特徴Pの視差dはxL－xRに等しい。
PLPRはOLORに平行であるため、三角形の原理に従って、以下の式（1）を得ることができる。
Figure 2022506753000003
式中、PLPR＝OLOR－BLPL－PRBR、OLOR＝T、BLPL＝ALPL－ALBL＝xL－x／2、PRBR＝x／2－xR、かつPLPR＝T－（xL－x／2）－（x／2－xR）＝T－（xL－xR）＝T－dである。
式（1）にPLPR＝T－dおよびOLOR＝Tを代入することにより、以下の式を得ることができる。
Figure 2022506753000004
特徴Pの深度Zは、
Figure 2022506753000005
から、2つのカメラ間の距離T、2つのカメラのレンズ焦点距離f、および視差dを使用して計算されることができると理解されることができる。
以上の説明から、第1のカメラ102によって収集された画像情報（すなわち、例えば画像1などの第1の画像情報）および第2のカメラ103によって収集された画像情報（すなわち、例えば画像2などの第2の画像情報）において特徴の量がより多く、特徴がより明白であるほど、電子デバイス100によって第1の画像情報および第2の画像情報においてより大量の同じ特徴が特定されると理解されることができる。電子デバイス100によって同じ特徴がより大量に特定されると、電子デバイス100は、それらの特徴が位置するより多くの地点の深度を計算することができる。対象の物体の深度情報は対象の物体の複数の地点の深度を含むため、電子デバイス100によって深度が計算される地点の量が多いほど、対象の物体の深度情報の精度が高くなる。
2つの画像情報における同一の特徴は、2つの画像情報における同一の特徴に対応する情報である。例えば、第1の画像情報内の点ALが物体の部位Aに対応し、第2の画像情報内の点ARも物体の部位Aに対応する場合、点ALおよび点ARは、2つの画像情報における同一の特徴である。例えば、第1の画像情報は、図1Cに示される建物の画像1を含み、第2の画像情報は、図1Cに示される建物の画像2を含む。画像1内の点ALは、建物の部位Aに対応し、画像2内の点ARも、建物の部位Aに対応する。点BLは、建物の部位Bに対応し、点BRも、建物の部位Bに対応する。建物の部位Aについて、両眼カメラの視差はxL1－xR1である。建物の部位Bについて、両眼カメラの視差はxL2－xR2である。
要約すると、第1の画像情報および第2の画像情報により多くの特徴が存在する場合、2つの画像情報からより多くの同じ特徴をより容易に得ることができ、したがって電子デバイス100によって取得される対象の物体の深度情報が、より正確になる。
本出願のこの実施形態においては、赤外線プロジェクタ101が対象の物体に光点を有する赤外光を照射した後に、第1のカメラ102および第2のカメラ103によって収集された対象の物体の画像情報は、対象の物体の特徴を含むだけでなく、光点を有する赤外光が対象の物体へと照射されたときに形成されるテクスチャ特徴も含むことができる。すなわち、第1のカメラ102および第2のカメラ103によって収集される対象の物体の画像における特徴の量が、増やされることができる。第1のカメラ102および第2のカメラ103によって収集される対象の物体の画像内の特徴の量が増やされた後に、電子デバイス100は、第1のカメラ102によって収集された画像情報内および第2のカメラ103によって収集された画像情報内の同じ特徴をより正確に特定でき、同じ特徴についての第1のカメラ102と第2のカメラ103との間の視差をさらに決定し、各地点の深度を計算して対象の物体の深度情報を取得することができる。これにより、電子デバイス100によって計算される対象の物体の深度情報の精度を向上させることができる。
本出願のこの実施形態においては、RGBカメラを改良することによってデュアルパスカメラが得られることができ、したがって電子デバイス100のハードウェアコストが削減されることができる。具体的には、レンズが赤外光を可能な限り受光できるよう、レンズの赤外光感知能力を向上させるために、RGBカメラの各レンズの両面の各々に反射防止コーティングが施されることができ、赤外光および可視光以外の光を除去し、赤外光の透過率を高めるために、RGBカメラの光フィルタにカットオフコーティングが施されることができる。反射防止コーティングおよびカットオフコーティングを含むRGBカメラは、可視光を受光できるだけでなく、赤外光も受光することができる。上述のやり方で改良されたRGBカメラは、デュアルパスカメラとして使用されることが可能である。
いくつかの実施形態において、図1Aに示した電子デバイス100の一部分の概略図が、電子デバイス100の前面の一部分の概略図であってよいことに留意されたい。すなわち、赤外線プロジェクタ101、第1のカメラ102、および第2のカメラ103は、電子デバイス100の前面に配置されている。
電子デバイス100は、第1のカメラ102および第2のカメラ103に加えて、1つ以上の他のカメラをさらに含むことができる。1つ以上の他のカメラは、第3のカメラ104を含むことができ、第3のカメラは、RGBカメラである。第3のカメラは、対象の物体の2次元画像を収集するように構成される。電子デバイス100は、表示画面上に、第3のカメラによって収集された2次元画像を表示することができる。第3のカメラ104、第1のカメラ102、第2のカメラ103、および赤外線プロジェクタは、電子デバイス100の同じ側に配置されている。すなわち、第3のカメラ104も、電子デバイス100の前面に配置されてよい。第3のカメラ104は、電子デバイス100の前向きのカメラである。
いくつかの他の実施形態において、図1Aに示した電子デバイス100の一部分の概略図は、電子デバイス100の背面の一部分の概略図であってもよい。すなわち、赤外線プロジェクタ101、第1のカメラ102、第2のカメラ103、およびRGBカメラ104は、電子デバイス100の背面に配置されている。RGBカメラ104は、電子デバイス100の後ろ向きのカメラである。
電子デバイス100の前面は、電子デバイス100がグラフィカルユーザインターフェース（例えば、電子デバイス100のホーム画面、すなわちデスクトップ）を表示する側であり、すなわち、表示パネルが位置する側が、通常は前面と呼ばれる。電子デバイス100の背面は、前面が面している方向とは反対の方向に面する側である。通常は、電子デバイスの前面は、電子デバイスがユーザによって普通に使用されるときにユーザに面する側であり、ユーザに背を向ける側が背面と呼ばれる。
当然ながら、1つ以上の他のカメラは、別のRGBカメラまたは白黒カメラなどをさらに含むことができる。別のRGBカメラまたは白黒カメラなどは、電子デバイス100の前向きのカメラまたは後ろ向きのカメラであってよい。これは、本出願のこの実施形態において限定されない。
例えば、本出願のこの実施形態において、電子デバイスは、赤外線プロジェクタ、RGBカメラ（すなわち、第3のカメラ）、および2つのデュアルパスカメラ（すなわち、第1のカメラおよび第2のカメラ）を含むポータブルコンピュータ（例えば、携帯電話機）、ノートブックコンピュータ、ウェアラブル電子デバイス（例えば、スマートウォッチ）、タブレットコンピュータ、拡張現実（augmented reality、AR）／仮想現実（virtual reality、VR）デバイス、車内デバイス、などであってよい。電子デバイスの具体的な形態は、以下の実施形態において、とくに限定されない。
図1Dが、本出願の一実施形態による電子デバイス100の概略の構造図である。電子デバイス100は、プロセッサ110、外部メモリインターフェース120、内部メモリ121、ユニバーサルシリアルバス（universal serial bus、USB）インターフェース130、充電管理モジュール140、電源管理モジュール141、バッテリ142、アンテナ1、アンテナ2、移動通信モジュール150、無線通信モジュール160、オーディオモジュール170、スピーカ170A、レシーバ170B、マイクロフォン170C、ヘッドセットインターフェース170D、センサモジュール180、キー190、モータ191、通知装置192、カメラ193、表示画面194、加入者識別モジュール（subscriber identification module、SIM）カードインターフェース195、などを含むことができる。
電子デバイス100は、赤外線プロジェクタ196（例えば、図1Aに示した赤外線プロジェクタ101）をさらに含むことができる。赤外線プロジェクタ196は、光点を有する赤外光を放射するように構成される。例えば、赤外線プロジェクタ196は、940nmの波長を有する赤外光を放射することができ、この赤外光は光点を有する。光点の形状および配置については、本出願の実施形態における後の関連の説明を参照されたい。ここでは詳細は説明されない。
カメラ193は、2つのデュアルパスカメラ（例えば、図1Aに示した第1のカメラ102および第2のカメラ103）193Bおよび193C、ならびに1～N個の他のカメラ193Aを含むことができる。1～N個の他のカメラ193Aは、図1Aに示した第3のカメラ104、すなわちRGBカメラを含むことができ、例えば白黒カメラなどの別のカメラをさらに含むことができる。デュアルパスカメラ193Bおよび193Cは、可視光および赤外光を受光することができる。RGBカメラは、例えば人間の顔画像（すなわち、2次元の人物の顔画像）など、RGB画像を収集するように構成される。
センサモジュール180は、圧力センサ180A、ジャイロスコープセンサ180B、気圧センサ180C、磁気センサ180D、加速度センサ180E、距離センサ180F、光学式近接センサ180G、指紋センサ180H、温度センサ180J、タッチセンサ180K、周囲光センサ180L、および骨伝導センサ180Mなどの複数のセンサを含むことができる。
本発明のこの実施形態に示される構造が、電子デバイス100について特定の限定を構成するものではないことが、理解されることができるであろう。本出願のいくつかの他の実施形態において、電子デバイス100は、図に示されている構成要素よりも多数または少数の構成要素を含んでもよく、あるいはいくつかの構成要素が組み合わせられても、一部の構成要素が分割されてもよく、構成要素の別の配置が存在してもよい。図に示されている構成要素は、ハードウェア、ソフトウェア、またはソフトウェアとハードウェアとの組み合わせによって実装され得る。
プロセッサ110は、1つ以上の処理ユニットを含むことができる。例えば、プロセッサ110は、アプリケーションプロセッサ（application processor、AP）、モデムプロセッサ、グラフィックスプロセッシングユニット（graphics processing unit、GPU）、画像信号プロセッサ（image signal processor、ISP）、コントローラ、ビデオコーデック、デジタル信号プロセッサ（digital signal processor、DSP）、ベースバンドプロセッサ、および／またはニューラルネットワークプロセッシングユニット（neural－network processing unit、NPU）を含むことができる。さまざまな処理ユニットは、別個のデバイスであってよく、あるいは1つ以上のプロセッサに統合されてよい。
コントローラは、電子デバイス100の神経中枢および指令センターであってよい。コントローラは、命令動作コードおよび時系列信号に基づいて動作制御信号を生成して、命令の取得および命令の実行を制御することができる。
メモリが、命令およびデータを格納するために、プロセッサ110内にさらに配置されてよい。いくつかの実施形態において、プロセッサ110内のメモリは、キャッシュである。このメモリは、プロセッサ110によって使用されたばかりの命令またはデータ、あるいはプロセッサ110によって周期的に使用される命令またはデータを格納することができる。プロセッサ110が命令またはデータを再度使用する必要がある場合、プロセッサ110は、このメモリから命令またはデータを直接呼び出すことができる。これにより、度重なるアクセスを回避し、プロセッサ110の待機時間を短縮し、したがってシステム効率が向上する。
いくつかの実施形態において、プロセッサ110は、1つ以上のインターフェースを含むことができる。インターフェースは、集積回路間（inter－integrated circuit、I2C）インターフェース、集積回路間サウンド（inter－integrated circuit sound、I2S）インターフェース、パルス符号変調（pulse code modulation、PCM）インターフェース、汎用非同期送受信機（universal asynchronous receiver／transmitter、UART）インターフェース、モバイルインダストリープロセッサインターフェース（mobile industry processor interface、MIPI）、汎用入出力（general－purpose input／output、GPIO）インターフェース、加入者識別モジュール（subscriber identity module、SIM）インターフェース、ユニバーサルシリアルバス（universal serial bus、USB）インターフェース、などを含むことができる。
I2Cインターフェースは、シリアルデータライン（serial data line、SDL）とシリアルクロックライン（derail clock line、SCL）とを含む双方向同期シリアルバスである。いくつかの実施形態において、プロセッサ110は、複数のI2Cバスを含み得る。プロセッサ110は、タッチセンサ180K、充電器、フラッシュ、カメラ193、などに、異なるI2Cバスインターフェースを使用することによって別々に結合されることができる。例えば、プロセッサ110は、プロセッサ110がI2Cバスインターフェースを使用することによってタッチセンサ180Kと通信して、電子デバイス100のタッチ機能を実現するように、I2Cインターフェースを使用することによってタッチセンサ180Kに結合されることができる。
I2Sインターフェースは、オーディオ通信に使用され得る。いくつかの実施形態において、プロセッサ110は、複数のI2Sバスを含み得る。プロセッサ110は、I2Sバスを使用することによってオーディオモジュール170に結合され、プロセッサ110とオーディオモジュール170との通信を実現することができる。いくつかの実施形態において、オーディオモジュール170は、ブルートゥース(登録商標)（Bluetooth）ヘッドセットを使用することによって通話に応答する機能を実現するために、I2Sインターフェースを使用することによって無線通信モジュール160にオーディオ信号を送信することができる。
さらに、PCMインターフェースは、アナログ信号をサンプリング、量子化、および符号化するために、オーディオ通信に使用されることができる。いくつかの実施形態においては、オーディオモジュール170は、PCMバスインターフェースを使用することによって無線通信モジュール160に結合されることができる。いくつかの実施形態において、オーディオモジュール170は、ブルートゥース(登録商標)ヘッドセットを使用することによって通話に応答する機能を実現するために、PCMインターフェースを使用することによって無線通信モジュール160にオーディオ信号を送信することも可能である。I2SインターフェースおよびPCMインターフェースの両方が、オーディオ通信に使用され得る。
UARTインターフェースは、非同期通信に使用される汎用シリアルデータバスである。このバスは、双方向通信バスであり得る。このバスは、送信されるデータをシリアル通信とパラレル通信との間で変換する。いくつかの実施形態において、UARTインターフェースは、通常は、プロセッサ110を無線通信モジュール160に接続するように構成される。例えば、プロセッサ110は、ブルートゥース(登録商標)機能を実現するために、UARTインターフェースを使用することによって無線通信モジュール160内のブルートゥース(登録商標)モジュールと通信する。いくつかの実施形態において、オーディオモジュール170は、ブルートゥース(登録商標)ヘッドセットを使用することによって音楽を再生する機能を実現するために、UARTインターフェースを使用することによって無線通信モジュール160にオーディオ信号を送信することができる。
MIPIインターフェースは、プロセッサ110を、表示画面194またはカメラ193などの周辺デバイスに接続するように構成され得る。MIPIインターフェースは、カメラシリアルインターフェース（camera serial interface、CSI）、ディスプレイシリアルインターフェース（display serial interface、DSI）、などを含む。いくつかの実施形態において、プロセッサ110は、電子デバイス100の撮影機能を実現するためにCSIインターフェースを使用することによってカメラ193と通信し、プロセッサ110は、電子デバイス100の表示機能を実現するためにDSIインターフェースを使用することによって表示画面194と通信する。
GPIOインターフェースは、ソフトウェアを使用することによって構成され得る。GPIOインターフェースは、制御信号として構成されても、あるいはデータ信号として構成されてもよい。いくつかの実施形態において、GPIOインターフェースは、プロセッサ110をカメラ193、表示画面194、無線通信モジュール160、オーディオモジュール170、センサモジュール180、などに接続するように構成され得る。あるいは、GPIOインターフェースは、I2Cインターフェース、I2Sインターフェース、UARTインターフェース、MIPIインターフェース、などとして構成され得る。
USBインターフェース130は、USB標準仕様に適合したインターフェースであり、具体的には、Mini USBインターフェース、Micro USBインターフェース、USB Type Cインターフェース、などであり得る。USBインターフェース130は、電子デバイス100を充電するために充電器につながるように構成されてよく、電子デバイス100と周辺デバイスとの間でデータを伝送するように構成されてよく、あるいはヘッドセットにつながり、ヘッドセットを使用することによってオーディオファイルを再生するように構成されてよい。あるいは、このインターフェースは、例えばARデバイスなどの別の電子デバイスにつながるように構成されてもよい。
本発明のこの実施形態に示されているモジュール間のインターフェース接続関係が、あくまでも説明のための例にすぎず、電子デバイス100の構造についての限定を構成するものではないことが、理解されることができるであろう。本出願のいくつかの他の実施形態において、電子デバイス100は、あるいは、上述の実施形態におけるインターフェース接続のやり方とは異なるインターフェース接続のやり方を使用してもよく、もしくは複数のインターフェース接続のやり方の組み合わせを使用してもよい。
充電管理モジュール140は、充電器から充電入力を受け取るように構成される。充電器は、無線充電器であってよく、あるいは有線の充電器であってよい。有線での充電のいくつかの実施形態において、充電管理モジュール140は、USBインターフェース130を使用することによって有線の充電器から充電入力を受け取ることができる。無線充電のいくつかの実施形態において、充電管理モジュール140は、電子デバイス100の無線充電コイルを使用することによって無線充電入力を受け取ることができる。充電管理モジュール140がバッテリ142を充電するとき、電源管理モジュール141は、電子デバイスに電力をさらに供給してもよい。
電源管理モジュール141は、バッテリ142、充電管理モジュール140、およびプロセッサ110につながるように構成される。電源管理モジュール141は、バッテリ142および／または充電管理モジュール140から入力を受け取り、プロセッサ110、内部メモリ121、外部メモリ、表示画面194、カメラ193、無線通信モジュール160、などに電力を供給する。電源管理モジュール141は、バッテリ容量、バッテリサイクル数、およびバッテリの健康状態（漏電およびインピーダンス）などのパラメータを監視するようにさらに構成され得る。いくつかの他の実施形態において、電源管理モジュール141は、あるいは、プロセッサ110内に配置されてもよい。いくつかの他の実施形態において、電源管理モジュール141および充電管理モジュール140は、あるいは、同じデバイス内に配置されてもよい。
電子デバイス100の無線通信機能は、アンテナ1、アンテナ2、移動通信モジュール150、無線通信モジュール160、モデムプロセッサ、ベースバンドプロセッサ、などによって実現され得る。
アンテナ1およびアンテナ2は、電磁波信号を送信および受信するように構成される。電子デバイス100内の各アンテナは、1つ以上の通信周波数帯域をカバーするように構成され得る。アンテナ利用を向上させるために、さまざまなアンテナがさらに多重化されてもよい。例えば、アンテナ1は、無線ローカルエリアネットワークのダイバーシチアンテナとして多重化され得る。いくつかの他の実施形態において、アンテナは、チューニングスイッチと組み合わせて使用され得る。
移動通信モジュール150は、電子デバイス100に適用され、2G、3G、4G、および5Gなどの無線通信技術を含むソリューションを提供することができる。移動通信モジュール150は、少なくとも1つの光フィルタ、スイッチ、電力増幅器、低ノイズ増幅器（low noise amplifier、LNA）、などを含み得る。移動通信モジュール150は、アンテナ1を使用することによって電磁波を受信し、受信した電磁波に対してフィルタ処理および増幅などの処理を行い、処理後の電磁波を復調のためにモデムプロセッサへと送信し得る。移動通信モジュール150は、モデムプロセッサによって変調された信号をさらに増幅し、増幅後の信号を電磁波に変換し、アンテナ1を使用することによって電磁波を放射することができる。いくつかの実施形態において、移動通信モジュール150の少なくともいくつかの機能モジュールは、プロセッサ110内に配置され得る。いくつかの実施形態において、移動通信モジュール150の少なくともいくつかの機能モジュールおよびプロセッサ110の少なくともいくつかのモジュールは、同じデバイス内に配置され得る。
モデムプロセッサは、変調器および復調器を含み得る。変調器は、送信されるべき低周波数ベースバンド信号を中間または高周波数信号に変調するように構成される。復調器は、受信した電磁波信号を低周波数ベースバンド信号に復調するように構成される。次いで、復調器は、復調によって得られた低周波数ベースバンド信号を処理のためにベースバンドプロセッサに送信する。低周波数ベースバンド信号は、ベースバンドプロセッサによって処理され、処理後の信号がアプリケーションプロセッサに送られる。アプリケーションプロセッサは、オーディオデバイス（これらに限られるわけではないが、スピーカ170A、レシーバ170B、など）を使用することによって音響信号を出力し、あるいは表示画面194を使用することによって画像またはビデオを表示する。いくつかの実施形態において、モデムプロセッサは、独立した構成要素であってよい。いくつかの他の実施形態において、モデムプロセッサは、プロセッサ110から独立していてよく、移動通信モジュール150または別の機能モジュールと同じデバイスに配置される。
無線通信モジュール160は、電子デバイス100に適用され、無線ローカルエリアネットワーク（wireless local area networks、WLAN）（例えば、Wi－Fiネットワーク）、ブルートゥース(登録商標)（blue tooth、BT）、全地球航法衛星システム（global navigation satellite system、GNSS）、周波数変調（frequency modulation、FM）、NFC、および赤外線（infrared、IR）技術などの無線通信技術を含むソリューションを、提供することができる。無線通信モジュール160は、少なくとも1つの通信処理モジュールを統合する1つ以上のデバイスであってよい。無線通信モジュール160は、アンテナ2を使用することによって電磁波信号を受信し、電磁波信号に対して周波数変調およびフィルタ処理を行い、処理後の信号をプロセッサ110へと送る。無線通信モジュール160は、送信されるべき信号をプロセッサ110からさらに受け取り、信号に対して周波数変調および増幅を行い、処理後の信号を電磁波に変換し、アンテナ2を使用することによって電磁波を放射することができる。
いくつかの実施形態において、電子デバイス100のアンテナ1は、移動通信モジュール150に結合し、アンテナ2は、無線通信モジュール160に結合し、したがって電子デバイス100は、無線通信技術を使用することによってネットワークおよび他のデバイスと通信することができる。無線通信技術は、グローバル・システム・フォー・モバイル・コミュニケーションズ（global system for mobile communications、GSM）、汎用パケット無線サービス（general packet radio service、GPRS）、符号分割多元接続（code division multiple access、CDMA）、広帯域符号分割多元接続（wideband code division multiple access、WCDMA(登録商標)）、時分割符号分割多元接続（time－division code division multiple access、TD－SCDMA）、ロングタームエボルーション（long term evolution、LTE）、BT、GNSS、WLAN、NFC、FM、IR技術、などを含み得る。GNSSは、全地球測位システム（global positioning system、GPS）、全地球航法衛星システム（global navigation satellite system、GLONASS）、北斗航法衛星システム（beidou navigation satellite system、BDS）、準天頂衛星システム（quasi－zenith satellite system、QZSS）、および／または静止衛星型補強システム（satellite based augmentation systems、SBAS）を含み得る。
電子デバイス100は、GPU、表示画面194、アプリケーションプロセッサ、などを使用することによって表示機能を実現する。GPUは、画像処理のためのマイクロプロセッサであり、表示画面194およびアプリケーションプロセッサに接続される。GPUは、数学的計算および幾何学的計算を行うように構成され、グラフィックスレンダリングに使用される。プロセッサ110は、プログラム命令を実行して表示情報を生成または変更する1つ以上のGPUを含むことができる。
表示画面194は、画像、ビデオ、などを表示するように構成される。表示画面194は、表示パネルを含む。表示パネルは、液晶ディスプレイ（liquid crystal display、LCD）、有機発光ダイオード（organic light－emitting diode、OLED）、アクティブマトリックス式有機発光ダイオード（active－matrix organic light emitting diode、AMOLED）、フレキシブル発光ダイオード（flex light－emitting diode、FLED）、Miniled、MicroLed、Micro－oLed、量子ドット発光ダイオード（quantum dot light emitting diodes、QLED）、などであってよい。いくつかの実施形態において、電子デバイス100は、1つまたはN個の表示画面194を含むことができ、Nは1より大きい正の整数である。
電子デバイス100は、ISP、カメラ193、ビデオコーデック、GPU、表示画面194、アプリケーションプロセッサ、などを使用することによって写真撮影機能を実現することができる。
ISPは、主として、カメラ193によってフィードバックされたデータを処理するように構成される。例えば、写真撮影時に、シャッタが開かれ、光がレンズを通ってカメラの感光素子へと伝えられ、光信号が電気信号に変換され、カメラの感光素子は、電気信号を肉眼で見ることができる画像へと変換するための処理のために、電気信号をISPへと送る。ISPは、アルゴリズムに基づいて画像のノイズ、輝度、および色をさらに最適化することができる。ISPは、写真撮影のシナリオの露出および色温度などのパラメータをさらに最適化することができる。いくつかの実施形態において、ISPはカメラ193内に配置され得る。
カメラ193は、静止画像またはビデオを取り込むように構成される。レンズを使用することによって物体の光学画像が生成され、光学画像は感光素子に投影される。感光素子は、電荷結合素子（charge coupled device、CCD）、または相補形金属酸化膜半導体（complementary metal－oxide－semiconductor、CMOS）フォトトランジスタであってよい。感光素子は、光信号を電気信号に変換し、次いで、電気信号をデジタル画像信号に変換するために、電気信号をISPへと送る。ISPは、デジタル画像信号を処理のためにDSPへと出力する。DSPは、デジタル画像信号を、RGB形式またはYUV形式などの標準の画像信号に変換する。いくつかの実施形態において、電子デバイス100は、1つまたはN個のカメラ193を含むことができ、Nは1より大きい正の整数である。
デジタル信号プロセッサは、デジタル信号を処理するように構成される。デジタル画像信号に加えて、デジタル信号プロセッサは、別のデジタル信号をさらに処理し得る。例えば、電子デバイス100が周波数を選択すると、デジタル信号プロセッサは、周波数エネルギについてフーリエ変換などを行うように構成される。
ビデオコーデックは、デジタルビデオを圧縮または展開するように構成される。電子デバイス100は、1つ以上の種類のビデオコーデックをサポートすることができる。したがって、電子デバイス100は、例えばムービングピクチャーエキスパーツグループ（moving picture experts group、MPEG）1、MPEG2、MPEG3、およびMPEG4などの複数の符号化フォーマットのビデオを再生または録画することができる。
NPUは、ニューラルネットワーク（neural－network、NN）コンピューティングプロセッサである。NPUは、例えば人間の脳神経細胞間の伝達モードなどの生物の神経回路網の構造を参照して入力情報を迅速に処理し、自己学習をさらに継続的に実行することもできる。NPUは、例えば画像認識、顔認識、音声認識、およびテキスト理解など、電子デバイス100のインテリジェントな認知などのアプリケーションを実現することができる。
外部メモリインターフェース120は、電子デバイス100の記憶容量を拡張するために、例えばMicro SDカードなどの外部ストレージカードにつながるように構成され得る。外部ストレージカードは、データ記憶機能を実現するために、外部メモリインターフェース120を使用することによってプロセッサ110と通信する。例えば、外部ストレージカードには、音楽およびビデオなどのファイルが保存される。
内部メモリ121は、命令を含むコンピュータ実行可能プログラムコードを格納するように構成され得る。プロセッサ110は、内部メモリ121に格納された命令を実行することによって、電子デバイス100のさまざまな機能アプリケーションおよびデータ処理を行う。内部メモリ121は、プログラム記憶領域およびデータ記憶領域を含み得る。プログラム記憶領域は、オペレーティングシステム、少なくとも1つの機能（例えば、音声再生機能または画像再生機能）に必要なアプリケーションプログラム、などを記憶することができる。データ記憶領域は、電子デバイス100の使用の過程において生成されたデータ（例えば、オーディオデータおよび電話帳）などを記憶することができる。加えて、内部メモリ121は、高速ランダムアクセスメモリを含むことができ、あるいは少なくとも1つの磁気ディスク記憶装置、フラッシュストレージデバイス、およびユニバーサルフラッシュストレージ（universal flash storage、UFS）などの不揮発性メモリを含むことができる。
電子デバイス100は、オーディオモジュール170、スピーカ170A、レシーバ170B、マイクロフォン170C、ヘッドセットインターフェース170D、アプリケーションプロセッサ、などを使用することによって、例えば音楽の再生および録音などのオーディオ機能を実現することができる。
オーディオモジュール170は、デジタルオーディオ情報を出力のためにアナログオーディオ信号に変換するように構成され、アナログオーディオ入力をデジタルオーディオ信号に変換するようにも構成される。オーディオモジュール170は、オーディオ信号の符号化および復号を行うようにさらに構成され得る。いくつかの実施形態において、オーディオモジュール170は、プロセッサ110内に配置されてよく、あるいはオーディオモジュール170のいくつかの機能モジュールが、プロセッサ110内に配置される。
スピーカ170Aは、「ラウドスピーカ」とも呼ばれ、オーディオ電気信号を音響信号に変換するように構成される。電子デバイス100は、スピーカ170Aを使用することによって音楽を聴いたり、ハンズフリー通話に応答したりするために使用されることができる。
レシーバ170Bは、「イヤホン」とも呼ばれ、オーディオ電気信号を音響信号に変換するように構成される。電子デバイス100が通話への応答または音声情報の聞き取りに使用されるとき、レシーバ170Bは、音声を聞き取るために人間の耳の近くに配置されることができる。
マイクロフォン170Cは、「マイク（mike）」または「マイク（mic）」とも呼ばれ、音響信号を電気信号に変換するように構成される。ユーザは、通話時または音声情報の送信時に、マイクロフォン170Cに口を近づけて音声を発し、マイクロフォン170Cに音声信号を入力することができる。少なくとも1つのマイクロフォン170Cが、電子デバイス100内に配置され得る。いくつかの他の実施形態においては、音響信号の収集に加えて、ノイズ低減機能を実現するために、2つのマイクロフォン170Cが電子デバイス100内に配置されることができる。いくつかの他の実施形態においては、音響信号の収集およびノイズの低減のために、3つ、4つ、またはそれ以上のマイクロフォン170Cが、あるいは電子デバイス100内に配置されてもよい。さらに、マイクロフォンは、音源の識別、指向性の録音機能の実現、などが可能である。
ヘッドセットインターフェース170Dは、有線ヘッドセットにつながるように構成される。ヘッドセットインターフェース170Dは、USBインターフェース130であってよく、あるいは3．5mmのオープンモバイル端末プラットフォーム（open mobile terminal platform、OMTP）標準インターフェース、または米国セルラー通信工業会（cellular telecommunications industry association of the USA、CTIA）標準インターフェースであってよい。
圧力センサ180Aは、圧力信号を感知するように構成され、圧力信号を電気信号に変換することができる。いくつかの実施形態において、圧力センサ180Aは、表示画面194内に配置され得る。例えば、抵抗式圧力センサ、誘導式圧力センサ、および静電容量式圧力センサなど、多数の種類の圧力センサ180Aが存在する。静電容量式圧力センサは、導電性材料を有する少なくとも2枚の平行なプレートを含むことができる。力が圧力センサ180Aに作用すると、電極間の静電容量が変化する。電子デバイス100は、静電容量の変化に基づいて圧力の強さを判断する。表示画面194にタッチ操作が作用すると、電子デバイス100は、圧力センサ180Aに基づいてタッチ操作の強度を検出する。さらに、電子デバイス100は、圧力センサ180Aの検出信号に基づいてタッチ位置を計算することもできる。いくつかの実施形態においては、同じタッチ位置に作用するが、タッチ操作強度が異なるタッチ操作が、異なる操作命令に対応することができる。例えば、タッチ操作強度が第1の圧力しきい値未満であるタッチ操作が、SMSアプリケーションのアイコン上に作用する場合、SMSメッセージを表示させるための命令が実行され、あるいはタッチ操作強度が第1の圧力しきい値以上であるタッチ操作が、SMSアプリケーションのアイコン上に作用する場合、SMSメッセージを作成するための命令が実行される。
ジャイロスコープセンサ180Bは、電子デバイス100の運動姿勢を判断するように構成され得る。いくつかの実施形態においては、ジャイロスコープセンサ180Bを使用することによって、3つの軸（すなわち、x軸、y軸、およびz軸）を中心とした電子デバイス100の角速度を判断することができる。ジャイロスコープセンサ180Bは、写真撮影時の画像安定化のために使用され得る。例えば、シャッタが押されるとき、ジャイロスコープセンサ180Bは、電子デバイス100の揺れの角度を検出し、この角度に基づき、レンズの逆運動によって電子デバイス100の揺れを相殺することで画像の安定化を実現するように、レンズモジュールによる必要な補償距離を計算する。ジャイロスコープセンサ180Bは、ナビゲーションおよび動作検知ゲームのシナリオにおいてさらに使用されることもできる。
気圧センサ180Cは、気圧を測定するように構成される。いくつかの実施形態において、電子デバイス100は、気圧センサ180Cによって測定された気圧の値を使用することによって高度を計算して、測位およびナビゲーションを支援する。
磁気センサ180Dは、ホール効果センサを含む。電子デバイス100は、磁気センサ180Dを使用することによって、クラムシェル型レザーケースの開閉を検出することができる。いくつかの実施形態において、電子デバイス100がクラムシェル型電話機である場合、電子デバイス100は、磁気センサ180Dに基づいてクラムシェルの開閉を検出することができる。さらに、フリップ時の自動ロック解除などの機能が、レザーケースの検出された開閉状態またはクラムシェルの検出された開閉状態に基づいて設定される。
加速度センサ180Eは、各々の方向（通常は、3つの軸）の電子デバイス100の加速度の大きさを検出することができる。電子デバイス100が静止しているとき、重力の大きさおよび方向が検出されることができる。加速度センサ180Eは、電子デバイスの姿勢を識別するようにさらに構成されてよく、横置きモード／縦置きモードの切り替えおよび歩数計などの用途に適用される。
距離センサ180Fは、距離を測定するように構成される。電子デバイス100は、赤外線またはレーザを使用することによって距離を測定することができる。いくつかの実施形態においては、写真撮影のシナリオにおいて、電子デバイス100は、距離センサ180Fを使用することによって距離を測定して、迅速な焦点合わせを実施することができる。
光学式近接センサ180Gは、例えば、発光ダイオード（LED）およびフォトダイオードなどの光検出器を含むことができる。発光ダイオードは、赤外光発光ダイオードであってよい。電子デバイス100は、発光ダイオードを使用することによって赤外光を発する。電子デバイス100は、フォトダイオードを使用することによって、近傍の物体からの赤外反射光を検出する。充分な反射光を検出すると、電子デバイス100は、電子デバイス100の近くに物体が存在すると判定することができ、充分な反射光が検出されない場合、電子デバイス100は、電子デバイス100の近くに物体が存在しないと判定することができる。電子デバイス100は、光学式近接センサ180Gを使用することによって、ユーザが通話のために電子デバイス100を耳の近くに保持していることを検出して、節電のために画面を自動的にオフにすることができる。さらに、光学式近接センサ180Gは、レザーケースモードまたはポケットモードでの自動画面ロックまたはロック解除に使用されることも可能である。
周囲光センサ180Lは、周囲光の明るさを感知するように構成される。電子デバイス100は、感知された周囲光の明るさに基づいて表示画面194の輝度を適応的に調整することができる。さらに、周囲光センサ180Lは、写真撮影時にホワイトバランスを自動的に調整するようにも構成され得る。さらに、周囲光センサ180Lは、光学式近接センサ180Gと協働して、電子デバイス100がポケット内にあるかどうかを検出して、意図せぬタッチを防止することができる。
指紋センサ180Hは、指紋を収集するように構成される。電子デバイス100は、収集された指紋の特徴を使用することによって、指紋に基づくロック解除、アプリケーションロックのアクセス、指紋に基づく写真撮影、指紋に基づく通話応答、などを実現することができる。
温度センサ180Jは、温度を検出するように構成される。いくつかの実施形態において、電子デバイス100は、温度センサ180Jによって検出された温度を使用することによって、温度処理ポリシーを実行する。例えば、温度センサ180Jによって報告された温度がしきい値を超える場合、電子デバイス100は、温度センサ180Jの近くのプロセッサの性能を落として、電力消費を減らし、熱保護を実施する。いくつかの他の実施形態においては、温度が別のしきい値を下回る場合に、電子デバイス100は、バッテリ142を暖めて、低温に起因する電子デバイス100の異常なシャットダウンを回避する。いくつかの他の実施形態においては、温度がさらに別のしきい値を下回る場合に、電子デバイス100は、低温に起因する異常なシャットダウンを回避するために、バッテリ142の出力電圧を昇圧する。
タッチセンサ180Kは、「タッチパネル」とも呼ばれる。タッチセンサ180Kは、表示画面194内に配置されてよく、タッチセンサ180Kと表示画面194とが、「タッチ制御画面」とも呼ばれるタッチスクリーンを形成する。タッチセンサ180Kは、タッチセンサ上またはタッチセンサの付近に作用するタッチ操作を検出するように構成される。タッチセンサは、検出されたタッチ操作を、タッチイベントの種類を判断するために、アプリケーションプロセッサに送信することができる。タッチ操作に関連した視覚出力は、表示画面194を使用することによって提供されることができる。いくつかの他の実施形態において、タッチセンサ180Kは、あるいは、電子デバイス100の表面上に配置されてもよく、表示画面194の位置とは異なる位置に位置する。
骨伝導センサ180Mは、振動信号を取得することができる。いくつかの実施形態において、骨伝導センサ180Mは、人間の発声部分の振動骨から振動信号を取得することができる。さらに、骨伝導センサ180Mは人間の脈拍に接触し、血圧および脈拍信号を受信してもよい。いくつかの実施形態において、骨伝導センサ180Mは、あるいは、ヘッドセット内に配置されて、骨伝導ヘッドセットを形成してもよい。オーディオモジュール170は、発声部分の振動骨から骨伝導センサ180Mによって取得された振動信号に基づいて音声信号を解析して、音声機能を実現することができる。アプリケーションプロセッサは、骨伝導センサ180Mによって取得された血圧および拍動信号に基づいて心拍情報を解析して、心拍検出機能を実現することができる。
キー190は、電源キー、ボリュームキー、などを含む。キー190は、機械的なキーであってよく、あるいはタッチキーであってよい。電子デバイス100は、キー入力を受け取り、電子デバイス100のユーザ設定および機能制御に関連したキー信号入力を生成することができる。
モータ191は、振動刺激を生成することができる。モータ191は、着信についての振動刺激を生成するように構成されることができ、あるいはタッチに関する振動フィードバックを生成するように構成されることができる。例えば、異なるアプリケーション（例えば、写真撮影およびオーディオ再生）に作用するタッチ操作が、異なる振動フィードバック効果に対応し得る。表示画面194の異なる領域に作用するタッチ操作に関して、モータ191は、やはり異なる振動フィードバック効果を対応して生成することができる。異なるアプリケーションのシナリオ（例えば、タイムリマインダ、情報受信、目覚まし時計、およびゲーム）も、やはり異なる振動フィードバック効果に対応し得る。タッチ振動フィードバック効果は、さらにカスタマイズ可能であってよい。
インジケータ192は、インジケータライトであってよく、充電状況およびバッテリレベルの変化を示すように構成されてよく、あるいはメッセージ、不在着信、通知、などを示すように構成されてよい。
SIMカードインターフェース195は、SIMカードにつながるように構成される。SIMカードは、電子デバイス100との接触または電子デバイス100からの分離を実現するために、SIMカードインターフェース195に挿入されること、またはSIMカードインターフェース195から取り外されることが可能である。電子デバイス100は、1つまたはN個のSIMカードインターフェースをサポートでき、Nは1より大きい正の整数である。SIMカードインターフェース195は、Nano SIMカード、Micro SIMカード、SIMカード、などをサポートし得る。1つのSIMカードインターフェース195に複数のカードが挿入されてもよい。複数のカードは、同じ種類であってよく、あるいは異なる種類であってよい。SIMカードインターフェース195は、さまざまな種類のSIMカードとの互換性も有し得る。SIMカードインターフェース195は、外部ストレージカードとの互換性も有し得る。電子デバイス100は、SIMカードを使用することによってネットワークとやり取りして、通話およびデータ通信などの機能を実現する。いくつかの実施形態において、電子デバイス100は、eSIM、すなわち組み込み式のSIMカードを使用する。eSIMカードは、電子デバイス100に組み込まれてよく、電子デバイス100から分離させることが不可能である。
本出願の一実施形態は、深度情報を取得するための方法を提供する。本方法は、電子デバイス100に適用可能である。電子デバイス100は、赤外線プロジェクタ101と、第1のカメラ102と、第2のカメラ103とを含む。例えば、図1Aに示されるように、第1のカメラ102および第2のカメラ103のレンズ焦点距離は、どちらもfであり、第1のカメラ102と第2のカメラ103との間の距離（すなわち、第1の長さ）は、Tである。図2に示されるように、深度情報を取得するための方法は、S201～S203を含むことができる。
S201。電子デバイス100は、第1の命令を受信し、第1の命令は、対象の物体の深度情報を取得するために電子デバイス100をトリガする。
電子デバイス100は、ユーザの第1の操作を受信することができ、第1の操作は、第1のイベントを実行するように電子デバイス100をトリガするために使用される。電子デバイス100は、第1のイベントを実行するために対象の物体の深度情報を使用する必要がある。したがって、第1の動作に応答して、電子デバイス100は、第1の命令を取得することができ、第1の命令は、対象の物体の深度情報を取得するように電子デバイス100をトリガすることができる。
例えば、本出願のこの実施形態における方法は、顔に基づくロック解除シナリオ、顔に基づく支払いシナリオ、ARシナリオ、3Dモデリングシナリオ、および大開口シナリオなどの複数のシナリオに適用され得る。
顔に基づくロック解除シナリオにおいて、電子デバイス100の電源がオンになっており、電子デバイス100の画面がオフであると仮定される。第1の操作は、ユーザによって電子デバイス100の関連の物理キーに対して行われるヒット操作（例えば、シングルヒット操作）であってよい。例えば、関連の物理キーは、ロック画面キーまたはHomeキーであってよい。電子デバイス100がユーザによって物理キーに対して行われた第1の操作を受信した場合、それは、ユーザが電子デバイス100のロックを解除しようとしていることを示し得る。
あるいは、電子デバイス100は、ユーザによって手持ちされている電子デバイス100の状態を検出するように構成された1つ以上のセンサを含むことができる。電子デバイス100の電源がオンになっており、電子デバイス100の画面がオフであり、あるいは電子デバイス100上にロック画面インターフェースが表示されていると仮定される。電子デバイス100による第1の操作の受信は、具体的には、以下のとおりであってよく、すなわちセンサが、ユーザによって手持ちされている電子デバイス100の現在の状態が、予め設定された条件を満たす変化を生じたことを検出したことであってよい。ユーザによって手持ちされている電子デバイス100の状態が、予め設定された条件を満たす変化を生じた（例えば、電子デバイス100がユーザによって取り上げられ、電子デバイス100の表示画面と水平面との間の挟角が特定の範囲内に入るようにユーザが電子デバイス100を保持する）場合、それは、ユーザが電子デバイス100のロックを解除しようとしている可能性があることを示す。
換言すると、第1の操作は、電子デバイス100をトリガしてロック解除を実行する（すなわち、第1のイベントを実行する）ために使用されることができる。電子デバイス100のロック解除に先立ち、ユーザの身元の確認が実行される必要がある。顔認識が、ユーザの身元の確認の1つのやり方である。顔認識を実行するために、電子デバイス100は、対象の物体の深度情報を取得することができる。
本出願のこの実施形態において、1つ以上のセンサは、電子デバイス100が回転させられたこと、電子デバイス100がユーザに対して前方に移動したこと、または電子デバイス100が水平線に対して上方に移動したことを検出することによって、ユーザによって手持ちされている電子デバイス100の状態が、予め設定された条件を満たす変化を生じたかどうかを判定することができる。具体的には、電子デバイス100は、電子デバイス100の運動パラメータを検出し、次いで、運動パラメータに基づいて、電子デバイス100が回転させられたかどうか、電子デバイス100がユーザに対して前方に移動したかどうか、および電子デバイス100が水平線に対して上方に移動したかどうかを判定し、最終的に、判定結果に基づいて、ユーザによって手持ちされている電子デバイス100の状態が、予め設定された条件を満たす変更を生じたかどうかを判定することができる。
例えば、この実施形態において、「ユーザによって手持ちされている電子デバイス100の現在の状態が、予め設定された条件を満たす変化を生じる」ことは、具体的には、電子デバイス100が回転させられ、かつ上方に移動したことを、センサが検出した後に、電子デバイス100の表示画面と水平面との間の挟角が予め設定された範囲内に入ることを含むことができる。
異なるユーザは異なる撮影の癖を有するため、電子デバイス100は、大多数のユーザまたはすべてのユーザが電子デバイス100を使用して人間の顔画像を収集するプロセスにおいてセンサによって収集された状態変化パラメータについて統計を集め、状態変化パラメータの変化を予め設定された条件を満たす変化として決定できることに、注意すべきである。このようにして、電子デバイス100は、電子デバイス100内のセンサによって収集された状態変化パラメータの変化が予め設定された条件の変化を満たすことに応答して、ユーザが電子デバイス100のロック解除を望んでいる可能性が比較的高いと判断することができる。この場合に、S202が実行されることができる。
例えば、顔に基づく支払いシナリオにおいて、第1の操作は、支払いインターフェース上の支払いボタンに対してユーザによって実行されるタッチ操作（例えば、シングルタッチ操作）であってよい。例えば、図3（a）に示される支払いインターフェース301は、「今すぐ支払う（Pay Now）」の支払いボタン302を含み、第1の操作は、「今すぐ支払う」ボタン302に対してユーザによって実行されるシングルタッチ操作であってよい。あるいは、第1の操作は、例えばS字形のジェスチャなど、支払いインターフェース上でユーザによって入力される予め設定されたジェスチャであってもよい。第1の操作に応答して、電子デバイス100は、注文について支払いを行う（すなわち、第1のイベントを実行する）ことができる。しかしながら、電子デバイス100が注文について支払いを行う前に、ユーザの身元の確認が実行される必要がある。顔認識が、ユーザの身元の確認の1つのやり方である。顔認識を実行するために、電子デバイス100は、対象の物体の深度情報を取得することができる。「今すぐ支払う」ボタン302に対してユーザによって実行されたシングルタッチ操作に応答して、電子デバイス100は、図3（b）に示される顔認識インターフェース303を表示することができる。
S202。電子デバイス100は、第1の命令に応答して、赤外線プロジェクタ101を使用することによって光点を有する赤外光を放射し、第1のカメラ102を使用することによって対象の物体の第1の画像情報を収集し、第2のカメラ103を使用することによって対象の物体の第2の画像情報を収集する。
電子デバイス100は、第1の命令に応答して、赤外線プロジェクタ101をオンにし、第1のカメラ102および第2のカメラ103をオンにすることができる。電子デバイス100が赤外線プロジェクタ101をオンにした後に、赤外線プロジェクタ101は、光点を有する赤外光を放射することができる。電子デバイス100がオンになり、第1のカメラ102および第2のカメラ103を初期化した後に、第1のカメラ102および第2のカメラ103は、対象の物体の画像情報を収集することができる。
本出願のこの実施形態において、赤外線プロジェクタ101は、光点を有する赤外光を対象の物体へと放射し、光点を有する赤外光が対象の物体へと照射される。これにより、対象の物体の特徴（すなわち、テクスチャ特徴）の量を増やすことができ、第1のカメラ102および第2のカメラ103による対象の物体の各特徴の識別率を高めることができる。
本出願のこの実施形態において、赤外線プロジェクタ101によって放射される光点を有する赤外光、および赤外線プロジェクタ101による光点を有する赤外光の放射の原理が、本明細書において説明される。
一般に、赤外光は、人間の目にとって可視ではない。しかしながら、一部の赤外光（例えば、850nmの赤外光）は明らかな赤色光の特徴を有し、少量の赤色光が依然として人間の目にとって可視である。赤外線プロジェクタ101がこの種の赤外光を対象の物体へと放射する場合、ユーザは、対象の物体へと照射された赤外光を視認でき、したがってユーザの視覚的体験に影響が及ぶ可能性がある。
赤外線プロジェクタ101によって対象の物体へと放射された赤外光がユーザの視覚的体験に影響を及ぼすことがないように、赤外線プロジェクタ101によって放射される赤外光は、人間の目にとって完全に不可視な赤外光であってよい。例えば、赤外線プロジェクタ101が放射する赤外光は、890nm～990nmの赤外光であってよく、具体的には、例えば940nmの赤外光である。
一部のカメラ（例えば、ローリングシャッタ（rolling shutter）カメラ）の露光は、ラインごとに行われる。したがって、第1のカメラ102および第2のカメラ103の露光をラインごとに行う場合、第1のカメラ102および第2のカメラ103の露光期間の全体にわたって、赤外線プロジェクタ101をオンにして、光点を有する赤外光を放射する必要がある。そうでないと、露光中に第1のカメラ102および第2のカメラ103によって収集される画像情報において、いくつかの画像に光点が存在しない可能性がある。この場合、赤外線プロジェクタ101の動作電力が大きすぎて、赤外線プロジェクタ101が発熱して比較的高温になることで、赤外線プロジェクタ101による赤外光の放射効率に影響が及び（すなわち、赤外光の輝度に影響が及び）、光点を有する赤外光が物体へと照射されたときに形成されるテクスチャ特徴の効果にも影響が及ぶことがないように、赤外線プロジェクタ101の動作電力が大きすぎないことが求められる。
当然ながら、赤外線プロジェクタ101の動作電力を過度に低くすることも不可能である。赤外線プロジェクタ101の動作電力が低すぎると、赤外線プロジェクタ101による赤外光の放射効率にやはり影響が及び、さらには、光点を有する赤外光が物体へと照射されたときに形成されるテクスチャ特徴の効果にも影響が及ぶ。
要約すると、赤外光が物体へと照射されたときに形成されるテクスチャ特徴の効果を確実にするために、赤外線プロジェクタ101の出力は、過度に高くてはならず、あるいは過度に低くてはならない。赤外線プロジェクタ101の出力を安定させるために、赤外線プロジェクタ101の動作電流は、100mA～200mAの範囲であってよい。例えば、赤外線プロジェクタ101の動作電流は、150mAであってよい。
一般に、赤外線プロジェクタは、以下の3つの部分、すなわち（1）赤外光源、（2）コリメートミラー、および（3）回折光学素子（diffractive optical element、DOE）を含むことができる。
赤外光源は、レーザ光源であってよい。例えば、レーザ光源は、垂直共振器面発光レーザ（vertical cavity surface emitting laser、VCSEL）であってもよい。VCSELは、上述の赤外光を放射することができる。
コリメートミラーは、1Pレンズまたは2Pレンズであってよい。コリメートミラーが1Pレンズであるということは、コリメートミラーが1つのレンズを含むことを意味する。2Pレンズは、コリメートミラーが2枚のレンズを含むことを意味する。コリメートミラーは、非平行な光をほぼ平行な光源に変換するように構成される。この変換により、赤外線プロジェクタによって放射される赤外光のテクスチャのノイズレベルを低減することができ、すなわち非テクスチャ部の光を低減することができる。換言すると、この変換により、赤外線プロジェクタによって放射される赤外光の明るいドットをより明るくし、赤外線プロジェクタによって放射される赤外光の暗いドットをより暗くすることができる。
昼間において可視光が比較的強い場合、光点を有する赤外光が対象の物体へと照射されたときに形成されるテクスチャ特徴は、第1のカメラ102および第2のカメラ103によって収集された画像情報においてほとんど不可視である。この場合に、電子デバイス100は、2つの画像情報における同一の特徴を特定するときに、対象の物体の特徴に基づいて判定を行うことができる。したがって、コリメートミラーによって光を変換することによって得られた明るいドットは、深度の計算に影響を与えない。
本出願のこの実施形態において、赤外線プロジェクタ101においてコリメートミラーは省略されてもよい。具体的には、本出願のこの実施形態において、赤外線プロジェクタ101は、コリメートミラーを含まず、赤外光源およびDOEのみを含むことができる。コリメートミラーは、VCSELによって放射された光がコリメートミラーを通過した後にほぼ平行光になるように構成される。このように、コリメートミラーが存在する場合、光がDOEを通過した後に、光点の直径が小さく、コントラストが高くなる（すなわち、光点領域の輝度が高く、非光点領域の輝度が低い）。したがって、可視光の強度がきわめて低い場合や、真っ暗（例えば、夜間）の場合に、プロジェクタによって照明された対象の物体は、スポットまたは光点の存在しない領域において黒色になり、あるいは不可視になる。その理由は、コリメートミラーを有するプロジェクタの光点および光がより集中し、光点の存在しない場所は理論的には無光であり、あるいはわずかな周囲光しか有さないからである。コリメートミラーが赤外線プロジェクタから除かれた場合、DOEに進入する前の光が平行光ではないため、光点のコントラストは低く、非光点領域にも光の一部が依然として存在する。コリメートミラーを持たないプロジェクタは、プロジェクタの設計におけるノイズである。しかしながら、本出願のこの実施形態において、深度情報の測定精度が向上されることが可能である。コリメートミラーを持たないプロジェクタにおいて、可視光が弱い場合や、完全な暗闇の場合に、対象の物体のうちの光点が照射される領域において、対象の物体は光点で照明されることができ、光点で照明されない領域において、このノイズゆえに、比較的弱い光がやはり対象の物体へと照射される。この場合、対象の物体が全体として可視である。したがって、対象の物体の特徴をより明確にすることができ、深度情報の測定精度が向上されることができる。
DOEは、フーリエ光学原理を使用することにより、平行光を必要とされる光出力形態に変換するように構成される。出力形態は、点、線、または面であってよい。本出願のこの実施形態では、DOEは、光点を有する赤外光を放射するように赤外線プロジェクタを制御するように配置され得る。光点の形状、量、および配置はすべて、DOEを配置することによって実現されることができる。
具体的には、赤外線プロジェクタ101によって放射される赤外光は、複数の光点を含むことができる。複数の光点は、複数のスペックル格子群を含むことができる。1つのスペックル格子群は、1つ以上のスペックル格子を含み、各スペックル格子は、複数のスペックルを含む。図4は、本出願の一実施形態による複数のスペックル格子の一例の概略図である。例えば、図4に示されるスペックル格子401は、複数の円形スペックルを含むスペックル格子である。
いくつかの実施形態において、スペックル格子の複数のスペックルは、同一の形状を有することができる。例えば、図4に示されるスペックル格子401、スペックル格子402、スペックル格子403、スペックル格子404、およびスペックル格子408のスペックルは、すべて円形である。図4に示されるスペックル格子405のすべてのスペックルは、矩形である。
いくつかの他の実施形態において、スペックル格子の複数のスペックルのうちの少なくとも2つは、異なる形状を有する。例えば、図4に示されるスペックル格子406は、円形スペックルおよび矩形スペックルを含む。図4に示されるスペックル格子407は、異なる形状の複数のスペックルを含む。
種々のスペックル格子がさまざまな形状を有してもよいことに、留意されたい。例えば、図4に示されるように、スペックル格子401は矩形のスペックル格子であり、スペックル格子402は三角形のスペックル格子であり、スペックル格子403は八角形のスペックル格子であり、スペックル格子404は別の八角形のスペックル格子である。スペックル格子401、スペックル格子402、スペックル格子403、およびスペックル格子404は、形状が異なるため、スペックル格子401、スペックル格子402、スペックル格子403、およびスペックル格子404は、異なるスペックル格子である。
スペックル格子が異なると、スペックルの量、スペックルの形状、および格子の形状のうちの少なくとも1つが異なる。例えば、図4に示されるスペックル格子401およびスペックル格子408は、同一の形状を有しているが、スペックル格子401およびスペックル格子408は、異なる量のスペックルを含む（スペックル格子401は、スペックル格子408よりもスペックルを1つ多く含む）。したがって、スペックル格子401とスペックル格子408とは、異なるスペックル格子である。例えば、図4に示されるスペックル格子401およびスペックル格子405は、同一の形状であり、スペックル格子401およびスペックル格子405は、それぞれ同じ量のスペックルを含むが、スペックル格子401におけるスペックルの形状（円形）は、スペックル格子405におけるスペックルの形状（矩形）とは異なる。したがって、スペックル格子401とスペックル格子405とは、異なるスペックル格子である。別の例として、図4に示されるスペックル格子402およびスペックル格子404に含まれるスペックルは、同一の形状を有しており、これら2つのスペックル格子は、それぞれ同じ量のスペックルを含むが、スペックル格子402の形状（三角形）は、スペックル格子404の形状（八角形）とは異なる。したがって、スペックル格子402とスペックル格子404とは、異なるスペックル格子である。
図4は、いくつかのスペックル格子の例の例示の概略図にすぎない。赤外光の複数の光点のスペックル格子は、図4に示したスペックル格子を含むが、これらに限定されない。
いくつかの実施形態において、複数の光点は、複数の同じスペックル格子群を含む。各スペックル格子群は、1つのスペックル格子を含む。例えば、赤外線プロジェクタ101によって放射される赤外光が、図5に示される複数の光点501を有すると仮定される。図5に示される501は、複数の光点を示している。複数の光点501は、複数の同一のスペックル格子群502を含む。スペックル格子群502は、1つのスペックル格子401を含む。別の例として、赤外線プロジェクタ101によって放射される赤外光が、図5に示される複数の光点503を有すると仮定される。複数の光点503は、複数の同一のスペックル格子群504を含む。スペックル格子群504は、1つのスペックル格子407を含む。
いくつかの他の実施形態において、複数の光点は、複数の同じスペックル格子群を含む。各スペックル格子群は、複数のスペックル格子を含む。複数のスペックル格子のうちの少なくとも2つは異なる。
例えば、赤外線プロジェクタ101によって放射される赤外光が、図6Aに示される複数の光点601を有すると仮定される。複数の光点601は、複数の同一のスペックル格子群602を含む。スペックル格子群602は、スペックル格子402およびスペックル格子404を含む。スペックル格子402は、スペックル格子404とは異なる。
別の例として、赤外線プロジェクタ101によって放射される赤外光が、図6Bに示される複数の光点603を有すると仮定される。複数の光点603は、複数の同一のスペックル格子群604を含む。スペックル格子群604は、2つのスペックル格子401および2つのスペックル格子403を含む。スペックル格子401は、スペックル格子403とは異なる。
別の例として、赤外線プロジェクタ101によって放射される赤外光が、図6Cに示される複数の光点605を有すると仮定する。複数の光点605は、複数の同一のスペックル格子群606を含む。スペックル格子群606は、スペックル格子404、スペックル格子408、スペックル格子406、およびスペックル格子407を含む。スペックル格子404、スペックル格子408、スペックル格子406、およびスペックル格子407は、互いに異なる。
いくつかの他の実施形態において、複数の光点は、複数のスペックル格子群を含む。複数のスペックル格子群は、少なくとも2つの異なるスペックル格子群を含む。例えば、赤外線プロジェクタ101によって放射される赤外光が、図7Aに示される複数の光点701を有すると仮定される。複数の光点701は、例えばスペックル格子群602、スペックル格子群604、およびスペックル格子群606など、複数の異なるスペックル格子群を含む。
いくつかの他の実施形態において、複数の光点は、異なる形状の複数のスペックルを含む。異なる形状の複数のスペックルは、ランダムに配置されている。例えば、図7Bに示されるように、複数の光点702は、異なる形状の複数のスペックルを含む。
図5、図6A、図6B、図6C、または図7Aが、赤外光における複数の光点の一例の例示の概略図にすぎないことに、留意されたい。赤外光の複数の光点におけるスペックル格子の量は、図5、図6A、図6B、図6C、または図7Aに示されるスペックル格子の量に限定されない。
一般に、赤外線プロジェクタ101によって放射される赤外光のスペックルの量は、3000程度である。当然ながら、赤外線プロジェクタ101によって放射される赤外光におけるスペックルの量が多いほど、赤外光が対象の物体へと照射されたときの対象の物体の特徴の量の増加が大きく、電子デバイス100にとって対象の物体の深度情報を計算するうえでより好都合である。例えば、赤外線プロジェクタ101によって放射される赤外光におけるスペックルの量が約7000であるときに電子デバイス100によって計算される対象の物体の深度情報は、スペックルの量が約3000であるときに電子デバイス100によって計算される対象の物体の深度情報よりも正確である。
赤外線プロジェクタ101によって放射される赤外光におけるスペックル格子群が周期的に繰り返されている場合、赤外光が対象の物体へと照射されたときに形成されるテクスチャ特徴も、やはり繰り返されると理解されることができる。本出願のこの実施形態において、スペックル格子の繰り返し周波数は、予め設定された領域に現れる同一のスペックル格子の量によって表されることができる。予め設定された領域に現れる同一のスペックル格子群の量が多いほど、スペックル格子の繰り返し周波数が高く、スペックル格子の繰り返し間隔が小さい。この場合、電子デバイス100が第1のカメラ102によって収集された画像情報および第2のカメラ103によって収集された画像情報において同一の特徴を特定するときに、特徴マッチング誤差が生じやすい。本出願のこの実施形態において、特徴マッチングとは、第1のカメラ102によって収集された画像情報および第2のカメラ103によって収集された画像情報において同一の特徴を特定することを意味する。予め設定された領域に現れる同一のスペックル格子群の量が少ないほど、スペックル格子の繰り返し周波数が低く、スペックル格子の繰り返し間隔が大きい。
画像に反映されるスペックル格子の繰り返し間隔は、2つの同一のスペックル格子の間の最短距離である。例えば、2つのスペックル格子の間の距離は、2つのスペックル格子の中心点間の距離であってよい。例えば、図7Cに示されるように、複数の光点703は、例えばスペックル格子群704、スペックル格子群705、およびスペックル格子群706など、複数の繰り返されるスペックル格子群を含む。スペックル格子群704、スペックル格子群705、およびスペックル格子群706は、同一である。点K1が、スペックル格子群704におけるスペックル格子707の中心点である。点K2が、スペックル格子群705におけるスペックル格子708の中心点である。点K3は、スペックル格子群706におけるスペックル格子709の中心点である。図7Cに示されるスペックル格子の繰り返し間隔は、点K1と点K2との間の距離および点K1と点K3との間の距離の最短距離によって表されることができる。点K1と点K2との間の距離が、点K1と点K3との間の距離よりも短いため、図7Cに示されるスペックル格子の繰り返し間隔は、点K1と点K2との間の距離によって表されることができる。
本出願のこの実施形態において、スペックル格子の繰り返し周波数が低いほど、赤外光が対象の物体へと照射されたときに形成されるテクスチャ特徴の繰り返しが少なくなり、電子デバイス100によって計算される対象の物体の深度情報の精度が高くなる。
電子デバイス100は、式
Figure 2022506753000006
を使用することにより、三角測量の原理に従って対象の物体の深度情報を計算する。具体的には、第1のカメラ102と第2のカメラ103との間の距離（すなわち、第1の長さT）と、第1のカメラ102および第2のカメラ103のレンズ焦点距離fと、視差dとに基づいて、対象の物体の深度情報が計算される。
赤外線プロジェクタ101によって放射された光点を有する赤外光が対象の物体に照射されることができ、光点を有する赤外光が照射された対象の物体を第1のカメラ102および第2のカメラ103によって撮影することができることを保証するために、本出願のこの実施形態において、赤外線プロジェクタ101の視野（field of view、FOV）のカバーエリア、第1のカメラ102のFOVのカバーエリア、および第2のカメラ103のFOVのカバーエリアは、部分的に重なり、あるいは完全に重なる。FOVのサイズは、光学デバイス（例えば、カメラ）の視野を表すことができる。
赤外線プロジェクタ101、第1のカメラ102、および第2のカメラ103のFOVのカバーエリアの重なり合いの領域が大きいほど、第1のカメラ102および第2のカメラ103によって収集されるテクスチャ特徴の量が多くなる。赤外線プロジェクタ101、第1のカメラ102、および第2のカメラ103のFOVのカバーエリアの重なり合いの領域を比較的大きくするために、図1Aに示されるように、赤外線プロジェクタ101は、第1のカメラ102と第2のカメラ103との間に配置されることができる。
第1のカメラ102と第2のカメラ103との間の距離（すなわち、第1の長さ）も、重なり合いの領域のサイズに影響を及ぼすと理解されることができる。例えば、第1の長さが大きいほど、第1のカメラ102および第2のカメラ103のFOVのカバーエリアの重なり合いの領域は小さくなる。しかしながら、第1の長さが小さすぎると、対象の物体の各特徴についての第1のカメラ102と第2のカメラ103との視差も、きわめて小さくなり、0に近くなる。したがって、第1の長さを過度に大きくすることも、過度に小さくすることもできない。第1の長さが過度に大きい場合または過度に小さい場合、電子デバイス100によって計算される深度情報の精度に影響が及ぶ。
実験から、第1の長さTが20mmから30mmまでの範囲の任意の長さであるとき、電子デバイス100によって計算される深度情報が比較的正確であることが分かっている。したがって、本出願のこの実施形態において、第1の長さTは、20mmから30mmまでの範囲の任意の長さであってよい。例えば、第1の長さTは、29．5mmであってよい。2つのカメラの間の距離をどのように設定するかが、カメラパラメータによって影響され得ることに留意されたい。したがって、第1の長さTが20mm～30mmであることは、一例にすぎない。
赤外線プロジェクタ101が光点を有する赤外光を放射した後に、第1のカメラ102および第2のカメラ103が光点を含む画像情報を収集できることが求められる場合、第1のカメラ102および第2のカメラ103は、赤外光を受光できることが必要とされる。例えば、第1のカメラ102および第2のカメラ103は、例えば940nmの赤外光など、890nm～990nmの赤外光を受光するように構成されてよい。
以上の説明から、本出願のこの実施形態において、第1のカメラ102および第2のカメラ103が赤外光を感知（すなわち、赤外光を受光）できることが必要とされると理解することができる。しかしながら、一般的なRGBカメラは、可視光のみを感知することができ、赤外光を感知することはできない。一方で、赤外光の感知機能を備える赤外線カメラを電子デバイス100に配置するコストは比較的高く、赤外線カメラを用いると、電子デバイス100の電力消費が増大する。
電子デバイス100のハードウェアコストを下げ、電子デバイス100の電力消費を削減するために、本出願のこの実施形態においては、一般的なRGBカメラが改良されて、赤外光を感知することができる第1のカメラ102および第2のカメラ103を得ることができる。
図8（a）を参照すると、この図は、本出願の一実施形態による一般的なRGBカメラモジュールの概略の構造図である。図8の（a）に示されるように、本出願のこの実施形態においては、一般的なRGBカメラを改良して本出願のこの実施形態における第1のカメラ102および第2のカメラ103を得るやり方を説明するために、rolling shutterカメラが一例として使用される。
図8の（a）に示されるように、RGBカメラモジュール800は、3Pレンズ、光フィルタ（フィルタとも呼ばれる）804、およびセンサ（sensor）805を含むことができる。3Pレンズは、RGBカメラが、レンズ801、レンズ802、およびレンズ803の3つのレンズを含むことを意味する。センサ805は、2Mセンサであってよい。2Mは、RGBカメラの最高解像度が2メガピクセルに到達できることを意味する。
図8の（a）に示されるRGBカメラモジュール800で可視光および赤外光の両方を感知できるようにするために、図8の（a）に示されるRGBカメラモジュール800は、以下のように改良されることができ、すなわち、図8の（b）に示されるレンズ801、レンズ802、およびレンズ803を得るために、図8の（a）に示されるRGBカメラモジュール800の各レンズ（例えば、レンズ801、レンズ802、およびレンズ803）の両面のそれぞれに反射防止コーティングが施される。図8の（b）に示される光フィルタ804を得るために、光フィルタ804上にカットオフコーティングが施される。本出願のこの実施形態において、RGBカメラモジュール800内のセンサ805は改良されなくてもよい。本出願のこの実施形態において、カットオフコーティングは、光フィルタ804の両面のそれぞれに施されてよく、あるいは、カットオフコーティングは、光フィルタ804の一方の面に施されてもよい。
第1のカメラ102および第2のカメラ103で赤外線プロジェクタ101によって放射された赤外光を感知することができるように、第1のカメラ102および第2のカメラ103は、赤外線プロジェクタ101によって放射された赤外光を感知する能力を有する必要があることに留意されたい。そのため、反射防止コーティングは、赤外線プロジェクタ101によって放射される赤外光の波長に対応する反射防止コーティングであってよい。例えば、反射防止コーティングは、例えば940nmの赤外光についての反射防止コーティングなど、890nm～990nmの赤外光についての反射防止コーティングであってよい。
赤外線プロジェクタ101によって放射された赤外光を感知するレンズ801、レンズ802、およびレンズ803の能力が向上されることができ、レンズ801、レンズ802、およびレンズ803が、赤外線プロジェクタ101によって放射された赤外光を可能な限り受光することができるように、各々のレンズ（例えば、レンズ801、レンズ802、およびレンズ803）の両面の各々に反射防止コーティングが施される。
カットオフコーティングは、赤外線プロジェクタ101によって放射される赤外光および可視光以外の光を除去して、赤外光の透過率を高めるために使用されることができる。
例えば、カットオフコーティングは、850nmの波長を有する赤外光を除去するために使用されることができる。850nmの波長を有する赤外光は、明らかな赤色光の特徴を有するため、激しい赤色露光現象が発生し得ると理解されることができる。したがって、カットオフコーティングが使用されて850nmの波長を有する赤外光を除去することにより、赤色露光現象の発生の可能性が低減されることができる。赤色露光現象は、クリーンでない光フィルタ処理の問題である。例えば、照明に赤外光（すなわち、赤外線）のみが用いられることが想定される場合があり、したがって光源にフィルタが追加されて赤外線以外の光を除去することができる。この場合に、クリアでない光フィルタ処理により、少量の赤外光が依然として人間の目に見える可能性がある。この現象が、赤色露光現象と呼ばれる。
本出願のこの実施形態において、改良されるべき一般的なRGBカメラは、上述のrolling shutterカメラを含むが、これに限定されない。上述の第1のカメラを得るためにrolling shutterカメラを改良する理由は、rolling shutterカメラの露光がラインごとに行われ、コストが比較的低いためである。本出願のこの実施形態においては、rolling shutterカメラが第1のカメラ102および第2のカメラ103を得るために改良され、したがってコストがさらに削減されることができる。
S203。電子デバイス100は、第1の画像情報と、第2の画像情報と、第1の長さと、レンズ焦点距離とに基づいて、対象の物体の深度情報を算出する。
上述の式
Figure 2022506753000007
から、対象の物体の各特徴が位置する地点の深度Zが、その地点についての第1のカメラ102と第2のカメラ103との間の視差dに反比例し、各特徴が位置する地点の深度Zが、レンズ焦点距離fに正比例し、各特徴が位置する地点の深度Zが、第1の長さTに正比例すると理解されることができる。
第1の長さTおよびレンズ焦点距離fは、第1のカメラ102および第2のカメラ103のハードウェアパラメータである。第1の長さTおよびレンズ焦点距離fは、固定されている。この場合、対象の物体の各地点の深度Zの値は、その地点についての第1のカメラ102と第2のカメラ103との間の視差dの値に依存する。
例えば、図10Aの（a）に示されるように、第1のカメラ102が左側デュアルパスカメラであり、第2のカメラ13が右側デュアルパスカメラであると仮定される。笑顔、三角形、円柱、および三日月が、対象の物体の異なる特徴を別々に表している。笑顔、三角形、円柱、および三日月の位置からカメラまでの距離は、徐々に大きくなる。図10Aの（b）に示されるように、OLが第1のカメラ102の位置であり、ORが第2のカメラ103の位置であり、OLとORとの間の距離がT（すなわち、第1の長さ）である。
図10Aの（b）に示されるように、第1のカメラ102は画像Aを収集し、第2のカメラ103は画像Bを収集する。Ol（画像Aの左上角）を原点とする座標系（略して、座標系Lと呼ばれる）のx軸上の三日月の座標が、xL1であり、座標系Lのx軸上の円柱の座標が、xL2であり、座標系Lのx軸上の三角形の座標が、xL3であり、座標系Lのx軸上の笑顔の座標が、xL4である。Or（画像Bの左上角）を原点とする座標系（略して、座標系Rと呼ばれる）のx軸上の三日月の座標が、xR1であり、座標系Rのx軸上の円柱の座標が、xR2であり、座標系Rのx軸上の三角形の座標が、xR3であり、座標系Rのx軸上の笑顔の座標がxR4である。
三日月についての第1のカメラ102と第2のカメラ103との間の視差は、d1であり、d1＝xL1－xR1である。円柱についての第1のカメラ102と第2のカメラ103との間の視差は、d2であり、d2＝xL2－xR2である。三角形についての第1のカメラ102と第2のカメラ103との間の視差は、d3であり、d3＝xL3－xR3である。笑顔についての第1のカメラ102と第2のカメラ103との間の視差は、d4であり、d4＝xL4－xR4である。
本出願のこの実施形態において、図10Aの（b）に示される笑顔は、この笑顔についての第1のカメラ102と第2のカメラ103との間の視差d4（d4＝xL4－xR4）を説明するための本明細書における例として使用されている。
図10Bに示されるように、画像Aの座標系における第1のカメラ102によって収集された笑顔の座標は（XL4，y）であり、画像Bの座標系における第2のカメラ103によって収集された笑顔の座標は（xR4，y）である。図10Bに示されるように、x軸上の座標（XL4，y）と座標（xR4，y）との間の差はd4であり、d4＝xL4－xR4であり、すなわち、笑顔についての第1のカメラ102と第2のカメラ103との間の視差d4は、xL4－xR4に等しい。
d1＜d2＜d3＜d4。対象の物体の各特徴の深度Z（すなわち、その特徴が位置する地点）は、その地点についての第1のカメラ102と第2のカメラ103との間の視差dに反比例する。したがって、視差dと深度Zとの間の関係の概略図を、図10Cに示されるように得られることができる。図10Cに示されるように、視差dが徐々に大きくなるにつれて、深度Zは徐々に小さくなる。
要約すると、電子デバイス100は、まず、対象の物体の特徴について、第1のカメラ102と第2のカメラ103との間の視差dを計算し、次いで、特徴の視差d、第1の長さT、およびレンズ焦点距離fに基づいて、特徴が位置する地点の深度Zを計算し、その後に、複数の地点の深度に基づいて対象の物体の深度情報を求めることができる。具体的には、図9に示されるように、図2に示されるS203は、S203aおよびS203bを含むことができる。
S203a。電子デバイス100は、第1の画像情報および第2の画像情報における複数の第1の特徴について、第1のカメラ102と第2のカメラ103との視差を計算し、第1の特徴は、第1の画像情報および第2の画像情報における同一の特徴である。
赤外線プロジェクタ101によって放射された光点を有する赤外光が対象の物体へと照射されるとき、対象の物体のテクスチャ特徴の量が増加されることができる。例えば、対象の物体が図11の（a）に示される人間の顔1101であり、赤外線プロジェクタ101によって放射される図11の（b）に示される赤外光1102が、図7Cに示される光点を含むと仮定される。赤外線プロジェクタ101によって放射された赤外光1102が人間の顔1101へと照射された後に、図11の（c）に示されるように、光点が照射された人間の顔1103が取得されることができる。人間の顔1101と比較して、光点が照射された人間の顔1103は、より多くの特徴テクスチャを有する。
相違点は、第1のカメラ102によって収集された人間の顔1103の画像情報（すなわち、第1の画像情報）と、第2のカメラ103によって収集された人間の顔1103の画像情報（すなわち、第2の画像情報）とにおいて、同一の特徴が位置する地点が、座標系のx軸上の異なる位置にあり、すなわち第1のカメラ102と第2のカメラ103とが視差を有することである。
電子デバイス100は、第1のカメラ102によって収集された第1の画像情報および第2のカメラ103によって収集された第2の画像情報を識別し、第1の画像情報および第2の画像情報における同一の特徴を決定することができる。第1の画像情報および第2の画像情報における同一の特徴は、対象の物体自体の特徴と、光点を有する赤外光が対象の物体へと照射されたときに形成されるテクスチャ特徴とを含むことができる。具体的には、本出願のこの実施形態において、第1の画像情報および第2の画像情報における同一の特徴を特定するとき、電子デバイス100は、第1の画像情報および第2の画像情報における対象の物体の同一の特徴を特定できるだけでなく、光点を有する赤外光が対象の物体へと照射されたときに形成されたテクスチャ特徴の中からの同一の特徴も、第1の画像情報および第2の画像情報において特定することができる。すなわち、電子デバイス100は、2つの画像情報内の同一の特徴を特定するとき、対象の物体の特徴またはテクスチャ特徴に基づいて判定を行ってもよいし、2つの特徴を組み合わせて判定を行ってもよい。例えば、対象の物体の特徴のみまたはテクスチャ特徴のみに基づいて判定が行われることができる場合、2つの特徴が組み合わされる必要はないが、対象の物体の特徴に基づいて特徴が同一の特徴であるか否かを判定することが困難または不可能である場合には、テクスチャ特徴および対象の物体の特徴の両方に基づいて、特徴が同一の特徴であるか否かが判定されることができる。
例えば、昼間において可視光が比較的強い場合、光点を有する赤外光が対象の物体へと照射されたときに形成されるテクスチャ特徴は、第1のカメラ102および第2のカメラ103によって収集された画像情報においてほとんど不可視である。しかしながら、可視光が比較的強いため、可視光が対象の物体へと照射された場合、対象の物体の特徴は比較的明らかである。この場合、電子デバイス100は、2つの画像情報における同一の特徴を特定する場合に、対象の物体の特徴に基づいて判定を実行することが可能である。
上述のスペックル格子内のスペックルは同一の形状（例えば、スペックル格子は、複数のドットを含む）を有してもよいが、スペックル格子内のスペックルの位置が異なることに留意されたい。したがって、電子デバイス100は、スペックル格子およびスペックル格子内のスペックルの位置に基づいて、第1の画像情報および第2の画像情報において同一の形状のスペックルによって表される同一の特徴を特定することができる。
いくつかの実施形態において、複数の第1の特徴は、第1の画像情報および第2の画像情報内のすべての同一の特徴を含む。電子デバイス100は、第1の画像情報および第2の画像情報内のすべての同一の特徴を特定し、次いで、特徴ごとにS203bを実行して特徴の深度を計算し、対象の物体の深度情報を取得することができる。
いくつかの他の実施形態において、複数の第1の特徴は、第1の画像情報および第2の画像情報内の同一の特徴のうちのいくつかである。この実施形態において、電子デバイス100は、予め設定された特徴周波数に基づいて第1の画像情報から複数の第1の特徴を選択し、次いで、複数の第1の特徴と同一の特徴について第2の画像情報を検索し、最後に、第1の特徴の各々についてS203bを実行して第1の特徴の深度を計算し、対象の物体の深度情報を得ることができる。あるいは、電子デバイス100は、第1の画像情報からいくつかの第1の特徴をランダムに、または或る間隔で選択してもよい。
特徴周波数は、予め設定された領域に現れる同一の第1の特徴の量であってよい。画像に反映される特徴周波数は、電子デバイス100によって選択された2つの隣接する第1の特徴の間の距離（特徴距離と呼ばれる）であってよい。電子デバイス100によって、予め設定された特徴周波数に基づいて第1の画像情報から複数の第1の特徴を選択するための方法は、電子デバイス100が、特徴距離1つ分の間隔で位置する第1の画像情報内のすべての特徴から第1の特徴を1つ選択することを含むことができる。
換言すると、電子デバイス100は、第1の画像情報および第2の画像情報における同一の特徴の各々が位置する地点の深度を計算する必要はなく、特徴距離1つ分の間隔にある1つの特徴を選択し、選択した特徴が位置する地点の深度を計算すればよい。
例えば、本出願のこの実施形態において、上述の周期的特徴は、光点を有する赤外光が対象の物体へと照射されたときに形成される第1の画像情報および第2の画像情報内のテクスチャ特徴を例として用いて、本明細書において説明される。
図12に示されるように、特徴距離は、スペックル1201とスペックル1202との間の距離、またはスペックル1202とスペックル1204との間の距離、またはスペックル1204とスペックル1203との間の距離、またはスペックル1201とスペックル1203との間の距離であってよい。図12に示されるように、本出願のこの実施形態においては、スペックルを黒色にマーキングするやり方が、光点を有する赤外光が対象の物体へと照射されたときに形成されるテクスチャ特徴のうちのいくつかの第1の特徴を示すために使用される。換言すると、図12に示されている黒色でマークされたスペックルは、いくつかの第1の特徴である。
スペックル格子内のいくつかのスペックルは、同一の形状を有する（例えば、スペックル格子が複数のドットを含む）ことができる。電子デバイス100は、スペックル格子内のスペックルの位置に基づいて異なるスペックルを区別することができるが、電子デバイス100がスペックル格子内のスペックルの位置に基づいて異なるスペックルを区別するには比較的長い時間がかかり、電子デバイス100の電力消費が浪費される。電子デバイス100が第1の特徴を選択する際に用いる特徴距離は、複数の光点におけるスペックル格子の繰り返し間隔以下であってよい。換言すると、特徴周波数は、複数の光点におけるスペックル格子の繰り返し周波数以上である。このようにして、電子デバイス100によって第1の画像情報から選択された2つの隣接する第1の特徴が異なるスペックル格子のスペックルに対応することが可能な限り保証されることができ、その結果、電子デバイス100は2つの隣接する第1の特徴を区別することができる。これにより、特徴マッチング誤差の可能性を低減することができ、電子デバイス100によって計算される深度情報の精度を向上させることができる。
S203b。電子デバイス100は、第1の特徴の各々について、式（2）を使用し、第1の特徴についての第1のカメラ102と第2のカメラ103との間の視差d、第1の長さT、およびレンズ焦点距離fに基づいて、第1の特徴が位置する地点の深度を計算して、対象の物体の深度情報を取得する。
式（2）は、
Figure 2022506753000008
である。
例えば、対象の物体が図13に示される人間の顔1301であると仮定される。電子デバイス100は、図13に示される複数の地点の深度を計算して、対象の物体1301の深度情報1302を取得することができる。
本出願の一実施形態は、深度情報を取得するための方法を提供する。電子デバイス100は、赤外線プロジェクタ101を使用することによって光点を有する赤外光を放射することができる。このようにして、第1のカメラ102および第2のカメラ103によって収集される対象の物体の画像は、対象の物体の特徴を含むだけでなく、光点を有する赤外光が対象の物体へと照射されたときに形成されるテクスチャ特徴も含むことができる。すなわち、第1のカメラ102および第2のカメラ103によって収集される対象の物体の画像内の特徴の量が増やされることができる。第1のカメラ102および第2のカメラ103によって収集される対象の物体の画像内の特徴の量が増やされた後に、電子デバイス100は、第1のカメラ102によって収集された画像情報および第2のカメラ103によって収集された画像情報内の同一の特徴をより正確に特定し、この同一の特徴について第1のカメラ102と第2のカメラ103との間の視差をさらに決定し、各特徴が位置する地点の深度を計算して、対象の物体の深度情報を取得することができる。これにより、電子デバイス100によって算出される対象の物体の深度情報の精度を向上させることができる。
いくつかの実施形態において、電子デバイス100は、第1のカメラ102および第2のカメラ103を含む。第1のカメラ102および第2のカメラ103は、可視光を感知することができる。第1のカメラ102または第2のカメラ103は、主カメラとして機能することができる。電子デバイス100は、電子デバイス100の表示画面上に、可視光下で主カメラによって収集された画像情報を表示することができる。さらに、第1のカメラ102および第2のカメラ103は、赤外線プロジェクタ101と協働して電子デバイス100が対象の物体の深度情報を計算できるようにするために、赤外光をさらに感知することができる。
しかしながら、第1のカメラ102および第2のカメラ103は赤外光を感知することができるため、電子デバイス100によって収集される対象の物体の画像情報は、わずかに赤色になり得る。この場合、主カメラ（第1のカメラ102または第2のカメラ103）によって収集され、電子デバイス100の表示画面に表示される画像情報は、わずかに赤色になり、結果としてユーザの視覚的体験に影響を及ぼす可能性がある。
電子デバイス100の表示画面に表示される画像情報がわずかに赤色になるという問題を回避するために、いくつかの他の実施形態において、電子デバイス100は、第1のカメラ102および第2のカメラ103を含むだけでなく、第3のカメラ104をさらに含むことができる。第3のカメラ104は、RGBカメラ（すなわち、一般的なRGBカメラ）である。第3のカメラ104は、可視光下で画像情報を収集するように構成される。第3のカメラ104は、第1のカメラ102と第2のカメラ103との間に配置されてよく、あるいは他の位置に配置されてもよい。
この実施形態において、第1のカメラ102および第2のカメラ103は、可視光を感知することができるだけでなく、赤外光も感知することができ、すなわち、第1のカメラ102および第2のカメラ103は、赤外光の下で画像情報を収集できるだけでなく、さらに可視光の下で画像情報を収集するように構成されてよい。しかしながら、第1のカメラ102および第2のカメラ103によって収集された画像情報は、対象の物体の深度情報の計算にのみ使用される。第3のカメラ104が、可視光下で画像情報を収集するように構成されている。第3のカメラ104によって収集された画像情報は、電子デバイス100の表示画面への表示に使用される。これにより、電子デバイス100の表示画面に表示される画像情報がわずかに赤色になるという問題を回避することができ、画像を撮影する際のユーザの視覚的体験を保証することができる。
上述の実施形態が、第1のカメラのレンズ焦点距離が第2のカメラのレンズ焦点距離と同じである例を使用して説明されていることに留意されたい。しかしながら、別の実施態様において、第1のカメラのレンズ焦点距離は、あるいは、第2のカメラのレンズ焦点距離と違ってもよい。2つのカメラのレンズ焦点距離が異なる場合、深度Zを計算するための上述の式は、深度の計算に関して修正される。具体的な計算式は、先行技術における式であってよい。
例えば、顔に基づくロック解除シナリオまたは顔に基づく支払いシナリオなどのシナリオにおいて、顔認識に使用される二次元の人間の顔画像が電子デバイス100に入力されるときに、第3のカメラ104によって収集された画像情報が電子デバイス100の表示画面に表示されることができる。第1のカメラ102および第2のカメラ103によって収集された画像情報が、電子デバイス100が顔認識を行うときに対象の物体の深度情報を計算するために使用される。具体的には、電子デバイス100の顔認識プロセスは、二次元の人間の顔情報の認識および人間の顔の深度認証を含むことができる。二次元の人間の顔情報の認識とは、電子デバイス100によって収集された対象の物体の二次元画像が、電子デバイス100に記憶された二次元の人間の顔画像と一致するかどうかを、電子デバイス100が判定することを意味する。人間の顔の深度認証とは、電子デバイス100が、対象の物体の深度情報が実際の人間の顔の深度特徴を有するかどうかを判定することを意味する。対象の物体の深度情報が実際の人間の顔の深度特徴を有する場合、それは、対象の物体が実際の人間の顔であることを示しており、対象の物体の深度情報が実際の人間の顔の深度特徴を有さない場合、それは、対象の物体が実際の人間の顔ではないことを示している。例えば、対象の物体は、電子デバイスに予め記憶された2次元の人間の顔画像に一致する2次元画像を含む写真であり得る。対象の物体の深度情報が実際の人間の顔の深度特徴を有さない場合、たとえ対象の物体の二次元画像が電子デバイス100に記憶された二次元の人間の顔画像に一致しても、対象の物体の顔認識は依然として失敗する。すなわち、写真を使用することによって電子デバイスについて実行される顔認識は、失敗する。これにより、電子デバイス100の情報の漏洩またはユーザの財産の喪失を防ぐことができ、電子デバイス100の情報のセキュリティを保護し、電子デバイス100のセキュリティ性能を向上させることができる。
ARシナリオおよび3Dモデリングシナリオにおいて、電子デバイス100は、ARシナリオおよび3Dモデリングシナリオの本物らしさを向上させるために、第1のカメラ102および第2のカメラ103によって収集された画像情報に基づいて計算された対象の物体の深度情報を、第3のカメラ104によって収集された対象の物体の画像情報と組み合わせて、対象の物体の現実の人間の顔モデルを構築することができる。
大開口シナリオにおいて、電子デバイス100は、上述の方法を実行して、電子デバイス100によって収集された画像内の各地点の深度を計算し、次いで、予め設定された値よりも大きい深度を有する地点に対してぼかし処理を実行して、予め設定された値よりも小さい深度を有する地点を強調し、大開口の効果を実現することができる。
例えば、電子デバイス100が人間の顔を含む画像を収集する場合、人間の顔上の各地点の深度は、背景上の各地点の深度よりも小さい（背景は人間の顔の後ろにあり、カメラからより遠い）。したがって、大開口シナリオにおいて、人間の顔画像が強調されることができ、背景画像をぼかされることができる。
例えば、大開口シナリオにおいて、第1の操作は、ユーザによる「カメラ」アプリケーションを有効にする操作と、ユーザによる「カメラ」アプリケーションにおいて「大開口」モードを選択する操作とを含むことができる。電子デバイス100が第1の操作を受信すると、それは、電子デバイス100が大開口シナリオを使用することによって画像を撮影する（すなわち、第1のイベントを実行する）必要があることを示している。第1のイベントに応答して、電子デバイス100は、対象の物体の深度情報を取得するために深度情報を取得するための上述の方法を実行し、次いで、対象の物体の深度情報に基づいて大開口の効果を実現することができる。第3のカメラ104によって収集された画像が、電子デバイス100の表示画面に表示される。電子デバイス100は、取得した深度情報に基づいて、表示された撮影プレビュー写真および最終的に撮影された画像の両方に対して大開口処理を実行することができ、すなわち、近くの対象の物体がプレビュー写真および撮影画像の両方において強調されることができ、他の物体はぼかされる。
例えば、ユーザによる「カメラ」アプリケーションを有効にする操作は、「カメラ」アプリケーションのアイコンに対してユーザによって行われるシングルタッチ操作であってよい。ユーザによる「カメラ」アプリケーションを有効にする操作に応答して、電子デバイス100は、図14に示される写真撮影インターフェース1401を表示することができる。撮影インターフェース1401は、ビューファインダ枠1402と、カメラ切替キー1404と、撮影キー1403と、アルバムキー1405とを含む。ビューファインダ枠1402は、電子デバイス100の後方カメラまたは前方カメラによって取り込まれたプレビュー画像を表示するように構成される。カメラ切替キー1404は、画像の取り込みに関して前方カメラと後方カメラとの間の切り替えを行うべく電子デバイス100をトリガするように構成される。撮影キー1403は、電子デバイス100を制御して、後方カメラまたは前方カメラによって取り込まれたビューファインダ枠1402に表示されたプレビュー画像を保存するように構成される。アルバムキー1405は、電子デバイス100に保存された画像を閲覧するように構成される。電子デバイス100のデフォルトカメラが後方カメラである場合、図14に示されるように、後方カメラによって取り込まれたプレビュー画像がビューファインダ枠1402に表示されることができる。プレビュー画像は、第3のカメラ104によって取り込まれる。
撮影インターフェース1401は、電子デバイス100の撮影モードの選択肢をさらに含むことができる。電子デバイス100の撮影モードは、後方カメラ撮影モード、自撮りモード、ビデオモード、大開口モード、パノラマモード、などを含み得る。例えば、図14に示されるように、撮影インターフェース1401は、「大開口」選択肢1406、「写真」選択肢、「ビデオ」選択肢、などをさらに含むことができる。当然ながら、本出願のこの実施形態において、撮影モードは、後方カメラ撮影モード、自撮りモード、パノラマモード、大開口モード、およびビデオモードを含むが、これらに限定されない。他の撮影モードは、本出願のこの実施形態において、ここでは詳細には説明されない。
ユーザが「カメラ」アプリケーションにおいて「大開口」モードを選択する上述の操作は、図14に示した「大開口」選択肢1406に対してユーザによって実行されるタッチ操作（例えば、シングルタッチ操作、ダブルタッチ操作、またはタッチアンドホールド操作）であってよい。あるいは、ユーザが「カメラ」アプリケーションにおいて「大開口」モードを選択する上述の操作は、図14に示される撮影インターフェース1401上でユーザによって入力される予め設定されたジェスチャ（例えば、L字形のジェスチャ）であってよく、この予め設定されたジェスチャが、大開口モードで画像を撮影するように電子デバイス100をトリガするために使用される。
大開口シナリオにおいて、本出願のこの実施形態における方法は、第1のイベントに応答して、電子デバイス100が第3のカメラ104を使用することによって対象の物体の二次元画像を収集することをさらに含むことができる。電子デバイス100は、第3のカメラ104によって収集された二次元画像（対象の物体のRGB画像と呼ばれる）を表示画面に表示する。電子デバイス100は、第3のカメラ104によって収集された二次元画像内の人間の顔画像（人間の顔のRGB画像と呼ばれる）を識別する。電子デバイス100が対象の物体の深度情報を計算（すなわち、S203）した後に、本出願のこの実施形態における方法は、電子デバイス100が、対象の物体の深度情報（対象の物体の深度画像と呼ばれる）から人間の顔の深度情報（人間の顔の深度画像と呼ばれる）を識別することをさらに含むことができる。電子デバイス100は、人間の顔のRGB画像および人間の顔の深度画像に基づき、対象の物体のRGB画像および対象の物体の深度画像についてマッピングを実行して、対象の物体のRGB画像において、深度画像内の人間の顔の深度画像に対応する座標領域を見つけ、すなわちRGB画像内の顔領域の座標領域を見つけ、次いで対象の物体のRGB画像のうちのこの座標領域の部分以外の部分をぼかす。これにより、背景をぼかす効果を達成することができる。
上述の機能を実現するために、電子デバイスが、これらの機能を実行するための対応するハードウェア構成および／またはソフトウェアモジュールを含むことが、理解されることができるであろう。本明細書に開示の実施形態において説明される典型的なユニット、アルゴリズム、およびステップとの組み合わせにおいて、本出願の実施形態が、ハードウェアまたはハードウェアとコンピュータソフトウェアとの組み合わせによって実現されることができることを、当業者であれば容易に理解できるであろう。或る機能がハードウェアによって実行されるか、あるいはコンピュータソフトウェアによって駆動されるハードウェアによって実行されるかは、特定の用途および技術的解決策の設計上の制約に依存する。当業者であれば、各々の特定の用途に関して上述の機能を実現するためにさまざまな方法を使用することができるが、その実施態様は、本出願の実施形態の範囲を超えるとみなされるべきではない。
本出願の実施形態において、電子デバイスは、上述の方法の例に基づいて機能モジュールに分割されてよい。例えば、各々の機能モジュールは、対応する各機能に基づく分割によって得られることができ、あるいは1つの処理モジュールに2つ以上の機能が統合されてよい。統合モジュールは、ハードウェアの形態で実現されてよく、あるいはソフトウェア機能モジュールの形態で実現されてもよい。本出願の実施形態において、モジュールの分割は一例にすぎず、論理的な機能分割にすぎないことに留意されたい。実際の実施態様において、別の分割のやり方が使用されてもよい。
統合型のユニットが使用される場合、図15が、上述の実施形態における電子デバイス1500の可能な概略の構造図である。電子デバイス1500は、処理モジュール1501、表示モジュール1502、赤外線放射モジュール1503、デュアルパス収集モジュール1504、デュアルパス収集モジュール1505、およびRGB収集モジュール1506を含むことができる。随意により、電子デバイス1500は、通信モジュールをさらに含むことができ、通信モジュールは、Bluetoothモジュール、Wi－Fiモジュール、などを含む。
処理モジュール1501は、電子デバイス1500の動作を制御および管理するように構成される。RGB収集モジュール1506は、可視光下で対象の物体の画像を収集するように構成される。表示モジュール1502は、処理モジュール1501によって生成された画像およびRGB収集モジュール1504によって収集された画像を表示するように構成される。赤外線放射モジュール1503は、光点を有する赤外光を放射するように構成される。デュアルパス収集モジュール1504およびデュアルパス収集モジュール1505は、可視光下での対象の物体の画像および赤外光下での対象の物体の画像を収集するように構成される。通信モジュールは、別のデバイスとの通信において電子デバイス1500を支援するように構成される。処理モジュール1501は、デュアルパス収集モジュール1504によって収集された画像に基づいて対象の物体の深度情報を計算するようにさらに構成される。
具体的には、処理モジュール1501は、上述の方法の実施形態におけるS201、S203、S203a、およびS203b、ならびに／あるいは本明細書に記載の技術に関して使用される他のプロセスの実行において、電子デバイス1500を支援するように構成され得る。表示モジュール1502は、上述の方法の実施形態における「RGB収集モジュール1506によって収集された画像を表示する」動作、および／または本明細書に記載の技術に関して使用される他のプロセスの実行において、電子デバイス1500を支援するように構成され得る。赤外線放射モジュール1503は、上述の方法の実施形態におけるS202の「光点を有する赤外光を放射する」動作において電子デバイス1500を支援するように構成されてよく、さらには／あるいは本明細書に記載の技術の他のプロセスにおいて使用されてよい。デュアルパス収集モジュール1504は、上述の方法の実施形態におけるS202の「第1の画像情報を収集する」動作、および／または本明細書に記載の技術に関して使用される他のプロセスの実行において、電子デバイス1500をサポートするように構成され得る。デュアルパス収集モジュール1505は、上述の方法の実施形態におけるS202の「第2の画像情報を収集する」動作、および／または本明細書に記載の技術に関して使用される他のプロセスの実行において、電子デバイス1500をサポートするように構成され得る。RGB収集モジュール1506は、可視光下での画像情報の収集において電子デバイス1500をサポートするように構成されてよく、さらには／あるいは本明細書に記載の技術の他のプロセスにおいて使用されてよい。
当然ながら、電子デバイス1500内のユニットモジュールは、処理モジュール1501、表示モジュール1502、赤外線放射モジュール1503、デュアルパス収集モジュール1504、RGB収集モジュール1506、などを含むが、これらに限定されない。例えば、電子デバイス1500は、ストレージモジュールをさらに含み得る。ストレージモジュールは、電子デバイス1500のプログラムコードおよびデータを格納するように構成される。
処理モジュール1501は、プロセッサまたはコントローラであってよく、例えば、中央処理装置（Central Processing Unit、CPU）、デジタル信号プロセッサ（Digital Signal Processor、DSP）、特定用途向け集積回路（Application－Specific Integrated Circuit、ASIC）、フィールドプログラマブルゲートアレイ（Field Programmable Gate Array、FPGA）または別のプログラマブル論理デバイス、トランジスタ論理デバイス、ハードウェアコンポーネント、あるいはこれらの任意の組み合わせであってよい。プロセッサは、アプリケーションプロセッサおよびベースバンドプロセッサを含み得る。プロセッサは、本出願において開示される内容に関連して説明された種々の典型的な論理ブロック、モジュール、および回路を実装または実行することができる。プロセッサは、計算機能を実装するプロセッサの組み合わせであってよく、例えば、1つ以上のマイクロプロセッサを含む組み合わせ、またはDSPとマイクロプロセッサとの組み合わせであってよい。ストレージモジュールは、メモリであってよい。
例えば、処理モジュール1501は、1つ以上のプロセッサ（例えば、図1Dに示したプロセッサ110）であり、通信モジュールは、無線通信モジュール（例えば、図1Dに示した無線通信モジュール160であって、無線通信モジュール160は、BT（すなわち、Bluetoothモジュール）およびWLAN（例えば、Wi－Fiモジュール）を含む）を含む。無線通信モジュールは、通信インターフェースと呼ばれ得る。ストレージモジュールは、メモリ（例えば、図1Dに示される内部メモリ121）であり得る。表示モジュール1502は、表示画面（例えば、図1Dに示される表示画面194）であってよい。赤外線放射モジュール1503は、赤外線プロジェクタ（例えば、図1Dに示される赤外線プロジェクタ196、すなわち上述の実施形態における赤外線プロジェクタ101）であってよい。2つのデュアルパス収集モジュール1504は、2つのデュアルパスカメラ（例えば、図1Dに示されるデュアルパスカメラ193B（すなわち、上述の実施形態における第1のカメラ102）およびデュアルパスカメラ193C（すなわち、上述の実施形態における第2のカメラ103））であってよい。RGB収集モジュール1506は、図1Dに示される1～N個の他のカメラ193AのうちのEGBカメラ、すなわち上述の実施形態における第3のカメラ104であってよい。2つのデュアルパス収集モジュール1504およびRGB収集モジュール1506は、電子デバイス100の同じ側、例えば前側または後側に配置される。本出願のこの実施形態において提供される電子デバイス1500は、図1Dに示される電子デバイス100であり得る。1つ以上のプロセッサ、メモリ、赤外線プロジェクタ、第1のカメラ、第2のカメラ、表示画面、第3のカメラ、などは、例えばバスを使用することによって接続されてよい。
本出願の一実施形態は、コンピュータ記憶媒体をさらに提供する。コンピュータ記憶媒体は、コンピュータプログラムコードを格納する。プロセッサがコンピュータプログラムコードを実行すると、電子デバイス1500は、添付の図面の図2または図9のいずれかにおける関連の方法ステップを実行して、上述の実施形態の方法を実現する。
本出願の一実施形態は、コンピュータプログラム製品をさらに提供する。コンピュータプログラム製品がコンピュータ上で動作すると、コンピュータが添付の図面の図2または図9のいずれかにおける関連の方法ステップを実行して、上述の実施形態の方法を実現することが可能にされる。
本出願の実施形態において提供される電子デバイス1500、コンピュータ記憶媒体、およびコンピュータプログラム製品は、いずれも以上の説明に提示された対応する方法を実行するように構成される。したがって、電子デバイス1500、コンピュータ記憶媒体、およびコンピュータプログラム製品によって達成されることができる有益な効果については、以上の説明に提示された対応する方法の有益な効果を参照されたい。ここでは詳細が再び説明されることはない。
実施態様についての以上の説明から、当業者であれば、便利かつ簡潔な説明の目的で、上述の機能モジュールの分割が説明のための例として行われているにすぎないことを、明確に理解できるであろう。実際の応用においては、上述の機能がさまざまな機能モジュールに割り当てられ、要件に基づいて実装されることができ、すなわち、装置の内部構造がさまざまな機能モジュールに分割されて、上述の機能のすべてまたは一部を実装する。
本出願において提示されたいくつかの実施形態において、開示された装置および方法が他のやり方で実施されてもよいことが、理解されるべきである。例えば、上述の装置の実施形態は、単なる例である。例えば、モジュールまたはユニットの分割は、単なる論理機能の分割であって、実際の実施においては他の分割であってもよい。例えば、複数のユニットまたは構成要素が組み合わされることや、別の装置に統合されることが可能であり、あるいは一部の特徴が無視されても、実行されなくてもよい。さらに、提示または説明された相互結合あるいは直接的な結合または通信接続は、いくつかのインターフェースを使用することによって実現され得る。装置またはユニット間の間接的な結合または通信接続は、電子的、機械的、または他の形態で実現され得る。
さらに、本出願の実施形態における機能ユニットは、1つの処理ユニットに統合されてもよいし、あるいは各ユニットが物理的に単独で存在してもよいし、2つ以上のユニットが1つのユニットに統合されてもよい。統合されたユニットは、ハードウェアの形態で実現されても、あるいはソフトウェア機能ユニットの形態で実現されてもよい。
統合されたユニットがソフトウェア機能ユニットの形態で実現され、独立した製品として販売または使用される場合、統合されたユニットは、可読記憶媒体に格納され得る。このような理解に基づき、本質的に本出願の技術的解決策、または先行技術に対する貢献部分、あるいは技術的解決策の全部または一部は、ソフトウェア製品の形態で実現され得る。ソフトウェア製品は、記憶媒体に格納され、本出願の実施形態において説明された方法のステップの全部または一部を実行することをデバイス（シングルチップマイクロコンピュータ、チップ、などであり得る）またはプロセッサ（processor）に命令するためのいくつかの命令を含む。上述の記憶媒体は、USBフラッシュドライブ、リムーバブルハードディスク、ROM、磁気ディスク、または光ディスク、などのプログラムコードを格納することができる任意の媒体を含む。
以上の説明は、本出願の特定の実施態様にすぎず、本出願の保護の範囲を限定するものではない。本出願に開示された技術的範囲におけるあらゆる変形または置換が、本出願の保護の範囲に包含される。したがって、本出願の保護の範囲は、特許請求の範囲の保護範囲に従うものとする。
100 電子デバイス
101 赤外線プロジェクタ
102 第1のカメラ
103 第2のカメラ
104 第3のカメラ、RGBカメラ
110 プロセッサ
120 外部メモリインターフェース
121 内部メモリ
130 USBインターフェース
140 充電管理モジュール
141 電源管理モジュール
142 バッテリ
150 移動通信モジュール
160 無線通信モジュール
170 オーディオモジュール
170A スピーカ
170B レシーバ
170C マイクロフォン
170D ヘッドセットインターフェース
180 センサモジュール
180A 圧力センサ
180B ジャイロスコープセンサ
180C 気圧センサ
180D 磁気センサ
180E 加速度センサ
180F 距離センサ
180G 光学式近接センサ
180H 指紋センサ
180J 温度センサ
180K タッチセンサ
180L 周囲光センサ
180M 骨伝導センサ
190 キー
191 モータ
192 通知装置、インジケータ
193 カメラ
193A 他のカメラ
193B,193C デュアルパスカメラ
194 表示画面
195 SIMカードインターフェース
196 赤外線プロジェクタ
301 支払いインターフェース
302 支払いボタン、「今すぐ支払う」ボタン
303 顔認識インターフェース
401,402,403,404,405,406,407,408,707,708,709 スペックル格子
501,503,601,603,605,701,702,703 光点
502,504,602,604,606,704,705,706 スペックル格子群
800 RGBカメラモジュール
801,802,803 レンズ
804 光フィルタ
805 センサ
1101 人間の顔
1102 赤外光
1103 人間の顔
1201,1202,1203,1204 スペックル
1301 人間の顔、対象の物体
1302 深度情報
1401 撮影インターフェース
1402 ビューファインダ枠
1403 撮影キー
1404 カメラ切替キー
1405 アルバムキー
1406 「大開口」選択肢
1500 電子デバイス
1501 処理モジュール
1502 表示モジュール
1503 赤外線放射モジュール
1504,1505 デュアルパス収集モジュール
1506 RGB収集モジュール
K1,K2,K3 点
式中、PLPR＝O L O R －BLPL－PRBR、OLOR＝T、BLPL＝ALPL－ALBL＝xL－x／2、PRBR＝x／2－xR、かつPLPR＝T－（xL－x／2）－（x／2－xR）＝T－（xL－xR）＝T－dである。
I2Cインターフェースは、シリアルデータライン（serial data line、SDL）とシリアルクロックライン（serial clock line、SCL）とを含む双方向同期シリアルバスである。いくつかの実施形態において、プロセッサ110は、複数のI2Cバスを含み得る。プロセッサ110は、タッチセンサ180K、充電器、フラッシュ、カメラ193、などに、異なるI2Cバスインターフェースを使用することによって別々に結合されることができる。例えば、プロセッサ110は、プロセッサ110がI2Cバスインターフェースを使用することによってタッチセンサ180Kと通信して、電子デバイス100のタッチ機能を実現するように、I2Cインターフェースを使用することによってタッチセンサ180Kに結合されることができる。
例えば、図10Aの（a）に示されるように、第1のカメラ102が左側デュアルパスカメラであり、第2のカメラ103が右側デュアルパスカメラであると仮定される。笑顔、三角形、円柱、および三日月が、対象の物体の異なる特徴を別々に表している。笑顔、三角形、円柱、および三日月の位置からカメラまでの距離は、徐々に大きくなる。図10Aの（b）に示されるように、OLが第1のカメラ102の位置であり、ORが第2のカメラ103の位置であり、OLとORとの間の距離がT（すなわち、第1の長さ）である。
処理モジュール1501は、電子デバイス1500の動作を制御および管理するように構成される。RGB収集モジュール1506は、可視光下で対象の物体の画像を収集するように構成される。表示モジュール1502は、処理モジュール1501によって生成された画像およびRGB収集モジュール1506によって収集された画像を表示するように構成される。赤外線放射モジュール1503は、光点を有する赤外光を放射するように構成される。デュアルパス収集モジュール1504およびデュアルパス収集モジュール1505は、可視光下での対象の物体の画像および赤外光下での対象の物体の画像を収集するように構成される。通信モジュールは、別のデバイスとの通信において電子デバイス1500を支援するように構成される。処理モジュール1501は、デュアルパス収集モジュール1504によって収集された画像に基づいて対象の物体の深度情報を計算するようにさらに構成される。
例えば、処理モジュール1501は、1つ以上のプロセッサ（例えば、図1Dに示したプロセッサ110）であり、通信モジュールは、無線通信モジュール（例えば、図1Dに示した無線通信モジュール160であって、無線通信モジュール160は、BT（すなわち、Bluetoothモジュール）およびWLAN（例えば、Wi－Fiモジュール）を含む）を含む。無線通信モジュールは、通信インターフェースと呼ばれ得る。ストレージモジュールは、メモリ（例えば、図1Dに示される内部メモリ121）であり得る。表示モジュール1502は、表示画面（例えば、図1Dに示される表示画面194）であってよい。赤外線放射モジュール1503は、赤外線プロジェクタ（例えば、図1Dに示される赤外線プロジェクタ196、すなわち上述の実施形態における赤外線プロジェクタ101）であってよい。2つのデュアルパス収集モジュール1504および1505は、2つのデュアルパスカメラ（例えば、図1Dに示されるデュアルパスカメラ193B（すなわち、上述の実施形態における第1のカメラ102）およびデュアルパスカメラ193C（すなわち、上述の実施形態における第2のカメラ103））であってよい。RGB収集モジュール1506は、図1Dに示される1～N個の他のカメラ193AのうちのRGBカメラ、すなわち上述の実施形態における第3のカメラ104であってよい。2つのデュアルパス収集モジュール1504およびRGB収集モジュール1506は、電子デバイス100の同じ側、例えば前側または後側に配置される。本出願のこの実施形態において提供される電子デバイス1500は、図1Dに示される電子デバイス100であり得る。1つ以上のプロセッサ、メモリ、赤外線プロジェクタ、第1のカメラ、第2のカメラ、表示画面、第3のカメラ、などは、例えばバスを使用することによって接続されてよい。

Claims (30)

  1. 深度情報を取得するための方法であって、前記方法は、電子デバイスに適用され、前記電子デバイスは、赤外線プロジェクタと、第1のカメラと、第2のカメラとを備え、前記第1のカメラと前記第2のカメラとの間の距離は、第1の長さであり、前記方法は、
    前記電子デバイスによって第1の命令を受信するステップであって、前記第1の命令は、対象の物体の深度情報を得るように前記電子デバイスをトリガするために使用される、ステップと、
    前記第1の命令に応答して、前記電子デバイスによって前記赤外線プロジェクタを使用することによって光点を有する赤外光を放射し、前記第1のカメラを使用することによって前記対象の物体の第1の画像情報を収集し、前記第2のカメラを使用することによって前記対象の物体の第2の画像情報を収集するステップであって、前記第1の画像情報および前記第2の画像情報は、前記対象の物体の特徴と、前記光点を有する前記赤外光が前記対象の物体へと照射されたときに形成されるテクスチャ特徴とを含む、ステップと、
    前記電子デバイスによって、前記第1の画像情報、前記第2の画像情報、前記第1の長さ、前記第1のカメラのレンズ焦点距離、および前記第2のカメラのレンズ焦点距離に基づいて、前記対象の物体の前記深度情報を計算するステップと
    を含む、方法。
  2. 前記第1のカメラの前記レンズ焦点距離は、前記第2のカメラの前記レンズ焦点距離と同じである、請求項1に記載の方法。
  3. 前記電子デバイスによって、前記第1の画像情報、前記第2の画像情報、前記第1の長さ、前記第1のカメラのレンズ焦点距離、および前記第2のカメラのレンズ焦点距離に基づいて、前記対象の物体の前記深度情報を計算する前記ステップは、
    前記電子デバイスによって、前記第1の画像情報および前記第2の画像情報における複数の第1の特徴について、前記第1のカメラと前記第2のカメラとの間の視差を計算するステップであって、前記第1の特徴は、前記第1の画像情報および前記第2の画像情報における同一の特徴である、ステップと、
    第1の特徴の各々について、前記電子デバイスによって、前記第1の特徴が位置する地点の深度Zを、以下の式
    Figure 2022506753000009
     （式中、fは前記レンズ焦点距離であり、dは前記第1の特徴についての前記第1のカメラと前記第2のカメラとの間の前記視差であり、Tは前記第1の長さである）
    を使用することにより、前記第1の特徴についての前記第1のカメラと前記第2のカメラとの間の視差、前記第1の長さ、および前記レンズ焦点距離に基づいて計算し、前記対象の物体の前記深度情報を取得するステップと
    を含む、請求項2に記載の方法。
  4. 前記電子デバイスによって、前記第1の画像情報および前記第2の画像情報における複数の第1の特徴について、前記第1のカメラと前記第2のカメラとの間の視差を計算する前記ステップに先立ち、前記方法は、
    前記電子デバイスによって、前記第1の画像情報および前記第2の画像情報から複数の第1の特徴を選択するステップ
    をさらに含み、
    前記複数の第1の特徴は、前記第1の画像情報および前記第2の画像情報における同一の特徴のうちの一部である、請求項3に記載の方法。
  5. 前記光点を有する前記赤外光は、複数の光点を含み、前記複数の光点は、複数のスペックル格子群を含み、
    1つのスペックル格子群は、1つ以上のスペックル格子を含み、各々のスペックル格子は、複数のスペックルを含む、請求項1～4のいずれか一項に記載の方法。
  6. 前記複数のスペックル格子群のうちの少なくとも2つは、異なる、請求項5に記載の方法。
  7. 第1のスペックル格子群が、前記複数のスペックル格子群のうちの任意の1つであり、前記第1のスペックル格子群に含まれる複数のスペックル格子のうちの少なくとも2つは、異なる、請求項5または6に記載の方法。
  8. 第1のスペックル格子が、前記複数のスペックル格子のうちの任意の1つであり、
    前記第1のスペックル格子内の複数のスペックルの各々が、同一の形状を有し、あるいは前記第1のスペックル格子内の複数のスペックルのうちの少なくとも2つが、異なる形状を有する、請求項5～7のいずれか一項に記載の方法。
  9. 前記電子デバイスは、予め設定された特徴周波数に基づいて前記第1の画像情報および前記第2の画像情報から複数の第1の特徴を選択し、
    前記特徴周波数は、前記複数の光点におけるスペックル格子の繰り返し周波数以上であり、
    前記特徴周波数は、予め設定された領域を持つ画像から前記電子デバイスによって選択された同一の第1の特徴の量によって表され、前記繰り返し周波数は、前記予め設定された領域に現れる同一のスペックル格子の量によって表される、請求項4～8のいずれか一項に記載の方法。
  10. 前記第1のカメラおよび前記第2のカメラの各レンズの両面の各々が、反射防止コーティングを備え、前記第1のカメラおよび前記第2のカメラの光フィルタの各々が、カットオフコーティングを備え、
    前記反射防止コーティングは、赤外光の透過率を高めるために使用され、前記カットオフコーティングは、赤外光および可視光以外の光を除去し、赤外光の透過率を高めるために使用される、請求項1～9のいずれか一項に記載の方法。
  11. 前記赤外線プロジェクタによって放射される前記赤外光は、890ナノメートル～990ナノメートルの間の赤外光である、請求項1～10のいずれか一項に記載の方法。
  12. 前記赤外線プロジェクタによって放射される前記赤外光は、940ナノメートルの赤外光である、請求項1～11のいずれか一項に記載の方法。
  13. 前記第1の長さは、20ミリメートル～30ミリメートルの範囲である、請求項1～12のいずれか一項に記載の方法。
  14. 前記電子デバイスは、第3のカメラをさらに備え、前記第3のカメラは、RGBカメラであり、前記第3のカメラは、可視光下の画像情報を収集するように構成され、前記第3のカメラによって収集された前記画像情報は、前記電子デバイスの表示画面への表示に使用される、請求項1～13のいずれか一項に記載の方法。
  15. 1つ以上のプロセッサと、メモリと、赤外線プロジェクタと、第1のカメラと、第2のカメラとを備えており、前記第1のカメラと前記第2のカメラとの間の距離が、第1の長さであり、前記メモリ、前記赤外線プロジェクタ、前記第1のカメラ、および前記第2のカメラが、前記プロセッサに結合され、前記メモリが、情報を格納するように構成されている、電子デバイスであって、
    前記プロセッサは、第1の命令を受信するように構成され、前記第1の命令は、対象の物体の深度情報を得るように前記電子デバイスをトリガするために使用され、
    前記プロセッサは、前記第1の命令に応答して、前記赤外線プロジェクタを使用することによって光点を有する赤外光を放射し、前記第1のカメラを使用することによって前記対象の物体の第1の画像情報を収集し、前記第2のカメラを使用することによって前記対象の物体の第2の画像情報を収集するようにさらに構成され、前記第1の画像情報および前記第2の画像情報は、前記対象の物体の特徴と、前記光点を有する前記赤外光が前記対象の物体へと照射されたときに形成されるテクスチャ特徴とを含み、
    前記プロセッサは、前記第1のカメラによって収集された前記第1の画像情報、前記第2のカメラによって収集された前記第2の画像情報、前記第1の長さ、前記第1のカメラのレンズ焦点距離、および前記第2のカメラのレンズ焦点距離に基づいて、前記対象の物体の前記深度情報を計算するようにさらに構成されている、電子デバイス。
  16. 前記第1のカメラの前記レンズ焦点距離は、前記第2のカメラの前記レンズ焦点距離と同じである、請求項15に記載の電子デバイス。
  17. 前記プロセッサが、前記第1の画像情報、前記第2の画像情報、前記第1の長さ、前記第1のカメラのレンズ焦点距離、および前記第2のカメラのレンズ焦点距離に基づいて、前記対象の物体の前記深度情報を計算するように構成されることは、
    前記プロセッサが、
    前記第1の画像情報および前記第2の画像情報における複数の第1の特徴について、前記第1のカメラと前記第2のカメラとの間の視差を計算するように構成され、前記第1の特徴は、前記第1の画像情報および前記第2の画像情報における同一の特徴であり、
    第1の特徴の各々について、前記第1の特徴が位置する地点の深度Zを、以下の式
    Figure 2022506753000010
     （式中、fは前記レンズ焦点距離であり、dは前記第1の特徴についての前記第1のカメラと前記第2のカメラとの間の視差であり、Tは前記第1の長さである）
    を使用することにより、前記第1の特徴についての前記第1のカメラと前記第2のカメラとの間の前記視差、前記第1の長さ、および前記レンズ焦点距離に基づいて計算し、前記対象の物体の前記深度情報を取得するように構成される、
    ことを含む、請求項16に記載の電子デバイス。
  18. 前記プロセッサは、前記第1の画像情報および前記第2の画像情報における前記複数の第1の特徴について前記第1のカメラと前記第2のカメラとの間の前記視差を計算する前に、前記第1の画像情報および前記第2の画像情報から複数の第1の特徴を選択するようにさらに構成され、
    前記複数の第1の特徴は、前記第1の画像情報および前記第2の画像情報における同一の特徴のうちの一部である、請求項17に記載の電子デバイス。
  19. 前記光点を有する前記赤外光は、複数の光点を含み、前記複数の光点は、複数のスペックル格子群を含み、
    1つのスペックル格子群は、1つ以上のスペックル格子を含み、各々のスペックル格子は、複数のスペックルを含む、請求項15～18のいずれか一項に記載の電子デバイス。
  20. 前記複数のスペックル格子群のうちの少なくとも2つは、異なる、請求項19に記載の電子デバイス。
  21. 第1のスペックル格子群が、前記複数のスペックル格子群のうちの任意の1つであり、前記第1のスペックル格子群に含まれる複数のスペックル格子のうちの少なくとも2つは、異なる、請求項19または20に記載の電子デバイス。
  22. 第1のスペックル格子が、前記複数のスペックル格子のうちの任意の1つであり、
    前記第1のスペックル格子内の複数のスペックルの各々が、同一の形状を有し、あるいは前記第1のスペックル格子内の複数のスペックルのうちの少なくとも2つが、異なる形状を有する、請求項19～21のいずれか一項に記載の電子デバイス。
  23. 前記プロセッサは、予め設定された特徴周波数に基づいて前記第1の画像情報および前記第2の画像情報から複数の第1の特徴を選択するように構成され、
    前記特徴周波数は、前記複数の光点におけるスペックル格子の繰り返し周波数以上であり、
    前記特徴周波数は、予め設定された領域を持つ画像から前記プロセッサによって選択された同一の第1の特徴の量によって表され、前記繰り返し周波数は、前記予め設定された領域に現れる同一のスペックル格子の量によって表される、請求項19～22のいずれか一項に記載の電子デバイス。
  24. 前記第1のカメラおよび前記第2のカメラの各レンズの両面の各々が、反射防止コーティングを備え、前記第1のカメラおよび前記第2のカメラの光フィルタの各々が、カットオフコーティングを備え、
    前記反射防止コーティングは、赤外光の透過率を高めるために使用され、前記カットオフコーティングは、赤外光および可視光以外の光を除去し、赤外光の透過率を高めるために使用される、請求項15～23のいずれか一項に記載の電子デバイス。
  25. 前記赤外線プロジェクタによって放射される前記赤外光は、890ナノメートル～990ナノメートルの間の赤外光である、請求項15～24のいずれか一項に記載の電子デバイス。
  26. 前記赤外線プロジェクタによって放射される前記赤外光は、940ナノメートルの赤外光である、請求項15～25のいずれか一項に記載の電子デバイス。
  27. 前記第1の長さは、20ミリメートル～30ミリメートルの範囲である、請求項15～26のいずれか一項に記載の電子デバイス。
  28. 第3のカメラおよび表示画面をさらに備え、
    前記第3のカメラは、赤緑青RGBカメラであり、前記第3のカメラは、可視光下の画像情報を収集するように構成され、前記第3のカメラによって収集された前記画像情報は、前記表示画面への表示に使用される、請求項15～27のいずれか一項に記載の電子デバイス。
  29. コンピュータ命令を含んでおり、前記コンピュータ命令が電子デバイス上で実行されるとき、前記電子デバイスが請求項1～14のいずれか一項に記載の深度情報を取得するための前記方法を実行することを可能にされる、コンピュータ記憶媒体。
  30. コンピュータ上で実行されたときに、請求項1～14のいずれか一項に記載の深度情報を取得するための前記方法の実行を前記コンピュータが可能にされる、コンピュータプログラム製品。
JP2021524333A 2018-10-30 2019-10-21 深度情報の取得方法および電子デバイス Pending JP2022506753A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811279855.7 2018-10-30
CN201811279855.7A CN109544618B (zh) 2018-10-30 2018-10-30 一种获取深度信息的方法及电子设备
PCT/CN2019/112254 WO2020088290A1 (zh) 2018-10-30 2019-10-21 一种获取深度信息的方法及电子设备

Publications (1)

Publication Number Publication Date
JP2022506753A true JP2022506753A (ja) 2022-01-17

Family

ID=65846096

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021524333A Pending JP2022506753A (ja) 2018-10-30 2019-10-21 深度情報の取得方法および電子デバイス

Country Status (6)

Country Link
US (1) US20220020165A1 (ja)
EP (1) EP3869462A4 (ja)
JP (1) JP2022506753A (ja)
CN (1) CN109544618B (ja)
DE (1) DE202019006001U1 (ja)
WO (1) WO2020088290A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109544618B (zh) * 2018-10-30 2022-10-25 荣耀终端有限公司 一种获取深度信息的方法及电子设备
CN109635539B (zh) * 2018-10-30 2022-10-14 荣耀终端有限公司 一种人脸识别方法及电子设备
CN110009673B (zh) * 2019-04-01 2020-04-21 四川深瑞视科技有限公司 深度信息检测方法、装置及电子设备
CN110308817B (zh) * 2019-06-10 2023-04-07 青岛小鸟看看科技有限公司 一种触控动作识别方法及触控投影系统
CN112540494B (zh) * 2019-09-06 2022-05-03 浙江舜宇光学有限公司 成像装置和成像方法
CN110864440B (zh) * 2019-11-20 2020-10-30 珠海格力电器股份有限公司 一种送风方法及送风装置、空调
CN111626928B (zh) * 2020-04-28 2023-08-25 Oppo广东移动通信有限公司 深度图像生成方法及装置、存储介质和电子设备
WO2021237493A1 (zh) * 2020-05-27 2021-12-02 北京小米移动软件有限公司南京分公司 图像处理方法及装置、相机组件、电子设备、存储介质
CN111751830B (zh) * 2020-07-08 2021-02-19 北京工业大学 一种基于vcsel混合激光的空间微弱目标红外探测系统
CN112225022A (zh) * 2020-09-28 2021-01-15 海拓信息技术(佛山)有限公司 一种实体按键的控制方法和装置
CN112529766B (zh) * 2020-11-26 2023-10-03 维沃移动通信有限公司 图像的处理方法、装置及电子设备
CN112669362B (zh) * 2021-01-12 2024-03-29 四川深瑞视科技有限公司 基于散斑的深度信息获取方法、装置及系统
TWI792381B (zh) * 2021-03-25 2023-02-11 鈺立微電子股份有限公司 影像擷取裝置及其深度資訊計算方法
CN117544851A (zh) * 2021-07-31 2024-02-09 华为技术有限公司 拍摄方法及相关装置
CN115068109B (zh) * 2022-06-13 2023-07-28 元化智能科技(深圳)有限公司 面向医疗手术导航的红外标靶识别方法和装置
CN116067305A (zh) * 2023-02-09 2023-05-05 深圳市安思疆科技有限公司 一种结构光测量系统和测量方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001264033A (ja) * 2000-03-17 2001-09-26 Sony Corp 三次元形状計測装置とその方法、三次元モデリング装置とその方法、およびプログラム提供媒体
CN108195305A (zh) * 2018-02-09 2018-06-22 京东方科技集团股份有限公司 一种双目检测系统及其深度检测方法
WO2018131514A1 (ja) * 2017-01-13 2018-07-19 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9582889B2 (en) * 2009-07-30 2017-02-28 Apple Inc. Depth mapping based on pattern matching and stereoscopic information
CN102789114B (zh) * 2011-05-18 2015-07-15 中国科学院微电子研究所 一种可见-红外双通摄像机
CN203055077U (zh) * 2013-01-11 2013-07-10 天广消防股份有限公司 一种视频火灾探测器
US9638511B2 (en) * 2014-08-08 2017-05-02 The Board Of Trustees Of The University Of Illinois Smart phone attachment for 3-D optical coherence tomography imaging
CN104634276B (zh) * 2015-02-12 2018-08-07 上海图漾信息科技有限公司 三维测量系统、拍摄设备和方法、深度计算方法和设备
CN204613977U (zh) * 2015-05-12 2015-09-02 郑州畅想高科股份有限公司 一种机车乘务员防作弊饮酒检测装置
CN104918035A (zh) * 2015-05-29 2015-09-16 深圳奥比中光科技有限公司 一种获取目标三维图像的方法及系统
US20160377414A1 (en) * 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
CN105049829B (zh) * 2015-07-10 2018-12-25 上海图漾信息科技有限公司 滤光片、图像传感器、成像装置以及三维成像系统
CN206559462U (zh) * 2016-10-28 2017-10-13 无锡豪帮高科股份有限公司 一种基于分区双通滤光片的虹膜识别及拍照二合一摄像模组
CN206541078U (zh) * 2016-12-14 2017-10-03 浙江舜宇智能光学技术有限公司 发散光式散斑投射器和三维重建系统
CN108052878B (zh) * 2017-11-29 2024-02-02 上海图漾信息科技有限公司 人脸识别设备和方法
CN207530934U (zh) * 2017-12-19 2018-06-22 北京中科虹霸科技有限公司 一种具有红外成像功能的双摄像头模组
CN108271012A (zh) * 2017-12-29 2018-07-10 维沃移动通信有限公司 一种深度信息的获取方法、装置以及移动终端
CN108107662A (zh) * 2018-01-06 2018-06-01 广东欧珀移动通信有限公司 激光发射器、光电设备和深度相机
CN108388071B (zh) * 2018-02-07 2024-03-08 奥比中光科技集团股份有限公司 深度相机及其投影模组
CN108234984A (zh) * 2018-03-15 2018-06-29 百度在线网络技术（北京）有限公司 双目深度相机系统和深度图像生成方法
WO2019213863A1 (zh) * 2018-05-09 2019-11-14 深圳阜时科技有限公司 目标的三维映射的方法及装置、身份识别装置与电子设备
CN109190484A (zh) * 2018-08-06 2019-01-11 北京旷视科技有限公司 图像处理方法、装置和图像处理设备
CN109635539B (zh) * 2018-10-30 2022-10-14 荣耀终端有限公司 一种人脸识别方法及电子设备
CN109544618B (zh) * 2018-10-30 2022-10-25 荣耀终端有限公司 一种获取深度信息的方法及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001264033A (ja) * 2000-03-17 2001-09-26 Sony Corp 三次元形状計測装置とその方法、三次元モデリング装置とその方法、およびプログラム提供媒体
WO2018131514A1 (ja) * 2017-01-13 2018-07-19 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム
CN108195305A (zh) * 2018-02-09 2018-06-22 京东方科技集团股份有限公司 一种双目检测系统及其深度检测方法

Also Published As

Publication number Publication date
US20220020165A1 (en) 2022-01-20
CN109544618A (zh) 2019-03-29
EP3869462A1 (en) 2021-08-25
WO2020088290A1 (zh) 2020-05-07
DE202019006001U1 (de) 2024-01-16
EP3869462A4 (en) 2021-12-15
CN109544618B (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
JP2022506753A (ja) 深度情報の取得方法および電子デバイス
JP7195422B2 (ja) 顔認識方法および電子デバイス
CN113132620B (zh) 一种图像拍摄方法及相关装置
CN111327814A (zh) 一种图像处理的方法及电子设备
WO2020029306A1 (zh) 一种图像拍摄方法及电子设备
CN114946169A (zh) 一种图像获取方法以及装置
EP3813352B1 (en) Photographing method and electronic device
CN113452898B (zh) 一种拍照方法及装置
EP3873084B1 (en) Method for photographing long-exposure image and electronic device
CN113542580B (zh) 去除眼镜光斑的方法、装置及电子设备
CN111741283A (zh) 图像处理的装置和方法
WO2023284715A1 (zh) 一种物体重建方法以及相关设备
CN114365482A (zh) 一种基于Dual Camera+TOF的大光圈虚化方法
CN112087649B (zh) 一种设备搜寻方法以及电子设备
CN114863494A (zh) 屏幕亮度的调整方法、装置和终端设备
CN110138999B (zh) 一种用于移动终端的证件扫描方法及装置
CN115412678B (zh) 曝光处理方法、装置及电子设备
CN115032640B (zh) 手势识别方法和终端设备
EP4175285A1 (en) Method for determining recommended scene, and electronic device
WO2022033344A1 (zh) 视频防抖方法、终端设备和计算机可读存储介质
CN116055872B (zh) 图像获取方法、电子设备和计算机可读存储介质
CN116055870B (zh) 一种拍照方法和电子设备
CN113472996B (zh) 图片传输方法及装置
WO2021135659A1 (zh) 车辆信息的推送方法、装置、用户账号服务器和用户设备
EP4184298A1 (en) Method and apparatus for starting application, and electronic device and medium

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210610

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210610

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230220

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230626

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230704

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20230804