JP2019510234A - 奥行き情報取得方法および装置、ならびに画像取得デバイス - Google Patents

奥行き情報取得方法および装置、ならびに画像取得デバイス Download PDF

Info

Publication number
JP2019510234A
JP2019510234A JP2018554610A JP2018554610A JP2019510234A JP 2019510234 A JP2019510234 A JP 2019510234A JP 2018554610 A JP2018554610 A JP 2018554610A JP 2018554610 A JP2018554610 A JP 2018554610A JP 2019510234 A JP2019510234 A JP 2019510234A
Authority
JP
Japan
Prior art keywords
image
camera
lens
offset
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018554610A
Other languages
English (en)
Other versions
JP6663040B2 (ja
Inventor
君 王
君 王
▲栄▼▲躍▼ 徐
▲栄▼▲躍▼ 徐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2019510234A publication Critical patent/JP2019510234A/ja
Application granted granted Critical
Publication of JP6663040B2 publication Critical patent/JP6663040B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

本発明の実施形態は、奥行き情報取得方法および装置、ならびに画像取得デバイスを開示する。画像取得デバイスは、第1のカメラと第2のカメラとを含む。振れが生じたことを検出すると、奥行き情報取得装置は、第1のカメラおよび第2のカメラで撮影された画像を取得し、2つの画像内の目標撮影対象物の間の初期距離を検出し、第1の画像と第2の画像との間のオフセット差を用いて初期距離を補正し、補正された初期距離を用いて目標撮影対象物の奥行きを決定することができる。本発明の実施形態では、2つのカメラの両方がOIS機能を有するか、またはいずれかのカメラがOIS機能を有する。OISを実行すると、奥行き情報取得装置は、2つのカメラで得られた画像内の同一撮影対象物の間の距離を補正するので、最終的に得られる奥行き情報は比較的正確である。これにより、撮影対象物に正確かつ迅速に合焦することができる。

Description

本発明の実施形態は、電子技術の分野に関し、具体的には、奥行き情報取得方法および装置、ならびに画像取得デバイスに関する。
電子技術の分野では、奥行き情報は、画像取得デバイス内のカメラモジュールのレンズ（Lens）と撮影対象物との間の垂直距離に関する情報である。奥行き情報を取得した後に、カメラモジュールは、奥行き情報に従ってレンズの移動を制御して、撮影対象物に合焦することができる。したがって、合焦精度は、奥行き情報の取得精度に依存する。光学式手振れ補正（Optical Image Stabilization、OIS）は、特殊レンズを感光素子と協働して使用し、使用過程での操作者の手振れによる画像の不安定化を最小限に抑える技術である。OISは、lensを動かすことによって主に実現される。
現在、人々はカメラで撮影された画像の品質に対してより厳しい要件を有する。より高い画像品質を得るために、複数のカメラモジュールが使用される。画像取得デバイスが複数のカメラモジュールを用いて撮影を行う場合に、すべてのカメラモジュールで撮像された画像が最終的に1つの画像に融合される。これにより、画像撮影品質を向上させることができる。従来技術では、複数のカメラモジュールを有する画像取得デバイス内のすべてのカメラモジュールのlensの焦点距離がわずかに異なっている。したがって、画像取得デバイスがOISを実行する際に、同じ振れが、カメラモジュール内のlensの異なるオフセットをもたらす可能性がある。その結果、画像取得デバイスによって最終的に得られる奥行き情報は不正確であり、画像取得デバイスは、合焦過程中に比較的低い精度と比較的遅い速度を有する。
本発明の実施形態は、奥行き情報取得方法および装置、ならびに画像取得デバイスを開示し、複数のカメラモジュールがOISを実行する際に奥行き情報を正確に取得し、それによって正確かつ迅速に合焦を行うことができる。
本発明の実施形態の第1の態様は、画像取得デバイスに適用される、奥行き情報取得方法を開示し、画像取得デバイスは、第1のカメラと第2のカメラとを含み、本方法は、
第1のカメラおよび第2のカメラが振れたことを検出した場合に、奥行き情報取得装置によって、第1のカメラで撮影された目標撮影対象物の第1の画像および第2のカメラで撮影された目標撮影対象物の第2の画像を取得するステップであって、第1のカメラおよび第2のカメラは同時に画像取得を行う、ステップと、第1の画像における目標撮影対象物と第2の画像における目標撮影対象物との間の初期距離を検出し、第1の画像と第2の画像との間のオフセット差を決定するステップと、オフセット差を用いて初期距離を補正するステップと、補正された初期距離に従って、目標撮影対象物の奥行きを最後に決定するステップと、
を含むことができる。
第1のカメラと第2のカメラの両方がOIS機能を有している場合、またはいずれかのカメラがOIS機能を有している場合に、OISを行う際に、奥行き情報取得装置が、2つのカメラによってそれぞれ取得された2つの画像における同一の撮影対象物の間の距離を補正し、そのようにして、画像取得デバイスが対象物の比較的正確な奥行きを最終的に取得することが分かる。これにより、カメラの合焦精度が向上する。
任意選択的に、第1のカメラは第1のレンズを含み、第2のカメラは第2のレンズを含む。奥行き情報取得装置による第1の画像と第2の画像との間のオフセット差を決定する特定の方法は、第1のカメラおよび第2のカメラが振れたことが検出された場合に、カメラ内のホール効果センサを用いて、第1のレンズの第1のオフセットおよび第2のレンズの第2のオフセットを取得するステップと、第1のオフセットおよび第2のオフセットに従って、第1の画像のオフセット値および第2の画像のオフセット値をそれぞれ決定するステップと、第1の画像のオフセット値と第2の画像のオフセット値との間のオフセット差を最終的に取得するステップと、を含んでもよい。実際の応用では、レンズのオフセットは画像の実際のオフセットではない。振れが発生したときの画像の実際のオフセット値は、レンズのオフセットと画像のオフセットとの間の関係によって決定される。このようにして、最終的に得られる目標撮影対象物の奥行きをより正確なものにすることができる。
任意選択的に、画像取得デバイスは、デュアルカメラ画像取得デバイスである。
任意選択的に、画像取得デバイスにおいて、2つのカメラが共にOIS機能を有する場合には、振れが発生すると、第1の画像のオフセット値も第2の画像のオフセット値も0ではない。2つのカメラのうち1つのカメラのみがOIS機能を有する場合には、振れ発生時にOIS機能を有さないカメラで撮影された画像のオフセット値は0であると考えられる。
任意選択的に、画像取得デバイスが3つ以上のカメラを含む場合には、奥行き情報取得装置は、上記のように、目標撮影対象物の奥行きを同様に取得することができ、最終的に平均奥行きを計算して目標撮影対象物の実際の奥行きとして使用することができる。複数のカメラの場合は、OISを実行すると、すべてのカメラで得られた奥行きの差が大きくなる。したがって、このようにして得られた目標撮影対象物の奥行きはより正確であり、合焦過程の間に正確かつ迅速に合焦を行うことができる。
任意選択的に、初期距離は、第1の画像における目標撮影対象物と第2の画像における目標撮影対象物との間の相対距離であってもよく、オフセット差は、第1の画像のオフセット値と第2の画像のオフセット値との間の相対差であるべきである。すなわち、初期距離とオフセット差の両方がベクトルであり、オフセット差を計算する方法は、初期距離を計算する方法に対応する必要がある。
任意選択的に、補正された初期距離に従って、目標撮影対象物の奥行きを決定するステップの後に、目標撮影対象物に合焦するための命令を受信すると、合焦命令に応答して、奥行き情報取得装置はさらに、第1のレンズの、奥行きに対応する第1の移動距離を取得し、第2のレンズの、奥行きに対応する第2の移動距離を取得し、それから第1の移動距離に従って第1のレンズの焦点位置を決定し、第2の移動距離に従って第2のレンズの焦点位置を決定し、それぞれの焦点位置に移動させるように第1のレンズおよび第2のレンズを最終的に制御することができる。
奥行き情報取得装置は、目標撮影対象物の奥行き情報を取得した後に、目標撮影対象物に合焦する必要がある場合には、レンズを移動させる必要があって奥行きに対応する距離を取得し、各移動距離に従ってレンズの焦点位置を決定し、それからレンズをそれぞれの焦点位置に移動させることができることが分かる。これにより、目標撮影対象物に正確かつ迅速に合焦することができる。
本発明の実施形態の第2の態様は、画像取得デバイスに適用される、奥行き情報取得装置を開示する。画像取得デバイスは、第1のカメラと第2のカメラとを含む。前記奥行き情報取得装置は、取得ユニット、検出ユニット、第1の決定ユニット、補正ユニット、および第2の決定ユニットを含むことができる。第1のカメラおよび第2のカメラが振れたことが検出された場合に、取得ユニットは、第1のカメラで撮影された目標撮影対象物の第1の画像および第2のカメラで撮影された目標撮影対象物の第2の画像を取得し、第1のカメラおよび第2のカメラは同時に画像取得を行い、そのようにして、検出ユニットは、第1の画像における目標撮影対象物と第2の画像における目標撮影対象物との間の初期距離を検出する。さらに、第1の決定ユニットが第1の画像と第2の画像との間のオフセット差を決定する。次いで、補正ユニットがオフセット差を用いて初期距離を補正し、第2の決定ユニットが補正された初期距離に従って目標撮影対象物の奥行きを決定する。
第1のカメラと第2のカメラの両方がOIS機能を有している場合、またはいずれかのカメラがOIS機能を有している場合に、OISを行う際に、奥行き情報取得装置が、2つのカメラによってそれぞれ取得された2つの画像における同一の撮影対象物の間の距離を補正し、そのようにして、画像取得デバイスが対象物の比較的正確な奥行きを最終的に取得することが分かる。これにより、カメラの合焦精度が向上する。
任意選択的に、第1のカメラは第1のレンズを含み、第2のカメラは第2のレンズを含む。第1の決定ユニットは、取得サブユニットと決定サブユニットとを含むことができる。
取得サブユニットは、奥行き情報取得装置が第1のカメラおよび第2のカメラが振れたことを検出すると、カメラ内のホール効果センサを用いて第1のレンズの第1のオフセットおよび第2のレンズの第2のオフセットを取得することができる。決定サブユニットは、第1のオフセットおよび第2のオフセットに従って、第1の画像のオフセット値および第2の画像のオフセット値をそれぞれ決定し、第1の画像のオフセット値と第2の画像のオフセット値との間のオフセット差を最終的に取得することができる。
実際の応用では、レンズのオフセットは画像の実際のオフセットではない。振れが発生したときの画像の実際のオフセット値は、レンズのオフセットと画像のオフセットとの間の関係によって決定される。このようにして、最終的に得られる目標撮影対象物の奥行きをより正確なものにすることができる。
任意選択的に、奥行き情報取得装置は、受信ユニットと制御ユニットとをさらに含むことができる。
受信ユニットが目標撮影対象物に合焦するための命令を受信すると、取得ユニットは、合焦命令に応答するようにトリガされ、第1のレンズの、奥行きに対応する第1の移動距離を取得し、第2のレンズの、奥行きに対応する第2の移動距離を取得することができる。第2の決定ユニットは、第1の移動距離に従って第1のレンズの焦点位置を決定し、第2の移動距離に従って第2のレンズの焦点位置を決定する。最後に、制御ユニットは、第1のレンズおよび第2のレンズをそれぞれの焦点位置に移動させるように制御する。
奥行き情報取得装置は、目標撮影対象物の奥行き情報を取得した後に、目標撮影対象物に合焦する必要がある場合には、レンズを移動させる必要があって奥行きに対応する距離を取得し、各移動距離に従ってレンズの焦点位置を決定し、それからレンズをそれぞれの焦点位置に移動させることができることが分かる。これにより、目標撮影対象物に正確かつ迅速に合焦することができる。
本発明の実施形態の第3の態様は、第1のカメラと、第2のカメラと、プロセッサと、受信器と、を含む画像取得デバイスを開示する。第1のカメラは、第1のカメラおよび第2のカメラが振れたことを画像取得デバイスが検出した場合に、目標撮影対象物の第1の画像を撮影するように構成される。第2のカメラは、第1のカメラおよび第2のカメラが振れたことを画像取得デバイスが検出した場合に、目標撮影対象物の第2の画像を撮影するように構成され、第1のカメラおよび第2のカメラが同時に画像取得を行う。プロセッサは、主に、上述した奥行き情報取得装置の取得ユニット、検出ユニット、補正ユニット、決定ユニット、および制御ユニットにより実行される動作を行うように構成されている。受信器は、主に、目標撮影対象物に合焦するための命令を受信するように構成されており、プロセッサは、合焦命令に応答して目標撮影対象物に合焦することができる。
本発明の実施形態の実施態様は、以下の有益な効果をもたらす。
本発明の実施形態では、奥行き情報取得装置は、カメラが振れたことを検出すると、第1のカメラおよび第2のカメラで撮影した画像を取得し、2つの画像における目標撮影対象物の間の初期距離を検出し、第1の画像と第2の画像との間のオフセット差を用いて初期距離を補正し、最終的に、補正された初期距離を奥行き算出公式に代入して、目標撮影対象物の奥行きを決定することができる。本発明の実施形態によれば、2つのカメラが共にOIS機能を有していてもよいし、いずれかのカメラがOIS機能を有していてもよく、奥行き情報取得装置は、2つのカメラによって取得された画像内の同一の撮影対象物の間の距離を補正して、補正された距離に従って最終的に得られる奥行き情報が比較的正確になるようにすることができる。これにより、撮影対象物に正確かつ迅速に合焦することができる。
本発明の実施形態における技術的解決策をより明白に説明するために、以下では実施形態を説明するために必要な添付の図面を簡単に説明する。当然ながら、以下の説明における添付の図面は、本発明のいくつかの実施形態だけを示すものであり、当業者であれば、創造的努力なしに、これらの添付図面から他の図面をさらに導出することができる。
本発明の一実施形態によるカメラモジュールの概略構成図である。 本発明の一実施形態による奥行き情報取得方法の概略的なフローチャートである。 本発明の一実施形態によるデュアルカメラ撮影シナリオの概略図である。 本発明の一実施形態による別の奥行き情報取得方法の概略的なフローチャートである。 本発明の一実施形態による、カメラがOISを実行するときにレンズが移動するシナリオの概略図である。 本発明の一実施形態によるレンズの焦点距離較正方法の概略図である。 本発明の一実施形態による奥行き情報取得装置の概略図である。 本発明の一実施形態による別の奥行き情報取得装置の概略構成図である。 本発明の一実施形態による画像取得デバイスの概略構成図である。
以下では、本発明の実施形態の添付図面を参照して、本発明の実施形態の技術的解決策について明白かつ完全に説明する。当然ながら、記載された実施形態は、本発明の実施形態の一部にすぎず、そのすべてではない。創造的努力なしに本発明の実施形態に基づいて当業者によって得られたすべての他の実施形態は、本発明の保護範囲内に含まれるものとする。
本発明の実施形態は、奥行き情報取得方法および装置、ならびに画像取得デバイスを開示し、複数のカメラモジュールがOISを実行する際に奥行き情報を正確に取得し、それによって正確かつ迅速に合焦を行うことができる。以下では、詳細な説明を別々に提供する。
本発明の実施形態による奥行き情報取得方法および装置ならびに画像取得デバイスをより良く理解するために、まず、本発明の実施形態に適用可能なカメラモジュールの構成について以下に説明する。図1を参照すると、図1は、本発明の一実施形態によるカメラモジュールの概略構成図である。図1に示す構造では、カメラモジュールは、（1）保護膜、（2）レンズ群、（3）フォーカスモータ、（4）光フィルタ、および（5）感光素子を含む。保護膜（1）は、レンズ群を保護するように構成されている。レンズ群（2）は、一般に、複数のレンズを含み、撮像機能を有する。一般に、レンズ群はOIS機能を有する。振れが発生すると、レンズ群のレンズ（本発明の実施形態ではレンズと総称し、lensともいう）を左右に移動させることにより、比較的鮮明な画像を得ることができる。フォーカスモータ（3）は、主に合焦を助けるためにlensを駆動して移動させるように構成されている。光フィルタ（4）は、主に赤外線をフィルタ処理するように構成されており、最終的に表示される画像の色差を比較的小さくする。感光素子（5）は、主にレンズ群（2）によって得られた画像を電子的な画像に変換するように構成されている。感光素子の位置は固定されている。複数のカメラモジュールを有する画像取得デバイスでは、すべてのカメラに対応する感光素子が同一平面上にあるとみなすことができる。図1に示すカメラモジュールは、スマートフォン、タブレットコンピュータ、携帯情報端末（Personal Digital Assistant、PDA）、モバイルインターネットデバイス（Mobile Internet Device、MID）、およびデジタルカメラなどの、写真機能および撮影機能を有する画像取得デバイスに適用することができる。画像取得デバイスが複数のカメラモジュールを含む場合は、複数のカメラモジュールは画像取得デバイスに並べて配置される。さらに、複数のカメラモジュールがすべてOIS機能を有してもよいし、または1つのカメラのみがOIS機能を有してもよい。これは、本発明のこの実施形態では限定されない。
図1に示すカメラモジュールによれば、画像を取得した後に、画像取得デバイスは、画像内の各撮影対象物の奥行き情報を算出することができる。画像取得デバイスは、撮影対象物に合焦する必要がある場合には、その撮影対象物の奥行きに従って撮影対象物に合焦することができる。画像取得デバイスが複数のカメラモジュールを含む場合には、複数のカメラモジュールによって撮影された画像が最終的に1つの画像に融合されるので、撮影された画像がより鮮明になり、ユーザの撮影要件をより良好に満たすことができる。この解決策は、複数のカメラがOISを実行することに基づいて提案されることに留意されたい。
本発明の一実施形態は、図1に示すカメラモジュールに基づいて、奥行き情報取得方法を開示する。図2を参照すると、図2は、本発明のこの実施形態による奥行き情報取得方法の概略的なフローチャートである。図2に示す方法は、画像取得デバイスに適用することができる。画像取得デバイスは、第1のカメラと第2のカメラとを含む。図2に示すように、奥行き情報取得方法は、以下のステップを含むことができる。
S201．奥行き情報取得装置は、第1のカメラおよび第2のカメラが振れたことを検出すると、第1のカメラで撮影された目標撮影対象物の第1の画像と、第2のカメラで撮影された目標撮影対象物の第2の画像と、を取得し、第1のカメラおよび第2のカメラは同時に画像取得を行う。
本発明のこの実施形態では、画像取得デバイスが画像プレビュー画面に入ると、第1のカメラおよび第2のカメラがそれぞれの視野内の画像をリアルタイムで取り込む。一般に、第1のカメラと第2のカメラは同時に振れる。したがって、奥行き情報取得装置が、第1のカメラと第2のカメラが振れたことを検出すると（具体的には、ジャイロスコープを用いて振れが発生したか否かを検出することができる）、第1のカメラおよび第2のカメラが、同時に現在の環境から画像を取り込んで、第1のカメラの第1の画像および第2のカメラの第2の画像をそれぞれ取得するので、奥行き情報取得装置が第1の画像および第2の画像を取得する。第1の画像および第2の画像の両方が、目標撮影対象物を含んでいる。第1の画像および第2の画像は、第1のカメラおよび第2のカメラの感光素子によって、カメラのレンズによって得られた画像を変換して得られる電子的な画像である。目標撮影対象物は、人間の顔、建物、または動物など、第1の画像と第2の画像の両方に存在する任意の撮影対象物である。これは、本発明のこの実施形態では限定されない。
本発明のこの実施形態では、第1のカメラは第1のレンズを含み、第2のカメラは第2のレンズを含む。奥行き情報取得装置は、第1のカメラおよび第2のカメラが振れたことを検出すると、第1の画像および第2の画像に加えて、第1のレンズの移動距離af_offset1および第2のレンズの移動距離af_offset2を取得する。
具体的には、af_offset1は、3次元座標系のZ軸上の第1のレンズの現在位置と第1のレンズの第1の開始位置との間のスカラー距離、すなわち、第1のレンズが第1の画像を撮影する現在位置と第1のレンズの第1の開始位置との間の相対移動距離である。af_offset2は、3次元座標系のZ軸上の第2のレンズの現在位置と第2のレンズの第2の開始位置との間のスカラー距離、すなわち、第2のレンズが第2の画像を撮影する現在位置と第2のレンズの第2の開始位置との間の相対移動距離である。第1の開始位置は、主に、第1のレンズの位置であり、第1のレンズと第1のカメラの感光素子との間の垂直距離は、第1のレンズの焦点距離の1倍である。第2の開始位置は、主に、第2のレンズの位置であり、第2のレンズと第2のカメラの感光素子との間の垂直距離は、第2のレンズの焦点距離の1倍である。第1のレンズと第1のカメラの感光素子との間の最小距離は、一般的に第1のレンズの焦点距離のほぼ1倍の距離である。第2のカメラと第2のレンズの感光素子との間の最小距離は、同様に、第2のレンズの焦点距離の1倍の距離である。
S202．奥行き情報取得装置は、第1の画像における目標撮影対象物と第2の画像における目標撮影対象物との間の初期距離を検出する。
図3を参照すると、図3は、本発明の一実施形態によるデュアルカメラ撮影シナリオの概略図である。図3では、奥行き情報取得装置は、カメラの感光素子が位置する平面をXY平面として用い、カメラのレンズが感光素子に対して垂直である方向をZ軸として用いる3次元座標系を作成することができる。本発明のこの実施形態では、3次元座標系の原点の位置は限定されない。したがって、奥行き情報取得装置は、第1のレンズで撮影された第1の画像と第2のレンズで撮影された第2の画像とを取得すると（図3（a）に示す）、第1の画像と第2の画像とを重ね合わせて、3次元座標系のXY平面上にマッピングする（図3（b）に示す）。
さらに、第1の画像と第2の画像の両方に目標撮影対象物が存在する場合には、奥行き情報取得装置は、第1の画像における目標撮影対象物と第2の画像における目標撮影対象物との間の初期距離を検出することができる。初期距離は、一般にベクトル距離であり、d0で表される。具体的には、初期距離は、奥行き情報取得装置が第1の画像と第2の画像とを重ね合わせてXY平面上にマッピングさせた後に、奥行き情報取得装置により得られる、2つの画像における目標撮影対象物の間の座標距離（すなわち、図3（b）に示す第1の画像および第2の画像における2つの黒点間の距離d0）である。
具体的には、初期距離d0は、奥行き情報取得装置が2つの画像を3次元座標系のXY平面に重ねてマッピングした後に、奥行き情報取得装置により取得された、2つの画像における目標撮影対象物の同一特徴画素の座標の間のベクトル距離であってもよい。あるいは、初期距離d0は、以下のように求められる距離であってもよい。すなわち、XY平面上で、奥行き情報取得装置が、第1の画像から複数の特徴画素を選択し、特徴画素の各々について、第2の画像から特徴画素と同じ特徴を有する画素を選択し、2つの画素の座標間のベクトル距離を算出し、最終的に、同じ特徴を有する複数の画素群のベクトル距離の平均値を、第1の画像における目標撮影対象物と第2の画像における目標撮影対象物との間の初期距離d0として用いる。これは、本発明のこの実施形態では限定されない。
本発明のこの実施形態では、奥行き情報取得装置による、第1の画像における目標撮影対象物と第2の画像における目標撮影対象物との間の初期距離を検出する具体的な方法は、
3次元座標系のXY平面にマッピングされた第1の画像における目標撮影対象物と第2の画像における目標撮影対象物との間の初期距離d0を検出するステップ
であってもよい。図3において作成された3次元座標系のXY平面上で、奥行き情報取得装置は、まず第1の画像と第2画像とを互いに重ね合わせて、第1の画像内の目標撮影対象物から、座標、例えば（P1x，P1y）を有する特徴画素P1を選択し、第2の画像内の目標撮影対象物から、座標、例えば（P2x，P2y）有する特徴画素と同じ特徴を有する画素P2を選択することができる。このように、奥行き情報取得装置は、P1およびP2の座標に従って、2つの画素の初期ベクトル距離d0、例えば（d0x，d0y）を算出することができる。d0xは、P1x−P2xまたはP2x−P1xであってもよい。d0x＝P1x−P2xである場合には、d0y＝P1y−P2y、またはd0x＝P2x−P1xである場合には、d0y＝P2y−P1yである。これは、本発明のこの実施形態では限定されない。
任意選択的に、奥行き情報取得装置は、第1のカメラの感光素子内の第1の画像の中心点をさらに使用して3次元座標系を作成し、第2のカメラの感光素子内の第2の画像の中心点を使用して、別の3次元座標系を作成し、次いで第1の画像における目標撮影対象物と第2の画像における目標撮影対象物との同一特徴画素の、2つの座標系における座標を別々に取得し、最後に、第1の画像における目標撮影対象物の座標と第2の画像における目標撮影対象物の座標との間のベクトル距離を算出することができる。2つの座標系は、座標の原点が異なることを除き、同じ単位距離および同じX、Y、Z軸方向を有する。
なお、奥行き情報取得装置は、2つのカメラの各々について3次元座標系を作成してもよいし、3次元座標系を1つだけ作成してもよいことに留意されたい。これは、本発明のこの実施形態では限定されない。説明を容易にするために、本明細書の説明では、1つの3次元座標系を作成することを用いる。本発明のこの実施形態では、詳細についてさらに説明しない。
S203．奥行き情報取得装置は、第1の画像と第2の画像との間のオフセット差を決定する。
本発明のこの実施形態では、第1の画像と第2の画像との間のオフセット差は、第1の画像のオフセット値と第2の画像のオフセット値との差として理解することができる。具体的には、奥行き情報取得装置は、第1の画像および第2の画像を取得した後に、3次元座標系のXY平面上の第1の画像および第2の画像の座標位置を別々に決定し、第1のカメラが撮影した第3の画像の座標位置と第2のカメラが撮影した第4の画像の座標位置とを取得し、カメラが揺れていないときの座標位置が予め記録されており、第1の画像の座標位置と第3の画像の座標位置との間の相対座標オフセット、例えばd1、ならびに第2の画像の座標位置と第4の画像の座標位置との間の相対座標オフセット、例えばd2を別々に算出することができる。d1とd2との差は、第1の画像と第2の画像との間のオフセット差である。d1、d2およびオフセット差はすべてベクトルである。
実際の応用では、オフセット値d1は、一般に、第1の画像と、第1の開始位置で第1のレンズによって撮影された画像との間の相対ベクトルオフセットであり、オフセット値d2は、一般に、第2の画像と、第2の開始位置で第2のレンズによって撮影された画像との間の相対ベクトルオフセットである。
具体的には、奥行き情報取得装置は、第1のレンズの焦点距離の1倍において（すなわち、第1の開始位置で）第1のレンズによって撮影され、（画像内の各画素の座標位置を具体的に記録することができる）3次元座標系のXY平面上にマッピングされた、画像の座標を予め記録する。第1のカメラがOISを実行すると、第1のレンズは3次元座標系のXY平面上を移動する。この場合、第1のカメラによって撮影された第1の画像と第1の開始位置で撮影された画像との間の相対オフセットがXY平面上で発生することがある。第1のレンズによって第1の開始位置で撮影された画像内の位置の画素の座標を（q1x，q1y）とすると、奥行き情報取得装置は、第1の画像から、第1の開始位置で撮影された画像内の画素と同じ位置にある、例えば座標（q'1x，q'1y）を有する画素を選択する。奥行き情報取得装置は、2つの画像における2つの画素の座標を比較することにより、第1の画像のオフセット値d1、すなわち（d1x＝q'1x−q1x，d1y＝q'1y−q1y）を取得することができる。
同様に、第2の画像のオフセット値d2、すなわち（d2x＝q'2x−q2x，d2y＝q'2y−q2y）を取得することができる。
第1の画像における目標撮影対象物の同一特徴画素の座標から第2の画像における目標撮影対象物の特徴画素の座標を減算することにより、初期距離d0が得られた場合には、すなわちd0は（P1x−P2x，P1y−P2y）であり、オフセット差はd1−d2であることが分かる。一方、第2の画像における目標撮影対象物の同一特徴画素の座標から第1の画像における目標撮影対象物の特徴画素の座標を減算することにより、初期距離d0が得られた場合には、すなわちd0は（P2x−P1x，P2y−P1y）であり、オフセット差はd2−d1である。これは、本発明のこの実施形態では限定されない。すなわち、オフセット差を算出する方法は、d0を算出する方法と一致する必要がある。
初期距離は、第1の画像における目標撮影対象物と第2の画像における目標撮影対象物との間の相対ベクトル距離であってもよく、オフセット差は、第1の画像のオフセット値と第2の画像のオフセット値との間の相対オフセット差であることに留意されたい。あるいは、初期距離は、第2の画像における目標撮影対象物と第1の画像における目標撮影対象物との間の相対ベクトル距離であってもよく、オフセット差は、第2の画像のオフセット値と第1の画像のオフセット値との間の相対オフセット差である。これは、本発明のこの実施形態では限定されない。
S204．奥行き情報取得装置は、オフセット差を用いて初期距離を補正する。
本発明のこの実施形態では、第1の画像と第2の画像との間のオフセット差を決定した後に、奥行き情報取得装置は、オフセット差を用いてd0を補正して、補正された距離d0'、すなわち（d0x’，d0y’）を得ることができる。具体的には、奥行き情報取得装置によるd0の具体的な補正方法は、d0'＝d0−（d1−d2）である。すなわち、d0x'＝d0x−（d1x−d2x）かつd0y'＝d0y−（d1y−d2y）である。
S205．奥行き情報取得装置は、補正された初期距離に従って、目標撮影対象物の奥行きを決定する。
振れが発生した場合には、カメラが光学的振れ補正を行うと、XY平面上のレンズにオフセットが生じ、それに応じて対応して撮影された画像間の距離が変化することに留意されたい。
本発明のこの実施形態では、光学的手振れ補正を行わない場合には、第1のカメラと第2のカメラで撮影された画像において、2つの画像における同一の撮影対象物の間の距離が存在する。しかし、この場合は、XY平面上のレンズにはオフセットが生じない。したがって、奥行き計算公式による計算によって得られた各撮影対象物の奥行きは正確である。しかし、第1のレンズと第2のレンズの焦点距離はわずかに異なっている。したがって、振れが発生して、第1のカメラまたは第2のカメラのいずれかが光学的手振れ補正を行う場合には、XY平面上の各開始位置に対する第1のレンズおよび第2のレンズのオフセットも異なる。第1のカメラと第2のカメラが目標撮影対象物を有する画像を別々に撮影する場合には、第1のレンズと第2のレンズとの間の実際の距離をD0'とする（図3に示す）。光学的手振れ補正を行う場合には、XY平面上の第1のレンズとオフセットと第2のレンズのオフセットとの差が比較的小さく、奥行き情報装置は、一般的に2つのレンズ間の実際の距離を直接得ることができない。したがって、一般に、従来技術では、撮影対象物の奥行きを算出する際に、第1の開始位置と第2の開始位置との間のベクトル距離を、第1のレンズと第2のレンズとの間の実際のベクトル距離として一般的に用いている。その結果、最終的に得られる奥行き情報は正確ではなく、あるいは最終的に得られた奥行き情報と実際の奥行き情報との間に大きな差が存在する。
本発明のこの実施形態では、レンズの焦点距離が一般に与えられる。したがって、奥行き情報取得装置は、第1の開始位置と第2の開始位置との間のベクトル距離D0を一般的に直接得ることができる。XY平面上のベクトル距離D0は、（D0x，D0y）で表すことができる。したがって、奥行き情報取得装置は、補正された距離d0'およびD0を用いて、目標撮影対象物の奥行きを算出することができる。このようにして、最終的に得られる奥行き情報は比較的正確である。
D0は、XY平面上の第1の開始位置の座標からXY平面上の第2の開始位置の座標を減算して求めてもよいし、XY平面上の第2の開始位置の座標からXY平面上の第1の開始位置の座標を減算して求めてもよいことに留意されたい。D0を算出する方法も、d0を算出する方法と一致する必要がある。本発明のこの実施形態では、詳細についてさらに説明しない。
本発明のこの実施形態では、第1の開始位置と第2の開始位置との間のベクトル距離D0、補正された距離d0’、af_offset1、およびaf_offset2を取得した後に、奥行き情報取得装置は、奥行き計算公式に従って目標撮影対象物の奥行きを算出することができる。
複数のカメラモジュールを有する画像取得デバイスが撮影やOISを行う場合は、すべてのカメラのレンズと感光素子との間の距離が等しくなければならないことが分かる。したがって、奥行き情報取得装置は、第1のカメラのパラメータに従って目標撮影対象物の実際の奥行きを算出してもよいし、第2のカメラのパラメータに従って目標撮影対象物の奥行きを算出してもよい。これは、本発明のこの実施形態では限定されない。
すなわち、画像取得デバイスでは、（f1＋af_offset1）は（f2＋af_offset2）に等しいままである必要がある。f1は第1のレンズの焦点距離であり、f2は第2のレンズの焦点距離である。奥行き情報取得装置がd0を補正した後に、目標撮影対象物のDepthで表される最終的に得られた奥行きは
Figure 2019510234
 となり得る。
具体的な実施態様では、奥行き情報装置は、初期距離d0を補正した後に、奥行き計算公式を用いて、第1の画像における目標撮影対象物の奥行きと、第2の画像における目標撮影対象物の奥行きと、を算出することができ、ここで
Figure 2019510234
 である。
任意選択的に、第1のカメラと第2のカメラの両方がOIS機能を有する場合には、画像取得デバイスがOISを実行すると、それぞれの開始位置に対してXY面上で第1のレンズと第2のレンズのオフセットが生じる。したがって、第1の画像のオフセット値d1も第2の画像のオフセット値d2も0ではない。第1のカメラと第2のカメラのいずれかがOIS機能を有する場合には（第1のカメラがOIS機能を有すると仮定する）、画像取得デバイスがOISを実行すると、第1のレンズの開始位置に対してXY平面上で第1のレンズにのみオフセットが生じる。したがって、オフセット値d1は0ではなく、OIS機能を有さないカメラ（第2のカメラ）で撮影された第2の画像のオフセット値d2は0である。すなわち、この解決策は、2つのカメラがOIS機能を有する画像取得デバイスに適用可能であるだけでなく、1つのカメラのみがOIS機能を有する画像取得デバイスにも適用可能である。これは、本発明のこの実施形態では限定されない。
任意選択的に、この解決策は、2つのカメラを有し、かつ少なくとも1つのカメラがOIS機能を有する画像取得デバイスに適用できるだけでなく、3つ以上のカメラを有し、かつ少なくとも1つのカメラがOIS機能を有する画像取得デバイスにも適用可能である。複数のカメラを有する画像取得デバイスでは、3つのカメラを有する画像取得デバイスを例にとると、奥行き情報取得装置は、3つのカメラのうちの2つを組み合わせて、それぞれの組み合わせにおいて2つのカメラを用いて目標撮影対象物の奥行きを取得して、3つの奥行きを取得することができる。最後に、奥行き情報取得装置は、3つの奥行きの平均奥行きを目標撮影対象物の実際の奥行きとして用いることができる。これは、本発明のこの実施形態では限定されない。
図2に示す方法では、奥行き情報取得装置は、カメラが振れたことを検出すると、第1のカメラと第2のカメラで撮影した画像を取得し、2つの画像における目標撮影対象物の間の初期距離を検出し、第1の画像と第2の画像との間のオフセット差を用いて初期距離を補正し、最終的に、補正された初期距離を奥行き算出公式に代入して、目標撮影対象物の奥行きを決定することができることが分かる。本発明のこの実施形態によれば、2つのカメラが共にOIS機能を有していてもよいし、いずれかのカメラがOIS機能を有していてもよく、奥行き情報取得装置は、2つのカメラによって取得された画像内の同一の撮影対象物の間の距離を補正して、補正された距離に従って最終的に得られる奥行き情報が比較的正確になるようにすることができる。これにより、撮影対象物に正確かつ迅速に合焦することができる。
本発明の一実施形態は、図1に示すカメラモジュールに基づいて、別の奥行き情報取得方法を開示する。図4を参照すると、図4は、本発明のこの実施形態による別の奥行き情報取得方法の概略フローチャートである。図4に示す方法は、画像取得デバイスに適用することができる。画像取得デバイスは、第1のカメラと第2のカメラとを含む。図4に示すように、奥行き情報取得方法は、以下のステップを含むことができる。
S401．奥行き情報取得装置は、第1のカメラおよび第2のカメラが振れたことを検出すると、第1のカメラで撮影された目標撮影対象物の第1の画像と、第2のカメラで撮影された目標撮影対象物の第2の画像と、を取得し、第1のカメラおよび第2のカメラは同時に画像取得を行う。
S402．奥行き情報取得装置は、第1の画像における目標撮影対象物と第2の画像における目標撮影対象物との間の初期距離を検出する。
S403．奥行き情報取得装置は、第1の画像と第2の画像との間のオフセット差を決定する。
本発明のこの実施形態では、奥行き情報取得装置による第1の画像と第2の画像との間のオフセット差を決定する具体的な方法は、以下のステップを含むことができる。
（11）第1のカメラと第2のカメラが振れたことを検出すると、奥行き情報取得装置は、第1のレンズの第1のオフセットと第2のレンズの第2のオフセットを取得する。
（12）奥行き情報取得装置は、第1のオフセットに従って第1の画像のオフセット値を決定し、第2のオフセットに従って第2の画像のオフセット値を決定し、第1の画像のオフセット値と第2の画像のオフセット値との間のオフセット差を取得する。
具体的な実施態様では、第1のレンズの第1のオフセットは、XY平面上の第1のレンズの現在の位置と第1の開始位置との間のベクトルオフセットとして理解することができ、ベクトルオフセットはL1としてマークされる。第2のレンズの第2のオフセットは、XY平面上の第2のレンズの現在の位置と第2の開始位置との間のベクトルオフセットとして理解することができ、ベクトルオフセットはL2としてマークされる。
また、図5を参照すると、図5は、本発明の一実施形態による、カメラがOISを実行するときにレンズが移動するシナリオの概略図である。図5に示すように、点線で示すレンズの位置がレンズの開始位置であり、実線で示すレンズの位置が、OISを実行している間にレンズが目標撮影対象物を有する画像を撮影するレンズ位置（すなわち、レンズの現在位置）である。図5で作成された3次元座標系では、XY平面上の開始位置の座標が、XY平面上のレンズの現在位置の座標から減算され、レンズと開始位置との間の相対オフセットLが得られ、このオフセットはベクトルである。開始位置のZ軸座標がレンズの現在位置のZ軸座標から減算され、レンズと開始位置との間の移動距離af_offsetが得られる。
例えば、第1のレンズを例にとる。図5に示す開始位置は、第1のレンズの第1の開始位置（座標を（L1x，L1y，L1z）とする）であり、図5に示す現在位置は、第1のレンズの現在位置（座標を（L'1x，L'1y，L'1z）とする）である。この場合、第1のレンズの現在位置と第1の開始位置との間のZ軸上の移動距離af_offset1は｜L'1z−L1z｜であり、これはスカラー距離である。第1のレンズの現在位置と第1の開始位置との間のXY平面上の第1のオフセットL1は、（L'1x−L1x，L'1y−L1y）であり、これはベクトル距離である。
同様に、第2のレンズの移動距離af_offset2、すなわち｜L'2z−L2z｜が得られ、第2のレンズの第2のオフセットL2、すなわち（L'2x−L2x，L'2y−L2y）が得られる。
なお、本明細書でいうレンズの移動距離およびオフセットは、レンズ（凸レンズ）の光学中心間の距離を指すことに留意されたい。本発明のこの実施形態では、詳細についてさらに説明しない。
奥行き情報取得装置は、主にホール効果センサやレーザを用いて、XY平面上の第1のレンズと第2のレンズのオフセットスケールを記録することに留意されたい。オフセットスケールを記録することに加えて、オフセット方向を記録することができる。レンズのオフセット方向およびスケールに対応する距離に従って、レンズのオフセットが得られる。
可能な実施態様では、第1のレンズおよび第2のレンズのオフセットを取得する前に、奥行き情報取得装置はさらにホールスケールを較正することができる。具体的な方法は以下の通りであり得る。
各カメラ（焦点距離が与えられ、fで示す）について、奥行き情報取得装置は、撮影奥行き（Sで示す）が与えられたテーブルを撮影するようにカメラのlensを制御し、lensをlensの主光軸に沿って移動させるように制御することができる。まず、lensを1つのホールスケールで移動させ、テーブルを撮影して、感光素子上のテーブルの幅（dで示す）が得られる。撮像公式
Figure 2019510234
 によれば、s＝f＋af_offsetであり、lensと感光素子との間の距離である。したがって、af_offsetの値、すなわち1つのホールスケールに対応する距離を得ることができる。
本発明のこの実施形態では、L1とL2を取得した後に、奥行き情報取得装置は、lensのオフセットと画像のオフセットとの関係に従って、第1の画像のオフセット値d1と第2の画像のオフセット値d2とを別々に算出することができる。計算方法は、具体的には
Figure 2019510234
 である。
本発明のこの実施形態では、まず、第1のレンズおよび第2のレンズのオフセットを求め、第1の画像のオフセット値と第2の画像のオフセット値とを上記計算公式に従って別々に算出し、次に2つの画像間のオフセット差が得られる。したがって、2つの画像における目標撮影対象物の間の距離の補正がより正確になり、奥行き情報の精度が向上する。
S404．奥行き情報取得装置は、オフセット差を用いて初期距離を補正する。
S405．奥行き情報取得装置は、補正された初期距離に従って、目標撮影対象物の奥行きを決定する。
任意選択的に、より正確な奥行き情報を得るために、奥行き情報取得装置は、前もって第1のレンズおよび第2のレンズの焦点距離をさらに較正してもよい。具体的な方法は以下の通りであり得る。
図6を参照すると、図6は、本発明の一実施形態によるレンズの焦点距離較正方法の概略図である。図6に示すように、奥行き情報取得装置は、カメラのlensを制御して、撮影奥行き（Sで示す）が与えられ、かつ幅（Dで示す）が与えられたテーブルを撮影して、lensの主光軸に沿って移動するようにlensを制御することができる。画像のコントラストが最も高い位置にlensが移動すると、テーブルが撮影され、感光素子上のテーブルの幅（dで示す）が得られる。さらに、奥行き情報取得装置は、lensの開始位置に対するZ軸上でのlensの移動距離af_offsetを取得することができる。この場合のlensと感光素子との間の距離をsとすると、s＝f＋af_offsetであり、図6の凸レンズの撮像公式とlensの撮像原理により、以下の関係式が得られる。
Figure 2019510234
上記の関係式、すなわち
Figure 2019510234
 により、lensの焦点距離fを算出することができる。
したがって、奥行きの取得精度を向上させるために、奥行き情報取得装置は、このように各カメラの焦点距離をさらに算出してもよい。
さらに、生産ラインでは、2つのカメラの焦点距離の差を管理し、制御することができる。上記のようにして較正された、2つのカメラの焦点距離の差は、予め設定された焦点距離しきい値以下に設定される。予め設定された焦点距離のしきい値は、0．01であってもよい。その差が例えば
Figure 2019510234
 などの予め設定された焦点距離のしきい値よりも大きい場合には、このときは焦点距離較正が失敗したことを示し、カメラやlensは生産ラインで交換される。このように較正された2つのカメラの焦点距離の差が予め設定された焦点距離しきい値未満であれば、焦点距離の較正が成功したことを示し、奥行き情報取得装置は、較正された焦点距離を用いて画像内の目標撮影対象物の奥行きを算出することができる。
S406．奥行き情報取得装置は、目標撮影対象物に合焦するための命令を受信する。
本発明のこの実施形態では、奥行き情報取得装置は、上述した目標撮影対象物の奥行きを取得する方法で、各撮影対象物の奥行きを取得することができる。携帯電話機による撮影を例として用いる。ユーザが目標撮影対象物に合焦する必要がある場合、携帯電話機の画像プレビュー画面上でユーザが目標撮影対象物をタップした後に、奥行き情報取得装置が目標撮影対象物に合焦するための命令を受信する。すなわち、奥行き情報取得装置が受信する合焦命令は、ユーザによってトリガされてもよいし、画像解析によって取得されてもよい。これは、本発明のこの実施形態では限定されない。
例えば、携帯電話機が撮影用のポートレートモードを開始した場合には、現在のシナリオで各撮影対象物の奥行きを取得した後に、携帯電話機は、自動的に目標撮影対象物が人物であると識別し、現在のシナリオにおける人に合焦するための命令を生成することができる。ユーザが背景の植物に合焦したい場合には、ユーザが携帯電話機の画像プレビュー画面上で植物をタップし、奥行き情報取得装置が植物に合焦するための命令を受信する。
S407．奥行き情報取得装置は、合焦命令に応答して、第1のレンズの奥行きに対応する第1の移動距離を取得し、第2のレンズの奥行きに対応する第2の移動距離を取得する。
本発明のこの実施形態では、合焦命令を受信した後に、奥行き情報取得装置は、取得した目標撮影対象物の奥行きDepthに従って、第1の開始位置に対するZ軸上の第1のレンズの第1の移動距離af_offset1'を算出することができる。同様に、奥行き情報取得装置は、第2の開始位置に対するZ軸上の第2のレンズの第2の移動距離af_offset2'を取得することができる。
具体的には、図6に示す概略図を参照して、図6では目標撮影対象物の奥行きDepthはSであり、図6ではf1＋af_offset1'はsである。したがって、第1の移動距離af_offset1'の算出時には、撮像公式に奥行きDepthの式とsの式を代入し、第1の移動距離af_offset1'を具体的に以下のように算出することができる。
Figure 2019510234
図6では、f2＋af_offset2'がsであるので、同様に、第2の移動距離af_offset2'は、以下のように得られる。
Figure 2019510234
S408．奥行き情報取得装置は、第1の移動距離に従って第1のレンズの焦点位置を決定し、第2の移動距離に従って第2のレンズの焦点位置を決定し、それぞれの焦点位置に移動させるために、第1のレンズおよび第2のレンズを制御する。
本発明のこの実施形態では、目標撮影対象物に合焦する必要がある場合には、第1のレンズの第1の移動距離af_offset1'と第2のレンズの第2の移動距離af_offset2'とを決定した後に、奥行き情報取得装置は、第1の移動距離af_offset1'に従って、第1のレンズが目標撮影対象物に合焦する焦点位置を決定し、第2の移動距離af_offset2'に従って、第2のレンズが目標撮影対象物に合焦する焦点位置を決定し、第1レンズおよび第2レンズを制御してそれぞれの焦点位置に移動させ、目標撮影対象物に合焦させることができる。
さらに、第1のレンズおよび第2のレンズが目標撮影対象物に合焦すると、奥行き情報取得装置は、別の撮影対象物の奥行きと目標撮影対象物の奥行きとの差に従って別の撮影対象物をさらにぼかすことができる。具体的には、奥行き情報取得装置は、ぼかしアルゴリズムを用いて、目標撮影対象物（すなわち、注目点）とは異なる別の撮影対象物をぼかして、目標撮影対象物からより遠くにある撮影対象物はぼけの程度がより高くなり、目標撮影対象物により近い撮影対象物はぼけの程度がより低くなる。
図4に示す方法では、奥行き情報取得装置は、第1の開始位置に対するXY平面上の第1のレンズの第1のオフセットと、第2の開始位置に対するXY平面上の第2のレンズの第2のオフセットと、を検出して、第1の画像のオフセット値および第2の画像のオフセット値を決定することができる。このようにして、第1の画像における目標撮影対象物と第2の画像における目標撮影対象物との間の初期距離をより正確に補正することができ、最終的に算出される目標撮影対象物の奥行きをより正確にすることができる。さらに、本発明のこの実施形態で得られた奥行きによれば、目標撮影対象物に合焦する際に、目標撮影対象物の奥行きは比較的正確である。したがって、目標撮影対象物の合焦精度や合焦速度を向上させることができ、画像取得デバイスの撮像品質を向上させることができる。
本発明の一実施形態は、図1に示すカメラモジュールに基づいて、奥行き情報取得装置を開示する。図7を参照すると、図7は、本発明のこの実施形態による奥行き情報取得装置の概略構成図である。図7に示す奥行き情報取得装置700は、画像取得デバイスに適用することができる。画像取得デバイスは、第1のカメラと第2のカメラとを含む。図7に示すように、奥行き情報取得装置700は、
取得ユニット701であって、第1のカメラおよび第2のカメラが振れたことが検出された場合に、第1のカメラで撮影された目標撮影対象物の第1の画像と、第2のカメラで撮影された目標撮影対象物の第2の画像と、を取得するように構成され、第1のカメラおよび第2のカメラは同時に画像取得を行う、取得ユニット701と、
第1の画像における目標撮影対象物と第2の画像における目標撮影対象物との間の初期距離を検出するように構成された検出ユニット702と、
第1の画像と第2の画像との間のオフセット差を決定するように構成された第1の決定ユニット703と、
オフセット差を用いて初期距離を補正するように構成された補正ユニット704と、
補正された初期距離に従って目標撮影対象物の奥行きを決定するように構成された第2の決定ユニット705と、
を含むことができる。
任意選択的に、初期距離は、第1の画像における目標撮影対象物と第2の画像における目標撮影対象物との間の相対ベクトル距離であってもよく、オフセット差は、第1の画像のオフセット値と第2の画像のオフセット値との間の相対オフセット差である。あるいは、初期距離は、第2の画像における目標撮影対象物と第1の画像における目標撮影対象物との間の相対ベクトル距離であってもよく、オフセット差は、第2の画像のオフセット値と第1の画像のオフセット値との間の相対オフセット差である。これは、本発明のこの実施形態では限定されない。
第1のカメラと第2のカメラの両方がOIS機能を有している場合、またはいずれかのカメラがOIS機能を有している場合に、OISを行う際に、奥行き情報取得装置が、2つのカメラによってそれぞれ取得された2つの画像における同一の撮影対象物の間の距離を補正し、そのようにして、画像取得デバイスが対象物の比較的正確な奥行きを最終的に取得することが分かる。これにより、カメラの合焦精度が向上する。
また、図8を参照すると、図8は、本発明の一実施形態による別の奥行き情報取得装置の概略構成図である。図8に示す奥行き情報取得装置700は、図7に示す奥行き情報取得装置700に基づいて実行される最適化により得られる。図8に示すように、奥行き情報取得装置700は、以下のユニットをさらに含むことができる。
受信ユニット706は、目標撮影対象物に合焦するための命令を受信するように構成される。
取得ユニット701は、合焦命令に応答して、第1のレンズの奥行きに対応する第1の移動距離を取得し、第2のレンズの奥行きに対応する第2の移動距離を取得するようにさらに構成される。
第2の決定ユニット705は、第1の移動距離に従って第1のレンズの焦点位置を決定し、第2の移動距離に従って第2のレンズの焦点位置を決定するようにさらに構成される。
制御ユニット707は、それぞれの焦点位置に移動させるために、第1のレンズおよび第2のレンズを制御するように構成される。
本発明のこの実施形態では、奥行き情報取得装置700は、目標撮影対象物の奥行き情報を取得した後に、目標撮影対象物に合焦する必要がある場合には、レンズを移動させる必要があって奥行きに対応する距離を取得し、各移動距離に従ってレンズの焦点位置を決定し、それからレンズをそれぞれ距離に対応する焦点位置に移動させることができる。これにより、目標撮影対象物に正確かつ迅速に合焦することができる。
可能な実施態様では、第1の決定ユニット703は、取得サブユニット7031および決定サブユニット7032を含むことができる。
取得サブユニット7031は、奥行き情報取得装置700が第1のカメラおよび第2のカメラが振れたことを検出すると、第1のレンズの第1のオフセットおよび第2のレンズの第2のオフセットを取得するように構成される。
決定サブユニット7032は、第1の画像のオフセット値と第2の画像のオフセット値との間のオフセット差を取得するために、第1のオフセットに従って第1の画像のオフセット値を決定し、第2のオフセットに従って第2の画像のオフセット値を決定するように構成される。
図7および図8に示す奥行き情報取得装置では、奥行き情報取得装置は、カメラが振れたことを検出すると、第1のカメラと第2のカメラで撮影した画像を取得し、2つの画像における目標撮影対象物の間の初期距離を検出し、第1の画像と第2の画像との間のオフセット差を用いて初期距離を補正し、最終的に、補正された初期距離を奥行き算出公式に代入して、目標撮影対象物の奥行きを決定することができることが分かる。本発明のこの実施形態によれば、2つのカメラが共にOIS機能を有していてもよいし、いずれかのカメラがOIS機能を有していてもよく、奥行き情報取得装置は、2つのカメラによって取得された画像内の同一の撮影対象物の間の距離を補正して、補正された距離に従って最終的に得られる奥行き情報が比較的正確になるようにすることができる。これにより、撮影対象物に正確かつ迅速に合焦することができる。
本発明の一実施形態は、図1に示すカメラモジュールに基づいて、画像取得デバイスを開示する。図9を参照すると、図9は、本発明のこの実施形態による画像取得デバイスの概略構成図である。図9に示す画像取得デバイス900は、第1のカメラ901、第2のカメラ902、CPUなどの少なくとも1つのプロセッサ903、受信器904、送信器905、表示画面906、および通信バス907を含むことができる。
送信器905は、画像などの様々なデータ信号を外部デバイスに送信するように構成される。
表示画面906は、第1のカメラ901および第2のカメラ902によって撮影された画像を表示するように構成される。表示画面は、タッチ表示画面であってもよい。
通信バス907は、第1のカメラ901、第2のカメラ902、プロセッサ903、受信器904、送信器905、および表示画面906などのこれらの構成要素間の通信接続を実現するように構成される。
第1のカメラ901は、第1のカメラおよび第2のカメラが振れたことを画像取得デバイス900が検出すると、目標撮影対象物の第1の画像を撮影するように構成される。
第2のカメラ902は、第1のカメラと第2のカメラが振れたことを画像取得デバイス900が検出した場合に、目標撮影対象物の第2の画像を撮影するように構成され、第1のカメラと第2のカメラが同時に画像取得を行う。
プロセッサ903は、第1の画像および第2の画像を取得し、第1の画像における目標撮影対象物と第2の画像における目標撮影対象物との間の初期距離を検出するように構成される。
プロセッサ903は、第1の画像と第2の画像との間のオフセット差を決定し、オフセット差を用いて初期距離を補正するようにさらに構成される。
前記プロセッサ903は、前記補正された初期距離に従って前記目標撮影対象物の奥行きを決定するようにさらに構成される。
任意選択的に、初期距離は、第1の画像における目標撮影対象物と第2の画像における目標撮影対象物との間の相対ベクトル距離であってもよく、オフセット差は、第1の画像のオフセット値と第2の画像のオフセット値との間の相対オフセット差である。あるいは、初期距離は、第2の画像における目標撮影対象物と第1の画像における目標撮影対象物との間の相対ベクトル距離であってもよく、オフセット差は、第2の画像のオフセット値と第1の画像のオフセット値との間の相対オフセット差である。これは、本発明のこの実施形態では限定されない。
第1のカメラと第2のカメラの両方がOIS機能を有している場合、またはいずれかのカメラがOIS機能を有している場合に、OISを行う際に、画像取得デバイス900が、2つのカメラによってそれぞれ取得された2つの画像における同一の撮影対象物の間の距離を補正し、そのようにして、画像取得デバイスが対象物の比較的正確な奥行きを最終的に取得することが分かる。これにより、カメラの合焦精度が向上する。
可能な実施態様では、プロセッサ903による第1の画像と第2の画像との間のオフセット差を決定する特定の方法は、
第1のカメラおよび第2のカメラが振れたことが検出された場合に、第1のレンズの第1のオフセットおよび第2のレンズの第2のオフセットを取得するステップと、
第1の画像のオフセット値と第2の画像のオフセット値との間のオフセット差を取得するために、第1のオフセットに従って第1の画像のオフセット値を決定し、第2のオフセットに従って第2の画像のオフセット値を決定するステップと、
であってもよい。
別の可能な実施態様では、受信器904は、目標撮影対象物に合焦するための命令を受信するように構成される。
プロセッサ903は、合焦命令に応答して、第1のレンズの奥行きに対応する第1の移動距離を取得し、第2のレンズの奥行きに対応する第2の移動距離を取得するようにさらに構成される。
プロセッサ903は、第1の移動距離に従って第1のレンズの焦点位置を決定し、第2の移動距離に従って第2のレンズの焦点位置を決定するようにさらに構成される。
プロセッサ903は、それぞれの焦点位置に移動させるために、第1のレンズおよび第2のレンズを制御するようにさらに構成される。
本発明のこの実施形態では、画像取得デバイス900は、目標撮影対象物の奥行き情報を取得した後に、目標撮影対象物に合焦する必要がある場合には、レンズを移動させる必要があって奥行きに対応する距離を取得し、各移動距離に従ってレンズの焦点位置を決定し、それからレンズをそれぞれの焦点位置に移動させることができる。これにより、目標撮影対象物に正確かつ迅速に合焦することができる。
図9に示す画像取得デバイスでは、画像取得デバイスは、第1のカメラ、第2のカメラ、プロセッサ、および受信器を含むことができることが分かる。第1のカメラおよび第2のカメラが振れたことが検出されると、第1のカメラおよび第2のカメラは、目標撮影対象物の第1の画像および第2の画像をそれぞれ撮影することができる。プロセッサは、第1の画像と第2の画像とを取得し、2つの画像における目標撮影対象物の間の初期距離を検出し、第1の画像と第2の画像との間のオフセット差を用いて初期距離を補正し、最終的に、補正された初期距離を奥行き算出公式に代入して、目標撮影対象物の奥行きを決定することができる。本発明のこの実施形態によれば、2つのカメラが共にOIS機能を有していてもよいし、いずれかのカメラがOIS機能を有していてもよく、画像取得デバイスは、2つのカメラによって取得された画像内の同一の撮影対象物の間の距離を補正して、補正された距離に従って最終的に得られる奥行き情報が比較的正確になるようにすることができる。これにより、撮影対象物に正確かつ迅速に合焦することができる。
上記の実施形態では、各実施形態の説明にそれぞれ重点を置いていることに留意されたい。一実施形態において詳細に記載されていない部分については、他の実施形態における関連する説明を参照することができる。加えて、当業者であれば、明細書に記載されたすべての実施形態は例示的な実施形態であり、関連する動作およびモジュールは必ずしも本発明に必須ではないことを理解されたい。
本発明の実施形態における方法のステップのシーケンスは調整されてもよいし、実際の要件に従ってステップが組み合わせられてもよいし、除去されてもよい。
本発明の実施形態における奥行き情報取得装置の各ユニットについては、実際の要求に従って、組み合わせ、分割、除去を行ってもよい。
本発明の実施形態の各ユニットは、中央処理装置（Central Processing Unit、CPU）などの汎用集積回路、または特定用途向け集積回路（Application Specific Integrated Circuit、ASIC）を用いて実現することができる。
当業者であれば、実施形態の方法のプロセスのすべてまたは一部を、関連するハードウェアに指示するコンピュータプログラムによって実施できることを理解することができる。プログラムは、コンピュータ可読記憶媒体に格納することができる。プログラムが実行されると、実施形態の方法の処理が実行される。前述の記憶媒体は、磁気ディスク、光ディスク、読み出し専用メモリ（Read-Only Memory、ROM）、またはランダムアクセスメモリ（Random Access Memory、RAM）であってもよい。
以上、本発明の実施形態に開示されている奥行き情報取得方法および装置、ならびに画像取得デバイスについて詳細に説明した。本明細書では、特定の例を使用して、本発明の原理および実施態様を説明している。実施形態の上記の説明は、本発明および本発明の中心的な思想の理解を助けることを意図したものにすぎない。さらに、当業者であれば、本発明の思想に基づいて、特定の実施態様および応用範囲に関して変更を加えることができる。結論として、本明細書の内容は、本発明の限定として解釈されるべきではない。
700 奥行き情報取得装置
701 取得ユニット
702 検出ユニット
703 第1の決定ユニット
704 補正ユニット
705 第2の決定ユニット
706 受信ユニット
707 制御ユニット
900 画像取得デバイス
901 第1のカメラ
902 第2のカメラ
903 プロセッサ
904 受信器
905 送信器
906 表示画面
907 通信バス
7031 取得サブユニット
7032 決定サブユニット

Claims (12)

  1. 画像取得デバイスに適用される、奥行き情報取得方法であって、前記画像取得デバイスは、第1のカメラと第2のカメラとを含み、前記方法は、
    前記第1のカメラおよび前記第2のカメラが振れたことが検出された場合に、前記第1のカメラで撮影された目標撮影対象物の第1の画像および前記第2のカメラで撮影された前記目標撮影対象物の第2の画像を取得するステップであって、前記第1のカメラおよび前記第2のカメラは同時に画像取得を行う、ステップと、
    前記第1の画像における前記目標撮影対象物と前記第2の画像における前記目標撮影対象物との間の初期距離を検出し、前記第1の画像と前記第2の画像との間のオフセット差を決定するステップと、
    前記オフセット差を用いて前記初期距離を補正するステップと、
    補正された前記初期距離に従って、前記目標撮影対象物の奥行きを決定するステップと、
    を含む、方法。
  2. 前記第1のカメラは第1のレンズを含み、前記第2のカメラは第2のレンズを含み、前記第1の画像と前記第2の画像との間のオフセット差を決定する前記ステップは、
    前記第1のカメラおよび前記第2のカメラが振れたことが検出された場合に、前記第1のレンズの第1のオフセットおよび前記第2のレンズの第2のオフセットを取得するステップと、
    前記第1の画像のオフセット値と前記第2の画像のオフセット値との間のオフセット差を取得するために、前記第1のオフセットに従って前記第1の画像の前記オフセット値を決定し、前記第2のオフセットに従って前記第2の画像の前記オフセット値を決定するステップと、
    を含む、請求項1に記載の方法。
  3. 前記初期距離は、前記第1の画像における前記目標撮影対象物と前記第2の画像における前記目標撮影対象物との間の相対距離であり、前記オフセット差は、前記第1の画像のオフセット値と前記第2の画像のオフセット値との間の相対差である、請求項1または2に記載の方法。
  4. 補正された前記初期距離に従って、前記目標撮影対象物の奥行きを決定する前記ステップの後に、前記方法は、
    前記目標撮影対象物に合焦するための合焦命令を受信するステップと、
    前記合焦命令に応答して、前記第1のレンズの、前記奥行きに対応する第1の移動距離を取得し、前記第2のレンズの、前記奥行きに対応する第2の移動距離を取得するステップと、
    前記第1の移動距離に従って前記第1のレンズの焦点位置を決定し、前記第2の移動距離に従って前記第2のレンズの焦点位置を決定するステップと、
    それぞれの焦点位置に移動させるように前記第1のレンズおよび前記第2のレンズを制御するステップと、
    をさらに含む、請求項1から3のいずれか一項に記載の方法。
  5. 画像取得デバイスに適用される、奥行き情報取得装置であって、前記画像取得デバイスは、第1のカメラと第2のカメラとを含み、前記装置は、
    前記第1のカメラおよび前記第2のカメラが振れたことが検出された場合に、前記第1のカメラで撮影された目標撮影対象物の第1の画像および前記第2のカメラで撮影された前記目標撮影対象物の第2の画像を取得するように構成された取得ユニットであって、前記第1のカメラおよび前記第2のカメラは同時に画像取得を行う、取得ユニットと、
    前記第1の画像における前記目標撮影対象物と前記第2の画像における前記目標撮影対象物との間の初期距離を検出するように構成された検出ユニットと、
    前記第1の画像と前記第2の画像との間のオフセット差を決定するように構成された第1の決定ユニットと、
    前記オフセット差を用いて前記初期距離を補正するように構成された補正ユニットと、
    補正された前記初期距離に従って前記目標撮影対象物の奥行きを決定するように構成された第2の決定ユニットと、
    を含む、装置。
  6. 前記第1のカメラは第1のレンズを含み、前記第2のカメラは第2のレンズを含み、前記第1の決定ユニットは、取得サブユニットと決定サブユニットとを含み、
    前記取得サブユニットは、前記第1のカメラおよび前記第2のカメラが振れたことが検出された場合に、前記第1のレンズの第1のオフセットおよび前記第2のレンズの第2のオフセットを取得するように構成され、
    前記決定サブユニットは、前記第1の画像のオフセット値と前記第2の画像のオフセット値との間のオフセット差を取得するために、前記第1のオフセットに従って前記第1の画像の前記オフセット値を決定し、前記第2のオフセットに従って前記第2の画像の前記オフセット値を決定するように構成される、請求項5に記載の装置。
  7. 前記初期距離は、前記第1の画像における前記目標撮影対象物と前記第2の画像における前記目標撮影対象物との間の相対距離であり、前記オフセット差は、前記第1の画像のオフセット値と前記第2の画像のオフセット値との間の相対差である、請求項5または6に記載の方法。
  8. 前記目標撮影対象物に合焦するための合焦命令を受信するように構成された受信ユニットであって、
    前記取得ユニットは、前記合焦命令に応答して、前記第1のレンズの、前記奥行きに対応する第2の移動距離を取得し、前記第2のレンズの、前記奥行きに対応する第2の移動距離を取得するようにさらに構成され、
    前記第2の決定ユニットは、前記第1の移動距離に従って前記第1のレンズの焦点位置を決定し、前記第2の移動距離に従って前記第2のレンズの焦点位置を決定するようにさらに構成される、
    受信ユニットと、
    それぞれの焦点位置に移動させるように前記第1のレンズおよび前記第2のレンズを制御するように構成された制御ユニットと、
    をさらに含む、請求項5から7のいずれか一項に記載の装置。
  9. 画像取得デバイスであって、
    第1のカメラと、第2のカメラと、プロセッサと、を含み、
    前記第1のカメラは、前記第1のカメラおよび前記第2のカメラが振れたことが検出された場合に、目標撮影対象物の第1の画像を撮影するように構成され、
    前記第2のカメラは、前記第1のカメラおよび前記第2のカメラが振れたことが検出された場合に、前記目標撮影対象物の第2の画像を撮影するように構成され、
    前記第1のカメラおよび前記第2のカメラは同時に画像取得を行い、
    前記プロセッサは、前記第1の画像および前記第2の画像を取得し、前記第1の画像における前記目標撮影対象物と前記第2の画像における前記目標撮影対象物との間の初期距離を検出するように構成され、
    前記プロセッサは、前記第1の画像と前記第2の画像との間のオフセット差を決定し、前記オフセット差を用いて前記初期距離を補正するようにさらに構成され、
    前記プロセッサは、補正された前記初期距離に従って前記目標撮影対象物の奥行きを決定するようにさらに構成される、画像取得デバイス。
  10. 前記第1のカメラは第1のレンズを含み、前記第2のカメラは第2のレンズを含み、前記プロセッサによる前記第1の画像と前記第2の画像との間の前記オフセット差を決定する特定の方法は、
    前記第1のカメラおよび前記第2のカメラが振れたことが検出された場合に、前記第1のレンズの第1のオフセットおよび前記第2のレンズの第2のオフセットを取得することと、
    前記第1の画像のオフセット値と前記第2の画像のオフセット値との間のオフセット差を取得するために、前記第1のオフセットに従って前記第1の画像の前記オフセット値を決定し、前記第2のオフセットに従って前記第2の画像の前記オフセット値を決定することと、
    を含む、請求項9に記載の画像取得デバイス。
  11. 前記初期距離は、前記第1の画像における前記目標撮影対象物と前記第2の画像における前記目標撮影対象物との間の相対距離であり、前記オフセット差は、前記第1の画像のオフセット値と前記第2の画像のオフセット値との間の相対差である、請求項9または10に記載の画像取得デバイス。
  12. 前記目標撮影対象物に合焦するための合焦命令を受信するように構成された受信器
    をさらに含み、
    前記プロセッサは、前記合焦命令に応答して、前記第1のレンズの、前記奥行きに対応する第1の移動距離を取得し、前記第2のレンズの、前記奥行きに対応する第2の移動距離を取得するようにさらに構成され、
    前記プロセッサは、前記第1の移動距離に従って前記第1のレンズの焦点位置を決定し、前記第2の移動距離に従って前記第2のレンズの焦点位置を決定するようにさらに構成され、
    前記プロセッサは、それぞれの焦点位置に移動させるように前記第1のレンズおよび前記第2のレンズを制御するようにさらに構成される、請求項9から11のいずれか一項に記載の画像取得デバイス。
JP2018554610A 2016-01-12 2016-01-12 奥行き情報取得方法および装置、ならびに画像取得デバイス Active JP6663040B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/070707 WO2017120771A1 (zh) 2016-01-12 2016-01-12 一种深度信息获取方法、装置及图像采集设备

Publications (2)

Publication Number Publication Date
JP2019510234A true JP2019510234A (ja) 2019-04-11
JP6663040B2 JP6663040B2 (ja) 2020-03-11

Family

ID=59310688

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018554610A Active JP6663040B2 (ja) 2016-01-12 2016-01-12 奥行き情報取得方法および装置、ならびに画像取得デバイス

Country Status (6)

Country Link
US (1) US10506164B2 (ja)
EP (1) EP3389268B1 (ja)
JP (1) JP6663040B2 (ja)
KR (1) KR102143456B1 (ja)
CN (1) CN107223330B (ja)
WO (1) WO2017120771A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170358101A1 (en) * 2016-06-10 2017-12-14 Apple Inc. Optical Image Stabilization for Depth Sensing
CN109429004B (zh) * 2017-08-29 2021-06-04 中兴通讯股份有限公司 一种拍照方法、装置及移动终端
CN108154466B (zh) * 2017-12-19 2021-12-07 北京小米移动软件有限公司 图像处理方法及装置
US10313654B1 (en) * 2018-03-19 2019-06-04 Htc Corporation Image processing method, electronic device, and non-transitory computer readable storage medium
CN108769545A (zh) * 2018-06-12 2018-11-06 Oppo（重庆）智能科技有限公司 一种图像处理方法、图像处理装置及移动终端
CN108876739B (zh) * 2018-06-15 2020-11-24 Oppo广东移动通信有限公司 一种图像补偿方法、电子设备及计算机可读存储介质
CN108737734B (zh) * 2018-06-15 2020-12-01 Oppo广东移动通信有限公司 图像补偿方法和装置、计算机可读存储介质和电子设备
CN108769528B (zh) * 2018-06-15 2020-01-10 Oppo广东移动通信有限公司 图像补偿方法和装置、计算机可读存储介质和电子设备
CN108737735B (zh) * 2018-06-15 2019-09-17 Oppo广东移动通信有限公司 图像校正方法、电子设备及计算机可读存储介质
CN108769529B (zh) * 2018-06-15 2021-01-15 Oppo广东移动通信有限公司 一种图像校正方法、电子设备及计算机可读存储介质
CN109194945A (zh) * 2018-08-02 2019-01-11 维沃移动通信有限公司 一种图像处理方法及终端
CN110830707B (zh) * 2018-08-10 2022-01-14 华为技术有限公司 镜头控制方法、装置及终端
CN109714536B (zh) * 2019-01-23 2021-02-23 Oppo广东移动通信有限公司 图像校正方法、装置、电子设备及计算机可读存储介质
US11122248B1 (en) * 2020-07-20 2021-09-14 Black Sesame International Holding Limited Stereo vision with weakly aligned heterogeneous cameras
WO2022040940A1 (zh) * 2020-08-25 2022-03-03 深圳市大疆创新科技有限公司 标定方法、装置、可移动平台及存储介质
CN112489116A (zh) * 2020-12-07 2021-03-12 青岛科美创视智能科技有限公司 一种使用单相机估算目标距离的方法及系统
CN112950691B (zh) * 2021-02-10 2024-08-09 Oppo广东移动通信有限公司 测量深度信息的控制方法、装置、电子设备及存储介质
CN114147727B (zh) * 2022-02-07 2022-05-20 杭州灵西机器人智能科技有限公司 一种机器人位姿校正的方法、装置和系统
CN114554086B (zh) * 2022-02-10 2024-06-25 支付宝(杭州)信息技术有限公司 一种辅助拍摄方法、装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012070389A (ja) * 2010-03-19 2012-04-05 Fujifilm Corp 撮像装置、方法およびプログラム
US20150022669A1 (en) * 2013-07-17 2015-01-22 Microsoft Corporation Real-time registration of a stereo depth camera array

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7561789B2 (en) * 2006-06-29 2009-07-14 Eastman Kodak Company Autofocusing still and video images
US20110261166A1 (en) * 2010-04-21 2011-10-27 Eduardo Olazaran Real vision 3D, video and photo graphic system
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US9041791B2 (en) * 2011-02-01 2015-05-26 Roche Diagnostics Hematology, Inc. Fast auto-focus in imaging
JP5768684B2 (ja) 2011-11-29 2015-08-26 富士通株式会社 ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
JP5948856B2 (ja) * 2011-12-21 2016-07-06 ソニー株式会社 撮像装置とオートフォーカス方法並びにプログラム
TWI551113B (zh) * 2011-12-27 2016-09-21 鴻海精密工業股份有限公司 3d成像模組及3d成像方法
US20130258044A1 (en) 2012-03-30 2013-10-03 Zetta Research And Development Llc - Forc Series Multi-lens camera
CN103246130B (zh) * 2013-04-16 2016-01-20 广东欧珀移动通信有限公司 一种对焦方法及装置
US9524580B2 (en) * 2014-01-06 2016-12-20 Oculus Vr, Llc Calibration of virtual reality systems
CN104811688B (zh) 2014-01-28 2017-09-01 聚晶半导体股份有限公司 图像获取装置及其图像形变检测方法
US9247117B2 (en) 2014-04-07 2016-01-26 Pelican Imaging Corporation Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array
CN104093014A (zh) * 2014-07-21 2014-10-08 宇龙计算机通信科技(深圳)有限公司 图像处理方法和图像处理装置
CN104469086B (zh) 2014-12-19 2017-06-20 北京奇艺世纪科技有限公司 一种视频去抖动方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012070389A (ja) * 2010-03-19 2012-04-05 Fujifilm Corp 撮像装置、方法およびプログラム
US20150022669A1 (en) * 2013-07-17 2015-01-22 Microsoft Corporation Real-time registration of a stereo depth camera array

Also Published As

Publication number Publication date
US10506164B2 (en) 2019-12-10
EP3389268B1 (en) 2021-05-12
EP3389268A4 (en) 2018-12-19
KR102143456B1 (ko) 2020-08-12
WO2017120771A1 (zh) 2017-07-20
CN107223330A (zh) 2017-09-29
US20190028646A1 (en) 2019-01-24
CN107223330B (zh) 2020-06-26
KR20180101466A (ko) 2018-09-12
JP6663040B2 (ja) 2020-03-11
EP3389268A1 (en) 2018-10-17

Similar Documents

Publication Publication Date Title
JP6663040B2 (ja) 奥行き情報取得方法および装置、ならびに画像取得デバイス
CN111147741B (zh) 基于对焦处理的防抖方法和装置、电子设备、存储介质
CN107948519B (zh) 图像处理方法、装置及设备
US9998650B2 (en) Image processing apparatus and image pickup apparatus for adding blur in an image according to depth map
WO2020088133A1 (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN109712192B (zh) 摄像模组标定方法、装置、电子设备及计算机可读存储介质
JP4858263B2 (ja) ３次元計測装置
US9619886B2 (en) Image processing apparatus, imaging apparatus, image processing method and program
CN107113376A (zh) 一种图像处理方法、装置及摄像机
JP5365387B2 (ja) 位置検出装置
CN113875219B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN109598764A (zh) 摄像头标定方法和装置、电子设备、计算机可读存储介质
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
CN108260360B (zh) 场景深度计算方法、装置及终端
US20220174217A1 (en) Image processing method and device, electronic device, and computer-readable storage medium
JP5857712B2 (ja) ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
JP2019062340A (ja) 像振れ補正装置および制御方法
JP6645711B2 (ja) 画像処理装置、画像処理方法、プログラム
JP5925109B2 (ja) 画像処理装置、その制御方法、および制御プログラム
US20220286611A1 (en) Electrical image stabilization (eis)-assisted digital image stabilization (dis)
JP2017034616A (ja) 画像処理装置及びその制御方法
CN116437207A (zh) 光学防抖方法和装置、电子设备、计算机可读存储介质
JP2012022716A (ja) 立体画像処理装置、方法及びプログラム並びに立体撮像装置
JP2017076051A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180821

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180821

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190718

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190729

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191029

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200213

R150 Certificate of patent or registration of utility model

Ref document number: 6663040

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250