CN107223330B - 一种深度信息获取方法、装置及图像采集设备 - Google Patents

一种深度信息获取方法、装置及图像采集设备 Download PDF

Info

Publication number
CN107223330B
CN107223330B CN201680002783.4A CN201680002783A CN107223330B CN 107223330 B CN107223330 B CN 107223330B CN 201680002783 A CN201680002783 A CN 201680002783A CN 107223330 B CN107223330 B CN 107223330B
Authority
CN
China
Prior art keywords
image
offset
camera
lens
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680002783.4A
Other languages
English (en)
Other versions
CN107223330A (zh
Inventor
王君
徐荣跃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN107223330A publication Critical patent/CN107223330A/zh
Application granted granted Critical
Publication of CN107223330B publication Critical patent/CN107223330B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种深度信息获取方法、装置及图像采集设备，其中，图像采集设备包括第一摄像头和第二摄像头，深度信息获取装置在检测到抖动时，可以获取第一摄像头和第二摄像头各自采集的图像(S201)，并检测两图像中目标拍摄物的初始距离(S202)，然后使用第一图像与第二图像的偏移差值对初始距离进行修正(S204)，并使用修正后的初始距离确定目标拍摄物的深度(S205)。两个摄像头可以均具备OIS功能，也可以一个摄像头具备OIS功能，在进行OIS时，深度信息获取装置会修正两个摄像头各自获取的图像中同一拍摄物的距离，使得最终得到的深度信息较为精确，从而能够精确快速的实现对拍摄物的对焦。

Description

一种深度信息获取方法、装置及图像采集设备
技术领域
本发明涉及电子技术领域，具体涉及一种深度信息获取方法、装置图像采集设备。
背景技术
在电子技术领域中，深度信息是指图像采集设备中摄像头模组的镜头(Lens)与拍摄物体之间垂直距离的相关信息。在获取到深度信息之后，摄像头模组就可以根据深度信息控制lens移动，从而实现对拍摄物体的对焦，因此，对焦的精度取决于深度信息获取的准确度。光学防抖(Optical Image Stabilization，OIS)是一种依靠特殊镜头配合感光元件在最大程度上降低操作者在使用过程中由于抖动造成影像不稳定的技术，主要是通过移动lens来实现OIS。
目前，人们对摄像头拍摄的图像质量的要求越来越高，为了获取更高的图像质量，多摄像头模组应运而生。图像采集设备在使用多摄像多模组拍摄时，最终会将每个摄像头模组得到的拍摄图像合成一张图像，从而可以提高拍摄图像的质量。现有技术中，多摄像头模组的图像采集设备的每个摄像头模组lens的焦距可能存在细微差异，所以图像采集设备在进行OIS时，在同样的抖动下，每个摄像头模组lens的偏移就会不一致，从而会导致图像采集设备最终获取到的深度信息不准确，使得图像采集设备在对焦过程中的精度较低，且速度较慢。
发明内容
本发明实施例公开了一种深度信息获取方法、装置及图像采集设备，可以在多摄像头模组进行OIS时精确获取深度信息，从而能够精确快速的实现对焦。
本发明实施例第一方面公开了一种深度信息获取方法，应用于图像采集设备，该图像采集设备包括第一摄像头和第二摄像头，该方法可以包括：
深度信息获取装置在检测到第一摄像头和第二摄像头抖动时，可以获取第一摄像头采集的目标拍摄物的第一图像以及第二摄像头同时采集的该目标拍摄物的第二图像，然后可以检测该目标拍摄物在第一图像和第二图像中的初始距离，确定第一图像与第二图像的偏移差值，再使用该偏移差值对该初始距离进行修正，最后根据修正后的初始距离确定该目标拍摄物的深度。
可见，如果第一摄像头和第二摄像头均具备OIS功能，或者其中一个摄像头具备OIS功能，在进行OIS时，深度信息获取装置会对两个摄像头分别获取到的两张图像中同一拍摄物之间的距离进行修正，使得图像采集设备最终获取到该物体的深度较为精确，从而提高摄像头对焦的精度。
可选的，第一摄像头包括第一镜头，且第二摄像头包括有第二镜头，那么深度信息获取装置确定第一图像与第二图像的偏移差值的具体方式可以为：在检测到第一摄像头和第二摄像头抖动时，可以通过摄像头中的霍尔传感器获取第一镜头的第一偏移和第二镜头的第二偏移，并根据第一偏移和第二偏移分别确定第一图像的偏移量和第二图像的偏移量，最终得到第一图像的偏移量与第二图像的偏移量的偏移差值。在实际应用中，镜头偏移并不为图像的实际偏移，由镜头偏移与图像偏移的关系来确定抖动时图像的实际偏移量，这样能够使得最终得到的目标拍摄物的深度更加精确。
可选的，图像采集设备为双摄像头图像采集设备。
可选的，图像采集设备中，如果两个摄像头均具备OIS功能，在抖动时第一图像的偏移量和第二图像的偏移量均不为0；如果两个摄像头中只有一个摄像头具备OIS功能，在抖动时不具备OIS功能的摄像头采集到的图像的偏移量可视为0。
可选的，当图像采集设备包括三个或三个以上的摄像头时，深度信息获取装置同样也可以通过上述方式获取到目标拍摄物的深度，最终可以取平均深度作为目标拍摄物的实际深度。对于多摄像头来说，在进行OIS时，每个摄像头之间获取的到深度差异会更大，通过这种方式获取到的目标拍摄物的深度会更加精确，从而在对焦过程中，能够精确快速的实现对焦。
可选的，初始距离可以为第一图像中目标拍摄物相对于第二图像中该目标拍摄物的距离，那么该偏移差值就应该为第一图像的偏移量相对于第二图像的偏移量的差值。也就是说，初始距离与偏移差值均为矢量，偏移差值的计算方式需要与初始距离的计算方式相对应。
可选的，在根据修正后的初始距离确定目标拍摄物的深度之后，深度信息获取装置还可以在接收到针对该目标拍摄物的对焦指令时，响应该对焦指令，获取该深度对应的第一镜头的第一移动距离，并获取该深度对应的第二镜头的第二移动距离，然后根据该第一移动距离确定第一镜头的对焦位置，并根据第二移动距离确定第二镜头的对焦位置，最后控制第一镜头和第二镜头分别移动至各自对应的对焦位置处。
可见，在获取到目标拍摄物的深度后，当需要对目标拍摄物进行对焦时，深度信息获取装置就可以获取该深度对应的各个镜头需要移动的距离，并根据各自对应的移动距离确定各个镜头的对焦位置，然后将各个镜头分别移动至各自对应的对焦位置处，从而能够精确快速的实现对目标拍摄物的对焦。
本发明实施例第二方面公开了一种深度信息获取装置，应用于图像采集设备，该图像采集设备包括第一摄像头和第二摄像头，那么该深度信息获取装置可以包括获取单元、检测单元、第一确定单元、修正单元以及第二确定单元，其中：获取单元在检测到第一摄像头和第二摄像头抖动时，获取第一摄像头采集的目标拍摄物的第一图像以及第二摄像头同时采集的该目标拍摄物的第二图像，以使检测单元检测该目标拍摄物在第一图像和第二图像中的初始距离，同时第一确定单元会确定第一图像与第二图像的偏移差值，然后修正单元使用该偏移差值对该初始距离进行修正，而第二确定单元会根据修正后的初始距离确定目标拍摄物的深度。
可见，如果第一摄像头和第二摄像头均具备OIS功能，或者其中一个摄像头具备OIS功能，在进行OIS时，深度信息获取装置会对两个摄像头分别获取到的两张图像中同一拍摄物之间的距离进行修正，使得图像采集设备最终获取到该物体的深度较为精确，从而提高摄像头对焦的精度。
可选的，第一摄像头包括第一镜头，且第二摄像头包括有第二镜头，那么第一确定单元可以包括获取子单元以及确定子单元，其中：
获取子单元在深度信息获取装置检测到第一摄像头和第二摄像头抖动时，可以通过摄像头中的霍尔传感器获取第一镜头的第一偏移和第二镜头的第二偏移，那么确定子单元就可以根据第一偏移和第二偏移分别确定第一图像的偏移量和第二图像的偏移量，最终得到第一图像的偏移量与第二图像的偏移量的偏移差值。
在实际应用中，镜头偏移并不为图像的实际偏移，由镜头偏移与图像偏移的关系来确定抖动时图像的实际偏移量，这样能够使得最终得到的目标拍摄物的深度更加精确。
可选的，该深度信息获取装置还可以包括接收单元以及控制单元，其中：
接收单元接收到针对该目标拍摄物的对焦指令时，可以触发上述获取单元响应该对焦指令，获取该深度对应的第一镜头的第一移动距离，并获取该深度对应的第二镜头的第二移动距离，且上述第二确定单元会根据该第一移动距离确定第一镜头的对焦位置，并根据第二移动距离确定第二镜头的对焦位置，最后控制单元再控制第一镜头和第二镜头分别移动至各自对应的对焦位置处。
可见，在获取到目标拍摄物的深度后，当需要对目标拍摄物进行对焦时，深度信息获取装置就可以获取该深度对应的各个镜头需要移动的距离，并根据各自对应的移动距离确定各个镜头的对焦位置，然后将各个镜头分别移动至各自对应的对焦位置处，从而能够精确快速的实现对目标拍摄物的对焦。
本发明实施例第三方面公开了一种图像采集设备，包括第一摄像头、第二摄像头、处理器以及接收器，其中：第一摄像头用于在图像采集设备检测到第一摄像头和第二摄像头抖动时，采集目标拍摄物的第一图像，第二摄像头用于在图像采集设备检测到第一摄像头和第二摄像头抖动时，与第一摄像头同时采集该目标拍摄物第二图像，而处理器主要用于执行上述深度信息获取装置中获取单元、检测单元、修正单元、各确定单元以及控制单元所执行的操作，接收器主要用于接收针对目标拍摄物的对焦指令，从而处理器就可以响应该对焦指令完成对目标拍摄物的对焦。
实施本发明实施例，具有如下有益效果：
本发明实施例中，深度信息获取装置在检测到摄像头抖动时，可以获取第一摄像头和第二摄像头各自采集的图像，并检测目标拍摄物在两图像中的初始距离，然后使用第一图像与第二图像的偏移差值对该初始距离进行修正，最后根据修正后的初始距离代入深度计算公式，从而确定出目标拍摄物的深度。实施本发明实施例，深度信息获取装置可以在两个摄像头可以均具备OIS功能或者其中一个摄像头具备OIS功能的情况下，对两个摄像头各自获取的图像中同一拍摄物的距离进行修正，使得最终根据修正后的距离得到该拍摄物的深度信息较为精确，从而能够精确快速的实现对拍摄物的对焦。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种摄像头模组的结构示意图；
图2是本发明实施例公开的一种深度信息获取方法的流程示意图；
图3是本发明实施例公开的双摄像头拍摄的场景示意图；
图4是本发明实施例公开的另一种深度信息获取方法的流程示意图；
图5是本发明实施例公开的摄像头在进行OIS时镜头移动的场景示意图；
图6是本发明实施例公开的镜头的焦距标定方法的示意图；
图7是本发明实施例公开的一种深度信息获取装置的结构示意图；
图8是本发明实施例公开的另一种深度信息获取装置的结构示意图；
图9是本发明实施例公开的一种图像采集设备的结构示意图。
具体实施方式
下面将结合附图，对本发明的实施例进行描述。
本发明实施例公开了一种深度信息获取方法、装置及图像采集设备，能够在多摄像头模组进行OIS时精确获取深度信息，从而能够精确快速的实现对焦。以下分别进行详细说明。
为了更好的理解本发明实施例公开的一种深度信息获取方法、装置及图像采集设备，下面先对本发明实施例适用的摄像头模组的结构进行描述。请参阅图1，图1是本发明实施例公开的一种摄像头模组的结构示意图。在图1所示的结构中，摄像头模组包括①保护膜、②镜头组，③对焦马达、④滤光片以及⑤感光元件。其中，①保护膜用于包含镜头组；②镜头组通常由多个镜片组成，起成像作用，通常情况下，镜头组具备有OIS功能，那么在有抖动的情况下，镜头组的镜片(本发明实施例统一称为镜头，也称为lens)会通过左右移动来得到较为清晰的图像；③对焦马达主要用于带动lens移动以辅助对焦；④滤光片主要用于滤除红外线，使得最后呈现的图像颜色差异较小；⑤感光元件主要用于将②的成像转换成电子图像，感光元件的位置是固定的。对于具有多摄像头模组的图像采集设备来说，每个摄像头对应的感光元件之间可以视为在同一平面上。图1所示的摄像头模组可以应用在智能手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、移动互联网设备(Mobile Internet Device，MID)、数码相机等具备拍照、摄像功能的图像采集设备中。当图像采集设备中包括多个摄像头模组时，多个摄像头模组并排设置在图像采集设备中，且多个摄像头模组可以都具备OIS功能，也可以只有一个摄像头具备OIS功能，本发明实施例不做限定。
通过图1所示的摄像头模组，图像采集设备在采集到图像后，可以计算出图像中各个拍摄物的深度信息，当需要对某一拍摄物进行对焦时，图像采集设备就可以根据该拍摄物的深度对该拍摄物进行对焦。当图像采集设备包括多个摄像头模组时，多个摄像头模组采集到的图像最终会合成一张图像，使得拍摄出的图像清晰度更高、更加满足用户的拍摄需求。需要说明的是，本方案是在多摄像头进行OIS的基础上提出的。
基于图1所示的摄像头模组，本发明实施例公开了一种深度信息获取方法。请参阅图2，图2是本发明实施例公开的一种深度信息获取方法的流程示意图。其中，图2所描述的方法可以应用于图像采集设备，该图像采集设备包括有第一摄像头和第二摄像头。如图2所示，该深度信息获取方法可以包括以下步骤：
S201、深度信息获取装置在检测到第一摄像头和第二摄像头抖动时，获取第一摄像头采集的目标拍摄物的第一图像以及第二摄像头同时采集的目标拍摄物的第二图像。
本发明实施例中，当图像采集设备进入图像预览界面时，第一摄像头和第二摄像头会实时采集各自视角范围内的图像。一般情况下，第一摄像头和第二摄像头都是同时抖动的，因此，深度信息获取装置在检测到第一摄像头和第二摄像头抖动(具体可以是使用陀螺仪检测是否有抖动)时，第一摄像头和第二摄像头会同时对当前环境采集图像，分别得到第一摄像头的第一图像和第二摄像头的第二图像，那么深度信息获取装置从而就会获取到第一图像和第二图像。其中，第一图像和第二图像都包括有目标拍摄物，第一图像和第二图像是由第一摄像头和第二摄像头的感光元件将摄像头的镜头的成像转换成的电子图像。其中，目标拍摄物为第一图像和第二图像中都存在的任意一个拍摄物，如人脸、建筑物、动物等，本发明实施例不做限定。
本发明实施例中，第一摄像头包括第一镜头，第二摄像头包括第二镜头，深度信息获取装置在检测到第一摄像头和第二摄像头抖动时，在获取第一图像和第二图像的同时，还会获取第一镜头的移动距离af_offset1，以及第二镜头的移动距离af_offset2。
具体的，af_offset1为第一镜头的当前位置与第一镜头的第一起始位置在三维坐标系的Z轴上的标量距离，即第一镜头在采集第一图像时的当前位置相对于第一镜头的第一起始位置移动的距离；af_offset2为第二镜头的当前位置与第二镜头的第二起始位置在三维坐标系的Z轴上的标量距离，即第二镜头在采集第二图像时的当前位置相对于第二镜头的第二起始位置移动的距离。其中，第一起始位置主要是指第一镜头与第一摄像头的感光元件之间的垂直距离为第一镜头的一倍焦距时第一镜头的位置；那么第二起始位置主要是指第二镜头与第二摄像头的感光元件之间的垂直距离为第二镜头的一倍焦距时第二镜头的位置。第一镜头与第一摄像头的感光元件之间的最小距离一般是第一镜头一倍焦距的距离，第二镜头与第二摄像头的感光元件之间的最小距离同样也是第二镜头一倍焦距的距离。
S202、深度信息获取装置检测该目标拍摄物在第一图像和第二图像中的初始距离。
请一并参阅图3，图3是本发明实施例公开的双摄像头拍摄的场景示意图。在图3中，深度信息获取装置可以以摄像头的感光元件所在的平面为XY平面、摄像头的镜头与感光元件之间垂直的方向为Z轴，建立三维坐标系，三维坐标系原点的位置本发明实施例不做限定。因此，当深度信息获取装置获取到第一镜头拍摄的第一图像和第二镜头拍摄的第二图像(如图3中的图(a)所示)时，可以将第一图像和第二图像重叠，然后映射在三维坐标系的XY平面上(如图3中的图(b)所示)。
进一步的，当第一图像和第二图像中都存在目标拍摄物时，深度信息获取装置可以检测第一图像中该目标拍摄物与第二图像中该目标拍摄物之间的初始距离，该初始距离通常为矢量距离，用d0表示，具体是第一图像与第二图像重叠之后映射在XY平面上，深度信息获取装置获取两图像中目标拍摄物之间的坐标距离(即图3中图(b)所示的第一图像和第二图像中两个黑点之间的距离d0)。
具体的，初始距离d0可以是深度信息获取装置在将两图像重叠并映射到三维坐标系的XY平面上后，获取的这两个图像中目标拍摄物的同一特征像素点的坐标之间的矢量距离；也可以是在该XY平面上，深度信息获取装置在第一图像中取多个特征像素点，并针对每一个特征像素点，在第二图像中选取与该特征像素点具有相同特征的像素点，并计算两像素点的坐标之间的矢量距离，最后将多组具有相同特征的像素点的矢量距离的平均值作为第一图像和第二图像中目标拍摄物之间的初始距离d0，本发明实施例不做限定。
本发明实施例中，深度信息获取装置检测目标拍摄物在第一图像和第二图像中的初始距离的具体方式可以为：
检测第一图像中目标拍摄物与第二图像中该目标拍摄物映射在三维坐标系的XY平面上的初始距离d0。在图3建立的三维坐标系的XY平面上，深度信息获取装置首先可以将第一图像和第二图像重叠，然后在第一图像的目标拍摄物中选取一个特征像素点P1，假设坐标为(P1x,P1y)，并在第二图像的目标拍摄物中选取与该特征像素点具有相同特征的像素点P2，假设坐标为(P2x,P2y)。深度信息获取装置从而可以根据P1和P2的坐标计算出这两个像素点的初始矢量距离d0，假设为(d0x,d0y)，那么d0x既可以为P1x-P2x，也可以为P2x-P1x。当d0x＝P1x-P2x时，d0y＝P1y-P2y；当d0x＝P2x-P1x时，d0y＝P2y-P1y，本发明实施例不做限定。
可选的，深度信息获取装置还可以以第一摄像头的感光元件中第一图像的中心点建立一个三维坐标系，并以第二摄像头的感光元件中第二图像的中心点建立另一个三维坐标系，然后分别得到第一图像和第二图像中目标拍摄物同一特征像素点在这两个坐标系中的坐标，最后计算该目标拍摄物在第一图像和第二图像中的坐标之间的矢量距离。其中，这两个坐标系的单位距离一致，XYZ轴的方向一致，仅仅是坐标原点不同。
需要说明的是，深度信息获取装置可以分别针对两个摄像头各自建立一个三维坐标系，还可以只建立一个三维坐标系，本发明实施例不做限定。为了方便描述，本文中以建立一个三维坐标系进行说明，本发明实施例在此不再赘述。
S203、深度信息获取装置确定第一图像与第二图像的偏移差值。
本发明实施例中，第一图像与第二图像的偏移差值可以理解为：第一图像的偏移量与第二图像的偏移量的差值。具体的：深度信息获取装置在获取到第一图像和第二图像后，可以分别确定其在三维坐标系中的XY平面的坐标位置，同时获取预先记录的摄像头未抖动时第一摄像头采集的第三图像的坐标位置以及第二摄像头采集的第四图像的坐标位置，分别计算第一图像的坐标位置相对于第三图像的坐标位置的坐标偏移，假设为d1，以及第二图像的坐标位置相对于第四图像的坐标位置的坐标偏移，假设为d2，d1与d2的差值即为第一图像与第二图像的偏移差值。其中，d1、d2以及偏移差值都为矢量。
在实际应用中，偏移量d1的取值一般为第一图像相对于第一镜头在第一起始位置采集的图像的矢量偏移，偏移量d2的取值一般为第二图像相对于第二镜头在第二起始位置采集的图像的矢量偏移。
具体的，深度信息获取装置会预先记录第一镜头在其一倍焦距处(即第一起始位置)采集的图像映射在三维坐标系的XY平面上的坐标(具体可以是记录该图像中各个像素点的坐标位置)。那么当第一摄像头在进行OIS时，第一镜头会在该三维坐标系的XY平面上移动，所以第一摄像头采集的第一图像相对于在第一起始位置处采集的图像在XY平面上会有所偏移。假设第一镜头在第一起始位置处采集的图像中某一位置的像素点的坐标为(q1x,q1y)，深度信息获取装置然后从第一图像中选取与第一起始位置处采集的图像的该像素点处于的同一位置的像素点，假设其坐标为(q'1x,q'1y)，那么深度信息获取装置就可以通过比较两张图像中这两个像素点的坐标得到第一图像的偏移量d1，即为：(d1x＝q'1x-q1x,d1y＝q'1y-q1y)。
同理，可得第二图像的偏移量d2，即为：(d2x＝q'2x-q2x,d2y＝q'2y-q2y)。
可以理解的是，如果初始距离d0是第一图像中目标拍摄物的特征像素点的坐标减去第二图像中该目标拍摄物的同一特征像素点的坐标，即d0为(P1x-P2x,P1y-P2y)，那么该偏移差值即为d1-d2；相反，如果初始距离d0是第二图像中目标拍摄物的特征像素点的坐标减去第一图像中该目标拍摄物的同一特征像素点的坐标，即d0为(P2x-P1x,P2y-P1y)，那么该偏移差值即为d2-d1，本发明实施例不做限定。也即是说，偏移差值的计算方法与d0的计算方法需要一致。
需要说明的是，初始距离可以为第一图像中目标拍摄物相对于第二图像中该目标拍摄物的矢量距离，那么偏移差值即为第一图像的偏移量相对于第二图像的偏移量的偏移差值；初始距离还可以为第二图像中目标拍摄物相对于第一图像中该目标拍摄物的矢量距离，那么偏移差值即为第二图像的偏移量相对于第一图像的偏移量的偏移差值，本发明实施例不做限定。
S204、深度信息获取装置使用该偏移差值对该初始距离进行修正。
本发明实施例中，深度信息获取装置在确定出第一图像和第二图像的偏移差值后，可以使用该偏移差值对d0进行修正，得到修正距离d0'，即为(d0x',d0y')。具体的，深度信息获取装置对d0进行修正的具体方式为：d0'＝d0-(d1-d2)，也即是说，d0x'＝d0x-(d1x-d2x)，d0y'＝d0y-(d1y-d2y)。
S205、深度信息获取装置根据修正后的该初始距离确定目标拍摄物的深度。
需要说明的是，但是如果发生了抖动，摄像头在进行光学防抖时，镜头就会在XY平面上发生偏移，对应采集到的图像之间的距离也会有所变化，这样
本发明实施例中，在不进行光学防抖时，第一摄像头和第二摄像头分别采集到的图像中，同一拍摄物在两张图像中同样会存在一定的距离，但此时镜头由于没有在XY平面上偏移，所以此时根据深度计算公式计算出的各拍摄物的深度是精确的。但是由于第一镜头和第二镜头的焦距存在细微差异，所以当发生抖动时，第一摄像头和第二摄像头中任意一个摄像头就会进行光学防抖，第一镜头和第二镜头各自相对于其对应的起始位置在XY平面上的偏移也会存在差异。假设第一摄像头和第二摄像头在采集包括目标拍摄物的图像时，第一镜头和第二镜头之间的实际距离为D0'(如图3所示)，由于在进行光学防抖时，第一镜头和第二镜头在XY平面上各自的偏移的差异较小，深度信息装置一般不能直接获取到两镜头之间的实际距离。因此，现有技术中一般在计算拍摄物的深度时，一般都直接使用第一起始位置与第二起始位置之间的矢量距离作为第一镜头与第二镜头之间的实际矢量距离，从而导致最终得到的深度信息并不准确，甚至与实际深度信息相差较大。
本发明实施例中，由于镜头的焦距一般是已知的，所以深度信息获取装置一般可以直接获取到第一起始位置与第二起始位置的矢量距离D0，在XY平面上可以表示为：(D0x,D0y)。因此，深度信息获取装置就可以使用修正距离d0'和D0来计算目标拍摄物的深度，从而使得最终获取到深度信息比较精确。
需要说明的是，D0既可以为第一起始位置在XY平面上的坐标减去第二起始位置在该XY平面上的坐标，也可以为第二起始位置在XY平面上的坐标减去第一起始位置在该XY平面上的坐标，但D0的计算方法也需要与d0的计算方法一致，本发明实施例在此不再赘述。
本发明实施例中，深度信息获取装置在获取到第一起始位置与第二起始位置的矢量距离D0、修正距离d0'以及af_offset1、af_offset2后，就可以根据深度计算公式计算出目标拍摄物的深度。
可以理解的是，多摄像头模组的图像采集设备在进行拍摄或者OIS时，每个摄像头的镜头与感光元件之间的距离需要相等。因此，深度信息获取装置既可以根据第一摄像头的参数计算该目标拍摄物的实际深度，也可以根据第二摄像头的参数计算出该目标拍摄物的实际深度，本发明实施例不做限定。
也即是说，图像采集设备必须保持(f1+af_offset1)与(f2+af_offset2)相等，其中，f1为第一镜头的焦距，f2为第二镜头的焦距，那么深度信息获取装置在对d0进行修正后，最终获取的该目标拍摄物的深度，用Depth表示，既可以为
Figure BDA0001248798030000071
也可以为
Figure BDA0001248798030000072
具体实现中，深度信息装置在对初始距离d0进行修正后，可以使用深度计算公式计算第一图像中目标拍摄物的深度和第二图像中目标拍摄物的深度。其中，
Figure BDA0001248798030000073
Figure BDA0001248798030000074
可选的，如果第一摄像头和第二摄像头均具备OIS功能，那么图像采集设备在进行OIS时，第一镜头和第二镜头在XY平面上会相对于各自的起始位置存在偏移，从而第一图像的偏移量d1和第二图像的偏移量d2均不为零。如果第一摄像头和第二摄像头中只有一个摄像头具备OIS功能(假设为第一摄像头)，那么图像采集设备在进行OIS时，就只有第一镜头在XY平面上相对于其起始位置存在偏移，从而偏移量d1不为零，而不具备OIS功能的摄像头(第二摄像头)采集的第二图像的偏移量d2为零。也就是说，本方案不仅适用于两个摄像头同时具备OIS功能的图像采集设备，还适用于只有一个摄像头具备OIS功能的图像采集设备，本发明实施例不做限定。
可选的，本方案不仅可以适用于包括两个摄像头且存在至少一个摄像头具备OIS功能的图像采集设备，还可以适用于包括三个或三个以上的摄像头，且存在至少一个摄像头具备OIS功能的图像采集设备。其中，在多摄像头的图像采集设备中，以包括三个摄像头的图像采集设备为例，深度信息获取装置可以将三个摄像头两两组合，使用每个组合中的两个摄像头获取目标拍摄物的深度，从而会得到三个深度，那么深度信息获取装置最终可以将这三个深度的平均深度作为该目标拍摄物的实际深度，本发明实施例在此不再赘述。
可见，在图2所描述的方法中，深度信息获取装置在检测到摄像头抖动时，可以获取第一摄像头和第二摄像头各自采集的图像，并检测目标拍摄物在两图像中的初始距离，然后使用第一图像与第二图像的偏移差值对该初始距离进行修正，最后根据修正后的初始距离代入深度计算公式，从而确定出目标拍摄物的深度。实施本发明实施例，深度信息获取装置可以在两个摄像头可以均具备OIS功能或者其中一个摄像头具备OIS功能的情况下，对两个摄像头各自获取的图像中同一拍摄物的距离进行修正，使得最终根据修正后的距离得到该拍摄物的深度信息较为精确，从而能够精确快速的实现对拍摄物的对焦。
基于图1所示的摄像头模组，本发明实施例公开了另一种深度信息获取方法。请参阅图4，图4是本发明实施例公开的另一种深度信息获取方法的流程示意图。其中，图4所描述的方法可以应用于图像采集设备，该图像采集设备包括有第一摄像头和第二摄像头。如图4所示，该深度信息获取方法可以包括以下步骤：
S401、深度信息获取装置在检测到第一摄像头和第二摄像头抖动时，获取第一摄像头采集的目标拍摄物的第一图像以及第二摄像头同时采集的目标拍摄物的第二图像。
S402、深度信息获取装置检测该目标拍摄物在第一图像和第二图像中的初始距离。
S403、深度信息获取装置确定第一图像与第二图像的偏移差值。
本发明实施例中，深度信息获取装置确定第一图像与第二图像的偏移差值的具体方式可以包括以下步骤：
11)当检测到第一摄像头和第二摄像头抖动时，深度信息获取装置获取第一镜头的第一偏移以及第二镜头的第二偏移；
12)深度信息获取装置根据该第一偏移确定第一图像的偏移量，并根据该第二偏移确定第二图像的偏移量，得到第一图像的偏移量与第二图像的偏移量的偏移差值。
具体实现中，第一镜头的第一偏移可以理解为：第一镜头的当前位置与第一起始位置在该XY平面上的矢量偏移，记为L1，第二镜头的第二偏移可以理解为：第二镜头的当前位置与第二起始位置在该XY平面上的矢量偏移，记为L2。
请一并参阅图5，图5是本发明实施例公开的摄像头在进行OIS时镜头移动的场景示意图。如图5所示，虚线表示的镜头所在的位置为该镜头的起始位置，实线表示的镜头所在的位置为该镜头在进行OIS时，采集包括目标拍摄物的图像时该镜头所处的位置(即该镜头的当前位置)。在图5所建立的三维坐标系中，该镜头的当前位置在XY平面上的坐标减去该起始位置在XY平面上的坐标，即为该镜头相对于该起始位置的偏移L，该偏移为矢量；而该镜头的当前位置的Z轴坐标减去该起始位置的Z轴坐标，即为该镜头与该起始位置的移动距离af_offset。
举例来说，以第一镜头为例，图5所示的起始位置即为第一镜头的第一起始位置(假设坐标为(L1x,L1y,L1z))，第一镜头的当前位置(假设坐标为(L'1x,L'1y,L'1z))，那么第一镜头的当前位置与第一起始位置在Z轴上移动距离af_offset1，即为|L'1z-L1z|，为标量距离，而第一镜头的当前位置与第一起始位置在XY平面上的第一偏移L1，即为(L'1x-L1x,L'1y-L1y)，为矢量距离。
同理，可得第二镜头的移动距离af_offset2，即为|L'2z-L2z|，以及第二镜头的第二偏移L2，即为(L'2x-L2x,L'2y-L2y)。
需要说明的是，本文提到的镜头的移动距离和偏移，均是指镜头(凸透镜)光心之间的距离，本发明实施例不再赘述。
需要说明的是，深度信息获取装置主要通过霍尔传感器或者激光记录第一镜头和第二镜头在XY平面上的偏移的刻度，并记录偏移了多少刻度的同时，还可以记录偏移的方向，根据每个刻度对应的距离，以及镜头偏移的方向，得到镜头的偏移。
作为一种可行的实施方式，深度信息获取装置在获取第一镜头和第二镜头的偏移之前，还可以对霍尔刻度进行标定。具体方式可以为：
针对每个摄像头(焦距已知，记为f)来说，深度信息获取装置可以控制该摄像头lens的拍摄深度已知(记为S)的表格，并控制lens在该lens的主光轴上移动，首先将该lens移动一个霍尔刻度，并拍摄该表格，从而可以获取感光元件上表格的宽度(记为d)。根据成像公式
Figure BDA0001248798030000091
其中，s＝f+af_offset，为lens到感光元件之间的距离，从而可以获取到af_offset的值，即为一个霍尔刻度对应的距离。
本发明实施例中，深度信息获取装置在获取到L1和L2后，可以通过lens的偏移与图像的偏移的关系分别计算出第一图像的偏移量d1和第二图像的偏移量d2，计算方式具体为：
Figure BDA0001248798030000092
本发明实施例中，先获取第一镜头和第二镜头的偏移，并通过上述计算公式分别计算出第一图像和第二图像的偏移量，然后得到两张图像的偏移差值，从而对两张图像中目标拍摄物之间的距离的修正更加精确，提高深度信息的精度。
S404、深度信息获取装置使用该偏移差值对该初始距离进行修正。
S405、深度信息获取装置根据修正后的初始距离确定目标拍摄物的深度。
可选的，为了能够获取到更加准确的深度信息，深度信息获取装置还可以预先标定第一镜头和第二镜头的焦距。具体方式可以为：
请一并参阅图6，图6是本发明实施例公开的镜头的焦距标定方法的示意图。如图6所示，深度信息获取装置可以控制lens的拍摄深度已知(记为S)，且宽度已知(记为D)的表格，并控制lens在该lens的主光轴上移动，在将该lens移动到图像的对比度最高时的位置时拍摄该表格，从而可以获取感光元件上表格的宽度(记为d)。同时，深度信息获取装置可以获取到该lens相对于其起始位置处在Z轴上的移动距离af_offset，假设该lens此时与感光元件之间的距离为s，其中，s＝f+af_offset，那么根据凸透镜的成像公式以及图6中lens的成像原理，可以得到以下关系式：
Figure BDA0001248798030000101
根据上述关系式可以计算出该lens的焦距f，即为：
Figure BDA0001248798030000102
因此，为了提高深度获取的精度，深度信息获取装置还可以通过这种方式进一步计算出每个摄像头的焦距。
同时，在生产线中，也可以对两摄像头的焦距差异作管控：设置通过上述方式标定出的两个摄像头焦距之间的差值不大于预设焦距阈值，该预设焦距阈值可以为0.01，如果该差值大于预设焦距阈值，如
Figure BDA0001248798030000103
或者
Figure BDA0001248798030000104
则表明此次焦距标定失败，从而在产线更换摄像头或更换lens。如果通过上述方标定出的两个摄像头焦距之间的差值小于预设焦距阈值，那么就表明焦距标定成功，而深度信息获取装置就可以使用标定的焦距计算图像中目标拍摄物的深度。
S406、深度信息获取装置接收针对该目标拍摄物的对焦指令。
本发明实施例中，深度信息获取装置可以通过上述获取目标拍摄物的深度的方式获取到各个拍摄物的深度。以手机拍照为例，当用户需要对目标拍摄物进行对焦时，用户在手机图像的预览界面点击目标拍摄物后，深度信息获取装置就可以接收到针对该目标拍摄物的对焦指令。也就是说，深度信息获取装置接收的对焦指令可以是由用户触发的，也可以是通过图像分析得到的，本发明实施例不做限定。
举例来说，当手机启动人物模式拍照时，在获取到当前场景中各拍摄物的深度后，手机可以自动识别到目标拍摄物为人物，那么就可以生成针对当前场景中人物的对焦指令。如果用户希望对焦的拍摄物为背景中的某一植物时，那么用户可以在手机图像的预览界面点击该植物，那么深度信息获取装置就会接收到针对该植物的对焦指令。
S407、深度信息获取装置响应该对焦指令，获取该深度对应的第一镜头的第一移动距离，并获取该深度对应的第二镜头的第二移动距离。
本发明实施例中，深度信息获取装置在接收到对焦指令后，就可以根据获取到的该目标拍摄物的深度Depth，计算出第一镜头在Z轴上相对于第一起始位置的第一移动距离af_offset1'，同理可得第二镜头在Z轴上相对于第二起始位置的第二移动距离af_offset2'。
具体的，结合图6所示的示意图，目标拍摄物的深度Depth即为图6中的S，而f1+af_offset1'即为图6中的s，因此，在计算第一移动距离af_offset1'时，将深度Depth的表达式以及s的表达式代入成像公式中，即可计算出第一移动距离af_offset1'，具体为：
Figure BDA0001248798030000105
由于f2+af_offset2'即为图6中的s，那么同理可得第二移动距离af_offset2'为：
Figure BDA0001248798030000111
S408、深度信息获取装置根据该第一移动距离确定第一镜头的对焦位置，并根据第二移动距离确定第二镜头的对焦位置，控制第一镜头和第二镜头分别移动至各自对应的对焦位置处。
本发明实施例中，当需要对目标拍摄物进行对焦时，深度信息获取装置在确定出第一镜头的第一移动距离af_offset1'和第二镜头的第二移动距离af_offset2'后，就可以根据该第一移动距离af_offset1'确定出第一镜头对该目标拍摄为对焦的对焦位置，以及根据第二移动距离af_offset2'确定出第二镜头对该目标拍摄为对焦的对焦位置，从而分别控制第一镜头和第二镜头移动至各自对应的对焦位置处以实现对目标拍摄物的对焦。
进一步的，第一镜头和第二镜头在对目标拍摄物进行对焦时，深度信息获取装置还可以根据图像中其他拍摄物的深度与该目标拍摄物的深度之间的差异，对其他拍摄物进行虚化。具体为：深度信息获取装置利用虚化算法对除目标拍摄物(即对焦点)之外的其他拍摄物进行虚化，与目标拍摄物距离越远的拍摄物虚化的程度越高，而距离较近的拍摄物的虚化程度较低。
可见，在图4所描述的方法中，深度信息获取装置可以通过检测第一镜头相对于第一起始位置在XY平面上的第一偏移，和第二镜头相对于第二起始位置在XY平面上的第二偏移，分别确定出第一图像的偏移量和第二图像的偏移量，从而能够更加准确的对第一图像中目标拍摄物和第二图像中该目标拍摄物之间的初始距离进行修正，使得最终计算出的目标拍摄物的深度更加准确。进一步的，通过本发明实施例获取的深度，在对目标拍摄物进行对焦时，由于目标拍摄物的深度较为准确，所以能够提高目标拍摄物对焦的精度和速度，从而能够提高图像采集设备的成像质量。
基于图1所示的摄像头模组，本发明实施例公开了一种深度信息获取装置。请参阅图7，图7是本发明实施例公开的一种深度信息获取装置的结构示意图。其中，图7所描述的深度信息获取装置700可以应用于图像采集设备，该图像采集设备包括有第一摄像头和第二摄像头。如图7所示，该深度信息获取装置700可以包括以下单元：
获取单元701，用于在检测到第一摄像头和第二摄像头抖动时，获取第一摄像头采集的目标拍摄物的第一图像以及第二摄像头同时采集的目标拍摄物的第二图像。
检测单元702，用于检测该目标拍摄物在第一图像和第二图像中的初始距离。
第一确定单元703，用于确定第一图像与第二图像的偏移差值。
修正单元704，用于使用该偏移差值对该初始距离进行修正。
第二确定单元705，用于根据修正后的该初始距离确定目标拍摄物的深度。
可选的，该初始距离可以为第一图像中目标拍摄物相对于第二图像中该目标拍摄物的矢量距离，那么偏移差值即为第一图像的偏移量相对于第二图像的偏移量的偏移差值；初始距离还可以为第二图像中目标拍摄物相对于第一图像中该目标拍摄物的矢量距离，那么偏移差值即为第二图像的偏移量相对于第一图像的偏移量的偏移差值，本发明实施例不做限定。
可见，如果第一摄像头和第二摄像头均具备OIS功能，或者其中一个摄像头具备OIS功能，在进行OIS时，深度信息获取装置会对两个摄像头分别获取到的两张图像中同一拍摄物之间的距离进行修正，使得图像采集设备最终获取到该物体的深度较为精确，从而提高摄像头对焦的精度。
请一并参阅图8，图8是本发明实施例公开的另一种深度信息获取装置的结构示意图。其中，图8所描述的深度信息获取装置700是在图7所示的深度信息获取装置700的基础上优化得到的。如图8所示，该深度信息获取装置700还可以包括以下单元：
接收单元706，用于接收针对该目标拍摄物的对焦指令。
上述获取单元701，还用于响应该对焦指令，获取该深度对应的第一镜头的第一移动距离，并获取该深度对应的第二镜头的第二移动距离。
上述第二确定单元705，还用于根据该第一移动距离确定第一镜头的对焦位置，并根据第二移动距离确定第二镜头的对焦位置。
控制单元707，用于控制第一镜头和第二镜头分别移动至各自对应的对焦位置处。
本发明实施例中，在获取到目标拍摄物的深度后，当需要对目标拍摄物进行对焦时，深度信息获取装置700就可以获取该深度对应的各个镜头需要移动的距离，并根据各自对应的移动距离确定各个镜头的对焦位置，然后将各个镜头分别移动至该距离各自对应的对焦位置处，从而能够精确快速的实现对目标拍摄物的对焦。
作为一种可行的实施方式，第一确定单元703可以包括获取子单元7031以及确定子单元7032，其中：
获取子单元7031，用于在深度信息获取装置700检测到第一摄像头和第二摄像头抖动时，获取第一镜头的第一偏移以及第二镜头的第二偏移。
确定子单元7032，用于根据该第一偏移确定第一图像的偏移量，并根据该第二偏移确定第二图像的偏移量，得到第一图像的偏移量与第二图像的偏移量的偏移差值。
可见，在图7和图8所描述的深度信息获取装置中，深度信息获取装置在检测到摄像头抖动时，可以获取第一摄像头和第二摄像头各自采集的图像，并检测目标拍摄物在两图像中的初始距离，然后使用第一图像与第二图像的偏移差值对该初始距离进行修正，最后根据修正后的初始距离代入深度计算公式，从而确定出目标拍摄物的深度。实施本发明实施例，深度信息获取装置可以在两个摄像头可以均具备OIS功能或者其中一个摄像头具备OIS功能的情况下，对两个摄像头各自获取的图像中同一拍摄物的距离进行修正，使得最终根据修正后的距离得到的该拍摄物的深度信息较为精确，从而能够精确快速的实现对拍摄物的对焦。
基于图1所示的摄像头模组，本发明实施例公开了一种图像采集设备。请参阅图9，图9是本发明实施例公开的一种图像采集设备的结构示意图。其中，图9所描述的图像采集设备900可以包括：第一摄像头901、第二摄像头902、至少一个处理器903，如CPU，接收器904、发送器905、显示屏906以及通信总线907，其中：
上述发送器905，用于向外部设备发送如图像等各种数据信号。
上述显示屏906，用于显示第一摄像头901和第二摄像头902拍摄的图像，该显示屏可以为触控显示屏。
上述通信总线907，用于实现上述第一摄像头901、上述第二摄像头902、上述处理器903、上述接收器904、上述发送器905以及上述显示屏906这些组件之间的通信连接。其中：
上述第一摄像头901，用于在图像采集设备900检测到第一摄像头和第二摄像头抖动时，采集目标拍摄物的第一图像。
上述第二摄像头902，用于在图像采集设备900检测到第一摄像头和第二摄像头抖动时，与第一摄像头同时采集该目标拍摄物的第二图像。
上述处理器903，用于获取第一图像和第二图像，并检测该目标拍摄物在第一图像和第二图像中的初始距离。
上述处理器903，还用于确定该第一图像与第二图像的偏移差值，并使用该偏移差值对该初始距离进行修正。
上述处理器903，还用于根据修正后的该初始距离确定目标拍摄物的深度。
可选的，该初始距离可以为第一图像中目标拍摄物相对于第二图像中该目标拍摄物的矢量距离，那么偏移差值即为第一图像的偏移量相对于第二图像的偏移量的偏移差值；初始距离还可以为第二图像中目标拍摄物相对于第一图像中该目标拍摄物的矢量距离，那么偏移差值即为第二图像的偏移量相对于第一图像的偏移量的偏移差值，本发明实施例不做限定。
可见，如果第一摄像头和第二摄像头均具备OIS功能，或者其中一个摄像头具备OIS功能，在进行OIS时，图像采集设备900会对两个摄像头分别获取到的两张图像中同一拍摄物之间的距离进行修正，使得图像采集设备最终获取到该物体的深度较为精确，从而提高摄像头对焦的精度。
作为一种可行的实施方式，上述处理器903确定该第一图像与第二图像的偏移差值的具体方式可以为：
在检测到第一摄像头和第二摄像头抖动时，获取第一镜头的第一偏移以及第二镜头的第二偏移；
根据该第一偏移确定第一图像的偏移量，并根据该第二偏移确定第二图像的偏移量，得到第一图像的偏移量与第二图像的偏移量的偏移差值。
作为另一种可行的实施方式，上述接收器904，用于接收针对该目标拍摄物的对焦指令。
上述处理器903，还用于响应该对焦指令，获取该深度对应的第一镜头的第一移动距离，并获取该深度对应的第二镜头的第二移动距离。
上述处理器903，还用于根据该第一移动距离确定第一镜头的对焦位置，并根据第二移动距离确定第二镜头的对焦位置。
上述处理器903，还用控制第一镜头和第二镜头分别移动至各自对应的对焦位置处。
本发明实施例中，图像采集设备900在获取到目标拍摄物的深度后，当需要对目标拍摄物进行对焦时，就可以获取该深度对应的各个镜头需要移动的距离，并根据各自对应的移动距离确定各个镜头的对焦位置，然后将各个镜头分别移动至该距离各自对应的对焦位置处，从而能够精确快速的实现对目标拍摄物的对焦。
可见，在图9所描述的图像采集设备中，该图像采集设备可以包括第一摄像头、第二摄像头、处理器和接收器，在检测到第一摄像头和第二摄像头抖动时，第一摄像头和第二摄像头可以分别采集目标拍摄物的第一图像和第二图像，处理器可以获取第一图像和第二图像，并可以检测目标拍摄物在两图像中的初始距离，并使用第一图像与第二图像的偏移差值对该初始距离进行修正，最后根据修正后的初始距离代入深度计算公式，从而确定出目标拍摄物的深度。实施本发明实施例，图像采集设备可以在两个摄像头可以均具备OIS功能或者其中一个摄像头具备OIS功能的情况下，对两个摄像头各自获取的图像中同一拍摄物的距离进行修正，使得最终根据修正后的距离得到的该拍摄物的深度信息较为精确，从而能够精确快速的实现对拍摄物的对焦。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本发明实施例深度信息获取装置中的单元可以根据实际需要进行合并、划分和删减。
本发明实施例中所述单元，可以通过通用集成电路，例如CPU(CentralProcessing Unit，中央处理器)，或通过ASIC(Application Specific IntegratedCircuit，专用集成电路)来实现。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上对本发明实施例公开的一种深度信息获取方法、装置及图像采集设备进行了详细介绍，本文中应用了具体实例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种深度信息获取方法，应用于图像采集设备，所述图像采集设备包括第一摄像头和第二摄像头，其特征在于，所述方法包括：
当检测到所述第一摄像头和所述第二摄像头抖动时，获取所述第一摄像头采集的目标拍摄物的第一图像，以及所述第二摄像头同时采集的所述目标拍摄物的第二图像；
检测所述目标拍摄物在所述第一图像和所述第二图像中的初始距离，并确定所述第一图像与所述第二图像的偏移差值；
使用所述偏移差值对所述初始距离进行修正；
根据修正后的所述初始距离确定所述目标拍摄物的深度；
其中，所述初始距离为所述第一图像中所述目标拍摄物相对于所述第二图像中所述目标拍摄物的距离，所述偏移差值为所述第一图像的偏移量相对于所述第二图像的偏移量的差值。
2.根据权利要求1所述的方法，其特征在于，所述第一摄像头包括第一镜头，所述第二摄像头包括第二镜头，所述确定所述第一图像与所述第二图像的偏移差值，包括：
当检测到所述第一摄像头和所述第二摄像头抖动时，获取所述第一镜头的第一偏移以及所述第二镜头的第二偏移；
根据所述第一偏移确定所述第一图像的偏移量，并根据所述第二偏移确定所述第二图像的偏移量，得到所述第一图像的偏移量与所述第二图像的偏移量的偏移差值。
3.根据权利要求1～2任一项所述的方法，其特征在于，所述根据修正后的所述初始距离确定所述目标拍摄物的深度之后，所述方法还包括：
接收针对所述目标拍摄物的对焦指令；
响应所述对焦指令，获取所述深度对应的所述第一镜头的第一移动距离，并获取所述深度对应的所述第二镜头的第二移动距离；
根据所述第一移动距离确定所述第一镜头的对焦位置，并根据所述第二移动距离确定所述第二镜头的对焦位置；
控制所述第一镜头和所述第二镜头分别移动至各自对应的对焦位置处。
4.一种深度信息获取装置，应用于图像采集设备，所述图像采集设备包括第一摄像头和第二摄像头，其特征在于，所述装置包括：
获取单元，用于当检测到所述第一摄像头和所述第二摄像头抖动时，获取所述第一摄像头采集的目标拍摄物的第一图像，以及所述第二摄像头同时采集的所述目标拍摄物的第二图像；
检测单元，用于检测所述目标拍摄物在所述第一图像和所述第二图像中的初始距离；
第一确定单元，用于确定所述第一图像与所述第二图像的偏移差值；
修正单元，用于使用所述偏移差值对所述初始距离进行修正；
第二确定单元，用于根据修正后的所述初始距离确定所述目标拍摄物的深度；
其中，所述初始距离为所述第一图像中所述目标拍摄物相对于所述第二图像中所述目标拍摄物的距离，所述偏移差值为所述第一图像的偏移量相对于所述第二图像的偏移量的差值。
5.根据权利要求4所述的装置，其特征在于，所述第一摄像头包括第一镜头，所述第二摄像头包括第二镜头，所述第一确定单元包括获取子单元以及确定子单元，其中：
所述获取子单元，用于当检测到所述第一摄像头和所述第二摄像头抖动时，获取所述第一镜头的第一偏移以及所述第二镜头的第二偏移；
所述确定子单元，用于根据所述第一偏移确定所述第一图像的偏移量，并根据所述第二偏移确定所述第二图像的偏移量，得到所述第一图像的偏移量与所述第二图像的偏移量的偏移差值。
6.根据权利要求4～5任一项所述的装置，其特征在于，所述装置还包括：
接收单元，用于接收针对所述目标拍摄物的对焦指令；
所述获取单元，还用于响应所述对焦指令，获取所述深度对应的所述第一镜头的第一移动距离，并获取所述深度对应的所述第二镜头的第二移动距离；
所述第二确定单元，还用于根据所述第一移动距离确定所述第一镜头的对焦位置，并根据所述第二移动距离确定所述第二镜头的对焦位置；
控制单元，用于控制所述第一镜头和所述第二镜头分别移动至各自对应的对焦位置处。
7.一种图像采集设备，其特征在于，所述图像采集设备包括第一摄像头、第二摄像头以及处理器，其中：
所述第一摄像头，用于在检测到所述第一摄像头和所述第二摄像头抖动时，采集目标拍摄物的第一图像；
所述第二摄像头，用于在检测到所述第一摄像头和所述第二摄像头抖动时，同时采集所述目标拍摄物的第二图像；
所述处理器，用于获取所述第一图像和所述第二图像，并检测所述目标拍摄物在所述第一图像和所述第二图像中的初始距离；
所述处理器，还用于确定所述第一图像与所述第二图像的偏移差值，并使用所述偏移差值对所述初始距离进行修正；
所述处理器，还用于根据修正后的所述初始距离确定所述目标拍摄物的深度；
其中，所述初始距离为所述第一图像中所述目标拍摄物相对于所述第二图像中所述目标拍摄物的距离，所述偏移差值为所述第一图像的偏移量相对于所述第二图像的偏移量的差值。
8.根据权利要求7所述的图像采集设备，其特征在于，所述第一摄像头包括第一镜头，所述第二摄像头包括第二镜头，所述处理器确定所述第一图像与所述第二图像的偏移差值的具体方式为：
当检测到所述第一摄像头和所述第二摄像头抖动时，获取所述第一镜头的第一偏移以及所述第二镜头的第二偏移；
根据所述第一偏移确定所述第一图像的偏移量，并根据所述第二偏移确定所述第二图像的偏移量，得到所述第一图像的偏移量与所述第二图像的偏移量的偏移差值。
9.根据权利要求7～8任一项所述的图像采集设备，所述图像采集设备还包括：
接收器，用于接收针对所述目标拍摄物的对焦指令；
所述处理器，还用于响应所述对焦指令，获取所述深度对应的所述第一镜头的第一移动距离，并获取所述深度对应的所述第二镜头的第二移动距离；
所述处理器，还用于根据所述第一移动距离确定所述第一镜头的对焦位置，并根据所述第二移动距离确定所述第二镜头的对焦位置；
所述处理器，还用于控制所述第一镜头和所述第二镜头分别移动至各自对应的对焦位置处。
10.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质存储有计算机程序，所述计算机程序被硬件执行时，能够实现权利要求1至3任意一项所述的方法。
CN201680002783.4A 2016-01-12 2016-01-12 一种深度信息获取方法、装置及图像采集设备 Active CN107223330B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/070707 WO2017120771A1 (zh) 2016-01-12 2016-01-12 一种深度信息获取方法、装置及图像采集设备

Publications (2)

Publication Number Publication Date
CN107223330A CN107223330A (zh) 2017-09-29
CN107223330B true CN107223330B (zh) 2020-06-26

Family

ID=59310688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680002783.4A Active CN107223330B (zh) 2016-01-12 2016-01-12 一种深度信息获取方法、装置及图像采集设备

Country Status (6)

Country Link
US (1) US10506164B2 (zh)
EP (1) EP3389268B1 (zh)
JP (1) JP6663040B2 (zh)
KR (1) KR102143456B1 (zh)
CN (1) CN107223330B (zh)
WO (1) WO2017120771A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170358101A1 (en) * 2016-06-10 2017-12-14 Apple Inc. Optical Image Stabilization for Depth Sensing
CN109429004B (zh) * 2017-08-29 2021-06-04 中兴通讯股份有限公司 一种拍照方法、装置及移动终端
CN108154466B (zh) * 2017-12-19 2021-12-07 北京小米移动软件有限公司 图像处理方法及装置
US10313654B1 (en) * 2018-03-19 2019-06-04 Htc Corporation Image processing method, electronic device, and non-transitory computer readable storage medium
CN108769545A (zh) * 2018-06-12 2018-11-06 Oppo（重庆）智能科技有限公司 一种图像处理方法、图像处理装置及移动终端
CN108876739B (zh) * 2018-06-15 2020-11-24 Oppo广东移动通信有限公司 一种图像补偿方法、电子设备及计算机可读存储介质
CN108769528B (zh) * 2018-06-15 2020-01-10 Oppo广东移动通信有限公司 图像补偿方法和装置、计算机可读存储介质和电子设备
CN108737734B (zh) * 2018-06-15 2020-12-01 Oppo广东移动通信有限公司 图像补偿方法和装置、计算机可读存储介质和电子设备
CN108769529B (zh) * 2018-06-15 2021-01-15 Oppo广东移动通信有限公司 一种图像校正方法、电子设备及计算机可读存储介质
CN108737735B (zh) * 2018-06-15 2019-09-17 Oppo广东移动通信有限公司 图像校正方法、电子设备及计算机可读存储介质
CN109194945A (zh) * 2018-08-02 2019-01-11 维沃移动通信有限公司 一种图像处理方法及终端
CN110830707B (zh) * 2018-08-10 2022-01-14 华为技术有限公司 镜头控制方法、装置及终端
CN109714536B (zh) * 2019-01-23 2021-02-23 Oppo广东移动通信有限公司 图像校正方法、装置、电子设备及计算机可读存储介质
US11122248B1 (en) * 2020-07-20 2021-09-14 Black Sesame International Holding Limited Stereo vision with weakly aligned heterogeneous cameras
WO2022040940A1 (zh) * 2020-08-25 2022-03-03 深圳市大疆创新科技有限公司 标定方法、装置、可移动平台及存储介质
CN112489116A (zh) * 2020-12-07 2021-03-12 青岛科美创视智能科技有限公司 一种使用单相机估算目标距离的方法及系统
CN112950691A (zh) * 2021-02-10 2021-06-11 Oppo广东移动通信有限公司 测量深度信息的控制方法、装置、电子设备及存储介质
CN114147727B (zh) * 2022-02-07 2022-05-20 杭州灵西机器人智能科技有限公司 一种机器人位姿校正的方法、装置和系统
CN114554086B (zh) * 2022-02-10 2024-06-25 支付宝(杭州)信息技术有限公司 一种辅助拍摄方法、装置及电子设备

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7561789B2 (en) * 2006-06-29 2009-07-14 Eastman Kodak Company Autofocusing still and video images
EP2391142B1 (en) 2010-03-19 2013-12-25 FUJIFILM Corporation Imaging device, method and program, and recording medium using same
US20110261166A1 (en) 2010-04-21 2011-10-27 Eduardo Olazaran Real vision 3D, video and photo graphic system
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US9041791B2 (en) * 2011-02-01 2015-05-26 Roche Diagnostics Hematology, Inc. Fast auto-focus in imaging
JP5768684B2 (ja) * 2011-11-29 2015-08-26 富士通株式会社 ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
JP5948856B2 (ja) 2011-12-21 2016-07-06 ソニー株式会社 撮像装置とオートフォーカス方法並びにプログラム
TWI551113B (zh) * 2011-12-27 2016-09-21 鴻海精密工業股份有限公司 3d成像模組及3d成像方法
US20130258044A1 (en) * 2012-03-30 2013-10-03 Zetta Research And Development Llc - Forc Series Multi-lens camera
CN103246130B (zh) 2013-04-16 2016-01-20 广东欧珀移动通信有限公司 一种对焦方法及装置
US9210417B2 (en) * 2013-07-17 2015-12-08 Microsoft Technology Licensing, Llc Real-time registration of a stereo depth camera array
US9524580B2 (en) * 2014-01-06 2016-12-20 Oculus Vr, Llc Calibration of virtual reality systems
CN104811688B (zh) 2014-01-28 2017-09-01 聚晶半导体股份有限公司 图像获取装置及其图像形变检测方法
US9247117B2 (en) * 2014-04-07 2016-01-26 Pelican Imaging Corporation Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array
CN104093014A (zh) * 2014-07-21 2014-10-08 宇龙计算机通信科技(深圳)有限公司 图像处理方法和图像处理装置
CN104469086B (zh) 2014-12-19 2017-06-20 北京奇艺世纪科技有限公司 一种视频去抖动方法及装置

Also Published As

Publication number Publication date
US10506164B2 (en) 2019-12-10
EP3389268A1 (en) 2018-10-17
JP2019510234A (ja) 2019-04-11
EP3389268B1 (en) 2021-05-12
CN107223330A (zh) 2017-09-29
WO2017120771A1 (zh) 2017-07-20
KR20180101466A (ko) 2018-09-12
EP3389268A4 (en) 2018-12-19
US20190028646A1 (en) 2019-01-24
JP6663040B2 (ja) 2020-03-11
KR102143456B1 (ko) 2020-08-12

Similar Documents

Publication Publication Date Title
CN107223330B (zh) 一种深度信息获取方法、装置及图像采集设备
CN107948519B (zh) 图像处理方法、装置及设备
CN111147741B (zh) 基于对焦处理的防抖方法和装置、电子设备、存储介质
CN109194876B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
US10306165B2 (en) Image generating method and dual-lens device
CN107945105B (zh) 背景虚化处理方法、装置及设备
CN109712192B (zh) 摄像模组标定方法、装置、电子设备及计算机可读存储介质
JP4858263B2 (ja) ３次元計測装置
CN107113376A (zh) 一种图像处理方法、装置及摄像机
CN110708463B (zh) 对焦方法、装置、存储介质及电子设备
US20220180484A1 (en) Image processing method, electronic device, and computer-readable storage medium
CN109963080B (zh) 图像采集方法、装置、电子设备和计算机存储介质
CN111246100B (zh) 防抖参数的标定方法、装置和电子设备
CN109598764A (zh) 摄像头标定方法和装置、电子设备、计算机可读存储介质
CN109559352B (zh) 摄像头标定方法、装置、电子设备和计算机可读存储介质
CN108260360B (zh) 场景深度计算方法、装置及终端
CN109697737B (zh) 摄像头标定方法、装置、电子设备和计算机可读存储介质
CN109584311B (zh) 摄像头标定方法、装置、电子设备和计算机可读存储介质
CN110233969B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US20220174217A1 (en) Image processing method and device, electronic device, and computer-readable storage medium
CN109379521B (zh) 摄像头标定方法、装置、计算机设备和存储介质
JP2017063340A (ja) 像ブレ補正装置、撮像装置および制御方法
CN111246108A (zh) 霍尔传感器标定方法和装置、防抖方法和装置
JP7292145B2 (ja) 回転半径演算装置および回転半径演算方法
JP2020095071A (ja) 交換レンズおよび撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant