CN105578019A - 一种可获得深度信息的影像提取系统与对焦方法 - Google Patents

一种可获得深度信息的影像提取系统与对焦方法 Download PDF

Info

Publication number
CN105578019A
CN105578019A CN201410541781.5A CN201410541781A CN105578019A CN 105578019 A CN105578019 A CN 105578019A CN 201410541781 A CN201410541781 A CN 201410541781A CN 105578019 A CN105578019 A CN 105578019A
Authority
CN
China
Prior art keywords
image
depth map
extraction
scenery
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410541781.5A
Other languages
English (en)
Other versions
CN105578019B (zh
Inventor
陈昭宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lite On Technology Corp
Original Assignee
Lite On Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lite On Technology Corp filed Critical Lite On Technology Corp
Publication of CN105578019A publication Critical patent/CN105578019A/zh
Application granted granted Critical
Publication of CN105578019B publication Critical patent/CN105578019B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明公开了一种影像提取系统，包括第一影像提取模块、第二影像提取模块以及深度图处理与产生装置。第一影像提取模块具有第一镜头、第一光圈与第一影像传感器，以产生对应第一光波长范围的第一图像。第二影像提取模块具有第二镜头、第二光圈、第三光圈与第二影像传感器，产生对应第一光波长范围的第二图像与对应第二光波长范围的第三图像。深度图处理与产生装置根据景物于第一图像与第二图像所存在的视差而产生第一深度图，根据景物于第二图像与第三图像的清晰度(sharpness)/模糊度(blur)差异而产生第二深度图，以产生具有长范围的景物深度可解析范围并兼顾影像的精准度。

Description

一种可获得深度信息的影像提取系统与对焦方法
技术领域
本发明涉及一种影像提取系统，且特别涉及一种可获得深度信息的影像提取系统与对焦方法。
背景技术
目前公知的深度图(DEPTHMAP)产生方法有下列两种：1.利用视差，例如使用三维摄影机(3DCAMERA)或是阵列摄影机(ARRAYCAMERA)获得视差信息进而计算得到深度信息。2.利用具有多个光圈(multiaperture)的影像提取模块来获得两个波段(例如可见光(visiblelight)与红外光(IR)两波段)的影像，其每一个波段分别对应一个光圈，并根据两个图像的清晰度差异来获得深度信息，如美国专利公开号US2013/0033579所述。
在目前公知的深度图产生方法中，上述第一个方法受限于基线(Baseline)的长度与传感器大小，无法获得在近距离的景物(或拍摄场景中的物件)深度信息，而上述第二个方法则受限于图像的模糊度差异或是清晰度差异，使得无法获得较远距离的深度信息，同时随着景物与影像提取模块(摄影机)的距离或对焦点的距离的增加，模糊逐渐近似一定值。故两个图像的模糊差异近似不随距离改变，使得无法判断较远距离的物体的深度。
发明内容
本发明考虑此现有技术的两种系统的缺点，提出一种可以计算出长范围景物深度信息的影像提取模块与相对应的对焦方法，其可以产生长范围的景物深度检测范围(或称为可解析范围)并同时兼顾景物深度信息的精准度。如此一来，可以应用在需要更高深度图(DEPTHMAP)的实际应用，例如对焦系统，因为其深度图即是需要长范围及高精度的需求。
本发明实施例提供一种影像提取系统，包括第一影像提取模块、第二影像提取模块以及深度图处理与产生装置。第一影像提取模块具有第一镜头、第一光圈与第一影像传感器，其中第一镜头用以将景物成像于第一影像传感器，第一光圈用以限制第一光波长范围的进光量，第一影像传感器具有第一光波长检测范围，第一影像提取模块用以产生对应第一光波长范围的第一图像。第二影像提取模块具有第二镜头、第二光圈、第三光圈与第二影像传感器，其中第二镜头用以将景物成像于第二影像传感器，第二光圈用以限制第一光波长范围的进光量，第三光圈用以限制第二光波长范围的进光量，第二影像传感器具有第一光波长检测范围与第二光波长检测范围，第二影像提取模块用以产生对应第一光波长范围的第二图像、对应第二光波长范围的第三图像，第二影像提取模块的光轴与第一影像提取模块的光轴间存在一间距。深度图处理与产生装置根据景物于第一图像与第二图像所存在的视差而产生第一深度图，根据景物于第二图像与第三图像的清晰度(sharpness)/模糊度(blur)差异或比值(ratio)而产生第二深度图。
本发明实施例提供一种影像提取系统的对焦方法，影像提取系统包括第一影像提取模块以及第二影像提取模块，第一影像提取模块用以产生对应第一光波长范围的第一图像，第二影像提取模块用以产生对应第一光波长范围的第二图像与对应第二光波长范围的第三图像，所述对焦方法包括以下步骤。首先，根据景物于第一图像与第二图像所存在的视差而产生第一深度图，根据景物于第二图像与第三图像的清晰度(sharpness)/模糊度(blur)差异或比值(ratio)而产生第二深度图，并于第一深度图与第二深度图中寻找景物的深度信息。然后，在第一深度图与第二深度图的至少其中之一中获得景物的深度信息。
本发明实施例还提供一种影像提取系统的对焦方法，影像提取系统包括第一影像提取模块以及第二影像提取模块，第一影像提取模块用以产生对应第一光波长范围的第一图像，第二影像提取模块用以产生对应第一光波长范围的第二图像与对应第二光波长范围的第三图像，所述对焦方法包括以下步骤。首先，根据第一图像、第二图像与第三图像形成融合深度图，并获得景物于融合深度图中的深度信息。然后，利用融合深度图中的深度信息进行对焦。
综上所述，本发明实施例提供一种影像提取系统与对焦方法，根据第一图像与第二图像获得第一深度图，且根据第二图像与第三图像产生第二深度图，并根据第一深度图与第二深度图的选择或者直接利用融合深度图以产生长范围的景物深度检测范围并同时兼顾影像的精准度。
为使能更进一步了解本发明的特征及技术内容，请参阅以下有关本发明的详细说明与附图，但是此等说明与所附附图仅用来说明本发明，而非对本发明的权利范围作任何的限制。
附图说明
图1是本发明实施例提供的影像提取系统的功能方框图。
图2是本发明实施例提供的第一影像提取模块与第二影像提取模块的示意图。
图3是本发明实施例提供的影像提取系统的对焦方法的流程图。
图4是本发明另一实施例提供的影像提取系统的对焦方法的流程图。
图5是本发明另一实施例提供的影像提取系统的对焦方法的流程图。
图6是本发明另一实施例提供的影像提取系统的对焦方法的流程图。
其中，附图标记说明如下：
1：影像提取系统
11：第一影像提取模块
12：第二影像提取模块
13：深度图处理与产生装置
14：自动对焦驱动模块
131：第一深度图产生模块
132：第二深度图产生模块
133：深度图选择/融合模块
111：第一镜头
112：第一光圈
113：第一影像传感器
121：第二镜头
122：第二光圈
123：第三光圈
124：第二影像传感器
BL：基线
VR1、VR2：视角
Z：最近可解析距离
D1、D2：可解析范围
DM1：第一深度图
DM2：第二深度图
DF：远距离范围
S310、S320、S330、S315、S321、S322、S323、S610、S620：步骤流程
具体实施方式
〔影像提取系统的实施例〕
请参照图1，图1是本发明实施例提供的影像提取系统的功能方框图。影像提取系统1包括第一影像提取模块11、第二影像提取模块12、深度图处理与产生装置13以及自动对焦驱动模块14。第一影像提取模块11、第二影像提取模块12分别将影像信息送至深度图处理与产生装置13以供其进行影像的运算处理。深度图处理与产生装置13例如是一个微处理器、计算机或电脑，但本发明并不因此限定。自动对焦驱动模块14用以进行对焦的操作程序。在图1的实施例中，深度图处理与产生装置13包括第一深度图产生模块131、第二深度图产生模块132与深度图选择/融合模块133。
深度图处理与产生装置13的第一深度图产生模块131用以接收来自第一影像提取模块11的第一图像与第二影像提取模块12的第二图像，并据此生成第一深度图。第二深度图产生模块132用以接收来自第二影像提取模块12的第二图像与第三图像，并据此生成第二深度图。第一深度图产生模块131产生的第一深度图与第二深度图产生模块132产生的第二深度图被提供至深度图选择/融合模块133，以进行深度图的选择或融合。深度图选择/融合模块133可以执行深度图选择的功能或者是将深度图融合的功能。在其他实施例中，深度图选择/融合模块133可以替换单纯的为深度图选择模块或者是深度图融合模块。而自动对焦驱动模块14利用所选择的深度图或融合产生的深度图以进行对焦程序，所述对焦程序可以是由微处理器、计算机或电脑进行对焦的运算程序。进一步，关于第一影像提取模块11、第二影像提取模块12，以及深度图的产生、选择或融合，请参照后续的说明。
接着，请参照图2，图2是本发明实施例提供的第一影像提取模块与第二影像提取模块的示意图。第一影像提取模块11与第二影像提取模块12分别具有视角VR1、VR2。第二影像提取模块12的光轴与第一影像提取模块11的光轴间存在一间距BL，而第二影像提取模块12的光轴与第一影像提取模块11的光轴之间的连线也就是所谓的基线(Baseline)。第一影像提取模块11具有第一镜头111、第一光圈112与第一影像传感器113，其中第一镜头用111以将景物(或拍摄场景景物中的物件)成像于第一影像传感器113，第一光圈112用以限制第一光波长范围的进光量，第一影像传感器113具有第一光波长检测范围，第一影像提取模块11用以产生对应第一光波长范围的第一图像。所述第一光波长范围例如是可见光波长的范围，而所述第一图像在图2中是以影像1(RGB影像)表示。
第二影像提取模块12具有第二镜头121、第二光圈122、第三光圈123与第二影像传感器124，其中第二镜头121用以将景物成像于第二影像传感器124，第二光圈122用以限制第一光波长范围的进光量，第三光圈123用以限制第二光波长范围的进光量，第二影像传感器124具有第一光波长检测范围与第二光波长检测范围。所述第一光波长范围例如是可见光波长的范围，而所述第二光波长范围例如是红外光波长的范围，第二影像提取模块12用以产生对应第一光波长范围的第二图像、对应第二光波长范围的第三图像。所述第二图像在图2中是以影像2(RGB影像)表示，而所述第三图像在图2中是以影像3(IR影像)表示。
进一步，依据第一影像提取模块11所获得的可见光的第一图像以及第二影像提取模块12所获得的可见光的第二图像间的视差获得第一深度图DM1的信息，但由于受到影像传感器尺寸与镜头焦长的关系，深度图具有最近可解析距离(小于该距离的景物无法获得深度信息)，该最近可解析距离可表示为Z＝bf/ad，其中b为基线长度，a为像素尺寸(pixelsize)，d为该影像提取系统所能获得的最大像素差，f为镜头焦长，由于该影像提取系统所能获得的最大像素差d是依据实际的影像提取系统而受限的，而产生最近可解析距离Z，如此产生了如图2的可解析范围D1。也就是说，第一深度图DM1的可解析范围是D1。
相对的，单就第二影像提取模块12而言，依据限制可见光的第二光圈122与限制红外光的第三光圈123分别获得的可见光的第二图像与红外光的第三图像，其第二深度图DM2是利用景物于第二图像与第三图像中清晰度/模糊度的差异/比值获得第二深度图的信息，同时受限景物于随着距离对焦距离或影像提取模块的增加清晰度/模糊度差异量/比值逐渐逼近定值，故该深度图具一可解析范围D2，如图2所示。也就是说，第二深度图DM2的可解析范围是D2，同时可利用设定镜头对焦位置来达到该可解析范围D2的延伸距离短于可解析范围D1，例如将该影像提取模块的镜头对焦距离设定小于可解析范围D2或是无限远。故可解析范围D2是解决可解析范围D1无法解析最近可解析距离Z以内的景物的深度信息的问题。然而，本实施例并不限制镜头对焦距离的设定，镜头对焦距离是可依据实际使用情况而设定。相对地，对具有景物深度信息于第二深度图DM2中可解析范围D2的第二影像提取模块12而言，第二影像提取模块12所产生的第二图像和第三图像并无法用以判断位于远距离范围DF的景物的距离。也就是说，依据第二深度图DM2并无法得知位于远距离范围DF的景物的距离。此时仅能依据第一深度图DM1以判断位于远距离范围DF的景物的深度信息。
更进一步，由图2可知，第一深度图DM1的可解析范围D1与第二深度图DM2的可解析范围D2具有一个重叠范围，也就是说位于此重叠范围内的景物(或拍摄场景中的物件)的相对于镜头的距离(或称为深度)可由形成第一图像与第二图像的两个影像提取模块获得，或者单由第二影像提取模块12获得。而与镜头(111、121)的距离小于第一深度图DM1的最近可解析距离Z的景物相对于镜头的距离则仅能由第二影像提取模块12产生的第二图像与第三图像来获得。由于第二图像与第三图像是对应不同的光波范围所产生，因此可依据两个图像的清晰度(sharpness)/模糊度(blur)差异或比值(ratio)而得知景物的深度信息。
简单的说，在获得第一图像、第二图像与第三图像之后，深度图处理与产生装置13根据景物于第一图像与第二图像所存在的视差而产生第一深度图DM1，且根据景物于第二图像与第三图像的清晰度(sharpness)/模糊度(blur)差异或比值(ratio)而产生第二深度图DM2。
在一实施例中，当深度图选择/融合模块133是深度图融合模块时，仅用以融合深度图，则此深度图融合模块用以接收第一深度图DM1与第二深度图DM2，并根据第一深度图DM1与第二深度图DM2产生一融合深度图。融合深度图可以例如是第一深度图DM1与第二深度图DM2以权重或比例方式进行加成而产生，但本发明并不限定产生融合深度图的方式。
在另一实施例中，当深度图处理与产生装置13的深度图选择/融合模块133是深度图选择模块时，则此深度图选择模是用以接收第一深度图DM1与第二深度图DM2，当景物的深度信息仅存在于第一深度图DM1或第二深度图DM2的其中之一时，则选择存在景物的深度信息的第一深度图DM1或存在景物的深度信息的第二深度图DM2。自动对焦驱动模块14用以接收深度图选择模块所选择的第一深度图DM1的景物深度信息或第二深度图DM2的景物深度信息，并利用所接收的第一深度图DM1的景物深度信息或第二深度图DM2的景物深度信息以驱动镜头进行自动对焦。也就是说，当景物位于小于深度图的最近可解析距离Z的范围或远距离范围DF的位置时，第二深度图DM2或第一深度图DM1分别用以获得景物的深度信息。另一方面，当景物的位置位于图2的重叠区域时，此时景物的深度信息皆存在于第一深度图DM1与第二深度图DM2，则可直接利用第一深度图DM1以进行对焦，或者根据准确度选择第一深度图DM1与第二深度图DM2的其中之一以进行对焦。一般而言，因为第一深度图DM1已足以用于对位于图2的重叠区域的景物进行对焦，若直接利用第一深度图DM1进行对焦，则可以简化对焦程序。而实际应用时，因为对同一个景物而言，第一深度图DM1与第二深度图DM2的景物的深度信息可能并不完全相同，此时则可以依据深度信息的准确度来判断要用第一深度图DM1或者利用第二深度图DM2进行对焦。所述准确度即是第一深度图DM1与第二深度图DM2中景物的深度信息的准确度，此准确度则是例如决定于实际应用的第一影像提取模块11、第二影像提取模块12的光学限制图像像素等硬件参数，同时准确度也与第一深度图产生模块131和第二深度图产生模块132对于图像内容进行运算的演算法的精确度有关，本发明也并不限定评估第一深度图DM1与第二深度图DM2的准确度的方式。
〔影像提取系统的对焦方法的实施例〕
请参照图3，图3是本发明实施例提供的影像提取系统的对焦方法的流程图。图3的影像提取系统的对焦方法可利用前一实施例的影像提取系统1来实现，其中影像提取系统1的深度图选择/融合模块133是深度图选择模块，以进行深度图选择的功能。首先，在步骤S310中，根据景物于第一图像与第二图像所存在的视差而产生第一深度图DM1，且根据景物于第二图像与第三图像的清晰度(sharpness)/模糊度差异(blur)或比值(ratio)而产生第二深度图DM2，并于第一深度图DM1与第二深度图DM2中寻找景物中的物件的深度信息。接着，在步骤S320中，在第一深度图DM1与第二深度图DM2的至少其中之一中获得景物的深度信息。然后，在步骤S330中，利用第一深度图DM1与第二深度图DM2的至少其中之一进行对焦。
接着，请参照图4，图4是本发明另一实施例提供的影像提取系统的对焦方法的流程图。在此实施例中，进一步叙述关于图3的步骤S320与步骤S330的可能实现方式。首先，如同图3的步骤S310，根据景物于第一图像与第二图像所存在的视差而产生第一深度图DM1，根据景物于第二图像与第三图像的清晰度/模糊度差异或比值而产生第二深度图DM2，并于第一深度图DM1与第二深度图DM2中寻找景物的深度信息。接着，在步骤S315中，判断景物的深度信息是否仅存在于第一深度图DM1与第二深度图DM2的其中之一。然后，当景物的深度信息是仅存在于第一深度图DM1与第二深度图DM2的其中之一时，进行步骤S321。也就是，当景物的深度不在图2的重叠区域时，进行步骤S321。在步骤S321中，利用存在景物的深度信息的第一深度图DM1或存在景物的深度信息的第二深度图DM2以进行对焦。当景物的深度信息是皆存在于第一深度图DM1与第二深度图DM2时，进行步骤S322，比较第一深度图DM1与第二深度图DM2中的景物的深度信息的准确度，并根据准确度选择深度信息以进行对焦。实际应用时步骤S322可以是利用准确度较高的深度信息进行对焦。
接着，请参照图5，图5是本发明另一实施例提供的影像提取系统的对焦方法的流程图。图5的流程图与图4的流程图大致相同，其差异仅在于将图4的步骤S322替换为步骤S323。当景物的深度信息是皆存在于第一深度图DM1与第二深度图DM2时，进行步骤S323，直接利用第一深度图DM1中的深度信息进行对焦。
接着，请参照图6，图6是本发明另一实施例提供的影像提取系统的对焦方法的流程图。图6的流程图也可用图1和图2的影像提取系统1实现，其中影像提取系统1的深度图选择/融合模块133是深度图融合模块，用以进行深度图融合的功能。首先，在步骤S610中，根据第一图像、第二图像与第三图像形成融合深度图，并获得景物于融合深度图中的深度信息。详细的说，在步骤S610的形成融合深度图的步骤中，根据景物于第一图像与第二图像所存在的视差而产生第一深度图DM1，根据景物于第二图像与第三图像的清晰度(sharpness)/模糊度(blur)差异或比值(ratio)而产生第二深度图DM2，并根据第一深度图DM2以及第二深度图DM1产生该融合深度图。接着，进行步骤S620，利用融合深度图中的深度信息进行对焦。
〔实施例的功效〕
综上所述，本发明实施例所提供的影像提取系统与对焦方法，根据第一图像与第二图像获得第一深度图，且根据第二图像与第三图像产生第二深度图，并根据第一深度图与第二深度图的选择或者直接利用融合深度图以产生长范围的景物深度检测范围并同时兼顾影像的精准度。更进一步，由于可以获得较广深度图范围(近距离到远距离)，使得所述深度图可用于快速对焦与重新对焦的功能，以提升影像提取系统的应用价值。
以上所述仅为本发明的实施例，其并非用以局限本发明的专利范围。

Claims (14)

1.一种影像提取系统，其特征在于，包括：
一第一影像提取模块，具有一第一镜头、一第一光圈与一第一影像传感器，其中该第一镜头用以将景物成像于该第一影像传感器，该第一光圈用以限制一第一光波长范围的进光量，该第一影像传感器具有一第一光波长检测范围，该第一影像提取模块用以产生对应该第一光波长范围的一第一图像；
一第二影像提取模块，具有一第二镜头、一第二光圈、一第三光圈与一第二影像传感器，其中该第二镜头用以将景物成像于该第二影像传感器，该第二光圈用以限制该第一光波长范围的进光量，该第三光圈用以限制一第二光波长范围的进光量，该第二影像传感器具有该第一光波长检测范围与一第二光波长检测范围，该第二影像提取模块用以产生对应该第一光波长范围的一第二图像与对应该第二光波长范围的一第三图像，该第二影像提取模块的光轴与该第一影像提取模块的光轴间存在一间距；以及
一深度图处理与产生装置，根据景物于该第一图像与该第二图像所存在的视差而产生一第一深度图，根据景物于该第二图像与该第三图像的清晰度/模糊度差异或比值而产生一第二深度图。
2.如权利要求1所述的影像提取系统，所述的深度图处理与产生装置，还包括：
一第一深度图产生模块，用以接收该第一图像与该第二图像，并据此生成该第一深度图；以及
一第二深度图产生模块，用以接收该第二图像与该第三图像，并据此生成该第二深度图。
3.如权利要求2所述的影像提取系统，所述的深度图处理与产生装置，还包括：
一深度图融合模块，用以接收该第一深度图与该第二深度图，并根据该第一深度图与该第二深度图产生一融合深度图。
4.如权利要求2所述的影像提取系统，所述的深度图处理与产生装置，还包括：
一深度图选择模块，用以接收该第一深度图与该第二深度图，当景物的深度信息仅存在于该第一深度图与该第二深度图的其中之一时，则选择存在景物的深度信息的该第一深度图或存在景物的深度信息的该第二深度图，当景物的深度信息皆存在于该第一深度图与该第二深度图，则选择第一深度图。
5.如权利要求2所述的影像提取系统，所述的深度图处理与产生装置，还包括：
一深度图选择模块，用以接收该第一深度图与该第二深度图，当景物的深度信息仅存在于该第一深度图与该第二深度图的其中之一时，则选择存在景物的深度信息的该第一深度图或存在景物的深度信息的该第二深度图，当景物的深度信息皆存在于该第一深度图与该第二深度图，则根据准确度选择该第一深度图与该第二深度图的其中之一。
6.如权利要求3所述的影像提取系统，还包括：
一自动对焦驱动模块，其中该自动对焦驱动模块根据该融合深度图的深度信息进行自动对焦。
7.如权利要求4或第5所述的影像提取系统，还包括：
一自动对焦驱动模块，用以接收该深度图选择模块所选择的该第一深度图或该第二深度图，并利用所接收的该第一深度图或该第二深度图以进行自动对焦。
8.一种影像提取系统的对焦方法，其特征在于，该影像提取系统包括一第一影像提取模块以及一第二影像提取模块，该第一影像提取模块用以产生对应一第一光波长范围的一第一图像，该第二影像提取模块用以产生对应该第一光波长范围的一第二图像与对应该第二光波长范围的一第三图像，该对焦方法包括：
根据景物于该第一图像与该第二图像所存在的视差而产生一第一深度图，根据景物于该第二图像与该第三图像的清晰度/模糊度差异或比值而产生一第二深度图，并于该第一深度图与该第二深度图中寻找景物的深度信息；以及
在该第一深度图与该第二深度图的至少其中之一中获得景物的深度信息。
9.如权利要求8所述的影像提取系统的对焦方法，其中该第一影像提取模块具有一第一镜头、一第一光圈与一第一影像传感器，该第一镜头用以将景物成像于该第一影像传感器，该第一光圈用以限制该第一光波长范围的进光量，该第一影像传感器具有一第一光波长检测范围，该第一影像提取模块用以产生对应该第一光波长范围的该第一图像，其中该第二影像提取模块具有一第二镜头、一第二光圈、一第三光圈与一第二影像传感器，该第二镜头用以将景物成像于该第二影像传感器，该第二光圈用以限制该第一光波长范围的进光量，该第三光圈用以限制该第二光波长范围的进光量，该第二影像传感器具有该第一光波长检测范围与一第二光波长检测范围，该第二影像提取模块用以产生对应该第一光波长范围的该第二图像与对应该第二光波长范围的该第三图像，该第二影像提取模块的光轴与该第一影像提取模块的光轴间存在一间距。
10.如权利要求8所述的影像提取系统的对焦方法，还包括：
当景物的深度信息是仅存在于该第一深度图与该第二深度图的其中之一时，利用存在景物的深度信息的该第一深度图或存在该物件的深度信息的该第二深度图以进行对焦。
11.如权利要求8所述的影像提取系统的对焦方法，还包括：
当景物的深度信息是皆存在于该第一深度图与该第二深度图时，利用该第一深度图中的深度信息进行对焦。
12.如权利要求8所述的影像提取系统的对焦方法，还包括：
当景物的深度信息是皆存在于该第一深度图与该第二深度图时，比较该第一深度图与该第二深度图中的景物的深度信息的准确度，并根据准确度选择深度信息。
13.一种影像提取系统的对焦方法，其特征在于，该影像提取系统包括一第一影像提取模块以及一第二影像提取模块，该第一影像提取模块用以产生对应一第一光波长范围的一第一图像，该第二影像提取模块用以产生对应该第一光波长范围的一第二图像与对应该第二光波长范围的一第三图像，该对焦方法包括：
根据该第一图像、该第二图像与该第三图像形成一融合深度图，并获得景物于该融合深度图中的深度信息；以及
利用该融合深度图中的深度信息进行对焦。
14.如权利要求13所述的影像提取系统的对焦方法，其中在形成一融合深度图的步骤中，根据景物于该第一图像与该第二图像所存在的视差而产生一第一深度图，根据景物于该第二图像与该第三图像的清晰度/模糊度差异或比值而产生一第二深度图，并根据该第一深度图以及该第二深度图产生该融合深度图。
CN201410541781.5A 2014-08-15 2014-10-14 一种可获得深度信息的影像提取系统与对焦方法 Active CN105578019B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW103128116 2014-08-15
TW103128116A TWI538508B (zh) 2014-08-15 2014-08-15 一種可獲得深度資訊的影像擷取系統與對焦方法

Publications (2)

Publication Number Publication Date
CN105578019A true CN105578019A (zh) 2016-05-11
CN105578019B CN105578019B (zh) 2018-08-24

Family

ID=55303111

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410541781.5A Active CN105578019B (zh) 2014-08-15 2014-10-14 一种可获得深度信息的影像提取系统与对焦方法

Country Status (3)

Country Link
US (1) US9749614B2 (zh)
CN (1) CN105578019B (zh)
TW (1) TWI538508B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106331672A (zh) * 2016-08-19 2017-01-11 深圳奥比中光科技有限公司 视点图像的获得方法、装置及系统
CN107635129A (zh) * 2017-09-29 2018-01-26 周艇 三维三目摄像装置及深度融合方法
CN108280851A (zh) * 2017-01-05 2018-07-13 钰立微电子股份有限公司 深度图产生装置
CN109474770A (zh) * 2017-09-07 2019-03-15 华为技术有限公司 一种成像装置及成像方法
CN110661940A (zh) * 2018-06-29 2020-01-07 半导体元件工业有限责任公司 具有深度检测的成像系统及操作该成像系统的方法
CN111479056A (zh) * 2020-04-13 2020-07-31 烟台艾睿光电科技有限公司 一种自动对焦方法、装置及系统
WO2021037141A1 (zh) * 2019-08-28 2021-03-04 维沃移动通信有限公司 电子设备及深度信息获取方法
CN112526801A (zh) * 2019-09-03 2021-03-19 宏达国际电子股份有限公司 双镜头成像模块及其提取方法
CN113537276A (zh) * 2020-04-16 2021-10-22 钰立微电子股份有限公司 多深度信息的融合方法与融合系统

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160277724A1 (en) * 2014-04-17 2016-09-22 Sony Corporation Depth assisted scene recognition for a camera
TW201833651A (zh) * 2017-03-14 2018-09-16 晶睿通訊股份有限公司 攝影機景深自動調整方法及攝影機
CN109087235B (zh) * 2017-05-25 2023-09-15 钰立微电子股份有限公司 图像处理器和相关的图像系统
KR20190013224A (ko) * 2017-08-01 2019-02-11 엘지전자 주식회사 이동 단말기
KR101986433B1 (ko) * 2017-11-28 2019-06-05 재단법인 다차원 스마트 아이티 융합시스템 연구단 시점 변환을 이용하는 영상 스티칭 방법 및 시스템
CN109870116B (zh) * 2017-12-05 2021-08-03 光宝电子(广州)有限公司 深度成像装置及其驱动方法
US10586394B2 (en) * 2018-03-01 2020-03-10 Intel Corporation Augmented reality depth sensing using dual camera receiver
CN110278366B (zh) * 2018-03-14 2020-12-01 虹软科技股份有限公司 一种全景图像虚化方法、终端及计算机可读存储介质
JP7104301B2 (ja) * 2018-03-19 2022-07-21 ミツミ電機株式会社 測距カメラ
CN108769476B (zh) * 2018-06-06 2019-07-19 Oppo广东移动通信有限公司 图像获取方法及装置、图像采集装置、计算机设备和可读存储介质
TWI690898B (zh) 2018-11-26 2020-04-11 緯創資通股份有限公司 影像合成方法
KR102606824B1 (ko) * 2018-12-14 2023-11-27 삼성전자주식회사 멀티 카메라를 포함하는 장치 및 이의 이미지 처리방법
CN112540494B (zh) * 2019-09-06 2022-05-03 浙江舜宇光学有限公司 成像装置和成像方法
US11381729B1 (en) * 2021-01-08 2022-07-05 Hand Held Products, Inc. Systems, methods, and apparatuses for focus selection using image disparity

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4821081B2 (ja) * 1999-10-06 2011-11-24 ソニー株式会社 光ピックアップ装置
US20070189750A1 (en) * 2006-02-16 2007-08-16 Sony Corporation Method of and apparatus for simultaneously capturing and generating multiple blurred images
JP4452951B2 (ja) * 2006-11-02 2010-04-21 富士フイルム株式会社 距離画像生成方法及びその装置
US8280194B2 (en) * 2008-04-29 2012-10-02 Sony Corporation Reduced hardware implementation for a two-picture depth map algorithm
US8184196B2 (en) * 2008-08-05 2012-05-22 Qualcomm Incorporated System and method to generate depth data using edge detection
WO2011083513A1 (ja) * 2010-01-07 2011-07-14 株式会社 東芝 表示装置及び光源装置
WO2011101035A1 (en) 2010-02-19 2011-08-25 Iplink Limited Processing multi-aperture image data
JP5204349B2 (ja) * 2010-08-31 2013-06-05 パナソニック株式会社 撮影装置、再生装置、および画像処理方法
US9307134B2 (en) * 2011-03-25 2016-04-05 Sony Corporation Automatic setting of zoom, aperture and shutter speed based on scene depth map
WO2013057943A1 (ja) * 2011-10-21 2013-04-25 パナソニック株式会社 対物レンズ、光学ヘッド、光ディスク装置及び情報処理装置
JP2015084262A (ja) * 2012-02-09 2015-04-30 三洋電機株式会社 対物レンズおよび光ピックアップ装置
FR2996925B1 (fr) * 2012-10-17 2017-06-16 Office Nat D Etudes Et De Rech Aerospatiales Procede de conception d'un imageur monovoie passif capable d'estimer la profondeur
US9347648B2 (en) * 2013-08-28 2016-05-24 Avago Technologies General Ip (Singapore) Pte. Ltd. Lighting apparatus with transmission control
US9791113B2 (en) * 2013-10-23 2017-10-17 Daylight Solutions, Inc. Light source assembly with multiple, disparate light sources

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106331672A (zh) * 2016-08-19 2017-01-11 深圳奥比中光科技有限公司 视点图像的获得方法、装置及系统
CN108280851A (zh) * 2017-01-05 2018-07-13 钰立微电子股份有限公司 深度图产生装置
CN108280851B (zh) * 2017-01-05 2024-04-19 钰立微电子股份有限公司 深度图产生装置
CN109474770A (zh) * 2017-09-07 2019-03-15 华为技术有限公司 一种成像装置及成像方法
CN107635129A (zh) * 2017-09-29 2018-01-26 周艇 三维三目摄像装置及深度融合方法
CN110661940A (zh) * 2018-06-29 2020-01-07 半导体元件工业有限责任公司 具有深度检测的成像系统及操作该成像系统的方法
WO2021037141A1 (zh) * 2019-08-28 2021-03-04 维沃移动通信有限公司 电子设备及深度信息获取方法
CN112526801A (zh) * 2019-09-03 2021-03-19 宏达国际电子股份有限公司 双镜头成像模块及其提取方法
CN112526801B (zh) * 2019-09-03 2022-01-25 宏达国际电子股份有限公司 双镜头成像模块及其提取方法
CN111479056A (zh) * 2020-04-13 2020-07-31 烟台艾睿光电科技有限公司 一种自动对焦方法、装置及系统
CN111479056B (zh) * 2020-04-13 2021-05-04 烟台艾睿光电科技有限公司 一种自动对焦方法、装置及系统
CN113537276A (zh) * 2020-04-16 2021-10-22 钰立微电子股份有限公司 多深度信息的融合方法与融合系统

Also Published As

Publication number Publication date
US20160050407A1 (en) 2016-02-18
CN105578019B (zh) 2018-08-24
TW201607313A (zh) 2016-02-16
US9749614B2 (en) 2017-08-29
TWI538508B (zh) 2016-06-11

Similar Documents

Publication Publication Date Title
CN105578019A (zh) 一种可获得深度信息的影像提取系统与对焦方法
JP7043085B2 (ja) 視点から距離情報を取得するための装置及び方法
CN109922255B (zh) 用于生成实时深度图的双相机系统
JP6245885B2 (ja) 撮像装置およびその制御方法
US9946955B2 (en) Image registration method
JP6112824B2 (ja) 画像処理方法および装置、プログラム。
CN106454090B (zh) 基于深度相机的自动对焦方法及系统
US12010408B2 (en) Automatic focus distance extension
US9619886B2 (en) Image processing apparatus, imaging apparatus, image processing method and program
EP2504992A2 (en) Image processing apparatus and method
CN108881717B (zh) 一种深度成像方法及系统
CN108924408B (zh) 一种深度成像方法及系统
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
WO2011014421A2 (en) Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
CN114424516A (zh) 图像处理装置、图像处理方法、摄像装置和程序
CN106973199B (zh) 利用对焦距离扫描提高深度精确度的多光圈相机系统
CN106023189A (zh) 一种基于匹配优化的光场数据深度重建方法
CN107155102A (zh) 3d自动对焦显示方法及其系统
CN108924407B (zh) 一种深度成像方法及系统
KR20160120533A (ko) 라이트 필드 영상에서 객체 분할방법
KR101857977B1 (ko) 플래놉틱 카메라와 깊이 카메라를 결합한 영상 장치 및 영상 처리 방법
KR101737260B1 (ko) 영상간 피사계 심도 차이에서 깊이를 추출하는 카메라 시스템 및 그 동작 방법
US9936121B2 (en) Image processing device, control method of an image processing device, and storage medium that stores a program to execute a control method of an image processing device
US8680468B2 (en) Displacement-based focusing of an IR camera
JP7373297B2 (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant