CN105578019B - 一种可获得深度信息的影像提取系统与对焦方法 - Google Patents
一种可获得深度信息的影像提取系统与对焦方法 Download PDFInfo
- Publication number
- CN105578019B CN105578019B CN201410541781.5A CN201410541781A CN105578019B CN 105578019 B CN105578019 B CN 105578019B CN 201410541781 A CN201410541781 A CN 201410541781A CN 105578019 B CN105578019 B CN 105578019B
- Authority
- CN
- China
- Prior art keywords
- image
- depth map
- extraction
- depth
- scenery
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 128
- 238000000034 method Methods 0.000 title claims description 14
- 230000003287 optical effect Effects 0.000 claims description 59
- 230000004927 fusion Effects 0.000 claims description 29
- 238000001514 detection method Methods 0.000 claims description 15
- 238000003384 imaging method Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/571—Depth or shape recovery from multiple images from focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
- H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
本发明公开了一种影像提取系统,包括第一影像提取模块、第二影像提取模块以及深度图处理与产生装置。第一影像提取模块具有第一镜头、第一光圈与第一影像传感器,以产生对应第一光波长范围的第一图像。第二影像提取模块具有第二镜头、第二光圈、第三光圈与第二影像传感器,产生对应第一光波长范围的第二图像与对应第二光波长范围的第三图像。深度图处理与产生装置根据景物于第一图像与第二图像所存在的视差而产生第一深度图,根据景物于第二图像与第三图像的清晰度(sharpness)/模糊度(blur)差异而产生第二深度图,以产生具有长范围的景物深度可解析范围并兼顾影像的精准度。
Description
技术领域
本发明涉及一种影像提取系统,且特别涉及一种可获得深度信息的影像提取系统与对焦方法。
背景技术
目前公知的深度图(DEPTH MAP)产生方法有下列两种:1.利用视差,例如使用三维摄影机(3D CAMERA)或是阵列摄影机(ARRAY CAMERA)获得视差信息进而计算得到深度信息。2.利用具有多个光圈(multi aperture)的影像提取模块来获得两个波段(例如可见光(visible light)与红外光(IR)两波段)的影像,其每一个波段分别对应一个光圈,并根据两个图像的清晰度差异来获得深度信息,如美国专利公开号US 2013/0033579所述。
在目前公知的深度图产生方法中,上述第一个方法受限于基线(Base line)的长度与传感器大小,无法获得在近距离的景物(或拍摄场景中的物件)深度信息,而上述第二个方法则受限于图像的模糊度差异或是清晰度差异,使得无法获得较远距离的深度信息,同时随着景物与影像提取模块(摄影机)的距离或对焦点的距离的增加,模糊逐渐近似一定值。故两个图像的模糊差异近似不随距离改变,使得无法判断较远距离的物体的深度。
发明内容
本发明考虑此现有技术的两种系统的缺点,提出一种可以计算出长范围景物深度信息的影像提取模块与相对应的对焦方法,其可以产生长范围的景物深度检测范围(或称为可解析范围)并同时兼顾景物深度信息的精准度。如此一来,可以应用在需要更高深度图(DEPTH MAP)的实际应用,例如对焦系统,因为其深度图即是需要长范围及高精度的需求。
本发明实施例提供一种影像提取系统,包括第一影像提取模块、第二影像提取模块以及深度图处理与产生装置。第一影像提取模块具有第一镜头、第一光圈与第一影像传感器,其中第一镜头用以将景物成像于第一影像传感器,第一光圈用以限制第一光波长范围的进光量,第一影像传感器具有第一光波长检测范围,第一影像提取模块用以产生对应第一光波长范围的第一图像。第二影像提取模块具有第二镜头、第二光圈、第三光圈与第二影像传感器,其中第二镜头用以将景物成像于第二影像传感器,第二光圈用以限制第一光波长范围的进光量,第三光圈用以限制第二光波长范围的进光量,第二影像传感器具有第一光波长检测范围与第二光波长检测范围,第二影像提取模块用以产生对应第一光波长范围的第二图像、对应第二光波长范围的第三图像,第二影像提取模块的光轴与第一影像提取模块的光轴间存在一间距。深度图处理与产生装置根据景物于第一图像与第二图像所存在的视差而产生第一深度图,根据景物于第二图像与第三图像的清晰度(sharpness)/模糊度(blur)差异或比值(ratio)而产生第二深度图。
本发明实施例提供一种影像提取系统的对焦方法,影像提取系统包括第一影像提取模块以及第二影像提取模块,第一影像提取模块用以产生对应第一光波长范围的第一图像,第二影像提取模块用以产生对应第一光波长范围的第二图像与对应第二光波长范围的第三图像,所述对焦方法包括以下步骤。首先,根据景物于第一图像与第二图像所存在的视差而产生第一深度图,根据景物于第二图像与第三图像的清晰度(sharpness)/模糊度(blur)差异或比值(ratio)而产生第二深度图,并于第一深度图与第二深度图中寻找景物的深度信息。然后,在第一深度图与第二深度图的至少其中之一中获得景物的深度信息。
本发明实施例还提供一种影像提取系统的对焦方法,影像提取系统包括第一影像提取模块以及第二影像提取模块,第一影像提取模块用以产生对应第一光波长范围的第一图像,第二影像提取模块用以产生对应第一光波长范围的第二图像与对应第二光波长范围的第三图像,所述对焦方法包括以下步骤。首先,根据第一图像、第二图像与第三图像形成融合深度图,并获得景物于融合深度图中的深度信息。然后,利用融合深度图中的深度信息进行对焦。
综上所述,本发明实施例提供一种影像提取系统与对焦方法,根据第一图像与第二图像获得第一深度图,且根据第二图像与第三图像产生第二深度图,并根据第一深度图与第二深度图的选择或者直接利用融合深度图以产生长范围的景物深度检测范围并同时兼顾影像的精准度。
为使能更进一步了解本发明的特征及技术内容,请参阅以下有关本发明的详细说明与附图,但是此等说明与所附附图仅用来说明本发明,而非对本发明的权利范围作任何的限制。
附图说明
图1是本发明实施例提供的影像提取系统的功能方框图。
图2是本发明实施例提供的第一影像提取模块与第二影像提取模块的示意图。
图3是本发明实施例提供的影像提取系统的对焦方法的流程图。
图4是本发明另一实施例提供的影像提取系统的对焦方法的流程图。
图5是本发明另一实施例提供的影像提取系统的对焦方法的流程图。
图6是本发明另一实施例提供的影像提取系统的对焦方法的流程图。
其中,附图标记说明如下:
1:影像提取系统
11:第一影像提取模块
12:第二影像提取模块
13:深度图处理与产生装置
14:自动对焦驱动模块
131:第一深度图产生模块
132:第二深度图产生模块
133:深度图选择/融合模块
111:第一镜头
112:第一光圈
113:第一影像传感器
121:第二镜头
122:第二光圈
123:第三光圈
124:第二影像传感器
BL:基线
VR1、VR2:视角
Z:最近可解析距离
D1、D2:可解析范围
DM1:第一深度图
DM2:第二深度图
DF:远距离范围
S310、S320、S330、S315、S321、S322、S323、S610、S620:步骤流程
具体实施方式
〔影像提取系统的实施例〕
请参照图1,图1是本发明实施例提供的影像提取系统的功能方框图。影像提取系统1包括第一影像提取模块11、第二影像提取模块12、深度图处理与产生装置13以及自动对焦驱动模块14。第一影像提取模块11、第二影像提取模块12分别将影像信息送至深度图处理与产生装置13以供其进行影像的运算处理。深度图处理与产生装置13例如是一个微处理器、计算机或电脑,但本发明并不因此限定。自动对焦驱动模块14用以进行对焦的操作程序。在图1的实施例中,深度图处理与产生装置13包括第一深度图产生模块131、第二深度图产生模块132与深度图选择/融合模块133。
深度图处理与产生装置13的第一深度图产生模块131用以接收来自第一影像提取模块11的第一图像与第二影像提取模块12的第二图像,并据此生成第一深度图。第二深度图产生模块132用以接收来自第二影像提取模块12的第二图像与第三图像,并据此生成第二深度图。第一深度图产生模块131产生的第一深度图与第二深度图产生模块132产生的第二深度图被提供至深度图选择/融合模块133,以进行深度图的选择或融合。深度图选择/融合模块133可以执行深度图选择的功能或者是将深度图融合的功能。在其他实施例中,深度图选择/融合模块133可以替换单纯的为深度图选择模块或者是深度图融合模块。而自动对焦驱动模块14利用所选择的深度图或融合产生的深度图以进行对焦程序,所述对焦程序可以是由微处理器、计算机或电脑进行对焦的运算程序。进一步,关于第一影像提取模块11、第二影像提取模块12,以及深度图的产生、选择或融合,请参照后续的说明。
接着,请参照图2,图2是本发明实施例提供的第一影像提取模块与第二影像提取模块的示意图。第一影像提取模块11与第二影像提取模块12分别具有视角VR1、VR2。第二影像提取模块12的光轴与第一影像提取模块11的光轴间存在一间距BL,而第二影像提取模块12的光轴与第一影像提取模块11的光轴之间的连线也就是所谓的基线(Base line)。第一影像提取模块11具有第一镜头111、第一光圈112与第一影像传感器113,其中第一镜头用111以将景物(或拍摄场景景物中的物件)成像于第一影像传感器113,第一光圈112用以限制第一光波长范围的进光量,第一影像传感器113具有第一光波长检测范围,第一影像提取模块11用以产生对应第一光波长范围的第一图像。所述第一光波长范围例如是可见光波长的范围,而所述第一图像在图2中是以影像1(RGB影像)表示。
第二影像提取模块12具有第二镜头121、第二光圈122、第三光圈123与第二影像传感器124,其中第二镜头121用以将景物成像于第二影像传感器124,第二光圈122用以限制第一光波长范围的进光量,第三光圈123用以限制第二光波长范围的进光量,第二影像传感器124具有第一光波长检测范围与第二光波长检测范围。所述第一光波长范围例如是可见光波长的范围,而所述第二光波长范围例如是红外光波长的范围,第二影像提取模块12用以产生对应第一光波长范围的第二图像、对应第二光波长范围的第三图像。所述第二图像在图2中是以影像2(RGB影像)表示,而所述第三图像在图2中是以影像3(IR影像)表示。
进一步,依据第一影像提取模块11所获得的可见光的第一图像以及第二影像提取模块12所获得的可见光的第二图像间的视差获得第一深度图DM1的信息,但由于受到影像传感器尺寸与镜头焦长的关系,深度图具有最近可解析距离(小于该距离的景物无法获得深度信息),该最近可解析距离可表示为Z=bf/ad,其中b为基线长度,a为像素尺寸(pixelsize),d为该影像提取系统所能获得的最大像素差,f为镜头焦长,由于该影像提取系统所能获得的最大像素差d是依据实际的影像提取系统而受限的,而产生最近可解析距离Z,如此产生了如图2的可解析范围D1。也就是说,第一深度图DM1的可解析范围是D1。
相对的,单就第二影像提取模块12而言,依据限制可见光的第二光圈122与限制红外光的第三光圈123分别获得的可见光的第二图像与红外光的第三图像,其第二深度图DM2是利用景物于第二图像与第三图像中清晰度/模糊度的差异/比值获得第二深度图的信息,同时受限景物于随着距离对焦距离或影像提取模块的增加清晰度/模糊度差异量/比值逐渐逼近定值,故该深度图具一可解析范围D2,如图2所示。也就是说,第二深度图DM2的可解析范围是D2,同时可利用设定镜头对焦位置来达到该可解析范围D2的延伸距离短于可解析范围D1,例如将该影像提取模块的镜头对焦距离设定小于可解析范围D2或是无限远。故可解析范围D2是解决可解析范围D1无法解析最近可解析距离Z以内的景物的深度信息的问题。然而,本实施例并不限制镜头对焦距离的设定,镜头对焦距离是可依据实际使用情况而设定。相对地,对具有景物深度信息于第二深度图DM2中可解析范围D2的第二影像提取模块12而言,第二影像提取模块12所产生的第二图像和第三图像并无法用以判断位于远距离范围DF的景物的距离。也就是说,依据第二深度图DM2并无法得知位于远距离范围DF的景物的距离。此时仅能依据第一深度图DM1以判断位于远距离范围DF的景物的深度信息。
更进一步,由图2可知,第一深度图DM1的可解析范围D1与第二深度图DM2的可解析范围D2具有一个重叠范围,也就是说位于此重叠范围内的景物(或拍摄场景中的物件)的相对于镜头的距离(或称为深度)可由形成第一图像与第二图像的两个影像提取模块获得,或者单由第二影像提取模块12获得。而与镜头(111、121)的距离小于第一深度图DM1的最近可解析距离Z的景物相对于镜头的距离则仅能由第二影像提取模块12产生的第二图像与第三图像来获得。由于第二图像与第三图像是对应不同的光波范围所产生,因此可依据两个图像的清晰度(sharpness)/模糊度(blur)差异或比值(ratio)而得知景物的深度信息。
简单的说,在获得第一图像、第二图像与第三图像之后,深度图处理与产生装置13根据景物于第一图像与第二图像所存在的视差而产生第一深度图DM1,且根据景物于第二图像与第三图像的清晰度(sharpness)/模糊度(blur)差异或比值(ratio)而产生第二深度图DM2。
在一实施例中,当深度图选择/融合模块133是深度图融合模块时,仅用以融合深度图,则此深度图融合模块用以接收第一深度图DM1与第二深度图DM2,并根据第一深度图DM1与第二深度图DM2产生一融合深度图。融合深度图可以例如是第一深度图DM1与第二深度图DM2以权重或比例方式进行加成而产生,但本发明并不限定产生融合深度图的方式。
在另一实施例中,当深度图处理与产生装置13的深度图选择/融合模块133是深度图选择模块时,则此深度图选择模是用以接收第一深度图DM1与第二深度图DM2,当景物的深度信息仅存在于第一深度图DM1或第二深度图DM2的其中之一时,则选择存在景物的深度信息的第一深度图DM1或存在景物的深度信息的第二深度图DM2。自动对焦驱动模块14用以接收深度图选择模块所选择的第一深度图DM1的景物深度信息或第二深度图DM2的景物深度信息,并利用所接收的第一深度图DM1的景物深度信息或第二深度图DM2的景物深度信息以驱动镜头进行自动对焦。也就是说,当景物位于小于深度图的最近可解析距离Z的范围或远距离范围DF的位置时,第二深度图DM2或第一深度图DM1分别用以获得景物的深度信息。另一方面,当景物的位置位于图2的重叠区域时,此时景物的深度信息皆存在于第一深度图DM1与第二深度图DM2,则可直接利用第一深度图DM1以进行对焦,或者根据准确度选择第一深度图DM1与第二深度图DM2的其中之一以进行对焦。一般而言,因为第一深度图DM1已足以用于对位于图2的重叠区域的景物进行对焦,若直接利用第一深度图DM1进行对焦,则可以简化对焦程序。而实际应用时,因为对同一个景物而言,第一深度图DM1与第二深度图DM2的景物的深度信息可能并不完全相同,此时则可以依据深度信息的准确度来判断要用第一深度图DM1或者利用第二深度图DM2进行对焦。所述准确度即是第一深度图DM1与第二深度图DM2中景物的深度信息的准确度,此准确度则是例如决定于实际应用的第一影像提取模块11、第二影像提取模块12的光学限制图像像素等硬件参数,同时准确度也与第一深度图产生模块131和第二深度图产生模块132对于图像内容进行运算的演算法的精确度有关,本发明也并不限定评估第一深度图DM1与第二深度图DM2的准确度的方式。
〔影像提取系统的对焦方法的实施例〕
请参照图3,图3是本发明实施例提供的影像提取系统的对焦方法的流程图。图3的影像提取系统的对焦方法可利用前一实施例的影像提取系统1来实现,其中影像提取系统1的深度图选择/融合模块133是深度图选择模块,以进行深度图选择的功能。首先,在步骤S310中,根据景物于第一图像与第二图像所存在的视差而产生第一深度图DM1,且根据景物于第二图像与第三图像的清晰度(sharpness)/模糊度差异(blur)或比值(ratio)而产生第二深度图DM2,并于第一深度图DM1与第二深度图DM2中寻找景物中的物件的深度信息。接着,在步骤S320中,在第一深度图DM1与第二深度图DM2的至少其中之一中获得景物的深度信息。然后,在步骤S330中,利用第一深度图DM1与第二深度图DM2的至少其中之一进行对焦。
接着,请参照图4,图4是本发明另一实施例提供的影像提取系统的对焦方法的流程图。在此实施例中,进一步叙述关于图3的步骤S320与步骤S330的可能实现方式。首先,如同图3的步骤S310,根据景物于第一图像与第二图像所存在的视差而产生第一深度图DM1,根据景物于第二图像与第三图像的清晰度/模糊度差异或比值而产生第二深度图DM2,并于第一深度图DM1与第二深度图DM2中寻找景物的深度信息。接着,在步骤S315中,判断景物的深度信息是否仅存在于第一深度图DM1与第二深度图DM2的其中之一。然后,当景物的深度信息是仅存在于第一深度图DM1与第二深度图DM2的其中之一时,进行步骤S321。也就是,当景物的深度不在图2的重叠区域时,进行步骤S321。在步骤S321中,利用存在景物的深度信息的第一深度图DM1或存在景物的深度信息的第二深度图DM2以进行对焦。当景物的深度信息是皆存在于第一深度图DM1与第二深度图DM2时,进行步骤S322,比较第一深度图DM1与第二深度图DM2中的景物的深度信息的准确度,并根据准确度选择深度信息以进行对焦。实际应用时步骤S322可以是利用准确度较高的深度信息进行对焦。
接着,请参照图5,图5是本发明另一实施例提供的影像提取系统的对焦方法的流程图。图5的流程图与图4的流程图大致相同,其差异仅在于将图4的步骤S322替换为步骤S323。当景物的深度信息是皆存在于第一深度图DM1与第二深度图DM2时,进行步骤S323,直接利用第一深度图DM1中的深度信息进行对焦。
接着,请参照图6,图6是本发明另一实施例提供的影像提取系统的对焦方法的流程图。图6的流程图也可用图1和图2的影像提取系统1实现,其中影像提取系统1的深度图选择/融合模块133是深度图融合模块,用以进行深度图融合的功能。首先,在步骤S610中,根据第一图像、第二图像与第三图像形成融合深度图,并获得景物于融合深度图中的深度信息。详细的说,在步骤S610的形成融合深度图的步骤中,根据景物于第一图像与第二图像所存在的视差而产生第一深度图DM1,根据景物于第二图像与第三图像的清晰度(sharpness)/模糊度(blur)差异或比值(ratio)而产生第二深度图DM2,并根据第一深度图DM2以及第二深度图DM1产生该融合深度图。接着,进行步骤S620,利用融合深度图中的深度信息进行对焦。
〔实施例的功效〕
综上所述,本发明实施例所提供的影像提取系统与对焦方法,根据第一图像与第二图像获得第一深度图,且根据第二图像与第三图像产生第二深度图,并根据第一深度图与第二深度图的选择或者直接利用融合深度图以产生长范围的景物深度检测范围并同时兼顾影像的精准度。更进一步,由于可以获得较广深度图范围(近距离到远距离),使得所述深度图可用于快速对焦与重新对焦的功能,以提升影像提取系统的应用价值。
以上所述仅为本发明的实施例,其并非用以局限本发明的专利范围。
Claims (13)
1.一种影像提取系统,其特征在于,包括:
一第一影像提取模块,具有一第一镜头、一第一光圈与一第一影像传感器,其中该第一镜头用以将景物成像于该第一影像传感器,该第一光圈用以限制一第一光波长范围的进光量,该第一影像传感器具有一第一光波长检测范围,该第一影像提取模块用以产生对应该第一光波长范围的一第一图像;
一第二影像提取模块,具有一第二镜头、一第二光圈、一第三光圈与一第二影像传感器,其中该第二镜头用以将景物成像于该第二影像传感器,该第二光圈用以限制该第一光波长范围的进光量,该第三光圈用以限制一第二光波长范围的进光量,该第二影像传感器具有该第一光波长检测范围与一第二光波长检测范围,该第二影像提取模块用以产生对应该第一光波长范围的一第二图像与对应该第二光波长范围的一第三图像,该第二影像提取模块的光轴与该第一影像提取模块的光轴间存在一间距;以及
一深度图处理与产生装置,根据景物于该第一图像与该第二图像所存在的视差而产生一第一深度图,根据景物于该第二图像与该第三图像的清晰度/模糊度差异或比值而产生一第二深度图。
2.如权利要求1所述的影像提取系统,所述的深度图处理与产生装置,还包括:
一第一深度图产生模块,用以接收该第一图像与该第二图像,并据此生成该第一深度图;以及
一第二深度图产生模块,用以接收该第二图像与该第三图像,并据此生成该第二深度图。
3.如权利要求2所述的影像提取系统,所述的深度图处理与产生装置,还包括:
一深度图融合模块,用以接收该第一深度图与该第二深度图,并根据该第一深度图与该第二深度图产生一融合深度图。
4.如权利要求2所述的影像提取系统,所述的深度图处理与产生装置,还包括:
一深度图选择模块,用以接收该第一深度图与该第二深度图,当景物的深度信息仅存在于该第一深度图与该第二深度图的其中之一时,则选择存在景物的深度信息的该第一深度图或存在景物的深度信息的该第二深度图,当景物的深度信息皆存在于该第一深度图与该第二深度图,则选择第一深度图。
5.如权利要求2所述的影像提取系统,所述的深度图处理与产生装置,还包括:
一深度图选择模块,用以接收该第一深度图与该第二深度图,当景物的深度信息仅存在于该第一深度图与该第二深度图的其中之一时,则选择存在景物的深度信息的该第一深度图或存在景物的深度信息的该第二深度图,当景物的深度信息皆存在于该第一深度图与该第二深度图,则根据准确度选择该第一深度图与该第二深度图的其中之一。
6.如权利要求3所述的影像提取系统,还包括:
一自动对焦驱动模块,其中该自动对焦驱动模块根据该融合深度图的深度信息进行自动对焦。
7.如权利要求4或第5所述的影像提取系统,还包括:
一自动对焦驱动模块,用以接收该深度图选择模块所选择的该第一深度图或该第二深度图,并利用所接收的该第一深度图或该第二深度图以进行自动对焦。
8.一种影像提取系统的对焦方法,其特征在于,该影像提取系统包括一第一影像提取模块、一第二影像提取模块以及一深度图处理与产生装置,该第一影像提取模块用以产生对应一第一光波长范围的一第一图像,该第二影像提取模块用以产生对应该第一光波长范围的一第二图像与对应一第二光波长范围的一第三图像,该深度图处理与产生装置用以产生一第一深度图与一第二深度图,该对焦方法包括:
根据景物于该第一图像与该第二图像所存在的视差而产生该第一深度图,根据景物于该第二图像与该第三图像的清晰度/模糊度差异或比值而产生该第二深度图,并于该第一深度图与该第二深度图中寻找景物的深度信息;
在该第一深度图与该第二深度图的至少其中之一中获得景物的深度信息;以及
根据从该第一深度图与该第二深度图至少其中之一中获得的该景物的深度信息进行对焦。
9.如权利要求8所述的影像提取系统的对焦方法,其中该第一影像提取模块具有一第一镜头、一第一光圈与一第一影像传感器,该第一镜头用以将景物成像于该第一影像传感器,该第一光圈用以限制该第一光波长范围的进光量,该第一影像传感器具有一第一光波长检测范围,该第一影像提取模块用以产生对应该第一光波长范围的该第一图像,其中该第二影像提取模块具有一第二镜头、一第二光圈、一第三光圈与一第二影像传感器,该第二镜头用以将景物成像于该第二影像传感器,该第二光圈用以限制该第一光波长范围的进光量,该第三光圈用以限制该第二光波长范围的进光量,该第二影像传感器具有该第一光波长检测范围与一第二光波长检测范围,该第二影像提取模块用以产生对应该第一光波长范围的该第二图像与对应该第二光波长范围的该第三图像,该第二影像提取模块的光轴与该第一影像提取模块的光轴间存在一间距。
10.如权利要求8所述的影像提取系统的对焦方法,还包括:
当景物的深度信息是仅存在于该第一深度图与该第二深度图的其中之一时,利用存在景物的深度信息的该第一深度图或存在该景物的深度信息的该第二深度图以进行对焦。
11.如权利要求8所述的影像提取系统的对焦方法,还包括:
当景物的深度信息是皆存在于该第一深度图与该第二深度图时,利用该第一深度图中的深度信息进行对焦。
12.如权利要求8所述的影像提取系统的对焦方法,还包括:
当景物的深度信息是皆存在于该第一深度图与该第二深度图时,比较该第一深度图与该第二深度图中的景物的深度信息的准确度,并根据准确度选择深度信息。
13.一种影像提取系统的对焦方法,其特征在于,该影像提取系统包括一第一影像提取模块、一第二影像提取模块以及一深度图处理与产生装置,该第一影像提取模块用以产生对应一第一光波长范围的一第一图像,该第二影像提取模块用以产生对应该第一光波长范围的一第二图像与对应一第二光波长范围的一第三图像,该深度图处理与产生装置用以形成一融合深度图,该对焦方法包括:
根据该第一图像、该第二图像与该第三图像形成一融合深度图,并获得景物于该融合深度图中的深度信息;以及
利用该融合深度图中的深度信息进行对焦;
其中,在形成该融合深度图的步骤中,根据景物于该第一图像与该第二图像所存在的视差而产生一第一深度图,根据景物于该第二图像与该第三图像的清晰度/模糊度差异或比值而产生一第二深度图,并根据该第一深度图以及该第二深度图产生该融合深度图。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW103128116 | 2014-08-15 | ||
TW103128116A TWI538508B (zh) | 2014-08-15 | 2014-08-15 | 一種可獲得深度資訊的影像擷取系統與對焦方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105578019A CN105578019A (zh) | 2016-05-11 |
CN105578019B true CN105578019B (zh) | 2018-08-24 |
Family
ID=55303111
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410541781.5A Active CN105578019B (zh) | 2014-08-15 | 2014-10-14 | 一种可获得深度信息的影像提取系统与对焦方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9749614B2 (zh) |
CN (1) | CN105578019B (zh) |
TW (1) | TWI538508B (zh) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160277724A1 (en) * | 2014-04-17 | 2016-09-22 | Sony Corporation | Depth assisted scene recognition for a camera |
CN106331672B (zh) * | 2016-08-19 | 2018-12-25 | 深圳奥比中光科技有限公司 | 视点图像的获得方法、装置及系统 |
US11652978B2 (en) * | 2017-01-05 | 2023-05-16 | Eys3D Microelectronics, Co. | Depth map generation device |
TW201833651A (zh) * | 2017-03-14 | 2018-09-16 | 晶睿通訊股份有限公司 | 攝影機景深自動調整方法及攝影機 |
CN109087235B (zh) * | 2017-05-25 | 2023-09-15 | 钰立微电子股份有限公司 | 图像处理器和相关的图像系统 |
KR20190013224A (ko) * | 2017-08-01 | 2019-02-11 | 엘지전자 주식회사 | 이동 단말기 |
CN109474770B (zh) * | 2017-09-07 | 2021-09-14 | 华为技术有限公司 | 一种成像装置及成像方法 |
CN107635129B (zh) * | 2017-09-29 | 2020-06-16 | 上海安威士科技股份有限公司 | 一种三维三目摄像装置及深度融合方法 |
KR101986433B1 (ko) * | 2017-11-28 | 2019-06-05 | 재단법인 다차원 스마트 아이티 융합시스템 연구단 | 시점 변환을 이용하는 영상 스티칭 방법 및 시스템 |
CN109870116B (zh) * | 2017-12-05 | 2021-08-03 | 光宝电子(广州)有限公司 | 深度成像装置及其驱动方法 |
US10586394B2 (en) * | 2018-03-01 | 2020-03-10 | Intel Corporation | Augmented reality depth sensing using dual camera receiver |
CN110278366B (zh) * | 2018-03-14 | 2020-12-01 | 虹软科技股份有限公司 | 一种全景图像虚化方法、终端及计算机可读存储介质 |
JP7104301B2 (ja) * | 2018-03-19 | 2022-07-21 | ミツミ電機株式会社 | 測距カメラ |
CN108769476B (zh) * | 2018-06-06 | 2019-07-19 | Oppo广东移动通信有限公司 | 图像获取方法及装置、图像采集装置、计算机设备和可读存储介质 |
US10609361B2 (en) * | 2018-06-29 | 2020-03-31 | Semiconductor Components Industries, Llc | Imaging systems with depth detection |
TWI690898B (zh) | 2018-11-26 | 2020-04-11 | 緯創資通股份有限公司 | 影像合成方法 |
KR102606824B1 (ko) * | 2018-12-14 | 2023-11-27 | 삼성전자주식회사 | 멀티 카메라를 포함하는 장치 및 이의 이미지 처리방법 |
CN110533708A (zh) * | 2019-08-28 | 2019-12-03 | 维沃移动通信有限公司 | 一种电子设备及深度信息获取方法 |
CN112526801B (zh) * | 2019-09-03 | 2022-01-25 | 宏达国际电子股份有限公司 | 双镜头成像模块及其提取方法 |
CN112540494B (zh) * | 2019-09-06 | 2022-05-03 | 浙江舜宇光学有限公司 | 成像装置和成像方法 |
CN111479056B (zh) * | 2020-04-13 | 2021-05-04 | 烟台艾睿光电科技有限公司 | 一种自动对焦方法、装置及系统 |
CN113542712A (zh) * | 2020-04-16 | 2021-10-22 | 钰立微电子股份有限公司 | 多深度信息的处理方法与处理系统 |
US11381729B1 (en) * | 2021-01-08 | 2022-07-05 | Hand Held Products, Inc. | Systems, methods, and apparatuses for focus selection using image disparity |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4821081B2 (ja) * | 1999-10-06 | 2011-11-24 | ソニー株式会社 | 光ピックアップ装置 |
US20070189750A1 (en) * | 2006-02-16 | 2007-08-16 | Sony Corporation | Method of and apparatus for simultaneously capturing and generating multiple blurred images |
JP4452951B2 (ja) * | 2006-11-02 | 2010-04-21 | 富士フイルム株式会社 | 距離画像生成方法及びその装置 |
US8280194B2 (en) * | 2008-04-29 | 2012-10-02 | Sony Corporation | Reduced hardware implementation for a two-picture depth map algorithm |
US8184196B2 (en) * | 2008-08-05 | 2012-05-22 | Qualcomm Incorporated | System and method to generate depth data using edge detection |
WO2011083513A1 (ja) * | 2010-01-07 | 2011-07-14 | 株式会社 東芝 | 表示装置及び光源装置 |
WO2011101035A1 (en) | 2010-02-19 | 2011-08-25 | Iplink Limited | Processing multi-aperture image data |
JP5204349B2 (ja) * | 2010-08-31 | 2013-06-05 | パナソニック株式会社 | 撮影装置、再生装置、および画像処理方法 |
US9307134B2 (en) * | 2011-03-25 | 2016-04-05 | Sony Corporation | Automatic setting of zoom, aperture and shutter speed based on scene depth map |
WO2013057943A1 (ja) * | 2011-10-21 | 2013-04-25 | パナソニック株式会社 | 対物レンズ、光学ヘッド、光ディスク装置及び情報処理装置 |
JP2015084262A (ja) * | 2012-02-09 | 2015-04-30 | 三洋電機株式会社 | 対物レンズおよび光ピックアップ装置 |
FR2996925B1 (fr) * | 2012-10-17 | 2017-06-16 | Office Nat D Etudes Et De Rech Aerospatiales | Procede de conception d'un imageur monovoie passif capable d'estimer la profondeur |
US9347648B2 (en) * | 2013-08-28 | 2016-05-24 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Lighting apparatus with transmission control |
US9791113B2 (en) * | 2013-10-23 | 2017-10-17 | Daylight Solutions, Inc. | Light source assembly with multiple, disparate light sources |
-
2014
- 2014-08-15 TW TW103128116A patent/TWI538508B/zh active
- 2014-10-14 CN CN201410541781.5A patent/CN105578019B/zh active Active
-
2015
- 2015-05-20 US US14/717,901 patent/US9749614B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN105578019A (zh) | 2016-05-11 |
US20160050407A1 (en) | 2016-02-18 |
TW201607313A (zh) | 2016-02-16 |
US9749614B2 (en) | 2017-08-29 |
TWI538508B (zh) | 2016-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105578019B (zh) | 一种可获得深度信息的影像提取系统与对焦方法 | |
US10997696B2 (en) | Image processing method, apparatus and device | |
US10425638B2 (en) | Equipment and method for promptly performing calibration and verification of intrinsic and extrinsic parameters of a plurality of image capturing elements installed on electronic device | |
CN106454090B (zh) | 基于深度相机的自动对焦方法及系统 | |
US20110025830A1 (en) | Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation | |
US20170059305A1 (en) | Active illumination for enhanced depth map generation | |
CN104065859B (zh) | 一种全景深图像的获取方法及摄像装置 | |
JP5320524B1 (ja) | ステレオ撮影装置 | |
CN105187815B (zh) | 用于获得图像深度信息的系统及方法 | |
CN105282443A (zh) | 一种全景深全景图像成像方法 | |
WO2011014421A2 (en) | Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation | |
US20140085422A1 (en) | Image processing method and device | |
US20140300703A1 (en) | Image processing apparatus, image processing method, and program | |
CN103686134A (zh) | 图像拾取装置、系统和控制方法以及图像处理装置 | |
CN108234897A (zh) | 控制夜视系统的方法及装置、存储介质、处理器 | |
CN106023189A (zh) | 一种基于匹配优化的光场数据深度重建方法 | |
KR100915039B1 (ko) | 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 방법및 변환 장치와 이를 위한 기록매체 | |
CN108805921A (zh) | 图像获取系统及方法 | |
JP5583242B2 (ja) | 画像処理装置およびその制御方法、並びにプログラム | |
CN114788254B (zh) | 辅助对焦方法、装置及系统 | |
CN104834081A (zh) | 一种体视显微镜的快速自动聚焦方法 | |
JP6039301B2 (ja) | 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体 | |
CN111258166B (zh) | 摄像模组及其潜望式摄像模组和图像获取方法及工作方法 | |
WO2020213595A1 (ja) | 交換レンズ、情報処理装置、情報処理方法、及び、プログラム | |
CN115190285B (zh) | 一种3d图像采集系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |