CN104133339A - 自动对焦方法及自动对焦装置 - Google Patents
自动对焦方法及自动对焦装置 Download PDFInfo
- Publication number
- CN104133339A CN104133339A CN201310157806.7A CN201310157806A CN104133339A CN 104133339 A CN104133339 A CN 104133339A CN 201310157806 A CN201310157806 A CN 201310157806A CN 104133339 A CN104133339 A CN 104133339A
- Authority
- CN
- China
- Prior art keywords
- focusing
- depth information
- depth
- block
- those
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 95
- 230000007246 mechanism Effects 0.000 claims description 51
- 238000012545 processing Methods 0.000 claims description 45
- 238000004364 calculation method Methods 0.000 claims description 31
- 239000006185 dispersion Substances 0.000 claims description 19
- 238000012360 testing method Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 239000000571 coke Substances 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000001310 location test Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Automatic Focus Adjustment (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种自动对焦方法及自动对焦装置,此方法包括:选取并使用第一与第二图像传感器拍摄至少一目标物,据以产生三维深度图;选取涵括至少一起始对焦点的区块;查询三维深度图以读取区块中的多个像素的深度信息;判断这些像素的深度信息是否足够进行运算,若是,则进行第一统计运算,并获得对焦深度信息,若否,则移动区块位置或扩大区块的尺寸,以获得对焦深度信息;以及依据对焦深度信息取得对焦位置,并驱动自动对焦装置根据对焦位置执行自动对焦程序。
Description
技术领域
本发明是有关于一种自动对焦的技术,且特别是有关于一种应用立体视觉图像处理技术进行的自动对焦方法及自动对焦装置。
背景技术
一般而言,自动对焦技术是指数码相机会移动镜头以变更镜头与被摄物体之间的距离,并对应不同的镜头位置以分别计算被摄主体画面的对焦评估值(以下简称为对焦值),直到找寻到最大对焦值为止。具体而言,镜头的最大对焦值是表示对应目前镜头所在的位置能取得最大清晰度的被摄主体画面。
然而,现有自动对焦技术中所使用的爬山法(hill-climbing)或回归法(regression)中,镜头的连续推移以及最大对焦值的搜寻时间都需要若干幅图像才能达成一次的对焦,容易耗费许多时间。此外,在数码相机移动镜头的过程中可能会移动过头,而需要使镜头来回移动,如此一来,将会造成画面的边缘部分可能会有进出画面的现象,此即镜头画面的呼吸现象,而此现象破坏了画面的稳定性。现有一种应用立体视觉技术进行图像处理的自动对焦技术,可有效减少对焦的耗时及画面的呼吸现象,而可提升对焦速度与画面的稳定性,故在相关领域中渐受瞩目。
然而,一般而言,目前的立体视觉技术图像处理在进行图像中各点的三维座位位置信息求取时,常常无法对图像中的各点位置做出精准的定位。并且,由于在无材质(texture)、平坦区等区域,较不易辨识相对深度而无法精确求出各点的深度信息,因此可能会造成三维深度图上的「破洞」。此外,若将自动对焦系统应用于手持电子装置(例如智能型手机),为要求缩小产品的体积,其立体视觉的基准线(stereo baseline)通常需要尽可能地缩小,如此一来定位精准将更加不易,并可能导致三维深度图上的破洞增加,进而影响执行后续图像对焦程序的执行难度。因此,如何兼顾自动对焦技术的对焦速度、镜头画面的稳定性以及对焦定位的准确度,实为目前研发人员关注的重要课题之一。
发明内容
本发明提供一种自动对焦方法及自动对焦装置,具有快速的对焦速度、良好的画面稳定性以及良好的对焦定位准确度。
本发明的一种自动对焦方法适用于具有第一与第二图像传感器的自动对焦装置。自动对焦方法包括下列步骤。选取并使用第一与第二图像传感器拍摄至少一目标物,据以进行三维深度估测而产生三维深度图。依据目标物的至少一起始对焦点来选取涵括起始对焦点的区块。查询三维深度图以读取区块中的多个像素的深度信息。判断这些像素的深度信息是否足够进行运算,若是,对这些像素的深度信息进行第一统计运算,并获得对焦深度信息,若否,则移动区块位置或扩大区块的尺寸,以获得对焦深度信息。依据对焦深度信息,取得关于目标物的对焦位置,并驱动自动对焦装置根据对焦位置执行自动对焦程序。
在本发明的一实施例中,上述判断这些像素的深度信息是否足够进行运算的步骤包括:分别判断各像素的深度信息是否为有效深度信息,若是,则判断为有效像素。并且,判断这些有效像素的数量或这些有效像素与这些像素的比例是否大于预设比例阀值。
在本发明的一实施例中,上述的自动对焦方法在扩大区块的尺寸的步骤之后还包括:判断区块的尺寸是否大于预设范围阀值,若否,则返回判断这些像素的深度信息是否足够进行运算的步骤,若是,则判断对焦失败,驱动自动对焦装置执行泛焦对焦程序或以对比式对焦进行自动对焦或不予对焦。
在本发明的一实施例中,上述选取至少一目标物的方法包括:通过自动对焦装置接收使用者用以选取至少一目标物的至少一点选信号,或由自动对焦装置进行物件检测程序,以自动选取至少一目标物,并取得至少一起始对焦点的坐标位置。
在本发明的一实施例中,当至少一目标物为多个目标物时,上述取得关于这些目标物的对焦位置的步骤如下所述。计算这些目标物的这些对焦深度信息,并获得平均对焦深度信息。依据平均对焦深度信息计算出景深范围。判断这些目标物是否皆落在景深范围中,若是,则依据平均深度对焦信息取得关于这些目标物的对焦位置。
在本发明的一实施例中,当至少一目标物为多个目标物时,上述的自动对焦方法还包括:执行目标物位置离散检定以及判断这些目标物的这些坐标位置是否离散。
在本发明的一实施例中,上述的目标物位置离散检定为标准差(standarddeviation)检定、变异系数(variance)或乱度(entropy)检定。
在本发明的一实施例中,当判断这些目标物的这些坐标位置为离散时,上述取得关于这些目标物的对焦位置的步骤如下所述。选取这些目标物中的最大目标物,其中最大目标物具有特征对焦深度信息。并且依据特征对焦深度信息,取得关于这些目标物的对焦位置。
在本发明的一实施例中,当判断这些目标物的这些坐标位置为集中时,上述取得关于这些目标物的对焦位置的步骤如下所述。取得各目标物的各对焦深度信息。对各对焦深度信息进行第二统计运算,并获得特征对焦深度信息,其中第二统计运算为众数运算(mod)。并且依据特征对焦深度信息,取得关于这些目标物的对焦位置。
在本发明的一实施例中,上述的第一统计运算为平均运算(mean)、众数运算(mod)、中值运算(median)、最小值运算(minimum)或四分位数(quartile)运算。
本发明的一种自动对焦装置包括第一与第二图像传感器、对焦模块以及处理单元。第一与第二图像传感器拍摄至少一目标物。对焦模块控制第一与第二图像传感器的对焦位置。处理单元耦接第一与第二图像传感器以及对焦模块,其中处理单元包括区块深度估测器以及深度信息判断模块。区块深度估测器进行三维深度估测而产生三维深度图,并依据目标物的至少一起始对焦点来选取涵括起始对焦点的区块,且查询三维深度图以读取区块中的多个像素的深度信息。深度信息判断模块耦接区块深度估测器,并判断这些像素的深度信息是否足够进行运算,若否,区块深度估测器移动区块的位置或扩大区块的尺寸,以读取区块中的这些像素的深度信息,若是,则处理单元驱动区块深度估测器对这些像素的深度信息进行第一统计运算以获得对焦深度信息,处理单元并依据对焦深度信息取得关于至少一目标物的对焦位置,并驱动自动对焦装置根据对焦位置执行自动对焦程序。
基于上述,本发明的实施例中所提供的自动对焦方法及自动对焦装置可通过应用立体视觉的图像处理技术而产生三维深度图,并再对此三维深度图中各像素的深度信息进行判断并进行统计运算以取得对焦位置。如此一来,本发明的实施例中所提供的自动对焦装置以及自动对焦方法除了可具有只需一幅图像的时间即可完成相关自动对焦步骤执行的功效外,也可克服因三维深度图中深度信息「破洞」而造成对焦错误的问题。此外,本发明的实施例中所提供的自动对焦装置以及自动对焦方法也可通过执行不同的统计运算方法,针对区块中各像素的深度信息进行适当处理,以计算出适合的对焦深度信息。因此本发明的实施例中所提供的自动对焦装置以及自动对焦方法除了可具有快速的对焦速度以及良好的稳定性外,也具有良好的对焦定位准确度。
为让本发明的上述特征和优点能更明显易懂,下文特举实施例,并配合所示附图作详细说明如下。
附图说明
图1是依照本发明一实施例所示的一种自动对焦装置的方块图;
图2A是依照本发明一实施例所示的一种自动对焦方法的流程图;
图2B是图2A实施例中的一种产生三维深度图的步骤流程图;
图2C是图2A实施例中产生的一种深度搜寻的示意图;
图2D是图2A实施例中的一种判断像素的深度信息是否足够进行运算的步骤流程图;
图3A是依照本发明另一实施例所示的一种自动对焦方法的流程图;
图3B是图3A实施例中的一种取得关于目标物对焦位置的步骤流程图;
图4是依照本发明另一实施例所示的一种自动对焦装置的方块图;
图5是图3A实施例中的另一种取得关于目标物对焦位置的步骤流程图。
附图标记说明:
100、100a:自动对焦装置;
110:第一图像传感器;
120:第二图像传感器;
130:对焦模块;
140:存储单元;
150:处理单元;
151:区块深度估测器;
152:深度信息判断模块;
153:位置离散检定模块;
154:特征对焦深度信息计算模块;
IP:起始对焦点;
HL:破洞;
FA、FB:范围;
S110、S120、S121、S122、S123、S124、S130、S140、S150、S151、S152、S153、S154、S155、S156、S157、S159、S160、S170、S360、S361、S362、S363、S364、S560、S561、S562、S563、S564、S565、S566:步骤。
具体实施方式
图1是依照本发明一实施例所示的一种自动对焦装置的方块图。请参照图1,本实施例的自动对焦装置100包括第一图像传感器110与第二图像传感器120、对焦模块130、存储单元140以及处理单元150,其中处理单元150包括区块深度估测器151以及深度信息判断模块152。在本实施例中,自动对焦装置100例如是数码相机、数码摄影机(Digital Video Camcorder,简称为DVC)或是其他可用以摄像或摄影功能的手持电子装置等,但本发明并不限制其范围。另一方面,在本实施例中,第一图像传感器110与第二图像传感器120可包括镜头、感光元件或光圈等构件,用以采集图像。此外,对焦模块130、存储单元140、处理单元150、区块深度估测器151以及深度信息判断模块152可为硬体及/或软体所实现的功能模块,其中硬体可包括中央处理器、芯片组、微处理器等具有图像运算处理功能的硬体设备或上述硬体设备的组合,而软体则可以是操作系统、驱动程序等。
在本实施例中,处理单元150耦接第一图像传感器110与第二图像传感器120、对焦模块130以及存储单元140,而可用以控制第一图像传感器110、第二图像传感器120与对焦模块130,并于存储单元140存储相关信息,且可驱动区块深度估测器151以及深度信息判断模块152执行相关指令。
图2A是依照本发明一实施例所示的一种自动对焦方法的流程图。请参照图2A,在本实施例中,自动对焦方法例如可利用图1中的自动对焦装置100来执行。以下搭配自动对焦装置100中的各模块来对本实施例的自动对焦方法的详细步骤做进一步的描述。
首先,执行步骤S110,选取至少一目标物。具体而言,在本实施例中,选取目标物的方法例如可通过自动对焦装置100接收使用者用以选取目标物的至少一点选信号,以选取目标物,并取得至少一起始对焦点IP的坐标位置(示图2C中)。举例而言,使用者可以触控方式或移动取像装置到特定区域进行目标物的选取,但本发明不以此为限。在其他可行的实施例中,选取目标物的方法也可由自动对焦装置100进行物件检测程序,以自动选取目标物并取得至少一起始对焦点IP的坐标位置。举例而言,自动对焦装置100可通过使用人脸检测(face detection)、微笑检测或主体检测技术等来进行目标物的自动选择,并取得其起始对焦点IP的坐标位置,但本发明也不以此为限。此技术领域中普通技术中员当可依据实际需求来设计自动对焦装置100中可用以选取目标物的模式,在此不予赘述。
接着,执行步骤S120,使用第一图像传感器110与第二图像传感器120拍摄目标物,并据以进行三维深度估测而产生三维深度图。以下将搭配图2B,针对本实施例执行步骤S120的详细步骤做进一步的介绍。
图2B是图2A实施例中的一种产生三维深度图的步骤流程图。在本实施例中,图2A所示的产生三维深度图的步骤S120,还包括子步骤S121、S122以及S123。请参照图2B,首先执行步骤S121,使用第一图像传感器110以及第二图像传感器120拍摄目标物,以分别产生第一图像与第二图像。举例来说,第一图像例如为左眼图像,第二图像例如为右眼图像。在本实施例中,第一图像与第二图像可存储在存储单元140中,以供后续步骤使用。
接着,执行步骤S122,处理单元150的区块深度估测器151可依据第一图像与第二图像进行三维深度估测。具体而言,处理单元150的区块深度估测器151可通过立体视觉技术进行图像处理,以求得目标物在空间中的三维坐标位置以及图像中各点的深度信息。接着,执行步骤S123,处理单元150的区块深度估测器151在得到各点的初步深度信息后,将所有深度信息汇整为一张三维深度图,并存储在存储单元140中,以供后续步骤使用。
然而,一般而言,在步骤S123所产生的三维深度图中可能存在着许多破洞HL(如图2C所示),因此处理单元150还可选择性地视情况执行步骤S124,对三维深度图再进行初步优化处理。具体而言,在本实施例中,进行初步优化处理的方法例如是利用图像处理技术将各点的深度信息与其邻近的深度信息进行加权处理,以使图像各点的深度信息将可较为连续,并同时可保留了边缘的深度信息。如此一来,除可避免现有的三维深度图中记载的各点深度信息可能存在深度不精准或不连续的问题外,也可减少对于现有存在于三维深度图上的破洞HL情况。举例而言,在本实施例中,初步优化处理的方法可为高斯(Gaussian)平滑处理,但本发明不以此为限。在其他可行的实施例中,此技术领域中普通技术人员当可依据实际需求来选择其他适当的统计运算方法以执行初步优化处理,此处便不再赘述。
回到图2A,接续执行步骤S130,利用区块深度估测器151依据目标物的至少一起始对焦点IP来选取涵括起始对焦点IP的区块。具体而言,区块深度估测器151可根据在步骤S110中所取得的起始对焦点IP的坐标位置来决定区块的位置。此外,在本实施例中,区块的尺寸也可预先定义,并可具有多种不同范围以涵括不同数量的像素。举例而言,区块的尺寸例如可为21x21像素、41x41像素、81x81像素等,其中起始对焦点IP例如可做为区块的中心,也即为区块的中心像素,但本发明不以此为限。此技术领域中普通技术中同当可依据实际需求来设计区块的位置及其尺寸,此处便不再赘述。
图2C是图2A实施例中产生的一种深度搜寻的示意图。接着,执行步骤S140,利用区块深度估测器151查询三维深度图以读取区块中的多个像素的深度信息。然而,如图2C所示,若起始对焦点IP的坐标位置落在破洞HL之中,将可能导致采集不到像素的深度信息而不易进行后续相关运算,或是可能因此计算出错误的对焦位置而对焦失败。因此需执行步骤S150,判断这些像素的深度信息是否足够进行运算,以有助于进行后续步骤。以下将结合图2D,针对本实施例执行步骤S150的详细步骤进行进一步的介绍。
图2D是图2A实施例中的一种判断像素的深度信息是否足够进行运算的步骤流程图。在本实施例中,图2A所示的产生三维深度图的步骤S150,还包括子步骤S151、S152、S153以及S154。请参照图2D,首先执行步骤S151,利用耦接区块深度估测器151的深度信息判断模块152分别判断各像素的深度信息是否为有效深度信息,若是,则判断为有效像素(步骤S152)。具体而言,由于三维深度图中破洞HL的成因是由于区块深度估测器151依据第一图像与第二图像进行三维深度估测时,无法计算其部分区域的像差,也就是说,无法计算出这些区域中像素的深度信息。因此,判断各像素的深度信息是否为有效深度信息的方法将可通过三维深度估测过程中的运算法来执行。
更详细而言,在进行三维深度估测过程中的相关计算时,可先对三维深度图中这些无法计算出像差的部分区域的像素给予特定值,而在后续计算过程中,具有此特定值的像素将可被视为无效像素,而不列入计算。举例而言,一个具有10比特(bit)像素格式的画面的值域将落在0-1023之间,而处理单元150例如可将不具有有效深度信息的像素值设定为1023,其余具有有效深度信息的像素则设定为0-1020之间。如此一来,将有助于深度信息判断模块152快速地进行判断各像素是否为有效像素,但本发明不以此为限。此技术领域中普通技术人员当可依据实际需求来选择其他适当的有效像素的定义方式,此处便不再赘述。
接着,执行步骤S153,利用深度信息判断模块152判断这些有效像素的数量或这些有效像素与区块中像素的比例是否大于预设比例阀值,若是,则执行步骤S154,判断这些像素的深度信息足够进行运算。具体而言,此预设比例阀值可为适当的像素数量,或是一数值百分比例。举例而言,此预设比例阀值可为一数值百分比例,且其值为30%,而这即表示当有效像素数量与区块中像素数量的比例大于30%时,则深度信息判断模块152将判断像素的深度信息足够进行运算,并以此区块中的深度信息统计分布图(Histogram)进行后续运算。值得注意的是,应注意的是,此处的数值比例范围仅作为例示说明,其端点数值与范围大小并不用以限定本发明。
然而,另一方面,请再次参照图2A,在执行步骤S154的过程中,若深度信息判断模块152判断这些像素的深度信息不足以进行运算,则将执行步骤S155,利用区块深度估测器151移动区块位置或扩大区块的尺寸,以读取区块中的像素的深度信息。举例而言,在本实施例中,区块的尺寸将可由范围FA扩大为范围FB(如图2C所示)。接着,并执行步骤S157,利用处理单元150判断区块的尺寸是否大于预设范围阀值。若否,则返回判断这些像素的深度信息是否足够进行运算的步骤S150,再次进行判断,并进行相关计算,以获得目标物的对焦深度信息。若是,则执行步骤S159,判断对焦失败,驱动自动对焦装置100执行泛焦对焦程序或以对比式对焦进行自动对焦或不予对焦。举例而言,此预设范围阀值可为前述的区块所能涵括的最大像素范围模式,例如为81x81像素的范围,但本发明不以此为限。此技术领域中普通技术人员当可依据实际需求来选择其他适当预设范围阀值的定义方式,此处便不再赘述。
另一方面,当深度信息判断模块152判断这些像素的深度信息足够进行运算时,执行图2A所示的步骤S156,利用区块深度估测器151对这些有效像素的深度信息进行第一统计运算,以获得目标物的对焦深度信息。具体而言,进行第一统计运算的目的是为了能够更可靠地计算出目标物的对焦深度信息,如此一来,将可通过避免对焦到不正确的目标物的可能性。然而,值得注意的是,采用不同的第一统计运算方式将具有不同的对焦效果。举例而言,执行第一统计运算的方法例如可为平均运算、众数运算、中值运算、最小值运算、四分位数或其它适合的数学统计运算方式。
更详细而言,平均运算指的是以此区块中有效像素的平均深度信息来做为执行后续自动对焦步骤的对焦深度信息。进一步而言,当此区块内各有效像素的深度信息分布较不均匀时,可以平均深度信息作为对焦深度信息,以兼顾各像素的对焦效果,但其缺点是若各有效像素的深度信息极不均匀或是各像素的深度信息差距太大时会无法正确对焦。众数运算则是以此区块中数量最多的深度信息作为对焦深度信息。中值运算则是以此区块中的有效深度信息中值作为对焦深度信息,可兼顾平均与众数运算的对焦特性。
最小值运算则是以此区块中最近的有效深度信息来作为对焦深度信息的依据,但若此一运算方法若单纯以单一最小值来运算,则易受到噪声影响。四分位数运算则是以此区块中有效深度信息的第一四分位数或第二四分位数作为对焦深度信息。进一步而言,若以此区块中有效深度信息的第一四分位数作为对焦深度信息的话,则与以此区块中最近的有效深度信息来作为对焦深度信息的方法有类似效果,但可不受噪声影响。若以此区块中有效深度信息的第二四分位数作为对焦深度信息的话,则与以此区块中的有效深度信息中值作为对焦深度信息的效果类似。
值得注意的是,本发明虽以上述统计运算方式为例说明执行第一统计运算的方法,但本发明不以此为限,此技术领域中普通技术人员当可依据实际需求来选择其他适当的统计运算方法以获得目标物的对焦深度信息,此处便不再赘述。
接着,在获得对焦深度信息后,执行步骤S160,利用处理单元150依据对焦深度信息取得关于目标物的对焦位置。具体而言,步骤S160例如可通过依据对焦深度信息查询深度对照表来取得关于目标物的对焦位置来执行。举例而言,一般执行自动对焦程序的过程可以是通过对焦模块130控制自动对焦装置100中的步进马达步数(step)或音圈马达电流值以分别调整第一图像传感器110与第二图像传感器120的变焦镜头至所需的对焦位置后,再进行对焦。因此,自动对焦装置100将可通过经由事前步进马达或音圈马达的校正过程,事先求得步进马达的步数或音圈马达的电流值与目标物清晰深度的对应关系,将其结果汇整为深度对照表,并存储在存储单元140中。如此一来,则可依据目前获得的目标物的对焦深度信息查询到此对焦深度信息所对应的步进马达的步数或音圈马达的电流值,并据此取得关于目标物的对焦位置信息。
接着,执行步骤S170,处理单元150驱动自动对焦装置100根据对焦位置执行自动对焦程序。具体而言,由于对焦模块130控制第一图像传感器110与第二图像传感器120的对焦位置,因此在取得关于目标物的对焦位置信息后,处理单元150就可驱动自动对焦装置100的对焦模块130,并藉此调整第一图像传感器110与第二图像传感器120的变焦镜头至对焦位置,以完成自动对焦。
如此一来,通过上述应用立体视觉的图像处理技术而产生三维深度图,并再对此三维深度图中各像素的深度信息进行判断并进行统计运算以取得对焦位置的方法,将使得本实施例的自动对焦装置100以及自动对焦方法除了只需一幅图像的时间即可完成相关自动对焦步骤执行的功效外,也可克服因三维深度图中深度信息破洞HL而造成对焦错误的问题。此外,本实施例也可通过不同的统计运算方法,针对区块中各像素的深度信息进行适当处理,以计算出适合的对焦深度信息。因此本实施例的自动对焦装置100以及自动对焦方法除了可具有快速的对焦速度以及良好的稳定性外,也具有良好的对焦定位准确度。
图3A是依照本发明另一实施例所示的一种自动对焦方法的流程图。请参照图3A,本实施例的自动对焦方法与图2A实施例中的自动对焦方法类似,以下将搭配图3B,仅针对两者不同之处进行详细说明。
图3B是图3A实施例中的一种取得关于目标物对焦位置的步骤流程图。在本实施例中,当至少一目标物为多个目标物时,图3A所示的步骤S360,依据对焦深度信息取得关于目标物的对焦位置,还包括子步骤S361、S362、S363以及S364。请参照图3B,首先,执行步骤S361,利用区块深度估测器151计算目标物的对焦深度信息,并获得平均对焦深度信息。接着,执行步骤S362,依据平均对焦深度信息计算出景深范围。接着,执行步骤S363,判断这些目标物是否皆落在景深范围中。若是,则执行步骤S364,则依据平均深度对焦信息取得关于这些目标物的对焦位置。如此一来,使用者欲对焦的目标物将可皆具有适当的对焦效果。
此外,值得注意的是,由于本实施例的自动对焦方法与图2A实施例的自动对焦方法的差异仅在于取得关于各目标物的对焦位置信息时是否须再次进行统计运算,但这并不影响前述应用立体视觉的图像处理技术而产生三维深度图,并再对此三维深度图中各像素的深度信息进行判断并进行第一统计运算以取得对焦深度信息的技术特征。因此,本实施例的自动对焦方法与同样地具有上述图2A实施例的自动对焦方法所描述的优点,在此便不再赘述。
图4是依照本发明另一实施例所示的一种自动对焦装置的方块图。请参照图4,本实施例的自动对焦装置100a与图1中的自动对焦装置100类似,以下仅针对两者不同之处进行说明。在本实施例中,处理单元150还包括位置离散检定模块153与特征对焦深度信息计算模块154。举例而言,位置离散检定模块153与特征对焦深度信息计算模块154皆可为硬体及/或软体所实现的功能模块,其中硬体可包括中央处理器、芯片组、微处理器等具有图像运算处理功能的硬体设备或上述硬体设备的组合,而软体则可以是操作系统、驱动程序等。以下将搭配图5,针对本实施例的位置离散检定模块153与特征对焦深度信息计算模块154的功能进行详细说明。
图5是图3A实施例中的另一种取得关于目标物对焦位置的步骤流程图。在本实施例中,当至少一目标物为多个目标物时,图3A所示的步骤S560,依据对焦深度信息取得关于目标物的对焦位置,还包括子步骤S561、S562、S563、S564、S565以及S566。以下并结合位置离散检定模块153与特征对焦深度信息计算模块154以对执行步骤S560的详细过程进行进一步的说明。
请参照图5,首先,执行步骤S561,利用位置离散检定模块153执行目标物位置离散检定。具体而言,在本实施例中,位置离散检定模块153耦接区块深度估测器151,以取得起始对焦点IP的坐标位置,并执行相关检定方法的运算。举例而言,目标物位置离散检定的方法可为标准差检定、变异系数检定、乱度检定或其他适合的检定方法,但本发明不以此为限。在其他可行的实施例中,此技术领域中普通技术人员当可依据实际需求来选择其他适当的检定方法以执行目标物位置离散检定,此处便不再赘述。
接着,执行步骤S562,判断目标物的坐标位置是否离散,并据此选择取得关于对焦位置的不同方法。具体而言,在本实施例中,特征对焦深度信息计算模块154耦接区块深度估测器151与位置离散检定模块153,以取得各目标物的各对焦深度信息,并据以获得相关的特征对焦深度信息。举例而言,当判断目标物的坐标位置为离散时,则可执行步骤S563,利用特征对焦深度信息计算模块154选取这些目标物中的最大目标物,其中最大目标物即具有特征对焦深度信息。而另一方面,当判断目标物的坐标位置为集中时,则可执行步骤S564,取得各目标物的各对焦深度信息。
接着,再执行步骤S565,对各对焦深度信息进行第二统计运算,并获得特征对焦深度信息,其中第二统计运算例如可为众数运算方法。举例而言,一种执行众数运算的方法例如是以区块内所涵盖到的各目标物中具有最多有效像素的目标物来作为对焦深度信息的依据,但本发明不以此为限。在其他可行的实施例中,此技术领域中普通技术人员当可依据实际需求来选择其他执行众数运算的方法,例如当不同目标物所涵括的无效像素数量都相同的话,执行众数运算的方法也可以表面积最大的目标物来作为对焦深度信息的依据,并进行后续运算,此处便不再赘述。
接着,再执行步骤S566,依据步骤S563或步骤S565所获得的特征对焦深度信息,取得关于目标物的对焦位置。在本实施例中,执行步骤S566的方法已在图2A实施例中的步骤S160的方法中详述,在此不再重述。此外,也值得注意的是,由于本实施例的自动对焦方法与前述实施例的自动对焦方法的差异仅在于取得关于各目标物的对焦位置信息时进行何种统计运算,但这并不影响前述实施例应用立体视觉的图像处理技术而产生三维深度图,并再对此三维深度图中各像素的深度信息进行判断并进行第一统计运算以取得对焦深度信息的技术特征。因此,本实施例的自动对焦方法与同样地具有前述实施例的自动对焦方法所描述的优点,在此便不再赘述。
综上所述,本发明的自动对焦装置以及自动对焦方法可通过上述应用立体视觉的图像处理技术而产生三维深度图,并再对此三维深度图中各像素的深度信息进行判断并进行统计运算以取得对焦位置。如此一来,本发明的自动对焦装置以及自动对焦方法除了可具有只需一幅图像的时间即可完成相关自动对焦步骤执行的功效外,也可克服因三维深度图中深度信息「破洞」而造成对焦错误的问题。此外,本发明的自动对焦装置以及自动对焦方法也可通过执行不同的统计运算方法,针对区块中各像素的深度信息进行适当处理,以计算出适合的对焦深度信息。因此本发明的自动对焦装置以及自动对焦方法除了可具有快速的对焦速度以及良好的稳定性外,也具有良好的对焦定位准确度。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (15)
1.一种自动对焦方法,其特征在于,适用于具有一第一与一第二图像传感器的一自动对焦装置,该自动对焦方法包括:
选取并使用该第一与该第二图像传感器拍摄至少一目标物,据以进行一三维深度估测而产生一三维深度图;
依据该至少一目标物的至少一起始对焦点来选取涵括该至少一起始对焦点的一区块;
查询该三维深度图以读取该区块中的多个像素的深度信息;
判断该些像素的深度信息是否足够进行运算,若是,对该些像素的深度信息进行一第一统计运算,并获得一对焦深度信息,若否,则移动该区块位置或扩大该区块的尺寸,以获得该对焦深度信息;以及
依据该对焦深度信息,取得关于该至少一目标物的一对焦位置,并驱动该自动对焦装置根据该对焦位置执行一自动对焦程序。
2.根据权利要求1所述的自动对焦方法,其特征在于,判断该些像素的深度信息是否足够进行运算的步骤包括:
分别判断各该像素的深度信息是否为一有效深度信息,若是,则判断为一有效像素;以及
判断该些有效像素的数量或该些有效像素与该些像素的比例是否大于一预设比例阀值。
3.根据权利要求1所述的自动对焦方法,其特征在于,在扩大该区块的尺寸的步骤之后还包括:
判断该区块的尺寸是否大于一预设范围阀值,若否,则返回判断该些像素的深度信息是否足够进行运算的步骤,若是,则判断对焦失败,驱动该自动对焦装置执行一泛焦对焦程序或以对比式对焦进行自动对焦或不予对焦。
4.根据权利要求1所述的自动对焦方法,其特征在于,选取该至少一目标物的方法包括:
通过该自动对焦装置接收一使用者用以选取该至少一目标物的至少一点选信号,或由该自动对焦装置进行一物件检测程序,以自动选取该至少一目标物,并取得该至少一起始对焦点的坐标位置。
5.根据权利要求1所述的自动对焦方法,其特征在于,当该至少一目标物为多个目标物时,取得关于该些目标物的该对焦位置的步骤包括:
计算该些目标物的该些对焦深度信息,并获得一平均对焦深度信息;
依据该平均对焦深度信息计算出一景深范围;以及
判断该些目标物是否皆落在该景深范围中,若是,则依据该平均深度对焦信息取得关于该些目标物的该对焦位置。
6.根据权利要求4所述的自动对焦方法,其特征在于,该至少一目标物为多个目标物时,该自动对焦方法还包括:
执行一目标物位置离散检定;以及
判断该些目标物的该些坐标位置是否离散。
7.根据权利要求6所述的自动对焦方法,其特征在于,该目标物位置离散检定为一标准差检定、一变异系数或一乱度检定。
8.根据权利要求6所述的自动对焦方法,其特征在于,当判断该些目标物的该些坐标位置为离散时,取得关于该些目标物的该对焦位置的步骤包括:
选取该些目标物中的一最大目标物,其中该最大目标物具有一特征对焦深度信息;以及
依据该特征对焦深度信息,取得关于该些目标物的该对焦位置。
9.根据权利要求6所述的自动对焦方法,其特征在于,当判断该些目标物的该些坐标位置为集中时,取得关于该些目标物的该对焦位置的步骤包括:
取得各该目标物的各该对焦深度信息;
对各该对焦深度信息进行一第二统计运算,并获得一特征对焦深度信息,其中该第二统计运算为一众数运算;以及
依据该特征对焦深度信息,取得关于该些目标物的该对焦位置。
10.根据权利要求1所述的自动对焦方法,其特征在于,该第一统计运算为一平均运算、一众数运算、一中值运算、一最小值运算或一四分位数运算。
11.一种自动对焦装置,其特征在于,包括:
一第一与一第二图像传感器,拍摄至少一目标物;
一对焦模块,控制该第一与该第二图像传感器的一对焦位置;以及
一处理单元,耦接该第一与该第二图像传感器以及该对焦模块,其中该处理单元包括:
一区块深度估测器,进行一三维深度估测而产生一三维深度图,依据该至少一目标物的至少一起始对焦点来选取涵括该至少一起始对焦点的一区块,并查询该三维深度图以读取该区块中的多个像素的深度信息;以及
一深度信息判断模块,耦接该区块深度估测器,该深度信息判断模块判断该些像素的深度信息是否足够进行运算,若否,该区块深度估测器移动该区块的位置或扩大该区块的尺寸,以读取该区块中的该些像素的深度信息;若是,则该处理单元驱动该区块深度估测器对该些像素的深度信息进行一第一统计运算以获得一对焦深度信息,该处理单元并依据该对焦深度信息取得关于该至少一目标物的一对焦位置,并驱动该自动对焦装置根据该对焦位置执行一自动对焦程序。
12.根据权利要求11所述的自动对焦装置,其特征在于:
该深度信息判断模块分别判断各该像素的深度信息是否为一有效深度信息,若是,则判断为一有效像素,并进一步判断该些有效像素的数量或该些有效像素与该些像素的比例是否大于一预设比例阀值,若是,则判断该些像素的深度信息足够进行运算。
13.根据权利要求11所述的自动对焦装置,其特征在于,还包括:
一存储单元,耦接该处理单元,用以存储该三维深度图以及一深度对照表,其中该处理单元依据该深度信息查询该深度对照表,以取得关于该目标物的该对焦位置。
14.根据权利要求11所述的自动对焦装置,其特征在于,该处理单元还包括:
一位置离散检定模块,耦接该区块深度估测器,以取得该至少一起始对焦点的坐标位置,当该至少一目标物为多个目标物时,该位置离散检定模块执行一目标物位置离散检定,并判断该些目标物的该些坐标位置是否离散。
15.根据权利要求14所述的自动对焦装置,其特征在于,该处理单元还包括:
一特征对焦深度信息计算模块,耦接该区块深度估测器与该位置离散检定模块,取得各该目标物的各该对焦深度信息,并据以获得一特征对焦深度信息,该处理单元并依据该特征对焦深度信息,取得关于该些目标物的该对焦位置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310157806.7A CN104133339B (zh) | 2013-05-02 | 2013-05-02 | 自动对焦方法及自动对焦装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310157806.7A CN104133339B (zh) | 2013-05-02 | 2013-05-02 | 自动对焦方法及自动对焦装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104133339A true CN104133339A (zh) | 2014-11-05 |
CN104133339B CN104133339B (zh) | 2017-09-01 |
Family
ID=51806072
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310157806.7A Expired - Fee Related CN104133339B (zh) | 2013-05-02 | 2013-05-02 | 自动对焦方法及自动对焦装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104133339B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106921828A (zh) * | 2015-12-25 | 2017-07-04 | 北京展讯高科通信技术有限公司 | 一种自动对焦统计信息的计算方法及装置 |
CN113916213A (zh) * | 2020-07-08 | 2022-01-11 | 北京猎户星空科技有限公司 | 定位方法、装置、电子设备和计算机可读存储介质 |
CN115242982A (zh) * | 2022-07-28 | 2022-10-25 | 业成科技(成都)有限公司 | 镜头调焦方法及其系统 |
WO2023231009A1 (zh) * | 2022-06-02 | 2023-12-07 | 北京小米移动软件有限公司 | 一种对焦方法、装置及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5175616A (en) * | 1989-08-04 | 1992-12-29 | Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of National Defence Of Canada | Stereoscopic video-graphic coordinate specification system |
US20110007135A1 (en) * | 2009-07-09 | 2011-01-13 | Sony Corporation | Image processing device, image processing method, and program |
CN102467661A (zh) * | 2010-11-11 | 2012-05-23 | Lg电子株式会社 | 多媒体设备及其控制方法 |
TW201300930A (zh) * | 2011-06-24 | 2013-01-01 | Mstar Semiconductor Inc | 自動對焦方法與裝置 |
-
2013
- 2013-05-02 CN CN201310157806.7A patent/CN104133339B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5175616A (en) * | 1989-08-04 | 1992-12-29 | Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of National Defence Of Canada | Stereoscopic video-graphic coordinate specification system |
US20110007135A1 (en) * | 2009-07-09 | 2011-01-13 | Sony Corporation | Image processing device, image processing method, and program |
CN101951525A (zh) * | 2009-07-09 | 2011-01-19 | 索尼公司 | 图像处理设备、图像处理方法和程序 |
CN102467661A (zh) * | 2010-11-11 | 2012-05-23 | Lg电子株式会社 | 多媒体设备及其控制方法 |
TW201300930A (zh) * | 2011-06-24 | 2013-01-01 | Mstar Semiconductor Inc | 自動對焦方法與裝置 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106921828A (zh) * | 2015-12-25 | 2017-07-04 | 北京展讯高科通信技术有限公司 | 一种自动对焦统计信息的计算方法及装置 |
CN106921828B (zh) * | 2015-12-25 | 2019-09-17 | 北京展讯高科通信技术有限公司 | 一种自动对焦统计信息的计算方法及装置 |
CN113916213A (zh) * | 2020-07-08 | 2022-01-11 | 北京猎户星空科技有限公司 | 定位方法、装置、电子设备和计算机可读存储介质 |
CN113916213B (zh) * | 2020-07-08 | 2024-07-23 | 北京猎户星空科技有限公司 | 定位方法、装置、电子设备和计算机可读存储介质 |
WO2023231009A1 (zh) * | 2022-06-02 | 2023-12-07 | 北京小米移动软件有限公司 | 一种对焦方法、装置及存储介质 |
CN115242982A (zh) * | 2022-07-28 | 2022-10-25 | 业成科技(成都)有限公司 | 镜头调焦方法及其系统 |
CN115242982B (zh) * | 2022-07-28 | 2023-09-22 | 业成科技(成都)有限公司 | 镜头调焦方法及其系统 |
Also Published As
Publication number | Publication date |
---|---|
CN104133339B (zh) | 2017-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104102068A (zh) | 自动对焦方法及自动对焦装置 | |
KR101862889B1 (ko) | 입체 카메라를 위한 자동초점 | |
US8754963B2 (en) | Processing images having different focus | |
EP3373248A1 (en) | Method, control device, and system for tracking and photographing target | |
US9530192B2 (en) | Method for determining stereo quality score and automatically improving the quality of stereo images | |
TWI471677B (zh) | 自動對焦方法及自動對焦裝置 | |
US20150124059A1 (en) | Multi-frame image calibrator | |
EP1610271A2 (en) | Segment based image matching method and system | |
US20150201182A1 (en) | Auto focus method and auto focus apparatus | |
US20220383530A1 (en) | Method and system for generating a depth map | |
CN105069804B (zh) | 基于智能手机的三维模型扫描重建方法 | |
CN105453136A (zh) | 使用自动聚焦反馈进行立体侧倾校正 | |
CN104899870A (zh) | 基于光场数据分布的深度估计方法 | |
US20120321211A1 (en) | Image processing device, image processing method, and image processing program | |
CN106031148B (zh) | 成像设备,成像设备中自动对焦的方法以及对应计算机程序 | |
CA2796543C (en) | System and method for performing depth estimation utilizing defocused pillbox images | |
CN109451240B (zh) | 对焦方法、装置、计算机设备和可读存储介质 | |
CN113572958B (zh) | 一种自动触发摄像机聚焦的方法及设备 | |
CN104133339A (zh) | 自动对焦方法及自动对焦装置 | |
US20100171815A1 (en) | Image data obtaining method and apparatus therefor | |
TWI460523B (zh) | 自動對焦方法及自動對焦裝置 | |
EP2733923A2 (en) | Multiresolution depth from defocus based autofocus | |
CN107645628B (zh) | 一种信息处理方法及装置 | |
CN110505398A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
TW201541143A (zh) | 使用多鏡頭的自動對焦系統及其方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170901 |
|
CF01 | Termination of patent right due to non-payment of annual fee |