CN103973957A - 双目3d相机自动调焦系统及方法 - Google Patents
双目3d相机自动调焦系统及方法 Download PDFInfo
- Publication number
- CN103973957A CN103973957A CN201310034041.8A CN201310034041A CN103973957A CN 103973957 A CN103973957 A CN 103973957A CN 201310034041 A CN201310034041 A CN 201310034041A CN 103973957 A CN103973957 A CN 103973957A
- Authority
- CN
- China
- Prior art keywords
- module
- binocular
- focus
- camera
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000003287 optical effect Effects 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 22
- 230000008901 benefit Effects 0.000 claims abstract description 7
- 238000004458 analytical method Methods 0.000 claims description 40
- 238000009877 rendering Methods 0.000 claims description 32
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 10
- 238000013519 translation Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 5
- 230000003321 amplification Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 4
- 230000006978 adaptation Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 11
- 238000011156 evaluation Methods 0.000 description 10
- 230000008878 coupling Effects 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 235000007926 Craterellus fallax Nutrition 0.000 description 1
- 240000007175 Datura inoxia Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009342 intercropping Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Abstract
本发明提供了一种双目3D相机自动调焦系统及方法,该系统包括:依次相连的光学模块、摄像模块、控制模块和驱动模块,其中,光学模块用以调整光圈和焦距,实现光路控制;摄像模块用以采集3D图像,并将采集到的3D图像发送至控制模块;控制模块用以对接收到的3D图像进行分析处理,确定场景最佳聚焦位置,并根据确定的最佳聚焦位置向驱动模块输出判决量;驱动模块用以根据接收到的判决量驱动光学模块准确聚焦。本发明具有能够满足3D相机自动聚焦的需求,实现3D场景的快速、自动聚焦的优点。
Description
技术领域
本发明涉及3D成像技术领域,具体地,涉及一种双目3D相机自动调焦系统及方法。
背景技术
近年来,3D影像技术得到长足发展,3D影像的获取主要有两种形式:1)采用2D相机+深度的方式扫描影像;2)采用双摄像机模仿双目视觉采集影像。以往的研究侧重于立体相机的系统设计及镜头设计,未见有双目3D相机自动聚焦的相关研究,针对相机自动聚焦的研究主要集中在2D相机设计领域。
中国专利公开号CN1115392A的发明专利公开了一种基于多个光发射体和接收单元的相机自动聚焦系统;中国专利公开号CN102169275A的发明专利公开了一种基于黄金分割非均匀采样窗口规划的自动聚焦系统;中国专利公开号CN102073194A的发明专利公开了一种具有自动聚焦功能的相机模块,该专利侧重于光学系统的灵活设计;中国专利公开号CN101743743A的发明专利公开了具有自动聚焦功能的照相机系统及其控制方法,该专利通过比较与关于图像传感部的输出的所要检测的对象的聚焦位置相应的位置传感器的标准输出与实际输出,辨别透镜模块聚焦的正确位置;中国专利公开号CN101713902A的发明专利公开了一种快速的相机自动聚焦,该专利计算两个不同影像号处获取的场景的两个图像之间的模糊差来预测第三影像号,进而自动聚焦于场景;中国专利公开号CN101634795A的发明专利公开了一种相机自动聚焦方法及系统,该专利依据所检测到四边形限定的图像区域计算聚焦位置,采用被动式自动聚焦的方式计算聚焦位置;中国专利公开号CN101571660A的发明专利公开了一种数码相机及其自动聚焦方法,该专利检测第一位置与第二位置对应的焦距值与评估值的关系的第一曲线和第二曲线,根据第二曲线的最小评估值计算最佳焦距;中国专利公开号CN101470324A的发明专利公开了一种照相机的自动聚焦设备和方法,通过测距传感器测量对象的距离值,确定将聚焦透镜相对于所测距离值移动的位移;中国专利公开号CN101329494A的发明专利公开了一种照相机装置和自动聚焦控制方法,该专利在相机主体内设置检测3轴方 向的加速的加速度传感器,定期累计3个方向的位移距离,补偿焦点偏移;中国专利公开号CN101261353A的发明专利公开了一种相机的自动聚焦方法,该方法通过确定获得边缘值中的最大边缘值,并且基于最大边缘值识别镜头系统的聚焦位置,调整聚焦;中国专利公开号CN1511412A的发明专利公开了一种自动聚焦设备、电子照相机和自动聚焦方法,该专利沿光轴连续移动聚焦透镜,根据从CCD输出图像中的高频分量,计算AF最大值所对应的位置,进而调整焦距。
上述技术均为针对2D相机在机械及算法层面实现对相机焦距的调整,并未考虑到3D影像的性质,因而不能满足3D相机自动聚焦的实际需求。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种双目3D相机自动调焦系统及方法,本发明可以根据立体景象的特点,自动选择合适的聚焦点,对相机镜头进行调整,使得所拍摄的3D影像中,尽可能保留细节信息和深度信息。
根据本发明的一个方面,提供一种双目3D相机自动调焦系统,包括:依次相连的光学模块、摄像模块、控制模块和驱动模块,其中,光学模块用以调整光圈和焦距,实现光路控制;摄像模块用以采集3D图像,并将采集到的3D图像发送至控制模块;控制模块用以对接收到的3D图像进行分析处理,确定场景最佳聚焦位置,并根据确定的最佳聚焦位置向驱动模块输出判决量;驱动模块用以根据接收到的判决量驱动光学模块准确聚焦。
优选地,该控制模块包括:
纹理分析子模块:与摄像模块连接,用以对3D图像的高频分量进行分析,检测图像的模糊程度;
深度分析子模块:与摄像模块连接,用以对双目3D图像计算深度图,根据深度图计算深度信息熵;
综合判断子模块:分别与纹理分析子模块和深度分析子模块连接,用以对纹理分析模块和深度分析模块的计算结果做混合处理,产生唯一的信息量,并根据对该信息量的遍历,最终确定最佳聚焦位置。
优选地,该光学模块包括两个百摄宝Icarex35S-EOS变焦镜头。
优选地,该摄像模块包括两个CMOS摄像头。
优选地,该控制模块采用ARM11ProcessorS3C6410芯片。
优选地,该驱动模块包括D/A变换电路和模拟放大器,D/A变换电路与控制模块 连接,用以将控制模块输出的判决量数值控制信号线性变换为模拟量;模拟放大器与D/A变换电路连接,用以实现对D/A信号的放大,使其具有足够的功率驱动调焦镜头。
根据本发明的另一个方面,提供一种双目3D相机自动调焦方法,包括以下步骤:
步骤一,摄像模块采集场景3D图像,并将采集到的3D图像发送至控制模块;
步骤二,控制模块对接收到的3D图像进行深度分析和纹理分析处理,并根据纹理分析和深度分析计算结果做综合判断,确定最佳聚焦位置;
步骤三,控制模块根据得到的最佳聚焦位置向驱动模块发出判决信号,驱动模块根据接收到的判决信号驱动光学模块准确聚焦。
优选地,步骤二中的深度分析处理具体为:首先,双目3D图像经过预处理降低噪声等无效信息;然后,将处理后的双目3D图像采用对极约束进行匹配处理,获取匹配点对;最后,在匹配点对的基础上,计算视差信息,并将视差信息与深度进行转换,计算出深度图场景。
优选地,步骤二中的纹理分析处理具体为:选取图像中心区域为聚焦窗口A、B,窗口A包含窗口B,对聚焦窗口采用阈值梯度检测图像的模糊程度,采用对梯度矩阵进行阈值处理,去掉较小的梯度值,减小其负面影响,并给梯度矩阵加一个大的阈值,去掉梯度值中很大的部分即噪声部分。
优选地,步骤二中的综合判断采用自适应变步长登山搜索算法,在离焦较远的位置采用图像边缘点判据和大步长进行快速粗调,而在焦点附近由改进的聚焦评价Tenengrad函数精确细调,具体为:
首先,采用式(2)计算序列图像相邻两帧图像窗口A中各点像素的G(x,y),比较满足阈值条件的边缘点数目,并边缘点数目被该区域内的深度熵乘性加权,进行粗略聚焦,其中:
式(2)为:
式中:Gx(i,j)和Gy(i,j)为图像与Sobel边缘算子的卷积在(i,j)处的值;
设当前图像i窗口A的边缘点数目为N(Ai),前一帧图像i-1区域A的边缘点数目为N(Ai-1),c为[0,1]内给定的常数,则:
(1)若N(Ai)与N(Ai-1)相差不大,表明以上一次的步长进行搜索对调焦效果的影响不大,则保持聚焦搜索方向不变,可增大调焦步长;
(2)若N(Ai)与N(Ai-1)相差较大,表明以上一次的步长搜索对调焦效果的影响较大,搜索已经进入了聚焦点附近区域,则保持聚焦搜索方向不变,减小搜索步长;
(3)若N(Ai)与N(Ai-1)相比明显减少,则说明聚焦峰值已出现,应改变搜索方向,进入精确细调聚焦;
之后,在粗略聚焦后,聚焦评价Tenengrad函数对相邻两帧采样图像窗口B进行分析,每次过峰值之后,调整步长减为原来的一半,直至最后准确聚焦。
改进的聚焦评价函数为:
式中G(x,y)如公式2,M,N为梯度阈值处理的上下门限。
当前图像i区域B的聚焦评价值为F(Bi),前一帧图像i-1区域B的聚焦评价值为F(Bi-1),则当F(Bi)>F(Bi-1),搜索方向不变,当F(Bi)<F(Bi-1),方向反向,步长减为一半。直至搜索方向改变次数达到3次,聚焦结束。
与现有技术相比,本发明具有如下的有益效果:本发明充分考虑3D影像的性质,首先,对采集到的双目3D图像进行深度处理,计算出深度图场景,再进行纹理处理选取聚焦窗口,并对聚焦窗口采用阈值梯度与图像边缘点判据并结合改进的Tenengrad聚焦评价函数的方法进行综合判决,实现自动准确聚焦。与现有技术相比,本发明适用于双目3D相机的设计及拍摄现场的控制,可以根据立体景象的特点,自动选择合适的聚焦点,对相机镜头进行调整,使得所拍摄的3D影像中,尽可能保留细节信息和深度信息,实现对场景的快速、自动聚焦。因此,与现技术相比,本发明具有能够满足3D相机自动聚焦的需求,实现3D场景的快速、自动聚焦的优点。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明双目3D相机自动调焦系统的结构原理图;
图2为本发明实施例的控制模块的结构原理图;
图3为本发明双目3D相机自动调焦系统的硬件结构框图;
图4为本发明实施例的深度图获取示意图;
图5为本发明实施例的聚焦窗口选择示意图。
图中:1为光学模块,2为摄像模块,3为控制模块,4为驱动模块,31为纹理分析子模块,32为深度分析子模块,33为综合判断子模块。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进。这些都属于本发明的保护范围。
请参阅图1至图3,一种双目3D相机自动调焦系统,包括:依次相连的光学模块1、摄像模块2、控制模块3和驱动模块4,其中,光学模块1用以调整光圈和焦距,实现光路控制;摄像模块2用以采集3D图像,并将采集到的3D图像发送至控制模块3;控制模块3用以对接收到的3D图像进行分析处理,确定场景最佳聚焦位置,并根据确定的最佳聚焦位置向驱动模块4输出判决量;驱动模块4用以根据接收到的判决量驱动光学模块1准确聚焦。
光学模块1主要实现对光路的控制,如光圈和焦距调整。包括两个独立的、相同参数的百摄宝Icarex35S-EOS变焦镜头。两个镜头以水平、并排方式平行安置于机架上,变焦镜头采用电驱动,实现焦距1.4-4.0倍的光学焦距调整。在此范围内,驱动电压幅度线性变化,两个镜头采用同一驱动模拟量控制,以保证聚焦点一致性。光学模块1还包括透镜模块,能够在光轴方向上线性运动,使得最佳聚焦点相应前后变化。
摄像模块2主要由图像传感器部构成,用于输出通过透镜模块捕获对象的图像电信号。摄像模块2可以由一个传感器部或两个传感器组成。当采用一个传感器拍摄3D场景时,在特点时刻将双目图像同时投影至光电传感器,再由扫描电路统一读出。当采用两个相同传感器拍摄3D场景时,需对两个传感器进行同步采样控制及读取。
具体地,本实施例中,摄像模块2包括两个CMOS摄像头,两个摄像头相互独立,被对齐且平行安置在机架上。两个摄像头的信号通过USB接口输出至控制模块3。CMOS摄像头的图像输出由控制模块3控制,由控制模块3保证左右眼CMOS相机图像的一致。
控制模块3主要实现对3D影像的分析,计算3D影像中每帧图像的有效信息量。通过一次扫描遍历,即通过对一系列不同聚焦点3D图像进行分析,确定信息量最大的图像对及其所对应的聚焦位置即为该场景的最佳聚焦点。其进一步包括:
纹理分析子模块31:与摄像模块连接,用以对3D图像的高频分量进行分析,检测图像的模糊程度;
深度分析子模块32:与摄像模块连接,用以对双目3D图像计算深度图,根据深度 图计算深度信息熵;
综合判断子模块33:分别与纹理分析子模块和深度分析子模块连接,用以对纹理分析模块和深度分析模块的计算结果做混合处理,产生唯一的信息量,并根据对该信息量的遍历,最终确定最佳聚焦位置。
控制模块3是整个系统的核心,在硬件组成上,其包括ARM11的CPU以及相应的外围电路组成。ARM11CPU为ARM11ProcessorS3C6410芯片,外围电路主要包括系统电源,存储器(SDRAM和FLASH)和驱动电路。
驱动模块用于生成移动透镜模块的驱动力,使得光学模块快速、线性的沿光轴运动。其包括D/A变换电路和模拟放大器,D/A变换电路与控制模块连接,用以将控制模块输出的判决量数值控制信号线性变换为模拟量;模拟放大器与D/A变换电路连接,用以实现对D/A信号的放大,使其具有足够的功率驱动调焦镜头。
本发明双目3D相机的自动聚焦系统通过分析不同聚焦条件下双目图像内容的差异,查找其中包含最多纹理信息和深度信息的图像对,并将其对应的聚焦点,作为最佳聚焦点,最终实现双目3D相机的自动聚焦。
具有上述的双目3D相机自动调焦系统,本发明还提供一种双目3D相机自动调焦方法,包括以下步骤:
步骤一,摄像模块采集场景3D图像,并将采集到的3D图像发送至控制模块。
步骤二,控制模块对接收到的3D图像进行深度分析和纹理分析处理,并根据纹理分析和深度分析计算结果做综合判断,确定最佳聚焦位置。
深度分析处理过程为:首先,双目3D图像经过预处理降低噪声等无效信息;然后,将处理后的双目3D图像采用对极约束进行匹配处理,获取匹配点对;最后,在匹配点对的基础上,计算视差信息,并将视差信息与深度进行转换,计算出深度图场景。
深度图获取的步骤如图4所示。首先,左右眼信号先经过滤波等处理降低噪声等无效信息。然后将处理后的左右眼信号进行匹配处理,获取匹配的点对。在匹配点对的基础上,计算视差信息,再将视差信息与深度进行转换,计算出深度图场景。
在匹配前,首先选择匹配基元,选择能表征景物属性的特征作为匹配基元,使用对极约束寻找匹配点。
立体视觉处理中对搜索对应点时分为两步来解决。第一步,在单幅图像做预处理的时候通过抽取图像局部结构较为丰富的描述来减少错误对应的可能性;第二步,是在两幅图像的对应点间作匹配应用选择性规则来限制搜索空间。在本实例中引入灰度约束条 件和平滑性约束。灰度约束条件保证左右图像的对应点的灰度值相同;平滑约束条件保证表面深度变化是连续的。
输入两幅立体图像对CL和CR,设PL和PR分别为这两幅图像中的像素点,R为相关窗口的宽度,R(PL)是CL中PL相关的搜索区域,则是两个像素的相关函数。对于CL中的每一个像素有
PL的视差就是R(PL)中使c(d)最大值的矢量d。
输出的是对应CL中每一个像素点的视差的宿主,也就是视差图像,再根据深度图像和视差图像在上文中的转换关系,就可以得到深度图像了D。最终由深度图D计算它的信息熵HD。
纹理分析处理过程为:选取图像中心区域为聚焦窗口A、B,窗口A包含窗口B,对聚焦窗口采用阈值梯度检测图像的模糊程度,采用对梯度矩阵进行阈值M处理,去掉较小的梯度值,减小其负面影响,并给梯度矩阵加一个大的阈值N,去掉梯度值中很大的部分即噪声部分。
纹理分析部分,为了使评价函数在峰值两侧具有更好的单调性,需要抑制过渡带在梯度和中所占的比重。所以,采用对梯度矩阵进行阈值M处理,去掉较小的梯度值,减小其负面影响,提高评价函数的有效性和准确性。另一方面,对图像进行微分运算或梯度运算,虽然获得了图像的边缘及细节信息,但同时也加强了噪声,当噪声引起的干扰达到一定程度时,就会产生聚焦错误。为了减小高频噪声的影响,可以再给梯度矩阵加一个大的阈值N,去掉梯度值中很大的部分即噪声部分。
由于图像中多个目标物距不同,加之图像曝光度不够时产生的大量噪声或图像中包含高亮目标等因素的影响,直接对整幅图像运用聚焦判据,很容易出现误聚焦。考虑到图像中心区域通常为有用或感兴趣区域,图像聚焦窗口选取如图4所示,中心区域由窗口A、B组成,其中A包含B,窗口大小可根据实际情况进行调整。对聚焦窗口采用阈值梯度检测的方法,不仅较好地解决了由噪声和高亮目标的影响,而且图像中心区域计算量不大,保证了聚焦实时性。
综合判断采用自适应变步长登山搜索算法,在离焦较远的位置采用图像边缘点判据和大步长进行快速粗调,而在焦点附近由改进的聚焦评价Tenengrad函数精确细调,具体为:
首先,采用式(2)计算序列图像相邻两帧图像窗口A中各点像素的G(x,y),比较满 足阈值条件的边缘点数目,并边缘点数目被该区域内的深度熵乘性加权,进行粗略聚焦。
式中:Gx(i,j)和Gy(i,j)为图像与Sobel边缘算子的卷积在(i,j)处的值。
设当前图像i窗口A的边缘点数目为N(Ai),前一帧图像i-1区域A的边缘点数目为N(Ai-1),c为[0,1]内给定的常数,则:
(1)若N(Ai)与N(Ai-1)相差不大,表明以上一次的步长进行搜索对调焦效果的影响不大,则保持聚焦搜索方向不变,可增大调焦步长;
(2)若N(Ai)与N(Ai-1)相差较大,表明以上一次的步长搜索对调焦效果的影响较大,搜索已经进入了聚焦点附近区域,则保持聚焦搜索方向不变,减小搜索步长;
(3)若N(Ai)与N(Ai-1)相比明显减少,则说明聚焦峰值已出现,应改变搜索方向,进入精确细调聚焦;
之后,在粗略聚焦后,聚焦评价Tenengrad函数对相邻两帧采样图像窗口B进行分析,每次过峰值之后,调整步长减为原来的一半,直至最后准确聚焦。
改进的聚焦评价函数表示为:
式中G(x,y)如公式2,M,N为上文中梯度阈值处理的上下门限。
当前图像i区域B的聚焦评价值为F(Bi),前一帧图像i-1区域B的聚焦评价值为F(Bi-1),则当F(Bi)>F(Bi-1),搜索方向不变,当F(Bi)<F(Bi-1),方向反向,步长减为一半。直至搜索方向改变次数达到3次,聚焦结束。
步骤三,控制模块根据得到的最佳聚焦位置向驱动模块发出判决信号,驱动模块根据接收到的判决信号驱动光学模块准确聚焦。
3D影像不仅包含场景的平面信息,还包含场景的深度信息。3D相机在最佳聚焦时需要尽可能的保存上述两种信息。双目3D相机的自动对焦系统由变焦光学模块,摄像模块,控制模块及驱动模块组成。光学模块实现对左右眼摄像模块光路的协同同步调整;摄像模块完成光电信号转换;控制模块分析场景,找出最佳聚焦位置;驱动模块实现对控制信号的变换及放大。系统中的控制模块对双目影像的深度信息及纹理信息进行分析,分别产生量纲,再对这二个量纲进行加权运算,通过遍历,找到最大值点,产生最佳控制量。本发明适用于双目3D相机的设计及拍摄现场的控制,可以根据立体景象的特点,自动选择合适的聚焦点,对相机镜头进行调整,使得所拍摄的3D影像中,尽可能保留细节信息和深度信息,实现对场景的快速、自动聚焦。与现技术相比,本发明具 有能够满足3D相机自动聚焦的需求,实现3D场景的快速、自动聚焦的优点。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变形或修改,这并不影响本发明的实质内容。
Claims (10)
1.一种双目3D相机自动调焦系统,其特征在于,包括:依次相连的光学模块、摄像模块、控制模块和驱动模块,其中,
所述光学模块用以调整光圈和焦距,实现光路控制;
所述摄像模块用以采集3D图像,并将采集到的3D图像发送至所述控制模块;
所述控制模块用以对接收到的3D图像进行分析处理,确定场景最佳聚焦位置,并根据确定的最佳聚焦位置向所述驱动模块输出判决量;
所述驱动模块用以根据接收到的判决量驱动所述光学模块准确聚焦。
2.根据权利要求1所述的双目3D相机自动调焦系统,其特征在于,所述控制模块包括:
纹理分析子模块:与所述摄像模块连接,用以对3D图像的高频分量进行分析,检测图像的模糊程度;
深度分析子模块:与所述摄像模块连接,用以对双目3D图像计算深度图,根据深度图计算深度信息熵;
综合判断子模块:分别与所述纹理分析子模块和深度分析子模块连接,用以对所述纹理分析模块和深度分析模块的计算结果做混合处理,产生唯一的信息量,并根据对该信息量的遍历,最终确定最佳聚焦位置。
3.根据权利要求1所述的双目3D相机自动调焦系统,其特征在于,所述光学模块包括两个百摄宝Icarex35S-EOS变焦镜头。
4.根据权利要求1所述的双目3D相机自动调焦系统,其特征在于,所述摄像模块包括两个CMOS摄像头。
5.根据权利要求1所述的双目3D相机自动调焦系统,其特征在于,所述控制模块采用ARM11ProcessorS3C6410芯片。
6.根据权利要求1所述的双目3D相机自动调焦系统,其特征在于,所述驱动模块包括D/A变换电路和模拟放大器,所述D/A变换电路与所述控制模块连接,用以将控制模块输出的判决量数值控制信号线性变换为模拟量;所述模拟放大器与所述D/A变换电路连接,用以实现对D/A信号的放大,使其具有足够的功率驱动调焦镜头。
7.一种双目3D相机自动调焦方法,其特征在于,包括以下步骤:
步骤一,摄像模块采集场景3D图像,并将采集到的3D图像发送至控制模块;
步骤二,控制模块对接收到的3D图像进行深度分析和纹理分析处理,并根据纹理分析和深度分析计算结果做综合判断,确定最佳聚焦位置;
步骤三,控制模块根据得到的最佳聚焦位置向驱动模块发出判决信号,驱动模块根据接收到的判决信号驱动光学模块准确聚焦。
8.根据权利要求7所述的双目3D相机自动调焦方法,其特征在于,步骤二中所述的深度分析处理具体为:首先,双目3D图像经过预处理降低包含噪声在内的无效信息;然后,将处理后的双目3D图像采用对极约束进行匹配处理,获取匹配点对;最后,在匹配点对的基础上,计算视差信息,并将视差信息与深度进行转换,计算出深度图场景。
9.根据权利要求7所述的双目3D相机自动调焦方法,其特征在于,步骤二中所述的纹理分析处理具体为:选取图像中心区域为聚焦窗口A、B,窗口A包含窗口B,窗口大小可根据实际情况调整,对聚焦窗口采用阈值梯度检测图像的模糊程度,采用对梯度矩阵进行阈值处理,去掉较小的梯度值,减小其负面影响,并给梯度矩阵加一个大的阈值,去掉梯度值中很大的部分即噪声部分。
10.根据权利要求7所述的双目3D相机自动调焦方法,其特征在于,步骤二中所述的综合判断采用自适应变步长登山搜索算法,在离焦较远的位置采用图像边缘点判据和大步长进行快速粗调,而在焦点附近由改进的聚焦评价Tenengrad函数精确细调,具体为:
首先,采用式(2)计算序列图像相邻两帧图像窗口A中各点像素的G(x,y),比较满足阈值条件的边缘点数目,并边缘点数目被该区域内的深度熵乘性加权,进行粗略聚焦,其中:
式(2)为:
式中:Gx(i,j)和gy(i,j)为图像与Sobel边缘算子的卷积在(i,j)处的值;
设当前图像i窗口A的边缘点数目为N(Ai),前一帧图像i-1窗口A的边缘点数目为N(Ai-1),c为[0,1]内给定的常数,则:
(1)若N(Ai)与N(Ai-1)相差不大,表明以上一次的步长进行搜索对调焦效果的影响不大,则保持聚焦搜索方向不变,增大调焦步长;
(2)若N(Ai)与N(Ai-1)相差较大,表明以上一次的步长搜索对调焦效果的影响较大,搜索已经进入了聚焦点附近区域,则保持聚焦搜索方向不变,减小搜索步长;
(3)若N(Ai)与N(Ai-1)相比明显减少,则说明聚焦峰值已出现,应改变搜索方向,进入精确细调聚焦;
之后,在粗略聚焦后,采用改进的聚焦评价Tenengrad函数对相邻两帧采样图像窗口B进行分析,每次过峰值之后,调整步长减为原来的一半,直至最后准确聚焦;其中,
所述改进的聚焦评价Tenengrad函数为:
式中G(x,y)如式(2),M,N为梯度阈值处理的上下门限。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310034041.8A CN103973957B (zh) | 2013-01-29 | 2013-01-29 | 双目3d相机自动调焦系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310034041.8A CN103973957B (zh) | 2013-01-29 | 2013-01-29 | 双目3d相机自动调焦系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103973957A true CN103973957A (zh) | 2014-08-06 |
CN103973957B CN103973957B (zh) | 2018-07-06 |
Family
ID=51242958
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310034041.8A Expired - Fee Related CN103973957B (zh) | 2013-01-29 | 2013-01-29 | 双目3d相机自动调焦系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103973957B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104469168A (zh) * | 2014-12-29 | 2015-03-25 | 信利光电股份有限公司 | 摄像模组及其自动对焦方法 |
CN104836960A (zh) * | 2015-05-29 | 2015-08-12 | 京东方科技集团股份有限公司 | 一种图像采集系统和图像采集方法 |
CN106292003A (zh) * | 2016-08-16 | 2017-01-04 | 凌云光技术集团有限责任公司 | 一种用于光学检测lcd 屏幕的自动调整方法、装置及系统 |
CN106412557A (zh) * | 2016-11-02 | 2017-02-15 | 深圳市魔眼科技有限公司 | 一种3d摄像控制方法及3d摄像控制装置 |
CN106657777A (zh) * | 2016-11-29 | 2017-05-10 | 武汉格物优信科技有限公司 | 一种红外热像仪自动对焦方法和系统 |
CN108881729A (zh) * | 2018-07-30 | 2018-11-23 | 鹰利视医疗科技有限公司 | 一种内窥镜的自动对焦方法 |
CN108924428A (zh) * | 2014-09-30 | 2018-11-30 | 华为技术有限公司 | 一种自动对焦方法、装置及电子设备 |
CN109003251A (zh) * | 2018-02-01 | 2018-12-14 | 李峻 | 一种基于图像检测来净化空气的方法 |
CN109141240A (zh) * | 2018-09-05 | 2019-01-04 | 天目爱视(北京)科技有限公司 | 一种自适应3d测量及信息获取装置 |
CN109240022A (zh) * | 2017-07-11 | 2019-01-18 | 光芒光学股份有限公司 | 变焦镜头 |
CN112444793A (zh) * | 2019-08-30 | 2021-03-05 | Oppo广东移动通信有限公司 | 飞行时间tof系统和tof发射器 |
CN113037998A (zh) * | 2021-02-04 | 2021-06-25 | 浙江大华技术股份有限公司 | 一种聚焦方法、摄像装置及存储介质 |
CN113260835A (zh) * | 2018-12-14 | 2021-08-13 | 光谱Md公司 | 用于高精度多孔径光谱成像的系统和方法 |
CN114422665A (zh) * | 2021-12-23 | 2022-04-29 | 广东未来科技有限公司 | 一种基于多摄像头的拍摄方法及相关装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1584737A (zh) * | 2003-08-19 | 2005-02-23 | 鸿富锦精密工业(深圳)有限公司 | 立体取像数码相机模块 |
CN101924923A (zh) * | 2010-08-03 | 2010-12-22 | 杭州翰平电子技术有限公司 | 嵌入式智能自动变焦抓拍系统及方法 |
US20120147150A1 (en) * | 2010-12-10 | 2012-06-14 | Sanyo Electric Co., Ltd. | Electronic equipment |
CN102665087A (zh) * | 2012-04-24 | 2012-09-12 | 浙江工业大学 | 3d立体摄像设备的拍摄参数自动调整系统 |
-
2013
- 2013-01-29 CN CN201310034041.8A patent/CN103973957B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1584737A (zh) * | 2003-08-19 | 2005-02-23 | 鸿富锦精密工业(深圳)有限公司 | 立体取像数码相机模块 |
CN101924923A (zh) * | 2010-08-03 | 2010-12-22 | 杭州翰平电子技术有限公司 | 嵌入式智能自动变焦抓拍系统及方法 |
US20120147150A1 (en) * | 2010-12-10 | 2012-06-14 | Sanyo Electric Co., Ltd. | Electronic equipment |
CN102665087A (zh) * | 2012-04-24 | 2012-09-12 | 浙江工业大学 | 3d立体摄像设备的拍摄参数自动调整系统 |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108924428A (zh) * | 2014-09-30 | 2018-11-30 | 华为技术有限公司 | 一种自动对焦方法、装置及电子设备 |
CN104469168A (zh) * | 2014-12-29 | 2015-03-25 | 信利光电股份有限公司 | 摄像模组及其自动对焦方法 |
CN104836960A (zh) * | 2015-05-29 | 2015-08-12 | 京东方科技集团股份有限公司 | 一种图像采集系统和图像采集方法 |
CN104836960B (zh) * | 2015-05-29 | 2017-12-08 | 京东方科技集团股份有限公司 | 一种图像采集系统和图像采集方法 |
CN106292003A (zh) * | 2016-08-16 | 2017-01-04 | 凌云光技术集团有限责任公司 | 一种用于光学检测lcd 屏幕的自动调整方法、装置及系统 |
CN106292003B (zh) * | 2016-08-16 | 2019-08-16 | 凌云光技术集团有限责任公司 | 一种用于光学检测lcd屏幕的自动调整方法、装置及系统 |
CN106412557A (zh) * | 2016-11-02 | 2017-02-15 | 深圳市魔眼科技有限公司 | 一种3d摄像控制方法及3d摄像控制装置 |
CN106657777A (zh) * | 2016-11-29 | 2017-05-10 | 武汉格物优信科技有限公司 | 一种红外热像仪自动对焦方法和系统 |
CN109240022A (zh) * | 2017-07-11 | 2019-01-18 | 光芒光学股份有限公司 | 变焦镜头 |
CN109003251A (zh) * | 2018-02-01 | 2018-12-14 | 李峻 | 一种基于图像检测来净化空气的方法 |
CN108881729A (zh) * | 2018-07-30 | 2018-11-23 | 鹰利视医疗科技有限公司 | 一种内窥镜的自动对焦方法 |
CN109141240A (zh) * | 2018-09-05 | 2019-01-04 | 天目爱视(北京)科技有限公司 | 一种自适应3d测量及信息获取装置 |
CN109141240B (zh) * | 2018-09-05 | 2019-10-18 | 天目爱视(北京)科技有限公司 | 一种自适应3d测量及信息获取装置 |
CN113260835A (zh) * | 2018-12-14 | 2021-08-13 | 光谱Md公司 | 用于高精度多孔径光谱成像的系统和方法 |
CN112444793A (zh) * | 2019-08-30 | 2021-03-05 | Oppo广东移动通信有限公司 | 飞行时间tof系统和tof发射器 |
CN113037998A (zh) * | 2021-02-04 | 2021-06-25 | 浙江大华技术股份有限公司 | 一种聚焦方法、摄像装置及存储介质 |
CN114422665A (zh) * | 2021-12-23 | 2022-04-29 | 广东未来科技有限公司 | 一种基于多摄像头的拍摄方法及相关装置 |
Also Published As
Publication number | Publication date |
---|---|
CN103973957B (zh) | 2018-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103973957A (zh) | 双目3d相机自动调焦系统及方法 | |
KR102278776B1 (ko) | 이미지 처리 방법, 기기, 및 장치 | |
Wang et al. | Selective light field refocusing for camera arrays using bokeh rendering and superresolution | |
CN109521547B (zh) | 一种变步长的自动调焦方法及系统 | |
CN109451244B (zh) | 一种基于液体镜头的自动调焦方法及系统 | |
CN106412426B (zh) | 全聚焦摄影装置及方法 | |
CN107369148B (zh) | 基于改进sml与导向滤波的多聚焦图像融合方法 | |
US20120147150A1 (en) | Electronic equipment | |
TWI538512B (zh) | 調整對焦位置的方法及電子裝置 | |
WO2014044126A1 (zh) | 坐标获取装置、实时三维重建系统和方法、立体交互设备 | |
JP2011029905A (ja) | 撮像装置、方法およびプログラム | |
CN102959942B (zh) | 立体观看用图像拍摄装置及其控制方法 | |
CN101950116B (zh) | 一种应用于多主体场景的视频自动聚焦方法 | |
US9185393B2 (en) | Image capturing device, semiconductor integrated circuit, and image capturing method | |
CN103733133A (zh) | 摄像装置、其控制方法和程序 | |
CN109064505A (zh) | 一种基于滑动窗口张量提取的深度估计方法 | |
US20120182448A1 (en) | Distance estimation systems and method based on a two-state auto-focus lens | |
CN107680152A (zh) | 基于图像处理的目标物表面形貌测量方法和装置 | |
US9602797B2 (en) | Stereoscopic image processing apparatus, stereoscopic image processing method, and stereoscopic image processing program | |
TWI518305B (zh) | 影像擷取方法 | |
CN104853080A (zh) | 图像处理装置 | |
KR101983047B1 (ko) | 화상처리방법, 화상처리장치 및 촬상 장치 | |
CN104756493A (zh) | 摄像装置、图像处理装置、摄像装置的控制程序及图像处理装置的控制程序 | |
CN106254855B (zh) | 一种基于变焦测距的三维建模方法及系统 | |
CN201667683U (zh) | 一种大变焦比自动聚焦一体化摄像机 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB03 | Change of inventor or designer information |
Inventor after: Wang Ci Inventor after: Wu Dongfang Inventor after: Su Zhao Inventor after: Dong Haibo Inventor before: Wang Ci Inventor before: Su Zhao Inventor before: Dong Haibo |
|
CB03 | Change of inventor or designer information | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180706 |
|
CF01 | Termination of patent right due to non-payment of annual fee |