CN111598997A - 一种基于聚焦堆栈单体数据子集架构的全局计算成像方法 - Google Patents

一种基于聚焦堆栈单体数据子集架构的全局计算成像方法 Download PDF

Info

Publication number
CN111598997A
CN111598997A CN202010398746.8A CN202010398746A CN111598997A CN 111598997 A CN111598997 A CN 111598997A CN 202010398746 A CN202010398746 A CN 202010398746A CN 111598997 A CN111598997 A CN 111598997A
Authority
CN
China
Prior art keywords
monomer
focus
depth
image
stack
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010398746.8A
Other languages
English (en)
Other versions
CN111598997B (zh
Inventor
刘畅
邱钧
亢新凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Information Science and Technology University
Original Assignee
Beijing Information Science and Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Information Science and Technology University filed Critical Beijing Information Science and Technology University
Priority to CN202010398746.8A priority Critical patent/CN111598997B/zh
Publication of CN111598997A publication Critical patent/CN111598997A/zh
Application granted granted Critical
Publication of CN111598997B publication Critical patent/CN111598997B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于聚焦堆栈单体数据子集架构的全局计算成像方法，该方法包括：步骤1，从场景图像聚焦堆栈数据中找出聚焦测度最大的场景图像；步骤2，在场景图像中划分所有单体区域对应的区域图像；步骤3，在最大聚焦测度的场景图像的单体区域图像上，找出单体区域；步骤4，利用单体区域找出第j个单体的聚焦堆栈数据；步骤5，在单体区域中选定代表区域，从第j个单体的聚焦堆栈数据的I个场景图像中筛选出V个场景图像，得到第j个单体的第v个图像和聚焦堆栈单体数据子集；步骤6，对单体进行深度重建和全聚焦成像；步骤7，局部一致性优化；步骤8，全局融合。本发明能够提高聚焦堆栈重建的计算的效率、实现三维场景单体的高精度重建。

Description

一种基于聚焦堆栈单体数据子集架构的全局计算成像方法
技术领域
本发明涉及计算机视觉与数字图像处理技术领域，特别是关于一种基于聚焦堆栈单体数据子集架构的全局计算成像方法。
背景技术
聚焦堆栈计算成像是计算成像的一种手段，可实现深度重建、全聚焦成像和光场重建。聚焦堆栈数据的获取是从固定角度拍摄一组聚焦在不同平面的图像，可通过移动被拍摄物体、移动(或改变)成像镜头、或者移动成像探测器实现。
聚焦堆栈数据蕴含着丰富的场景信息，比如：利用聚焦测度逐像素处理聚焦堆栈数据，可以实现场景深度和全聚焦图的重建；利用投影模型，可以由聚焦堆栈数据重建出任意角度分辨率的光场，实现光场显示和立体显示。
由于聚焦堆栈数据的数据量大，在一些应用场景中需要在较高的时间分辨率完成数据采集，减少聚焦堆栈数据的数据量，高效计算深度和全聚焦图，是聚焦堆栈计算成像应用研究的重点。目前，对于提升聚焦堆栈计算成像的计算效率，主要是通过减少聚焦堆栈数据的数据量来实现，然而，在减少聚焦堆栈数据的数据量的同时，却带来了重建精度下降的问题。
发明内容
本发明的目的在于提供一种基于聚焦堆栈单体数据子集架构的全局计算成像方法，从而提升聚焦堆栈重建的计算效率以及实现三维场景的高精度重建。
为实现上述目的，本发明提供一种基于聚焦堆栈单体数据子集架构的全局计算成像方法，该方法包括：
步骤1，从场景图像聚焦堆栈数据
Figure RE-GDA0002541017860000011
中找出聚焦测度值最大的场景图像；
步骤2，利用如下式(6)，在每一幅所述场景图像中划分出每一个单体j所在区域Dj对应的区域图像hj(x，y)，j＝1，2，...，J；
Figure RE-GDA0002541017860000021
式(6)中，hj(x，y)表示第j个单体的区域图像，supp(*)表示*所在的图像区域，Dj表示第j个单体区域图像在(x，y)空间上的支集，D表示聚焦堆栈数据在 (x，y)空间上的支集；
步骤3，在步骤1获得的最大聚焦测度值的场景图像
Figure RE-GDA0002541017860000029
的每一个单体j 的区域图像hj(x，y)上，找出每一个单体的单体区域；
步骤4，利用步骤3中得到的第j个单体的单体区域Dj，找出第j个单体的聚焦堆栈数据，则第j个单体的第i个图像表示为式(7)：
Figure RE-GDA0002541017860000022
步骤5，在第j个单体的单体区域Dj中选定代表区域，以从第j个单体的聚焦堆栈数据的I个场景图像中筛选出V个场景图像，筛选后得到第j个单体的第v个图像
Figure RE-GDA0002541017860000023
表示为式(8)，进而得到由式(9)表示的聚焦堆栈单体数据子集：
Figure RE-GDA0002541017860000024
Figure RE-GDA0002541017860000025
Figure RE-GDA0002541017860000026
其中，
Figure RE-GDA0002541017860000027
表示利用式(5)计算得到的所选取的第j个单体的代表区域的聚焦测度大小，W表示选取单体代表区域的宽度，H表示选取单体代表区域的高度，
Figure RE-GDA0002541017860000028
表示在深度sv下像素点(x，y)处的聚焦测度，Tj表示聚焦测度阈值，i1，i2，...，iV是经由筛选后的聚焦堆栈单体数据子集中的图像标号；
步骤6，对步骤2获取的聚焦堆栈单体数据子集进行单体进行深度重建和全聚焦成像；
步骤7，对步骤6重建的单体进行局部一致性优化；
步骤8，将步骤7优化后的单体进行全局融合。
进一步地，步骤3具体包括：
步骤31，采用Alpha Matting方法，在步骤1获得的聚焦测度值最大的场景图像
Figure RE-GDA0002541017860000031
的每一个单体j的区域图像hj(x，y)上，获取初步的单体区域；
步骤32，利用扫描线种子填充算法，对步骤31获得的初步的单体区域内部进行填充，得到最终的单体区域。
进一步地，步骤1通过下式(4)计算像素点的聚焦测度值：
Figure RE-GDA0002541017860000032
Figure RE-GDA0002541017860000033
Figure RE-GDA0002541017860000034
Figure RE-GDA0002541017860000035
上述各式中，
Figure RE-GDA0002541017860000036
为场景图像上第j个单体的像素点(x，y)在深度sv下的聚焦测度，α表示介于0到1之间是加权系数，
Figure RE-GDA0002541017860000037
由式(3)计算得到，N表示所取的聚焦测度窗口的边长大小，(x，y)表示所取的聚焦测度窗口的中心像素点，(x′，y′)为(x，y)的窗口范围内地像素，
Figure RE-GDA0002541017860000038
由式(2)计算获得，T为阈值，
Figure RE-GDA0002541017860000039
由式(4)计算得到，Ω(x，y)表示以像素点(x，y)为中心的邻域，
Figure RE-GDA00025410178600000310
用邻域Ω(x，y)内特征点总数进行表征，K表示邻域Ω(x，y)内特征点的总数，k＝1，2，...，K；(xk，yk)为第k个特征点的坐标，
Figure RE-GDA00025410178600000311
用来判断第k个特征点(xk，yk)是否属于Ω(x，y)，即在第k个特征点 (xk，yk)属于Ω(x，y)的情形下，T(xk，yk，d)的值为1；在第k个特征点(xk，yk)不属于Ω(x，y)的情形下，T(xk，yk，d)的值为0。
进一步地，步骤6具体包括：
步骤61，利用式(4)，在步骤5获得的聚焦堆栈单体数据子集的每一个单体区域内，逐个像素点计算聚焦堆栈单体数据子集的聚焦测度
Figure RE-GDA00025410178600000312
步骤62，根据步骤61计算得到的聚焦堆栈单体数据子集的聚焦测度
Figure RE-GDA0002541017860000041
通过下式(10)表述的二次曲线数据拟合得到最大聚焦测度对应的深度：
Figure RE-GDA0002541017860000042
式(10)中，s(x，y)表示深度，a0、a1、a2均为待求解的参数；
步骤63，根据步骤62获得的系数，拟合出深度上连续的场景图像上第j个单体的像素点(x，y)在深度s下的聚焦测度θ(s，j)(x，y)，进而利用下式(11)，求解拟合曲线中的最大聚焦测度对应的深度：
Figure RE-GDA0002541017860000043
式(11)中，
Figure RE-GDA0002541017860000044
表示θ(s，j)(x，y)取最大值对应s的值，sj(x，y)表示第j个单体的深度；
步骤64，根据步骤63求得的深度，利用式(12)将单体聚焦堆栈数据子集中最大聚焦测度所对应的像素点组合成全聚焦图：
Figure RE-GDA0002541017860000045
式(12)中，
Figure RE-GDA0002541017860000046
表示θ(s，j)(x，y)取最大值对应的图像。
进一步地，步骤7具体采用全变差正则化或其它现有方法，对单体聚焦堆栈数据子集重建的结果进行优化，优化方法比如采用如下式(13)所示的方法：
Figure RE-GDA0002541017860000047
其中，depthj(x，y)为全变差正则化后的深度，
Figure RE-GDA0002541017860000048
为depthj(x，y)的梯度，λ是权重系数。
进一步地，步骤8具体是在(x，y)空间上，利用式(14)和式(15)，融合所有单体得到全局的深度和全聚焦图：
Figure RE-GDA0002541017860000049
Figure RE-GDA00025410178600000410
其中，depth(x，y)和allfocus(x，y)分别为整个场景的深度和全聚焦图。
本发明由于采取以上技术方案，其具有以下优点：
通过采用本发明提供的基于聚焦堆栈单体数据子集架构的全局计算成像方法，可以提高聚焦堆栈重建的计算的效率、实现三维场景单体的高精度重建，同时还可以为大视场成像基础数据的处理、计算方法的改进提供参考和理论依据。
附图说明
图1为本发明实施例提供的构建单体区域和获取聚焦堆栈单体数据子集对示意图。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。
本发明实施例所提供的基于聚焦堆栈单体数据子集架构的全局计算成像方法包括如下步骤：
步骤1，从场景图像聚焦堆栈数据
Figure RE-GDA0002541017860000051
中找出聚焦测度值最大的场景图像。
如图1中a示出了场景图像聚焦堆栈数据
Figure RE-GDA0002541017860000052
该场景图像堆栈数据中，每一幅场景图像表示为
Figure RE-GDA0002541017860000053
其在深度方向上，根据深度sv的不同依次获得I幅场景图像。
“找出场景图像聚焦堆栈数据中聚焦测度值最大的场景图像”的方法可以采用如下方法实现。
第一种方法，对图像中的单个像素点的聚焦测度基于边缘信息进行描述，如下式(2)所示：
Figure RE-GDA0002541017860000054
式(1)中，(x，y)表示场景图像中单个像素点的坐标，
Figure RE-GDA0002541017860000055
表示第j个单体在深度sv下的像素点(x，y)的像素值，
Figure RE-GDA0002541017860000056
表示改进的拉普拉斯算子，用于提取图像的边缘。
第二种方法，采用以像素点(x，y)为中心、边长为N的矩形区域的边缘信息进行描述聚焦测度如下式(2)所示：
Figure RE-GDA0002541017860000061
式(2)中，
Figure RE-GDA0002541017860000062
表示第j个单体在深度sv下的像素点(x，y)的聚焦测度，N表示所取的聚焦测度窗口的边长大小，(x，y)表示所取的聚焦测度窗口的中心像素点，(x′，y′)为(x，y)的窗口范围内地像素，
Figure RE-GDA0002541017860000063
由式(1)计算获得；T为阈值，该阈值是以像素点(x，y)为中心、边长为N的矩形聚焦测度窗下像素的均值，用来判断(x，y)周围像素对其测度的贡献。
第二种方法相较于第一种方法，描述聚焦测度鲁棒性更好。
第三种方法，对场景图像中单个像素点的聚焦测度基于特征点密度进行描述，如下式(3)所示：
Figure RE-GDA0002541017860000064
式(3)中，
Figure RE-GDA0002541017860000065
表示第j个单体在深度sv下的像素点(x，y)的聚焦测度。Ω(x，y)表示以像素点(x，y)为中心的邻域，
Figure RE-GDA0002541017860000066
用邻域Ω(x，y)内特征点总数进行表征，K表示邻域Ω(x，y)内特征点的总数，k＝1，2，...，K；(xk，yk)为第k个特征点的坐标，
Figure RE-GDA0002541017860000067
用来判断第k个特征点(xk，yk)是否属于Ω(x，y)，即在第k个特征点(xk，yk)属于Ω(x，y)的情形下，T(xk，yk，d)的值为1；在第k个特征点(xk，yk)不属于Ω(x，y)的情形下，T(xk，yk，d)的值为0。
第四种方法，融合式(2)和式(3)，通过下式(4)描述像素点的聚焦测度：
Figure RE-GDA0002541017860000068
式(4)中，
Figure RE-GDA0002541017860000069
为场景图像上第j个单体的像素点(x，y)在深度sv下的聚焦测度，α表示加权系数，α介于0到1之间，α的具体数值与实验场景有关，对于相对平滑的场景取较小的α值，对于纹理丰富的场景取较大的α值。
场景图像在聚焦时像素点具有相同的点扩展函数，则整幅图像的聚焦测度表示为式(5)：
Figure RE-GDA00025410178600000610
式(5)中，Rarea(x，y)表示步骤11中选取单体代表区域的聚焦测度，选取单体代表区域是单体区域中的一部份区域，来代表单体区域，W表示选取单体代表区域的宽度，H表示选取单体代表区域的高度，
Figure RE-GDA0002541017860000071
表示在深度sv下像素点(x，y)处的聚焦测度。
步骤2，在场景图像聚焦堆栈数据
Figure RE-GDA0002541017860000072
中的每一幅场景图像中，利用如下式(1)划分出每一个单体j所在区域Dj对应的区域图像hj(x，y)， j＝1，2，...，J。其中，“单体”可以理解为“场景图像中的单一物体”的简称，例如图1中的a示出的“佛像”即可理解为本实施例中的一个单体，“小熊”也是本实施例中的另一个单体。当然，在本实施例中使用的场景图像中并不仅限于这两个单体。本实施例则是以场景图像中的“佛像”单体为例，说明本发明实施例提供的方法，如图1中的b所示的“佛像”单体，即为经由步骤2获得的聚焦测度值最大的场景图像中的“佛像”单体。
Figure RE-GDA0002541017860000073
式(6)中，hj(x，y)表示第j个单体的区域图像，supp(*)表示*所在的图像区域，supp(f)中的f指的是f(x，y)，supp(hj)中的hj指的是hj(x，y)，Dj表示第j个单体区域图像在(x，y)空间上的支集，D表示聚焦堆栈数据在(x，y)空间上的支集。
步骤3，在步骤1获得的最大聚焦测度值的场景图像
Figure RE-GDA0002541017860000074
的每一个单体j 的区域图像hj(x，y)上，找出每一个单体j的外轮廓边界线，该外轮廓边界线形成封闭的区域，下文将“该外轮廓边界线形成封闭的区域”称作为单体区域，如图 1中的c和d示意出的空白部分，即为“佛像”单体的单体区域Dj。
每一个单体j的单体区域为后文将步骤中的“提取聚焦堆栈单体数据子集”提供准确的区域信息。通过提取聚焦堆栈单体数据子集，一方面可以有效利用单体内部物点的空间连续性，以提高物体内部物点的重建精度、提高计算效率；另一方面可以有效避免物体边界处深度跳跃带来的重建误差，能够提高物体的外轮廓边界线的重建精度。
步骤3具体包括：
步骤31，采用Alpha Matting或现有的其它方法，在步骤1获得的聚焦测度值最大的场景图像
Figure RE-GDA0002541017860000075
的每一个单体j的区域图像hj(x，y)上，准确获取单体的外轮廓边界线，得到如图1中c所示的初步的单体区域。
步骤32，利用扫描线种子填充算法或现有其它方法，对步骤31获得的初步的单体区域内部进行填充，得到最终的单体区域，该单体区域为如图1中d 示出的黑色区域所包围得空白区域。
步骤4，利用步骤3中得到的第j个单体的单体区域Dj，找出第j个单体的聚焦堆栈数据(如图1中的f所示)，则第j个单体的第i个图像表示为式(7)：
Figure RE-GDA0002541017860000081
步骤5，在第j个单体的单体区域Dj中选定代表区域，该代表区域通常是单体区域中特征和/或边界比较清晰明显的区域，利用聚焦测度对代表区域的聚焦清晰程度进行判断，以从第j个单体的聚焦堆栈数据的I个场景图像中筛选出V个场景图像，筛选后得到第j个单体的第v个图像
Figure RE-GDA0002541017860000082
表示为式(8)：
Figure RE-GDA0002541017860000083
其中，
Figure RE-GDA0002541017860000084
表示利用式(5)计算得到的所选取的第j个单体的代表区域的聚焦测度大小，Tj表示聚焦测度阈值，该阈值为经验值，比如可以是步骤1 计算得到的最大聚焦测度值的一半，i1，i2，...，iV是经由筛选后的聚焦堆栈单体数据子集中的图像标号。
在(x，y)空间上构建场景的单体，在深度方向上对I个场景图像筛选出V个图后，如图1中g所示，得到J个单体的聚焦堆栈数据，即表示为式(9)的聚焦堆栈单体数据子集：
Figure RE-GDA0002541017860000085
步骤6，对步骤2获取的聚焦堆栈单体数据子集进行单体进行深度重建和全聚焦成像，其具体包括：
步骤61，利用式(4)，在步骤5获得的聚焦堆栈单体数据子集的每一个单体区域内，逐个像素点计算聚焦堆栈单体数据子集的聚焦测度
Figure RE-GDA0002541017860000086
步骤62，根据步骤61计算得到的聚焦堆栈单体数据子集的聚焦测度
Figure RE-GDA0002541017860000091
通过数据拟合得到最大聚焦测度对应的深度。其中，“数据拟合”方法，比如可以使用下式(10)表述的二次曲线数据拟合方法，也可以采用现有的其它数据拟合方法。
通过式(10)给出的二次曲线表达式，描述聚焦测度
Figure RE-GDA0002541017860000092
和深度之间的关系：
Figure RE-GDA0002541017860000093
式(10)中，s(x，y)表示深度，a0、a1、a2均为待求解的参数。
根据步骤61计算得到的每一个像素点的聚焦测度和对应的深度，根据最小二乘法解出式(10)中的系数a0、a1、a2。
步骤63，根据步骤62获得的系数，可以拟合出深度上连续的场景图像上第 j个单体的像素点(x，y)在深度s下的聚焦测度θ(s，j)(x，y)，进而利用下式(11)，求解拟合曲线中的最大聚焦测度对应的深度：
Figure RE-GDA0002541017860000094
式(11)中，
Figure RE-GDA0002541017860000095
表示θ(s，j)(x，y)取最大值对应s的值，sj(x，y)表示第j个单体的深度。
步骤64，根据步骤63求得的深度，利用式(12)将单体聚焦堆栈数据子集中最大聚焦测度所对应的像素点组合成全聚焦图：
Figure RE-GDA0002541017860000096
式(12)中，
Figure RE-GDA0002541017860000097
表示θ(s，j)(x，y)取最大值对应的图像，(x，y)表示采集实际场景图像中单个像素点的坐标，sj(x，y)是第j个单体的深度。
步骤7，对步骤6重建的单体进行局部一致性优化：采用全变差正则化或其它现有方法，对单体聚焦堆栈数据子集重建的结果进行优化，优化方法比如采用如下式(13)所示的方法：
Figure RE-GDA0002541017860000098
Figure RE-GDA0002541017860000101
其中，depthj(x，y)为全变差正则化后的深度，
Figure RE-GDA0002541017860000102
为depthj(x，y)的梯度，λ是权重系数，比如1。
步骤8，将步骤7优化后的单体进行全局融合：在(x，y)空间上，融合所有单体(J个单体)得到全局的深度和全聚焦图。
Figure RE-GDA0002541017860000103
Figure RE-GDA0002541017860000104
其中，depth(x，y)和allfocus(x，y)分别为整个场景的深度和全聚焦图。
最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。本领域的普通技术人员应当理解：可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种基于聚焦堆栈单体数据子集架构的全局计算成像方法，其特征在于，包括：
步骤1，从场景图像聚焦堆栈数据
Figure FDA0002488523410000011
中找出聚焦测度值最大的场景图像；
步骤2，利用如下式(6)，在每一幅所述场景图像中划分出每一个单体j所在区域Dj对应的区域图像hj(x，y)，j＝1，2，...，J；
Figure FDA0002488523410000012
式(6)中，hj(x，y)表示第j个单体的区域图像，supp(*)表示*所在的图像区域，Dj表示第j个单体区域图像在(x，y)空间上的支集，D表示聚焦堆栈数据在(x，y)空间上的支集；
步骤3，在步骤1获得的最大聚焦测度值的场景图像
Figure FDA0002488523410000013
的每一个单体j的区域图像hj(x，y)上，找出每一个单体的单体区域；
步骤4，利用步骤3中得到的第j个单体的单体区域Dj，找出第j个单体的聚焦堆栈数据，则第j个单体的第i个图像表示为式(7)：
Figure FDA0002488523410000014
步骤5，在第j个单体的单体区域Dj中选定代表区域，以从第j个单体的聚焦堆栈数据的I个场景图像中筛选出V个场景图像，筛选后得到第j个单体的第v个图像
Figure FDA0002488523410000015
表示为式(8)，进而得到由式(9)表示的聚焦堆栈单体数据子集：
Figure FDA0002488523410000016
Figure FDA0002488523410000017
Figure FDA0002488523410000021
其中，
Figure FDA0002488523410000022
表示利用式(5)计算得到的所选取的第j个单体的代表区域的聚焦测度大小，W表示选取的第j个单体的代表区域的宽度，H表示选取的第j个单体的代表区域的高度，
Figure FDA0002488523410000023
表示第j个单体在深度sv下像素点(x，y)处的聚焦测度，Tj表示聚焦测度阈值，i1，i2，...，iV是经由筛选后的聚焦堆栈单体数据子集中的图像标号；
步骤6，对步骤2获取的聚焦堆栈单体数据子集进行单体的深度重建和全聚焦成像；
步骤7，对步骤6重建的单体进行局部一致性优化；
步骤8，将步骤7优化后的单体进行全局融合。
2.如权利要求1所述的基于聚焦堆栈单体数据子集架构的全局计算成像方法，其特征在于，步骤3具体包括：
步骤31，采用Alpha Matting方法，在步骤1获得的聚焦测度值最大的场景图像
Figure FDA0002488523410000024
的每一个单体j的区域图像hj(x，y)上，获取初步的单体区域；
步骤32，利用扫描线种子填充算法，对步骤31获得的初步的单体区域内部进行填充，得到最终的单体区域。
3.如权利要求1或2所述的基于聚焦堆栈单体数据子集架构的全局计算成像方法，其特征在于，步骤1通过下式(4)计算像素点的聚焦测度值：
Figure FDA0002488523410000025
Figure FDA0002488523410000026
Figure FDA0002488523410000027
Figure FDA0002488523410000028
上述各式中，
Figure FDA0002488523410000031
为场景图像上第j个单体的像素点(x，y)在深度sv下的聚焦测度，α表示介于0到1之间是加权系数，
Figure FDA0002488523410000032
由式(3)计算得到，N表示所取的聚焦测度窗口的边长大小，(x，y)表示所取的聚焦测度窗口的中心像素点，(x′，y′)为(x，y)的窗口范围内地像素，
Figure FDA0002488523410000033
由式(2)计算获得，T为阈值，
Figure FDA0002488523410000034
由式(4)计算得到，Ω(x，y)表示以像素点(x，y)为中心的邻域，
Figure FDA0002488523410000035
用邻域Ω(x，y)内特征点总数进行表征，K表示邻域Ω(x，y)内特征点的总数，k＝1，2，...，K；(xk，yk)为第k个特征点的坐标，
Figure FDA0002488523410000036
用来判断第k个特征点(xk，yk)是否属于Ω(x，y)，即在第k个特征点(xk，yk)属于Ω(x，y)的情形下，T(xk，yk，d)的值为1；在第k个特征点(xk，yk)不属于Ω(x，y)的情形下，T(xk，yk，d)的值为0。
4.如权利要求3所述的基于聚焦堆栈单体数据子集架构的全局计算成像方法，其特征在于，步骤6具体包括：
步骤61，利用式(4)，在步骤5获得的聚焦堆栈单体数据子集的每一个单体区域内，逐个像素点计算聚焦堆栈单体数据子集的聚焦测度
Figure FDA0002488523410000037
步骤62，根据步骤61计算得到的聚焦堆栈单体数据子集的聚焦测度
Figure FDA0002488523410000038
通过下式(10)表述的二次曲线数据拟合得到最大聚焦测度对应的深度：
Figure FDA0002488523410000039
式(10)中，s(x，y)表示深度，a0、a1、a2均为待求解的参数；
步骤63，根据步骤62获得的系数，拟合出深度上连续的场景图像上第j个单体的像素点(x，y)在深度s下的聚焦测度θ(s，j)(x，y)，进而利用下式(11)，求解拟合曲线中的最大聚焦测度对应的深度：
Figure FDA00024885234100000310
式(11)中，
Figure FDA00024885234100000311
表示θ(s，j)(x，y)取最大值对应s的值，sj(x，y)表示第j个单体的深度；
步骤64，根据步骤63求得的深度，利用式(12)将单体聚焦堆栈数据子集中最大聚焦测度所对应的像素点组合成全聚焦图：
Figure FDA0002488523410000041
式(12)中，
Figure FDA0002488523410000042
表示θ(s，j)(x，y)取最大值对应的图像。
5.如权利要求4所述的基于聚焦堆栈单体数据子集架构的全局计算成像方法，其特征在于，步骤7具体采用全变差正则化，对单体聚焦堆栈数据子集重建的结果进行优化，优化方法比如采用如下式(13)所示的方法：
Figure FDA0002488523410000043
其中，depthj(x，y)为全变差正则化后的深度，
Figure FDA0002488523410000044
为depthj(x，y)的梯度，λ是权重系数。
6.如权利要求5所述的基于聚焦堆栈单体数据子集架构的全局计算成像方法，其特征在于，步骤8具体是在(x，y)空间上，利用式(14)和式(15)，融合所有单体得到全局的深度和全聚焦图：
Figure FDA0002488523410000045
Figure FDA0002488523410000046
其中，depth(x，y)和allfocus(x，y)分别为整个场景的深度和全聚焦图。
CN202010398746.8A 2020-05-12 2020-05-12 一种基于聚焦堆栈单体数据子集架构的全局计算成像方法 Active CN111598997B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010398746.8A CN111598997B (zh) 2020-05-12 2020-05-12 一种基于聚焦堆栈单体数据子集架构的全局计算成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010398746.8A CN111598997B (zh) 2020-05-12 2020-05-12 一种基于聚焦堆栈单体数据子集架构的全局计算成像方法

Publications (2)

Publication Number Publication Date
CN111598997A true CN111598997A (zh) 2020-08-28
CN111598997B CN111598997B (zh) 2023-10-13

Family

ID=72185360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010398746.8A Active CN111598997B (zh) 2020-05-12 2020-05-12 一种基于聚焦堆栈单体数据子集架构的全局计算成像方法

Country Status (1)

Country Link
CN (1) CN111598997B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160360091A1 (en) * 2015-06-07 2016-12-08 Apple Inc. Optimizing Capture Of Focus Stacks
CN106875436A (zh) * 2016-12-14 2017-06-20 北京信息科技大学 一种基于特征点密度由聚焦堆栈估计深度的方法和装置
CN108053468A (zh) * 2017-12-08 2018-05-18 北京信息科技大学 一种单目视觉聚焦堆栈采集与场景重建方法
CN110956668A (zh) * 2019-09-27 2020-04-03 北京信息科技大学 一种基于聚焦测度的聚焦堆栈成像系统预置位标定方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160360091A1 (en) * 2015-06-07 2016-12-08 Apple Inc. Optimizing Capture Of Focus Stacks
CN106875436A (zh) * 2016-12-14 2017-06-20 北京信息科技大学 一种基于特征点密度由聚焦堆栈估计深度的方法和装置
CN108053468A (zh) * 2017-12-08 2018-05-18 北京信息科技大学 一种单目视觉聚焦堆栈采集与场景重建方法
CN110956668A (zh) * 2019-09-27 2020-04-03 北京信息科技大学 一种基于聚焦测度的聚焦堆栈成像系统预置位标定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
QIU JUN 等: "Inverse of Affine Radon Transform for Light Field Reconstruction From Focal Stack" *

Also Published As

Publication number Publication date
CN111598997B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
CN110211043B (zh) 一种用于全景图像拼接的基于网格优化的配准方法
US11954813B2 (en) Three-dimensional scene constructing method, apparatus and system, and storage medium
CN106709947B (zh) 一种基于rgbd相机的三维人体快速建模系统
CN107274336B (zh) 一种针对车载环境的全景图像拼接方法
CN104574347B (zh) 基于多源遥感数据的在轨卫星图像几何定位精度评价方法
CN112686935B (zh) 基于特征融合的机载测深雷达与多光谱卫星影像配准方法
CN106683173A (zh) 一种基于邻域块匹配提高三维重建点云稠密程度的方法
US20050271264A1 (en) Three-dimensional image measuring apparatus and method
CN110866924A (zh) 一种线结构光中心线提取方法及存储介质
CN113177977B (zh) 一种非接触式三维人体尺寸的测量方法
CN109118544B (zh) 基于透视变换的合成孔径成像方法
CN109064505B (zh) 一种基于滑动窗口张量提取的深度估计方法
CN106023230B (zh) 一种适合变形图像的稠密匹配方法
CN112929626B (zh) 一种基于智能手机影像的三维信息提取方法
CN112348775B (zh) 基于车载环视的路面坑塘检测系统及方法
CN109035170A (zh) 基于单网格图分段映射的自适应广角图像校正方法及装置
CN113177592B (zh) 一种图像分割方法、装置、计算机设备及存储介质
CN115147709B (zh) 一种基于深度学习的水下目标三维重建方法
CN114549669B (zh) 一种基于图像融合技术的彩色三维点云获取方法
CN109741358B (zh) 基于自适应超图学习的超像素分割方法
CN114998448A (zh) 一种多约束双目鱼眼相机标定与空间点定位的方法
CN116740288B (zh) 一种融合激光雷达、倾斜摄影的三维重建方法
CN117115359B (zh) 一种基于深度图融合的多视图电网三维空间数据重建方法
CN114612412A (zh) 三维点云数据的处理方法及其用途、电子设备、存储介质
CN112132971B (zh) 三维人体建模方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant