CN113344941A - 一种基于聚焦图像的深度估计方法及图像处理装置 - Google Patents
一种基于聚焦图像的深度估计方法及图像处理装置 Download PDFInfo
- Publication number
- CN113344941A CN113344941A CN202110529700.XA CN202110529700A CN113344941A CN 113344941 A CN113344941 A CN 113344941A CN 202110529700 A CN202110529700 A CN 202110529700A CN 113344941 A CN113344941 A CN 113344941A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- depth estimation
- point
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000012545 processing Methods 0.000 title claims abstract description 31
- 238000011156 evaluation Methods 0.000 claims abstract description 89
- 230000011218 segmentation Effects 0.000 claims abstract description 49
- 230000008859 change Effects 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 72
- 238000005070 sampling Methods 0.000 claims description 32
- 230000009466 transformation Effects 0.000 claims description 21
- 239000002131 composite material Substances 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000007429 general method Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种基于聚焦图像的深度估计方法及图像处理装置，其中深度估计方法包括：获取图像序列，对图像序列中的各幅聚焦图像进行超像素分割，得到多个超像素区域；构建各个超像素区域的聚焦评估曲线；根据聚焦评估曲线计算得到各像素点的深度估计值，形成深度估计图像。一方面，技术方案采用超像素分割，分割出来的超像素区域的分割界限与现实物体发生剧烈深度变化的区域能够重合，这样可以避免现有技术中实际深度变化较大区域被过度平滑的问题；另一方面，技术方案构建形成的聚焦评估曲线具有陡峭区宽度宽、清晰度比率高的优点，能够保证深度估计的准确性和对噪声的抗干扰能力。
Description
技术领域
本申请涉及图像处理技术领域，具体涉及一种基于聚焦图像的深度估计方法及图像处理装置。
背景技术
三维深度估计对计算机视觉应用至关重要，通过二维图像进行三维深度估计作为计算机视觉领域中的一项重要的技术已经广泛应用于测绘、自动化制造、生物医学、自动驾驶等领域。
为了实现三维深度估计，已有技术人员提出了聚焦测距(depth from focus，简称DFF)的方法，该方法的一般处理过程可以概括为：首先通过改变相机焦距等参数对物体进行深度聚焦来获取多幅聚焦图像，根据某种聚焦函数计算图像中像素点的聚焦函数曲线，然后得到图像中每个像素点的深度估计结果；在某些方法中，还进一步提出使用线性加权对聚焦函数进行改进以弥补一般方法聚焦估计不够准确的问题。
然而，现有技术中使用的三维深度估计还存在以下问题：(1)通过改变相机焦距进行图像采集无法避免图像序列的基准空间不一致的情况发生，哪怕使用远心镜头也会导致一定的测量误差；(2)物体表面深度发生剧烈变化的成像区域在聚焦函数计算过程中很容易被过度平滑，造成表面深度估计不够精准；(3)针对图像上每个像素点进行聚焦函数曲线计算将导致算法效率低下，不利于实际应用中的高效计算要求；(4)在利用聚焦函数曲线计算深度估计结果的时候对噪声干扰比较敏感，严重影响三维深度估计的结果。
发明内容
本申请主要解决的技术问题是：如何提高三维深度估计的准确性。为解决上述技术问题，本申请提供一种基于聚焦图像的深度估计方法及图像处理装置。
根据第一方面，一种实施例中提供一种基于聚焦图像的深度估计方法，其包括：获取图像序列，所述图像序列包括多幅不同焦距深度的聚焦图像；对所述图像序列中的各幅聚焦图像进行超像素分割，得到多个超像素区域；构建各个所述超像素区域的聚焦评估曲线；根据所述聚焦评估曲线计算得到各像素点的深度估计值，形成深度估计图像。
所述对所述图像序列中的各幅聚焦图像进行超像素分割，得到多个超像素区域，包括：通过像素梯度索引将所述图像序列中的各幅聚焦图像形成为一幅合成图像Mmerge；根据预设的间距d对所述合成图像进行种子点初始化，得到多个第一种子点，选择每个所述第一种子点的邻域范围内像素梯度最小的像素点为第二种子点；
执行超像素聚类步骤：对于所述合成图像中任意一个像素点p，计算像素点p与周围各个第二种子点s的差异性度量值，将像素点p归属到最小差异性度量值对应的第二种子点；所述差异性度量值表示为
其中，sqrt()为平方根计算函数，(xp,yp)为像素点p的坐标，(xs,ys)为第二种子点s的坐标，Mmerge表示所述合成图像，I表示所述合成图像对应的索引图像，N为所述图像序列中的图像数目；根据归属到各个第二种子点的像素点分别形成对应的第二种子点区域，利用各个所述第二种子点区域对所述合成图像进行超像素分割，构成多个超像素区域。
在对所述图像序列中的各幅聚焦图像进行超像素分割之前还包括图像配准步骤，所述图像配准步骤包括：在图像序列中选择一幅聚焦图像作为基准图像，并选择其余任意一幅聚焦图像作为待配准图像，计算所述待配准图像相对于所述基准图像的导数Fx、Fy、Ft，其中，x、y、t分别是关于X轴、Y轴、时间T的求导参数；构建约束方程Fxu+Fyv+Ft＝0，并将X轴上的运动向量u＝xj-xi和Y轴上的运动向量v＝yj-yi代入预设的空间变换关系得到
其中所述空间变换关系表示为
计算得到变换参数a1、…、a6并对所述空间变换关系进行配置，依据配置完成的空间变换关系对所述待配准图像进行空间变换，以将图像序列{Mi}中的各幅聚焦图像转换到同一个基准空间。
所述构建各个所述超像素区域的聚焦评估曲线，包括：对各个所述超像素区域分别进行随机采样，得到多个采样点；建立聚焦评估函数模型且表示为
F(x,y)＝w1f1(x,y)+w2f2(x,y)+w3f3(x,y)；
其中，f1()、f2()、f3()分别为不同类型的聚焦函数，(x,y)为任意采样点的坐标，w1、w2、w3均为待配置的权重系数；利用各个采样点分别参与所述聚焦评估函数模型的计算，构建每个采样点的聚焦评估曲线且表示为{Fi(x,y)}(i＝0,1,…,N)；针对已构建的每个采样点的聚焦评估曲线{Fi(x,y)}，设置所述聚焦评估函数模型的损失函数为
其中，Fmin(x,y)＝min{Fi(x,y)}、Fmax(x,y)＝max{Fi(x,y)}分别为采样点(x,y)处聚焦评估曲线的最大值和最小值，Wpeak为敏感区域的宽度；对所述聚焦评估函数模型进行训练，在对应的损失函数收敛时计算得到权重系数w1、w2、w3，利用计算得到的权重系数配置所述聚焦评估函数模型并得到每个采样点的聚焦评估曲线。
所述根据所述聚焦评估曲线计算得到各像素点的深度估计值，形成深度估计图像，包括：对于所述超像素区域内的每个像素点(x,y)，计算像素点(x,y)在聚焦评估曲线{Fi(x,y)}(i＝0,1,…,N-1)中的极大值Fmax(x,y)，确定极大值对应的聚焦图像在图像序列{Mi}(i＝0,1…N-1)中的索引值k；通过以索引值k为中心的三个点(k-1,Fk-1(x,y))、(k,Fk(x,y))、(k+1,Fk+1(x,y))拟合二次曲线，以及计算二次曲线在[k-1,k+1]内的极大值位置kmax(x,y)，利用极大值的位置kmax(x,y)确定像素点(x,y)的深度估计值D(x,y)＝255×kmax(x,y)/N；获取所述超像素区域内各个像素点的深度估计值并形成深度估计图像。
得到所述深度估计图像之后包括图像优化步骤，所述图像优化步骤包括：对所述深度估计图像中的每个像素点(i,j)进行差值计算且表示为
取最小的差值计算结果min(|dc|,c＝1,...,8)作为dm，重新为像素点(i,j)的深度估计值D(i,j)赋值并得到
利用赋值结果
得到新的深度估计图像。
根据第二方面，一种实施例中提供一种图像处理装置，其包括：相机，用于对目标场景进行连续取像并形成图像序列，所述图像序列包括多幅不同焦距深度的聚焦图像；处理器，与所述相机连接，用于根据上述第一方面中所述的深度估计方法处理所述图像序列，得到所述目标场景的深度估计图像；显示器，与所述处理器连接，用于对所述聚焦图像和/或所述深度估计图像进行显示。
所述处理器包括：图像获取模块，用于从所述相机获取所述图像序列；像素分割模块，用于对所述图像序列中的各幅聚焦图像进行超像素分割，得到多个超像素区域；聚焦评估模块，用于构建各个所述超像素区域的聚焦评估曲线；深度估计模块，用于根据所述聚焦评估曲线计算得到各像素点的深度估计值，形成深度估计图像。
根据第三方面，一种实施例中提供一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现上述第一方面中所述的深度估计方法。
本申请的有益效果是：
依据上述实施例的一种基于聚焦图像的深度估计方法及图像处理装置，其中深度估计方法包括：获取图像序列；对图像序列中的各幅聚焦图像进行超像素分割，得到多个超像素区域；构建各个超像素区域的聚焦评估曲线；根据聚焦评估曲线计算得到各像素点的深度估计值，形成深度估计图像。一方面，技术方案采用超像素分割，分割出来的超像素区域的分割界限与现实物体发生剧烈深度变化的区域能够重合，这样可以避免现有技术中实际深度变化较大区域被过度平滑的问题；另一方面，技术方案构建形成的聚焦评估曲线相比于一般方法计算得到的聚焦曲线具有陡峭区宽度宽、清晰度比率高的优点，能够保证深度估计的准确性和对噪声的抗干扰能力。
在本申请中，由于对图像序列中的各幅聚焦图像进行超像素分割之前，还采用光流法对各聚焦图像进行了图像配准处理，不仅将图像序列中的各幅聚焦图像转换到同一个基准空间，还能够避免图像序列所在基准空间不一致而造成的误差。
在本申请中，构建各个超像素区域的聚焦评估曲线时，对超像素区域进行随机采样后只对采样点进行聚焦评估函数的计算，由于超像素区域具有曲率变化平缓的特点，那么这种方式在不影响精度的情形下能够大大降低计算的复杂度。
在本申请中，得到深度估计图像之后还对深度估计图像进行了图像的优化处理，通过曲率滤波对估计得到的深度图像进行优化，使得最终得到的深度估计图对噪声具有更强的抗干扰能力，进一步提高三维深度估计的准确性。
附图说明
图1为本申请中基于聚焦图像的深度估计方法的流程图；
图2为超像素分割的流程图；
图3为构建聚焦评估曲线的流程图；
图4为形成深度估计图像的流程图；
图5为图像配准步骤的流程图；
图6为图像优化步骤的流程图；
图7a为通过较大间距进行种子初始化和超像素分割情况下得到的结果示意图；
图7b为通过较小间距进行种子初始化和超像素分割情况下得到的结果示意图；
图8为本申请中图像处理装置的结构示意图；
图9为处理器的结构示意图；
图10a为存在噪声干扰的深度估计图；
图10b为边缘被过渡平滑的深度估计图；
图10c为采用本申请深度估计方法处理得到的深度估计图；
图11为本申请另一个实施例中图像处理装置的结构示意图。
具体实施方式
下面通过具体实施方式结合附图对本申请作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。
下面结合实施例对本申请技术方案进行具体说明。
实施例一、
请参考图1，本实施例中公开一种基于聚焦图像的深度估计方法，其包括步骤110-140，下面分别说明。
步骤110，获取图像序列，图像序列包括多幅不同焦距深度的聚焦图像；为了保证各幅聚焦图像的有效性，则需要估计的物体深度应当处于整个图像序列的聚焦深度范围内。
需要说明的是，可以使用相机或摄像机来对目标场景进行取像，通过自动变焦或手动变焦的方式调整焦距，从而得到包含一组不同聚焦深度的图像序列，再由处理器从相机或摄像机获取图像序列以执行进一步的图像处理工作。每幅聚焦图像中展示的目标场景可以为道路、建筑、林木、人物、物品等实物，对聚焦图像进行图像处理的目的就是为了得到这些实物在目标场景中的深度信息。
步骤120，对图像序列中的各幅聚焦图像进行超像素分割，得到多个超像素区域。需要说明的是，超像素分割指的是将数字图像细分为多个图像子区域(超像素)的过程，超像素由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域，这些小区域大多保留了进一步进行图像分割的有效信息，且一般不会破坏图像中物体的边界信息。可以理解，超像素作为其他图像处理算法的基本单位，一来可大大降低数据处理维度，二来可剔除一些异常像素点。
在本实施例中，为了实现对图像序列的超像素分割，需要将各幅聚焦图像形成为一幅合成图像，然后对合成图像实施超像素分割的处理。比如在对合成图像进行超像素分割时，可初始化种子点(聚类中心)，在种子点的邻域内重新选择种子点，在每个种子点周围的邻域内为每个像素点分配归属标签，确定种子点区域后以图像分割形式构成多个超像素区域。关于超像素分割的实现过程将在下文进行具体说明。
步骤130，构建各个超像素区域的聚焦评估曲线。比如，可建立聚焦评估函数模型对超像素区域内的像素点进行聚焦曲线的表示，通过训练聚焦评估函数模型来配置模型的权重系数，然后得到像素点的聚焦评估曲线，那么接下来就能够对像素点进行深度估计的操作。
步骤140，根据聚焦评估曲线计算得到各像素点的深度估计值，形成深度估计图像。
在本实施例中，参见图2，上述的步120主要涉及超像素分割的过程，具体可以包括步骤121-124，分别说明如下。
步骤121，通过像素梯度索引将图像序列中的各幅聚焦图像形成为一幅合成图像Mmerge。
在一个具体实施例中，对于图像序列{Mi}(i＝0,1…N-1)，包含N幅聚焦图像，每幅聚焦图像用Mi进行表示，那么可计算每幅聚焦图像Mi的像素梯度，依据每幅聚焦图像的像素梯度得到对应的梯度图像
并构建梯度图像序列
其中梯度图像
是聚焦图像Mi的像素梯度构成的图像。接下来，在梯度图像序列
中，比较各梯度图像并取得每个像素坐标处最大像素梯度对应的聚焦图像在图像序列{Mi}中的索引值，构建索引图像I；也就是说，在梯度图像序列
的每个像素位置求梯度最大的图像序列索引，然后便可得到一张索引图像I。然后，根据索引图像I中的每个索引值获得图像序列{Mi}中对应聚焦图像在对应像素坐标处的像素值，通过像素赋值构成合成图像Mmerge，赋值过程可以表示为Mmerge(i,j)＝MI(i,j)(i,j)，其中(i,j)为像素坐标。通过以上过程便可以将图像序列{Mi}(i＝0,1…N-1)中的各幅聚焦图像形成为一幅合成图像Mmerge。
需要说明的是，如果把聚焦图像看成二维离散函数，那么图像的像素梯度其实就是这个二维离散函数的求导：G(i,j)＝|dx(i,j)|+|dy(i,j)|，dx(i,j)＝R(i+1,j)-R(i,j)，dy(i,j)＝R(i,j+1)-R(i,j)，R是像素值(如灰度值)。
步骤122，根据预设的间距d对合成图像进行种子点初始化，得到多个第一种子点，选择每个第一种子点的邻域范围内像素梯度最小的像素点为第二种子点。
在一个具体实施中，对种子点初始化时，可按照设定的超像素个数在合成图像内均匀的分配种子点；假设合成图像总共有X个像素点，预分割为K个相同尺寸的超像素，那么每个超像素的大小为X/K，则相邻的第一种子点的距离近似为d＝sqrt(X/K)；此时，第一种子点区域为(k1*d,k2*d)的点区域，其中k1,k2表示种子点行列方向的索引，d表示相邻第一种子点的间距。每个第一种子点的n×n邻域(比如3×3邻域)内重新选择种子点，获取该邻域内所有像素点的梯度值，将种子点移到该邻域内梯度最小的地方，从而得到第二种子点；这样做的目的是为了避免种子点落在梯度较大的轮廓边界上，以免影响后续聚类效果。
关于超像素聚类过程将在下面的步骤123和步骤124中进行具体说明。
步骤123，对于合成图像中任意一个像素点p，计算像素点p与周围各个第二种子点s的差异性度量值，将像素点p归属到最小差异性度量值对应的第二种子点；比如，对于每个第二种子点s，以其为中心扩展m×m大小后的区域范围内的像素点进行种子点的归属判定(其中m为可设参数)。这里涉及的差异性度量值表示为
其中，sqrt()为平方根计算函数，(xp,yp)为像素点p的坐标，(xs,ys)为第二种子点s的坐标，Mmerge表示合成图像，I表示合成图像对应的索引图像，N为图像序列中的图像数目。
步骤124，根据归属到各个第二种子点的像素点分别形成对应的第二种子点区域，利用各个第二种子点区域对合成图像进行超像素分割，构成多个超像素区域。
在一个具体实施例中，根据归属到各个第二种子点的像素点重新计算各个第二种子点的位置坐标，则中心扩展区域即为第二种子点区域。每个第二种子点的位置坐标表示为
其中，(xi,yi)为归属于第二种子点的像素点的坐标，n为归属于第二种子点的像素点的数目，(x′,y′)为重新计算的第二种子点的位置坐标。
进一步地，为了精准确定第二种子点区域，可利用重新计算的第二种子点的位置坐标对合成图像再次执行超像素聚类步骤(即步骤123和步骤124)，直至重新计算的每个第二种子点的位置变化达到收敛，或者计算达到预设的次数(比如10次)。也就是说，重复执行上面的步骤123和步骤124，直至第二种子点位置距离变化收敛，或者迭代次数达到预设此次数时终止，此时可精确得到各个第二种子点的位置坐标，其中心扩展区域(如m×m)即为第二种子点区域。
参见图7a和图7b，对电路板的图像进行超像素聚类处理。其中图7a为通过较大间距进行种子点初始化和超像素分割的结果示意图，由于采用较大间距d进行种子点初始化，不仅导致各个第二种子点区域相对较大，也使得超像素分割得到很多不规则的超像素区域，各区域分别表征了电路板上元器件的轮廓。而图7b为通过较小间距进行种子点初始化和超像素分割的结果示意图，由于采用较小间距d进行种子点初始化，导致各个第二种子点区域相对较小，超像素分割更为精细，能够得到更多的不规则的超像素区域，各区域如同细胞一般紧凑整齐，邻域特征比较容易表达，生成超像素的紧凑度、轮廓保持方面都比较理想。
可以理解，这里采用超像素分割方式使得分割出来的超像素区域的分割界限与现实物体发生剧烈深度变化的区域能够重合，这样可以避免现有技术中实际深度变化较大区域被过度平滑的问题。
在本实施例中，参见图3，上述的步骤130主要涉及构建聚焦评估曲线的过程，具体可以包括步骤131-134，分别说明如下。
步骤131，对各个超像素区域分别进行随机采样，得到多个采样点。由于通过超像素分割的单个超像素区域内像素点之间的曲率是比较平滑的，所以可对每个超像素区域进行随机采样，然后只对采样的点进行聚焦评估曲线的计算，从而进一步地进行采样点深度估计，其余点使用采样点进行插值计算得到。
在一个具体实施例中，可通过混合求余法得到一组个数为n、值为0到1的随机数组
其中n＝SSuperPixel/25，SSuperPixel表示当前超像素区域的面积。那么，即可将超像素区域索引为Ri*SSuperPixel的点记录为采样点，这样就能够对采样点进行聚焦评估函数的计算。
步骤132，建立聚焦评估函数模型且表示为
F(x,y)＝w1f1(x,y)+w2f2(x,y)+w3f3(x,y)；
其中，f1()、f2()、f3()分别为不同类型的聚焦函数，(x,y)为任意采样点的坐标，w1、w2、w3均为待配置的权重系数。
在一个具体实施例中，可通过集成学习中Boosting方法对EOG、SML、FSWM三个聚焦函数进行集成，建立聚焦评估函数模型相比现有的一般方法具有清晰率较高、敏感区域宽度较宽等优点。
建立Boosting的聚焦评估函数模型表示为
Fboosting(x)＝w1*fEOG(x)+w2*fSML(x)+w3*fFSWM(x)；
其中，EOG函数表示为
SML函数表示为
FSWM函数表示为
在FSWM函数中，各参数分别为
其中，med{}为取中值的函数。
步骤133，利用各个采样点分别参与聚焦评估函数模型的计算，构建每个采样点的聚焦评估曲线且表示为{Fi(x,y)}(i＝0,1,…,N-1)。针对已构建的每个采样点的聚焦评估曲线{Fi(x,y)}，设置聚焦评估函数模型的损失函数为
其中，Fmin(x,y)＝min{Fi(x,y)}、Fmax(x,y)＝max{Fi(x,y)}分别为采样点(x,y)处聚焦评估曲线的最大值和最小值，Wpeak为敏感区域的宽度。比如，敏感区域可以为聚焦曲线函数值大于0.1×(fmax-fmin)+fmin的区域长度，fmax、fmin分别表示聚焦曲线的最大值和最小值。
步骤134，对聚焦评估函数模型进行训练，在对应的损失函数收敛时计算得到权重系数w1、w2、w3，利用计算得到的权重系数配置聚焦评估函数模型并得到每个采样点的聚焦评估曲线。
在一个具体实施例中，为了通过训练来配置聚焦评估函数模型，可采用梯度下降法对权重系数w1、w2、w3进行更新，使得
直至收敛(公式中下标l为权重系数的序号)。在得到权重系数w1、w2、w3之后，代入聚焦评估函数模型即可得到F(x,y)＝w1f1(x,y)+w2f2(x,y)+w3f3(x,y)的完整表达式，那么也可进一步地得到聚焦评估曲线的表达式{Fi(x,y)}(i＝0,1,…,N-1)。
可以理解，在构建各个超像素区域的聚焦评估曲线时，对超像素区域进行随机采样后只对采样点进行聚焦评估函数的计算，由于超像素区域具有曲率变化平缓的特点，那么这种方式在不影响精度的情形下能够大大降低计算的复杂度。
在本实施例中，参见图4，上述的步骤140主要涉及形成深度估计图像的过程，具体可以包括步骤141-143，分别说明如下。
步骤141，对于超像素区域内的每个像素点(x,y)，计算像素点(x,y)在聚焦评估曲线{Fi(x,y)}(i＝0,1,…,N-1)中的极大值Fmax(x,y)，确定极大值对应的聚焦图像在图像序列{Mi}(i＝0,1…N-1)中的索引值k。
步骤142，通过以索引值k为中心的三个点(k-1,Fk-1(x,y))、(k,Fk(x,y))、(k+1,Fk+1(x,y))拟合二次曲线，以及计算二次曲线在[k-1,k+1]内的极大值位置kmax(x,y)，利用极大值的位置kmax(x,y)确定像素点(x,y)的深度估计值D(x,y)＝255*kmax(x,y)/N。
步骤143，获取超像素区域内各个像素点的深度估计值并形成深度估计图像。此时形成的深度估计图像可表示为P。
可以理解，由于构建形成的聚焦评估曲线相比于一般方法计算得到的聚焦曲线具有陡峭区宽度宽、清晰度比率高的优点，那么能够保证深度估计的准确性和对噪声的抗干扰能力。
在本实施例中，在对图像序列中的各幅聚焦图像进行超像素分割之前还包括图像配准步骤，那么参见图5，图像配准步骤可具体包括步骤151-153，分别说明如下。
步骤151，在图像序列{Mi}(i＝0,1…N-1)中选择一幅聚焦图像作为基准图像，并选择其余任意一幅聚焦图像作为待配准图像，计算待配准图像相对于基准图像的导数Fx、Fy、Ft，其中，x、y、t分别是关于X轴、Y轴、时间T的求导参数。
步骤152，根据亮度恒定约束原则，可构建约束方程Fxu+Fyv+Ft＝0，并将X轴上的运动向量u＝xj-xi和Y轴上的运动向量v＝yj-yi代入预设的空间变换关系得到
其中，空间变换关系表示为
那么可以理解，只要求出公式中的a1、...、a6，即可配置矩阵
从而计算出待配准图像和基准图像之间空间变换关系。
步骤153，依据步骤152中公式可计算得到变换参数a1、…、a6，那么利用这些变换参数即可对空间变换关系进行配置，依据配置完成的空间变换关系对待配准图像进行空间变换。只要将所有图像序列{Mi}(i＝0,1…N-1)中余下的各幅聚焦图像分别进行空间变换之后，即可将图像序列{Mi}中的各幅聚焦图像转换到同一个基准空间。
可以理解，由于对图像序列中的各幅聚焦图像进行超像素分割之前，还采用光流法对各聚焦图像进行了图像配准处理，不仅将图像序列中的各幅聚焦图像转换到同一个基准空间，还能够避免图像序列所在基准空间不一致而造成的误差。
在本实施例中，得到深度估计图像之后还可包括图像优化步骤，那么参见图6，图像优化步骤可具体包括步骤161-163，分别说明如下。
步骤161，对深度估计图像P中的每个像素点(i,j)进行差值计算且表示为
需要说明的是，这里需要遍历深度估计图P，并对每一个像素点(i,j)进行上式的计算。
步骤162，取最小的差值计算结果min(|dc|,c＝1,...,8)作为dm，重新为像素点(i,j)的深度估计值D(i,j)赋值，那么可以得到
步骤163，利用赋值结果
得到新的深度估计图像，新的深度估计图像可表示为
该深度估计图像
是曲率优化后的深度估计图像。
可以理解，在得到深度估计图像之后还对深度估计图像进行了图像的优化处理，通过曲率滤波对估计得到的深度图像进行优化，使得最终得到的深度估计图对噪声具有更强的抗干扰能力，进一步提高三维深度估计的性能。
在本实施例中，上面的各步骤可以描述为：通过相机或摄像机等成像设备变焦获取一组不同聚焦深度的图像序列，对图像序列中的所有聚焦图像进行配准从而保证图像序列中所有聚焦图像处于同一基准空间。然后，对图像序列进行超像素分割，得到超像素区域的分割结果。接下来，基于得到的超像素区域分割结果对每个超像素区域进行采样，对每个采样点进行聚焦评估函数的计算并得到聚焦评估曲线，再根据聚焦评估曲线来估计得到采样点的深度估计值，以及通过插值得到所有像素点的初始深度估计结果，从而形成初始的深度估计图像。最后，对初始的深度估计图像进行优化以得到最终的深度估计图像。
实施例二、
在实施例一中公开的基于聚焦图像的深度估计方法的基础上，本实施例公开一种图像处理装置，具体请参考图8，该图像处理装置2包括相机21、处理器22和显示器23。
相机21用于对目标场景进行连续取像并形成图像序列，这里的图像序列包括多幅不同焦距深度的聚焦图像。
处理器22与相机21连接，用于根据实施例一中公开的深度估计方法处理图像序列，得到目标场景的深度估计图像。可以理解，处理器22可以是具有数据处理功能的CPU、GPU、FPGA、微控制器或数字集成电路，只要能够依据自身逻辑指令实现上文步骤110-140实现的深度估计方法即可。
显示器23与处理器22连接，用于对聚焦图像和/或深度估计图像进行显示。可以理解，显示器23可以是具有图像显示功能的屏幕，能够对聚焦图像和深度估计图像进行单独显示或共同显示即可，具体的屏幕类型和显示布局方式不做限制。
在本实施例中，请参考图9，处理器22具体包括图像获取模块22-1、像素分割模块22-2、聚焦评估模块22-3和深度估计模块22-4，分别说明如下。
图像获取模块22-1可与相机21通信，用于从相机21获取图像序列。
像素分割模块22-2与图像获取模块22-1连接，用于对图像序列中的各幅聚焦图像进行超像素分割，得到多个超像素区域。比如，像素分割模块22-2通过像素梯度索引将图像序列{Mi}(i＝0,1…N-1)中的各幅聚焦图像形成为一幅合成图像Mmerge；根据预设的间距d对合成图像进行种子点初始化，得到多个第一种子点，选择每个第一种子点的邻域范围内像素梯度最小的像素点为第二种子点；接下来执行超像素聚类步骤，对于合成图像中任意一个像素点p，计算像素点p与周围各个第二种子点s的差异性度量值，将像素点p归属到最小差异性度量值对应的第二种子点；根据归属到各个第二种子点的像素点分别形成对应的第二种子点区域，利用各个第二种子点区域对合成图像进行超像素分割，构成多个超像素区域。关于像素分割模块22-2的功能可具体参考实施例一中的步骤121-124，这里不再赘述。
聚焦评估模块22-3与像素分割模块22-2连接，用于构建各个超像素区域的聚焦评估曲线。比如，聚焦评估模块22-3对各个超像素区域分别进行随机采样，得到多个采样点；建立聚焦评估函数模型且表示为F(x,y)＝w1f1(x,y)+w2f2(x,y)+w3f3(x,y)；利用各个采样点分别参与聚焦评估函数模型的计算，构建每个采样点的聚焦评估曲线且表示为{Fi(x,y)}(i＝0,1,…,N-1)；针对已构建的每个采样点的聚焦评估曲线{Fi(x,y)}，设置聚焦评估函数模型的损失函数为
对聚焦评估函数模型进行训练，在对应的损失函数收敛时计算得到权重系数w1、w2、w3，利用计算得到的权重系数配置聚焦评估函数模型并得到每个采样点的聚焦评估曲线。关于聚焦评估模块22-3的功能可具体参考实施例一中的步骤131-134，这里不再赘述。
深度估计模块22-4与聚焦评估模块22-3连接，用于根据聚焦评估曲线计算得到各像素点的深度估计值，形成深度估计图像。比如，深度估计模块22-4对于超像素区域内的每个像素点(x,y)，计算像素点(x,y)在聚焦评估曲线{Fi(x,y)}(i＝0,1,…,N-1)中的极大值Fmax(x,y)，确定极大值对应的聚焦图像在图像序列{Mi}(i＝0,1…N-1)中的索引值k；通过以索引值k为中心的三个点(k-1,Fk-1(x,y))、(k,Fk(x,y))、(k+1,Fk+1(x,y))拟合二次曲线，以及计算二次曲线在[k-1,k+1]内的极大值位置kmax(x,y)，利用极大值的位置kmax(x,y)确定像素点(x,y)的深度估计值D(x,y)＝255*kmax(x,y)/N；获取超像素区域内各个像素点的深度估计值并形成深度估计图像。关于深度估计模块22-4的功能可具体参考实施例一中的步骤141-143，这里不再赘述。
比如图10a、图10b、图10c展示的电路板，该电路板上存在一些组成电路的电子元器件。其中图10a为在没有采用本申请深度估计方法，用一般方法得到的存在噪声干扰的深度估计图，由于噪声影响较为突出，使得用户无法依据图10a获得电路板的有效深度信息。其中图10b为没有采用本申请深度估计方法，用一般方法得到的边缘被过渡平滑的深度估计图，虽然能够识别其中的大部分电子元器件轮廓，但是深度信息不明显，导致深度估计的准确性较低。其中图10c为采用本申请深度估计方法得到的深度估计图，由于采用了超像素分割和聚焦函数曲线计算的处理方式，能够最大程度消除类似于图10a中的噪声干扰，也能够避免10b中边缘被过渡平滑的情况发生，从而得到深度信息丰富、深度估计正确性高的深度估计图像。
在本实施例中，图像处理装置2能够实现目标场景深度估计的功能，由于处理器22采用了步骤110-140中设计的深度估计方法，则利于通过超像素分割方式使分割出来的超像素区域的分割界限与现实物体发生剧烈深度变化的区域能够重合，避免现有技术中实际深度变化较大区域被过度平滑的问题；此外，还利于构建出具有陡峭区宽度宽、清晰度比率高的聚焦评估曲线，从而保证深度估计的准确性和对噪声的抗干扰能力。
实施例三、
请参考图11，本实施例公开一种图像处理装置，该图像处理装置3主要包括存储器31和处理器32。
图像处理装置3的主要部件为存储器31和处理器32。其中，存储器31作为计算机可读存储介质，主要用于存储程序，该程序可以是实施例一中深度估计方法对应的程序代码。其中，处理器32与存储器31连接，用于执行存储器31中存储的程序以实现深度估计方法。处理器32实现的功能可以参考实施例二中的处理器22，这里不再进行详细说明。
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。
Claims (11)
1.一种基于聚焦图像的深度估计方法，其特征在于，包括：
获取图像序列，所述图像序列包括多幅不同焦距深度的聚焦图像；
对所述图像序列中的各幅聚焦图像进行超像素分割，得到多个超像素区域；
构建各个所述超像素区域的聚焦评估曲线；
根据所述聚焦评估曲线计算得到各像素点的深度估计值，形成深度估计图像。
2.如权利要求1所述的深度估计方法，其特征在于，对所述图像序列中的各幅聚焦图像进行超像素分割，得到多个超像素区域，包括：
通过像素梯度索引将所述图像序列中的各幅聚焦图像形成为一幅合成图像Mmerge；
根据预设的间距d对所述合成图像进行种子点初始化，得到多个第一种子点，选择每个所述第一种子点的邻域范围内像素梯度最小的像素点为第二种子点；
执行超像素聚类步骤：
对于所述合成图像中任意一个像素点p，计算像素点p与周围各个第二种子点s的差异性度量值，将像素点p归属到最小差异性度量值对应的第二种子点；所述差异性度量值表示为
其中，sqrt()为平方根计算函数，(xp,yp)为像素点p的坐标，(xs,ys)为第二种子点s的坐标，Mmerge表示所述合成图像，I表示所述合成图像对应的索引图像，N为所述图像序列中的图像数目；
根据归属到各个第二种子点的像素点分别形成对应的第二种子点区域，利用各个所述第二种子点区域对所述合成图像进行超像素分割，构成多个超像素区域。
3.如权利要求2所述的深度估计方法，其特征在于，所述通过像素梯度索引将所述图像序列中的各幅聚焦图像形成为一幅合成图像，包括：
对于图像序列{Mi}(i＝0,1…N-1)，计算每幅聚焦图像Mi的像素梯度，得到对应的梯度图像
并构建梯度图像序列
在梯度图像序列
中，比较各梯度图像并取得每个像素坐标处最大像素梯度对应的聚焦图像在图像序列{Mi}中的索引值，构建索引图像I；
根据索引图像I中的每个索引值获得图像序列{Mi}中对应聚焦图像在对应像素坐标处的像素值，通过像素赋值构成合成图像Mmerge且赋值过程表示为Mmerge(i,j)＝MI(i,j)(i,j)，其中(i,j)为像素坐标。
4.如权利要求2所述的深度估计方法，其特征在于，所述根据归属到各个第二种子点的像素点分别形成对应的第二种子点区域，包括：
根据归属到各个第二种子点的像素点重新计算各个第二种子点的位置坐标；每个第二种子点的位置坐标表示为
其中，(xi,yi)为归属于第二种子点的像素点的坐标，n为归属于第二种子点的像素点的数目，(x′,y′)为重新计算的第二种子点的位置坐标；
利用重新计算的第二种子点的位置坐标对所述合成图像再次执行超像素聚类步骤，直至重新计算的每个第二种子点的位置变化达到收敛，或者计算达到预设的次数。
5.如权利要求1所述的深度估计方法，其特征在于，在对所述图像序列中的各幅聚焦图像进行超像素分割之前还包括图像配准步骤，所述图像配准步骤包括：
在图像序列中选择一幅聚焦图像作为基准图像，并选择其余任意一幅聚焦图像作为待配准图像，计算所述待配准图像相对于所述基准图像的导数Fx、Fy、Ft，其中，x、y、t分别是关于X轴、Y轴、时间T的求导参数；
构建约束方程Fxu+Fyv+Ft＝0，并将X轴上的运动向量u＝xj-xi和Y轴上的运动向量v＝yj-yi代入预设的空间变换关系得到
其中所述空间变换关系表示为
计算得到变换参数a1、…、a6并对所述空间变换关系进行配置，依据配置完成的空间变换关系对所述待配准图像进行空间变换，以将图像序列{Mi}中的各幅聚焦图像转换到同一个基准空间。
6.如权利要求1所述的深度估计方法，其特征在于，所述构建各个所述超像素区域的聚焦评估曲线，包括：
对各个所述超像素区域分别进行随机采样，得到多个采样点；
建立聚焦评估函数模型且表示为
F(x,y)＝w1f1(x,y)+w2f2(x,y)+w3f3(x,y)；
其中，f1()、f2()、f3()分别为不同类型的聚焦函数，(x,y)为任意采样点的坐标，w1、w2、w3均为待配置的权重系数；
利用各个采样点分别参与所述聚焦评估函数模型的计算，构建每个采样点的聚焦评估曲线且表示为{Fi(x,y)}(i＝0,1,…,N-1)；
针对已构建的每个采样点的聚焦评估曲线{Fi(x,y)}，设置所述聚焦评估函数模型的损失函数为
其中，Fmin(x,y)＝min{Fi(x,y)}、Fmax(x,y)＝max{Fi(x,y)}分别为采样点(x,y)处聚焦评估曲线的最大值和最小值，Wpeak为敏感区域的宽度；
对所述聚焦评估函数模型进行训练，在对应的损失函数收敛时计算得到权重系数w1、w2、w3，利用计算得到的权重系数配置所述聚焦评估函数模型并得到每个采样点的聚焦评估曲线。
7.如权利要求6所述的深度估计方法，其特征在于，所述根据所述聚焦评估曲线计算得到各像素点的深度估计值，形成深度估计图像，包括：
对于所述超像素区域内的每个像素点(x,y)，计算像素点(x,y)在聚焦评估曲线{Fi(x,y)}(i＝0,1,…,N-1)中的极大值Fmax(x,y)，确定极大值对应的聚焦图像在图像序列{Mi}(i＝0,1…N-1)中的索引值k；
通过以索引值k为中心的三个点(k-1,Fk-1(x,y))、(k,Fk(x,y))、(k+1,Fk+1(x,y))拟合二次曲线，以及计算二次曲线在[k-1,k+1]内的极大值位置kmax(x,y)，利用极大值的位置kmax(x,y)确定像素点(x,y)的深度估计值D(x,y)＝255*kmax(x,y)/N；
获取所述超像素区域内各个像素点的深度估计值并形成深度估计图像。
8.如权利要求1-7中任一项所述的深度估计方法，其特征在于，得到所述深度估计图像之后包括图像优化步骤，所述图像优化步骤包括：
对所述深度估计图像中的每个像素点(i,j)进行差值计算且表示为
取最小的差值计算结果min(|dc|,c＝1,...,8)作为dm，重新为像素点(i,j)的深度估计值D(i,j)赋值并得到
利用赋值结果
得到新的深度估计图像。
9.一种图像处理装置，其特征在于，包括：
相机，用于对目标场景进行连续取像并形成图像序列，所述图像序列包括多幅不同焦距深度的聚焦图像；
处理器，与所述相机连接，用于根据权利要求1-8中任一项所述的深度估计方法处理所述图像序列，得到所述目标场景的深度估计图像；
显示器，与所述处理器连接，用于对所述聚焦图像和/或所述深度估计图像进行显示。
10.如权利要求9所述的图像处理装置，其特征在于，所述处理器包括：
图像获取模块，用于从所述相机获取所述图像序列；
像素分割模块，用于对所述图像序列中的各幅聚焦图像进行超像素分割，得到多个超像素区域；
聚焦评估模块，用于构建各个所述超像素区域的聚焦评估曲线；
深度估计模块，用于根据所述聚焦评估曲线计算得到各像素点的深度估计值，形成深度估计图像。
11.一种计算机可读存储介质，其特征在于，所述介质上存储有程序，所述程序能够被处理器执行以实现如权利要求1-8中任一项所述的深度估计方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110529700.XA CN113344941A (zh) | 2021-05-14 | 2021-05-14 | 一种基于聚焦图像的深度估计方法及图像处理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110529700.XA CN113344941A (zh) | 2021-05-14 | 2021-05-14 | 一种基于聚焦图像的深度估计方法及图像处理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113344941A true CN113344941A (zh) | 2021-09-03 |
Family
ID=77468714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110529700.XA Pending CN113344941A (zh) | 2021-05-14 | 2021-05-14 | 一种基于聚焦图像的深度估计方法及图像处理装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113344941A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116012522A (zh) * | 2022-11-03 | 2023-04-25 | 成都寻创信息技术有限公司 | 头颈颌面部软组织、骨骼及血管的三维成像系统 |
-
2021
- 2021-05-14 CN CN202110529700.XA patent/CN113344941A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116012522A (zh) * | 2022-11-03 | 2023-04-25 | 成都寻创信息技术有限公司 | 头颈颌面部软组织、骨骼及血管的三维成像系统 |
| CN116012522B (zh) * | 2022-11-03 | 2023-11-14 | 成都寻创信息技术有限公司 | 头颈颌面部软组织、骨骼及血管的三维成像系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114782691B (zh) | 基于深度学习的机器人目标识别与运动检测方法、存储介质及设备 | |
| KR101195942B1 (ko) | 카메라 보정 방법 및 이를 이용한 3차원 물체 재구성 방법 | |
| CN112367514B (zh) | 三维场景构建方法、装置、系统和存储介质 | |
| Strecke et al. | Accurate depth and normal maps from occlusion-aware focal stack symmetry | |
| Wu et al. | Stereo matching with fusing adaptive support weights | |
| CN107578376B (zh) | 基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法 | |
| CN109697728A (zh) | 数据处理方法、装置、系统和存储介质 | |
| CN110796691B (zh) | 一种基于形状上下文和hog特征的异源图像配准方法 | |
| CN108921864A (zh) | 一种光条中心提取方法及装置 | |
| CN110567441B (zh) | 基于粒子滤波的定位方法、定位装置、建图及定位的方法 | |
| CN111612731B (zh) | 基于双目显微视觉的测量方法、装置、系统及介质 | |
| CN101409791A (zh) | 视频处理系统和方法 | |
| CN110443874B (zh) | 基于卷积神经网络的视点数据生成方法和装置 | |
| Vu et al. | Efficient hybrid tree-based stereo matching with applications to postcapture image refocusing | |
| CN109919971A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN114693760A (zh) | 图像校正方法、装置及系统、电子设备 | |
| CN111951335A (zh) | 确定相机标定参数的方法、装置、处理器和图像采集系统 | |
| CN112927251A (zh) | 基于形态学的场景稠密深度图获取方法、系统及装置 | |
| CN116012515A (zh) | 一种神经辐射场网络训练方法以及相关设备 | |
| CN112802186B (zh) | 基于二值化特征编码匹配的动态场景实时三维重建方法 | |
| CN113344941A (zh) | 一种基于聚焦图像的深度估计方法及图像处理装置 | |
| CN114255285A (zh) | 视频与城市信息模型三维场景融合方法、系统及存储介质 | |
| CN112750155A (zh) | 基于卷积神经网络的全景深度估计方法 | |
| CN110147809A (zh) | 图像处理方法及装置、存储介质及图像设备 | |
| CN113920270B (zh) | 一种基于多视角全景的布局重建方法及其系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |