CN114897952A - 一种自适应遮挡的单张光场影像准确深度估计方法及系统 - Google Patents
一种自适应遮挡的单张光场影像准确深度估计方法及系统 Download PDFInfo
- Publication number
- CN114897952A CN114897952A CN202210601833.8A CN202210601833A CN114897952A CN 114897952 A CN114897952 A CN 114897952A CN 202210601833 A CN202210601833 A CN 202210601833A CN 114897952 A CN114897952 A CN 114897952A
- Authority
- CN
- China
- Prior art keywords
- depth
- line
- epi
- shielded
- evaluated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000005457 optimization Methods 0.000 claims abstract description 28
- 230000000007 visual effect Effects 0.000 claims abstract description 24
- 230000002194 synthesizing effect Effects 0.000 claims description 18
- 230000015572 biosynthetic process Effects 0.000 claims description 9
- 230000000903 blocking effect Effects 0.000 claims description 9
- 238000003786 synthesis reaction Methods 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 238000012854 evaluation process Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 abstract description 2
- 238000011156 evaluation Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 3
- 230000004931 aggregating effect Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/15—Correlation function computation including computation of convolution operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像处理分析技术领域，且公开了一种自适应遮挡的单张光场影像准确深度估计方法及系统，本发明通过综合单方向EPI中对应线上和线周围信息以及聚合多方向EPI的评估结果，充分利用光场影像可用信息，提高了对噪声的抵抗性和对不同场景的鲁棒性。本发明在评估过程中，为了降低遮挡的影响，利用已评估像素点对应线来剔除待评估点中被遮挡视角，并动态更新遮挡信息，提高了对遮挡的抵抗性。本发明利用考虑遮挡的整体优化模型，进一步了提高整体，尤其是遮挡区域的深度估计精度。
Description
技术领域
本发明涉及图像处理分析技术领域，具体为一种自适应遮挡的单张光场影像准确深度估计方法及系统。
背景技术
目前的单张光场影像深度估计方法主要可分为：基于多视匹配、基于角度域影像（angular patch）和基于EPI的方法三类。
（1）从光场影像中能够方便地提取多视角子孔径图像，基于多视的方法对这些子孔径图像进行多视匹配，进而估计深度。
（2）将一个空间点不同视角所对应像素按视角顺序排列在一起可得到该空间点的角度域影像。对光场影像进行重新聚焦，当聚焦到正确的深度时，角度域影像会呈现像素一致性。
（3）沿着某个方向选择多视角子孔径影像并进行前后排列，同时沿着相同方向取切面，得到的切面影像叫做EPI。EPI中线的方向对应于图像的深度，可通过分析线结构的方向估计深度。因此为准确评估EPI中线的方向，一部分方法利用EPI中线上像素一致性信息，一部分利用了线两边区域差异性信息。
但是，当前基于EPI的方法仅利用了线上或者线周围一方面信息，降低了深度估计精度，以及同时利用所有视角进行评估，未充分考虑遮挡的影响，但不同视角间影像基线很短，易出现评估错误且会产生遮挡。
发明内容
本发明主要是提供一种自适应遮挡的单张光场影像准确深度估计方法及系统。
为了解决上述技术问题，本发明采用如下技术方案：
一种自适应遮挡的单张光场影像准确深度估计方法，包括：
基于光场影像提取多方向EPI，并分别估计各方向所述EPI中目标点对应的线的方向；
基于各方向EPI计算得到的所述线的方向计算被遮挡线索，并根据计算结果判断是否被遮挡；
若没有被遮挡，则直接综合多方向EPI结果；若被遮挡，则剔除各方向EPI中被遮挡视角后重新估计线的方向，并综合多方向EPI结果，进而估计场景初始深度；
构建考虑遮挡的深度整体优化模型，并利用所述深度整体优化模型得到准确深度。
进一步，所述基于光场影像提取多方向EPI，并分别估计各方向所述EPI中目标点对应的线的方向，包括：
确定像素点
，获取所述EPI中穿过所述像素点
且方向为
的中心线，以及位于所述中心线两侧且方向一致的区域像素；
对于线周围信息，基于所述中心线和区域像素获取差异深度线索；对于线上信息，基于所述中心线上像素来源于同一空间点获取一致性深度线索；
基于所述差异深度线索和一致性深度线索计算穿过所述像素点的线的方向。
进一步，所述基于各方向EPI计算得到的所述线的方向计算被遮挡线索，并根据计算结果判断是否被遮挡，包括：
获取相邻已评估像素点的深度值；
计算在假设不存在遮挡下所述线的方向，获取被遮挡像素点在假设不存在遮挡的情况下的待评估像素点的深度值；
基于所述相邻已评估像素点的深度值与待评估像素点的深度值的差值，获取差值遮挡线索；且在被遮挡像素点，不同方向EPI估计得到的深度值不同，从而计算所有视角深度值的方差，从而获取方差遮挡线索；
基于所述差值遮挡线索和方差遮挡线索计算被遮挡线索，根据所述被遮挡线索获取被遮挡像素点。
进一步，所述若没有被遮挡，则直接综合多方向EPI结果；若被遮挡，则剔除各方向EPI中被遮挡视角后重新估计线的方向，并综合多方向EPI结果，进而估计场景初始深度，包括：
若没有被遮挡，则直接综合多方向EPI结果；
若被遮挡，对各方向EPI中的被遮挡像素点，评估该被遮挡像素点对应的直线计算待评估像素在不同线方向下未被遮挡视角，且每评估一个被遮挡像素点的线的方向后，即作为后续遮挡检测的输入，利用所述未被遮挡视角计算其线的方向，再综合多方向EPI结果。
进一步，所述构建考虑遮挡的深度整体优化模型，并利用所述深度整体优化模型得到准确深度，包括：
获取相邻已评估像素点的深度值；
基于所述相邻已评估像素点的深度值和综合多方向EPI结果，构建考虑遮挡的深度整体优化模型。
一种自适应遮挡的单张光场影像准确深度估计系统，包括：
线方向计算模块，用于基于光场影像提取多方向EPI，并分别估计各方向所述EPI中目标点对应的线的方向；
被遮挡线索计算判断模块，用于基于各方向EPI计算得到的所述线的方向计算被遮挡线索，并根据计算结果判断是否被遮挡；
EPI结果综合模块，用于若没有被遮挡，则直接综合多方向EPI结果；若被遮挡，则剔除各方向EPI中被遮挡视角后重新估计线的方向，并综合多方向EPI结果，进而估计场景初始深度；
模型构建模块，用于构建考虑遮挡的深度整体优化模型，并利用所述深度整体优化模型得到准确深度。
进一步，所述线方向计算模块，包括：
线方向原始数据采集子模块，用于确定像素点
，获取所述EPI中穿过所述像素点
且方向为
的中心线，以及位于所述中心线两侧且方向一致的区域像素；
深度线索衡量子模块，用于对于线周围信息，基于所述中心线和区域像素获取差异深度线索；对于线上信息，基于所述中心线上像素来源于同一空间点获取一致性深度线索；
线方向计算子模块，用于基于所述差异深度线索和一致性深度线索计算穿过所述像素点的线的方向。
进一步，所述被遮挡线索计算判断模块，包括：
相邻深度值采集子模块，用于获取相邻已评估像素点的深度值；
待评估深度值获取子模块，用于计算在假设不存在遮挡下所述线的方向，获取被遮挡像素点在假设不存在遮挡的情况下的待评估像素点的深度值；
遮挡线索计算子模块，用于基于所述相邻已评估像素点的深度值与待评估像素点的深度值的差值，获取差值遮挡线索；且在被遮挡像素点，不同方向EPI估计得到的深度值不同，从而计算所有视角深度值的方差，从而获取方差遮挡线索；
被遮挡线索计算子模块，用于基于所述差值遮挡线索和方差遮挡线索计算被遮挡线索，根据所述被遮挡线索获取被遮挡像素点。
进一步，所述EPI结果综合模块，包括：
直接综合子模块，用于若没有被遮挡，则直接综合多方向EPI结果；
被遮挡综合子模块，用于若被遮挡，对各方向EPI中的被遮挡像素点，评估该被遮挡像素点对应的直线计算待评估像素在不同线方向下未被遮挡视角，且每评估一个被遮挡像素点的线的方向后，即作为后续遮挡检测的输入，利用所述未被遮挡视角计算其线的方向，再综合多方向EPI结果。
进一步，所述模型构建模块，包括：
已评估深度值采集模块，用于获取相邻已评估像素点的深度值；
模型构建子模块，用于基于所述相邻已评估像素点的深度值和综合多方向EPI结果，构建考虑遮挡的深度整体优化模型。
有益效果：1、本发明通过综合单方向EPI中对应线上和线周围信息以及聚合多方向EPI的评估结果，充分利用光场影像可用信息，提高了对噪声的抵抗性和对不同场景的鲁棒性。2、本发明在评估过程中，为了降低遮挡的影响，利用已评估像素点对应线来剔除待评估点中被遮挡视角，并动态更新遮挡信息，提高了对遮挡的抵抗性。3、本发明利用考虑遮挡的整体优化模型，进一步了提高整体，尤其是遮挡区域的深度估计精度。
附图说明
图1为一种自适应遮挡的单张光场影像准确深度估计方法流程图；
图2为步骤S1流程图；
图3为步骤S2流程图；
图4为步骤S3流程图；
图5为步骤S4流程图；
图6为一种自适应遮挡的单张光场影像准确深度估计系统框图；
图7.1为中心线示意图；
图7.2为所有方向
的候选示意图；
图7.3为角度
和
的示意图；
图8为被遮挡视角剔除模型图。
具体实施方式
以下将结合实施例对本发明涉及的一种自适应遮挡的单张光场影像准确深度估计方法及系统技术方案进一步详细说明。
如图1所示，本实施例的一种自适应遮挡的单张光场影像准确深度估计方法，包括：S1~S4，
S1、基于光场影像提取多方向EPI，并分别估计各方向所述EPI中目标点对应的线的方向；
S2、基于各方向EPI计算得到的所述线的方向计算被遮挡线索，并根据计算结果判断是否被遮挡；
S3、若没有被遮挡，则直接综合多方向EPI结果；若被遮挡，则剔除各方向EPI中被遮挡视角后重新估计线的方向，并综合多方向EPI结果，进而估计场景初始深度；
S4、构建考虑遮挡的深度整体优化模型，并利用所述深度整体优化模型得到准确深度。
有益效果：1、本发明通过综合单方向EPI中对应线上和线周围信息以及聚合多方向EPI的评估结果，充分利用光场影像可用信息，提高了对噪声的抵抗性和对不同场景的鲁棒性。2、本发明在评估过程中，为了降低遮挡的影响，利用已评估像素点对应线来剔除待评估点中被遮挡视角，并动态更新遮挡信息，提高了对遮挡的抵抗性。3、本发明利用考虑遮挡的整体优化模型，进一步了提高整体，尤其是遮挡区域的深度估计精度。
进一步，如图2所示，步骤S1中所述基于光场影像提取多方向EPI，并分别估计各方向所述EPI中目标点对应的线的方向，包括：
S11、确定像素点
，获取所述EPI中穿过所述像素点
且方向为
的中心线，以及位于所述中心线两侧且方向一致的区域像素；
其中，如图7.1所示，EPI中穿过所述像素点
且方向为
的中心线和中心线两侧且方向一致的区域像素被标出，将中心线方向一致的平行四边形分割为两个区域像素；图7.2为对于像素点
，线的所有方向
的候选；图7.3为在角度
和
下的两个例子。这里的像素点
可以是待评估深度影像中的任意像素点。
其中，将
到
均分为n份，则
，表示方向
的选择范围。
S12、对于线周围信息，基于所述中心线和区域像素获取差异深度线索；对于线上信息，基于所述中心线上像素来源于同一空间点获取一致性深度线索；
其中，对于线周围信息，当线位于正确方向时，两个区域像素内的像素分布应该不同，可通过衡量两个区域间的差异得深度线索
。对于线上信息，当线位于正确方向时，线上像素来源于同一空间点，可通过衡量线上像素的一致性得深度线索
。
S13、基于所述差异深度线索和一致性深度线索计算穿过所述像素点的线的方向。
其中，将线索
和
组合在一起，以确定线的方向，该方向则为线的最优方向。考虑到两个线索所占权重的重要性，依据每个线索的置信度确定彼此的权重。综合两个线索后，代价量可通过以下公式计算，最大代价量对应的角度即为最优角度，通过最优的角度则能够确认线的最优方向/正确方向。
式中，
是总代价量，
和
分别是代价量
和
的置信度，
是用来调整两个线索比例的常值。置信度的计算如下所示：
式中，
是在角度
下对应的代价量, 
是所有角度
下代价量对应的最小值，
是人为预先设置的标准差常值。
其中，本发明通过同时利用线上像素的一致性与线两侧区域的差异性来确定EPI中的线方向，提高最优线方向评估精度。
进一步，如图3所示，步骤S2中所述基于各方向EPI计算得到的所述线的方向计算被遮挡线索，并根据计算结果判断是否被遮挡，包括：
S21、获取相邻已评估像素点的深度值；
其中，在评估时候，是沿着某个特定的方向，比如从左往右，或者从上到下等，第一个像素不用判断，因为其已经算过的，就是最优角度对应的线的方向，到第二个时候，对于第二个，第一个就是已评估像素;对于第三个，前两个就是已评估像素，按照上述流程依次往下推，直到结束。
S22、计算在假设不存在遮挡下所述线的方向，获取被遮挡像素点在假设不存在遮挡的情况下的待评估像素点的深度值；
其中，获取的最优角度值，也就找到了待评估像素点的深度值。
S23、基于所述相邻已评估像素点的深度值与待评估像素点的深度值的差值，获取差值遮挡线索；且在被遮挡像素点，不同方向EPI估计得到的深度值不同，从而计算所有视角深度值的方差，从而获取方差遮挡线索；
其中，差值遮挡线索为
，方差遮挡线索为
。所有视角指的是不同方向的EPI。
S24、基于所述差值遮挡线索和方差遮挡线索计算被遮挡线索，根据所述被遮挡线索获取被遮挡像素点。
其中，
。
其中，本发明利用该方法能够对被遮挡像素自动检测；若
大于预先人为设定的阈值，则为被遮挡像素。
进一步，如图4所示，步骤S3中所述若没有被遮挡，则直接综合多方向EPI结果；若被遮挡，则剔除各方向EPI中被遮挡视角后重新估计线的方向，并综合多方向EPI结果，进而估计场景初始深度，包括：
S31、若没有被遮挡，则直接综合多方向EPI结果；
其中，
为聚合多方向EPI的代价量，比如利用了
四个方向的EPI，则
。
S32、若被遮挡，对各方向EPI中的被遮挡像素点，评估该被遮挡像素点对应的直线计算待评估像素在不同线方向下未被遮挡视角，且每评估一个被遮挡像素点的线的方向后，即作为后续遮挡检测的输入，利用所述未被遮挡视角计算其线的方向，再综合多方向EPI结果。
其中，如图8所示，
为被遮挡像素点，
左侧为已评估深度的像素，其深度对应的线方向用白线表示，
在不同深度下，即在不同线方向下，会跟白线有交叉，白线左侧的属于被遮挡的像素，右侧为未被遮挡像素。对于未被遮挡的像素，利用S13中的公式进行计算。这里的被遮挡像素点
也是S24中的被遮挡像素点。
其中，如图8所示，本发明在正确的线的方向下，EPI中部分视角会被遮挡导致评估错误，因此先找到被遮挡像素，然后利用已评估深度点对应线与待评估点线在不同方向下线的交叉剔除待评估点中的被遮挡像素，仅利用未被遮挡视角进行深度估计，提高对遮挡的抵抗性。
进一步，如图5所示，步骤S4中所述构建考虑遮挡的深度整体优化模型，并利用所述深度整体优化模型得到准确深度，包括：
S41、获取相邻已评估像素点的深度值；
S42、基于所述相邻已评估像素点的深度值和综合多方向EPI结果，构建考虑遮挡的深度整体优化模型。
式中，
和
为相邻像素点估计的深度值代表任意两个相邻像素点的深度值，
为计算的代价值，
为平滑项，用于保证周围像素的深度一致性，
用来平衡平滑项。
为总体能量函数的值，通过最小化
，可以得到最优结果。
其中，综合各方向EPI的估计结果，增强深度估计的鲁棒性，并利用考虑遮挡的整体优化模型，进一步提高整体和局部深度估计精度。
如图6所示，一种自适应遮挡的单张光场影像准确深度估计系统，包括：
线方向计算模块61，用于基于光场影像提取多方向EPI，并分别估计各方向所述EPI中目标点对应的线的方向；
被遮挡线索计算判断模块62，用于基于各方向EPI计算得到的所述线的方向计算被遮挡线索，并根据计算结果判断是否被遮挡；
EPI结果综合模块63，用于若没有被遮挡，则直接综合多方向EPI结果；若被遮挡，则剔除各方向EPI中被遮挡视角后重新估计线的方向，并综合多方向EPI结果，进而估计场景初始深度；
模型构建模块64，用于构建考虑遮挡的深度整体优化模型，并利用所述深度整体优化模型得到准确深度。
进一步，所述线方向计算模块61，包括：
线方向原始数据采集子模块611，用于确定像素点
，获取所述EPI中穿过所述像素点
且方向为
的中心线，以及位于所述中心线两侧且方向一致的区域像素；
深度线索衡量子模块612，用于对于线周围信息，基于所述中心线和区域像素获取差异深度线索；对于线上信息，基于所述中心线上像素来源于同一空间点获取一致性深度线索；
线方向计算子模块613，用于基于所述差异深度线索和一致性深度线索计算穿过所述像素点的线的方向。
进一步，所述被遮挡线索计算判断模块62，包括：
相邻深度值采集子模块621，用于获取相邻已评估像素点的深度值；
待评估深度值获取子模块622，用于计算在假设不存在遮挡下所述线的方向，获取被遮挡像素点在假设不存在遮挡的情况下的待评估像素点的深度值；
遮挡线索计算子模块623，用于基于所述相邻已评估像素点的深度值与待评估像素点的深度值的差值，获取差值遮挡线索；且在被遮挡像素点，不同方向EPI估计得到的深度值不同，从而计算所有视角深度值的方差，从而获取方差遮挡线索；
被遮挡线索计算子模块624，用于基于所述差值遮挡线索和方差遮挡线索计算被遮挡线索，根据所述被遮挡线索获取被遮挡像素点。
进一步，所述EPI结果综合模块63，包括：
直接综合子模块631，用于若没有被遮挡，则直接综合多方向EPI结果；
被遮挡综合子模块632，用于若被遮挡，对各方向EPI中的被遮挡像素点，评估该被遮挡像素点对应的直线计算待评估像素在不同线方向下未被遮挡视角，且每评估一个被遮挡像素点的线的方向后，即作为后续遮挡检测的输入，利用所述未被遮挡视角计算其线的方向，再综合多方向EPI结果。
进一步，所述模型构建模块64，包括：
已评估深度值采集模块641，用于获取相邻已评估像素点的深度值；
模型构建子模块642，用于基于所述相邻已评估像素点的深度值和综合多方向EPI结果，构建考虑遮挡的深度整体优化模型。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种自适应遮挡的单张光场影像准确深度估计方法，其特征在于，包括：
基于光场影像提取多方向EPI，并分别估计各方向所述EPI中目标点对应的线的方向；
基于各方向EPI计算得到的所述线的方向计算被遮挡线索，并根据计算结果判断是否被遮挡；
若没有被遮挡，则直接综合多方向EPI结果；若被遮挡，则剔除各方向EPI中被遮挡视角后重新估计线的方向，并综合多方向EPI结果，进而估计场景初始深度；
构建考虑遮挡的深度整体优化模型，并利用所述深度整体优化模型得到准确深度。
2.根据权利要求1所述的方法，其特征在于，所述基于光场影像提取多方向EPI，并分别估计各方向所述EPI中目标点对应的线的方向，包括：
确定像素点
，获取所述EPI中穿过所述像素点
且方向为
的中心线，以及位于所述中心线两侧且方向一致的区域像素；
对于线周围信息，基于所述中心线和区域像素获取差异深度线索；对于线上信息，基于所述中心线上像素来源于同一空间点获取一致性深度线索；
基于所述差异深度线索和一致性深度线索计算穿过所述像素点的线的方向。
3.根据权利要求2所述的方法，其特征在于：所述基于各方向EPI计算得到的所述线的方向计算被遮挡线索，并根据计算结果判断是否被遮挡，包括：
获取相邻已评估像素点的深度值；
计算在假设不存在遮挡下所述线的方向，获取被遮挡像素点在假设不存在遮挡的情况下的待评估像素点的深度值；
基于所述相邻已评估像素点的深度值与待评估像素点的深度值的差值，获取差值遮挡线索；且在被遮挡像素点，不同方向EPI估计得到的深度值不同，从而计算所有视角深度值的方差，从而获取方差遮挡线索；
基于所述差值遮挡线索和方差遮挡线索计算被遮挡线索，根据所述被遮挡线索获取被遮挡像素点。
4.根据权利要求3所述的方法，其特征在于，所述若没有被遮挡，则直接综合多方向EPI结果；若被遮挡，则剔除各方向EPI中被遮挡视角后重新估计线的方向，并综合多方向EPI结果，进而估计场景初始深度，包括：
若没有被遮挡，则直接综合多方向EPI结果；
若被遮挡，对各方向EPI中的被遮挡像素点，评估该被遮挡像素点对应的直线计算待评估像素在不同线方向下未被遮挡视角，且每评估一个被遮挡像素点的线的方向后，即作为后续遮挡检测的输入，利用所述未被遮挡视角计算其线的方向，再综合多方向EPI结果。
5.根据权利要求4所述的方法，其特征在于，所述构建考虑遮挡的深度整体优化模型，并利用所述深度整体优化模型得到准确深度，包括：
获取相邻已评估像素点的深度值；
基于所述相邻已评估像素点的深度值和综合多方向EPI结果，构建考虑遮挡的深度整体优化模型。
6.一种自适应遮挡的单张光场影像准确深度估计系统，其特征在于，包括：
线方向计算模块，用于基于光场影像提取多方向EPI，并分别估计各方向所述EPI中目标点对应的线的方向；
被遮挡线索计算判断模块，用于基于各方向EPI计算得到的所述线的方向计算被遮挡线索，并根据计算结果判断是否被遮挡；
EPI结果综合模块，用于若没有被遮挡，则直接综合多方向EPI结果；若被遮挡，则剔除各方向EPI中被遮挡视角后重新估计线的方向，并综合多方向EPI结果，进而估计场景初始深度；
模型构建模块，用于构建考虑遮挡的深度整体优化模型，并利用所述深度整体优化模型得到准确深度。
7.根据权利要求6所述的系统，其特征在于，所述线方向计算模块，包括：
线方向原始数据采集子模块，用于确定像素点
，获取所述EPI中穿过所述像素点
且方向为
的中心线，以及位于所述中心线两侧且方向一致的区域像素；
深度线索衡量子模块，用于对于线周围信息，基于所述中心线和区域像素获取差异深度线索；对于线上信息，基于所述中心线上像素来源于同一空间点获取一致性深度线索；
线方向计算子模块，用于基于所述差异深度线索和一致性深度线索计算穿过所述像素点的线的方向。
8.根据权利要求7所述的系统，其特征在于，所述被遮挡线索计算判断模块，包括：
相邻深度值采集子模块，用于获取相邻已评估像素点的深度值；
待评估深度值获取子模块，用于计算在假设不存在遮挡下所述线的方向，获取被遮挡像素点在假设不存在遮挡的情况下的待评估像素点的深度值；
遮挡线索计算子模块，用于基于所述相邻已评估像素点的深度值与待评估像素点的深度值的差值，获取差值遮挡线索；且在被遮挡像素点，不同方向EPI估计得到的深度值不同，从而计算所有视角深度值的方差，从而获取方差遮挡线索；
被遮挡线索计算子模块，用于基于所述差值遮挡线索和方差遮挡线索计算被遮挡线索，根据所述被遮挡线索获取被遮挡像素点。
9.根据权利要求8所述的系统，其特征在于，所述EPI结果综合模块，包括：
直接综合子模块，用于若没有被遮挡，则直接综合多方向EPI结果；
被遮挡综合子模块，用于若被遮挡，对各方向EPI中的被遮挡像素点，评估该被遮挡像素点对应的直线计算待评估像素在不同线方向下未被遮挡视角，且每评估一个被遮挡像素点的线的方向后，即作为后续遮挡检测的输入，利用所述未被遮挡视角计算其线的方向，再综合多方向EPI结果。
10.根据权利要求9所述的系统，其特征在于，所述模型构建模块，包括：
已评估深度值采集模块，用于获取相邻已评估像素点的深度值；
模型构建子模块，用于基于所述相邻已评估像素点的深度值和综合多方向EPI结果，构建考虑遮挡的深度整体优化模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210601833.8A CN114897952B (zh) | 2022-05-30 | 2022-05-30 | 一种自适应遮挡的单张光场影像准确深度估计方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210601833.8A CN114897952B (zh) | 2022-05-30 | 2022-05-30 | 一种自适应遮挡的单张光场影像准确深度估计方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114897952A true CN114897952A (zh) | 2022-08-12 |
| CN114897952B CN114897952B (zh) | 2023-04-04 |
Family
ID=82725524
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210601833.8A Active CN114897952B (zh) | 2022-05-30 | 2022-05-30 | 一种自适应遮挡的单张光场影像准确深度估计方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114897952B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117474922A (zh) * | 2023-12-27 | 2024-01-30 | 中国科学院长春光学精密机械与物理研究所 | 一种基于内联遮挡处理的抗噪光场深度测量方法及系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104966289A (zh) * | 2015-06-12 | 2015-10-07 | 北京工业大学 | 一种基于4d光场的深度估计方法 |
| CN106384338A (zh) * | 2016-09-13 | 2017-02-08 | 清华大学深圳研究生院 | 一种基于形态学的光场深度图像的增强方法 |
| CN108596965A (zh) * | 2018-03-16 | 2018-09-28 | 天津大学 | 一种光场图像深度估计方法 |
| CN108846473A (zh) * | 2018-04-10 | 2018-11-20 | 杭州电子科技大学 | 基于方向和尺度自适应卷积神经网络的光场深度估计方法 |
| CN109064505A (zh) * | 2018-07-26 | 2018-12-21 | 清华大学深圳研究生院 | 一种基于滑动窗口张量提取的深度估计方法 |
| CN109255809A (zh) * | 2018-09-26 | 2019-01-22 | 郑州云海信息技术有限公司 | 一种光场图像深度估计方法及装置 |
| CN110036410A (zh) * | 2016-10-18 | 2019-07-19 | 弗托斯传感与算法公司 | 用于从视图中获得距离信息的设备和方法 |
| CN111260712A (zh) * | 2020-02-07 | 2020-06-09 | 清华大学深圳国际研究生院 | 一种基于重聚焦极线图邻域分布的深度估计方法和装置 |
| CN111260707A (zh) * | 2020-02-21 | 2020-06-09 | 合肥工业大学 | 一种基于光场epi图像的深度估计方法 |
| US20210118162A1 (en) * | 2019-10-22 | 2021-04-22 | Tsinghua University | Depth information calculation method and device based on light-field-binocular system |
| CN113989345A (zh) * | 2021-10-25 | 2022-01-28 | 广西师范大学 | 一种深度图像处理方法、系统和电子设备 |
| CN114511609A (zh) * | 2022-04-18 | 2022-05-17 | 清华大学 | 基于遮挡感知的无监督光场视差估计系统及方法 |
-
2022
- 2022-05-30 CN CN202210601833.8A patent/CN114897952B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104966289A (zh) * | 2015-06-12 | 2015-10-07 | 北京工业大学 | 一种基于4d光场的深度估计方法 |
| CN106384338A (zh) * | 2016-09-13 | 2017-02-08 | 清华大学深圳研究生院 | 一种基于形态学的光场深度图像的增强方法 |
| CN110036410A (zh) * | 2016-10-18 | 2019-07-19 | 弗托斯传感与算法公司 | 用于从视图中获得距离信息的设备和方法 |
| CN108596965A (zh) * | 2018-03-16 | 2018-09-28 | 天津大学 | 一种光场图像深度估计方法 |
| CN108846473A (zh) * | 2018-04-10 | 2018-11-20 | 杭州电子科技大学 | 基于方向和尺度自适应卷积神经网络的光场深度估计方法 |
| CN109064505A (zh) * | 2018-07-26 | 2018-12-21 | 清华大学深圳研究生院 | 一种基于滑动窗口张量提取的深度估计方法 |
| CN109255809A (zh) * | 2018-09-26 | 2019-01-22 | 郑州云海信息技术有限公司 | 一种光场图像深度估计方法及装置 |
| US20210118162A1 (en) * | 2019-10-22 | 2021-04-22 | Tsinghua University | Depth information calculation method and device based on light-field-binocular system |
| CN111260712A (zh) * | 2020-02-07 | 2020-06-09 | 清华大学深圳国际研究生院 | 一种基于重聚焦极线图邻域分布的深度估计方法和装置 |
| CN111260707A (zh) * | 2020-02-21 | 2020-06-09 | 合肥工业大学 | 一种基于光场epi图像的深度估计方法 |
| CN113989345A (zh) * | 2021-10-25 | 2022-01-28 | 广西师范大学 | 一种深度图像处理方法、系统和电子设备 |
| CN114511609A (zh) * | 2022-04-18 | 2022-05-17 | 清华大学 | 基于遮挡感知的无监督光场视差估计系统及方法 |
Non-Patent Citations (8)
| Title |
|---|
| SCHILLING H 等: "Trust your model: Light field depth estimation with inline occlusion handling" * |
| SHENG H 等: ""Occlusion-aware depth estimation for light field using multi-orientation EPIs"，", 《PATTERN RECOGNITION》 * |
| WANG T C 等: "" Occlusion-aware depth estimation using light-field cameras"", 《2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 * |
| ZHANG YONGBING 等: "Light-field depth estimation via epipolar plane image analysis and locally linear embedding" * |
| 宁琪琦: "基于EPI的光场深度估计方法研究" * |
| 牛雨 等: "结合点线特征的DOM几何精度自动评定" * |
| 罗灿等: "抗多遮挡物干扰的光场深度信息估计算法", 《计算机工程与应用 网络首发》 * |
| 韩磊等: "基于光场成像的多线索融合深度估计方法", 《计算机学报》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117474922A (zh) * | 2023-12-27 | 2024-01-30 | 中国科学院长春光学精密机械与物理研究所 | 一种基于内联遮挡处理的抗噪光场深度测量方法及系统 |
| CN117474922B (zh) * | 2023-12-27 | 2024-04-02 | 中国科学院长春光学精密机械与物理研究所 | 一种基于内联遮挡处理的抗噪光场深度测量方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114897952B (zh) | 2023-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3869797B1 (en) | Method for depth detection in images captured using array cameras | |
| US9070042B2 (en) | Image processing apparatus, image processing method, and program thereof | |
| Wedel et al. | Efficient dense scene flow from sparse or dense stereo data | |
| CN104104937B (zh) | 图像处理装置以及图像处理方法 | |
| US5825915A (en) | Object detecting apparatus in which the position of a planar object is estimated by using hough transform | |
| KR100411875B1 (ko) | 스테레오 영상 시차 지도 융합 방법 및 그를 이용한 3차원영상 표시 방법 | |
| US8326025B2 (en) | Method for determining a depth map from images, device for determining a depth map | |
| EP2848003B1 (en) | Method and apparatus for acquiring geometry of specular object based on depth sensor | |
| US6909802B2 (en) | Image-correspondence position detection device, distance measuring device and apparatus using the same | |
| US8897545B2 (en) | Apparatus and method for determining a confidence value of a disparity estimate | |
| US10223802B2 (en) | Method for determining depth maps from stereo images with improved depth resolution in a range | |
| CN104685513A (zh) | 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计 | |
| CN110288659B (zh) | 一种基于双目视觉的深度成像及信息获取方法 | |
| CN107014294A (zh) | 一种基于红外图像的接触网几何参数检测方法及系统 | |
| JP2006091011A (ja) | マルチビュー視差表示 | |
| CN113989758A (zh) | 一种用于自动驾驶的锚引导3d目标检测方法及装置 | |
| Schramm et al. | Data fusion for 3D thermal imaging using depth and stereo camera for robust self-localization | |
| CN114897952B (zh) | 一种自适应遮挡的单张光场影像准确深度估计方法及系统 | |
| CN111951339A (zh) | 利用异构双目相机进行视差计算的图像处理方法 | |
| CN110851978A (zh) | 一种基于可见性的摄像机位置优化方法 | |
| CN107392948B (zh) | 一种分振幅实时偏振成像系统的图像配准方法 | |
| JPH07234111A (ja) | 三次元物体の計測方法 | |
| Ziqiang et al. | Research of the algorithm calculating the length of bridge crack based on stereo vision | |
| RU2446471C1 (ru) | Способ обнаружения движущихся объектов и определения их параметров | |
| CN104978745A (zh) | 一种高分辨率可见光图像目标变化检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |