CN114897952B - 一种自适应遮挡的单张光场影像准确深度估计方法及系统 - Google Patents

一种自适应遮挡的单张光场影像准确深度估计方法及系统 Download PDF

Info

Publication number
CN114897952B
CN114897952B CN202210601833.8A CN202210601833A CN114897952B CN 114897952 B CN114897952 B CN 114897952B CN 202210601833 A CN202210601833 A CN 202210601833A CN 114897952 B CN114897952 B CN 114897952B
Authority
CN
China
Prior art keywords
depth
line
epi
shielded
evaluated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210601833.8A
Other languages
English (en)
Other versions
CN114897952A (zh
Inventor
刘玉轩
孙钰珊
许彪
莫凡
樊仲藜
王保前
韩晓霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chinese Academy of Surveying and Mapping
Original Assignee
Chinese Academy of Surveying and Mapping
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chinese Academy of Surveying and Mapping filed Critical Chinese Academy of Surveying and Mapping
Priority to CN202210601833.8A priority Critical patent/CN114897952B/zh
Publication of CN114897952A publication Critical patent/CN114897952A/zh
Application granted granted Critical
Publication of CN114897952B publication Critical patent/CN114897952B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理分析技术领域，且公开了一种自适应遮挡的单张光场影像准确深度估计方法及系统，本发明通过综合单方向EPI中对应线上和线周围信息以及聚合多方向EPI的评估结果，充分利用光场影像可用信息，提高了对噪声的抵抗性和对不同场景的鲁棒性。本发明在评估过程中，为了降低遮挡的影响，利用已评估像素点对应线来剔除待评估点中被遮挡视角，并动态更新遮挡信息，提高了对遮挡的抵抗性。本发明利用考虑遮挡的整体优化模型，进一步了提高整体，尤其是遮挡区域的深度估计精度。

Description

一种自适应遮挡的单张光场影像准确深度估计方法及系统
技术领域
本发明涉及图像处理分析技术领域，具体为一种自适应遮挡的单张光场影像准确深度估计方法及系统。
背景技术
目前的单张光场影像深度估计方法主要可分为：基于多视匹配、基于角度域影像（angular patch）和基于EPI的方法三类。
（1）从光场影像中能够方便地提取多视角子孔径图像，基于多视的方法对这些子孔径图像进行多视匹配，进而估计深度。
（2）将一个空间点不同视角所对应像素按视角顺序排列在一起可得到该空间点的角度域影像。对光场影像进行重新聚焦，当聚焦到正确的深度时，角度域影像会呈现像素一致性。
（3）沿着某个方向选择多视角子孔径影像并进行前后排列，同时沿着相同方向取切面，得到的切面影像叫做EPI。EPI中线的方向对应于图像的深度，可通过分析线结构的方向估计深度。因此为准确评估EPI中线的方向，一部分方法利用EPI中线上像素一致性信息，一部分利用了线两边区域差异性信息。
但是，当前基于EPI的方法仅利用了线上或者线周围一方面信息，降低了深度估计精度，以及同时利用所有视角进行评估，未充分考虑遮挡的影响，但不同视角间影像基线很短，易出现评估错误且会产生遮挡。
发明内容
本发明主要是提供一种自适应遮挡的单张光场影像准确深度估计方法及系统。
为了解决上述技术问题，本发明采用如下技术方案：
一种自适应遮挡的单张光场影像准确深度估计方法，包括：
基于光场影像提取多方向EPI，并分别估计各方向所述EPI中目标点对应的线的方向；
基于各方向EPI计算得到的所述线的方向计算被遮挡线索，并根据计算结果判断是否被遮挡；
若没有被遮挡，则直接综合多方向EPI结果；若被遮挡，则剔除各方向EPI中被遮挡视角后重新估计线的方向，并综合多方向EPI结果，进而估计场景初始深度；
构建考虑遮挡的深度整体优化模型，并利用所述深度整体优化模型得到准确深度。
进一步，所述基于光场影像提取多方向EPI，并分别估计各方向所述EPI中目标点对应的线的方向，包括：
确定像素点，获取所述EPI中穿过所述像素点且方向为的中心线，以及位于所述中心线两侧且方向一致的区域像素；
对于线周围信息，基于所述中心线和区域像素获取差异深度线索；对于线上信息，基于所述中心线上像素来源于同一空间点获取一致性深度线索；
基于所述差异深度线索和一致性深度线索计算穿过所述像素点的线的方向。
进一步，所述基于各方向EPI计算得到的所述线的方向计算被遮挡线索，并根据计算结果判断是否被遮挡，包括：
获取相邻已评估像素点的深度值；
计算在假设不存在遮挡下所述线的方向，获取被遮挡像素点在假设不存在遮挡的情况下的待评估像素点的深度值；
基于所述相邻已评估像素点的深度值与待评估像素点的深度值的差值，获取差值遮挡线索；且在被遮挡像素点，不同方向EPI估计得到的深度值不同，从而计算所有视角深度值的方差，从而获取方差遮挡线索；
基于所述差值遮挡线索和方差遮挡线索计算被遮挡线索，根据所述被遮挡线索获取被遮挡像素点。
进一步，所述若没有被遮挡，则直接综合多方向EPI结果；若被遮挡，则剔除各方向EPI中被遮挡视角后重新估计线的方向，并综合多方向EPI结果，进而估计场景初始深度，包括：
若没有被遮挡，则直接综合多方向EPI结果；
若被遮挡，对各方向EPI中的被遮挡像素点，评估该被遮挡像素点对应的直线计算待评估像素在不同线方向下未被遮挡视角，且每评估一个被遮挡像素点的线的方向后，即作为后续遮挡检测的输入，利用所述未被遮挡视角计算其线的方向，再综合多方向EPI结果。
进一步，所述构建考虑遮挡的深度整体优化模型，并利用所述深度整体优化模型得到准确深度，包括：
获取相邻已评估像素点的深度值；
基于所述相邻已评估像素点的深度值和综合多方向EPI结果，构建考虑遮挡的深度整体优化模型。
一种自适应遮挡的单张光场影像准确深度估计系统，包括：
线方向计算模块，用于基于光场影像提取多方向EPI，并分别估计各方向所述EPI中目标点对应的线的方向；
被遮挡线索计算判断模块，用于基于各方向EPI计算得到的所述线的方向计算被遮挡线索，并根据计算结果判断是否被遮挡；
EPI结果综合模块，用于若没有被遮挡，则直接综合多方向EPI结果；若被遮挡，则剔除各方向EPI中被遮挡视角后重新估计线的方向，并综合多方向EPI结果，进而估计场景初始深度；
模型构建模块，用于构建考虑遮挡的深度整体优化模型，并利用所述深度整体优化模型得到准确深度。
进一步，所述线方向计算模块，包括：
线方向原始数据采集子模块，用于确定像素点，获取所述EPI中穿过所述像素点且方向为的中心线，以及位于所述中心线两侧且方向一致的区域像素；
深度线索衡量子模块，用于对于线周围信息，基于所述中心线和区域像素获取差异深度线索；对于线上信息，基于所述中心线上像素来源于同一空间点获取一致性深度线索；
线方向计算子模块，用于基于所述差异深度线索和一致性深度线索计算穿过所述像素点的线的方向。
进一步，所述被遮挡线索计算判断模块，包括：
相邻深度值采集子模块，用于获取相邻已评估像素点的深度值；
待评估深度值获取子模块，用于计算在假设不存在遮挡下所述线的方向，获取被遮挡像素点在假设不存在遮挡的情况下的待评估像素点的深度值；
遮挡线索计算子模块，用于基于所述相邻已评估像素点的深度值与待评估像素点的深度值的差值，获取差值遮挡线索；且在被遮挡像素点，不同方向EPI估计得到的深度值不同，从而计算所有视角深度值的方差，从而获取方差遮挡线索；
被遮挡线索计算子模块，用于基于所述差值遮挡线索和方差遮挡线索计算被遮挡线索，根据所述被遮挡线索获取被遮挡像素点。
进一步，所述EPI结果综合模块，包括：
直接综合子模块，用于若没有被遮挡，则直接综合多方向EPI结果；
被遮挡综合子模块，用于若被遮挡，对各方向EPI中的被遮挡像素点，评估该被遮挡像素点对应的直线计算待评估像素在不同线方向下未被遮挡视角，且每评估一个被遮挡像素点的线的方向后，即作为后续遮挡检测的输入，利用所述未被遮挡视角计算其线的方向，再综合多方向EPI结果。
进一步，所述模型构建模块，包括：
已评估深度值采集模块，用于获取相邻已评估像素点的深度值；
模型构建子模块，用于基于所述相邻已评估像素点的深度值和综合多方向EPI结果，构建考虑遮挡的深度整体优化模型。
有益效果：1、本发明通过综合单方向EPI中对应线上和线周围信息以及聚合多方向EPI的评估结果，充分利用光场影像可用信息，提高了对噪声的抵抗性和对不同场景的鲁棒性。2、本发明在评估过程中，为了降低遮挡的影响，利用已评估像素点对应线来剔除待评估点中被遮挡视角，并动态更新遮挡信息，提高了对遮挡的抵抗性。3、本发明利用考虑遮挡的整体优化模型，进一步了提高整体，尤其是遮挡区域的深度估计精度。
附图说明
图1为一种自适应遮挡的单张光场影像准确深度估计方法流程图；
图2为步骤S1流程图；
图3为步骤S2流程图；
图4为步骤S3流程图；
图5为步骤S4流程图；
图6为一种自适应遮挡的单张光场影像准确深度估计系统框图；
图7.1为中心线示意图；
图7.2为所有方向的候选示意图；
图7.3为角度和的示意图；
图8为被遮挡视角剔除模型图。
具体实施方式
以下将结合实施例对本发明涉及的一种自适应遮挡的单张光场影像准确深度估计方法及系统技术方案进一步详细说明。
如图1所示，本实施例的一种自适应遮挡的单张光场影像准确深度估计方法，包括：S1~S4，
S1、基于光场影像提取多方向EPI，并分别估计各方向所述EPI中目标点对应的线的方向；
S2、基于各方向EPI计算得到的所述线的方向计算被遮挡线索，并根据计算结果判断是否被遮挡；
S3、若没有被遮挡，则直接综合多方向EPI结果；若被遮挡，则剔除各方向EPI中被遮挡视角后重新估计线的方向，并综合多方向EPI结果，进而估计场景初始深度；
S4、构建考虑遮挡的深度整体优化模型，并利用所述深度整体优化模型得到准确深度。
有益效果：1、本发明通过综合单方向EPI中对应线上和线周围信息以及聚合多方向EPI的评估结果，充分利用光场影像可用信息，提高了对噪声的抵抗性和对不同场景的鲁棒性。2、本发明在评估过程中，为了降低遮挡的影响，利用已评估像素点对应线来剔除待评估点中被遮挡视角，并动态更新遮挡信息，提高了对遮挡的抵抗性。3、本发明利用考虑遮挡的整体优化模型，进一步了提高整体，尤其是遮挡区域的深度估计精度。
进一步，如图2所示，步骤S1中所述基于光场影像提取多方向EPI，并分别估计各方向所述EPI中目标点对应的线的方向，包括：
S11、确定像素点，获取所述EPI中穿过所述像素点且方向为的中心线，以及位于所述中心线两侧且方向一致的区域像素；
其中，如图7.1所示，EPI中穿过所述像素点且方向为的中心线和中心线两侧且方向一致的区域像素被标出，将中心线方向一致的平行四边形分割为两个区域像素；图7.2为对于像素点，线的所有方向的候选；图7.3为在角度和下的两个例子。这里的像素点可以是待评估深度影像中的任意像素点。
其中，将到均分为n份，则，表示方向的选择范围。
S12、对于线周围信息，基于所述中心线和区域像素获取差异深度线索；对于线上信息，基于所述中心线上像素来源于同一空间点获取一致性深度线索；
其中，对于线周围信息，当线位于正确方向时，两个区域像素内的像素分布应该不同，可通过衡量两个区域间的差异得深度线索。对于线上信息，当线位于正确方向时，线上像素来源于同一空间点，可通过衡量线上像素的一致性得深度线索。
S13、基于所述差异深度线索和一致性深度线索计算穿过所述像素点的线的方向。
其中，将线索和组合在一起，以确定线的方向，该方向则为线的最优方向。考虑到两个线索所占权重的重要性，依据每个线索的置信度确定彼此的权重。综合两个线索后，代价量可通过以下公式计算，最大代价量对应的角度即为最优角度，通过最优的角度则能够确认线的最优方向/正确方向。
式中，是总代价量，和分别是代价量和的置信度，是用来调整两个线索比例的常值。置信度的计算如下所示：
式中，是在角度下对应的代价量, 是所有角度下代价量对应的最小值，是人为预先设置的标准差常值。
其中，本发明通过同时利用线上像素的一致性与线两侧区域的差异性来确定EPI中的线方向，提高最优线方向评估精度。
进一步，如图3所示，步骤S2中所述基于各方向EPI计算得到的所述线的方向计算被遮挡线索，并根据计算结果判断是否被遮挡，包括：
S21、获取相邻已评估像素点的深度值；
其中，在评估时候，是沿着某个特定的方向，比如从左往右，或者从上到下等，第一个像素不用判断，因为其已经算过的，就是最优角度对应的线的方向，到第二个时候，对于第二个，第一个就是已评估像素;对于第三个，前两个就是已评估像素，按照上述流程依次往下推，直到结束。
S22、计算在假设不存在遮挡下所述线的方向，获取被遮挡像素点在假设不存在遮挡的情况下的待评估像素点的深度值；
其中，获取的最优角度值，也就找到了待评估像素点的深度值。
S23、基于所述相邻已评估像素点的深度值与待评估像素点的深度值的差值，获取差值遮挡线索；且在被遮挡像素点，不同方向EPI估计得到的深度值不同，从而计算所有视角深度值的方差，从而获取方差遮挡线索；
其中，差值遮挡线索为，方差遮挡线索为。所有视角指的是不同方向的EPI。
S24、基于所述差值遮挡线索和方差遮挡线索计算被遮挡线索，根据所述被遮挡线索获取被遮挡像素点。
其中，。
其中，本发明利用该方法能够对被遮挡像素自动检测；若大于预先人为设定的阈值，则为被遮挡像素。
进一步，如图4所示，步骤S3中所述若没有被遮挡，则直接综合多方向EPI结果；若被遮挡，则剔除各方向EPI中被遮挡视角后重新估计线的方向，并综合多方向EPI结果，进而估计场景初始深度，包括：
S31、若没有被遮挡，则直接综合多方向EPI结果；
其中，为聚合多方向EPI的代价量，比如利用了四个方向的EPI，则。
S32、若被遮挡，对各方向EPI中的被遮挡像素点，评估该被遮挡像素点对应的直线计算待评估像素在不同线方向下未被遮挡视角，且每评估一个被遮挡像素点的线的方向后，即作为后续遮挡检测的输入，利用所述未被遮挡视角计算其线的方向，再综合多方向EPI结果。
其中，如图8所示，为被遮挡像素点，左侧为已评估深度的像素，其深度对应的线方向用白线表示，在不同深度下，即在不同线方向下，会跟白线有交叉，白线左侧的属于被遮挡的像素，右侧为未被遮挡像素。对于未被遮挡的像素，利用S13中的公式进行计算。这里的被遮挡像素点也是S24中的被遮挡像素点。
其中，如图8所示，本发明在正确的线的方向下，EPI中部分视角会被遮挡导致评估错误，因此先找到被遮挡像素，然后利用已评估深度点对应线与待评估点线在不同方向下线的交叉剔除待评估点中的被遮挡像素，仅利用未被遮挡视角进行深度估计，提高对遮挡的抵抗性。
进一步，如图5所示，步骤S4中所述构建考虑遮挡的深度整体优化模型，并利用所述深度整体优化模型得到准确深度，包括：
S41、获取相邻已评估像素点的深度值；
S42、基于所述相邻已评估像素点的深度值和综合多方向EPI结果，构建考虑遮挡的深度整体优化模型。
式中，和为相邻像素点估计的深度值代表任意两个相邻像素点的深度值，为计算的代价值，为平滑项，用于保证周围像素的深度一致性，用来平衡平滑项。为总体能量函数的值，通过最小化，可以得到最优结果。
其中，综合各方向EPI的估计结果，增强深度估计的鲁棒性，并利用考虑遮挡的整体优化模型，进一步提高整体和局部深度估计精度。
如图6所示，一种自适应遮挡的单张光场影像准确深度估计系统，包括：
线方向计算模块61，用于基于光场影像提取多方向EPI，并分别估计各方向所述EPI中目标点对应的线的方向；
被遮挡线索计算判断模块62，用于基于各方向EPI计算得到的所述线的方向计算被遮挡线索，并根据计算结果判断是否被遮挡；
EPI结果综合模块63，用于若没有被遮挡，则直接综合多方向EPI结果；若被遮挡，则剔除各方向EPI中被遮挡视角后重新估计线的方向，并综合多方向EPI结果，进而估计场景初始深度；
模型构建模块64，用于构建考虑遮挡的深度整体优化模型，并利用所述深度整体优化模型得到准确深度。
进一步，所述线方向计算模块61，包括：
线方向原始数据采集子模块611，用于确定像素点，获取所述EPI中穿过所述像素点且方向为的中心线，以及位于所述中心线两侧且方向一致的区域像素；
深度线索衡量子模块612，用于对于线周围信息，基于所述中心线和区域像素获取差异深度线索；对于线上信息，基于所述中心线上像素来源于同一空间点获取一致性深度线索；
线方向计算子模块613，用于基于所述差异深度线索和一致性深度线索计算穿过所述像素点的线的方向。
进一步，所述被遮挡线索计算判断模块62，包括：
相邻深度值采集子模块621，用于获取相邻已评估像素点的深度值；
待评估深度值获取子模块622，用于计算在假设不存在遮挡下所述线的方向，获取被遮挡像素点在假设不存在遮挡的情况下的待评估像素点的深度值；
遮挡线索计算子模块623，用于基于所述相邻已评估像素点的深度值与待评估像素点的深度值的差值，获取差值遮挡线索；且在被遮挡像素点，不同方向EPI估计得到的深度值不同，从而计算所有视角深度值的方差，从而获取方差遮挡线索；
被遮挡线索计算子模块624，用于基于所述差值遮挡线索和方差遮挡线索计算被遮挡线索，根据所述被遮挡线索获取被遮挡像素点。
进一步，所述EPI结果综合模块63，包括：
直接综合子模块631，用于若没有被遮挡，则直接综合多方向EPI结果；
被遮挡综合子模块632，用于若被遮挡，对各方向EPI中的被遮挡像素点，评估该被遮挡像素点对应的直线计算待评估像素在不同线方向下未被遮挡视角，且每评估一个被遮挡像素点的线的方向后，即作为后续遮挡检测的输入，利用所述未被遮挡视角计算其线的方向，再综合多方向EPI结果。
进一步，所述模型构建模块64，包括：
已评估深度值采集模块641，用于获取相邻已评估像素点的深度值；
模型构建子模块642，用于基于所述相邻已评估像素点的深度值和综合多方向EPI结果，构建考虑遮挡的深度整体优化模型。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种自适应遮挡的单张光场影像准确深度估计方法，其特征在于，包括：
基于光场影像提取多方向EPI，并分别估计各方向所述EPI中目标点对应的线的方向；
基于各方向EPI计算得到的所述线的方向计算被遮挡线索，并根据计算结果判断是否被遮挡；
若没有被遮挡，则直接综合多方向EPI结果；若被遮挡，则剔除各方向EPI中被遮挡视角后重新估计线的方向，并综合多方向EPI结果，进而估计场景初始深度；
构建考虑遮挡的深度整体优化模型，并利用所述深度整体优化模型得到准确深度；
其中，所述基于光场影像提取多方向EPI，并分别估计各方向所述EPI中目标点对应的线的方向，包括：
确定像素点p，获取所述EPI中穿过所述像素点p且方向为θ的中心线，以及位于所述中心线两侧且方向一致的区域像素；
对于线周围信息，基于所述中心线和区域像素获取差异深度线索；对于线上信息，基于所述中心线上像素来源于同一空间点获取一致性深度线索；
基于所述差异深度线索和一致性深度线索计算穿过所述像素点的线的方向；
将差异得深度线索Dp(θ)和一致性得深度线索Cp(θ)组合在一起，以确定线的方向，所述线的方向为线的最优方向，代价量可通过以下公式计算，最大代价量对应的角度即为最优角度，通过最优的角度确认线的最优方向，
Figure FDA0004031335260000021
式中，Zp(θ)是总代价量，
Figure FDA0004031335260000022
和
Figure FDA0004031335260000023
分别是代价量Dp(θ)和Cp(θ)的置信度，B是用来调整两个线索比例的常值，其中，置信度的计算如下所示：
Figure FDA0004031335260000024
式中，cost(θ)是在角度θ下对应的代价量，costmin是所有角度θ下代价量对应的最小值，σAML是预先设置的标准差常值；
所述基于各方向EPI计算得到的所述线的方向计算被遮挡线索，并根据计算结果判断是否被遮挡，包括：
获取相邻已评估像素点的深度值；
计算在假设不存在遮挡下所述线的方向，获取被遮挡像素点在假设不存在遮挡的情况下的待评估像素点的深度值；
基于所述相邻已评估像素点的深度值与待评估像素点的深度值的差值，获取差值遮挡线索；且在被遮挡像素点，不同方向EPI估计得到的深度值不同，从而计算所有视角深度值的方差，从而获取方差遮挡线索；
基于所述差值遮挡线索和方差遮挡线索计算被遮挡线索，根据所述被遮挡线索获取被遮挡像素点；
所述若没有被遮挡，则直接综合多方向EPI结果；若被遮挡，则剔除各方向EPI中被遮挡视角后重新估计线的方向，并综合多方向EPI结果，进而估计场景初始深度，包括：
若没有被遮挡，则直接综合多方向EPI结果；
若被遮挡，对各方向EPI中的被遮挡像素点，评估该被遮挡像素点对应的直线计算待评估像素在不同线方向下未被遮挡视角，且每评估一个被遮挡像素点的线的方向后，即作为后续遮挡检测的输入，利用所述未被遮挡视角计算其线的方向，再综合多方向EPI结果。
2.根据权利要求1所述的方法，其特征在于，所述构建考虑遮挡的深度整体优化模型，并利用所述深度整体优化模型得到准确深度，包括：
获取相邻已评估像素点的深度值；
基于所述相邻已评估像素点的深度值和综合多方向EPI结果，构建考虑遮挡的深度整体优化模型。
3.一种自适应遮挡的单张光场影像准确深度估计系统，其特征在于，包括：
线方向计算模块，用于基于光场影像提取多方向EPI，并分别估计各方向所述EPI中目标点对应的线的方向；
被遮挡线索计算判断模块，用于基于各方向EPI计算得到的所述线的方向计算被遮挡线索，并根据计算结果判断是否被遮挡；
EPI结果综合模块，用于若没有被遮挡，则直接综合多方向EPI结果；若被遮挡，则剔除各方向EPI中被遮挡视角后重新估计线的方向，并综合多方向EPI结果，进而估计场景初始深度；
模型构建模块，用于构建考虑遮挡的深度整体优化模型，并利用所述深度整体优化模型得到准确深度；
其中，所述线方向计算模块，包括：
线方向原始数据采集子模块，用于确定像素点p，获取所述EPI中穿过所述像素点p且方向为θ的中心线，以及位于所述中心线两侧且方向一致的区域像素；
深度线索衡量子模块，用于对于线周围信息，基于所述中心线和区域像素获取差异深度线索；对于线上信息，基于所述中心线上像素来源于同一空间点获取一致性深度线索；
线方向计算子模块，用于基于所述差异深度线索和一致性深度线索计算穿过所述像素点的线的方向；
所述被遮挡线索计算判断模块，包括：
相邻深度值采集子模块，用于获取相邻已评估像素点的深度值；
待评估深度值获取子模块，用于计算在假设不存在遮挡下所述线的方向，获取被遮挡像素点在假设不存在遮挡的情况下的待评估像素点的深度值；
遮挡线索计算子模块，用于基于所述相邻已评估像素点的深度值与待评估像素点的深度值的差值，获取差值遮挡线索；且在被遮挡像素点，不同方向EPI估计得到的深度值不同，从而计算所有视角深度值的方差，从而获取方差遮挡线索；
被遮挡线索计算子模块，用于基于所述差值遮挡线索和方差遮挡线索计算被遮挡线索，根据所述被遮挡线索获取被遮挡像素点；
将差异得深度线索Dp(θ)和一致性得深度线索Cp(θ)组合在一起，以确定线的方向，所述线的方向为线的最优方向，代价量可通过以下公式计算，最大代价量对应的角度即为最优角度，通过最优的角度确认线的最优方向，
Figure FDA0004031335260000051
式中，Zp(θ)是总代价量，
Figure FDA0004031335260000052
和
Figure FDA0004031335260000053
分别是代价量Dp(θ)和Cp(θ)的置信度，B是用来调整两个线索比例的常值，其中，置信度的计算如下所示：
Figure FDA0004031335260000054
式中，cost(θ)是在角度θ下对应的代价量，costmin是所有角度θ下代价量对应的最小值，σAML是预先设置的标准差常值；
所述EPI结果综合模块，包括：
直接综合子模块，用于若没有被遮挡，则直接综合多方向EPI结果；
被遮挡综合子模块，用于若被遮挡，对各方向EPI中的被遮挡像素点，评估该被遮挡像素点对应的直线计算待评估像素在不同线方向下未被遮挡视角，且每评估一个被遮挡像素点的线的方向后，即作为后续遮挡检测的输入，利用所述未被遮挡视角计算其线的方向，再综合多方向EPI结果。
4.根据权利要求3所述的系统，其特征在于，所述模型构建模块，包括：
已评估深度值采集模块，用于获取相邻已评估像素点的深度值；
模型构建子模块，用于基于所述相邻已评估像素点的深度值和综合多方向EPI结果，构建考虑遮挡的深度整体优化模型。
CN202210601833.8A 2022-05-30 2022-05-30 一种自适应遮挡的单张光场影像准确深度估计方法及系统 Active CN114897952B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210601833.8A CN114897952B (zh) 2022-05-30 2022-05-30 一种自适应遮挡的单张光场影像准确深度估计方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210601833.8A CN114897952B (zh) 2022-05-30 2022-05-30 一种自适应遮挡的单张光场影像准确深度估计方法及系统

Publications (2)

Publication Number Publication Date
CN114897952A CN114897952A (zh) 2022-08-12
CN114897952B true CN114897952B (zh) 2023-04-04

Family

ID=82725524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210601833.8A Active CN114897952B (zh) 2022-05-30 2022-05-30 一种自适应遮挡的单张光场影像准确深度估计方法及系统

Country Status (1)

Country Link
CN (1) CN114897952B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117474922B (zh) * 2023-12-27 2024-04-02 中国科学院长春光学精密机械与物理研究所 一种基于内联遮挡处理的抗噪光场深度测量方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596965A (zh) * 2018-03-16 2018-09-28 天津大学 一种光场图像深度估计方法
CN109064505A (zh) * 2018-07-26 2018-12-21 清华大学深圳研究生院 一种基于滑动窗口张量提取的深度估计方法
CN111260707A (zh) * 2020-02-21 2020-06-09 合肥工业大学 一种基于光场epi图像的深度估计方法
CN113989345A (zh) * 2021-10-25 2022-01-28 广西师范大学 一种深度图像处理方法、系统和电子设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104966289B (zh) * 2015-06-12 2017-12-26 北京工业大学 一种基于4d光场的深度估计方法
CN106384338B (zh) * 2016-09-13 2019-03-15 清华大学深圳研究生院 一种基于形态学的光场深度图像的增强方法
WO2018072817A1 (en) * 2016-10-18 2018-04-26 Photonic Sensors & Algorithms, S.L. A device and method for obtaining distance information from views
CN108846473B (zh) * 2018-04-10 2022-03-01 杭州电子科技大学 基于方向和尺度自适应卷积神经网络的光场深度估计方法
CN109255809A (zh) * 2018-09-26 2019-01-22 郑州云海信息技术有限公司 一种光场图像深度估计方法及装置
CN111028281B (zh) * 2019-10-22 2022-10-18 清华大学 基于光场双目系统的深度信息计算方法及装置
CN111260712B (zh) * 2020-02-07 2023-05-23 清华大学深圳国际研究生院 一种基于重聚焦极线图邻域分布的深度估计方法和装置
CN114511609B (zh) * 2022-04-18 2022-09-02 清华大学 基于遮挡感知的无监督光场视差估计系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596965A (zh) * 2018-03-16 2018-09-28 天津大学 一种光场图像深度估计方法
CN109064505A (zh) * 2018-07-26 2018-12-21 清华大学深圳研究生院 一种基于滑动窗口张量提取的深度估计方法
CN111260707A (zh) * 2020-02-21 2020-06-09 合肥工业大学 一种基于光场epi图像的深度估计方法
CN113989345A (zh) * 2021-10-25 2022-01-28 广西师范大学 一种深度图像处理方法、系统和电子设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SCHILLING H 等.Trust your model: Light field depth estimation with inline occlusion handling.2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.2018,4530-4538. *
Zhang Yongbing 等.Light-field depth estimation via epipolar plane image analysis and locally linear embedding.IEEE Transactions on Circuits and Systems for Video Technology.2017,第27卷(第27期),739-747. *
宁琪琦.基于EPI的光场深度估计方法研究.中国优秀硕士学位论文全文数据库 (信息科技辑).2020,(第02期),I138-1940. *
牛雨 等.结合点线特征的DOM几何精度自动评定.测绘科学.2022,第47卷(第05期),177-184. *

Also Published As

Publication number Publication date
CN114897952A (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
EP3869797B1 (en) Method for depth detection in images captured using array cameras
US5825915A (en) Object detecting apparatus in which the position of a planar object is estimated by using hough transform
CN104217208B (zh) 目标检测方法和装置
KR100411875B1 (ko) 스테레오 영상 시차 지도 융합 방법 및 그를 이용한 3차원영상 표시 방법
US10223802B2 (en) Method for determining depth maps from stereo images with improved depth resolution in a range
CN104104937B (zh) 图像处理装置以及图像处理方法
RU2382406C1 (ru) Способ улучшения карты диспарантности и устройство для реализации способа
WO2012120856A1 (ja) 物体検出装置及び物体検出方法
CN107014294A (zh) 一种基于红外图像的接触网几何参数检测方法及系统
CN110288659B (zh) 一种基于双目视觉的深度成像及信息获取方法
CN104685513A (zh) 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计
CN103106659A (zh) 基于双目视觉稀疏点匹配的空旷区域目标检测与跟踪方法
CN109410264A (zh) 一种基于激光点云与图像融合的前方车辆距离测量方法
CN111480183A (zh) 用于产生透视效果的光场图像渲染方法和系统
CN114897952B (zh) 一种自适应遮挡的单张光场影像准确深度估计方法及系统
CN113989758A (zh) 一种用于自动驾驶的锚引导3d目标检测方法及装置
CN112017243A (zh) 一种介质能见度识别方法
CN110851978B (zh) 一种基于可见性的摄像机位置优化方法
JP2000121319A (ja) 画像処理装置および画像処理方法、並びに提供媒体
CN107392948B (zh) 一种分振幅实时偏振成像系统的图像配准方法
Luo et al. Using surface model to correct and fit disparity data in stereo vision
Burie et al. Detecting and localising obstacles in front of a moving vehicle using linear stereo vision
RU2446471C1 (ru) Способ обнаружения движущихся объектов и определения их параметров
JPH10283474A (ja) 奥行き情報抽出装置および奥行き情報抽出方法
CN114897951B (zh) 聚合多视角深度信息的单张光场影像深度估计方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant