CN114494383B - 基于Richard-Lucy迭代的光场深度估计方法 - Google Patents

基于Richard-Lucy迭代的光场深度估计方法 Download PDF

Info

Publication number
CN114494383B
CN114494383B CN202210402610.9A CN202210402610A CN114494383B CN 114494383 B CN114494383 B CN 114494383B CN 202210402610 A CN202210402610 A CN 202210402610A CN 114494383 B CN114494383 B CN 114494383B
Authority
CN
China
Prior art keywords
information
scene
phase space
iteration
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210402610.9A
Other languages
English (en)
Other versions
CN114494383A (zh
Inventor
戴琼海
轩辕眉黛
于涛
吴嘉敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202210402610.9A priority Critical patent/CN114494383B/zh
Publication of CN114494383A publication Critical patent/CN114494383A/zh
Application granted granted Critical
Publication of CN114494383B publication Critical patent/CN114494383B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请涉及图像处理技术领域，特别涉及一种基于Richard‑Lucy迭代的光场深度估计方法，包括：将采集的光场图像转成相空间信息并建立成像模型，同时获取光场相空间点扩散函数及初始化三维表面信息，基于成像模型和扩散函数，通过Richard‑Lucy迭代重建初始化后的三维表面信息，得到目标场景表面三维信息，并从中提取深度信息对光场深度进行估计。由此，解决了相关技术无法准确的描述成像模型、无法充分利用光信息进行光场深度估计及过度的依赖特定成像环境限制了算法的应用场景等问题，利用光场成像模型建立反向方程并使用迭代反卷积的方式进行深度重建，从而得到更准确的深度估计结果，降低了光场深度估计算法的使用限制。

Description

基于Richard-Lucy迭代的光场深度估计方法
技术领域
本申请涉及图像处理技术领域，特别涉及一种基于Richard-Lucy迭代的光场深度估计方法。
背景技术
深度估计是指使用算法获取环境中物体表面的深度信息，从而确定不同物体所在位置。这一技术被广泛应用于自动驾驶、移动机器人自主导航系统、工业自动化等工业实践中。根据获取深度的不同原理，深度估计算法主要分为依靠主动光与依靠被动光两类。
依靠主动光的算法通过使用激光、红外线或者其他发光介质，在物体表面产生干涉，并从干涉条纹中解读相位信息，以估计光传播的距离。这类算法的结果精度较高，但其价格高昂、光源设备操作复杂，因此，在相关应用范围领域内会受到一定限制。
依靠被动光的算法是通过利用图像中的颜色、纹理等深度线索恢复深度与形状信息。这类方法在数据获取上的要求与深度估计结果的精度都比较低，且后续处理算法复杂、计算量庞大，其算法的性能同时受限于图像中深度线索的数量与质量。
光场成像是一种快速体成像方法，能够捕获更全面的光信息。光场系统通过在原成像面加入微透镜阵列，将进入成像系统的光线分为不同方向，即仅用一次曝光即可获得丰富的视角信息。基于光场成像在信息获取方面的优势，近年来这一技术被大量应用于深度估计领域。如今，现有的方法主要利用重聚焦、极平面、立体匹配等视觉深度线索，对成像过程进行几何近似。
然而，这一近似过程无法对成像模型进行严密准确的描述，依赖于特定的成像环境，严重限制了这类算法的应用场景。此外，在几何近似时也忽略了传播过程中的大量频域信息，使得算法无法充分利用光场系统捕获到的光信息。
发明内容
本申请提供一种基于Richard-Lucy迭代的光场深度估计方法，以解决该算法无法准确的描述成像模型、无法充分利用光场系统捕捉到的光信息进行光场深度估计以及过度的依赖特定的成像环境限制了算法的应用场景等问题，利用光场成像模型推导反向方程并使用迭代反卷积的方式进行深度重建，从而得到更准确的深度估计结果，降低了光场深度估计算法的使用限制。
本申请第一方面实施例提供一种基于Richard-Lucy迭代的光场深度估计，包括以下步骤：
将采集的光场图像转成相空间信息，建立所述相空间信息的成像模型，并基于所述相空间信息获取光场相空间点扩散函数；
根据所述相空间信息初始化三维表面信息，并基于所述相空间信息的成像模型和所述相空间点扩散函数，通过Richard-Lucy对初始化后的三维表面信息迭代重建，得到目标场景表面三维信息；以及
从所述目标场景表面三维信息中提取深度信息，并根据所述深度信息对光场深度进行估计。
根据本申请的一个实施例，所述基于所述相空间信息的成像模型和所述相空间点扩散函数，通过Richard-Lucy对初始化后的三维表面信息迭代重建，得到目标场景表面三维信息，包括：
利用所述相空间点扩散函数初始化所述相空间信息中的子孔径分量迭代权重；
按照所述子孔径排布位置，通过所述子孔径分量迭代权重和Richard-Lucy反卷积公式依次更新所述初始化后的三维表面信息，并在所有子孔径分量迭代权重均被使用后进行循环迭代，直至满足迭代条件后，得到迭代后的场景表面三维信息；
对所述迭代后的场景表面三维信息进行波长通道整合，得到所述目标场景表面三维信息。
根据本申请的一个实施例，所述利用所述相空间点扩散函数初始化所述相空间信息中的子孔径分量迭代权重，包括：
结合预设初始化公式，利用所述相空间点扩散函数初始化所述相空间信息中的子孔径分量迭代权重，其中，所述预设初始化公式为：
Figure 65305DEST_PATH_IMAGE001
；
其中，
Figure 651007DEST_PATH_IMAGE002
为场景三维坐标，
Figure DEST_PATH_IMAGE003
为不同子孔径位置，
Figure 367335DEST_PATH_IMAGE004
为接收到的光波波长，
Figure DEST_PATH_IMAGE005
为相空间点扩散函数，
Figure 733594DEST_PATH_IMAGE006
为所述子孔径分量迭代权重。
根据本申请的一个实施例，所述Richard-Lucy反卷积公式为：
Figure DEST_PATH_IMAGE007
Figure 336614DEST_PATH_IMAGE008
；
其中，
Figure DEST_PATH_IMAGE009
为矩阵点乘，
Figure 278287DEST_PATH_IMAGE010
为矩阵点除，
Figure DEST_PATH_IMAGE011
为场景三维坐标，
Figure 941350DEST_PATH_IMAGE012
为相空间中的一个空间像素相对于微透镜中心的坐标，
Figure DEST_PATH_IMAGE013
为不同子孔径位置，
Figure 529326DEST_PATH_IMAGE014
为接收到的光波波长，
Figure DEST_PATH_IMAGE015
为坐标
Figure 437501DEST_PATH_IMAGE016
的范围，
Figure DEST_PATH_IMAGE017
为场景中位于
Figure 732216DEST_PATH_IMAGE018
的物体表面对于波长为
Figure DEST_PATH_IMAGE019
的光波的反射能力，
Figure 628497DEST_PATH_IMAGE020
为相空间点扩散函数，
Figure DEST_PATH_IMAGE021
为相空间信息，
Figure 142917DEST_PATH_IMAGE022
为子孔径分量迭代权重，c为控制迭代收敛速度的常数，
Figure DEST_PATH_IMAGE023
为迭代次数，
Figure 150056DEST_PATH_IMAGE024
为第
Figure DEST_PATH_IMAGE025
次迭代中由第k个子孔径分量产生的场景表面信息更新，
Figure 564857DEST_PATH_IMAGE026
为第
Figure DEST_PATH_IMAGE027
次迭代中由第k个子孔径分量更新后的场景表面信息，
Figure 71187DEST_PATH_IMAGE028
为
Figure DEST_PATH_IMAGE029
次迭代中由第k-1个子孔径分量更新后的场景表面信息，
Figure 571439DEST_PATH_IMAGE030
为对相空间坐标维
Figure 319952DEST_PATH_IMAGE016
做180度翻转后的相空间点扩散函数。
根据本申请的一个实施例，所述对所述迭代后的场景表面三维信息进行波长通道整合，包括：
结合预设波长通道整合公式，对所述迭代后的场景表面三维信息进行波长通道整合，其中，所述预设波长通道整合公式为：
Figure DEST_PATH_IMAGE031
；
其中，
Figure 589259DEST_PATH_IMAGE032
为场景三维坐标，
Figure DEST_PATH_IMAGE033
为接收到的光波波长，
Figure 328807DEST_PATH_IMAGE034
为迭代得到的场景表面信息，
Figure DEST_PATH_IMAGE035
为所述整合后的场景表面三维信息。
根据本申请的一个实施例，所述建立所述相空间信息的成像模型，包括：
结合预设建模公式，建立所述相空间信息的成像模型相空间信息的成像模型，其中，所述预设建模公式为：
Figure 316355DEST_PATH_IMAGE036
；
其中，
Figure 540663DEST_PATH_IMAGE032
为场景三维坐标，
Figure DEST_PATH_IMAGE037
为相空间中的一个空间像素相对于微透镜中心的坐标，
Figure 493838DEST_PATH_IMAGE038
为不同子孔径位置，
Figure DEST_PATH_IMAGE039
为接收到的光波波长，
Figure 574926DEST_PATH_IMAGE040
为场景中位于
Figure 987453DEST_PATH_IMAGE042
的物体表面对于波长为
Figure DEST_PATH_IMAGE043
的光波的反射能力，
Figure 140085DEST_PATH_IMAGE044
为相空间的点扩散函数，
Figure DEST_PATH_IMAGE045
为获取到的相空间信息，
Figure 885450DEST_PATH_IMAGE046
为泊松分布噪声函数。
根据本申请的一个实施例，所述从所述目标场景表面三维信息中提取深度信息，包括：
结合预设提取公式，从所述目标场景表面三维信息中提取深度信息，其中，所述预设提取公式为：
Figure DEST_PATH_IMAGE047
；
其中，
Figure 403019DEST_PATH_IMAGE032
为场景三维坐标，
Figure 99579DEST_PATH_IMAGE048
为所述场景表面在横向坐标
Figure DEST_PATH_IMAGE049
的轴向重建信息，
Figure 728007DEST_PATH_IMAGE050
为在横向坐标
Figure DEST_PATH_IMAGE051
处场景的估计深度，对每个横向坐标
Figure 667493DEST_PATH_IMAGE049
进行深度估计，得到场景的深度图
Figure 293646DEST_PATH_IMAGE052
，
Figure DEST_PATH_IMAGE053
为最终确定的横向坐标
Figure 539820DEST_PATH_IMAGE051
处深度值，由查找该横向坐标处轴向重建信息最大值所在轴向坐标获得，
Figure 909621DEST_PATH_IMAGE054
为横向坐标
Figure 629578DEST_PATH_IMAGE051
处轴向重建信息最大值。
根据本申请实施例的基于Richard-Lucy迭代的光场深度估计方法，将采集的光场图像转成相空间信息并建立成像模型，同时获取光场相空间点扩散函数及初始化三维表面信息，基于成像模型和扩散函数，通过Richard-Lucy迭代重建初始化后的三维表面信息，得到目标场景表面三维信息，并从中提取深度信息对光场深度进行估计。由此，解决了相关技术无法准确的描述成像模型、无法充分利用光信息进行光场深度估计及过度的依赖特定成像环境限制了算法的应用场景等问题，利用光场成像模型建立反向方程并使用迭代反卷积的方式进行深度重建，从而得到更准确的深度估计结果，降低了光场深度估计算法的使用限制。
本申请第二方面实施例提供一种基于Richard-Lucy迭代的光场深度估计装置，包括：
获取模块，用于将采集的光场图像转成相空间信息，建立所述相空间信息的成像模型，并基于所述相空间信息获取光场相空间点扩散函数；
迭代模块，用于根据所述相空间信息初始化三维表面信息，并基于所述相空间信息的成像模型和所述相空间点扩散函数，通过Richard-Lucy对初始化后的三维表面信息迭代重建，得到目标场景表面三维信息；以及
估计模块，用于从所述目标场景表面三维信息中提取深度信息，并根据所述深度信息对光场深度进行估计。
根据本申请的一个实施例，所述迭代模块，具体用于：
利用所述相空间点扩散函数初始化所述相空间信息中的子孔径分量迭代权重；
按照所述子孔径排布位置，通过所述子孔径分量迭代权重和Richard-Lucy反卷积公式依次更新所述初始化后的三维表面信息，并在所有子孔径分量迭代权重均被使用后进行循环迭代，直至满足迭代条件后，得到迭代后的场景表面三维信息；
对所述迭代后的场景表面三维信息进行波长通道整合，得到所述目标场景表面三维信息。
根据本申请的一个实施例，所述迭代模块，具体用于：
结合预设初始化公式，利用所述相空间点扩散函数初始化所述相空间信息中的子孔径分量迭代权重，其中，所述预设初始化公式为：
Figure 426632DEST_PATH_IMAGE001
；
其中，
Figure 97785DEST_PATH_IMAGE002
为场景三维坐标，
Figure 68015DEST_PATH_IMAGE003
为不同子孔径位置，
Figure 78696DEST_PATH_IMAGE004
为接收到的光波波长，
Figure 108969DEST_PATH_IMAGE005
为相空间点扩散函数，
Figure 768883DEST_PATH_IMAGE006
为所述子孔径分量迭代权重。
根据本申请的一个实施例，所述Richard-Lucy反卷积公式为：
Figure 480487DEST_PATH_IMAGE007
Figure 407992DEST_PATH_IMAGE008
；
其中，
Figure 546849DEST_PATH_IMAGE009
为矩阵点乘，
Figure 192594DEST_PATH_IMAGE010
为矩阵点除，
Figure 770206DEST_PATH_IMAGE011
为场景三维坐标，
Figure 489900DEST_PATH_IMAGE012
为相空间中的一个空间像素相对于微透镜中心的坐标，
Figure 363441DEST_PATH_IMAGE013
为不同子孔径位置，
Figure 496482DEST_PATH_IMAGE014
为接收到的光波波长，
Figure 549888DEST_PATH_IMAGE015
为坐标
Figure 451985DEST_PATH_IMAGE016
的范围，
Figure 994962DEST_PATH_IMAGE017
为场景中位于
Figure 552982DEST_PATH_IMAGE018
的物体表面对于波长为
Figure 708282DEST_PATH_IMAGE019
的光波的反射能力，
Figure 464886DEST_PATH_IMAGE020
为相空间点扩散函数，
Figure 382026DEST_PATH_IMAGE021
为相空间信息，
Figure 224080DEST_PATH_IMAGE022
为子孔径分量迭代权重，c为控制迭代收敛速度的常数，
Figure 619290DEST_PATH_IMAGE023
为迭代次数，
Figure 495979DEST_PATH_IMAGE024
为第
Figure 882223DEST_PATH_IMAGE025
次迭代中由第k个子孔径分量产生的场景表面信息更新，
Figure 149256DEST_PATH_IMAGE026
为第
Figure 410473DEST_PATH_IMAGE027
次迭代中由第k个子孔径分量更新后的场景表面信息，
Figure 141669DEST_PATH_IMAGE028
为
Figure 135033DEST_PATH_IMAGE029
次迭代中由第k-1个子孔径分量更新后的场景表面信息，
Figure 951679DEST_PATH_IMAGE030
为对相空间坐标维
Figure 252473DEST_PATH_IMAGE016
做180度翻转后的相空间点扩散函数。
根据本申请的一个实施例，所述对所述迭代后的场景表面三维信息进行波长通道整合，包括：
结合预设波长通道整合公式，对所述迭代后的场景表面三维信息进行波长通道整合，其中，所述预设波长通道整合公式为：
Figure 838175DEST_PATH_IMAGE031
；
其中，
Figure 268019DEST_PATH_IMAGE032
为场景三维坐标，
Figure 571961DEST_PATH_IMAGE033
为接收到的光波波长，
Figure 847085DEST_PATH_IMAGE034
为迭代得到的场景表面信息，
Figure 552873DEST_PATH_IMAGE035
为所述整合后的场景表面三维信息。
根据本申请的一个实施例，所述获取模块，具体用于：
结合预设建模公式，建立所述相空间信息的成像模型相空间信息的成像模型，其中，所述预设建模公式为：
Figure 451821DEST_PATH_IMAGE036
；
其中，
Figure 180743DEST_PATH_IMAGE032
为场景三维坐标，
Figure 321874DEST_PATH_IMAGE037
为相空间中的一个空间像素相对于微透镜中心的坐标，
Figure 882168DEST_PATH_IMAGE038
为不同子孔径位置，
Figure 653815DEST_PATH_IMAGE039
为接收到的光波波长，
Figure 666771DEST_PATH_IMAGE040
为场景中位于
Figure 101339DEST_PATH_IMAGE042
的物体表面对于波长为
Figure 453823DEST_PATH_IMAGE043
的光波的反射能力，
Figure 458688DEST_PATH_IMAGE044
为相空间的点扩散函数，
Figure 958939DEST_PATH_IMAGE045
为获取到的相空间信息，
Figure 379556DEST_PATH_IMAGE046
为泊松分布噪声函数。
根据本申请的一个实施例，所述估计模块，具体用于：
结合预设提取公式，从所述目标场景表面三维信息中提取深度信息，其中，所述预设提取公式为：
Figure 914443DEST_PATH_IMAGE047
；
其中，
Figure 27892DEST_PATH_IMAGE032
为场景三维坐标，
Figure 516905DEST_PATH_IMAGE048
为所述场景表面在横向坐标
Figure 803530DEST_PATH_IMAGE049
的轴向重建信息，
Figure 865027DEST_PATH_IMAGE050
为在横向坐标
Figure 211694DEST_PATH_IMAGE051
处场景的估计深度，对每个横向坐标
Figure 686538DEST_PATH_IMAGE049
进行深度估计，得到场景的深度图
Figure 278319DEST_PATH_IMAGE052
，
Figure 459901DEST_PATH_IMAGE053
为最终确定的横向坐标
Figure 711891DEST_PATH_IMAGE051
处深度值，由查找该横向坐标处轴向重建信息最大值所在轴向坐标获得，
Figure 674031DEST_PATH_IMAGE054
为横向坐标
Figure 302458DEST_PATH_IMAGE051
处轴向重建信息最大值。
根据本申请实施例的基于Richard-Lucy迭代的光场深度估计装置，将采集的光场图像转成相空间信息并建立成像模型，同时获取光场相空间点扩散函数及初始化三维表面信息，基于成像模型和扩散函数，通过Richard-Lucy迭代重建初始化后的三维表面信息，得到目标场景表面三维信息，并从中提取深度信息对光场深度进行估计。由此，解决了相关技术无法准确的描述成像模型、无法充分利用光信息进行光场深度估计及过度的依赖特定成像环境限制了算法的应用场景等问题，利用光场成像模型建立反向方程并使用迭代反卷积的方式进行深度重建，从而得到更准确的深度估计结果，降低了光场深度估计算法的使用限制。
本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的基于Richard-Lucy迭代的光场深度估计方法。
本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的基于Richard-Lucy迭代的光场深度估计方法。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例提供的一种基于Richard-Lucy迭代的光场深度估计方法的流程图；
图2为根据本申请实施例提供的基于Richard-Lucy迭代的光场深度估计方法的算法流程图；
图3为根据本申请实施例提供的基于Richard-Lucy迭代的光场深度估计装置的示例图；
图4为根据本申请实施例提供的电子设备的结构示例图。
具体实施方式
下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的基于Richard-Lucy迭代的光场深度估计方法。针对上述背景技术中心提到的该算法无法准确的描述成像模型、无法充分利用光场系统捕捉到的光信息进行光场深度估计以及过度的依赖特定的成像环境限制了算法的应用场景的问题，本申请提供了一种基于Richard-Lucy迭代的光场深度估计方法，在该方法中，将采集的光场图像转成相空间信息并建立成像模型，同时获取光场相空间点扩散函数及初始化三维表面信息，基于成像模型和扩散函数，通过Richard-Lucy迭代重建初始化后的三维表面信息，得到目标场景表面三维信息，并从中提取深度信息对光场深度进行估计。由此，解决了相关技术无法准确的描述成像模型、无法充分利用光信息进行光场深度估计及过度的依赖特定成像环境限制了算法的应用场景等问题，利用光场成像模型建立反向方程并使用迭代反卷积的方式进行深度重建，从而得到更准确的深度估计结果，降低了光场深度估计算法的使用限制。
具体而言，图1为本申请实施例所提供的一种基于Richard-Lucy迭代的光场深度估计方法的流程示意图。
如图1所示，该基于Richard-Lucy迭代的光场深度估计方法包括以下步骤：
在步骤S101中，将采集的光场图像转成相空间信息，建立相空间信息的成像模型，并基于相空间信息获取光场相空间点扩散函数。
进一步地，在一些实施例中，建立相空间信息的成像模型，包括：结合预设建模公式，建立相空间信息的成像模型相空间信息的成像模型，其中，预设建模公式为：
Figure 604127DEST_PATH_IMAGE036
；
其中，
Figure 590799DEST_PATH_IMAGE032
为场景三维坐标，
Figure 977918DEST_PATH_IMAGE037
为相空间中的一个空间像素相对于微透镜中心的坐标，
Figure 410037DEST_PATH_IMAGE038
为不同子孔径位置，
Figure 300632DEST_PATH_IMAGE039
为接收到的光波波长，
Figure 160004DEST_PATH_IMAGE040
为场景中位于
Figure 332622DEST_PATH_IMAGE042
的物体表面对于波长为
Figure 506114DEST_PATH_IMAGE043
的光波的反射能力，
Figure 579112DEST_PATH_IMAGE044
为相空间的点扩散函数，
Figure 609385DEST_PATH_IMAGE045
为获取到的相空间信息，
Figure 767834DEST_PATH_IMAGE046
为泊松分布噪声函数。
具体的，将采集到的广场图像中对应为的像素进行重排，转化为多角度分量对应的相空间信息。
举例而言，在光场系统中，每个微透镜对应Nnum*Nnum个传感器像素，首先，抽取光场图像中对应位置的像素后进行重排，可以得到Nnum*Nnum个相空间数据；其次，用
Figure 479438DEST_PATH_IMAGE045
进行标识，其中
Figure DEST_PATH_IMAGE055
为相空间中的一个空间像素相对于微透镜中心的坐标，
Figure 908408DEST_PATH_IMAGE056
为不同子孔径位置，
Figure 109582DEST_PATH_IMAGE043
为接收到的光波波长；最后，根据上述步骤得到的
Figure 755327DEST_PATH_IMAGE045
，建立相空间信息的成像模型，该建模公式为：
Figure DEST_PATH_IMAGE057
；（1）
其中，
Figure 67359DEST_PATH_IMAGE032
为场景三维坐标，
Figure 616415DEST_PATH_IMAGE037
为相空间中的一个空间像素相对于微透镜中心的坐标，
Figure 926173DEST_PATH_IMAGE038
为不同子孔径位置，
Figure 59214DEST_PATH_IMAGE039
为接收到的光波波长，
Figure 112621DEST_PATH_IMAGE040
为场景中位于
Figure 14718DEST_PATH_IMAGE042
的物体表面对于波长为
Figure 557695DEST_PATH_IMAGE043
的光波的反射能力，
Figure 850136DEST_PATH_IMAGE044
为相空间的点扩散函数，
Figure 271015DEST_PATH_IMAGE045
为获取到的相空间信息，
Figure 965302DEST_PATH_IMAGE046
为泊松分布噪声函数。
进一步地，本申请实施例基于相空间信息获取光场相空间点扩散函数，优选地，光场相空间点扩散函数为六维函数，其中，三维为空间坐标，二维为相空间坐标，一维为接收到的光波波长。
在步骤S102中，根据相空间信息初始化三维表面信息，并基于相空间信息的成像模型和相空间点扩散函数，通过Richard-Lucy对初始化后的三维表面信息迭代重建，得到目标场景表面三维信息。
进一步地，在一些实施例中，基于相空间信息的成像模型和相空间点扩散函数，通过Richard-Lucy对初始化后的三维表面信息迭代重建，得到目标场景表面三维信息，包括：利用相空间点扩散函数初始化相空间信息中的子孔径分量迭代权重；按照子孔径排布位置，通过子孔径分量迭代权重和Richard-Lucy反卷积公式依次更新初始化后的三维表面信息，并在所有子孔径分量迭代权重均被使用后进行循环迭代，直至满足迭代条件后，得到迭代后的场景表面三维信息；对迭代后的场景表面三维信息进行波长通道整合，得到目标场景表面三维信息。
进一步地，在一些实施例中，利用相空间点扩散函数初始化相空间信息中的子孔径分量迭代权重，包括：结合预设初始化公式，利用相空间点扩散函数初始化相空间信息中的子孔径分量迭代权重，其中，预设初始化公式为：
Figure 679180DEST_PATH_IMAGE001
；
其中，
Figure 786813DEST_PATH_IMAGE002
为场景三维坐标，
Figure 182022DEST_PATH_IMAGE003
为不同子孔径位置，
Figure 793132DEST_PATH_IMAGE004
为接收到的光波波长，
Figure 456674DEST_PATH_IMAGE005
为相空间点扩散函数，
Figure 723708DEST_PATH_IMAGE006
为所述子孔径分量迭代权重。
进一步地，在一些实施例中，对迭代后的场景表面三维信息进行波长通道整合，包括：结合预设波长通道整合公式，对迭代后的场景表面三维信息进行波长通道整合，其中，预设波长通道整合公式为：
Figure 984925DEST_PATH_IMAGE031
；
其中，
Figure 388224DEST_PATH_IMAGE032
为场景三维坐标，
Figure 709484DEST_PATH_IMAGE033
为接收到的光波波长，
Figure 526130DEST_PATH_IMAGE034
为迭代得到的场景表面信息，
Figure 263142DEST_PATH_IMAGE035
为所述整合后的场景表面三维信息。
具体地，根据步骤S101得到的
Figure 350309DEST_PATH_IMAGE045
，对于每个波长通道，计算所有相空间图像的能量总值，再将该能量总值平均分到该波长通道对应的初始化三维信息的每个单元上。
进一步地，基于相空间信息的成像模型和相空间点扩散函数，初始化相空间信息中的子孔径分量迭代权重，并按照子孔径排布位置，结合子孔径分量迭代权重与Richard-Lucy反卷积公式，依次更新初始化后的三维表面信息，直到相空间信息中的所有子孔径分量均被使用过一次后进行循环迭代，直到达到迭代算法迭代上限，进而对迭代得到的场景表面三维信息进行波长通道整合，得到目标场景表面三维信息。
进一步地，本申请实施例利用相空间点扩散函数初始化相空间信息中的子孔径分量迭代权重，其中，子孔径分量迭代权重
Figure 842471DEST_PATH_IMAGE058
为：
Figure 818517DEST_PATH_IMAGE001
；（2）
其中，
Figure 421536DEST_PATH_IMAGE002
为场景三维坐标，
Figure 127324DEST_PATH_IMAGE003
为不同子孔径位置，
Figure 462491DEST_PATH_IMAGE004
为接收到的光波波长，
Figure 755194DEST_PATH_IMAGE005
为步骤S101获得的相空间的点扩散函数，
Figure 896325DEST_PATH_IMAGE006
为所述子孔径分量迭代权重。
进一步地，在步骤S102中，Richard-Lucy反卷积公式可以为：
Figure DEST_PATH_IMAGE059
；（3）
Figure 456620DEST_PATH_IMAGE060
；（4）
其中，
Figure 25004DEST_PATH_IMAGE009
为矩阵点乘，
Figure 805004DEST_PATH_IMAGE010
为矩阵点除，
Figure 687509DEST_PATH_IMAGE011
为场景三维坐标，
Figure 102310DEST_PATH_IMAGE012
为相空间中的一个空间像素相对于微透镜中心的坐标，
Figure 107175DEST_PATH_IMAGE013
为不同子孔径位置，
Figure 545110DEST_PATH_IMAGE014
为接收到的光波波长，
Figure 28044DEST_PATH_IMAGE015
为坐标
Figure 64395DEST_PATH_IMAGE016
的范围，
Figure DEST_PATH_IMAGE061
为场景中位于
Figure 974582DEST_PATH_IMAGE018
的物体表面对于波长为
Figure 962130DEST_PATH_IMAGE019
的光波的反射能力，
Figure 248755DEST_PATH_IMAGE020
为相空间点扩散函数，
Figure 575831DEST_PATH_IMAGE021
为相空间信息，
Figure 423963DEST_PATH_IMAGE022
为子孔径分量迭代权重，c为控制迭代收敛速度的常数，
Figure 898807DEST_PATH_IMAGE023
为迭代次数，
Figure 661227DEST_PATH_IMAGE024
为第
Figure 905126DEST_PATH_IMAGE025
次迭代中由第k个子孔径分量产生的场景表面信息更新，
Figure 422695DEST_PATH_IMAGE026
为第
Figure 322518DEST_PATH_IMAGE027
次迭代中由第k个子孔径分量更新后的场景表面信息，
Figure 452410DEST_PATH_IMAGE028
为
Figure 550816DEST_PATH_IMAGE029
次迭代中由第k-1个子孔径分量更新后的场景表面信息，
Figure 176970DEST_PATH_IMAGE030
为对相空间坐标维
Figure 626406DEST_PATH_IMAGE016
做180度翻转后的相空间点扩散函数。
进一步地，对迭代后的场景表面三维信息进行波长通道整合，其中，预设波长通道整合公式为：
Figure 792945DEST_PATH_IMAGE031
；（5）
其中，
Figure 512901DEST_PATH_IMAGE032
为场景三维坐标，
Figure 309956DEST_PATH_IMAGE033
为接收到的光波波长，
Figure 981109DEST_PATH_IMAGE034
为迭代得到的场景表面信息，
Figure 216918DEST_PATH_IMAGE035
为所述整合后的场景表面三维信息。
在步骤S103中，从目标场景表面三维信息中提取深度信息，并根据深度信息对光场深度进行估计。
进一步地，在一些实施例中，从目标场景表面三维信息中提取深度信息，包括：结合预设提取公式，从目标场景表面三维信息中提取深度信息，其中，预设提取公式为：
Figure 227599DEST_PATH_IMAGE047
；
其中，
Figure 257872DEST_PATH_IMAGE032
为场景三维坐标，
Figure 906067DEST_PATH_IMAGE048
为所述场景表面在横向坐标
Figure 414409DEST_PATH_IMAGE049
的轴向重建信息，
Figure 545176DEST_PATH_IMAGE050
为在横向坐标
Figure 746350DEST_PATH_IMAGE051
处场景的估计深度，对每个横向坐标
Figure 392095DEST_PATH_IMAGE049
进行深度估计，得到场景的深度图
Figure 641811DEST_PATH_IMAGE052
，
Figure 190866DEST_PATH_IMAGE053
为最终确定的横向坐标
Figure 562942DEST_PATH_IMAGE051
处深度值，由查找该横向坐标处轴向重建信息最大值所在轴向坐标获得，
Figure 633666DEST_PATH_IMAGE054
为横向坐标
Figure 749389DEST_PATH_IMAGE051
处轴向重建信息最大值。
具体地，通过步骤S102迭代得到的场景表面三维信息中提取深度信息的方法为：
Figure 651486DEST_PATH_IMAGE047
；（6）
其中，
Figure 695928DEST_PATH_IMAGE032
为场景三维坐标，
Figure 988369DEST_PATH_IMAGE048
为所述场景表面在横向坐标
Figure 907784DEST_PATH_IMAGE049
的轴向重建信息，
Figure 664387DEST_PATH_IMAGE050
为在横向坐标
Figure 315948DEST_PATH_IMAGE051
处场景的估计深度，对每个横向坐标
Figure 423581DEST_PATH_IMAGE049
进行深度估计，得到场景的深度图
Figure 382572DEST_PATH_IMAGE052
，
Figure 931365DEST_PATH_IMAGE053
为最终确定的横向坐标
Figure 81724DEST_PATH_IMAGE051
处深度值，由查找该横向坐标处轴向重建信息最大值所在轴向坐标获得，
Figure 411074DEST_PATH_IMAGE054
为横向坐标
Figure 406712DEST_PATH_IMAGE051
处轴向重建信息最大值。
综上，为便于本领域技术人员更好理解基于Richard-Lucy迭代的光场深度估计方法的完整流程，下面根据具体流程图进行详细说明，如图2所示：
S201，开始。
S202，光场数据重排，得到相空间信息
Figure 75591DEST_PATH_IMAGE045
。
S203，初始化场景三维表面信息
Figure 898316DEST_PATH_IMAGE035
。
S204，初始化子孔径分量迭代权重
Figure 449383DEST_PATH_IMAGE062
。
S205，利用Richard-Lucy反卷积公式，计算场景表面信息更新
Figure DEST_PATH_IMAGE063
。
S206，综合子孔径分量迭代权重，依次更新场景表面信息
Figure 514291DEST_PATH_IMAGE064
。
S207，判断所有子孔径分量是否都被使用过一次，若是，则执行S208，否则，将子孔径编号k=k+1，并返回执行S205。
S208，判断是否达到算法迭代上线，若是，则执行S209，否则，将迭代次数设定为iter=iter+1，并返回执行S204。
S209，对迭代得到的场景表面信息进行波长通道整合，得到场景表面三维信息
Figure 99993DEST_PATH_IMAGE035
。
S210，从场景表面三维信息中提取深度信息
Figure 890356DEST_PATH_IMAGE052
。
S211，结束。
根据本申请实施例的基于Richard-Lucy迭代的光场深度估计方法，将采集的光场图像转成相空间信息并建立成像模型，同时获取光场相空间点扩散函数及初始化三维表面信息，基于成像模型和扩散函数，通过Richard-Lucy迭代重建初始化后的三维表面信息，得到目标场景表面三维信息，并从中提取深度信息对光场深度进行估计。由此，解决了现有技术无法准确的描述成像模型、无法充分利用光信息进行光场深度估计及过度的依赖特定成像环境限制了算法的应用场景等问题，利用光场成像模型建立反向方程并使用迭代反卷积的方式进行深度重建，从而得到更准确的深度估计结果，降低了光场深度估计算法的使用限制。
其次参照附图描述根据本申请实施例提出的基于Richard-Lucy迭代的光场深度估计装置。
图3是本申请实施例的基于Richard-Lucy迭代的光场深度估计装置的方框示意图。
如图3所示，该基于Richard-Lucy迭代的光场深度估计装置10包括：获取模块100、迭代模块200和估计模块300。
其中，获取模块100用于将采集的光场图像转成相空间信息，建立相空间信息的成像模型，并基于相空间信息获取光场相空间点扩散函数；
迭代模块200用于根据相空间信息初始化三维表面信息，并基于相空间信息的成像模型和相空间点扩散函数，通过Richard-Lucy对初始化后的三维表面信息迭代重建，得到目标场景表面三维信息；以及
估计模块300用于从目标场景表面三维信息中提取深度信息，并根据深度信息对光场深度进行估计。
进一步地，在一些实施例中，迭代模块200，具体用于：
利用相空间点扩散函数初始化相空间信息中的子孔径分量迭代权重；
按照子孔径排布位置，通过子孔径分量迭代权重和Richard-Lucy反卷积公式依次更新初始化后的三维表面信息，并在所有子孔径分量迭代权重均被使用后进行循环迭代，直至满足迭代条件后，得到迭代后的场景表面三维信息；
对迭代后的场景表面三维信息进行波长通道整合，得到目标场景表面三维信息。
进一步地，在一些实施例中，迭代模块200，具体用于：
结合预设初始化公式，利用相空间点扩散函数初始化相空间信息中的子孔径分量迭代权重，其中，预设初始化公式为：
Figure 131982DEST_PATH_IMAGE001
；
其中，
Figure 735002DEST_PATH_IMAGE002
为场景三维坐标，
Figure 175210DEST_PATH_IMAGE003
为不同子孔径位置，
Figure 339738DEST_PATH_IMAGE004
为接收到的光波波长，
Figure 803080DEST_PATH_IMAGE005
为相空间点扩散函数，
Figure 209790DEST_PATH_IMAGE006
为所述子孔径分量迭代权重。
进一步地，在一些实施例中，Richard-Lucy反卷积公式为：
Figure 770085DEST_PATH_IMAGE007
Figure 276152DEST_PATH_IMAGE008
；
其中，
Figure 554687DEST_PATH_IMAGE009
为矩阵点乘，
Figure 974DEST_PATH_IMAGE010
为矩阵点除，
Figure 353458DEST_PATH_IMAGE011
为场景三维坐标，
Figure 92744DEST_PATH_IMAGE012
为相空间中的一个空间像素相对于微透镜中心的坐标，
Figure 592995DEST_PATH_IMAGE013
为不同子孔径位置，
Figure 279192DEST_PATH_IMAGE014
为接收到的光波波长，
Figure 548499DEST_PATH_IMAGE015
为坐标
Figure 237449DEST_PATH_IMAGE016
的范围，
Figure 224997DEST_PATH_IMAGE017
为场景中位于
Figure 449305DEST_PATH_IMAGE018
的物体表面对于波长为
Figure 838698DEST_PATH_IMAGE019
的光波的反射能力，
Figure 123048DEST_PATH_IMAGE020
为相空间点扩散函数，
Figure 332313DEST_PATH_IMAGE021
为相空间信息，
Figure 924093DEST_PATH_IMAGE022
为子孔径分量迭代权重，c为控制迭代收敛速度的常数，
Figure 105676DEST_PATH_IMAGE023
为迭代次数，
Figure 623245DEST_PATH_IMAGE024
为第
Figure 585385DEST_PATH_IMAGE025
次迭代中由第k个子孔径分量产生的场景表面信息更新，
Figure 213812DEST_PATH_IMAGE026
为第
Figure 249901DEST_PATH_IMAGE027
次迭代中由第k个子孔径分量更新后的场景表面信息，
Figure 439837DEST_PATH_IMAGE028
为
Figure 623693DEST_PATH_IMAGE029
次迭代中由第k-1个子孔径分量更新后的场景表面信息，
Figure 993495DEST_PATH_IMAGE030
为对相空间坐标维
Figure 211986DEST_PATH_IMAGE016
做180度翻转后的相空间点扩散函数。
进一步地，在一些实施例中，对迭代后的场景表面三维信息进行波长通道整合，包括：
结合预设波长通道整合公式，对迭代后的场景表面三维信息进行波长通道整合，其中，预设波长通道整合公式为：
Figure 71358DEST_PATH_IMAGE031
；
其中，
Figure 243976DEST_PATH_IMAGE032
为场景三维坐标，
Figure 151889DEST_PATH_IMAGE033
为接收到的光波波长，
Figure 224887DEST_PATH_IMAGE034
为迭代得到的场景表面信息，
Figure 255160DEST_PATH_IMAGE035
为所述整合后的场景表面三维信息。
进一步地，在一些实施例中，获取模块100，具体用于：
结合预设建模公式，建立相空间信息的成像模型相空间信息的成像模型，其中，预设建模公式为：
Figure 351292DEST_PATH_IMAGE036
；
其中，
Figure 125213DEST_PATH_IMAGE032
为场景三维坐标，
Figure 819762DEST_PATH_IMAGE037
为相空间中的一个空间像素相对于微透镜中心的坐标，
Figure 958619DEST_PATH_IMAGE038
为不同子孔径位置，
Figure 338785DEST_PATH_IMAGE039
为接收到的光波波长，
Figure 916397DEST_PATH_IMAGE040
为场景中位于
Figure 901670DEST_PATH_IMAGE042
的物体表面对于波长为
Figure 273746DEST_PATH_IMAGE043
的光波的反射能力，
Figure 642672DEST_PATH_IMAGE044
为相空间的点扩散函数，
Figure 696079DEST_PATH_IMAGE045
为获取到的相空间信息，
Figure 598176DEST_PATH_IMAGE046
为泊松分布噪声函数。
进一步地，在一些实施例中，估计模块300，具体用于：
结合预设提取公式，从目标场景表面三维信息中提取深度信息，其中，预设提取公式为：
Figure 141153DEST_PATH_IMAGE047
；
其中，
Figure 699173DEST_PATH_IMAGE032
为场景三维坐标，
Figure 353008DEST_PATH_IMAGE048
为所述场景表面在横向坐标
Figure 312874DEST_PATH_IMAGE049
的轴向重建信息，
Figure 528217DEST_PATH_IMAGE050
为在横向坐标
Figure 370271DEST_PATH_IMAGE051
处场景的估计深度，对每个横向坐标
Figure 765480DEST_PATH_IMAGE049
进行深度估计，得到场景的深度图
Figure 642169DEST_PATH_IMAGE052
，
Figure 526949DEST_PATH_IMAGE053
为最终确定的横向坐标
Figure 793982DEST_PATH_IMAGE051
处深度值，由查找该横向坐标处轴向重建信息最大值所在轴向坐标获得，
Figure 556664DEST_PATH_IMAGE054
为横向坐标
Figure 287860DEST_PATH_IMAGE051
处轴向重建信息最大值。
根据本申请实施例的基于Richard-Lucy迭代的光场深度估计装置，将采集的光场图像转成相空间信息并建立成像模型，同时获取光场相空间点扩散函数及初始化三维表面信息，基于成像模型和扩散函数，通过Richard-Lucy迭代重建初始化后的三维表面信息，得到目标场景表面三维信息，并从中提取深度信息对光场深度进行估计。由此，解决了现有技术无法准确的描述成像模型、无法充分利用光信息进行光场深度估计及过度的依赖特定成像环境限制了算法的应用场景等问题，利用光场成像模型建立反向方程并使用迭代反卷积的方式进行深度重建，从而得到更准确的深度估计结果，降低了光场深度估计算法的使用限制。
图4为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：
存储器401、处理器402及存储在存储器401上并可在处理器402上运行的计算机程序。
处理器402执行程序时实现上述实施例中提供的基于Richard-Lucy迭代的光场深度估计方法。
进一步地，电子设备还包括：
通信接口403，用于存储器401和处理器402之间的通信。
存储器401，用于存放可在处理器402上运行的计算机程序。
存储器401可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。
如果存储器401、处理器402和通信接口403独立实现，则通信接口403、存储器401和处理器402可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构（Industry Standard Architecture，简称为ISA）总线、外部设备互连（PeripheralComponent，简称为PCI）总线或扩展工业标准体系结构（Extended Industry StandardArchitecture，简称为EISA）总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器401、处理器402及通信接口403，集成在一块芯片上实现，则存储器401、处理器402及通信接口403可以通过内部接口完成相互间的通信。
处理器402可能是一个中央处理器（Central Processing Unit，简称为CPU），或者是特定集成电路（Application Specific Integrated Circuit，简称为ASIC），或者是被配置成实施本申请实施例的一个或多个集成电路。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的基于Richard-Lucy迭代的光场深度估计方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或N个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (14)

1.一种基于Richard-Lucy迭代的光场深度估计方法，其特征在于，包括以下步骤：
将采集的光场图像转成相空间信息，建立所述相空间信息的成像模型，并基于所述相空间信息获取光场相空间点扩散函数；
根据所述相空间信息初始化三维表面信息，并基于所述相空间信息的成像模型和所述相空间点扩散函数，通过Richard-Lucy对初始化后的三维表面信息迭代重建，得到目标场景表面三维信息；以及
从所述目标场景表面三维信息中提取深度信息，并根据所述深度信息对光场深度进行估计；
其中，所述基于所述相空间信息的成像模型和所述相空间点扩散函数，通过Richard-Lucy对初始化后的三维表面信息迭代重建，得到目标场景表面三维信息，包括：利用所述相空间点扩散函数初始化所述相空间信息中的子孔径分量迭代权重；按照所述子孔径排布位置，通过所述子孔径分量迭代权重和Richard-Lucy反卷积公式依次更新所述初始化后的三维表面信息，并在所有子孔径分量迭代权重均被使用后进行循环迭代，直至满足迭代条件后，得到迭代后的场景表面三维信息；对所述迭代后的场景表面三维信息进行波长通道整合，得到所述目标场景表面三维信息。
2.根据权利要求1所述的方法，其特征在于，所述利用所述相空间点扩散函数初始化所述相空间信息中的子孔径分量迭代权重，包括：
结合预设初始化公式，利用所述相空间点扩散函数初始化所述相空间信息中的子孔径分量迭代权重，其中，所述预设初始化公式为：
Figure 19277DEST_PATH_IMAGE001
；
其中，
Figure 82042DEST_PATH_IMAGE002
为场景三维坐标，
Figure 332895DEST_PATH_IMAGE003
为不同子孔径位置，
Figure 721282DEST_PATH_IMAGE004
为接收到的光波波长，
Figure 854323DEST_PATH_IMAGE005
为相空间点扩散函数，
Figure 173309DEST_PATH_IMAGE006
为所述子孔径分量迭代权重。
3.根据权利要求2所述的方法，其特征在于，所述Richard-Lucy反卷积公式为：
Figure 88788DEST_PATH_IMAGE007
Figure 631765DEST_PATH_IMAGE008
；
其中，
Figure 940517DEST_PATH_IMAGE009
为矩阵点乘，
Figure 125511DEST_PATH_IMAGE010
为矩阵点除，
Figure 632847DEST_PATH_IMAGE011
为场景三维坐标，
Figure 549987DEST_PATH_IMAGE012
为相空间中的一个空间像素相对于微透镜中心的坐标，
Figure 923200DEST_PATH_IMAGE013
为不同子孔径位置，
Figure 334721DEST_PATH_IMAGE014
为接收到的光波波长，
Figure 211410DEST_PATH_IMAGE015
为坐标
Figure 565031DEST_PATH_IMAGE016
的范围，
Figure 642184DEST_PATH_IMAGE017
为场景中位于
Figure 903401DEST_PATH_IMAGE018
的物体表面对于波长为
Figure 588591DEST_PATH_IMAGE019
的光波的反射能力，
Figure 909851DEST_PATH_IMAGE020
为相空间点扩散函数，
Figure 477230DEST_PATH_IMAGE021
为相空间信息，
Figure 745400DEST_PATH_IMAGE022
为子孔径分量迭代权重，c为控制迭代收敛速度的常数，
Figure 596682DEST_PATH_IMAGE023
为迭代次数，
Figure 573996DEST_PATH_IMAGE024
为第
Figure 81201DEST_PATH_IMAGE025
次迭代中由第k个子孔径分量产生的场景表面信息更新，
Figure 697602DEST_PATH_IMAGE026
为第
Figure 341073DEST_PATH_IMAGE027
次迭代中由第k个子孔径分量更新后的场景表面信息，
Figure 4136DEST_PATH_IMAGE028
为
Figure 546107DEST_PATH_IMAGE029
次迭代中由第k-1个子孔径分量更新后的场景表面信息，，
Figure 156080DEST_PATH_IMAGE030
为对相空间坐标维
Figure 263844DEST_PATH_IMAGE016
做180度翻转后的相空间点扩散函数。
4.根据权利要求2所述的方法，其特征在于，所述对所述迭代后的场景表面三维信息进行波长通道整合，包括：
结合预设波长通道整合公式，对所述迭代后的场景表面三维信息进行波长通道整合，其中，所述预设波长通道整合公式为：
Figure 35491DEST_PATH_IMAGE031
；
其中，
Figure 861496DEST_PATH_IMAGE032
为场景三维坐标，
Figure 9580DEST_PATH_IMAGE033
为接收到的光波波长，
Figure 172184DEST_PATH_IMAGE034
为迭代得到的场景表面信息，
Figure 911470DEST_PATH_IMAGE035
为所述整合后的场景表面三维信息。
5.根据权利要求1所述的方法，其特征在于，所述建立所述相空间信息的成像模型，包括：
结合预设建模公式，建立所述相空间信息的成像模型相空间信息的成像模型，其中，所述预设建模公式为：
Figure 162453DEST_PATH_IMAGE036
；
其中，
Figure 910967DEST_PATH_IMAGE032
为场景三维坐标，
Figure 931006DEST_PATH_IMAGE037
为相空间中的一个空间像素相对于微透镜中心的坐标，
Figure 372352DEST_PATH_IMAGE038
为不同子孔径位置，
Figure 845053DEST_PATH_IMAGE039
为接收到的光波波长，
Figure 131678DEST_PATH_IMAGE040
为场景中位于
Figure 292311DEST_PATH_IMAGE042
的物体表面对于波长为
Figure 904558DEST_PATH_IMAGE043
的光波的反射能力，
Figure 864555DEST_PATH_IMAGE044
为相空间的点扩散函数，
Figure 158133DEST_PATH_IMAGE045
为获取到的相空间信息，
Figure 402032DEST_PATH_IMAGE046
为泊松分布噪声函数。
6.根据权利要求5所述的方法，其特征在于，所述从所述目标场景表面三维信息中提取深度信息，包括：
结合预设提取公式，从所述目标场景表面三维信息中提取深度信息，其中，所述预设提取公式为：
Figure 670334DEST_PATH_IMAGE047
；
其中，
Figure 898053DEST_PATH_IMAGE032
为场景三维坐标，
Figure 277213DEST_PATH_IMAGE048
为所述场景表面在横向坐标
Figure 578881DEST_PATH_IMAGE049
的轴向重建信息，
Figure 15154DEST_PATH_IMAGE050
为在横向坐标
Figure 464590DEST_PATH_IMAGE051
处场景的估计深度，对每个横向坐标
Figure 99971DEST_PATH_IMAGE049
进行深度估计，得到场景的深度图
Figure 334774DEST_PATH_IMAGE052
，
Figure 194146DEST_PATH_IMAGE053
为最终确定的横向坐标
Figure 616031DEST_PATH_IMAGE051
处深度值，由查找该横向坐标处轴向重建信息最大值所在轴向坐标获得，
Figure 789523DEST_PATH_IMAGE054
为横向坐标
Figure 613254DEST_PATH_IMAGE051
处轴向重建信息最大值。
7.一种基于Richard-Lucy迭代的光场深度估计装置，其特征在于，包括：
获取模块，用于将采集的光场图像转成相空间信息，建立所述相空间信息的成像模型，并基于所述相空间信息获取光场相空间点扩散函数；
迭代模块，用于根据所述相空间信息初始化三维表面信息，并基于所述相空间信息的成像模型和所述相空间点扩散函数，通过Richard-Lucy对初始化后的三维表面信息迭代重建，得到目标场景表面三维信息；以及
估计模块，用于从所述目标场景表面三维信息中提取深度信息，并根据所述深度信息对光场深度进行估计；
其中，所述迭代模块，具体用于：利用所述相空间点扩散函数初始化所述相空间信息中的子孔径分量迭代权重；按照所述子孔径排布位置，通过所述子孔径分量迭代权重和Richard-Lucy反卷积公式依次更新所述初始化后的三维表面信息，并在所有子孔径分量迭代权重均被使用后进行循环迭代，直至满足迭代条件后，得到迭代后的场景表面三维信息；对所述迭代后的场景表面三维信息进行波长通道整合，得到所述目标场景表面三维信息。
8.根据权利要求7所述的装置，其特征在于，所述迭代模块，具体用于：
结合预设初始化公式，利用所述相空间点扩散函数初始化所述相空间信息中的子孔径分量迭代权重，其中，所述预设初始化公式为：
Figure 909106DEST_PATH_IMAGE001
；
其中，
Figure 270817DEST_PATH_IMAGE002
为场景三维坐标，
Figure 792541DEST_PATH_IMAGE003
为不同子孔径位置，
Figure 251204DEST_PATH_IMAGE004
为接收到的光波波长，
Figure 406373DEST_PATH_IMAGE005
为相空间点扩散函数，
Figure 786539DEST_PATH_IMAGE006
为所述子孔径分量迭代权重。
9.根据权利要求8所述的装置，其特征在于，所述Richard-Lucy反卷积公式为：
Figure 380462DEST_PATH_IMAGE007
；
Figure 631315DEST_PATH_IMAGE008
；
其中，
Figure 268970DEST_PATH_IMAGE055
为矩阵点乘，
Figure 90426DEST_PATH_IMAGE010
为矩阵点除，
Figure 206150DEST_PATH_IMAGE056
为场景三维坐标，
Figure 121629DEST_PATH_IMAGE012
为相空间中的一个空间像素相对于微透镜中心的坐标，
Figure 867868DEST_PATH_IMAGE013
为不同子孔径位置，
Figure 753784DEST_PATH_IMAGE014
为接收到的光波波长，
Figure 361614DEST_PATH_IMAGE015
为坐标
Figure 649376DEST_PATH_IMAGE057
的范围，
Figure 113987DEST_PATH_IMAGE017
为场景中位于
Figure 159303DEST_PATH_IMAGE018
的物体表面对于波长为
Figure 616829DEST_PATH_IMAGE058
的光波的反射能力，
Figure 244251DEST_PATH_IMAGE059
为相空间点扩散函数，
Figure 394609DEST_PATH_IMAGE021
为相空间信息，
Figure 675025DEST_PATH_IMAGE060
为子孔径分量迭代权重，c为控制迭代收敛速度的常数，
Figure 201821DEST_PATH_IMAGE023
为迭代次数，
Figure 683749DEST_PATH_IMAGE061
为第
Figure 942692DEST_PATH_IMAGE062
次迭代中由第k个子孔径分量产生的场景表面信息更新，
Figure 24917DEST_PATH_IMAGE026
为第
Figure 840558DEST_PATH_IMAGE062
次迭代中由第k个子孔径分量更新后的场景表面信息，
Figure 426260DEST_PATH_IMAGE028
为
Figure 606837DEST_PATH_IMAGE029
次迭代中由第k-1个子孔径分量更新后的场景表面信息，，
Figure 910779DEST_PATH_IMAGE030
为对相空间坐标维
Figure 527181DEST_PATH_IMAGE057
做180度翻转后的相空间点扩散函数。
10.根据权利要求8所述的装置，其特征在于，所述对所述迭代后的场景表面三维信息进行波长通道整合，包括：
结合预设波长通道整合公式，对所述迭代后的场景表面三维信息进行波长通道整合，其中，所述预设波长通道整合公式为：
Figure 967389DEST_PATH_IMAGE031
；
其中，
Figure 833714DEST_PATH_IMAGE032
为场景三维坐标，
Figure 375685DEST_PATH_IMAGE033
为接收到的光波波长，
Figure 782396DEST_PATH_IMAGE034
为迭代得到的场景表面信息，
Figure 31105DEST_PATH_IMAGE035
为所述整合后的场景表面三维信息。
11.根据权利要求7所述的装置，其特征在于，所述获取模块，具体用于：
结合预设建模公式，建立所述相空间信息的成像模型相空间信息的成像模型，其中，所述预设建模公式为：
Figure 130648DEST_PATH_IMAGE036
；
其中，
Figure 894336DEST_PATH_IMAGE032
为场景三维坐标，
Figure 42421DEST_PATH_IMAGE037
为相空间中的一个空间像素相对于微透镜中心的坐标，
Figure 722801DEST_PATH_IMAGE038
为不同子孔径位置，
Figure 475469DEST_PATH_IMAGE039
为接收到的光波波长，
Figure 975720DEST_PATH_IMAGE040
为场景中位于
Figure 678228DEST_PATH_IMAGE042
的物体表面对于波长为
Figure 947535DEST_PATH_IMAGE043
的光波的反射能力，
Figure 139614DEST_PATH_IMAGE044
为相空间的点扩散函数，
Figure 330423DEST_PATH_IMAGE045
为获取到的相空间信息，
Figure 617048DEST_PATH_IMAGE046
为泊松分布噪声函数。
12.根据权利要求11所述的装置，其特征在于，所述估计模块，具体用于：
结合预设提取公式，从所述目标场景表面三维信息中提取深度信息，其中，所述预设提取公式为：
Figure 22753DEST_PATH_IMAGE047
；
其中，
Figure 307104DEST_PATH_IMAGE032
为场景三维坐标，
Figure 795329DEST_PATH_IMAGE048
为所述场景表面在横向坐标
Figure 885645DEST_PATH_IMAGE049
的轴向重建信息，
Figure 332807DEST_PATH_IMAGE050
为在横向坐标
Figure 866688DEST_PATH_IMAGE051
处场景的估计深度，对每个横向坐标
Figure 766511DEST_PATH_IMAGE049
进行深度估计，得到场景的深度图
Figure 145670DEST_PATH_IMAGE052
,
Figure 775235DEST_PATH_IMAGE053
为最终确定的横向坐标
Figure 666968DEST_PATH_IMAGE051
处深度值，由查找该横向坐标处轴向重建信息最大值所在轴向坐标获得，
Figure 867136DEST_PATH_IMAGE054
为横向坐标
Figure 502517DEST_PATH_IMAGE051
处轴向重建信息最大值。
13.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-6任一项所述的基于Richard-Lucy迭代的光场深度估计方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-6任一项所述的基于Richard-Lucy迭代的光场深度估计方法。
CN202210402610.9A 2022-04-18 2022-04-18 基于Richard-Lucy迭代的光场深度估计方法 Active CN114494383B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210402610.9A CN114494383B (zh) 2022-04-18 2022-04-18 基于Richard-Lucy迭代的光场深度估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210402610.9A CN114494383B (zh) 2022-04-18 2022-04-18 基于Richard-Lucy迭代的光场深度估计方法

Publications (2)

Publication Number Publication Date
CN114494383A CN114494383A (zh) 2022-05-13
CN114494383B true CN114494383B (zh) 2022-09-02

Family

ID=81489323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210402610.9A Active CN114494383B (zh) 2022-04-18 2022-04-18 基于Richard-Lucy迭代的光场深度估计方法

Country Status (1)

Country Link
CN (1) CN114494383B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100269B (zh) * 2022-06-28 2024-04-23 电子科技大学 一种光场图像深度估计方法、系统、电子设备及存储介质
CN117095119B (zh) * 2023-08-17 2024-05-28 郑州众益信息科技有限公司 一种地空一体测绘方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103914874B (zh) * 2014-04-08 2017-02-01 中山大学 一种无特征提取的紧致sfm三维重建方法
WO2018213723A1 (en) * 2017-05-19 2018-11-22 The Rockefeller University Imaging signal extraction apparatus and methods of using same
CN110412587B (zh) * 2019-07-19 2021-04-09 中国科学院声学研究所 一种基于解卷积的下视合成孔径三维成像方法及系统
CN110706346B (zh) * 2019-09-17 2022-11-15 浙江荷湖科技有限公司 时空联合优化重建方法及系统
CN110675451B (zh) * 2019-09-17 2023-03-17 浙江荷湖科技有限公司 基于相空间光学的数字自适应校正方法及系统
CN112288847B (zh) * 2020-09-28 2022-06-17 清华大学 基于快速傅里叶变换的光场三维重建方法
CN113850902A (zh) * 2021-09-13 2021-12-28 清华大学深圳国际研究生院 一种基于光场显微系统的光场三维重建方法

Also Published As

Publication number Publication date
CN114494383A (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
CN108198145B (zh) 用于点云数据修复的方法和装置
CN108319655B (zh) 用于生成栅格地图的方法和装置
CN114494383B (zh) 基于Richard-Lucy迭代的光场深度估计方法
Sharma Comparative assessment of techniques for initial pose estimation using monocular vision
Castorena et al. Autocalibration of lidar and optical cameras via edge alignment
CN109523597B (zh) 相机外参的标定方法和装置
US8755630B2 (en) Object pose recognition apparatus and object pose recognition method using the same
US20140253679A1 (en) Depth measurement quality enhancement
CN111080784B (zh) 一种基于地面图像纹理的地面三维重建方法和装置
EP2724203A1 (fr) Génération de données de carte
Lin et al. Optimizing ZNCC calculation in binocular stereo matching
Bethmann et al. Semi-global matching in object space
CN111882655B (zh) 三维重建的方法、装置、系统、计算机设备和存储介质
CN113111513B (zh) 传感器配置方案确定方法、装置、计算机设备及存储介质
CN115035235A (zh) 三维重建方法及装置
CN112444798A (zh) 多传感器设备时空外参标定方法、装置以及计算机设备
CN110738730A (zh) 点云匹配方法、装置、计算机设备和存储介质
CN114519772A (zh) 一种基于稀疏点云和代价聚合的三维重建方法及系统
Tripodi et al. Operational pipeline for large-scale 3D reconstruction of buildings from satellite images
He et al. Linear approach for initial recovery of the exterior orientation parameters of randomly captured images by low-cost mobile mapping systems
CN117132737B (zh) 一种三维建筑模型构建方法、系统及设备
CN114677588A (zh) 障碍物检测的方法、装置、机器人和存储介质
CN112270748B (zh) 基于图像的三维重建方法及装置
CN112288817B (zh) 基于图像的三维重建处理方法及装置
CN108174179B (zh) 用于对成像设备进行建模的方法和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant