CN113411508B - 一种基于相机亮度测量的非视域成像方法 - Google Patents

Abstract

本发明公开一种基于相机亮度测量的非视域成像方法，属于计算、推算或计数的技术领域。该方法利用普通相机拍摄非视域场景在漫反射面上产生的漫反射信息，拍摄时通过调节曝光时间获取相同场景下不同曝光的图像，并通过在每幅图像上选取相同位置的特征点，借助HDR原理标定相机RGB三通道的亮度响应曲线。由亮度响应曲线完成相机获取的RGB数据到场景亮度的转换，进而借助光线跟踪算法中亮度传播所使用的反射方程建立求解非视域场景图像的优化问题。本方法对于任何普通相机均具有普适性，无需昂贵的工业相机和其他复杂步骤。

Description

一种基于相机亮度测量的非视域成像方法

技术领域

本发明涉及非视域成像技术，具体公开一种基于相机亮度测量的非视域成像方法，属于计算、推算或计数的技术领域。

背景技术

非视域成像是近十年来逐步发展起的一种计算成像方法，用于对人眼或探测器无法直接观测的场景进行成像，非视域成像在探测、救援、医疗以及辅助驾驶等方面有着巨大的潜在应用。非视域成像早期研究主要集中于主动非视域成像，主动式方法需要借助高频调制激光器和高速相机，这些成像设备价格昂贵且结构复杂。被动非视域成像无需主动光源，依赖场景中物体自发光或反射光，在一定程度上降低了成像设备的成本和复杂度，但目前被动非视域成像仍使用工业相机等价格昂贵的相机作为成像设备。本发明旨在通过分析成像设备原理和场景特性，提供一种使用市面上普通相机模组作为成像设备即可实现的被动非视域成像方法，从而达到降低非视域成像成本的目的。

发明内容

本发明的发明目的是针对上述背景技术的不足，提供一种基于相机亮度测量的非视域成像方法，只需普通相机，实现降低非视域成像成本和成像复杂度的发明目的，解决现有非视域成像技术需要复杂成像设备的技术问题。

本发明为实现上述发明目的采用如下技术方案：

一种基于相机亮度测量的非视域成像方法，包括以下步骤：

步骤1：采用相机在不同曝光时间下获取非视域场景在漫反射面上产生的漫反射图像；

步骤2：采用逆透视变换对上述获取的漫反射图像提取指定ROI的图像；

步骤3：提取步骤2中获取的图像指定像素点处的RGB三通道值并获取图像的曝光时间；

步骤4：由步骤3得到的曝光时间和RGB值，建立优化问题标定相机的三通道亮度响应曲线，并由响应曲线将步骤2得到的ROI图像的RGB值转换成实际场景亮度矩阵；

步骤5：确定步骤4得到的实际场景亮度矩阵每个元素与待成像的非视域场景亮度矩阵的每个元素的相对空间位置，供后续亮度转换矩阵计算时使用；

步骤6：采用反射方程建立非视域场景亮度矩阵每个元素与实际场景亮度矩阵的转换关系，从而建立转换关系矩阵；转换关系矩阵的行数与实际场景亮度矩阵总元素数相同，列数与非视域场景亮度矩阵的总元素数相同；

步骤7：由步骤4得到的实际场景亮度矩阵和步骤6得到的转换矩阵建立优化问题，求解非视域场景亮度，计算时需要将实际场景亮度矩阵和非视域场景亮度矩阵均转换为行向量。

进一步地，步骤1相机拍摄的反射平面必须是漫反射平面，以确保其反射方程中双向反射率分布函数为常数。

进一步地，相机拍摄的不同曝光时间下的图像可以是RGB彩色图像，也可以是灰度图像。当为彩色图像时，需标定三通道的亮度相应曲线，当为灰度图像时，只需标定单通道的亮度响应曲线。

进一步地，步骤4中亮度标定需要使用相同场景下不同曝光时间所拍摄的图像；具体地，步骤3需要从这些不同曝光时刻拍摄的图像上取出若干相同像素位置处的像素值。

进一步地，亮度标定需要建立的优化问题为：

其中，

g”(Z_ij)＝g(Z_ij-1)-2g(Z_ij)+g(Z_ij+1) (3)，

式(1)至式(3)中，i表示像素编号，N表示每张图像取出的像素数，j表示曝光时间编号，P表示曝光时间总数；Z_ij表示曝光时间编号为j的图像上取出的第i个像素点；g(Z_ij)表示灰度为Z_ij对应的对数曝光量；L_i表示第i个像素值对应实际场景亮度；Δt_j表示曝光编号为j的曝光时间；λ表示正则化系数；Z_min表示像素值的最小值，一般为0，Z_max表示像素值的最大值，一般为255；g”为函数g的二阶导数，是为了确保函数g平滑而设置的正则化项，w(Z_ij)是为了避免在函数g两端产生的极端数据导致函数不平滑而设置的加权系数。

进一步地，建立转换矩阵所使用的反射方程为：

式(4)中，S表示发光面面积，这里表示非视域场景平面面积；m*n表示非视域场景亮度矩阵的总元素数；p'表示S上的像素点，p表示漫反射平面上ROI图像的像素点；L_o(p,w_o)表示p点处w_o方向出射亮度；L_i(p',-w_i)表示从p'处发射的光沿w_i方向入射至p点的亮度；ρ表示漫反射面的反射率；θ_i表示入射光线与漫反射面表面法线的夹角；θ'表示发光面S发出的光线与其表面法线的夹角。

进一步地，求解非视域场景图像建立的优化问题为下式，该式适用于三通道：

其中，

式(5)至式(6)中，A表示转换矩阵，x表示待求解的非视域场景亮度矩阵，总共有m行n列，x_u,v表示非视域场景亮度矩阵的u行v列项元素，y表示漫反射场景亮度，λ₁和λ₂表示正则化系数，||x||_tv表示平滑正则化，∑T_u,v表示桶形函数正则化，T_u,v表示非视域场景亮度矩阵每一个元素对应的桶形函数元素值。

进一步地，求解的非视域场景亮度x在转换为图像时可进行相应的色调映射。

本发明采用上述技术方案，具有以下有益效果：本发明的基于相机亮度测量的非视域成像方法，成像设备只需普通相机，成像原理基于相机感光元件对于亮度至像素灰度值转换关系以及反射方程对于亮度在空间中传播原理的定义。成像过程只需相机拍摄不同曝光时间下的场景图像，借助HDR原理实现亮度相应曲线的标定及像素灰度值至亮度的转换。具有成像设备成本低，成像复杂度低等特点。

附图说明

图1为非视域场景成像的示意图。

图2为相机成像原理的示意图。

图3为本发明实施例中亮度标定结果的示意图。

图4为本发明非视域场景即漫反射平面像素点示意图。

图5为本发明非视域成像的流程图。

具体实施方式

下面结合附图对发明的技术方案进行详细说明。

本发明的基本思想为：本发明借助空间中亮度传播的原理以及相机传感器对于亮度至像素灰度值转换原理对非视域场景图像进行求解，原理适用于任何普通相机。成像时只需进行多曝光拍摄完成相机传感器亮度相应曲线的标定并实现灰度至场景亮度的转换，求解非视域场景亮度时借助反射方程即亮度在自由空间中传播原理建立优化问题，并对求解出的场景亮度进行适当的色调映射，即可求解出非视域场景图像。

因此，本实施列首先利用非视域场景在漫反射面上所产生的半影信息，该信息由非视域场景发射或反射的光线经过自由传播后到达漫反射面所产生。因成像需要，需在成像场景中设置一个遮挡物，该遮挡物对来自非视域场景的光线具有一定的编码作用，如图1所示，漫反射面上每一点的亮度均来自非视域场景。由于相机拍摄图像时，传感器会根据相机设置的参数实现场景亮度至像素灰度值的转换，所以相机无法直接测量场景的亮度值。但相机的亮度相应曲线固定，只需标定出该曲线即可实现灰度至亮度的转换。目前常用亮度标定的方法是使用亮度计进行标定，本文使用基于HDR的方法进行亮度标定。

相机成像时，其成像原理如图2所示，待成像物体上p点在相机传感器上对应的像点p'，由立体角投影定律可知，p点在透镜上产生的照度为：

式(8)中，L为p点处微面元的亮度，A_s为p点处微面元的面积，d为物距。经过透镜后产生的光通量为：

φ＝τA_oE₁ (9)，

式(9)中，τ为透镜的透过率，A_o为透镜面积，假设来自p点的光经过透镜在传感器上形成的光斑微面元为A_d，则在相机传感器处产生的照度为：

根据相似性定理可得：

透镜的焦距公式为：

将公式(11)和公式(12)带入公式(10)可得传感器表面照度为：

而相机的相对孔径数有如下定义：

将公式(14)带入公式(13)后，可得传感器表面照度为：

由于物距一般远大于透镜的焦距，故上式可简化为：

则相机传感器曝光量可表示为：

式(17)中，Δt为曝光时间。由于相机输出的灰度与曝光量存在着固定的关系即亮度响应曲线，故只需标定出相机输出的灰度值与曝光量的关系，再由曝光时间即可计算出场景亮度数据。假设相机传感器由曝光量向灰度值转换的关系为：

Z＝h(H)＝h(EΔt) (18)，

假设函数h是单调的，则可得到：

h^-1(Z)＝EΔt (19)。

两边同时取自然对数后可得：

由于

是固定常数，可设函数关系

则：

g(Z)＝ln L+lnΔt (21)，

此时，可以从相同场景下相机拍摄的不同曝光时间下的图像中取出相同像素处的像素值，并假设Z_i,j为待成像点亮度为L_i、曝光时间为Δt_j时，相机输出的灰度值，式(21)转换为：

g(Z_ij)＝ln L_i+lnΔt_j (22)。

相机拍摄输出图像后，灰度值Z_ij和曝光时间Δt_j都是已知的，未知的是待成像点亮度为L_i和函数关系g。由于函数关系g是单调的，并且灰度值也是有限数量的值，可建立如下目标函数最小化的优化问题求解g(Z)的有限个值。为了方便求解，需要对目标函数引入一个额外的约束条件

即假设在Z_min和Z_max之间存在一个值对应单位曝光。此外，根据先验知识可知，相机的亮度响应曲线在Z_min和Z_max处附近的导数值较大，并且可能会存在一定的像素点在这两处集中导致此处拟合是曲线不光滑，为了解决该问题可以对目标函数引入一个权重函数，使其在两端处的权重更小，可得优化问题的目标函数为：

其中，

g”(Z_ij)＝g(Z_ij-1)-2g(Z_ij)+g(Z_ij+1) (25)，

式(23)至式(25)中，i表示像素编号，N表示每张图像取出的像素数，j表示曝光时间编号，P表示曝光时间总数；Z_ij表示曝光时间编号为j的图像上取出的第i个像素点；L_i表示第i个像素值对应实际场景亮度；Δt_j表示曝光编号为j的曝光时间；λ表示正则化系数；Z_min表示像素值的最小值，一般为0，Z_max便是像素值的最大值，一般为255。g”为函数g的二阶导数，是为了确保函数g平滑而设置的正则化项，w(Z_ij)是为了避免在函数g两端产生的极端数据导致函数不平滑而设置的加权系数。亮度标定结果如图3所示。

在完成相机的亮度响应曲线标定工作后，即可由相机输出的灰度值Z，借助使用函数关系g和已知的曝光时间Δt完成灰度至亮度数据的转换。在执行灰度至亮度转换的过程中，如果使用单张曝光的图像直接转换可能会对某些欠曝光或过曝光的区域转换不准确。为了保证转换的精度，可以借助多曝光融合的方案。转换时，丢弃曝光时间较小和较大的几张图像，避免这些图像欠曝光或过曝光对转换结果的影响，选用曝光时间合适的4～6张图像，使用如下公式进行转换：

上述步骤即完成相机对漫反射平面亮度的测量，由反射方程可知，相机获取的漫反射平面上每个点的亮度值为：

式(27)中，f_r(p,w_i,w_o)表示漫反射面的双向反射率分布函数(BRDF)，L_i(p',-w_i)表示由p'点沿w_i方向入射至p点处的亮度，L_o(p,w_o)表示p处沿w_o方向出射的亮度。上述公式表示漫反射面某一点反射的亮度是来自半球空间(2π立体角)所有方向入射光综合作用的结果，由立体角的定义，

并且漫反射面的BRDF为常数，

式(29)中，ρ表示漫反射面的反射率。上述公式27可转换为面积积分公式，

式(30)中，dA表示非视域场景S上p'处的微面元，根据二维蒙特卡洛积分，上述积分公式可以转换为求和公式：

式(31)中，S表示非视域场景的面积，m*n表示非视域场景微面元数量(与非视域场景亮度矩阵总元素数相同)。非视域场景平面上每个像素点所在的位置与漫反射平面每颗像素点所在的位置之间的亮度转换关系即可由公式(31)确定。如图4所示，如果假设漫反射平面的像素点有a*b个，非视域场景图像的像素点有c*d个，那么根据式31可定义(a*b)*(c*d)个转换关系，即一个a*b行，c*d列的矩阵，矩阵形式如下，

n＝c*d

此时，假设非视域场景亮度矩阵为x，漫反射平面场景亮度矩阵为y，其中，x的维度数为[c,d]，y的维度数为[a,b]，而转换矩阵A的维度数为[a*b,c*d]，并且三者之间存在如下关系：

y＝Ax (33)，

式(33)中，y和A均为已知，非视域场景亮度矩阵x为未知待求，可建立优化问题求解：

其中，

式(34)至式(36)中，λ₁和λ₂表示正则化系数，||x||_tv表示平滑正则化，∑T_u,v表示桶形函数正则化。上述问题求解后可得非视域场景亮度矩阵，经过色调映射后即可得到非视域场景图像。以上步骤具体可表示为如图5所示。

Claims (6)

1.一种基于相机亮度测量的非视域成像方法，其特征在于，

采集相机在不同曝光时间下获取的非视域场景在漫反射面上产生的漫反射图像；

获取不同曝光时间下各漫反射图像的指定ROI图像；

提取不同曝光时间下漫反射图像指定ROI图像相同像素位置处的像素值并获取各指定ROI图像的曝光时间，建立优化问题标定相机的亮度响应曲线；

由相机的亮度响应曲线将不同曝光时间下漫反射图像指定ROI图像相同像素位置处的像素值转换为实际场景亮度矩阵；

确定实际场景亮度矩阵每个元素与待成像的非视域场景亮度矩阵每个元素的相对空间位置，采用反射方程建立非视域场景亮度矩阵与实际场景亮度矩阵的转换关系矩阵，所述转换关系矩阵的行数与实际场景亮度矩阵总元素数相同，转换关系矩阵的列数与非视域场景亮度矩阵的总元素数相同；

由实际场景亮度矩阵和转换关系矩阵建立非视域成像优化问题，求解非视域成像优化问题获得非视域场景亮度，将求解的非视域场景亮度转换为非视域图像；

其中，

所述建立优化问题标定相机的亮度响应曲线的方法为：

首先建立目标函数：

其中，O为目标函数，i为像素编号，N为每张指定ROI图像取出的像素数，j为曝光时间编号，P为曝光时间总数，Z_ij为曝光时间编号为j的指定ROI图像上取出的第i个像素值，g(Z_ij)为灰度为Z_ij对应的对数曝光量，w(Z_ij)是为了避免在函数g两端产生的极端数据导致函数不平滑而设置的加权系数，

Z_min为像素值的最小值，Z_max为像素值的最大值，L_i为第i个像素值对应实际场景亮度，Δt_j为曝光编号为j的曝光时间，λ表示正则化系数，g”(Z_ij)＝g(Z_ij-1)-2g(Z_ij)+g(Z_ij+1)；

根据提取的不同曝光时间下漫反射图像指定ROI图像相同像素位置处的像素值并获取各指定ROI图像的曝光时间，通过解最小化目标函数的优化问题，生成亮度响应曲线；

建立非视域场景亮度矩阵与实际场景亮度矩阵的转换关系矩阵所采用的反射方程为：

其中，S为非视域场景平面面积，m为非视域场景亮度矩阵的行数，n为非视域场景亮度矩阵的列数，p'为发光面上的像素点，p为漫反射平面上指定ROI图像的像素点，L_o(p,w_o)为p点处w_o方向出射亮度，L_i(p',-w_i)为从p'处发射的光沿w_i方向入射至p点的亮度，ρ表示漫反射面的反射率，θ_i表示入射光线与漫反射面表面法线的夹角，θ'为发光面发出的光线与其表面法线的夹角。

2.根据权利要求1所述一种基于相机亮度测量的非视域成像方法，其特征在于，相机获取的非视域场景在漫反射面上产生的漫反射图像为RGB彩色图像时，标定相机的三通道亮度响应曲线；相机获取的非视域场景在漫反射面上产生的漫反射图像为灰度图像时，标定相机的单通道亮度响应曲线。

3.根据权利要求1所述一种基于相机亮度测量的非视域成像方法，其特征在于，所述非视域成像优化问题为：

其中，A为转换关系矩阵，x为待求解的非视域场景亮度矩阵，x总共有m行n列，x_u,v为待求解非视域场景亮度矩阵的u行v列项元素，y为漫反射场景亮度，λ₁和λ₂为正则化系数，||x||_tv为平滑正则化，∑T_u,v为桶形函数正则化，T_u,v为待求解非视域场景亮度矩阵每一个元素对应的桶形函数元素值。

4.根据权利要求1所述一种基于相机亮度测量的非视域成像方法，其特征在于，在将求解的非视域场景亮度转换为非视域图像的过程中进行色调映射。

5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1所述的非视域成像方法。

6.一种非视域成像系统，包括：设置在非视域场景中的漫反射面，采集不同曝光时间下非视域场景在漫反射面上产生的漫反射图像的相机，及计算成像单元；所述计算成像单元包括：存储器、处理器及存储在存储器上并在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1所述的非视域成像方法。

Images