CN112634323B - 运动对象透过散射层成像模型及追踪方法和存储介质 - Google Patents

Abstract

本发明提供一种运动对象透过散射层成像模型及追踪方法和存储介质，方法包括：采用相机平行于散射层拍摄视频，对所述散射层和运动对象所在区域采样；通过所述散射层的参数建立所述运动对象的表面坐标与散射层上各点亮度之间的关系；建立时间相关的所述运动对象透过散射层成像的正向线性模型；利用最大后验估计建立反向求解的优化模型，输出运动对象的三维运动轨迹。基于普通的强度相机，就已经能在一定程度上有效重建散射层后运动物体的轨迹，无需入侵散射层两侧，突破了光学记忆效应的限制，且在采集端只用到了普通的强度相机，成本低，操作简单，稳定性高，从而更适用于在实际场景中追踪快速运动对象。

Description

运动对象透过散射层成像模型及追踪方法和存储介质

技术领域

本发明涉及计算摄影与散射成像技术领域，尤其涉及一种运动对象透过散射层成像模型及追踪方法和存储介质。

背景技术

在现实中广泛存在着毛玻璃、生物组织等多种散射层，由于这些散射层的光学性质不均匀，光线穿过时传播方向会变得杂乱无序，最终在观测平面上形成光强随机分布的散斑图样，这就导致传统相机拍摄的视频质量退化严重，无法获取散射层后物体形状、位置等有效信息，故研究透过散射层成像意义重大。而针对现实生活中更普遍存在的运动对象，除了成像以外，透过散射层追踪运动对象也具有十分重要的理论价值与实际意义，可用于实现对运动对象的精准打击、智能追踪、行为监管等，在军事行动、灾难救援、生物医学等领域中都有很大的应用价值。

在计算摄影学领域，运动对象透过散射层成像与追迹一直是极具挑战的研究问题，现有的主要技术和方法包括波前整形技术、散斑相关方法、瞬态成像技术等，其中，波前整形技术基于透射光场与入射光场之间的由光学传输矩阵联系的线性模型来做反向求解，但其优化效率低、系统复杂度高、且需入侵散射层两侧，散斑相关方法基于视频前后两帧图像的相关关系来重建运动对象的二维图像，严重受限于光学记忆效应范围，而瞬态成像技术通过主动发射超快激光，并利用高时间分辨率、高精度、高敏感度探测器来做采集，所需系统复杂度和稳定性都很高，总之，这些方法都不适用于实际场景的使用。

现有技术中缺乏一种运动对象透过散射层成像模型及追踪方法。

以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

本发明为了解决现有的问题，提供一种运动对象透过散射层成像模型及追踪方法和存储介质。

为了解决上述问题，本发明采用的技术方案如下所述：

一种运动对象透过散射层成像模型及追踪方法，包括如下步骤：S1:采用相机平行于散射层拍摄视频，对所述散射层和运动对象所在区域采样；S2:通过所述散射层的参数建立所述运动对象的表面坐标与散射层上各点亮度之间的关系；S3:建立时间相关的所述运动对象透过散射层成像的正向线性模型；S4：利用最大后验估计建立反向求解的优化模型，输出运动对象的三维运动轨迹。

优选地，在运动对象透过散射层成像的实际系统中建立三维笛卡尔坐标系Oxyz，固定坐标原点O为散射层底边中点，设散射层所在平面为xy平面，运动对象所在空间为z轴正方向区域；将散射层后运动对象所在区域剖分为体素空间V＝{v₁,…,v_N}，各体素的坐标由其中心点坐标代替。

优选地，获取所述相机的内外参对应的单应性矩阵，并依据所述单应性矩阵对拍摄的所述视频做畸变校正。

优选地，所述散射层的参数包括双向透射分布函数、透射系数；对于只发生单次散射的薄散射层，光线穿过其表面两侧的透射点与入射点重合，因此，基于双向透射分布函数的定义，对于散射层上p点发出的透射光，其辐射率L_o(p,v_o)为入射光辐照度L_i、透射率a(p)、以及双向透射分布函数β的函数，具体表达式如下：

L_o(p,v_o)＝a(p)∫(v_i·n)β(v_i,v_o,p)L_i(p,v_i)dv_i

其中，v_i和v_o分别指示入射光和透射光的单位方向向量，n为单位法向向量；

假设n＝(0,0,1)，设运动对象表面的数学表示为曲面C，对于其上任一点s，到点p入射光线的单位方向向量

记

上式可改写为：

为描述运动对象空间位置随时间的变化，给上式加上时间变量t得到时间相关的散射层上各点亮度与运动对象表面坐标之间的积分关系式：

优选地，将运动对象s作为点光源处理，此时散射层上p点会接收到一束来自于点光源的入射光，对于p点发出的透射光，其辐射率L_o(p,v_o)的表达式退化为：

L_o(p,v_o)＝a(p)(v_i·n)β(v_i,v_o,p)L_i(p,v_i)

进一步改写为：

根据点光源辐照度的定义，有：

其中，Φ是点光源s的发光功率；

假设发光功率Φ与时间变量t无关，将点光源辐照度的定义代入辐射率表达式并加上时间变量t得到：

在任一时刻t下，将体素v_n坐标作为点光源s坐标代入式，得到体素点光源v_n对散射层亮度的贡献为：

其中，体素v_n坐标为(v_nx,v_ny,v_nz)，y(p,t)是所述相机拍摄图像中散射层各采样点对应亮度集L_o(p,v_o(t))；

将所述运动对象透过散射层的透射光场等效于有限个运动对象表面体素作为运动点光源v_n,n∈S(t)，具体表达式如下：

其中，S(t)表示t时刻下运动对象表面体素的下标集。

优选地，建立时间相关的所述运动对象透过散射层成像的正向线性模型包括：基于所述散射层的参数、各体素的坐标及散射层各采样点坐标，得到散射层成像系统的正向线性矩阵A，所述正向线性矩阵刻画了所述运动对象表面体素的置信度向量x(t)与散射层各采样点亮度向量y(t)的线性关系，正向线性模型表示为y(t)＝Axt(；其中，y(t)是t时刻相机拍摄图像中散射层采样点P＝{p₁,…,p_M}的对应亮度向量，x(t)对应于研究区域体素空间中体素V＝{v₁,…,v_N是否为运动对象表面体素的置信度向量，若是则分量非零，且对应于体素发光功率Φ，若否则分量为0。

优选地，正向线性矩阵A是M×N维矩阵，由透射率a(·)，双向透射分布函数β(·,·,·)，以及运动对象透过散射层成像的实际系统的几何结构确定，其中元素的具体表达式为：

其中，M是所述散射层采样点的个数，N是所述体素空间的体素个数。

优选地，基于最大后验估计及运动对象表面体素对应置信度向量x(t)的稀疏性先验，得到如下带L1正则项的优化函数：

其中，λ为超参数，t是时刻，x^*(t)是一个运动对象表面体素对应置信度向量。

优选地，所述优化函数通过如下步骤得到：

所述正向线性模型加上一个高斯噪声，得到：

y(t)＝Ax(t)+w(t),

其中，λ₁为待定超参数；

此时似然函数为：

对置信度向量x(t)加上L1正则先验，令x(t)服从拉普拉斯分布：

其中，λ₂为待定超参数；

由贝叶斯公式计算后验概率为：

所求最优置信度向量x^*(t)需最大化后验概率，如下：

优化函数进一步改写为：

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述方法的步骤。

本发明的有益效果为：提供一种运动对象透过散射层成像模型及追踪方法和存储介质，通过建立时间相关的运动对象透过散射层成像的正向线性模型，该模型严格刻画了运动对象表面体素与散射层各采样点亮度之间的线性关系，由该模型出发，利用最大后验估计，建立反向求解的优化模型，最终输出运动对象的三维运动轨迹；基于普通的强度相机，就已经能在一定程度上有效重建散射层后运动物体的轨迹，无需入侵散射层两侧，突破了光学记忆效应的限制，且在采集端只用到了普通的强度相机，成本低，操作简单，稳定性高，从而更适用于在实际场景中追踪快速运动对象。

附图说明

图1是本发明实施例中一种运动对象透过散射层成像模型及追踪方法的示意图。

图2是本发明实施例中一种运动对象透过散射层成像示意图。

图3(a)是本发明实施例中运动轨迹重建的实验结果1的x坐标关于时间t的一维运动轨迹。

图3(b)是本发明实施例中运动轨迹重建的实验结果1的y坐标关于时间t的一维运动轨迹。

图3(c)是本发明实施例中运动轨迹重建的实验结果1的z坐标关于时间t的一维运动轨迹。

图3(d)是本发明实施例中运动轨迹重建的实验结果1的三维运动轨迹的重建误差。

图4(a)是本发明实施例中运动轨迹重建的实验结果2的x坐标关于时间t的一维运动轨迹。

图4(b)是本发明实施例中运动轨迹重建的实验结果2的y坐标关于时间t的一维运动轨迹。

图4(c)是本发明实施例中运动轨迹重建的实验结果2的z坐标关于时间t的一维运动轨迹。

图4(d)是本发明实施例中运动轨迹重建的实验结果2的三维运动轨迹的重建误差。

具体实施方式

为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接既可以是用于固定作用也可以是用于电路连通作用。

需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

如图1所示，本发明提供一种运动对象透过散射层成像模型及追踪方法，包括如下步骤：

S1:采用相机平行于散射层拍摄视频，对所述散射层和运动对象所在区域采样；

S2:通过所述散射层的参数建立所述运动对象的表面坐标与散射层上各点亮度之间的关系；

S3:建立时间相关的所述运动对象透过散射层成像的正向线性模型；

S4：利用最大后验估计建立反向求解的优化模型，输出运动对象的三维运动轨迹。

如图2所示，首先建立运动对象透过散射层成像的实际系统及其上的三维笛卡尔坐标系，将普通的强度相机1平行于散射层2拍摄视频并矫正，以保证散射层在实际三维空间中与其在相机成像平面中对应点之间的平行投影关系，将运动对象3所在区域剖分为体素空间并对散射层上点采样。在所述体素空间和散射层系统中，基于散射层参数，建立出运动对象表面坐标与散射层上各点亮度之间的积分关系式，以表述运动对象发光和散射层亮度之间的线性关系，并进一步建立时间相关的运动对象透过散射层成像的正向线性模型，该模型严格刻画了运动对象表面体素与散射层各采样点亮度之间的线性关系，由该模型出发，利用最大后验估计，建立反向求解的优化模型，最终输出运动对象的三维运动轨迹。

在具体的实施方案中，可按下面方式操作。需要注意的是，在下面的实施过程中所述的具体方法(如成像系统三维笛卡尔坐标系的建立、散射层采样、优化模型的反解方法等)都仅为列举说明，本发明所涵盖的范围不局限于所列举的这些方法。

如图2所示，在运动对象透过散射层成像的实际系统中建立三维笛卡尔坐标系Oxyz，固定坐标原点O为散射层底边中点，设散射层所在平面为xy平面，运动对象所在空间为z轴正方向区域；目的是为了简化散射层各采样点坐标及单位法向量n的计算，实际应用中可变化。将散射层后运动对象所在区域剖分为体素空间V＝{v₁,…,v_N}，各体素的坐标由其中心点坐标代替，实际应用时可限定运动对象运动区域作为感兴趣的研究区域以减少运算。

将普通的强度相机平行于散射层拍摄，目的是保证散射层在实际三维空间中与其在相机成像平面中对应点之间的平行投影关系，提前标定相机，是由于实际操作中无法保证相机完全平行于散射层拍摄，故需计算出相机内外参对应的单应性矩阵，并依据此单应性变换对拍摄视频做畸变校正。对散射层做均匀采样P＝{p₁,...,p_M}，其中，研究区域体素个数N和散射层采样点个数M相互制约，取决于正向线性模型的精度、反向求解优化问题的计算复杂度，具体需在实际系统中做经验性选取。根据散射层三维空间位置计算各采样点坐标，然后由散射层在实际三维空间中各采样点与其在相机成像平面中对应点之间的平行投影关系，计算各采样点在拍摄图像中的亮度。

在本发明的一种实施例中，散射层的参数包括双向透射分布函数、透射系数；其中，双向透射分布函数是建立运动对象坐标与散射层亮度线性关系的关键，其取值依赖于输入光强度、入射角度、出射角度及出射光强，可以通过连续光谱测量装置等设备测量，且一些特定散射层的双向透射分布函数也有经验参考值，如磨砂玻璃的双向透射分布函数恒为1等，而透射系数一般经验性给0到1之间的常数即可，获取这两个散射层参数后，运动对象表面坐标与散射层上各点亮度之间的关系的推导过程如下。

如图2所示，在散射层足够薄的假设下，即对于只发生单次散射的薄散射层，光线穿过其表面两侧的透射点与入射点重合，因此，基于双向透射分布函数的定义，对于散射层上p点发出的透射光，其辐射率L_o(p,v_o)为入射光辐照度L_i、透射率a(p)、以及双向透射分布函数β的函数，具体表达式如下：

L_o(p,v_o)＝a(p)∫(v_i·n)β(v_i,v_o,p)L_i(p,v_i)dv_i(1)

其中，v_i和v_o分别指示入射光和透射光的单位方向向量，n为单位法向向量；

假设n＝(0,0,1)，设运动对象表面(设为对散射层亮度有贡献的表面)的数学表示为曲面C，对于其上任一点s，到点p入射光线的单位方向向量

记

上式(1)可改写为：

为描述运动对象空间位置随时间的变化，给上式(2)加上时间变量t得到时间相关的散射层上各点亮度与运动对象表面坐标之间的积分关系式：

由于实际系统中运动对象表面对应曲面约束C(t)未知，为进一步推导积分关系式，特别地，首先考虑运动对象s的尺度相对整个散射成像系统足够小时，可以将运动对象s作为点光源处理，此时散射层上p点会接收到一束来自于点光源的入射光，对于p点发出的透射光，其辐射率L_o(p,v_o)的表达式退化为：

L_o(p,v_o)＝a(p)(v_i·n)β(v_i,v_o,p)L_i(p,v_i)(4)

进一步改写为：

根据点光源辐照度的定义，有：

其中，Φ是点光源s的发光功率；

假设发光功率Φ与时间变量t无关，将点光源辐照度的定义(6)式代入辐射率表达式(5)并加上时间变量t得到：

在研究区域对应的体素空间中，如果运动对象表面(设为对散射层亮度有贡献的表面)经过某体素v_n，n∈{1,...,N}，那么运动对象自发光对散射层的影响就等效于其表面体素v_n中放置了等功率的点光源。又由相机平行于散射层拍摄，对于散射层上任一点p，其上透射光的辐射率L_o(p,v_o(t))就可以近似为相机在对应位置采集到的亮度。因此，在任一时刻t下，将体素v_n坐标作为点光源s坐标代入式，得到体素点光源v_n对散射层亮度的贡献为：

其中，体素v_n坐标为(v_nx,v_ny,v_nz)，y(p,t)是所述相机拍摄图像中散射层各采样点对应亮度集L_o(p,v_o(t))；

将所述运动对象透过散射层的透射光场等效于有限个运动对象表面体素作为运动点光源v_n,n∈S(t)，具体表达式如下：

其中，S(t)表示t时刻下运动对象表面体素的下标集。

基于所述散射层的参数、各体素的坐标及散射层各采样点坐标，得到散射层成像系统的正向线性矩阵A，所述正向线性矩阵刻画了所述运动对象表面体素的置信度向量x(t)与散射层各采样点亮度向量y(t)的线性关系，正向线性模型表示为y(t)＝Ax(t)；

其中，y(t)是t时刻相机拍摄图像中散射层采样点P＝{p₁,...,p_M}的对应亮度向量，x(t)对应于研究区域体素空间中体素V＝{v₁,…,v_N}是否为运动对象表面体素的置信度向量，若是则分量非零，且对应于体素发光功率Φ，若否则分量为0，A描述了运动对象表面体素对应置信度向量x(t)与散射层各采样点亮度向量y(t)的线性关系。

在本发明的一种实施例中，正向线性矩阵A是M×N维矩阵，由透射率a(·)，双向透射分布函数β(·,·,·)，以及运动对象透过散射层成像的实际系统的几何结构确定，其中元素的具体表达式为：

其中，M是所述散射层采样点的个数，N是所述体素空间的体素个数。

在本发明的再一种实施例中，所述优化函数通过如下步骤得到：

所述正向线性模型加上一个高斯噪声，得到：

y(t)＝Ax(t)+w(t),

其中，λ₁为待定超参数；

此时似然函数为：

对置信度向量x(t)加上L1正则先验，令x(t)服从拉普拉斯分布：

其中，λ₂为待定超参数；

由贝叶斯公式计算后验概率为：

所求最优置信度向量x^*(t)需最大化后验概率，如下：

优化函数进一步改写为：

其中，λ为超参数，t是时刻，x^*(t)是一个运动对象表面体素对应置信度向量。在实际应用中，可对运动对象表面体素对应置信度向量x(t)加上不同的先验知识，获得带不同正则项的优化模型来做反向求解。总之，对于任一时刻t，都能输出一个运动对象表面体素对应置信度向量x^*(t)，从而实现对运动对象的三维运动轨迹的追踪。

在具体的实施方案中，需要的输入就是普通的强度相机的拍摄视频，体素空间及对应笛卡尔坐标系，以及双向透射分布函数及透射系数这两个散射层参数，就能完成前向建模过程并进行反向求解。以下给出一个简单的实施例，搭建透射式散射层运动对象成像的真实实验系统，包括索尼RGB数码相机，长16cm、宽8cm、厚0.1cm的双面磨砂光扩散板，连接在齿轮齿轨上运动的迷你LED灯：通过手动移动迷你LED灯并拍摄散射层对应视频作为算法输入，此外，采用一台普通摄像机固定在光源运动区域，拍摄光源运动时对应齿轮齿轨读数作为真实对比值以验证后续重建方法的正确性，由于手动移动导致系统的不稳定性，且参考系统拍的齿轮齿轨时存在运动模糊，这里的真实参考值会存在一定的系统误差。

对于成像系统采集到的视频，按照灰度化、倾斜矫正、剪切的步骤做数据预处理，可以得到散射层的亮度集，然后在笛卡尔坐标空间中，通过取定体素边长为0.2cm，把感兴趣的散射层后的物体运动空间[-8cm,8cm]×[0cm,8cm]×[0cm,8cm]剖分为80×40×40个体素的体素空间，然后得到体素空间的坐标集，在建立正向模型时，由于磨砂扩散板双向透射分布函数β＝1，取定透射系数a(p)＝1，得到这两个散射层参数后，可以改写式(9)，类似地建立起t时刻，散射层上p点亮度与运动物体表面坐标v_n的如下线性关系:

上式同样也可类似改写为式的形式以得到正向线性模型，然后给出在后续反向求解的优化函数，再经超参数调优取定λ＝1，进一步基于套索回归求解，最终输出迷你LED灯分别沿着x，y平移的视频中运动轨迹，对应x，y平移视频的实验结果分别如附图3(a)-图3(d)、图4(a)-图4(d)所示，观察结果可以发现，该算法对于x，y坐标关于时间t的运动轨迹的重建误差很小，也能基本正确重建对应于深度信息的z坐标的运动轨迹，总的来说，虽然本实验系统精度不高，但结果中已经能够展示出一定的有效性，这就说明正向模型很好地刻画了运动对象表面坐标与散射层亮度的正向线性关系，同时，反向求解算法的有效性也得到了验证。

由上述具体实验示例知，本发明只基于普通的强度相机，就已经能在一定程度上有效重建散射层后运动物体的轨迹，而现有的透过散射层追迹技术对硬件设备的要求都很高，故本发明方法的实用性更高。

本申请实施例还提供一种控制装置，包括处理器和用于存储计算机程序的存储介质；其中，处理器用于执行所述计算机程序时至少执行如上所述的方法。

本申请实施例还提供一种存储介质，用于存储计算机程序，该计算机程序被执行时至少执行如上所述的方法。

本申请实施例还提供一种处理器，所述处理器执行计算机程序，至少执行如上所述的方法。

所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，ElectricallyErasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，FerromagneticRandom Access Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，SynchronousStatic Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random AccessMemory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic Random AccessMemory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data RateSynchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAMEnhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，Sync Link Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (7)

1.一种运动对象透过散射层成像模型及追踪方法，其特征在于，包括如下步骤：

S1:采用相机平行于散射层拍摄视频，对所述散射层和运动对象所在区域采样；

S2:通过所述散射层的参数建立所述运动对象的表面坐标与散射层上各点亮度之间的关系；

S3:建立时间相关的所述运动对象透过散射层成像的正向线性模型；

S4：利用最大后验估计建立反向求解的优化模型，输出运动对象的三维运动轨迹；

在运动对象透过散射层成像的实际系统中建立三维笛卡尔坐标系Oxyz，固定坐标原点O为散射层底边中点，设散射层所在平面为xy平面，运动对象所在空间为z轴正方向区域；

将散射层后运动对象所在区域剖分为体素空间V＝{v₁,…,v_N}，各体素的坐标由其中心点坐标代替；

获取所述相机的内外参对应的单应性矩阵，并依据所述单应性矩阵对拍摄的所述视频做畸变校正；

所述散射层的参数包括双向透射分布函数、透射系数；

对于只发生单次散射的薄散射层，光线穿过其表面两侧的透射点与入射点重合，因此，基于双向透射分布函数的定义，对于散射层上p点发出的透射光，其辐射率L_o(p,v_o)为入射光辐照度L_i、透射率a(p)、以及双向透射分布函数β的函数，具体表达式如下：

L_o(p,v_o)＝a(p)∫(v_i·n)β(v_i,v_o,p)L_i(p,v_i)dv_i

其中，v_i和v_o分别指示入射光和透射光的单位方向向量，n为单位法向向量；

假设n＝(0,0,1)，设运动对象表面的数学表示为曲面C，对于其上任一点s，到点p入射光线的单位方向向量

记

上式可改写为：

为描述运动对象空间位置随时间的变化，给上式加上时间变量t得到时间相关的散射层上各点亮度与运动对象表面坐标之间的积分关系式：

2.如权利要求1所述的运动对象透过散射层成像模型及追踪方法，其特征在于，将运动对象s作为点光源处理，此时散射层上p点会接收到一束来自于点光源的入射光，对于p点发出的透射光，其辐射率L_o(p,v_o)的表达式退化为：

L_o(p,v_o)＝a(p)(v_i·n)β(v_i,v_o,p)L_i(p,v_i)

进一步改写为：

根据点光源辐照度的定义，有：

其中，Φ是点光源s的发光功率；

假设发光功率Φ与时间变量t无关，将点光源辐照度的定义代入辐射率表达式并加上时间变量t得到：

在任一时刻t下，将体素v_n坐标作为点光源s坐标代入式，得到体素点光源v_n对散射层亮度的贡献为：

其中，体素v_n坐标为(v_nx,v_ny,v_nz)，y(p,t)是所述相机拍摄图像中散射层各采样点对应亮度集L_o(p,v_o(t))；

将所述运动对象透过散射层的透射光场等效于有限个运动对象表面体素作为运动点光源v_n,n∈S(t)，具体表达式如下：

其中，S(t)表示t时刻下运动对象表面体素的下标集。

3.如权利要求2所述的运动对象透过散射层成像模型及追踪方法，其特征在于，建立时间相关的所述运动对象透过散射层成像的正向线性模型包括：

基于所述散射层的参数、各体素的坐标及散射层各采样点坐标，得到散射层成像系统的正向线性矩阵A，所述正向线性矩阵刻画了所述运动对象表面体素的置信度向量x(t)与散射层各采样点亮度向量y(t)的线性关系，正向线性模型表示为y(t)＝Ax(t)；

其中，y(t)是t时刻相机拍摄图像中散射层采样点P＝{p₁,...,p_M}的对应亮度向量，x(t)对应于研究区域体素空间中体素V＝{v₁,…,v_N}是否为运动对象表面体素的置信度向量，若是则分量非零，且对应于体素发光功率Φ，若否则分量为0。

4.如权利要求3所述的运动对象透过散射层成像模型及追踪方法，其特征在于，正向线性矩阵A是M×N维矩阵，由透射率a(·)，双向透射分布函数β(·,·,·)，以及运动对象透过散射层成像的实际系统的几何结构确定，其中元素的具体表达式为：

其中，M是所述散射层采样点的个数，N是所述体素空间的体素个数。

5.如权利要求4所述的运动对象透过散射层成像模型及追踪方法，其特征在于，基于最大后验估计及运动对象表面体素对应置信度向量x(t)的稀疏性先验，得到如下带L1正则项的优化函数：

其中，λ为超参数，t是时刻，x^*(t)是一个运动对象表面体素对应置信度向量。

6.如权利要求5所述的运动对象透过散射层成像模型及追踪方法，其特征在于，所述优化函数通过如下步骤得到：

所述正向线性模型加上一个高斯噪声，得到：

y(t)＝Ax(t)+w(t),w(t)～N(0,λ₁ ²I)

其中，λ₁为待定超参数；

此时似然函数为：

对置信度向量x(t)加上L1正则先验，令x(t)服从拉普拉斯分布：

其中，λ₂为待定超参数；

由贝叶斯公式计算后验概率为：

所求最优置信度向量x^*(t)需最大化后验概率，如下：

优化函数进一步改写为：

7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6任一所述方法的步骤。

Images