CN113706680B - 视觉显著性驱动的vr电影画面渲染像素抗失真处理方法 - Google Patents

Abstract

本发明公开一种视觉显著性驱动的VR电影画面渲染像素抗失真处理方法。本方法首先使用单条光线采样方式渲染全景画面，然后计算出全景画面的显著性图，接着根据显著性图的像素的值是否小于显著性阈值来自适应地控制是否需要使用超采样来对等距柱状投影全景图像的像素进行抗失真处理。由于对那些显著性值小于显著性阈值的等距柱状投影全景图像像素不进行超采样，因此减小了像素抗失真处理的计算开销。本方法根据视觉显著性来自适应地控制是否进行像素超采样，可实现在减小计算开销的同时保证全景图像的视觉感知效果。

Description

视觉显著性驱动的VR电影画面渲染像素抗失真处理方法

技术领域

本发明涉及一种视觉显著性驱动的VR电影画面渲染像素抗失真处理方法，属于虚拟三维场景绘制技术领域。

背景技术

近年来，随着虚拟现实(VR)技术在影视领域中的不断推广应用，VR电影逐渐成为一个人们关注的热点。在实际中，大量VR影视画面素材都是使用虚拟三维场景绘制技术根据三维模型生成的。如何绘制出高品质的VR影视画面是VR影视制作行业所关注的一个重要问题。在渲染生成三维场景画面时，通常需要对画面进行像素抗失真(Anti-aliasing)处理(也常被称为抗锯齿处理)。例如，Matthias等人于2013年发表在《Journal ofComputer Graphics Techniques》的第2卷第1期上的论文“Adaptive Supersampling forDeferred Anti-Aliasing”就讨论了使用超采样实现像素抗失真处理的方法。VR电影制作对画面品质的追求比普通可视化应用更高，因此如何在渲染生成VR电影画面时进行高效的像素抗失真处理是一个非常重要的问题。像素抗失真处理的基本方法是像素超采样，即针对每个像素，计算像素矩形区域内的多个样本点的颜色，并把这些样本点的颜色合并在一起得到像素的颜色。由于超采样需要针对每个像素计算多个样本点的颜色，其计算开销也相应地大大增加。

最近，人们对VR全景画面的视觉显著性进行了大量研究，提出了各种全景画面显著性检测方法。例如，丁颖等人于2019年发表在《电子学报》第47卷第7期的论文“虚拟现实全景图像显著性检测研究进展综述”就对全景画面显著性检测进行了详细介绍。对于全景画面，不同区域具有不同的视觉显著性。对于显著性低的画面区域，在进行像素抗失真处理时，可以不使用超采样技术，而直接通过利用相邻像素颜色值做平滑滤波来实现像素抗失真，以降低渲染计算开销。现有多种全景画面存储表示方式，等距柱状投影全景图像就是其中的一种。等距柱状投影全景图像如图1所示。裴麒凯等人于2019年发表在《计算机辅助设计与图形学学报》第31卷第8期的论文“360视频的连续保形投影算法”对基于不同投影方式的全景图像进行过介绍。使用全景图像显著性检测技术可以计算等距柱状投影全景图像的显著性图。显著性图是一张灰度图，显著性图的像素与等距柱状投影全景图像的像素一一对应；显著性图的每个像素的值取[0,1]之间的数；显著性图的像素的值越大，表明等距柱状投影全景图像的对应像素越显著。

光线跟踪是一种被广泛使用的用于渲染三维场景画面的技术。在三维场景渲染中，用红、绿、蓝三元组来表示各种颜色(即在RGB颜色空间中描述颜色)，因此光照值实际上也包含红色、绿色、蓝色三个分量。尽管RGB颜色空间在计算机图形学中得到广泛使用，但是RGB颜色空间中的两种颜色的欧氏距离并不能用于描述这两种颜色的视觉感知差异大小。J.F.Hughes等撰写的由Addison-Wesley公司于2014年出版的《Computer Graphics:Principles and Practice,3rd Edition》的28.9节介绍了CIE Lab颜色空间，在CIE Lab颜色空间中的两种颜色的欧氏距离可以表征这两种颜色的视觉感知差异大小。RGB颜色空间中的颜色可以转换到CIE Lab颜色空间中。

发明内容

本发明的目的在于，提供一种视觉显著性驱动的VR电影画面渲染像素抗失真处理方法，以便利用视觉感知特性来减小渲染VR电影画面时的像素抗失真处理计算开销。

本方法的技术方案是这样实现的：使用等距柱状投影全景图像来表示VR全景图像画面；首先利用光线跟踪技术绘制虚拟三维场景的VR全景图像画面，生成一张等距柱状投影全景图像，然后对等距柱状投影全景图像进行显著性检测，获得等距柱状投影全景图像的显著性图，最后根据等距柱状投影全景图像的显著性图来实现自适应像素抗失真处理。本方法的具体步骤如下：

步骤Step101：令N_Row表示等距柱状投影全景图像的像素行数，令N_Col表示等距柱状投影全景图像的像素列数；在计算机的存储器中创建一个包含N_Row行、N_Col列的二维数组ARR1，二维数组ARR1的每个元素存储一个可视场景点的坐标；在计算机的存储器中创建一个包含N_Row行、N_Col列的二维数组ARR2，二维数组ARR2的每个元素存储一个可视场景点的法向量；等距柱状投影全景图像的像素与可视场景点一一对应；等距柱状投影全景图像的像素与二维数组ARR1的元素一一对应，等距柱状投影全景图像的像素与二维数组ARR2的元素一一对应；具体地，二维数组ARR1的第i行、第j列元素用于存储等距柱状投影全景图像的第i行、第j列像素对应的可视场景点的坐标，二维数组ARR2的第i行、第j列元素用于存储等距柱状投影全景图像的第i行、第j列像素对应的可视场景点的法向量，其中i＝1,2,…,N_Row，j＝1,2,…,N_Col；

步骤Step102：对于i＝1,2,…,N_Row，j＝1,2,…,N_Col，针对等距柱状投影全景图像的第i行、第j列像素A001，做如下操作：

步骤Step102-1：计算像素A001在虚拟全景相机的虚拟成像球面上的成像位置PIX的坐标(x_p,y_p,z_p)；具体地，x₀＝sin(θ)cos(φ)，y₀＝sin(θ)sin(φ)，z₀＝cos(θ)，φ＝2π(j-1+0.5)/N_Col，θ＝π(i-1+0.5)/N_Row，矩阵M为：其中w_x、w_y、w_z表示虚拟全景相机的单位向上方向向量w的x、y、z分量，向量w的值在执行本方法前事先指定；u_x、u_y、u_z表示向量u的x、y、z分量；P_x、P_y、P_z表示虚拟全景相机的视点坐标的x、y、z分量；v_x、v_y、v_z表示向量v的x、y、z分量；令向量/>如果/>则令向量/>否则令向量v＝[0,0,1]^T；令向量/>虚拟全景相机如图2所示；

步骤Step102-2：从虚拟全景相机的视点位置发射穿过成像位置PIX的光线A002，利用光线跟踪技术跟踪光线A002在三维场景中的传输，计算最终沿光线A002反向方向到达成像位置PIX的光亮度值IL，在此过程中计算像素A001对应的可视场景点的坐标COR1，并把该坐标COR1赋值给二维数组ARR1的第i行、第j列元素，计算像素A001对应的可视场景点的法向量NORM，并把该法向量NORM赋值给二维数组ARR2的第i行、第j列元素；像素A001对应的可视场景点就是光线A002在三维场景中传输时与遇到的第一个几何对象的交点，即沿光线A002的传输方向从虚拟全景相机的视点位置可以直接看见的光线A002与三维场景的几何对象的交点；把光亮度值IL与等距柱状投影全景图像的第i行、第j列像素A001相关联；

步骤Step102-3：把光亮度值IL转换成颜色值Color；把像素A001的颜色设置为颜色值Color；

步骤Step102-4：针对等距柱状投影全景图像的第i行、第j列像素A001的操作结束；

步骤Step103：利用全景图像显著性检测技术计算等距柱状投影全景图像的显著性图SMap；

步骤Step104：在计算机的存储器中创建一个包含N_Row行、N_Col列的二维数组PANOIMG，二维数组PANOIMG的每个元素用于保存经像素抗失真处理后的等距柱状投影全景图像的像素的颜色值，二维数组PANOIMG的元素与等距柱状投影全景图像的像素一一对应；对于i＝1,2,…,N_Row，j＝1,2,…,N_Col，针对等距柱状投影全景图像的第i行、第j列像素A001，做如下操作：

步骤Step104-1：把二维数组PANOIMG的第i行、第j列元素赋值为等距柱状投影全景图像的第i行、第j列像素A001的颜色值；根据等距柱状投影全景图像的像素与可视场景点的对应关系、等距柱状投影全景图像的像素与二维数组ARR1的元素的对应关系以及二维数组ARR1存储的值，计算等距柱状投影全景图像的第i行、第j列像素A001对应的可视场景点的坐标COR1；根据等距柱状投影全景图像的像素与可视场景点的对应关系、等距柱状投影全景图像的像素与二维数组ARR1的元素的对应关系以及二维数组ARR1存储的值，计算在等距柱状投影全景图像中与第i行、第j列像素A001直接相邻的所有像素对应的可视场景点的坐标COR1，并把它们存放在坐标列表LISTCOR1中；计算第i行、第j列像素A001对应的可视场景点的坐标COR1与坐标列表LISTCOR1中的各个坐标COR1之间的距离的最大值DISM；

步骤Step104-2：根据等距柱状投影全景图像的像素与可视场景点的对应关系、等距柱状投影全景图像的像素与二维数组ARR2的元素的对应关系以及二维数组ARR2存储的值，计算等距柱状投影全景图像的第i行、第j列像素A001对应的可视场景点的法向量NORM；根据等距柱状投影全景图像的像素与可视场景点的对应关系、等距柱状投影全景图像的像素与二维数组ARR2的元素的对应关系以及二维数组ARR2存储的值，计算在等距柱状投影全景图像中与第i行、第j列像素A001直接相邻的所有像素对应的可视场景点的法向量NORM，并把它们存放在法向量列表LISTNORM中；计算第i行、第j列像素A001对应的可视场景点的法向量NORM与法向量列表LISTNORM中的各个法向量NORM之间的夹角的最大值ANGM；

步骤Step104-3：把在等距柱状投影全景图像中与第i行、第j列像素A001直接相邻的所有像素的颜色值存放在颜色列表LISTCORLOR中；计算等距柱状投影全景图像的第i行、第j列像素A001的颜色值在CIE Lab颜色空间中对应的值CVLab；计算颜色列表LISTCORLOR中的所有颜色值在CIE Lab颜色空间中对应的值，并把它们存放在颜色列表LISTCORLORLAB中；计算CIE Lab颜色空间中的值CVLab与颜色列表LISTCORLORLAB中的各个颜色值的欧氏距离的最大值COLORM；

步骤Step104-4：如果最大值DISM小于距离阈值DIST，并且最大值ANGM小于角度阈值ANGT，并且最大值COLORM小于颜色阈值COLORT，则转步骤Step104-8，否则进一步判断显著性图SMap的第i行、第j列像素的值是否小于显著性阈值SALTH，如果是，则转步骤Step104-7，否则产生N_ar个[0,1]之间均匀分布的随机数{r_φ,m|m＝1,2,…,N_ar}，产生N_ar个[0,1]之间均匀分布的随机数{r_θ,m|m＝1,2,…,N_ar}；在计算机的存储器中创建一个集合SETIL1，集合SETIL1的每个元素存储一个光亮度值，设置集合SETIL1为空集；分别针对m＝1,2,…,N_ar，做如下操作：

步骤Step104-4-1：计算

步骤Step104-4-2：计算

步骤Step104-4-3：从虚拟全景相机的视点位置发射穿过坐标为(x′_m,y′_m,z′_m)的成像位置PIX1的光线B002，利用光线跟踪技术跟踪光线B002在三维场景中的传输，计算最终沿光线B002反向方向到达成像位置PIX1的光亮度值IL1；

步骤Step104-4-4：把光亮度值IL1添加到集合SETIL1中；

步骤Step104-4-5：针对m的操作结束；

步骤Step104-5：把与等距柱状投影全景图像的第i行、第j列像素A001相关联的光亮度值IL添加到集合SETIL1中；

步骤Step104-6：计算集合SETIL1中的所有元素存储的光亮度值的平均值AVG1，把平均值AVG1转换成颜色值Color并赋值给二维数组PANOIMG的第i行、第j列元素；转步骤Step104-8；

步骤Step104-7：在计算机的存储器中创建一个集合SETIL2，集合SETIL2的每个元素存储一个光亮度值，设置集合SETIL2为空集；把与等距柱状投影全景图像的第i行、第j列像素A001相关联的光亮度值IL添加到集合SETIL2中；把在等距柱状投影全景图像中与第i行、第j列像素A001直接相邻的所有像素关联的光亮度值IL添加到集合SETIL2中；计算集合SETIL2中的所有元素存储的光亮度值的平均值AVG2，把平均值AVG2转换成颜色值Color并赋值给二维数组PANOIMG的第i行、第j列元素；

步骤Step104-8：针对等距柱状投影全景图像的第i行、第j列像素A001的操作结束；

步骤Step105：更新等距柱状投影全景图像，得到经像素抗失真处理后的等距柱状投影全景图像，具体地，对于i＝1,2,…,N_Row，j＝1,2,…,N_Col，把等距柱状投影全景图像的第i行、第j列像素A001的颜色设置为二维数组PANOIMG的第i行、第j列元素的值；

步骤Step106：把等距柱状投影全景图像以文件形式保存到计算机硬盘上。

本发明的积极效果是：本方法通过步骤Step103计算出全景图像的显著性图SMap；在步骤Step104中，根据显著性图SMap的像素的值是否小于显著性阈值SALTH来自适应地控制是否需要使用超采样来对等距柱状投影全景图像的像素进行抗失真处理。由于对那些显著性值小于显著性阈值SALTH的等距柱状投影全景图像像素不进行超采样，因此减小了像素抗失真处理的计算开销。本方法根据视觉显著性来自适应地控制是否进行像素超采样，可实现在减小计算开销的同时保证全景图像的视觉感知效果。

附图说明

图1为等距柱状投影全景图像的像素平面示意图。

图2为虚拟全景相机的示意图。

图3为像素P的直接相邻像素示意图。

具体实施方式

为了使本方法的特征和优点更加清楚明白，下面结合具体实施例对本方法作进一步的描述。本实施例考虑一个虚拟房间三维场景，三维场景包含房间四周的墙、天花板、地板、门、窗、窗帘、桌子、椅子等几何对象。桌子和椅子都放在地板上，门关着，窗用窗帘遮挡着。在房间的天花板上有一个圆形的光源，向下照射房间。房间四周的墙、天花板、地板、门、窗帘、桌子、椅子等几何对象都是漫反射材质。

本方法的技术方案是这样实现的：使用等距柱状投影全景图像来表示VR全景图像画面；首先利用光线跟踪技术绘制虚拟三维场景的VR全景图像画面，生成一张等距柱状投影全景图像，然后对等距柱状投影全景图像进行显著性检测，获得等距柱状投影全景图像的显著性图，最后根据等距柱状投影全景图像的显著性图来实现自适应像素抗失真处理。本方法的具体步骤如下：

步骤Step101：令N_Row表示等距柱状投影全景图像的像素行数，令N_Col表示等距柱状投影全景图像的像素列数；在计算机的存储器中创建一个包含N_Row行、N_Col列的二维数组ARR1，二维数组ARR1的每个元素存储一个可视场景点的坐标；在计算机的存储器中创建一个包含N_Row行、N_Col列的二维数组ARR2，二维数组ARR2的每个元素存储一个可视场景点的法向量；等距柱状投影全景图像的像素与可视场景点一一对应；等距柱状投影全景图像的像素与二维数组ARR1的元素一一对应，等距柱状投影全景图像的像素与二维数组ARR2的元素一一对应；具体地，二维数组ARR1的第i行、第j列元素用于存储等距柱状投影全景图像的第i行、第j列像素对应的可视场景点的坐标，二维数组ARR2的第i行、第j列元素用于存储等距柱状投影全景图像的第i行、第j列像素对应的可视场景点的法向量，其中i＝1,2,…,N_Row，j＝1,2,…,N_Col；

步骤Step102：对于i＝1,2,…,N_Row，j＝1,2,…,N_Col，针对等距柱状投影全景图像的第i行、第j列像素A001，做如下操作：

步骤Step102-1：计算像素A001在虚拟全景相机的虚拟成像球面上的成像位置PIX的坐标(x_p,y_p,z_p)；具体地，x₀＝sin(θ)cos(φ)，y₀＝sin(θ)sin(φ)，z₀＝cos(θ)，φ＝2π(j-1+0.5)/N_Col，θ＝π(i-1+0.5)/N_Row，矩阵M为：其中w_x、w_y、w_z表示虚拟全景相机的单位向上方向向量w的x、y、z分量，向量w的值在执行本方法前事先指定；u_x、u_y、u_z表示向量u的x、y、z分量；P_x、P_y、P_z表示虚拟全景相机的视点坐标的x、y、z分量；v_x、v_y、v_z表示向量v的x、y、z分量；令向量/>如果/>则令向量/>否则令向量v＝[0,0,1]^T；令向量/>虚拟全景相机如图2所示；

步骤Step102-2：从虚拟全景相机的视点位置发射穿过成像位置PIX的光线A002，利用光线跟踪技术跟踪光线A002在三维场景中的传输，计算最终沿光线A002反向方向到达成像位置PIX的光亮度值IL，在此过程中计算像素A001对应的可视场景点的坐标COR1，并把该坐标COR1赋值给二维数组ARR1的第i行、第j列元素，计算像素A001对应的可视场景点的法向量NORM，并把该法向量NORM赋值给二维数组ARR2的第i行、第j列元素；像素A001对应的可视场景点就是光线A002在三维场景中传输时与遇到的第一个几何对象的交点，即沿光线A002的传输方向从虚拟全景相机的视点位置可以直接看见的光线A002与三维场景的几何对象的交点；把光亮度值IL与等距柱状投影全景图像的第i行、第j列像素A001相关联；

步骤Step102-3：把光亮度值IL转换成颜色值Color；把像素A001的颜色设置为颜色值Color；

步骤Step102-4：针对等距柱状投影全景图像的第i行、第j列像素A001的操作结束；

步骤Step103：利用全景图像显著性检测技术计算等距柱状投影全景图像的显著性图SMap；

步骤Step104：在计算机的存储器中创建一个包含N_Row行、N_Col列的二维数组PANOIMG，二维数组PANOIMG的每个元素用于保存经像素抗失真处理后的等距柱状投影全景图像的像素的颜色值，二维数组PANOIMG的元素与等距柱状投影全景图像的像素一一对应；对于i＝1,2,…,N_Row，j＝1,2,…,N_Col，针对等距柱状投影全景图像的第i行、第j列像素A001，做如下操作：

步骤Step104-1：把二维数组PANOIMG的第i行、第j列元素赋值为等距柱状投影全景图像的第i行、第j列像素A001的颜色值；根据等距柱状投影全景图像的像素与可视场景点的对应关系、等距柱状投影全景图像的像素与二维数组ARR1的元素的对应关系以及二维数组ARR1存储的值，计算等距柱状投影全景图像的第i行、第j列像素A001对应的可视场景点的坐标COR1；根据等距柱状投影全景图像的像素与可视场景点的对应关系、等距柱状投影全景图像的像素与二维数组ARR1的元素的对应关系以及二维数组ARR1存储的值，计算在等距柱状投影全景图像中与第i行、第j列像素A001直接相邻的所有像素对应的可视场景点的坐标COR1，并把它们存放在坐标列表LISTCOR1中；计算第i行、第j列像素A001对应的可视场景点的坐标COR1与坐标列表LISTCOR1中的各个坐标COR1之间的距离的最大值DISM；

步骤Step104-2：根据等距柱状投影全景图像的像素与可视场景点的对应关系、等距柱状投影全景图像的像素与二维数组ARR2的元素的对应关系以及二维数组ARR2存储的值，计算等距柱状投影全景图像的第i行、第j列像素A001对应的可视场景点的法向量NORM；根据等距柱状投影全景图像的像素与可视场景点的对应关系、等距柱状投影全景图像的像素与二维数组ARR2的元素的对应关系以及二维数组ARR2存储的值，计算在等距柱状投影全景图像中与第i行、第j列像素A001直接相邻的所有像素对应的可视场景点的法向量NORM，并把它们存放在法向量列表LISTNORM中；计算第i行、第j列像素A001对应的可视场景点的法向量NORM与法向量列表LISTNORM中的各个法向量NORM之间的夹角的最大值ANGM；

步骤Step104-3：把在等距柱状投影全景图像中与第i行、第j列像素A001直接相邻的所有像素的颜色值存放在颜色列表LISTCORLOR中；计算等距柱状投影全景图像的第i行、第j列像素A001的颜色值在CIE Lab颜色空间中对应的值CVLab；计算颜色列表LISTCORLOR中的所有颜色值在CIE Lab颜色空间中对应的值，并把它们存放在颜色列表LISTCORLORLAB中；计算CIE Lab颜色空间中的值CVLab与颜色列表LISTCORLORLAB中的各个颜色值的欧氏距离的最大值COLORM；

步骤Step104-4：如果最大值DISM小于距离阈值DIST，并且最大值ANGM小于角度阈值ANGT，并且最大值COLORM小于颜色阈值COLORT，则转步骤Step104-8，否则进一步判断显著性图SMap的第i行、第j列像素的值是否小于显著性阈值SALTH，如果是，则转步骤Step104-7，否则产生N_ar个[0,1]之间均匀分布的随机数{r_φ,m|m＝1,2,…,N_ar}，产生N_ar个[0,1]之间均匀分布的随机数{r_θ,m|m＝1,2,…,N_ar}；在计算机的存储器中创建一个集合SETIL1，集合SETIL1的每个元素存储一个光亮度值，设置集合SETIL1为空集；分别针对m＝1,2,…,N_ar，做如下操作：

步骤Step104-4-1：计算

步骤Step104-4-2：计算

步骤Step104-4-3：从虚拟全景相机的视点位置发射穿过坐标为(x′_m,y′_m,z′_m)的成像位置PIX1的光线B002，利用光线跟踪技术跟踪光线B002在三维场景中的传输，计算最终沿光线B002反向方向到达成像位置PIX1的光亮度值IL1；

步骤Step104-4-4：把光亮度值IL1添加到集合SETIL1中；

步骤Step104-4-5：针对m的操作结束；

步骤Step104-5：把与等距柱状投影全景图像的第i行、第j列像素A001相关联的光亮度值IL添加到集合SETIL1中；

步骤Step104-6：计算集合SETIL1中的所有元素存储的光亮度值的平均值AVG1，把平均值AVG1转换成颜色值Color并赋值给二维数组PANOIMG的第i行、第j列元素；转步骤Step104-8；

步骤Step104-7：在计算机的存储器中创建一个集合SETIL2，集合SETIL2的每个元素存储一个光亮度值，设置集合SETIL2为空集；把与等距柱状投影全景图像的第i行、第j列像素A001相关联的光亮度值IL添加到集合SETIL2中；把在等距柱状投影全景图像中与第i行、第j列像素A001直接相邻的所有像素关联的光亮度值IL添加到集合SETIL2中；计算集合SETIL2中的所有元素存储的光亮度值的平均值AVG2，把平均值AVG2转换成颜色值Color并赋值给二维数组PANOIMG的第i行、第j列元素；

步骤Step104-8：针对等距柱状投影全景图像的第i行、第j列像素A001的操作结束；

步骤Step105：更新等距柱状投影全景图像，得到经像素抗失真处理后的等距柱状投影全景图像，具体地，对于i＝1,2,…,N_Row，j＝1,2,…,N_Col，把等距柱状投影全景图像的第i行、第j列像素A001的颜色设置为二维数组PANOIMG的第i行、第j列元素的值；

步骤Step106：把等距柱状投影全景图像以文件形式保存到计算机硬盘上。

在本实施例中，N_Row＝1024，N_Col＝2048，w＝[0,0,1]^T；距离阈值DIST为墙高的1/200；角度阈值ANGT为π/180rad；颜色阈值COLORT为1；显著性阈值SALTH为0.5；N_ar＝3；步骤Step104-7实际上就是通过利用相邻像素颜色值做平滑滤波来实现像素抗失真。步骤Step102用于实现等距柱状投影全景图像的渲染生成。在本实施例中，像素的直接相邻像素如图3所示，对于像素P来说，与其直接相邻的像素包括像素A、像素B、像素C、像素D、像素E、像素F、像素G、像素H。

Claims (1)

1.一种视觉显著性驱动的VR电影画面渲染像素抗失真处理方法，其特征在于：使用等距柱状投影全景图像来表示VR全景图像画面；首先利用光线跟踪技术绘制虚拟三维场景的VR全景图像画面，生成一张等距柱状投影全景图像，然后对等距柱状投影全景图像进行显著性检测，获得等距柱状投影全景图像的显著性图，最后根据等距柱状投影全景图像的显著性图来实现自适应像素抗失真处理；本方法的具体步骤如下：

步骤Step101：令N_Row表示等距柱状投影全景图像的像素行数，令N_Col表示等距柱状投影全景图像的像素列数；在计算机的存储器中创建一个包含N_Row行、N_Col列的二维数组ARR1，二维数组ARR1的每个元素存储一个可视场景点的坐标；在计算机的存储器中创建一个包含N_Row行、N_Col列的二维数组ARR2，二维数组ARR2的每个元素存储一个可视场景点的法向量；等距柱状投影全景图像的像素与可视场景点一一对应；等距柱状投影全景图像的像素与二维数组ARR1的元素一一对应，等距柱状投影全景图像的像素与二维数组ARR2的元素一一对应；具体地，二维数组ARR1的第i行、第j列元素用于存储等距柱状投影全景图像的第i行、第j列像素对应的可视场景点的坐标，二维数组ARR2的第i行、第j列元素用于存储等距柱状投影全景图像的第i行、第j列像素对应的可视场景点的法向量，其中i＝1,2,…,N_Row，j＝1,2,…,N_Col；

步骤Step102：对于i＝1,2,…,N_Row，j＝1,2,…,N_Col，针对等距柱状投影全景图像的第i行、第j列像素A001，做如下操作：

步骤Step102-1：计算像素A001在虚拟全景相机的虚拟成像球面上的成像位置PIX的坐标(x_p,y_p,z_p)；具体地，x₀＝sin(θ)cos(φ)，y₀＝sin(θ)sin(φ)，z₀＝cos(θ)，φ＝2π(j-1+0.5)/N_Col，θ＝π(i-1+0.5)/N_Row，矩阵M为：

其中w_x、w_y、w_z表示虚拟全景相机的单位向上方向向量w的x、y、z分量，向量w的值在执行本方法前事先指定；u_x、u_y、u_z表示向量u的x、y、z分量；P_x、P_y、P_z表示虚拟全景相机的视点坐标的x、y、z分量；v_x、v_y、v_z表示向量v的x、y、z分量；令向量/>如果/>则令向量/>否则令向量v＝[0,0,1]^T；令向量/>

步骤Step102-2：从虚拟全景相机的视点位置发射穿过成像位置PIX的光线A002，利用光线跟踪技术跟踪光线A002在三维场景中的传输，计算最终沿光线A002反向方向到达成像位置PIX的光亮度值IL，在此过程中计算像素A001对应的可视场景点的坐标COR1，并把该坐标COR1赋值给二维数组ARR1的第i行、第j列元素，计算像素A001对应的可视场景点的法向量NORM，并把该法向量NORM赋值给二维数组ARR2的第i行、第j列元素；像素A001对应的可视场景点就是光线A002在三维场景中传输时与遇到的第一个几何对象的交点，即沿光线A002的传输方向从虚拟全景相机的视点位置可以直接看见的光线A002与三维场景的几何对象的交点；把光亮度值IL与等距柱状投影全景图像的第i行、第j列像素A001相关联；

步骤Step102-3：把光亮度值IL转换成颜色值Color；把像素A001的颜色设置为颜色值Color；

步骤Step102-4：针对等距柱状投影全景图像的第i行、第j列像素A001的操作结束；

步骤Step103：利用全景图像显著性检测技术计算等距柱状投影全景图像的显著性图SMap；

步骤Step104：在计算机的存储器中创建一个包含N_Row行、N_Col列的二维数组PANOIMG，二维数组PANOIMG的每个元素用于保存经像素抗失真处理后的等距柱状投影全景图像的像素的颜色值，二维数组PANOIMG的元素与等距柱状投影全景图像的像素一一对应；对于i＝1,2,…,N_Row，j＝1,2,…,N_Col，针对等距柱状投影全景图像的第i行、第j列像素A001，做如下操作：

步骤Step104-1：把二维数组PANOIMG的第i行、第j列元素赋值为等距柱状投影全景图像的第i行、第j列像素A001的颜色值；根据等距柱状投影全景图像的像素与可视场景点的对应关系、等距柱状投影全景图像的像素与二维数组ARR1的元素的对应关系以及二维数组ARR1存储的值，计算等距柱状投影全景图像的第i行、第j列像素A001对应的可视场景点的坐标COR1；根据等距柱状投影全景图像的像素与可视场景点的对应关系、等距柱状投影全景图像的像素与二维数组ARR1的元素的对应关系以及二维数组ARR1存储的值，计算在等距柱状投影全景图像中与第i行、第j列像素A001直接相邻的所有像素对应的可视场景点的坐标COR1，并把它们存放在坐标列表LISTCOR1中；计算第i行、第j列像素A001对应的可视场景点的坐标COR1与坐标列表LISTCOR1中的各个坐标COR1之间的距离的最大值DISM；

步骤Step104-2：根据等距柱状投影全景图像的像素与可视场景点的对应关系、等距柱状投影全景图像的像素与二维数组ARR2的元素的对应关系以及二维数组ARR2存储的值，计算等距柱状投影全景图像的第i行、第j列像素A001对应的可视场景点的法向量NORM；根据等距柱状投影全景图像的像素与可视场景点的对应关系、等距柱状投影全景图像的像素与二维数组ARR2的元素的对应关系以及二维数组ARR2存储的值，计算在等距柱状投影全景图像中与第i行、第j列像素A001直接相邻的所有像素对应的可视场景点的法向量NORM，并把它们存放在法向量列表LISTNORM中；计算第i行、第j列像素A001对应的可视场景点的法向量NORM与法向量列表LISTNORM中的各个法向量NORM之间的夹角的最大值ANGM；

步骤Step104-3：把在等距柱状投影全景图像中与第i行、第j列像素A001直接相邻的所有像素的颜色值存放在颜色列表LISTCORLOR中；计算等距柱状投影全景图像的第i行、第j列像素A001的颜色值在CIE Lab颜色空间中对应的值CVLab；计算颜色列表LISTCORLOR中的所有颜色值在CIE Lab颜色空间中对应的值，并把它们存放在颜色列表LISTCORLORLAB中；计算CIE Lab颜色空间中的值CVLab与颜色列表LISTCORLORLAB中的各个颜色值的欧氏距离的最大值COLORM；

步骤Step104-4：如果最大值DISM小于距离阈值DIST，并且最大值ANGM小于角度阈值ANGT，并且最大值COLORM小于颜色阈值COLORT，则转步骤Step104-8，否则进一步判断显著性图SMap的第i行、第j列像素的值是否小于显著性阈值SALTH，如果是，则转步骤Step104-7，否则产生N_ar个[0,1]之间均匀分布的随机数{r_φ,m|m＝1,2,…,N_ar}，产生N_ar个[0,1]之间均匀分布的随机数{r_θ,m|m＝1,2,…,N_ar}；在计算机的存储器中创建一个集合SETIL1，集合SETIL1的每个元素存储一个光亮度值，设置集合SETIL1为空集；分别针对m＝1,2,…,N_ar，做如下操作：

步骤Step104-4-1：计算

步骤Step104-4-2：计算

步骤Step104-4-3：从虚拟全景相机的视点位置发射穿过坐标为(x′_m,y′_m,z′_m)的成像位置PIX1的光线B002，利用光线跟踪技术跟踪光线B002在三维场景中的传输，计算最终沿光线B002反向方向到达成像位置PIX1的光亮度值IL1；

步骤Step104-4-4：把光亮度值IL1添加到集合SETIL1中；

步骤Step104-4-5：针对m的操作结束；

步骤Step104-5：把与等距柱状投影全景图像的第i行、第j列像素A001相关联的光亮度值IL添加到集合SETIL1中；

步骤Step104-6：计算集合SETIL1中的所有元素存储的光亮度值的平均值AVG1，把平均值AVG1转换成颜色值Color并赋值给二维数组PANOIMG的第i行、第j列元素；转步骤Step104-8；

步骤Step104-7：在计算机的存储器中创建一个集合SETIL2，集合SETIL2的每个元素存储一个光亮度值，设置集合SETIL2为空集；把与等距柱状投影全景图像的第i行、第j列像素A001相关联的光亮度值IL添加到集合SETIL2中；把在等距柱状投影全景图像中与第i行、第j列像素A001直接相邻的所有像素关联的光亮度值IL添加到集合SETIL2中；计算集合SETIL2中的所有元素存储的光亮度值的平均值AVG2，把平均值AVG2转换成颜色值Color并赋值给二维数组PANOIMG的第i行、第j列元素；

步骤Step104-8：针对等距柱状投影全景图像的第i行、第j列像素A001的操作结束；

步骤Step105：更新等距柱状投影全景图像，得到经像素抗失真处理后的等距柱状投影全景图像，具体地，对于i＝1,2,…,N_Row，j＝1,2,…,N_Col，把等距柱状投影全景图像的第i行、第j列像素A001的颜色设置为二维数组PANOIMG的第i行、第j列元素的值；

步骤Step106：把等距柱状投影全景图像以文件形式保存到计算机硬盘上。