CN115797607B - 一种增强vr真实效果的图像优化处理方法 - Google Patents

Abstract

本发明涉及图像处理技术领域，具体涉及一种增强VR真实效果的图像优化处理方法，该方法通过对VR视频的各静态帧图像的灰度图像进行图像分割，得到每帧灰度图像的各个分割区域；对于任意相邻两帧灰度图像，将前一帧灰度图像作为当前帧图像，并将后一帧灰度图像作为预测帧图像，对当前帧图像和预测帧图像进行图像处理，从而确定预测帧图像中的预测注视点的位置，根据预测帧图像中的预测注视点的位置，对预测帧图像对应的静态帧图像进行高清区域和非高清区域渲染。本发明可以实现预测帧图像的注视点的准确预测，有效解决了现有VR视频中的高清图像区域与非高清图像区域渲染不准确的问题。

Description

一种增强VR真实效果的图像优化处理方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种增强VR真实效果的图像优化处理方法。

背景技术

虚拟现实技术（Virtual Reality,VR）是一种对于现实世界进行虚拟仿真的3D成像技术，在近年来随着科学技术的逐渐成熟，这种技术逐渐被应用在多个方向，例如娱乐行业中的VR视频。为了使得VR视频更加的真实化，需要对每一帧的VR图像进行大幅度的渲染，这必然会导致整体计算量的极具增加，所以为了减少计算量以及符合人体的双眼成像特征，VR图像在进行渲染的时候往往需进行高清图像与非高清图像的分别渲染，而在对VR图像进行高清图像与非高清图像进行渲染的时候，往往是依据使用者的注视点预测进行高清图像与非高清图像的分别渲染，从而能够达到最真实的视觉体现。

现有技术中对于VR技术中使用者的注视点进行预测的时候，往往是根据当前帧之前的使用者的历史注视点行为进行分析，而后进行VR视频中的下一帧图像的注视点预测，这种预测方式仅仅考虑到了使用者的行为习惯，考虑因素比较单一化，使得在环境因素变化不大的时候，使用者的注视点预测较为准确，但是当VR视频中不同帧的环境变化较大时，往往预测结果不太准确，导致VR视频中的高清图像区域与非高清图像区域渲染不准确，不仅浪费计算资源，并且对于VR视频观众的观看体验有着较为严重的影响。

发明内容

本发明的目的在于提供一种增强VR真实效果的图像优化处理方法，用于解决现有VR视频中的高清图像区域与非高清图像区域渲染不准确的问题。

为解决上述技术问题，本发明提供了一种增强VR真实效果的图像优化处理方法，包括以下步骤：

获取VR视频的各静态帧图像的灰度图像，对灰度图像进行图像分割，从而得到每帧灰度图像的各个分割区域；

对于任意相邻两帧灰度图像，将前一帧灰度图像作为当前帧图像，并将后一帧灰度图像作为预测帧图像，根据当前帧图像中各个分割区域的像素点的灰度值，确定第一变异指标值，根据预测帧图像中各个分割区域的像素点的灰度值，确定第二变异指标值，对比第一变异指标值和第二变异指标值，确定局部相似性指标；

将预测帧图像中任意一个分割区域作为目标区域，确定目标区域的各个邻近分割区域，并根据目标区域及其各个邻近分割区域中像素点的灰度值和总个数，确定目标区域的邻域对比参数；根据局部相似性指标，确定预测帧图像相对当前帧图像为局部变化还是整体变化，若为局部变化，则确定获取的当前帧图像的注视点位置与目标区域的欧氏距离，并根据当前帧图像的注视点位置与目标区域的欧式距离、目标区域中的每个像素点及其在当前帧图像中相同位置的像素点的灰度值以及目标区域的邻域对比参数，确定目标区域的特征参数；

根据预测帧图像中各个分割区域的特征参数，确定预测帧图像中预测注视点对应的分割区域，进而确定预测帧图像中的预测注视点的位置；

根据预测帧图像中的预测注视点的位置，对预测帧图像对应的静态帧图像进行高清区域和非高清区域渲染。

进一步的，该方法还包括：

若为整体变化，根据预测帧图像中各个分割区域的邻域对比参数，确定预测帧图像中预测注视点对应分割区域，进而确定预测帧图像中的预测注视点的位置；

根据预测帧图像中的预测注视点的位置，对预测帧图像对应的静态帧图像进行高清区域和非高清区域渲染。

进一步的，根据当前帧图像中各个分割区域的像素点的灰度值，确定第一变异指标值，根据预测帧图像中各个分割区域的像素点的灰度值，确定第二变异指标值，包括：

根据当前帧图像中各个分割区域的像素点的灰度值，确定当前帧图像中各个分割区域的灰度值均值和灰度值方差，并根据预测帧图像中各个分割区域的像素点的灰度值，确定预测帧图像中各个分割区域的灰度值均值和灰度值方差；

根据当前帧图像中每个分割区域的灰度值均值和灰度值方差，确定当前帧图像中每个分割区域的变异系数，并根据预测帧图像中每个分割区域的灰度值均值和灰度值方差，确定预测帧图像中每个分割区域的变异系数；

将当前帧图像中各个分割区域的变异系数的平均值确定为第一变异指标值，将预测帧图像中各个分割区域的变异系数的平均值确定为第二变异指标值。

进一步的，确定目标区域的邻域对比参数，包括：

根据目标区域及其各个邻近分割区域中像素点的灰度值，确定目标区域及其各个邻近分割区域的灰度值均值和信息熵；

根据目标区域的灰度值均值、信息熵和目标区域中的所有像素点的总个数以及目标区域的每个邻近分割区域的灰度值均值、信息熵和每个邻近分割区域中的所有像素点的总个数，确定目标区域与其每个邻近分割区域之间的量化对比值；

根据目标区域中的所有像素点的总个数及其每个邻近分割区域中的所有像素点的总个数，确定目标区域与其每个邻近分割区域之间的数量权值；

将目标区域的任意一个邻近分割区域作为目标邻近分割区域，计算目标区域与目标邻近分割区域之间的量化对比值和数量权值的乘积值，并将所述乘积值确定为目标区域与目标邻近分割区域之间的邻域对比值，从而得到目标区域与其每个邻近分割区域之间的邻域对比值；

计算目标区域与其各个邻近分割区域之间的邻域对比值的平均值，从而得到目标区域的邻域对比参数。

进一步的，确定目标区域的特征参数，包括：

根据目标区域中的每个像素点及其在当前帧图像中相同位置的像素点的灰度值，确定目标区域的区域相似性权值，并根据当前帧图像的注视点位置与目标区域的欧式距离，确定目标区域的注视点可能性参数；

根据目标区域的区域相似性权值、注视点可能性参数和邻域对比参数，确定目标区域的特征参数。

进一步的，确定预测帧图像中预测注视点对应的分割区域，包括：

根据预测帧图像中各个分割区域的特征参数，计算所有分割区域的特征参数的累加值，并将预测帧图像中每个分割区域的特征参数与所述特征参数的累加值的比值作为预测帧图像中对应分割区域的区域注视点置信度；

选择最大的区域注视点置信度所对应的分割区域作为预测帧图像中预测注视点对应的分割区域。

进一步的，确定预测帧图像中预测注视点对应分割区域，包括：

根据预测帧图像中各个分割区域的邻域对比参数，计算所有分割区域的邻域对比参数的累加值，并将预测帧图像中每个分割区域的邻域对比参数与所述邻域对比参数的累加值的比值作为预测帧图像中对应分割区域的区域注视点置信度；

选择最大的区域注视点置信度所对应的分割区域作为预测帧图像中预测注视点对应的分割区域。

进一步的，确定预测帧图像中的预测注视点的位置，包括：

将预测帧图像中预测注视点对应的分割区域的形心位置确定为预测帧图像中的预测注视点的位置。

进一步的，该方法还包括：

根据当前帧图像中各个像素点的灰度值，确定当前帧图像的信息熵，并根据预测帧图像中各个像素点的灰度值，确定预测帧图像的信息熵；

根据当前帧图像和预测帧图像的信息熵，确定信息差异度，当信息差异度大于信息差异阈值时，才根据当前帧图像和预测帧图像中各个分割区域的像素点的灰度值，确定局部相似性指标。

进一步的，确定预测帧图像相对当前帧图像为局部变化还是整体变化，包括：

若局部相似性指标在设定范围内，则判定预测帧图像相对当前帧图像为局部变化，否则判定预测帧图像相对当前帧图像为整体变化。

本发明具有如下有益效果：通过获取VR视频的各静态帧图像，并对各静态帧图像进行图像处理，可以实现预测帧图像的注视点的准确预测，有效解决了现有VR视频中的高清图像区域与非高清图像区域渲染不准确的问题。具体的，为了获取注视点预测的基础并减小注视点预测过程中的计算量，获取各静态帧图像的灰度图像，并对每帧灰度图像进行区域分割从而得到各个分割区域，后续通过对分割区域进行分析，可以确定注视点所在的分割区域。将任意相邻两帧灰度图像中的前一帧作为当前帧图像，并将后一帧作为预测帧图像，为了便于后续确定预测帧图像相对前帧图像是否为局部变化，以便于更精细地确定预测帧图像的类型，从而提高注视点的预测准确性，通过对比当前帧图像和预测帧图像中的分割区域的灰度分布情况，确定局部相似性指标。然后将预测帧图像中每个分割区域与其相邻的分割区域进行比对，从而确定预测帧图像中每个分割区域的邻域对比参数。该邻域对比参数表征了预测帧图像中每个分割区域相对其邻近的分割区域的对比差异，对比差异越大说明对应的分割区域与其邻近分割区域越不相同，其越可能是注视点所在的区域。由于当预测帧图像相对当前帧图像为局部变化时，预测帧图像与当前帧图像具有一定的联系性，为了更精准地进行预测帧图像的注视点的预测，需要考虑当前帧图像对于预测帧图像的影响，而当预测帧图像相对当前帧图像为整体变化时，由于当前帧图像与预测帧图像的联系性较弱，考虑当前帧图像对于预测帧图像的影响反而会降低预测帧图像的注视点的预测准确性。因此，为了对预测帧图像进行注视点的准确预测，根据局部相似性指标确定预测帧图像是否为局部变化，当为局部变化时，统筹考虑预测帧图像中的每个分割区域与当前帧图像的注视点位置的欧氏距离、每个分割区域的每个像素点与其在当前帧图像中相同位置的像素点的灰度值差异情况、以及每个分割区域的邻域对比参数，从而确定预测帧图像中的每个分割区域的特征参数。该特征参数准确表征了对应分割区域为注视点所在区域的可能性，因此根据该特征参数，可以准确确定预测帧图像中预测注视点对应的分割区域，进而确定出预测注视点的位置，并根据预测注视点的位置，对预测帧图像对应的静态帧图像进行高清区域和非高清区域的准确渲染。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明实施例的增强VR真实效果的图像优化处理方法的流程图；

图2为本发明实施例的高清渲染区域和非高清渲染区域的示意图；

其中：1为高清渲染区域，2为非高清渲染区域。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的技术方案的具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。另外，本文所涉及公式中的所有参数或者指标均为归一化之后的消除了量纲影响的数值。

在对VR图像进行渲染的过程中，为了符合人眼的视物特征以及减少渲染计算量，往往需要利用注视点预测技术对预测帧的注视点进行预测，而后根据预测的注视点进行分区渲染，但是现有技术对于场景变化较大的VR视频帧图像进行预测帧的注视点预测往往不够准确，进而导致VR视频中的高清图像区域与非高清图像区域渲染不准确，对计算资源造成浪费以及对使用者的体验有着较大影响。

为了解决上述由于对预测帧的注视点预测不准确，导致VR视频中的高清图像区域与非高清图像区域渲染不准确的问题，本实施例提供了一种增强VR真实效果的图像优化处理方法，该方法对应的流程图如图1所示，具体包括以下步骤：

步骤S1：获取VR视频的各静态帧图像的灰度图像，对灰度图像进行图像分割，从而得到每帧灰度图像的各个分割区域。

为了方便后续的计算，首先需要对VR视频进行帧拆解，获得VR视频的每一帧的静态帧图像。又因为后续计算中需要进行局部分析，为了减少计算量，对已经帧拆解的VR视频的每一帧的静态帧图像进行预处理，该预处理方式为对每一帧的静态帧图像进行灰度化，从而得到每一帧的静态帧图像的灰度图像。然后利用图像分割算法对每一帧灰度图像进行图像分割，本实施例所采用的图像分割算法为区域生长算法，从而每一帧灰度图像可获得多个分割区域。由于利用区域生长算法对灰度图像进行图像分割，以得到多个分割区域的具体实现过程属于现有技术，此处不再赘述。

步骤S2：对于任意相邻两帧灰度图像，将前一帧灰度图像作为当前帧图像，并将后一帧灰度图像作为预测帧图像，根据当前帧图像中各个分割区域的像素点的灰度值，确定第一变异指标值，根据预测帧图像中各个分割区域的像素点的灰度值，确定第二变异指标值，对比第一变异指标值和第二变异指标值，确定局部相似性指标。

对于VR视频所得到的顺序排列的各个灰度图像，为了便于描述，将任意相邻两帧灰度图像中的前一帧灰度图像作为当前帧图像，并将后一帧灰度图像作为预测帧图像。现有技术中对于VR视频的每一帧图像进行基于注视点预测的分区渲染的时候，往往对于场景变化较大的预测帧图像的注视点预测不准确，原因在于：人在进行VR视频的观看的时候，对于预测帧图像相对于当前帧图像信息变化不大时，其注视点是具有一定的行为相关性的，所以可以通过现有的行为分析算法进行预测帧图像的注视点的预测，而对于相对于当前帧图像信息变化较大的预测帧图像，利用历史行为分析算法往往无法进行预测帧图像的注视点的准确预测。

鉴于现有技术中对于场景变化不大的预测帧图像的注视点预测还相对准确，因此本实施例的方案主要是针对场景变化较大的预测帧图像进行注视点预测，也即对相对当前帧图像信息变化较大的预测帧图像进行注视点预测，因此在进行注视点预测之前，首先需要将预测帧图像与当前帧图像进行比较，以判断预测帧图像是否属于信息变化较大的帧图像，实现步骤包括：

根据当前帧图像中各个像素点的灰度值，确定当前帧图像的信息熵，并根据预测帧图像中各个像素点的灰度值，确定预测帧图像的信息熵；

根据当前帧图像和预测帧图像的信息熵，确定信息差异度，当信息差异度大于信息差异阈值时，则判定预测帧图像属于信息变化较大的帧图像，否则判定预测帧图像不属于信息变化较大的帧图像。

具体的，预测帧图像相对于当前帧图像而言，信息差异度越大，则信息变化越大。因此， 根据当前帧图像和预测帧图像中各个像素点的灰度值，分别确定当前帧图像和预测帧图像的信息熵，进而确定预测帧图像相对当前帧图像的信息差异度，对应的计算方式为：

其中，表示预测帧图像相对当前帧图像的信息差异度；当前帧图像为第帧灰度图像，，为VR视频经过帧拆解后的静态帧图像的总帧数，表示第帧灰度图像的信息熵，其计算方式为，为第帧灰度图像中灰度值为的像素点出现的概率，；预测帧图像为第帧灰度图像，，表示第帧灰度图像的信息熵，其计算方式为，为第帧灰度图像中的灰度值为的像素点出现的概率，。

对于上述的预测帧图像相对当前帧图像的信息差异度，其表征了预测帧图像相对于当前帧图像的整体信息携带量的变化情况，也即是第帧灰度图像相对于第帧灰度图像的整体信息携带量的变化情况，利用信息熵对第帧灰度图像和第帧灰度图像的信息携带量进行衡量，而后通过计算第帧灰度图像与第帧灰度图像的信息携带量的差异值与第帧灰度图像的信息携带量作为比较，该差异值与第帧灰度图像的信息携带量的比值越大，说明第帧灰度图像相对第帧灰度图像的信息变化越大，反之则说明第帧灰度图像相对第帧灰度图像的信息变化越大。

利用上述方式可以获得预测帧图像相对当前帧图像的信息差异度，而后利用信息差异度进行预测帧图像是否为信息变化较大的帧图像的判断，判断方式为：设置信息差异阈值，本实施例设置该信息差异阈值=0.1，当信息差异度时，则认为预测帧图像为信息变化较大的帧图像，否则认为预测帧图像为信息变化较小的帧图像。

通过上述步骤实现了预测帧图像是否相对于当前帧图像为信息变化较大的帧图像的判断，若判断出预测帧图像不属于信息变化较大的帧图像，则直接使用现有技术进行预测帧图像的注视点预测，具体预测过程此处不再赘述。而当判断出预测帧图像相对于当前帧图像而言其为信息变化较大的帧图像时，又分为两种情况：一种是整体变化，一种是局部变化。整体变化是指预测帧图像的整帧图像中有大部分的信息相对于当前帧图像都发生了改变，例如视频中的转场操作，这种预测帧图像在进行注视点预测的时候，由于预测帧图像与当前帧图像的联系性不强，无法量化当前帧图像与预测帧图像的相关参数，因此仅需要考虑预测帧图像中的信息差异即可完成预测帧图像的注视点预测。局部变化是指预测帧图像与当前帧图像中有一定的信息重合，例如预测帧图像的视频场景中相较于当前帧图像新增加了一部分元素，作为一个示例，第n+1帧灰度图像相对于第n帧灰度图像增加了一个人，这种预测帧图像在进行注视点预测的时候，需要考虑当前帧图像与预测帧图像的差异性来进行预测帧的注视点预测。基于上述的特性，所以利用预测帧图像与当前帧图像的局部相似性进行预测帧图像的分类，实现过程包括：

根据当前帧图像中各个分割区域的像素点的灰度值，确定当前帧图像中各个分割区域的灰度值均值和灰度值方差，并根据预测帧图像中各个分割区域的像素点的灰度值，确定预测帧图像中各个分割区域的灰度值均值和灰度值方差；

根据当前帧图像中每个分割区域的灰度值均值和灰度值方差，确定当前帧图像中每个分割区域的变异系数，并根据预测帧图像中每个分割区域的灰度值均值和灰度值方差，确定预测帧图像中每个分割区域的变异系数；

将当前帧图像中各个分割区域的变异系数的平均值确定为第一变异指标值，将预测帧图像中各个分割区域的变异系数的平均值确定为第二变异指标值，进而确定局部相似性指标。

具体的，当预测帧图像与当前帧图像相比为局部变化时，在利用图像分割算法对预测帧图像与当前帧图像进行分割的时候，两帧图像中大多数分割区域不论大小形状还是区域内的像素点的灰度值分布一定是较为接近的，而当预测帧图像与当前图像相比为整体变化时，两帧图像中大多数分割区域不论大小形状还是区域内的像素点的灰度值分布一定是具有明显的差异性的。故利用预测帧图像中的各个分割区域的像素点灰度值分布情况与当前帧图像的各个分割区域的像素点灰度值分布情况进行局部相似性的计算，从而可以确定预测帧图像与当前帧图像相比是局部变化还是整体变化，对应的计算公式为：

其中，表示预测帧图像与当前帧图像之间的局部相似性指标，当前帧图像为第帧灰度图像，预测帧图像为第帧灰度图像；表示第帧灰度图像的分割区域的总个数；表示第帧灰度图像的第个分割区域的灰度值方差，也就是第帧灰度图像的第个分割区域的所有像素点的灰度值的方差，）；表示第帧灰度图像的第个分割区域的灰度值均值，也就是第帧灰度图像的第个分割区域的所有像素点的灰度值的平均值；表示第帧灰度图像的分割区域的总个数；表示第帧灰度图像的第个分割区域的灰度值方差，也就是第帧灰度图像的第个分割区域的所有像素点的灰度值的方差，；表示第帧灰度图像的第个分割区域的灰度值均值，也就是第帧灰度图像的第个分割区域的所有像素点的灰度值的平均值。

对于上述的预测帧图像与当前帧图像之间的局部相似性指标，因为预测帧图像相对于当前帧图像具有一定的信息变化，所以预测帧图像中的区域分割所获得的总体分割区域的个数与当前帧图像的区域分割所获得的总体分割区域的个数可能不相同，所以利用第帧灰度图像和第帧灰度图像所有分割区域的像素点灰度值的变异系数的平均值的比值来量化两帧图像中的区域相似性，变异系数为第帧灰度图像或第帧灰度图像中每个分割区域的像素点灰度值的灰度值方差除以灰度值均值，该变异系数可以反应每个分割区域中的像素点灰度值变化情况。第帧灰度图像和第帧灰度图像的局部信息越相似，则变异系数的平均值的比值越接近1，越不相似则越不接近1，而后以该变异系数的平均值的比值与1进行差值计算，即以第二变异指标值与第一变异指标值的比值与1进行差值计算，获得预测帧图像与当前帧图像的局部相似性指标。当第帧灰度图像和第帧灰度图像的局部信息越相似时，局部相似性指标越小，反之则局部相似性指标越大。

利用上述计算公式可以获得预测帧图像与当前帧图像的局部相似性指标，后续可以根据该局部相似性指标，确定预测帧图像相对当前帧图像是否为局部变化，即确定预测帧图像相对于当前帧图像是局部变化还是整体变化类型，可根据不同类型预测帧图像，进行预测帧图像的注视点的不同方式预测。

步骤S3：将预测帧图像中任意一个分割区域作为目标区域，确定目标区域的各个邻近分割区域，并根据目标区域及其各个邻近分割区域中像素点的灰度值和总个数，确定目标区域的邻域对比参数；根据局部相似性指标，确定预测帧图像相对当前帧图像为局部变化还是整体变化，若为局部变化，则确定获取的当前帧图像的注视点位置与目标区域的欧氏距离，并根据当前帧图像的注视点位置与目标区域的欧式距离、目标区域中的每个像素点及其在当前帧图像中相同位置的像素点的灰度值以及目标区域的邻域对比参数，确定目标区域的特征参数。

在通过上述步骤S2确定预测帧图像与当前帧图像的局部相似性指标之后，根据该局部相似性指标，确定预测帧图像相对当前帧图像为局部变化还是整体变化，确定方式为：若局部相似性指标在设定范围内，则判定预测帧图像相对当前帧图像为局部变化，否则判定预测帧图像相对当前帧图像为整体变化。在本实施例中，设置设定范围为，当局部相似性指标时，则认为预测帧图像相对当前帧图像为局部变化，当局部相似性指标时，则说明预测帧图像相对当前帧图像为整体变化，也就是预测帧图像相对当前帧图像为全局变化。

在进行了上述预测帧图像的种类判断之后，当预测帧图像相对当前帧图像为整体变化，也就是预测帧图像相对当前帧图像为全局变化时，则说明当前帧图像与预测帧图像的联系性较弱，无法通过当前帧图像与预测帧图像的关系特征对预测帧图像进行注视点的准确预测，所以在对预测帧图像进行注视点预测时，应该仅考虑预测帧图像中的不同分割区域的像素点分布特征，并以该特征进行预测帧图像中每个区域的特征参数的计算。

考虑到人眼进行图像的观察的时候，往往对相对于周围区域有着明确差异的区域更为感兴趣，例如一张白纸中有一滴黑色的墨痕，当人眼看见这张白纸时，其注视点一定是在墨痕上，所以根据这种逻辑，对整体变化的预测帧图像中的每个分割区域进行邻域对比参数的计算，并利用邻域对比参数作为每个分割区域的特征参数，以进行后续注视点预测的置信度计算。

为了确定预测帧图像中的每个分割区域的邻域对比参数，将预测帧图像中任意一个分割区域作为目标区域，并确定目标区域的各个邻近分割区域，也就是确定与目标区域相邻的各个分割区域。在本实施例中，所确定的目标区域的各个邻近分割区域是指与目标区域所接壤的其他分割区域。然后根据目标区域及其各个邻近分割区域中像素点的灰度值和总个数，确定目标区域的邻域对比参数，实现步骤包括：

根据目标区域及其各个邻近分割区域中像素点的灰度值，确定目标区域及其各个邻近分割区域的灰度值均值和信息熵；

根据目标区域的灰度值均值、信息熵和目标区域中的所有像素点的总个数以及目标区域的每个邻近分割区域的灰度值均值、信息熵和每个邻近分割区域中的所有像素点的总个数，确定目标区域与其每个邻近分割区域之间的量化对比值；

根据目标区域中的所有像素点的总个数及其每个邻近分割区域中的所有像素点的总个数，确定目标区域与其每个邻近分割区域之间的数量权值；

将目标区域的任意一个邻近分割区域作为目标邻近分割区域，计算目标区域与目标邻近分割区域之间的量化对比值和数量权值的乘积值，并将所述乘积值确定为目标区域与目标邻近分割区域之间的邻域对比值，从而得到目标区域与其每个邻近分割区域之间的邻域对比值；

计算目标区域与其各个邻近分割区域之间的邻域对比值的平均值，从而得到目标区域的邻域对比参数。

具体的，为了便于描述，将预测帧图像中的第个分割区域作为目标区域，则该目标区域的邻域对比参数对应的计算公式为：

其中，表示目标区域的邻域对比参数，也就是预测帧图像中的第个分割区域的邻域对比参数，表示预测帧图像中的第个分割区域的邻近分割区域的总个数，表示预测帧图像中的第个分割区域的所有像素点的总个数；表示第帧灰度图像的第个分割区域的灰度值均值，也就是第个分割区域的所有像素点的灰度值的平均值；表示第帧灰度图像的第个分割区域的信息熵；表示预测帧图像中的第个分割区域的第个邻近分割区域的所有像素点的总个数，；表示预测帧图像中的第个分割区域的第个邻近分割区域的灰度值均值，也就是第个分割区域的所有像素点的灰度值的平均值；表示预测帧图像中的第个分割区域的第个邻近分割区域的信息熵，exp( )表示以自然常数e为底数的指数函数。

对于上述的目标区域的邻域对比参数的计算过程分为两个部分：一部分是数量权值，另一部分是量化对比值。对于数量权值部分，在对两个不同的分割区域进行对比时，往往分割区域的大小给人眼的感觉最为直观，所以在对第个分割区域与邻域任意一个分割区域进行对比参数计算时，首先以不同分割区域的大小作为权值计算，不同分割区域的大小是以像素点的数量进行量化，两个分割区域的大小越接近，后续进行差异对比计算时数据越准确，对应的邻域对比参数应当越大。对于量化对比值部分，因为第个分割区域与邻域任意一个分割区域的像素点个数可能存在差异，所以以不同分割区域的像素点的平均灰度值来作为该区域的像素点灰度值分布趋势量化，对不同分割区域的整体像素点灰度值的分布趋势进行对比，以此来直观的体现出不同分割区域的宏观情况的对比，当目标区域与邻近分割区域的平均灰度值的比值越大时，则对应的邻域对比参数应当越大。接着以不同分割区域的各个像素点的平均信息携带量的比值作为不同区域的微观情况对比，确定平均信息携带量时所采用的信息熵的计算过程参考了该区域像素点的灰度混乱情况，也即参考了该区域像素点的灰度值的分布频率情况，故以平均信息携带量进行微观对比准确性更高，当目标区域与邻近分割区域的平均信息携带量的比值越大时，则对应的邻域对比参数应当越大。

当判断出预测帧图像相对于当前帧图像为局部变化时，则说明预测帧图像与当前帧图像具有一定的联系性，即当前帧图像中的局部区域与预测帧图像是相同的，所以在进行预测帧图像的注视点的预测时，需要考虑当前帧图像对于预测帧图像的影响，具体影响分为两个方面，图像的局部相似性的影响以及当前帧图像的注视点的影响。

考虑到人眼进行两相似图像观察的时候，往往是对先观察到的图像有瞬时记忆性，而后在先观察到的图像的基础上，对后观察到的图像进行与先观察到的图像的差异性观察，而当前帧图像为先观察到的图像，预测帧图像为后观察到的图像，所以基于此特征对预测帧图像进行每一个分割区域的特征参数的计算，实现过程包括：

根据目标区域中的每个像素点及其在当前帧图像中相同位置的像素点的灰度值，确定目标区域的区域相似性权值，并根据当前帧图像的注视点位置与目标区域的欧式距离，确定目标区域的注视点可能性参数；

根据目标区域的区域相似性权值、注视点可能性参数和邻域对比参数，确定目标区域的特征参数。

具体的，当预测帧图像相对于当前帧图像为局部变化时，由于当前帧图像是正在观看的帧图像，因此利用现有的注视点估计算法获得当前帧图像的注视点位置，其具体获取过程属于现有技术，此处不再赘述。同时，确定预测帧图像中的各个分割区域的形心位置坐标，该形心位置坐标也就是各个分割区域的质心位置坐标，并确定当前帧图像的注视点位置在预测帧图像中的相同位置的点分别与各个分割区域的形心位置坐标之间的欧式距离，并将该欧式距离确定为当前帧图像的注视点位置分别与各个分割区域的欧式距离。基于此，同样将预测帧图像中的第个分割区域作为目标区域，则该目标区域的特征参数对应的计算公式为：

其中，为目标区域的特征参数，也就是预测帧图像中的第个分割区域的特征参数，为预测帧图像中的第个分割区域的第个像素点的灰度值，，为预测帧图像中的第个分割区域所有像素点的总个数；表示当前帧图像中与预测帧图像中的第个分割区域的第个像素点相同位置的像素点的灰度值；表示预测帧图像中的第个分割区域的邻域对比参数；为获取的当前帧图像的注视点位置坐标与预测帧图像中的第个分割区域的欧式距离，exp( )表示以自然常数e为底数的指数函数。

对于上述的目标区域的特征参数的计算过程分为三个部分：分别为区域相似性权值，邻域对比参数，以及注视点可能性参数。首先，邻域对比参数是用来量化预测帧图像的第个分割区域与邻近分割区域的对比程度，其确定逻辑已经在上述内容中进行了详细介绍，在此不做赘述；其次，注视点可能性参数是利用当前帧图像的注视点位置与预测帧图像的第个分割区域的形心位置的欧式距离计算而来，计算该参数的目的是，当预测帧图像的第个分割区域与当前帧图像的注视点较为接近时，其具有一定的优先级效应，即在多个分割区域中，各种参数相同的情况下，因为惯性思维，距离当前帧图像的注视点越接近的分割区域作为下一个注视点区域的优先级越高，对应的目标区域的特征参数越大；最后，区域相似性权值表征了在当前帧图像上的与预测帧图像的第个分割区域位置完全相同的区域与第个分割区域的相似性，相似性越大，说明当前帧图像与预测帧图像的差别越小，即使后续两个参数较大，该第个分割区域作为预测帧图像的注视点所在区域的可能性越小，对应的特征参数越小，反之则该第个分割区域作为预测帧图像的注视点所在区域的可能性越大，对应的特征参数越大。

步骤S4：根据预测帧图像中各个分割区域的特征参数，确定预测帧图像中预测注视点对应的分割区域，进而确定预测帧图像中的预测注视点的位置。

在通过上述步骤S3确定对于两种不同类型的预测帧图像的每一个分割区域的特征参数之后，可利用每一种类型的预测帧图像的每一个分割区域的特征参数进行区域注视点置信度的分别计算，进而确定预测帧图像中预测注视点对应的分割区域，实现过程包括：

当预测帧图像相对当前帧图像为局部变化时，根据预测帧图像中各个分割区域的特征参数，计算所有分割区域的特征参数的累加值，并将预测帧图像中每个分割区域的特征参数与所述特征参数的累加值的比值作为预测帧图像中对应分割区域的区域注视点置信度；

选择最大的区域注视点置信度所对应的分割区域作为预测帧图像中预测注视点对应的分割区域。

当预测帧图像相对当前帧图像为整体变化时，根据预测帧图像中各个分割区域的邻域对比参数，计算所有分割区域的邻域对比参数的累加值，并将预测帧图像中每个分割区域的邻域对比参数与所述邻域对比参数的累加值的比值作为预测帧图像中对应分割区域的区域注视点置信度；

选择最大的区域注视点置信度所对应的分割区域作为预测帧图像中预测注视点对应的分割区域。

具体的，对于局部变化类型的预测帧图像的每一个分割区域的注视点置信度的计算，以预测帧图像中的第个分割区域为例，其区域注视点置信度的计算方式为：

其中，表示预测帧图像中的第个分割区域的区域注视点置信度，也就是第帧灰度图像的第个分割区域的区域注视点置信度，表示第帧灰度图像的第个分割区域的特征参数，表示第帧灰度图像的分割区域的总个数。

对于整体变化类型的预测帧图像的分割区域的注视点置信度的计算，同样以预测帧图像中的第个分割区域为例，其区域注视点置信度的计算方式为：

其中，表示预测帧图像中的第个分割区域的区域注视点置信度，也就是第帧灰度图像的第个分割区域的区域注视点置信度，表示第帧灰度图像的第个分割区域的邻域对比参数，表示第帧灰度图像的分割区域的总个数。

对于上述的预测帧图像中的第个分割区域的区域注视点置信度，当第个分割区域的特征参数与所有分割区域的特征参数累加和的比值，或者第个分割区域的邻域对比参数与所有分割区域的邻域对比参数累加和的比值越大时，说明第个分割区域越应当是注视点对应的区域，此时区域注视点置信度就越大。

在分别对局部变化的预测帧图像或整体变化的预测帧图像中的每一个分割区域进行了注视点置信度的计算之后，利用注视点置信度对预测帧图像的注视点进行预测，实现过程为：对预测帧图像中所有分割区域的区域注视点置信度进行数据比较，选择预测帧图像中个分割区域的区域注视点置信度集合中的最大值所对应的分割区域作为预测帧图像注视点所在区域。

在确定预测帧图像中预测注视点对应的分割区域之后，将预测帧图像中预测注视点对应的分割区域的形心位置确定为预测帧图像中的预测注视点的位置。也就是，将预测帧图像中预测注视点的所在区域的质心位置确定为预测注视点的所在区域的预测注视点。

步骤S5：根据预测帧图像中的预测注视点的位置，对预测帧图像对应的静态帧图像进行高清区域和非高清区域渲染。

通过上述步骤S4对预测帧图像中的注视点的位置进行了预测，根据预测帧图像中已经预测出的注视点的位置进行预测帧图像也就是第帧灰度图像对应的静态帧图像的分区域高清以及非高清的渲染，具体过程为：当AR视频使用者真正进行第帧灰度图像对应的静态帧图像的观看时，利用上述方式进行第帧灰度图像的注视点预测，获得第帧灰度图像的预测注视点坐标（）。接着根据预测注视点坐标（）以如图2所示的方式对第帧灰度图像对应的静态帧图像进行非高清区域与高清区域的图像分区渲染。也就是，在第帧灰度图像对应的静态帧图像中，以预测注视点坐标（）为中心，以预先设置的设定长度为半径画圆，该设定长度可根据设备参数与个人实际情况进行调整，并将圆形区域作为第帧灰度图像对应的静态帧图像的高清渲染区域1，并将静态帧图像中高清渲染区域以外的其他区域作为非高清渲染区域2，并进行分别渲染，由于渲染的具体过程属于现有技术，此处不再赘述。

本发明通过获取VR视频的各静态帧图像的灰度图像，并对灰度图像进行图像分割，得到每帧灰度图像的各个分割区域。当预测帧图像为相对当前帧图像信息变化较大的帧图像时，通过对比当前帧图像和预测帧图像中的分割区域的灰度分布情况，确定局部相似性指标，进而确定预测帧图像相对前帧图像是局部变化还是整体变化。当预测帧图像为整体变化时，将预测帧图像中每个分割区域与其相邻的分割区域进行比对，从而确定预测帧图像中每个分割区域的邻域对比参数，并根据该邻域对比参数直接确定预测帧图像中预测注视点对应的分割区域。当预测帧图像为局部变化时，统筹考虑预测帧图像中的每个分割区域与当前帧图像的注视点位置的欧氏距离、每个分割区域的每个像素点与其在当前帧图像中相同位置的像素点的灰度值差异情况、以及每个分割区域的邻域对比参数，从而确定预测帧图像中的每个分割区域的特征参数，并根据该特征参数确定预测帧图像中预测注视点对应的分割区域。在确定预测帧图像中预测注视点对应的分割区域之后，确定预测注视点的位置，并根据预测注视点的位置，对预测帧图像对应的静态帧图像进行高清区域和非高清区域的准确渲染。本发明通过对相对当前帧图像为信息变化较大的预测帧图像进行更细致的分类，并根据每种类别分别确定其对应的注视点预测方式，可以实现预测帧图像的注视点的准确预测，提高了VR视频中的高清图像区域与非高清图像区域的渲染准确性，同时增大了算法鲁棒性。

需要说明的是：以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (9)

1.一种增强VR真实效果的图像优化处理方法，其特征在于，包括以下步骤：

获取VR视频的各静态帧图像的灰度图像，对灰度图像进行图像分割，从而得到每帧灰度图像的各个分割区域；

对于任意相邻两帧灰度图像，将前一帧灰度图像作为当前帧图像，并将后一帧灰度图像作为预测帧图像，根据当前帧图像中各个分割区域的像素点的灰度值，确定第一变异指标值，根据预测帧图像中各个分割区域的像素点的灰度值，确定第二变异指标值，对比第一变异指标值和第二变异指标值，确定局部相似性指标；

将预测帧图像中任意一个分割区域作为目标区域，确定目标区域的各个邻近分割区域，并根据目标区域及其各个邻近分割区域中像素点的灰度值和总个数，确定目标区域的邻域对比参数；根据局部相似性指标，确定预测帧图像相对当前帧图像为局部变化还是整体变化，若为局部变化，则确定获取的当前帧图像的注视点位置与目标区域的欧氏距离，并根据当前帧图像的注视点位置与目标区域的欧式距离、目标区域中的每个像素点及其在当前帧图像中相同位置的像素点的灰度值以及目标区域的邻域对比参数，确定目标区域的特征参数；

根据预测帧图像中各个分割区域的特征参数，确定预测帧图像中预测注视点对应的分割区域，进而确定预测帧图像中的预测注视点的位置；

根据预测帧图像中的预测注视点的位置，对预测帧图像对应的静态帧图像进行高清区域和非高清区域渲染；

根据当前帧图像中各个分割区域的像素点的灰度值，确定第一变异指标值，根据预测帧图像中各个分割区域的像素点的灰度值，确定第二变异指标值，对比第一变异指标值和第二变异指标值，确定局部相似性指标，包括：

根据当前帧图像中各个分割区域的像素点的灰度值，确定当前帧图像中各个分割区域的灰度值均值和灰度值方差，并根据预测帧图像中各个分割区域的像素点的灰度值，确定预测帧图像中各个分割区域的灰度值均值和灰度值方差；

根据当前帧图像中每个分割区域的灰度值均值和灰度值方差，确定当前帧图像中每个分割区域的变异系数，并根据预测帧图像中每个分割区域的灰度值均值和灰度值方差，确定预测帧图像中每个分割区域的变异系数；

将当前帧图像中各个分割区域的变异系数的平均值确定为第一变异指标值，将预测帧图像中各个分割区域的变异系数的平均值确定为第二变异指标值；

计算第二变异指标值和第一变异指标值的比值，并将所述比值与1的差值的绝对值确定为局部相似性指标。

2.根据权利要求1所述的一种增强VR真实效果的图像优化处理方法，其特征在于，该方法还包括：

若为整体变化，根据预测帧图像中各个分割区域的邻域对比参数，确定预测帧图像中预测注视点对应分割区域，进而确定预测帧图像中的预测注视点的位置；

根据预测帧图像中的预测注视点的位置，对预测帧图像对应的静态帧图像进行高清区域和非高清区域渲染。

3.根据权利要求1所述的一种增强VR真实效果的图像优化处理方法，其特征在于，确定目标区域的邻域对比参数，包括：

根据目标区域及其各个邻近分割区域中像素点的灰度值，确定目标区域及其各个邻近分割区域的灰度值均值和信息熵；

根据目标区域的灰度值均值、信息熵和目标区域中的所有像素点的总个数以及目标区域的每个邻近分割区域的灰度值均值、信息熵和每个邻近分割区域中的所有像素点的总个数，确定目标区域与其每个邻近分割区域之间的量化对比值；

根据目标区域中的所有像素点的总个数及其每个邻近分割区域中的所有像素点的总个数，确定目标区域与其每个邻近分割区域之间的数量权值；

将目标区域的任意一个邻近分割区域作为目标邻近分割区域，计算目标区域与目标邻近分割区域之间的量化对比值和数量权值的乘积值，并将所述乘积值确定为目标区域与目标邻近分割区域之间的邻域对比值，从而得到目标区域与其每个邻近分割区域之间的邻域对比值；

计算目标区域与其各个邻近分割区域之间的邻域对比值的平均值，从而得到目标区域的邻域对比参数。

4.根据权利要求1所述的一种增强VR真实效果的图像优化处理方法，其特征在于，确定目标区域的特征参数，包括：

根据目标区域中的每个像素点及其在当前帧图像中相同位置的像素点的灰度值，确定目标区域的区域相似性权值，并根据当前帧图像的注视点位置与目标区域的欧式距离，确定目标区域的注视点可能性参数；

根据目标区域的区域相似性权值、注视点可能性参数和邻域对比参数，确定目标区域的特征参数。

5.根据权利要求1所述的一种增强VR真实效果的图像优化处理方法，其特征在于，确定预测帧图像中预测注视点对应的分割区域，包括：

根据预测帧图像中各个分割区域的特征参数，计算所有分割区域的特征参数的累加值，并将预测帧图像中每个分割区域的特征参数与所述特征参数的累加值的比值作为预测帧图像中对应分割区域的区域注视点置信度；

选择最大的区域注视点置信度所对应的分割区域作为预测帧图像中预测注视点对应的分割区域。

6.根据权利要求2所述的一种增强VR真实效果的图像优化处理方法，其特征在于，确定预测帧图像中预测注视点对应分割区域，包括：

根据预测帧图像中各个分割区域的邻域对比参数，计算所有分割区域的邻域对比参数的累加值，并将预测帧图像中每个分割区域的邻域对比参数与所述邻域对比参数的累加值的比值作为预测帧图像中对应分割区域的区域注视点置信度；

选择最大的区域注视点置信度所对应的分割区域作为预测帧图像中预测注视点对应的分割区域。

7.根据权利要求1或2所述的一种增强VR真实效果的图像优化处理方法，其特征在于，确定预测帧图像中的预测注视点的位置，包括：

将预测帧图像中预测注视点对应的分割区域的形心位置确定为预测帧图像中的预测注视点的位置。

8.根据权利要求1所述的一种增强VR真实效果的图像优化处理方法，其特征在于，该方法还包括：

根据当前帧图像中各个像素点的灰度值，确定当前帧图像的信息熵，并根据预测帧图像中各个像素点的灰度值，确定预测帧图像的信息熵；

根据当前帧图像和预测帧图像的信息熵，确定信息差异度，当信息差异度大于信息差异阈值时，才根据当前帧图像和预测帧图像中各个分割区域的像素点的灰度值，确定局部相似性指标。

9.根据权利要求1所述的一种增强VR真实效果的图像优化处理方法，其特征在于，确定预测帧图像相对当前帧图像为局部变化还是整体变化，包括：

若局部相似性指标在设定范围内，则判定预测帧图像相对当前帧图像为局部变化，否则判定预测帧图像相对当前帧图像为整体变化。

Images