CN117095149B - 用于超高清vr现场制作的实时图像处理方法 - Google Patents

Abstract

本发明涉及图像边缘检测技术领域，具体涉及用于超高清VR现场制作的实时图像处理方法，该方法首先获取VR实时观测场景灰度图像中各个图块单元对应的表征边缘轮廓凸出程度的边缘轮廓显著度，和表征灰度纹理凸出程度的灰度纹理显著度；进一步结合根据图块单元对应的视觉焦点停留时间和距离人眼长度得到的关注程度参考权重，得到每个图块单元的理论渲染程度；进一步地结合各个图块单元与视觉焦点的图块单元的衬托相似程度，得到每个图块单元的真实渲染程度，使得本发明根据真实渲染程度进行超高清VR现场制作的实时图像处理的方法，能够使得用户的体验更好，对应的VR现场制作的实时图像处理的效果更加优秀。

Description

用于超高清VR现场制作的实时图像处理方法

技术领域

本发明涉及图像边缘检测技术领域，具体涉及用于超高清VR现场制作的实时图像处理方法。

背景技术

虚拟现实（Virtual Reality，VR）技术作为一种新兴的实用技术，在游戏、军事以及建筑领域的应用越来越广泛。VR技术所提供的良好的视觉信息能够使得人们沉浸在虚拟场景中，而低质量的视觉信息不仅带来不良体验，甚至会导致身体疾病，因此需要提高VR技术所提供的视觉信息的质量，以保证用户的体验。

以虚拟驾驶场景为例，用户在体验虚拟驾驶场景时，其视觉并不总是聚焦于路面信息，用户所观测到的场景图像中的所有物体均会对用户造成一定的影响或吸引，因此为了保证VR技术所提供的视觉信息的质量，现有技术通常对虚拟场景中用户可能观测到的所有物体均分配大量的资源进行渲染。但是对整个虚拟场景进行渲染的渲染量较大，系统负载量较高，可能会产生画面卡顿，影响用户体验；且无差别的渲染没有实际意义，可能会造成用户观感上的违和，甚至造成用户产生眩晕感。因此现有技术对虚拟场景中用户可能观测到的所有物体均分配大量的资源进行渲染的方法，会使得用户的体验较差，也即对VR现场制作的实时图像处理的效果较差。

发明内容

为了解决现有技术对虚拟场景中用户可能观测到的所有物体均分配大量的资源进行渲染的方法，会使得用户的体验较差，也即对VR现场制作的实时图像处理的效果较差的技术问题，本发明的目的在于提供一种用于超高清VR现场制作的实时图像处理方法，所采用的技术方案具体如下：

本发明提出了用于超高清VR现场制作的实时图像处理方法，所述方法包括：

获取VR实时观测场景灰度图像；

在所述VR实时观测场景灰度图像中，根据每个图块单元与其所在位置处的不同图层的图块单元之间的边缘轮廓分布差异情况，得到每个图块单元的边缘轮廓显著度；根据每个图块单元与其所在位置处的不同图层的图块单元之间的灰度分布差异情况，得到每个图块单元的灰度纹理显著度；

根据视觉焦点在每个图块单元所在位置处的停留时间，以及距离人眼的空间长度，得到每个图块单元的关注程度参考权重；根据所述关注程度参考权重，以及所述边缘轮廓显著度和所述灰度纹理显著度进行加权，得到每个图块单元对应的理论渲染程度；

根据各个图块单元与人眼视觉焦点对应的图块单元之间的边缘纹理差异整体分布情况，得到各个图块单元的衬托相似程度；根据所述理论渲染程度和所述衬托相似程度，得到每个图块单元的真实渲染程度；根据所述真实渲染程度进行超高清VR现场制作的实时图像处理。

进一步地，所述边缘轮廓显著度的获取方法包括：

在所述VR实时观测场景灰度图像中，将每个图块单元的边缘线上的每个边缘像素点与前一个边缘像素点之间连线的斜率，作为每个边缘像素点的第一参考斜率；将每个边缘像素点与后一个边缘像素点之间连线的斜率，作为每个边缘像素点的第二参考斜率；将所述第二参考斜率和所述第一参考斜率之间的差异，作为每个边缘像素点的参考斜率差异；根据每个图块单元的边缘线上所有边缘像素点的参考斜率差异的整体分布情况，得到每个图块单元的边缘轮廓特征值；

依次将所述VR实时观测场景灰度图像中的每个图块单元作为目标图块单元；将目标图块单元所处位置处的不同图层的图块单元，作为目标图块单元的对比图块单元；

将目标图块单元的边缘轮廓特征值与对比图块单元的边缘轮廓特征值之间的差异，作为目标图块单元的轮廓参考差异；将目标图块单元的边缘轮廓特征值与所述轮廓参考差异的乘积，作为目标图块单元的边缘轮廓显著度。

进一步地，所述灰度纹理显著度的获取方法包括：

在所述VR实时观测场景灰度图像中，根据目标图块单元中所有像素点的灰度值标准差与对比图块单元中所有像素点的灰度值标准差之间的比值，得到目标图块单元的参考纹理显著度；将所述参考纹理显著度与目标图块单元中所有像素点的灰度值均值之间的乘积，作为目标图块单元的灰度纹理显著度。

进一步地，所述关注程度参考权重的获取方法包括：

将人眼视觉焦点在所有图块单元所处位置的停留时间的累加和，作为参考时间长度；将人眼视觉焦点在每个图块单元所处位置的停留时间与所述参考时间长度的比值，作为每个图块单元的时间关注程度；

将所有图块单元所处位置距离人眼的空间长度的累加和，作为参考空间长度；将所述参考空间长度与每个图块单元所处位置距离人眼的空间长度的比值，作为每个图块单元的空间关注程度；

根据所述时间关注程度和所述空间关注程度，得到每个图块单元的关注程度参考权重，所述时间关注程度和所述空间关注程度均与所述关注程度参考权重呈正相关关系。

进一步地，所述理论渲染程度的计算公式包括：

其中，为第个图块单元的理论渲染程度，为第个图块单元的关注程度参考 权重，为第个图块单元的灰度纹理显著度，为第个图块单元的边缘轮廓显著度，为双曲正切函数。

进一步地，所述衬托相似程度的获取方法包括：

在每个图块单元中，将对应的边缘轮廓特征值的归一化值与其中所有像素点的灰度值均值的归一化值之间的和值，作为每个图块单元的轮廓纹理特征值；将人眼视觉焦点对应的图块单元，作为焦点图块单元；将焦点图块单元外的其他图块单元作为衬托图块单元；

将每个衬托图块单元的轮廓纹理特征值与焦点图块单元的轮廓纹理特征值之间的差异，作为每个衬托图块单元的轮廓纹理差异；将所述轮廓纹理差异的归一化值的负相关映射值，作为每个衬托图块单元的衬托相似程度；将预设衬托数值作为焦点图块单元的衬托相似程度。

进一步地，所述真实渲染程度的获取方法包括：

将所述理论渲染程度与所述衬托相似程度的乘积，作为每个图块单元的真实渲染程度。

进一步地，所述根据所述真实渲染程度进行超高清VR现场制作的实时图像处理包括：

将每个图块单元的真实渲染程度在所有图块单元的真实渲染程度的累加和中的占比，作为每个图块单元的渲染分配权重；根据所述渲染分配权重将渲染资源按照比例划分到每个图块单元中，进行超高清VR现场制作的实时图像处理。

进一步地，所述根据所述时间关注程度和所述空间关注程度，得到每个图块单元的关注程度参考权重的方法包括：

将所述时间关注程度与所述空间关注程度的乘积的归一化值，作为每个图块单元的关注程度参考权重。

进一步地，所述边缘轮廓特征值的获取方法包括：

将每个图块单元的边缘线上所有边缘像素点的参考斜率差异的方差，作为每个图块单元的边缘轮廓特征值。

本发明具有如下有益效果：

考虑到用户视觉的焦点在图块单元上的停留时间越长，对应的图块单元与人眼的距离越近，说明用户更加关注该图块单元的纹理细节信息；相反，当用户视觉的焦点在图块单元上停留的时间越短，对应的图块单元与人眼的距离越远，说明对应情况下的图块单元的轮廓信息更为重要；因此本发明通过计算得到的边缘轮廓显著度表征轮廓信息，通过计算得到的灰度纹理显著度表征纹理信息，进一步地根据停留时间和距离人眼空间长度得到的关注程度参考权重进行加权，得到每个图块单元的理论渲染程度。进一步地考虑到客观观测规律，对用户视觉焦点的图块单元相似程度较高的图块单元分配更多的权重，以避免用户观感上的违和，也即根据各个图块单元的衬托相似程度并结合理论渲染程度，得到的每个图块单元的真实渲染程度，最后根据真实渲染程度进行超高清VR现场制作的实时图像处理，使得用户的体验更好。综上所述，本发明根据真实渲染程度进行超高清VR现场制作的实时图像处理的方法，能够使得用户的体验更好，对应的VR现场制作的实时图像处理的效果更加优秀。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种用于超高清VR现场制作的实时图像处理方法流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种用于超高清VR现场制作的实时图像处理方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种用于超高清VR现场制作的实时图像处理方法的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种用于超高清VR现场制作的实时图像处理方法流程图，该方法包括：

步骤S1：获取VR实时观测场景灰度图像。

本发明实施例旨在提供一种用于超高清VR现场制作的实时图像处理方法，用于根据VR实时观测场景图像及其中的各个图块单元进行图像处理，得到每个图块单元的真实渲染程度，根据真实渲染程度进行超高清VR现场制作的实时图像处理。

因此本发明实施例首先获取VR实时观测场景灰度图像，具体地：通过VR摄影设备采集用户视角范围内能够观测到的所有物体组成的VR实时观测场景图像。在分析的角度上，VR实时观测场景图像为二维；但是在实际的VR场景中，VR实时观测场景图像中所观测到的各个图块单元在三维场景中均为一个三维模型；对应的VR实时观测场景灰度图像相当于在用户的视角观测各个图块单元的三维模型所对应的图像，也即在分析的角度上，VR实时观测场景图像为二维，而对应的每个图块单元在实际的VR场景中为三维模型。类似于通过相机拍摄得到的照片，将三维空间中的物体映射到二维图像中。考虑到后续需要借助各个图块单元的在二维VR实时观测场景图像中的灰度信息进行分析，因此将二维的VR实时观测场景图像灰度化，得到本发明实施例所需要的VR实时观测场景灰度图像。

步骤S2：在VR实时观测场景灰度图像中，根据每个图块单元与其所在位置处的不同图层的图块单元之间的边缘轮廓分布差异情况，得到每个图块单元的边缘轮廓显著度；根据每个图块单元与其所在位置处的不同图层的图块单元之间的灰度分布差异情况，得到每个图块单元的灰度纹理显著度。

考虑到对整个虚拟场景进行渲染的渲染量较大，系统负载量较高，可能会产生画面卡顿，影响用户体验；且无差别的渲染没有实际意义，可能会造成用户观感上的违和，甚至造成用户产生眩晕感。因此本发明实施例根据人眼的视觉特性和注视点进行分析，根据得到的每个图块单元的真实渲染程度来分配渲染资源，也即对人眼的视觉区域内的不同图块单元赋予不同的渲染资源，从而提高渲染效率的同时降低计算负载，并且提高用户的体验效果。

在用户视觉范围内，不同的图块单元对用户的吸引程度不同，也即用户对不同图块单元的关注程度不同，根据客观观测规律，需要将用户视线关注程度或吸引程度较高的图块单元的渲染程度提高，并且自适应降低对用户视线关注程度或吸引程度较低的图块单元的渲染程度。需要说明的是，每个图块单元对应VR实时观测场景中的每个物体，且在VR实时观测场景中每个物体均对应一个3D模型；因此能够直接在通过用户视角得到的二维VR实时观测场景灰度图像中直接得到每个图块单元对应的区域。

考虑到颜色鲜艳、对比度强烈且边缘清晰的物体更容易吸引人的注意，因此本发明实施例通过边缘轮廓和灰度纹理两个方面分析每个图块单元对用户的吸引程度。本发明实施例首先在边缘轮廓的角度上进行分析，在VR实时观测场景灰度图像中，根据每个图块单元与其所在位置处的不同图层的图块单元之间的边缘轮廓分布差异情况，得到每个图块单元的边缘轮廓显著度。

优选地，边缘轮廓显著度的获取方法包括：

在VR实时观测场景灰度图像中，将每个图块单元的边缘线上的每个边缘像素点与前一个边缘像素点之间连线的斜率，作为每个边缘像素点的第一参考斜率；将每个边缘像素点与后一个边缘像素点之间连线的斜率，作为每个边缘像素点的第二参考斜率；将第二参考斜率和第一参考斜率之间的差异，作为每个边缘像素点的参考斜率差异。根据第一参考斜率和第二参考斜率之间的差异得到的参考斜率差异能够得到每个边缘像素点两侧边缘像素点的分布情况，即参考斜率差异能够表征局部边缘的分布情况，也即表征局部边缘轮廓信息。并且对于每个边缘像素点而言，对应的参考斜率差异越大，说明对应的边缘像素点的局部边缘的变化越明显。因此进一步地根据每个图块单元的边缘线上所有边缘像素点的参考斜率差异的整体分布情况，得到每个图块单元的边缘轮廓特征值。通过边缘轮廓特征值表征每个图块单元的整体边缘轮廓信息。需要说明的是，当边缘像素点其中一侧不存在边缘像素点时，将不存在边缘像素点的一侧的参考斜率设置为0，并且获取边缘线和边缘像素点的方法为本领域技术人员所熟知的现有技术，在此不做进一步限定和赘述。

优选地，边缘轮廓特征值的获取方法包括：

将每个图块单元的边缘线上所有边缘像素点的参考斜率差异的方差，作为每个图块单元的边缘轮廓特征值。通过方差的表征边缘像素点对应参考斜率差异的整体离散程度，因此通过参考斜率差异的方差，能够更加准确地表征每个图块单元的整体边缘轮廓信息，也即通过参考斜率差异的方差得到的边缘轮廓特征值越大，说明对应的图块单元的边缘整体变化越明显，即对视线的吸引程度越高。

在本发明实施例中，依次将每个图块单元作为第个图块单元，则第个图块单元 的边缘轮廓特征值的获取方法在公式上表现为：

其中，为第个图块单元的边缘轮廓特征值，为第个图块单元的边缘线上第个边缘像素点的参考斜率差异，为第个图块单元的边缘线上所有边缘像素点的参考 斜率差异的均值，为第个图块单元的边缘线上的边缘像素点数量，也即获取边缘轮廓特 征值对应的公式即方差公式。

依次将VR实时观测场景灰度图像中的每个图块单元作为目标图块单元；将目标图块单元所处位置处的不同图层的图块单元，作为目标图块单元的对比图块单元；将目标图块单元的边缘轮廓特征值与对比图块单元的边缘轮廓特征值之间的差异，作为目标图块单元的轮廓参考差异。由于VR实时观测场景灰度图像是二维图像，其本质是将用户在三维VR实时观测场景中观测到的内容映射到二维图像中，因此每个图块单元对应位置通常对应多个图层，为了能够通过边缘轮廓信息结合对比度来表征每个图块单元的吸引程度，因此通过对相同位置但不同图层的图块单元之间进行比对，从而得到目标图块单元在轮廓边缘上的吸引程度，并且对应的边缘轮廓信息差异越大，也即轮廓参考差异越大，对用户的吸引程度越高。

需要说明的是，为了方便分析，本发明实施例对目标图块单元选取一个对比图块单元进行分析，考虑到目标图块单元对应位置的其他图层上可能不对应其他图块单元，也可能对应多个图块单元，因此为了能够对图块单元的分析更加准确：当目标图块单元对应位置的其他图层上不对应其他图块单元时，将在VR实时观测场景灰度图像中能够观测到且在三维空间中距离目标图块单元最近的图块单元作为对比图块单元；当目标图块单元对应位置的其他图层上对应多个图块单元时，将在VR实时观测场景灰度图像中能够观测到且在图像维度上距离目标图块单元最近的图块单元作为对比图块单元，以场景为例，若存在一个桌子，桌子上放置一个盘子，而盘子中存在一个苹果，若此时从苹果正上方观察苹果，以苹果对应的图块单元作为目标图块单元，则目标图块单元对应位置处的不同图层上会存在盘子和桌子两个图块单元，则在VR实时观测场景灰度图像中能够观测到且在图像维度上距离目标图块单元最近的图块单元为盘子，即以盘子为目标图块单元苹果对应的对比图块单元。

将目标图块单元的边缘轮廓特征值与轮廓参考差异的乘积，作为目标图块单元的边缘轮廓显著度。轮廓参考差异从对比边缘轮廓的角度上分析了目标图块单元的边缘轮廓对比特征，进一步地根据轮廓参考差异和边缘轮廓特征值对应的两个参数与吸引程度的关系，通过乘积的方式结合轮廓参考差异和边缘轮廓特征值，使得得到的边缘轮廓显著度在边缘轮廓的角度上对吸引程度的表征更加准确。

在本发明实施例中，第个图块单元的边缘轮廓显著度的获取方法在公式上表现 为：

其中，为第个图块单元的边缘轮廓显著度，为第个图块单元边缘轮廓特征 值，为第个图块单元的对比图块单元的边缘轮廓特征值，为绝对值符号。

进一步地在灰度纹理的角度上进行分析，本发明实施例根据每个图块单元与其所在位置处的不同图层的图块单元之间的灰度分布差异情况，得到每个图块单元的灰度纹理显著度。

优选地，灰度纹理显著度的获取方法包括：

在VR实时观测场景灰度图像中，根据目标图块单元中所有像素点的灰度值标准差与对比图块单元中所有像素点的灰度值标准差之间的比值，得到目标图块单元的参考纹理显著度；将参考纹理显著度与目标图块单元中所有像素点的灰度值均值之间的乘积，作为目标图块单元的灰度纹理显著度。与边缘轮廓显著度的获取原理类似，通过目标图块单元本身的特征，以及目标图块单元与对比图块单元两者之间的差异特征两个方面结合进行分析。

通过目标图块单元中所有像素点的灰度值均值表征其本身的灰度纹理特征，对应的灰度值均值越大，说明目标图块单元的颜色越突出，对应的三维VR实时观测场景中对应的颜色越鲜艳。但是颜色鲜艳不足以表示目标图块单元的视线吸引程度，类似于花朵和绿叶，在绿叶的衬托下，花朵才显得更为耀眼。因此进一步地将目标图块单元和对比图块单元进行对比，对应的灰度值标准差越大，说明目标图块单元的灰度分布越混乱，对应的灰度纹理越突出。也即目标图块单元对应的灰度值均值越大，目标图块单元与对比图块单元之间的灰度值标准差的比值越大，对应的目标图块单元在灰度纹理上对视线的吸引程度越大，因此通过乘积的方式结合参考纹理显著度和目标图块单元的灰度值均值，得到的灰度纹理显著度越大，说明目标图块单元的吸引程度越大。

在本发明实施例中，第个图块单元的灰度纹理显著度的获取方法在公式上表现 为：

其中，为第个图块单元的灰度纹理显著度，为第个图块单元中第个像素点 的灰度值，为第个图块单元中的像素点数量，为第个图块单元中所有像素点的灰度 值标准差，为第个图块单元对应的对比图块单元中所有像素点的灰度值标准差；为预 设调节参数，用于防止分母为0。即第个图块单元的参考纹理显著度。

步骤S3：根据视觉焦点在每个图块单元所在位置处的停留时间，以及距离人眼的空间长度，得到每个图块单元的关注程度参考权重；根据关注程度参考权重，以及边缘轮廓显著度和灰度纹理显著度进行加权，得到每个图块单元对应的理论渲染程度。

至此得到VR实时观测场景灰度图像中各个图块单元对应表征边缘轮廓信息的边缘轮廓显著度，以及表征灰度纹理信息的灰度纹理显著度。但是在实际VR环境中，用户视觉范围内各个图块单元的边缘轮廓信息和灰度纹理信息均会对视觉产生一定的吸引或影响，但是两者所表征的信息不同，其作用也各不相同。根据人眼观测的特性，用户通常只会对其视觉焦点处的图块单元的观察较为仔细，且观察的时间越长，距离用户的眼球越近，观察的仔细程度越高，而灰度纹理显著度能够表征每个图块单元的纹理细节的显著程度，因此对应的图块单元的灰度纹理信息对用户的吸引程度更大；相反地，观察的时间越短，距离用户的眼球越远，则说明用户对对应的图块单元的纹理细节关注较少，此时对应的图块单元的边缘轮廓信息对用户的吸引程度更大。因此为了进一步地对图块单元的吸引程度进行进一步地分析，本发明实施例根据视觉焦点在每个图块单元所在位置处的停留时间，以及距离人眼的空间长度，得到每个图块单元的关注程度参考权重。也即通过关注程度参考权重将停留时间和距离人眼的空间长度结合，从而进一步地分析每个图块单元的吸引程度。

优选地，关注程度参考权重的获取方法包括：

将人眼视觉焦点在所有图块单元所处位置的停留时间的累加和，作为参考时间长度；将人眼视觉焦点在每个图块单元所处位置的停留时间与参考时间长度的比值，作为每个图块单元的时间关注程度。对于每个图块单元而言，对应的停留时间越长，说明图块单元的关注程度越高，对其纹理细节的观察越仔细，进一步地通过停留时间与参考时间长度的比值，表征每个图块单元对应停留时间的占比，从而使得时间关注程度的取值范围限定在0到1范围内，实现量纲的统一。需要说明的是，在VR实时观测场景中，VR设备通常能够根据用户的头部和眼睛的位置或移动，推断出用户的视觉焦点，进一步地将视觉焦点映射到二维的VR实时观测场景灰度图像中即可得到对应的人眼视觉焦点位置。此外需要说明的是，为了减少计算量并且考虑到客观观测因素，本发明实施例将所统计停留时间的时间范围设置为2h，也即统计当前时刻之前两个小时内的人眼视觉焦点在各个图块单元上的停留时间。

与停留时间的分析过程类似，计算空间关注程度时也是通过每个图块单元对应的空间长度的占比得到的，但是考虑到图块单元距离人眼的距离越近，用户对其纹理细节的观察越仔细，因此需要将每个图块单元对应的空间长度占比进行负相关映射，来进一步地获取反映关注程度的关注程度参考权重，而本发明实施例通过倒数的形式进行负相关映射，因此本发明实施例将所有图块单元所处位置距离人眼的空间长度的累加和，作为参考空间长度；将参考空间长度与每个图块单元所处位置距离人眼的空间长度的比值，作为每个图块单元的空间关注程度。需要说明的是，在计算图块单元的距离时，以每个图块单元的距离眼球最近的点进行距离计算，实施者也可通过选取其他的点进行距离计算，例如每个图块单元的质心等，在此不做进一步赘述。

由于图块单元对应的时间关注程度越大，空间关注程度越大时，说明用户对该图块单元的整体关注程度越高，因此本发明实施例根据时间关注程度和空间关注程度，得到每个图块单元的关注程度参考权重，时间关注程度和空间关注程度均与关注程度参考权重呈正相关关系。

优选地，根据时间关注程度和空间关注程度，得到每个图块单元的关注程度参考权重的方法包括：

为了方便后续分析，因此将关注程度参考权重的数值限定在一定范围内，本发明实施例将时间关注程度与空间关注程度的乘积的归一化值，作为每个图块单元的关注程度参考权重。

在本发明实施例中，第个图块单元的关注程度参考权重的获取方法在公式上表 现为：

其中，为第个图块单元的关注程度参考权重，为人眼视觉焦点在第个图块单 元所处位置的停留时间，为人眼视觉焦点在第个图块单元所处位置的停留时间，为VR 实时观测场景灰度图像中图块单元的数量，为第个图块单元所处位置距离人眼的空间 长度，为第个图块单元所处位置距离人眼的空间长度，为归一化函数，为 参考时间长度，为参考空间长度，为第个图块单元的时间关注程度，为 第个图块单元的空间关注程度。需要说明的是，在本发明实施例中所有的归一化函数的归 一化方法均采用线性归一化，实施者也可根据具体实施环境自行更改，在此不做进一步赘 述。

本发明实施例根据关注程度参考权重，以及边缘轮廓显著度和灰度纹理显著度进行加权，得到每个图块单元对应的理论渲染程度。

优选地，第个图块单元的理论渲染程度的计算公式包括：

其中，为第个图块单元的理论渲染程度，为第个图块单元的关注程度参考 权重，为第个图块单元的灰度纹理显著度，为第个图块单元的边缘轮廓显著度，为双曲正切函数。

由于关注程度参考权重表征人眼对图块单元的关注程度，而关注程度越高，说明人眼对其纹理细节的观测越仔细，此时对应的灰度纹理显著度对应的吸引程度越重要，也即将关注程度参考权重与灰度纹理显著度进行加权。而当对应的图块单元的关注程度参考权重较低时，说明用户对图块单元的关注程度较低，也即对应的图块单元通常位于人眼视觉焦点外的区域，也即用户对关注程度参考权重的细节纹理观测较少，通常位于人眼余光观测区域，因此此时对应图块单元的边缘轮廓更能够吸引用户的注意，也即对应的关注程度参考权重越小，对应边缘轮廓显著度的权重越大。并且由于关注程度参考权重为归一化后的数值，因此将数值1减去关注程度参考权重的数值与边缘轮廓显著度进行加权。进一步地根据得到的理论渲染程度进一步地进行渲染资源的合理分配。

步骤S4：根据各个图块单元与人眼视觉焦点对应的图块单元之间的边缘纹理差异整体分布情况，得到各个图块单元的衬托相似程度；根据理论渲染程度和衬托相似程度，得到每个图块单元的真实渲染程度；根据真实渲染程度进行超高清VR现场制作的实时图像处理。

至此，得到每个图块单元的理论渲染程度，若直接将理论渲染程度作为渲染资源分配的直接依据，那么可能会出现由于视觉可达区域内的图块单元对聚焦处的图块单元的衬托效果较差的情况，导致视觉焦点处的图块单元就像在整幅图像中被“抠”出来一样，使得用户视角下的画面出现较为严重的违和感，造成用户的体验较差，因此进一步地考虑对视线可达区域中与聚焦处的图块单元的相似度较高的图块单元给予更高的渲染权重，从而增强虚拟画面的连贯性，避免用户观感上的违和，本发明实施例根据各个图块单元与人眼视觉焦点对应的图块单元之间的边缘纹理差异整体分布情况，得到各个图块单元的衬托相似程度。

优选地，衬托相似程度的获取方法包括：

在每个图块单元中，将对应的边缘轮廓特征值的归一化值与其中所有像素点的灰度值均值的归一化值之间的和值，作为每个图块单元的轮廓纹理特征值。也即通过轮廓纹理特征值将每个图块单元的边缘轮廓信息和灰度纹理信息结合。需要说明的是，实施者也可通过乘积的方式得到的轮廓纹理特征值，在此不做进一步赘述。

在本发明实施例中，第个图块单元的轮廓纹理特征值的计算公式包括：

其中，为第个图块单元的轮廓纹理特征值，为第个图块单元中所有像素点的 灰度值均值，为第个图块单元的边缘轮廓特征值，为归一化函数。

将人眼视觉焦点对应的图块单元，作为焦点图块单元；将焦点图块单元外的其他图块单元作为衬托图块单元。将每个衬托图块单元的轮廓纹理特征值与焦点图块单元的轮廓纹理特征值之间的差异，作为每个衬托图块单元的轮廓纹理差异。对应的轮廓纹理差异越小，说明衬托图块单元与焦点图块单元之间的边缘纹理越相似，也即对应的衬托图块单元对焦点图块单元的衬托的贡献程度越高。因此进一步地将轮廓纹理差异的归一化值的负相关映射值，作为每个衬托图块单元的衬托相似程度；将预设衬托数值作为焦点图块单元的衬托相似程度。对应的衬托相似程度越大，则对焦点图块单元的贡献程度越高，也即对应的衬托图块单元的渲染分配资源越多。在本发明实施例中，预设衬托数值设置为1，实施者可根据具体实施环境自行调整。

在本发明实施例中，依次将每个衬托图块单元作为第个衬托图块单元，则第个 衬托图块单元的衬托相似程度的获取方法在公式上表现为：

其中，为第个衬托图块单元的衬托相似程度，为焦点图块单元的轮廓纹理 特征值，为第个衬托图块单元的轮廓纹理特征值，为VR实时观测场景灰度图像中衬托 图块单元的数量，为第个衬托图块单元的轮廓纹理特征值。为第个衬托图块 单元的轮廓纹理差异，为所有衬托图块单元的轮廓纹理差异累加值，也即为第个衬托图块单元的轮廓纹理差异的归一化值，进一步地通过数值1减去对 应的归一化值进行负相关映射，得到本发明实施例所需要的第个衬托图块单元的衬托相 似程度。

进一步地结合理论渲染程度，根据理论渲染程度和衬托相似程度，得到每个图块单元的真实渲染程度。

优选地，真实渲染程度的获取方法包括：

由于理论渲染程度越大，衬托相似程度越大时，对应的所需要的渲染程度越大。因此本发明实施例将理论渲染程度与衬托相似程度的乘积，作为每个图块单元的真实渲染程度。

在本发明实施例中，第个图块单元的真实渲染程度的计算公式包括：

其中，为第个图块单元的真实渲染程度，为第个图块单元的衬托相似程度，为第个图块单元的理论渲染程度。

最后根据真实渲染程度进行超高清VR现场制作的实时图像处理。

优选地，根据真实渲染程度进行超高清VR现场制作的实时图像处理包括：

将每个图块单元的真实渲染程度在所有图块单元的真实渲染程度的累加和中的占比，作为每个图块单元的渲染分配权重；根据渲染分配权重将渲染资源按照比例划分到每个图块单元中，进行超高清VR现场制作的实时图像处理。需要说明的是，实施者可根据系统的负载自行调整所要分配的渲染资源总量，在此不做进一步赘述。

在本发明实施例中，第个图块单元的渲染分配权重的获取方法在公式上表现为：

其中，为第个图块单元的渲染分配权重，为第个图块单元的真实渲染程度，为第个图块单元的真实渲染程度，为VR实时观测场景灰度图像中图块单元的总数量。

综上所述，本发明首先获取VR实时观测场景灰度图像中各个图块单元对应的表征边缘轮廓凸出程度的边缘轮廓显著度，和表征灰度纹理凸出程度的灰度纹理显著度；进一步结合根据图块单元对应的视觉焦点停留时间和距离人眼长度得到的关注程度参考权重，得到每个图块单元的理论渲染程度；进一步地结合各个图块单元与视觉焦点的图块单元的衬托相似程度，得到每个图块单元的真实渲染程度，使得本发明根据真实渲染程度进行超高清VR现场制作的实时图像处理的方法，能够使得用户的体验更好，对应的VR现场制作的实时图像处理的效果更加优秀。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

Claims (8)

1.用于超高清VR现场制作的实时图像处理方法，其特征在于，所述方法包括：

获取VR实时观测场景灰度图像；

在所述VR实时观测场景灰度图像中，根据每个图块单元与其所在位置处的不同图层的图块单元之间的边缘轮廓分布差异情况，得到每个图块单元的边缘轮廓显著度；根据每个图块单元与其所在位置处的不同图层的图块单元之间的灰度分布差异情况，得到每个图块单元的灰度纹理显著度；

根据视觉焦点在每个图块单元所在位置处的停留时间，以及距离人眼的空间长度，得到每个图块单元的关注程度参考权重；根据所述关注程度参考权重，以及所述边缘轮廓显著度和所述灰度纹理显著度进行加权，得到每个图块单元对应的理论渲染程度；

根据各个图块单元与人眼视觉焦点对应的图块单元之间的边缘纹理差异整体分布情况，得到各个图块单元的衬托相似程度；根据所述理论渲染程度和所述衬托相似程度，得到每个图块单元的真实渲染程度；根据所述真实渲染程度进行超高清VR现场制作的实时图像处理；

所述边缘轮廓显著度的获取方法包括：

在所述VR实时观测场景灰度图像中，将每个图块单元的边缘线上的每个边缘像素点与前一个边缘像素点之间连线的斜率，作为每个边缘像素点的第一参考斜率；将每个边缘像素点与后一个边缘像素点之间连线的斜率，作为每个边缘像素点的第二参考斜率；将所述第二参考斜率和所述第一参考斜率之间的差异，作为每个边缘像素点的参考斜率差异；根据每个图块单元的边缘线上所有边缘像素点的参考斜率差异的整体分布情况，得到每个图块单元的边缘轮廓特征值；

依次将所述VR实时观测场景灰度图像中的每个图块单元作为目标图块单元；将目标图块单元所处位置处的不同图层的图块单元，作为目标图块单元的对比图块单元；

将目标图块单元的边缘轮廓特征值与对比图块单元的边缘轮廓特征值之间的差异，作为目标图块单元的轮廓参考差异；将目标图块单元的边缘轮廓特征值与所述轮廓参考差异的乘积，作为目标图块单元的边缘轮廓显著度；

所述衬托相似程度的获取方法包括：

在每个图块单元中，将对应的边缘轮廓特征值的归一化值与其中所有像素点的灰度值均值的归一化值之间的和值，作为每个图块单元的轮廓纹理特征值；将人眼视觉焦点对应的图块单元，作为焦点图块单元；将焦点图块单元外的其他图块单元作为衬托图块单元；

将每个衬托图块单元的轮廓纹理特征值与焦点图块单元的轮廓纹理特征值之间的差异，作为每个衬托图块单元的轮廓纹理差异；将所述轮廓纹理差异的归一化值的负相关映射值，作为每个衬托图块单元的衬托相似程度；将预设衬托数值作为焦点图块单元的衬托相似程度。

2.根据权利要求1所述的用于超高清VR现场制作的实时图像处理方法，其特征在于，所述灰度纹理显著度的获取方法包括：

在所述VR实时观测场景灰度图像中，根据目标图块单元中所有像素点的灰度值标准差与对比图块单元中所有像素点的灰度值标准差之间的比值，得到目标图块单元的参考纹理显著度；将所述参考纹理显著度与目标图块单元中所有像素点的灰度值均值之间的乘积，作为目标图块单元的灰度纹理显著度。

3.根据权利要求1所述的用于超高清VR现场制作的实时图像处理方法，其特征在于，所述关注程度参考权重的获取方法包括：

将人眼视觉焦点在所有图块单元所处位置的停留时间的累加和，作为参考时间长度；将人眼视觉焦点在每个图块单元所处位置的停留时间与所述参考时间长度的比值，作为每个图块单元的时间关注程度；

将所有图块单元所处位置距离人眼的空间长度的累加和，作为参考空间长度；将所述参考空间长度与每个图块单元所处位置距离人眼的空间长度的比值，作为每个图块单元的空间关注程度；

根据所述时间关注程度和所述空间关注程度，得到每个图块单元的关注程度参考权重，所述时间关注程度和所述空间关注程度均与所述关注程度参考权重呈正相关关系。

4.根据权利要求1所述的用于超高清VR现场制作的实时图像处理方法，其特征在于，所述理论渲染程度的计算公式包括：

，

其中，为第/>个图块单元的理论渲染程度，/>为第/>个图块单元的关注程度参考权重，为第/>个图块单元的灰度纹理显著度，/>为第/>个图块单元的边缘轮廓显著度，/>为双曲正切函数。

5.根据权利要求1所述的用于超高清VR现场制作的实时图像处理方法，其特征在于，所述真实渲染程度的获取方法包括：

将所述理论渲染程度与所述衬托相似程度的乘积，作为每个图块单元的真实渲染程度。

6.根据权利要求1所述的用于超高清VR现场制作的实时图像处理方法，其特征在于，所述根据所述真实渲染程度进行超高清VR现场制作的实时图像处理包括：

将每个图块单元的真实渲染程度在所有图块单元的真实渲染程度的累加和中的占比，作为每个图块单元的渲染分配权重；根据所述渲染分配权重将渲染资源按照比例划分到每个图块单元中，进行超高清VR现场制作的实时图像处理。

7.根据权利要求3所述的用于超高清VR现场制作的实时图像处理方法，其特征在于，所述根据所述时间关注程度和所述空间关注程度，得到每个图块单元的关注程度参考权重的方法包括：

将所述时间关注程度与所述空间关注程度的乘积的归一化值，作为每个图块单元的关注程度参考权重。

8.根据权利要求1所述的用于超高清VR现场制作的实时图像处理方法，其特征在于，所述边缘轮廓特征值的获取方法包括：

将每个图块单元的边缘线上所有边缘像素点的参考斜率差异的方差，作为每个图块单元的边缘轮廓特征值。