CN115272142B - 一种沉浸式驾驶模拟器的场景图像预处理方法 - Google Patents

Abstract

本发明涉及图像数据处理技术领域，具体涉及一种沉浸式驾驶模拟器的场景图像预处理方法。该方法获取VR画面每一帧的静态视频图像，以图像上所有物体的边缘轮廓为标定对象，根据驾驶公路、远近景、梯度强弱三个维度确定不同物体的自适应增强尺度。根据增强尺度，对不同区域的图像分别进行线性增强。本发明针对三维空间场景投放在二维图像中的人眼视感差异，包括驾驶时注意力产生的视差以及远近景视差来自适应增强尺度，使增强效果更加灵活、增强后的虚拟画面更具有层次感，让用户更真切的融入驾驶场景中，提升用户体验。

Description

一种沉浸式驾驶模拟器的场景图像预处理方法

技术领域

本发明涉及图像数据处理技术领域，具体涉及一种沉浸式驾驶模拟器的场景图像预处理方法。

背景技术

沉浸式自动驾驶主要通过VR控制器和VR投影设备来实现，其中VR控制器配置为获得传感器的输入，渲染虚拟内容，将虚拟内容的运动或加速与车辆同步，并将虚拟内容传送至VR投影设备，提供虚拟现实替代真实的环境。目前影响VR用户自动驾驶体验的主要原因是大脑接收到的行驶场景变化与身体反应不协调导致的眩晕呕吐。

现有可以通过降低画面质量来改善因为帧数卡顿造成的用户不良反应问题，但降低画面质量的同时也会牺牲用户体验。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种沉浸式驾驶模拟器的场景图像预处理方法，所采用的技术方案具体如下：

本发明提供了一种沉浸式驾驶模拟器的场景图像预处理方法，所述方法包括：

获取VR场景中的静态帧图像，静态帧图像中包括公路区域与背景区域；对静态帧图像进行边缘检测，获得多条边缘轮廓；分别对公路区域和背景区域中的边缘轮廓设置不同第一增强尺度参数，相同区域中的边缘轮廓的第一增强尺度参数相同；

以静态帧图像中驾驶人员位置点作为参考点，获得参考点与每条边缘轮廓上的每个边缘点的连线；根据连线角度和连线距离获得每条边缘轮廓的第二增强尺度参数；

根据每条边缘轮廓的平均梯度获得第三增强尺度参数，第三增强尺度参数与平均梯度呈负相关关系；

根据第一增强尺度参数、第二增强尺度参数和第三增强尺度参数获得最终增强尺度参数；利用最终增强尺度参数对每个边缘轮廓进行增强，获得增前后的静态帧图像。

进一步地，所述获取VR场景中的静态帧图像后还包括：

将静态帧图像进行灰度化处理，并输入至语义分割网络中，获得公路区域和背景区域。

进一步地，所述分别对公路区域和背景区域中的边缘轮廓设置不同第一增强尺度参数包括：

公路区域中边缘轮廓的第一增强尺度参数大于背景区域中边缘轮廓的第一增强尺度参数。

进一步地，所述根据连线角度和连线距离获得每条边缘轮廓的第二增强尺度参数包括：

根据第二增强尺度参数公式获得第二增强尺度参数，第二增强尺度参数公式包括：

其中，为第个边缘轮廓的a类增强尺度参考值，为第个边缘轮廓的b类增强尺度参考值，为第个边缘轮廓的第二增强尺度参数，为双曲正切归一化函数，为第个边缘轮廓的像素点数量，为第个边缘轮廓上第个像素点对应的连线角度，为以自然常数为底的指数函数，为第个边缘轮廓上第个像素点对应的连线距离。

进一步地，所述根据每条边缘轮廓的平均梯度获得第三增强尺度参数包括：

将平均梯度作为以自然常数为底的指数函数的幂，获得第三增强尺度参数。

进一步地，所述根据第一增强尺度参数、第二增强尺度参数和第三增强尺度参数获得最终增强尺度参数包括：

最根据最终增强尺度参数公式获得最终增强尺度参数，最终增强尺度参数公式包括：

其中，为第个边缘轮廓的最终增强尺度参数，为第个边缘轮廓的第一增强尺度参数，为第个边缘轮廓的第二增强尺度参数，为第个边缘轮廓的第三增强尺度参数，为第一调节权重，为第二调节权重。

进一步地，所述利用最终增强尺度参数对每个边缘轮廓进行增强包括：

根据增强公式进行增强，增强公式包括：

其中，为第个边缘轮廓增强后的像素值信息，为第个边缘轮廓的最终增强尺度参数，为第个边缘轮廓增强前的像素值信息，为增强常数。

本发明具有如下有益效果：

本发明实施例针对VR虚拟画面传输占用大产生画面卡顿，导致用户不良反应的问题，提出降低画质传输，在传输完成后再增加预处理模块进行增强，即用内存占用较小、传输较快的低画质图像先完成传输，再进行增强，就能大幅降低画面卡顿问题。常规的增强算法仅仅基于二维平面无差别增强，导致增强效果不够理想，无法体现三维空间的远近层次感，本发明针对三维空间场景投放在二维图像中的人眼视感差异，包括驾驶时注意力产生的视差以及远近景视差来自适应增强尺度，使增强效果更加灵活、增强后的虚拟画面更具有层次感，让用户更真切的融入驾驶场景中，提升用户体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种沉浸式驾驶模拟器的场景图像预处理方法流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种沉浸式驾驶模拟器的场景图像预处理方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

本发明实施例所针对的情景为：目前影响VR用户自动驾驶体验的主要原因是大脑接收到的行驶场景变化与身体反应不协调导致的眩晕呕吐。现有可以通过降低画面质量来改善因为帧数卡顿造成的用户不良反应问题，但降低画面质量的同时也会牺牲用户体验。

下面结合附图具体的说明本发明所提供的一种沉浸式驾驶模拟器的场景图像预处理方法的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种沉浸式驾驶模拟器的场景图像预处理方法流程图，该方法包括：

步骤S1：获取VR场景中的静态帧图像，静态帧图像中包括公路区域与背景区域；对静态帧图像进行边缘检测，获得多条边缘轮廓；分别对公路区域和背景区域中的边缘轮廓设置不同第一增强尺度参数，相同区域中的边缘轮廓的第一增强尺度参数相同。

对输入VR模拟器中的视频画面，进行静态帧图像采集，获取VR场景中的静态帧图像。

在降低画面质量后，输入用户端的VR图像会存在对比度、清晰度降低、切丢失较多细节，但是图像内存占用会大幅缩减，以保证视频的流畅性。我们增加一个预处理模块，将输入完成的VR图像进行图像预处理增强，就可以在保证流畅度的同时，尽可能还原VR图像质量，提高用户模拟驾驶体验。

图像增强的定义非常广泛，例如改善图像颜色、亮度、对比度、噪声等等，但是VR图像输入后需要在预处理模块中迅速进行处理，否则会造成用户画面体验有延迟，因此我们需要在压缩运算时间的同时，尽可能提高画面质量。

因此将已采集的静态帧图像进行灰度化处理，减少多余的图像信息，加快算法运行速度。进一步地，考虑到静态帧图像中包括公路区域与背景区域，将灰度化处理过的静态帧图像输入至语义分割网络中，获得公路区域和背景区域。

考虑到具体场景为驾驶模拟，我们所处理的静态帧图像其实为三维画面在二维图像上的投射，常规增强算法对图像的增强仅在二维空间的角度进行，图像上所有区域的增强尺度都一样，无法像人眼一样感知三维的远近信息，因此可能导致图像的层次感降低，大幅降低用户驾驶体验。人眼感知图像时，对于边缘轮廓的敏感度远高于图像的内部信息，例如著名的卡尼莎三角实验，在卡尼莎三角实验中我们人眼会看到一个白色的三角形，但实际上这个三角形并不存在，而是由其他图像的组合产生的错觉轮廓，这一实验验证了人的大脑对于物体轮廓惊人的感知力和修复力。我们的大脑非常擅长从混乱中确定秩序，当然也更喜欢有秩序的东西。对于一张图像而言，构建其秩序的元素就是图像上所有物体的轮廓线，当图像边缘的清晰度很低时，大脑对于图像的感知力就会下降，因此我们在增强图像时，需要优先考虑轮廓部分的增强需求，并以轮廓线的增强需求作为导向，确定其局部图像的增强尺度。

在本发明实施例中，利用Canny边缘检测算法进行边缘检测，获得静态帧图像上的多条边缘轮廓。然后将边缘图像与原图像进行叠加，即相当于在原图像上标记了所有物体的边缘轮廓。根据边缘轮廓所在公路区域或者背景区域，适应不同的第一增强尺度参数。即分别对公路区域和背景区域中的边缘轮廓设置不同第一增强尺度参数，相同区域中的边缘轮廓的第一增强尺度参数相同。优选的，公路区域中边缘轮廓的第一增强尺度参数大于背景区域中边缘轮廓的第一增强尺度参数。在本发明实施例中，公路区域中边缘轮廓的第一增强尺度参数设置为0.7，背景区域中边缘轮廓的第一增强尺度参数设置为0.3，可根据实际网络卡顿情况、以及降低的画质程度自行调整。

步骤S2：以静态帧图像中驾驶人员位置点作为参考点，获得参考点与每条边缘轮廓上的每个边缘点的连线；根据连线角度和连线距离获得每条边缘轮廓的第二增强尺度参数。

在处理模拟驾驶场景时，由于人的注意力会集中在前方的公路上，为了更好的贴合用户体验，并减少运算量，我们需要遵循“远取其势，近取其神”，远景画面的处理，一般重在“取势”，不细琢细节。而近景的需要体现更多细节信息。因此我们需要区分近景和远景元素以便于后续确定自适应增强尺度，本发明以当前路面中心点为参考点，参考点距离每个图像边缘点的连线特征可以体现图像中近景元素以及远景元素。根据连线角度和连线距离获得每条边缘轮廓的第二增强尺度参数包括：

根据第二增强尺度参数公式获得第二增强尺度参数，第二增强尺度参数公式包括：

其中，为第个边缘轮廓的a类增强尺度参考值，为第个边缘轮廓的b类增强尺度参考值，为第个边缘轮廓的第二增强尺度参数，为双曲正切归一化函数，为第个边缘轮廓的像素点数量，为第个边缘轮廓上第个像素点对应的连线角度，为以自然常数为底的指数函数，为第个边缘轮廓上第个像素点对应的连线距离。

以参考点作为用户的视线出发点，然后对每一个独立的边缘轮廓线上的边缘点进行连线。在三维的空间中，场景从参考点处向远处方向延伸，而在静态图像中，空间的延伸方向永远在参考点的上方，因此每个轮廓线作为某个物体的位置标识，其上所有边缘点与参考点的连线角度与90度相差结果加和并求均，得到的角度越小，且连线长度越大，则代表该边缘轮廓内的物体所在区域为远景区域，仅需要较小的增强尺度即可。

该公式利用驾驶模拟场景的视角特征，以不同物体的边缘为标定点，与驾驶者视觉参考点之间的角度、距离特征，构建了两类增强尺度参考值，得到第二增强尺度，算法运行简单，且在静态帧图像中基本可以涵盖图像的远景、近景特征，为自适应增强尺度提供了重要依据。

在该公式中，为参考点与第条轮廓线上所有边缘点连线与90°的差值之和求均，该差值均值越小，则代表该轮廓线内越可能为远景物体，而远景物体的增强尺度较小，因此，为将上述连线角度与90°的差值均值开绝对值，并与90°相比，得到该角度差值均值对于90°的趋向程度，然后为利用双曲正切函数在不改变正比例关系的情况下进行归一化，目的在于缩小的取值结果。同样为参考点至第条轮廓线上所有边缘点连线的平均长度，该平均长度越长，则越可能为远景轮廓，为利用指数函数反比例归一化，平均长度越长，则越趋向远景，则增强尺度应该越小。

步骤S3：根据每条边缘轮廓的平均梯度获得第三增强尺度参数，第三增强尺度参数与平均梯度呈负相关关系。

仍然以边缘轮廓线为图像不同物体的标定项，根据轮廓线与其垂线方向的灰度梯度，来获取不同轮廓内物体的增强尺度。

物体边缘轮廓线的梯度方向为其与轮廓线的垂线方向相邻像素点的灰度差，利用Sobel算子对每一个边缘轮廓线计算灰度梯度方向，公知技术。

然后得到每个边缘像素点的梯度方向，计算该轮廓线上所有边缘像素点的平均梯度，其平均梯度越小，则越需要更高的增强尺度。

优选的，将平均梯度的负数作为以自然常数为底的指数函数的幂，获得第三增强尺度参数。

步骤S4：根据第一增强尺度参数、第二增强尺度参数和第三增强尺度参数获得最终增强尺度参数；利用最终增强尺度参数对每个边缘轮廓进行增强，获得增前后的静态帧图像。

本发明是以轮廓线为不同物体的标定点，轮廓范围内的图像均根据轮廓线所用增强尺度进行增强:

上述三个增强尺度参数，都是本发明针对VR驾驶场景画面进行增强的必要需求，因此我们根据计算的三个增强尺度参数，得到最终尺度。

首先由于VR驾驶场景模拟，用户的注意力必然集中在驾驶的路面上，因此我们分割公路和背景区域得到第一增强尺度参数。

其次由于默认增强算法的无差别增强会削弱VR画面的层次感，因此我们根据远景、近景不同得到第二增强尺度参数。

最后默认的增强算法是考虑图像原本的对比度强弱来进行增强，所以我们根据轮廓线的梯度差得到第三增强尺度参数。

最终增强尺度的构建逻辑：第一、第二增强尺度参数，是基于驾驶场景画面的增强需求，图像上不同区域的物体或景物均相对于用户（参考点）而言，同时存在注意力视差和远近景视差，因此第一、第二增强尺度并存且相互影响，为相乘关系，而第三增强尺度属于增强算法本身默认的增强规则，即原本较弱就多增强，原本较强就少增强，第一、第二尺度相当于在默认增强算法的基础上融入场景增强需求，所以第一、第二尺度的乘积，应当与第三尺度为相加关系，即根据第一增强尺度参数、第二增强尺度参数和第三增强尺度参数获得最终增强尺度参数包括：

根据最终增强尺度参数公式获得最终增强尺度参数，最终增强尺度参数公式包括：

其中，为第个边缘轮廓的最终增强尺度参数，为第个边缘轮廓的第一增强尺度参数，为第个边缘轮廓的第二增强尺度参数，为第个边缘轮廓的第三增强尺度参数，为第一调节权重，为第二调节权重。

直接以增强尺度作为线性增强的增强系数，对不同的增强需求，给予相应的增强程度，根据增强公式进行增强，增强公式包括：

其中，为第个边缘轮廓增强后的像素值信息，为第个边缘轮廓的最终增强尺度参数，为第个边缘轮廓增强前的像素值信息，为增强常数。

为了改善VR画面卡顿问题，我们选择降低传输至用户VR界面的图像质量，降低画质即降低内存占用，同时传输速度加快就保障了VR画面的流畅性，然后我们将线性增强函数输入预处理模块，传输完成的低画质图像，通过本发明的自适应增强，可以凸显VR虚拟画面的层次感和代入感，最终就可以在提升画面流畅性的同时，最大程度保证用户体验。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种沉浸式驾驶模拟器的场景图像预处理方法，其特征在于，所述方法包括：

获取VR场景中的静态帧图像，静态帧图像中包括公路区域与背景区域；对静态帧图像进行边缘检测，获得多条边缘轮廓；分别对公路区域和背景区域中的边缘轮廓设置不同第一增强尺度参数，相同区域中的边缘轮廓的第一增强尺度参数相同；

以静态帧图像中驾驶人员位置点作为参考点，获得参考点与每条边缘轮廓上的每个边缘点的连线；根据连线角度和连线距离获得每条边缘轮廓的第二增强尺度参数；

根据每条边缘轮廓的平均梯度获得第三增强尺度参数，第三增强尺度参数与平均梯度呈负相关关系；

根据第一增强尺度参数、第二增强尺度参数和第三增强尺度参数获得最终增强尺度参数；利用最终增强尺度参数对每个边缘轮廓进行增强，获得增前后的静态帧图像；

所述根据连线角度和连线距离获得每条边缘轮廓的第二增强尺度参数包括：

根据第二增强尺度参数公式获得第二增强尺度参数，第二增强尺度参数公式包括：

其中，为第个边缘轮廓的a类增强尺度参考值，为第个边缘轮廓的b类增强尺度参考值，为第个边缘轮廓的第二增强尺度参数，th为双曲正切归一化函数，为第个边缘轮廓的像素点数量，为第个边缘轮廓上第个像素点对应的连线角度，exp为以自然常数为底的指数函数，为第个边缘轮廓上第个像素点对应的连线距离。

2.根据权利要求1所述的一种沉浸式驾驶模拟器的场景图像预处理方法，其特征在于，所述获取VR场景中的静态帧图像后还包括：

将静态帧图像进行灰度化处理，并输入至语义分割网络中，获得公路区域和背景区域。

3.根据权利要求1所述的一种沉浸式驾驶模拟器的场景图像预处理方法，其特征在于，所述分别对公路区域和背景区域中的边缘轮廓设置不同第一增强尺度参数包括：

公路区域中边缘轮廓的第一增强尺度参数大于背景区域中边缘轮廓的第一增强尺度参数。

4.根据权利要求1所述的一种沉浸式驾驶模拟器的场景图像预处理方法，其特征在于，所述根据每条边缘轮廓的平均梯度获得第三增强尺度参数包括：

将平均梯度的负数作为以自然常数为底的指数函数的幂，获得第三增强尺度参数。

5.根据权利要求1所述的一种沉浸式驾驶模拟器的场景图像预处理方法，其特征在于，所述根据第一增强尺度参数、第二增强尺度参数和第三增强尺度参数获得最终增强尺度参数包括：

根据最终增强尺度参数公式获得最终增强尺度参数，最终增强尺度参数公式包括：

其中，为第个边缘轮廓的最终增强尺度参数，为第个边缘轮廓的第一增强尺度参数，为第个边缘轮廓的第二增强尺度参数，为第个边缘轮廓的第三增强尺度参数，为第一调节权重，为第二调节权重。

6.根据权利要求1所述的一种沉浸式驾驶模拟器的场景图像预处理方法，其特征在于，所述利用最终增强尺度参数对每个边缘轮廓进行增强包括：

根据增强公式进行增强，增强公式包括：

其中，为第个边缘轮廓增强后的像素值信息，为第个边缘轮廓的最终增强尺度参数，为第个边缘轮廓增强前的像素值信息，为增强常数。

Images