CN117221510B - 基于虚拟现实技术的展览展示系统 - Google Patents

Abstract

本发明涉及图像处理技术领域，具体涉及基于虚拟现实技术的展览展示系统，包括：获取包含若干帧图像的VR视频；获取每帧图像的特征点及其位置信息和主方向信息，获取特征点的可搜索区域，根据特征点的位置信息和主方向信息，计算特征点与特征点的可搜索区域中每个特征点的匹配程度，根据匹配程度获得特征点的匹配值和匹配点，根据特征点的匹配值和匹配点，获得特征点的连贯点；根据每帧图像的特征点的连贯点获取渲染图像。本发明使提取的特征点分布不均匀，提高VR视频的画面播放的连贯性，进而提高用户对虚拟现实技术的沉浸感。

Description

基于虚拟现实技术的展览展示系统

技术领域

本发明涉及图像处理技术领域，具体涉及基于虚拟现实技术的展览展示系统。

背景技术

虚拟现实技术中，在不同场景下具备着不同的图像处理方式。其中，在目标由远及近的变化过程时，视角与目标的距离不同，展示出的目标的细节特征不同。

SIFT算法是一种提取图像特征的方法，使用SIFT算法提取不同距离下目标的特征点，得到不同距离下目标的细节特征，从而在视角与目标的距离不断变化时，能够精准地展现出目标的基本特征。

由于SIFT算法是基于尺度空间的特征提取方法，其特征点的选择与局部图像的尺度有关，在不同距离下，目标的尺度会发生变化，导致使用SIFT算法提取的特征点分布不均匀，进而导致画面播放不连贯，影响用户对虚拟现实技术的沉浸感。

发明内容

为了解决上述问题，本发明提供基于虚拟现实技术的展览展示系统，所述系统包括：

VR视频采集模块，用于获取包含若干帧图像的VR视频；

连贯点获取模块，用于通过SIFT算法获取每帧图像中的所有特征点，以及每个特征点的位置信息和主方向信息，所述主方向信息代表了特征点的邻域内所有像素点的梯度方向的主要方向；将任意一个特征点记为目标特征点，根据所述目标特征点的位置信息，在下一帧图像中获取目标特征点的可搜索区域，根据目标特征点与所述目标特征点的可搜索区域中每个特征点的位置信息和主方向信息，计算目标特征点与所述目标特征点的可搜索区域中每个特征点的匹配程度，根据目标特征点与所述目标特征点的可搜索区域中所有特征点的匹配程度，获得目标特征点的匹配点，在目标特征点和所述目标特征点的匹配点之间进行插值，获得目标特征点的连贯点；

渲染图像获取模块，用于根据每帧图像的所有特征点的连贯点，获取每帧图像和下一帧图像之间的渲染图像。

进一步地，所述根据目标特征点与所述目标特征点的可搜索区域中每个特征点的位置信息和主方向信息，计算目标特征点与所述目标特征点的可搜索区域中每个特征点的匹配程度，包括的具体步骤如下：

式中，表示目标特征点与所述目标特征点的可搜索区域中位置信息为的特征点的匹配程度，/>表示目标特征点的位置信息，/>表示目标特征点的主方向信息，/>表示所述目标特征点的可搜索区域中位置信息为/>的特征点的主方向信息，/>、分别为位置信息系数和主方向信息系数。

进一步地，所述位置信息系数和主方向信息系数的获取方法为：

式中，、/>分别为位置信息系数和主方向信息系数，/>表示每个特征点的位置信息，/>表示所述目标特征点的可搜索区域中位置信息为/>的特征点的位置信息，表示反正弦函数，/>表示归一化函数。

进一步地，所述通过SIFT算法获取每帧图像中的所有特征点，以及每个特征点的位置信息和主方向信息，包括的具体步骤如下：

将每帧图像输入SIFT算法中，获取每帧图像的所有特征点，每个特征点具有位置信息和主方向信息，其中，位置信息是每个特征点在每帧图像中的横坐标和纵坐标，主方向信息是每个特征点的方向直方图的峰值对应的邻域方向。

进一步地，所述根据所述目标特征点的位置信息，在下一帧图像中获取目标特征点的可搜索区域，包括的具体步骤如下：

获取下一帧图像中与目标特征点的位置信息相同的特征点D2，将下一帧图像中以特征点D2为圆心且半径等于E的圆形区域记为目标特征点的可搜索区域，E表示预设半径。

进一步地，所述根据目标特征点与所述目标特征点的可搜索区域中所有特征点的匹配程度，获得目标特征点的匹配点，包括的具体步骤如下：

将目标特征点与所述目标特征点的可搜索区域中所有特征点的匹配程度中的最大的匹配程度，作为目标特征点的匹配值；将最大的匹配程度在所述目标特征点的可搜索区域中对应的特征点，作为所述目标特征点的匹配点。

进一步地，所述在目标特征点和所述目标特征点的匹配点之间进行插值，获得目标特征点的连贯点，包括的具体步骤如下：

如果当前帧图像中的目标特征点的匹配值大于等于预设阈值Y，则将所述目标特征点的匹配点作为所述目标特征点的连贯点；如果当前帧图像中的目标特征点的匹配值小于预设阈值Y，使用双三次样条插值在目标特征点和所述目标特征点的匹配点之间进行插值，获取所述目标特征点的连贯点。

进一步地，所述使用双三次样条插值在目标特征点和所述目标特征点的匹配点之间进行插值，获取所述目标特征点的连贯点，包括的具体步骤如下：

根据位置信息和灰度值构建三维空间，将所述目标特征点与所述目标特征点的匹配点映射到三维空间中，在三维空间中使用双三次样条插值对所述目标特征点与所述目标特征点的匹配点进行插值，得到所述目标特征点与所述目标特征点的匹配点之间的三次样条曲线，取三次样条曲线的极值点作为所述目标特征点的连贯点。

进一步地，所述根据每帧图像的所有特征点的连贯点，获取每帧图像和下一帧图像之间的渲染图像，包括的具体步骤如下：

将当前帧图像中每个特征点的连贯点作为虚拟物体渲染技术的输入，输出当前帧图像和下一帧图像之间的渲染图像，在VR设备播放VR视频时，渲染图像在当前帧图像与下一帧图像之间进行播放。

进一步地，所述获取包含若干帧图像的VR视频，包括的具体步骤如下：

获取VR设备中的VR视频，VR视频的时长等于预设变换时间T，VR视频的刷新率为每秒30帧；对每帧图像进行语义分割，获得每帧图像的目标区域，每帧图像的目标区域进行直方图均衡化。

本发明的技术方案的有益效果是：本发明根据VR视频的相邻两帧图像中特征点的位置信息差异和主方向信息差异，计算特征点与特征点的可搜索区域中每个特征点的匹配程度，根据匹配程度获得特征点的匹配值和匹配点，根据匹配值筛选出具有连贯性的特征点，对于不连贯的特征点，根据运动轨迹和灰度值进行插值，获得特征点的连贯点，根据每帧图像的特征点的连贯点获取渲染图像，在VR设备播放VR视频时，将渲染图像放在在当前帧图像与下一帧图像之间进行播放，使提取的特征点分布不均匀，提高VR视频的画面播放的连贯性，进而提高用户对虚拟现实技术的沉浸感。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的基于虚拟现实技术的展览展示系统的系统框图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的基于虚拟现实技术的展览展示系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的基于虚拟现实技术的展览展示系统的具体方案。

请参阅图1，其示出了本发明一个实施例提供的基于虚拟现实技术的展览展示系统，该系统包括以下模块：

VR视频采集模块101，用于获取包含若干帧图像的VR视频。

需要说明的是，虚拟现实技术（VR）是一种将虚拟世界（VR视频）通过各种头戴显示器（VR设备）呈现给用户的技术，带给用户沉浸感。

预设变换时间为T，用来表示视角从最远距离到最近距离的时间，实施人员可根据实际实施情况设置变换时间，例如T=10秒。

具体的，获取VR设备中的VR视频，VR视频的时长等于预设变换时间T，VR视频的刷新率为每秒30帧；对每帧图像进行语义分割，获得每帧图像的目标区域，每帧图像的目标区域进行直方图均衡化，增加每帧图像的目标区域的对比度。

需要说明的是，语义分割是一种像素级别上的分类方法，将图像中属于同一个事物的像素点归为一类，本实施例将每帧图像划分为目标区域和背景区域两类；直方图均衡化是一种图像增强技术，通过改变图像的直方图来改变图像中各像素点的灰度值，进而增强动态范围偏小的图像的对比度；直方图均衡化和语义分割均为公知技术，此处不再进行赘述。

连贯点获取模块102，用于获取每帧图像的特征点及其位置信息和主方向信息，获取特征点的可搜索区域，根据特征点的位置信息和主方向信息，计算特征点与特征点的可搜索区域中每个特征点的匹配程度，根据匹配程度获得特征点的匹配值和匹配点，根据特征点的匹配值和匹配点，获得特征点的连贯点。

需要说明的是， 在通过VR设备观看VR视频时，在视角与目标的距离不断变化的过程中，由于SIFT算法提取的特征点分布不均匀，导致画面播放不连贯，根本原因是SIFT算法得到的特征点不能够满足连贯的需要。因此，需要对不满足连贯性的特征点进行处理，使其满足连贯性。

1、获取每帧图像的特征点及其位置信息和主方向信息。

具体的，将每帧图像输入SIFT算法中，获取每帧图像的特征点，每个特征点具有位置信息和主方向信息，其中，位置信息是每个特征点在每帧图像中的横坐标和纵坐标，主方向信息是每个特征点的方向直方图的峰值对应的邻域方向。

需要说明的是，SIFT算法(尺度不变特征变换匹配算法)是图像处理领域中的一种局部特征描述算法，用于获取图像在高斯差分金字塔（DOG空间）中具有尺度不变性的特征点，SIFT算法为公知技术，此处不再进行赘述。

2、获取特征点的可搜索区域，根据特征点的位置信息和主方向信息，计算特征点与特征点的可搜索区域中每个特征点的匹配程度，根据匹配程度获得特征点的匹配值和匹配点。

需要说明的是，SIFT算法提取的是具有尺度不变性的特征点，也是组成目标的重要特征点，对于视觉上的连贯性，主要是在目标运动过程中，特征点在前后两帧图像之间的变化范围较小，因此，在获取不满足连贯性的特征点时，考虑到如果在下一帧图像中的相同位置或者相近位置存在与当前帧图像的特征点的特征相同的特征点，两个特征点的位置和特征都相似，则说明这两个特征点是具有连贯性的特征点，因此，根据特征点的位置信息和主方向信息，计算特征点与特征点的可搜索区域中每个特征点的匹配程度，根据匹配程度获得特征点的匹配值和匹配点。

预设半径为R，用来获取每个特征点的可搜索区域，实施人员可根据实际实施情况设置半径大小，例如R=7。

具体的，将除最后一帧图像外的任意一帧图像作为当前帧图像，对于当前帧图像中的任意一个特征点D1，获取下一帧图像中与所述特征点的位置信息相同的特征点D2，将下一帧图像中以特征点D2为圆心且半径等于E的圆形区域记为特征点D1的可搜索区域，E表示预设半径；计算特征点D1与特征点D1的可搜索区域中每个特征点的匹配程度，具体计算公式为：

式中，表示特征点D1与特征点D1的可搜索区域中位置信息为/>的特征点的匹配程度，/>表示特征点D1的位置信息，/>表示特征点D1的主方向信息，/>表示特征点D1的可搜索区域中位置信息为/>的特征点的主方向信息，/>、/>分别为位置信息系数和主方向信息系数。

在DOG空间内，在后一帧图像内寻找与前一帧图像的特征点匹配的特征点时，通常先考虑相同位置的特征点，如果相同位置的特征点的主方向信息也一致，则两个特征点匹配，否则，需要对寻找半径进行扩大，在扩大后的范围内找到匹配程度最大的特征点；在DOG空间内，使相邻两帧图像的两个特征点之间的距离信息差值和主方向角度差值得到特征点的匹配程度，相邻两帧图像的两个特征点距离信息差值越大且角度差值越大，相应的两个特征点匹配程度就越小。

进一步，位置信息系数和主方向信息系数的计算公式为：

式中，、/>分别为位置信息系数和主方向信息系数，/>表示特征点D1的位置信息，/>表示特征点D1的可搜索区域中位置信息为/>的特征点的位置信息，/>表示反正弦函数，/>表示归一化函数。

当增加时，/>减小，降低主方向对于匹配度的影响，并且/>越大，/>减小的越少，对这个逻辑关系进一步限制，防止主方向信息系数的无限减小，得到具有距离和主方向约束关系的匹配程度，更为客观地得到前后两帧图像的特征点的变化情况。

需要按照距离和主方向之间的限制关系确定出位置信息系数和主方向信息系数，从而得到更为客观的匹配程度。距离和主方向之间的限制关系需要从金字塔算子原理出发，每个特征点的获取通过计算局部的梯度直方图得到其自身的主方向，因此，在每帧图像中，如果某一特征点的位置发生了变化，相应地其主方向会因为局部子区域的变化而变化，因为局部子区域发生变化，得到的梯度直方图也会发生变化，而特征点的主方向就是根据梯度直方图来的。因此，距离越大，对于主方向变化的容忍度也就越大，意思就是前后两帧图像的特征点位置变化较大，其计算匹配程度时主方向变化对于匹配程度的影响就应该越小，这样才能合理地和算法原理相结合，进而依据这个逻辑去改变相应的位置信息系数和主方向信息系数。

进一步，将特征点D1与特征点D1的可搜索区域中所有特征点的匹配程度中的最大的匹配程度，作为特征点D1的匹配值；将最大的匹配程度在特征点D1的可搜索区域中对应的特征点，作为特征点D1的匹配点。

3、根据特征点的匹配值和匹配点，获得特征点的连贯点。

预设阈值为Y，用来判断特征点是否连续，实施人员可根据实际实施情况设置阈值，例如Y=0.9。

具体的，如果当前帧图像中的特征点的匹配值大于等于预设阈值Y，说明当前帧图像中的特征点与所述特征点的匹配点连贯，则将匹配点作为所述特征点的连贯点；如果当前帧图像中的特征点的匹配值小于预设阈值Y，说明当前帧图像中的特征点与所述特征点的匹配点不连贯，则根据位置信息（横坐标和纵坐标）和灰度值构建三维空间，将所述特征点与所述特征点的匹配点映射到三维空间中，在三维空间中使用双三次样条插值对所述特征点与所述特征点的匹配点进行插值，得到所述特征点与所述特征点的匹配点之间的三次样条曲线，取三次样条曲线的极值点作为所述特征点的连贯点。

需要说明的是，三次样条插值是一种数据插值的方式，通过求解两个数据点之间的三次样条曲线实现对两个数据点的插值，求解三次样条曲线的本质就是求解两个数据点之间的曲线段表达公式，三次样条插值为公知技术，此处不再进行赘述。

虽然每个特征点都能够在相邻的下一帧图像的局部区域中找到与之匹配的匹配点，但是匹配程度（匹配值）较小时，说明两个匹配点的位置信息和主方向信息差异越大，则在相邻两帧图像播放时，这两个特征点在视觉上越不连贯；对于不连贯的两个特征点，在前后两帧图像之间产生位置偏移，即产生的运动轨迹，为了使特征点平滑地运动，在这个运动轨迹中进行插值，将插值点中最能够表征运动轨迹特点的极值点作为两个特征点之间的连贯点。

渲染图像获取模块103，用于根据每帧图像的特征点的连贯点获取渲染图像。

需要说明的是，连贯点的获取本身就是分析相邻两帧图像的特征点，并且结合了特征点的分布规律，在视角缓慢移动到目标的场景下，不同帧图像的关联程度是很高的，因为它的目标始终只有一个，只是在不断放大细节，因此，可以根据当前帧图像中每个特征点的连贯点生成与其连贯的渲染图像。VR视频在播放的过程，相邻两帧图像生成多个连贯点，根据连贯点生成渲染图像，以此类推，直到视角移动到目标最近距离时停止。

将当前帧图像中每个特征点的连贯点作为虚拟物体渲染技术的输入，输出渲染图像，作为当前帧图像与下一帧图像之间的图像，在VR设备播放VR视频时，渲染图像在当前帧图像与下一帧图像之间进行播放，能够提高当前帧图像与下一帧图像的连贯性，削弱画面播放过程中的不平滑现象，增强基于虚拟现实技术展览展示的可视效果。

本发明的系统包括VR视频采集模块、连贯点获取模块和渲染图像获取模块。本发明根据VR视频的相邻两帧图像中特征点的位置信息差异和主方向信息差异，计算特征点与特征点的可搜索区域中每个特征点的匹配程度，根据匹配程度获得特征点的匹配值和匹配点，根据匹配值筛选出具有连贯性的特征点，对于不连贯的特征点，根据运动轨迹和灰度值进行插值，获得特征点的连贯点，根据每帧图像的特征点的连贯点获取渲染图像，在VR设备播放VR视频时，将渲染图像放在在当前帧图像与下一帧图像之间进行播放，使提取的特征点分布不均匀，提高VR视频的画面播放的连贯性，进而提高用户对虚拟现实技术的沉浸感。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于虚拟现实技术的展览展示系统，其特征在于，所述系统包括：

VR视频采集模块，用于获取包含若干帧图像的VR视频；

连贯点获取模块，用于通过SIFT算法获取每帧图像中的所有特征点，以及每个特征点的位置信息和主方向信息，所述主方向信息是每个特征点的梯度直方图的峰值对应的邻域方向；将任意一个特征点记为目标特征点，根据所述目标特征点的位置信息，在下一帧图像中获取目标特征点的可搜索区域，根据目标特征点与所述目标特征点的可搜索区域中每个特征点的位置信息和主方向信息，计算目标特征点与所述目标特征点的可搜索区域中每个特征点的匹配程度，根据目标特征点与所述目标特征点的可搜索区域中所有特征点的匹配程度，获得目标特征点的匹配点，在目标特征点和所述目标特征点的匹配点之间进行插值，获得目标特征点的连贯点；

渲染图像获取模块，用于根据每帧图像的所有特征点的连贯点，获取每帧图像和下一帧图像之间的渲染图像。

2.根据权利要求1所述的基于虚拟现实技术的展览展示系统，其特征在于，所述根据目标特征点与所述目标特征点的可搜索区域中每个特征点的位置信息和主方向信息，计算目标特征点与所述目标特征点的可搜索区域中每个特征点的匹配程度，包括的具体步骤如下：

式中，表示目标特征点与所述目标特征点的可搜索区域中位置信息为/>的特征点的匹配程度，/>表示目标特征点的位置信息，/>表示目标特征点的主方向信息，/>表示所述目标特征点的可搜索区域中位置信息为/>的特征点的主方向信息，/>、/>分别为位置信息系数和主方向信息系数。

3.根据权利要求2所述的基于虚拟现实技术的展览展示系统，其特征在于，所述位置信息系数和主方向信息系数的获取方法为：

式中，、/>分别为位置信息系数和主方向信息系数，/>表示目标特征点的位置信息，表示所述目标特征点的可搜索区域中位置信息为/>的特征点的位置信息，表示反正弦函数，/>表示归一化函数。

4.根据权利要求1所述的基于虚拟现实技术的展览展示系统，其特征在于，所述通过SIFT算法获取每帧图像中的所有特征点，以及每个特征点的位置信息和主方向信息，包括的具体步骤如下：

将每帧图像输入SIFT算法中，获取每帧图像的所有特征点，每个特征点具有位置信息和主方向信息，其中，位置信息是每个特征点在每帧图像中的横坐标和纵坐标。

5.根据权利要求1所述的基于虚拟现实技术的展览展示系统，其特征在于，所述根据所述目标特征点的位置信息，在下一帧图像中获取目标特征点的可搜索区域，包括的具体步骤如下：

获取下一帧图像中与目标特征点的位置信息相同的特征点D2，将下一帧图像中以特征点D2为圆心且半径等于E的圆形区域记为目标特征点的可搜索区域，E表示预设半径。

6.根据权利要求1所述的基于虚拟现实技术的展览展示系统，其特征在于，所述根据目标特征点与所述目标特征点的可搜索区域中所有特征点的匹配程度，获得目标特征点的匹配点，包括的具体步骤如下：

将目标特征点与所述目标特征点的可搜索区域中所有特征点的匹配程度中的最大的匹配程度，作为目标特征点的匹配值；将最大的匹配程度在所述目标特征点的可搜索区域中对应的特征点，作为所述目标特征点的匹配点。

7.根据权利要求6所述的基于虚拟现实技术的展览展示系统，其特征在于，所述在目标特征点和所述目标特征点的匹配点之间进行插值，获得目标特征点的连贯点，包括的具体步骤如下：

如果当前帧图像中的目标特征点的匹配值大于等于预设阈值Y，则将所述目标特征点的匹配点作为所述目标特征点的连贯点；如果当前帧图像中的目标特征点的匹配值小于预设阈值Y，使用双三次样条插值在目标特征点和所述目标特征点的匹配点之间进行插值，获取所述目标特征点的连贯点。

8.根据权利要求7所述的基于虚拟现实技术的展览展示系统，其特征在于，所述使用双三次样条插值在目标特征点和所述目标特征点的匹配点之间进行插值，获取所述目标特征点的连贯点，包括的具体步骤如下：

根据位置信息和灰度值构建三维空间，将所述目标特征点与所述目标特征点的匹配点映射到三维空间中，在三维空间中使用双三次样条插值对所述目标特征点与所述目标特征点的匹配点进行插值，得到所述目标特征点与所述目标特征点的匹配点之间的三次样条曲线，取三次样条曲线的极值点作为所述目标特征点的连贯点。

9.根据权利要求1所述的基于虚拟现实技术的展览展示系统，其特征在于，所述根据每帧图像的所有特征点的连贯点，获取每帧图像和下一帧图像之间的渲染图像，包括的具体步骤如下：

将当前帧图像中每个特征点的连贯点作为虚拟物体渲染技术的输入，输出当前帧图像与下一帧图像之间的渲染图像，在VR设备播放VR视频时，渲染图像在当前帧图像与下一帧图像之间进行播放。

10.根据权利要求1所述的基于虚拟现实技术的展览展示系统，其特征在于，所述获取包含若干帧图像的VR视频，包括的具体步骤如下：

获取VR设备中的VR视频，VR视频的时长等于预设变换时间T，VR视频的刷新率为每秒30帧；对每帧图像进行语义分割，获得每帧图像的目标区域，每帧图像的目标区域进行直方图均衡化。