CN107316344B - 一种虚实融合场景中漫游路径规划的方法 - Google Patents

Abstract

本发明涉及一种虚实融合场景中漫游路径规划的方法，该方法整体上包括四部分内容，分别是视点采样、视点质量评价、道路图构建和路径生成，视点采样是在连续的空间中进行关键的离散视点的采样，其中连续的空间分为虚拟模型空间和视频模型空间两部分，视点评价包括对视频模型中视点的质量评价、虚拟模型中视点的质量评价和整体视点的质量评价；然后根据视点构建出道路图顶点集合，为路径计算提供完整的道路图，完成道路图的构建，路径生成是在该有向图中寻找一条连接所有视频模型顶点的路径，使得该路径总代价最小。本发明能够为虚实融合视频平台提供场景的漫游路径自动生成功能，提升用户的虚拟观测体验。

Description

一种虚实融合场景中漫游路径规划的方法

技术领域

本发明涉及增强虚拟环境技术领域，更具体的讲，涉及一种虚实融合场景中漫游路径规划的方法，是一种将视频图像融合到三维模型时视点评价和自动生成所有视频漫游路径的方法。

背景技术

增强虚拟环境(AVE)是用于在三维虚拟环境中以任意视角展示多路图片或者视频流的一项技术，该项技术将视频画面与三维模型融合显示，在城市漫游、交通分析、视频等一体化监控系统领域有着重要的应用。基于虚实融合的场景，用户可以在不同的视点位置观察场景内容，但是由于在三维场景中用户控制虚拟视角时需要更多复杂的人机交互过程，用户在熟悉系统操作时需要周期较长。另外由于现在虚拟现实技术正在发展之中，场景中存在画面质量较差的视点，未能保证整个场景的视觉效果能达到用户满意的程度，对于画面质量较差的内容用户会浏览至此。考虑到上述问题，进行虚实融合时要考虑相机视点之间合理的转移问题，设计出的自动漫游路径生成方法既能够简化人机交互过程，又能提升用户体验。目前的自动漫游路径生成方法首先基于视频画面畸变的视点质量度量方法，对空间采样点进行评价；接着为三维场景构建路径图和确定场景中相机的访问顺序，根据路径图和访问顺序，生成为每两个相机之间的最优路径，得到最终所有相机路径组成场景的漫游路径。

本发明前，已经有人对视点质量评价和路径规划做了相关研究。在视点质量评价方面，Secord Adrian发表论文“Perceptual models of viewpoint preference”(ACMTransactions on Graphics(TOG),2011,30(5):109)，总结了多个常用的视点质量评价方法，包括视点熵、网格显著度和侧影轮廓稳定性等。这些方法在视点质量评价的过程中，只考虑三维模型和构图画面等因素，未考虑模型纹理畸变对整个视点的质量带来的影响。这些方法不能够有效的评判模型纹理具有畸变的场景视点质量。因此增强虚拟环境系统需要一种对纹理畸变评价的视点质量评估方法。由于纹理畸变的情况是由模型深度和纹理深度不匹配引起的，所以在考虑视点质量评价时基于深度学习的方法计算图像中像素的深度。

在路径规划方面，不同的系统各个场景中的路径生成问题也往往各不相同，总体上涉及的是道路图构建和路径搜索两方面。Kavraki L等人发表论文“Probabilisticroadmaps for path planning in high-dimensional configuration spaces”(IEEETransactions on Robotics&Automation,1996,12(4):566-580)，提出了一种随机通路图算法(Probabilistic Roadmaps,PRM)，该算法所针对的是静态场景中的非碰撞的路径设计问题，整个算法分为两个阶段：构建阶段和查询阶段。构建阶段用于构建道路图，查询阶段用于在道路图上查找最短路径。但是该算法的构建阶段所需要的时间较长，道路图中冗余顶点数量较多。Bohlin R、Kavraki L E等人发表论文“Path planning using lazy PRM”(ICRA.IEEE,2000:521-528vol.1)，提出了一种lazy-PRM算法，该算法在学习阶段中只进行了粗糙的、快速的可达性判断，并根据这个判断结果生成道路图，在查询阶段，会对路径上经过的边进行精细的连通性判断，如果经判断，某条边是不连通的，那么在通路图中删除这条边，并重新选择其他路径。这样一来就大大减少了连通性判断的次数，算法所需时间也大大减少。

对视点质量评价时，普遍采用的视点质量评价方法大多都是面向网格模型，使用的几何特征、语义特征和构图特征等特征，不适合于虚实融合场景。路径生成过程中需要构建的道路图，往常统一的思路是从场景中提取出，通过道路图搜索最优路径，实现路径规划的目标。但是这种方式不能根据系统需求的不同构建不同的道路图。

发明内容

本发明的目的是：克服现有技术的不足，提供一种虚实融合场景中漫游路径规划的方法，能够使用户沿该路径可以依次观看场景内的所有视频，以减轻系统的操作复杂度，同时尽可能提高用户的视觉体验。

本发明的技术解决方案：一种虚实融合场景中漫游路径规划的方法，首先在虚拟模型和视频模型两类连续的空间中采样关键的离散视点；接着对模型包围球上随机采样的视点进行视点质量评价；随后漫游路径的生成基于构建的道路图，道路图构建的过程中根据前两步得到的视点得到图的顶点集合，图中的边是顶点集合中各个顶点的有效连线；有了所有模型构成的带权有向道路图，便可以在图中寻找出一条连接所有模型的漫游路径，保证该条路径的代价最小。在本方法中引入了一种基于视频纹理质量的视点评估方法和一种为AVE系统生成自动漫游路径的方法。

视点采样主要是在六维空间中选择一个点集，使采样的得到的视点能够覆盖场景中的所有的区域，并且保证视点质量尽可能好。对模型的视点采样分为虚拟模型采样和视频模型采样。虚拟模型中视点采样中采用两个过程的随机采样，第一个随机过程是在模型包围球上进行随机采样；为了能够满足空间中均匀采样并且具有随机性的目的，第二个过程对模型包围球的半径随机采样。

虚实融合场景中由虚拟模型和视频模型构成，对应着虚拟模型中视点和视频模型中视点。在对虚拟模型视点评价时，结合视点下的模型投影面积，计算视点的质量。在视频模型中，首先计算视频模型的像素深度误差，根据画面畸变程度计算视点的质量。

对场景的视点采样和评价完后，根据视点构建出带全有向的道路图。构建道路图的过程中最关键的是确定图中边的有效性，首先连接道路图中顶点成线，判断连线与虚拟模型的包围盒没有相交，之后将视点间的距离、角度和视点的质量评价结果作为边的权重，构建出有效的道路图。

根据构建的道路图自动生成漫游路径，首先确定哪一个是最初的视频模型，接着采样贪心算法求得所有视频的访问顺序，完成模型顺序的判断，接着将每两个的视频模型连接起来，每一段的连接需要做平滑处理，最后得到覆盖整个场景的所有视频模型的漫游路径。

视点采样是在连续的空间中进行关键的离散视点的采样，其中连续的空间分为虚拟模型空间和视频模型空间两部分，对虚拟模型进行多层包围球上的概率均匀的随机采样，其步骤为：(1)确定模型最小包围球中心，半径为r₀；(2)在最小包围球上采样，得到一个随机采样点；(3)以步骤(1)中模型包围球的半径r₀为基础，对包围球半径r进行采样，得到对应的模型包围球；(4)步骤(3)中每层包围球上采用(2)中视点采样方法，得到每层包围球上的一个采样点。对视频模型进行相机视点位置侧重的多层包围球采样，其步骤为：(1)确定视频模型中的相机视点位置，半径为r₀；(2)在步骤(1)的包围球上进行偏重采样得到多个采样点；(3)以步骤(1)中模型包围球的半径r₀为基础，对包围球半径r进行偏重采样，得到相应的模型包围球；(4)步骤(3)中每层包围球上采用(2)中视点采样方法，得到每层包围球上的采样点。

视点评价包括对视频模型中视点的质量评价、虚拟模型中视点的质量评价和整体视点的质量评价，视频模型中视点评价的步骤为：(1)每个视频模型采样得到对应的采样像素集合；(2)计算步骤(1)中每个视频模型的累积像素投影相对误差，得到某视点下每个视屏模型纹理畸变程度的量化结果；(3)根据步骤(2)的结果，计算某视点下每个视频模型的视点质量评价结果；(4)将步骤(3)中每个视频模型的视点质量评价结果累加求和，得到场景中在某视点下所有视频模型的视点评价结果。虚拟模型中视点评价的步骤为：(1)计算每个虚拟模型在某视点下的投影面积；(2)根据步骤(1)中的投影面积计算在该视点下虚拟模型的贡献。整体视点的评价以视频模型视点评价结果和虚拟模型视点评价结果作为基础，加权求和得到整体视点的评价结果。

在空间中完成视点采样和视点质量评价后，根据视点构建出道路图顶点集合，为路径计算提供完整的道路图，在道路图构建过程这包括道路图边的碰撞检测和道路图边的权重定义两部分内容，道路图边碰撞检测的步骤为：(1)将道路图中每个顶点与其他顶点进行连线，连成功的线加入道路图的边集；(2)判断边集中每条边是否与虚拟模型发生相交，进行碰撞检测。边权重定义的步骤为：(1)计算图中两个视点之间的空间距离；(2)计算两个视点之间的旋转角度；(3)根据整体视点评价结果计算视点比例因子；(4)结合步骤(1)中的距离，步骤(2)中的角度和步骤(3)中的比例因子作为道路图上边的权重。

完成道路图的构建，相应的得到了场景中所有模型构成的带权有向图，路径生成是在该有向图中寻找一条连接所有视频模型顶点的路径，使得该路径总代价最小，路径生成的步骤为：(1)对场景中的视频模型进行排序，得到视频模型的访问顺序；(2)搜索步骤(1)中排好序的每两个相邻视频模型之间的路径；(3)对步骤(2)中搜索的每段路径做平滑处理；(4)依次连接上述视频模型之间的路径，得到覆盖场景中所有视频模型的漫游路径。

本发明与现有技术相比的优点在于：在视点采样中，对虚拟模型基于多层包围球均匀采样；对视频模型基于多层包围球均匀采样和相机视点处高密度采样相结合。在视点评价中，对虚拟模型中的视点评价使用基于模型粒度的视点熵方法；对视频模型中的视点评价基于图像画面畸变程度和模型可见度相结合。在道路图构建中，对道路图中边的碰撞检测，基于Ray-Casting算法，采用模型包围盒进行预判断；对道路图中边的权重定义，基于视点间的空间距离、旋转角度和视点评价质量相结合。在路径生成中，对视频模型的排序采用贪心搜索算法依次查找下一个未访问过的代价最小的视频模型；对最优路径的搜索采用A*搜索算法；对视点位置的平滑采用Cardinal三次样条插值方法；对视点朝向的平滑采用Slerp球面线性插值方法。本发明实现虚实融合场景展示过程中，既能简化人机交互过程，又能提升用户观察场景的视觉感受的目的。

附图说明

图1为本增强虚拟场景中的视点评价与巡逻相机路径规划方法的总体示意图；

图2为相邻视点之间连通性判断流程图。

具体实施方法

下面结合附图对本发明做进一步详细的描述，在介绍本发明的具体实施方法之前，首先对一些基本概念进行说明：

(1)虚实融合：将虚拟的三维模型与真实的图片或视频融合显示；

(2)增强虚拟：在真实场景中采集场景信息，重现并显示给用户；

(3)虚拟模型：由大量面片构成的封闭的立体模型；

(4)视频模型：由少数面片构成的不封闭模型；

(5)画面畸变程度：视点对应的画面畸变程度是画面中像素位置发生偏移的程度，表示画面中出现错误信息的多少；

(6)视点质量：用户看到的画面的质量；

(7)视点评价：对用户在待评价视点下所看到画面的质量评价；

(8)道路图：场景转化得到的一张带权有向图；

(9)碰撞：道路图中每两个顶点之间连接的边有的会与场景中的模型发生交叉；

(10)边的权重：表示路径沿这条边移动的代价或消耗；

(11)移动距离：反映视点位置的变化，用户在漫游过程中感受到空间位置的变化；

(12)旋转角度：反映用户画面的变化速度，过快的画面变化会使用户迷失空间感。

发明的总体示意图如图1所示，视点采样对连续空间中的虚拟模型和视频模型分别采样视点；视点评价基于画面畸变程度对采样的视点进行视点质量评价；道路图构建基于采样和评价后的视点构成图的点集合，再根据图2相邻视点之间连通性判断流程图判断个点间连线的有效性得到带权有向图；漫游路径生成在道路图的基础上进行路径的搜索和平滑，得到自动生成的漫游路径。

视点采样对虚拟模型采样的步骤为：

(1)确定模型最小包围球中心，半径为r₀,在最小包围球上采样，得到一个随机采样点；

(2)在模型包围球上，随机选取视点，这些视点的位置

在包围球表面上，视野中心

在模型的中心。判断生成的视点vp_i是否符合系统要求，将符合系统要求的视点加入采样视点集合。重复多次这个操作直到采样视点个数满足要求或尝试次数达到上限；

(3)对第二步选取出的每个视点vp_i进行如下操作：将视点沿视点位置和模型中心的连线随机移动一定位置，得到新的一个视点vp_i，j，判断新视点vp_i，j是否符合系统要求，将符合要求的视点加入采样视点集合。对每个vp_i重复多次该步骤，直到符合要求的视点个数达到要求或尝试次数达到上限。

视点采样对视频模型采样的步骤为：

(1)确定视频模型中的相机视点位置，半径为r₀，在该半径的包围球上进行偏重采样得到多个采样点；

(2)以步骤(1)中模型包围球的半径r₀为基础，对包围球半径r进行偏重采样，得到相应的模型包围球；

(3)步骤(2)中每层包围球上采用(1)中视点采样方法，得到每层包围球上的采样点；

计算视频模型中视点的质量评价结果的步骤为画面畸变程度的步骤为：

(1)首先提取出视频模型的视频图像，对图像进行像素深度估计；

(2)转化像素深度估计结果为视频模型的长度单位；

(3)计算每个像素点的真实位置，建立点云模型；

(4)对比视频模型和点云模型，对比结果作为视点质量评价的结果。

计算虚拟模型中视点的质量评价结果的步骤为：

(1)计算每个虚拟模型在某视点下的投影面积；

(2)根据步骤(1)中的投影面积计算在该视点下虚拟模型的贡献该视点下所有虚拟模型的视点评价结果。

计算场景中整体视点的质量评价结果的步骤为：

(1)以视频模型视点评价步骤(4)的结果和虚拟模型视点评价步骤(2)的结果作为基础，加权求和得到整体视点的评价结果。

道路图边碰撞检测的步骤为：

(1)将道路图中每个顶点与其他顶点进行连线构成一系列的边，连成功的线加入道路图的边集；

(2)判断边集中每条边是否与模型包围盒发生相交，若存在交点则按照图2流程图进行碰撞检测；

(3)对于场景中的每一个模型使用光线投射算法(Ray Casting)进行碰撞检测，首先判断待检测线段的两个顶点是否在模型包围盒内部，如果都不在包围盒内，接着判断线段是否与包围盒相交，如果相交，那么继续针对模型的每个面片进行判断，如果不相交，说明该线段与模型不会发生碰撞，继续判断下一个模型。

道路图中边权重定义的步骤为：

(1)计算道路图中两个视点之间的空间距离；

(2)计算两个视点之间的旋转角度；

(3)根据整体视点评价步骤(1)中结果计算视点比例因子；

(4)结合步骤(1)中的距离，步骤(2)中的角度和步骤(3)中的比例因子作为道路图上边的权重；

道路图中路径生成的步骤为：

(1)对场景(中的视频模型进行排序，得到视频模型的访问顺序；

(2)搜索步骤(1)中排好序的每两个相邻视频模型之间的路径；

(3)对步骤(2)中搜索的每段路径做平滑处理；

(4)依次连接上述视频模型之间的路径，得到覆盖场景中所有视频模型的漫游路径。

Claims (9)

1.一种虚实融合场景中漫游路径规划方法，其特征在于包括：视点采样、视点质量评价、道路图构建和路径生成四部分内容；

在连续的空间中进行视点采样，视点采样是在连续的空间中进行关键的离散视点的采样，其中连续的空间分为虚拟模型和视频模型两部分，对虚拟模型进行多层包围球上的概率均匀的随机采样，其步骤为：

(cx1)确定模型最小包围球中心，半径为r₀；

(cx2)在最小包围球上采样，得到一个随机采样点；

(cx3)以步骤(cx1)中模型包围球的半径r₀为基础，对包围球半径r进行采样，得到对应的模型包围球；

(cx4)步骤(cx3)中每层包围球上采用(cx2)中视点采样方法，得到每层包围球上的一个采样点；

对视频模型进行相机视点位置侧重的多层包围球采样，其步骤为：

(cs1)确定视频模型中的相机视点位置，半径为r₀；

(cs2)在步骤(cs1)的包围球上进行偏重采样得到多个采样点；

(cs3)以步骤(cs1)中模型包围球的半径r₀为基础，对包围球半径r进行偏重采样，得到相应的模型包围球；

(cs4)步骤(cs3)中每层包围球上采用(cs2)中视点采样方法，得到每层包围球上的采样点；

视点评价包括对视频模型中视点的质量评价、虚拟模型中视点的质量评价和场景整体视点的质量评价，视频模型中视点评价的步骤为：

(ps1)每个视频模型采样得到对应的采样像素集合；

(ps2)计算步骤(ps1)中每个视频模型的累积像素投影相对误差，得到某视点下每个视频模型纹理畸变程度的量化结果；

(ps3)根据步骤(ps2)的结果，计算某视点下每个视频模型的视点质量评价结果；

(ps4)将步骤(ps3)中每个视频模型的视点质量评价结果累加求和，得到场景中在某视点下所有视频模型的视点评价结果；

虚拟模型中视点评价的步骤为：

(px1)计算每个虚拟模型在某视点下的投影面积；

(px2)根据步骤(px1)中的投影面积计算该某视点下所有虚拟模型的视点评价结果；

场景整体视点的质量评价步骤为整体视点评价的步骤为：

(pt1)以视频模型视点评价步骤(ps4)的结果和虚拟模型视点评价步骤(px2)的结果作为基础，加权求和得到整体视点的评价结果；

完成视点采样和视点质量评价后，根据视点构建出道路图顶点集合，为路径计算提供完整的道路图，在道路图构建过程这包括道路图边的碰撞检测和道路图边的权重定义两部分内容，道路图边碰撞检测的步骤为：

(gp1)将道路图中每个顶点与其他顶点进行连线，连成功的线加入道路图的边集；

(gp2)判断边集中每条边是否与虚拟模型发生相交，进行碰撞检测；

边权重定义的步骤为：

(gq1)计算道路图中两个视点之间的空间距离；

(gq2)计算两个视点之间的旋转角度；

(gq3)根据整体视点评价步骤(pt1)中结果计算视点比例因子；

(gq4)结合步骤(gq1)中的距离，步骤(gq2)中的角度和步骤(gq3)中的比例因子作为道路图上边的权重；

路径生成的步骤为：

(s1)对场景中的视频模型进行排序，得到视频模型的访问顺序；

(s2)搜索步骤(s1)中排好序的每两个相邻视频模型之间的路径；

(s3)对步骤(s2)中搜索的每段路径做平滑处理；

(s4)依次连接上述视频模型之间的路径，得到覆盖场景中所有视频模型的漫游路径。

2.根据权利要求1所述的虚实融合场景中漫游路径规划方法，其特征在于：所述步骤(cx2)包括步骤如下：

(cx2.1)在虚拟模型包围球上，随机选取视点，这些视点位置

在包围球表面上，视野中心

在模型的中心；

(cx2.2)判断生成的视点vp_i是否符合要求，将符合要求的视点加入采样视点集合；

(cx2.3)重复多次这个操作直到采样视点个数满足要求或尝试次数达到上限。

3.根据权利要求1所述的虚实融合场景中漫游路径规划方法，其特征在于：所述步骤(cx3)包括步骤如下：

(cx3.1)对(cx2.2)选取出的每个同层包围球上的视点vp_i沿视点位置和虚拟模型中心的连线随机移动一定位置，得到新的包围球上的一个视点vp_i，j；

(cx3.2)判断新视点vp_i，j是否符合要求，将符合要求的视点加入采样视点集合；

(cx3.3)对每个vp_i重复多次步骤(cx3.1)和步骤(cx3.2)，直到符合要求的视点个数达到要求或尝试次数达到上限。

4.根据权利要求1所述虚实融合场景中漫游路径规划方法，其特征在于：所述步骤(cs2)包括步骤如下：

(cs2.1)以球坐标(r₀，θ，φ)为视频模型的相机视点位置，其中θ＝0，φ＝0，r₀为视点采样中最初的包围球半径，θ，φ为表示视点姿态的参数；

(cs2.2)规定在相机视点处，即φ＝0的位置的采样密度是包围球上距离相机视点最远处，φ＝π的位置的密度的k倍，k大于0；

(cs2.3)使用线性函数表示密度，并且采样点密度在球面上进行积分得到的结果是1。

5.根据权利要求1所述的虚实融合场景中漫游路径规划方法，其特征在于：所述步骤(ps2)包括步骤如下：

(ps2.1)根据深度学习方法估计出参考深度；

(ps2.2)计算视频图像的像素深度；

(ps2.3)根据计算得到的像素深度建立点云模型；

(ps2.4)通过对比采用像素在屏幕上的偏差，计算视点vp_i，j下对单个视频模型V的画面畸变程度结果。

6.根据权利要求1所述的虚实融合场景中漫游路径规划方法，其特征在于：所述步骤(gp2)包括步骤如下：

(gp2.1)先判断待检测的视点位置

(gp2.2)若步骤(gp2.1)中待测位置在包围盒中，则在视频模型的包围盒的表面取多个采样点，判断从

是否可以无碰撞地到达这些采样点中的任意一个，如果都不可以到达，那么退出检测，该视点不可达。

7.根据权利要求1所述的虚实融合场景中漫游路径规划方法，其特征在于：所述步骤(s1)包括步骤如下：

(s1.1)首先选择视野范围最大的视频模型作为起始视频模型；

(s1.2)然后采用贪心算法，每次在未被访问过的视频模型中选取代价最小的视频模型作为下一个被访问的视频模型，一直到所有视频模型都被选中。

8.根据权利要求1所述的虚实融合场景中漫游路径规划方法，其特征在于：所述步骤(s2)包括步骤如下：

(s2.1)在每两个相机之间，采用A*算法来寻找最短路径。

9.根据权利要求1所述的虚实融合场景中漫游路径规划方法，其特征在于：所述步骤(s3)包括步骤如下：

(s3.1)针对视点位置的平滑，使用Cardinal三次样条插值方法处理；

(s3.2)针对视点方向的平滑，使用球面线性插值(Slerp)方法处理。

Images