CN101082926A - 一种用于跨媒体数字城市景区建模方法 - Google Patents

Abstract

本发明公开了一种用于跨媒体数字城市景区建模方法。它利用地理信息系统数据空间位置与全景视频的时序，视点的协调关系，通过添加热点，文字，图像数据，实现具体场景与多媒体信息交叉关联和动态交互的效果。它主要包括：1)地理信息系统数据空间位置与全景交互视频的编辑关联；2)交互式信息的保存；3)地理信息系统数据空间位置与全景交互视频的关联展示。本发明在传统的地理信息系统中添加了全景视频及热点选择交互手段，相对于传统的图象及文字说明信息更加丰富，视觉更加直观。地理信息系统与全景视频的关联是通过编辑过程录入数据库中，然后通过展现过程，将关联后的整体交互效果展现于用户，达到地理信息系统数据空间位置与全景视频的无缝连接。

Description

一种用于跨媒体数字城市景区建模方法

技术领域

本发明涉及一种用于跨媒体数字城市景区建模方法。

背景技术

地理信息系统是一门综合性的技术，它涉及到地理学、测绘学、计算机科学与技术等学科。它的概念和基础是地理和测绘，它的技术支撑是计算机技术，它的应用领域是地理、规划与管理等许多行业和部门。从20世纪60年代末地理信息系统发展以来，地理信息系统的概念和理论基础已基本成熟，剩下一些难题，如多维时态地理信息系统模型目前还没定论。但从主流技术上看，现有的地理信息系统理论基础可以支撑地理信息系统技术的发展。

三维全景视频是从三维全景图片发展而来的。三维全景图片是互联网页面浏览的一种特效图片，浏览者可以通过简单的鼠标操作，实现多视角对某物品的观察，仿真的动感视觉效果，加强产品对浏览者的视觉冲击和深刻记忆。而所谓的全景视频空间是利用采集的离散图像或连续的视频作为基础数据，经过处理后建立起的具有三维操纵能力的实景数据视频。近年来，3D建模和视频技术的逐步成熟，为搭建平滑的三维全景视频提供了良好的条件。

常见的数字导航系统的几种方式是：平面地图、卫星影像、航空影像、景点照片。这些数字导航方式虽然可以增加文字、声音加以丰富，但其表现形式单调刻板，缺乏真实感和互动性。

与此同时，随着技术的发展，2.5维地图、三维地形、虚拟漫游等方式也逐渐应用于数字导航。这些方式提高了数字城市(景区)的生动性，更加容易被旅游者接受，但其制作过程成本高昂，需要人工为各种地物建模，而且其模型仅仅是对自然地形的仿真，同样缺乏真实感。

将视频与地理信息系统地理信息相结合，可以比较好的克服平面地图等缺乏真实感和互动性的缺点，制作成本也相对于三维地图，虚拟漫游等方式相对廉价了不少。将地理信息系统与视频相结合，特别是和全景视频无缝结合，应该成为数字导航系统的一种趋势。

发明内容

本发明的目的在于提供一种用于跨媒体数字城市景区的建模方法，在该方法中将地理信息系统信息和全景视频无缝结合起来。

用于跨媒体数字城市景区建模方法包括以下步骤：

1)打开地理信息系统地图，选择编辑路段

打开一幅地理信息系统地图，通过鼠标选择编辑同一个路段的起点和终点位置，获得路段名称，起点终点位置地理信息系统信息；

2)载入全景视频，关联并设置参数

选择载入要关联的地理信息系统路段全景视频，播放或拖动视频，选择指定的视频起始位置与选择的地理信息系统路段起始点关联，通过鼠标的移动或键盘方向控制键选择全景视频起始帧的视角方向，同样步骤定位全景视频结束位置与选择的地理信息系统路段终点关联，保存编辑记录；

3)添加热点及说明文字

定位并暂停到全景视频中热点区域出现的起始时间点，通过鼠标的移动或者键盘方向键定位到热点区域具体位置，能够获得视频时序参数和空间位置参数，同样操作设置热点结束的视频时序参数，选择热点类型，在热点说明中记录热点在视频中出现的超文本文字，根据热点分类记录文字说明或跳转视频路径，将热点信息与全景视频关联起来，更新或删除地理信息系统和全景视频的关联记录以及热点标注与全景视频的关联信息；

4)交互式信息的保存：

通过关系数据模型，用于表达并存储编辑的地理信息系统数据空间位置与全景视频关系，编辑关联工作完成以后，相关的地理信息系统数据空间位置与全景视频关系将被存储到数据库中；

5)选择点击地理信息系统地物点，载入全景视频

载入编辑过的路段视频信息，鼠标点击选择与视频关联的地理信息系统路段，根据点击的路段物点计算出与路段起始点的距离，通过查询数据库载入关联的全景视频，初始化视频的起始和结束时序位置，起始视点位置，载入相应热点及图片文字说明信息；

6)沉浸式交互浏览

通过移动鼠标或者操作键盘方向键变换全景视频视点位置，浏览视频中任意角度的景物，对于视频中出现的以文字方式标注的热点，通过鼠标双击的方式捕获热点，系统根据热点的相关类型做出相应的动作，打开相关的热点说明网页，或者切换到特定的视频。

所述的全景视频：通过原始拍摄的全景数据进行三维建模到一个球状模型中，将视点定位到球心，通过三维建模和视频处理实现视频和图形呈现管道的合并。

所述的载入全景视频，关联并设置参数：根据地理信息系统中地物点对应于道路起点的位置信息以及采集视频中相应的地理信息系统参数信息，关联设置对应全景视频的时序位置，具体定位到视频帧；根据地理信息系统中地物点的方位信息关联设置视频起始视角方向参数。

所述的关系数据模型：对地理信息系统路段与全景视频关联信息进行建模，保存对应路段的全景视频路径，播放起点与终点，起点位置的视点信息；对全景视频与热点交互信息进行建模，保存对应全景视频的文字说明，跳转目标地址关联热点信息。

本发明在传统的地理信息系统中添加了全景视频及热点选择交互手段，相对于传统的图象及文字说明信息更加丰富，视觉更加直观。地理信息系统与全景视频的关联是通过编辑过程录入数据库中，然后通过展现过程，将关联后的整体交互效果展现于用户，达到地理信息系统数据空间位置与全景视频的无缝连接。

附图说明

图1是编辑模式下制作地理信息系统全景导航系统的工作流程图；

图2是用户在展现模式下使用该系统的工作流程图；

图3是关联地理信息系统数据与全景视频的操作界面示例图；

图4是在全景视频中添加和播放热点的操作界面示例图；

具体实施方式

用于跨媒体数字城市景区建模方法包括以下步骤：

1)打开地理信息系统地图，选择编辑路段

首先打开一幅地理信息系统地图，通过鼠标选择编辑路段的起点和终点位置，确保选择的地物点必须在同一个路段中，点击确定后，能够自动在编辑面板上填充路段名称，起点终点位置地理信息系统信息。

地理信息系统地图以SHP文件的格式载入编辑面板的，SHP文件记录了所有关于地理信息系统的信息。地物点的选择是通过比较窗口中点击的坐标与实际地物点的坐标的欧式距离，选择阈值范围内最近的一个点作为选择的地物点。

阈值可以根据精度的要求选择设置。

2)载入全景视频，关联并设置参数

选择载入1所述的要关联的地理信息系统路段全景视频，全景视频可以是本机上的视频文件，也可以是网络视频文件。载入全景视频，播放或拖动视频，选择满意的视频起始位置与选择的地理信息系统路段起始点关联，选择暂停视频。通过鼠标的移动或键盘方向控制键选择全景视频起始点的视点位置，选择起始确定按钮，能够将相关选择信息自动添加到编辑面板中。然后，按照同样步骤，定位全景视频结束位置与选择的地理信息系统路段终点关联。点击添加当前记录，保存编辑记录。

设置的参数有两类：视频时序参数和视频视点参数。时序参数用于视频和地物点在时间上得到同步，具体定位到视频帧。视频视点参数只有在全景视频中才需要设置。视点参数包括两个分量，垂直环绕分量用于水平调节观察点，范围从0°到360°，水平环绕分量用于调节视点的高度，范围从0°到180°，由于全景视频中上下两个极点比较特殊，在视频播放中会有扭曲的效果，因此通常限制水平环绕分量在10°到170°之间。

3)添加热点及说明文字

在全景视频播放过程中，可以通过鼠标移动从不同视点观察景点视频，同时也可以通过双击热点的方式在不同视频中切换，浏览与视频热点相关联的网页信息。首先定位并暂停到全景视频中关心的起始时间点，通过鼠标的移动或者键盘方向键定位到该时间点感兴趣的空间位置，通过双击该位置，能够自动在编辑面板上填充视频时序参数和空间位置参数，同样的操作设置热点结束的视频时序参数。选择热点类型，支持的热点类型有两种：文字说明和视频跳转。在热点说明中填写热点在视频中出现的超文本文字。然后根据不同的热点说明分别在编辑面板上填写文字说明或跳转视频路径。点击添加热点，能够自动将该热点信息与全景视频的关联记录添加到数据库中。能够通过点击查看所有记录浏览地理信息系统和全景视频的关联记录以及热点标注与全景视频的关联记录，并可以随时更新或删除。

热点与说明文字的加入是为了增强全景视频的交互特性。这里描述的热点必须随用户视点的改变做相应的改变，而不应该是一个静态的目标。本发明通过经纬坐标来唯一标识热点坐标，根据视频视点坐标和热点经纬坐标计算出热点在视频中的平面显示坐标。双击将要编辑的热点区域，系统捕获到视频双击消息后，根据窗口坐标和视频热点坐标反向计算出对应的经纬坐标，作为热点的坐标保存到热点记录中去，同时可以关联该热点的其他属性：文字说明，跳转目标地址。必须为每个热点设置起始时间和结束时间，本发明通过一个计时器每0.5秒对所有热点检查是否该显示，如果播放进度在热点起始时间和结束时间之间，则显示该热点。

4)交互式信息的保存：

通过关系数据模型，用于表达并存储编辑的地理信息系统数据空间位置与全景视频关系，编辑关联工作完成以后，相关的地理信息系统数据空间位置与全景视频关系将被存储到数据库中。

数据库中主要设计以下两张表，路段信息表和热点信息表。路段信息表中保存的信息主要有：路段名称，起始点标号，终止点标号，全景视频路径，热点个数，视频起始点位置，视频结束点位置，全景视频起始视点坐标。热点信息表中主要有：路段主键，热点主键，热点类型，目标路径，说明文字，经纬度坐标，热点起始位置，热点结束位置。

5)选择点击地理信息系统地物点，载入全景视频

载入编辑过的路段视频信息。鼠标点击选择与视频关联的地理信息系统路段，根据点击的路段地物点计算出与路段起始点的距离，通过查询数据库载入关联的全景视频，初始化视频的起始和结束时序位置，起始视点位置，载入相应热点及图片文字说明信息。

路段地物点与路段起始点的距离可以简化为简单的欧式距离，也可以根据地理信息系统事先在SHP文件里保存的距离信息直接获得。全景视频的载入和初始化在路段信息表中都有详细的参数设置，视频载入以后，根据对应的热点信息表中的信息，把所有热点记录载入内存，初始化计时器，根据热点的起始结束位置和经纬度坐标显示热点。针对部分热点起始结束位置间隔过短的问题，可以在载入视频后在操作面板上维护一个视频热点列表，除了在视频上点击热点区域转换视频或打开网页介绍外，双击视频热点列表项目可以达到相同的效果。

6)沉浸式交互浏览

通过移动鼠标或者操作键盘方向键变换全景视频视点位置，浏览视频中任意角度的景物。对于视频中出现的以文字方式标注的热点，可以通过鼠标双击的方式捕获热点，系统根据热点的相关类型做出相应的动作，打开相关的热点说明网页，或者切换到特定的视频。热点坐标的捕获需要经过窗口平面坐标与视频经纬坐标的转换，当捕获的点击坐标与实际热点坐标在阈值范围内，表示该热点被点击，从而响应点击动作。

如图1所示，描述了步骤1)至步骤4)的操作流程：打开地理信息系统，选择编辑路段，载入全景视频，设置关联参数，添加热点及说明，保存编辑。

如图2所示，描述了步骤5)至步骤6)的操作流程：打开地理信息，选择地理信息系统路径，播放全景视频并交互操作。

上述流程中描述的全景视频是：利用采集的离散图像或连续的视频作为基础数据，经过处理后建立起的具有三维操纵能力的实景数据空间，能够在这个空间中除进行普通视频播放，时序定位拖动等操作外，还能够进行360度环视操作，使得具有一种身临其境的感觉。全景视频的具体实现是：通过原始拍摄的全景数据进行三维建模到一个球状模型中，将视点定位到球心，通过三维建模和视频处理技术实现视频和图形呈现管道的合并，达到全景视频的效果。

具体实现可以利用Direct3D和DirectShow来实现全景视频的。首先用Direct3D建立球状的视频播放媒介，通过纹理贴图的方式将视频帧映射到该球状模型中，借助于DirectShow的VMR9的特性，将视频和图形呈现管道的合并，从而在球体上播放视频。把视点放置于球心便可以通过转换视点方向实现360度全景视频的环视操作。

所述的载入全景视频，关联并设置参数：根据地理信息系统中地物点对应于道路起点的位置信息以及采集视频中相应的地理信息系统参数信息，关联设置对应全景视频的时序位置，具体定位到视频帧；根据地理信息系统中地物点的方向信息关联设置视频起始视点方向参数。本发明是通过简单的线性关系来确定视频的时序关系的，也可以通过SHP中预定义的地理信息系统信息来确定视频的播放起点。一旦设置好播放的时序点就要定义该播放点的视点位置，通过鼠标的移动或者键盘方位建控制视点方向，一般需要把视点方向与地物点的正面方向关联起来，达到比较好的人机交互效果。

所述的关系数据模型：对地理信息系统路段与全景视频关联信息进行建模，保存对应路段的全景视频路径，播放起点与终点，起点位置的视点信息；对全景视频与热点交互信息进行建模，保存对应全景视频的文字说明，跳转目标地址关联热点信息。如4所述，本发明设计了路段信息和热点信息两张数据表。路段信息表中保存的信息主要有：路段名称，起始点标号，终止点标号，全景视频路径，热点个数，视频起始点位置，视频结束点位置，全景视频起始视点坐标。热点信息表中主要有：路段主键，热点主键，热点类型，目标路径，说明文字，经纬度坐标，热点起始位置，热点结束位置。

实施例：

本方法和系统在情景式旅游系统中的应用，导航系统的制作者可以事先做好地理信息系统信息与全景视频的无缝集成的编辑工作。下面详细说明该实例实施的具体步骤，如下：

1)打开地理信息系统地图，选择编辑路段

首先从本地系统载入地理信息系统地图，选择编辑路段的起点和终点位置，必须确保选择的地物点必须在同一个路段中，如图3，点击确定后，系统自动在面板上填充位置地理信息系统信息，包括道路编号：593，起点编号：29，终点编号：60。

2)载入全景视频，关联并设置参数

选择载入1所述的要关联的地理信息系统路段全景视频。如图3设置视频参数：起始点位置：10％，结束点位置：61％，播放初始视角：水平环绕90度，垂直环绕180度，点击并添加当前记录。

3)添加热点及说明文字

对于全景视频中的某些特别有兴趣的景物，可以将其制作成热点的形式展现出来。如图4，本实例中对街道旁的某个建筑感兴趣，双击视频欲标注点，得到标注点坐标：79，299。设置热点出现的时间段：从视频播放10％到视频播放到41％，添加热点说明：建筑物，并添加相应的文字说明。

4)交互式信息的保存

编辑完毕后点击添加热点按钮，将编辑的热点信息保存到数据库中。在编辑过程中，可以通过点击查看所有记录浏览地理信息系统和全景视频的关联记录以及热点标注与全景视频的关联记录，并可以做相应的更新或删除。

5)选择点击地理信息系统地物点，载入全景视频

当地理信息系统信息与全景视频的无缝集成的编辑工作完成以后，导航系统使用者可以在展现模式下点击关联的地理信息系统路段点，载入全景视频，步骤5其实是对步骤2所做工作的结果的表示。

6)沉浸式交互浏览

通过移动鼠标或者操作键盘方向键变换全景视频视点位置，浏览视频中任意角度的景物。对于视频中出现的以文字方式标注的热点，可以通过鼠标双击的方式捕获热点，可以根据热点的相关类型做出相应的动作，打开相关的热点说明，或者切换到特定的视频。

本实例将全景视频与GIS地理信息相结合，较好的克服了平面地图缺乏真实感和互动性，三维地图，虚拟漫游等方式制作成本较高等缺点。其易操错性和丰富的人机交互，必然给用户带来新的体验。

Claims (4)

1.一种用于跨媒体数字城市景区建模方法，其特征包括以下步骤：

1)打开地理信息系统地图，选择编辑路段

打开一幅地理信息系统地图，通过鼠标选择编辑同一个路段的起点和终点位置，获得路段名称，起点终点位置地理信息系统信息；

2)载入全景视频，关联并设置参数

选择载入要关联的地理信息系统路段全景视频，播放或拖动视频，选择指定的视频起始位置与选择的地理信息系统路段起始点关联，通过鼠标的移动或键盘方向控制键选择全景视频起始帧的视角方向，同样步骤定位全景视频结束位置与选择的地理信息系统路段终点关联，保存编辑记录；

3)添加热点及说明文字

定位并暂停到全景视频中热点区域出现的起始时间点，通过鼠标的移动或者键盘方向键定位到热点区域具体位置，能够获得视频时序参数和空间位置参数，同样操作设置热点结束的视频时序参数，选择热点类型，在热点说明中记录热点在视频中出现的超文本文字，根据热点分类记录文字说明或跳转视频路径，将热点信息与全景视频关联起来，更新或删除地理信息系统和全景视频的关联记录以及热点标注与全景视频的关联信息；

4)交互式信息的保存：

通过关系数据模型，用于表达并存储编辑的地理信息系统数据空间位置与全景视频关系，编辑关联工作完成以后，相关的地理信息系统数据空间位置与全景视频关系将被存储到数据库中；

5)选择点击地理信息系统地物点，载入全景视频

载入编辑过的路段视频信息，鼠标点击选择与视频关联的地理信息系统路段，根据点击的路段物点计算出与路段起始点的距离，通过查询数据库载入关联的全景视频，初始化视频的起始和结束时序位置，起始视点位置，载入相应热点及图片文字说明信息；

6)沉浸式交互浏览

通过移动鼠标或者操作键盘方向键变换全景视频视点位置，浏览视频中任意角度的景物，对于视频中出现的以文字方式标注的热点，通过鼠标双击的方式捕获热点，系统根据热点的相关类型做出相应的动作，打开相关的热点说明网页，或者切换到特定的视频。

2.根据权利要求1所述的一种用于跨媒体数字城市景区建模方法，其特征在于，所述的全景视频：通过原始拍摄的全景数据进行三维建模到一个球状模型中，将视点定位到球心，通过三维建模和视频处理实现视频和图形呈现管道的合并。

3.根据权利要求1所述的一种用于跨媒体数字城市景区建模方法，其特征在于，所述的载入全景视频，关联并设置参数：根据地理信息系统中地物点对应于道路起点的位置信息以及采集视频中相应的地理信息系统参数信息，关联设置对应全景视频的时序位置，具体定位到视频帧；根据地理信息系统中地物点的方位信息关联设置视频起始视角方向参数。

4.根据权利要求1所述的一种用于跨媒体数字城市景区建模方法，其特征在于，所述的关系数据模型：对地理信息系统路段与全景视频关联信息进行建模，保存对应路段的全景视频路径，播放起点与终点，起点位置的视点信息；对全景视频与热点交互信息进行建模，保存对应全景视频的文字说明，跳转目标地址关联热点信息。

Images