CN115527016A - 一种三维gis视频融合注册方法、系统、介质、设备及终端 - Google Patents

Abstract

本发明属于GIS、计算机图形学、计算机视觉技术领域，公开了一种三维GIS视频融合注册方法、系统、介质、设备及终端，以视频帧特征点与GIS匹配点坐标距离标准差作为目标函数值，建立视频相机三维注册优化模型，并运用优化工具求解，实现在线求解相机注册参数，建立视频与GIS的空间映射关系；基于纹理投影和深度图算法完成视频投影原型，将注册参数代入视频投影原型中；通过比较视频投影中图像内容与三维GIS对应元素的偏差程度，验证空间映射关系准确性。本发明通过将视频投射到三维模型上，使得视频和场景准确的融合在一起，能够准确在线计算视频相机在三维GIS下的注册参数，进而解决屏幕视频与虚拟三维场景的融合问题。

Description

一种三维GIS视频融合注册方法、系统、介质、设备及终端

技术领域

本发明属于GIS、计算机图形学、计算机视觉技术领域，尤其涉及一种三维 GIS视频融合注册方法、系统、介质、设备及终端。

背景技术

目前，三维GIS是数字孪生城市可视化基础平台，与监控视频实时融合能 实现对物理城市运行状态的精准映射，已成为新一代智慧城市发展的关键技术。 三维视频融合的注册过程决定了视频与三维GIS的校准，达到了保证视频与三 维GIS空间一致性的需求。现有的视频融合注册技术大多从摄像机标定出发测 量相机的内外参数然后转换到三维GIS坐标系中，存在真实复杂场景下，如难 以放置标定物导致无法直接测量内外参数的问题。本发明从虚拟场景下获取空 间信息建立视频注册的优化模型，保证视频与三维GIS融合的一致性需求。

(1)真实场景相机成像模型

在生活中相机拍摄图片的原理是小孔成像，即光线从真实物体出发，穿过 相机中心照射在胶片上，通过物体点、成像点和投影中心三点共线的本质建立 几何数学关系。图3表示了相机成像的过程，相机从世界坐标系变换到相机所 在坐标系下，光线通过物体点Q、成像点P和相机光心成像，建立成像方程。 图中F为相机焦距，O(c_u,c_v)表示了相机光轴与胶片的交点，一般情况下光轴与 成像平面是相互垂直的，该坐标可以表示相机光心与图像中心的偏移量。

其中矩阵P实现了将三维世界坐标(x,y,z)转换到图像坐标系(u,v)。相机矩阵 P由外参矩阵[R,t]和内参矩阵K表示，外参表示摄像机在三维世界中的位置和方 向，内参表示摄像机的光心偏移(c_u,c_v)和焦距(f_u,f_v)。

参数s为倾斜系数，当像轴与成像平面不垂直时，倾斜系数为非零。参数 f_u和f_v分别以像素为单位表示水平方向和垂直方向的焦距。它们可以用焦距(F) 和像素大小(p_u,p_v)表示。

(2)三维GIS中相机成像模型

在三维GIS中，从三维虚拟场景到屏幕图像的过程类似于从真实场景拍摄 图片的过程。开始确定一个摄像机的观察位置，然后确定相机的拍摄方向和视 线方向。最后通过改变相机的内参数调节可视视野即镜头视域来确定光线是通 过什么样的方式映射到摄像机胶片上的。对应于三维场景中，要先根据相机的 位置和方向建立用于观察的坐标系，从而将观察者从主视角变换到相机视角。 然后，将三维虚拟场景对象转移到摄像机坐标系并投射到观察平面上，最后用 镜头平面定义的一组封闭空间体来剪切三维场景。在计算机中通过一系列坐标 变换完成世界坐标到屏幕像素坐标的转换。图4描述了三维虚拟场景变换到二 维图像的流程。先获取三维世界坐标，依次通过视图变换V、投影变换P和窗 口变换S转换到二维图像坐标。视图变换是将坐标系从世界坐标系转换到虚拟 相机所在的观察坐标系；透视投影变换是将相机的视图从正交视图变换到透视 投影视图，形成生活当中的近大远小的效果，经过投影变换后的坐标需要进行 法化操作，从而让坐标值处于-1到1之间的标准设备坐标系(Normalized Device Coordinates，NDC)；最后经过窗口变换，即经过尺度和偏移操作从NDC坐标 系变换到图像坐标系。在三维中以上变换都是线性变换，可得图像坐标与三维GIS坐标得转化关系如式所示：

其中(X_w,Y_w,Z_w)是某点在GIS中的笛卡尔坐标，z是深度信息，w是齐次参 数，(x,y)是二维坐标，将二维坐标除以w就得到了经过三维成像后的屏幕像素 坐标值。图4中的透视变换过程是理想的小孔成像模型，成像关系是线性的， 透视变换能模拟真实生活中近大远小的效果。观察坐标系中金字塔状几何体代 表透视变换的视景体，在三维场景中它的顶点位置坐标和坐标轴方向对应虚拟 相机的外参，表示虚拟相机在三维场景中的姿态，视景体的形状特征反映了光 线采取何种路线从物体到达图像上，代表虚拟相机的内参，确定了这些参数也 就确定了三维成像关系，从而模拟现实生活中的相机成像过程。

基于真实场景相机成像模型与三维GIS中相机成像模型的成像一致性可以 推出视频相机三维GIS注册模型，并根据三维GIS中坐标转换过程得到注册模 型的数学表达。然而由于视频图像与GIS数据接口的无关性，导致海量视频时 空信息难以融入GIS中充分表达。同时，实际场景下还存在相机参数测量困难 导致视频与GIS空间映射不准确的问题。

通过上述分析，现有技术存在的问题及缺陷为：由于视频图像与GIS数据 接口的无关性，导致海量视频时空信息难以融入GIS中充分表达；同时在实际 场景下，还存在相机参数测量困难导致视频与GIS空间映射不准确的问题。

发明内容

针对现有技术存在的问题，本发明提供了一种三维GIS视频融合注册方法、 系统、介质、设备及终端，尤其涉及一种基于特征点匹配的三维GIS视频融合 注册方法、系统、介质、设备及终端。

本发明是这样实现的，在视频上标记特征点后，在虚拟三维GIS场景下通 过射线拾取获取特征点的三维GIS坐标，并通过射线拾取和方向测量对相机的 位置与方向进行粗略估计，将特征点的视频坐标与三维GIS坐标作为输入，相 机估计参数作为初始值，通过算法进行优化求解相机注册参数。一种三维GIS 视频融合注册方法，所述三维GIS视频融合注册方法包括：

以视频帧特征点与GIS匹配点坐标距离标准差作为目标函数值，建立视频 相机三维注册优化模型，并运用优化工具求解，实现在线求解相机注册参数， 建立视频与GIS的空间映射关系；基于纹理投影和深度图算法完成视频投影原 型，将注册参数代入视频投影原型中；通过比较视频投影中图像内容与三维GIS 对应元素的偏差程度，验证空间映射关系准确性。

进一步，所述三维GIS视频融合注册方法包括以下步骤：

步骤一，初始化视频特征点对和三维GIS坐标；作为视频三维GIS注册方 法的输入数据。

步骤二，初始化三维GIS中相机的参数；通过射线拾取和方向测量将粗略 估计的相机参数作为相机注册参数的初始值。

步骤三，刻画优化相机注册参数的数学模型；建立优化相机注册参数的算 法。

步骤四，迭代优化，并验证视频融合注册效果；此步骤计算出了最终的相 机注册参数，由于结果可能陷入局部最优，需要对视频融合注册效果进行验证。

进一步，所述步骤一中的初始化视频特征点对和三维GIS坐标包括：

在视频帧上标记若干个特征点并记录；

在三维场景中使用射线拾取测量每个特征点对应的GIS坐标值，从而得到 相机注册优化模型所需的视频帧特征点像素坐标与对应的三维GIS坐标值。

进一步，所述步骤二中的初始化三维GIS中相机的参数包括：

测量初始方向u和d和相机位置c，输入其他初始参数垂直夹角fov、视频 宽width、高height信息。

进一步，所述步骤三中的刻画优化相机注册参数的数学模型包括：

β＝[u，d，x_c，y_c，z_c，fov]

u×d＝0

|u|＝1

|d|＝1

fov＞0；

其中，u、d、x_c、y_c、z_c和fov是求解的视景体参数，分别表示相机的上方 向、视点方向、三维坐标和垂直角；n表示特征点的个数；qi是特征点的图像像 素坐标；且u和d正交，u和d是单位向量，垂直视角fov大于0。

进一步，所述步骤四中的迭代优化，并验证视频融合注册效果包括：

输入相机初始参数、视频帧特征点与GIS坐标，通过SLSQP算法进行求解； 当陷入局部最小至导致误差较大时，重新采集特征点和测量初始值。

使用后处理技术，渲染三维场景时并不直接完成渲染，而是在渲染到屏幕 前将图像缓存并经过后处理操作，在后处理操作中依次完成视频纹理坐标与三 维顶点坐标映射、通过深度图判断可见性、将可见区域着色替换成视频纹理。

本发明的另一目的在于提供一种应用所述的三维GIS视频融合注册方法的 三维GIS视频融合注册系统，所述三维GIS视频融合注册系统包括：

初始化模块，用于初始化视频特征点对和三维GIS坐标，并初始化三维GIS 中相机的方向参数和其他参数；

数学模型构建模块，用于刻画优化相机注册参数的数学模型；

迭代优化模块，用于进行迭代优化，并验证视频融合注册效果。

本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器 和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行 时，使得所述处理器执行所述的三维GIS视频融合注册方法。

本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序， 所述计算机程序被处理器执行时，使得所述处理器执行所述的三维GIS视频融 合注册方法。

本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终 端用于实现所述的三维GIS视频融合注册系统。

结合上述的技术方案和解决的技术问题，请从以下几方面分析本发明所要 保护的技术方案所具备的优点及积极效果为：

第一、针对上述现有技术存在的技术问题以及解决该问题的难度，紧密结 合本发明的所要保护的技术方案以及研发过程中结果和数据等，详细、深刻地 分析本发明技术方案如何解决的技术问题，解决问题之后带来的一些具备创造 性的技术效果。具体描述如下：

本发明聚焦于视频时空数据在三维GIS中的准确、高效融合，为了满足视 频与三维GIS融合中时空信息一致的需求，分析了基于场景信息的视频相机注 册方法与基于轨迹提取的视频GIS高效集成方法。针对实际场景下相机参数测 量困难导致视频与GIS空间映射不准确的问题，本发明提出了基于视频帧特征 点匹配GIS坐标的相机注册方法。以视频帧特征点与GIS匹配点坐标距离标准 差作为目标函数值，建立视频相机三维注册优化模型，并运用优化工具求解， 实现在线求解相机注册参数，建立视频与GIS的空间映射关系；基于纹理投影 和深度图算法完成视频投影原型，将注册参数代入视频投影原型中，通过比较 视频投影中图像内容与三维GIS对应元素的偏差程度，验证空间映射关系准确 性。实验表明，视频图像特征点误差减小到初始值的20％以下，证明了该注册 方法的空间配准有效性。

第二，把技术方案看做一个整体或者从产品的角度，本发明所要保护的技 术方案具备的技术效果和优点，具体描述如下：

本发明通过将视频投射到三维模型上，使得视频和场景准确的融合在一起， 进而解决屏幕视频与虚拟三维场景的融合问题。

本发明算法明确，能准确在线计算视频相机在三维GIS下的注册参数，完 成视频与三维GIS的准确融合，保持二者的空间一致性。

第三，作为本发明的权利要求的创造性辅助证据，还体现在以下几个重要 方面：

本发明的技术方案解决了人们一直渴望解决、但始终未能获得成功的技术难 题：现阶段真实场景下进行视频三维GIS注册容易受到环境的制约导致难以测 量相机内外参数，现阶段虚拟场景下进行三维GIS注册大多需要进行大量数据 准备如DEM数据、3D点云数据等，造成开销较大。本发明提出的视频三维GIS 注册方法直接在三维虚拟场景下通过射线拾取进行数据采集，能以较小的开销 较为便捷完成相机三维注册过程。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所 需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明 的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下 还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的三维GIS视频融合注册方法流程图；

图2是本发明实施例提供的相机三维注册数学模型示意图；

图3是本发明实施例提供的真实场景相机成像示意图；

图4是本发明实施例提供的三维场景相机成像示意图；

图5是本发明实施例提供的射线拾取原理示意图；

图6是本发明实施例提供的射线拾取获取特征点对示意图；

图7是本发明实施例提供的方向测量示意图；

图8是本发明实施例提供的优化前的融合效果示意图；

图9～图10是本发明实施例提供的经过注册算法优化后的融合效果示意图；

图11是本发明实施例提供的验证视频注册算法原理示意图。

图12是本发明应用在实际项目中的效果图；

图13是本发明将视频投影与轨迹监控接入该平台的效果图；

图14是本发明在哨兵系统监控子模块中将设备杆上的摄像头采集的视频数 据与室内地图模型进行融合的效果图；

图15是本发明对粗略估计的相机初始参数有较大的优化效果图；

图16是本发明记录了三路视频注册优化后的像素距离标准差随特征点个数 的关系图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例， 对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以 解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种三维GIS视频融合注册方法、 系统、介质、设备及终端，下面结合附图对本发明作详细的描述。

一、解释说明实施例。为了使本领域技术人员充分了解本发明如何具体实 现，该部分是对权利要求技术方案进行展开说明的解释说明实施例。

如图1所示，本发明实施例提供的三维GIS视频融合注册方法包括以下步 骤：

S101，初始化视频特征点对和三维GIS坐标；

S102，初始化三维GIS中相机的参数；

S103，刻画优化相机注册参数的数学模型；

S104，迭代优化，并验证视频融合注册效果。

本发明实施例提供的步骤S101的初始化视频特征点对和三维GIS坐标包 括：

在视频帧上标记若干个特征点并记录；

在三维场景中使用射线拾取测量每个特征点对应的GIS坐标值，从而得到 相机注册优化模型所需的视频帧特征点像素坐标与对应的三维GIS坐标值。

本发明实施例提供的步骤S102中的初始化三维GIS中相机的参数包括：

测量初始方向u和d和相机位置c，输入其他初始参数垂直夹角fov、视频 宽width、高height信息。

本发明实施例提供的步骤S103中的刻画优化相机注册参数的数学模型包 括：

β＝[u，d，x_c，y_c，z_c，fov]

u×d＝0

|u|＝1

|d|＝1

fov＞0；

其中，u、d、x_c、y_c、z_c和fov是求解的视景体参数，分别表示相机的上方 向、视点方向、三维坐标和垂直角；n表示特征点的个数；q_i是特征点的图像像 素坐标；且u和d正交，u和d是单位向量，垂直视角fov大于0。

本发明实施例提供的步骤S104中的迭代优化并验证视频融合注册效果包 括：

输入相机初始参数、视频帧特征点与GIS坐标，通过SLSQP算法进行求解； 当陷入局部最小至导致误差较大时，重新采集特征点和测量初始值。

使用后处理技术，渲染三维场景时并不直接完成渲染，而是在渲染到屏幕 前将图像缓存并经过后处理操作，在后处理操作中依次完成视频纹理坐标与三 维顶点坐标映射、通过深度图判断可见性、将可见区域着色替换成视频纹理。

本发明实施例提供的相机三维注册数学模型示意图如图2所示。

相机注册模型参数说明如表1所示。

表1相机注册模型参数

本发明实施例提供的三维GIS视频融合注册方法包括特征点对采集、初始 方向测量、建立优化模型、迭代优化与检验注册参数优化效果五个步骤。

(1)特征点对采集

特征点对采集使用了射线拾取的概念。射线拾取的原理就是从虚拟相机， 即三维场景的观察点发出一条射线，穿过屏幕上用户点击的点并无限延申，与 三维场景内的模型进行碰撞，通过求出射线与模型的交点获取到GIS坐标。如 图5所示，经过A点的射线与三维场景中模型的包围盒碰撞，依次穿过点1和 2。通过射线拾取可以获取到射线与三维场景相交的一系列坐标点，将其按照深 度大小排序可以得到这些点在相机观察视角下的先后次序，从而拾取到距离相 机最近点，即在屏幕前观察到的点。在获取GIS坐标过程中，先标记视频帧特 征点获取像素坐标，并找到该点对应于GIS空间在屏幕上的位置，使用射线拾 取获取到屏幕上该点的三维GIS坐标，获取到视频帧特征点和GIS坐标点对。 在视频帧上标记若干个特征点并记录，在三维场景中使用射线拾取测量每个特 征点对应的GIS坐标值，从而得到相机注册优化模型所需的视频帧特征点像素 坐标与对应的三维GIS坐标值。获取6至12个特征点进行优化即可。获取特征 点结果如图6所示，上方的灰色点是视频帧特征点，下方灰色点是特征点对应 的三维GIS坐标点。

(2)初始方向测量和初始参数设置

优化过程需要对相机参数进行一些粗略的估计来启动优化过程。对于相机 位置c(x_c,y_c,z_c)，如果直接使用上述的射线拾取获取笛卡尔坐标，由于拾取到的 点位于地面，会导致无法设置相机高度，故先获取到其经纬度坐标，设置高度 然后通过地理坐标变换转化成笛卡尔坐标。对于相机方向u和d可以通过相机 视点和场景中某一点作差并归一化计算出向，如图7所示，通过相机视点O与 观察目标点P作差可得到。观察方向d。通过u与d叉乘运算得到r，r与d叉 乘可得到u，最终满足d、u与r为正交单位向量。

(3)建立优化模型

根据相机成像原理与坐标转换，可以得到视频相机在三维GIS中的注册模 型，如图6所示。其中width和height表示该图像平面的宽和高，与视频图像的 分辨率相对应。其中O点坐标(x_c，y_c，z_c)表示相机的GIS坐标，u、d和r表示相 机方向，fov表示相机的垂直视角，确定这些参数就能建立三维GIS与视频的空 间映射关系，完成GIS坐标点到视频坐标点的转换。该模型描述了输入三维空 间中的坐标点，其GIS坐标为(x_i，y_i，z_i)，经过相机成像后转换到一个假想的视频 帧图像平面，得到其在图片上的像素坐标。结合三维转换公式最终得到数学表 现形式如下所示：

β＝[u，d，x_c，y_c，Z_c，fov]

u×d＝0

|u|＝1

|d|＝1

fov＞0

(4)迭代优化

对于前两步描述的优化问题，输入相机初始参数、视频帧特征点与GIS坐 标，通过SLSQP算法进行求解。当陷入局部最小至导致误差较大时，可以重新 采集特征点和测量初始值。

(5)验证视频融合注册效果

思路是使用后处理技术，算法如图10所示，即渲染三维场景时并不直接完 成渲染，而是在渲染到屏幕之前将图像缓存并经过一次后处理操作，在后处理 操作中依次完成视频纹理坐标与三维顶点坐标映射、通过深度图判断可见性、 将可见区域着色替换成视频纹理。首先输入参数，接着从投影相机出发，获取 深度图dMap，然后获取虚拟影像rMap和顶点集合W，根据如下公式计算三维 顶点和视频纹理坐标的映射关系，然后判断点是否处于NDC方体内。通过阴 影图算法判断点的可见性，为可见点赋值。最后将虚拟影像渲染到屏幕中。

q＝S_proj*P_proj*V_proj*w (3-7)

p＝S_view*P_view*V_view*w (3-8)

基于以上步骤，完成了视频图像纹理与三维场景的融合，如图8～9所示， 其中图8是优化前的视频融合效果图，经过注册方法优化后得到效果图9，通过 观察红色标记内的视频融合效果可以验证相机注册算法的有效性。从而可以观 察相机注册后视频图像与三维GIS的融合效果，对相机注册参数的准确性进行 判别。

验证视频注册算法实现过程如下：

本发明实施例提供的验证视频注册算法原理如图11所示。

本发明实施例提供的三维GIS视频融合注册系统包括：

初始化模块，用于初始化视频特征点对和三维GIS坐标，并初始化三维GIS 中相机的方向参数和其他参数；

数学模型构建模块，用于刻画优化相机注册参数的数学模型；

迭代优化模块，用于进行迭代优化，并验证视频融合注册效果。

二、应用实施例。为了证明本发明的技术方案的创造性和技术价值，该部 分是对权利要求技术方案进行具体产品上或相关技术上的应用实施例。

基于提出的相机注册与视频GIS集成方法设计并实现了三维GIS监控视 频融合模块。在多路视频同时融合的情形下，浏览器帧率维持在30帧/秒以上， 能保持多路视频轨迹数据的稳定加载。该模块已在天安数码城智慧城市道路监 控系统、数字地球空间分析系统中实施应用，验证了所提出方法的可行性和有 效性。

视频融合系统能将实时视频与三维GIS相结合，可以形成全域立体、动静 互补与虚实结合的监控效果，本发明将视频投影功能与视频轨迹可视化功能接 入天安数码城智慧园区项目中，效果如图12，通过东、西、北三路视频与三维 场景统一融合到三维GIS场景下，对分散的视频统一组织到对应的空间位置 下，能从大范围视角下观察到效果直观的监控视频。

三维数字地球平台集成了面向智慧园区的时空数据可视化多种功能，将视 频融合系统封装为功能模块接入该平台中可提升代码的可重用性。图13是将视 频投影与轨迹监控接入该平台的效果。

智慧哨兵系统是集成雷达与视频数据，对室内外进行一体化智能监控的系 统，图14是在哨兵系统监控子模块中将设备杆上的摄像头采集的视频数据与室 内地图模型进行融合的效果。

三、实施例相关效果的证据。本发明实施例在研发或者使用过程中取得了 一些积极效果，和现有技术相比的确具备很大的优势，下面内容结合试验过程 的数据、图表等进行描述。

图15是对三路视频注册优化过程中得到的若干组实验数据，优化后视频特 征点的像素距离标准差减小到初始值的20％以下，说明该方法对粗略估计的相 机初始参数有较大的优化效果。

理想情况下准确计算出相机注册参数后，多个特征点都服从该相机成像关 系，随着特征点个数增加，像素标准差不应有较大改变。图16记录了三路视频 注册优化过程中，优化后的像素距离标准差随特征点个数的关系，特征点个数 设置为4至12之间，可以观察到标准差随着特征点个数增加。其中北向的变 化最明显，这是因为优化算法会陷入局部最优解，当特征点个数较多时，若设 置的初始参数不合理，优化后的注册参数不能准确反映三维GIS与视频的空间 映射关系，此情况下需要进行重新测量初始值和标记特征点作为输入执行优化 算法。

图8和9对西电路智慧园区系统中西路视频注册优化前后的投影效果进行 对比，经过相机注册优化后，标记区域准确度明显提高，验证了注册方法对视 频与三维GIS空间配准有效性。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于 此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明 的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的 保护范围之内。

Claims (10)

1.一种三维GIS视频融合注册方法，其特征在于，所述三维GIS视频融合注册方法包括：

以视频帧特征点与GIS匹配点坐标距离标准差作为目标函数值，建立视频相机三维注册优化模型，并运用优化工具求解，实现在线求解相机注册参数，建立视频与GIS的空间映射关系；基于纹理投影和深度图算法完成视频投影原型，将注册参数代入视频投影原型中；通过比较视频投影中图像内容与三维GIS对应元素的偏差程度，验证空间映射关系准确性。

2.如权利要求1所述三维GIS视频融合注册方法，其特征在于，所述三维GIS视频融合注册方法包括以下步骤：

步骤一，初始化视频特征点对和三维GIS坐标；

步骤二，初始化三维GIS中相机的参数；

步骤三，刻画优化相机注册参数的数学模型；

步骤四，迭代优化，并验证视频融合注册效果。

3.如权利要求2所述三维GIS视频融合注册方法，其特征在于，所述步骤一中的初始化视频特征点对和三维GIS坐标包括：

在视频帧上标记若干个特征点并记录；

在三维场景中使用射线拾取测量每个特征点对应的GIS坐标值，从而得到相机注册优化模型所需的视频帧特征点像素坐标与对应的三维GIS坐标值。

4.如权利要求2所述三维GIS视频融合注册方法，其特征在于，所述步骤二中的初始化三维GIS中相机的参数包括：

测量初始方向u和d和相机位置c，输入其他初始参数垂直夹角fov、视频宽width、高height信息。

5.如权利要求2所述三维GIS视频融合注册方法，其特征在于，所述步骤三中的刻画优化相机注册参数的数学模型包括：

β＝[u，d，x_c，y_c，z_c，fov]

u×d＝0

|u|＝1

|d|＝1

fov＞0；

其中，u、d、x_c、y_c、z_c和fov是求解的视景体参数，分别表示相机的上方向、视点方向、三维坐标和垂直角；n表示特征点的个数；q_i是特征点的图像像素坐标；且u和d正交，u和d是单位向量，垂直视角fov大于0。

6.如权利要求2所述三维GIS视频融合注册方法，其特征在于，所述步骤四中的迭代优化，并验证视频融合注册效果包括：

输入相机初始参数、视频帧特征点与GIS坐标，通过SLSQP算法进行求解；当陷入局部最小至导致误差较大时，重新采集特征点和测量初始值；

使用后处理技术，渲染三维场景时并不直接完成渲染，而是在渲染到屏幕前将图像缓存并经过后处理操作，在后处理操作中依次完成视频纹理坐标与三维顶点坐标映射、通过深度图判断可见性、将可见区域着色替换成视频纹理。

7.一种应用如权利要求1～6任意一项所述三维GIS视频融合注册方法的三维GIS视频融合注册系统，其特征在于，所述三维GIS视频融合注册系统包括：

初始化模块，用于初始化视频特征点对和三维GIS坐标，并初始化三维GIS中相机的方向参数和其他参数；

数学模型构建模块，用于刻画优化相机注册参数的数学模型；

迭代优化模块，用于进行迭代优化，并验证视频融合注册效果。

8.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1～6任意一项所述三维GIS视频融合注册方法。

9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1～6任意一项所述三维GIS视频融合注册方法。

10.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求7所述三维GIS视频融合注册系统。

Images