CN112365397A - 一种二维视频信息与三维地理信息融合的方法 - Google Patents

Abstract

本发明涉及一种二维视频信息与三维地理信息融合的方法，对于目标观察点区域，二维视频信息通过多角度的多个摄像头拍摄来获得，利用摄像头的参数构建视椎体来表示二维视频信息的可视范围，包括如下步骤：1、获得每个摄像头拍摄的二维视频信息，求解每个单独摄像头的覆盖区域；2、融合多个摄像头的覆盖区域，获得融合后的二维视频信息；3、对融合后的二维视频信息进行优化处理，剪裁掉不在目标观察点区域内的二维数据信息；4、将优化处理后的二维视频信息映射到三维地图信息中；5、进行二维视频信息的时时更新和映射，实现二维视频和三维地理信息的实时融合。本发明实现了将动态连贯的场景完整映射到三维地图中，从而提升了三维地图的连贯性和精确度。

Description

一种二维视频信息与三维地理信息融合的方法

技术领域

本发明属于地理信息系统技术领域，具体涉及一种二维视频信息与三维地理信息融合的方法。

背景技术

三维地理信息具有视野广阔和可以从任意视角观察的优点，但是实时性较差，随着地形的变化和城市的建设需要定期更新地理信息，不能动态地展示当前的地理信息，比如近期新增的建筑、设施、道路等。二维视频信息的优点是可以实时观测现场情况，可以捕捉地形的动态变化信息，但是视频数据是较为分散的，无法直观的反应当前画面和空间的对应关系，容易造成信息的遗漏，不利于从宏观把控整个地理空间的动态信息。将二维视频信息和三维地理信息相结合可以发挥二者的优势，在电子地图上实现动态显示当前区域的环境地形情况。电子地图在安全监控、交通指挥、军事行动中都有重要应用，三维信息帮助确定地理位置，二维视频信息帮助确定周边动态环境，二者相结合便可以提供完整的地理信息，可以快速确定自身和目标周边的环境信息。

已有的二维视频与三维地理信息相融合的技术是将二维视频信息简单地嵌入在三维地图之上，未能参考空间位置和信息，只能提供以某点为中心的扇形区域的信息，缺乏地理信息的支持，融合效果差，不能提供较为完整的视野信息，无法在实际中进行应用。

发明内容

本发明的目的在于克服现有技术的不足之处，提供一种二维视频信息与三维地理信息融合的方法，该方法实现将动态连贯的场景完整映射到三维地图中，从而可提升三维地图的连贯性和精确度。

本发明为解决上述技术问题采取的技术方案为：

一种二维视频信息与三维地理信息融合的方法，其特征在于：对于目标观察点区域，二维视频信息通过单个摄像头拍摄来获得，利用摄像头的参数构建视椎体来表示二维视频信息的可视范围，包括如下步骤：

步骤一、获得单个摄像头拍摄的二维视频信息，求解摄像头的覆盖区域；

步骤二、将二维视频信息映射到三维地图信息中；

步骤三、进行二维视频信息的时时更新和映射，实现二维视频和三维地理信息的实时融合。

进一步的：步骤一包括如下步骤：

1.1首先从摄像头A处对目标场景进行渲染，并将生成的深度纹理Z1导入着色器；

1.2然后从目标区域观察点进行渲染，将每个像素点的坐标转换到摄像头A的坐标系中，通过计算得到各像素点的深度值Z2；

1.3比较Z1和Z2，Z1大于Z2部分，则表示该点未被遮挡，采用二维视频信息替换原三维地理信息；Z1不大于Z2部分，则表示该点被遮挡，采用三维地图的原信息。

进一步的：步骤二通过投影纹理映射技术将视频采样点与目标空间的端点进行对应，包括如下步骤：

2.1首先使用模型视图矩阵将目标区域的端点坐标变换到摄像头坐标中去，表达式为：

其中，x₀，y₀为摄像头坐标系的坐标，X₀，Y₀，Z₀为目标区域的端点坐标，a为摄像机焦距；

2.2再通过相机视图逆矩阵变换为世界坐标系，表达式为：

其中，M_pv为投影视图变换矩阵，R为旋转关系，T_r为平移关系，V_w为世界坐标，X_w、Y_w和Z_w为世界坐标系下的坐标；

2.3再将世界坐标系经投影视图矩阵变换至投影坐标系中，表达式为：

其中，f_u，f_v表示图像坐标系u轴和v轴上的尺度因子，s表示倾斜因子，P_p为投影变换矩阵，X为投影横坐标，u₀为u轴的坐标，v₀为v轴的坐标；

2.4最后经过投影矩阵和归一化处理得到最终的纹理坐标，纹理转换公式如下：

(s,t,r,q)^T＝N×P_p×M_pv×V_w

式中：

(s,t,r,q)^T为纹理坐标；

N为归一化矩阵

P_p为投影变换矩阵；

M_pv为投影视图变换矩阵；

V_w为端点在世界坐标系下的坐标；

纹理匹配后，单个摄像头的二维视频信息就可以映射到三维地图中。

进一步的：步骤三具体为：通过求解摄像头覆盖区域和视频信息映射可以在三维地图上得到1帧视频信息，通过回调函数来更新下一帧的纹理数据，当摄像头内外参数发生变化的时候，纹理数据也会随之变化，根据新的纹理数据来计算新的纹理坐标，实现这一帧的映射，持续以上操作，可实现视频和三维地理信息的实时融合。

一种二维视频信息与三维地理信息融合的方法，其特征在于：对于目标观察点区域，二维视频信息通过多角度的多个摄像头拍摄来获得，利用摄像头的参数构建视椎体来表示二维视频信息的可视范围，包括如下步骤：

步骤一、获得每个摄像头拍摄的二维视频信息，求解每个单独摄像头的覆盖区域；

步骤二、融合多个摄像头的覆盖区域，获得融合后的二维视频信息；

步骤三、对融合后的二维视频信息进行优化处理，剪裁掉不在目标观察点区域内的二维数据信息；

步骤四、将优化处理后的二维视频信息映射到三维地图信息中；

步骤五、进行二维视频信息的时时更新和映射，实现二维视频和三维地理信息的实时融合。

进一步的：步骤一包括如下步骤：

1.1首先从摄像头A处对目标场景进行渲染，并将生成的深度纹理Z1导入着色器；

1.2然后从目标区域观察点进行渲染，将每个像素点的坐标转换到摄像头A的坐标系中，通过计算得到各像素点的深度值Z2；

1.3比较Z1和Z2，Z1大于Z2部分，则表示该点未被遮挡，采用二维视频信息替换原三维地理信息；Z1不大于Z2部分，则表示该点被遮挡，采用三维地图的原信息。

进一步的：步骤二具体为：采用多次渲染方法对多摄像头的二维信息进行融合，即一个摄像头的纹理数据渲染之后，下一个摄像头的纹理数据在此基础上继续进行渲染；所有摄像头的数据组保存在计算机数据列表中，列表根据各摄像头的活跃度进行分组，若某个摄像头的数据组被其余摄像头的数据组覆盖，则关闭此摄像头，将此摄像头列入不活跃分组，后续渲染只采集活跃组摄像头的纹理数据。

进一步的：步骤三采用采用八叉树空间索引和对摄像相交区域进行裁剪优化处理，具体包括如下步骤：

3.1先进行摄像头索引

摄像头索引采用八叉树空间索引，将目标空间划分为多个立方体，同一区域若视频属性相同，则该区域被划分到同一立方体中，对属性复杂的区域，对大的立方体进行进一步的划分，得到多个小立方体，通常一个大的立方体会被分割为八块小的立方体，如果小立方体中仍有多重属性，则可以继续划分；

3.2对摄像相交区域进行裁剪

八叉树空间索引构建完备后，根据对目标区域的预设观察点进行筛选，若某一摄像头的视椎体完全不在目标观察点区域内，则对该摄像头的二维数据信息进行裁剪；若某一摄像头的视椎体完全在目标观察点区域内，则保留该摄像头的二维数据信息；若某一摄像头的视椎体有一部分在目标观察点区域内，则先保留该二维摄像头的数据信息，之后再进行进一步裁剪，去除观察点区域外的信息。

进一步的：步骤四通过投影纹理映射技术将视频采样点与目标空间的端点进行对应，包括如下步骤：

4.1首先使用模型视图矩阵将目标区域的端点坐标变换到摄像头坐标中去，表达式为：

其中，x₀，y₀为摄像头坐标系的坐标，X₀，Y₀，Z₀为目标区域的端点坐标，a为摄像机焦距；

4.2再通过相机视图逆矩阵变换为世界坐标系，表达式为：

其中，M_pv为投影视图变换矩阵，R为旋转关系，T_r为平移关系，V_w为世界坐标，X_w、Y_w和Z_w为世界坐标系下的坐标；

4.3再将世界坐标系经投影视图矩阵变换至投影坐标系中，表达式为：

其中，f_u，f_v表示图像坐标系u轴和v轴上的尺度因子，s表示倾斜因子，P_p为投影变换矩阵，X为投影横坐标，u₀为u轴的坐标，v₀为v轴的坐标；

4.4最后经过投影矩阵和归一化处理得到最终的纹理坐标，纹理转换公式如下：

(s,t,r,q)^T＝N×P_p×M_pv×V_w

式中：

(s,t,r,q)^T为纹理坐标；

N为归一化矩阵

P_p为投影变换矩阵；

M_pv为投影视图变换矩阵；

V_w为端点在世界坐标系下的坐标。

纹理匹配后，单个摄像头的二维视频信息就可以映射到三维地图中。

进一步的：步骤五具体为：通过求解摄像头覆盖区域和视频信息映射可以在三维地图上得到1帧视频信息，通过回调函数来更新下一帧的纹理数据，当摄像头内外参数发生变化的时候，纹理数据也会随之变化，根据新的纹理数据来计算新的纹理坐标，实现这一帧的映射，持续以上操作，可实现视频和三维地理信息的实时融合。

本发明具有的优点和积极效果：

1、本发明将摄像头拍摄到的二维视频信息通过投影纹理映射技术映射到三维地图信息中，优点为：可以在电子地图上实时动态显示当前监视区域的环境地形情况。监视目标的相对位置关系更加清晰明确。

2、本发明采用多个角度的摄像头对目标观察点区域进行拍摄，减少了视线盲区，可获得更为准确完整的二维视频信息。

3、本发明采用了二维视频信息的时时更新和映射，保证了动态连贯的场景完整映射到三维地图中，从而提升了三维地图的连贯性和精确度。

4、本发明通过多个摄像头多角度地将目标区域全覆盖，通过视频的融合和裁剪解决了分散和不准确的问题。

附图说明

图1是本发明采用的阴影图算法示意图；

图2是本发明求解摄像头的覆盖区域的判断流程图；

图3是本发明二维视频信息的时时更新流程图；

图4是本发明八叉树索引空间结构图。

具体实施方式

下面结合图并通过具体实施例对本发明作进一步详述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。

一种二维视频信息与三维地理信息融合的方法，其发明点为：对于目标观察点区域，二维视频信息通过摄像头拍摄来获得，利用摄像头的参数构建视椎体来表示二维视频信息的可视范围。通过阴影图算法来判断视线范围内的遮挡关系，判断每个摄像头的实际拍摄范围。使用投影纹理映射技术对投射到三维地理信息上的图像进行更新，实现视频信息实时显示。另外，还可通过多次渲染来实现多个摄像头采集视频信息与三维地理信息的融合。对于二维视频信息与三维地理信息融合的方法，在本发明中可采用单视频融合的策略和多视频融合的策略，具体为：

一、单视频融合的策略是：摄像头捕捉到的区域，用视频实时状况替代三维地理信息，捕捉不到的区域，使用三维地图的原信息。对单个视频信息而言，需要将其按照空间位置关系映射到三维地图表面，通过不断更新视频信息，达到实时融合的效果。

二、多视频融合的策略是：通过多个摄像头拍摄目标区域，实现无死角捕捉，使用实时拍摄的信息对三维地图上的信息进行替换。达到在三维地图上显示实时监控信息的目的。

本二维视频信息与三维地理信息融合的方法涉及到以下几方面内容:

1、求解摄像头的覆盖区域

即求摄像头的视椎体在三维地图上的投射范围，摄像头的内部参数决定了视椎体的形状，外部参数决定了视椎体的方向和位置，通过模拟视椎体来确定视频覆盖区域后，需要判断阴影区域，即有些物体虽然在视椎体范围内，但会被前面较高的物体挡住，处于阴影之中无法采集视频信息。判断阴影区域一般使用阴影图(Shadow Maps)算法，阴影图算法是一种使用深度缓存来生成三维场景中物体阴影的算法：第一步以摄像头为视点渲染整个三维场景，记录每个像素点的深度信息，生成深度纹理Z1；第二步以观察点为视点对三维场景进行渲染，对本次渲染中的所有像素点进行坐标转换至光源裁剪空间中，获得深度纹理Z2，若Z2＞Z1，则该点与视点间有遮挡，处于阴影中，反之则无遮挡。

阴影图算法如图1所示。对图中摄像头的视椎体来说，C区域被物体A挡住成为该摄像头的阴影区域，C区域内的物体B不可见，D区域为目标区域观察点的观察盲区，不需要采集D区域的视频信息，在后续的裁剪中将D区域的视频信息剔除以节省计算能力。

在本发明中，首先从摄像头处对目标场景进行渲染，并将生成的深度纹理Z1导入着色器，然后从目标区域观察点进行渲染，将每个像素点的坐标转换到前一个摄像头的坐标系中，通过计算得到各像素点的深度值Z2，与摄像头渲染场景的深度纹理进行对比，Z2深度值大的部分表示该点被遮挡，采用三维地图的原信息；Z1深度值大的部分表示未被遮挡，采用视频信息替换原三维地理信息，判断流程如图2所示。

2、视频信息映射

确定目标空间的阴影区域之后，就要将二维视频信息映射到三维地图信息中去，本发明通过投影纹理映射技术将视频采样点与目标空间的端点进行对应，提高了纹理映射的精确度，避免了映射形变的发生。

1)首先使用模型视图矩阵将目标区域的端点坐标变换到摄像头坐标中去，表达式为：

其中，x₀，y₀为摄像头坐标系的坐标，X₀，Y₀，Z₀为目标区域的端点坐标，a为摄像机焦距；

2)再通过相机视图逆矩阵变换为世界坐标系，表达式为：

其中，M_pv为投影视图变换矩阵，R为旋转关系，T_r为平移关系，V_w为世界坐标，X_w、Y_w和Z_w为世界坐标系下的坐标；

3)再将世界坐标系经投影视图矩阵变换至投影坐标系中，表达式为：

其中，f_u，f_v表示图像坐标系u轴和v轴上的尺度因子，s表示倾斜因子，P_p为投影变换矩阵，X为投影横坐标，u₀为u轴的坐标，v₀为v轴的坐标；

4)最后经过投影矩阵和归一化处理得到最终的纹理坐标，纹理转换公式如下：

(s,t,r,q)T＝N×P_p×M_pv×V_w

式中：

(s,t,r,q)^T为纹理坐标；

N为归一化矩阵

P_p为投影变换矩阵；

M_pv为投影视图变换矩阵；

V_w为端点在世界坐标系下的坐标。

纹理匹配后，单个摄像头的二维视频信息就可以映射到三维地图中。

3、视频信息实时更新

通过求解摄像头覆盖区域和视频信息映射可以在三维地图上得到1帧视频信息，若想得到动态的视频信息，就需要实时进行纹理匹配和持续映射。

实时更新时，通过回调函数来更新下一帧的纹理数据，当摄像头内外参数发生变化的时候，纹理数据也会随之变化，根据新的纹理数据来计算新的纹理坐标，实现这一帧的映射，持续以上操作，便可实现视频和三维地理信息的实时融合。更新流程如图3所示。

4、多视频融合

若想减少视线盲区，就需要围绕目标区域布置一定数量的摄像头，一个摄像头对应一组纹理数据，多个摄像头对应多组纹理数据，本发明使用多次渲染方法对多摄像头的二维信息进行融合，即一个摄像头的纹理数据渲染之后，下一个摄像头的纹理数据在此基础上继续进行渲染。所有摄像头的数据组保存在计算机数据列表中，列表根据各摄像头的活跃度(开机采集数据为活跃)进行分组，如果某个摄像头的数据组被其余摄像头的数据组覆盖，则关闭此摄像头，将此摄像头列入不活跃分组，后续渲染只采集活跃组摄像头的纹理数据，以此达到节省资源的目的。

5、视频优化

为降低多次渲染对计算能力的占用，采用八叉树空间索引和对摄像相交区域进行裁剪，筛掉不在指定区域内的摄像头以节省资源，以此来优化视频融合的效率。

摄像头索引：

摄像头索引采用八叉树索引，将目标空间划分为多个立方体，同一区域若视频属性相同，则该区域被划分到同一立方体中，对属性复杂的区域，对大的立方体进行进一步的划分，得到多个小立方体，通常一个大的立方体会被分割为八块小的立方体，如果小立方体中仍有多重属性，则可以继续划分。八叉树索引空间结构如图4所示。

视频相交区域裁剪：

八叉树索引构建完备后，根据对目标区域的预设观察点进行筛选，若某一摄像头的视椎体完全不在目标观察点区域内，则对该摄像头的二维数据信息进行裁剪；若某一摄像头的视椎体完全在目标观察点区域内，则保留该摄像头的二维数据信息；若某一摄像头的视椎体有一部分在目标观察点区域内，则先保留该二维摄像头的数据信息，之后再进行进一步裁剪，去除观察点区域外的信息。

对于视椎体有一部分在目标观察区域内的摄像头，通过对视椎体进行光栅化处理，基于屏幕空间坐标系，判断每个像素点是否可见，删除不可见的部分，保留可见的部分进行渲染。

经过光栅化处理后保留的摄像头视椎体转化为一个个像素点，每一个像素点有各自的坐标(x,y,z)，通过渲染引擎得到可视坐标的x，y，z的范围，对x方向和y方向来说，若像素点的x或y有一项不在可视范围内，则该像素点不可见，可以将该像素点予以剔除，对于深度信息z，需要经过归一化处理后，用像素点的z分量除以标量w，得到规范化的z坐标z₀，若z₀∈[-1，1]，则该像素点在深度范围内可见，结合x和y坐标，若像素点的x，y，z坐标均在可视范围内，则该点可视，有一个及以上坐标在可视范围外的，该像素点不可视。

将不可视的像素点剔除后，对可视的像素点进行优化，所有可视的像素点归入可视点集，对于多个重复的可视像素点，只保留一个，剔除剩余重复可视像素点。

对经过裁剪的摄像头视椎体的纹理信息进行依次叠加渲染，在保证信息完整性的前提下，尽可能流畅的对视频信息进行渲染，就完成了二维视频与三维地理信息的融合，得到了目标区域内的完整动态三维地理信息。

尽管为说明目的公开了本发明的实施例和图，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换、变化和修改都是可能的，因此，本发明的范围不局限于实施例和图所公开的内容。

Claims (10)

1.一种二维视频信息与三维地理信息融合的方法，其特征在于：对于目标观察点区域，二维视频信息通过单个摄像头拍摄来获得，利用摄像头的参数构建视椎体来表示二维视频信息的可视范围，包括如下步骤：

步骤一、获得单个摄像头拍摄的二维视频信息，求解摄像头的覆盖区域；

步骤二、将二维视频信息映射到三维地图信息中；

步骤三、进行二维视频信息的时时更新和映射，实现二维视频和三维地理信息的实时融合。

2.根据权利要求1所述的二维视频信息与三维地理信息融合的方法，其特征在于：步骤一包括如下步骤：

1.1首先从摄像头A处对目标场景进行渲染，并将生成的深度纹理Z1导入着色器；

1.2然后从目标区域观察点进行渲染，将每个像素点的坐标转换到摄像头A的坐标系中，通过计算得到各像素点的深度值Z2；

1.3比较Z1和Z2，Z1大于Z2部分，则表示该点未被遮挡，采用二维视频信息替换原三维地理信息；Z1不大于Z2部分，则表示该点被遮挡，采用三维地图的原信息。

3.根据权利要求1所述的二维视频信息与三维地理信息融合的方法，其特征在于：步骤二通过投影纹理映射技术将视频采样点与目标空间的端点进行对应，包括如下步骤：

2.1首先使用模型视图矩阵将目标区域的端点坐标变换到摄像头坐标中去，表达式为：

其中，x₀，y₀为摄像头坐标系的坐标，X₀，Y₀，Z₀为目标区域的端点坐标，a为摄像机焦距；

2.2再通过相机视图逆矩阵变换为世界坐标系，表达式为：

其中，M_pv为投影视图变换矩阵，R为旋转关系，T_r为平移关系，V_w为世界坐标，X_w、Y_w和Z_w为世界坐标系下的坐标；

2.3再将世界坐标系经投影视图矩阵变换至投影坐标系中，表达式为：

其中，f_u，f_v表示图像坐标系u轴和v轴上的尺度因子，s表示倾斜因子，P_p为投影变换矩阵，X为投影横坐标，u₀为u轴的坐标，v₀为v轴的坐标；

2.4最后经过投影矩阵和归一化处理得到最终的纹理坐标，纹理转换公式如下：

(s，t，r，q)^T＝N×P_p×M_pv×V_w

式中：

(s，t，r，q)^T为纹理坐标；

N为归一化矩阵

P_p为投影变换矩阵；

M_pv为投影视图变换矩阵；

V_w为端点在世界坐标系下的坐标；

纹理匹配后，单个摄像头的二维视频信息就可以映射到三维地图中。

4.根据权利要求1所述的二维视频信息与三维地理信息融合的方法，其特征在于：步骤三具体为：通过求解摄像头覆盖区域和视频信息映射可以在三维地图上得到1帧视频信息，通过回调函数来更新下一帧的纹理数据，当摄像头内外参数发生变化的时候，纹理数据也会随之变化，根据新的纹理数据来计算新的纹理坐标，实现这一帧的映射，持续以上操作，可实现视频和三维地理信息的实时融合。

5.一种二维视频信息与三维地理信息融合的方法，其特征在于：对于目标观察点区域，二维视频信息通过多角度的多个摄像头拍摄来获得，利用摄像头的参数构建视椎体来表示二维视频信息的可视范围，包括如下步骤：

步骤一、获得每个摄像头拍摄的二维视频信息，求解每个单独摄像头的覆盖区域；

步骤二、融合多个摄像头的覆盖区域，获得融合后的二维视频信息；

步骤三、对融合后的二维视频信息进行优化处理，剪裁掉不在目标观察点区域内的二维数据信息；

步骤四、将优化处理后的二维视频信息映射到三维地图信息中；

步骤五、进行二维视频信息的时时更新和映射，实现二维视频和三维地理信息的实时融合。

6.根据权利要求5所述二维视频信息与三维地理信息融合的方法，其特征在于：步骤一包括如下步骤：

1.1首先从摄像头A处对目标场景进行渲染，并将生成的深度纹理Z1导入着色器；

1.2然后从目标区域观察点进行渲染，将每个像素点的坐标转换到摄像头A的坐标系中，通过计算得到各像素点的深度值Z2；

1.3比较Z1和Z2，Z1大于Z2部分，则表示该点未被遮挡，采用二维视频信息替换原三维地理信息；Z1不大于Z2部分，则表示该点被遮挡，采用三维地图的原信息。

7.根据权利要求5所述二维视频信息与三维地理信息融合的方法，其特征在于：步骤二具体为：采用多次渲染方法对多摄像头的二维信息进行融合，即一个摄像头的纹理数据渲染之后，下一个摄像头的纹理数据在此基础上继续进行渲染；所有摄像头的数据组保存在计算机数据列表中，列表根据各摄像头的活跃度进行分组，若某个摄像头的数据组被其余摄像头的数据组覆盖，则关闭此摄像头，将此摄像头列入不活跃分组，后续渲染只采集活跃组摄像头的纹理数据。

8.根据权利要求5所述二维视频信息与三维地理信息融合的方法，其特征在于：步骤三采用采用八叉树空间索引和对摄像相交区域进行裁剪优化处理，具体包括如下步骤：

3.1先进行摄像头索引

摄像头索引采用八叉树空间索引，将目标空间划分为多个立方体，同一区域若视频属性相同，则该区域被划分到同一立方体中，对属性复杂的区域，对大的立方体进行进一步的划分，得到多个小立方体，通常一个大的立方体会被分割为八块小的立方体，如果小立方体中仍有多重属性，则可以继续划分；

3.2对摄像相交区域进行裁剪

八叉树空间索引构建完备后，根据对目标区域的预设观察点进行筛选，若某一摄像头的视椎体完全不在目标观察点区域内，则对该摄像头的二维数据信息进行裁剪；若某一摄像头的视椎体完全在目标观察点区域内，则保留该摄像头的二维数据信息；若某一摄像头的视椎体有一部分在目标观察点区域内，则先保留该二维摄像头的数据信息，之后再进行进一步裁剪，去除观察点区域外的信息。

9.根据权利要求5所述二维视频信息与三维地理信息融合的方法，其特征在于：步骤四通过投影纹理映射技术将视频采样点与目标空间的端点进行对应，包括如下步骤：

4.1首先使用模型视图矩阵将目标区域的端点坐标变换到摄像头坐标中去，表达式为：

其中，x₀，y₀为摄像头坐标系的坐标，X₀，Y₀，Z₀为目标区域的端点坐标，a为摄像机焦距；

4.2再通过相机视图逆矩阵变换为世界坐标系，表达式为：

其中，M_pv为投影视图变换矩阵，R为旋转关系，T_r为平移关系，V_w为世界坐标，X_w、Y_w和Z_w为世界坐标系下的坐标；

4.3再将世界坐标系经投影视图矩阵变换至投影坐标系中，表达式为：

其中，f_u，f_v表示图像坐标系u轴和v轴上的尺度因子，s表示倾斜因子，P_p为投影变换矩阵，X为投影横坐标，u₀为u轴的坐标，v₀为v轴的坐标；

4.4最后经过投影矩阵和归一化处理得到最终的纹理坐标，纹理转换公式如下：

(s，t，r，q)^T＝N×P_p×M_pv×V_w

式中：

(s，t，r，q)^T为纹理坐标；

N为归一化矩阵

P_p为投影变换矩阵；

M_pv为投影视图变换矩阵；

V_w为端点在世界坐标系下的坐标。

纹理匹配后，单个摄像头的二维视频信息就可以映射到三维地图中。

10.根据权利要求5所述二维视频信息与三维地理信息融合的方法，其特征在于：步骤五具体为：通过求解摄像头覆盖区域和视频信息映射可以在三维地图上得到1帧视频信息，通过回调函数来更新下一帧的纹理数据，当摄像头内外参数发生变化的时候，纹理数据也会随之变化，根据新的纹理数据来计算新的纹理坐标，实现这一帧的映射，持续以上操作，可实现视频和三维地理信息的实时融合。

Images