CN111161130B - 一种基于三维地理信息的视频矫正方法 - Google Patents
一种基于三维地理信息的视频矫正方法 Download PDFInfo
- Publication number
- CN111161130B CN111161130B CN201911167441.XA CN201911167441A CN111161130B CN 111161130 B CN111161130 B CN 111161130B CN 201911167441 A CN201911167441 A CN 201911167441A CN 111161130 B CN111161130 B CN 111161130B
- Authority
- CN
- China
- Prior art keywords
- video
- pixel
- geographic
- dimensional
- grids
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000012937 correction Methods 0.000 title claims abstract description 15
- 238000013507 mapping Methods 0.000 claims abstract description 22
- 238000012544 monitoring process Methods 0.000 claims abstract description 19
- 230000008030 elimination Effects 0.000 claims abstract description 11
- 238000003379 elimination reaction Methods 0.000 claims abstract description 11
- 238000001914 filtration Methods 0.000 claims abstract description 11
- 230000009466 transformation Effects 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000001788 irregular Effects 0.000 claims description 3
- 238000000265 homogenisation Methods 0.000 claims 3
- 230000004069 differentiation Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 description 14
- 230000004927 fusion Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Remote Sensing (AREA)
- Image Processing (AREA)
Abstract
本发明实施例公开了一种基于三维地理信息的视频矫正方法，对原始监控视频，进行地理空间三维特征点提取及视频地理位置像素点提取，对提取的视频特征点进行空间投影变换及匹配映射，通过空间网格顶点权重分布算法，对三角网格的每个像素坐标进行映射匹配，对刚性均质的像素网格进行柔性非均质化网格分配，对不同的三角网格的差异性进行统一规范化多重滤波消除，形成视频像素地理化全局均衡图像输出，本发明解决了现有监控视频内容无地理空间信息或地理信息位置不精准的问题。
Description
技术领域
本发明实施例涉及虚拟现实技术领域，具体涉及一种基于三维地理信息的视频矫正方法。
背景技术
随着平安城市、智慧城市等建设的快速发展，视频监控安装的数量越来越多。视频清晰度不断提升，提高了视频内容的清晰化描述。但是，从视频内容的理解上，同样存在着较多现状问题，如：
(1)传统单个镜头，受限到视角范围，所呈现的视频覆盖范围小；
(2)应用广角镜头后，视频覆盖范围变大，但视频内容边缘变形严重；
(3)鱼眼镜头，视频画面内容边缘变形严重；
(4)对多个画面，进行全景拼接，基本是基于像素内容进行的矫正和处理，形成一个更大的场景，视频本身无地理位置，且与地理位置不能匹配。
(5)视频画面本身，不能有效呈现真实的空间地理场景，不能进行有效的直观指挥调度。
因此，如何从视频内容上入手，解决二维视频画面与三维地理空间位置的对应，才能更好的让视频内容更容易理解，更便于为指挥调度提供视觉支撑。需要对三维地理信息的视频进行矫正，面向安防视频监控领域，是从解决此现状问题的角度出发，围绕如何提高、管理和有效利用监控视频资源，进行新的技术创新和突破，是视频监控系统可视化发展过程中不可或缺的技术支撑应用。
发明内容
为此，本发明实施例提供一种基于三维地理信息的视频矫正方法，以解决现有监控视频内容无地理空间信息或地理信息位置不精准的问题。
为了实现上述目的，本发明实施例提供如下技术方案：
本发明实施例公开了一种基于三维地理信息的视频矫正方法，其特征在于，所述方法为：
S1:对原始监控视频，进行地理空间三维特征点提取及视频地理位置像素点提取；
S2:对提取的视频特征点进行空间投影变换及匹配映射；
S3:通过空间网格顶点权重分布算法，对三角网格的每个像素坐标进行映射匹配；
S4:对刚性均质的像素网格进行柔性非均质化网格分配；
S5:对不同的三角网格的差异性进行统一规范化多重滤波消除；
S6:形成视频像素地理化全局均衡图像输出。
进一步地，所述S1中，对原始监控视频进行地理空间三维特征点提取，实现视频画面中场景与真实三维地理空间场景位置的选取和对应，按照真实三维地理信息场景，进行视频画面范围及内容的预处理。
进一步地，所述S2中，对原始监控视频地理位置像素点提取，实现视频画面中像素内容与真实三维地理空间场景的坐标对应赋值预处理。
进一步地，所述S2中，将提取的视频特征点进行空间投影变换及匹配映射，对进行了地理空间三维特征点及视频地理位置像素点提取的原始视频，实现图像内容与三维地理空间场景配准。
进一步地，所述S3中，通过空间网格顶点权重分布算法，对三角网格的每个像素坐标进行映射匹配，实现在视频内容的空间投影变换及匹配映射过程中，对视频像素内容按照空间网格顶点权重分布算法，进行三角网格与每个像素坐标分布对应。
进一步地，所述S4中，对刚性均质的像素网格进行柔性非均质化网格分配，实现三角网格与每个像素分布对应过程中，对均质的像素进行按真实地理信息场景进行柔性非均质化处理。
进一步地，所述S5中，对不同的三角网格的匹配像素存在的视觉差异性进行统一规范化多重滤波消除，实现柔性非均质化处理的像素三角网格存在的不规则的差异性，按照真实三维地理信息场景进行统一规范化多重滤波消除处理。
进一步地，所述S6中，视频像素地理化全局均衡图像输出，实现消除差异化的统一规范视频画面，按照处理后的地理像素视频全局均衡输出。
本发明实施例具有如下优点：
本实施例公开了一种基于三维地理信息的视频矫正方法，实现对传统的二维视频画面，通过三维地理空间位置匹配及网格柔性非均质化映射处理，实现视频像素空间地理化呈现，使监控视频内容与地理信息位置精准匹配，实现视频像素内容与三维地理信息时空映射匹配统一，为三维地理信息视频融合，视频地理位置智能分析等应用提供有效的工具支撑。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明实施例提供的一种基于三维地理信息的视频矫正方法的流程图；
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
本实施例公开了一种基于三维地理信息的视频矫正方法，对原始监控视频，进行地理空间三维特征点提取及视频地理位置像素点提取，根据原始监控视频画面，按照监控视频画面所覆盖的实景场景，进行地理空间三维特征参考位置点选取，要选取场景中典型特征作为参考，如：道路、路边典型建筑物等。确定好参考物后，在视频画面中，按照实景场景的三维地理特征参考点，进行视频画面中像素内容与真实三维地理空间场景的坐标匹配对应赋值处理，实现视频画面中场景与真实三维地理空间场景位置的选取和对应等预处理。
将提取的视频特征点进行空间投影变换及匹配映射，基于地理空间三维特征点及视频地理位置像素点的选取和对应预处理，进行监控视频画面与三维地理信息场景空间投影变换，并根据特征点进行匹配映射，使得进行了地理空间三维特征点及视频地理位置像素点提取的原始视频，实现视频图像内容与三维地理空间场景配准处理。
通过空间网格顶点权重分布算法，对三角网格的每个像素坐标进行映射匹配，基于视频图像内容与三维地理信息场景的空间投影变换及匹配映射处理，结合空间网格顶点权重分布算法，对视频内容的空间投影变换及匹配映射过程中，对应的三角网格的每个像素坐标进行权重映射匹配，实现视频像素内容按照空间网格顶点权重映射匹配算法，进行三角网格与每个像素坐标映射匹配对应处理。
基于顶点重定位的三角网格表面模型权重分布方法是:以两帧或多帧三角网格表面模型为输入，根据三角网格表面模型顶点位置的概率分布，估计两帧或多帧三角网格表面模型之间重叠区域的“隐表面”，并将重叠区域的所有三角网格顶点重定位到局部“隐表面”上，以消除因误差造成的几何上的模型不一致；通过重新连接重定位后的顶点，实现模型数据结构上的连续一致，最终输出一幅融合后的完整三角网格表面模型；对于两帧三角网格表面模型的融合，直接采用两帧之间三角网格表面模型概率融合方法；对于多帧三角网格表面模型的融合，递增式地采用两帧之间三角网格表面模型概率融合方法，每次将一帧新的三角网格表面模型与已有模型进行两帧之间的融合。
对刚性均质的像素网格进行柔性非均质化网格分配，基于对三角网格的每个像素坐标分布处理过程中出现的刚性均质的像素网格，进行柔性非均质化网格分配，实现三角网格与每个像素分布对应过程中，对均质的像素进行按真实地理信息场景进行柔性非均质化处理。对不同的三角网格的差异性进行统一规范化多重滤波消除，基于柔性非均质化分配处理后的三角网格，根据不同的三角网格之间的差异性，进行统一规范化多重滤波消除，实现柔性非均质化处理的像素三角网格存在的不规则的差异性，按照真实三维地理信息场景进行统一规范化多重滤波消除处理。
最终形成视频像素地理化全局均衡图像输出，基于统一规范化多重滤波消除处理，进行视频像素地理化全局均衡图像输出，实现消除差异化的统一规范视频画面，按照处理后的地理像素视频全局均衡输出。即对于原始视频画面，按照真实三维地理信息场景，实现视频像素空间地理化全局均衡处理并输出。
本实施例公开的一种基于三维地理信息的视频矫正方法，实现对传统的二维视频画面，通过三维地理空间位置匹配及网格柔性非均质化映射处理，实现视频像素空间地理化呈现，使监控视频内容与地理信息位置精准匹配，实现视频像素内容与三维地理信息时空映射匹配统一，为三维地理信息视频融合，视频地理位置智能分析等应用提供有效的工具支撑。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。
Claims (4)
1.一种基于三维地理信息的视频矫正方法，其特征在于，所述方法为：
S1:对原始监控视频，进行地理空间三维特征点提取及视频地理位置像素点提取；
S2:对提取的视频特征点进行空间投影变换及匹配映射；
S3:通过空间网格顶点权重分布算法，对三角网格的每个像素坐标进行映射匹配；
S4:对刚性均质的像素网格进行柔性非均质化网格分配；
S5:对不同的三角网格的差异性进行统一规范化多重滤波消除；
S6:形成视频像素地理化全局均衡图像输出；
所述S3中，通过空间网格顶点权重分布算法，对三角网格的每个像素坐标进行映射匹配，实现在视频内容的空间投影变换及匹配映射过程中，对视频像素内容按照空间网格顶点权重分布算法，进行三角网格与每个像素坐标分布对应；
所述S4中，对刚性均质的像素网格进行柔性非均质化网格分配，实现三角网格与每个像素分布对应过程中，对均质的像素进行按真实地理信息场景进行柔性非均质化处理；
所述S5中，对不同的三角网格的匹配像素存在的视觉差异性进行统一规范化多重滤波消除，实现柔性非均质化处理的像素三角网格存在的不规则的差异性，按照真实三维地理信息场景进行统一规范化多重滤波消除处理；
所述S6中，视频像素地理化全局均衡图像输出，实现消除差异化的统一规范视频画面，按照处理后的地理像素视频全局均衡输出。
2.如权利要求1所述的一种基于三维地理信息的视频矫正方法，其特征在于，所述S1中，对原始监控视频进行地理空间三维特征点提取，实现视频画面中场景与真实三维地理空间场景位置的选取和对应，按照真实三维地理信息场景，进行视频画面范围及内容的预处理。
3.如权利要求1所述的一种基于三维地理信息的视频矫正方法，其特征在于，所述S2中，对原始监控视频地理位置像素点提取，实现视频画面中像素内容与真实三维地理空间场景的坐标对应赋值预处理。
4.如权利要求3所述的一种基于三维地理信息的视频矫正方法，其特征在于，所述S2中，将提取的视频特征点进行空间投影变换及匹配映射，对进行了地理空间三维特征点及视频地理位置像素点提取的原始视频，实现图像内容与三维地理空间场景配准。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911167441.XA CN111161130B (zh) | 2019-11-25 | 2019-11-25 | 一种基于三维地理信息的视频矫正方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911167441.XA CN111161130B (zh) | 2019-11-25 | 2019-11-25 | 一种基于三维地理信息的视频矫正方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111161130A CN111161130A (zh) | 2020-05-15 |
| CN111161130B true CN111161130B (zh) | 2024-05-17 |
Family
ID=70556084
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911167441.XA Active CN111161130B (zh) | 2019-11-25 | 2019-11-25 | 一种基于三维地理信息的视频矫正方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111161130B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112351198A (zh) * | 2020-09-30 | 2021-02-09 | 北京智汇云舟科技有限公司 | 一种基于三维地理场景的视频联动球机控制方法和系统 |
| CN112380894B (zh) * | 2020-09-30 | 2024-01-19 | 北京智汇云舟科技有限公司 | 一种基于三维地理信息系统的视频重叠区域目标去重方法和系统 |
| CN113192125B (zh) * | 2021-03-26 | 2024-02-20 | 南京财经大学 | 虚拟视点优选的地理场景中多相机视频浓缩方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104134188A (zh) * | 2014-07-29 | 2014-11-05 | 湖南大学 | 一种基于二维和三维摄像机融合的三维视觉信息获取方法 |
| CN106600691A (zh) * | 2016-01-29 | 2017-04-26 | 刘朔 | 多路二维视频图像在三维地理空间中融合校正方法、系统 |
| CN107247834A (zh) * | 2017-05-31 | 2017-10-13 | 华中科技大学 | 一种基于图像识别的三维环境模型重构方法、设备及系统 |
| CN109068103A (zh) * | 2018-09-17 | 2018-12-21 | 北京智汇云舟科技有限公司 | 基于三维地理信息的动态视频时空虚实融合方法及系统 |
| CN110009561A (zh) * | 2019-04-10 | 2019-07-12 | 南京财经大学 | 一种监控视频目标映射到三维地理场景模型的方法及系统 |
| CN110148223A (zh) * | 2019-06-03 | 2019-08-20 | 南京财经大学 | 三维地理场景模型中监控视频目标浓缩表达方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102903128B (zh) * | 2012-09-07 | 2016-12-21 | 北京航空航天大学 | 基于局部特征结构保持的视频图像内容编辑传播方法 |
-
2019
- 2019-11-25 CN CN201911167441.XA patent/CN111161130B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104134188A (zh) * | 2014-07-29 | 2014-11-05 | 湖南大学 | 一种基于二维和三维摄像机融合的三维视觉信息获取方法 |
| CN106600691A (zh) * | 2016-01-29 | 2017-04-26 | 刘朔 | 多路二维视频图像在三维地理空间中融合校正方法、系统 |
| CN107247834A (zh) * | 2017-05-31 | 2017-10-13 | 华中科技大学 | 一种基于图像识别的三维环境模型重构方法、设备及系统 |
| CN109068103A (zh) * | 2018-09-17 | 2018-12-21 | 北京智汇云舟科技有限公司 | 基于三维地理信息的动态视频时空虚实融合方法及系统 |
| CN110009561A (zh) * | 2019-04-10 | 2019-07-12 | 南京财经大学 | 一种监控视频目标映射到三维地理场景模型的方法及系统 |
| CN110148223A (zh) * | 2019-06-03 | 2019-08-20 | 南京财经大学 | 三维地理场景模型中监控视频目标浓缩表达方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111161130A (zh) | 2020-05-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110009561B (zh) | 一种监控视频目标映射到三维地理场景模型的方法及系统 | |
| CN111161130B (zh) | 一种基于三维地理信息的视频矫正方法 | |
| US9454796B2 (en) | Aligning ground based images and aerial imagery | |
| CN114329747B (zh) | 一种面向建筑数字孪生的虚实实体坐标映射方法及系统 | |
| CN108269305A (zh) | 一种二维、三维数据联动展示方法和系统 | |
| US11790610B2 (en) | Systems and methods for selective image compositing | |
| CN110992484B (zh) | 一种交通动态视频在真景三维平台中的显示方法 | |
| US9165397B2 (en) | Texture blending between view-dependent texture and base texture in a geographic information system | |
| US10733777B2 (en) | Annotation generation for an image network | |
| CN115330966A (zh) | 户型图生成方法、系统、设备及存储介质 | |
| CN116109684B (zh) | 面向变电场站在线视频监测二三维数据映射方法及装置 | |
| WO2023216982A1 (zh) | 数据处理方法、装置、计算机设备、存储介质及程序产品 | |
| CN115375860A (zh) | 点云拼接方法、装置、设备及存储介质 | |
| CN115830135A (zh) | 一种图像处理方法、装置及电子设备 | |
| TW202247108A (zh) | 視覺定位方法、設備及電腦可讀儲存媒體 | |
| CN112912936A (zh) | 混合现实系统、程序、移动终端装置和方法 | |
| CN111091117B (zh) | 用于二维全景图像的目标检测方法、装置、设备、介质 | |
| CN111161138A (zh) | 用于二维全景图像的目标检测方法、装置、设备、介质 | |
| US10275939B2 (en) | Determining two-dimensional images using three-dimensional models | |
| CN113486941B (zh) | 直播图像的训练样本生成方法、模型训练方法及电子设备 | |
| EP2879090A1 (en) | Aligning ground based images and aerial imagery | |
| CN115375857A (zh) | 三维场景重建方法、装置、设备及存储介质 | |
| CN115294207A (zh) | 智慧校园监控视频与三维gis模型的融合调度系统及方法 | |
| KR101559739B1 (ko) | 가상 모델과 카메라 영상의 융합시스템 | |
| CN111476716A (zh) | 一种实时视频拼接方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |