CN113422915A - 一种监控视频融合显示方法及系统 - Google Patents

一种监控视频融合显示方法及系统 Download PDF

Info

Publication number
CN113422915A
CN113422915A CN202110305824.XA CN202110305824A CN113422915A CN 113422915 A CN113422915 A CN 113422915A CN 202110305824 A CN202110305824 A CN 202110305824A CN 113422915 A CN113422915 A CN 113422915A
Authority
CN
China
Prior art keywords
frame video
video image
map page
fusion
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110305824.XA
Other languages
English (en)
Inventor
崔亮
韩为志
赵�权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou Beidou Space Information Technology Co ltd
Original Assignee
Guizhou Beidou Space Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou Beidou Space Information Technology Co ltd filed Critical Guizhou Beidou Space Information Technology Co ltd
Priority to CN202110305824.XA priority Critical patent/CN113422915A/zh
Publication of CN113422915A publication Critical patent/CN113422915A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/787—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及视频监控领域，公开了一种监控视频融合显示方法及系统，通过获取监控摄像头的单帧视频图像；将所述单帧视频图像与地图页面进行同名点匹配；去除同名点匹配冗余信息，并对单帧视频图像进行边缘裁剪；建立裁剪后的单帧视频图像与地图页面的映射关系；根据所述映射关系，将单帧视频叠加至所述地图页面上，进行融合视频显示。实现了将真实场景中实时的监控视频在实景地图场景中的相同位置以相同的视角进行投射，实现实时监控视频与实景页面的融合展示，提高了监控视频查看的用户体验及便利度。

Description

一种监控视频融合显示方法及系统
技术领域
本发明涉及视频监控领域，尤其涉及一种监控视频融合显示方法及系统。
背景技术
为了管理大量的摄像头和监控视频，传统的方法根据摄像机的监控区域建立树结构，每个监控视频序列根据所有权被附加到监控摄像头，但摄像头的位置并不直观，摄像头之间的可达性也不清楚，不同摄像头采集的视频数据被隔离和分离，导致摄像头采集的信息碎片化。现有集中，通常采用监控视频在地图中的示意化表达即在地图中将摄像头中心表示为一个点要素或者将摄像头所监控的地面区域以一个扇形要素来表示。该方法虽然实现了摄像头位置和监控区域在2D地图中的表达，但以示意为主，不准确，也不能实现监控视频图像坐标与2D平面直角坐标的精确映射。
发明内容
本发明提供一种监控视频融合显示方法及系统，解决现有技术中监控视频管理位置不直观、摄像头间可达性不清楚的技术问题。
本发明的目的是通过以下技术方案实现的：
一种监控视频融合显示方法，包括：
获取监控摄像头的单帧视频图像；
将所述单帧视频图像与地图页面进行同名点匹配；
去除同名点匹配冗余信息，并对单帧视频图像进行边缘裁剪；
建立裁剪后的单帧视频图像与地图页面的映射关系；
根据所述映射关系，将单帧视频叠加至所述地图页面上，进行融合视频显示。
一种监控视频融合显示系统，包括：
获取模块，用于获取监控摄像头的单帧视频图像；
匹配模块，用于将所述单帧视频图像与地图页面进行同名点匹配；
裁剪模块，用于去除同名点匹配冗余信息，并对单帧视频图像进行边缘裁剪；
计算模块，用于建立裁剪后的单帧视频图像与地图页面的映射关系；
显示模块，用于根据所述映射关系，将单帧视频叠加至所述地图页面上，进行融合视频显示。
本发明提供了一种监控视频融合显示方法及系统，通过获取监控摄像头的单帧视频图像；将所述单帧视频图像与地图页面进行同名点匹配；去除同名点匹配冗余信息，并对单帧视频图像进行边缘裁剪；建立裁剪后的单帧视频图像与地图页面的映射关系；根据所述映射关系，将单帧视频叠加至所述地图页面上，进行融合视频显示。实现了将真实场景中实时的监控视频在实景地图场景中的相同位置以相同的视角进行投射，实现实时监控视频与实景页面的融合展示，提高了监控视频查看的用户体验及便利度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可根据这些附图获得其他的附图。
图1为本发明实施例的一种监控视频融合显示方法的流程图；
图2为本发明实施例的一种监控视频融合显示系统的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，为本发明实施例提供的一种监控视频融合显示方法，包括：
步骤101、获取监控摄像头的单帧视频图像；
步骤102、将所述单帧视频图像与地图页面进行同名点匹配；
步骤103、去除同名点匹配冗余信息，并对单帧视频图像进行边缘裁剪；
步骤104、建立裁剪后的单帧视频图像与地图页面的映射关系；
步骤105、根据所述映射关系，将单帧视频叠加至所述地图页面上，进行融合视频显示。
其中，步骤102具体通过SIFT算法识别所述单帧视频图像与地图页面的同名点。另外，对于三维的地图页面例如webgl或threejs实现的三维实景地图，基于视觉特征匹配计算监控视频在三维场景中投射的视角参数。实现三维场景和监控视频的融合显示，以真实摄像头位置为场景虚拟相机位置，进行此位置的场景截图和真实监控视频画面的视觉特征匹配，通过匹配到的最佳结果的场景截图对应的虚拟相机的视角参数为监控视频在三维场景中融合投射的视角参数。融合需要在三维实景地图中对真实网络摄像机的位置和姿态进行模拟。网络摄像机位置可以通过测绘的方法进行获取，但对于网络摄像机的姿态参数却无法进行测量，因为在不同场景下网络摄像机的放置方式不同，无法在一个统一的标准下进行姿态参数的获取，因此需要基于视觉特征的自动化匹配进行网络摄像机的姿态参数获取。通过Harris/SURF/SIFT同名点匹配获得映射关系变换矩阵对应三维实景地图中虚拟相机的视角参数，以此代替网络摄像机视角参数进行视频的投射，实现三维实景地图中监控视频的融合显示。
步骤103具体可以包括：
步骤103-1、去除重复匹配点和一对多匹配点；
其中，对于监控视频和地图页面中的行人、车辆、云朵等动态物体的特征点也属于干扰需要进行剔除。
步骤103-2、选择单帧视频图像的边缘同名点，对单帧视频图像进行边缘裁剪。
为了实现监控视频与地图页面的一致性、高保真度，在步骤105之前，还可以包括：
步骤105-a、获取监控摄像头在不同光照条件和/或气候条件下的单帧视频图像；
步骤105-b、根据不同光照条件和/或气候条件下的单帧视频图像，调整地图页面的色度、亮度和饱和度。
步骤104具体可以根据同名点匹配结果的单帧视频图像坐标及地图页面坐标的对应关系，解算图像空间到地图页面的映射变换矩阵。
本发明实施例提供了一种监控视频融合显示方法，通过获取监控摄像头的单帧视频图像；将所述单帧视频图像与地图页面进行同名点匹配；去除同名点匹配冗余信息，并对单帧视频图像进行边缘裁剪；建立裁剪后的单帧视频图像与地图页面的映射关系；根据所述映射关系，将单帧视频叠加至所述地图页面上，进行融合视频显示。实现了将真实场景中实时的监控视频在实景地图场景中的相同位置以相同的视角进行投射，实现实时监控视频与实景页面的融合展示，提高了监控视频查看的用户体验及便利度。
本发明实施例还提供了一种监控视频融合显示系统，如图2所示，包括：
获取模块210，用于获取监控摄像头的单帧视频图像；
匹配模块220，用于将所述单帧视频图像与地图页面进行同名点匹配；
裁剪模块230，用于去除同名点匹配冗余信息，并对单帧视频图像进行边缘裁剪；
计算模块240，用于建立裁剪后的单帧视频图像与地图页面的映射关系；
显示模块250，用于根据所述映射关系，将单帧视频叠加至所述地图页面上，进行融合视频显示。
其中，匹配模块220具体用于通过SIFT算法识别所述单帧视频图像与地图页面的同名点。
所述裁剪模块230包括：
去冗余单元231，用于去除重复匹配点和一对多匹配点；
边缘裁剪单元232，用于选择单帧视频图像的边缘同名点，对单帧视频图像进行边缘裁剪。
还包括色度匹配模块260，用于在根据所述映射关系，将单帧视频叠加至所述地图页面上，进行融合视频显示之前，获取监控摄像头在不同光照条件和/或气候条件下的单帧视频图像；根据不同光照条件和/或气候条件下的单帧视频图像，调整地图页面的色度、亮度、饱和度。
上述计算模块240具体可以用于根据同名点匹配结果的单帧视频图像坐标及地图页面坐标的对应关系，解算图像空间到地图页面的映射变换矩阵。
本发明实施例可用于三维GIS的实景融合显示，将真实场景中实时的监控视频在三维实景地图中的相同位置以相同的视角进行投射，实现实时监控视频与三维实景地图的融合展示。以监控视频的实时性优势弥补三维实景地图的静态展示的不足，以三维实景地图的空间化优势改变孤立视频画面的弊端，从而达到对全局视频监控画面的实时掌握。而且继承了三维空间信息的三维视频监控系统将清晰表达摄像机之间的相对位置，使视频画面不会被割裂，在增强用户的空间体验感。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过硬件来实施，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种监控视频融合显示方法，其特征在于，包括：
获取监控摄像头的单帧视频图像；
将所述单帧视频图像与地图页面进行同名点匹配；
去除同名点匹配冗余信息，并对单帧视频图像进行边缘裁剪；
建立裁剪后的单帧视频图像与地图页面的映射关系；
根据所述映射关系，将单帧视频叠加至所述地图页面上，进行融合视频显示。
2.根据权利要求1所述的监控视频融合显示方法，其特征在于，将所述单帧视频图像与地图页面进行同名点匹配，包括：
通过SIFT算法识别所述单帧视频图像与地图页面的同名点。
3.根据权利要求1所述的监控视频融合显示方法，其特征在于，所述去去除同名点匹配冗余信息，并对单帧视频图像进行边缘裁剪的步骤，包括：
去除重复匹配点和一对多匹配点；
选择单帧视频图像的边缘同名点，对单帧视频图像进行边缘裁剪。
4.根据权利要求1所述的监控视频融合显示方法，其特征在于，所述根据所述映射关系，将单帧视频叠加至所述地图页面上，进行融合视频显示步骤之前，还包括：
获取监控摄像头在不同光照条件和/或气候条件下的单帧视频图像；
根据不同光照条件和/或气候条件下的单帧视频图像，调整地图页面的色度、亮度、饱和度。
5.根据权利要求1所述的监控视频融合显示方法，其特征在于，所述建立裁剪后的单帧视频图像与地图页面的映射关系的步骤，包括：
根据同名点匹配结果的单帧视频图像坐标及地图页面坐标的对应关系，解算图像空间到地图页面的映射变换矩阵。
6.一种监控视频融合显示系统，其特征在于，包括：
获取模块，用于获取监控摄像头的单帧视频图像；
匹配模块，用于将所述单帧视频图像与地图页面进行同名点匹配；
裁剪模块，用于去除同名点匹配冗余信息，并对单帧视频图像进行边缘裁剪；
计算模块，用于建立裁剪后的单帧视频图像与地图页面的映射关系；
显示模块，用于根据所述映射关系，将单帧视频叠加至所述地图页面上，进行融合视频显示。
7.根据权利要求6所述的监控视频融合显示系统，其特征在于，匹配模块具体用于通过SIFT算法识别所述单帧视频图像与地图页面的同名点。
8.根据权利要求6所述的监控视频融合显示系统，其特征在于，所述裁剪模块包括：
去冗余单元，用于去除重复匹配点和一对多匹配点；
边缘裁剪单元，用于选择单帧视频图像的边缘同名点，对单帧视频图像进行边缘裁剪。
9.根据权利要求6所述的监控视频融合显示系统，其特征在于，还包括色度匹配模块，用于在根据所述映射关系，将单帧视频叠加至所述地图页面上，进行融合视频显示之前，获取监控摄像头在不同光照条件和/或气候条件下的单帧视频图像；根据不同光照条件和/或气候条件下的单帧视频图像，调整地图页面的色度、亮度、饱和度。
10.根据权利要求6所述的监控视频融合显示系统，其特征在于，所述计算模块具体用于根据同名点匹配结果的单帧视频图像坐标及地图页面坐标的对应关系，解算图像空间到地图页面的映射变换矩阵。
CN202110305824.XA 2021-03-19 2021-03-19 一种监控视频融合显示方法及系统 Pending CN113422915A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110305824.XA CN113422915A (zh) 2021-03-19 2021-03-19 一种监控视频融合显示方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110305824.XA CN113422915A (zh) 2021-03-19 2021-03-19 一种监控视频融合显示方法及系统

Publications (1)

Publication Number Publication Date
CN113422915A true CN113422915A (zh) 2021-09-21

Family

ID=77711970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110305824.XA Pending CN113422915A (zh) 2021-03-19 2021-03-19 一种监控视频融合显示方法及系统

Country Status (1)

Country Link
CN (1) CN113422915A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117591612A (zh) * 2024-01-19 2024-02-23 贵州北斗空间信息技术有限公司 三维平台实时加载地形瓦片数据的方法、装置和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101002419B1 (ko) * 2010-07-23 2010-12-21 (유)대산이앤씨 지형정보 변화에 따른 영상이미지의 공간 영상도화시스템
CN103595974A (zh) * 2013-12-01 2014-02-19 北京航空航天大学深圳研究院 一种面向城域的视频地理信息系统及方法
CN103716586A (zh) * 2013-12-12 2014-04-09 中国科学院深圳先进技术研究院 一种基于三维空间场景的监控视频融合系统和方法
CN104616247A (zh) * 2015-02-10 2015-05-13 天津大学 一种用于基于超像素sift航拍地图拼接的方法
CN105447911A (zh) * 2014-09-26 2016-03-30 联想(北京)有限公司 一种3d地图融合方法、装置及电子设备
CN110516014A (zh) * 2019-01-18 2019-11-29 南京泛在地理信息产业研究院有限公司 一种面向城市道路监控视频映射到二维地图的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101002419B1 (ko) * 2010-07-23 2010-12-21 (유)대산이앤씨 지형정보 변화에 따른 영상이미지의 공간 영상도화시스템
CN103595974A (zh) * 2013-12-01 2014-02-19 北京航空航天大学深圳研究院 一种面向城域的视频地理信息系统及方法
CN103716586A (zh) * 2013-12-12 2014-04-09 中国科学院深圳先进技术研究院 一种基于三维空间场景的监控视频融合系统和方法
CN105447911A (zh) * 2014-09-26 2016-03-30 联想(北京)有限公司 一种3d地图融合方法、装置及电子设备
CN104616247A (zh) * 2015-02-10 2015-05-13 天津大学 一种用于基于超像素sift航拍地图拼接的方法
CN110516014A (zh) * 2019-01-18 2019-11-29 南京泛在地理信息产业研究院有限公司 一种面向城市道路监控视频映射到二维地图的方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117591612A (zh) * 2024-01-19 2024-02-23 贵州北斗空间信息技术有限公司 三维平台实时加载地形瓦片数据的方法、装置和系统
CN117591612B (zh) * 2024-01-19 2024-04-09 贵州北斗空间信息技术有限公司 三维平台实时加载地形瓦片数据的方法、装置和系统

Similar Documents

Publication Publication Date Title
CN112053446B (zh) 一种基于三维gis的实时监控视频与三维场景融合方法
CN110009561B (zh) 一种监控视频目标映射到三维地理场景模型的方法及系统
US11410320B2 (en) Image processing method, apparatus, and storage medium
US10115182B2 (en) Depth map super-resolution processing method
CN108564527B (zh) 基于神经网络的全景图内容补全和修复的方法及装置
CN106548516B (zh) 三维漫游方法和装置
CN114637026A (zh) 一种基于三维仿真技术实现输电线路在线监测与智能巡检的方法
CN112437276B (zh) 一种基于WebGL的三维视频融合方法及系统
CN108205797A (zh) 一种全景视频融合方法及装置
CN107016718B (zh) 一种场景渲染方法和装置
CN111582022B (zh) 一种移动视频与地理场景的融合方法、系统及电子设备
CN106780629A (zh) 一种三维全景数据采集、建模方法
JP7479729B2 (ja) 三次元表現方法及び表現装置
CN109934873B (zh) 标注图像获取方法、装置及设备
CN112446939A (zh) 三维模型动态渲染方法、装置、电子设备及存储介质
CN115641401A (zh) 一种三维实景模型的构建方法及相关装置
CN115546377B (zh) 一种视频融合方法、装置、电子设备及存储介质
CN113096003A (zh) 针对多视频帧的标注方法、装置、设备和存储介质
CN114782648A (zh) 图像处理方法、装置、电子设备及存储介质
CN111563961A (zh) 一种变电站的三维建模方法和相关装置
CN113422915A (zh) 一种监控视频融合显示方法及系统
CN105931284B (zh) 三维纹理tin数据与大场景数据的融合方法及装置
WO2020181510A1 (zh) 一种图像数据处理方法、装置及系统
CN114299230A (zh) 一种数据生成方法、装置、电子设备及存储介质
CN114066999A (zh) 基于三维建模的目标定位系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210921

RJ01 Rejection of invention patent application after publication