CN112367507A - 一种基于3d实景模型的全时空视频增强管控系统 - Google Patents

一种基于3d实景模型的全时空视频增强管控系统 Download PDF

Info

Publication number
CN112367507A
CN112367507A CN202011204080.4A CN202011204080A CN112367507A CN 112367507 A CN112367507 A CN 112367507A CN 202011204080 A CN202011204080 A CN 202011204080A CN 112367507 A CN112367507 A CN 112367507A
Authority
CN
China
Prior art keywords
module
responsible
subsystem
video
data information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011204080.4A
Other languages
English (en)
Inventor
尹金和
白雪峰
朱海江
高总
邦艳飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innor Mongolia Ruite Optimization Science & Technology Co ltd
Original Assignee
Innor Mongolia Ruite Optimization Science & Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innor Mongolia Ruite Optimization Science & Technology Co ltd filed Critical Innor Mongolia Ruite Optimization Science & Technology Co ltd
Priority to CN202011204080.4A priority Critical patent/CN112367507A/zh
Publication of CN112367507A publication Critical patent/CN112367507A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Abstract

本发明公开了一种基于3D实景模型的全时空视频增强管控系统，包括前端信息采集子系统、信息处理子系统、信息分析子系统以及后端应用子系统。本发明通过全时空视频增强管控系统的建设提升监控系统在当今社会反恐工作中的可视化技术能力，基于大场景全景视频实时的掌控反恐重点区域的整体宏观态势，提高社会治安防控和应急处突工作的能效。

Description

一种基于3D实景模型的全时空视频增强管控系统
技术领域
本发明涉及视频监控技术领域，尤其涉及一种基于3D实景模型的全时空视频增强管控系统。
背景技术
随着电子计算机技术的进步，计算机图像处理近年来得到飞跃的发展，已经成功的应用于几乎所有与成像有关的领域，并正发挥着相当重要的作用。视频拼接技术具有广阔的应用前景，在城市交通、视频监控、智能车辆等计算机视觉领域都有着广泛的应用。
在现有的视频实时拼接专利中，如张春雨的“一种基于多路摄像机的视频实时拼接方法”中，存在三个问题：一是对多路视频的同步没有详细的介绍；二是只是简单的通过投影映射进行配准，并没有对重叠处做过多的处理，导致视频融合质量不高；第三没有运用新型的并发编程架构，故实时性有一定的限制，有待于进一步提高。
发明内容
本发明的目的是为了解决现有技术中存在的缺点，而提出的一种基于3D实景模型的全时空视频增强管控系统。
为了实现上述目的，本发明采用了如下技术方案：
一种基于3D实景模型的全时空视频增强管控系统，包括前端信息采集子系统、信息处理子系统、信息分析子系统以及后端应用子系统；
所述前端信息采集子系统，负责对系统所需数据进行采集，并将采集后的原始数据信息经有线或无线传输至信息处理子系统；
所述信息处理子系统，负责接收来自前端信息采集子系统所传输的原始数据信息，对原始数据信息进行拼接处理，并将处理后的拼接数据信息经有线或无线传输至信息分析子系统；
所述信息分析子系统，负责接收来自信息处理子系统的拼接数据信息，对拼接数据信息进行数据分析，并将分析后的分析数据信息经有线或无线传输至后端应用子系统；
所述后端应用子系统，负责接收来自信息分析子系统的分析数据信息，根据用户的需要对分析数据信息进行应用展现。
优选地，所述前端信息采集子系统包括摄像机模块、GPS模块、NVR/DVR模块、传感器模块；
所述摄像机模块包括定焦枪型摄像头、球形摄像头和语言摄像头，所述摄像机模块负责监控每个跟踪目标，所述GPS模块负责对每个跟踪目标进行实时跟踪，所述传感器模块负责对跟踪目标进行行为特征感应，且通过摄像机模块通过配合GPS模块、传感器模块的使用，实现人脸追视、人脸拍照的原始数据信息采集功能；
所述NVR/DVR模块包括NVR子模块、DVR子模块，所述NVR子模块负责通过网络接收来自摄像机模块的原始数据信息，所述DVR子模块负责对原始数据信息进行存储、管理。
优选地，所述信息处理子系统包括OS模块、服务器模块；所述OS模块是整个系统的搭载支撑体系，它包含系统中所需要的所有硬件及相关操作系统，负责将原始数据信息传输至服务器模块；所述服务器模块包括动态全景融合服务器、智能跟踪处理服务器、三维融合服务器和视频存储服务器，其中，所述动态全景融合服务器负责对原始数据信息进行拼接处理，所述智能跟踪处理服务器负责对原始数据信息进行智能识别，所述三维融合服务器负责对原始数据信息进行三维融合，所述视频存储服务器负责对原始数据信息进行视频存储。
优选地，所述信息分析子系统包括视频监控模块、智能分析模块、智能跟踪处理模块；所述视频监控模块负责图像拼接；所述智能分析模块负责对人群密度进行智能分析检测；所述智能跟踪处理模块负责对大区域的多目标智能跟踪和预警。
优选地，所述后端应用子系统包括视频融合模块、视频巡航模块、人脸识别模块；所述视频融合模块负责视频的融合处理；所述视频巡航模块负责全空间可视化视频巡航；所述人脸识别模块负责实现人脸识别的功能。
与现有技术相比，本发明的有益效果是：
本发明的目的在于通过系统建设，消除重点监控区域的监控盲区，减少前端视频点位的部署数量，降低监控系统投入成本，真正意义上的将视频监控系统的业务能力发挥极致；
本发明通过全时空视频增强管控系统的建设提升监控系统在当今社会反恐工作中的可视化技术能力，基于大场景全景视频实时的掌控反恐重点区域的整体宏观态势，提高社会治安防控和应急处突工作的能效。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明的系统软件构架图；
图2为本发明的系统硬件构架图；
图3为本发明的系统流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施例一：为了增强全时空视频管控的能力，本实施例中提出了一种基于3D实景模型的全时空视频增强管控系统，参见图1-3，包括前端信息采集子系统、信息处理子系统、信息分析子系统以及后端应用子系统；
所述前端信息采集子系统，负责对系统所需数据进行采集，并将采集后的原始数据信息经有线或无线传输至信息处理子系统；
所述信息处理子系统，负责接收来自前端信息采集子系统所传输的原始数据信息，对原始数据信息进行拼接处理，并将处理后的拼接数据信息经有线或无线传输至信息分析子系统；
所述信息分析子系统，负责接收来自信息处理子系统的拼接数据信息，对拼接数据信息进行数据分析，并将分析后的分析数据信息经有线或无线传输至后端应用子系统；
所述后端应用子系统，负责接收来自信息分析子系统的分析数据信息，根据用户的需要对分析数据信息进行应用展现。
在本发明中，所述前端信息采集子系统包括摄像机模块、GPS模块、NVR/DVR模块、传感器模块；
所述摄像机模块包括定焦枪型摄像头、球形摄像头和语言摄像头，所述摄像机模块负责监控每个跟踪目标，通过多个摄像机的关联，实现全空间高低点位视频关联显示，达到了宏观态势监控与重点区域微观盯控的有机结合；所述GPS模块负责对每个跟踪目标进行实时跟踪，所述传感器模块负责对跟踪目标进行行为特征感应，且通过摄像机模块通过配合GPS模块、传感器模块的使用，实现人脸追视、人脸拍照的原始数据信息采集功能；
所述NVR/DVR模块包括NVR子模块、DVR子模块，所述NVR子模块负责通过网络接收来自摄像机模块的原始数据信息，所述DVR子模块负责对原始数据信息进行存储、管理。
在本发明中，所述信息处理子系统包括OS模块、服务器模块；所述OS模块是整个系统的搭载支撑体系，它包含系统中所需要的所有硬件及相关操作系统，负责将原始数据信息传输至服务器模块；所述服务器模块包括动态全景融合服务器、智能跟踪处理服务器、三维融合服务器和视频存储服务器，其中，所述动态全景融合服务器负责对原始数据信息进行拼接处理，所述智能跟踪处理服务器负责对原始数据信息进行智能识别，所述三维融合服务器负责对原始数据信息进行三维融合，所述视频存储服务器负责对原始数据信息进行视频存储，视频存储服务器对各路视频进行物理化存储，并建立监控摄像头ID与其视频流在服务器路径、摄像头的GPS位置、滚动角、倾斜角、偏航角等的映射关系，并将其存储到数据库中，。
在本发明中，所述信息分析子系统包括视频监控模块、智能分析模块、智能跟踪处理模块；所述视频监控模块负责图像拼接，需要采用多路实时视频无缝拼接融合技术，在离线调试阶段求取当前场景下的多路视频图像之间的模型变换参数、颜色亮度伽马校正系数、最佳缝合线以及对应的加权融合矩阵，使得最终融合的全景视频图像在重叠区域平滑过渡，在实时视频监控阶段，直接利用离线调试阶段求解出来的伽马校正系数对图像的亮度值进行调整，在服务器中利用CUDA对多路实时视频流进行多线程并行投影变换计算和加权融合，生成实时全景视频图像；
所述智能分析模块负责对人群密度进行智能分析检测，需要采用人群密度智能分析检测技术，针对人群密度进行智能分析检测，通过对监控视频中全部区域或划定区域进行实时智能分析，将分析结果以人群热度图的形式进行发布，同时根据用户需求设定阈值，实现事件的预警，为人员精准导流提供准确的指导作用。
在本发明中，所述后端应用子系统包括视频融合模块、视频巡航模块、人脸识别模块；所述视频融合模块负责视频的融合处理，需要采用视频巡航技术，根据监控视频的覆盖范围，由特征选择算法提取模型纹理中具有明显结构特征的纹理子图，提取并优化纹理子图在模型中的映射关系，将子图及映射信息写入数据库，作为视频精确配准的基准参考点，提高融合过程的运算速度，对预处理后的实时图像和纹理子图运用结构不变特征匹配算法提取场景结构不变特征并进行场景匹配，建立实时图像与纹理子图的配准关系，结合纹理子图映射信息库，利用实时图像与纹理子图的配准关系，计算实时图像的映射信息。
实施例二：目前关于基于视频拼接技术的视频监控方面目前国内还少有实际应用，缺乏将视频拼接技术同其他诸如人脸识别、行为预测、三维模型等先进技术结合的产业化整体解决方案，为此在本实施例中提出了整体解决方案。
(一)所述人脸识别模块负责实现人脸识别的功能，需要采用人脸识别技术对其进行识别，人脸识别技术是基于人的脸部特征，对输入的人脸图像或者视频流首先判断其是否存在人脸,如果存在人脸，则进一步的给出每个脸的位置、大小和各个主要面部器官的位置信息，并依据这些信息，进一步提取每个人脸中所蕴涵的身份特征，并将其与已知的人脸进行对比，从而识别每个人脸的身份；
(二)所述智能跟踪处理模块负责对大区域的多目标智能跟踪和预警，需要采用多目标智能跟踪处理技术，通过部署智能跟踪摄像机，实现对大区域的多目标智能跟踪和预警，多目标智能跟踪处理技术图像检测、识别和跟踪技术，通过先进的视频分析算法和多目标跟踪算法程序，实现对全景区域内多个移动目标或选定目标的自动、快速、精准、连续、流畅的跟踪和捕捉；并同步完成对全景区域的监控需要，实现对高等级要求的安保需求，能够根据人机交互实现单一目标的持续大场景跟踪，也能够根据人工智能算法自动跟踪夺命异常行为人，实现精准安防监控；
(三)所述视频巡航模块负责全空间可视化视频巡航，需要采用视频巡航技术，基于重点监控区域的全真三维模型，实现全空间可视化视频巡航，以各视频点为节点，动态形成最佳巡控路径进行深度和广度巡逻，结合实际场景达到海量视频实时、快速、非重复、无遗漏的视频遍历巡航，从根本上提升日常巡逻效率。
综上所述，本发明的目的在于通过系统建设，消除重点监控区域的监控盲区，减少前端视频点位的部署数量，降低监控系统投入成本，真正意义上的将视频监控系统的业务能力发挥极致；本发明通过全时空视频增强管控系统的建设提升监控系统在当今社会反恐工作中的可视化技术能力，基于大场景全景视频实时的掌控反恐重点区域的整体宏观态势，提高社会治安防控和应急处突工作的能效。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种基于3D实景模型的全时空视频增强管控系统，其特征在于：包括前端信息采集子系统、信息处理子系统、信息分析子系统以及后端应用子系统；
所述前端信息采集子系统，负责对系统所需数据进行采集，并将采集后的原始数据信息经有线或无线传输至信息处理子系统；
所述信息处理子系统，负责接收来自前端信息采集子系统所传输的原始数据信息，对原始数据信息进行拼接处理，并将处理后的拼接数据信息经有线或无线传输至信息分析子系统；
所述信息分析子系统，负责接收来自信息处理子系统的拼接数据信息，对拼接数据信息进行数据分析，并将分析后的分析数据信息经有线或无线传输至后端应用子系统；
所述后端应用子系统，负责接收来自信息分析子系统的分析数据信息，根据用户的需要对分析数据信息进行应用展现。
2.根据权利要求1所述的一种基于3D实景模型的全时空视频增强管控系统，其特征在于：所述前端信息采集子系统包括摄像机模块、GPS模块、NVR/DVR模块、传感器模块；
所述摄像机模块包括定焦枪型摄像头、球形摄像头和语言摄像头，所述摄像机模块负责监控每个跟踪目标，所述GPS模块负责对每个跟踪目标进行实时跟踪，所述传感器模块负责对跟踪目标进行行为特征感应，且通过摄像机模块通过配合GPS模块、传感器模块的使用，实现人脸追视、人脸拍照的原始数据信息采集功能；
所述NVR/DVR模块包括NVR子模块、DVR子模块，所述NVR子模块负责通过网络接收来自摄像机模块的原始数据信息，所述DVR子模块负责对原始数据信息进行存储、管理。
3.根据权利要求1所述的一种基于3D实景模型的全时空视频增强管控系统，其特征在于：所述信息处理子系统包括OS模块、服务器模块；所述OS模块是整个系统的搭载支撑体系，它包含系统中所需要的所有硬件及相关操作系统，负责将原始数据信息传输至服务器模块；所述服务器模块包括动态全景融合服务器、智能跟踪处理服务器、三维融合服务器和视频存储服务器，其中，所述动态全景融合服务器负责对原始数据信息进行拼接处理，所述智能跟踪处理服务器负责对原始数据信息进行智能识别，所述三维融合服务器负责对原始数据信息进行三维融合，所述视频存储服务器负责对原始数据信息进行视频存储。
4.根据权利要求1所述的一种基于3D实景模型的全时空视频增强管控系统，其特征在于：所述信息分析子系统包括视频监控模块、智能分析模块、智能跟踪处理模块；所述视频监控模块负责图像拼接；所述智能分析模块负责对人群密度进行智能分析检测；所述智能跟踪处理模块负责对大区域的多目标智能跟踪和预警。
5.根据权利要求1所述的一种基于3D实景模型的全时空视频增强管控系统，其特征在于：所述后端应用子系统包括视频融合模块、视频巡航模块、人脸识别模块；所述视频融合模块负责视频的融合处理；所述视频巡航模块负责全空间可视化视频巡航；所述人脸识别模块负责实现人脸识别的功能。
CN202011204080.4A 2020-11-02 2020-11-02 一种基于3d实景模型的全时空视频增强管控系统 Pending CN112367507A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011204080.4A CN112367507A (zh) 2020-11-02 2020-11-02 一种基于3d实景模型的全时空视频增强管控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011204080.4A CN112367507A (zh) 2020-11-02 2020-11-02 一种基于3d实景模型的全时空视频增强管控系统

Publications (1)

Publication Number Publication Date
CN112367507A true CN112367507A (zh) 2021-02-12

Family

ID=74512659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011204080.4A Pending CN112367507A (zh) 2020-11-02 2020-11-02 一种基于3d实景模型的全时空视频增强管控系统

Country Status (1)

Country Link
CN (1) CN112367507A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102006425A (zh) * 2010-12-13 2011-04-06 交通运输部公路科学研究所 一种基于多摄像机的视频实时拼接方法
CN103795976A (zh) * 2013-12-30 2014-05-14 北京正安融翰技术有限公司 一种全时空立体可视化方法
CN103856727A (zh) * 2014-03-24 2014-06-11 北京工业大学 一种多路实时视频拼接处理系统
CN105611253A (zh) * 2016-01-13 2016-05-25 天津中科智能识别产业技术研究院有限公司 一种基于智能视频分析技术的态势感知系统
CN107071297A (zh) * 2017-03-24 2017-08-18 合肥云智物联科技有限公司 一种用于电力信通机房展示的虚拟现实系统
CN109714563A (zh) * 2017-10-25 2019-05-03 北京航天长峰科技工业集团有限公司 一种基于要害部位的全景监控系统
CN111163286A (zh) * 2018-11-08 2020-05-15 北京航天长峰科技工业集团有限公司 基于混合现实以及视频智能分析技术的全景监控系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102006425A (zh) * 2010-12-13 2011-04-06 交通运输部公路科学研究所 一种基于多摄像机的视频实时拼接方法
CN103795976A (zh) * 2013-12-30 2014-05-14 北京正安融翰技术有限公司 一种全时空立体可视化方法
CN103856727A (zh) * 2014-03-24 2014-06-11 北京工业大学 一种多路实时视频拼接处理系统
CN105611253A (zh) * 2016-01-13 2016-05-25 天津中科智能识别产业技术研究院有限公司 一种基于智能视频分析技术的态势感知系统
CN107071297A (zh) * 2017-03-24 2017-08-18 合肥云智物联科技有限公司 一种用于电力信通机房展示的虚拟现实系统
CN109714563A (zh) * 2017-10-25 2019-05-03 北京航天长峰科技工业集团有限公司 一种基于要害部位的全景监控系统
CN111163286A (zh) * 2018-11-08 2020-05-15 北京航天长峰科技工业集团有限公司 基于混合现实以及视频智能分析技术的全景监控系统

Similar Documents

Publication Publication Date Title
Hossain et al. Crowd counting using scale-aware attention networks
CN103795976B (zh) 一种全时空立体可视化方法
CN108965687B (zh) 拍摄方向识别方法、服务器及监控方法、系统及摄像设备
CN108109385B (zh) 一种输电线防外破的车辆识别与危险行为判别系统与方法
WO2020228766A1 (zh) 基于实景建模与智能识别的目标跟踪方法、系统及介质
US9317762B2 (en) Face recognition using depth based tracking
CN113506317B (zh) 一种基于Mask R-CNN和表观特征融合的多目标跟踪方法
CN111242025B (zh) 一种基于yolo的动作实时监测方法
CN104378582A (zh) 一种基于ptz摄像机巡航的智能视频分析系统及方法
CN103761514A (zh) 基于广角枪机和多球机实现人脸识别的系统及方法
CN112699839B (zh) 一种动态背景下视频目标自动锁定及跟踪方法
CN102447835A (zh) 无盲区多目标协同跟踪方法及系统
CN112449093A (zh) 一种三维全景视频融合监控平台
CN105760846A (zh) 基于深度数据的目标检测与定位方法及系统
CN103929592A (zh) 全方位智能监控设备及方法
CN112207821B (zh) 视觉机器人的目标搜寻方法及机器人
CN104883548A (zh) 监控视频人脸抓取处理方法及其系统
CN112419233B (zh) 一种数据标注方法、装置、设备以及计算机可读存储介质
CN105516661B (zh) 鱼眼相机与ptz相机相结合的主从目标监控方法
CN111783675A (zh) 基于车辆语义感知的智慧城市视频自适应hdr控制方法
Li et al. Multiframe-based high dynamic range monocular vision system for advanced driver assistance systems
Liang et al. Methods of moving target detection and behavior recognition in intelligent vision monitoring.
CN116824641B (zh) 姿态分类方法、装置、设备和计算机存储介质
Sun et al. Collaborative multi-object tracking as an edge service using transfer learning
Li et al. A city monitoring system based on real-time communication interaction module and intelligent visual information collection system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210212