CN106993152B - 三维监控系统及其快速部署方法 - Google Patents

三维监控系统及其快速部署方法 Download PDF

Info

Publication number
CN106993152B
CN106993152B CN201610040812.8A CN201610040812A CN106993152B CN 106993152 B CN106993152 B CN 106993152B CN 201610040812 A CN201610040812 A CN 201610040812A CN 106993152 B CN106993152 B CN 106993152B
Authority
CN
China
Prior art keywords
point set
video
point
virtual scene
grid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610040812.8A
Other languages
English (en)
Other versions
CN106993152A (zh
Inventor
王全占
李亮
林耀冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201610040812.8A priority Critical patent/CN106993152B/zh
Priority to EP16885926.2A priority patent/EP3407301A4/en
Priority to PCT/CN2016/081260 priority patent/WO2017124663A1/zh
Priority to US16/070,426 priority patent/US20190058875A1/en
Publication of CN106993152A publication Critical patent/CN106993152A/zh
Application granted granted Critical
Publication of CN106993152B publication Critical patent/CN106993152B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/388Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及视频监控技术,公开了一种三维监控系统及其快速部署方法。本发明中,在虚拟场景和监控视频中,分别通过输入设备获取两个相对应的点集合,由此得到虚拟场景和监控视频的映射关系,再据此映射关系生成叠加显示到虚拟场景中的视频网格,能够在不进行摄像机内外参标定的基础上,实现三维监控系统的快速部署,并且对三维监控场景与实际监控场所的匹配准确性要求也有所降低,将在保证监控视频叠加到虚拟场景中的效果的前提下,大大降低系统的部署难度。

Description

三维监控系统及其快速部署方法
技术领域
本发明涉及视频监控技术,特别涉及三维监控系统及其快速部署方法。
背景技术
三维监控系统打破了传统的视频监控系统分镜头割裂画面显示的局限,将孤立的摄像头有机地融合到三维实景中,实现了对整个现场的三维实时监控。三维监控系统不仅可以将摄像头采集到的实时视频进行实时的三维融合,同时可以将已存储的摄像头历史视频进行三维历史视频回溯,能够直观地、全景地呈现历史事件的发生始末,大大提升了事件查询效率。
当前的三维监控系统,一般包括:建立与监控场所相对应的三维虚拟场景,根据摄像设备在监控场所中的实际位置在虚拟场景中添加虚拟摄像装置,依据视频参数信息确定视频在虚拟场景中的投影关系,构建虚拟场景漫游系统。发明人在研发过程中发现,现有技术存在如下不足:三维监控系统需要实现通过标定等方式获取摄像设备的内外参数,并且摄像设备在虚拟场景中的投影关系是一一对应的,部署时不够方便、灵活。
发明内容
本发明的目的在于提供一种三维监控系统及其快速部署方法,在实现三维监控系统的快速部署的同时,大大降低系统的部署难度。
为解决上述技术问题,本发明的实施方式公开了一种三维监控系统的快速部署方法,包括以下步骤:
显示监控场所的虚拟场景和监控视频;
从输入设备获取在虚拟场景中选取的N个点,以作为第一点集合,并且,从输入设备获取在监控视频中选取的N个点,以作为第二点集合,其中,N大于2,第一点集合中各点分别与第二点集合中各点一一对应以形成虚拟场景和监控视频的第一映射关系;
根据第一映射关系生成第一视频网格,该第一视频网格的纹理为监控视频的至少一部分;
将第一视频网格叠加显示在虚拟场景中。
本发明的实施方式还公开了一种三维监控系统,包括:
显示模块,用于显示监控场所的虚拟场景和监控视频;
获取模块,用于从输入设备获取在虚拟场景中选取的N个点,以作为第一点集合,并且,从输入设备获取在监控视频中选取的N个点,以作为第二点集合,其中,N大于2,第一点集合中各点分别与第二点集合中各点一一对应以形成虚拟场景和监控视频的第一映射关系;
生成模块,用于根据第一映射关系生成第一视频网格,该第一视频网格的纹理为监控视频的至少一部分;以及
叠加模块,用于将第一视频网格叠加显示在虚拟场景中。
本发明实施方式与现有技术相比,主要区别及其效果在于:
在虚拟场景和监控视频中,分别通过输入设备获取两个相对应的点集合,由此得到虚拟场景和监控视频的映射关系,再据此映射关系生成叠加显示到虚拟场景中的视频网格,能够在不进行摄像机内外参标定的基础上,实现三维监控系统的快速部署,并且对三维监控场景与实际监控场所的匹配准确性要求也有所降低,将在保证监控视频叠加到虚拟场景中的效果的前提下,大大降低系统的部署难度。
进一步地,在第一和第二点集合中各包含至少4个区域边缘的特征点,由这些特征点确定被叠加到虚拟场景中视频图像的边缘,即使在复杂场景下,监控视频的画面边缘部分也能够与虚拟场景较好吻合,不会严重失真。
进一步地,在对第一点集合、第二点集合三角化后进行视频叠加,可以将第一点集合中的三维特征点投影到第二点集合构成的二维空间中,以更准确地进行监控视频叠加。
进一步地,判断第一点集合的三角形网格的任意两条边的夹角与第二点集合的对应三角形网格的两条边的夹角差异是否在预定阈值内,可以使监控视频画面通过映射后变形较小。
进一步地,在虚拟场景中对于同一路监控视频生成多个视频网格,可以对同一路监控视频的内部进行精确权限控制,并且可有效减小因特征点过多导致的视频映射边缘畸变较大的问题。
附图说明
图1是本发明第一实施方式中一种三维监控系统的快速部署方法的流程示意图;
图2是本发明第一实施方式中一种三维监控系统的快速部署方法的流程示意图;
图3是本发明第二实施方式中一种三维监控系统的快速部署方法中对点集合进行三角化的示意图;
图4是本发明第二实施方式中一种三维监控系统的快速部署方法的流程示意图;
图5是本发明第二实施方式中一种三维监控系统的快速部署方法中选取特征点和生成网格模型的流程示意图;
图6是本发明第二实施方式中一种三维监控系统的结构示意图;
图7是本发明第三实施方式中一种三维监控系统的结构示意图;
图8是本发明第四实施方式中一种三维监控系统中生成模块的结构示意图。
具体实施方式
在以下的叙述中,为了使读者更好地理解本申请而提出了许多技术细节。但是,本领域的普通技术人员可以理解,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请各权利要求所要求保护的技术方案。
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明的实施方式作进一步地详细描述。
本发明第一实施方式涉及一种三维监控系统的快速部署方法。图1是该三维监控系统的快速部署方法的流程示意图。如图1所示,该三维监控系统的快速部署方法包括以下步骤:
在步骤101中,显示监控场所的虚拟场景和监控视频。可以理解,相应于该监控场所,预先建立上述虚拟场景。在该监控场所的不同位置处布置有一个或多个摄像设备,可以在多个窗口中同时显示在该监控场所中布置的所有摄像设备的监控视频,也可以仅在一个窗口中显示一个摄像设备的监控视频。
此后进入步骤102,从输入设备获取在虚拟场景中选取的N个点,以作为第一点集合,并且,从输入设备获取在监控视频中选取的N个点,以作为第二点集合,其中,N大于2,第一点集合中各点分别与第二点集合中各点一一对应以形成虚拟场景和监控视频的第一映射关系。
可以理解,输入设备可以是鼠标、触摸板、触摸屏、或手写笔等等。在虚拟场景和监控视频中可以使用同一个输入设备选取点,也可以使用不同的输入设备选取点,例如,在虚拟场景中使用鼠标选取点,在监控视频中使用触摸屏选取点。
作为可选实施方式,上述第一点集合用于选择上述虚拟场景中的第一区域,上述第二点集合用于选择上述监控视频中的第二区域。上述第一点集合和上述第二点集合中分别包含至少4个位于所选择的第一区域和第二区域边缘的特征点,例如门的四个角点等。在第一和第二点集合中各包含至少4个区域边缘的特征点,由这些特征点确定被叠加到虚拟场景中视频图像的边缘,即使在复杂场景下,监控视频的画面边缘部分也能够与虚拟场景较好吻合,不会严重失真。此外,可以理解,在其它例子中,第一点集合中可以有3个或多于4个的位于所选择的图像边缘的特征点,第二点集合同样如此。
优选地,第一点集合和第二点集合中分别至少1个位于所选择的第一区域和第二区域内部的特征点,例如门把手。此外,可以理解,在其它例子中,第一点集合中可以没有,也可以有多个的位于所选择的第一区域内部的特征点,第二点集合同样如此。
此后进入步骤103,根据第一映射关系生成第一视频网格,该第一视频网格的纹理为监控视频的至少一部分。可以理解,视频网格为用于承载监控视频画面的网格模型,视频数据作为该网格的纹理实时更新,实现视频在虚拟场景中的融合。
此后进入步骤104,将第一视频网格叠加显示在虚拟场景中。
在虚拟场景和监控视频中,分别通过输入设备获取两个相对应的点集合,由此得到虚拟场景和监控视频的映射关系,再据此映射关系生成叠加显示到虚拟场景中的视频网格,能够在不进行摄像机内外参标定的基础上,实现三维监控系统的快速部署,并且对三维监控场景与实际监控场所的匹配准确性要求也有所降低,将在保证监控视频叠加到虚拟场景中的效果的前提下,大大降低系统的部署难度。
在一个优选例中,如图2所示,在步骤101后还包括以下步骤:
在步骤202中,从输入设备获取虚拟场景中选取的N个点以作为第三点集合,并且,从输入设备获取在同一个监控视频中选取的N个点以作为第四点集合,其中,N大于2,第三点集合中各点分别与第四点集合中各点一一对应以形成虚拟场景和监控视频的第二映射关系。
此后进入步骤203,根据第二映射关系生成第二视频网格,该第二视频网格的纹理为同一个监控视频的至少一部分。
此后进入步骤204,将第二视频网格叠加显示在虚拟场景中。
在虚拟场景中对于同一路监控视频生成多个视频网格,可以对同一路监控视频的内部进行精确权限控制、简化摄像设备的布置,并且可有效减小因特征点过多导致的视频映射边缘畸变较大的问题。
在上述优选的例子中,第一视频网格的纹理和第二视频网格的纹理分别为同一个监控视频的第一部分和第二部分。在本发明的各个实施方式中,上述第一部分与第二部分可以有重叠区域,也可以没有重叠区域,以根据需要进行精确权限控制。例如,上述第一部分与第二部分分别为同一个监控视频的不相重叠的两个区域,以分别进行监控;或者,上述第一部分为上述监控视频的整个区域,上述第二部分仅为上述监控视频的某个区域,例如窗户、门等,以根据相应权限进行监控。
可以理解,步骤102至104与步骤202至204可以同时进行,也可以先后进行。
此外,可以理解,在本发明的其他实施方式中,也可以在虚拟场景中对于一路监控视频仅生成一个视频网格,同样能实现本发明的技术方案。
本发明第二实施方式涉及一种三维监控系统的快速部署方法。第二实施方式在第一实施方式的基础上进行了以下两个改进。
第一个改进为在对第一点集合、第二点集合三角化后进行视频叠加,可以将第一点集合中的三维特征点投影到第二点集合构成的二维空间,以更准确地进行监控视频叠加。具体地说:
在步骤103中包括以下步骤:
分别对第一点集合、第二点集合进行三角化,以生成三角形网格,例如如图3所示,将四个点分为两个三角形I和II,三角形I和II的边缘具有一定的夹角;
根据第一映射关系将第二点集合的三角形网格的监控视频作为纹理叠加到第一点集合的相应三角形网格,以生成第一视频网格。
可以理解,三个点形成一个面,三角化为连线各点以形成三角形网格,对第一点集合三角化后,可以使第一点集合中各三维特征点形成一个或多个面。根据第一映射关系,将第二点集合各面的监控视频叠加到第一点集合中各三维特征点形成的相应面上,并在需要时进行适当调整,可以更准确地进行监控视频叠加。
此外,可以理解,在本发明的其他实施方式中,也可以不对点集合进行三角化处理,或者可以根据需要进行其他网格化处理,例如形成四边形网格或其他形状的网格,同样能实现本发明的技术方案。
第二个改进为判断第一点集合的三角形网格的任意两条边的夹角与第二点集合的对应三角形网格的两条边的夹角差异是否在预定阈值内,可以使监控视频画面通过映射后变形较小。具体地说:
在分别对第一点集合、第二点集合进行三角化,以生成三角形网格的步骤后,在根据第一映射关系将第二点集合的三角形网格的监控视频作为纹理叠加到第一点集合的相应三角形网格,以生成第一视频网格的步骤前,还包括以下步骤:
判断第一点集合的三角形网格的各两条边的夹角与第二点集合的对应三角形网格的两条边的夹角的差异是否小于预定阈值,例如如图3所示的边L1与边L2的夹角;
若第一点集合的三角形网格的各两条边的夹角与第二点集合的对应三角形网格的两条边的夹角的差异小于所述预定阈值,根据第一映射关系将第二点集合的三角形网格的监控视频作为纹理叠加到第一点集合的相应三角形网格,以生成第一视频网格。否则,返回步骤102重新获取点集合。
可以理解,当形成其他形状的网格时,可以对各网格的任意两条边的夹角的差异进行判断,不限于上述的三角形网格。
此外,可以理解,在本发明的其他实施方式中,也可以不对两条边的夹角进行判断,或者可以对第一点集合中各三维特征点形成的每个面的几何结构与第二点集合中各点构成的几何结构进行相似性判断,同样能实现本申请的技术方案。
在一个优选的例子中,上述三维监控系统的快速部署方法包括:建立与监控场所相对应的三维虚拟场景,获取视频采集装置(例如摄像设备)的视频数据,以人工选取的方式获取监控视频与虚拟场景的映射关系,根据映射关系生成视频网格,将视频网格与原虚拟场景叠加,以及构建虚拟场景漫游系统完成三维监控。如图4总体流程图所示。虚拟漫游是虚拟现实(VR)技术的重要分支,其在多维信息空间上创建一个虚拟信息环境,能够使用户具有身临其境的沉浸感,具有与环境完善的交互作用能力,并有助于启发构思。如图5所示,其中的以人工选取的方式获取监控视频与虚拟场景的映射关系,具体包括双窗口同时显示虚拟场景和监控视频,调整虚拟场景的监控姿态与监控视频区域大致吻合,监控视频画面中通过鼠标拣选或其他方式(如触摸屏幕触摸)选取监控视频区域的边界点,虚拟场景画面中拣选与前述监控视频区域对应的区域来选取区域特征点,选定的区域特征点构成三维点云数据,通过网格化顶点生成网格模型(其中,网格由若干三维点连线形成,且具有各种形状,例如三角形网格、四边形网格等等)。监控视频的区域特征点在监控视频画面中的相对坐标作为虚拟场景中对应区域特征点的纹理坐标,以确定映射关系,根据映射关系生成视频网格,视频网格与虚拟场景进行叠加显示,达到三维监控的目的。并且该过程可以对同一个监控视频重复选取多次区域特征点,同时选取对应的虚拟场景区域特征点,生成多个网格模型,可对同一路监控视频内部进行精确权限控制,并且可有效减小因特征点过多导致的视频映射边缘畸变较大的问题。其中,鼠标拣选是指通过鼠标点击的方式,获取对应点的二/三维空间坐标。
图5中的区域特征点的匹配处理,包括监控场所的虚拟场景选取的三维特征点投影到二维空间,判断虚拟场景中选取的区域特征点构成的每个面的几何结构与监控视频画面的区域特征点构成的几何结构是否类似,并且判断虚拟场景中选取的区域特征点构成的每个面的几何结构的任意两条边的夹角与监控视频区域对应边的夹角差异是否小于控制阈值,如果不合要求就提示重选,以使监控视频画面通过映射后变形较小。
该三维监控系统的快速部署方法可以由以下三维监控系统来实现,该三维监控系统包括漫游控制模块、视频显示模块、视频获取模块、场景管理模块、网格生成模块等。
漫游控制模块:负责视点漫游的控制,包括固定线路巡航、飞行模式巡航、第一人称漫游等多种漫游方式。
视频获取模块:负责文件或实时流的获取,以及视频的解码、数据缓存控制等。
视频显示模块:负责将视频数据显示到二维窗口上,用于人工选取监控区域特征点,以及三维监控向二维监控的切换。
场景管理模块:通过对下一阶段的视点进行预测,管理视频网格的加载/卸载,并将其加入到三维监控系统中。并且,场景管理模块中,包括叠加模块,用于将视频网格叠加显示在虚拟场景中。
网格生成模块:根据人工选取的区域特征点,完成三维点云的三角化,生成视频网格,并进行持久化,作为模型文件存储到存储介质上。
上述各模块间的协同关系如图6的模块关系图所示。该三维监控系统可大致划分为两个阶段,一、部署阶段,即预处理生成视频网格的阶段,通过视频获取模块和视频显示模块获取视频画面的直观感受,通过漫游控制模块获取三维场景的画面,通过人工鼠标拣选等方式获取视频映射区域的特征点、及三维监控区域的特征点,根据特征点通过网格生成模块生成视频网格,并持久化到存储介质。该过程可重复进行以期提高视频与虚拟场景的融合效果,该过程也可一路监控视频生成多个视频网格,减少边缘的失真,并进行权限的精确控制;二、实施监控阶段,即运行时虚拟场景叠加视频网格,漫游控制模块控制虚拟视点的变化,得到实时的三维画面,场景管理模块预测视点运行趋势,计算可视范围,对视频网格进行加载/卸载操作,控制对应的监控视频出现在监控画面上,视频获取模块实时获取视频数据,并将其更新到对应的视频网格,完成视频在虚拟场景上的叠加,获得三维监控效果。
由上可以看到,上述三维监控系统的快速部署方法能够在不进行摄像机内外参标定的基础上,实现三维监控系统的快速部署,并且对三维监控场景与实际监控场所的匹配准确性要求也有所降低,将在保证视频叠加到虚拟场景中的效果的前题下,大大降低系统的部署难度,并且可以做到单路监控的部分内容屏蔽,做到权限的精确控制。
可以理解,以上各改进组合后形成本申请的较佳实施例,但各改进也可以分别使用。在该较佳实施例中,可以根据需要添加、调整或删除相应步骤和/或模块。
本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现,指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的,易失性的或者非易失性的,固态的或者非固态的,固定的或者可更换的介质等等)。同样,存储器可以例如是可编程阵列逻辑(Programmable ArrayLogic,简称“PAL”)、随机存取存储器(Random Access Memory,简称“RAM”)、可编程只读存储器(Programmable Read Only Memory,简称“PROM”)、只读存储器(Read-Only Memory,简称“ROM”)、电可擦除可编程只读存储器(Electrically Erasable Programmable ROM,简称“EEPROM”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc,简称“DVD”)等等。
本发明第三实施方式涉及一种三维监控系统。图7是该三维监控系统的结构示意图。如图7所示,该三维监控系统包括:
显示模块,用于显示监控场所的虚拟场景和监控视频。
获取模块,用于从输入设备获取在虚拟场景中选取的N个点,以作为第一点集合,并且,从输入设备获取在监控视频中选取的N个点,以作为第二点集合,其中,N大于2,第一点集合中各点分别与第二点集合中各点一一对应以形成虚拟场景和监控视频的第一映射关系。
可以理解,输入设备可以是鼠标、触摸板、触摸屏、或手写笔等等。在虚拟场景和监控视频中可以使用同一个输入设备选取点,也可以使用不同的输入设备选取点,例如,在虚拟场景中使用鼠标选取点,在监控视频中使用触摸屏选取点。
作为可选实施方式,上述第一点集合用于选择上述虚拟场景中的第一区域,上述第二点集合用于选择上述监控视频中的第二区域。上述第一点集合和上述第二点集合中分别包含至少4个位于所选择的第一区域和第二区域边缘的特征点,例如门的四个角点等。在第一和第二点集合中各包含至少4个区域边缘的特征点,由这些特征点确定被叠加到虚拟场景中视频图像的边缘,即使在复杂场景下,监控视频的画面边缘部分也能够与虚拟场景较好吻合,不会严重失真。此外,可以理解,在其它例子中,第一点集合中可以有3个或多于4个的位于所选择的图像边缘的特征点,第二点集合同样如此。
优选地,第一点集合和第二点集合中分别包含至少1个位于所选择的第一区域和第二区域内部的特征点。此外,可以理解,在其它例子中,第一点集合中可以没有,也可以有多个的位于所选择的区域内部的特征点,第二点集合同样如此。
生成模块,用于根据第一映射关系生成第一视频网格,该第一视频网格的纹理为监控视频的至少一部分。以及
叠加模块,用于将第一视频网格叠加显示在虚拟场景中。
在虚拟场景和监控视频中,分别通过获取模块从输入设备获取两个相对应的点集合,由此得到虚拟场景和监控视频的映射关系,生成模块再据此映射关系生成叠加显示到虚拟场景中的视频网格,能够在不进行摄像机内外参标定的基础上,实现三维监控系统的快速部署,并且对三维监控场景与实际监控场所的匹配准确性要求也有所降低,将在保证监控视频叠加到虚拟场景中的效果的前提下,大大降低系统的部署难度。
在一个优选例中,所述获取模块用于从输入设备获取在所述虚拟场景中选取的N个点以作为第三点集合,并且,从输入设备获取在同一个所述监控视频中选取的N个点以作为第四点集合,其中,N大于2,第三点集合中各点分别与第四点集合中各点一一对应以形成虚拟场景和监控视频的第二映射关系;
所述生成模块用于根据所述第二映射关系生成第二视频网格,该第二视频网格的纹理为同一个所述监控视频的至少一部分;以及
所述叠加模块用于将所述第二视频网格叠加显示在所述虚拟场景中。
在虚拟场景中对于同一路监控视频生成多个视频网格,可以对同一路监控视频的内部进行精确权限控制、简化摄像设备的布置,并且可有效减小因特征点过多导致的视频映射边缘畸变较大的问题。
在上述优选的例子中,第一视频网格的纹理和第二视频网格的纹理分别为同一个监控视频的第一部分和第二部分。在本发明的各个实施方式中,上述第一部分与第二部分可以有重叠区域,也可以没有重叠区域,以根据需要进行精确权限控制。例如,上述第一部分与第二部分分别为同一个监控视频的不相重叠的两个区域,以分别进行监控;或者,上述第一部分为上述监控视频的整个区域,上述第二部分仅为上述监控视频的某个区域,例如窗户、门等,以根据相应权限进行监控。
此外,可以理解,在本发明的其他实施方式中,也可以在虚拟场景中对于一路监控视频仅生成一个视频网格,同样能实现本发明的技术方案。
第一实施方式是与本实施方式相对应的方法实施方式,本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第一实施方式中。
本发明第四实施方式涉及一种三维监控系统的快速部署系统。第四实施方式在第三实施方式的基础上进行了两个改进。
第一个改进为在对第一点集合、第二点集合三角化后进行视频叠加,可以将第一点集合中的三维特征点投影到第二点集合构成的二维空间,以更准确地进行监控视频叠加。具体地说:
如图8所示,上述生成模块包括以下子模块:
网格子模块,用于分别对第一点集合、第二点集合进行三角化,以生成三角形网格;
叠加子模块,用于根据第一映射关系将第二点集合的三角形网格的监控视频作为纹理叠加到第一点集合的相应三角形网格,以生成第一视频网格。
可以理解,三个点形成一个面,对第一点集合三角化后,可以使第一点集合中各三维特征点形成一个或多个面。根据第一映射关系,将第二点集合各面的监控视频叠加到第一点集合中各三维特征点形成的相应面上,并在需要时进行适当调整,可以更准确地进行监控视频叠加。
此外,可以理解,在本发明的其他实施方式中,也可以不对点集合进行三角化处理,或者可以根据需要进行其他网格化处理,例如形成四边形网格或其他形状的网格,同样能实现本发明的技术方案。
第二个改进为判断第一点集合中三角形网格的任意两条边的夹角与第二点集合中对应三角形网格的两条边的夹角差异是否在预定阈值内,可以使监控视频画面通过映射后变形较小。具体地说:
如图8所示,上述生成模块还包括判断子模块,用于判断上述网格子模块生成的第一点集合中三角形网格的各两条边的夹角与第二点集合中对应三角形网格的两条边的夹角的差异是否小于预定阈值。
上述叠加子模块用于若上述判断子模块确定第一点集合中三角形网格的各两条边的夹角与第二点集合中对应三角形网格的两条边的夹角的差异小于预定阈值,根据第一映射关系将第二点集合的三角形网格的监控视频作为纹理叠加到第一点集合的相应三角形网格,以生成第一视频网格。
可以理解,当形成其他形状的网格时,与可以对各网格中的任意两条边的夹角的差异进行判断,不限于上述的三角形网格。
此外,可以理解,在本发明的其他实施方式中,也可以不对两条边的夹角进行差异判断,或者可以对第一点集合中各三维特征点形成的每个面的几何结构与第二点集合中各点构成的几何结构进行相似性判断,同样能实现本申请的技术方案。
第二实施方式是与本实施方式相对应的方法实施方式,本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第二实施方式中。
综上,本申请的三维监控系统及其快速部署方法主要具有以下优点:
1、通过人工选取区域的方式获取监控画面与虚拟场景的对应关系,省略了摄像机内外参标定的过程,降低了虚拟场景与实际场景匹配度的要求。
2、可以实现一个监控摄像机对应多个虚拟场景中的网格区域,减轻边缘区域的失真现象的同时可以实现同一监控视频内部分信息的屏蔽。
需要说明的是,本发明各设备实施方式中提到的各单元都是逻辑单元,在物理上,一个逻辑单元可以是一个物理单元,也可以是一个物理单元的一部分,还可以以多个物理单元的组合实现,这些逻辑单元本身的物理实现方式并不是最重要的,这些逻辑单元所实现的功能的组合才是解决本发明所提出的技术问题的关键。此外,为了突出本发明的创新部分,本发明上述各设备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的单元引入,这并不表明上述设备实施方式并不存在其它的单元。
需要说明的是,在本专利的权利要求和说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然通过参照本发明的某些优选实施方式,已经对本发明进行了图示和描述,但本领域的普通技术人员应该明白,可以在形式上和细节上对其作各种改变,而不偏离本发明的精神和范围。

Claims (8)

1.一种三维监控系统的快速部署方法,其特征在于,包括以下步骤:
显示监控场所的虚拟场景和监控视频;
从输入设备获取在所述虚拟场景中选取的N个点,以作为第一点集合,并且,从输入设备获取在所述监控视频中选取的N个点,以作为第二点集合,其中,N大于2,所述第一点集合中各点分别与所述第二点集合中各点一一对应以形成所述虚拟场景和所述监控视频的第一映射关系;
根据所述第一映射关系生成第一视频网格,该第一视频网格的纹理为所述监控视频的至少一部分;
将所述第一视频网格叠加显示在所述虚拟场景中;
在根据所述第一映射关系生成第一视频网格的步骤中包括以下步骤:
分别对所述第一点集合、所述第二点集合进行三角化,以生成三角形网格;
判断所述第一点集合的三角形网格的各两条边的夹角与所述第二点集合的对应三角形网格的两条边的夹角的差异是否小于预定阈值;
若所述第一点集合的三角形网格的各两条边的夹角与所述第二点集合的对应三角形网格的两条边的夹角的差异小于所述预定阈值,根据所述第一映射关系将所述第二点集合的三角形网格的监控视频作为纹理叠加到所述第一点集合的相应三角形网格,以生成第一视频网格。
2.根据权利要求1所述的三维监控系统的快速部署方法,其特征在于,所述第一点集合用于选择所述虚拟场景中的第一区域,所述第二点集合用于选择所述监控视频中的第二区域;
所述第一点集合和所述第二点集合中分别包含至少4个位于所选择的第一区域和第二区域边缘的特征点。
3.根据权利要求1所述的三维监控系统的快速部署方法,其特征在于,
所述第一点集合用于选择所述虚拟场景中的第一区域,所述第二点集合用于选择所述监控视频中的第二区域;
所述第一点集合和所述第二点集合中分别包含至少1个位于所选择的第一区域和第二区域内部的特征点。
4.根据权利要求1至3中任一项所述的三维监控系统的快速部署方法,其特征在于,在所述显示监控场所的虚拟场景和监控视频的步骤后,还包括以下步骤:
从输入设备获取所述虚拟场景中选取的N个点,以作为第三点集合,并且,从输入设备获取在同一个所述监控视频中选取的N个点,以作为第四点集合,其中,N大于2,所述第三点集合中各点分别与所述第四点集合中各点一一对应以形成所述虚拟场景和所述监控视频的第二映射关系;
根据所述第二映射关系生成第二视频网格,该第二视频网格的纹理为同一个所述监控视频的至少一部分;
将所述第二视频网格叠加显示在所述虚拟场景中。
5.一种三维监控系统,其特征在于,包括:
显示模块,用于显示监控场所的虚拟场景和监控视频;
获取模块,用于从输入设备获取在所述虚拟场景中选取的N个点,以作为第一点集合,并且,从输入设备获取在所述监控视频中选取的N个点,以作为第二点集合,其中,N大于2,所述第一点集合中各点分别与所述第二点集合中各点一一对应以形成所述虚拟场景和所述监控视频的第一映射关系;
生成模块,用于根据所述第一映射关系生成第一视频网格,该第一视频网格的纹理为所述监控视频的至少一部分;以及
叠加模块,用于将所述第一视频网格叠加显示在所述虚拟场景中;
所述生成模块包括以下子模块:
网格子模块,用于分别对所述第一点集合、所述第二点集合进行三角化,以生成三角形网格;
判断子模块,用于判断所述网格子模块生成的第一点集合的三角形网格的各两条边的夹角与第二点集合的对应三角形网格的两条边的夹角的差异是否小于预定阈值;
叠加子模块,所述叠加子模块用于若所述判断子模块确定所述第一点集合的三角形网格的各两条边的夹角与所述第二点集合的对应三角形网格的两条边的夹角的差异小于所述预定阈值,根据所述第一映射关系将所述第二点集合的三角形网格的监控视频作为纹理叠加到所述第一点集合的相应三角形网格,以生成第一视频网格。
6.根据权利要求5所述的三维监控系统,其特征在于,所述第一点集合用于选择所述虚拟场景中的第一区域,所述第二点集合用于选择所述监控视频中的第二区域;
所述第一点集合和所述第二点集合中分别包含至少4个位于所选择的第一区域和第二区域边缘的特征点。
7.根据权利要求5所述的三维监控系统,其特征在于,所述第一点集合用于选择所述虚拟场景中的第一区域,所述第二点集合用于选择所述监控视频中的第二区域;
所述第一点集合和所述第二点集合中分别包含至少1个位于所选择的第一区域和第二区域内部的特征点。
8.根据权利要求5至7中任一项所述的三维监控系统,其特征在于,所述获取模块用于从输入设备获取在所述虚拟场景中选取的N个点,以作为第三点集合,并且,从输入设备获取在同一个所述监控视频中选取的N个点,以作为第四点集合,其中,N大于2,所述第三点集合中各点分别与所述第四点集合中各点一一对应以形成所述虚拟场景和所述监控视频的第二映射关系;
所述生成模块用于根据所述第二映射关系生成第二视频网格,该第二视频网格的纹理为同一个所述监控视频的至少一部分;以及
所述叠加模块用于将所述第二视频网格叠加显示在所述虚拟场景中。
CN201610040812.8A 2016-01-21 2016-01-21 三维监控系统及其快速部署方法 Active CN106993152B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201610040812.8A CN106993152B (zh) 2016-01-21 2016-01-21 三维监控系统及其快速部署方法
EP16885926.2A EP3407301A4 (en) 2016-01-21 2016-05-06 THREE-DIMENSIONAL MONITORING SYSTEM, AND ITS RAPID DEPLOYMENT METHOD
PCT/CN2016/081260 WO2017124663A1 (zh) 2016-01-21 2016-05-06 三维监控系统及其快速部署方法
US16/070,426 US20190058875A1 (en) 2016-01-21 2016-05-06 Three-Dimensional Surveillance System, and Rapid Deployment Method for Same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610040812.8A CN106993152B (zh) 2016-01-21 2016-01-21 三维监控系统及其快速部署方法

Publications (2)

Publication Number Publication Date
CN106993152A CN106993152A (zh) 2017-07-28
CN106993152B true CN106993152B (zh) 2019-11-08

Family

ID=59361392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610040812.8A Active CN106993152B (zh) 2016-01-21 2016-01-21 三维监控系统及其快速部署方法

Country Status (4)

Country Link
US (1) US20190058875A1 (zh)
EP (1) EP3407301A4 (zh)
CN (1) CN106993152B (zh)
WO (1) WO2017124663A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109511004B (zh) * 2017-09-14 2023-09-01 中兴通讯股份有限公司 一种视频处理方法及装置
CN110162899A (zh) * 2019-05-28 2019-08-23 禾多科技(北京)有限公司 场端激光雷达快速部署方法
CN111325824B (zh) * 2019-07-03 2023-10-10 杭州海康威视系统技术有限公司 图像数据展示方法、装置、电子设备及存储介质
CN112053446B (zh) * 2020-07-11 2024-02-02 南京国图信息产业有限公司 一种基于三维gis的实时监控视频与三维场景融合方法
CN111985112B (zh) * 2020-08-27 2024-01-30 宝武集团鄂城钢铁有限公司 一种基于Unity3D的高炉数字孪生系统
CN115086575B (zh) * 2022-08-16 2022-11-29 之江实验室 一种基于无人车远程驾驶的视频画面拼接方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101931790A (zh) * 2009-06-23 2010-12-29 北京航天长峰科技工业集团有限公司 一种三维视频监控方法及系统
CN101951502A (zh) * 2010-10-19 2011-01-19 北京硅盾安全技术有限公司 一种三维智能视频监控方法
CN102368810A (zh) * 2011-09-19 2012-03-07 长安大学 一种半自动化对齐的视频融合系统和方法
CN102457711A (zh) * 2010-10-27 2012-05-16 鸿富锦精密工业(深圳)有限公司 三维数字影像监控系统及方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6208347B1 (en) * 1997-06-23 2001-03-27 Real-Time Geometry Corporation System and method for computer modeling of 3D objects and 2D images by mesh constructions that incorporate non-spatial data such as color or texture
EP1297691A2 (en) * 2000-03-07 2003-04-02 Sarnoff Corporation Camera pose estimation
WO2004042662A1 (en) * 2002-10-15 2004-05-21 University Of Southern California Augmented virtual environments
US7542034B2 (en) * 2004-09-23 2009-06-02 Conversion Works, Inc. System and method for processing video images
US8675951B2 (en) * 2007-05-11 2014-03-18 Three Pixels Wide Pty Ltd. Method and system for generating a 3D model
US8842163B2 (en) * 2011-06-07 2014-09-23 International Business Machines Corporation Estimation of object properties in 3D world
US10127722B2 (en) * 2015-06-30 2018-11-13 Matterport, Inc. Mobile capture visualization incorporating three-dimensional and two-dimensional imagery
US20140192050A1 (en) * 2012-10-05 2014-07-10 University Of Southern California Three-dimensional point processing and model generation
US9135750B2 (en) * 2013-03-05 2015-09-15 Autodesk, Inc. Technique for filling holes in a three-dimensional model
EP3108330B1 (en) * 2014-02-17 2021-10-20 Apple Inc. Method and device for detecting a touch between a first object and a second object
CN104539875A (zh) * 2014-09-05 2015-04-22 王学魁 一种视频监控方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101931790A (zh) * 2009-06-23 2010-12-29 北京航天长峰科技工业集团有限公司 一种三维视频监控方法及系统
CN101951502A (zh) * 2010-10-19 2011-01-19 北京硅盾安全技术有限公司 一种三维智能视频监控方法
CN102457711A (zh) * 2010-10-27 2012-05-16 鸿富锦精密工业(深圳)有限公司 三维数字影像监控系统及方法
CN102368810A (zh) * 2011-09-19 2012-03-07 长安大学 一种半自动化对齐的视频融合系统和方法

Also Published As

Publication number Publication date
WO2017124663A1 (zh) 2017-07-27
EP3407301A1 (en) 2018-11-28
US20190058875A1 (en) 2019-02-21
EP3407301A4 (en) 2019-01-16
CN106993152A (zh) 2017-07-28

Similar Documents

Publication Publication Date Title
CN106993152B (zh) 三维监控系统及其快速部署方法
Fan et al. Heterogeneous information fusion and visualization for a large-scale intelligent video surveillance system
CN109345556B (zh) 用于混合现实的神经网络前景分离
CN102741879B (zh) 由单眼图像产生深度图的方法及其系统
CN109737974A (zh) 一种3d导航语义地图更新方法、装置及设备
CN109727264A (zh) 图像生成方法、神经网络的训练方法、装置和电子设备
CN103945134B (zh) 一种照片的拍摄和查看方法及其终端
Chen et al. Personalized production of basketball videos from multi-sensored data under limited display resolution
CN109816745A (zh) 人体热力图展示方法及相关产品
CN107846623B (zh) 一种视频联动方法和系统
CN109242976A (zh) 一种基于WebGL虚拟现实自动旋转展示的方法
CN110084797B (zh) 平面检测方法、装置、电子设备和存储介质
CN109191498B (zh) 基于动态记忆和运动感知的目标检测方法及系统
EP2159756B1 (en) Point-cloud clip filter
CN106327454A (zh) 合成图像的方法和装置
EP3062506A1 (en) Image switching method and apparatus
Jian et al. Augmented virtual environment: fusion of real-time video and 3D models in the digital earth system
CN109716386A (zh) 利用多个相机获得最佳球形影像的方法
CN106228588A (zh) 基于大数据的图形热点创建方法及装置
CN106791629A (zh) 一种基于ar虚拟现实技术的楼房建造设计系统
CN111898622A (zh) 信息处理、信息显示与模型训练方法、系统及设备
CN108140401B (zh) 访问视频片段
CN104935866A (zh) 实现视频会议的方法、合成设备和系统
CN115393532B (zh) 脸部绑定方法、装置、设备及存储介质
CN114998686A (zh) 烟雾检测模型构建方法、装置、设备、介质及检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant