CN103260015B - 基于RGB-Depth摄像头的三维可视监控系统 - Google Patents

基于RGB-Depth摄像头的三维可视监控系统 Download PDF

Info

Publication number
CN103260015B
CN103260015B CN201310215123.2A CN201310215123A CN103260015B CN 103260015 B CN103260015 B CN 103260015B CN 201310215123 A CN201310215123 A CN 201310215123A CN 103260015 B CN103260015 B CN 103260015B
Authority
CN
China
Prior art keywords
dimensional
camera
rgb
scene
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310215123.2A
Other languages
English (en)
Other versions
CN103260015A (zh
Inventor
程志全
陈寅
党岗
赖超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201310215123.2A priority Critical patent/CN103260015B/zh
Publication of CN103260015A publication Critical patent/CN103260015A/zh
Application granted granted Critical
Publication of CN103260015B publication Critical patent/CN103260015B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Alarm Systems (AREA)

Abstract

本发明涉及了基于新型RGB-Depth摄像头的三维可视监控系统。采用RGB-Depth摄像头,利用静态三维模型重建及动态人员复原方法,重现了监控场所的三维场景信息,用户可以在任意视角下观看高度仿真的三维虚拟场景。该三维场景中不仅包括静态三维模型,还包括活动人员等的动态三维模型。其组成部分包括:RGB-Depth摄像头等数据获取设备、获取数据的客户端计算节点、网络通信平台、信息综合集成服务平台、三维虚拟场景的展示平台。具体实施步骤包括:重建静态三维可视场景、配置RGB-Depth等摄像头、搭建三维可视监控系统、生成进入监控区域活动人员的三维模板、在线生成监控区域内人员的动态三维模型、实时展示三维可视监控场景、智能监控服务。<!--1-->

Description

基于RGB-Depth摄像头的三维可视监控系统
技术领域
本发明隶属于一般的图像数据处理领域,关注的是新一代的三维可视监控问题,涉及的是基于新型RGB-Depth摄像头,构建监控区域的三维虚拟场景和交互式展示方法。
背景技术
三维可视监控是一般的图像数据处理领域的一个重要问题,是安防监控的关键技术,是平安城市、军队和司法等重点区域安防等诸多应用问题的基础。
在三维可视监控中,针对每一个检测场景,用户都可以相应设定一个以摄像头视角观看的、高度仿真的三维虚拟场景。该三维场景中不仅包括监控区域中建筑物和相关设施的静态三维模型,还包括该区域内活动人员等的动态三维模型。
本发明进一步推进了安防监控技术的发展。从第一代监控摄像头发展到现在,摄像头取得了巨大的发展,从黑白到彩色,从普通枪机到一体机,宽动态,低照度、分辨率、信噪比等技术指标迅速提升。伴随着监控摄像头的发展,监控也历经了以下发展阶段:
第一阶段:上世纪七十年代末到九十年代中期,这个阶段以闭路电视监控系统(CCTV)为主,也就是第一代模拟电视监控系统。第一代的以VCR(VideoCassetteRecorders)即盒式磁带录像机。
第二阶段:九十年代中期至九十年代末,以基于PC机插卡式的视频监控系统为主,此阶段也被业内人士称为半数字时代。其传输媒介依然是视频线缆。由多媒体控制主机或硬盘录像主机(DVR)进行数字处理与存贮。此阶段的应用也多限于对安全程度要求较高的场所。第二代的以DVR(DigitalVideoRecorder)即数字视频录像机,取代传统的盒式磁带而用采用硬盘录像,故常常被称为硬盘录像机。
第三阶段:九十年代末后,以嵌入式技术为依托,以网络、通信技术为平台,以智能图像分析为特色的网络视频监控系统为主,自此,网络视频监控的发展也进入了数字时代,即第三代——网络化视频监视系统,又称为IP监视系统。
2010年后,随着国际首款通用的深度视频摄像头(如微软kinect)的进入市场,深度摄像头吸引越来越多人的目光。与传统摄像头相比,深度摄像头提供了立体信息,捕获了深度信息,解决了2D摄像头因投影变换导致的三维维度丢失的问题;此外,在深度视频中,光照的影响更小。新型深度摄像头由一个标准RGB摄像头和一个红外摄像头一起工作,为三维场景提供一张深度图。基于该深度图,研究人员实现了更稳定的、无标记点的人体实时追踪,对极富挑战的安防监控问题提供了新型的解决方案。
基于本发明使用了新型的深度视频摄像头的事实,本发明将自身称之为基于RGB-Depth摄像头的新一代三维可视监控。
通过三维可视技术,用户能在安防管理平台看到三维虚拟场景。三维可视监控具有传统二维所不能提供的功能:1)基于三维虚拟场景,结合每个子区域的实时分析数据进行全局实时计算,进行动态物体跟踪、姿态分析等;2)基于三维虚拟场景,通过分析摄像头(多重)覆盖范围,可计算整个监控空间的状态,在整个监控空间中进行信息的存储、检索和控制。例如,进行移动物体的类别识别与分析、区域边界监控(任意实际边界或虚拟边界)。
根据专利文献检索,与本发明相关的有欧洲专利EP2469300A1与EP2549431A1、中国专利申请号201010511413。专利EP2469300A1与201010511413使用的依旧是传统的二维RGB摄像头,本发明则采用了最新的RGB-Depth摄像头;专利EP2549431A1使用了新型的三维摄像头,但其工作目的是发明出用于监控的三维摄像头。更重要的是,上述工作均没有实现包含监控区域内活动人员的三维虚拟场景。因此,尚未见到基于RGB-Depth摄像头的新一代三维可视监控的有关报道。
发明内容
本发明解决的技术问题是:基于新型RGB-Depth摄像头,重现监控区域内静态和动态对象(如人员)的三维虚拟场景,构建新一代三维可视监控系统。
本发明采用RGB-Depth摄像头,利用静态三维模型重建及动态人员复原方法,重现了监控场所的三维场景信息。其组成部分(组成结构图见图1)包括:RGB-Depth摄像头数据获取设备、获取数据的客户端计算节点、网络通信平台、信息综合集成服务平台、三维虚拟场景的展示平台。
信息综合集成服务平台是三维可视监控系统的最关键组成部分。它面向多源监控设备所获取的数据,实现对多类型、多模式的数据获取设备的任务规划、对所获取的数据资源进行整合、综合处理与提取分析、产品加工与验证、集成与服务、模拟分析与仿真。从而,提供有效监控信息提取与模拟分析等支撑服务,满足各类用户对各种监控机理模型、共性产品、辅助信息以及技术集成服务的需求。信息综合集成服务平台包括自动处理和交互判读两种工作模式(图2):采用人工智能等技术进行自动化、智能化的监控信息识别、提取、分析、危险性评估等监控信息提取和分析工作,并结合3D技术、交互技术、协同判读环境等技术开展的人工判读工作,提高监控信息提取的效率和精度,增强对监控状态的动态变化、异常变化、危险性评估等方面的分析。完成从安防监控数据里提取安防信息,为安防提供及时、可靠、有效的信息,以及对安防进行危险性评价的任务。
三维虚拟场景的展示平台构建高度真实感的虚拟环境,将重建出的监控区域的三维虚拟场景显示出来。用户借助必要的设备以自然的方式与虚拟环境中的对象进行交互作用、相互影响,实现预期的安防监控目标。
有益效果:本发明公开了基于RGB-Depth摄像头的新一代三维可视监控系统。与已有方法相比,本发明具有显著优点。三维可视处理是将物理场所、现场监控数据和其他相关信息综合模拟,建立安防监控现场三维虚拟场景,通过渲染以三维模型方式显示。它对安防现状、事故变化、事故处理方案制定等的分析解释具有直观、易于理解和交流的特性。使得相关专家在三维虚拟环境中开展指挥协调、判读解译、分析评估等工作,给安防监控工作带来了很大的便利。从而有效进行事前预警,事中处理,事后及时取证的全自动、全天候、实时监控的智能系统。此外,在进行安防模拟实验时,采用三维可视仿真模拟实验,可有效控制实验参数,从而改善实验结果,优化配置。
附图说明:
图1为本发明提出的三维可视监控系统组成结构图,
图2为本发明提出的三维可视监控系统中信息综合集成服务平台的工作模式描述图,
图3为本发明的工作流程图。
具体实施方式:
图3为本发明的工作流程图,如图所示,本发明的具体实施方式包括以下步骤:
步骤1:重建静态三维可视场景。对于建筑物和相关设施等静态对象,利用三维激光扫描系统(如莱卡扫描仪),密集地记录目标场所内静态对象的表面三维坐标、反射率和纹理信息,对监控区域进行真实的三维记录。并利用相关的可用图像和信息辅助静态模型的创建。从而,构建静态三维可视场景。
步骤2:配置RGB-Depth等摄像头。根据RGB-Depth等摄像头的功能参数,在监控区域合理配置摄像头的位置和姿态,使得所有摄像头的监控范围求并后能覆盖监控区域;进而,完成多个摄像头的标定,建立各摄像头监控范围的坐标与监控区域坐标间的变换关系。
对于多个RGB-Depth摄像头,通过几何注册方法完成相机的标定。该方法使用厚度忽略不计的褶皱表面,多个RGB-Depth使用各自获取的深度点云,通过几何注册方法将点云注册在一起,完成相机标定。
下面以两个相机A和B为例(其所获取的深度点云分别为a和b),说明如何完成几何注册变换参数(R,T)的求解。其中,R为旋转矩阵,T为平移向量。该求解方程f如下:
f(pi)=Rpi+T
上式中,pi为a内的顶点,f(pi)则为b中pi的对应点。
(R,T)含有6个变量,3个对应于R,3个对应于T。任何不共面的三个顶点即可求解出一个(R,T)候选值。深度点云a和b有最近对应关系的顶点对数目不会低于1000个。从而,通过选举机制,可从众多候选(R,T)中选举出最优化的(R,T)。进而,求解出几何注册的参数(R,T),完成相机A和相机B的几何注册。
以此类推,便可完成多个RGB-Depth相机的几何注册。
步骤3:搭建三维可视监控系统。完成客户端计算节点、网络通信平台、信息综合集成服务平台、三维虚拟场景的展示平台等的搭建和调试工作。
步骤4:生成进入监控区域活动人员的三维模板。在监控区域的入口处,搭建三维人体的扫描系统,迅速捕获并重建出进入监控区域的人员的三维模板。
步骤5:在线生成监控区域内人员的动态三维模型。通过客户端计算节点、网络通信平台、信息综合集成服务平台的综合作用,在信息综合集成服务平台中,利用人体参数化模型,基于RGB-depth摄像头捕获的三维数据,实时重建出监控区域内人员的动态三维模型。
步骤6:实时展示三维可视监控场景。在三维虚拟场景的展示平台上显示信息综合集成服务平台所生成的三维可视监控虚拟场景。
步骤7:智能监控服务。借助信息综合集成服务平台的数据处理能力,过滤掉三维监控场景中无用的或干扰信息、自动跟踪和识别不同物体,分析抽取获取数据中关键有用信息,快速准确的定位事故现场,判断三维监控场景中的异常情况,并以最快和最佳的方式发出警报或触发其它动作,从而有效进行事前预警,事中处理,事后及时取证的智能监控服务。

Claims (1)

1.基于RGB-Depth摄像头的三维可视监控系统,采用RGB-Depth摄像头,利用静态三维模型重建及动态人员复原方法,重现监控场所的三维场景信息,系统包括RGB-Depth摄像头数据获取设备、获取数据的客户端计算节点、网络通信平台、信息综合集成服务平台、三维虚拟场景的展示平台,其特征在于:构建三维可视监控系统包括以下步骤:
步骤1:重建静态三维可视场景,对于建筑物和相关设施静态对象,利用三维激光扫描系统,密集地记录目标场所内静态对象的表面三维坐标、反射率和纹理信息,对监控区域进行真实的三维记录,利用可用图像和信息创建静态模型,构建静态三维可视场景;
步骤2:配置RGB-Depth摄像头,根据RGB-Depth摄像头的功能参数,在监控区域配置摄像头的位置和姿态,使得所有摄像头的监控范围求并后能覆盖监控区域;完成多个摄像头的标定,建立各摄像头监控范围的坐标与监控区域坐标间的变换关系;
步骤3:搭建三维可视监控系统,完成客户端计算节点、网络通信平台、信息综合集成服务平台、三维虚拟场景的展示平台的搭建和调试工作;
步骤4:生成进入监控区域活动人员的三维模板,在监控区域的入口处,搭建三维人体的扫描系统,迅速捕获并重建出进入监控区域的人员的三维模板;
步骤5:在线生成监控区域内人员的动态三维模型,通过客户端计算节点、网络通信平台、信息综合集成服务平台的综合作用,在信息综合集成服务平台中,利用人体参数化模型,基于RGB-depth摄像头捕获的三维数据,实时重建出监控区域内人员的动态三维模型;
步骤6:实时展示三维可视监控场景,在三维虚拟场景的展示平台上显示信息综合集成服务平台所生成的三维可视监控虚拟场景;
步骤7:智能监控服务,借助信息综合集成服务平台的数据处理能力,过滤掉三维监控场景中无用的或干扰信息、自动跟踪和识别不同物体,分析抽取获取数据中关键有用信息,定位事故现场,判断三维监控场景中的异常情况,以发出警报或触发其它动作,从而有效进行事前预警,事中处理,事后及时取证的智能监控服务;
所述多个摄像头的标定采用几何注册方法完成,具体为:
使用厚度忽略不计的褶皱表面,多个RGB-Depth摄像头使用各自获取的深度点云,通过几何注册方法将点云注册在一起,完成摄像头标定;
以两个摄像头A和B为例,其所获取的深度点云分别为a和b,完成几何注册变换参数(R,T)的求解过程为:其中,R为旋转矩阵,T为平移向量,求解方程f如下:
上式中,p i 为a内的顶点,f(p i )则为b中p i 的对应点,
参数(R,T)含有6个变量,3个对应于R,3个对应于T,任何不共面的三个顶点即可求解出一个参数(R,T)候选值,深度点云a和b有最近对应关系的顶点对数目不会低于1000个,通过选举机制,从众多候选参数(R,T)中选举出最优化的参数(R,T),然后,求解出几何注册的参数(R,T),完成摄像头A和摄像头B的几何注册,
以此类推,完成多个RGB-Depth摄像头的几何注册。
CN201310215123.2A 2013-06-03 2013-06-03 基于RGB-Depth摄像头的三维可视监控系统 Active CN103260015B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310215123.2A CN103260015B (zh) 2013-06-03 2013-06-03 基于RGB-Depth摄像头的三维可视监控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310215123.2A CN103260015B (zh) 2013-06-03 2013-06-03 基于RGB-Depth摄像头的三维可视监控系统

Publications (2)

Publication Number Publication Date
CN103260015A CN103260015A (zh) 2013-08-21
CN103260015B true CN103260015B (zh) 2016-02-24

Family

ID=48963681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310215123.2A Active CN103260015B (zh) 2013-06-03 2013-06-03 基于RGB-Depth摄像头的三维可视监控系统

Country Status (1)

Country Link
CN (1) CN103260015B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473530B (zh) * 2013-08-30 2016-06-15 天津理工大学 基于多视图和多模态特征的自适应动作识别方法
DE102014102773A1 (de) * 2014-03-03 2015-09-03 De-Sta-Co Europe Gmbh Verfahren zur Wiedergabe eines Fertigungsprozesses in einer virtuellen Umgebung
US20160379405A1 (en) 2015-06-26 2016-12-29 Jim S Baca Technologies for generating computer models, devices, systems, and methods utilizing the same
CN105072433B (zh) * 2015-08-21 2017-03-22 山东师范大学 应用于头跟踪虚拟现实系统的感知深度映射方法
US20170092000A1 (en) * 2015-09-25 2017-03-30 Moshe Schwimmer Method and system for positioning a virtual object in a virtual simulation environment
CN105678211A (zh) * 2015-12-03 2016-06-15 广西理工职业技术学院 一种人体动态特征的智能识别系统
CN107093171B (zh) * 2016-02-18 2021-04-30 腾讯科技(深圳)有限公司 一种图像处理方法及装置、系统
CN106373173A (zh) * 2016-08-31 2017-02-01 北京首钢自动化信息技术有限公司 一种监控方法及系统
CN106412559B (zh) * 2016-09-21 2018-08-07 北京物语科技有限公司 全视觉摄像装置
CN108616718B (zh) * 2016-12-13 2021-02-26 杭州海康威视系统技术有限公司 监控显示方法、装置及系统
CN108337470B (zh) * 2017-01-20 2020-11-17 菜鸟智能物流控股有限公司 一种监控平台及其信息处理方法、装置
CN108733200A (zh) * 2017-04-18 2018-11-02 芦伟杰 一种ar屏幕体感控制权分配方法
CN107516341A (zh) * 2017-08-17 2017-12-26 同济大学 基于ar的建筑风环境可视化方法
CN108810517A (zh) * 2018-07-05 2018-11-13 盎锐(上海)信息科技有限公司 具有监控功能的影像处理装置及方法
CN112396663B (zh) * 2020-11-17 2021-09-14 南方电网电力科技股份有限公司 一种多深度相机的可视化标定方法、装置、设备和介质
CN113256802A (zh) * 2021-06-17 2021-08-13 中山大学 一种建筑物的虚拟三维重建及场景创建方法
CN115396635A (zh) * 2022-08-26 2022-11-25 王六森 一种图像采集方法、装置、服务器及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101951502A (zh) * 2010-10-19 2011-01-19 北京硅盾安全技术有限公司 一种三维智能视频监控方法
CN102036054A (zh) * 2010-10-19 2011-04-27 北京硅盾安全技术有限公司 一种基于三维虚拟场景的智能视频监控系统
CN103106688A (zh) * 2013-02-20 2013-05-15 北京工业大学 基于双层配准方法的室内三维场景重建方法
CN103136899A (zh) * 2013-01-23 2013-06-05 宁凯 基于Kinect体感设备的智能报警监控方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101951502A (zh) * 2010-10-19 2011-01-19 北京硅盾安全技术有限公司 一种三维智能视频监控方法
CN102036054A (zh) * 2010-10-19 2011-04-27 北京硅盾安全技术有限公司 一种基于三维虚拟场景的智能视频监控系统
CN103136899A (zh) * 2013-01-23 2013-06-05 宁凯 基于Kinect体感设备的智能报警监控方法
CN103106688A (zh) * 2013-02-20 2013-05-15 北京工业大学 基于双层配准方法的室内三维场景重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Scanning 3D Full Human Bodies using Kinects;Jing Tong et al;《IEEE Transactions on Visualization and Computer Graphics》;20120331;第18卷(第4期);第三页第一栏 *

Also Published As

Publication number Publication date
CN103260015A (zh) 2013-08-21

Similar Documents

Publication Publication Date Title
CN103260015B (zh) 基于RGB-Depth摄像头的三维可视监控系统
CN108154550B (zh) 基于rgbd相机的人脸实时三维重建方法
CN110458895A (zh) 图像坐标系的转换方法、装置、设备及存储介质
US8165348B2 (en) Detecting objects crossing a virtual boundary line
CN109076198A (zh) 基于视频的对象跟踪遮挡检测系统、过程和设备
CN101610425B (zh) 一种评测立体图像质量的方法和装置
CN110458897A (zh) 多摄像头自动标定方法及系统、监控方法及系统
CN102945563A (zh) 一种全景视频的展示与交互系统及方法
CN102932638B (zh) 基于计算机建模的3d视频监控方法
AU2022215283B2 (en) A method of training a machine learning algorithm to identify objects or activities in video surveillance data
CN109740444A (zh) 人流量信息展示方法及相关产品
CN110070622A (zh) 一种基于ar技术的图书馆应用系统及使用方法
CN114202819A (zh) 一种基于机器人的变电站巡检方法、系统及计算机
CN109977856A (zh) 一种多源视频中复杂行为识别的方法
Qiu et al. A data encryption and fast transmission algorithm based on surveillance video
Liu et al. Study on multi-view video based on IOT and its application in intelligent security system
Pozo et al. 3D reconstruction technologies for using in dangerous environments with lack of light: a comparative analysis
Zhang et al. Research on Big Data Intelligent Analysis Method and Key Technologies for the Management of Main Equipment in Power Grid Transmission and Transformation Based on Digital Twin Technology
Velardo et al. Synthetic and privacy-preserving visualization of video sensor network outputs
KR101850134B1 (ko) 3차원 동작 모델 생성 방법 및 장치
CN213126248U (zh) 一种地铁车辆段施工现场与bim场景智能交互系统
Aramvith et al. Video processing and analysis for surveillance applications
Tong et al. Human positioning based on probabilistic occupancy map
Decamps et al. An implementation science effort in a heterogenous edge computing platform to support a case study of a virtual scenario application
CN110879964A (zh) 一种基于三维地理信息的大场景密度分析系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180524

Address after: 412000 A6-3-103, Pioneer Park, 128, Chuang Yi Road, Tianyuan District, Zhuzhou, Hunan

Patentee after: Zhuzhou avatar science and Technology Co.,Ltd.

Address before: 410073 Deya Road, Kaifu District, Changsha, Hunan Province, No. 698

Patentee before: Cheng Zhiquan

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210224

Address after: Room 609, 6th Floor, South 1 Building, Dongbei Wangcun, Haidian District, Beijing

Patentee after: China Telecom Puxin (Beijing) Technology Development Co.,Ltd.

Address before: 412000 A6-3-103, Pioneer Park, 128, Chuang Yi Road, Tianyuan District, Zhuzhou, Hunan

Patentee before: Zhuzhou avatar science and Technology Co.,Ltd.

TR01 Transfer of patent right

Effective date of registration: 20241011

Address after: 410073 Hunan province Changsha Kaifu District, Deya Road No. 109

Patentee after: National University of Defense Technology

Country or region after: China

Address before: Room 609, 6th Floor, South 1 Building, Dongbei Wangcun, Haidian District, Beijing

Patentee before: China Telecom Puxin (Beijing) Technology Development Co.,Ltd.

Country or region before: China