CN112053391B - 一种基于动态三维模型的监控预警方法、系统及存储介质 - Google Patents
一种基于动态三维模型的监控预警方法、系统及存储介质 Download PDFInfo
- Publication number
- CN112053391B CN112053391B CN202010955445.0A CN202010955445A CN112053391B CN 112053391 B CN112053391 B CN 112053391B CN 202010955445 A CN202010955445 A CN 202010955445A CN 112053391 B CN112053391 B CN 112053391B
- Authority
- CN
- China
- Prior art keywords
- dynamic
- dimensional model
- module
- dimensional
- abnormal event
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000002159 abnormal effect Effects 0.000 claims abstract description 111
- 230000003068 static effect Effects 0.000 claims abstract description 65
- 238000004891 communication Methods 0.000 claims abstract description 11
- 239000013598 vector Substances 0.000 claims description 20
- 238000007781 pre-processing Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 description 17
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 235000002566 Capsicum Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Architecture (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于动态三维模型的监控预警方法、系统及存储介质。其方法为：S1将复杂场景划分为多个区域；S2建立每个区域的静态三维模型；S3形成各区域的动态三维模型；S4判断识别各动态三维模型的异常事件；S5启动预警以及纪录异常事件的发生信息；S6将异常事件发生信息发送至监控服务器。其系统包括有：图像获取及划分模块、区域三维重构模快、异常事件识别模块、预警及信息回溯模块、显示模块及通信模块；还涉及了可执行其方法及系统的计算机存储介质，本发明能够实现对复杂场景连续及大范围监控，系统自行依据其内设置的异常事件识别模块对监控区域内是否发生异常事件进行识别，工作人员同步启动应急预案。
Description
本发明涉及监控技术领域，特别涉及一种基于动态三维模型的监控预警方法、系统及存储介质。
背景技术
监控系统是安防系统中应用最多的系统之一，传统的复杂场景视频监控系统采用在多个监控点安装摄像头，并对监控区域中不同方位以及视角的场景图像进行实时的采集，并传输至监控室。监控员在监控室中通过多个独立的监控窗口实现对复杂场景中的不同监控点的异常情况进行实时的监控。
此种监控方式中监控画面彼此相互孤立不具有关联性，且由于摄像头监控的视角有限，无法得到完整全面的图像画面信息及视域内清晰的视觉特征信息，一旦监控区域内出现异常事件，则监控人员无法通过零散的视频画面对异常事件当前呈现的实际状况或视觉特征进行有效识别、对发生异常事件的实际地理位置进行有效的定位以及对异常事件视频进行的快速回溯，大幅地影响专业人员对异常事件的处理效率及对处理该异常事件的人员的安排和调度，进而会引发严重的后果。
上述公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
发明内容
为解决背景技术中的技术问题，本发明提供一种基于动态三维模型的监控预警方法、系统及存储介质。
本发明提供的一种基于动态三维模型的监控预警方法，包括下列步骤：
S1将复杂场景划分为多个区域，通过图像采集模块获得每个区域的多组静态图像及视频流；
S2针对每个区域分别进行三维建模，获得每个区域的静态三维模型；
S3将各区域的视频流与各区域的静态三维模型进行配准拼接，形成各区域的动态三维模型；
S4针对各区域的动态三维模型进行异常事件判断识别；
S5当检测到异常事件发生，则启动预警以及纪录异常事件的发生信息；
S6将异常事件发生信息发送至监控服务器。
优选地，上述技术方案中，步骤S2中进一步包括：
S21对图像采集模块进行标定及对采集的多组图像进行预处理；
S22将经预处理后的多组图像输入三维深度估计模型进行训练；
S23利用损失函数对三维深度估计模型进行优化；
S24基于三维深度估计模型结合相机位姿优化算法建立各区域对应的静态三维模型。
优选地，上述技术方案中，步骤S3中将视频流与静态三维模型进行配准拼接有两种方式，一种为：将各区域的视频流进行预处理，通过图像采集模块内置的视频定位模块与各区域三维静态模型配准拼接，形成动态三维模型。
另一种为将各区域视频流进行预处理，通过构建关键帧空间定位算法对经预处理后的各区域视频流与各区域静态三维模型进行配准，利用动态拼接算法将配准后的各区域视频流与各区与三维静态模型进行拼接融合，形成动态三维模型；并对动态三维模型中遮挡区域进行优化处理。
优选地，上述技术方案中，步骤S4中对异常事件判断识别包含通过构建异常事件识别算法对各区域动态三维模型的视频流进行异常事件识别运算，并建立异常事件识别模型。
优选地，上述技术方案中，步骤S4进一步包含：
S41获取任一区域视频流，并进行解码及提取关键帧；
S42构建关键帧掩膜模板，结合特征提取算法计算得到目标特征矢量集；
S43利用多源动态信息融合算法，结合目标特征矢量集，计算目标特征参数及构建异常事件识别判据；
S44利用目标特征参数，结合异常事件识别判据，训练异常事件识别模型，使异常事件识别模型针对所监控的各动态三维模型中出现的异常事件进行分类识别。
优选地，上述技术方案中，步骤S5中异常事件发生信息包括：当监控系统检测到异常事件发生，自动完成对发生异常事件视频流的撷取和存储，以及获取到拍摄异常事件视频的图像采集模块的属性信息。
本发明还提供一种基于动态三维模型的监控预警系统，其特征在于，包括图像获取及划分模块、区域三维重构模快、异常事件识别模块、预警及信息回溯模块、显示模块及通信模块；
图像获取及划分模块，用于对复杂场景进行区域划分，以及获取及存储各区域的静态图像及视频流；
区域三维重构模块，用于构建融合视频流的各区域动态三维模型；
异常事件识别模块，用于对各区域的动态三维模型中，是否出现异常事件进行判别；
预警及信息回溯模块，用于对异常事件发生时，启动预警机制，以及将异常事件信息回传至监控中心；
显示模块，用于对各区域动态三维模型用网格化排布及终端显示，或者用于对各区域动态三维模型采用单点排布及终端显示；
通信模块，用于各模块间的通信连接。
优选地，上述技术方案中，区域三维重构模块包括：
预处理模块，用于对图像获取及划分模块进行参数标定，以及对静态图像及视频流进行图像处理；
三维建模模块，用于建立各区域静态三维模型；
视频流拼接模块，用于对各区域视频流与各区域静态三维模型配准拼接，已形成动态三维模型。
优选地，上述技术方案中，异常事件识别模块包括：
异常事件判别模块，用于构建异常事件识别判据，对各区域动态三维模型中是否出现异常事件进行判别；
异常信息定位模块，用于回传异常事件发生地理位置信息。
与现有技术相比，本发明具有如下有益效果：本发明提供的一种基于动态三维模型的监控预警方法、系统及存储介质，能够实现对复杂场景的连续及大范围的监控，系统自行依据其内设置的异常事件识别算法对监控区域内是否发生异常事件进行识别，并将异常事件视频图像进行截取保存以及自动获取异常事件发生的地理位置坐标，将上述信息回传至监控中心，工作人员可依据回传的信息启动应急预案。本发明提供的技术方案增强了监控的现场感及空间位置感，扩展了监控范围可大幅提高工作人员的决策效率。
附图说明
图1是本发明一种基于动态三维模型的监控预警方法的控制流程图；
图2是本发明一实施例获得静态三维模型图的方法流程图；
图3是本发明一实施例获得多个静态三维模型的方法流程图；
图4是本发明一实施例对异常事件判断识别的方法流程图；
图5是本发明一实施例计算目标特征参数及构建异常事件识别判据的方法流程图；
图6是本发明一种基于动态三维模型的监控预警系统的原理框图；
图7是本发明一种基于动态三维的监控预警系统的另一种原理框图。
100-图像获取及划分模块，200-通信模块，300-区域三维重构模快，310-预处理模块，320-三维建模模块，330-视频流拼接模块，400-异常事件识别模块，410-异常事件判别模块，420-异常信息定位模块，500-预警及信息回溯模块，600-显示模块。
具体实施方式
下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。
实施例1
根据本发明提供的一种基于动态三维模型的监控预警方法，包括下列步骤：
如图1所示，步骤S1：将复杂场景划分为多个区域，通过图像采集模块获得每个区域的多组静态图像及视频流；
具体方法为将复杂场景划分为多个区域，并在每一个划分区域安装图像采集模块，利用图像采集模块获取及存储多组静态图像及视频流，完成采集后，将静态图像和视频流进行存储。优选的，在本实例中采用的球幕相机为八目球幕相机，该八目球幕相机由上下两组，每组包含四个鱼眼镜头，四个镜头分别采集四组静态图像拼接成一张360°全景图，八个镜头可以采集八组静态图像拼接成两张360°全景图。两组镜头采取上下相邻设置，四个中有可指定一个主摄像头用于采集视频流，三个辅摄像头用于采集静态场景图像。利用视差可以计算得到图像深度(类似于立体匹配)，用于后续计算相机位姿。
图像采集模块可以是一台球幕相机在不同区域进行图像采集或是同时通过多个不同球幕相机进行图像采集，如果是不同球幕相机，可以预先对采集的相机给予编号或加入监控区域属性，最后呈现在显示终端时可根据球幕相机编号位置进行排列。
此外在进行静态图像及视频流采集时，需要实时回传图像采集模块的属性信息，即图像采集模块对应的地理位置信息(ID)以及角度偏转信息等(即球幕相机ID对应的属性信息至少包括摄像头的GPS位置、滚动角、倾斜角和偏航角)，以便后续可以通过GPS定位将图像采集模块定位到欲监控中的对应该位置，并回传对应地理位置信息。
步骤S2：针对每个区域分别进行三维建模，获得每个区域的静态三维模型；
本发明中通过建立AI三维深度估计模型结合基于SFM的相机位姿优化算法实现各区域的静态三维模型的建立，具体步骤如下：
如图2所示，S21对图像采集模块进行标定及对采集的多组图像进行预处理；
建立球幕相机的参数自标定模型对相机的内参和外参进行标定，以此获得最优的相机位姿参数，并对相机标定过程进行BA优化。通过计算相机内参和外参的畸变系数，并结合畸变模型完成对静态图像的去畸变操作。
S22将经预处理后的多组图像输入三维深度估计模型进行训练；
(a)将球幕相机与深度相机固定设于空间中的同一相机位置，利用球幕相机获取至少一张二维静态图像，利用深度相机镜头获取至少一张三维图像。其中获取的二维静态图像包含二维信息，三维静态图像包含三维信息。
(b)利用三维深度估计模型是基于二维图像估计生成对应深度信息。具体为将采集得到的多张二维静态图像以及对应的多张三维图像作为输入，传输至AI三维深度估计模型中进行多次训练，至网络收敛后，使模型能够输出二维静态图像对应的深度信息。
S23利用损失函数对三维深度估计模型进行优化；
本发明中利用全卷积神经网络对AI三维深度估计模型进行训练，并包含跟踪高维回归问题的有效残留上采样模块。在AI三维深度估计模型进行训练过程中，随着网络层数的增加，会出现梯度消失或者梯度爆炸等现象，导致网络无法收敛。故本发明在全卷积神经网络的输入层加入残差学习模块ResNET50，并使用预训练的权值进行初始化。残差学习模块ResNET50后面连接卷积层和池化层。由于考虑到球幕相机拍摄图像拼接后得到的为一张360°球幕图像(全景图)，本发明中在卷积层中引入扩张卷积以此增大感受野(利用公式(1)实现对感受野进行调整)。
AIcon_dilate_after＝(dilate rate-1)*(AIcon_dilate_before-1)+AIcon_dilate_before (1)
通过公式(2)计算神经网络生成的深度图像与真实的图像深度图像的残差，并计算损失，再利用公式(3)计算AI三维深度估计模型的损失函数，优化模型网络权重，实现最大程度低减少神经网络损失，避免经模型估计得到的深度图出现模糊以及丢失较多物体轮廓信息等问题。并使用余弦退火来逐步降低学习率，使神经网络能够收敛到较好的优化点。
Edepth(p)＝||Dgt(p)-Dpred(p)|| (2)
其中，Eloss(p)是AI三维深度估计模型的总损失函数，Edepth(p)是真实深度图和预测图之间的损失，
为预测深度图上x和y方向的一阶导数的平方，为一个正则平滑项，αs和βs为两个约束项中间的权重系数。
需要说明的是ResNET残差学习模块能够有效解决由于神经网络层数增加而导致网络性能下降的问题。该种残差学习模块相当于在神经网络中加入了短路连接，通过跳过一层或多层网络的方式直接把输入信息传送至后面的层，简化了网络的学习目标。此外扩张卷积是在传统卷积层中加入了一个dilation rate系数，即对输入的二维静态图像以(dilation rate-1)进行间隔采样，以此增加了原始卷积核的感受野。
如图3所示，S24基于三维深度估计模型结合相机位姿优化算法建立各区域对应的静态三维模型。
具体方法为：
S241利用AI三维深度估计模型生成第一区域对应的稠密点云；
将图像采集装置采集的多个区域中的第一个区域的多组静态图像作为输入，传输至AI三维深度估计模型中进行训练，并输出该区域对应稠密点云；
S242计算相机精确位姿以及对不同空间点云进行位置分布；
利用SFM算法对相机位置进行精确的定位，使用ICP算法对稠密点云进行匹配对比，把属于不同空间的点云放在不同的位置；
S243对稠密点云进行标记；
利用距离和重投影的方式稠密点云进行去噪，并对稠密点云标记；
S244利用稠密点云生成可视空间；
以每个稠密点云为起点，以对应的球幕相机为终点做一条虚拟直线，多个虚拟直线经过的空间交织在一起，形成一个可视空间，将被射线包围的空间抠出来；
S245生成复杂场景中第一区域的三维模型；
基于图论最短路径的方式做闭合空间，最后将空间某一位置的球幕相机拍摄的二维全景照片贴到三维模型对应的位置上，即完成对复杂场景中第一个区域的三维建模；
S246重复上述步骤至完成复杂场中多个区域的三维建模，最终得到多个区域的静态三维模型。
需要说明的是，步骤S242中利用SFM对相机位置进行精确定位中，需要利用BA对相机位姿进行优化。
步骤S3将各区域的视频流与各区域的静态三维模型进行配准拼接，形成各区域的动态三维模型；
具体方法为，首先将得到的视频流进行预处理，因为视频是由一帧一帧的静态图像以时间为轴叠加而成，故首先将采集到的视频流进行解码得到多帧图像，由于相机拍摄位置、光照环境、相机本身会造成图像的畸变，因此需要对得到的多帧图像逐一进行图像预处理，即对图像进行几何校正和颜色校正，同时将经过预处理后的图像逐一展开。
其次，对待监控场景划分的第一个区域采集的视频流在对应的区域的静态三维模型中插入位置进行配准拼接；本申请采取两种视频流配准拼接方法：
方法一：将经过预处理后的视频流通过相机内置的视频流定位算法，自动实现与静态三维全景图中配准拼接。需要说明的是采用方式一完成视频流与静态三维全景图配准拼接，需要在静态图形及视频流采集阶段，采集多组真实场景的静态图像中，对应的视频采集点同步采集视频流。
方法二：自动提取视频流的关键帧，利用SFM算法估算出首帧的三维空间坐标，利用首帧的三维坐标信息得到其在对应区域三维模型中的二维像素信息，进行图像的正射投影，实现视频流与对应区域三维模型中拼接位置的点位定位。
进一步的，利用光流法实现对视频流与静态三维模型的拼接，由于视频图像序列中相邻的图像间的像素点的变化量极小，且光照在短暂的时间里可视为不会发生变化，因此本申请利用光流法的图像配准算法如公式(4)，实现视频流与静态三维模型的配准拼接。光流法可先对新传输的每一帧图像，寻找其上一帧图像的特征点在当前帧的位置。
其中，ρd(·)为确保估计的运动矢量符合光流法的模型，G1和G2为用于配准的两帧图像，μ和ν分别代表水平和垂直方向的分量，λ为正则化参数，ρs(·)为估计运动矢量矩阵的平滑约束，Δ(i,j)是图像中点(i,j)和其相邻点的差值。
需要说明的是，为了提高光流法图像配准的准确性，本发明中针对每一帧新传输的图像进行两次光流计算，若经过两次光流映射得到的其上一帧图像的特征点与原始特征点的误差小于系统设定的配准误差阈值，则将光流法成功跟踪的特征点，标记为当前帧的特征点。
利用光流法的优点在于可对图像进行逐帧回溯，即得到当前帧与其历史关键帧中提取的特征点间的匹配关系及获得匹配的特征点对，利用得到的特征点对计算每帧图像与其的历史关键帧间的单应性矩阵。单应性矩阵包含了图像间坐标变换的所有信息，因此可采用单应性矩阵作为图像拼接模型，完成视频流中各帧图像中关键帧间的配准，以及各帧图像中关键帧到静态三维模型的配准拼接，得到初步的动态三维模型。
需要说明的是，视频流的关键帧优选为视频流首帧。
在通过第二种实现视频流与静态三维模型的拼接融合后，需进一步对初步的动态三维模型中遮挡区域进行估计及优化，才能得到最终融合视频流的动态三维模型。由于视频流包含较多的时间冗余信息，因此视频流与静态三维模型进行拼接过程中会产生较多遮挡(即不存在匹配的像素点)，进而导致拼接后的图像中会出现“鬼影”等问题。因此本申请中利用基于流场能量函数的图像遮挡区域优化算法如公式(6)，对初步的动态三维模型进行优化，最终得到融合视频流的动态三维模型。
Eco *(v)＝∫η(|G2(x+v(z))-G1(x)|2)dx (7)
其中，
为遮挡因子，ν表示视频帧图像水平和垂直方向上的光流值(a，b)，η表示惩罚函数，ν(z)表示为z位置的光流值，
及β为调节参数。利用公式(8)-公式(10)分别计算光流场能量公式中包含的Eco *(v)、Egr *(v)以及Esm *(v)三个参数。
需要说明的是。本发明通过利用在光流场能量计算公式(5)中引入遮挡因子
以此实现对拼接视频流遮挡区域的优化操作。
将最终得到的融合视频流的动态三维模型输出至显示终端，并依据网格化排布的方式进行展示。
如图4所示，步骤S4针对各区域的动态三维模型进行异常事件判断识别；
具体方法为对异常事件判断识别包含通过构建异常事件识别算法对各区域动态三维模型的视频流进行异常事件识别运算，并建立异常事件识别模型。具体步骤如下：
S41获取任一区域视频流，并进行解码及提取关键帧；
(a)通过将视频流解析成视频帧图像，筛选带有前景目标即动态或运动目标的视频帧图像，并将其标注为关键帧，分别利用中值滤波和均值滤波的方式针对关键帧图像中的椒盐噪声以及高斯噪声进行降噪处理；
(b)利用基于EM算法的高斯混合模型对去噪后的关键帧突显进行前景检测，并利用RCB颜色模型进行阴影去除；
(c)通过二值形态学对初步得到了的图像进行去噪操作，即分别进行腐蚀、膨胀、开运算和闭运算，最终得到二值化关键帧前景图，即为前景目标的二值图像。
S42构建关键帧掩膜模板，结合特征提取算法计算得到目标特征矢量集；
(a)基于S41中得到的前景目标的二值图像作为二值化掩膜模板，利用Shi-Tomasi算法实现对每一帧视频图像的角点特征的检测及提取，并得到前景目标的角点特征坐标集；
(b)利用LK光流法对前景目标的角点特征坐标集中的前景目标角点特征进行光流计算，得到前景目标特征的光流矢量集，作为后续构建异常事件识别判据的计算基础。
需要说明的是本发明中光流矢量即为前景目标的运动矢量。
S43利用多源动态信息融合算法，结合所述目标特征矢量集，计算目标特征参数及构建异常事件识别判据。
本发明中通过利用运动矢量动能、运动方向信息熵以及相邻视频帧互信息量三个特征构建异常事件识别判据，具体步骤如下：
如图5所示，S431计算前景目标的运动矢量的平均动能，作为视频图像中前景动态目标的运动剧烈程度的评判指标。
S432计算前景目标的运动方向信息熵。
利用公式(9)计算前景目标的运动方向信息熵，作为视频图像中前景动态目标的运动方向的分散性，即混乱程度。
其中，p(xi)为事件发生的概率分布p(xi)＝w(xi)/m，0＜i＜n，m是每帧图像中运动矢量总数。w(xi)＝{qi，0＜i＜n}为某帧图像的运动矢量方向直方图，其中n代表直方条数量，qi表示第i条对应某一方向运动矢量数量。
S433计算相邻视频帧信息量；
利用公式(10)计算相邻视频帧信息量，作为视频图像中运动模式突变特征。
需要说明的是，互信息量的提出依据的是信息论中的交互信息相似性准则，可以用来描述两幅图像运动矢量场之间的相似程度。
S434构建异常事件识别模型。
利用步骤S431、S432、S433分别计算正常视频帧以及异常视频帧对应的前景目标运动特征参数，即,前景目标的平均运动矢量动能、运动方向信息熵以及相邻视频帧互信息量)，将计算的到的正常运动特征参数异常特征参数作为输入，传输至异常事件识别模型中对上述特征参数进行训练，用于系统针对视频流中异常事件的分类及识别。
需要说明的是，本发明中利用InceptionV4网络对异常事件识别模型进行训练。
需要说明的是，平均运动矢量动能用于表征视频图像中动态目标运动的剧烈程度，运动方向信息熵用于表征视频图像中动态目标运动方向的分散性，即混乱程度；相邻视频帧互信息量用于表征视频图像中运动模式突变特征。
S44利用正常及异常目标特征参数，结合异常事件识别判据，训练异常事件识别模型，使模型针对监控的各动态三维模型出现的异常事件进行分类识别。
步骤S5当检测到异常事件，则启动预警以及纪录所述异常事件的发生信息；
通过步骤S4中异常事件识别算法对多个区域动态三维模型进行监控，一旦检测到异常事件的发生系统自动截取异常事件视频图像，以及获取的异常事件发生地的地理位置信息。需要说明的是，异常事件视频图像截取具体实现过程为异常事件提取模块通过网络协议访问网络中心的服务器，根据图像采集模块的ID信息向服务器发起请求，服务器接收到请求向数据库查询该球幕相机ID对应的属性信息，将异常事件视频图像进行截取保存，同时将对应球幕相机对应的GPS信息，即异常事件发生地对应的地理位置信息，回传至给监控中心。
步骤S6将异常事件发生信息发送至监控服务器。
实施例2
本实施例的一种基于动态三维模型预警系统可采用实施例1中所提及的算法，因此，在本实施例中不再加以赘述。
如图6和图7所示，根据本发明提供的一种基于动态三维模型的监控预警系统，包括图像获取及划分模块100、区域三维重构模快300、异常事件识别模块400、预警及信息回溯模块500、显示模块600及通信模块200；
图像获取及划分模块100，用于对复杂场景进行区域划分，以及获取及存储各区域的静态图像及视频流；
区域三维重构模块300，用于构建融合视频流的各区域动态三维模型；
其中，区域三维重构模块300包括：
预处理模块310，用于对图像获取及划分模块进行参数标定，以及对静态图像及视频流进行图像处理；
三维建模模块320，用于建立各区域静态三维模型；
视频流拼接模块330，用于对各区域视频流与各区域静态三维模型配准拼接，已形成动态三维模型。
异常事件识别模块400，用于对各区域的动态三维模型中，是否出现异常事件进行判别；
其中，异常识别模块400包括：
异常事件判别模块410，用于构建异常事件识别判据，对各区域所述动态三维模型中是否出现异常事件进行判别；
异常信息定位模块420，用于回传异常事件发生地理位置信息。
进一步的，本系统还包括有预警及信息回溯模块500，用于对异常事件发生时，启动预警机制，以即将异常事件信息回传至监控中心；
还包括有显示模块600，用于对各区域动态三维模型用网格化排布及终端显示，或者用于对各区域动态三维模型采用单点排布及终端显示；
还包括有通信模块200，用于各模块间的通信连接。
实施例3
本发明的另一个实施例中，提供了一种计算机存储介质，计算机存储介质存储有一个或者多个程序，其中一个或者多个程序可被一个或者多个处理器执行，以实现实施1中所述的基于动态三维模型的监控预警方法，此外还可在计算机存储介质中安装有如实施例2所述的基于动态三维模型的监控预警系统。
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。
Claims (6)
1.一种基于动态三维模型的监控预警方法，其特征在于包含下列步骤：
S1将复杂场景划分为多个区域，通过图像采集模块获得每个区域的多组静态图像及视频流；
S2针对所述每个区域分别进行三维建模，获得所述每个区域的静态三维模型；
S3将各区域的视频流与所述各区域的静态三维模型进行配准拼接，形成各区域的动态三维模型；
S4针对所述各区域的动态三维模型进行异常事件判断识别；
S5当检测到异常事件，则启动预警以及记录所述异常事件的发生信息；
S6将所述异常事件发生信息发送至监控服务器；
所述步骤S2进一步包含：
S21对所述图像采集模块进行标定及对采集的多组静态图像进行预处理；
S22将经预处理后的多组静态图像输入三维深度估计模型进行训练；
S23利用损失函数对所述三维深度估计模型进行优化；
S24基于所述三维深度估计模型结合相机位姿优化算法建立各区域对应的静态三维模型；
S24具体方法为：
S241利用三维深度估计模型生成第一区域对应的稠密点云；
S242计算相机精确位姿以及对不同空间点云进行位置分布；
S243对稠密点云进行标记；
S244利用稠密点云生成可视空间；
S245生成复杂场景中第一区域的三维模型；
S246重复上述步骤至完成复杂场中多个区域的三维建模，最终得到多个区域的静态三维模型；
所述步骤S3中将所述视频流与所述静态三维模型进行配准拼接，还包括：将所述各区域的视频流进行预处理，通过所述图像采集模块内置的视频定位模块与各区域所述静态三维模型配准拼接，形成所述动态三维模型；
所述步骤S4中对异常事件判断识别包含通过构建异常事件识别算法对各区域所述动态三维模型的视频流进行异常事件识别；
所述步骤S4进一步包含：
S41获取任一区域视频流，并进行解码及提取关键帧；
S42构建关键帧掩膜模板，结合特征提取算法计算得到目标特征矢量集；
S43利用多源动态信息融合算法，结合所述目标特征矢量集，计算目标特征参数及构建异常事件识别判据；
S44利用所述目标特征参数，结合异常事件识别判据，训练异常事件识别模型，使所述异常事件识别模型针对所监控的各动态三维模型中出现的异常事件进行分类识别。
2.根据权利要求1所述的一种基于动态三维模型的监控预警方法，其特征在于：所述步骤S23中，利用所述三维深度估计模型基于二维图像估计生成对应深度信息。
3.根据权利要求1所述的一种基于动态三维模型的监控预警方法，其特征在于，所述步骤S3中将所述视频流与所述静态三维模型进行配准拼接，还包括：将所述各区域视频流进行预处理，通过构建关键帧空间定位算法对经预处理后的各区域所述视频流与各区域所述静态三维模型进行配准，利用动态拼接算法将配准后的各区域所述视频流与各区域所述静态三维模型进行拼接融合，形成所述动态三维模型；
所述步骤S3还包括对所述动态三维模型中遮挡区域进行优化处理。
4.一种基于动态三维模型的监控预警系统，应用到权利要求1-3任一项所述的方法，其特征在于，包括图像获取及划分模块、区域三维重构模快、异常事件识别模块、预警及信息回溯模块、显示模块及通信模块；
所述图像获取及划分模块，用于对复杂场景进行区域划分，以及获取及存储所述各区域的静态图像及视频流；
所述区域三维重构模块包括：
预处理模块，用于对图像获取及划分模块进行参数标定，以及对静态图像及视频流进行图像处理；
三维建模模块，用于建立各区域静态三维模型；
视频流拼接模块，用于对各区域所述视频流与各区域所述静态三维模型配准拼接，以形成所述动态三维模型；
所述异常事件识别模块，用于对所述各区域的动态三维模型中，是否出现异常事件进行判别；
所述预警及信息回溯模块，用于对异常事件发生时，启动预警机制，以及将异常事件信息回传至监控中心；
所述显示模块，用于对所述各区域动态三维模型用网格化排布及终端显示，或者用于对所述各区域动态三维模型采用单点排布及终端显示；
所述通信模块，用于所述各模块间的通信连接。
5.根据权利要求4所述的一种基于动态三维模型的监控预警系统，其特征在于，所述异常事件识别模块包括：
异常事件判别模块，用于构建异常事件识别判据，对各区域所述动态三维模型中是否出现异常事件进行判别；
异常信息定位模块，用于回传异常事件发生地理位置信息。
6.一种计算机存储介质，其特征在于，所述计算机存储介质存储有一个或者多个程序，一个或者多个所述程序可被一个或者多个处理器执行，以实现如权利要求1-3任意一项所述的基于动态三维模型的监控预警方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010955445.0A CN112053391B (zh) | 2020-09-11 | 2020-09-11 | 一种基于动态三维模型的监控预警方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010955445.0A CN112053391B (zh) | 2020-09-11 | 2020-09-11 | 一种基于动态三维模型的监控预警方法、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112053391A CN112053391A (zh) | 2020-12-08 |
| CN112053391B true CN112053391B (zh) | 2022-10-14 |
Family
ID=73611141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010955445.0A Active CN112053391B (zh) | 2020-09-11 | 2020-09-11 | 一种基于动态三维模型的监控预警方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112053391B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112927357B (zh) * | 2021-03-05 | 2022-04-19 | 电子科技大学 | 一种基于动态图网络的3d物体重建方法 |
| CN113093806B (zh) * | 2021-04-07 | 2022-06-14 | 涵涡智航科技(玉溪)有限公司 | 一种用于飞行器空间全向避障方法及系统 |
| CN115588167A (zh) * | 2022-12-08 | 2023-01-10 | 山东法尔智能科技有限公司 | 一种工程施工用安全监测方法及系统 |
| CN116823816B (zh) * | 2023-08-28 | 2023-11-21 | 济南正邦电子科技有限公司 | 一种基于安防监控静态存储器的检测设备及检测方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101951502B (zh) * | 2010-10-19 | 2012-11-21 | 北京硅盾安全技术有限公司 | 一种三维智能视频监控方法 |
| CN103345625B (zh) * | 2013-07-16 | 2016-08-17 | 江苏云知智能科技有限公司 | 一种三维图像分析方法及系统 |
| CN105118061A (zh) * | 2015-08-19 | 2015-12-02 | 刘朔 | 用于将视频流配准至三维地理信息空间中的场景的方法 |
| CN110910338A (zh) * | 2019-12-03 | 2020-03-24 | 煤炭科学技术研究院有限公司 | 一种三维实景视频的获取方法、装置、设备及存储介质 |
-
2020
- 2020-09-11 CN CN202010955445.0A patent/CN112053391B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN112053391A (zh) | 2020-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112053391B (zh) | 一种基于动态三维模型的监控预警方法、系统及存储介质 | |
| CN111836012B (zh) | 基于三维场景的视频融合与视频联动方法及电子设备 | |
| CN112435325B (zh) | 基于vi-slam和深度估计网络的无人机场景稠密重建方法 | |
| WO2021196294A1 (zh) | 一种跨视频人员定位追踪方法、系统及设备 | |
| CN109819208B (zh) | 一种基于人工智能动态监控的密集人群安防监控管理方法 | |
| CN107253485A (zh) | 异物侵入检测方法及异物侵入检测装置 | |
| CN115439424A (zh) | 一种无人机航拍视频图像智能检测方法 | |
| CN111080679A (zh) | 一种对大型场所室内人员动态跟踪定位的方法 | |
| CN110751081B (zh) | 基于机器视觉的施工安全监控方法及装置 | |
| CN112449093A (zh) | 一种三维全景视频融合监控平台 | |
| CN111383204A (zh) | 视频图像融合方法、融合装置、全景监控系统及存储介质 | |
| CN114038193B (zh) | 基于无人机和多目标追踪的智能交通流量数据统计方法及系统 | |
| CN114905512B (zh) | 一种智能巡检机器人全景追踪及避障方法及系统 | |
| CN105810023B (zh) | 机场起落架收放自动监测方法 | |
| CN111683221B (zh) | 嵌入矢量红线数据的自然资源实时视频监测方法及系统 | |
| CN114827570A (zh) | 一种基于三维场景的视频态势感知与信息融合方法及电子设备 | |
| CN110991306A (zh) | 自适应的宽视场高分辨率智能传感方法和系统 | |
| CN113379801B (zh) | 一种基于机器视觉的高空抛物监测定位方法 | |
| CN110276379A (zh) | 一种基于视频图像分析的灾情信息快速提取方法 | |
| WO2021248564A1 (zh) | 一种全景大数据应用监测管控系统 | |
| CN111860378A (zh) | 基于枪球联动和视频事件感知的商场消防设施巡检方法 | |
| CN115984768A (zh) | 一种基于固定型单目摄像头的多目标行人实时检测定位方法 | |
| CN113743380B (zh) | 一种基于视频图像动态监测的主动跟踪方法 | |
| CN110276233A (zh) | 一种基于深度学习的多相机协同跟踪系统 | |
| CN114581522A (zh) | 一种支撑点搜索的单目视觉室内定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |