CN116647644A - 基于数字孪生技术的校园交互式监控方法以及系统 - Google Patents
基于数字孪生技术的校园交互式监控方法以及系统 Download PDFInfo
- Publication number
- CN116647644A CN116647644A CN202310660226.3A CN202310660226A CN116647644A CN 116647644 A CN116647644 A CN 116647644A CN 202310660226 A CN202310660226 A CN 202310660226A CN 116647644 A CN116647644 A CN 116647644A
- Authority
- CN
- China
- Prior art keywords
- image
- dimensional
- moving object
- basic
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012544 monitoring process Methods 0.000 title claims abstract description 41
- 238000005516 engineering process Methods 0.000 title claims abstract description 14
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 13
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 30
- 230000001788 irregular Effects 0.000 claims abstract description 13
- 230000033001 locomotion Effects 0.000 claims description 24
- 238000009826 distribution Methods 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 19
- 230000003993 interaction Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000003709 image segmentation Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 238000010191 image analysis Methods 0.000 claims description 4
- 238000009877 rendering Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000003542 behavioural effect Effects 0.000 claims 1
- 230000006399 behavior Effects 0.000 description 26
- 230000008859 change Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 239000003795 chemical substances by application Substances 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 3
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000000391 smoking effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 241000985694 Polypodiopsida Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于数字孪生技术的校园交互式监控方法以及系统，其中，方法包括：通过校园内的多个摄像头获取到的监控影像；通过高斯拉普拉斯LOG算法对监控影像进行分析，根据监控影像上的区域和线条，将监控影像上的点划分为多个第一子集；将每个第一子集中的数据和数据库中存储的目标物体数据进行数据匹配，确定匹配程度超过设定阈值的第二子集，其中，第二子集包括移动物体和固定建筑物；基于每个第二子集，生成移动物体和固定建筑物的数字孪生模型；基于数字孪生模型，预测移动物体的行为轨迹；基于固定建筑物的位置，若判定行为轨迹为非常规轨迹，则发出预警，相关负责人可高效率地消除校园的安全隐患。
Description
技术领域
本发明涉及校园安全技术领域，尤其涉及一种基于数字孪生技术的校园交互式监控方法以及系统。
背景技术
数字孪生技术，是充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射，从而反映相对应的实体装备的全生命周期过程；目前，其广泛被应用于工业领域中。
近些年来，随着教育事业的不断发展以及国家对教育事业的越加重视，但是近些年校园内安全事故频发，针对于此类事故，有必要针对性的提出一个及时性高且可靠的措施。
发明内容
本发明实施例提供了一种基于数字孪生技术的校园交互式监控方法以及系统，具有预测校园内移动物体的行为轨迹并在判定行为轨迹为非正常轨迹时作出警告，以此保证校园的安全。
本发明提供一种基于数字孪生技术的校园交互式监控方法，所述方法包括：
通过校园内的多个摄像头获取到的监控影像；
通过高斯拉普拉斯LOG算法对所述监控影像进行分析，根据所述监控影像上的区域和线条，将监控影像上的点划分为多个第一子集；
将每个所述第一子集中的数据和数据库中存储的目标物体数据进行数据匹配，确定匹配程度超过设定阈值的第二子集，其中，所述第二子集包括移动物体和固定建筑物；
基于每个所述第二子集，生成所述移动物体和固定建筑物的数字孪生模型；
基于所述数字孪生模型，预测所述移动物体的行为轨迹；
基于所述固定建筑物的位置，若判定所述行为轨迹为非常规轨迹，则发出预警。
在一可实施方式中，所述基于每个所述第二子集，生成所述移动物体和固定建筑物的数字孪生模型，包括：
获取所述第二子集中所述移动物体和固定建筑物的待处理图像；
获取三维基本模型数据库；
分别对所述待处理图像进行图像分割，得到多个图像单元；
对多个所述图像单元进行特征检测，得到图像特征，其中，所述图像特征至少包括文本标签、几何特征、视角特征以及图像纹理特征；
基于所述图像特征在所述三维基本模型数据库中获取对应的多个基本三维模型；
对所述基本三维模型进行图像处理，得到对应的多个二维图像；
基于所述图像单元与多个所述二维图像，确定与所述图像单元对应的孪生基本三维模型；
基于与各所述图像单元对应的各所述孪生基本三维模型，得到与所述待处理图像对应的孪生三维模型。
在一可实施方式中，所述图像特征还包括间树级关系；
相应的，所述分别对所述待处理图像进行图像分割，得到多个图像单元，包括：
分别对所述待处理图像进行层级化图像分割，得到多个图像单元以及对应的间树级关系，其中所述间树级关系表示不同所述图像单元间的位置关系。
在一可实施方式中，所述基于所述图像单元与多个所述二维图像，确定与所述图像单元对应的孪生基本三维模型，包括：
基于所述文本标签和所述几何特征，在所述三维基本模型数据库中召回与所述图像单元对应的多个基本三维模型；
相应的，所述对所述基本三维模型进行图像处理，得到对应的多个二维图像，包括：
基于所述视角特征和所述图像纹理特征，分别对所述基本三维模型进行视角调整和纹理渲染，得到与多个所述基本三维模型对应的多个二维图像。
在一可实施方式中，所述基于所述图像单元与多个所述二维图像，确定与所述图像单元对应的孪生基本三维模型，包括：
基于所述图像单元与多个所述二维图像，通过相似度计算分别确定所述图像单元与各所述二维图像的相似值，以及通过协同过滤计算分别确定所述图像单元与各所述二维图像的相似推荐值；
基于所述相似值和所述相似推荐值，生成与所述图像单元对应的候选三维模型概率分布；
基于所述候选三维模型概率分布，确定与所述图像单元对应的孪生基本三维模型。
在一可实施方式中，在所述得到与多个所述基本三维模型对应的多个二维图像之后，所述方法还包括：
基于条件随机场的图像单元间共现约束模型，确定相关联所述图像单元间的关联概率；
所述基于所述相似值和所述相似推荐值，生成与所述图像单元对应的候选三维模型概率分布，包括：
基于所述相似值、所述相似推荐值以及所述关联概率，生成与所述图像单元对应的候选三维模型概率分布。
在一可实施方式中，所述基于所述相似值、所述相似推荐值以及所述关联概率，生成与所述图像单元对应的候选三维模型概率分布，包括：
基于所述相似值、所述相似推荐值以及所述关联概率的加权平均值，确定与所述图像单元对应的候选三维模型概率分布，其中，在加权计算过程中的权重值为超参数。
在一可实施方式中，所述基于所述数字孪生模型，预测所述移动物体的行为轨迹，包括：
获取所述数字孪生模型的运动图像序列；
根据所述运动图像序列，确定所述移动物体的移动物体特征、运动特征和轨迹框；
根据所述移动物体特征、运动特征和轨迹框，生成目标交互特征；
根据所述目标交互特征，确定所述运动图像序列对应的行为轨迹预测结果。
在一可实施方式中，所述根据所述运动图像序列，确定所述移动物体的移动物体特征、运动特征和轨迹框，包括：
将所述运动图像序列输入移动物体重识别网络，得到所述运动图像序列对应的移动物体特征、运动特征；其中，所述移动物体重识别网络包括第一主干网络、第二主干网络、第三主干网络、第四主干网络、移动物体特征提取网络和运动特征提取网络，所述第一主干网络、所述第二主干网络、所述第三主干网络和所述第四主干网络为串行连接，所述移动物体特征提取网络与所述第四主干网络连接，所述运动特征提取网络与所述第三主干网络、所述第四主干网络连接；
将所述运动图像序列对应的移动物体特征输入检测器，得到所述运动图像序列对应的轨迹框。
本发明另一方面提供一种基于数字孪生技术的校园交互式监控系统，所述系统包括：
影像获取模块，用于通过校园内的多个摄像头获取到的监控影像；
影像分析模块，用于通过高斯拉普拉斯LOG算法对所述监控影像进行分析，根据所述监控影像上的区域和线条，将监控影像上的点划分为多个第一子集；
影像匹配模块，用于将每个所述第一子集中的数据和数据库中存储的目标物体数据进行数据匹配，确定匹配程度超过设定阈值的第二子集，其中，所述第二子集包括移动物体和固定建筑物；
模型生成模块，用于基于每个所述第二子集，生成所述移动物体和固定建筑物的数字孪生模型；
轨迹预测模块，用于基于所述数字孪生模型，预测所述移动物体的行为轨迹；
信息告警模块，用于基于所述固定建筑物的位置，若判定所述行为轨迹为非常规轨迹，则发出预警。
在本发明实施例中，通过校园内的多个摄像头获取到的监控影像；通过高斯拉普拉斯LOG算法对所述监控影像进行分析，根据所述监控影像上的区域和线条，将监控影像上的点划分为多个第一子集；将每个所述第一子集中的数据和数据库中存储的目标物体数据进行数据匹配，确定匹配程度超过设定阈值的第二子集，其中，所述第二子集包括移动物体和固定建筑物；基于每个所述第二子集，生成所述移动物体和固定建筑物的数字孪生模型；基于所述数字孪生模型，预测所述移动物体的行为轨迹；基于所述固定建筑物的位置，若判定所述行为轨迹为非常规轨迹，则发出预警，相关负责人可尽快对相关行为人进行处理，以保证校园安全。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
在附图中，相同或对应的标号表示相同或对应的部分。
图1为本发明实施例一种基于数字孪生技术的校园交互式监控方法的实现流程示意图；
图2为本发明实施例一种基于数字孪生技术的校园交互式监控系统的结构组成图。
具体实施方式
为使本发明的目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提供一种基于数字孪生技术的校园交互式监控方法，方法包括：
步骤101，通过校园内的多个摄像头获取到的监控影像；
步骤102，通过高斯拉普拉斯LOG算法对监控影像进行分析，根据监控影像上的区域和线条，将监控影像上的点划分为多个第一子集；
步骤103，将每个第一子集中的数据和数据库中存储的目标物体数据进行数据匹配，确定匹配程度超过设定阈值的第二子集，其中，第二子集包括移动物体和固定建筑物；
步骤104，基于每个第二子集，生成移动物体和固定建筑物的数字孪生模型；
步骤105，基于数字孪生模型，预测移动物体的行为轨迹；
步骤106，基于固定建筑物的位置，若判定行为轨迹为非常规轨迹，则发出预警。
本实施例中，在步骤101中，多个摄像头可以预先布置在校园建筑物中的各个角落，以尽可能的能够拍摄到整个校园环境，在布置完成之后，通过各个摄像头来获取到监控影像。
在步骤102中，在获取到监控影像之后，首先对图像进行分析，并确定出与数据库中数据匹配的区域和线条数据，从而图像上的点分为不同的第一子集，上述第一子集包括孤立的点、连续的曲线或者连续的区域。
一般的，常用的图像分析的方法有LOG(Laplacian Of Gaussian，高斯拉普拉斯)，Otsu(最大类间差法，也称大津算法)，Bernsen(伯恩生算法)，LEVBB(Local Extreme ValueBased Binarization，基于局部极值的快速二值化算法)等。
其中，Otsu算法对直方图为单峰或者多峰等目标与背景象素灰度值交错的图像会产生二值化错误；Bernsen算法能够正确二值化，但是会产生大量伪影现象，且对噪声敏感，目标部分缺失、伪影(ghost)等缺点和问题；LEVBB算法结果较好，能有效地消除Bernsen算法产生的伪影现象，对噪声不敏感，但是当光照变化强烈时，仍然有部分结果不正确，文本笔划粘连。
LOG算法能抗拒光照的剧烈变化和噪声干扰，能够很好地保持目标本来形态，获得更好的效果。利用LOG算法检测出图像的边缘零交叉，确定出边缘零交叉点二侧的象素为目标或是背景，对图像中均一区域(背景或者目标)根据邻域属性确定其归属。该方法能克服Bernsen的目标部分缺失和伪影现象，也克服了Otsu法易受噪声和光照不均匀的影响，而且效果比LEVBB算法要好。在系统对处理速度、存储容量以及稳定性等方面均具有较高水平的情况下，LOG特征点是一个较为理想的选择，可以通过提取LOG特征点来实现子集的划分。
在步骤103中，数据库中则存储具体目标物体的LOG特征样本数据，涵盖了各种环境变化(尺度、旋转、光照、遮挡等)对图像所带来的影响，通常，所存储的样本数据能够保证对于这些变化具有较高的适应性和鲁棒性。例如，若采用使用由决策树结构构成的Ferns(佛恩斯)分类器对图像的LOG特征样本进行有监督学习，则可以进一步保证存储的样本数据能够保证对于这些变化具有较高的适应性和鲁棒性。
数据匹配具体为相似度匹配，可以将图像表示成一个向量，通过计算两个图像的向量的余弦距离来表征两张的图像的相似度，也可以是通过MSE(Mean Square Error)均方误差、PSNR(Peak Sign-to-Noise Ratio)峰值信噪比等等。另外，在匹配计算过后，预先设置一个相似度阈值，当相似度超过阈值的图像成为第二子集，第二子集中的图像包括移动物体和固定建筑物，移动物体包括行人、动物或者车辆。
在步骤104中，然后通过第二子集中的所有图像，生成移动物体和固定建筑物的数字孪生模型，其中，数字孪生模型用于同步监控影像所拍摄到的移动物体和固定建筑物的行为，方便管理官员查看。
在步骤105中，在生成数字孪生模型之后，获取数字孪生模型中的历史图像数据，将历史图像数据输入至预先训练好的神经网络模型中进行预测，得到移动物体的行为轨迹，其中，行为轨迹包括移动轨迹、肢体动作轨迹等等，肢体动作轨迹包括吸烟动作、打人动作等等。
在步骤106中，基于移动物体的行为轨迹以及固定建筑物的位置，判断该移动物体在校园中的行为是否为非常规轨迹，例如，在图书馆中的学生吸烟行为是非常规轨迹。在判定为非常规轨迹的情况下，向相关负责人发出警报，例如短信提醒、电话提醒等。相关负责人即可高效地对该行为人进行处理。
由此，通过校园内的多个摄像头获取到的监控影像；通过高斯拉普拉斯LOG算法对监控影像进行分析，根据监控影像上的区域和线条，将监控影像上的点划分为多个第一子集；将每个第一子集中的数据和数据库中存储的目标物体数据进行数据匹配，确定匹配程度超过设定阈值的第二子集，其中，第二子集包括移动物体和固定建筑物；基于每个第二子集，生成移动物体和固定建筑物的数字孪生模型；基于数字孪生模型，预测移动物体的行为轨迹；基于固定建筑物的位置，若判定行为轨迹为非常规轨迹，则发出预警，相关负责人可尽快对相关行为人进行处理，以保证校园安全。
在一可实施方式中，基于每个第二子集，生成移动物体和固定建筑物的数字孪生模型，包括：
获取第二子集中移动物体和固定建筑物的待处理图像；
获取三维基本模型数据库；
分别对待处理图像进行图像分割，得到多个图像单元；
对多个图像单元进行特征检测，得到图像特征，其中，图像特征至少包括文本标签、几何特征、视角特征以及图像纹理特征；
基于图像特征在三维基本模型数据库中获取对应的多个基本三维模型；
对基本三维模型进行图像处理，得到对应的多个二维图像；
基于图像单元与多个二维图像，确定与图像单元对应的孪生基本三维模型；
基于与各图像单元对应的各孪生基本三维模型，得到与待处理图像对应的孪生三维模型。
本实施例中，数字孪生模型的具体过程为：
获取第二子集中移动物体和固定建筑物的待处理图像以及三维基本模型数据库，其中，待处理图像可以是单张待处理图像，三维基本模型数据库可以是具有标签的三维基本模型构成的集合，其中，标签可以用于标识三维基本模型为何种三维基本模型。在应用过程中，可以获取单张待处理图像，以及具有标签的三维基本模型数据库。
接着分别对待处理图像进行图像分割，得到多个图像单元，分割方式可以按照预定的小尺寸来分割。
接着可以通过机器视觉对图像单元进行识别，得到图像特征，其中，图像特征至少包括文本标签、几何特征、视角特征以及图像纹理特征。
接着可以基于多路召回，例如基于多种类型的图像特征在三维基本模型数据库中召回对应的多个基本三维模型。其中，多种类型的图像特征可以包括文本标签和几何特征。通过多路召回多个基本三维模型可以确保被召回的基本三维模型的全面性和准确性，为提高孪生模型的建模准确度打下基础。
分别对基本三维模型进行图像处理，得到与多个基本三维模型对应的多个二维图像。
基于图像单元与多个二维图像，确定对应的孪生基本三维模型，其中，孪生基本三维模型为与模块最相似的基本三维模型。此步骤可以为提高孪生模型的建模准确度打下基础。
在一可实施方式中，图像特征还包括间树级关系；
相应的，分别对待处理图像进行图像分割，得到多个图像单元，包括：
分别对待处理图像进行层级化图像分割，得到多个图像单元以及对应的间树级关系，其中间树级关系表示不同图像单元间的位置关系。
本实施例中，通过获取与图像单元对应的模块间树级关系，可以为基于对应的孪生基本三维模型，得到与待处理图像对应的孪生三维模型提供了层次关系指导，进而提高了孪生模型的建模准确度。
在一可实施方式中，基于图像单元与多个二维图像，确定与图像单元对应的孪生基本三维模型，包括：
基于文本标签和几何特征，在三维基本模型数据库中召回与图像单元对应的多个基本三维模型；
相应的，对基本三维模型进行图像处理，得到对应的多个二维图像，包括：
基于视角特征和图像纹理特征，分别对基本三维模型进行视角调整和纹理渲染，得到与多个基本三维模型对应的多个二维图像。
本实施例中，孪生基本三维模型的具体生成过程为：
响应于用户在多个二维图像中选择目标二维图像，确定目标基本三维模型为与模块对应的孪生基本三维模型，其中，目标基本三维模型为与目标二维图像对应的基本三维模型。可以实现用户交互，并通过用户交互可以快速确定与模块对应的孪生基本三维模型，进而可以极大地提高孪生模型建模效率。
为了能够更加简单、明了且准确得在多个基本三维模型选择与图像单元最相似的一个基本三维模型(对应孪生基本三维模型)，可以基于视角特征和图像纹理特征，分别对基本三维模型进行视角调整和纹理渲染，得到与待处理图像具有相同视角或纹理的基本三维模型，并基于调整后的基本三维模型得到与其对应的二维图像。可以理解的是，由于调整后的基本三维模型具有与待处理图像相同视角或纹理，因此，二维图像也具有与待处理图像相同视角或纹理。可以理解的是，基于二维图像可以更加准确得判断出哪个二维图像与待处理图像的模块最相似。
在一可实施方式中，基于图像单元与多个二维图像，确定与图像单元对应的孪生基本三维模型，包括：
基于图像单元与多个二维图像，通过相似度计算分别确定图像单元与各二维图像的相似值，以及通过协同过滤计算分别确定图像单元与各二维图像的相似推荐值；
基于相似值和相似推荐值，生成与图像单元对应的候选三维模型概率分布；
基于候选三维模型概率分布，确定与图像单元对应的孪生基本三维模型。
本实施例中，可以通过相似度计算分别计算模块与其对应的各个二维图像之间相似值，以及通过协同过滤计算分别计算模块与其对应的各个二维图像之间相似推荐值。在应用过程中，通过相似值和相似推荐值可以得到模块与各二维图像之间的相似程度，并对相似程度进行排序，可以得到与模块对应的候选三维模型概率分布。在一示例中，在进行排序的过程中，可以使用基于用户特征推荐算法，例如FM推荐算法、GBDT+LR推荐算法、Wide&Deep推荐算法和DeepFM推荐算法等。
可以基于候选三维模型概率分布，确定与模块对应的孪生基本三维模型。进一步的，通过确定出的各模块的孪生基本三维模型，可以得到与待处理图像对应的孪生三维模型。
在一可实施方式中，在得到与多个基本三维模型对应的多个二维图像之后，方法还包括：
基于条件随机场的图像单元间共现约束模型，确定相关联图像单元间的关联概率；
基于相似值和相似推荐值，生成与图像单元对应的候选三维模型概率分布，包括：
基于相似值、相似推荐值以及关联概率，生成与图像单元对应的候选三维模型概率分布。
本实施例中，考虑模块间的关系对孪生基本三维模型的影响，在应用过程中，可以基于条件随机场的模块间共现约束模型，确定相关联模块间的关联概率。其中，相关联模块指连接关系存在关联、位置存在关联或逻辑关系存在关联的模块。在一示例中，还可以通过其他匹配概率图模型，例如马尔科夫随机场概率图模型和贝叶斯网络概率图模型确定相关联模块间的关联概率。
进一步的，可以基于模块与各二维图像的相似值、模块与各二维图像的相似推荐值，以及相关联模块间的关联概率，得到模块与各二维图像之间的相似程度。并对相似程度进行排序，得到与模块对应的候选三维模型概率分布。在一示例中，在进行排序的过程中，可以使用基于用户特征推荐算法，例如FM推荐算法、GBDT+LR推荐算法、Wide&Deep推荐算法和DeepFM推荐算法等。在本实施例中，基于相关联模块间的关联概率确定与模块对应的候选三维模型概率分布，可以剔除明显不合理的三维模型，从而减少运算量。
在一可实施方式中，基于相似值、相似推荐值以及关联概率，生成与图像单元对应的候选三维模型概率分布，包括：
基于相似值、相似推荐值以及关联概率的加权平均值，确定与图像单元对应的候选三维模型概率分布，其中，在加权计算过程中的权重值为超参数。
本实施例中，将权重值确定为超参数，可以充分利用历史数据来增加与模块对应的候选三维模型概率分布的合理性。
在一可实施方式中，基于数字孪生模型，预测移动物体的行为轨迹，包括：
获取数字孪生模型的运动图像序列；
根据运动图像序列，确定移动物体的移动物体特征、运动特征和轨迹框；
根据移动物体特征、运动特征和轨迹框，生成目标交互特征；
根据目标交互特征，确定运动图像序列对应的行为轨迹预测结果。
本实施例中，运动图像序列可以理解为需要进行运动轨迹预测的若干图像，其中，运动图像序列中的若干图像是以一定序列进行排序的多张图像，例如可以是一段视频中的多个连续的视频帧(比如可以是连续8帧的视频帧)，也可以是不连续的多帧视频帧(比如提取视频中的多帧关键帧所得到的)。作为一种示例，运动图像序列可以是通过安装在固定位置的监控摄像头采集的，也可以是通过移动终端设备采集到的，还可以是从预先存储有图像的存储设备中读取到的。
在得到运动图像序列后，可以先提取运动图像序列中每张图像对应的移动物体特征、运动特征和轨迹框。然后，按照图像的排序序列，将每张图像对应的移动物体特征、运动特征和轨迹框进行排序，得到运动图像序列对应的移动物体特征、运动特征和轨迹框。
需要说明的是，移动物体特征可以理解为能够反映图像中行人的身份的判别特征，例如，可以包括行人的外形、体态、脸部、眼睛、鼻子、嘴巴、衣服等特征。运动特征可以理解为能够反映行人的运动状态的特征，例如，可以包括行人的运动速度、运动姿态、姿态角度等属性特征。轨迹框可以理解为图像中能够反映行人位置的信息，例如，可以将在图像中用于标识行人位置的矩形框作为轨迹框，在一种实现方式中，轨迹框可以包括：检测框中心点的横坐标x，纵坐标y，以及，检测框的高h，宽w。
在获取到运动图像序列对应的移动物体特征、运动特征和轨迹框后，可以将移动物体特征、运动特征和轨迹框等信息进行融合，即将行人的身份判别特征、运动特征和位置特征进行融合，得到目标交互特征。
可以理解的是，目标交互特征可以为能够反映行人在运动图像序列中的运动变化趋势以及位置变化的趋势的特征。需要说明的是，若运动图像序列包括多个行人，则运动图像序列对应的目标交互特征可以包括多个行人的目标交互特征。
由于目标交互特征可以反映行人在运动图像序列中的运动变化趋势以及位置变化的趋势的特征。因此，在确定目标交互特征后，可以利用目标交互特征进行行人轨迹预测，这样，便可以利用运动图像序列对应的行人的运动变化趋势以及位置变化的趋势，以及，每张图像中的移动物体特征，对行人的下一帧图像中的位置进行预测，便可以得到运动图像序列对应的行人运动轨迹预测结果。
在一可实施方式中，根据运动图像序列，确定移动物体的移动物体特征、运动特征和轨迹框，包括：
将运动图像序列输入移动物体重识别网络，得到运动图像序列对应的移动物体特征、运动特征；其中，移动物体重识别网络包括第一主干网络、第二主干网络、第三主干网络、第四主干网络、移动物体特征提取网络和运动特征提取网络，第一主干网络、第二主干网络、第三主干网络和第四主干网络为串行连接，移动物体特征提取网络与第四主干网络连接，运动特征提取网络与第三主干网络、第四主干网络连接；
将运动图像序列对应的移动物体特征输入检测器，得到运动图像序列对应的轨迹框。
本实施例中，其中，该行人重识别网络可以包括第一主干网络、第二主干网络、第三主干网络、第四主干网络、移动物体特征提取网络和运动特征提取网络，该第一主干网络、该第二主干网络、该第三主干网络和该第四主干网络为串行连接，该移动物体特征提取网络与该第四主干网络连接，该运动特征提取网络与该第三主干网络、该第四主干网络连接。
需要说明的是，行人重识别网络的主干网络可以分作四个阶段，分别为第一主干网络、第二主干网络、第三主干网络、第四主干网络，第一主干网络、第二主干网络、第三主干网络、第四主干网络可以是串行的，例如第一主干网络stage1->第二主干网络stage2->第三主干网络stage3->第四主干网络stage4。行人重识别网络的主干网络可以是主流残差网络的经典形态，即每个阶段会有若干个“瓶颈模块”构成，是复用经典网络(ResNet)，需要说明的是，行人重识别网络的主干网络可以使用任意的四阶段网络作为主干网络，比如resnet、resnest、senet、densenet、mobilenet、regnet等。
其中，移动物体特征提取网络可以与第四主干网络连接，即第四主干网络输出的特征可以作为移动物体特征提取网络的输入。在一种实现方式，移动物体特征提取网络可以包括池化层和全连接层，其中，池化层与第四主干网络连接，池化层与全连接层连接，全连接层的输出即为移动物体特征。
本发明另一方面提供一种基于数字孪生技术的校园交互式监控系统，系统包括：
影像获取模块201，用于通过校园内的多个摄像头获取到的监控影像；
影像分析模块202，用于通过高斯拉普拉斯LOG算法对监控影像进行分析，根据监控影像上的区域和线条，将监控影像上的点划分为多个第一子集；
影像匹配模块203，用于将每个第一子集中的数据和数据库中存储的目标物体数据进行数据匹配，确定匹配程度超过设定阈值的第二子集，其中，第二子集包括移动物体和固定建筑物；
模型生成模块204，用于基于每个第二子集，生成移动物体和固定建筑物的数字孪生模型；
轨迹预测模块205，用于基于数字孪生模型，预测移动物体的行为轨迹；
信息告警模块206，用于基于固定建筑物的位置，若判定行为轨迹为非常规轨迹，则发出预警。
由此，通过校园内的多个摄像头获取到的监控影像；通过高斯拉普拉斯LOG算法对监控影像进行分析，根据监控影像上的区域和线条，将监控影像上的点划分为多个第一子集；将每个第一子集中的数据和数据库中存储的目标物体数据进行数据匹配，确定匹配程度超过设定阈值的第二子集，其中，第二子集包括移动物体和固定建筑物；基于每个第二子集，生成移动物体和固定建筑物的数字孪生模型；基于数字孪生模型，预测移动物体的行为轨迹；基于固定建筑物的位置，若判定行为轨迹为非常规轨迹，则发出预警，相关负责人可尽快对相关行为人进行处理，以保证校园安全。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种基于数字孪生技术的校园交互式监控方法，其特征在于，所述方法包括：
通过校园内的多个摄像头获取到的监控影像；
通过高斯拉普拉斯LOG算法对所述监控影像进行分析，根据所述监控影像上的区域和线条，将监控影像上的点划分为多个第一子集；
将每个所述第一子集中的数据和数据库中存储的目标物体数据进行数据匹配，确定匹配程度超过设定阈值的第二子集，其中，所述第二子集包括移动物体和固定建筑物；
基于每个所述第二子集，生成所述移动物体和固定建筑物的数字孪生模型；
基于所述数字孪生模型，预测所述移动物体的行为轨迹；
基于所述固定建筑物的位置，若判定所述行为轨迹为非常规轨迹，则发出预警。
2.根据权利要求1所述的方法，其特征在于，所述基于每个所述第二子集，生成所述移动物体和固定建筑物的数字孪生模型，包括：
获取所述第二子集中所述移动物体和固定建筑物的待处理图像；
获取三维基本模型数据库；
分别对所述待处理图像进行图像分割，得到多个图像单元；
对多个所述图像单元进行特征检测，得到图像特征，其中，所述图像特征至少包括文本标签、几何特征、视角特征以及图像纹理特征；
基于所述图像特征在所述三维基本模型数据库中获取对应的多个基本三维模型；
对所述基本三维模型进行图像处理，得到对应的多个二维图像；
基于所述图像单元与多个所述二维图像，确定与所述图像单元对应的孪生基本三维模型；
基于与各所述图像单元对应的各所述孪生基本三维模型，得到与所述待处理图像对应的孪生三维模型。
3.根据权利要求2所述的方法，其特征在于，所述图像特征还包括间树级关系；
相应的，所述分别对所述待处理图像进行图像分割，得到多个图像单元，包括：
分别对所述待处理图像进行层级化图像分割，得到多个图像单元以及对应的间树级关系，其中所述间树级关系表示不同所述图像单元间的位置关系。
4.根据权利要求2所述的方法，其特征在于，所述基于所述图像单元与多个所述二维图像，确定与所述图像单元对应的孪生基本三维模型，包括：
基于所述文本标签和所述几何特征，在所述三维基本模型数据库中召回与所述图像单元对应的多个基本三维模型；
相应的，所述对所述基本三维模型进行图像处理，得到对应的多个二维图像，包括：
基于所述视角特征和所述图像纹理特征，分别对所述基本三维模型进行视角调整和纹理渲染，得到与多个所述基本三维模型对应的多个二维图像。
5.根据权利要求2所述的方法，其特征在于，所述基于所述图像单元与多个所述二维图像，确定与所述图像单元对应的孪生基本三维模型，包括：
基于所述图像单元与多个所述二维图像，通过相似度计算分别确定所述图像单元与各所述二维图像的相似值，以及通过协同过滤计算分别确定所述图像单元与各所述二维图像的相似推荐值；
基于所述相似值和所述相似推荐值，生成与所述图像单元对应的候选三维模型概率分布；
基于所述候选三维模型概率分布，确定与所述图像单元对应的孪生基本三维模型。
6.根据权利要求5所述的方法，其特征在于，在所述得到与多个所述基本三维模型对应的多个二维图像之后，所述方法还包括：
基于条件随机场的图像单元间共现约束模型，确定相关联所述图像单元间的关联概率；
所述基于所述相似值和所述相似推荐值，生成与所述图像单元对应的候选三维模型概率分布，包括：
基于所述相似值、所述相似推荐值以及所述关联概率，生成与所述图像单元对应的候选三维模型概率分布。
7.根据权利要求6所述的方法，其特征在于，所述基于所述相似值、所述相似推荐值以及所述关联概率，生成与所述图像单元对应的候选三维模型概率分布，包括：
基于所述相似值、所述相似推荐值以及所述关联概率的加权平均值，确定与所述图像单元对应的候选三维模型概率分布，其中，在加权计算过程中的权重值为超参数。
8.根据权利要求1所述的方法，其特征在于，所述基于所述数字孪生模型，预测所述移动物体的行为轨迹，包括：
获取所述数字孪生模型的运动图像序列；
根据所述运动图像序列，确定所述移动物体的移动物体特征、运动特征和轨迹框；
根据所述移动物体特征、运动特征和轨迹框，生成目标交互特征；
根据所述目标交互特征，确定所述运动图像序列对应的行为轨迹预测结果。
9.根据权利要求8所述的方法，其特征在于，所述根据所述运动图像序列，确定所述移动物体的移动物体特征、运动特征和轨迹框，包括：
将所述运动图像序列输入移动物体重识别网络，得到所述运动图像序列对应的移动物体特征、运动特征；其中，所述移动物体重识别网络包括第一主干网络、第二主干网络、第三主干网络、第四主干网络、移动物体特征提取网络和运动特征提取网络，所述第一主干网络、所述第二主干网络、所述第三主干网络和所述第四主干网络为串行连接，所述移动物体特征提取网络与所述第四主干网络连接，所述运动特征提取网络与所述第三主干网络、所述第四主干网络连接；
将所述运动图像序列对应的移动物体特征输入检测器，得到所述运动图像序列对应的轨迹框。
10.一种基于数字孪生技术的校园交互式监控系统，其特征在于，所述系统包括：
影像获取模块，用于通过校园内的多个摄像头获取到的监控影像；
影像分析模块，用于通过高斯拉普拉斯LOG算法对所述监控影像进行分析，根据所述监控影像上的区域和线条，将监控影像上的点划分为多个第一子集；
影像匹配模块，用于将每个所述第一子集中的数据和数据库中存储的目标物体数据进行数据匹配，确定匹配程度超过设定阈值的第二子集，其中，所述第二子集包括移动物体和固定建筑物；
模型生成模块，用于基于每个所述第二子集，生成所述移动物体和固定建筑物的数字孪生模型；
轨迹预测模块，用于基于所述数字孪生模型，预测所述移动物体的行为轨迹；
信息告警模块，用于基于所述固定建筑物的位置，若判定所述行为轨迹为非常规轨迹，则发出预警。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310660226.3A CN116647644B (zh) | 2023-06-06 | 2023-06-06 | 基于数字孪生技术的校园交互式监控方法以及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310660226.3A CN116647644B (zh) | 2023-06-06 | 2023-06-06 | 基于数字孪生技术的校园交互式监控方法以及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116647644A true CN116647644A (zh) | 2023-08-25 |
| CN116647644B CN116647644B (zh) | 2024-02-20 |
Family
ID=87639733
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310660226.3A Active CN116647644B (zh) | 2023-06-06 | 2023-06-06 | 基于数字孪生技术的校园交互式监控方法以及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116647644B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117710893A (zh) * | 2023-12-25 | 2024-03-15 | 上海盛煌智能科技有限公司 | 一种多维度数字画像智慧校园数字化系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103679129A (zh) * | 2012-09-21 | 2014-03-26 | 中兴通讯股份有限公司 | 一种图像中的目标物体识别方法及装置 |
| US20150063688A1 (en) * | 2013-09-05 | 2015-03-05 | Anurag Bhardwaj | System and method for scene text recognition |
| CN111178284A (zh) * | 2019-12-31 | 2020-05-19 | 珠海大横琴科技发展有限公司 | 基于地图数据的时空联合模型的行人重识别方法及系统 |
| CN111639551A (zh) * | 2020-05-12 | 2020-09-08 | 华中科技大学 | 基于孪生网络和长短期线索的在线多目标跟踪方法和系统 |
| CN114663579A (zh) * | 2022-02-14 | 2022-06-24 | 清华大学 | 孪生三维模型生成方法、装置、电子设备及存储介质 |
| CN115329676A (zh) * | 2022-08-23 | 2022-11-11 | 山东工艺美术学院 | 一种数字孪生的虚实同步终端设备及系统 |
| CN115690845A (zh) * | 2022-11-02 | 2023-02-03 | 深圳须弥云图空间科技有限公司 | 一种运动轨迹预测方法及装置 |
| CN116091724A (zh) * | 2023-02-16 | 2023-05-09 | 西安欧亚学院 | 一种建筑数字孪生建模方法 |
-
2023
- 2023-06-06 CN CN202310660226.3A patent/CN116647644B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103679129A (zh) * | 2012-09-21 | 2014-03-26 | 中兴通讯股份有限公司 | 一种图像中的目标物体识别方法及装置 |
| US20150063688A1 (en) * | 2013-09-05 | 2015-03-05 | Anurag Bhardwaj | System and method for scene text recognition |
| CN111178284A (zh) * | 2019-12-31 | 2020-05-19 | 珠海大横琴科技发展有限公司 | 基于地图数据的时空联合模型的行人重识别方法及系统 |
| CN111639551A (zh) * | 2020-05-12 | 2020-09-08 | 华中科技大学 | 基于孪生网络和长短期线索的在线多目标跟踪方法和系统 |
| CN114663579A (zh) * | 2022-02-14 | 2022-06-24 | 清华大学 | 孪生三维模型生成方法、装置、电子设备及存储介质 |
| CN115329676A (zh) * | 2022-08-23 | 2022-11-11 | 山东工艺美术学院 | 一种数字孪生的虚实同步终端设备及系统 |
| CN115690845A (zh) * | 2022-11-02 | 2023-02-03 | 深圳须弥云图空间科技有限公司 | 一种运动轨迹预测方法及装置 |
| CN116091724A (zh) * | 2023-02-16 | 2023-05-09 | 西安欧亚学院 | 一种建筑数字孪生建模方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117710893A (zh) * | 2023-12-25 | 2024-03-15 | 上海盛煌智能科技有限公司 | 一种多维度数字画像智慧校园数字化系统 |
| CN117710893B (zh) * | 2023-12-25 | 2024-05-10 | 上海盛煌智能科技有限公司 | 一种多维度数字画像智慧校园数字化系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116647644B (zh) | 2024-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101141633B (zh) | 一种复杂场景中的运动目标检测与跟踪方法 | |
| CN110807385A (zh) | 目标检测方法、装置、电子设备及存储介质 | |
| Ryan et al. | Scene invariant multi camera crowd counting | |
| US20140169639A1 (en) | Image Detection Method and Device | |
| CN108960124B (zh) | 用于行人再识别的图像处理方法及装置 | |
| CN112861635B (zh) | 一种基于深度学习的火灾及烟雾实时检测方法 | |
| CN111241989A (zh) | 图像识别方法及装置、电子设备 | |
| CN111723773B (zh) | 遗留物检测方法、装置、电子设备及可读存储介质 | |
| CN110826429A (zh) | 一种基于景区视频的旅游突发事件自动监测的方法及系统 | |
| CN116647644B (zh) | 基于数字孪生技术的校园交互式监控方法以及系统 | |
| CN109961425A (zh) | 一种动态水的水质识别方法 | |
| CN114373162B (zh) | 用于变电站视频监控的危险区域人员入侵检测方法及系统 | |
| CN114078127B (zh) | 物件的缺陷检测及计数方法、装置、设备和存储介质 | |
| CN112418100B (zh) | 基于图像分类与图像对比的公路车辆异常检测方法 | |
| KR102230559B1 (ko) | 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치 | |
| CN114882020B (zh) | 产品的缺陷检测方法、装置、设备及计算机可读介质 | |
| CN110765900A (zh) | 一种基于dssd的自动检测违章建筑方法及系统 | |
| CN114821978A (zh) | 一种误报警的消除方法、装置以及介质 | |
| CN114648718A (zh) | 道路占道检测方法、系统、电子设备及可读存储介质 | |
| CN114219073A (zh) | 属性信息的确定方法、装置、存储介质及电子装置 | |
| CN114445788A (zh) | 车辆停放检测方法、装置、终端设备和可读存储介质 | |
| CN115187884A (zh) | 一种高空抛物识别方法、装置、电子设备及存储介质 | |
| CN114067360A (zh) | 一种行人属性检测方法及装置 | |
| CN108510517B (zh) | 一种自适应的视觉背景提取方法及装置 | |
| Xu et al. | Crowd behaviours analysis in dynamic visual scenes of complex environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |