CN115527134A - 基于大数据的城市园林景观照明监测系统及其方法 - Google Patents

基于大数据的城市园林景观照明监测系统及其方法 Download PDF

Info

Publication number
CN115527134A
CN115527134A CN202211328989.XA CN202211328989A CN115527134A CN 115527134 A CN115527134 A CN 115527134A CN 202211328989 A CN202211328989 A CN 202211328989A CN 115527134 A CN115527134 A CN 115527134A
Authority
CN
China
Prior art keywords
feature map
illumination
training
monitoring
garden landscape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211328989.XA
Other languages
English (en)
Inventor
徐宝伟
李朝得
亓龙毅
张伶俐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Jiushuo Photoelectric Engineering Technology Co ltd
Original Assignee
Zhejiang Jiushuo Photoelectric Engineering Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Jiushuo Photoelectric Engineering Technology Co ltd filed Critical Zhejiang Jiushuo Photoelectric Engineering Technology Co ltd
Priority to CN202211328989.XA priority Critical patent/CN115527134A/zh
Publication of CN115527134A publication Critical patent/CN115527134A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及景观照明技术领域，其具体地公开了一种基于大数据的城市园林景观照明监测系统及其方法，其首先通过无人机采集城市园林景观照明监控视频以及城市园林景观照明参考视频，然后，使用基于深度学习的深度神经网络模型作为特征提取器将所述城市园林景观照明监控视频和所述城市园林景观照明参考视频映射到高维特征空间中，并通过计算两者在高维特征空间中的特征分布之间的差异来判断城市园林景观照明所呈现的视觉效果是否满足预定要求的，通过这样的方式，对城市园林景观照明系统的照明效果进行智能监控。

Description

基于大数据的城市园林景观照明监测系统及其方法
技术领域
本申请涉及景观照明技术领域，且更为具体地，涉及一种基于大数据的城市园林景观照明监测系统及其方法。
背景技术
伴随着社会的不断发展，人们对于生活品质的追求提出了更高的要求。在现代城市园林景观照明的设计中，不仅需要满足满足城市园林景观照明需求，还需要结合城市的发展规划，运用科学的照明设计来提升城市园林景观的形象，进而实现美化城市，改善生活环境的目的。
但是，这给城市园林景观照明的后期维护带来了新的挑战，传统的照明设备在维护时，主要看其照明性能是否满足应用需求，但是在现代城市园林景观照明中，各个照明设备不仅仅需要提供照明功能，还需要与其他照明设备相配合以实现美学设计目的。
因此，期待一种优化的城市园林景观照明监测方案。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于大数据的城市园林景观照明监测系统及其方法，其首先通过无人机采集城市园林景观照明监控视频以及城市园林景观照明参考视频，然后，使用基于深度学习的深度神经网络模型作为特征提取器将所述城市园林景观照明监控视频和所述城市园林景观照明参考视频映射到高维特征空间中，并通过计算两者在高维特征空间中的特征分布之间的差异来判断城市园林景观照明所呈现的视觉效果是否满足预定要求的，通过这样的方式，对城市园林景观照明系统的照明效果进行智能监控。
根据本申请的一个方面，提供了一种基于大数据的城市园林景观照明监测系统，其包括：
照明视频采集单元，用于获取由无人机采集的城市园林景观照明监控视频以及城市园林景观照明参考视频；
采样单元，用于以预定采样频率分别从所述城市园林景观照明监控视频以及所述城市园林景观照明参考视频提取多个照明监控关键帧和多个照明参考关键帧；
双重检测单元，用于将所述多个照明监控关键帧和多个照明参考关键帧分别通过包含第一图像编码器和第二图像编码器的双重检测模型以得到照明监控特征图和照明参考特征图；
特征增强单元，用于将所述照明监控特征图和所述照明参考特征图分别通过残差双注意力机制模型以得到增强照明监控特征图和增强照明参考特征图；
差分单元，用于计算所述增强照明监控特征图和所述增强照明参考特征图之间的差分特征图；以及
监测结果生成单元，用于将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示城市园林景观照明所呈现的视觉效果是否满足预定要求。
根据本申请的另一方面，提供了一种基于大数据的城市园林景观照明监测方法，其包括：
获取由无人机采集的城市园林景观照明监控视频以及城市园林景观照明参考视频；
以预定采样频率分别从所述城市园林景观照明监控视频以及所述城市园林景观照明参考视频提取多个照明监控关键帧和多个照明参考关键帧；
将所述多个照明监控关键帧和多个照明参考关键帧分别通过包含第一图像编码器和第二图像编码器的双重检测模型以得到照明监控特征图和照明参考特征图；
将所述照明监控特征图和所述照明参考特征图分别通过残差双注意力机制模型以得到增强照明监控特征图和增强照明参考特征图；
计算所述增强照明监控特征图和所述增强照明参考特征图之间的差分特征图；以及
将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示城市园林景观照明所呈现的视觉效果是否满足预定要求。
与现有技术相比，本申请提供的一种基于大数据的城市园林景观照明监测系统及其方法，其首先通过无人机采集城市园林景观照明监控视频以及城市园林景观照明参考视频，然后，使用基于深度学习的深度神经网络模型作为特征提取器将所述城市园林景观照明监控视频和所述城市园林景观照明参考视频映射到高维特征空间中，并通过计算两者在高维特征空间中的特征分布之间的差异来判断城市园林景观照明所呈现的视觉效果是否满足预定要求的，通过这样的方式，对城市园林景观照明系统的照明效果进行智能监控。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1图示了根据本申请实施例的基于大数据的城市园林景观照明监测系统及其方法的应用场景图。
图2图示了根据本申请实施例的基于大数据的城市园林景观照明监测系统及其方法的框图示意图。
图3图示了根据本申请实施例的基于大数据的城市园林景观照明监测系统及其方法中双重检测单元的框图。
图4图示了根据本申请实施例的基于大数据的城市园林景观照明监测系统及其方法中特征增强单元的框图。
图5图示了根据本申请实施例的基于大数据的城市园林景观照明监测系统及其方法中特征增强单元还包括的框图。
图6图示了根据本申请实施例的基于大数据的城市园林景观照明监测系统及其方法中训练模块的框图。
图7图示了根据本申请实施例的基于大数据的城市园林景观照明监测方法的流程图。
图8图示了根据本申请实施例的基于大数据的城市园林景观照明监测方法的系统架构的示意图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
场景概述
如上所述，虽然城市园林景观照明系统提升城市园林景观的形象和美化了城市。但是，这给城市园林景观照明的后期维护带来了新的挑战，传统的照明设备在维护时，主要看其照明性能是否满足应用需求，但是在现代城市园林景观照明中，各个照明设备不仅仅需要提供照明功能，还需要与其他照明设备相配合以实现美学设计目的。因此，期待一种优化的城市园林景观照明监测方案，其能够对城市园林景观照明系统进行监控，以确定城市园林景观照明系统的照明效果是否满足预定设计要求。
相应地，在本申请的技术方案中，可通过无人机来采集城市园林景观照明监控视频，并将所采集的城市园林景观照明监控视频与城市园林景观照明参考视频进行比较以确定城市园林景观照明系统的照明效果是否满足预定设计要求。但是，如果将两者直接在数据源域进行对比，一方面由于无人机在采集照明监控时频时所采取的飞行路线以及拍摄角度存在差异会导致城市园林景观照明监控视频在数据源域端存在诸多差异，另一方面在无人机采集采集照明监控时频时环境条件(例如，光照条件等)也各不相同这也会导致城市园林景观照明监控视频在数据源域端存在诸多差异，因此，无法直接通过两者在数据源域端的差异来作为判断城市园林景观照明所呈现的视觉效果是否满足预定要求的依据。
针对上述技术问题，在本申请的技术方案中，本申请的申请人利用基于深度学习的深度神经网络模型作为特征提取器将所述城市园林景观照明监控视频和所述城市园林景观照明参考视频映射到高维特征空间中，并通过两者在高维特征空间中的特征分布之间的差异来作为判断城市园林景观照明所呈现的视觉效果是否满足预定要求的依据。应可以理解，在进行特征提取时，基于深度学习的深度神经网络模型可通过预定训练策略使得其聚焦于照明效果特征，而忽略因环境条件、飞行路线以及拍摄角度所带来的图像差异信息，以此来提高城市园林景观照明所呈现的视觉效果的分类判断的精准度和智能性。
具体地，首先获取由无人机采集的城市园林景观照明监控视频以及城市园林景观照明参考视频。考虑到所述市园林景观照明监控视频以及城市园林景观照明参考视频的整个图像帧序列中许多连续帧是重复的或相似的，造成了信息冗余，增加了后续模型计算量。因此，在将所述城市园林景观照明监控视频和城市园林景观照明参考视频输入神经网络模型之前，对所述城市园林景观照明监控视频和所述城市园林景观照明参考视频进行采样处理，例如，以预定采样频率分别从所述城市园林景观照明监控视频以及所述城市园林景观照明参考视频提取多个照明监控关键帧和多个照明参考关键帧，这里，所述预定采样频率并非固定值而是可以基于应用场景自适应调整的设置值。
接着，将所述多个照明监控关键帧和多个照明参考关键帧分别通过包含第一图像编码器和第二图像编码器的双重检测模型以得到照明监控特征图和照明参考特征图。特别地，在本申请的技术方案中，所述第一图像编码器和所述第二图像编码器具有相同的网络结构，以使得两者具有相同的特征提取性能。例如，在本申请一个具体的示例中，所述第一图像编码器和所述第二图像编码器为使用三维卷积核的卷积神经网络模型，其使用三维卷积核作为特征提取因子来提取照明视频中各个图像帧的局部照明特征在时序维度上的关联特征表示。
应注意到，在本申请的技术方案中，所述第一图像编码器和所述第二图像编码器使用卷积神经网络模型作为特征提取器来进行照明效果特征提取，但是，网络经过一系列卷积之后，会得到部分特征信息，但不会自动区分高低频间的详细信息与各个类别特征间的差异性，网络选择性地使用特征的能力有限，鉴于注意力机制能够选择聚焦位置，产生更具分辨性的特征表示，且加入注意力模块后的特征会随着网络的加深产生适应性的改变，因此，在本申请的技术方案中，引入残差双注意力机制模型来增强所述城市园林景观照明监控视频的照明效果特征与所述城市园林景观照明参考视频的照明效果特征之间的差异。
在所述残差双注意力机制模型的编码过程中，其首先将所述照明监控特征图和所述照明参考特征图作为输入分别进行通道注意力和空间注意力操作进行特征提取，接着通过结合判别相关分析的特征融合技术将通道注意力特征图FCM和空间注意力特征图FSM相加，也就是，分析变量的相关关系来增强同类特征之间的相关性，然后经过一个Si gmo i d函数来学习特征通道间的非线性关系，再逐元素与原特征相乘，得到经过自适应特征学习后的加权特征图F′，最后经过一个全局跳连将深浅层特征融合来进行信息重构，避免了高分辨率特征经过一系列操作后导致的信息丢失问题，其目标特征得到了充分学习与强化。
在得到所述增强照明监控特征图和所述增强照明参考特征图后，进一步计算所述增强照明监控特征图和所述增强照明参考特征图之间的差分特征图。也就是，以所述差分特征图来表示两者在高维特征空间中的特征分布之间的差异，并将所述差分特征图通过分类器以得到用于表示城市园林景观照明所呈现的视觉效果是否满足预定要求的分类结果。
这里，在本申请的技术方案中，通过图像编码器，可以在所述照明监控特征图和所述照明参考特征图中表达所述多个照明监控关键帧和所述多个照明参考关键帧中的高维图像语义特征，并通过残差双注意力机制模型，在所述增强照明监控特征图和所述增强照明参考特征图中增强了图像语义分布的差异，从而使得所述差分特征图对于差异特征具有更好的表达效果。但是同时，由于图像语义分布的差异被拉大，使得差分特征图的整体特征分布变得发散，影响了在分类器中进行分类时分类器的训练速度和分类特征向量的分类结果的准确性。
因此，优选地，在模型的训练过程中，使用跨分类器的远程分布描述性增强来优化所述差分特征图的分类过程，具体地，在分类过程中，在每次分类器的权重矩阵的迭代过程中，通过下式来计算分类器的输入，具体表示为：
Figure BDA0003912465720000061
V是所述训练差分特征图展开得到的特征向量，M1为远程迁移矩阵，M2为分类器的初始全连接权重矩阵，且Vp为惩罚向量，其中所述远程迁移矩阵M1初始可设置为所述初始全连接权重矩阵M2的全局均值构成的矩阵，且所述惩罚向量Vp可设置为所述分类特征向量V的全局均值构成的向量。
这里，通过以具有可学习的参数的矩阵M1来对跨分类器的分布迁移进行特征分布的支持性描述，来支持优化后的分类特征向量V′跨分类器的全连接权重矩阵M2的远程分布对预定分类的类概率的描述性，其中惩罚向量Vp作为偏置并以ReLU激活函数进行激活，来保留具有正向作用的分布描述依赖的增强，从而提升了分类器的训练速度和分类特征向量的分类结果的准确性。
基于此，本申请提供了一种基于大数据的城市园林景观照明监测系统，其包括：照明视频采集单元，用于获取由无人机采集的城市园林景观照明监控视频以及城市园林景观照明参考视频；采样单元，用于以预定采样频率分别从所述城市园林景观照明监控视频以及所述城市园林景观照明参考视频提取多个照明监控关键帧和多个照明参考关键帧；双重检测单元，用于将所述多个照明监控关键帧和多个照明参考关键帧分别通过包含第一图像编码器和第二图像编码器的双重检测模型以得到照明监控特征图和照明参考特征图；特征增强单元，用于将所述照明监控特征图和所述照明参考特征图分别通过残差双注意力机制模型以得到增强照明监控特征图和增强照明参考特征图；差分单元，用于计算所述增强照明监控特征图和所述增强照明参考特征图之间的差分特征图；以及，监测结果生成单元，用于将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示城市园林景观照明所呈现的视觉效果是否满足预定要求。
图1图示了根据本申请实施例的基于大数据的城市园林景观照明监测系统及其方法的应用场景图。如图1所示，在该应用场景中，图1图示了根据本申请实施例的基于大数据的城市园林景观照明监测系统及其方法的应用场景图。如图1所示，在该应用场景中，通过无人机(例如，如图1中所示意的V)上的摄像头(例如，如图1中所示意的C)采集城市园林景观照明系统(其中，所述城市园林景观照明系统包括一系列照明设备，例如，如图1中所示意的L1至Ln)的城市园林景观照明监控视频以及城市园林景观照明参考视频，然后，将采集的所述城市园林景观照明监控视频以及所述城市园林景观照明参考视频输入至部署有城市园林景观照明监测算法的服务器中(例如，图1中所示意的S)，其中，所述服务器能够使用所述城市园林景观照明监测算法对所述城市园林景观照明监控视频以及所述城市园林景观照明参考视频进行处理以生成用于表示城市园林景观照明所呈现的视觉效果是否满足预定要求的分类结果。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性系统
图2图示了根据本申请实施例的基于大数据的城市园林景观照明监测系统的框图示意图。如图2所示，根据本申请实施例的所述基于大数据的城市园林景观照明监测系统100，包括：照明视频采集单元110，用于获取由无人机采集的城市园林景观照明监控视频以及城市园林景观照明参考视频；采样单元120，用于以预定采样频率分别从所述城市园林景观照明监控视频以及所述城市园林景观照明参考视频提取多个照明监控关键帧和多个照明参考关键帧；双重检测单元130，用于将所述多个照明监控关键帧和多个照明参考关键帧分别通过包含第一图像编码器和第二图像编码器的双重检测模型以得到照明监控特征图和照明参考特征图；特征增强单元140，用于将所述照明监控特征图和所述照明参考特征图分别通过残差双注意力机制模型以得到增强照明监控特征图和增强照明参考特征图；差分单元150，用于计算所述增强照明监控特征图和所述增强照明参考特征图之间的差分特征图；以及，监测结果生成单元160，用于将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示城市园林景观照明所呈现的视觉效果是否满足预定要求。
在本申请实施例中，所述照明视频采集单元110，用于获取由无人机采集的城市园林景观照明监控视频以及城市园林景观照明参考视频。如上所述，传统的照明设备在维护时，主要看其照明性能是否满足应用需求。但是，在现代城市园林景观照明中，各个照明设备不仅仅需要提供照明功能，还需要与其他照明设备相配合以实现美学设计目的。因此，期待一种优化的城市园林景观照明监测方案，其能够对城市园林景观照明系统进行监控，以确定城市园林景观照明系统的照明效果是否满足预定设计要求。
具体的，在本申请的技术方案中，可通过无人机来采集城市园林景观照明监控视频，并将所采集的城市园林景观照明监控视频与城市园林景观照明参考视频进行比较以确定城市园林景观照明系统的照明效果是否满足预定设计要求。但是，如果将两者直接在数据源域进行对比，一方面由于无人机在采集照明监控时频时所采取的飞行路线以及拍摄角度存在差异会导致城市园林景观照明监控视频在数据源域端存在诸多差异，另一方面在无人机采集采集照明监控时频时环境条件(例如，光照条件等)也各不相同这也会导致城市园林景观照明监控视频在数据源域端存在诸多差异，因此，无法直接通过两者在数据源域端的差异来作为判断城市园林景观照明所呈现的视觉效果是否满足预定要求的依据。
针对上述技术问题，在本申请的技术方案中，本申请的申请人利用基于深度学习的深度神经网络模型作为特征提取器将所述城市园林景观照明监控视频和所述城市园林景观照明参考视频映射到高维特征空间中，并通过两者在高维特征空间中的特征分布之间的差异来作为判断城市园林景观照明所呈现的视觉效果是否满足预定要求的依据。应可以理解，在进行特征提取时，基于深度学习的深度神经网络模型可通过预定训练策略使得其聚焦于照明效果特征，而忽略因环境条件、飞行路线以及拍摄角度所带来的图像差异信息，以此来提高城市园林景观照明所呈现的视觉效果的分类判断的精准度和智能性。
在本申请实施例中，所述采样单元120，用于以预定采样频率分别从所述城市园林景观照明监控视频以及所述城市园林景观照明参考视频提取多个照明监控关键帧和多个照明参考关键帧。应可以理解，考虑到所述市园林景观照明监控视频以及城市园林景观照明参考视频的整个图像帧序列中许多连续帧是重复的或相似的，造成了信息冗余，增加了后续模型计算量。因此，在将所述城市园林景观照明监控视频和城市园林景观照明参考视频输入神经网络模型之前，对所述城市园林景观照明监控视频和所述城市园林景观照明参考视频进行采样处理，例如，以预定采样频率分别从所述城市园林景观照明监控视频以及所述城市园林景观照明参考视频提取多个照明监控关键帧和多个照明参考关键帧，这里，所述预定采样频率并非固定值而是可以基于应用场景自适应调整的设置值。
在本申请实施例中，所述双重检测单元130，用于将所述多个照明监控关键帧和多个照明参考关键帧分别通过包含第一图像编码器和第二图像编码器的双重检测模型以得到照明监控特征图和照明参考特征图。应可以理解，考虑到卷积神经网络模型在图像的局部隐藏特征提取方面具有优异表现，因此，在本申请技术方案中，将所述多个照明监控关键帧和多个照明参考关键帧分别通过包含第一图像编码器和第二图像编码器的双重检测模型以提取所述照明监控视频和所述照明参考视频的局部隐含特征分布信息，从而得到所述照明监控特征图和所述照明参考特征图。
在本申请一个具体的实施例中，所述第一图像编码器和所述第二图像编码器具有相同的网络结构，所述第一图像编码器和所述第二图像编码器为使用三维卷积核的卷积神经网络模型。应可以理解，考虑到所述城市园林景观照明监控视频和所述城市园林景观照明参考视频在源域端的数据量和数据分布都相同，因此所述第一图像编码器和第二图像编码器使用相同的网络结构，进而使通过所述第一图像编码器和第二图像编码器获得的特征图维度和大小统一，便于后续的在高维特征空间中的特征分布差异计算。同时，考虑到二维卷积核只有宽和高两个维度，只能提取各个照明监控关键帧的局部关联隐含特征，无法提取出各个照明监控关键帧之间的关联隐含特征，而三维卷积核具有通道这个维度，其可以提取出所述特征图的局部关联特征沿通道维度(在本申请中为时间维度)的隐含关联特征。
图3图示了根据本申请实施例的基于大数据的城市园林景观照明监测系统及其方法中双重检测单元的框图。在本申请一个具体的实施例中，所述双重检测单元130，包括：第一图像编码子单元131和第二图像编码子单元132。其中，第一图像编码子单元131，用于使用所述第一图像编码器的各层在层的正向传递中分别对输入数据进行基于所述三维卷积核的三维卷积处理、池化处理和非线性激活处理以由所述第一图像编码器的最后一层输出所述照明监控特征图；以及，第二图像编码子单元132，用于使用所述第二图像编码器的各层在层的正向传递中分别对输入数据进行基于所述三维卷积核的三维卷积处理、池化处理和非线性激活处理以由所述第二图像编码器的最后一层输出所述照明参考特征图。
在本申请实施例中，所述特征增强单元140，用于将所述照明监控特征图和所述照明参考特征图分别通过残差双注意力机制模型以得到增强照明监控特征图和增强照明参考特征图。应可以理解，在本申请的技术方案中，所述第一图像编码器和所述第二图像编码器使用卷积神经网络模型作为特征提取器来进行照明效果特征提取，但是，网络经过一系列卷积之后，会得到部分特征信息，但不会自动区分高低频间的详细信息与各个类别特征间的差异性，网络选择性地使用特征的能力有限，鉴于注意力机制能够选择聚焦位置，产生更具分辨性的特征表示，且加入注意力模块后的特征会随着网络的加深产生适应性的改变，因此，在本申请的技术方案中，引入残差双注意力机制模型来增强所述城市园林景观照明监控视频的照明效果特征与所述城市园林景观照明参考视频的照明效果特征之间的差异。
在所述残差双注意力机制模型的编码过程中，其首先将所述照明监控特征图和所述照明参考特征图作为输入分别进行通道注意力和空间注意力操作进行特征提取，接着通过结合判别相关分析的特征融合技术将通道注意力特征图FCM和空间注意力特征图FSM相加，也就是，分析变量的相关关系来增强同类特征之间的相关性，然后经过一个Sigmoid函数来学习特征通道间的非线性关系，再逐元素与原特征相乘，得到经过自适应特征学习后的加权特征图F′，最后经过一个全局跳连将深浅层特征融合来进行信息重构，避免了高分辨率特征经过一系列操作后导致的信息丢失问题，其目标特征得到了充分学习与强化。
图4图示了根据本申请实施例的基于大数据的城市园林景观照明监测系统及其方法中特征增强单元的框图。在本申请一个具体的实施例中，所述特征增强单元140，包括：第一注意力编码子单元141，用于将所述照明监控特征图分别输入所述残差双注意力机制模型的空间注意力模块和通道注意力模块以得到第一空间注意力图和第一通道注意力图；第一注意力融合子单元142，用于融合所述第一空间注意力图和第一通道注意力图以得到第一多维度注意力图；第一激活子单元143，用于将所述第一多维度注意力图输入Sigmoid激活函数以得到第一多维度注意力特征图；第一注意力施加单元144，用于计算所述第一多维度注意力特征图和所述照明监控特征图的按位置点乘以得到第一注意力特征图；以及，第一残差级联单元145，用于计算所述第一注意力特征图和所述照明监控特征图的按位置加权和以得到所述增强照明监控特征图。
图5图示了根据本申请实施例的基于大数据的城市园林景观照明监测系统及其方法中特征增强单元还包括的框图。在本申请一个具体的实施例中，所述特征增强单元140，还包括：第二注意力编码子单元146，用于将所述照明监控特征图分别输入所述残差双注意力机制模型的空间注意力模块和通道注意力模块以得到第二空间注意力图和第二通道注意力图；第二注意力融合子单元147，用于融合所述第二空间注意力图和第二通道注意力图以得到第二多维度注意力图；第二激活子单元148，用于将所述第二多维度注意力图输入Sigmoid激活函数以得到第二多维度注意力特征图；第二注意力施加单元149，用于计算所述第二多维度注意力特征图和所述照明监控特征图的按位置点乘以得到第二注意力特征图；以及，第二残差级联单元1410，用于计算所述第二注意力特征图和所述照明监控特征图的按位置加权和以得到所述增强照明参考特征图。
更具体地，在本申请一个实施例中，所述第一注意力编码子单元141，包括：通道注意力二级子单元和空间注意力二级子单元。其中，所述通道注意力二级子单元，用于对所述照明监控特征图进行沿通道维度的全局均值池化以得到通道特征向量，并将所述通道特征向量通过Softmax函数以得到归一化通道特征向量；然后，以所述归一化通道特征向量中各个位置的特征值作为权重对所述照明监控特征图的沿通道维度的特征矩阵进行加权以得到通道注意力特征图。以及，所述空间注意力二级子单元，用于使用所述残差双注意力机制模型的空间注意力模块的卷积层对所述照明监控特征图进行卷积编码以得到卷积特征图，并将所述空间注意力图通过Softmax函数以得到空间注意力得分图；然后，将所述空间注意力得分图与所述照明监控特征图进行按位置点乘以得到空间注意力特征图。
在本申请实施例中，所述差分单元150，用于计算所述增强照明监控特征图和所述增强照明参考特征图之间的差分特征图。应可以理解，为了进行分类，通过计算所述增强照明监控特征图和所述增强照明参考特征图之间的差分特征图来计算出所述城市园林景观照明监控视频和所述城市园林景观照明参考视频在高维特征空间中的特征分布之间的差异。
在本申请一个具体的实施例中，所述差分单元150，进一步用于：以如下公式计算所述增强照明监控特征图和所述照明监控特征图之间的所述差分特征图，包括：其中，所述公式为：
Figure BDA0003912465720000121
其中，Fa表示所述增强照明监控特征图，
Figure BDA0003912465720000122
表示按位置作差，Fb表示所述照明监控特征图，且F表示所述差分特征图。
在本申请实施例中，所述监测结果生成单元160，用于将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示城市园林景观照明所呈现的视觉效果是否满足预定要求。也就是，以所述城市园林景观照明监控视频和所述城市园林景观照明参考视频在高维特征空间中的特征分布之间的差异作为依据来判断城市园林景观照明所呈现的视觉效果是否满足预定要求，通过这样的方式，以精准的对城市园林景观照明系统进行监控，从而及时对城市园林景观照明系统进行维修，进而提高城市园林景观照明所呈现的视觉效果。
在本申请一个具体的实施例中，所述监测结果生成单元160，进一步用于：使用所述分类器以如下公式对所述差分特征图进行处理以获得第一分类结果；其中，所述公式为：O＝softmax{(Wc,Bc)|Project(F)}，其中Project(F)表示将所述差分特征图投影为向量，Wc为全连接层的权重矩阵，Bc表示偏置向量。
也就是，将通过将所述差分特征图按行展开为行向量，以将所述差分特征图降维成一维的向量，然后，再使用所述分类器的全连接层对所述行向量进行全连接编码以充分利用所述差分特征图中各个位置的信息从而得到分类特征向量。然后，计算所述一维的分类特征向量的Softmax函数值，即，所述分类特征向量归属于各个分类标签的概率值，在本申请实施例中，所述分类标签包括城市园林景观照明所呈现的视觉效果满足预定要求(第一标签)以及城市园林景观照明所呈现的视觉效果不满足预定要求(第二标签)。最后，将概率值较大者对应的标签作为所述分类结果。
更近一步，在本申请一个实施例中，还包括有报警设备，当分类结果为城市园林景观照明所呈现的视觉效果满足预定要求时，报警设备就行警告，以提醒维修人员及时维修。
图6图示了根据本申请实施例的基于大数据的城市园林景观照明监测系统及其方法中训练模块的框图。如图6所示，在本申请一个具体的实施例中，所述基于大数据的城市园林景观照明监测系统100还包括用于对所述双重检测模型、所述残差双注意力机制模型和所述分类器进行训练的训练模块200；其中，所述训练模块200，包括：训练数据获取单元210，用于获取训练数据，所述训练数据包括训练城市园林景观照明监控视频和训练城市园林景观照明参考视频，以及，所述城市园林景观照明所呈现的视觉效果是否满足预定要求的真实值；训练采样单元220，用于以预定采样频率分别从所述训练城市园林景观照明监控视频以及所述训练城市园林景观照明参考视频提取多个训练照明监控关键帧和多个训练照明参考关键帧；训练双重检测单元230，用于将所述多个训练照明监控关键帧和多个训练照明参考关键帧分别通过所述包含第一图像编码器和第二图像编码器的双重检测模型以得到训练照明监控特征图和训练照明参考特征图；训练特征增强单元240，用于将所述训练照明监控特征图和所述训练照明参考特征图分别通过所述残差双注意力机制模型以得到训练增强照明监控特征图和训练增强照明参考特征图；训练差分单元250，用于计算所述训练增强照明监控特征图和所述训练增强照明参考特征图之间的训练差分特征图；分类损失单元260，用于将所述训练差分特征图通过所述分类器以得到分类损失函数值；以及，训练单元270，用于基于所述分类损失函数值并以梯度下降的反向传播对所述包含第一图像编码器和第二图像编码器的双重检测模型、所述残差双注意力机制模型和所述分类器进行训练，其中，在所述训练的每一轮迭代中，基于所述分类器在每次迭代更新前后的权重矩阵对由所述训练差分特征图展开得到的训练差分特征向量进行迭代。
在该实施例中，所述训练数据获取单元210、所述训练采样单元220、所述训练双重检测单元230、所述训练特征增强单元240以及所述训练差分单元250，用于获取训练数据，所述训练数据包括训练城市园林景观照明监控视频和训练城市园林景观照明参考视频，以及，所述城市园林景观照明所呈现的视觉效果是否满足预定要求的真实值。然后，以预定采样频率分别从所述训练城市园林景观照明监控视频以及所述训练城市园林景观照明参考视频提取多个训练照明监控关键帧和多个训练照明参考关键帧，并将所述多个训练照明监控关键帧和多个训练照明参考关键帧分别通过所述包含第一图像编码器和第二图像编码器的双重检测模型以得到训练照明监控特征图和训练照明参考特征图。接着，将所述训练照明监控特征图和所述训练照明参考特征图分别通过所述残差双注意力机制模型以得到训练增强照明监控特征图和训练增强照明参考特征图，并计算所述训练增强照明监控特征图和所述训练增强照明参考特征图之间的训练差分特征图。应可以理解上述五个单元执行的具体功能和操作与所述照明视频采集单元110、所述采样单元120、所述双重检测单元130、所述特征增强单元140以及所述差分单元150的具体功能和操作相似，并因此，将省略其重复描述。
在该实施例中，所述分类损失单元260，用于将所述训练差分特征图通过所述分类器以得到分类损失函数值。也就是，将所述训练差分特征图通过所述分类器以得到分类结果，再将分类结果与所述城市园林景观照明所呈现的视觉效果是否满足预定要求的真实值进行比较并计算交叉熵数值作为所述分类损失函数值。
在本申请一个具体的实施例中，所述分类损失单元280，包括：全连接编码单元，用于使用所述分类器的全连接层对所述训练差分特征图进行全连接编码以获得训练分类特征向量；训练分类结果获得单元，用于将所述训练分类特征向量输入所述分类器的Softmax分类函数以获得训练分类结果；以及，分类损失函数值计算单元，用于计算所述训练分类结果与所述城市园林景观照明所呈现的视觉效果是否满足预定要求的真实值之间的交叉熵数值作为所述分类损失函数值。
在该实施例中，所述训练单元270，用于基于所述分类损失函数值并以梯度下降的反向传播对所述包含第一图像编码器和第二图像编码器的双重检测模型、所述残差双注意力机制模型和所述分类器进行训练，其中，在所述训练的每一轮迭代中，基于所述分类器在每次迭代更新前后的权重矩阵对由所述训练差分特征图展开得到的训练差分特征向量进行迭代。应可以理解，在本申请的技术方案中，通过图像编码器，可以在所述照明监控特征图和所述照明参考特征图中表达所述多个照明监控关键帧和所述多个照明参考关键帧中的高维图像语义特征，并通过残差双注意力机制模型，在所述增强照明监控特征图和所述增强照明参考特征图中增强了图像语义分布的差异，从而使得所述差分特征图对于差异特征具有更好的表达效果。但是同时，由于图像语义分布的差异被拉大，使得差分特征图的整体特征分布变得发散，影响了在分类器中进行分类时分类器的训练速度和分类特征向量的分类结果的准确性。因此，优选地，在模型的训练过程中，使用跨分类器的远程分布描述性增强来优化所述差分特征图的分类过程。
在本申请一个具体的实施例中，在所述训练的每一轮迭代中，基于所述分类器在每次迭代更新前后的权重矩阵以如下公式对由所述训练差分特征图展开得到的特征向量进行迭代，其中，所述公式为：
Figure BDA0003912465720000151
其中，V是所述训练差分特征图展开得到的特征向量，M1为远程迁移矩阵，M2为分类器的初始全连接权重矩阵，Vp为惩罚向量，
Figure BDA0003912465720000152
表示按位置加法，
Figure BDA0003912465720000153
表示按位置作差，
Figure BDA0003912465720000154
表示矩阵相乘，exp(·)表示指数运算，ReLU(·)表示线性整流函数。
这里，通过以具有可学习的参数的矩阵M1来对跨分类器的分布迁移进行特征分布的支持性描述，来支持优化后的分类特征向量V′跨分类器的全连接权重矩阵M2的远程分布对预定分类的类概率的描述性，其中惩罚向量Vp作为偏置并以ReLU激活函数进行激活，来保留具有正向作用的分布描述依赖的增强，从而提升了分类器的训练速度和分类特征向量的分类结果的准确性。
综上，基于本申请实施例的所述基于大数据的城市园林景观照明监测系统，其首先通过无人机采集城市园林景观照明监控视频以及城市园林景观照明参考视频，然后，使用基于深度学习的深度神经网络模型作为特征提取器将所述城市园林景观照明监控视频和所述城市园林景观照明参考视频映射到高维特征空间中，并通过计算两者在高维特征空间中的特征分布之间的差异来判断城市园林景观照明所呈现的视觉效果是否满足预定要求的，通过这样的方式，对城市园林景观照明系统的照明效果进行智能监控。
示例性方法
图7图示了根据本申请实施例的基于大数据的城市园林景观照明监测方法的流程图。如图7所示，根据本申请实施例的所述基于大数据的城市园林景观照明监测方法，包括：S110，获取由无人机采集的城市园林景观照明监控视频以及城市园林景观照明参考视频；S120，以预定采样频率分别从所述城市园林景观照明监控视频以及所述城市园林景观照明参考视频提取多个照明监控关键帧和多个照明参考关键帧；S130，将所述多个照明监控关键帧和多个照明参考关键帧分别通过包含第一图像编码器和第二图像编码器的双重检测模型以得到照明监控特征图和照明参考特征图；S140，将所述照明监控特征图和所述照明参考特征图分别通过残差双注意力机制模型以得到增强照明监控特征图和增强照明参考特征图；S150，计算所述增强照明监控特征图和所述增强照明参考特征图之间的差分特征图；以及，S160，将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示城市园林景观照明所呈现的视觉效果是否满足预定要求。
图8图示了根据本申请实施例的基于大数据的城市园林景观照明监测方法的系统架构的示意图。如图8所示，在本申请实施例中，首先，获取城市园林景观照明监控视频，并以预定采样频率从所述城市园林景观照明监控视频提取多个照明监控关键帧。然后，将所述多个照明监控关键帧通过双重检测模型的第一图像编码器以得到照明监控特征图，并将所述照明监控特征图通过残差双注意力机制模型以得到增强照明监控特征图。同时，获取城市园林景观照明参考视频，并以预定采样频率从所述城市园林景观照明参考视频提取多个照明参考关键帧。然后，将所述多个照明参考关键帧通过双重检测模型的第一图像编码器以得到照明参考特征图，并将所述照明参考特征图通过残差双注意力机制模型以得到增强照明参考特征图。接着，计算所述增强照明监控特征图和所述增强照明参考特征图之间的差分以得到差分特征图。最后，将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示城市园林景观照明所呈现的视觉效果是否满足预定要求。
这里，本领域技术人员可以理解，上述基于大数据的城市园林景观照明监测方法中的各个步骤的具体操作已经在上面参考图1到图6的基于大数据的城市园林景观照明监测系统的描述中得到了详细介绍，并因此，将省略其重复描述。

Claims (10)

1.一种基于大数据的城市园林景观照明监测系统，其特征在于，包括：
照明视频采集单元，用于获取由无人机采集的城市园林景观照明监控视频以及城市园林景观照明参考视频；
采样单元，用于以预定采样频率分别从所述城市园林景观照明监控视频以及所述城市园林景观照明参考视频提取多个照明监控关键帧和多个照明参考关键帧；
双重检测单元，用于将所述多个照明监控关键帧和多个照明参考关键帧分别通过包含第一图像编码器和第二图像编码器的双重检测模型以得到照明监控特征图和照明参考特征图；
特征增强单元，用于将所述照明监控特征图和所述照明参考特征图分别通过残差双注意力机制模型以得到增强照明监控特征图和增强照明参考特征图；
差分单元，用于计算所述增强照明监控特征图和所述增强照明参考特征图之间的差分特征图；以及
监测结果生成单元，用于将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示城市园林景观照明所呈现的视觉效果是否满足预定要求。
2.根据权利要求1所述的基于大数据的城市园林景观照明监测系统，其特征在于，所述第一图像编码器和所述第二图像编码器具有相同的网络结构，所述第一图像编码器和所述第二图像编码器为使用三维卷积核的卷积神经网络模型。
3.根据权利要求2所述的基于大数据的城市园林景观照明监测系统，其特征在于，所述双重检测单元，包括：
第一图像编码子单元，用于使用所述第一图像编码器的各层在层的正向传递中分别对输入数据进行基于所述三维卷积核的三维卷积处理、池化处理和非线性激活处理以由所述第一图像编码器的最后一层输出所述照明监控特征图；以及
第二图像编码子单元，用于使用所述第二图像编码器的各层在层的正向传递中分别对输入数据进行基于所述三维卷积核的三维卷积处理、池化处理和非线性激活处理以由所述第二图像编码器的最后一层输出所述照明参考特征图。
4.根据权利要求3所述的基于大数据的城市园林景观照明监测系统，其特征在于，所述特征增强单元，包括：
第一注意力编码子单元，用于将所述照明监控特征图分别输入所述残差双注意力机制模型的空间注意力模块和通道注意力模块以得到第一空间注意力图和第一通道注意力图；
第一注意力融合子单元，用于融合所述第一空间注意力图和第一通道注意力图以得到第一多维度注意力图；
第一激活子单元，用于将所述第一多维度注意力图输入Sigmoid激活函数以得到第一多维度注意力特征图；
第一注意力施加单元，用于计算所述第一多维度注意力特征图和所述照明监控特征图的按位置点乘以得到第一注意力特征图；以及
第一残差级联单元，用于计算所述第一注意力特征图和所述照明监控特征图的按位置加权和以得到所述增强照明监控特征图。
5.根据权利要求4所述的基于大数据的城市园林景观照明监测系统，其特征在于，所述特征增强单元，还包括：
第二注意力编码子单元，用于将所述照明监控特征图分别输入所述残差双注意力机制模型的空间注意力模块和通道注意力模块以得到第二空间注意力图和第二通道注意力图；
第二注意力融合子单元，用于融合所述第二空间注意力图和第二通道注意力图以得到第二多维度注意力图；
第二激活子单元，用于将所述第二多维度注意力图输入Sigmoid激活函数以得到第二多维度注意力特征图；
第二注意力施加单元，用于计算所述第二多维度注意力特征图和所述照明监控特征图的按位置点乘以得到第二注意力特征图；以及
第二残差级联单元，用于计算所述第二注意力特征图和所述照明监控特征图的按位置加权和以得到所述增强照明参考特征图。
6.根据权利要求5所述的基于大数据的城市园林景观照明监测系统，其特征在于，所述差分单元，进一步用于：以如下公式计算所述增强照明监控特征图和所述照明监控特征图之间的所述差分特征图，包括：
其中，所述公式为：
Figure FDA0003912465710000032
其中，Fa表示所述增强照明监控特征图，
Figure FDA0003912465710000031
表示按位置作差，Fb表示所述照明监控特征图，且F表示所述差分特征图。
7.根据权利要求6所述的基于大数据的城市园林景观照明监测系统，其特征在于，所述监测结果生成单元，进一步用于：使用所述分类器以如下公式对所述差分特征图进行处理以获得第一分类结果；
其中，所述公式为：O＝softmax{(Wc,Bc)|Project(F)}，其中Project(F)表示将所述差分特征图投影为向量，Wc为全连接层的权重矩阵，Bc表示偏置向量。
8.根据权利要求1所述的基于大数据的城市园林景观照明监测系统，其特征在于，还包括用于对所述双重检测模型、所述残差双注意力机制模型和所述分类器进行训练的训练模块；
其中，所述训练模块，包括：
训练数据获取单元，用于获取训练数据，所述训练数据包括训练城市园林景观照明监控视频和训练城市园林景观照明参考视频，以及，所述城市园林景观照明所呈现的视觉效果是否满足预定要求的真实值；
训练采样单元，用于以预定采样频率分别从所述训练城市园林景观照明监控视频以及所述训练城市园林景观照明参考视频提取多个训练照明监控关键帧和多个训练照明参考关键帧；
训练双重检测单元，用于将所述多个训练照明监控关键帧和多个训练照明参考关键帧分别通过所述包含第一图像编码器和第二图像编码器的双重检测模型以得到训练照明监控特征图和训练照明参考特征图；
训练特征增强单元，用于将所述训练照明监控特征图和所述训练照明参考特征图分别通过所述残差双注意力机制模型以得到训练增强照明监控特征图和训练增强照明参考特征图；
训练差分单元，用于计算所述训练增强照明监控特征图和所述训练增强照明参考特征图之间的训练差分特征图；
分类损失单元，用于将所述训练差分特征图通过所述分类器以得到分类损失函数值；以及
训练单元，用于基于所述分类损失函数值并以梯度下降的反向传播对所述包含第一图像编码器和第二图像编码器的双重检测模型、所述残差双注意力机制模型和所述分类器进行训练，其中，在所述训练的每一轮迭代中，基于所述分类器在每次迭代更新前后的权重矩阵对由所述训练差分特征图展开得到的训练差分特征向量进行迭代。
9.根据权利要求8所述的基于大数据的城市园林景观照明监测系统，其特征在于，在所述训练的每一轮迭代中，基于所述分类器在每次迭代更新前后的权重矩阵以如下公式对由所述训练差分特征图展开得到的特征向量进行迭代，其中，所述公式为：
Figure FDA0003912465710000041
其中，V是所述训练差分特征图展开得到的特征向量，M1为远程迁移矩阵，M2为分类器的初始全连接权重矩阵，Vp为惩罚向量，
Figure FDA0003912465710000042
表示按位置加法，
Figure FDA0003912465710000043
表示按位置作差，
Figure FDA0003912465710000044
表示矩阵相乘，exp(·)表示指数运算，ReLU(·)表示线性整流函数。
10.一种基于大数据的城市园林景观照明监测方法，其特征在于，包括：
获取由无人机采集的城市园林景观照明监控视频以及城市园林景观照明参考视频；
以预定采样频率分别从所述城市园林景观照明监控视频以及所述城市园林景观照明参考视频提取多个照明监控关键帧和多个照明参考关键帧；
将所述多个照明监控关键帧和多个照明参考关键帧分别通过包含第一图像编码器和第二图像编码器的双重检测模型以得到照明监控特征图和照明参考特征图；
将所述照明监控特征图和所述照明参考特征图分别通过残差双注意力机制模型以得到增强照明监控特征图和增强照明参考特征图；
计算所述增强照明监控特征图和所述增强照明参考特征图之间的差分特征图；以及
将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示城市园林景观照明所呈现的视觉效果是否满足预定要求。
CN202211328989.XA 2022-10-27 2022-10-27 基于大数据的城市园林景观照明监测系统及其方法 Pending CN115527134A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211328989.XA CN115527134A (zh) 2022-10-27 2022-10-27 基于大数据的城市园林景观照明监测系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211328989.XA CN115527134A (zh) 2022-10-27 2022-10-27 基于大数据的城市园林景观照明监测系统及其方法

Publications (1)

Publication Number Publication Date
CN115527134A true CN115527134A (zh) 2022-12-27

Family

ID=84703591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211328989.XA Pending CN115527134A (zh) 2022-10-27 2022-10-27 基于大数据的城市园林景观照明监测系统及其方法

Country Status (1)

Country Link
CN (1) CN115527134A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116030048A (zh) * 2023-03-27 2023-04-28 山东鹰眼机械科技有限公司 灯检机及其方法
CN116045104A (zh) * 2023-01-10 2023-05-02 浙江伟众科技有限公司 空调软硬管连接密封装置及其方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009036801A (ja) * 2007-07-31 2009-02-19 Sharp Corp 視聴環境制御装置および視聴環境制御方法
CN106709511A (zh) * 2016-12-08 2017-05-24 华中师范大学 基于深度学习的城市轨道交通全景监控视频故障检测方法
CN112200019A (zh) * 2020-09-22 2021-01-08 江苏大学 一种快速建筑夜景照明灯光故障检测方法
US20210097290A1 (en) * 2019-09-27 2021-04-01 Gyrfalcon Technology Inc. Video retrieval in feature descriptor domain in an artificial intelligence semiconductor solution
CN113515968A (zh) * 2020-04-09 2021-10-19 华为技术有限公司 街道的异常事件检测方法、装置、设备及介质
CN113902915A (zh) * 2021-10-12 2022-01-07 江苏大学 一种基于低光照复杂道路场景下的语义分割方法及系统
KR20220023726A (ko) * 2020-08-21 2022-03-02 주식회사 리얼타임테크 딥 러닝 기반 실시간 공정 감시 시스템 및 그 방법
CN114580515A (zh) * 2022-02-28 2022-06-03 上海味伊思技术有限公司 用于半导体脱焊智能检测的神经网络训练方法
CN115035298A (zh) * 2022-06-17 2022-09-09 杭州电子科技大学 基于多维注意力机制的城市街景语义分割增强方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009036801A (ja) * 2007-07-31 2009-02-19 Sharp Corp 視聴環境制御装置および視聴環境制御方法
CN106709511A (zh) * 2016-12-08 2017-05-24 华中师范大学 基于深度学习的城市轨道交通全景监控视频故障检测方法
US20210097290A1 (en) * 2019-09-27 2021-04-01 Gyrfalcon Technology Inc. Video retrieval in feature descriptor domain in an artificial intelligence semiconductor solution
CN113515968A (zh) * 2020-04-09 2021-10-19 华为技术有限公司 街道的异常事件检测方法、装置、设备及介质
KR20220023726A (ko) * 2020-08-21 2022-03-02 주식회사 리얼타임테크 딥 러닝 기반 실시간 공정 감시 시스템 및 그 방법
CN112200019A (zh) * 2020-09-22 2021-01-08 江苏大学 一种快速建筑夜景照明灯光故障检测方法
CN113902915A (zh) * 2021-10-12 2022-01-07 江苏大学 一种基于低光照复杂道路场景下的语义分割方法及系统
CN114580515A (zh) * 2022-02-28 2022-06-03 上海味伊思技术有限公司 用于半导体脱焊智能检测的神经网络训练方法
CN115035298A (zh) * 2022-06-17 2022-09-09 杭州电子科技大学 基于多维注意力机制的城市街景语义分割增强方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116045104A (zh) * 2023-01-10 2023-05-02 浙江伟众科技有限公司 空调软硬管连接密封装置及其方法
CN116045104B (zh) * 2023-01-10 2024-05-10 浙江伟众科技有限公司 空调软硬管连接密封装置及其方法
CN116030048A (zh) * 2023-03-27 2023-04-28 山东鹰眼机械科技有限公司 灯检机及其方法

Similar Documents

Publication Publication Date Title
CN111797716B (zh) 一种基于Siamese网络的单目标跟踪方法
CN108805083B (zh) 单阶段的视频行为检测方法
CN107609601B (zh) 一种基于多层卷积神经网络的舰船目标识别方法
CN109961051B (zh) 一种基于聚类和分块特征提取的行人重识别方法
Ge et al. An attention mechanism based convolutional LSTM network for video action recognition
CN108197326B (zh) 一种车辆检索方法及装置、电子设备、存储介质
CN115527134A (zh) 基于大数据的城市园林景观照明监测系统及其方法
CN108961312A (zh) 用于嵌入式视觉系统的高性能视觉对象跟踪方法及系统
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
KR20200121206A (ko) 심층 네트워크와 랜덤 포레스트가 결합된 앙상블 분류기의 경량화를 위한 교사-학생 프레임워크 및 이를 기반으로 하는 분류 방법
CN111178284A (zh) 基于地图数据的时空联合模型的行人重识别方法及系统
CN110705412A (zh) 一种基于运动历史图像的视频目标检测方法
CN112800906A (zh) 一种基于改进YOLOv3的自动驾驶汽车跨域目标检测方法
CN112766411B (zh) 一种自适应区域精修的目标检测知识蒸馏方法
CN116797787B (zh) 基于跨模态融合与图神经网络的遥感影像语义分割方法
CN115512251A (zh) 基于双分支渐进式特征增强的无人机低照度目标跟踪方法
CN111260687B (zh) 一种基于语义感知网络和相关滤波的航拍视频目标跟踪方法
CN113870160A (zh) 一种基于变换器神经网络的点云数据处理方法
CN115131849A (zh) 图像生成方法以及相关设备
Wang et al. Video anomaly detection method based on future frame prediction and attention mechanism
CN114743126A (zh) 一种基于图注意力机制网络的车道线标志分割方法
CN114782859A (zh) 一种目标行为时空感知定位模型的建立方法及应用
Miao et al. Abnormal Behavior Learning Based on Edge Computing toward a Crowd Monitoring System
Yang et al. Robust visual tracking using adaptive local appearance model for smart transportation
WO2021229693A1 (ja) 学習装置、学習方法及び学習プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination