CN115731513B - 基于数字孪生的智慧园区管理系统 - Google Patents
基于数字孪生的智慧园区管理系统 Download PDFInfo
- Publication number
- CN115731513B CN115731513B CN202211429183.XA CN202211429183A CN115731513B CN 115731513 B CN115731513 B CN 115731513B CN 202211429183 A CN202211429183 A CN 202211429183A CN 115731513 B CN115731513 B CN 115731513B
- Authority
- CN
- China
- Prior art keywords
- illumination
- feature map
- scale
- training
- lighting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
公开了一种基于数字孪生的智慧园区管理系统，其基于数据孪生技术，对表示了智慧园区的照明设备的照明效果的照明监控视频和在进行园区的照明效果设计时产生的参考照明效果视频，即满足预定照明光效的照明设计视频之间进行比较，进而判断园区照明设备的照明效果是否符合设计要求。这样，构建一种优化的智慧园区管理方案，对园区的照明设备进行监控以判断照明设备的照明效果是否满足预定要求。
Description
技术领域
本发明涉及园区管理领域，且更为具体的涉及一种基于数字孪生的智慧园区管理系统。
背景技术
为调整经济产业结构，集聚产业优势，我国大力发展的园区经济，形成了我国地域经济的增长极。在园区建设过程中，传统的建筑智能化管理存在着以下问题：
(1)设计、建设、应用同质化，难以满足个性化需求；
(2)重要设备运行状态无法实时监控，事故预警难以实现。
具体地，在园区灯光方面，随着照明技术和物联网控制技术的发展，园区照明从传统的单纯照明功能逐渐发展为还兼顾美学功能，即，通过园区的照明光效来给人视觉体验。但是这也给园区照明设备的监控带来了新的难度，其原因为传统的照明设备监控只需要关注各个照明设备是否能够正常发光即可，而在新型的照明场景中，需要考虑各个照明设备之间的协同性。
因此，期待一种优化的智慧园区管理方案。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于数字孪生的智慧园区管理系统，其基于数据孪生技术，对表示了智慧园区的照明设备的照明效果的照明监控视频和在进行园区的照明效果设计时产生的参考照明效果视频，即满足预定照明光效的照明设计视频之间进行比较，进而判断园区照明设备的照明效果是否符合设计要求。这样，构建一种优化的智慧园区管理方案，对园区的照明设备进行监控以判断照明设备的照明效果是否满足预定要求。
根据本申请的一个方面，提供了一种基于数字孪生的智慧园区管理系统，其包括：
照明监控单元，用于获取智慧园区的照明监控视频和参考照明效果视频；
关键帧提取单元，用于从所述照明监控视频和所述参考照明效果视频分别提取多个照明监控关键帧和多个参考照明关键帧；
双流检测单元，用于将所述多个照明监控关键帧和所述多个参考照明关键帧分别通过包含第一卷积神经网络和第二卷积神经网络模型的双流检测模型以得到照明监控多尺度特征图和参考照明多尺度特征图，其中，所述第一卷积神经网络使用具有第一尺度的三维卷积核，所述第二卷积神经网络使用具有第二尺度的三维卷积核；
差分单元，用于计算所述照明监控多尺度特征图和所述参考照明多尺度特征图之间的差分特征图；
管理结果生成单元，用于将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示照明效果是否符合设计要求；以及
孪生单元，用于在屏幕显示所述照明监控视频和所述分类结果。
在上述基于数字孪生的智慧园区管理系统中，所述关键帧提取单元，进一步用于以预定采样频率从所述照明监控视频和所述参考照明效果视频分别提取所述多个照明监控关键帧和所述多个参考照明关键帧。
在上述基于数字孪生的智慧园区管理系统中，所述双流检测单元，包括：图像聚合子单元，用于将所述多个照明监控关键帧和所述多个参考照明关键帧分别沿着样本维度进行聚合以得到照明监控输入张量和参考照明输入张量；以及，多尺度三维卷积编码子单元，用于将所述照明监控输入张量和所述参考照明输入张量分别输入所述包含第一卷积神经网络和第二卷积神经网络模型的双流检测模型以得到所述照明监控多尺度特征图和所述参考照明多尺度特征图。
在上述基于数字孪生的智慧园区管理系统中，所述多尺度三维卷积编码子单元，进一步用于：使用所述第一卷积神经网络的各层在层的正向传递中分别对输入数据进行基于所述具有第一尺度的三维卷积核的三维卷积编码、池化处理和非线性激活处理以得到第一尺度照明监控特征图和第一尺度参考照明特征图，其中，所述第一卷积神经网络的第一层的输入为所述照明监控输入张量或所述参考照明输入张量；使用所述第二卷积神经网络的各层在层的正向传递中分别对输入数据进行基于所述具有第二尺度的三维卷积核的三维卷积编码、池化处理和非线性激活处理以得到第二尺度照明监控特征图和第二尺度参考照明特征图，其中，所述第二卷积神经网络的第一层的输入为所述照明监控输入张量或所述参考照明输入张量；融合所述第一尺度照明监控特征图和所述第二尺度照明监控特征图以得到所述照明监控多尺度特征图；以及，融合所述第一尺度参考照明特征图和所述第二尺度参考照明特征图以得到所述参考照明多尺度特征图。
在上述基于数字孪生的智慧园区管理系统中，所述差分单元，进一步用于：以如下公式来计算所述照明监控多尺度特征图和所述参考照明多尺度特征图之间的差分特征图；其中，所述公式为：
其中，F1表示所述照明监控多尺度特征图，F2表示参考照明多尺度特征图，Fc表示所述差分特征图，/>
表示按位置作差。
在上述基于数字孪生的智慧园区管理系统中，所述管理结果生成单元，包括：展开单元，用于将所述差分特征图中各个差分特征矩阵按照行向量或者列向量展开为一维特征向量后级联以得到分类特征向量；全连接编码单元，用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类结果生成单元，用于将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
在上述基于数字孪生的智慧园区管理系统中，还包括用于对所述双流检测模型和所述分类器进行训练的训练模块；其中，所述训练模块，包括：训练照明监控单元，用于获取训练数据，所述训练数据包括智慧园区的训练照明监控视频和训练参考照明效果视频，以及，训练照明效果是否符合设计要求的真实值；训练关键帧提取单元，用于从所述训练照明监控视频和所述训练参考照明效果视频分别提取多个训练照明监控关键帧和多个训练参考照明关键帧；训练双流检测单元，用于将所述多个训练照明监控关键帧和所述多个训练参考照明关键帧分别通过包含第一卷积神经网络和第二卷积神经网络模型的双流检测模型以得到训练照明监控多尺度特征图和训练参考照明多尺度特征图，其中，所述第一卷积神经网络使用具有第一尺度的三维卷积核，所述第二卷积神经网络使用具有第二尺度的三维卷积核；训练差分单元，用于计算所述训练照明监控多尺度特征图和所述训练参考照明多尺度特征图之间的训练差分特征图；分类损失单元，用于将所述训练差分特征图通过分类器以得到分类损失函数值；内在化学习损失单元，用于基于所述训练照明监控多尺度特征图和所述训练参考照明多尺度特征图投影后得到的特征向量之间的距离计算序列对序列响应规则内在化学习损失函数值；以及，训练单元，用于计算所述分类损失函数值和所述序列对序列响应规则内在化学习损失函数值的加权和作为损失函数值来对所述双流检测模型和所述分类器进行训练。
在上述基于数字孪生的智慧园区管理系统中，所述内在化学习损失单元，进一步用于：以如下公式基于所述训练照明监控多尺度特征图和所述训练参考照明多尺度特征图投影后得到的特征向量之间的距离计算序列对序列响应规则内在化学习损失函数值；其中，所述公式为：
其中V1和V2分别是所述照明监控多尺度特征图和所述参考照明多尺度特征图投影后得到的特征向量，V1 +和V1 +分别是所述照明监控多尺度特征图和所述参考照明多尺度特征图经投影得到的特征向量通过序列对序列响应规则内在化学习得到的中间特征向量，
是所述序列对序列响应规则内在化学习损失函数值，Sigmoid(·)表示Sigmoid激活函数，ReLU(·)表示ReLU激活函数，d(·,·)表示两个向量之间的欧式距离，且W1和W2分别是所述分类器对于V1和V2的权重矩阵。
根据本申请的另一方面，还提供了一种基于数字孪生的智慧园区管理方法，其包括：
获取智慧园区的照明监控视频和参考照明效果视频；
从所述照明监控视频和所述参考照明效果视频分别提取多个照明监控关键帧和多个参考照明关键帧；
将所述多个照明监控关键帧和所述多个参考照明关键帧分别通过包含第一卷积神经网络和第二卷积神经网络模型的双流检测模型以得到照明监控多尺度特征图和参考照明多尺度特征图，其中，所述第一卷积神经网络使用具有第一尺度的三维卷积核，所述第二卷积神经网络使用具有第二尺度的三维卷积核；
计算所述照明监控多尺度特征图和所述参考照明多尺度特征图之间的差分特征图；
将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示照明效果是否符合设计要求；以及
在屏幕显示所述照明监控视频和所述分类结果。
在上述基于数字孪生的智慧园区管理方法中，所述从所述照明监控视频和所述参考照明效果视频分别提取多个照明监控关键帧和多个参考照明关键帧，包括：以预定采样频率从所述照明监控视频和所述参考照明效果视频分别提取所述多个照明监控关键帧和所述多个参考照明关键帧。
在上述基于数字孪生的智慧园区管理方法中，所述将所述多个照明监控关键帧和所述多个参考照明关键帧分别通过包含第一卷积神经网络和第二卷积神经网络模型的双流检测模型以得到照明监控多尺度特征图和参考照明多尺度特征图，包括：将所述多个照明监控关键帧和所述多个参考照明关键帧分别沿着样本维度进行聚合以得到照明监控输入张量和参考照明输入张量；以及，将所述照明监控输入张量和所述参考照明输入张量分别输入所述包含第一卷积神经网络和第二卷积神经网络模型的双流检测模型以得到所述照明监控多尺度特征图和所述参考照明多尺度特征图。
在上述基于数字孪生的智慧园区管理方法中，所述计算所述照明监控多尺度特征图和所述参考照明多尺度特征图之间的差分特征图，包括：以如下公式来计算所述照明监控多尺度特征图和所述参考照明多尺度特征图之间的差分特征图；其中，所述公式为：
其中，F1表示所述照明监控多尺度特征图，F2表示参考照明多尺度特征图，Fc表示所述差分特征图，/>
表示按位置作差。
在上述基于数字孪生的智慧园区管理方法中，还包括对所述双流检测模型和所述分类器进行训练；其中，所述对所述双流检测模型和所述分类器进行训练，包括：获取训练数据，所述训练数据包括智慧园区的训练照明监控视频和训练参考照明效果视频，以及，训练照明效果是否符合设计要求的真实值；从所述训练照明监控视频和所述训练参考照明效果视频分别提取多个训练照明监控关键帧和多个训练参考照明关键帧；将所述多个训练照明监控关键帧和所述多个训练参考照明关键帧分别通过包含第一卷积神经网络和第二卷积神经网络模型的双流检测模型以得到训练照明监控多尺度特征图和训练参考照明多尺度特征图，其中，所述第一卷积神经网络使用具有第一尺度的三维卷积核，所述第二卷积神经网络使用具有第二尺度的三维卷积核；计算所述训练照明监控多尺度特征图和所述训练参考照明多尺度特征图之间的训练差分特征图；将所述训练差分特征图通过分类器以得到分类损失函数值；基于所述训练照明监控多尺度特征图和所述训练参考照明多尺度特征图投影后得到的特征向量之间的距离计算序列对序列响应规则内在化学习损失函数值；以及，计算所述分类损失函数值和所述序列对序列响应规则内在化学习损失函数值的加权和作为损失函数值来对所述双流检测模型和所述分类器进行训练。
在上述基于数字孪生的智慧园区管理方法中，所述基于所述训练照明监控多尺度特征图和所述训练参考照明多尺度特征图投影后得到的特征向量之间的距离计算序列对序列响应规则内在化学习损失函数值，包括：以如下公式基于所述训练照明监控多尺度特征图和所述训练参考照明多尺度特征图投影后得到的特征向量之间的距离计算序列对序列响应规则内在化学习损失函数值；其中，所述公式为：
其中V1和V2分别是所述照明监控多尺度特征图和所述参考照明多尺度特征图投影后得到的特征向量，V1 +和V1 +分别是所述照明监控多尺度特征图和所述参考照明多尺度特征图经投影得到的特征向量通过序列对序列响应规则内在化学习得到的中间特征向量，
是所述序列对序列响应规则内在化学习损失函数值，Sigmoid(·)表示Sigmoid激活函数，ReLU(·)表示ReLU激活函数，d(·,·)表示两个向量之间的欧式距离，且W1和W2分别是所述分类器对于V1和V2的权重矩阵。
根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的基于数字孪生的智慧园区管理方法。
根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的基于数字孪生的智慧园区管理方法。
与现有技术相比，本申请提供的基于数字孪生的智慧园区管理系统，其基于数据孪生技术，对表示了智慧园区的照明设备的照明效果的照明监控视频和在进行园区的照明效果设计时产生的参考照明效果视频，即满足预定照明光效的照明设计视频之间进行比较，进而判断园区照明设备的照明效果是否符合设计要求。这样，构建一种优化的智慧园区管理方案，对园区的照明设备进行监控以判断照明设备的照明效果是否满足预定要求。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的基于数字孪生的智慧园区管理系统的应用场景图。
图2为根据本申请实施例的基于数字孪生的智慧园区管理系统的框图。
图3为根据本申请实施例的基于数字孪生的智慧园区管理系统的架构图。
图4为根据本申请实施例的基于数字孪生的智慧园区管理系统中训练模块的框图。
图5为根据本申请实施例的基于数字孪生的智慧园区管理方法的流程图。
图6为根据本申请实施例的基于数字孪生的智慧园区管理方法中对所述双流检测模型和所述分类器进行训练的流程图。
图7为根据本申请实施例的电子设备的框图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
申请概述
如上述背景技术所言，在园区灯光方面，随着照明技术和物联网控制技术的发展，园区照明从传统的单纯照明功能逐渐发展为还兼顾美学功能，即，通过园区的照明光效来给人视觉体验。但是这也给园区照明设备的监控带来了新的难度，其原因为传统的照明设备监控只需要关注各个照明设备是否能够正常发光即可，而在新型的照明场景中，需要考虑各个照明设备之间的协同性。因此，期待一种优化的智慧园区管理方案，其能够对园区的照明设备进行监控以判断照明设备的照明效果是否满足预定要求。
具体地，在本申请的应用场景中，本申请的申请人考虑到园区的照明设备的照明效果可通过园区照明设备的照明监控视频来表示，而在进行园区的照明效果设计时也会产生参考照明效果视频，即，满足预定照明光效的照明设计视频。因此，在本申请的技术方案中，可基于智慧园区的照明监控视频和参考照明效果视频之间的比较来判断园区照明设备的照明效果是否符合设计要求，这可基于数据孪生技术来实现。
具体地，首先获取智慧园区的照明监控视频和参考照明效果视频。优选地，所述照明监控视频和参考照明效果视频具有相同的帧率。相应地，在设定所述照明监控视频和参考照明效果视频具有相同的帧率的前提下，可通过所述照明监控视频和所述参考照明效果视频的逐帧比较来判断园区照明设备的照明效果是否符合设计要求。但是，考虑到所述照明监控视频由摄像头实时采集，而所述参考照明效果视频则通过电脑软件设计而成两者在数据产生源端存在实质性偏差，并且，在由摄像头采集所述照明监控视频时，拍摄环境(例如，拍摄时间、拍摄光照条件、是否存在遮挡)和拍摄要素(例如，拍摄角度等)都会影响照明监控视频在图像序列端的图像表达。也就是，如果直接将所述照明监控视频和所述参考照明效果视频进行逐帧比较，拍摄环境和拍摄要素引入的噪声会放大照明监控视频和所述参考照明效果视频之间的差异，导致照明效果判断的精准度得以下降。
针对上述技术问题，在本申请的技术方案中，利用基于深度神经网络模型的特征提取器从所述照明监控视频和所述参考照明效果视频提取照明光效特征，并基于两者在高维特征空间中的特征分布差异作为依据来判断待监控照明设备的照明效果是否符合设计要求。但是，如果直接将所述照明监控视频和所述参考照明效果视频作为网络输入，所述照明监控视频和所述参考照明效果视频的整个图像帧序列中许多连续帧是重复或者相似的，造成了信息的冗余，增加后续模型计算量。因此，在将所述照明监控视频和所述参考照明效果视频输入神经网络之前，先对所述照明监控视频和所述参考照明效果视频进行采样处理以从所述照明监控视频和所述参考照明效果视频分别提取多个照明监控关键帧和多个参考照明关键帧。
接着，将所述多个照明监控关键帧和所述多个参考照明关键帧分别通过包含第一卷积神经网络和第二卷积神经网络模型的双流检测模型以得到照明监控多尺度特征图和参考照明多尺度特征图，其中，所述第一卷积神经网络使用具有第一尺度的三维卷积核，所述第二卷积神经网络使用具有第二尺度的三维卷积核。也就是，在本申请的技术方案中，使用三维卷积神经网络模型来提取所述多个照明监控关键帧和所述多个参考照明关键帧的照明效果动态特征。相较于常规的卷积神经网络模型，所述三维卷积神经网络模型所使用的卷积核为三维卷积核，包括空间维度和通道维度，其中，在进行三维卷积编码的过程中，所述三维卷积核的通道维度对应于所述多个照明监控关键帧和所述多个参考照明关键帧的时间维度，因此，其能够捕捉到所述照明监控关键帧或所述参考照明关键帧的空间特征在时间维度上的变化特征。
特别地，在本申请的技术方案中，为了更多丰富地且精准度地捕捉到照明效果动态特征，在本申请的技术方案中，构造双流检测模型，所述双流检测模型包括第一卷积神经网络和第二卷积神经网络模型，其中，所述第一卷积神经网络使用具有第一尺度的三维卷积核，所述第二卷积神经网络使用具有第二尺度的三维卷积核。这样在通过所述双流检测模型对所述多个照明监控关键帧和所述多个参考照明关键帧进行编码时，其能够对所述多个照明监控关键帧和所述多个参考照明关键帧进行多尺度三维卷积编码以提取不同时间尺度的照明效果动态特征。
在得到所述照明监控多尺度特征图和所述参考照明多尺度特征图后，计算所述照明监控多尺度特征图和所述参考照明多尺度特征图之间的差分特征图，以此来表示两者在高维特征空间中的特征分布差异。例如，在一个具体的示例中，以计算所述照明监控多尺度特征图和所述参考照明多尺度特征图之间的按位置差分以得到所述差分特征图。并进一步地，将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示照明效果是否符合设计要求。在得到所述分类结果后，进一步地在屏幕显示所述照明监控视频和所述分类结果。
也就是说，在本申请的技术方案中，所述基于数字孪生的智慧园区管理系统不仅能够采集智慧园区的照明监控视频，并且还能够对所述智慧园区的照明监控视频进行照明效果分析以判断其是否符合设计要求，并最终通过孪生模块将所述照明监控视频和所述分类结果显示于屏幕，以供管理人员进行查看。
特别地，在本申请的技术方案中，在计算所述照明监控多尺度特征图和所述参考照明多尺度特征图之间的所述差分特征图时，期望具有不同尺度的三维卷积核提取得到的所述照明监控多尺度特征图和所述参考照明多尺度特征图之间具有内在的响应性，以提高所述差分特征图的逐位置差分计算的准确性。
基于此，本申请的申请人计算所述照明监控多尺度特征图和所述参考照明多尺度特征图之间的序列对序列响应规则内在化学习损失函数，表示为：
V1和V2分别是所述照明监控多尺度特征图和所述参考照明多尺度特征图投影后得到的特征向量，且W1和W1分别是分类器对于V1和V2的权重矩阵。
这里，通过分类器对于不同序列的权重矩阵的压榨-激励式通道注意力机制，可以获取特征图展开后得到的特征向量序列之间的加强的区分性能力，通过以此损失函数训练网络，可以实现响应序列之间的具有更好区分性的因果关系特征的恢复，以对序列之间的原因-结果式响应规则进行内在化学习，增强了序列之间的内在响应性。这样，就提高了所述照明监控多尺度特征图和所述参考照明多尺度特征图之间的内在的响应性，从而提高了所述差分特征图的逐位置差分计算的准确性，改进了所述差分特征图的分类效果。也就是，提高对照明设备的照明效果是否符合设计要求的分类判断的精准度。
基于此，本申请提出了一种基于数字孪生的智慧园区管理系统，其包括：照明监控单元，用于获取智慧园区的照明监控视频和参考照明效果视频；关键帧提取单元，用于从所述照明监控视频和所述参考照明效果视频分别提取多个照明监控关键帧和多个参考照明关键帧；双流检测单元，用于将所述多个照明监控关键帧和所述多个参考照明关键帧分别通过包含第一卷积神经网络和第二卷积神经网络模型的双流检测模型以得到照明监控多尺度特征图和参考照明多尺度特征图，其中，所述第一卷积神经网络使用具有第一尺度的三维卷积核，所述第二卷积神经网络使用具有第二尺度的三维卷积核；差分单元，用于计算所述照明监控多尺度特征图和所述参考照明多尺度特征图之间的差分特征图；管理结果生成单元，用于将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示照明效果是否符合设计要求；以及，孪生单元，用于在屏幕显示所述照明监控视频和所述分类结果。
图1为根据本申请实施例的基于数字孪生的智慧园区管理系统的应用场景图。如图1所示，在该应用场景中，首先获取智慧园区(例如，如图1中所示意的P)的照明监控视频，其中，所述智慧园区含有多幢楼宇(例如，如图1中所示意的B1至Bn)，所述照明监控视频由部署于园区内的摄像头(例如，如图1中所示意的C)获取。进而，将所述照明监控视频输入至部署有基于数字孪生的智慧园区管理算法的服务器(例如，如图1所示意的S)中，其中，所述服务器能够基于所述基于数字孪生的智慧园区管理算法对所述照明监控视频进行处理，以得到用于表示照明效果是否符合设计要求的分类结果，并在部署于园区内的屏幕(例如，如图1中所示意的Sc)显示所述照明监控视频和所述分类结果。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性系统
图2为根据本申请实施例的基于数字孪生的智慧园区管理系统的框图。如图2所示，根据本申请实施例的基于数字孪生的智慧园区管理系统100，包括：照明监控单元110，用于获取智慧园区的照明监控视频和参考照明效果视频；关键帧提取单元120，用于从所述照明监控视频和所述参考照明效果视频分别提取多个照明监控关键帧和多个参考照明关键帧；双流检测单元130，用于将所述多个照明监控关键帧和所述多个参考照明关键帧分别通过包含第一卷积神经网络和第二卷积神经网络模型的双流检测模型以得到照明监控多尺度特征图和参考照明多尺度特征图，其中，所述第一卷积神经网络使用具有第一尺度的三维卷积核，所述第二卷积神经网络使用具有第二尺度的三维卷积核；差分单元140，用于计算所述照明监控多尺度特征图和所述参考照明多尺度特征图之间的差分特征图；管理结果生成单元150，用于将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示照明效果是否符合设计要求；以及，孪生单元160，用于在屏幕显示所述照明监控视频和所述分类结果。
图3为根据本申请实施例的基于数字孪生的智慧园区管理系统的架构图。如图3所示，在所述基于数字孪生的智慧园区管理系统的架构中，首先，获取智慧园区的照明监控视频和参考照明效果视频。接着，从所述照明监控视频和所述参考照明效果视频分别提取多个照明监控关键帧和多个参考照明关键帧。然后，将所述多个照明监控关键帧和所述多个参考照明关键帧分别通过包含第一卷积神经网络和第二卷积神经网络模型的双流检测模型以得到照明监控多尺度特征图和参考照明多尺度特征图，其中，所述第一卷积神经网络使用具有第一尺度的三维卷积核，所述第二卷积神经网络使用具有第二尺度的三维卷积核。进而，计算所述照明监控多尺度特征图和所述参考照明多尺度特征图之间的差分特征图，并将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示照明效果是否符合设计要求。然后，在屏幕显示所述照明监控视频和所述分类结果。
在上述基于数字孪生的智慧园区管理系统100中，所述照明监控单元110，用于获取智慧园区的照明监控视频和参考照明效果视频。如上述背景技术所言，在园区灯光方面，随着照明技术和物联网控制技术的发展，园区照明从传统的单纯照明功能逐渐发展为还兼顾美学功能，即，通过园区的照明光效来给人视觉体验。但是这也给园区照明设备的监控带来了新的难度，其原因为传统的照明设备监控只需要关注各个照明设备是否能够正常发光即可，而在新型的照明场景中，需要考虑各个照明设备之间的协同性。因此，期待一种优化的智慧园区管理方案，其能够对园区的照明设备进行监控以判断照明设备的照明效果是否满足预定要求。
具体地，在本申请的应用场景中，本申请的申请人考虑到园区的照明设备的照明效果可通过园区照明设备的照明监控视频来表示，而在进行园区的照明效果设计时也会产生参考照明效果视频，即，满足预定照明光效的照明设计视频。因此，在本申请的技术方案中，可基于智慧园区的照明监控视频和参考照明效果视频之间的比较来判断园区照明设备的照明效果是否符合设计要求，这可基于数据孪生技术来实现。
具体地，首先获取智慧园区的照明监控视频和参考照明效果视频。优选地，所述照明监控视频和参考照明效果视频具有相同的帧率。且所述照明监控视频可以由部署于智慧园区内的摄像头获取，而所述参考照明效果视频在进行园区的照明效果设计时已产生。
在上述基于数字孪生的智慧园区管理系统100中，所述关键帧提取单元120，用于从所述照明监控视频和所述参考照明效果视频分别提取多个照明监控关键帧和多个参考照明关键帧。如果直接将所述照明监控视频和所述参考照明效果视频作为网络输入，所述照明监控视频和所述参考照明效果视频的整个图像帧序列中许多连续帧是重复或者相似的，造成了信息的冗余，增加后续模型计算量。因此，在将所述照明监控视频和所述参考照明效果视频输入神经网络之前，先对所述照明监控视频和所述参考照明效果视频进行采样处理以从所述照明监控视频和所述参考照明效果视频分别提取多个照明监控关键帧和多个参考照明关键帧。
具体地，在本申请实施例中，所述关键帧提取单元120，进一步用于以预定采样频率从所述照明监控视频和所述参考照明效果视频分别提取所述多个照明监控关键帧和所述多个参考照明关键帧。
在上述基于数字孪生的智慧园区管理系统100中，所述双流检测单元130，用于将所述多个照明监控关键帧和所述多个参考照明关键帧分别通过包含第一卷积神经网络和第二卷积神经网络模型的双流检测模型以得到照明监控多尺度特征图和参考照明多尺度特征图，其中，所述第一卷积神经网络使用具有第一尺度的三维卷积核，所述第二卷积神经网络使用具有第二尺度的三维卷积核。相应地，在设定所述照明监控视频和参考照明效果视频具有相同的帧率的前提下，可通过所述照明监控视频和所述参考照明效果视频的逐帧比较来判断园区照明设备的照明效果是否符合设计要求。但是，考虑到所述照明监控视频由摄像头实时采集，而所述参考照明效果视频则通过电脑软件设计而成两者在数据产生源端存在实质性偏差，并且，在由摄像头采集所述照明监控视频时，拍摄环境(例如，拍摄时间、拍摄光照条件、是否存在遮挡)和拍摄要素(例如，拍摄角度等)都会影响照明监控视频在图像序列端的图像表达。也就是，如果直接将所述照明监控视频和所述参考照明效果视频进行逐帧比较，拍摄环境和拍摄要素引入的噪声会放大照明监控视频和所述参考照明效果视频之间的差异，导致照明效果判断的精准度得以下降。
针对上述技术问题，在本申请的技术方案中，利用基于深度神经网络模型的特征提取器从所述照明监控视频和所述参考照明效果视频提取照明光效特征，并基于两者在高维特征空间中的特征分布差异作为依据来判断待监控照明设备的照明效果是否符合设计要求。
具体地，将所述多个照明监控关键帧和所述多个参考照明关键帧分别通过包含第一卷积神经网络和第二卷积神经网络模型的双流检测模型以得到照明监控多尺度特征图和参考照明多尺度特征图，其中，所述第一卷积神经网络使用具有第一尺度的三维卷积核，所述第二卷积神经网络使用具有第二尺度的三维卷积核。也就是，在本申请的技术方案中，使用三维卷积神经网络模型来提取所述多个照明监控关键帧和所述多个参考照明关键帧的照明效果动态特征。相较于常规的卷积神经网络模型，所述三维卷积神经网络模型所使用的卷积核为三维卷积核，包括空间维度和通道维度，其中，在进行三维卷积编码的过程中，所述三维卷积核的通道维度对应于所述多个照明监控关键帧和所述多个参考照明关键帧的时间维度，因此，其能够捕捉到所述照明监控关键帧或所述参考照明关键帧的空间特征在时间维度上的变化特征。
特别地，在本申请的技术方案中，为了更多丰富地且精准度地捕捉到照明效果动态特征，在本申请的技术方案中，构造双流检测模型，所述双流检测模型包括第一卷积神经网络和第二卷积神经网络模型，其中，所述第一卷积神经网络使用具有第一尺度的三维卷积核，所述第二卷积神经网络使用具有第二尺度的三维卷积核。这样在通过所述双流检测模型对所述多个照明监控关键帧和所述多个参考照明关键帧进行编码时，其能够对所述多个照明监控关键帧和所述多个参考照明关键帧进行多尺度三维卷积编码以提取不同时间尺度的照明效果动态特征。
更具体地，在本申请实施例中，所述双流检测单元130，首先，通过图像聚合子单元将所述多个照明监控关键帧和所述多个参考照明关键帧分别沿着样本维度进行聚合以得到照明监控输入张量和参考照明输入张量。然后，通过多尺度三维卷积编码子单元将所述照明监控输入张量和所述参考照明输入张量分别输入所述包含第一卷积神经网络和第二卷积神经网络模型的双流检测模型以得到所述照明监控多尺度特征图和所述参考照明多尺度特征图。
更具体地，在本申请实施例中，所述多尺度三维卷积编码子单元，进一步用于：使用所述第一卷积神经网络的各层在层的正向传递中分别对输入数据进行基于所述具有第一尺度的三维卷积核的三维卷积编码、池化处理和非线性激活处理以得到第一尺度照明监控特征图和第一尺度参考照明特征图，其中，所述第一卷积神经网络的第一层的输入为所述照明监控输入张量或所述参考照明输入张量；使用所述第二卷积神经网络的各层在层的正向传递中分别对输入数据进行基于所述具有第二尺度的三维卷积核的三维卷积编码、池化处理和非线性激活处理以得到第二尺度照明监控特征图和第二尺度参考照明特征图，其中，所述第二卷积神经网络的第一层的输入为所述照明监控输入张量或所述参考照明输入张量；融合所述第一尺度照明监控特征图和所述第二尺度照明监控特征图以得到所述照明监控多尺度特征图；以及，融合所述第一尺度参考照明特征图和所述第二尺度参考照明特征图以得到所述参考照明多尺度特征图。
在上述基于数字孪生的智慧园区管理系统100中，所述差分单元140，用于计算所述照明监控多尺度特征图和所述参考照明多尺度特征图之间的差分特征图。也就是，在得到所述照明监控多尺度特征图和所述参考照明多尺度特征图后，计算所述照明监控多尺度特征图和所述参考照明多尺度特征图之间的差分特征图，以此来表示两者在高维特征空间中的特征分布差异。例如，在一个具体的示例中，以计算所述照明监控多尺度特征图和所述参考照明多尺度特征图之间的按位置差分以得到所述差分特征图。
具体地，在本申请实施例中，所述差分单元140，进一步用于：以如下公式来计算所述照明监控多尺度特征图和所述参考照明多尺度特征图之间的差分特征图；其中，所述公式为：
其中，F1表示所述照明监控多尺度特征图，F2表示参考照明多尺度特征图，Fc表示所述差分特征图，/>
表示按位置作差。
在上述基于数字孪生的智慧园区管理系统100中，所述管理结果生成单元150，用于将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示照明效果是否符合设计要求。这样，提高对照明设备的照明效果是否符合设计要求的分类判断的精准度。
具体地，在本申请实施例中，所述管理结果生成单元150，包括：展开单元，用于将所述差分特征图中各个差分特征矩阵按照行向量或者列向量展开为一维特征向量后级联以得到分类特征向量；全连接编码单元，用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类结果生成单元，用于将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
在上述基于数字孪生的智慧园区管理系统100中，所述孪生单元160，用于在屏幕显示所述照明监控视频和所述分类结果。也就是说，在本申请的技术方案中，所述基于数字孪生的智慧园区管理系统不仅能够采集智慧园区的照明监控视频，并且还能够对所述智慧园区的照明监控视频进行照明效果分析以判断其是否符合设计要求，并最终通过孪生模块将所述照明监控视频和所述分类结果显示于屏幕，以供管理人员进行查看。
在上述基于数字孪生的智慧园区管理系统100中，还包括用于对所述双流检测模型和所述分类器进行训练的训练模块200。
图4为根据本申请实施例的基于数字孪生的智慧园区管理系统中训练模块的框图。如图4所示，所述训练模块200，包括：训练照明监控单元210，用于获取训练数据，所述训练数据包括智慧园区的训练照明监控视频和训练参考照明效果视频，以及，训练照明效果是否符合设计要求的真实值；训练关键帧提取单元220，用于从所述训练照明监控视频和所述训练参考照明效果视频分别提取多个训练照明监控关键帧和多个训练参考照明关键帧；训练双流检测单元230，用于将所述多个训练照明监控关键帧和所述多个训练参考照明关键帧分别通过包含第一卷积神经网络和第二卷积神经网络模型的双流检测模型以得到训练照明监控多尺度特征图和训练参考照明多尺度特征图，其中，所述第一卷积神经网络使用具有第一尺度的三维卷积核，所述第二卷积神经网络使用具有第二尺度的三维卷积核；训练差分单元240，用于计算所述训练照明监控多尺度特征图和所述训练参考照明多尺度特征图之间的训练差分特征图；分类损失单元250，用于将所述训练差分特征图通过分类器以得到分类损失函数值；内在化学习损失单元260，用于基于所述训练照明监控多尺度特征图和所述训练参考照明多尺度特征图投影后得到的特征向量之间的距离计算序列对序列响应规则内在化学习损失函数值；以及，训练单元270，用于计算所述分类损失函数值和所述序列对序列响应规则内在化学习损失函数值的加权和作为损失函数值来对所述双流检测模型和所述分类器进行训练。
特别地，在本申请的技术方案中，在计算所述照明监控多尺度特征图和所述参考照明多尺度特征图之间的所述差分特征图时，期望具有不同尺度的三维卷积核提取得到的所述照明监控多尺度特征图和所述参考照明多尺度特征图之间具有内在的响应性，以提高所述差分特征图的逐位置差分计算的准确性。基于此，本申请的申请人计算所述照明监控多尺度特征图和所述参考照明多尺度特征图之间的序列对序列响应规则内在化学习损失函数。
具体地，在本申请实施例中，所述内在化学习损失单元260，进一步用于：以如下公式基于所述训练照明监控多尺度特征图和所述训练参考照明多尺度特征图投影后得到的特征向量之间的距离计算序列对序列响应规则内在化学习损失函数值；其中，所述公式为：
其中V1和V2分别是所述照明监控多尺度特征图和所述参考照明多尺度特征图投影后得到的特征向量，V1 +和V1 +分别是所述照明监控多尺度特征图和所述参考照明多尺度特征图经投影得到的特征向量通过序列对序列响应规则内在化学习得到的中间特征向量，
是所述序列对序列响应规则内在化学习损失函数值，Sigmoid(·)表示Sigmoid激活函数，ReLU(·)表示ReLU激活函数，d(·,·)表示两个向量之间的欧式距离，且W1和W2分别是所述分类器对于V1和V2的权重矩阵。
这里，通过分类器对于不同序列的权重矩阵的压榨-激励式通道注意力机制，可以获取特征图展开后得到的特征向量序列之间的加强的区分性能力，通过以此损失函数训练网络，可以实现响应序列之间的具有更好区分性的因果关系特征的恢复，以对序列之间的原因-结果式响应规则进行内在化学习，增强了序列之间的内在响应性。这样，就提高了所述照明监控多尺度特征图和所述参考照明多尺度特征图之间的内在的响应性，从而提高了所述差分特征图的逐位置差分计算的准确性，改进了所述差分特征图的分类效果。
综上，根据本申请实施例的所述基于数字孪生的智慧园区管理系统100被阐明，其基于数据孪生技术，对表示了智慧园区的照明设备的照明效果的照明监控视频和在进行园区的照明效果设计时产生的参考照明效果视频，即满足预定照明光效的照明设计视频之间进行比较，进而判断园区照明设备的照明效果是否符合设计要求。这样，构建一种优化的智慧园区管理方案，对园区的照明设备进行监控以判断照明设备的照明效果是否满足预定要求。
如上所述，根据本申请实施例的基于数字孪生的智慧园区管理系统100可以实现在各种终端设备中，例如具有基于数字孪生的智慧园区管理功能的服务器等。在一个示例中，根据本申请实施例的基于数字孪生的智慧园区管理系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于数字孪生的智慧园区管理系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于数字孪生的智慧园区管理系统100同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该基于数字孪生的智慧园区管理系统100与该终端设备也可以是分立的设备，并且该基于数字孪生的智慧园区管理系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
示例性方法
图5为根据本申请实施例的基于数字孪生的智慧园区管理方法的流程图。如图5所示，根据本申请实施例的所述基于数字孪生的智慧园区管理方法，包括步骤：S110，获取智慧园区的照明监控视频和参考照明效果视频；S120，从所述照明监控视频和所述参考照明效果视频分别提取多个照明监控关键帧和多个参考照明关键帧；S130，将所述多个照明监控关键帧和所述多个参考照明关键帧分别通过包含第一卷积神经网络和第二卷积神经网络模型的双流检测模型以得到照明监控多尺度特征图和参考照明多尺度特征图，其中，所述第一卷积神经网络使用具有第一尺度的三维卷积核，所述第二卷积神经网络使用具有第二尺度的三维卷积核；S140，计算所述照明监控多尺度特征图和所述参考照明多尺度特征图之间的差分特征图；S150，将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示照明效果是否符合设计要求；以及，S160，在屏幕显示所述照明监控视频和所述分类结果。
在一个示例中，在上述基于数字孪生的智慧园区管理方法中，所述从所述照明监控视频和所述参考照明效果视频分别提取多个照明监控关键帧和多个参考照明关键帧，包括：以预定采样频率从所述照明监控视频和所述参考照明效果视频分别提取所述多个照明监控关键帧和所述多个参考照明关键帧。
在一个示例中，在上述基于数字孪生的智慧园区管理方法中，所述将所述多个照明监控关键帧和所述多个参考照明关键帧分别通过包含第一卷积神经网络和第二卷积神经网络模型的双流检测模型以得到照明监控多尺度特征图和参考照明多尺度特征图，包括：将所述多个照明监控关键帧和所述多个参考照明关键帧分别沿着样本维度进行聚合以得到照明监控输入张量和参考照明输入张量；以及，将所述照明监控输入张量和所述参考照明输入张量分别输入所述包含第一卷积神经网络和第二卷积神经网络模型的双流检测模型以得到所述照明监控多尺度特征图和所述参考照明多尺度特征图。
在一个示例中，在上述基于数字孪生的智慧园区管理方法中，所述计算所述照明监控多尺度特征图和所述参考照明多尺度特征图之间的差分特征图，包括：以如下公式来计算所述照明监控多尺度特征图和所述参考照明多尺度特征图之间的差分特征图；其中，所述公式为：
其中，F1表示所述照明监控多尺度特征图，F2表示参考照明多尺度特征图，Fc表示所述差分特征图，/>
表示按位置作差。
在一个示例中，在上述基于数字孪生的智慧园区管理方法中，还包括对所述双流检测模型和所述分类器进行训练。
图6为根据本申请实施例的基于数字孪生的智慧园区管理方法中对所述双流检测模型和所述分类器进行训练的流程图。如图6所示，所述对所述双流检测模型和所述分类器进行训练，包括：S210，获取训练数据，所述训练数据包括智慧园区的训练照明监控视频和训练参考照明效果视频，以及，训练照明效果是否符合设计要求的真实值；S220，从所述训练照明监控视频和所述训练参考照明效果视频分别提取多个训练照明监控关键帧和多个训练参考照明关键帧；S230，将所述多个训练照明监控关键帧和所述多个训练参考照明关键帧分别通过包含第一卷积神经网络和第二卷积神经网络模型的双流检测模型以得到训练照明监控多尺度特征图和训练参考照明多尺度特征图，其中，所述第一卷积神经网络使用具有第一尺度的三维卷积核，所述第二卷积神经网络使用具有第二尺度的三维卷积核；S240，计算所述训练照明监控多尺度特征图和所述训练参考照明多尺度特征图之间的训练差分特征图；S250，将所述训练差分特征图通过分类器以得到分类损失函数值；S260，基于所述训练照明监控多尺度特征图和所述训练参考照明多尺度特征图投影后得到的特征向量之间的距离计算序列对序列响应规则内在化学习损失函数值；以及，S270，计算所述分类损失函数值和所述序列对序列响应规则内在化学习损失函数值的加权和作为损失函数值来对所述双流检测模型和所述分类器进行训练。
在一个示例中，在上述基于数字孪生的智慧园区管理方法中，所述基于所述训练照明监控多尺度特征图和所述训练参考照明多尺度特征图投影后得到的特征向量之间的距离计算序列对序列响应规则内在化学习损失函数值，包括：以如下公式基于所述训练照明监控多尺度特征图和所述训练参考照明多尺度特征图投影后得到的特征向量之间的距离计算序列对序列响应规则内在化学习损失函数值；其中，所述公式为：
其中V1和V2分别是所述照明监控多尺度特征图和所述参考照明多尺度特征图投影后得到的特征向量，V1 +和V1 +分别是所述照明监控多尺度特征图和所述参考照明多尺度特征图经投影得到的特征向量通过序列对序列响应规则内在化学习得到的中间特征向量，
是所述序列对序列响应规则内在化学习损失函数值，Sigmoid(·)表示Sigmoid激活函数，ReLU(·)表示ReLU激活函数，d(·,·)表示两个向量之间的欧式距离，且W1和W2分别是所述分类器对于V1和V2的权重矩阵。
综上，根据本申请实施例的所述基于数字孪生的智慧园区管理方法被阐明，其基于数据孪生技术，对表示了智慧园区的照明设备的照明效果的照明监控视频和在进行园区的照明效果设计时产生的参考照明效果视频，即满足预定照明光效的照明设计视频之间进行比较，进而判断园区照明设备的照明效果是否符合设计要求。这样，构建一种优化的智慧园区管理方案，对园区的照明设备进行监控以判断照明设备的照明效果是否满足预定要求。
示例性电子设备
下面，参考图7来描述根据本申请实施例的电子设备。图7为根据本申请实施例的电子设备的框图。如图7所示，电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的基于数字孪生的智慧园区管理方法中的功能以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如智慧园区的照明监控视频和参考照明效果视频等各种内容。
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
该输入装置13可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息，包括第一分类结果等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图7中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的基于数字孪生的智慧园区管理方法中的功能中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的基于数字孪生的智慧园区管理方法中的功能中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
Claims (7)
1.一种基于数字孪生的智慧园区管理系统，其特征在于，包括：
照明监控单元，用于获取智慧园区的照明监控视频和参考照明效果视频；
关键帧提取单元，用于从所述照明监控视频和所述参考照明效果视频分别提取多个照明监控关键帧和多个参考照明关键帧；
双流检测单元，用于将所述多个照明监控关键帧和所述多个参考照明关键帧分别通过包含第一卷积神经网络和第二卷积神经网络模型的双流检测模型以得到照明监控多尺度特征图和参考照明多尺度特征图，其中，所述第一卷积神经网络使用具有第一尺度的三维卷积核，所述第二卷积神经网络使用具有第二尺度的三维卷积核；
差分单元，用于计算所述照明监控多尺度特征图和所述参考照明多尺度特征图之间的差分特征图；
管理结果生成单元，用于将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示照明效果是否符合设计要求；以及
孪生单元，用于在屏幕显示所述照明监控视频和所述分类结果；
其中，所述双流检测单元，包括：
图像聚合子单元，用于将所述多个照明监控关键帧和所述多个参考照明关键帧分别沿着样本维度进行聚合以得到照明监控输入张量和参考照明输入张量；以及
多尺度三维卷积编码子单元，用于将所述照明监控输入张量和所述参考照明输入张量分别输入所述包含第一卷积神经网络和第二卷积神经网络模型的双流检测模型以得到所述照明监控多尺度特征图和所述参考照明多尺度特征图；
其中，所述多尺度三维卷积编码子单元，进一步用于：
使用所述第一卷积神经网络的各层在层的正向传递中分别对输入数据进行基于所述具有第一尺度的三维卷积核的三维卷积编码、池化处理和非线性激活处理以得到第一尺度照明监控特征图和第一尺度参考照明特征图，其中，所述第一卷积神经网络的第一层的输入为所述照明监控输入张量或所述参考照明输入张量；
使用所述第二卷积神经网络的各层在层的正向传递中分别对输入数据进行基于所述具有第二尺度的三维卷积核的三维卷积编码、池化处理和非线性激活处理以得到第二尺度照明监控特征图和第二尺度参考照明特征图，其中，所述第二卷积神经网络的第一层的输入为所述照明监控输入张量或所述参考照明输入张量；
融合所述第一尺度照明监控特征图和所述第二尺度照明监控特征图以得到所述照明监控多尺度特征图；以及
融合所述第一尺度参考照明特征图和所述第二尺度参考照明特征图以得到所述参考照明多尺度特征图。
2.根据权利要求1所述的基于数字孪生的智慧园区管理系统，其特征在于，所述关键帧提取单元，进一步用于以预定采样频率从所述照明监控视频和所述参考照明效果视频分别提取所述多个照明监控关键帧和所述多个参考照明关键帧。
3.根据权利要求2所述的基于数字孪生的智慧园区管理系统，其特征在于，所述差分单元，进一步用于：
以如下公式来计算所述照明监控多尺度特征图和所述参考照明多尺度特征图之间的差分特征图；
其中，所述公式为：
其中，F1表示所述照明监控多尺度特征图，F2表示参考照明多尺度特征图，Fc表示所述差分特征图，/>
表示按位置作差。
4.根据权利要求3所述的基于数字孪生的智慧园区管理系统，其特征在于，所述管理结果生成单元，包括：
展开单元，用于将所述差分特征图中各个差分特征矩阵按照行向量或者列向量展开为一维特征向量后级联以得到分类特征向量；
全连接编码单元，用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及
分类结果生成单元，用于将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
5.根据权利要求4所述的基于数字孪生的智慧园区管理系统，其特征在于，还包括用于对所述双流检测模型和所述分类器进行训练的训练模块。
6.根据权利要求5所述的基于数字孪生的智慧园区管理系统，其特征在于，所述训练模块，包括：
训练照明监控单元，用于获取训练数据，所述训练数据包括智慧园区的训练照明监控视频和训练参考照明效果视频，以及，训练照明效果是否符合设计要求的真实值；
训练关键帧提取单元，用于从所述训练照明监控视频和所述训练参考照明效果视频分别提取多个训练照明监控关键帧和多个训练参考照明关键帧；
训练双流检测单元，用于将所述多个训练照明监控关键帧和所述多个训练参考照明关键帧分别通过包含第一卷积神经网络和第二卷积神经网络模型的双流检测模型以得到训练照明监控多尺度特征图和训练参考照明多尺度特征图，其中，所述第一卷积神经网络使用具有第一尺度的三维卷积核，所述第二卷积神经网络使用具有第二尺度的三维卷积核；
训练差分单元，用于计算所述训练照明监控多尺度特征图和所述训练参考照明多尺度特征图之间的训练差分特征图；
分类损失单元，用于将所述训练差分特征图通过分类器以得到分类损失函数值；
内在化学习损失单元，用于基于所述训练照明监控多尺度特征图和所述训练参考照明多尺度特征图投影后得到的特征向量之间的距离计算序列对序列响应规则内在化学习损失函数值；以及
训练单元，用于计算所述分类损失函数值和所述序列对序列响应规则内在化学习损失函数值的加权和作为损失函数值来对所述双流检测模型和所述分类器进行训练。
7.根据权利要求6所述的基于数字孪生的智慧园区管理系统，其特征在于，所述内在化学习损失单元，进一步用于：
以如下公式基于所述训练照明监控多尺度特征图和所述训练参考照明多尺度特征图投影后得到的特征向量之间的距离计算序列对序列响应规则内在化学习损失函数值；
其中，所述公式为：
其中V1和V2分别是所述照明监控多尺度特征图和所述参考照明多尺度特征图投影后得到的特征向量，V1 +和V1 +分别是所述照明监控多尺度特征图和所述参考照明多尺度特征图经投影得到的特征向量通过序列对序列响应规则内在化学习得到的中间特征向量，
是所述序列对序列响应规则内在化学习损失函数值，Sigmoid(·)表示Sigmoid激活函数，ReLU(·)表示ReLU激活函数，d(·,·)表示两个向量之间的欧式距离，且W1和W2分别是所述分类器对于V1和V2的权重矩阵。/>
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211429183.XA CN115731513B (zh) | 2022-11-15 | 2022-11-15 | 基于数字孪生的智慧园区管理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211429183.XA CN115731513B (zh) | 2022-11-15 | 2022-11-15 | 基于数字孪生的智慧园区管理系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115731513A CN115731513A (zh) | 2023-03-03 |
| CN115731513B true CN115731513B (zh) | 2023-05-30 |
Family
ID=85295857
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211429183.XA Active CN115731513B (zh) | 2022-11-15 | 2022-11-15 | 基于数字孪生的智慧园区管理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115731513B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116311005A (zh) * | 2023-05-25 | 2023-06-23 | 成都睿瞳科技有限责任公司 | 一种用于运动图像处理装置、方法及存储介质 |
| CN117098282B (zh) * | 2023-10-18 | 2024-01-09 | 硬创(济宁)控股有限公司 | 一种基于智慧园区的大数据管理系统及其方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150012226A1 (en) * | 2013-07-02 | 2015-01-08 | Canon Kabushiki Kaisha | Material classification using brdf slices |
| CN106709511A (zh) * | 2016-12-08 | 2017-05-24 | 华中师范大学 | 基于深度学习的城市轨道交通全景监控视频故障检测方法 |
| CN111784644A (zh) * | 2020-06-11 | 2020-10-16 | 上海布眼人工智能科技有限公司 | 基于深度学习的印花瑕疵检测方法及系统 |
| CN114399691A (zh) * | 2021-12-29 | 2022-04-26 | 上海利淘豪斯机器人有限公司 | 一种孪生差分网络的场景变化轮廓检测 |
| CN114926746B (zh) * | 2022-05-25 | 2024-03-01 | 西北工业大学 | 基于多尺度差分特征注意力机制的sar图像变化检测方法 |
| CN115145166A (zh) * | 2022-05-31 | 2022-10-04 | 深圳星寻科技有限公司 | 一种数字孪生智慧园区数化仿真系统 |
-
2022
- 2022-11-15 CN CN202211429183.XA patent/CN115731513B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN115731513A (zh) | 2023-03-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115731513B (zh) | 基于数字孪生的智慧园区管理系统 | |
| CN108229341B (zh) | 分类方法和装置、电子设备、计算机存储介质 | |
| Cai et al. | Video anomaly detection with multi-scale feature and temporal information fusion | |
| CN113628249B (zh) | 基于跨模态注意力机制与孪生结构的rgbt目标跟踪方法 | |
| CN114118124B (zh) | 图像检测方法和装置 | |
| Luo et al. | Traffic analytics with low-frame-rate videos | |
| Li et al. | Streamer action recognition in live video with spatial-temporal attention and deep dictionary learning | |
| Li et al. | MSAt-GAN: a generative adversarial network based on multi-scale and deep attention mechanism for infrared and visible light image fusion | |
| CN111368634B (zh) | 基于神经网络的人头检测方法、系统及存储介质 | |
| CN116015837A (zh) | 用于计算机网络信息安全的入侵检测方法及系统 | |
| Fan et al. | Real-time and accurate abnormal behavior detection in videos | |
| CN112528961A (zh) | 一种基于Jetson Nano的视频分析方法 | |
| CN115631385A (zh) | 消防车道实时监控系统 | |
| CN116311005A (zh) | 一种用于运动图像处理装置、方法及存储介质 | |
| CN114359775A (zh) | 关键帧检测方法、装置、设备及存储介质、程序产品 | |
| CN116503785A (zh) | 游泳馆监管系统及其方法 | |
| CN115205788A (zh) | 食材质量监控系统 | |
| CN114926767A (zh) | 融合隐空间自回归的预测重构视频异常检测方法 | |
| CN117437577A (zh) | 基于多特征融合的视频分类方法及系统 | |
| Vijayan et al. | A universal foreground segmentation technique using deep-neural network | |
| CN117274926A (zh) | 交通信号设备的控制方法及系统 | |
| CN116994209A (zh) | 基于人工智能的图像数据处理系统及其方法 | |
| CN111383245B (zh) | 视频检测方法、视频检测装置和电子设备 | |
| CN116665451A (zh) | 基于拥堵路段交通信息实时定位指挥处理系统 | |
| Ning et al. | Memory-enhanced appearance-motion consistency framework for video anomaly detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |