CN115908321A - 创新型智能宠物综合维护管理系统及其方法 - Google Patents

Abstract

公开了一种创新型智能宠物综合维护管理系统及其方法，其通过包括第一图像编码器和第二图像编码器的孪生网络模型将灯具在第一天气模式下的灯效监控视频以及所述灯具在所述第一天气模式下的灯效参考视频映射到高维特征空间中，并基于所述灯效监控视频和所述灯效参考视频在高维特征空间中的特征分布之间的差异作为标准来判断所述灯效监控视频所呈现的灯效是否满足设计要求。这样，可以提高对所述灯具在第一天气模式下的灯效符合预定设计要求的判断的精准度。

Description

创新型智能宠物综合维护管理系统及其方法

技术领域

本申请涉及智能管理技术领域，且更为具体地，涉及一种创新型智能宠物综合维护管理系统及其方法。

背景技术

随着生活物质水平的提高，越来越多的人群倾向于在水族缸中圈养植物和/或动物，生态水族缸的概念，也被越来越多的人所接受。但是相较于常规的宠物圈养，因水族缸的动物或植物生长于水环境中，这使得水族缸内的植物和动物的维护和管理具有特异性，例如，在设计灯光时，期待灯光能够模拟日升日落、多云天气、雷雨天气等自然环境状态。

因此，期待一种创新型智能宠物综合维护管理方案。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种创新型智能宠物综合维护管理系统及其方法，其通过包括第一图像编码器和第二图像编码器的孪生网络模型将灯具在第一天气模式下的灯效监控视频以及所述灯具在所述第一天气模式下的灯效参考视频映射到高维特征空间中，并基于所述灯效监控视频和所述灯效参考视频在高维特征空间中的特征分布之间的差异作为标准来判断所述灯效监控视频所呈现的灯效是否满足设计要求。这样，可以提高对所述灯具在第一天气模式下的灯效符合预定设计要求的判断的精准度。

根据本申请的一个方面，提供了一种创新型智能宠物综合维护管理系统，其包括：

照明监控模块，用于获取灯具在第一天气模式下的灯效监控视频以及所述灯具在所述第一天气模式下的灯效参考视频；

采样模块，用于分别从所述灯效监控视频和所述灯效参考视频提取多个灯效监控关键帧和多个灯效参考关键帧；

孪生检测模块，用于将所述多个灯效监控关键帧和所述多个灯效参考关键帧通过包括第一图像编码器和第二图像编码器的孪生网络模型以得到灯效监控特征图和灯效参考特征图；

差异评估模块，用于计算所述灯效监控图和灯效参考特征图之间的差分特征图；

特征优化模块，用于对所述差分特征图进行特征分布优化以得到优化差分特征图；以及

维护管理结果生成模块，用于将所述优化差分特征图通过分类器以得到分类结果，所述分类结果用于表示灯具在第一天气模式下的灯效符合预定设计要求。

在上述创新型智能宠物综合维护管理系统中，所述采样模块，进一步用于：以预定采样频率分别从所述灯效监控视频和所述灯效参考视频提取所述多个灯效监控关键帧和所述多个灯效参考关键帧。

在上述创新型智能宠物综合维护管理系统中，所述第一图像编码器和所述第二图像编码器具有相同的网络结构。

在上述创新型智能宠物综合维护管理系统中，所述第一图像编码器和所述第二图像编码器为使用三维卷积核的三维卷积神经网络模型。

在上述创新型智能宠物综合维护管理系统中，所述孪生检测模块，包括：

第一检测单元，用于使用所述第一图像编码器的各层在层的正向传递中分别对输入数据进行基于所述三维卷积核的卷积处理、池化处理和非线性激活处理以由所述第一图像编码器的最后一层输出所述灯效监控特征图；以及，第二检测单元，用于使用所述第二图像编码器的各层在层的正向传递中分别对输入数据进行基于所述三维卷积核的卷积处理、池化处理和非线性激活处理以由所述第二图像编码器的最后一层输出所述灯效参考特征图。

在上述创新型智能宠物综合维护管理系统中，所述差异评估模块，包括：

差分矩阵生成单元，用于计算所述灯效监控图和灯效参考特征图的沿通道维度的各组特征矩阵之间的差分特征矩阵以得到多个差分特征矩阵；三维排列单元，用于将所述多个差分特征矩阵沿通道维度进行排列以得到所述差分特征图。

在上述创新型智能宠物综合维护管理系统中，所述特征优化模块，进一步用于：以如下公式对所述差分特征图进行特征分布优化以得到优化差分特征图；其中，所述公式为：

其中，和分别是特征集合的均值和标准差，且是所述差分特征图的第位置的特征值。

在上述创新型智能宠物综合维护管理系统中，所述维护管理结果生成模块，包括：特征图展开单元，用于将所述优化差分特征图按照行向量或列向量展开为分类特征向量；全连接编码单元，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

根据本申请的另一方面，提供了一种创新型智能宠物综合维护管理方法，其包括：

获取灯具在第一天气模式下的灯效监控视频以及所述灯具在所述第一天气模式下的灯效参考视频；

分别从所述灯效监控视频和所述灯效参考视频提取多个灯效监控关键帧和多个灯效参考关键帧；

将所述多个灯效监控关键帧和所述多个灯效参考关键帧通过包括第一图像编码器和第二图像编码器的孪生网络模型以得到灯效监控特征图和灯效参考特征图；

计算所述灯效监控图和灯效参考特征图之间的差分特征图；

对所述差分特征图进行特征分布优化以得到优化差分特征图；以及

将所述优化差分特征图通过分类器以得到分类结果，所述分类结果用于表示灯具在第一天气模式下的灯效符合预定设计要求。

在上述创新型智能宠物综合维护管理方法中，所述分别从所述灯效监控视频和所述灯效参考视频提取多个灯效监控关键帧和多个灯效参考关键帧，进一步包括：与预定采样频率分别从所述灯效监控视频和所述灯效参考视频提取所述多个灯效监控关键帧和所述多个灯效参考关键帧。

在上述创新型智能宠物综合维护管理方法中，所述第一图像编码器和所述第二图像编码器具有相同的网络结构。

在上述创新型智能宠物综合维护管理方法中，所述第一图像编码器和所述第二图像编码器为使用三维卷积核的三维卷积神经网络模型。

在上述创新型智能宠物综合维护管理方法中，所述将所述多个灯效监控关键帧和所述多个灯效参考关键帧通过包括第一图像编码器和第二图像编码器的孪生网络模型以得到灯效监控特征图和灯效参考特征图，包括：使用所述第一图像编码器的各层在层的正向传递中分别对输入数据进行基于所述三维卷积核的卷积处理、池化处理和非线性激活处理以由所述第一图像编码器的最后一层输出所述灯效监控特征图；以及，使用所述第二图像编码器的各层在层的正向传递中分别对输入数据进行基于所述三维卷积核的卷积处理、池化处理和非线性激活处理以由所述第二图像编码器的最后一层输出所述灯效参考特征图。

在上述创新型智能宠物综合维护管理方法中，所述计算所述灯效监控图和灯效参考特征图之间的差分特征图，包括：计算所述灯效监控图和灯效参考特征图的沿通道维度的各组特征矩阵之间的差分特征矩阵以得到多个差分特征矩阵；将所述多个差分特征矩阵沿通道维度进行排列以得到所述差分特征图。

在上述创新型智能宠物综合维护管理方法中，所述对所述差分特征图进行特征分布优化以得到优化差分特征图，进一步包括：以如下公式对所述差分特征图进行特征分布优化以得到优化差分特征图，其中，所述公式为：

其中，和分别是特征集合的均值和标准差，且是所述差分特征图的第位置的特征值。

在上述创新型智能宠物综合维护管理方法中，所述将所述优化差分特征图通过分类器以得到分类结果，所述分类结果用于表示灯具在第一天气模式下的灯效符合预定设计要求，包括：将所述优化差分特征图按照行向量或列向量展开为分类特征向量；使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

与现有技术相比，本申请提供的创新型智能宠物综合维护管理系统及其方法，其通过包括第一图像编码器和第二图像编码器的孪生网络模型将灯具在第一天气模式下的灯效监控视频以及所述灯具在所述第一天气模式下的灯效参考视频映射到高维特征空间中，并基于所述灯效监控视频和所述灯效参考视频在高维特征空间中的特征分布之间的差异作为标准来判断所述灯效监控视频所呈现的灯效是否满足设计要求。这样，可以提高对所述灯具在第一天气模式下的灯效符合预定设计要求的判断的精准度。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1为根据本申请实施例的创新型智能宠物综合维护管理系统的应用场景图。

图2为根据本申请实施例的创新型智能宠物综合维护管理系统的框图。

图3为根据本申请实施例的创新型智能宠物综合维护管理系统中所述孪生检测模块的框图。

图4为根据本申请实施例的创新型智能宠物综合维护管理系统中所述差异评估模块的框图。

图5为根据本申请实施例的创新型智能宠物综合维护管理系统中所述维护管理结果生成模块的框图。

图6为根据本申请实施例的创新型智能宠物综合维护管理系统构成的示意图。

图7为根据本申请实施例的创新型智能宠物综合维护管理系统地2分区光源、3分区光源和4分区光源结构的示意图。

图8为根据本申请实施例的创新型智能宠物综合维护管理系统的手机和PC端软件①的示意图。

图9为根据本申请实施例的创新型智能宠物综合维护管理系统的主灯控制管理电路原理图。

图10为根据本申请实施例的创新型智能宠物综合维护管理系统的分区1灯控制执行电路原理图。

图11为根据本申请实施例的创新型智能宠物综合维护管理系统的分区2灯控制执行电路原理图。

图12为根据本申请实施例的创新型智能宠物综合维护管理方法的流程图。

图13为根据本申请实施例的创新型智能宠物综合维护管理方法的系统架构的示意图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

场景概述

如上所述，因水族缸的动物或植物生长于水环境中，这使得水族缸内的植物和动物的维护和管理具有特异性，例如，在设计灯光时，期待灯光能够模拟日升日落、多云天气、雷雨天气等自然环境状态。因此，期待一种创新型智能宠物综合维护管理方案。

基于此，本申请的申请人提出了一种创新型智能宠物综合维护管理系统，其包括智能插座、智能云服务器、控制盒、电源连接器、传感器和灯具，其中，所述灯具能够可以实现多分区的LED灯的控制管理，例如，可以实现2分区、3分区、4分区、N+1分区的控制，这样可以使水族缸内的动植物得到了精准的光覆盖；可以模拟日升日落、多云天气、雷雨天气这些自然环境状态，使水族缸、雨林缸这些室内人造动植物栖息地，更趋近与自然状态。

但是，在所述创新型智能宠物综合维护管理系统的运行中，本申请的申请人发现虽然上述光效控制能够让水族缸内的生物有在自然界的水中观察到的天气变化一样，但是如果控制电路发生故障或者电路控制灯中某个电路等发生故障，都会使得光效发生偏差，影响生物在水族缸中的生长发育，因此，在上述系统架构的基础上，本申请的申请人进一步提出对灯具的灯光效果（后续简称为等效）进行智能监控，以确定其灯效是否满足预定设计要求，通过这样的方式，使得所述创新型智能宠物综合维护管理系统具有灯效自监控功能，以确保水族缸内动物和植物的生长，且能够对灯具性能和工作状态进行监控，从而实现故障检测、故障预警等功能。

具体地，本申请的申请人考虑到在进行灯具的灯效监控时，重点关于等效所呈现出的整体模式特征是否与设计要求相适配。基于此，通过灯具在第一天气模式下的灯效监控视频和所述灯具在所述第一天气模式下的灯效参考视频之间的比较来对灯具的灯效进行智能分析和判断。应可以理解，因所述灯效监控视频由摄像头采集，而所述灯效参考视频通过视频设计软件提供，因此，虽然可以控制两者的帧率相同，但是因摄像头拍摄所引入的拍摄误差（例如，在拍摄时的环境光照条件、拍摄时的拍摄视角等）会使得两者的比较发生偏差。

针对上述技术问题，本申请的技术构思为将所述灯效监控视频和所述灯效参考视频通过基于深度神经网络模型的编码器映射到高维特征空间中，并基于两者在高维特征空间中的特征分布之间的差异作为标准来判断所述灯效监控视频所呈现的灯效是否满足设计要求。应可以理解，所述基于深度神经网络模型的编码器可通过预定训练策略来进行训练以使得所述基于深度神经网络模型的编码器在进行特征提取时聚焦于灯效模式特征，而忽略因拍摄而引入的误差和干扰信息。

具体地，在本申请的技术方案中，首先在第一天气模式下的灯效监控视频以及所述灯具在所述第一天气模式下的灯效参考视频。特别地，所述灯效监控视频和所述灯效参考视频具有相同的帧率。在将所述灯效监控视频和所述灯效参考视频输入基于深度神经网络模型的编码器之前，考虑到所述灯效监控视频和所述灯效参考视频中许多连续帧是重复或相似的，造成了信息冗余，增加后续模型计算量。因此，在作为模型的输入之前，先以预定采样频率分别从所述灯效监控视频和所述灯效参考视频提取多个灯效监控关键帧和多个灯效参考关键帧。

进而，将所述多个灯效监控关键帧和所述多个灯效参考关键帧通过包括第一图像编码器和第二图像编码器的孪生网络模型以得到灯效监控特征图和灯效参考特征图。在本申请的技术方案中，所述第一图像编码器和所述第二图像编码器具有相同的网络结构，更明确地，所述第一图像编码器和所述第二图像编码器为使用三维卷积核的三维卷积神经网络模型。应可以理解，所述第一图像编码器和所述第二图像编码器具有相同的特征提取能力，因此，所述多个灯效监控关键帧和所述多个灯效参考关键帧所呈现出的灯效模式在源域的特征经所述第一图像编码器和所述第二图像编码器的编码映射后，两者之间的差异会被放大和显化。

进而，以所述灯效监控特征图和所述灯效参考特征图在高维特征空间中的特征分布差异来作为依据，可提高对灯具在第一天气模式下的灯效符合预定设计要求的判断的精准度。也就是，计算所述灯效监控图和灯效参考特征图之间的差分特征图，在一个具体的示例中，所述计算所述灯效监控图和灯效参考特征图之间的差分特征图的过程，包括计算所述灯效监控图和灯效参考特征图的各个特征矩阵之间的差分特征矩阵，并将所得到的多个差分特征矩阵沿通道维度进行排列以得到所述差分特征图。接着，将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示灯具在第一天气模式下的灯效符合预定设计要求。

特别地，在本申请的技术方案中，由于所述灯效监控图和灯效参考特征图之间的差分特征图是所述灯效监控图和灯效参考特征图的各个特征矩阵之间的多个差分特征矩阵沿着通道维度排列得到的，因此所述多个差分特征矩阵之间的特征关联度符合自然状态下的高斯分布，即代表各个关键帧之间的图像差分特征的相对平均差分度具有最高的概率密度，而具有相对强差分度和相对弱差分度的概率密度都较低。这样，所获得的差分特征图可能存在各个差分矩阵所代表的图像差分特征之间在全局关联关系上的聚类效果不良的情况，从而弱化了影响分类结果的关键全局特征分布，影响所述差分特征图的分类效果。

基于此，对所述差分特征图进行特征聚类的去聚焦模糊优化，表示为：

和分别是特征集合的均值和标准差，且是所述差分特征图的第位置的特征值。

这里，所述特征聚类的去聚焦模糊优化通过将用于估计聚类度量值的聚焦堆栈表示进行基于统计信息的特征聚类索引，来补偿遵循高斯点分布的高频分布特征相对于整体特征分布的均一化表示的依赖相似度，从而避免由于该依赖相似度低而引起整体特征分布的聚焦模糊，这样，就提升了所述差分特征图的分类效果。也就是，提高对所述灯具在第一天气模式下的灯效符合预定设计要求的判断的精准度。

基于此，本申请提供了一种创新型智能宠物综合维护管理系统，其包括：照明监控模块，用于获取灯具在第一天气模式下的灯效监控视频以及所述灯具在所述第一天气模式下的灯效参考视频；采样模块，用于分别从所述灯效监控视频和所述灯效参考视频提取多个灯效监控关键帧和多个灯效参考关键帧；孪生检测模块，用于将所述多个灯效监控关键帧和所述多个灯效参考关键帧通过包括第一图像编码器和第二图像编码器的孪生网络模型以得到灯效监控特征图和灯效参考特征图；差异评估模块，用于计算所述灯效监控图和灯效参考特征图之间的差分特征图；特征优化模块，用于对所述差分特征图进行特征分布优化以得到优化差分特征图；以及，维护管理结果生成模块，用于将所述优化差分特征图通过分类器以得到分类结果，所述分类结果用于表示灯具在第一天气模式下的灯效符合预定设计要求。

图1为根据本申请实施例的创新型智能宠物综合维护管理系统的应用场景图。如图1所示，在该应用场景中，首先，获取灯具（例如，图1中所示意的T）在第一天气模式下的灯效监控视频（例如，图1中所示意的C1）以及所述灯具在所述第一天气模式下的灯效参考视频（例如，图1中所示意的C2）；然后，将获取的灯效监控视频和灯效参考视频输入至部署有创新型智能宠物综合维护管理算法的服务器中（例如，图1中所示意的S），其中，所述服务器能够使用创新型智能宠物综合维护管理算法对所述灯效监控视频和所述灯效参考视频进行处理，以生成用于表示灯具在第一天气模式下的灯效符合预定设计要求的分类结果。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性系统

图2为根据本申请实施例的创新型智能宠物综合维护管理系统的框图。如图2所示，根据本申请实施例的创新型智能宠物综合维护管理系统100，包括：照明监控模块110，用于获取灯具在第一天气模式下的灯效监控视频以及所述灯具在所述第一天气模式下的灯效参考视频；采样模块120，用于分别从所述灯效监控视频和所述灯效参考视频提取多个灯效监控关键帧和多个灯效参考关键帧；孪生检测模块130，用于将所述多个灯效监控关键帧和所述多个灯效参考关键帧通过包括第一图像编码器和第二图像编码器的孪生网络模型以得到灯效监控特征图和灯效参考特征图；差异评估模块140，用于计算所述灯效监控图和灯效参考特征图之间的差分特征图；特征优化模块150，用于对所述差分特征图进行特征分布优化以得到优化差分特征图；以及，维护管理结果生成模块160，用于将所述优化差分特征图通过分类器以得到分类结果，所述分类结果用于表示灯具在第一天气模式下的灯效符合预定设计要求。

具体地，在本申请实施例中，所述照明监控模块110，用于获取灯具在第一天气模式下的灯效监控视频以及所述灯具在所述第一天气模式下的灯效参考视频。如上所述，因水族缸的动物或植物生长于水环境中，这使得水族缸内的植物和动物的维护和管理具有特异性，例如，在设计灯光时，期待灯光能够模拟日升日落、多云天气、雷雨天气等自然环境状态。因此，期待一种创新型智能宠物综合维护管理方案。

基于此，本申请的申请人提出了一种创新型智能宠物综合维护管理系统，其包括智能插座、智能云服务器、控制盒、电源连接器、传感器和灯具，其中，所述灯具能够可以实现多分区的LED灯的控制管理，例如，可以实现2分区、3分区、4分区、N+1分区的控制，这样可以使水族缸内的动植物得到了精准的光覆盖；可以模拟日升日落、多云天气、雷雨天气这些自然环境状态，使水族缸、雨林缸这些室内人造动植物栖息地，更趋近与自然状态。

但是，在所述创新型智能宠物综合维护管理系统的运行中，本申请的申请人发现虽然上述光效控制能够让水族缸内的生物有在自然界的水中观察到的天气变化一样，但是如果控制电路发生故障或者电路控制灯中某个电路等发生故障，都会使得光效发生偏差，影响生物在水族缸中的生长发育，因此，在上述系统架构的基础上，本申请的申请人进一步提出对灯具的灯光效果（后续简称为等效）进行智能监控，以确定其灯效是否满足预定设计要求，通过这样的方式，使得所述创新型智能宠物综合维护管理系统具有灯效自监控功能，以确保水族缸内动物和植物的生长，且能够对灯具性能和工作状态进行监控，从而实现故障检测、故障预警等功能。

具体地，本申请的申请人考虑到在进行灯具的灯效监控时，重点关于等效所呈现出的整体模式特征是否与设计要求相适配。基于此，通过灯具在第一天气模式下的灯效监控视频和所述灯具在所述第一天气模式下的灯效参考视频之间的比较来对灯具的灯效进行智能分析和判断。应可以理解，因所述灯效监控视频由摄像头采集，而所述灯效参考视频通过视频设计软件提供，因此，虽然可以控制两者的帧率相同，但是因摄像头拍摄所引入的拍摄误差（例如，在拍摄时的环境光照条件、拍摄时的拍摄视角等）会使得两者的比较发生偏差。

针对上述技术问题，本申请的技术构思为将所述灯效监控视频和所述灯效参考视频通过基于深度神经网络模型的编码器映射到高维特征空间中，并基于两者在高维特征空间中的特征分布之间的差异作为标准来判断所述灯效监控视频所呈现的灯效是否满足设计要求。应可以理解，所述基于深度神经网络模型的编码器可通过预定训练策略来进行训练以使得所述基于深度神经网络模型的编码器在进行特征提取时聚焦于灯效模式特征，而忽略因拍摄而引入的误差和干扰信息。

具体地，在本申请的技术方案中，首先在第一天气模式下的灯效监控视频以及所述灯具在所述第一天气模式下的灯效参考视频。特别地，所述灯效监控视频和所述灯效参考视频具有相同的帧率。

具体地，在本申请实施例中，所述采样模块120，用于分别从所述灯效监控视频和所述灯效参考视频提取多个灯效监控关键帧和多个灯效参考关键帧。在将所述灯效监控视频和所述灯效参考视频输入基于深度神经网络模型的编码器之前，考虑到所述灯效监控视频和所述灯效参考视频中许多连续帧是重复或相似的，造成了信息冗余，增加后续模型计算量。因此，在作为模型的输入之前，先以预定采样频率分别从所述灯效监控视频和所述灯效参考视频提取多个灯效监控关键帧和多个灯效参考关键帧。

这样，可以保留所述灯效监控视频和所述灯效参考视频中的关键帧，去除所述灯效监控视频和所述灯效参考视频中的冗余信息，精简后续模型计算量，以使得最后的分类结果更加准确。

具体地，在本申请实施例中，所述孪生检测模块130，用于将所述多个灯效监控关键帧和所述多个灯效参考关键帧通过包括第一图像编码器和第二图像编码器的孪生网络模型以得到灯效监控特征图和灯效参考特征图。进而，将所述多个灯效监控关键帧和所述多个灯效参考关键帧通过包括第一图像编码器和第二图像编码器的孪生网络模型以得到灯效监控特征图和灯效参考特征图。

在本申请的技术方案中，所述第一图像编码器和所述第二图像编码器具有相同的网络结构，更明确地，所述第一图像编码器和所述第二图像编码器为使用三维卷积核的三维卷积神经网络模型。应可以理解，所述第一图像编码器和所述第二图像编码器具有相同的特征提取能力，因此，所述多个灯效监控关键帧和所述多个灯效参考关键帧所呈现出的灯效模式在源域的特征经所述第一图像编码器和所述第二图像编码器的编码映射后，两者之间的差异会被放大和显化。

应可以理解，孪生网络模型可以衡量两个输入的相似程度。孪生神经网络有两个输入（Input1 and Input2）,将两个输入feed进入两个神经网络（Network1 andNetwork2），这两个神经网络分别将输入映射到新的空间，形成输入在新的空间中的表示。通过Loss的计算，评价两个输入的相似度。在本申请实施例中，两个神经网络分别为：所述第一图像编码器和所述第二图像编码器。孪生网络模型又可以分为孪生网络和伪孪生网络，其中，孪生网络为：两个网络结构相同且共享参数，当两个输入来自统一领域且在结构上有很大的相似度时选择该模型；伪孪生网络为：两个网络结构相同但不共享参数，或者两个网络结构不同，当两个输入结构上不同，或者来自不同的领域，两个输入之间的相似度计算时选择该模型。

更具体地，在本申请实施例中，图3为根据本申请实施例的创新型智能宠物综合维护管理系统中所述孪生检测模块的框图，如图3所示，所述孪生检测模块，包括：第一检测单元210，用于使用所述第一图像编码器的各层在层的正向传递中分别对输入数据进行基于所述三维卷积核的卷积处理、池化处理和非线性激活处理以由所述第一图像编码器的最后一层输出所述灯效监控特征图；以及，第二检测单元220，用于使用所述第二图像编码器的各层在层的正向传递中分别对输入数据进行基于所述三维卷积核的卷积处理、池化处理和非线性激活处理以由所述第二图像编码器的最后一层输出所述灯效参考特征图。

应可以理解，经所述第一图像编码器和所述第二图像编码器的编码映射后，所述多个灯效监控关键帧和所述多个灯效参考关键帧之间的的差异会被放大和显化。

具体地，在本申请实施例中，所述差异评估模块140，用于计算所述灯效监控图和灯效参考特征图之间的差分特征图。进而，以所述灯效监控特征图和所述灯效参考特征图在高维特征空间中的特征分布差异来作为依据，可提高对灯具在第一天气模式下的灯效符合预定设计要求的判断的精准度。

也就是，计算所述灯效监控图和灯效参考特征图之间的差分特征图，在一个具体的示例中，所述计算所述灯效监控图和灯效参考特征图之间的差分特征图的过程，包括计算所述灯效监控图和灯效参考特征图的各个特征矩阵之间的差分特征矩阵，并将所得到的多个差分特征矩阵沿通道维度进行排列以得到所述差分特征图。接着，将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示灯具在第一天气模式下的灯效符合预定设计要求。

更具体地，在本申请实施例中，图4为根据本申请实施例的创新型智能宠物综合维护管理系统中所述差异评估模块的框图，如图4所示，所述差异评估模块，包括：差分矩阵生成单元310，用于计算所述灯效监控图和灯效参考特征图的沿通道维度的各组特征矩阵之间的差分特征矩阵以得到多个差分特征矩阵；三维排列单元320，用于将所述多个差分特征矩阵沿通道维度进行排列以得到所述差分特征图。

具体地，在本申请实施例中，所述特征优化模块150，用于对所述差分特征图进行特征分布优化以得到优化差分特征图。特别地，在本申请的技术方案中，由于所述灯效监控图和灯效参考特征图之间的差分特征图是所述灯效监控图和灯效参考特征图的各个特征矩阵之间的多个差分特征矩阵沿着通道维度排列得到的，因此所述多个差分特征矩阵之间的特征关联度符合自然状态下的高斯分布，即代表各个关键帧之间的图像差分特征的相对平均差分度具有最高的概率密度，而具有相对强差分度和相对弱差分度的概率密度都较低。这样，所获得的差分特征图可能存在各个差分矩阵所代表的图像差分特征之间在全局关联关系上的聚类效果不良的情况，从而弱化了影响分类结果的关键全局特征分布，影响所述差分特征图的分类效果。

基于此，对所述差分特征图进行特征聚类的去聚焦模糊优化，也就是，以如下公式对所述差分特征图进行特征分布优化以得到优化差分特征图；其中，所述公式为：

其中，和分别是特征集合的均值和标准差，且是所述差分特征图的第位置的特征值。

这里，所述特征聚类的去聚焦模糊优化通过将用于估计聚类度量值的聚焦堆栈表示进行基于统计信息的特征聚类索引，来补偿遵循高斯点分布的高频分布特征相对于整体特征分布的均一化表示的依赖相似度，从而避免由于该依赖相似度低而引起整体特征分布的聚焦模糊，这样，就提升了所述差分特征图的分类效果。也就是，提高对所述灯具在第一天气模式下的灯效符合预定设计要求的判断的精准度。

具体地，在本申请实施例中，所述维护管理结果生成模块160，用于将所述优化差分特征图通过分类器以得到分类结果，所述分类结果用于表示灯具在第一天气模式下的灯效符合预定设计要求。这样，可以提高对所述灯具在第一天气模式下的灯效符合预定设计要求的判断的精准度。

更具体地，在本申请实施例中，图5为根据本申请实施例的创新型智能宠物综合维护管理系统中所述维护管理结果生成模块的框图，如图5所示，所述维护管理结果生成模块，包括：特征图展开单元410，用于将所述优化差分特征图按照行向量或列向量展开为分类特征向量；全连接编码单元420，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类单元430，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

在本申请一具体示例中，使用所述分类器以如下公式对所述优化差分特征图进行处理以得到所述分类结果；其中，所述公式为：

，其中，到为权重矩阵，到为偏置向量，为所述优化差分特征图投影为向量。

综上，基于本申请实施例的创新型智能宠物综合维护管理系统100被阐明，其通过包括第一图像编码器和第二图像编码器的孪生网络模型将灯具在第一天气模式下的灯效监控视频以及所述灯具在所述第一天气模式下的灯效参考视频映射到高维特征空间中，并基于所述灯效监控视频和所述灯效参考视频在高维特征空间中的特征分布之间的差异作为标准来判断所述灯效监控视频所呈现的灯效是否满足设计要求。这样，可以提高对所述灯具在第一天气模式下的灯效符合预定设计要求的判断的精准度。

如上所述，根据本申请实施例的所述创新型智能宠物综合维护管理系统100可以实现在各种终端设备中，例如用于创新型智能宠物综合维护管理算法的服务器等。在一个示例中，该创新型智能宠物综合维护管理系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该创新型智能宠物综合维护管理系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该创新型智能宠物综合维护管理系统100同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该创新型智能宠物综合维护管理系统100与该终端设备也可以是分立的设备，并且该创新型智能宠物综合维护管理系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

具体地，在本申请的一个实施例中，图6为根据本申请实施例的创新型智能宠物综合维护管理系统构示成的意图，如图6所示，所述创新型智能宠物综合维护管理系统包括手机和PC端软件11；智能云服务器12；照明系统13包括控制盒131、电源132、传感器133和灯具134；执行设备14（智能插座）。

其中，所述创新型智能宠物综合维护管理系统的功能包括：

1.通过手机端或PC端软件11作为专门设计的软件，来设定控制整个系统。

2.智能云服务器12作为远程数据采集和控制的信息交互中枢，具备对传感器133数据的采集分析，具备设备间联动控制的协调，具备客户需求信息的收集反馈，具备设备异常情况的报警推送。

3.控制盒131作为数据采集和灯光源控制核心，可以采集并传输传感器133的实时数据到智能云服务器12；可以控制灯具134的工作工作状态。

4.电源132的功能，是给控制盒131和灯具134提供工作电源。

5.传感器133是用来监测水的温度，来检测水中生物的生存环境是否适宜。

6. 灯具134可以实现多分区的LED灯的控制管理，可以实现如图7所示的2分区、3分区、4分区、N+1分区的控制；可以在多分区上实现，每个分区的独立控制；可以使水族缸内的动植物得到了精准的光覆盖；可以模拟日升日落、多云天气、雷雨天气这些自然环境状态，使水族缸、雨林缸这些室内人造动植物栖息地，更趋近与自然状态。

7.智能插座作为执行设备14，通过智能云服务器12协调，可以与传感器133和灯具134进行联动控制。

实例一：传感器133与智能插座14联动，传感器133测量温度为22℃，设定的标准温度为24℃~27℃，低于设定的标准温度，系统指令智能插座14开启加热装置。当加热到超过标准温度27℃时，系统指令智能插座14关闭。

实例二：灯具134与智能插座14联动，灯具134定时每天的08:00开启，当灯具134开启后同步联动智能插座14打开，智能插座14控制二氧化碳气瓶，可以给水族缸种植物提供光合作用的主要物质二氧化碳。灯具134关闭时，同步联动智能插座14关闭。

在本申请实施例中，图8为根据本申请实施例的创新型智能宠物综合维护管理系统的手机和PC端软件11的示意图，如图8所示，所述手机和PC端软件11的功能包括：

（1）进行智能设备的添加管理，发明中的照明系统和执行设备，都可以添加到手机端或PC端软件11中进行设备的控制管理；发明中的照明系统的光源为LED光源，因此控制电路可以很方便实现开关，以及PWM调光控制。

（2）通过手机端或PC端软件11的配置，让WIFI类的智能设备，连接上智能云服务器12，使智能设备直接与智能云服务器12，进行信息交互。

（3）手机端或PC端软件11可以对照明系统13中多分区的每一个分区，进行独立调光控制；可以对每个分区的多路LED，进行PWM调光控制，设定各分区根据时间做配光和亮度的变化管理。

（4）通过手机端或PC端软件11设定，照明系统13从智能云服务器12获取本地天气信息，根据天气信息；可以控制灯具134光源做状态变化，如多云天气、雷雨天气。

（5）雷雨天气的实现，灯具134的控制电路内置模拟闪电效果算法：自然界中雷雨天气，通常会出现闪电闪烁，控制电路控制灯具134各个分区做随机闪烁的光变化，可以让水族缸内的生物有在自然界的水中观察到的天气变化一样。

多云天气的实现，灯具134的控制电路内置多云天气的效果算法：多云天气多为白云在天空飘动翻滚，遮挡了阳光；通过控制电路，控制各分区的LED，做有规律的亮度变化，来模拟出云遮日的效果，在水族缸内，得到的效果就可以与自然界的多云天气雷同。

进一步地，在本申请实施例中，所述智能云服务器12的功能包括：

（1）智能云服务器12作为协调中心，管理各软件账号，与账号下的设备之间的数据交换、协调管理和控制。

（2）已经添加到智能云服务器12上的设备，智能云服务器12负责给设备提供统一的时间数据，还从网络上获取本地的天气情况，提供给照明系统13，进行控制响应。

（3）智能云服务器12获取传感器133设备的数据信息，通过分析数据信息，提供设备联动条件，推送报警信息。

更进一步地，在本申请实施例中，所述多分区灯控功能包括：

（1）如图9至图11所示，多分区的灯控功能，由一个主灯控制管理电路，和多个分区执行灯控电路组成。

（2）主灯控制管理电路，由具备WIFI连接功能的成熟单片机构成，从云平台或软件端，获取控制指令，编译成规定的标准数据包，发送给分区的执行灯控电路。

（3）分区的执行灯控电路，由成熟的控制专用单片机构成，芯片采用单线通讯方式，采用归零码的方式发送信号。芯片在上电复位以后，接收DIN端打来的数据，接收够 3组 24bit后，DO端口开始转发数据，为下一个芯片提供输入数据。在转发之前，DOUT口一直拉低。此时芯片将不接收新的数据，芯片三组OUTR、OUTG、OUTB输出口根据接收到的数据，发出相应的不同占空比的信号，该信号周期为 1.3ms。如果DIN端输入信号为RESET信号，芯片将接收到的数据送显示，芯片将在该信号结束后重新接收新的数据，在接收完开始的 3 组24bit数据后，通过DOUT口转发数据。芯片采用自动整形转发技术，完全可以避免远距离传输较多点数时的信号衰减和失真，使得该芯片的级联个数不受信号传输的限制，仅仅受限于刷屏速度之要求。这样就可以实现n+1个分区的独立控制。

（4）各分区的配置的LED可以根据需要，连接不同波长的LED，如红光、绿光、蓝光、白光，这样就可以让用户实现不同光谱的配光操作。

示例性方法

图12为根据本申请实施例的创新型智能宠物综合维护管理方法的流程图。如图12所示，根据本申请实施例的创新型智能宠物综合维护管理方法，其包括：S110，获取灯具在第一天气模式下的灯效监控视频以及所述灯具在所述第一天气模式下的灯效参考视频；S120，分别从所述灯效监控视频和所述灯效参考视频提取多个灯效监控关键帧和多个灯效参考关键帧；S130，将所述多个灯效监控关键帧和所述多个灯效参考关键帧通过包括第一图像编码器和第二图像编码器的孪生网络模型以得到灯效监控特征图和灯效参考特征图；S140，计算所述灯效监控图和灯效参考特征图之间的差分特征图；S150，对所述差分特征图进行特征分布优化以得到优化差分特征图；以及，S160，将所述优化差分特征图通过分类器以得到分类结果，所述分类结果用于表示灯具在第一天气模式下的灯效符合预定设计要求。

图13为根据本申请实施例的创新型智能宠物综合维护管理方法的系统架构的示意图。如图13所示，在所述创新型智能宠物综合维护管理方法的系统架构中，首先，获取灯具在第一天气模式下的灯效监控视频以及所述灯具在所述第一天气模式下的灯效参考视频；然后，分别从所述灯效监控视频和所述灯效参考视频提取多个灯效监控关键帧和多个灯效参考关键帧；接着，将所述多个灯效监控关键帧和所述多个灯效参考关键帧通过包括第一图像编码器和第二图像编码器的孪生网络模型以得到灯效监控特征图和灯效参考特征图；然后，计算所述灯效监控图和灯效参考特征图之间的差分特征图；接着，对所述差分特征图进行特征分布优化以得到优化差分特征图；以及，最后，将所述优化差分特征图通过分类器以得到分类结果，所述分类结果用于表示灯具在第一天气模式下的灯效符合预定设计要求。

在一个具体示例中，在上述创新型智能宠物综合维护管理方法中，所述分别从所述灯效监控视频和所述灯效参考视频提取多个灯效监控关键帧和多个灯效参考关键帧，进一步包括：与预定采样频率分别从所述灯效监控视频和所述灯效参考视频提取所述多个灯效监控关键帧和所述多个灯效参考关键帧。

在一个具体示例中，在上述创新型智能宠物综合维护管理方法中，所述第一图像编码器和所述第二图像编码器具有相同的网络结构。

在一个具体示例中，在上述创新型智能宠物综合维护管理方法中，所述第一图像编码器和所述第二图像编码器为使用三维卷积核的三维卷积神经网络模型。

在一个具体示例中，在上述创新型智能宠物综合维护管理方法中，所述将所述多个灯效监控关键帧和所述多个灯效参考关键帧通过包括第一图像编码器和第二图像编码器的孪生网络模型以得到灯效监控特征图和灯效参考特征图，包括：使用所述第一图像编码器的各层在层的正向传递中分别对输入数据进行基于所述三维卷积核的卷积处理、池化处理和非线性激活处理以由所述第一图像编码器的最后一层输出所述灯效监控特征图；以及，使用所述第二图像编码器的各层在层的正向传递中分别对输入数据进行基于所述三维卷积核的卷积处理、池化处理和非线性激活处理以由所述第二图像编码器的最后一层输出所述灯效参考特征图。

在一个具体示例中，在上述创新型智能宠物综合维护管理方法中，所述计算所述灯效监控图和灯效参考特征图之间的差分特征图，包括：计算所述灯效监控图和灯效参考特征图的沿通道维度的各组特征矩阵之间的差分特征矩阵以得到多个差分特征矩阵；将所述多个差分特征矩阵沿通道维度进行排列以得到所述差分特征图。

在一个具体示例中，在上述创新型智能宠物综合维护管理方法中，所述对所述差分特征图进行特征分布优化以得到优化差分特征图，进一步包括：以如下公式对所述差分特征图进行特征分布优化以得到优化差分特征图，其中，所述公式为：

其中，和分别是特征集合的均值和标准差，且是所述差分特征图的第位置的特征值。

在一个具体示例中，在上述创新型智能宠物综合维护管理方法中，所述将所述优化差分特征图通过分类器以得到分类结果，所述分类结果用于表示灯具在第一天气模式下的灯效符合预定设计要求，包括：将所述优化差分特征图按照行向量或列向量展开为分类特征向量；使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

这里，本领域技术人员可以理解，上述创新型智能宠物综合维护管理方法中的各个步骤的具体操作已经在上面参考图1到图11的创新型智能宠物综合维护管理系统的描述中得到了详细介绍，并因此，将省略其重复描述。

Claims (10)

1.一种创新型智能宠物综合维护管理系统，其特征在于，包括：

照明监控模块，用于获取灯具在第一天气模式下的灯效监控视频以及所述灯具在所述第一天气模式下的灯效参考视频；

采样模块，用于分别从所述灯效监控视频和所述灯效参考视频提取多个灯效监控关键帧和多个灯效参考关键帧；

孪生检测模块，用于将所述多个灯效监控关键帧和所述多个灯效参考关键帧通过包括第一图像编码器和第二图像编码器的孪生网络模型以得到灯效监控特征图和灯效参考特征图；

差异评估模块，用于计算所述灯效监控图和灯效参考特征图之间的差分特征图；

特征优化模块，用于对所述差分特征图进行特征分布优化以得到优化差分特征图；以及

维护管理结果生成模块，用于将所述优化差分特征图通过分类器以得到分类结果，所述分类结果用于表示灯具在第一天气模式下的灯效符合预定设计要求。

2.根据权利要求1所述的创新型智能宠物综合维护管理系统，其特征在于，所述采样模块，进一步用于：以预定采样频率分别从所述灯效监控视频和所述灯效参考视频提取所述多个灯效监控关键帧和所述多个灯效参考关键帧。

3.根据权利要求2所述的创新型智能宠物综合维护管理系统，其特征在于，所述第一图像编码器和所述第二图像编码器具有相同的网络结构。

4.根据权利要求3所述的创新型智能宠物综合维护管理系统，其特征在于，所述第一图像编码器和所述第二图像编码器为使用三维卷积核的三维卷积神经网络模型。

5.根据权利要求4所述的创新型智能宠物综合维护管理系统，其特征在于，所述孪生检测模块，包括：

第一检测单元，用于使用所述第一图像编码器的各层在层的正向传递中分别对输入数据进行基于所述三维卷积核的卷积处理、池化处理和非线性激活处理以由所述第一图像编码器的最后一层输出所述灯效监控特征图；以及

第二检测单元，用于使用所述第二图像编码器的各层在层的正向传递中分别对输入数据进行基于所述三维卷积核的卷积处理、池化处理和非线性激活处理以由所述第二图像编码器的最后一层输出所述灯效参考特征图。

6.根据权利要求5所述的创新型智能宠物综合维护管理系统，其特征在于，所述差异评估模块，包括：

差分矩阵生成单元，用于计算所述灯效监控图和灯效参考特征图的沿通道维度的各组特征矩阵之间的差分特征矩阵以得到多个差分特征矩阵；

三维排列单元，用于将所述多个差分特征矩阵沿通道维度进行排列以得到所述差分特征图。

7.根据权利要求6所述的创新型智能宠物综合维护管理系统，其特征在于，所述特征优化模块，进一步用于：以如下公式对所述差分特征图进行特征分布优化以得到优化差分特征图；

其中，所述公式为：

其中，和分别是特征集合的均值和标准差，且是所述差分特征图的第位置的特征值。

8.根据权利要求7所述的创新型智能宠物综合维护管理系统，其特征在于，所述维护管理结果生成模块，包括：

特征图展开单元，用于将所述优化差分特征图按照行向量或列向量展开为分类特征向量；

全连接编码单元，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及

分类单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

9.一种创新型智能宠物综合维护管理方法，其特征在于，包括：

获取灯具在第一天气模式下的灯效监控视频以及所述灯具在所述第一天气模式下的灯效参考视频；

分别从所述灯效监控视频和所述灯效参考视频提取多个灯效监控关键帧和多个灯效参考关键帧；

将所述多个灯效监控关键帧和所述多个灯效参考关键帧通过包括第一图像编码器和第二图像编码器的孪生网络模型以得到灯效监控特征图和灯效参考特征图；

计算所述灯效监控图和灯效参考特征图之间的差分特征图；

对所述差分特征图进行特征分布优化以得到优化差分特征图；以及

将所述优化差分特征图通过分类器以得到分类结果，所述分类结果用于表示灯具在第一天气模式下的灯效符合预定设计要求。

10.根据权利要求9所述的创新型智能宠物综合维护管理方法，其特征在于，所述分别从所述灯效监控视频和所述灯效参考视频提取多个灯效监控关键帧和多个灯效参考关键帧，进一步包括：与预定采样频率分别从所述灯效监控视频和所述灯效参考视频提取所述多个灯效监控关键帧和所述多个灯效参考关键帧。

Images