CN116028258B - 基于深度学习的设备故障诊断方法及系统 - Google Patents

Abstract

本发明提供一种基于深度学习的设备故障诊断方法及系统。所述方法包括：在通信总线中广播第一测试消息；在接收到第二终端设备的第一应答消息后，根据第二终端设备的备案信息，向第二终端设备发送多次第二测试消息；根据所述第二终端设备对于第二测试消息的应答时间、第二终端设备使用的运算资源以及第二终端设备的备案信息，对第二终端设备进行筛选，确定应答性能合格的第三终端设备；根据第三终端设备的备案信息，向第三终端设备发送第三测试消息；根据第三终端设备的执行结果，确定第三终端设备是否存在硬件性能故障。根据本发明，可在多个设备中筛选出需要维修或更换的终端设备，减少逐一检测的工作量和检测成本，以及减少维修或更换成本。

Description

基于深度学习的设备故障诊断方法及系统

技术领域

本发明涉及物联网技术领域，尤其涉及一种基于深度学习的设备故障诊断方法及系统。

背景技术

相关技术中，CN115580635A公开了一种物联网终端的智能化故障诊断方法及系统，该方法包括：对目标网络结构的物联网组成设备的信息进行确定，进行设备分类输出采集源设备和传输源设备，将采集源设备的信息和传输源设备的信息输入设备故障概率计算模型中，通过进行模型分析输出标识设备，基于标识采集源设备和标识传输源设备生成故障诊断库，并存储至所述云端服务器中，获取实时网络故障信息，根据故障诊断库进行设备定位输出故障设备。

CN115028073A公开了一种基于工业物联网的智慧工厂工业设备故障分析评估系统，包括：制动结构故障监测模块，制动结构故障分析模块，起升结构故障监测模块，起升结构故障分析模块，设备故障分析模块、设备故障预警终端数据库；通过分析得到目标起重机的制动结构故障评估系数和起升结构故障评估系数，进而综合计算得到目标起重机设备故障评估系数。

CN115296976A公开了一种物联网设备故障检测方法、装置、设备及存储介质，该方法包括：通过获取当前时间窗口中各物联网设备的设备数据；解析各物联网设备的设备数据获取各物联网设备至少两种事件属性的状态值，并将各物联网设备同一种事件属性的状态值存储至一个Bitmap数据结构中，任一Bitmap数据结构的每一位对应一个物联网设备同一种事件属性的状态值，状态值为0或1；根据预设故障筛选规则对至少两个事件属性的Bitmap数据结构进行位运算，根据结果进行故障设备检测和/或故障原因分析。

然而，相关技术均无法准确测试物联网终端设备的性能，也无法确定物联网终端设备是否存在性能故障。

公开于本申请背景技术部分的信息仅仅旨在加深对本申请的一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

发明内容

本发明实施例提供一种基于深度学习的设备故障诊断方法及系统，能够测试物联网终端设备的性能，确定终端设备是否存在硬件性能故障。

本发明实施例的第一方面，提供一种基于深度学习的设备故障诊断方法,包括：

在通信总线中广播第一测试消息，其中，所述第一测试消息用于确定出在所述云端设备中备案的多个终端设备中，未上线或无法应答的第一终端设备；

在接收到第二终端设备的第一应答消息后，根据所述第二终端设备的备案信息，向所述第二终端设备发送多次第二测试消息，其中，所述第二测试消息用于测试所述第二终端设备的应答性能；

根据所述第二终端设备对于所述第二测试消息的应答时间、所述第二终端设备在执行所述第二测试消息对应的命令时使用的运算资源以及所述第二终端设备的备案信息，对所述第二终端设备进行筛选，确定应答性能合格的第三终端设备；

根据所述第三终端设备的备案信息，向所述第三终端设备发送第三测试消息，其中，所述第三测试消息用于测试所述第三终端设备的运行性能；

在接收到的所述第三终端设备对于所述第三测试消息对应的命令的执行结果的情况下，根据所述执行结果，确定所述第三终端设备是否存在硬件性能故障。

在本发明的一些实施例中，根据所述第二终端设备对于所述第二测试消息的应答时间、所述第二终端设备在执行所述第二测试消息对应的命令时使用的运算资源以及所述第二终端设备的备案信息，对所述第二终端设备进行筛选，确定应答性能合格的第三终端设备，包括：

根据所述第二终端设备的备案信息，确定所述第二终端设备的运算资源总量；

根据所述第二终端设备的运算资源总量，和所述第二终端设备在执行各个第二测试消息对应的命令时使用的运算资源，确定所述第二终端设备在执行各个第二测试消息对应的命令时的运算资源剩余量；

根据所述第二终端设备在执行各个第二测试消息对应的命令时的运算资源剩余量、所述第二测试消息的运算资源需求量，以及所述第二终端设备的运算资源总量，确定所述第二终端设备的运算资源利用性能指标；

根据所述第二终端设备对于各个第二测试消息的应答时间、所述第二测试消息的运算资源需求量和所述第二终端设备的备案信息，确定所述第二终端设备的应答速率衰减性能指标；

根据所述第二终端设备在执行各个第二测试消息对应的命令时的运算资源剩余量和应答时间，确定所述第二终端设备的运算资源与应答时间的一致性指标；

根据所述运算资源利用性能指标、所述应答速率衰减性能指标和所述一致性指标，确定所述第二终端设备的应答性能指标；

根据所述应答性能指标，对所述第二终端设备进行筛选，确定应答性能合格的第三终端设备。

在本发明的一些实施例中，根据所述第二终端设备在执行各个第二测试消息对应的命令时的运算资源剩余量、所述第二测试消息的运算资源需求量，以及所述第二终端设备的运算资源总量，确定所述第二终端设备的运算资源利用性能指标，包括：

根据各个第二测试消息的运算资源需求量以及所述第二终端设备的运算资源总量，确定所述第二终端设备在执行各个第二测试消息对应的命令时的理论运算资源剩余量；

根据所述第二终端设备在执行各个第二测试消息对应的命令时的所述运算资源剩余量和所述理论运算资源剩余量，确定资源剩余差异；

对所述资源剩余差异进行统计，获得第一资源利用性能指标；

对所述第二终端设备在执行各个第二测试消息对应的命令时的资源剩余差异进行三次样条插值拟合，获得剩余差异曲线；

求解所述剩余差异曲线的第一导函数曲线；

将使所述第一导函数曲线大于0的自变量范围与所述第二测试消息的发送次数的比值，确定为第二资源利用性能指标；

根据所述第一资源利用性能指标和所述第二资源利用性能指标，确定所述运算资源利用性能指标。

在本发明的一些实施例中，根据所述第二终端设备对于各个第二测试消息的应答时间、所述第二测试消息的运算资源需求量和所述第二终端设备的备案信息，确定所述第二终端设备的应答速率衰减性能指标，包括：

根据所述第二测试消息的运算资源需求量和所述第二终端设备的备案信息，确定所述第二终端设备对于各个第二测试消息的理论应答时间；

根据所述第二终端设备对于各个第二测试消息的所述应答时间和所述理论应答时间，确定应答时间差异；

对所述应答时间差异进行统计，获得第一时间差异指标；

对所述应答时间差异进行三次样条插值拟合，获得时间差异曲线；

求解所述时间差异曲线的第二导函数曲线；

将使所述第二导函数曲线大于0的自变量范围与所述第二测试消息的发送次数的比值，确定为第二时间差异指标；

根据所述第一时间差异指标和所述第二时间差异指标，定所述第二终端设备的应答速率衰减性能指标。

在本发明的一些实施例中，根据所述第二终端设备在执行各个第二测试消息对应的命令时的运算资源剩余量和应答时间，确定所述第二终端设备的运算资源与应答时间的一致性指标，包括：

根据公式，确定所述第二终端设备的运算资源与应答时间的一致性指标Y，其中，V为所述第二终端设备的运算资源总量，V_i为第二终端设备在执行第i个第二测试消息对应的命令时的运算资源剩余量，t_i为第二终端设备对第i个第二测试消息的响应时间，t_max为第二终端设备对多个第二测试消息的响应时间的最大值，t_min为第二终端设备对多个第二测试消息的响应时间的最小值，n为第二测试消息的数量。

在本发明的一些实施例中，所述终端设备包括监控摄像头，所述第三测试消息包括使所述监控摄像头变焦命令，所述执行结果包括根据所述监控摄像头在变焦过程中拍摄的多个第一图像；

其中，在接收到的所述第三终端设备对于所述第三测试消息对应的命令的执行结果的情况下，根据所述执行结果，确定所述第三终端设备是否存在硬件性能故障，包括：

通过预训练的图像处理模型，识别所述多个第一图像中检测到的目标对象；

去除所述目标对象所在的区域中的图像内容；

通过所述预训练的图像处理模型，在去除图像内容后的区域中生成背景内容，获得多个第一背景图像；

在所述变焦命令为调远焦距的情况下，在第j个第一背景图像中识别出与第j+1个第一背景图像内容相同的第一重叠区域，或者，在所述变焦命令为调近焦距的情况下，在所述第j+1个第一背景图像识别出与第j个第一背景图像内容相同的第一重叠区域；

根据所述第一重叠区域的面积，以及第j个变焦命令的调节幅度，确定所述第三终端设备是否存在硬件性能故障。

在本发明的一些实施例中，所述终端设备包括监控摄像头，所述第三测试消息包括使所述监控摄像头调整拍摄位姿的命令，所述执行结果包括根据所述监控摄像头在调整拍摄位姿的过程中拍摄的多个第二图像；

其中，在接收到的所述第三终端设备对于所述第三测试消息对应的命令的执行结果的情况下，根据所述执行结果，确定所述第三终端设备是否存在硬件性能故障，包括：

通过预训练的图像处理模型，识别所述多个第二图像中检测到的目标对象；

去除所述目标对象所在的区域中的图像内容；

通过所述预训练的图像处理模型，在去除图像内容后的区域中生成背景内容，获得多个第二背景图像；

确定第k个第二背景图像与第k+1个第二背景图像中的第二重叠区域；

根据所述第二重叠区域在所述第k个第二背景图像中的面积占比，以及第k个调整拍摄位姿的命令的调节速度，确定所述第三终端设备是否存在硬件性能故障。

在本发明的一些实施例中，所述图像处理模型的训练步骤包括：

将包括目标对象的第一样本图像输入所述图像处理模型，确定所述目标对象所在的区域，并去除所述目标对象所在的区域内的图像内容，并在去除图像内容后的区域中生成背景内容，获得生成图像；

将所述生成图像或第二样本图像输入判别器中进行判别处理，获得判别结果，其中，所述第二样本图像为与所述第一样本图像场景相同且不包括目标对象的图像；

根据公式，确定所述图像处理模型和所述判别器的损失函数Loss，其中，I_g（x，y）为第二样本图像中位置为（x，y）的像素点的像素值，I_（x，y）为生成图像中位置为（x，y）的像素点的像素值，M×N为第二样本图像和生成图像的尺寸，p_g为向判别器输入第二样本图像的情况下，判别器判定输入的图像为真实图像的概率，p_s为向判别器输入生成图像的情况下，判别器判定输入的图像为真实图像的概率，T为训练批次内输入的第二样本图像的总数，t为训练批次内的第t次输入第二样本图像，1≤t≤T，θ和μ为预设权重；

根据所述损失函数训练所述图像处理模型和所述判别器，获得训练后的图像处理模型和判别器。

本发明实施例的第二方面，提供一种基于深度学习的设备故障诊断系统，所述系统设置于云端设备，包括：

第一测试模块，用于在通信总线中广播第一测试消息，其中，所述第一测试消息用于确定出在所述云端设备中备案的多个终端设备中，未上线或无法应答的第一终端设备；

第二测试模块，用于在接收到第二终端设备的第一应答消息后，根据所述第二终端设备的备案信息，向所述第二终端设备发送多次第二测试消息，其中，所述第二测试消息用于测试所述第二终端设备的应答性能；

筛选模块，用于根据所述第二终端设备对于所述第二测试消息的应答时间、所述第二终端设备在执行所述第二测试消息对应的命令时使用的运算资源以及所述第二终端设备的备案信息，对所述第二终端设备进行筛选，确定应答性能合格的第三终端设备；

第三测试模块，用于根据所述第三终端设备的备案信息，向所述第三终端设备发送第三测试消息，其中，所述第三测试消息用于测试所述第三终端设备的运行性能；

故障诊断模块，用于在接收到的所述第三终端设备对于所述第三测试消息对应的命令的执行结果的情况下，根据所述执行结果，确定所述第三终端设备是否存在硬件性能故障。

在本发明的一些实施例中，所述筛选模块进一步用于：

根据所述第二终端设备的备案信息，确定所述第二终端设备的运算资源总量；

根据所述第二终端设备的运算资源总量，和所述第二终端设备在执行各个第二测试消息对应的命令时使用的运算资源，确定所述第二终端设备在执行各个第二测试消息对应的命令时的运算资源剩余量；

根据所述第二终端设备在执行各个第二测试消息对应的命令时的运算资源剩余量、所述第二测试消息的运算资源需求量，以及所述第二终端设备的运算资源总量，确定所述第二终端设备的运算资源利用性能指标；

根据所述第二终端设备对于各个第二测试消息的应答时间、所述第二测试消息的运算资源需求量和所述第二终端设备的备案信息，确定所述第二终端设备的应答速率衰减性能指标；

根据所述第二终端设备在执行各个第二测试消息对应的命令时的运算资源剩余量和应答时间，确定所述第二终端设备的运算资源与应答时间的一致性指标；

根据所述运算资源利用性能指标、所述应答速率衰减性能指标和所述一致性指标，确定所述第二终端设备的应答性能指标；

根据所述应答性能指标，对所述第二终端设备进行筛选，确定应答性能合格的第三终端设备。

在本发明的一些实施例中，所述筛选模块进一步用于：

根据各个第二测试消息的运算资源需求量以及所述第二终端设备的运算资源总量，确定所述第二终端设备在执行各个第二测试消息对应的命令时的理论运算资源剩余量；

根据所述第二终端设备在执行各个第二测试消息对应的命令时的所述运算资源剩余量和所述理论运算资源剩余量，确定资源剩余差异；

对所述资源剩余差异进行统计，获得第一资源利用性能指标；

对所述第二终端设备在执行各个第二测试消息对应的命令时的资源剩余差异进行三次样条插值拟合，获得剩余差异曲线；

求解所述剩余差异曲线的第一导函数曲线；

将使所述第一导函数曲线大于0的自变量范围与所述第二测试消息的发送次数的比值，确定为第二资源利用性能指标；

根据所述第一资源利用性能指标和所述第二资源利用性能指标，确定所述运算资源利用性能指标。

在本发明的一些实施例中，所述筛选模块进一步用于：

根据所述第二测试消息的运算资源需求量和所述第二终端设备的备案信息，确定所述第二终端设备对于各个第二测试消息的理论应答时间；

根据所述第二终端设备对于各个第二测试消息的所述应答时间和所述理论应答时间，确定应答时间差异；

对所述应答时间差异进行统计，获得第一时间差异指标；

对所述应答时间差异进行三次样条插值拟合，获得时间差异曲线；

求解所述时间差异曲线的第二导函数曲线；

将使所述第二导函数曲线大于0的自变量范围与所述第二测试消息的发送次数的比值，确定为第二时间差异指标；

根据所述第一时间差异指标和所述第二时间差异指标，定所述第二终端设备的应答速率衰减性能指标。

在本发明的一些实施例中，所述筛选模块进一步用于：

根据公式，确定所述第二终端设备的运算资源与应答时间的一致性指标Y，其中，V为所述第二终端设备的运算资源总量，V_i为第二终端设备在执行第i个第二测试消息对应的命令时的运算资源剩余量，t_i为第二终端设备对第i个第二测试消息的响应时间，t_max为第二终端设备对多个第二测试消息的响应时间的最大值，t_min为第二终端设备对多个第二测试消息的响应时间的最小值，n为第二测试消息的数量。

在本发明的一些实施例中，所述终端设备包括监控摄像头，所述第三测试消息包括使所述监控摄像头变焦命令，所述执行结果包括根据所述监控摄像头在变焦过程中拍摄的多个第一图像；所述故障诊断模块进一步用于：

通过预训练的图像处理模型，识别所述多个第一图像中检测到的目标对象；

去除所述目标对象所在的区域中的图像内容；

通过所述预训练的图像处理模型，在去除图像内容后的区域中生成背景内容，获得多个第一背景图像；

在所述变焦命令为调远焦距的情况下，在第j个第一背景图像中识别出与第j+1个第一背景图像内容相同的第一重叠区域，或者，在所述变焦命令为调近焦距的情况下，在所述第j+1个第一背景图像识别出与第j个第一背景图像内容相同的第一重叠区域；

根据所述第一重叠区域的面积，以及第j个变焦命令的调节幅度，确定所述第三终端设备是否存在硬件性能故障。

在本发明的一些实施例中，所述终端设备包括监控摄像头，所述第三测试消息包括使所述监控摄像头调整拍摄位姿的命令，所述执行结果包括根据所述监控摄像头在调整拍摄位姿的过程中拍摄的多个第二图像；所述故障诊断模块进一步用于：

通过预训练的图像处理模型，识别所述多个第二图像中检测到的目标对象；

去除所述目标对象所在的区域中的图像内容；

通过所述预训练的图像处理模型，在去除图像内容后的区域中生成背景内容，获得多个第二背景图像；

确定第k个第二背景图像与第k+1个第二背景图像中的第二重叠区域；

根据所述第二重叠区域在所述第k个第二背景图像中的面积占比，以及第k个调整拍摄位姿的命令的调节速度，确定所述第三终端设备是否存在硬件性能故障。

在本发明的一些实施例中，所述系统还包括训练模块，用于：

将包括目标对象的第一样本图像输入所述图像处理模型，确定所述目标对象所在的区域，并去除所述目标对象所在的区域内的图像内容，并在去除图像内容后的区域中生成背景内容，获得生成图像；

将所述生成图像或第二样本图像输入判别器中进行判别处理，获得判别结果，其中，所述第二样本图像为与所述第一样本图像场景相同且不包括目标对象的图像；

根据公式，确定所述图像处理模型和所述判别器的损失函数Loss，其中，I_g（x，y）为第二样本图像中位置为（x，y）的像素点的像素值，I_（x，y）为生成图像中位置为（x，y）的像素点的像素值，M×N为第二样本图像和生成图像的尺寸，p_g为向判别器输入第二样本图像的情况下，判别器判定输入的图像为真实图像的概率，p_s为向判别器输入生成图像的情况下，判别器判定输入的图像为真实图像的概率，T为训练批次内输入的第二样本图像的总数，t为训练批次内的第t次输入第二样本图像，1≤t≤T，θ和μ为预设权重；

根据所述损失函数训练所述图像处理模型和所述判别器，获得训练后的图像处理模型和判别器。

本发明还提供一种基于深度学习的设备故障诊断设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。

根据本发明的实施例的基于深度学习的设备故障诊断方法，可通过第一测试消息筛选能够应答的第二终端设备，从而确定无法应答的第一终端设备，还可通过第二测试消息测试第二终端设备的应答性能，在可筛选出应答性能合格的第三终端设备后，还可进一步测试其硬件性能，从而确定第三终端设备的硬件性能是否出现故障，以及还能否继续使用。以在多个设备中筛选出已损坏、出现应答故障以及出现硬件性能故障的终端设备，可进行有针对性地替换或维修保养，减少逐一检测的工作量和检测成本，且相对于批量维修或更换设备，可减少维修或更换成本。

附图说明

图1示例性地示出本发明实施例的基于深度学习的设备故障诊断方法的流程示意图；

图2示例性地示出本发明实施例的第一导函数曲线的示意图；

图3示例性地示出本发明实施例的基于深度学习的设备故障诊断系统的框图。

实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图1示例性地示出本发明实施例的基于深度学习的设备故障诊断方法的流程示意图，如图1所示，所述方法包括：

步骤S101，在通信总线中广播第一测试消息，其中，所述第一测试消息用于确定出在所述云端设备中备案的多个终端设备中，未上线或无法应答的第一终端设备；

步骤S102，在接收到第二终端设备的第一应答消息后，根据所述第二终端设备的备案信息，向所述第二终端设备发送多次第二测试消息，其中，所述第二测试消息用于测试所述第二终端设备的应答性能；

步骤S103，根据所述第二终端设备对于所述第二测试消息的应答时间、所述第二终端设备在执行所述第二测试消息对应的命令时使用的运算资源以及所述第二终端设备的备案信息，对所述第二终端设备进行筛选，确定应答性能合格的第三终端设备；

步骤S104，根据所述第三终端设备的备案信息，向所述第三终端设备发送第三测试消息，其中，所述第三测试消息用于测试所述第三终端设备的运行性能；

步骤S105，在接收到的所述第三终端设备对于所述第三测试消息对应的命令的执行结果的情况下，根据所述执行结果，确定所述第三终端设备是否存在硬件性能故障。

根据本发明的实施例的基于深度学习的设备故障诊断方法，可通过第一测试消息筛选能够应答的第二终端设备，从而确定无法应答的第一终端设备，还可通过第二测试消息测试第二终端设备的应答性能，在可筛选出应答性能合格的第三终端设备后，还可进一步测试其硬件性能，从而确定第三终端设备的硬件性能是否出现故障，以及还能否继续使用。以在多个设备中筛选出需要维修或更换的终端设备，减少逐一检测的工作量和检测成本，且相对于批量维修或更换设备，可减少维修或更换成本。

在本发明的一些实施例中，云端设备可与众多终端设备进行通信连接，或者通过多个边端设备与众多终端设备进行通信连接，边端设备的数量通常少于终端设备的数量。例如，在安防领域，众多监控摄像头可与云端设备连接，从而将拍摄的画面传输至云端设备，或者，接收云端设备的命令，执行一些操作，例如，调整拍摄位姿，调节焦距等。又例如，云端设备可通过边缘设备与众多摄像头通信连接，例如，边缘设备可接收监控摄像头拍摄的画面并存储，云端设备与边缘设备连接，并基于需求调用边缘设备基于存储的画面获得信息，例如，调用边缘设备基于画面进行运算，来获取对画面中的某些目标的位置检测结果，或者直接获取符合条件的画面等，或者，通过向边缘设备发布某些命令，例如，拍摄某些场景的画面的命令，并由边缘设备将该命令转换为对具体的监控摄像头的操作指令，例如，操作摄像头A对准方向a，操作摄像头B对准方向b等。本发明对云端设备与终端设备的连接方式不做限制。

在本发明的一些实施例中，由于终端设备的数量众多，且如监控摄像头等终端设备互相之间的安装位置不同，则其所处的环境可能互不相同，则不同的终端设备的状态也可能互不相同。例如，部分摄像头安装在室外，经受暴晒、雨水等环境的侵蚀后，内部的硬件老化较快，容易出现性能故障。而另一部分摄像头安装在室内，不会受到雨水侵蚀，室内温度也相对恒定，因此，硬件老化较慢，出现故障的概率相对较小。

在本发明的一些实施例中，在针对众多终端设备的维护的过程中，常会出现难以判断众多终端设备中的哪些存在问题的情况。例如，可能导致需要调用监控画面时，才发现监控摄像头已损坏等情况。或者有些监控摄像头虽然还可拍摄到画面，但其他功能已受损，例如，变焦、转变拍摄位姿等功能已受损，在其能够拍摄到画面的情况下，有可能不会对其进行维修，而在需要操作该监控摄像头时，才发现该监控摄像头的功能已损坏，导致无法拍摄到所需画面的情况。

在本发明的一些实施例中，针对以上问题，以及终端设备数量众多，不便于逐一进行人工检修等情况。在步骤S101中，可在通信总线中广播第一测试消息。所述第一测试消息用于确定出在云端设备中备案的多个终端设备中，未上线或无法应答的第一终端设备。第一测试消息可不设地址，直接在通信总线中广播，所有在云端设备处均可接收到第一测试消息。或者，云端设备可向每个已备案的终端设备的地址均发送第一测试消息。

在本发明的一些实施例中，第一测试消息中可包括使接收到的终端设备进行应答的指令，例如，使得终端设备在接收到第一测试消息后，向云端设备回复确收消息的指令。而如果某些终端设备未上线或无法应答，则这些设备可被确定为第一终端设备。例如，第一终端设备为已断电，或者已损坏的终端设备，或者，虽然未完全损坏，但已无法执行最简单的应答指令，可确定其操作功能已基本损坏的设备。对于第一终端设备可进行更换，从而使得这些终端设备恢复正常。在示例中，可在已备案的所有终端设备中，确定出未应答的第一终端设备的信息，例如，安装位置等信息，从而可对其进行准确地更换。

在本发明的一些实施例中，在步骤S102中，能够进行应答的终端设备可被确定为第二终端设备，第二终端设备向云端设备发送的应答消息即为第一应答消息。云端设备可基于第二终端设备的备案信息，向第二终端设备多次发送第二测试消息，从而测试第二终端设备的应答性能。在示例中，可每隔特定的时间，就向第二终端设备发送一次第二测试消息，也可在前一次的第二测试消息得到第二终端设备的应答后，再发送下一次的第二测试消息。云端设备可基于第二终端设备的备案信息，确定第二终端设备能够执行的功能，并基于其能够执行的功能向其发送相应的第二测试消息。

在本发明的一些实施例中，在步骤S103中，可根据第二终端设备对于第二测试消息的应答时间、第二终端设备在执行第二测试消息对应的命令时使用的运算资源以及第二终端设备的备案信息，对第二终端设备进行筛选，确定应答性能合格的第三终端设备。

在本发明的一些实施例中，步骤S103包括：根据所述第二终端设备的备案信息，确定所述第二终端设备的运算资源总量；根据所述第二终端设备的运算资源总量，和所述第二终端设备在执行各个第二测试消息对应的命令时使用的运算资源，确定所述第二终端设备在执行各个第二测试消息对应的命令时的运算资源剩余量；根据所述第二终端设备在执行各个第二测试消息对应的命令时的运算资源剩余量、所述第二测试消息的运算资源需求量，以及所述第二终端设备的运算资源总量，确定所述第二终端设备的运算资源利用性能指标；根据所述第二终端设备对于各个第二测试消息的应答时间、所述第二测试消息的运算资源需求量和所述第二终端设备的备案信息，确定所述第二终端设备的应答速率衰减性能指标；根据所述第二终端设备在执行各个第二测试消息对应的命令时的运算资源剩余量和应答时间，确定所述第二终端设备的运算资源与应答时间的一致性指标；根据所述运算资源利用性能指标、所述应答速率衰减性能指标和所述一致性指标，确定所述第二终端设备的应答性能指标；根据所述应答性能指标，对所述第二终端设备进行筛选，确定应答性能合格的第三终端设备。

在本发明的一些实施例中，第二终端设备，例如监控摄像头等，具有执行云端设备的指令的能力，例如，可执行变焦、变换拍摄位姿等指令，因此，第二终端设备具有对指令进行运算的能力，即，具有一定的运算资源。云端设备可确定其运算资源总量。例如，内存总量、带宽等。

在本发明的一些实施例中，第二终端设备在执行第二测试消息的命令时，会消耗一定的运算资源。第二终端设备的运算资源总量与执行第二测试消息的命令时消耗的运算资源相减，则确定第二终端设备在执行各个第二测试消息对应的命令时的运算资源剩余量。

在本发明的一些实施例中，在第二终端设备执行一个第二测试消息的命令时，会占用一部分运算资源，而由于上一个第二测试消息的命令已经执行完毕，执行上一个第二测试消息的命令占用的运算资源应被释放，因此，理论上，第二终端设备在执行各个第二测试消息的命令时，运算资源的占用量等于当前正在执行的第二测试消息的命令的运算资源需求量，然而，可能存在第二终端设备的资源利用率较低的情况，例如，前一个第二测试消息的命令执行完毕后，未能及时释放掉运算资源，导致执行当前的第二测试消息的命令时，资源占用量高于理论值，在资源占用量过高，资源剩余量较少的情况下，第二终端设备则可能出现对于当前的第二测试消息的命令执行效率较低，甚至无法执行的情况。对应于实际使用中，则可能出现第二终端设备难以高效执行云端设备的命令的情况，因此，可对第二终端设备的资源利用率进行测试。

在本发明的一些实施例中，根据所述第二终端设备在执行各个第二测试消息对应的命令时的运算资源剩余量、所述第二测试消息的运算资源需求量，以及所述第二终端设备的运算资源总量，确定所述第二终端设备的运算资源利用性能指标，包括：根据各个第二测试消息的运算资源需求量以及所述第二终端设备的运算资源总量，确定所述第二终端设备在执行各个第二测试消息对应的命令时的理论运算资源剩余量；根据所述第二终端设备在执行各个第二测试消息对应的命令时的所述运算资源剩余量和所述理论运算资源剩余量，确定资源剩余差异；对所述资源剩余差异进行统计，获得第一资源利用性能指标；对所述第二终端设备在执行各个第二测试消息对应的命令时的资源剩余差异进行三次样条插值拟合，获得剩余差异曲线；求解所述剩余差异曲线的第一导函数曲线；将使所述第一导函数曲线大于0的自变量范围与所述第二测试消息的发送次数的比值，确定为第二资源利用性能指标；根据所述第一资源利用性能指标和所述第二资源利用性能指标，确定所述运算资源利用性能指标。

在本发明的一些实施例中，可确定第二终端设备在执行各个第二测试消息对应的命令时的理论运算资源剩余量，即，可使用第二终端设备的运算资源总量减去执行第二测试消息的命令所需的资源需求量，可获得理论运算资源剩余量。

在本发明的一些实施例中，在获得理论运算资源剩余量后，可使理论运算资源剩余量与实际的运算资源剩余量作差，即可获得资源剩余差异。资源剩余差异越大，则理论运算资源剩余量与实际的运算资源剩余量差距越大，则表示第二终端设备未及时释放执行前次第二测试消息的命令时占用的运算资源，即，表示其资源利用率较低。反之，则可表示第二终端设备及时释放执行前次第二测试消息的命令时占用的运算资源，即，表示其资源利用率较高。

在本发明的一些实施例中，可对资源剩余差异进行统计，获得第一资源利用性能指标，例如，可统计在执行多个第二测试消息的命令时的资源剩余差异的平均值、方差等指标，作为所述第一资源利用性能指标。当然，还可统计更复杂的指标，例如，统计资源剩余差异大于第一预设阈值的次数，作为所述第一资源利用性能指标，或者，统计资源剩余差异大于第一预设阈值的次数与第二测试消息的总数之间的比值，作为所述第一资源利用性能指标。本发明对第一资源利用性能指标的统计方式不做限制。

在本发明的一些实施例中，可利用以下公式（1）确定第一资源利用性能指标：

（1）

其中，Z₁为第一资源利用性能指标，d_z，i为所述第i个第二测试消息对应的资源剩余差异，τ₁为第一预设阈值，count为计数函数，用于统计资源剩余差异大于第一预设阈值的次数，n为第二测试消息的总数。

在本发明的一些实施例中，可对第二终端设备在执行各个第二测试消息对应的命令时的资源剩余差异进行三次样条插值拟合，例如，以第二测试消息的次数为自变量，以各次第二测试消息对应的资源剩余差异为因变量，进行三次样条插值拟合，使用三次样条插值拟合可使拟合获得的剩余差异曲线对于资源剩余差异的变化较为灵敏，可敏锐地捕获到资源剩余差异的变化趋势。

在本发明的一些实施例中，可求解剩余差异曲线的第一导函数曲线，根据导函数的性质，资源剩余差异增大，则第一导函数曲线大于0，如果资源剩余差异减小，则第一导函数曲线小于0。可将第一导函数曲线大于0的自变量范围与第二测试消息的发送次数的比值确定为第二资源利用性能指标，可用于描述资源剩余差异增大的自变量区间在其定义域中的占比，如果第二资源利用性能指标较大，则表示在第二终端设备处理各次第二测试消息的命令时，资源剩余差异不断增大的次数较多，即，表示资源剩余差异越来越大，可反映第二终端设备未及时释放执行前次第二测试消息的命令时占用的运算资源，导致运算资源的累计占用越来越大，即，表示其资源利用率较低。反之，则可表示第二终端设备能够及时释放执行前次第二测试消息的命令时占用的运算资源，即，表示其资源利用率较高。

图2示例性地示出本发明实施例的第一导函数曲线的示意图。如图2所示，第一导函数曲线的定义域与剩余差异曲线相同，均为[0，n]，可在图2中确定出第一导函数曲线大于0的自变量区间，如图2所示。可将该自变量区间的范围与第一导函数曲线的定义域的范围n的比值确定为第二资源利用性能指标。

在本发明的一些实施例中，第一资源利用性能指标和第二资源利用性能指标均在较大时，表示资源利用率较低，而在较小时，表示资源利用率较高。因此，可利用1减去二者的加权求和值，或者利用二者加权求和值的倒数，表示所述运算资源利用性能指标，使得运算资源利用性能指标越大时，表示资源利用率较高。

在本发明的一些实施例中，可利用以下公式（2）确定运算资源利用性能指标L：

（2）

其中，Z₂为第二资源利用性能指标，α₁和α₂为预设权值。

在本发明的一些实施例中，在第二终端设备多次执行第二测试消息的命令后，第二终端设备的执行效率可能下降，其原因可能包括运算资源利用率下降，运算资源占用量较大，导致执行效率下降，也可能包括电子器件发热、老化等原因导致执行效率下降。对应于实际使用中，则可能出现第二终端设备执行云端设备的命令的效率下降，导致应答速率下降的情况，因此，可对第二终端设备对于第二测试消息的应答速率进行测试，从而测试第二终端设备的应答速率衰减情况。

在本发明的一些实施例中，根据所述第二终端设备对于各个第二测试消息的应答时间、所述第二测试消息的运算资源需求量和所述第二终端设备的备案信息，确定所述第二终端设备的应答速率衰减性能指标，包括：根据所述第二测试消息的运算资源需求量和所述第二终端设备的备案信息，确定所述第二终端设备对于各个第二测试消息的理论应答时间；根据所述第二终端设备对于各个第二测试消息的所述应答时间和所述理论应答时间，确定应答时间差异；对所述应答时间差异进行统计，获得第一时间差异指标；对所述应答时间差异进行三次样条插值拟合，获得时间差异曲线；求解所述时间差异曲线的第二导函数曲线；将使所述第二导函数曲线大于0的自变量范围与所述第二测试消息的发送次数的比值，确定为第二时间差异指标；根据所述第一时间差异指标和所述第二时间差异指标，定所述第二终端设备的应答速率衰减性能指标。

在本发明的一些实施例中，可根据第二测试消息的运算资源需求量和第二终端设备的备案信息，确定所述第二终端设备对于各个第二测试消息的理论应答时间。在示例中，备案信息可包括第二终端设备的处理器的性能等信息，从而可通过第二测试消息的运算资源需求量以及第二终端设备的处理器的性能来确定第二终端设备对于各个第二测试消息的理论应答时间。

在本发明的一些实施例中，在获得理论应答时间后，可使理论应答时间与实际的应答时间作差，即可获得应答时间差异。应答时间差异越大，则理论应答时间与实际的应答时间的差距越大，则表示第二终端设备应答速率衰减越大。反之，则可表示第二终端设备应答速率衰减越小。

在本发明的一些实施例中，可对应答时间差异进行统计，获得第一时间差异指标，例如，可统计在执行多个第二测试消息的命令时的应答时间差异的平均值、方差等指标，作为所述第一时间差异指标。当然，还可统计更复杂的指标，例如，统计应答时间差异大于第二预设阈值的次数，作为所述第一时间差异指标，或者，统计应答时间差异大于第二预设阈值的次数与第二测试消息的总数之间的比值，作为所述第一时间差异指标。本发明对第一时间差异指标的统计方式不做限制。

在本发明的一些实施例中，可对第二终端设备在执行各个第二测试消息对应的命令时的应答时间差异进行三次样条插值拟合，例如，以第二测试消息的次数为自变量，以各次第二测试消息对应的应答时间差异为因变量，进行三次样条插值拟合，使用三次样条插值拟合可使拟合获得的时间差异曲线对于应答时间差异的变化较为灵敏，可敏锐地捕获到应答时间差异的变化趋势。

在本发明的一些实施例中，可求解时间差异曲线的第二导函数曲线，根据导函数的性质，应答时间差异增大，则第二导函数曲线大于0，如果应答时间差异减小，则第二导函数曲线小于0。可将第二导函数曲线大于0的自变量范围与第二测试消息的发送次数的比值确定为第二时间差异指标，可用于描述时间差异增大的自变量区间在其定义域中的占比，如果第二时间差异指标较大，则表示在第二终端设备处理各次第二测试消息的命令时，应答时间差异不断增大的次数较多，即，表示应答时间差异越来越大，可反映第二终端设备应答速率衰减越大。反之，则可表示第二终端设备应答速率衰减越小。

在本发明的一些实施例中，第一时间差异指标和第二时间差异指标均为值越大，则表示第二终端设备应答速率衰减越大，因此，可对第一时间差异指标和第二时间差异指标进行加权求和，获得应答速率衰减性能指标。

在本发明的一些实施例中，理论上，运算资源剩余量和应答时间具有反相关性，即，运算资源剩余量越大，则应答时间越短。然而，如果二者的实际情况与理论情况并不一致，则可能说明第二终端设备的元器件可能已经发热、老化，使得第二终端设备的应答性能下降。

根据所述第二终端设备在执行各个第二测试消息对应的命令时的运算资源剩余量和应答时间，确定所述第二终端设备的运算资源与应答时间的一致性指标，包括：

根据公式（3），确定所述第二终端设备的运算资源与应答时间的一致性指标Y：

（3）

其中，V为所述第二终端设备的运算资源总量，V_i为第二终端设备在执行第i个第二测试消息对应的命令时的运算资源剩余量，t_i为第二终端设备对第i个第二测试消息的响应时间，t_max为第二终端设备对多个第二测试消息的响应时间的最大值，t_min为第二终端设备对多个第二测试消息的响应时间的最小值，n为第二测试消息的数量。

在本发明的一些实施例中，由于在理论上，运算资源剩余量和应答时间具有反相关性，因此，第二终端设备的运算资源总量V与第二终端设备的运算资源剩余量之差与响应时间具有正相关性，进一步地，可对二者之差除以运算资源总量V，从而对二者之差进行归一化。

在本发明的一些实施例中，为了统一量纲，也可对响应时间进行归一化，即，求解第i个第二测试消息的响应时间与响应时间最大值和响应时间最小值之差的比值。

在本发明的一些实施例中，可求解上述两个归一化后的参量的余弦相似度，从而确定二者的一致性，即，通过公式（3）求解所述一致性指标。二者的一致性越高，则余弦相似度越高，可反映运算资源剩余量和应答时间的实际情况与理论情况越接近，则第二终端设备的应答性能越好。反之，则可认为第二终端设备的应答性能越差。

在本发明的一些实施例中，如上所述，运算资源利用性能指标越大时，表示资源利用率较高，应答性能越好；一致性指标越高，则应答性能越好；应答速率衰减性能指标越高，则应答速率衰减越大，应答性能越差。因此，应答速率衰减性能指标与另外二者是相反的。因此，可将运算资源利用性能指标、一致性指标以及1与应答速率衰减性能指标之差进行加权求和，获得第二终端设备的应答性能指标，或者，可将运算资源利用性能指标、一致性指标以及应答速率衰减性能指标的倒数进行加权求和，获得第二终端设备的应答性能指标。

在本发明的一些实施例中，可通过以下公式（4）确定上述应答性能指标D：

（4）

其中，S为应答速率衰减性能指标，β₁、β₂和β₃为预设权值。

在本发明的一些实施例中，可利用应答性能指标，从第二终端设备中筛选出应答性能合格的第三终端设备，例如，可将应答性能指标大于或等于预设阈值的第二终端设备，确定为第三终端设备。而对于其他第二终端设备，可确定其应答性能不合格，可能存在性能故障，例如，器件老化等，可进行针对性地维修或保养。

在本发明的一些实施例中，对于应答性能合格的第三终端设备，可继续测试其运行性能，从而确定第三终端设备的各项功能是否正常。例如，所述终端设备为监控摄像头，经过以上测试，可确定筛选出的作为第三终端设备的部分监控摄像头的应答性能是合格的，例如，可对命令进行响应。然而，这部分监控摄像头仍然存在硬件性能故障导致无法执行命令的风险，例如，虽然监控摄像头可对变焦命令或者调整拍摄位姿的命令进行响应，即，能够接收该命令，且将其转化为操作摄像头进行实际动作的指令，然而，如果监控摄像头存在硬件性能故障，则可能无法执行所述实际动作的指令，例如，摄像头的旋转机构出现故障，则无法调整拍摄位姿，因而无法执行调整拍摄位姿的实际动作的指令。因此，可在步骤S104中，对于第三终端设备的实际的运行性能进行测试，从而确定第三终端设备是否存在硬件性能故障。

在本发明的一些实施例中，在步骤S104中，可根据第三终端设备的备案信息，向第三终端设备发送第三测试消息，从而测试第三终端设备的运行性能，第三终端设备的备案信息可包括第三终端设备的类型，功能等信息，例如，第三终端设备为监控摄像头，其具有变焦和调整拍摄位姿的功能，则可生成对应的第三测试消息，以对其变焦和调整拍摄位姿的功能进行测试。

在本发明的一些实施例中，在步骤S105中，第三终端设备可接收到第三测试消息，并执行第三测试消息的命令，获得执行结果。进而可将执行结果传输回云端设备，云端设备则可基于执行结果来确定第三终端设备是否存在硬件性能故障。例如，可根据执行结果是否符合预期来确定第三终端设备是否存在硬件性能故障。

在本发明的一些实施例中，所述终端设备包括监控摄像头，所述第三测试消息包括使所述监控摄像头变焦命令，所述执行结果包括根据所述监控摄像头在变焦过程中拍摄的多个第一图像；步骤S105可包括：通过预训练的图像处理模型，识别所述多个第一图像中检测到的目标对象；去除所述目标对象所在的区域中的图像内容；通过所述预训练的图像处理模型，在去除图像内容后的区域中生成背景内容，获得多个第一背景图像；在所述变焦命令为调远焦距的情况下，在第j个第一背景图像中识别出与第j+1个第一背景图像内容相同的第一重叠区域，或者，在所述变焦命令为调近焦距的情况下，在所述第j+1个第一背景图像识别出与第j个第一背景图像内容相同的第一重叠区域；根据所述第一重叠区域的面积，以及第j个变焦命令的调节幅度，确定所述第三终端设备是否存在硬件性能故障。

在本发明的一些实施例中，所述图像处理模型为深度学习神经网络模型，可用于执行对图像中的行人、车辆等目标对象进行检测的处理，还可执行对目标对象进行去除，并在该区域生成背景内容的处理。例如，输入图像处理模型的图像为拍摄到的街景，图像中可能存在目标对象，而图像处理模型输出的图像中则为不存在目标对象的街景图像，即，图像处理模型可将目标对象去除，并在目标对象所在区域生成背景的内容，从而获得全部图像内容均为背景的图像。本发明对于图像处理模型的类型不做限制，只要具有上述功能即可。

在本发明的一些实施例中，通过图像处理模型的处理，可将第一图像中的目标对象去除，获得全部图像内容均为背景的第一背景图像。从而可对不同的第一图像进行对比时，首先生成不同第一图像对应的第一背景图像，并对不同的第一背景图像进行对比，从而避免目标对象对于对比结果造成影响，提升对比的准确性。

在本发明的一些实施例中，第三测试消息包括使所述监控摄像头变焦命令，所述变焦命令可能为调远焦距的命令，或者为调近焦距的命令。如果变焦命令为调远焦距的命令，则监控摄像头的视野范围变小，使得视野更集中于远处的更小的区域。如果变焦命令为调近焦距的命令，则监控摄像头的视野范围变大。在监控摄像头执行调远焦距的命令的过程中拍摄到的两张图像中，前一张图像的视野范围比后一张图像的视野范围更大，因此，后一张图像对应的第一背景图像（第j+1个第一背景图像）的全部内容为前一张图像对应的第一背景图像（第j个第一背景图像）中的一部分（第一重叠区域）。在监控摄像头执行调近焦距的命令的过程中拍摄到的两张图像中，后一张图像的视野范围比前一张图像的视野范围更大，因此，钱一张图像对应的第一背景图像（第j个第一背景图像）的全部内容为后一张图像对应的第一背景图像（第j+1个第一背景图像）中的一部分（第一重叠区域）。

在本发明的一些实施例中，在识别出第一重叠区域后，可确定第一重叠区域的面积。第j个变焦命令的调节幅度可与第一重叠区域的理论面积存在相关性，在示例中，在变焦过程中，如果焦距调远，则随着焦距的调节，则视野逐渐缩小，如果焦距调近，则随着焦距的调节，则视野逐渐扩大，因此，第一重叠区域与调节幅度之间存在线性关系。可基于第三终端设备的备案信息确定监控摄像头的性能，从而确定该线性关系，进而，可基于该线性关系确定第一重叠区域的理论面积。

在本发明的一些实施例中，如果第一重叠区域的理论面积和实际面积之间的误差大于预设的误差阈值，则可认为监控摄像头的变焦的功能存在故障，即，第三终端设备存在硬件性能故障，则可对相关功能进行有针对性地检修，从而无需大面积检修，减少人力和维修费用的浪费。反之，则第三终端设备不存在硬件性能故障。

在本发明的一些实施例中，所述终端设备包括监控摄像头，所述第三测试消息包括使所述监控摄像头调整拍摄位姿的命令，所述执行结果包括根据所述监控摄像头在调整拍摄位姿的过程中拍摄的多个第二图像；步骤S105可包括：通过预训练的图像处理模型，识别所述多个第二图像中检测到的目标对象；去除所述目标对象所在的区域中的图像内容；通过所述预训练的图像处理模型，在去除图像内容后的区域中生成背景内容，获得多个第二背景图像；确定第k个第二背景图像与第k+1个第二背景图像中的第二重叠区域；根据所述第二重叠区域在所述第k个第二背景图像中的面积占比，以及第k个调整拍摄位姿的命令的调节幅度，确定所述第三终端设备是否存在硬件性能故障。

在本发明的一些实施例中，与以上类似，为了排除第二图像中的目标对象对图像之间的对比造成影响，可通过图像处理模型去除第二图像中的目标对象，并在目标对象所在区域生成背景的图像内容，从而获得第二背景图像。

在本发明的一些实施例中，在调整拍摄位姿的过程中，可使摄像头发生旋转，例如，左右方向的旋转或上下方向的旋转，在旋转过程中拍摄的两个图像之间可存在重叠，该重叠区域即为所述第二重叠区域。且在拍摄间隔固定的情况下，旋转速度越快，则第二重叠区域面积占比越小，反之，则第二重叠区域面积占比越大。因此，第二重叠区域的理论面积占比与调整拍摄位姿的命令的调节速度存在反相关性，因此，可根据第二重叠区域的理论面积占比与调整拍摄位姿的命令的调节速度之间的关系，来确定第二重叠区域的理论面积占比。

在本发明的一些实施例中，可对比前后两个第二背景图像（例如，第k个第二背景图像与第k+1个第二背景图像），并确定第二重叠区域的实际面积占比，进而可确定第二重叠区域的理论面积占比与实际面积占比之间的误差，如果该误差大于预设的误差阈值，则可认为监控摄像头的位姿调节功能存在故障，即，第三终端设备存在硬件性能故障，则可对相关功能进行有针对性地检修，从而无需大面积检修，减少人力和维修费用的浪费。反之，则第三终端设备不存在硬件性能故障。

在本发明的一些实施例中，所述图像处理模型在使用之前可预先进行训练，所述图像处理模型的训练步骤包括：将包括目标对象的第一样本图像输入所述图像处理模型，确定所述目标对象所在的区域，并去除所述目标对象所在的区域内的图像内容，并在去除图像内容后的区域中生成背景内容，获得生成图像；将所述生成图像和第二样本图像输入判别器中进行判别处理，获得判别结果，其中，所述第二样本图像为与所述第一样本图像场景相同且不包括目标对象的图像；

根据公式，确定所述图像处理模型和所述判别器的损失函数Loss，

（5）

其中，I_g（x，y）为第二样本图像中位置为（x，y）的像素点的像素值，I_（x，y）为生成图像中位置为（x，y）的像素点的像素值，M×N为第二样本图像和生成图像的尺寸，p_g为向判别器输入第二样本图像的情况下，判别器判定输入的图像为真实图像的概率，p_s为向判别器输入生成图像的情况下，判别器判定输入的图像为真实图像的概率，T为训练批次内输入的第二样本图像的总数，t为训练批次内的第t次输入第二样本图像，1≤t≤T，θ和μ为预设权重；根据所述损失函数训练所述图像处理模型和所述判别器，获得训练后的图像处理模型和判别器。

在本发明的一些实施例中，可采用生成对抗的方式对图像处理模型进行训练。并且，由于图像处理模型处理的图像为监控摄像头拍摄的图像，而监控摄像头通常固定在同一位置，仅会对拍摄位姿和焦距进行调整，而监控摄像头周围的场景通常不会变化。因此，训练图像处理模型的第一样本图像和第二样本图像也可以是监控摄像头拍摄的存在目标对象的图像或不存在目标对象的图像。图像处理模型在去除目标对象，并在该区域生成背景内容时，还可参考其他样本图像中的背景内容，使得生成过程准确性更高，并使得训练效率更高。

在本发明的一些实施例中，图像处理模型处理具有目标对象的第一样本图像的过程与以上使用过程类似，在此不再赘述。在目标对象所在区域的内容进行去除并生成背景内容后，获得生成图像。

在本发明的一些实施例中，在多次训练中，可将生成图像或第二样本图像输入判别器，判别器可输出判别结果，该判别结果可以是判断输入判别器的图像为人工生成的图像或真实的图像的概率。

在本发明的一些实施例中，在将一个批次的第一样本图像和第二样本图像训练完成后，可通过公式（5）确定损失函数，其中，公式（5）的第一部分为生成图像与第二样本图像之间的差异，在训练过程中，可使该差异减小，使得生成的图像更加接近真实的第二样本图像。公式（5）的第二部分为对判别器的判别结果进行训练的项，在训练过程中，使得该项减小，则使得判别器在接收到第二样本图像时，判定接收到的图像为真实图像的概率增大，并使得判别器在接收到生成图像时，判定接收到的图像为真实图像的概率减小。在训练过程中，图像处理模型和判别器的性能均会得到提升，使得图像处理模型生成图像的真实性提升，并使得判别器的判别准确性提升。在二者性能平衡时，可完成训练，获得训练后的图像处理模型和判别器。并可将图像处理模型应用于以上判断第三终端设备是否存在硬件性能故障的过程中。

根据本发明的实施例的基于深度学习的设备故障诊断方法，可通过第一测试消息筛选能够应答的第二终端设备，从而确定无法应答的第一终端设备，还可通过第二测试消息测试第二终端设备的应答性能，在可筛选出应答性能合格的第三终端设备后，还可进一步测试其硬件性能，从而确定第三终端设备的硬件性能是否出现故障，以及还能否继续使用。以在多个设备中筛选出已损坏、出现应答故障以及出现硬件性能故障的终端设备，可进行有针对性地替换或维修保养，减少逐一检测的工作量和检测成本，且相对于批量维修或更换设备，可减少维修或更换成本。

图3示例性地示出本发明实施例的基于深度学习的设备故障诊断系统的框图，如图3所示，所述系统设置于云端设备，所述系统包括：

第一测试模块101，用于在通信总线中广播第一测试消息，其中，所述第一测试消息用于确定出在所述云端设备中备案的多个终端设备中，未上线或无法应答的第一终端设备；

第二测试模块102，用于在接收到第二终端设备的第一应答消息后，根据所述第二终端设备的备案信息，向所述第二终端设备发送多次第二测试消息，其中，所述第二测试消息用于测试所述第二终端设备的应答性能；

筛选模块103，用于根据所述第二终端设备对于所述第二测试消息的应答时间、所述第二终端设备在执行所述第二测试消息对应的命令时使用的运算资源以及所述第二终端设备的备案信息，对所述第二终端设备进行筛选，确定应答性能合格的第三终端设备；

第三测试模块104，用于根据所述第三终端设备的备案信息，向所述第三终端设备发送第三测试消息，其中，所述第三测试消息用于测试所述第三终端设备的运行性能；

故障诊断模块105，用于在接收到的所述第三终端设备对于所述第三测试消息对应的命令的执行结果的情况下，根据所述执行结果，确定所述第三终端设备是否存在硬件性能故障。

在本发明的一些实施例中，所述筛选模块进一步用于：

根据所述第二终端设备的备案信息，确定所述第二终端设备的运算资源总量；

根据所述第二终端设备的运算资源总量，和所述第二终端设备在执行各个第二测试消息对应的命令时使用的运算资源，确定所述第二终端设备在执行各个第二测试消息对应的命令时的运算资源剩余量；

根据所述第二终端设备在执行各个第二测试消息对应的命令时的运算资源剩余量、所述第二测试消息的运算资源需求量，以及所述第二终端设备的运算资源总量，确定所述第二终端设备的运算资源利用性能指标；

根据所述第二终端设备对于各个第二测试消息的应答时间、所述第二测试消息的运算资源需求量和所述第二终端设备的备案信息，确定所述第二终端设备的应答速率衰减性能指标；

根据所述第二终端设备在执行各个第二测试消息对应的命令时的运算资源剩余量和应答时间，确定所述第二终端设备的运算资源与应答时间的一致性指标；

根据所述运算资源利用性能指标、所述应答速率衰减性能指标和所述一致性指标，确定所述第二终端设备的应答性能指标；

根据所述应答性能指标，对所述第二终端设备进行筛选，确定应答性能合格的第三终端设备。

在本发明的一些实施例中，所述筛选模块进一步用于：

根据各个第二测试消息的运算资源需求量以及所述第二终端设备的运算资源总量，确定所述第二终端设备在执行各个第二测试消息对应的命令时的理论运算资源剩余量；

根据所述第二终端设备在执行各个第二测试消息对应的命令时的所述运算资源剩余量和所述理论运算资源剩余量，确定资源剩余差异；

对所述资源剩余差异进行统计，获得第一资源利用性能指标；

对所述第二终端设备在执行各个第二测试消息对应的命令时的资源剩余差异进行三次样条插值拟合，获得剩余差异曲线；

求解所述剩余差异曲线的第一导函数曲线；

将使所述第一导函数曲线大于0的自变量范围与所述第二测试消息的发送次数的比值，确定为第二资源利用性能指标；

根据所述第一资源利用性能指标和所述第二资源利用性能指标，确定所述运算资源利用性能指标。

在本发明的一些实施例中，所述筛选模块进一步用于：

根据所述第二测试消息的运算资源需求量和所述第二终端设备的备案信息，确定所述第二终端设备对于各个第二测试消息的理论应答时间；

根据所述第二终端设备对于各个第二测试消息的所述应答时间和所述理论应答时间，确定应答时间差异；

对所述应答时间差异进行统计，获得第一时间差异指标；

对所述应答时间差异进行三次样条插值拟合，获得时间差异曲线；

求解所述时间差异曲线的第二导函数曲线；

将使所述第二导函数曲线大于0的自变量范围与所述第二测试消息的发送次数的比值，确定为第二时间差异指标；

根据所述第一时间差异指标和所述第二时间差异指标，定所述第二终端设备的应答速率衰减性能指标。

在本发明的一些实施例中，所述筛选模块进一步用于：

根据公式，确定所述第二终端设备的运算资源与应答时间的一致性指标Y，其中，V为所述第二终端设备的运算资源总量，V_i为第二终端设备在执行第i个第二测试消息对应的命令时的运算资源剩余量，t_i为第二终端设备对第i个第二测试消息的响应时间，t_max为第二终端设备对多个第二测试消息的响应时间的最大值，t_min为第二终端设备对多个第二测试消息的响应时间的最小值，n为第二测试消息的数量。

在本发明的一些实施例中，所述终端设备包括监控摄像头，所述第三测试消息包括使所述监控摄像头变焦命令，所述执行结果包括根据所述监控摄像头在变焦过程中拍摄的多个第一图像；所述故障诊断模块进一步用于：

通过预训练的图像处理模型，识别所述多个第一图像中检测到的目标对象；

去除所述目标对象所在的区域中的图像内容；

通过所述预训练的图像处理模型，在去除图像内容后的区域中生成背景内容，获得多个第一背景图像；

在所述变焦命令为调远焦距的情况下，在第j个第一背景图像中识别出与第j+1个第一背景图像内容相同的第一重叠区域，或者，在所述变焦命令为调近焦距的情况下，在所述第j+1个第一背景图像识别出与第j个第一背景图像内容相同的第一重叠区域；

根据所述第一重叠区域的面积，以及第j个变焦命令的调节幅度，确定所述第三终端设备是否存在硬件性能故障。

在本发明的一些实施例中，所述终端设备包括监控摄像头，所述第三测试消息包括使所述监控摄像头调整拍摄位姿的命令，所述执行结果包括根据所述监控摄像头在调整拍摄位姿的过程中拍摄的多个第二图像；所述故障诊断模块进一步用于：

通过预训练的图像处理模型，识别所述多个第二图像中检测到的目标对象；

去除所述目标对象所在的区域中的图像内容；

通过所述预训练的图像处理模型，在去除图像内容后的区域中生成背景内容，获得多个第二背景图像；

确定第k个第二背景图像与第k+1个第二背景图像中的第二重叠区域；

根据所述第二重叠区域在所述第k个第二背景图像中的面积占比，以及第k个调整拍摄位姿的命令的调节速度，确定所述第三终端设备是否存在硬件性能故障。

在本发明的一些实施例中，所述系统还包括训练模块，用于：

将包括目标对象的第一样本图像输入所述图像处理模型，确定所述目标对象所在的区域，并去除所述目标对象所在的区域内的图像内容，并在去除图像内容后的区域中生成背景内容，获得生成图像；

将所述生成图像或第二样本图像输入判别器中进行判别处理，获得判别结果，其中，所述第二样本图像为与所述第一样本图像场景相同且不包括目标对象的图像；

根据公式，确定所述图像处理模型和所述判别器的损失函数Loss，其中，I_g（x，y）为第二样本图像中位置为（x，y）的像素点的像素值，I_（x，y）为生成图像中位置为（x，y）的像素点的像素值，M×N为第二样本图像和生成图像的尺寸，p_g为向判别器输入第二样本图像的情况下，判别器判定输入的图像为真实图像的概率，p_s为向判别器输入生成图像的情况下，判别器判定输入的图像为真实图像的概率，T为训练批次内输入的第二样本图像的总数，t为训练批次内的第t次输入第二样本图像，1≤t≤T，θ和μ为预设权重；

根据所述损失函数训练所述图像处理模型和所述判别器，获得训练后的图像处理模型和判别器。

本发明可以是方法、系统、设备和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本发明的各个方面的计算机可读程序指令。

本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (6)

1.一种基于深度学习的设备故障诊断方法，其特征在于，所述方法用于云端设备，包括：

在通信总线中广播第一测试消息，其中，所述第一测试消息用于确定出在所述云端设备中备案的多个终端设备中，未上线或无法应答的第一终端设备；

在接收到第二终端设备的第一应答消息后，根据所述第二终端设备的备案信息，向所述第二终端设备发送多次第二测试消息，其中，所述第二测试消息用于测试所述第二终端设备的应答性能；

根据所述第二终端设备对于所述第二测试消息的应答时间、所述第二终端设备在执行所述第二测试消息对应的命令时使用的运算资源以及所述第二终端设备的备案信息，对所述第二终端设备进行筛选，确定应答性能合格的第三终端设备；

根据所述第三终端设备的备案信息，向所述第三终端设备发送第三测试消息，其中，所述第三测试消息用于测试所述第三终端设备的运行性能；

在接收到的所述第三终端设备对于所述第三测试消息对应的命令的执行结果的情况下，根据所述执行结果，确定所述第三终端设备是否存在硬件性能故障；

根据所述第二终端设备对于所述第二测试消息的应答时间、所述第二终端设备在执行所述第二测试消息对应的命令时使用的运算资源以及所述第二终端设备的备案信息，对所述第二终端设备进行筛选，确定应答性能合格的第三终端设备，包括：

根据所述第二终端设备的备案信息，确定所述第二终端设备的运算资源总量；

根据所述第二终端设备的运算资源总量，和所述第二终端设备在执行各个第二测试消息对应的命令时使用的运算资源，确定所述第二终端设备在执行各个第二测试消息对应的命令时的运算资源剩余量；

根据所述第二终端设备在执行各个第二测试消息对应的命令时的运算资源剩余量、所述第二测试消息的运算资源需求量，以及所述第二终端设备的运算资源总量，确定所述第二终端设备的运算资源利用性能指标；

根据所述第二终端设备对于各个第二测试消息的应答时间、所述第二测试消息的运算资源需求量和所述第二终端设备的备案信息，确定所述第二终端设备的应答速率衰减性能指标；

根据所述第二终端设备在执行各个第二测试消息对应的命令时的运算资源剩余量和应答时间，确定所述第二终端设备的运算资源与应答时间的一致性指标；

根据所述运算资源利用性能指标、所述应答速率衰减性能指标和所述一致性指标，确定所述第二终端设备的应答性能指标；

根据所述应答性能指标，对所述第二终端设备进行筛选，确定应答性能合格的第三终端设备；

根据所述第二终端设备在执行各个第二测试消息对应的命令时的运算资源剩余量、所述第二测试消息的运算资源需求量，以及所述第二终端设备的运算资源总量，确定所述第二终端设备的运算资源利用性能指标，包括：

根据各个第二测试消息的运算资源需求量以及所述第二终端设备的运算资源总量，确定所述第二终端设备在执行各个第二测试消息对应的命令时的理论运算资源剩余量；

根据所述第二终端设备在执行各个第二测试消息对应的命令时的所述运算资源剩余量和所述理论运算资源剩余量，确定资源剩余差异；

对所述资源剩余差异进行统计，获得第一资源利用性能指标；

对所述第二终端设备在执行各个第二测试消息对应的命令时的资源剩余差异进行三次样条插值拟合，获得剩余差异曲线；

求解所述剩余差异曲线的第一导函数曲线；

将使所述第一导函数曲线大于0的自变量范围与所述第二测试消息的发送次数的比值，确定为第二资源利用性能指标；

根据所述第一资源利用性能指标和所述第二资源利用性能指标，确定所述运算资源利用性能指标；

所述终端设备包括监控摄像头，所述第三测试消息包括使所述监控摄像头变焦命令，所述执行结果包括根据所述监控摄像头在变焦过程中拍摄的多个第一图像；

其中，在接收到的所述第三终端设备对于所述第三测试消息对应的命令的执行结果的情况下，根据所述执行结果，确定所述第三终端设备是否存在硬件性能故障，包括：

通过预训练的图像处理模型，识别所述多个第一图像中检测到的目标对象；

去除所述目标对象所在的区域中的图像内容；

通过所述预训练的图像处理模型，在去除图像内容后的区域中生成背景内容，获得多个第一背景图像；

在所述变焦命令为调远焦距的情况下，在第j个第一背景图像中识别出与第j+1个第一背景图像内容相同的第一重叠区域，或者，在所述变焦命令为调近焦距的情况下，在所述第j+1个第一背景图像识别出与第j个第一背景图像内容相同的第一重叠区域；

根据所述第一重叠区域的面积，以及第j个变焦命令的调节幅度，确定所述第三终端设备是否存在硬件性能故障；

或者，所述终端设备包括监控摄像头，所述第三测试消息包括使所述监控摄像头调整拍摄位姿的命令，所述执行结果包括根据所述监控摄像头在调整拍摄位姿的过程中拍摄的多个第二图像；

其中，在接收到的所述第三终端设备对于所述第三测试消息对应的命令的执行结果的情况下，根据所述执行结果，确定所述第三终端设备是否存在硬件性能故障，包括：

通过预训练的图像处理模型，识别所述多个第二图像中检测到的目标对象；

去除所述目标对象所在的区域中的图像内容；

通过所述预训练的图像处理模型，在去除图像内容后的区域中生成背景内容，获得多个第二背景图像；

确定第k个第二背景图像与第k+1个第二背景图像中的第二重叠区域；

根据所述第二重叠区域在所述第k个第二背景图像中的面积占比，以及第k个调整拍摄位姿的命令的调节速度，确定所述第三终端设备是否存在硬件性能故障。

2.根据权利要求1所述的基于深度学习的设备故障诊断方法，其特征在于，根据所述第二终端设备对于各个第二测试消息的应答时间、所述第二测试消息的运算资源需求量和所述第二终端设备的备案信息，确定所述第二终端设备的应答速率衰减性能指标，包括：

根据所述第二测试消息的运算资源需求量和所述第二终端设备的备案信息，确定所述第二终端设备对于各个第二测试消息的理论应答时间；

根据所述第二终端设备对于各个第二测试消息的所述应答时间和所述理论应答时间，确定应答时间差异；

对所述应答时间差异进行统计，获得第一时间差异指标；

对所述应答时间差异进行三次样条插值拟合，获得时间差异曲线；

求解所述时间差异曲线的第二导函数曲线；

将使所述第二导函数曲线大于0的自变量范围与所述第二测试消息的发送次数的比值，确定为第二时间差异指标；

根据所述第一时间差异指标和所述第二时间差异指标，定所述第二终端设备的应答速率衰减性能指标。

3.根据权利要求1所述的基于深度学习的设备故障诊断方法，其特征在于，根据所述第二终端设备在执行各个第二测试消息对应的命令时的运算资源剩余量和应答时间，确定所述第二终端设备的运算资源与应答时间的一致性指标，包括：

根据公式，确定所述第二终端设备的运算资源与应答时间的一致性指标Y，其中，V为所述第二终端设备的运算资源总量，V_i为第二终端设备在执行第i个第二测试消息对应的命令时的运算资源剩余量，t_i为第二终端设备对第i个第二测试消息的响应时间，t_max为第二终端设备对多个第二测试消息的响应时间的最大值，t_min为第二终端设备对多个第二测试消息的响应时间的最小值，n为第二测试消息的数量。

4.根据权利要求1所述的基于深度学习的设备故障诊断方法，其特征在于，所述图像处理模型的训练步骤包括：

将包括目标对象的第一样本图像输入所述图像处理模型，确定所述目标对象所在的区域，并去除所述目标对象所在的区域内的图像内容，并在去除图像内容后的区域中生成背景内容，获得生成图像；

将所述生成图像或第二样本图像输入判别器中进行判别处理，获得判别结果，其中，所述第二样本图像为与所述第一样本图像场景相同且不包括目标对象的图像；

根据公式，确定所述图像处理模型和所述判别器的损失函数Loss，其中，I_g（x，y）为第二样本图像中位置为（x，y）的像素点的像素值，I_（x，y）为生成图像中位置为（x，y）的像素点的像素值，M×N为第二样本图像和生成图像的尺寸，p_g为向判别器输入第二样本图像的情况下，判别器判定输入的图像为真实图像的概率，p_s为向判别器输入生成图像的情况下，判别器判定输入的图像为真实图像的概率，T为训练批次内输入的第二样本图像的总数，t为训练批次内的第t次输入第二样本图像，1≤t≤T，θ和μ为预设权重；

根据所述损失函数训练所述图像处理模型和所述判别器，获得训练后的图像处理模型和判别器。

5.一种基于深度学习的设备故障诊断系统，其特征在于，包括：

第一测试模块，用于在通信总线中广播第一测试消息，其中，所述第一测试消息用于确定出在云端设备中备案的多个终端设备中，未上线或无法应答的第一终端设备；

第二测试模块，用于在接收到第二终端设备的第一应答消息后，根据所述第二终端设备的备案信息，向所述第二终端设备发送多次第二测试消息，其中，所述第二测试消息用于测试所述第二终端设备的应答性能；

筛选模块，用于根据所述第二终端设备对于所述第二测试消息的应答时间、所述第二终端设备在执行所述第二测试消息对应的命令时使用的运算资源以及所述第二终端设备的备案信息，对所述第二终端设备进行筛选，确定应答性能合格的第三终端设备；

第三测试模块，用于根据所述第三终端设备的备案信息，向所述第三终端设备发送第三测试消息，其中，所述第三测试消息用于测试所述第三终端设备的运行性能；

故障诊断模块，用于在接收到的所述第三终端设备对于所述第三测试消息对应的命令的执行结果的情况下，根据所述执行结果，确定所述第三终端设备是否存在硬件性能故障；

所述筛选模块进一步用于：

根据所述第二终端设备的备案信息，确定所述第二终端设备的运算资源总量；

根据所述第二终端设备的运算资源总量，和所述第二终端设备在执行各个第二测试消息对应的命令时使用的运算资源，确定所述第二终端设备在执行各个第二测试消息对应的命令时的运算资源剩余量；

根据所述第二终端设备在执行各个第二测试消息对应的命令时的运算资源剩余量、所述第二测试消息的运算资源需求量，以及所述第二终端设备的运算资源总量，确定所述第二终端设备的运算资源利用性能指标；

根据所述第二终端设备对于各个第二测试消息的应答时间、所述第二测试消息的运算资源需求量和所述第二终端设备的备案信息，确定所述第二终端设备的应答速率衰减性能指标；

根据所述第二终端设备在执行各个第二测试消息对应的命令时的运算资源剩余量和应答时间，确定所述第二终端设备的运算资源与应答时间的一致性指标；

根据所述运算资源利用性能指标、所述应答速率衰减性能指标和所述一致性指标，确定所述第二终端设备的应答性能指标；

根据所述应答性能指标，对所述第二终端设备进行筛选，确定应答性能合格的第三终端设备；

所述筛选模块进一步用于：

根据各个第二测试消息的运算资源需求量以及所述第二终端设备的运算资源总量，确定所述第二终端设备在执行各个第二测试消息对应的命令时的理论运算资源剩余量；

根据所述第二终端设备在执行各个第二测试消息对应的命令时的所述运算资源剩余量和所述理论运算资源剩余量，确定资源剩余差异；

对所述资源剩余差异进行统计，获得第一资源利用性能指标；

对所述第二终端设备在执行各个第二测试消息对应的命令时的资源剩余差异进行三次样条插值拟合，获得剩余差异曲线；

求解所述剩余差异曲线的第一导函数曲线；

将使所述第一导函数曲线大于0的自变量范围与所述第二测试消息的发送次数的比值，确定为第二资源利用性能指标；

根据所述第一资源利用性能指标和所述第二资源利用性能指标，确定所述运算资源利用性能指标；

所述终端设备包括监控摄像头，所述第三测试消息包括使所述监控摄像头变焦命令，所述执行结果包括根据所述监控摄像头在变焦过程中拍摄的多个第一图像；所述故障诊断模块进一步用于：

通过预训练的图像处理模型，识别所述多个第一图像中检测到的目标对象；

去除所述目标对象所在的区域中的图像内容；

通过所述预训练的图像处理模型，在去除图像内容后的区域中生成背景内容，获得多个第一背景图像；

在所述变焦命令为调远焦距的情况下，在第j个第一背景图像中识别出与第j+1个第一背景图像内容相同的第一重叠区域，或者，在所述变焦命令为调近焦距的情况下，在所述第j+1个第一背景图像识别出与第j个第一背景图像内容相同的第一重叠区域；

根据所述第一重叠区域的面积，以及第j个变焦命令的调节幅度，确定所述第三终端设备是否存在硬件性能故障；

或者，所述终端设备包括监控摄像头，所述第三测试消息包括使所述监控摄像头调整拍摄位姿的命令，所述执行结果包括根据所述监控摄像头在调整拍摄位姿的过程中拍摄的多个第二图像；所述故障诊断模块进一步用于：

通过预训练的图像处理模型，识别所述多个第二图像中检测到的目标对象；

去除所述目标对象所在的区域中的图像内容；

通过所述预训练的图像处理模型，在去除图像内容后的区域中生成背景内容，获得多个第二背景图像；

确定第k个第二背景图像与第k+1个第二背景图像中的第二重叠区域；

根据所述第二重叠区域在所述第k个第二背景图像中的面积占比，以及第k个调整拍摄位姿的命令的调节速度，确定所述第三终端设备是否存在硬件性能故障。

6.一种基于深度学习的设备故障诊断设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至4中任意一项所述的方法。