CN111225202B - 一种图片故障诊断方法、装置及系统 - Google Patents

Abstract

本申请是关于一种图片故障诊断方法、装置及系统，属于视频监控领域。所述方法包括：对M个待检测图片进行故障检测得到N个侯选故障图片，M为大于0的整数，N为大于0且小于或等于M的整数；将所述N个侯选故障图片依次输入第一深度学习网络进行二次检测，得到所述候选故障图片的检测结果，所述检测结果为所述候选故障图片为故障图片或者为正常图片，所述第一深度学习网络用于检测输入的所述侯选故障图片是否为故障图片。本申请能够提高对图片检测的精度。

Description

一种图片故障诊断方法、装置及系统

技术领域

本申请涉及视频监控领域，特别涉及一种图片故障诊断方法、装置及系统。

背景技术

随着技术的发展和社会经济水平的提高，越来越多的摄像机被应用到道路、楼宇、车站等监控场景。摄像机长时间使用过程中由于人为破坏或其他物理因素可能出现模糊、雪花点、亮度异常、偏色等故障。

目前可以对摄像机拍摄的图片进行故障检测，当从摄像机拍摄的图片中检测出故障图片，且故障图片的数目达到一定数目时，可以确定该摄像机故障。然而目前对图片进行故障检测的精度较低。

发明内容

为了提高对图片进行故障检测的精度，本申请实施例提供了一种摄像机故障诊断的方法、装置及系统。所述技术方案如下：

第一方面，本申请提供了一种图片故障诊断方法，所述方法包括：

对M个待检测图片进行故障检测得到N个侯选故障图片，M为大于0的整数，N为大于0且小于或等于M的整数；

将所述N个侯选故障图片依次输入第一深度学习网络进行二次检测，得到所述候选故障图片的检测结果，所述检测结果为所述候选故障图片为故障图片或者为正常图片，所述第一深度学习网络用于检测输入的所述侯选故障图片是否为故障图片。

可选的，所述对M个待检测图片进行故障检测得到N个侯选故障图片，包括：

对每个待检测图片进行模糊检测、亮度异常检测、雪花点检测和偏色检测中的至少一种，得到至少一种图像故障的分数；

在所述至少一种图像故障的分数中存在位于预设分数范围内的分数且每种图像故障的分数均未超过所述预设分数范围的上限值时，将所述待检测图片确定侯选故障图片。

可选的，所述方法还包括：

当所述待检测图片为正常图片时，将所述待检测图片标记为正常图片并进行存储；或者，当候选故障图片二次检测为正常图片时，将所述侯选故障图片标记为正常图片并进行存储；或者，当所述候选故障图片二次检测为故障图片时，发起人工确认流程，在人工确认结果为正常图片时，将所述侯选故障图片标记为正常图片并进行存储；

当所述候选故障图片二次检测为故障图片时，将所述侯选故障图片标记为故障图片并进行存储，或者，当所述候选故障图片二次检测为故障图片时，发起人工确认流程，在人工确认结果为故障图片时，将侯选故障图片标记为故障图片并进行存储。

可选的，所述方法还包括：

当存储数据中标记为故障图片的数量超过设定阈值时，将存储的第一数量的故障图片和第二数量的正常图片作为训练样本，所述训练样本用于对第一深度学习网络进行训练得到第二深度学习网络。

可选的，所述方法还包括：

当来自待检测摄像机的待检测图片中，被标记为故障图片的数量超过第一设定阈值时，确定所述待检测摄像机故障，并确定以及输出所述待检测摄像机的故障类型。

可选的，所述对M个待检测图片进行故障检测得到N个侯选故障图片之前，还包括：

在所述待检测摄像机为模拟摄像机时，从所述待检测摄像机拍摄的视频中选择M个模拟图片，将所述M个模拟图片转换成数字图片，得到所述M个待检测图片；

在所述待检测摄像机为数字摄像机时，对所述待检测摄像机拍摄的视频码流进行解码得到视频，从所述视频中选择M个数字图片，得到所述M个待检测图片。

第二方面，本申请提供了一种图片故障诊断装置，所述装置包括：

第一检测模块，用于对M个待检测图片进行故障检测得到N个侯选故障图片，M为大于0的整数，N为大于0且小于或等于M的整数；

第二检测模块，用于将所述N个侯选故障图片依次输入第一深度学习网络进行二次检测，得到所述候选故障图片的检测结果，所述检测结果为所述候选故障图片为故障图片或者为正常图片，所述第一深度学习网络用于检测输入的所述侯选故障图片是否为故障图片。

可选的，所述第一检测模块，用于：

对每个待检测图片进行模糊检测、亮度异常检测、雪花点检测和偏色检测中的至少一种，得到至少一种图像故障的分数；

在所述至少一种图像故障的分数中存在位于预设分数范围内的分数且每种图像故障的分数均未超过所述预设分数范围的上限值时，将所述待检测图片确定侯选故障图片。

可选的，所述装置还包括：

存储模块，用于当所述待检测图片为正常图片时，将所述待检测图片标记为正常图片并进行存储；或者，当候选故障图片二次检测为正常图片时，将所述侯选故障图片标记为正常图片并进行存储；或者，当所述候选故障图片二次检测为故障图片时，发起人工确认流程，在人工确认结果为正常图片时，将所述侯选故障图片标记为正常图片并进行存储；当所述候选故障图片二次检测为故障图片时，将所述侯选故障图片标记为故障图片并进行存储，或者，当所述候选故障图片二次检测为故障图片时，发起人工确认流程，在人工确认结果为故障图片时，将侯选故障图片标记为故障图片并进行存储。

可选的，所述装置还包括：

训练模块，用于当存储数据中标记为故障图片的数量超过设定阈值时，将存储的第一数量的故障图片和第二数量的正常图片作为训练样本，所述训练样本用于对第一深度学习网络进行训练得到第二深度学习网络。

可选的，所述装置还包括：

确定模块，用于当来自待检测摄像机的待检测图片中，被标记为故障图片的数量超过第一设定阈值时，确定所述待检测摄像机故障，并确定以及输出所述待检测摄像机的故障类型。

可选的，所述装置还包括：

转换模块，用于在所述待检测摄像机为模拟摄像机时，从所述待检测摄像机拍摄的视频中选择M个模拟图片，将所述M个模拟图片转换成数字图片，得到所述M个待检测图片；在所述待检测摄像机为数字摄像机时，对所述待检测摄像机拍摄的视频码流进行解码得到视频，从所述视频中选择M个数字图片，得到所述M个待检测图片。

第三方面，本申请提供了一种图片故障诊断系统，包括摄像机和图片故障诊断装置，所述图片故障诊断装置位于所述摄像机内，或者位于所述摄像机外部；

所述摄像机，用于拍摄得到M个待检测图片；

所述图片故障诊断装置，用于对所述M个待检测图片进行故障检测得到N个侯选故障图片，M为大于0的整数，N为大于0且小于或等于M的整数；将所述N个侯选故障图片依次输入第一深度学习网络进行二次检测，得到所述候选故障图片的检测结果，所述检测结果为所述候选故障图片为故障图片或者为正常图片，所述第一深度学习网络用于检测输入的所述侯选故障图片是否为故障图片。

第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现所述第一方面或第一方面任可选的方式提供的方法步骤。

本申请实施例提供的技术方案可以包括以下有益效果：

通过对M个待检测图片进行故障检测，得到N个侯选故障图片，通过第一深度学习网络对该N个侯选故障图片依次进行二次检测，以从该N个侯选故障图片中检测出故障图片和正常图片，从而提高了检测精度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是本申请实施例提供的诊断系统的结构示意图；

图2是本申请实施例提供的一种摄像机故障诊断的方法流程图；

图3是本申请实施例提供的另一种摄像机故障诊断的方法流程图；

图4是本申请实施例提供的一种CNN结构示意图；

图5是本申请实施例提供的一种摄像机故障诊断的装置结构示意图；

图6是本申请实施例提供的一种终端结构示意图；

图7是本申请实施例提供了一种图片故障诊断系统的结构示意图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

摄像机可以用于拍摄视频，且在较多领域内得到广泛使用。例如，在监控领域内可以使用摄像机进行视频监控。例如，可以在道路、楼宇或车站等监控场景中部署摄像机，通过摄像机对该监控场景进行拍摄得到视频，将该视频发送控制中心，在控制中心播放该视频，以实现对该监控场景进行监控。

摄像机在使用时可能由于人为破坏、自然老化或其他物理因素，导致摄像机发生故障，发生故障的摄像机拍摄的图片可能存在模糊、雪花点、亮度异常和偏色等中的至少一个图像故障。故障的摄像机影响正常使用，因此需要检测出故障的摄像机，并进行更换。在本申请中，可以通过如下任一实施例检测故障的摄像机。

参见图1，本申请实施例提供了一种诊断系统，该系统包括：

检测终端1和至少一个摄像机2，每个摄像机2与检测终端1之间有网络连接。

每个摄像机2可以用于拍摄视频，并将拍摄的视频发送给检测终端1；

检测终端1可以接收每个摄像机2发送的视频，对于任一个摄像机2，为了便于说明称该摄像机2为待检测摄像机，从待检测摄像机拍摄的视频中选择M个图片，根据该M个图片检测待检测摄像机是否为故障摄像机。

可选的，检测终端1可以为控制中心中的终端或为控制中心，可以为计算机、手机、平板电脑或笔记本电脑等终端设备。该网络连接可以为有线连接或无线连接等。

参见图2，本申请实施例提供了一种图片故障诊断方法，所述方法包括：

步骤201：对M个待检测图片进行故障检测得到N个侯选故障图片，M为大于0的整数，N为大于0且小于或等于M的整数。

步骤202：将该N个侯选故障图片依次输入第一深度学习网络进行二次检测，得到候选故障图片的检测结果，该检测结果为候选故障图片为故障图片或者为正常图片，第一深度学习网络用于检测输入的侯选故障图片是否为故障图片。

在本申请实施例中，通过对M个待检测图片进行故障检测，得到N个侯选故障图片，通过第一深度学习网络对该N个侯选故障图片依次进行二次检测，以从该N个侯选故障图片中检测出故障图片和正常图片，从而提高了检测精度。

参见图3，本申请实施例提供了一种图片故障诊断方法，该方法可以用于图1所示的诊断系统，该方法的执行主体可以为该诊断系统中的检测终端。该方法包括：

步骤301：获取待检测摄像机拍摄的M个待检测图片，M为大于0的整数。

待检测摄像机可以是部署在监控场景中的任一个摄像机。待检测摄像机用于摄像视频，该M个待检测图片是该视频中的图片。

待检测摄像机可能是数字摄像机，也可能是模拟摄像机。数字摄像机在拍摄到视频时会将视频压缩成视频码流，模拟摄像机拍摄的视频由一帧帧模拟图片组成。

在本步骤获取的M个待检测图片均为数字图片，可以通过如下两种方式获取得到，分别为：

第一种、在待检测摄像机为模拟摄像机时，获取待检测摄像机拍摄的视频，从待检测摄像机拍摄的视频中选择M个模拟图片，将该M个模拟图片转换成数字图片，得到M个待检测图片。

可选的，可以从该视频中随机选择M个模拟图片，或者，在该视频中相邻两次选择的模拟图片至少间隔预设时间。

可以使用模数转换器(Analog-to-Digital Converter，ADC)将该M个模拟图片转换成数字图片。

第二种、在待检测摄像机为数字摄像机时，获取待检测摄像机拍摄的视频码流，对待检测摄像机拍摄的视频码流进行解码得到视频，从该视频中选择M个数字图片，得到M个待检测图片。

可选的，可以从该视频中随机选择M个数字图片，或者，在该视频中相邻两次选择的数字图片至少间隔预设时间。

步骤302：对M个待检测图片进行故障检测得到N个侯选故障图片，N为大于0且小于或等于M的整数。

在本步骤中，对于每个待检测图片，对该待检测图片进行模糊检测、亮度异常检测、雪花点检测和偏色检测中的至少一种，得到至少一种图像故障的分数；在该至少一种图像故障的分数中存在位于预设分数范围内的分数且每种图像故障的分数均未超过所述预设分数范围的上限值时，将该待检测图片确定侯选故障图片。在该至少一种图像故障的分数中存在超过预设分数范围上限值的分数时，将该待检测图片确定故障图片。在该至少一种图像故障的分数中的每种图像故障的分数均小于该预设分数范围的下限值时，将该待检测图片确定为正常图片。

可选的，当确定出故障图片后可以将该故障图片进行存储。当确定出正常图片后可以将该正常图片进行存储。

对待检测图片分别进行模糊检测、亮度异常检测、雪花点检测和偏色检测，检测出待检测图片中存在模糊的第一分数、待检测图片中存在亮度异常的第二分数、待检测图片中存在雪花点的第三分数和待检测图片中存在偏色的第四分数，根据第一分数、第二分数、第三分数和第四分数，确定待检测图片是否为侯选故障图片。

可选的，对于根据每个图像故障的分数确定是否为侯选故障图片的操作，可以在每个图像故障的分数中判断是否存在位于预设分数范围内的分数以及判断每个图像故障的分数是否均超过预设分数范围的上限值，在判断出每个图像故障的分数中存在位于预设分数范围内的分数且每个图像故障的分数均未超过预设分数范围的上限值时，将待检测图片作为侯选故障图片。

可选的，在每个图像故障的分数中存在超过预设分数范围的上限值的分数时，将待检测图片确定为故障图片并进行存储。

位于预设分数范围内的图像故障可能是真实的图像故障，也可能不是真实的图像故障，所以在判断出每个图像故障的分数中存在位于预设分数范围内的分数且每个图像故障的分数均未超过预设分数范围的上限值时，仅将待检测图片作为侯选故障图片，以待后续步骤进行二次检测。

接下来分别对模糊检测、亮度异常检测、雪花点检测和偏色检测的过程进行一一说明，分别为：

对于模糊检测，对待检测图片进行分块得到多个图像块，计算该多个图像块中的每个图像块的梯度绝对值，根据每个图像块的梯度绝对值计算待检测图片中存在模糊的第一分数。

图像块的大小可以为64x64、32x32或16x16等大小，可以将待检测图片分块成等大小的多个图像块。

对于亮度异常，在本申请中提供了如下两种检测亮度异常的方式，分别为：

第一种方式，可以从待检测图片中读取待检测图片中的每个像素点的亮度值，根据每个像素点的亮度值计算平均亮度，根据该平均亮度计算待检测图片中存在亮度异常的第二分数。

第二种方式，可以从待检测图片中读取待检测图片中的每个像素点的亮度值，根据每个像素点的亮度值统计每个亮度值对应的像素点数目，根据每个亮度值对应的像素点数目绘制每个亮度值对应的直方图，亮度值对应的像素点数目越大，该亮度值对应的直方图面积就越大；统计所有直方图的面积之和得到第一总面积，选择超过预设亮度值阈值的各亮度值的直方图，统计选择的直方图的面积之和得到第二总面积，根据第二总面积与第一总面积之间的比值计算待检测图片中存在亮度异常的第二分数。

其中，存在256个亮度值，该256个亮度值分别为0至255。所以绘制的直方图的数目小于或等于256个。

对于雪花点检测，获取待检测图片中的每个图像，对每个图像进行频域检测得到每个图像的频域值，根据每个图像的频域值计算待检测图片中存在雪花点的第三分数。

对于偏色检测，从该图片中读取待检测图片中的每个像素点的R通道像素值、G通道像素值和B通道像素值，根据每个像素点的R通道像素值计算第一平均值，根据每个像素点的G通道像素值计算第二平均值以及根据每个像素点的B通道像素值计算第三平均值，根据第一平均值、第二平均值和第三平均值雪花点计算待检测图片中存在偏色的第四分数。

待检测图片中的每个像素点的像素值由R通道像素值、G通道像素值和B通道像素值组成。在待检测图片不存在偏色故障时，第一平均值、第二平均值和第三平均值之间的大小相差较小，即在第一平均值、第二平均值和第三平均值中的任意两个平均值之间差值不超过预设差值阈值。其中在第一平均值、第二平均值和第三平均值中存在两个平均值之间差值超过预设差值阈值时，待检测图片通常包括偏色故障。

步骤303：将该N个侯选故障图片依次输入第一深度学习网络进行二次检测，得到该候选故障图片的检测结果，该检测结果为该候选故障图片为故障图片或者为正常图片。

第一深度学习网络用于检测输入的侯选故障图片是否为故障图片。在本步骤中，将侯选故障图片输入到第一深度学习网络中，第一深度学习网络对该侯选故障图片进行检测，检测出该侯选故障图片为正常图片时将该侯选故障图片标记为正常并输出，或者检测出该侯选故障图片为故障图片时将该侯选故障图片标记为故障并输出。

可选的，可以将二次检测的故障图片进行存储，将二次检测的正常图片进行存储。或者，

可选的，当候选故障图片二次检测为故障图片时，发起人工确认流程，在人工确认结果为正常图片时，将该侯选故障图片标记为正常图片并进行存储；在人工确认结果为故障图片时，将该侯选故障图片标记为故障图片并进行存储。

可选的，在执行本步骤之前使用样本集合训练深度学习网络，得到第一深度学习网络，第一深度学习网络具有检测侯选故障图片是否为故障图片的功能。

样本集合中包括标记为正常的至少一个正常图片和标记为故障的至少一个故障图片，深度学习网络包括至少一个参数。在训练深度学习网络时，将样本集合输入到深度学习网络，设置深度学习网络的训练次数。然后，深度学习网络根据样本集合进行训练，在每次训练结束时根据每次训练结果调整其包括的至少一个参数中的每个参数的参数值，在训练次数达到设置的训练次数时，深度学习网络停止训练，此时深度学习网络具有检测侯选故障图片是否为故障图片的功能，称为第一深度学习网络。

第一深度学习网络检测侯选故障图片是否为故障图片的精度往往较高，因此通过深度学习网络可以提高检测故障图片的精度。

可选的，第一深度学习网络可以为卷积神经网络(Convolutional NeuralNetwork，CNN)或人工神经网络(Artificial Neural Network，ANN)。

可选的，参见图4，CNN包括多个卷积层、多个池化层和全连接层，将侯选故障图片输入到CNN后，每个卷积层对输入的图片的特征进行提取，每个池化层用来减小特征图像和增加网络的非线性表达能力，全连接层用来对特征进行加权求和，并最终得出图片是否为故障图片。

步骤304：根据存储的被标记为故障图片的数量确定待检测摄像机是否为故障摄像机。

在本步骤中，当来自待检测摄像机的待检测图片中，被标记为故障图片的数量超过第一设定阈值时，确定待检测摄像机故障，并确定以及输出所述待检测摄像机的故障类型。

可选的，可以通过如下3041和3042的步骤，确定待检测摄像机是否为故障摄像机。

3041：在存储的故障图片中统计各图像故障对应的故障图片数目。

例如，图像故障包括模糊、亮度异常、雪花点和偏色，假设在第三图片集合中统计出模糊对应的故障图片数目为50，亮度异常对应的故障图片数目为60，雪花点对应的故障图片数目为20、偏色对应的故障数目为10。

3042：当存在至少一个图像故障对应的故障图片数目超过预设数目阈值，则确定待检测摄像机为故障摄像机，将该至少一个图像故障确定出待检测摄像机的故障类型。

例如，假设预设数目阈值为30，则模糊对应的故障图片数目超过50，亮度异常对应的故障图片数目超过30，则检测出待检测摄像机为故障摄像机，待检测摄像机的故障类型为模糊和亮度异常。

可选的，当存储数据中标记为故障图片的数量超过设定阈值时，将存储的第一数量的故障图片和第二数量的正常图片作为训练样本，其中，所述第一数量和所述第二数量的差值小于设定值，可选的，所述第一数量等于第二数量。当第一数量等于第二数量时，将数量均衡的正常图片和故障图片作为训练样本继续训练第一深度学习网络得到第二深度学习网络，以进一步提高第二深度学习网络检测故障图片的精度。

可选的，在训练时，将第一数量的故障图片中的每个故障图片标记为故障，将第二数量的正常图片中的每个正常图片标记为正常，将标记为正常的每个正常图片和将标记为故障的每个故障图片输入到第一深度学习网络，设置第一深度学习网络的训练次数。这样第一深度学习网络进行训练，在每次训练结束时根据每次训练的训练结果调整其包括的至少一个参数中的每个参数的参数值，在训练次数达到设置的训练次数时，第一深度学习网络停止训练，即得到第二深度学习网络。

在本申请实施例中，首先从M个待检测图片中检测出N个侯选故障图片，通过第一深度学习网络依次对该N个侯选故障图片进行二次检测，从该N个侯选故障图片中检测出故障图片和正常图片，提高了故障图片的检测精度。还可以根据检测出的故障图片检测待检测摄像机是否故障。自动检测摄像机是否为故障摄像机的速度大于人工检测，从而提高检测的及时性和效率。由于故障图片经过两次检测，可以提高检测故障图片的精度，进而根据故障图片可以提高诊断摄像机是否为故障摄像机的精度。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

参见图5，本申请提供了一种图片故障诊断装置400，所述装置400包括：

第一检测模块401，用于对M个待检测图片进行故障检测得到N个侯选故障图片，M为大于0的整数，N为大于0且小于或等于M的整数；

第二检测模块402，用于将所述N个侯选故障图片依次输入第一深度学习网络进行二次检测，得到所述候选故障图片的检测结果，所述检测结果为所述候选故障图片为故障图片或者为正常图片，所述第一深度学习网络用于检测输入的所述侯选故障图片是否为故障图片。

可选的，所述第一检测模块401，用于：

对每个待检测图片进行模糊检测、亮度异常检测、雪花点检测和偏色检测中的至少一种，得到至少一种图像故障的分数；

在所述至少一种图像故障的分数中存在位于预设分数范围内的分数且每种图像故障的分数均未超过所述预设分数范围的上限值时，将所述待检测图片确定侯选故障图片。

可选的，所述装置400还包括：

存储模块，用于当所述待检测图片为正常图片时，将所述待检测图片标记为正常图片并进行存储；或者，当候选故障图片二次检测为正常图片时，将所述侯选故障图片标记为正常图片并进行存储；或者，当所述候选故障图片二次检测为故障图片时，发起人工确认流程，在人工确认结果为正常图片时，将所述侯选故障图片标记为正常图片并进行存储；当所述候选故障图片二次检测为故障图片时，将所述侯选故障图片标记为故障图片并进行存储，或者，当所述候选故障图片二次检测为故障图片时，发起人工确认流程，在人工确认结果为故障图片时，将侯选故障图片标记为故障图片并进行存储。但是，当所述候选故障图片二次检测为故障图片时，本申请并不限于发起人工确认流程一种方式，也可以发起其他形式的非人工确认流程进行确认，当确认结果为故障图片时，将侯选故障图片标记为故障图片并进行存储。

可选的，所述装置400还包括：

训练模块，用于当存储数据中标记为故障图片的数量超过设定阈值时，将存储的第一数量的故障图片和第二数量的正常图片作为训练样本，所述训练样本用于对第一深度学习网络进行训练得到第二深度学习网络。

可选的，所述装置400还包括：

确定模块，用于当来自待检测摄像机的待检测图片中，被标记为故障图片的数量超过第一设定阈值时，确定所述待检测摄像机故障，并确定以及输出所述待检测摄像机的故障类型。

可选的，所述装置400还包括：

转换模块，用于在所述待检测摄像机为模拟摄像机时，从所述待检测摄像机拍摄的视频中选择M个模拟图片，将所述M个模拟图片转换成数字图片，得到所述M个待检测图片；在所述待检测摄像机为数字摄像机时，对所述待检测摄像机拍摄的视频码流进行解码得到视频，从所述视频中选择M个数字图片，得到所述M个待检测图片。

在本申请实施例中，通过从M个待检测图片检测出N个侯选故障图片，通过第一深度学习网络从N个侯选故障图片中进行二次检测，检测出故障图片和正常图片，从而通过二次检测提高对图片检测的精度。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图6示出了本发明一个示例性实施例提供的终端500的结构框图。该终端500可以是图1所示的系统中的检测终端。可以为计算机、智能手机、平板电脑、笔记本电脑或台式电脑。终端500还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端500包括有：处理器501和存储器502。

处理器501可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器501可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器501也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器501可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器501还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器502可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器502还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器502中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器501所执行以实现本申请中方法实施例提供的摄像机故障诊断的方法。

在一些实施例中，终端500还可选包括有：外围设备接口503和至少一个外围设备。处理器501、存储器502和外围设备接口503之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口503相连。具体地，外围设备包括：射频电路504、触摸显示屏505、摄像头506、音频电路507、定位组件508和电源509中的至少一种。

外围设备接口503可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器501和存储器502。在一些实施例中，处理器501、存储器502和外围设备接口503被集成在同一芯片或电路板上；在一些其他实施例中，处理器501、存储器502和外围设备接口503中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路504用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路504通过电磁信号与通信网络以及其他通信设备进行通信。射频电路504将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路504包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路504可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路504还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏505用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏505是触摸显示屏时，显示屏505还具有采集在显示屏505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器501进行处理。此时，显示屏505还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏505可以为一个，设置终端500的前面板；在另一些实施例中，显示屏505可以为至少两个，分别设置在终端500的不同表面或呈折叠设计；在再一些实施例中，显示屏505可以是柔性显示屏，设置在终端500的弯曲表面上或折叠面上。甚至，显示屏505还可以设置成非矩形的不规则图形，也即异形屏。显示屏505可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件506用于采集图像或视频。可选地，摄像头组件506包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件506还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路507可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器501进行处理，或者输入至射频电路504以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端500的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器501或射频电路504的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路507还可以包括耳机插孔。

定位组件508用于定位终端500的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件508可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。

电源509用于为终端500中的各个组件进行供电。电源509可以是交流电、直流电、一次性电池或可充电电池。当电源509包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端500还包括有一个或多个传感器510。该一个或多个传感器510包括但不限于：加速度传感器511、陀螺仪传感器512、压力传感器513、指纹传感器514、光学传感器515以及接近传感器516。

加速度传感器511可以检测以终端500建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器511可以用于检测重力加速度在三个坐标轴上的分量。处理器501可以根据加速度传感器511采集的重力加速度信号，控制触摸显示屏505以横向视图或纵向视图进行用户界面的显示。加速度传感器511还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器512可以检测终端500的机体方向及转动角度，陀螺仪传感器512可以与加速度传感器511协同采集用户对终端500的3D动作。处理器501根据陀螺仪传感器512采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器513可以设置在终端500的侧边框和/或触摸显示屏505的下层。当压力传感器513设置在终端500的侧边框时，可以检测用户对终端500的握持信号，由处理器501根据压力传感器513采集的握持信号进行左右手识别或快捷操作。当压力传感器513设置在触摸显示屏505的下层时，由处理器501根据用户对触摸显示屏505的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器514用于采集用户的指纹，由处理器501根据指纹传感器514采集到的指纹识别用户的身份，或者，由指纹传感器514根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器501授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器514可以被设置终端500的正面、背面或侧面。当终端500上设置有物理按键或厂商Logo时，指纹传感器514可以与物理按键或厂商Logo集成在一起。

光学传感器515用于采集环境光强度。在一个实施例中，处理器501可以根据光学传感器515采集的环境光强度，控制触摸显示屏505的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏505的显示亮度；当环境光强度较低时，调低触摸显示屏505的显示亮度。在另一个实施例中，处理器501还可以根据光学传感器515采集的环境光强度，动态调整摄像头组件506的拍摄参数。

接近传感器516，也称距离传感器，通常设置在终端500的前面板。接近传感器516用于采集用户与终端500的正面之间的距离。在一个实施例中，当接近传感器516检测到用户与终端500的正面之间的距离逐渐变小时，由处理器501控制触摸显示屏505从亮屏状态切换为息屏状态；当接近传感器516检测到用户与终端500的正面之间的距离逐渐变大时，由处理器501控制触摸显示屏505从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图5中示出的结构并不构成对终端500的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

参见图7、本申请实施例提供了另一种图片故障诊断系统700，包括摄像机701和图片故障诊断装置702，所述图片故障诊断装置702位于所述摄像机701内，或者位于所述摄像机702外部；

所述摄像机701，用于拍摄得到M个待检测图片；

所述图片故障诊断装置702，用于对所述M个待检测图片进行故障检测得到N个侯选故障图片，M为大于0的整数，N为大于0且小于或等于M的整数；将所述N个侯选故障图片依次输入第一深度学习网络进行二次检测，得到所述候选故障图片的检测结果，所述检测结果为所述候选故障图片为故障图片或者为正常图片，所述第一深度学习网络用于检测输入的所述侯选故障图片是否为故障图片。

本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (11)

1.一种图片故障诊断方法，其特征在于，所述方法包括：

对M个待检测图片中的每个待检测图片进行模糊检测、亮度异常检测、雪花点检测和偏色检测中的至少一种，得到至少一种图片故障的分数，在所述至少一种图片故障的分数中存在位于预设分数范围内的分数且每种图片故障的分数均未超过所述预设分数范围的上限值时，将所述待检测图片确定为候选故障图片，得到N个候选故障图片，M为大于0的整数，N为大于0且小于或等于M的整数；

将所述N个候选故障图片依次输入第一深度学习网络进行二次检测，得到所述候选故障图片的检测结果，所述检测结果为所述候选故障图片为故障图片或者为正常图片，所述第一深度学习网络用于检测输入的所述候选故障图片是否为故障图片；

所述对M个待检测图片中的每个待检测图片进行模糊检测、亮度异常检测、雪花点检测和偏色检测中的至少一种，得到至少一种图片故障的分数，包括：

对于所述模糊检测，对所述待检测图片进行分块得到多个图像块，计算所述多个图像块中的每个图像块的梯度绝对值，根据所述每个图像块的梯度绝对值计算待检测图片中存在模糊的第一分数；

对于所述亮度异常检测，从所述待检测图片中读取所述待检测图片中的每个像素点的亮度值，根据所述每个像素点的亮度值计算平均亮度，根据所述平均亮度计算待检测图片中存在亮度异常的第二分数；

对于所述雪花点检测，获取所述待检测图片中的每个图片，对所述每个图片进行频域检测得到所述每个图片的频域值，根据所述每个图片的频域值计算待检测图片中存在雪花点的第三分数；

对于所述偏色检测，读取所述待检测图片中的每个像素点的R通道像素值、G通道像素值和B通道像素值，根据所述每个像素点的R通道像素值计算第一平均值，根据所述每个像素点的G通道像素值计算第二平均值以及根据所述每个像素点的B通道像素值计算第三平均值，根据所述第一平均值、所述第二平均值和所述第三平均值计算待检测图片中存在偏色的第四分数。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

当所述待检测图片不为所述候选故障图片时，将所述待检测图片标记为正常图片并进行存储；

当所述候选故障图片二次检测为正常图片时，将所述候选故障图片标记为正常图片并进行存储；

当所述候选故障图片二次检测为故障图片时，将所述候选故障图片标记为故障图片并进行存储；或者，当所述候选故障图片二次检测为故障图片时，发起人工确认流程，在人工确认结果为正常图片时，将所述候选故障图片标记为正常图片并进行存储；在人工确认结果为故障图片时，将所述候选故障图片标记为故障图片并进行存储。

3.如权利要求2所述的方法，其特征在于，所述方法还包括：

当存储数据中标记为故障图片的数量超过设定阈值时，将存储的第一数量的故障图片和第二数量的正常图片作为训练样本，所述训练样本用于对第一深度学习网络进行训练得到第二深度学习网络。

4.如权利要求2所述的方法，其特征在于，所述方法还包括：

当来自待检测摄像机的待检测图片中，被标记为故障图片的数量超过第一设定阈值时，确定所述待检测摄像机故障，并确定以及输出所述待检测摄像机的故障类型。

5.如权利要求4所述的方法，其特征在于，所述对M个待检测图片中的每个待检测图片进行模糊检测、亮度异常检测、雪花点检测和偏色检测中的至少一种，得到至少一种图片故障的分数之前，还包括：

在所述待检测摄像机为模拟摄像机时，从所述待检测摄像机拍摄的视频中选择M个模拟图片，将所述M个模拟图片转换成数字图片，得到所述M个待检测图片；

在所述待检测摄像机为数字摄像机时，对所述待检测摄像机拍摄的视频码流进行解码得到视频，从所述视频中选择M个数字图片，得到所述M个待检测图片。

6.一种图片故障诊断装置，其特征在于，所述装置包括：

第一检测模块，用于对M个待检测图片中的每个待检测图片进行模糊检测、亮度异常检测、雪花点检测和偏色检测中的至少一种，得到至少一种图片故障的分数，在所述至少一种图片故障的分数中存在位于预设分数范围内的分数且每种图片故障的分数均未超过所述预设分数范围的上限值时，将所述待检测图片确定为候选故障图片，得到N个候选故障图片，M为大于0的整数，N为大于0且小于或等于M的整数；

第二检测模块，用于将所述N个候选故障图片依次输入第一深度学习网络进行二次检测，得到所述候选故障图片的检测结果，所述检测结果为所述候选故障图片为故障图片或者为正常图片，所述第一深度学习网络用于检测输入的所述候选故障图片是否为故障图片；

所述第一检测模块，用于对于所述模糊检测，对所述待检测图片进行分块得到多个图像块，计算所述多个图像块中的每个图像块的梯度绝对值，根据所述每个图像块的梯度绝对值计算待检测图片中存在模糊的第一分数；

所述第一检测模块，用于对于所述亮度异常检测，从所述待检测图片中读取所述待检测图片中的每个像素点的亮度值，根据所述每个像素点的亮度值计算平均亮度，根据所述平均亮度计算待检测图片中存在亮度异常的第二分数；

所述第一检测模块，用于对于所述雪花点检测，获取所述待检测图片中的每个图片，对所述每个图片进行频域检测得到所述每个图片的频域值，根据所述每个图片的频域值计算待检测图片中存在雪花点的第三分数；

所述第一检测模块，用于对于所述偏色检测，读取所述待检测图片中的每个像素点的R通道像素值、G通道像素值和B通道像素值，根据所述每个像素点的R通道像素值计算第一平均值，根据所述每个像素点的G通道像素值计算第二平均值以及根据所述每个像素点的B通道像素值计算第三平均值，根据所述第一平均值、所述第二平均值和所述第三平均值计算待检测图片中存在偏色的第四分数。

7.如权利要求6所述的装置，其特征在于，所述装置还包括：

存储模块，用于当所述待检测图片不为所述候选故障图片时，将所述待检测图片标记为正常图片并进行存储；并用于当所述候选故障图片二次检测为正常图片时，将所述候选故障图片标记为正常图片并进行存储；还用于当所述候选故障图片二次检测为故障图片时，将所述候选故障图片标记为故障图片并进行存储；或者，当所述候选故障图片二次检测为故障图片时，发起人工确认流程，在人工确认结果为正常图片时，将所述候选故障图片标记为正常图片并进行存储；在人工确认结果为故障图片时，将所述候选故障图片标记为故障图片并进行存储。

8.如权利要求7所述的装置，其特征在于，所述装置还包括：

训练模块，用于当存储数据中标记为故障图片的数量超过设定阈值时，将存储的第一数量的故障图片和第二数量的正常图片作为训练样本，所述训练样本用于对第一深度学习网络进行训练得到第二深度学习网络。

9.如权利要求7所述的装置，其特征在于，所述装置还包括：

确定模块，用于当来自待检测摄像机的待检测图片中，被标记为故障图片的数量超过第一设定阈值时，确定所述待检测摄像机故障，并确定以及输出所述待检测摄像机的故障类型。

10.如权利要求9所述的装置，其特征在于，所述装置还包括：

转换模块，用于在所述待检测摄像机为模拟摄像机时，从所述待检测摄像机拍摄的视频中选择M个模拟图片，将所述M个模拟图片转换成数字图片，得到所述M个待检测图片；在所述待检测摄像机为数字摄像机时，对所述待检测摄像机拍摄的视频码流进行解码得到视频，从所述视频中选择M个数字图片，得到所述M个待检测图片。

11.一种图片故障诊断系统，其特征在于，包括摄像机和图片故障诊断装置，所述图片故障诊断装置位于所述摄像机内，或者位于所述摄像机外部；

所述摄像机，用于拍摄得到M个待检测图片；

所述图片故障诊断装置，用于对M个待检测图片中的每个待检测图片进行模糊检测、亮度异常检测、雪花点检测和偏色检测中的至少一种，得到至少一种图片故障的分数；在所述至少一种图片故障的分数中存在位于预设分数范围内的分数且每种图片故障的分数均未超过所述预设分数范围的上限值时，将所述待检测图片确定为候选故障图片，得到N个候选故障图片，M为大于0的整数，N为大于0且小于或等于M的整数；

所述图片故障诊断装置，还用于将所述N个候选故障图片依次输入第一深度学习网络进行二次检测，得到所述候选故障图片的检测结果，所述检测结果为所述候选故障图片为故障图片或者为正常图片，所述第一深度学习网络用于检测输入的所述候选故障图片是否为故障图片；

所述图片故障诊断装置，用于对于所述模糊检测，对所述待检测图片进行分块得到多个图像块，计算所述多个图像块中的每个图像块的梯度绝对值，根据所述每个图像块的梯度绝对值计算待检测图片中存在模糊的第一分数；

所述图片故障诊断装置，用于对于所述亮度异常检测，从所述待检测图片中读取所述待检测图片中的每个像素点的亮度值，根据所述每个像素点的亮度值计算平均亮度，根据所述平均亮度计算待检测图片中存在亮度异常的第二分数；

所述图片故障诊断装置，用于对于所述雪花点检测，获取所述待检测图片中的每个图片，对所述每个图片进行频域检测得到所述每个图片的频域值，根据所述每个图片的频域值计算待检测图片中存在雪花点的第三分数；

所述图片故障诊断装置，用于对于所述偏色检测，读取所述待检测图片中的每个像素点的R通道像素值、G通道像素值和B通道像素值，根据所述每个像素点的R通道像素值计算第一平均值，根据所述每个像素点的G通道像素值计算第二平均值以及根据所述每个像素点的B通道像素值计算第三平均值，根据所述第一平均值、所述第二平均值和所述第三平均值计算待检测图片中存在偏色的第四分数。

Images