CN111640112A - 图像检测方法、系统、平台、设备及介质、图像处理装置 - Google Patents

Abstract

本发明提供的一种基于图像的缺陷检测方法、系统、平台、设备及介质和图像处理装置，通过图像处理装置获取包含有目标对象的多帧图像；以及通过图像处理装置按照预设抽帧频率从多帧图像中抽取一帧或多帧图像，并对所抽取的一帧或多帧图像进行缺陷检测，确定目标对象是否存在缺陷。本发明能够从多帧图像(例如视频流)中按照预设抽帧频率抽取单帧或多帧图像进行缺陷检测，检测目标对象是否存在缺陷。若目标对象是工业设备，则本发明能够对工业设备进行缺陷检测。通过对工业设备进行缺陷检测，可以及时了解工业设备的状态，更好地估计工业设备的剩余使用寿命，方便及时进行维护与更换，减少突发事件的发生。

Description

图像检测方法、系统、平台、设备及介质、图像处理装置

技术领域

本发明涉及图像检测技术领域，特别是涉及一种基于图像的缺陷检测方法、系统、平台、设备及介质和一种图像处理装置。

背景技术

工业设备缺陷检测是在工业场景中对相关设备的状态进行检测，进行工业设备缺陷检测的传统方法一般是由工作人员进行巡检，定期查看工业设备的运行状况。但是这种方法通常需要投入比较多的人力，并且需要对工作人员进行培训，长期重复的工作也会导致错误率的增加，难以保证准确率。因此需要基于摄像头的检测装置来代替人工的巡检。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于图像的缺陷检测方法、系统、平台、设备及介质和一种图像处理装置，用于解决现有技术中存在的问题。

为实现上述目的及其他相关目的，本发明提供一种基于图像的缺陷检测方法，包括：

通过图像处理装置获取包含有目标对象的多帧图像；以及，

通过所述图像处理装置按照预设抽帧频率从所述多帧图像中抽取一帧或多帧图像，并对所抽取的一帧或多帧图像进行缺陷检测，确定所述目标对象是否存在缺陷。

可选地，通过图像处理装置获取已经建设的一个或多个图像拍摄装置拍摄的包含有目标对象的多帧图像。

可选地，还包括获取目标对象在多个拍摄视角下的缺陷信息；

获取所有缺陷检测结果，通过所述图像处理装置按照预设通信方式将所有缺陷检测结果发送至所述本地控制器；

通过所述本地控制器通过关联根据同组图像拍摄装置拍摄的包含有目标对象的图像检测出的缺陷结果，获取该同组图像拍摄装置拍摄的目标对象在多个拍摄视角下的缺陷信息；

其中，所述本地控制器、所述目标对象、所述同组图像拍摄装置位于同一目标区域。

可选地，还包括验证所述图像处理装置检测出的缺陷结果：

所述本地控制器按照预设通信方式将图像处理装置抽取的一帧或多帧图像传输给后台服务器；

所述后台服务器关联接收到的一帧或多帧图像，并对关联后的图像进行缺陷检测；

根据后台服务器检测出的缺陷结果验证所述图像处理装置检测出的缺陷结果，确定所述目标对象是否存在缺陷。

可选地，根据后台服务器检测出的缺陷结果验证所述图像处理装置检测出的缺陷结果，包括：

所述本地控制器按照预设通信方式将所述图像处理装置检测出的缺陷结果和/或所述本地控制器关联后的缺陷结果传输给后台服务器；

通过所述后台服务器验证所述图像处理装置检测出的缺陷结果和/或所述本地控制器关联后的缺陷结果与所述后台服务器检测出的缺陷结果是否一致；

获取验证结果，根据所述验证结果确定所述目标对象是否存在缺陷。

可选地，若所述服务器检测出的缺陷结果与所述图像拍摄装置检测出的缺陷结果一致，则确定所述目标对象存在缺陷，发出对应的预警信息；

若所述服务器检测出的缺陷结果与所述图像拍摄装置检测出的缺陷结果不一致，则再由人工确定所述目标对象是否存在缺陷。

可选地，还包括：

获取验证结果，根据所述验证结果对所述本地控制器传输的一帧或多帧图像进行分类；

将分类后的图像加入至训练集中；

根据所述训练集优化所述图像处理装置、所述本地控制器、所述服务器中至少之一的算法模型。

可选地，所述目标对象包括工业设备。

可选地，通过图像处理装置获取包含有目标对象的多帧图像，包括：

通过图像处理装置获取不同视觉条件下的包含有目标对象的多帧图像；

其中，视觉条件包括以下至少之一：拍摄装置、拍摄时间、拍摄光照、拍摄天气、拍摄角度、拍摄场景、拍摄区域。

可选地，所述多帧图像中的任一帧图像均包括图像信息；所述图像信息包括以下至少之一：图像像素、图像特征向量、图像角度。

可选地，若所述视觉条件为拍摄装置，则有：

获取多个不同拍摄装置拍摄的包含有目标对象的可见光图像、以及与所述可见光图像对应的包含有目标对象的红外光图像；

提取出所有可见光图像的图像像素、所有红外光图像的图像像素；

以其中一个图像为基准，建立变换模型；其余图像根据所述变换模型进行变换，对齐所有图像的图像像素；

通过稀疏矩阵和低秩矩阵关联图像像素对齐后的图像；

基于目标检测算法对关联后的图像中的目标对象进行缺陷检测。

可选地，若所述视觉条件为拍摄时间，则有：

获取在多个拍摄时间下拍摄的包含有目标对象的图像；

提取出每个拍摄时间下的图像中的图像特征向量；

对每个图像特征向量赋予权重，并加权所有图像特征向量，完成所有拍摄时间的图像关联；

对加权后的图像特征向量进行分类和回归，检测所述目标对象的缺陷类型、缺陷位置。

可选地，若所述视觉条件为拍摄视角，则有：

获取在多个拍摄角度下拍摄的包含有目标对象的图像；

对每个拍摄角度下的图像进行缺陷检测，获取所有图像的缺陷检测结果；

根据所述目标对象对应的缺陷类别关联所有的缺陷检测结果，完成所有拍摄角度的图像关联；

基于目标检测算法对关联后的缺陷检测结果进行去重复，检测所述目标对象的缺陷类型、缺陷位置。

本发明还提供一种基于图像的缺陷检测系统，包括有：

采集模块，用于通过图像处理装置获取包含有目标对象的多帧图像；

检测模块，用于通过所述图像处理装置按照预设抽帧频率从所述多帧图像中抽取一帧或多帧图像，并对所抽取的一帧或多帧图像进行缺陷检测，确定所述目标对象是否存在缺陷。

可选地，所述采集模块通过图像处理装置获取已经建设的一个或多个图像拍摄装置拍摄的包含有目标对象的多帧图像。

可选地，还包括获取目标对象在多个拍摄视角下的缺陷信息；

获取所有缺陷检测结果，通过所述图像处理装置按照预设通信方式将所有缺陷检测结果发送至所述本地控制器；

通过所述本地控制器通过关联根据同组图像拍摄装置拍摄的包含有目标对象的图像检测出的缺陷结果，获取该同组图像拍摄装置拍摄的目标对象在多个拍摄视角下的缺陷信息；

其中，所述本地控制器、所述目标对象、所述同组图像拍摄装置位于同一目标区域。

可选地，还包括验证所述图像处理装置检测出的缺陷结果：

所述本地控制器按照预设通信方式将图像处理装置抽取的一帧或多帧图像传输给后台服务器；

所述后台服务器关联接收到的一帧或多帧图像，并对关联后的图像进行缺陷检测；

根据后台服务器检测出的缺陷结果验证所述图像处理装置检测出的缺陷结果，确定所述目标对象是否存在缺陷。

可选地，根据后台服务器检测出的缺陷结果验证所述图像处理装置检测出的缺陷结果，包括：

所述本地控制器按照预设通信方式将所述图像处理装置检测出的缺陷结果和/或所述本地控制器关联后的缺陷结果传输给后台服务器；

通过所述后台服务器验证所述图像处理装置检测出的缺陷结果和/或所述本地控制器关联后的缺陷结果与所述后台服务器检测出的缺陷结果是否一致；

获取验证结果，根据所述验证结果确定所述目标对象是否存在缺陷。

可选地，若所述服务器检测出的缺陷结果与所述图像拍摄装置检测出的缺陷结果一致，则确定所述目标对象存在缺陷，发出对应的预警信息；

若所述服务器检测出的缺陷结果与所述图像拍摄装置检测出的缺陷结果不一致，则再由人工确定所述目标对象是否存在缺陷。

可选地，还包括：

获取验证结果，根据所述验证结果对所述本地控制器传输的一帧或多帧图像进行分类；

将分类后的图像加入至训练集中；

根据所述训练集来优化所述图像处理装置、所述本地控制器、所述服务器中至少之一的算法模型。

可选地，所述目标对象包括工业设备。

可选地，通过图像处理装置获取包含有目标对象的多帧图像，包括：

通过图像处理装置获取不同视觉条件下的包含有目标对象的多帧图像；

其中，视觉条件包括以下至少之一：拍摄装置、拍摄时间、拍摄光照、拍摄天气、拍摄角度、拍摄场景、拍摄区域。

可选地，所述多帧图像中的任一帧图像均包括图像信息；所述图像信息包括以下至少之一：图像像素、图像特征向量、图像角度。

可选地，若所述视觉条件为拍摄装置，则有：

获取多个不同拍摄装置拍摄的包含有目标对象的可见光图像、以及与所述可见光图像对应的包含有目标对象的红外光图像；

提取出所有可见光图像的图像像素、所有红外光图像的图像像素；

以其中一个图像为基准，建立变换模型；其余图像根据所述变换模型进行变换，对齐所有图像的图像像素；

通过稀疏矩阵和低秩矩阵关联图像像素对齐后的图像；

基于目标检测算法对关联后的图像中的目标对象进行缺陷检测。

可选地，若所述视觉条件为拍摄时间，则有：

获取在多个拍摄时间下拍摄的包含有目标对象的图像；

提取出每个拍摄时间下的图像中的图像特征向量；

对每个图像特征向量赋予权重，并加权所有图像特征向量，完成所有拍摄时间的图像关联；

对加权后的图像特征向量进行分类和回归，检测所述目标对象的缺陷类型、缺陷位置。

可选地，若所述视觉条件为拍摄视角，则有：

获取在多个拍摄角度下拍摄的包含有目标对象的图像；

对每个拍摄角度下的图像进行缺陷检测，获取所有图像的缺陷检测结果；

根据所述目标对象对应的缺陷类别关联所有的缺陷检测结果，完成所有拍摄角度的图像关联；

基于目标检测算法对关联后的缺陷检测结果进行去重复，检测所述目标对象的缺陷类型、缺陷位置。

本发明还提供一种图像处理装置，应用于上述中任意一项所述的方法，所述图像处理装置能够通过网页进行访问。

可选地，通过网页访问所述图像处理装置，对接已经建设的一个或多个图像拍摄装置。

可选地，通过网页访问所述图像处理装置，实时查看所述一个或多个图像拍摄装置拍摄的图像画面，和/或实时查看发出的预警信息。

可选地，通过网页访问所述图像处理装置，配置所述图像处理装置的应用程序编程接口标识。

本发明还提供一种基于图像的缺陷检测平台，包括：平台本体，所述平台本体包括一个或多个应用程序编程接口；

上述中的任一图像处理装置通过所述一个或多个应用程序编程接口对接所述平台本体。

本发明还提供一种基于图像的缺陷检测设备，包括有：

通过图像处理装置获取包含有目标对象的多帧图像；以及，

通过所述图像处理装置按照预设抽帧频率从所述多帧图像中抽取一帧或多帧图像，并对所抽取的一帧或多帧图像进行缺陷检测，确定所述目标对象是否存在缺陷。

本发明还提供一种设备，包括：

一个或多个处理器；和

存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行所述指令时，使得所述设备执行如上述中任意一项所述的方法。

本发明还提供一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行所述指令时，使得设备执行如上述中任意一项所述的方法。

如上，本发明提供的一种基于图像的缺陷检测方法、系统、平台、设备及介质，具有以下有益效果：通过图像处理装置获取包含有目标对象的多帧图像；以及通过图像处理装置按照预设抽帧频率从所述多帧图像中抽取一帧或多帧图像，并对所抽取的一帧或多帧图像进行缺陷检测，确定目标对象是否存在缺陷。本发明能够从多帧图像(例如视频流)中按照预设抽帧频率抽取单帧或多帧图像进行缺陷检测，检测目标对象是否存在缺陷。若目标对象是工业设备，则本发明能够对工业设备进行缺陷检测。通过对工业设备进行缺陷检测，可以及时了解工业设备的状态，尽早发现潜在的生产安全问题，以便及时解决和应对这些安全问题。同时，通过对工业设备进行缺陷检测，可以更好地估计工业设备的剩余使用寿命，方便及时进行维护与更换，减少突发事件的发生。

附图说明

图1为一实施例提供的基于图像的缺陷检测方法的流程示意图；

图2为一实施例提供的基于不同拍摄装置进行缺陷检测的流程示意图；

图3为一实施例提供的基于不同拍摄时间进行缺陷检测的流程示意图；

图4为一实施例提供的基于不同拍摄角度进行缺陷检测的流程示意图；

图5为一实施例提供的基于图像的缺陷检测系统的硬件结构示意图；

图6为一实施例提供的终端设备的硬件结构示意图；

图7为另一实施例提供的终端设备的硬件结构示意图。

元件标号说明

M10 采集模块

M20 检测模块

1100 输入设备

1101 第一处理器

1102 输出设备

1103 第一存储器

1104 通信总线

1200 处理组件

1201 第二处理器

1202 第二存储器

1203 通信组件

1204 电源组件

1205 多媒体组件

1206 语音组件

1207 输入/输出接口

1208 传感器组件

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

RPCA：Robust principal component analysis，稳健主成分分。

NMS：Non Maximum Suppression，非极大值抑制。

缺陷检测：是指对物品或设备进行缺陷或故障检测。

同组图像拍摄装置：是指拍摄同一场景或同一目标对象的图像拍摄装置。

工业设备缺陷：是指工业设备表面的斑点、凹坑、划痕、色差、缺损等缺陷。

请参阅图1，本发明提供一种基于图像的缺陷检测方法，包括：

S100，通过图像处理装置获取包含有目标对象的多帧图像；

S200，通过所述图像处理装置按照预设抽帧频率从所述多帧图像中抽取一帧或多帧图像，并对所抽取的一帧或多帧图像进行缺陷检测，确定所述目标对象是否存在缺陷。

本方法通过图像处理装置获取包含有目标对象的多帧图像；以及通过图像处理装置按照预设抽帧频率从所述多帧图像中抽取一帧或多帧图像，并对所抽取的一帧或多帧图像进行缺陷检测，确定目标对象是否存在缺陷。本方法能够从多帧图像(例如视频流)中按照预设抽帧频率抽取单帧或多帧图像进行缺陷检测，检测目标对象是否存在缺陷。若目标对象是工业设备，则本方法能够对工业设备进行缺陷检测。通过对工业设备进行缺陷检测，可以及时了解工业设备的状态，尽早发现潜在的生产安全问题，以便及时解决和应对这些安全问题。同时，通过对工业设备进行缺陷检测，可以更好地估计工业设备的剩余使用寿命，方便及时进行维护与更换，减少突发事件的发生。

在一示例性实施例中，复用已经建设的一个或多个图像拍摄装置来拍摄包含有目标对象的多帧图像，并通过图像处理装置来获取对应的多帧图像。作为示例，本申请实施例中的图像拍摄装置可以是已经建设的视频监控系统中的网络摄像机；通过复用已经建设的视频监控系统中的网络摄像机，免去弱电线路改造和消防审批，实施简单便捷，无技术门槛。通过网络摄像机拍摄的图像可以是单帧图像，也可以是连续多帧图像(例如视频流)。本申请实施例中，网络摄像机能够拍摄8路1080P@30FPS的视频流；并且还兼容H.264/H.265视频编码格式，最大视频码率为200Mbps，最大分辨率为3840*2160。其中，1080P@30FPS的视频流表示分辨率为1920*1080、拍摄像素200万、刷新率为30FPS的视频流。本申请实施例中的图像拍摄装置还可以是抓拍摄像头或抓拍摄像机。实际拍摄过程中，抓拍摄像机或抓拍摄像头放置灵活，只要能在抓拍摄像机或抓拍摄像头的视野内看到工业设备缺陷位置即可；一般情况下，抓拍摄像机或抓拍摄像头的架设角度与地面垂直夹角在30°至80°范围。通过抓拍摄像头或抓拍摄像机拍摄的图像可以是单帧图像，也可以是多帧图像。

在一示例性实施例中，获取图像处理装置生成的所有缺陷检测结果，图像处理装置按照与本地控制器之间预设的通信方式将所有缺陷检测结果发送至本地控制器；通过本地控制器来关联根据同组图像拍摄装置拍摄的图像检测出的缺陷结果，获取该同组图像拍摄装置拍摄的目标对象在多个拍摄视角下的缺陷信息。其中，本地控制器、目标对象、同组图像拍摄装置位于同一目标区域；同组图像拍摄装置是指拍摄同一场景或同一目标对象的图像拍摄装置。对于同一场景的不同视角的图像拍摄装置，不区分是网络摄像机、抓拍摄像机或抓拍摄像头，只要监控的是同一场景或者同一个目标对象就确定位同组图像拍摄装置。本申请实施例中，通过路由器来设定通信方式。

作为示例，在本申请实施例中，通过多个图像拍摄装置连接形成同组图像拍摄装置，不同的图像拍摄装置对某一工业设备进行不同视角的拍摄。然后通过图像处理装置获取同组图像拍摄装置中的所有图像拍摄装置拍摄的多帧图像，并按照预设抽帧频率从这多帧图像中抽取一帧或多帧图像。再通过图像处理装置对抽取的这一帧或多帧图像进行缺陷检测，生成缺陷检测结果。然后图像处理装置通过路由器将生成的缺陷检测结果发送给本地控制器，本地控制器关联根据同组图像拍摄装置拍摄的图像检测出的缺陷结果，从而可以获得该工业设备在多个拍摄视角下的缺陷信息。通过获取工业设备在多个拍摄视角下的缺陷信息，能够更加准确地确定工业设备是否存在缺陷。例如，同组网络摄像机拍摄同一个变压器，若根据其中一个网络摄像机生成的缺陷结果是变压器漏油，根据另外一个网络摄像机生成的缺陷结果是变压器燃烧了。通过本地控制器关联该变压器的两个缺陷检测结果，说明该变压器存在缺陷。并且本申请实施例中的工业设备、本地控制器、图像拍摄装置均位于同一地点，仅通过局域网就能够实现对工业设备的缺陷检测，不需要连接外部通信网络。其中，本地控制器可以为本地计算芯片。

在一些示例性实施例中，通过图像处理装置对抽取的一帧或多帧图像进行缺陷检测时，可能会存在识别误差，精度达不到预设要求；所以还需要对图像处理装置检测到的缺陷结果进行验证。作为示例，本申请实施例通过后台服务器来对图像处理装置检测的缺陷结果进行验证。具体地，本地控制器通过路由器将图像处理装置抽取的一帧或多帧图像传输给后台服务器；后台服务器关联接收到的一帧或多帧图像，并对关联后的图像进行缺陷检测，生成后台服务器的缺陷检测结果。同时，本地控制器通过路由器将图像处理装置检测出的缺陷结果和/或本地控制器关联后的缺陷结果传输给后台服务器；通过后台服务器验证图像处理装置检测出的缺陷结果与后台服务器检测出的缺陷结果是否一致，和/或关通过后台服务器验证经过本地控制器关联后的缺陷结果与后台服务器检测出的缺陷结果是否一致；获取验证结果，并根据验证结果确定目标对象是否存在缺陷。

其中，若服务器检测出的缺陷结果与图像拍摄装置检测出的缺陷结果一致，则确定目标对象存在缺陷，发出对应的预警信息；若服务器检测出的缺陷结果与图像拍摄装置检测出的缺陷结果不一致，则再由人工确定目标对象是否存在缺陷。具体地，若验证出服务器检测出的缺陷结果与图像处理装置检测出的缺陷结果一致，则确定工业设备存在缺陷，并发出对应的预警信息。例如，若验证出根据服务器中的算法检测出的缺陷结果与根据图像拍摄装置中的算法检测出的缺陷结果一致，则认为图像处理装置检测出的工业设备确是存在缺陷，并同时发出缺陷预警信息。若验证出服务器检测的缺陷结果与图像拍摄装置检测的缺陷结果不一致，则再由人工确定工业设备是否存在缺陷。例如，若验证出根据服务器中的算法检测出的缺陷结果与根据图像处理装置中的算法检测出的缺陷结果不一致，则转为人工处理，再由工作人员对工业设备进行缺陷判断。通过后台服务器对工业设备的缺陷结果进行验证，可以让工业设备的缺陷识别准确率达到80％以上，极大的减小了误判率。

作为示例，图像处理装置从网络摄像机中按照预设抽帧频率抽取出包含有工业设备的多帧图像，并通过图像处理装置对抽取出的多帧图像进行缺陷检测，生成图像处理装置的缺陷检测结果。本地控制器关联根据同组网络摄像机拍摄的图像检测出的缺陷结果，并将图像处理装置抽取的多帧图像、图像处理装置检测的缺陷结果、本地控制器关联后的缺陷结果通过路由器上传至后台服务器。同时，后台服务器对抽取的多帧图像进行缺陷检测，生成后台服务器的缺陷检测结果。再通过台服务器生成的缺陷检测结果来验证图像处理装置检测的缺陷结果和/或本地控制器关联的缺陷结果，判断缺陷检测结果是否一致。例如图像处理装置根据抽取的多帧图像检测出某个变压器出现漏油，本地控制器将抽取的多帧图像和未关联的缺陷结果通过路由器传输给后台服务器。后台服务器根据抽取的多帧图像检测出该变压器出现漏油，则认为该变压器存在漏油缺陷，发出对应的预警信息。若服务器根据抽取的多帧图像检测出该变压器未出现漏油，则转为人工进行处理，由工作人员再次进行判断，判断给变压器是否出现缺陷。本方法中的抽帧频率可以按照实际情况进行设定，本方法不对抽帧频率进行数值限制。

根据上述描述，在一示例性实施例中，还包括获取验证结果，根据验证结果对本地控制器上传的一帧或多帧图像进行分类；并将分类后的图像加入至训练集中；根据训练集优化图像处理装置、本地控制器、服务器中的算法模型。作为示例，例如将检测出工业设备有缺陷的图像加入至训练集中作为训练样本数据，根据该训练集来优化图像处理装置、本地控制器、服务器中的算法模型。作为另一示例，例如将图像处理装置和后台服务器检测出工业设备均没有缺陷，但是后台服务器中算法模型得到的置信度高于一定阈值的图像加入训练集中作为训练样本数据，根据该训练集来优化图像处理装置、本地控制器、服务器中的算法模型。

在一些示例性实施例中，通过图像处理装置获取包含有目标对象的多帧图像，包括：通过图像处理装置获取不同视觉条件下的包含有目标对象的多帧图像。并且，在获取不同视觉条件下的多帧图像后，还对图像进行关联，并基于关联后的图像对目标对象进行缺陷检测。本申请实施例通过获取在不同视觉条件下拍摄的包含有目标对象的多个图像；再对多个图像进行关联，并基于关联后的图像对目标对象进行缺陷检测。与现有技术中仅通过单个视觉条件下的图像对目标对象进行缺陷检测相比，本申请实施例通过获取不同视觉条件下拍摄的图像，能够获得目标对象在不同维度下的图像信息；而且本方法还对这些图像进行关联，使本方法能够将不同维度的图像信息进行融合，充分地利用了图像信息之间的相关性和互补性，从而让对目标对象进行缺陷检测的图像信息更加完备，保证了对目标对象进行缺陷检测时的准确率。若将本申请实施例应用在电力系统方面，则本申请实施能够进行的缺陷检测包括：对输变电设备进行工作状态或运行状态检测、对输变电设备中的绝缘子进行破损检测、对输变电设备中的金属件进行锈蚀检测、对输变电设备中的箱门进行闭合异常检测。

在一些示例性实施例中，本方法中的视觉条件包括以下至少之一：拍摄装置、拍摄时间、拍摄光照、拍摄天气、拍摄角度、拍摄场景、拍摄区域。其中，相同的视觉条件认为是一个视觉条件。作为一个示例，若视觉条件为拍摄装置时，如果采用相同的拍摄装置拍摄同一目标对象，则认为是在一个视觉条件下拍摄这一目标对象；如果采用不同的拍摄装置拍摄同一目标对象，则认为是在不同视觉条件下拍摄这一目标对象。作为另一个示例，若视觉条件为拍摄时间时，如果在同一时刻拍摄同一目标对象，则认为是在同一拍摄时间拍摄这一目标对象，即认为是在一个视觉条件下拍摄这一目标对象；如果在不同拍摄时刻拍摄同一目标对象，则认为是在不同拍摄时间拍摄这一目标对象，即认为是在不同视觉条件下拍摄这一目标对象。作为另一个示例，若视觉条件为拍摄角度时，如果以同一拍摄角度拍摄同一目标对象，则认为是在一个视觉条件下拍摄这一目标对象；如果以不同拍摄角度拍摄同一目标对象，则认为是在不同视觉条件下拍摄这一目标对象。其中，每个图像都包括有图像信息。本申请实施例中的图像信息包括以下至少之一：图像像素、图像特征向量、图像角度。

由于可见光和红外光属于不同光谱段，目标对象的一些缺陷在可见光图像上很难发现，但是在红外光图像上却有明显的像素梯度，容易被发现。如果分别利用可见光摄像头来拍摄目标对象的可见光图像、红外光摄像头来拍摄目标对象的红外光图像，再对可见光图像、红外光图像来进行图像互补，从而可以融合目标对象在可见光图像、红外光图像中的全部缺陷信息，则在对目标对象进行缺陷检测时，能够提高缺陷检测的准确率。

在一示例性实施例中，若视觉条件为拍摄装置，则有：

获取多个不同拍摄装置拍摄的包含有目标对象的可见光图像、以及与可见光图像对应的包含有目标对象的红外光图像；

提取出所有可见光图像的图像像素、所有红外光图像的图像像素；

以其中一个图像为基准，建立变换模型；其余图像根据变换模型进行变换，对齐所有图像的图像像素；

通过稀疏矩阵和低秩矩阵关联图像像素对齐后的图像；

基于目标检测算法对关联后的图像中的目标对象进行缺陷检测。

具体地，如图2所示，获取同一区域中可见光摄像头拍摄的包含有目标对象的可见光图像、以及红外光摄像头拍摄的与可见光图像对应的包含有目标对象的红外光图像；

分别对可见光图像、红外光图像进行预处理，所述预处理包括：图像去噪、图像增强。

同一区域不同光谱段的图像是对应的，但是由于硬件等原因，通常两幅图像的像素不是一一对应的，需要进行配准对齐。即提取出所有可见光图像的图像像素、所有红外光图像的图像像素；以其中一个图像为基准，建立变换模型；其余图像根据变换模型进行变换，对齐所有图像的图像像素。

利用RPCA(Robust principal component analysis，稳健主成分分析，简称RPCA)分解模型获取多源图像的稀疏矩阵和低秩矩阵。通过分析稀疏矩阵和低秩矩阵的特点，采用基于变换的算法融合两幅图像的低秩矩阵以及基于区域能量的融合规则融合稀疏矩阵来关联图像像素对齐后的图像，实现可见光图像、红外光图像之间的互补，达到图像融合的目的。

再基于目标检测算法来对关联后的图像中的目标对象进行缺陷检测，例如对输变电设备中的绝缘子进行破损检测、对输变电设备中的金属件进行锈蚀检测、对输变电设备中的箱门进行闭合异常检测。其中，本申请实施例中的目标检测算法包括：Faster RCNN、Retina Net。本申请实施例中，Faster RCNN是一种典型的二阶段的目标检测算法，主要用来实现变电设备缺陷检测。Retina Net是一种典型的一阶段的目标检测算法，主要用来实现变电设备缺陷检测。

本申请实施例可以根据光谱段(即红外光和可见光)关联图像，完成的图像像素融合，并根据融合后的图像对输变电设备中的绝缘子进行破损检测、对输变电设备中的金属件进行锈蚀检测、对输变电设备中的箱门进行闭合异常检测。

由于不同时段的光照和天气等环境下获取的图像对最后的缺陷检测结果也有很大的影响，从某个场景下获取的图像可能因为环境的不利因素，很容易造成误检，而融合多时段图像可以很大程度上减少环境等因素的影响。

在一示例性实施例中，若视觉条件为拍摄时间，则有：

获取在多个拍摄时间下拍摄的包含有目标对象的图像；

提取出每个拍摄时间下的图像中的图像特征向量；

对每个图像特征向量赋予权重，并加权所有图像特征向量，完成所有拍摄时间的图像关联；

对加权后的图像特征向量进行分类和回归，检测目标对象的缺陷类型、缺陷位置。

具体地，如图3所示，获取图像拍摄装置对同一目标对象在不同时间下拍摄的图像，并对图像进行去噪、增强等预处理，获得高质量的拍摄图像。

通过缺陷检测模型提取出每个拍摄时间对应的图像中的图像特征向量。

采用均值方式对每个图像特征向量赋予权重，通过加权等方式融合所有的图像特征向量，完成所有拍摄时间的图像关联。

将融合后的所有图像特征向量输入至缺陷检测模型中进行分类和回归；检测目标对象的缺陷类型、缺陷位置。通过对图像特征向量进行分类，能够得到关于目标对象的缺陷类型；通过对图像特征向量进行回归，能够得到关于目标对象的缺陷位置。本申请实施例中的目标对象可以为输变电设备、输变电设备中的绝缘子、输变电设备中的金属件、输变电设备中的箱门。

本申请实施例通过融合多个拍摄时间的图像来进行缺陷检测，例如对输变电设备中的绝缘子进行破损检测、对输变电设备中的金属件进行锈蚀检测、对输变电设备中的箱门进行闭合异常检测；能够减少光照、天气等环境因素对缺陷检测带来的误检，提高缺陷检测的准确率。

由于变电设备缺陷位置的不同，单一视角往往很难发现某些特殊位置的缺陷，但是采用多视角巡检影像采集的方式就可以从多个角度拍摄到一些很难发现的缺陷位置，为后续的缺陷识别模型提供完备的图像信息。由于不同视角下获取的图像是一个互补关系，采用决策级的融合方式，可以很好的利用不同视觉拍摄的图像信息，达到综合判断的目的。

在一示例性实施例中，若视觉条件为拍摄视角，则有：

获取在多个拍摄角度下拍摄的包含有目标对象的图像；

对每个拍摄角度下的图像进行缺陷检测，获取所有图像的缺陷检测结果；

根据目标对象对应的缺陷类别关联所有的缺陷检测结果，完成所有拍摄角度的图像关联；

基于目标检测算法对关联后的缺陷检测结果进行去重复，检测目标对象的缺陷类型、缺陷位置。

如图4所示，具体地，获取图像拍摄装置对同一目标对象在多个拍摄角度下拍摄的图像；并对图像进行去噪、增强等预处理，获得高质量的拍摄图像。

通过缺陷识别模型对每个拍摄角度下拍摄的图像进行缺陷检测，获取所有图像的缺陷检测结果；

根据目标对象对应的缺陷类别关联所有的缺陷检测结果，完成所有拍摄角度的图像关联；

基于目标检测算法对关联后的缺陷检测结果进行去重复，去掉重复的缺陷检测结果，获得剩下的缺陷检测结果，并从中获取目标对象的缺陷类型、缺陷位置。本申请实施例中的目标检测算法为NMS(Non Maximum Suppression，非极大值抑制，简称NMS)算法。

本申请实施例通过融合多个拍摄角度的图像来进行缺陷检测，例如对输变电设备中的绝缘子进行破损检测、对输变电设备中的金属件进行锈蚀检测、对输变电设备中的箱门进行闭合异常检测；能够减少单一视角对缺陷检测带来的误检，提高缺陷检测的准确率。

本方法通过图像处理装置获取包含有目标对象的多帧图像；以及通过图像处理装置按照预设抽帧频率从所述多帧图像中抽取一帧或多帧图像，并对所抽取的一帧或多帧图像进行缺陷检测，确定目标对象是否存在缺陷。本方法能够从多帧图像(例如视频流)中按照预设抽帧频率抽取单帧或多帧图像进行缺陷检测，检测目标对象是否存在缺陷。若目标对象是工业设备，则本发明能够对工业设备进行缺陷检测。通过对工业设备进行缺陷检测，可以及时了解工业设备的状态，尽早发现潜在的生产安全问题，以便及时解决和应对这些安全问题。同时，通过对工业设备进行缺陷检测，可以更好地估计工业设备的剩余使用寿命，方便及时进行维护与更换，减少突发事件的发生。并且，本发明还可以通过获取在不同视觉条件下拍摄的包含有目标对象的多个图像；再对多个图像进行关联，并基于关联后的图像对目标对象进行缺陷检测。与现有技术中仅通过单个视觉条件下的图像对目标对象进行缺陷检测相比，本方法通过获取不同视觉条件下拍摄的图像，能够获得目标对象在不同维度下的图像信息；而且还对这些图像进行关联，使本方法能够将不同维度的图像信息进行融合，充分地利用了图像信息之间的相关性和互补性，从而让对目标对象进行缺陷检测的图像信息更加完备，保证了对目标对象进行缺陷检测时的准确率。若将本方法应用在电力系统方面，则本方法可以通过获取在不同拍摄装置、不同拍摄时间、不同拍摄角度等视觉条件下拍摄的包含有输变电设备的图像，然后对这些图像按照同一视觉条件进行分类和关联，再基于关联后的图像对输变电设备进行缺陷检测，例如检测输变电设备中的绝缘子是否破损、金属件是否锈蚀、箱门闭合是否异常。本方法能够分别融合不同拍摄装置、不同拍摄时间、不同拍摄角度的图像，使本方法能够基于多视觉对输变电设备进行缺陷检测，提高准确率。

如图5所示，本发明还提供一种基于图像的缺陷检测系统，包括：

采集模块M10，用于通过图像处理装置获取包含有目标对象的多帧图像；

检测模块M20，用于通过所述图像处理装置按照预设抽帧频率从所述多帧图像中抽取一帧或多帧图像，并对所抽取的一帧或多帧图像进行缺陷检测，确定所述目标对象是否存在缺陷。

本系统通过图像处理装置获取包含有目标对象的多帧图像；以及通过图像处理装置按照预设抽帧频率从所述多帧图像中抽取一帧或多帧图像，并对所抽取的一帧或多帧图像进行缺陷检测，确定目标对象是否存在缺陷。本系统能够从多帧图像(例如视频流)中按照预设抽帧频率抽取单帧或多帧图像进行缺陷检测，检测目标对象是否存在缺陷。若目标对象是工业设备，则本系统能够对工业设备进行缺陷检测。通过对工业设备进行缺陷检测，可以及时了解工业设备的状态，尽早发现潜在的生产安全问题，以便及时解决和应对这些安全问题。同时，通过对工业设备进行缺陷检测，可以更好地估计工业设备的剩余使用寿命，方便及时进行维护与更换，减少突发事件的发生。

在一示例性实施例中，复用已经建设的一个或多个图像拍摄装置来拍摄包含有目标对象的多帧图像，并通过图像处理装置来获取对应的多帧图像。作为示例，本申请实施例中的图像拍摄装置可以是已经建设的视频监控系统中的网络摄像机；通过复用已经建设的视频监控系统中的网络摄像机，免去弱电线路改造和消防审批，实施简单便捷，无技术门槛。通过网络摄像机拍摄的图像可以是单帧图像，也可以是连续多帧图像(例如视频流)。本申请实施例中，网络摄像机能够拍摄8路1080P@30FPS的视频流；并且还兼容H.264/H.265视频编码格式，最大视频码率为200Mbps，最大分辨率为3840*2160。其中，1080P@30FPS的视频流表示分辨率为1920*1080、拍摄像素200万、刷新率为30FPS的视频流。本申请实施例中的图像拍摄装置还可以是抓拍摄像头或抓拍摄像机。实际拍摄过程中，抓拍摄像机或抓拍摄像头放置灵活，只要能在抓拍摄像机或抓拍摄像头的视野内看到工业设备缺陷位置即可；一般情况下，抓拍摄像机或抓拍摄像头的架设角度与地面垂直夹角在30°至80°范围。通过抓拍摄像头或抓拍摄像机拍摄的图像可以是单帧图像，也可以是多帧图像。

在一示例性实施例中，获取图像处理装置生成的所有缺陷检测结果，图像处理装置按照与本地控制器之间预设的通信方式将所有缺陷检测结果发送至本地控制器；通过本地控制器来关联根据同组图像拍摄装置拍摄的图像检测出的缺陷结果，获取该同组图像拍摄装置拍摄的目标对象在多个拍摄视角下的缺陷信息。其中，本地控制器、目标对象、同组图像拍摄装置位于同一目标区域；同组图像拍摄装置是指拍摄同一场景或同一目标对象的图像拍摄装置。对于同一场景的不同视角的图像拍摄装置，不区分是网络摄像机、抓拍摄像机或抓拍摄像头，只要监控的是同一场景或者同一个目标对象就确定位同组图像拍摄装置。

作为示例，在本申请实施例中，通过多个图像拍摄装置连接形成同组图像拍摄装置，不同的图像拍摄装置对某一工业设备进行不同视角的拍摄。然后通过图像处理装置获取同组图像拍摄装置中的所有图像拍摄装置拍摄的多帧图像，并按照预设抽帧频率从这多帧图像中抽取一帧或多帧图像。再通过图像处理装置对抽取的这一帧或多帧图像进行缺陷检测，生成缺陷检测结果。然后图像处理装置按照与本地控制器之间的预设通信方式将生成的缺陷检测结果发送给本地控制器，本地控制器关联根据同组图像拍摄装置拍摄的图像检测出的缺陷结果，从而可以获得该工业设备在多个拍摄视角下的缺陷信息。通过获取工业设备在多个拍摄视角下的缺陷信息，能够更加准确地确定工业设备是否存在缺陷。例如，同组网络摄像机拍摄同一个变压器，若根据其中一个网络摄像机生成的缺陷结果是变压器漏油，根据另外一个网络摄像机生成的缺陷结果是变压器燃烧了。通过本地控制器关联该变压器的两个缺陷检测结果，说明该变压器存在缺陷。并且本申请实施例中的工业设备、本地控制器、图像拍摄装置均位于同一地点，仅通过局域网就能够实现对工业设备的缺陷检测，不需要连接外部通信网络。其中，本地控制器可以为本地计算芯片。

在一些示例性实施例中，通过图像处理装置对抽取的一帧或多帧图像进行缺陷检测时，可能会存在识别误差，精度达不到预设要求；所以还需要对图像处理装置检测到的缺陷结果进行验证。作为示例，本申请实施例通过后台服务器来对图像处理装置检测的缺陷结果进行验证。具体地，本地控制器通过路由器将图像处理装置抽取的一帧或多帧图像传输给后台服务器；后台服务器关联接收到的一帧或多帧图像，并对关联后的图像进行缺陷检测，生成后台服务器的缺陷检测结果。同时，本地控制器通过路由器将图像处理装置检测出的缺陷结果和/或本地控制器关联后的缺陷结果传输给后台服务器；通过后台服务器验证图像处理装置检测出的缺陷结果与后台服务器检测出的缺陷结果是否一致，和/或关通过后台服务器验证经过本地控制器关联后的缺陷结果与后台服务器检测出的缺陷结果是否一致；获取验证结果，并根据验证结果确定目标对象是否存在缺陷。

其中，若服务器检测出的缺陷结果与图像拍摄装置检测出的缺陷结果一致，则确定目标对象存在缺陷，发出对应的预警信息；若服务器检测出的缺陷结果与图像拍摄装置检测出的缺陷结果不一致，则再由人工确定目标对象是否存在缺陷。具体地，若验证出服务器检测出的缺陷结果与图像处理装置检测出的缺陷结果一致，则确定工业设备存在缺陷，并发出对应的预警信息。例如，若验证出根据服务器中的算法检测出的缺陷结果与根据图像拍摄装置中的算法检测出的缺陷结果一致，则认为图像处理装置检测出的工业设备确是存在缺陷，并同时发出缺陷预警信息。若验证出服务器检测的缺陷结果与图像拍摄装置检测的缺陷结果不一致，则再由人工确定工业设备是否存在缺陷。例如，若验证出根据服务器中的算法检测出的缺陷结果与根据图像处理装置中的算法检测出的缺陷结果不一致，则转为人工处理，再由工作人员对工业设备进行缺陷判断。通过后台服务器对工业设备的缺陷结果进行验证，可以让工业设备的缺陷识别准确率达到80％以上，极大的减小了误判率。

作为示例，图像处理装置从网络摄像机中按照预设抽帧频率抽取出包含有工业设备的多帧图像，并通过图像处理装置对抽取出的多帧图像进行缺陷检测，生成图像处理装置的缺陷检测结果。本地控制器关联根据同组网络摄像机拍摄的图像检测出的缺陷结果，并将图像处理装置抽取的多帧图像、图像处理装置检测的缺陷结果、本地控制器关联后的缺陷结果通过路由器上传至后台服务器。同时，后台服务器对抽取的多帧图像进行缺陷检测，生成后台服务器的缺陷检测结果。再通过台服务器生成的缺陷检测结果来验证图像处理装置检测的缺陷结果和/或本地控制器关联的缺陷结果，判断缺陷检测结果是否一致。例如图像处理装置根据抽取的多帧图像检测出某个变压器出现漏油，本地控制器将抽取的多帧图像和未关联的缺陷结果通过路由器传输给后台服务器。后台服务器根据抽取的多帧图像检测出该变压器出现漏油，则认为该变压器存在漏油缺陷，发出对应的预警信息。若服务器根据抽取的多帧图像检测出该变压器未出现漏油，则转为人工进行处理，由工作人员再次进行判断，判断给变压器是否出现缺陷。本方法中的抽帧频率可以按照实际情况进行设定，本方法不对抽帧频率进行数值限制。

根据上述描述，在一示例性实施例中，还包括获取验证结果，根据验证结果对本地控制器上传的一帧或多帧图像进行分类；并将分类后的图像加入至训练集中；根据训练集优化图像处理装置、本地控制器、服务器中的算法模型。作为示例，例如将检测出工业设备有缺陷的图像加入至训练集中作为训练样本数据，根据该训练集来优化图像处理装置、本地控制器、服务器中的算法模型。作为另一示例，例如将图像处理装置和后台服务器检测出工业设备均没有缺陷，但是后台服务器中算法模型得到的置信度高于一定阈值的图像加入训练集中作为训练样本数据，根据该训练集来优化图像处理装置、本地控制器、服务器中的算法模型。

在一些示例性实施例中，通过图像处理装置获取包含有目标对象的多帧图像，包括：通过图像处理装置获取不同视觉条件下的包含有目标对象的多帧图像。并且，在获取不同视觉条件下的多帧图像后，还对图像进行关联，并基于关联后的图像对目标对象进行缺陷检测。本申请实施例通过获取在不同视觉条件下拍摄的包含有目标对象的多个图像；再对多个图像进行关联，并基于关联后的图像对目标对象进行缺陷检测。与现有技术中仅通过单个视觉条件下的图像对目标对象进行缺陷检测相比，本申请实施例通过获取不同视觉条件下拍摄的图像，能够获得目标对象在不同维度下的图像信息；而且本系统还对这些图像进行关联，使本系统能够将不同维度的图像信息进行融合，充分地利用了图像信息之间的相关性和互补性，从而让对目标对象进行缺陷检测的图像信息更加完备，保证了对目标对象进行缺陷检测时的准确率。若将本申请实施例应用在电力系统方面，则本申请实施能够进行的缺陷检测包括：对输变电设备进行工作状态或运行状态检测、对输变电设备中的绝缘子进行破损检测、对输变电设备中的金属件进行锈蚀检测、对输变电设备中的箱门进行闭合异常检测。

在一些示例性实施例中，本系统中的视觉条件包括以下至少之一：拍摄装置、拍摄时间、拍摄光照、拍摄天气、拍摄角度、拍摄场景、拍摄区域。其中，相同的视觉条件认为是一个视觉条件。作为一个示例，若视觉条件为拍摄装置时，如果采用相同的拍摄装置拍摄同一目标对象，则认为是在一个视觉条件下拍摄这一目标对象；如果采用不同的拍摄装置拍摄同一目标对象，则认为是在不同视觉条件下拍摄这一目标对象。作为另一个示例，若视觉条件为拍摄时间时，如果在同一时刻拍摄同一目标对象，则认为是在同一拍摄时间拍摄这一目标对象，即认为是在一个视觉条件下拍摄这一目标对象；如果在不同拍摄时刻拍摄同一目标对象，则认为是在不同拍摄时间拍摄这一目标对象，即认为是在不同视觉条件下拍摄这一目标对象。作为另一个示例，若视觉条件为拍摄角度时，如果以同一拍摄角度拍摄同一目标对象，则认为是在一个视觉条件下拍摄这一目标对象；如果以不同拍摄角度拍摄同一目标对象，则认为是在不同视觉条件下拍摄这一目标对象。其中，每个图像都包括有图像信息。本申请实施例中的图像信息包括以下至少之一：图像像素、图像特征向量、图像角度。

由于可见光和红外光属于不同光谱段，目标对象的一些缺陷在可见光图像上很难发现，但是在红外光图像上却有明显的像素梯度，容易被发现。如果分别利用可见光摄像头来拍摄目标对象的可见光图像、红外光摄像头来拍摄目标对象的红外光图像，再对可见光图像、红外光图像来进行图像互补，从而可以融合目标对象在可见光图像、红外光图像中的全部缺陷信息，则在对目标对象进行缺陷检测时，能够提高缺陷检测的准确率。

在一示例性实施例中，若视觉条件为拍摄装置，则有：

获取多个不同拍摄装置拍摄的包含有目标对象的可见光图像、以及与可见光图像对应的包含有目标对象的红外光图像；

提取出所有可见光图像的图像像素、所有红外光图像的图像像素；

以其中一个图像为基准，建立变换模型；其余图像根据变换模型进行变换，对齐所有图像的图像像素；

通过稀疏矩阵和低秩矩阵关联图像像素对齐后的图像；

基于目标检测算法对关联后的图像中的目标对象进行缺陷检测。

具体地，如图2所示，获取同一区域中可见光摄像头拍摄的包含有目标对象的可见光图像、以及红外光摄像头拍摄的与可见光图像对应的包含有目标对象的红外光图像；

分别对可见光图像、红外光图像进行预处理，所述预处理包括：图像去噪、图像增强。

同一区域不同光谱段的图像是对应的，但是由于硬件等原因，通常两幅图像的像素不是一一对应的，需要进行配准对齐。即提取出所有可见光图像的图像像素、所有红外光图像的图像像素；以其中一个图像为基准，建立变换模型；其余图像根据变换模型进行变换，对齐所有图像的图像像素。

利用RPCA(Robust principal component analysis，稳健主成分分析，简称RPCA)分解模型获取多源图像的稀疏矩阵和低秩矩阵。通过分析稀疏矩阵和低秩矩阵的特点，采用基于变换的算法融合两幅图像的低秩矩阵以及基于区域能量的融合规则融合稀疏矩阵来关联图像像素对齐后的图像，实现可见光图像、红外光图像之间的互补，达到图像融合的目的。

再基于目标检测算法来对关联后的图像中的目标对象进行缺陷检测，例如对输变电设备中的绝缘子进行破损检测、对输变电设备中的金属件进行锈蚀检测、对输变电设备中的箱门进行闭合异常检测。其中，本申请实施例中的目标检测算法包括：Faster RCNN、Retina Net。本申请实施例中，Faster RCNN是一种典型的二阶段的目标检测算法，主要用来实现变电设备缺陷检测。Retina Net是一种典型的一阶段的目标检测算法，主要用来实现变电设备缺陷检测。

本申请实施例可以根据光谱段(即红外光和可见光)关联图像，完成的图像像素融合，并根据融合后的图像对输变电设备中的绝缘子进行破损检测、对输变电设备中的金属件进行锈蚀检测、对输变电设备中的箱门进行闭合异常检测。

由于不同时段的光照和天气等环境下获取的图像对最后的缺陷检测结果也有很大的影响，从某个场景下获取的图像可能因为环境的不利因素，很容易造成误检，而融合多时段图像可以很大程度上减少环境等因素的影响。

在一示例性实施例中，若视觉条件为拍摄时间，则有：

获取在多个拍摄时间下拍摄的包含有目标对象的图像；

提取出每个拍摄时间下的图像中的图像特征向量；

对每个图像特征向量赋予权重，并加权所有图像特征向量，完成所有拍摄时间的图像关联；

对加权后的图像特征向量进行分类和回归，检测目标对象的缺陷类型、缺陷位置。

具体地，如图3所示，获取图像拍摄装置对同一目标对象在不同时间下拍摄的图像，并对图像进行去噪、增强等预处理，获得高质量的拍摄图像。

通过缺陷检测模型提取出每个拍摄时间对应的图像中的图像特征向量。

采用均值方式对每个图像特征向量赋予权重，通过加权等方式融合所有的图像特征向量，完成所有拍摄时间的图像关联。

将融合后的所有图像特征向量输入至缺陷检测模型中进行分类和回归；检测目标对象的缺陷类型、缺陷位置。通过对图像特征向量进行分类，能够得到关于目标对象的缺陷类型；通过对图像特征向量进行回归，能够得到关于目标对象的缺陷位置。本申请实施例中的目标对象可以为输变电设备、输变电设备中的绝缘子、输变电设备中的金属件、输变电设备中的箱门。

本申请实施例通过融合多个拍摄时间的图像来进行缺陷检测，例如对输变电设备中的绝缘子进行破损检测、对输变电设备中的金属件进行锈蚀检测、对输变电设备中的箱门进行闭合异常检测；能够减少光照、天气等环境因素对缺陷检测带来的误检，提高缺陷检测的准确率。

由于变电设备缺陷位置的不同，单一视角往往很难发现某些特殊位置的缺陷，但是采用多视角巡检影像采集的方式就可以从多个角度拍摄到一些很难发现的缺陷位置，为后续的缺陷识别模型提供完备的图像信息。由于不同视角下获取的图像是一个互补关系，采用决策级的融合方式，可以很好的利用不同视觉拍摄的图像信息，达到综合判断的目的。

在一示例性实施例中，若视觉条件为拍摄视角，则有：

获取在多个拍摄角度下拍摄的包含有目标对象的图像；

对每个拍摄角度下的图像进行缺陷检测，获取所有图像的缺陷检测结果；

根据目标对象对应的缺陷类别关联所有的缺陷检测结果，完成所有拍摄角度的图像关联；

基于目标检测算法对关联后的缺陷检测结果进行去重复，检测目标对象的缺陷类型、缺陷位置。

如图4所示，具体地，获取图像拍摄装置对同一目标对象在多个拍摄角度下拍摄的图像；并对图像进行去噪、增强等预处理，获得高质量的拍摄图像。

通过缺陷识别模型对每个拍摄角度下拍摄的图像进行缺陷检测，获取所有图像的缺陷检测结果；

根据目标对象对应的缺陷类别关联所有的缺陷检测结果，完成所有拍摄角度的图像关联；

基于目标检测算法对关联后的缺陷检测结果进行去重复，去掉重复的缺陷检测结果，获得剩下的缺陷检测结果，并从中获取目标对象的缺陷类型、缺陷位置。本申请实施例中的目标检测算法为NMS(Non Maximum Suppression，非极大值抑制，简称NMS)算法。

本申请实施例通过融合多个拍摄角度的图像来进行缺陷检测，例如对输变电设备中的绝缘子进行破损检测、对输变电设备中的金属件进行锈蚀检测、对输变电设备中的箱门进行闭合异常检测；能够减少单一视角对缺陷检测带来的误检，提高缺陷检测的准确率。

本系统通过图像处理装置获取包含有目标对象的多帧图像；以及通过图像处理装置按照预设抽帧频率从所述多帧图像中抽取一帧或多帧图像，并对所抽取的一帧或多帧图像进行缺陷检测，确定目标对象是否存在缺陷。本系统能够从多帧图像(例如视频流)中按照预设抽帧频率抽取单帧或多帧图像进行缺陷检测，检测目标对象是否存在缺陷。若目标对象是工业设备，则本发明能够对工业设备进行缺陷检测。通过对工业设备进行缺陷检测，可以及时了解工业设备的状态，尽早发现潜在的生产安全问题，以便及时解决和应对这些安全问题。同时，通过对工业设备进行缺陷检测，可以更好地估计工业设备的剩余使用寿命，方便及时进行维护与更换，减少突发事件的发生。并且，本发明还可以通过获取在不同视觉条件下拍摄的包含有目标对象的多个图像；再对多个图像进行关联，并基于关联后的图像对目标对象进行缺陷检测。与现有技术中仅通过单个视觉条件下的图像对目标对象进行缺陷检测相比，本系统通过获取不同视觉条件下拍摄的图像，能够获得目标对象在不同维度下的图像信息；而且还对这些图像进行关联，使本系统能够将不同维度的图像信息进行融合，充分地利用了图像信息之间的相关性和互补性，从而让对目标对象进行缺陷检测的图像信息更加完备，保证了对目标对象进行缺陷检测时的准确率。若将本系统应用在电力系统方面，则本系统可以通过获取在不同拍摄装置、不同拍摄时间、不同拍摄角度等视觉条件下拍摄的包含有输变电设备的图像，然后对这些图像按照同一视觉条件进行分类和关联，再基于关联后的图像对输变电设备进行缺陷检测，例如检测输变电设备中的绝缘子是否破损、金属件是否锈蚀、箱门闭合是否异常。本系统能够分别融合不同拍摄装置、不同拍摄时间、不同拍摄角度的图像，使本系统能够基于多视觉对输变电设备进行缺陷检测，提高准确率。

本发明还提供一种图像处理装置，应用于上述任意一项所述的方法，其中，图像处理装置能够通过网页进行访问。

作为示例，例如通过网页访问图像处理装置，对接已经建设的一个或多个图像拍摄装置。通过网页访问装置来对接已经建设的视频监控系统的网络摄像机或抓拍摄像头，使得图像处理装置可以对接8路任意厂商的1080P@30FPS网络摄像机或任意型号的抓拍摄像头。其中，1080P@30FPS网络摄像机表示分辨率为1920*1080、拍摄像素200万、刷新率为30FPS的网络摄像机。

作为示例，例如通过网页访问图像处理装置，在图像处理装置上实时查看所述一个或多个图像拍摄装置拍摄的图像画面，和/或实时查看发出的预警信息。

作为示例，例如通过网页访问所述图像处理装置，还可以配置所述图像处理装置的应用程序编程接口标识。

本发明还提供一种基于图像的缺陷检测平台，包括平台本体，所述平台本体包括一个或多个应用程序编程接口；上述中的任一图像处理装置可以通过这一个或多个应用程序编程接口对接平台本体。该平台可以通过网页进行访问。例如通过网页访问该平台，拉取该平台收集的用于优化算法模型的训练样本数据，或者更新云平台或者本地控制器的算法模型。

综上所述，本发明可根据多视角的图片信息进行检测与判断，效果好于根据单一视角进行检测与判断的方案。通过将本地摄像头的边缘计算和后台云计算结合，可以兼顾稳定与性能，使边缘计算设备的响应更快。并且本发明还能够在一些不能连接外部网络的敏感场合使用，解决了云平台不能在敏感场合使用的问题。通过将本地摄像头的边缘计算和后台云计算结合，可以用云平台来对本地摄像头进行强大的算力支撑，让边缘计算设备与云平台进行互补，得到更加准确的检测结果。本发明可以结合两种方案的优势，兼顾准确性和速度；在有边缘算力的场合进行边缘计算并检测，在没有边缘算力的场合利用云平台的算力进行检测，得到精度更加准确的检测结果。

本发明还提供一种基于图像的缺陷检测设备，包括有：

通过图像处理装置获取包含有目标对象的多帧图像；以及，

通过所述图像处理装置按照预设抽帧频率从所述多帧图像中抽取一帧或多帧图像，并对所抽取的一帧或多帧图像进行缺陷检测，确定所述目标对象是否存在缺陷。

在本实施例中，该设备执行上述系统或方法，具体功能和技术效果参照上述实施例即可，此处不再赘述。

本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3，Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。

本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中所述方法所包含步骤的指令(instructions)。

图6为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。

可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、本地控制器、微本地控制器、微处理器或其他电子元件实现，该第一处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。

可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。

在本实施例中，该终端设备的处理器包括用于执行各设备中语音识别装置各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。

图7为本申请的一个实施例提供的终端设备的硬件结构示意图。图7是对图6在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。

第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。

第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，语音组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。

处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述数据处理方法中的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。

电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。

多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

语音组件1206被配置为输出和/或输入语音信号。例如，语音组件1206包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，语音组件1206还包括一个扬声器，用于输出语音信号。

输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。

传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。

通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于插入SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建立通信。

由上可知，在图7实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口1207、传感器组件1208均可以作为图6实施例中的输入设备的实现方式。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (34)

1.一种基于图像的缺陷检测方法，其特征在于，包括：

通过图像处理装置获取包含有目标对象的多帧图像；以及，

通过所述图像处理装置按照预设抽帧频率从所述多帧图像中抽取一帧或多帧图像，并对所抽取的一帧或多帧图像进行缺陷检测，确定所述目标对象是否存在缺陷。

2.根据权利要求1所述的基于图像的缺陷检测方法，其特征在于，通过图像处理装置获取已经建设的一个或多个图像拍摄装置拍摄的包含有目标对象的多帧图像。

3.根据权利要求2所述的基于图像的缺陷检测方法，其特征在于，还包括获取目标对象在多个拍摄视角下的缺陷信息；

获取所有缺陷检测结果，通过所述图像处理装置按照预设通信方式将所有缺陷检测结果发送至本地控制器；

通过所述本地控制器关联根据同组图像拍摄装置拍摄的包含有目标对象的图像检测出的缺陷结果，获取该同组图像拍摄装置拍摄的目标对象在多个拍摄视角下的缺陷信息；

其中，所述本地控制器、所述目标对象、所述同组图像拍摄装置位于同一目标区域。

4.根据权利要求3所述的基于图像的缺陷检测方法，其特征在于，还包括验证所述图像处理装置检测出的缺陷结果：

所述本地控制器按照预设通信方式将图像处理装置抽取的一帧或多帧图像传输给后台服务器；

所述后台服务器关联接收到的一帧或多帧图像，并对关联后的图像进行缺陷检测；

根据后台服务器检测出的缺陷结果验证所述图像处理装置检测出的缺陷结果，确定所述目标对象是否存在缺陷。

5.根据权利要求4所述的基于图像的缺陷检测方法，其特征在于，根据后台服务器检测出的缺陷结果验证所述图像处理装置检测出的缺陷结果，包括：

所述本地控制器按照预设通信方式将所述图像处理装置检测出的缺陷结果和/或所述本地控制器关联后的缺陷结果传输给后台服务器；

通过所述后台服务器验证所述图像处理装置检测出的缺陷结果和/或所述本地控制器关联后的缺陷结果与所述后台服务器检测出的缺陷结果是否一致；

获取验证结果，根据所述验证结果确定所述目标对象是否存在缺陷。

6.根据权利要求5所述的基于图像的缺陷检测方法，其特征在于，若所述服务器检测出的缺陷结果与所述图像拍摄装置检测出的缺陷结果一致，则确定所述目标对象存在缺陷，发出对应的预警信息；

若所述服务器检测出的缺陷结果与所述图像拍摄装置检测出的缺陷结果不一致，则再由人工确定所述目标对象是否存在缺陷。

7.根据权利要求5所述的基于图像的缺陷检测方法，其特征在于，还包括：

获取验证结果，根据所述验证结果对所述本地控制器传输的一帧或多帧图像进行分类；

将分类后的图像加入至训练集中；

根据所述训练集优化所述图像处理装置、所述本地控制器、所述服务器中至少之一的算法模型。

8.根据权利要求1至7中任一所述的基于图像的缺陷检测方法，其特征在于，所述目标对象包括工业设备。

9.根据权利要求8所述的基于图像的缺陷检测方法，其特征在于，通过图像处理装置获取包含有目标对象的多帧图像，包括：

通过图像处理装置获取不同视觉条件下的包含有目标对象的多帧图像；

其中，视觉条件包括以下至少之一：拍摄装置、拍摄时间、拍摄光照、拍摄天气、拍摄角度、拍摄场景、拍摄区域。

10.根据权利要求9所述的基于图像的缺陷检测方法，其特征在于，所述多帧图像中的任一帧图像均包括图像信息；所述图像信息包括以下至少之一：图像像素、图像特征向量、图像角度。

11.根据权利要求10所述的基于图像的缺陷检测方法，其特征在于，若所述视觉条件为拍摄装置，则有：

获取多个不同拍摄装置拍摄的包含有目标对象的可见光图像、以及与所述可见光图像对应的包含有目标对象的红外光图像；

提取出所有可见光图像的图像像素、所有红外光图像的图像像素；

以其中一个图像为基准，建立变换模型；其余图像根据所述变换模型进行变换，对齐所有图像的图像像素；

通过稀疏矩阵和低秩矩阵关联图像像素对齐后的图像；

基于目标检测算法对关联后的图像中的目标对象进行缺陷检测。

12.根据权利要求10所述的基于图像的缺陷检测方法，其特征在于，若所述视觉条件为拍摄时间，则有：

获取在多个拍摄时间下拍摄的包含有目标对象的图像；

提取出每个拍摄时间下的图像中的图像特征向量；

对每个图像特征向量赋予权重，并加权所有图像特征向量，完成所有拍摄时间的图像关联；

对加权后的图像特征向量进行分类和回归，检测所述目标对象的缺陷类型、缺陷位置。

13.根据权利要求10所述的基于图像的缺陷检测方法，其特征在于，若所述视觉条件为拍摄视角，则有：

获取在多个拍摄角度下拍摄的包含有目标对象的图像；

对每个拍摄角度下的图像进行缺陷检测，获取所有图像的缺陷检测结果；

根据所述目标对象对应的缺陷类别关联所有的缺陷检测结果，完成所有拍摄角度的图像关联；

基于目标检测算法对关联后的缺陷检测结果进行去重复，检测所述目标对象的缺陷类型、缺陷位置。

14.一种基于图像的缺陷检测系统，其特征在于，包括有：

采集模块，用于通过图像处理装置获取包含有目标对象的多帧图像；

检测模块，用于通过所述图像处理装置按照预设抽帧频率从所述多帧图像中抽取一帧或多帧图像，并对所抽取的一帧或多帧图像进行缺陷检测，确定所述目标对象是否存在缺陷。

15.根据权利要求14所述的基于图像的缺陷检测系统，其特征在于，所述采集模块通过图像处理装置获取已经建设的一个或多个图像拍摄装置拍摄的包含有目标对象的多帧图像。

16.根据权利要求15所述的基于图像的缺陷检测系统，其特征在于，还包括获取目标对象在多个拍摄视角下的缺陷信息；

获取所有缺陷检测结果，通过所述图像处理装置按照预设通信方式将所有缺陷检测结果发送至所述本地控制器；

通过所述本地控制器通过关联根据同组图像拍摄装置拍摄的包含有目标对象的图像检测出的缺陷结果，获取该同组图像拍摄装置拍摄的目标对象在多个拍摄视角下的缺陷信息；

其中，所述本地控制器、所述目标对象、所述同组图像拍摄装置位于同一目标区域。

17.根据权利要求16所述的基于图像的缺陷检测系统，其特征在于，还包括验证所述图像处理装置检测出的缺陷结果：

所述本地控制器按照预设通信方式将图像处理装置抽取的一帧或多帧图像传输给后台服务器；

所述后台服务器关联接收到的一帧或多帧图像，并对关联后的图像进行缺陷检测；

根据后台服务器检测出的缺陷结果验证所述图像处理装置检测出的缺陷结果，确定所述目标对象是否存在缺陷。

18.根据权利要求17所述的基于图像的缺陷检测系统，其特征在于，根据后台服务器检测出的缺陷结果验证所述图像处理装置检测出的缺陷结果，包括：

所述本地控制器按照预设通信方式将所述图像处理装置检测出的缺陷结果和/或所述本地控制器关联后的缺陷结果传输给后台服务器；

通过所述后台服务器验证所述图像处理装置检测出的缺陷结果和/或所述本地控制器关联后的缺陷结果与所述后台服务器检测出的缺陷结果是否一致；

获取验证结果，根据所述验证结果确定所述目标对象是否存在缺陷。

19.根据权利要求18所述的基于图像的缺陷检测系统，其特征在于，若所述服务器检测出的缺陷结果与所述图像拍摄装置检测出的缺陷结果一致，则确定所述目标对象存在缺陷，发出对应的预警信息；

若所述服务器检测出的缺陷结果与所述图像拍摄装置检测出的缺陷结果不一致，则再由人工确定所述目标对象是否存在缺陷。

20.根据权利要求18所述的基于图像的缺陷检测系统，其特征在于，还包括：

获取验证结果，根据所述验证结果对所述本地控制器传输的一帧或多帧图像进行分类；

将分类后的图像加入至训练集中；

根据所述训练集来优化所述图像处理装置、所述本地控制器、所述服务器中至少之一的算法模型。

21.根据权利要求14至20中任一所述的基于图像的缺陷检测系统，其特征在于，所述目标对象包括工业设备。

22.根据权利要求21所述的基于图像的缺陷检测系统，其特征在于，通过图像处理装置获取包含有目标对象的多帧图像，包括：

通过图像处理装置获取不同视觉条件下的包含有目标对象的多帧图像；

其中，视觉条件包括以下至少之一：拍摄装置、拍摄时间、拍摄光照、拍摄天气、拍摄角度、拍摄场景、拍摄区域。

23.根据权利要求22所述的基于图像的缺陷检测系统，其特征在于，所述多帧图像中的任一帧图像均包括图像信息；所述图像信息包括以下至少之一：图像像素、图像特征向量、图像角度。

24.根据权利要求23所述的基于图像的缺陷检测系统，其特征在于，若所述视觉条件为拍摄装置，则有：

获取多个不同拍摄装置拍摄的包含有目标对象的可见光图像、以及与所述可见光图像对应的包含有目标对象的红外光图像；

提取出所有可见光图像的图像像素、所有红外光图像的图像像素；

以其中一个图像为基准，建立变换模型；其余图像根据所述变换模型进行变换，对齐所有图像的图像像素；

通过稀疏矩阵和低秩矩阵关联图像像素对齐后的图像；

基于目标检测算法对关联后的图像中的目标对象进行缺陷检测。

25.根据权利要求23所述的基于图像的缺陷检测系统，其特征在于，若所述视觉条件为拍摄时间，则有：

获取在多个拍摄时间下拍摄的包含有目标对象的图像；

提取出每个拍摄时间下的图像中的图像特征向量；

对每个图像特征向量赋予权重，并加权所有图像特征向量，完成所有拍摄时间的图像关联；

对加权后的图像特征向量进行分类和回归，检测所述目标对象的缺陷类型、缺陷位置。

26.根据权利要求23所述的基于图像的缺陷检测系统，其特征在于，若所述视觉条件为拍摄视角，则有：

获取在多个拍摄角度下拍摄的包含有目标对象的图像；

对每个拍摄角度下的图像进行缺陷检测，获取所有图像的缺陷检测结果；

根据所述目标对象对应的缺陷类别关联所有的缺陷检测结果，完成所有拍摄角度的图像关联；

基于目标检测算法对关联后的缺陷检测结果进行去重复，检测所述目标对象的缺陷类型、缺陷位置。

27.一种图像处理装置，其特征在于，应用于权利要求1至13中任意一项所述的方法，所述图像处理装置能够通过网页进行访问。

28.根据权利要求27所述的图像处理装置，其特征在于，通过网页访问所述图像处理装置，对接已经建设的一个或多个图像拍摄装置。

29.根据权利要求28所述的图像处理装置，其特征在于，通过网页访问所述图像处理装置，实时查看所述一个或多个图像拍摄装置拍摄的图像画面，和/或实时查看发出的预警信息。

30.根据权利要求27至29中任一所述的图像处理装置，其特征在于，通过网页访问所述图像处理装置，配置所述图像处理装置的应用程序编程接口标识。

31.一种基于图像的缺陷检测平台，其特征在于，包括：平台本体，所述平台本体包括一个或多个应用程序编程接口；

权利要求27至29中的任一图像处理装置通过所述一个或多个应用程序编程接口对接所述平台本体。

32.一种基于图像的缺陷检测设备，其特征在于，包括：

通过图像处理装置获取包含有目标对象的多帧图像；以及，

通过所述图像处理装置按照预设抽帧频率从所述多帧图像中抽取一帧或多帧图像，并对所抽取的一帧或多帧图像进行缺陷检测，确定所述目标对象是否存在缺陷。

33.一种设备，其特征在于，包括：

一个或多个处理器；和

存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行所述指令时，使得所述设备执行如权利要求1-13中任意一项所述的方法。

34.一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行所述指令时，使得设备执行如权利要求1-13中任意一项所述的方法。

Images