CN111539952B - 一种划痕检测与结果共享方法 - Google Patents

Abstract

本发明公开了一种划痕检测物联网系统及划痕检测与结果共享方法，应用于划痕检测技术领域，所述系统包括图像接收与处理模块、特征广播模块和结果共享模块，所述图像接收与处理模块和特征广播模块连接，特征广播模块和结果共享模块之间通过无线信号传输；所述方法包括获取待检测图像组，对待检测图像组进行划痕检测，根据划痕检测结果计算位置码字节数据，并通过物联网终端传输广播至协调器，协调器汇总若干位置码字节数据，并将结果共享至第二PC机。本发明通过增加特征广播模块和结果共享模块，实现划痕检测结果在物联网上广播与共享，大大提高划痕检测的工作效率，并更加迅速的处理后续数据。

Description

一种划痕检测与结果共享方法

技术领域

本发明涉及划痕检测技术领域，尤其涉及一种划痕检测与结果共享方法。

背景技术

如今越来越多的工厂开始引进先进机器代替人工，生产流水线上的操作人员逐渐被机器替代。一方面，工厂零件的人工检测需要雇佣大量员工，成本较高，另一方面，人工检测会出现精神疲劳而导致漏检、错检等问题，可靠性与实时性没有机器检测高，在精细物体检测方面无法满足检测。近年来信息化与工业化加速融合，在工业系统中人工智能技术有着广泛应用。经过了解，大部分人工智能的图像识别应用都是用于日常生活中常见的事物的检测，比如汽车、动物等等，而由于工业上数据库的稀少和数据检测的复杂性，很少有人将其用于工业零件检测方面。由此机器视觉或者人工智能在工业领域的应用与实现变得更加迫切。

在公开号为CN110602462A的一种基于AI的工业图像检测装置及方法中，，以嵌入式设备为采集前端，PC机作为上位机实现划痕检测，系统大致由图像采集、图像传输和图像处理三部分构成。但该专利中无法对结果数据进行实时传输处理与共享。而当前的大数据时代下，在云端进行数据整合、储存与处理已经成为业界发展的一个新的趋势。云端存储具有存储可靠、处理能力强、信息获取便捷等优点，因而在很多领域得到了应用。

发明内容

技术目的：针对现有技术中划痕检测结果无法实时传输与共享的缺陷，本发明公开了一种划痕检测与结果共享方法，实现划痕检测结果在物联网上广播与共享，大大提高划痕检测的工作效率。

技术方案：为实现上述技术目的，本发明采用以下技术方案。

一种划痕检测物联网系统，包括图像接收与处理模块、特征广播模块和结果共享模块，所述图像接收与处理模块和特征广播模块连接，特征广播模块和结果共享模块之间通过无线信号传输；

所述图像接收与处理模块包括若干嵌入式终端和第一PC机，嵌入式终端通过网线与第一PC机一一匹配连接，所述嵌入式终端用于拍摄图像并将图像通过以太网传至第一PC机，所述第一PC机接收和处理接收的图片，并将输出的划痕位置转换为位置码字节数据，再发送至特征广播模块；

所述特征广播模块包括若干物联网终端，物联网终端用于接收相应第一PC机发送的位置码字节数据，并向结果共享模块广播位置码字节数据；

所述结果共享模块包括协调器和第二PC机，协调器用于汇总和校对物联网终端发送的位置码字节数据，再将校对后的位置码字节数据点对点上传至第二PC机，所述第二PC机用于根据位置码字节数据还原划痕位置，并对划痕位置进行监测。

优选地，所述物联网终端和协调器均采用EB2530组件。

优选地，所述嵌入式终端包括用于采集数据的摄像头，所述第一PC机包括划痕检测网络，所述划痕检测网络为YOLOv3网络。

一种划痕检测与结果共享方法，应用于以上任一所述的一种划痕检测物联网系统，包括以下步骤：

S1、获取待检测图像组：将若干待检测划痕的原始图片进行预处理，获取待检测图像组；

S2、待检测图像组进行划痕检测：对待检测图像组提取有效的图像帧，并将结果送入训练后的划痕检测网络，划痕检测网络输出初步识别结果，即若干边界框，对边界框通过置信度和非极大抑制进行筛选，输出若干划痕检测结果图像，所述划痕检测结果图像包括最终目标边界框和置信矩阵；

S3、计算位置码字节数据：将划痕检测结果图像转换为位置码，通过位置码及其校验码计算位置码字节数据；

S4、物联网终端传输位置码字节数据：将位置码字节数据传输至物联网终端，物联网终端将收到的位置码字节数据实时发送至协调器；

S5、结果共享：协调器汇总若干位置码字节数据，在校验码校对成功后点对点上传至第二PC机，第二PC机根据位置码字节数据重新计算出划痕位置，对划痕位置进行监测并在显示于显示屏上。

优选地，所述步骤S3中位置码的计算公式为：，

其中，为第i个目标框，/>表示/>的第j个参数，j=1、2、3、4。

优选地，所述步骤S3中校验码采用奇偶校验码。

有益效果：

1、本发明通过增加特征广播模块和结果共享模块，实现划痕检测结果在物联网上广播与共享，大大提高划痕检测的工作效率，并更加迅速的处理后续数据；

2、本发明的物联网系统有助于实现工厂全自动智能化检测，降低生产成本，提高检测效率；

3、本发明在图像接收与处理模块中采用嵌入式终端，将图像采集系统运行在嵌入式处理板上，提高整个系统的抗干扰性和鲁棒性。

附图说明

图1为本发明的实施例中系统结构框图；

图2为图1细节图；

图3为本发明的方法流程图；

图4为本发明实施例中协调器与物联网终端的硬件图。

实施方式

本发明公开了一种划痕检测与结果共享方法，以下结合附图对本方案做进一步的说明和解释。

如附图1所示，一种划痕检测物联网系统，包括图像接收与处理模块、特征广播模块和结果共享模块，图像接收与处理模块和特征广播模块连接，特征广播模块和结果共享模块之间通过无线信号传输。

图像接收与处理模块包括若干嵌入式终端和第一PC机，嵌入式终端通过网线与第一PC机一一匹配连接，嵌入式终端用于拍摄图像并将图像通过以太网传至第一PC机，第一PC机接收和处理接收的图片，并将输出的划痕位置转换为位置码字节数据，再发送至特征广播模块；嵌入式终端用于拍摄图像并运用DMA传输与FIFO算法快速的将图像通过以太网传至同系统的第一PC机，第一PC机则负责接收并处理所得到的图片，图片为JPEG格式；本发明在图像接收与处理模块中采用嵌入式终端，将图像采集系统运行在嵌入式处理板上，提高整个系统的抗干扰性和鲁棒性。

特征广播模块包括若干物联网终端，物联网终端用于接收相应第一PC机发送的位置码，并向结果共享模块广播位置码；

结果共享模块包括协调器和第二PC机，协调器用于汇总和校对物联网终端发送的位置码，再将校对后的位置码点对点上传至第二PC机，第二PC机用于根据位置码还原划痕位置，并对划痕位置进行监测。

实施例

下文中的bbox为bounding box，即边界框。

如附图4所示，物联网终端和协调器均采用EB2530组件，两者的结构相同，但在内部烧录不同程序，从而实现不同功能；特征广播模块和结果共享模块之间进行无线信号传输时，通过EB2530组件实现接收和发送信息的功能。

如附图2所示，嵌入式终端包括用于采集数据的摄像头，其具体型号为OV5640摄像头，嵌入式终端还包括微处理器内存、外部拓展SRAM及以太网，摄像头将拍摄的图像数据经DMA传送至微处理器内存，微处理器内存将图像数据复制到外部拓展SRAM内，外部拓展SRAM再将图像数据传输至以太网；第一PC机包括划痕检测网络，划痕检测网络为YOLOv3网络。划痕检测网络中采用UCOSIII操作系统，通过RJ45接口得以与PC机通信，同时配合YOLOv3算法、TensorFlow、C++ API和Qt制作可视化界面进行操作。

一种划痕检测与结果共享方法，应用于以上所述的一种划痕检测物联网系统，包括以下步骤：

S1、获取待检测图像组：将若干待检测划痕的原始图片进行预处理，获取待检测图像组；对于原始图片，需要变换其尺寸与格式，使之能够满足划痕检测网络的输入要求；本实施例中将原始图片转换为RGB888格式，然后采用OpenCV自带的resize函数将图像尺寸变化为640*640。

S2、待检测图像组进行划痕检测：对待检测图像组提取有效的图像帧，并将结果送入训练后的划痕检测网络，划痕检测网络输出初步识别结果，即若干边界框，对边界框通过置信度和非极大抑制进行筛选，输出若干划痕检测结果图像，划痕检测结果图像包括最终目标边界框和置信矩阵；

具体地，最终输出的划痕检测结果图像中包含了经过网络计算从而得出的划痕的数量和位置，并将边界框在原图上显示出来。其中，划痕检测采用了YOLOv3算法进行识别。YOLOv3是一种基于C语言的实时目标检测网络，它的处理速度比大多的神经网络框架都要快，相比于YOLOv2，YOLOV3取消了池化层并用多个卷积层取而代之，同时结合使用了残差网络（ResNet）的思想，用于弥补卷积层过深导致的过拟合或梯度爆炸。将中间的Residual提取的特征分别抽出，再次进行卷积操作，最后输出3个不同尺度的特征图，即多尺度预测，使其能够训练更加深的网络。越深的卷积层提取出的特征图越抽象（如物体位置等），提取到的特征（如物体特性类别等）也更加高级完善。YOLOv3的损失函数包括了边界框坐标和物体分类的误差。

此外，划痕检测也利用了迁移学习（Transfer Learning）的技术，即采用他人已经花费了成百上千小时训练的神经网络权重参数进行微调，而这样做的一个重要原因是图像数据的相似性。大量的论文表明神经网络的靠前的若干层学习的是图像的低级特征，如边缘、曲线、角度等特征，之后的几层以及全连接层仅仅是将这些低级特征按照不同方式拼装成不同的图片，然后对这些可能的输出图片进行分类，过滤出真正的图片。具体来说，就是训练最后若干层，冻结深度神经网络的之前的所有层，最后再解冻所有层进行网络微调。

微调的过程为冻结深度神经网络的之前的所有层，利用现有的相关划痕数据去训练最后若干层，最后再解冻所有层。具体来说，在700次重复（iteration）过后（一次重复是对一个批尺寸batch_size大小的图片训练，总共850张训练图片，batch_size为64），每过100 次都手动停止并修改学习率为前一次的0.1倍，最后将损失保持在了0.05-3.0之间后停止。相当于对850张图片遍历并训练了90多次。

具体地，划痕检测还结合TensorFlow进行处理，非极大抑制通过TensorFlow提供的非极大值抑制函数实现。

置信度取值算法的实现过程为：先将划痕检测网络输出的矩阵除去size为1的维度，即squeeze成（25200,6），再通过spiltv函数获取边界框、置信矩阵和类别概率，分别对应矩阵（25200，4）、（25200，1）和（25200，1）,置信矩阵和类别概率的表达格式相同，但包含的数据意义不同。

非极大抑制算法的实现过程为：将网络中输出的所有边界框中选择置信度最大的目标边界框，计算其他所有的边界框与置信度最大的目标边界框的交互比IoU，若IoU大于预设的阈值，则将该边界框从结果中去除，反复进行，每次进行时去掉上一次已经确定的输出框，放入输出队列中，直到输入队列没有多余的框读入时停止。

在得到初步识别结果后，需要根据bbox的置信度筛选出真正存在的框，使用greaterEqual函数使用门限值0.5先创建矩阵过滤掩码，再用where+squeeze函数得到过滤出的那些bbox在原来矩阵中的一维坐标，最后对bbox对应的矩阵根据过滤出的坐标作用gather函数，即可获得过滤后的bbox和相应的置信度。此外，在输出初步结果后还需要进行非极大值抑制去除重复的bbox，以输出final_boxes和final_class_confidence，即最终目标边界框和置信矩阵，也是第一PC机给出的最终结果。

本方案所构建的物联网为了保证实时性，不适合连续传输大量图片，因此第一PC机会将表示出的划痕位置转换为对应的位置码，再由终端发送出去。位置码的生成公式如下所示：，

其中，为第i个目标框，/>表示/>的第j个参数，j=1、2、3、4，x、y、z、k分别指是输出bbox的前四个数值（bbox共六个参数，其中前四个是与坐标相关的），输出的位置码由四个数字构成，数字范围从几十到几百分布。

S3、计算位置码字节数据：将划痕检测结果图像转换为位置码，通过位置码及其校验码计算位置码字节数据；具体地，在得出位置码后，程序将会把得到的位置码转换成16进制数并写为2字节的数据，每个字节储存2个坐标点信息并插入校验码，以保证传输位置码的正确性。这之后，将位置码通过连接线传输给物联模块终端，终端在接收到位置码后，将会调用系统中预先写好的LocationCode_SendGroupMessage( void )函数，将接收到的位置码实时写入发送函数的发送数组中，即可实现位置码的广播。

此处校验码使用的是1bit的奇偶校验码，即若发送的帧内含有偶数个1（0也算作偶数），则校验位的值为1。在实际传输中，奇数位发生错误的概率大很多，所以使用奇偶校验码是可行的。

S4、物联网终端传输位置码字节数据：将位置码字节数据传输至物联网终端，物联网终端将收到的位置码字节数据实时发送至协调器；

S5、结果共享：协调器汇总若干位置码字节数据，在校对校验码校对成功后点对点上传至第二PC机，第二PC机根据位置码字节数据重新计算出划痕位置，对划痕位置进行监测并在显示于显示屏上。在接收到位置码字节数据后，协调器将会根据接收到的数据内容演算出相应的校验码，并与接收到的数据中的校验码相比对，若不相同，则丢弃该数据，并令发送该数据的终端从该数据起重新发送数据。

本发明的物联网系统有助于实现工厂全自动智能化检测，降低生产成本，提高检测效率；本发明通过增加特征广播模块和结果共享模块，实现划痕检测结果在物联网上广播与共享，大大提高划痕检测的工作效率，并更加迅速的处理后续数据。

以上仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (2)

1.一种划痕检测与结果共享方法，应用于一种划痕检测物联网系统，其特征在于，一种划痕检测物联网系统包括图像接收与处理模块、特征广播模块和结果共享模块，所述图像接收与处理模块和特征广播模块连接，特征广播模块和结果共享模块之间通过无线信号传输；

所述图像接收与处理模块包括若干嵌入式终端和第一PC机，嵌入式终端通过网线与第一PC机一一匹配连接，所述嵌入式终端用于拍摄图像并将图像通过以太网传至第一PC机，所述第一PC机接收和处理接收的图片，并将输出的划痕位置转换为位置码字节数据，再发送至特征广播模块；

所述特征广播模块包括若干物联网终端，物联网终端用于接收相应第一PC机发送的位置码字节数据，并向结果共享模块广播位置码字节数据；

所述结果共享模块包括协调器和第二PC机，协调器用于汇总和校对物联网终端发送的位置码字节数据，再将校对后的位置码字节数据点对点上传至第二PC机，所述第二PC机用于根据位置码字节数据还原划痕位置，并对划痕位置进行监测；方法包括以下步骤：

S1、获取待检测图像组：将若干待检测划痕的原始图片进行预处理，获取待检测图像组；

S2、待检测图像组进行划痕检测：对待检测图像组提取有效的图像帧，并将结果送入训练后的划痕检测网络，划痕检测网络输出初步识别结果，即若干边界框，对边界框通过置信度和非极大抑制进行筛选，输出若干划痕检测结果图像，所述划痕检测结果图像包括最终目标边界框和置信矩阵；

S3、计算位置码字节数据：将划痕检测结果图像转换为位置码，通过位置码及其校验码计算位置码字节数据；所述步骤S3中位置码的计算公式为：

其中，bbox_i为第i个目标框，bbox_i+j表示bbox_i的第j个参数，j＝1、2、3、4，x、y、z、k分别指的是输出bbox的前四个数值；

S4、物联网终端传输位置码字节数据：将位置码字节数据传输至物联网终端，物联网终端将收到的位置码字节数据实时发送至协调器；

S5、结果共享：协调器汇总若干位置码字节数据，在校验码校对成功后点对点上传至第二PC机，第二PC机根据位置码字节数据重新计算出划痕位置，对划痕位置进行监测并在显示于显示屏上。

2.根据权利要求1所述的一种划痕检测与结果共享方法，其特征在于：所述步骤S3中校验码采用奇偶校验码。