CN108921839A - 连铸坯质量检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供一种连铸坯质量检测方法、装置、电子设备及存储介质，其中，该方法包括：接收部署在连铸坯生产线上的控制台发送的质量检测请求，该质量检测请求中包含连铸坯生产线上的图像采集设备采集的连铸坯图像，将该连铸坯图像输入到缺陷检测模型中得到缺陷检测结果，该缺陷检测模型是采用深度卷积神经网络结构和实例分割算法对历史缺陷连铸坯图像进行训练得到的，根据该缺陷检测结果确定上述连铸坯图像对应的连铸坯的质量好坏。该技术方案的缺陷检测准确度高、系统性能好，业务扩展能力高。

Description

连铸坯质量检测方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种连铸坯质量检测方法、装置、电子设备及存储介质。

背景技术

随着科技的发展，信息显示技术在人们生活中的作用与日俱增，连铸坯也因其体积小、重量轻、功率低、分辨率高、亮度高和无几何变形诸多特点被广泛应用。但在连铸坯的生产过程中，由于工艺及环境的原因可能导致连铸坯存在显示缺陷，常见缺陷种类有震动痕迹，表面裂纹，表面纵裂纹，脚步纵裂纹等。因而，连铸坯质量检测是生产过程中的重要环节。

现有技术中，传统钢铁企业生产环境中，对质量进行控制的一种重要手段是对连铸坯的表面状态进行检测，以判断连铸坯是否存在瑕疵和缺陷，并根据检测结果对连铸坯做相应的处理。具体的，连铸坯质量检测主要采用人工检测或机器辅助的人工检测方法。其中，人工检测方法是指依赖行业专家肉眼观察从连铸坯生产环境中采集到的连铸坯图片给出判断；机器辅助的人工检测方法是指首先利用固化有行业专家经验的质检系统对待检测连铸坯图像进行检测，其次再由行业专家对疑似存在缺陷的连铸坯图片进行检测判断。

然而，不管是人工检测方法，还是机器辅助的人工检测方法均受人的主观影响因素较大，检测准确度低、系统性能差，业务扩展能力低。

发明内容

本申请提供一种连铸坯质量检测方法、装置、电子设备及存储介质，以克服现有连铸坯缺陷检测方法中由于受人的主观影响因素较大，致使检测准确度低、系统性能差、业务扩展能力低的问题。

本申请第一方面提供一种连铸坯质量检测方法，包括：

接收部署在连铸坯生产线上的控制台发送的质量检测请求，所述质量检测请求中包含所述连铸坯生产线上的图像采集设备采集的连铸坯图像；

将所述连铸坯图像输入到缺陷检测模型中得到缺陷检测结果，其中，所述缺陷检测模型是采用深度卷积神经网络结构和实例分割算法对历史缺陷连铸坯图像进行训练得到的；

根据所述缺陷检测结果确定所述连铸坯图像对应的连铸坯的质量好坏。

可选的，在第一方面的一种可能实现方式中，所述缺陷检测模型是采用深度卷积神经网络结构和实例分割算法对历史缺陷连铸坯图像进行训练得到的，包括：

所述缺陷检测模型是对所述历史缺陷连铸坯图像的候选区域损失、区域类别损失、区域边界损失和像素实例损失进行组合训练，以使所述候选区域损失、所述区域类别损失、所述区域边界损失和所述像素实例损失的总损失值满足预设损失阈值的结果；

其中，所述候选区域损失指所述历史缺陷连铸坯图像中选定缺陷区域与实际缺陷区域之间的损失值，所述区域类别损失指所述选定缺陷区域中预测缺陷类别与实际缺陷类别之间的损失值，所述区域边界损失指所述选定缺陷区域中预测缺陷边界与实际缺陷边界之间的损失，所述像素实例损失指所述历史缺陷连铸坯图像中预测像素实例与实际像素实例之间的损失。

可选的，在第一方面的另一种可能实现方式中，所述将所述显示图像输入到缺陷检测模型中得到缺陷检测结果之前，该方法还包括：

对所述连铸坯图像进行图像预处理，其中，所述图像预处理包括下述处理中的一项或多项：

光照补偿、除雾、锐化、裁边、剪切、旋转、缩小、放大。

可选的，在第一方面的再一种可能实现方式中，所述将所述连铸坯图像输入到缺陷检测模型中得到缺陷检测结果，包括：

根据负载均衡策略，确定承载处理资源的检测模型服务器；

将所述连铸坯图像输入到运行在所述检测模型服务器上的所述缺陷检测模型中得到缺陷检测结果。

可选的，在第一方面的又一种可能实现方式中，所述缺陷检测结果，包括：缺陷类别，和/或，缺陷实例，和/或，缺陷位置；

所述根据所述缺陷检测结果确定所述连铸坯图像对应的连铸坯的质量好坏，包括：

根据生产阶段信息以及所述缺陷检测结果，确定所述连铸坯图像对应的连铸坯的质量好坏。

可选的，在第一方面的又一种可能实现方式中，所述根据所述缺陷检测结果确定所述连铸坯图像对应的连铸坯的质量好坏之后，该方法还包括：

若确定所述连铸坯存在缺陷，则执行以下一项或多项操作：

通过控制器向生产管理者发送报警信息；

通过控制器将所述缺陷检测结果作为日志存储到生产数据库中；

通过控制器向所述控制台发送生产控制指令以便消除缺陷；

将所述连铸坯图像和所述缺陷检测结果输入到所述缺陷检测模型中以便优化所述缺陷检测模型。

本申请第二方面提供一种连铸坯质量检测装置，包括：

接收模块，用于接收部署在连铸坯生产线上的控制台发送的质量检测请求，所述质量检测请求中包含所述连铸坯生产线上的图像采集设备采集的连铸坯图像；

处理模块，用于将所述连铸坯图像输入到缺陷检测模型中得到缺陷检测结果，其中，所述缺陷检测模型是采用深度卷积神经网络结构和实例分割算法对历史缺陷连铸坯图像进行训练得到的；

确定模块，用于根据所述缺陷检测结果确定所述连铸坯图像对应的连铸坯的质量好坏。

可选的，在第二方面的一种可能实现方式中，所述缺陷检测模型是采用深度卷积神经网络结构和实例分割算法对历史缺陷连铸坯图像进行训练得到的，包括：

所述缺陷检测模型是对所述历史缺陷连铸坯图像的候选区域损失、区域类别损失、区域边界损失和像素实例损失进行组合训练，以使所述候选区域损失、所述区域类别损失、所述区域边界损失和所述像素实例损失的总损失值满足预设损失阈值的结果；

其中，所述候选区域损失指所述历史缺陷连铸坯图像中选定缺陷区域与实际缺陷区域之间的损失值，所述区域类别损失指所述选定缺陷区域中预测缺陷类别与实际缺陷类别之间的损失值，所述区域边界损失指所述选定缺陷区域中预测缺陷边界与实际缺陷边界之间的损失，所述像素实例损失指所述历史缺陷连铸坯图像中预测像素实例与实际像素实例之间的损失。

可选的，在第二方面的另一种可能实现方式中，所述处理模块，还用于在将所述显示图像输入到缺陷检测模型中得到缺陷检测结果之前，对所述连铸坯图像进行图像预处理；

其中，所述图像预处理包括下述处理中的一项或多项：

光照补偿、除雾、锐化、裁边、剪切、旋转、缩小、放大。

可选的，在第二方面的再一种可能实现方式中，所述处理模块，具体用于根据负载均衡策略，确定承载处理资源的检测模型服务器，将所述连铸坯图像输入到运行在所述检测模型服务器上的所述缺陷检测模型中得到缺陷检测结果。

可选的，在第二方面的又一种可能实现方式中，所述缺陷检测结果，包括：缺陷类别，和/或，缺陷实例，和/或，缺陷位置；

所述确定模块，具体用于根据生产阶段信息以及所述缺陷检测结果，确定所述连铸坯图像对应的连铸坯的质量好坏。

可选的，在第二方面的又一种可能实现方式中，所述处理模块，还用于在所述确定模块根据所述缺陷检测结果确定所述连铸坯图像对应的连铸坯的质量好坏之后，若确定所述连铸坯存在缺陷，则执行以下一项或多项操作：

通过控制器向生产管理者发送报警信息；

通过控制器将所述缺陷检测结果作为日志存储到生产数据库中；

通过控制器向所述控制台发送生产控制指令以便消除缺陷；

将所述连铸坯图像和所述缺陷检测结果输入到所述缺陷检测模型中以便优化所述缺陷检测模型。

本申请第三方面提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一方面以及第一方面各种可能实现方式中任一项所述的方法。

本申请第四方面提供一种存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如第一方面以及第一方面各种可能实现方式中任一项所述的方法。

本申请实施例提供的连铸坯质量检测方法、装置、电子设备及存储介质，通过接收部署在连铸坯生产线上的控制台发送的质量检测请求，该质量检测请求中包含连铸坯生产线上的图像采集设备采集的连铸坯图像，将连铸坯图像输入到缺陷检测模型中得到缺陷检测结果，并根据该缺陷检测结果确定连铸坯图像对应的连铸坯的质量好坏。由于上述缺陷检测模型是采用深度卷积神经网络结构和实例分割算法对历史缺陷连铸坯图像进行训练得到的，因而，利用该缺陷检测模型得到的缺陷检测结果的分类精度高，系统性能有所提高，业务可扩展能力高，解决了现有连铸坯缺陷检测方法中由于受人的主观影响因素较大，致使检测准确度低、系统性能差、业务扩展能力低的问题。

附图说明

图1为本申请实施例提供的连铸坯质量检测系统的结构示意图；

图2为本申请实施例提供的连铸坯质量检测方法实施例一的流程示意图；

图3为本申请实施例提供的连铸坯质量检测方法实施例二的流程示意图；

图4为本申请实施例提供的连铸坯质量检测方法实施例三的流程示意图；

图5为本申请实施例提供的连铸坯质量检测装置实施例的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供的连铸坯质量检测方法应用于连铸坯质量检测系统中，图1为本申请实施例提供的连铸坯质量检测系统的结构示意图。如图1所示，该连铸坯质量检测系统包括：部署在连铸坯生产线上的图像采集设备11、控制台12、服务器组13、控制器14、数据库15和训练器16等多个不同的设备。

其中，图像采集设备11采集连铸坯生产线上的连铸坯图像，控制台12接收图像采集设备11采集的连铸坯图像，并将该连铸坯图像发送给服务器组13中的检测模型服务器130，检测模型服务器130将接收到的连铸坯图像输入到本身运行的缺陷检测模型中得到缺陷检测结果，控制器14接收检测模型服务器130的缺陷检测结果，并结合生产阶段信息给出业务响应，控制器14还可以将缺陷检测结果作为日志存储到数据库15中。此外，图像采集设备11采集到的连铸坯图像还可以直接存储到数据库15中，作为缺陷检测模型训练的原始数据。训练器16提取数据库中的历史缺陷连铸坯图像后，采用深度卷积神经网络结构和实例分割算法对历史缺陷连铸坯图像进行训练得到缺陷检测模型。

可选的，上述数据库15可以包括生产数据库151和训练数据库152，生产数据库151可以接收并保存控制器14发送的缺陷检测结果以及图像采集设备11采集到的连铸坯图像，训练数据库152可以存储从生产数据库151提取的历史缺陷连铸坯图像和对应的原始连铸坯图像，以使训练器16训练得到检测准确率高的缺陷检测模型。

可选的，本申请实施例中的训练器16可以是由硬件和/或软件功能实现的训练引擎，其作为缺陷检测模型的训练工具。

本申请实施例的连铸坯质量检测系统中还可以包括处理器、存储器等其他实体模块，本实施例不限于此。

下面首先针对本申请实施例所适用的应用场景进行简要说明。

现阶段，3C产业(3C产业是指结合电脑、通讯、和消费性电子三大科技产品整合应用的资讯家电产业)的整体智能自动化程度较低，通过对连铸坯行业的调研分析可知，大部分生产厂家采用的检测方式可以分为两种，即：人工检测方法和机器辅助的人工检测方法。

其中，人工检测方法是指依赖于行业专家在生产现场进行巡视检查，发现缺陷之后人工记录下来再做后续处理，这种方法受人的主观影响因素较大，不仅效率低，容易漏判误判，数据很难进行二次利用挖掘，而且钢铁生产环境往往比较恶劣，对人员的健康和安全会造成不利影响。

机器辅助的人工检测方法也可以称为半自动化光学仪器辅助质检方法，具体原理为：首先由具有一定判断能力的质检系统过滤掉不存在缺陷的图像，再由行业专家对疑似存在缺陷的图像进行检测判断。在机器辅助的人工检测方法中，质检系统多为专家系统和特征工程系统发展而来，是指专家将经验固化在质检系统中，使其具有一定的自动化能力。因此，机器辅助的人工检测方法不仅准确率低，系统性能差，无法覆盖厂商所有的检测标准，而且这种方法还效率低，容易漏判误判，检测后的图像数据很难进行二次利用挖掘。此外，在上述质检系统中，特征和判定规则都是基于行业专家的经验固化到机器中的，难以随业务的发展迭代，导致随着生产工艺的发展，质检系统的检测精度越来越低，甚至可能降低到完全不可用的状态。进一步的，质检系统的特征都由第三方供应商预先固化在硬件中，升级时不仅需要对生产线进行重大改造，而且价格昂贵，其在安全性、规范化、可扩展性等方面都存在着明显不足，不利于连铸坯生产线的优化升级，业务扩展能力低。

综上所述，人工检测方法和机器辅助的人工检测方法均存在如下缺点：不仅效率低下、容易出现误判，而且这两种方法产生的工业数据不易存储、管理和二次挖掘再利用。

本申请实施例基于人工智能技术在计算机视觉中的最新发展，研发一种自动化、高精度的连铸坯质量检测方法，利用图像采集设备在连铸坯生产线上实时采集的连铸坯图像，实时对连铸坯的表面质量进行检测判断，如果检测到当前图像采集设备采集到的连铸坯存在质量问题，则确定出该质量问题在图片中所在的位置及其所属的类别以及类别实例。

值得说明的是，本申请实施例可以应用于任何可以利用人眼、计算机视觉进行连铸坯检测的场景，同时可随业务发展迭代模型，使模型能够适应生产环境的最新需求，在分类精度、可扩展性、规范化等方面为工业生产线带来显著的提升。

可选的，本申请实施例中所述的质量问题可以包括，但是不局限于包括震动痕迹、表面裂纹、表面纵裂纹、脚步纵裂纹等不同类别的缺陷问题。此处不进行一一介绍。

下面，通过具体实施例对本申请的技术方案进行详细说明。需要说明的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

本申请实施例中，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

图2为本申请实施例提供的连铸坯质量检测方法实施例一的流程示意图。如图2所示，在本申请实施例中，该连铸坯质量检测方法可以包括如下步骤：

步骤21：接收部署在连铸坯生产线上的控制台发送的质量检测请求，该质量检测请求中包含连铸坯生产线上的图像采集设备采集的连铸坯图像。

可选的，在本申请实施例中，连铸坯生产线上部署有图像采集设备、控制台、服务器组、控制器、数据库等多个不同的设备。图像采集设备可以是高精度图像采集摄像头，在连铸坯的生产过程中，通过调整图像采集设备的角度、光线、滤镜、倍镜、聚焦等，可以采集到多张处于连铸坯生产线上的连铸坯对应的连铸坯图像。

当连铸坯生产线上的图像采集设备采集到连铸坯图像之后，部署在连铸坯生产线上的控制台则可以向连铸坯生产线上部署有缺陷检测模型的服务器组发送质量检测请求，该质量检测请求中包含上述图像采集设备采集的连铸坯图像，以使服务器组中接收到该质量检测请求的服务器对接收到的连铸坯图像进行处理。

步骤22：将上述连铸坯图像输入到缺陷检测模型中得到缺陷检测结果，其中，该缺陷检测模型是采用深度卷积神经网络结构和实例分割算法对历史缺陷连铸坯图像进行训练得到的。

可选的，接收到质量检测请求的服务器将质量检测请求中的连铸坯图像输入到服务器上运行着的缺陷检测模型中，由缺陷检测模型执行缺陷检测，进而得到缺陷检测结果。

值得说明的是，服务器上运行的缺陷检测模型是采用深度卷积神经网络结构和实例分割算法对历史缺陷连铸坯图像进行训练得到的。即，连铸坯生产线上的连铸坯图像作为缺陷检测模型的输入，利用深度卷积神经网络结构和实例分割算法提取连铸坯图像中的特征(即，连铸坯图像中存在的缺陷)作为缺陷检测模型的输出，进而对缺陷检测模型进行训练。

具体的，实例分割是指机器可以自动从图像中用目标检测方法确定出不同实例，再用语义分割方法在不同实例区域内进行逐像素标记。值得说明的是，语义分割不区分属于相同缺陷类别的不同实例，而实例分割需要区分出哪些像素具体属于某一类缺陷的哪个实例。因而，在本申请实施例中，缺陷检测模型是基于采用深度卷积神经网络结构和实例分割算法对大量历史缺陷连铸坯图像进行训练得到，即首先确定出历史缺陷连铸坯图像中存在的不同缺陷实例，再从像素的角度分割出图像中的缺陷，以及缺陷对应的具体实例，并在连铸坯图像中标注出来，最后对其进行分类统计、组合训练得到。

作为一种示例，本申请实施例中的缺陷检测模型是采用深度卷积神经网络结构和实例分割算法对历史缺陷连铸坯图像进行训练得到的，可以解释如下：

缺陷检测模型是对历史缺陷连铸坯图像的候选区域损失、区域类别损失、区域边界损失和像素实例损失进行组合训练，以使该候选区域损失、该区域类别损失、该区域边界损失和该像素实例损失的总损失值满足预设损失阈值的结果。

其中，候选区域损失指历史缺陷连铸坯图像中选定缺陷区域与实际缺陷区域之间的损失值，区域类别损失指选定缺陷区域中预测缺陷类别与实际缺陷类别之间的损失值，区域边界损失指选定缺陷区域中预测缺陷边界与实际缺陷边界之间的损失，像素实例损失指历史缺陷连铸坯图像中预测像素实例与实际像素实例之间的损失。

在本申请实施例中，缺陷检测模型以卷积神经网络(convolutional neuralnetworks，CNNs)结构为基础，卷积神经网络的结构主要是由卷积层、池化层、全连接层等组成，对于卷积神经网络的粒度和层次选择可以根据实际情况确定，本申请实施例并不对其进行限定。卷积层的卷积操作是指利用权值不同的卷积核对连铸坯图像或者经过至少一次卷积处理后得到的图像特征图进行扫描卷积，从中提取出各种类别的特征，并重新得到一个图像特征图的过程。其中，卷积核就是权矩阵，即卷积时使用到的权用一个矩阵表示，该矩阵与对应的图像区域大小相同，其行、列都是奇数，是一个权矩阵。池化层的池化操作则是指对卷积层输出的特征图进行降维操作，保留特征图中的主要特征。在CNN网络中，全连接层将卷积层产生的特征图映射成一个固定长度(一般为输入图像数据集中的图像类别数)的特征向量，这个特征向量包含了输入图像所有特征的组合信息，即将图像中含有最具有特点的图像特征保留了下来以此完成图像分类任务。

本申请实施例可以利用这种具有卷积、池化、全连接操作的深度神经网络模型，对连铸坯生产线上由图像采集设备采集到的连铸坯图像的变形、模糊、光照变化等特征具有较高的鲁棒性，对于分类任务具有更高的可泛化性。

可选的，在本实施例中，实例分割算法可以是Mask RCNN算法，该Mask RCNN算法是在Faster RCNN算法的基础上，增加了实例分割的网络分支。该网络分支是针对FasterRCNN算法提取的特征图，再基于二分插值的方法将特征图还原到连铸坯图像的原图大小，并对每一个像素进行预测其所属的实例，即得到预测像素实例。对于每个像素的预测结果，将其与实际像素实例做交叉熵运算，得到像素实例损失。随后，将该像素实例损失与FasterRCNN算法的损失结合到一起，做组合训练，得到缺陷检测模型。

Faster RCNN算法是Mask RCNN算法的基础，该Faster RCNN算法首先利用卷积神经网络结构的卷积操作，得到其特征图，然后再计算连铸坯图像的选定缺陷区域内是否包含特定缺陷，如果包含缺陷，一方面，可以计算选定缺陷区域与实际缺陷区域之间的损失值(候选区域损失)，另一方面，可以利用卷积神经网络进行特征提取，然后预测选定缺陷区域中的缺陷类别和缺陷边界，进而计算出选定缺陷区域中预测缺陷类别与实际缺陷类别之间的损失值(区域类别损失)以及选定缺陷区域中预测缺陷边界与实际缺陷边界之间的损失值(区域边界损失)。如果连铸坯图像的选定缺陷区域内不包含特定缺陷，则不进行分类。

综上可知，缺陷检测模型是对历史缺陷连铸坯图像的候选区域损失、区域类别损失、区域边界损失和像素实例损失进行组合训练的结果，可以得到包含候选区域损失、区域类别损失、区域边界损失和像素实例损失的损失函数，该损失函数在缺陷检测模型的训练阶段用于评估卷积神经网络输出结果与实际值的差异，然后用损失函数的值更新每个神经元之间的权重值。卷积神经网络的训练目的就是最小化损失函数值。

当缺陷检测模型的输出结果与连铸坯图像中标记的缺陷结果之间的误差值小于预设损失阈值时，停止训练。该预设损失阈值是指符合连铸坯业务要求的值。

值得说明的是，在本申请实施例中，对于不同的生产场景和连铸坯图像的特点，训练上述缺陷检测模型所需要的深度卷积神经网络的深度、每层的神经元数量以及卷积层、池化层的组织方式均可能不同，其可以根据实际情况进行确定，本实施例并不对其进行限定。

步骤23：根据上述缺陷检测结果确定连铸坯图像对应的连铸坯的质量好坏。

可选的，在本申请的实施例中，当根据缺陷检测模型得出缺陷检测结果之后，可以依据该缺陷检测结果确定上述连铸坯图像对应的连铸坯的质量好坏。

可选的，在本申请的一实施例中，上述缺陷检测结果，可以包括：缺陷类别，和/或，缺陷实例，和/或，缺陷位置。

可选的，在本实施例中，当连铸坯图像中存在缺陷时，该缺陷检测模型可以得出的缺陷检测结果中可以包括缺陷类别(连铸坯表面共存在几类缺陷)、缺陷实例(连铸坯表面的缺陷具体属于哪类缺陷中的哪一个，即也可以获知每类缺陷具体有几个)、缺陷位置(每个缺陷的具体位置)。也就是说，本申请实施例的缺陷检测模型可以检测出连铸坯图像中存在几类缺陷类型，以及每类缺陷的具体个数。

相应的，该步骤23(根据上述缺陷检测结果确定连铸坯图像对应的连铸坯的质量好坏)可以替换为如下步骤：

根据生产阶段信息以及上述缺陷检测结果，确定连铸坯图像对应的连铸坯的质量好坏。

具体的，连铸坯的生产厂家不同、连铸坯的生产环境、以及连铸坯的类型不同等多种不同的生产阶段信息均可能在连铸坯质量检测过程中得到不同的缺陷检测结果。对于不同种类的连铸坯，所其经历的生产阶段不同，因而，对上述得到的缺陷检测结果进行分析时，需要结合各连铸坯的生产阶段信息进行来确定连铸坯的质量好坏。

本申请实施例提供的连铸坯质量检测方法，通过接收部署在连铸坯生产线上的控制台发送的质量检测请求，该质量检测请求中包含连铸坯生产线上的图像采集设备采集的连铸坯图像，将连铸坯图像输入到缺陷检测模型中得到缺陷检测结果，并根据该缺陷检测结果确定连铸坯图像对应的连铸坯的质量好坏。由于上述缺陷检测模型是采用深度卷积神经网络结构和实例分割算法对历史缺陷连铸坯图像进行训练得到的，因而，利用该缺陷检测模型得到的缺陷检测结果的分类精度高，智能化能力强，系统性能有所提高，业务可扩展能力高。

可选的，图3为本申请实施例提供的连铸坯质量检测方法实施例二的流程示意图。本申请实施例是在图2所示实施例的基础上对连铸坯质量检测方法的进一步说明。如图3所示，本实施例提供的连铸坯质量检测方法，在上述步骤22(将上述连铸坯图像输入到缺陷检测模型中得到缺陷检测结果)之前，该方法还可以包括如下步骤：

步骤31：对上述连铸坯图像进行图像预处理，其中，该图像预处理包括下述处理中的一项或多项：光照补偿、除雾、锐化、裁边、剪切、旋转、缩小、放大。

可选的，由于连铸坯是炼钢炉炼成的钢水经过连铸机铸造后得到的产品，通常情况下，部署在连铸坯生产线上的图像采集设备一般是高精度摄像头，且连铸坯的生产环境为高温高压，因而，利用该图像采集设备采集到的连铸坯图像可能出现光照不均匀、雾化严重、模糊、尺寸较大、像素较高、位置不合适等问题。因而，为了得到准确的质量检测结果，当接收到控制台发送的包含在质量检测请求中的连铸坯图像之后，需要根据实际情况对连铸坯图像进行预处理。

光照补偿也称为光照均衡化，主要是用来解决环境光照变化和光照不均匀的问题。在连铸坯图像采集的过程中，由于环境限制使得光源无法均匀的覆盖整个连铸坯图像，使得连铸坯图像中普遍存在明显的偏光照射，直接导致连铸坯图像部分局部过亮或过暗，由于在图像的预处理过程中，对缺陷的分离提取很大程度上要依赖于其灰度值的特征，而光照不均造成的局部过暗或过亮都会对特征提取造成极大的影响，因而，有效的去除光照的影响对整个图像预处理过程具有重要的意义。

鉴于连铸坯的制造环境是高温高压，因而，连铸坯生产线上的连铸坯表面可能会笼罩一层雾气，所以，图像采集设备拍摄到的连铸坯图像表面也可能存在一层雾气，所以，为了避免雾气对缺陷检测结果造成影响，在将连铸坯图像输入到缺陷检测模型中得到缺陷检测结果之前，需要进行除雾操作，以使连铸坯图像中的缺陷更突出，为后续得到准确的缺陷检测结果奠定基础。

当部署在连铸坯生产线上的图像采集设备采集的连铸坯图像细节模糊、清晰度低时，为了连铸坯图像变得清晰，可以对连铸坯图像进行锐化处理，以突出连铸坯图像上各个缺陷的边缘、轮廓，或某些线性目标要素的特征，其可以提高缺陷边缘与周围像素之间的反差，更容易将连铸坯图像中的缺陷检测出来。

此外，若连铸坯图像的边缘区域较大，此时，可以对连铸坯图像进行裁边处理，保留连铸坯图像的有用部分，或者，若连铸坯图像的尺寸较大，此时，可以对连铸坯图像进行剪切、缩小处理，以使送入缺陷检测模型的连铸坯图像可以完全被检测，提高连铸坯的检测精度。再或者，若需要着重检测连铸坯图像中的某一区域，可以对连铸坯图像中的该区域进行放大等处理，以使预处理后的连铸坯图像符合检测标准。

本申请实施例的连铸坯质量检测方法，通过在将连铸坯图像输入到缺陷检测模型中得到缺陷检测结果之前，对上述连铸坯图像进行光照补偿、除雾、锐化、裁边、剪切、旋转、缩小、放大等图像预处理，可以使送入到缺陷检测模型的连铸坯图像符合检测标准，为后续连铸坯图像中的缺陷检测奠定了基础，提高了连铸坯质量的检测准确度。

可选的，在上述实施例的基础上，图4为本申请实施例提供的连铸坯质量检测方法实施例三的流程示意图。如图4所示，在本实施例中，上述步骤22(将上述连铸坯图像输入到缺陷检测模型中得到缺陷检测结果)可以通过如下步骤实现：

步骤41：根据负载均衡策略，确定承载处理资源的检测模型服务器。

可选的，在本申请的实施例中，连铸坯生产线上部署有一个服务器组，该服务器组中的服务器数量可以为多个，每个服务器上均运行着缺陷检测模型。可选的，每个服务器上运行的缺陷检测模型均是相同的，因此，每个服务器均可接收控制台发送的质量检测请求，进而可以利用自身承载的缺陷检测模型对连铸坯图像进行质量检测。

作为一种示例，由于部署在连铸坯生产线上的图像采集设备实时采集连铸坯图像，因而，控制台也可以实时向服务器组中的任一服务器发送质量检测请求。

可选的，由于服务器组中每个服务器上运行的缺陷检测模型是相同的，因而，为了提高服务器上的缺陷检测模型的检测效率，保证缺陷检测模型的负载均衡，可以根据预先设置的负载均衡策略，从服务器组中确定一个承载处理资源的检测模型服务器，即根据连铸坯生产线上缺陷检测模型的部署情况实时进行负载均衡和调度。

步骤42：将上述连铸坯图像输入到运行在上述检测模型服务器上的缺陷检测模型中得到缺陷检测结果。

可选的，在本申请实施例中，当从服务器组中确定出承载处理资源的检测模型服务器之后，便可以将上述连铸坯图像输入到该检测模型服务器上运行的缺陷检测模型中，利用该缺陷检测模型对连铸坯图像的缺陷进行检测，进而得到缺陷检测结果。可选的，该缺陷检测模型是由训练模块采用深度卷积神经网络结构和实例分割算法对历史缺陷连铸坯图像进行训练得到的。

本申请实施例提供的连铸坯质量检测方法，通过根据负载均衡策略，确定承载处理资源的检测模型服务器，并且将上述连铸坯图像输入到运行在上述检测模型服务器上的缺陷检测模型中得到缺陷检测结果，能够实现服务器上的负载均衡，提高连铸坯图像的检测效率，提升连铸坯质量检测系统的性能。

可选的，在本申请实施例提供的连铸坯质量检测方法中，在上述步骤23(根据上述缺陷检测结果确定连铸坯图像对应的连铸坯的质量好坏)之后，还可以包括如下步骤：

若确定上述连铸坯存在缺陷，则执行以下一项或多项操作：

通过控制器向生产管理者发送报警信息；

通过控制器将上述缺陷检测结果作为日志存储到生产数据库中；

通过控制器向所述控制台发送生产控制指令以便消除缺陷；

将上述连铸坯图像和上述缺陷检测结果输入到上述缺陷检测模型中以便优化上述缺陷检测模型。

可选的，在本申请实施例中，测试人员可以根据连铸坯的生产场景和生产阶段信息，预先设置当确定连铸坯存在缺陷时的解决方案，比如，通过控制器向生产管理者发送报警信息，和/或，通过控制器将上述缺陷检测结果作为日志存储到生产数据库中，和/或，通过控制器向控制台发送生产控制指令以便消除缺陷，和/或，将上述连铸坯图像和上述缺陷检测结果输入到上述缺陷检测模型中以便优化上述缺陷检测模型等。

具体的，作为一种示例，当根据上述缺陷检测结果确定出连铸坯图像对应的连铸坯存在缺陷，即连铸坯中存在缺陷时，可以发出报警信息，以使生产管理者及时定位缺陷的类别和位置，并且给出解决方案。

作为另一种示例，当根据上述缺陷检测结果确定连铸坯中存在缺陷时，可以通过控制器将上述缺陷检测结果作为日志存储到生产数据库中，即将连铸坯的缺陷类别，和/或，缺陷实例，和/或，缺陷位置作为日志存储到生产数据库中，进而可以将其筛选到训练数据库中，由训练模块(可以是训练引擎等软件程序)根据存在缺陷的连铸坯图像更新上述缺陷检测模型。

作为再一种示例，当根据上述缺陷检测结果确定连铸坯中存在缺陷时，还可以通过控制器向控制台发送生产控制指令以便消除缺陷。即，承载缺陷检测模型的检测模型服务器可以通过控制器确定出缺陷出现的原因，进而根据相应的调整生产流程，也即，检测模型服务器通过控制器向控制台发送生产控制指令以消除连铸坯表面出现的缺陷，以减少存在缺陷的连铸坯出现的概率。

作为又一种示例，当根据上述缺陷检测结果确定连铸坯中存在缺陷时，也可以直接将上述连铸坯图像和上述缺陷检测结果输入到上述缺陷检测模型中以便优化上述缺陷检测模型，即直接将存在缺陷的连铸坯对应的连铸坯图像作为缺陷检测模型的输入，存在缺陷的连铸坯的缺陷检测结果作为缺陷检测模型的输出，以优化该缺陷检测模型，进而提高缺陷检测模型的检测准确度。

值得说明的是，本申请实施例并不限定在确定连铸坯存在缺陷时，检测模型服务器可执行的上述一项或多项操作，其可根据实际情况进行确定，此处不再赘述。

可选的，对于连铸坯生产线上部署的图像采集设备、控制台、服务器组、控制器、数据库等多个不同的设备，也可以将连铸坯质量检测方法对应的操作步骤分散到上述多个不同的设备来执行。例如，图像采集设备采集连铸坯图像，控制台根据负载均衡策略，将图像采集设备采集到的连铸坯图像发送给服务器组中的检测模型服务器，由检测模型服务器上运行的缺陷检测模型对连铸坯图像进行预设的预处理之后进行缺陷检测，并给出缺陷检测结果。检测模型服务器可以将缺陷检测结果发送给控制器，一方面由控制器结合实际业务场景，并根据业务需求，根据上述缺陷检测结果做出符合实际业务场景要求的响应，如报警、存储日志、控制生产控制指令等，另一方面，控制器还可以将缺陷检测结果及上述响应的处理行为作为日志存储到生产数据库中，以使训练模块根据训练数据库中的连铸坯图像和缺陷检测结果更新上述得到的缺陷检测模型，该训练数据库中存储的是从生产数据库中筛选的具有缺陷的连铸坯图像和对应的缺陷检测结果等数据。

值得说明的是，对于每一次优化的缺陷检测模型可通过小流量上线的方式逐步取代正在服务器上运行的缺陷检测模型，以达到缺陷检测模型随业务场景和生产阶段信息动态扩展泛化的目的。当本申请实施例中连铸坯质量检测方法在连铸坯生产线上运行一段时间后，可以人工通过生产数据库中的信息，复查上述缺陷检测和缺陷定位的准确率，然后更新上述训练数据库，重新训练缺陷检测模型，以提高缺陷检测准确率。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

图5为本申请实施例提供的连铸坯质量检测装置实施例的结构示意图。如图5所示，本申请实施例提供的连铸坯质量检测装置可以包括：接收模块51、处理模块52和确定模块53。

其中，该接收模块51，用于接收部署在连铸坯生产线上的控制台发送的质量检测请求，所述质量检测请求中包含所述连铸坯生产线上的图像采集设备采集的连铸坯图像；

处理模块52，用于将所述连铸坯图像输入到缺陷检测模型中得到缺陷检测结果，其中，所述缺陷检测模型是采用深度卷积神经网络结构和实例分割算法对历史缺陷连铸坯图像进行训练得到的；

确定模块53，用于根据所述缺陷检测结果确定所述连铸坯图像对应的连铸坯的质量好坏。

可选的，所述缺陷检测模型是采用深度卷积神经网络结构和实例分割算法对历史缺陷连铸坯图像进行训练得到的，包括：

所述缺陷检测模型是对所述历史缺陷连铸坯图像的候选区域损失、区域类别损失、区域边界损失和像素实例损失进行组合训练，以使所述候选区域损失、所述区域类别损失、所述区域边界损失和所述像素实例损失的总损失值满足预设损失阈值的结果；

其中，所述候选区域损失指所述历史缺陷连铸坯图像中选定缺陷区域与实际缺陷区域之间的损失值，所述区域类别损失指所述选定缺陷区域中预测缺陷类别与实际缺陷类别之间的损失值，所述区域边界损失指所述选定缺陷区域中预测缺陷边界与实际缺陷边界之间的损失，所述像素实例损失指所述历史缺陷连铸坯图像中预测像素实例与实际像素实例之间的损失。

可选的，在本申请的一种可能实现方式中，所述处理模块52，还用于在将所述显示图像输入到缺陷检测模型中得到缺陷检测结果之前，对所述连铸坯图像进行图像预处理。

其中，所述图像预处理包括下述处理中的一项或多项：

光照补偿、除雾、锐化、裁边、剪切、旋转、缩小、放大。

可选的，在本申请的另一种可能实现方式中，所述处理模块52，具体用于根据负载均衡策略，确定承载处理资源的检测模型服务器，将所述连铸坯图像输入到运行在所述检测模型服务器上的所述缺陷检测模型中得到缺陷检测结果。

可选的，在本申请的再一种可能实现方式中，所述缺陷检测结果，包括：缺陷类别，和/或，缺陷实例，和/或，缺陷位置；

所述确定模块53，具体用于根据生产阶段信息以及所述缺陷检测结果，确定所述连铸坯图像对应的连铸坯的质量好坏。

可选的，在本申请的又一种可能实现方式中，所述处理模块52，还用于在所述确定模块53根据所述缺陷检测结果确定所述连铸坯图像对应的连铸坯的质量好坏之后，若确定所述连铸坯存在缺陷，则执行以下一项或多项操作：

通过控制器向生产管理者发送报警信息；

通过控制器将所述缺陷检测结果作为日志存储到生产数据库中；

通过控制器向所述控制台发送生产控制指令以便消除缺陷；

将所述连铸坯图像和所述缺陷检测结果输入到所述缺陷检测模型中以便优化所述缺陷检测模型。

本实施例的连铸坯质量检测装置可用于执行图2至图4所示方法实施例的实现方案，具体实现方式和技术效果类似，这里不再赘述。

本申请实施例还提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述图2至图4所示方法实施例所示的连铸坯质量检测方法中的各个步骤。

本申请还提供一种存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如图2至图4所示方法实施例的方法。

本申请还提供一种程序产品，该程序产品包括计算机程序，该计算机程序存储在存储介质中。连铸坯质量检测装置的至少一个处理器可以从存储介质读取该计算机程序，至少一个处理器执行该计算机程序使得连铸坯质量检测装置执行图2至图4所示方法实施例的方法。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (14)

1.一种连铸坯质量检测方法，其特征在于，包括：

接收部署在连铸坯生产线上的控制台发送的质量检测请求，所述质量检测请求中包含所述连铸坯生产线上的图像采集设备采集的连铸坯图像；

将所述连铸坯图像输入到缺陷检测模型中得到缺陷检测结果，其中，所述缺陷检测模型是采用深度卷积神经网络结构和实例分割算法对历史缺陷连铸坯图像进行训练得到的；

根据所述缺陷检测结果确定所述连铸坯图像对应的连铸坯的质量好坏。

2.根据权利要求1所述的方法，其特征在于，所述缺陷检测模型是采用深度卷积神经网络结构和实例分割算法对历史缺陷连铸坯图像进行训练得到的，包括：

所述缺陷检测模型是对所述历史缺陷连铸坯图像的候选区域损失、区域类别损失、区域边界损失和像素实例损失进行组合训练，以使所述候选区域损失、所述区域类别损失、所述区域边界损失和所述像素实例损失的总损失值满足预设损失阈值的结果；

其中，所述候选区域损失指所述历史缺陷连铸坯图像中选定缺陷区域与实际缺陷区域之间的损失值，所述区域类别损失指所述选定缺陷区域中预测缺陷类别与实际缺陷类别之间的损失值，所述区域边界损失指所述选定缺陷区域中预测缺陷边界与实际缺陷边界之间的损失，所述像素实例损失指所述历史缺陷连铸坯图像中预测像素实例与实际像素实例之间的损失。

3.根据权利要求1所述的方法，其特征在于，所述将所述显示图像输入到缺陷检测模型中得到缺陷检测结果之前，还包括：

对所述连铸坯图像进行图像预处理，其中，所述图像预处理包括下述处理中的一项或多项：

光照补偿、除雾、锐化、裁边、剪切、旋转、缩小、放大。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述将所述连铸坯图像输入到缺陷检测模型中得到缺陷检测结果，包括：

根据负载均衡策略，确定承载处理资源的检测模型服务器；

将所述连铸坯图像输入到运行在所述检测模型服务器上的所述缺陷检测模型中得到缺陷检测结果。

5.根据权利要求1-3任一项所述的方法，其特征在于，所述缺陷检测结果，包括：缺陷类别，和/或，缺陷实例，和/或，缺陷位置；

所述根据所述缺陷检测结果确定所述连铸坯图像对应的连铸坯的质量好坏，包括：

根据生产阶段信息以及所述缺陷检测结果，确定所述连铸坯图像对应的连铸坯的质量好坏。

6.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述缺陷检测结果确定所述连铸坯图像对应的连铸坯的质量好坏之后，还包括：

若确定所述连铸坯存在缺陷，则执行以下一项或多项操作：

通过控制器向生产管理者发送报警信息；

通过控制器将所述缺陷检测结果作为日志存储到生产数据库中；

通过控制器向所述控制台发送生产控制指令以便消除缺陷；

将所述连铸坯图像和所述缺陷检测结果输入到所述缺陷检测模型中以便优化所述缺陷检测模型。

7.一种连铸坯质量检测装置，其特征在于，包括：

接收模块，用于接收部署在连铸坯生产线上的控制台发送的质量检测请求，所述质量检测请求中包含所述连铸坯生产线上的图像采集设备采集的连铸坯图像；

处理模块，用于将所述连铸坯图像输入到缺陷检测模型中得到缺陷检测结果，其中，所述缺陷检测模型是采用深度卷积神经网络结构和实例分割算法对历史缺陷连铸坯图像进行训练得到的；

确定模块，用于根据所述缺陷检测结果确定所述连铸坯图像对应的连铸坯的质量好坏。

8.根据权利要求7所述的装置，其特征在于，

所述缺陷检测模型是采用深度卷积神经网络结构和实例分割算法对历史缺陷连铸坯图像进行训练得到的，包括：

所述缺陷检测模型是对所述历史缺陷连铸坯图像的候选区域损失、区域类别损失、区域边界损失和像素实例损失进行组合训练，以使所述候选区域损失、所述区域类别损失、所述区域边界损失和所述像素实例损失的总损失值满足预设损失阈值的结果；

其中，所述候选区域损失指所述历史缺陷连铸坯图像中选定缺陷区域与实际缺陷区域之间的损失值，所述区域类别损失指所述选定缺陷区域中预测缺陷类别与实际缺陷类别之间的损失值，所述区域边界损失指所述选定缺陷区域中预测缺陷边界与实际缺陷边界之间的损失，所述像素实例损失指所述历史缺陷连铸坯图像中预测像素实例与实际像素实例之间的损失。

9.根据权利要求7所述的装置，其特征在于，

所述处理模块，还用于在将所述显示图像输入到缺陷检测模型中得到缺陷检测结果之前，对所述连铸坯图像进行图像预处理；

其中，所述图像预处理包括下述处理中的一项或多项：

光照补偿、除雾、锐化、裁边、剪切、旋转、缩小、放大。

10.根据权利要求7-9任一项所述的装置，其特征在于，

所述处理模块，具体用于根据负载均衡策略，确定承载处理资源的检测模型服务器，将所述连铸坯图像输入到运行在所述检测模型服务器上的所述缺陷检测模型中得到缺陷检测结果。

11.根据权利要求7-9任一项所述的装置，其特征在于，所述缺陷检测结果，包括：缺陷类别，和/或，缺陷实例，和/或，缺陷位置；

所述确定模块，具体用于根据生产阶段信息以及所述缺陷检测结果，确定所述连铸坯图像对应的连铸坯的质量好坏。

12.根据权利要求7-9任一项所述的装置，其特征在于，

所述处理模块，还用于在所述确定模块根据所述缺陷检测结果确定所述连铸坯图像对应的连铸坯的质量好坏之后，若确定所述连铸坯存在缺陷，则执行以下一项或多项操作：

通过控制器向生产管理者发送报警信息；

通过控制器将所述缺陷检测结果作为日志存储到生产数据库中；

通过控制器向所述控制台发送生产控制指令以便消除缺陷；

将所述连铸坯图像和所述缺陷检测结果输入到所述缺陷检测模型中以便优化所述缺陷检测模型。

13.一种电子设备，包括处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上述权利要求1-6任一项所述的方法。

14.一种存储介质，其特征在于，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如权利要求1-6任一项所述的方法。