CN117689660A - 基于机器视觉的保温杯温度质检方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的保温杯温度质检方法。具体方案为：获取包括目标保温杯底部的待处理热力图像；基于目标图像分割模型对待处理热力图像进行处理，得到待处理热力图像中每个像素点对应的分类区域标识，其中，不同的分类区域标识对应于目标保温杯底部的不同区域；基于分类区域标识以及待处理热力图像，确定与目标区域标识相对应的目标区域温度；基于目标区域温度和目标保温杯所属环境的环境温度，确定目标保温杯的质检结果。本发明实现了对目标保温杯区域的精确分割，提高了区域分割的准确性和效率，同时，根据分割后的区域实现了对目标保温杯的温度质检。

Description

基于机器视觉的保温杯温度质检方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于机器视觉的保温杯温度质检方法。

背景技术

目前，对于保温杯的质检方法包括两种情况：其一是依赖人工方式观察和判断保温杯的质检情况，其二是利用计算机视觉的方式对保温杯进行质检。

但是，基于人工方式对保温杯进行质检的方式，不仅质检效率低下，而且评估结果容易受到质检人员主观因素的影响，无法实现对保温杯的自动化质检。利用计算机视觉方式对保温杯进行检测时，仅仅是基于图像的边缘、纹理和颜色等特征进行分析，从而获得质检结果。因而，上述方式难以获得准确的保温杯质检结果。基于此，本发明提出了利用目标图像分割模型对保温杯进行温度质检的技术方案。

发明内容

本发明提供了一种基于机器视觉的保温杯温度质检方法，实现了对目标保温杯区域的精确分割，提高了区域分割的准确性和效率，同时，根据分割后的区域实现了对目标保温杯的温度质检。

根据本发明的一方面，提供了一种基于机器视觉的保温杯温度质检方法，该方法包括：

获取包括目标保温杯底部的待处理热力图像；

基于目标图像分割模型对待处理热力图像进行处理，得到待处理热力图像中每个像素点对应的分类区域标识，其中，不同的分类区域标识对应于目标保温杯底部的不同区域；

基于分类区域标识以及待处理热力图像，确定与目标区域标识相对应的目标区域温度；

基于目标区域温度和目标保温杯所属环境的环境温度，确定目标保温杯的质检结果。

根据本发明的另一方面，提供了一种基于机器视觉的保温杯温度质检装置，该装置包括：

图像获取模块，用于获取包括目标保温杯底部的待处理热力图像；

区域标识确定模块，用于基于目标图像分割模型对待处理热力图像进行处理，得到待处理热力图像中每个像素点对应的分类区域标识，其中，不同的分类区域标识对应于目标保温杯底部的不同区域；

区域温度确定模块，用于基于分类区域标识以及待处理热力图像，确定与目标区域标识相对应的目标区域温度；

质检结果确定模块，用于基于目标区域温度和目标保温杯所属环境的环境温度，确定目标保温杯的质检结果。

根据本发明的另一方面，提供了一种电子设备，该电子设备包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器能够执行本发明任一实施例的基于机器视觉的保温杯温度质检方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行时实现本发明任一实施例的基于机器视觉的保温杯温度质检方法。

本发明实施例的技术方案，通过获取包括目标保温杯底部的待处理热力图像；基于目标图像分割模型对待处理热力图像进行处理，得到待处理热力图像中每个像素点对应的分类区域标识，其中，不同的分类区域标识对应于目标保温杯底部的不同区域；基于分类区域标识以及待处理热力图像，确定与目标区域标识相对应的目标区域温度；基于目标区域温度和目标保温杯所属环境的环境温度，确定目标保温杯的质检结果。解决了现有技术中保温杯质检效率低以及质检结果不准确的问题，实现了对目标保温杯区域的精确分割，提高了区域分割的准确性和效率，同时，根据分割后的区域实现了对目标保温杯的温度质检。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种基于机器视觉的保温杯温度质检方法的流程图；

图2是本发明实施例提供的待处理热力图像的示例图；

图3是本发明实施例提供的待处理热力图像的分类区域标识对应的可视化图像；

图4是本发明实施例提供的待处理热力图像和可视化图像对应的迭加图像；

图5是本发明实施例提供的待处理热力图像的示例图；

图6是本发明实施例提供的待处理热力图像的分类区域标识对应的可视化图像；

图7是本发明实施例提供的一种目标图像分割模型训练方法的流程图；

图8是本发明实施例提供的图像采集装置获取到的热力图像；

图9是本发明实施例提供的样本图像中分类区域标识可视化后对应的示意图；

图10是本发明实施例提供的样本图像的示例图；

图11是本发明实施例提供的第一损失值对待训练图像分割模型进行修正后，得到的预测标注区域的示例图；

图12是本发明实施例提供的一种基于机器视觉的保温杯温度质检装置的结构示意图；

图13是实现本发明实施例的基于机器视觉的保温杯温度质检方法的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1是本发明实施例提供的一种基于机器视觉的保温杯温度质检方法的流程图，本实施例可适用于对目标保温杯进行温度质检的情况，该方法可以由基于机器视觉的保温杯温度质检装置来执行，该基于机器视觉的保温杯温度质检装置可以采用硬件和/或软件的形式实现，该基于机器视觉的保温杯温度质检装置可配置于手机、计算机或者服务器等的电子设备中。如图1所示，该方法包括：

S110、获取包括目标保温杯底部的待处理热力图像。

其中，在运送保温杯的传送带工作过程中，可以利用图像采集装置对保温杯进行图像采集，以实现对保温杯的质检处理。则，可以将当前需要进行质检的保温杯作为目标保温杯。相应的，基于图像采集装置对目标保温杯进行图像采集获得的图像，即为待处理热力图像。

具体的，在传送带工作时，可以使用位置传感器检测到目标保温杯是否运输到指定位置，其中，指定位置可以是根据实际需求以及位置传感器设置的位置。若目标保温杯运输到指定位置，则可以利用部署在目标保温杯上方位置的图像采集装置对目标保温杯进行图像采集，以得到包括目标保温杯底部的热力图像，记为待处理热力图像。

可选的，获取包括目标保温杯底部的待处理热力图像，包括：在基于部署在第一预设位置的传感器装置检测到目标保温杯时，基于图像采集装置采集包括目标保温杯底部的待处理热力图像；其中，第一预设位置处还设置有目标光源，目标光源作用于目标保温杯上，且目标光源处于工作状态。

其中，第一预设位置可以是根据传感器装置的感应范围以及运送目标保温杯的传送带的位置信息确定的。传感器装置可以用以确定感应范围内是否存在目标保温杯。可选的，传感器装置可以是距离传感器，也可以是应用二维码扫描或是RFID（Radio FrequencyIdentification，射频识别技术）等技术的装置，本实施例对此不做限制。另外，为获取待处理热力图像，则图像采集装置可以是红外热成像相机。目标光源可以是部署第一预设位置处的照明装置，以便在目标光源照射下获取清晰的待处理热力图像。

具体的，当部署在第一预设位置的传感器装置检测到目标保温杯时，即认为目标保温杯已经运输到指定位置，此时，传感器会发送相应的信号至图像采集装置，使得部署在目标保温杯上方位置的图像采集装置对目标保温杯进行图像采集，从而得到包括目标保温杯底部的待处理热力图像。其中，在上述过程中，部署在第一预设位置的目标光源始终处于工作状态，从而，在图像采集装置进行采集图像时，目标光源作用于目标保温杯，则可以获得清晰的待处理热力图像。

示例性的，传感器装置可以是位置传感器，图像采集装置可以是红外热成像相机，即红外相机。在目标光源照射下，当传感器装置检测到目标保温杯已被运输到指定位置，那么，可以基于部署在目标保温杯上方位置的红外热成像相机采集目标保温杯顶部的温度分布图像，即待处理热力图像。其中，红外热成像相机是通过检测目标保温杯发出的红外辐射来生成对应的热力图像，以确定包含目标保温杯底部的待处理热力图像，即红外图片。

S120、基于目标图像分割模型对待处理热力图像进行处理，得到待处理热力图像中每个像素点对应的分类区域标识，其中，不同的分类区域标识对应于目标保温杯底部的不同区域。

其中，目标图像分割模型可以是基于输入的待处理热力图像进行图像分割，以得到每个像素点对应的分类区域标识的模型。可选的，目标图像分割模型可以是PaddleSeg框架中的MobileSeg模型，其主干网络是MobileNetV2结构。分类区域标识可以是根据待处理热力图像的不同区域设置的数字标识，例如，待处理热力图像可以分为三个区域，即，目标保温杯底部的凹点区域、目标保温杯底部对应的环形区域以及背景区域。相应的，分类区域标识可以对应设置为0、1、2。此处只做举例，本实施例对此不做限制。

需要说明的是，目标保温杯底部的凹点是由保温杯杯底冲压产生的凹点圆形区域。

具体的，在获得待处理热力图像后，可以先对待处理热力图像进行图像预处理，如，噪声去除、对比度增强以及图像平滑处理等。将预处理后的待处理热力图像输入至目标图像分割模型中，得到待处理热力图像中每个像素点对应的分类区域标识，以根据分类区域标识确定每个像素点对应的不同区域。

示例性的，在获得红外图片后，可以对红外图片进行图像数据预处理，红外图片可以参见图2。进一步的，将预处理后的红外图片输入目标图像分割模型中，即圆分割模型，得到待处理热力图像中每个像素点对应的分类区域标识。为方便处理，可以对分类区域标识进行可视化处理，可视化后的图像可以参见图3。

S130、基于分类区域标识以及待处理热力图像，确定与目标区域标识相对应的目标区域温度。

其中，目标区域标识可以是目标保温杯底部凹点区域对应的数字标识。目标区域温度可以是用以表示目标保温杯底部的凹点区域对应的温度。

具体的，根据分类区域标识以及待处理热力图像，可以确定待处理热力图像不同区域，其中，不同区域中包括目标区域标识对应的目标区域。进一步的，根据目标区域以及待处理热力图像，确定目标区域中每个像素点对应的待处理像素值。从而，利用相应的函数对待处理像素值进行处理，得到目标区域对应的像素值均值，并将计算得到的像素值均值转换为目标区域温度。基于此，可以方便后续根据目标区域温度判断目标保温杯的质检结果。

可选的，基于分类区域标识以及待处理热力图像，确定与目标区域标识相对应的目标区域温度，包括：基于分类区域标识，确定与目标区域标识对应的目标区域；基于目标区域以及待处理热力图像，确定与目标区域对应的至少一个像素点的待处理像素值；基于待处理像素值、目标函数以及待处理像素值的个数，确定目标区域温度。

其中，目标区域可以是目标保温杯底部的凹点区域，如图3中所示的环内圆形区域。待处理像素值可以理解为目标区域中的像素点对应的像素值。相应的，在确定目标区域内的待处理像素值后，可以对应确定待处理像素值的个数。目标函数可以是将待处理像素值转换为目标区域温度的函数。

具体的，对于不同的分类区域标识对应待处理热力图像中的不同区域，则可以根据目标区域标识确定目标保温杯底部的凹点区域，即目标区域。可选的，可以对不同的分类区域标识进行可视化处理，得到每个分类区域标识对应的区域，从而确定目标区域。进一步的，可以根据可视化图像以及待处理热力图像进行迭加处理，以对应确定目标区域中每个像素点的待处理像素值。利用目标函数对待处理像素值以及待处理像素值对应的个数进行处理，得到与目标区域对应的目标区域温度。

示例性的，在确定分类区域标识后，可以对分类区域标识进行可视化处理，参见图3。从而，可以根据图2所示的待处理热力图像以及图3的可视化图像进行迭加处理，得到图4所示的迭加图像。根据迭加图像可以确定目标区域中每个像素点对应的待处理像素值。利用目标函数对待处理像素值进行处理，得到目标区域对应的目标区域温度，即目标保温杯底部的凹点区域对应的温度，以基于该温度判断目标保温杯是否合格。

可选的，基于分类区域标识，确定与目标区域标识对应的目标区域，包括：基于分类区域标识，确定与目标区域标识对应的待处理目标区域；基于待处理目标区域以及待处理热力图像，确定待处理目标区域对应的待处理像素点坐标；基于分类区域标识以及待处理热力图像，确定待比较区域以及与待比较区域对应的待比较像素点坐标；基于待处理像素点坐标以及待比较像素点坐标，确定目标区域。

其中，在根据分类区域标识确定对应的区域时，会存在误检区域。可选的，若将目标保温杯底部的凹点区域作为目标区域，则根据目标区域标识可能在一些错误位置上也存在目标区域标识对应的区域，即待处理目标区域。例如，若获取的待处理热力图像为图5所示，相应的，经目标图像分割模型处理后得到的分类区域标识可视化后的图像可以如图6所示。显然，在图6中存在误检区域，则先将目标区域标识对应的区域记为待处理目标区域，以便后续处理。待处理像素点坐标可以理解为待处理目标区域中的像素点对应的坐标信息。待比较区域可以是目标保温杯底部对应的区域，如图6中的环形区域。相应的，待比较区域像素点坐标为待比较区域中的像素点坐标。

具体的，对分类区域标识进行可视化处理，确定每个分类区域标识对应的区域，从而，可以得到目标区域标识对应的待处理目标区域。根据可视化后得到的图像以及待处理热力图像，可以确定待处理目标区域中每个像素点对应的像素点坐标，即待处理像素点坐标。相应的，将可视化图像中目标保温杯底部对应的环形区域作为待比较区域，根据可视化图像以及待处理热力图像也可以对应得到待比较像素点坐标。其中，目标区域应为目标保温杯底部的凹点区域，即目标区域应在待比较区域中。那么，可以比较待处理像素点坐标以及待比较像素点坐标，以确定待处理目标区域是否在待比较区域中。若是，则将待处理目标区域作为目标区域，若否，则舍弃当前待处理目标区域。基于此，可以得到准确的目标区域。

可选的，目标函数为

其中， ，/>表示目标区域温度，/>表示目标区域的像素值均值，/>表示待处理像素值，/>表示待处理像素值的个数；基于待处理像素值、目标函数以及待处理像素值的个数，确定目标区域温度，包括：基于待处理像素值以及待处理像素值的个数，确定目标区域的像素值均值；将像素值均值代入目标函数，得到目标区域温度。

其中，在确定目标区域后，可以对目标区域内的待处理像素值进行处理，得到目标区域温度。在利用上述目标函数进行处理时，会先确定待处理像素值对应的像素值均值。像素值均值可以是基于目标区域内的所有像素点对应的待处理像素值之和与待处理像素值的个数计算获得的。

具体的，将待处理像素值记为，将/>记为待处理像素值的个数，则将待处理像素值和待处理像素值的个数输入至/>中，得到像素值均值。从而将像素值均值/>代入目标函数/>，得到目标区域温度。

需要说明的是，目标函数是待处理热力图像中的待处理像素值转化为目标区域温度的函数。若图像采集装置为红外热成像相机，则目标函数可以由红外热成像相机标定时获得。

S140、基于目标区域温度和目标保温杯所属环境的环境温度，确定目标保温杯的质检结果。

其中，环境温度可以包括目标保温杯所在的室内环境的环境温度以及目标光源照射在目标保温杯的光源温度。质检结果可以理解为目标保温杯是否合格的结果。

具体的，根据目标保温杯所属环境的环境温度设置合适的预设温度阈值，可选的，当环境温度不同时，图像采集装置获取的待处理热力图像略有差异，则可以根据不同的环境温度对应确定不同的预设温度阈值。如图2和图5所示，图2和图5所属的环境温度不同，可见，图2和图5对应的待处理热力图像略有差异。进一步的，判断目标区域温度是否符合预设温度阈值对应的数值范围。若符合，则认为目标保温杯的质检结果为合格；若不符合，则认为目标保温杯的质检结果为不合格。

可选的，基于目标区域温度和目标保温杯所属环境的环境温度，确定目标保温杯的质检结果，包括：基于目标保温杯所属环境的环境温度，确定预设温度阈值；其中，环境温度是基于目标保温杯所属的室内环境温度以及目标光源对应的光源温度确定的；基于目标区域温度以及预设温度阈值，确定目标保温杯的质检结果。

其中，预设温度阈值可以是根据实际需求定义的，目标保温杯为合格品时对应的温度范围标准值。光源温度可以是目标光源产生的温度。

具体的，根据目标保温杯所属的室内环境温度以及目标光源对应的光源温度设置合适的预设温度阈值。从而，判断目标区域温度是否在预设温度阈值对应的数值范围内，以确定目标保温杯的质检结果。

可选的，基于目标区域温度以及预设温度阈值，确定目标保温杯的质检结果，包括：若目标区域温度在预设温度阈值对应的数值范围内，则目标保温杯的质检结果为合格；若目标区域温度超出预设温度阈值对应的数值范围，则目标保温杯的质检结果为不合格。

具体的，若目标区域温度在预设温度阈值对应的数值范围内，则认为目标保温杯的质检结果为合格，即目标保温杯为合格品。若目标区域温度不在预设温度阈值对应的数值范围内，则认为目标保温杯的质检结果不合格，即目标保温杯为不合格品。

示例性的，通过目标函数计算凹点圆形区域温度均值，即目标区域温度。之后，根据凹点圆形区域温度均值设定合适温度T，当凹点圆形区域温度均值大于合适温度T时，认为目标保温杯为不合格品。当凹点圆形区域温度均值小于合适温度T时，认为目标保温杯为合格品。

本实施例的技术方案，通过获取包括目标保温杯底部的待处理热力图像；基于目标图像分割模型对待处理热力图像进行处理，得到待处理热力图像中每个像素点对应的分类区域标识，其中，不同的分类区域标识对应于目标保温杯底部的不同区域；基于分类区域标识以及待处理热力图像，确定与目标区域标识相对应的目标区域温度；基于目标区域温度和目标保温杯所属环境的环境温度，确定目标保温杯的质检结果。解决了现有技术中保温杯质检效率低以及质检结果不准确的问题，实现了对目标保温杯区域的精确分割，提高了区域分割的准确性和效率，同时，根据分割后的区域实现了对目标保温杯的温度质检。

实施例二

图7是本发明实施例提供的一种目标图像分割模型训练方法的流程图，本实施例是在上述实施例的基础上，在利用目标图像分割模型对待处理热力图像进行处理之前，还需要对待训练图像分割模型进行训练，以得到目标图像分割模型。其具体的实施方式可以参见本实施例技术方案。其中，与上述实施例相同或者相应的技术术语在此不再赘述。如图7所示，该方法包括：

S210、获取多个训练样本，其中，训练样本包括样本图像以及分类区域标识，样本图像中包括多个标注区域，标注区域是与不同分类区域标识相对应的不同区域。

其中，在通过图像采集装置获取到热力图像后，可以对热力图像进行标注处理，并将标注后的图像作为样本图像。可以理解为，在样本图像中包括多个标注区域，每个标注区域都是与分类区域标识相对应的区域。

具体的，在对待训练图像分割模型进行训练之前，需要先获取多个训练样本，以基于训练样本来训练模型。为了提高模型的准确性，可以尽可能多而丰富的获取训练样本，获取多幅包含多个标注区域的样本图像。其中，标注区域是基于分类区域标识确定的。

示例性的，参见图8，图8为图像采集装置获取到的热力图像，可以根据分类区域标识对图8进行标注处理，其中，分类区域标识对应的不同区域可以包括：目标保温杯底部的凹点区域、目标保温杯底部对应的环形区域以及背景区域。为方便观察，可以先将分类区域标识对应的区域进行可视化处理，即图9，图9为样本图像中分类区域标识可视化后对应的示意图。相应的，样本图像可以如图10所示。

可选的，还包括：对于多个样本图像，确定当前样本图像中的至少一个待标注区域；基于至少一个待标注区域，确定当前待标注区域对应的第一像素点坐标和第二像素点坐标，其中，第一像素点坐标为待标注区域的圆心坐标，第二像素点坐标为待标注区域的边界上任意一点坐标；基于第一像素点坐标以及第二像素点坐标对待标注区域进行处理，得到标注区域。

其中，根据分类区域标识对样本图像进行标注时，在样本图像中包括多个区域，这些需要标注的区域即为待标注区域。由于样本图像为包含目标保温杯底部的图像，则待标注区域中目标保温杯底部对应的区域以及目标保温杯底部的凹点区域均为圆形区域，且背景区域可以在上述两个区域确定后即可获得。为保证标注区域的准确性，可以获取待标注区域对应的第一像素点坐标和第二像素点坐标，其中，第一像素点坐标为待标注区域的圆心坐标；第二像素点坐标为待标注区域的圆上任意一点坐标。

具体的，对多个样本图像进行标注处理，即对于当前样本图像，先确定当前样本图像中需要进行标注的区域，即待标注区域。以待标注区域为目标保温杯底部对应的环形区域为例，该环形区域的边界对应的是圆形。则可以获取该待标注区域对应的圆心坐标，作为第一像素点坐标；获取待标注区域中圆上任意一点坐标，作为第二像素点坐标。根据第一像素点坐标和第二像素点坐标可以确定圆形的圆心和半径，基于此，可以得到准确的圆形区域，即标注区域。相应的，目标保温杯底部的凹点区域也可以根据上述方式获得。而，在确定上述两个区域后，样本图像中的剩余区域即为背景区域。

示例性的，参见图10，若待标注区域为目标保温杯底部的环形区域，则可以对待标注区域进行标注，即标注圆形标签。图10中，该环形区域的外边界为圆形，则可以先确定该圆形对应的圆心坐标，即图10中的点1的坐标，记为；同时确定该圆形对应的圆上任意一点坐标，即图10中的点2的坐标，记为/>，根据上述两个坐标确定该待标注区域对应的圆心和半径。即，圆心为/>，相应的，半径的计算公式为：/>。基于此，可以获得准确的标注区域。相应的，待标注区域为目标保温杯底部中的凹点区域时，也可以基于上述方式进行标注，以得到对应的标注区域。由于样本图像可以是包含至少一个保温杯的图像，则可以对每个保温杯底部区域以及凹点区域进行标注处理。相应的，在标注完上述区域后，背景区域也可以确定。

S220、将训练样本输入至待训练图像分割模型中，得到训练样本中每个像素点的预测分类区域标识。

需要说明的是，针对每个训练样本，均可以采用S220的方式对其进行训练，从而得到目标图像分割模型。

其中，待训练图像分割模型中的模型参数为默认值。通过训练样本对待训练图像分割模型中的模型参数进行修正，以得到目标图像分割模型。相应的，预测分类区域标识是待训练图像分割模型的输出结果，用以对应当前样本图像中每个像素点对应的区域。

具体的，将训练样本输入至待训练图像分割模型中，可以输出当前训练样本的样本图像中每个像素点对应的预测分类区域标识，以便后续基于预测分类区域标识对模型进行修正。

S230、基于分类区域标识以及预测分类区域标识，确定第一损失值。

其中，第一损失值是用以表示分类区域标识与预测分类区域标识之间差异程度的数值。基于此，可以利用第一损失值对待训练图像分割模型进行修正。但是，仅利用第一损失值对待训练图像分割模型进行损失处理时，第一损失值无法对预测标注区域的圆度进行修正处理，导致预测分类区域标识对应的预测分类区域的边界存在不规则的形变。如图11所示，图11为仅利用第一损失值对待训练图像分割模型进行修正后，得到的预测标注区域。显然，预测标注区域不是圆形，但是标注区域预先已经确定为圆形，那么这种情况在实际应用过程中，对圆形的检出效果很差。基于此，可以再确定一个损失值，以保证预测标注区域对应的边界为圆形。

S240、依据预测分类区域标识以及训练样本，确定预测标注区域。

其中，预测标注区域是预测分类区域标识在样本图像中对应的预测区域。

具体的，根据待训练图像分割模型输出的预测分类区域标识以及训练样本的样本图像，确定样本图像中每个分类区域标识对应的预测标注区域。

示例性的，根据圆形标签以及训练样本可以确定实心圆mask，即预测标注区域。其中，圆形标签即为预测分类区域标识，标签数据图片即为训练样本中的样本图像。

S250、基于标注区域以及预测标注区域，确定第二损失值。

其中，第二损失值可以用以表示标注区域以及预测标注区域之间的差异程度的数值。可选的，第二损失值为圆度惩罚损失。基于此，可以利用第二损失值对待训练图像分割模型中的模型参数进行修正。

S260、基于第一损失值以及第二损失值，计算总损失值，以基于总损失值对待训练图像分割模型中的模型参数进行修正。

一般情况下，待训练图像分割模型的模型参数为初始参数或默认参数，在对待训练图像分割模型进行训练时，可以基于待训练图像分割模型的输出结果修正模型中的各项模型参数，即，可以通过对待训练图像分割模型的总损失值进行修正，从而得到目标图像分割模型。其中，总损失值是根据第一损失值以及第二损失值计算获得的。

具体的，由于仅利用第一损失值对待训练图像分割模型进行修正时，预测分类区域的边界可能会存在不规则的形变。则可以添加一个第二损失值，以基于第二损失值修正上述情况。其中，修正后的图像可以如图3所示。

S270、将待训练图像分割模型中的损失函数收敛作为训练目标，得到目标图像分割模型。

具体的，在利用总损失值对待训练图像分割模型中的模型参数进行修正时，可以将损失函数收敛作为训练目标，比如训练误差是否小于预设误差，或误差变化是否趋于稳定，或者当前的迭代次数是否等于预设次数。若检测达到收敛条件，比如损失函数的训练误差小于预设误差，或者误差变化趋势趋于稳定，表明该待训练图像分割模型训练完成，此时可以停止迭代训练。若检测到当前未达到收敛条件，可以进一步获取其他训练样本以对待训练图像分割模型继续进行训练，直至损失函数的训练误差在预设范围之内。当损失函数的训练误差达到收敛时，即可将训练完成的待训练图像分割模型作为目标图像分割模型，即，此时将包括目标保温杯底部的待处理热力图像输入至该目标图像分割模型中后，即可准确得到待处理热力图像中每个像素点对应的分类区域标识。

可选的，损失函数为

其中，，/>表示第一损失值，/>表示第二损失值，/>表示预测标注区域对应的像素点总数，/>表示预测标注区域边界的像素点数量，/>为0.2。

其中，基于第一损失值和第二损失值可以确定总损失值，损失函数可以表示为。其中，/>表示第一损失值，/>表示第二损失值。第二损失值是用来对预测标注区域的圆度进行修正的。

具体的，在利用第二损失值进行修正时，该第二损失值仅针对预测标注区域中的边界为圆形的区域进行处理，即目标保温杯底部的区域以及目标保温杯底部的凹点区域。其中，以目标保温杯底部的凹点区域为预测标注区域为例进行说明，可以获取凹点区域中的像素点总数以及凹点区域边界上的像素点数量/>。将/>以及/>代入/>中，可以得到第二损失值。进一步的，将第一损失值和第二损失值代入损失函数中，得到总损失值，以基于总损失值对待训练图像分割模型进行修正。

本实施例的技术方案，通过获取多个训练样本，并将训练样本输入至待训练图像分割模型中，得到训练样本中每个像素点的预测分类区域标识；从而，根据分类区域标识以及预测分类区域标识，确定第一损失值；依据预测分类区域标识以及训练样本，确定预测标注区域；进一步的，基于标注区域以及预测标注区域，确定第二损失值，基于第一损失值以及第二损失值，计算总损失值，以基于总损失值对待训练图像分割模型中的模型参数进行修正，将待训练图像分割模型中的损失函数收敛作为训练目标，得到目标图像分割模型。实现了对待训练图像分割模型的训练，利用总损失值进行修正保证了目标图像分割模型的分割准确率，从而提供准确可靠的目标区域标识，以达到对目标保温杯进行准确质检的目的。

实施例三

图12是本发明实施例提供的一种基于机器视觉的保温杯温度质检装置的结构示意图。如图12所示，该装置包括：图像获取模块310、区域标识确定模块320、区域温度确定模块330以及质检结果确定模块340。

图像获取模块310，用于获取包括目标保温杯底部的待处理热力图像；区域标识确定模块320，用于基于目标图像分割模型对待处理热力图像进行处理，得到待处理热力图像中每个像素点对应的分类区域标识，其中，不同的分类区域标识对应于目标保温杯底部的不同区域；区域温度确定模块330，用于基于分类区域标识以及待处理热力图像，确定与目标区域标识相对应的目标区域温度；质检结果确定模块340，用于基于目标区域温度和目标保温杯所属环境的环境温度，确定目标保温杯的质检结果。

本实施例的技术方案，通过获取包括目标保温杯底部的待处理热力图像；基于目标图像分割模型对待处理热力图像进行处理，得到待处理热力图像中每个像素点对应的分类区域标识，其中，不同的分类区域标识对应于目标保温杯底部的不同区域；基于分类区域标识以及待处理热力图像，确定与目标区域标识相对应的目标区域温度；基于目标区域温度和目标保温杯所属环境的环境温度，确定目标保温杯的质检结果。解决了现有技术中保温杯质检效率低以及质检结果不准确的问题，实现了对目标保温杯区域的精确分割，提高了区域分割的准确性和效率，同时，根据分割后的区域实现了对目标保温杯的温度质检。

在上述实施例的基础上，可选的，图像获取模块，用于在基于部署在第一预设位置的传感器装置检测到目标保温杯时，基于图像采集装置采集包括目标保温杯底部的待处理热力图像；其中，第一预设位置处还设置有目标光源，目标光源作用于目标保温杯上，且目标光源处于工作状态。

可选的，区域温度确定模块，包括：目标区域确定单元，用于基于分类区域标识，确定与目标区域标识对应的目标区域；像素值确定单元，用于基于目标区域以及待处理热力图像，确定与目标区域对应的至少一个像素点的待处理像素值；区域温度确定单元，用于基于待处理像素值、目标函数以及待处理像素值的个数，确定目标区域温度。

可选的，目标区域确定单元，包括：待处理目标区域确定子单元，用于基于分类区域标识，确定与目标区域标识对应的待处理目标区域；像素点坐标确定子单元，用于基于待处理目标区域以及待处理热力图像，确定待处理目标区域对应的待处理像素点坐标；待比较像素点坐标确定子单元，用于基于分类区域标识以及待处理热力图像，确定待比较区域以及与待比较区域对应的待比较像素点坐标；目标区域确定子单元，用于基于待处理像素点坐标以及待比较像素点坐标，确定目标区域。

可选的，在区域温度确定单元中，目标函数为

其中， ，/>表示目标区域温度，/>表示目标区域的像素值均值，/>表示待处理像素值，/>表示待处理像素值的个数；区域温度确定单元，用于基于待处理像素值以及待处理像素值的个数，确定目标区域的像素值均值；将像素值均值代入目标函数，得到目标区域温度。

可选的，质检结果确定模块，包括：温度阈值确定单元，用于基于目标保温杯所属环境的环境温度，确定预设温度阈值；其中，环境温度是基于目标保温杯所属的室内环境温度以及目标光源对应的光源温度确定的；质检结果确定单元，用于基于目标区域温度以及预设温度阈值，确定目标保温杯的质检结果。

可选的，质检结果确定单元，用于若目标区域温度在预设温度阈值对应的数值范围内，则目标保温杯的质检结果为合格；若目标区域温度超出预设温度阈值对应的数值范围，则目标保温杯的质检结果为不合格。

可选的，该装置还包括：模型训练模块，该模块包括：样本获取单元，用于获取多个训练样本，其中，训练样本包括样本图像以及分类区域标识，样本图像中包括多个标注区域，标注区域是与不同分类区域标识相对应的不同区域；区域标识确定单元，用于将训练样本输入至待训练图像分割模型中，得到训练样本中每个像素点的预测分类区域标识；第一损失值确定单元，用于基于分类区域标识以及预测分类区域标识，确定第一损失值；标注区域确定单元，用于依据预测分类区域标识以及训练样本，确定预测标注区域；第二损失值确定单元，用于基于标注区域以及预测标注区域，确定第二损失值；损失修正单元，用于基于第一损失值以及第二损失值，计算总损失值，以基于总损失值对待训练图像分割模型中的模型参数进行修正；目标分割模型确定单元，用于将待训练图像分割模型中的损失函数收敛作为训练目标，得到目标图像分割模型。

可选的，在模型训练模块中，该模块还包括：标注区域确定单元，用于对于多个样本图像，确定当前样本图像中的至少一个待标注区域；基于至少一个待标注区域，确定当前待标注区域对应的第一像素点坐标和第二像素点坐标，其中，第一像素点坐标为待标注区域的圆心坐标，第二像素点坐标为待标注区域的边界上任意一点坐标；基于第一像素点坐标以及第二像素点坐标对待标注区域进行处理，得到标注区域。

可选的，在目标分割模型确定单元中，损失函数为

其中，，/>表示第一损失值，/>表示第二损失值，/>表示预测标注区域对应的像素点总数，/>表示预测标注区域边界的像素点数量，/>为0.2。

本发明实施例所提供的基于机器视觉的保温杯温度质检装置可执行本发明任意实施例所提供的基于机器视觉的保温杯温度质检方法，具备执行方法相应的功能模块和有益效果。

实施例四

图13是本发明实施例提供的一种电子设备的结构示意图。电子设备10旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备（如头盔、眼镜、手表等）和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图13所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器（ROM）12、随机访问存储器（RAM）13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器（ROM）12中的计算机程序或者从存储单元18加载到随机访问存储器（RAM）13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出（I/O）接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如基于机器视觉的保温杯温度质检方法。

在一些实施例中，基于机器视觉的保温杯温度质检方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的基于机器视觉的保温杯温度质检方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行基于机器视觉的保温杯温度质检方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的基于机器视觉的保温杯温度质检方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

实施例五

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行一种基于机器视觉的保温杯温度质检方法，该方法包括：

获取包括目标保温杯底部的待处理热力图像；基于目标图像分割模型对待处理热力图像进行处理，得到待处理热力图像中每个像素点对应的分类区域标识，其中，不同的分类区域标识对应于目标保温杯底部的不同区域；基于分类区域标识以及待处理热力图像，确定与目标区域标识相对应的目标区域温度；基于目标区域温度和目标保温杯所属环境的环境温度，确定目标保温杯的质检结果。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种基于机器视觉的保温杯温度质检方法，其特征在于，包括：

获取包括目标保温杯底部的待处理热力图像；

基于目标图像分割模型对所述待处理热力图像进行处理，得到所述待处理热力图像中每个像素点对应的分类区域标识，其中，不同的分类区域标识对应于所述目标保温杯底部的不同区域；

基于所述分类区域标识以及所述待处理热力图像，确定与目标区域标识相对应的目标区域温度；

基于所述目标区域温度和所述目标保温杯所属环境的环境温度，确定所述目标保温杯的质检结果。

2.根据权利要求1所述的方法，其特征在于，所述获取包括目标保温杯底部的待处理热力图像，包括：

在基于部署在第一预设位置的传感器装置检测到所述目标保温杯时，基于图像采集装置采集包括所述目标保温杯底部的待处理热力图像；

其中，所述第一预设位置处还设置有目标光源，所述目标光源作用于所述目标保温杯上，且所述目标光源处于工作状态。

3.根据权利要求1所述的方法，其特征在于，所述基于所述分类区域标识以及所述待处理热力图像，确定与目标区域标识相对应的目标区域温度，包括：

基于所述分类区域标识，确定与所述目标区域标识对应的目标区域；

基于所述目标区域以及所述待处理热力图像，确定与所述目标区域对应的至少一个像素点的待处理像素值；

基于所述待处理像素值、目标函数以及所述待处理像素值的个数，确定目标区域温度。

4.根据权利要求3所述的方法，其特征在于，所述基于所述分类区域标识，确定与所述目标区域标识对应的目标区域，包括：

基于所述分类区域标识，确定与所述目标区域标识对应的待处理目标区域；

基于所述待处理目标区域以及所述待处理热力图像，确定所述待处理目标区域对应的待处理像素点坐标；

基于所述分类区域标识以及所述待处理热力图像，确定待比较区域以及与所述待比较区域对应的待比较像素点坐标；

基于所述待处理像素点坐标以及所述待比较像素点坐标，确定所述目标区域。

5.根据权利要求3所述的方法，其特征在于，所述目标函数为

其中，/> ，/>表示所述目标区域温度，/>表示所述目标区域的像素值均值，/>表示所述待处理像素值，/>表示所述待处理像素值的个数；

所述基于所述待处理像素值、目标函数以及所述待处理像素值的个数，确定目标区域温度，包括：

基于所述待处理像素值以及所述待处理像素值的个数，确定所述目标区域的像素值均值；

将所述像素值均值代入所述目标函数，得到所述目标区域温度。

6.根据权利要求1所述的方法，其特征在于，所述基于所述目标区域温度和所述目标保温杯所属环境的环境温度，确定所述目标保温杯的质检结果，包括：

基于所述目标保温杯所属环境的环境温度，确定预设温度阈值；其中，所述环境温度是基于所述目标保温杯所属的室内环境温度以及目标光源对应的光源温度确定的；

基于所述目标区域温度以及所述预设温度阈值，确定所述目标保温杯的质检结果。

7.根据权利要求6所述的方法，其特征在于，所述基于所述目标区域温度以及所述预设温度阈值，确定所述目标保温杯的质检结果，包括：

若所述目标区域温度在所述预设温度阈值对应的数值范围内，则所述目标保温杯的质检结果为合格；

若所述目标区域温度超出所述预设温度阈值对应的数值范围，则所述目标保温杯的质检结果为不合格。

8.根据权利要求1所述的方法，其特征在于，还包括：

训练得到目标图像分割模型；

所述训练得到目标图像分割模型，包括：

获取多个训练样本，其中，所述训练样本包括样本图像以及分类区域标识，所述样本图像中包括多个标注区域，所述标注区域是与不同分类区域标识相对应的不同区域；

将所述训练样本输入至待训练图像分割模型中，得到所述训练样本中每个像素点的预测分类区域标识；

基于所述分类区域标识以及所述预测分类区域标识，确定第一损失值；

依据所述预测分类区域标识以及所述训练样本，确定预测标注区域；

基于所述标注区域以及所述预测标注区域，确定第二损失值；

基于所述第一损失值以及第二损失值，计算总损失值，以基于所述总损失值对所述待训练图像分割模型中的模型参数进行修正；

将所述待训练图像分割模型中的损失函数收敛作为训练目标，得到所述目标图像分割模型。

9.根据权利要求8所述的方法，其特征在于，还包括：

对于多个样本图像，确定当前样本图像中的至少一个待标注区域；

基于至少一个所述待标注区域，确定当前待标注区域对应的第一像素点坐标和第二像素点坐标，其中，所述第一像素点坐标为所述待标注区域的圆心坐标，所述第二像素点坐标为所述待标注区域的边界上任意一点坐标；

基于所述第一像素点坐标以及所述第二像素点坐标对所述待标注区域进行处理，得到所述标注区域。

10.根据权利要求8所述的方法，其特征在于，所述损失函数为

，

其中，，/>表示第一损失值，/>表示第二损失值，/>表示所述预测标注区域对应的像素点总数，/>表示所述预测标注区域边界的像素点数量，/>为0.2。