CN115575449A - 一种水果内部缺陷的主动红外热像检测装置及方法 - Google Patents

Abstract

本发明公开了一种水果内部缺陷的主动红外热像检测装置及方法，涉及机器视觉检测技术领域，装置包括：控制及数据处理分析模组以及与其相连的红外热像采集模组、供电电源和水果加热模组；供电电源还连接其他模组用于提供所需电源，红外热像采集模组用于采集被测水果样品在热激励前后的红外热图像，水果加热模组用于对被测水果样品施加可控热激励，控制及数据处理分析模组用于将热激励前后的红外热图像进行对比分析，再与设置的温差阈值进行比较得到内部有缺陷水果样品及内部无缺陷水果样品的坐标位置。通过对红外热像采集模组所采集到的红外热图像进行识别分类，能够识别外表完整、内部存在缺陷的低品质水果。

Description

一种水果内部缺陷的主动红外热像检测装置及方法

技术领域

本发明涉及机器视觉检测技术领域，尤其是一种水果内部缺陷的主动红外热像检测装置及方法。

背景技术

随着生活水平的提高，消费者对水果品质的要求也越来越高。为了水果的经济效益，人们需要将品质有问题的水果筛出，传统水果的筛选依然依靠人工，通过目测、手捏等方法来判断分级，存在劳动强度大、工作效率低等诸多弊端。而且人的判断总是主观的，评估的准确性受到他们的经验以及状态的影响。因此有必要开发一种标准化、自动化的机器视觉技术，能够快速、客观地评价水果品质。随着机器视觉技术的成熟，国外很多研究机构和企业已经把机器视觉技术应用到了各种水果的检测与分级。

目前针对水果的无损检测手段大多是基于机器视觉技术的水果质量在线检测和分类系统，比如对于购买量很多的苹果来说，根据直径、表面擦伤和子孔径分类对苹果进行分类。这些检测方法各有其适用范围，但是尚无很好的方法可以检测外表完整，但内部出现缺陷的水果。

发明内容

本发明人针对上述问题及技术需求，提出了一种水果内部缺陷的主动红外热像检测装置及方法，通过对红外热像采集模组所采集到的红外热图像进行识别分类，能够识别外表完整、内部存在缺陷的低品质水果。

本发明的技术方案如下：

第一方面，本申请提供了一种水果内部缺陷的主动红外热像检测装置，包括控制及数据处理分析模组以及与其相连的红外热像采集模组、供电电源和水果加热模组；供电电源还连接其他模组用于提供所需电源，红外热像采集模组用于采集被测水果样品在热激励前后的红外热图像，水果加热模组用于对被测水果样品施加可控热激励，控制及数据处理分析模组用于将热激励前后的红外热图像进行对比分析，再与设置的温差阈值进行比较得到内部有缺陷水果样品及内部无缺陷水果样品的坐标位置。

其进一步的技术方案为，红外热像采集模组包括红外热像仪、图像采集卡和两个LED光源，红外热像仪置于水果加热模组上方，红外热像仪通过图像采集卡连接控制及数据处理分析模组；两个LED光源分布在红外热像仪两侧，且分别连接供电电源，用于提供红外热像仪所需的亮度。

其进一步的技术方案为，水果加热模组包括带有顶盖的水果放置桶、通讯单元、多个发热管和温度传感器，顶盖一端与水果放置桶铰接，使顶盖围绕铰接点水平旋转；多个发热管和温度传感器均匀分布在水果放置桶的底座上，并通过通讯单元与数据处理分析模组连接，通讯单元置于水果放置桶底座的内部。

其进一步的技术方案为，水果放置桶包括设置在底座上的内桶和外桶，且内桶高度低于外桶高度；内外桶之间蓄有低于内桶高度的水，且多个发热管竖直分布在内外桶之间，使得放置在内桶中的被测水果样品受热均匀，且利用加热时产生的水蒸气保持内桶的湿度。

其进一步的技术方案为，控制及数据处理分析模组包括：

红外热像数据采集控制单元，用于调节红外热像采集模组中红外热像仪的视场和焦距，还用于设置红外热像采集模组中图像采集卡的图像采集频率，以及还用于控制红外热像采集模组中LED光源的启动和关闭；

热激励加载控制单元，用于设置发热管的工作时长、加热大小和频率；还用于根据水果加热模组反馈的温度信息控制水果加热模组中发热管的启动和关闭，从而使水果加热模组产生可控热激励，可控热激励用于加大热激励前后样品内部缺陷位置反应到表面的温度差；

图像处理单元，用于接收红外热像仪发送的热激励前后的红外热图像，并进行图像处理得到只包含被测水果样品的前景图；

缺陷识别单元，用于接收热激励前后的前景图，并将两幅前景图的温度场对应相减得到温度场变化图，还用于将温度场变化图中大于温差阈值的区域视为缺陷区域，不大于温差阈值的区域视为正常区域，并基于梯度的霍夫圆检测法分别输出缺陷区域的质心坐标作为内部有缺陷水果样品的坐标位置，以及正常区域的质心坐标作为内部无缺陷水果样品的坐标位置。

第二方面，本申请还提供了一种水果内部缺陷的主动红外热像检测方法，包括如下步骤：

调节红外热像采集模组，并获取被测水果样品的红外热图像；

设置水果加热模组对被测水果样品施加的可控热激励，并启动水果加热模组对被测水果样品进行加热；

在预定冷却时间后，获取被测水果样品在热激励后的红外热图像；

将热激励前后的红外热图像进行对比分析，再与设置的温差阈值进行比较得到内部有缺陷水果样品及内部无缺陷水果样品的坐标位置。

其进一步的技术方案为，调节红外热像采集模组，包括：

调节红外热像采集模组中红外热像仪的视场和焦距，使计算机显示器上出现清晰的样品红外热图像；

设置红外热像采集模组中图像采集卡的图像采集频率；

在拍摄前启动红外热像采集模组中的LED光源，获取红外热图像后关闭LED光源。

其进一步的技术方案为，启动水果加热模组对被测水果样品进行加热，包括：

按照设置的热激励参数启动水果加热模组中的发热管，并获取水果加热模组反馈的温度信息；

若低于预设温度，则调大发热管的加热温度使其持续对被测水果样品进行加热；

若不低于预设温度，则使发热管按照设定加热温度保持预设时间后再关闭发热管。

其进一步的技术方案为，该方法还包括：

将热激励前后的红外热图像依次进行直方图均衡化、中值平滑、高斯平滑、边缘检测、图像分割处理后，输出只包含被测水果样品的前景图。

其进一步的技术方案为，将热激励前后的红外热图像进行对比分析，再与设置的温差阈值进行比较得到内部有缺陷水果样品及内部无缺陷水果样品的坐标位置，包括：

将两幅前景图的温度场对应相减得到温度场变化图；

将温度场变化图与设置的温差阈值进行对比，将图中大于温差阈值的区域视为缺陷区域，不大于温差阈值的区域视为正常区域；

基于梯度的霍夫圆检测法分别输出缺陷区域的质心坐标作为内部有缺陷水果样品的坐标位置，以及正常区域的质心坐标作为内部无缺陷水果样品的坐标位置。

本发明的有益技术效果是：

对于本申请提出的装置及方法，通过调节热激励大小和温差阈值可检测其他和苹果一样会从内部开始出现缺陷的水果，该装置自动化水平高、图像处理速度快、识别准确率高，在工业生产上具有较高的通用性；

控制及数据处理分析模组基于温度传感器反馈的温度信息，控制水果加热模组对水进行加热升温，进而对被测水果样品进行加热，这种利用热传递对样品进行加热的方法，不仅最大程度保留了样品的口感，而且加热模组内的湿度能有效减缓样品的水分因加热而流失的问题；

该方法的图像处理方法采用Python结合OpenCV开源库开发，巧妙地将OpenCV提供的方法和检测方法融合在一起，通过设置温差阈值进行缺陷识别并输出坐标位置，相比于直接对比激励前后热图像，本方法可高效简便的完成任务，正确率高，便于二次开发，对检测水果缺陷设备的设计制作具有重要的指导意义。

附图说明

图1是本申请提供的主动红外热像检测装置示意图。

图2是本申请提供的水果加热模组的结构示意图。

图3是本申请提供的控制及数据处理分析模组的结构框图。

图4是本申请提供的热激励加载控制单元的工作流程图。

其中：1、控制及数据处理分析模组；2、红外热像采集模组；3、供电电源；4、水果加热模组；5、被测水果样品；11、红外热像数据采集控制单元；12、热激励加载控制单元；13、图像处理单元；14、缺陷识别单元；21、红外热像仪；22、图像采集卡；23、LED光源；41、顶盖；42、水果放置桶；43、通讯单元；44、发热管；45、温度传感器；46、铰接点；421、底座；422、内桶；423、外桶。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步说明。

实施例一：

如图1所示，本实施例提供了一种水果内部缺陷的主动红外热像检测装置，包括控制及数据处理分析模组1以及与其相连的红外热像采集模组2、供电电源3和水果加热模组4。其中，供电电源3还连接其他模组用于提供所需电源。

红外热像采集模组2用于采集被测水果样品在热激励前后的红外热图像，具体包括：红外热像仪21、图像采集卡22和两个LED光源23。红外热像仪21置于水果加热模组4上方，红外热像仪21通过图像采集卡22连接控制及数据处理分析模组1。两个LED光源23分布在红外热像仪21两侧，且分别连接供电电源3，用于提供红外热像仪21所需的亮度，使红外热像仪21具备一个光线良好的工作环境，提高红外热像仪21的检测精度。主动红外热像检测技术具有检测速度快、检测精度高、实时检测、非接触测量、适用范围广、非侵入性、无有害辐射、成本低等特点，非常适用于水果品质的内部缺陷检测。

可选的，红外热像仪21基于海康H16高精度红外热像仪实现，图像采集卡22基于HV系列的红外图像采集卡HV503D实现。

水果加热模组4用于对被测水果样品施加可控热激励，如图2所示，具体包括：带有顶盖41的水果放置桶42、通讯单元43、四个发热管44和四个温度传感器45(图中未全部示出)，顶盖41一端与水果放置桶42铰接，使顶盖41可围绕铰接点46水平旋转，避免顶盖41在红外热像仪21采集图像时影响采样精度。四个发热管44和四个温度传感器45均匀分布在水果放置桶42的底座421上，并通过通讯单元43与数据处理分析模组1连接。其中，水果放置桶42包括设置在底座421上的内桶422和外桶423，且内桶高度低于外桶高度，比如两高度相差3cm，便于空气交换。内外桶之间蓄有低于内桶高度的水，且四个发热管44竖直分布在内外桶之间，利用加热水介质使得放置在内桶422中的被测水果样品5受热均匀。由于内桶高度低于外桶高度，加热时产生的水蒸气从外桶进入内桶，可保持内桶422的湿度，有效减缓了被测水果样品5因加热而流失的水分，提高被测水果样品5的新鲜度。通讯单元43置于水果放置桶底座的内部，可以根据实际应用场景选择与数据处理分析模组1进行有线连接，或无线连接。

控制及数据处理分析模组1用于将热激励前后的红外热图像进行对比分析，再与设置的温差阈值进行比较得到内部有缺陷水果样品及内部无缺陷水果样品的坐标位置。如图3所示，具体包括：红外热像数据采集控制单元11、热激励加载控制单元12、图像处理单元13和缺陷识别单元14，且红外热像数据采集控制单元11和热激励加载控制单元12连接图像处理单元13，图像处理单元13连接缺陷识别单元14。其中：

红外热像数据采集控制单元11，用于调节红外热像仪21的视场和焦距，使计算机显示器上出现清晰的样品红外热图像；还用于设置图像采集卡22的图像采集频率，以及还用于控制LED光源23的启动和关闭。

热激励加载控制单元12，用于设置发热管44的工作时长、加热大小和频率；还用于根据温度传感器45反馈的平均温度信息控制发热管44的启动和关闭，即控制热激励的启动和关闭，其中热激励用于加大热激励前后样品内部缺陷位置反应到表面的温度差。

图像处理单元13，用于接收红外热像仪21发送的热激励前后的红外热图像，并进行图像处理得到只包含被测水果样品的前景图。其中，图像处理可直接调用OpenCV机器视觉开源库提供的方法，包括直方图均衡化、中值平滑、高斯平滑、边缘检测和图像分割。

缺陷识别单元14，用于接收热激励前后的前景图，并将两幅前景图的温度场对应相减得到温度场变化图，还用于将温度场变化图中大于温差阈值的区域视为缺陷区域，不大于温差阈值的区域视为正常区域，并基于梯度的霍夫圆检测法分别输出缺陷区域的质心坐标作为内部有缺陷水果样品的坐标位置，以及正常区域的质心坐标作为内部无缺陷水果样品的坐标位置。可选的，还能输出被测水果样品的半径大小。

可选的，控制及数据处理分析模组1基于计算机实现，计算机CPU为英特尔I5-9600K。

该装置的缺陷检测原理为，由于在热激励过程中，样品内部缺陷处的温度异常在加热10s后逐渐变得明显，在连续的热激励作用下，热波通过样品表面传播到内部，遇到缺陷时热量会不均匀传播，使缺陷处的温差逐渐增大，并会对样品表面的温度分布产生一定的影响。在冷却过程中，非缺陷处的温度场迅速恢复到加热前的水平，而缺陷处温度场与加热前温度场保持一定温差，温差下降速度较慢。因此，根据样品种类合理调节热激励大小和温差阈值可检测其他和苹果一样会从内部开始出现缺陷的水果，例如梨子、桃子等水果，该装置自动化水平高、图像处理速度快、识别准确率高，在工业生产上具有较高的通用性。

实施例二：

基于同样的发明构思，本实施例提供了一种水果内部缺陷的主动红外热像检测方法，基于实施例一提供的控制及数据处理分析模组实现，将被测水果样品放置在实施例一提供的水果加热模组中，该方法包括如下步骤：

步骤1：调节红外热像采集模组，并获取被测水果样品的红外热图像。

其中，调节红外热像采集模组包括：

1)调节红外热像采集模组中红外热像仪的视场和焦距，使计算机显示器上出现清晰的样品红外热图像。

2)设置红外热像采集模组中图像采集卡的图像采集频率。

3)在拍摄前启动红外热像采集模组中的LED光源，获取红外热图像后关闭LED光源，使红外热像仪具备一个光线良好的工作环境，提高红外热像仪的检测精度。

其中，获取红外热图像前，需将顶盖移开，避免影响图像采样精度。

步骤2：设置水果加热模组对被测水果样品施加的可控热激励，并启动水果加热模组对被测水果样品进行加热。如图4所示，具体包括：

步骤21：设置热激励参数，即设置水果加热模组中发热管的工作时长、加热大小和频率。

步骤22：闭合顶盖，按照设置的热激励参数启动发热管产生热激励，并获取水果加热模组中温度传感器反馈的温度信息。其中，热激励用于加大热激励前后样品内部缺陷位置反应到表面的温度差。

步骤23：若低于预设温度，则调大发热管的加热温度使其持续对被测水果样品进行加热。可选的，预设温度是根据实验经验选择出的相应样品种类在热激励前后温差最明显的温度值，比如检测苹果内部缺陷时，预设温度为40℃。

步骤24：若不低于(即大于等于)预设温度，则使发热管按照设定加热温度保持预设时间后再关闭发热管。可选的，预设时间可以设置为60s。

步骤3：在预定冷却时间后，比如令被测水果样品自然冷却60s，再次移开顶盖，获取被测水果样品在热激励后的红外热图像。

步骤4：将热激励前后的红外热图像依次进行直方图均衡化、中值平滑、高斯平滑、边缘检测、图像分割处理后，输出只包含被测水果样品的前景图。

红外热图像的对比度往往比可见光图像弱，其边缘较为模糊，所以进行一定的图像处理是十分必要的，本步骤中可直接调用OpenCV机器视觉开源库提供的方法进行图像处理。原红外热图像经过直方图均衡化，使图像的灰度直方图更加均匀，像素将占有更多的灰度级，处理后的图像的对比度提高，图像质量有所改善；中值平滑后可有效消除图像的椒盐噪声，避免噪声会影响缺陷识别单元的检测精度；在中值平滑的基础上再进行高斯平滑，以增强图像的有效信息，且经过中值平滑、高斯平滑后得到有效信息占比更高；使用Sobel算子提取出边缘连续性好、边缘完整的边缘线条后，对热图像进行分割得到只包含被测水果样品的前景图。

步骤5：将图像处理后的热激励前后的红外热图像进行对比分析，再与设置的温差阈值进行比较得到内部有缺陷水果样品及内部无缺陷水果样品的坐标位置。具体包括：

步骤51：将两幅前景图的温度场对应相减得到温度场变化图。

假设加热前红外热图的目标温度场为F，加热后红外热图的目标温度场为S,两幅图像温度场对应相减得到S-F，S-F则是温度场的变化图。

步骤52：将温度场变化图与设置的温差阈值进行对比，将图中大于温差阈值的区域视为缺陷区域，不大于温差阈值的区域视为正常区域。

其中，温差阈值根据样品种类及实验经验设定的，以苹果为例，本例中的温差阈值为1.2℃。

步骤53：基于梯度的霍夫圆检测法分别输出缺陷区域的质心坐标作为内部有缺陷水果样品的坐标位置，以及正常区域的质心坐标作为内部无缺陷水果样品的坐标位置。可选的，还能输出被测水果样品的半径大小。

步骤6：调整被测水果样品的朝上放置面，使红外热像采集模组拍摄同一样品不同表面的红外热图像，重复步骤1-5，提升缺陷检测的识别精度。

该方法的图像处理方法采用Python结合OpenCV开源库开发，巧妙地将OpenCV提供的方法和检测方法融合在一起，通过设置温差阈值进行缺陷识别并输出坐标位置，相比于直接对比激励前后热图像，本方法可高效简便的完成任务，正确率高，便于二次开发，对检测水果缺陷设备的设计制作具有重要的指导意义。需要说明的是，上述缺陷检测原理请参考实施例一的描述，在此不再赘述。

以上所述的仅是本申请的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (10)

1.一种水果内部缺陷的主动红外热像检测装置，其特征在于，包括控制及数据处理分析模组以及与其相连的红外热像采集模组、供电电源和水果加热模组；所述供电电源还连接其他模组用于提供所需电源，所述红外热像采集模组用于采集被测水果样品在热激励前后的红外热图像，所述水果加热模组用于对被测水果样品施加可控热激励，所述控制及数据处理分析模组用于将所述热激励前后的红外热图像进行对比分析，再与设置的温差阈值进行比较得到内部有缺陷水果样品及内部无缺陷水果样品的坐标位置。

2.根据权利要求1所述的水果内部缺陷的主动红外热像检测装置，其特征在于，所述红外热像采集模组包括红外热像仪、图像采集卡和两个LED光源，所述红外热像仪置于所述水果加热模组上方，所述红外热像仪通过图像采集卡连接所述控制及数据处理分析模组；两个LED光源分布在红外热像仪两侧，且分别连接所述供电电源，用于提供红外热像仪所需的亮度。

3.根据权利要求1所述的水果内部缺陷的主动红外热像检测装置，其特征在于，所述水果加热模组包括带有顶盖的水果放置桶、通讯单元、多个发热管和温度传感器，顶盖一端与水果放置桶铰接，使所述顶盖围绕铰接点水平旋转；多个发热管和温度传感器均匀分布在水果放置桶的底座上，并通过所述通讯单元与所述数据处理分析模组连接，所述通讯单元置于水果放置桶底座的内部。

4.根据权利要求3所述的水果内部缺陷的主动红外热像检测装置，其特征在于，所述水果放置桶包括设置在底座上的内桶和外桶，且内桶高度低于外桶高度；内外桶之间蓄有低于内桶高度的水，且多个发热管竖直分布在内外桶之间，使得放置在内桶中的被测水果样品受热均匀，且利用加热时产生的水蒸气保持内桶的湿度。

5.根据权利要求1所述的水果内部缺陷的主动红外热像检测装置，其特征在于，所述控制及数据处理分析模组包括：

红外热像数据采集控制单元，用于调节红外热像采集模组中红外热像仪的视场和焦距，还用于设置红外热像采集模组中图像采集卡的图像采集频率，以及还用于控制红外热像采集模组中LED光源的启动和关闭；

热激励加载控制单元，用于设置发热管的工作时长、加热大小和频率；还用于根据水果加热模组反馈的温度信息控制水果加热模组中发热管的启动和关闭，从而使水果加热模组产生可控热激励，所述可控热激励用于加大热激励前后样品内部缺陷位置反应到表面的温度差；

图像处理单元，用于接收红外热像仪发送的热激励前后的红外热图像，并进行图像处理得到只包含被测水果样品的前景图；

缺陷识别单元，用于接收热激励前后的前景图，并将两幅前景图的温度场对应相减得到温度场变化图，还用于将所述温度场变化图中大于温差阈值的区域视为缺陷区域，不大于温差阈值的区域视为正常区域，并基于梯度的霍夫圆检测法分别输出缺陷区域的质心坐标作为内部有缺陷水果样品的坐标位置，以及正常区域的质心坐标作为内部无缺陷水果样品的坐标位置。

6.一种水果内部缺陷的主动红外热像检测方法，其特征在于，所述方法基于控制及数据处理分析模组实现，包括：

调节红外热像采集模组，并获取被测水果样品的红外热图像；

设置水果加热模组对被测水果样品施加的可控热激励，并启动所述水果加热模组对被测水果样品进行加热；

在预定冷却时间后，获取被测水果样品在热激励后的红外热图像；

将热激励前后的红外热图像进行对比分析，再与设置的温差阈值进行比较得到内部有缺陷水果样品及内部无缺陷水果样品的坐标位置。

7.根据权利要求6所述的水果内部缺陷的主动红外热像检测方法，其特征在于，所述调节红外热像采集模组，包括：

调节红外热像采集模组中红外热像仪的视场和焦距，使计算机显示器上出现清晰的样品红外热图像；

设置红外热像采集模组中图像采集卡的图像采集频率；

在拍摄前启动红外热像采集模组中的LED光源，获取红外热图像后关闭LED光源。

8.根据权利要求6所述的水果内部缺陷的主动红外热像检测方法，其特征在于，所述启动所述水果加热模组对被测水果样品进行加热，包括：

按照设置的热激励参数启动水果加热模组中的发热管，并获取水果加热模组反馈的温度信息；

若低于预设温度，则调大发热管的加热温度使其持续对被测水果样品进行加热；

若不低于预设温度，则使发热管按照设定加热温度保持预设时间后再关闭发热管。

9.根据权利要求6所述的水果内部缺陷的主动红外热像检测方法，其特征在于，所述方法还包括：

将热激励前后的红外热图像依次进行直方图均衡化、中值平滑、高斯平滑、边缘检测、图像分割处理后，输出只包含被测水果样品的前景图。

10.根据权利要求9所述的水果内部缺陷的主动红外热像检测方法，其特征在于，所述将热激励前后的红外热图像进行对比分析，再与设置的温差阈值进行比较得到内部有缺陷水果样品及内部无缺陷水果样品的坐标位置，包括：

将两幅前景图的温度场对应相减得到温度场变化图；

将温度场变化图与设置的温差阈值进行对比，将图中大于温差阈值的区域视为缺陷区域，不大于温差阈值的区域视为正常区域；

基于梯度的霍夫圆检测法分别输出缺陷区域的质心坐标作为内部有缺陷水果样品的坐标位置，以及正常区域的质心坐标作为内部无缺陷水果样品的坐标位置。

Images