CN116823795A - 橡胶制品的缺陷检测方法、装置、电子设备及存储介质 - Google Patents

橡胶制品的缺陷检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116823795A
CN116823795A CN202310866333.1A CN202310866333A CN116823795A CN 116823795 A CN116823795 A CN 116823795A CN 202310866333 A CN202310866333 A CN 202310866333A CN 116823795 A CN116823795 A CN 116823795A
Authority
CN
China
Prior art keywords
defect
image
detection
frame image
rubber product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310866333.1A
Other languages
English (en)
Inventor
向超前
陈运华
余祖杰
李鹏飞
郭宇超
刘俊龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lansi System Integration Co ltd
Original Assignee
Lansi System Integration Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lansi System Integration Co ltd filed Critical Lansi System Integration Co ltd
Priority to CN202310866333.1A priority Critical patent/CN116823795A/zh
Publication of CN116823795A publication Critical patent/CN116823795A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本申请公开了一种橡胶制品的缺陷检测方法、装置、电子设备及存储介质,属于工业检测技术领域。其中,该方法包括:获取橡胶制品被挤压过程的视频;针对所述视频中的每帧图像,按照滑动窗口截取所述图像中的多个局部图像,其中,所述局部图像的尺寸与所述滑动窗口的尺寸相同;对每个局部图像内的橡胶制品图像进行缺陷检测,获得当前帧图像的候选缺陷区域;采用分类模型对所述候选缺陷区域进行缺陷检测,得到所述橡胶制品的缺陷结果。通过本申请,解决了相关技术中橡胶制品的缺陷检测效率低的技术问题。

Description

橡胶制品的缺陷检测方法、装置、电子设备及存储介质
技术领域
本申请涉及工业检测技术领域,具体而言,涉及一种橡胶制品的缺陷检测方法、装置、电子设备及存储介质。
背景技术
随着新一代信息技术与制造业的深度融合,引发制造业产生巨大变革,逐步从数量提升到质量提升转变。通过提升产品质量来生产高质量、高利润产品,可以实现产品竞争力跃升。提升产品质量的思路有加强产品质检、提升工业水平和规范生产作业等,其中,品质检测是制造业生产中最常用的方式。
相关技术中,针对橡胶制品的检测主要采用人工检测的方式,然而在橡胶制品缺陷区域比较小且缺陷特征不明显的情况下,采用人工检测的方式容易造成漏检,检测准确率难以得到保障,且人工检测需长时间进行肉眼观察,人眼容易发生疲劳,检测效率低。
针对相关技术中存在的上述问题,目前尚未发现有效的解决方案。
发明内容
本申请提供了一种橡胶制品的缺陷检测方法、装置、电子设备及存储介质,以解决相关技术橡胶制品的缺陷检测效率低的技术问题。
根据本申请实施例的一个方面,提供了一种橡胶制品的缺陷检测方法,包括:获取橡胶制品被挤压过程的视频;针对所述视频中的每帧图像,按照滑动窗口截取所述图像中的多个局部图像,其中,所述局部图像的尺寸与所述滑动窗口的尺寸相同;对每个局部图像内的橡胶制品图像进行缺陷检测,获得当前帧图像的候选缺陷区域;采用分类模型对所述候选缺陷区域进行缺陷检测,得到所述橡胶制品的缺陷结果。
进一步地,对每个局部图像内的橡胶制品图像进行缺陷检测,获得当前帧图像的候选缺陷区域包括:采用第一深度学习模型对当前局部图像进行目标检测,得到第一缺陷结果,以及采用第二深度学习模型对所述当前局部图像进行异常检测,得到第二缺陷结果,其中,所述第一深度学习模型是采用负样本训练得到的,第二深度学习模型是采用正样本训练得到的;合并所述第一缺陷结果和所述第二缺陷结果,得到所述当前局部图像的缺陷检测结果;将所有的局部图像的缺陷检测结果进行合并,得到当前帧图像的候选缺陷区域。
进一步地,在采用第一深度学习模型对当前局部图像进行目标检测之前,所述方法还包括:获取存在缺陷的负样本图像,并提取所述负样本图像中的缺陷区域;在所述负样本图像上定义滑动窗口,以所述缺陷区域为中心,朝多个方向以预设间距在所述负样本图像上滑动所述滑动窗口;截取每次滑动时所述滑动窗口在所述负样本图像上的局部图像,并将所述局部图像作为负样本;采用所述负样本对目标检测模型进行训练,得到第一深度学习模型。
进一步地,采用所述负样本对目标检测模型进行训练,得到第一深度学习模型包括:采用所述负样本和以下损失函数对目标检测模型进行训练,得到第一深度学习模型:FL(pt)=-αt(1-pt)γlog(pt),其中,pt为所述第一深度学习模型预测的结果为缺陷的概率,(1-pt)γ为调制因子,用于降低易区分样本的贡献,at用于调节正样本和负样本损失之间的比例,γ用于控制易区分样本和难区分样本之间失衡。
进一步地,在采用第二深度学习模型对所述当前局部图像进行异常检测之前,所述方法还包括:获取橡胶制品被挤压过程中无缺陷的正样本视频;提取所述正样本视频中的多张关键帧图像;对每张关键帧图像,按照滑动窗口截取所述关键帧图像中的多个局部图像,并将所述多个局部图像作为正样本;采用所述正样本对异常检测模型进行训练,得到第二深度学习模型。
进一步地,提取所述正样本视频中的多张关键帧图像包括:将所述正样本视频的首帧图像保留为关键帧图像;对所述首帧图像之后的当前帧图像,计算所述当前帧图像与所述当前帧图像前一帧图像的图像相似度;若所述图像相似度低于预设阈值,则将所述当前帧图像作为关键帧图像。
进一步地,采用分类模型对所述候选缺陷区域进行缺陷检测,得到所述橡胶制品的缺陷结果包括:扩大所述候选缺陷区域,得到待检测区域;获取所述当前帧图像之前的连续多帧历史帧图像,并确定每帧历史帧图像中与所述待检测区域对应的目标区域;将所述当前帧图像的候选缺陷区域图像,以及所述历史帧图像对应的目标区域图像分别输入分类模型,统计每帧图像的缺陷结果;若所述缺陷结果为缺陷的帧数大于预设阈值,则确定所述当前帧图像的候选缺陷区域为缺陷,若所述缺陷结果为缺陷的帧数小于或等于预设阈值,则确定所述当前帧图像的候选缺陷区域为非缺陷。
根据本申请实施例的另一个方面,还提供了一种橡胶制品的缺陷检测装置,包括:获取模块,用于获取橡胶制品被挤压过程的视频;截取模块,用于针对所述视频中的每帧图像,按照滑动窗口截取所述图像中的多个局部图像,其中,所述局部图像的尺寸与所述滑动窗口的尺寸相同;第一检测模块,用于对每个局部图像内的橡胶制品图像进行缺陷检测,获得当前帧图像的候选缺陷区域;第二检测模块,用于采用分类模型对所述候选缺陷区域进行缺陷检测,得到所述橡胶制品的缺陷结果。
进一步地,所述第一检测模块包括第一检测单元,用于采用第一深度学习模型对当前局部图像进行目标检测,得到第一缺陷结果,以及采用第二深度学习模型对所述当前局部图像进行异常检测,得到第二缺陷结果,其中,所述第一深度学习模型是采用负样本训练得到的,第二深度学习模型是采用正样本训练得到的;合并所述第一缺陷结果和所述第二缺陷结果,得到所述当前局部图像的缺陷检测结果;将所有的局部图像的缺陷检测结果进行合并,得到当前帧图像的候选缺陷区域。
进一步地,所述橡胶制品的缺陷检测装置还包括第一训练单元,用于获取存在缺陷的负样本图像,并提取所述负样本图像中的缺陷区域;在所述负样本图像上定义滑动窗口,以所述缺陷区域为中心,朝多个方向以预设间距在所述负样本图像上滑动所述滑动窗口;截取每次滑动时所述滑动窗口在所述负样本图像上的局部图像,并将所述局部图像作为负样本;采用所述负样本对目标检测模型进行训练,得到第一深度学习模型。
进一步地,所述第一训练单元,还用于采用所述负样本和以下损失函数对目标检测模型进行训练,得到第一深度学习模型:FL(pt)=-αt(1-pt)γlog(pt),其中,pt为所述第一深度学习模型预测的结果为缺陷的概率,(1-pt)γ为调制因子,用于降低易区分样本的贡献,at用于调节正样本和负样本损失之间的比例,γ用于控制易区分样本和难区分样本之间失衡。
进一步地,所述橡胶制品的缺陷检测装置还包括第二训练单元,用于获取橡胶制品被挤压过程中无缺陷的正样本视频;提取所述正样本视频中的多张关键帧图像;对每张关键帧图像,按照滑动窗口截取所述关键帧图像中的多个局部图像,并将所述多个局部图像作为正样本;采用所述正样本对异常检测模型进行训练,得到第二深度学习模型。
进一步地,所述第二训练单元,还用于将所述正样本视频的首帧图像保留为关键帧图像;对所述首帧图像之后的当前帧图像,计算所述当前帧图像与所述当前帧图像前一帧图像的图像相似度;若所述图像相似度低于预设阈值,则将所述当前帧图像作为关键帧图像。
进一步地,所述第二检测模块包括第二检测单元,用于扩大所述候选缺陷区域,得到待检测区域;获取所述当前帧图像之前的连续多帧历史帧图像,并确定每帧历史帧图像中与所述待检测区域对应的目标区域;将所述当前帧图像的候选缺陷区域图像,以及所述历史帧图像对应的目标区域图像分别输入分类模型,统计每帧图像的缺陷结果;若所述缺陷结果为缺陷的帧数大于预设阈值,则确定所述当前帧图像的候选缺陷区域为缺陷,若所述缺陷结果为缺陷的帧数小于或等于预设阈值,则确定所述当前帧图像的候选缺陷区域为非缺陷。
根据本申请实施例的另一方面,还提供了一种存储介质,该存储介质包括存储的程序,程序运行时执行上述的步骤。
根据本申请实施例的另一方面,还提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;其中:存储器,用于存放计算机程序;处理器,用于通过运行存储器上所存放的程序来执行上述方法中的步骤。
本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述方法中的步骤。
通过本申请,获取橡胶制品被挤压过程的视频,针对视频中的每帧图像,按照滑动窗口截取图像中的多个局部图像,其中,局部图像的尺寸与滑动窗口的尺寸相同,对每个局部图像内的橡胶制品图像进行缺陷检测,获得当前帧图像的候选缺陷区域,采用分类模型对候选缺陷区域进行缺陷检测,得到橡胶制品的缺陷结果,通过对橡胶制品被挤压过程的视频进行图像分析,可实现橡胶制品缺陷的自动检测,不需要专门技术人员观察并识别整个挤压过程出现的缺陷,提高了检测效率,降低了人工工作强度。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是本申请实施例的一种计算机的硬件结构框图;
图2是本申请实施例的一种橡胶制品的缺陷检测方法的流程图;
图3是本申请实施例的钢轨橡胶缺陷检测的流程示意图;
图4是本申请实施例的缺陷候选区域检测流程示意图;
图5是本申请实施例的缺陷检测监控设备现场安装示意图;
图6是本申请实施例的一种橡胶制品的缺陷检测装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
本申请实施例一所提供的方法实施例可以在手机、计算机、平板或者类似的运算装置中执行。以运行在计算机上为例,图1是本申请实施例的一种计算机的硬件结构框图。如图1所示,计算机可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,可选地,上述计算机还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述计算机的结构造成限定。例如,计算机还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本申请实施例中的一种橡胶制品的缺陷检测方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机的通信供应商提供的无线网络。在一个实例中,传输设备106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种橡胶制品的缺陷检测方法,橡胶制品的缺陷检测方法可基于双视角橡胶制品的缺陷检测监控设备,本实施例中橡胶制品具体为钢轨橡胶制品,钢轨橡胶制品是通过硫化工艺将金属与橡胶结合制成列车轨道橡胶减振装置的弹性元件,钢轨橡胶制品不仅确保了列车的平稳运行,还保证了其安全性及舒适性。因在投产中,生产出的成品存在较少的异常产品,异常产品存在安全隐患,且易造成经济损失,因此对产品进行质量检测,及时发现异常产品,对于提高产品质量、显著降低产品使用风险具有重要意义。
参照图5缺陷检测监控设备的现场安装示意图,缺陷检测监控设备包括两台高分辨率彩色工业相机(包括如图1的左相机1a和右相机1b),环形光源2,夹具4,待检测的橡胶制品5和加压设备6,其中,待检测的橡胶制品5与相机的镜头3之间的距离可设置为40cm,左相机1a和右相机1b之间的距离可设置为20cm,两台相机相互平行放置,正对橡胶制品挤压工位,以保证在相机视野中挤压过程能清晰成像,相机的分辨率为5472*3684,帧率为5FPS,本实施例中由于实际检测钢轨橡胶制品的面积较大且缺陷极小,因此采用两台相机分别检测不同区域,并保障拍摄区域有部分重叠,从而保障待检测钢轨橡胶制品的完整呈现在相机视野区域,并可提高缺陷区域在相机视野中的特征,光源用于降低光照变化对图像质量的影响,可选地,缺陷检测监控设备还包括显示器和计算存储设备,检测人员可以通过显示器观察挤压过程,而无需直面挤压现场,改善了工作环境,存储设备用于记录检测过程用以回溯,可通过程序反复确认,避免了检测人员人工观察不仔细或观察不充分,从而导致的重复挤压测试操作。通过夹具将挤压设备与钢轨橡胶制品固定,然后利用挤压工具对钢轨橡胶制品施以反复挤压,若钢轨橡胶制品是缺陷产品,则在挤压过程中异常部位会暴露出来。
图2是根据本申请实施例的一种橡胶制品的缺陷检测方法的流程图,如图2所示,该流程包括如下步骤:
步骤S10,获取橡胶制品被挤压过程的视频;
步骤S20,针对所述视频中的每帧图像,按照滑动窗口截取所述图像中的多个局部图像,其中,所述局部图像的尺寸与所述滑动窗口的尺寸相同;
本实施例中针对视频中的每帧图像进行滑动窗口处理,滑动窗口处理流程具体为:在当前帧图像上定义一个滑动窗口,以预设间距在当前帧图像上滑动该滑动窗口,截取每次滑动时滑动窗口在当前帧图像上的局部图像。其中,滑动窗口的尺寸可以根据计算效率以及缺陷检测精度确定,预设间距小于或等于m,其中,m=min(width,height)/2,其中width、height分别为滑动窗口的宽和高。本实施例考虑到对钢轨橡胶制品进行缺陷检测的应用场景中图像视野分辨率大,且缺陷特征区域为小目标区域,为了进一步提高缺陷区域特征,降低图像正常区域对缺陷区域的影响,对待测视频帧进行滑动窗口处理,可降低正样本和负样本不平衡对模型预测精度的影响,示例性地,原始图像有10000个像素,其中的缺陷区域所占的像素为10个,则缺陷区域的占比为1/1000,而采用滑动窗口大小为1000个像素,缺陷区域所占的像素不变为10个,即缺陷区域的占比为1/100,如此,大大减少了正常区域的比例,降低样本不均衡的影响,从而提高模型预测精度。同时,在进行目标检测时要求以固定分辨率例如250*250输入图像,如果分辨率超出固定分辨率,则会对分辨率为1000*1000的图像进行改变图像大小resize处理,将导致图像失真,而本实施例可设置滑动窗口的分辨率为250*250,则不用经过resize,可降低图像预处理(如resize)对图像特征的影响,保证图像不失真。
本实施例在按照滑动窗口截取所述图像中的多个局部图像之后,还包括对滑动窗口所产生的局部图像进行预处理,主要包括光照不均处理、图像去噪等,以降低光照不均及图像噪声对后续检测结果的影响。
步骤S30,对每个局部图像内的橡胶制品图像进行缺陷检测,获得当前帧图像的候选缺陷区域;
步骤S40,采用分类模型对所述候选缺陷区域进行缺陷检测,得到所述橡胶制品的缺陷结果。
首先对每个局部图像内的橡胶制品所占的图像进行缺陷检测,得到当前帧图像的候选缺陷区域,再针对检测出的候选缺陷区域采用分类模型进行缺陷检测,得到最终的橡胶制品的缺陷结果为缺陷产品或正常产品,缺陷结果包括缺陷分类结果和缺陷位置,缺陷分类结果包括缺陷和正常,缺陷还可以包括具体的缺陷类型,例如破损、开裂、鼓包以及气泡等。
通过上述步骤,获取橡胶制品被挤压过程的视频,针对视频中的每帧图像,按照滑动窗口截取图像中的多个局部图像,其中,局部图像的尺寸与滑动窗口的尺寸相同,对每个局部图像内的橡胶制品图像进行缺陷检测,获得当前帧图像的候选缺陷区域,采用分类模型对候选缺陷区域进行缺陷检测,得到橡胶制品的缺陷结果,通过对橡胶制品被挤压过程的视频进行图像分析,可实现橡胶制品缺陷的自动检测,不需要专门技术人员观察并识别整个挤压过程出现的缺陷,提高了检测效率,降低了人工工作强度。
在本实施例的一实施方式中,对每个局部图像内的橡胶制品图像进行缺陷检测,获得当前帧图像的候选缺陷区域包括:
S31,采用第一深度学习模型对当前局部图像进行目标检测,得到第一缺陷结果,以及采用第二深度学习模型对所述当前局部图像进行异常检测,得到第二缺陷结果,其中,所述第一深度学习模型是采用负样本训练得到的,第二深度学习模型是采用正样本训练得到的;
S32,合并所述第一缺陷结果和所述第二缺陷结果,得到所述当前局部图像的缺陷检测结果;
S33,将所有的局部图像的缺陷检测结果进行合并,得到当前帧图像的候选缺陷区域。
本实施例对局部图像进行缺陷检测主要采用基于深度学习的目标检测及基于深度学习的异常检测算法对其进行检测,并将两个检测结果进行合并,以得到当前帧图像的候选缺陷区域。参考图4,对于单个局部图像,将第一缺陷结果和第二缺陷结果分别进行非极大抑制处理NMS,以滤除单个模型所产生的冗余与重复,并将其分别还原至原始图片坐标系,得到基于原始图像坐标系下单个滑动窗口(即局部图像)多模型检测结果,并将多模型检测结果进行合并,并将合并结果进行非极大抑制处理,以滤除多模型融合预测所产生的冗余重复结果,得到最终单个滑动窗口区域检测结果。然后将所有滑动窗口所产生的检测结果合并,并采用非极大抑制处理滤除一些重复检测结果,以降低后续计算量。由于钢轨缺陷数据量较少,且缺陷区域为小目标,本实施例采用从正样本与负样本两方面训练相关模型来对缺陷区域进行综合检测,一方面由于负样本较少,但其正样本较为丰富,因而采用基于深度学习异常检测算法,通过学习大量正常样本,实现对待测图像进行缺陷检测;但由于异常检测并不直接学习缺陷区域特征,其可能存在泛化能力不足,因此通过收集缺陷样本,利用深度学习目标检测算法直接对缺陷区域进行学习,并利用训练好的目标检测算法对待测图像进行检测,后续将两者检测结果进行合并,完成单个滑动窗口区域的检测过程。
其中,异常检测算法针对正样本较多而负样本少的场景,其采用正样本作为训练集,即异常检测模型只学习正样本的特征,在遇到异常样本时,则可将与正常区域存在差异的异常区域暴露出来。异常检测算法不是直接学习缺陷特征,相较目标检测算法的可信度低,但也可以得到候选缺陷区域,且异常检测算法的正样本充足,可获取更多的候选缺陷区域,可提高后续分类模型对缺陷的检测精度。目标检测算法采用标记的缺陷区域,直接学习缺陷区域特征,在缺陷样本比较充足的情况下,相较于异常检测算法其可信度高,缺陷特征更明显。因此,本实施例结合多模型的优势进行缺陷检测,提高了检测精度。
非极大抑制算法计算步骤包括:设定目标框的置信度阈值,常设阈值为0.5,其中,目标框为局部区域;根据置信度降序排列候选框列表;选取置信度最高的框A添加到输出列表,并将其从候选框列表中删除;计算A与候选框列表中的所有框的IOU值,删除大于阈值的候选框;重复上述过程,直到候选框列表为空,返回输出列表。
在本实施方式中,在采用第一深度学习模型对当前局部图像进行目标检测之前,所述方法还包括:获取存在缺陷的负样本图像,并提取所述负样本图像中的缺陷区域;在所述负样本图像上定义滑动窗口,以所述缺陷区域为中心,朝多个方向以预设间距在所述负样本图像上滑动所述滑动窗口;截取每次滑动时所述滑动窗口在所述负样本图像上的局部图像,并将所述局部图像作为负样本;采用所述负样本对目标检测模型进行训练,得到第一深度学习模型。
本实施例中建设负样本库:获取存在缺陷的负样本图像,并提取负样本图像中的缺陷区域,依据标注的缺陷区域,以缺陷区域为中心,滑动窗口尺寸为基本尺寸,使滑动窗口以缺陷区域为中心,朝多个方向以一定间距进行滑动,并截取相关区域以保存,作为最终的缺陷样本即负样本,通过此种处理,可增加样本数量及多样性,达到样本增强目的。
本实施例中,为了弥补缺陷数据不足,首先采用开源的工业缺陷数据集,以及普通softmax损失函数对模型进行训练,得到一个预训练权重,然后以预训练权重为初始权重,采用上述负样本库的缺陷数据以及focal_loss损失函数对模型进行进一步训练,本实施例首先采用普通分类损失函数对模型进行训练,然后采用focal_loss对模型进行微调,降低了样本不均衡及易区分样本对模型训练影响。
focal_loss的具体计算公式为:FL(pt)=-αt(1-pt)γlog(pt),其中,pt为所述第一深度学习模型预测的结果为缺陷的概率,(1-pt)γ为调制因子,用于降低易区分样本的贡献,at用于调节正样本和负样本损失之间的比例,γ用于控制易区分样本和难区分样本之间失衡。
在本实施方式中,在采用第二深度学习模型对所述当前局部图像进行异常检测之前,所述方法还包括:获取橡胶制品被挤压过程中无缺陷的正样本视频;提取所述正样本视频中的多张关键帧图像;对每张关键帧图像,按照滑动窗口截取所述关键帧图像中的多个局部图像,并将所述多个局部图像作为正样本;采用所述正样本对异常检测模型进行训练,得到第二深度学习模型。
本实施例中选取异常检测模型,并利用上述正样本对异常检测模型进行训练,还可利用难样本挖掘策略对模型进行进一步微调,以优化模型。
具体地,提取所述正样本视频中的多张关键帧图像包括:将所述正样本视频的首帧图像保留为关键帧图像;对所述首帧图像之后的当前帧图像,计算所述当前帧图像与所述当前帧图像前一帧图像的图像相似度;若所述图像相似度低于预设阈值,则将所述当前帧图像作为关键帧图像。
数据获取主要从现场录制钢轨橡胶制品挤压检测视频,而目前从视频中获取样本关键帧主要是采用抽帧处理,抽帧处理策略简单,但其却无法量化帧间差异,抽帧间距设置不便,抽帧间距过小易造成冗余帧,过大易漏。针对此本实施例采用基于图像相似度的策略来获取样本关键帧,对相邻连续帧进行图像相似度计算,将首帧保留为关键帧,对首帧图像之后的当前帧图像,计算当前帧图像与当前帧图像前一帧图像的图像相似度,若图像相似度低于预设阈值,则将当前帧图像作为关键帧图像,以此量化帧间差异,有利于得到高质量样本关键帧,提高模型泛化能力,得到关键帧后,对每个关键帧进行滑动窗口处理,得到最终基于深度学习异常检测样本库。
本实施例中,采用分类模型对所述候选缺陷区域进行缺陷检测,得到所述橡胶制品的缺陷结果包括:扩大所述候选缺陷区域,得到待检测区域;获取所述当前帧图像之前的连续多帧历史帧图像,并确定每帧历史帧图像中与所述待检测区域对应的目标区域;将所述当前帧图像的候选缺陷区域图像,以及所述历史帧图像对应的目标区域图像分别输入分类模型,统计每帧图像的缺陷结果;若所述缺陷结果为缺陷的帧数大于预设阈值,则确定所述当前帧图像的候选缺陷区域为缺陷,若所述缺陷结果为缺陷的帧数小于或等于预设阈值,则确定所述当前帧图像的候选缺陷区域为非缺陷。
在本实施例中,钢轨橡胶制品的缺陷检测是通过挤压更好地将缺陷暴露出来,在挤压过程中,会导致钢轨橡胶制品有轻微塑性变形,导致各部分区域有微小形变,但其实际形变导致的各部分位移变化较小,因此将缺陷候选区域扩大一部分,可将其历史帧对应缺陷位置包含在内。
将当前帧图像中的候选缺陷区域,及其历史连续帧对应区域分别送入缺陷分类检测模型,统计每帧缺陷检测结果,若检测为缺陷的帧数大于设定阈值,则认定当前帧缺陷候选区域为缺陷,否则,则认为不是缺陷。只须区分背景(正常区域)与前景(缺陷区域),所以本实施例中的分类模型为二分类模型,只需收集缺陷图像与正常图像,对于缺陷样本图像,利用已标注的缺陷位置,以缺陷区域为中心,设置滑动窗口尺寸(分类模型所要求的输入分辨率),使滑动窗口以缺陷区域为中心,朝多个方向以一定间距进行滑动,并截取相关区域以保存,以弥补缺陷样本不足,得到数据增强的目的,最终得到缺陷样本,对于正常区域则利用同样尺寸的滑动窗口将其在缺陷区域以外进行滑动,并截取相关区域并保存,构建背景样本。
本实施例中先利用普通softmax损失函数对分类模型进行初步训练,得到预训练权重,然后以此为预训练权重,对模型采用难样本挖掘策略进行进一步微调,难样本挖掘具体策略为:对softmax损失函数值进行从大到小排序,选取其中损失值排名靠前一定比例的损失值作为模型参数更新的最终损失值,以达到困难样本挖掘的目的,从而进一步优化模型。
参考图3是本发明实施例的钢轨橡胶缺陷检测流程图,包括:获取待检测的视频帧,对每帧图像进行滑动窗口处理,对每个滑动窗口区域分别进行预处理,对滑动窗口区域进行缺陷检测,得到候选缺陷区域,对候选缺陷区域及其若干历史帧区域进行缺陷分类检测,检测是缺陷图像还是正常图像,统计检测结果,并判定候选缺陷区域是否为缺陷。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
实施例2
在本实施例中还提供了一种橡胶制品的缺陷检测装置,用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图6是根据本申请实施例的一种橡胶制品的缺陷检测装置的结构框图,如图6所示,该装置包括:
获取模块60,用于获取橡胶制品被挤压过程的视频;
截取模块62,用于针对所述视频中的每帧图像,按照滑动窗口截取所述图像中的多个局部图像,其中,所述局部图像的尺寸与所述滑动窗口的尺寸相同;
第一检测模块64,用于对每个局部图像内的橡胶制品图像进行缺陷检测,获得当前帧图像的候选缺陷区域;
第二检测模块66,用于采用分类模型对所述候选缺陷区域进行缺陷检测,得到所述橡胶制品的缺陷结果。
可选地,所述第一检测模块包括第一检测单元,用于采用第一深度学习模型对当前局部图像进行目标检测,得到第一缺陷结果,以及采用第二深度学习模型对所述当前局部图像进行异常检测,得到第二缺陷结果,其中,所述第一深度学习模型是采用负样本训练得到的,第二深度学习模型是采用正样本训练得到的;合并所述第一缺陷结果和所述第二缺陷结果,得到所述当前局部图像的缺陷检测结果;将所有的局部图像的缺陷检测结果进行合并,得到当前帧图像的候选缺陷区域。
可选地,所述橡胶制品的缺陷检测装置还包括第一训练单元,用于获取存在缺陷的负样本图像,并提取所述负样本图像中的缺陷区域;在所述负样本图像上定义滑动窗口,以所述缺陷区域为中心,朝多个方向以预设间距在所述负样本图像上滑动所述滑动窗口;截取每次滑动时所述滑动窗口在所述负样本图像上的局部图像,并将所述局部图像作为负样本;采用所述负样本对目标检测模型进行训练,得到第一深度学习模型。
可选地,所述第一训练单元,还用于采用所述负样本和以下损失函数对目标检测模型进行训练,得到第一深度学习模型:FL(pt)=-αt(1-pt)γlog(pt),其中,pt为所述第一深度学习模型预测的结果为缺陷的概率,(1-pt)γ为调制因子,用于降低易区分样本的贡献,at用于调节正样本和负样本损失之间的比例,γ用于控制易区分样本和难区分样本之间失衡。
可选地,所述橡胶制品的缺陷检测装置还包括第二训练单元,用于获取橡胶制品被挤压过程中无缺陷的正样本视频;提取所述正样本视频中的多张关键帧图像;对每张关键帧图像,按照滑动窗口截取所述关键帧图像中的多个局部图像,并将所述多个局部图像作为正样本;采用所述正样本对异常检测模型进行训练,得到第二深度学习模型。
可选地,所述第二训练单元,还用于将所述正样本视频的首帧图像保留为关键帧图像;对所述首帧图像之后的当前帧图像,计算所述当前帧图像与所述当前帧图像前一帧图像的图像相似度;若所述图像相似度低于预设阈值,则将所述当前帧图像作为关键帧图像。
可选地,所述第二检测模块包括第二检测单元,用于扩大所述候选缺陷区域,得到待检测区域;获取所述当前帧图像之前的连续多帧历史帧图像,并确定每帧历史帧图像中与所述待检测区域对应的目标区域;将所述当前帧图像的候选缺陷区域图像,以及所述历史帧图像对应的目标区域图像分别输入分类模型,统计每帧图像的缺陷结果;若所述缺陷结果为缺陷的帧数大于预设阈值,则确定所述当前帧图像的候选缺陷区域为缺陷,若所述缺陷结果为缺陷的帧数小于或等于预设阈值,则确定所述当前帧图像的候选缺陷区域为非缺陷。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例3
本申请的实施例还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,获取橡胶制品被挤压过程的视频;
S2,针对所述视频中的每帧图像,按照滑动窗口截取所述图像中的多个局部图像,其中,所述局部图像的尺寸与所述滑动窗口的尺寸相同;
S3,对每个局部图像内的橡胶制品图像进行缺陷检测,获得当前帧图像的候选缺陷区域;
S4,采用分类模型对所述候选缺陷区域进行缺陷检测,得到所述橡胶制品的缺陷结果。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本申请的实施例还提供了一种电子设备,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子设备还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,获取橡胶制品被挤压过程的视频;
S2,针对所述视频中的每帧图像,按照滑动窗口截取所述图像中的多个局部图像,其中,所述局部图像的尺寸与所述滑动窗口的尺寸相同;
S3,对每个局部图像内的橡胶制品图像进行缺陷检测,获得当前帧图像的候选缺陷区域;
S4,采用分类模型对所述候选缺陷区域进行缺陷检测,得到所述橡胶制品的缺陷结果。
可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种橡胶制品的缺陷检测方法,其特征在于,所述方法包括:
获取橡胶制品被挤压过程的视频;
针对所述视频中的每帧图像,按照滑动窗口截取所述图像中的多个局部图像,其中,所述局部图像的尺寸与所述滑动窗口的尺寸相同;
对每个局部图像内的橡胶制品图像进行缺陷检测,获得当前帧图像的候选缺陷区域;
采用分类模型对所述候选缺陷区域进行缺陷检测,得到所述橡胶制品的缺陷结果。
2.根据权利要求1所述的方法,其特征在于,对每个局部图像内的橡胶制品图像进行缺陷检测,获得当前帧图像的候选缺陷区域包括:
采用第一深度学习模型对当前局部图像进行目标检测,得到第一缺陷结果,以及采用第二深度学习模型对所述当前局部图像进行异常检测,得到第二缺陷结果,其中,所述第一深度学习模型是采用负样本训练得到的,第二深度学习模型是采用正样本训练得到的;
合并所述第一缺陷结果和所述第二缺陷结果,得到所述当前局部图像的缺陷检测结果;
将所有的局部图像的缺陷检测结果进行合并,得到当前帧图像的候选缺陷区域。
3.根据权利要求2所述的方法,其特征在于,在采用第一深度学习模型对当前局部图像进行目标检测之前,所述方法还包括:
获取存在缺陷的负样本图像,并提取所述负样本图像中的缺陷区域;
在所述负样本图像上定义滑动窗口,以所述缺陷区域为中心,朝多个方向以预设间距在所述负样本图像上滑动所述滑动窗口;
截取每次滑动时所述滑动窗口在所述负样本图像上的局部图像,并将所述局部图像作为负样本;
采用所述负样本对目标检测模型进行训练,得到第一深度学习模型。
4.根据权利要求3所述的方法,其特征在于,采用所述负样本对目标检测模型进行训练,得到第一深度学习模型包括:
采用所述负样本和以下损失函数对目标检测模型进行训练,得到第一深度学习模型:
FL(pt)=-αt(1-pt)γlog(pt),其中,pt为所述第一深度学习模型预测的结果为缺陷的概率,(1-pt)γ为调制因子,用于降低易区分样本的贡献,at用于调节正样本和负样本损失之间的比例,γ用于控制易区分样本和难区分样本之间失衡。
5.根据权利要求2所述的方法,其特征在于,在采用第二深度学习模型对所述当前局部图像进行异常检测之前,所述方法还包括:
获取橡胶制品被挤压过程中无缺陷的正样本视频;
提取所述正样本视频中的多张关键帧图像;
对每张关键帧图像,按照滑动窗口截取所述关键帧图像中的多个局部图像,并将所述多个局部图像作为正样本;
采用所述正样本对异常检测模型进行训练,得到第二深度学习模型。
6.根据权利要求5所述的方法,其特征在于,提取所述正样本视频中的多张关键帧图像包括:
将所述正样本视频的首帧图像保留为关键帧图像;
对所述首帧图像之后的当前帧图像,计算所述当前帧图像与所述当前帧图像前一帧图像的图像相似度;
若所述图像相似度低于预设阈值,则将所述当前帧图像作为关键帧图像。
7.根据权利要求1所述的方法,其特征在于,采用分类模型对所述候选缺陷区域进行缺陷检测,得到所述橡胶制品的缺陷结果包括:
扩大所述候选缺陷区域,得到待检测区域;
获取所述当前帧图像之前的连续多帧历史帧图像,并确定每帧历史帧图像中与所述待检测区域对应的目标区域;
将所述当前帧图像的候选缺陷区域图像,以及所述历史帧图像对应的目标区域图像分别输入分类模型,统计每帧图像的缺陷结果;
若所述缺陷结果为缺陷的帧数大于预设阈值,则确定所述当前帧图像的候选缺陷区域为缺陷,若所述缺陷结果为缺陷的帧数小于或等于预设阈值,则确定所述当前帧图像的候选缺陷区域为非缺陷。
8.一种橡胶制品的缺陷检测装置,其特征在于,包括:
获取模块,用于获取橡胶制品被挤压过程的视频;
截取模块,用于针对所述视频中的每帧图像,按照滑动窗口截取所述图像中的多个局部图像,其中,所述局部图像的尺寸与所述滑动窗口的尺寸相同;
第一检测模块,用于对每个局部图像内的橡胶制品图像进行缺陷检测,获得当前帧图像的候选缺陷区域;
第二检测模块,用于采用分类模型对所述候选缺陷区域进行缺陷检测,得到所述橡胶制品的缺陷结果。
9.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;其中:
存储器,用于存放计算机程序;
处理器,用于通过运行存储器上所存放的程序来执行权利要求1至7中任一项所述的方法步骤。
10.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序运行时执行权利要求1至7中任一项所述的方法步骤。
CN202310866333.1A 2023-07-14 2023-07-14 橡胶制品的缺陷检测方法、装置、电子设备及存储介质 Pending CN116823795A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310866333.1A CN116823795A (zh) 2023-07-14 2023-07-14 橡胶制品的缺陷检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310866333.1A CN116823795A (zh) 2023-07-14 2023-07-14 橡胶制品的缺陷检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116823795A true CN116823795A (zh) 2023-09-29

Family

ID=88141226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310866333.1A Pending CN116823795A (zh) 2023-07-14 2023-07-14 橡胶制品的缺陷检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116823795A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372377A (zh) * 2023-10-23 2024-01-09 保定景欣电气有限公司 一种单晶硅棱线的断线检测方法、装置及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372377A (zh) * 2023-10-23 2024-01-09 保定景欣电气有限公司 一种单晶硅棱线的断线检测方法、装置及电子设备
CN117372377B (zh) * 2023-10-23 2024-05-31 保定景欣电气有限公司 一种单晶硅棱线的断线检测方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN110084165B (zh) 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法
CN107123111B (zh) 一种用于手机屏幕缺陷检测的深度残差网络构造方法
CN111797890A (zh) 一种用于检测输电线路设备缺陷的方法及系统
CN109900366B (zh) 一种检测避雷器温度异常点的方法及装置
CN112200011B (zh) 曝气池状态检测方法、系统、电子设备及存储介质
CN116823795A (zh) 橡胶制品的缺陷检测方法、装置、电子设备及存储介质
CN116055690B (zh) 一种机房监控视频的处理方法及设备
CN105357519A (zh) 基于自相似度特征的无参考立体图像质量客观评价方法
CN108174198B (zh) 一种视频图像质量诊断分析检测设备及应用系统
CN107146216A (zh) 一种基于梯度自相似度的无参考图像客观质量评价方法
CN112883929A (zh) 在线视频异常行为检测模型训练、异常检测方法及系统
CN108107611B (zh) 一种自适应缺陷检测方法、装置及电子设备
CN110019060B (zh) 一种机车视频文件与运行记录文件自动同步方法与装置
CN112906488A (zh) 一种基于人工智能的安防视频质量评价系统
CN112561957A (zh) 一种目标对象的状态跟踪方法及装置
CN114596243A (zh) 缺陷检测方法、装置、设备及计算机可读存储介质
CN114049336B (zh) Gis套管温度异常检测方法、装置、设备及可读存储介质
CN115147386A (zh) U型管的缺陷检测方法、装置及电子设备
CN116128826A (zh) 基于YOLOv5的锂电池缺陷检测方法、系统、设备以及存储介质
CN108985222B (zh) 一种用于接打电话识别的深度学习网络模型及系统
CN114612907A (zh) 一种车牌识别方法及装置
CN114630110A (zh) 一种视频图像在线率检测方法
CN113076983A (zh) 一种图像的识别方法和装置
CN111047550A (zh) 一种基于机器视觉的产品异常检测方法、装置及设备
CN113642473A (zh) 一种基于计算机视觉的矿下煤机状态识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination