CN116030048B - 灯检机及其方法 - Google Patents
灯检机及其方法 Download PDFInfo
- Publication number
- CN116030048B CN116030048B CN202310300235.1A CN202310300235A CN116030048B CN 116030048 B CN116030048 B CN 116030048B CN 202310300235 A CN202310300235 A CN 202310300235A CN 116030048 B CN116030048 B CN 116030048B
- Authority
- CN
- China
- Prior art keywords
- image
- detection
- feature map
- enhanced
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 15
- 238000001514 detection method Methods 0.000 claims abstract description 175
- 239000003814 drug Substances 0.000 claims abstract description 80
- 239000003623 enhancer Substances 0.000 claims abstract description 32
- 230000004069 differentiation Effects 0.000 claims abstract description 16
- 238000010586 diagram Methods 0.000 claims description 44
- 239000013598 vector Substances 0.000 claims description 42
- 230000009977 dual effect Effects 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000002787 reinforcement Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 4
- 230000007547 defect Effects 0.000 description 8
- 238000012549 training Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000007792 addition Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 230000003416 augmentation Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000012535 impurity Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本申请公开了一种灯检机及其方法,涉及智能检测技术领域。其首先获取待检测药瓶的检测图像和参考图像,接着,将所述检测图像和所述参考图像分别通过基于自动编解码器的图像像素增强器得到的增强检测图像和增强参考图像通过双重检测模型以得到检测特征图和参考特征图,然后,计算所述检测特征图和所述参考特征图之间的差分特征图,接着,将所述差分特征图通过通道注意力模块以得到通道增强差分特征图,最后,对所述通道增强差分特征图进行特征值区分度强化后通过分类器以得到用于表示待检测药瓶是否合格的分类结果。通过这样的方式,可以提升检测的精准度。
Description
技术领域
本申请涉及智能检测技术领域,且更为具体地,涉及一种灯检机及其方法。
背景技术
在医药机械设备领域中,灯检机是一种利用光学成像、计算机对图像进行比较原理,对已包装药瓶质量进行自动化智能检测的专用设备。计算机分析采集到的图像数据,对成品药瓶的质量进行判断,并对不合格药瓶进行剔除。
但是,因药瓶缺陷种类众多,包括但不限于顶部形状缺陷,瓶内异物、可见异物杂质,导致在基于机器视觉进行药瓶不合格检测时,其检测的精准度不高。
因此,期待一种优化的灯检机。
发明内容
为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种灯检机及其方法。其首先获取待检测药瓶的检测图像和参考图像,接着,将所述检测图像和所述参考图像分别通过基于自动编解码器的图像像素增强器得到的增强检测图像和增强参考图像通过双重检测模型以得到检测特征图和参考特征图,然后,计算所述检测特征图和所述参考特征图之间的差分特征图,接着,将所述差分特征图通过通道注意力模块以得到通道增强差分特征图,最后,对所述通道增强差分特征图进行特征值区分度强化后通过分类器以得到用于表示待检测药瓶是否合格的分类结果。通过这样的方式,可以提升检测的精准度。
根据本申请的一个方面,提供了一种灯检机,其包括:
摄像模块,用于获取待检测药瓶的检测图像;
参考图像获取模块,用于获取参考图像,所述参考图像为合格药瓶的检测图像;
分辨率增强模块,用于将所述检测图像和所述参考图像分别通过基于自动编解码器的图像像素增强器以得到增强检测图像和增强参考图像;
孪生检测模块,用于将所述增强检测图像和所述增强参考图像通过包含第一图像编码器和第二图像编码器的双重检测模型以得到检测特征图和参考特征图,其中,所述第一图像编码器和所述第二图像编码器具有相同的网络结构;
差分模块,用于计算所述检测特征图和所述参考特征图之间的差分特征图;
通道增强模块,用于将所述差分特征图通过通道注意力模块以得到通道增强差分特征图;
再增强模块,用于对所述通道增强差分特征图进行特征值区分度强化以得到再增强差分特征图;
检测结果生成模块,用于将所述再增强差分特征图通过分类器以得到分类结果,所述分类结果用于表示待检测药瓶是否合格。
在上述的灯检机中,所述分辨率增强模块,包括:
检测编码单元,用于通过所述基于自动编解码器的图像像素增强器的编码器使用卷积层对所述检测图像进行显式空间编码以得到图像特征;
检测解码单元,用于通过所述基于自动编解码器的图像像素增强器的解码器使用反卷积层对所述图像特征进行反卷积处理以得到所述增强检测图像。
在上述的灯检机中,所述第一图像编码器和所述第二图像编码器为金字塔网络。
在上述的灯检机中,所述差分模块,用于:
使用以下公式计算所述检测特征图和所述参考特征图之间的所述差分特征图;
其中,所述公式为:
。
其中,表示所述差分特征图,/>表示所述检测特征图,/>表示所述参考特征图,/>表示按位置减法。
在上述的灯检机中,所述通道增强模块,用于:
将所述差分特征图输入所述并行权重分配模块的通道注意力模块的多层卷积层以得到差分卷积特征图;
计算所述差分卷积特征图的沿通道维度的各个特征矩阵的全局均值以得到通道特征向量;
将所述通道特征向量输入所述Sigmoid激活函数以得到通道注意力权重向量;
以所述通道注意力权重向量中各个位置的特征值作为权重分别对所述差分卷积特征图的沿通道维度的各个特征矩阵进行加权以得到所述通道增强差分特征图。
在上述的灯检机中,所述再增强模块,用于:
以如下公式对所述通道增强差分特征图进行特征值区分度强化以得到所述再增强差分特征图;
其中,所述公式为:
。
其中,是所述再增强差分特征图,/>是所述通道增强差分特征图,/>和/>是预定超参数,/>和/>表示特征图的按位置加法和减法,除法表示特征图的每个位置除以相应值,且/>表示通过单个卷积层的卷积操作。
在上述的灯检机中,所述检测结果生成模块,包括:
展开单元,用于将所述再增强差分特征图按照行向量或列向量展开为分类特征向量;
全连接编码单元,用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量;
分类单元,用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
根据本申请的另一个方面,提供了一种灯检机的检测方法,其包括:
获取待检测药瓶的检测图像;
获取参考图像,所述参考图像为合格药瓶的检测图像;
将所述检测图像和所述参考图像分别通过基于自动编解码器的图像像素增强器以得到增强检测图像和增强参考图像;
将所述增强检测图像和所述增强参考图像通过包含第一图像编码器和第二图像编码器的双重检测模型以得到检测特征图和参考特征图,其中,所述第一图像编码器和所述第二图像编码器具有相同的网络结构;
计算所述检测特征图和所述参考特征图之间的差分特征图;
将所述差分特征图通过通道注意力模块以得到通道增强差分特征图;
对所述通道增强差分特征图进行特征值区分度强化以得到再增强差分特征图;
将所述再增强差分特征图通过分类器以得到分类结果,所述分类结果用于表示待检测药瓶是否合格。
在上述的灯检机的检测方法中,将所述检测图像和所述参考图像分别通过基于自动编解码器的图像像素增强器以得到增强检测图像和增强参考图像,包括:
通过所述基于自动编解码器的图像像素增强器的编码器使用卷积层对所述检测图像进行显式空间编码以得到图像特征;
通过所述基于自动编解码器的图像像素增强器的解码器使用反卷积层对所述图像特征进行反卷积处理以得到所述增强检测图像。
在上述的灯检机的检测方法中,所述第一图像编码器和所述第二图像编码器为金字塔网络。
与现有技术相比,本申请提供的灯检机及其方法,其首先获取待检测药瓶的检测图像和参考图像,接着,将所述检测图像和所述参考图像分别通过基于自动编解码器的图像像素增强器得到的增强检测图像和增强参考图像通过双重检测模型以得到检测特征图和参考特征图,然后,计算所述检测特征图和所述参考特征图之间的差分特征图,接着,将所述差分特征图通过通道注意力模块以得到通道增强差分特征图,最后,对所述通道增强差分特征图进行特征值区分度强化后通过分类器以得到用于表示待检测药瓶是否合格的分类结果。通过这样的方式,可以提升检测的精准度。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的灯检机的应用场景图;
图2为根据本申请实施例的灯检机的框图示意图;
图3为根据本申请实施例的灯检机中的所述分辨率增强模块的框图示意图;
图4为根据本申请实施例的灯检机中的所述检测结果生成模块的框图示意图;
图5为根据本申请实施例的灯检机的检测方法的流程图;
图6为根据本申请实施例的灯检机的检测方法的系统架构的示意图。
具体实施方式
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
场景概述
相应地,传统的灯检机的检测方案为:首先获得待检测药瓶的图像,并通过机器视觉来捕捉所述待检测药瓶的图像中所蕴含的图像特征,进而通过分类器来判断所述待检测药瓶是否合格。但是,因药瓶缺陷种类众多,包括但不限于顶部形状缺陷,瓶内异物、可见异物杂质,导致在基于机器视觉进行药瓶不合格检测时,其检测的精准度不高。
针对上述技术问题,在本申请的技术方案中,将药瓶检测问题转化为合格药瓶与待检测药瓶之间的差异度量问题。应可以理解,如果待检测药瓶为不合格药瓶,则不管其存在何种缺陷,其与合格药瓶皆存在特征分布差异,因此,通过度量合格药瓶与待检测药瓶之间的差异,可更为精准地判断待检测药瓶是否合格。
具体地,首先获取待检测药瓶的检测图像以及获取参考图像,其中,参考图像为合格药瓶的检测图像。考虑到在进行图像采集时,可能局限于摄像模块自身的性能,所采集的检测图像和参考图像的分辨率不高,这会影响后续特征提取的精准度。
基于此,在本申请的技术方案中,在得到所述检测图像和所述参考图像后,对所述检测图像和参考图像进行预处理以对所述检测图像和所述参考图像进行像素增强。接着,将所述增强检测图像和所述增强参考图像通过包含第一图像编码器和第二图像编码器的双重检测模型以得到检测特征图和参考特征图,其中,所述第一图像编码器和所述第二图像编码器具有相同的网络结构。这里,如果所述增强检测图像和所述增强参考图像之间存在差异,这种差异在经过具有相同结构的所述第一图像编码器和所述第二图像编码器的孪生编码后会被充分提取和放大。在本申请一个具体的示例中,所述第一图像编码器和所述第二图像编码器为金字塔网络模型。
继而,计算所述检测特征图和所述参考特征图之间的差分特征图,所述差分特征图用于表示待检测药瓶和合格药瓶在高维图像特征域的特征分布之间的差异,以此来进行两者之间的差异化表达。特别地,考虑到所述差分特征图的沿着通道维度的各个差分特征矩阵分别聚焦于表达所述待检测药瓶和合格药瓶不同属性和维度的特征差异,因此,在本申请的技术方案中,进一步将所述差分特征图通过通道注意力模块以得到通道增强差分特征图,并将所述通道增强差分特征图通过分类器以得到分类结果,所述分类结果用于表示待检测药瓶是否合格。
特别地,在本申请的技术方案中,所述通道增强差分特征图通过对所述差分特征图进行通道注意力编码得到,以使得所述差分特征图中沿着通道维度的特征的可鉴别性增强,但是,如果直接将所述通道增强差分特征图通过分类器进行分类,所述通道增强差分特征图会被展开为特征向量以使得其在通道维度的特征值差异被结构性削弱,影响所述通道增强差分特征图通过所述分类器得到的分类结果的精准度。也就是说,如果在分类是能够对所述通道增强差分特征图对于特征值进行有效区分,显然能够提高分类器的训练速度和分类结果的准确性。
因此,本申请的申请人对所述通道增强差分特征图,例如记为进行基于可区分性物理激励的交互强化,表示为:
。
其中是再增强差分特征图,/>和/>是预定超参数,/>和/>表示特征图的按位置加法和减法,除法表示特征图的每个位置除以相应值,且/>表示通过单个卷积层的卷积操作。
这里,所述基于可区分性物理激励的交互强化用于在通过梯度下降的反向传播过程当中提升特征空间与分类问题的解空间之间的交互,其以类似物理激励的方式来提取和模仿可行特征(actionable feature),由此,使用通用目的的低维可导式物理激励方式,来获得具有梯度可区分性的可行特征的物理性表达,从而在训练过程中强化所述通道增强差分特征图内的活跃部分,以提升所述再增强差分特征图/>通过分类器的训练速度和训练后的分类特征的分类结果的准确性。
图1为根据本申请实施例的灯检机的应用场景图。如图1所示,在该应用场景中,首先,获取待检测药瓶的检测图像(例如,图1中所示意的D1)以及参考图像(例如,图1中所示意的D2),所述参考图像为合格药瓶的检测图像,然后,将所述检测图像和所述参考图像输入至部署有灯检机的检测算法的服务器中(例如,图1中所示意的S),其中,所述服务器能够使用所述灯检机的检测算法对所述检测图像和所述参考图像进行处理以得到用于表示待检测药瓶是否合格的分类结果。
在介绍了本申请的基本原理之后,下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性装置
图2为根据本申请实施例的灯检机的框图示意图。如图2所示,根据本申请实施例的灯检机100,包括:摄像模块110,用于获取待检测药瓶的检测图像;参考图像获取模块120,用于获取参考图像,所述参考图像为合格药瓶的检测图像;分辨率增强模块130,用于将所述检测图像和所述参考图像分别通过基于自动编解码器的图像像素增强器以得到增强检测图像和增强参考图像;孪生检测模块140,用于将所述增强检测图像和所述增强参考图像通过包含第一图像编码器和第二图像编码器的双重检测模型以得到检测特征图和参考特征图,其中,所述第一图像编码器和所述第二图像编码器具有相同的网络结构;差分模块150,用于计算所述检测特征图和所述参考特征图之间的差分特征图;通道增强模块160,用于将所述差分特征图通过通道注意力模块以得到通道增强差分特征图;再增强模块170,用于对所述通道增强差分特征图进行特征值区分度强化以得到再增强差分特征图;以及,检测结果生成模块180,用于将所述再增强差分特征图通过分类器以得到分类结果,所述分类结果用于表示待检测药瓶是否合格。
更具体地,在本申请实施例中,所述摄像模块110,用于获取待检测药瓶的检测图像。
更具体地,在本申请实施例中,所述参考图像获取模块120,用于获取参考图像,所述参考图像为合格药瓶的检测图像。
药瓶缺陷种类众多,包括但不限于顶部形状缺陷,瓶内异物、可见异物杂质,导致在基于机器视觉进行药瓶不合格检测时,其检测的精准度不高。因此,在本申请中,将药瓶检测问题转化为合格药瓶与待检测药瓶之间的差异度量问题。应可以理解,如果待检测药瓶为不合格药瓶,则不管其存在何种缺陷,其与合格药瓶皆存在特征分布差异,因此,通过度量合格药瓶与待检测药瓶之间的差异,可更为精准地判断待检测药瓶是否合格。
更具体地,在本申请实施例中,所述分辨率增强模块130,用于将所述检测图像和所述参考图像分别通过基于自动编解码器的图像像素增强器以得到增强检测图像和增强参考图像。考虑到在进行图像采集时,可能局限于摄像模块自身的性能,所采集的检测图像和参考图像的分辨率不高,这会影响后续特征提取的精准度。因此,在得到所述检测图像和所述参考图像后,对所述检测图像和参考图像进行预处理以对所述检测图像和所述参考图像进行像素增强。
相应地,在一个具体示例中,如图3所示,所述分辨率增强模块130,包括:检测编码单元131,用于通过所述基于自动编解码器的图像像素增强器的编码器使用卷积层对所述检测图像进行显式空间编码以得到图像特征;以及,检测解码单元132,用于通过所述基于自动编解码器的图像像素增强器的解码器使用反卷积层对所述图像特征进行反卷积处理以得到所述增强检测图像。
相应地,在一个具体示例中,如图3所示,所述分辨率增强模块130,还包括:参考编码单元,用于通过所述基于自动编解码器的图像像素增强器的编码器使用卷积层对所述参考图像进行显式空间编码以得到参考图像特征;以及,参考解码单元,用于通过所述基于自动编解码器的图像像素增强器的解码器使用反卷积层对所述参考图像特征进行反卷积处理以得到所述增强参考图像。
更具体地,在本申请实施例中,所述孪生检测模块140,用于将所述增强检测图像和所述增强参考图像通过包含第一图像编码器和第二图像编码器的双重检测模型以得到检测特征图和参考特征图,其中,所述第一图像编码器和所述第二图像编码器具有相同的网络结构。这里,如果所述增强检测图像和所述增强参考图像之间存在差异,这种差异在经过具有相同结构的所述第一图像编码器和所述第二图像编码器的孪生编码后会被充分提取和放大。
相应地,在一个具体示例中,所述第一图像编码器和所述第二图像编码器为金字塔网络。
更具体地,在本申请实施例中,所述差分模块150,用于计算所述检测特征图和所述参考特征图之间的差分特征图。所述差分特征图用于表示待检测药瓶和合格药瓶在高维图像特征域的特征分布之间的差异,以此来进行两者之间的差异化表达。
相应地,在一个具体示例中,所述差分模块150,用于:使用以下公式计算所述检测特征图和所述参考特征图之间的所述差分特征图;其中,所述公式为:
。
其中,表示所述差分特征图,/>表示所述检测特征图,/>表示所述参考特征图,/>表示按位置减法。
更具体地,在本申请实施例中,所述通道增强模块160,用于将所述差分特征图通过通道注意力模块以得到通道增强差分特征图。
相应地,在一个具体示例中,所述通道增强模块160,用于:将所述差分特征图输入所述并行权重分配模块的通道注意力模块的多层卷积层以得到差分卷积特征图;计算所述差分卷积特征图的沿通道维度的各个特征矩阵的全局均值以得到通道特征向量;将所述通道特征向量输入所述Sigmoid激活函数以得到通道注意力权重向量;以及,以所述通道注意力权重向量中各个位置的特征值作为权重分别对所述差分卷积特征图的沿通道维度的各个特征矩阵进行加权以得到所述通道增强差分特征图。
更具体地,在本申请实施例中,所述再增强模块170,用于对所述通道增强差分特征图进行特征值区分度强化以得到再增强差分特征图。特别地,考虑到所述差分特征图的沿着通道维度的各个差分特征矩阵分别聚焦于表达所述待检测药瓶和合格药瓶不同属性和维度的特征差异,因此,在本申请的技术方案中,进一步将所述差分特征图通过通道注意力模块以得到通道增强差分特征图。
特别地,在本申请的技术方案中,所述通道增强差分特征图通过对所述差分特征图进行通道注意力编码得到,以使得所述差分特征图中沿着通道维度的特征的可鉴别性增强,但是,如果直接将所述通道增强差分特征图通过分类器进行分类,所述通道增强差分特征图会被展开为特征向量以使得其在通道维度的特征值差异被结构性削弱,影响所述通道增强差分特征图通过所述分类器得到的分类结果的精准度。也就是说,如果在分类是能够对所述通道增强差分特征图对于特征值进行有效区分,显然能够提高分类器的训练速度和分类结果的准确性。
因此,本申请的申请人对所述通道增强差分特征图,例如记为进行基于可区分性物理激励的交互强化。
相应地,在一个具体示例中,所述再增强模块170,用于:以如下公式对所述通道增强差分特征图进行特征值区分度强化以得到所述再增强差分特征图;其中,所述公式为:
。
其中,是所述再增强差分特征图,/>是所述通道增强差分特征图,/>和/>是预定超参数,/>和/>表示特征图的按位置加法和减法,除法表示特征图的每个位置除以相应值,且/>表示通过单个卷积层的卷积操作。
这里,所述基于可区分性物理激励的交互强化用于在通过梯度下降的反向传播过程当中提升特征空间与分类问题的解空间之间的交互,其以类似物理激励的方式来提取和模仿可行特征,由此,使用通用目的的低维可导式物理激励方式,来获得具有梯度可区分性的可行特征的物理性表达,从而在训练过程中强化所述通道增强差分特征图内的活跃部分,以提升所述再增强差分特征图/>通过分类器的训练速度和训练后的分类特征的分类结果的准确性。
更具体地,在本申请实施例中,所述检测结果生成模块180,用于将所述再增强差分特征图通过分类器以得到分类结果,所述分类结果用于表示待检测药瓶是否合格。
相应地,在一个具体示例中,如图4所示,所述检测结果生成模块180,包括:展开单元181,用于将所述再增强差分特征图按照行向量或列向量展开为分类特征向量;全连接编码单元182,用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量;以及,分类单元183,用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
综上,基于本申请实施例的灯检机100被阐明,其首先获取待检测药瓶的检测图像和参考图像,接着,将所述检测图像和所述参考图像分别通过基于自动编解码器的图像像素增强器得到的增强检测图像和增强参考图像通过双重检测模型以得到检测特征图和参考特征图,然后,计算所述检测特征图和所述参考特征图之间的差分特征图,接着,将所述差分特征图通过通道注意力模块以得到通道增强差分特征图,最后,对所述通道增强差分特征图进行特征值区分度强化后通过分类器以得到用于表示待检测药瓶是否合格的分类结果。通过这样的方式,可以提升检测的精准度。
如上所述,根据本申请实施例的所述灯检机100可以实现在各种终端设备中,例如具有灯检机的检测控制算法的服务器等。在一个示例中,灯检机100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如,该灯检机100可以是该终端设备的操作系统中的一个软件模块,或者可以是针对于该终端设备所开发的一个应用程序;当然,该灯检机100同样可以是该终端设备的众多硬件模块之一。
替换地,在另一示例中,该灯检机100与该终端设备也可以是分立的设备,并且该灯检机100可以通过有线和/或无线网络连接到该终端设备,并且按照约定的数据格式来传输交互信息。
示例性方法
图5为根据本申请实施例的灯检机的检测方法的流程图。如图5所示,根据本申请实施例的灯检机的检测方法,其包括:S110,获取待检测药瓶的检测图像;S120,获取参考图像,所述参考图像为合格药瓶的检测图像;S130,将所述检测图像和所述参考图像分别通过基于自动编解码器的图像像素增强器以得到增强检测图像和增强参考图像;S140,将所述增强检测图像和所述增强参考图像通过包含第一图像编码器和第二图像编码器的双重检测模型以得到检测特征图和参考特征图,其中,所述第一图像编码器和所述第二图像编码器具有相同的网络结构;S150,计算所述检测特征图和所述参考特征图之间的差分特征图;S160,将所述差分特征图通过通道注意力模块以得到通道增强差分特征图;S170,对所述通道增强差分特征图进行特征值区分度强化以得到再增强差分特征图;以及,S180,将所述再增强差分特征图通过分类器以得到分类结果,所述分类结果用于表示待检测药瓶是否合格。
图6为根据本申请实施例的灯检机的检测方法的系统架构的示意图。如图6所示,在所述灯检机的检测方法的系统架构中,首先,获取待检测药瓶的检测图像;接着,获取参考图像,所述参考图像为合格药瓶的检测图像;然后,将所述检测图像和所述参考图像分别通过基于自动编解码器的图像像素增强器以得到增强检测图像和增强参考图像;接着,将所述增强检测图像和所述增强参考图像通过包含第一图像编码器和第二图像编码器的双重检测模型以得到检测特征图和参考特征图,其中,所述第一图像编码器和所述第二图像编码器具有相同的网络结构;然后,计算所述检测特征图和所述参考特征图之间的差分特征图;接着,将所述差分特征图通过通道注意力模块以得到通道增强差分特征图;然后,对所述通道增强差分特征图进行特征值区分度强化以得到再增强差分特征图;最后,将所述再增强差分特征图通过分类器以得到分类结果,所述分类结果用于表示待检测药瓶是否合格。
在一个具体示例中,在上述灯检机的检测方法中,将所述检测图像和所述参考图像分别通过基于自动编解码器的图像像素增强器以得到增强检测图像和增强参考图像,包括:通过所述基于自动编解码器的图像像素增强器的编码器使用卷积层对所述检测图像进行显式空间编码以得到图像特征;以及,通过所述基于自动编解码器的图像像素增强器的解码器使用反卷积层对所述图像特征进行反卷积处理以得到所述增强检测图像。
在一个具体示例中,在上述灯检机的检测方法中,将所述检测图像和所述参考图像分别通过基于自动编解码器的图像像素增强器以得到增强检测图像和增强参考图像,包括:通过所述基于自动编解码器的图像像素增强器的编码器使用卷积层对所述参考图像进行显式空间编码以得到参考图像特征;以及,通过所述基于自动编解码器的图像像素增强器的解码器使用反卷积层对所述参考图像特征进行反卷积处理以得到所述增强参考图像。
在一个具体示例中,在上述灯检机的检测方法中,所述第一图像编码器和所述第二图像编码器为金字塔网络。
在一个具体示例中,在上述灯检机的检测方法中,计算所述检测特征图和所述参考特征图之间的差分特征图,包括:使用以下公式计算所述检测特征图和所述参考特征图之间的所述差分特征图;其中,所述公式为:
。
其中,表示所述差分特征图,/>表示所述检测特征图,/>表示所述参考特征图,/>表示按位置减法。
在一个具体示例中,在上述灯检机的检测方法中,将所述差分特征图通过通道注意力模块以得到通道增强差分特征图,包括:将所述差分特征图输入所述并行权重分配模块的通道注意力模块的多层卷积层以得到差分卷积特征图;计算所述差分卷积特征图的沿通道维度的各个特征矩阵的全局均值以得到通道特征向量;将所述通道特征向量输入所述Sigmoid激活函数以得到通道注意力权重向量;以及,以所述通道注意力权重向量中各个位置的特征值作为权重分别对所述差分卷积特征图的沿通道维度的各个特征矩阵进行加权以得到所述通道增强差分特征图。
在一个具体示例中,在上述灯检机的检测方法中,对所述通道增强差分特征图进行特征值区分度强化以得到再增强差分特征图,包括:以如下公式对所述通道增强差分特征图进行特征值区分度强化以得到所述再增强差分特征图;其中,所述公式为:
。
其中,是所述再增强差分特征图,/>是所述通道增强差分特征图,/>和/>是预定超参数,/>和/>表示特征图的按位置加法和减法,除法表示特征图的每个位置除以相应值,且/>表示通过单个卷积层的卷积操作。
在一个具体示例中,在上述灯检机的检测方法中,将所述再增强差分特征图通过分类器以得到分类结果,所述分类结果用于表示待检测药瓶是否合格,包括:将所述再增强差分特征图按照行向量或列向量展开为分类特征向量;使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量;以及,将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
这里,本领域技术人员可以理解,上述灯检机的检测方法中的各个步骤的具体操作已经在上面参考图1到图4的灯检机的描述中得到了详细介绍,并因此,将省略其重复描述。
以上结合具体实施例描述了本申请的基本原理,但是,需要指出的是,在本申请中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
还需要指出的是,本申请的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此,本申请不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (9)
1.一种灯检机,其特征在于,包括:
摄像模块,用于获取待检测药瓶的检测图像;
参考图像获取模块,用于获取参考图像,所述参考图像为合格药瓶的检测图像;
分辨率增强模块,用于将所述检测图像和所述参考图像分别通过基于自动编解码器的图像像素增强器以得到增强检测图像和增强参考图像;
孪生检测模块,用于将所述增强检测图像和所述增强参考图像通过包含第一图像编码器和第二图像编码器的双重检测模型以得到检测特征图和参考特征图,其中,所述第一图像编码器和所述第二图像编码器具有相同的网络结构;
差分模块,用于计算所述检测特征图和所述参考特征图之间的差分特征图;
通道增强模块,用于将所述差分特征图通过通道注意力模块以得到通道增强差分特征图;
再增强模块,用于对所述通道增强差分特征图进行特征值区分度强化以得到再增强差分特征图;
检测结果生成模块,用于将所述再增强差分特征图通过分类器以得到分类结果,所述分类结果用于表示待检测药瓶是否合格;
所述再增强模块,用于:
以如下公式对所述通道增强差分特征图进行特征值区分度强化以得到所述再增强差分特征图;
其中,所述公式为:
,
,
,
其中, 是所述再增强差分特征图,F是所述通道增强差分特征图,a和b是预定超参数,/>和/>表示特征图的按位置加法和减法,除法表示特征图的每个位置除以相应值,且表示通过单个卷积层的卷积操作。
2.根据权利要求1所述的灯检机,其特征在于,所述分辨率增强模块,包括:
检测编码单元,用于通过所述基于自动编解码器的图像像素增强器的编码器使用卷积层对所述检测图像进行显式空间编码以得到图像特征;
检测解码单元,用于通过所述基于自动编解码器的图像像素增强器的解码器使用反卷积层对所述图像特征进行反卷积处理以得到所述增强检测图像。
3.根据权利要求2所述的灯检机,其特征在于,所述第一图像编码器和所述第二图像编码器为金字塔网络。
4.根据权利要求3所述的灯检机,其特征在于,所述差分模块,用于:
使用以下公式计算所述检测特征图和所述参考特征图之间的所述差分特征图;
其中,所述公式为:
,
其中,表示所述差分特征图,/>表示所述检测特征图,/>表示所述参考特征图,/>表示按位置减法。
5.根据权利要求4所述的灯检机,其特征在于,所述通道增强模块,用于:
将所述差分特征图输入并行权重分配模块的通道注意力模块的多层卷积层以得到差分卷积特征图;
计算所述差分卷积特征图的沿通道维度的各个特征矩阵的全局均值以得到通道特征向量;
将所述通道特征向量输入Sigmoid激活函数以得到通道注意力权重向量;
以所述通道注意力权重向量中各个位置的特征值作为权重分别对所述差分卷积特征图的沿通道维度的各个特征矩阵进行加权以得到所述通道增强差分特征图。
6.根据权利要求5所述的灯检机,其特征在于,所述检测结果生成模块,包括:
展开单元,用于将所述再增强差分特征图按照行向量或列向量展开为分类特征向量;
全连接编码单元,用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量;
分类单元,用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
7.一种灯检机的检测方法,其特征在于,包括:
获取待检测药瓶的检测图像;
获取参考图像,所述参考图像为合格药瓶的检测图像;
将所述检测图像和所述参考图像分别通过基于自动编解码器的图像像素增强器以得到增强检测图像和增强参考图像;
将所述增强检测图像和所述增强参考图像通过包含第一图像编码器和第二图像编码器的双重检测模型以得到检测特征图和参考特征图,其中,所述第一图像编码器和所述第二图像编码器具有相同的网络结构;
计算所述检测特征图和所述参考特征图之间的差分特征图;
将所述差分特征图通过通道注意力模块以得到通道增强差分特征图;
对所述通道增强差分特征图进行特征值区分度强化以得到再增强差分特征图;
将所述再增强差分特征图通过分类器以得到分类结果,所述分类结果用于表示待检测药瓶是否合格;
以如下公式对所述通道增强差分特征图进行特征值区分度强化以得到所述再增强差分特征图;
其中,所述公式为:
,
,
,
其中,是所述再增强差分特征图,F是所述通道增强差分特征图,a和b是预定超参数,和/>表示特征图的按位置加法和减法,除法表示特征图的每个位置除以相应值,且表示通过单个卷积层的卷积操作。
8.根据权利要求7所述的灯检机的检测方法,其特征在于,将所述检测图像和所述参考图像分别通过基于自动编解码器的图像像素增强器以得到增强检测图像和增强参考图像,包括:
通过所述基于自动编解码器的图像像素增强器的编码器使用卷积层对所述检测图像进行显式空间编码以得到图像特征;
通过所述基于自动编解码器的图像像素增强器的解码器使用反卷积层对所述图像特征进行反卷积处理以得到所述增强检测图像。
9.根据权利要求8所述的灯检机的检测方法,其特征在于,所述第一图像编码器和所述第二图像编码器为金字塔网络。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310300235.1A CN116030048B (zh) | 2023-03-27 | 2023-03-27 | 灯检机及其方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310300235.1A CN116030048B (zh) | 2023-03-27 | 2023-03-27 | 灯检机及其方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116030048A CN116030048A (zh) | 2023-04-28 |
CN116030048B true CN116030048B (zh) | 2023-07-18 |
Family
ID=86076213
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310300235.1A Active CN116030048B (zh) | 2023-03-27 | 2023-03-27 | 灯检机及其方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116030048B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116309446B (zh) * | 2023-03-14 | 2024-05-07 | 浙江固驰电子有限公司 | 用于工业控制领域的功率模块制造方法及系统 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117021435B (zh) * | 2023-05-12 | 2024-03-26 | 浙江闽立电动工具有限公司 | 修边机的修边控制系统及其方法 |
CN116704498A (zh) * | 2023-06-02 | 2023-09-05 | 浙江汇驰厨房设备工程有限公司 | 基于机器视觉的菜品识别方法及其系统 |
CN116580029B (zh) * | 2023-07-12 | 2023-10-13 | 浙江海威汽车零件有限公司 | 铝合金铸造成品的质检管控系统及其方法 |
CN117011264A (zh) * | 2023-08-03 | 2023-11-07 | 杭州高腾机电科技有限公司 | 一种内衣机集群生产监测系统及控制方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114399678A (zh) * | 2021-12-27 | 2022-04-26 | 上海利淘豪斯机器人有限公司 | 一种差分孪生网络变电站图像异同检测方法 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111291622B (zh) * | 2020-01-16 | 2023-07-11 | 武汉汉达瑞科技有限公司 | 一种遥感影像中建筑物变化检测的方法及装置 |
CN111489422B (zh) * | 2020-04-10 | 2023-03-28 | 广东博智林机器人有限公司 | 海报生成及其模型训练方法、装置、电子设备及存储介质 |
CN112527962A (zh) * | 2020-12-17 | 2021-03-19 | 云从科技集团股份有限公司 | 基于多模态融合的智能应答方法、装置、机器可读介质及设备 |
CN112528914B (zh) * | 2020-12-19 | 2022-04-22 | 东南数字经济发展研究院 | 一种细节信息逐步融入的卫星影像全色增强方法 |
CN113065588A (zh) * | 2021-03-24 | 2021-07-02 | 齐鲁工业大学 | 基于双线性注意力网络的医学影像数据分类方法及系统 |
CN113255767B (zh) * | 2021-05-25 | 2023-11-24 | 深圳壹账通智能科技有限公司 | 票据分类方法、装置、设备及存储介质 |
CN113191375B (zh) * | 2021-06-09 | 2023-05-09 | 北京理工大学 | 一种基于联合嵌入的文本到多对象图像生成方法 |
CN113554058A (zh) * | 2021-06-23 | 2021-10-26 | 广东奥普特科技股份有限公司 | 视觉目标图像分辨率增强的方法、系统、装置及存储介质 |
CN113886578B (zh) * | 2021-09-16 | 2023-08-04 | 华清科盛(北京)信息技术有限公司 | 一种表单分类方法及装置 |
CN114724166A (zh) * | 2022-04-15 | 2022-07-08 | 北京百度网讯科技有限公司 | 一种标题抽取模型的生成方法、装置及电子设备 |
CN114942984B (zh) * | 2022-05-26 | 2023-11-21 | 北京百度网讯科技有限公司 | 视觉场景文本融合模型的预训练和图文检索方法及装置 |
CN115544200A (zh) * | 2022-09-22 | 2022-12-30 | 太保科技有限公司 | 一种文档影像分类方法和装置 |
CN115561243B (zh) * | 2022-09-30 | 2023-05-23 | 东莞市言科新能源有限公司 | 锂电池制备中极片质量监测系统及其方法 |
CN115526865A (zh) * | 2022-09-30 | 2022-12-27 | 深圳市创瑞鑫科技有限公司 | 笔记本电脑的散热模块的绝缘性检验方法及其系统 |
CN115601318B (zh) * | 2022-10-10 | 2023-05-02 | 广东昱升个人护理用品股份有限公司 | 快吸收低反渗纸尿裤智能生产方法及其系统 |
CN115375691B (zh) * | 2022-10-26 | 2023-04-07 | 济宁九德半导体科技有限公司 | 基于图像的半导体扩散纸源缺陷检测系统及其方法 |
CN115527134A (zh) * | 2022-10-27 | 2022-12-27 | 浙江九烁光电工程技术有限公司 | 基于大数据的城市园林景观照明监测系统及其方法 |
CN115797670A (zh) * | 2022-11-22 | 2023-03-14 | 华能伊敏煤电有限责任公司 | 基于卷积神经网络的斗轮性能监测方法及其系统 |
-
2023
- 2023-03-27 CN CN202310300235.1A patent/CN116030048B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114399678A (zh) * | 2021-12-27 | 2022-04-26 | 上海利淘豪斯机器人有限公司 | 一种差分孪生网络变电站图像异同检测方法 |
Non-Patent Citations (1)
Title |
---|
《基于深度对比网络的印刷缺陷检测方法》;王佑芯等;《计算机应用》;第43卷(第1期);第250-258页 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116309446B (zh) * | 2023-03-14 | 2024-05-07 | 浙江固驰电子有限公司 | 用于工业控制领域的功率模块制造方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN116030048A (zh) | 2023-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116030048B (zh) | 灯检机及其方法 | |
US11715190B2 (en) | Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device | |
CN114359283B (zh) | 基于Transformer的缺陷检测方法和电子设备 | |
CN115294038A (zh) | 一种基于联合优化与混合注意力特征融合的缺陷检测方法 | |
CN113920107A (zh) | 一种基于改进yolov5算法的绝缘子破损检测方法 | |
WO2021261168A1 (ja) | 検査装置、ユニット選択装置、検査方法、及び検査プログラム | |
CN114862838A (zh) | 基于无监督学习的缺陷检测方法及设备 | |
JP2021056677A (ja) | データ生成システム、学習装置、データ生成装置、データ生成方法及びデータ生成プログラム | |
CN116468663A (zh) | 一种基于改进YOLOv5的表面微小缺陷检测的方法 | |
CN115901794B (zh) | 一种条形光源检测瓶口瑕疵的系统及方法 | |
CN115830004A (zh) | 表面缺陷检测方法、装置、计算机设备和存储介质 | |
CN116994044A (zh) | 一种基于掩码多模态生成对抗网络的图像异常检测模型的构建方法 | |
CN115908311A (zh) | 基于机器视觉的镜片成型检测设备及其方法 | |
KR102437115B1 (ko) | 제품 구조 예측 기술을 이용한 딥러닝 기반 결함 검사 장치 및 방법 | |
US20220067514A1 (en) | Inference apparatus, method, non-transitory computer readable medium and learning apparatus | |
CN113962980A (zh) | 基于改进yolov5x的玻璃容器瑕疵检测方法及系统 | |
CN114022742A (zh) | 红外与可见光图像融合方法、装置及计算机存储介质 | |
CN113706496A (zh) | 一种基于深度学习模型的飞行器结构裂纹检测方法 | |
CN113724204A (zh) | 一种航天复合材料缺陷定位与识别方法及系统 | |
CN116858789A (zh) | 食品安全检测系统及其方法 | |
CN117274689A (zh) | 用于包装盒缺陷检测的检测方法及其系统 | |
CN116797586A (zh) | 纸杯缺陷自动检测方法及其系统 | |
CN113066049B (zh) | Mems传感器疵病种类识别方法及系统 | |
CN113034432B (zh) | 一种产品缺陷检测方法、系统、装置及存储介质 | |
CN112529093A (zh) | 基于预检测权值的样本维度加权的模具清洗效果检验方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |