CN114387274B - 一种基于人工智能的纸盒缺陷检测方法 - Google Patents

一种基于人工智能的纸盒缺陷检测方法 Download PDF

Info

Publication number
CN114387274B
CN114387274B CN202210296699.5A CN202210296699A CN114387274B CN 114387274 B CN114387274 B CN 114387274B CN 202210296699 A CN202210296699 A CN 202210296699A CN 114387274 B CN114387274 B CN 114387274B
Authority
CN
China
Prior art keywords
area
rectangular
region
gray
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202210296699.5A
Other languages
English (en)
Other versions
CN114387274A (zh
Inventor
潘越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Haoyue Carton Packaging Co ltd
Original Assignee
Wuhan Haoyue Carton Packaging Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Haoyue Carton Packaging Co ltd filed Critical Wuhan Haoyue Carton Packaging Co ltd
Priority to CN202210296699.5A priority Critical patent/CN114387274B/zh
Publication of CN114387274A publication Critical patent/CN114387274A/zh
Application granted granted Critical
Publication of CN114387274B publication Critical patent/CN114387274B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30124Fabrics; Textile; Paper
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于人工智能的纸盒缺陷检测方法,将纸盒图像的灰度图像,转化为灰度熵热图,将灰度熵热图中大于阈值的像素点进行连通域分析,得到可能起泡区域,对起泡区域进行遮挡,得到遮挡区域和非遮挡区域,基于非遮挡区域的灰度值信息,使用EM算法拟合出初始高斯混合模型,然后对遮挡区域和非遮挡区域均匀划分为矩形区域,使用单高斯模型计算出每个矩形区域对不同单高斯模型的响应度,使用初始高斯模型计算出每个矩形区域内的灰度损失率,根据每个矩形区域对每个单高斯模型的响应度和每个矩形区域的损失率对每个单高斯模型的权重进行调整,根据调整后的混合高斯模型拟合出的灰度分布图和实际灰度分布图做差,确定起泡区域。

Description

一种基于人工智能的纸盒缺陷检测方法
技术领域
本申请涉及图像传输领域,具体涉及一种基于人工智能的纸盒缺陷检测方法。
背景技术
在纸盒生产过程中,由于瓦楞辊咬合压力不足等原因造成生产出的纸盒部分区域脱胶出现起泡现象,这种现象的存在会影响产品的质量和外观。本发明设计一种纸盒起泡检测方法,获取纸盒上的起泡区域,辅助纸盒生产工艺查询设备原因,让纸盒起泡现象得到有效解决。
由于纸盒起泡后改变光线的分布规律,即会存在迎光面出现亮化的现象,背光面存在暗化的现象,因而仅仅依靠单个阈值很难分割出起泡区域。同时起泡现象一般都没有清晰的边界,依靠边缘检测很难检测出起泡区域的边缘,因而也很难实现起泡区域的识别定位。除此之外,由于光线的纸盒图片会存在亮、暗变化,这也会干扰纸盒起泡区域精确定位。由于光线变化会的存在一定的规律性,而起泡区域不符合该灰度变化规律,因而基于此本发明提出一种能够精确检测不明显纸盒起泡区域,通过灰度熵值热图分割出起泡区域大概位置,遮挡该区域利用其他区域拟合灰度分布模型,通过对遮挡区域和非遮挡区域分别进行去拟合准确性验证,从而不断修正得到一个准确的光照模型,然后通过准确的灰度分布模型定位出准确的缺陷位置。
发明内容
本发明提供一种基于人工智能的纸盒缺陷检测方法,解决纸盒起泡区域定位的问题,采用如下技术方案:
S1:获取纸盒图片,进行灰度处理得到纸盒图片的灰度图,计算出灰度图中每个像素点的灰度熵,得到灰度图对应的灰度熵热图;
S2:获取灰度熵热图中大于热度阈值的像素点在灰度图中对应的像素点集合,对像素点集合进行连通域处理,计算出连通域边界像素点灰度熵的对比度均值,将边界像素点灰度熵的对比度均值大于阈值的连通域作为可能起泡区域;
S3:对可能起泡区域进行遮挡,得到遮挡区域和非遮挡区域,根据非遮挡区域的灰度信息,使用EM算法拟合出初始混合高斯模型;
S4:将遮挡区域和非遮挡区域均匀划分为多个矩形区域,用初始混合高斯模型中的每个单高斯模型拟合出每个矩形区域内的灰度分布,根据每个矩形区域内单高斯模型拟合出的灰度分布和该矩形区域内的实际灰度分布得到每个矩形区域对每个单高斯模型的响应度;
S5:根据初始混合高斯模型拟合出每个矩形区域内的灰度分布和每个矩形区域的实际灰度分布差异计算出每个矩形区域中的拟合损失率;
S6:根据遮挡区域和非遮挡区域内的每个矩形区域对每个单高斯模型的响应度和每个矩形区域的拟合损失率对每个单高斯模型在混合高斯模型中的权重进行调整;
S7:利用调整后的混合高斯模型拟合出遮挡区域和非遮挡区域的灰度分布和遮挡区域和非遮挡区域的实际灰度进行对比,得到混合高斯模型的拟合精度,若精度不达标,执行S4-S7,直到获得精度达标的混合高斯模型,若精度达标,则执行S8;
S8:将满足拟合精度的混合高斯模型拟合得到的纸盒灰度图和实际纸盒灰度分布图作差,得到灰度差值,根据灰度差值确定起泡区域。
所述每个矩形区域对每个单高斯模型的响应度的计算方法为:
遮挡区域内每个矩形区域对每个单高斯模型的响应度为:
Figure 100002_DEST_PATH_IMAGE001
式中,
Figure DEST_PATH_IMAGE002
为遮挡区域
Figure 100002_DEST_PATH_IMAGE003
内第
Figure DEST_PATH_IMAGE004
个矩形区域对第
Figure 100002_DEST_PATH_IMAGE005
个单高斯模型的响应度,
Figure DEST_PATH_IMAGE006
,
Figure 100002_DEST_PATH_IMAGE007
Figure DEST_PATH_IMAGE008
分别为中心坐标为
Figure 100002_DEST_PATH_IMAGE009
的矩形区域
Figure 927456DEST_PATH_IMAGE004
的最小行坐标和最小列坐标,遮挡区域被划分为
Figure DEST_PATH_IMAGE010
Figure 985542DEST_PATH_IMAGE010
列个矩形区域,
Figure 100002_DEST_PATH_IMAGE011
为遮挡区域内的矩形区域的总个数,
Figure DEST_PATH_IMAGE012
为第
Figure 296438DEST_PATH_IMAGE005
个高斯单模型拟合出的在遮挡区域内的第
Figure 957226DEST_PATH_IMAGE004
个矩形区域内的
Figure 100002_DEST_PATH_IMAGE013
位置处的灰度值,
Figure DEST_PATH_IMAGE014
为该矩形区域内的
Figure 178123DEST_PATH_IMAGE013
位置处的实际灰度值,
Figure 100002_DEST_PATH_IMAGE015
Figure DEST_PATH_IMAGE016
为单高斯模型总数;
非遮挡区域内每个矩形区域对每个单高斯模型的响应度为:
Figure 100002_DEST_PATH_IMAGE017
式中,
Figure DEST_PATH_IMAGE018
为非遮挡区域
Figure 100002_DEST_PATH_IMAGE019
内第
Figure 171224DEST_PATH_IMAGE004
个矩形区域对第
Figure 703837DEST_PATH_IMAGE005
个单高斯模型的响应度。
所述每个矩形区域中的拟合损失率的计算方法为:
遮挡区域内每个矩形区域中的拟合损失率为:
Figure DEST_PATH_IMAGE020
式中,
Figure 100002_DEST_PATH_IMAGE021
为混合高斯模型在遮挡区域内第
Figure 433896DEST_PATH_IMAGE004
个矩形区域中的拟合损失率,
Figure DEST_PATH_IMAGE022
为混合高斯模型拟合出第
Figure 243720DEST_PATH_IMAGE004
个矩形区域中在坐标
Figure 100002_DEST_PATH_IMAGE023
位置处的灰度值,
Figure DEST_PATH_IMAGE024
为该矩形区域在坐标
Figure 768242DEST_PATH_IMAGE023
位置处的实际灰度值;
非遮挡区域内每个矩形区域中的拟合损失率为:
Figure 100002_DEST_PATH_IMAGE025
式中,
Figure DEST_PATH_IMAGE026
为混合模型在非遮挡区域内第
Figure 929096DEST_PATH_IMAGE004
个矩形区域中的拟合损失率。
所述对每个单高斯模型在混合高斯模型中的权重进行调整的方法为:
Figure 100002_DEST_PATH_IMAGE027
式中,
Figure DEST_PATH_IMAGE028
表示混合高斯模型中第
Figure 197266DEST_PATH_IMAGE005
个高斯模型调整后的权重值,
Figure 100002_DEST_PATH_IMAGE029
为以
Figure DEST_PATH_IMAGE030
为中心的第
Figure 100002_DEST_PATH_IMAGE031
个矩形区域的损失率,
Figure DEST_PATH_IMAGE032
表示以
Figure 392755DEST_PATH_IMAGE030
为中心的第
Figure 88179DEST_PATH_IMAGE031
个矩形区域对第
Figure 595384DEST_PATH_IMAGE005
个高斯模型的响应度,
Figure 100002_DEST_PATH_IMAGE033
为遮挡区域和非遮挡区域包含的矩形区域总数,若第
Figure 509988DEST_PATH_IMAGE031
个矩形区域为遮挡区域,则
Figure 419038DEST_PATH_IMAGE029
Figure 754204DEST_PATH_IMAGE021
Figure 748705DEST_PATH_IMAGE032
Figure 827520DEST_PATH_IMAGE002
,若第
Figure 591076DEST_PATH_IMAGE031
个矩形区域为非遮挡区域,则
Figure 503669DEST_PATH_IMAGE029
Figure 454307DEST_PATH_IMAGE026
Figure 602392DEST_PATH_IMAGE032
Figure 220455DEST_PATH_IMAGE018
Figure DEST_PATH_IMAGE034
为混合高斯模型中第
Figure 428582DEST_PATH_IMAGE005
个高斯模型的原来权重值。
所述拟合精度的计算方法为:
Figure 866517DEST_PATH_IMAGE035
式中,
Figure DEST_PATH_IMAGE036
为拟合精度,
Figure 100002_DEST_PATH_IMAGE037
表示非遮挡区域的总行数,
Figure DEST_PATH_IMAGE038
表示非遮挡地区的总列数,
Figure 100002_DEST_PATH_IMAGE039
表示非遮挡区域在第
Figure DEST_PATH_IMAGE040
个矩形区域内坐标
Figure 100002_DEST_PATH_IMAGE041
位置处的拟合灰度值,
Figure DEST_PATH_IMAGE042
表示非遮挡区域内第
Figure 365762DEST_PATH_IMAGE040
个矩形区域内坐标
Figure 103911DEST_PATH_IMAGE041
处的实际灰度值,
Figure 100002_DEST_PATH_IMAGE043
表示遮挡区域在第
Figure DEST_PATH_IMAGE044
个矩形区域内坐标
Figure 100002_DEST_PATH_IMAGE045
位置处的拟合灰度值,
Figure DEST_PATH_IMAGE046
表示遮挡区域在第
Figure 388000DEST_PATH_IMAGE044
个矩形区域内坐标
Figure 578810DEST_PATH_IMAGE045
位置的实际灰度值,
Figure 100002_DEST_PATH_IMAGE047
Figure DEST_PATH_IMAGE048
Figure 100002_DEST_PATH_IMAGE049
分别表示遮挡区域的最小行、列数,
Figure DEST_PATH_IMAGE050
分别表示遮挡区域的最大行列数。
所述根据灰度差值确定起泡区域的方法如下:
将灰度差值
Figure 100002_DEST_PATH_IMAGE051
的区域作为起泡区域,其中
Figure 475222DEST_PATH_IMAGE036
表示拟合精度。
本发明的有益效果是:
通过灰度熵值热图分割出起泡区域大概位置,遮挡该区域利用其他区域拟合灰度分布模型,通过对遮挡区域和非遮挡区域分别进行去拟合准确性验证,从而不断修正得到一个准确的光照模型,然后通过准确的灰度分布模型定位出准确的缺陷位置,基于人工智能,能够精确检测不明显纸盒起泡区域。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明的一种基于人工智能的纸盒缺陷检测方法的流程示意图;
图2是本发明的一种基于人工智能的纸盒缺陷检测方法中的起泡的纸盒的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的一种基于人工智能的纸盒缺陷检测方法的实施例,如图1所示,包括:
S1:获取纸盒图片,进行灰度处理得到纸盒图片的灰度图,计算出灰度图中每个像素点的灰度熵,得到灰度图对应的灰度熵热图;
该步骤的目的是,采集纸盒图像,并进行灰度处理获取到灰度图中每个像素点的熵,通过熵反映每个像素点周围的灰度变化程度特征,得到灰度图对应的灰度熵分布热图。
具体步骤如下:
(1)获取纸盒灰度图像:
a.采集纸盒图像:由于纸盒正面图像更利于起泡定位识别,因而需在纸盒移动至相机正下方时采集一张完整的纸盒图片,如图2所示。
b.分割出纸盒区域:由于采集到的纸盒图像可能会包含其他背景图像,同时纸盒拥有较明显的颜色特征,因而可利用颜色阈值分割出纸盒区域,根据经验纸盒的颜色在R颜色通道的取值区间为
Figure DEST_PATH_IMAGE052
,在G通道里的取值区间为
Figure 100002_DEST_PATH_IMAGE053
,B颜色通道的取值区间为
Figure DEST_PATH_IMAGE054
。利用上述阈值分割出三通道颜色值均属于上述取值区间的像素区域,该区域即为纸盒区域。
c.灰度化处理:单通道的纸盒图片检测效率更高,实现更为简单,因而将纸盒区域图片从RGB颜色空间转化至灰度空间,得到灰度图像
Figure 100002_DEST_PATH_IMAGE055
(2)生成灰度熵热图:
以灰度像素中的
Figure DEST_PATH_IMAGE056
位置的像素为中心,构建一个
Figure DEST_PATH_IMAGE057
的窗口,获取窗口内的,且在图像上的所有像素的灰度值,根据这些灰度值计算窗口内的灰度值的熵,称为该像素的灰度熵,用于表示该像素周围的灰度变化程度特征。同理获取所有像素的灰度熵值,构成一个灰度熵分布热图,用与表示每个像素周围的灰度变化程度特征,将计算得到的灰度熵图片转化为灰度熵热图。
S2:获取灰度熵热图中大于热度阈值的像素点在灰度图中对应的像素点集合,对像素点集合进行连通域处理,计算出连通域边界像素点灰度熵的对比度均值,将边界像素点灰度熵的对比度均值大于阈值的连通域作为可能起泡区域;
该步骤的目的是通过灰度熵热图分割出大概的起泡区域,由于缺陷区域灰度变化较大,且会存在突变现象,而光线一般具有渐变特征,因而灰度熵热图中热度突变性较大且热度较高区域存在起泡的可能性较高。
具体步骤如下:
(1)利用热度阈值分割出熵值大于
Figure DEST_PATH_IMAGE058
的像素点集合,根据经验
Figure 739981DEST_PATH_IMAGE058
通常取0.8。
(2)然后将该像素集合进行连通化处理,计算连通域边界上像素的灰度熵的对比度,求出连通域边界灰度熵对比度均值
Figure DEST_PATH_IMAGE059
,此处熵值对比度计算方法同图像灰度对比度计算方法相同,属于常规技术,对各连通域灰度熵均值进行阈值化处理,筛选出
Figure DEST_PATH_IMAGE060
的连通域,将该连通域认为起泡区域(大概位置),根据经验
Figure DEST_PATH_IMAGE061
通常取1.5。
S3:对可能起泡区域进行遮挡,得到遮挡区域和非遮挡区域,根据非遮挡区域的灰度信息,使用EM算法拟合出初始混合高斯模型;
该步骤的目的是,排除可能起泡区域的影响,基于正常区域(非遮挡区域)的像素点灰度值,用拟合出混合高斯模型。
其中,对可能起泡区域进行遮挡处理的原因是:
防止由于未完全遮挡起泡区域的光线变化的规律干扰获取准确的光线变化模型。
其中,对可能起泡区域进行遮挡处理的方法为:
(1)利用CV库里的boundingrect()函数获得起泡区域连通域的外接矩形;
(2)为了将起泡区域完全遮挡,采用一个较连通域外界矩形大一点的矩形来遮挡起泡区域连通域,因而,采用
Figure DEST_PATH_IMAGE062
长度,
Figure DEST_PATH_IMAGE063
宽的矩形来遮挡起泡区域,此处
Figure DEST_PATH_IMAGE064
分别表示上述步骤获得的起泡区域的外界矩形的长,宽。
其中,初始高斯混合模型为:
Figure DEST_PATH_IMAGE065
公式中,
Figure DEST_PATH_IMAGE066
表示单高斯模型,此处
Figure DEST_PATH_IMAGE067
表示单高斯模型
Figure DEST_PATH_IMAGE068
的权重,各初始权重均取
Figure DEST_PATH_IMAGE069
Figure DEST_PATH_IMAGE070
Figure DEST_PATH_IMAGE071
表示该混合高斯模型中单高斯混合模型的个数,本实施例中
Figure 539178DEST_PATH_IMAGE071
=10,
Figure DEST_PATH_IMAGE072
Figure DEST_PATH_IMAGE073
可通过EM算法计算得到,
Figure 358230DEST_PATH_IMAGE072
为期望值,
Figure 386229DEST_PATH_IMAGE073
为协方差。
S4:将遮挡区域和非遮挡区域均匀划分为多个矩形区域,用初始混合高斯模型中的每个单高斯模型拟合出每个矩形区域内的灰度分布,根据每个矩形区域内单高斯模型拟合出的灰度分布和该矩形区域内的实际灰度分布得到每个矩形区域对每个单高斯模型的响应度;
该步骤的目的是,对灰度图划分为多个均匀的矩形区域,根据初始高斯混合模型,并使用混合高斯模型包含的单高斯模型拟合出灰度图中的每个矩形区域内的灰度分布,根据单高斯拟合的灰度和实际灰度差异,得到每个矩形区域对每个单高斯模型的响应度。
其中,划分矩形区域的方法为:
由于在不同区域内光线呈不同的分布规律,不同单一高斯混合模型对不同区域的描述精度不同。因而先将非遮挡区域灰度图像均匀划为分
Figure 833391DEST_PATH_IMAGE010
Figure 288643DEST_PATH_IMAGE010
列的矩形区域块,本实施例中
Figure DEST_PATH_IMAGE074
,把非遮挡区域灰度图划分为
Figure DEST_PATH_IMAGE075
的矩形块,遮挡区域也均匀划分为
Figure 454045DEST_PATH_IMAGE075
的矩形块,当遮挡区域小于50时,以实际尺度为准。
其中,每个矩形区域对单高斯模型的响应度计算方法为:
若该矩形区域在遮挡区域内,则该矩形区域对每个单高斯模型的响应度为:
Figure DEST_PATH_IMAGE076
式中,
Figure 936934DEST_PATH_IMAGE002
为遮挡区域
Figure 238602DEST_PATH_IMAGE003
内第
Figure 864756DEST_PATH_IMAGE004
个矩形区域对第
Figure 517454DEST_PATH_IMAGE005
个单高斯模型的响应度,
Figure 887255DEST_PATH_IMAGE006
,
Figure 918796DEST_PATH_IMAGE007
Figure 715851DEST_PATH_IMAGE008
分别为中心坐标为
Figure 590266DEST_PATH_IMAGE009
的矩形区域
Figure 29338DEST_PATH_IMAGE004
的最小行坐标和最小列坐标,遮挡区域被划分为
Figure 40019DEST_PATH_IMAGE077
Figure 273554DEST_PATH_IMAGE077
列个矩形区域,
Figure DEST_PATH_IMAGE078
为遮挡区域内的矩形区域的总个数,
Figure 510632DEST_PATH_IMAGE012
为第
Figure 487815DEST_PATH_IMAGE005
个高斯单模型拟合出的在遮挡区域内的第
Figure 353003DEST_PATH_IMAGE004
个矩形区域内的
Figure 757439DEST_PATH_IMAGE013
位置处的灰度值,
Figure 606447DEST_PATH_IMAGE014
为该矩形区域内的
Figure 856163DEST_PATH_IMAGE013
位置处的实际灰度值,
Figure 982382DEST_PATH_IMAGE015
Figure 557719DEST_PATH_IMAGE016
为单高斯模型总数,
Figure DEST_PATH_IMAGE079
表示该矩形区域对各单高斯模型的平均分布差异,
Figure DEST_PATH_IMAGE080
表示该矩形区域对第
Figure 894023DEST_PATH_IMAGE005
个单高斯模型的分布差异,该分布差异越大,说明第
Figure 213009DEST_PATH_IMAGE005
个高斯模型对该矩形区域的灰度分布拟合效果越好,即说明该矩形区域对第
Figure 692269DEST_PATH_IMAGE005
个单高斯模型的响应度越大,响应度通过第
Figure 172929DEST_PATH_IMAGE005
个单高斯模型对该矩形区域的分布差异与各高斯模型的平均分布差异的比值来体现,第
Figure 730949DEST_PATH_IMAGE005
个高斯模型的相对与平均分布差异越大,说明该区域灰度分布对第
Figure 853626DEST_PATH_IMAGE005
个高斯模型的响应度越高。(由于遮挡区域是缺陷区域,其不符合光线的变化,因而其分布差异越大,说明该区域对该高斯模型的响应度越大。该相应计算方式与非遮挡区域的响应度计算方式相反)。
若该矩形区域在非遮挡区域内,则该矩形区域对每个单高斯模型的响应度为:
Figure 547913DEST_PATH_IMAGE081
式中,
Figure DEST_PATH_IMAGE082
为非遮挡区域
Figure DEST_PATH_IMAGE083
内第
Figure 605999DEST_PATH_IMAGE004
个矩形区域对第
Figure 916894DEST_PATH_IMAGE005
个单高斯模型的响应度,
Figure DEST_PATH_IMAGE084
表示该区域对各单高斯模型的平均分布差异,
Figure DEST_PATH_IMAGE085
表示该区域对第
Figure 577683DEST_PATH_IMAGE005
个单高斯模型的分布差异,该分布差异越大,说明第
Figure 392055DEST_PATH_IMAGE005
个高斯模型对该区域的灰度分布拟合效果越差,即说明该矩形区域对第
Figure 621042DEST_PATH_IMAGE005
个单高斯模型的响应度越差,响应度通过第
Figure 888075DEST_PATH_IMAGE005
个高斯模型对该矩形区域拟合的灰度分布差异与各高斯模型拟合的平均分布差异的比值来体现,第
Figure 352555DEST_PATH_IMAGE005
个高斯模型的相对与平均分布差异越小,说明该矩形区域灰度分布对第
Figure 755854DEST_PATH_IMAGE005
个高斯模型的响应度越高。
S5:根据初始混合高斯模型拟合出每个矩形区域内的灰度分布和每个矩形区域的实际灰度分布差异计算出每个矩形区域中的拟合损失率;
该步骤的目的是,利用混合高斯模型进行去拟合验证,判断各区域的拟合效果,使用混合高斯模型拟合每个矩形区域内的灰度值,判断与该区域内实际灰度值的差异,分析得到拟合损失率;
其中,遮挡区域内每个矩形区域中的拟合损失率计算方法为:
Figure DEST_PATH_IMAGE086
式中,
Figure DEST_PATH_IMAGE087
为混合高斯模型在遮挡区域内第
Figure 545956DEST_PATH_IMAGE004
个矩形区域中的拟合损失率,
Figure DEST_PATH_IMAGE088
为混合高斯模型拟合出第
Figure 706810DEST_PATH_IMAGE004
个矩形区域中在坐标
Figure DEST_PATH_IMAGE089
位置处的灰度值,
Figure DEST_PATH_IMAGE090
为该矩形区域在坐标
Figure 709401DEST_PATH_IMAGE089
位置处的实际灰度值;
其中,非遮挡区域内每个矩形区域中的拟合损失率的计算方法为:
Figure DEST_PATH_IMAGE091
式中,
Figure DEST_PATH_IMAGE092
为混合模型在非遮挡区域内第
Figure 137846DEST_PATH_IMAGE004
个矩形区域中的拟合损失率;
其中,
Figure DEST_PATH_IMAGE093
表示该区域的灰度均值,
Figure DEST_PATH_IMAGE094
表示该混合高斯模型对该区域的拟合损失量,
Figure 98849DEST_PATH_IMAGE092
越大,说明拟合效果越差。
S6:根据遮挡区域和非遮挡区域内的每个矩形区域对每个单高斯模型的响应度和每个矩形区域的拟合损失率对每个单高斯模型在混合高斯模型中的权重进行调整;
该步骤的目的是,对高斯混合模型里面包含的单高斯模型的权重进行调整,提高混合高斯模型的拟合精度。
其中,对每个单高斯模型在混合高斯模型中的权重进行调整的方法为:
Figure DEST_PATH_IMAGE095
式中,
Figure DEST_PATH_IMAGE096
表示混合高斯模型中第
Figure 481420DEST_PATH_IMAGE005
个高斯模型调整后的权重值,
Figure DEST_PATH_IMAGE097
为以
Figure DEST_PATH_IMAGE098
为中心的第
Figure 553281DEST_PATH_IMAGE031
个矩形区域的损失率,
Figure DEST_PATH_IMAGE099
表示以
Figure 462331DEST_PATH_IMAGE098
为中心的第
Figure 797497DEST_PATH_IMAGE031
个矩形区域对第
Figure 667364DEST_PATH_IMAGE005
个高斯模型的响应度,
Figure DEST_PATH_IMAGE100
为遮挡区域和非遮挡区域包含的矩形区域总数,若第
Figure 11758DEST_PATH_IMAGE031
个矩形区域为遮挡区域,则
Figure 775315DEST_PATH_IMAGE097
Figure 546962DEST_PATH_IMAGE087
Figure 763179DEST_PATH_IMAGE099
Figure 786630DEST_PATH_IMAGE101
,若第
Figure 404693DEST_PATH_IMAGE031
个矩形区域为非遮挡区域,则
Figure 347242DEST_PATH_IMAGE097
Figure 50755DEST_PATH_IMAGE092
Figure 736952DEST_PATH_IMAGE099
Figure 209521DEST_PATH_IMAGE082
Figure DEST_PATH_IMAGE102
为混合高斯模型中第
Figure 962451DEST_PATH_IMAGE005
个高斯模型的原来权重值。
S7:利用调整后的混合高斯模型拟合出遮挡区域和非遮挡区域的灰度分布和遮挡区域和非遮挡区域的实际灰度进行对比,得到混合高斯模型的拟合精度,若精度不达标,执行S4-S7,直到获得精度达标的混合高斯模型,若精度达标,则执行S8;
该步骤的目的是判断S6调整后的混合高斯模型是否满足拟合精度标准,如果不满足需要不断调整直至符合标准为止。
其中,混合高斯模型的拟合精度的计算方法为:
Figure DEST_PATH_IMAGE103
式中,
Figure 153261DEST_PATH_IMAGE036
为拟合精度,
Figure DEST_PATH_IMAGE104
表示非遮挡区域的总行数,
Figure DEST_PATH_IMAGE105
表示非遮挡地区的总列数,
Figure DEST_PATH_IMAGE106
表示非遮挡区域在第
Figure 784094DEST_PATH_IMAGE040
个矩形区域内坐标
Figure DEST_PATH_IMAGE107
位置处的拟合灰度值,
Figure DEST_PATH_IMAGE108
表示非遮挡区域内第
Figure 642328DEST_PATH_IMAGE040
个矩形区域内坐标
Figure 192258DEST_PATH_IMAGE107
处的实际灰度值,
Figure DEST_PATH_IMAGE109
表示遮挡区域在第
Figure 745731DEST_PATH_IMAGE044
个矩形区域内坐标
Figure DEST_PATH_IMAGE110
位置处的拟合灰度值,
Figure DEST_PATH_IMAGE111
表示遮挡区域在第
Figure 39309DEST_PATH_IMAGE044
个矩形区域内坐标
Figure 220891DEST_PATH_IMAGE110
位置的实际灰度值,
Figure DEST_PATH_IMAGE112
Figure DEST_PATH_IMAGE113
Figure DEST_PATH_IMAGE114
分别表示遮挡区域的最小行、列数,
Figure DEST_PATH_IMAGE115
分别表示遮挡区域的最大行列数;
Figure DEST_PATH_IMAGE116
表示非遮挡区域的拟合灰度分布与实际灰度分布差异量,该值越大说明拟合精度越差;
Figure DEST_PATH_IMAGE117
表示遮挡区域的拟合灰度分布与实际灰度分布的拟合偏差,该值越大说明拟合精度越差,
Figure DEST_PATH_IMAGE118
表示遮挡区域的对比度均值。
其中,判断拟合精度是否达标的方法为:
Figure DEST_PATH_IMAGE119
,说明拟合精度达到设定要求,执行S8,否则说明拟合精度不达标,执行S4-S7直到满足精度为止;
Figure DEST_PATH_IMAGE120
为拟合精度标准,经验值取10。
S8:将满足拟合精度的混合高斯模型拟合得到的纸盒灰度图和实际纸盒灰度分布图作差,得到灰度差值,根据灰度差值确定起泡区域。
该步骤的目的是,根据调整后的高斯混合模型拟合出纸盒灰度分布,与实际灰度分布对比差异,得到起泡区域。
其中,根据灰度差值确定起泡区域具体方法为:
将最终的混合高斯模型拟合出的灰度分布与实际灰度分布做差得到灰度差值,判断该灰度差值
Figure DEST_PATH_IMAGE121
,该处
Figure DEST_PATH_IMAGE122
表示拟合精度,得到的该区域即为起泡区域。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于人工智能的纸盒缺陷检测方法,其特征在于,包括:
S1:获取纸盒图片,进行灰度处理得到纸盒图片的灰度图,计算出灰度图中每个像素点的灰度熵,得到灰度图对应的灰度熵热图;
S2:获取灰度熵热图中大于热度阈值的像素点在灰度图中对应的像素点集合,对像素点集合进行连通域处理,计算出连通域边界像素点灰度熵的对比度均值,将边界像素点灰度熵的对比度均值大于阈值的连通域作为可能起泡区域;
S3:对可能起泡区域进行遮挡,得到遮挡区域和非遮挡区域,根据非遮挡区域的灰度信息,使用EM算法拟合出初始混合高斯模型;
S4:将遮挡区域和非遮挡区域均匀划分为多个矩形区域,用初始混合高斯模型中的每个单高斯模型拟合出每个矩形区域内的灰度分布,根据每个矩形区域内单高斯模型拟合出的灰度分布和该矩形区域内的实际灰度分布得到每个矩形区域对每个单高斯模型的响应度;
S5:根据初始混合高斯模型拟合出每个矩形区域内的灰度分布和每个矩形区域的实际灰度分布差异计算出每个矩形区域中的拟合损失率;
S6:根据遮挡区域和非遮挡区域内的每个矩形区域对每个单高斯模型的响应度和每个矩形区域的拟合损失率对每个单高斯模型在混合高斯模型中的权重进行调整;
S7:利用调整后的混合高斯模型拟合出遮挡区域和非遮挡区域的灰度分布和遮挡区域和非遮挡区域的实际灰度进行对比,得到混合高斯模型的拟合精度,若精度不达标,执行S4-S7,直到获得精度达标的混合高斯模型,若精度达标,则执行S8;
S8:将满足拟合精度的混合高斯模型拟合得到的纸盒灰度图和实际纸盒灰度分布图作差,得到灰度差值,根据灰度差值确定起泡区域。
2.根据权利要求1所述的一种基于人工智能的纸盒缺陷检测方法,其特征在于,所述每个矩形区域对每个单高斯模型的响应度的计算方法为:
遮挡区域内每个矩形区域对每个单高斯模型的响应度为:
Figure DEST_PATH_IMAGE001
式中,
Figure 312090DEST_PATH_IMAGE002
为遮挡区域
Figure DEST_PATH_IMAGE003
内第
Figure 108008DEST_PATH_IMAGE004
个矩形区域对第
Figure DEST_PATH_IMAGE005
个单高斯模型的响应度,
Figure 985834DEST_PATH_IMAGE006
,
Figure DEST_PATH_IMAGE007
Figure 132781DEST_PATH_IMAGE008
分别为中心坐标为
Figure DEST_PATH_IMAGE009
的矩形区域
Figure 504988DEST_PATH_IMAGE004
的最小行坐标和最小列坐标,遮挡区域被划分为
Figure 686571DEST_PATH_IMAGE010
Figure 610664DEST_PATH_IMAGE010
列个矩形区域,
Figure DEST_PATH_IMAGE011
为遮挡区域内的矩形区域的总个数,
Figure 244908DEST_PATH_IMAGE012
为第
Figure 545439DEST_PATH_IMAGE005
个高斯单模型拟合出的在遮挡区域内的第
Figure 706162DEST_PATH_IMAGE004
个矩形区域内的
Figure DEST_PATH_IMAGE013
位置处的灰度值,
Figure 801157DEST_PATH_IMAGE014
为该矩形区域内的
Figure 922697DEST_PATH_IMAGE013
位置处的实际灰度值,
Figure DEST_PATH_IMAGE015
Figure 26919DEST_PATH_IMAGE016
为单高斯模型总数;
非遮挡区域内每个矩形区域对每个单高斯模型的响应度为:
Figure DEST_PATH_IMAGE017
式中,
Figure 258793DEST_PATH_IMAGE018
为非遮挡区域
Figure DEST_PATH_IMAGE019
内第
Figure 790268DEST_PATH_IMAGE020
个矩形区域对第
Figure DEST_PATH_IMAGE021
个单高斯模型的响应度,
Figure 992580DEST_PATH_IMAGE022
为非遮挡区域
Figure 166072DEST_PATH_IMAGE019
内第
Figure 911174DEST_PATH_IMAGE020
个矩形区域内的
Figure DEST_PATH_IMAGE023
位置处的实际灰度值。
3.根据权利要求1所述的一种基于人工智能的纸盒缺陷检测方法,其特征在于,所述每个矩形区域中的拟合损失率的计算方法为:
遮挡区域内每个矩形区域中的拟合损失率为:
Figure 613551DEST_PATH_IMAGE024
式中,
Figure DEST_PATH_IMAGE025
为混合高斯模型在遮挡区域内第
Figure 53891DEST_PATH_IMAGE004
个矩形区域中的拟合损失率,
Figure 765495DEST_PATH_IMAGE026
为混合高斯模型拟合出第
Figure 365103DEST_PATH_IMAGE004
个矩形区域中在坐标
Figure 238381DEST_PATH_IMAGE013
位置处的灰度值,
Figure DEST_PATH_IMAGE027
为该矩形区域在坐标
Figure 556230DEST_PATH_IMAGE013
位置处的实际灰度值;
非遮挡区域内每个矩形区域中的拟合损失率为:
Figure 665000DEST_PATH_IMAGE028
式中,
Figure DEST_PATH_IMAGE029
为混合模型在非遮挡区域内第
Figure 384695DEST_PATH_IMAGE004
个矩形区域中的拟合损失率。
4.根据权利要求1所述的一种基于人工智能的纸盒缺陷检测方法,其特征在于,所述对每个单高斯模型在混合高斯模型中的权重进行调整的方法为:
Figure 428874DEST_PATH_IMAGE030
式中,
Figure DEST_PATH_IMAGE031
表示混合高斯模型中第
Figure 843806DEST_PATH_IMAGE005
个高斯模型调整后的权重值,
Figure 897213DEST_PATH_IMAGE032
为以
Figure DEST_PATH_IMAGE033
为中心的第
Figure 205834DEST_PATH_IMAGE034
个矩形区域的损失率,
Figure DEST_PATH_IMAGE035
表示以
Figure 420915DEST_PATH_IMAGE033
为中心的第
Figure 572411DEST_PATH_IMAGE034
个矩形区域对第
Figure 429508DEST_PATH_IMAGE005
个高斯模型的响应度,
Figure 858216DEST_PATH_IMAGE036
为遮挡区域和非遮挡区域包含的矩形区域总数,若第
Figure 244197DEST_PATH_IMAGE034
个矩形区域为遮挡区域,则
Figure 289514DEST_PATH_IMAGE032
Figure 419144DEST_PATH_IMAGE025
Figure 577724DEST_PATH_IMAGE035
Figure 400186DEST_PATH_IMAGE002
,若第
Figure 667220DEST_PATH_IMAGE034
个矩形区域为非遮挡区域,则
Figure 600541DEST_PATH_IMAGE032
Figure 738261DEST_PATH_IMAGE029
Figure 856259DEST_PATH_IMAGE035
Figure DEST_PATH_IMAGE037
Figure 345009DEST_PATH_IMAGE038
为混合高斯模型中第
Figure 816441DEST_PATH_IMAGE005
个高斯模型的原来权重值。
5.根据权利要求1所述的一种基于人工智能的纸盒缺陷检测方法,其特征在于,所述拟合精度的计算方法为:
Figure DEST_PATH_IMAGE039
式中,
Figure 74247DEST_PATH_IMAGE040
为拟合精度,
Figure DEST_PATH_IMAGE041
表示非遮挡区域的总行数,
Figure 845370DEST_PATH_IMAGE042
表示非遮挡地区的总列数,
Figure DEST_PATH_IMAGE043
表示非遮挡区域在第
Figure 555837DEST_PATH_IMAGE044
个矩形区域内坐标
Figure DEST_PATH_IMAGE045
位置处的拟合灰度值,
Figure 690015DEST_PATH_IMAGE046
表示非遮挡区域内第
Figure 333486DEST_PATH_IMAGE044
个矩形区域内坐标
Figure 403073DEST_PATH_IMAGE045
处的实际灰度值,
Figure DEST_PATH_IMAGE047
表示遮挡区域在第
Figure 866415DEST_PATH_IMAGE048
个矩形区域内坐标
Figure DEST_PATH_IMAGE049
位置处的拟合灰度值,
Figure 289438DEST_PATH_IMAGE050
表示遮挡区域在第
Figure 521836DEST_PATH_IMAGE048
个矩形区域内坐标
Figure 27903DEST_PATH_IMAGE049
位置的实际灰度值,
Figure DEST_PATH_IMAGE051
Figure 978542DEST_PATH_IMAGE052
Figure DEST_PATH_IMAGE053
分别表示遮挡区域的最小行、列数,
Figure 454523DEST_PATH_IMAGE054
分别表示遮挡区域的最大行列数。
6.根据权利要求1所述的一种基于人工智能的纸盒缺陷检测方法,其特征在于,所述根据灰度差值确定起泡区域的方法如下:
将灰度差值
Figure DEST_PATH_IMAGE055
的区域作为起泡区域,其中
Figure 541427DEST_PATH_IMAGE040
表示拟合精度。
CN202210296699.5A 2022-03-24 2022-03-24 一种基于人工智能的纸盒缺陷检测方法 Expired - Fee Related CN114387274B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210296699.5A CN114387274B (zh) 2022-03-24 2022-03-24 一种基于人工智能的纸盒缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210296699.5A CN114387274B (zh) 2022-03-24 2022-03-24 一种基于人工智能的纸盒缺陷检测方法

Publications (2)

Publication Number Publication Date
CN114387274A CN114387274A (zh) 2022-04-22
CN114387274B true CN114387274B (zh) 2022-06-03

Family

ID=81205276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210296699.5A Expired - Fee Related CN114387274B (zh) 2022-03-24 2022-03-24 一种基于人工智能的纸盒缺陷检测方法

Country Status (1)

Country Link
CN (1) CN114387274B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998313B (zh) * 2022-07-18 2022-10-21 山东海鑫达石油机械有限公司 基于视觉定位的流体输送管管口毛刺识别定位方法
CN114994102B (zh) * 2022-08-04 2022-10-25 武汉钰品研生物科技有限公司 基于x光的食品异物无痕快速检测方法
CN114998887B (zh) * 2022-08-08 2022-10-11 山东精惠计量检测有限公司 一种电能计量表智能识别方法
CN115082463B (zh) * 2022-08-22 2022-11-15 聊城市宁泰电机有限公司 基于图像数据的发电机端盖视觉检测方法
CN115639870B (zh) * 2022-12-21 2023-04-04 苏州沸特纸业有限公司 一种用于瓦楞纸板生产的智能控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU116040U1 (ru) * 2011-04-22 2012-05-20 Общество с ограниченной ответственностью "РусБиоМатериалы" (ООО "РБМ") Имплантируемое устройство для хирургического лечения опущения органов переднего отдела малого таза у женщин
CN105809700A (zh) * 2016-03-23 2016-07-27 南京航空航天大学 一种受油插头遮挡的空中加油锥套图像检测定位方法
CN110490849A (zh) * 2019-08-06 2019-11-22 桂林电子科技大学 基于深度卷积神经网络的钢板表面缺陷分类方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10664966B2 (en) * 2018-01-25 2020-05-26 International Business Machines Corporation Anomaly detection using image-based physical characterization

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU116040U1 (ru) * 2011-04-22 2012-05-20 Общество с ограниченной ответственностью "РусБиоМатериалы" (ООО "РБМ") Имплантируемое устройство для хирургического лечения опущения органов переднего отдела малого таза у женщин
CN105809700A (zh) * 2016-03-23 2016-07-27 南京航空航天大学 一种受油插头遮挡的空中加油锥套图像检测定位方法
CN110490849A (zh) * 2019-08-06 2019-11-22 桂林电子科技大学 基于深度卷积神经网络的钢板表面缺陷分类方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络的热轧钢条表面实时缺陷检测;刘艳菊 等;《仪器仪表学报》;20211231;第211-219页 *

Also Published As

Publication number Publication date
CN114387274A (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
CN114387274B (zh) 一种基于人工智能的纸盒缺陷检测方法
KR20210018180A (ko) 딥 뉴럴 네트워크의 정규화 방법 및 장치, 기기, 및 기억 매체
CN110458157B (zh) 一种电力电缆生产过程智能监控系统
CN110533022B (zh) 一种目标检测方法、系统、装置及存储介质
CN115100208B (zh) 一种基于直方图和动态光源的薄膜表面缺陷评估方法
CN116912250B (zh) 基于机器视觉的菌包生产质量检测方法
CN106780483A (zh) 多根连铸坯端面视觉识别系统及中心坐标求取方法
CN115456956A (zh) 一种液晶屏划痕检测方法、设备及存储介质
CN106157264A (zh) 基于经验模式分解的大幅面图像不均匀光照校正方法
CN116563799A (zh) 基于视频监控的粉尘在线监测方法
CN116030052A (zh) 电脑显示板层压工序蚀刻质量检测方法
CN114212452B (zh) 基于激光辅助和图像处理的煤流检测方法及节能控制系统
CN104282013B (zh) 一种用于前景目标检测的图像处理方法及装置
CN107037056A (zh) 一种快速局部阈值分割的水果表面缺陷检测方法
CN116703916B (zh) 一种基于图像处理的洗化水质量监测方法
CN106951902B (zh) 一种图像二值化处理方法及装置
CN110991230B (zh) 基于旋转候选框的任意方向遥感影像舰船检测方法及系统
CN114663416B (zh) 基于计算机视觉的铜排冷隔缺陷检测方法及系统
CN111524143A (zh) 一种泡沫粘连图像区域分割的处理方法
CN110057744B (zh) 一种进行自动补偿的方法、装置及相应的流式细胞分析仪
CN114418990B (zh) 一种基于深度学习的连续工业结晶图像处理系统
CN103679666B (zh) 改善传感器图像质量的系统
CN109389579A (zh) 一种结合熵约束和标准差加权的纺织品色差检测抗光照干扰方法
CN104809712B (zh) 一种基于粗糙集的图像快速修复方法
CN115345788A (zh) 提高色觉异常者视觉下图像颜色对比度的方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220603

CF01 Termination of patent right due to non-payment of annual fee