CN118212179A - 一种复杂背景的角度检测方法 - Google Patents

一种复杂背景的角度检测方法 Download PDF

Info

Publication number
CN118212179A
CN118212179A CN202410166234.7A CN202410166234A CN118212179A CN 118212179 A CN118212179 A CN 118212179A CN 202410166234 A CN202410166234 A CN 202410166234A CN 118212179 A CN118212179 A CN 118212179A
Authority
CN
China
Prior art keywords
area
image
pixel
region
curtain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410166234.7A
Other languages
English (en)
Inventor
杨牧
郑晔
张董
赵亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Techmach Corp
Original Assignee
Techmach Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Techmach Corp filed Critical Techmach Corp
Priority to CN202410166234.7A priority Critical patent/CN118212179A/zh
Publication of CN118212179A publication Critical patent/CN118212179A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种复杂背景的角度检测方法,属于角度检测技术领域,其方法包括采用全局阈值方式对钢丝帘布图像粗提取,采用局部阈值方式获取钢丝帘布图像中的亮背景区域基于粗提取区域对亮背景区域分割及预处理,得到钢丝帘布图像的前景帘布区域;对前景帘布区域进行腐蚀操作与膨胀操作,对膨胀图像和腐蚀图像进行差集运算,得到帘布边缘区域,且对帘布边缘区域边缘提取,转化为连通区域;对帘布边缘区域与连通区域差集运算,提取得到最终帘布区域,且结合最终帘布区域的骨架对最终帘布区域的轮廓进行线段分割;基于所有分割线段求取最终帘布区域的帘布角度,有助于从钢丝帘布图像中提取出更多有价值信息,提高制造和生产过程的效率和质量。

Description

一种复杂背景的角度检测方法
技术领域
本发明涉及角度检测技术领域,特别涉及一种复杂背景的角度检测方法。
背景技术
钢丝帘布是轮胎的重要组成部分,其结构和性能对轮胎的性能起着关键作用,准确地分析和提取钢丝帘布的图像信息,对于优化轮胎设计和提高生产效率具有重要意义。钢丝帘布图像由于钢丝的光照效应,以及钢丝丝束的交织、交错造成的复杂纹理,导致其图像处理难度较大,从而影响制造和生产过程的效率。
因此,本发明提供一种复杂背景角度的角度检测方法。
发明内容
本发明提供一种复杂背景的角度检测方法,用以通过设定全局阈值与局部阈值确定钢丝帘布图像中的亮背景区域,对亮背景区域进行分割处理得出前景帘布区域,以此进行腐蚀与膨胀操作确定帘布边缘区域并转化为连通区域,结合连通区域与帘布边缘区域进行差集运算得到最终帘布区域,对最终帘布区域进行骨架与轮廓的提取与分割,得出帘布角度,实现了精确的测量和分析钢丝帘布的角度和其他属性,有助于从钢丝帘布图像中提取出更多有价值的信息,进而提高制造和生产过程的效率和质量。
本发明提供一种复杂背景的角度检测方法,包括:
步骤1:采用全局阈值方式对钢丝帘布图像进行粗提取,同时,采用局部阈值方式获取所述钢丝帘布图像中的亮背景区域;
步骤2:基于粗提取区域对所述亮背景区域进行分割及预处理,并得到所述钢丝帘布图像的前景帘布区域;
步骤3:对所述前景帘布区域进行腐蚀操作以及膨胀操作,并对膨胀图像和腐蚀图像进行差集运算,得到帘布边缘区域,且对所述帘布边缘区域进行边缘提取,转化为连通区域;
步骤4:对所述帘布边缘区域与连通区域进行差集运算,提取得到最终帘布区域,且结合所述最终帘布区域的骨架对最终帘布区域的轮廓进行线段分割;
步骤5:基于所有分割线段求取所述最终帘布区域的帘布角度。
本发明提供一种复杂背景的角度检测方法,采用全局阈值方式对钢丝帘布图像进行粗提取,包括:
获取各个生产过程中的钢丝帘布的原始图像,将所述原始图像转化为灰度图像,遍历所述灰度图像的每个像素点,统计灰度级别与所述灰度级别对应的像素点数目;
将所述像素点数目作为纵坐标,灰度级别作为横坐标,绘制灰度直方图,将所述灰度直方图进行归一化,确定每个灰度级别的像素概率分布;
将每个灰度级别分别作为初始阈值来将所述灰度图像分割为目标与背景两部分,根据分割结果分别计算每个初始阈值下目标像素方差与背景像素方差,对同一初始阈值下的目标像素方差与背景像素方差求和,选择最大和值对应的初始阈值结合所述像素概率分布,确定全局阈值;
将所述钢丝帘布图像中大于等于所述全局阈值的像素设为初始前景,小于所述全局阈值的像素设为初始背景,实现粗提取。
本发明提供一种复杂背景的角度检测方法,采用局部阈值方式获取所述钢丝帘布图像中的亮背景区域,包括:
锁定所述初始前景与所述初始背景的过渡部分以及灰度图像的边缘部分;
对所述灰度图像进行像素均匀分析,并根据分析结果锁定所述灰度图像中均匀度低于预设度的像素块以及所述像素块的块位置以及块周长;
确定所述边缘部分的第一位置以及第一大小,同时,确定所述过渡部分的第二位置以及第二大小;
按照所述块位置、块周长以及块的均匀度,且结合第一位置、第二位置、第一大小以及第二大小,确定划分系数;
;其中,HJ为划分系数;N1为均匀度低于预设度的像素块的块数量;/>为灰度图像中像素块的总数量;表示第k个像素块的均匀度;/>1表示预设度;/>表示基于均匀度下的均匀变量;/>表示均匀度差异级别系数;/>表示基于第k个像素块的块位置/>及块周长/>的系数计算函数;/>表示除第k个像素块的剩余像素块基于系数计算函数的方差;表示基于第一位置d1以及第一大小d11的系数计算函数;/>表示基于第二位置d2以及第二大小dd2的系数计算函数;
从系数-划分单元映射表中确定对所述边缘部分以及过渡部分进行划分的划分精度,得到若干划分块;
分别计算每个划分块的像素信息有效值;
;其中,/>表示第i个划分块的像素信息有效值;/>表示所述钢丝帘布图像的最优光照值;/>表示第i个划分块的系统识别光照值;/>表示第i个划分块的第j个像素点的重要度函数;/>表示第i个划分块的第j个像素点的有效值函数;/>表示第i个划分块的第j个像素点的位置信息;/>表示第i个划分块的第j个像素点的像素值;/>表示第i个划分块的像素点总数;
以全局阈值为基础值,搜索每个划分块的局部最优阈值,同时,设定相邻划分块的局部初始阈值之间的最大差值以及计算对应相邻划分块的像素信息差值;
根据局部最优阈值、最大差值、像素信息有效值以及像素信息差值,采集所述钢丝帘布图像中的亮区域;
对所述亮区域与粗提取区域取差集,得出亮背景区域。
本发明提供一种复杂背景的角度检测方法,基于粗提取区域对所述亮背景区域进行分割及预处理,并得到所述钢丝帘布图像的前景帘布区域,包括:
利用钢丝帘布位置对应的区域与亮背景区域进行交运算,根据交运算结果对亮背景区域进行区域限制;
对区域限制后的亮背景区域进行图形识别,根据识别结果对所述区域限制后的亮背景区域进行分割,并向识别结果匹配对应的结构元;
根据所述结构元对相应分割区域进行开运算,基于开运算结果将分割区域进行合并,根据合并结果对所述初始背景进行背景调整,得到确定背景区域;
将所述灰度直方图中最大灰度值对应的灰度级别作为预设灰度阈值;
基于灰度图像与所述确定背景区域做差集,根据差集结果对所述初始前景进行背景调整得出确定前景区域,将所述确定前景区域与所述确定背景区域连接部分的像素灰度值与预设灰度阈值进行比较,其中,所述连接部分的面积受获取钢丝帘布图像时的光影情况影响;
当所述连接部分的像素灰度值大于所述预设灰度值时,确定所述连接部分的像素属于调整前景区域的第一像素;
当所述连接部分的像素灰度值小于或等于所述预设灰度阈值时,确定所述连接部分的像素属于确定背景区域的第二像素;
将所述第一像素与确定前景区域结合得出前景帘布区域。
本发明提供一种复杂背景的角度检测方法,对所述前景帘布区域进行腐蚀操作以及膨胀操作,并对膨胀图像和腐蚀图像进行差集运算,得到帘布边缘区域,包括:
对前景帘布区域进行腐蚀操作,去除图像中亮的区域,保留暗区域,将所述前景帘布区域程度像素边界向内缩小一个像素,得到腐蚀图像;
对前景帘布进行膨胀操作,对暗的区域扩展,填充帘布边缘的间隙,将所述前景帘布区域边界向外扩大一个像素,得到膨胀图像;
对膨胀图像和腐蚀图像进行差集运算,得到形态学差异图像与帘布边缘区域。
本发明提供一种复杂背景的角度检测方法,对所述帘布边缘区域进行边缘提取,转化为连通区域,包括:
对所述形态学差异图像进行形态学重建,得出重建后差异图像,获取重建后差异图像的边缘特征点,将所述边缘特征点中相邻的两个边缘特征点的中心作为所述重建后差异图像的采样点;
根据重建后差异图像的边缘特征点以及所述采样点计算钢丝帘布的视觉特征,其中,所述视觉特征包括轮廓特征和颜色特征;
基于所述视觉特征利用Canny算子对帘布边缘区域进行边缘提取并进行筛选,对筛选后的边缘轮廓进行闭运算和开运算,转化为连通区域。
本发明提供一种复杂背景的角度检测方法,结合所述最终帘布区域的骨架对最终帘布区域的轮廓进行线段分割,包括:
基于所述最终帘布区域的中心点对钢丝帘布设定捕捉条件,利用骨架提取算法符合设定条件的目标像素,所述目标像素整合之后为最终帘布区域的骨架;
将所述骨架转化为亚像素轮廓,使用直线拟合与曲线拟合方法对亚像素轮廓进行分割;
获取分割后的每条线段的方向向量,判断所述方向向量是否共线,根据判断结果对共线线段进行合并,得出分割线。
本发明提供一种复杂背景的角度检测方法,基于所有分割线段求取所述最终帘布区域的帘布角度,包括:
对分割线进行条件筛选,判断所有分割线对应方向向量之间的首尾连接情况,依据所述首尾连接情况对分割线进行连接;
将连接后线段与钢丝帘布的轮廓线进行匹配,根据匹配结果确定帘布的初始角度;
遍历所有的方向向量之间的夹角,取众数为基础角,设定基础角辐射范围,统计在所述基础角辐射范围内的所有角度及对应角度的数量,根据统计结果进行正态分布,确定分布角度;
对初始角度与分布角度求平均得出最终帘布区域的帘布角度。
与现有技术相比,本申请的有益效果如下:通过设定全局阈值与局部阈值确定钢丝帘布图像中的亮背景区域,对亮背景区域进行分割处理得出前景帘布区域,以此进行腐蚀与膨胀操作确定帘布边缘区域并转化为连通区域,结合连通区域与帘布边缘区域进行差集运算得到最终帘布区域,对最终帘布区域进行骨架与轮廓的提取与分割,得出帘布角度,实现了精确的测量和分析钢丝帘布的角度和其他属性,有助于从钢丝帘布图像中提取出更多有价值的信息,进而提高制造和生产过程的效率和质量。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例中一种复杂背景的角度检测方法的流程图;
图2为本发明实施例中的钢丝帘布图像;
图3为本发明实施例中的钢丝帘布的位置信息图;
图4为本发明实施例中的亮背景区域图;
图5为本发明实施例中的合并结果图;
图6为本发明实施例中的帘布边缘区域图;
图7为本发明实施例中的轮廓区域图;
图8为本发明实施例中的最终帘布区域图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
实施例1:
本发明实施例提供一种复杂背景的角度检测方法,如图1所示,包括:
步骤1:采用全局阈值方式对钢丝帘布图像进行粗提取,同时,采用局部阈值方式获取所述钢丝帘布图像中的亮背景区域;
步骤2:基于粗提取区域对所述亮背景区域进行分割及预处理,并得到所述钢丝帘布图像的前景帘布区域;
步骤3:对所述前景帘布区域进行腐蚀操作以及膨胀操作,并对膨胀图像和腐蚀图像进行差集运算,得到帘布边缘区域,且对所述帘布边缘区域进行边缘提取,转化为连通区域;
步骤4:对所述帘布边缘区域与连通区域进行差集运算,提取得到最终帘布区域,且结合所述最终帘布区域的骨架对最终帘布区域的轮廓进行线段分割;
步骤5:基于所有分割线段求取所述最终帘布区域的帘布角度。
该实施例中,全局阈值是对整个图像选定一个阈值,大于这个阈值的像素点被视为前景,小于这个阈值的像素点被视为背景,全局阈值的选择,根据图像的直方图分析,尽可能准确的分割出目标区域。
该实施例中,差集运算是图像之间的相减操作,就是用一个图像去减去另一个图像中的值。
该实施例中,局部阈值法是针对图像的每一小块区域选择一个特定的阈值,以适应各区域的光照、纹理等特性的差异。
该实施例中,预处理是针对得到的预提取区域进行的一系列优化操作,一般包括滤波、平滑等,以消除或减少噪声,改善图像质量。
该实施例中,背景区域就是指图像中被视为背景且灰度值较高或者亮度较高的区域。
该实施例中,分割过程是根据灰度级别对应的初始阈值将灰度图像进行分割,如果某个像素的灰度值大于(或大于等于)初始阈值,将该像素标记为前景,通常用白色表示;如果某个像素的灰度值小于初始阈值,将该像素标记为背景,通常用黑色表示。
该实施例中,帘布边缘区域是前景帘布区域是腐蚀和膨胀操作之后,腐蚀会使得帘布区域变细,膨胀会使得帘布区域扩大,通过膨胀后的图像和腐蚀后的图像进行差集运算的结果。
该实施例中,最终帘布区域是对帘布边缘区域和连通区域进行差集运算,消除那些不属于帘布本身,但又与帘布连通的区域,比如图像中的噪声点或背景物体等。
上述技术方案的工作原理及有益效果是:通过设定全局阈值与局部阈值确定钢丝帘布图像中的亮背景区域,对亮背景区域进行分割处理得出前景帘布区域,以此进行腐蚀与膨胀操作确定帘布边缘区域并转化为连通区域,结合连通区域与帘布边缘区域进行差集运算得到最终帘布区域,对最终帘布区域进行骨架与轮廓的提取与分割,得出帘布角度,实现了精确的测量和分析钢丝帘布的角度和其他属性,有助于从钢丝帘布图像中提取出更多有价值的信息,进而提高制造和生产过程的效率和质量。
实施例2:
本发明实施例提供一种复杂背景的角度检测方法,采用全局阈值方式对钢丝帘布图像进行粗提取,包括:
获取各个生产过程中的钢丝帘布的原始图像,将所述原始图像转化为灰度图像,遍历所述灰度图像的每个像素点,统计灰度级别与所述灰度级别对应的像素点数目;
将所述像素点数目作为纵坐标,灰度级别作为横坐标,绘制灰度直方图,将所述灰度直方图进行归一化,确定每个灰度级别的像素概率分布;
将每个灰度级别分别作为初始阈值来将所述灰度图像分割为目标与背景两部分,根据分割结果分别计算每个初始阈值下目标像素方差与背景像素方差,对同一初始阈值下的目标像素方差与背景像素方差求和,选择最大和值对应的初始阈值结合所述像素概率分布,确定全局阈值;
将所述钢丝帘布图像中大于等于所述全局阈值的像素设为初始前景,小于所述全局阈值的像素设为初始背景,实现粗提取。
该实施例中,原始图像的灰度图像为图2。
该实施例中,灰度级别又叫灰度值,是描述图像中像素亮度的数值,将彩色图像转为灰度图像,灰度级别的范围通常是0到255,其中0表示黑色,255表示白色,其他数值表示不同程度的灰色,在灰度图像中,每个像素的颜色由一个单独的数值(即灰度级别)表示。
该实施例中,生产过程包括钢丝帘布生产过程中的多个步骤,如原料准备、混合、成型、焊接、热处理、冷却等。
该实施例中,灰度直方图的归一化是,其中/>表示新的灰度值;/>表示当前灰度值;/>表示最小灰度值;/>表示最大灰度值;
该实施例中,全局阈值是对每个初始阈值下的目标像素方差与背景像素方差求和,总和越大,表示在这个阈值下,图像中的目标区域与背景区域的灰度差异越大,就越容易进行区分,遍历全部可能的灰度级别值作为阈值,记录下每个阈值下的方差和,选择方差和最大的那个阈值作为全局阈值,在这个阈值下,图像的目标区域与背景区域的区别是最明显的。
该实施例中,粗提取是对图像进行了初步的分类和提取,并没有进行进一步的处理或分析,在这个阶段,可能仍有一部分背景像素或噪声像素被误分到了前景中,或者有一部分前景像素被误分到了背景中,粗提取的结果如图3所示。
上述技术方案的工作原理及有益效果是:通过将钢丝帘布图像转化为灰度图像,统计对应灰度级别的像素点的数目,构建灰度直方图,对灰度级别对应的初始阈值进行筛选得出全局阈值,根据全局阈值确定初始背景与初始前景,有助于快速有效地从钢丝帘布的原始图像中提取出帘布的关键信息,为后续的帘布检测、分析和质量控制提供重要数据基础。
实施例3:
本发明实施例提供一种复杂背景的角度检测方法,采用局部阈值方式获取所述钢丝帘布图像中的亮背景区域,如图4所示,包括:
锁定所述初始前景与所述初始背景的过渡部分以及灰度图像的边缘部分;
对所述灰度图像进行像素均匀分析,并根据分析结果锁定所述灰度图像中均匀度低于预设度的像素块以及所述像素块的块位置以及块周长;
确定所述边缘部分的第一位置以及第一大小,同时,确定所述过渡部分的第二位置以及第二大小;
按照所述块位置、块周长以及块的均匀度,且结合第一位置、第二位置、第一大小以及第二大小,确定划分系数;
;其中,HJ为划分系数;N1为均匀度低于预设度的像素块的块数量;/>为灰度图像中像素块的总数量;表示第k个像素块的均匀度;/>1表示预设度;/>表示基于均匀度下的均匀变量;/>表示均匀度差异级别系数;/>表示基于第k个像素块的块位置/>及块周长/>的系数计算函数;/>表示除第k个像素块的剩余像素块基于系数计算函数的方差;表示基于第一位置d1以及第一大小d11的系数计算函数;/>表示基于第二位置d2以及第二大小dd2的系数计算函数;
从系数-划分单元映射表中确定对所述边缘部分以及过渡部分进行划分的划分精度,得到若干划分块;
分别计算每个划分块的像素信息有效值;
;其中,/>表示第i个划分块的像素信息有效值;/>表示所述钢丝帘布图像的最优光照值;/>表示第i个划分块的系统识别光照值;/>表示第i个划分块的第j个像素点的重要度函数;/>表示第i个划分块的第j个像素点的有效值函数;/>表示第i个划分块的第j个像素点的位置信息;/>表示第i个划分块的第j个像素点的像素值;/>表示第i个划分块的像素点总数;
以全局阈值为基础值,搜索每个划分块的局部最优阈值,同时,设定相邻划分块的局部初始阈值之间的最大差值以及计算对应相邻划分块的像素信息差值;
根据局部最优阈值、最大差值、像素信息有效值以及像素信息差值,采集所述钢丝帘布图像中的亮区域;
对所述亮区域与粗提取区域取差集,得出亮背景区域。
该实施例中,像素均匀分析可能是指在图像处理中评估图像像素强度(例如灰度值)的均匀程度或分布的一种方法,帮助识别图像中的特定区域,例如边缘、纹理或其他特征。
该实施例中,系数-划分单元映射表包括划分精度与对应划分系数,划分精度可能是对应的处理参数,例如表示将图像划分为多少块或者其他的处理精度。
该实施例中,第一位置是指边缘部分在图像中的位置,常见的表示方法包括使用边缘部分的重心坐标或者代表点(例如最左边、最右边、最上方、最下方等位置)的位置坐标;第一大小是指边缘部分的面积、长度、周长或者其他代表其大小的度量。
该实施例中,第二位置是是指这个过渡部分在整个图像中的位置,表示为这个区域的中心点或其他代表性位置点的坐标;第二大小可能是指过渡部分的面积、周长、长度或其他可表示其规模的度量,例如,对于一条接缝线,大小指的就是它的长度。
该实施例中,像素信息差值是指不同划分块之间或者同一个划分块内的像素值差,或者其他与像素相关的度量因子(例如亮度、颜色、对比度等)的差异,例如,如果我们在比较两个划分块之间的差异,像素信息差值可能就是这两个划分块的像素平均值之差,或者某种度量因子的差值。
该实施例中,最大差值是评估像素信息差值是否足够小,如果像素信息差值超过了这个最大差值,就会认为这两个划分块在视觉上有显著的差异,不能被归为同一类,如果像素信息差值不超过最大差值,那么可能就会认为这两个划分块在视觉上相似,可以被归为同一类。
上述技术方案的工作原理及有益效果是:通过确定过渡部分与边缘部分均匀度低于预设度的像素块的位置以及周长,计算对应划分系数,匹配对应的划分精度对区域进行划分,计算对应划分块的有效值,结合有效值、局部最优阈值、最大差值、像素信息差值得出钢丝帘布图像中的亮区域,取差集后得出亮背景区域,实现了将钢丝帘布准确地从复杂的生产环境中提取出来,有助于提高制造和生产过程的效率和质量。
实施例4:
本发明实施例提供一种复杂背景的角度检测方法,基于粗提取区域对所述亮背景区域进行分割及预处理,并得到所述钢丝帘布图像的前景帘布区域,如图5所示,包括:
利用钢丝帘布位置对应的区域与亮背景区域进行交运算,根据交运算结果对亮背景区域进行区域限制;
对区域限制后的亮背景区域进行图形识别,根据识别结果对所述区域限制后的亮背景区域进行分割,并向识别结果匹配对应的结构元;
根据所述结构元对相应分割区域进行开运算,基于开运算结果将分割区域进行合并,根据合并结果对所述初始背景进行背景调整,得到确定背景区域;
将所述灰度直方图中最大灰度值对应的灰度级别作为预设灰度阈值;
基于灰度图像与所述确定背景区域做差集,根据差集结果对所述初始前景进行背景调整得出确定前景区域,将所述确定前景区域与所述确定背景区域连接部分的像素灰度值与预设灰度阈值进行比较,其中,所述连接部分的面积受获取钢丝帘布图像时的光影情况影响;
当所述连接部分的像素灰度值大于所述预设灰度值时,确定所述连接部分的像素属于调整前景区域的第一像素;
当所述连接部分的像素灰度值小于或等于所述预设灰度阈值时,确定所述连接部分的像素属于确定背景区域的第二像素;
将所述第一像素与确定前景区域结合得出前景帘布区域。
该实施例中,区域限制是对图像处理范围的约束为了减小不必要的计算量和提高处理的准确性。
该实施例中,图形识别是对分割后的区域进行近似图像的识别,常见的有方形、圆形、椭圆形。
该实施例中,结构元是一个小的二值或灰度图像,用来扫描和处理原始图像,有各种形状和尺寸,常见的有方形、圆形、椭圆形或者是一条线等,结构元匹配到识别结果是使用结构元素在进行形态学操作时,根据识别出的亮背景区域的形状、大小等特性进行匹配。
该实施例中,开运算是形态学中的一种基本操作,用于消除小物体、在纤细点处分离物体以及平滑较大物体的边界。
该实施例中,背景调整是由于连接部分通常是边缘或过渡区域,可能既包含一些前景又包含一些背景,若连接部分的像素灰度值大于预设灰度值,这部分像素其实属于前景,应该被纳入到前景区域中,这些像素被称为第一像素;如果连接部分的像素灰度值小于或等于预设灰度值,这部分像素其实属于背景,应该被剔除出前景区域,这些像素被称为第二像素。
上述技术方案的工作原理及有益效果是:通过对亮背景区域进行区域限制与图形识别,匹配对应结构元进行开运算,基于运算结果对分割区域进行合并,得出确定背景区域,根据灰度图像与所述确定背景区域做差集得出确定前景区域,将两者进行差集运算并确定连接部分,对连接部分进行细化,得出前景帘布区域,实现将钢丝帘布准确地从复杂的生产环境中提取出来,有助于提高制造和生产过程的效率和质量。
实施例5:
本发明实施例提供一种复杂背景的角度检测方法,对所述前景帘布区域进行腐蚀操作以及膨胀操作,并对膨胀图像和腐蚀图像进行差集运算,得到帘布边缘区域,如图6所示,包括:
对前景帘布区域进行腐蚀操作,去除图像中亮的区域,保留暗区域,将所述前景帘布区域程度像素边界向内缩小一个像素,得到腐蚀图像;
对前景帘布进行膨胀操作,对暗的区域扩展,填充帘布边缘的间隙,将所述前景帘布区域边界向外扩大一个像素,得到膨胀图像;
对膨胀图像和腐蚀图像进行差集运算,得到形态学差异图像与帘布边缘区域。
该实施例中,膨胀操作会扩大图像中的前景区域,而腐蚀操作则会缩小这些区域,腐蚀和膨胀操作后的图像并不完全一致,用膨胀图像减去腐蚀图像,会留下图像中的边缘部分就是形态学差异图。
上述技术方案的工作原理及有益效果是:通过对前景帘布区域进行腐蚀与膨胀操作,对腐蚀图像与膨胀图像进行差集运算确定帘布边缘区域,实现了针对图像前景区域(即钢丝帘布区域)的噪声去除、形状和边缘特征提取等功能,为后续的图像分析提供了更加精确和清晰的目标区域。
实施例6:
本发明实施例提供一种复杂背景的角度检测方法,对所述帘布边缘区域进行边缘提取,转化为连通区域,包括:
对所述形态学差异图像进行形态学重建,得出重建后差异图像,获取重建后差异图像的边缘特征点,将所述边缘特征点中相邻的两个边缘特征点的中心作为所述重建后差异图像的采样点;
根据重建后差异图像的边缘特征点以及所述采样点计算钢丝帘布的视觉特征,其中,所述视觉特征包括轮廓特征和颜色特征;
基于所述视觉特征利用Canny算子对帘布边缘区域进行边缘提取并进行筛选,对筛选后的边缘轮廓进行闭运算和开运算,转化为连通区域。
该实施例中,形态学重建包括标记图像,选择一个原始图像的变种,称为标记图像,这个图像比原始图像小(即内部,被腐蚀);限制变换,然后对标记图像进行形态学膨胀,但是这个膨胀受到原始图像的限制,即膨胀的结果不能超过原始图像,持续进行这个过程,直到结果图像稳定下来。
该实施例中,边缘特征点是指图像中边缘处的点,经过形态学重建后差异图像中边缘明显、突出的部分,位于物体边缘,对该物体形状的描述具有很高的代表性。
该实施例中,Canny算子是一种常见的边缘检测算子,能够有效地检测出图像中的边缘信息。
该实施例中,轮廓特征是物体形状的外部特性,常见的有面积、周长、矩(比如中心矩、色矩等)、直径、厚度等,还包括质心、椭圆拟合、凸包、最小矩形包络等,对图像进行轮廓特征的提取,通常可以给出物体形状的大致信息,提取到的轮廓区域如图7中所示。
该实施例中,颜色特征是物体颜色的内部特性,常见的有颜色直方图、颜色矩、颜色相关图、颜色一致性、等,如果物体的颜色是显著的,并且对于物体来说是具有代表性的,那么颜色特征往往被视为是一种非常重要的特征。
上述技术方案的工作原理及有益效果是:通过对形态学差异图像进行形态学重建确定边缘特征点,并确定钢丝帘布对应的视觉特征,以此进行边缘提取与筛选,实现了对帘布的边缘特征的提取和优化,得到更准确的帘布视觉特征,同时对获得的边缘信息进行了进一步的提取和处理,从而可以得到更精确的帘布形状和边缘信息,提高制造和生产过程的效率和质量。
实施例7:
本发明实施例提供一种复杂背景的角度检测方法,结合所述最终帘布区域的骨架对最终帘布区域的轮廓进行线段分割,包括:
基于所述最终帘布区域的中心点对钢丝帘布设定捕捉条件,利用骨架提取算法符合设定条件的目标像素,所述目标像素整合之后为最终帘布区域的骨架;
将所述骨架转化为亚像素轮廓,使用直线拟合与曲线拟合方法对亚像素轮廓进行分割;
获取分割后的每条线段的方向向量,判断所述方向向量是否共线,根据判断结果对共线线段进行合并,得出分割线。
该实施例中,捕捉条件包括像素的位置,例如,可能只关注离中心点一定距离范围内的像素;像素的亮度或颜色:例如,只关注亮度或颜色超过(或低于)某个阈值的像素;像素周围的其他像素的状态:例如,只关注在边缘(即周围有亮有暗)的像素,或者只关注在某种纹理中心的像素。
该实施例中,骨架提取算法包括细化技术、形态学操作、距离变换等。
该实施例中,亚像素轮廓是一种对边缘或轮廓进行更精细定位描述的方法,利用图像局部的灰度变化信息,通过插值等方法,推测出边缘位置在像素间的具体位置,例如,一张图像中的直线可能并不会正好经过各像素的中心点,通过亚像素边缘检测,能准确地描绘出这条线的位置。
上述技术方案的工作原理及有益效果是:通过对最终帘布区域设置捕捉条件提取骨架,将骨架进行转换,然后进行轮廓分割,根据分割后线段的方向向量对方向向量相同的共线线段进行合并,得出分割线,有助于更好地理解和分析图像信息,提高图像处理的效率和准确性。
实施例8:
本发明实施例提供一种复杂背景的角度检测方法,基于所有分割线段求取所述最终帘布区域的帘布角度,如图8所示,包括:
对分割线进行条件筛选,判断所有分割线对应方向向量之间的首尾连接情况,依据所述首尾连接情况对分割线进行连接;
将连接后线段与钢丝帘布的轮廓线进行匹配,根据匹配结果确定帘布的初始角度;
遍历所有的方向向量之间的夹角,取众数为基础角,设定基础角辐射范围,统计在所述基础角辐射范围内的所有角度及对应角度的数量,根据统计结果进行正态分布,确定分布角度;
对初始角度与分布角度求平均得出最终帘布区域的帘布角度。
该实施例中,基础角辐射范围是±30度。
该实施例中,首位连接情况包括线段的尾部(结束点)与另一线段的头部(开始点),表示两条线段形成了连续的轮廓;线段的头部与另一线段的头部连接,或者尾部与尾部连接,表示帘布的轮廓在此处存在一些复杂的形状,例如折叠或者交叉等;线段的一部分(非头部和尾部)与另一线段的头部或尾部连接,表示线段的分割存在一些误差,需要进行修正。
该实施例中,初始角度的确定过程是找到钢丝帘布的直角边与斜边,确定两个边缘之间的夹角。
上述技术方案的工作原理及有益效果是:对分割线进行筛选确定轮廓线,根据轮廓线确定初始角度,对方向向量进行夹角推算,对推算结果进行正态分布,确定分布角度,对两者求平均得出帘布角度,有助于对帘布进行分析和描述,实现了制造和生产过程的效率和质量的提升。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种复杂背景的角度检测方法,其特征在于,包括:
步骤1:采用全局阈值方式对钢丝帘布图像进行粗提取,同时,采用局部阈值方式获取所述钢丝帘布图像中的亮背景区域;
步骤2:基于粗提取区域对所述亮背景区域进行分割及预处理,并得到所述钢丝帘布图像的前景帘布区域;
步骤3:对所述前景帘布区域进行腐蚀操作以及膨胀操作,并对膨胀图像和腐蚀图像进行差集运算,得到帘布边缘区域,且对所述帘布边缘区域进行边缘提取,转化为连通区域;
步骤4:对所述帘布边缘区域与连通区域进行差集运算,提取得到最终帘布区域,且结合所述最终帘布区域的骨架对最终帘布区域的轮廓进行线段分割;
步骤5:基于所有分割线段求取所述最终帘布区域的帘布角度。
2.根据权利要求1所述的一种复杂背景的角度检测方法,其特征在于,采用全局阈值方式对钢丝帘布图像进行粗提取,包括:
获取各个生产过程中的钢丝帘布的原始图像,将所述原始图像转化为灰度图像,遍历所述灰度图像的每个像素点,统计灰度级别与所述灰度级别对应的像素点数目;
将所述像素点数目作为纵坐标,灰度级别作为横坐标,绘制灰度直方图,将所述灰度直方图进行归一化,确定每个灰度级别的像素概率分布;
将每个灰度级别分别作为初始阈值来将所述灰度图像分割为目标与背景两部分,根据分割结果分别计算每个初始阈值下目标像素方差与背景像素方差,对同一初始阈值下的目标像素方差与背景像素方差求和,选择最大和值对应的初始阈值结合所述像素概率分布,确定全局阈值;
将所述钢丝帘布图像中大于等于所述全局阈值的像素设为初始前景,小于所述全局阈值的像素设为初始背景,实现粗提取。
3.据权利要求2所述的一种复杂背景的角度检测方法,其特征在于,采用局部阈值方式获取所述钢丝帘布图像中的亮背景区域,包括:
锁定所述初始前景与所述初始背景的过渡部分以及灰度图像的边缘部分;
对所述灰度图像进行像素均匀分析,并根据分析结果锁定所述灰度图像中均匀度低于预设度的像素块以及所述像素块的块位置以及块周长;
确定所述边缘部分的第一位置以及第一大小,同时,确定所述过渡部分的第二位置以及第二大小;
按照所述块位置、块周长以及块的均匀度,且结合第一位置、第二位置、第一大小以及第二大小,确定划分系数;
;其中,HJ为划分系数;N1为均匀度低于预设度的像素块的块数量;/>为灰度图像中像素块的总数量;/>表示第k个像素块的均匀度;/>1表示预设度;/>表示基于均匀度下的均匀变量;/>表示均匀度差异级别系数;/>表示基于第k个像素块的块位置/>及块周长/>的系数计算函数;/>表示除第k个像素块的剩余像素块基于系数计算函数的方差;/>表示基于第一位置d1以及第一大小d11的系数计算函数;/>表示基于第二位置d2以及第二大小dd2的系数计算函数;
从系数-划分单元映射表中确定对所述边缘部分以及过渡部分进行划分的划分精度,得到若干划分块;
分别计算每个划分块的像素信息有效值;
;其中,/>表示第i个划分块的像素信息有效值;/>表示所述钢丝帘布图像的最优光照值;/>表示第i个划分块的系统识别光照值;/>表示第i个划分块的第j个像素点的重要度函数;/>表示第i个划分块的第j个像素点的有效值函数;/>表示第i个划分块的第j个像素点的位置信息;/>表示第i个划分块的第j个像素点的像素值;/>表示第i个划分块的像素点总数;
以全局阈值为基础值,搜索每个划分块的局部最优阈值,同时,设定相邻划分块的局部初始阈值之间的最大差值以及计算对应相邻划分块的像素信息差值;
根据局部最优阈值、最大差值、像素信息有效值以及像素信息差值,采集所述钢丝帘布图像中的亮区域;
对所述亮区域与粗提取区域取差集,得出亮背景区域。
4.根据权利要求2所述的一种复杂背景的角度检测方法,其特征在于,基于粗提取区域对所述亮背景区域进行分割及预处理,并得到所述钢丝帘布图像的前景帘布区域,包括:
利用钢丝帘布位置对应的区域与亮背景区域进行交运算,根据交运算结果对亮背景区域进行区域限制;
对区域限制后的亮背景区域进行图形识别,根据识别结果对所述区域限制后的亮背景区域进行分割,并向识别结果匹配对应的结构元;
根据所述结构元对相应分割区域进行开运算,基于开运算结果将分割区域进行合并,根据合并结果对所述初始背景进行背景调整,得到确定背景区域;
将所述灰度直方图中最大灰度值对应的灰度级别作为预设灰度阈值;
基于灰度图像与所述确定背景区域做差集,根据差集结果对所述初始前景进行背景调整得出确定前景区域,将所述确定前景区域与所述确定背景区域连接部分的像素灰度值与预设灰度阈值进行比较,其中,所述连接部分的面积受获取钢丝帘布图像时的光影情况影响;
当所述连接部分的像素灰度值大于所述预设灰度值时,确定所述连接部分的像素属于调整前景区域的第一像素;
当所述连接部分的像素灰度值小于或等于所述预设灰度阈值时,确定所述连接部分的像素属于确定背景区域的第二像素;
将所述第一像素与确定前景区域结合得出前景帘布区域。
5.根据权利要求1所述的一种复杂背景的角度检测方法,其特征在于,对所述前景帘布区域进行腐蚀操作以及膨胀操作,并对膨胀图像和腐蚀图像进行差集运算,得到帘布边缘区域,包括:
对前景帘布区域进行腐蚀操作,去除图像中亮的区域,保留暗区域,将所述前景帘布区域程度像素边界向内缩小一个像素,得到腐蚀图像;
对前景帘布进行膨胀操作,对暗的区域扩展,填充帘布边缘的间隙,将所述前景帘布区域边界向外扩大一个像素,得到膨胀图像;
对膨胀图像和腐蚀图像进行差集运算,得到形态学差异图像与帘布边缘区域。
6.根据权利要求1所述的一种复杂背景的角度检测方法,其特征在于,对所述帘布边缘区域进行边缘提取,转化为连通区域,包括:
对所述形态学差异图像进行形态学重建,得出重建后差异图像,获取重建后差异图像的边缘特征点,将所述边缘特征点中相邻的两个边缘特征点的中心作为所述重建后差异图像的采样点;
根据重建后差异图像的边缘特征点以及所述采样点计算钢丝帘布的视觉特征,其中,所述视觉特征包括轮廓特征和颜色特征;
基于所述视觉特征利用Canny算子对帘布边缘区域进行边缘提取并进行筛选,对筛选后的边缘轮廓进行闭运算和开运算,转化为连通区域。
7.根据权利要求1所述的一种复杂背景的角度检测方法,其特征在于,结合所述最终帘布区域的骨架对最终帘布区域的轮廓进行线段分割,包括:
基于所述最终帘布区域的中心点对钢丝帘布设定捕捉条件,利用骨架提取算法符合设定条件的目标像素,所述目标像素整合之后为最终帘布区域的骨架;
将所述骨架转化为亚像素轮廓,使用直线拟合与曲线拟合方法对亚像素轮廓进行分割;
获取分割后的每条线段的方向向量,判断所述方向向量是否共线,根据判断结果对共线线段进行合并,得出分割线。
8.根据权利要求1所述的一种复杂背景的角度检测方法,其特征在于,基于所有分割线段求取所述最终帘布区域的帘布角度,包括:
对分割线进行条件筛选,判断所有分割线对应方向向量之间的首尾连接情况,依据所述首尾连接情况对分割线进行连接;
将连接后线段与钢丝帘布的轮廓线进行匹配,根据匹配结果确定帘布的初始角度;
遍历所有的方向向量之间的夹角,取众数为基础角,设定基础角辐射范围,统计在所述基础角辐射范围内的所有角度及对应角度的数量,根据统计结果进行正态分布,确定分布角度;
对初始角度与分布角度求平均得出最终帘布区域的帘布角度。
CN202410166234.7A 2024-02-05 2024-02-05 一种复杂背景的角度检测方法 Pending CN118212179A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410166234.7A CN118212179A (zh) 2024-02-05 2024-02-05 一种复杂背景的角度检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410166234.7A CN118212179A (zh) 2024-02-05 2024-02-05 一种复杂背景的角度检测方法

Publications (1)

Publication Number Publication Date
CN118212179A true CN118212179A (zh) 2024-06-18

Family

ID=91455423

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410166234.7A Pending CN118212179A (zh) 2024-02-05 2024-02-05 一种复杂背景的角度检测方法

Country Status (1)

Country Link
CN (1) CN118212179A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118379317A (zh) * 2024-06-24 2024-07-23 常州市宏发纵横新材料科技股份有限公司 一种玻纤布边缘识别方法、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130155109A1 (en) * 2011-11-29 2013-06-20 Pictometry International Corp. System for automatic structure footprint detection from oblique imagery
CN104732536A (zh) * 2015-03-18 2015-06-24 广东顺德西安交通大学研究院 一种基于改进形态学的亚像素边缘检测方法
WO2019104767A1 (zh) * 2017-11-28 2019-06-06 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
US20190304080A1 (en) * 2018-04-02 2019-10-03 Wistron Corporation Method and computing device for monitoring object
CN110728246A (zh) * 2019-10-17 2020-01-24 南京鑫和汇通电子科技有限公司 一种基于深度图像的立方物体识别方法
CN114519694A (zh) * 2021-12-28 2022-05-20 河南大学 基于深度学习的七段数码管液晶显示屏识别方法及系统
CN115546232A (zh) * 2022-10-12 2022-12-30 什维新智医疗科技(上海)有限公司 一种肝脏超声图像工作区域提取方法、系统及电子设备
CN116805317A (zh) * 2023-08-28 2023-09-26 苏州科尔珀恩机械科技有限公司 基于人工智能的回转炉内壁缺陷检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130155109A1 (en) * 2011-11-29 2013-06-20 Pictometry International Corp. System for automatic structure footprint detection from oblique imagery
CN104732536A (zh) * 2015-03-18 2015-06-24 广东顺德西安交通大学研究院 一种基于改进形态学的亚像素边缘检测方法
WO2019104767A1 (zh) * 2017-11-28 2019-06-06 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
US20190304080A1 (en) * 2018-04-02 2019-10-03 Wistron Corporation Method and computing device for monitoring object
CN110728246A (zh) * 2019-10-17 2020-01-24 南京鑫和汇通电子科技有限公司 一种基于深度图像的立方物体识别方法
CN114519694A (zh) * 2021-12-28 2022-05-20 河南大学 基于深度学习的七段数码管液晶显示屏识别方法及系统
CN115546232A (zh) * 2022-10-12 2022-12-30 什维新智医疗科技(上海)有限公司 一种肝脏超声图像工作区域提取方法、系统及电子设备
CN116805317A (zh) * 2023-08-28 2023-09-26 苏州科尔珀恩机械科技有限公司 基于人工智能的回转炉内壁缺陷检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
D. MARMANIS等: "Classification with an edge: improving semantic image segmentation with boundary detection", 《ARXIV - COMPUTER VISION AND PATTERN RECOGNITION》, 21 December 2017 (2017-12-21), pages 1 - 37 *
FELIPE BALABANIAN等: "Image Thresholding Improved by Global Optimization Methods", 《APPLIED ARTIFICIAL INTELLIGENCE》, vol. 31, no. 3, 10 April 2017 (2017-04-10), pages 197 - 208 *
田澍: "面向目标立体构建的纹理分割与结构基元匹配方法研究", 《信息科技辑》, no. 01, 15 January 2019 (2019-01-15), pages 140 - 167 *
陈晶: "基于机器视觉的元器件PCB封装库自动生成方法研究", 《信息科技辑》, no. 03, 15 March 2022 (2022-03-15), pages 135 - 419 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118379317A (zh) * 2024-06-24 2024-07-23 常州市宏发纵横新材料科技股份有限公司 一种玻纤布边缘识别方法、设备及存储介质
CN118379317B (zh) * 2024-06-24 2024-09-13 常州市宏发纵横新材料科技股份有限公司 一种玻纤布边缘识别方法、设备及存储介质

Similar Documents

Publication Publication Date Title
CN113538433B (zh) 基于人工智能的机械铸件缺陷检测方法及系统
CN112419250B (zh) 路面裂缝数字图像提取、裂缝修补及裂缝参数计算方法
CN115082419B (zh) 一种吹塑箱包生产缺陷检测方法
WO2018107939A1 (zh) 一种基于边缘完备度的图像分割最优识别方法
CN106228545B (zh) 一种佛像类唐卡一致性破损区域的自动分割方法
CN111310558A (zh) 一种基于深度学习和图像处理法的路面病害智能提取方法
CN113781402A (zh) 芯片表面划痕缺陷的检测方法、装置和计算机设备
CN104794502A (zh) 一种基于图像处理和模式识别技术的稻瘟病孢子显微图像识别方法
CN107610114A (zh) 基于支持向量机的光学卫星遥感影像云雪雾检测方法
CN111539330B (zh) 一种基于双svm多分类器的变电站数显仪表识别方法
CN112734761B (zh) 工业品图像边界轮廓提取方法
CN115294159B (zh) 金属紧固件腐蚀区域分割方法
CN109658391B (zh) 一种基于轮廓归并和凸包拟合的圆半径测量方法
CN118212179A (zh) 一种复杂背景的角度检测方法
CN116664565A (zh) 一种光伏太阳能电池片的隐裂检测方法及系统
CN116152242B (zh) 一种篮球用天然皮革缺陷可视化检测系统
CN112435272B (zh) 一种基于图像轮廓分析的高压输电线连通域去除方法
CN109993213A (zh) 一种用于服装部件图的自动识别方法
CN115311289A (zh) 一种素色布匹油渍缺陷检测方法
KR101078756B1 (ko) 디지털 유방 x-선 영상에서 미세석회화 군집 검출 방법
CN118470015A (zh) 一种钛合金棒生产质量视觉检测方法及系统
CN118275449A (zh) 铜带表面缺陷检测方法、装置及设备
CN113723314A (zh) 一种基于YOLOv3算法的甘蔗茎节识别方法
CN116740053A (zh) 一种锻造加工智能生产线的管理系统
CN114241150B (zh) 一种倾斜摄影建模中的水域数据预处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination