CN116052008B - 一种建筑废弃物分拣与处理系统 - Google Patents

一种建筑废弃物分拣与处理系统 Download PDF

Info

Publication number
CN116052008B
CN116052008B CN202310339783.5A CN202310339783A CN116052008B CN 116052008 B CN116052008 B CN 116052008B CN 202310339783 A CN202310339783 A CN 202310339783A CN 116052008 B CN116052008 B CN 116052008B
Authority
CN
China
Prior art keywords
waste
edge
value
taking
areas
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310339783.5A
Other languages
English (en)
Other versions
CN116052008A (zh
Inventor
赖志强
陈元彩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202310339783.5A priority Critical patent/CN116052008B/zh
Publication of CN116052008A publication Critical patent/CN116052008A/zh
Application granted granted Critical
Publication of CN116052008B publication Critical patent/CN116052008B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/176Urban or other man-made structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02WCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
    • Y02W30/00Technologies for solid waste management
    • Y02W30/50Reuse, recycling or recovery technologies
    • Y02W30/58Construction or demolition [C&D] waste

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像数据处理技术领域,具体涉及一种建筑废弃物分拣与处理系统。该系统包括:图像数据预处理模块,用于获取建筑废弃物图像中每个废弃物块内的多个侧面区域;图像数据侧面分析模块,用于根据颜色特征和纹理特征获取两个相邻侧面区域的相邻侧面特征值;图像数据方向分析模块,用于确定侧面区域的侧面边缘,获取侧面边缘的方向,结合侧面边缘重合程度、方向差异程度和相邻侧面特征值获取方向一致特征值;建筑废弃物分拣模块,用于基于方向一致特征值合并相邻侧面区域获取分割废弃物图像。本发明根据分割废弃物图像对废弃物块进行分拣,提高了建筑废弃物分拣的准确率。

Description

一种建筑废弃物分拣与处理系统
技术领域
本发明涉及图像数据处理技术领域,具体涉及一种建筑废弃物分拣与处理系统。
背景技术
建筑垃圾指人们在从事拆迁、建设、装修和修缮等建筑业的生产活动中产生的渣土、废旧混凝土、废旧砖石和其他废弃物的统称。
现有技术对分割后的图像进行轮廓检测,将轮廓面积与满足条件的四边形进行匹配,当匹配成功且四边形的角点到当前轮廓的凸包的最小距离满足条件时,则将四边形作为有效四边形。将打开臂膀朝下的有效四边形记为种子四边形,若有效四边形的共享臂和打开臂所在线段与种子四边形打开臂所在线段的重叠数目大于等于1,则获取以种子四边形的三条臂为上表面的边,以及有效四边形的除重叠臂以外的臂为侧垂面的边构成立方物体轮廓,获取所有的立方物体轮廓,记作立方物体轮廓集合,从而确定完整的立方物体。该方法仅适用于获取规则物体,且当物体不同侧面的表面特征差异较大,则不能有效保证同一物体的不同侧面轮廓能有效合并,导致不能确定完整的物体信息,进而降低物体位置识别的准确率。
发明内容
为了解决废弃物块不同侧面的形状和纹理差异过大导致同一物体的不同侧面不能有效合并的技术问题,本发明的目的在于提供一种建筑废弃物分拣与处理系统,所采用的技术方案具体如下:
本发明提出了一种建筑废弃物分拣与处理系统,所述系统包括:
图像数据预处理模块,用于获取建筑废弃物图像,将所述建筑废弃物图像分割得到至少两个废弃物块;依据每个所述废弃物块内梯度信息将对应废弃物块划分为至少两个侧面区域;
图像数据侧面分析模块,用于根据每个所述废弃物块内每两个相邻侧面区域的颜色特征和纹理特征获取所述两个相邻侧面区域的相邻侧面特征值;
图像数据方向分析模块,用于获取每个所述侧面区域中的角点,基于所述侧面区域内所述角点的位置分布获取对应侧面区域的侧面边缘;根据侧面边缘上像素点的灰度梯度变化获取所述侧面边缘的方向;结合每个所述废弃物块内每两个相邻侧面区域中所述侧面边缘的重合程度、侧面边缘的方向差异和所述相邻侧面特征值获取对应两个相邻侧面区域的方向一致特征值;
建筑废弃物分拣模块,用于根据所述方向一致特征值将对应的两个相邻侧面区域合并,基于合并的结果对所述建筑废弃物图像进行分割得到分割废弃物图像;依据所述分割废弃物图像对废弃物块进行分拣和处理。
进一步地,所述图像数据侧面分析模块中相邻侧面特征值的获取方法,包括:
分别计算每两个相邻侧面区域内像素点的灰度值方差,将灰度值方差较大的侧面区域作为表面区域,将灰度值方差较小的侧面区域作为断口区域;
对所述表面区域中的像素点进行聚类得到至少两个第一聚类簇,将所述第一聚类簇内像素点数量的平均值作为第一数值;对所述断口区域中的像素点进行聚类得到至少两个第二聚类簇,将所述第二聚类簇内像素点数量的平均值作为第二数值;
以所述表面区域和所述断口区域之间灰度共生矩阵的逆差矩的差异作为纹理差值,将所述第一数值与所述第二数值之间的差值作为数量差值,将所述表面区域的灰度值均值与所述断口区域的灰度值均值的比值作为亮度值;将所述纹理差值、所述数量差值和所述亮度值的乘积作为对应两个相邻侧面区域的初始相邻侧面特征值,对所述初始相邻侧面特征值进行正相关映射,得到结果作为对应两个相邻侧面区域的所述相邻侧面特征值。
进一步地,所述图像数据方向分析模块中侧面边缘的获取方法,包括:
将每个侧面区域边缘上的角点作为边缘角点,对每个侧面区域的所述边缘角点使用Graham-Scan算法获取对应侧面区域的凸包;
对所述凸包进行角点检测得到凸包角点,每个所述凸包角点分别选取距离各凸包角点的欧式距离最近的所述边缘角点作为区域角点;所述区域角点将对应侧面区域的边缘划分为至少两条所述侧面边缘。
进一步地,所述图像数据方向分析模块中侧面边缘的方向的获取方法,包括:
获取每个所述侧面边缘上每个像素点的海森矩阵,获取所述海森矩阵中两个特征值中较小特征值对应的特征向量,将所述特征向量的角度作为对应像素点的倾斜角;将每条所述侧面边缘上所有像素点的倾斜角顺序排列,取所述倾斜角的中值作为对应侧面边缘的方向。
进一步地,所述图像数据方向分析模块中方向一致特征值的获取方法,包括:
将每两个相邻侧面区域中两条侧面边缘重合部分作为共有边缘,获取共有边缘的方向,将构成所述共有边缘的两条侧面边缘作为已确定边缘;将两个相邻侧面区域内除所述已确定边缘外的其他侧面边缘作为待确定边缘;获取每条所述待确定边缘的方向;
将两条所述已确定边缘上像素点数量较大的已确定边缘作为目标已确定边缘,将所述共有边缘上像素点的数量与所述目标已确定边缘上像素点的数量的比值作为边缘重合度;
将与所述共有边缘的方向差异最小的所述待确定边缘作为目标边缘;
将所述共有边缘与所述目标边缘之间的方向的角度差异的绝对值与预设常数之和的倒数,作为方向角度差;
将所述边缘重合度和所述方向角度差的乘积作为方向值,将所述方向值作为所述相邻侧面特征值权重得到对应两个相邻侧面区域的方向一致特征值。
进一步地,所述图像数据预处理模块中废弃物块的获取方法,包括:
使用SEEDS图像分割算法将所述建筑废弃物图像分割为至少两个废弃物块,所述废弃物块的数量等于种子点的初始数量。
进一步地,所述建筑废弃物分拣模块中合并的方法,包括:
获取所述建筑废弃物图像中每个所述废弃物块内每两个相邻侧面区域组成的区域的质心对应像素点作为目标像素点,将所述两个相邻侧面区域的所述方向一致特征值作为所述目标像素点的像素值,获取指标评价图;
对所述指标评价图中所述目标像素点的像素值使用最大类间方差法获取分割阈值,将像素值大于等于分割阈值的目标像素点对应的两个相邻侧面区域合并得到废弃物块区域。
进一步地,所述建筑废弃物分拣模块中分割废弃物图像的获取方法,包括:
统计所述建筑废弃物图像中所述废弃物块区域的数量;将所述数量作为所述种子点的最终数量,以所述废弃物块区域的质心作为所述种子点的位置,使用SEEDS图像分割算法对所述建筑废弃物图像进行分割,得到分割废弃物图像。
进一步地,所述图像数据预处理模块中侧面区域的获取方法,包括:
对所述建筑废弃物图像进行灰度化处理得到建筑废弃物灰度图像,对所述建筑废弃物灰度图像进行边缘检测获取每个所述废弃物块内的边缘,将每个所述废弃物块内闭合的边缘构成区域作为侧面区域;每个所述废弃物块内至少有两个侧面区域。
本发明具有如下有益效果:
本发明实施例中,由于建筑废弃物图像中每个废弃物块内含有一个或多个完整的废弃物块,且废弃物块的不同侧面的差异较大,所以依据废弃物块内梯度信息将废弃物块分为多个侧面区域,以便后续对相邻的两个侧面区域的特征进行分析;同一废弃物块的相邻不同侧面分别对应建筑物光滑面和碎裂断口切面,这两个侧面对应侧面区域的颜色和纹理存在较大差异,说明这两个侧面区域为同一废弃物块的相邻侧面的可能性越大,通过颜色特征和纹理特征进行判断,能够解决由于废弃物块的不同侧面差异较大而导致不被认定为属于同一废弃物块的问题;通过位于侧面区域的角位置的角点确定侧面边缘,解决了废弃物块的侧面不规则导致边缘获取不准确的问题;由于废弃物块的边缘较为粗糙,则侧面边缘上每个像素点的灰度梯度变化不同,用侧面边缘上像素点的灰度变化获取对应侧面边缘的方向,提高了获取侧面边缘的方向的准确率;两个相邻侧面区域中侧面边缘的重合程度和方向差异均反映了相邻两个侧面区域的边缘走向,因为同一废弃物块的上下侧面边缘大致走向一致,所以基于边缘走向对相邻的两个侧面区域呈现属于同一个废弃物块的相邻两个侧面特征的显著程度进行调整,获取方向一致特征值,通过对相邻侧面特征值调整得到方向一致特征值,使得方向一致特征值作为判断相邻两侧面为同一废弃物块的不同侧面的可靠性更高;基于每两个相邻侧面区域的方向一致特征值对两个相邻侧面区域进行合并,合并后获得分割废弃物图像,能够有效将形状不规则、侧面特征差异较大的相邻侧面合并为同一废弃物块,实现了对废弃物块在建筑废弃物图像中具体位置的精确获取。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1是本发明一个实施例所提供的一种建筑废弃物分拣与处理系统的系统框图;
图2是本发明一个实施例所提供的一种建筑废弃物图像局部示意图;
图3是本发明一个实施例所提供的一种分割后的建筑废弃物图像局部示意图;
图4是本发明一个实施例所提供的一种侧面区域中角点分割出侧面边缘的示意图;
图5是本发明一个实施例所提供的一种废弃物块侧面区域分析示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种建筑吊篮的智能监控系统及监控方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
本发明所针对的具体场景:对建筑废弃物获取图像,识别其中不同废弃物块,同时确定这些废弃物块的位置,实现对混凝土块进行分拣。需要说明的是,本发明所针对的分拣对象可适用于任何固体废弃物块,例如,混凝土块、砖块和瓦块等,在后续实施例的描述中以混凝土块的分拣为例进行描述,对于其他类型的废弃物具有相同的处理方法,在此不做赘述。
下面结合附图具体的说明本发明所提供的一种建筑废弃物分拣与处理系统的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种建筑废弃物分拣与处理系统的系统框图,该系统包括:图像数据预处理模块101,图像数据侧面分析模块102,图像数据方向分析模块103,建筑废弃物分拣模块104。
图像数据预处理模块101,用于获取建筑废弃物图像,将所述建筑废弃物图像分割得到至少两个废弃物块;依据每个所述废弃物块内梯度信息将对应废弃物块划分为至少两个侧面区域。
在本发明实施例中,使用工业相机获取建筑废弃物的图像,记为建筑废弃物图像,建筑废弃物图像为RGB图像。图2是本发明一个实施例所提供的一种建筑废弃物图像局部示意图。在进行建筑废弃物图像采集过程中,由于环境较为复杂,容易受到外在环境因素的影响,所采集的建筑废弃物图像中会存在较多的噪点数据,为了提高图像的精度和质量,使用高斯滤波算法对建筑废弃物图像进行去噪。其中,高斯滤波算法为公知技术,具体方法在此不做介绍。
使用SEEDS图像分割算法将建筑废弃物图像分割为至少两个废弃物块,废弃物块的数量等于种子点的初始数量,设置z个种子点即废弃物块,并使种子点位置在图像中均匀分布,实现了对建筑废弃物图像的粗分割,粗分割可以减少后续分析过程中不必要的分析,提升分割结果的准确度。为了避免同一建筑废弃物被分割到不同的废弃物块中,需要保证种子点的数量略小于图像中建筑废弃物的个数,以保证图像分割后每个废弃物块中含有一个或多个完整的混凝土块,本发明实施例中z取经验值50,实施者可根据实际情况进行设定。图3是本发明一个实施例所提供的一种分割后的建筑废弃物图像局部示意图,如图3所示,图中由黑色曲线围成的闭合区域为建筑废弃物图像内的废弃物块。
其中,SEEDS图像分割算法为公知技术,具体方法在此不做介绍。
由于每个废弃物块中含有一个或多个完整的混凝土块,且不同废弃物块的侧面和同一废弃物块的不同侧面的差异较大,为了确定混凝土块的侧面特征,获取将混凝土块的侧面区域。优选地,侧面区域的具体获取过程为:对建筑废弃物图像进行灰度化处理得到建筑废弃物灰度图像,对建筑废弃物灰度图像进行边缘检测获取每个废弃物块内的边缘,将每个废弃物块内闭合的边缘构成区域作为侧面区域;每个废弃物块内至少有两个侧面区域。获取每个废弃物块内的边缘需要对建筑废弃物灰度图像使用canny边缘检测算子,得到建筑废弃物边缘图像,建筑废弃物边缘图像为二值图像。根据每个废弃物块内各闭合边缘,将每个废弃物块划分为多个侧面区域,这些侧面区域可能为同一混凝土块的不同侧面,也可能为不同混凝土块的侧面区域。
其中,canny边缘检测算子为公知技术,具体方法在此不做介绍。
图像数据侧面分析模块102,用于根据每两个相邻侧面区域的颜色特征和纹理特征获取所述两个相邻侧面区域的相邻侧面特征值。
建筑废弃物为对建筑进行破碎后得到的,不同的混凝土块通常形状不一。混凝土块对应原先墙体或地板的光滑表面破碎后仍保持光滑平整,而混凝土块之间碎裂的部分切面为突然受力产生的断裂,所以断口表面坑洼不平。在传统的图像分割过程中,经常因为混凝土块相邻侧面纹理差异较大而易将同一混凝土块的不同侧面分割为两个区域,并认为这两个区域是两个不同的混凝土块的侧面。所以,在对每个废弃物的侧面进行识别的过程中,需要额外关注上述问题,并对问题进行处理。
对各废弃物块内每两个相邻的侧面区域进行分析。当这两个侧面区域对应同一混凝土块的两个不同侧面时,则这两个侧面分别对应混凝土块的光滑面,即原建筑物墙体的外侧平整面,以及碎裂时的断口切面,所以两个侧面区域中对应混凝土光滑面的侧面区域的纹理较为单一,而对应碎裂时的断口切面的侧面区域的纹理较为粗糙。两个侧面区域差异明显,对应碎裂时的断口切面的侧面区域内有明显的颗粒感,而光滑面对应的侧面区域内不同位置的粗糙度差异较小。以此特征为基础进行分析。
由于每两个相邻侧面区域中对应混凝土光滑面的侧面区域内像素点的灰度值差异较小,而对应碎裂断口切面的侧面区域较为粗糙,使得该侧面区域内像素点的灰度值差异较大,所以使用侧面区域内像素点的灰度值方差能准确区分两个侧面区域分别对应混凝土块的侧面位置。优选地,区分相邻两个侧面区域的具体方法为:分别计算每两个相邻侧面区域内像素点的灰度值方差,将灰度值方差较大的侧面区域作为表面区域,将灰度值方差较小的侧面区域作为断口区域。
由于同一混泥土块的两个相邻侧面的颜色亮度和纹理变化差异较大,所以侧面区域的颜色特征和纹理特征能够作为衡量相邻两侧面区域为同一个混凝土块的依据。颜色特征可以通过侧面区域的聚类簇内像素点数量体现,平均数量越大说明该侧面区域越光滑,区域越光滑表明区域的亮度越大;因为逆差矩反映图像纹理的同质性,度量图像纹理局部变化的程度,所以使用逆差矩表现侧面区域的纹理特征。优选地,获取聚类簇内像素点数量的方法为:对表面区域中的像素点进行聚类得到至少两个第一聚类簇,将第一聚类簇内像素点数量的平均值作为第一数值;对断口区域中的像素点进行聚类得到至少两个第二聚类簇,将第二聚类簇内像素点数量的平均值作为第二数值。本发明实施例中对每两个相邻侧面区域分别以MinPts=10,半径E=5使用DBSCAN算法进行聚类,每个侧面区域均可以得到多个聚类簇,表面区域对应混凝土块光滑表面,所以表面区域内每个簇内包含的像素点的平均数量较大;而断口侧面呈现明显的颗粒感,所以聚类时会得到较多的簇,且每个簇内包含的像素点数量较少。
其中,DBSCAN算法为公知技术,具体方法在此不做介绍。
逆差矩反映了侧面区域的纹理分布,簇内像素点数量反映了侧面区域颜色特征,像素点灰度值均值反映了侧面区域的亮度情况;若相邻两侧面的纹理分布、簇内像素点数量和亮度程度差异较大,则说明其中一个侧面区域对应混凝土光滑面,另一个侧面区域对应碎裂时的断口切面,进一步说明两个侧面区域为同一个混凝土块的相邻侧面的可能性较大,根据上述数据获取相邻侧面特征值。优选地,两个相邻侧面区域的相邻侧面特征值的获取方法为:以表面区域和断口区域之间灰度共生矩阵的逆差矩的差异作为纹理差值,将第一数值与第二数值之间的差值作为数量差值,将表面区域的灰度值均值与断口区域的灰度值均值的比值作为亮度值;将纹理差值、数量差值和亮度值的乘积作为对应两个相邻侧面区域的初始相邻侧面特征值,对初始相邻侧面特征值进行正相关映射,得到结果作为对应两个相邻侧面区域的相邻侧面特征值。需要说明的是,灰度共生矩阵的逆差距的获取方法为本领域技术人员的公知技术,具体方法在此不做介绍。
作为一个示例,两个相邻侧面区域的相邻侧面特征值的计算公式如下:
Figure SMS_1
式中,K为两个相邻侧面区域的相邻侧面特征值,IDM1为第一逆差矩,即表面区域的逆差矩,IDM2为第二逆差矩,即断口区域的逆差矩,n1为第一数值,n2为第二数值,g1为表面区域的灰度值均值,g2为断口区域的灰度值均值;exp为以自然常数e为底的指数函数。
需要说明的是,相邻侧面特征值K反映了相邻的两个侧面区域呈现属于同一个混凝土块的相邻两个侧面特征的显著程度,由于逆差矩度量图像纹理局部变化的程度,当两个侧面区域的逆差矩的差异越大时,说明两个侧面区域的纹理差异较大,即其中一个侧面区域对应混凝土光滑面,另一个侧面区域对应碎裂时的断口切面,表明两个侧面区域为同一个混凝土块的相邻侧面的可能性较大,使得相邻侧面特征值越大;当两个侧面区域内聚类簇内像素点的平均数量差异越大、像素点的灰度值均值较大时,说明两个侧面区域粗糙程度有明显差别,两个侧面区域为同一个混凝土块的相邻侧面的可能性较大,则相邻侧面特征值越大。
图像数据方向分析模块103,用于获取每个所述侧面区域中的角点,基于所述侧面区域内所述角点的位置分布获取对应侧面区域的侧面边缘;根据侧面边缘上像素点的灰度梯度变化获取所述侧面边缘的方向;结合每个所述废弃物块内每两个相邻侧面区域中所述侧面边缘的重合程度、侧面边缘的方向差异和所述相邻侧面特征值获取对应两个相邻侧面区域的方向一致特征值。
在图像数据侧面分析模块102中得到两个相邻侧面区域的相邻侧面特征,反映了相邻两个侧面区域为同一混凝土块的可能性。但当某一混凝土块的光滑面和另一混凝土块的碎裂时的断口切面在建筑废弃物图像中位置相邻时,这两个侧面区域的相邻侧面特征同样明显,此时容易将两个混凝土块的这两个侧面区域判断为属于同一混凝土块,所以需要进一步对两个侧面区域进行分析。
建筑废弃物一般为规则的混凝土被打碎形成,破碎后不同建筑废弃物的形状不一,所以不同建筑废弃物的边缘走向出现一致的可能性较低。而同一建筑废弃物对应的建筑体在破碎时内侧和外侧受力相同,所以同一混凝土块的上下侧面边缘大致走向一致。下面根据侧面区域的边缘走向对每两个相邻侧面进行分析。
因为需要依据侧面区域的边缘走线进行详细分析,所以需要获取每个侧面区域的侧面边缘。混凝土块受力作用形成,导致混凝土块的边缘较为粗糙,若对侧面区域的边缘进行角点检测,则侧面区域的边缘上有多个角点,且大多数角点对获取侧面区域的侧面边缘并无作用。为了降低这些无用的角点对获取侧面边缘的影响,获取侧面区域的凸包,凸包就是将最外侧的角点连接起来构成的凸多边形,且凸包中包含该侧面区域的所有角点。凸包能呈现该侧面区域的大致轮廓,凸包的相邻角之间的线段能够代表侧面区域的侧面边缘,所以根据凸包的角点获取侧面区域的侧面边缘。优选地,侧面边缘的具体获取方法为:将每个侧面区域边缘上的角点作为边缘角点,对每个侧面区域的边缘角点使用Graham-Scan算法获取对应侧面区域的凸包;对凸包进行角点检测得到凸包角点,每个凸包角点分别选取距离各凸包角点的欧式距离最近的边缘角点作为区域角点;区域角点将对应侧面区域的边缘划分为至少两条侧面边缘。需要注意的是,每个凸包角点均选取距离自身欧式距离最近的边缘角点,选出的边缘角点可能与对应凸包角点重合。图4是本发明一个实施例所提供的一种侧面区域中角点分割出侧面边缘的示意图,如图4所示,点a、点b、点c和点d为分别为侧面区域的四个区域角点,两个相邻点之间的线段为侧面区域的侧面边缘,则该侧面区域有四条侧面边缘。
其中,Graham-Scan算法为公知技术,具体方法在此不做介绍。
每两个相邻侧面区域间均有部分侧面边缘为两个侧面区域的共有边缘,当共有边缘为同一混凝土块的侧面边缘时,则共有边缘在这两个相邻侧面区域的某个侧面边缘中占比较大,且共有边缘的方向与除构成共有边缘的两个侧面边缘外的其他侧面边缘中某个侧面边缘的方向一致。依据这两个特征对两个相邻侧面区域的方向一致特征值进行分析。
对两个相邻区域的侧面边缘的方向进行分析,需要提前获取每个侧面边缘的方向。优选地,侧面边缘的方向的具体获取方法为:获取每个侧面边缘上每个像素点的海森矩阵,获取海森矩阵中两个特征值中较小特征值对应的特征向量,将特征向量的角度作为对应像素点的倾斜角;将每条侧面边缘上所有像素点的倾斜角顺序排列,取倾斜角的中值作为对应侧面边缘的方向。其中,海森矩阵为公知技术,具体方法在此不做介绍。
作为一个示例,海森矩阵描述了各方向上灰度梯度变化,且海森矩阵为方阵。由于海森矩阵的较大特征值对应的特征向量是垂直于直线的,较小特征值对应的特征向量是沿着直线方向,则选取较小特征值的特征向量的角度作为对应像素点的倾斜角。获取侧面边缘上每个像素点对应的倾斜角,由于混凝土块受力作用形成,导致混凝土块的边缘较为粗糙,则侧面边缘上像素点的倾斜角不断变化。侧面边缘上边缘角点的倾斜角位于该侧面边缘上所有像素点的倾斜角顺序排列的中间部分,且侧面边缘上边缘角点的倾斜角反映了边缘的方向,所以选取侧面边缘上所有像素点的倾斜角的中值作为侧面边缘的方向。
由于同一个混凝土块的两个相邻侧面区域的侧面边缘基本重合,即这两个侧面区域共用一条侧面边缘,而不同混凝土块的相邻侧面边缘因为位置和拍照角度等原因使不同混凝土块在建筑废弃物图像中的侧面区域出现部分交叠,即侧面边缘的重合程度较低,则可以通过侧面边缘的重合程度作为调整相邻侧面特征值的一个因素。建筑废弃物一般为规则的混凝土被打碎形成,破碎后不同建筑废弃物的形状不一,所以不同建筑废弃物的边缘走向出现一致的可能性较低,则使用侧面边缘的方向差异作为调整相邻侧面特征值的因素。
优选地,获取边缘重合度和方向角度差的获取方法为:将每两个相邻侧面区域中两条侧面边缘重合部分作为共有边缘,获取共有边缘的方向,将构成共有边缘的两条侧面边缘作为已确定边缘;将两个相邻侧面区域内除已确定边缘外的其他侧面边缘作为待确定边缘;获取每条待确定边缘的方向;将两条已确定边缘上像素点数量较大的已确定边缘作为目标已确定边缘,将共有边缘上像素点的数量与目标已确定边缘上像素点的数量的比值作为边缘重合度;将与共有边缘的方向差异最小的待确定边缘作为目标边缘;将共有边缘与目标边缘之间的方向的角度差异的绝对值与预设常数之和的倒数,作为方向角度差。由于共有边缘由侧面边缘构成,本质为侧面边缘;待确定边缘实际上也为侧面边缘,所以共有边缘和待确定边缘的方向的获取方法与侧面边缘的方向的获取方法相同。需要说明的是,当共有边缘为不同混凝土块的侧面区域形成时,构成共有边缘的侧面边缘有两条侧面边缘即已确定边缘。由于共有边缘的像素点数量在两条已确定边缘上的数量相等,使用像素点数量较多的已确定边缘获取边缘重合度,则得到的边缘重合度较小,使得共有边缘为同一混凝土块不同侧面之间的边缘和共有边缘为不同混凝土块的侧面区域形成边缘,两种情况得到的边缘重合度有较大区别,能够更好区分这两种不同情况。
图5是本发明一个实施例所提供的一种混凝土块侧面区域分析示意图,如图5所示,侧面区域S1和侧面区域S3为同一块混凝土块的两个相邻侧面区域,侧面区域S1和侧面区域S2为不同块混凝土块的两个相邻侧面区域;点A和点B为侧面区域S1的两个区域角点,点A和点B之间的线段为侧面区域S1的某个侧面边缘,点C和点D为侧面区域S2的两个区域角点,点C和点D之间的线段为侧面区域S2的某个侧面边缘。当不同混凝土块的侧面区域S1和侧面区域S2相邻时,则侧面区域S1的点A和点B形成的侧面边缘与侧面区域S2的点C和点D形成的侧面边缘部分重合,形成共有边缘,即点A和点B之间的线段;获取与共有边缘的方向差异最小的侧面边缘,在图5中,与共有边缘的方向类似的侧面边缘为侧面边缘L2和为侧面边缘L3,假设侧面边缘L3与共有边缘的方向差异最小,则将共有边缘与侧面边缘L3之间的方向的角度差异的绝对值的倒数作为方向角度差。当同一块混凝土块的侧面区域S1和侧面区域S3时,由于同一混凝土块的上下侧面边缘大致走向一致,则侧面边缘L1和侧面边缘L4之间的方向差异最小。
每两个相邻侧面区域之间均有部分边缘为两个侧面区域的共有边缘,若共有边缘为同一混凝土块不同侧面之间的边缘时,则共有边缘上像素点的数量与侧面边缘上像素点的数量的比值较大,接近1;由于同一混凝土块的上下侧面边缘大致走向一致,则共有边缘与两相邻侧面区域的侧面边缘中某个侧面边缘的方向一致。若共有边缘为不同混凝土块的侧面区域形成,因为位置和拍照角度等原因使不同混凝土块在建筑废弃物图像中的侧面区域出现交叠,即两个相邻侧面区域的侧面边缘部分重叠得到共有边缘,此时,共有边缘上像素点的数量与构成共有边缘的侧面边缘上像素点的数量的比值较小;由于不同建筑废弃物的边缘走向出现一致的可能性较低,则共有边缘的方向与两相邻侧面区域的每个侧面边缘的方向均差异较大。
边缘重合度和侧面边缘方向差异反映了相邻两个侧面区域的边缘走向,根据边缘走向对相邻的两个侧面区域呈现属于同一个混凝土块的相邻两个侧面特征的显著程度进行调整,得到两个相邻区域的方向一致特征值。优选地,方向一致特征值的具体获取方法为:将边缘重合度和方向角度差的乘积作为方向值,将方向值作为相邻侧面特征值权重得到对应两个相邻侧面区域的方向一致特征值。方向一致特征值的计算公式为:
Figure SMS_2
式中,H为两个相邻侧面区域的方向一致特征值,K为两个相邻侧面区域的相邻侧 面特征值,
Figure SMS_3
为边缘重合度,
Figure SMS_4
为共有边缘的方向,
Figure SMS_5
为目标边缘的方向,
Figure SMS_6
为预设常数,取经 验值0.001,防止公式无意义;
Figure SMS_7
为绝对值函数。
需要说明的是,当边缘重合度
Figure SMS_8
越大时,说明共有边缘与侧面边缘基本重合,使得 共有边缘为同一混凝土块不同侧面之间的边缘的可能性越大,由于同一混凝土块的上下侧 面边缘大致走向一致,所以两个相邻侧面的方向一致特征值越大;当共有边缘与目标边缘 之间的方向差异
Figure SMS_9
越小,说明共有边缘和目标边缘分别对应同一混凝土块的上下侧 面边缘的可能性越大,则两个相邻侧面的方向一致特征值越大;若仅通过边缘重合度
Figure SMS_10
或者 共有边缘与目标边缘之间的方向差异
Figure SMS_11
进行方向特征的分析,则方向特征可能存在 误差,所以需要将边缘重合度
Figure SMS_12
和共有边缘与目标边缘之间的方向差异
Figure SMS_13
综合起来 进行分析,获取侧面区域的方向值,通过方向值对相邻侧面特征值K进行调整,若方向值和 相邻侧面特征值均越大,说明相邻两侧面为同一混凝土块的不同侧面的可能性越大。
根据上述方法获取建筑废弃物图像中每个废弃物块内每两个相邻侧面区域的方向一致特征值。
建筑废弃物分拣模块104,用于每两个相邻侧面区域分布的位置和所述方向一致特征值获取指标评价图;根据所述指标评价图中所述方向一致特征值将两个相邻侧面区域合并,基于合并的结果对所述建筑废弃物图像进行分割得到分割废弃物图像;依据所述分割废弃物图像对混凝土块进行分拣和处理。
建筑废弃物图像中每个废弃物块内每两个相邻侧面区域均有对应方向一致特征值,为了获取完整的混凝土块,需要将同一混凝土块的不同侧面区域进行合并,方向一致特征值越大越要合并。
根据每两个相邻侧面区域的方向一致特征值建立指标评价图。优选地,指标评价图的具体获取方法为:获取建筑废弃物图像中每个废弃物块内每两个相邻侧面区域组成的区域的质心对应像素点作为目标像素点,将两个相邻侧面区域的方向一致特征值作为目标像素点的像素值,获取指标评价图。
同一混凝土块的相邻两个侧面区域的方向一致特征值较大,而其他情况下得到的两个相邻侧面区域对应的方向一致特征值较小,所以基于方向一致特征值获取两个相邻侧面区域合并条件。对指标评价图中目标像素点的像素值使用最大类间方差法获取分割阈值,将像素值大于等于分割阈值的像素点对应的两个相邻侧面区域合并得到混凝土块区域。当指标评价图中像素点的像素值大于等于划分阈值时,则认为该像素点对应的两个相邻侧面区域对应同一混凝土块,并将对应同一混凝土块的侧面区域合并;否则认为这两个相邻侧面区域对应不同混凝土块。由于获取的建筑废弃物图像中的混凝土块可能包含多个侧面,所以重复上述步骤直至判断结果均为两个相邻侧面区域对应不同混凝土块。
其中,最大类间方差法为公知技术,具体方法在此不做介绍。
根据分割结果即可重新确定混凝土块在建筑废弃物图像中的具体位置。优选地,统计建筑废弃物图像中混凝土块区域的数量;将数量作为种子点的最终数量,以混凝土块区域的质心作为种子点的位置,使用SEEDS图像分割算法对建筑废弃物图像进行分割,得到分割废弃物图像。
分割废弃物图像包含每个混凝土块的具体位置,使用机械根据各混凝土块的位置对混凝土块进行分拣与处理。
综上所述,本发明实施例中,图像数据预处理模块,用于获取建筑废弃物图像中每个废弃物块内的多个侧面区域;图像数据侧面分析模块,用于根据颜色特征和纹理特征获取两个相邻侧面区域的相邻侧面特征值;图像数据方向分析模块,确定侧面区域的侧面边缘,获取侧面边缘的方向,结合侧面边缘重合程度、方向差异程度和相邻侧面特征值获取方向一致特征值;建筑废弃物分拣模块,用于基于方向一致特征值合并相邻侧面区域,得到分割废弃物图像。本发明根据分割废弃物图像对混凝土块进行分拣,提高了建筑废弃物分拣的准确率。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种建筑废弃物分拣与处理系统,其特征在于,该系统包括:
图像数据预处理模块,用于获取建筑废弃物图像,将所述建筑废弃物图像分割得到至少两个废弃物块;依据每个所述废弃物块内梯度信息将对应废弃物块划分为至少两个侧面区域;
图像数据侧面分析模块,用于根据每个所述废弃物块内每两个相邻侧面区域的颜色特征和纹理特征获取所述两个相邻侧面区域的相邻侧面特征值;
图像数据方向分析模块,用于获取每个所述侧面区域中的角点,基于所述侧面区域内所述角点的位置分布获取对应侧面区域的侧面边缘;根据侧面边缘上像素点的灰度梯度变化获取所述侧面边缘的方向;结合每个所述废弃物块内每两个相邻侧面区域中所述侧面边缘的重合程度、侧面边缘的方向差异和所述相邻侧面特征值获取对应两个相邻侧面区域的方向一致特征值;
建筑废弃物分拣模块,用于根据所述方向一致特征值将对应的两个相邻侧面区域合并,基于合并的结果对所述建筑废弃物图像进行分割得到分割废弃物图像;依据所述分割废弃物图像对废弃物块进行分拣和处理;
所述相邻侧面特征值的获取方法,包括:
分别计算每两个相邻侧面区域内像素点的灰度值方差,将灰度值方差较小的侧面区域作为表面区域,将灰度值方差较大的侧面区域作为断口区域;
对所述表面区域中的像素点进行聚类得到至少两个第一聚类簇,将所述第一聚类簇内像素点数量的平均值作为第一数值;对所述断口区域中的像素点进行聚类得到至少两个第二聚类簇,将所述第二聚类簇内像素点数量的平均值作为第二数值;
以所述表面区域和所述断口区域之间灰度共生矩阵的逆差矩的差异作为纹理差值,将所述第一数值与所述第二数值之间的差值作为数量差值,将所述表面区域的灰度值均值与所述断口区域的灰度值均值的比值作为亮度值;将所述纹理差值、所述数量差值和所述亮度值的乘积作为对应两个相邻侧面区域的初始相邻侧面特征值,对所述初始相邻侧面特征值进行正相关映射,得到结果作为对应两个相邻侧面区域的所述相邻侧面特征值。
2.根据权利要求1所述的一种建筑废弃物分拣与处理系统,其特征在于,所述图像数据方向分析模块中侧面边缘的获取方法,包括:
将每个侧面区域边缘上的角点作为边缘角点,对每个侧面区域的所述边缘角点使用Graham-Scan算法获取对应侧面区域的凸包;
对所述凸包进行角点检测得到凸包角点,每个所述凸包角点分别选取距离各凸包角点的欧式距离最近的所述边缘角点作为区域角点;所述区域角点将对应侧面区域的边缘划分为至少两条所述侧面边缘。
3.根据权利要求1所述的一种建筑废弃物分拣与处理系统,其特征在于,所述图像数据方向分析模块中侧面边缘的方向的获取方法,包括:
获取每个所述侧面边缘上每个像素点的海森矩阵,获取所述海森矩阵中两个特征值中较小特征值对应的特征向量,将所述特征向量的角度作为对应像素点的倾斜角;将每条所述侧面边缘上所有像素点的倾斜角顺序排列,取所述倾斜角的中值作为对应侧面边缘的方向。
4.根据权利要求1所述的一种建筑废弃物分拣与处理系统,其特征在于,所述图像数据方向分析模块中方向一致特征值的获取方法,包括:
将每两个相邻侧面区域中两条侧面边缘重合部分作为共有边缘,获取共有边缘的方向,将构成所述共有边缘的两条侧面边缘作为已确定边缘;将两个相邻侧面区域内除所述已确定边缘外的其他侧面边缘作为待确定边缘;获取每条所述待确定边缘的方向;
将两条所述已确定边缘上像素点数量较大的已确定边缘作为目标已确定边缘,将所述共有边缘上像素点的数量与所述目标已确定边缘上像素点的数量的比值作为边缘重合度;
将与所述共有边缘的方向差异最小的所述待确定边缘作为目标边缘;
将所述共有边缘与所述目标边缘之间的方向的角度差异的绝对值与预设常数之和的倒数,作为方向角度差;
将所述边缘重合度和所述方向角度差的乘积作为方向值,将所述方向值作为所述相邻侧面特征值权重得到对应两个相邻侧面区域的方向一致特征值。
5.根据权利要求1所述的一种建筑废弃物分拣与处理系统,其特征在于,所述图像数据预处理模块中废弃物块的获取方法,包括:
使用SEEDS图像分割算法将所述建筑废弃物图像分割为至少两个废弃物块,所述废弃物块的数量等于种子点的初始数量。
6.根据权利要求1所述的一种建筑废弃物分拣与处理系统,其特征在于,所述建筑废弃物分拣模块中合并的方法,包括:
获取所述建筑废弃物图像中每个所述废弃物块内每两个相邻侧面区域组成的区域的质心对应像素点作为目标像素点,将所述两个相邻侧面区域的所述方向一致特征值作为所述目标像素点的像素值,获取指标评价图;
对所述指标评价图中所述目标像素点的像素值使用最大类间方差法获取分割阈值,将像素值大于等于分割阈值的目标像素点对应的两个相邻侧面区域合并得到废弃物块区域。
7.根据权利要求5所述的一种建筑废弃物分拣与处理系统,其特征在于,所述建筑废弃物分拣模块中分割废弃物图像的获取方法,包括:
统计所述建筑废弃物图像中所述废弃物块区域的数量;将所述数量作为所述种子点的最终数量,以所述废弃物块区域的质心作为所述种子点的位置,使用SEEDS图像分割算法对所述建筑废弃物图像进行分割,得到分割废弃物图像。
8.根据权利要求1所述的一种建筑废弃物分拣与处理系统,其特征在于,所述图像数据预处理模块中侧面区域的获取方法,包括:
对所述建筑废弃物图像进行灰度化处理得到建筑废弃物灰度图像,对所述建筑废弃物灰度图像进行边缘检测获取每个所述废弃物块内的边缘,将每个所述废弃物块内闭合的边缘构成区域作为侧面区域;每个所述废弃物块内至少有两个侧面区域。
CN202310339783.5A 2023-04-03 2023-04-03 一种建筑废弃物分拣与处理系统 Active CN116052008B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310339783.5A CN116052008B (zh) 2023-04-03 2023-04-03 一种建筑废弃物分拣与处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310339783.5A CN116052008B (zh) 2023-04-03 2023-04-03 一种建筑废弃物分拣与处理系统

Publications (2)

Publication Number Publication Date
CN116052008A CN116052008A (zh) 2023-05-02
CN116052008B true CN116052008B (zh) 2023-06-02

Family

ID=86116842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310339783.5A Active CN116052008B (zh) 2023-04-03 2023-04-03 一种建筑废弃物分拣与处理系统

Country Status (1)

Country Link
CN (1) CN116052008B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022148192A1 (zh) * 2021-01-07 2022-07-14 新东方教育科技集团有限公司 图像处理方法、图像处理装置以及非瞬时性存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926734B (zh) * 2022-05-16 2024-06-28 河南大学 基于特征聚合和注意融合的固体废弃物检测装置及方法
CN115331119B (zh) * 2022-10-13 2023-01-31 山东爱福地生物股份有限公司 一种固体废弃物识别方法
CN115496918B (zh) * 2022-11-16 2023-03-21 山东高速股份有限公司 基于计算机视觉的高速公路路况异常检测方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022148192A1 (zh) * 2021-01-07 2022-07-14 新东方教育科技集团有限公司 图像处理方法、图像处理装置以及非瞬时性存储介质

Also Published As

Publication number Publication date
CN116052008A (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
CN115311292B (zh) 基于图像处理的带钢表面缺陷检测方法及系统
CN114723701B (zh) 基于计算机视觉的齿轮缺陷检测方法和系统
CN114862862B (zh) 一种基于图像处理的泵体冷隔缺陷识别方法与系统
CN114140462B (zh) 一种基于图像处理的轴承磨损程度评估方法
Song et al. Defect detection in random colour textures
CN110286124B (zh) 基于机器视觉的耐火砖测量系统
CN116611748B (zh) 一种钛合金家具生产质量监控系统
CN114723704B (zh) 一种基于图像处理的纺织品质量评估方法
CN109658391B (zh) 一种基于轮廓归并和凸包拟合的圆半径测量方法
CN115311267B (zh) 一种格纹织物异常检测方法
EP0806741A2 (en) Texture classification apparatus employing coarseness and directivity of patterns
CN116385450B (zh) 基于图像处理的ps片材抗耐磨性检测方法
CN114862855B (zh) 基于模板匹配的纺织品缺陷检测方法及系统
CN115690105A (zh) 一种基于计算机视觉的铣刀划痕检测方法
CN115049651B (zh) 一种钣金冲压异常检测方法
CN116152242B (zh) 一种篮球用天然皮革缺陷可视化检测系统
CN118115497B (zh) 一种石英砂的粉碎磨粉检测方法及装置
CN116883408B (zh) 基于人工智能的积算仪壳体缺陷检测方法
CN116542968A (zh) 一种基于模板匹配的钢筋智能计数方法
CN115861313A (zh) 一种用于磨头的磨损检测方法
CN115018785A (zh) 基于视觉振频识别的提升钢丝绳张力检测方法
Othman et al. Road crack detection using adaptive multi resolution thresholding techniques
CN118212179A (zh) 一种复杂背景的角度检测方法
CN116052008B (zh) 一种建筑废弃物分拣与处理系统
CN116309602B (zh) 基于机器视觉的数控钻铣床工作状态检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant