CN114972436B - 一种基于时空域联合信息的运动磨粒检测跟踪方法及系统 - Google Patents

一种基于时空域联合信息的运动磨粒检测跟踪方法及系统 Download PDF

Info

Publication number
CN114972436B
CN114972436B CN202210662548.7A CN202210662548A CN114972436B CN 114972436 B CN114972436 B CN 114972436B CN 202210662548 A CN202210662548 A CN 202210662548A CN 114972436 B CN114972436 B CN 114972436B
Authority
CN
China
Prior art keywords
abrasive
model
abrasive particles
detection
abrasive particle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210662548.7A
Other languages
English (en)
Other versions
CN114972436A (zh
Inventor
武通海
刘京
王硕
万淼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202210662548.7A priority Critical patent/CN114972436B/zh
Publication of CN114972436A publication Critical patent/CN114972436A/zh
Application granted granted Critical
Publication of CN114972436B publication Critical patent/CN114972436B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/70—Wind energy
    • Y02E10/72—Wind turbines with rotation axis in wind direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于时空域联合信息的运动磨粒检测跟踪方法及系统，结合磨粒运动的时序信息建立基于自适应高斯混合模型和三帧差法的磨粒粗略检测模型，通过三帧差法消除成像环境亮度突变导致的磨粒误检测，实现磨粒的粗略检测；基于DRLSE模型建立磨粒精准边界搜索模型，逐次迭代搜索磨粒的精确边缘，提高磨粒区域检测的准确性；基于卡尔曼滤波模型构建运动磨粒跟踪模型，利用预测磨粒与跟踪磨粒的IOU相似度和形状相似度作为磨粒匹配相似度，通过模型迭代更新实现浓度大、速度快环境下的运动磨粒准确跟踪，显著提高了磨粒检测和跟踪结果的准确率，为机械设备运行状态实时监测奠定了基础。

Description

一种基于时空域联合信息的运动磨粒检测跟踪方法及系统
技术领域
本发明属于机械系统磨损状态在线监测技术领域，具体涉及一种基于时空域联合信息的运动磨粒检测跟踪方法及系统。
背景技术
航空发动机、风力发电机等高端机械装备的关键摩擦副长期服役于高速、重载等条件下，而极端、恶劣工况会导致这些设备异常失效，造成经济损失与资源浪费。磨损状态在线监测技术作为一种设备健康管理的技术手段，具有实时监控设备运行状态，辅助设备视情维护的显著优点。因此，机械系统磨损状态在线监测技术对延长高端装备服役周期具有重要意义。
磨粒分析技术以机械设备磨损产生的颗粒为研究对象，不仅可以根据磨粒数量、尺寸分布等信息实时辨识机械设备磨损状态，还能通过磨粒颜色、形貌等信息探究设备磨损机理，因而成为机械系统磨损状态在线监测领域的重要技术。现有运动磨粒分析技术是基于磨粒多视角图像提取二维和三维特征以全面获取磨粒表征信息，从而对机械设备的磨损率、磨损严重程度和磨损机理进行全方位研究分析。其中，运动磨粒检测和跟踪技术是运动磨粒分析技术的基础，磨粒检测和跟踪结果直接影响磨粒特征提取的准确率，进而影响机械设备健康状态评估结果。然而，成像环境的不确定性和磨粒运动的随机性导致现有的运动磨粒分析技术存在磨粒区域检测不完整与跟踪准确率低的难题，降低了磨粒尺度、数量等磨损表征信息提取的有效性。针对此问题，现有方法使用Surendra法实时获取背景图像，结合背景差分法从原始图像中去除背景图像以提取磨粒图像；基于前后帧磨粒形心间的最小距离对磨粒进行匹配跟踪。该方法仅基于时间域信息对图像中各个像素进行独立检测，难以准确检测磨粒区域，且仅使用磨粒形心特征构建匹配相似度进行磨粒跟踪，难以实现对高浓度磨粒的准确跟踪。
综上所述，运动磨粒分析技术因具备磨粒二维和三维表征特征，已成为机械系统磨损状态在线监测和磨损机理分析的重要技术手段。然而，受成像环境差和磨粒随机运动等因素限制，运动磨粒的检测和跟踪准确率低，严重影响了机械设备运行状态实时监测的有效性。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于时空域联合信息的运动磨粒检测跟踪方法及系统，显著提高磨粒检测和跟踪结果的准确率，为机械设备运行状态实时监测奠定了基础。
本发明采用以下技术方案：
一种基于时空域联合信息的运动磨粒检测跟踪方法，包括以下步骤：
S1、结合运动磨粒视频帧间的时序信息，建立基于自适应高斯混合模型和三帧差法的运动磨粒粗略检测模型；基于彩色图像帧差法建立环境亮度突变判断准则，在成像环境发生了亮度突变的前提下，使用三帧差法代替自适应高斯混合模型进行磨粒检测；基于运动磨粒粗略检测模型进行磨粒检测，使用漫水填充法填充磨粒检测结果中的孔洞，实现磨粒边界的粗略检测；
S2、利用磨粒图像梯度特性设计距离正则化水平集演化模型的边缘指示函数和迭代终止条件，基于距离正则化水平集演化模型建立运动磨粒精准边界搜索模型；以步骤S1得到的磨粒粗略检测结果的边缘曲线为对象，采用运动磨粒精准边界搜索模型迭代搜索得到磨粒的精确边缘，实现磨粒的准确检测；
S3、基于卡尔曼滤波模型构建运动磨粒跟踪模型，预测步骤S2得到的磨粒的运动位置，利用预测磨粒与跟踪磨粒的重叠相似度和形状特征相似度建立目标磨粒匹配准则，实现对高浓度、快速运动环境下运动磨粒的跟踪。
具体的，步骤S1具体为：
S101、结合运动磨粒视频帧间的时序信息，构建3个高斯分布拟合运动磨粒图像背景的变化；赋予第一个高斯分布大权重w1，0.8≤w1<1，采用前100帧磨粒图像训练自适应高斯混合模型以生成背景图像，取背景图像像素RGB值作为第一个高斯分布大权重的均值；设置第二个高斯分布和第三个高斯分布的权重为均值为0，分别拟合图像采集装置振动和磨粒停止运动带来的背景变化，基于3个高斯分布构建运动磨粒粗略检测模型中的自适应高斯混合模型以进行磨粒检测；
S102、自适应调节步骤S101得到的自适应高斯混合模型参数更新过程中的学习率a；
S103、基于相邻帧彩色差分图像像素的均值建立环境亮度突变判断准则；在成像环境发生了亮度突变的前提下，使用三帧差法代替步骤S101得到的自适应高斯混合模型进行磨粒检测以消除环境亮度突变导致的磨粒误检，同时，基于三帧差法检测结果更新自适应高斯混合模型参数；
S104、采用漫水填充法设置步骤S101得到的自适应高斯混合模型的磨粒检测图像中连通的背景区域像素值为255，使磨粒检测图像中连通的背景区域之外区域的像素值被设置为相同的像素值0，实现磨粒图像中孔洞的填充，完成磨粒边界的粗略检测。
进一步的，步骤S101中，分别匹配当前帧像素与得到的各个高斯分布，若满足条件，则对应像素为背景像素，否则为磨粒像素；若像素被判断为背景像素，更新与对应像素匹配的高斯分布的均值和方差。
更进一步的，像素为背景像素的条件如下：
(Ii(x,y)-μi-1,n(x,y))2≤w*vari-1,n(x,y)
其中，n＝1,2,3，Ii(x,y)为像素RGB值，μi,n(x,y)为高斯分布的均值，vari,n(x,y)为高斯分布的方差，n为高斯分布的序号，i为图像帧的序号，w为方差阈值系数。
更进一步的，根据像素的判断结果对高斯分布的参数进行更新，具体为：
μi,n(x,y)＝μi-1,n(x,y)+β(Ii(x,y)-μi-1,n(x,y))
vari,n(x,y)＝vari-1,n(x,y)+β((Ii(x,y)-μi-1,n(x,y))2-vari-1,n(x,y))
wwi,n(x,y)＝(1-a)wwi-1,n(x,y)+aMi,n
其中，vari,n(x,y)为高斯分布的方差，β为均值和方差的学习速率，wwi,n(x,y)为高斯分布的权重，a为权重学习速率，μi,n(x,y)为当前帧高斯分布的均值，Ii(x,y)为当前帧像素RGB值，μi-1,n(x,y)为前一帧高斯分布的均值。
进一步的，步骤S102中，学习率α为：
其中，i为图像帧的序号。
具体的，步骤S2具体为：
S201、通过DRLSE模型构建运动磨粒精准边界搜索模型；结合磨粒图像梯度特性设计DRLSE模型的边缘指示函数；
S202、设计DRLSE模型的迭代终止准则：计算步骤S201得到的运动磨粒精准边界搜索模型前后两次迭代结果所围面积的比值，若比值大于迭代终止阈值，则停止迭代；
S203、以步骤S1得到的磨粒定位结果的边缘曲线为对象，利用步骤S201和步骤S202得到的运动磨粒精准边界搜索模型对其迭代演化，结合迭代终止准则实现磨粒的准确检测。
进一步的，步骤S201中，边缘指示函数g具体为：
其中，Δ为求导运算符，Gσ为高斯核，用于对图像进行高斯滤波，I为磨粒粗略检测结果图像。
具体的，步骤S3具体为：
S301、初始化进入相机视场的步骤S2得到的磨粒的卡尔曼滤波模型；以磨粒形心、长轴、短轴建立磨粒运动描述空间，结合卡尔曼滤波模型预测每个磨粒在下一帧的运动位置；
S302、利用步骤S301得到的预测磨粒与跟踪磨粒的IOU相似度作为磨粒匹配相似度，使用匈牙利算法进行前后帧磨粒的匹配关联，实现对高浓度条件下目标磨粒的定位；
S303、针对磨粒快速运动导致IOU匹配相似度无效的问题，等权重融合长轴、短轴、形心距离、面积等相似度作为匹配相似度，使用最近邻算法进行前后帧磨粒的匹配关联，实现对快速运动条件下目标磨粒的定位；
S304、使用步骤S302和步骤S303得到的跟踪磨粒位置、形状信息对卡尔曼滤波模型参数进行更新；
S305、重复步骤S301至步骤S304实现运动磨粒的自动跟踪。
第二方面，本发明实施例提供了一种基于时空域联合信息的运动磨粒检测跟踪系统于，包括：
粗略检测模块，结合运动磨粒视频帧间的时序信息，建立基于自适应高斯混合模型和三帧差法的运动磨粒粗略检测模型；基于彩色图像帧差法建立环境亮度突变判断准则，在成像环境发生了亮度突变的前提下，使用三帧差法代替自适应高斯混合模型进行磨粒检测；基于运动磨粒粗略检测模型进行磨粒检测，使用漫水填充法填充磨粒检测结果中的孔洞，实现磨粒边界的粗略检测；
准确检测模块，利用磨粒图像梯度特性设计距离正则化水平集演化模型的边缘指示函数和迭代终止条件，基于距离正则化水平集演化模型建立运动磨粒精准边界搜索模型；以粗略检测模块得到的磨粒粗略检测结果的边缘曲线为对象，采用运动磨粒精准边界搜索模型迭代搜索得到磨粒的精确边缘，实现磨粒的准确检测；
跟踪模块，基于卡尔曼滤波模型构建运动磨粒跟踪模型，预测准确检测模块得到的磨粒的运动位置，利用预测磨粒与跟踪磨粒的重叠相似度和形状特征相似度建立目标磨粒匹配准则，实现对高浓度、快速运动环境下运动磨粒的跟踪。
与现有技术相比，本发明至少具有以下有益效果：
本发明一种基于时空域联合信息的运动磨粒检测跟踪方法，使用三帧差法代替自适应高斯混合模型进行磨粒检测；基于运动磨粒粗略检测模型进行磨粒检测，使用漫水填充法填充磨粒检测结果中的孔洞，实现磨粒边界的粗略检测；以的磨粒粗略检测结果的边缘曲线为对象，采用运动磨粒精准边界搜索模型迭代搜索得到磨粒的精确边缘，实现磨粒的准确检测；融合磨粒运动的时序信息和磨粒梯度信息建立运动磨粒检测与跟踪优化方法，实现了运动磨粒视频中多目标磨粒的精准统计，基于卡尔曼滤波模型构建运动磨粒跟踪模型，预测磨粒的准确检测运动位置，利用预测磨粒与跟踪磨粒的重叠相似度和形状特征相似度建立目标磨粒匹配准则，实现对高浓度、快速运动环境下运动磨粒的跟踪，解决了现有运动磨粒分析技术存在磨粒区域提取不完整与跟踪准确率低的难题。
进一步的，步骤S1基于自适应高斯混合模型和三帧差法构建运动磨粒粗略检测模型，消除了成像环境突变导致的磨粒误检测，填充了磨粒粗略检测结果中的孔洞，实现了磨粒的粗略检测。
进一步的，通过匹配当前帧像素与得到的各个高斯分布，实现了磨粒与背景的分类，获得了磨粒的粗略检测结果，并实现了自适应高斯混合模型的更新。
进一步的，通过像素RGB值而非像素灰度值设置背景像素的条件，实现了背景像素的准确判别。
进一步的，通过根据像素的判断结果对高斯分布的参数进行更新，使自适应高斯混合模型能实时拟合运动磨粒图像背景的变化。
进一步的，通过设置自适应学习率α，使检测前期能够保持高的学习率以加快模型的更新，并消除检测前期的磨粒误检。
进一步的，步骤S2在获得磨粒粗略检测结果边缘曲线的基础上，通过构建运动磨粒精准边界搜索模型，逐步搜索磨粒的精确边缘，实现磨粒区域的完整提取。。
进一步的，根据磨粒图像梯度特性设计边缘指示函数g，提高了磨粒边缘搜索结果的准确性。
进一步的，以卡尔曼滤波原理建立运动磨粒跟踪模型主体，利用预测磨粒与真实磨粒的IOU相似度和形状特征相似度构建目标双层匹配策略，实现浓度高、速度快环境下的运动磨粒准确跟踪。。
可以理解的是，上述第二方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
综上所述，本发明联合时空域信息进行运动磨粒检测和跟踪，显著提高了运动磨粒检测和跟踪结果的准确率。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为自适应高斯混合模型检测流程图；
图2为漫水填充法消除检测结果中孔洞的示意图，其中，(a)为原始图像，(b)为自适应高斯混合模型检测结果的二值图，(c)为基于漫水填充法处理图3(b)的结果图，图2(d)为磨粒粗略检测结果；
图3为粗略检测结果中存在的误检现象，其中，(a)为原始图像#1，(b)为存在噪声的定位结果图像#1，(c)为原始图像#2，(d)为边缘不准确的粗略检测结果图像#2；
图4为使用优化的DRLSE模型处理图3中粗略检测结果图像得到的精细检测结果图像，其中，(a)为处理图3(b)的结果图像，(b)为处理图3(d)的结果图像；
图5为磨粒的跟踪结果，其中，(a)为第2帧图像，(b)为第4帧图像，(c)为第6帧图像，(d)为第8帧图像，(e)为第10帧图像，(f)为第12帧图像。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述预设范围等，但这些预设范围不应限于这些术语。这些术语仅用来将预设范围彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一预设范围也可以被称为第二预设范围，类似地，第二预设范围也可以被称为第一预设范围。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
本发明提供了一种基于时空域联合信息的运动磨粒检测跟踪方法，结合磨粒运动的时序信息建立基于自适应高斯混合模型和三帧差法的磨粒粗略检测模型，通过三帧差法消除成像环境亮度突变导致的磨粒误检测，实现磨粒的粗略检测；基于DRLSE模型建立磨粒精准边界搜索模型，结合磨粒图像梯度特性设计运动磨粒精细检测模型的边缘指示函数和迭代终止条件，逐次迭代搜索磨粒的精确边缘，提高磨粒区域检测的准确性；基于卡尔曼滤波模型构建运动磨粒跟踪模型，利用预测磨粒与跟踪磨粒的IOU相似度和形状相似度作为磨粒匹配相似度，通过模型迭代更新实现浓度大、速度快环境下的运动磨粒准确跟踪，显著提高了磨粒检测和跟踪结果的准确率，为机械设备运行状态实时监测奠定了基础。
请参阅图1，本发明一种基于时空域联合信息的运动磨粒检测跟踪方法，包括以下步骤：
S1、结合运动磨粒视频帧间的时序信息，建立基于自适应高斯混合模型和三帧差法的运动磨粒粗略检测模型；基于彩色图像帧差法建立环境亮度突变判断准则，使用三帧差法代替自适应高斯混合模型进行磨粒检测以消除环境亮度突变导致的磨粒误检；使用漫水填充法填充磨粒检测结果中的孔洞，实现磨粒的粗略检测；
S101、结合运动磨粒视频帧间的时序信息，构建3个高斯分布拟合运动磨粒图像背景的变化；为了拟合油液衰变导致的运动磨粒图像背景变化，赋予第一个高斯分布大权重w1(0.8≤w1<1)，采用前100帧磨粒图像训练自适应高斯混合模型以生成背景图像，取背景图像像素RGB值作为该高斯分布的均值；设置第二、三个高斯分布的权重为均值为0以分别拟合图像采集装置振动和磨粒停止运动带来的背景变化；
选取3个高斯分布对背景的变化进行拟合；油液衰变是导致磨粒图像背景随时间变化的主要原因，因此使用第一个高斯分布拟合该背景变化，设置该高斯分布的权重为0.9，采用前100帧图像训练自适应高斯混合模型以生成背景图像，取背景图像像素RGB值作为该高斯分布的均值；第二、三个高斯分布分别用于拟合图像采集装置振动和磨粒停止运动带来的背景变化，设置第二、三个高斯分布的均值为0，权重为0.05；由于背景不存在大幅度变化，因此设置所有高斯分布的方差为较小值；
分别匹配当前帧像素与得到的各个高斯分布，若满足公式(1)，则该像素为背景像素，否则为磨粒像素；
(Ii(x,y)-μi-1,n(x,y))2≤w*vari-1,n(x,y) (1)
其中，n＝1,2,3，Ii(x,y)为像素RGB值，μi,n(x,y)为高斯分布的均值，vari,n(x,y)为高斯分布的方差，n为高斯分布的序号，i为图像帧的序号，w为方差阈值系数，取值为6.25，此时像素属于背景的概率为99.38％。
若像素被判断为背景像素，更新与该像素匹配的高斯分布的均值和方差，分别如式(2)、式(3)所示；根据像素的判断结果对高斯分布的权重进行更新，如式(4)所示；
μi,n(x,y)＝μi-1,n(x,y)+β(Ii(x,y)-μi-1,n(x,y)) (2)
vari,n(x,y)＝vari-1,n(x,y)+β((Ii(x,y)-μi-1,n(x,y))2-vari-1,n(x,y)) (3)
wwi,n(x,y)＝(1-a)wwi-1,n(x,y)+aMi,n (4)
其中，vari,n(x,y)为高斯分布的方差，β为均值、方差学习速率wwi,n(x,y)为高斯分布的权重，a为权重学习速率，若像素为背景像素，Mi,n＝1，否则，Mi,n＝0。
S102、为了消除检测初期的磨粒误检，根据公式(5)自适应调节步骤S101得到的高斯混合模型参数更新过程中的学习率a，使检测前期保持高的学习率以加快模型的更新，并消除检测前期的磨粒误检；
其中，i为图像帧的序号。
S103、基于相邻帧彩色差分图像像素的均值建立环境亮度突变判断准则；在成像环境发生了亮度突变的前提下，使用三帧差法代替步骤S102得到的自适应高斯混合模型进行磨粒检测以消除环境亮度突变导致的磨粒误检，同时，基于三帧差法检测结果更新自适应高斯混合模型参数；
计算当前帧RGB图像与前一帧RGB图像差分图像的灰度均值，若该值的绝对值大于环境亮度突变阈值，则成像环境发生了亮度突变；若环境发生了亮度突变，采用三帧差法对后续图像进行磨粒检测；调高高斯分布参数更新的学习率α为0.01，使用三帧差法检测的背景的RGB值对步骤S102获得的第一个高斯分布的参数进行更新以拟合光照突变导致的背景变化；100帧后继续使用自适应高斯混合模型进行磨粒检测。
为了使静止的磨粒能被检测为背景，当像素被步骤S101判断为磨粒像素时，使用一个新的高斯分布代替权重最小的高斯分布；设置新高斯分布的均值为该像素点的RGB值；设置该高斯分布的方差为900，权重为0.05。
对上述步骤获得的所有的高斯分布按照权重与标准差的比值从大到小排序，第一个高斯模型对应最大值；对所有高斯模型的权重进行归一化，取权重之和大于0.7的前k个高斯分布生成背景图像。
S104、采用漫水填充法设置步骤S101得到的自适应高斯混合模型的磨粒检测图像中连通的背景区域像素值为255，从而使磨粒检测图像中连通的背景区域之外的区域(磨粒中的孔洞区域和磨粒区域)的像素值被设置为相同的像素值0，实现磨粒图像中孔洞的填充，从而实现磨粒的粗略检测，如图2所示。
S2、利用磨粒图像梯度特性设计距离正则化水平集演化(distance regularizedlevel set evolution，DRLSE)模型的边缘指示函数和迭代终止条件，基于DRLSE优化模型建立运动磨粒精准边界搜索模型；采用运动磨粒精准边界搜索模型迭代搜索步骤S1得到的磨粒定位结果的精确边缘，提高磨粒区域检测的准确性；
请参阅图3和图4，具体步骤如下：
S201、通过DRLSE模型构建运动磨粒精准边界搜索模型；结合磨粒图像梯度特性设计DRLSE模型的边缘指示函数，构建的边缘指示函数如式(6)所示；
其中，g为边缘指示函数，Δ为求导运算符，Gσ为高斯核，用于对图像进行高斯滤波，I为磨粒定位结果图像。
S202、设计DRLSE模型的迭代终止准则；
传统的DRLSE模型采用相同的迭代次数处理图像，限制了模型的处理效率；通过设置迭代终止条件来减少迭代次数，计算步骤S201得到的运动磨粒精准边界搜索模型前后两次迭代结果所围面积的比值，若比值大于迭代终止阈值，则停止迭代，减少了曲线的无效迭代，提高了DRLSE模型的处理效率。
S203、以步骤S1得到的磨粒定位结果的边缘曲线为对象，利用运动磨粒精准边界搜索模型对其迭代演化，结合迭代终止准则实现磨粒的准确检测。
S3、基于卡尔曼滤波模型构建运动磨粒跟踪模型以预测磨粒的运动位置，利用预测磨粒与跟踪磨粒的重叠(Intersection over Union，IOU)相似度和形状特征相似度建立目标磨粒匹配准则，实现对步骤S2得到的高浓度、快速运动环境下运动磨粒的跟踪。
请参阅图5，具体步骤如下：
S301、初始化进入相机视场的步骤S2得到的磨粒的卡尔曼滤波模型；以磨粒形心、长轴、短轴建立磨粒运动描述空间，结合卡尔曼滤波模型预测每个磨粒在下一帧的运动位置；
S302、利用步骤S301得到的预测磨粒与跟踪磨粒的IOU相似度作为磨粒匹配相似度，使用匈牙利算法进行前后帧磨粒的匹配关联，实现对高浓度条件下目标磨粒的定位；
S303、针对磨粒快速运动导致IOU匹配相似度无效的问题，等权重融合长轴、短轴、形心距离、面积等相似度作为匹配相似度，使用最近邻算法进行前后帧磨粒的匹配关联，实现对快速运动条件下目标磨粒的定位；
S304、使用步骤S302和步骤S303得到的跟踪磨粒位置、形状信息对卡尔曼滤波模型参数进行更新；
S305、重复步骤S301至步骤S304实现运动磨粒的自动跟踪。
本发明再一个实施例中，提供一种基于时空域联合信息的运动磨粒检测跟踪系统，该系统能够用于实现上述基于时空域联合信息的运动磨粒检测跟踪方法，具体的，该基于时空域联合信息的运动磨粒检测跟踪系统包括粗略检测模块、准确检测模块以及跟踪模块。
其中，粗略检测模块，结合运动磨粒视频帧间的时序信息，建立基于自适应高斯混合模型和三帧差法的运动磨粒粗略检测模型；基于彩色图像帧差法建立环境亮度突变判断准则，在成像环境发生了亮度突变的前提下，使用三帧差法代替自适应高斯混合模型进行磨粒检测；基于运动磨粒粗略检测模型进行磨粒检测，使用漫水填充法填充磨粒检测结果中的孔洞，实现磨粒边界的粗略检测；
准确检测模块，利用磨粒图像梯度特性设计距离正则化水平集演化模型的边缘指示函数和迭代终止条件，基于距离正则化水平集演化模型建立运动磨粒精准边界搜索模型；以粗略检测模块得到的磨粒粗略检测结果的边缘曲线为对象，采用运动磨粒精准边界搜索模型迭代搜索得到磨粒的精确边缘，实现磨粒的准确检测；
跟踪模块，基于卡尔曼滤波模型构建运动磨粒跟踪模型，预测准确检测模块得到的磨粒的运动位置，利用预测磨粒与跟踪磨粒的重叠相似度和形状特征相似度建立目标磨粒匹配准则，实现对高浓度、快速运动环境下运动磨粒的跟踪。
图2、图3、图4和图5来自实验室基础润滑油样，从中可以看出，本发明实现了磨粒区域的准确提取和磨粒的准确跟踪。
综上所述，本发明一种基于时空域联合信息的运动磨粒检测跟踪方法及系统，具有以下有益效果：
1.本发明融合磨粒运动的时序信息和磨粒梯度信息建立运动磨粒检测与跟踪优化方法，实现了运动磨粒视频中多目标磨粒的精准统计，解决了现有运动磨粒分析技术存在磨粒区域提取不完整与跟踪准确率低的难题。
2.本发明以磨粒时序信息与图像梯度信息为基础，建立了磨粒边界粗略检测与精准搜索模型，通过由粗检到精检地逐步搜索、定位磨粒的精准边界，实现磨粒区域的完整提取。
3.本发明以卡尔曼滤波原理建立运动磨粒跟踪模型主体，利用预测磨粒与真实磨粒的IOU相似度和形状特征相似度构建目标双层匹配策略，实现浓度高、速度快环境下的运动磨粒准确跟踪。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.一种基于时空域联合信息的运动磨粒检测跟踪方法，其特征在于，包括以下步骤：
S1、结合运动磨粒视频帧间的时序信息，建立基于自适应高斯混合模型和三帧差法的运动磨粒粗略检测模型；基于彩色图像帧差法建立环境亮度突变判断准则，在成像环境发生了亮度突变的前提下，使用三帧差法代替自适应高斯混合模型进行磨粒检测；基于运动磨粒粗略检测模型进行磨粒检测，使用漫水填充法填充磨粒检测结果中的孔洞，实现磨粒边界的粗略检测；
S2、利用磨粒图像梯度特性设计距离正则化水平集演化模型的边缘指示函数和迭代终止条件，基于距离正则化水平集演化模型建立运动磨粒精准边界搜索模型；以步骤S1得到的磨粒粗略检测结果的边缘曲线为对象，采用运动磨粒精准边界搜索模型迭代搜索得到磨粒的精确边缘，实现磨粒的准确检测；
S3、基于卡尔曼滤波模型构建运动磨粒跟踪模型，预测步骤S2得到的磨粒的运动位置，利用预测磨粒与跟踪磨粒的重叠相似度和形状特征相似度建立目标磨粒匹配准则，实现对高浓度、快速运动环境下运动磨粒的跟踪。
2.根据权利要求1所述的基于时空域联合信息的运动磨粒检测跟踪方法，其特征在于，步骤S1具体为：
S101、结合运动磨粒视频帧间的时序信息，构建3个高斯分布拟合运动磨粒图像背景的变化；赋予第一个高斯分布大权重w1，0.8≤w1<1，采用前100帧磨粒图像训练自适应高斯混合模型以生成背景图像，取背景图像像素RGB值作为第一个高斯分布大权重的均值；设置第二个高斯分布和第三个高斯分布的权重为均值为0，分别拟合图像采集装置振动和磨粒停止运动带来的背景变化，基于3个高斯分布构建运动磨粒粗略检测模型中的自适应高斯混合模型以进行磨粒检测；
S102、自适应调节步骤S101得到的自适应高斯混合模型参数更新过程中的学习率a；
S103、基于相邻帧彩色差分图像像素的均值建立环境亮度突变判断准则；在成像环境发生了亮度突变的前提下，使用三帧差法代替步骤S101得到的自适应高斯混合模型进行磨粒检测以消除环境亮度突变导致的磨粒误检，同时，基于三帧差法检测结果更新自适应高斯混合模型参数；
S104、采用漫水填充法设置步骤S101得到的自适应高斯混合模型的磨粒检测图像中连通的背景区域像素值为255，使磨粒检测图像中连通的背景区域之外区域的像素值被设置为相同的像素值0，实现磨粒图像中孔洞的填充，完成磨粒边界的粗略检测。
3.根据权利要求2所述的基于时空域联合信息的运动磨粒检测跟踪方法，其特征在于，步骤S101中，分别匹配当前帧像素与得到的各个高斯分布，若满足条件，则对应像素为背景像素，否则为磨粒像素；若像素被判断为背景像素，更新与对应像素匹配的高斯分布的均值和方差。
4.根据权利要求3所述的基于时空域联合信息的运动磨粒检测跟踪方法，其特征在于，像素为背景像素的条件如下：
(Ii(x,y)-μi-1,n(x,y))2≤w*vari-1,n(x,y)
其中，n＝1,2,3，Ii(x,y)为像素RGB值，μi,n(x,y)为高斯分布的均值，vari,n(x,y)为高斯分布的方差，n为高斯分布的序号，i为图像帧的序号，w为方差阈值系数。
5.根据权利要求3所述的基于时空域联合信息的运动磨粒检测跟踪方法，其特征在于，根据像素的判断结果对高斯分布的参数进行更新，具体为：
μi,n(x,y)＝μi-1,n(x,y)+β(Ii(x,y)-μi-1,n(x,y))
vari,n(x,y)＝vari-1,n(x,y)+β((Ii(x,y)-μi-1,n(x,y))2-vari-1,n(x,y))
wwi,n(x,y)＝(1-a)wwi-1,n(x,y)+aMi,n
其中，vari,n(x,y)为高斯分布的方差，β为均值和方差的学习速率，wwi,n(x,y)为高斯分布的权重，a为权重学习速率，μi,n(x,y)为当前帧高斯分布的均值，Ii(x,y)为当前帧像素RGB值，μi-1,n(x,y)为前一帧高斯分布的均值。
6.根据权利要求2所述的基于时空域联合信息的运动磨粒检测跟踪方法，其特征在于，步骤S102中，学习率α为：
其中，i为图像帧的序号。
7.根据权利要求1所述的基于时空域联合信息的运动磨粒检测跟踪方法，其特征在于，步骤S2具体为：
S201、通过DRLSE模型构建运动磨粒精准边界搜索模型；结合磨粒图像梯度特性设计DRLSE模型的边缘指示函数；
S202、设计DRLSE模型的迭代终止准则：计算步骤S201得到的运动磨粒精准边界搜索模型前后两次迭代结果所围面积的比值，若比值大于迭代终止阈值，则停止迭代；
S203、以步骤S1得到的磨粒定位结果的边缘曲线为对象，利用步骤S201和步骤S202得到的运动磨粒精准边界搜索模型对其迭代演化，结合迭代终止准则实现磨粒的准确检测。
8.根据权利要求7所述的基于时空域联合信息的运动磨粒检测跟踪方法，其特征在于，步骤S201中，边缘指示函数g具体为：
其中，Δ为求导运算符，Gσ为高斯核，用于对图像进行高斯滤波，I为磨粒粗略检测结果图像。
9.根据权利要求1所述的基于时空域联合信息的运动磨粒检测跟踪方法，其特征在于，步骤S3具体为：
S301、初始化进入相机视场的步骤S2得到的磨粒的卡尔曼滤波模型；以磨粒形心、长轴、短轴建立磨粒运动描述空间，结合卡尔曼滤波模型预测每个磨粒在下一帧的运动位置；
S302、利用步骤S301得到的预测磨粒与跟踪磨粒的IOU相似度作为磨粒匹配相似度，使用匈牙利算法进行前后帧磨粒的匹配关联，实现对高浓度条件下目标磨粒的定位；
S303、针对磨粒快速运动导致IOU匹配相似度无效的问题，等权重融合长轴、短轴、形心距离、面积等相似度作为匹配相似度，使用最近邻算法进行前后帧磨粒的匹配关联，实现对快速运动条件下目标磨粒的定位；
S304、使用步骤S302和步骤S303得到的跟踪磨粒位置、形状信息对卡尔曼滤波模型参数进行更新；
S305、重复步骤S301至步骤S304实现运动磨粒的自动跟踪。
10.一种基于时空域联合信息的运动磨粒检测跟踪系统，其特征在于，包括：
粗略检测模块，结合运动磨粒视频帧间的时序信息，建立基于自适应高斯混合模型和三帧差法的运动磨粒粗略检测模型；基于彩色图像帧差法建立环境亮度突变判断准则，在成像环境发生了亮度突变的前提下，使用三帧差法代替自适应高斯混合模型进行磨粒检测；基于运动磨粒粗略检测模型进行磨粒检测，使用漫水填充法填充磨粒检测结果中的孔洞，实现磨粒边界的粗略检测；
准确检测模块，利用磨粒图像梯度特性设计距离正则化水平集演化模型的边缘指示函数和迭代终止条件，基于距离正则化水平集演化模型建立运动磨粒精准边界搜索模型；以粗略检测模块得到的磨粒粗略检测结果的边缘曲线为对象，采用运动磨粒精准边界搜索模型迭代搜索得到磨粒的精确边缘，实现磨粒的准确检测；
跟踪模块，基于卡尔曼滤波模型构建运动磨粒跟踪模型，预测准确检测模块得到的磨粒的运动位置，利用预测磨粒与跟踪磨粒的重叠相似度和形状特征相似度建立目标磨粒匹配准则，实现对高浓度、快速运动环境下运动磨粒的跟踪。
CN202210662548.7A 2022-06-13 2022-06-13 一种基于时空域联合信息的运动磨粒检测跟踪方法及系统 Active CN114972436B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210662548.7A CN114972436B (zh) 2022-06-13 2022-06-13 一种基于时空域联合信息的运动磨粒检测跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210662548.7A CN114972436B (zh) 2022-06-13 2022-06-13 一种基于时空域联合信息的运动磨粒检测跟踪方法及系统

Publications (2)

Publication Number Publication Date
CN114972436A CN114972436A (zh) 2022-08-30
CN114972436B true CN114972436B (zh) 2024-02-23

Family

ID=82962192

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210662548.7A Active CN114972436B (zh) 2022-06-13 2022-06-13 一种基于时空域联合信息的运动磨粒检测跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN114972436B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296725A (zh) * 2015-06-12 2017-01-04 富泰华工业（深圳）有限公司 运动目标实时检测与跟踪方法及目标检测装置
WO2017133453A1 (zh) * 2016-02-02 2017-08-10 北京进化者机器人科技有限公司 一种运动人体跟踪方法和系统
CN109191494A (zh) * 2018-07-13 2019-01-11 深圳大学 润滑油磨粒在线监测方法、终端及存储介质
CN113608663A (zh) * 2021-07-12 2021-11-05 哈尔滨工程大学 一种基于深度学习和k-曲率法的指尖跟踪方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10373320B2 (en) * 2017-03-17 2019-08-06 Uurmi Systems PVT, LTD Method for detecting moving objects in a video having non-stationary background

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296725A (zh) * 2015-06-12 2017-01-04 富泰华工业（深圳）有限公司 运动目标实时检测与跟踪方法及目标检测装置
WO2017133453A1 (zh) * 2016-02-02 2017-08-10 北京进化者机器人科技有限公司 一种运动人体跟踪方法和系统
CN109191494A (zh) * 2018-07-13 2019-01-11 深圳大学 润滑油磨粒在线监测方法、终端及存储介质
CN113608663A (zh) * 2021-07-12 2021-11-05 哈尔滨工程大学 一种基于深度学习和k-曲率法的指尖跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种时空域联合的机动视频目标精确跟踪方法;胡波;;计算机应用;20110401(04);全文 *
基于改进高斯混合模型和卡尔曼滤波的车辆检测与跟踪;杜海顺;李嘉宸;魏兆敏;周毅;;河南大学学报(自然科学版);20171116(06);全文 *

Also Published As

Publication number Publication date
CN114972436A (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
Park et al. Comparative study of vision tracking methods for tracking of construction site resources
CN112287788A (zh) 基于改进YOLOv3和改进NMS的行人检测方法
CN115995063A (zh) 作业车辆检测与跟踪方法和系统
CN103871039B (zh) 一种sar图像变化检测差异图生成方法
CN112184759A (zh) 一种基于视频的运动目标检测与跟踪方法及系统
CN110119747A (zh) 一种基于x射线图像的煤矸识别方法
CN107844739B (zh) 基于自适应同时稀疏表示的鲁棒性目标追踪方法
CN113888461A (zh) 基于深度学习的小五金件缺陷检测方法、系统及设备
CN107871315B (zh) 一种视频图像运动检测方法和装置
Iraei et al. Object tracking with occlusion handling using mean shift, Kalman filter and edge histogram
CN117274515A (zh) 基于ORB和NeRF映射的视觉SLAM方法及系统
Liu et al. Image edge recognition of virtual reality scene based on multi-operator dynamic weight detection
CN110717934A (zh) 一种基于strcf的抗遮挡目标跟踪方法
CN113657423A (zh) 适用于小体积零件与堆叠零件的目标检测方法及其应用
CN107194917B (zh) 基于dap和arelm的在轨sar图像变化检测方法
CN106600613A (zh) 基于嵌入式gpu的改进lbp红外目标检测方法
CN106815851B (zh) 一种基于视觉测量的栅格圆形油位计自动读数方法
Yang et al. An improved algorithm for the detection of fastening targets based on machine vision
CN105844671B (zh) 一种变光照条件下的快速背景减除法
CN114972436B (zh) 一种基于时空域联合信息的运动磨粒检测跟踪方法及系统
CN106023256A (zh) 面向增强现实辅助维修系统平面目标粒子滤波跟踪的状态观测方法
CN108596926A (zh) 基于交叉型粒子群算法的灰度阈值获取、图像边缘检测方法
CN116758021A (zh) 一种基于图像分析的安装标准检测方法
CN108241837B (zh) 一种遗留物检测方法和装置
CN113902680B (zh) 引入注意力机制的多尺度特征融合ssd的螺栓松动检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant