CN114240788B - 一种面向复杂场景的鲁棒性及自适应性背景复原方法 - Google Patents
一种面向复杂场景的鲁棒性及自适应性背景复原方法 Download PDFInfo
- Publication number
- CN114240788B CN114240788B CN202111568403.2A CN202111568403A CN114240788B CN 114240788 B CN114240788 B CN 114240788B CN 202111568403 A CN202111568403 A CN 202111568403A CN 114240788 B CN114240788 B CN 114240788B
- Authority
- CN
- China
- Prior art keywords
- value
- pixel point
- dimensionless
- block
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000003044 adaptive effect Effects 0.000 title claims description 6
- 238000012360 testing method Methods 0.000 claims abstract description 51
- 230000011218 segmentation Effects 0.000 claims abstract description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 43
- 238000012549 training Methods 0.000 claims description 33
- 239000011159 matrix material Substances 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 17
- 101000912561 Bos taurus Fibrinogen gamma-B chain Proteins 0.000 claims description 3
- 238000011161 development Methods 0.000 claims description 3
- 230000018109 developmental process Effects 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000005251 gamma ray Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 238000010606 normalization Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000004220 aggregation Methods 0.000 abstract 2
- 230000002776 aggregation Effects 0.000 abstract 2
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000005286 illumination Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- KJONHKAYOJNZEC-UHFFFAOYSA-N nitrazepam Chemical compound C12=CC([N+](=O)[O-])=CC=C2NC(=O)CN=C1C1=CC=CC=C1 KJONHKAYOJNZEC-UHFFFAOYSA-N 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种面向复杂场景的鲁棒性及自适应性背景复原方法，属于图形图像处理领域；它解决了目前背景复原方法无法应对场景中高动态干扰的问题；其技术方案是：在时间域使用相关性像素点‑像素块结构构建高斯背景模型；结合背景模型检测测试帧中前景区域；对测试图像进行分割；根据分割后各簇之间相似度进行聚合；计算聚合后每个簇中前景像素点占比以生成待复原区域；使用测试帧中的块信息与背景模型中参数对目标像素点进行背景复原；本发明具有以下有益效果：多个块区域依据其权重对目标像素点背景值进行估计，具有很强的鲁棒性、使用当前帧信息去估计背景像素点值使得方法具有自适应性，能够很好的抵抗外界环境干扰。
Description
技术领域
本发明涉及一种面向复杂场景的鲁棒性及自适应性背景复原方法，属于图形图像处理领域。
背景技术
背景复原技术在计算机视觉及图像处理领域中有着重要作用，是计算机视觉及图像处理高级应用的基础，在纯净的背景图像上进行操作能够提高这些高级应用的效果，如：目标检测、视频修复、目标跟踪等，因此，背景复原技术具有很大的研究价值。目前的背景复原研究主要分为：基于时间域的统计方法，如GMM(gaussian mixture model)、KDE(nonparametric kernel density estimation)；基于稳定子序列的方法，利用预先检测出的稳定像素序列结合马尔科夫随机场生成背景；基于迭代模型的方法，首先挑选出背景部分区域，由该区域迭代补全前景区域。基于深度学习的方法，如基于卷积神经网络CNN(Convolutional Neural Network)或基于生成式对抗网络GAN(Generative AdversarialNetwork)的方法进行背景复原。本文将会系统的阐述不同方法的适用原理、适用条件与存在的问题等，并提出能够在复杂场景中进行准确背景复原的方法。
基于时间域的统计方法是目前的主流方法，时间域上具有丰富的背景信息为背景复原做参考，但仅用时间域统计信息进行复原无法适应当前测试帧的高动态变化。基于稳定子序列的方法对训练图像要求严格，只能在某些简单场景中才能取得良好的背景复原效果。基于迭代模型的方法使用聚类思想，以背景作参考，使用背景簇中的信息填补前景区域，同样缺少对于适应当前图像变化的处理。基于深度学习的方法有着良好的背景复原效果，特别是在训练图像较少时，通过少量几帧图像就能合成相关背景图像，但存在计算量较大，合成的背景图像质量较低等缺点。
总体而言，目前的背景复原算法大致只以时间域或只以空间域信息作为参考，缺少应对复杂环境适应性及算法本身复原效果的鲁棒性，且时间成本耗费较大，背景复原效果并不理想。
发明内容
本发明目的是：为了解决现如今背景复原图像精度不够，且鲁棒性、自适应性较差，时间效率较低的问题，本发明基于时间域背景模型，结合图像分割及图像聚类算法，结合测试图像中空间域信息，实现对背景图像的准确估计。
为实现上述目的，本发明提供了一种面向复杂场景的鲁棒性及自适应性背景复原方法，该方法包括以下步骤：
S100、选择视频序列中包含背景信息较多的图像作为训练帧，使用MATLAB开发工具，将图像在空间上划分为尺寸相等的矩阵区域，计算每一帧中矩阵块对应区域的均值；
S101、使用MATLAB编程语言对训练图像进行切分，其中，切分后的每一个矩阵块为，其中，k表示第k个块的均值序列，无量纲；
S102、计算矩阵块均值的公式为式中：x，y为像素点坐标，无量纲；p(x，y)为坐标(x，y)处对应的像素点强度值，无量纲；m，n为每个矩阵块的宽度和高度，无量纲；/>为所求出的矩阵块均值，无量纲；
S200、对于训练图像中的每一个像素点在时间上的序列，在RGB三个通道上，找到K个与其具有强相关性的块均值序列；
S201、对于每一个像素点序列，遍历图像中的所有块均值序列，两者之间计算皮尔森相关性系数以表示像素点序列与块均值序列之间的相关性，每一个像素点序列找到K个相关性最强的块序列；皮尔森相关性系数计算公式为 式中：γk为目标像素点序列与第k个块均值序列计算出的皮尔森相关性系数，无量纲；p表示像素点序列，无量纲；/>为块均值序列，无量纲；/>为像素点序列与块均值序列之间的协方差，无量纲；σp和/>分别表示像素点序列和块序列的标准差，无量纲；协方差公式为/>式中：pt表示第像素点序列第t帧的值，无量纲；/>表示像素点序列均值，无量纲；/>表示第t帧中的块均值，无量纲；/>表示块均值序列的均值，无量纲；像素点序列的标准差公式为式中：t表示训练图像中的第t帧，无量纲；T表示训练图像总帧数，无量纲；pt表示第t帧像素点序列的值，无量纲；/>表示像素点序列均值，无量纲；块均值序列的标准差公式为：/> 式中：t表示训练图像中的第t帧，无量纲；T表示训练帧总帧数，无量纲；/>表示第t帧中的块均值，无量纲；/>表示块均值序列的均值，无量纲；
S202、对于每一个像素点序列，将块序列与其计算出的皮尔森相关性系数排序，挑选出K个相关性系数最强的块序列，构建具有相关性的像素点-像素块结构，其结构表示为：式中：/>表示与目标像素点具有强相关性的第k个块，无量纲；对于训练图像中的每一个像素点序列，求得这样结构的像素点-像素块结构与之对应；
S300、对于每一个具有强相关性的像素点序列与块均值序列，在RGB三个通道上，计算其差值的均值与方差，以构建高斯背景模型；
S301、其差值的计算公式为式中：Ip为像素点序列值，无量纲；/>为块均值序列值，无量纲；Δk表示差值序列的值，无量纲；
S302、计算差值序列的均值，均值公式为式中：/>为第t帧训练图像中目标像素点和对应第k个块的块均值之间的差，无量纲；T表示训练图像总帧数，无量纲；
S303、计算差值序列的方差，方差公式为式中：Δkt为第t帧的差值，无量纲；bk为差值序列的均值，无量纲；t表示训练图像中的第t帧，无量纲；T表示训练帧总帧数，无量纲；
S304、以均值bk和方差构建高斯背景模型，高斯背景模型公式为 式中：σ为差值序列的标准差，无量纲；σ2为差值序列的方差，无量纲；μ为差值序列的均值，无量纲，等同于上文bk；e为自然对数的底数，常数；π为圆周率，常数；
S400、对于测试图像，遍历其所有像素点，判断目标像素点是否符合与之对应的高斯背景模型，如符合则标记为背景，不符合则标记为前景，由此进行前景目标检测；
S401、前景检测公式为式中：ωk为待检测像素点对应的第k个相关性块的评估结果，无量纲；p为当前测试帧中的待检测像素点值，无量纲；/>为待检测像素点值的第k个相关性块的均值，无量纲；bk为该像素点-像素块结构构造的高斯模型中的均值，无量纲；σk为背景模型的标准差，无量纲；η取值为0.25，常数；
S402、待检测像素点与K个相关性块具有强相关性，与第k个块之间的相关性强弱数值由γk表示，每个像素点-像素块结构的前景检测结果由ωk表示，则最终的前景检测结果表示为：如果满足Г＞λ·Γall则该像素点被检测为前景点，式中：λ取值在0.5左右，常量；并且/>式中：k表示第k个强相关性矩阵块，无量纲；K表示强相关性块的总个数，无量纲；Γall为所有相关性系数的和，无量纲；Г表示检测为前景像素点的对应相关块相关性系数之和，无量纲；
S500、将测试图像在空间上进行超像素分割，使用SLIC超像素分割算法，将图像中相邻位置具有相似性的像素点值聚集在一个簇中；
S501、给定N值，表示之后将会把测试帧分成N个簇，N需要足够大以确保该图像被过分割，N为定值，无量纲；
S502、使N个点随机分布于测试帧中，设置为N个初始聚类中心，N为定值，无量纲；计算每一个聚类中心周围范围内的像素点与其周围聚类中心之间的差异值，其中：m为测试图像高度，无量纲；n为测试图像宽度，无量纲；差异值计算公式为：式中：/>为像素点与聚类中心在空间距离上的欧式距离，无量纲；ds为颜色空间距离，无量纲；S为归一化参数，无量纲；φ2为调整参数，常数；其计算方式为： 式中：xj、xi、yj、yi分为聚类中心和像素点的横纵坐标，无量纲；/>式中：lj、li、aj、ai、bj、bi为聚类中心像素和像素点在l、a、b三个通道上的值，无量纲；S为颜色距离的最大值，常量；φ2为人为设定的值，当φ2较大时，空间上的相似度占比更高，当φ2较小时，图像的颜色边界更紧密，该值取1～40范围之内，无量纲；
S600、使用DBSCAN算法对分割后的簇进行融合，将具有相似性的簇合并为一个簇，计算前景像素点所占簇的比值，如果某一个簇中大部分像素点都为前景像素点，则将该簇视为前景簇，以此得到更为精准的前景区域，也就是待复原区域，称为MASK区域；
S601、计算簇之间的相似度，对于每一个簇，计算其簇内均值与周围相邻簇之间的差值，差值计算方式为欧式距离，计算公式为 式中：lj、li、aj、ai、bj、bi分别为两个簇均值之间的差值，若其差值小于阈值F，则视为同一个簇，F取值为1-5，无量纲；
S602、将空间位置上相邻且差值小于阈值F的簇合并为一个簇，如：簇a周围有三个簇直接相邻，相邻簇为b、c、d，簇c周围相邻簇为簇e和簇f，若簇a和其相邻簇c之间差值小于阈值，簇c与相邻簇f之间差异小于阈值，则将簇a、c、f三个簇合并为一个簇；
S603、在将具有相似性的簇合并之后，计算前景像素点所占比例，若占比超过阈值T，则将整个簇视为前景簇，簇中包含的所有像素点视为前景像素点；计算前景像素点占比公式为：式中：m(x，y)表示最终的判定结果，结果为1表示坐标(x，y)处的像素点为前景，结果为0表示坐标(x，y)处的像素点为背景；Cforeground表示该簇中前景像素点个数，无量纲；Call表示该簇中总的像素点个数，无量纲；T为阈值，无量纲，其值的设置根据测试图像场景而定；
S700、使用当前测试帧中的块均值与高斯背景模型中得到的像素点-像素块结构参数，估计当前MASK区域中的背景值；
S701、对于待复原的目标像素点，判断其每个相关性块在测试图像中是否被前景遮盖，如果该块被遮盖，则舍弃该块，选取候选块作为相关性块，重新计算其相关性块的系数之和，置为Γ′all，公式为：其中γk为目标像素点与第k个块之间的皮尔森相关性系数，无量纲；
S702、计算目标像素点的背景估计值，背景估计公式为： 其中γk为目标像素点与第k个相关性块之间的皮尔森相关性系数，无量纲；Γ′all为去掉被前景遮盖块后重新计算的k个相关性系数之和，无量纲；/>为目标像素点第k个相关性块的均值，无量纲；bk为高斯背景模型中，像素点序列与块均值序列之间差值的均值，无量纲；
上述的一种面向复杂场景的鲁棒性及自适应性背景复原方法，其特征在于：该方法能够抵抗现实场景中出现的高动态干扰因素，得到精准的背景复原图像。
与现有发明相比，本发明具有以下有益效果：(1)在时间序列上构建高斯背景模型以提取前景，在空间上使用当前帧中的块信息估计当前帧中的背景像素点值，具有很好的自适应性；(2)每个目标像素点与K个相关性块结合，每个块对目标像素点背景值进行估计，再根据其系数占比，计算其最后估计值，使得背景复原结果具有很好的鲁棒性；(3)背景复原结果精准；(4)背景复原时间耗费低。
附图说明
图1是本方法的技术流程图。
图2是将视频序列分成块序列的示意图。
图3是像素点序列与对应相关性块序列示意图。
图4是像素点序列与块均值序列之间差值的高斯模型示意图。
图5为判断测试图像是否符合高斯背景模型示意图。
图6为测试图像与前景检测结果图像的对比图。
图7为测试图像进行超像素分割后的图像。
图8为测试图像进行超像素聚类后的图像。
图9为生成的待复原区域图像。
图10为背景复原后的图像。
图11为在各项干扰场景中的前景检测结果图像。
图12为基础环境中测试图像、FSBE算法得出的低质量背景复原图像、与本方法得出的高质量背景复原图像的对比图。
图13为光照变化干扰场景中测试图像、LaBGen-P-Semantic(MP+U)算法得出的低质量背景复原图像、与本方法得出的高质量背景复原图像对比图。
图14为背景运动环境中测试图像、SPMD算法得出的低质量背景复原图像、与本方法得出的高质量背景复原图像对比图。
图15为摄像头抖动干扰环境中测试图像、BEWIS算法得出的低质量背景复原图像、与本方法得出的高质量背景复原图像对比图。
图16为前景间歇运动干扰环境中测试图像、LabGen-OF算法得出的低质量背景复原图像、与本方法得出的高质量背景复原图像对比图。
图17为摄像头抖动干扰环境中测试图像、FSBE算法得出的低质量背景复原图像、与本方法得出的高质量背景复原图像对比图。
图18为基础环境中背景复原算法结果在数据集PETS2006和数据集wetSnow下的对比结果。
图19为光照变化环境中背景复原算法在数据集Dataset3Camera1和数据集Dataset3Camera2下的对比结果。
图20为背景运动环境中背景复原算法在数据集advertisement board和数据集fountain01下的对比结果。
图21为摄像头抖动环境中背景复原算法在数据集sidewalk和O_SM04下的对比结果。
图22为前景间歇运动下环境中背景复原算法在数据集sofa和数据集copymachine下的对比结果。
图23为夜晚环境中背景复原算法在数据集streetConer at night和fluidHighway下的对比结果。
图24为本方法与深度学习方法在时间效率上的对比结果图
具体实施方式
为使本发明的目的、技术方案和优势更加清楚明白，下面结合实施方式和附图，对本发明进一步详细说明。在此，本发明的示意性实施方式以及其说明用于解释本发明，但并不作为本发明的限定。
如图1所示，是一种面向高动态复杂场景的鲁棒性及自适应性背景复原方法的技术流程图，该方法包括以下步骤：
S100、选择视频序列中包含背景信息较多的图像作为训练帧，使用MATLAB开发工具，将图像在空间上划分为尺寸相等的矩阵区域，计算每一帧中矩阵块对应区域的均值；
S101、使用MATLAB编程语言对训练图像进行切分，其中，切分后的每一个矩阵块为，如图2所示，其中，k表示第k个块的均值序列，无量纲；
S102、计算矩阵块均值的公式为式中：x，y为像素点坐标，无量纲；p(x，y)为坐标(x，y)处对应的像素点强度值，无量纲；m，n为每个矩阵块的宽度和高度，无量纲；/>为所求出的矩阵块均值，无量纲；
S200、对于训练图像中的每一个像素点在时间上的序列，在RGB三个通道上，找到K个与其具有强相关性的块均值序列；
S201、对于每一个像素点序列，遍历图像中的所有块均值序列，两者之间计算皮尔森相关性系数以表示像素点序列与块均值序列之间的相关性，每一个像素点序列找到K个相关性最强的块序列，如图三所示；皮尔森相关性系数计算公式为式中：γk为目标像素点序列与第k个块均值序列计算出的皮尔森相关性系数，无量纲；p表示像素点序列，无量纲；/>为块均值序列，无量纲；/>为像素点序列与块均值序列之间的协方差，无量纲；σp和/>分别表示像素点序列和块序列的标准差，无量纲；协方差公式为 式中：pt表示第像素点序列第t帧的值，无量纲；/>表示像素点序列均值，无量纲；/>表示第t帧中的块均值，无量纲；/>表示块均值序列的均值，无量纲；像素点序列的标准差公式为/>式中t表示训练图像中的第t帧，无量纲；T表示训练图像总帧数，无量纲；pt表示第t帧像素点序列的值，无量纲；/>表示像素点序列均值，无量纲；块均值序列的标准差公式为：/> 式中：t表示训练图像中的第t帧，无量纲；T表示训练帧总帧数，无量纲；/>表示第t帧中的块均值，无量纲；/>表示块均值序列的均值，无量纲；
S202、对于每一个像素点序列，将块序列与其计算出的皮尔森相关性系数排序，挑选出K个相关性系数最强的块序列，构建具有相关性的像素点-像素块结构，其结构表示为：式中：/>表示与目标像素点具有强相关性的第k个块，无量纲；对于训练图像中的每一个像素点序列，求得这样结构的像素点-像素块结构与之对应；
S300、对于每一个具有强相关性的像素点序列与块均值序列，在RGB三个通道上，计算其差值的均值与方差，以构建高斯背景模型；
S301、其差值的计算公式为式中：Ip为像素点序列值，无量纲；/>为块均值序列值，无量纲；Δk表示差值序列的值，无量纲；
S302、计算差值序列的均值，均值公式为式中：/>为第t帧训练图像中目标像素点和对应第k个块的块均值之间的差，无量纲；T表示训练图像总帧数，无量纲；
S303、计算差值序列的方差，方差公式为式中：Δkt为第t帧的差值，无量纲；bk为差值序列的均值，无量纲；t表示训练图像中的第t帧，无量纲；T表示训练帧总帧数，无量纲；
S304、以均值bk和方差构建高斯背景模型，如图4所示，高斯背景模型公式为式中：σ为差值序列的标准差，无量纲；σ2为差值序列的方差，无量纲；μ为差值序列的均值，无量纲，等同于上文bk；e为自然对数的底数，常数；π为圆周率，常数；
S400、对于测试图像，遍历其所有像素点，判断目标像素点是否符合与之对应的高斯背景模型，如符合则标记为背景，不符合则标记为前景，如图5所示，由此进行前景目标检测；
S401、前景检测公式为式中：ωk为待检测像素点对应的第k个相关性块的评估结果，无量纲；p为当前测试帧中的待检测像素点值，无量纲；/>为待检测像素点值的第k个相关性块的均值，无量纲；bk为该像素点-像素块结构构造的高斯模型中的均值，无量纲；σk为背景模型的标准差，无量纲；η取值为0.25，常数；
S402、待检测像素点与K个相关性块具有强相关性，与第k个块之间的相关性强弱数值由γk表示，每个像素点-像素块结构的前景检测结果由ωk表示，则最终的前景检测结果表示为：如果满足Г＞λ·Γall则该像素点被检测为前景点，式中：λ取值在0.5左右，常量；并且/>式中：k表示第k个强相关性矩阵块，无量纲；K表示强相关性块的总个数，无量纲；Γall为所有相关性系数的和，无量纲；Г表示检测为前景像素点的对应相关块相关性系数之和，无量纲；前景检测结果如图6所示；在各项干扰场景中的前景检测结果如图11所示；
S500、将测试图像在空间上进行超像素分割，使用SLIC超像素分割算法，将图像中相邻位置具有相似性的像素点值聚集在一个簇中；
S501、给定N值，表示之后将会把测试帧分成N个簇，N需要足够大以确保该图像被过分割，N为定值，无量纲；
S502、使N个点随机分布于测试帧中，设置为N个初始聚类中心，N为定值，无量纲；计算每一个聚类中心周围范围内的像素点与其周围聚类中心之间的差异值，其中：m为测试图像高度，无量纲；n为测试图像宽度，无量纲；差异值计算公式为：式中：/>为像素点与聚类中心在空间距离上的欧式距离，无量纲；ds为颜色空间距离，无量纲；S为归一化参数，无量纲；φ2为调整参数，常数；其计算方式为： 式中：xj、xi、yj、yi分为聚类中心和像素点的横纵坐标，无量纲；/>式中：lj、li、aj、ai、bj、bi为聚类中心像素和像素点在l、a、b三个通道上的值，无量纲；S为颜色距离的最大值，常量；φ2为人为设定的值，当φ2较大时，空间上的相似度占比更高，当φ2较小时，图像的颜色边界更紧密，该值取1～40范围之内，无量纲；分割后的图像如图7所示；
S600、使用DBSCAN算法对分割后的簇进行融合，将具有相似性的簇合并为一个簇，计算前景像素点所占簇的比值，如果某一个簇中大部分像素点都为前景像素点，则将该簇视为前景簇，以此得到更为精准的前景区域，也就是待复原区域，称为MASK区域；
S601、计算簇之间的相似度，对于每一个簇，计算其簇内均值与周围相邻簇之间的差值，差值计算方式为欧式距离，计算公式为 式中：lj、li、aj、ai、bj、bi分别为两个簇均值之间的差值，若其差值小于阈值F，则视为同一个簇，F取值为1-5，无量纲；
S602、将空间位置上相邻且差值小于阈值F的簇合并为一个簇，如：簇a周围有三个簇直接相邻，相邻簇为b、c、d，簇c周围相邻簇为簇e和簇f，若簇a和其相邻簇c之间差值小于阈值，簇c与相邻簇f之间差异小于阈值，则将簇a、c、f三个簇合并为一个簇；合并之后的图像如图8所示
S603、在将具有相似性的簇合并之后，计算前景像素点所占比例，若占比超过阈值T，则将整个簇视为前景簇，簇中包含的所有像素点视为前景像素点；如图9所示；计算前景像素点占比公式为：式中：m(x，y)表示最终的判定结果，结果为1表示坐标(x，y)处的像素点为前景，结果为0表示坐标(x，y)处的像素点为背景；Cforeground表示该簇中前景像素点个数，无量纲；Call表示该簇中总的像素点个数，无量纲；T为阈值，无量纲，其值的设置根据测试图像场景而定；
S700、使用当前测试帧中的块均值与高斯背景模型中得到的像素点-像素块结构参数，估计当前MASK区域中的背景值；
S701、对于待复原的目标像素点，判断其每个相关性块在测试图像中是否被前景遮盖，如果该块被遮盖，则舍弃该块，选取候选块作为相关性块，重新计算其相关性块的系数之和，置为Γ′all，公式为：其中γk为目标像素点与第k个块之间的皮尔森相关性系数，无量纲；
S702、计算目标像素点的背景估计值，背景估计公式为： 其中γk为目标像素点与第k个相关性块之间的皮尔森相关性系数，无量纲；Γ′all为去掉被前景遮盖块后重新计算的k个相关性系数之和，无量纲；/>为目标像素点第k个相关性块的均值，无量纲；bk为高斯背景模型中，像素点序列与块均值序列之间差值的均值，无量纲；背景复原后的图像如图10所示；
进一步的，该方法能够抵抗现实场景中出现的高动态干扰因素，得到精准的背景复原图像。
进一步的对比其他算法与本方法在各项干扰环境下的表现，选取背景复原算法公开数据集SBM.net上在各种干扰环境中综合排名靠前的七种算法：LabGen-OF、MSCL、FSBE、LaBGen-P-Semantic(MP+U)、SPMD、FC-FlowNet、BEWIS，在基础环境、光照变化干扰环境、背景运动环境、摄像头抖动干扰环境、前景间歇运动干扰环境、夜晚环境下的背景复原结果进行对比，得到不同场景、不同方法下的背景复原结果图：图12为基础环境中测试图像、FSBE算法得出的低质量背景复原图像、与本方法得出的高质量背景复原图像的对比图；图13为光照变化干扰场景中测试图像、LaBGen-P-Semantic(MP+U)算法得出的低质量背景复原图像、与本方法得出的高质量背景复原图像对比图；图14为背景运动环境中测试图像、SPMD算法得出的低质量背景复原图像、与本方法得出的高质量背景复原图像对比图；图15为摄像头抖动干扰环境中测试图像、BEWIS算法得出的低质量背景复原图像、与本方法得出的高质量背景复原图像对比图；图16为前景间歇运动干扰环境中测试图像、LabGen-OF算法得出的低质量背景复原图像、与本方法得出的高质量背景复原图像对比图；图17为摄像头抖动干扰环境中测试图像、FSBE算法得出的低质量背景复原图像、与本方法得出的高质量背景复原图像对比图。
进一步的对比其他算法与本方法在各项干扰环境中的表现，选取公开数据集SBM.net上六项统一的度量指标，将算法结果图像与真实背景图像进行对比测试，其中包含：平均灰度误差AGE(Average Gray-level Error)、误差像素百分比pEPs(Percentage ofError Pixels)、聚类误差像素百分比pCEPs(Percentage ofClustered Error Pixels)、多尺度结构相似性MS-SSIM(Multi-scale Structural Similarity)、峰值信噪比PSNR(PeakSignal to Noise Ratio)、彩色图像质量测评CQM(Color image Quality Measure)。各项参数中，AGE、pEPs、pCEPs值越小代表背景复原效果越好，MS-SSIM、PSNR、CQM值越大代表背景复原效果越好。图18为基础环境中背景复原算法结果在数据集PETS2006和数据集wetSnow下的对比结果；图19为光照变化环境中背景复原算法在数据集Dataset3Camera1和数据集Dataset3Camera2下的对比结果；图20为背景运动环境中背景复原算法在数据集advertisement board和数据集fountain01下的对比结果；图21为摄像头抖动环境中背景复原算法在数据集sidewalk和O_SM04下的对比结果；图22为前景间歇运动下环境中背景复原算法在数据集sofa和数据集copymachine下的对比结果；图23为夜晚环境中背景复原算法在数据集streetConer at night和fluidHighway下的对比结果。
进一步的对比基于深度学习的算法与本方法在时间耗费上的表现，选取算法FC-FlowNet和算法BEWIS进行时间测算，图24为时间对比结果图。
经过上述对比分析，本方法在基础环境、光照变化环境、背景运动环境、摄像头抖动环境中综合排名第一，在前景间歇运动和夜晚环境中的结果也能接近最优算法。因此，本方法能够在各项干扰环境中表现出优秀的鲁棒性及自适应性，在该领域算法中性能排名靠前。
与现有发明相比，本发明具有以下有益效果：1)在时间序列上构建高斯背景模型以提取前景，在空间上使用当前帧中的块信息估计当前帧中的背景像素点值，具有很好的自适应性；(2)每个目标像素点与K个相关性块结合，每个块对目标像素点背景值进行估计，再根据其系数占比，计算其最后估计值，使得背景复原结果具有很好的鲁棒性；(3)背景复原结果精准；(4)背景复原时间耗费低。
最后所应说明的是：以上实施例仅用以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应该理解：依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。
Claims (2)
1.一种面向复杂场景的鲁棒性及自适应性背景复原方法，其特征在于，所述方法包括以下步骤：
S100、将视频图像作为训练帧，使用MATLAB开发工具，将训练帧中的每一帧图像在空间上划分为尺寸相等的矩阵区域，计算每一帧中所有矩阵块对应区域的均值，在计算完成视频序列中的所有矩形区域的均值后形成均值序列；
S101、使用MATLAB编程语言对将要训练的视频序列中的每一帧视频图像进行切分，将每一帧图像切分成尺寸相等的矩阵区域，用表示，并计算该矩阵区域的均值，得到矩阵均值序列，其中每一个矩阵均值序列为/>其中，k表示矩阵块的索引，无量纲；
S102、计算矩阵块均值的公式为式中：x，y为像素点坐标，无量纲；p(x,y)为坐标(x,y)处对应的像素点强度值，无量纲；m，n为每个矩阵块的宽度和高度，无量纲；/>为所求出的矩阵块均值，无量纲；
S200、对于训练图像中的每一个像素点在时间上的序列，在RGB三个通道上，找到K个与其具有强相关性的块均值序列；
S201、对于每一个像素点序列，遍历图像中的所有块均值序列，两者之间计算皮尔森相关性系数以表示像素点序列与块均值序列之间的相关性，每一个像素点序列找到K个相关性最强的块序列；皮尔森相关性系数计算公式为式中：γk为目标像素点序列与第k个块均值序列计算出的皮尔森相关性系数，无量纲；p表示像素点序列，无量纲；/>为块均值序列，无量纲；/>为像素点序列与块均值序列之间的协方差，无量纲；σp和/>分别表示像素点序列和块序列各自的标准差，无量纲；协方差公式为/>式中：pt表示像素点序列第t帧的值，无量纲；/>表示像素点序列均值，无量纲；/>表示第t帧中的块均值，无量纲；/>表示块均值序列的均值，无量纲；像素点序列的标准差公式为/> 式中t表示训练图像中的第t帧的索引，无量纲；T表示训练图像总帧数，无量纲；块均值序列的标准差公式为：/>
S202、对于每一个像素点序列，将块序列与其计算出的皮尔森相关性系数排序，挑选出K个相关性系数最强的块序列，构建具有相关性的像素点-像素块结构，其结构表示为：对于训练图像中的每一个像素点序列，求得这样结构的像素点-像素块结构与之对应；
S300、对于每一个具有强相关性的像素点序列与块均值序列，在RGB三个通道上，计算其差值的均值与方差，以构建高斯背景模型；
S301、其差值的计算公式为式中：Ip为像素点序列值，无量纲；/>为块均值序列值，无量纲；Δk表示差值序列的值，无量纲；
S302、计算差值序列的均值，均值公式为式中：/>为第t帧训练图像中目标像素点和对应第k个块的块均值之间的差，无量纲；
S303、计算差值序列的方差，方差公式为式中：Δkt为第t帧的差值，无量纲；bk为差值序列的均值，无量纲；
S304、以均值bk和方差构建高斯背景模型，高斯背景模型公式为 式中：σ为差值序列的标准差，无量纲；σ2为差值序列的方差，无量纲；μ为差值序列的均值，无量纲，等同于上文bk；e为自然对数的底数，常数；π为圆周率，常数；
S400、对于测试图像，遍历其所有像素点，判断目标像素点是否符合与之对应的高斯背景模型，如符合则标记为背景，不符合则标记为前景，由此进行前景目标检测；
S401、前景检测公式为式中：ωk为待检测像素点对应的第k个相关性块的评估结果，无量纲；p为当前测试帧中的待检测像素点值，无量纲；σk为高斯背景模型的标准差，无量纲；η取值为0.25，常数；
S402、待检测像素点与K个相关性块具有强相关性，与第k个块之间的相关性强弱数值由γk表示，每个像素点-像素块结构的前景检测结果由ωk表示，则最终的前景检测结果表示为：如果满足Γ>λ·Γall则该像素点被检测为前景点，式中：λ取值0.5，常量；并且/>式中：k表示第k个强相关性矩阵块的索引，无量纲；Γall为所有相关性系数的和，无量纲；Γ表示检测为前景像素点的对应相关块相关性系数之和，无量纲；
S500、将测试图像在空间上进行超像素分割，使用SLIC超像素分割算法，将图像中相邻位置具有相似性的像素点值聚集在一个簇中；
S501、给定N值，表示之后将会把测试帧分成N个簇，N为定值，无量纲；
S502、使N个点随机分布于测试帧中，设置为N个初始聚类中心，N为定值，无量纲；计算每一个聚类中心周围范围内的像素点与其周围聚类中心之间的差异值，其中：H为测试图像高度，无量纲；W为测试图像宽度，无量纲；差异值计算公式为：/>式中：/>为像素点与聚类中心在l、a、b颜色空间上的欧式距离的平方值，无量纲；ds为像素点与聚类中心的空间距离，无量纲；S为像素点与聚类中心在空间距离的最大值，作为归一化参数，无量纲；φ2为调整参数，常数；/> 式中：xj、xi、yj、yi分为聚类中心和像素点的横纵坐标，无量纲；φ2为人为设定的值，该值取1～40范围之内，无量纲；当φ2接近40时，空间上的相似度占比更高，当φ2接近1时，图像的颜色边界更紧密；
S600、使用DBSCAN算法对分割后的簇进行融合，将具有相似性的簇合并为一个簇，计算前景像素点所占簇的比值，如果某一个簇中大部分像素点都为前景像素点，则将该簇视为前景簇，以此得到更为精准的前景区域，也就是待复原区域，称为MASK区域；
S601、计算簇之间的相似度，对于每一个簇，计算其簇内均值与周围相邻簇之间的差值，差值计算方式为欧式距离，计算公式为 式中：分别为两个簇在l、a、b颜色空间的值，若其差值小于阈值F，则视为同一个簇，F取值为1-5，无量纲；
S602、将空间位置上相邻且差值小于阈值F的簇合并为一个簇；
S603、在将具有相似性的簇合并之后，计算前景像素点所占比例，若占比超过阈值T，则将整个簇视为前景簇，簇中包含的所有像素点视为前景像素点；计算前景像素点占比公式为：式中：m(x,y)表示最终的判定结果，结果为1表示坐标(x,y)处的像素点为前景，结果为0表示坐标(x,y)处的像素点为背景；Cforeground表示该簇中前景像素点个数，无量纲；Call表示该簇中总的像素点个数，无量纲；TH为阈值，无量纲；
S700、使用当前测试帧中的块均值与高斯背景模型中得到的像素点-像素块结构参数，估计当前MASK区域中的背景值；
S701、对于待复原的目标像素点，判断其每个相关性块在测试图像中是否被前景遮盖，如果该块被遮盖，则舍弃该块，选取候选块作为相关性块，重新计算其相关性块的系数之和，置为Γ'all，公式为：
S702、计算目标像素点的背景估计值，背景估计公式为： Γ'all为去掉被前景遮盖块后重新计算的k个相关性系数之和，无量纲；/>为目标像素点第k个相关性块的均值，无量纲。
2.根据权利要求1所述的一种面向复杂场景的鲁棒性及自适应性背景复原方法，其特征在于：该方法能够抵抗现实场景中出现的高动态干扰因素，得到精准的背景复原图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111568403.2A CN114240788B (zh) | 2021-12-21 | 2021-12-21 | 一种面向复杂场景的鲁棒性及自适应性背景复原方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111568403.2A CN114240788B (zh) | 2021-12-21 | 2021-12-21 | 一种面向复杂场景的鲁棒性及自适应性背景复原方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114240788A CN114240788A (zh) | 2022-03-25 |
| CN114240788B true CN114240788B (zh) | 2023-09-08 |
Family
ID=80760046
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111568403.2A Active CN114240788B (zh) | 2021-12-21 | 2021-12-21 | 一种面向复杂场景的鲁棒性及自适应性背景复原方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114240788B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101916449A (zh) * | 2010-08-21 | 2010-12-15 | 上海交通大学 | 建立图像处理中基于运动信息的背景模型的方法 |
| CN102629368A (zh) * | 2012-02-27 | 2012-08-08 | 天津大学 | 一种基于照度表面建模的彩色图像渐晕复原方法 |
| CN105574534A (zh) * | 2015-12-17 | 2016-05-11 | 西安电子科技大学 | 基于稀疏子空间聚类和低秩表示的显著性目标检测方法 |
| CN106485734A (zh) * | 2016-10-12 | 2017-03-08 | 天津大学 | 一种基于非局部自相似性的视频运动物体检测方法 |
| CN106569262A (zh) * | 2015-10-12 | 2017-04-19 | 中国石油化工股份有限公司 | 低频地震数据缺失下的背景速度模型重构方法 |
| CN108038905A (zh) * | 2017-12-25 | 2018-05-15 | 北京航空航天大学 | 一种基于超像素的目标重建方法 |
| CN109785233A (zh) * | 2018-12-25 | 2019-05-21 | 合肥埃科光电科技有限公司 | 一种图像超分辨率重建方法 |
| CN109785356A (zh) * | 2018-12-18 | 2019-05-21 | 北京中科晶上超媒体信息技术有限公司 | 一种视频图像的背景建模方法 |
| CN110009708A (zh) * | 2019-04-10 | 2019-07-12 | 上海大学 | 基于图像色彩分割的发色变换方法、系统及终端 |
| CN110827210A (zh) * | 2019-10-10 | 2020-02-21 | 山东大学 | 一种基于颜色曲线分解的水下图像清晰化方法及系统 |
| CN110910420A (zh) * | 2019-10-23 | 2020-03-24 | 同济大学 | 一种基于图像流的移动目标检测追踪方法 |
| CN111368742A (zh) * | 2020-03-05 | 2020-07-03 | 江苏警官学院 | 基于视频分析的双黄交通标线的重建识别方法及系统 |
| US10825142B2 (en) * | 2016-11-30 | 2020-11-03 | Boe Technology Group Co., Ltd. | Human face resolution re-establishing method and re-establishing system, and readable medium |
| CN112802054A (zh) * | 2021-02-04 | 2021-05-14 | 重庆大学 | 一种融合图像分割的混合高斯模型前景检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111480342B (zh) * | 2017-12-01 | 2024-04-23 | 索尼公司 | 编码装置、编码方法、解码装置、解码方法和存储介质 |
-
2021
- 2021-12-21 CN CN202111568403.2A patent/CN114240788B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101916449A (zh) * | 2010-08-21 | 2010-12-15 | 上海交通大学 | 建立图像处理中基于运动信息的背景模型的方法 |
| CN102629368A (zh) * | 2012-02-27 | 2012-08-08 | 天津大学 | 一种基于照度表面建模的彩色图像渐晕复原方法 |
| CN106569262A (zh) * | 2015-10-12 | 2017-04-19 | 中国石油化工股份有限公司 | 低频地震数据缺失下的背景速度模型重构方法 |
| CN105574534A (zh) * | 2015-12-17 | 2016-05-11 | 西安电子科技大学 | 基于稀疏子空间聚类和低秩表示的显著性目标检测方法 |
| CN106485734A (zh) * | 2016-10-12 | 2017-03-08 | 天津大学 | 一种基于非局部自相似性的视频运动物体检测方法 |
| US10825142B2 (en) * | 2016-11-30 | 2020-11-03 | Boe Technology Group Co., Ltd. | Human face resolution re-establishing method and re-establishing system, and readable medium |
| CN108038905A (zh) * | 2017-12-25 | 2018-05-15 | 北京航空航天大学 | 一种基于超像素的目标重建方法 |
| CN109785356A (zh) * | 2018-12-18 | 2019-05-21 | 北京中科晶上超媒体信息技术有限公司 | 一种视频图像的背景建模方法 |
| CN109785233A (zh) * | 2018-12-25 | 2019-05-21 | 合肥埃科光电科技有限公司 | 一种图像超分辨率重建方法 |
| CN110009708A (zh) * | 2019-04-10 | 2019-07-12 | 上海大学 | 基于图像色彩分割的发色变换方法、系统及终端 |
| CN110827210A (zh) * | 2019-10-10 | 2020-02-21 | 山东大学 | 一种基于颜色曲线分解的水下图像清晰化方法及系统 |
| CN110910420A (zh) * | 2019-10-23 | 2020-03-24 | 同济大学 | 一种基于图像流的移动目标检测追踪方法 |
| CN111368742A (zh) * | 2020-03-05 | 2020-07-03 | 江苏警官学院 | 基于视频分析的双黄交通标线的重建识别方法及系统 |
| CN112802054A (zh) * | 2021-02-04 | 2021-05-14 | 重庆大学 | 一种融合图像分割的混合高斯模型前景检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于数学模型的模糊图像复原方法分析;乔淋伟等;《魅力中国》;209 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114240788A (zh) | 2022-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106778687B (zh) | 基于局部评估和全局优化的注视点检测方法 | |
| WO2021093275A1 (zh) | 一种人群计数系统中自适应计算高斯核大小的方法 | |
| KR101634562B1 (ko) | 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법 | |
| CN112132058B (zh) | 一种头部姿态估计方法及其实现系统、存储介质 | |
| CN112184759A (zh) | 一种基于视频的运动目标检测与跟踪方法及系统 | |
| CN111242878B (zh) | 基于布谷鸟搜索的矿井下图像增强方法 | |
| CN113011329A (zh) | 一种基于多尺度特征金字塔网络及密集人群计数方法 | |
| CN107123130B (zh) | 一种基于超像素和混合哈希的核相关滤波目标跟踪方法 | |
| CN109472770B (zh) | 一种印刷电路板检测中的图像特征点快速匹配方法 | |
| CN113052859A (zh) | 基于自适应种子点密度聚类超像素分割方法 | |
| CN110930411A (zh) | 一种基于深度相机的人体分割方法及系统 | |
| CN115131375B (zh) | 一种矿石自动分割方法 | |
| CN112329784A (zh) | 一种基于时空感知及多峰响应的相关滤波跟踪方法 | |
| CN107392211B (zh) | 基于视觉稀疏认知的显著目标检测方法 | |
| CN113793274A (zh) | 一种基于色调的高光图像恢复方法 | |
| CN116310420A (zh) | 一种基于邻域差值的图像相似度度量方法及装置 | |
| WO2014205787A1 (zh) | 一种基于混合图像模板的车辆检测方法 | |
| CN108491883B (zh) | 一种基于条件随机场的显著性检测优化方法 | |
| CN114240788B (zh) | 一种面向复杂场景的鲁棒性及自适应性背景复原方法 | |
| Zou et al. | Fish tracking based on feature fusion and scale adaptation in a real-world underwater environment | |
| CN110322479B (zh) | 一种基于时空显著性的双核kcf目标跟踪方法 | |
| US20200027216A1 (en) | Unsupervised Image Segmentation Based on a Background Likelihood Estimation | |
| CN108573217B (zh) | 一种结合局部结构化信息的压缩跟踪方法 | |
| CN113763474B (zh) | 一种基于场景几何约束的室内单目深度估算方法 | |
| CN112991448B (zh) | 一种基于颜色直方图的回环检测方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |