CN111369477A - 一种针对视频恢复任务的预分析和工具自适应的方法 - Google Patents
一种针对视频恢复任务的预分析和工具自适应的方法 Download PDFInfo
- Publication number
- CN111369477A CN111369477A CN202010458449.8A CN202010458449A CN111369477A CN 111369477 A CN111369477 A CN 111369477A CN 202010458449 A CN202010458449 A CN 202010458449A CN 111369477 A CN111369477 A CN 111369477A
- Authority
- CN
- China
- Prior art keywords
- image
- distortion
- video
- training
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000011084 recovery Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000004458 analytical method Methods 0.000 title claims abstract description 9
- 230000006978 adaptation Effects 0.000 claims abstract description 7
- 230000003044 adaptive effect Effects 0.000 claims abstract 2
- 238000012549 training Methods 0.000 claims description 38
- 238000012545 processing Methods 0.000 claims description 16
- 230000000903 blocking effect Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000013441 quality evaluation Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000009826 distribution Methods 0.000 abstract description 3
- 238000013461 design Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 238000005070 sampling Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000005282 brightening Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种针对视频恢复任务的预分析和工具自适应的方法，属于视频恢复技术领域。所述方法包括以下步骤：通过多维度的图像失真强度评分网络分析图像质量，对不同维度的损失程度进行评分；评分用于视频恢复工具的自适应选择，以及单个工具的算法自适应；并且可以根据不同应用场景和客户资源，适配不同评分阈值，调整视频恢复任务的复杂度；同时帮助提高单个工具模型的性能，因为每个模型现在接受的输入分布更加集中和可控，从而降低了算法设计实现的难度。
Description
技术领域
本发明涉及视频恢复技术领域，尤其涉及一种针对视频恢复任务的预分析和工具自适应的方法。
背景技术
近年来，由于各类智能终端的普及，视频图像已经成为人类信息传播的主要介质。目前，由于数字图像技术的迅速发展和广泛应用，以及人类生活水平的提高，人类在各领域对于视频的质量的要求也越来越高，视频质量已经成为数字图像领域的一个重要话题。视频的质量往往是在获取、传输和存储的过程中产生损失和受到影响，这些影响同时使得图像恢复的过程变得更加复杂，因此图像恢复的目标是移除或者降低图像质量下降带来的影响，使得图像满足应用需求。
图像恢复主要是去除采集/压缩/传输等通道产生的损失，即图像失真，恢复原始高质量视频。常见的失真类型有高斯噪声、JPEG压缩噪声、反锐化模糊、采样造成的模糊、对比度的降低、亮度的降低等，对应的视频恢复任务有去噪，锐化，超分，提亮，调色等，然而对于不同图像的失真类型和失真程度是存在很大差异的，同样，图像恢复的任务也需要与这些差异相匹配，为了使图像恢复模型设计的更清晰和简单，图像质量的预分析和估计变得尤为重要。
目前做法的局限性在于：
常见的失真类型有高斯噪声、JPEG压缩噪声、反锐化模糊、采样造成的模糊、对比度的降低、亮度的降低等，对应的视频恢复任务有去噪，锐化，超分，提亮，调色等，每个任务通常由特定的单独的计算模块处理，然而即使在同一个视频平台上，通常不同视频中的主导失真来源也会差异很大，如果对所有视频使用同样的恢复工具，既浪费计算资源，也很难使每个工具达到普适的效果。
发明内容
为解决以上问题，本发明提供了一种针对视频恢复任务的预分析和工具自适应的方法。本发明的核心思想在于构建一种多维度的图像损失强度评分网络，目的是通过多维度的图像损失强度评分网络，对于需要恢复的图像进行失真程度评分，根据评分去适配视频恢复算法模型和调整图像恢复模型参数，实现精准去噪。
本发明的目的通过以下的技术方案来实现：
一种针对视频恢复任务的预分析和工具自适应的方法，包括以下步骤：
（1）首先基于深度卷积网络构建多维度的图像损失强度评分网络，包括：
A对训练数据进行预处理：对高清视频进行抽帧处理，然后对所选帧加入不同类型的失真，每个类型的失真又分为n个强度的失真，作为CNN的训练集。
B训练图像失真分类模块：对于训练集进行分块处理，以失真类型作为标签，基于ResNet50为基础的CNN回归模型对训练集进行训练，得到图像失真分类模块。
C训练单一图像失真强度评分模块：基于CNN的图像质量评价方法的基本思路，利用单路CNN网络与Hybrid预训练模型对单一失真图像训练样本进行调整，用于预测单一特定失真类型的图像质量，然后，对图像训练样本实施失真识别与分类，CNN模型中的Softmax函数输出层分类器会对输入图像属于每种类别分配一个概率，此概率给出了网络模型在确定图像所属类别上的置信程度进行预估；对于局部失真图像，先进行图像分块处理，并采用局部失真识别器对图像块进行失真识别，得到不同失真类型的概率分数，从而检测出测试图像中的局部失真区域与非失真区域。
D对图像进行多维度的失真强度评分：将大图I分为若干个图像块；通过步骤B的图像失真分类模块对每个图像块进行失真类型分类，然后计算每个图像块不同失真对应的质量，使用加权平均得到局部失真图像块的预测质量；再根据Itti视觉注意模型计算大图像的显著图与显著性系数，计算每个图像块对应显著性系数之和占系数总和的比例，以此作为图像块局部质量的加权权重；整个图像的综合质量评分由图像块局部质量的加权权重经显著性加权得到。
（2）将需要进行恢复的视频做抽帧处理，输入所述多维度的图像损失强度评分网络进行失真强度评分。
（3）通过失真强度评分匹配视频恢复模型。
（4）根据失真强度评分调整视频恢复模型的参数。
（5）输出恢复后的视频。
本发明通过首先对视频进行抽帧、分块，利用神经网络（CNN）机器学习的方法对分块的图像进行训练，得到分块的图像失真类型分类模型；之后通过单一图像失真强度评分模型得到各类失真强度的评分，实现图像恢复模型的精准匹配，比如图像的去噪和提亮任务：如果将两种功能用一个模型实现，训练数据需要包含不同噪声强度N和不同亮度M的组合，即N×M种输入。在神经网络内部节点分配上对独立噪声的处理也会紧密耦合，大量计算用于检测和处理交叉项，如果分别用单独的模型实现，则训练数据和模型复杂度都可由N×M降低为N+M；通过训练多维度图像失真强度评分模型，判断出每个失真类型的失真程度，可以适当调整视频恢复模型的参数，实现计算过程复杂度的节省。比如对于已有的复杂CNN去噪模型对去除JPEG压缩噪声效果很好，但对于没有压缩噪声的高清视频则效果不明显，浪费计算资源。假设评分模型复杂度与复杂CNN去噪模型复杂度相当，但评分模型只在1/10的帧上计算，则对高清视频可节省90%的计算时间。
附图说明
图1为本发明一种图像恢复任务的预分析和工具自适应的方法的流程图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
下面结合附图对本发明作更进一步的说明。
如图1所示，本发明的一种图像恢复任务的预分析和工具自适应的方法具体包括以下步骤：
（1）首先基于深度卷积网络构建多维度的图像损失强度评分网络，包括：
A对训练数据进行预处理：筛选一批高清视频，对视频进行抽帧采样，分别对所选图像帧加入不同类型的失真，例如：高斯噪声、JPEG压缩噪声、反锐化模糊、下采样再上采样造成的模糊、降低对比度、降低亮度，然后，每一类失真又分成Top1-Top5种不同强度的失真，作为训练集。
B训练图像失真分类模块：对所选图像帧进行分块处理，分成若干个a×a的小块，以失真类型作为标签，利用ResNet 50网络模型进行训练，得到分块的失真分类模块。
C训练单一图像失真强度评分模块：首先，训练单一图像失真强度评分模型，根据基于CNN的图像质量评价方法基本思路，利用单路CNN网络与Hybrid预训练模型对单一失真图像训练样本进行网络微调与优化，从而得到单一特定失真类型的图像质量预测器QS；然后，对测试图像样本实施失真识别与分类，CNN模型中的Softmax函数输出层分类器会对输入图像属于每种类别分配一个概率。此概率给出了网络模型在确定图像所属类别上的置信程度估计量。对于局部失真图像，先进行图像分块处理，并采用局部失真识别器对图像块进行失真识别，并得到不同失真类型的概率分数，从而检测出测试图像中的局部失真区域与非失真区域。
D对图像进行多维度的失真强度评分：将大图I分为若干个a×a的图像块P(i)，其中i=1,2,3,...,N；采用局部失真识别器对各个图像块进行失真类型分类，得到不同失真概率权重PLD(j)，其中j=1,2,3,...,M，M表示失真类型数量；利用单一特定失真类型的图像质量预测器QS计算每个图像块不同失真对应的质量IQA(j)，使用加权平均得到局部失真图像块的预测质量IQApatch(i)：
再根据Itti视觉注意模型计算大图像的显著图与显著性系数，对于对第i个图像块Pi，计算该图像块对应显著性系数之和占系数总和的比例w(i)，以此作为图像块局部质量的加权权重，如下式：
最后，整个图像的综合质量IQALocal由IQApatch(i)经显著性加权得到，如下式：
（2）将需要进行恢复的视频做抽帧处理，输入所述多维度的图像损失强度评分网络进行失真强度评分。
（3）通过失真强度评分匹配视频恢复模型。
（4）根据失真强度评分调整视频恢复模型的参数。
（5）输出恢复后的视频。
本发明通过首先对视频进行抽帧、分块，利用神经网络（CNN）机器学习的方法对分块的图像进行训练，得到分块的图像失真类型分类模型；之后通过单一图像失真强度评分模型得到各类失真强度的评分，实现图像恢复模型的精准匹配，比如图像的去噪和提亮任务：如果将两种功能用一个模型实现，训练数据需要包含不同噪声强度N和不同亮度M的组合，即N×M种输入。在神经网络内部节点分配上对独立噪声的处理也会紧密耦合，大量计算用于检测和处理交叉项，如果分别用单独的模型实现，则训练数据和模型复杂度都可由N×M降低为N+M；通过训练多维度图像失真强度评分模型，判断出每个失真类型的失真程度，可以适当调整视频恢复模型的参数，实现计算过程复杂度的节省。比如对于已有的复杂CNN去噪模型对去除JPEG压缩噪声效果很好，但对于没有压缩噪声的高清视频则效果不明显，浪费计算资源。假设评分模型复杂度与复杂CNN去噪模型复杂度相当，但评分模型只在1/10的帧上计算，则对高清视频可节省90%的计算时间。
本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (2)
1.一种针对视频恢复任务的预分析和工具自适应的方法，其特征在于，所述方法包括以下步骤：
（1）构建多维度的图像失真强度评分网络，用于完成图像不同维度的失真强度评分；评分用于视频恢复工具的自适应选择，以及单个工具的算法自适应；
（2）将需要进行恢复的视频做抽帧处理，输入所述多维度的图像损失强度评分网络进行失真强度评分；
（3）通过失真强度评分匹配视频恢复模型；
（4）根据失真强度评分调整视频恢复模型的参数；
（5）输出恢复后的视频。
2.根据权利要求1所述的一种针对视频恢复任务的预分析和工具自适应的方法，其特征在于，所述构建多维度的图像失真强度评分网络，包括以下步骤：
A对训练数据进行预处理：对高清视频进行抽帧处理，然后对所选帧加入不同类型的失真，每个类型的失真又分为n个强度的失真，作为CNN的训练集；
B训练图像失真分类模块：对于训练集中的图片进行分块处理，以失真类型作为标签，基于ResNet50为基础的CNN回归模型对训练集进行训练，得到图像失真分类模块；
C训练单一图像失真强度评分模块：基于CNN的图像质量评价方法的基本思路，利用单路CNN网络与Hybrid预训练模型对单一失真图像训练样本进行调整，用于预测单一特定失真类型的图像质量，然后，对图像训练样本实施失真识别与分类，CNN模型中的Softmax函数输出层分类器会对输入图像属于每种类别分配一个概率，此概率给出了网络模型在确定图像所属类别上的置信程度进行预估；对于局部失真图像，先进行图像分块处理，并采用局部失真识别器对图像块进行失真识别，得到不同失真类型的概率分数，从而检测出测试图像中的局部失真区域与非失真区域；
D对图像进行多维度的失真强度评分：将大图I分为若干个图像块；通过步骤B训练的图像失真分类模块对每个图像块进行失真类型分类，然后计算每个图像块不同失真对应的质量，使用加权平均得到局部失真图像块的预测质量；再根据Itti视觉注意模型计算大图像的显著图与显著性系数，计算每个图像块对应显著性系数之和占系数总和的比例，以此作为图像块局部质量的加权权重；整个图像的综合质量由图像块局部质量的加权权重经显著性加权得到。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010458449.8A CN111369477A (zh) | 2020-05-27 | 2020-05-27 | 一种针对视频恢复任务的预分析和工具自适应的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010458449.8A CN111369477A (zh) | 2020-05-27 | 2020-05-27 | 一种针对视频恢复任务的预分析和工具自适应的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111369477A true CN111369477A (zh) | 2020-07-03 |
Family
ID=71211124
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010458449.8A Withdrawn CN111369477A (zh) | 2020-05-27 | 2020-05-27 | 一种针对视频恢复任务的预分析和工具自适应的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111369477A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115396710A (zh) * | 2022-08-09 | 2022-11-25 | 深圳乐播科技有限公司 | H5或小程序投短视频的方法以及相关装置 |
| WO2023274005A1 (zh) * | 2021-06-30 | 2023-01-05 | 北京字跳网络技术有限公司 | 图像处理方法、装置、电子设备和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109816625A (zh) * | 2018-11-27 | 2019-05-28 | 广东电网有限责任公司 | 一种视频质量评分实现方法 |
| CN110278415A (zh) * | 2019-07-02 | 2019-09-24 | 浙江大学 | 一种网络摄像机视频质量提升方法 |
| CN110895794A (zh) * | 2018-09-13 | 2020-03-20 | 浙江宇视科技有限公司 | 视频效果自修复方法和视频自修复装置 |
| CN111028203A (zh) * | 2019-11-18 | 2020-04-17 | 西安交通大学 | 一种基于显著性的cnn盲图像质量评估方法 |
-
2020
- 2020-05-27 CN CN202010458449.8A patent/CN111369477A/zh not_active Withdrawn
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110895794A (zh) * | 2018-09-13 | 2020-03-20 | 浙江宇视科技有限公司 | 视频效果自修复方法和视频自修复装置 |
| CN109816625A (zh) * | 2018-11-27 | 2019-05-28 | 广东电网有限责任公司 | 一种视频质量评分实现方法 |
| CN110278415A (zh) * | 2019-07-02 | 2019-09-24 | 浙江大学 | 一种网络摄像机视频质量提升方法 |
| CN111028203A (zh) * | 2019-11-18 | 2020-04-17 | 西安交通大学 | 一种基于显著性的cnn盲图像质量评估方法 |
Non-Patent Citations (2)
| Title |
|---|
| M.H.PINSON 等: "《A New Standardized Method for Objectively》", 《IEEE TRANSACTIONS ON BROADCASTING》 * |
| 周传兴 等: "《基于视觉感知的网络视频质量评价方法研究》", 《图像与多媒体》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023274005A1 (zh) * | 2021-06-30 | 2023-01-05 | 北京字跳网络技术有限公司 | 图像处理方法、装置、电子设备和存储介质 |
| CN115396710A (zh) * | 2022-08-09 | 2022-11-25 | 深圳乐播科技有限公司 | H5或小程序投短视频的方法以及相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ullah et al. | Light-DehazeNet: a novel lightweight CNN architecture for single image dehazing | |
| Zhu et al. | A novel fast single image dehazing algorithm based on artificial multiexposure image fusion | |
| CN111950723B (zh) | 神经网络模型训练方法、图像处理方法、装置及终端设备 | |
| CN108520504B (zh) | 一种基于生成对抗网络端到端的模糊图像盲复原方法 | |
| Zhang et al. | Hierarchical feature fusion with mixed convolution attention for single image dehazing | |
| CN109871845B (zh) | 证件图像提取方法及终端设备 | |
| CN110807757B (zh) | 基于人工智能的图像质量评估方法、装置及计算机设备 | |
| Zuo et al. | Screen content image quality assessment via convolutional neural network | |
| CN110751612A (zh) | 多通道多尺度卷积神经网络的单幅图像去雨方法 | |
| CN109472193A (zh) | 人脸检测方法及装置 | |
| Yu et al. | Image and video dehazing using view-based cluster segmentation | |
| CN111369477A (zh) | 一种针对视频恢复任务的预分析和工具自适应的方法 | |
| Das et al. | A comparative study of single image fog removal methods | |
| CN113420794A (zh) | 一种基于深度学习的二值化Faster R-CNN柑橘病虫害识别方法 | |
| CN114627269A (zh) | 一种基于深度学习目标检测的虚拟现实安防监控平台 | |
| CN111428590A (zh) | 一种视频聚类切分方法和系统 | |
| CN111192213A (zh) | 图像去雾自适应参数的计算方法、图像去雾方法及系统 | |
| CN110689498A (zh) | 一种基于对非关注点部分分级模糊的高清视频优化方法 | |
| Zhou et al. | Low-Light Enhancement Method Based on a Retinex Model for Structure Preservation | |
| CN111340839A (zh) | 一种基于分块的视频噪声估计方法 | |
| CN112399177A (zh) | 一种视频编码方法、装置、计算机设备及存储介质 | |
| CN116612355A (zh) | 人脸伪造识别模型训练方法和装置、人脸识别方法和装置 | |
| CN111723934A (zh) | 图像处理方法及系统、电子设备及存储介质 | |
| Guo et al. | Single Image Dehazing Using Adaptive Sky Segmentation | |
| CN112752064A (zh) | 电力通信光缆监控视频的处理方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200703 |
|
| WW01 | Invention patent application withdrawn after publication |