CN111612895A - 抗树叶遮挡的检测共享单车异常停放的cim实时成像方法 - Google Patents

抗树叶遮挡的检测共享单车异常停放的cim实时成像方法 Download PDF

Info

Publication number
CN111612895A
CN111612895A CN202010459258.3A CN202010459258A CN111612895A CN 111612895 A CN111612895 A CN 111612895A CN 202010459258 A CN202010459258 A CN 202010459258A CN 111612895 A CN111612895 A CN 111612895A
Authority
CN
China
Prior art keywords
image
leaf
cim
occlusion
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010459258.3A
Other languages
English (en)
Inventor
魏寸新
魏涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010459258.3A priority Critical patent/CN111612895A/zh
Publication of CN111612895A publication Critical patent/CN111612895A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20164Salient point detection; Corner detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种抗树叶遮挡的检测共享单车异常停放的CIM实时成像方法,该方法包括:构建目标区域的CIM,目标区域包括感兴趣区域和其他区域;将采集到的图像进行处理得到自适应遮挡图和树叶遮挡提示信息;将自适应遮挡图送入两个分支,经过第一分支得到车把中心点的图像坐标,将图像坐标投影到CIM中,与感兴趣区域位置信息结合,得到共享单车异常停放检测结果;第二分支对输入的自适应遮挡图进行投影变换、图像拼接后投影到CIM中实现实时成像;将检测结果送至CIM中进行存储,并利用Web GIS技术进行可视化处理,将目标区域的CIM在Web端进行显示。该方法提高了摄像头采集的信息的利用率,当有树叶遮挡摄像头时可以及时提醒相关人员采取措施。

Description

抗树叶遮挡的检测共享单车异常停放的CIM实时成像方法
技术领域
本发明涉及深度学习领域,尤其是一种抗树叶遮挡的检测共享单车异常停放的CIM实时成像方法。
背景技术
2010年,IBM正式提出了“智慧城市”这一概念,智慧城市经历了十年时间的探索,目前已经初具成效,然而在城市相关的日常工作中,并没有得到较好的体现。在许多工作中,仍旧采用人力资源为主,技术资源为辅的方法,这种通过人的主观识别进行判断再工作的模式,导致工作者的工作量大且耗时很长。
共享单车已融入了日常生活中,成为了生活中不可或缺的一部分。关于共享单车停放的问题,目前的停放方法是设置一个大区域,用车人员仅需将共享单车停放在此区域中即可。目前对于共享单车的停放检测,仅限于使用传感器,通过传感器进行定位来判断单车是否停放在该大区域中,但无法判断在这个大区域内,共享单车是否按照规定停放在设定好的单车区。
使用摄像头进行共享单车异常停放检测的方法,在对采集到的图像进行处理时往往分别对每个摄像头采集到的图像进行单独处理,但由于采集到的信息有重复性,所以难以将信息整合起来,这就导致不能很好的利用摄像头获取的图像信息。同时,对于树叶遮挡摄像头这一问题,现有方法是需要工作人员定期查看监控,具有随机性,往往不能及时采取相应的措施。
发明内容
针对现有技术存在的问题,本发明提出一种抗树叶遮挡的检测共享单车异常停放的CIM实时成像方法,该方法包括:
步骤一,构建目标区域的CIM,目标区域包括感兴趣区域和其他区域,感兴趣区域为规定好的单车停放区域;
步骤二,对待处理图像进行语义分割,得到树叶语义分割图,其中,待处理图像由摄像头采集得到;
步骤三,对得到的树叶语义分割图进行操作,得到树叶遮罩,对含有树叶遮罩的树叶语义分割图进行统计操作,输出树叶遮挡提示信息,并对有树叶遮挡的待处理图像进行补全操作得到自适应遮挡图;
步骤四,将得到的所述自适应遮挡图输入两个分支,其中,第一个分支对自适应遮挡图进行操作得到车把中心点的图像坐标,将所述图像坐标投影到CIM中;第二个分支对自适应遮挡图进行投影变换、图像拼接操作,之后投影到CIM中实现实时成像;
步骤五,将步骤一中所述感兴趣区域与步骤四中所述投影到CIM中的图像坐标结合,得到共享单车异常停放检测结果,存在异常停放,则输出异常停放提示信息;
步骤六,将得到的共享单车异常停放检测结果送至目标区域的CIM中进行存储,并利用Web GIS技术进行可视化处理,将目标区域的CIM在Web端进行显示。
步骤二包括:将待处理图像送入语义分割编码器和语义分割解码器,对待处理图像中的像素点按照树叶及其他无关项两类进行分类,得到树叶语义分割图。
步骤三中的统计操作为:预先设置好比例阈值、时间阈值和数量阈值,当得到的树叶遮罩的面积与图像的面积之比大于比例阈值时,进行一次计数,在设定好的时间阈值内,计数的次数大于数量阈值时,输出树叶遮挡提示信息。
步骤三中的补全操作为:当前第n帧图像检测到树叶遮挡,利用无树叶遮挡的第n-1帧图像补全第n帧图像,并将补全后的图像作为第n帧图像,第n+1帧继续检测到树叶遮挡,利用补全后的第n帧图像对第n+1帧图像进行补全。
步骤四中第一分支得到图像坐标的操作过程为:将自适应遮挡图送入热力点编码器和热力点解码器,得到车把中心点热力图,对该热力图进行后处理得到车把中心点热力图中车把中心点的图像坐标。
执行步骤二和步骤三的神经网络的训练方法为:选择摄像头采集到的有树叶遮挡和无树叶遮挡的两种待处理图像作为训练数据集;训练数据集的类别标注为树叶和其他无关项;采用交叉熵损失函数,随机梯度下降法进行训练。
执行步骤四第一个分支的神经网络的训练方法为:选择摄像头采集到的无树叶遮挡的待处理图像作为训练数据集;以共享单车车把中心点为关键点生成的热斑标注训练数据集;采用均方差损失函数,随机梯度下降法进行训练。
本发明的有益效果在于:
1.该方法对采集到的有树叶遮挡的图像进行补全操作和统计操作,进行补全操作可以避免发生有树叶遮挡时检测结果不准确这一情况的发生,进行统计操作在有大范围树叶长期遮挡摄像头时可以及时获取树叶遮挡提示信息,提醒相关人员采取相应的措施,解决了现有检测树叶是否遮挡摄像头的方法不具有实时性这一问题。
2.该方法采用神经网络对共享单车异常停放的情况进行检测,在减轻相关工作人员的工作量的同时提升了该项工作的完成效率,节省了大量人力资源,且该网络模型经过预先学习训练,可以快速精准的检测出是否有共享单车停放在规定区域外。
3.该方法对摄像头采集到的图像进行处理,实现实时成像,并投影到CIM中,可以有效地将多个摄像头采集到的信息整合起来,提高信息利用率。
4.该方法结合CIM和Web GIS技术,可以更直观清楚地展现区域内共享单车的停放情况,在有共享单车异常停放时,相关工作人员可以快速得到该异常停放共享单车的位置信息。
附图说明
图1为检测方法的流程图。
具体实施方式
为了将本发明中的技术方案讲述的更加清楚和完整,下面结合实施例和附图来进一步说明抗树叶遮挡的共享单车异常停放检测方法,参见图1。
以一个共享单车可停靠区域为目标区域的实施例:
一种抗树叶遮挡的检测共享单车异常停放的CIM实时成像方法,该方法的具体流程如图1所示,其步骤为:
步骤一,构建目标区域的CIM,具体地,目标区域包括感兴趣区域和其他区域,感兴趣区域为规定好的单车停放区域;
CIM是以城市信息数据为基础建立的三维城市空间模型和城市信息的有机综合体,目标区域的CIM中包括目标区域的空间形状、建筑分布情况、摄像头的型号信息、数量信息、位置分布信息、采集到的图像信息、共享单车异常停放检测结果等。
步骤二,对待处理图像进行语义分割,得到树叶语义分割图,其中,待处理图像由摄像头采集得到;
具体地,将待处理图像送入语义分割编码器和语义分割解码器,对待处理图像中的像素点按照树叶及其他无关项两类进行分类,得到树叶语义分割图。
步骤三,对得到的树叶语义分割图进行二值化操作,得到树叶遮罩,对含有树叶遮罩的树叶语义分割图进行统计操作,输出树叶遮挡提示信息,并对有树叶遮挡的待处理图像进行补全操作得到自适应遮挡图;具体地:
对连续多帧含有树叶遮罩的树叶语义分割图进行统计,设置一个比例阈值a,例如a=0.3,一个时间阈值,一个数量阈值b,当遮罩面积与图像面积之比大于a时,进行一次计数,在时间阈值内,例如在60帧图像的时间段内,设置b=30,当计数次数大于b时,判定为存在树叶长期大范围遮挡情况,输出树叶遮挡提示信息;
根据独热编码对树叶语义分割图作二值化处理,树叶类别像素值设为0,其他项设为1,与有树叶遮挡的待处理图像进行乘运算,得到树叶区域像素值为0的RGB图像;当对树叶语义分割图进行二值化操作首次得到树叶遮罩时,对树叶区域像素值为0的RGB图像采用前一帧无树叶遮挡图像对应像素点位置的像素值进行覆盖,得到抗树叶遮挡的图像,之后检测到有树叶遮挡时,都采用前一帧补全以后的图像对应像素点位置的像素值进行覆盖得到自适应遮挡图;例如:当前第n帧图像检测到树叶遮挡,利用无树叶遮挡的第n-1帧图像补全第n帧图像,并将补全后的图像作为第n帧图像,第n+1帧继续检测到树叶遮挡,利用补全后的第n帧图像对第n+1帧图像补全,以此类推。
执行步骤二和步骤三的神经网络的训练方法为:选择摄像头采集到的有树叶遮挡和无树叶遮挡的两种待处理图像作为训练数据集;训练数据集的类别标注为树叶和其他无关项;采用交叉熵损失函数,随机梯度下降法进行训练。
步骤四,将得到的自适应遮挡图输入两个分支,具体地:
第一个分支对自适应遮挡图进行操作得到车把中心点的图像坐标,将图像坐标投影到CIM中;
图像坐标的操作过程为:将自适应遮挡图送入热力点编码器和热力点解码器,得到车把中心点热力图,对上述热力图进行后处理得到车把中心点热力图中车把中心点的图像坐标。
第二个分支对自适应遮挡图进行投影变换、图像拼接操作,之后投影到CIM中实现实时成像,以目标区域中两个相邻的摄像头采集到的两张有重叠部分的图像为例:
经投影变换将图片投影到一个新的视平面时,首先进行角点检测,相机像平面的四个角点与CIM二维地面平面的四个角点一一对应后通过SVD(奇异值分解)算法得到两个平面之间投影变换的单应矩阵,通过单应矩阵将像平面的点投影到与CIM地面平行的复合全景平面上,角点检测的方法有很多,例如Harris角点检测算法、SIFT角点检测算法、SUSAN角点检测算法、Kitchen-Rosenfeld角点检测算法等,实施者可根据需要的角点特征选择合适的检测方法;
图像拼接的步骤为:
图像的预处理,包括图像校正和噪声抑制;
特征提取,选取Harris角点检测算法提取图像中的特征点;
图像的配准,将特征点进行匹配,之后通过单应矩阵将两张图像中的一张图像投影到另一张图像所在的平面坐标系中,其中,采用RANSAC算法进行单应矩阵的估计,该算法可以剔除不好的匹配点,保留最优的单应矩阵;
图像变形,将两张图像变形到与CIM地面平行的复合全景平面上;
图像融合,在重叠区域融合像素颜色,避免接缝,实施例采用羽化法即使用加权平均颜色值融合重叠区域的像素;
特征点的匹配方法有KNN匹配、暴力匹配、最近邻快速匹配等方法,图像融合的方法有金字塔、梯度等,实施者可根据实际情况自行选择使用哪种方法进行特征点的匹配及图像的融合。
执行步骤四第一个分支的神经网络的训练方法为:选择摄像头采集到的无树叶遮挡的待处理图像作为训练数据集;以共享单车车把中心点为关键点经过高斯模糊操作生成的热斑标注训练数据集;采用均方差损失函数,随机梯度下降法进行训练。
步骤五,将步骤一中所述感兴趣区域与步骤四中所述投影到CIM中的图像坐标结合,得到共享单车异常停放检测结果,存在异常停放,则输出异常停放提示信息及共享单车异常停放位置信息;
步骤六,将得到的共享单车异常停放检测结果送至目标区域的CIM中进行存储,并利用Web GIS技术进行可视化处理,将目标区域的CIM在Web端进行显示,监管人员可在Web上进行检索、查询和分析,便于监管人员了解目标区域内共享单车异常停放的检测结果及树叶长期遮挡摄像头的情况,从而采取相应的措施。
以上所述旨在让本领域技术人员更深入和透彻的理解本发明,并不用于限制本发明。

Claims (7)

1.一种抗树叶遮挡的检测共享单车异常停放的CIM实时成像方法,其特征在于,该方法包括:
步骤一,构建目标区域的CIM,所述目标区域包括感兴趣区域和其他区域,所述感兴趣区域为规定好的单车停放区域;
步骤二,对待处理图像进行语义分割,得到树叶语义分割图,其中,所述待处理图像由摄像头采集得到;
步骤三,对得到的所述树叶语义分割图进行操作,得到树叶遮罩,对含有树叶遮罩的树叶语义分割图进行统计操作,输出树叶遮挡提示信息,并对有树叶遮挡的待处理图像进行补全操作得到自适应遮挡图;
步骤四,将得到的所述自适应遮挡图输入两个分支,其中,第一个分支对自适应遮挡图进行操作得到车把中心点的图像坐标,将所述图像坐标投影到CIM中;第二个分支对自适应遮挡图进行投影变换、图像拼接操作,之后投影到CIM中实现实时成像;
步骤五,将步骤一中所述感兴趣区域与步骤四中所述投影到CIM中的图像坐标结合,得到共享单车异常停放检测结果,存在异常停放,则输出异常停放提示信息;
步骤六,将得到的共享单车异常停放检测结果送至目标区域的CIM中进行存储,并利用Web GIS技术进行可视化处理,将目标区域的CIM在Web端进行显示。
2.如权利要求1所述的方法,其特征在于,所述步骤二包括:将待处理图像送入语义分割编码器和语义分割解码器,对所述待处理图像中的像素点按照树叶及其他无关项两类进行分类,得到树叶语义分割图。
3.如权利要求1所述的方法,其特征在于,所述步骤三中的统计操作为:预先设置好比例阈值、时间阈值和数量阈值,当得到的所述树叶遮罩的面积与图像的面积之比大于比例阈值时,进行一次计数,在设定好的时间阈值内,计数的次数大于数量阈值时,输出树叶遮挡提示信息。
4.如权利要求1所述的方法,其特征在于,所述步骤三中的补全操作为:当前第n帧图像检测到树叶遮挡,利用无树叶遮挡的第n-1帧图像补全第n帧图像,并将补全后的图像作为第n帧图像,第n+1帧继续检测到树叶遮挡,利用补全后的第n帧图像对第n+1帧图像进行补全。
5.如权利要求1所述的方法,其特征在于,所述步骤四中第一分支得到所述图像坐标的操作过程为:将自适应遮挡图送入热力点编码器和热力点解码器,得到车把中心点热力图,对上述热力图进行后处理得到所述车把中心点热力图中车把中心点的图像坐标。
6.如权利要求2所述的方法,其特征在于,执行步骤二和步骤三的神经网络的训练方法为:选择摄像头采集到的有树叶遮挡和无树叶遮挡的两种待处理图像作为训练数据集;训练数据集的类别标注为树叶和其他无关项;采用交叉熵损失函数,随机梯度下降法进行训练。
7.如权利要求5所述的方法,其特征在于,执行步骤四第一个分支的神经网络的训练方法为:选择摄像头采集到的无树叶遮挡的待处理图像作为训练数据集;以共享单车车把中心点为关键点生成的热斑标注训练数据集;采用均方差损失函数,随机梯度下降法进行训练。
CN202010459258.3A 2020-05-27 2020-05-27 抗树叶遮挡的检测共享单车异常停放的cim实时成像方法 Withdrawn CN111612895A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010459258.3A CN111612895A (zh) 2020-05-27 2020-05-27 抗树叶遮挡的检测共享单车异常停放的cim实时成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010459258.3A CN111612895A (zh) 2020-05-27 2020-05-27 抗树叶遮挡的检测共享单车异常停放的cim实时成像方法

Publications (1)

Publication Number Publication Date
CN111612895A true CN111612895A (zh) 2020-09-01

Family

ID=72201266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010459258.3A Withdrawn CN111612895A (zh) 2020-05-27 2020-05-27 抗树叶遮挡的检测共享单车异常停放的cim实时成像方法

Country Status (1)

Country Link
CN (1) CN111612895A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113077503A (zh) * 2021-03-24 2021-07-06 浙江合众新能源汽车有限公司 盲区视频数据生成方法、系统、设备和计算机可读介质
CN113112544A (zh) * 2021-04-09 2021-07-13 国能智慧科技发展(江苏)有限公司 基于智能物联网与大数据的人员定位异常检测系统
CN115272932A (zh) * 2022-07-29 2022-11-01 浙江通见科技有限公司 一种基于机器视觉的城市非机动车杂乱停放识别方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113077503A (zh) * 2021-03-24 2021-07-06 浙江合众新能源汽车有限公司 盲区视频数据生成方法、系统、设备和计算机可读介质
CN113112544A (zh) * 2021-04-09 2021-07-13 国能智慧科技发展(江苏)有限公司 基于智能物联网与大数据的人员定位异常检测系统
CN113112544B (zh) * 2021-04-09 2022-07-19 国能智慧科技发展(江苏)有限公司 基于智能物联网与大数据的人员定位异常检测系统
CN115272932A (zh) * 2022-07-29 2022-11-01 浙江通见科技有限公司 一种基于机器视觉的城市非机动车杂乱停放识别方法
CN115272932B (zh) * 2022-07-29 2023-04-28 浙江通见科技有限公司 一种基于机器视觉的城市非机动车杂乱停放识别方法

Similar Documents

Publication Publication Date Title
CN111612895A (zh) 抗树叶遮挡的检测共享单车异常停放的cim实时成像方法
CN110378931A (zh) 一种基于多摄像头的行人目标移动轨迹获取方法及系统
US10089536B2 (en) Analysis of a multispectral image
CN112800860B (zh) 一种事件相机和视觉相机协同的高速抛撒物检测方法和系统
Chu et al. Object tracking algorithm based on camshift algorithm combinating with difference in frame
CN104166841A (zh) 一种视频监控网络中指定行人或车辆的快速检测识别方法
US9922407B2 (en) Analysis of a multispectral image
CN110232379A (zh) 一种车辆姿态检测方法及系统
CN111784171A (zh) 基于人工智能及图像处理的市政cim环卫工作分配方法
CN111783671A (zh) 基于人工智能和cim的智慧城市地面车位图像处理方法
CN101876535A (zh) 一种高度测量方法、装置及监控系统
CN113989858B (zh) 一种工作服识别方法及系统
CN113920097A (zh) 一种基于多源图像的电力设备状态检测方法及系统
CN113139489A (zh) 基于背景提取和多尺度融合网络的人群计数方法及系统
CN110837786A (zh) 基于空间通道的密度图产生方法、装置、电子终端及介质
CN114140745A (zh) 施工现场人员属性检测方法、系统、装置及介质
CN109064444B (zh) 基于显著性分析的轨道板病害检测方法
CN104966283A (zh) 图像分层配准方法
CN116758063B (zh) 一种基于图像语义分割的工件尺寸检测方法
CN106780613A (zh) 多摄像头标定结果的可视化方法及其系统
CN109711387B (zh) 一种基于多类能量图的步态图像预处理方法
CN109544608B (zh) 一种无人机图像采集特征配准方法
CN112016498A (zh) 一种基于计算机视觉的商场散落购物车定位回收方法
Wen et al. Real-time personnel counting of indoor area division based on improved YOLOV4-Tiny
Tao et al. Measurement algorithm of notch length of plastic parts based on video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200901

WW01 Invention patent application withdrawn after publication