CN111429490A - 一种基于标定球的农林作物三维点云配准方法 - Google Patents

一种基于标定球的农林作物三维点云配准方法 Download PDF

Info

Publication number
CN111429490A
CN111429490A CN202010098726.9A CN202010098726A CN111429490A CN 111429490 A CN111429490 A CN 111429490A CN 202010098726 A CN202010098726 A CN 202010098726A CN 111429490 A CN111429490 A CN 111429490A
Authority
CN
China
Prior art keywords
point cloud
registration
matrix
algorithm
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010098726.9A
Other languages
English (en)
Inventor
康峰
周三章
刘祥洋
陈冲冲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Forestry University
Original Assignee
Beijing Forestry University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Forestry University filed Critical Beijing Forestry University
Priority to CN202010098726.9A priority Critical patent/CN111429490A/zh
Publication of CN111429490A publication Critical patent/CN111429490A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

一种基于标定球的农林作物三维点云配准方法,三个标定球任意放置于实验物体周围,利用Kinect V2深度相机从四个不同角度采集点云图,使用Passthrough Filter和Euclidean Cluster Extraction算法对点云图分别进行点云滤波和聚类分割,从而提取实验物体和标定球。利用Random Sample Consensus(RANSAC)算法拟合球体点云并得出球心坐标,计算不同视角下球心间距,对比球心间距确定球体对应关系并基于Singular Value Decomposition(SVD)原理计算初始配准矩阵完成粗配准,使用IterativeClosestPoint(ICP)及其改进算法进行精确配准。解决了点云配准过程中由于对应点错误而导致初始配准矩阵不精确的问题,提高了点云配准精度,提供了一种低成本、便捷、简易、实现大视角点云配准的方法。

Description

一种基于标定球的农林作物三维点云配准方法
技术领域
本申请属于三维重建技术领域,尤其涉及一种基于标定球的农林作物三维点云配准方法。
背景技术
三维重建是指对三维物体建立适合计算机表示和处理的数学模型,是虚拟现实的关键技术。利用三维重建技术建立农林作物的三维模型获取表型数据,指导农林业生产,是现代农林业发展的必然趋势。在林业方面,枝干的大小,密度和冠层大小等属性对于林业管理非常重要,重建林木的三维形态,对于自动化采摘,果树剪枝和林木冠层光照研究有重要意义;在农业方面,作物的冠层结构,如叶面积指数,叶片的大小和叶片方位角分布等属性,会影响农作物的产量,重建农作物的三维形态,可以准确的获取农作物生物特性,对于优选育种,长势检测有重要作用。
点云配准是将不同坐标系下的点云转换到同一个坐标系下,形成物体完整的三维模型,是三维重建的关键环节,直接影响到三维模型的精度。
点云配准方法可以分为无标定物和有标定物两大类。
无标定物配准,一般采用激光雷达设备,从多个角度采集实验物体的点云图,通过计算物体表面的特征点进行配准操作,例如计算Normal Aligned Radial Feature(NARF)关键点,Local Surface Patch(LSP)局部特征,Scale-invariant feature transform(SIFT)特征点等等,通过特征点的不变性进行点云配准。进行无标定物配准时,为保证点云图的重叠率,连续两个视角之间的间隔一般不可超过30°,视角变化较小,当完整构建一个3D模型时,需要拍摄12帧点云图,存在配准步骤繁琐、工作量大,人为操作不稳定、累积误差大等问题,同时,由于点云噪声的影响,容易形成错误的对应关系,造成误匹配,导致计算的初始配准矩阵不精确;当点云数量较多时,计算特征点耗时较长,配准过程缓慢,以上缺陷均会导致重建精度不稳定。
有标定物配准,即在实验物体周围或者表面放置标定物辅助点云配准操作,目前相关研究较少。
综上所述,需要提供一种低成本、便捷、简易、实现大视角点云配准的方法,对农林作物进行三维重建。
发明内容
本申请的目的是针对上述现有技术中的缺陷,提供一种基于标定球的农林作物三维点云配准方法。点云配准步骤主要分为粗配准和精配准。利用Kinect V2深度相机采集点云图,通过标定球解决点云配准过程中,由于对应点错误而导致的初始配准矩阵不精确的问题,实现对初始矩阵的精确求解,提高物体三维重建的精度。
本申请所提供的技术方案是提出一种基于标定球的点云配准方法,其包括:
Kinect V2深度相机固定在支撑架上,通过数据线与中央处理单元相连接;三个标定球放置在实验物体周围。
实验物体周围任意放置三个标定球,利用Kinect V2深度相机从四个不同的角度采集实验场景的点云图,每个角度的点云图均使用Passthrough Filter算法进行点云滤波操作,并利用Euclidean Cluster Extraction算法进行聚类分割,提取出实验物体和标定球,根据Random Sample Consensus(RANSAC)算法对球体点云进行拟合,同时计算出球心坐标,从而得出不同视角下球心之间的距离,对比不同视角下球心间距来确定不同视角下的球体对应关系并使用Singular Value Decomposition(SVD)的方法求出初始配准矩阵完成粗配准,利用IterativeClosestPoint(ICP)及其改进算法进行精配准。
所述的基于标定球的点云配准方法包括以下步骤:
步骤一,将三个标定球任意摆放在实验物体周围并保证球心两两之间距离不同,利用Kinect V2深度相机从四个不同的视角采集实验场景的点云图,其中,角度间隔在90°左右且每一帧点云图中各个球体点云的可视部分均大于整体的1/3。采集的四帧点云图分别编号为F1,F2,F3,F4
步骤二,每帧点云图均使用Passthrough Filter算法进行点云滤波操作,减小点云数量,并利用Euclidean Cluster Extraction算法进行聚类分割,提取出实验物体和标定球并使用K-means算法移除离群点。根据Random Sample Consensus(RANSAC)算法对球体点云进行拟合,计算出球心坐标。
步骤三,根据球心坐标,计算不同视角下球心两两之间的距离,设定阈值对比不同视角下球心间距大小确定不同视角下的球体对应关系。
步骤四,利用不同视角下球体的对应关系,使用Singular Value Decomposition(SVD)的方法求出初始配准矩阵完成粗配准,粗配矩阵求解的过程式如下:
给定Rd维空间中两个对应点集p={p1,p2…pn}和q={q1,q2…qn},假设源点云中对应点的坐标构成的点集为p,目标点云中对应点的坐标构成的为q,计算源点云和目标点云之间的刚体变换即R和t可以转化为求取下列公式:
Figure BDA0002386132790000021
其中,wi>0表示每对对应点的权值。
计算点集的加权质心和中心向量:
计算d×d协方差矩阵:
Figure BDA0002386132790000031
S=XWYT
其中X,Y是d×n维的矩阵,xi,yi分别是矩阵X,Y的列,W=diag(w1,w2…wn)。
对S进行奇异值分解,其中Σ为奇异值构成的对角矩阵,U和V为对角矩阵:
S=U∑VT
则,源点云和目标点云中对应点对的旋转矩阵R和平移矩阵t:
Figure BDA0002386132790000032
步骤五,使用IterativeClosestPoint(ICP)及其改进算法对粗配点云进行精配准。
本发明的有益效果为:使用消费级的Kinect V2深度相机降低了成本;通过从四个不同的角度采集场景的点云图,减小了实验采集次数,实现了大角度的点云配准;利用标定球的球心确定不同视角中球体的对应关系,克服了对应点错误而导致初始矩阵不精确的问题;同时,实际应用中,可以使用直径不同的球体,利用大球套住小球,方便携带。
附图说明
下面结合附图及具体实施方式对本发明作进一步详细的说明:
图1为本申请的实验场景图;
图2为本申请的点云处理流程;
图3为本申请的对应关系筛选图;
图4为本申请的粗配准流程图;
图5为本申请的树干配准图;
图6为本申请的树枝配准图;
图7为本申请的盆栽配准图;
附图标记:
1-Kinect V2深度相机;2-支撑架;3-数据线;4-中央处理单元;5-标定球;6-实验物体
具体实施方式
下面结合附图对本申请具体实施例作进一步详细描述。
如图1所示,Kinect V2深度相机1固定在支撑架2上,通过数据线3与中央处理单元4相连接;将三个标定球5任意摆放在实验物体6周围并保证各个球心距离不同,利用KinectV2深度相机1从四个不同视角采集实验场景的点云图,角度间隔在90°左右。根据相关文献可知,Kinect V2深度相机1距离实验物体的采集距离为0.5–3m时,Kinect V2深度相机1水平和垂直误差小于2mm。实验选取采集距离d为2.2m,且每一帧点云图中各个球体点云的可视部分均大于整体的1/3。
图2为点云处理流程,为了减小点云数量,每帧点云图均使用Passthrough Filter算法进行点云滤波操作,上下限阈值分别设置为0.5m和2.5m;利用Euclidean ClusterExtraction算法进行聚类分割,提取出实验物体和标定球将分割后的物体并使用K-means算法移除离群点;根据Random Sample Consensus(RANSAC)算法对球体点云进行拟合,计算出球心坐标。
如图3所示,根据球心坐标,计算不同视角下球心两两之间的距离。以任意两个视角为例,其中一个视角下的球心距为d12,d23,d31,另一个视角下的球心距为d12,d23,d31,设定阈值Dth为0.02m,对比不同视角下球心间距大小确定球体对应关系。
根据不同视角下球体的对应关系,使用Singular Value Decomposition(SVD)的方法求出初始配准矩阵完成粗配准,粗配矩阵求解的过程式如下:
给定Rd维空间中两个对应点集p={p 1,p 2…pn}和q={q1,q2…qn},假设源点云中对应点的坐标构成的点集为p,目标点云中对应点的坐标构成的为q,计算源点云和目标点云之间的刚体变换即R和t可以转化为求取下列公式:
Figure BDA0002386132790000041
其中,wi>0表示每对对应点的权值。
计算点集的加权质心和中心向量:
Figure BDA0002386132790000051
计算d×d协方差矩阵:
S=XWYT
其中X,Y是d×n维的矩阵,xi,yi分别是矩阵X,Y的列,W=diag(w1,w2…wn)。
对S进行奇异值分解,其中Σ为奇异值构成的对角矩阵,U和V为对角矩阵:
S=U∑VT
则,源点云和目标点云中对应点对的旋转矩阵R和平移矩阵t:
Figure BDA0002386132790000052
粗配准的流程图如图4所示,将F2配准到F1上,两者融合后的点云为M1,同理将F3配准到M1上,以此类推,最终形成完整的三维模型M3
对完成粗配准的点云使用ICP,IterativeClosestPointNonLinear(NL_ICP),IterativeClosestPointWithNormals(N_ICP)进行精配准。建立完整3D模型后,利用最小二乘法对三维模型进行平滑操作。
本申请采集三个实验物体点云信息并进行配准,图5-7分别为树干、树枝、盆栽在室内环境中使用ICP、NL_ICP、N_ICP进行配准的三维模型,配准精度较好,还原了实验物体真实形态。

Claims (3)

1.一种基于标定球的农林作物三维点云配准方法,其特征在于:Kinect V2深度相机(1)固定在支撑架(2)上,通过数据线(3)与中央处理单元(4)相连接;三个标定球(5)放置在实验物体(6)周围。
2.如权利要求1所述的配准方法,其特征在于:实验物体周围任意放置三个标定球(5),利用Kinect V2深度相机(1)从四个不同的角度采集实验场景的点云图,每个角度的点云图均使用Passthrough Filter算法进行点云滤波操作,并利用Euclidean ClusterExtraction算法进行聚类分割,提取出实验物体和标定球,根据Random Sample Consensus(RANSAC)算法对球体点云进行拟合,同时计算出球心坐标,从而得出不同视角下球心之间的距离,对比不同视角下球心间距来确定不同视角下的球体对应关系,并使用SingularValue Decomposition(SVD)的方法求出初始配准矩阵完成粗配准,利用IterativeClosestPoint(ICP)及其改进算法进行精确配准。
3.如权利要求书1或2所述的配准方法,其特征在于,所述的基于标定球的点云配准方法包括以下步骤:
步骤一,将三个标定球(5)任意摆放在实验物体周围并保证球心两两之间距离不同,利用Kinect V2深度相机(1)从四个不同的角度采集实验场景的点云图,其中,角度间隔在90°左右且每一帧点云图中各个球体点云的可视部分均大于整体的1/3。采集的四帧点云图分别编号为F1,F2,F3,F4
步骤二,每帧点云图均使用Passthrough Filter算法进行点云滤波操作,减小点云数量,并利用Euclidean Cluster Extraction算法进行聚类分割,提取出实验物体和标定球并使用K-means算法移除离群点,根据Random Sample Consensus(RANSAC)算法对球体点云进行拟合,计算出球心坐标;
步骤三,根据球心坐标,计算不同视角下球心两两之间的距离,设定阈值对比不同视角下球心间距大小确定不同视角下的球体对应关系;
步骤四,利用不同视角下球体的对应关系,使用Singular Value Decomposition(SVD)的方法求出初始配准矩阵完成粗配准,粗配矩阵求解的过程式如下:
给定Rd维空间中两个对应点集p={p1,p2…pn}和q={q1,q2…qn},假设源点云中对应点的坐标构成的点集为p,目标点云中对应点的坐标构成的为q,计算源点云和目标点云之间的刚体变换即R和t可以转化为求取下列公式:
Figure FDA0002386132780000011
其中,wi>0表示每对对应点的权值;
计算点集的加权质心和中心向量:
Figure FDA0002386132780000021
计算d×d协方差矩阵:
S=XWYT
其中X,Y是d×n维的矩阵,xi,yi分别是矩阵X,Y的列,W=diag(w1,w2…wn);
对S进行奇异值分解,其中Σ为奇异值构成的对角矩阵,U和V为对角矩阵:
S=U∑VT
则,源点云和目标点云中对应点对的旋转矩阵R和平移矩阵t:
Figure FDA0002386132780000022
步骤五,使用IterativeClosestPoint(ICP)及其改进算法对粗配点云进行精配准。
CN202010098726.9A 2020-02-18 2020-02-18 一种基于标定球的农林作物三维点云配准方法 Pending CN111429490A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010098726.9A CN111429490A (zh) 2020-02-18 2020-02-18 一种基于标定球的农林作物三维点云配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010098726.9A CN111429490A (zh) 2020-02-18 2020-02-18 一种基于标定球的农林作物三维点云配准方法

Publications (1)

Publication Number Publication Date
CN111429490A true CN111429490A (zh) 2020-07-17

Family

ID=71547135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010098726.9A Pending CN111429490A (zh) 2020-02-18 2020-02-18 一种基于标定球的农林作物三维点云配准方法

Country Status (1)

Country Link
CN (1) CN111429490A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862315A (zh) * 2020-07-25 2020-10-30 南开大学 一种基于深度相机的人体多尺寸测量方法及系统
CN112102415A (zh) * 2020-08-25 2020-12-18 中国人民解放军63919部队 基于标定球的深度相机外参数标定方法、装置及设备
CN113313741A (zh) * 2021-06-03 2021-08-27 广西大学 一种基于标定球的点云自配准方法
CN113327275A (zh) * 2021-06-18 2021-08-31 哈尔滨工业大学 一种基于多约束点到局部曲面投影的点云双视角精配准方法
CN113959362A (zh) * 2021-09-22 2022-01-21 杭州申昊科技股份有限公司 结构光三维测量系统标定方法、巡检数据处理方法
CN116740156A (zh) * 2023-08-10 2023-09-12 西南交通大学 基于高斯球和主平面分布的任意位姿施工元件的配准方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584292A (zh) * 2018-11-14 2019-04-05 南京农业大学 一种基于Kinect自主标定的果树三维形态测量系统
CN109816703A (zh) * 2017-11-21 2019-05-28 西安交通大学 一种基于相机标定和icp算法的点云配准方法
CN110796694A (zh) * 2019-10-13 2020-02-14 西北农林科技大学 一种基于KinectV2的果实三维点云实时获取方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816703A (zh) * 2017-11-21 2019-05-28 西安交通大学 一种基于相机标定和icp算法的点云配准方法
CN109584292A (zh) * 2018-11-14 2019-04-05 南京农业大学 一种基于Kinect自主标定的果树三维形态测量系统
CN110796694A (zh) * 2019-10-13 2020-02-14 西北农林科技大学 一种基于KinectV2的果实三维点云实时获取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SANZHANG ZHOU ET AL: "Point cloud registration for agriculture and forestry crops based on calibration balls using Kinect V2", 《IJABE》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862315A (zh) * 2020-07-25 2020-10-30 南开大学 一种基于深度相机的人体多尺寸测量方法及系统
CN112102415A (zh) * 2020-08-25 2020-12-18 中国人民解放军63919部队 基于标定球的深度相机外参数标定方法、装置及设备
CN113313741A (zh) * 2021-06-03 2021-08-27 广西大学 一种基于标定球的点云自配准方法
CN113313741B (zh) * 2021-06-03 2022-07-29 广西大学 一种基于标定球的点云自配准方法
CN113327275A (zh) * 2021-06-18 2021-08-31 哈尔滨工业大学 一种基于多约束点到局部曲面投影的点云双视角精配准方法
CN113327275B (zh) * 2021-06-18 2022-11-08 哈尔滨工业大学 一种基于多约束点到局部曲面投影的点云双视角精配准方法
CN113959362A (zh) * 2021-09-22 2022-01-21 杭州申昊科技股份有限公司 结构光三维测量系统标定方法、巡检数据处理方法
CN113959362B (zh) * 2021-09-22 2023-09-12 杭州申昊科技股份有限公司 结构光三维测量系统标定方法、巡检数据处理方法
CN116740156A (zh) * 2023-08-10 2023-09-12 西南交通大学 基于高斯球和主平面分布的任意位姿施工元件的配准方法
CN116740156B (zh) * 2023-08-10 2023-11-03 西南交通大学 基于高斯球和主平面分布的任意位姿施工元件的配准方法

Similar Documents

Publication Publication Date Title
CN111429490A (zh) 一种基于标定球的农林作物三维点云配准方法
Sun et al. Three-dimensional photogrammetric mapping of cotton bolls in situ based on point cloud segmentation and clustering
Li et al. Automatic organ-level point cloud segmentation of maize shoots by integrating high-throughput data acquisition and deep learning
CN112381861B (zh) 一种基于地基激光雷达的林地点云数据配准和分割方法
CN106408011B (zh) 基于深度学习的激光扫描三维点云树木自动分类方法
Zhou et al. An integrated skeleton extraction and pruning method for spatial recognition of maize seedlings in MGV and UAV remote images
CN110796694A (zh) 一种基于KinectV2的果实三维点云实时获取方法
Wang A multi-scale approach for delineating individual tree crowns with very high resolution imagery
CN113112504A (zh) 一种植物点云数据分割方法及系统
CN109816779A (zh) 一种使用智能手机重建人工林森林模型获取单木参数的方法
Masuda Leaf area estimation by semantic segmentation of point cloud of tomato plants
CN109360236B (zh) 一种向日葵花盘尺寸测量方法
CN112200854A (zh) 一种基于视频图像的叶类蔬菜三维表型测量方法
CN105488541A (zh) 增强现实系统中基于机器学习的自然特征点识别方法
CN110610438B (zh) 一种农作物冠层叶柄夹角计算方法及系统
CN112465832A (zh) 一种基于双目视觉的单面树木点云骨架线提取方法及系统
Liu et al. Farmland aerial images fast-stitching method and application based on improved SIFT algorithm
Zhu et al. A calculation method of phenotypic traits based on three-dimensional reconstruction of tomato canopy
He et al. A calculation method of phenotypic traits of soybean pods based on image processing technology
Liu et al. Point cloud based iterative segmentation technique for 3d plant phenotyping
Ma et al. A method for calculating and simulating phenotype of soybean based on 3D reconstruction
CN112906719A (zh) 基于消费级深度相机的立木因子测量方法
Srivastava et al. Drought stress classification using 3D plant models
Zhou et al. Point cloud registration for agriculture and forestry crops based on calibration balls using Kinect V2
CN112529850A (zh) 一种基于多视角多尺度图片测量苗木尺寸的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200717