CN116703018B - 一种精准挖掘三七主根的路径控制方法 - Google Patents

一种精准挖掘三七主根的路径控制方法 Download PDF

Info

Publication number
CN116703018B
CN116703018B CN202310750342.4A CN202310750342A CN116703018B CN 116703018 B CN116703018 B CN 116703018B CN 202310750342 A CN202310750342 A CN 202310750342A CN 116703018 B CN116703018 B CN 116703018B
Authority
CN
China
Prior art keywords
point
pseudo
ginseng
root
stem
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310750342.4A
Other languages
English (en)
Other versions
CN116703018A (zh
Inventor
王成琳
李春江
韩启宇
王浩名
王法安
张兆国
解开婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN202310750342.4A priority Critical patent/CN116703018B/zh
Publication of CN116703018A publication Critical patent/CN116703018A/zh
Application granted granted Critical
Publication of CN116703018B publication Critical patent/CN116703018B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
    • Y02A40/22—Improving land use; Improving water use or availability; Controlling erosion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computational Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Quality & Reliability (AREA)
  • Pure & Applied Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种精准挖掘三七主根的路径控制方法，包括构建三七“根‑土‑茎”图像、确定最优入挖点、构建防碰边界、生成主根最小包围体及挖掘路径规划；即该方法通过构建三七“根‑土‑茎”复合图像、获得最优入挖点，同时利用对三七“根‑土‑茎”复合图像的拆解，配合传感信号获取与信号转换，获得防碰边界，利用防碰边界生成最小包围体，通过最优入挖点与最小包围体的组合，完成三七挖掘路径的规划。该方法能够对三七地下主根部分进行有效挖掘，避免挖掘过程中出现伤根率高、效率低等问题，实现三七的高精度、自动化挖掘。

Description

一种精准挖掘三七主根的路径控制方法
技术领域
本发明涉及路径规划技术领域，具体涉及一种精准挖掘三七主根的路径控制方法。
背景技术
三七又名田七，属于五加科人参植物，其主要分布于云南、四川、广西等地；三七具有极高的营养、医学价值，能够用于咯血、吐血、外伤出血、胸腹刺痛、跌倒肿痛等治疗。随着近年来三七市场需求量的增加及三七种植面积的扩大，三七的挖掘成为减少三七损耗、增加三七产量的必不可缺的环节。目前，三七的挖掘主要包括人工挖掘与机械挖掘，人工挖掘损耗时间多、挖掘效率低，易错过三七的最佳收获时间，费时费力，且增加劳动力成本；机械挖掘通过挖掘破土、将三七带出，实现三七的挖掘，其虽然能够有效减少劳动力的消耗、挖掘效率高，且能避免错过三七的收获时间，但三七的根茎部由于生长差异、品种差异及环境因素的作用，或多或少会存在差异(即根茎部的形状大小、入土深度等)，挖掘机械入土深度恒定、无法根据各株三七根茎部的差异进行适应性调节，若入土过浅，伤根率高(即挖掘机械易造成三七根茎部的损伤)、影响三七的营养价值，若入土过深，易带出大量泥土、影响后续三七的筛分工序(即大量泥土附着在三七根茎部、无法有效剔除，需进行多次、反复的泥土清洗与筛分)，也易在筛分过程中损伤三七根部，同时易改变种植土壤的松紧程度、影响后续三七栽种。
发明内容
针对以上现有技术存在的问题，本发明的目的在于提供一种精准挖掘三七主根的路径控制方法，该方法能够有效对三七的挖掘、主要为地下主根部分的挖掘路径进行控制，从而避免挖掘过程中设备与三七主根部分产生干涉、造成伤根率高的问题；该方法同时能实现三七主根的精准挖掘、避免挖掘三七过程中带出大量泥土而引发的一系列问题。
本发明的目的通过以下技术方案实现：
一种精准挖掘三七主根的路径控制方法，其特征在于：包括构建三七“根-土-茎”图像、确定最优入挖点、构建防碰边界、生成主根最小包围体及挖掘路径规划；
所述构建三七“根-土-茎”图像为：拼接茎叶点云图像、建立根茎检测图像及图像相互融合，得到三七“根-土-茎”复合图像；
所述确定最优入挖点为：通过建立挖掘函数模型，获得最优入挖点；
所述构建防碰边界包括：三七主体结构拆解、传感信号获取、信号转换、智能分类表生成及防碰边界构建；
所述生成主根最小包围体为：首先，通过防碰边界构建，获取主根多个面的防碰边界；然后，采用改进的迭代最近点(Iterative Closest Point，ICP)算法，生成主根最小包围体；
所述挖掘路径规划为：通过最小包围体的最低点与重心、结合最优入挖点，构成辅助平面，同时获得出土平面；结合最优入挖点、防碰边界与出土平面，完成挖掘路径规划。
作为本发明的进一步优选方案，所述拼接茎叶点云图像具体为：采用两组双目立体视觉相机，分别从对侧进行三七茎叶部分的图像拍摄，获取两组深度图像；再采用改进的迭代最近点(Iterative Closest Point，ICP)算法，对两组深度图像中的点云进行拼接，从而获得茎叶点云图像；
其中，改进的迭代最近点算法具体为：
步骤S1-1：对于两个待配准的点云，首先从中提取出一些特征点，作为匹配依据，特征点提取具体为：
式中：P表示点云中所有点的集合；或/>表示某个点pi或pj的特征向量；或/>表示pi或pj点的特征分数；/>表示被选中的具有显著特征的点集合；
步骤S1-2：在进行点云配准时，从特征点集合中选取稠密的点对进行匹配；一般使用基于距离的邻域搜索方法来获取稠密的点对，即假定两组点云中对应点对之间距离的均值方差相等，通过以下方法获取每个点的邻域范围：
Ni＝j|d(pi,qj)≤r；
式中：d(pi,qj)表示点pi与qj之间的欧式距离；r表示邻域搜索范围；Ni表示与点pi相邻的点的集合；
步骤S1-3：在将稠密点对配准后、最小化这些点对之间的距离误差，使用加权平均误差衡量配准效果，具体如下：
式中：n表示点对的数量；pi、qi′分别表示待配准的两个点云中的对应点对；d(pi,qi′)表示pi与qi′之间的欧式距离；wi表示权重系数、用于调整每个点对的贡献；
步骤S1-4：通过最小化加权平均误差，获得两组点云之间的刚性变换；通过采用一个4x4的矩阵表示两组点云的刚性变换，具体为：
式中：R表示旋转矩阵，t表示平移向量，它们通过以下逐步迭代公式获得：
式中：||·||表示欧式范数，求解过程中进行多次迭代，直至误差趋近于0。
作为本发明的进一步优选方案，所述建立根茎检测图像具体为：依据电阻抗检测方法，在三七根茎部周围环插多个电阻抗传感器，采用改进的修正牛顿拉普森(ModifiedNewton Rapson，MNR)算法，将电阻抗传感器获取的电信号重建为图像信号，从而获得根茎检测图像；
其中，改进的修正牛顿拉普森算法具体为：
步骤S2-1：采用电阻抗成像技术将待测物体表面(即三七地下根茎部表面)分为若干分离的区域(电极对)，从每对电极接口处采集电压值、即电阻抗测量值；
步骤S2-2：对步骤S2-1中获取的数据进行预处理；
步骤S2-3：利用薄膜法对步骤S2-2中预处理后的电阻抗数据进行重构；通过求解欧姆定律将电阻抗表征为关于介质电导率、几何形状和电极位置的函数，通过欧姆法将其表示为关于介质电阻率的函数；再使用非线性优化算法迭代求解分布阻抗；
步骤S2-4：用改进的MNR算法进行图像重建；
步骤S2-5：对步骤S2-4中的图像信号进行后处理操作，得到根茎检测图像。
作为本发明的进一步优选方案，所述步骤S2-2中数据预处理包括滤波、去噪处理，从而提高信噪比；步骤S2-5中数据后处理包括去除伪影、增强对比度等。
作为本发明的进一步优选方案，所述步骤S2-4具体为：
步骤S2-41、对数据进行初始化，设定输入的测试数据为y、初始图像为x0、迭代次数为t、惩罚参数为e；
步骤S2-42、使用Sobel算子构建导数算子Dx与Dy，用于计算图像的梯度信息；
步骤S2-43、对于每个像素点，获取其权重矩阵W，其中，Wi,j表示在重建像素点(i,j)处的权重；根据局部加权策略，权重值由该像素点与周围像素点的距离和测量数据之间的距离确定；
步骤S2-44、将图像xi分解成多个尺度xi (1),xi (2),…，xi (s)，并计算每个尺度图像的梯度信息Gi (1),Gi (2),…，Gi (s)；
步骤S2-45、对每个尺度图像进行梯度计算：
步骤S2-46、通过对图像梯度信息进行加权，平衡平滑效果、保留边缘信息；
步骤S2-47、通过最小化代价函数，更新图像xi：
式中：Ik表示第k个尺度的测量数据；
步骤S2-48、重复步骤S2-44～步骤S2-47，直至达到预先设定的迭代次数或满足收敛条件为止。
作为本发明的进一步优选方案，所述图像相互融合具体为：以根茎部底部最小坐标所在的平面为土面，对茎叶点云图像与根茎检测图像进行融合，获得三七“根-土-茎”复合图像；
其中，茎叶点云图像与根茎检测图像融合的具体步骤为：
步骤S3-1：将茎叶点云图像与根茎检测图像分别视为随机变量，通过将茎叶点云图像与根茎检测图像进行联合条件概率分布实现融合，具体为：
P(X|Y)P(Y)＝P(Y|X)P(X)；
式中：X表示茎叶点云图像，Y表示根茎检测图像；P(X|Y)表示在给定Y的情况下、X的概率分布；P(Y|X)表示在给定X的情况下、Y的概率分布；P(X)、P(Y)分别表示X、Y的先验概率分布；
步骤S3-2：利用贝叶斯滤波算法来估计茎叶点云图像的后验概率分布，即：
其中，P(X)、P(Y)分别通过提取茎叶点云图像与根茎检测图像的特征向量、利用特征向量获得；P(Y|X)通过比较茎叶点云图像与根茎检测图像的特征向量实现，即定义一个相似度函数来度量它们之间的相似度(如欧式距离函数)、从而获得P(Y|X)；
通过将P(Y|X)和P(X)进行卷积获得P(X|Y)的后概率分布，进而获得三七“根-土-茎”复合图像。
作为本发明的进一步优选方案，所述通过建立挖掘函数模型具体为：
步骤S4-1：首先，设定挖掘装置的入土角为u、边缘点坐标为(v、w)，挖掘装置消耗能量为F，则挖掘函数模型为：
F(u,v,w)＝β0+β1·u+β2·v+β3·w；
式中：β0、β1、β2、β3分别表示多元回归系数；
其中：
式中：a0、a1、a2、a3表示拟合平面系数；(u0,v0,w0)表示平面上一个点的坐标；
步骤S4-2：随机初始化u、v、w的值；
步骤S4-3：分别计算挖掘函数模型的梯度：
式中：xi、yi、zi分别表示对应的输入变量u、v、w的值，U表示对应的输出变量F()；
步骤S4-4：进行参数更新，具体为：
式中：λ表示学习率，根据实验数据获得；
步骤S4-5：重复进行步骤S4-3～步骤S4-4，直至达到收敛条件，输出收敛时u、v、w的作为最优解，即可获得挖掘时的最优入挖点RW。
作为本发明的进一步优选方案，所述三七主体结构拆解具体为：根据三七“根-土-茎”复合图像将三七主体分别拆解成“茎-土”组合体、“主根-土”组合体、“支根-土”组合体、“茎-主根”组合体、“茎-支根”组合体等；
所述传感信号获取为：通过设置在挖掘装置上的应变片式传感器与各个组合体进行力学特性实验，获取各个组合体的传感信号；
所述信号转换为：
首先，将一维的传感信号进行连续小波变换(Continuous Wavelet Transform，CWT)算法变换，得到小波系数矩阵：
式中：a、b分别表示尺度参数与平移参数；f(t)表示原始信号；表示小波基函数；
之后，对小波系数矩阵中的每个元素进行转换，得到其对应的灰度值：
式中：G(i,j)表示灰度图像中的像素值；W(i,j)表示小波系数矩阵中的元素；max(W)表示小波系数矩阵中的最大值；
通过CWT将一维传感信号中的每个元素映射为一个灰度值，进而形成灰度图像，实现传感信号与组合体图像信号之间的转换；
所述智能分类表生成为：通过深度学习网络模型对挖掘装置作业对象识别与传感器感知信号进行对应训练，生成智能分类表；
所述防碰边界构建为：对三七“根-土-茎”复合图像进行边缘检测，依据智能分类表保留主根边缘，并通过八连通领域像素检测方法合并主根边缘之间的像素，从而生成防碰边界。
作为本发明的进一步优选方案，所述深度学习网络模型采用全连接神经网络或卷积神经网络实现对传感器感知信号的特征提取与分类识别；采用决策树、支持向量机等传统的机器学习算法对挖掘装置作业对象的识别。
作为本发明的进一步优选方案，所述采用改进的迭代最近点算法，生成主根最小包围体的方法具体为：
首先，将多个面的防碰边界的点云数据进行坐标系的归一化处理，使得每个维度的坐标值都在同一范围内；
然后，利用主成分分析(Principal Component Analysis，PCA)算法获得点云数据的主方向向量U＝(U1,U2,U3)；
之后，通过计算点云数据在主方向上的最大值Dmax与最小值Dmin获得包围体，包围体是由三个平行于主方向向量的矩形组成：
Sizei＝Dmax,i-Dmin,i，i∈1,2,3；
再将主方向最小包围体的边界转换回原始坐标系，获得包围体的位置和大小信息；
最后，采用迭代最近点算法进行点云匹配，通过不断迭代，将两个点云数据之间的重合度最大化，进而实现点云数据的匹配与对齐，实现主方向最小包围体的点云配准。
作为本发明的进一步优选方案，所述最小包围体的最低点Q与重心P获取方法为：
最低点Q：
重心P：
式中：hi表示点云数据第i个点的坐标；ei表示点云数据第i个点的权重。
作为本发明的进一步优选方案，所述辅助平面δ为最低点Q、重心P与最优入挖点RW组成的平面，出土平面β为辅助平面δ的垂直平面。
本发明具有如下技术效果：
本申请依次通过三七“根-土-茎”复合图像的构建(包括三七地上的茎叶图像与地下的根茎图像)、最优入挖点的计算获得、防碰边界的构建、三七主根最小包围体的生成等步骤，实现三七挖掘过程中挖掘路径的规划，从而在三七挖掘过程中，有效避免挖掘器械与三七主根进行接触，造成三七主根损伤、营养价值流失等问题，同时也避免挖掘过程中，挖掘器械入挖深度过大，挖掘器械挖掘行进困难(挖掘器械行进困难会降低挖掘效率)、或带出大量深层土壤(带出大量深层土壤一是会破坏深层土壤的松紧度、造成深层土壤的营养成分流失，二是会造成三七主根粘附大量泥土、难于筛分与清洗)等问题；即本申请方法能够确保在对三七实施挖掘过程中，挖掘器械贴附三七主根周围且不对主根造成损伤的挖掘，实现高效率、低损伤、高精度的挖掘，进而降低三七挖掘的劳动成本、提升三七挖掘的效率、降低三七挖掘过程中的伤根率、提高三七产量，实现自动化的三七挖掘与收获。
附图说明
图1为本申请实施例中确定最优入挖点的流程图。
图2为本申请实施例中构建防碰边界的流程图。
图3为本申请实施例中挖掘路径规划的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施例1：
一种精准挖掘三七主根的路径控制方法，其特征在于：包括构建三七“根-土-茎”图像、确定最优入挖点、构建防碰边界、生成主根最小包围体及挖掘路径规划；
如图1所示：构建三七“根-土-茎”图像为：拼接茎叶点云图像、建立根茎检测图像及图像相互融合，得到三七“根-土-茎”复合图像；
拼接茎叶点云图像具体为：采用两组双目立体视觉相机，分别从对侧进行三七茎叶部分的图像拍摄，获取两组深度图像；再采用改进的迭代最近点(Iterative ClosestPoint，ICP)算法，对两组深度图像中的点云进行拼接，从而获得茎叶点云图像；
其中，改进的迭代最近点算法具体为：
步骤S1-1：对于两个待配准的点云，首先从中提取出一些特征点，作为匹配依据，特征点提取具体为：
式中：P表示点云中所有点的集合；fpi或fpj表示某个点pi或pj的特征向量；φi(fpi)或φj(fpj)表示pi或pj点的特征分数；Pfi表示被选中的具有显著特征的点集合；
步骤S1-2：在进行点云配准时，从特征点集合中选取稠密的点对进行匹配；一般使用基于距离的邻域搜索方法来获取稠密的点对，即假定两组点云中对应点对之间距离的均值方差相等，通过以下方法获取每个点的邻域范围：
Ni＝j|d(pi,qj)≤r；
式中：d(pi,qj)表示点pi与qj之间的欧式距离；r表示邻域搜索范围；Ni表示与点pi相邻的点的集合；
步骤S1-3：在将稠密点对配准后、最小化这些点对之间的距离误差，使用加权平均误差衡量配准效果，具体如下：
式中：n表示点对的数量；pi、qi′分别表示待配准的两个点云中的对应点对；d(pi,qi′)表示pi与qi′之间的欧式距离；wi表示权重系数、用于调整每个点对的贡献；
步骤S1-4：通过最小化加权平均误差，获得两组点云之间的刚性变换；通过采用一个4x4的矩阵表示两组点云的刚性变换，具体为：
式中：R表示旋转矩阵，t表示平移向量，它们通过以下逐步迭代公式获得：
式中：||·||表示欧式范数，求解过程中进行多次迭代，直至误差趋近于0。
建立根茎检测图像具体为：依据电阻抗检测方法，在三七根茎部周围环插多个电阻抗传感器(电阻抗检测方法可采用Sciospec EIT16电阻抗成像系统进行检测，该系统专为电阻抗断层扫描或多端口阻抗测量应用而设计，关键参数：具有16个双作用电极连接，用作电压测量和电流注入端口；同步数据采集块，可同时采样所有十六个通道；频率范围：100Hz～1MHz；可通过频率扫描进行的光谱测量，最多支持128个频率；电流激励范围：100nA～10mA；帧率：100fps。环插，即为多个电阻抗传感器以三七根茎部的中心线为轴、呈环形均匀分布在三七根茎部的外圈，多个电阻抗传感器可集成在挖掘装置上)，采用改进的修正牛顿拉普森(Modified Newton Rapson，MNR)算法，将电阻抗传感器获取的电信号重建为图像信号，从而获得根茎检测图像；
其中，改进的修正牛顿拉普森算法具体为：
步骤S2-1：采用电阻抗成像技术将待测物体表面(即三七地下根茎部表面)分为若干分离的区域(电极对)，从每对电极接口处采集电压值、即电阻抗测量值；
步骤S2-2：对步骤S2-1中获取的数据进行滤波、去噪等预处理，从而提高信噪比(预处理手段均采用本领域常见技术，只需满足本实施例中的目的即可)；
步骤S2-3：利用薄膜法对步骤S2-2中预处理后的电阻抗数据进行重构：
V＝HZ；
式中：H表示总导能矩阵，Z表示电阻抗向量至，V表示电势分布向量；矩阵H与向量V均通过薄膜法进行求解，从而获得电势分布图像；
通过求解欧姆定律将电阻抗表征为关于介质电导率、几何形状和电极位置的函数：
式中：σ表示电导率，表示电势场分布；
通过欧姆法将其表示为关于介质电阻率的函数：
AR＝b；
式中：R表示电阻率分布向量，A表示测量矩阵，b表示电流分布向量；
再使用非线性优化算法迭代求解分布阻抗：
式中：Φ表示目标函数，λ表示正则优化参数，c表示形态学正则化算子。
步骤S2-4：用改进的MNR算法进行图像重建，具体包括：
步骤S2-41、对数据进行初始化，设定输入的测试数据为y、初始图像为x0、迭代次数为t、惩罚参数为e；
步骤S2-42、使用Sobel算子构建导数算子Dx与Dy，用于计算图像的梯度信息；
步骤S2-43、对于每个像素点，获取其权重矩阵W，其中，Wi,j表示在重建像素点(i,j)处的权重；根据局部加权策略，权重值由该像素点与周围像素点的距离和测量数据之间的距离确定；
步骤S2-44、将图像xi分解成多个尺度xi (1),xi (2),…，xi (s)，并计算每个尺度图像的梯度信息Gi (1),Gi (2),…，Gi (s)；
步骤S2-45、对每个尺度图像进行梯度计算：
步骤S2-46、通过对图像梯度信息进行加权，平衡平滑效果、保留边缘信息；
步骤S2-47、通过最小化代价函数，更新图像xi：
式中：Ik表示第k个尺度的测量数据；
步骤S2-48、重复步骤S2-44～步骤S2-47，直至达到预先设定的迭代次数或满足收敛条件为止。
步骤S2-5：对步骤S2-4中的图像信号进行去除伪影、增强对比度等后处理操作(后处理手段均采用本领域常见技术，只需满足本实施例中的目的即可)，得到根茎检测图像。
图像相互融合具体为：以根茎部底部最小坐标所在的平面为土面，对茎叶点云图像与根茎检测图像进行融合，获得三七“根-土-茎”复合图像；
其中，茎叶点云图像与根茎检测图像融合的具体步骤为：
步骤S3-1：将茎叶点云图像与根茎检测图像分别视为随机变量，通过将茎叶点云图像与根茎检测图像进行联合条件概率分布实现融合，具体为：
P(X|Y)P(Y)＝P(Y|X)P(X)；
式中：X表示茎叶点云图像，Y表示根茎检测图像；P(X|Y)表示在给定Y的情况下、X的概率分布；P(Y|X)表示在给定X的情况下、Y的概率分布；P(X)、P(Y)分别表示X、Y的先验概率分布；
步骤S3-2：利用贝叶斯滤波算法来估计茎叶点云图像的后验概率分布，即：
其中，P(X)、P(Y)分别通过提取茎叶点云图像与根茎检测图像的特征向量、利用特征向量获得；P(Y|X)通过比较茎叶点云图像与根茎检测图像的特征向量实现，即定义一个相似度函数来度量它们之间的相似度(如欧式距离函数)、从而获得P(Y|X)；
通过将P(Y|X)和P(X)进行卷积获得P(X|Y)的后概率分布，进而获得三七“根-土-茎”复合图像。
如图1所示：最优入挖点是通过建立挖掘函数模型获得，具体为：
步骤S4-1：首先，设定挖掘装置的入土角为u、边缘点坐标为(v、w)，挖掘装置消耗能量为F，则挖掘函数模型为：
F(u,v,w)＝β0+β1·u+β2·v+β3·w；
式中：β0、β1、β2、β3分别表示多元回归系数；
其中：
式中：a0、a1、a2、a3表示拟合平面系数；(u0,v0,w0)表示平面上一个点的坐标；
步骤S4-2：随机初始化u、v、w的值；
步骤S4-3：分别计算挖掘函数模型的梯度：
式中：xi、yi、zi分别表示对应的输入变量u、v、w的值，U表示对应的输出变量F(·)；
步骤S4-4：进行参数更新，具体为：
式中：λ表示学习率，根据实验数据获得；
步骤S4-5：重复进行步骤S4-3～步骤S4-4，直至达到收敛条件，输出收敛时u、v、w的作为最优解，即可获得挖掘时的最优入挖点RW。
如图2所示：构建防碰边界包括：
三七主体结构拆解：根据三七“根-土-茎”复合图像将三七主体分别拆解成“茎-土”组合体、“主根-土”组合体、“支根-土”组合体、“茎-主根”组合体、“茎-支根”组合体等；可通过人为拆解、也可通过标记工具进行拆解；
传感信号获取：通过设置在挖掘装置上的应变片式传感器与各个组合体进行力学特性实验，获取各个组合体的传感信号；
信号转换：首先，将一维的传感信号进行连续小波变换(Continuous WaveletTransform，CWT)算法变换，得到小波系数矩阵：
式中：a、b分别表示尺度参数与平移参数；f(t)表示原始信号；表示小波基函数；
之后，对小波系数矩阵中的每个元素进行转换，得到其对应的灰度值：
式中：G(i,j)表示灰度图像中的像素值；W(i,j)表示小波系数矩阵中的元素；max(W)表示小波系数矩阵中的最大值；
通过CWT将一维传感信号中的每个元素映射为一个灰度值，进而形成灰度图像，实现传感信号与组合体图像信号之间的转换；
智能分类表生成：通过深度学习网络模型对挖掘装置作业对象识别与传感器感知信号进行对应训练，生成智能分类表；其中，深度学习网络模型采用全连接神经网络或卷积神经网络实现对传感器感知信号的特征提取与分类识别，采用决策树、支持向量机等传统的机器学习算法对挖掘装置作业对象的识别；
防碰边界构建：对三七“根-土-茎”复合图像进行边缘检测，依据智能分类表保留主根边缘，并通过八连通领域像素检测方法合并主根边缘之间的像素，从而生成防碰边界。
如图3所示：生成主根最小包围体为：首先，通过防碰边界构建，获取主根多个面的防碰边界；
然后，采用改进的迭代最近点(Iterative Closest Point，ICP)算法，生成主根最小包围体，具体为：
首先，将多个面的防碰边界的点云数据进行坐标系的归一化处理，使得每个维度的坐标值都在同一范围内；
然后，利用主成分分析(Principal Component Analysis，PCA)算法获得点云数据的主方向向量U＝(U1,U2,U3)；
之后，通过计算点云数据在主方向上的最大值Dmax与最小值Dmin获得包围体，包围体是由三个平行于主方向向量的矩形组成：
Sizei＝Dmax,i-Dmin,i，i∈1,2,3；
再将主方向最小包围体的边界转换回原始坐标系，获得包围体的位置和大小信息；
最后，采用迭代最近点算法进行点云匹配(其中，迭代最近点算法参照步骤S1-1～步骤S1-4)，通过不断迭代，将两个点云数据之间的重合度最大化，进而实现点云数据的匹配与对齐，实现主方向最小包围体的点云配准。
如图3所示：挖掘路径规划为：通过最小包围体的最低点与重心、结合最优入挖点，构成辅助平面δ，其中，最小包围体的最低点Q与重心P获取方法为：
最低点Q：
重心P：
式中：hi表示点云数据第i个点的坐标；ei表示点云数据第i个点的权重。
同时获得出土平面β，出土平面β为辅助平面δ的垂直平面；结合最优入挖点、防碰边界与出土平面，完成挖掘路径规划，即采用智能分类表作为指导、主根最小包围体作为参考基准，以防碰边界作为信号反馈，拟合多个与最小包围体相切的进挖平面，从而获得三七主根挖掘的“入土-行进-出土”的路径“RW-a-b-c-d-e-β”，如图3所示，完成三七主根的高效率、低损耗挖掘。
实施例2：
作为对本发明方案的进一步优化，在实施例1方案的基础上，防碰边界构建方法中，对三七“根-土-茎”复合图像进行边缘检测具体包括：
首先，使用高斯滤波器对三七“根-土-茎”复合图像进行滤波，减少噪声的影响；
之后，使用Sobel算子计算梯度大小和方向，具体步骤为：
将灰度图像I(x,y)的每个像素点(x,y)上、下、左、右的灰度值与Sobel算子中的系数相乘，并将它们相加得到x方向梯度Gx(x,y)与y方向梯度Gy(x,y)，具体为：
/>
获得每个像素点在x方向与y方向的梯度值。
通过上述方向梯度很获得每个像素点的梯度大小G(x,y)和梯度方向θ(x,y)，具体为：
然后，根据上述步骤中获得的梯度方向，对三七“根-土-茎”复合图像进行非极大值抑制，即保留梯度方向上的局部最大值、抑制其它方向上的值；
再根据上述步骤中获得的梯度大小，将三七“根-土-茎”复合图像像素分为边缘点和非边缘点；
例如：预设两个阈值、即高阈值与低阈值，梯度大小大于高阈值的点为强边缘点、小于低阈值的点为非边缘点，在低阈值和高阈值之间的点为弱边缘点；
最后，将弱边缘点与其他强边缘点连接，形成完整的边缘。
同时，防碰边界构建方法中，通过八连通领域像素检测方法合并主根边缘之间的像素具体包括：
首先，根据边缘检测获得的主根边缘，利用手动标定或自动标定的方法，划定边界范围；
然后，对于边界范围内的每个像素，以像素为中心取一个3x3的矩阵，并把矩阵中心的像素设为待检测像素；
之后，对矩阵中的8个相邻像素进行颜色值比对，若存在相邻像素颜色值与待检测像素颜色值不同，则该像素为边界像素，进行合并操作；
再然后，对于边界像素，将它的像素值改成与其相邻像素值相同的值，从而达到合并的目的；即把该像素设置为与其最近的相邻像素的像素值，这个相邻像素可以是八个相邻像素中的任意一个；
最后，经合并后，获得一个主根防碰的边界。
实施例3：
作为对本发明方案的进一步优化，在实施例1或实施例2方案的基础上，生成主根最小包围体中，利用主成分分析算法获得点云数据的主方向向量的方法具体为：
首先，溅射有一个包含n个点的点云数据集X＝{x1,x2,…,xn}，其中，每个点均为一个三维向量、即xi＝(x,y,z)；
然后，对点云数据进行标准化预处理(采用本领域常见的手段进行标准化预处理)，使得每个维度的均值为0、标准差为1；
再使用协方差矩阵进行主方向向量的计算：
式中，xi表示点云数据中第i个点的坐标向量；表示点云数据的均值向量；n表示点云数据中点的个数；/>
之后，对协方差矩阵进行特征值分解，将其转化为特征向量和特征值的形式：
C＝UΛUT；
式中：U表示特征向量矩阵；Λ表示对角线上的特征值矩阵；
最后，选择最大的k个特征值所对应的特征向量作为点云数据的主方向向量。

Claims (1)

1.一种精准挖掘三七主根的路径控制方法，其特征在于：包括构建三七“根-土-茎”图像、确定最优入挖点、构建防碰边界、生成主根最小包围体及挖掘路径规划；
所述构建三七“根-土-茎”图像为：拼接茎叶点云图像、建立根茎检测图像及图像相互融合，得到三七“根-土-茎”复合图像；
所述拼接茎叶点云图像具体为：采用两组双目立体视觉相机，分别从对侧进行三七茎叶部分的图像拍摄，获取两组深度图像；再采用改进的迭代最近点算法，对两组深度图像中的点云进行拼接，从而获得茎叶点云图像；
其中，改进的迭代最近点算法具体为：
步骤S1-1：对于两个待配准的点云，首先从中提取出一些特征点，作为匹配依据，特征点提取具体为：
；
式中：P表示点云中所有点的集合；或/>表示某个点p i或p j的特征向量；/>或表示p i或p j点的特征分数；/>表示被选中的具有显著特征的特征点集合；
步骤S1-2：在进行点云配准时，从特征点集合中选取稠密的点对进行匹配；一般使用基于距离的邻域搜索方法来获取稠密的点对，即假定两组点云中对应点对之间距离的均值方差相等，通过以下方法获取每个点的邻域范围：
；
式中：表示点p i与q j之间的欧式距离；r表示邻域搜索范围；N i表示与点p i相邻的点的集合；
步骤S1-3：在将稠密点对配准后、最小化这些点对之间的距离误差，使用加权平均误差衡量配准效果，具体如下：
；
式中：E表示加权平均误差；n表示点对的数量；分别表示待配准的两个点云中的对应点对；/>表示/>之间的欧式距离；w i表示权重系数、用于调整每个点对的贡献；
步骤S1-4：通过最小化加权平均误差，获得两组点云之间的刚性变换；通过采用一个4x4的矩阵表示两组点云的刚性变换，具体为：
；
式中：R表示旋转矩阵，t表示平移向量，它们通过以下逐步迭代公式获得：
；
；
式中：表示欧式范数，求解过程中进行多次迭代，直至误差趋近于0；
所述建立根茎检测图像具体为：依据电阻抗检测方法，在三七根茎部周围环插多个电阻抗传感器，采用改进的修正牛顿拉普森算法，将电阻抗传感器获取的电信号重建为图像信号，从而获得根茎检测图像；
其中，改进的修正牛顿拉普森算法具体为：
步骤S2-1：采用电阻抗成像技术将待测物体表面分为若干分离的区域，从每对电极接口处采集电压值、即电阻抗测量值；
步骤S2-2：对步骤S2-1中获取的数据进行预处理；
步骤S2-3：利用薄膜法对步骤S2-2中预处理后的电阻抗数据进行重构；通过求解欧姆定律将电阻抗表征为关于介质电导率、几何形状和电极位置的函数，通过欧姆法将其表示为关于介质电阻率的函数；再使用非线性优化算法迭代求解分布阻抗；
步骤S2-4：用改进的修正牛顿拉普森算法进行图像重建；
步骤S2-5：对步骤S2-4中的图像信号进行后处理操作，得到根茎检测图像；
所述确定最优入挖点为：通过建立挖掘函数模型，获得最优入挖点；
所述通过建立挖掘函数模型具体为：
步骤S4-1：首先，设定挖掘装置的入土角为u、边缘点坐标为（v、w），即v、w分别表示图像平面边缘点的横、纵坐标，挖掘装置消耗能量为F，则挖掘函数模型为：
；
式中：分别表示多元回归系数；
其中：
；
式中：表示拟合平面系数；/>表示平面上一个点的坐标；
步骤S4-2：随机初始化u、v、w的值；
步骤S4-3：分别计算挖掘函数模型的梯度：
；
式中：x i 、y i 、z i分别表示对应的输入变量u、v、w的值，U表示对应的输出变量；sum表示求和函数；
步骤S4-4：进行参数更新，具体为：
；
式中：表示学习率，根据实验数据获得；/>分别表示u、v、w参数更新后的值；
步骤S4-5：重复进行步骤S4-3～步骤S4-4，直至达到收敛条件，输出收敛时u、v、w的作为最优解，即可获得挖掘时的最优入挖点RW；
所述构建防碰边界包括：三七主体结构拆解、传感信号获取、信号转换、智能分类表生成及防碰边界构建；
所述生成主根最小包围体为：首先，通过防碰边界构建，获取主根多个面的防碰边界；所述三七主体结构拆解具体为：根据三七“根-土-茎”复合图像将三七主体分别拆解成“茎-土”组合体、“主根-土”组合体、“支根-土”组合体、“茎-主根”组合体、“茎-支根”组合体；
所述传感信号获取为：通过设置在挖掘装置上的应变片式传感器与各个组合体进行力学特性实验，获取各个组合体的传感信号；
所述信号转换为：
首先，将一维的传感信号进行连续小波变换算法变换，得到小波系数矩阵：
；
式中：表示小波系数矩阵；a、b分别表示尺度参数与平移参数；f(t)表示原始信号；/>表示小波基函数；
之后，对小波系数矩阵中的每个元素进行转换，得到其对应的灰度值：
；
式中：G(i,j)表示灰度图像中的像素值；W(i,j)表示小波系数矩阵中的元素；max(W)表示小波系数矩阵中的最大值；
通过连续小波变换算法将一维传感信号中的每个元素映射为一个灰度值，进而形成灰度图像，实现传感信号与组合体图像信号之间的转换；
所述智能分类表生成为：通过深度学习网络模型对挖掘装置作业对象识别与传感器感知信号进行对应训练，生成智能分类表；
所述防碰边界构建为：对三七“根-土-茎”复合图像进行边缘检测，依据智能分类表保留主根边缘，并通过八连通领域像素检测方法合并主根边缘之间的像素，从而生成防碰边界；
然后，采用改进的迭代最近点算法，生成主根最小包围体；所述采用改进的迭代最近点算法，生成主根最小包围体的方法具体为：
首先，将多个面的防碰边界的点云数据进行坐标系的归一化处理，使得每个维度的坐标值都在同一范围内；
然后，利用主成分分析算法获得点云数据的主方向向量U=（U 1 ,U 2 ,U 3 ）；U 1 、U 2 、U 3分别表示各个面的防碰撞边界的点云数据；
之后，通过计算点云数据在主方向上的最大值D max与最小值D min获得包围体，包围体是由三个平行于主方向向量的矩形组成：
；
Size i表示第i个包围体；、/>分别表示第i个D max、D min；再将主方向最小包围体的边界转换回原始坐标系，获得包围体的位置和大小信息；
最后，采用迭代最近点算法进行点云匹配，通过不断迭代，将两个点云数据之间的重合度最大化，进而实现点云数据的匹配与对齐，实现主方向最小包围体的点云配准；
所述挖掘路径规划为：通过最小包围体的最低点与重心、结合最优入挖点，构成辅助平面δ，同时获得出土平面；结合最优入挖点、防碰边界与出土平面，完成挖掘路径规划；
所述最小包围体的最低点Q与重心P获取方法为：
最低点Q：
；
重心P：
；
式中：h i表示点云数据第i个点的坐标；e i表示点云数据第i个点的权重；
所述辅助平面δ为最低点Q、重心P与最优入挖点RW组成的平面，出土平面β为辅助平面δ的垂直平面。
CN202310750342.4A 2023-06-25 2023-06-25 一种精准挖掘三七主根的路径控制方法 Active CN116703018B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310750342.4A CN116703018B (zh) 2023-06-25 2023-06-25 一种精准挖掘三七主根的路径控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310750342.4A CN116703018B (zh) 2023-06-25 2023-06-25 一种精准挖掘三七主根的路径控制方法

Publications (2)

Publication Number Publication Date
CN116703018A CN116703018A (zh) 2023-09-05
CN116703018B true CN116703018B (zh) 2024-04-19

Family

ID=87831001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310750342.4A Active CN116703018B (zh) 2023-06-25 2023-06-25 一种精准挖掘三七主根的路径控制方法

Country Status (1)

Country Link
CN (1) CN116703018B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010001223A (ja) * 2008-06-18 2010-01-07 Lion Corp グルタチオン−ｓ−トランスフェラーゼ発現促進剤
CN110226413A (zh) * 2019-06-26 2019-09-13 佛山科学技术学院 一种机器人采摘多串堆叠葡萄的方法
CN111880195A (zh) * 2020-07-10 2020-11-03 中科智云科技有限公司 基于激光雷达的塔吊防碰撞方法及其系统
CN112801022A (zh) * 2021-02-09 2021-05-14 青岛慧拓智能机器有限公司 一种无人驾驶矿卡作业区道路边界快速检测更新的方法
CN115557410A (zh) * 2022-09-23 2023-01-03 徐州建机工程机械有限公司 一种基于施工区域内三维环境建模的塔机防碰撞方法
CN218977311U (zh) * 2022-12-29 2023-05-09 云南农业大学 一种适用于粘重壤土的三七收获机挖掘铲

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010001223A (ja) * 2008-06-18 2010-01-07 Lion Corp グルタチオン−ｓ−トランスフェラーゼ発現促進剤
CN110226413A (zh) * 2019-06-26 2019-09-13 佛山科学技术学院 一种机器人采摘多串堆叠葡萄的方法
CN111880195A (zh) * 2020-07-10 2020-11-03 中科智云科技有限公司 基于激光雷达的塔吊防碰撞方法及其系统
CN112801022A (zh) * 2021-02-09 2021-05-14 青岛慧拓智能机器有限公司 一种无人驾驶矿卡作业区道路边界快速检测更新的方法
CN115557410A (zh) * 2022-09-23 2023-01-03 徐州建机工程机械有限公司 一种基于施工区域内三维环境建模的塔机防碰撞方法
CN218977311U (zh) * 2022-12-29 2023-05-09 云南农业大学 一种适用于粘重壤土的三七收获机挖掘铲

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张丹 ; 张兆国 ; 曹永辉 ; 王法安 ; .三七收获机组合式挖掘铲设计与试验.江苏大学学报(自然科学版).2017,(01),第43-49页. *

Also Published As

Publication number Publication date
CN116703018A (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
Ta et al. Nonlocal PDEs-based morphology on weighted graphs for image and data processing
CN104063702B (zh) 一种基于遮挡修复和局部相似性匹配的三维步态识别方法
Houhou et al. Fast texture segmentation based on semi-local region descriptor and active contour
CN110796694A (zh) 一种基于KinectV2的果实三维点云实时获取方法
CN112465832B (zh) 一种基于双目视觉的单面树木点云骨架线提取方法及系统
CN110070567A (zh) 一种地面激光点云配准方法
CN111047559B (zh) 一种数字病理切片异常区域快速检测的方法
CN112288859B (zh) 一种基于卷积神经网络的三维人脸建模方法
CN108230223A (zh) 基于卷积神经网络的光场角度超分辨率方法及装置
Barman et al. MRI image segmentation using level set method and implement an medical diagnosis system
Liu et al. Iterating tensor voting: A perceptual grouping approach for crack detection on EL images
CN110751680A (zh) 一种具有快速对齐算法的图像处理方法
CN113538560B (zh) 基于三维重建的叶面积指数提取方法
Behrad et al. Automatic spleen segmentation in MRI images using a combined neural network and recursive watershed transform
CN116703018B (zh) 一种精准挖掘三七主根的路径控制方法
CN109165590A (zh) 利用稀疏形态成分的高分辨率遥感图像道路提取方法
CN116663761B (zh) 一种三七中药材低损挖掘系统
CN116630217B (zh) 一种低损伤三七主根的互作感知式进挖方法
CN116663408B (zh) 一种三七最优入挖位姿的建立方法
Gauch et al. Hybrid boundary-based and region-based deformable models for biomedical image segmentation
CN113674407B (zh) 基于双目视觉图像的三维地形重建方法、装置及存储介质
Aspert et al. Time-varying segmentation for mapping of land cover changes
Patil et al. Cotton leaf image segmentation using modified factorization-based active contour method
CN112200850A (zh) 一种基于成熟特征点的orb提取方法
Wang et al. RBC image segmentation based on shape reconstruction and multi-scale surface fitting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant