CN115880674A - 一种基于无人驾驶矿车的避障转向矫正方法 - Google Patents

一种基于无人驾驶矿车的避障转向矫正方法 Download PDF

Info

Publication number
CN115880674A
CN115880674A CN202310181136.6A CN202310181136A CN115880674A CN 115880674 A CN115880674 A CN 115880674A CN 202310181136 A CN202310181136 A CN 202310181136A CN 115880674 A CN115880674 A CN 115880674A
Authority
CN
China
Prior art keywords
point
obstacle
points
mine car
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310181136.6A
Other languages
English (en)
Other versions
CN115880674B (zh
Inventor
杨扬
黎一冰
卿启林
何义华
唐勇
白超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhulan Iron Mine Branch Of Pangang Group Mining Co ltd
Pangang Group Mining Co Ltd
Shanghai Boonray Intelligent Technology Co Ltd
Original Assignee
Zhulan Iron Mine Branch Of Pangang Group Mining Co ltd
Pangang Group Mining Co Ltd
Shanghai Boonray Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhulan Iron Mine Branch Of Pangang Group Mining Co ltd, Pangang Group Mining Co Ltd, Shanghai Boonray Intelligent Technology Co Ltd filed Critical Zhulan Iron Mine Branch Of Pangang Group Mining Co ltd
Priority to CN202310181136.6A priority Critical patent/CN115880674B/zh
Publication of CN115880674A publication Critical patent/CN115880674A/zh
Application granted granted Critical
Publication of CN115880674B publication Critical patent/CN115880674B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及智能控制技术领域，具体涉及一种基于无人驾驶矿车的避障转向矫正方法，该方法包括：采集无人驾驶矿车运动时前方的灰度图像，获取灰度图像中的保留点；基于像素点之间的灰度值差异和深度值差异构建聚类距离度量公式，进而获取每个保留点及其邻域像素点对应的至少两个类别；获取保留点对应的每个类别的混乱程度，以得到保留点为实际边缘点的概率并得到所有的实际边缘点；根据灰度图像中所有的实际边缘点得到边缘线并进行修补得到障碍物轮廓，基于障碍物轮廓获取障碍物特征点，判断是否为动态障碍物，从而根据动态障碍物的运动信息规划无人驾驶矿车的避障策略；障碍物获取的更加准确，且保证了无人驾驶矿车避障的可靠和及时。

Description

一种基于无人驾驶矿车的避障转向矫正方法
技术领域
本发明涉及智能控制技术领域，具体涉及一种基于无人驾驶矿车的避障转向矫正方法。
背景技术
随着经济的快速发展，对矿产资源的需要也随之变大，因而对于矿山的开发也越来越重要，无人驾驶矿车的使用不仅提高了采矿效率，同时也降低了恶劣开采环境对人们的危害，而由于露天矿场的地形十分复杂，为了无人矿车能够顺利运行，矿车上往往设置有障碍物检测系统，用于对路面上的障碍物进行检测，以完成无人驾驶矿车的避障。
现有常用全局路径规划算法为无人驾驶矿车在执行全局路径的过程中进行路径规划，但当无人驾驶矿车在路径上遇到新的静态障碍物或者动态障碍物，例如人的静止或移动等情况，全局路径规划的方法无法确保无人驾驶矿车可以准确的到达目标点位，因此往往需要局部路径规划；而局部路径规划往往是基于DWA算法进行的，传统的DWA算法在进行规划时对动态障碍物的识别和避障效果仍然较差，使得无人驾驶矿车在路面移动时无法准确的对所有障碍物进行躲避，工作效率低且存在一定程度的危险。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于无人驾驶矿车的避障转向矫正方法，所采用的技术方案具体如下：
本发明一个实施例提供了一种基于无人驾驶矿车的避障转向矫正方法，该方法包括以下步骤：
采集无人驾驶矿车运动时的前方的灰度图像，获取灰度图像中每个像素点的深度值以及所有的边缘像素点，以选取灰度图像中的保留点；
基于像素点之间的灰度值差异和深度值差异构建聚类距离度量公式，基于聚类距离获取每个保留点及其邻域像素点对应的至少两个类别；获取保留点对应的每个类别的混乱程度，以得到保留点为实际边缘点的概率，根据所述概率得到灰度图像中所有的实际边缘点；
根据灰度图像中所有的实际边缘点得到边缘线，根据边缘线之间的像素点对所述边缘线进行修补得到障碍物轮廓，并基于所述障碍物轮廓获取障碍物特征点；
根据至少两帧灰度图像中的障碍物特征点识别动态障碍物，根据所述动态障碍物的运动信息以及所述无人驾驶矿车的运动信息，规划所述无人驾驶矿车的避障策略。
优选的，所述基于像素点之间的灰度值差异和深度值差异构建聚类距离度量公式的步骤，包括：
获取像素点之间的深度差值绝对值以及灰度差值绝对值，以深度差值绝对值的负数和灰度差值绝对值的负数分别作为指数，以自然常数为底构建对应的指数函数；
深度差值绝对值的负数对应的指数函数与灰度差值绝对值的负数对应的指数函数的平均值为聚类距离。
优选的，所述获取保留点对应的每个类别的混乱程度的步骤，包括：
计算保留点所在类别内不同灰度级的数量以及不同深度值的数量；
根据类别内每个像素点的灰度值、深度值、不同灰度级的数量以及不同深度值的数量获取混乱程度，所述混乱程度的计算为：
Figure SMS_1
其中，
Figure SMS_3
表示保留点q所在类别的混乱程度；
Figure SMS_5
表示保留点q的灰度值；
Figure SMS_8
表示保 留点q所在类别内第
Figure SMS_4
个像素点的灰度值；
Figure SMS_7
表示保留点q的深度值；
Figure SMS_10
表示保留点q所在类 别内第
Figure SMS_11
个像素点的深度值；
Figure SMS_2
表示保留点q所在类别中像素点的数量；
Figure SMS_6
表示保留点q所 在类别内出现的不同灰度级的数量；
Figure SMS_9
表示保留点q所在类别内出现的不同深度值的数 量。
优选的，所述保留点为实际边缘点的概率的获取步骤，包括：
获取保留点对应类别的混乱程度的最大值，以及保留点对应类别之间混乱程度的差值绝对值；
根据所述差值绝对值以及所述最大值得到概率；所述概率与所述差值绝对值呈正相关关系，所述概率与所述最大值呈负相关关系。
优选的，所述根据边缘线之间的像素点对所述边缘线进行修补得到障碍物轮廓的步骤，包括：
获取两条边缘线距离最近的两个端点之间的待生长区域，所述待生长区域中每个像素点为待生长像素点；
计算待生长区域中每相邻两个待生长像素点之间的差异程度，根据所述差异程度得到待生长区域中的生长点，以得到两条边缘线之间的待生长区域内的生长边缘线；
若存在多条生长边缘线，根据每条生长边缘线上每个生长边缘点为实际边缘的概率以及生长边缘点与端点之间的差异程度得到优选值，所述优选值与每个生长边缘点为实际边缘的概率呈正相关关系，所述优选值与生长边缘点对应的差异程度呈负相关关系；
所述优选值最大的生长边缘线为真实生长边缘线；基于所述真实生长边缘线对两条边缘线连接得到障碍物轮廓。
优选的，所述基于所述障碍物轮廓获取障碍物特征点的步骤，包括：
计算所述障碍物轮廓内每个像素点与所述障碍物轮廓上轮廓像素点之间的欧式距离，获取所述障碍物轮廓内每个像素点对应的欧式距离之和，所述欧式距离之和最小时对应的像素点为特征点。
优选的，所述获取灰度图像中每个像素点的深度值以及所有的边缘像素点，以选取灰度图像中的保留点的步骤，包括：
统计灰度图像中每个深度值对应的所有边缘像素点的数量，选取边缘像素点的数量大于预设数量阈值的深度值为保留值，所述保留值对应的所有边缘像素点为保留点。
优选的，所述基于聚类距离获取每个保留点及其邻域像素点对应的至少两个类别的步骤，包括：
选取所述保留点的邻域范围内与所述保留点的灰度差值最大的邻域像素点记为w；以所述保留点和邻域像素点w为初始聚类中心，分别计算保留点的邻域范围内每个邻域像素点与所述保留点之间的聚类距离，以及每个邻域像素点与邻域像素点w之间的聚类距离；
对于任意邻域像素点，若邻域像素点与保留点之间的聚类距离大于等于邻域像素点与邻域像素点w之间的聚类距离，则该邻域像素点与所述保留点为同一类别。
优选的，所述根据至少两帧灰度图像中的障碍物特征点识别动态障碍物的步骤，包括：
根据两帧灰度图像中障碍物特征点的位置变化得到障碍物的运动速度；获取两帧灰度图像中障碍物特征点的深度差值，计算深度差值与两帧灰度图像采集的时间间隔的比值，该比值与障碍物的运动速度的差值为深度信息变化速率；
当两帧灰度图像中障碍物的运动速度为零但深度信息变化速率不为零时，障碍物为动态障碍物；
当两帧灰度图像中障碍物的运动速度不为零时，障碍物为动态障碍物。
优选的，所述根据所述动态障碍物的运动信息以及所述无人驾驶矿车的运动信息，规划所述无人驾驶矿车的避障策略的步骤，包括：
根据两帧灰度图像中动态障碍物的障碍物特征点的位置变化得到运动方向，获取无人驾驶矿车的运动方向，判断障碍物的运动方向与无人驾驶矿车的运动方向是否存在交叉；
若存在，判断无人驾驶矿车在预计交叉的时间前是否可以加速通过动态障碍物，若不能加速通过，则获取在预计交叉的时间的前两秒时无人驾驶矿车的位置以及动态障碍物的运动方向，控制无人驾驶矿车进行转向，以避开动态障碍物。
本发明具有如下有益效果：通过对像素点之间的深度信息和灰度信息构建聚类距离度量公式，根据自定义的聚类距离度量公式对保留点及其邻域像素点进行类别划分，像素点特征信息的考虑更加全面，相较于单一指标的度量更加准确；获取每个类别的混乱程度，以根据每个保留点对应的类别之间的混乱程度进行实际边缘点的概率的获取，确保了实际边缘点获取的准确性，进而保证了后续根据实际边缘点的边缘线获取障碍物的准确性；同时，在获取实际边缘点的边缘线之后，对边缘线进行修补得到的障碍物轮廓更加完整，基于更加准确完整的障碍物轮廓对无人驾驶矿车的避障策略分析，结果更加可靠且具有说服力；并且在实际边缘像素点获取之前，通过灰度图像中像素点的深度值选取出其中的保留点进行分析，减少了不必要的计算量，提高了避障转向分析过程中的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于无人驾驶矿车的避障转向矫正方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于无人驾驶矿车的避障转向矫正方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
本申请适用于对无人驾驶矿车运行时避障的场景，为解决现有对障碍物分析不够准确导致无人驾驶矿车避障不及时的问题，通过对灰度图像中实际边缘像素点的获取得到更加准确的障碍物轮廓，进而规划无人驾驶矿车的行驶路径；下面结合附图具体的说明本发明所提供的一种基于无人驾驶矿车的避障转向矫正方法的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种基于无人驾驶矿车的避障转向矫正方法流程图，该方法包括以下步骤：
步骤S100，采集无人驾驶矿车运动时的前方的灰度图像，获取灰度图像中每个像素点的深度值以及所有的边缘像素点，以选取灰度图像中的保留点。
无人驾驶矿车的工作环境往往较为恶劣，因此在进行障碍物识别时的精度往往较低，在实际行驶过程中可能会遇到路面上新增的静止障碍物或者动态障碍物，导致矿车无法及时的进行躲避，甚至可能会导致无人驾驶矿车相撞，因此需要对无人驾驶矿车的行驶过程进行合理的规划。
本发明实施例中通过无人驾驶矿车上的光学摄像头进行图像的采集，得到无人驾驶矿车运行前方的多帧连续的前方图像，采集得到的图像为RGB图像，为了减少后续计算量，将前方图像进行加权灰度化处理得到对应的灰度图像；前方图像的采集数量由实施者根据实际情况确定，加权灰度化处理为现有公知技术，不再赘述。
将无人驾驶矿车在运动空间的位置变化利用速度和角速度表示，通过选择能够使无人驾驶矿车安全避开所有障碍物的速度和角速度进行局部路径规划；而决定无人驾驶矿车运动参数的选择条件一般是由两个部分组成，一个是无人驾驶矿车自身的运动限制，另一个是实际环境中的障碍物信息；因此可获取无人驾驶矿车对应的运动参数，本发明实施例中运动参数包括：坐标、航向角、线速度、角速度、线加速度以及角加速度；根据障碍物的信息对无人驾驶矿车的运动参数进行调整以达到避障的目的。
在实现无人驾驶矿车的避障过程中，最主要的因素就是识别出障碍物所在位置，本发明实施例中通过获取障碍物的边缘对无人驾驶矿车的运动参数进行调整，因此障碍物的边缘的准确获取直接影响到无人驾驶矿车避障的准确性。
进一步的，首先对无人驾驶矿车前的前方图像对应的灰度图像进行处理，对每帧灰度图像进行边缘检测得到其中的边缘像素点，本发明实施例中边缘检测的方法采用canny边缘算子检测，进而得到灰度图像中的边缘像素点。
然后，根据无人驾驶矿车对应的雷达数据获取灰度图像中每个边缘像素点的深度信息，根据边缘像素点对应的深度信息对所有的边缘像素点进行初步的分类，本实施例中每个边缘像素点的深度信息是指每个边缘像素点的深度值，深度值也即是无人驾驶矿车到该像素点位置之间的实际距离，获取方法为现有公知技术，不再赘述。
由于无人驾驶矿车的工作环境往往较为恶劣，因此利用canny边缘算子检测出的边缘像素点并非是准确的边缘像素点，且边缘像素点中包括了其他物体的边缘，而影响到无人驾驶矿车实际运行的障碍物的体积往往较大，因此根据不同深度值下对应的边缘像素点的数量对所有的边缘像素点进行初步区分，本发明实施例中通过设置数量阈值T进行筛选，当同一个深度值下的边缘像素点的数量大于该数量阈值T时，则说明该深度值下边缘像素点的数量较多，为障碍物的边缘像素点的可能性较大，将该深度值记为保留值，保留值对应的边缘像素点记为保留点；当同一个深度值下的边缘像素点的数量不大于该数量阈值T时，则说明该深度值下边缘像素点的数量较少，为障碍物的边缘像素点的可能性越小，将该深度值下的边缘像素点记为排除点。
作为优选，本发明实施例中设置数量阈值T为150，在其他实施例中实施者可根据现场实际情况进行数量阈值的设置；则通过对灰度图像中所有边缘像素点与该数量阈值的比较判断，可知该灰度图像中是否存在可能的障碍物，若不存在，则该灰度图像不用继续分析，若存在，则对灰度图像中所有保留点继续进行分析，以准确的获取障碍物的信息。
步骤S200，基于像素点之间的灰度值差异和深度值差异构建聚类距离度量公式，基于聚类距离获取每个保留点及其邻域像素点对应的至少两个类别；获取保留点对应的每个类别的混乱程度，以得到保留点为实际边缘点的概率，根据概率得到灰度图像中所有的实际边缘点。
由步骤S100中对每帧前方图像的灰度图像进行初步分析得到其中的边缘像素点，并对所有的边缘像素点进行初步筛选得到其中的保留点，进而对每个保留点进行分析，确定该保留点是否为实际的边缘像素点。
首先，以任意一个保留点q为例，获取该保留点q的邻域范围内的像素点，本发明实施例中的邻域范围是指以保留点q为中心的5*5窗口内的范围，该邻域范围内的所有像素点记为该保留点q的邻域像素点，且每个邻域像素点都具备灰度值和深度值两个特征。
然后，对保留点对应的邻域像素点进行聚类，本发明实施例中聚类的方法采用自适应的K-means均值聚类，设置类别K=2，也即是将保留点q和保留点q的邻域范围内的邻域像素点聚类为两个类别；选取两个初始聚类中心点分别为保留点q、与该保留点q的灰度差值最大的邻域像素点，将与保留点q的灰度差值最大的邻域像素点记为w，则自适应的K-means均值聚类的两个初始聚类中心点即为保留点q和邻域像素点w。
进一步的，设定自适应的K-means均值聚类中的聚类距离，聚类距离度量公式如下：
Figure SMS_12
其中，
Figure SMS_14
表示聚类距离；
Figure SMS_16
表示保留点q的深度值；
Figure SMS_18
表示保留点q的邻域范围内第
Figure SMS_15
个邻域像素点的深度值；
Figure SMS_17
表示保留点q的灰度值；
Figure SMS_19
表示保留点q的邻域范围内第
Figure SMS_20
个邻域 像素点的灰度值；
Figure SMS_13
表示自然常数。
当邻域范围内的邻域像素点的深度值与该保留点q的深度值之间的差异越小，说明两个像素点之间的深度信息越接近；同时，当邻域范围内的邻域像素点的灰度值与该保留点q的灰度值之间的差异越小，说明两个像素点之间的灰度信息越接近，当两个像素点的灰度信息以及深度信息均较为接近时，表明两个像素点之间越相似，越应该处于同一类别，则对应的聚类距离越大。
基于聚类距离度量公式计算保留点q的邻域范围内每个邻域像素点与保留点q之 间的聚类距离，同时计算保留点q的邻域范围内每个邻域像素点与邻域像素点w之间的聚类 距离；基于聚类距离完成K-means均值聚类，具体聚类过程为现有公知技术；作为一个示例， 计算出保留点q与其邻域范围内的第
Figure SMS_22
个邻域像素点之间的聚类距离为
Figure SMS_25
，保留点q的邻域 范围内第
Figure SMS_28
个邻域像素点与邻域像素点w之间的聚类距离为
Figure SMS_23
，判断聚类距离
Figure SMS_26
与聚类距 离
Figure SMS_29
之间的大小：当
Figure SMS_31
时，说明保留点q与其邻域范围内第
Figure SMS_21
个邻域像素点之间越相 似，即灰度信息与深度信息越接近，因此邻域范围内第
Figure SMS_24
个邻域像素点属于保留点q所在类 别；反之，当
Figure SMS_27
时，邻域范围内第
Figure SMS_30
个邻域像素点属于邻域像素点w所在的类别。
基于此，对每个保留点的邻域范围内的邻域像素点进行自适应的K-means均值聚类得到两个类别，进一步分别计算两个类别之间的混乱程度，以两个类别的混乱程度进一步分析该保留点是否为实际边缘点，首先获取每个保留点所对应的类别内像素点的混乱程度，以保留点q为例，保留点q所在类别的混乱程度的计算为：
Figure SMS_32
其中，
Figure SMS_34
表示保留点q所在类别的混乱程度；
Figure SMS_37
表示保留点q的灰度值；
Figure SMS_41
表示保 留点q所在类别内第
Figure SMS_35
个像素点的灰度值；
Figure SMS_38
表示保留点q的深度值；
Figure SMS_40
表示保留点q所在类 别内第
Figure SMS_42
个像素点的深度值；
Figure SMS_33
表示保留点q所在类别中像素点的数量；
Figure SMS_36
表示保留点q所 在类别内出现的不同灰度级的数量；
Figure SMS_39
表示保留点q所在类别内出现的不同深度值的数 量。
Figure SMS_43
表示了保留点q所在类别中每个像素点与保留点q之间的灰度差异，该项 取值越大，说明该类别内像素点的灰度信息越不一致，混乱程度越大；
Figure SMS_44
反映了保留 点q所在类别中每个像素点与保留点q之间的深度差异，该项取值越大，说明该类别内像素 点的深度信息越不一致，混乱程度越大；同时，当保留点所在类别中不同灰度级出现的数量 以及不同深度值出现的数量越多时，说明类别内像素点的灰度信息和深度信息较为复杂， 对应的混乱程度越大。
基于计算保留点q所在类别的混乱程度
Figure SMS_45
相同的方法，计算保留点q的邻域范围 内以邻域像素点w为初始聚类中心点的类别的混乱程度
Figure SMS_46
；对于实际边缘点而言，其邻域 范围内一定存在与其具有明显差异的像素点，因此根据保留点所在类别的混乱程度与邻域 范围内另一类别的混乱程度进行概率的计算，该概率表示保留点为实际边缘点的概率，以 保留点q为例，保留点q为实际边缘点的概率的计算为：
Figure SMS_47
其中，
Figure SMS_48
表示保留点q为实际边缘点的概率；
Figure SMS_49
表示邻域像素点w所在类别的混乱 程度；
Figure SMS_50
表示保留点q所在类别的混乱程度；
Figure SMS_51
表示最大值函数；
Figure SMS_52
表示绝对值计算。
当保留点q所在类别中的混乱程度与邻域像素点w所在类别中的混乱程度的差异 越大时，也即是
Figure SMS_53
的取值越大时，表明两个类别之间的灰度信息和深度信息的差 异均比较明显，因此保留点q为实际边缘点的概率越大；
Figure SMS_54
作为对保留点q为实际边 缘的概率计算的调整系数，确保结果更加合理可靠；
Figure SMS_55
用于归一化处理，使得 概率取值处于0-1之间。
以此类推，获取每个保留点为实际边缘点的概率，本发明实施例中设置概率阈值
Figure SMS_56
，当保留点为实际边缘点的概率不小于该概率阈值时，该保留点为实际边缘点；反 之，当保留点为实际边缘点的概率小于概率阈值时，该保留点为干扰边缘点；由此得到每帧 灰度图像中所有的实际边缘点。
步骤S300，根据灰度图像中所有的实际边缘点得到边缘线，根据边缘线之间的像素点对边缘线进行修补得到障碍物轮廓，并基于障碍物轮廓获取障碍物特征点。
由步骤S200中得到每帧灰度图像中的所有实际边缘点，利用所有的实际边缘点获取灰度图像中障碍物的轮廓，将相邻的实际边缘点进行连接获取对应的边缘线，边缘线可能存在多条，且边缘线可能会存在断裂现象，导致边缘线无法得到完整的障碍物轮廓，因此需要对存在断裂的边缘线进行修补，以得到完整的障碍物轮廓。
具体的，获取两条相邻边缘线上的距离最近的两个端点，将其中一个端点记为端点a，另一个记为端点b，端点a和端点b分别属于不同的边缘线；在端点a与端点b之间进行区域生长，以达到修补的目的；本发明实施例中端点a与端点b之间的范围是：连接端点a与端点b得到直线，该直线上每个像素点的3*3范围即为端点a与端点b之间的范围，也即是待生长区域，且直线上每个像素点的3*3范围内的像素点均为待生长像素点。
区域生长的准则为：计算端点a与端点b之间待生长像素点与两个端点处的差异得到差异程度，以待生长像素点c为例，待生长像素点c是与端点a相邻且处于端点a与端点b之间的像素点，差异程度的计算为：
Figure SMS_57
其中，
Figure SMS_59
表示差异程度；
Figure SMS_61
表示待生长像素点c的灰度值；
Figure SMS_63
表示端点a的灰度值；
Figure SMS_60
表示端点b的灰度值；
Figure SMS_62
表示待生长像素点c的深度值；
Figure SMS_64
表示端点a的深度值；
Figure SMS_65
表示端 点b的深度值；
Figure SMS_58
表示自然常数。
当待生长像素点c的灰度值与端点a和端点b之间的灰度值越接近，且待生长像素 点c的深度值与端点a和端点b之间的深度值越接近时，该待生长像素点越可能为区域生长 的像素点，也即是
Figure SMS_66
与
Figure SMS_67
的取值越小时，该待生长像素点c越可 能为区域生长的像素点，则其对应的差异程度
Figure SMS_68
越小，待生长像素点越可能为区域生长的像 素点。
本发明实施例中设定差异阈值
Figure SMS_69
，当待生长像素点对应的差异程度的取值 不大于差异阈值0.2时，则该待生长像素点为区域生长的像素点；假设待生长像素点c为区 域生长的像素点，则对于待生长像素点c相邻的且处于端点a与端点b之间的待生长像素点d 继续进行差异程度的计算，在对待生长像素点d进行差异程度的计算与待生长像素点c的差 异程度计算不同的是，公式中的
Figure SMS_70
修改为
Figure SMS_71
，公式中的
Figure SMS_72
修改为
Figure SMS_73
；以此类推，直至区域生 长达到端点b为止。
需要说明的是，本发明实施例中设置的差异阈值0.2是为了使得边缘线能够顺利修补，若在待生长像素点的差异程度的计算过程中存在不满足差异阈值0.2的像素点，则表明两条边缘线并非为同一个障碍物的边缘线，无需进行修补；若在待生长像素点的差异程度的计算过程中存在多个方向的生长点，则可以得到端点a与端点b之间的多条生长边缘线，需要从多条生长边缘线中选出最符合边缘物体特征的生长边缘线，作为修补两条边缘线之间的真实的生长边缘线。
具体的，计算每条生长边缘线作为真实生长边缘线的优选值，优选值的计算为：
Figure SMS_74
其中，
Figure SMS_75
表示优选值；
Figure SMS_76
表示生长边缘线上第
Figure SMS_77
个生长边缘点与端点之间的差异 程度；
Figure SMS_78
表示生长边缘线上第
Figure SMS_79
个生长边缘点为实际边缘点的概率；
Figure SMS_80
表示生长边缘线上 所有生长边缘点的数量。
当生长边缘点为实际边缘点的概率越大，也即是该生长边缘线越符合实际边缘线的特征时，其对应的优选值越大，同时，当生长边缘线上每个生长边缘点与端点之间的差异程度越小时，表明其与端点对应的边缘越相似，生长边缘线对应的优选值越大。
计算所有生长边缘线对应的优选值，选取优选值最大的生长边缘线为真实生长边缘点，则根据真实生长边缘线对断裂的边缘线进行修补得到完整的边缘线，进而得到了灰度图像中完整的障碍物轮廓。
进一步的，根据得到的障碍物轮廓进行障碍物的特征点的提取，具体方法为：选取障碍物轮廓的区域内的任意一个像素点，计算该像素点与障碍物轮廓上每个轮廓像素点之间的欧式距离，获取该像素点到障碍轮廓上所有轮廓像素点的欧式距离之和；计算障碍物轮廓的区域内每个像素点对应的欧式距离之和，欧式距离之和最小时对应的像素点为障碍物的特征点。
步骤S400，根据至少两帧灰度图像中的障碍物特征点识别动态障碍物，根据动态障碍物的运动信息以及无人驾驶矿车的运动信息，规划无人驾驶矿车的避障策略。
步骤S300中得到了障碍物轮廓以及障碍物的特征点；然后基于同样的方法对多帧前方图像对应的灰度图像中障碍物特征点进行获取，根据障碍物特征点的位置变化与深度值变化判断该障碍物是动态障碍物还是静态障碍物；若不同灰度图像中障碍物特征点仅是深度值发生变化，且深度值的变化符合当前无人驾驶矿车的速率，则该障碍物为静态障碍物；若不同灰度图像中障碍物特征点仅是深度值发生变化，但深度值的变化不符合当前无人驾驶矿车的速率，或者障碍物特征点的位置也发生变化，则该障碍物为动态障碍物；本发明实施例中默认在识别障碍物过程中，无人驾驶矿车按照直线运行。
对于动态障碍物判断过程中特征点的位置变化和深度变化，可得到障碍物的运动方向与运动速度，具体方法为：
获取动态障碍物在相邻两帧灰度图像中特征点的位置信息和深度信息，将特征点 在第一帧灰度图像中的坐标记为
Figure SMS_83
，特征点在第二帧灰度图像中的坐标记为
Figure SMS_86
， 则可获得障碍物的运动速度为：
Figure SMS_89
；其中，
Figure SMS_82
表示障碍物的运动速度；
Figure SMS_85
表示两帧灰度图像的采样时间间隔；则运动方向为
Figure SMS_88
；其中，
Figure SMS_91
表示反 正切函数计算。进而获取特征点的深度信息变化速率为
Figure SMS_81
；其中，
Figure SMS_84
表示特征点 在第二帧灰度图像中的深度值；
Figure SMS_87
表示特征点在第一帧灰度图像中的深度值；
Figure SMS_90
的正负符号 表征了深度信息上的运动方向，若为正，则在深度信息方向上与矿车运动方向相同，若为 负，则相反，为0则在深度信息方向上相对静止，将两个矢量进行相加，得到了动态障碍物的 运动矢量，其中矢量的大小表示了动态障碍物的运动速率，方向表征了动态障碍物的方向。
需要说明的是，在判断静态障碍物时，深度值的变化不符合当前无人驾驶矿车的 速率即是指障碍物的运动速度
Figure SMS_92
，但深度信息变化速率为
Figure SMS_93
。
进一步的，判断动态障碍物的运动方向与无人驾驶矿车的运动方向是否出现交 叉，若不存在交叉，则该动态障碍物对无人驾驶矿车的运行无影响；若存在交叉，则进行后 续分析：获取无人驾驶矿车的线速度v以及动态障碍物的运动速度
Figure SMS_94
，本发明实施例中的动 态障碍物是指人类或某些物体，且呈现直线匀速运动；获取交叉点的位置与当前无人驾驶 矿车之间的距离以及预计交叉所需要的时间；对无人驾驶矿车的状态进行评估，判断无人 驾驶矿车是否能够加速通过交叉点不发生碰撞，评估判断方法为运动学公知手段，不再赘 述；若判断无人驾驶矿车不能加速安全通过，则获取预计交叉时间的前两秒的无人驾驶矿 车的位置以及障碍物特征点的角度信息，提前控制无人驾驶矿车进行转向，以使得无人驾 驶矿车可以安全通过该动态障碍物。
综上所述，本发明实施例通过采集无人驾驶矿车运动时的前方的灰度图像，获取灰度图像中每个像素点的深度值以及所有的边缘像素点，根据深度值以及边缘像素点选取灰度图像中的保留点；基于像素点之间的灰度值差异和深度值差异构建聚类距离度量公式，基于聚类距离对灰度图像中每个保留点及其邻域像素点进行聚类得到至少两个类别，获取每个类别的混乱程度，基于混乱程度获取每个保留点为实际边缘点的概率，以得到灰度图像中所有的实际边缘点；根据灰度图像中所有的实际边缘点得到至少一条边缘线，根据边缘线之间的像素点对边缘线进行修补以得到障碍物轮廓，并基于障碍物轮廓获取障碍物特征点；根据至少两帧灰度图像中的障碍物特征点识别动态障碍物，根据动态障碍物的运动信息以及无人驾驶矿车的运动信息，规划无人驾驶矿车的避障策略；通过获取更加准确的障碍物信息进行分析，使得无人驾驶矿车的避障策略可行性更高，结果更加准确。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于无人驾驶矿车的避障转向矫正方法，其特征在于，该方法包括以下步骤：
采集无人驾驶矿车运动时的前方的灰度图像，获取灰度图像中每个像素点的深度值以及所有的边缘像素点，以选取灰度图像中的保留点；
基于像素点之间的灰度值差异和深度值差异构建聚类距离度量公式，基于聚类距离获取每个保留点及其邻域像素点对应的至少两个类别；获取保留点对应的每个类别的混乱程度，以得到保留点为实际边缘点的概率，根据所述概率得到灰度图像中所有的实际边缘点；
根据灰度图像中所有的实际边缘点得到边缘线，根据边缘线之间的像素点对所述边缘线进行修补得到障碍物轮廓，并基于所述障碍物轮廓获取障碍物特征点；
根据至少两帧灰度图像中的障碍物特征点识别动态障碍物，根据所述动态障碍物的运动信息以及所述无人驾驶矿车的运动信息，规划所述无人驾驶矿车的避障策略。
2.根据权利要求1所述的一种基于无人驾驶矿车的避障转向矫正方法，其特征在于，所述基于像素点之间的灰度值差异和深度值差异构建聚类距离度量公式的步骤，包括：
获取像素点之间的深度差值绝对值以及灰度差值绝对值，以深度差值绝对值的负数和灰度差值绝对值的负数分别作为指数，以自然常数为底构建对应的指数函数；
深度差值绝对值的负数对应的指数函数与灰度差值绝对值的负数对应的指数函数的平均值为聚类距离。
3.根据权利要求1所述的一种基于无人驾驶矿车的避障转向矫正方法，其特征在于，所述获取保留点对应的每个类别的混乱程度的步骤，包括：
计算保留点所在类别内不同灰度级的数量以及不同深度值的数量；
根据类别内每个像素点的灰度值、深度值、不同灰度级的数量以及不同深度值的数量获取混乱程度，所述混乱程度的计算为：
Figure QLYQS_1
；
其中，
Figure QLYQS_3
表示保留点q所在类别的混乱程度；/>
Figure QLYQS_6
表示保留点q的灰度值；/>
Figure QLYQS_9
表示保留点q所在类别内第/>
Figure QLYQS_4
个像素点的灰度值；/>
Figure QLYQS_7
表示保留点q的深度值；/>
Figure QLYQS_10
表示保留点q所在类别内第
Figure QLYQS_11
个像素点的深度值；/>
Figure QLYQS_2
表示保留点q所在类别中像素点的数量；/>
Figure QLYQS_5
表示保留点q所在类别内出现的不同灰度级的数量；/>
Figure QLYQS_8
表示保留点q所在类别内出现的不同深度值的数量。
4.根据权利要求1所述的一种基于无人驾驶矿车的避障转向矫正方法，其特征在于，所述保留点为实际边缘点的概率的获取步骤，包括：
获取保留点对应类别的混乱程度的最大值，以及保留点对应类别之间混乱程度的差值绝对值；
根据所述差值绝对值以及所述最大值得到概率；所述概率与所述差值绝对值呈正相关关系，所述概率与所述最大值呈负相关关系。
5.根据权利要求1所述的一种基于无人驾驶矿车的避障转向矫正方法，其特征在于，所述根据边缘线之间的像素点对所述边缘线进行修补得到障碍物轮廓的步骤，包括：
获取两条边缘线距离最近的两个端点之间的待生长区域，所述待生长区域中每个像素点为待生长像素点；
计算待生长区域中每相邻两个待生长像素点之间的差异程度，根据所述差异程度得到待生长区域中的生长点，以得到两条边缘线之间的待生长区域内的生长边缘线；
若存在多条生长边缘线，根据每条生长边缘线上每个生长边缘点为实际边缘的概率以及生长边缘点与端点之间的差异程度得到优选值，所述优选值与每个生长边缘点为实际边缘的概率呈正相关关系，所述优选值与生长边缘点对应的差异程度呈负相关关系；
所述优选值最大的生长边缘线为真实生长边缘线；基于所述真实生长边缘线对两条边缘线连接得到障碍物轮廓。
6.根据权利要求1所述的一种基于无人驾驶矿车的避障转向矫正方法，其特征在于，所述基于所述障碍物轮廓获取障碍物特征点的步骤，包括：
计算所述障碍物轮廓内每个像素点与所述障碍物轮廓上轮廓像素点之间的欧式距离，获取所述障碍物轮廓内每个像素点对应的欧式距离之和，所述欧式距离之和最小时对应的像素点为特征点。
7.根据权利要求1所述的一种基于无人驾驶矿车的避障转向矫正方法，其特征在于，所述获取灰度图像中每个像素点的深度值以及所有的边缘像素点，以选取灰度图像中的保留点的步骤，包括：
统计灰度图像中每个深度值对应的所有边缘像素点的数量，选取边缘像素点的数量大于预设数量阈值的深度值为保留值，所述保留值对应的所有边缘像素点为保留点。
8.根据权利要求1所述的一种基于无人驾驶矿车的避障转向矫正方法，其特征在于，所述基于聚类距离获取每个保留点及其邻域像素点对应的至少两个类别的步骤，包括：
选取所述保留点的邻域范围内与所述保留点的灰度差值最大的邻域像素点记为w；以所述保留点和邻域像素点w为初始聚类中心，分别计算保留点的邻域范围内每个邻域像素点与所述保留点之间的聚类距离，以及每个邻域像素点与邻域像素点w之间的聚类距离；
对于任意邻域像素点，若邻域像素点与保留点之间的聚类距离大于等于邻域像素点与邻域像素点w之间的聚类距离，则该邻域像素点与所述保留点为同一类别。
9.根据权利要求1所述的一种基于无人驾驶矿车的避障转向矫正方法，其特征在于，所述根据至少两帧灰度图像中的障碍物特征点识别动态障碍物的步骤，包括：
根据两帧灰度图像中障碍物特征点的位置变化得到障碍物的运动速度；获取两帧灰度图像中障碍物特征点的深度差值，计算深度差值与两帧灰度图像采集的时间间隔的比值，该比值与障碍物的运动速度的差值为深度信息变化速率；
当两帧灰度图像中障碍物的运动速度为零但深度信息变化速率不为零时，障碍物为动态障碍物；
当两帧灰度图像中障碍物的运动速度不为零时，障碍物为动态障碍物。
10.根据权利要求1所述的一种基于无人驾驶矿车的避障转向矫正方法，其特征在于，所述根据所述动态障碍物的运动信息以及所述无人驾驶矿车的运动信息，规划所述无人驾驶矿车的避障策略的步骤，包括：
根据两帧灰度图像中动态障碍物的障碍物特征点的位置变化得到运动方向，获取无人驾驶矿车的运动方向，判断障碍物的运动方向与无人驾驶矿车的运动方向是否存在交叉；
若存在，判断无人驾驶矿车在预计交叉的时间前是否可以加速通过动态障碍物，若不能加速通过，则获取在预计交叉的时间的前两秒时无人驾驶矿车的位置以及动态障碍物的运动方向，控制无人驾驶矿车进行转向，以避开动态障碍物。
CN202310181136.6A 2023-03-01 2023-03-01 一种基于无人驾驶矿车的避障转向矫正方法 Active CN115880674B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310181136.6A CN115880674B (zh) 2023-03-01 2023-03-01 一种基于无人驾驶矿车的避障转向矫正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310181136.6A CN115880674B (zh) 2023-03-01 2023-03-01 一种基于无人驾驶矿车的避障转向矫正方法

Publications (2)

Publication Number Publication Date
CN115880674A true CN115880674A (zh) 2023-03-31
CN115880674B CN115880674B (zh) 2023-05-23

Family

ID=85761718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310181136.6A Active CN115880674B (zh) 2023-03-01 2023-03-01 一种基于无人驾驶矿车的避障转向矫正方法

Country Status (1)

Country Link
CN (1) CN115880674B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117218029A (zh) * 2023-09-25 2023-12-12 南京邮电大学 基于神经网络的夜间暗光图像智能处理方法
CN117786439A (zh) * 2024-02-23 2024-03-29 艾信智慧医疗科技发展（苏州）有限公司 医用搬运机器人视觉智能导航系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015075085A1 (fr) * 2013-11-19 2015-05-28 Sysnav Procédé d'estimation du mouvement d'un objet
US20150310284A1 (en) * 2014-04-24 2015-10-29 Honda Motor Co., Ltd. Road environment recognizing apparatus
CN106708084A (zh) * 2016-11-24 2017-05-24 中国科学院自动化研究所 复杂环境下无人机自动障碍物检测和避障方法
WO2018120027A1 (zh) * 2016-12-30 2018-07-05 深圳前海达闼云端智能科技有限公司 一种障碍物检测方法及装置
US20180210451A1 (en) * 2017-01-24 2018-07-26 Wipro Limited System and method for controlling navigation of a vehicle
US20180267166A1 (en) * 2017-03-16 2018-09-20 Baidu Online Network Technology (Beijing) Co., Ltd. Obstacle detecting method and apparatus, device and storage medium
CN110879991A (zh) * 2019-11-26 2020-03-13 杭州光珀智能科技有限公司 一种障碍物识别方法及系统
CN112115889A (zh) * 2020-09-23 2020-12-22 成都信息工程大学 基于视觉的智能车运动目标检测方法
CN114428515A (zh) * 2022-01-24 2022-05-03 广东电网有限责任公司 一种无人机避障方法、装置、无人机及存储介质
CN115346385A (zh) * 2022-10-19 2022-11-15 上海伯镭智能科技有限公司 基于复杂路况的无人驾驶矿车自动避障方法
CN115494856A (zh) * 2022-10-14 2022-12-20 西北工业大学 避障方法、装置、无人机及电子设备
CN115546764A (zh) * 2022-10-17 2022-12-30 广州赛特智能科技有限公司 一种障碍物检测方法、装置、设备及存储介质
CN115576329A (zh) * 2022-11-17 2023-01-06 西北工业大学 一种基于计算机视觉的无人驾驶agv小车的避障方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015075085A1 (fr) * 2013-11-19 2015-05-28 Sysnav Procédé d'estimation du mouvement d'un objet
US20150310284A1 (en) * 2014-04-24 2015-10-29 Honda Motor Co., Ltd. Road environment recognizing apparatus
CN106708084A (zh) * 2016-11-24 2017-05-24 中国科学院自动化研究所 复杂环境下无人机自动障碍物检测和避障方法
WO2018120027A1 (zh) * 2016-12-30 2018-07-05 深圳前海达闼云端智能科技有限公司 一种障碍物检测方法及装置
US20180210451A1 (en) * 2017-01-24 2018-07-26 Wipro Limited System and method for controlling navigation of a vehicle
US20180267166A1 (en) * 2017-03-16 2018-09-20 Baidu Online Network Technology (Beijing) Co., Ltd. Obstacle detecting method and apparatus, device and storage medium
CN110879991A (zh) * 2019-11-26 2020-03-13 杭州光珀智能科技有限公司 一种障碍物识别方法及系统
CN112115889A (zh) * 2020-09-23 2020-12-22 成都信息工程大学 基于视觉的智能车运动目标检测方法
CN114428515A (zh) * 2022-01-24 2022-05-03 广东电网有限责任公司 一种无人机避障方法、装置、无人机及存储介质
CN115494856A (zh) * 2022-10-14 2022-12-20 西北工业大学 避障方法、装置、无人机及电子设备
CN115546764A (zh) * 2022-10-17 2022-12-30 广州赛特智能科技有限公司 一种障碍物检测方法、装置、设备及存储介质
CN115346385A (zh) * 2022-10-19 2022-11-15 上海伯镭智能科技有限公司 基于复杂路况的无人驾驶矿车自动避障方法
CN115576329A (zh) * 2022-11-17 2023-01-06 西北工业大学 一种基于计算机视觉的无人驾驶agv小车的避障方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
G. VIJAYA PADMA REDDY: "Image based obstacle detection and path planning for solar powered autonomous vehicle", 《2016 INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION FOR HUMANITARIAN APPLICATIONS (RAHA)》 *
J. DANIEL MAIER: "Real-Time Navigation in 3D Environments Based on Depth Camera Data", 《2012 12TH IEEE-RAS INTERNATIONAL CONFERENCE ON HUMANOID ROBOTS (HUMANOIDS 2012)》 *
庄秀丽: "煤矿井巷环境下的机器人障碍识别研究", 《中国优秀硕士学位论文全文数据库工程科技II辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117218029A (zh) * 2023-09-25 2023-12-12 南京邮电大学 基于神经网络的夜间暗光图像智能处理方法
CN117218029B (zh) * 2023-09-25 2024-03-01 南京邮电大学 基于神经网络的夜间暗光图像智能处理方法
CN117786439A (zh) * 2024-02-23 2024-03-29 艾信智慧医疗科技发展（苏州）有限公司 医用搬运机器人视觉智能导航系统
CN117786439B (zh) * 2024-02-23 2024-05-03 艾信智慧医疗科技发展（苏州）有限公司 医用搬运机器人视觉智能导航系统

Also Published As

Publication number Publication date
CN115880674B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN108256446B (zh) 用于确定道路中的车道线的方法、装置和设备
CN108596129B (zh) 一种基于智能视频分析技术的车辆越线检测方法
CN115880674A (zh) 一种基于无人驾驶矿车的避障转向矫正方法
US8379928B2 (en) Obstacle detection procedure for motor vehicle
EP2118818B1 (en) Video-based road departure warning
US8634593B2 (en) Pixel-based texture-less clear path detection
US8452053B2 (en) Pixel-based texture-rich clear path detection
US8699754B2 (en) Clear path detection through road modeling
US8611585B2 (en) Clear path detection using patch approach
US8332134B2 (en) Three-dimensional LIDAR-based clear path detection
Lookingbill et al. Reverse optical flow for self-supervised adaptive autonomous robot navigation
CN109434251B (zh) 一种基于粒子滤波的焊缝图像跟踪方法
US8452054B2 (en) Obstacle detection procedure for motor vehicle
CN115995063A (zh) 作业车辆检测与跟踪方法和系统
CN111681259B (zh) 基于无Anchor机制检测网络的车辆跟踪模型建立方法
CN102598057A (zh) 自动对象识别、然后根据对象形状进行对象跟踪的方法和系统
CN115576329B (zh) 一种基于计算机视觉的无人驾驶agv小车的避障方法
CN114119659A (zh) 一种多传感器融合的目标跟踪方法
CN115923839A (zh) 一种车辆路径规划方法
US6850627B2 (en) Dynamic process for identifying objects in multi-dimensional data
CN113221739B (zh) 基于单目视觉的车距测量方法
CN107977608B (zh) 一种应用于公路视频图像道路区域提取的方法
CN116110006B (zh) 一种用于智慧旅游系统的景区游客异常行为识别方法
JP2002175534A (ja) 道路の白線検出方法
CN113129336A (zh) 一种端到端多车辆跟踪方法、系统及计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant