CN113970295B - 一种摊铺厚度测量方法、装置及摊铺机 - Google Patents
一种摊铺厚度测量方法、装置及摊铺机 Download PDFInfo
- Publication number
- CN113970295B CN113970295B CN202111147158.8A CN202111147158A CN113970295B CN 113970295 B CN113970295 B CN 113970295B CN 202111147158 A CN202111147158 A CN 202111147158A CN 113970295 B CN113970295 B CN 113970295B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- paving thickness
- value
- paving
- paver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000007480 spreading Effects 0.000 title description 4
- 238000012512 characterization method Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 14
- 238000000691 measurement method Methods 0.000 claims description 11
- 238000010409 ironing Methods 0.000 claims 1
- 238000005259 measurement Methods 0.000 abstract description 12
- 238000004422 calculation algorithm Methods 0.000 description 13
- 238000003066 decision tree Methods 0.000 description 9
- 238000005070 sampling Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000013138 pruning Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000002310 reflectometry Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 239000010426 asphalt Substances 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
-
- E—FIXED CONSTRUCTIONS
- E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
- E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
- E01C19/00—Machines, tools or auxiliary devices for preparing or distributing paving materials, for working the placed materials, or for forming, consolidating, or finishing the paving
- E01C19/12—Machines, tools or auxiliary devices for preparing or distributing paving materials, for working the placed materials, or for forming, consolidating, or finishing the paving for distributing granular or liquid materials
- E01C19/18—Devices for distributing road-metals mixed with binders, e.g. cement, bitumen, without consolidating or ironing effect
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Architecture (AREA)
- Civil Engineering (AREA)
- Structural Engineering (AREA)
- Road Paving Machines (AREA)
Abstract
本申请涉及测量技术领域，公开了一种摊铺厚度测量方法、装置及摊铺机。摊铺厚度测量方法包括：通过同一激光传感器采集所述摊铺机未摊铺路面的第一点云集和所述摊铺机已摊铺路面的第二点云集；根据所述第一点云集和所述第二点云集，得到摊铺厚度值。本申请提供的方案能够更准确地进行摊铺厚度的测量。
Description
技术领域
本申请涉及测量技术领域，具体涉及一种摊铺厚度测量方法、装置及摊铺机。
背景技术
道路施工中，路面摊铺厚度是施工质量控制的关键指标之一。目前，路面摊铺厚度的测量方法通常为摊铺机的前方和后方各安装一个激光传感器，分别获取摊铺机前方和后方的摊铺厚度，并以此测量路面摊铺厚度。
然而，通过两个传感器分别进行测量，不同的激光传感器得到的测量结果需要坐标换算，容易产生较大的误差，同时，由于摊铺机前方和后方的振动程度存在差异，使得安装在摊铺机的前方和后方的激光传感器的测量结果受到不同程度的影响，即产生的偏差不同，因此在车辆行进过程中产生的震动也会降低厚度测量精度。此外，在某种情况下，前后分装传感器获取高度差依赖于高精度的时钟同步系统，当时钟系统失准时，两侧采集的距离并非时空对应的数据，即上一时刻的前向距离与下一时刻的后向距离做差，得到的高度差为错误输出，不具备参考意义。
综上所述，需要一种更准确的摊铺厚度测量方法。
发明内容
为了解决或者改善上述技术问题中的至少一个技术问题，提出了本申请。本申请的实施例提供了一种摊铺厚度测量方法、装置及摊铺机，能够更准确地进行摊铺厚度的测量。
根据本申请的一个方面，提供了一种摊铺厚度测量方法，包括：
通过同一激光传感器采集所述摊铺机未摊铺路面的第一点云集和所述摊铺机已摊铺路面的第二点云集；以及根据所述第一点云集和所述第二点云集，得到摊铺厚度值。
在一实施例中，所述根据所述第一点云集和所述第二点云集，得到摊铺厚度值包括：对所述第一点云集进行直线拟合，确定第一点云集对应的参考直线方程；确定所述第二点云集中的至少一个待参考点；根据每个所述待参考点到所述参考直线方程的投影距离，得到投影距离表征值；以及根据所述投影距离表征值，获得所述摊铺厚度值。
在一实施例中，在根据所述第一点云集和所述第二点云集，确定摊铺厚度值之前，还包括：对所述第一点云集和所述第二点云集中的每个点云数据，执行：提取当前点云数据的特征信息；将所述特征信息输入预先训练的噪声识别模型中，得到识别结果；以及当所述识别结果为所述当前点云数据为噪声时，清除所述当前点云数据。
在一实施例中，所述噪声识别模型通过如下方式进行训练：获取非噪声特征信息样本集和噪声特征信息样本集；其中，所述非噪声特征信息样本集中包括非噪声点云数据对应的至少一个特征信息，所述噪声特征信息样本集中包括噪声点云数据对应的至少一个特征信息；以及利用所述非噪声特征信息样本集和所述噪声特征信息样本集对所述噪声识别模型进行训练；其中，在将所述非噪声特征信息样本集作为所述噪声识别模型的输入时，将非噪声作为所述噪声识别模型的比对目标结果；在将所述噪声特征信息样本集作为所述噪声识别模型的输入时，将噪声作为所述编码识别模型的比对目标结果。
在一实施例中，每当获得一摊铺厚度值时，将所述摊铺厚度值进行储存，所述摊铺厚度测量方法还包括：当已储存的摊铺厚度值数量超过预设数量时，根据已储存的所述摊铺厚度值确定所述摊铺机当前运行区域的摊铺厚度表征值；确定所述运行区域在预先创建的虚拟地图中的位置；以及将所述摊铺厚度表征值输出到所述虚拟地图中，以在所述虚拟地图中显示所述运行区域的摊铺厚度表征值。
在一实施例中，所述摊铺厚度测量方法还包括：当获得一所述摊铺厚度值时，确定所述摊铺机当前的位置信息和当前时间信息；将所述摊铺厚度值、所述位置信息和所述当前时间信息进行整合，得到摊铺数据包；以及对所述摊铺数据包进行解析并进行显示。
在一实施例中，所述摊铺厚度测量方法还包括：确定所述摊铺机的熨平板的熨平板高度值并记录所述熨平板高度值；每当获得一所述摊铺高度值时，确定所述熨平板高度值与所述摊铺高度值的对比关系；以及
当所述对比关系不满足预设条件时，对所述熨平板高度值进行控制以满足所述预设条件，并在控制结束后更新已记录的所述熨平板高度值。
在一实施例中，所述确定所述摊铺机的熨平板的熨平板高度值包括：采集所述熨平板的抬升面的第三点云集；对所述第三点云集进行直线拟合，得到第三点云集对应的高度直线方程；确定所述第一点云集中的至少一个待参考点；根据每个所述待参考点到所述高度直线方程的投影距离，得到高度表征值；以及根据所述高度表征值，得到所述熨平板高度值。
根据本申请的另一方面，提供了一种用于实现上述任一项中所述的摊铺厚度测量方法的摊铺厚度测量装置，所述摊铺厚度测量装置安装在摊铺机上，包括：采集模块，用于通过同一激光传感器采集所述摊铺机未摊铺路面的第一点云集和所述摊铺机已摊铺路面的第二点云集；以及处理模块，用于根据所述第一点云集和所述第二点云集，得到摊铺厚度值。
根据本申请的另一方面，提供了一种摊铺机，包括：摊铺机本体、激光传感器及上述任一项中所述的摊铺厚度测量装置；其中，所述摊铺厚度测量装置和所述激光传感器均安装在所述摊铺机本体上，所述摊铺厚度测量装置和所述激光传感器连接。
本申请提供了一种摊铺厚度测量方法、装置及摊铺机。通过同一激光传感器采集摊铺机未摊铺路面的第一点云集和摊铺机已摊铺路面的第二点云集，相对于现有技术，不仅减少了激光传感器的使用数量，降低了硬件成本，而且不需要像分体式传感器一样需要时间同步，也不需要坐标转换，同时，即便摊铺机震动，由于是通过同一激光传感器采集所述摊铺机未摊铺路面的第一点云集和所述摊铺机已摊铺路面的第二点云集，因此摊铺机未摊铺路面的第一点云集和所述摊铺机已摊铺路面的第二点云集等数据产生的偏差相同，不会影响计算，即可以消除摊铺机震动对测量结果带来的影响。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是本申请一示例性实施例提供的一种摊铺厚度测量方法的流程示意图。
图2是本申请一示例性实施例提供的另一种摊铺厚度测量方法的流程示意图。
图3是本申请一示例性实施例提供的噪声去除方法的流程示意图。
图4是本申请一示例性实施例提供的噪声识别模型的训练方法的流程示意图。
图5是本申请一示例性实施例提供的另一种摊铺厚度测量方法的流程示意图。
图6是本申请一示例性实施例提供的另一种摊铺厚度测量方法的流程示意图。
图7是本申请一示例性实施例提供的一种熨平板高度值确定方法的流程示意图。
图8是本申请一示例性实施例提供的一种摊铺厚度测量装置的结构示意图。
图9是本申请一示例性实施例提供的一种摊铺厚度测量系统的结构示意图。
图10是本申请一示例性实施例提供的一种摊铺机的结构示意图。
图11是本申请一示例性实施例提供的激光传感器安装位置的结构示意图。
图12是本申请一示例性实施例提供的电子设备的结构图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
如图1所示，本发明一实施例提供了一种摊铺厚度测量方法，应用于摊铺厚度测量装置，所述摊铺厚度测量装置安装在摊铺机上，该方法包括以下步骤：
步骤110：通过同一激光传感器采集摊铺机未摊铺路面的第一点云集和摊铺机已摊铺路面的第二点云集。
具体地，通常在进行摊铺厚度测量时，在摊铺机前后分装传感器，通过前后两个传感器分别检测已摊铺路面和未摊铺路面的高度值，通过二者的差值来确定摊铺厚度。通过这种方式获取高度差在某种情况下依赖于高精度的时钟同步系统，当时钟系统失准时，两侧采集的距离并非同一时刻对应的数据，即上一时刻的前向距离与下一时刻的后向距离进行差值的计算，结果可能出现较大误差，不存在参考意义，同时，由于摊铺机前方和后方的振动程度存在差异，使得安装在摊铺机的前方和后方的激光传感器的测量结果产生不同程度的偏差。在本发明实施例中，在摊铺机上仅安装一个激光传感器，来采集未摊铺路面和已摊铺路面的点云数据，分别为第一点云集和第二点云集。因为仅通过一个激光传感器就能够实现检测，所以不需要像分体式传感器一样需要时间同步，也不需要坐标转换，同时，即便摊铺机震动，由于是通过同一激光传感器采集所述摊铺机未摊铺路面的第一点云集和所述摊铺机已摊铺路面的第二点云集，因此摊铺机未摊铺路面的第一点云集和所述摊铺机已摊铺路面的第二点云集等数据产生的偏差相同，不会影响计算，即可以消除摊铺机震动对测量结果带来的影响，此外，相对于现有技术，减少了激光传感器的使用数量，降低了硬件成本。
激光传感器安装位置可在摊铺机熨平板上方可与车体固定的任意位置，由于需要通过一个激光传感器来同时对未摊铺路面和已摊铺路面进行测量，因此需要保证激光传感器的安装高度足够高，以获得足够大的检测范围。比如可以选择安装在摊铺机的熨平板上方、摊铺机的顶棚侧方或顶棚后支架处，让激光传感器有足够的空间检测摊铺机的前后方，采集未摊铺路面和已摊铺路面的点云数据，使得可以通过同一激光传感器同时采集摊铺机未摊铺路面的第一点云集和摊铺机已摊铺路面的第二点云集，以消除摊铺机震动对测量结果带来的影响。采用激光传感器，体积小，安装方便，高频、高精度的对地面采样计算摊铺厚度。激光传感器可选择单线、多线或激光束形式等。
步骤120：根据第一点云集和第二点云集，得到摊铺厚度值。
具体地，通过激光传感器同时采集未摊铺路面和已摊铺路面的点云数据，得到第一点云集和第二点云集，对第一点云集和第二点云集进行处理，得到未摊铺路面和已摊铺路面的高度差值，即摊铺厚度值。
在本发明一实施例中，如图2所示，步骤120可以包括以下步骤：
步骤121：对第一点云集进行直线拟合，确定第一点云集对应的参考直线方程。
具体地，在摊铺机行进过程中，激光传感器通过内置激光束、激光接收器对摊铺机前方及后方采样。得到未摊铺路面及摊铺后路面的第一点云集和第二点云集。对第一点云集做直线拟合，找到点云集中的最优直线。比如，对于第一点云集中的点(xi，yi)：
通过计算可得，第一点云集的最优直线方程为
直线拟合的方式并不局限于上述计算，还可通过随机抽样一致算法(RANdomSAmple Consensus,RANSAC)算法来进行，拟合方程可为1次、2次或多次多项式。RANSAC采用迭代的方式从一组包含离群的被观测数据中估算出数学模型的参数。RANSAC算法假设数据中包含正确数据和异常数据(或称为噪声)。正确数据记为内点(inliers)，异常数据记为外点(outliers)。同时RANSAC也假设，给定一组正确的数据，存在可以计算出符合这些数据的模型参数的方法。该算法核心思想就是随机性和假设性，随机性是根据正确数据出现概率去随机选取抽样数据，根据大数定律，随机性模拟可以近似得到正确结果。假设性是假设选取出的抽样数据都是正确数据，然后用这些正确数据通过问题满足的模型，去计算其他点，然后对这次结果进行一个评分。RANSAC算法被广泛应用在计算机视觉领域和数学领域，比如用于直线拟合。
步骤122：确定第二点云集中的至少一个待参考点。
具体地，计算第二点云集中相对靠近前方的点，首先对第二点云集中的点进行排序，可以选择靠近前向的前三分之一的点，将这些点作为待参考点。
步骤123：根据每个待参考点到参考直线方程的投影距离，得到投影距离表征值。
步骤124：根据投影距离表征值，获得摊铺厚度值。
具体地，计算多个待参考点到参考直线方程的投影，作为摊铺机的摊铺厚度值。投影距离表征值可以为多个参考点到参考直线方程的投影距离的平均值。
如图3所示，在本发明一实施例中，步骤120之前，对第一点云集和第二点云集中的每个点云数据还可以执行以下步骤：
步骤310：提取当前点云数据的特征信息。
具体地，在实际的应用场景中，在获得点云集的时候，存在多种导致产生残影的情况，如设备之间的遮挡，移动的障碍物等，实际上这些目标形成的点云数据为残影，残影会对激光雷达的检测结果产生影响，因此，需要对第一点云集和第二点云集中的点云数据进行滤波。在滤波之前，对第一点云集和第二点云集中的每个点云数据进行特征信息的提取。
步骤320：将特征信息输入预先训练的噪声识别模型中，得到识别结果。
具体地，将特征信息输入预先训练的噪声识别模型中，噪声训练模型通过作为输入的样本点云数据的特征信息与作为输出的样本分类结果而训练得到。
步骤330：当识别结果为当前点云数据为噪声时，清除当前点云数据。
具体地，若通过噪声训练模型的识别结果确定当前点云数据为噪声，则说明该点云数据并不属于已摊铺路面或未摊铺路面，可能是路面上的障碍物或者遮挡物，在进行摊铺厚度值的确定时需要清除当前点云数据，防止噪声对后续的处理造成影响。
如图4所示，在本发明一实施例中，噪声识别模型通过如下方式进行训练：
步骤410：获取非噪声特征信息样本集和噪声特征信息样本集；其中，非噪声特征信息样本集中包括非噪声点云数据对应的至少一个特征信息，噪声特征信息样本集中包括噪声点云数据对应的至少一个特征信息。
步骤420：利用非噪声特征信息样本集和噪声特征信息样本集对噪声识别模型进行训练；其中，在将非噪声特征信息样本集作为噪声识别模型的输入时，将非噪声作为噪声识别模型的比对目标结果；在将噪声特征信息样本集作为噪声识别模型的输入时，将噪声作为编码识别模型的比对目标结果。
具体地，噪声识别模型是通过将非噪声特征信息样本集和噪声特征信息样本集通过机器学习的方法进行训练，其目的是生成一个具有识别目标能力的分类器；本发明实施例中采用的是CART分类树算法对数据集进行训练；以CART(Classification AndRegression Tree)决策树作为机器学习方法，即误差函数为基尼系数的决策树算法为例，应当理解本发明实施例还可以应用深度神经网络(Deep Neural Networks,DNN)、支持向量机(Support Vector Machine,SVM)等其他机器学习算法。
CART分类树算法的流程包括：
采集大量特征数据样本集，对每个特征向量标记其类别，例如，样本点云云团标记为1，残影标记为-1；将标记好类别的特征数据随机划分为验证集和训练集。
本实施例中，令训练集占90％，验证集占10％；
对应的训练方法对训练集进行训练。
本实施例中，采用CART决策树生成算法对训练集进行训练，生成CART决策树。
根据验证集采用决策树后剪枝算法决策树进行后剪枝，得到分类器。
具体的，对生成的CART决策树进行后剪枝(Postpruning)处理，提高其泛化(Generalization)能力，所得到的剪枝后的决策树即为分类器。
应当理解的是，本实施例中采用了CART决策树及后剪枝处理作为分类器的训练方法，前述步骤中需要预留一定比例的验证集。在其他实施例中，如采用深度神经网络(DeepNeural Networks,DNN)、支持向量机(Support Vector Machine,SVM)等其他机器学习算法，可能将验证集在训练过程中用作其他处理来降低泛化误差或不需要留验证集。
如图5所示，在本发明一实施例中，每当获得一摊铺厚度值时，将摊铺厚度值进行储存。摊铺厚度测量方法还可以包括以下步骤：
步骤510：当已储存的摊铺厚度值数量超过预设数量时，根据已储存的摊铺厚度值确定摊铺机当前运行区域的摊铺厚度表征值。
步骤520：确定运行区域在预先创建的虚拟地图中的位置。
步骤530：将摊铺厚度表征值输出到虚拟地图中，以在虚拟地图中显示运行区域的摊铺厚度表征值。
具体地，在获得摊铺厚度值的同时，通过摊铺机在当前运行区域的持续运行，结合卫星定位数据，应用摊铺厚度连续采样算法，经过多个摊铺厚度值的叠加，可以得到当前运行区域的摊铺厚度表征值；对摊铺厚度表征值进行数据处理，生成采样区域的摊铺厚度数据并进行存储。摊铺厚度表征值可以为多个摊铺厚度值的平均值。结合卫星定位信息的摊铺厚度表征值通过显示设备，以虚拟地图的方式进行可视化显示与查看。卫星定位信息可以通过摊铺机上的卫星导航模块来进行，通过接收4颗以上卫星的信号换算出卫星导航模块当前的位置。卫星定位信息的获取不局限于卫星导航模块，可与其它任意定位模块融合。虚拟地图可以在摊铺机上内置的显示模块来进行显示。摊铺厚度测量装置为一种搭载CPU提供HDMI接口、以太网口及串口的控制器，显示设备可以为不同尺寸的显示器。
在本发明一实施例中，摊铺厚度测量方法还可以包括以下步骤：当获得一摊铺厚度值时，确定摊铺机当前的位置信息和当前时间信息；将摊铺厚度值、位置信息和当前时间信息进行整合，得到摊铺数据包；对摊铺数据包进行解析并进行显示。
具体地，每当获得摊铺厚度值时，对卫星导航模块的数据进行解析，提取经纬坐标及时间戳，待与摊铺厚度值进行重新组包，得到摊铺数据包。通过无线网络回传至后台的管理端，同时通过显示模块实现数据可视化。
如图6所示，在本发明一实施例中，摊铺厚度测量方法还可以包括以下步骤：
步骤610：确定摊铺机的熨平板的熨平板高度值并记录熨平板高度值。
具体地，可以在熨平板上安装高反射率贴膜，采集高强度的熨平板点云数据。高反射率贴膜为一种镜面反射膜，照射在反射膜上的光线会沿着入射路径全反射回至光源处。反射膜可采用任意与周围环境反射率不同的材料。高强度点云数据为激光照射至反光膜上并返回至激光传感器时，由于激光能量损耗较少，激光传感器获取的强度值高于环境水平，以这种方式获取的点云数据即为高强度点云数据。通过获得熨平板对应的多个点云数据，确定熨平板高度值并记录。
步骤620：每当获得一摊铺高度值时，确定熨平板高度值与摊铺高度值的对比关系。
具体地，当获得摊铺高度值时，为了保证摊铺机运行方向后续的摊铺操作的摊铺高度值与已摊铺路面的摊铺高度值保持一致，需要确定熨平板高度值与摊铺高度值的对比关系，因为摊铺高度值会直接由熨平板高度值来决定。
步骤630：当对比关系不满足预设条件时，对熨平板高度值进行控制以满足预设条件，并在控制结束后更新已记录的熨平板高度值。
具体地，当对比关系不满足预设条件时，表示摊铺机如果继续运行，熨平板在经过未摊铺路面并进行摊铺之后的摊铺高度值会和已摊铺路面的摊铺高度值产生较大的差距，因此，需要对熨平板高度值进行控制，使其与摊铺高度值的对比关系满足预设条件，比如差值在某一范围内。在控制结束后，由于熨平板高度值被改变，因此需要更新已记录的熨平板高度值。对熨平板高度值进行控制可以通过数据包的方式来实现，将组好的包通过UDP协议经网线发送至摊铺机的底层控制器，结合不断获取的摊铺高度值，完成对熨平板高度的闭环控制。用熨平板与未摊铺地面的高度差做未为施工前熨平板初始化控制参数，初始化后即可直接运行。
如图7所示，在本发明一实施例中，步骤610可以包括以下步骤：
步骤611：采集熨平板的抬升面的第三点云集；
步骤612：对第三点云集进行直线拟合，得到第三点云集对应的高度直线方程；确定第一点云集中的至少一个待参考点；
步骤613：根据每个待参考点到高度直线方程的投影距离，得到高度表征值。
步骤614：根据高度表征值，得到熨平板高度值。
具体地，对为摊铺路面的第一点云集进行直线拟合同理，通过对第三点云集进行直线拟合，得到高度直线方程，以此可以确定抬升面的高度值。确定第一点云集中的至少一个待参考点，确定未摊铺路面上的若干点在高度直线方程的投影距离，得到高度表征值。由于熨平板本身具有一定高度，因此，在高度表表征值上减去熨平板本身的长度即可得到熨平板高度值。
在本发明各实施例中，采用激光传感器，体积小，安装方便，高频、高精度的对地面采样计算摊铺厚度；提出一种能够对摊铺机熨平板的高度进行检测的方法，准确获取熨平板高度；实时测量摊铺厚度，完成摊铺机熨平板闭环控制。
如图8所示，本发明一实施例提供了用于实现上述实施例中任一所述的摊铺厚度测量方法的一种摊铺厚度测量装置，摊铺厚度测量装置安装在摊铺机上，包括：
采集模块810，用于通过同一激光传感器采集摊铺机未摊铺路面的第一点云集和摊铺机已摊铺路面的第二点云集；其中，激光传感器安装在摊铺机上且激光传感器的安装位置相对于已摊铺路面的高度大于预设高度值；以及
处理模块820，用于根据第一点云集和第二点云集，得到摊铺厚度值。
在本发明一实施例中，如图8所示，处理模块820包括：
拟合单元821，用于对第一点云集进行直线拟合，确定第一点云集对应的参考直线方程。
确定单元822，用于确定第二点云集中的至少一个待参考点。
计算单元823，根据每个待参考点到参考直线方程的投影距离，得到投影距离表征值。
获取单元824，用于根据投影距离表征值，获得摊铺厚度值。
在本发明一实施例中，处理模块820还对第一点云集和第二点云集中的每个点云数据执行：提取当前点云数据的特征信息；将特征信息输入预先训练的噪声识别模型中，得到识别结果；当识别结果为当前点云数据为噪声时，清除当前点云数据。
如图8所示，在本发明一实施例中，摊铺厚度测量装置还包括：
噪声识别模块830，用于对第一点云集和第二点云集中的每个点云数据，执行：提取当前点云数据的特征信息；将特征信息输入预先训练的噪声识别模型中，得到识别结果；当识别结果为当前点云数据为噪声时，清除当前点云数据。
在本发明一实施例中，噪声识别模块830通过如下方式训练噪声识别模型：
获取非噪声特征信息样本集和噪声特征信息样本集；其中，非噪声特征信息样本集中包括非噪声点云数据对应的至少一个特征信息，噪声特征信息样本集中包括噪声点云数据对应的至少一个特征信息；利用非噪声特征信息样本集和噪声特征信息样本集对噪声识别模型进行训练；其中，在将非噪声特征信息样本集作为噪声识别模型的输入时，将非噪声作为噪声识别模型的比对目标结果；在将噪声特征信息样本集作为噪声识别模型的输入时，将噪声作为编码识别模型的比对目标结果。
如图8所示，在本发明一实施例中，处理模块820还用于执行：当已储存的摊铺厚度值数量超过预设数量时，根据已储存的摊铺厚度值确定摊铺机当前运行区域的摊铺厚度表征值；确定运行区域在预先创建的虚拟地图中的位置；将摊铺厚度表征值输出到虚拟地图中，以在虚拟地图中显示运行区域的摊铺厚度表征值。
如图8所示，在本发明一实施例中，处理模块820还用于执行：当获得一摊铺厚度值时，确定摊铺机当前的位置信息和当前时间信息；将摊铺厚度值、位置信息和当前时间信息进行整合，得到摊铺数据包；对摊铺数据包进行解析并进行显示。
如图8所示，在本发明一实施例中，摊铺厚度测量装置还包括：
熨平板高度确定模块840，用于确定摊铺机的熨平板的熨平板高度值并记录熨平板高度值；每当获得一摊铺高度值时，确定熨平板高度值与摊铺高度值的对比关系；当对比关系不满足预设条件时，对熨平板高度值进行控制以满足预设条件，并在控制结束后更新已记录的熨平板高度值。
如图8所示，在本发明一实施例中，熨平板高度确定模块840在执行确定摊铺机的熨平板的熨平板高度值时，具体执行：采集熨平板的抬升面的第三点云集；对第三点云集进行直线拟合，得到第三点云集对应的高度直线方程；确定第一点云集中的至少一个待参考点；根据每个待参考点到高度直线方程的投影距离，得到高度表征值；根据高度表征值，得到熨平板高度值。
在本发明一实施例中，如图9所示，提供了一种摊铺厚度测量系统，包括：
激光传感器910，用于路面信息的采集；
卫星定位模块920，用于车辆位置的采集；
摊铺厚度测量装置930，用于点云数据的采集与处理并进行摊铺厚度计算；
显示模块940，用于结果显示。
该系统中包括激光传感器、摊铺厚度测量装置等。本发明通过激光传感器首先实时提取路面上的采样点云，再通过对采样点的外点剔除、高强度点云提取、直线拟合、降采样、部分点拟合及投影距离分析等操作，从而得到采样区域沥青路与未摊铺路面高度差。最后，结合卫星定位模块位置信息将结果以摊铺厚度地图的方式呈现在显示器上。
在本发明一实施例中，如图10所示，提供了一种摊铺机，包括摊铺机本体1010、上述实施例任一所述的摊铺厚度测量装置1020及激光传感器1030，其中，摊铺厚度测量装置和激光传感器均安装在摊铺机本体上。
具体地，如图11所示的激光传感器的安装示意图，为了尽量扩大激光传感器的检测范围，需要将激光传感器安装在距离已摊铺路面一定高度的位置，如1110所示，可以通过在熨平板上方安装支架，将激光传感器安装在支架上；如1120所示，可以将激光传感器安装在摊铺机的顶棚上；如1130所示，可以在摊铺机顶棚的后方安装支架并固定激光传感器。1140为摊铺机的俯视示意图。
下面，参考图12来描述根据本申请实施例的电子设备。该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。
图12图示了根据本申请实施例的电子设备的框图。
如图12所示，电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的摊铺厚度测量方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
在该电子设备是单机设备时，该输入装置13可以是通信网络连接器，用于从第一设备和第二设备接收所采集的输入信号。
此外，该输入装置13还可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出装置等等。
当然，为了简化，图12中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的摊铺厚度测量方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的摊铺厚度测量方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (7)
1.一种摊铺厚度测量方法，其特征在于，包括：
通过同一激光传感器同时采集摊铺机未摊铺路面的第一点云集和所述摊铺机已摊铺路面的第二点云集，所述激光传感器安装在所述摊铺机本体上距离路面预设高度的位置；以及
根据所述第一点云集和所述第二点云集，得到摊铺厚度值；
所述根据所述第一点云集和所述第二点云集，得到摊铺厚度值，包括：
对所述第一点云集进行直线拟合，确定第一点云集对应的参考直线方程；
确定所述第二点云集中的至少一个待参考点；
根据每个所述待参考点到所述参考直线方程的投影距离，得到投影距离表征值；以及
根据所述投影距离表征值，获得所述摊铺厚度值；
所述方法，进一步包括：
确定所述摊铺机的熨平板的熨平板高度值并记录所述熨平板高度值；
每当获得一所述摊铺高度值时，确定所述熨平板高度值与所述摊铺高度值的对比关系；以及
当所述对比关系不满足预设条件时，对所述熨平板高度值进行控制以满足所述预设条件，并在控制结束后更新已记录的所述熨平板高度值；
所述确定所述摊铺机的熨平板的熨平板高度值，包括：
采集所述熨平板的抬升面的第三点云集；
对所述第三点云集进行直线拟合，得到第三点云集对应的高度直线方程；
确定所述第一点云集中的至少一个待参考点；
根据每个所述待参考点到所述高度直线方程的投影距离，得到高度表征值；以及
根据所述高度表征值，得到所述熨平板高度值。
2.根据权利要求1所述的摊铺厚度测量方法，其特征在于，在根据所述第一点云集和所述第二点云集，确定摊铺厚度值之前，进一步包括：对所述第一点云集和所述第二点云集中的每个点云数据，执行：
提取当前点云数据的特征信息；
将所述特征信息输入预先训练的噪声识别模型中，得到识别结果；以及
当所述识别结果为所述当前点云数据为噪声时，清除所述当前点云数据。
3.根据权利要求2所述的摊铺厚度测量方法，其特征在于，所述噪声识别模型通过如下方式进行训练：
获取非噪声特征信息样本集和噪声特征信息样本集；其中，所述非噪声特征信息样本集中包括非噪声点云数据对应的至少一个特征信息，所述噪声特征信息样本集中包括噪声点云数据对应的至少一个特征信息；以及
利用所述非噪声特征信息样本集和所述噪声特征信息样本集对所述噪声识别模型进行训练；其中，在将所述非噪声特征信息样本集作为所述噪声识别模型的输入时，将非噪声作为所述噪声识别模型的比对目标结果；在将所述噪声特征信息样本集作为所述噪声识别模型的输入时，将噪声作为所述噪声识别模型的比对目标结果。
4.根据权利要求1所述的摊铺厚度测量方法，其特征在于，每当获得一摊铺厚度值时，将所述摊铺厚度值进行储存，所述摊铺厚度测量方法进一步包括：
当已储存的摊铺厚度值数量超过预设数量时，根据已储存的所述摊铺厚度值确定所述摊铺机当前运行区域的摊铺厚度表征值；
确定所述运行区域在预先创建的虚拟地图中的位置；以及
将所述摊铺厚度表征值输出到所述虚拟地图中，以在所述虚拟地图中显示所述运行区域的摊铺厚度表征值。
5.根据权利要求4所述的摊铺厚度测量方法，其特征在于，进一步包括：
当获得一所述摊铺厚度值时，确定所述摊铺机当前的位置信息和当前时间信息；
将所述摊铺厚度值、所述位置信息和所述当前时间信息进行整合，得到摊铺数据包；以及
对所述摊铺数据包进行解析并进行显示。
6.一种用于实现如权利要求1至5任一项所述的摊铺厚度测量方法的摊铺厚度测量装置，其特征在于，所述摊铺厚度测量装置安装在摊铺机上，包括：
采集模块，用于通过同一激光传感器同时采集所述摊铺机未摊铺路面的第一点云集和所述摊铺机已摊铺路面的第二点云集，所述激光传感器安装在所述摊铺机本体上距离路面预设高度的位置；以及
处理模块，用于根据所述第一点云集和所述第二点云集，得到摊铺厚度值；
所述处理模块，用于对所述第一点云集进行直线拟合，确定第一点云集对应的参考直线方程；确定所述第二点云集中的至少一个待参考点；根据每个所述待参考点到所述参考直线方程的投影距离，得到投影距离表征值；以及根据所述投影距离表征值，获得所述摊铺厚度值；
所述摊铺厚度测量装置，还用于确定所述摊铺机的熨平板的熨平板高度值并记录所述熨平板高度值；每当获得一所述摊铺高度值时，确定所述熨平板高度值与所述摊铺高度值的对比关系；以及当所述对比关系不满足预设条件时，对所述熨平板高度值进行控制以满足所述预设条件，并在控制结束后更新已记录的所述熨平板高度值；
所述摊铺厚度测量装置，还用于采集所述熨平板的抬升面的第三点云集；对所述第三点云集进行直线拟合，得到第三点云集对应的高度直线方程；确定所述第一点云集中的至少一个待参考点；根据每个所述待参考点到所述高度直线方程的投影距离，得到高度表征值；以及根据所述高度表征值，得到所述熨平板高度值。
7.一种摊铺机，其特征在于，包括：
摊铺机本体、激光传感器及权利要求6所述的摊铺厚度测量装置；其中，所述摊铺厚度测量装置和所述激光传感器均安装在所述摊铺机本体上，所述摊铺厚度测量装置和所述激光传感器连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111147158.8A CN113970295B (zh) | 2021-09-28 | 2021-09-28 | 一种摊铺厚度测量方法、装置及摊铺机 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111147158.8A CN113970295B (zh) | 2021-09-28 | 2021-09-28 | 一种摊铺厚度测量方法、装置及摊铺机 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113970295A CN113970295A (zh) | 2022-01-25 |
| CN113970295B true CN113970295B (zh) | 2024-04-16 |
Family
ID=79586979
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111147158.8A Active CN113970295B (zh) | 2021-09-28 | 2021-09-28 | 一种摊铺厚度测量方法、装置及摊铺机 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113970295B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115248008B (zh) * | 2022-08-19 | 2024-07-23 | 苏州鼎纳自动化技术有限公司 | 一种采用单激光传感器测量厚度的量测方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110084116A (zh) * | 2019-03-22 | 2019-08-02 | 深圳市速腾聚创科技有限公司 | 路面检测方法、装置、计算机设备和存储介质 |
| CN111077541A (zh) * | 2019-12-30 | 2020-04-28 | 深圳优地科技有限公司 | 一种障碍物识别方法、障碍物识别装置及移动机器人 |
| CN111932688A (zh) * | 2020-09-10 | 2020-11-13 | 深圳大学 | 一种基于三维点云的室内平面要素提取方法、系统及设备 |
| WO2021017314A1 (zh) * | 2019-07-29 | 2021-02-04 | 浙江商汤科技开发有限公司 | 信息处理方法、定位方法及装置、电子设备和存储介质 |
| CN112900211A (zh) * | 2021-01-26 | 2021-06-04 | 安徽省交通规划设计研究总院股份有限公司 | 一种沥青路面压实度检测方法 |
| CN113034567A (zh) * | 2021-03-31 | 2021-06-25 | 奥比中光科技集团股份有限公司 | 一种深度真值获取方法、装置、系统及深度相机 |
| CN113136772A (zh) * | 2020-01-16 | 2021-07-20 | 约瑟夫福格勒公司 | 具有压实控制的道路摊铺机 |
-
2021
- 2021-09-28 CN CN202111147158.8A patent/CN113970295B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110084116A (zh) * | 2019-03-22 | 2019-08-02 | 深圳市速腾聚创科技有限公司 | 路面检测方法、装置、计算机设备和存储介质 |
| WO2021017314A1 (zh) * | 2019-07-29 | 2021-02-04 | 浙江商汤科技开发有限公司 | 信息处理方法、定位方法及装置、电子设备和存储介质 |
| CN111077541A (zh) * | 2019-12-30 | 2020-04-28 | 深圳优地科技有限公司 | 一种障碍物识别方法、障碍物识别装置及移动机器人 |
| CN113136772A (zh) * | 2020-01-16 | 2021-07-20 | 约瑟夫福格勒公司 | 具有压实控制的道路摊铺机 |
| CN111932688A (zh) * | 2020-09-10 | 2020-11-13 | 深圳大学 | 一种基于三维点云的室内平面要素提取方法、系统及设备 |
| CN112900211A (zh) * | 2021-01-26 | 2021-06-04 | 安徽省交通规划设计研究总院股份有限公司 | 一种沥青路面压实度检测方法 |
| CN113034567A (zh) * | 2021-03-31 | 2021-06-25 | 奥比中光科技集团股份有限公司 | 一种深度真值获取方法、装置、系统及深度相机 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113970295A (zh) | 2022-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3620823B1 (en) | Method and device for detecting precision of internal parameter of laser radar | |
| JP7045816B2 (ja) | 検査ステーションに配置された車両の最外寸法を測定するための方法及びシステム | |
| CN106503653B (zh) | 区域标注方法、装置和电子设备 | |
| KR20210111180A (ko) | 위치 추적 방법, 장치, 컴퓨팅 기기 및 컴퓨터 판독 가능한 저장 매체 | |
| CN109633688B (zh) | 一种激光雷达障碍物识别方法和装置 | |
| CN113710988B (zh) | 用于识别环境传感器的功能能力的方法、控制仪和车辆 | |
| CN104035439B (zh) | 用多个激光雷达传感器利用扫描点追踪物体的贝叶斯网络 | |
| CN109993192B (zh) | 目标对象识别方法及装置、电子设备、存储介质 | |
| US20190271551A1 (en) | Method and System for Recording Landmarks in a Traffic Environment of a Mobile Unit | |
| WO2019000945A1 (zh) | 车载摄像机测距方法及装置、存储介质和电子设备 | |
| RU2764708C1 (ru) | Способы и системы для обработки данных лидарных датчиков | |
| CN111947672B (zh) | 用于检测环境变化的方法、装置、设备和介质 | |
| EP3637308A1 (en) | Method and device for positioning vehicle, device, and computer readable storage medium | |
| CN110936959B (zh) | 车辆感知系统在线诊断和预测 | |
| CN110794406A (zh) | 多源传感器数据融合系统和方法 | |
| RU2767949C2 (ru) | Способ (варианты) и система для калибровки нескольких лидарных датчиков | |
| RU2769921C2 (ru) | Способы и системы для автоматизированного определения присутствия объектов | |
| US20210223373A1 (en) | Methods and systems for processing lidar sensor data | |
| JP2022022287A (ja) | 地図作成装置、制御方法、プログラム及び記憶媒体 | |
| CN111094095A (zh) | 自动地接收行驶信号 | |
| US20220179056A1 (en) | In-situ sensor calibration for autonomous vehicles | |
| CN111127584A (zh) | 建立视觉地图的方法和装置、电子设备和存储介质 | |
| CN113970295B (zh) | 一种摊铺厚度测量方法、装置及摊铺机 | |
| JP2024056032A (ja) | データ構造、記憶媒体及び記憶装置 | |
| CN112304293B (zh) | 道路高度检测方法、装置、可读存储介质和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |