CN116879910A - 激光扫描测距装置及其方法 - Google Patents

激光扫描测距装置及其方法 Download PDF

Info

Publication number
CN116879910A
CN116879910A CN202311141289.4A CN202311141289A CN116879910A CN 116879910 A CN116879910 A CN 116879910A CN 202311141289 A CN202311141289 A CN 202311141289A CN 116879910 A CN116879910 A CN 116879910A
Authority
CN
China
Prior art keywords
target object
time sequence
object distance
distance
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311141289.4A
Other languages
English (en)
Other versions
CN116879910B (zh
Inventor
李松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Smart Lidar Technology Co ltd
Original Assignee
Hangzhou Smart Lidar Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Smart Lidar Technology Co ltd filed Critical Hangzhou Smart Lidar Technology Co ltd
Priority to CN202311141289.4A priority Critical patent/CN116879910B/zh
Publication of CN116879910A publication Critical patent/CN116879910A/zh
Application granted granted Critical
Publication of CN116879910B publication Critical patent/CN116879910B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4811Constructional features, e.g. arrangements of optical elements common to transmitter and receiver

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本申请公开了一种激光扫描测距装置及其方法,其通过控制器的距离计算单元提供距离测量值,并在后端引入数据处理和分析算法来进行距离测量值的时序分析,以此基于与目标物体之间的实时距离变化来自适应调整旋转速度,以实现更好的测量精度和数据采集效率,提高激光扫描测距装置的性能和效果。这样,能够提高激光扫描测距装置的性能,并适应不同距离范围内的测量需求。

Description

激光扫描测距装置及其方法
技术领域
本申请涉及激光测距领域,且更为具体地,涉及一种激光扫描测距装置及其方法。
背景技术
激光扫描测距装置是一种利用激光技术进行距离测量的设备,其基于激光测距原理,通过发射激光脉冲波并接收返回的激光波,计算出与目标物体之间的距离值。激光扫描测距装置广泛应用于工业、建筑、地质勘探等领域,用于测量目标物体的距离和形状。
然而,在传统的激光扫描测距装置中,通常使用固定的旋转速度进行扫描,无论目标物体距离远近,旋转速度都保持不变。这种固定速度无法适应不同距离范围内的测量需求。当目标物体距离较远时,扫描整个测量区域需要较长的时间,降低了测量效率。而当目标物体距离较近时,由于测量精度要求更高,固定速度可能无法提供足够的数据密度,导致测量结果的准确性下降。
因此,期望一种优化的激光扫描测距装置。
发明内容
为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种激光扫描测距装置及其方法,其通过控制器的距离计算单元提供距离测量值,并在后端引入数据处理和分析算法来进行距离测量值的时序分析,以此基于与目标物体之间的实时距离变化来自适应调整旋转速度,以实现更好的测量精度和数据采集效率,提高激光扫描测距装置的性能和效果。这样,能够提高激光扫描测距装置的性能,并适应不同距离范围内的测量需求。
根据本申请的一个方面,提供了一种激光扫描测距装置,其包括:
激光发射器,用于发射激光信号;
激光接收器,用于接收从目标物体反射回来的激光信号;
旋转平台,用于带动所述激光发射器和所述激光接收器沿水平方向旋转;
控制器,所述控制器可通信连接于所述旋转平台,用于控制所述旋转平台的旋转速度和角度。
根据本申请的另一个方面,提供了一种激光扫描测距方法,其包括:
通过所述控制器的距离计算单元提供预定时间段内多个预定时间点的距离测量值;
对所述多个预定时间点的距离测量值进行时序特征分析以得到目标对象距离时序模式特征;
基于所述目标对象距离时序模式特征,确定当前时间点的旋转速度值应增大或应减小。
与现有技术相比,本申请提供的一种激光扫描测距装置及其方法,其通过控制器的距离计算单元提供距离测量值,并在后端引入数据处理和分析算法来进行距离测量值的时序分析,以此基于与目标物体之间的实时距离变化来自适应调整旋转速度,以实现更好的测量精度和数据采集效率,提高激光扫描测距装置的性能和效果。这样,能够提高激光扫描测距装置的性能,并适应不同距离范围内的测量需求。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的激光扫描测距装置的框图;
图2为根据本申请实施例的激光扫描测距装置中控制器的框图;
图3为根据本申请实施例的激光扫描测距装置的系统架构图;
图4为根据本申请实施例的激光扫描测距装置的训练阶段的框图;
图5为根据本申请实施例的激光扫描测距装置中数据分析模块的框图;
图6为根据本申请实施例的激光扫描测距装置中目标对象距离局部时序变化特征提取单元的框图;
图7为根据本申请实施例的激光扫描测距方法的流程图。
具体实施方式
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用,然而,任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的,并且所述系统和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是,前面或下面操作不一定按照顺序来精确地执行。相反,根据需要,可以按照倒序或同时处理各种步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
在传统的激光扫描测距装置中,通常使用固定的旋转速度进行扫描,无论目标物体距离远近,旋转速度都保持不变。这种固定速度无法适应不同距离范围内的测量需求。当目标物体距离较远时,扫描整个测量区域需要较长的时间,降低了测量效率。而当目标物体距离较近时,由于测量精度要求更高,固定速度可能无法提供足够的数据密度,导致测量结果的准确性下降。因此,期望一种优化的激光扫描测距装置。
在本申请的技术方案中,提出了一种激光扫描测距装置。图1为根据本申请实施例的激光扫描测距装置的框图。如图1所示,根据本申请的实施例的激光扫描测距装置300,包括:激光发射器310,用于发射激光信号;激光接收器320,用于接收从目标物体反射回来的激光信号;旋转平台330,用于带动所述激光发射器和所述激光接收器沿水平方向旋转;控制器340,所述控制器可通信连接于所述旋转平台,用于控制所述旋转平台的旋转速度和角度。
特别地,所述激光发射器310,用于发射激光信号。其中,激光发射器是一种能够产生激光束的设备,利用激光介质的受激辐射放大原理来产生激光。其原理基于三个基本过程:激发、受激辐射和光学反馈。
特别地,所述激光接收器320,用于接收从目标物体反射回来的激光信号。其中,激光接收器是一种用于接收和检测激光信号的设备。它通常由光电探测器和信号处理电路组成,用于将激光光信号转换为电信号进行处理和分析。
特别地,所述旋转平台330,用于带动所述激光发射器和所述激光接收器沿水平方向旋转。应可以理解,通过激光发射器发射激光束,经过目标物体反射后,激光接收器接收到反射回来的激光信号。通过测量激光信号的往返时间,可以计算出激光与目标物体之间的距离。通过旋转激光发射器和激光接收器,可以实现对多个方向的距离测量,得到目标物体的三维位置信息。
特别地,所述控制器340,所述控制器可通信连接于所述旋转平台,用于控制所述旋转平台的旋转速度和角度。特别地,在本申请的一个具体示例中,如图2和图3所示,所述控制器340,包括:距离数据采集模块341,用于通过所述控制器的距离计算单元提供预定时间段内多个预定时间点的距离测量值;数据分析模块342,用于对所述多个预定时间点的距离测量值进行时序特征分析以得到目标对象距离时序模式特征;旋转速度控制模块343,用于基于所述目标对象距离时序模式特征,确定当前时间点的旋转速度值应增大或应减小。
具体地,所述距离数据采集模块341,用于通过所述控制器的距离计算单元提供预定时间段内多个预定时间点的距离测量值。考虑到在实际激光扫描测距装置的工作过程中,由于距离较近时,测量精度要求更高,而距离较远时则需要快速进行扫描。因此,当目标物体距离较远时,可以增加旋转速度,以便更快地扫描整个测量区域。这样可以减少测量时间,提高测量效率。而当目标物体距离较近时,可以降低旋转速度,增加激光扫描的密度,以确保更高的测量精度,提高数据采集的精度和准确性。基于此,本申请的技术构思为通过控制器的距离计算单元提供距离测量值,并在后端引入数据处理和分析算法来进行距离测量值的时序分析,以此基于与目标物体之间的实时距离变化来自适应调整旋转速度,以实现更好的测量精度和数据采集效率,提高激光扫描测距装置的性能和效果。这样,能够提高激光扫描测距装置的性能,并适应不同距离范围内的测量需求。因此,在本申请的技术方案中,首先,获取由控制器的距离计算单元提供的预定时间段内多个预定时间点的距离测量值。
相应的,在一种可能的实现方式中,可通过以下步骤通过所述控制器的距离计算单元提供预定时间段内多个预定时间点的距离测量值,例如:确定需要进行距离测量的时间段,并确定在该时间段内需要获取距离测量值的预定时间点。这些预定时间点可以是均匀分布的,也可以根据具体需求进行设置;启动控制器,使其开始工作。控制器可以是一个电子设备或计算机程序,用于控制激光发射器和激光接收器的操作;根据需要设置激光发射器的参数,例如激光功率、调制方式等。这些参数的设置可能会影响到距离测量的精度和范围;在每个预定时间点,控制器发送信号给激光发射器,使其发射激光束。激光束会经过一定的路径,并与目标物体相交;激光束照射到目标物体上后,会被目标物体反射回来。激光接收器接收到反射回来的激光信号,并将其转换为电信号;激光接收器输出的电信号经过信号处理电路进行放大、滤波和解调等处理。然后,距离计算单元利用这些处理后的信号进行距离计算。距离计算可以基于激光信号的往返时间或其他测量原理进行;在每个预定时间点,距离计算单元计算得到距离测量值。这些测量值可以是目标物体与激光发射器之间的距离,或者是目标物体的三维坐标等。将这些测量值记录下来,以备后续使用;在预定时间段内,重复执行步骤4至步骤7,以获取多个预定时间点的距离测量值。
具体地,所述数据分析模块342,用于对所述多个预定时间点的距离测量值进行时序特征分析以得到目标对象距离时序模式特征。特别地,在本申请的一个具体示例中,如图5所示,所述数据分析模块342,包括:距离测量值时序排列单元3421,用于将所述多个预定时间点的距离测量值按照时间维度排列为目标对象距离时序输入向量;线性插值上采样单元3422,用于对所述目标对象距离时序输入向量进行基于线性插值的上采样以得到上采样目标对象距离时序输入向量;目标对象距离局部时序变化特征提取单元3423,用于对所述上采样目标对象距离时序输入向量进行局部时序分析以得到目标对象距离局部时序特征向量的序列;对象距离时序模式特征关联编码单元3424,用于对所述目标对象距离局部时序特征向量的序列进行关联编码以得到目标对象距离时序模式特征上下文编码特征向量作为所述目标对象距离时序模式特征。
更具体地,所述距离测量值时序排列单元3421,用于将所述多个预定时间点的距离测量值按照时间维度排列为目标对象距离时序输入向量。考虑到由于所述距离测量值在时间维度上是不断变化的,也就是说,所述距离测量值在时间维度上具有着时序的动态变化特征信息。因此,在本申请的技术方案中,为了能够捕捉到所述距离测量值的时序变化规律,需要将所述多个预定时间点的距离测量值按照时间维度排列为目标对象距离时序输入向量,以此来整合所述距离测量值在时序上的分布信息。
更具体地,所述线性插值上采样单元3422,用于对所述目标对象距离时序输入向量进行基于线性插值的上采样以得到上采样目标对象距离时序输入向量。为了能够提高对测距过程中细微距离变化的捕捉能力,在本申请的技术方案中,进一步对所述目标对象距离时序输入向量进行基于线性插值的上采样以得到上采样目标对象距离时序输入向量,以增加数据的密度和平滑度,从而便于后续更好地表示测量距离的时序特征。应可以理解,通过线性插值的上采样,可以将原始的所述目标对象距离时序输入向量中的数据点进行插值,生成更多的数据点。这样,有助于增加时间维度上的分辨率,使得测量距离的变化更加细致可见。同时,线性插值可以在采样点之间进行平滑插值,减少噪声和突变的影响,提高数据的连续性和稳定性。也就是说,上采样后的所述上采样目标对象距离时序输入向量可以提供更详细和准确的测量距离变化信息,为后续的特征提取和旋转控制提供更丰富的数据。
值得注意的是,基于线性插值的上采样是一种信号处理技术,用于将低频率采样的信号数据增加到更高的采样率。它通过在原始信号的采样点之间插入额外的采样点,以增加信号的时间分辨率。
相应的,在一种可能的实现方式中,可通过以下步骤对所述目标对象距离时序输入向量进行基于线性插值的上采样以得到上采样目标对象距离时序输入向量,例如:确定将目标对象距离时序输入向量上采样的倍数。倍数表示上采样后的采样率相对于原始采样率的增加倍数;根据上采样倍数,计算插值间隔。插值间隔表示在原始目标对象距离时序输入向量中插入的额外时间点的间隔;根据插值间隔,创建一个新的时间序列,表示上采样后的时间点。这个时间序列比原始时间序列更密集,包含了额外插入的时间点;对于每个插入的时间点,使用线性插值方法计算对应的目标对象距离。线性插值是通过已知的相邻样本的目标对象距离和时间信息,根据线性关系来估计插入时间点的目标对象距离;将原始目标对象距离时序输入向量和插值计算得到的新样本按照时间顺序合并,构建上采样后的目标对象距离时序输入向量。
更具体地,所述目标对象距离局部时序变化特征提取单元3423,用于对所述上采样目标对象距离时序输入向量进行局部时序分析以得到目标对象距离局部时序特征向量的序列。特别地,在本申请的一个具体示例中,如图6所示,所述目标对象距离局部时序变化特征提取单元3423,包括:向量切分子单元34231,用于对所述上采样目标对象距离时序输入向量进行向量切分以得到上采样目标对象距离局部时序输入向量的序列;距离局部时序特征提取子单元34232,用于将所述上采样目标对象距离局部时序输入向量的序列分别通过基于一维卷积层的时序特征提取器以得到所述目标对象距离局部时序特征向量的序列。
所述向量切分子单元34231,用于对所述上采样目标对象距离时序输入向量进行向量切分以得到上采样目标对象距离局部时序输入向量的序列。也就是,在对于所述距离测量值进行时序变化特征提取时,为了能够更好地捕捉到所述距离测量值在测距过程中的时序变化信息,进一步对所述上采样目标对象距离时序输入向量进行向量切分以得到上采样目标对象距离局部时序输入向量的序列,以便于后续提取不同时间段内的测量距离局部时序细节变化特征信息。
所述距离局部时序特征提取子单元34232,用于将所述上采样目标对象距离局部时序输入向量的序列分别通过基于一维卷积层的时序特征提取器以得到所述目标对象距离局部时序特征向量的序列。也就是,将所述上采样目标对象距离局部时序输入向量的序列分别通过基于一维卷积层的时序特征提取器中进行特征提取,以提取出所述距离测量值在时间维度上的各个时间段内的局部时序细节变化特征信息,从而得到目标对象距离局部时序特征向量的序列。
根据本申请的实施例,将所述上采样目标对象距离局部时序输入向量的序列分别通过基于一维卷积层的时序特征提取器以得到所述目标对象距离局部时序特征向量的序列,包括:使用所述基于一维卷积层的时序特征提取器的各层在层的正向传递中分别对输入数据进行:对输入数据进行卷积处理以得到卷积特征图;对所述卷积特征图进行基于特征矩阵的池化以得到池化特征图;以及,对所述池化特征图进行非线性激活以得到激活特征图;其中,所述基于一维卷积层的时序特征提取器的最后一层的输出为所述目标对象距离局部时序特征向量的序列,所述作基于一维卷积层的时序特征提取器的第一层的输入为所述上采样目标对象距离局部时序输入向量的序列。
值得注意的是,一维卷积层是深度学习中的一种神经网络层,用于处理一维数据序列,例如时间序列数据或一维信号数据。它的主要作用是通过卷积操作提取输入数据中的局部特征。它的结构包括以下几个要素:输入:一维卷积层的输入是一个一维的数据序列,通常表示为一个向量。例如,对于时间序列数据,可以将每个时间步的特征值作为输入向量的一个元素;卷积核(滤波器):卷积层通过卷积核对输入数据进行滑动窗口操作,提取输入数据中的特征。卷积核是一个小的一维向量,它通过与输入数据的子序列进行逐元素相乘并求和,从而计算出一个输出值;权重参数:卷积层中的每个卷积核都有一组权重参数,用于对输入数据进行卷积操作。这些权重参数在训练过程中通过反向传播进行学习,以使卷积层能够提取出与任务相关的特征;偏置参数:卷积层还包括一个偏置参数,用于在卷积操作后添加一个常数偏移量。偏置参数也是通过训练学习得到的;激活函数:卷积层通常在卷积操作后应用激活函数来引入非线性特性。常见的激活函数包括ReLU、sigmoid和tanh等;输出:一维卷积层的输出是一个新的一维数据序列,其中每个元素对应于卷积核在输入数据上的滑动窗口操作的结果。
值得一提的是,在本申请的其他具体示例中,还可以通过其他方式对所述上采样目标对象距离时序输入向量进行局部时序分析以得到目标对象距离局部时序特征向量的序列,例如:确定局部时序分析的窗口大小,表示用于提取局部时序特征的时间范围。窗口大小可以根据具体任务和需求进行选择;从上采样的目标对象距离时序输入向量的起始位置开始,以固定的步长遍历向量;对于每个窗口,提取窗口内的目标对象距离数据,形成局部时序子向量。可以使用各种特征提取方法,如统计特征(均值、方差等)或频域特征(傅里叶变换等);将提取的局部时序特征向量按照时间顺序组成序列,形成目标对象距离局部时序特征向量的序列。
更具体地,所述对象距离时序模式特征关联编码单元3424,用于对所述目标对象距离局部时序特征向量的序列进行关联编码以得到目标对象距离时序模式特征上下文编码特征向量作为所述目标对象距离时序模式特征。特别地,在本申请的一个具体示例中,所述对象距离时序模式特征关联编码单元3424,包括:将所述目标对象距离局部时序特征向量的序列通过基于LSTM模型的序列编码器以得到所述目标对象距离时序模式特征上下文编码特征向量。应可以理解,由于所述距离测量值在所述预定时间段内整体上具有着时序的动态变化信息,也就是说,所述距离测量值在各个时间段内的局部时序细节变化特征之间具有着基于时序整体的关联关系。因此,在本申请的技术方案中,进一步将所述目标对象距离局部时序特征向量的序列通过基于LSTM模型的序列编码器中进行编码,以提取出所述距离测量值在各个时间段内的局部时序特征基于时序全局的上下文关联特征信息,从而得到目标对象距离时序模式特征上下文编码特征向量。特别地,这里,所述目标对象距离时序模式特征上下文编码特征向量包含了测距过程中有关于距离测量值的整体时序变化语义信息,能够更好地表达测量距离的时序关联特征。
相应的,在一种可能的实现方式中,可通过以下步骤将所述目标对象距离局部时序特征向量的序列通过基于LSTM模型的序列编码器以得到所述目标对象距离时序模式特征上下文编码特征向量,例如:定义LSTM模型:LSTM(长短期记忆网络)是一种适用于处理序列数据的循环神经网络模型。需要定义一个LSTM模型作为序列编码器,用于对目标对象的时序模式特征进行关联编码。可以指定LSTM的层数、隐藏状态的维度和其他超参数;对数据进行预处理。这可能包括数据归一化、填充缺失值或其他必要的处理步骤,以确保数据的质量和一致性;将目标对象的时序模式特征向量序列作为输入,逐步将每个时刻的特征向量输入到LSTM模型中。LSTM模型将根据输入的上下文信息和先前的状态,对每个时刻的特征向量进行编码,并输出一个隐藏状态;选择使用最后一个时刻的隐藏状态作为上下文编码特征向量,也可以使用所有时刻的隐藏状态进行进一步处理,例如通过平均池化或注意力机制来得到最终的上下文编码特征向量;通过上述步骤,将得到一个上下文编码特征向量,其中包含了目标对象的时序模式特征的上下文信息。这个编码特征向量可以用于后续的任务,如分类、预测或其他分析。
值得一提的是,在本申请的其他具体示例中,还可以通过其他方式对所述目标对象距离局部时序特征向量的序列进行关联编码以得到目标对象距离时序模式特征上下文编码特征向量作为所述目标对象距离时序模式特征,例如:首先,准备目标对象的时序数据,这可以是时间序列数据、音频数据或其他一维数据序列。假设您的数据集包含多个目标对象的时序特征向量序列;为了捕捉目标对象的局部时序特征,定义一组卷积核。每个卷积核都是一个小的一维向量,其长度通常小于目标对象的时序特征向量长度。可以根据任务需求和数据特点来选择卷积核的数量和大小;使用定义的卷积核构建一维卷积层。将时序特征向量序列作为输入,并将卷积核应用于输入序列。通过滑动窗口的方式,每个卷积核在输入序列上进行卷积操作,得到一系列输出值。这些输出值表示了目标对象在不同位置上的局部时序特征;在卷积操作后,为了引入非线性特性,将激活函数应用于每个卷积核的输出值。常见的激活函数包括ReLU、sigmoid和tanh等。此外,可以为每个卷积核添加一个偏置项,以增加灵活性和表达能力;为了将目标对象的时序模式特征进行关联编码,可以使用一些方法,如循环神经网络(RNN)或注意力机制。这些方法可以捕捉到目标对象的上下文信息,并将其编码为上下文编码特征向量;通过对目标对象的时序模式特征进行关联编码,得到一个上下文编码特征向量,其中包含了目标对象在时序上的模式和上下文信息。这个编码特征向量可以用于后续的任务,如分类、预测或其他分析。
值得一提的是,在本申请的其他具体示例中,还可以通过其他方式对所述多个预定时间点的距离测量值进行时序特征分析以得到目标对象距离时序模式特征,例如:从距离计算单元记录的测量值中,提取出多个预定时间点的距离测量值序列。这个序列可以表示目标对象在不同时间点上的距离;对距离测量值序列进行预处理,以便更好地分析时序特征。预处理的步骤可以包括去除异常值、平滑数据、归一化等;从距离测量值序列中提取时序特征。时序特征可以包括以下几个方面:平均值:计算距离测量值序列的平均值,反映目标对象的平均距离;方差:计算距离测量值序列的方差,反映目标对象距离的变化程度;周期性特征:通过分析距离测量值序列的周期性,可以得到目标对象的运动周期或其他周期性模式;趋势分析:通过拟合距离测量值序列的趋势线,可以了解目标对象距离的整体变化趋势;波动性特征:通过计算距离测量值序列的波动性指标,可以了解目标对象距离的波动情况;对提取的时序特征进行分析和建模。可以使用统计方法、机器学习方法或时间序列分析方法等进行分析。这些方法可以帮助识别目标对象距离的时序模式特征,并进行进一步的分析和预测;根据时序特征分析的结果,解释目标对象距离的时序模式特征。这些特征可以用于目标检测、运动分析、行为识别等应用中,帮助理解目标对象的行为和动态变化。
具体地,所述旋转速度控制模块343,用于基于所述目标对象距离时序模式特征,确定当前时间点的旋转速度值应增大或应减小。特别地,在本申请的一个具体示例中,所述旋转速度控制模块343,包括:将所述目标对象距离时序模式特征上下文编码特征向量通过分类器以得到分类结果,所述分类结果用于表示当前时间点的旋转速度值应增大或应减小。也就是,利用所述距离测量值的局部时序细节变化特征基于时序全局的关联特征信息来进行分类处理,从而对于当前时间点的旋转速度值进行实时控制。这样,能够基于与目标物体之间的实时距离变化来自适应调整旋转速度,以实现更好的测量精度和数据采集效率,提高激光扫描测距装置的性能和效果。具体地,使用所述分类器的多个全连接层对所述目标对象距离时序模式特征上下文编码特征向量进行全连接编码以得到编码分类特征向量;以及,将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
分类器(Classifier)是指一种机器学习模型或算法,用于将输入数据分为不同的类别或标签。分类器是监督学习的一部分,它通过学习从输入数据到输出类别的映射关系来进行分类任务。
全连接层(Fully Connected Layer)是神经网络中常见的一种层类型。在全连接层中,每个神经元都与上一层的所有神经元相连接,每个连接都有一个权重。这意味着全连接层中的每个神经元都接收来自上一层所有神经元的输入,并通过权重对这些输入进行加权求和,然后将结果传递给下一层。
Softmax分类函数是一种常用的激活函数,用于多分类问题。它将输入向量的每个元素转化为一个介于0和1之间的概率值,并且这些概率值的和等于1。Softmax函数常用于神经网络的输出层,特别适用于多分类问题,因为它能够将网络输出映射为各个类别的概率分布。在训练过程中,Softmax函数的输出可以用于计算损失函数,并通过反向传播算法来更新网络参数。值得注意的是,Softmax函数的输出并不会改变元素之间的相对大小关系,只是对其进行了归一化处理。因此,Softmax函数并不改变输入向量的特性,只是将其转化为概率分布形式。
值得一提的是,在本申请的其他具体示例中,还可以通过其他方式基于所述目标对象距离时序模式特征,确定当前时间点的旋转速度值应增大或应减小,例如:使用适当的方法,例如滑动窗口或其他特征提取技术,从目标对象的时序数据中提取时序模式特征。这些特征可能包括周期性、趋势、峰值或其他与旋转速度相关的模式;对提取的时序模式特征进行分析,以确定当前时间点的旋转速度应增大还是减小。可以考虑以下方法:周期性分析:检测时序模式中的周期性变化,并根据当前时间点的位置来确定旋转速度的变化方向;趋势分析:观察时序模式中的趋势,如上升或下降趋势,并根据趋势的方向来确定旋转速度的变化方向; 峰值分析:检测时序模式中的峰值或极值点,并根据当前时间点相对于峰值点的位置来确定旋转速度的变化方向;根据对时序模式特征的分析,确定当前时间点的旋转速度应增大还是减小。可以根据分析结果设定一个阈值或规则,以决定在特定情况下旋转速度的变化方向。
应可以理解,在利用上述神经网络模型进行推断之前,需要对所述基于一维卷积层的时序特征提取器、所述基于LSTM模型的序列编码器和所述分类器进行训练。也就是说,在本申请的激光扫描测距装置中,还包括训练阶段,用于对所述基于一维卷积层的时序特征提取器、所述基于LSTM模型的序列编码器和所述分类器进行训练。
图4为根据本申请实施例的激光扫描测距装置的训练阶段的框图。如图3所示,根据本申请实施例的激光扫描测距装置300,还包括:训练阶段400,包括:训练数据采集单元410,用于获取训练数据,所述训练数据包括预定时间段内多个预定时间点的训练距离测量值;训练距离时序排列单元420,用于将所述多个预定时间点的训练距离测量值按照时间维度排列为训练目标对象距离时序输入向量;训练上采样单元430,用于对所述训练目标对象距离时序输入向量进行基于线性插值的上采样以得到训练上采样目标对象距离时序输入向量;训练时序向量切分单元440,用于对所述训练上采样目标对象距离时序输入向量进行向量切分以得到训练上采样目标对象距离局部时序输入向量的序列;训练目标对象距离时序特征提取单元450,用于将所述训练上采样目标对象距离局部时序输入向量的序列分别通过所述基于一维卷积层的时序特征提取器以得到训练目标对象距离局部时序特征向量的序列;训练目标对象距离时序模式关联编码单元460,用于将所述训练目标对象距离局部时序特征向量的序列通过所述基于LSTM模型的序列编码器以得到训练目标对象距离时序模式特征上下文编码特征向量;分类损失单元470,用于将所述训练目标对象距离时序模式特征上下文编码特征向量通过所述分类器以得到分类损失函数值;模型训练单元480,用于基于所述分类损失函数值并通过梯度下降的反向传播来对所述基于一维卷积层的时序特征提取器、所述基于LSTM模型的序列编码器和所述分类器进行训练,其中,在所述训练过程的每一轮迭代中,对所述训练目标对象距离时序模式特征上下文编码特征向量进行权重空间的细粒度密度预测搜索优化。
特别地,在本申请的技术方案中,所述目标对象距离局部时序特征向量的序列是所述上采样目标对象距离局部时序输入向量的序列分别通过基于一维卷积层的时序特征提取器得到的,此时,所述一维卷积层会基于一维卷积核对于卷积核尺度下的局部时序关联特征进行提取,由此,所述目标对象距离局部时序特征向量的序列的每个特征值均具有对应于一维卷积核尺度下的所述距离测量值的局部时域尺度下的时序关联特征的特征表达超分辨率,再将所述目标对象距离局部时序特征向量的序列通过基于LSTM模型的序列编码器时,会进一步对于局部时域尺度下的各时域间的距离测量值时序关联特征进行跨局部时域的全局时域下的近程-远程双向上下文关联编码,使得所述目标对象距离时序模式特征上下文编码特征向量具有局部时域和全局时域下的多维度上下文的超分辨率表达特性,这会影响其通过分类器进行分类时的训练效率。因此,本申请的申请人在将所述目标对象距离时序模式特征上下文编码特征向量通过分类器进行分类训练时,在每次迭代中,对所述目标对象距离时序模式特征上下文编码特征向量,例如记为,进行权重空间的细粒度密度预测搜索优化,表示为:
和/>分别是上次和本次迭代的权重矩阵,其中在首次迭代时,采用不同的初始化策略设置/>和/>,(例如,/>设置为单位矩阵而/>设置为待分类特征向量的均值对角矩阵),/>是所述目标对象距离时序模式特征上下文编码特征向量,/>和/>分别表示特征向量/>和/>的全局均值,且/>是偏置向量,例如初始设置为单位向量。这里,针对所述目标对象距离时序模式特征上下文编码特征向量/>在多维度上下文下的超分辨率表达特性,所述权重空间的细粒度密度预测搜索优化可以通过所述目标对象距离时序模式特征上下文编码特征向量/>的投影的向量空间的前馈序列化映射,在对于权重搜索空间内的密集预测任务提供相应的细粒度权重搜索策略的同时,降低权重搜索空间内的所述目标对象距离时序模式特征上下文编码特征向量/>的表示的总序列复杂性(overall sequentialcomplexity),从而提升训练效率。这样,能够基于目标物体的实时距离变化情况来自适应调整旋转速度,以此来适应不同距离范围内的测量需求,以实现更好的测量精度和数据采集效率,提高激光扫描测距装置的性能和效果。
如上所述,根据本申请实施例的激光扫描测距装置300可以实现在各种无线终端中,例如具有激光扫描测距算法的服务器等。在一种可能的实现方式中,根据本申请实施例的激光扫描测距装置300可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如,该激光扫描测距装置300可以是该无线终端的操作系统中的一个软件模块,或者可以是针对于该无线终端所开发的一个应用程序;当然,该激光扫描测距装置300同样可以是该无线终端的众多硬件模块之一。
替换地,在另一示例中,该发300与该无线终端也可以是分立的设备,并且该发300可以通过有线和/或无线网络连接到该无线终端,并且按照约定的数据格式来传输交互信息。
进一步地,还提供一种激光扫描测距方法。
图7为根据本申请实施例的激光扫描测距方法的流程图。如图7所示,根据本申请实施例的激光扫描测距方法,包括步骤:S1,通过所述控制器的距离计算单元提供预定时间段内多个预定时间点的距离测量值;S2,对所述多个预定时间点的距离测量值进行时序特征分析以得到目标对象距离时序模式特征;S3,基于所述目标对象距离时序模式特征,确定当前时间点的旋转速度值应增大或应减小。
综上,根据本申请实施例的激光扫描测距装置被阐明,其通过控制器的距离计算单元提供距离测量值,并在后端引入数据处理和分析算法来进行距离测量值的时序分析,以此基于与目标物体之间的实时距离变化来自适应调整旋转速度,以实现更好的测量精度和数据采集效率,提高激光扫描测距装置的性能和效果。这样,能够提高激光扫描测距装置的性能,并适应不同距离范围内的测量需求。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种激光扫描测距装置,其特征在于,包括:
激光发射器,用于发射激光信号;
激光接收器,用于接收从目标物体反射回来的激光信号;
旋转平台,用于带动所述激光发射器和所述激光接收器沿水平方向旋转;
控制器,所述控制器可通信连接于所述旋转平台,用于控制所述旋转平台的旋转速度和角度。
2.根据权利要求1所述的激光扫描测距装置,其特征在于,所述控制器,包括:
距离数据采集模块,用于通过所述控制器的距离计算单元提供预定时间段内多个预定时间点的距离测量值;
数据分析模块,用于对所述多个预定时间点的距离测量值进行时序特征分析以得到目标对象距离时序模式特征;
旋转速度控制模块,用于基于所述目标对象距离时序模式特征,确定当前时间点的旋转速度值应增大或应减小。
3.根据权利要求2所述的激光扫描测距装置,其特征在于,所述数据分析模块,包括:
距离测量值时序排列单元,用于将所述多个预定时间点的距离测量值按照时间维度排列为目标对象距离时序输入向量;
线性插值上采样单元,用于对所述目标对象距离时序输入向量进行基于线性插值的上采样以得到上采样目标对象距离时序输入向量;
目标对象距离局部时序变化特征提取单元,用于对所述上采样目标对象距离时序输入向量进行局部时序分析以得到目标对象距离局部时序特征向量的序列;
对象距离时序模式特征关联编码单元,用于对所述目标对象距离局部时序特征向量的序列进行关联编码以得到目标对象距离时序模式特征上下文编码特征向量作为所述目标对象距离时序模式特征。
4.根据权利要求3所述的激光扫描测距装置,其特征在于,所述目标对象距离局部时序变化特征提取单元,包括:
向量切分子单元,用于对所述上采样目标对象距离时序输入向量进行向量切分以得到上采样目标对象距离局部时序输入向量的序列;
距离局部时序特征提取子单元,用于将所述上采样目标对象距离局部时序输入向量的序列分别通过基于一维卷积层的时序特征提取器以得到所述目标对象距离局部时序特征向量的序列。
5.根据权利要求4所述的激光扫描测距装置,其特征在于,所述对象距离时序模式特征关联编码单元,用于:将所述目标对象距离局部时序特征向量的序列通过基于LSTM模型的序列编码器以得到所述目标对象距离时序模式特征上下文编码特征向量。
6.根据权利要求5所述的激光扫描测距装置,其特征在于,所述旋转速度控制模块,用于:将所述目标对象距离时序模式特征上下文编码特征向量通过分类器以得到分类结果,所述分类结果用于表示当前时间点的旋转速度值应增大或应减小。
7.根据权利要求6所述的激光扫描测距装置,其特征在于,还包括用于对所述基于一维卷积层的时序特征提取器、所述基于LSTM模型的序列编码器和所述分类器进行训练的训练模块。
8.根据权利要求7所述的激光扫描测距装置,其特征在于,所述训练模块,包括:
训练数据采集单元,用于获取训练数据,所述训练数据包括预定时间段内多个预定时间点的训练距离测量值;
训练距离时序排列单元,用于将所述多个预定时间点的训练距离测量值按照时间维度排列为训练目标对象距离时序输入向量;
训练上采样单元,用于对所述训练目标对象距离时序输入向量进行基于线性插值的上采样以得到训练上采样目标对象距离时序输入向量;
训练时序向量切分单元,用于对所述训练上采样目标对象距离时序输入向量进行向量切分以得到训练上采样目标对象距离局部时序输入向量的序列;
训练目标对象距离时序特征提取单元,用于将所述训练上采样目标对象距离局部时序输入向量的序列分别通过所述基于一维卷积层的时序特征提取器以得到训练目标对象距离局部时序特征向量的序列;
训练目标对象距离时序模式关联编码单元,用于将所述训练目标对象距离局部时序特征向量的序列通过所述基于LSTM模型的序列编码器以得到训练目标对象距离时序模式特征上下文编码特征向量;
分类损失单元,用于将所述训练目标对象距离时序模式特征上下文编码特征向量通过所述分类器以得到分类损失函数值;
模型训练单元,用于基于所述分类损失函数值并通过梯度下降的反向传播来对所述基于一维卷积层的时序特征提取器、所述基于LSTM模型的序列编码器和所述分类器进行训练,其中,在所述训练过程的每一轮迭代中,对所述训练目标对象距离时序模式特征上下文编码特征向量进行权重空间的细粒度密度预测搜索优化。
9.根据权利要求8所述的激光扫描测距装置,其特征在于,在所述训练过程的每一轮迭代中,以如下优化公式对所述训练目标对象距离时序模式特征上下文编码特征向量进行权重空间的细粒度密度预测搜索优化以得到优化训练目标对象距离时序模式特征上下文编码特征向量;
其中,所述优化公式为:
其中,是和/>分别是上次和本次迭代的权重矩阵,/>是所述训练目标对象距离时序模式特征上下文编码特征向量,/>和/>分别表示特征向量/>和/>的全局均值,且/>是偏置向量,/>表示按位置点乘,/>表示向量加法,/>表示矩阵乘法,/>表示最小值,/>是所述优化训练目标对象距离时序模式特征上下文编码特征向量。
10.一种激光扫描测距方法,其特征在于,包括:
通过所述控制器的距离计算单元提供预定时间段内多个预定时间点的距离测量值;
对所述多个预定时间点的距离测量值进行时序特征分析以得到目标对象距离时序模式特征;
基于所述目标对象距离时序模式特征,确定当前时间点的旋转速度值应增大或应减小。
CN202311141289.4A 2023-09-06 2023-09-06 激光扫描测距装置及其方法 Active CN116879910B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311141289.4A CN116879910B (zh) 2023-09-06 2023-09-06 激光扫描测距装置及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311141289.4A CN116879910B (zh) 2023-09-06 2023-09-06 激光扫描测距装置及其方法

Publications (2)

Publication Number Publication Date
CN116879910A true CN116879910A (zh) 2023-10-13
CN116879910B CN116879910B (zh) 2023-11-28

Family

ID=88271916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311141289.4A Active CN116879910B (zh) 2023-09-06 2023-09-06 激光扫描测距装置及其方法

Country Status (1)

Country Link
CN (1) CN116879910B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117087023A (zh) * 2023-10-17 2023-11-21 杭州泓芯微半导体有限公司 一种双工位线切割机及其控制方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101655563A (zh) * 2008-08-21 2010-02-24 金华市蓝海光电技术有限公司 一种高精度、低功耗激光测距的方法及其装置
CN105425245A (zh) * 2015-11-06 2016-03-23 中国人民解放军空军装备研究院雷达与电子对抗研究所 一种基于相干探测的远距离高重频激光三维扫描装置
CN207780229U (zh) * 2018-01-10 2018-08-28 杭州智屹科技有限公司 一种激光扫描测距装置
CN108469617A (zh) * 2018-03-16 2018-08-31 浙江华领科技有限公司 基于单线激光扫描装置的激光测距方法和系统
CN109917408A (zh) * 2019-03-28 2019-06-21 上海禾赛光电科技有限公司 激光雷达的回波处理方法、测距方法及激光雷达
US20200124729A1 (en) * 2018-10-23 2020-04-23 Mitsubishi Electric Corporation Laser distance measuring apparatus
CN111458715A (zh) * 2019-01-22 2020-07-28 杭州智屹科技有限公司 一种距离测量和校准方法
CN113887454A (zh) * 2021-10-11 2022-01-04 华南理工大学 基于卷积神经网络点源识别的非接触激光超声检测方法
CN115876110A (zh) * 2021-08-10 2023-03-31 上海交通大学 基于fmcw激光雷达的全场形变与振动测量方法及系统
US20230133767A1 (en) * 2021-11-04 2023-05-04 Sos Lab Co., Ltd. Lidar device and method for operating same
US20230258450A1 (en) * 2022-02-16 2023-08-17 Topcon Corporation Laser scanning control device, laser scanning apparatus, laser scanning control method, and program

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101655563A (zh) * 2008-08-21 2010-02-24 金华市蓝海光电技术有限公司 一种高精度、低功耗激光测距的方法及其装置
CN105425245A (zh) * 2015-11-06 2016-03-23 中国人民解放军空军装备研究院雷达与电子对抗研究所 一种基于相干探测的远距离高重频激光三维扫描装置
CN207780229U (zh) * 2018-01-10 2018-08-28 杭州智屹科技有限公司 一种激光扫描测距装置
CN108469617A (zh) * 2018-03-16 2018-08-31 浙江华领科技有限公司 基于单线激光扫描装置的激光测距方法和系统
US20200124729A1 (en) * 2018-10-23 2020-04-23 Mitsubishi Electric Corporation Laser distance measuring apparatus
CN111458715A (zh) * 2019-01-22 2020-07-28 杭州智屹科技有限公司 一种距离测量和校准方法
CN109917408A (zh) * 2019-03-28 2019-06-21 上海禾赛光电科技有限公司 激光雷达的回波处理方法、测距方法及激光雷达
CN115876110A (zh) * 2021-08-10 2023-03-31 上海交通大学 基于fmcw激光雷达的全场形变与振动测量方法及系统
CN113887454A (zh) * 2021-10-11 2022-01-04 华南理工大学 基于卷积神经网络点源识别的非接触激光超声检测方法
US20230133767A1 (en) * 2021-11-04 2023-05-04 Sos Lab Co., Ltd. Lidar device and method for operating same
US20230258450A1 (en) * 2022-02-16 2023-08-17 Topcon Corporation Laser scanning control device, laser scanning apparatus, laser scanning control method, and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117087023A (zh) * 2023-10-17 2023-11-21 杭州泓芯微半导体有限公司 一种双工位线切割机及其控制方法

Also Published As

Publication number Publication date
CN116879910B (zh) 2023-11-28

Similar Documents

Publication Publication Date Title
Dewi et al. Synthetic Data generation using DCGAN for improved traffic sign recognition
CN116879910B (zh) 激光扫描测距装置及其方法
Mak et al. Ship as a wave buoy: Estimating relative wave direction from in-service ship motion measurements using machine learning
CN110533166B (zh) 一种基于时空间融合特征的室内定位方法
CN112784778B (zh) 生成模型并识别年龄和性别的方法、装置、设备和介质
JP7119631B2 (ja) 検知装置、検知方法および検知プログラム
CN117407797B (zh) 基于增量学习的设备故障诊断方法及模型的构建方法
CN114503131A (zh) 检索装置、检索方法、检索程序和学习模型检索系统
CN114648633A (zh) 确定车辆环境的语义分割的方法
CN109871907B (zh) 基于sae-hmm模型的雷达目标高分辨率距离像识别方法
JP2019105871A (ja) 異常候補抽出プログラム、異常候補抽出方法および異常候補抽出装置
Mathias et al. Occlusion aware underwater object tracking using hybrid adaptive deep SORT-YOLOv3 approach
Peng et al. A visual vibration characterization method for intelligent fault diagnosis of rotating machinery
CN110378319A (zh) 一种信号的检测方法、装置、计算机设备和存储介质
CN106682604B (zh) 一种基于深度学习的模糊图像检测方法
CN116719241A (zh) 一种基于3d可视化技术的信息化智能闸门自动控制方法
Wang et al. Through-wall human motion representation via autoencoder-self organized mapping network
CN114065822B (zh) 海洋潮流涨落的电磁识别方法及系统
Ke et al. An automatic instrument recognition approach based on deep convolutional neural network
CN113688655B (zh) 干扰信号的识别方法、装置、计算机设备和存储介质
CN114706054A (zh) 一种人体运动微多普勒信号识别的方法
JP5874963B2 (ja) 移動体の動き分類方法及び移動体の動き分類システム
Chintakunta et al. Introduction to the special session on Topological Data Analysis, ICASSP 2016
CN112766465A (zh) 用于智能转动性能检测的神经网络的训练方法
Kim et al. Sig2Sig: signal translation networks to take the remains of the past

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant