CN112924981B - 一种飞行时间测距方法、系统和设备 - Google Patents

一种飞行时间测距方法、系统和设备 Download PDF

Info

Publication number
CN112924981B
CN112924981B CN202110121633.8A CN202110121633A CN112924981B CN 112924981 B CN112924981 B CN 112924981B CN 202110121633 A CN202110121633 A CN 202110121633A CN 112924981 B CN112924981 B CN 112924981B
Authority
CN
China
Prior art keywords
time
pulse
histogram
interval
flight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110121633.8A
Other languages
English (en)
Other versions
CN112924981A (zh
Inventor
刘浏
闫敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Oradar Technology Co Ltd
Original Assignee
Shenzhen Oradar Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Oradar Technology Co Ltd filed Critical Shenzhen Oradar Technology Co Ltd
Priority to CN202110121633.8A priority Critical patent/CN112924981B/zh
Publication of CN112924981A publication Critical patent/CN112924981A/zh
Priority to PCT/CN2021/106021 priority patent/WO2022160610A1/zh
Application granted granted Critical
Publication of CN112924981B publication Critical patent/CN112924981B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/487Extracting wanted echo signals, e.g. pulse detection

Abstract

本发明公开了一种飞行时间测距方法、系统和设备,包括:根据初始直方图计算噪声光子数;初始直方图包括连续的时间间隔,所述时间间隔内包含采集器采集的脉冲光束中光子的计数值;根据噪声光子数确定脉冲提取条件,根据脉冲提取条件对初始直方图进行搜索,以提取出符合脉冲提取条件的搜索区间以及对应的直方图索引;所述搜索区间包括多个时间间隔,搜索区间内时间间隔的数量根据发射器发射的脉冲光束的脉宽确定,直方图索引对应所述搜索区间内第一个时间间隔;将提取出的搜索区间作为第二直方图计算第二飞行时间,并根据第二飞行时间以及直方图索引在初始直方图中对应的第一飞行时间计算脉冲光束由发射到接收的飞行时间;利用所述飞行时间计算物体的距离。

Description

一种飞行时间测距方法、系统和设备
技术领域
本发明涉及测距技术领域,尤其涉及一种基于光子计数多回波飞行时间的测距方法、系统和设备。
背景技术
利用飞行时间原理(ToF,Time of Flight)可以对目标进行距离测量以获取包含目标的深度值的深度图像,而基于飞行时间原理的距离测量系统已被广泛应用于消费电子、无人架驶、AR/VR等领域。基于飞行时间原理的距离测量系统通常包括发射器和采集器,利用发射器发射脉冲光束照射目标视场并利用采集器采集反射光束,计算光束由发射到反射接收的飞行时间进而来计算物体的距离。其中,时间数字转换器(TDC)用于记录光子从发射到被采集的飞行时间并生成光子信号,利用该光子信号寻找直方图电路中相应的时间bin(时间间隔),使得该时间间隔内的光子计数值加1,当进行大量重复脉冲探测后,可以统计得到时间信号对应的光子计数的直方图,确定直方图中的脉冲峰值位置,根据脉冲峰值位置处对应的飞行时间计算物体的距离。
目前基于直方图的寻峰方法,一般采用单回波确定飞行时间并解算距离,即直方图中只出现一个脉冲峰值位置,但单回波算法容易受到多路径散射、多机干扰、发射光斑截断等影响因素导致产生多个有效回波信号;再或者当测距系统处于特殊使用场景,如出现雨雾天气、系统表面被雨水、玻璃等物体覆盖时也会产生一些干扰回波信号,最终在直方图中出现多个峰值位置,系统无法判断出每个峰值位置是有效信号还是干扰信号,导致无法完成距离测量。
发明内容
本发明的目的在于克服上述现有技术的不足,提出一种飞行时间测距方法、系统和设备,以解决上述现有技术中至少一种技术问题。
为达上述目的,本发明采用以下技术方案:
一种飞行时间测距方法,包括:根据初始直方图计算噪声光子数;所述初始直方图包括连续的时间间隔,所述时间间隔内包含采集器采集的脉冲光束中光子的计数值;根据所述噪声光子数确定脉冲提取条件,根据所述脉冲提取条件对所述初始直方图进行搜索,以提取出符合所述脉冲提取条件的至少一个搜索区间以及对应的直方图索引;所述搜索区间包括多个时间间隔,所述搜索区间内时间间隔的数量根据发射器发射的脉冲光束的脉宽确定,所述直方图索引对应所述搜索区间内第一个时间间隔;将提取出的所述搜索区间作为第二直方图计算第二飞行时间,并根据所述第二飞行时间以及所述直方图索引在所述初始直方图中对应的第一飞行时间计算脉冲光束由发射到接收的飞行时间。
在一些实施例中,所述根据初始直方图计算噪声光子数包括:从所述初始直方图中选取远离脉冲峰值位置的一局部区域;将所述局部区域内的光子计数总值按照该局部区域内时间间隔的数量求均值,记为所述噪声光子数。
在一些实施例中,所述根据初始直方图计算噪声光子数包括:选取所述初始直方图中除脉冲位置处以外的区域,并将该区域内的光子计数总值按照该区域内时间间隔的数量求均值,记为所述噪声光子数。
在一些实施例中,所述脉冲提取条件为根据所述噪声光子数设定的一脉冲提取阈值Th;对所述初始直方图进行搜索时,选择任一时间间隔作为起点,选择满足预设数量的时间间隔构成所述搜索区间,并计算该搜索区间内的光子总数,当该搜索区间内的光子总数大于设定的脉冲提取阈值Th时,则该搜索区间符合所述脉冲提取条件,将该搜索区间存入缓冲寄存器。
在一些实施例中,当存储的搜索区间超出缓冲寄存器的存储上限时进行写入阻塞,同时对提取到的搜索区间数量进行计数,如果多帧计数结果大于或等于缓冲寄存器的存储上限,则对所述脉冲提取阈值Th增加修正项ΔTh,设定新的脉冲提取阈值为Th+ΔTh。
在一些实施例中,还包括:根据接收脉冲信号强度或者接收脉冲波形与发射脉冲波形的相关度设置筛选条件,对提取到的多个搜索区间进行筛选;根据预先设置的多回波模式对筛选后保留的搜索区间进行排序,以挑选出目标回波信号对应的搜索区间来进行所述第二飞行时间的计算。
在一些实施例中,所述预先设置的多回波模式包括回波数量以及排序特征,所述排序特征包括回波强度或者回波时间;其中,所述回波强度采用每个搜索区间内的光子总数表征,所述回波时间采用每个搜索区间对应的直方图索引表征,根据索引的序号判断出最近回波或最远回波。
在一些实施例中,所述脉冲提取条件为根据所述噪声光子数设定的接收脉冲信噪比阈值或者接收脉冲波形与发射脉冲波形的相关度阈值;当某一搜索区间内的接收脉冲信噪比高于所述接收脉冲信噪比阈值,或者接收脉冲波形与发射脉冲波形的相关度高于所述相关度阈值时,则该搜索区间符合所述脉冲提取条件。
本发明还提出一种飞行时间测距系统,包括:发射器,用于朝向物体发射脉冲光束;采集器,用于采集被物体反射回的所述脉冲光束中的光子并形成光子信号;处理电路,与所述发射器以及所述采集器连接,用于对所述光子信号进行处理以形成初始直方图,并按照前述的飞行时间测距方法处理所述初始直方图,以获得物体的距离信息。
本发明另还提出一种飞行时间测距设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现前述飞行时间测距方法。
本发明技术方案的有益效果为:本发明的测距方法基于设置不同的脉冲提取条件对初始直方图进行搜索提取出多个脉冲信号位置,并且还对提取到的搜索区间根据不同的场景选择不同的回波模式筛选出真实目标回波信号对应的搜索区间,基于筛选出的真实目标回波信号对应的搜索区间计算飞行时间,不仅可以节省计算的时间也可以排除其他回波信号的干扰,从而使得计算的飞行时间更为准确。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例的飞行时间测距系统的示意图;
图2是本发明实施例的飞行时间测距方法的流程图;
图3是本发明实施例中初始直方图的示意图;
图4是本发明实施例中第二直方图的示意图;
图5是本发明另一实施例的飞行时间测距方法的流程图示。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
另需要理解的是,术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”和“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
如图1,本发明实施例的飞行时间测距系统10包括发射器11、采集器12和同时连接于发射器与采集器的处理电路13。发射器11包括由一个或多个激光器组成的光源111、发射光学元件112以及驱动器113等,光源111用于向目标物体20发射脉冲光束30,至少部分脉冲光束经过目标物体反射形成反射光束40回到采集器12。采集器12包括由多个像素组成的像素阵列121,用于采集反射光束40中的光子并输出光子信号,处理电路13同步发射器11与采集器12的触发信号以计算光束中的光子从发射到接收所需要的飞行时间。
在一个实施例中,光源111是在单块半导体基底上生成多个VCSEL光源以形成的VCSEL阵列光源芯片。其中,光源111可以在驱动器113的控制下以一定频率(脉冲周期)向外发射脉冲光束,脉冲光束经过发射光学元件112投射到目标场景上形成照明斑点,其中频率根据测量距离进行设定。
采集器12包括所述像素阵列121、过滤单元122和接收光学元件123等,接收光学元件123将目标反射的斑点光束成像到像素阵列121上,像素阵列121包括多个采集光子的像素,所述像素可以是APD、SPAD、SiPM等采集光子的单光子器件中的一种,像素阵列121采集到光子的情况被视为光子检测事件发生并输出光子信号。在一个实施例中,像素阵列121包括由多个SPAD组成,SPAD可以对入射的单个光子进行响应并输出指示所接收光子在每个SPAD处相应到达时间的光子信号。一般地,还包括有与像素阵列121连接的信号放大器、时数转换器(TDC)、数模转换器(ADC)等器件中的一种或多种组成的读出电路(图中未示出),这些电路既可以与像素整合在一起,作为采集器的一部分,也可以作为处理电路13的一部分,后面为便于描述,将统一视作处理电路13的一部分。
处理电路13用于接收光子信号并进行处理计算出光子从发射到接收的飞行时间,并进一步计算出目标的距离信息。在一个实施例中,处理电路13包括TDC电路以及直方图存储器,TDC电路接收光子信号用于确定光子从发射到采集的飞行时间,并生成表征飞行时间信息的时间码,利用时间码寻找直方图存储器中的对应位置,并使得直方图存储器的对应位置处存储的数值加“1”,根据直方图存储器的位置作为时间bin(时间间隔)构造初始直方图。
如图2所示,处理电路13接收光子信号并进行处理计算出光子从发射到接收的飞行时间的测距方法包括如下步骤S1~S4:
S1、根据初始直方图计算噪声光子数。在基于飞行时间的距离测量系统中,处理电路13控制发射器11朝向目标区域发射脉冲光束,被目标反射的部分脉冲光束入射到采集器12,采集器12采集反射的脉冲光束中的光子并生成包含光子的飞行时间的光子信号,处理电路13接收光子信号并进行处理形成初始直方图。该初始直方图包括连续的时间间隔,每个时间间隔用于表示在检测时段内采集器采集到光子的计数值。
直方图可以被称为检测数据,用于表示在检测时段内采集器12采集到光子的时间分布。图3所示是本发明实施例的一种示例性初始直方图。一般地,时间间隔301的大小为十几到几十皮秒,则一个脉冲光束的光子信号在直方图中对应分布在多个连续的时间间隔内,比如一个脉冲光束在直方图中对应的脉冲位置为区间304,则选取脉冲峰值位置所处时间间隔的时间作为脉冲光束的飞行时间,一般选择时间间隔的中间量为该时间间隔的时间。在本发明中,假设脉冲光束的脉宽为2ns,直方图中时间间隔的大小为100ps,则一个脉冲的光子信号在直方图中对应分布在连续的20个时间间隔内,即在初始直方图中脉冲位置处的时间间隔的数量为20(图中仅示例性地画出5个)。在下文的具体描述中均以本实施例的数值为例进行描述,但该数值不能作为对本发明的限制。
在测距过程中,当采集器被触发开始采集光子时,由于环境光信号、干扰光信号以及采集器自身产生的噪声等影响,导致直方图中存在大量的噪声光子,噪声光子分布在部分或者全部的时间间隔内,对计算脉冲光束的飞行时间存在干扰。
鉴于此,首先,根据初始直方图计算噪声光子数。在一个实施例中,从初始直方图中截取局部区域计算噪声光子数,如图3所示的初始直方图中,根据初始直方图中脉冲峰值位置选择远离脉冲峰值位置的局部区域用于计算噪声光子数。比如以初始直方图中间位置的时间间隔为分界线,若脉冲峰值位置处于初始直方图的后半部分,则在初始直方图的前半部分选择局部区域计算噪声光子数,即选定局部区域后计算该区域内全部时间间隔的光子数均值记为噪声光子数,同理,若脉冲峰值位置处于初始直方图的前半部分,则从后半部分选择局部区域计算噪声光子数。
在一个实施例中,根据初始直方图全部的时间间隔计算噪声光子数,即将全部时间间隔内光子数总和剔除掉脉冲峰值位置处的光子数总和后求平均值记为噪声光子数,具体计算过程如下:
DCValue=(BinValueSum-PluseBinDate)/(BinNum-PluseBinNum)
≈(BinValueSum-PluseBinDate)/BinNum
其中,DCValue表征噪声光子数,BinValueSum表征全部时间间隔内的光子数总和,PluseBinDate表征脉冲位置处的光子数总和,BinNum表征全部时间间隔的数量,PluseBinNum表征脉冲对应时间间隔的数量。
S2、根据所述噪声光子数确定脉冲提取条件,根据所述脉冲提取条件对所述初始直方图进行搜索,以提取出符合所述脉冲提取条件的至少一个搜索区间以及对应的直方图索引;所述搜索区间包括多个时间间隔,所述搜索区间内时间间隔的数量根据发射器发射的脉冲光束的脉宽确定,所述直方图索引对应所述搜索区间内第一个时间间隔。
在本发明实施例中,对初始直方图添加索引用于对全部的时间间隔进行排序,则根据直方图索引可以快速定位到对应的时间间隔以及确定该时间间隔对应的飞行时间。确定脉冲提取条件后对直方图进行搜索、确定满足脉冲提取条件的搜索区间,并提取出该搜索区间内的全部时间间隔以及该搜索区间内第一个时间间隔对应的直方图索引。将搜索区间以及对应的直方图索引存储到预先设定的缓冲寄存器中,缓冲寄存器设定为采用FIFO(先进先出)模式,当提取出多个搜索区间时,可以通过直方图索引区分每个搜索区间并快速定位每个搜索区间在初始直方图上的位置。
在一个实施例中,设定脉冲提取条件为脉冲提取阈值Th,脉冲提取阈值根据步骤S1中计算出的噪声光子数计算得到,当某一搜索区间内的光子总数大于脉冲提取阈值时,则认为该搜索区间符合脉冲提取条件,将该搜索区间提取出来,即认为在初始直方图中搜索到一个脉冲。通过搜索主要为了将初始直方图中反映某个脉冲信号的多个时间间隔完整的提取出来用于进行单独计算,则搜索区间包括多个时间间隔,时间间隔的数量根据脉宽及时间间隔的大小确定。当脉宽为2ns,时间间隔大小为100ps时,则设定搜索区间包括20个时间间隔(即对应一个脉冲的光子信号),如图3所示的区间302记为一个搜索区间(图中仅示例性地画出5个时间间隔)。
下面详细介绍确定脉冲提取阈值以及如何对初始直方图进行搜索。具体的,根据步骤S1计算出的噪声光子数确定任一搜索区间内包含的噪声光子总数(步骤S1计算的噪声光子数乘以搜索区间的时间间隔数量得到搜索区间的噪声光子总数),并设置一个略高于该噪声光子总数的光子数作为脉冲提取阈值,若某一搜索区间内的光子总数大于脉冲提取阈值,则提取出该搜索区间并存入缓冲寄存器中。
对初始直方图的搜索采用滑动求和的方法,即选择任一时间间隔作为起点,选择满足预设数量的时间间隔构成搜索区间并计算该搜索区间内的光子总数并判断光子总数是否大于脉冲提取阈值。若大于脉冲提取阈值,则认为该搜索区间为一个脉冲光束信号,提取出该搜索区间内的全部时间间隔以及对应的直方图索引存储到预先留存的缓冲寄存器中,直方图索引对应该搜索区间内的第一个时间间隔。
所述滑动求和的方法具体为:
其中,ValueSum(index)表示某个索引index为起点的搜索区间内的光子总数,value(index+i)表示索引(index+i)的时间间隔内的光子数,假设从初始直方图的第一个时间间隔开始进行滑动求和,则index设定为第一时间间隔的直方图索引index1,即从第一个时间间隔作为起点,选取连续20个时间间隔进行光子计数求和。若光子总数小于脉冲提取阈值,则index调整为index2以第二个时间间隔作为起点选取20个时间间隔计算光子总数,若大于,则提取该搜索区间以及对应的直方图索引index2存储到缓冲寄存器中,如图3所示的搜索区间304。并且继续将index调整为index3以第三个时间间隔作为起点进行搜索,直至将index调整到最后一个直方图索引则搜索完成。
在对提取的多个搜索区间进行存储的过程中,当存储的搜索区间超出缓冲寄存器的存储上限后则进行写入阻塞,同时需要对提取到的搜索区间数量进行计数,如果多帧计数结果大于或等于缓冲寄存器的存储上限,说明设定的脉冲提取阈值过低,需要对阈值增加一个修正项ΔTh,设定脉冲提出阈值为Th+ΔTh,用于降低虚警概率以减少噪声产生的虚警。
在设定脉冲提取条件为脉冲提取阈值时,由于提取出的某个搜索区间会是噪声信号产生的误触发,为提升提取的精确度,还需要对提取出的多个搜索区间进行筛选,具体的还包括:
步骤S21、设定筛选条件,对提取出的搜索区间进行筛选。
在一个实施例中,筛选条件为接收脉冲信号强度,具体的根据接收脉冲信号光子总数或者是脉冲信噪比对提出的搜索区间进行筛选。比如以接收脉冲信号的光子总数作为筛选条件,对于提取出的搜索区间,若某个搜索区间内光子总数远低于其他搜索区间的光子总数,则认为该搜索区间是噪声信号,并将对应的搜索区间剔除掉。再比如选择脉冲信噪比对提取出的搜索区间进行筛选,信噪比SNR的计算公式为:
其中,PluseBinDate用于表示脉冲位置处的光子总数,即步骤S1里面的ValueSum,PluseBinNum表征脉冲对应时间间隔的数量,即搜索区间的大小。通过计算每个提取出的搜索区间的信噪比,剔除掉信噪比过低的搜索区间。
在一个实施例中,筛选条件为接收脉冲波形与发射脉冲波形的相关度。每个提取出来的搜索区间可还原出一个接收波形,若为有效信号则接收波形与发射脉波形相关度较高,基于此则可以通过计算接收波形与发射脉冲波形的相关度来剔除相关度低的接收波形对应的搜索区间,即噪声信号。
可以理解的是,通过设置脉冲筛选条件对提取出的搜索区间进行筛选,可以减少噪声信号的影响;在此基础上,可以对步骤S2中的脉冲提取阈值做适当的放宽,容许提取到一定程度的噪声信号,这样有利于提取到微弱的脉冲信号。
当进行脉冲筛选后可执行步骤S3进行飞行时间的计算。但由于一些系统设计的原因或者特殊的应用场景导致经过筛选后仍然保留了多个搜索区间,比如可能仍然保留了2-3个搜索区间,则还需要对多个搜索区间进行排序,以选择目标回波信号对应的搜索区间进行飞行时间计算,具体的包括:
步骤S22、根据预先设置的多回波模式对筛选后的搜索区间进行排序,挑选出对应的搜索区间。
其中,预先设置的多回波模式包括回波数量以及排序特征,需要根据实际的应用场景与需求进行选择。排序特征包括回波强度或者回波时间,回波强度可用每个搜索区间内的光子总数表征,根据光子总数即可判断出最强回波或最弱回波;回波时间可用每个搜索区间对应的直方图索引表征,根据索引的顺序即可判断出最近回波或最远回波。
在一个实施例中,当距离测量系统设置一个保护外罩时,保护外罩的材料一般为透明的玻璃,发射器发射脉冲光束穿过保护外罩投射到目标视场时,部分脉冲光束被保护外罩反射后进入采集器中,最终在直方图中形成一个回波信号,根据保护外罩紧邻测距系统这一特性,即可预先设置多回波模式结合回波时间的排序特征,将最近回波认为是保护外罩反射回来的回波信号,不需要对该回波对应的搜索区间进行飞行时间计算,从第二个回波开始执行步骤S3的计算。
在一个实施例中,受到雨雾天气等影响或者测距系统表面粘水等条件下,在目标的真实回波前会产生误回波信号,此时则需要选择更远的回波来避免误回波信号的影响,则可以相应的设置双回波结合最远回波对回波信号进行排序,可直接选择最远回波用于解算飞行时间,而避免误回波的干扰。
在一个实施例中,当采集目标中有玻璃或者采集位于玻璃后面的目标时,由于玻璃本身具有反射率和透过率,大部分的发射脉冲光束会透过玻璃照射到目标上,但依然有一部分脉冲光束被玻璃反射后形成反射光束入射到采集器中,在直方图中形成两个回波信号,由于玻璃的反射率较低,则形成的两个回波信号中强度差别较大,则通过设置回波强度排序选择出最强回波对应的搜索区间用于飞行时间计算。
可以理解的是,预先设置的多回波模式及脉冲排序方式可以根据实际情况任意设置,最终选择一个或者多个搜索区间执行步骤S3的计算。
在一些实施例中,脉冲提取条件还包括计算接收脉冲波形与发射脉冲波形的相关度,或者计算搜索区间的脉冲信噪比。根据步骤S1中计算的噪声光子数设定波形相关度或者信噪比的阈值,确定并提取出高于阈值的搜索区间以及对应的直方图索引存储在缓冲寄存器中,并且若采用这两种提取条件时则不需要再执行步骤S21和S22。在一个实施例中,接收脉冲波形与发射脉冲波形的相关度计算公式为:
其中,weight(i)表示对第i个时间间隔施加的权重,同样对直方图采用滑动求和的方法进行搜索,搜索过程同上,在此不再赘述。
在一个实施例中个,脉冲信噪比方法的计算公式为:
具体的搜索过程同上述描述,在此不再赘述。
S3、将步骤S2最终提取出的所述搜索区间作为第二直方图计算第二飞行时间,并根据所述第二飞行时间以及所述直方图索引在所述初始直方图中对应的第一飞行时间计算脉冲光束由发射到接收的飞行时间。
图4所示是本发明一个实施例中第二直方图的示意图。对于提取出的至少一个搜索区间作为第二直方图单独计算对应的飞行时间,记为第二飞行时间。在本发明的一个实施例中,时间间隔的大小为100ps,n的数量为20,则第二直方图的纵坐标范围为0-2ns。具体的,利用质心法计算第二飞行时间,具体的计算公式为:
其中,t2表征第二飞行时间,Tj表征每个时间间隔对应的飞行时间,Cj表征每个时间间隔内包含的光子数,j表征时间间隔的序号,n表征搜索区间内全部时间间隔的数量。
同时,根据存储的直方图索引可以对应得到该搜索区间内第一个时间间隔305在初始直方图中对应的第一飞行时间t1,则脉冲光束由发射到接收的飞行时间为第一飞行时间与第二飞行时间之和。
其中,在利用第二直方图进行第二飞行时间计算前,可以根据步骤S1中计算的噪声光子数对第二直方图进行滤波处理,减少噪声光子的影响,提高解算的精度。
S4、最后,利用步骤S3计算得到的脉冲光束从发射到接收的飞行时间计算处物体的距离。
图5所示是本发明另一个实施例的一种距离测量方法的流程图,参考图5,该距离测量方法包括如下步骤:
S51、获取初始直方图,所述初始直方图包括连续的时间间隔,所述时间间隔内包含由发射器发出的脉冲光束被目标反射后、经由采集器采集的所述脉冲光束中光子的计数值。
结合图1所示,在距离测量系统中,处理电路13控制发射器11朝向目标区域发射脉冲光束,被目标反射的部分脉冲光束入射到采集器12,采集器12采集反射的脉冲光束中的光子并生成包含光子的飞行时间的光子信号,处理电路13接收光子信号并进行处理形成初始直方图,初始直方图包括连续的时间间隔,每个时间间隔用于表示在检测时段内采集器采集到光子的计数值。
S52、确定搜索区间,所述搜索区间包括多个时间间隔,所述时间间隔的数量根据所述脉冲光束的脉宽确定。
具体的,在所述初始直方图中,一个脉冲的光子信号在直方图中对应分布在连续的n个时间间隔内,连续n个时间间隔构成一个搜索区间;其中,n=W/△t,W表示脉冲光束的脉宽,△t表示时间间隔的大小。比如当脉冲光束的脉宽为2ns,直方图中时间间隔的大小为100ps时,则设定搜索区间包括20个时间间隔,如图3所示的区间302(区间302仅示例性绘出5个时间间隔,按照此例应包含20个时间间隔)可记为一个搜索区间。
S53、基于所述搜索区间对初始直方图进行搜索,提取出光子总数最大的搜索区间以及对应的直方图索引;所述直方图索引对应所述搜索区间内第一个时间间隔。
在本实施例中,对初始直方图添加索引用于对全部的时间间隔进行排序,则根据直方图索引可以快速定位到对应的时间间隔以及确定该时间间隔对应的飞行时间。则根据步骤S52中确定的搜索区间对初始直方图进行搜索,提取出光子总数最大的搜索区间以及对应的直方图索引。采用滑动求和的方法计算每个搜索区间内的光子总数,以初始搜索的光子总数作为第一光子总数,后续搜索的光子总数记为第二光子总数,若第一光子总数小于第二光子总数,则将第一光子总数的数值更新为第二光子总数再进行下一次搜索,其中,计算光子总数的方法为:
其中,index表示直方图索引,index表征搜索区间内第一时间间隔的直方图索引,PluseBinNum表征搜索区间的大小。
在一个实施例中,对初始直方图的搜索从直方图中第一个时间间隔开始,则index设定为第一时间间隔的直方图索引index1,即从第一个时间间隔作为起点,选取连续20个时间间隔作为第一个搜索区间进行光子计数求和,将求和的结果记为第一光子总数预存储,接下来以第二个时间间隔为起点选择第二个搜索区间计算光子总数记为第二光子总数。比较第一光子总数与第二光子总数的大小:若第一光子总数小于第二光子总数,则将第一光子总数的数值更新为第二光子总数的数值,反之则不更新。再以第三个时间间隔选择第三个搜索区间计算光子总数并与最新的第一光子总数比较大小,若第一光子总数小于当前的第二光子总数(即第三个搜索区间的光子总数),则将第一光子总数的数值更新为当前的第二光子总数的数值,再进行下一次搜索,以此循环直至完成对整个直方图的搜索,提取出光子总数最大的搜索区间以及对应的直方图索引。可以理解的是,在一些实施例中,对初始直方图的搜索可以选择直方图任意一个时间间隔开始。
S54、将光子总数最大的搜索区间作为第二直方图计算第二飞行时间,并根据第二飞行时间以及光子总数最大的搜索区间的直方图索引在初始直方图中对应的第一飞行时间,来计算脉冲光束从发射到接收的飞行时间,即目标飞行时间。假设第二飞行时间为t2,而光子总数最大的搜索区间的直方图索引在初始直方图中所对应的飞行时间为t1,则最终的飞行时间t=t1+t2,根据t即可测算物体的距离。
进一步地,在步骤S53中,还可包括:计算所述提取出光子总数最大的搜索区间所对应的信号的信噪比,根据信噪比判断提取结果是否准确。
在搜索以及提取过程中,由于采用光子总数最大值的提取条件,当原始直方图中未探测到回波信号时,仍可以提取到一个搜索区间用于计算飞行时间,由此可产生测量错误。因此,还可以对搜索出的区间进行判断以验证提取结果的准确性。
具体的,通过计算提取出的搜索区间所对应的信号的信噪比,若信噪比符合预设的阈值,则认为提取结果准确。所述预设阈值可以通过预先标定、实验测量等方法确定。
首先,根据初始直方图计算噪声光子数。在一个实施例中,从初始直方图中截取局部区域计算噪声光子数,如图3所示的初始直方图中,根据初始直方图中脉冲峰值位置选择远离脉冲峰值位置的局部区域用于计算噪声光子数。比如以初始直方图中间位置的时间间隔为分界线,若脉冲峰值位置处于初始直方图的后半部分,则在初始直方图的前半部分选择局部区域计算噪声光子数,即选定局部区域后计算该区域内全部时间间隔内的光子数均值记为噪声光子数,同理,若位于前半部分,则从后半部分选择局部区域计算噪声光子数。
在一个实施例中,根据初始直方图全部的时间间隔计算噪声光子数,即将全部时间间隔内光子数总和剔除掉脉冲位置处的光子数总和后求平均值记为噪声光子数,具体计算过程如下:
DCValue=(BinValueSum-PluseBinDate)/(BinNum-PluseBinNum)
≈(BinValueSum-PluseBinDate)/BinNum
其中,DCValue表征噪声光子数,BinValueSum表征全部时间间隔内的光子数总和,PluseBinDate表征脉冲位置处的光子数总和,即搜索区间内的光子数总和,BinNum表征全部时间间隔的数量,PluseBinNum保证脉冲对应时间间隔的数量,即搜索区间内时间间隔的数量。
再计算提取出的搜索区间的信噪比,信噪比计算公式为:
若信噪比符合预设的阈值,则认为提取结果准确,根据提取出的搜索区间执行步骤S54,若不符合,则进行下一帧的距离测量。
作为本发明另一实施例,还提供一种飞行时间测距设备,包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序;其中,所述处理器执行所述计算机程序时实现前述实施例所述的飞行时间测距方法的步骤S1-S4;或者所述处理器执行所述计算机程序时实现前述实施例所述的飞行时间测距方法的步骤S51-S54。
本发明的实施例可以包括或利用包括计算机硬件的专用或通用计算机,如下面更详细讨论的。在本发明的范围内的实施例还包括用于携带或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这样的计算机可读介质可以是可以被通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是物理存储介质。携带计算机可执行指令的计算机可读介质是传输介质。因此,作为示例而非限制,本发明的实施例可以包括至少两种截然不同的计算机可读介质:物理计算机可读存储介质和传输计算机可读介质。
本申请实施例还提供一种计算机设备,所述计算机设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其中,所述处理器执行所述计算机程序时至少实现前述实施例方案中所述的飞行时间测距方法的步骤S1-S4,或者所述处理器执行所述计算机程序时实现前述实施例所述的飞行时间测距方法的步骤S51-S54。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种飞行时间测距方法,其特征在于,包括:
根据初始直方图区域内噪声光子数的平均值作为噪声光子数;其中,所述初始直方图包括连续的时间间隔,所述时间间隔内包含采集器采集的脉冲光束中光子的计数值;
根据所述噪声光子数确定脉冲提取条件,根据所述脉冲提取条件对所述初始直方图进行搜索,以提取出符合所述脉冲提取条件的至少一个搜索区间以及对应的直方图索引;所述搜索区间包括多个时间间隔,所述搜索区间内时间间隔的数量根据发射器发射的脉冲光束的脉宽确定,所述直方图索引对应所述搜索区间内第一个时间间隔;
将提取出的所述搜索区间作为第二直方图计算第二飞行时间,并根据所述第二飞行时间以及提取出的搜索区间的直方图索引在初始直方图中对应的第一飞行时间计算脉冲光束由发射到接收的飞行时间。
2.如权利要求1所述的飞行时间测距方法,其特征在于,所述根据初始直方图计算噪声光子数包括:
从所述初始直方图中选取远离脉冲峰值位置的一局部区域;
将所述局部区域内的光子计数总值按照该局部区域内时间间隔的数量求均值,记为所述噪声光子数。
3.如权利要求1所述的飞行时间测距方法,其特征在于,所述根据初始直方图计算噪声光子数包括:
选取所述初始直方图中除脉冲位置处以外的区域,并将该区域内的光子计数总值按照该区域内时间间隔的数量求均值,记为所述噪声光子数。
4.如权利要求1所述的飞行时间测距方法,其特征在于,所述脉冲提取条件为根据所述噪声光子数设定的一脉冲提取阈值Th;对所述初始直方图进行搜索时,选择任一时间间隔作为起点,选择满足预设数量的时间间隔构成所述搜索区间,并计算该搜索区间内的光子总数,当该搜索区间内的光子总数大于设定的脉冲提取阈值Th时,则该搜索区间符合所述脉冲提取条件,将该搜索区间存入缓冲寄存器。
5.如权利要求4所述的飞行时间测距方法,其特征在于,当存储的搜索区间超出缓冲寄存器的存储上限时进行写入阻塞,同时对提取到的搜索区间数量进行计数,如果多帧计数结果大于或等于缓冲寄存器的存储上限,则对所述脉冲提取阈值Th增加修正项ΔTh,设定新的脉冲提取阈值为Th+ΔTh。
6.如权利要求4所述的飞行时间测距方法,其特征在于,还包括:
根据接收脉冲信号强度或者接收脉冲波形与发射脉冲波形的相关度设置筛选条件,对提取到的多个搜索区间进行筛选;
根据预先设置的多回波模式对筛选后保留的搜索区间进行排序,以挑选出目标回波信号对应的搜索区间来进行所述第二飞行时间的计算。
7.如权利要求6所述的飞行时间测距方法,其特征在于,所述预先设置的多回波模式包括回波数量以及排序特征,所述排序特征包括回波强度或者回波时间;其中,所述回波强度采用每个搜索区间内的光子总数表征,所述回波时间采用每个搜索区间对应的直方图索引表征,根据索引的序号判断出最近回波或最远回波。
8.如权利要求1所述的飞行时间测距方法,其特征在于,所述脉冲提取条件为根据所述噪声光子数设定的接收脉冲信噪比阈值或者接收脉冲波形与发射脉冲波形的相关度阈值;当某一搜索区间内的接收脉冲信噪比高于所述接收脉冲信噪比阈值,或者接收脉冲波形与发射脉冲波形的相关度高于所述相关度阈值时,则该搜索区间符合所述脉冲提取条件。
9.一种飞行时间测距系统,其特征在于,包括:
发射器,用于朝向物体发射脉冲光束;
采集器,用于采集被物体反射回的所述脉冲光束中的光子并形成光子信号;
处理电路,与所述发射器以及所述采集器连接,用于对所述光子信号进行处理以形成初始直方图,并按照权利要求1-8任一项所述的飞行时间测距方法处理所述初始直方图,以获得物体的距离信息。
10.一种飞行时间测距设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于:所述处理器执行所述计算机程序时实现权利要求1-8任一项所述的飞行时间测距方法。
CN202110121633.8A 2021-01-28 2021-01-28 一种飞行时间测距方法、系统和设备 Active CN112924981B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110121633.8A CN112924981B (zh) 2021-01-28 2021-01-28 一种飞行时间测距方法、系统和设备
PCT/CN2021/106021 WO2022160610A1 (zh) 2021-01-28 2021-07-13 一种飞行时间测距方法、系统和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110121633.8A CN112924981B (zh) 2021-01-28 2021-01-28 一种飞行时间测距方法、系统和设备

Publications (2)

Publication Number Publication Date
CN112924981A CN112924981A (zh) 2021-06-08
CN112924981B true CN112924981B (zh) 2023-10-31

Family

ID=76168186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110121633.8A Active CN112924981B (zh) 2021-01-28 2021-01-28 一种飞行时间测距方法、系统和设备

Country Status (2)

Country Link
CN (1) CN112924981B (zh)
WO (1) WO2022160610A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112924981B (zh) * 2021-01-28 2023-10-31 深圳奥锐达科技有限公司 一种飞行时间测距方法、系统和设备
CN112817001B (zh) * 2021-01-28 2023-12-01 深圳奥锐达科技有限公司 一种飞行时间测距方法、系统和设备
CN114594455B (zh) * 2022-01-13 2022-11-18 杭州宏景智驾科技有限公司 激光雷达系统及其控制方法
CN114114300B (zh) * 2022-01-25 2022-05-24 深圳市灵明光子科技有限公司 一种散点重分布测距装置和激光探测系统
CN114814863A (zh) * 2022-04-22 2022-07-29 北京一径科技有限公司 一种基于sipm的回波检测方法、装置、设备及存储介质
CN117665741A (zh) * 2022-08-26 2024-03-08 上海禾赛科技有限公司 激光雷达回波信号处理方法及装置、激光雷达探测系统
CN115963506B (zh) * 2023-03-16 2023-05-23 杭州宇称电子技术有限公司 单光子雪崩二极管直接时间飞行测距方法、装置及其应用
CN117741682A (zh) * 2024-02-19 2024-03-22 荣耀终端有限公司 距离检测方法、测距系统、电子设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06194320A (ja) * 1992-12-25 1994-07-15 Hitachi Ltd 半導体製造ラインにおける鏡面基板の検査方法およびその装置並びに半導体製造方法
JPH1165818A (ja) * 1997-08-22 1999-03-09 Nec Corp データ転送方法および装置、閾値調整方法および装置
JP2000123584A (ja) * 1998-10-19 2000-04-28 Hitachi Ltd 不揮発性半導体メモリおよびそれを内蔵した半導体集積回路
CN104579498A (zh) * 2015-01-16 2015-04-29 中国科学院上海光学精密机械研究所 光子数可分辨的光子计数型通信接收装置
CN112255636A (zh) * 2020-09-04 2021-01-22 奥诚信息科技(上海)有限公司 一种距离测量方法、系统及设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100721543B1 (ko) * 2005-10-11 2007-05-23 (주) 넥스트칩 통계적 정보를 이용하여 노이즈를 제거하는 영상 처리 방법및 시스템
JP5708605B2 (ja) * 2012-03-09 2015-04-30 株式会社デンソー Pwmデューティ変換装置
CN105911536B (zh) * 2016-06-12 2018-10-19 中国科学院上海技术物理研究所 一种具备实时门控功能的多通道光子计数激光雷达接收机
CN105954733B (zh) * 2016-06-17 2018-11-13 南京理工大学 基于光子飞行时间相关性的时域滤波方法
JP2021001764A (ja) * 2019-06-20 2021-01-07 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距方法、および、測距システム
CN110579775A (zh) * 2019-10-10 2019-12-17 华中光电技术研究所(中国船舶重工集团有限公司第七一七研究所) 超远程单光子三维激光雷达扫描成像系统
CN111694014B (zh) * 2020-06-16 2022-12-09 中国科学院西安光学精密机械研究所 一种基于点云模型的激光非视域三维成像场景建模方法
CN112114324B (zh) * 2020-08-24 2024-03-08 奥诚信息科技(上海)有限公司 一种距离测量方法、装置、终端设备及存储介质
CN112924981B (zh) * 2021-01-28 2023-10-31 深圳奥锐达科技有限公司 一种飞行时间测距方法、系统和设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06194320A (ja) * 1992-12-25 1994-07-15 Hitachi Ltd 半導体製造ラインにおける鏡面基板の検査方法およびその装置並びに半導体製造方法
JPH1165818A (ja) * 1997-08-22 1999-03-09 Nec Corp データ転送方法および装置、閾値調整方法および装置
JP2000123584A (ja) * 1998-10-19 2000-04-28 Hitachi Ltd 不揮発性半導体メモリおよびそれを内蔵した半導体集積回路
CN104579498A (zh) * 2015-01-16 2015-04-29 中国科学院上海光学精密机械研究所 光子数可分辨的光子计数型通信接收装置
CN112255636A (zh) * 2020-09-04 2021-01-22 奥诚信息科技(上海)有限公司 一种距离测量方法、系统及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于匹配滤波的Gm-APD激光雷达三维重构算法研究;马乐;陆威;姜鹏;刘迪;王鹏辉;孙剑峰;;红外与激光工程(第02期);全文 *
基于超导探测器的激光测距系统作用距离分析;薛莉 等;光学学报;全文 *

Also Published As

Publication number Publication date
CN112924981A (zh) 2021-06-08
WO2022160610A1 (zh) 2022-08-04

Similar Documents

Publication Publication Date Title
CN112924981B (zh) 一种飞行时间测距方法、系统和设备
CN112817001B (zh) 一种飞行时间测距方法、系统和设备
US20240028667A1 (en) Method and apparatus for processing a histogram output from a detector sensor
CN112946675B (zh) 一种基于时间融合的距离测量方法、系统和设备
US9417326B2 (en) Pulsed light optical rangefinder
JP6863342B2 (ja) 光測距装置
CN112731425B (zh) 一种处理直方图的方法、距离测量系统及距离测量设备
US10948575B2 (en) Optoelectronic sensor and method of measuring the distance from an object
WO2020201452A1 (en) Method of measuring optical crosstalk in a time of flight sensor and corresponding time of flight sensor
CN112114324B (zh) 一种距离测量方法、装置、终端设备及存储介质
CN110609267A (zh) 一种激光雷达系统及其抗干扰方法
EP4016124A1 (en) Time of flight calculation with inter-bin delta estimation
CN111257900B (zh) 激光雷达测距方法及装置
CN111323765A (zh) 一种星载光子计数激光雷达回波信号处理及目标提取方法
US11885878B2 (en) Method for gating an output of a single photon avalanche diode (SPAD) cluster based on an ambient count of ambient light events generated by the SPAD cluster in a region of interest of a time of flight (TOF) ranging array
WO2022188884A1 (zh) 一种距离测量方法、系统及装置
CN114488173A (zh) 一种基于飞行时间的距离探测方法和系统
US20230296739A1 (en) Methods and devices for identifying peaks in histograms
US20220326358A1 (en) Method and device for determining distances to a scene
US11536835B2 (en) Laser measuring means for measuring a distance from an object, and method of operating same
CN113009498A (zh) 一种距离测量方法、装置及系统
US11085999B2 (en) Telemetry method and system using an imager
US20220308173A1 (en) Anti flicker filter for dtof sensor
CN117554933A (zh) 一种测距直方图的底噪计算方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant