CN106133551B - 信号谐波误差取消方法和装置 - Google Patents
信号谐波误差取消方法和装置 Download PDFInfo
- Publication number
- CN106133551B CN106133551B CN201580016922.4A CN201580016922A CN106133551B CN 106133551 B CN106133551 B CN 106133551B CN 201580016922 A CN201580016922 A CN 201580016922A CN 106133551 B CN106133551 B CN 106133551B
- Authority
- CN
- China
- Prior art keywords
- phase
- image sensor
- output signals
- harmonic
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 41
- 238000005259 measurement Methods 0.000 claims abstract description 103
- 230000005855 radiation Effects 0.000 claims abstract description 43
- 230000008569 process Effects 0.000 description 15
- 238000003384 imaging method Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000010363 phase shift Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005191 phase separation Methods 0.000 description 3
- 238000013481 data capture Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000001134 F-test Methods 0.000 description 1
- 238000000692 Student's t-test Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000006260 foam Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012353 t test Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000005428 wave function Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
- G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/491—Details of non-pulse systems
- G01S7/4911—Transmitters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/491—Details of non-pulse systems
- G01S7/4912—Receivers
- G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
在一个方案中,本发明提供了一种时差测距相机系统,其包括:时差测距发射机,其布置成朝目标发射经调制的辐射;以及相位调节元件,其构造为调节用以朝目标发射经调制的辐射的源调制信号的相位。该相位调节元件提供了一组相位分离输出信号,提供的每个输出信号具有施加的一组相位偏移值之一,其中,至少一个这些相位偏移值是一组相位偏移值的另一元素的取消相位值。相机系统还包括:图像传感器,其被源调制信号所调制并且构造为测量从目标反射的辐射;以及处理器,其布置成接收图像传感器的测量以及被编程以根据图像传感器接收的测量来解析范围信息。
Description
技术领域
本发明涉及一种信号谐波误差取消方法和装置,优选连同时差测距范围成像相机系统一起采用。
背景技术
在多个应用中,要求提供正弦波形信号来驱动其他信号的调制,或者来修改变换器输出。使用正弦波形信号优选在许多情形下最小化除了其基础频率之外存在于信号中的谐波分量的数量。
例如,时差测距(此处‘ToF’)范围成像应用可以共同调制频率来调制用于场景的光源以及成像变换器。在输出源以及所接收的变换器信号之间检测相位差分,以提供关于被照亮场景中的特定目标的范围的指示。该类型时差测距图像范围技术的例子公开在公开的PCT公开WO2004/090568的专利说明书中。
已经发展了对这些种类的范围确定相机系统的进一步修改,这些修改对正在使用的光源施加一组等比例增加的相位偏移。原始或者源调制信号用来调制传感器输出,同时光发射机输出被施加相位偏移的相同原始源调制信号所调制,从而允许检测相对时差测距的相位改变。通过在用于所施加的每个选择的相位值的测量时间中对接收传感器的输出进行积分,来进行多次相位测量。然后这些测量组用以计算以及估计用于贡献于传感器读数的所有公知变数。
还发展了各种其他类型的相位感应成像应用,其需要提供这种调制信号,诸如,扩散成像、强度调制光学光谱法(IMOS)和荧光寿命成像(FLM)应用。
在这种应用中采用的处理算法和数学通常依赖于使用的调制或者采样频率是正弦曲线的假设。但是,实践中这些预期的正弦波通常由方波提供,使用现成产品、低成本数字部件能够易于生成方波。
方波本身包括多个高阶谐波频率。这些高阶谐波会在通过这些成像系统计算的相位测量中引入误差源。
因此,对现有技术进行改进将具有优势,优势在于,解决了上述问题或者至少提供给公众一个可替换选择。
发明内容
根据本发明的一个方案,提供了一种用于时差测距相机系统的信号谐波误差取消方法,其特征在于这些步骤;
i)生成源调制信号,源调制信号包括至少一个识别谐波频率,以及
ii)调节源调制信号的相位以提供一组相位分离输出信号,所述相位分离输出信号取消了由识别谐波频率提供的误差,所述输出信号具有的相位偏移值通过这些步骤确定:
a.计算所述识别谐波对利用所选相位阶跃值进行的测量的贡献的相位,
b.对于所计算的谐波贡献的相位确定取消相位,
c.确定提供一个测量的另一相位阶跃值,所述测量包括来自所述识别谐波的贡献,该贡献具有的相位等于所述取消相位,
d.重复步骤a-c以确定将被施加至所述一组相位分离输出信号的所述相位值,
iii)提供所述一组相位调节信号至时差测距相机系统。
根据本发明的另一方案,提供了一种基本如上所述的方法,该方法的特征在于额外步骤:
iv)利用被这组相位分离输出信号的第一元素调制的辐射照射时差测距相机系统图像传感器,
v)利用源调制信号调制图像传感器的输出,并且通过在标准测量时间内对所述图像传感器的输出进行积分来生成时差测距相机测量,同时仅所述一组相位分离输出信号的所述第一元素用来调制所述照射的辐射,
vi)利用仅被所述一组相位分离输出信号的下一元素调制的辐射来照射所述图像传感器,以及在标准测量时间内对所述图像传感器的输出进行积分,同时利用所述源调制信号来调制所述图像传感器的输出以生成另一测量,
vii)对于所述一组相位分离输出信号的每个剩余元素,重复以上步骤(vi)。
优选地,相对于源调制信号的基准频率计算识别谐波的贡献的相位。
根据本发明的一个方案,提供了用于时差测距相机系统的信号谐波误差取消方法,其特征在于这些步骤:
i)生成源调制信号,源调制信号包括至少一个谐波分量,以及
ii)调节源调制信号的相位以提供一组四个相位分离输出信号,
iii)提供这组四个相位调节信号至时差测距相机系统,
其中,一组输出信号具有的相位偏移值等于用于一组输出信号的0、90、120和210度或者用于一个可替换组输出信号的0、90、240和330度。
根据本发明的又一方案,提供了用于时差测距相机系统的信号谐波误差取消装置,该装置包括:
源调制信号生成器,其构造为生成包括至少一个谐波分量的源调制信号,以及
相位调节元件,其构造为调节由源调制信号生成器供给的源调制信号的相位,
其特征在于,相位调节元件提供了四个输出信号,它们具有的相位偏移等于值等于0、90、120和210度或者0、90、240和330度。
根据本发明的另一方案,提供了一种时差测距相机系统,其包括:
时差测距发射机,其布置成朝目标发射经调制的辐射,以及
相位调节元件,其构造为调节用以调制朝目标发射的辐射的源调制信号的相位,所述相位调节元件提供一组相位分离输出信号,提供的每个输出信号具有施加的一组相位偏移值之一,其中,至少一个这些相位偏移值是所述一组相位偏移值的另一元素的取消相位值,以及
图像传感器,其构造为测量从目标反射的辐射,所述图像传感器的输出被所述源调制信号所调制,以及
处理器,其布置成接收所述图像传感器的测量以及被编程以根据所述图像传感器接收的测量来解析范围信息。
根据本发明的另一方案,提供了一种基本如上所述的时差测距相机系统,其中,所述处理器构造为通过执行指令生成时差测距相机测量,所述指令完成这些步骤:
1)利用被所述一组相位分离输出信号的第一元素所调制的辐射来照射时差测距相机系统图像传感器,
2)利用所述源调制信号来调制所述图像传感器的输出,并且通过在标准测量时间内对所述图像传感器的输出进行积分来生成第一时差测距相机测量,同时仅所述一组相位分离输出信号的第一元素用来调制所述照射的辐射,
3)利用仅被所述一组相位分离输出信号的下一元素所调制的辐射来照射所述图像传感器,以及在标准测量时间内对所述图像传感器的输出进行积分,同时利用所述源调制信号来调制所述图像传感器的输出以生成另一测量,
4)对于所述一组相位分离输出信号的每个剩余元素,重复以上步骤3。
根据本发明的另一方案,提供了一种时差测距相机系统,其包括:
时差测距发射机,其布置成朝目标发射经调制的辐射,以及
相位调节元件,其构造为调节用以调制朝目标发射的辐射的源调制信号的相位,相位调节元件提供四个输出信号,它们具有的相位偏移等于值等于0、90、120和210度或者0、90、240和330度,
图像传感器,其构造为测量从目标反射的辐射、正被源调制信号所调制的图像传感器的输出,以及
处理器,其布置成接收图像传感器的测量以及被编程以根据图像传感器接收的测量来解析范围信息。
根据本发明的另一方案,提供了一种基本如上所述的时差测距相机系统,其中,处理器构造为通过实施指令生成时差测距相机测量,指令完成这些步骤:
1)利用被所述一组相位分离输出信号的第一元素所调制的辐射来照射时差测距相机系统图像传感器,
2)利用所述源调制信号来调制所述图像传感器的输出,并且通过在标准测量时间内对所述图像传感器的输出进行积分来生成第一时差测距相机测量,同时仅所述一组相位分离输出信号的第一元素用来调制所述照射的辐射,
3)利用仅被所述一组相位分离输出信号的下一元素所调制的辐射来照射所述图像传感器,以及在标准测量时间内对所述图像传感器的输出进行积分,同时利用所述源调制信号来调制所述图像传感器的输出以生成另一测量,
4)对于所述一组相位分离输出信号的每个剩余元素,重复以上步骤3。
根据本发明的又一方案,提供了实施计算机可执行指令的程序的计算机可读介质,指令的程序包括:
至少一个指令,其用以接收一组相位分离输出信号,提供的每个输出信号具有施加的一组相位偏移值之一,其中,至少一个这些相位偏移值是所述一组相位偏移值的另一元素的取消相位值,以及
至少一个指令,其用以利用由所述一组相位分离输出信号的第一元素所调制的辐射来照射时差测距相机系统图像传感器,
至少一个指令,其用以利用所述源调制信号来调制所述图像传感器的输出,并且通过在标准测量时间内对所述图像传感器的输出进行积分来生成第一时差测距相机测量,同时仅所述一组相位分离输出信号的所述第一元素用来调制所述照射的辐射,
至少一个指令,其用以利用仅由所述一组相位分离输出信号的下一元素所调制的辐射来照射所述图像传感器,以及在标准测量时间内对所述图像传感器的输出进行积分,同时利用所述源调制信号来调制所述图像传感器的输出以生成另一测量,
至少一个指令,其用以通过使用所述一组相位分离输出信号的每个剩余元素照射所述图像传感器以及在标准测量时间内对所述图像传感器的输出进行积分,来重复生成另一测量。
优选地,所述一组相位调节的输出信号由四个元素组成,所述四个元素具有的相位偏移值等于0、90、120和210度。
可替换地,所述一组相位调节的输出信号由四个元素组成,所述四个元素具有的相位偏移等于值等于0、90、240和330度。
本发明的范围内具有多个方案,从用于时差测距相机系统的信号谐波误差取消方法到使用该方法操作的整个时差测距相机系统,还有通过关联于这种时差测距相机系统的处理器所运行的计算机可执行指令的程序。本领域的技术人员将认识到的是,本发明包含所有上述方案,而不考虑是否这些方案主要是否单独地用于时差测距相机系统的校正方法。
本领域的技术人员还将认识到的是,参考时差测距相机系统包含技术等同物,涉及通过参考并入此处的PCT公开WO2004/090568所公开的内容。本领域技术人员还将认识到的是,本发明可以使用在各种不同的相机系统中,它们基于光的时差测距(ToF)原理使用零差调幅连续波(AMCW)激光探测与测量。
这种时差测距相机具有至少一个图像传感器以及处理器,处理器用来控制图像传感器的操作并且用来收集该传感器生成的数据。相机处理器还能够构造为处理图像传感器生成的数据以提供在被相机瞄准的场景中用于特定目标的范围或者距离测量。
参考整个该说明书中,还将提供包括单个图像传感器以及单个处理器的相机系统。但是本领域的技术人员将认识到的是,使用多个相机或者多个处理器的其他硬件工具也在本发明的范围内。
时差测距相机系统生成或者接收源调制信号,源调制信号用来调制朝目标场景发射的辐射以及由场景中的目标反射到图像传感器上的辐射。通常使用基于数字信号的方波生成该源调制信号,数字信号包括具有频率的多个谐波分量,该频率多倍于基准源调制信号频率。
源调制信号用作本发明的输入以提供一组相位分离输出信号。每个这些信号又用以调制朝感兴趣场景的目标发射的辐射,同时反射的辐射被相机系统的图像传感器捕获。在整个该说明书中还将参考被调制的辐射所照射的该图像传感器,这应该理解为,该图像传感器被中间反射或者从被相机瞄准的场景中的目标向后散射所照射。
总之在整个该说明书中还将参考本发明,进行时差测距相机数据捕获处理,该处理使用一组四个相位分离输出信号记录一组四个测量。本领域的技术人员将再次认识到的是,本发明可以在其他实施例中实施以生成用于进行多于四个测量的数据捕获处理的不同数量的相位分离输出信号。
优选地,单独地使用每个相位分离输出信号来照射感兴趣场景,从而导致辐射仅被从场景中的目标所反射的这组输出信号的一个元素调制并且照射时差测距相机系统图像传感器。测量能够从在标准测量时间内积分的图像传感器的输出生成,同时传感器接收被单个相位分离输出信号所调制的辐射。在该标准测量时间结束时,这组相位分离输出信号的不同元素然后能够被用来照射场景,同时图像传感器能够通过在相同标准测量时间内积分的其输出再次生成另一测量。因此能够生成一整组测量,其中的一个测量用于一组相位分离输出信号中的每个元素,从而允许相机系统的处理器使用公知时差测距处理算法来计算用于所瞄准的场景内的目标的范围信息。
本发明包括至少一个相位调节元件,其接收源调制信号作为输入,并且调节信号的相位以产生操作时差测距相机所需的一组相位分离输出信号。本领域的技术人员将认识到的是,具有不同技术的范围可以用来实施这种相位调节元件,因此在整个说明书中不需要详细讨论。
每个相位分离输出信号具有关联的相位偏移值。可以利用本发明来控制施加至一组输出信号的每个元素的特定相位偏移值。能够通过本发明设定这些具体相位偏移值,以确保该组的对应元素设置有取消相位值。使用这些取消相位值通过时差测距相机所记录的测量能够具有取消的基准源调制频率的特定谐波的贡献。
通过估计代表识别谐波的贡献的范围相量以及考虑在若干不同的测量中其贡献的相位,来确定这些相位偏移值。
该计算能够通过这样进行:将施加至这些测量中的第一个测量的相位偏移固定为公知值,同时能够计算需要的第二相位偏移值以便充当取消相位。该取消相位将起到的作用是,抵消由第一个初始测量所提供的谐波的贡献,从而取消因进行的测量中的该识别谐波所产生的误差。
在整个该说明书中提到的取消相位是特定相位值,该特定相位值设定了由本发明提供的输出信号的相位。在特定实施例中,本发明能够用来计算添加的相位值,该值被添加至第一个所选相位阶跃值以达到该取消相位值。
作为一组相位偏移值中一个施加的取消相位值不同于贡献于正在进行测量的谐波的相位。当来自基准源频率以及其识别谐波周期的相对贡献处于不同的频率时,每个贡献将可能处于进行测量时的不同相位。因此施加的取消相位将是预期源频率和正被取消的谐波的频率的组合。
在优选实施例中,能够通过考虑代表正进行的测量的范围相量来计算取消相位值。该范围相量能够表示为下文列出的正被考虑的两个测量的贡献:mo,具有公知相位偏移值的第一测量,设定为0;以及ma,其是额外测量值,具有其计算的取消相位。
该表达式能够重新书写为如下,以代表数字信号处理应用中提供的方波,其中,术语p代表具有源调制信号频率的纯正弦波。在表达式的右手边,术语p代表以基准源频率提供的贡献,构成方波形式的每个随后项具有源频率的另一谐波的贡献。
正如能够见于以上表达式的,变量α的特定选择将导致提供用于第二测量的取消相位以取消特定谐波的贡献。例如,在另一优选实施例中,α的值选择为4/3或者8/3将导致当一组四个测量被记录时取消相位可移除基准源调制信号频率的第三谐波。
利用识别用于变量α的这些选择,能够进行计算以使用如下关系式来确定所需的取消相位的值:
iα=eiαπ/2
该关系式表明:α的整数倍提供每个相位旋转π/2或者90度。对于α=4/3的值,当用于第一测量选择相位偏移值为0度时,该方法将添加2π/3或者120度以从第二测量形成取消相位。优选地,通过设定下一初始测量相位值为90度,能够计算用于四个测量处理的剩余两个相位偏移值。该选择将产生第二取消相位为210度,利用添加的计算出的120度值具有原始90度相位偏移。
在可替换实施方式中,α=8/3的值能够用以达到0以及4π/3或者240度的相位阶跃测量。在四个测量处理中,下一测量能够再次具有选择的90度相位偏移值,提供第二取消相位为330度。
本领域的技术人员还将认识到的是,本发明还可以用来取消除了上文参考的第三谐波之外的谐波分量的贡献。此外,移除特定谐波分量的取消方法又将移除多倍于目标谐波的其他谐波的谐波贡献,诸如,当第三谐波被取消时又将移除第九和第十五谐波,或者当第五谐波被移除时又将移除第十或者第十五谐波。
例如,上述实施例可以易于修改,以使用4/5、8/5、12/5或者16/5的α值取消第五谐波。仍然在其他情形下,将使用4/7、8/7、12/7、16/7、20/7或者24/7的α值取消第七谐波。
在更一般的表述下,为了针对mth谐波,能够采用等于4j/m的α值,其中j是不等于零或可被m除尽的整数。因此,为了取消mth谐波,取消相位能够通过将用于初始测量的偏移相位值添加至由2πj/m所确定的值来确定,其中,j再次为不等于零且不能被识别谐波m的数所除尽的整数。
因此本发明的各种方案相比现有技术提供了许多潜在优势。本发明可以优选连同时差测距相机系统使用,以取消通过由相机使用的源调制频率的特定谐波分量所引起的测量误差。取消所针对的特定谐波分量还能够按照本发明的用户的意愿所选择。此外,多倍于特定目标谐波分量的高阶谐波也将能够通过使用本发明而被取消。本发明的误差校正方法允许确定取消相位值,其实现了该目的而不需要对现有的时差测距相机系统进行显著修改。
附图说明
参考附图,通过下文仅以实例方式给定的对具体实施例的描述,对读者来说本发明的额外的另外方案将显而易见,其中:
图1示出了根据本发明的一个实施例实施的时差测距相机系统。
图2示出了相比于本发明的使用四个相位阶跃针对第三谐波的实施例中的均等相位阶跃,测量的平均相位误差与对于值α=4/3所获得的结果的距离的图表。
图3示出了参考图2获得的用于本发明的实施例的结果的傅里叶光谱。基准或者第一谐波是x-轴线零点的右侧的第一波峰,第三谐波是零点的左侧的第一波峰,第五谐波是零点的右侧的第二波峰,第七谐波是零点的左侧的第二波峰。
图4示出了在相对于图2和图3讨论的实施例中用于α=4/3的相位中的标准偏差。数据覆盖一个完整模糊距离的相位扫描。
图5示出了用于在一个实施例中实施本发明的时差测距相机系统的测量捕获的计算机可执行指令的示范流程图。
图6示出了用于处理根据图5图示的实施例捕获的测量的计算机可执行指令的示范流程图。
从下文的仅依靠特定实施例的例子给定的本发明的描述中,本发明的进一步方案将变得明显。
具体实施方式
调幅连续波时差测距范围成像提供了距离测量的全领域,但是普通硬件利用数字技术实施,这引起不想要的谐波内容、距离测量中原则上的误差源。用于校正谐波的现有策略需要进行辅助测量并且放大噪声。下文描述了对数据获取程序的修改,其目标为第三谐波,第三谐波是谐波误差的主要原因。
零差调幅连续波(AMCW)激光雷达是基于光的时差测距(ToF)原理的主动距离测量技术。AMCW相机在每个像素上执行激光雷达,测量距离的全部图像。AMCW ToF的优势为快速获取来自单个像素阵列的距离图像,而不需要用于相反问题的复杂解决方案。
零差AMCW测量程序涉及以彼此相同的频率fm调制光源和传感器。为了易于实施,典型硬件基于数字电子学,因此使用方波调制。光源和传感器都被调制,它们之间具有可编程的相位偏移。传感器测量从场景反向散射的光,该光在取决于光在介质中的速度的时间段内行进一段距离。该行进时间或光的ToF将引发光调制的上升或下降时间中的相位移动,该相位移动被编码为光和传感器之间的相对相位偏移。整体强度成比例于光源和传感器的调制波形的重叠,该重叠又取决于相对相位偏移。
我们首先考虑在没有误差的理想情形中的AMCW ToF处理,其次返回下文的方波谐波的暗示和校正。利用现有技术数据获取,测量一组N帧,其中,对于每个帧,我们设定一个明显相位偏移:N均匀地分布在0至2π之间的相位阶跃中。在每个像素上测量是光源和传感器波形之间的相互关系的离散样本。在理想情形下,波形是正弦曲线的,列举的理想测量In为,
其中,A是由于反向散射的光亮度,B是从环境光和光源贡献的附加项,I是由光行进距离引发的传感器和光返回之间的相位偏移。相位Φ和距离d之间的关系是:
其中,c是介质中的光速。典型地N=4,调用欧拉公式,解调(计算复杂范围相量估计,p为
p=Aeiφ=(I0-I2)+i(I1-I3), (3)
其中,i是虚数单位。相位估计I是使用三角函数运算恢复的p的角度。
经由可替换但等同步骤根据In重新构建p是一件简单的事情。计算复杂测量,
m0=p+C=I0+iI1, (5)
m2=-p+C=I2+iI3, (6)
其中,由于环境光线,C=B+iB是一个复杂恒量。以更普通的形式,我们具有:
mα=piα+C,α∈{0,2}. (7)
p的重获是直接的:
现在我们考虑由于方波调制产生谐波误差的情形。数字调制将引入呈方波形式的奇次谐波。假设光源和传感器被50%占空比的方波函数所调制。使p为真实范围相量,不具有不想要的谐波内容,如上所述,并且使下文的为被不想要的谐波污染的估计值。方波源和传感器函数的相关性的结果是一个三角形波,在复杂测量中三角形波产生以下数学形式:
立即,我们看到,当以下时
则第三谐波被取消。该谐波取消是通过放松相位阶跃均匀间隔的约束而实现的。对于传统四个相位阶跃AMCW ToF的如此小的变化来说,该结果是相当大的改进。应该注意的是,j=3等同于j=0,该系数继续循环。
除了与传统四步平均移相AMCW范围测量的比较,下文描述了移除第三谐波的该方法的具体实施方式。
正如图1图示的,使用构造为实施本发明的一个实施例的时差测距相机系统1。
相机1包括:图像传感器2,其构造为测量从感兴趣目标场景反射的辐射;以及发射机3,其布置成在相同场景上发射经调制的辐射。处理器4还集成至相机中,处理器4布置成接收图像传感器的测量并且被编程以根据图像传感器接收的测量来解析范围信息。处理器4还被编程以生成源调制信号以及使用该生成的信号实施相位调节元件。根据本发明的实施方式,处理器4链接至发射机3以向发射机提供一组相位分离输出信号。
相机布置成查看磨砂白泡沫板的目标。在目标图像上的一百二十个像素的感兴趣区域被仔细分割,以选择具有适当信号质量的数据,同时避免饱和像素,并且在分析之前进行平均化。
相机利用70MHz的调制频率操作,该频率产生2.25m的模糊距离(在该距离中,相位Φ达2π,通过单独检查相位不能区分于0)。相位阶跃域分隔成N=36个均匀隔开的位置。在该规定下,传统AMCW对应于在相位阶跃上的测量n∈{0,9,18,27}。第三阶谐波取消使用的是α=0的位置,以及对于α=4/3使用n∈{12,21}。
光源和传感器之间的相位偏移在硬件中在三十六步骤中递增,从而产生人造相位扫描,从该人造相位扫描可检测出谐波。在三十六个距离步骤的一百二十个进行测量。为了比较获取方法,我们:执行对距离测量误差的直接检查,傅里叶分析以检查负的第三谐波;以及检查相位中的标准偏差(STD)。
从图2图示的结果,相位线性示出了被标注的改善。在传统平均相位阶跃AMCW中,由于第三和第五谐波,我们看到四个周期误差。由于剩余第五谐波,经谐波取消所校正的误差由非常小的四个周期误差所支配。波峰到波峰相位误差从0.07(辐射)降低至0.02(辐射),相对于图4指示的结果具有给定精度。
从由图3示出的复杂范围相量的傅里叶分析,负第三谐波的振幅的平均(STD)在校正之前是186(3)DN,校正之后为4(2)DN。两个样本t-测试表明:我们能够否决这样的假设:负第三箱的平均谱特征相等(H=1,p<<0.01),这支持的宣称是,负第三谐波的取消是成功的。通过以第三谐波为目标的该取消处理还移除了第九谐波。
具有图4示出的距离的STD表明,谐波取消降低了对传统四个相位阶跃AMCW ToF中可见的精确相位的依赖。视觉上,我们看到噪声的较小增加(精度降低)。对数据的所有相位估计的F-测试表明:传统方法和建议的谐波取消之间的相位变量的差异的零假设不能被否认(H=0,p=0.96),这支持的主张是,谐波取消对随机噪声不具有显著效应。
该方法证明,AMCW时差测距四个相位阶跃测量中的谐波取消对获取处理仅具有较小改变。由于正被检测的谐波取消,第三谐波能够成功移除,同时不显著改变标准偏差。此外该方法可扩展以取消高阶谐波效应。
图5还图示了一个例子组处理器指令,其用于实施本发明的时差测距相机系统的测量捕获。
这些指令执行多个单个操作步骤,开始于第一步骤A。在该步骤,执行这些指令的处理器将接收合并了取消相位值的一组相位分离输出信号,在该阶段这组信号中的第一元素指代为该处理中的当前信号,进行至步骤B。
在步骤B,提供指令以将当前相位分离输出信号输送至关联的时差测距相机的发射机,具有的指令是触发由该信号所调制的辐射的发射。同时,提供指令以将用以生成相位分离输出信号的原始源调制信号输送至关联的时差测距相机图像传感器。发布这些指令以确保传感器输出被原始源调制信号所调制,同时发射机输出被当前相位分离输出信号所调制,从而允许检测相对时差测距相位改变。
在步骤C,提供指令以对固定或者标准积分时间内关联的时差测距相机图像传感器的输出进行积分。在该积分时间结束时,单个测量被记录,并且命令发射机终止发射由当前相位分离输出信号所调制的辐射。
在步骤D,确定一个测试以估计当前相位分离输出信号是否为在步骤A供给的这组的最终元素。如果当前信号不是该组的最终构件,则执行步骤E,如果当前信号是最终构件,则执行步骤F。
在步骤E,该组供给信号的下一元素指代为当前信号,利用该新指代的信号再次执行步骤B。
在步骤F,正如图6图示的,将记录的所有测量提供至用于计算图像范围信息的另一处理阶段。
图6图示了一个实施例中的范围信息计算处理,在该实施例中,一组四个相位分离输出信号使用在图5示例的测量捕获处理中。
在该处理的第一阶段中,所捕获的四个测量被分为涉及初始相位偏移值和取消相位值的成对测量组。在第二阶段,完成减法运算以在第三阶段得出一个范围相量,在第四阶段,根据范围相量提取最后的距离或者范围信息。
在前述说明书和以下权利要求中,词语“包括”或者其等同变型使用为包括意义以明确说明存在陈述的一个或多个特征。该术语不排除在各种实施例中存在或者添加另一特征。
本领域的技术人员将认识到的是,本发明的实施例包括的数据介质呈磁性或者光学存储介质、EEPROM、静态和动态RAM以及包括电以及光学信号的载体介质的任何组合形式。
本发明的实施例包括软件产品,或者载体介质,载体介质携带执行此处描述的任何方法的指令,以执行此处执行的任何处理或者执行处理,该处理构造为硬件以执行处理,或者提供此处描述的装置。例如,指令可以是源代码或者目标代码,或者是编译固件,或者是Verilog或VHDL指令。
应该理解的是,本发明并不限于此处描述的实施例,并且,对熟练的读者来说,从参考附图示出的例子中本发明的精神和范围内的另一以及额外实施例将显而易见。本发明尤其可以存在此处描述的特征的任何组合,或者可以存在具有给定特征的公知等同结构的这些特征的可替换实施例或者组合。对本领域的技术人员来说,上文讨论的本发明的例子实施例的修改和变型将显而易见,并且可以在不背离附随的权利要求限定的本发明的范围的情况下进行。
Claims (11)
1.一种用于时差测距相机系统的信号谐波误差取消的方法,其特征在于这些步骤;
i)生成源调制信号,所述源调制信号包括至少一个识别谐波频率,以及
ii)调节所述源调制信号的相位以提供一组相位分离输出信号,所述相位分离输出信号取消了由所述识别谐波频率提供的误差,所述输出信号具有的相位偏移值通过这些步骤确定:
a.计算所述识别谐波对利用所选相位阶跃值进行的测量的贡献的相位,
b.对于所计算的谐波贡献的相位确定取消相位,
c.确定提供一个测量的另一相位阶跃值,所述测量包括来自所述识别谐波的贡献,该贡献具有的相位等于所述取消相位,
d.重复步骤a-c以确定将被施加至所述一组相位分离输出信号的所述相位值,
iii)提供所述一组相位调节信号至时差测距相机系统,
iv)利用所述源调制信号调制的图像传感器的输出,以及利用被所述一组相位分离输出信号的第一元素调制的辐射来照射时差测距相机系统图像传感器,
v)通过在标准测量时间内对所述图像传感器的输出进行积分来生成时差测距相机测量,同时仅所述一组相位分离输出信号的所述第一元素用来调制所述照射的辐射,
vi)利用仅被所述一组相位分离输出信号的下一元素调制的辐射来照射所述图像传感器,以及在标准测量时间内对所述图像传感器的输出进行积分,同时利用所述源调制信号来调制所述图像传感器的输出以生成另一测量,
vii)对于所述一组相位分离输出信号的每个剩余元素,重复以上步骤vi)。
2.根据权利要求1所述的信号谐波误差取消的方法,其中,相对于所述源调制信号的基准频率计算所述识别谐波的贡献的相位。
3.根据权利要求1所述的信号谐波误差取消的方法,其中,所述一组相位调节的信号由四个元素组成,所述四个元素的相位偏移值等于0、90、120和210度。
4.根据权利要求1所述的信号谐波误差取消的方法,其中,所述一组相位调节的信号由四个元素组成,所述四个元素的相位偏移值等于0、90、240和330度。
5.根据权利要求1所述的信号谐波误差取消的方法,其中,对于mth谐波,以弧度测量的所述取消相位是通过用于初始测量的偏移相位值加上由2πj/m确定的值来确定的,其中,j是不等于零且不能被所述识别谐波m的数量除尽的整数。
6.一种时差测距相机系统,其包括:
时差测距发射机,其布置成朝目标发射经调制的辐射,以及
相位调节元件,其构造为调节用以调制朝目标发射的辐射的源调制信号的相位,所述相位调节元件提供一组相位分离输出信号,提供的每个输出信号具有施加的一组相位偏移值之一,其中,至少一个这些相位偏移值是所述一组相位偏移值的另一元素的取消相位值,以及
图像传感器,其构造为测量从目标反射的辐射,所述图像传感器的输出被所述源调制信号所调制,以及
处理器,其布置成接收所述图像传感器的测量以及被编程以根据所述图像传感器接收的测量来解析范围信息,其中,所述处理器构造为通过执行指令生成时差测距相机测量,所述指令完成这些步骤:
1)利用被所述一组相位分离输出信号的第一元素所调制的辐射来照射时差测距相机系统图像传感器,
2)利用所述源调制信号来调制所述图像传感器的输出,并且通过在标准测量时间内对所述图像传感器的输出进行积分来生成第一时差测距相机测量,同时仅所述一组相位分离输出信号的第一元素用来调制所述照射的辐射,
3)利用仅被所述一组相位分离输出信号的下一元素所调制的辐射来照射所述图像传感器,以及在标准测量时间内对所述图像传感器的输出进行积分,同时利用所述源调制信号来调制所述图像传感器的输出以生成另一测量,
4)对于所述一组相位分离输出信号的每个剩余元素,重复以上步骤3。
7.根据权利要求6所述的时差测距相机系统,其中,所述相位调节元件提供了四个输出信号,所述四个输出信号具有的相位偏移值等于0、90、120和210度。
8.根据权利要求6所述的时差测距相机系统,其中,所述相位调节元件提供了四个输出信号,所述四个输出信号具有的相位偏移值等于0、90、240和330度。
9.一种实施计算机可执行指令的程序的计算机可读介质,所述指令的程序包括:
至少一个指令,其用以接收一组相位分离输出信号,提供的每个输出信号具有施加的一组相位偏移值之一,其中,至少一个这些相位偏移值是所述一组相位偏移值的另一元素的取消相位值,以及
至少一个指令,其用以利用由所述一组相位分离输出信号的第一元素所调制的辐射来照射时差测距相机系统图像传感器,
至少一个指令,其用以利用包括至少一个识别谐波频率的源调制信号来调制所述图像传感器的输出,并且通过在标准测量时间内对所述图像传感器的输出进行积分来生成第一时差测距相机测量,同时仅所述一组相位分离输出信号的所述第一元素用来调制所述照射的辐射,
至少一个指令,其用以利用仅由所述一组相位分离输出信号的下一元素所调制的辐射来照射所述图像传感器,以及在标准测量时间内对所述图像传感器的输出进行积分,同时利用所述源调制信号来调制所述图像传感器的输出以生成另一测量,
至少一个指令,其用以通过使用所述一组相位分离输出信号的每个剩余元素照射所述图像传感器以及在标准测量时间内对所述图像传感器的输出进行积分,来重复生成另一测量。
10.根据权利要求9所述的实施计算机可执行指令的程序的计算机可读介质,其中,所述一组相位调节的输出信号由四个元素组成,所述四个元素具有的相位偏移值等于0、90、120和210度。
11.根据权利要求9所述的实施计算机可执行指令的程序的计算机可读介质,其中,所述一组相位调节的输出信号由四个元素组成,所述四个元素具有的相位偏移值等于0、90、240和330度。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
NZ62360914 | 2014-04-08 | ||
NZ623609 | 2014-04-08 | ||
PCT/NZ2015/000022 WO2015156684A2 (en) | 2014-04-08 | 2015-04-08 | Signal harmonic error cancellation method and apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106133551A CN106133551A (zh) | 2016-11-16 |
CN106133551B true CN106133551B (zh) | 2020-03-17 |
Family
ID=54288506
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580016922.4A Expired - Fee Related CN106133551B (zh) | 2014-04-08 | 2015-04-08 | 信号谐波误差取消方法和装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10416297B2 (zh) |
EP (1) | EP3129803B1 (zh) |
CN (1) | CN106133551B (zh) |
WO (1) | WO2015156684A2 (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2539495B (en) * | 2015-06-19 | 2017-08-23 | Ace Aquatec Ltd | Improvements relating to time-of-flight cameras |
EP3814797A4 (en) * | 2018-07-24 | 2022-03-02 | Sense Photonics, Inc. | PHASE NOISE AND CORRECTION METHODS IN MULTIFREQUENCY LIDAR |
LU101024B1 (en) * | 2018-12-04 | 2020-06-04 | Iee Sa | Method for Corrected Depth Measurement with a Time-Of-Flight Camera Using Amplitude-Modulated Continuous Light |
WO2020115068A1 (en) * | 2018-12-04 | 2020-06-11 | Iee International Electronics & Engineering S.A. | Method for corrected depth measurement with a time-of-flight camera using amplitude-modulated continuous light |
US11259002B2 (en) | 2019-02-15 | 2022-02-22 | Analog Devices International Unlimited Company | Time-of-flight camera and proximity detector |
KR20210032669A (ko) | 2019-09-17 | 2021-03-25 | 삼성전자주식회사 | 비행 시간 센서 및 비행 시간 센서의 에러 보정 방법 |
US11619723B2 (en) * | 2019-09-23 | 2023-04-04 | Microsoft Technology Licensing, Llc | Multiple-mode frequency sharing for time-of-flight camera |
CN111624582B (zh) * | 2020-07-07 | 2023-03-17 | Oppo广东移动通信有限公司 | 周期误差标定方法、装置及周期误差标定系统 |
EP3961258A1 (en) | 2020-08-26 | 2022-03-02 | Melexis Technologies NV | Distortion determination apparatus and method of determining a distortion |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7115848B1 (en) * | 2004-09-29 | 2006-10-03 | Qioptiq Imaging Solutions, Inc. | Methods, systems and computer program products for calibration of microscopy imaging devices |
CN102346248A (zh) * | 2010-07-16 | 2012-02-08 | 微软公司 | 在飞行时间系统中用于三维(3d)传感器的多相位动态校准的系统和方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7952633B2 (en) * | 2004-11-18 | 2011-05-31 | Kla-Tencor Technologies Corporation | Apparatus for continuous clocking of TDI sensors |
US7481109B2 (en) | 2005-03-04 | 2009-01-27 | Custom Sensors & Technologies, Inc. | Inertial measurement system and method with bias cancellation |
NZ562739A (en) * | 2007-10-19 | 2010-04-30 | Waikatolink Ltd | Signal simulation apparatus and method |
US9857469B2 (en) * | 2010-10-22 | 2018-01-02 | Heptagon Micro Optics Pte. Ltd. | System and method for multi TOF camera operation using phase hopping |
-
2015
- 2015-04-08 US US15/302,108 patent/US10416297B2/en active Active
- 2015-04-08 CN CN201580016922.4A patent/CN106133551B/zh not_active Expired - Fee Related
- 2015-04-08 EP EP15775931.7A patent/EP3129803B1/en active Active
- 2015-04-08 WO PCT/NZ2015/000022 patent/WO2015156684A2/en active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7115848B1 (en) * | 2004-09-29 | 2006-10-03 | Qioptiq Imaging Solutions, Inc. | Methods, systems and computer program products for calibration of microscopy imaging devices |
CN102346248A (zh) * | 2010-07-16 | 2012-02-08 | 微软公司 | 在飞行时间系统中用于三维(3d)传感器的多相位动态校准的系统和方法 |
Non-Patent Citations (3)
Title |
---|
"Improved linearity using harmonic error rejection in a full-field range imaging system";Andrew D. Payne等;《Proceedings of SPIE》;20081231;第1-11页 * |
"Improved measurement linearity and precision for AMCW time-of-flight range imaging cameras";Andrew D. Payne等;《Applied Optics》;20100810;第49卷(第23期);第4392-4403页 * |
"Phase algorithms for reducing axial motion and linearity error in indirect time of flight cameras";BMM Drayton等;《IEEE Sensors Journal》;20131231;第13卷(第9期);第3386-3396页 * |
Also Published As
Publication number | Publication date |
---|---|
EP3129803A2 (en) | 2017-02-15 |
EP3129803B1 (en) | 2020-03-11 |
US10416297B2 (en) | 2019-09-17 |
US20170205497A1 (en) | 2017-07-20 |
EP3129803A4 (en) | 2017-12-27 |
CN106133551A (zh) | 2016-11-16 |
WO2015156684A2 (en) | 2015-10-15 |
WO2015156684A3 (en) | 2016-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106133551B (zh) | 信号谐波误差取消方法和装置 | |
US8611610B2 (en) | Method and apparatus for calculating a distance between an optical apparatus and an object | |
US10302768B2 (en) | Multipath signal removal in time-of-flight camera apparatus | |
US8723924B2 (en) | Recording of 3D images of a scene with phase de-convolution | |
CN107743638B (zh) | 用于实时运动伪影处理和去噪的方法和系统 | |
EP3114503B1 (en) | Time of flight camera system which resolves direct and multi-path radiation components | |
JP6073786B2 (ja) | 対象物の距離特性および/または輝度特性を測定する装置および方法 | |
EP2477043A1 (en) | 3D time-of-flight camera and method | |
CN102356631A (zh) | 图像处理装置、信号处理方法以及程序 | |
JP6621767B2 (ja) | 飛行時間データをビニングするための方法 | |
KR20140121710A (ko) | 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서의 깊이 영상 생성 방법 | |
KR20150133082A (ko) | 깊이 영상 생성 장치 및 방법 | |
KR20170088259A (ko) | ToF 센서를 이용하여 깊이 영상을 획득하는 방법 및 장치 | |
US20210263137A1 (en) | Phase noise and methods of correction in multi-frequency mode lidar | |
CN114200466A (zh) | 畸变确定装置和确定畸变的方法 | |
WO2020084851A1 (ja) | 演算処理装置、測距装置及び演算処理方法 | |
Godbaz et al. | Multiple return separation for a full-field ranger via continuous waveform modelling | |
Gromilin et al. | Interframe processing the sequence of images obtained using scanning PD having spatially uneven sensitivity | |
CN115210607A (zh) | 操作飞行时间相机的方法 | |
LU101130B1 (en) | Method for Depth Measurement with a Time-Of-Flight Camera using Amplitude-Modulated Continuous Light | |
CN112630790A (zh) | 根据间接飞行时间距离计算技术计算相位角的间接飞行时间距离计算装置和方法 | |
Testin et al. | Implementation of Range Autofocus for SAR Radar Imaging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200317 |
|
CF01 | Termination of patent right due to non-payment of annual fee |