CN105143916B - 距离确定方法 - Google Patents
距离确定方法 Download PDFInfo
- Publication number
- CN105143916B CN105143916B CN201480016730.9A CN201480016730A CN105143916B CN 105143916 B CN105143916 B CN 105143916B CN 201480016730 A CN201480016730 A CN 201480016730A CN 105143916 B CN105143916 B CN 105143916B
- Authority
- CN
- China
- Prior art keywords
- phase
- combination
- assumed
- distance
- launched
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
- G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/491—Details of non-pulse systems
- G01S7/4912—Receivers
- G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
- G01C15/002—Active optical surveying means
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
一种用于确定距离的方法包括:提供使用不同调制波长的调制光来获得至少两个相位测量结果,至少两个相位测量结果中的每个相位测量结果都表示直到相应的调制波长的整数倍的距离;提供一组可能的环绕次数组合;对于可能的环绕次数组合中的每一个环绕次数组合,计算对应于所述至少两个相位测量结果的展开的相位假设的组合;并且在展开的相位假设的组合中选择展开的相位假设的最合理组合,并基于所选择的展开的相位假设的最合理组合来计算距离。
Description
技术领域
本发明总体上涉及用于基于在不同的波长进行的多个相位测量结果来确定距离的方法,从每个相位测量结果表示仅到对应波长的整数倍的距离的方面来看,单独地利用每个相位测量结果是模糊不清的。
背景技术
距离测量设备通常依赖于飞行时间(TOF)测量原理。在这种情形中,通过将调制光发射到目标方向并测量发射光与反射光之间的调制的相移来获得距离(也就是深度)。测量到的相位与测量设备和目标之间的距离成正比,并对调制的波长进行取模。这种关系可以被表示为:
其中,是以弧度为单位的调制相位,d是距离,f是调制频率,并且c是光速。给出调制波长λ为λ=c/f。在取模函数的第一自变量中的额外因子2(4π而不是2π)是由于光传播了两倍的距离测量设备与目标之间的距离的事实。上面的关系表示出,相位测量结果是模糊的,即,被计算为 的距离值d’可能通过之前未知的整数数量的调制波长而与实际距离不同。
距离du=c/(2·f)被称为“不模糊范围”,因为如果事先已知测量的距离小于du,则可以对取模函数求逆,得到不模糊距离。然而,如果目标可位于离开目标大于du的距离处,则任何相位测量结果都将被包含在区间[0,2π]中,一种说法是测量结果被“包裹”在不模糊范围中。因此,根据模糊的测量结果获取实际距离,或者换句话说,确定整数数量的调制波长来与距离值d’相加以便达到实际距离被称为“相位展开”。
在单频系统中,可用的距离测量范围受到不模糊范围的约束,除非是对进行距离测量时的场景(邻近的像素)的平滑度以及演化的平滑度做出假设。不能在所有的情况中并对所有的应用都做出这样的假设。具体而言,在自适应的驾驶员辅助系统中,这样的假设通常是不被允许的。当操作3DTOF相机或其它距离测量设备时,在采用单个调制频率的时候,可用的不模糊范围可能是不够的。为了克服这个缺点,可以使用n个不同的调制频率来进行对相同距离的n(n>1)次测量。由此可以通过组合不同的测量结果并借助尝试对取模函数求逆找出或估算(在出现测量噪声的情形下)未知距离来扩大可用的距离测量范围。当使用两个频率(n=2)时,通过对在第一个调制频率和第二个调制频率测量到的相位之间的差进行计算来容易地执行这种组合,但是当使用三个频率或更多个频率,以便在出现噪声的情况下与只使用两个频率相比进一步减小测量误差时,不存在计算相位差那样简单的方法。
2010年10月在中国台湾台北的IEEE/RSJ智能机器人与系统(IROS)国际会议学报上的D.Droeschel、D.Holz和S.Behnke的论文“Multi-frequency Phase Unwrapping forTime-of-Flight Cameras”公开了一种概率性的相位展开方法,其考虑了每个像素的邻近像素。该论文还提到了使用两个调制频率用于检测相位展开的概率。其提出了将从两个测量到的相位获得的两个距离值进行比较。如果这些距离值一致,则距离位于不模糊范围中;如果它们并不一致,则相位的至少其中之一已经被包裹到[0,2π]的区间中,并且不得不将相位展开。
文件DE 100 39 422 C2公开了一种工作在复数个频率上的光电子混合设备(PMD),用于执行速度和/或距离测量。
美国专利7,791,715 B1涉及一种用于在TOF系统中退模糊(展开)的方法和系统。该系统使用至少两个紧挨着的调制频率f1和f2,调制频率f1和f2靠近于系统所支持的最大调制频率。距离Z随后被计算为:
其中,是分别在f1和f2测量到的相位差,并且其中,Δf=f1-f2。当多于两个的不同频率可用时,将相位测量结果成对地进行组合并应用相同的公式。
然而,从现有技术已知组合复数个频率以实现较大的(组合的)非模糊范围,当开始有测量噪声时,已知的方法具有缺点。此外,执行这些方法所必须的计算工作量对于低成本的实现方式来说可能过于重要。
本发明的目的在于提供一种用于当使用两个或更多个调制频率时估算未知距离的实际上能够实现的方法。可以通过如权利要求1中要求保护的方法来实现这个目的。
发明内容
根据本发明,一种用于确定距离的方法包括:
o提供使用不同的调制波长的调制光来获取至少两个相位测量结果,所述至少两个相位测量结果中的每个相位测量结果都表示直到相应调制波长的整数倍的距离;
o提供一组可能的环绕次数组合;
o对于所述可能的环绕次数组合的其中每一个环绕次数组合,计算对应于所述至少两个相位测量结果的展开的相位假设的组合;以及
o在展开的相位假设的所述组合中选择展开的相位假设的最合理组合,并基于所选择的展开的相位假设的最合理组合来计算所述距离。
所述距离例如可以被计算为距离值的平均数,所述距离值与展开的相位假设的所述最合理组合中的所述展开的相位假设相关联。
根据本发明的优选实施例,在所述展开的相位假设的组合中选择所述展开的相位假设的最合理组合包括:
o对于展开的相位假设的每个组合,计算距离值的组合,所述距离值与相应的展开的相位假设的组合中的所述展开的相位假设相关联,
o对于所述展开的相位假设的每个组合,计算距离值的相应组合的方差或标准偏差,并且
o选择所述方差或所述标准偏差最小的所述展开的相位假设的组合作为所述展开的相位假设的最合理组合。
根据本发明的优选实施例,在所述展开的相位假设的组合中选择所述展开的相位假设的最合理组合包括:
o对于展开的相位假设的每个组合,对具有所述相应的展开的相位假设作为坐标的点与穿过原点的直线之间的间距进行计算,所述穿过原点的直线具有使用坐标表示的方向向量[1/λ1,…,1/λn],其中,λ1,…,λn指代所述不同的调制波长,并且
o选择所述间距最小的所述展开的相位假设的组合作为所述展开的相位假设的最合理组合。
所述距离可以被有利地计算为:
其中,是具有展开的相位假设的所述最合理组合作为坐标的点在所述穿过原点的直线上的正交投影,并且是所述方向向量[c/λ1,…,c/λn]。
然而更有利地,可以在经旋转的坐标系中执行所述间距的计算,其中,所述穿过原点的直线是坐标轴。在这种情形下,所述距离被优选地计算为:
其中,是具有所述展开的相位假设的最合理组合的作为坐标的所述点在所述经旋转的坐标系中的坐标,并且是方向向量[c/λ1,…,c/λn]。
本发明的优选的方面涉及计算机程序,包括计算机能够实现的指令,当计算机执行所述计算机能够实现的指令时,使得所述计算机执行上文中所描述的所述方法。
本发明的另一个优选的方面涉及飞行时间距离测量设备,包括具有存储器的电子控制单元,所述存储器具有储存在其中的如上文中所描述的计算机程序,所述电子控制单元被配置为当确定距离时执行所述计算机程序。
然而,本发明的另一个优选的方面涉及飞行时间距离测量设备,包括FPGA(现场可编程门阵列)或者ASIC(专用集成电路),所述FPGA和ASIC被配置为并被布置为执行上文中所描述的所述方法。
附图说明
现在将参照附图通过举例的方式来描述本发明的优选的非限制性的实施例,在附图中:
图1是例示了对于0与最大距离之间的距离,通过在两个不同的调制频率的理想的相位测量结果能够获得的相位二元组的图示;
图2是例示了对于0与最大距离之间的距离,通过在三个不同的调制频率的理想的相位测量结果能够获得的相位三元组的图示;
图3是用于根据在n个不同的频率获得的n个相位测量结果来估算未知距离的方法的第一实施例的示意性流程图;
图4是用于根据在n个不同的频率获得的n个相位测量结果来估算未知距离的方法的第二实施例的示意性流程图;
图5是用于根据在n个不同的频率获得的n个相位测量结果来估算未知距离的方法的第三实施例的示意性流程图;
图6是3D-TOF相机的优选实施例的示例性例示。
具体实施方式
为了例示的目的,将在3D TOF相机的背景下讨论本发明的实施例,3D TOF相机针对其每一个像素传送以弧度为单位的相位信息相位信息指示相机与目标之间的以米为单位的距离d,并且相位信息由以下等式给出:
其中,mod是取模函数(其返回第一自变量除以第二自变量的余数),f是以Hz为单位的调制频率,并且c是以m/s为单位的光速。将调制波长λ给出为λ=c/f。
如所示出的,相位自身随着距离周期性地重复,意味着存在距离测量结果的有限的不模糊范围。不模糊范围由以下等式给出:
可用的距离测量范围受到不模糊范围的约束。当执行相同场景的使用n个不同频率的n个测量时,可以通过组合不同的测量结果并在出现测量噪声的情形下通过对取模函数“求逆”来找出或估算未知距离而扩大可用的距离测量范围。
需要解决的第一个问题是如何选择频率值,以便当需要定义的可用的距离测量范围时使得允许的测量噪声最大化。当存在足够的噪声时,取模函数的求逆导致了距离估算误差。
为了例示出对于2频率测量的这个问题,图1示出了当未知距离范围在0与所需要的可用的距离测量范围之间变动时,分别与调制频率f1和f2相对应的理想地测量到的(即,不受噪声影响)相位和之间的关系。对于图1,f1和f2已经分别被假设为10MHz和11MHz,并且最大的可用的距离测量范围已经被设置为100m。可以看到,每次和达到2π(由虚线例示出),和都会“环绕”。如果测量结果上不存在噪声,则由测量到的相位和定义的点位于图1中示出的线段的其中之一上。然而,如果在相位测量结果上存在噪声,则测量到的点可以与之前未知的理想点不同,并位于线段之间的“禁区”中。如果噪声足够高,则测量到的点可能较靠近于与完全不同于实际距离的距离相对应的线段。因此,对于给定的所需要的可用距离测量范围,必须通过适当地选择频率f1和f2来将图1上示出的线段之间的距离最大化。对于n个频率的测量同样也适用。对于3个频率测量的例示,图2示出了对于10MHz、11MHz和13MHz的频率的图,与图1中的图类似。三个频率得到了3D的图。
可以通过强力计算法来实现线段之间的距离的最大化。调制频率可位于其中的范围是事先已知的,并且例如由主动照明的最大工作频率以及由仍产生可接受的成像器噪声水平的最小频率来定义。在这个范围内,所有n个频率是不同的,例如通过线性扫描或随机选择。对于每组n个频率(频率n元组),在n维相位空间中画出了距离的轨迹线,并找出了每个可能的线段对之间的最小距离。最后,实现最小线段距离中最大值的最佳的频率n元组被保留并用于应用。对于最佳的频率n元组的最小线段距离值h1也被保留并在应用中使用,以检查测量到的相位n元组的置信水平。
在下面,假定n个频率是已知的。为了例示的目的,它们将被赋予某些值,但应当理解的是,关于以上标准的线段之间的最大间隔,这些频率并非必须是最佳的。
现在将参照图3描述用于根据在n个不同频率的n个相位测量结果来估算未知距离的方法的第一实施例。在第一步骤中,固定调制频率f1,…,fn(步骤301),并且对于在零与可用的距离测量范围之间进行变动的位置距离,建立具有n个相位中每个相位的相位环绕次数的所有可能发生的明显组合的列表(步骤302)。例如,使用具有与图2相同的参数(频率f1=10MHz,f2=11MHz并且f3=13MHz)的3个频率的测量结果,得到下表:
nwrap1 | 0 | 0 | 0 | 1 | 1 | 1 | 2 | 2 | 2 | 3 | 3 | 3 | 3 | 4 | 4 | 4 | 5 | 5 | 5 | 6 | 6 | 6 |
nwrap2 | 0 | 0 | 1 | 1 | 1 | 2 | 2 | 2 | 3 | 3 | 3 | 4 | 4 | 4 | 5 | 5 | 5 | 5 | 6 | 6 | 6 | 7 |
nwrap3 | 0 | 1 | 1 | 1 | 2 | 2 | 2 | 3 | 3 | 3 | 4 | 4 | 5 | 5 | 5 | 6 | 6 | 7 | 7 | 7 | 8 | 8 |
其中,nwrap1是对于频率f1的的环绕次数,nwrap2是对于频率f2的的环绕次数并且nwrap3是对于频率f3的的环绕次数。值得指出的是,上表中的每一列对应于图2中的一段。相位环绕次数的表可以在线下计算,也就是说,只有在对测量系统进行配置期间,并且其结果可以永久地储存在应用的非易失性存储器中,仅需要的信息为n个频率以及所需要的可用的距离测量范围,而这些都是事先已知的。
对于表中的每一行i以及每一列j,距离假设可以被计算为:#
在测量期间,测量相位n元组(步骤303)。采用上面的环绕次数表,使用对于dij的以上公式来针对表中的每个单元估算距离假设(步骤304)。
接着,找出表中的最佳列jopt。该列与相位环绕次数的最合理组合相对应。根据本方法的第一个实施例,最佳列是在列中的n个距离dij的方差或标准偏差最小的那一列。每个环绕次数组合j的方差可以被计算为(步骤305):并确定最小方差(步骤306)。
标准偏差(针对j_opt求出的)与最小线段距离h1的比率可以被用作距离测量结果(测量结果越小,比率越高)的置信水平的指标。
最后,列j_opt的距离dij_opt的均值(平均数)作为对未知距离的估算值(步骤307)。
现在将参照图4描述用于根据在n个不同频率的n个相位测量结果来估算未知距离的方法的第二个实施例。该实施例利用了实际需要的距离测量范围通常小于目标检测范围的事实,从目标检测范围折返到所需要的距离测量范围中并非必须发生,但其中并不需要测量实际的目标距离。在许多应用中,所必须的仅仅是TOF测量设备能够测量受限范围之外的未知距离。在该受限范围以外并仍位于TOF测量设备检测目标的范围内的目标必须不会折返到所需要的距离测量范围中,但并不需要已知它们的距离。例如,在汽车的“高级驾驶员辅助系统”中,只有到汽车前面20米内的目标的距离应当被测量,但同时,直到汽车前面100米的高度反光的目标必须不会被折返到所需要的距离测量范围中。对于这个示例,检测范围是100米,但所需要的距离测量范围仅仅是20米。这意味着频率选择过程(步骤401)考虑了:
1)代表在所需要的测量范围内的距离的任意两条线段之间的距离,
2)任意对的代表在所需要的测量范围内的距离的一条线段以及代表在所需要的测量范围之外但仍在设备的检测范围内的距离的一条线段之间的距离。
但不考虑代表在所需要的测量范围之外但仍在设备的检测范围内的距离的任意两条线段之间的距离。得到的最小线段距离值(在下文中标记为h2)(步骤403)被保留并在应用中使用,以检查测量到的相位n元组的置信水平。
对于范围在零与所需测量范围之间的未知距离,建立了具有n个相位中每个相位的相位环绕次数的所有可能发生的明显组合的列表。例如,使用具有与图2相同的参数的3个频率的测量结果以及20米的期望测量范围,得到下表:
nwrap1 | 0 | 0 | 0 | 1 | 1 |
nwrap2 | 0 | 0 | 1 | 1 | 1 |
nwrap3 | 0 | 1 | 1 | 1 | 2 |
其中,nwrap1还是对于频率f1的的环绕次数,nwrap2是对于频率f2的的环绕次数并且nwrap3是对于频率f3的的环绕次数。频率组以及环绕次数的表可以在线下计算(步骤401和402),只有在对测量系统进行配置期间,并且其结果可以永久地储存在应用的非易失性存储器中,仅需要的信息为n个频率、想要的测量范围以及所需要的扩大的不模糊距离,而这些都是事先已知的。
使用上面的环绕次数的表,找出最佳地展开测量到的相位n元组 而得到对未知距离的最佳的估算的列。
在线计算从提供相位测量结果开始(步骤405),其可以被表示为相位n元组或者向量对于列表中的每一行i和每一列j并对于测量到的相位的组合(n元组),使用以下公式来计算展开的相位(步骤406):
随后,对于每一列j,对n维相位空间中在展开的相位n元组与具有方向向量的穿过原点的直线之间的间距gj进行计算(步骤407)。这可以例如通过对展开的相位n元组(为简单起见,我们将通过来指代)与归一化向量的向量叉积的长度进行计算来完成:
其中,×指代向量叉积,并且‖·‖为向量的长度。值得指出的是,优选地事先确定向量(步骤404)。
随后,在所有的gj中找出最小的gj(在下文中标记为gj_opt),并且随后选择与gj_opt相对应的展开的相位n元组
将gj_opt与在上面所描述的频率选择过程中得到的h2/2相比较(步骤409)。如果gj_opt<h2/2,则要确定的距离在所需要的测量范围内,如果gj_opt≥h2/2,则该距离在所需要的测量范围之外(但在检测范围内,因为否则将不存在相位测量值)并且并不被认为是有效距离(步骤410)。
优选地,代替地计算gj的平方,因为进行这样的计算在计算上不那么昂贵。随后将与线下计算到的参数进行比较。
最后,通过将所得到的展开的相位n元组投影到具有方向向量的穿过原点的线上来计算未知距离dest(步骤411),测量投影到原点的距离。
注意到
所得到的展开的相位n元组投影到具有方向向量的穿过原点的线上(“·”表示两个向量之间的点积),距离可以被估算(步骤412)为:
现在将参照图5来解释计算上并不昂贵的第二个实施例的优选实现方式。这种实现方式类似于图4的实现方式,除了以向量将被旋转到与x轴的单位向量对齐的方式来使n维相位空间围绕原点旋转。y轴和z轴的单位向量将允许相同的不昂贵的实现方式,但为了简单起见,将仅描述针对x轴的单位向量的情形。事实上存在无限数量的方法来实现这种转换,并且为了简单起见,旋转将围绕由和所张成的平面的单位长度的法向量来执行,并且旋转的角度将是与之间角度α。
通过 可以被表示为:
角度可以被计算为:
执行上面所描述的旋转运算的旋转矩阵R由以下等式来定义:
其中,
线下的计算包括选择调制频率(步骤501)、计算环绕次数的表(步骤502)和计算旋转矩阵R(步骤503)(如上面所指示的),以及计算参数h2(步骤505)。
在线计算从提供n个相位测量结果开始(步骤506)。在该实现方式中,代替计算对于每一列j的n维相位空间中在展开的相位n元组与具有方向向量的穿过原点的直线之间的间距gj,计算对于每一列j的经旋转的展开的相位n元组与x轴(即,具有作为方向向量的经旋转的穿过原点的直线)之间的间距g’j。因为旋转并不改变测量,因此g’j=gj。
经旋转的展开的相位n元组可以被计算为(步骤507):
其中,是相位环绕表的第j列的向量。值得指出的是,可以在前面计算(例如线下计算的步骤504),这表示这种计算并不占据在线计算中的任何处理时间。
还应当指出,间距gj仅仅依赖于的第二个和第三个坐标,我们通过来标记。对于间距gj的平方,具有以下等式:
在所有的gj中找出最小的间距。将得到的最小间距gj_opt与在线下频率选择过程中得到的h2/2进行比较。如果gj_opt<h2/2,则要确定的距离在所需要的测量范围内,如果gj_opt≥h2/2,则该距离在所需要的测量范围之外(但在检测范围内,因为否则将不存在相位测量值)并且并不被认为是有效距离。可能只计算gj的平方(步骤508)。在这种情形下,在所有的中找出最小平方的间距。如果则经旋转的展开的相位n元组被认为代表了展开的相位假设的最合理组合,另外,目标被认为位于测量范围以外(步骤511)。
通过将经旋转的展开的相位n元组正交地投影到x轴(即,具有方向向量的经旋转的穿过原点的线)。将标记为的第一个坐标,投影的点具有(0,0)作为坐标。
最后,距离可以被估算为(步骤512):
现在通过示例的方式来例示用于上面所描述的方法的第一种实现方式与上面所描述的第二种实现方式以及计算上并不昂贵的版本的计算工作量之间的差别。由于线下计算并不消耗测量期间的任何处理时间,因此只估算了在线的计算工作量。只有乘法和平方根运算被认为实现起来是最昂贵的。
当使用第一种实现方式并使用被给出作为示例的参数时,为了减少计算距离假设dij的计算工作量而对进行的初始按比例缩放需要针对环绕列表中的每一列(在示例中有22列)进行的3次标量乘法,用于计算均值的一次乘法,针对方差(比标准偏差较为简单地计算,但达到相同目的)进行的3次乘法,以及用于计算最终结果(距离)的一次标量乘法,产生:3+22*(1+3)+1=92次乘法并且没有平方根运算。
当使用上面所描述的第二种方法并使用被给出作为示例的参数时,对于环绕列表中的每一列(有5列),需要向量叉积(6次乘法)、向量平方的长度计算(3次乘法)、以及用于最终结果的向量点积(3次乘法)、向量内积(3次乘法)、向量长度计算(3次乘法和一次平方根)以及标量乘法,产生:5*(6+3)+3+3+3+1=55次乘法和一次平方根运算。
当使用上面所描述的计算上并不昂贵的版本以及使用被给出作为示例的参数时,初始旋转需要9次乘法,对于环绕列表中的每一列(有5列),需要2维的向量平方的长度计算(2次乘法),以及用于最终结果的标量乘法,产生:9+5*2+1=20次乘法并且没有平方根运算。
在上面所公开的距离估算方法中,测量结果的相位噪声的实际值优选地是已知的或者在测量期间对其进行了估算。事实上,如果相位噪声太大,则可能发生在n相空间中的有噪声的未知距离n元组从实际的未知距离相位n元组所属于的线段附近跳跃到相位空间中完全不同的线段附近。最终,这导致了错误的距离估算。因此,具有太大相位噪声的测量结果优选地被宣告无效。可以通过测量幅度,或者通过测量幅度和接收到的调制光的强度并组合该幅度和强度来估算或测量相位噪声。例如在R.Lange的“3D Time-of-FlightDistance Measurement with Custom Solid-State Image Sensors in CMOS/CCD-Technology”中描述了可以如何进行这种估算或测量。
图6示出了3D TOF相机的优选实施例,通常由附图标记10来标识。3D TOF相机10包括将光线发射到场景上的照明单元12以及对场景进行成像的成像传感器14。成像传感器14以本身已知的方式包括诸如聚焦透镜(未示出)之类的所需要的光学附件以及以任何适当的技术(例如CCD、CMOS、TFA等等)执行的电子相机芯片16。成像传感器14包括个体的锁定像素传感器单元18的二维阵列,其中每一个锁定像素传感器单元从要成像的场景中的一小部分场景接收光线用于创建其逐像素的图像。
照明单元12包括诸如发光二极管(LED)之类的若干个体的发光设备20,它们共同借助发光驱动器22来驱动。信号源24为发光驱动器22和相片栅极驱动器26提供输入信号。相片栅极驱动器26的输出连接到成像传感器14。包括适当的电子计算设备(例如,数字信号处理器(DSP))的评估单元28连接到成像传感器14的输出。
当工作时,信号源24在其输出上产生调制信号E1并将该调制信号E1馈送到照明驱动器22。后者使用驱动信号E2来驱动照明单元12,以将经强度调制的光信号L1发射到包括物体30的目标场景中(为了例示的目的)。调制光信号L1部分地被物体30反射,以便形成回光信号L2,该回光信号L2被成像传感器14接收作为入射光。调制信号E1还被馈送到相片栅极驱动器26,该相片栅极驱动器26提供解调信号E3。成像传感器14接收该解调信号E3并生成相位信息信号E4,该相位信息信号E4被馈送到评估单元28。信号源24通过多个不同的调制频率f1,…,fn来循环。
3D TOF相机10还包括安装在照明单元12中的以收集来自发光设备18的光线的方式而与发光设备20相邻近的参考像素32。参考像素32生成输出信号E5,该输出信号E5本质上与调制相位参考值相对应(与“零”距离的测量结果可比较)。评估单元28中的参考减法级34针对每个像素输出与调制频率fi相对应的以弧度为单位的相位信息根据本发明的方法,随后在距离计算级26中计算针对每个相机像素18的距离信息。评估单元28包括非易失性的存储器38,其中储存了校准数据,尤其是可以线下计算的参数。距离计算级36利用这些参数用于执行该方法。
值得注意的是,在评估单元28的实际实现方式中,相位减法级34和距离计算级36并不必须是物理上分离的部件。特别地,可以由单个(多用途)处理器来执行不同的运算。
尽管已经详细描述了具体实施例,但本领域技术人员将意识到,可以根据本公开内容的总体教导来形成对这些细节的各种修改和变更。因此,所公开的具体布置意味着仅仅是例示性的而并不限制本发明的范围,本发明的范围应当覆盖所附权利要求及其任何和全部等同形式。
Claims (8)
1.一种用于确定距离的方法,包括:
提供使用不同的调制波长的调制光而获得的至少两个相位测量结果,每个相位测量结果表示高达相应的调制波长的整数倍的所述距离;
提供一组可能的环绕次数组合;
对于所述可能的环绕次数组合中的每一个环绕次数组合,计算对应于所述至少两个相位测量结果的展开的相位假设的组合;以及
在展开的相位假设的所述组合中选择展开的相位假设的最合理组合,并且基于所选择的展开的相位假设的所述最合理组合来计算所述距离,
所述方法的特征在于,在展开的相位假设的所述组合中进行的展开的相位假设的所述最合理组合的所述选择包括:
对于展开的相位假设的每个组合,对具有相应的展开的相位假设作为坐标的点与穿过原点的直线之间的间距进行计算,所述穿过原点的直线具有采用坐标表示的方向向量[c/λ1,…,c/λn],其中,λ1,…,λn指代不同的调制波长,并且c指代光速,以及
选择所述间距为最小的展开的相位假设的组合作为展开的相位假设的所述最合理组合。
2.根据权利要求1所述的方法,其中,所述距离被计算为与展开的相位假设的所述最合理组合的所述展开的相位假设相关联的距离值的平均数。
3.根据权利要求1或2所述的方法,其中,在展开的相位假设的所述组合中进行的展开的相位假设的所述最合理组合的所述选择包括:
对于展开的相位假设的每个组合,计算与展开的相位假设的相应组合的所述展开的相位假设相关联的距离值的组合,
对于展开的相位假设的每个组合,计算距离值的相应组合的方差或标准偏差,并且
选择所述方差或所述标准偏差为最小的展开的相位假设的组合作为展开的相位假设的所述最合理组合。
4.根据权利要求1所述的方法,其中,所述距离被计算为:
其中,是具有展开的相位假设的所述最合理组合作为坐标的点在所述穿过原点的直线上的正交投影,并且是所述方向向量[c/λ1,…,c/λn]。
5.根据权利要求1所述的方法,其中,在经旋转的坐标系中执行对所述间距的所述计算,其中,所述穿过原点的直线是坐标轴。
6.根据权利要求5所述的方法,其中,所述距离被计算为:
其中,是在所述经旋转的坐标系中具有展开的相位假设的所述最合理组合作为坐标的所述点的坐标,并且是所述方向向量[c/λ1,…,c/λn]。
7.一种用于确定距离的装置,包括:
用于提供使用不同的调制波长的调制光而获得的至少两个相位测量结果的模块,每个相位测量结果表示高达相应的调制波长的整数倍的所述距离;
用于提供一组可能的环绕次数组合的模块;
用于对于所述可能的环绕次数组合中的每一个环绕次数组合,计算对应于所述至少两个相位测量结果的展开的相位假设的组合的模块;以及
用于在展开的相位假设的所述组合中选择展开的相位假设的最合理组合,并且基于所选择的展开的相位假设的所述最合理组合来计算所述距离的模块,
所述装置的特征在于,在展开的相位假设的所述组合中进行的展开的相位假设的所述最合理组合的所述选择包括:
对于展开的相位假设的每个组合,对具有相应的展开的相位假设作为坐标的点与穿过原点的直线之间的间距进行计算,所述穿过原点的直线具有采用坐标表示的方向向量[c/λ1,…,c/λn],其中,λ1,…,λn指代不同的调制波长,并且c指代光速,以及
选择所述间距为最小的展开的相位假设的组合作为展开的相位假设的所述最合理组合。
8.一种飞行时间距离测量设备,包括根据权利要求7所述的装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
LU92173A LU92173B1 (en) | 2013-03-20 | 2013-03-20 | Distance determination method |
LULU92173 | 2013-03-20 | ||
PCT/EP2014/055068 WO2014146978A1 (en) | 2013-03-20 | 2014-03-14 | Distance determination method |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105143916A CN105143916A (zh) | 2015-12-09 |
CN105143916B true CN105143916B (zh) | 2017-05-31 |
Family
ID=47998496
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480016730.9A Active CN105143916B (zh) | 2013-03-20 | 2014-03-14 | 距离确定方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10795021B2 (zh) |
CN (1) | CN105143916B (zh) |
DE (1) | DE112014001541T5 (zh) |
LU (1) | LU92173B1 (zh) |
WO (1) | WO2014146978A1 (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9702976B2 (en) * | 2014-10-27 | 2017-07-11 | Microsoft Technology Licensing, Llc | Time of flight camera |
US10024966B2 (en) * | 2015-01-28 | 2018-07-17 | Texas Instruments Incorporated | Efficient implementation of distance de-aliasing for ranging systems using phase domain computation |
JP6558122B2 (ja) * | 2015-07-30 | 2019-08-14 | 株式会社デンソー | 光飛行型測距装置 |
JP6701199B2 (ja) * | 2015-07-31 | 2020-05-27 | パナソニック株式会社 | 測距撮像装置 |
JP6631718B2 (ja) * | 2016-02-08 | 2020-01-15 | 株式会社デンソー | マルチパス誤差を検出するための飛行時間型距離測定装置及び方法 |
US10598783B2 (en) | 2016-07-07 | 2020-03-24 | Microsoft Technology Licensing, Llc | Multi-frequency unwrapping |
US10884109B2 (en) * | 2018-03-30 | 2021-01-05 | Microsoft Technology Licensing, Llc | Analytical-adaptive multifrequency error minimization unwrapping |
CN109782262A (zh) * | 2019-01-30 | 2019-05-21 | Oppo广东移动通信有限公司 | 相位测距方法、装置、分体式电子设备及可读存储介质 |
US10929956B2 (en) | 2019-07-02 | 2021-02-23 | Microsoft Technology Licensing, Llc | Machine-learned depth dealiasing |
DE102019122891A1 (de) * | 2019-08-27 | 2021-03-04 | Basler Ag | Multipfad- und Rauschreduktion für Time-of-Flight-Kameras |
US11619723B2 (en) * | 2019-09-23 | 2023-04-04 | Microsoft Technology Licensing, Llc | Multiple-mode frequency sharing for time-of-flight camera |
US20220413144A1 (en) * | 2019-12-18 | 2022-12-29 | Sony Group Corporation | Signal processing device, signal processing method, and distance measurement device |
US11651503B2 (en) | 2020-06-16 | 2023-05-16 | Microsoft Technology Licensing, Llc | Determining depth in a depth image |
US20220252729A1 (en) * | 2021-02-08 | 2022-08-11 | Microsoft Technology Licensing, Llc | DETERMINING PHASE ORDERS IN ToF IMAGING |
Family Cites Families (58)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1998010255A1 (de) * | 1996-09-05 | 1998-03-12 | Rudolf Schwarte | Verfahren und vorrichtung zur bestimmung der phasen- und/oder amplitudeninformation einer elektromagnetischen welle |
US6288776B1 (en) * | 1999-11-24 | 2001-09-11 | Eastman Kodak Company | Method for unambiguous range estimation |
JP2003519786A (ja) * | 2000-01-10 | 2003-06-24 | マサチューセッツ インスティテュート オブ テクノロジー | 表面輪郭測定のための装置および方法 |
DE10039422C2 (de) | 2000-08-11 | 2002-08-01 | Siemens Ag | Verfahren und Vorrichtungen zum Betrieb eines PMD-System |
EP1332332B1 (en) * | 2000-11-02 | 2010-04-14 | Zygo Corporation | Height scanning interferometry method and apparatus including phase gap analysis |
GB0103669D0 (en) * | 2001-02-15 | 2001-03-28 | Central Research Lab Ltd | A method of estimating the carrier frequency of a phase-modulated signal |
AU2003241356A1 (en) * | 2002-05-02 | 2003-11-17 | Zygo Corporation | Phase gap analysis for scanning interferometry |
WO2004046749A2 (en) * | 2002-11-19 | 2004-06-03 | Radatec, Inc. | Method and system for calibration of a phase-based sensing system |
US7268889B2 (en) * | 2004-09-22 | 2007-09-11 | Corning Incorporated | Phase-resolved measurement for frequency-shifting interferometry |
GB0520332D0 (en) * | 2005-10-06 | 2005-11-16 | Roke Manor Research | Calibration of phased array antennas |
EP1793243A1 (de) * | 2005-12-05 | 2007-06-06 | Leica Geosystems AG | Verfahren zur Auflösung einer Phasenmehrdeutigkeit |
US20070127009A1 (en) * | 2005-12-07 | 2007-06-07 | Su-Ling Chen | Multi-modulation frequency laser range finder and method for the same |
EP1860462A1 (de) * | 2006-05-23 | 2007-11-28 | Leica Geosystems AG | Distanzmessverfahren und Distanzmesser zur Erfassung der räumlichen Abmessung eines Zieles |
US7471376B2 (en) * | 2006-07-06 | 2008-12-30 | Canesta, Inc. | Method and system for fast calibration of three-dimensional (3D) sensors |
US7791715B1 (en) * | 2006-10-02 | 2010-09-07 | Canesta, Inc. | Method and system for lossless dealiasing in time-of-flight (TOF) systems |
US8629976B2 (en) * | 2007-10-02 | 2014-01-14 | Microsoft Corporation | Methods and systems for hierarchical de-aliasing time-of-flight (TOF) systems |
EP2073035A1 (en) * | 2007-12-18 | 2009-06-24 | IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. | Recording of 3D images of a scene |
US20090322859A1 (en) * | 2008-03-20 | 2009-12-31 | Shelton Damion M | Method and System for 3D Imaging Using a Spacetime Coded Laser Projection System |
US8194233B2 (en) * | 2008-04-11 | 2012-06-05 | Microsoft Corporation | Method and system to reduce stray light reflection error in time-of-flight sensor arrays |
US8203699B2 (en) * | 2008-06-30 | 2012-06-19 | Microsoft Corporation | System architecture design for time-of-flight system having reduced differential pixel size, and time-of-flight systems so designed |
JP5448617B2 (ja) * | 2008-08-19 | 2014-03-19 | パナソニック株式会社 | 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ |
US8010316B2 (en) * | 2008-12-11 | 2011-08-30 | Intermec Ip Corp. | System and method for laser range-finding |
US8988661B2 (en) * | 2009-05-29 | 2015-03-24 | Microsoft Technology Licensing, Llc | Method and system to maximize space-time resolution in a time-of-flight (TOF) system |
WO2011076907A1 (en) | 2009-12-22 | 2011-06-30 | Leica Geosystems Ag | Highly accurate distance measurement device |
EP2378310B1 (en) * | 2010-04-15 | 2016-08-10 | Rockwell Automation Safety AG | Time of flight camera unit and optical surveillance system |
US8294610B2 (en) * | 2010-04-22 | 2012-10-23 | L-3 Communications Integrated Systems L.P. | Systems and methods for resolving interferometric angle-of-arrival ambiguities due to local multipath reflections |
US8587771B2 (en) * | 2010-07-16 | 2013-11-19 | Microsoft Corporation | Method and system for multi-phase dynamic calibration of three-dimensional (3D) sensors in a time-of-flight system |
US9753128B2 (en) * | 2010-07-23 | 2017-09-05 | Heptagon Micro Optics Pte. Ltd. | Multi-path compensation using multiple modulation frequencies in time of flight sensor |
GB201013896D0 (en) * | 2010-08-19 | 2010-10-06 | Isis Innovation | Apparatus and method for measuring distance |
US8648702B2 (en) | 2010-08-20 | 2014-02-11 | Denso International America, Inc. | Combined time-of-flight and image sensor systems |
DE102010043768B3 (de) * | 2010-09-30 | 2011-12-15 | Ifm Electronic Gmbh | Lichtlaufzeitkamera |
US9194953B2 (en) * | 2010-10-21 | 2015-11-24 | Sony Corporation | 3D time-of-light camera and method |
FR2966933B1 (fr) * | 2010-11-02 | 2013-05-24 | Thales Sa | Procede pour realiser une analyse haute resolution d'une zone de l'espace au moyen d'une onde pulsee agile en frequence |
US9151842B2 (en) * | 2010-11-12 | 2015-10-06 | Texas Instruments Incorporated | Method and apparatus for time of flight sensor 2-dimensional and 3-dimensional map generation |
US10571571B2 (en) * | 2010-11-12 | 2020-02-25 | Texas Instruments Incorporated | Method and apparatus for controlling time of flight confidence map based depth noise and depth coverage range |
EP2477043A1 (en) * | 2011-01-12 | 2012-07-18 | Sony Corporation | 3D time-of-flight camera and method |
KR101854188B1 (ko) * | 2011-10-25 | 2018-05-08 | 삼성전자주식회사 | 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서 깊이 정보 산출 방법 |
WO2013104717A1 (en) * | 2012-01-10 | 2013-07-18 | Softkinetic Sensors Nv | Improvements in or relating to the processing of time-of-flight signals |
KR101862199B1 (ko) * | 2012-02-29 | 2018-05-29 | 삼성전자주식회사 | 원거리 획득이 가능한 tof카메라와 스테레오 카메라의 합성 시스템 및 방법 |
US8686367B2 (en) * | 2012-03-01 | 2014-04-01 | Omnivision Technologies, Inc. | Circuit configuration and method for time of flight sensor |
US20140049767A1 (en) * | 2012-08-15 | 2014-02-20 | Microsoft Corporation | Methods and systems for geometric phase unwrapping in time of flight systems |
US20140085426A1 (en) * | 2012-09-24 | 2014-03-27 | Alces Technology, Inc. | Structured light systems with static spatial light modulators |
US9602807B2 (en) * | 2012-12-19 | 2017-03-21 | Microsoft Technology Licensing, Llc | Single frequency time of flight de-aliasing |
US9497440B2 (en) * | 2013-04-05 | 2016-11-15 | Microsoft Technology Licensing, Llc | Burst-mode time-of-flight imaging |
US9488722B2 (en) * | 2013-06-05 | 2016-11-08 | Samsung Electronics Co., Ltd. | Time-of-flight ranging system and method with extended range |
US10061028B2 (en) * | 2013-09-05 | 2018-08-28 | Texas Instruments Incorporated | Time-of-flight (TOF) assisted structured light imaging |
US9778363B2 (en) * | 2013-10-24 | 2017-10-03 | Massachusetts Institute Of Technology | Methods and apparatus for coded time-of-flight camera |
WO2015066461A1 (en) * | 2013-11-01 | 2015-05-07 | Irobot Corporation | Scanning range finder |
US9542749B2 (en) * | 2014-01-06 | 2017-01-10 | Microsoft Technology Licensing, Llc | Fast general multipath correction in time-of-flight imaging |
EP2966475B1 (en) * | 2014-07-09 | 2016-05-25 | Softkinetic Sensors N.V. | A method for binning time-of-flight data |
US9897699B2 (en) * | 2014-07-09 | 2018-02-20 | Massachusetts Institute Of Technology | Methods and apparatus for virtual sensor array |
US9702976B2 (en) * | 2014-10-27 | 2017-07-11 | Microsoft Technology Licensing, Llc | Time of flight camera |
US10024966B2 (en) * | 2015-01-28 | 2018-07-17 | Texas Instruments Incorporated | Efficient implementation of distance de-aliasing for ranging systems using phase domain computation |
US9864048B2 (en) * | 2015-05-17 | 2018-01-09 | Microsoft Technology Licensing, Llc. | Gated time of flight camera |
EP3118651B1 (de) * | 2015-07-17 | 2021-04-21 | Hexagon Technology Center GmbH | Laufzeitmessvorrichtung und laufzeitmessverfahren mit ambiguitätslösung in echtzeit |
JP6558122B2 (ja) * | 2015-07-30 | 2019-08-14 | 株式会社デンソー | 光飛行型測距装置 |
US10337993B2 (en) * | 2016-04-15 | 2019-07-02 | Massachusetts Institute Of Technology | Methods and apparatus for fluorescence lifetime imaging with periodically modulated light |
US10598783B2 (en) * | 2016-07-07 | 2020-03-24 | Microsoft Technology Licensing, Llc | Multi-frequency unwrapping |
-
2013
- 2013-03-20 LU LU92173A patent/LU92173B1/xx active
-
2014
- 2014-03-14 DE DE112014001541.5T patent/DE112014001541T5/de active Pending
- 2014-03-14 CN CN201480016730.9A patent/CN105143916B/zh active Active
- 2014-03-14 US US14/778,918 patent/US10795021B2/en active Active
- 2014-03-14 WO PCT/EP2014/055068 patent/WO2014146978A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
US10795021B2 (en) | 2020-10-06 |
CN105143916A (zh) | 2015-12-09 |
US20160047913A1 (en) | 2016-02-18 |
WO2014146978A1 (en) | 2014-09-25 |
DE112014001541T5 (de) | 2015-12-03 |
LU92173B1 (en) | 2014-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105143916B (zh) | 距离确定方法 | |
US10430956B2 (en) | Time-of-flight (TOF) capturing apparatus and image processing method of reducing distortion of depth caused by multiple reflection | |
US9514378B2 (en) | Space-time modulated active 3D imager | |
US11378690B2 (en) | Time of flight sensor, a three-dimensional imaging device using the same, and a method for driving the three-dimensional imaging device | |
US10571668B2 (en) | Catadioptric projector systems, devices, and methods | |
US20160112696A1 (en) | Imaging apparatuses and a time of flight imaging method | |
US5930383A (en) | Depth sensing camera systems and methods | |
CN102388291B (zh) | 轮廓测定仪、测量设备和观测设备 | |
US9123164B2 (en) | 3D image acquisition apparatus and method of extracting depth information in 3D image acquisition apparatus | |
US20120176476A1 (en) | 3d time-of-flight camera and method | |
RU2013101791A (ru) | Получение пространственных топографических изображений следов от инструмента с использованием нелинейного фотометрического стереоспособа | |
JP2010122158A (ja) | 物体表面法線ベクトルマップ作成方法 | |
US20210263137A1 (en) | Phase noise and methods of correction in multi-frequency mode lidar | |
CN102906536A (zh) | 形状测定装置及形状测定方法 | |
US20210342988A1 (en) | Target-less calibration of turbid media | |
US11175568B2 (en) | Information processing apparatus, information processing method, and program as well as in interchangeable lens | |
US10495512B2 (en) | Method for obtaining parameters defining a pixel beam associated with a pixel of an image sensor comprised in an optical device | |
US20200326609A1 (en) | Image capturing apparatus, image processing apparatus, control method, and storage medium | |
JP2009025189A (ja) | 計測器 | |
Hillemann et al. | UCalMiCeL–Unified intrinsic and extrinsic calibration of a multi-camera-system and a laserscanner | |
US20220078342A1 (en) | Time of flight camera data processing system | |
JP2010219826A (ja) | 撮像装置、位置計測システムおよびプログラム | |
US10339665B2 (en) | Positional shift amount calculation apparatus and imaging apparatus | |
US20220113131A1 (en) | Measurement apparatus, image capturing apparatus, measurement system, control method, and storage medium | |
KR20240015643A (ko) | 투사 패턴의 공액 선 거리로부터의 자동 교정 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20151209 Assignee: Beijing Hangxing Technology Development Co., Ltd. Assignor: IEE International Electronic Engineering AG Contract record no.: 2017990000045 Denomination of invention: Determining method and measuring system of safety retreat distance of side personnel under action of train wind License type: Exclusive License Record date: 20170203 |
|
EE01 | Entry into force of recordation of patent licensing contract | ||
GR01 | Patent grant | ||
GR01 | Patent grant |