CN111381224B - 激光数据校准方法、装置及移动终端 - Google Patents

激光数据校准方法、装置及移动终端 Download PDF

Info

Publication number
CN111381224B
CN111381224B CN201811645449.8A CN201811645449A CN111381224B CN 111381224 B CN111381224 B CN 111381224B CN 201811645449 A CN201811645449 A CN 201811645449A CN 111381224 B CN111381224 B CN 111381224B
Authority
CN
China
Prior art keywords
laser
data
laser radar
lidar
laser data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811645449.8A
Other languages
English (en)
Other versions
CN111381224A (zh
Inventor
熊友军
赵勇胜
刘志超
庞建新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ubtech Robotics Corp
Original Assignee
Ubtech Robotics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ubtech Robotics Corp filed Critical Ubtech Robotics Corp
Priority to CN201811645449.8A priority Critical patent/CN111381224B/zh
Priority to US16/396,693 priority patent/US20200209365A1/en
Publication of CN111381224A publication Critical patent/CN111381224A/zh
Application granted granted Critical
Publication of CN111381224B publication Critical patent/CN111381224B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser

Abstract

本申请适用于雷达数据校准技术领域，提供了激光数据校准方法、装置及移动终端，包括：获取移动设备的位姿；根据移动设备的位姿以及移动设备和激光雷达的变换关系确定激光雷达的位姿，激光雷达安装在移动设备上，移动设备和激光雷达的变换关系根据激光雷达安装的位置相对于移动设备的位置确定；根据相邻两个时间点的激光雷达的位姿确定激光雷达的瞬时速度；确定激光雷达扫描一周得到的一帧原始激光数据的采集时间相对于第一个原始激光数据的采集时间的延时；根据瞬时速度、相对于第一个原始激光数据的采集时间的延时以及原始激光数据确定原始激光数据的校准数据。通过上述方法能够实现对原始激光数据的校准。

Description

激光数据校准方法、装置及移动终端
技术领域
本申请属于雷达数据校准技术领域，尤其涉及激光数据校准方法、装置、移动终端及计算机可读存储介质。
背景技术
除了固态激光雷达以外，对于单线或多线的激光雷达，每一线的激光数据实际是一个可以高速测距的激光头，通过激光雷达自身旋转来采集360度的距离数据，激光雷达自身旋转的速度一般每秒可旋转5～15周。
如果可旋转的激光雷达安装在移动设备上，则在移动设备运动时，激光雷达通过旋转采集的测距数据相对于该移动设备静止时采集的测距数据将会产生偏差。在移动设备的运动速度或角速度较小时，这个偏差较小，但若移动设备的运动速度或角速度变大，则产生的偏差也越来越大，从而导致获得的测距数据准确性较低，如图1所示，左边的图是实际场景，右边的图是激光雷达扫描得到的场景，虽然两者的形状相同，但是朝向却改变了。
故，需要提供一种新的方法以解决上述技术问题。
发明内容
有鉴于此，本申请实施例提供了一种激光数据校准方法、装置及移动终端，以解决现有技术中的问题。
本申请实施例的第一方面提供了一种激光数据校准方法，包括：
获取移动设备的位姿；
根据所述移动设备的位姿以及所述移动设备和激光雷达的变换关系确定所述激光雷达的位姿，所述激光雷达安装在所述移动设备上，所述移动设备和激光雷达的变换关系根据所述激光雷达安装的位置相对于所述移动设备的位置确定；
根据相邻两个时间点的所述激光雷达的位姿确定所述激光雷达的瞬时速度；
确定所述激光雷达扫描一周得到的一帧原始激光数据的采集时间相对于第一个原始激光数据的采集时间的延时；
根据所述瞬时速度、所述相对于第一个原始激光数据的采集时间的延时以及所述原始激光数据确定所述原始激光数据的校准数据。
本申请实施例的第二方面提供了一种激光数据校准装置，包括：
移动设备的位姿获取单元，用于获取移动设备的位姿；
激光雷达的位姿确定单元，用于根据所述移动设备的位姿以及所述移动设备和激光雷达的变换关系确定所述激光雷达的位姿，所述激光雷达安装在所述移动设备上，所述移动设备和激光雷达的变换关系根据所述激光雷达安装的位置相对于所述移动设备的位置确定；
瞬时速度确定单元，用于根据相邻两个时间点的所述激光雷达的位姿确定所述激光雷达的瞬时速度；
延时确定单元，用于确定所述激光雷达扫描一周得到的一帧原始激光数据的采集时间相对于第一个原始激光数据的采集时间的延时；
校准数据确定单元，用于根据所述瞬时速度、所述相对于第一个原始激光数据的采集时间的延时以及所述原始激光数据确定所述原始激光数据的校准数据。
本申请实施例的第三方面提供了一种移动终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述方法的步骤。
本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述方法的步骤。
本申请实施例与现有技术相比存在的有益效果是：
由于雷达激光采集的原始激光数据的校准数据是根据该雷达激光的瞬时速度、该原始激光数据相对于同一帧中第一个原始激光数据的采集时间的延时以及所述原始激光数据确定，即将采集到同一帧的原始激光数据的位置点都投影到采集该同一帧的第一个原始激光数据的位置点上，因此，实现了原始激光数据的校准。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据现有技术获得的具有误差的测距数据构建的场景示意图；
图2是本申请实施例提供的一种激光数据校准方法的流程图；
图3是本申请实施例提供的根据单线激光雷达的位姿构建的三角关系示意图；
图4是本申请实施例提供的一种激光数据校准装置的结构示意图；
图5是本申请实施例提供的移动终端的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
具体实现中，本申请实施例中描述的移动终端包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是，在某些实施例中，上述设备并非便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的台式计算机。
在接下来的讨论中，描述了包括显示器和触摸敏感表面的移动终端。然而，应当理解的是，移动终端可以包括诸如物理键盘、鼠标和/或控制杆的一个或多个其它物理用户接口设备。
移动终端支持各种应用程序，例如以下中的一个或多个：绘图应用程序、演示应用程序、文字处理应用程序、网站创建应用程序、盘刻录应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息收发应用程序、锻炼支持应用程序、照片管理应用程序、数码相机应用程序、数字摄影机应用程序、web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。
可以在移动终端上执行的各种应用程序可以使用诸如触摸敏感表面的至少一个公共物理用户接口设备。可以在应用程序之间和/或相应应用程序内调整和/或改变触摸敏感表面的一个或多个功能以及终端上显示的相应信息。这样，终端的公共物理架构(例如，触摸敏感表面)可以支持具有对用户而言直观且透明的用户界面的各种应用程序。
另外，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例一：
图2示出了本申请实施例提供的一种激光数据校准方法的流程图，详述如下：
步骤S21，获取移动设备的位姿；
这里的移动设备包括机器人等设备，该移动设备安装有激光雷达，该激光雷达通过自身旋转采集到外部事物的距离信息和角度信息。
本实施例中的移动设备的位姿是指该移动设备投影在水平面上的位姿，获取方式包括定时获取，或者间隔时间到达时获取。
步骤S22，根据所述移动设备的位姿以及所述移动设备和激光雷达的变换关系确定所述激光雷达的位姿，所述激光雷达安装在所述移动设备上，所述移动设备和激光雷达的变换关系根据所述激光雷达安装的位置相对于所述移动设备的位置确定；
步骤S23，根据相邻两个时间点的所述激光雷达的位姿确定所述激光雷达的瞬时速度；
该步骤中，由于雷达激光一秒可以旋转5～15周，因此，可以认为雷达激光在获取同一帧原始激光数据时其是匀速运动，且不会产生较大误差，故可以通过获取相邻两个原始激光数据的时间点的位姿确定激光雷达的瞬时速度。
步骤S24，确定所述激光雷达扫描一周得到的一帧原始激光数据的采集时间相对于第一个原始激光数据的采集时间的延时；
该步骤的第一个原始激光数据是指采集到的同一帧原始激光数据中的第一个原始激光数据。
对单线激光雷达来说，每一帧原始激光数据是一串在水平方向上360度扫描的测距点，包含了距离信息和角度信息对应的值。原始激光数据的格式一般是{[distance1,theta1],[distance2,theta2],[distance3,theta3]...}这样的极坐标形式。
步骤S25，根据所述瞬时速度、所述相对于第一个原始激光数据的采集时间的延时以及所述原始激光数据确定所述原始激光数据的校准数据。
本实施例中，由于雷达激光采集的原始激光数据的校准数据是根据该雷达激光的瞬时速度、该原始激光数据相对于同一帧中第一个原始激光数据的采集时间的延时以及所述原始激光数据确定，即将采集到同一帧的原始激光数据的位置点都投影到采集该同一帧的第一个原始激光数据的位置点上，因此，实现了原始激光数据的校准。
在一些实施例中，若激光雷达为单线激光雷达，所述步骤S22包括：
A1、根据所述激光雷达安装的位置相对于所述移动设备的位置确定所述激光雷达与所述移动设备的水平位置差{dx,dy,dth}；具体地，根据激光雷达安装的位置相对于所述移动设备的位置确定激光雷达与所述移动设备的水平位置差，以及确定从移动设备位姿到激光雷达位姿的变换关系tf。
A2、根据下式确定所述激光雷达的位姿：
lidarPose.x＝devPose.x+tf.dx；
lidarPose.y＝devPose.y+tf.dy；
lidarPose.theta＝devPose.theta+tf.dth；
其中，lidarPose.x、lidarPose.y、lidarPose.theta分别表示所述激光雷达在水平面上不同分量的位姿；devPose.x、devPose.y、devPose.theta分别表示所述移动设备在水平面上不同分量的位姿，tf表示所述移动设备和激光雷达的变换关系。
本实施例中，devPose.x、devPose.y、devPose.theta在步骤S21中获取。
在一些实施例中，若激光雷达为单线激光雷达，所述激光雷达的瞬时速度V1包括V1.vx、V1.vy、V1.vth这三个分量，则所述步骤S23包括：
根据下式确定瞬时速度V1包括的V1.vx、V1.vy、V1.vth这三个分量：
V1.vx＝(lidarPose2.x-lidarPose1.x)/(t2-t1)；
V1.vy＝(lidarPose2.y-lidarPose1.y)/(t2-t1)；
V1.vth＝(lidarPose2.theta-lidarPose1.theta)/(t2-t1)；
其中，lidarPose2.x、lidarPose2.y、lidarPose2.theta分别表示所述激光雷达在t2时间点在水平面上不同分量的位姿，lidarPose1.x、lidarPose1.y、lidarPose1.theta分别表示所述激光雷达在t1时间点在水平面上不同分量的位姿，且t1时间点和t2时间点为相邻的两个时间点。
本实施例中，采集同一帧原始激光数据对应的激光雷达的瞬时速度相同，比如，采用采集第一个原始激光数据和采集第二个原始激光数据计算的激光雷达的瞬时速度，该瞬时速度可以作为采集的同一帧原始激光数据对应的激光雷达的瞬时速度。
在一些实施例中，若激光雷达为单线激光雷达，所述步骤S25包括：
delayTn1＝T*thetaN/360°，delayTn1为pN的原始激光数据的采集时间相对于与该原始激光数据位于同一帧的第一个原始激光数据(即第一个点p1的原始激光数据)的采集时间的延时，T为激光雷达扫描一周的时间，thetaN为pN点的原始激光数据对应的角度；需要说明的是，激光雷达扫描一周将得到一帧的原始激光数据。
参考图3，deltaPoseN＝poseN-pose1＝V1*delayTn1，其中，deltaPoseN是poseN相对于pose1的位姿差，poseN是采集pN点的原始激光数据时激光雷达的位姿，pose1是采集p1点的原始激光数据时激光雷达的位姿；
根据下式将pN点的原始激光数据(distanceN,thetaN)从极坐标转为直角坐标：
pN.x＝distanceN*cos(thetaN)；
pN.y＝distanceN*sin(thetaN)；
根据下式将pN点的直角坐标从poseN坐标系转到pose1坐标系：
pN’.x＝
deltaPoseN.x+cos(deltaPoseN.theta)*pN.x-sin(deltaPoseN.theta)*
pN.y；
pN’.y＝
deltaPoseN.y+sin(deltaPoseN.theta)*pN.x+cos(deltaPoseN.theta)*pN.y；
根据下式将pose1坐标系下的直角坐标转为极坐标：
Figure BDA0001931970830000081
pN’.theta＝tan(pN’.y/pN’.x)。
本实施例中，通过上述方法能够实现对单线激光雷达获得的原始激光数据中的距离信息以及角度信息的校准，得到校准后的距离信息和角度信息。
在一些实施例中，若激光雷达为多线激光雷达，所述步骤S22包括：
B1、根据所述移动设备和激光雷达的变换关系确定对应的变换矩阵；
B2、将所述移动设备的位姿与所述变换矩阵的积作为所述激光雷达的位姿。
由于多线激光雷达的点是3维的，移动设备的运动也是3维的，因此，该多线激光雷达相对于移动设备的位置变化关系通过变换矩阵表示。
在一些实施例中，若激光雷达为多线激光雷达，所述瞬时速度为瞬时速度矩阵；则所述步骤S23包括：
C1、将t2时间点对应的激光雷达的位姿与t1时间点对应的激光雷达的位姿作差，得到第一差值，t1时间点和t2时间点为相邻的两个时间点；
C2、将t2时间点与t1时间点作差，得到第二差值；
C3、将所述第一差值与所述第二差值的商作为所述激光雷达的瞬时速度矩阵。
在一些实施例中，若激光雷达为多线激光雷达，所述步骤S25包括：
D1、将原始激光数据从极坐标形式转换为直角坐标系形式；其中，原始激光数据包括距离信息和角度信息，即该原始激光数据是以极坐标形式表示。
D2、根据下式确定已转换为直角坐标系形式的原始激光数据的校准数据：
pM'＝pM*(V2*delayTn2)-1；其中，“-1”表示(V2*delayTn2)的逆运算；
delayTn2＝T*thetaM/360°；
其中，pM为第M个点对应的第M个已转换为直角坐标系形式的原始激光数据，pM’为第M个已转换为直角坐标系形式的原始激光数据的校准数据，V2为瞬时速度矩阵，delayTn2为第M个点的原始激光数据的采集时间相对于第一个原始激光数据的采集时间的延时，T为激光雷达扫描一周的时间，thetaM为第M个点的原始激光数据对应的角度。
本实施例中，得到的校准数据的表示形式为直角坐标系形式。
在一些实施例中，将直角坐标系形式的校准数据转换为极坐标形式。
实施例二：
图4示出了本申请实施例提供的一种激光数据校准装置的结构示意图，为了便于说明，仅示出了与本申请实施例相关的部分：
该激光数据校准装置4包括：移动设备的位姿获取单元41、激光雷达的位姿确定单元42、瞬时速度确定单元43、延时确定单元44、校准数据确定单元45。
移动设备的位姿获取单元41，用于获取移动设备的位姿；
激光雷达的位姿确定单元42，用于根据所述移动设备的位姿以及所述移动设备和激光雷达的变换关系确定所述激光雷达的位姿，所述激光雷达安装在所述移动设备上，所述移动设备和激光雷达的变换关系根据所述激光雷达安装的位置相对于所述移动设备的位置确定；
瞬时速度确定单元43，用于根据相邻两个时间点的所述激光雷达的位姿确定所述激光雷达的瞬时速度；
延时确定单元44，用于确定所述激光雷达扫描一周得到的一帧原始激光数据的采集时间相对于第一个原始激光数据的采集时间的延时；
校准数据确定单元45，用于根据所述瞬时速度、所述相对于第一个原始激光数据的采集时间的延时以及所述原始激光数据确定所述原始激光数据的校准数据。
本申请实施例中，由于雷达激光采集的原始激光数据的校准数据是根据该雷达激光的瞬时速度、该原始激光数据相对于同一帧中第一个原始激光数据的采集时间的延时以及所述原始激光数据确定，即将采集到同一帧的原始激光数据的位置点都投影到采集该同一帧的第一个原始激光数据的位置点上，因此，实现了原始激光数据的校准。
在一些实施例中，若激光雷达为单线激光雷达，所述激光雷达的位姿确定单元42包括：
水平位置差确定模块，用于根据所述激光雷达安装的位置相对于所述移动设备的位置确定所述激光雷达与所述移动设备的水平位置差{dx,dy,dth}；
单线激光雷达的位姿确定模块，用于根据下式确定所述激光雷达的位姿：
lidarPose.x＝devPose.x+tf.dx；
lidarPose.y＝devPose.y+tf.dy；
lidarPose.theta＝devPose.theta+tf.dth；
其中，lidarPose.x、lidarPose.y、lidarPose.theta分别表示所述激光雷达在水平面上不同分量的位姿；devPose.x、devPose.y、devPose.theta分别表示所述移动设备在水平面上不同分量的位姿，tf表示所述移动设备和激光雷达的变换关系。
在一些实施例中，若激光雷达为单线激光雷达，所述激光雷达的瞬时速度V1包括V1.vx、V1.vy、V1.vth这三个分量，则所述瞬时速度确定单元43具体用于：
根据下式确定瞬时速度V1包括的V1.vx、V1.vy、V1.vth这三个分量：
V1.vx＝(lidarPose2.x-lidarPose1.x)/(t2-t1)；
V1.vy＝(lidarPose2.y-lidarPose1.y)/(t2-t1)；
V1.vth＝(lidarPose2.theta-lidarPose1.theta)/(t2-t1)；
其中，lidarPose2.x、lidarPose2.y、lidarPose2.theta分别表示所述激光雷达在t2时间点在水平面上不同分量的位姿，lidarPose1.x、lidarPose1.y、lidarPose1.theta分别表示所述激光雷达在t1时间点在水平面上不同分量的位姿，且t1时间点和t2时间点为相邻的两个时间点。
在一些实施例中，若激光雷达为单线激光雷达，所述校准数据确定单元45具体用于：
delayTn1＝T*thetaN/360°，delayTn1为pN的原始激光数据的采集时间相对于与该原始激光数据位于同一帧的第一个原始激光数据的采集时间的延时，T为激光雷达扫描一周的时间，thetaN为pN点的原始激光数据对应的角度；
deltaPoseN＝poseN-pose1＝V1*delayTn1，其中，deltaPoseN是poseN相对于pose1的位姿差，poseN是采集pN点的原始激光数据时激光雷达的位姿，pose1是采集p1点的原始激光数据时激光雷达的位姿；
根据下式将pN点的原始激光数据(distanceN,thetaN)从极坐标转为直角坐标：
pN.x＝distanceN*cos(thetaN)；
pN.y＝distanceN*sin(thetaN)；
根据下式将pN点的直角坐标从poseN坐标系转到pose1坐标系：
pN’.x＝
deltaPoseN.x+cos(deltaPoseN.theta)*pN.x-sin(deltaPoseN.theta)*
pN.y；
pN’.y＝
deltaPoseN.y+sin(deltaPoseN.theta)*pN.x+cos(deltaPoseN.theta)*pN.y；
根据下式将pose1坐标系下的直角坐标转为极坐标：
Figure BDA0001931970830000121
pN’.theta＝tan(pN’.y/pN’.x)。
在一些实施例中，若激光雷达为多线激光雷达，所述激光雷达的位姿确定单元42包括：
变换矩阵确定模块，用于根据所述移动设备和激光雷达的变换关系确定对应的变换矩阵；
多线激光雷达的位姿确定模块，用于将所述移动设备的位姿与所述变换矩阵的积作为所述激光雷达的位姿。
在一些实施例中，若激光雷达为多线激光雷达，则所述瞬时速度确定单元43具体用于：将t2时间点对应的激光雷达的位姿与t1时间点对应的激光雷达的位姿作差，得到第一差值，以及，将t2时间点与t1时间点作差，得到第二差值，最后将所述第一差值与所述第二差值的商作为所述激光雷达的瞬时速度矩阵，其中t1时间点和t2时间点为相邻的两个时间点。
在一些实施例中，若激光雷达为多线激光雷达，所述校准数据确定单元45具体用于：将原始激光数据从极坐标形式转换为直角坐标系形式，再根据下式确定已转换为直角坐标系形式的原始激光数据的校准数据：
pM'＝pM*(V2*delayTn2)-1；其中，“-1”表示(V2*delayTn2)的逆运算；
delayTn2＝T*thetaM/360°；
其中，pM为第M个点对应的第M个已转换为直角坐标系形式的原始激光数据，pM’为第M个已转换为直角坐标系形式的原始激光数据的校准数据，V2为瞬时速度矩阵，delayTn2为第M个点的原始激光数据的采集时间相对于第一个原始激光数据的采集时间的延时，T为激光雷达扫描一周的时间，thetaM为第M个点的原始激光数据对应的角度。
在一些实施例中，将直角坐标系形式的校准数据转换为极坐标形式。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
实施例三：
图5是本申请一实施例提供的移动终端的示意图。如图5所示，该实施例的移动终端5包括：处理器50、存储器51以及存储在所述存储器51中并可在所述处理器50上运行的计算机程序52。所述处理器50执行所述计算机程序52时实现上述各个激光数据校准方法实施例中的步骤，例如图2所示的步骤S11至S15。或者，所述处理器50执行所述计算机程序52时实现上述各装置实施例中各模块/单元的功能，例如图4所示单元41至45的功能。
示例性的，所述计算机程序52可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器51中，并由所述处理器50执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序52在所述移动终端5中的执行过程。例如，所述计算机程序52可以被分割成移动设备的位姿获取单元、激光雷达的位姿确定单元、瞬时速度确定单元、延时确定单元、校准数据确定单元，各单元具体功能如下：
移动设备的位姿获取单元，用于获取移动设备的位姿；
激光雷达的位姿确定单元，用于根据所述移动设备的位姿以及所述移动设备和激光雷达的变换关系确定所述激光雷达的位姿，所述激光雷达安装在所述移动设备上，所述移动设备和激光雷达的变换关系根据所述激光雷达安装的位置相对于所述移动设备的位置确定；
瞬时速度确定单元，用于根据相邻两个时间点的所述激光雷达的位姿确定所述激光雷达的瞬时速度；
延时确定单元，用于确定所述激光雷达扫描一周得到的一帧原始激光数据的采集时间相对于第一个原始激光数据的采集时间的延时；
校准数据确定单元，用于根据所述瞬时速度、所述相对于第一个原始激光数据的采集时间的延时以及所述原始激光数据确定所述原始激光数据的校准数据。
所述移动终端5可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述移动终端可包括，但不仅限于，处理器50、存储器51。本领域技术人员可以理解，图5仅仅是移动终端5的示例，并不构成对移动终端5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述移动终端还可以包括输入输出设备、网络接入设备、总线等。
所称处理器50可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器51可以是所述移动终端5的内部存储单元，例如移动终端5的硬盘或内存。所述存储器51也可以是所述移动终端5的外部存储设备，例如所述移动终端5上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器51还可以既包括所述移动终端5的内部存储单元也包括外部存储设备。所述存储器51用于存储所述计算机程序以及所述移动终端所需的其他程序和数据。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/移动终端和方法，可以通过其它的方式实现。例如，以上所描述的装置/移动终端实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种激光数据校准方法，其特征在于，包括：
获取移动设备的位姿；
根据所述移动设备的位姿以及所述移动设备和激光雷达的变换关系确定所述激光雷达的位姿，所述激光雷达安装在所述移动设备上，所述移动设备和激光雷达的变换关系根据所述激光雷达安装的位置相对于所述移动设备的位置确定；
根据相邻两个时间点的所述激光雷达的位姿确定所述激光雷达的瞬时速度；
确定所述激光雷达扫描一周得到的一帧原始激光数据的采集时间相对于第一个原始激光数据的采集时间的延时；
根据所述瞬时速度、所述相对于第一个原始激光数据的采集时间的延时以及所述原始激光数据确定所述原始激光数据的校准数据。
2.如权利要求1所述的激光数据校准方法，其特征在于，若激光雷达为单线激光雷达，所述根据所述移动设备的位姿以及所述移动设备和激光雷达的变换关系确定所述激光雷达的位姿，包括：
根据所述激光雷达安装的位置相对于所述移动设备的位置确定所述激光雷达与所述移动设备的水平位置差{tf.dx,tf.dy,tf.dth}；
根据下式确定所述激光雷达的位姿：
lidarPose.x＝devPose.x+tf.dx；
lidarPose.y＝devPose.y+tf.dy；
lidarPose.theta＝devPose.theta+tf.dth；
其中，lidarPose.x、lidarPose.y、lidarPose.theta分别表示所述激光雷达在水平面上不同分量的位姿；devPose.x、devPose.y、devPose.theta分别表示所述移动设备在水平面上不同分量的位姿，tf表示所述移动设备和激光雷达的变换关系。
3.如权利要求1所述的激光数据校准方法，其特征在于，若激光雷达为多线激光雷达，所述根据所述移动设备的位姿以及所述移动设备和激光雷达的变换关系确定所述激光雷达的位姿，包括：
根据所述移动设备和激光雷达的变换关系确定对应的变换矩阵；
将所述移动设备的位姿与所述变换矩阵的积作为所述激光雷达的位姿。
4.如权利要求2所述的激光数据校准方法，其特征在于，若激光雷达为单线激光雷达，所述激光雷达的瞬时速度V1包括V1.vx、V1.vy、V1.vth这三个分量，则所述根据相邻两个时间点的所述激光雷达的位姿确定所述激光雷达的瞬时速度，包括：
根据下式确定瞬时速度V1包括的V1.vx、V1.vy、V1.vth这三个分量：
V1.vx＝(lidarPose2.x-lidarPose1.x)/(t2-t1)；
V1.vy＝(lidarPose2.y-lidarPose1.y)/(t2-t1)；
V1.vth＝(lidarPose2.theta-lidarPose1.theta)/(t2-t1)；
其中，lidarPose2.x、lidarPose2.y、lidarPose2.theta分别表示所述激光雷达在t2时间点在水平面上不同分量的位姿，lidarPose1.x、lidarPose1.y、lidarPose1.theta分别表示所述激光雷达在t1时间点在水平面上不同分量的位姿，且t1时间点和t2时间点为相邻的两个时间点。
5.如权利要求3所述的激光数据校准方法，其特征在于，若激光雷达为多线激光雷达，所述瞬时速度为瞬时速度矩阵；则所述根据相邻两个时间点的所述激光雷达的位姿确定所述激光雷达的瞬时速度，包括：
将t2时间点对应的激光雷达的位姿与t1时间点对应的激光雷达的位姿作差，得到第一差值，t1时间点和t2时间点为相邻的两个时间点；
将t2时间点与t1时间点作差，得到第二差值；
将所述第一差值与所述第二差值的商作为所述激光雷达的瞬时速度矩阵。
6.如权利要求4所述的激光数据校准方法，其特征在于，若激光雷达为单线激光雷达，所述根据所述瞬时速度、所述相对于第一个原始激光数据的采集时间的延时以及所述原始激光数据确定所述原始激光数据的校准数据，包括：
delayTn1＝T*thetaN/360°，delayTn1为pN点的原始激光数据的采集时间相对于第一个原始激光数据的采集时间的延时，T为激光雷达扫描一周的时间，thetaN为pN点的原始激光数据对应的角度；
deltaPoseN＝poseN-pose1＝V1*delayTn1，其中，deltaPoseN是poseN相对于pose1的位姿差，poseN是采集pN点的原始激光数据时激光雷达的位姿，pose1是采集p1点的原始激光数据时激光雷达的位姿；
根据下式将pN点的原始激光数据(distanceN,thetaN)从极坐标转为直角坐标：
pN.x＝distanceN*cos(thetaN)；
pN.y＝distanceN*sin(thetaN)；
根据下式将pN点的直角坐标从poseN坐标系转到pose1坐标系：
pN’.x＝deltaPoseN.x+cos(deltaPoseN.theta)*pN.x-sin(deltaPoseN.theta)*pN.y；
pN’.y＝deltaPoseN.y+sin(deltaPoseN.theta)*pN.x+cos(deltaPoseN.theta)*pN.y；
根据下式将pose1坐标系下的直角坐标转为极坐标：
Figure FDA0003377087220000031
pN’.theta＝tan(pN’.y/pN’.x)。
7.如权利要求5所述的激光数据校准方法，其特征在于，若激光雷达为多线激光雷达，所述根据所述瞬时速度、所述相对于第一个原始激光数据的采集时间的延时以及所述原始激光数据确定所述原始激光数据的校准数据，包括：
将原始激光数据从极坐标形式转换为直角坐标系形式；
根据下式确定已转换为直角坐标系形式的原始激光数据的校准数据：
pM'＝pM*(V2*delayTn2)-1；
delayTn2＝T*thetaM/360°；
其中，pM为第M个点对应的第M个已转换为直角坐标系形式的原始激光数据，pM’为第M个已转换为直角坐标系形式的原始激光数据的校准数据，V2为瞬时速度矩阵，delayTn2为第M个点的原始激光数据的采集时间相对于第一个原始激光数据的采集时间的延时，T为激光雷达扫描一周的时间，thetaM为第M个点的原始激光数据对应的角度。
8.一种激光数据校准装置，其特征在于，包括：
移动设备的位姿获取单元，用于获取移动设备的位姿；
激光雷达的位姿确定单元，用于根据所述移动设备的位姿以及所述移动设备和激光雷达的变换关系确定所述激光雷达的位姿，所述激光雷达安装在所述移动设备上，所述移动设备和激光雷达的变换关系根据所述激光雷达安装的位置相对于所述移动设备的位置确定；
瞬时速度确定单元，用于根据相邻两个时间点的所述激光雷达的位姿确定所述激光雷达的瞬时速度；
延时确定单元，用于确定所述激光雷达扫描一周得到的一帧原始激光数据的采集时间相对于第一个原始激光数据的采集时间的延时；
校准数据确定单元，用于根据所述瞬时速度、所述相对于第一个原始激光数据的采集时间的延时以及所述原始激光数据确定所述原始激光数据的校准数据。
9.一种移动终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
CN201811645449.8A 2018-12-29 2018-12-29 激光数据校准方法、装置及移动终端 Active CN111381224B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811645449.8A CN111381224B (zh) 2018-12-29 2018-12-29 激光数据校准方法、装置及移动终端
US16/396,693 US20200209365A1 (en) 2018-12-29 2019-04-28 Laser data calibration method and robot using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811645449.8A CN111381224B (zh) 2018-12-29 2018-12-29 激光数据校准方法、装置及移动终端

Publications (2)

Publication Number Publication Date
CN111381224A CN111381224A (zh) 2020-07-07
CN111381224B true CN111381224B (zh) 2022-02-22

Family

ID=71122761

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811645449.8A Active CN111381224B (zh) 2018-12-29 2018-12-29 激光数据校准方法、装置及移动终端

Country Status (2)

Country Link
US (1) US20200209365A1 (zh)
CN (1) CN111381224B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111965627B (zh) * 2020-08-18 2021-06-25 湖北亿咖通科技有限公司 一种车辆的多激光雷达标定方法
CN112180348B (zh) * 2020-11-27 2021-03-02 深兰人工智能(深圳)有限公司 车载多线激光雷达的姿态标定方法和装置
WO2023016392A1 (en) * 2021-08-09 2023-02-16 Zhejiang Huaray Technology Co., Ltd. Systems and methods for pose determination of a mobile subject

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5825464A (en) * 1997-01-03 1998-10-20 Lockheed Corp Calibration system and method for lidar systems
CN105866762A (zh) * 2016-02-26 2016-08-17 福州华鹰重工机械有限公司 激光雷达自动校准方法及装置
CN107167788A (zh) * 2017-03-21 2017-09-15 深圳市速腾聚创科技有限公司 获取激光雷达校准参数、激光雷达校准的方法及系统
DE102018102884A1 (de) * 2017-02-16 2018-08-16 GM Global Technology Operations LLC Lidar-radar-relative pose-kalibrierung

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6705060B1 (en) * 2000-10-24 2004-03-16 Applied Technology Group, Inc. Method and apparatus for wrapping a coil
JP2011067889A (ja) * 2009-09-25 2011-04-07 Ihi Corp キャリブレーション装置及びキャリブレーション方法
CN102368158B (zh) * 2011-09-15 2013-04-10 西北农林科技大学 一种果园机械导航定位方法
US9453907B2 (en) * 2012-08-15 2016-09-27 Digital Signal Corporation System and method for field calibrating video and lidar subsystems using facial features
US10564270B2 (en) * 2016-04-13 2020-02-18 Caterpillar Inc. Methods and systems for calibrating sensors
CN105806309B (zh) * 2016-04-19 2019-05-24 上海交通大学 基于激光三角测距的机器人零位标定系统与方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5825464A (en) * 1997-01-03 1998-10-20 Lockheed Corp Calibration system and method for lidar systems
CN105866762A (zh) * 2016-02-26 2016-08-17 福州华鹰重工机械有限公司 激光雷达自动校准方法及装置
DE102018102884A1 (de) * 2017-02-16 2018-08-16 GM Global Technology Operations LLC Lidar-radar-relative pose-kalibrierung
CN107167788A (zh) * 2017-03-21 2017-09-15 深圳市速腾聚创科技有限公司 获取激光雷达校准参数、激光雷达校准的方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Improving the intrinsic calibration of a Velodyne LiDAR sensor;Rene Bergelt et al.;《2017 IEEE SENSORS》;20171101;第1-3页 *
双二维激光雷达相对位姿的标定方法;陈健武 等;《中国激光》;20171031;第44卷(第10期);第1-9页 *

Also Published As

Publication number Publication date
US20200209365A1 (en) 2020-07-02
CN111381224A (zh) 2020-07-07

Similar Documents

Publication Publication Date Title
US11842438B2 (en) Method and terminal device for determining occluded area of virtual object
WO2020207190A1 (zh) 一种三维信息确定方法、三维信息确定装置及终端设备
CN111381224B (zh) 激光数据校准方法、装置及移动终端
CN109739223B (zh) 机器人避障控制方法、装置、终端设备及存储介质
US10782861B2 (en) Objects alignment and distribution layout
CN108965835B (zh) 一种图像处理方法、图像处理装置及终端设备
CN108737739B (zh) 一种预览画面采集方法、预览画面采集装置及电子设备
US9791971B2 (en) Registration of electronic displays
CN110288710B (zh) 一种三维地图的处理方法、处理装置及终端设备
JP2013513185A (ja) タッチパネル関心領域レポーティング方式
US20220319050A1 (en) Calibration method and apparatus, processor, electronic device, and storage medium
US20180211415A1 (en) Texture Modeling of Image Data
CN112068698A (zh) 一种交互方法、装置及电子设备、计算机存储介质
CN106131408A (zh) 一种图像处理方法及终端
CN113654765A (zh) 一种基于曲面屏的相位偏折测量方法、系统及终端
CN111142650B (zh) 一种屏幕亮度调节方法、屏幕亮度调节装置及终端
CN109873980B (zh) 视频监控方法、装置及终端设备
CN109718554B (zh) 一种实时渲染方法、装置及终端
WO2022205845A1 (zh) 位姿标定方法、装置、机器人及计算机可读存储介质
CN109444905B (zh) 一种基于激光的动态物体检测方法、装置及终端设备
CN107679222B (zh) 图片处理方法、移动终端及计算机可读存储介质
CN109582269B (zh) 物理拼接屏显示方法、装置及终端设备
WO2021092771A1 (zh) 一种目标检测方法及装置、设备、存储介质
CN111813984A (zh) 一种利用单应矩阵实现室内定位的方法、装置及电子设备
CN109165648B (zh) 一种图像处理方法、图像处理装置及移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant