CN108226906B - 一种标定方法、装置及计算机可读存储介质 - Google Patents
一种标定方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN108226906B CN108226906B CN201711223130.1A CN201711223130A CN108226906B CN 108226906 B CN108226906 B CN 108226906B CN 201711223130 A CN201711223130 A CN 201711223130A CN 108226906 B CN108226906 B CN 108226906B
- Authority
- CN
- China
- Prior art keywords
- laser radar
- video camera
- transformation matrix
- coordinate system
- scaling board
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种标定方法，包括以下步骤：获取毫米波雷达与激光雷达间的相对位置，计算毫米波雷达至激光雷达的第一变换矩阵，以得到所述第一变换矩阵对应的变量参数；对摄像机进行标定，以得到所述摄像机对应的标定参数；基于所述标定参数计算激光雷达至摄像机的第二变换矩阵，以完成激光雷达至摄像机的标定；基于所述第一变换矩阵、所述第二变换矩阵及所述变量参数确定最优函数，并求解最优函数，以完成毫米波雷达至激光雷达的精确标定。本发明还公开了一种标定装置及计算机可读存储介质。本发明实现了只使用一块标定板对摄像机、激光雷达、毫米波雷达的联合标定，提高了联合标定的精度，且该联合标定的方式适用范围广。
Description
技术领域
本发明涉及测量技术领域，尤其涉及一种标定方法、装置及计算机可读存储介质。
背景技术
标定一般分为各传感器自身参数的标定以及多传感器的联合标定。各传感器自身参数的标定是为了保证所采集数据的准确性，而多传感器的联合标定是为了多传感器数据的准确匹配，确保数据融合的准确性。
多传感器联合标定是自动驾驶车辆正确感知外部环境的前提之一，激光雷达、毫米波雷达与摄像机是自动驾驶车辆的主要传感器，而毫米波雷达与其他传感器的联合标定，一般通过精密测量、定制特殊的标定物或标定场景等方式实现，这种联合标定的方式标定精度差、适用范围窄。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种标定方法、装置及计算机可读存储介质，旨在解决多传感器联合标定方法中的标定精度差、适用范围窄的技术问题。
为实现上述目的，本发明提供一种标定方法，所述方法包括以下步骤：
获取毫米波雷达与激光雷达间的相对位置，计算毫米波雷达至激光雷达的第一变换矩阵，以得到所述第一变换矩阵对应的变量参数；
对摄像机进行标定，以得到所述摄像机对应的标定参数；
基于所述标定参数计算激光雷达至摄像机的第二变换矩阵，以完成激光雷达至摄像机的标定；
基于所述第一变换矩阵、所述第二变换矩阵及所述变量参数确定最优函数，并求解最优函数，以完成毫米波雷达至激光雷达的精确标定。
优选地，所述对摄像机进行标定，以得到所述摄像机对应的标定参数的步骤包括：
获取标定板的图像信息，确定标定板在图像坐标系的第一位置；
获取标定板在世界坐标系、像素坐标系及摄像机坐标系的第二位置；
基于所述第一位置及所述第二位置对摄像机进行标定，以得到摄像机的标定参数。
优选地，所述基于所述标定参数计算激光雷达至摄像机的第二变换矩阵，以完成激光雷达至摄像机的标定的步骤包括：
获取激光雷达检测到的数据；
基于所述数据确定所述标定板所在平面的平面参数；
基于所述标定参数及所述平面参数计算激光雷达至摄像机的第二变换矩阵，以完成激光雷达至摄像机的标定。
优选地，所述基于所述标定参数及所述平面参数计算激光雷达至摄像机的第二变换矩阵，以完成激光雷达至摄像机的标定的步骤包括：
基于所述标定参数确定标定板在摄像机坐标系的第一目标位置；
基于所述平面参数确定所述标定板在激光雷达坐标系的第二目标位置；
基于所述第一目标位置及所述第二目标位置计算第二变换矩阵，完成激光雷达至摄像机的标定。
优选地，所述基于所述标定参数计算激光雷达至摄像机的第二变换矩阵，以完成激光雷达至摄像机的标定的步骤之后，所述标定方法还包括：
获取毫米波雷达探测到的标定板的第三位置，并基于所述第一变换矩阵将所述第三位置变换至激光雷达坐标系下；
基于所述第二变换矩阵将所述第三位置投影到图像中。
优选地，所述基于所述第二变换矩阵将所述第二位置投影到图像中的步骤之后，所述标定方法还包括：
确定毫米波雷达检测到的标定板在图像中的投影点；
获取所述图像中标定板所在四边形区域的下边缘中心点，计算各个投影点与所述中心点的欧氏距离，并计算所述欧氏距离之和。
此外，为实现上述目的，本发明还提供一种标定装置，标定装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的标定程序，所述标定程序被所述处理器执行时实现上述任一项标定方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有标定程序，所述标定程序被处理器执行时实现上述任一项标定方法的步骤。
本发明通过获取毫米波雷达与激光雷达间的相对位置，计算毫米波雷达至激光雷达的第一变换矩阵，以得到所述第一变换矩阵对应的变量参数；对摄像机进行标定，以得到所述摄像机对应的标定参数；基于所述标定参数计算激光雷达至摄像机的第二变换矩阵，以完成激光雷达至摄像机的标定；基于所述第一变换矩阵、所述第二变换矩阵及所述变量参数确定最优函数，并求解最优函数，以完成毫米波雷达至激光雷达的精确标定。本发明还公开了一种标定装置及计算机可读存储介质。本发明实现了只使用一块标定板对摄像机、激光雷达、毫米波雷达的联合标定，提高了联合标定的精度，且该联合标定的方式适用范围广。
附图说明
图1是本发明实施例方案涉及的硬件运行环境中标定装置所属终端的结构示意图；
图2为本发明标定方法第一实施例的流程示意图；
图3为本发明标定方法第二实施例中所述对摄像机进行标定，以得到所述摄像机对应的标定参数步骤的细化流程示意图；
图4为本发明标定方法第三实施例中所述基于标定参数计算激光雷达至摄像机的第二变换矩阵，以完成激光雷达至摄像机的标定步骤的细化流程示意图；
图5为本发明标定方法第四实施例中所述基于所述标定参数及所述平面参数计算激光雷达至摄像机的第二变换矩阵，以完成激光雷达至摄像机的标定步骤的细化流程示意图；
图6为本发明标定方法第五实施例的流程示意图；
图7为本发明标定方法第六实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境中标定装置所属终端的结构示意图。
本发明实施例终端可以是PC。如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地，终端还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作服务器、网络通信模块、用户接口模块以及标定程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的标定程序。
在本实施例中，标定装置包括：存储器1005、处理器1001及存储在所述存储器1005上并可在所述处理器1001上运行的标定程序，其中，处理器1001调用存储器1005中存储的标定程序时，执行以下操作：
获取毫米波雷达与激光雷达间的相对位置，计算毫米波雷达至激光雷达的第一变换矩阵，以得到所述第一变换矩阵对应的变量参数；
对摄像机进行标定，以得到所述摄像机对应的标定参数；
基于所述标定参数计算激光雷达至摄像机的第二变换矩阵，以完成激光雷达至摄像机的标定；
基于所述第一变换矩阵、第二变换矩阵及所述变量参数确定最优函数，求解最优函数，以完成毫米波雷达至激光雷达的精确标定。
进一步地，处理器1001可以调用存储器1005中存储的标定程序，还执行以下操作：
获取标定板的图像信息，确定标定板在图像坐标系的第一位置；
获取标定板在世界坐标系、像素坐标系及摄像机坐标系的第二位置；
基于所述第一位置及第二位置对摄像机进行标定，以得到摄像机的标定参数。
进一步地，处理器1001可以调用存储器1005中存储的标定程序，还执行以下操作：
获取激光雷达检测到的数据；
基于所述数据确定所述标定板所在平面的平面参数；
基于所述标定参数及所述平面参数计算激光雷达至摄像机的第二变换矩阵，以完成激光雷达至摄像机的标定。
进一步地，处理器1001可以调用存储器1005中存储的标定程序，还执行以下操作：
基于所述标定参数确定标定板在摄像机坐标系的第一目标位置；
基于所述平面参数确定所述标定板在激光雷达坐标系的第二目标位置；
基于所述第一目标位置及所述第二目标位置计算第二变换矩阵，完成激光雷达至摄像机的标定。
进一步地，处理器1001可以调用存储器1005中存储的标定程序，还执行以下操作：
获取毫米波雷达探测到的标定板的第三位置，并基于所述第一变换矩阵将所述第三位置变换至激光雷达坐标系下；
基于所述第二变换矩阵将所述第三位置投影到图像中。
进一步地，处理器1001可以调用存储器1005中存储的标定程序，还执行以下操作：
确定毫米波雷达检测到的标定板在图像中的投影点；
获取所述图像中标定板所在四边形区域的下边缘中心点，计算各个投影点与所述中心点的欧氏距离，并计算所述欧氏距离之和。
本发明进一步提供一种标定方法。参照图2，图2为本发明数据处理方法第一实施例的流程示意图。
在本实施例中，该标定方法包括以下步骤：
步骤S10，获取毫米波雷达与激光雷达间的相对位置，计算毫米波雷达至激光雷达的第一变换矩阵，以得到所述第一变换矩阵对应的变量参数；
在本实施例中，在车辆前方三种传感器的共同感知范围内，将标定板以任意位姿摆放，同时采集摄像机、激光雷达、毫米波雷达的数据，重复进行若干次，其中标定板的摆放位置应涵盖车辆前方数米至数十米范围，确保该范围内不存在其他目标。首先测量毫米波雷达至激光雷达的相对位置，计算毫米波雷达至激光雷达的第一变换矩阵，实现毫米波雷达至激光雷达的粗略标定，然后对摄像机进行标定，根据摄像机的标定结果对摄像机与激光雷达进行联合标定，得到激光雷达至摄像机的变换矩阵，将毫米波雷达探测到的标定板的位置变换至激光雷达坐标系下，最后根据图像中确定的标定板的位置，激光雷达检测到的标定板点云投影到图像的位置，毫米波雷达检测的标定板点投影到图像的位置，根据位置差定义最优函数，以两个变换矩阵为待求解参数，求解最优问题。
进一步地，毫米波雷达与激光雷达的相对位置包括毫米波雷达与激光雷达的相对距离及相对角度，可以使用激光水平仪在地上打出激光线，计算激光雷达中心的激光线与表示毫米波雷达中心的激光线在各个方向的距离，该相对角度由安装精度进行控制，默认激光雷达与毫米波雷达在水平方向的坐标轴间的夹角是0度。该变量参数包括毫米波雷达至激光雷达的欧氏变换矩阵中的参数，例如，在X、Y、Z三个方向的平移量，以及绕X、Y、Z三个轴的旋转角。
步骤S20，对摄像机进行标定，以得到所述摄像机对应的标定参数；
在本实施例中，该标定参数包括摄像机的内部参数、外部参数及畸变参数，对摄像机进行标定包括对摄像机内部参数及畸变参数进行标定，该内部参数包括焦距、焦点，内部参数只和摄像机有关系，和具体的摄像场景，和世界坐标系没有关系。具体地，摄像机中的坐标系包括世界坐标系、摄像机坐标系、图像坐标系、像素坐标系，其中，世界坐标系是客观世界的绝对坐标，由用户任意定义的三维空间坐标系，摄像机坐标系以小孔摄像机模型的聚焦中心为原点，以摄像机光轴为形心轴建立的三维直角坐标系，图像坐标系的原点为透镜光轴与成像平面的交点，X轴与Y轴分别平行于摄像机坐标系的x轴与y轴，是平面直角坐标系，像素坐标系是固定在图像上的以像素为单位的平面直角坐标系，其原点位于图像左上角，像素坐标系中的X轴和Y轴平行于图像物理坐标系的X轴和Y轴，对于数字图像，分别为行列方向。
进一步地，根据标定板在世界坐标系的位置，获取标定板在世界坐标系的坐标，可以实现摄像机中的各个坐标系中的转换，得到摄像机坐标系到世界坐标系的旋转矩阵及平移矩阵，从而得到标定板在像素坐标系的坐标，最后根据标定板在像素坐标系的坐标及世界坐标系的坐标列方程组进行求解，得到摄像机的内部参数。
步骤S30，基于所述标定参数计算激光雷达至摄像机的第二变换矩阵，以完成激光雷达至摄像机的标定；
在本实施例中，根据对摄像机的标定结果可以确定标定板在摄像机坐标系下的位置，在激光雷达采集的数据中进行位置滤波和平面检测，可以确定标定板在激光雷达坐标系下的位置，则可以根据同一标定板在不同坐标系下的位置，该位置包括标定板在不同坐标系下的坐标，则可以解决最优问题，具体地，获取标定板在激光雷达坐标系下的坐标及标定板在摄像机坐标系的坐标，利用标定板在激光雷达坐标系下的坐标乘以一个待求解的变换矩阵，然后减去摄像机坐标系下的坐标，对这个函数求最小化，可实现激光雷达与摄像机的联合标定，得到激光雷达至摄像机的第二变换矩阵。
步骤S40，基于所述第一变换矩阵、所述第二变换矩阵及所述变量参数确定最优函数，并求解最优函数，以完成毫米波雷达至激光雷达的精确标定。
在本实施例中，根据毫米波雷达至激光雷达的粗略标定结果得到的第一变换矩阵，将毫米雷达检测到的标定板的位置变换到激光雷达坐标系下，再根据激光雷达至摄像机的标定结果得到的第二变换矩阵，将标定板的位置投影到图像中，确定毫米波雷达检测到的标定板在图像中的投影点，定位图像中标定板所在四边形区域的下边缘中心点，计算投影点与中心点的欧氏距离，由于摄像机、毫米波雷达、激光雷达采集到的是标定板不同位姿的数据，所以可以获取标定板在图像中不同位姿下的投影点，计算各组数据对应的欧氏距离之和，以毫米波雷达至激光雷达的欧氏变换的参数为变量，以第一变换矩阵为初值，以获得的欧氏距离之和为代价函数，根据位置差定义最优函数，求解最优问题，完成毫米波雷达至激光雷达的精确标定。
本实施例提出的标定方法，通过获取毫米波雷达与激光雷达间的相对位置，计算毫米波雷达至激光雷达的第一变换矩阵，以得到所述第一变换矩阵对应的变量参数，接着对摄像机进行标定，以得到所述摄像机对应的标定参数，然后基于所述标定参数计算激光雷达至摄像机的第二变换矩阵，以完成激光雷达至摄像机的标定，最后基于所述第一变换矩阵、所述第二变换矩阵及所述变量参数确定最优函数，并求解最优函数，以完成毫米波雷达至激光雷达的精确标定；实现了只使用一块标定板对摄像机、激光雷达、毫米波雷达的联合标定，提高了联合标定的精度，且该联合标定的方式适用范围广。
基于第一实施例，提出本发明标定方法的第二实施例，参照图3，本实施例中，步骤S20包括：
步骤S21，获取标定板的图像信息，确定标定板在图像坐标系的第一位置；
在本实施例中，该第一位置包括标定板不同位姿时在图像坐标系中的位置，对应图像坐标系中的多个坐标，获取摄像机采集到的标定板的图像信息，根据图像信息确定标定板在图像坐标系的第一位置，该图像坐标系的其原点为透镜光轴与成像平面的交点，X轴与Y轴分别平行于摄像机坐标系的x轴与y轴，是平面直角坐标系。
步骤S22，获取标定板在世界坐标系、像素坐标系及摄像机坐标系的第二位置；
在本实施例中，该第二位置包括标定板不同位姿时在世界坐标系、像素坐标系及摄像机坐标系的位置，包括多个位置，对应不同位姿时在世界坐标系、像素坐标系及摄像机坐标系中的多个坐标，该世界坐标系是客观世界的绝对坐标，由用户任意定义的三维空间坐标系，摄像机坐标系以小孔摄像机模型的聚焦中心为原点，以摄像机光轴为形心轴建立的三维直角坐标系，像素坐标系是固定在图像上的以像素为单位的平面直角坐标系，其原点位于图像左上角，像素坐标系中的X轴和Y轴平行于图像物理坐标系的X轴和Y轴，对于数字图像，分别为行列方向。
步骤S23，基于所述第一位置及所述第二位置对摄像机进行标定，以得到摄像机的标定参数。
在本实施例中，该标定参数包括摄像机的内部参数、外部参数及畸变参数，根据标定板在世界坐标系的位置，获取标定板在世界坐标系的坐标，可以实现摄像机中的各个坐标系中的转换，得到摄像机坐标系到世界坐标系的旋转矩阵及平移矩阵，最后得到标定板在像素坐标系的坐标，最后根据标定板在像素坐标系的坐标及世界坐标系的坐标列方程组进行求解，得到摄像机的内部参数。
本实施例提出的标定方法，通过获取标定板的图像信息，确定标定板在图像坐标系的第一位置，然后获取标定板在世界坐标系、像素坐标系及摄像机坐标系的第二位置，最后基于所述第一位置及所述第二位置对摄像机进行标定，以得到摄像机的标定参数；实现了获取标定板在各个坐标系的位置，从而快速对摄像机进行标定。
基于第二实施例，提出本发明标定方法的第三实施例，参照图4，本实施例中，步骤S30包括：
步骤S31，获取激光雷达检测到的数据；
在本实施例中，该数据是指激光雷达检测到的标定板在激光雷达坐标系的位置，激光雷达可以检测到标定板不同位姿时的数据，所以该数据可以包括多个数据。标定板在激光雷达和毫米波雷达的共同观测范围内，根据摄像机的标定结果，可以确定标定板在相机坐标系下的位置。
步骤S32，基于所述数据确定所述标定板所在平面的平面参数；
在本实施例中，在激光雷达采集的数据中进行位置滤波和平面检测，得到标定板所在平面的平面参数，该平面参数包括标定板所在平面的方向及与激光雷达坐标系的原点距离。
步骤S33，基于所述标定参数及所述平面参数计算激光雷达至摄像机的第二变换矩阵，以完成激光雷达至摄像机的标定。
在本实施例中，根据该平面参数确定标定板在激光雷达坐标系下的位置，则可以根据同一标定板在不同坐标系下的位置，该位置包括标定板在不同坐标系下的坐标，则可以解决最优问题，具体地，获取标定板在激光雷达坐标系下的坐标及标定板在摄像机坐标系的坐标，利用标定板在激光雷达坐标系下的坐标乘以一个待求解的变换矩阵，然后减去相机坐标系下的坐标，对这个函数求最小化，可实现激光雷达与摄像机的联合标定，得到激光雷达至摄像机的第二变换矩阵。
本实施例提出的标定方法，通过获取激光雷达检测到的数据，然后基于所述数据确定所述标定板所在平面的平面参数，最后基于所述标定参数及所述平面参数计算激光雷达至摄像机的第二变换矩阵，以完成激光雷达至摄像机的标定；实现了根据激光雷达检测到的数据及摄像机的标定参数快速对激光雷达至摄像机的进行标定。
基于第三实施例，提出本发明标定方法的第四实施例，参照图5，本实施例中，步骤S33包括：
步骤S331，基于所述标定参数确定标定板在摄像机坐标系的第一目标位置；
在本实施例中，该标定参数包括摄像机的内部参数、外部参数及畸变参数，对摄像机进行标定得到该标定参数，确定标定板在摄像机坐标系的第一目标位置。
步骤S332，基于所述平面参数确定所述标定板在激光雷达坐标系的第二目标位置；
在本实施例中，激光雷达采集的数据中进行位置滤波和平面检测，得到标定板所在平面的平面参数，根据该平面参数确定标定板在激光雷达坐标系下的位置。
步骤S333，基于所述第一目标位置及所述第二目标位置计算第二变换矩阵，完成激光雷达至摄像机的标定。
在本实施例中，可以根据同一标定板在不同坐标系下的位置，该位置包括标定板在不同坐标系下的坐标，则可以解决最优问题，具体地，获取标定板在激光雷达坐标系下的坐标及标定板在摄像机坐标系的坐标，利用标定板在激光雷达坐标系下的坐标乘以一个待求解的变换矩阵，然后减去相机坐标系下的坐标，对这个函数求最小化，可实现激光雷达与摄像机的联合标定，得到激光雷达至摄像机的第二变换矩阵。
本实施例提出的标定方法，通过基于所述标定参数确定标定板在摄像机坐标系的第一目标位置，然后基于所述平面参数确定所述标定板在激光雷达坐标系的第二目标位置，接着基于所述第一目标位置及所述第二目标位置计算第二变换矩阵，完成激光雷达至摄像机的标定；实现了根据同一标定板在摄像机坐标系与激光雷达坐标系的位置计算第二矩阵，从而快速完成激光雷达至摄像机的标定。
基于第四实施例，提出本发明标定方法的第五实施例，参照图6，本实施例中，步骤S30之后，还包括：
步骤S50，获取毫米波雷达探测到的标定板的第三位置，并基于所述第一变换矩阵将所述第三位置变换至激光雷达坐标系下；
在本实施例中，毫米波雷达能够检测到标定板在毫米波雷达坐标系的位置，在对激光雷达与毫米波雷达粗略表标定时得到的激光雷达至毫米波雷达的第一变换矩阵，则可以通过该第一变换矩阵将标定板在毫米波雷达坐标系的位置变换到激光雷达坐标系下。
步骤S60，基于所述第二变换矩阵将所述第三位置投影到图像中。
在本实施例中，第一变换矩阵为毫米波雷达至激光雷达的变换矩阵，根据第一变换矩阵能够将毫米波雷达检测到的标定板的位置转换至激光雷达坐标系下，第二变换矩阵为激光雷达至摄像机的变换矩阵，根据该变换矩阵能够将激光雷达坐标系检测到的标定板的位置转换至摄像机坐标系下，毫米波雷达检测到的是二维数据，激光雷达检测到的是三维数据，观测的数据维度不统一，所以将毫米波雷达检测到标定板的数据与激光雷达检测到标定板的数据都变换到图像中，进行维度统一，则能确定将激光雷达检测到的标定板的位置点云投影到图像中的位置，还能确定将毫米波雷达检测到的标定板点云投影到图像中的位置，及图像中通过物体检测算法确定的标定板的位置。
本实施例提出的标定方法，通过获取毫米波雷达探测到的标定板的第三位置，并基于所述第一变换矩阵将所述第三位置变换至激光雷达坐标系下，然后基于所述第二变换矩阵将所述第三位置投影到图像中；实现了将激光雷达及毫米波雷达检测到的标定板的位置都投影至图像，提高了标定的精度。
基于第五实施例，提出本发明标定方法的第六实施例，参照图6，本实施例中，步骤S60之后，还包括：
步骤S70，确定标定板在图像中的投影点；
在本实施例中，确定毫米波雷达检测到的标定板在图像中的投影点，根据毫米波雷达检测到的标定板在图像中的位置确定毫米波雷达检测到的标定板在图像中的投影点。
步骤S80，获取所述图像中标定板所在四边形区域的下边缘中心点，计算各个投影点与所述中心点的欧氏距离，并计算所述欧氏距离之和；
在本实施例中，当确定将毫米波雷达检测到的标定板点云投影到图像中的位置、将激光雷达检测到的标定板的位置点云投影到图像中的位置，及图像中通过物体检测算法确定的标定板的位置时，根据这些位置的位置差能够定义最优函数，以两个变换矩阵为待求解参数，求解最优问题，具体地，首先定位图像中标定板所在四边形区域的下边缘中心点，计算投影点与中心点的欧氏距离，计算所有数据的欧氏距离之和，以毫米波雷达至激光雷达欧氏变换的变换矩阵中参数为变量，以第一变换矩阵为初值，以获得的欧氏距离之和为代价函数，求解最优问题，完成毫米波雷达至激光雷达的精确标定。
本实施例提出的标定方法，通过确定毫米波雷达检测到的标定板在图像中的投影点，然后获取所述图像中标定板所在四边形区域的下边缘中心点，计算各个投影点与所述中心点的欧氏距离，并计算所述欧氏距离之和；实现了计算各个投影点的欧氏距离之和，从而能够准确对毫米波雷达至激光雷达进行标定，提高了标定的精确度。
本发明还提供一种计算机可读存储介质，在本实施例中，计算机可读存储介质上存储有标定程序，其中：
获取毫米波雷达与激光雷达间的相对位置，计算毫米波雷达至激光雷达的第一变换矩阵，以得到所述第一变换矩阵对应的变量参数；
对摄像机进行标定，以得到所述摄像机对应的标定参数；
基于所述标定参数计算激光雷达至摄像机的第二变换矩阵，以完成激光雷达至摄像机的标定；
基于所述第一变换矩阵、所述第二变换矩阵及所述变量参数确定最优函数，并求解最优函数，以完成毫米波雷达至激光雷达的精确标定。
进一步地，该标定程序被所述处理器执行时，还实现如下步骤：
获取标定板的图像信息，确定标定板在图像坐标系的第一位置；
获取标定板在世界坐标系、像素坐标系及摄像机坐标系的第二位置；
基于所述第一位置及所述第二位置对摄像机进行标定，以得到摄像机的标定参数。
进一步地，该标定程序被所述处理器执行时，还实现如下步骤：
获取激光雷达检测到的数据；
基于所述数据确定所述标定板所在平面的平面参数；
基于所述标定参数及所述平面参数计算激光雷达至摄像机的第二变换矩阵，以完成激光雷达至摄像机的标定。
进一步地，该标定程序被所述处理器执行时，还实现如下步骤：
基于所述标定参数确定标定板在摄像机坐标系的第一目标位置；
基于所述平面参数确定所述标定板在激光雷达坐标系的第二目标位置；
基于所述第一目标位置及所述第二目标位置计算第二变换矩阵，完成激光雷达至摄像机的标定。
进一步地，该标定程序被所述处理器执行时，还实现如下步骤：
获取毫米波雷达探测到的标定板的第三位置，并基于所述第一变换矩阵将所述第三位置变换至激光雷达坐标系下；
基于所述第二变换矩阵将所述第三位置投影到图像中。
进一步地，该标定程序被所述处理器执行时，还实现如下步骤：
确定毫米波雷达检测到的标定板在图像中的投影点；
获取所述图像中标定板所在四边形区域的下边缘中心点，计算各个投影点与所述中心点的欧氏距离，并计算所述欧氏距离之和。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (6)
1.一种标定方法，其特征在于，所述标定方法包括以下步骤：
获取毫米波雷达与激光雷达间的相对位置，计算毫米波雷达至激光雷达的第一变换矩阵，以得到所述第一变换矩阵对应的变量参数；
对摄像机进行标定，以得到所述摄像机对应的标定参数，包括：获取标定板的图像信息，确定标定板在图像坐标系的第一位置；获取标定板在世界坐标系、像素坐标系及摄像机坐标系的第二位置；基于所述第一位置及所述第二位置对摄像机进行标定，以得到摄像机的标定参数；
基于所述标定参数计算激光雷达至摄像机的第二变换矩阵，以完成激光雷达至摄像机的标定，包括：获取激光雷达检测到的数据；基于所述数据确定所述标定板所在平面的平面参数；基于所述标定参数及所述平面参数计算激光雷达至摄像机的第二变换矩阵，以完成激光雷达至摄像机的标定；
基于所述第一变换矩阵、所述第二变换矩阵及所述变量参数确定最优函数，并求解最优函数，以完成毫米波雷达至激光雷达的精确标定，包括：获取毫米波雷达探测到的标定板的第三位置，并基于所述第一变换矩阵将所述第三位置变换至激光雷达坐标系下；基于所述第二变换矩阵将所述第三位置投影到图像中；确定毫米波雷达检测到的标定板在图像中的投影点；获取所述图像中标定板所在四边形区域的下边缘中心点，计算各个投影点与所述中心点的欧氏距离，并计算所述欧氏距离之和；以毫米波雷达至激光雷达欧氏变换的变换矩阵中参数为变量，以第一变换矩阵为初值，以获得的欧氏距离之和为代价函数，求解最优问题。
2.如权利要求1所述的标定方法，其特征在于，所述变量参数包括平移量及旋转角。
3.如权利要求2所述的标定方法，其特征在于，所述标定参数包括摄像机内部参数、外部参数及畸变参数。
4.如权利要求3所述的标定方法，其特征在于，所述基于所述标定参数及所述平面参数计算激光雷达至摄像机的第二变换矩阵，以完成激光雷达至摄像机的标定的步骤包括：
基于所述标定参数确定标定板在摄像机坐标系的第一目标位置；
基于所述平面参数确定所述标定板在激光雷达坐标系的第二目标位置；
基于所述第一目标位置及所述第二目标位置计算第二变换矩阵，完成激光雷达至摄像机的标定。
5.一种标定装置，其特征在于，所述标定装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的标定程序，所述标定程序被所述处理器执行时实现如权利要求1至4中任一项所述的方法的步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有标定程序，所述标定程序被处理器执行时实现如权利要求1至4中任一项所述的标定方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711223130.1A CN108226906B (zh) | 2017-11-29 | 2017-11-29 | 一种标定方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711223130.1A CN108226906B (zh) | 2017-11-29 | 2017-11-29 | 一种标定方法、装置及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108226906A CN108226906A (zh) | 2018-06-29 |
| CN108226906B true CN108226906B (zh) | 2019-11-26 |
Family
ID=62653061
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711223130.1A Active CN108226906B (zh) | 2017-11-29 | 2017-11-29 | 一种标定方法、装置及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108226906B (zh) |
Families Citing this family (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109218562B (zh) | 2018-09-07 | 2021-04-27 | 百度在线网络技术（北京）有限公司 | 时钟同步方法、装置、设备、存储介质和车辆 |
| CN111208492B (zh) * | 2018-11-21 | 2022-04-19 | 长沙智能驾驶研究院有限公司 | 车载激光雷达外参标定方法及装置、计算机设备及存储介质 |
| CN109358338B (zh) * | 2018-11-23 | 2020-09-29 | 北京经纬恒润科技有限公司 | 一种车辆标定方法及系统 |
| CN109544648B (zh) * | 2018-11-30 | 2021-07-13 | 北京小马智行科技有限公司 | 一种标定方法及装置 |
| CN109598765B (zh) * | 2018-12-21 | 2023-01-03 | 浙江大学 | 基于球形标定物的单目相机与毫米波雷达外参联合标定方法 |
| CN109901123B (zh) * | 2018-12-24 | 2023-12-01 | 文远知行有限公司 | 传感器标定方法、装置、计算机设备和存储介质 |
| CN111360810A (zh) * | 2018-12-25 | 2020-07-03 | 深圳市优必选科技有限公司 | 机器人传感器的外参标定方法、装置、机器人及存储介质 |
| CN109741402B (zh) * | 2018-12-26 | 2023-04-07 | 上海交通大学 | 基于激光雷达的小重合视野多摄像机联合标定方法 |
| CN109975773B (zh) * | 2018-12-28 | 2023-09-29 | 文远知行有限公司 | 毫米波雷达标定方法、装置、设备和存储介质 |
| CN111771140A (zh) * | 2019-01-30 | 2020-10-13 | 深圳市大疆创新科技有限公司 | 一种探测装置外参数标定方法、数据处理装置和探测系统 |
| CN110021046B (zh) * | 2019-03-05 | 2021-11-19 | 中国科学院计算技术研究所 | 相机与激光雷达组合传感器的外参数标定方法及系统 |
| CN109712189B (zh) * | 2019-03-26 | 2019-06-18 | 深兰人工智能芯片研究院（江苏）有限公司 | 一种传感器联合标定的方法和装置 |
| CN109828250B (zh) * | 2019-03-28 | 2020-07-21 | 森思泰克河北科技有限公司 | 一种雷达标定方法、标定装置及终端设备 |
| CN111830470B (zh) * | 2019-04-16 | 2023-06-27 | 杭州海康威视数字技术股份有限公司 | 联合标定方法及装置、目标对象检测方法、系统及装置 |
| CN109932706B (zh) * | 2019-04-19 | 2022-11-29 | 青岛中科慧畅信息科技有限公司 | 一种无人装卸物流装备系统激光雷达标定系统及标定方法 |
| CN110148174A (zh) * | 2019-05-23 | 2019-08-20 | 北京阿丘机器人科技有限公司 | 标定板、标定板识别方法及装置 |
| CN110390695B (zh) * | 2019-06-28 | 2023-05-23 | 东南大学 | 一种基于ros的激光雷达、摄像头的融合标定系统及标定方法 |
| CN110310339B (zh) * | 2019-07-04 | 2021-05-04 | 厦门金龙联合汽车工业有限公司 | 一种标定装置及一种雷达与摄像头联合标定方法及系统 |
| CN110579764B (zh) * | 2019-08-08 | 2021-03-09 | 北京三快在线科技有限公司 | 深度相机和毫米波雷达的配准方法、装置、电子设备 |
| CN112414444B (zh) * | 2019-08-22 | 2023-05-30 | 阿里巴巴集团控股有限公司 | 一种数据标定方法、计算机设备、存储介质 |
| CN112823294B (zh) * | 2019-09-18 | 2024-02-02 | 北京航迹科技有限公司 | 用于标定相机和多线激光雷达的系统和方法 |
| CN110673115B (zh) * | 2019-09-25 | 2021-11-23 | 杭州飞步科技有限公司 | 雷达与组合导航系统的联合标定方法、装置、设备及介质 |
| CN112578363B (zh) * | 2019-09-30 | 2022-08-19 | 上海禾赛科技有限公司 | 激光雷达运动轨迹获取方法及装置、介质 |
| CN111028494B (zh) * | 2019-11-04 | 2021-01-29 | 珠海格力电器股份有限公司 | 一种电器设备的虚拟遥控方法、计算机可读存储介质及智能家电 |
| CN111077506B (zh) * | 2019-12-12 | 2022-04-19 | 苏州智加科技有限公司 | 对毫米波雷达进行标定的方法、装置及系统 |
| CN113702962A (zh) * | 2020-05-22 | 2021-11-26 | 云米互联科技(广东)有限公司 | 实时定位方法、云端服务器、实时定位系统和存储介质 |
| CN112083441B (zh) * | 2020-09-10 | 2023-04-21 | 湖南大学 | 激光雷达和毫米波雷达深度融合的障碍物检测方法及系统 |
| CN112556703B (zh) * | 2020-12-01 | 2023-06-06 | 北京罗克维尔斯科技有限公司 | 更新高精地图的方法、装置及系统 |
| CN112446926B (zh) * | 2020-12-14 | 2024-08-23 | 北京易达恩能科技有限公司 | 一种激光雷达与多目鱼眼相机的相对位置标定方法及装置 |
| CN112684424B (zh) * | 2020-12-30 | 2022-08-16 | 同济大学 | 一种毫米波雷达与相机的自动标定方法 |
| CN112836737A (zh) * | 2021-01-29 | 2021-05-25 | 同济大学 | 一种基于车路数据融合的路侧组合感知设备在线标定方法 |
| CN112509067B (zh) * | 2021-02-02 | 2021-04-27 | 中智行科技有限公司 | 多传感器联合标定方法、装置、电子设备和存储介质 |
| CN112986942B (zh) * | 2021-02-22 | 2024-08-02 | 浙江大华技术股份有限公司 | 边界探测方法、边界探测系统、电子设备和存储介质 |
| CN113702927A (zh) * | 2021-08-02 | 2021-11-26 | 中汽创智科技有限公司 | 一种车辆传感器标定方法、装置及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101025824A (zh) * | 2007-03-30 | 2007-08-29 | 东南大学 | 三维扫描系统中的基于固定参数与可变参数的标定方法 |
| DE102011112243A1 (de) * | 2011-09-01 | 2012-05-24 | Daimler Ag | Verfahren und Vorrichtung zur Kalibrierung einer Sensorvorrichtung |
| CN102508246A (zh) * | 2011-10-13 | 2012-06-20 | 吉林大学 | 车辆前方障碍物检测跟踪方法 |
| CN103065323A (zh) * | 2013-01-14 | 2013-04-24 | 北京理工大学 | 一种基于单应性变换矩阵的分段空间对准方法 |
| CN105678783A (zh) * | 2016-01-25 | 2016-06-15 | 西安科技大学 | 折反射全景相机与激光雷达数据融合标定方法 |
| CN106228537A (zh) * | 2016-07-12 | 2016-12-14 | 北京理工大学 | 一种三维激光雷达与单目摄像机的联合标定方法 |
| CN106556825A (zh) * | 2015-09-29 | 2017-04-05 | 北京自动化控制设备研究所 | 一种全景视觉成像系统的联合标定方法 |
| CN106646474A (zh) * | 2016-12-22 | 2017-05-10 | 中国兵器装备集团自动化研究所 | 一种非结构化道路凹凸障碍物检测装置 |
| CN106951879A (zh) * | 2017-03-29 | 2017-07-14 | 重庆大学 | 基于摄像头与毫米波雷达的多特征融合车辆检测方法 |
-
2017
- 2017-11-29 CN CN201711223130.1A patent/CN108226906B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101025824A (zh) * | 2007-03-30 | 2007-08-29 | 东南大学 | 三维扫描系统中的基于固定参数与可变参数的标定方法 |
| DE102011112243A1 (de) * | 2011-09-01 | 2012-05-24 | Daimler Ag | Verfahren und Vorrichtung zur Kalibrierung einer Sensorvorrichtung |
| CN102508246A (zh) * | 2011-10-13 | 2012-06-20 | 吉林大学 | 车辆前方障碍物检测跟踪方法 |
| CN103065323A (zh) * | 2013-01-14 | 2013-04-24 | 北京理工大学 | 一种基于单应性变换矩阵的分段空间对准方法 |
| CN106556825A (zh) * | 2015-09-29 | 2017-04-05 | 北京自动化控制设备研究所 | 一种全景视觉成像系统的联合标定方法 |
| CN105678783A (zh) * | 2016-01-25 | 2016-06-15 | 西安科技大学 | 折反射全景相机与激光雷达数据融合标定方法 |
| CN106228537A (zh) * | 2016-07-12 | 2016-12-14 | 北京理工大学 | 一种三维激光雷达与单目摄像机的联合标定方法 |
| CN106646474A (zh) * | 2016-12-22 | 2017-05-10 | 中国兵器装备集团自动化研究所 | 一种非结构化道路凹凸障碍物检测装置 |
| CN106951879A (zh) * | 2017-03-29 | 2017-07-14 | 重庆大学 | 基于摄像头与毫米波雷达的多特征融合车辆检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| "一种毫米波雷达和摄像头联合标定方法";罗逍等;《清华大学学报（自然科学版）》;20140331;第54卷(第3期);全文 * |
| "碰撞预判系统中车辆的图像雷达联合识别方法";姚远;《中国优秀硕士学位论文全文数据库 工程科技II辑》;20140715;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108226906A (zh) | 2018-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108226906B (zh) | 一种标定方法、装置及计算机可读存储介质 | |
| CN108765498B (zh) | 单目视觉跟踪方法、装置及存储介质 | |
| CN112270718B (zh) | 摄像头标定方法、装置、系统及存储介质 | |
| KR101533320B1 (ko) | 포인터가 불필요한 3차원 객체 정보 획득 장치 | |
| CN111028358B (zh) | 室内环境的增强现实显示方法、装置及终端设备 | |
| CN108734654A (zh) | 绘图与定位方法、系统及计算机可读存储介质 | |
| US9683833B2 (en) | Surveying apparatus having a range camera | |
| CN110988849A (zh) | 雷达系统的标定方法、装置、电子设备及存储介质 | |
| US11694361B2 (en) | Camera auto-calibration system | |
| CN112150560B (zh) | 确定消失点的方法、装置及计算机存储介质 | |
| CN108344401A (zh) | 定位方法、装置及计算机可读存储介质 | |
| CN114578329A (zh) | 多传感器联合标定方法、设备、存储介质及程序产品 | |
| US11514608B2 (en) | Fisheye camera calibration system, method and electronic device | |
| CN107193820B (zh) | 位置信息获取方法、装置及设备 | |
| CN108052869B (zh) | 车道线识别方法、装置及计算机可读存储介质 | |
| CN115953483A (zh) | 一种参数标定方法、装置、计算机设备及存储介质 | |
| CN116095473A (zh) | 镜头自动对焦方法、装置、电子设备和计算机存储介质 | |
| KR20160096966A (ko) | 주변 상황 정보를 통지하기 위한 방법, 전자 장치 및 저장 매체 | |
| KR20160146567A (ko) | 가변적으로 빠르게 움직이는 객체를 검출하는 방법 및 장치 | |
| CN113870213A (zh) | 图像显示方法、装置、存储介质以及电子设备 | |
| CN103176349B (zh) | 镜头检测装置及方法 | |
| KR20220058846A (ko) | 로봇 포지셔닝 방법 및 장치, 기기, 저장 매체 | |
| CN117128870A (zh) | 一种基于图像信息融合的结构动态位移测量方法和电子设备 | |
| KR20150096127A (ko) | 사진에 촬영된 지점의 위치를 계산하는 방법 및 장치 | |
| CN109323691A (zh) | 一种定位系统以及定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A calibration method, device and computer readable storage medium Effective date of registration: 20210520 Granted publication date: 20191126 Pledgee: Shenzhen Longgang sub branch of Agricultural Bank of China Ltd. Pledgor: SHENZHEN ECHIEV AUTONOMOUS DRIVING TECHNOLOGY Co.,Ltd. Registration number: Y2021980003808 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20220607 Granted publication date: 20191126 Pledgee: Shenzhen Longgang sub branch of Agricultural Bank of China Ltd. Pledgor: SHENZHEN ECHIEV AUTONOMOUS DRIVING TECHNOLOGY Co.,Ltd. Registration number: Y2021980003808 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right |