CN112106111A - 一种标定方法、设备、可移动平台及存储介质 - Google Patents

一种标定方法、设备、可移动平台及存储介质 Download PDF

Info

Publication number
CN112106111A
CN112106111A CN201980030471.8A CN201980030471A CN112106111A CN 112106111 A CN112106111 A CN 112106111A CN 201980030471 A CN201980030471 A CN 201980030471A CN 112106111 A CN112106111 A CN 112106111A
Authority
CN
China
Prior art keywords
point cloud
cloud data
determining
projected
dimensional space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980030471.8A
Other languages
English (en)
Inventor
李威
刘天博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhuoyu Technology Co ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN112106111A publication Critical patent/CN112106111A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明实施例提供了一种标定方法、设备、可移动平台及存储介质，其中，该方法包括：(S201)获取激光扫描装置采集的可移动平台周围环境的第一点云数据以及相机采集的图像数据；(S202)根据第一点云数据确定第二点云数据，所述第二点云数据用于指示无效的点云数据和/或不连续的点云数据；(S203)将第二点云数据投影至相机坐标系下的三维栅格空间，得到投影三维空间；(S204)当投影三维空间中的每个栅格区域满足预设条件时，将投影三维空间投影至相机采集的图像数据上，并获取投影三维空间投影到图像数据上的最优位置，从而实现了无特定标志物时对可移动平台周围环境进行标定，提高了标定精度。

Description

一种标定方法、设备、可移动平台及存储介质
技术领域
本发明涉及控制技术领域，尤其涉及一种标定方法、设备、可移动平台及存储介质。
背景技术
目前，激光雷达和相机之间的标定方法主要包括有目标和无目标的外参标定。通常有目标的外参标定方法依赖于特定的标志物如标定板或者标签，且外参标定过程大多是离线的。这类方法可以在依赖特定的标志物的情况下实现较高精度的外参标定，且标定结果一致性较好。
然而，上述外参标定方法需要特定的标志物，标定过程较为繁琐，适用场景有限，不适合在室外进行标定，并且需要比较稠密的点云数据，因此对设备本身的性能要求较高。因此，如何实现在没有特定标志物时提高标定精度和标定结果的一致性成为研究的重点。
发明内容
本发明实施例提供了一种标定方法、设备、可移动平台及存储介质，实现了在没有特定标志物时对可移动平台周围环境的标定，提高了标定精度。
第一方面，本发明实施例提供了一种标定方法，应用于可移动平台，所述可移动平台上设置了激光扫描装置和相机，所述方法包括：
获取激光扫描装置采集的所述可移动平台周围环境的第一点云数据以及相机采集的图像数据；
根据所述第一点云数据确定第二点云数据，所述第二点云数据用于指示无效的点云数据和/或不连续的点云数据；
将所述第二点云数据投影至相机坐标系下的三维栅格空间，得到投影三维空间；
当所述投影三维空间中的每个栅格区域满足预设条件时，将所述投影三维空间投影至所述相机采集的图像数据上，并获取所述投影三维空间投影到所述图像数据上的最优位置。
第二方面，本发明实施例提供了一种标定设备，包括存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于调用所述程序，当所述程序被执行时，用于执行以下操作：
获取激光扫描装置采集的所述可移动平台周围环境的第一点云数据以及相机采集的图像数据；
根据所述第一点云数据确定第二点云数据，所述第二点云数据用于指示无效的点云数据和/或不连续的点云数据；
将所述第二点云数据投影至相机坐标系下的三维栅格空间，得到投影三维空间；
当所述投影三维空间中的每个栅格区域满足预设条件时，将所述投影三维空间投影至所述相机采集的图像数据上，并获取所述投影三维空间投影到所述图像数据上的最优位置。
第三方面，本发明实施例提供了一种可移动平台，所述可移动平台包括：
机身；
配置在机身上的动力系统，用于为所述可移动平台提供移动的动力；
如上述第二方面所述的标定设备。
第四方面，本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面所述的方法。
本发明实施例中，标定设备通过获取激光扫描装置采集的可移动平台周围环境的第一点云数据以及相机采集的图像数据，并根据所述第一点云数据确定第二点云数据，以及将所述第二点云数据投影至相机坐标系下的三维栅格空间，得到投影三维空间，当所述投影三维空间中的每个栅格区域满足预设条件时，将所述投影三维空间投影至所述图像数据上，并获取所述投影三维空间投影到所述图像数据上的最优位置，从而实现了在没有特定标志物时对可移动平台周围环境进行标定，提高了标定精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种标定系统的结构示意图；
图2是本发明实施例提供的一种标定方法的流程示意图；
图3是本发明实施例提供的一种三维栅格空间的示意图；
图4是本发明实施例提供的一种不连续点云的示意图；
图5是本发明实施例提供的一种离线标定方法的流程示意图；
图6是本发明实施例提供的一种在线标定方法的流程示意图；
图7是本发明实施例提供的一种标定设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
本发明实施例中提供的标定方法可以由一种标定系统执行，具体的，可以由标定系统中的标定设备执行。其中，所述标定系统包括标定设备和可移动平台。在某些实施例中，所述标定设备可以安装在可移动平台上；在某些实施例中，所述标定设备可以在空间上独立于可移动平台；在某些实施例中，所述标定设备可以是可移动平台的部件，即所述可移动平台包括标定设备。在其他实施例中，所述标定方法还可以应用于其他可移动设备上，如能够自主移动的机器人、无人车、无人船等可移动设备。
所述标定系统中标定设备可以获取激光扫描装置采集的可移动平台所处周围环境对应的第一点云数据以及相机采集的图像数据；在某些实施例中，所述激光扫描装置和所述相机分别与所述可移动平台可拆卸连接，在其他实施例中，所述激光扫描装置和所述相机也可以固定设置在可移动平台，在此不作限定。进一步地，在某些实施例中，所述激光扫描装置包括激光雷达、毫米波雷达、超声波雷达中的任意一种或多种；在某些实施例中，所述第一点云数据可以是通过激光雷达采集得到，也可以是通过可移动平台上的毫米波雷达、超声波雷达等获取得到，本发明实施例不做具体限定。
所述激光雷达是一种感知传感器，可以获得场景的三维信息。其基本原理为主动对被探测对象发射激光脉冲信号，并获得其反射回来的脉冲信号，根据发射信号和接收信号之间的时间差计算被测对象的距离探测器的深度信息；基于激光雷达的已知发射方向，获得被测对象相对激光雷达的角度信息；结合前述深度和角度信息得到海量的探测点(称为点云)，基于点云即可以重建被测对象相对激光雷达的空间三维信息。
本发明提供了一种不依赖特定标志物在自然场景下的激光雷达和相机标定方法，也提供了在线检测标定结果并矫正的方案。通过点云在空间中分布的多样性，采集足够的数据，并利用多种点云特征和图像信息进行匹配得到标定精度更高的标定结果。在某些实施例中，本方案可以离线对相机和激光雷达进行标定；在某些实施例中，本方案也可以在线对相机和激光雷达进行标定，并检测激光雷达和相机之间的标定误差，以对该标定误差进行校正，提高标定精度。
下面结合附图1对本发明实施例提供的标定系统进行示意性说明。
请参见图1，图1是本发明实施例提供的一种标定系统的结构示意图。所述标定系统包括：标定设备11、可移动平台12。其中，可移动平台12和标定设备11之间可以通过无线通信连接方式建立通信连接。其中，在某些场景下，所述可移动平台12和标定设备11之间也可以通过有线通信连接方式建立通信连接。所述可移动平台12可以为无人车、无人船、可移动机器人等可移动设备。所述可移动平台12包括动力系统121，所述动力系统121用于为可移动平台12提供移动的动力。在其他实施例中，可移动平台12和标定设备11彼此独立，例如标定设备11设置在云端服务器中，通过无线通信连接方式与可移动平台12建立通信连接。
本发明实施例中，所述标定设备可以获取激光扫描装置采集的所述可移动平台周围环境的第一点云数据以及相机采集的图像数据，并根据所述第一点云数据确定第二点云数据，所述第二点云数据用于指示无效的点云数据和/或不连续的点云数据。所述标定设备可以将所述第二点云数据投影至相机坐标系下的三维栅格空间，得到投影三维空间，当所述投影三维空间中的每个栅格区域满足预设条件时，将所述投影三维空间投影至所述相机采集的图像数据上，从而获取所述投影三维空间投影到所述图像数据上的最优位置，以实现不依赖标定物的标定方法，并提高了标定结果的一致性。
下面结合附图对本发明实施例提供的标定方法进行示意性说明。
具体请参见图2，图2是本发明实施例提供的一种标定方法的流程示意图，所述方法可以由标定设备执行，其中，标定设备的具体解释如前所述。具体地，本发明实施例的所述方法包括如下步骤。
S201：获取激光扫描装置采集的可移动平台周围环境的第一点云数据以及相机采集的图像数据。
本发明实施例中，标定设备可以获取激光扫描装置采集的所述可移动平台周围环境的第一点云数据以及相机采集的图像数据。
在一些实施例中，所述激光扫描装置包括激光雷达、毫米波雷达、超声波雷达中的任意一种或多种。
在一些实施例中，所述相机可以挂载在可移动平台上。在某些实施例中，所述相机还可以独立于可移动平台，安装于所述可移动平台所处环境当中。在某些实施例中，所述相机的摄像头包括但不限于双目摄像头、单目摄像头，TOF摄像头等摄像装置。
在一些实施例中，所述标定设备可以基于预设转换矩阵将所述第一点云数据转换到相机坐标系中，得到所述可移动平台所处周围环境对应的相机坐标系下的第一点云数据；其中，所述预设转换矩阵包括内参矩阵和外参矩阵，所述外参矩阵包括旋转矩阵和/或平移向量。在某些实施例中，当所述相机坐标系的原点设定在所述可移动平台上时，所述外参矩阵只包括旋转矩阵。
在某些实施例中，所述内参矩阵是根据多个内参数确定得到，所述内参数可以是相机的参数，如焦距、像主点坐标等。在某些实施例中，所述外参矩阵可以是相机和激光扫描装置标定得到的参数，例如可以包括旋转矩阵和/或平移向量，其中，所述旋转矩阵可以通过相机的姿态确定得到的，所述平移向量可以通过相机的定位信息确定得到。
在一个实施例中，所述标定设备可以在所述可移动平台的移动速度小于预设速度阈值时，此时可以确定所述可移动平台处于离线低速状态，并获取激光扫描装置采集的所述可移动平台处于离线低速状态时周围环境的第一点云数据以及相机采集的图像数据，以实现离线标定。通过离线标定可以快速一次性收集足够多的标定数据，减少运动对标定精度的影响，提高标定精度。
在一个实施例中，所述标定设备在获取激光扫描装置采集的所述可移动平台处于离线低速状态时周围环境的第一点云数据之前，可以建立一个相对于相机坐标系的三维栅格空间。所述标定设备在获取激光扫描装置采集的所述可移动平台处于离线低速状态时周围环境的第一点云数据之后，可以通过外参将所述第一点云数据投影到如图3所示的相机坐标系下的三维栅格空间，图3是本发明实施例提供的一种三维栅格空间的示意图。当所述三维点云空间中的第一点云数据的数量大于预设数量阈值时，确定离线低速采集到了足够多的点云数据，并执行步骤S202。
在一个实施例中，所述标定设备可以在所述可移动平台的移动速度大于或等于所述预设速度阈值时，确定所述可移动平台处于运动状态，并获取激光扫描装置采集的所述可移动平台处于运动状态时周围环境的第一点云数据以及相机采集的图像数据，以实现在线误差检测。通过在线误差检测会在可移动平台的运动过程中，持续采集符合一定场景要求的标定数据，并检测当前标定是否最优，如果持续发现有更优的标定结果，则会对当前的标定效果进行更新，从而确保标定结果的一致性。
S202：根据所述第一点云数据确定第二点云数据，所述第二点云数据用于指示无效的点云数据和/或不连续的点云数据。
本发明实施例中，标定设备可以根据所述第一点云数据确定第二点云数据，所述第二点云数据用于指示无效的点云数据和/或不连续的点云数据。
在一个实施例中，所述第二点云数据用于指示不连续的点云数据。具体地，所述标定设备在根据所述第一点云数据确定第二点云数据时，可以确定所述第一点云数据中相邻两个所述第一点云数据之间的距离，并根据所述相邻两个所述第一点云数据之间的距离，确定不连续的第二点云数据。
在一个实施例中，所述标定设备在根据所述相邻两个所述第一点云数据之间的距离，确定不连续的第二点云数据时，可以确定所述相邻两个所述第一点云数据之间的距离是否大于第一预设阈值，当确定出所述相邻两个所述第一点云数据之间的距离大于第一预设阈值时，确定所述相邻两个所述第一点云数据为不连续的第二点云数据。
具体实施例中，由于激光雷达的工作特性，激光雷达采集的数据是连续的，如果前后两个点云数据的距离发生了较大的变化，说明这是一个深度跳变的地方，属于不连续的点云数据。例如，可以根据两个点云数据的深度信息，通过合适的算法得到两个点云之间的距离。
具体可以图4为例进行举例说明，图4是本发明实施例提供的一种不连续点云的示意图。如图4所述，相邻两个第一点云数据点云41和点云42，如果确定出所述点云41和点云42之间的距离大于第一预设阈值时，则可以确定所述点云41和点云42为不连续的第二点云数据。例如，该第一预设阈值可以为一定值。
在另一个实施例中，还可以获取第一点云数据和原点之间的距离，进而通过第一点云数据和原点之间的距离、以及相邻两个第一点云数据之间的距离，确定该相邻的两个点云数据是否为不连续的第二点云数据。具体地，可以确定与原点之间的距离大于预设值的第一点云数据，并从所述与原点之间的距离大于预设值的第一点云数据中，确定相邻两个所述第一点云数据之间的距离是否大于预设距离阈值。当相邻两个第一点云数据之间的距离大于预设距离阈值时，确定该相邻两个第一点云数据为不连续的第二点云数据。在某些实施例中，由于受到发散角的影响，可以将距离原点大于预设值的相邻两个第一点云数据之间的距离设为预设距离阈值。在一种实施方式中，该预设距离阈值可以为与原点的距离相关的函数，例如，当距离原点越远，该预设距离阈值逐渐增大，当距离原点越近，该预设距离阈值逐渐减小。如此，可以补偿发散角所引起的误差，减小误检的概率，提高标定精度。
在一个实施例中，所述第二点云数据用于指示无效的点云数据。具体地，所述标定设备在根据所述第一点云数据确定第二点云数据时，可以确定所述第一点云数据中是否存在深度信息，并根据所述深度信息确定所述第一点云数据中为无效的所述第二点云数据。通过这种实施方式可以在没有雷达回波的场景下确定出无效的点云数据。在某些实施例中，所述没有雷达回波的场景包括背景为天空、水域等。
在一个实施例中，所述标定设备在根据所述深度信息确定所述第二点云数据时，可以从所述第一点云数据中确定不存在深度信息的所述第一点云数据为无效的所述第二点云数据。
例如，假设相机和激光雷达采集第一点云数据的背景为天空，由于激光雷达是主动对被探测对象发射激光脉冲信号，来获得其反射回来的脉冲信号，当激光雷达采集第一点云数据的背景为天空时，天空中没有被探测对象，因此激光雷达接收不到被探测对象返回的脉冲信号，从而获取不到第一点云数据的深度信息，因此如果获取到的第一点云数据不存在深度信息，则可以确定该第一点云数据为无效的第二点云数据。
在一个实施例中，所述标定设备在根据所述深度信息确定所述第二点云数据时，可以获取所述第一点云数据的深度信息的变化值，当所述第一点云数据的深度信息的变化值大于第二预设阈值时，确定所述大于第二预设阈值对应的所述第一点云数据为无效的所述第二点云数据。
例如，假设相机和激光雷达采集第一点云数据的背景为诸如栅栏、草丛等场景时，由于激光雷达穿过诸如栅栏、草丛等时会获取到大量波动较大的深度信息，此类深度信息为无效的点云数据。当激光雷达穿过诸如栅栏、草丛等时获取到许多第一点云数据，如果获取到的多个第一点云数据的深度信息的变化值均大于第二预设阈值，此时，获取到的多个第一点云数据的深度信息波动较大，则可以确定该第一点云数据为无效的第二点云数据。
在另一种实施例中，所述第二点云数据用于指示无效的点云数据和不连续的点云数据，具体地，所述标定设备在根据所述第一点云数据确定第二点云数据中的无效的点云数据和不连续的点云数据的方法如上所述，在此不再赘述。
在一个实施例中，所述标定设备在根据所述第一点云数据确定第二点云数据之前，可以将获取到的当前帧的第一点云数据与已经获取到的所述第一点云数据进行匹配，并确定所述当前帧的第一点云数据的空间分布与所述已经获取到的所述第一点云数据的空间分布的相似度。如果所述相似度大于预设相似度阈值，则所述标定设备可以删除所述当前帧的第一点云数据；如果所述相似度小于或等于所述预设相似度阈值，则可以确定将所述当前帧的第一点云数据加入已经获取到的所述第一点云数据。
可见，通过这种实施方式，可以避免重复场景的数据被反复检测出来，从而可以减小无效点云数据的数据量，提高计算效率。对于每一帧检测出来的第一点云数据会和已经获取到的第一点云数据进行比较，如果空间分布比较相似，则将该帧的第一点云数据删除，从而确保挑选出来的每一帧的第一点云数据能够尽可能覆盖不同的场景。
S203：将所述第二点云数据投影至相机坐标系下的三维栅格空间，得到投影三维空间。
本发明实施例中，标定设备可以将所述第二点云数据投影至相机坐标系下的三维栅格空间，得到投影三维空间。
在一个实施例中，所述标定设备在将所述第二点云数据投影至相机坐标系下的三维栅格空间，得到投影三维空间时，可以确定所述激光扫描装置和相机之间的相对位置信息，并根据所述相对位置信息将所述第二点云数据投影至相机坐标系下的三维栅格空间，得到投影三维空间。
在一个实施例中，所述标定设备在根据所述相对位置信息将所述第二点云数据投影至相机坐标系下的三维栅格空间，得到投影三维空间之前，可以确定所述第二点云数据与所述三维栅格空间中已存在的点云数据的空间分布相似度，并删除所述空间分布相似度大于预设相似度阈值的第二点云数据。如此，可以预先删除冗余的点云数据，提高运算效率。
在一个实施例中，所述标定设备在根据所述相对位置信息将所述第二点云数据投影至相机坐标系下的三维栅格空间，得到投影三维空间时，可以根据所述相对位置信息将所述删除后的第二点云数据投影至相机坐标系下的三维栅格空间，得到投影三维空间。
在一个实施例中，所述标定设备在确定所述第二点云数据与所述三维栅格空间中已存在的点云数据的空间分布相似度时，可以确定所述第二点云数据的位置信息以及所述三维栅格空间中已存在的点云数据的位置信息，并根据所述第二点云数据的位置信息与所述三维栅格空间中已存在的点云数据的位置信息，确定所述第二点云数据与所述三维栅格空间中已存在的点云数据的空间分布相似度。
在一个实施例中，所述标定设备将所述第二点云数据投影至相机坐标系下的三维栅格空间之前，可以确定所述相机的视角是否小于所述激光扫描装置的视角，当确定所述相机的视角小于所述激光扫描装置的视角时，可以执行所述将所述第二点云数据投影至相机坐标系下的三维栅格空间的步骤。
可以理解，在一种实施例中，也可以将步骤S202和步骤S203的先后顺序进行调换，例如，可以先把点云数据投影到相机的三维栅格空间，然后根据所述第一点云数据确定第二点云数据，所述第二点云数据用于指示无效的点云数据和/或不连续的点云数据，此处仅为示例性说明，在此不作限定。
S204：当所述投影三维空间中的每个栅格区域满足预设条件时，将所述投影三维空间投影至所述相机采集的图像数据上，并获取所述投影三维空间投影到所述图像数据上的最优位置。
本发明实施例中，当所述投影三维空间中的每个栅格区域满足预设条件时，标定设备可以将所述投影三维空间投影至所述相机采集的图像数据上，并获取所述投影三维空间投影到所述图像数据上的最优位置。具体地，在该最优位置上，该投影三维空间与该图像数据位置匹配最优。
在某些实施例中，所述满足预设条件，包括所述投影三维空间中的每个栅格区域中的第二点云数据的数量大于预设数量阈值。
在一个实施例中，所述标定设备在将所述投影三维空间投影至所述相机采集的图像数据上，并获取所述投影三维空间投影到所述图像数据上的最优位置时，可以根据所述相机采集的图像数据，确定与所述图像数据对应的梯度图像，并将所述投影三维空间的第二点云数据投影至所述梯度图像。当确定所述投影三维空间的第二点云数据投影至所述梯度图像，所述投影三维空间的第二点云数据与所述梯度图像完全融合时，所述标定设备可以确定所述投影三维空间投影到所述图像数据上的最优位置。
在一个实施例中，当确定所述投影三维空间的第二点云数据投影至所述梯度图像，所述投影三维空间的第二点云数据与所述梯度图像完全融合时，所述标定设备可以根据如下公式(1)确定所述投影三维空间投影到所述图像数据上的最优位置。
Figure BDA0002762255920000101
其中，Dp为图像上对应投影点的梯度。
在一个实施例中，所述标定设备在根据所述相机采集的图像数据，确定与所述图像数据对应的梯度图像时，可以根据所述相机采集的图像数据，确定与所述图像数据对应的灰度图像，并从所述灰度图像中提取梯度信息和/或边缘信息，从而根据所述梯度信息和/或边缘信息，确定所述梯度图像。
在一个实施例中，所述标定设备将所述投影三维空间投影至所述相机采集的图像数据上，并获取所述投影三维空间投影到所述图像数据上的最优位置时，可以获取将所述投影三维空间投影至所述相机采集的图像数据上得到的目标图像，并确定所述目标图像中第二点云数据的反射率，以及确定与所述目标图像对应的灰度图像的灰度值，从而根据所述目标图像中第二点云数据的反射率以及与所述目标图像对应的灰度图像的灰度值，确定所述投影三维空间投影到所述图像数据上的最优位置。
在一个实施例中，所述标定设备在根据所述目标图像中第二点云数据的反射率以及与所述目标图像对应的灰度图像的灰度值，确定所述投影三维空间投影到所述图像数据上的最优位置时，可以根据公式(2)确定所述投影三维空间投影到所述图像数据上的最优位置。
Figure BDA0002762255920000111
其中，Ip为图像上对应投影点的灰度值。
在一个实施例中，所述标定设备将所述投影三维空间投影至所述相机采集的图像数据上，并获取所述投影三维空间投影到所述图像数据上的最优位置时，可以获取所述可移动平台在移动过程中的运动信息，并根据所述运动信息，确定所述第二点云数据的补偿信息，以及根据所述补偿信息对所述投影三维空间中的第二点云数据进行补偿，从而将补偿后的所述第二点云数据投影至所述相机采集的图像数据上，以获取所述投影三维空间投影到所述图像数据上的最优位置。在某些实施例中，所述运动信息包括位置、速度信息、加速度信息中的任意一种或多种。
可见，通过这种实施方式，可以避免由于可移动平台的运动速度太快时，导致积累的点云数据出现模糊的情况，通过对点云数据进行补偿提高在可移动平台运动过程中采集的点云数据与图像数据的一致性。
在一个实施例中，所述标定设备将所述投影三维空间投影至所述相机采集的图像数据上，并获取所述投影三维空间投影到所述图像数据上的最优位置时，可以获取所述可移动平台在预设时间范围内移动过程中的第二点云数据，并将在所述预设时间范围内获取到的所述投影三维空间中的第二点云数据投影至所述相机采集的图像数据上，以获取所述投影三维空间投影到所述图像数据上的最优位置。
可见，通过降低点云的累积时间使用尽可能短时间的点数据的这种实施方式，可以提高在可移动平台运动过程中采集的点云数据与图像数据的一致性。
可以理解，相机采集的图像数据并不限定为灰度图像，本实施例仅为示例性说明，在此不作限定。例如，也可以对相机采集的彩色图像数据进行处理。具体地，可以通过机器学习等算法先识别出场景中的具体物体，例如车道线、电线杆等，根据识别出的具体物体的反射率、亮度等物理信息，确定所述投影三维空间投影到所述图像数据上的最优位置，如此，可以减小误检概率，提高标定精度。
在一个实施例中，所述标定设备将所述投影三维空间投影至所述相机采集的图像数据上，并获取所述投影三维空间投影到所述图像数据上的最优位置时，可以获取所述可移动平台在移动过程中将所述投影三维空间投影至所述相机采集的图像数据上得到的多个目标图像，并将每个目标图像的数据进行比较，如果确定每个目标图像的数据一致，则可以确定所述目标图像的位置信息为所述投影三维空间投影到所述图像数据上的最优位置。
在一个实施例中，所述标定设备在将每个目标图像的数据进行比较时，如果确定每个所述目标图像的数据不一致，则可以确定激光扫描装置的外参发生变化；进一步地，可以对所述激光扫描装置的外参进行更新。
在一个实施例中，所述标定设备在将每个目标图像的数据进行比较时，如果确定每个所述目标图像的数据不一致，则可以触发预设的报警装置进行报警，以提示用户该激光扫描装置的外参发生变化，进一步地，还可以提示用户对激光扫描装置进行检查，或者自动对激光扫描装置进行检查，在此不作限定。
本发明实施例中，标定设备通过取激光扫描装置采集的可移动平台周围环境的第一点云数据以及相机采集的图像数据，并根据所述第一点云数据确定第二点云数据，以及将所述第二点云数据投影至相机坐标系下的三维栅格空间，得到投影三维空间，当所述投影三维空间中的每个栅格区域满足预设条件时，将所述投影三维空间投影至所述图像数据上，并获取所述投影三维空间投影到所述图像数据上的最优位置，从而实现了在没有特定标志物时对可移动平台周围环境进行标定，提高了标定精度。
下面结合附图对离线标定和在线标定的过程进行举例说明。
请参见图5，图5是本发明实施例提供的一种离线标定方法的流程示意图，如图5所示，在所述离线标定的过程中，通过激光雷达采集可移动平台周围环境的第一点云数据，通过相机采集图像数据，根据所述第一点云数据检测点云深度不连续点，并确定所述点云深度不连续点为第二点云数据，将所述第二点云数据投影到三维栅格空间，得到投影三维空间，将所述投影三维空间和已有数据比较相似性，如果相似，则丢弃该帧数据，如果不相似，则将所述投影三维空间的数据加入数据库，当确定所述数据库中的数据足够时，求取所述投影三维空间投影到所述图像数据上的最优位置。
请参见图6，图6是本发明实施例提供的一种在线标定方法的流程示意图，如图6所示，所述在线标定的过程包括所述离线标定的过程，此处对在线标定过程中包括的离线标定过程不再赘述，所述在线标定的过程与离线标定的过程的不同之处在于，在所述在线标定过程中，在求取到所述投影三维空间投影到所述图像数据上的最优位置后，可以对所述最优位置进行一致性检测。在某些实施例中，所述一致性检测包括：将所述最优位置的结果存储到结果队列中，并根据所述结果队列中存储多个最优位置，检测各最优位置是否一致，并输出检测结果，根据检测结果判断所述最优位置是否与图像数据一致，如果一致，则说明外参发生了变化，需要对最优位置进行更新，如果不一致，则说明结构有可能松动，不能完成标定。进一步地，当最优位置与图像数据不一致时，可以触发预设的报警装置进行报警，以提示用户该激光扫描装置的外参发生变化，或者提示用户对激光扫描装置进行检查，也可以自动对激光扫描装置进行检查，在此不作限定。
请参见图7，图7是本发明实施例提供的一种标定设备的结构示意图。具体的，所述标定设备包括：存储器701、处理器702。
在一种实施例中，所述标定设备还包括数据接口703，所述数据接口703，用于传递标定设备和其他设备之间的数据信息。
所述存储器701可以包括易失性存储器(volatile memory)；存储器701也可以包括非易失性存储器(non-volatile memory)；存储器701还可以包括上述种类的存储器的组合。所述处理器702可以是中央处理器(central processing unit，CPU)。所述处理器702还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specificintegrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)或其任意组合。
所述存储器701用于存储程序，所述处理器702可以调用存储器701中存储的程序，用于执行如下步骤：
获取激光扫描装置采集的可移动平台周围环境的第一点云数据以及相机采集的图像数据；
根据所述第一点云数据确定第二点云数据，所述第二点云数据用于指示无效的点云数据和/或不连续的点云数据；
将所述第二点云数据投影至相机坐标系下的三维栅格空间，得到投影三维空间；
当所述投影三维空间中的每个栅格区域满足预设条件时，将所述投影三维空间投影至所述相机采集的图像数据上，并获取所述投影三维空间投影到所述图像数据上的最优位置。
进一步地，所述处理器702根据所述第一点云数据确定第二点云数据时，具体用于：
确定所述第一点云数据中相邻两个所述第一点云数据之间的距离；
根据所述相邻两个所述第一点云数据之间的距离，确定不连续的第二点云数据。
进一步地，所述处理器702根据所述相邻两个所述第一点云数据之间的距离，确定不连续的第二点云数据时，具体用于：
确定所述相邻两个所述第一点云数据之间的距离是否大于第一预设阈值；
当确定出所述相邻两个所述第一点云数据之间的距离大于第一预设阈值时，确定所述相邻两个所述第一点云数据为不连续的第二点云数据。
进一步地，所述处理器702还用于：
获取所述第一点云数据和原点之间的距离；
根据所述第一点云数据和原点之间的距离以及所述相邻两个所述第一点云数据之间的距离，确定所述不连续的第二点云数据。
进一步地，所述处理器702根据所述第一点云数据和原点之间的距离以及所述相邻两个所述第一点云数据之间的距离，确定所述不连续的第二点云数据时，具体用于：
确定与原点之间的距离大于预设值的第一点云数据；
从所述与原点之间的距离大于预设值的第一点云数据中，确定相邻两个所述第一点云数据之间的距离是否大于预设距离阈值；
若大于所述预设距离阈值，则确定所述相邻两个所述第一点云数据为不连续的第二点云数据。
进一步地，所述处理器702根据所述第一点云数据确定第二点云数据时，具体用于：
确定所述第一点云数据中是否存在深度信息；
根据所述深度信息确定所述第一点云数据中为无效的所述第二点云数据。
进一步地，所述处理器702根据所述深度信息确定所述第二点云数据时，具体用于：
从所述第一点云数据中确定不存在深度信息的所述第一点云数据为无效的所述第二点云数据。
进一步地，所述处理器702根据所述深度信息确定所述第二点云数据时，具体用于：
获取所述第一点云数据的深度信息的变化值；
当所述第一点云数据的深度信息的变化值大于第二预设阈值时，确定所述大于第二预设阈值对应的所述第一点云数据为无效的所述第二点云数据。
进一步地，所述处理器702根据所述第一点云数据确定第二点云数据之前，还用于：
将获取到的当前帧的第一点云数据与已经获取到的所述第一点云数据进行匹配；
确定所述当前帧的第一点云数据的空间分布与所述已经获取到的所述第一点云数据的空间分布的相似度；
如果所述相似度大于预设相似度阈值，则删除所述当前帧的第一点云数据；
如果所述相似度小于或等于所述预设相似度阈值，则确定将所述当前帧的第一点云数据加入已经获取到的所述第一点云数据。
进一步地，所述处理器702将所述第二点云数据投影至相机坐标系下的三维栅格空间，得到投影三维空间时，具体用于：
确定所述激光扫描装置和相机之间的相对位置信息；
根据所述相对位置信息将所述第二点云数据投影至相机坐标系下的三维栅格空间，得到投影三维空间。
进一步地，所述处理器702根据所述相对位置信息将所述第二点云数据投影至相机坐标系下的三维栅格空间，得到投影三维空间之前，还用于：
确定所述第二点云数据与所述三维栅格空间中已存在的点云数据的空间分布相似度；
删除所述空间分布相似度大于预设相似度阈值的第二点云数据；
所述处理器702根据所述相对位置信息将所述第二点云数据投影至相机坐标系下的三维栅格空间，得到投影三维空间时，具体用于：
根据所述相对位置信息将所述删除后的第二点云数据投影至相机坐标系下的三维栅格空间，得到投影三维空间。
进一步地，所述处理器702确定所述第二点云数据与所述三维栅格空间中已存在的点云数据的空间分布相似度时，具体用于：
确定所述第二点云数据的位置信息以及所述三维栅格空间中已存在的点云数据的位置信息；
根据所述第二点云数据的位置信息与所述三维栅格空间中已存在的点云数据的位置信息，确定所述第二点云数据与所述三维栅格空间中已存在的点云数据的空间分布相似度。
进一步地，所述处理器702将所述第二点云数据投影至相机坐标系下的三维栅格空间之前，还用于：
确定所述相机的视角是否小于所述激光扫描装置的视角；
当确定所述相机的视角小于所述激光扫描装置的视角时，执行所述将所述第二点云数据投影至相机坐标系下的三维栅格空间的步骤。
进一步地，所述满足预设条件，包括：
所述投影三维空间中的每个栅格区域中的第二点云数据的数量大于预设数量阈值。
进一步地，所述处理器702将所述投影三维空间投影至所述相机采集的图像数据上，并获取所述投影三维空间投影到所述图像数据上的最优位置时，具体用于：
根据所述相机采集的图像数据，确定与所述图像数据对应的梯度图像；
将所述投影三维空间的第二点云数据投影至所述梯度图像；
当确定所述投影三维空间的第二点云数据投影至所述梯度图像，所述投影三维空间的第二点云数据与所述梯度图像完全融合时，确定所述投影三维空间投影到所述图像数据上的最优位置。
进一步地，所述处理器702根据所述相机采集的图像数据，确定与所述图像数据对应的梯度图像时，具体用于：
根据所述相机采集的图像数据，确定与所述图像数据对应的灰度图像；
从所述灰度图像中提取梯度信息和/或边缘信息；
根据所述梯度信息和/或边缘信息，确定所述梯度图像。
进一步地，所述处理器702将所述投影三维空间投影至所述相机采集的图像数据上，并获取所述投影三维空间投影到所述图像数据上的最优位置时，具体用于：
获取将所述投影三维空间投影至所述相机采集的图像数据上得到的目标图像；
确定所述目标图像中第二点云数据的反射率；
确定与所述目标图像对应的灰度图像的灰度值；
根据所述目标图像中第二点云数据的反射率以及与所述目标图像对应的灰度图像的灰度值，确定所述投影三维空间投影到所述图像数据上的最优位置。
进一步地，所述处理器702将所述投影三维空间投影至所述相机采集的图像数据上，并获取所述投影三维空间投影到所述图像数据上的最优位置时，具体用于：
获取所述可移动平台在移动过程中的运动信息；
根据所述运动信息，确定所述第二点云数据的补偿信息；
根据所述补偿信息对所述投影三维空间中的第二点云数据进行补偿；
将补偿后的所述第二点云数据投影至所述相机采集的图像数据上，以获取所述投影三维空间投影到所述图像数据上的最优位置。
进一步地，所述运动信息包括位置信息、速度信息、加速度信息中的任意一种或多种。
进一步地，所述处理器702将所述投影三维空间投影至所述相机采集的图像数据上，并获取所述投影三维空间投影到所述图像数据上的最优位置时，具体用于：
获取所述可移动平台在预设时间范围内移动过程中的第二点云数据；
将在所述预设时间范围内获取到的所述投影三维空间中的第二点云数据投影至所述相机采集的图像数据上，以获取所述投影三维空间投影到所述图像数据上的最优位置。
进一步地，所述处理器702将所述投影三维空间投影至所述相机采集的图像数据上，并获取所述投影三维空间投影到所述图像数据上的最优位置时，具体用于：
获取所述可移动平台在移动过程中将所述投影三维空间投影至所述相机采集的图像数据上得到的多个目标图像；
将每个目标图像的数据进行比较；
如果确定每个目标图像的数据一致，则确定所述目标图像的位置信息为所述投影三维空间投影到所述图像数据上的最优位置。
进一步地，所述处理器702还用于：
如果确定每个所述目标图像的数据不一致，则确定激光扫描装置的外参发生变化，并对所述激光扫描装置的外参进行更新。
进一步地，所述处理器702所述方法还用于：
如果确定每个所述目标图像的数据不一致，则触发预设的报警装置进行报警，以提示用户对激光扫描装置进行检查。
进一步地，所述激光扫描装置包括激光雷达、毫米波雷达、超声波雷达中的任意一种或多种。
本发明实施例中，标定设备通过获取激光扫描装置采集的可移动平台周围环境的第一点云数据以及相机采集的图像数据，并根据所述第一点云数据确定第二点云数据，以及将所述第二点云数据投影至相机坐标系下的三维栅格空间，得到投影三维空间，当所述投影三维空间中的每个栅格区域满足预设条件时，将所述投影三维空间投影至所述图像数据上，并获取所述投影三维空间投影到所述图像数据上的最优位置，从而实现了在没有特定标志物时对可移动平台周围环境进行标定，提高了标定精度。
本发明实施例还提供了一种可移动平台，所述可移动平台包括：机身；配置在机身上的动力系统，用于为可移动平台提供移动的动力；以及上述标定设备。本发明实施例中，可移动平台通过获取激光扫描装置采集的可移动平台周围环境的第一点云数据以及相机采集的图像数据，并根据所述第一点云数据确定第二点云数据，以及将所述第二点云数据投影至相机坐标系下的三维栅格空间，得到投影三维空间，当所述投影三维空间中的每个栅格区域满足预设条件时，将所述投影三维空间投影至所述图像数据上，并获取所述投影三维空间投影到所述图像数据上的最优位置，从而实现了在没有特定标志物时对可移动平台周围环境进行标定，提高了标定精度。
本发明的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明图2所对应实施例中描述的方法，也可实现图7所述本发明所对应实施例的设备，在此不再赘述。
所述计算机可读存储介质可以是前述任一实施例所述的设备的内部存储单元，例如设备的硬盘或内存。所述计算机可读存储介质也可以是所述设备的外部存储设备，例如所述设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
以上所揭露的仅为本发明部分实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (74)

1.一种标定方法，其特征在于，应用于可移动平台，所述可移动平台包括激光扫描装置和相机，所述方法包括：
获取所述激光扫描装置采集的所述可移动平台周围环境的第一点云数据以及所述相机采集的图像数据；
根据所述第一点云数据确定第二点云数据，所述第二点云数据用于指示无效的点云数据和/或不连续的点云数据；
将所述第二点云数据投影至相机坐标系下的三维栅格空间，得到投影三维空间；
当所述投影三维空间中的每个栅格区域满足预设条件时，将所述投影三维空间投影至所述相机采集的图像数据上，并获取所述投影三维空间投影到所述图像数据上的最优位置。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一点云数据确定第二点云数据，包括：
确定所述第一点云数据中相邻两个所述第一点云数据之间的距离；
根据所述相邻两个所述第一点云数据之间的距离，确定不连续的第二点云数据。
3.根据权利要求2所述的方法，其特征在于，所述根据所述相邻两个所述第一点云数据之间的距离，确定不连续的第二点云数据，包括：
确定所述相邻两个所述第一点云数据之间的距离是否大于第一预设阈值；
当确定出所述相邻两个所述第一点云数据之间的距离大于第一预设阈值时，确定所述相邻两个所述第一点云数据为不连续的第二点云数据。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取所述第一点云数据和原点之间的距离；
根据所述第一点云数据和原点之间的距离以及所述相邻两个所述第一点云数据之间的距离，确定所述不连续的第二点云数据。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一点云数据和原点之间的距离以及所述相邻两个所述第一点云数据之间的距离，确定所述不连续的第二点云数据，包括：
确定与原点之间的距离大于预设值的第一点云数据；
从所述与原点之间的距离大于预设值的第一点云数据中，确定相邻两个所述第一点云数据之间的距离是否大于预设距离阈值；
若大于所述预设距离阈值，则确定所述相邻两个所述第一点云数据为不连续的第二点云数据。
6.根据权利要求1所述的方法，其特征在于，所述根据所述第一点云数据确定第二点云数据，包括：
确定所述第一点云数据中是否存在深度信息；
根据所述深度信息确定所述第一点云数据中为无效的所述第二点云数据。
7.根据权利要求6所述的方法，其特征在于，所述根据所述深度信息确定所述第二点云数据，包括：
从所述第一点云数据中确定不存在深度信息的所述第一点云数据为无效的所述第二点云数据。
8.根据权利要求6所述的方法，其特征在于，所述根据所述深度信息确定所述第二点云数据，包括：
获取所述第一点云数据的深度信息的变化值；
当所述第一点云数据的深度信息的变化值大于第二预设阈值时，确定所述大于第二预设阈值对应的所述第一点云数据为无效的所述第二点云数据。
9.根据权利要求1所述的方法，其特征在于，所述根据所述第一点云数据确定第二点云数据之前，还包括：
将获取到的当前帧的第一点云数据与已经获取到的所述第一点云数据进行匹配；
确定所述当前帧的第一点云数据的空间分布与所述已经获取到的所述第一点云数据的空间分布的相似度；
如果所述相似度大于预设相似度阈值，则删除所述当前帧的第一点云数据；
如果所述相似度小于或等于所述预设相似度阈值，则确定将所述当前帧的第一点云数据加入已经获取到的所述第一点云数据。
10.根据权利要求1所述的方法，其特征在于，所述将所述第二点云数据投影至相机坐标系下的三维栅格空间，得到投影三维空间，包括：
确定所述激光扫描装置和相机之间的相对位置信息；
根据所述相对位置信息将所述第二点云数据投影至相机坐标系下的三维栅格空间，得到投影三维空间。
11.根据权利要求10所述的方法，其特征在于，所述根据所述相对位置信息将所述第二点云数据投影至相机坐标系下的三维栅格空间，得到投影三维空间之前，还包括：
确定所述第二点云数据与所述三维栅格空间中已存在的点云数据的空间分布相似度；
删除所述空间分布相似度大于预设相似度阈值的第二点云数据；
所述根据所述相对位置信息将所述第二点云数据投影至相机坐标系下的三维栅格空间，得到投影三维空间，包括：
根据所述相对位置信息将所述删除后的第二点云数据投影至相机坐标系下的三维栅格空间，得到投影三维空间。
12.根据权利要求11所述的方法，其特征在于，所述确定所述第二点云数据与所述三维栅格空间中已存在的点云数据的空间分布相似度，包括：
确定所述第二点云数据的位置信息以及所述三维栅格空间中已存在的点云数据的位置信息；
根据所述第二点云数据的位置信息与所述三维栅格空间中已存在的点云数据的位置信息，确定所述第二点云数据与所述三维栅格空间中已存在的点云数据的空间分布相似度。
13.根据权利要求10所述的方法，其特征在于，所述将所述第二点云数据投影至相机坐标系下的三维栅格空间之前，还包括：
确定所述相机的视角是否小于所述激光扫描装置的视角；
当确定所述相机的视角小于所述激光扫描装置的视角时，执行所述将所述第二点云数据投影至相机坐标系下的三维栅格空间的步骤。
14.根据权利要求1所述的方法，其特征在于，所述满足预设条件，包括：
所述投影三维空间中的每个栅格区域中的第二点云数据的数量大于预设数量阈值。
15.根据权利要求1所述的方法，其特征在于，所述将所述投影三维空间投影至所述相机采集的图像数据上，并获取所述投影三维空间投影到所述图像数据上的最优位置，包括：
根据所述相机采集的图像数据，确定与所述图像数据对应的梯度图像；
将所述投影三维空间的第二点云数据投影至所述梯度图像；
当确定所述投影三维空间的第二点云数据投影至所述梯度图像，所述投影三维空间的第二点云数据与所述梯度图像完全融合时，确定所述投影三维空间投影到所述图像数据上的最优位置。
16.根据权利要求15所述的方法，其特征在于，所述根据所述相机采集的图像数据，确定与所述图像数据对应的梯度图像，包括：
根据所述相机采集的图像数据，确定与所述图像数据对应的灰度图像；
从所述灰度图像中提取梯度信息和/或边缘信息；
根据所述梯度信息和/或边缘信息，确定所述梯度图像。
17.根据权利要求1所述的方法，其特征在于，所述将所述投影三维空间投影至所述相机采集的图像数据上，并获取所述投影三维空间投影到所述图像数据上的最优位置，包括：
获取将所述投影三维空间投影至所述相机采集的图像数据上得到的目标图像；
确定所述目标图像中第二点云数据的反射率；
确定与所述目标图像对应的灰度图像的灰度值；
根据所述目标图像中第二点云数据的反射率以及与所述目标图像对应的灰度图像的灰度值，确定所述投影三维空间投影到所述图像数据上的最优位置。
18.根据权利要求1所述的方法，其特征在于，所述将所述投影三维空间投影至所述相机采集的图像数据上，并获取所述投影三维空间投影到所述图像数据上的最优位置，包括：
获取所述可移动平台在移动过程中的运动信息；
根据所述运动信息，确定所述第二点云数据的补偿信息；
根据所述补偿信息对所述投影三维空间中的第二点云数据进行补偿；
将补偿后的所述第二点云数据投影至所述相机采集的图像数据上，以获取所述投影三维空间投影到所述图像数据上的最优位置。
19.根据权利要求18所述的方法，其特征在于，
所述运动信息包括位置信息、速度信息、加速度信息中的任意一种或多种。
20.根据权利要求1所述的方法，其特征在于，所述将所述投影三维空间投影至所述相机采集的图像数据上，并获取所述投影三维空间投影到所述图像数据上的最优位置，包括：
获取所述可移动平台在预设时间范围内移动过程中的第二点云数据；
将在所述预设时间范围内获取到的所述投影三维空间中的第二点云数据投影至所述相机采集的图像数据上，以获取所述投影三维空间投影到所述图像数据上的最优位置。
21.根据权利要求18或20所述的方法，其特征在于，所述将所述投影三维空间投影至所述相机采集的图像数据上，并获取所述投影三维空间投影到所述图像数据上的最优位置，包括：
获取所述可移动平台在移动过程中将所述投影三维空间投影至所述相机采集的图像数据上得到的多个目标图像；
将每个目标图像的数据进行比较；
如果确定每个目标图像的数据一致，则确定所述目标图像的位置信息为所述投影三维空间投影到所述图像数据上的最优位置。
22.根据权利要求21所述的方法，其特征在于，所述方法还包括：
如果确定每个所述目标图像的数据不一致，则确定激光扫描装置的外参发生变化，并对所述激光扫描装置的外参进行更新。
23.根据权利要求21所述的方法，其特征在于，所述方法还包括：
如果确定每个所述目标图像的数据不一致，则触发预设的报警装置进行报警，以提示用户对激光扫描装置进行检查。
24.根据权利要求1所述的方法，其特征在于，
所述激光扫描装置包括激光雷达、毫米波雷达、超声波雷达中的任意一种或多种。
25.一种标定设备，其特征在于，应用于可移动平台，所述可移动平台包括激光扫描装置和相机，所述设备包括存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于调用所述程序，当所述程序被执行时，用于执行以下操作:
获取所述激光扫描装置采集的所述可移动平台周围环境的第一点云数据以及所述相机采集的图像数据；
根据所述第一点云数据确定第二点云数据，所述第二点云数据用于指示无效的点云数据和/或不连续的点云数据；
将所述第二点云数据投影至相机坐标系下的三维栅格空间，得到投影三维空间；
当所述投影三维空间中的每个栅格区域满足预设条件时，将所述投影三维空间投影至所述相机采集的图像数据上，并获取所述投影三维空间投影到所述图像数据上的最优位置。
26.根据权利要求25所述的设备，其特征在于，所述处理器根据所述第一点云数据确定第二点云数据时，具体用于：
确定所述第一点云数据中相邻两个所述第一点云数据之间的距离；
根据所述相邻两个所述第一点云数据之间的距离，确定不连续的第二点云数据。
27.根据权利要求26所述的设备，其特征在于，所述处理器根据所述相邻两个所述第一点云数据之间的距离，确定不连续的第二点云数据时，具体用于：
确定所述相邻两个所述第一点云数据之间的距离是否大于第一预设阈值；
当确定出所述相邻两个所述第一点云数据之间的距离大于第一预设阈值时，确定所述相邻两个所述第一点云数据为不连续的第二点云数据。
28.根据权利要求26所述的设备，其特征在于，所述处理器还用于：
获取所述第一点云数据和原点之间的距离；
根据所述第一点云数据和原点之间的距离以及所述相邻两个所述第一点云数据之间的距离，确定所述不连续的第二点云数据。
29.根据权利要求28所述的设备，其特征在于，所述处理器根据所述第一点云数据和原点之间的距离以及所述相邻两个所述第一点云数据之间的距离，确定所述不连续的第二点云数据时，具体用于：
确定与原点之间的距离大于预设值的第一点云数据；
从所述与原点之间的距离大于预设值的第一点云数据中，确定相邻两个所述第一点云数据之间的距离是否大于预设距离阈值；
若大于所述预设距离阈值，则确定所述相邻两个所述第一点云数据为不连续的第二点云数据。
30.根据权利要求25所述的设备，其特征在于，所述处理器根据所述第一点云数据确定第二点云数据时，具体用于：
确定所述第一点云数据中是否存在深度信息；
根据所述深度信息确定所述第一点云数据中为无效的所述第二点云数据。
31.根据权利要求30所述的设备，其特征在于，所述处理器根据所述深度信息确定所述第二点云数据时，具体用于：
从所述第一点云数据中确定不存在深度信息的所述第一点云数据为无效的所述第二点云数据。
32.根据权利要求30所述的设备，其特征在于，所述处理器根据所述深度信息确定所述第二点云数据时，具体用于：
获取所述第一点云数据的深度信息的变化值；
当所述第一点云数据的深度信息的变化值大于第二预设阈值时，确定所述大于第二预设阈值对应的所述第一点云数据为无效的所述第二点云数据。
33.根据权利要求25所述的设备，其特征在于，所述处理器根据所述第一点云数据确定第二点云数据之前，还用于：
将获取到的当前帧的第一点云数据与已经获取到的所述第一点云数据进行匹配；
确定所述当前帧的第一点云数据的空间分布与所述已经获取到的所述第一点云数据的空间分布的相似度；
如果所述相似度大于预设相似度阈值，则删除所述当前帧的第一点云数据；
如果所述相似度小于或等于所述预设相似度阈值，则确定将所述当前帧的第一点云数据加入已经获取到的所述第一点云数据。
34.根据权利要求25所述的设备，其特征在于，所述处理器将所述第二点云数据投影至相机坐标系下的三维栅格空间，得到投影三维空间时，具体用于：
确定所述激光扫描装置和相机之间的相对位置信息；
根据所述相对位置信息将所述第二点云数据投影至相机坐标系下的三维栅格空间，得到投影三维空间。
35.根据权利要求34所述的设备，其特征在于，所述处理器根据所述相对位置信息将所述第二点云数据投影至相机坐标系下的三维栅格空间，得到投影三维空间之前，还用于：
确定所述第二点云数据与所述三维栅格空间中已存在的点云数据的空间分布相似度；
删除所述空间分布相似度大于预设相似度阈值的第二点云数据；
所述处理器根据所述相对位置信息将所述第二点云数据投影至相机坐标系下的三维栅格空间，得到投影三维空间时，具体用于：
根据所述相对位置信息将所述删除后的第二点云数据投影至相机坐标系下的三维栅格空间，得到投影三维空间。
36.根据权利要求35所述的设备，其特征在于，所述处理器确定所述第二点云数据与所述三维栅格空间中已存在的点云数据的空间分布相似度时，具体用于：
确定所述第二点云数据的位置信息以及所述三维栅格空间中已存在的点云数据的位置信息；
根据所述第二点云数据的位置信息与所述三维栅格空间中已存在的点云数据的位置信息，确定所述第二点云数据与所述三维栅格空间中已存在的点云数据的空间分布相似度。
37.根据权利要求34所述的设备，其特征在于，所述处理器将所述第二点云数据投影至相机坐标系下的三维栅格空间之前，还用于：
确定所述相机的视角是否小于所述激光扫描装置的视角；
当确定所述相机的视角小于所述激光扫描装置的视角时，执行所述将所述第二点云数据投影至相机坐标系下的三维栅格空间的步骤。
38.根据权利要求25所述的设备，其特征在于，所述满足预设条件，包括：
所述投影三维空间中的每个栅格区域中的第二点云数据的数量大于预设数量阈值。
39.根据权利要求25所述的设备，其特征在于，所述处理器将所述投影三维空间投影至所述相机采集的图像数据上，并获取所述投影三维空间投影到所述图像数据上的最优位置时，具体用于：
根据所述相机采集的图像数据，确定与所述图像数据对应的梯度图像；
将所述投影三维空间的第二点云数据投影至所述梯度图像；
当确定所述投影三维空间的第二点云数据投影至所述梯度图像，所述投影三维空间的第二点云数据与所述梯度图像完全融合时，确定所述投影三维空间投影到所述图像数据上的最优位置。
40.根据权利要求39所述的设备，其特征在于，所述处理器根据所述相机采集的图像数据，确定与所述图像数据对应的梯度图像时，具体用于：
根据所述相机采集的图像数据，确定与所述图像数据对应的灰度图像；
从所述灰度图像中提取梯度信息和/或边缘信息；
根据所述梯度信息和/或边缘信息，确定所述梯度图像。
41.根据权利要求25所述的设备，其特征在于，所述处理器将所述投影三维空间投影至所述相机采集的图像数据上，并获取所述投影三维空间投影到所述图像数据上的最优位置时，具体用于：
获取将所述投影三维空间投影至所述相机采集的图像数据上得到的目标图像；
确定所述目标图像中第二点云数据的反射率；
确定与所述目标图像对应的灰度图像的灰度值；
根据所述目标图像中第二点云数据的反射率以及与所述目标图像对应的灰度图像的灰度值，确定所述投影三维空间投影到所述图像数据上的最优位置。
42.根据权利要求26所述的设备，其特征在于，所述处理器将所述投影三维空间投影至所述相机采集的图像数据上，并获取所述投影三维空间投影到所述图像数据上的最优位置时，具体用于：
获取所述可移动平台在移动过程中的运动信息；
根据所述运动信息，确定所述第二点云数据的补偿信息；
根据所述补偿信息对所述投影三维空间中的第二点云数据进行补偿；
将补偿后的所述第二点云数据投影至所述相机采集的图像数据上，以获取所述投影三维空间投影到所述图像数据上的最优位置。
43.根据权利要求42所述的设备，其特征在于，
所述运动信息包括位置信息、速度信息、加速度信息中的任意一种或多种。
44.根据权利要求25所述的设备，其特征在于，所述处理器将所述投影三维空间投影至所述相机采集的图像数据上，并获取所述投影三维空间投影到所述图像数据上的最优位置时，具体用于：
获取所述可移动平台在预设时间范围内移动过程中的第二点云数据；
将在所述预设时间范围内获取到的所述投影三维空间中的第二点云数据投影至所述相机采集的图像数据上，以获取所述投影三维空间投影到所述图像数据上的最优位置。
45.根据权利要求42或44所述的设备，其特征在于，所述处理器将所述投影三维空间投影至所述相机采集的图像数据上，并获取所述投影三维空间投影到所述图像数据上的最优位置时，具体用于：
获取所述可移动平台在移动过程中将所述投影三维空间投影至所述相机采集的图像数据上得到的多个目标图像；
将每个目标图像的数据进行比较；
如果确定每个目标图像的数据一致，则确定所述目标图像的位置信息为所述投影三维空间投影到所述图像数据上的最优位置。
46.根据权利要求45所述的设备，其特征在于，所述处理器还用于：
如果确定每个所述目标图像的数据不一致，则确定激光扫描装置的外参发生变化，并对所述激光扫描装置的外参进行更新。
47.根据权利要求45所述的设备，其特征在于，所述处理器还用于：
如果确定每个所述目标图像的数据不一致，则触发预设的报警装置进行报警，以提示用户对激光扫描装置进行检查。
48.根据权利要求25所述的设备，其特征在于，
所述激光扫描装置包括激光雷达、毫米波雷达、超声波雷达中的任意一种或多种。
49.一种可移动平台，其特征在于，包括：
机身；
配置在机身上的动力系统，用于为所述可移动平台提供移动的动力；
处理器，用于获取激光扫描装置采集的所述可移动平台周围环境的第一点云数据以及相机采集的图像数据；根据所述第一点云数据确定第二点云数据，所述第二点云数据用于指示无效的点云数据和/或不连续的点云数据；将所述第二点云数据投影至相机坐标系下的三维栅格空间，得到投影三维空间；当所述投影三维空间中的每个栅格区域满足预设条件时，将所述投影三维空间投影至所述相机采集的图像数据上，并获取所述投影三维空间投影到所述图像数据上的最优位置。
50.根据权利要求49所述的可移动平台，其特征在于，所述处理器根据所述第一点云数据确定第二点云数据时，具体用于：
确定所述第一点云数据中相邻两个所述第一点云数据之间的距离；
根据所述相邻两个所述第一点云数据之间的距离，确定不连续的第二点云数据。
51.根据权利要求50所述的可移动平台，其特征在于，所述处理器根据所述相邻两个所述第一点云数据之间的距离，确定不连续的第二点云数据时，具体用于：
确定所述相邻两个所述第一点云数据之间的距离是否大于第一预设阈值；
当确定出所述相邻两个所述第一点云数据之间的距离大于第一预设阈值时，确定所述相邻两个所述第一点云数据为不连续的第二点云数据。
52.根据权利要求50所述的可移动平台，其特征在于，所述处理器还用于：
获取所述第一点云数据和原点之间的距离；
根据所述第一点云数据和原点之间的距离以及所述相邻两个所述第一点云数据之间的距离，确定所述不连续的第二点云数据。
53.根据权利要求52所述的可移动平台，其特征在于，所述处理器根据所述第一点云数据和原点之间的距离以及所述相邻两个所述第一点云数据之间的距离，确定所述不连续的第二点云数据时，具体用于：
确定与原点之间的距离大于预设值的第一点云数据；
从所述与原点之间的距离大于预设值的第一点云数据中，确定相邻两个所述第一点云数据之间的距离是否大于预设距离阈值；
若大于所述预设距离阈值，则确定所述相邻两个所述第一点云数据为不连续的第二点云数据。
54.根据权利要求49所述的可移动平台，其特征在于，所述处理器根据所述第一点云数据确定第二点云数据时，具体用于：
确定所述第一点云数据中是否存在深度信息；
根据所述深度信息确定所述第一点云数据中为无效的所述第二点云数据。
55.根据权利要求54所述的可移动平台，其特征在于，所述处理器根据所述深度信息确定所述第二点云数据时，具体用于：
从所述第一点云数据中确定不存在深度信息的所述第一点云数据为无效的所述第二点云数据。
56.根据权利要求54所述的可移动平台，其特征在于，所述处理器根据所述深度信息确定所述第二点云数据时，具体用于：
获取所述第一点云数据的深度信息的变化值；
当所述第一点云数据的深度信息的变化值大于第二预设阈值时，确定所述大于第二预设阈值对应的所述第一点云数据为无效的所述第二点云数据。
57.根据权利要求49所述的可移动平台，其特征在于，所述处理器根据所述第一点云数据确定第二点云数据之前，还用于：
将获取到的当前帧的第一点云数据与已经获取到的所述第一点云数据进行匹配；
确定所述当前帧的第一点云数据的空间分布与所述已经获取到的所述第一点云数据的空间分布的相似度；
如果所述相似度大于预设相似度阈值，则删除所述当前帧的第一点云数据；
如果所述相似度小于或等于所述预设相似度阈值，则确定将所述当前帧的第一点云数据加入已经获取到的所述第一点云数据。
58.根据权利要求49所述的可移动平台，其特征在于，所述处理器将所述第二点云数据投影至相机坐标系下的三维栅格空间，得到投影三维空间时，具体用于：
确定所述激光扫描装置和相机之间的相对位置信息；
根据所述相对位置信息将所述第二点云数据投影至相机坐标系下的三维栅格空间，得到投影三维空间。
59.根据权利要求58所述的可移动平台，其特征在于，所述处理器根据所述相对位置信息将所述第二点云数据投影至相机坐标系下的三维栅格空间，得到投影三维空间之前，还用于：
确定所述第二点云数据与所述三维栅格空间中已存在的点云数据的空间分布相似度；
删除所述空间分布相似度大于预设相似度阈值的第二点云数据；
所述处理器根据所述相对位置信息将所述第二点云数据投影至相机坐标系下的三维栅格空间，得到投影三维空间时，具体用于：
根据所述相对位置信息将所述删除后的第二点云数据投影至相机坐标系下的三维栅格空间，得到投影三维空间。
60.根据权利要求59所述的可移动平台，其特征在于，所述处理器确定所述第二点云数据与所述三维栅格空间中已存在的点云数据的空间分布相似度时，具体用于：
确定所述第二点云数据的位置信息以及所述三维栅格空间中已存在的点云数据的位置信息；
根据所述第二点云数据的位置信息与所述三维栅格空间中已存在的点云数据的位置信息，确定所述第二点云数据与所述三维栅格空间中已存在的点云数据的空间分布相似度。
61.根据权利要求60所述的可移动平台，其特征在于，所述处理器将所述第二点云数据投影至相机坐标系下的三维栅格空间之前，还用于：
确定所述相机的视角是否小于所述激光扫描装置的视角；
当确定所述相机的视角小于所述激光扫描装置的视角时，执行所述将所述第二点云数据投影至相机坐标系下的三维栅格空间的步骤。
62.根据权利要求49所述的可移动平台，其特征在于，所述满足预设条件，包括：
所述投影三维空间中的每个栅格区域中的第二点云数据的数量大于预设数量阈值。
63.根据权利要求49所述的可移动平台，其特征在于，所述处理器将所述投影三维空间投影至所述相机采集的图像数据上，并获取所述投影三维空间投影到所述图像数据上的最优位置时，具体用于：
根据所述相机采集的图像数据，确定与所述图像数据对应的梯度图像；
将所述投影三维空间的第二点云数据投影至所述梯度图像；
当确定所述投影三维空间的第二点云数据投影至所述梯度图像，所述投影三维空间的第二点云数据与所述梯度图像完全融合时，确定所述投影三维空间投影到所述图像数据上的最优位置。
64.根据权利要求63所述的可移动平台，其特征在于，所述处理器根据所述相机采集的图像数据，确定与所述图像数据对应的梯度图像时，具体用于：
根据所述相机采集的图像数据，确定与所述图像数据对应的灰度图像；
从所述灰度图像中提取梯度信息和/或边缘信息；
根据所述梯度信息和/或边缘信息，确定所述梯度图像。
65.根据权利要求49所述的可移动平台，其特征在于，所述处理器将所述投影三维空间投影至所述相机采集的图像数据上，并获取所述投影三维空间投影到所述图像数据上的最优位置时，具体用于：
获取将所述投影三维空间投影至所述相机采集的图像数据上得到的目标图像；
确定所述目标图像中第二点云数据的反射率；
确定与所述目标图像对应的灰度图像的灰度值；
根据所述目标图像中第二点云数据的反射率以及与所述目标图像对应的灰度图像的灰度值，确定所述投影三维空间投影到所述图像数据上的最优位置。
66.根据权利要求50所述的可移动平台，其特征在于，所述处理器将所述投影三维空间投影至所述相机采集的图像数据上，并获取所述投影三维空间投影到所述图像数据上的最优位置时，具体用于：
获取所述可移动平台在移动过程中的运动信息；
根据所述运动信息，确定所述第二点云数据的补偿信息；
根据所述补偿信息对所述投影三维空间中的第二点云数据进行补偿；
将补偿后的所述第二点云数据投影至所述相机采集的图像数据上，以获取所述投影三维空间投影到所述图像数据上的最优位置。
67.根据权利要求66所述的可移动平台，其特征在于，
所述运动信息包括位置信息、速度信息、加速度信息中的任意一种或多种。
68.根据权利要求49所述的可移动平台，其特征在于，所述处理器将所述投影三维空间投影至所述相机采集的图像数据上，并获取所述投影三维空间投影到所述图像数据上的最优位置时，具体用于：
获取所述可移动平台在预设时间范围内移动过程中的第二点云数据；
将在所述预设时间范围内获取到的所述投影三维空间中的第二点云数据投影至所述相机采集的图像数据上，以获取所述投影三维空间投影到所述图像数据上的最优位置。
69.根据权利要求66或68所述的可移动平台，其特征在于，所述处理器将所述投影三维空间投影至所述相机采集的图像数据上，并获取所述投影三维空间投影到所述图像数据上的最优位置时，具体用于：
获取所述可移动平台在移动过程中将所述投影三维空间投影至所述相机采集的图像数据上得到的多个目标图像；
将每个目标图像的数据进行比较；
如果确定每个目标图像的数据一致，则确定所述目标图像的位置信息为所述投影三维空间投影到所述图像数据上的最优位置。
70.根据权利要求69所述的可移动平台，其特征在于，所述处理器还用于：
如果确定每个所述目标图像的数据不一致，则确定激光扫描装置的外参发生变化，并对所述激光扫描装置的外参进行更新。
71.根据权利要求69所述的可移动平台，其特征在于，所述处理器还用于：
如果确定每个所述目标图像的数据不一致，则触发预设的报警装置进行报警，以提示用户对激光扫描装置进行检查。
72.根据权利要求49所述的可移动平台，其特征在于，
所述激光扫描装置包括激光雷达、毫米波雷达、超声波雷达中的任意一种或多种。
73.根据权利要求49所述的可移动平台，其特征在于，
所述激光扫描装置和所述相机分别与所述可移动平台可拆卸连接。
74.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至24任一项所述方法。
CN201980030471.8A 2019-07-30 2019-07-30 一种标定方法、设备、可移动平台及存储介质 Pending CN112106111A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/098354 WO2021016854A1 (zh) 2019-07-30 2019-07-30 一种标定方法、设备、可移动平台及存储介质

Publications (1)

Publication Number Publication Date
CN112106111A true CN112106111A (zh) 2020-12-18

Family

ID=73748811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980030471.8A Pending CN112106111A (zh) 2019-07-30 2019-07-30 一种标定方法、设备、可移动平台及存储介质

Country Status (2)

Country Link
CN (1) CN112106111A (zh)
WO (1) WO2021016854A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113639685A (zh) * 2021-08-10 2021-11-12 杭州申昊科技股份有限公司 位移检测方法、装置、设备和存储介质
CN113740829A (zh) * 2021-11-05 2021-12-03 新石器慧通（北京）科技有限公司 环境感知设备的外参监控方法、装置、介质及行驶装置
WO2022134567A1 (zh) * 2020-12-25 2022-06-30 上海商汤临港智能科技有限公司 外参标定方法、装置、计算机设备及存储介质
CN114756162A (zh) * 2021-01-05 2022-07-15 成都极米科技股份有限公司 触控系统及方法、电子设备及计算机可读存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2858148A1 (es) * 2021-05-27 2021-09-29 Univ Madrid Politecnica Equipo multipanel orientable para la calibracion de movimientos a partir de nubes de puntos obtenidas con "laser escaner terrestre (tls)" en campo
CN114529884A (zh) * 2022-02-23 2022-05-24 广东汇天航空航天科技有限公司 基于双目相机的障碍物探测处理方法、装置、设备及系统
CN115267746B (zh) * 2022-06-13 2024-06-28 广州文远知行科技有限公司 激光雷达点云投影错误的定位方法及相关设备
CN117011503B (zh) * 2023-08-07 2024-05-28 青岛星美装饰服务有限公司 一种加工数据确定方法、装置、设备和可读存储介质
CN117523105B (zh) * 2023-11-24 2024-05-28 哈工大郑州研究院 激光雷达和多相机数据融合的三维场景重建方法
CN118486198B (zh) * 2024-07-16 2024-09-24 烟台欣飞智能系统有限公司 基于区域划分的无人机交通控制方法、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140368651A1 (en) * 2013-06-14 2014-12-18 Microsoft Corporation Mobile imaging platform calibration
JP2015103891A (ja) * 2013-11-22 2015-06-04 株式会社リコー 画像投影システム、画像処理装置、画像投影方法およびプログラム
CN107564069A (zh) * 2017-09-04 2018-01-09 北京京东尚科信息技术有限公司 标定参数的确定方法、装置及计算机可读存储介质
CN109300162A (zh) * 2018-08-17 2019-02-01 浙江工业大学 一种基于精细化雷达扫描边缘点的多线激光雷达和相机联合标定方法
CN109949371A (zh) * 2019-03-18 2019-06-28 北京智行者科技有限公司 一种用于激光雷达和相机数据的标定方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9852238B2 (en) * 2014-04-24 2017-12-26 The Board Of Trustees Of The University Of Illinois 4D vizualization of building design and construction modeling with photographs
US11701090B2 (en) * 2017-08-16 2023-07-18 Mako Surgical Corp. Ultrasound bone registration with learning-based segmentation and sound speed calibration
CN108406731B (zh) * 2018-06-06 2023-06-13 珠海一微半导体股份有限公司 一种基于深度视觉的定位装置、方法及机器人

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140368651A1 (en) * 2013-06-14 2014-12-18 Microsoft Corporation Mobile imaging platform calibration
JP2015103891A (ja) * 2013-11-22 2015-06-04 株式会社リコー 画像投影システム、画像処理装置、画像投影方法およびプログラム
CN107564069A (zh) * 2017-09-04 2018-01-09 北京京东尚科信息技术有限公司 标定参数的确定方法、装置及计算机可读存储介质
CN109300162A (zh) * 2018-08-17 2019-02-01 浙江工业大学 一种基于精细化雷达扫描边缘点的多线激光雷达和相机联合标定方法
CN109949371A (zh) * 2019-03-18 2019-06-28 北京智行者科技有限公司 一种用于激光雷达和相机数据的标定方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022134567A1 (zh) * 2020-12-25 2022-06-30 上海商汤临港智能科技有限公司 外参标定方法、装置、计算机设备及存储介质
CN114756162A (zh) * 2021-01-05 2022-07-15 成都极米科技股份有限公司 触控系统及方法、电子设备及计算机可读存储介质
CN114756162B (zh) * 2021-01-05 2023-09-05 成都极米科技股份有限公司 触控系统及方法、电子设备及计算机可读存储介质
CN113639685A (zh) * 2021-08-10 2021-11-12 杭州申昊科技股份有限公司 位移检测方法、装置、设备和存储介质
CN113639685B (zh) * 2021-08-10 2023-10-03 杭州申昊科技股份有限公司 位移检测方法、装置、设备和存储介质
CN113740829A (zh) * 2021-11-05 2021-12-03 新石器慧通（北京）科技有限公司 环境感知设备的外参监控方法、装置、介质及行驶装置

Also Published As

Publication number Publication date
WO2021016854A1 (zh) 2021-02-04

Similar Documents

Publication Publication Date Title
CN112106111A (zh) 一种标定方法、设备、可移动平台及存储介质
CN110893617B (zh) 障碍物检测方法、装置及存储装置
CN111797650B (zh) 障碍物的识别方法、装置、计算机设备和存储介质
Kang et al. Automatic targetless camera–lidar calibration by aligning edge with gaussian mixture model
EP3876141A1 (en) Object detection method, related device and computer storage medium
CN110799989A (zh) 一种障碍物检测方法、设备、可移动平台及存储介质
CN111684382B (zh) 可移动平台状态估计方法、系统、可移动平台及存储介质
CN111080784B (zh) 一种基于地面图像纹理的地面三维重建方法和装置
WO2022179207A1 (zh) 视窗遮挡检测方法及装置
CN113111513B (zh) 传感器配置方案确定方法、装置、计算机设备及存储介质
CN111142514B (zh) 一种机器人及其避障方法和装置
CN113156407B (zh) 车载激光雷达外参数联合标定方法、系统、介质及设备
CN111009011B (zh) 车辆方向角的预测方法、装置、系统以及存储介质
CN112146848A (zh) 一种确定摄像头的畸变参数的方法及装置
JP2016085602A (ja) センサ情報統合方法、及びその装置
CN111798507A (zh) 一种输电线安全距离测量方法、计算机设备和存储介质
CN115359130A (zh) 雷达和相机的联合标定方法、装置、电子设备及存储介质
CN110291771B (zh) 一种目标对象的深度信息获取方法及可移动平台
CN111553342B (zh) 一种视觉定位方法、装置、计算机设备和存储介质
CN116295353A (zh) 一种无人车辆的定位方法、装置、设备和存储介质
CN111656404A (zh) 图像处理方法、系统及可移动平台
CN112651405B (zh) 目标检测方法及装置
CN111890358B (zh) 双目避障方法、装置、存储介质及电子装置
CN113014899B (zh) 一种双目图像的视差确定方法、装置及系统
JP7300331B2 (ja) 機械学習用情報処理装置、機械学習用情報処理方法、および機械学習用情報処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240515

Address after: Building 3, Xunmei Science and Technology Plaza, No. 8 Keyuan Road, Science and Technology Park Community, Yuehai Street, Nanshan District, Shenzhen City, Guangdong Province, 518057, 1634

Applicant after: Shenzhen Zhuoyu Technology Co.,Ltd.

Country or region after: China

Address before: 518057 Shenzhen Nanshan High-tech Zone, Shenzhen, Guangdong Province, 6/F, Shenzhen Industry, Education and Research Building, Hong Kong University of Science and Technology, No. 9 Yuexingdao, South District, Nanshan District, Shenzhen City, Guangdong Province

Applicant before: SZ DJI TECHNOLOGY Co.,Ltd.

Country or region before: China