CN112146848A - 一种确定摄像头的畸变参数的方法及装置 - Google Patents

一种确定摄像头的畸变参数的方法及装置 Download PDF

Info

Publication number
CN112146848A
CN112146848A CN201910565719.2A CN201910565719A CN112146848A CN 112146848 A CN112146848 A CN 112146848A CN 201910565719 A CN201910565719 A CN 201910565719A CN 112146848 A CN112146848 A CN 112146848A
Authority
CN
China
Prior art keywords
camera
determining
point
depth
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910565719.2A
Other languages
English (en)
Other versions
CN112146848B (zh
Inventor
魏志方
池清华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910565719.2A priority Critical patent/CN112146848B/zh
Priority to PCT/CN2020/097761 priority patent/WO2020259506A1/zh
Publication of CN112146848A publication Critical patent/CN112146848A/zh
Application granted granted Critical
Publication of CN112146848B publication Critical patent/CN112146848B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/02—Testing optical properties
    • G01M11/0242—Testing optical properties by measuring geometrical properties or aberrations
    • G01M11/0257—Testing optical properties by measuring geometrical properties or aberrations by analyzing the image formed by the object to be tested
    • G01M11/0264—Testing optical properties by measuring geometrical properties or aberrations by analyzing the image formed by the object to be tested by using targets or reference patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/02—Testing optical properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details

Abstract

本申请实施例提供了一种确定摄像头的畸变参数的方法及装置，涉及无人驾驶技术领域，所述方法包括：将雷达坐标系和摄像头坐标系进行标定；获取雷达采集的点云数据，所述点云数据包括至少一个扫描点；获取摄像头采集的图像数据，所述图像数据包括至少一个第一特征点；确定所述第一特征点对应的扫描点；根据畸变参数算法实时确定所述摄像头的畸变参数。采用本申请当无人驾驶车辆在行驶过程中，摄像头的高度信息或角度信息发生变化时，摄像头可以根据雷达采集的点云数据和摄像头采集的图像数据，实时确定摄像头的畸变参数，从而降低无人驾驶车辆通过摄像头测量到的目标物体的6D信息的误差。

Description

一种确定摄像头的畸变参数的方法及装置
技术领域
本申请涉及无人驾驶技术领域，尤其涉及一种确定摄像头的畸变参数的方法及装置。
背景技术
在无人驾驶技术领域中，无人驾驶车辆可以通过摄像头和雷达对目标物体进行测距和测速，得到该目标物体的6D信息。其中，该目标物体的6D信息为该目标物体在车体坐标系或世界坐标系中的三维位置信息和三维速度信息。然后，无人驾驶车辆可以根据该目标物体的6D信息，判断是否需要进行减速，以避免碰撞事故的发生。由于摄像头拍摄的图片存在较大的畸变，因此，无人驾驶车辆通过摄像头测量到的目标物体的6D信息会存在较大的误差。
目前，主要通过张正友标定法对摄像头进行标定，得到摄像头的畸变参数，从而去除或者补偿摄像头拍摄的图片的畸变，进而得到目标物体的准确的6D信息。张正友标定法是一种在摄像头离线情况下确定摄像头的畸变参数的方法。首先，技术人员将一张黑白相间的方形格子的纸作为模板放置在空间的某一平面上。然后，无人驾驶车辆通过摄像头在不同方向上拍摄该模板的图像。之后，无人驾驶车辆根据各图像中该模板对应的特征点的二维坐标和该模板在世界坐标系中的三维坐标，确定摄像头的畸变参数。
然而，当无人驾驶车辆在行驶过程中，摄像头的状态发生变化(比如摄像头相对于地面的高度发生变化，或者摄像头发生了偏转)时，摄像头的畸变参数也会发生相应的变化。如果此时仍然使用通过张正友标定法在摄像头离线情况下得到的摄像头的畸变参数对摄像头拍摄的图片进行修正，将导致无人驾驶车辆通过摄像头测量到的目标物体的6D信息产生较大的误差。
发明内容
本申请实施例提供了一种确定摄像头的畸变参数的方法及装置，当无人驾驶车辆在行驶过程中，摄像头的高度信息或角度信息发生变化时，摄像头可以根据雷达采集的点云数据和摄像头采集的图像数据，实时确定摄像头的畸变参数，从而降低无人驾驶车辆通过摄像头测量到的目标物体的6D信息的误差。该技术方案如下：
第一方面，提供了一种确定摄像头的畸变参数的方法，包括：
将雷达坐标系和摄像头坐标系进行标定；
获取雷达采集的点云数据，所述点云数据包括至少一个扫描点；
获取摄像头采集的图像数据，所述图像数据包括至少一个第一特征点；
确定所述第一特征点对应的扫描点；
根据畸变参数算法实时确定所述摄像头的畸变参数。
在一种可能的实现方式中，所述获取雷达采集的点云数据，包括：
当所述摄像头的高度信息或角度信息变化时，获取雷达采集到的点云数据。
在一种可能的实现方式中，所述获取雷达采集的点云数据，包括：
周期性地获取雷达采集到的点云数据。
在一种可能的实现方式中，所述确定所述第一特征点对应的扫描点，包括：
根据所述第一特征点、第一预设平面距离阈值和第一深度距离概率值确定第一候选扫描点集，所述第一候选扫描点集包括第一扫描点，所述第一扫描点与所述第一特征点的平面距离小于所述第一预设平面距离阈值，所述第一深度距离概率值用于去除后景扫描点；
将所述第一候选扫描点集中组成面积最大三角形的三个扫描点，确定为所述第一特征点对应的扫描点。
在一种可能的实现方式中，所述根据畸变参数算法实时确定所述摄像头的畸变参数，包括：
根据单目测距公式确定所述第一特征点的测量深度；
根据所述第一特征点对应的扫描点的深度信息，确定所述第一特征点的真实深度；
根据所述图像数据中的至少N个第一特征点的的测量深度和真实深度，构建方程组，所述方程组包括N个n阶方程，所述N和所述n均为大于等于1的整数，所述n阶方程为：
Figure BDA0002109523870000021
其中，Yi真实深度为第i个第一特征点的真实深度，Yi测量深度为第i个第一特征点的测量深度，a0，a1，a2，a3，…an为所述摄像头的畸变参数；
求解所述方程组，得到所述摄像头的畸变参数a0，a1，a2，a3，…an；
在一种可能的实现方式中，还包括：
确定目标物体及所述目标物体对应的测量深度，根据n阶方程得到所述目标物体的真实深度，所述n阶方程为：
Figure BDA0002109523870000022
其中，Z真实深度为所述目标物体的真实深度，Z测量深度为所述目标物体的测量深度，a0，a1，a2，a3，…an为所述摄像头的畸变参数，所述n为大于等于1的整数。
在一种可能的实现方式中，所述雷达为毫米波雷达或激光雷达。
在一种可能的实现方式中，所述确定所述第一特征点对应的扫描点，包括：
根据所述第一特征点、第二预设平面距离阈值确定所述第一特征点对应的扫描点，所述第一特征点对应的扫描点与所述第一特征点的平面距离小于所述第二预设平面距离阈值；
从所述图像数据中选择至少N个第一特征点，所述至少N个第一特征点对应至少N个扫描点，所述N为大于等于3的整数。
在一种可能的实现方式中，所述根据畸变参数算法实时确定所述摄像头的畸变参数，包括：
在摄像头坐标系中，根据所述至少N个第一特征点的坐标和所述至少N个扫描点的坐标通过张正友标定法得到畸变参数。
在一种可能的实现方式中，还包括：
通过所述畸变参数确定目标物体在图像坐标系的真实坐标；
通过单目测距公式确定所述目标物体在所述摄像头坐标系下的真实深度。
在一种可能的实现方式中，所述雷达为激光雷达。
在一种可能的实现方式中，还包括：
根据所述摄像头的畸变参数和所述摄像头采集到的目标物体的图像数据，确定所述目标物体的第一6D信息；
向融合模块发送所述目标物体的所述第一6D信息。
第二方面，提供了一种确定摄像头的畸变参数的装置，包括：
标定模块，用于将雷达坐标系和摄像头坐标系进行标定；
第一获取模块，用于获取雷达采集的点云数据，所述点云数据包括至少一个扫描点；
第二获取模块，用于获取摄像头采集的图像数据，所述图像数据包括至少一个第一特征点；
第一确定模块，用于确定所述第一特征点对应的扫描点；
第二确定模块，用于根据畸变参数算法实时确定所述摄像头的畸变参数。
在一种可能的实现方式中，所述第一获取模块，具体用于：
当所述摄像头的高度信息或角度信息变化时，获取雷达采集到的点云数据。
在一种可能的实现方式中，所述第一获取模块，具体用于：
周期性地获取雷达采集到的点云数据。
在一种可能的实现方式中，所述第一确定模块，具体用于：
根据所述第一特征点、第一预设平面距离阈值和第一深度距离概率值确定第一候选扫描点集，所述第一候选扫描点集包括第一扫描点，所述第一扫描点与所述第一特征点的平面距离小于所述第一预设平面距离阈值，所述第一深度距离概率值用于去除后景扫描点；
将所述第一候选扫描点集中组成面积最大三角形的三个扫描点，确定为所述第一特征点对应的扫描点。
在一种可能的实现方式中，所述第二确定模块，具体用于：
根据单目测距公式确定所述第一特征点的测量深度；
根据所述第一特征点对应的扫描点的深度信息，确定所述第一特征点的真实深度；
根据所述图像数据中的至少N个第一特征点的的测量深度和真实深度，构建方程组，所述方程组包括N个n阶方程，所述N和所述n均为大于等于1的整数，所述n阶方程为：
Figure BDA0002109523870000031
其中，Yi真实深度为第i个第一特征点的真实深度，Yi测量深度为第i个第一特征点的测量深度，a0，a1，a2，a3，…an为所述摄像头的畸变参数；
求解所述方程组，得到所述摄像头的畸变参数a0，a1，a2，a3，…an；
在一种可能的实现方式中，还包括：
第三确定模块，用于确定目标物体及所述目标物体对应的测量深度，根据n阶方程得到所述目标物体的真实深度，所述n阶方程为：
Figure BDA0002109523870000032
其中，Z真实深度为所述目标物体的真实深度，Z测量深度为所述目标物体的测量深度，a0，a1，a2，a3，…an为所述摄像头的畸变参数，所述n为大于等于1的整数。
在一种可能的实现方式中，所述雷达为毫米波雷达或激光雷达。
在一种可能的实现方式中，所述第一确定模块，具体用于：
根据所述第一特征点、第二预设平面距离阈值确定所述第一特征点对应的扫描点，所述第一特征点对应的扫描点与所述第一特征点的平面距离小于所述第二预设平面距离阈值；
从所述图像数据中选择至少N个第一特征点，所述至少N个第一特征点对应至少N个扫描点，所述N为大于等于1的整数。
在一种可能的实现方式中，所述第二确定模块，具体用于：
在摄像头坐标系中，根据所述至少N个第一特征点的坐标和所述至少N个扫描点的坐标通过张正友标定法得到畸变参数。
在一种可能的实现方式中，还包括：
第四确定模块，用于通过所述畸变参数确定目标物体在图像坐标系的真实坐标；
第五确定模块，用于通过单目测距公式确定所述目标物体在所述摄像头坐标系下的真实深度。
在一种可能的实现方式中，所述雷达为激光雷达。
在一种可能的实现方式中，所述装置还包括：
第六确定模块，用于根据所述摄像头的畸变参数和所述摄像头采集到的目标物体的图像数据，确定所述目标物体的第一6D信息；
发送模块，用于向融合模块发送所述目标物体的所述第一6D信息。
第三方面，提供了一种获得目标物体精准位置的方法，包括：
接收摄像头发送的点云数据获取请求；
获取点云数据，向所述摄像头发送所述点云数据，所述点云数据包括至少一个扫描点。
在一种可能的实现方式中，所述方法还包括：
根据获取到的目标物体的点云数据，确定所述目标物体的第二6D信息；
向融合模块发送所述目标物体的所述第二6D信息。
第四方面，提供了一种获得目标物体精准位置的方法，包括：
接收摄像头发送的目标物体的第一6D信息和雷达发送的所述目标物体的第二6D信息；
对所述第一6D信息和所述第二6D信息进行卡尔曼滤波处理，得到所述目标物体的目标6D信息。
第五方面，提供了一种确定摄像头的畸变参数的装置，包括：处理器、存储器和通信接口；其中，通信接口用于与其他设备或通信网络通信，存储器用于存储一个或多个程序，所述一个或多个程序包括计算机执行指令，当该装置运行时，处理器执行存储器存储的所述计算机执行指令以使该装置执行如第一方面任一项所述的确定摄像头的畸变参数的方法。
第六方面，提供了一种确定摄像头的畸变参数的系统，包括摄像头、雷达和如第二方面任一所述的确定摄像头的畸变参数的装置。
第七方面，提供了一种计算机可读存储介质，包括程序和指令，当所述程序或指令在计算机上运行时，第一方面任一项所述的确定摄像头的畸变参数的方法被实现。
第八方面，提供了一种芯片系统，包括处理器，所述处理器和存储器耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现第一方面任一项所述的确定摄像头的畸变参数的方法。
第九方面，提供了一种包含指令的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如第一方面任一项所述的确定摄像头的畸变参数的方法。
本申请的实施例提供了一种确定摄像头的畸变参数的方法及装置，首先，无人驾驶车辆中的摄像头将雷达坐标系和摄像头坐标系进行标定。然后，摄像头获取雷达采集的点云数据和摄像头采集的图像数据。其中，点云数据包括至少一个扫描点，图像数据包括至少一个第一特征点。之后，摄像头根据点云数据和图像数据确定第一特征点对应的扫描点，并根据畸变参数算法实时确定摄像头的畸变参数。这样，当无人驾驶车辆在行驶过程中，摄像头的高度信息或角度信息发生变化时，摄像头可以根据雷达采集的点云数据和摄像头采集的图像数据，实时确定摄像头的畸变参数，从而降低无人驾驶车辆通过摄像头测量到的目标物体的6D信息的误差。
附图说明
图1为本申请实施例提供的一种无人驾驶车辆的结构示意图；
图2为本申请实施例提供的一种确定摄像头的畸变参数的方法的流程图；
图3A为本申请实施例提供的一种确定第一特征点的第一候选扫描点的示意图；
图3B为本申请实施例提供的一种确定第一特征点对应的扫描点的示意图；
图4为本申请实施例提供的一种确定摄像头的畸变参数的装置的结构示意；
图5为本申请实施例提供的一种确定摄像头的畸变参数的装置的结构示意；
图6为本申请实施例提供的一种确定摄像头的畸变参数的装置的结构示意；
图7为本申请实施例提供的一种确定摄像头的畸变参数的装置的结构示意。
具体实施方式
本申请实施例提供了一种确定摄像头的畸变参数的方法，该方法可以应用于无人驾驶车辆，也可以应用于辅助驾驶车辆，还可以应用于智能驾驶车辆，本申请实施例不作限定。本申请实施例以该方法应用于无人驾驶车辆为例进行介绍，其他情况与之类似。具体的，可以应用于无人驾驶车辆中的摄像头，也可以应用于无人驾驶车辆中的雷达，还可以应用于无人驾驶车辆中的融合模块，本申请实施例不作限定。本申请实施例以该方法应用于无人驾驶车辆中的摄像头为例进行介绍，其他情况与之类似。图1为本申请实施例提供的一种无人驾驶车辆的结构示意图。如图1所示，无人驾驶车辆100上安装有摄像头110、雷达120和融合模块130(图未示出)和决策模块140(图未示出)。其中，融合模块130可以设置在摄像头110或雷达120中，也可以独立设置在无人驾驶车辆中；同理，决策模块140可以设置在摄像头110或雷达120中，也可以独立设置在无人驾驶车辆中。摄像头110用于实时采集图像数据。其中，该图像数据包括至少一个第一特征点。雷达120用于实时采集点云数据。其中，该点云数据包括至少一个扫描点。当摄像头110的高度信息或角度信息变化时，摄像头110获取雷达120采集到的点云数据和自身采集到的图像数据。然后，摄像头110将点云数据中的扫描点映射至图像数据对应的图像坐标系中，并在图像坐标系中，确定图像数据中第一特征点对应的扫描点。之后，摄像头110根据畸变参数算法、第一特征点和第一特征点对应的扫描点实时确定摄像头110的畸变参数。后续，摄像头110可以通过图像识别技术在图像数据中确定目标物体，并根据摄像头110的畸变参数实时确定目标物体的真实坐标。然后，摄像头110根据单目测距公式和目标物体的真实坐标，实时确定目标物体的位置信息，进而得到目标物体对应的实时6D信息(以下称为第一6D信息)，并将该第一6D信息发送至融合模块130。雷达120可以对实时采集到的目标物体对应的扫描点进行聚类处理，得到目标物体对应的实时6D信息(以下称为第二6D信息)，并将该第二6D信息发送至融合模块130。后续，融合模块130可以对目标物体的第一6D信息和第二6D信息进行卡尔曼滤波处理，得到目标物体对应的目标6D信息，并将目标物体对应的目标6D信息发送至决策模块140，决策模块140接收到目标物体对应的目标6D信息后，可以根据目标物体的目标6D信息进行决策。
下面将结合具体实施方式，对本申请实施例提供的一种确定摄像头的畸变参数的方法进行详细的说明。如图2所示，具体步骤如下：
步骤201，将雷达坐标系和摄像头坐标系进行标定。
在本申请的实施例中，由于摄像头110和雷达120通常安装在无人驾驶车辆上的不同位置。因此，摄像头110对应的摄像头坐标系和雷达120对应的雷达坐标系不相同。为了保证确定出的摄像头110的畸变参数的准确性，在确定畸变参数之前，须将雷达坐标系与摄像头坐标系进行标定，也即将雷达坐标系的原点与摄像头坐标系的原点统一。
步骤202，获取雷达采集的点云数据。
其中，点云数据包括至少一个扫描点。
在本申请的实施例中，摄像头110将雷达坐标系和摄像头坐标系标定后，当摄像头110需要确定畸变参数时，摄像头110可以获取雷达120采集的点云数据。其中，点云数据包括至少一个扫描点，扫描点为雷达120采集到的物体表面的点，在毫米波雷达坐标系下，扫描点以二维坐标(即(X，Z))表示，在激光雷达坐标系下，点云以三维坐标(即(X，Y，Z))表示；点云数据为各扫描点的集合。摄像头110需要确定畸变参数的情况可以有多种，本申请实施例提供了两种摄像头110需要确定畸变参数的情况，具体如下：
情况一，当摄像头的高度信息或角度信息变化时，获取雷达采集到的点云数据。
在本申请的实施例中，摄像头110可以周期性的获取自身当前的高度信息和角度信息(比如偏转角度信息和俯仰角度信息)。当摄像头110获取到的当前的高度信息与上一次获取到的高度信息不相同(也即摄像头的高度信息发生变化)时，摄像头110可以向雷达120发送点云数据获取请求。雷达120接收到点云数据获取请求后，向摄像头110发送点云数据获取响应，该点云数据获取响应中携带有雷达120采集的点云数据。摄像头110接收到点云数据获取响应后，可以对点云数据获取响应进行解析，得到点云数据获取响应中携带的雷达120采集到的点云数据。同理，当摄像头110获取到的当前的角度信息与上一次获取到的角度信息不同(也即摄像头的角度信息发生变化)时，摄像头110可以向雷达120发送点云数据获取请求。雷达120接收到点云数据获取请求后，向摄像头110发送点云数据获取响应，该点云数据获取响应中携带有雷达120采集的点云数据。摄像头110接收到点云数据获取响应后，可以对点云数据获取响应进行解析，得到点云数据获取响应中携带的雷达120采集到的点云数据。
情况二，周期性地获取雷达采集到的点云数据。
在本申请的实施例中，摄像头110可以直接根据预设的采样周期，周期性地向雷达120发送点云数据获取请求。雷达120接收到点云数据获取请求后，向摄像头110发送点云数据获取响应，该点云数据获取响应中携带有雷达120采集的点云数据。摄像头110接收到点云数据获取响应后，可以对点云数据获取响应进行解析，得到点云数据获取响应中携带的雷达120采集到的点云数据。
步骤203，获取摄像头采集的图像数据。
其中，图像数据包括至少一个第一特征点。
在本申请的实施例中，摄像头110在确定畸变参数时，还需要获取自身采集的图像数据。其中，图像数据包括至少一个第一特征点，第一特征点为图像灰度值发生剧烈变化的点。
需要说明的是，步骤202和步骤203的执行过程不分先后顺序，摄像头110可以先执行步骤202后执行步骤203，也可以先执行步骤203后执行步骤202，本申请实施例不作限定。
步骤204，确定第一特征点对应的扫描点；
在本申请的实施例中，摄像头110获取到雷达120采集的点云数据和自身采集的图像数据后，可以将点云数据中的各扫描点映射到图像数据对应的图像坐标系中。然后，针对每个第一特征点，摄像头110可以在该图像坐标系中确定该第一特征点对应的扫描点。其中，摄像头110确定第一特征点对应的扫描点的方式可以有多种，本申请实施例提供了两种摄像头110确定第一特征点对应的扫描点的方式，具体如下：
方式一，摄像头110根据第一特征点、第一预设平面距离阈值和第一深度距离概率值确定第一候选扫描点集，并将第一候选扫描点集中组成面积最大三角形的三个扫描点，确定为第一特征点对应的扫描点。
其中，第一候选扫描点集包括第一扫描点，第一扫描点与第一特征点的平面距离小于第一预设平面距离阈值，第一深度距离概率值用于去除后景扫描点。
在本申请的实施例中，摄像头110中可以预先存储有第一预设平面距离阈值和第一深度距离概率值。该第一预设平面距离阈值和第一深度距离概率值可以由技术人员根据经验进行设置。针对每个第一特征点，摄像头110可以在图像坐标系中将以该第一特征点为圆心，第一预设平面距离阈值为半径范围内的扫描点，确定为该第一特征点对应的第一候选扫描点。在一种可能的实现方式中，摄像头110在确定第一特征点对应的第一候选扫描点时，如图3A所示，摄像头110还可以在图像坐标系中以该第一特征点为中心，以预设的长度值和宽度值(即预设的第一预设平面距离阈值)，确定该第一特征点对应的矩阵邻域，并将该矩阵邻域中的扫描点，确定为第一特征点对应的第一候选扫描点。然后，摄像头110根据第一预设的区间(如0.3m)对第一预设平面内的第一候选扫描点的深度信息作直方图统计，直方图的纵坐标为各区间中第一候选扫描点的数目，统计每个区间中第一候选扫描点的数目，确定连续N个区间中的第一候选扫描点都非常稀疏的区间(即满足第一深度距离概率值的区间)所对应的深度值，去除该深度值后面所有的第一候选扫描点(即去除后景扫描点)，将剩下的第一候选扫描点组成第一特征点对应的第一候选扫描点集。
摄像头110得到该第一特征点对应的第一候选扫描点集后，如图3B所示，可以进一步在图像坐标系中，将第一候选扫描点集中组成面积最大三角形的三个扫描点，确定为第一特征点对应的扫描点。
需要说明的是，该实施方式一中，雷达为毫米波雷达或激光雷达。
方式二，根据第一特征点、第二预设平面距离阈值确定第一特征点对应的扫描点。其中，第一特征点对应的扫描点与第一特征点的平面距离小于第二预设平面距离阈值。从图像数据中选择至少N个第一特征点，至少N个第一特征点对应至少N个扫描点，N为大于等于3的整数。
在本申请的实施例中，摄像头110中可以预先存储有第二预设平面距离阈值。该第二预设平面距离阈值可以由技术人员根据经验进行设置。针对每个第一特征点，摄像头110可以在图像坐标系中将以该第一特征点为圆心，第二预设平面距离阈值为半径范围内的扫描点，确定为该第一特征点对应的扫描点。然后，摄像头110可以在第一特征点中选择至少N个第一特征点以及至少N个第一特征点对应至少N个扫描点。其中，N为大于等于1的整数。
需要说明的是，该实施方式二中，雷达为激光雷达。
步骤205，根据畸变参数算法实时确定摄像头的畸变参数。
在本申请的实施例中，摄像头110得到第一特征点对应的扫描点后，可以根据畸变参数算法实时确定摄像头110的畸变参数。这样，当无人驾驶车辆在行驶过程中，摄像头110可以根据雷达120采集的点云数据和自身采集的图像数据，实时确定畸变参数，从而降低无人驾驶车辆通过摄像头110测量到的目标物体的6D信息的误差。其中，基于摄像头110确定第一特征点对应的扫描点的不同方式，摄像头110根据畸变参数算法实时确定摄像头110的畸变参数的方式也不同，具体如下：
方式一，针对步骤204中的方式一，摄像头110根据畸变参数算法实时确定摄像头110的畸变参数的处理过程如下：
步骤一，根据单目测距公式确定第一特征点的测量深度。
在本申请的实施例中，针对每个第一特征点，摄像头110可以根据该第一特征点的坐标和单目测距公式，确定该第一特征点的测量深度。其中，单目测距公式如下：
Figure BDA0002109523870000081
其中，Yi测量深度为第i个第一特征点的测量深度，f为摄像头110的焦距，H为摄像头110距离地面的高度，y为第i个第一特征点的纵坐标。
步骤二，根据第一特征点对应的扫描点的深度信息，确定第一特征点的真实深度。
在本申请的实施例中，针对每个第一特征点，摄像头110得到该第一特征点对应的扫描点后，可以根据各扫描点的深度信息，确定该第一特征点的真实深度。其中，摄像头110可以将各扫描点到摄像头的距离的平均值，确定为该第一特征点的真实深度；摄像头110还可以根据各扫描点的坐标信息和最小二乘法，确定该第一特征点的真实深度。
步骤三，根据图像数据中的至少N个第一特征点的的测量深度和真实深度，构建方程组，方程组包括N个n阶方程，N和n均为大于等于1的整数，n阶方程为：
Figure BDA0002109523870000082
其中，Yi真实深度为第i个第一特征点的真实深度，Yi测量深度为第i个第一特征点的测量深度，a0，a1，a2，a3，…an为摄像头的畸变参数。
在本申请的实施例中，摄像头110得到各第一特征点的测量深度和真实深度后，可以构建方程组。该方程组中包括N个n阶方程，N和n均为大于等于1的整数，n阶方程为：
Figure BDA0002109523870000083
其中，Yi真实深度为第i个第一特征点的真实深度，Yi测量深度为第i个第一特征点的测量深度，a0，a1，a2，a3，…an为摄像头的畸变参数。
相应的，方程组为：
Figure BDA0002109523870000084
步骤四，求解方程组，得到摄像头的畸变参数a0，a1，a2，a3，…an。
在本申请的实施例中，摄像头110得到方程组后，可以进一步求解该方程组，得到摄像头110的畸变参数。
可选的，摄像头110得到畸变参数后，可以根据畸变参数确定目标物体的真实深度，具体处理过程为：摄像头110确定目标物体及目标物体对应的测量深度，根据n阶方程得到目标物体的真实深度，n阶方程为：
Figure BDA0002109523870000085
其中，Z真实深度为目标物体的真实深度，Z测量深度为目标物体的测量深度，a0，a1，a2，a3，…an为摄像头的畸变参数，n为大于等于1的整数。
在本申请的实施例中，摄像头110可以在图像数据中确定目标物体和目标物体的坐标，并根据单目测距公式和目标物体的坐标确定目标物体测量深度。然后，摄像头110可以将摄像头110的畸变参数和目标物体的测量深度代入至n阶方程中，得到目标物体的真实深度。单目测距公式为：
Figure BDA0002109523870000091
其中，Z测量深度为目标物体的测量深度，f为摄像头110的焦距，H为摄像头110距离地面的高度，y为目标物体的纵坐标。
n阶方程为：
Figure BDA0002109523870000092
其中，Z真实深度为目标物体的真实深度，Z测量深度为目标物体的测量深度，a0，a1，a2，a3，…an为摄像头的畸变参数，n为大于等于1的整数。
方式二，针对步骤204中的方式二，摄像头110根据畸变参数算法实时确定摄像头110的畸变参数的处理过程为：根据至少N个第一特征点的坐标和至少N个扫描点的坐标通过张正友标定法得到畸变参数。
在本申请的实施例中，摄像头110得到N个第一特征点的坐标和各第一特征点对应的扫描点的坐标后，可以根据张正友标定法，得到摄像头110对应的畸变参数。
可选的，摄像头110得到畸变参数后，可以根据畸变参数确定目标物体的真实深度，具体处理过程为：
步骤一，通过畸变参数确定目标物体在图像坐标系的真实坐标。
在本申请的实施例中，摄像头110得到畸变参数后，可以将畸变参数和目标物体的坐标代入至N阶方程，得到目标物体在图像坐标系的真实坐标。其中，N阶方程如下：
Figure BDA0002109523870000093
其中，x真实为目标物体的经过畸变处理后的真实坐标的横坐标，x图像为目标物体的未经过畸变处理后的测量坐标的横坐标，y真实为目标物体的经过畸变处理后的真实坐标的纵坐标，y图像为目标物体的未经过畸变处理后的测量坐标的纵坐标，a1，a2，a3，…an为畸变参数，
Figure BDA0002109523870000094
步骤二，通过单目测距公式确定目标物体在摄像头坐标系下的真实深度。
在本申请的实施例中，摄像头110得到目标物体的真实坐标后，可以根据目标物体的真实坐标和单目测距公式确定目标物体的真实深度。其中，摄像头根据目标物体的真实坐标和单目测距公式确定目标物体的真实深度的处理过程与步骤205中摄像头110根据第一特征点的坐标和单目测距公式，确定第一特征点的测量深度的处理过程类似，此处不再赘述。
可选的，摄像头110得到畸变参数后，可以根据摄像头的畸变参数和摄像头采集到的目标物体的图像数据，确定目标物体的第一6D信息，并向融合模块发送目标物体的第一6D信息。
在本申请的实施例中，摄像头110得到畸变参数后，可以根据畸变参数和摄像头实时采集到的目标物体的图像数据，得到目标物体的位置信息，从而得到目标物体的实时6D信息(即第一6D信息)，并将该目标物体的第一6D信息发送给融合模块130，以便融合模块130融合模块130接收到摄像头110发送的目标物体的第一6D信息和雷达120发送的目标物体的第二6D信息后，可以对第一6D信息和第二6D信息进行卡尔曼滤波处理，得到目标物体的目标6D信息。
本申请的实施例提供了一种确定摄像头的畸变参数的方法，首先，无人驾驶车辆中的摄像头110将雷达坐标系和摄像头坐标系进行标定。然后，摄像头110获取雷达120采集的点云数据和摄像头110采集的图像数据。其中，点云数据包括至少一个扫描点，图像数据包括至少一个第一特征点。之后，摄像头110根据点云数据和图像数据确定第一特征点对应的扫描点，并根据畸变参数算法实时确定摄像头的畸变参数。这样，当无人驾驶车辆在行驶过程中，摄像头110的高度信息或角度信息发生变化时，摄像头110可以根据雷达120采集的点云数据和摄像头采集的图像数据，实时确定摄像头的畸变参数，从而降低无人驾驶车辆通过摄像头110测量到的目标物体的6D信息的误差。
本申请实施例还提供了一种获得目标物体精准位置的方法，该方法可以应用于无人驾驶车辆中的雷达120，具体步骤如下：
步骤一，接收摄像头发送的点云数据获取请求。
在本申请的实施例中，当摄像头110需要确定畸变参数时，摄像头110可以向雷达120发送点云数据获取请求。
步骤二，获取点云数据，向摄像头发送点云数据。
其中，点云数据包括至少一个扫描点。
在本申请的实施例中，雷达120接收到摄像头110发送的点云数据获取请求后，可以获取自身采集的点云数据，并向摄像头110发送该点云数据。其中，点云数据包括至少一个扫描点。
可选的，雷达120还可以根据获取到的目标物体的点云数据，确定目标物体的第二6D信息，并向融合模块发送目标物体的第二6D信息。
在本申请的实施例中，雷达120对实时采集到的目标物体的点云数据进行聚类处理，得到目标物体的实时6D信息(即第二6D信息)，并将该目标物体的第二6D信息发送给融合模块130。
本申请实施例还提供了一种获得目标物体精准位置的方法，该方法可以应用于无人驾驶车辆中的融合模块130，具体步骤为：融合模块130接收摄像头发送的目标物体的第一6D信息和雷达发送的目标物体的第二6D信息，对第一6D信息和第二6D信息进行卡尔曼滤波处理，得到目标物体的目标6D信息。
在本申请的实施例中，融合模块130接收到摄像头110发送的目标物体的第一6D信息和雷达120发送的目标物体的第二6D信息后，可以对第一6D信息和第二6D信息进行卡尔曼滤波处理，得到目标物体的目标6D信息，并将目标物体对应的目标6D信息发送至决策模块140。这样，决策模块140接收到目标物体对应的目标6D信息后，可以根据目标物体的目标6D信息进行决策，从而保证无人驾驶车辆的行驶安全。
基于相同的技术构思，本申请实施例还提供了一种确定摄像头的畸变参数的装置，如图4所示，该装置包括：
标定模块410，用于将雷达坐标系和摄像头坐标系进行标定；
第一获取模块420，用于获取雷达采集的点云数据，点云数据包括至少一个扫描点；
第二获取模块430，用于获取摄像头采集的图像数据，图像数据包括至少一个第一特征点；
第一确定模块440，用于确定第一特征点对应的扫描点；
第二确定模块450，用于根据畸变参数算法实时确定摄像头的畸变参数。
在一种可能的实现方式中，第一获取模块420，具体用于：
当摄像头的高度信息或角度信息变化时，获取雷达采集到的点云数据。
在一种可能的实现方式中，第一获取模块420，具体用于：
周期性地获取雷达采集到的点云数据。
在一种可能的实现方式中，第一确定模块440，具体用于：
根据第一特征点、第一预设平面距离阈值和第一深度距离概率值确定第一候选扫描点集，第一候选扫描点集包括第一扫描点，第一扫描点与第一特征点的平面距离小于第一预设平面距离阈值，第一深度距离概率值用于去除后景扫描点；
将第一候选扫描点集中组成面积最大三角形的三个扫描点，确定为第一特征点对应的扫描点。
在一种可能的实现方式中，第二确定模块450，具体用于：
根据单目测距公式确定第一特征点的测量深度；
根据第一特征点对应的扫描点的深度信息，确定第一特征点的真实深度；
根据图像数据中的至少N个第一特征点的的测量深度和真实深度，构建方程组，方程组包括N个n阶方程，N和n均为大于等于1的整数，n阶方程为：
Figure BDA0002109523870000111
其中，Yi真实深度为第i个第一特征点的真实深度，Yi测量深度为第i个第一特征点的测量深度，a0，a1，a2，a3，…an为摄像头的畸变参数；
求解方程组，得到摄像头的畸变参数a0，a1，a2，a3，…an；
在一种可能的实现方式中，如图5所示，该装置还包括：
第三确定模块460，用于确定目标物体及目标物体对应的测量深度，根据n阶方程得到目标物体的真实深度，n阶方程为：
Figure BDA0002109523870000112
其中，Z真实深度为目标物体的真实深度，Z测量深度为目标物体的测量深度，a0，a1，a2，a3，…an为摄像头的畸变参数，n为大于等于1的整数。
在一种可能的实现方式中，雷达为毫米波雷达或激光雷达。
在一种可能的实现方式中，第一确定模块440，具体用于：
根据第一特征点、第二预设平面距离阈值确定第一特征点对应的扫描点，第一特征点对应的扫描点与第一特征点的平面距离小于第二预设平面距离阈值；
从图像数据中选择至少N个第一特征点，至少N个第一特征点对应至少N个扫描点，N为大于等于1的整数。
在一种可能的实现方式中，第二确定模块450，具体用于：
在摄像头坐标系中，根据至少N个第一特征点的坐标和至少N个扫描点的坐标通过张正友标定法得到畸变参数。
在一种可能的实现方式中，如图6所示，该装置还包括：
第四确定模块470，用于通过畸变参数确定目标物体在图像坐标系的真实坐标；
第五确定模块480，用于通过单目测距公式确定目标物体在摄像头坐标系下的真实深度。
在一种可能的实现方式中，雷达为激光雷达。
在一种可能的实现方式中，如图7所示，该装置还包括：
第六确定模块490，用于根据摄像头的畸变参数和摄像头采集到的目标物体的图像数据，确定目标物体的第一6D信息；
发送模块4100，用于向融合模块发送目标物体的第一6D信息。
本申请的实施例提供了一种确定摄像头的畸变参数的装置，首先，无人驾驶车辆中的摄像头110将雷达坐标系和摄像头坐标系进行标定。然后，摄像头110获取雷达120采集的点云数据和摄像头110采集的图像数据。其中，点云数据包括至少一个扫描点，图像数据包括至少一个第一特征点。之后，摄像头110根据点云数据和图像数据确定第一特征点对应的扫描点，并根据畸变参数算法实时确定摄像头的畸变参数。这样，当无人驾驶车辆在行驶过程中，摄像头110的高度信息或角度信息发生变化时，摄像头110可以根据雷达120采集的点云数据和摄像头采集的图像数据，实时确定摄像头的畸变参数，从而降低无人驾驶车辆通过摄像头110测量到的目标物体的6D信息的误差。
基于相同的技术构思，本申请实施例还提供了一种确定摄像头的畸变参数的装置，包括：处理器、存储器和通信接口；其中，通信接口用于与其他设备或通信网络通信，存储器用于存储一个或多个程序，所述一个或多个程序包括计算机执行指令，当该装置运行时，处理器执行存储器存储的所述计算机执行指令以使该装置执行上述所述的确定摄像头的畸变参数的方法。
基于相同的技术构思，本申请实施例还提供了一种确定摄像头的畸变参数的系统，包括摄像头、雷达和上述所述的确定摄像头的畸变参数的装置。
基于相同的技术构思，本申请实施例还提供了一种计算机可读存储介质，包括程序和指令，当所述程序或指令在计算机上运行时，上述所述的确定摄像头的畸变参数的方法被实现。
基于相同的技术构思，本申请实施例还提供了一种芯片系统，包括处理器，所述处理器和存储器耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现上述所述的确定摄像头的畸变参数的方法。
基于相同的技术构思，本申请实施例还提供了一种包含指令的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行上述所述的确定摄像头的畸变参数的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (28)

1.一种确定摄像头的畸变参数的方法，其特征在于，包括：
将雷达坐标系和摄像头坐标系进行标定；
获取雷达采集的点云数据，所述点云数据包括至少一个扫描点；
获取摄像头采集的图像数据，所述图像数据包括至少一个第一特征点；
确定所述第一特征点对应的扫描点；
根据畸变参数算法实时确定所述摄像头的畸变参数。
2.根据权利要求1所述的方法，其特征在于，所述获取雷达采集的点云数据，包括：
当所述摄像头的高度信息或角度信息变化时，获取雷达采集到的点云数据。
3.根据权利要求1所述的方法，其特征在于，所述获取雷达采集的点云数据，包括：
周期性地获取雷达采集到的点云数据。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述确定所述第一特征点对应的扫描点，包括：
根据所述第一特征点、第一预设平面距离阈值和第一深度距离概率值确定第一候选扫描点集，所述第一候选扫描点集包括第一扫描点，所述第一扫描点与所述第一特征点的平面距离小于所述第一预设平面距离阈值，所述第一深度距离概率值用于去除后景扫描点；
将所述第一候选扫描点集中组成面积最大三角形的三个扫描点，确定为所述第一特征点对应的扫描点。
5.根据权利要求4所述的方法，其特征在于，所述根据畸变参数算法实时确定所述摄像头的畸变参数，包括：
根据单目测距公式确定所述第一特征点的测量深度；
根据所述第一特征点对应的扫描点的深度信息，确定所述第一特征点的真实深度；
根据所述图像数据中的至少N个第一特征点的的测量深度和真实深度，构建方程组，所述方程组包括N个n阶方程，所述N和所述n均为大于等于1的整数，所述n阶方程为：
Figure FDA0002109523860000011
其中，Yi真实深度为第i个第一特征点的真实深度，Yi测量深度为第i个第一特征点的测量深度，a0，a1，a2，a3，…an为所述摄像头的畸变参数；
求解所述方程组，得到所述摄像头的畸变参数a0，a1，a2，a3，…an。
6.根据权利要求5所述的方法，其特征在于，还包括：
确定目标物体及所述目标物体对应的测量深度，根据n阶方程得到所述目标物体的真实深度，所述n阶方程为：
Figure FDA0002109523860000012
其中，Z真实深度为所述目标物体的真实深度，Z测量深度为所述目标物体的测量深度，a0，a1，a2，a3，…an为所述摄像头的畸变参数，所述n为大于等于1的整数。
7.根据权利要求6所述的方法，其特征在于，所述雷达为毫米波雷达或激光雷达。
8.根据权利要求1-3任一项所述的方法，其特征在于，所述确定所述第一特征点对应的扫描点，包括：
根据所述第一特征点、第二预设平面距离阈值确定所述第一特征点对应的扫描点，所述第一特征点对应的扫描点与所述第一特征点的平面距离小于所述第二预设平面距离阈值；
从所述图像数据中选择至少N个第一特征点，所述至少N个第一特征点对应至少N个扫描点，所述N为大于等于3的整数。
9.根据权利要求8所述的方法，其特征在于，所述根据畸变参数算法实时确定所述摄像头的畸变参数，包括：
在摄像头坐标系中，根据所述至少N个第一特征点的坐标和所述至少N个扫描点在摄像头坐标系中的坐标通过张正友标定法得到畸变参数。
10.根据权利要求9所述的方法，其特征在于，还包括：
通过所述畸变参数确定目标物体在图像坐标系的真实坐标；
通过单目测距公式确定所述目标物体在所述摄像头坐标系下的真实深度。
11.根据权利要求10所述的方法，其特征在于，所述雷达为激光雷达。
12.根据权利要求1-11任一所述的方法，其特征在于，还包括：
根据所述摄像头的畸变参数和所述摄像头采集到的目标物体的图像数据，确定所述目标物体的第一6D信息；
向融合模块发送所述目标物体的所述第一6D信息。
13.一种确定摄像头的畸变参数的装置，其特征在于，包括：
标定模块，用于将雷达坐标系和摄像头坐标系进行标定；
第一获取模块，用于获取雷达采集的点云数据，所述点云数据包括至少一个扫描点；
第二获取模块，用于获取摄像头采集的图像数据，所述图像数据包括至少一个第一特征点；
第一确定模块，用于确定所述第一特征点对应的扫描点；
第二确定模块，用于根据畸变参数算法实时确定所述摄像头的畸变参数。
14.根据权利要求13所述的装置，其特征在于，所述第一获取模块，具体用于：
当所述摄像头的高度信息或角度信息变化时，获取雷达采集到的点云数据。
15.根据权利要求13所述的装置，其特征在于，所述第一获取模块，具体用于：
周期性地获取雷达采集到的点云数据。
16.根据权利要求13-15任一项所述的装置，其特征在于，所述第一确定模块，具体用于：
根据所述第一特征点、第一预设平面距离阈值和第一深度距离概率值确定第一候选扫描点集，所述第一候选扫描点集包括第一扫描点，所述第一扫描点与所述第一特征点的平面距离小于所述第一预设平面距离阈值，所述第一深度距离概率值用于去除后景扫描点；
将所述第一候选扫描点集中组成面积最大三角形的三个扫描点，确定为所述第一特征点对应的扫描点。
17.根据权利要求16所述的装置，其特征在于，所述第二确定模块，具体用于：
根据单目测距公式确定所述第一特征点的测量深度；
根据所述第一特征点对应的扫描点的深度信息，确定所述第一特征点的真实深度；
根据所述图像数据中的至少N个第一特征点的的测量深度和真实深度，构建方程组，所述方程组包括N个n阶方程，所述N和所述n均为大于等于1的整数，所述n阶方程为：
Figure FDA0002109523860000021
其中，Yi真实深度为第i个第一特征点的真实深度，Yi测量深度为第i个第一特征点的测量深度，a0，a1，a2，a3，…an为所述摄像头的畸变参数；
求解所述方程组，得到所述摄像头的畸变参数a0，a1，a2，a3，…an。
18.根据权利要求17所述的装置，其特征在于，还包括：
第三确定模块，用于确定目标物体及所述目标物体对应的测量深度，根据n阶方程得到所述目标物体的真实深度，所述n阶方程为：
Figure FDA0002109523860000031
其中，Z真实深度为所述目标物体的真实深度，Z测量深度为所述目标物体的测量深度，a0，a1，a2，a3，…an为所述摄像头的畸变参数，所述n为大于等于1的整数。
19.根据权利要求18所述的装置，其特征在于，所述雷达为毫米波雷达或激光雷达。
20.根据权利要求13-15任一项所述的装置，其特征在于，所述第一确定模块，具体用于：
根据所述第一特征点、第二预设平面距离阈值确定所述第一特征点对应的扫描点，所述第一特征点对应的扫描点与所述第一特征点的平面距离小于所述第二预设平面距离阈值；
从所述图像数据中选择至少N个第一特征点，所述至少N个第一特征点对应至少N个扫描点，所述N为大于等于3的整数。
21.根据权利要求20所述的装置，其特征在于，所述第二确定模块，具体用于：
在摄像头坐标系中，根据所述至少N个第一特征点的坐标和所述至少N个扫描点的坐标通过张正友标定法得到畸变参数。
22.根据权利要求21所述的装置，其特征在于，还包括：
第四确定模块，用于通过所述畸变参数确定目标物体在图像坐标系的真实坐标；
第五确定模块，用于通过单目测距公式确定所述目标物体在所述摄像头坐标系下的真实深度。
23.根据权利要求22所述的装置，其特征在于，所述雷达为激光雷达。
24.根据权利要求13-23任一所述的装置，其特征在于，所述装置还包括：
第六确定模块，用于根据所述摄像头的畸变参数和所述摄像头采集到的目标物体的图像数据，确定所述目标物体的第一6D信息；
发送模块，用于向融合模块发送所述目标物体的所述第一6D信息。
25.一种确定摄像头的畸变参数的装置，其特征在于，包括：处理器、存储器和通信接口；其中，通信接口用于与其他设备或通信网络通信，存储器用于存储一个或多个程序，所述一个或多个程序包括计算机执行指令，当该装置运行时，处理器执行存储器存储的所述计算机执行指令以使该装置执行如权利要求1-12任一项所述的确定摄像头的畸变参数的方法。
26.一种确定摄像头的畸变参数的系统，其特征在于，包括摄像头、雷达和如权利要求13-24任一所述的确定摄像头的畸变参数的装置。
27.一种计算机可读存储介质，其特征在于，包括程序和指令，当所述程序或指令在计算机上运行时，如权利要求1-12任一项所述的确定摄像头的畸变参数的方法被实现。
28.一种芯片系统，其特征在于，包括处理器，所述处理器和存储器耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现权利要求1-12任一项所述的确定摄像头的畸变参数的方法。
CN201910565719.2A 2019-06-27 2019-06-27 一种确定摄像头的畸变参数的方法及装置 Active CN112146848B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910565719.2A CN112146848B (zh) 2019-06-27 2019-06-27 一种确定摄像头的畸变参数的方法及装置
PCT/CN2020/097761 WO2020259506A1 (zh) 2019-06-27 2020-06-23 一种确定摄像头的畸变参数的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910565719.2A CN112146848B (zh) 2019-06-27 2019-06-27 一种确定摄像头的畸变参数的方法及装置

Publications (2)

Publication Number Publication Date
CN112146848A true CN112146848A (zh) 2020-12-29
CN112146848B CN112146848B (zh) 2022-02-25

Family

ID=73868642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910565719.2A Active CN112146848B (zh) 2019-06-27 2019-06-27 一种确定摄像头的畸变参数的方法及装置

Country Status (2)

Country Link
CN (1) CN112146848B (zh)
WO (1) WO2020259506A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487652A (zh) * 2021-06-22 2021-10-08 江西晶浩光学有限公司 安防监控方法、安防监控设备、存储介质以及计算机设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112764546B (zh) * 2021-01-29 2022-08-09 重庆子元科技有限公司 一种虚拟人物位移控制方法、装置及终端设备
CN112967344B (zh) * 2021-03-09 2023-12-08 阿波罗智联(北京)科技有限公司 相机外参标定的方法、设备、存储介质及程序产品
CN113077523B (zh) * 2021-03-31 2023-11-24 商汤集团有限公司 一种标定方法、装置、计算机设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101497279A (zh) * 2009-02-26 2009-08-05 王晓宇 一种测量加工一体化的激光三维打标方法及装置
CN201316382Y (zh) * 2008-12-10 2009-09-30 魏志方 多功能无线报警拐杖
CN103458181A (zh) * 2013-06-29 2013-12-18 华为技术有限公司 镜头畸变参数调节方法、装置及摄像设备
US20140132723A1 (en) * 2012-11-13 2014-05-15 Osmose Utilities Services, Inc. Methods for calibrating a digital photographic image of utility structures
CN103837869A (zh) * 2014-02-26 2014-06-04 北京工业大学 基于向量关系的单线激光雷达和ccd相机标定方法
CN106918306A (zh) * 2017-04-22 2017-07-04 许晟明 基于光场单相机的工业产品三维形貌实时检测系统
CN108648240A (zh) * 2018-05-11 2018-10-12 东南大学 基于点云特征地图配准的无重叠视场相机姿态标定方法
CN108964777A (zh) * 2018-07-25 2018-12-07 南京富锐光电科技有限公司 一种高速相机校准系统及方法
CN109087382A (zh) * 2018-08-01 2018-12-25 宁波发睿泰科智能科技有限公司 一种三维重构方法及三维成像系统
CN109146978A (zh) * 2018-07-25 2019-01-04 南京富锐光电科技有限公司 一种高速相机成像畸变校准装置及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100586200C (zh) * 2008-08-28 2010-01-27 上海交通大学 基于激光雷达的摄像头标定方法
CN108198223B (zh) * 2018-01-29 2020-04-07 清华大学 一种激光点云与视觉图像映射关系快速精确标定方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201316382Y (zh) * 2008-12-10 2009-09-30 魏志方 多功能无线报警拐杖
CN101497279A (zh) * 2009-02-26 2009-08-05 王晓宇 一种测量加工一体化的激光三维打标方法及装置
US20140132723A1 (en) * 2012-11-13 2014-05-15 Osmose Utilities Services, Inc. Methods for calibrating a digital photographic image of utility structures
CN103458181A (zh) * 2013-06-29 2013-12-18 华为技术有限公司 镜头畸变参数调节方法、装置及摄像设备
CN103837869A (zh) * 2014-02-26 2014-06-04 北京工业大学 基于向量关系的单线激光雷达和ccd相机标定方法
CN106918306A (zh) * 2017-04-22 2017-07-04 许晟明 基于光场单相机的工业产品三维形貌实时检测系统
CN108648240A (zh) * 2018-05-11 2018-10-12 东南大学 基于点云特征地图配准的无重叠视场相机姿态标定方法
CN108964777A (zh) * 2018-07-25 2018-12-07 南京富锐光电科技有限公司 一种高速相机校准系统及方法
CN109146978A (zh) * 2018-07-25 2019-01-04 南京富锐光电科技有限公司 一种高速相机成像畸变校准装置及方法
CN109087382A (zh) * 2018-08-01 2018-12-25 宁波发睿泰科智能科技有限公司 一种三维重构方法及三维成像系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王强: ""车载移动测量系统点云与影像配准研究"", 《中国优秀硕士学位论文全文数据库 基础科学辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487652A (zh) * 2021-06-22 2021-10-08 江西晶浩光学有限公司 安防监控方法、安防监控设备、存储介质以及计算机设备

Also Published As

Publication number Publication date
WO2020259506A1 (zh) 2020-12-30
CN112146848B (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
CN112146848B (zh) 一种确定摄像头的畸变参数的方法及装置
CN108732582B (zh) 车辆定位方法和装置
WO2021098608A1 (zh) 传感器的标定方法、装置、系统、车辆、设备及存储介质
EP3517997A1 (en) Method and system for detecting obstacles by autonomous vehicles in real-time
WO2020102944A1 (zh) 点云处理方法、设备及存储介质
CN108377380B (zh) 影像扫描系统及其方法
JP2006252473A (ja) 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
JP2018124787A (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
CN111563450B (zh) 数据处理方法、装置、设备及存储介质
CN111862180B (zh) 一种相机组位姿获取方法、装置、存储介质及电子设备
CN109828250B (zh) 一种雷达标定方法、标定装置及终端设备
CN113156407B (zh) 车载激光雷达外参数联合标定方法、系统、介质及设备
WO2021016854A1 (zh) 一种标定方法、设备、可移动平台及存储介质
CN111815707A (zh) 点云确定方法、点云筛选方法、装置、计算机设备
US20230351635A1 (en) Optical axis calibration method and apparatus of optical axis detection system, terminal, system, and medium
CN112036359B (zh) 一种车道线的拓扑信息获得方法、电子设备及存储介质
CN109143167B (zh) 一种障碍信息获取装置及方法
CN111142514A (zh) 一种机器人及其避障方法和装置
CN111383264B (zh) 一种定位方法、装置、终端及计算机存储介质
CN109598199B (zh) 车道线生成方法和装置
CN114611635B (zh) 一种对象的识别方法、装置、存储介质及电子装置
CN112750165B (zh) 参数标定方法、智能驾驶方法及其装置、设备和存储介质
CN115018922A (zh) 畸变参数标定方法、电子设备和计算机可读存储介质
CN112598736A (zh) 一种基于地图构建的视觉定位方法及装置
JP2021012043A (ja) 機械学習用情報処理装置、機械学習用情報処理方法、および機械学習用情報処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant