CN108932737A - 车载相机俯仰角标定方法和装置、电子设备以及车辆 - Google Patents

车载相机俯仰角标定方法和装置、电子设备以及车辆 Download PDF

Info

Publication number
CN108932737A
CN108932737A CN201810617223.0A CN201810617223A CN108932737A CN 108932737 A CN108932737 A CN 108932737A CN 201810617223 A CN201810617223 A CN 201810617223A CN 108932737 A CN108932737 A CN 108932737A
Authority
CN
China
Prior art keywords
track
vehicle
vehicle camera
angle
inertial measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810617223.0A
Other languages
English (en)
Other versions
CN108932737B (zh
Inventor
颜沁睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Horizon Robotics Science and Technology Co Ltd
Original Assignee
Shenzhen Horizon Robotics Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Horizon Robotics Science and Technology Co Ltd filed Critical Shenzhen Horizon Robotics Science and Technology Co Ltd
Priority to CN201810617223.0A priority Critical patent/CN108932737B/zh
Publication of CN108932737A publication Critical patent/CN108932737A/zh
Application granted granted Critical
Publication of CN108932737B publication Critical patent/CN108932737B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C23/00—Combined instruments indicating more than one navigational value, e.g. for aircraft; Combined measuring devices for measuring two or more variables of movement, e.g. distance, speed or acceleration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请涉及车载相机俯仰角标定方法和装置、电子设备以及车辆。根据一实施例，一种车载相机俯仰角标定方法可包括：利用所述惯性测量单元确定重力方向；利用惯性测量单元跟踪车辆的移动，获得与一移动距离对应的第一轨迹；利用车载相机跟踪车辆的移动，获得与所述移动距离对应的第二轨迹；确定所述第一轨迹与所述第二轨迹之间的偏移量，以确定所述车载相机与所述惯性测量单元之间的夹角；基于所述重力方向、所述车载相机与所述惯性测量单元之间的夹角、以及所述惯性测量单元确定的俯仰角方向来确定所述车载相机的俯仰角。本发明的方法能够以全自动的方式，结合惯性测量单元对车载相机的俯仰角进行实时在线标定，而不需要人工参与，因此能够广泛应用于自动驾驶等领域。

Description

车载相机俯仰角标定方法和装置、电子设备以及车辆
技术领域
本申请总体上涉及自动驾驶(ADAS)领域，更特别地，涉及一种车载相机俯仰角标定方法和装置，其能够以全自动的方式，结合惯性测量单元对车载相机的俯仰角进行实时在线标定，而不需要人工参与。本申请还涉及用于实施该方法的电子设备、以及包括该电子设备的车辆。
背景技术
近年来，自动驾驶，或者说高级驾驶辅助系统(ADAS)，受到了广泛的关注和热烈的研究。ADAS系统需要使用各种车载传感器来感知车辆本身以及周围环境的各种状态，从而做出驾驶策略决定，最终实现自动驾驶功能。其中，车载相机，也称为摄像头，由于价格低廉，能实现多种功能，而被广泛使用。
随着相关硬件以及视频处理技术的发展，车载相机能以更高的分辨率和更高的帧速提供对周围环境以及车辆本身姿态的感知。此时，车载相机相对于车身的安装位置和姿态也变得更加重要，因为安装位置和姿态的细微差异可能导致其所拍摄图像的不同，进而可能会影响视觉感知的结果。因此，在将相机安装到车身上之后，通常需要进行标定来确定相机的安装位置和姿态。车载相机的姿态一般包括航向角(yaw)、俯仰角(pitch)和滚转角(roll)，其中俯仰角对于车载视觉系统尤其重要，因为俯仰角的变化可能导致目标对象例如前方车辆在摄像机图像中的位置变化，进而影响例如对前方车辆的距离估计等，这些都会对辅助驾驶系统做出的各种驾驶决策有不利影响。
然而，目前尚没有简单有效的方法来标定车载相机的俯仰角，一般需要通过手工测量多个点来整体地标定相机的姿态。具体而言，在完全水平的地面上放置标定板，测量标定板上的多个点在世界坐标系中的三维坐标以及对应点在图像坐标系中的二维坐标，利用这些坐标来计算车载相机的航向角、俯仰角以及滚转角。这种手工测量的标定方式有若干缺点。首先，其需要通过手工测量来进行标定，耗时费力，而且不同的人在手工测量时可能存在测量精度差异，导致标定结果不稳定。此外，其计算过程复杂，需要同时计算出各个姿态角，容易产生计算错误。
因此，仍需要一种标定方法，其能够简单方便、快速正确地标定车载相机相对于水平面的俯仰角。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种车载相机俯仰角标定方法和装置，其能够利用惯性测量单元来对车载相机的俯仰角进行标定。本申请还涉及用于实施该方法的电子设备、以及包括该电子设备的车辆。
根据一示例性实施例，提供一种车载相机俯仰角标定方法，其包括：利用所述惯性测量单元确定重力方向；利用惯性测量单元跟踪车辆的移动，获得与一移动距离对应的第一轨迹；利用车载相机跟踪车辆的移动，获得与所述移动距离对应的第二轨迹；确定所述第一轨迹与所述第二轨迹之间的偏移量，以确定所述车载相机与所述惯性测量单元之间的夹角；基于所述重力方向、所述车载相机与所述惯性测量单元之间的夹角、以及所述惯性测量单元确定的俯仰角方向来确定所述车载相机的俯仰角。
在一示例中，所述第一轨迹和所述第二轨迹每个都包括多个轨迹点，每个轨迹点由旋转矩阵R和平移矩阵T表示。
在一示例中，所述第一轨迹是所述惯性测量单元的局部坐标系中的轨迹，所述第二轨迹是所述车载相机的局部坐标系中的轨迹。
在一示例中，所述方法还包括：利用插值算法使所述第一轨迹和所述第二轨迹包括实质上相同数量的轨迹点。
在一示例中，确定所述第一轨迹与所述第二轨迹之间的偏移量包括：使所述第一轨迹旋转一角度以获得第三轨迹；比较所述第三轨迹和所述第二轨迹，从而确定使所述第三轨迹最接近所述第二轨迹的旋转角度，作为所述车载相机与所述惯性测量单元之间的夹角。
在一示例中，比较所述第三轨迹和所述第二轨迹包括计算所述第三轨迹和所述第二轨迹之间的相似度。
在一示例中，所述第三轨迹和所述第二轨迹之间的相似度由所述第三轨迹和所述第二轨迹之间的欧氏距离表示。
在一示例中，所述惯性测量单元在所述车辆静止时确定所述重力方向，所述移动距离是平坦表面上的移动距离。
根据另一示例性实施例，提供一种车载相机俯仰角标定装置，其包括：重力方向确定单元，用于基于惯性测量单元的测量数据确定重力方向；惯性轨迹计算单元，用于基于所述惯性测量单元的测量数据计算与车辆的一移动距离对应的第一轨迹；视觉轨迹计算单元，用于基于车载相机的测量数据计算与车辆的所述移动距离对应的第二轨迹；夹角计算单元，用于基于所述第一轨迹和所述第二轨迹计算所述车载相机与所述惯性测量单元之间的夹角；以及俯仰角计算单元，用于基于所述重力方向、所述车载相机与所述惯性测量单元之间的夹角、以及所述惯性测量单元确定的俯仰角方向来确定所述车载相机的俯仰角。
在一示例中，所述夹角计算单元包括：旋转单元，用于将所述第一轨迹旋转一角度以获得第三轨迹；以及轨迹比较单元，用于比较所述第三轨迹和所述第二轨迹，从而确定使所述第三轨迹最接近所述第二轨迹的旋转角度，作为所述车载相机与所述惯性测量单元之间的夹角。
在一示例中，所述装置还包括：插值单元，用于利用插值算法使所述第一轨迹和所述第二轨迹包括实质上相同数量的轨迹点。
根据另一示例性实施例，提供一种电子设备，其包括：处理器；以及存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行上述方法。
根据另一示例性实施例，提供一种车辆，其包括上述电子设备。
根据另一示例性实施例，提供一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行上述方法。
与现有技术相比，本发明的技术方案实现了诸多有益的技术效果。例如，通过利用惯性测量单元，本发明能以简单快捷的方式，对车载相机的俯仰角进行实时在线标定。而且，该标定过程可以全自动地进行，而不需要人工参与，因此消除了人为因素引入的标定误差，能够实现准确的俯仰角标定。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1图示了根据本申请实施例的俯仰角标定的应用场景的示意图。
图2图示了根据本申请实施例的俯仰角标定方法的流程图。
图3A和图3B分别示出了根据本申请实施例的惯性测量单元轨迹和车载相机轨迹的示意图。
图4图示了根据本申请实施例的俯仰角标定装置的功能框图。
图5图示了根据本申请实施例的电子设备的结构框图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
申请概述
如上所述，目前主要通过人工测量特征点的方式来标定车载相机例如摄像头与车身之间在各个方向上的夹角，包括航向角、俯仰角和滚转角。该过程费时费力，而且还可能因为人为因素而导致测量精度不稳定。
针对该技术问题，本申请的基本构思是提出一种利用惯性测量单元来辅助标定车载相机的俯仰角的方法，其中惯性测量单元一方面用于确定重力方向，另一方面可以通过捕捉车辆运动轨迹来确定惯性测量单元与车载相机之间的夹角，从而可以确定车载相机相对于水平方向(垂直于重力方向)的绝对俯仰角，进而还可以确定地面坡度等。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性系统
图1图示了根据本申请实施例的俯仰角标定的应用场景的示意图。如图1所示，车辆10可包括车载相机12，其可以是常用的单目相机、双目相机、或者更多目相机。虽然图1示出了车载相机12安装于车辆10的顶部，但是应理解，车载相机亦可安装于车辆10的其他位置处，例如车头部分处、前挡风玻璃处，等等。这里，车载相机12可用作视觉里程计。顾名思义，视觉里程计是利用车载相机12拍摄的视频图像，通过视频处理技术来确定车载相机12的运动轨迹。视觉里程计的具体原理将在下面详细描述。
继续参照图1，车辆10还可以包括惯性测量单元(IMU)14。一般而言，惯性测量单元14可以包括三轴加速度计和陀螺仪，其中三轴加速度计可测量车辆10在三个彼此垂直的轴方向上的加速度，陀螺仪可测量车辆10的角速度，由此可以解算出车辆10的运行轨迹，包括位置和姿态，该过程一般也称为惯性导航。利用惯性测量单元14来进行惯性导航的原理是相关领域熟知的技术，这里不再赘述。
继续参照图1，车辆10还可以包括标定单元16，其可以基于车载相机12和惯性测量单元14来确定车载相机12的俯仰角，具体标定过程将在下面详细描述。
应理解，车辆10本身可视为刚性体，车载相机12和惯性测量单元14都安装在作为刚性体的车辆10上，因此车载相机12和惯性测量单元14之间的夹角保持不变。当例如因车祸等因素而替换并且重新安装车载相机12和/或惯性测量单元14而导致二者之间的夹角发生变化时，可以通过重新执行本发明的标定过程来对车载相机12再次进行标定。
示例性方法
图2图示了根据本申请实施例的车载相机俯仰角标定方法的流程图。
如图2所示，根据本申请实施例的车载相机俯仰角标定方法100可包括S110，利用惯性测量单元14来确定重力方向。应理解，惯性测量单元14可以容易地确定加速度大小和方向，而当车辆10静止时，惯性测量单元14测量出的加速度即为重力加速度，其方向为重力方向，因此优选地，步骤S110在车辆10处于静止状态时执行。这里，惯性测量单元14测量出的重力方向为其局部坐标系，即图1所示的XbYbZb坐标系中的方向，Ob表示原点。
接下来，在步骤S120中，利用车载相机12和惯性测量单元14跟踪车辆10的移动，以分别获得与一移动距离对应的第一轨迹L1和第二轨迹L2。也就是说，第一轨迹L1和第二轨迹L2对应于车辆10的同一段移动距离，但是它们是由不同的测量设备捕获的移动轨迹。
可以利用多种算法来基于车载相机12拍摄的视频图像确定第一轨迹L1，例如本质矩阵算法、Epnp算法等。以本质矩阵算法为例，例如车载相机12获得第一帧图像Ft和第二帧图像Ft+1，通过FAST(Features from accelerated segment test)算法对第一帧图像Ft进行特征检测，以识别若干特征点，然后通过KLT(Kanade-Lucas-Tomasi)算法在第二帧图像Ft+1中跟踪这些特征点。然后，可通过RANSAC的五点算法来估计这两幅图像的本质矩阵，通过计算本质矩阵，并且结合尺度信息，即可估计旋转矩阵R和平移矩阵T。这里的本质矩阵算法和Epnp算法仅是示例，OpenCV库中还集成了许多其他视觉里程计(Visual Odometry)算法，这里不再一一详细描述。车载相机12可以连续拍摄多帧图像，并且计算与多帧图像对应的旋转矩阵R和平移矩阵T，从而得到多个轨迹点，每个轨迹点由旋转矩阵R和平移矩阵T表示。
如前所述，惯性测量单元14可包括加速度传感器和陀螺仪，通过加速度传感器可以二次积分得到车辆10的位移，其可表示为平移矩阵T，通过陀螺仪可以确定车辆10的姿态，其可表示为旋转矩阵R，从而可以完整地确定车辆10的六个自由度。通过惯性测量单元14获得的第二轨迹L2也可包括多个轨迹点，每个轨迹点可由旋转矩阵R和平移矩阵T来表示。
图3A和图3B分别示出了根据本申请实施例的车载相机轨迹L1和惯性测量单元轨迹L2的示意图。如图所示，轨迹L1和L2每个可包括若干轨迹点，其中轨迹起点可对应于车辆10的运动起点，轨迹终点可大致上对应于车辆10的运动终点。由于车载相机12和惯性测量单元14的采样频率可能有所不同，所以轨迹L1和L2中包括的轨迹点的数目，或者说轨迹点的密度，可能彼此不同。为了便于后面的数据处理，图2所示的方法100可选地还可以包括步骤S130，利用插值算法使得轨迹L1和L2包括实质上相同数量的轨迹点。
还可理解，轨迹L1是车载相机局部坐标系(Xc，Yc，Zc)(见图1)中的轨迹，其中Zc轴的方向为车载相机的光轴方向，Yc轴方向为垂直于Zc轴向下的方向，Xc轴方向为垂直于Yc轴和Zc轴的方向。轨迹L2是惯性测量单元局部坐标系(Xb，Yb，Zb)(见图1)中的轨迹，其中Zb轴的方向为车辆10的正前方，Yb轴方向为垂直于Zb轴向下的方向，Xb轴方向为垂直于Yb轴和Zb轴的方向。轨迹L1和L2中的每个轨迹点如前所述都可用旋转矩阵R和平移矩阵T来表示，其中平移矩阵T是3*1矩阵，表示轨迹点相对于原点的位置，旋转矩阵R是3*3矩阵，表示位于该轨迹点处时的姿态，旋转矩阵R也可以表示成欧拉角的形式，其中ψ表示绕Y轴旋转的航向角(yaw)，θ表示沿X轴旋转的俯仰角(pitch)，表示沿Z轴旋转的滚转角(roll)。
在一些实施例中，在测量轨迹L1和L2期间，车辆10可以在不平坦的地面上移动；在另一些实施例中，车辆10也可以在平坦地面上移动。当车辆10在平坦地面上移动时，惯性测量单元14确定的俯仰角和滚转角可以接近于零。
返回参照图1，接下来，方法100可包括步骤S140，确定第一轨迹L1和第二轨迹L2之间的偏移量，以确定车载相机12与惯性测量单元14之间的夹角，或者说车载相机12与车辆10之间的夹角。作为示例，步骤S140可通过如下过程来实现。首先，可以将第一轨迹L1旋转一角度，以获得第三轨迹L3。这里的旋转操作可通过对轨迹L1中的每个点执行下面的公式1所示的操作，以获得第三轨迹L3中的对应点来进行。
其中，RL1和TL1分别表示轨迹L1中的一个点的旋转矩阵和平移矩阵，r表示对L1进行旋转的旋转矩阵，其对应的航向角、俯仰角和滚转角可以在例如0到360度的范围内按一预设步长例如0.01度逐渐变化，t是平移矩阵，可以为(0,0,0)，RL3和TL3分别表示所得轨迹L3中的对应点的旋转矩阵和平移矩阵。当然，对轨迹L1进行旋转操作的旋转角r的范围也可以在其他合适的范围内，例如-60度到+60度的范围内、-30度到+30度的范围内、-20度到+20度的范围内等，该范围表示车载相机12与惯性测量单元14或者说车辆10之间可能的夹角范围，一般而言，该夹角范围不会超过±30度。
然后，可以比较第三轨迹L3和第二轨迹L2，以确定使第三轨迹L3最接近第二轨迹L2的旋转角r，将其作为车载相机12与惯性测量单元14之间的夹角。这里，比较第三轨迹L3和第二轨迹L2可通过计算第三轨迹L3和第二轨迹L2的相似度来进行，两个轨迹之间的相似度可以以多种方式来定义，例如欧氏距离、马氏距离等。以欧氏距离为例，轨迹L3中的每个点Pi的平移矩阵TPi表示为(Ai，Bi，Ci)，轨迹L2中的每个点Qi的平移矩阵TQi表示为(Li，Mi，Ni)，则欧式距离Do由下面的公式2表示。使欧式距离Do的值最小的第三轨迹L3对应的旋转角r，即为车载相机12与惯性测量单元14或车辆10之间的夹角。应理解，该夹角可分解成航向角、俯仰角和滚转角这三个分量。
通过执行上面的步骤S120-S140，实现了车载相机12与惯性测量单元14之间的夹角的标定，该夹角的俯仰角分量可认为是车载相机12的相对俯仰角，其是相对于车辆10而言的。然后在步骤S150中，还可以基于该夹角、在步骤S110中确定的重力方向、以及惯性测量单元14确定的俯仰角方向，来确定车载相机12的绝对俯仰角。具体而言，惯性测量单元14可确定车辆10的当前姿态，包括俯仰角方向，然后将其加上车载相机12与惯性测量单元14之间的俯仰角夹角，即可得到车载相机12相对于水平面(垂直于所确定的重力方向)的绝对俯仰角。此外，基于车载相机12的绝对俯仰角和相对俯仰角之间的差值，还可以确定地面的坡度。
上面描述了根据本发明一实施例的示例性车载相机俯仰角标定方法，但是应理解，本领域技术人员可以对其进行许多形式和细节上的变化，而不脱离本发明的思想。例如，在另一些实施例中，也可以将第二轨迹L2旋转一角度，然后与第一轨迹L1相比较，以确定车载相机12与惯性车辆单元14或者说车辆10之间的夹角，其原理与上面描述的实施例是相同的。还应理解，这些变化都应理解为落入在本申请的权利要求书及其等价物的范围内。
示例性装置
图4图示了根据本申请实施例的车载相机俯仰角标定装置200的功能框图。如图4所示，根据本申请实施例的车载相机俯仰角标定装置200可包括：重力方向确定单元210、视觉轨迹计算单元220、惯性轨迹计算单元230、插值单元240、夹角计算单元250、以及俯仰角计算单元260。
重力方向确定单元210可用于基于惯性测量单元14的测量数据来确定重力方向。如前所述，用于确定重力方向的惯性测量单元14的测量数据是其在车辆10静止时的测量数据，车辆10静止时的加速度方向即为重力方向。
视觉轨迹计算单元220可接收来自车载相机12(视觉里程计)的输出，并且基于其来计算车辆10的第一运动轨迹L1。惯性轨迹计算单元230可接收来自惯性测量单元14的输出，并且基于其来计算车辆10的第二运动轨迹L2。如前所述，第一运动轨迹L1和第二运动轨迹L2是与车辆10的同一段移动距离对应的运动轨迹。
插值单元240可以对第一运动轨迹L1和第二运动轨迹L2中的任意一个或者二者进行插值，以使得第一运动轨迹L1和第二运动轨迹L2中包括实质上相同数量的轨迹点。
然后，夹角计算单元250可计算第一轨迹L1和第二轨迹L2之间的夹角，以确定车载相机12与惯性测量单元14或者说车辆10之间的夹角。具体而言，夹角计算单元250可包括轨迹旋转单元252和轨迹比较单元254。轨迹旋转单元252可以将例如第一轨迹L1旋转一角度，以获得第三轨迹L3。轨迹比较单元254可以将第三轨迹L3与第二轨迹L2进行比较，确定二者之间的相似度，例如欧氏距离，从而确定使第三轨迹L3与第二轨迹L2最接近的旋转角，其即为车载相机12与惯性测量单元14或者说车辆10之间的夹角。
在另一些实施例中，轨迹旋转单元252也可以将第二轨迹L2旋转一角度，以获得第三轨迹L3，然后轨迹比较单元254可以将第三轨迹L3与第一轨迹L1进行比较，确定二者之间的相似度，从而确定使第三轨迹L3与第一轨迹L1最接近的旋转角，其即为车载相机12与惯性测量单元14或者说车辆10之间的夹角，该夹角的俯仰角分量可认为是车载相机12的相对俯仰角。
俯仰角计算单元260可以基于前面确定的重力方向和夹角以及惯性测量单元14确定的俯仰角方向来计算车载相机12的绝对俯仰角。具体而言，俯仰角计算单元260可以接收惯性测量单元14测量的当前俯仰角方向，将其加上车载相机12与惯性测量单元14之间的俯仰角夹角，所得方向与水平面(垂直于所确定的重力方向)之间的角度即为车载相机12的绝对俯仰角。更进一步地，基于车载相机12的绝对俯仰角和相对俯仰角之间的差值，还可以确定地面坡度。
上述车载相机俯仰角标定装置200中的各个单元和模块的具体功能和操作已经在上面参考图1到图3B描述的车载相机俯仰角标定方法中得到了详细介绍，因此这里仅简要说明，而省略了其重复详细描述。
根据本申请实施例的车载相机俯仰角标定装置200可以实现在车载相机俯仰角标定设备中，例如图1所示的车辆10中的标定单元16中。在一个示例中，根据本申请实施例的车载相机俯仰角标定装置200可以作为一个软件模块和/或硬件模块而集成到该标定单元16中。
示例性电子设备
下面，参考图5来描述根据本申请实施例的电子设备300，该电子设备300可以实现为图1所示的车辆10中的标定单元16，其可以与车载相机12和惯性测量单元14进行通信，以接收它们的输出信号。图5图示了根据本申请实施例的电子设备300的结构框图。
如图5所示，电子设备300包括一个或多个处理器310和存储器320。
处理器310可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备300中的其他组件以执行期望的功能。
存储器320可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器310可以运行所述程序指令，以实现上文所述的本申请的各个实施例的车载相机俯仰角标定方法以及/或者其他期望的功能。
在一个示例中，电子设备300还可以包括：第一接口330和第二接口340，这些组件通过总线系统例如CanBus总线和/或其他形式的连接机构(未示出)互连。第一接口330可用于直接或间接连接到车载相机12，以接收例如车载相机12拍摄的连续视频图像。第二接口340可用于直接或间接连接到惯性测量单元14，以接收惯性测量单元14输出的测量数据。
当然，为了简化，图5中仅示出了该电子设备300中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备300还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的车载相机俯仰角标定方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的车载相机俯仰角标定方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (14)

1.一种车载相机俯仰角标定方法，包括：
利用所述惯性测量单元确定重力方向；
利用惯性测量单元跟踪车辆的移动，获得与一移动距离对应的第一轨迹；
利用车载相机跟踪车辆的移动，获得与所述移动距离对应的第二轨迹；
确定所述第一轨迹与所述第二轨迹之间的偏移量，以确定所述车载相机与所述惯性测量单元之间的夹角；
基于所述重力方向、所述车载相机与所述惯性测量单元之间的夹角、以及所述惯性测量单元确定的俯仰角方向来确定所述车载相机的俯仰角。
2.如权利要求1所述的方法，其中，所述第一轨迹和所述第二轨迹每个都包括多个轨迹点，每个轨迹点由旋转矩阵R和平移矩阵T表示。
3.如权利要求1所述的方法，其中，所述第一轨迹是所述惯性测量单元的局部坐标系中的轨迹，所述第二轨迹是所述车载相机的局部坐标系中的轨迹。
4.如权利要求1所述的方法，还包括：
利用插值算法使所述第一轨迹和所述第二轨迹包括实质上相同数量的轨迹点。
5.如权利要求1所述的方法，其中，确定所述第一轨迹与所述第二轨迹之间的偏移量包括：
使所述第一轨迹旋转一角度以获得第三轨迹；
比较所述第三轨迹和所述第二轨迹，从而确定使所述第三轨迹最接近所述第二轨迹的旋转角度，作为所述车载相机与所述惯性测量单元之间的夹角。
6.如权利要求5所述的方法，其中，比较所述第三轨迹和所述第二轨迹包括计算所述第三轨迹和所述第二轨迹之间的相似度。
7.如权利要求6所述的方法，其中，所述第三轨迹和所述第二轨迹之间的相似度由所述第三轨迹和所述第二轨迹之间的欧氏距离表示。
8.如权利要求1所述的方法，其中，所述惯性测量单元在所述车辆静止时确定所述重力方向，所述移动距离是平坦表面上的移动距离。
9.一种车载相机俯仰角标定装置，包括：
重力方向确定单元，用于基于惯性测量单元的测量数据确定重力方向；
惯性轨迹计算单元，用于基于所述惯性测量单元的测量数据计算与车辆的一移动距离对应的第一轨迹；
视觉轨迹计算单元，用于基于车载相机的测量数据计算与车辆的所述移动距离对应的第二轨迹；
夹角计算单元，用于基于所述第一轨迹和所述第二轨迹计算所述车载相机与所述惯性测量单元之间的夹角；以及
俯仰角计算单元，用于基于所述重力方向、所述车载相机与所述惯性测量单元之间的夹角、以及所述惯性测量单元确定的俯仰角方向来确定所述车载相机的俯仰角。
10.如权利要求9所述的装置，其中，所述夹角计算单元包括：
旋转单元，用于将所述第一轨迹旋转一角度以获得第三轨迹；以及
轨迹比较单元，用于比较所述第三轨迹和所述第二轨迹，从而确定使所述第三轨迹最接近所述第二轨迹的旋转角度，作为所述车载相机与所述惯性测量单元之间的夹角。
11.如权利要求9所述的装置，还包括：
插值单元，用于利用插值算法使所述第一轨迹和所述第二轨迹包括实质上相同数量的轨迹点。
12.一种电子设备，包括：
处理器；以及
存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-8中的任一项所述的方法。
13.一种车辆，包括权利要求12所述的电子设备。
14.一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1-8中的任一项所述的方法。
CN201810617223.0A 2018-06-15 2018-06-15 车载相机俯仰角标定方法和装置、电子设备以及车辆 Active CN108932737B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810617223.0A CN108932737B (zh) 2018-06-15 2018-06-15 车载相机俯仰角标定方法和装置、电子设备以及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810617223.0A CN108932737B (zh) 2018-06-15 2018-06-15 车载相机俯仰角标定方法和装置、电子设备以及车辆

Publications (2)

Publication Number Publication Date
CN108932737A true CN108932737A (zh) 2018-12-04
CN108932737B CN108932737B (zh) 2021-02-26

Family

ID=64446525

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810617223.0A Active CN108932737B (zh) 2018-06-15 2018-06-15 车载相机俯仰角标定方法和装置、电子设备以及车辆

Country Status (1)

Country Link
CN (1) CN108932737B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109814564A (zh) * 2019-01-29 2019-05-28 炬星科技（深圳）有限公司 目标对象的检测、避障方法、电子设备及存储介质
CN109949370A (zh) * 2019-03-15 2019-06-28 苏州天准科技股份有限公司 一种用于imu-相机联合标定的自动化方法
CN110703749A (zh) * 2019-10-11 2020-01-17 浙江大华机器人技术有限公司 一种控制车辆运动的方法及装置
CN111750850A (zh) * 2019-03-27 2020-10-09 杭州海康威视数字技术股份有限公司 角度信息获取方法、装置和系统
CN111968035A (zh) * 2020-08-05 2020-11-20 成都圭目机器人有限公司 基于损失函数的图像相对旋转角计算方法
CN112706755A (zh) * 2021-01-27 2021-04-27 广州小鹏自动驾驶科技有限公司 一种车载相机的调整方法和装置
CN112789655A (zh) * 2019-09-23 2021-05-11 北京航迹科技有限公司 用于标定惯性测试单元和相机的系统和方法
CN113256728A (zh) * 2020-02-13 2021-08-13 纳恩博（北京）科技有限公司 Imu设备参数的标定方法及装置、存储介质、电子装置
CN113252066A (zh) * 2020-02-13 2021-08-13 纳恩博（北京）科技有限公司 里程计设备参数的标定方法及装置、存储介质、电子装置
CN116309885A (zh) * 2023-05-24 2023-06-23 同致电子科技（厦门）有限公司 一种基于视觉里程计的车载摄像头在线标定方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150382156A1 (en) * 2014-06-25 2015-12-31 Rutgers, The State University Of New Jersey Systems and methods for detecting driver phone operation using device position and orientation data
CN105526907A (zh) * 2015-12-29 2016-04-27 中国人民解放军总装备部军械技术研究所 大尺寸空间的空间角度的测量装置及测量方法
CN105588563A (zh) * 2016-01-15 2016-05-18 武汉光庭科技有限公司 一种自动驾驶中双目相机与惯性导航单元联合标定方法
CN106529538A (zh) * 2016-11-24 2017-03-22 腾讯科技（深圳）有限公司 一种飞行器的定位方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150382156A1 (en) * 2014-06-25 2015-12-31 Rutgers, The State University Of New Jersey Systems and methods for detecting driver phone operation using device position and orientation data
CN105526907A (zh) * 2015-12-29 2016-04-27 中国人民解放军总装备部军械技术研究所 大尺寸空间的空间角度的测量装置及测量方法
CN105588563A (zh) * 2016-01-15 2016-05-18 武汉光庭科技有限公司 一种自动驾驶中双目相机与惯性导航单元联合标定方法
CN106529538A (zh) * 2016-11-24 2017-03-22 腾讯科技（深圳）有限公司 一种飞行器的定位方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
田颖: "IMU-Camera的相对位姿标定方法及应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109814564A (zh) * 2019-01-29 2019-05-28 炬星科技（深圳）有限公司 目标对象的检测、避障方法、电子设备及存储介质
CN109949370A (zh) * 2019-03-15 2019-06-28 苏州天准科技股份有限公司 一种用于imu-相机联合标定的自动化方法
CN111750850A (zh) * 2019-03-27 2020-10-09 杭州海康威视数字技术股份有限公司 角度信息获取方法、装置和系统
CN111750850B (zh) * 2019-03-27 2021-12-14 杭州海康威视数字技术股份有限公司 角度信息获取方法、装置和系统
CN112789655A (zh) * 2019-09-23 2021-05-11 北京航迹科技有限公司 用于标定惯性测试单元和相机的系统和方法
CN110703749A (zh) * 2019-10-11 2020-01-17 浙江大华机器人技术有限公司 一种控制车辆运动的方法及装置
CN110703749B (zh) * 2019-10-11 2022-11-18 浙江华睿科技股份有限公司 一种控制车辆运动的方法及装置
CN113252066B (zh) * 2020-02-13 2024-04-09 纳恩博（北京）科技有限公司 里程计设备参数的标定方法及装置、存储介质、电子装置
CN113256728B (zh) * 2020-02-13 2024-04-12 纳恩博（北京）科技有限公司 Imu设备参数的标定方法及装置、存储介质、电子装置
CN113256728A (zh) * 2020-02-13 2021-08-13 纳恩博（北京）科技有限公司 Imu设备参数的标定方法及装置、存储介质、电子装置
CN113252066A (zh) * 2020-02-13 2021-08-13 纳恩博（北京）科技有限公司 里程计设备参数的标定方法及装置、存储介质、电子装置
CN111968035A (zh) * 2020-08-05 2020-11-20 成都圭目机器人有限公司 基于损失函数的图像相对旋转角计算方法
CN111968035B (zh) * 2020-08-05 2023-06-20 成都圭目机器人有限公司 基于损失函数的图像相对旋转角计算方法
CN112706755A (zh) * 2021-01-27 2021-04-27 广州小鹏自动驾驶科技有限公司 一种车载相机的调整方法和装置
CN116309885A (zh) * 2023-05-24 2023-06-23 同致电子科技（厦门）有限公司 一种基于视觉里程计的车载摄像头在线标定方法
CN116309885B (zh) * 2023-05-24 2023-09-01 同致电子科技（厦门）有限公司 一种基于视觉里程计的车载摄像头在线标定方法

Also Published As

Publication number Publication date
CN108932737B (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
CN108932737A (zh) 车载相机俯仰角标定方法和装置、电子设备以及车辆
CN109690623B (zh) 用于识别场景中的相机的姿势的系统和方法
CN111415387B (zh) 相机位姿确定方法、装置、电子设备及存储介质
EP3193306B1 (en) A method and a device for estimating an orientation of a camera relative to a road surface
CN109544629A (zh) 摄像头位姿确定方法和装置以及电子设备
US8885049B2 (en) Method and device for determining calibration parameters of a camera
JP7444605B2 (ja) 牽引ヒッチの位置を計算する方法
CN110842901B (zh) 基于一种新型三维标定块的机器人手眼标定方法与装置
CN109544630A (zh) 位姿信息确定方法和装置、视觉点云构建方法和装置
CN106814753B (zh) 一种目标位置矫正方法、装置及系统
WO2020133172A1 (zh) 图像处理方法、设备及计算机可读存储介质
CN106027887B (zh) 针对旋镜云台的枪球联动控制的方法、装置及电子设备
CN103310188A (zh) 用于姿态识别的方法和设备
CN105324792B (zh) 用于估计移动元件相对于参考方向的角偏差的方法
CN109703465B (zh) 车载图像传感器的控制方法和装置
CN111476106A (zh) 基于单目相机的直道相对坡度实时预测方法、系统及装置
GB2531531A (en) Optical inertial measurement apparatus and method
CN111753605A (zh) 车道线定位方法、装置、电子设备及可读介质
Ovrén et al. Spline error weighting for robust visual-inertial fusion
CN108961337A (zh) 车载相机航向角标定方法和装置、电子设备以及车辆
CN110827337B (zh) 确定车载相机的姿态的方法、装置和电子设备
Miksch et al. Homography-based extrinsic self-calibration for cameras in automotive applications
CN111351497B (zh) 一种车辆的定位方法、装置、地图的构建方法和装置
CN110895675B (zh) 用于确定3d空间中的对象的特征点的坐标的方法
CN108733211A (zh) 追踪系统、其操作方法、控制器、及电脑可读取记录媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant