CN106815868A

CN106815868A - 摄像头实时标定方法、系统和装置

Info

Publication number: CN106815868A
Application number: CN201510864294.7A
Authority: CN
Inventors: 杨广
Original assignee: Shenzhen Minieye Innovation Technology Co Ltd
Current assignee: Shenzhen Youjia Innovation Technology Co ltd
Priority date: 2015-11-30
Filing date: 2015-11-30
Publication date: 2017-06-09
Anticipated expiration: 2035-11-30
Also published as: CN106815868B

Abstract

本发明涉及一种摄像头实时标定方法，其通过步骤S110，获取摄像头坐标系与世界坐标系之间夹角的初始值；步骤120，获取摄像头在所述摄像头坐标系中沿坐标轴方向旋转的角速度；步骤121，根据所述角速度通过对时间积分获得额定时间内所述夹角的角度变化量；步骤130，将所述夹角的初始值与所述角度变化量进行叠加，获得摄像头坐标系与世界坐标系之间夹角的调节值，用以标定所述摄像头的外部参数。因此，用户无需使用标定板方法对摄像头进行标定，可由用户自行安装。此外，还提供一种摄像头实时标定系统和装置。

Description

摄像头实时标定方法、系统和装置

技术领域

本发明涉及辅助驾驶，特别是涉及一种全自动化、高精度、低成本的摄像头实时标定方法、系统和装置。

背景技术

高级辅助驾驶系统(Advanced Driver Assistance System，简称ADAS)是一种新兴技术。传统的汽车安全技术(如安全带等)是被动安全技术，即在危险发生后被动地保护车内人员安全。而ADAS是一种主动安全技术。它通过特定的传感器系统实时监测当前的驾驶环境，并及时对潜在的危险进行预警。

车载摄像头作为高级辅助驾驶系统中的一个主要传感器，在车道偏离预警、车辆识别、行人识别、车距监控等方面都有重要作用。通常在摄像头安装在车辆上以后，需要对摄像头的外部参数进行标定，以得到准确的图像坐标系和世界坐标系的转换关系。摄像头的外部参数指的是摄像头坐标系与世界坐标系之间3个夹角。摄像头坐标系与世界坐标系之间夹角包括俯仰角、翻滚角和/或偏航角。

通常地，车载摄像头使用标定板方法进行标定。这一标定方法通过拍摄不同位置的标定板图片并对图片上的特定点进行计算，从而得到摄像头的外部参数。这一标定过程需要用到的设备较多，包括标准标定板、摄像头连接线、用于计算的笔记本电脑和计算软件等，效率低，使用不方便。由于标定过程涉及精确移动标定板及计算参数，因此这一标定方法要求操作者对标定原理有一定了解，不适合未经培训的普通人员采用。此外，这一标定方法耗费时间也比较长。

这一方法在实际使用中也有诸多问题。目前的高级驾驶辅助设备基本都是面向普通消费者的产品，即非车辆出厂预装，而是用户根据自身需求另行购买。这导致用户无法自行安装该产品，而要到经销商指定的安装点，由专业技术人员花费数小时安装，极大地影响了消费者的体验。

此外，在实际使用过程中，因震动、结构件老化等原因，摄像头经常会从已标定的原安装位置产生微小的位移和旋转。此时一方面需要用户重新去安装点标定，另一方面如果用户未察觉到这一变化，会导致系统输出发生偏差，甚至影响安全。

发明内容

基于此，有必要提供一种全自动化、高精度、低成本的摄像头实时标定方法。

在本发明的其中一个实施例中，摄像头实时标定方法包括获取摄像头坐标系与世界坐标系之间夹角的初始值；

获取摄像头在所述摄像头坐标系中沿坐标轴方向旋转的角速度；

根据所述角速度通过对时间积分获得额定时间内所述夹角的角度变化量；

将所述夹角的初始值与所述角度变化量进行叠加，获得摄像头坐标系与世界坐标系之间夹角的调节值，用以标定所述摄像头的外部参数。

在本发明的其中一个实施例中，所述方法中，所述夹角的初始值为：在静态时基于传感器测量得到摄像头坐标系与世界坐标系之间的夹角；或者

计算当前时刻用以标定所述摄像头的外部参数的调节值时，所述夹角的初始值为：前一时刻依据所述根据所述夹角的初始值及所述相应坐标轴方向上的角度变化量、获取摄像头坐标系与世界坐标系之间夹角的调节值的步骤而获取的调节值，或者，前一时刻依据所述通过将所述当前值与所述调节值进行线性叠加对所述调节值进行修正的步骤而获取的修正后的结果。

在本发明的其中一个实施例中，所述采用加速度计获取俯仰角的所述初始值或所述当前值的步骤、或所述采用加速度计获取翻滚角的所述初始值或所述当前值的步骤中包括：

采用加速度计测量摄像头坐标系在三个坐标轴方向上的加速度分量；

采用公式计算出采用加速度计时的俯仰角的所述初始值或所述当前值；

采用公式计算出采用加速度计时的翻滚角的所述初始值或所述当前值；

其中，a_x表示沿摄像头坐标系x方向上的加速度分量，a_y表示沿摄像头坐标系y方向上的加速度分量，a_z表示沿摄像头坐标系z方向上的加速度分量。

在本发明的其中一个实施例中，所述根据所述角速度通过对时间积分获得额定时间内的相应坐标轴方向上的角度变化量的步骤包括：

将所述角速度值乘以时钟周期得到一个时钟周期内的角度变化量，从而获得当前时钟周期内所述夹角的角度变化量。

在本发明的其中一个实施例中，所述通过将所述当前值与所述调节值进行线性叠加对所述调节值进行修正的步骤中采用以下公式计算：修正后的结果＝(1-增益系数)*所述调节值+增益系数*所述当前值。

在本发明的其中一个实施例中，一种摄像头实时标定系统，其包括：

测量模块，用于获取摄像头坐标系与世界坐标系之间夹角的初始值；

角度变化计算模块，用于获取摄像头在所述摄像头坐标系中沿坐标轴方向旋转的角速度，并根据所述角速度通过对时间积分获得额定时间内的所述夹角的角度变化量；及

角度获取模块，用于将所述夹角的初始值与所述角度变化量进行叠加，获取摄像头坐标系与世界坐标系之间夹角的调节值，用以标定所述摄像头的外部参数。

在本发明的其中一个实施例中，所述夹角的初始值为：在静态时基于传感器测量得到摄像头坐标系与世界坐标系之间的夹角；或者

在本发明的其中一个实施例中，所述测量模块或所述校正模块中包括：

加速度获取单元，用于采用加速度计测量摄像头坐标系在三个坐标轴方向上的加速度分量；

俯仰角计算单元，用于采用公式计算出采用加速度计时的俯仰角的所述初始值或所述当前值；及

翻滚角计算单元，用于采用公式计算出采用加速度计时的翻滚角的所述初始值或所述当前值；

在本发明的其中一个实施例中，所述角度变化计算模块包括：

角速度获取单元，用于获取摄像头在摄像头坐标系中沿坐标轴方向旋转的角速度值；

变化获取单元，用于将所述角速度值乘以时钟周期得到一个时钟周期内的角度变化量，从而分别获得当前时钟周期内俯仰角、翻滚角和/或偏航角对应的角度变化量。

在本发明的其中一个实施例中，所述将所述当前值与所述调节值进行线性叠加、获得对所述调节值进行修正后的结果值采用以下公式计算：结果值＝(1-增益系数)*所述调节值+增益系数*所述当前值。

在本发明的其中一个实施例中，一种摄像头实时标定装置，与摄像头连接，其包括：

角速度传感器，用于获取所述摄像头在摄像头坐标系中沿坐标轴方向旋转的角速度；

传感器模块，用于获取摄像头坐标系与世界坐标系之间夹角；及

分别与所述角度传感器和传感器模块连接的处理器，用于接收所述角速度，并根据所述角速度通过对时间积分获得额定时间内所述夹角的角度变化量，将所述夹角的初始值与所述角度变化量进行叠加，获得摄像头坐标系与世界坐标系之间夹角的调节值，输出所述调节值，用以提醒所述调节值和/或根据所述调节值调整摄像头坐标系与世界坐标系之间夹角。

在本发明的其中一个实施例中，一种摄像头实时标定装置，其包括：

加速度计，用于测量摄像头坐标系在三个坐标轴方向上的加速度分量；

陀螺仪，用于获取摄像头在所述摄像头坐标系中沿坐标轴方向旋转的角速度；

磁力计，用于获取摄像头坐标系与世界坐标系之间偏航角；

可与加速度计连接的角度计算模块，用于根据加速度计获取的加速度分量获取摄像头坐标系与世界坐标系之间俯仰角和/或翻滚角；

可与陀螺仪连接的变化计算模块，用于根据陀螺仪获取的所述角速度通过对时间积分获得额定时间内俯仰角、翻滚角、和/或偏航角的角度变化量；及

融合计算模块，用于将所述俯仰角、翻滚角、和/或偏航角的初始值与所述俯仰角、翻滚角、和/或偏航角的角度变化量分别进行叠加，获得摄像头坐标系与世界坐标系之间俯仰角、翻滚角、和/或偏航角对应的调节值，输出调节值用以标定所述摄像头的外部参数。

在本发明的其中一个实施例中，还提供了一种摄像装置，其包括摄像头和上述的摄像头实时标定装置。

上述全自动化、高精度、低成本的摄像头实时标定方法、系统和装置通过测量摄像头坐标系与世界坐标系之间夹角的初始值；测量摄像头在坐标系中三个方向旋转的角速度，并通过对时间积分获得额定时间内的角度变化量；根据夹角的初始值及角度变化量获取摄像头坐标系与世界坐标系之间夹角的调节值；摄像头坐标系与世界坐标系之间夹角包括俯仰角、翻滚角和/或偏航角。因此，用户无需使用标定板方法对摄像头进行标定，可由用户自行安装辅助驾驶设备。

在用户使用过程中，上述全自动化、高精度、低成本的摄像头实时标定方法、系统和装置会对摄像头坐标系与世界坐标系之间夹角进行修正，去除其因外力产生的误差，使得将摄像头坐标系与世界坐标系之间精确夹角带入辅助驾驶系统进行计算，避免因夹角不准确而产生错误的辅助驾驶指令，提高辅助驾驶的安全性。

附图说明

图1为摄像头坐标系与世界坐标系之间俯仰角示意图；

图2为摄像头坐标系与世界坐标系之间翻滚角示意图；

图3为摄像头坐标系与世界坐标系之间偏航角示意图；

图4为本发明的其中一个实施例中标定装置的结构示意；

图5为本发明的其中一个实施例中摄像头实时标定方法的流程图；

图6为本发明的其中一个实施例中摄像头实时标定方法的流程图；

图7为本发明的其中一个实施例中角度校正的算法结构图；

图8为本发明的其中一个实施例中带修正环节的摄像头实时标定方法的流程图；

图9为本发明的其中一个实施例中摄像头实时标定系统的模块图；

图10为本发明的其中一个实施例中摄像头实时标定装置的结构示意图。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳的实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。

需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

本发明是对摄像头坐标系与世界坐标系之间夹角进行标定，摄像头坐标系与世界坐标系之间夹角包括俯仰角、翻滚角和/或偏航角。如图1所示，为摄像头坐标系与世界坐标系之间俯仰角示意图，此时为车辆的侧视图。如图2所示，为摄像头坐标系与世界坐标系之间翻滚角示意图，此时为车辆的前视图。如图3所示，为摄像头坐标系与世界坐标系之间偏航角示意图，此时为车辆的俯视图。其中实线(x，y，z)为世界坐标系，虚线(x’，y’，z’)为摄像头坐标系。

图4提供了一种摄像头实时标定装置，其与摄像头800连接，用于对摄像头800的外部参数进行标定。该装置可以包括：

1、角速度传感器，用于获取摄像头在摄像头坐标系中沿坐标轴方向旋转的角速度。此角速度传感器可以为陀螺仪701等用于测量角速度的传感器。

2、传感器模块，用于获取摄像头坐标系与世界坐标系之间夹角。摄像头坐标系与世界坐标系之间的夹角包括俯仰角θ、翻滚角φ和/或偏航角ψ，这些统称为摄像头的外部参数。在本发明的其中一个实施例中，传感器模块可以包括加速度计702和/或磁力计704。采用加速度计获取俯仰角和/或翻滚角；和/或采用磁力计获取偏航角。

加速度计可通过计算得出摄像头的俯仰角和翻滚角。具体地，采用加速度计获取俯仰角的初始值或翻滚角的步骤包括：

采用加速度计获取摄像头坐标系在三个方向(x，y，z)上的加速度分量a_x，a_y，a_z，其中，a_x表示沿摄像头坐标系x方向上的加速度分量，a_y表示沿摄像头坐标系y方向上的加速度分量，a_z表示沿摄像头坐标系z方向上的加速度分量；

采用公式计算出采用加速度计时的俯仰角θ_a。

采用公式计算出采用加速度计时的翻滚角φ_a。

3、分别与角度传感器和传感器模块连接的处理器，其可以包括一个或多个CPU，用于执行对数据的处理与计算。

4、存储器，用于存储运算命令、缓存角度传感器和传感器模块实时采集的数据。这里的存储器可以包括一个或多个存储设备，可以是硬盘、缓存等等。

5、执行模块，用于根据处理器的指令，在显示器、扩音器等设备上进行提醒，或者通过驱动机构调节摄像头的外部参数。下文将结合标定方法详细说明上述几个模块之间的具体执行关系。

如图5所示，为摄像头实时自动标定方法的流程图。以下将结合图4详细说明本发明的各个具体实施例。

在步骤S110中，利用传感器模块获取摄像头坐标系与世界坐标系之间夹角的初始值。摄像头坐标系与世界坐标系之间夹角作为摄像头的外部参数，包括俯仰角、翻滚角和/或偏航角。在本发明的其中一个实施例中，可以采用加速度计获取俯仰角的初始值；采用加速度计获取翻滚角的初始值；和/或采用磁力计获取偏航角的初始值。当然，还可以采用陀螺仪获取俯仰角或翻滚角的初始值。

加速度计可通过计算得出摄像头的俯仰角和翻滚角，具体参见前文说明。陀螺仪可直接获取摄像头的俯仰角和翻滚角。磁力计可直接获取出偏航角。

在本实施例中，夹角的初始值可在车辆静止的时候测量得到，也可以是在车辆运动的时候测量得到。即不管车辆静止还是运动，夹角的初始值均可通过直接测量获得，但是在车辆静止的状态下测得的夹角的初始值作为夹角的初始值进行计算时更为精确。

可见，在本发明的其中一个实施例中，标定装置中的传感器模块可以包括以下之一：

与处理器相连的陀螺仪，用于测量摄像头坐标系与世界坐标系之间夹角中的俯仰角和/或翻滚角；

与处理器相连的加速度计，用于测量摄像头坐标系中沿坐标轴方向的加速度分量，根据加速度分量获得摄像头坐标系与世界坐标系之间夹角中的俯仰角和/或翻滚角；和

与处理器相连的磁力计，用于测量摄像头坐标系与世界坐标系之间夹角中的偏航角。

此外，针对加速度计的输出信号还可以通过低通滤波器进行滤波处理；和/或采用低通滤波器对磁力计的输出信号进行滤波处理。

采用低通滤波器分别对加速度计和磁力计的输出信号进行滤波处理，能够减少因震动、冲击或加速度计(或磁力计)本身的随机噪声对输出信号带来的影响。根据加速度计(或磁力计)的精度不同，所需的滤波器截止频率也有不同，通常为100Hz以下。

步骤S120，获取摄像头在摄像头坐标系中沿坐标轴方向旋转的角速度，并在步骤S121中根据所述角速度通过对时间积分获得额定时间内夹角的角度变化量。

由于车辆开始运行后，车辆姿态可能会发生变化，即俯仰角、翻滚角和偏航角会改变。车辆在运行中会因为加速、制动、上下坡、转弯或震动等产生各种方向的加速度，因此，需要实时获取摄像头在摄像头坐标系中三个方向旋转的角速度。角速度通过对时间积分得到额定时间内的角度变化量。角度变化量为当前时刻角度值减去上一时刻的角度值。这里的额定时间，可以理解为计算的时钟周期。在本发明的其中一个实施例中，可以利用角速度传感器(例如陀螺仪)获取摄像头在摄像头坐标系中沿坐标轴方向旋转的角速度。

在本发明的其中一个实施例中，根据所述角速度通过对时间积分获得额定时间内夹角的角度变化量的步骤可以采用以下方式：将所述角速度值乘以时钟周期得到一个时钟周期内的角度变化量，从而获得当前时钟周期内所述夹角的角度变化量。本实施例较为简单可靠，并且计算方便。

在步骤S130中，将上述夹角的初始值与角度变化量进行叠加，获得摄像头坐标系与世界坐标系之间夹角的调节值，用以标定摄像头的外部参数。

夹角的初始值已知，在获得额定时间内的角度变化量后，将夹角的初始值与角度变化量求和可得夹角的调节值。

采用上述摄像头实时标定方法仅需获取夹角的初始值，并获取运动状态下的角度变化量，就能够获取夹角的调节值，用户无需使用标定板方法对摄像头进行标定，可由用户自行安装辅助驾驶设备。因而上述摄像头实时标定方法操作简便、快捷。

在本实施例中，步骤S120还可以包括：

获取摄像头在摄像头坐标系中三个方向旋转的当前角速度值ω_θ，ω_ψ，ω_φ，其中ω_θ对应于俯仰角θ、ω_φ对应于翻滚角φ和/或ω_ψ对应于偏航角ψ。

将当前角速度值ω_θ，ω_ψ，ω_φ乘以时钟周期得到一个时钟周期内的角度变化量Δ_θ，Δ_ψ，Δ_φ，其中Δ_θ对应于俯仰角的角度变化量，Δ_ψ对应于偏航角的角度变化量，Δ_φ对应于翻滚角的角度变化量。

在本实施例中，当车辆在运动状态下，设摄像头坐标系与世界坐标系之间夹角在当前时刻的值为俯仰角θ(t)、翻滚角φ(t)和/或偏航角ψ(t)，那么，从当前时刻经历一个时钟周期后的夹角可通过计算获取，即获取摄像头的当前角速度值ω_θ，ω_ψ，ω_φ，通过当前角速度值ω_θ，ω_ψ，ω_φ计算出一个时钟内的角度变化量Δ_θ，Δ_ψ，Δ_φ，然后在步骤S130中将当前时刻的夹角的初始值与角度变化量求和，可得到从当前时刻经历一个时钟周期后，可得到摄像头坐标系与世界坐标系之间夹角的调节值，用以标定摄像头的外部参数。例如，俯仰角对应的调节值θ_g＝θ(t)+Δ_θ，翻滚角对应的调节值φ_g＝φ(t)+Δ_φ和/或偏航角对应的调节值ψ_g＝ψ(t)+Δ_ψ。

为了使上述调节值更加精确，则需要对上述步骤S130计算获得的调节值进行修正。

具体地，如图6所示，对获取的摄像头坐标系与世界坐标系之间夹角的调节值进行校正的步骤包括：

步骤S140，利用传感器模块获取基于传感器测量得到摄像头坐标系与世界坐标系之间夹角的当前值。

同上述步骤S110。初始值和当前值只是所述夹角不同时刻采集对应的值。所以，在本发明的其中一个实施例中，可以采用加速度计获取俯仰角的当前值；采用加速度计获取翻滚角的当前值；和/或采用磁力计获取偏航角的当前值。当然，还可以采用陀螺仪获取俯仰角或翻滚角的当前值。有关采用加速度计获取俯仰角或翻滚角的方法也可参照前文相关说明，在此不做累述。

步骤S150，通过将上述当前值与上述调节值进行线性叠加对上述调节值进行修正，利用修正后的结果标定上述摄像头的外部参数。

设采用陀螺仪获取的摄像头坐标系与世界坐标系之间夹角的初始值为θ(t)，φ(t)和/或ψ(t)，根据夹角的初始值、角度变化量计算出采用陀螺仪获取的摄像头坐标系与世界坐标系之间夹角的调节值分别为：θ_g＝θ(t)+Δ_θ，φ_g＝φ(t)+Δ_φ和/或ψ_g＝ψ(t)+Δ_ψ。

设θ(t+1)、ψ(t+1)、φ(t+1)对应为当前俯仰角θ_g、当前偏航角ψ_g、当前翻滚角φ_g校正后的角度值；

采用公式θ(t+1)＝(1-K_a)θ_g+K_aθ_a对当前俯仰角θ_g进行校正；

采用公式φ(t+1)＝(1-K_a)φ_g+K_aφ_a对当前翻滚角φ_g进行校正；

和/或采用公式ψ(t+1)＝(1-K_m)ψ_g+K_mψ_m对当前偏航角ψ_g进行校正；其中，K_a、K_m为增益系数。K_a、K_m为增益系数，它们的值取决于时钟周期和用户希望加速度计与磁力计对融合结果的贡献程度。

可见，无论是摄像头坐标系与世界坐标系之间的夹角是俯仰角、翻滚角和/或偏航角，则针对每一种夹角，均可以通过将其当前值与其调节值进行线性叠加对其调节值进行修正，例如，一种夹角修正后的结果＝(1-增益系数)*该种夹角的调节值+增益系数*该种夹角的当前值。增益系数也可以根据经验值进行设定。

图7中给出一种具体地带修正过程的标定方法。具体的，加速度计测量出的俯仰角的初始值θ_a、翻滚角的初始值φ_a；并经由低通滤波器进行滤波处理后，乘以增益系数K_a。磁力计直接测量出的偏航角的初始值ψ_g。

陀螺仪获取出当前角速度值ω_θ，ω_ψ，ω_φ；将当前角速度值ω_θ，ω_ψ，ω_φ乘以时钟周期得到一个时钟周期内的角度变化量Δ_θ，Δ_ψ，Δ_φ。设采用陀螺仪获取的摄像头坐标系与世界坐标系之间夹角的初始值为θ(t)，φ(t)和/或ψ(t)，从当前时刻经历一个时钟周期后，根据角度变化量计算出采用陀螺仪获取的摄像头坐标系与世界坐标系之间夹角的调节值分别为：θ_g＝θ(t)+Δ_θ，φ_g＝φ(t)+Δ_φ和/或ψ_g＝ψ(t)+Δ_ψ。

最后将陀螺仪、加速度计及磁力计所输出的信号值进行融合，采用加速度计和/或陀螺仪获取俯仰角的当前值，将俯仰角的当前值与俯仰角的调节值进行线性叠加，获得对俯仰角的调节值进行修正后的结果θ(t+1)；采用加速度计和/或陀螺仪获取翻滚角的当前值，将翻滚角的当前值与翻滚角的调节值进行线性叠加，获得对翻滚角的调节值进行修正后的结果φ(t+1)；采用磁力计获取偏航角的当前值，将偏航角的当前值与偏航角的调节值进行线性叠加，获得对偏航角的调节值进行修正后的结果ψ(t+1)。

与图7对应的流程图为图8所示，图8给出一具体实施例的标定方法流程图。

步骤901，获取俯仰角θ(t)、翻滚角φ(t)和/或偏航角ψ(t)的初始值，比如在静止状态下获取加速度计得出摄像头的俯仰角和翻滚角，利用磁力计获取偏航角，即初始值为t＝0时刻对应的利用传感器获得的俯仰角θ(t)、翻滚角φ(t)和/或偏航角ψ(t)。

步骤902，获取摄像头在摄像头坐标系中沿坐标轴方向旋转的当前角速度ω_θ，ω_ψ，ω_φ，

步骤903，通过对时间积分获得额定时间内摄像头坐标系与世界坐标系之间夹角的角度变化量，例如，将角速度值ω_θ，ω_ψ，ω_φ乘以时钟周期得到一个时钟周期内的角度变化量Δ_θ，Δ_ψ，Δ_φ。

步骤904，将t＝0时刻的俯仰角θ(t)、翻滚角φ(t)和/或偏航角ψ(t)的值与角度变化量Δ_θ，Δ_ψ，Δ_φ分别进行叠加，获得俯仰角θ、翻滚角φ和/或偏航角ψ的调节值θ_g、φ_g、ψ_g，用以标定所述摄像头的外部参数。

步骤905，通过传感器测量获取t＝t+1时刻的俯仰角、翻滚角和/或偏航角，即可以是，采用加速度计获取俯仰角的当前值θ_a、采用加速度计获取翻滚角的当前值φ_a、采用磁力计获取偏航角的当前值ψ_a。

步骤906，将通过传感器测量获取t＝t+1时刻的俯仰角、翻滚角和/或偏航角与相应夹角的调节值进行线性叠加，获得修正后的结果用以标定摄像头的外部参数。具体地，采用公式θ(t+1)＝(1-K_a)θ_g+K_aθ_a对步骤904获得的俯仰角的调节值θ_g进行校正；采用公式φ(t+1)＝(1-K_a)φ_g+K_aφ_a对步骤904获得的翻滚角的调节值φ_g进行校正；和/或采用公式ψ(t+1)＝(1-K_m)ψ_g+K_mψ_m对步骤904获得的偏航角的调节值ψ_g进行校正。

步骤907，将修正后的俯仰角θ(t+1)、翻滚角φ(t+1)、偏航角ψ(t+1)作为下一时刻计算所用的俯仰角θ(t)、翻滚角φ(t)和/或偏航角ψ(t)的初始值，进行下一次的循环计算，从而能够在汽车动态运行的过程中持续的对摄像头的外部参数进行标定，或者通过多次循环运算的结果使得标定结果更加精确。

在用户使用过程中，上述摄像头实时标定方法对摄像头坐标系与世界坐标系之间夹角进行修正，去除其因外力产生的误差，使得将摄像头坐标系与世界坐标系之间精确夹角带入辅助驾驶系统进行计算，避免因夹角不准确而产生错误的辅助驾驶指令，提高辅助驾驶的安全性。

从图8中可以看出，在上述步骤130中，计算当前时刻用以标定所述摄像头的外部参数的调节值时，所述夹角的初始值可以为：前一时刻依据所述通过将所述当前值与所述调节值进行线性叠加对所述调节值进行修正的步骤150而获取的修正后的结果。或者也可以是，前一时刻依据所述根据所述夹角的初始值及所述相应坐标轴方向上的角度变化量、获取摄像头坐标系与世界坐标系之间夹角的调节值的步骤130而获取的调节值。

基于上述方法，图9所示的系统结构图中提供了一种摄像头实时标定系统。

在本发明的其中一个实施例中，一种摄像头实时标定系统，上述系统包括：

测量模块601，用于获取摄像头坐标系与世界坐标系之间夹角的初始值；

角度变化计算模块604，用于获取摄像头在上述摄像头坐标系中沿坐标轴方向旋转的角速度，并通过对时间积分获得额定时间内的上述夹角的角度变化量；及

角度获取模块602，用于将上述夹角的初始值与上述角度变化量进行叠加，获取摄像头坐标系与世界坐标系之间夹角的调节值，用以标定上述摄像头的外部参数。

在本发明的其中一个实施例中，上述系统还包括：

校正模块605，用于获取基于传感器测量得到摄像头坐标系与世界坐标系之间夹角的当前值，将上述当前值与上述调节值进行线性叠加，获得对上述调节值进行修正后的结果值，利用上述结果值标定上述摄像头的外部参数。

在本发明的其中一个实施例中，上述夹角的初始值为：在静态时基于传感器测量得到摄像头坐标系与世界坐标系之间的夹角；或者

计算当前时刻用以标定上述摄像头的外部参数的调节值时，上述夹角的初始值为：前一时刻依据上述根据上述夹角的初始值及上述相应坐标轴方向上的角度变化量、获取摄像头坐标系与世界坐标系之间夹角的调节值的步骤而获取的调节值，或者，前一时刻依据上述通过将上述当前值与上述调节值进行线性叠加对上述调节值进行修正的步骤而获取的修正后的结果。

在本发明的其中一个实施例中，上述摄像头坐标系与世界坐标系之间的夹角包括俯仰角、翻滚角和/或偏航角；上述测量模块或上述校正模块中采用加速度计或陀螺仪获取俯仰角的上述初始值或上述当前值；采用加速度计或陀螺仪获取翻滚角的上述初始值或上述当前值；和/或采用磁力计获取偏航角的上述初始值或上述当前值。

在本发明的其中一个实施例中，上述测量模块或上述校正模块中包括：

俯仰角计算单元，用于采用公式计算出采用加速度计时的俯仰角的上述初始值或上述当前值；及

翻滚角计算单元，用于采用公式计算出采用加速度计时的翻滚角的上述初始值或上述当前值；

在本发明的其中一个实施例中，上述角度变化计算模块包括：

变化获取单元，用于将上述角速度值乘以时钟周期得到一个时钟周期内的角度变化量，从而分别获得当前时钟周期内俯仰角、翻滚角和/或偏航角对应的角度变化量。

在本发明的其中一个实施例中，上述将上述当前值与上述调节值进行线性叠加、获得对上述调节值进行修正后的结果值采用以下公式计算：结果值＝(1-增益系数)*上述调节值+增益系数*上述当前值。

在本发明的其中一个实施例中，上述校正模块包括：

俯仰角修正单元，用于采用加速度计和/或陀螺仪获取俯仰角的当前值，将俯仰角的当前值与俯仰角的调节值进行线性叠加，获得对俯仰角的调节值进行修正后的结果值；

翻滚角修正单元，用于采用加速度计和/或陀螺仪获取翻滚角的当前值，将翻滚角的当前值与翻滚角的调节值进行线性叠加，获得对翻滚角的调节值进行修正后的结果值；及

偏航角修正单元，用于采用磁力计获取偏航角的当前值，将偏航角的当前值与偏航角的调节值进行线性叠加，获得对偏航角的调节值进行修正后的结果值。

上述测量模块601用于执行上述标定方法中的步骤110、角度变化计算模块604用于执行上述标定方法中的步骤120、角度获取模块602用于执行上述标定方法中的步骤130，因此具体的相关步骤解释说明具体可参见上述标定方法中的相关说明，在此不再累述。在用户使用过程中，上述摄像头实时标定系统对摄像头坐标系与世界坐标系之间夹角进行修正，去除其因外力产生的误差，使得将摄像头坐标系与世界坐标系之间精确夹角带入辅助驾驶系统进行计算，避免因夹角不准确而产生错误的辅助驾驶指令，提高辅助驾驶的安全性。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品承载在一个非易失性计算机可读存储载体(如ROM、磁碟、光盘、服务器云空间)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例的系统结构和方法。

基于上述参见图4所示的硬件架构进行的描述，在本发明的其中一个实施例中还提供了一种摄像头装置，该摄像头装置包括摄像头，及与摄像头连接的上述摄像头实时标定装置。在摄像头实时标定装置中，包括：

角速度传感器，用于获取上述摄像头在摄像头坐标系中沿坐标轴方向旋转的角速度；

分别与上述角度传感器和传感器模块连接的处理器，用于接收上述角速度，并根据上述角速度通过对时间积分获得额定时间内上述夹角的角度变化量，将上述夹角的初始值与上述角度变化量进行叠加，获得摄像头坐标系与世界坐标系之间夹角的调节值，根据上述调节值发出执行命令或者输出上述调节值，用以提醒上述调节值和/或根据上述调节值调整摄像头坐标系与世界坐标系之间夹角。

在本发明的其中一个实施例中，上述传感器模块包括以下之一：

与上述处理器相连的陀螺仪，用于测量上述摄像头坐标系与世界坐标系之间夹角中的俯仰角和/或翻滚角；

与上述处理器相连的加速度计，用于测量上述摄像头坐标系中沿坐标轴方向的加速度分量，根据上述加速度分量获得上述摄像头坐标系与世界坐标系之间夹角中的俯仰角和/或翻滚角；和

与上述处理器相连的磁力计，用于测量上述摄像头坐标系与世界坐标系之间夹角中的偏航角。

此外，为了使上述调节值更加精确增加修正环节，上述处理器还用于接收上述传感器模块获得的上述夹角的当前值，通过将上述当前值与上述调节值进行线性叠加对上述调节值进行修正，利用修正后的结果发出上述执行命令或者输出修正后的调节值。

上述处理器可以用于执行上述标定方法中的步骤121和步骤130，或者还可以用于执行上述标定方法中的步骤121和步骤130、以及步骤S150。因此上述各个器件之间的具体实现关系可参见上述有关标定方中的相关具体说明，在此不再累述。

或者，在上述摄像头实时标定装置或者摄像装置上还可以包括：

执行模块，用于接收上述执行命令，提醒上述调节值或者修正后的调节值和/或根据上述调节值调整摄像头坐标系与世界坐标系之间夹角。

执行模块的具体实现方法可以有很多种，比如，执行模块可以包括一显示器，该显示器可以设置在摄像头实时标定装置或者摄像装置上与处理器连接，或者该显示器为移动终端上的显示屏，移动终端与上述摄像头实时标定装置或者摄像装置通过有线或者吴无线方式连接。显示器用于接收上述执行命令，在屏幕上显示上述调节值或者修正后的调节值，用以提醒用户。

还比如，执行模块可以包括一与摄像头连接的调整支架、及该调整支架的驱动模块，驱动模块用于接收处理器发出的上述执行命令，并通过调整支架调整摄像头的外部参数，实现自动标定。该调整支架可以通过驱动模块接收处理器发出的上述执行命令，并利用诸如齿轮传动等机械设备调整与之连接的摄像头的摄像头坐标系与世界坐标系之间俯仰角、翻滚角和/或偏航角，从而实现动态的自动标定，快速并且简便。

当然，在本发明的其中一个实施例中，执行模块可以同时包括上述显示器和一与摄像头连接的调整支架、及该调整支架的驱动模块。

上述在上述摄像头实时标定装置或者摄像装置上还可以包括：低通滤波器，该低通滤波器可以连接在加速度计和/或磁力计的信号输出端，用于对加速度计和/或磁力计输出的信号进行滤波处理。

此外，图10还提供了本发明的其中一种实施例的系统架构图。在该实施例中，摄像头实时标定装置包括：加速度计151、陀螺仪156、磁力计155、角度计算模块153、变化计算模块157、融合计算模块154。

1、加速度计151用于测量摄像头坐标系在三个坐标轴方向上的加速度分量。

2、陀螺仪156用于获取摄像头在所述摄像头坐标系中沿坐标轴方向旋转的角速度。

3、磁力计155用于获取摄像头坐标系与世界坐标系之间偏航角。

4、可与加速度计151连接的角度计算模块153，用于根据加速度计获取的加速度分量获取摄像头坐标系与世界坐标系之间俯仰角和/或翻滚角。

采用公式计算出采用加速度计时的俯仰角θ_a。

采用公式计算出采用加速度计时的翻滚角φ_a。

5、可与陀螺仪156连接的变化计算模块157，用于根据陀螺仪获取的所述角速度通过对时间积分获得额定时间内俯仰角、翻滚角、和/或偏航角的角度变化量。例如，将相应的角速度值乘以时钟周期得到一个时钟周期内的角度变化量，从而获得当前时钟周期内俯仰角、翻滚角、和/或偏航角的角度变化量。

6、融合计算模块154用于将所述俯仰角、翻滚角、和/或偏航角的初始值与所述俯仰角、翻滚角、和/或偏航角的角度变化量分别进行叠加，获得摄像头坐标系与世界坐标系之间俯仰角、翻滚角、和/或偏航角对应的调节值，输出调节值用以标定所述摄像头的外部参数。上述融合计算模块154用于执行上述标定方法的步骤S130，有关执行细节可参见前文详细说明。

为了增加修正环节，则融合计算模块154还用于依据上述加速度计151、磁力计155实时采集获得的俯仰角、翻滚角、和/或偏航角的当前值，通过将上述当前值分别与上述调节值进行线性叠加对上述调节值进行修正，利用修正后的结果发出上述执行命令或者输出修正后的调节值。上述融合计算模块154还用于执行上述标定方法的步骤S150，有关执行细节可参见前文详细说明。

当然，为了增加加速度计的精确度，还可以在加速度计151与角度计算模块153之间增加低通滤波器152。同样，也还可以在磁力计155与融合计算模块154之间增加低通滤波器152。

上述角度计算模块153、变化计算模块157、融合计算模块154、低通滤波器152可以通过独立的硬件来实现，或者通过编程的方法来实现相应的功能。例如，如图10所示的虚线158，可以将上述角度计算模块153、变化计算模块157、融合计算模块154集成到同一处理器模组158上来实现，那么处理器模组158等同于上述图4中的处理器。此外，此时低通滤波器152也可以通过软件的方法来实现集成到处理器模组158中由其实现。

当然，无论采用哪一种硬件环境架构，均不会影响上述标定方法的实现。在用户使用过程中，上述摄像头实时标定装置对摄像头坐标系与世界坐标系之间夹角进行修正，去除其因外力产生的误差，使得将摄像头坐标系与世界坐标系之间精确夹角带入辅助驾驶系统进行计算，避免因夹角不准确而产生错误的辅助驾驶指令，提高辅助驾驶的安全性。

上述全自动化、高精度、低成本的摄像头实时标定方法、系统和装置通过测量摄像头坐标系与世界坐标系之间夹角的初始值；测量摄像头在摄像头坐标系中三个方向旋转的角速度，并通过对时间积分获得额定时间内的角度变化量；根据夹角的初始值及角度变化量获取摄像头坐标系与世界坐标系之间夹角的调节值；摄像头坐标系与世界坐标系之间夹角包括俯仰角、翻滚角和/或偏航角。因此，用户无需使用标定板方法对摄像头进行标定，可由用户自行安装。

传统的光学标定方法涉及到大量专业设备和专业人员。而上述全自动化、高精度、低成本的摄像头实时标定方法、系统和装置采用了和传统的光学标定方法完全不同的传感器融合标定法，从而实现了车载摄像头标定的自动化和实时化。

自动化意味着用户可以自行安装ADAS产品，无需考虑标定，极大增强了产品使用的便利性。实时化意味着由于外界环境变化，摄像头需要重新标定时，标定过程可以在后台实时完成，保证了产品的安全性。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims

1.一种摄像头实时标定方法，其特征在于，包括以下步骤：

获取摄像头坐标系与世界坐标系之间夹角的初始值；

2.根据权利要求1所述的摄像头实时标定方法，其特征在于，还包括：

获取基于传感器测量得到摄像头坐标系与世界坐标系之间夹角的当前值；

通过将所述当前值与所述调节值进行线性叠加对所述调节值进行修正，利用修正后的结果标定所述摄像头的外部参数。

3.根据权利要求1或2所述的摄像头实时标定方法，其特征在于，所述摄像头坐标系与世界坐标系之间的夹角包括俯仰角、翻滚角和/或偏航角，所述获取摄像头坐标系与世界坐标系之间夹角的初始值的步骤、或所述获取基于传感器测量得到摄像头坐标系与世界坐标系之间夹角的当前值的步骤中包括：

采用加速度计或陀螺仪获取俯仰角的所述初始值或所述当前值；

采用加速度计或陀螺仪获取翻滚角的所述初始值或所述当前值；和/或

采用磁力计获取偏航角的所述初始值或所述当前值。

4.根据权利要求3所述的摄像头实时标定方法，其特征在于，所述获取基于传感器测量得到摄像头坐标系与世界坐标系之间夹角的当前值，通过将所述当前值与所述调节值进行线性叠加对所述调节值进行修正的步骤包括：

采用加速度计和/或陀螺仪获取俯仰角的当前值，将俯仰角的当前值与俯仰角的调节值进行线性叠加，获得对俯仰角的调节值进行修正后的结果；

采用加速度计和/或陀螺仪获取翻滚角的当前值，将翻滚角的当前值与翻滚角的调节值进行线性叠加，获得对翻滚角的调节值进行修正后的结果；

采用磁力计获取偏航角的当前值，将偏航角的当前值与偏航角的调节值进行线性叠加，获得对偏航角的调节值进行修正后的结果。

5.一种摄像头实时标定系统，其特征在于，所述系统包括：

6.根据权利要求5所述的系统，其特征在于，所述系统还包括：

校正模块，用于获取基于传感器测量得到摄像头坐标系与世界坐标系之间夹角的当前值，将所述当前值与所述调节值进行线性叠加，获得对所述调节值进行修正后的结果值，利用所述结果值标定所述摄像头的外部参数。

7.根据权利要求5或6所述的系统，其特征在于，所述摄像头坐标系与世界坐标系之间的夹角包括俯仰角、翻滚角和/或偏航角；所述测量模块或所述校正模块中采用加速度计或陀螺仪获取俯仰角的所述初始值或所述当前值；采用加速度计或陀螺仪获取翻滚角的所述初始值或所述当前值；和/或采用磁力计获取偏航角的所述初始值或所述当前值。

8.根据权利要求5所述的系统，其特征在于，所述校正模块包括：

9.一种摄像头实时标定装置，与摄像头连接，其特征在于，包括：

10.根据权利要求9所述的摄像头实时标定装置，其特征在于，所述传感器模块包括以下之一：

与所述处理器相连的陀螺仪，用于测量所述摄像头坐标系与世界坐标系之间夹角中的俯仰角和/或翻滚角；

与所述处理器相连的加速度计，用于测量所述摄像头坐标系中沿坐标轴方向的加速度分量，根据所述加速度分量获得所述摄像头坐标系与世界坐标系之间夹角中的俯仰角和/或翻滚角；和

与所述处理器相连的磁力计，用于测量所述摄像头坐标系与世界坐标系之间夹角中的偏航角；所述处理器还用于接收所述传感器模块获得的所述夹角的当前值，通过将所述当前值与所述调节值进行线性叠加对所述调节值进行修正，输出修正后的调节值。

11.一种摄像头实时标定装置，其特征在于，所述装置包括：

磁力计，用于获取摄像头坐标系与世界坐标系之间偏航角；

融合计算模块，用于将所述俯仰角、翻滚角、和/或偏航角的初始值与所述俯仰角、翻滚角、和/或偏航角的角度变化量分别进行叠加，获得摄像头坐标系与世界坐标系之间俯仰角、翻滚角、和/或偏航角对应的调节值，输出调节值用以标定所述摄像头的外部参数；所述融合计算模块还用于依据上述加速度计、磁力计实时采集获得的俯仰角、翻滚角、和/或偏航角的当前值，通过将上述当前值分别与上述调节值进行线性叠加对上述调节值进行修正，输出修正后的调节值用以标定所述摄像头的外部参数。

12.一种摄像装置，其特征在于，所述摄像装置包括摄像头和权利要求9或权利要求11所述的摄像头实时标定装置。