CN107103625B - 用于成像系统的方法和设备 - Google Patents

Abstract

本发明涉及用于成像系统的方法和设备。本发明技术的各种实施方案可包括能够利用通常遇到的影像来对相机相对于车辆坐标系的取向(即，俯仰角、横摆角、侧倾角)进行校准的用于车载相机系统的方法和设备。所述方法和设备可包括利用图像处理器从图像帧的像素数据中检测特征、匹配特征、提供估计取向并对所述取向进行验证。利用所述方法和设备的系统可将所述相机相对于所述车辆坐标系的取向传输到外围系统。

Description

用于成像系统的方法和设备

相关专利申请的交叉引用

本申请要求2016年2月23日提交的美国临时专利申请序列号62/298,656的权益，并将该申请的公开内容全文以引用方式并入本文。然而，当本公开与任何引用的专利申请冲突时，本公开应当被赋予优先权。

背景技术

准确估计相机相对于特定参照物(诸如支承该相机的车辆)的取向有利于多种图像处理和计算机视觉功能。此类功能包括但不限于视图合成(例如，使用单个倒车相机来从不同视角生成图像、拼接来自环视相机的图像以形成全景图像，等等)、对象检测(例如，检测车道、检测道路上的障碍物，等等)和三维(3D)重建(例如，使用来自一对相机的立体匹配或来自单个相机运动的结构来恢复某场景的3D结构)，上述功能都是先进驾驶辅助系统(ADAS)中常见的组成部分。相机的取向可使用几种可互换的表示来体现，包括但不限于欧拉角表示(即，遵循预定旋转次序的俯仰角、横摆角和侧倾角)、旋转矩阵表示、四元数表示和轴角表示。

传统的相机取向估计方法利用专门设计的图案(诸如网格图案)、以及既耗时又容易出错的技术。另外，如果相机的位置改变(诸如当支承该相机的车辆发生意外时)，必须采用特殊的设备和过程重新校准相机，以重新估计相机取向。

在相机上安装惯性测量单元(IMU)具有有限的适用性，这是因为消费级IMU的精确度和耐用性都下降，而更高级IMU的成本过高。

在不使用专门设计的图案的情况下自动地估计相机取向的其他解决方案通常采用传统的特征检测器和特征匹配器，这些特征检测器和特征匹配器要么直接使用局部图像块，要么依赖从那些图像块提取的高维特征向量来描述和匹配特征。这些特征检测器和特征匹配器通常需要使用帧缓冲器来保存图像，这不但消耗大量电力，还显著增大了设计成本。采用严重依赖线性系统解算器的模型拟合方法的技术同样需要更多的存储空间和电力，这导致校准系统的成本升高。只估计一个或两个旋转角的技术通常假设其余的旋转角是已知的并保持不变。这种假设限制了此类技术的适用性。

考虑到现有的校准方法存在种种限制，IMU也存在多种局限，因此期望开发出一种能够在不使用专门设计的图案的情况下自动地估计相机取向的低成本低功耗校准方法。这种能力在本文中称为自校准。

附图说明

当结合以下示例性附图考虑时，可通过参照具体实施方式而得到对本发明技术的更完整的理解。在以下附图中，通篇以类似附图标记指代各附图当中的类似元件和步骤。

图1代表性地示出了根据本发明技术的示例性实施方案的自校准系统的框图；

图2代表性地示出了根据本发明技术的示例性实施方案的自校准系统的一部分的框图；

图3代表性地示出了根据本发明技术的示例性实施方案的自校准系统的一部分的框图；

图4A至图4J代表性地示出了由根据本发明技术的示例性实施方案的自校准系统使用的相机帧；

图5A至图5C根据本发明技术的示例性实施方案相对于车辆坐标系代表性地示出了相机坐标系；

图6代表性地示出了根据本发明技术的示例性实施方案的自校准相机系统；

图7示出了根据本发明技术的示例性实施方案的利用自校准方法的过程。

具体实施方式

本发明技术可在功能块组件和各种加工步骤方面进行描述。这样的功能块可通过被构造成执行指定功能并且实现各种结果的任何数量的组件实现。例如，本发明的技术可采用可实施多种功能的各种成像传感器、图像处理单元、计算、算法、模型拟合技术、数据划分，等等。此外，本发明的技术可结合任意数量的系统(诸如汽车系统和航空系统)实施，所述的这些系统仅为该技术的示例性应用。另外，本发明的技术可采用任意数量的传统技术，来检测角点、测量距离、计算角度等。

根据本发明技术的各方面的用于成像系统的方法和设备可与任一种合适的成像系统(诸如位于车辆上的相机)配合使用。现在参见图1和图6，在本发明技术的示例性实施方案中，用于成像系统600的方法和设备可与包括图像传感器665、图像处理单元145和外围系统650的自校准成像系统配合使用，并且可实施自校准方法100。图像处理单元145可检测从图像传感器665接收的像素数据105中的特征110、匹配检测到的特征115、使用匹配特征执行取向估计120、并执行对估计取向130的验证。在各种实施方案中，诸如车辆速度和相机高度之类的补充信息705(图7)也可被成像系统600使用，并被合并到方法100中。

在示例性实施方案中，图像处理单元145可利用来自图像传感器665的像素数据105，该图像传感器包含像素阵列，其中像素450(图4A)被布置成行和列。图像处理单元145可利用例如来自图像传感器665的第一图像帧405(图4A)和第二图像帧410(图4B)的像素数据105。在另一个实施方案中，在有两个以上图像帧400可用的情况下，可利用两个以上图像帧400的像素数据105。

在各种实施方案中，图像处理单元145可包括校准单元165，该校准单元被配置为执行各种图像处理技术并利用算法确定相机565相对于参考坐标系505(图5)的取向。校准单元165可执行特征检测110、特征匹配115、取向估计120和取向验证130，以确定相机取向。

在各种实施方案中，图像处理单元145和校准单元165可使用可编程逻辑装置实施，该可编程逻辑装置诸如是现场可编程门阵列(FPGA)或具有可重新配置的数字电路的任何其他装置。在其他实施方案中，图像处理单元145和校准单元165可使用不可编程装置在硬件中实施。在可供选择的实施方案中，图像处理单元145和校准单元165可使用任何合适的互补金属氧化物半导体(CMOS)技术或制造工艺部分或完全地形成于硅集成电路内、形成于ASIC内、使用处理器和存储系统形成，也可采用其他合适的实施方式形成。

校准单元165可对图像数据诸如来自第一图像帧405和第二图像帧410(图4A至图4B)中每一者的数据执行特征检测110。在本发明的示例性实施方案中，特征检测110可包括检测第一图像帧405和第二图像帧410中每一者内的至少两个特征。在各种实施方案中，校准单元165最初可检测多个特征，例如10个以上特征。一旦检测到特征，校准单元165就可提供图像处理技术，来丢弃无效特征并保留有效特征以供进一步图像处理。

然而，校准单元165可能会确定没有足够的信息来继续进行特征匹配115，诸如从当前的图像帧400的像素数据105检测到的特征少于两个，在这种情况下，校准单元165可使用新图像帧400的像素数据105来发起新一轮的特征检测110。在各种实施方案中，校准单元165可以不对属于完整图像帧400的像素数据105执行特征检测110，而对属于图像帧400的一部分的像素数据105执行特征检测110。例如，校准单元165可以跳过属于图像帧400的顶部处的多个行的像素数据105。

参见图2，由校准单元165执行的特征检测110可包括利用角点检测方法(诸如哈里斯角点检测器和加速分段测试特征(FAST)检测器，或任何其他合适的角点检测方法)来检测候选角点集合210。在示例性实施方案中，校准单元165可以对通常会遇到的影像(诸如包含形成角点的所成像道路区域中亮度变化或色彩变化的图像)执行特征检测110，并且可以不需要使用专门设计的目标(诸如特定的路面标志、重复的纹理或对称的虚线车道标记)。例如，校准单元165可从拼接的表面、新修补的道路区域、阴影和/或具有角点的任何道路标记(诸如指示人行道的线条、中央车道标记、减速带标记、转向车道标记，等等)检测角点。

在各种实施方案中，校准单元165可为每个图像帧400(图4A至图4B)生成候选角点集合230。候选角点集合230可包括多个检测到的特征，诸如多个候选角点。例如，图4C和图4D分别示出了第一图像帧405和第二图像帧410，其中第一图像帧405包括一组检测到的特征420a-j(即，候选角点集合230)，第二图像帧410包括一组检测到的特征420a’-i’、420k’(即，候选角点集合230)。

一旦已生成候选角点集合230，校准单元165就可对形成每个候选角点230的像素数据105以及每个候选角点230周围的像素数据105提供额外的处理。例如，针对候选角点集合230中的每个候选角点，校准单元165可执行关联边取向估计215，这就确定与候选角点230关联的边的取向，从而将有效角点235与无效角点区分开并丢弃无效角点。在候选角点230变得可用时，或在候选角点集合230的一部分或全部变得可用时，可对每个候选角点230执行这种额外的处理。

在示例性实施方案中，针对每个候选角点230，校准单元165可确定关联边的取向215。校准单元165可例如通过至少两个不同方向(这些方向中的两个可相互正交)上计算出的梯度，来计算形成候选角点230的像素和/或候选角点230附近的像素的边取向。校准单元165可利用所述边取向来计算一组主要边取向。例如，校准单元165可通过组合边取向直方图，接着选择该直方图中的主峰，来计算这组主要边取向。接下来，校准单元165例如通过确定沿源自角点的两个边取向中的每个边取向的像素450(图4A)的数量并确定跨一个边的强度/色彩过渡与跨另一个边的强度/色彩过渡之间的一致性，来测试这组主要边取向中的每一对的有效性。

参见图4E至图4F，在各种实施方案中，被确定为包括至少一对有效的主要边取向的候选角点230(图2)可被定义为有效角点235。校准单元165可为每个图像帧400生成有效角点集合235，该有效角点集合包括多个有效角点(即，有效特征420、420’)。例如，图4E和图4F示出了第一图像帧405和第二图像帧410，其中第一图像帧405包括一组有效特征420b、420d-j(即，有效角点集合235)，第二图像帧410包括一组有效特征420b’-d’、420f’-i’、420k’(即，有效角点集合235)。

再次参见图2，针对每个有效角点(即，有效特征420、420’)，校准单元165可执行角点描述符生成220，借助该操作可生成角点描述符240，该角点描述符包含与有效角点的性质有关的信息，诸如位置、取向、对向角和对比度，其中，对比度是相对于角点内的像素与角点外的像素之间的强度/色彩过渡来限定的。在其他实施方案中，角点描述符240还可包含与有效角点的邻域有关的信息，诸如相邻角点的索引列表，其中邻域可依据预定的距离量度来限定。预定的距离量度可为空间距离量度、光谱距离量度、组合的空间与光谱距离量度，等等。有效角点在其角点描述符240中的邻域信息可在图像帧400的有效角点集合235变得可用时或在执行邻域匹配315(下文将说明，图3)之前生成。在示例性实施方案中，方法100可以不需要将完整的图像帧400、缩减的帧或扩增的帧存储在存储单元625(图6)中以执行特征检测110。例如，校准单元165可将属于图像帧400的一部分的像素数据105传输到存储单元625，使得当执行特征检测110时，可以在不使用帧缓冲器的情况下存储像素数据105。在各种实施方案中，校准单元165在执行特征匹配115之前矫正有效特征420、420’，以将透镜畸变考虑进去。例如，可将有效特征420、420’的位置矫正到未畸变的图像坐标。也可将有效特征420、420’的对向角和取向矫正到未畸变的图像坐标。

校正单元165可以在第一图像帧405与第二图像帧410之间执行特征匹配115。特征匹配115可包括将第一图像帧405的有效特征(例如420b、420d-j)与第二图像帧410的有效特征(例如420b’-d’、420f’-i’、420k’)进行比较，识别具有类似性质的有效特征对，其中，每对有效特征包括来自第一图像帧405的一个有效特征420和来自第二图像帧410的对应有效特征420’。一对具有类似性质的有效特征在下文中称为一对匹配特征455。在示例性实施方案中，有效特征可为有效角点，但其他实施方案可检测除角点外的特征。

在示例性实施方案中，特征匹配115可包括将来自第一图像帧405的每个有效角点与来自第二图像帧410的每个有效角点进行比较。一对具有类似性质的有效角点可被确定为一对匹配特征455。在示例性实施方案中，现在参见图3，特征匹配115可包括用来形成候选匹配特征集合325的单特征匹配305和用来形成最终匹配特征集合330的邻域匹配315。单特征匹配305可包括基于每个有效特征的各个性质(诸如位置、取向、对向角和对比度)来匹配有效特征420、420’。例如，参见图4G至图4H，可将第一图像帧405的有效特征420与第二图像帧410的有效特征420’进行比较，随后可确定匹配特征对455(1)-(7)。相反地，下文将描述的邻域匹配315可包括基于每个有效特征的邻域性质来匹配有效特征420、420’。

第一图像帧405的有效特征420与第二图像帧410的有效特征420’可以匹配、也可以不匹配。例如，如展现图4E的特征和图4F的特征的叠加的图4G所示，第一图像帧405的有效特征420b和第二图像帧410的有效特征420b’可能被确定为一对匹配特征455(2)，原因是这两者具有类似的性质；然而，第一图像帧405的有效特征420i和第二图像帧410的有效特征420b’可能不被确定为一对匹配特征，原因是这两者具有不同的性质。

在各种实施方案中，校准单元165可能会确定没有足够的信息来继续执行取向估计120，诸如确定匹配特征455少于两对，在这种情况下，校准单元165可使用新图像帧400的像素数据105来发起新一轮的特征检测110。

成对匹配特征455可被包含在候选匹配特征集合325中。成对匹配特征455也可被包含在最终匹配特征集合330中。

针对候选匹配特征集合325中的每对匹配特征455(1)-(7)，校准单元165可执行邻域匹配315。邻域匹配315可包括针对候选匹配特征集合325中的每对匹配特征，基于候选匹配特征集合325和邻域拓扑结构来确定它们是否彼此邻域匹配315。对于候选匹配特征集合325内的每对匹配特征中的每个有效特征420、420’，其邻域的拓扑结构可由该特征的描述符240及其相邻特征的描述符240确定。在示例性实施方案中，对于候选匹配特征集合325内的每对匹配特征中的每个有效特征420、420’，其邻域的拓扑结构可为空间拓扑结构，该空间拓扑结构表示了每个相邻特征相对于该特征的相对位置。候选集合325中的还具有匹配邻域的每对匹配特征455被包含在最终匹配特征集合330中。

如果两个邻域有至少一对特征处于候选匹配特征集合325中，并且如果至少一对特征具有类似的邻域拓扑结构，则这两个邻域可被确定为匹配邻域。匹配特征对455(1)-(7)可能并非都包含在最终匹配特征集合330中。例如，仅匹配特征对455的子集可被包含在最终匹配特征集合330中。例如，如展现来自两个图像帧的叠加特征的图4H所示，最终匹配特征集合330可仅包含有效特征420i、420i’、420f、420f’、420g、420g’。

针对最终匹配特征集合330内的每对匹配特征455(1)-(7)，校准单元165可生成匹配描述符320，使得每对匹配特征455(1)-(7)具有相关联的匹配描述符335。匹配描述符335可包含与最终匹配特征集合330内的该对匹配特征相关的信息。例如，匹配描述符335可包含匹配特征的描述符240中每一者的部分或全部信息。相反地，匹配描述符335可包含匹配特征中每一者的指示其在相应特征描述符集合240内的位置的索引。匹配描述符335还可包含指示两个匹配特征之间的相似性程度的相似性评分。匹配描述符335还可包含指示两个匹配特征之间的比例变化的比例因子。

在示例性实施方案中，匹配描述符335可包含每个匹配特征的位置、以及比例因子。在示例性实施方案中，对于最终匹配特征集合330内的每对匹配特征，其比例因子可被确定为该对匹配特征中两个特征的匹配邻域的函数。例如，该函数可为计算匹配邻域的大小的测量值之间的比率的函数。在示例性实施方案中，校准单元165可以不需要将完整的图像帧400、缩减的帧或扩增的帧存储在存储单元625中以执行特征匹配115。例如，校准单元165在执行特征匹配115时，可以在不使用帧缓冲器的情况下，将角点描述符集合240存储在存储单元625中。

现在参见图1和图5，校准单元165可相对于参考坐标系505执行对相机565的取向估计120。在示例性实施方案中，可仅使用最终匹配特征集合330内的那些特征420、420’来执行对相机旋转角的取向估计120，其中相机旋转角包括相对于车辆坐标系505的俯仰角515、横摆角520和侧倾角525(俯仰角515、横摆角520和侧倾角525可被共同定义为相机坐标系560)。最终匹配特征集合330可通过最终匹配特征集合330中的匹配特征的匹配描述符集合335和角点描述符集合240来识别。

参见图4至图5，取向估计120可包括利用最终匹配特征集合330来估计核点425。在各种实施方案中，核点估计430可包括使用匹配特征330之间的比例的变化来估计相机565的大致移动方向550。例如，如果来自第一图像帧405的特征420(例如，如图4E所示)的比例小于第二图像帧415的匹配特征420’(例如，如图4I所示)，则相机565正在朝向535场景中形成所述特征的结构移动。相反地，如果来自第一帧405的特征420(例如，如图4E所示)的比例大于第二图像帧410的匹配特征420’(例如，如图4F所示)，则相机565正在远离555场景中形成所述特征的结构移动。相机565的大致移动方向550可被确定为最终匹配特征集合330中的大部分匹配特征对455保持一致的方向535或555。不与相机565的大致移动方向550一致的那些匹配特征对455可从最终匹配特征集合330中移除。

参见图4J和图5，当相机565在两个图像帧之间经历线性运动(即，平移)并且相机565的线性运动方向570不与像平面400平行时，核点425随后可被计算为像平面上到最终匹配特征集合330(即，同样与相机565的大致移动方向550一致的那些匹配特征对330)中的每对匹配特征455所形成的线的距离最小的点。可应用各种轻量化模型拟合技术(诸如随机采样一致(RANSAC)方法和类似RANSAC的方法)来计算核点425。

参见图5，估计取向120还可包括从核点425提取俯仰角515、横摆角520和侧倾角525(即，旋转角)。例如，如果侧倾角525被指定为零或预先确定的数，则可由核点425计算俯仰角515和横摆角520。相反地，最初可将任一旋转角指定为零或预先确定的数，随后由核点425计算其余的角。

当车辆510在两个图像帧之间有线性运动(即，平移)时，如果相机565与车辆510之间的几何关系在线性运动中并未改变，并且如果参考坐标系505被限定为具有车辆的沿参考坐标系505的一条轴但不与像平面400平行的线性运动方向570，则核点425和三个旋转角515、520和525可具有以下相关关系：g*e＝K*R(u,v,w)*t＝K*[R(u,v,w)]:,_i*[t]_i，其中，g表示比例因子；e表示核点425；K表示相机固有矩阵；R(u,v,w)表示代表从参考坐标系505到相机坐标系560的旋转的旋转矩阵，并由遵循预定旋转次序的俯仰角u 515、横摆角v 520和侧倾角w 525限定；t为平移矢量，该平移矢量的符号由相机的大致移动方向550确定；[]_:,i表示矩阵的第i列；[]_i表示矢量的第i要素；*表示乘号。例如，如果旋转次序为：首先绕x轴旋转，接着绕y轴旋转，然后绕z轴旋转，则第i轴可为z轴。相机固有矩阵可由相机565的固有参数的标称值得到或通过校准相机565的固有参数获得，其中，固有参数可包括相机焦距、主点、像素纵横比、像素偏斜度和透镜畸变系数。一旦计算出核点425，就可使用这一关系计算出旋转角515、520和525。可将参考坐标系505的原点限定为与相机坐标系560的原点重合。如果两者不重合，则在所有计算中，可假设参考坐标系505的原点与相机坐标系560的原点重合。

参见图1、图4H以及图5A至图5C，取向估计120还可包括计算最终匹配特征集合330内的每个有效特征420、420’的三维(3D)坐标。例如，最终匹配特征集合330内的每个有效特征420、420’的3D坐标可通过利用旋转角515、520和525的当前估计值和三角测量技术将最终匹配特征集合330从第一像平面405和第二像平面410中每一者投影到参考坐标系505(例如，车辆坐标系)中来计算。

取向估计120还可包括将最终匹配特征集合330的3D坐标投影到垂直于车辆移动方向570的二维(2D)平面540上，其中，将3D坐标投影到2D平面540上这一做法在2D平面540上形成与最终匹配特征集合330内的每个有效特征420、420’对应的点。将3D坐标投影到2D平面540上可为正交投影。

取向估计120还可包括确定最终匹配特征集合330内的有效特征420、420’是否定位在参考面545(例如，地平面)上。在示例性实施方案中，确定最终匹配特征集合330相对于参考面545的位置包括用2D平面540上的对应于最终匹配特征集合330内每个有效特征420、420’的点拟合出线，然后由拟合线计算斜率。拟合成线可通过各种轻量化模型拟合技术(诸如RANSAC方法和类似RANSAC的方法)实现。

在一个示例性实施方案中，取向估计120可包括迭代过程，该过程可包括重复执行以下步骤：1)计算最终匹配特征集合330内每个有效特征420、420’的3D坐标；2)将匹配特征集合的3D坐标投影到2D平面540上；3)用2D平面540上的对应于最终匹配特征集合330内每个有效特征420、420’的点拟合出线；4)由计算出的拟合线斜率来调整侧倾角525，以形成调整过的侧倾角525’；5)使用核点425和调整过的侧倾角525’更新俯仰角515和横摆角520，直到拟合线斜率的绝对值位于预先确定的公差水平内。在示例性实施方案中，预先确定的公差水平可为比经校准旋转角515、520、525的期望准确度小的数。例如，如果相机565的经校准旋转角515、520、525相对于参考坐标系505的误差在1度范围内，则公差水平可被限定为至多tan(1度)，其中tan()是三角正切函数。

在其他实施方案中，一旦迭代次数达到预先确定的限值，取向估计120就可结束。例如，预先确定的限值可为少于10次迭代，或实现期望结果的任何其他数目。如果取向估计120无法在预先确定数目的迭代内会聚(即，拟合线斜率的绝对值不在预先确定的公差水平内)，则校准方法100和校准单元165可抓取新图像帧400的像素数据105，并使用新图像帧400的像素数据105以及来自先前帧之一的特征描述符集合240执行校准。如果来自先前帧的特征描述符集合240不止一个，则每个集合都可用于新一轮的校准。

在各种实施方案中，当使用匹配特征120执行取向估计120时，校准单元165可能会确定没有足够的信息来继续进行对估计取向130的验证，诸如未找到核点425、或取向估计120在结束时未会聚到相机取向。在这种情况下，校准单元165可使用新图像帧400的像素数据105来发起新一轮的特征检测110。

在各种实施方案中，校准单元165可被配置为对估计取向130进行验证，诸如使用单应性技术进行。例如，使用单应性技术对估计取向130进行验证可包括根据所估计的旋转角515、520、525计算参考坐标系505中由参考面引起的帧间单应性矩阵。参考坐标系505中由参考面引起的帧间单应性矩阵可由相机565固有矩阵、参考坐标系505中由所估计的旋转角515、520、525限定的相机565旋转矩阵与参考坐标系505中由相机565的高度归一化得到的相机平移矢量(即，移动量)合成。唯一不清楚的可能是由相机565的高度归一化得到的相机565平移矢量，该矢量可利用被确定为位于参考面545上的最终匹配特征集合330中的匹配特征455估算出来。

使用单应性技术对估计取向130进行验证还可包括由当前的一对图像帧确定估计取向135的质量。例如，确定估计取向135的质量可包括计算来自单应性矩阵的统计数据、以及使用单应性矩阵计算被确定为位于参考面545上的最终匹配特征集合330的重投影误差。校准的质量可表示为使用统计数据和重投影误差限定的质量评分数值。

在示例性实施方案中，来自单应性矩阵的统计数据可以是衡量相机565在参考坐标系505中的平移矢量的多个估计值在两个图像帧之间的一致性的量度，其中，每个估计值可从被确定为位于参考面545上的最终匹配特征集合330中的一对匹配特征获得。在示例性实施方案中，参考面545包括地平面。

在各种实施方案中，校准单元165在对估计取向130进行验证时，可能无法完成取向验证130。在这种情况下，可使用新图像帧400的像素数据105来发起新一轮的特征检测110。

一旦已验证相机的旋转角515、520、525，校准单元165就可将验证过的相机取向135(包括相对于参考坐标系的俯仰角515、横摆角520和侧倾角525)传输到输出单元655。

现在参见图1、图4和图6，利用上述方法100的系统600可包括图像传感器665和图像处理单元145。

图像处理单元145还可包括存储单元625。存储单元625可暂时地存储像素数据105和中间数据。在各种实施方案中，可以不将完整的图像帧400、缩减的帧或扩增的帧存储到位于存储单元625内的帧缓冲器，而是作为替代，可存储属于图像帧400的一部分的像素数据105，诸如属于图像帧400的几行的像素数据105。在各种实施方案中，可将有关第一图像帧405和第二图像帧410中每一者的检测到的特征420、420’的信息(诸如角点描述符集合240、匹配描述符集合335)存储在存储单元625中。对相机取向135的估计也可存储在存储单元625中。

在各种实施方案中，存储单元625可包括随机存取存储器、非易失性存储器或适合特定应用的任何其他存储器装置。存储单元625可包括一个或多个存储器单元，诸如动态随机存取存储器单元(DRAM)、静态随机存取存储器单元(SRAM)或双稳态触发器。存储装置可使用晶体管或任何其他合适的半导体器件来实施。

在示例性实施方案中，图像处理单元还可包括输出单元655。输出单元655可将相机取向135传输到外围系统650。输出单元655可先将相机取向135从欧拉角表示515、520、525(图5)转换成其他表示(诸如旋转矩阵表示、四元数表示或轴角表示)，再将相机取向135传输到外围系统650(诸如ADAS)。输出单元655可先聚合由多个帧对计算得到的相机取向135的多个估计值，再将聚合的相机取向135传输到外围系统650。例如，相机取向135的多个估计值可使用其相应的质量评分作为权重来求平均值，其中，可对欧拉角、相应的旋转矩阵、相应的四元数或相应的轴角表示求平均值。

在示例性实施方案中，外围系统650可使用相机取向135来补偿相机565相对参考坐标系505的旋转偏差。例如，环视系统可使用所传输的相机取向135进一步处理来自至少两个图像帧400的像素数据105，诸如执行图像拼接、执行3D重构以及/或者确定图像中的一个或多个感兴趣区域(诸如图像中对应于参考面545的区域)，以产生环视输出。然后可将环视输出传输到其他外围系统650，诸如ADAS中的其他系统，诸如防碰撞系统和车道偏离警告系统，ADAS中的这些其他系统可使用视觉提醒、听觉提醒或感觉提醒来提醒驾驶员。例如，如果ADAS检测到驾驶员正在接近另一车辆，就会发出警报声、闪烁灯光并/或振动座椅。ADAS还可用于向车辆的驾驶员发出提醒信号，提醒驾驶员注意特定路况，诸如在车辆行驶路线上有物体或行人、车辆已偏离当前车道，等等。

在其他实施方案中，可使用相机取向135物理地将相机565相对于参考坐标系505重新对准为期望的取向。例如，物理地重新对准相机565可通过将相机565机械地旋转被确定为参考坐标系505内其校准取向135与期望取向之间差值的量来实现。

现在参见图1、图6和图7，在本发明技术的示例性实施方案中，自校准方法100和系统600可由车载相机565实施，该车载相机捕获连续的图像帧400(图4A至图4B)，例如第一图像帧405和第二图像帧410，并将这些帧400的像素数据105流式送输到存储单元625。能够访问存储单元625的图像处理单元145可接收像素数据105(710)并执行特征检测110(715)。一旦从属于至少两个图像帧的像素数据105检测到特征，图像处理单元145就可执行特征匹配115(745)。

一旦检测到第一图像帧405和第二图像帧410中每一者内的特征并将其匹配，图像处理单元145接着就可估计相机取向515、520、525(720)。如果达到了预先确定的公差水平(725)，则过程继续，接下来可对估计取向进行验证(730)，并可计算估计取向的质量(735)。如果并未达到预先确定的公差水平，则可利用第三图像帧(未示出)或后续的新图像帧，随后对来自第二图像帧410的像素数据105和来自第三图像帧的像素数据105，以及/或者对来自第一图像帧405的像素数据105和来自第三图像帧的像素数据105执行特征检测110(715)和特征匹配115(745)。如果估计取向的质量超过预先确定的阈值(735)，则相对于参考坐标系505的相机取向515、520、525随后可被外围系统650利用(740)。如果估计取向的质量未超过预先确定的阈值(735)，则可利用后续的新图像帧400来重启上述过程。

根据一个实施方案，提供了一种成像设备，其包括：图像传感器，该图像传感器包含像素阵列，所述像素阵列被配置为生成像素数据；存储单元，该存储单元耦接到图像传感器并被配置为存储像素数据；以及图像处理单元，该图像处理单元通信耦接到图像传感器和存储单元，并被配置为：接收第一图像帧的像素数据和第二图像帧的像素数据，其中第一图像帧和第二图像帧被循序捕获；检测第一图像帧中的至少两个特征和第二图像帧中的至少两个特征；将第一图像帧的所述至少两个特征与第二图像帧的所述至少两个特征匹配，由此形成匹配特征；执行取向估计，包括：由匹配特征计算核点；估计相对于核点的旋转角；通过计算匹配特征中每一者在参考坐标系中的3D坐标，来确定匹配特征是否出现在参考面上；使用匹配特征中每一者的所计算3D坐标和模型拟合技术来更新所估计的旋转角，直到达到预先确定的公差水平；以及使用单应性技术在参考坐标系中验证所估计的取向。所述参考面包括地平面。所述参考坐标系包括车辆坐标系。检测至少两个特征包括：确定与检测到的角点关联的边的取向并丢弃无效角点；以及生成检测到的角点的角点描述符，其中角点描述符包括位置、取向、对向角、对比度和相邻角点的索引中的至少一者。形成匹配特征包括：基于相邻特征的性质来匹配特征；以及生成每对匹配特征的匹配描述符，其中匹配描述符包括匹配邻域的大小的测量值之间的比率。由匹配特征计算核点包括：使用匹配特征之间的比例的变化确定移动方向。旋转角包括俯仰角、横摆角和侧倾角中的至少一者。使用单应性技术在参考坐标系中验证所估计的取向包括：衡量平移矢量在参考坐标系中的多个估计值在两个图像帧之间的一致性。

根据另一个实施方案，提供了一种用于对相机相对于参考坐标系的取向进行校准的成像设备，其包括：相机，该相机用于生成第一图像帧和第二图像帧；以及图像信号处理单元，该图像信号处理单元被配置为：检测由相机生成的第一图像帧和第二图像帧中每一者的像平面上的至少两个特征；形成匹配特征，包括将第一图像帧的至少两个特征与第二图像帧的至少两个特征匹配；利用至少两对匹配特征和所计算的核点来迭代地估计相机的旋转角，直到达到预先确定的公差水平；以及在参考坐标系中验证所估计的旋转角。旋转角包括俯仰角、横摆角和侧倾角中的至少一者。该成像设备通过以下方式检测至少两个特征：确定与检测到的角点关联的边的取向并丢弃无效角点；以及生成检测到的角点的角点描述符，其中角点描述符包括位置、取向、对向角、对比度和相邻角点的索引中的至少一者。在执行特征匹配之前矫正位置、取向和对向角，以将透镜畸变考虑进去。该成像设备通过以下方式形成匹配特征：基于相邻特征的性质来匹配特征；以及生成每对匹配特征的匹配描述符，其中匹配描述符包括匹配邻域的大小的测量值之间的比率，其中每个邻域由至少两个特征形成。该成像设备通过使用匹配特征之间的比例的变化确定相机的移动方向，来由所述匹配特征计算核点。该成像设备还通过以下方式来估计相机的旋转角：计算第一旋转角的值；以及由核点计算其余的旋转角。该成像设备通过以下方式计算第一旋转角的值：将与至少一对匹配特征对应的3D坐标投影到2D平面上以形成点集合，然后用该点集合拟合出线。该成像设备还根据拟合线的斜率来调整至少一个旋转角。该成像设备通过衡量平移矢量在参考坐标系中的多个估计值在两个图像帧之间的一致性，来验证所估计的相机旋转角。

根据另一个实施方案，提供了一种在车辆发生线性运动时对车载相机相对于车辆坐标系的取向进行校准的成像系统，其包括：图像传感器，该图像传感器包含用于捕获图像帧的像素阵列，其中像素阵列包含被布置成行和列的像素；图像处理单元，该图像处理单元被配置为接收第一图像帧和第二图像帧的连续行像素数据，该图像处理单元包括：校准单元，该校准单元被配置为：检测第一图像帧和第二图像帧中每一者的像平面上的至少两个特征；将第一图像帧的所述至少两个特征与第二图像帧的所述至少两个特征匹配，由此形成匹配特征；利用匹配特征和所计算的核点来迭代地估计相机取向，直到达到预先确定的公差水平；在车辆坐标系中验证所估计的相机取向；以及输出单元，该输出单元被配置为将验证过的相机取向传输到外围系统。该输出单元还被配置为通过使用质量评分作为权重对相机取向的多个估计值进行加权平均，来估计相机平均取向，其中质量评分衡量相机在车辆坐标系中的平移矢量的多个估计值在两个图像帧之间的一致性。

在上述描述中，已结合具体示例性实施方案描述了所述技术。所示和所述特定具体实施方式用于展示所述技术及其最佳模式，而不旨在以任何方式另外限制本发明技术的范围。实际上，为简洁起见，方法和系统的常规制造、连接、制备和其他功能方面未详细描述。此外，多张图中示出的连接线旨在表示各种元件之间的示例性功能关系和/或步骤。多个替代的或另外的功能关系或物理连接可存在于实际系统中。

已结合具体示例性实施方案描述了所述技术。然而，可在不脱离本发明技术的范围的情况下作出各种修改和变化。以示例性而非限制性方式考虑说明和附图，并且所有此类修改旨在包括在本发明技术的范围内。因此，应通过所述的一般实施方案及其在法律意义上的等同形式，而不是仅通过上述具体例子确定所述技术的范围。例如，除非另外明确说明，否则可以任何顺序执行任何方法或工艺实施例中列举的步骤，并且不限于具体例子中提供的明确顺序。另外，任何设备实施例中列举的组件和/或元件可以多种排列组装或者进行操作配置，以产生与本发明技术基本上相同的结果，因此不限于具体例子中阐述的具体配置。

上文已经针对具体实施方案描述了有益效果、其他优点和问题解决方案。然而，任何有益效果、优点、问题解决方案或者可使任何具体有益效果、优点或解决方案出现或变得更明显的任何要素都不应被解释为关键、所需或必要特征或组成部分。

术语“包含”、“包括”或其任何变型形式旨在提及非排他性的包括，使得包括一系列要素的工艺、方法、制品、组合物或设备不仅仅包括这些列举的要素，而且还可包括未明确列出的或此类工艺、方法、制品、组合物或设备固有的其他要素。除了未具体引用的那些，本发明技术的实施所用的上述结构、布置、应用、比例、元件、材料或组件的其他组合和/或修改可在不脱离其一般原理的情况下变化或以其他方式特别适于具体环境、制造说明、设计参数或其他操作要求。

上文已结合示例性实施方案描述了本发明技术。然而，可在不脱离本发明技术的范围的情况下对示例性实施方案作出变化和修改。这些和其他变化或修改旨在包括在本发明技术的范围内，如以下权利要求所述。

Claims (9)

1.一种成像设备，包括：

图像传感器，所述图像传感器包含像素阵列，所述像素阵列被配置为生成像素数据；

存储单元，所述存储单元耦接到所述图像传感器并被配置为存储所述像素数据；以及

图像处理单元，所述图像处理单元通信耦接到所述图像传感器和所述存储单元，并被配置为：

接收像素数据的第一图像帧和像素数据的第二图像帧，其中所述第一图像帧和所述第二图像帧被依次捕获；

检测所述第一图像帧中的至少两个特征和所述第二图像帧中的至少两个特征；

将所述第一图像帧的所述至少两个特征与所述第二图像帧的所述至少两个特征匹配，由此形成匹配特征；

执行取向估计，包括：

根据所述匹配特征计算核点；

估计相对于所述核点的旋转角；

通过计算所述匹配特征中每一者在参考坐标系中的3D坐标，来确定所述匹配特征是否出现在参考面上；以及

使用所述匹配特征中每一者的所计算3D坐标和模型拟合技术来更新所估计的旋转角，直到达到预先确定的公差水平；

使用单应性技术在所述参考坐标系中验证所估计的取向；以及

通过使用质量评分作为权重对相机取向的多个估计值进行加权平均，来估计平均相机取向，并且其中质量评分衡量相机在车辆坐标系中的平移矢量的多个估计值在两个图像帧之间的一致性。

2.根据权利要求1所述的成像设备，其中：

所述参考面包括地平面；并且

所述参考坐标系包括车辆坐标系。

3.根据权利要求1所述的成像设备，其中检测至少两个特征包括：

确定与检测到的角点关联的边的取向并丢弃无效角点；以及

生成所述检测到的角点的角点描述符，其中所述角点描述符包括位置、取向、对向角、对比度和相邻角点的索引中的至少一者。

4.根据权利要求1所述的成像设备，其中形成匹配特征包括：

基于相邻特征的性质来匹配特征；以及

生成每对匹配特征的匹配描述符，其中所述匹配描述符包括匹配邻域的大小的测量值之间的比率。

5.根据权利要求1所述的成像设备，其中根据所述匹配特征计算核点包括：使用所述匹配特征之间的比例的变化确定移动方向。

6.根据权利要求1所述的成像设备，其中所述旋转角包括俯仰角、横摆角和侧倾角中的至少一者。

7.根据权利要求1所述的成像设备，其中使用单应性技术在所述参考坐标系中验证所估计的取向包括：测量平移矢量在所述参考坐标系中的多个估计值在两个图像帧之间的一致性。

8.一种用于对相机相对于参考坐标系的取向进行校准的成像设备，包括：

相机，所述相机用于生成第一图像帧和第二图像帧；以及

图像信号处理单元，所述图像信号处理单元被配置为：

检测由所述相机生成的第一图像帧和第二图像帧中每一者的像平面上的至少两个特征；

形成匹配特征，包括将所述第一图像帧的至少两个特征与所述第二图像帧的至少两个特征匹配；

利用至少两对所述匹配特征和所计算的核点来迭代地估计所述相机的旋转角，直到达到预先确定的公差水平；

在所述参考坐标系中验证所估计的旋转角；以及

通过使用质量评分作为权重对相机取向的多个估计值进行加权平均，来估计平均相机取向，并且其中质量评分衡量相机在车辆坐标系中的平移矢量的多个估计值在两个图像帧之间的一致性。

9.一种在车辆发生线性运动时对车载相机相对于车辆坐标系的取向进行校准的系统，包括：

图像传感器，所述图像传感器包含用于捕获图像帧的像素阵列，其中所述像素阵列包含被布置成行和列的像素；

图像处理单元，所述图像处理单元被配置为接收第一图像帧和第二图像帧的连续行像素数据，所述图像处理单元包括：

校准单元，所述校准单元被配置为：

检测所述第一图像帧和所述第二图像帧中每一者的像平面上的至少两个特征；

将所述第一图像帧的所述至少两个特征与所述第二图像帧的所述至少两个特征匹配，由此形成匹配特征；

利用所述匹配特征和所计算的核点来迭代地估计相机取向，直到达到预先确定的公差水平；以及

在所述车辆坐标系中验证所估计的相机取向；以及

输出单元，所述输出单元被配置为将验证过的相机取向传输到外围系统，并且通过使用质量评分作为权重对相机取向的多个估计值进行加权平均，来估计平均相机取向，并且其中质量评分衡量相机在车辆坐标系中的平移矢量的多个估计值在两个图像帧之间的一致性。

Images