CN107209930B

CN107209930B - 环视图像稳定方法和装置

Info

Publication number: CN107209930B
Application number: CN201680010182.8A
Authority: CN
Inventors: R·格雷罗; A·帕纳克斯; C·席尔瓦; D·亚达夫
Original assignee: Application Solutions Electronic and Vision Ltd
Current assignee: Application Solutions Electronic and Vision Ltd
Priority date: 2015-02-16
Filing date: 2016-01-19
Publication date: 2021-11-09
Anticipated expiration: 2036-01-19
Also published as: EP3259732B1; KR20170117416A; EP3259732A1; EP3057062A1; CN107209930A; WO2016131587A1; KR102566583B1

Abstract

公开一种适用于由安装在汽车的一个或多个摄像机拍摄的图像序列的图像稳定方法及装置。记录汽车周围的图像，所记录的图像的像点被投影至一单位球面，其中投影包括应用镜头畸变校正。为一台或多台摄像机中的每一台利用单位球面上的像点计算出至少一个灭点，并追踪该单位球面上该灭点的运动。该灭点的运动用以计算对地平面的校正投影。

Description

环视图像稳定方法和装置

技术领域

本专利说明书涉及辅助驾驶系统，特别是涉及具有一台或多台摄像机的数据流输入的辅助驾驶系统。

背景技术

高级辅助驾驶系统(ADAS)指为自动化及增强车辆系统安全性和改善驾驶而研发的系统。很多辅助驾驶系统利用有关车辆位置、方向和运动状态的信息来以不同方式协助驾驶者。这类信息更可用作自动驾驶车辆。

其中，视觉里程计可以用作测定车辆的位置。视觉里程计系统利用摄像机记录输入图像，并进行图像校正。检测特征，将特征与一系列图像帧匹配，并且例如通过利用相关性来确立两幅图像间的一致性、利用特征提取及相关性来构建光流场，或利用卢卡斯-卡纳德方法构建光流场。检测追踪误差，消除相应的离群值，例如利用卡尔曼滤波或通过使基于特征几何性质的代价函数最小化，来从光流中推算摄像机运动。

专利申请US2010/0295948公开了一种摄像机标定的装置和方法。摄像机的参数，诸如倾角和左右转动角，通过所检测的平行线和相应的灭点(vanishing point)而标定。

Qiang He和Chee-Hung Henry Chu在《国际计算机应用杂志》(InternationalJournal of Computer applications)第65卷第10号，2013年三月，第22–28页发表的研究文章“通过归一化单位球面聚类检测灭点(Vanishing Point Detection by Clusteringon the Normalized Unit Sphere)”中描述利用投影在一归一化单位球面的方式来检测灭点。

Chang S.-L.等人在“行驶车辆车载摄像机的视频稳定”，《IEEE车辆技术》(Transactions on Vehicular Technology)，IEEE服务中心，Picataway，NJ，美国，第53期第6号中公开了利用一摄像机图像序列从一街道灭点的运动中推导两个旋转参数β、γ，从所检测到的行车道标线的运动推导平移参数T_x及另一个旋转参数α，并通过卡尔曼滤波器追踪所推导的运动参数T_x、α、β和γ。

以下所列参考文献[1]至[3]涉及本专利说明书的主题，所述参考文献在此通过引用并入。

[1]Filippo Vella，Alfio Castorina，Massimo Mancuso，Giuseppe Messina，《通过自适应块运动矢量滤波实现数字图像稳定(Digital Image Stabilization byAdaptive Block Motion Vectors Filtering)》，IEEE消费电子产品汇刊，2002.

[2]Joseph Geumlek，Ling Han Meng，《用于视频稳定的相关点匹配：贝壳素描(Contextual Point Matching for Video Stabilization:Sea Shell Sketch)》，加州大学欧文分校，2012.

[3]Yanhao Zhang，Hongxun Yao，Pengfei Xu，Rongrong Ji、，Xiaoshuai Sun，Xianming Liu，《基于显著性驱动SIFT匹配和判别性RANSAC的视频稳定(Videostabilization based on saliency driven SIFT matching and discriminativeRANSAC)》，见：第三届互联网多媒体计算与服务国际会议论文集，2011.

参考文献[1]中，Vella等人描述了一种基于块运动矢量的运动估算方法。此方法虽然稳健但却可能出现误差，诸如在最终图像出现分块。

参考文献[2]中，Geumlek等人应用一种相关形状匹配算法。此方法涉及密集计算，但在形状自相似度高或其外观在各帧之间显著改变但整体形状维持相似的时候，相较其他只考虑局部特征的方法优胜。

参考文献[3]中，Zhang等人运用了尺度不变特征转换(SIFT)匹配及判别性RANSAC。之后使用卡尔曼滤波器完成运动平滑。

发明内容

第一方面，本专利说明书公开一种适用于来自汽车上的一个或多个摄像机的图像序列，特别是环视或360度视角图像的图像稳定方法。举例而言，环视图像可以通过前视摄像机、右侧摄像机、左侧摄像机和后视摄像机的合成数据而获得。

汽车四周的图像可以通过一个或多个安装于汽车的摄像机而获得。每一摄像机提供连续图像的数据流，所述连续图像整合至单个连续图像序列。对地面的投影通过将各个自上而下的视图整合成为单个投影图像而获得。

把图像畸变函数h^-1(x”)应用至图像以获取校正后的图像。校正后的图像镜头畸变减少，因镜头畸变而弯曲、原本应对应对象/目标直线的线条亦会拉直。畸变校正尤其适用于消除桶形镜头畸变，例如鱼眼镜头所导致的畸变。

在校正后的图像中在车辆四周检测至少两条彼此平行或大致平行的对应直线。

计算至少两条平行线在一单位球面上的灭点位置，并且追踪该单位球面上该灭点的运动。在一特定实施例中，追踪灭点的运动依靠预测滤波器——例如卡尔曼滤波器进行。在另外一个实施例中，预测滤波器的输入包括运动传感器或位置传感器的数值。例如，位置传感器可以是陀螺罗盘、液位传感器或另外一种显示关于竖直方向的倾斜的重力传感器。

灭点是稳健的特征，并可利用单位球面简单计算求得。每幅图像的俯视投影皆与一般投影模型相似，因此可轻易获得雅可比矩阵，并用以为每幅图像投射卡尔曼滤波。

一个或多个摄像机方向的改变由所追踪的灭点运动推导而得，根据一个或多个摄像机的所推导的方向改变而对所记录的图像进行比例缩放计算。根据一实施例，像点被识别为地平面物点/对象点/目标点，并以仿射投影的形式投射至地平面。根据仿射投影和推导的摄像机方向改变，利用到地平面的距离计算缩放系数。

缩放系数的计算还可包括利用摄像机的预设方向及位置数据，例如照相机离地平面的高度及摄像机的方向。举例而言，摄像机预设的方向及位置可以作为摄像机的输入数据、预先储存的数值或利用汽车周围的预定设置进行的摄像机标定而获得。例如，预定设置可包括附有测量格网的地面。

在某些特定的实施例中，图像的畸变校正基于凸透镜的透镜模型，例如多项式鱼眼模型，或基于霍夫变换。

在一特定实施例中，检测到的相应平行线的灭点通过计算检测到的线条的像点在单位球面上的投影以及通过计算相应大圆的相交而获得。

在一特定实施例中，图像缩放包括推导环视系统摄像机与地面的实际距离，基于所求得的摄像机与地面一物点的实际距离来计算图像像素的缩放系数。

在另一实施例中，灭点的追踪包括利用一预测滤波器进行追踪。在一特定实施例中，追踪滤波器包括卡尔曼滤波器。根据另一实施例，预测的输入数值进一步包括运动传感器——例如汽车的加速度传感器和/或诸如陀螺罗盘、液位传感器或重力传感器等方向传感器——的输入。

另一方面，本专利说明书公开一种计算机程序产品，例如存放在数据载体、持久性或易失性计算机存储器中可供执行所述方法的可执行文件。该计算机程序产品尤其涉及一种在适用于汽车电子装置的硬件部件上的可执行文件。

根据另一方面，本专利说明书涉及一种供机动车辆补偿安装在机动车辆上的一台或多台摄像机的方向改变的图像校正系统。

运算单元包括用以接收图像数据流的输入连接部。输入数据包括通过至少一摄像机连续拍摄的连续摄像机图像。

运算单元包括输入连接部和处理器，所述输入连接部用以接收从汽车上的一台或多台摄像机拍摄的汽车周围的图像，所述处理器用以应用镜头畸变校正以取得校正图像并在校正后的图像上检测至少两条对应的直线。

此外，处理器用以推导至少两条对应直线在一单位球面上的灭点位置，追踪该单位球面上灭点的运动，以及根据所追踪的灭点的运动推导一台或多台摄像机方向的改变。处理器利用所推导的方向改变和所记录的摄像机图像的投影，或从所记录的图像获得的图像，得出所记录的图像相对地平面的比例缩放。

根据一特定实施例，摄像机安装在与地平面成直角、与地平面的距离为d的位置，摄像机在水平线以下的视角为β₁，摄像机在水平线以上的视角为β₂。根据此特定的几何排布，摄像机覆盖的街道延伸的长度为

上述等式可通过三角形正弦定理求解。

类似的计算可得出图像像素的等效长度，该等效长度是像素与镜头光轴的距离、摄像机高度和针孔摄像机的摄像机倾角的函数。本专利说明书采用一透镜模型，根据透镜模型——尤其是鱼眼透镜模型，推导一局部放大系数。假设一个像素对应地平面的一个区域，根据透镜模型计算出该像素在世界坐标系上的等效长度。

根据另一方面，本专利说明书公开一种设有图像校正系统的机动车辆，例如汽车、客车、小型公共汽车、多用途运载车、轻型卡车、小型客货车或露营拖车。机动车辆上的一台或多台摄像机连接图像校正系统的运算单元。

在运转期间，摄像机传送图像数据至运算单元。根据其他实施例，根据汽车的运行状态，例如根据所选的档位，存在不同工作模式。举例而言，当汽车缓慢行驶时，例如在停车模式下，图像频率会有所减低，或者摄像机的方向可以根据车辆的运动状态而自动调节。

根据本专利说明书的图像稳定方法涉及一种环视系统，该系统提供与车辆上方指向地面的虚拟摄像机的视图相近的透视投影。尤其是，图像稳定方法是一种稳定地平面投影的方法，避免因环视系统的任意一个摄像机的任何运动——例如左右转动和俯仰运动——而导致出现误差。这样便可避免在拼接不同区域时出现可辨差异，使投影保持一致。

根据另一实施例，将来自汽车上一台或多台摄像机的汽车周围图像和所记录的图像的像点投影至一单位球面，其中投影包括应用镜头畸变校正。

根据投影在单位球面上的像点计算出至少一个灭点，并针对一台或多台摄像机中的每一台摄像机追踪至少一个灭点的运动。所述至少一个灭点的运动用以计算到地平面的校正后的投影。尤其是，追踪可利用预测滤波器——例如卡尔曼滤波器进行。

在一实施例中，该方法包括为一台或多台摄像机中的每一台推导像平面位置相对灭点运动的位置偏差，并持续对位置偏差进行滤波处理。在一实施例中，滤波包括利用卡尔曼滤波进行滤波。

尤其是，该方法可包括例如通过霍夫变换检测所记录的图像的边缘，以及将所检测边缘的像点投影至单位球面上。

根据一实施例，畸变校正包括应用基于多项式鱼眼模型的镜头畸变校正。

根据另一实施例，对到地平面的校正后的投影所进行的重新计算包括利用经滤波的位置推导所记录的图像的缩放比例。

在另一实施例中，该方法包括实施镜头畸变校正以获得校正后图像，在校正后图像上检测至少两条对应的直线，推导所述至少两条平行线在一单位球面上的灭点位置，以及追踪该单位球面上该灭点的运动。

灭点亦可通过检测单位球面上线条交叉点的聚类而测定。一个或多个摄像机方向的改变由所追踪的灭点运动推导而得，根据所推导的方向改变而对所记录的图像进行比例缩放计算。

根据又一实施例，该方法包括推导环视系统摄像机与地面的实际距离，并基于所求得的摄像机与地面的实际距离计算图像像素的缩放系数。

根据又一的实施例，检测到的平行线的灭点通过将检测到的线条投影在单位球面上并确定相应大圆的相交而获得。

在一特定实施例中，灭点的追踪包括利用预测滤波器——例如卡尔曼滤波器——进行追踪。在又一实施例中，预测的输入数值进一步包括来自车辆运动传感器的输入。

进一步而言，本专利说明书公开一计算机程序产品以供执行前述方法。

另外，本专利说明书公开一种为机动车辆而设的图像校正系统，该系统包括设有输入连接部用以接收一台或多台摄像机拍摄的连续图像的运算单元。该运算单元包括输入连接部和处理器，所述输入连接部用以接收由汽车上一台或多台摄像机拍摄的汽车周围的图像。

该处理器用以将所记录的图像的像点投影于一单位球面上，其中投影包括应用镜头畸变校正，以针对一台或多台摄像机中的每一台摄像机根据投影在单位球面上的像点计算灭点，并追踪各灭点的运动。另外，该处理器用以针对一台或多台摄像机中的每一台摄像机计算像平面位置误差，以及持续对位置进行滤波，并利用已经进行滤波的位置计算到地平面的校正后投影。

根据另一实施例，该处理器用以实施镜头畸变校正以获得校正后图像，在校正后图像上检测至少两条对应的直线，推导所述至少两条相对应直线在一单位球面上的灭点位置，以及追踪在单位球面上灭点的运动。进一步而言，该处理器根据所追踪的灭点运动推导一个或多个摄像机方向的改变，并根据推导的方向改变对所记录的图像进行比例缩放计算。

进一步而言，本专利说明书公开一种设有前述图像校正系统的机动车辆，其中机动车辆上的一台或多台摄像机连接图像校正系统的运算单元。

附图说明

现根据以下附图对本发明的应用作更详细说明，其中

图1为设有环视系统的汽车，

图2显示由图1环视系统记录的一像点在地平面上的投影，

图3更为详细地说明图2的地平面投影，

图4更为详细地说明图3的地平面投影，

图5显示灭点的确定。

图6更为详细地说明灭点的确定。

图7显示灭点在球坐标系中的运动。

图8显示推导校正后的图像的像点的程序。

图9显示根据本专利说明书实现图像稳定的程序。

具体实施方式

以下说明提供本专利说明书实施例的详细资料。所属领域的技术人员应可清楚理解所述实施例在缺乏此等详细资料的情况下依然能够实施。

图1为设有环视系统11的汽车10。环视系统11包括前视摄像机12、右侧摄像机13、左侧摄像机14和后视摄像机15。摄像机11-14连接至控制器的中央处理器(CPU)，该CPU未在图1显示。控制器连接至另外的传感器和单元，例如速度传感器、转向角传感器、GPS单元和加速及方向传感器。

图2、3和4显示于地平面16的投影。图2显示一像点于地平面16的投影。相对于竖直线的倾斜角θ可以从右侧摄像机13的图像传感器上像点的位置估算。如果像点与道路上某一特征相对应，则对应物点的位置就是像点在地平面上/相对于地平面/对地平面的投影/映射。

在图3的例子中，摄像机13距离地平面的高度为H。因此，对应的物点位于距离汽车10右侧H*cos(θ)远的位置。若一像点对应于地平面上的一物点，像点对地平面的投影则表示物点在环境中的真实位置。入射角θ从摄像机传感器上的像点的位置求得。然后通过摄像机传感器距离街道标高的高度H计算投影位置Y，公式为Y＝H*cos(θ)。

图3显示图2的仿射投影的等距视图。在图4中，视口平面17(view port plane)中的一点以p＝(u,v)表示，其在地平面上的对应点则以P＝(X,Y)表示。视口平面17与投影中心C的距离由字母"f"表示。

图4显示图3的一放大部分，中心像点p₀以坐标(u₀,v₀)表示，像点p则以坐标(u,v)表示，而像点在地平面上的投影P则以坐标(Xc,Yc,Zc)表示。

另一方面，图4也可以看作是世界坐标系点(Xc,Yc,Zc)在像平面上的投影。三维点(Xc,Yc,Zc)的世界坐标Xc、Yc、Zc可根据以下方式映射至像点：

摄像机射线在此定义为法向矢量。因此，到摄像机射线的映射对应到单位球面的表面上的点的映射。其可通过归一化矢量(u,v,1)计算。

图5显示灭点的确定。虚拟像平面17(其中摄像机传感器图像的线条失真已通过畸变校正进行补偿)包括第一竖直线18和第二竖直线19。

当利用中心投影(其中投影中心位于单位球面23的中心)将线18和19投影至单位球面23上时，平行线18和19的投影构成分别的大圆的弧段20和21。

根据本专利说明书，用于扩展卡尔曼滤波器的雅可比矩阵，例如状态矩阵和预测矩阵，可通过归一化投影摄像机模型根据本专利说明书推导。根据本专利说明书通过利用半径约束可使雅可比矩阵更容易计算。

大圆20和21的相交点为平行线18和19的灭点。图5显示大圆20及21的两个相交点中的一个相交点22，相应灭线的方向24亦同时予以显示。

根据本专利说明书的一个程序，位于单位球面23上的灭点由卡尔曼滤波器长期追踪。根据一实践示例，各(两个)灭点之间的距离对应在单位球面上各灭点之间大圆弧段的长度，基于所述距离计算统计误差。

所推导的灭点运动对应摄像机方向改变。根据一实施例，摄像机方向改变利用所推导的摄像机方向改变作出补偿。一方面，对小振幅侧倾和俯仰这两项尤其由汽车悬架系统所导致的运动进行追踪与补偿。另一方面，则对横摆运动这项尤其由转向和汽车轮胎在路面上滑动所导致的运动进行追踪。

根据一实践示例，一灭点的平行线与街道两侧的边界对应。根据另一实践示例，平行线与路面界限对应。

图6显示线段转换至大圆弧段及确定灭点的进一步例子。图5及图6中的像平面17显示计算机存储器中的一个虚拟像平面，其中摄像机传感器原始传感器数据中存在的镜头畸变已经通过畸变校正变换而还原或消除。

第一线段25，即第一街道边界的图像，映射至第一大圆27上的弧段26。第二线段28，即第二街道边界的图像，映射至第二大圆30上的弧段29。第一和第二大圆27和30在灭点31相交。相交点可通过计算大圆27和30的相交而确定，或通过延伸线25和28，计算两者的相交点32并将相交点32映射至灭点31确定。

一般而言，在摄像机图像中两条给定的直线是否与平行对象线相对应并且具有相同的灭点是不知道的。因此，利用两条任意的线段计算灭点亦可求得“假灭点”。根据本专利说明书，假灭点可利用几种不同方法避免或消除。例如，可以对图像信息进行分析并把线段识别为街道边界。进一步而言，在一实施例中，利用所储存的数字地图可以判断街道边界是否笔直而且适合用以确定灭点。

避免假灭点的其他方法包括但不限于利用距离测量或立体影像提供的三维信息，基于摄像机图像的计算机分析来推理对象的方向，和利用计算机在单位球面上确定灭点聚类。

另一实施例对人工神经网络进行训练，使其检测平行对象线，例如与街道边界、街道标记、护栏、路柱、灯柱、楼宇的横向或纵向特征或其他笔直对象特征对应的线条。

图7显示所推导的灭点随时间推移的轨迹的球坐标。选择球坐标旨在使Ф对应一横摆角，且θ对应一俯仰角。图7说明当固定于汽车上的摄像机围绕一平衡俯仰角震荡以及与汽车一同以约90度的横摆角转向时的情况。

横摆、俯仰和侧倾角，亦称为“泰特-布莱恩角”，可利用单位球面上球坐标为θ和Ф的角度通过变换而求得：

假设Ф在x,y平面上测得，而Ф＝0对应于(x,y)＝(1,0)。

图8说明用于利用物点推导像点x”的计算模型，所述模型亦可反向利用像点推导物点。

在第一变换步骤30中，将物点X投影于视口平面。根据一实践示例，变换步骤30模型化成对原始物点X进行旋转R及平移C至视口平面。

在第二变换步骤31中，变换h使图像因成像透镜属性而畸变。根据步骤34进行的逆变换h^-1为畸变校正变换。根据步骤34进行的图像校正根据预设的镜头畸变数学模型还原或消除镜头畸变。

在一以鱼眼镜头为模型的实施例中，畸变校正变换包括根据多项式鱼眼模型进行的变换，例子包括但不限于奇次多项式模型、PFET(多项式鱼眼变换)或除式模型。其他消除桶形畸变的透镜模型例子包括但不限于Kannala-Brandt模型、以及根据Grossberg及Nayar和根据Gennery的透镜模型。

进一步而言，畸变校正变换可以包括霍夫变换。根据霍夫变换在x-y平面中的每一点都与参数曲线r(t)＝x*cos(t)+y*sin(t)有关。霍夫变换的参数，例如坐标系统的原点和方向，是通过将畸变度量降至最低和/或检测图片内的线并将线匹配至参数曲线而测定。畸变度量与图像线的曲率相关。

根据一实施例，线的检测通过使用边缘检测器处理图像以及检测处理后图像内的线来执行。已处理图像之后变换至霍夫空间，该空间由距离r和角度t构成。霍夫空间中的高密度对应检测清晰的线条。

在第三变换步骤32中，施加投影

将点x'投影至相应的图像像素x”。步骤32的投影

可包含一些不可逆转的部分，例如对像点映射至像素进行建模的求平均步骤，以及一些可逆转的部分。根据步骤33，变换

的可逆转部分的逆变换称为反向投影

箭头33和34分别代表变换32和31的逆变换。在一项现有的实践中，由于过程可能涉及信息遗失，例如图像剪辑及数值误差，变换31和32只属接近可逆。

相比之下，按照步骤30进行的投影一般不可逆，重构物点X需要作进一步假设，例如对象的识别、对其方向的假设和/或其他测量值，例如距离测量值。

为从图像像素x”的图像中消除畸变，于步骤33进行逆投影，并在步骤34进行畸变校正。根据本专利说明书，所得出的二维图像之后便会用以测定直线及其相应的灭点，如图5所示。

根据一特定实践示例，函数h对透镜进行建模，用于根据针孔摄像机模型延展透视投影。针孔摄像机模型在投影或齐次坐标系中可表达为：

sm′＝A[R|C]M′，或

在此，[R|C]代表由旋转矩阵R组成的分块矩阵，平移矢量C,(X,Y,Z)为世界坐标空间中三维点的坐标，(u,v)为以像素单位表示的投影点的坐标，A是摄像机矩阵，或内参数矩阵，(cx,cy)为主点，一般位于图像中心，而fx,fy则为以像素单位表示的焦距。

矩阵A提供前述本征变换

的例子。一般而言，函数

为一般本征变换

基于z≠0，上述变换以三维方式可表达为：

u＝f_x*x′+c_x,v＝f_y*y′+c_y

在此框架中，镜头畸变函数h可以通过插入变换(x”,y”)＝h(x',y')并将u及v分别当成x”及y”的函数计算来进行整合。

函数h的示例如下：

其中

在另一实施例中，θ中的多项式还包括θ的偶数幂和/或一低阶或高阶近似。

根据图8的计算方法，三维世界坐标系点Xc投影至鱼眼透镜表面，并以多项式函数h表示。由此，点Xs则投射至传感器平面中的点Xm。在传感器平面上的投影受镜头畸变影响，此影响由多项式函数h建模。

通过利用此摄像机模型，每一像点Xm皆可映射至一摄像机射线，即半径为一的球面上的单位矢量。就计算而言，投影可通过归一化至单位矢量而实现。

根据一实施例，边缘根据畸变鱼眼图像测定，然后利用实施畸变校正的摄像机模块把所检测的边缘点投影至摄像机射线。每一条线近似映射至单位球面上的大圆或大圆的弧段。灭点通过拟合圆形而求得。因为圆形均为半径为一的单位球面上的大圆，计算可以简化。

根据一实施例，摄像机模型透过生成映射查找表而实践。单位球面上的点易于追踪，因为在球面的运动呈圆形。

图9显示根据本专利说明书实现图像稳定的程序。

在步骤40中从摄像机图像传感器取得一幅或多幅摄像机图像。在步骤41中选择适当的图像范围。例如，对应天空范围的图像部分可以剪去。在步骤42中利用基于透镜模型的图像变换消除图像畸变。

在步骤43中计算分析校正后图像，并检测与平行对象线相对应的线条。一实施例利用边缘检测算法检测线条。其他实施例则首先利用适当的积分变换——例如霍夫变换或拉东变换——对数字化图像进行变换，直线作为变换后图像的特征被检测到。

在步骤44中把线段映射至单位球面的相应大圆上，而在步骤45中确定单位圆的一个相交点。在步骤46中测定相交点的运动。根据本专利说明书，利用滤波器——特别是卡尔曼滤波器来进行内插处理并预测灭点的运动。

如果灭点超过一个且所有这些等灭点均与静止对象相对应，则各灭点的运动会非常相似。在一实施例中，对各灭点的运动求平均以获得平均运动。所获得的运动用作摄像机的平均运动。在步骤47中利用所推导的灭点运动来稳定摄像机图像。

图9的步骤次序以举例的方式在此提供。在任一实践中的步骤都可与图9所述的先后次序有所不同。例如，在另一实施例中，先进行直线检测，然后把线条映射至相应的大圆之后才检测灭点，举例而言，如果在一组线之中的每一对平行线的相应灭点都聚类在一单位球面上，便可从该一组线归纳出一个灭点。

借此，灭点便可在没有事前辨识线段作为街道边界或其他具有已知方向的对象的情况下辨识出来。灭点的聚类在对象具有大量由各类建筑物和人造设施提供的横线和竖线时尤其适用。

附图标记列表

11 环视系统

12 前视摄像机

13 右侧摄像机

14 左侧摄像机

15 后视摄像机

16 地平面

17 视口平面

18 第一线段

19 第二线段

20 大圆

21 大圆

22 相交点

23 单位球面

25 第一线段

26 第一线段投影

27 大圆

28 第二线段

29 第二线段投影

30 大圆

31 灭点/相交点投影

32 灭点(视口平面)

40-47 方法步骤

Claims

1.一种适用于由安装在汽车的一个或多个摄像机拍摄的图像序列的图像稳定方法，包括

利用安装于汽车的一个或多个摄像机记录汽车周围的图像，

将所记录的图像的像点投影至单位球面，其中投影包括应用镜头畸变校正，

利用单位球面上投影的像点为一台或多台摄像机中的每一台计算出至少一个灭点，

追踪单位球面上所述至少一个灭点的运动，

利用所述至少一个灭点的运动计算对地平面的校正投影，

根据所追踪的灭点运动推导一个或多个摄像机方向的改变，

根据所推导的方向改变得出所记录图像的比例缩放，其中灭点的追踪包括利用预测滤波器进行追踪。

2.根据权利要求1所述的方法，包括

对于一台或多台摄像机中的每一台摄像机，根据灭点运动推导像平面位置的位置偏差，并持续对位置偏差进行滤波处理。

3.根据权利要求1所述的方法，包括

检测所记录图像的边缘，以及将所检测边缘的像点投影至单位球面上。

4.根据权利要求1至3中任一项所述的方法，其中，畸变校正包括应用基于多项式鱼眼模型的镜头畸变校正。

5.根据权利要求1至3中任一项所述的方法，其中，对校正后的对地平面的投影所进行的重新计算包括利用经滤波的位置推导所记录图像的比例缩放。

6.根据权利要求1至3中任一项所述的方法，包括

实施镜头畸变校正以取得校正后图像，

于校正后图像检测至少两条平行线，

推导所述至少两条平行线在单位球面上的灭点位置，

追踪在该单位球面上该灭点的运动。

7.根据权利要求1所述的方法，其中得出图像的比例缩放包括

推导环视系统的摄像机与地面之间的实际距离，

并基于所求得的摄像机与地面之间的实际距离计算图像像素的缩放系数。

8.根据权利要求6所述的方法，其中检测到的平行线的灭点通过将检测到的线条投影在单位球面上并求得相应大圆的相交而获得。

9.根据权利要求1至3中任何一项所述的方法，其中预测的输入数值进一步包括来自车辆运动传感器的输入。

10.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序配置成执行根据权利要求1至9中任何一项所述方法。

11.一种为机动车辆而设的图像校正系统，包括设有输入连接部用以接收一台或多台摄像机拍摄的连续图像的运算单元，该运算单元包括输入连接部和处理器，所述输入连接部用以接收汽车上一台或多台摄像机所拍摄的汽车周围的图像，所述处理器用于执行根据权利要求1至9中任何一项所述的方法。

12.一种设有根据权利要求11所述的图像校正系统的机动车辆，其中机动车辆上的一台或多台摄像机连接图像校正系统的运算单元。