CN105141945B - 环景摄像机系统(vpm)在线校准 - Google Patents
环景摄像机系统(vpm)在线校准 Download PDFInfo
- Publication number
- CN105141945B CN105141945B CN201510473555.2A CN201510473555A CN105141945B CN 105141945 B CN105141945 B CN 105141945B CN 201510473555 A CN201510473555 A CN 201510473555A CN 105141945 B CN105141945 B CN 105141945B
- Authority
- CN
- China
- Prior art keywords
- camera
- video camera
- vehicle
- image
- world coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims abstract description 72
- 238000012795 verification Methods 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000009434 installation Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 8
- 230000036544 posture Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000012552 review Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 206010041349 Somnolence Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30264—Parking
Abstract
公开了环景摄像机系统的在线校准。一种提供车辆上的环景摄像机系统中多个摄像机的在线校准的系统和方法。方法提供来自环景系统中每个摄像机的连续图像，并且识别相邻摄像机的图像重叠区。该方法识别图像的重叠区中的匹配特征点，并且估算用于每个摄像机的世界坐标中的摄像机参数。然后，该方法估算车辆在世界坐标中的车辆姿态，并使用估算的世界坐标中的摄像机参数和估算的车辆姿态计算车辆坐标中的摄像机参数，以提供校准。
Description
与相关申请的交叉引用
本申请主张2014年5月16日提交的题目为“环景摄像机系统(VPM)在线校准”的美国临时专利申请号NO.61/994,649的优先权日的权益。
技术领域
本发明主要涉及一种用于校准车辆上的环景摄像机系统中的摄像机的系统和方法，并且更特别地，涉及用于为车辆上的环景摄像机系统中的摄像机提供在线校准的系统和方法。
背景技术
现代车辆通常包括一个或多个摄像机，该摄像机可提供倒车辅助、拍摄车辆驾驶员的图像以确定驾驶员困倦或注意力、提供车辆行驶时道路图像用于避免碰撞目的、提供结构辨别，诸如道路标记等。其他的车辆视图应用包括车道感测系统，其用于感测车辆行驶车道并在车道中央驾驶车辆。许多上述已知车道感测系统为各种应用检测道路上的车道标识，诸如车道偏离警告(LDW)、车道保持(LK)、车道居中(LC)等，并且通常使用位于车辆前部或位于车辆后部的单一摄像机以提供用于检测车道标识的图像。
本领域已提出，在车辆上提供环景摄像机系统，其包括前置摄像机、后置摄像机以及左侧和右侧摄像机，其中摄像机系统使用来自摄像机的图像生成车辆及周围区域的自顶向下(top-down)的视图，并且其中图像在车辆角部处相互重叠。自顶向下的视图可以显示给车辆驾驶员，以看到车辆周围的情况用于在倒车、泊车等。未来的车辆可能不使用后视镜，而可以替代地包括由环景摄像机提供的数字图像。
2013年4月9日授予Zhang(张)等人的题目为“具有环景系统的全速车道感测”的美国专利申请公开号No.2013/0293717，转让给本申请的受让人，并且通过引用方式并入本文，公开了一种通过检测道路车道标识来在车辆上提供车道感侧的系统和方法，其中该系统采用了提供车辆周围的自顶向下视图图像的环景摄像机系统。该方法包括在自顶向下视图中检测左侧和右侧车道边界线，并且然后确定图像中的车道边界线在该自顶向下视图图像中从一个图像帧至下一个图像帧是否对齐以及在图像与图像之间是否对齐。
对于许多基于摄像机的车辆应用而言，精确校准摄像机相对于车辆的定位和定向至关重要。摄像机校准通常指估算大量摄像机参数，包括内在参数和外在参数，其中内在参数包括焦距、光心、径向畸变参数等，并且外在参数包括摄像机位置、摄像机定向等。摄像机外在参数校准通常包括确定将摄像机图像坐标与车辆坐标关联的一组参数，反之亦然。一些摄像机参数，诸如摄像机焦距、光心等，是稳定的，而另一些参数，诸如摄像机的定向和位置，是不稳定。例如，摄像机的高度取决于将会不时地变化的车辆的负载。
在已知的环景摄像机系统中，来自摄像机的图像在车辆的角部处重叠，其中摄像机校准过程将相邻图像“拼接”在一起，使得单独图像中的公共元素直接相互重叠，以提供期望的自顶向下视图。在车辆制造期间，这些摄像机图像被拼接在一起以提供该图像使用任何数量的校准技术，从而使得当车辆初次投入使用时，摄像机被正确地校准。使用的一种校准技术是将车辆定位于具有交替的明的和暗的正方形的测试板图案上，其中正方开的每个点被便当地识别。在显影图像中，使用这些点允许摄像机校准软件修正图像的位置，这样使得在相同位置识别出相邻图像中的重叠点。
然而，一旦车辆投入使用，则可能发生各种情况，其可能导致摄像机定向和位置变化，其中摄像机的校准包括导致自顶向下图像中产生未对准的误差。这些情况可能包括车辆的负载，其导致摄像机位置(诸如高度)和/或摄像机定向(诸如俯仰角)相对于世界坐标发生改变；对车辆的小撞击，其可能改变摄像机的定位和定向等。但是，处理来自摄像机的图像以生成自顶向下视图的当前视频处理模块(VPM)无法在车辆使用时在线重新校准摄像机。相反，车辆操作者必须将车辆带至有能力以在车辆制造期间所进行的同样方式重新校准摄像机的经销商或其他授权服务中心，这具有显而易见的缺点。
发明内容
本公开描述了一种为车辆上的环景摄像机系统中多个摄像机提供在线校准的系统和方法。所述方法提供来自环景系统中每个摄像机的连续图像，并且识别相邻摄像机的图像重叠区。该方法识别图像的重叠区中的匹配特征点，并且估算用于每个摄像机的世界坐标中的摄像机参数。然后，该方法估算车辆在世界坐标中的车辆姿态，并使用估算的世界坐标中的摄像机参数和估算的车辆姿态计算车辆坐标中的摄像机参数，以提供校准。
本发明包括以下方案：
1、一种为车辆上的环景摄像机系统中的多个摄像机提供在线校准的方法，所述方法包括：
提供来自环景摄像机系统中每个摄像机的连续图像，其中来自前视摄像机的图像与来自右视摄像机的图像重叠，来自前视摄像机的图像与来自左视摄像机的图像重叠，来自后视摄像机的图像与来自右视摄像机的图像重叠，以及来自后视摄像机的图像与来自左视摄像机的图像重叠；
识别来自前视摄像机、左视摄像机、右视摄像机和后视摄像机的图像的重叠区中的匹配特征点；
估算每个摄像机在世界坐标中的摄像机参数；
估算车辆在世界坐标中的车辆姿态；以及
利用估算的世界坐标中的摄像机参数和估算的世界坐标中的车辆姿态来确定车辆坐标中的摄像机外部参数，其中摄像机外部参数限定特定摄像机的在线校准。
2、如上述方案1中所述的方法，其中估算世界坐标中的摄像机参数包括限定用于每个摄像机的旋转矩阵和转换矢量。
3、如上述方案2中所述的方法，其中旋转矩阵限定每个摄像机在世界坐标中的俯仰角、侧倾角和横摆角。
4、如上述方案1中所述的方法，其中估算车辆姿态包括利用车辆速度和车辆横摆率的输入来确定车辆是否在直线驾驶。
5、如上述方案1中所述的方法，其中估算车辆姿态包括追踪在车辆前方并沿侧面或者在车辆后方并沿侧面的显著距离的固定参照物体上的点。
6、如上述方案1中所述的方法，其中估算车辆姿态包括计算相对于车辆前方或后方的消失点的图像的光流。
7、如上述方案1中所述的方法，其中估算车辆姿态包括监测车辆上的车辆车身参照点。
8、如上述方案1中所述的方法，进一步包括为摄像机的在线校准提供验证、跟踪和求精过程。
9、如上述方案8中所述的方法，其中验证过程验证用于直线和平稳车辆驾驶的校准估算，以证实来自摄像机的重叠图像中的匹配特征点被对齐。
10、一种提供安装在移动平台上的多个摄像机的在线校准的方法，所述方法包括：
提供来自于每个摄像机的连续图像，其中来自相邻摄像机的图像重叠以限定重叠区；
识别重叠区中的匹配特征点；
估算每个摄像机在世界坐标中的摄像机参数；
估算平台在世界坐标中的姿态；以及
利用估算的世界坐标中的摄像机参数和估算的平台在世界坐标中的姿态来确定平台坐标中的摄像机外部参数，其中摄像机外部参数限定特定摄像机的在线校准。
11、如上述方案10中所述的方法，其中估算世界坐标中的摄像机参数包括限定用于每个摄像机的旋转矩阵和转换矢量。
12、如上述方案11中所述的方法，其中旋转矩阵限定每个摄像机在世界坐标中的俯仰角、侧倾角和横摆角。
13、如上述方案10中所述的方法，其中估算结构姿态包括利用平台速度和平台横摆率的输入来确定平台是否在直线移动。
14、一种提供车辆上的环景摄像机系统中的多个摄像机的在线校准的系统，所述系统包括：
用于提供来自环景摄像机系统中每个摄像机的连续图像的装置，其中来自前视摄像机的图像与来自右视摄像机的图像重叠，来自前视摄像机的图像与来自左视摄像机的图像重叠，来自后视摄像机的图像与来自右视摄像机的图像重叠，以及来自后视摄像机的图像与来自左视摄像机的图像重叠；
用于识别来自前视摄像机、左视摄像机、右视摄像机和后视摄像机的图像的重叠区中的匹配特征点的装置；
用于估算每个摄像机在世界坐标中的摄像机参数的装置；
用于估算车辆在世界坐标中的车辆姿态的装置；以及
用于利用估算的世界坐标中的摄像机参数和估算的世界坐标中的车辆姿态来确定车辆坐标中的摄像机外部参数的装置，其中摄像机外部参数限定特定摄像机的在线校准。
15、如上述方案14中所述的系统，其中用于估算世界坐标中的摄像机参数的装置限定用于每个摄像机的旋转矩阵和转换矢量。
16、如上述方案15中所述的系统，其中旋转矩阵限定每个摄像机在世界坐标中的俯仰角、侧倾角和横摆角。
17、如上述方案14中所述的系统，其中用于估算车辆姿态的装置包括利用车辆速度和车辆横摆率的输入来确定车辆是否在直线驾驶。
18、如上述方案14中所述的系统，进一步包括用于为摄像机的在线校准提供验证、跟踪和求精过程的装置。
19、如上述方案18中所述的系统，其中用于提供验证过程的装置验证用于直线和平稳车辆驾驶的校准估算，以证实来自摄像机的重叠图像中的匹配特征点被对齐。
本发明的额外特征将结合附图从下列描述及附加权利要求中显见。
附图说明
图1是包括具有多个摄像机的环景摄像机系统的车辆的示图；
图2是示出了世界坐标、车辆坐标和摄像机坐标的坐标系的车辆等距视图；
图3是示出了用于提供在线环景摄像机校准的过程的流程图；
图4是来自用于环景摄像机系统的四个摄像机的四个原始图像的示图，示出了匹配的特征对；
图5是示出了用于匹配特征点的过程的系统的方块图；
图6是道路上的车辆的示图并示出了确定车辆姿态的过程；以及
图7是示出了用于校准验证和求精的过程的流程图。
具体实施方式
针对为车辆上的环景摄像机系统中的摄像机提供在线校准的系统和方法的本发明实施方式的以下论述实际上仅为示例性的，而决不意图限制本发明或其应用或使用。例如，如所述的，系统和方法具有用于提供车辆上的摄像机的在线校准的特定应用。但是，正如本领域技术人员将理解的，系统和方法可以具有用于其他移动平台的应用，诸如在火车、机器上、拖车上、船上、旅行车上等。
图1是车辆10的俯视图，其包括带有前视摄像机12、后视摄像机14、左侧驾驶员视图摄像机16和右侧乘客视图摄像机18的环景摄像机系统。摄像机12-18可以是适用于本文所述目的的任何摄像机，其多数在汽车领域中是已知的，其能够接收光或其他辐射，并利用例如电荷耦合器件(CCD)，将光能转换为像素格式的电信号。摄像机12-18以特定数据帧速率生成图像数据的帧，其可以被储存用于视频处理模块(VPM)20中进行后续图像处理。摄像机12-18可以安装于车辆10内或安装在是车辆10的部分的任意适当结构上，诸如保险杠、仪表板、格栅、侧视镜、门板等，如由本领域的技术人员将会很好理解和预期的。在一个非限制性实施方式中，该侧置摄像机16和18安装于侧视镜下方且向下指向。
摄像机12-18生成部分重叠的车辆10周围特定限制区域的图像。特别是，区域24为用于摄像机12的图像区，区域26为用于摄像机14的图像区，区域28为用于摄像机16的图像区，以及区域30为用于摄像机18的图像区，其中区域32是图像24和28的重叠区，区域34是图像24和30的重叠区，区域36是图像28和26的重叠区，以及区域38是图像30和26的重叠区。来自摄像机12-18的图像数据传送到VPM 20，VPM 20处理所述图像数据并将图像拼接在一起，然后作为车辆10周围的单个自顶向下视图图像在车辆显示器上显示。
如下文将详述的，本发明提出一种在线校准技术，用于在车辆10运行时校准摄像机12-18。已知软件算法，其采用旋转矩阵R和转换矢量t来定向和重新配置来自相邻摄像机的图像，以使得图像正确重叠。一般而言，提出的校准技术定义三个坐标系，即世界坐标系、车辆坐标系和摄像机坐标系，其每一个以X-Y-Z位置定向限定。图2是包括摄像机52的车辆50的示图，示出了这些坐标系，其中下标V表示车辆坐标，下标W表示世界坐标以及下标C表示摄像机坐标，并且其中i表示环景系统中四个摄像机中的特定摄像机。
如所论述的，校准技术在用于两个摄像机图像的重叠区32、34、36和38中找到匹配特征点(u，v)，并且基于匹配特征点(u，v)使用转换过程来估算世界坐标中的摄像机参数、世界坐标中的车辆姿态(即方向和偏移)，以及由其的车辆坐标中的摄像机参数。每个特征点(u，v)是用于来自特定坐标系中重叠区内x点的特定摄像机的一个图像中的特定像素位置的表示。然后，校准算法提供反馈验证和跟踪求精。
对于重叠区内特定点x来说，算法识别世界坐标系中的该点相对于车辆坐标系的关系，并且然后从车辆坐标系到摄像机坐标系，如下列方程式(1)-(3)所示，其中R为3×3旋转矩阵(其中orient：定向)，以识别侧倾角(roll)、俯仰角(pitch)和横摆角(yaw)，并且包括限定坐标系的俯仰角、横摆角和侧倾角的9个数值，并且其中，例如Rv2ci识别摄像机姿态，并且t为1×3个转换矢量，以识别特定坐标系中X、Y、Z的位置。更特别地，方程式(1)示出世界坐标中的点x如何被转换成车辆坐标，以及方程式(2)示出车辆坐标中的点x如何被转换成摄像机坐标。
XV＝Rorient*XW+t′W2V， (1)
XCi＝RV2Ci*XV+t′V2Ci， (2)
＝RV2Ci*Rorient*XW*t′W2Ci. (3)
图3为流程图60，示出了用于在VPM 20中提供在线摄像机校准的过程，其中在框62提供车辆速度和车辆横摆率的车辆参数。在框64提供来自于全部摄像机12-18的先前图像帧，该框64接收来自框62的车辆参数。这些图像帧被提供给框66，框66识别重叠区32、34、36和38中的匹配特征点(u，v)及图案，如下文所述。
图4是在停车场中与其他车辆相邻的车辆10的示图80，其中停车线78可用于在两个重叠的摄像机图像中识别匹配特征点(u，v)。匹配特征点(u，v)不必在地面上，而是可以位于地面之上任意适当物体上或其它地方，诸如在车辆车身上。点82和84分别表示由前置摄像机12和左侧摄像机16提供的图像的重叠区32中的相同点。点86和88分别表示来自摄像机12和右侧摄像机18的图像的重叠区34中的相同点。点90和92分别表示左侧摄像机16和后置摄像机14之间像重叠区36中的相同点。点94和96分别表示右侧摄像机18和后置摄像机14之间的重叠区38中的相同点。
图5是系统100的方块图，示出了在框66处在线校准算法如何识别重叠区32、34、36和38中的匹配特征点(u，v)的过程。在系统100中，框102表示来自前置摄像机12的图像，框104表示来自左侧摄像机16的图像，框106表示来自右侧摄像机18的图像，以及框108表示来取自后置摄像机14的图像。同步框110使得来自摄像机12-18的图像102-108的定时同步，以使得全部图像32、34、36和38在来自校准过程的空间对齐之前先实现时间对准。分别来自摄像机12和16的图像102和104在重叠区32中生成关注区112，分别来自摄像机12和18的图像102和106在重叠区34中生成关注区114，分别来自摄像机16和14的图像104和108在重叠区36中生成关注区116，以及分别来自摄像机14和18的图像106和108在重叠区38中生成关注区118。然后，关注区112、114、116和118被提供给处理器120，处理器120识别关注区112、114、116和118中的若干匹配特征点(u，v)。本领域技术人员将理解，许多计算机视觉和成像系统使用特征点检测和匹配技术及算法，诸如SIFT，SURF，ORB等，其可应用用于本文论述的目的。
一旦以上匹配特征点(u，v)被识别出来，则算法使用下列方程式(4)，利用相邻图像中的匹配特征点(u，v)，以在图3的框68处估算世界坐标中的摄像机参数，其中使用来自框64的先前图像数据帧，XC识别摄像机坐标中特定重叠图像中的像素。重叠区中两个图像中的匹配特征点(u，v)将会在空间上接近，如方程式(5)所示。此外，来自两个摄像机的特定匹配特征点将会与世界坐标中的特定点重合，如下列方程式(6)和(7)所示。
XC＝Rw2C*XW*t′W2C， (4)
(u，v)Ci～(u，v)cj， (5)
(u，v)Ci→XCi， (6)
(u，v)Cj→XCj， (7)
其中Ci和Cj识别两个特定摄像机。
算法确定摄像机坐标中用于两个摄像机的匹配特征点(u，v)，其匹配相同的世界像素点XW，如：
XCi＝RW2Ci*XW+t′W2Ci， (8)
XCj＝RW2Cj*XW+t′W2Cj. (9)
根据可以延伸以示出全矩阵的方程式(8)和(9)，算法确定N个匹配特征点(u，v)。当考虑全部四个摄像机时，对于四个摄像机方程式(8)和(9)的解会是在重叠区中可见的N个世界坐标点，其提供了6×4个未知摄像机校准参数(α，β，γ，xc，yc，zc)以及3×N个未知的世界坐标点值(xi，yi，zi)。因为这些N个世界坐标点值位于两个摄像机的重叠区内，所以每个点将会在具有已知像素位置(ui c_j，vi c_j)在两个图像中显示。因此，会有2×2×N个方程式把这些6×4+3×N个未知参数与2×2×N个已知像素位置关联。如果VPM 20能够检测到重叠区中至少24个匹配特征点，则方程式(8)和(9)可以求解，以估算出校准参数。这些24个匹配特征点可以来自单个帧(例如具有许多特征点的市区环境中的复杂场景)或来自多个帧。使用多个帧是没问题的，因为摄像机参数不随时间而变化。
利用估算的世界坐标中的摄像机参数，算法随后使用下列方程式(10)，在图3中的框70处估算世界坐标中车辆10的姿态，即方向和偏移，从而使得算法得知车辆坐标相对于世界坐标的相对旋转(定向/横摆角)和漂移(横向偏移)。
XV＝Rorient*XW+t′W2V (10)
方程式(10)有两个未知数，即定向(orient)和横向偏移。
算法可以采用可用于本文所论述目的的任意适合的车辆方向角估算过程。图6是行驶在道路132上的车辆10的示图130，其示出了两个不同位置处的车辆10。在第一种技术中，识别在车辆10的前方并沿侧面或者在车辆10的后方并沿测面的距车辆10的一定距离的静态物体，诸如树134，以提供当车辆10直线行驶时，其在车辆坐标中的横向位置不改变的物体。摄像机12-18之一跟踪特征点，其为树134上的世界点位置XW沿车辆坐标中的常数Y位置(特别是车辆10的横向偏移)的投影。因为车辆10的横向偏移不变，所以车辆10的Y位置为常数，并因此，算法通过计算检测到的世界坐标中特征点位置变化而得知车辆方向角，为θ＝atan((yw2-yw1)/(xw2-xw1))。如果车辆10的Y位置相对于点xw的变化高于预定阈值，则算法得知车辆10的方向角已经改变并且能够相应地修正校准计算。
在第二种技术中，算法采用前置摄像机12和后置摄像机14，通过检测具有零流量的车辆10前方的消失点136，来计算车辆10的光流，其能够用于估算车辆10的方向角。在来自前置摄像机12和后置摄像机14的图像中检测到的消失点136，可以用于计算摄像机12和14在车辆坐标中的安装定向，通过减去由如上确定的世界坐标中的摄像机安装定向，从而得出车辆方向角。
在第三种技术中，算法利用来自例如侧边摄像机16和18的车辆车身参考点或线来观察车辆10的部件，诸如前轮或后轮、车身框架线、车辆保险杠，以给出可用于车辆方向和偏移估算的车辆车身参考点。
在图3中的框72处，算法利用下列关系计算车辆坐标中的摄像机外部参数：
Xc＝RV2C*XV+t′V2C. (11)
算法使用下列方程式(12)-(15)，利用如上所述的世界坐标中摄像机参数及车辆姿态的估算，来计算车辆坐标中摄像机外部参数，以提供在线摄像机校准。
XV＝Rorient*XW+t′W2V， (12)
XCi＝RV2Ci*XV+t′V2Ci， (13)
＝RV2Ci*Rorient*XW+t′W2Ci， (14)
＝RW2Ci*XW+t′W2Ci. (15)
根据方程式(12)-(15)可以确定，用于摄像机坐标中特定摄像机i姿态的旋转矩阵RV2Ci，即俯仰角、横摆角和侧倾角，以及用于摄像机坐标x、y和z中摄像机i的位置的转换矢量t′V2Ci。
在图3中的框74处，算法通过在线摄像机校准的反馈提供验证、跟踪和求精。图7是示出了用于算法的那些反馈验证和求精的流程图140。验证过程验证用于直线和平稳行驶的校准估算，以证实来自摄像机12-18的重叠图像中的点已对齐。该过程包括以上文所述方式在框142处执行在线校准，以校准摄像机12-18的定向，并且在校准过程执行完毕后，在框144处提供车道感测，以识别来自摄像机12-18的检测到的车道标识，以确定其在图像重叠区内是否相互对齐。算法在决定菱形框146处确定预定阈值内是否有对齐，如果没有，则通知反馈框148提供时间平滑和反馈求精，其中校准参数是不随时间而变化的，以使得校准的求精可以通过时间平滑来实现。然后，来自框142的在线校准的时间平滑和求精被指示在框148处执行，其在框142处为校准过程提供更新的校准。
如本领域技术人员将很好理解的，本文中所讨论的用于描述本发明的若干和各种步骤和过程，可以指由计算机、处理器或使用电气现象操控和/或转换数据的其他电子计算装置执行的操作。这些计算机和电子装置可以采用各种易失性和/或非易失性存储器，包括带有存储其上的可执行程序的非暂时性计算机可读介质，可执行程序包括能由计算机或处理器执行的各种代码或可执行指令，其中存储器和/或计算机可读介质可以包括所有形式和种类的存储器以及其他计算机可读介质。
以上论述仅公开和描述本发明的示例性实施例。本领域技术人员从该论述以及从附图和权利要求可以轻易地认识到在不背离如以下权利要求所限定的本发明精神和范围的情况下，可以对其做出各种改变、修改和变更。
Claims (19)
1.一种为车辆上的环景摄像机系统中的多个摄像机提供在线校准的方法，所述方法包括：
提供来自环景摄像机系统中每个摄像机的连续图像，其中来自前视摄像机的图像与来自右视摄像机的图像重叠，来自前视摄像机的图像与来自左视摄像机的图像重叠，来自后视摄像机的图像与来自右视摄像机的图像重叠，以及来自后视摄像机的图像与来自左视摄像机的图像重叠；
识别来自前视摄像机、左视摄像机、右视摄像机和后视摄像机的图像的重叠区中的匹配特征点；
估算每个摄像机在世界坐标中的摄像机参数；
估算车辆在世界坐标中的车辆姿态；以及
利用估算的世界坐标中的摄像机参数和估算的世界坐标中的车辆姿态来确定车辆坐标中的摄像机外部参数，其中摄像机外部参数限定特定摄像机的在线校准。
2.如权利要求1所述的方法，其中估算世界坐标中的摄像机参数包括限定用于每个摄像机的旋转矩阵和转换矢量。
3.如权利要求2所述的方法，其中旋转矩阵限定每个摄像机在世界坐标中的俯仰角、侧倾角和横摆角。
4.如权利要求1所述的方法，其中估算车辆姿态包括利用车辆速度和车辆横摆率的输入来确定车辆是否在直线驾驶。
5.如权利要求1所述的方法，其中估算车辆姿态包括追踪在车辆前方并沿侧面或者在车辆后方并沿侧面的显著距离的固定参照物体上的点。
6.如权利要求1所述的方法，其中估算车辆姿态包括计算相对于车辆前方或后方的消失点的图像的光流。
7.如权利要求1所述的方法，其中估算车辆姿态包括监测车辆上的车辆车身参照点。
8.如权利要求1所述的方法，进一步包括为摄像机的在线校准提供验证、跟踪和求精过程。
9.如权利要求8所述的方法，其中验证过程验证用于直线和平稳车辆驾驶的校准估算，以证实来自摄像机的重叠图像中的匹配特征点被对齐。
10.一种提供安装在移动平台上的多个摄像机的在线校准的方法，所述方法包括：
提供来自于每个摄像机的连续图像，其中来自相邻摄像机的图像重叠以限定重叠区；
识别重叠区中的匹配特征点；
估算每个摄像机在世界坐标中的摄像机参数；
估算平台在世界坐标中的姿态；以及
利用估算的世界坐标中的摄像机参数和估算的平台在世界坐标中的姿态来确定平台坐标中的摄像机外部参数，其中摄像机外部参数限定特定摄像机的在线校准。
11.如权利要求10所述的方法，其中估算世界坐标中的摄像机参数包括限定用于每个摄像机的旋转矩阵和转换矢量。
12.如权利要求11所述的方法，其中旋转矩阵限定每个摄像机在世界坐标中的俯仰角、侧倾角和横摆角。
13.如权利要求10所述的方法，其中估算结构姿态包括利用平台速度和平台横摆率的输入来确定平台是否在直线移动。
14.一种提供车辆上的环景摄像机系统中的多个摄像机的在线校准的系统，所述系统包括：
用于提供来自环景摄像机系统中每个摄像机的连续图像的装置，其中来自前视摄像机的图像与来自右视摄像机的图像重叠，来自前视摄像机的图像与来自左视摄像机的图像重叠，来自后视摄像机的图像与来自右视摄像机的图像重叠，以及来自后视摄像机的图像与来自左视摄像机的图像重叠；
用于识别来自前视摄像机、左视摄像机、右视摄像机和后视摄像机的图像的重叠区中的匹配特征点的装置；
用于估算每个摄像机在世界坐标中的摄像机参数的装置；
用于估算车辆在世界坐标中的车辆姿态的装置；以及
用于利用估算的世界坐标中的摄像机参数和估算的世界坐标中的车辆姿态来确定车辆坐标中的摄像机外部参数的装置，其中摄像机外部参数限定特定摄像机的在线校准。
15.如权利要求14所述的系统，其中用于估算世界坐标中的摄像机参数的装置限定用于每个摄像机的旋转矩阵和转换矢量。
16.如权利要求15所述的系统，其中旋转矩阵限定每个摄像机在世界坐标中的俯仰角、侧倾角和横摆角。
17.如权利要求14所述的系统，其中用于估算车辆姿态的装置包括利用车辆速度和车辆横摆率的输入来确定车辆是否在直线驾驶。
18.如权利要求14所述的系统，进一步包括用于为摄像机的在线校准提供验证、跟踪和求精过程的装置。
19.如权利要求18所述的系统，其中用于提供验证过程的装置验证用于直线和平稳车辆驾驶的校准估算，以证实来自摄像机的重叠图像中的匹配特征点被对齐。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201461994649P | 2014-05-16 | 2014-05-16 | |
| US61/994649 | 2014-05-16 | ||
| US14/710,289 US9986173B2 (en) | 2014-05-16 | 2015-05-12 | Surround-view camera system (VPM) online calibration |
| US14/710289 | 2015-05-12 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105141945A CN105141945A (zh) | 2015-12-09 |
| CN105141945B true CN105141945B (zh) | 2018-05-11 |
Family
ID=54361852
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510473555.2A Expired - Fee Related CN105141945B (zh) | 2014-05-16 | 2015-05-16 | 环景摄像机系统(vpm)在线校准 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9986173B2 (zh) |
| CN (1) | CN105141945B (zh) |
| DE (1) | DE102015107677B4 (zh) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10694175B2 (en) * | 2015-12-28 | 2020-06-23 | Intel Corporation | Real-time automatic vehicle camera calibration |
| US20190026924A1 (en) * | 2016-01-15 | 2019-01-24 | Nokia Technologies Oy | Method and Apparatus for Calibration of a Multi-Camera System |
| JP6511406B2 (ja) * | 2016-02-10 | 2019-05-15 | クラリオン株式会社 | キャリブレーションシステム、キャリブレーション装置 |
| KR101949358B1 (ko) * | 2016-04-04 | 2019-02-18 | 엘지전자 주식회사 | 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량 |
| US10579203B2 (en) * | 2016-04-13 | 2020-03-03 | Intel Corporation | Wellness mirror |
| US10528826B2 (en) | 2016-05-06 | 2020-01-07 | GM Global Technology Operations LLC | Vehicle guidance system |
| US10528056B2 (en) | 2016-05-06 | 2020-01-07 | GM Global Technology Operations LLC | Vehicle guidance system |
| CN107878360A (zh) * | 2016-09-30 | 2018-04-06 | 法乐第(北京)网络科技有限公司 | 确定全景泊车系统标定时机的方法及装置 |
| CN107878325A (zh) * | 2016-09-30 | 2018-04-06 | 法乐第(北京)网络科技有限公司 | 确定泊车系统重新标定时机的方法、装置及自动标定系统 |
| EP3340611B1 (en) | 2016-12-20 | 2020-07-29 | Nokia Technologies Oy | An apparatus and associated methods for virtual reality scene capture |
| US9988048B1 (en) * | 2017-03-03 | 2018-06-05 | GM Global Technology Operations LLC | Lane detection systems and methods |
| CN109086650B (zh) * | 2017-06-14 | 2022-04-12 | 现代摩比斯株式会社 | 校准方法和校准设备 |
| US10466027B2 (en) | 2017-06-21 | 2019-11-05 | Fujitsu Ten Corp. Of America | System and method for marker placement |
| US10569697B2 (en) | 2017-10-10 | 2020-02-25 | Magna Mirrors Of America, Inc. | Vehicle door handle assembly with light module |
| KR102470298B1 (ko) * | 2017-12-01 | 2022-11-25 | 엘지이노텍 주식회사 | 카메라 보정 방법 및 장치 |
| WO2020121882A1 (ja) * | 2018-12-13 | 2020-06-18 | ソニー株式会社 | 制御装置、制御方法、および制御プログラム |
| DE102018132649A1 (de) * | 2018-12-18 | 2020-06-18 | Connaught Electronics Ltd. | Verfahren zum Kalibrieren eines Erfassungsbereichs eines Kamerasystems mittels eines künstlichen neuronalen Netzes; Steuereinheit; Fahrerassistenzsystem sowie Computerprogrammprodukt |
| CN110176040B (zh) * | 2019-04-30 | 2023-06-09 | 惠州华阳通用电子有限公司 | 一种全景环视系统自动标定方法 |
| KR102297683B1 (ko) * | 2019-07-01 | 2021-09-07 | (주)베이다스 | 복수의 카메라들을 캘리브레이션하는 방법 및 장치 |
| KR102277828B1 (ko) * | 2019-08-13 | 2021-07-16 | (주)베이다스 | 복수의 카메라들을 캘리브레이션하는 방법 및 장치 |
| CN111079600A (zh) * | 2019-12-06 | 2020-04-28 | 长沙海格北斗信息技术有限公司 | 多摄像头的行人识别方法及识别系统 |
| CN110719411B (zh) * | 2019-12-16 | 2020-04-03 | 长沙智能驾驶研究院有限公司 | 车辆的全景环视图像生成方法及相关设备 |
| CN111815719B (zh) * | 2020-07-20 | 2023-12-22 | 阿波罗智能技术(北京)有限公司 | 图像采集设备的外参数标定方法、装置、设备及存储介质 |
| US11405559B1 (en) | 2021-02-19 | 2022-08-02 | Honda Motor Co., Ltd. | Systems and methods for live signal adjustment of a movable camera |
| WO2022204855A1 (zh) * | 2021-03-29 | 2022-10-06 | 华为技术有限公司 | 一种图像处理方法及相关终端装置 |
| CN113884123A (zh) * | 2021-09-23 | 2022-01-04 | 广州小鹏汽车科技有限公司 | 一种传感器校验方法及装置、车辆、存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1943236A (zh) * | 2005-02-15 | 2007-04-04 | 松下电器产业株式会社 | 周边监视装置和周边监视方法 |
| CN101763640A (zh) * | 2009-12-31 | 2010-06-30 | 无锡易斯科电子技术有限公司 | 车载多目摄像机环视系统的在线标定处理方法 |
| CN102915532A (zh) * | 2011-06-30 | 2013-02-06 | 哈曼贝克自动系统股份有限公司 | 确定车辆视觉系统外部参数的方法以及车辆视觉系统 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5299231B2 (ja) | 2009-11-17 | 2013-09-25 | 富士通株式会社 | キャリブレーション装置 |
| EP2523831B1 (en) * | 2010-01-13 | 2015-12-16 | Magna Electronics Inc. | Vehicular camera and method for periodic calibration of vehicular camera |
| US9834153B2 (en) * | 2011-04-25 | 2017-12-05 | Magna Electronics Inc. | Method and system for dynamically calibrating vehicular cameras |
| EP2523163B1 (en) | 2011-05-10 | 2019-10-16 | Harman Becker Automotive Systems GmbH | Method and program for calibrating a multicamera system |
| WO2013074604A2 (en) | 2011-11-15 | 2013-05-23 | Magna Electronics, Inc. | Calibration system and method for vehicular surround vision system |
| US9538144B2 (en) | 2012-05-02 | 2017-01-03 | GM Global Technology Operations LLC | Full speed lane sensing using multiple cameras |
| US9723272B2 (en) * | 2012-10-05 | 2017-08-01 | Magna Electronics Inc. | Multi-camera image stitching calibration system |
| WO2014070448A1 (en) * | 2012-10-31 | 2014-05-08 | Tk Holdings, Inc. | Vehicular path sensing system and method |
| US9875557B2 (en) * | 2012-11-05 | 2018-01-23 | The Chancellor Masters And Scholars Of The University Of Oxford | Extrinsic calibration of imaging sensing devices and 2D LIDARs mounted on transportable apparatus |
| WO2015110847A1 (en) * | 2014-01-27 | 2015-07-30 | Xylon d.o.o. | Data-processing system and method for calibration of a vehicle surround view system |
-
2015
- 2015-05-12 US US14/710,289 patent/US9986173B2/en active Active
- 2015-05-15 DE DE102015107677.2A patent/DE102015107677B4/de active Active
- 2015-05-16 CN CN201510473555.2A patent/CN105141945B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1943236A (zh) * | 2005-02-15 | 2007-04-04 | 松下电器产业株式会社 | 周边监视装置和周边监视方法 |
| CN101763640A (zh) * | 2009-12-31 | 2010-06-30 | 无锡易斯科电子技术有限公司 | 车载多目摄像机环视系统的在线标定处理方法 |
| CN102915532A (zh) * | 2011-06-30 | 2013-02-06 | 哈曼贝克自动系统股份有限公司 | 确定车辆视觉系统外部参数的方法以及车辆视觉系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20150329048A1 (en) | 2015-11-19 |
| DE102015107677B4 (de) | 2024-02-08 |
| US9986173B2 (en) | 2018-05-29 |
| DE102015107677A1 (de) | 2015-11-19 |
| CN105141945A (zh) | 2015-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105141945B (zh) | 环景摄像机系统(vpm)在线校准 | |
| CN105243655B (zh) | 使用图像中的特征点估算车辆动态的系统和方法 | |
| CN105139389B (zh) | 全景摄像机系统(vpm)与车辆动态 | |
| US20240046654A1 (en) | Image fusion for autonomous vehicle operation | |
| CN110278405B (zh) | 一种自动驾驶车辆的侧向图像处理方法、装置和系统 | |
| EP2665037B1 (en) | Onboard camera automatic calibration apparatus | |
| US7746221B2 (en) | Method for preventing lane departure for use with vehicle | |
| JP6767998B2 (ja) | 画像の線からのカメラの外部パラメータ推定 | |
| CN111046743B (zh) | 一种障碍物信息标注方法、装置、电子设备和存储介质 | |
| US20180165833A1 (en) | Calculation device, camera device, vehicle, and calibration method | |
| EP3358295A1 (en) | Image processing device, stereo camera device, vehicle, and image processing method | |
| US9862318B2 (en) | Method to determine distance of an object from an automated vehicle with a monocular device | |
| US20150360614A1 (en) | Process for representing vehicle surroundings information of a motor vehicle | |
| US20140085409A1 (en) | Wide fov camera image calibration and de-warping | |
| CN102163331A (zh) | 采用标定方法的图像辅助系统 | |
| EP3505865B1 (en) | On-vehicle camera, method for adjusting on-vehicle camera, and on-vehicle camera system | |
| US20190362512A1 (en) | Method and Apparatus for Estimating a Range of a Moving Object | |
| WO2015122124A1 (ja) | 車両周辺画像表示装置、車両周辺画像表示方法 | |
| CN109345591A (zh) | 一种车辆自身姿态检测方法和装置 | |
| CN115641385A (zh) | 车载环视相机标定方法、装置、设备及介质 | |
| WO2016146559A1 (en) | Method for determining a position of an object in a three-dimensional world coordinate system, computer program product, camera system and motor vehicle | |
| JP2019526105A (ja) | 周辺モデルの写像を作成するための方法、並びに、車両制御システム、及び、対応する車両 | |
| US11377027B2 (en) | Image processing apparatus, imaging apparatus, driving assistance apparatus, mobile body, and image processing method | |
| JP2019526105A5 (zh) | ||
| JP7316620B2 (ja) | 画像正規化のためのシステムと方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180511 Termination date: 20180516 |