CN105139389A - 全景摄像机系统(vpm)与车辆动态 - Google Patents

全景摄像机系统(vpm)与车辆动态 Download PDF

Info

Publication number
CN105139389A
CN105139389A CN201510495736.5A CN201510495736A CN105139389A CN 105139389 A CN105139389 A CN 105139389A CN 201510495736 A CN201510495736 A CN 201510495736A CN 105139389 A CN105139389 A CN 105139389A
Authority
CN
China
Prior art keywords
camera
vehicle
video camera
calibration
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510495736.5A
Other languages
English (en)
Other versions
CN105139389B (zh
Inventor
J·王
W·张
B·B·利特库希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN105139389A publication Critical patent/CN105139389A/zh
Application granted granted Critical
Publication of CN105139389B publication Critical patent/CN105139389B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/004—Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0042—Arrangements for holding or mounting articles, not otherwise provided for characterised by mounting means
    • B60R2011/008—Adjustable or movable supports
    • B60R2011/0085—Adjustable or movable supports with adjustment by rotation in their operational position
    • B60R2011/0089—Adjustable or movable supports with adjustment by rotation in their operational position around three axes, i.e. universally mounted
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

本公开描述了全景摄像机系统(VPM)与车辆动态，特别是一种基于车辆动态中的变化校正移动平台上诸如车辆上的全景摄像机系统中的多个摄像机的校准的系统和方法。该方法包括读取来车辆上的一个或多个传感器的识别车辆动态中的变化的测量值，并限定多个摄像机和车辆车身作为单个参照坐标系。该方法还包括识别测量值作为坐标系中的旋转矩阵和转换矢量，并将旋转矩阵和转换矢量并入车辆坐标系和摄像机坐标系之间的关系，以提供摄像机的校准的校正。

Description

全景摄像机系统(VPM)与车辆动态
与相关申请交叉引用
本申请主张2014年5月16日提交的名称为“全景摄像机系统(VPM)与车辆动态”的美国临时专利申请序号NO.61/994,686的优先权日的权益。
技术领域
本发明主要涉及一种用于校正移动平台上多个摄像机的校准的系统和方法，并且特别地，涉及用于校正车辆上的全景摄像机系统中多个摄像机的校准的系统和方法，其包括为车辆上的传感器检测的车辆动态提供校正。
背景技术
现代车辆通常包括一个或多个摄像机，该摄像机可提供倒车辅助、拍摄车辆驾驶员的图像以确定驾驶员困倦或注意力、提供车辆行驶时道路图像用于避免碰撞目的、提供结构辨别，诸如道路标记等。其他的车辆视图应用包括车道感测系统，其用于感测车辆行驶车道并在车道中央驾驶车辆。许多上述已知车道感测系统为各种应用检测道路上的车道标识，诸如车道偏离警告(LDW)、车道保持(LK)、车道居中(LC)等，并且通常使用位于车辆前部或位于车辆后部的单一摄像机以提供用于检测车道标识的图像。
本领域已提出，在车辆上提供环景摄像机系统，其包括前视摄像机、后视摄像机以及左侧和右侧摄像机，其中摄像机系统使用来自摄像机的图像生成车辆及周围区域的自顶向下(top-down)的视图，并且其中图像在车辆角部处相互重叠。自顶向下的视图可以显示给车辆驾驶员，以看到车辆周围的情况用于在倒车、泊车等。未来的车辆可能不使用后视镜，而可以替代地包括由环景摄像机提供的数字图像。
2013年4月9日授予Zhang(张)等人的题目为“具有环景系统的全速车道感测”的美国专利申请公开号No.2013/0293717，转让给本申请的受让人，并且通过引用方式并入本文，公开了一种通过检测道路车道标识来在车辆上提供车道感侧的系统和方法，其中该系统采用了提供车辆周围的自顶向下视图图像的环景摄像机系统。该方法包括在自顶向下视图中检测左侧和右侧车道边界线，并且然后确定图像中的车道边界线在该自顶向下视图图像中从图像帧至下一个图像帧是否对齐以及在图像与图像之间是否对齐。
对于许多基于摄像机的车辆应用而言，精确校准摄像机相对于车辆的定位和定向至关重要。摄像机校准通常指估算大量摄像机参数，包括内在参数和外在参数，其中内在参数包括焦距、光心、径向畸变参数等，并且外在参数包括摄像机位置、摄像机定向等。摄像机外在参数校准通常包括确定将摄像机图像坐标与车辆坐标关联的一组参数，反之亦然。一些摄像机参数，诸如摄像机焦距、光心等，是稳定的，而另一些参数，诸如摄像机的定向和位置，是不稳定。例如，摄像机的高度取决于将会不时地变化的车辆的负载。
在已知的环景摄像机系统中，来自摄像机的图像在车辆的角部处重叠，其中摄像机校准过程将相邻图像“拼接”在一起，使得单独图像中的公共元素直接相互重叠，以提供期望的自顶向下视图。在车辆制造期间，这些摄像机图像被拼接在一起以提供该图像使用任何数量的校准技术，从而使得当车辆初次投入使用时，摄像机被正确地校准。使用的一种校准技术是将车辆定位于具有交替的明的和暗的正方形的测试板图案上，其中正方开的每个点被便当地识别。在显影图像中，使用这些点允许摄像机校准软件校正图像的位置，这样使得在相同位置识别出相邻图像中的重叠点。
然而，一旦车辆投入使用，则可能发生各种情况，其可能导致摄像机定向和位置变化，其中摄像机的校准包括导致自顶向下图像中产生未对准的误差。这些情况可能包括车辆的负载，其导致摄像机位置(诸如高度)和/或摄像机定向(诸如俯仰角)相对于世界坐标发生改变；对车辆的小撞击，其可能改变摄像机的定位和定向等。但是，处理来自摄像机的图像以生成自顶向下视图的当前视频处理模块(VPM)无法在车辆使用时在线重新校准摄像机。相反，车辆操作者必须将车辆带至有能力以在车辆制造期间所进行的同样方式重新校准摄像机的经销商或其他授权服务中心，这具有显而易见的缺点。
发明内容
本公开描述了一种基于车辆动态中的变化校正移动平台上(诸如车辆上的全景摄像机系统中)的多个摄像机的校准的系统和方法。该方法包括读取来车辆上的一个或多个传感器的识别车辆动态中的变化的测量值，并限定多个摄像机和车辆车身作为单个参照坐标系。该方法还包括识别测量值作为坐标系中的旋转矩阵和转换矢量，并将旋转矩阵和转换矢量并入车辆坐标系和摄像机坐标系之间的关系，以提供摄像机的校准的校正。
本发明包括以下方案：
1、一种用于校正车辆上的全景摄像机系统中多个摄像机的校准的方法，所述方法包括：
读取来自车辆上的一个或多个传感器的识别车辆动态变化的测量值；
限定多个摄像机和车辆车身为单个参照坐标系；
识别测量值作为参照坐标系中的旋转矩阵和转换矢量；以及
将旋转矩阵和转换矢量并入车辆坐标系和摄像机坐标系之间的关系，以提供摄像机校准的校正。
2、如方案1中所述的方法，其中将旋转矩阵和转换矢量并入车辆坐标系和摄像机坐标系之间的关系包括通过下列方程限定全景摄像机系统的静态定向：
XV＝XW+t′W2V，
XCi＝RV2Ci*XV+t′V2Ci，
＝RV2Ci*XW+t′W2Ci，
并且通过下列方程限定车辆的动态定向：
XV＝Rdyn*(XW+t′W2V)，
XC＝RV2Ci*XV+t′V2Ci，
＝RV2Ci*Rdyn*XW+t″W2Ci，
其中X为样本点，i为摄像机索引，V是车辆坐标的标号，W是参照坐标的标号，C是摄像机坐标的标号，dyn是全部俯仰角、侧倾角和高度变量的车辆动态的标号，R是旋转矩阵以及t是转换矢量。
3、如方案2中所述的方法，其中将旋转矩阵和转换矢量并入车辆坐标系和摄像机坐标系之间的关系以提供摄像机校准包括运用下列方程校正摄像机校准：
(Rcam，Tcam)＝f((Rveh，Tveh)，(Rcam，Tcam)stny)，
其中stny是静态的标号，俯仰角、侧倾角和高度变量的车辆动态由旋转矩阵Rveh和转换矢量Tveh限定，Rcam为摄像机坐标中的旋转矩阵，以及Tcam为摄像机坐标中的转换矢量。
4、如方案1中所述的方法，其中读取来自一个或多个传感器的测量值包括读取来自一个或多个传感器的提供车辆或摄像机以及车辆车身俯仰角、侧倾角和高度变量动态的测量值。
5、如方案1中所述的方法，其中全景摄像机系统包括四个摄像机，其中第一摄像机定位于车辆前部，第二摄像机定位于车辆后部，第三摄像机定位于车辆左侧以及第四摄像机定位于车辆右侧。
6、如方案5中所述的方法，其中来自第一摄像机的图像与来自第三摄像机的图像重叠，来自第一摄像机的图像与来自第四摄像机的图像重叠，来自第二摄像机的图像与来自第三摄像机的图像重叠，以及来自第二摄像机的图像与来自第四摄像机的图像重叠。
7、一种用于校正移动平台上的多个摄像机的校准的方法，所述方法包括：
读取来自移动平台上的一个或多个传感器的识别平台动态变化的测量值；
限定多个摄像机和平台主体为单个参照坐标系；
识别测量值作为参照坐标系中的旋转矩阵和转换矢量；以及
将旋转矩阵和转换矢量并入平台坐标系和摄像机坐标系之间的关系，以提供摄像机校准的校正。
8、如方案7中所述的方法，其中将旋转矩阵和转换矢量并入平台坐标系和摄像机坐标系之间的关系包括通过下列方程限定摄像机的静态定向：
XV＝XW+t′W2V，
XCi＝RV2Ci*XV+t′V2Ci，
＝RV2Ci*XW+t′W2Ci，
并通过下列方程限定移动平台的动态定向：
XV＝Rdyn*(XW+t′W2V)，
XC＝RV2Ci*XV+t′V2Ci，
＝RV2Ci*Rdyn*XW+t″W2Ci，
其中X为样本点，i为摄像机索引，V是平台坐标的标号，W是参照坐标的标号，C是摄像机坐标的标号，dyn是全部俯仰角、侧倾角和高度变量的平台动态的标号，R为旋转矩阵以及t为转换矢量。
9、如方案8中所述的方法，其中将旋转矩阵和转换矢量并入平台坐标系和摄像机坐标系之间的关系以提供摄像机校准包括运用下列方程校正摄像机校准：
(Rcam，Tcam)＝f((Rveh，Tveh)，(Rcam，Tcam)stny)，
其中stny是静态的标号，俯仰角、侧倾角和高度变量的平台动态由旋转矩阵Rveh和转换矢量Tveh限定，Rcam为摄像机坐标中的旋转矩阵，以及Tcam为摄像机坐标中的转换矢量。
10、如方案7中所述的方法，其中读取来自一个或多个传感器的测量值包括读取来自一个或多个传感器的提供移动平台或摄像机以及移动平台俯仰角、侧倾角和高度变量动态的测量值。
11、如方案7中所述的方法，其中多个摄像机是全景摄像机系统的部分。
12、如方案11中所述的方法，其中全景摄像机系统包括四个摄像机，其中第一摄像机定位于平台前部，第二摄像机定位于平台后部，第三摄像机定位于平台左侧以及第四摄像机定位于平台右侧。
13、如方案12中所述的方法，其中来自第一摄像机的图像与来自第三摄像机的图像重叠，来自第一摄像机的图像与来自第四摄像机的图像重叠，来自第二摄像机的图像与来自第三摄像机的图像重叠，以及来自第二摄像机的图像与来自第四摄像机的图像重叠。
14、一种用于校正车辆上的全景摄像机系统中的多个摄像机的校准的校准系统，所述系统包括：
用于读取来自车辆上的一个或多个传感器的识别车辆动态变化的测量值的装置；
用于限定多个摄像机和车辆车身为单个参照坐标系的装置；
用于识别测量值作为参照坐标系中的旋转矩阵和转换矢量的装置；以及
用于将旋转矩阵和转换矢量并入车辆坐标系和摄像机坐标系之间的关系以提供摄像机校准的校正的装置。
15、如方案14中所述的校准系统，其中用于将旋转矩阵和转换矢量并入车辆坐标系和摄像机坐标系之间的关系的装置以下列方程限定全景摄像机系统的静态定向：
XV＝XW+t′W2V，
XCi＝RV2Ci*XV+t′V2Ci，
＝RV2Ci*XW+t′W2Ci，
并且以下列方程限定车辆的动态定向：
XV＝Rdyn*(XW+t′W2V)，
XC＝RV2Ci*XV+t′V2Ci，
＝RV2Ci*Rdyn*XW+t″W2Ci，
其中X为样本点，i为摄像机索引，V是车辆坐标的标号，W是参照坐标的标号，C是摄像机坐标的标号，dyn是全部俯仰角、侧倾角和高度变量的车辆动态的标号，R是旋转矩阵以及t是转换矢量。
16、如方案15中所述的校准系统，其中用于将旋转矩阵和转换矢量并入车辆坐标系和摄像机坐标系之间的关系以提供摄像机校准的装置使用下列方程校正摄像机校准：
(Rcam，Tcam)＝f((Rveh，Tveh)，(Rcam，Tcam)stny)，
其中stny是静态的标号，俯仰角、侧倾角和高度变量的车辆动态由旋转矩阵Rveh和转换矢量Tveh限定，Rcam为摄像机坐标中的旋转矩阵，以及Tcam为摄像机坐标中的转换矢量。
17、如方案14中所述的校准系统，其中用于读取来自一个或多个传感器的测量值的装置读取来自一个或多个传感器的提供车辆或摄像机以及车辆车身俯仰角、侧倾角和高度变量动态的测量值。
18、如方案14中所述的校准系统，其中全景摄像机系统包括四个摄像机，其中第一摄像机定位于车辆前部，第二摄像机定位于车辆后部，第三摄像机定位于车辆左侧以及第四摄像机定位于车辆右侧。
19、如方案18中所述的校准系统，其中来自第一摄像机的图像与来自第三摄像机的图像重叠，来自第一摄像机的图像与来自第四摄像机的图像重叠，来自第二摄像机的图像与来自第三摄像机的图像重叠，以及来自第二摄像机的图像与来自第四摄像机的图像重叠。
本发明的额外特征在结合附图进行的下列描述及所附权利要求时变得显而易见。
附图说明
图1是包括具有多个摄像机的全景摄像机系统的车辆的图示；
图2是示出了世界坐标、车辆坐标和摄像机坐标的坐标系的车辆等距视图；
图3是示出了处于静止位置的全景摄像机系统的坐标系；
图4是图3中所示坐标系，其中该坐标系由于车辆动态改变已发生变化；
图5是来自全景摄像机系统的四个摄像机的四个原始图像的图示，示出了匹配特征对；
图6是示出了匹配特征点的过程的系统方块图；
图7是来自车辆上的前视或后视摄像机的图像的图示，示出了地平线；
图8是来自车辆上的前视或后视摄像机的图像，示出了车辆向下俯倾时地平线的移动；
图9是来自车辆上的前视或后视摄像机的图像的图示，其中车辆处于侧倾位形；以及
图10是来自车辆上的前视或后视摄像机的图像的图示，示出了漂移状况。
具体实施方式
本发明的实施方式的以下论述针对用于校正车辆上的全景摄像机系统中的多个摄像机的校准的系统和方法，其包括为车辆上的传感器检测的车辆动态提供校正。例如，如所论述的，系统和方法具有特定应用，用于校正车辆上的摄像机的校准。但是，正如本领域技术人员能够理解的，所述系统和方法可以具有用于其他移动平台的应用，诸如火车、机器、拖车、船舶、露营车等。
图1是车辆10的俯视图，其包括具有前视摄像机12、后视摄像机14、左侧驾驶员视图摄像机16和右侧乘客视图摄像机18的全景摄像机系统。摄像机12-18可以是适用于此处所述目的的任意摄像机，其多数在汽车行业中是公知的，其能够接收光或其他辐射，并利用例如电荷耦合器件(CCD)将光能转换为像素格式的电信号。摄像机12-18以一定数据帧速率生成图像数据帧，其可以被储存并用于在视频处理模块(VPM)20中用于后续图像处理。摄像机12-18可以安装于车辆10内或安装在是车辆10的部分的任意适当结构上，诸如保险杠、仪表板、格栅、侧视镜、门板等，如由本领域的技术人员将会很好理解和预期的。在一个非限制性实施方式中，侧置摄像机16和18安装于侧视镜下方且向下指向。
摄像机12-18生成部分重叠的车辆10周围特定限制区域的图像。特别是，区域24为用于摄像机12的图像区，区域26为用于摄像机14的图像区，区域28为用于摄像机16的图像区，以及区域30为用于摄像机18的图像区，其中区域32是图像24和28的重叠区，区域34是图像24和30的重叠区，区域36是图像28和26的重叠区，以及区域38是图像30和26的重叠区。来自摄像机12-18的图像数据传送到VPM20，VPM20处理所述图像数据并将图像拼接在一起，然后作为车辆10周围的单个自顶向下视图图像在车辆显示器上显示。已知软件算法，其采用旋转矩阵R和转换矢量t来定向和重新配置来自相邻摄像机的图像，以使得该图像正确重叠。
车辆动态，即俯仰角、侧倾角和高度变量，影响来自摄像机12-18的图像24-30的定向。例如，车辆10在车辆制动时会向下俯倾，在猛力加速时会上仰，转弯时会向一侧侧倾，车辆装载时会上仰或向下俯倾等，这会导致来自摄像机12-18的图像相对于彼此而变化，即便摄像机已正确校准。
本发明提出一种将来自车辆上的传感器的有关车辆动态的可用信息并入VPM20内的算法中的系统和方法，其使用摄像机12-18确定全景图像，因而该图像可以基于车辆动态的变化而得到校正。一般而言，提出的摄像机校准校正技术限定三个坐标系，即世界坐标系、车辆坐标系和摄像机坐标系，每一个以X-Y-Z位置定向进行限定。
图2是包括摄像机52的车辆50的图示，示出了这些坐标系，其中下标V表示车辆坐标，下标W表示世界坐标以及下标C表示摄像机坐标。车辆50包括意图代表任意特定车辆上所有可用传感器的传感器54，其可以感测车辆俯仰角、高度变量和侧倾角，并可通过车辆总线提供识别车辆动态的信号。
下列方程(1)-(3)表示全景摄像机系统的静止定向，并且下列方程(4)-(6)识别车辆50动态位置的定向，其中Rdyn是车辆50在全部俯仰角、侧倾角和高度变量中的旋转动态矩阵。显而易见，如果车辆50处于某些动态变化下，即俯仰角、侧倾角和高度变量变化，则摄像机坐标中点XC的计算包括转换矢量t以及增加用于车辆50动态变化的旋转矩阵R。
XV＝XW+t′W2V，(1)
XCi＝RV2Ci*XV+t′V2Ci，(2)
＝RV2Ci*XW+t′W2Ci，(3)
XV＝Rdyn*(XW+t′W2V)，(4)
XC＝RV2Ci*XV+t′V2Ci，(5)
＝RV2Ci*Rdyn*XW+t″W2Ci.(6)
作为全景摄像机系统的部分的摄像机12-18与车辆车身结合从而形成坚硬的主体框架。图3是X，Y和Z坐标系的图示150，其包括是全景摄像机系统的部分的四个摄像机152，示出了该结合的参考框架。图4示出了在俯仰和侧倾方面旋转的图示150，其中旋转和转换矢量相应地变化。对于此坐标系，俯仰角、侧倾角和高度变量的车辆动态由旋转矩阵Rveh及转换矢量Tveh限定，其中摄像机152的旋转矩阵Rcam和转换矢量Tcam通过车辆动态中的变化被校正为：
(Rcam，Tcam)＝f((Rveh，Tveh)，(Rcam，Tcam)stny).(7)
通过为全景摄像机系统的定向提供此校正，可以提供改进的车道感应、泊车辅助等。
由在车辆制造商或经销商处提供的摄像机12-18的校准而得的来自全景摄像机系统中摄像机12-18的图像的相对定向的变化可以用于估算车辆动态参数Rdyn′即车辆50的俯仰角α和侧倾角β的二自由度的旋转动态，以及一自由度平移动态，即车辆50的高度偏移量Δz。本发明还提出一种以这种方式估算车辆动态的系统和方法：使用全景摄像机系统中摄像机12-18中的任意两个的重叠图像区域，以确定该重叠图像区域中的公共特征点不在同一位置，假设摄像机经过正确校准。该算法检测两个图像中的匹配特征点(u，v)，并由该特征点(u，v)之间的差异估算三自由度车辆动态参数。来自两个摄像机的图像中的匹配特征点(u，v)是世界坐标中相同点位置的投影。提供来自两个摄像机的相同点的匹配特征点(u，v)并用未知数求解动态方程给出了基于点间的距离的车辆50的俯仰角α、侧倾角β和/或高度变量的估算值。
图5是处于停车场中与其他车辆相邻的车辆10的图示80，其中泊车线78可用于识别两个重叠摄像机图像中的匹配特征点(u，v)。该匹配特征点(u，v)不必在地面上，而是可以在地面上方任意适当物体上或者比如车辆车身上。例如，点82和84分别表示由前视摄像机12和左侧摄像机16提供的图像的重叠区域32中的相同点或公共点。点86和88分别表示来自前视摄像机12和右侧摄像机18的图像的重叠区域34中的相同点或公共点。点90和92分别表示左侧摄像机16和后视摄像机14之间的重叠区域36中的相同点或公共点。点94和96分别表示右侧摄像机18和后视摄像机14之间的重叠区域38中的相同点或公共点。车辆动态变化而导致的点82和84之间，或点86和88之间，或点90和92之间，或点94和96之间的距离，提供了用于确定车辆动态中该变化的方法。本领域技术人员可以理解，许多计算机视觉和成像系统采用特征点检测和匹配技术及算法，诸如SIFT、SURF、ORB等，其可以应用于此处论述的目的。
图6是系统100的方块图，示出了用于识别重叠区域32、34、36和38中匹配特征点(u，v)的过程的一般图示。在系统100中，框102表示来自前视摄像机12的图像，框104表示来自左侧摄像机16的图像，框106表示来自右侧摄像机18的图像，以及框108表示来自后视摄像机14的图像。同步框110使得来自摄像机12-18的图像102-108的定时同步，这样使得所有图像32、34、36和38在由校准过程实现空间对齐之前先实现时间对准。分别来自摄像机12和16的图像102和104在重叠区域32中生成关注区112，分别来自摄像机12和18的图像102和106在重叠区域34中生成关注区114，分别来自摄像机16和14的图像104和108在重叠区域36中生成关注区116，以及分别来自摄像机14和18的图像106和108在重叠区域38中生成关注区118。然后，关注区112、114、116和118提供至处理器120，该处理器120以本文所论述方式识别关注区112、114、116和118中的若干匹配特征点(u，v)。
下列方程(8)-(12)示出了确定旋转矩阵Rdyn和转换矢量t′W2V的此过程，其使用公共匹配特征点来识别车辆动态中的变化，然后该公共匹配特征点可用作至其他车辆系统的输入，其中方程(8)显示了重叠图像区域内两个特征点，其在摄像机被校准时应在相同位置X。合适的算法可用于此过程，诸如列文伯格马夸尔特(Levenberg-Marquardt)算法、梯度下降算法等。
(u，v)C1～(u，v)C2，(8)
(u，v)C1→XC1，(9)
(u，v)C2→XC2，(10)
XC1＝RV2C1*Rdyn*(XW+t′W2V)+t′V2C1，(11)
XC2＝RV2C2*Rdyn*(XW+t′W2V)+t′V2C2，(12)
其中(u，v)C1是来自第一摄像机C1的图像中的一个特征点，其为世界点XW的投影，(u，v)C2是来自第二摄像机C2的图像中的另一个特征点，其为世界点XW的投影，RV2Ci是摄像机Ci在车辆坐标v中的旋转矩阵，i是摄像机索引，t是转换矢量，dyn表示动态，以及w是世界坐标。
如所论述的，摄像机12-18可用于确定车辆10是否相对于地平线正在俯仰、侧倾或者漂移。例如，图7是来自沿道路166行驶的车辆10上的摄像机的车辆10前方的图像160的图示，并以虚线162限定空中和地面之间的非动态地平线，其中车辆10没有呈现侧倾、俯仰或高度变量。图8是包括非动态地平线162的图像168的图示，但其中实际的地平线现在在线164处，从而示出了车辆10向下俯倾。图9是道路166的图像170的图示，其中示出了地平线162沿侧倾方向成角度。图10是图像172的图示，其中车辆10沿向左方向在道路166上漂移。
此外，基于全景图像中的变化确定车辆动态的过程可以包括时间跟踪和平滑。该时间跟踪和平滑可被提供用于非瞬时性车辆变化检测，诸如瘪气轮胎、不良悬架、牵引和重载。该跟踪还可执行用于检测危险的车辆动态变化，诸如侧翻检测和预防之字形行驶等。如果侧倾或俯仰动态剧烈变化，则可以通知防侧倾系统或其他车辆系统以采取纠正措施。
如本领域技术人员将很好理解的，本文中所讨论的用于描述本发明的若干和各种步骤和过程，可以指由计算机、处理器或使用电气现象操控和/或转换数据的其他电子计算装置执行的操作。这些计算机和电子装置可以采用各种易失性和/或非易失性存储器，包括带有存储其上的可执行程序的非暂时性计算机可读介质，可执行程序包括能由计算机或处理器执行的各种代码或可执行指令，其中存储器和/或计算机可读介质可以包括所有形式和种类的存储器以及其他计算机可读介质。
以上论述仅公开和描述本发明的示例性实施例。本领域技术人员从该论述以及从附图和权利要求可以轻易地认识到在不背离如以下权利要求所限定的本发明精神和范围的情况下，可以对其做出各种改变、修改和变更。

Claims (10)

1.一种用于校正车辆上的全景摄像机系统中多个摄像机的校准的方法，所述方法包括：
读取来自车辆上的一个或多个传感器的识别车辆动态变化的测量值；
限定多个摄像机和车辆车身为单个参照坐标系；
识别测量值作为参照坐标系中的旋转矩阵和转换矢量；以及
将旋转矩阵和转换矢量并入车辆坐标系和摄像机坐标系之间的关系，以提供摄像机校准的校正。
2.如权利要求1中所述的方法，其中将旋转矩阵和转换矢量并入车辆坐标系和摄像机坐标系之间的关系包括通过下列方程限定全景摄像机系统的静态定向：
XV＝XW+t′W2V，
XCi＝RV2Ci*XV+t′V2Ci，
＝RV2Ci*XW+t′W2Ci，
并且通过下列方程限定车辆的动态定向：
XV＝Rdyn*(XW+t′W2V)，
XC＝RV2Ci*XV+t′V2Ci，
＝RV2Ci*Rdyn*XW+t″W2Ci，
其中X为样本点，i为摄像机索引，V是车辆坐标的标号，W是参照坐标的标号，C是摄像机坐标的标号，dyn是全部俯仰角、侧倾角和高度变量的车辆动态的标号，R是旋转矩阵以及t为转换矢量。
3.如权利要求2中所述的方法，其中将旋转矩阵和转换矢量并入车辆坐标系和摄像机坐标系之间的关系以提供摄像机校准包括运用下列方程校正摄像机校准：
(Rcam，Tcam)＝f((Rveh，Tveh)，(Rcam，Tcam)stny)，
其中stny是静态的标号，俯仰角、侧倾角和高度变量的车辆动态由旋转矩阵Rveh和转换矢量Tveh限定，Rcam为摄像机坐标中的旋转矩阵，以及Tcam为摄像机坐标中的转换矢量。
4.如权利要求1中所述的方法，其中读取来自一个或多个传感器的测量值包括读取来自一个或多个传感器的提供车辆或摄像机以及车辆车身俯仰角、侧倾角和高度变量动态的测量值。
5.如权利要求1中所述的方法，其中全景摄像机系统包括四个摄像机，其中第一摄像机定位于车辆前部，第二摄像机定位于车辆后部，第三摄像机定位于车辆左侧以及第四摄像机定位于车辆右侧。
6.如权利要求5中所述的方法，其中来自第一摄像机的图像与来自第三摄像机的图像重叠，来自第一摄像机的图像与来自第四摄像机的图像重叠，来自第二摄像机的图像与来自第三摄像机的图像重叠，以及来自第二摄像机的图像与来自第四摄像机的图像重叠。
7.一种用于校正移动平台上的多个摄像机的校准的方法，所述方法包括：
读取来自移动平台上的一个或多个传感器的识别平台动态变化的测量值；
限定多个摄像机和平台主体为单个参照坐标系；
识别测量值作为参照坐标系中的旋转矩阵和转换矢量；以及
将旋转矩阵和转换矢量并入平台坐标系和摄像机坐标系之间的关系，以提供摄像机校准的校正。
8.如权利要求7中所述的方法，其中将旋转矩阵和转换矢量并入平台坐标系和摄像机坐标系之间的关系包括通过下列方程限定摄像机的静态定向：
XV＝XW+t′W2V，
XCi＝RV2Ci*XV+t′V2Ci，
＝RV2Ci*XW+t′W2Ci，
并通过下列方程限定移动平台的动态定向：
XV＝Rdyn*(XW+t′W2V)，
XC＝RV2Ci*XV+t′V2Ci，
＝RV2Ci*Rdyn*XW+t″W2Ci，
其中X为样本点，i为摄像机索引，V是平台坐标的标号，W是参照坐标的标号，C是摄像机坐标的标号，dyn是全部俯仰角、侧倾角和高度变量的平台动态的标号，R为旋转矩阵以及t为转换矢量。
9.如权利要求8中所述的方法，其中将旋转矩阵和转换矢量并入平台坐标系和摄像机坐标系之间的关系以提供摄像机校准包括运用下列方程校正摄像机校准：
(Rcam，Tcam)＝f((Rveh，Tveh)，(Rcam，Tcam)stny)，
其中stny是静态的标号，俯仰角、侧倾角和高度变量的平台动态由旋转矩阵Rveh和转换矢量Tveh限定，Rcam为摄像机坐标中的旋转矩阵，以及Tcam为摄像机坐标中的转换矢量。
10.一种用于校正车辆上的全景摄像机系统中的多个摄像机的校准的校准系统，所述系统包括：
用于读取来自车辆上的一个或多个传感器的识别车辆动态变化的测量值的装置；
用于限定多个摄像机和车辆车身为单个参照坐标系的装置；
用于识别测量值作为参照坐标系中的旋转矩阵和转换矢量的装置；以及
用于将旋转矩阵和转换矢量并入车辆坐标系和摄像机坐标系之间的关系以提供摄像机校准的校正的装置。
CN201510495736.5A 2014-05-16 2015-05-16 全景摄像机系统(vpm)与车辆动态 Active CN105139389B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201461994686P 2014-05-16 2014-05-16
US61/994686 2014-05-16
US14/710,322 US9981605B2 (en) 2014-05-16 2015-05-12 Surround-view camera system (VPM) and vehicle dynamic
US14/710322 2015-05-12

Publications (2)

Publication Number Publication Date
CN105139389A true CN105139389A (zh) 2015-12-09
CN105139389B CN105139389B (zh) 2018-11-27

Family

ID=54361853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510495736.5A Active CN105139389B (zh) 2014-05-16 2015-05-16 全景摄像机系统(vpm)与车辆动态

Country Status (3)

Country Link
US (1) US9981605B2 (zh)
CN (1) CN105139389B (zh)
DE (1) DE102015107678A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815897A (zh) * 2015-12-02 2017-06-09 通用汽车环球科技运作有限责任公司 车辆数据记录
CN107878325A (zh) * 2016-09-30 2018-04-06 法乐第(北京)网络科技有限公司 确定泊车系统重新标定时机的方法、装置及自动标定系统
CN108621943A (zh) * 2017-03-22 2018-10-09 通用汽车环球科技运作有限责任公司 用于在车辆电子显示器上动态显示图像的系统和方法
CN109835256A (zh) * 2017-11-29 2019-06-04 长城汽车股份有限公司 一种汽车全景环视系统、方法及汽车
CN109840897A (zh) * 2017-11-28 2019-06-04 深圳市航盛电子股份有限公司 车辆全景图像校正方法和车辆全景系统
CN111351474A (zh) * 2018-12-24 2020-06-30 上海欧菲智能车联科技有限公司 车辆移动目标检测方法、装置和系统
CN111917985A (zh) * 2020-08-14 2020-11-10 广东申义实业投资有限公司 三维全景可视化显示的车辆、方法、装置及存储介质

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101579100B1 (ko) * 2014-06-10 2015-12-22 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
CN105809687B (zh) * 2016-03-08 2019-09-27 清华大学 一种基于图像中边沿点信息的单目视觉测程方法
US10259390B2 (en) 2016-05-27 2019-04-16 GM Global Technology Operations LLC Systems and methods for towing vehicle and trailer with surround view imaging devices
CN106097357B (zh) * 2016-06-17 2019-04-16 深圳市灵动飞扬科技有限公司 汽车全景摄像头的校正方法
US10380765B2 (en) * 2016-08-17 2019-08-13 Magna Electronics Inc. Vehicle vision system with camera calibration
KR101974086B1 (ko) 2016-09-30 2019-05-02 삼성디스플레이 주식회사 표시모듈
US10466027B2 (en) 2017-06-21 2019-11-05 Fujitsu Ten Corp. Of America System and method for marker placement
KR102470298B1 (ko) * 2017-12-01 2022-11-25 엘지이노텍 주식회사 카메라 보정 방법 및 장치
CN108765497A (zh) * 2018-05-29 2018-11-06 广州微牌智能科技有限公司 校正方法、装置、系统计算机设备和存储介质
CN109615659B (zh) * 2018-11-05 2023-05-05 成都西纬科技有限公司 一种车载多摄像机环视系统的摄像机参数获得方法及装置
EP3667414B1 (en) * 2018-12-14 2020-11-25 Axis AB A system for panoramic imaging
CN110176040B (zh) * 2019-04-30 2023-06-09 惠州华阳通用电子有限公司 一种全景环视系统自动标定方法
CN112102413B (zh) * 2020-07-22 2022-12-09 西安交通大学 一种基于虚车道线的车载相机自动标定方法
DE102020209613A1 (de) 2020-07-30 2022-02-03 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Bestimmen einer Lageänderung einer an einem verstellbaren Element eines Fahrzeugs befestigten Bilderfassungseinrichtung und System
CN114347917B (zh) * 2021-12-28 2023-11-10 华人运通(江苏)技术有限公司 一种车辆、车载摄像系统的校准方法和装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101236654A (zh) * 2007-01-31 2008-08-06 三洋电机株式会社 照相机校正装置和方法、以及车辆
DE102008046545A1 (de) * 2008-09-10 2009-05-14 Daimler Ag Verfahren und Vorrichtung zur Kalibrierung einer Anordnung zur Überwachung einer Umgebung eines Fahrzeugs
US20090160940A1 (en) * 2007-12-20 2009-06-25 Alpine Electronics, Inc. Image display method and image display apparatus
CN101676686A (zh) * 2008-09-18 2010-03-24 德尔菲技术公司 确定布置在车辆中的照相机的位置和取向的方法
US20110115922A1 (en) * 2009-11-17 2011-05-19 Fujitsu Limited Calibration apparatus and calibration method
CN102736634A (zh) * 2012-07-10 2012-10-17 浙江捷尚视觉科技有限公司 一种用于汽车全景图的摄像头角度调节方法
CN103057473A (zh) * 2008-06-10 2013-04-24 日产自动车株式会社 停车辅助装置以及停车辅助方法
US20130127999A1 (en) * 2011-11-18 2013-05-23 Toshiba Alpine Automotive Technology Corporation Calibration apparatus for vehicle mounted camera
CN103770707A (zh) * 2012-10-24 2014-05-07 株式会社塞克尼斯 具备影像自动校正功能的鸟瞰影像生成装置及方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4555876B2 (ja) * 2008-05-30 2010-10-06 株式会社日本自動車部品総合研究所 車載カメラのキャリブレーション方法
JP4751939B2 (ja) * 2009-03-31 2011-08-17 アイシン精機株式会社 車載カメラの校正装置
JP4636346B2 (ja) * 2009-03-31 2011-02-23 アイシン精機株式会社 車載カメラの校正装置、方法、及びプログラム
US9294733B2 (en) * 2010-09-06 2016-03-22 Aisin Seiki Kabushiki Kaisha Driving assist apparatus
EP2660624A1 (en) * 2012-04-30 2013-11-06 Traficon International N.V. A traffic monitoring device and a method for monitoring a traffic stream.
US9538144B2 (en) 2012-05-02 2017-01-03 GM Global Technology Operations LLC Full speed lane sensing using multiple cameras
US9528822B2 (en) * 2013-02-08 2016-12-27 Hunter Engineering Company Calibration fixture for machine vision vehicle wheel alignment system
US9778030B2 (en) * 2013-03-08 2017-10-03 Hunter Engineering Company Method and apparatus for multi-axle vehicle alignment with vehicle frame reference

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101236654A (zh) * 2007-01-31 2008-08-06 三洋电机株式会社 照相机校正装置和方法、以及车辆
US20090160940A1 (en) * 2007-12-20 2009-06-25 Alpine Electronics, Inc. Image display method and image display apparatus
CN103057473A (zh) * 2008-06-10 2013-04-24 日产自动车株式会社 停车辅助装置以及停车辅助方法
DE102008046545A1 (de) * 2008-09-10 2009-05-14 Daimler Ag Verfahren und Vorrichtung zur Kalibrierung einer Anordnung zur Überwachung einer Umgebung eines Fahrzeugs
CN101676686A (zh) * 2008-09-18 2010-03-24 德尔菲技术公司 确定布置在车辆中的照相机的位置和取向的方法
US20110115922A1 (en) * 2009-11-17 2011-05-19 Fujitsu Limited Calibration apparatus and calibration method
US20130127999A1 (en) * 2011-11-18 2013-05-23 Toshiba Alpine Automotive Technology Corporation Calibration apparatus for vehicle mounted camera
CN102736634A (zh) * 2012-07-10 2012-10-17 浙江捷尚视觉科技有限公司 一种用于汽车全景图的摄像头角度调节方法
CN103770707A (zh) * 2012-10-24 2014-05-07 株式会社塞克尼斯 具备影像自动校正功能的鸟瞰影像生成装置及方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815897A (zh) * 2015-12-02 2017-06-09 通用汽车环球科技运作有限责任公司 车辆数据记录
CN107878325A (zh) * 2016-09-30 2018-04-06 法乐第(北京)网络科技有限公司 确定泊车系统重新标定时机的方法、装置及自动标定系统
CN108621943A (zh) * 2017-03-22 2018-10-09 通用汽车环球科技运作有限责任公司 用于在车辆电子显示器上动态显示图像的系统和方法
CN108621943B (zh) * 2017-03-22 2021-09-28 通用汽车环球科技运作有限责任公司 用于在车辆电子显示器上动态显示图像的系统和方法
CN109840897A (zh) * 2017-11-28 2019-06-04 深圳市航盛电子股份有限公司 车辆全景图像校正方法和车辆全景系统
CN109835256A (zh) * 2017-11-29 2019-06-04 长城汽车股份有限公司 一种汽车全景环视系统、方法及汽车
CN109835256B (zh) * 2017-11-29 2021-04-16 长城汽车股份有限公司 一种汽车全景环视系统、方法及汽车
CN111351474A (zh) * 2018-12-24 2020-06-30 上海欧菲智能车联科技有限公司 车辆移动目标检测方法、装置和系统
CN111351474B (zh) * 2018-12-24 2022-07-12 上海欧菲智能车联科技有限公司 车辆移动目标检测方法、装置和系统
CN111917985A (zh) * 2020-08-14 2020-11-10 广东申义实业投资有限公司 三维全景可视化显示的车辆、方法、装置及存储介质
CN111917985B (zh) * 2020-08-14 2021-11-16 广东申义实业投资有限公司 三维全景可视化显示的车辆、方法、装置及存储介质

Also Published As

Publication number Publication date
DE102015107678A9 (de) 2016-01-14
US20150332446A1 (en) 2015-11-19
US9981605B2 (en) 2018-05-29
DE102015107678A1 (de) 2015-11-19
CN105139389B (zh) 2018-11-27

Similar Documents

Publication Publication Date Title
CN105139389A (zh) 全景摄像机系统(vpm)与车辆动态
CN105243655B (zh) 使用图像中的特征点估算车辆动态的系统和方法
CN105141945B (zh) 环景摄像机系统(vpm)在线校准
US20240046654A1 (en) Image fusion for autonomous vehicle operation
JP5172314B2 (ja) ステレオカメラ装置
CN106408611B (zh) 静态目标的路过式校准
EP3493152A1 (en) Image processing device and surroundings recognition device
US9123110B2 (en) Vehicle attitude angle calculating device, and lane departure warning system using same
CN104854637A (zh) 移动物体位置姿态角推定装置及移动物体位置姿态角推定方法
US20080143835A1 (en) Image Display Apparatus
US9953227B2 (en) In-vehicle image processing device
CN108367710B (zh) 俯瞰影像生成装置、俯瞰影像生成系统、以及存储介质
CN114066929A (zh) 预测目标车辆相对于自主车辆的轨迹的方法
JP4951481B2 (ja) 路面標示認識装置
US20220196395A1 (en) Method for ascertaining an operating angle between a tractor and a trailer of the tractor
US20190362512A1 (en) Method and Apparatus for Estimating a Range of a Moving Object
CN111480182B (zh) 道路地图生成系统以及道路地图生成方法
CN111160070A (zh) 车辆全景图像盲区消除方法、装置、存储介质及终端设备
CN103381825B (zh) 使用多个照相机的全速车道感测
JP2004310522A (ja) 車両用画像処理装置
US11377027B2 (en) Image processing apparatus, imaging apparatus, driving assistance apparatus, mobile body, and image processing method
JP2020086956A (ja) 撮影異常診断装置
WO2019092913A1 (ja) 路面領域検出装置
WO2017122688A1 (ja) 車載カメラのレンズ異常検出装置
KR20180081966A (ko) 차량 인식을 통한 영상 교정 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant