CN105100600A - 用于全景可视系统中的自动校准的方法和装置 - Google Patents
用于全景可视系统中的自动校准的方法和装置 Download PDFInfo
- Publication number
- CN105100600A CN105100600A CN201510261725.0A CN201510261725A CN105100600A CN 105100600 A CN105100600 A CN 105100600A CN 201510261725 A CN201510261725 A CN 201510261725A CN 105100600 A CN105100600 A CN 105100600A
- Authority
- CN
- China
- Prior art keywords
- image
- display
- capturing apparatus
- camera
- correspondence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000001105 regulatory effect Effects 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 description 25
- 238000013519 translation Methods 0.000 description 8
- 238000013461 design Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 241000193935 Araneus diadematus Species 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007670 refining Methods 0.000 description 2
- 238000005728 strengthening Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
- B60R2300/402—Image calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供用于全景可视系统中的自动校准的方法和装置。实施例设想一种校准车辆的多个图像捕捉设备的方法。提供具有不同位姿的多个图像捕捉设备。将多个图像捕捉设备中的至少一个识别为参考设备。利用多个图像捕捉设备捕捉车辆外部的图形显示的图像。车辆横穿图形显示以在各个时间阶段捕捉图像。处理器识别由多个图像捕捉设备和参考设备捕捉的每个图像之间的图形显示的公共地标。使用所识别的公共地标拼接由多个图像捕捉设备中的每个捕捉的图形显示的图像。基于拼接后的图像，相对于参考设备调节每个图像捕捉设备的外参数，用于校准多个图像捕捉设备。
Description
技术领域
实施例涉及车辆成像系统。
背景技术
基于视觉的成像系统使用图像捕捉设备来检测用于各种车辆应用的外部对象，包括碰撞避免系统、自动巡航控制以及停车辅助。如果正在使用超过一个摄像头，那么在每个图像捕捉设备之间必须应用摄像头校准。不仅必须在彼此之间校准成像设备，而且必须相对于车辆轮廓或位姿校准摄像头。结果，必须补偿在图像捕捉设备之间的交叠区域中的不对准、图像拼接以及距离估算功能。
发明内容
实施例的优点在于校准可以在服务站车库或装配线上使用的全景可视系统的多个摄像头。本文所描述的技术通过捕捉图形显示的图像、识别公共地标以及将公共地标与由参考摄像头捕捉的参考图像相关联，来提供用于自主地更新和校正摄像头校准参数的低成本方法。本文所描述的技术降低了在必须制作或购买校准每个摄像头所需要的专用或复杂工具方面的复杂性。
实施例设想一种校准车辆的多个图像捕捉设备的方法。提供具有不同位姿的多个图像捕捉设备。将多个图像捕捉设备中的至少一个识别为参考设备。利用多个图像捕捉设备捕捉车辆外部的图形显示的图像。图形显示包括已知位置的多个地标。每个图像捕捉设备捕捉图形显示的至少一部分。车辆横穿图形显示以在各个时间阶段由多个图像捕捉设备捕捉图像。处理器识别由多个图像捕捉设备和参考设备捕捉的每个图像之间的图形显示的公共地标。使用所识别的公共地标拼接由多个图像捕捉设备中的每个捕捉的图形显示的图像。基于拼接后的图像，相对于参考设备调节每个图像捕捉设备的外参数，用于校准多个图像捕捉设备。
1. 一种校准车辆的多个图像捕捉设备的方法，所述方法包括以下步骤：
提供具有不同位姿的多个图像捕捉设备，将所述多个图像捕捉设备中的至少一个识别为参考设备；
利用所述多个图像捕捉设备捕捉所述车辆外部的图形显示的图像，所述图形显示包括已知位置的多个地标，每个图像捕捉设备捕捉所述图形显示的至少一部分；
使所述车辆横穿所述图形显示，以在各个时间阶段由所述多个图像捕捉设备捕捉图像；
利用处理器在由所述多个图像捕捉设备和所述参考设备捕捉的每个图像之间识别所述图形显示的公共地标；
使用所识别的公共地标拼接由所述多个图像捕捉设备中的每个捕捉的图形显示的图像；以及
基于所拼接的图像相对于所述参考设备调节每个图像捕捉设备的外参数，用于校准所述多个图像捕捉设备。
2. 如方案1所述的方法，其中调节所述外参数包括调节所述图像捕捉设备的旋转。
3. 如方案1所述的方法，其中使所述车辆横穿所述图形显示包括使所述车辆横穿棋盘图形，所述棋盘图形代表网格。
4. 如方案1所述的方法，其中识别所述图形显示的公共地标包括在由所述多个图像捕捉设备和所述参考设备捕捉的图像之间识别所述图形显示内的对应性。
5. 如方案4所述的方法，其中识别所述图形显示内的对应性包括识别所述图形显示的外边界的角部。
6. 如方案4所述的方法，其中识别所述图形显示内的对应性包括识别在所捕捉的图像的每个之间将所述图形显示内的图形区分开的公共边缘。
7. 如方案4所述的方法，其中识别所述图形显示内的对应性包括识别所述图形显示内的由公共交叉边缘产生的公共点。
8. 如方案1所述的方法，其中拼接所述图形显示的图像包括将由所述多个图像捕捉设备和所述参考设备捕捉的图像中的每个之间的网格的对应公共地标对准。
9. 如方案8所述的方法，其中将来自所述多个图像捕捉设备的每个捕捉图像重新定向，以将由所述参考设备捕捉的图像的对应公共地标对准。
10. 如方案9所述的方法，其中基于用于将所述对应公共地标对准的所述图像的重新定向，来确定每个图像捕捉设备的轨迹。
11. 如方案1所述的方法，其中调节所述外参数包括基于将多个捕捉图像对准的所确定的轨迹来调节所述图像捕捉设备的旋转。
12. 如方案11所述的方法，其中使所述每个图像捕捉设备从初始位姿旋转以将每个捕捉图像对准，其中基于在至少两个时间阶段由相应图像捕捉设备捕捉的图像，从所拼接的网格地图确定每个所捕捉图像设备的初始位姿。
13. 如方案12所述的方法，其中对于相应图像捕捉设备确定初始位姿包括下面的步骤：
在第一时间阶段和第二时间阶段捕捉网格；
基于在所述第一时间阶段捕捉的网格的观察，来确定在第一时间阶段的所述相应图像捕捉设备的第一位姿，其中所述相应图像捕捉设备的第一位姿由在所述第一时间阶段的第一旋转参数和第一平移参数限定；
计算在所述第一时间阶段和所述第二时间阶段之间的所述第一位姿的变化；
基于在所述第一时间阶段和所述第二时间阶段之间的所述位姿的变化，来确定在所述第二时间阶段的第二位姿；
基于所确定的第一和第二摄像头位姿，通过将在所述第一时间阶段捕捉的网格与在所述第二时间阶段捕捉的网格拼接，来生成增强的网格；以及
在地面坐标框架中更新增强后的网格。
14. 如方案13所述的方法，其中确定所述初始位姿是针对所述多个图像捕捉设备中的每个来确定。
15. 如方案14所述的方法，其中相对于所述参考设备调节每个图像捕捉设备的外参数基于作为所确定的每个图像捕捉设备的初始位姿的函数的拼接图像。
16. 如方案13所述的方法，其中利用卡尔曼滤波器精炼在所述第二时间阶段确定的所述第二位姿。
17. 如方案13所述的方法，其中计算在所述第一时间阶段和所述第二时间阶段之间的位姿的差异是基于确定在所述第二时间阶段的所述第一旋转参数与第二旋转参数之间的差异、以及在所述第二时间阶段的所述第一平移参数与第二平移参数之间的差异。
18. 如方案17所述的方法，其中每个图像捕捉设备位姿由旋转矩阵和平移矩阵表示。
19. 如方案18所述的方法，其中使用相应相对位姿来确定所述图像捕捉设备位姿，其中相应相对位姿是非旋转矩阵，并且其中根据所述相应相对位姿使用归一化处理来找到最接近旋转矩阵。
20. 如方案19所述的方法，其中通过如由下面的公式表示的那样将Frobenius矩阵范数最小化，而根据所述非旋转矩阵确定最接近旋转矩阵：
其中表示非旋转矩阵并且R表示非旋转矩阵。
21. 如方案20所述的方法，其中根据下面等式来优化所述旋转矩阵的确定：
其中和V是的右奇异向量和左奇异向量，是相应时间值，并且，其中 是奇异值的对角矩阵。
附图说明
图1图示了用于碰撞避免或对象检测系统的对象检测系统的方框图。
图2为横穿图形显示的车辆的示例图。
图3a-图3d表示由图像捕捉设备捕捉的图形显示的相应图像。
图4为如果图像由相应图像捕捉设备捕捉时的对准。
图5为图示随着时间的经过的每个摄像头位姿的时间积分的方法的流程图。
图6为在不同的时间阶段由各自的时间捕捉的两个图像的拼接网格地图。
具体实施方式
图1图示了用于碰撞避免或对象检测系统的对象检测系统的方框图。车辆10包括向前图像捕捉设备12、向左图像捕捉设备14、向右图像捕捉设备16以及向后图像捕捉设备18。在下文中每个图像捕捉设备将称为摄像头，然而，应该理解图像捕捉设备不限于摄像头。每个摄像头捕捉车辆外部的区域，其被提供给车辆处理器20。处理器20使用用于检测车辆外部的对象的捕捉图像来确定它们与车辆10的靠近度。对象的检测可以由各种车辆应用使用，各种车辆应用包括但不限于碰撞警报、自动循环控制以及驾驶员视觉增强。可以使用存储器22来存储用于分析图像的数据。
装备有超过一个摄像头的车辆在彼此之间必须具有对准对应性，以便当处理数据时能够配合地使用数据。如果摄像头没有彼此对准，那么在分析数据时数据将被歪曲，并且关于所检测对象的位置的精度将不精确，从而导致使用该输入数据的车辆应用的不精确输出。本文所描述的程序提供用于摄像头对准和同步的较简单方法。
图2图示了横穿地面上的图形显示24的车辆10。优选地图形显示为具有可识别边缘26的图形，可识别边缘26将各个图形清楚地区分开，图形显示例如为棋盘图形。图形表示网格系统，其中边缘26将交替的图形彼此区分开，并且边缘的交叉线指示网格中的可识别位置点28。
识别公共地标，公共地标包括但不限于图形显示24的地标30、32、34和36。公共地标30、32、34和36识别图形显示的角部，其使得在所捕捉图像中能够容易地识别图形显示的朝向。当将由多个图像捕捉设备捕捉的图像进行比较时，使用公共地标来识别公共性。当车辆横穿图形显示24时，每个摄像头将捕捉图像显示的至少一部分。例如，在车辆到达图形显示24之前，向前摄像头捕捉整个图形显示24。随着车辆移动到图形显示上和图形显示上方，向右摄像头和向左摄像头将仅捕捉图形显示24的一部分。当车辆移动离开图形显示24时，向后摄像头26捕捉整个图形显示24。将来自向前摄像头的图像识别为参考图像。
对于由每个摄像头捕捉的图像，每个所捕捉图像的朝向相对于参考图像将是不同的。图3a-图3d图示了由每个图像捕捉设备捕捉的每个图形显示。对于图3a-图3d中的每个，识别相应的公共地标（例如角部）。利用图像之间的公共地标以及图形显示内的边缘（即主线）和交叉点（即，特征点），通过识别参考图像和其他图像的地标与特征点之间的对应性，可以将各个图像定向和对准。所识别的公共地标允许每个图像相对于参考图像对准。一旦将每个网格地图对准，就解出每个摄像头轨迹。
在解出每个摄像头的轨迹之后，可以利用旋转矩阵和平移矩阵相对于向前摄像头解出每个摄像头的位姿。旋转矩阵涉及摄像头的旋转运动，并且基于固定摄像头在三维坐标系中的中心点。摄像头在保持其摄像头中心点的同时将在自由空间中旋转。
平移矩阵涉及平移运动，其与旋转相对地改变对象的位置。确定各个摄像头的旋转矩阵和平移矩阵，用于将图像网格与向前图像网格对准。向前摄像头将是相应位姿[I,
0]；向左摄像头将具有相应位姿[Rl,
tl]；向右摄像头将具有相应位姿[Rg, tg]；并且向后摄像头将具有相应位姿[Rr, tr]。相对于向前摄像头估算非向前摄像头的相对外参数。修改摄像头外参数，用于将非向前摄像头相对于向前摄像头对准，如图4所示。
图5为图示随着时间的经过每个摄像头位姿的时间积分的方法的流程图。在方框50中，提供了图形显示，例如地面上的棋盘图形。棋盘地板具有带有已知位置的多个地标，其包括但不限于角部边界和有色方块。
在方框51中，车辆横穿图形显示，其中每个相应摄像头在不同的时间阶段捕捉图形显示的图像。优选地使用鱼眼式摄像头。而且，车辆可以驾驶经过图形显示，或者车辆可以处于使车辆横穿图形显示的装置上。
在方框52中，将如由图形显示的各个摄像头捕捉的多个帧拼接在一起。这对每个相应摄像头执行。为了估算每个相应摄像头的初始位姿，而使用下面的子程序。在时间T=0，M表示由相应摄像头观察的网格。在时间T=1，S表示由同一相应摄像头观察的网格。目的在于找到在t=0时相应摄像头的位姿，并且然后将网格S和M拼接在一起以生成增强的网格M’。
在t=0，利用在下面的公开文献中描述的技术，来确定给定M的摄像头位姿(R0, t0)：1999年希腊Kerkyra 9月20－27日ICCV的Zhengyou
Zhang的“Flexible Camera Calibration by Viewing a
Plane from Unknown Orientations”以及1997年波多黎各圣胡安的1997年6月17－19日CVPR97的Janne Heikkila 和 Olli Silven的A Four-step
Camera Calibration Procedure with Implicit Image Correction。
如果车辆速度和横摆率可以从车辆传感器获得，则通过使用来自车辆速度和横摆率的读数，如由下面矩阵表示的那样确定位姿变化量(∆R1, ∆t1)：
,
将这视为运动模型。
给定S和M之间的匹配，在t=0 的当前位姿和t=1的位姿之间，估算用于在时间t=1的所观察网格的摄像头位姿(R1,
t1)。将这视为测量模型。
使用扩展卡尔曼滤波器来精炼在时间t=1的摄像头位姿(R’1, t’1)。
将网格S拼接回到网格M，，从而当两种位姿变成已知时，产生增强网格M’。参考地面坐标框架O-XYZ更新该增强网格M’。这样对该相应摄像头提供初始摄像头位姿。结果，如图6所示，相对于网格地图，对于相应摄像头和摄像头轨迹确定拼接的网格地图。
对于t=2,…, T执行与t=1相似的程序。
作为替代方法，如果车辆速度和横摆率不可获得，则对于t=1,…, T的摄像头位姿(R1, t1)通过将给定M和所观察的当前网格St匹配来确定。
将对于t=1,…, T的所观察网格St投影回到并且拼接到M用于增强的M’。
在方框53中，估算每个相应摄像头相对于参考摄像头（例如向前摄像头）的相对外在特性。
在方框54中，利用地标例如主线（例如，区分可识别边缘）和有色方块，分别找到每个摄像头的特征点之间的对应性。也就是，除了阴影方块、主线和特征点（例如交叉线）之外，识别来自不同摄像头的相应图像之间的对应角部。
在方框55中，给定角部、边缘、方块和特征点的对应性，将由相应摄像头捕捉的图像的网格地图对准。确定每个摄像头轨迹。
在方框56中，基于对准，确定相对于参考摄像头（例如向前摄像头）的每个摄像头位姿。摄像头位姿由其旋转和平移矩阵限定。
对于时间t=1,…,T, 使作为前摄像头轨迹，作为左摄像头轨迹，作为右摄像头轨迹，并且作为后摄像头轨迹。将如下计算相对于向前摄像头的估算位姿：
向左摄像头相对位姿[Rl,
tl]：
,
右摄像头相对位姿[Rg,
tg]：
,
后摄像头相对位姿[Rr,
tr]：
,
推导得到的、和不是旋转矩阵。需要下面的归一化处理来找到最接近旋转矩阵。给定非旋转矩阵，期望找到旋转矩阵R，以便将Frobenius矩阵范数最小化：
。
上述优化的解是，其中和是的左奇异向量和右奇异向量，即，并且 是奇异值的对角矩阵。
在方框57中，响应于确定，校准每个摄像头的位姿，以便参考前摄像头应用对应性。
虽然已经详细地描述了本发明的某些实施例，但是熟悉本发明所涉及领域的技术人员将认识到用于实践本发明的各种替代设计和实施例，本发明由所附权利要求限定。
Claims (10)
1. 一种校准车辆的多个图像捕捉设备的方法，所述方法包括以下步骤：
提供具有不同位姿的多个图像捕捉设备，将所述多个图像捕捉设备中的至少一个识别为参考设备；
利用所述多个图像捕捉设备捕捉所述车辆外部的图形显示的图像，所述图形显示包括已知位置的多个地标，每个图像捕捉设备捕捉所述图形显示的至少一部分；
使所述车辆横穿所述图形显示，以在各个时间阶段由所述多个图像捕捉设备捕捉图像；
利用处理器在由所述多个图像捕捉设备和所述参考设备捕捉的每个图像之间识别所述图形显示的公共地标；
使用所识别的公共地标拼接由所述多个图像捕捉设备中的每个捕捉的图形显示的图像；以及
基于所拼接的图像相对于所述参考设备调节每个图像捕捉设备的外参数，用于校准所述多个图像捕捉设备。
2. 如权利要求1所述的方法，其中调节所述外参数包括调节所述图像捕捉设备的旋转。
3. 如权利要求1所述的方法，其中使所述车辆横穿所述图形显示包括使所述车辆横穿棋盘图形，所述棋盘图形代表网格。
4. 如权利要求1所述的方法，其中识别所述图形显示的公共地标包括在由所述多个图像捕捉设备和所述参考设备捕捉的图像之间识别所述图形显示内的对应性。
5. 如权利要求4所述的方法，其中识别所述图形显示内的对应性包括识别所述图形显示的外边界的角部。
6. 如权利要求4所述的方法，其中识别所述图形显示内的对应性包括识别在所捕捉的图像的每个之间将所述图形显示内的图形区分开的公共边缘。
7. 如权利要求4所述的方法，其中识别所述图形显示内的对应性包括识别所述图形显示内的由公共交叉边缘产生的公共点。
8. 如权利要求1所述的方法，其中拼接所述图形显示的图像包括将由所述多个图像捕捉设备和所述参考设备捕捉的图像中的每个之间的网格的对应公共地标对准。
9. 如权利要求8所述的方法，其中将来自所述多个图像捕捉设备的每个捕捉图像重新定向，以将由所述参考设备捕捉的图像的对应公共地标对准。
10. 如权利要求9所述的方法，其中基于用于将所述对应公共地标对准的所述图像的重新定向，来确定每个图像捕捉设备的轨迹。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/283508 | 2014-05-21 | ||
| US14/283,508 US9661319B2 (en) | 2014-05-21 | 2014-05-21 | Method and apparatus for automatic calibration in surrounding view systems |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105100600A true CN105100600A (zh) | 2015-11-25 |
| CN105100600B CN105100600B (zh) | 2018-05-08 |
Family
ID=54431915
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510261725.0A Active CN105100600B (zh) | 2014-05-21 | 2015-05-21 | 用于全景可视系统中的自动校准的方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9661319B2 (zh) |
| CN (1) | CN105100600B (zh) |
| DE (1) | DE102015107390B4 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108445456A (zh) * | 2017-02-16 | 2018-08-24 | 通用汽车环球科技运作有限责任公司 | 光达-雷达相对位姿的校准 |
| CN109478318A (zh) * | 2016-09-08 | 2019-03-15 | 三星电子株式会社 | 三百六十度视频拼接 |
| WO2020248209A1 (en) * | 2019-06-14 | 2020-12-17 | Bayerische Motoren Werke Aktiengesellschaft | 3d odometry in 6d space with roadmodel 2d manifold |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101510336B1 (ko) * | 2013-11-14 | 2015-04-07 | 현대자동차 주식회사 | 차량용 운전자 지원 시스템의 검사 장치 |
| KR101510338B1 (ko) * | 2013-11-22 | 2015-04-07 | 현대자동차 주식회사 | 차량용 차선 이탈 경보 시스템의 검사 장치 |
| US9681118B2 (en) * | 2015-10-01 | 2017-06-13 | Infinity Augmented Reality Israel Ltd. | Method and system for recalibrating sensing devices without familiar targets |
| FR3056171B1 (fr) | 2016-09-20 | 2020-05-08 | Renault S.A.S | Methode d'installation d'un referentiel geometrique sur un sol pour la calibration de composants electriques ou electroniques d'un vehicule automobile et un equipement adapte. |
| FR3056172B1 (fr) * | 2016-09-20 | 2020-06-26 | Renault S.A.S | Methode d'installation de zones de reperage sur un sol pour la calibration de cameras d'un vehicule automobile et un equipement adapte. |
| DE102017203426A1 (de) * | 2017-03-02 | 2018-09-06 | Robert Bosch Gmbh | Kalibrierboden, Messvorrichtung und Verfahren zur Kalibrierung von Fahrerassistenzsystemen |
| DE102017109445A1 (de) * | 2017-05-03 | 2018-11-08 | Connaught Electronics Ltd. | Kalibration einer Fahrzeug-Kameraeinrichtung in Fahrzeuglängsrichtung oder Fahrzeugquerrichtung |
| WO2019048743A1 (fr) * | 2017-09-11 | 2019-03-14 | Renault S.A.S. | Méthode d'installation de zones de repérage sur un sol pour la calibration de caméras d'un véhicule automobile et un équipement adapte |
| KR102470298B1 (ko) * | 2017-12-01 | 2022-11-25 | 엘지이노텍 주식회사 | 카메라 보정 방법 및 장치 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090058987A1 (en) * | 2007-09-04 | 2009-03-05 | Jeffrey Thielman | Video camera calibration system and method |
| US20100315424A1 (en) * | 2009-06-15 | 2010-12-16 | Tao Cai | Computer graphic generation and display method and system |
| US20120214590A1 (en) * | 2010-11-24 | 2012-08-23 | Benjamin Zeis Newhouse | System and method for acquiring virtual and augmented reality scenes by a user |
| US20120287232A1 (en) * | 2011-05-10 | 2012-11-15 | Harman Becker Automotive Systems Gmbh | Surround View System Camera Automatic Calibration |
| CN102891960A (zh) * | 2011-07-19 | 2013-01-23 | 安讯士有限公司 | 用于确定图像调整参数的方法和相机 |
| CN102930544A (zh) * | 2012-11-05 | 2013-02-13 | 北京理工大学 | 一种车载摄像机的参数标定系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8917317B1 (en) * | 2010-01-18 | 2014-12-23 | Disney Enterprises, Inc. | System and method for camera calibration |
| TW201226237A (en) * | 2010-12-16 | 2012-07-01 | Weltrend Semiconductor Inc | Calibration circuit for automatically calibrating a view image around a car and method thereof |
-
2014
- 2014-05-21 US US14/283,508 patent/US9661319B2/en active Active
-
2015
- 2015-05-12 DE DE102015107390.0A patent/DE102015107390B4/de active Active
- 2015-05-21 CN CN201510261725.0A patent/CN105100600B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090058987A1 (en) * | 2007-09-04 | 2009-03-05 | Jeffrey Thielman | Video camera calibration system and method |
| US20100315424A1 (en) * | 2009-06-15 | 2010-12-16 | Tao Cai | Computer graphic generation and display method and system |
| US20120214590A1 (en) * | 2010-11-24 | 2012-08-23 | Benjamin Zeis Newhouse | System and method for acquiring virtual and augmented reality scenes by a user |
| US20120287232A1 (en) * | 2011-05-10 | 2012-11-15 | Harman Becker Automotive Systems Gmbh | Surround View System Camera Automatic Calibration |
| CN102891960A (zh) * | 2011-07-19 | 2013-01-23 | 安讯士有限公司 | 用于确定图像调整参数的方法和相机 |
| CN102930544A (zh) * | 2012-11-05 | 2013-02-13 | 北京理工大学 | 一种车载摄像机的参数标定系统 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109478318A (zh) * | 2016-09-08 | 2019-03-15 | 三星电子株式会社 | 三百六十度视频拼接 |
| CN109478318B (zh) * | 2016-09-08 | 2022-05-24 | 三星电子株式会社 | 三百六十度视频拼接 |
| CN108445456A (zh) * | 2017-02-16 | 2018-08-24 | 通用汽车环球科技运作有限责任公司 | 光达-雷达相对位姿的校准 |
| CN108445456B (zh) * | 2017-02-16 | 2022-06-21 | 通用汽车环球科技运作有限责任公司 | 光达-雷达相对位姿的校准 |
| WO2020248209A1 (en) * | 2019-06-14 | 2020-12-17 | Bayerische Motoren Werke Aktiengesellschaft | 3d odometry in 6d space with roadmodel 2d manifold |
| CN114127658A (zh) * | 2019-06-14 | 2022-03-01 | 宝马股份公司 | 使用道路模型2d流形的6d空间中的3d里程 |
| CN114127658B (zh) * | 2019-06-14 | 2023-05-23 | 宝马股份公司 | 使用道路模型2d流形的6d空间中的3d里程 |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102015107390B4 (de) | 2022-04-21 |
| CN105100600B (zh) | 2018-05-08 |
| US20150341628A1 (en) | 2015-11-26 |
| US9661319B2 (en) | 2017-05-23 |
| DE102015107390A1 (de) | 2015-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105100600B (zh) | 用于全景可视系统中的自动校准的方法 | |
| US10750150B2 (en) | Methods for automatic registration of 3D image data | |
| US9916689B2 (en) | Apparatus and method for estimating camera pose | |
| JP6100380B2 (ja) | 特に装置に係る視覚ベースの位置決めに使用される画像処理方法 | |
| EP3100234B1 (en) | Data-processing system and method for calibration of a vehicle surround view system | |
| JP5580164B2 (ja) | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム | |
| CN103718213B (zh) | 自动场景校准 | |
| CN106873619B (zh) | 一种无人机飞行路径的处理方法 | |
| US20140152660A1 (en) | Method for creating 3-d models by stitching multiple partial 3-d models | |
| WO2016009811A1 (en) | Method for calibrating one or more cameras | |
| JP6506032B2 (ja) | 測量データ処理装置、測量データ処理方法およびプログラム | |
| KR101705558B1 (ko) | Avm 시스템의 공차 보정 장치 및 방법 | |
| JP2016138826A5 (zh) | ||
| JP2017142613A (ja) | 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム | |
| CN111210386A (zh) | 图像拍摄拼接方法及系统 | |
| CN115529452A (zh) | 用于传感器校准的方法和设备 | |
| JP6410231B2 (ja) | 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム | |
| JP6262610B2 (ja) | 情報登録装置及び情報継続登録装置並びに方法及びプログラム | |
| KR20140077315A (ko) | 3차원 모델뷰 기반의 멀티카메라 모니터링 시스템 및 방법 | |
| JP6886136B2 (ja) | 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム | |
| JP2009077022A (ja) | 運転支援システム及び車両 | |
| JP5964093B2 (ja) | 車両サイズ測定装置、車両サイズ測定方法、およびプログラム | |
| KR101574020B1 (ko) | 스테레오 카메라의 좌우 영상 정합 방법 및 장치 | |
| JP2019164837A (ja) | 情報処理システム、情報処理方法及び情報処理プログラム | |
| Penne et al. | Planar segmentation by time-of-flight cameras |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |