CN103778649A - 用于相机建模和虚拟视图合成的成像表面建模 - Google Patents

用于相机建模和虚拟视图合成的成像表面建模 Download PDF

Info

Publication number
CN103778649A
CN103778649A CN201310471723.5A CN201310471723A CN103778649A CN 103778649 A CN103778649 A CN 103778649A CN 201310471723 A CN201310471723 A CN 201310471723A CN 103778649 A CN103778649 A CN 103778649A
Authority
CN
China
Prior art keywords
virtual
image
camera
actual
camera model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310471723.5A
Other languages
English (en)
Other versions
CN103778649B (zh
Inventor
W.张
J.王
B.B.利特库希
K.S.利贝克
R.M.弗拉克斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN103778649A publication Critical patent/CN103778649A/zh
Application granted granted Critical
Publication of CN103778649B publication Critical patent/CN103778649B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及用于相机建模和虚拟视图合成的成像表面建模。一种用于在显示装置上显示捕获的图像的方法。实际图像由基于视觉的成像装置捕获。虚拟图像基于由处理器的映射从捕获的实际图像产生。映射使用具有非平面成像表面的虚拟相机模型。将形成在虚拟相机模型的非平面成像表面上的虚拟图像投影在显示装置上。

Description

用于相机建模和虚拟视图合成的成像表面建模
相关申请的交叉引用
本申请要求了2012年10月11日提交的、序号为61/712,433的美国临时申请的优先权，其内容在此结合作为参考。
技术领域
实施例总体上涉及用于车辆内视觉系统的图像捕获和处理。
背景技术
车辆系统通常使用用于后视景像检测、侧视景像检测、以及前视景像检测的车辆内视觉系统。对于那些需要图解道路覆盖层或强调捕获图像的区域的应用，关键的是精确地校准相机相对于车辆与周围目标的定位与定向。采用来自装置的捕获的输入图像并且重新建模图像以示出或增强捕获图像的各个区域的相机建模必须在对图像不畸变至对观看重显图像的人而言变得不可使用或不准确的情况下对图像内的全部对像再次定位的模型。
车辆上当前的后方备份相机典型地是宽FOV相机，例如135°FOV。宽FOV相机典型地提供引起围绕图像边缘的图像畸变的弧形图像。本领域中公知的各种方法以提供用于这些类型的相机的图像的畸变修正包括使用基于针孔相机的模型和通过限定径向参数对径向畸变做修正。
为了对周围的事物提供精确的描述，例如环境图像或超宽图像，可以使用超款视野的相机。这样的相机典型地被认为是鱼眼相机，因为它们的图像显著地成弧形。对于用于各种驾驶方案（例如备份应用）的图像是实际的，图像中的畸变必须修正并且图像的焦点（可利用的停车点）需要提高的那些部分必须展示从而畸变不会降低图像。传统的虚拟相机建模使用展现相机内的平面图像传感器的平面成像表面；然而，当投影到显示装置上时，这样的系统仅可以进行有限的畸变修正特征。这样的显示剩下未修正的或必须应用复杂的程序以除去畸变。
发明内容
在此描述的本发明的优点是虚拟图像可以利用相机视图合成一个或多个相机使用各种成像效应而合成。成像效应包括产生除实际相机捕获实际图像的外的不同相机姿态观看。例如，如果实际相机位于车辆直接垂直于地面看上方，具有其光轴从水平位置向下30度的备份相机可以建模并且合成，用于显示由上而下的视图。在此描述的技术使用用于对在虚拟相机模型中的捕获图像建模的非平面的成像表面，然而传统的虚拟相机建模方法使用捕获的平面的平面表面。
此外，可以使用各种任意形状用于增强捕获图像的区域。例如，通过使用椭圆成像表面，在没有切断或畸变图像的端部的情况下，图像的中心部分可以增强（缩放）。各种非平面成像表面可以动态地插入在虚拟相机模型内用于基于车辆的工作条件合成视图。示例是来自转向信号指示器的信号，其提供至处理器，其中使用增强车辆转向的区域或方向的非平面表面。
一种用于在显示装置上显示捕获的图像的方法。实际图像由基于视觉的成像装置捕获。基于由处理器的映射从捕获的实际图像产生虚拟图像。映射使用具有非平面成像表面的虚拟相机模型。将形成在虚拟相机模型的非平面成像表面上的虚拟图像投影在显示装置上。
本发明还提供了以下方案：
1. 一种用于显示在显示装置上的捕获的图像的方法，包括步骤：
由基于视觉的成像装置捕获实际图像；
基于由处理器的映射从捕获的实际图像产生虚拟图像，其中映射使用具有非平面成像表面的虚拟相机模型；
将形成在虚拟相机模型的非平面图像表面上的虚拟图像投影在显示装置上。
2. 根据方案1所述的方法，其中产生虚拟图像包括步骤：
由处理器提供预校准的实际相机模型，实际相机模型表示基于视觉的成像装置捕获景象；
基于预校准实际相机模型在捕获的图像中确定每个像素的实际入射线角度；
识别非平面成像表面的任意形状；
识别虚拟相机模型的姿态；
基于虚拟图像模型和非平面成像表面在虚拟图像中确定每个像素的虚拟入射线角度；
将虚拟入射线映射至实际图像捕获装置的相关的实际入射线，其中如果虚拟相机模型的姿态不同于实际图像捕获装置的姿态，转动补偿作用到虚拟入射线角度上，用于将虚拟入射线与实际入射线相关联；
作为实际入射线与虚拟入射线之间相关映射的函数，将对应于非平面虚拟成像表面上的坐标的虚拟图像中的像素映射到实际捕获图像上相关的像素上。
3. 根据方案2所述的方法，其中实际图像上的各个实际图像像素由坐标                                                
Figure 400799DEST_PATH_IMAGE001
和
Figure 317939DEST_PATH_IMAGE002
表示，用于识别实际入射线在哪里成像在实际图像表面，其中实际入射线由角度（
Figure 159993DEST_PATH_IMAGE003
，
Figure 555203DEST_PATH_IMAGE004
）表示，其中
Figure 369575DEST_PATH_IMAGE003
是实际入射线与实际图像捕获装置的光轴之间的角度，以及是实际图像捕获装置x轴与实际入射线在实际图像捕获装置x-y平面上的投影之间的角度。
4. 根据方案3所述的方法，其中实际入射线角度基于预定和校准的实际相机模型确定。
5. 根据方案4所述的方法，其中实际相机模型包括鱼眼相机模型，其中鱼眼相机模型表示用于在具有有效传感器尺寸的平面成像平面上产生超宽角度视野景象的、具有实质上的径向畸变的鱼眼镜头，其中来自实际图像捕获装置的实际图像传感器上的实际入射线与实际图像像素之间的关系表示如下：
Figure 521388DEST_PATH_IMAGE005
其中
Figure 720288DEST_PATH_IMAGE006
表示
Figure 389167DEST_PATH_IMAGE001
并且
Figure 444847DEST_PATH_IMAGE007
表示
Figure 199177DEST_PATH_IMAGE002
。
6. 根据方案5所述的方法，其中径向畸变修正作用到鱼眼相机模型上，其中径向畸变通过基于视觉的成像装置的透镜的畸变效应确定，其中径向畸变由畸变的径向距离相对于无畸变的变量的函数表示，其中畸变畸变径向距离使用具有畸变效应的透镜在实际图像捕获装置的图像传感器上从各自的图像像素至图像中心测量，其中未畸变的变量包括成像为畸变成像像素的事件主光线的入射线角度，其中具有视野大于135度的、用于基于视觉的成像装置的径向畸变由以下公式表示：
Figure 936188DEST_PATH_IMAGE008
其中
Figure 459574DEST_PATH_IMAGE009
是畸变参数。
7. 根据方案4所述的方法，其中当径向畸变存在时径向畸变修正作用到实际相机模型，其中径向畸变由畸变径向距离相对于无畸变变量的函数表示，其中无畸变变量包括基于针孔相机模型的图像像素的无畸变径向距离，并且其中用于具有视野小于135度的基于视觉的成像装置的径向畸变由以下公式表示：
其中点
Figure 193360DEST_PATH_IMAGE011
是无畸变的径向距离，其中
Figure 596047DEST_PATH_IMAGE011
使用针孔模型确定并且包括固有和外在参数，并且其中是径向畸变参数。
8. 根据方案4所述的方法，其中实际相机建模为具有非平面成像表面的针孔模型，其中针孔模型表示为没有径向畸变的透镜，并且其中实际相机镜头的径向畸变效果建模为非平面成像表面。
9. 根据方案2所述的方法，其中虚拟入射角
Figure 574685DEST_PATH_IMAGE013
的水平投影由角度
Figure 303606DEST_PATH_IMAGE014
表示，其中角度由以下公式表示：
Figure 942715DEST_PATH_IMAGE015
其中
Figure 714362DEST_PATH_IMAGE016
是虚拟图像点u-轴坐标，
Figure 665000DEST_PATH_IMAGE017
是虚拟相机的
Figure 609823DEST_PATH_IMAGE018
轴焦距，并且
Figure 962307DEST_PATH_IMAGE019
是图像中心u轴坐标。
10. 根据方案9所述的方法，其中虚拟入射角的垂直投影由角度
Figure 342789DEST_PATH_IMAGE020
表示，其中角度
Figure 825723DEST_PATH_IMAGE020
由以下公式表示：
Figure 298293DEST_PATH_IMAGE021
其中
Figure 411743DEST_PATH_IMAGE022
是虚拟图像点v轴-垂向坐标，是虚拟相机的v方向（垂直）焦距，以及
Figure 623598DEST_PATH_IMAGE024
是图像中心v轴坐标。
11. 根据方案10所述的方法，其中虚拟入射线角度由以下公式确定：
Figure 685095DEST_PATH_IMAGE025
。
12. 根据方案2所述的方法，其中如果虚拟相机模型的姿态不同于实际相机模型，则
Figure 969446DEST_PATH_IMAGE013
是虚拟入射线与由虚拟z轴表示的虚拟光轴之间的角度，并且
Figure 381973DEST_PATH_IMAGE026
是虚拟相机x轴与虚拟相机模型x-y平面上的虚拟入射线的投影之间的角度，其中虚拟入射线上的任意点由以下矩阵表示：
其中
Figure 653871DEST_PATH_IMAGE028
是离为虚拟相机模型的相机孔位置的原点的点的距离。
13. 根据方案12所述的方法，其中虚拟相机模型的姿态与实际相机模型的姿态之间的差别由转动矩阵表示。
14. 根据方案13所述的方法，其中为了虚拟相机模型与实际相机模型之间识别的姿态差别在相关的实际入射线与虚拟入射线上的相同点的坐标由以下矩阵表示：
Figure 905861DEST_PATH_IMAGE029
。
15. 根据方案14所述的方法，其中实际入射线角度（
Figure 805684DEST_PATH_IMAGE003
，）由以下公式确定：
Figure 673463DEST_PATH_IMAGE030
。
16. 根据方案2所述的方法，其中如果虚拟相机模型与实际相机模型的姿态相同，虚拟入射线角度（
Figure 111002DEST_PATH_IMAGE013
，
Figure 498121DEST_PATH_IMAGE026
）等于实际输入线角度（
Figure 867923DEST_PATH_IMAGE003
，
Figure 758518DEST_PATH_IMAGE004
）。
17. 根据方案1所述的方法，其中虚拟相机模型包括针孔相机模型。
18. 根据方案1所述的方法，其中非平面成像表面包括椭圆成像表面。
19. 根据方案1所述的方法，其中非平面成像表面包括圆柱成像表面。
20. 根据方案1所述的方法，其中非平面成像表面包括球面成像表面。
21. 根据方案1所述的方法，其中非平面成像表面是任意形状的，其满足从投影到非平面图像表面上的各自的图像像素至各自的入射线的对应的映射。
22. 根据方案21所述的方法，其中非平面图像表面基于对于各自的车辆操作的驾驶方案动态地切换到另一任意形状，其中所选的任意形状增强了投影到用于各自的车辆操作的显示装置上的虚拟图像。
23. 根据方案1所述的方法，其中基于视觉的成像装置是后方备用相机。
24. 根据方案1所述的方法，其中基于视觉的成像装置是侧视相机。
25. 根据方案1所述的方法，其中基于视觉的成像装置是前视相机。
26. 根据方案1所述的方法，其中产生虚拟相机模型包括限定虚拟相机姿态，其中在虚拟相机模型的姿态与基于视觉的成像装置的姿态之间的差异被建模为转动矩阵。
27. 根据方案26所述的方法，其中虚拟相机姿态与基于视觉的成像装置的姿态之间的差异通过转动成像表面建模，其中转动成像表面在虚拟相机模型与基于视觉的成像装置姿态之间保持相同的姿态。
28. 根据方案1所述的方法，其中产生虚拟图像包括步骤：
构造用于各自的相机模型的坐标系，其包括x-轴，y-轴，和z-轴，z-轴与向各自的相机模型外延伸的相机光轴对齐，x-轴和y-轴形成垂直于z-轴的平面，x-轴和z-轴在相机孔位置交叉；
限定相机姿态作为相机坐标的位置和相机z-轴的方向；
产生表示基于视觉的成像装置的实际相机模型，实际图像是由基于视觉的成像装置捕获的景象；
产生包括模拟相机模型参数，模拟成像表面，以及模拟相机姿态的虚拟相机模型；
使用虚拟相机模型识别景象的合成图像的虚拟图像；
选择非平面成像表面的形状；
选择虚拟相机模型的姿态；
基于虚拟相机模型使用非平面成像表面在虚拟图像中确定每个像素的虚拟入射线角度；
响应于虚拟入射线角度与实际入射线角度的比较，确定虚拟相机模型的姿态是否与实际相机模型的姿态相同；
响应于虚拟相机模型与实际相机模型的姿态的差别作用与虚拟入射角与实际入射角相关的转动矩阵，转动矩阵表示用于将虚拟相机姿态与实际相机姿态相关的转换；
通过作用具有角度畸变参数的实际相机模型确定对应的像素位置，其中具有角度畸变的实际相机模型表示基于视觉的成像装置捕获景象的成像处理，并且其中具有角度畸变的实际相机模型的参数由相机修正处理确定；
在各自的虚拟图像像素位置与各自的实际图像像素位置之间产生作为各自的虚拟图像像素坐标，虚拟入射线角度，实际入射线角度，以及实际图像像素坐标的函数的映射；以及
从实际图像合成景象的虚拟图像，其中实际图像的像素值使用作为用于虚拟图像中对应像素的像素值。
29. 根据方案28所述的方法，其中从实际图像合成景象的虚拟图像包括在实际图像的对应位置的相邻像素的像素值的内插，用于确定虚拟图像中对应的像素值。
30. 如方案1所述的方法，其中基于车辆操作的驾驶方案启动用于产生虚拟图像的动态视图合成，其中动态视图合成产生至图像区域的方向性缩放用于增强驾驶员对各个区域的视觉了解。
31. 如方案30所述的方法，其中用于启动动态视图合成的车辆操作的驾驶方案包括确定车辆是否在停车场驾驶。
32. 如方案30所述的方法，其中用于启动动态视图合成的车辆操作的驾驶方案包括确定车辆是否在高速公路驾驶。
33. 如方案30所述的方法，其中用于启动动态视图合成的车辆操作的驾驶方案包括致动转向灯。
34. 如方案30所述的方法，其中用于启动动态视图合成的车辆操作的驾驶方案是基于方向盘角度的。
35. 如方案30所述的方法，其中用于起动动态视图合成的车辆操作的驾驶方案是基于车辆的速度的。
附图说明
图1是包括基于视觉的环境图像成像系统的车辆的视图。
图2是用于针孔相机模型的视图。
图3是平面径向畸变虚拟模型的视图。
图4是用于平面径向畸变模型的输入/输出成像的视图。
图5是非平面针孔相机模型的视图。
图6是用于非平面模型的输入/输出成像的视图。
图7是使用圆柱图像表面建模的方块流程图。
图8是使用椭圆图像表面模型的方块流程图。
图9是使用具有方向性缩放的椭圆图像表面的流程图。
图10是使用具有方向性缩放的椭圆图像表面的流程图。
图11是用于从实际图像映射一个点至虚拟图像的视图合成的流程图。
图12是径向畸变修正模型的视图。
图13是严重径向畸变模型的视图。
图14是基于虚拟图像上的点用于确定虚拟入射线角度的用于作用视图合成的方框图。
图15是投影到各自的圆柱成像表面模型上的入射线的视图。
图16是基于虚拟入射线角度用于确定光线入射线角度的用于作用虚拟平移/倾斜的方框图。
图17是在虚拟入射线角度与真实入射线角度之间的平移/倾斜的转动表示。
图18是在椭圆与圆柱之间比较成像表面的视图。
具体实施方式
图1示出的是，车辆10沿道路行驶。基于视觉的成像系统12捕获道路的图像。基于视觉的成像系统12根据基于一个或多个基于视觉的捕获装置捕获围绕车辆的图像。在此描述的实施例中，基于视觉的成像系统将被描述为捕获车辆后方的图像；然而，也将理解为基于视觉的成像系统12可以延伸至捕获车辆前方的图像和车辆侧面的图像。
基于视觉的成像系统12包括前视相机14，后视相机16，左视相机18，和右视相机（未示出）。相机14-18可以是适于在此描述的目的的任意相机，它们中的许多在汽车领域中是公知的，其能够接收光，或其它辐射，并且使用例如电荷耦合器件（CCD）以像素格式将光能转换为电信号。相机14-18以某些数据帧频产生可以存储用于后续处理的图像数据的帧。相机14-18可以安装在车辆10的一部分的内部或在车辆10的一部分的任意适当结构上，例如，如本领域技术人员将会理解和认识的，保险杠，面板，格栅，侧视镜，门板等。在一个非限制的实施例中，侧面相机18安装在侧视镜下方并且朝向下。来自相机14-18的图像数据被发送到处理器22，其处理图像数据以产生可以显示在车辆显示器24上的图像。
在其它实施例中，基于视觉的成像系统12可用来识别用于系统的在道路中的清晰路径或道路标志，但并不限于，备份目标检测，车道偏离警报系统，或车道对中。尽管基于视觉的成像系统12可以用于各种功能，例如利用捕获的图像识别包括但不限于的路标，道路标志，道路符号，建筑，树，人，或其它道路目标的道路标志从而在影像中的图像帧之间的路标的运动可以被检测，在此描述的实施例主要的目标是用于为驾驶员显示车辆周围环境的视频成像（例如，备份）。
本发明提出了一种用于超宽FOV相机的有效率的和有效的图像建模和去变形处理，其使用简单的两步步骤并且在没有使用径向畸变修正的情况下提供了快速处理时间和增强的图像质量。畸变是与直线投影偏离，其中在景像中的直线在图像中保持直线。径向畸变是透镜成直线的误差。
如上所述的两步步骤包括（1）为了在非平面表面上投影捕获的图像作用相机模型至捕获的图像和（2）为了将投影到非平面表面上的虚拟图像映射到实际显示图像上作用视图合成。为了视图合成，给出来自具有具体相机设置和方位的具体点的具体物的一个或多个图像，目标是建造作为来自具有相同或不同光轴的虚拟相机的合成图像。术语“虚拟相机”是除模拟相机姿态外，具有模拟相机模型参数和模拟成像表面的模拟相机。相机建模由处理器或多个处理机执行。术语“虚拟图像”是使用虚拟相机建模的景像的合成图像。
除用于超宽FOV相机的动态视图合成外，提出的方法提供了有效的环境视图和具有提高的去变形操作的动态后视镜功能。在此使用的相机校准是指估计包括固有和外在参数的多个相机参数。固有参数包括焦距，光心，径向畸变参数等并且外在参数包括相机位置，相机方向等。
相机模型在本领域公知为用于将自然空间中的目标映射到相机的图像传感器平面以产生图像。本领域公知的一个模型被认为是对窄FOV相机的图像建模有效的针孔相机模型。针孔相机模型被限定为：
Figure 617890DEST_PATH_IMAGE031
（1）
图2是用于针孔相机模型的视图30并且示出了由坐标，
Figure 400218DEST_PATH_IMAGE032
限定的二维相机图像平面32，和由全局坐标
Figure 410899DEST_PATH_IMAGE033
，
Figure 441172DEST_PATH_IMAGE034
，
Figure 537304DEST_PATH_IMAGE035
限定的三维物体空间34。用于相机模型的坐标系被限定为与从相机朝向外的相机光轴对齐的
Figure 248908DEST_PATH_IMAGE036
轴，并且
Figure 114096DEST_PATH_IMAGE033
轴和
Figure 315270DEST_PATH_IMAGE034
轴行程垂直于光轴（
Figure 898698DEST_PATH_IMAGE036
轴）的平面并且在相机取景框位置与光轴交叉。从焦点C至图像平面32的距离是相机的焦距
Figure 210731DEST_PATH_IMAGE037
并且由焦距
Figure 196005DEST_PATH_IMAGE017
和
Figure 505763DEST_PATH_IMAGE038
限定。从点C至图像平面32的原理点的垂直线限定了由
Figure 576487DEST_PATH_IMAGE019
，
Figure 692211DEST_PATH_IMAGE024
限定的平面32的图像中心。在视图30中，物体空间34中的物体点
Figure 531991DEST_PATH_IMAGE039
在点
Figure 12651DEST_PATH_IMAGE040
映射到图像平面32中，其中图像点
Figure 367409DEST_PATH_IMAGE040
坐标是
Figure 224506DEST_PATH_IMAGE041
，
Figure 918793DEST_PATH_IMAGE042
。
等式（1）包括采用以提供在物体空间34中的点
Figure 632671DEST_PATH_IMAGE039
至图像平面32中的点
Figure 677987DEST_PATH_IMAGE040
的映射的参数。尤其地，固有参数包括
Figure 73197DEST_PATH_IMAGE017
，，
Figure 775278DEST_PATH_IMAGE041
，和
Figure 241211DEST_PATH_IMAGE043
以及外在参数包括用于相机转动的3乘3的矩阵
Figure 644511DEST_PATH_IMAGE044
和从图像平面32至物体空间34的3乘1的转换矢量t。参数
Figure 965771DEST_PATH_IMAGE043
表示两个图像轴的偏斜，其典型地可以忽略，并且经常设置为零。
由于针孔相机模型遵循直线投影，其中有限尺寸的平面图像表面仅可以覆盖有限的FOV范围（<<180°FOV），以使用平面图像表面产生用于超宽（~180°FOV）鱼眼相机的圆柱形的全景，必须使用具体的相机模型以考虑横向径向畸变。一些其它的视图可能需要其它具体的相机建模，（并且一些具体视图可能不能产生）。然而，通过将图像平面改变为非平面的图像表面，仍然通过使用简单的光线跟踪和针孔相机模型可以很容易地产生具体的视图。因此，以下的描述将描述使用非平面图像表面的优点。
车辆内显示设备24（图1所示）输出由基于视觉的成像系统12捕获的图像。图像可能改变可能转换的图像以示出提高的捕获图像的FOV的各个部分的视图。例如，可能改变图像用于产生全景景像，或可能产生在车辆转向方向上增强图像的区域的图像。在此描述的提出的方法在没有径向畸变修正的情况下用较简单的相机模型对具有凹面成像表面的宽FOV相机进行建模。该方法使用具有新的相机成像表面模型（例如，基于光-光线的建模）的虚拟视图合成技术。该技术具有后视相机应用的各种应用，其包括动态方针，360度环视相机系统，以及动态后视镜特征。该技术通过具有各种相机成像表面的简单相机针孔模型对各种相机成像效果进行模拟。应当理解，除相机针孔模型外，可以使用其它模型，包括传统的模型。
图3示出了现有技术的方法。使用相机建模和视图合成的现有技术方法在具有径向畸变修正的建模中假定了平面的成像平面。图3中，景像38由基于视觉的成像系统捕获。虚拟相机模型40用于产生由虚拟相机42看到的虚拟图像。捕获景像38建模到具有径向畸变的平面图像表面44上。径向畸变修正技术应用到建模到平面表面上的图像上以修正畸变，以求使得图像看起来像通过针孔照相机捕获的一样。
图4示出了应用到投影到平面表面上的图像上的视觉合成。如图4所示，加亮区域46是焦点的区域，其中平面图像视图合成使用针孔相机模型应用到捕获的图像上。在视觉合成被应用以执行平面去变形时，产生了图像的畸变图片。如去变形图像48中所示，图像的端部仍然是弯曲的。尽管在图像中可利用的停车空间是在中心的，但当驾驶员努力将车辆停放在可利用的停车空间时，由于侧面的畸变可能对驾驶员造成困恼，变形的端部对驾驶员观察图像没有帮助。
图5示出了使用非平面图像表面对捕获的景像38建模的优选技术。使用针孔模型，捕获的景像38投影到非平面的图像49上（例如，凹面）。由于图像正显示在非平面表面上，没有径向畸变修正作用到投影的图像上。
为了减少对图像的偏差，视图合成技术被应用到非平面表面上的投影图像上。在图5中，使用凹面图像表面完成了图像去变形。这样的表面可能包括，但不限制于，圆柱和椭圆图像表面。即，捕获的景像使用针孔模型投影到圆柱状表面上。此后，投影到圆柱图像表面上的图像展示到平面车内图像显示装置上。如图6的去变形图像50中所示，为了帮助驾驶员集中在打算移动的区域中，为了更好地观察，增强了车辆正努力停放的停车空间。
图7示出了用于作用圆柱图像表面建模至捕获的景像的方框流程图。在方框46中示出了捕获的景像。相机建模52被应用到捕获的景像46上。如较早描述的，相机模型优选地是针孔相机模型，然而，可以使用传统的或其它相机建模。捕获的图像使用针孔相机模型投影到各自的表面上。各自的图像表面是圆柱图像表面54。通过将投影到圆柱表面上的图像的光线映射到平面上以产生去变形的图像而执行视图合成42。结果是增强了可利用的停车空间的视图，其中停车空间对中在去变形图像51的最前部。
图8示出了使用针孔模型用于使用椭圆图像表面模型至捕获的景像上的流程图。椭圆图像模型56作用了更大的分辨率至捕获的景像46的中心。因此，如去变形图像57中所示，与图7相比使用了椭圆模型，在去变形图像的中心最前部处的物体被进一步增强。
图9和10示出了使用针孔模型用于应用具有方向性缩放的椭圆图像表面至捕获的景像的流程图。图9中，方向性缩放平移到捕获的图像的左侧。如图9的去变形图像58中所示，由于图像的左侧上和去变形图像的最前部处的物体被增强，较大的分辨率被作用至图像的左侧。
图10中，方向性缩放平移到捕获的图像的右侧。如图10的去变形图像59中所示，由于右侧上和去变形图像的最前部处的物体被增强，较大的分辨率被作用至图像的右侧。
动态视图合成是一种技术，通过其启动了基于车辆操作的驾驶方案的具体的视图合成。例如，如果车辆在停车场对比高速公路的驾驶中，可能触发具体的合成建模技术，或可能通过感测车辆的各个区域的目标的接近传感器触发，或通过车辆信号触发（例如，转向灯，方向盘角度，或车辆速度）。具体的合成建模技术可以应用各个的形状的图像表面和虚拟相机建模至捕获的图像，或取决于触发器操作作用虚拟平移，倾斜，或方向性缩放。因此，基于不同的驾驶需求或驾驶条件，虚拟成像表面可切换。例如，尽管沿道路驾驶，可使用椭圆的图像表面以放大中心视图以模仿从后视镜看到的视野和目标尺寸。在另一方案中，尽管通过车辆，或离开进入交叉车流，圆柱成像表面或针脚平面成像表面可以用来看到驾驶车辆侧面的障碍。在仍然另一方案中，尽管执行备份策略至停车空间，上下景像或缝合侧视景像可以应用以对车辆进入停车空间进行导向并且提供接近的相邻车辆，行人，或路缘的景像。任何任意形状可以用于成像表面，只要形状满足对应的映射约束（1对1）。
图11示出了用于从实际图像映射虚拟图像的视图合成的流程图。在方框61中，捕获图像上的实际点由坐标
Figure 720100DEST_PATH_IMAGE001
和
Figure 457112DEST_PATH_IMAGE002
识别，并且其识别哪里入射线接触成像表面。入射线可以由角度（
Figure 980497DEST_PATH_IMAGE045
，
Figure 472659DEST_PATH_IMAGE046
）表示，其中，
Figure 448705DEST_PATH_IMAGE045
是入射线与光轴之间的角度，并且
Figure 989408DEST_PATH_IMAGE046
是x轴与入射线在
Figure 695195DEST_PATH_IMAGE047
平面上的投影之间的角度。为了确定入射线角度，实际的相机模型是预先确定并且校准的。实际相机是基于视线的成像装置的模型并且实际图像是由基于视线的成像装置捕获的景像的图像。
在方框62中，限定了实际相机模型，例如鱼眼模型（
Figure 30362DEST_PATH_IMAGE048
）并且限定了成像表面。即，由实际鱼眼相机视图看到的入射线可以由以下示出：
其中
Figure 838098DEST_PATH_IMAGE006
表示
Figure 398392DEST_PATH_IMAGE001
并且
Figure 904460DEST_PATH_IMAGE007
表示。径向畸变修正模型在图12中示出。由以下的等式（3）表示的径向畸变模型，有时被认为是Brown- Conrady模型，其提供了对来自目标空间74的在图像平面72上成像的目标的非严重径向畸变的修正。相机的焦距
Figure 65500DEST_PATH_IMAGE037
是点76与透镜光轴与图像平面72交叉的图像中心之间的距离。在视图中，如果使用针孔相机模型，在线70与图像平面72交叉处的图像位置
Figure 417984DEST_PATH_IMAGE011
表示目标点
Figure 360532DEST_PATH_IMAGE039
的虚拟成像点
Figure 798467DEST_PATH_IMAGE050
。然而，由于相机图像具有径向畸变，实际成像点
Figure 281400DEST_PATH_IMAGE040
在位置
Figure 753970DEST_PATH_IMAGE051
，其是线78与图像平面72的交点。值
Figure 601840DEST_PATH_IMAGE011
和
Figure 527071DEST_PATH_IMAGE051
不是点，而是从图像中心
Figure 813696DEST_PATH_IMAGE019
，
Figure 140772DEST_PATH_IMAGE024
至图像点
Figure 425123DEST_PATH_IMAGE052
和
Figure 902896DEST_PATH_IMAGE040
的径向距离。
Figure 665316DEST_PATH_IMAGE053
使用以上讨论的针孔模型确定点并且包括提及的固有与外在参数。等式（3）的模型是在成像平面72中将点
Figure 302151DEST_PATH_IMAGE011
转换为的偶次多项式，其中
Figure 830401DEST_PATH_IMAGE012
是需要确定以提供修正的参数，并且其中参数
Figure 866490DEST_PATH_IMAGE012
的数目限定了修正的精确度。校准处理在实验室环境中对确定参数
Figure 554960DEST_PATH_IMAGE012
的具体的相机执行。因此，除用于针孔相机模型的固有和外在参数之外，用于等式（3）的模型包括附加参数
Figure 942079DEST_PATH_IMAGE012
以确定径向畸变。由等式（3）的模型提供的非严重的径向畸变修正典型地对宽FOV相机是有效的，例如135°FOV相机。然而，对于超宽FOV相机，即，180°FOV，径向畸变对于等式（3）的模型而言太严重了以至于不能生效。换句话说，当相机的FOV超过一些值时，例如，140°至150°，当角度
Figure 46302DEST_PATH_IMAGE045
接近90°时，值
Figure 202476DEST_PATH_IMAGE011
变为无穷大。对于超宽FOV相机，在现有技术中提出了在等式（4）中示出的严重径向畸变修正模型以提供对严重径向畸变的修正。
图13图解了示出了圆顶以图解FOV的鱼眼模型。该圆顶表示鱼眼镜头相机模型并且由鱼眼模型可以获得的FOV达到180°或以上。鱼眼镜头是超宽角度镜头，其产生旨在产生宽的全景或半球图像的很强的视觉畸变。鱼眼镜头通过放弃产生具有透视的直线的图像（直线图像），选择替代具体映射（例如，相等立体角度）而获得及其宽的视图角度，其为图像给出了特性凸状非直线外观。该模型表示严重的径向畸变，其在以下的等式（4）中示出，其中等式（4）是奇数序多项式，并且包括用于提供在图像平面79中的点
Figure 61848DEST_PATH_IMAGE011
至点
Figure 670684DEST_PATH_IMAGE051
的径向修正技术。如上，图像平面由坐标
Figure 844176DEST_PATH_IMAGE018
和
Figure 854858DEST_PATH_IMAGE032
限定，并且目标空间由全局坐标
Figure 885131DEST_PATH_IMAGE054
限定。此外，
Figure 981263DEST_PATH_IMAGE045
是入射线入射线与光轴之间的入射角。在图解中，点
Figure 427287DEST_PATH_IMAGE055
是使用针孔相机模型的目标点
Figure 558054DEST_PATH_IMAGE039
的虚拟图像点，其中当
Figure 759229DEST_PATH_IMAGE045
接近90°时其径向距离可以变为无穷大。在径向距离
Figure 592372DEST_PATH_IMAGE056
的点
Figure 577646DEST_PATH_IMAGE009
是点
Figure 949721DEST_PATH_IMAGE039
的实际图像，其具有可以由等式（4）建模的径向畸变。
等式（4）中的值
Figure 20446DEST_PATH_IMAGE009
是确定的参数。因此，入射角
Figure 73852DEST_PATH_IMAGE045
用来在校准处理期间基于计算的参数提供畸变修正。
Figure 913632DEST_PATH_IMAGE057
在现有技术中公知多种技术以提供用于对等式（3）的模型的参数和等式（4）的模型的参数
Figure 749050DEST_PATH_IMAGE009
提供估计。例如，在一个实施例中，使用了棋盘式图案并且图案的多个图像采用不同的视角度，其中相邻正方形之间的图案中的每个拐角点被识别。棋盘式图案中的每一点被标记并且每个点的位置在图像平面与全局坐标中的目标空间两者中被识别。相机的校准是由将实际图像点与3D目标空间点的二次投影之间的误差距离最小化通过参数估计而获得。
在方框63中，实际入射线角度（
Figure 606148DEST_PATH_IMAGE003
）与（
Figure 300434DEST_PATH_IMAGE004
）由实际相机模型确定。对应的入射线将由（，
Figure 62558DEST_PATH_IMAGE004
）表示。
方框64表示转换处理（图16中描述的），其中存在平移和/或倾斜情况。
在方框65中，确定虚拟入射线角度
Figure 457768DEST_PATH_IMAGE013
和对应的
Figure 6561DEST_PATH_IMAGE026
。如果没有虚拟倾斜和/或平移，然后（，
Figure 423953DEST_PATH_IMAGE026
）将等于（
Figure 357274DEST_PATH_IMAGE003
，
Figure 26152DEST_PATH_IMAGE004
）。如果虚拟倾斜和/或平移存在，则必须做出调整以确定虚拟入射线。将在下文中详细讨论虚拟入射线。
在方框66中，一旦已知入射线角度，则通过使用各个相机模型（例如，针孔模型）和各个非平面成像表面（例如，圆柱成像表面）作用视图合成。
在方框67中，与非平面表面交叉的虚拟入射线在虚拟图像中确定。与虚拟非平面表面交叉的虚拟入射线的坐标在虚拟图像上示出为（
Figure 285095DEST_PATH_IMAGE016
，
Figure 836162DEST_PATH_IMAGE022
）。因此，虚拟图像（
Figure 838753DEST_PATH_IMAGE016
，
Figure 362139DEST_PATH_IMAGE022
）上的像素的映射对应于实际图像（
Figure 526404DEST_PATH_IMAGE001
，
Figure 768029DEST_PATH_IMAGE002
）上的像素。一旦相关像素位置确定，虚拟图像的景像可以通过使用实际图像的像素值和作用像素值至虚拟图像中对应的像素而合成。可替换地，虚拟图像的像素值可以通过内插在实际图像中对应位置的相邻像素的像素值并且作用实际图像的内插的像素值至虚拟图像中对应的像素而产生。
应当理解，景观上述流程图展现了通过获得实际图像中的像素并且发现与虚拟图像的相互关系的视图合成，但当在车辆中使用时可以以相反顺序执行。即，由于畸变和焦点仅在各个加亮区域上（例如，圆柱/椭圆形状），实际图像上的每个点可以不在虚拟图像中使用。因此，如果处理相对于没有使用的这些点进行，则在处理没有使用的像素中浪费了时间。因此，对于图像的车辆内处理，执行相反顺序。即，在虚拟图像中识别位置并且在实际图像中识别对应的点。以下描述了用于识别虚拟图像中的像素和确定实际图像中对应像素的细节。
图14图解了用于获得虚拟坐标（
Figure 371049DEST_PATH_IMAGE016
，
Figure 748941DEST_PATH_IMAGE022
）67的第一步和作用用于识别虚拟入射角（
Figure 349686DEST_PATH_IMAGE013
，
Figure 813029DEST_PATH_IMAGE026
）65的视图合成的第一步。图15展现了投影到各自的圆柱成像表面模型上的入射线。入射角
Figure 219739DEST_PATH_IMAGE045
的水平投影水平投影由角度表示。用于确定角度
Figure 223784DEST_PATH_IMAGE014
的公式遵循以下等距投影：
Figure 440002DEST_PATH_IMAGE058
其中
Figure 384824DEST_PATH_IMAGE016
是虚拟图像点u-轴（水平）坐标，是相机的u方向（水平）焦距，并且
Figure 414277DEST_PATH_IMAGE019
是图像中心u轴坐标。
接下来，角度的垂直投影由角度表示。用于确定角度
Figure 807715DEST_PATH_IMAGE020
的公式遵循以下直线投影：
其中
Figure 846396DEST_PATH_IMAGE022
是虚拟图像点v-轴（垂直）坐标，
Figure 70704DEST_PATH_IMAGE038
是相机的v方向（垂直）焦距，以及
Figure 460097DEST_PATH_IMAGE024
是图像中心v轴坐标。
入射线角度然后可以通过以下公式确定：
Figure 744447DEST_PATH_IMAGE060
如以上描述的，如果在虚拟相机与实际相机的光轴70之间没有平移或倾斜，则虚拟入射线（
Figure 891395DEST_PATH_IMAGE013
，
Figure 972922DEST_PATH_IMAGE026
）和实际入射线（
Figure 154504DEST_PATH_IMAGE003
，
Figure 609756DEST_PATH_IMAGE004
）相同。如果平移和/或倾斜存在，则必须对虚拟入射线和实际入射线的投影的相关性做出补偿。
图16图解了当虚拟倾斜和/或平移63存在时从虚拟入射线角度64至实际入射线角度64的转换的方框图。图17图解了由于虚拟平移和/或倾斜转动以及其它姿态（视角）变化从虚拟至实际的轴变化之间的比较。在此使用的术语姿态是指由相机坐标和相机z-轴方向限定的相机位置的相机观察角。入射线位置不变化，因此如所示的对应的虚拟入射线角度和实际入射线角度与平移和倾斜相关。入射线由角度（
Figure 509579DEST_PATH_IMAGE045
，
Figure 75690DEST_PATH_IMAGE046
）表示，其中，
Figure 174096DEST_PATH_IMAGE045
是入射线与光轴之间的角度（由z轴表示），并且
Figure 800249DEST_PATH_IMAGE046
是x轴与入射线在x-y平面上的投影之间的角度。
对于每个确定的虚拟入射线（
Figure 921789DEST_PATH_IMAGE013
，
Figure 291590DEST_PATH_IMAGE026
），入射线上的任意点可以由以下矩阵表示：
Figure 510082DEST_PATH_IMAGE061
其中是从原点的距离。
虚拟平移和/或倾斜可以由以下的旋转矩阵表示：
Figure 915973DEST_PATH_IMAGE062
其中
Figure 823886DEST_PATH_IMAGE014
是平移角度，并且
Figure 896884DEST_PATH_IMAGE020
是倾斜角度。应当理解，在此描述的转动矩阵仅是示例性转动矩阵中的一个，并且可以使用其它的转动矩阵并且除倾斜和/或平移之外包括其它姿态（视角）变化。例如，转动矩阵可以包括3自由度变化或可以包括整个位置变化。
在识别虚拟平移和/或倾斜转动后，在相同入射线（对于现实）上的相同点的坐标将是如下：
在转动的坐标系中新的入射线将是如下：
Figure 960972DEST_PATH_IMAGE064
因此，当倾斜和/或平移相对于虚拟相机模型存在时在（，
Figure 865660DEST_PATH_IMAGE026
）与（
Figure 4517DEST_PATH_IMAGE003
，
Figure 322366DEST_PATH_IMAGE004
）之间确定一致。应当理解，在（
Figure 837661DEST_PATH_IMAGE013
，
Figure 822935DEST_PATH_IMAGE026
）与（，
Figure 155DEST_PATH_IMAGE004
）之间的一直不与入射线上距离处的任何具体点相关。实际入射线角度仅与虚拟入射线角度（
Figure 893342DEST_PATH_IMAGE013
，
Figure 436319DEST_PATH_IMAGE026
）和虚拟平移和/或倾斜角
Figure 994339DEST_PATH_IMAGE014
和
Figure 585857DEST_PATH_IMAGE020
相关。
一旦知道实际入射线角度，如以上所讨论的在实际图像上各个光线的交点可以很容易地确定。结果是在虚拟图像上虚拟点映射至实际图像上对应的点。为了在实际图像上识别对应的点并且产生引起的图像，该处理对虚拟图像上的每个点执行。
图18示出了在椭圆与圆柱之间成像表面的比较。以下等式示出了对于圆形和椭圆的水平分量的入射角的确定。由入射线交叉的圆形形状图像上的点为如下：
Figure 545723DEST_PATH_IMAGE065
，
Figure 259601DEST_PATH_IMAGE066
是圆周半径，
Figure 39338DEST_PATH_IMAGE067
；（12）
Figure 434548DEST_PATH_IMAGE068
（13）
比较起来，由入射线交叉的椭圆形状图像上的点为如下：
Figure 248920DEST_PATH_IMAGE069
（14）
Figure 136629DEST_PATH_IMAGE070
（15）
在椭圆模式中的入射角（水平分量）为如下
Figure 602562DEST_PATH_IMAGE071
（16）
垂直分量
Figure 271441DEST_PATH_IMAGE072
的确定同样如下：
Figure 327122DEST_PATH_IMAGE073
（17）
Figure 81451DEST_PATH_IMAGE074
（18）
尽管已经详细描述了本发明的某些实施例，但本领域技术人员将会理解用于实践本发明的各种可替换设计和实施例由以下权利要求限定。

Claims (10)

1.一种用于显示在显示装置上的捕获的图像的方法，包括步骤：
由基于视觉的成像装置捕获实际图像；
基于由处理器的映射从捕获的实际图像产生虚拟图像，其中映射使用具有非平面成像表面的虚拟相机模型；
将形成在虚拟相机模型的非平面图像表面上的虚拟图像投影在显示装置上。
2.根据权利要求1所述的方法，其中产生虚拟图像包括步骤：
由处理器提供预校准的实际相机模型，实际相机模型表示基于视觉的成像装置捕获景象；
基于预校准实际相机模型在捕获的图像中确定每个像素的实际入射线角度；
识别非平面成像表面的任意形状；
识别虚拟相机模型的姿态；
基于虚拟图像模型和非平面成像表面在虚拟图像中确定每个像素的虚拟入射线角度；
将虚拟入射线映射至实际图像捕获装置的相关的实际入射线，其中如果虚拟相机模型的姿态不同于实际图像捕获装置的姿态，转动补偿作用到虚拟入射线角度上，用于将虚拟入射线与实际入射线相关联；
作为实际入射线与虚拟入射线之间相关映射的函数，将对应于非平面虚拟成像表面上的坐标的虚拟图像中的像素映射到实际捕获图像上相关的像素上。
3.根据权利要求2所述的方法，其中实际图像上的各个实际图像像素由坐标                                                
Figure 279125DEST_PATH_IMAGE001
和
Figure 196266DEST_PATH_IMAGE002
表示，用于识别实际入射线在哪里成像在实际图像表面，其中实际入射线由角度（
Figure 536855DEST_PATH_IMAGE003
，
Figure 932064DEST_PATH_IMAGE004
）表示，其中是实际入射线与实际图像捕获装置的光轴之间的角度，以及
Figure 693533DEST_PATH_IMAGE004
是实际图像捕获装置x轴与实际入射线在实际图像捕获装置x-y平面上的投影之间的角度。
4.根据权利要求3所述的方法，其中实际入射线角度基于预定和校准的实际相机模型确定。
5.根据权利要求4所述的方法，其中实际相机模型包括鱼眼相机模型，其中鱼眼相机模型表示用于在具有有效传感器尺寸的平面成像平面上产生超宽角度视野景象的、具有实质上的径向畸变的鱼眼镜头，其中来自实际图像捕获装置的实际图像传感器上的实际入射线与实际图像像素之间的关系表示如下：
Figure 960566DEST_PATH_IMAGE005
其中
Figure 221783DEST_PATH_IMAGE006
表示
Figure 890662DEST_PATH_IMAGE001
并且
Figure 447807DEST_PATH_IMAGE007
表示。
6.根据权利要求5所述的方法，其中径向畸变修正作用到鱼眼相机模型上，其中径向畸变通过基于视觉的成像装置的透镜的畸变效应确定，其中径向畸变由畸变的径向距离相对于无畸变的变量的函数表示，其中畸变畸变径向距离使用具有畸变效应的透镜在实际图像捕获装置的图像传感器上从各自的图像像素至图像中心测量，其中未畸变的变量包括成像为畸变成像像素的事件主光线的入射线角度，其中具有视野大于135度的、用于基于视觉的成像装置的径向畸变由以下公式表示：
Figure 1466DEST_PATH_IMAGE008
其中
Figure 524851DEST_PATH_IMAGE009
是畸变参数。
7.根据权利要求4所述的方法，其中当径向畸变存在时径向畸变修正作用到实际相机模型，其中径向畸变由畸变径向距离相对于无畸变变量的函数表示，其中无畸变变量包括基于针孔相机模型的图像像素的无畸变径向距离，并且其中用于具有视野小于135度的基于视觉的成像装置的径向畸变由以下公式表示：
Figure 954695DEST_PATH_IMAGE010
其中点
Figure 258637DEST_PATH_IMAGE011
是无畸变的径向距离，其中使用针孔模型确定并且包括固有和外在参数，并且其中是径向畸变参数。
8.根据权利要求4所述的方法，其中实际相机建模为具有非平面成像表面的针孔模型，其中针孔模型表示为没有径向畸变的透镜，并且其中实际相机镜头的径向畸变效果建模为非平面成像表面。
9.根据权利要求2所述的方法，其中如果虚拟相机模型的姿态不同于实际相机模型，则
Figure 574715DEST_PATH_IMAGE013
是虚拟入射线与由虚拟z轴表示的虚拟光轴之间的角度，并且
Figure 858630DEST_PATH_IMAGE014
是虚拟相机x轴与虚拟相机模型x-y平面上的虚拟入射线的投影之间的角度，其中虚拟入射线上的任意点由以下矩阵表示：
Figure 937444DEST_PATH_IMAGE015
其中
Figure 497738DEST_PATH_IMAGE016
是离为虚拟相机模型的相机孔位置的原点的点的距离。
10.根据权利要求1所述的方法，其中产生虚拟图像包括步骤：
构造用于各自的相机模型的坐标系，其包括x-轴，y-轴，和z-轴，z-轴与向各自的相机模型外延伸的相机光轴对齐，x-轴和y-轴形成垂直于z-轴的平面，x-轴和z-轴在相机孔位置交叉；
限定相机姿态作为相机坐标的位置和相机z-轴的方向；
产生表示基于视觉的成像装置的实际相机模型，实际图像是由基于视觉的成像装置捕获的景象；
产生包括模拟相机模型参数，模拟成像表面，以及模拟相机姿态的虚拟相机模型；
使用虚拟相机模型识别景象的合成图像的虚拟图像；
选择非平面成像表面的形状；
选择虚拟相机模型的姿态；
基于虚拟相机模型使用非平面成像表面在虚拟图像中确定每个像素的虚拟入射线角度；
响应于虚拟入射线角度与实际入射线角度的比较，确定虚拟相机模型的姿态是否与实际相机模型的姿态相同；
响应于虚拟相机模型与实际相机模型的姿态的差别作用与虚拟入射角与实际入射角相关的转动矩阵，转动矩阵表示用于将虚拟相机姿态与实际相机姿态相关的转换；
通过作用具有角度畸变参数的实际相机模型确定对应的像素位置，其中具有角度畸变的实际相机模型表示基于视觉的成像装置捕获景象的成像处理，并且其中具有角度畸变的实际相机模型的参数由相机修正处理确定；
在各自的虚拟图像像素位置与各自的实际图像像素位置之间产生作为各自的虚拟图像像素坐标，虚拟入射线角度，实际入射线角度，以及实际图像像素坐标的函数的映射；以及
从实际图像合成景象的虚拟图像，其中实际图像的像素值使用作为用于虚拟图像中对应像素的像素值。
CN201310471723.5A 2012-10-11 2013-10-11 用于相机建模和虚拟视图合成的成像表面建模 Active CN103778649B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201261712433P 2012-10-11 2012-10-11
US61/712433 2012-10-11
US61/712,433 2012-10-11
US13/836557 2013-03-15
US13/836,557 2013-03-15
US13/836,557 US9225942B2 (en) 2012-10-11 2013-03-15 Imaging surface modeling for camera modeling and virtual view synthesis

Publications (2)

Publication Number Publication Date
CN103778649A true CN103778649A (zh) 2014-05-07
CN103778649B CN103778649B (zh) 2018-08-31

Family

ID=50475001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310471723.5A Active CN103778649B (zh) 2012-10-11 2013-10-11 用于相机建模和虚拟视图合成的成像表面建模

Country Status (2)

Country Link
US (2) US9225942B2 (zh)
CN (1) CN103778649B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104240281A (zh) * 2014-08-28 2014-12-24 东华大学 一种基于Unity3D引擎的虚拟现实头戴式设备
CN107660336A (zh) * 2015-03-25 2018-02-02 威达斯高级驾驶辅助设备有限公司 对于从摄像机获得的图像，具备自动补正功能的图像处理装置及其方法
CN108701349A (zh) * 2016-01-12 2018-10-23 大陆汽车有限责任公司 显示车辆周围环境前视图的方法和装置及相应车辆
CN109963145A (zh) * 2017-12-25 2019-07-02 广东虚拟现实科技有限公司 视觉显示系统及方法，以及头戴显示装置
CN110555911A (zh) * 2018-05-30 2019-12-10 贵州迈普空间信息技术有限公司 一种人工合成全景的方法
CN111065977A (zh) * 2017-07-24 2020-04-24 赛峰集团 控制表面的方法
CN111095921A (zh) * 2017-09-20 2020-05-01 爱信精机株式会社 显示控制装置
CN112204949A (zh) * 2018-03-29 2021-01-08 天穹有限公司 用于实现球面成像的相机系统
CN112334941A (zh) * 2018-06-22 2021-02-05 宝利通公司 无畸变分屏显示
CN114462622A (zh) * 2022-02-07 2022-05-10 舵敏智能科技(苏州)有限公司 一种用于众包数据的深度学习模型部署与训练方法

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10896327B1 (en) 2013-03-15 2021-01-19 Spatial Cam Llc Device with a camera for locating hidden object
US10354407B2 (en) 2013-03-15 2019-07-16 Spatial Cam Llc Camera for locating hidden objects
US9736368B2 (en) * 2013-03-15 2017-08-15 Spatial Cam Llc Camera in a headframe for object tracking
WO2014073282A1 (ja) * 2012-11-08 2014-05-15 住友重機械工業株式会社 舗装機械用画像生成装置及び舗装機械用操作支援システム
US9834143B2 (en) 2013-05-23 2017-12-05 GM Global Technology Operations LLC Enhanced perspective view generation in a front curb viewing system
US9886636B2 (en) 2013-05-23 2018-02-06 GM Global Technology Operations LLC Enhanced top-down view generation in a front curb viewing system
US10093247B2 (en) 2013-05-23 2018-10-09 GM Global Technology Operations LLC Enhanced front curb viewing system
DE102013021326A1 (de) * 2013-12-17 2015-06-18 Valeo Schalter Und Sensoren Gmbh Verfahren zum Detektieren einer auf einem Boden aufgebrachten Markierung, Fahrerassistenzeinrichtung und Kraftfahrzeug
GB2525170A (en) 2014-04-07 2015-10-21 Nokia Technologies Oy Stereo viewing
EP3009983A1 (en) * 2014-10-13 2016-04-20 Conti Temic microelectronic GmbH Obstacle detection apparatus and method
US9916660B2 (en) * 2015-01-16 2018-03-13 Magna Electronics Inc. Vehicle vision system with calibration algorithm
US9804258B2 (en) 2015-02-27 2017-10-31 The United States Of America, As Represented By The Secretary Of The Army Surface non-uniformity determination with radio waves
DE102015105529A1 (de) * 2015-04-10 2016-10-13 Connaught Electronics Ltd. Verfahren zum Transformieren eines Bildes einer virtuellen Kamera, Computerprogrammprodukt, Anzeigesystem und Kraftfahrzeug
US9769367B2 (en) 2015-08-07 2017-09-19 Google Inc. Speech and computer vision-based control
US10229231B2 (en) * 2015-09-11 2019-03-12 Ford Global Technologies, Llc Sensor-data generation in virtual driving environment
US9747862B2 (en) 2015-11-02 2017-08-29 Castar, Inc. Method of immersive rendering for wide field of view
US10417506B2 (en) * 2015-11-19 2019-09-17 The Regents Of The University Of California Embedded surround vision-based driver assistance for safe zone estimation
US9836484B1 (en) 2015-12-30 2017-12-05 Google Llc Systems and methods that leverage deep learning to selectively store images at a mobile image capture device
US9836819B1 (en) 2015-12-30 2017-12-05 Google Llc Systems and methods for selective retention and editing of images captured by mobile image capture device
US10732809B2 (en) 2015-12-30 2020-08-04 Google Llc Systems and methods for selective retention and editing of images captured by mobile image capture device
US9838641B1 (en) 2015-12-30 2017-12-05 Google Llc Low power framework for processing, compressing, and transmitting images at a mobile image capture device
US10225511B1 (en) 2015-12-30 2019-03-05 Google Llc Low power framework for controlling image sensor mode in a mobile image capture device
US10523865B2 (en) 2016-01-06 2019-12-31 Texas Instruments Incorporated Three dimensional rendering for surround view using predetermined viewpoint lookup tables
US20170217372A1 (en) * 2016-02-02 2017-08-03 Magna Electronics Inc. Wireless camera system for vehicle and trailer
JP6745112B2 (ja) 2016-02-04 2020-08-26 株式会社トプコン 路面性状の評価方法、及び路面性状の評価装置
JP6811534B2 (ja) 2016-02-04 2021-01-13 株式会社トプコン 道路性状の表示方法、及び道路性状の表示装置
JP6745113B2 (ja) * 2016-02-04 2020-08-26 株式会社トプコン 路面性状取得方法、及び路面性状取得装置
US10185029B2 (en) 2016-02-26 2019-01-22 The United States Of America, As Represented By The Secretary Of The Army Timing and synchronization of radio waves for scanning, detection, and measurement of surface non-uniformity
CN105791882B (zh) * 2016-03-22 2018-09-18 腾讯科技（深圳）有限公司 视频编码方法及装置
CN105872319B (zh) * 2016-03-29 2018-12-18 深圳迪乐普数码科技有限公司 一种景深测量方法
DE102016211227A1 (de) 2016-06-23 2017-12-28 Conti Temic Microelectronic Gmbh Verfahren und Fahrzeugsteuersystem zum Erzeugen von Abbildungen eines Umfeldmodells und entsprechendes Fahrzeug
DE102016225066A1 (de) * 2016-12-15 2018-06-21 Conti Temic Microelectronic Gmbh Rundumsichtsystem für ein Fahrzeug
US10887556B2 (en) * 2016-12-27 2021-01-05 Alpine Electronics, Inc. Rear-view camera and light system for vehicle
DE112017006652T5 (de) * 2016-12-28 2019-09-26 Koito Manufacturing Co., Ltd. Integriertes Leuchte-Und-Kamera-Modul
US20180297523A1 (en) * 2017-04-14 2018-10-18 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Rear view display adjustable virtual camera view point system and method
EP3392801A1 (en) 2017-04-21 2018-10-24 Harman International Industries, Incorporated Systems and methods for driver assistance
US10618471B2 (en) 2017-11-30 2020-04-14 Robert Bosch Gmbh Virtual camera panning and tilting
JP6967958B2 (ja) * 2017-12-07 2021-11-17 株式会社クボタ 圃場作業支援端末、圃場作業機、および、圃場作業支援プログラム
WO2019161300A1 (en) 2018-02-18 2019-08-22 Nvidia Corporation Detecting objects and determining confidence scores
US10997433B2 (en) 2018-02-27 2021-05-04 Nvidia Corporation Real-time detection of lanes and boundaries by autonomous vehicles
US10852423B2 (en) 2018-03-07 2020-12-01 The Government Of The United States, As Represented By The Secretary Of The Army Vehicle-mounted wave transmission and wave response reception
DE102018203590A1 (de) 2018-03-09 2019-09-12 Conti Temic Microelectronic Gmbh Surroundview-System mit angepasster Projektionsfläche
CN110494863B (zh) 2018-03-15 2024-02-09 辉达公司 确定自主车辆的可驾驶自由空间
EP3573025A1 (en) 2018-05-24 2019-11-27 Honda Research Institute Europe GmbH Method and system for automatically generating an appealing visual based on an original visual captured by the vehicle mounted camera
CN108776976B (zh) * 2018-06-07 2020-11-20 驭势科技（北京）有限公司 一种同时定位与建图的方法、系统及存储介质
US11003920B2 (en) * 2018-11-13 2021-05-11 GM Global Technology Operations LLC Detection and planar representation of three dimensional lanes in a road scene
US10846831B2 (en) * 2018-12-19 2020-11-24 GM Global Technology Operations LLC Computing system for rectifying ultra-wide fisheye lens images
US11182916B2 (en) * 2018-12-28 2021-11-23 Nvidia Corporation Distance to obstacle detection in autonomous machine applications
WO2020140047A1 (en) 2018-12-28 2020-07-02 Nvidia Corporation Distance to obstacle detection in autonomous machine applications
US11170299B2 (en) 2018-12-28 2021-11-09 Nvidia Corporation Distance estimation to objects and free-space boundaries in autonomous machine applications
JP7316620B2 (ja) * 2019-02-15 2023-07-28 トヨタ モーター ヨーロッパ 画像正規化のためのシステムと方法
US11050932B2 (en) 2019-03-01 2021-06-29 Texas Instruments Incorporated Using real time ray tracing for lens remapping
CN113811886B (zh) 2019-03-11 2024-03-19 辉达公司 自主机器应用中的路口检测和分类
US11153481B2 (en) * 2019-03-15 2021-10-19 STX Financing, LLC Capturing and transforming wide-angle video information
US11436743B2 (en) 2019-07-06 2022-09-06 Toyota Research Institute, Inc. Systems and methods for semi-supervised depth estimation according to an arbitrary camera
US11788861B2 (en) 2019-08-31 2023-10-17 Nvidia Corporation Map creation and localization for autonomous driving applications
CN111223038B (zh) * 2019-12-02 2023-06-09 上海赫千电子科技有限公司 一种车载环视图像的自动拼接方法及显示装置
US11287269B2 (en) 2019-12-10 2022-03-29 Pony Ai Inc. Map coordinate distortion compensation
US20230001984A1 (en) * 2019-12-16 2023-01-05 Magna Electronics Inc. Vehicular trailering guidance system
US11652972B2 (en) * 2020-03-04 2023-05-16 Toyota Research Institute, Inc. Systems and methods for self-supervised depth estimation according to an arbitrary camera
CN113592704B (zh) * 2020-04-30 2024-06-28 杭州海康威视数字技术股份有限公司 一种图像生成方法、装置及系统
US20210407174A1 (en) * 2020-06-30 2021-12-30 Lucasfilm Entertainment Company Ltd. Rendering images for non-standard display devices
US11978266B2 (en) 2020-10-21 2024-05-07 Nvidia Corporation Occupant attentiveness and cognitive load monitoring for autonomous and semi-autonomous driving applications
US12008681B2 (en) * 2022-04-07 2024-06-11 Gm Technology Operations Llc Systems and methods for testing vehicle systems
US20240112315A1 (en) * 2022-09-23 2024-04-04 Microsoft Technology Licensing, Llc Distortion correction via analytical projection

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1558262A (zh) * 2004-01-12 2004-12-29 浙江大学 180°大视场环形全景凝视成像方法
CN101059909A (zh) * 2006-04-21 2007-10-24 浙江工业大学 基于全方位计算机视觉的电子泊车诱导系统
CN101271581A (zh) * 2008-04-25 2008-09-24 浙江大学 建立个性化的三维人体模型
US20110074916A1 (en) * 2009-09-29 2011-03-31 Toyota Motor Engin. & Manufact. N.A. (TEMA) Electronic control system, electronic control unit and associated methodology of adapting 3d panoramic views of vehicle surroundings by predicting driver intent
US20120242788A1 (en) * 2010-12-16 2012-09-27 The Massachusetts Institute Of Technology Imaging system for immersive surveillance

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3815407A (en) * 1973-01-22 1974-06-11 Department Of Transportation Resonance tire inspection method and apparatus
US6034676A (en) * 1995-04-11 2000-03-07 Data View, Inc. System and method for measuring and processing tire depth data
US6539788B1 (en) * 1998-12-22 2003-04-01 Pirelli Pneumatici S.P.A. Method for determining preselected performance characteristics of a tread of a tire and tire provided with a tread having optimal characteristics with reference to said performance characteristics
AU2001243285A1 (en) * 2000-03-02 2001-09-12 Donnelly Corporation Video mirror systems incorporating an accessory module
WO2003065084A1 (en) * 2002-01-31 2003-08-07 Donnelly Corporation Vehicle accessory module
JP3922543B2 (ja) * 2002-06-05 2007-05-30 ソニー株式会社 撮像装置、および画像表示装置
JP3871614B2 (ja) * 2002-06-12 2007-01-24 松下電器産業株式会社 運転支援装置
WO2005015125A1 (en) * 2003-08-08 2005-02-17 University Health Network Method and system for calibrating a source and detector instrument
US7881496B2 (en) * 2004-09-30 2011-02-01 Donnelly Corporation Vision system for vehicle
JP4752031B2 (ja) * 2004-10-01 2011-08-17 ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティ 撮像の装置と方法
US7583372B2 (en) * 2005-06-01 2009-09-01 Hunter Engineering Company Machine vision vehicle wheel alignment image processing methods
KR100882011B1 (ko) * 2007-07-29 2009-02-04 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치
JP2010049313A (ja) * 2008-08-19 2010-03-04 Sony Corp 画像処理装置、画像処理方法、プログラム
ES2389916T3 (es) * 2009-01-22 2012-11-05 Snap-On Equipment Srl A Unico Socio Sistema de diagnóstico de rueda
JP5316805B2 (ja) * 2009-03-16 2013-10-16 株式会社リコー 車載カメラ装置の画像調整装置及び車載カメラ装置
CN102577347B (zh) * 2009-06-29 2015-09-23 博世安防系统有限公司 全方位智能自动巡视和态势感知的球形监视摄像机系统和方法
LU91745B1 (en) * 2010-10-15 2012-04-16 Iee Sarl Range image pixel matching method
US20120300020A1 (en) * 2011-05-27 2012-11-29 Qualcomm Incorporated Real-time self-localization from panoramic images
KR101265667B1 (ko) * 2011-06-21 2013-05-22 ㈜베이다스 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
US8848978B2 (en) * 2011-09-16 2014-09-30 Harman International (China) Holdings Co., Ltd. Fast obstacle detection
US20130121559A1 (en) * 2011-11-16 2013-05-16 Sharp Laboratories Of America, Inc. Mobile device with three dimensional augmented reality
US20130300831A1 (en) * 2012-05-11 2013-11-14 Loren Mavromatis Camera scene fitting of real world scenes
US20150042799A1 (en) * 2013-08-07 2015-02-12 GM Global Technology Operations LLC Object highlighting and sensing in vehicle image display systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1558262A (zh) * 2004-01-12 2004-12-29 浙江大学 180°大视场环形全景凝视成像方法
CN101059909A (zh) * 2006-04-21 2007-10-24 浙江工业大学 基于全方位计算机视觉的电子泊车诱导系统
CN101271581A (zh) * 2008-04-25 2008-09-24 浙江大学 建立个性化的三维人体模型
US20110074916A1 (en) * 2009-09-29 2011-03-31 Toyota Motor Engin. & Manufact. N.A. (TEMA) Electronic control system, electronic control unit and associated methodology of adapting 3d panoramic views of vehicle surroundings by predicting driver intent
US20120242788A1 (en) * 2010-12-16 2012-09-27 The Massachusetts Institute Of Technology Imaging system for immersive surveillance

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
单珩: "多摄像机全景监控系统研究及解决方案", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104240281A (zh) * 2014-08-28 2014-12-24 东华大学 一种基于Unity3D引擎的虚拟现实头戴式设备
CN107660336A (zh) * 2015-03-25 2018-02-02 威达斯高级驾驶辅助设备有限公司 对于从摄像机获得的图像，具备自动补正功能的图像处理装置及其方法
CN108701349B (zh) * 2016-01-12 2022-11-18 大陆汽车有限责任公司 显示车辆周围环境前视图的方法和装置及相应车辆
CN108701349A (zh) * 2016-01-12 2018-10-23 大陆汽车有限责任公司 显示车辆周围环境前视图的方法和装置及相应车辆
CN111065977B (zh) * 2017-07-24 2023-10-03 赛峰集团 控制表面的方法
CN111065977A (zh) * 2017-07-24 2020-04-24 赛峰集团 控制表面的方法
CN111095921A (zh) * 2017-09-20 2020-05-01 爱信精机株式会社 显示控制装置
CN109963145A (zh) * 2017-12-25 2019-07-02 广东虚拟现实科技有限公司 视觉显示系统及方法，以及头戴显示装置
CN109963145B (zh) * 2017-12-25 2024-04-26 广东虚拟现实科技有限公司 视觉显示系统及方法，以及头戴显示装置
CN112204949A (zh) * 2018-03-29 2021-01-08 天穹有限公司 用于实现球面成像的相机系统
CN110555911A (zh) * 2018-05-30 2019-12-10 贵州迈普空间信息技术有限公司 一种人工合成全景的方法
CN112334941A (zh) * 2018-06-22 2021-02-05 宝利通公司 无畸变分屏显示
CN114462622A (zh) * 2022-02-07 2022-05-10 舵敏智能科技(苏州)有限公司 一种用于众包数据的深度学习模型部署与训练方法

Also Published As

Publication number Publication date
US20140104424A1 (en) 2014-04-17
US20160098815A1 (en) 2016-04-07
CN103778649B (zh) 2018-08-31
US9858639B2 (en) 2018-01-02
US9225942B2 (en) 2015-12-29

Similar Documents

Publication Publication Date Title
CN103778649A (zh) 用于相机建模和虚拟视图合成的成像表面建模
CN103770706B (zh) 动态后视镜显示特征
CN110060202B (zh) 一种单目slam算法的初始化方法及系统
US11007934B2 (en) Method for dynamically calibrating a vehicular camera
JP5739584B2 (ja) 車両周辺視角化のための３次元映像合成装置およびその方法
CN109741455B (zh) 一种车载立体全景显示方法、计算机可读存储介质及系统
JP6675448B2 (ja) 車両位置検出方法及び装置
CN109360245B (zh) 无人驾驶车辆多相机系统的外参数标定方法
CN110341597B (zh) 一种车载全景视频显示系统、方法及车载控制器
JP5455124B2 (ja) カメラ姿勢パラメータ推定装置
JP5491235B2 (ja) カメラキャリブレーション装置
CN104859538A (zh) 车辆图像显示系统中基于视觉的物体感测和突出显示
CN103770708A (zh) 通过景物亮度估计的动态后视镜自适应减低亮度覆盖
CN103072528A (zh) 一种车辆及其全景泊车方法、系统
JP7502440B2 (ja) 環境のトポグラフィを測定するための方法
CN101487895A (zh) 显示鸟瞰车辆图像的倒车雷达系统
CN116245722A (zh) 一种应用于重高型车辆的全景影像拼接系统及方法
JP2011254128A (ja) 平面図生成装置及び平面図生成方法
JP2010136082A (ja) 車両周辺監視装置およびカメラ位置・姿勢判定方法
Kinzig et al. Real-time seamless image stitching in autonomous driving
CN113362232A (zh) 车辆全景环视图像生成方法和系统
CN110084851B (zh) 一种双目点云生成方法及系统
CN113610927B (zh) 一种avm摄像头参数标定方法、装置及电子设备
JP2009077022A (ja) 運転支援システム及び車両
CN106961585B (zh) 行车辅助方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant