CN103770706A - 动态后视镜显示特征 - Google Patents

动态后视镜显示特征 Download PDF

Info

Publication number
CN103770706A
CN103770706A CN201310489833.4A CN201310489833A CN103770706A CN 103770706 A CN103770706 A CN 103770706A CN 201310489833 A CN201310489833 A CN 201310489833A CN 103770706 A CN103770706 A CN 103770706A
Authority
CN
China
Prior art keywords
image
camera
scene
vehicle
caught
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310489833.4A
Other languages
English (en)
Other versions
CN103770706B (zh
Inventor
W.张
J.王
K.S.利贝克
J.S.皮亚塞基
J.克勒姆
C.A.格林
R.M.弗拉克斯
T.S.赫斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN103770706A publication Critical patent/CN103770706A/zh
Application granted granted Critical
Publication of CN103770706B publication Critical patent/CN103770706B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing

Abstract

本发明涉及动态后视镜显示特征。公开了一种用于在显示装置上显示捕获的图像的方法。景象由至少一个基于视觉的成像装置捕获。捕获景象的虚像使用相机模型由处理器产生。视图合成技术由处理器被用于捕获图像，用于产生去变形的虚像。动态后视镜显示模式被启动，用于启动在后视镜显示装置上的去变形的图像的观察模式。去变形的图像在后视镜显示装置上显示在启动观察模式中。

Description

动态后视镜显示特征
相关申请的交叉引用
本申请要求了2012年10月19日提交的、序号为61/715,946的美国临时申请为优先权，其内容在此结合作为参考。
技术领域
实施例总体上涉及用于动态后视镜显示特征的图像捕获和处理。
背景技术
车辆系统通常使用用于后视景象检测、侧视景象检测、以及前视景象检测的车辆内视觉系统。对于那些需要图解道路覆盖层或强调捕获图像的区域的应用，关键的是精确地校准相机相对于车辆与周围目标的定位与定向。采用来自装置的捕获的输入图像并且重新建模图像以示出或提高捕获图像的各个区域的相机建模必须在对图像不畸变至对观看重显图像的人而言变得不可使用或不准确的情况下对图像内的全部对象再次定位。
当视图在显示屏幕上再次产生时，图像的重叠变成问题。从不同捕获装置捕获的并且在显示屏幕上集成的视图典型地示出了每个捕获图像之间的不连贯部分，由此使得驾驶员很难迅速地确定什么存在于显示屏幕上。
发明内容
在此描述的本发明的优点是图像可以基于由一个或多个相机捕获的图像利用相机视图合成使用多种成像效应而合成。成像效应包括由多个相机捕获不同的图像，其中每个相机捕获围绕车辆的不同视图。不同的图像可以缝合用于产生无缝的全景的图像。对于邻接的相邻图像视图，为了寄存在捕获图像的重叠区域中的点偶，识别感兴趣的共同点。
本发明的另一优点是动态可重构的视镜显示系统可以循环并且显示由多个图像显示装置捕获的各种图像。在后视显示装置上显示的图像可以基于车辆工作自动地选择或可以由车辆的驾驶员选择。
公开了一种用于在显示装置上显示捕获的或已处理图像的方法。景象由至少一个基于视觉的成像装置捕获。捕获景象的虚像使用相机模型由处理器产生。视图合成技术由处理器被用于捕获图像，用于产生去变形（de-warped）的虚像。动态后视镜显示模式被致动，用于启动在后视镜显示装置上的去变形的图像的观察模式。去变形的图像在后视镜显示装置上显示在启动的观察模式中。
本发明还提供了以下方案：
1. 一种用于在显示装置上显示的捕获的图像的方法，包括步骤：
由至少一个基于视觉的成像装置捕获景象；
使用相机模型由处理器产生捕获景象的虚像；
由处理器作用视图合成技术至捕获的图像，用于产生去变形的虚像；
启动动态后视镜显示模式，用于启动在后视镜显示装置上的去变形的图像的观察模式；以及
在后视镜显示装置上在启动的观察模式中显示去变形的图像。
2. 根据方案1所述的方法，其中多个图像是由包括车辆外部多个不同的观察区域的多个图像捕获装置捕获的，多个图像具有用于产生车辆外部景象的全景的重叠边界，其中所述方法还包括步骤：
在相机建模之前，作用图像缝合至由多个图像捕获装置捕获的多个图像中的每一个上，图像缝合是将多个图像合并，用于在多个图像的重叠区域之间产生无缝的过渡。
3. 根据方案2所述的方法，其中图像缝合包括各个图像的重叠区域的夹住和切换，用于产生无缝的过渡。
4. 根据方案2所述的方法，其中图像缝合包括在两个各自的图像之间的重叠区域中识别对应的点偶组并且为了缝合两个各自的图像记录对应的点偶。
5. 根据方案2所述的方法，其中图像缝合包括作用以发现两个各自的图像之间的重叠区域中的对应性的立体视觉处理技术。
6. 根据方案2所述的方法，其中多个图像捕获装置包括每个捕获不同的各自的视野景象的三个窄视野图像捕获装置，其中每组相邻的视野景象包括重叠景象内容，并且其中图像缝合被应用到相邻视野景象的每组的重叠景象内容上。
7. 根据方案6所述的方法，其中应用到三个窄视野上的图像缝合产生约180度的全景景象。
8. 根据方案6所述的方法，其中多个图像捕获装置中的每个都是面向后图像捕获装置。
9. 根据方案6所述的方法，其中多个图像捕获装置中的每个都是面向前图像捕获装置。
10. 根据方案6所述的方法，其中关于车辆工作条件的车辆信息被传送到相机开关，用于基于车辆工作条件有选择地启动或停止图像捕获装置。
11. 根据方案6所述的方法，其中图像捕获装置是基于驾驶员有选择地启动或停止各自的图像捕获装置而启动和停止的。
12. 根据方案2所述的方法，其中多个图像捕获装置包括窄视野图像捕获装置和宽视野图像捕获装置，窄视野图像捕获装置捕获窄视野景象，宽视野图像捕获装置捕获基本上180度的宽视野景象，其中为了提高视野重叠，窄视野捕获景象是宽视野捕获景象的子集，其中在窄视野景象和相关的宽视野景象的重叠区域处对应的点偶组被识别，用于记录用于窄视野景象和宽视野景象的图像缝合。
13. 根据方案2所述的方法，其中多个图像捕获装置包括布置在车辆的不同侧面上的多个车辆面向周围图像捕获装置，其中多个面向周围捕获成像装置包括用于捕获车辆前方图像的面向前相机，用于捕获车辆后方图像的面向后相机，用于捕获车辆右侧上的图像的面向右侧相机，以及用于捕获车辆左侧上的图像的面向左侧相机，其中各自的图像显示在后视镜显示装置上。
14. 根据方案13所述的方法，其中图像捕获装置基于关于车辆工作条件的车辆信息至相机开关的通信有选择地启动和停止。
15. 根据方案14所述的方法，其中致动表示由启动的图像捕获装置捕获的当前视图的可视图标。
16. 根据方案13所述的方法，其中图像捕获装置是基于驾驶员有选择地启动或停止各自的图像捕获装置而启动和停止的。
17. 根据方案1所述的方法，其中启动观察模式是从视镜显示模式，具有图像覆盖模式的视镜显示打开，以及没有图像覆盖模式的视镜显示打开中选择的，其中视镜显示模式不投影图像在后视显示视镜上，其中具有图像覆盖模式的视镜显示打开投影产生的去变形图像和复制车辆的内部部件的图像覆盖，并且其中没有图像覆盖模式的视镜显示仅显示产生的去变形的图像。
18. 根据方案17所述的方法，其中选择用于产生复制车辆内部部件的图像覆盖的、具有图像覆盖模式的视镜显示打开包括在后视镜显示装置中复制头枕，后窗玻璃装饰以及C柱的至少一个。
19. 根据方案17所述的方法，其中后视镜模式按钮由驾驶员致动，用于选择用于显示在后视镜显示装置上的各自的捕获图像中的一个。
20. 根据方案17所述的方法，其中后视镜模式按钮由仅在高速时的视镜显示模式，在低速或停车时的具有图像覆盖模式的视镜显示打开，在停车时的具有图像覆盖模式的视镜显示打开，速度调节椭圆缩放因子，转向信号激活的各自的视图显示模式中的至少一个致动。
21. 根据方案17所述的方法，其中图像捕获装置和观察模式基于关于车辆工作条件的车辆信息至相机开关的通信有选择地启动和停止。
22. 根据方案21所述的方法，其中车辆信息是从多个装置中的一个获得，其包括方向盘角度传感器，转向信号，偏航传感器，和速度传感器。
23. 根据方案21所述的方法，其中车辆信息用来改变相机模型的相机姿态相对于基于视觉的成像装置的姿态。
附图说明
图1是包括环境视图的基于视觉的成像系统的车辆的视图。
图2是示出了用于基于视觉的成像系统的覆盖区域的俯视图。
图3是平面径向畸变虚拟模型的视图。
图4是非平面的针孔照相机模型的视图。
图5是使用圆柱成像表面模型的方框流程图。
图6是使用椭圆成像表面模型的方框流程图。
图7是用于将点从实际图像映射至虚拟图像的视图合成的流程图。
图8是径向畸变修正模型的视图。
图9是严重径向畸变模型的视图。
图10是基于虚拟图像上的点用于确定虚拟入射线角度的用于作用视图合成的方框图。
图11是投影到各自的圆柱的成像表面模型上的入射线的视图。
图12是作用虚拟平移/倾斜用于基于虚拟入射线角度用于确定光线入射线角度的方框图。
图13是在虚拟入射线角度与真实入射线角度之间的平移/倾斜的转动表示。
图14是用于在后视镜显示装置上显示来自一个或多个图像捕获装置的捕获图像的方框图。
图15示出了使用单个相机的动态后视镜显示成像系统的方框图。
图16示出了后视镜的FOV与由宽角度FOV相机捕获图像的比较。
图17是在后视镜的图像显示器上输出的景象的图示。
图18示出了使用多个面向后相机的动态后视镜显示成像系统的方框图。
图19是由多个相机捕获的区域覆盖的自上而下视图。
图20是在后视镜的图像显示器上输出的景象的图示，其中作用了图像拼合。
图21示出了使用两个面向后相机的动态后视镜显示成像系统的方框图。
图22是由两个相机捕获的区域覆盖的自上而下视图。
图23是使用多个面向上相机的动态前视镜显示成像系统的方框图。
图24示出了比较由驾驶员看到的FOV和由窄FOV相机捕获的图像的自上而下视图。
图25示出了具有FOV障碍的驾驶员的有限的FOV。
图26示出了使用多个面向周围相机的可重构的动态后视镜显示成像系统的方框图。
图27a-d示出了每个相应的宽FOV相机的覆盖区域的自上而下视图。
图28a-b示出了显示在显示装置上的示例性图标。
具体实施方式
图1示出的是，车辆10沿道路行驶。基于视觉的成像系统12捕获道路的图像。基于视觉的成像系统12根据基于一个或多个基于视觉的捕获装置捕获围绕车辆的图像。在此描述的实施例中，基于视觉的成像系统将被描述为捕获车辆后方的图像；然而，也将理解为基于视觉的成像系统12可以延伸至捕获车辆前方的图像和车辆侧面的图像。
参照图1-2，基于视觉的成像系统12包括用于捕获车辆15的前方视野（FOV）的前视相机14，用于捕获车辆17的后方FOV的后视相机16，用于捕获车辆19的左侧FOV的左视相机18，和用于捕获车辆21的右侧FOV的右视相机20。相机14-20可以是适于在此描述的目的的任意相机，它们中的许多在汽车领域中是公知的，其能够接收光，或其它辐射，并且使用例如电荷耦合器件（CCD）以像素格式将光能转换为电信号。相机14-18图以某些数据帧频产生可以存储用于后续处理的图像数据的帧。相机14-20可以安装在车辆10的一部分的内部或在车辆10的一部分的任意适当结构上，例如，如本领域技术人员将会理解和认识的，保险杠，面板，格栅，侧视镜，门板等。在一个非限制的实施例中，侧面相机18安装在侧视镜下方并且朝向下。来自相机14-20的图像数据被发送到处理器22，其处理图像数据以产生可以显示在观察镜显示装置24上的图像。
本发明使用了在没有使用径向畸变修正的情况下、采用了简单的两步方法并且提供了快速的处理时间和增强的图像质量的用于窄FOV和超宽FOV相机两者的图像建模和去变形处理。畸变是偏离直线投影，在景象中的直线在图像中保持直线的投影。径向畸变是镜片成直线的误差。
如上所述的两步步骤包括（1）为了在非平面表面上投影捕获的图像作用相机模型至捕获的图像和（2）为了将投影到非平面表面上的虚拟图像映射到实际显示图像上作用视图合成。对于视图合成，给出来自具有具体相机设置和方位的具体点的具体物的一个或多个图像，目标是建造作为来自具有相同或不同光轴的虚拟相机的合成图像。
除用于超宽FOV相机的动态视图合成外，提出的方法提供了实际的环境视图和具有提高的去变形操作的动态后视镜功能。在此使用的相机修正是指估计估计包括固有和外在参数的多个相机参数。固有参数包括焦距，图像中心（或象主点），径向畸变参数等并且外在参数包括相机位置，相机方向等。
相机模型在本领域公知为用于将自然空间中的目标映射到相机的图像传感器平面以产生图像。本领域公知的一个模型被认为是对窄FOV相机的图像建模有效的针孔相机模型。针孔相机模型被限定为：
Figure 884518DEST_PATH_IMAGE001
（1）
图3是用于针孔相机模型的视图30并且示出了由坐标
Figure 739341DEST_PATH_IMAGE002
，
Figure 519079DEST_PATH_IMAGE003
限定的二维相机图像平面32，和由全局坐标
Figure DEST_PATH_IMAGE004
，
Figure 101238DEST_PATH_IMAGE005
，限定的三维物体空间34。从焦点C至图像平面32的距离是相机的焦距
Figure 675756DEST_PATH_IMAGE007
并且由焦距和
Figure 328640DEST_PATH_IMAGE009
限定。从点C至图像平面32的原理点的垂直线限定了由
Figure 997519DEST_PATH_IMAGE010
，
Figure 990883DEST_PATH_IMAGE011
限定的平面32的图像中心。在视图30中，物体空间34中的物体点
Figure 682895DEST_PATH_IMAGE012
在点
Figure 419907DEST_PATH_IMAGE013
映射到图像平面32中，其中图像点
Figure 130243DEST_PATH_IMAGE013
坐标是
Figure 560088DEST_PATH_IMAGE014
，。
等式（1）包括采用以提供在物体空间34中的点
Figure 14520DEST_PATH_IMAGE012
至图像平面32中的点
Figure 850801DEST_PATH_IMAGE013
的映射的参数。尤其地，固有参数包括，，
Figure 60613DEST_PATH_IMAGE014
，
Figure 558590DEST_PATH_IMAGE015
和
Figure 523047DEST_PATH_IMAGE016
以及外在参数包括用于相机转动的3乘3的矩阵
Figure 473686DEST_PATH_IMAGE017
和从图像平面32至物体空间34的3乘1的转换矢量t。参数
Figure 293874DEST_PATH_IMAGE016
表示两个图像轴的偏斜，其典型地可以忽略，并且经常设置为零。
由于针孔相机模型遵循直线投影，其中有限尺寸的平面图像表面仅可以覆盖有限的FOV范围（<<180°FOV），以使用平面图像表面产生用于超宽（~180°FOV）鱼眼相机的圆柱形的全景，必须使用具体的相机模型以考虑横向径向畸变。一些其它的视图可能需要其它具体的相机建模，（并且一些具体视图可能不能产生）。然而，通过将图像平面改变为非平面的图像表面，仍然通过使用简单的光线跟踪和针孔相机模型可以很容易地产生具体的视图。因此，以下的描述将描述使用非平面图像表面的优点。
后视镜显示装置24（图1所示）输出由基于视觉的成像系统12捕获的图像。图像可能改变可能转换的图像以示出提高的捕获图像的FOV的各个部分的视图。例如，可能改变图像用于产生全景景像，或可能产生在车辆转向方向上增强图像的区域的图像。在此描述的提出的方法在没有径向畸变修正的情况下用较简单的相机模型对具有凹面成像表面的宽FOV相机进行建模。该方法使用具有新的相机成像表面模型（例如，基于光-光线的建模）的虚拟视图合成技术。该技术具有后视相机应用的各种应用，其包括动态方针，360度环视相机系统，以及动态后视镜特征。该技术通过具有各种相机成像表面的简单相机针孔模型对各种相机成像效果进行模拟。应当理解，除相机针孔模型外，可以使用其它模型，包括传统的模型。
图5示出了使用非平面图像表面对捕获的景像38建模的优选技术。使用针孔模型，捕获的景像38投影到非平面的图像49上（例如，凹面）。由于图像正显示在非平面表面上，没有径向畸变修正作用到投影的图像上。
为了减少对图像的偏差，视图合成技术被应用到非平面表面上的投影图像上。在图4中，使用凹面成像表面完成图像去变形。这样的表面可以包括，但不限制为，圆柱或椭圆图像表面。即，捕获的景象使用针孔模型投影到圆柱状表面上。此后，投影到圆柱成像表面上的图像展示到平面车内图像显示装置上。因此，为了帮助驾驶员集中在打算行进的区域中，为了更好地观察，增强了车辆正努力停放的停车空间。
图5示出了用于作用圆柱图像表面建模至捕获的景像的方框流程图。在方框46中示出了捕获的景像。相机建模52被应用到捕获的景像46上。如较早描述的，相机模型优选地是针孔相机模型，然而，可以使用传统的或其它相机建模。捕获的图像使用针孔相机模型投影到各自的表面上。各自的图像表面是圆柱图像表面54。通过将投影到圆柱表面上的图像的光线映射到捕获图像的入射线上以产生去变形的图像而执行视图合成42。结果是增强了可利用的停车空间的视图，其中停车空间对中在去变形图像51的最前部。
图6示出了使用针孔模型用于使用椭圆图像表面模型至捕获的景像上的流程图。椭圆图像模型56作用了更大的分辨率至捕获的景像46的中心。因此，如去变形图像57中所示，与图6相比使用了椭圆模型，在去变形图像的中心最前部处的物体被进一步增强。
动态视图合成是一种技术，通过其启动了基于车辆操作的驾驶方案的具体的视图合成。例如，如果车辆在停车场对比高速公路的驾驶中，可能触发具体的合成建模技术，或可能通过感测车辆的各个区域的目标的接近传感器触发，或通过车辆信号触发（例如，转向灯，方向盘角度，或车辆速度）。具体的合成建模技术可以应用各形状的模型至捕获的图像，或取决于触发操作作用虚拟平移，倾斜，或方向性缩放。
图7示出了用于从实际图像映射虚拟图像的视图合成的流程图。在方框61中，捕获图像上的实际点由坐标
Figure 646358DEST_PATH_IMAGE018
和识别，并且其识别哪里入射线接触成像表面。入射线可以由角度（，
Figure 306513DEST_PATH_IMAGE021
）表示，其中，
Figure 44661DEST_PATH_IMAGE020
是入射线与光轴之间的角度，并且
Figure 158111DEST_PATH_IMAGE021
是x轴与入射线在
Figure 270292DEST_PATH_IMAGE022
平面上的投影之间的角度。为了确定入射线角度，实际的相机模型是预先确定并且校准的。
在方框62中，限定了实际相机模型，例如鱼眼模型（
Figure 494600DEST_PATH_IMAGE023
）并且限定了成像表面。即，由实际鱼眼相机视图看到的入射线可以由以下示出：
Figure 556097DEST_PATH_IMAGE024
其中
Figure 778131DEST_PATH_IMAGE025
表示
Figure 190658DEST_PATH_IMAGE018
并且
Figure 405607DEST_PATH_IMAGE026
表示
Figure 587190DEST_PATH_IMAGE019
。径向畸变修正模型在图8中示出。由以下的等式（3）表示的径向畸变模型，有时被认为是Brown- Conrady模型，其提供了对来自目标空间74的在图像平面72上成像的目标的非严重径向畸变的修正。相机的焦距
Figure 714546DEST_PATH_IMAGE007
是点76与透镜光轴与图像平面72交叉的图像中心之间的距离。在视图中，如果使用针孔相机模型，在线70与图像平面72交叉处的图像位置
Figure 614369DEST_PATH_IMAGE027
表示目标点
Figure 367430DEST_PATH_IMAGE012
的虚拟成像点
Figure 669099DEST_PATH_IMAGE028
。然而，由于相机图像具有径向畸变，实际成像点在位置
Figure 354475DEST_PATH_IMAGE029
，其是线78与图像平面72的交点。值
Figure 724276DEST_PATH_IMAGE027
和不是点，而是从图像中心
Figure 598877DEST_PATH_IMAGE010
，
Figure 145396DEST_PATH_IMAGE011
至图像点
Figure 318889DEST_PATH_IMAGE030
和
Figure 516521DEST_PATH_IMAGE013
的径向距离。
Figure 484477DEST_PATH_IMAGE031
使用以上讨论的针孔模型确定点
Figure 580609DEST_PATH_IMAGE027
并且包括提及的固有与外在参数。等式（3）的模型是在成像平面72中将点转换为
Figure 95084DEST_PATH_IMAGE029
的偶次多项式，其中
Figure 420892DEST_PATH_IMAGE032
是需要确定以提供修正的参数，并且其中参数
Figure 4320DEST_PATH_IMAGE032
的数目限定了修正的精确度。校准处理在实验室环境中对确定参数
Figure 191719DEST_PATH_IMAGE032
的具体的相机执行。因此，除用于针孔相机模型的固有和外在参数之外，用于等式（3）的模型包括附加参数以确定径向畸变。由等式（3）的模型提供的非严重的径向畸变修正典型地对宽FOV相机是有效的，例如135°FOV相机。然而，对于超宽FOV相机，即，180°FOV，径向畸变对于等式（3）的模型而言太严重了以至于不能生效。换句话说，当相机的FOV超过一些值时，例如，140°至150°，当角度
Figure 691280DEST_PATH_IMAGE020
接近90°时，值
Figure 762004DEST_PATH_IMAGE027
变为无穷大。对于超宽FOV相机，在现有技术中提出了在等式（4）中示出的严重径向畸变修正模型以提供对严重径向畸变的修正。
图9图解了示出了圆顶以图解FOV的鱼眼模型。该圆顶表示鱼眼镜头相机模型并且由鱼眼模型可以获得的FOV达到180°或以上。鱼眼镜头是超宽角度镜头，其产生旨在产生宽的全景或半球图像的很强的视觉畸变。鱼眼镜头通过放弃产生具有透视的直线的图像（直线图像），选择替代具体映射（例如，相等立体角度）而获得及其宽的视图角度，其为图像给出了特性凸状非直线外观。该模型表示严重的径向畸变，其在以下的等式（4）中示出，其中等式（4）是奇数序多项式，并且包括用于提供在图像平面79中的点
Figure 815410DEST_PATH_IMAGE027
至点
Figure 592874DEST_PATH_IMAGE029
的径向修正技术。如上，图像平面由坐标
Figure 73533DEST_PATH_IMAGE002
和
Figure 552925DEST_PATH_IMAGE003
限定，并且目标空间由全局坐标限定。此外，
Figure 41992DEST_PATH_IMAGE020
是入射线入射线与光轴之间的入射角。在图解中，点
Figure 693554DEST_PATH_IMAGE034
是使用针孔相机模型的目标点的虚拟图像点，其中当
Figure 321030DEST_PATH_IMAGE020
接近90°时其径向距离可以变为无穷大。在径向距离的点
Figure 162581DEST_PATH_IMAGE036
是点的实际图像，其具有可以由等式（4）建模的径向畸变。
等式（4）中的值
Figure 951731DEST_PATH_IMAGE036
是确定的参数。因此，入射角用来在校准处理期间基于计算的参数提供畸变修正。
Figure 902687DEST_PATH_IMAGE037
在现有技术中公知多种技术以提供用于对等式（3）的模型的参数
Figure 639699DEST_PATH_IMAGE032
和等式（4）的模型的参数
Figure 163084DEST_PATH_IMAGE036
提供估计。例如，在一个实施例中，使用了棋盘式图案并且图案的多个图像采用不同的视角度，其中相邻正方形之间的图案中的每个拐角点被识别。棋盘式图案中的每一点被标记并且每个点的位置在图像平面与全局坐标中的目标空间两者中被识别。相机的校准是由将实际图像点与3D目标空间点的二次投影之间的误差距离最小化通过参数估计而获得。
在方框63中，实际入射线角度（
Figure 779879DEST_PATH_IMAGE038
）与（
Figure 755925DEST_PATH_IMAGE039
）由实际相机模型确定。对应的入射线将由（
Figure 234311DEST_PATH_IMAGE038
，
Figure 877782DEST_PATH_IMAGE039
）表示。
方框64表示转换处理（图12中描述的），其中存在平移和/或倾斜情况。
在方框65中，确定虚拟入射线角度
Figure 212948DEST_PATH_IMAGE040
和对应的
Figure 128821DEST_PATH_IMAGE041
。如果没有虚拟倾斜和/或平移，然后（
Figure 207635DEST_PATH_IMAGE040
，）将等于（
Figure 149363DEST_PATH_IMAGE038
，
Figure 365581DEST_PATH_IMAGE039
）。如果虚拟倾斜和/或平移存在，则必须做出调整以确定虚拟入射线。将在下文中详细讨论虚拟入射线。
在方框66中，一旦已知入射线角度，则通过使用各个相机模型（例如，针孔模型）和各个非平面成像表面（例如，圆柱成像表面）作用视图合成。
在方框67中，与非平面表面交叉的虚拟入射线在虚拟图像中确定。与虚拟非平面表面交叉的虚拟入射线的坐标在虚拟图像上示出为（
Figure 435037DEST_PATH_IMAGE042
，
Figure 787521DEST_PATH_IMAGE043
）。因此，虚拟图像（
Figure 667752DEST_PATH_IMAGE042
，
Figure 105687DEST_PATH_IMAGE043
）上的像素的映射对应于实际图像（
Figure 526304DEST_PATH_IMAGE018
，
Figure 185824DEST_PATH_IMAGE019
）上的像素。
应当理解，景观上述流程图展现了通过获得实际图像中的像素并且发现与虚拟图像的相互关系的视图合成，但当在车辆中使用时可以以相反顺序执行。即，由于畸变和焦点仅在各个加亮区域上（例如，圆柱/椭圆形状），实际图像上的每个点可以不在虚拟图像中使用。因此，如果处理相对于没有使用的这些点进行，则在处理没有使用的像素中浪费了时间。因此，对于图像的车辆内处理，执行相反顺序。即，在虚拟图像中识别位置并且在实际图像中识别对应的点。以下描述了用于识别虚拟图像中的像素和确定实际图像中对应像素的细节。
图10图解了用于获得虚拟坐标（，
Figure 896608DEST_PATH_IMAGE043
）67的第一步和作用用于识别虚拟入射角（，
Figure 447993DEST_PATH_IMAGE041
）65的视图合成的第一步。图11展现了投影到各自的圆柱成像表面模型上的入射线。入射角
Figure 925153DEST_PATH_IMAGE020
的水平投影水平投影由角度表示。用于确定角度
Figure 37783DEST_PATH_IMAGE044
的公式遵循以下等距投影：
Figure 219366DEST_PATH_IMAGE045
其中是虚拟图像点u-轴（水平）坐标，
Figure 761391DEST_PATH_IMAGE008
是相机的u方向（水平）焦距，并且
Figure 327502DEST_PATH_IMAGE010
是图像中心u轴坐标。
接下来，角度
Figure 301274DEST_PATH_IMAGE020
的垂直投影由角度
Figure 927427DEST_PATH_IMAGE046
表示。用于确定角度
Figure 314546DEST_PATH_IMAGE046
的公式遵循以下直线投影：
Figure 605719DEST_PATH_IMAGE047
其中
Figure 761894DEST_PATH_IMAGE043
是虚拟图像点v-轴（垂直）坐标，
Figure 496632DEST_PATH_IMAGE009
是相机的v方向（垂直）焦距，以及
Figure 105468DEST_PATH_IMAGE011
是图像中心v轴坐标。
入射线角度然后可以通过以下公式确定：
Figure 465911DEST_PATH_IMAGE048
如以上描述的，如果在虚拟相机与实际相机的光轴70之间没有平移或倾斜，则虚拟入射线（
Figure 476592DEST_PATH_IMAGE040
，）和实际入射线（
Figure 478363DEST_PATH_IMAGE038
，
Figure 924388DEST_PATH_IMAGE039
）相同。如果平移和/或倾斜存在，则必须对虚拟入射线和实际入射线的投影的相关性做出补偿。
图12图解了当虚拟倾斜和/或平移63存在时从虚拟入射线角度64至实际入射线角度64的转换的方框图。图13图解了由于虚拟平移和/或倾斜转动从虚拟至实际的轴变化之间的比较。入射线位置不变化，因此如所示的对应的虚拟入射线角度和实际入射线角度与平移和倾斜相关。入射线由角度（，
Figure 380963DEST_PATH_IMAGE021
）表示，其中，
Figure 964391DEST_PATH_IMAGE020
是入射线与光轴之间的角度（由z轴表示），并且
Figure 151790DEST_PATH_IMAGE021
是x轴与入射线在x-y平面上的投影之间的角度。
对于每个确定的虚拟入射线（
Figure 137064DEST_PATH_IMAGE040
，），入射线上的任意点可以由以下矩阵表示：
Figure 704497DEST_PATH_IMAGE049
其中是点离原点的距离。
虚拟平移和/或倾斜可以由以下的旋转矩阵表示：
Figure DEST_PATH_IMAGE051
其中
Figure 535367DEST_PATH_IMAGE044
是平移角度，并且是倾斜角度。
在识别虚拟平移和/或倾斜转动后，在相同入射线（对于现实）上的相同点的坐标将是如下：
Figure 495419DEST_PATH_IMAGE052
在转动的坐标系中新的入射线将是如下：
Figure 290199DEST_PATH_IMAGE053
因此，当倾斜和/或平移相对于虚拟相机模型存在时在（
Figure 984486DEST_PATH_IMAGE040
，
Figure 822998DEST_PATH_IMAGE041
）与（
Figure 868314DEST_PATH_IMAGE038
，
Figure 263523DEST_PATH_IMAGE039
）之间确定一致。应当理解，在（
Figure 749999DEST_PATH_IMAGE040
，）与（
Figure 286166DEST_PATH_IMAGE038
，
Figure 219487DEST_PATH_IMAGE039
）之间的一直不与入射线上距离
Figure 888365DEST_PATH_IMAGE050
处的任何具体点相关。实际入射线角度仅与虚拟入射线角度（，
Figure 573742DEST_PATH_IMAGE041
）和虚拟平移和/或倾斜角
Figure 763283DEST_PATH_IMAGE044
和
Figure 286669DEST_PATH_IMAGE046
相关。
一旦知道实际入射线角度，如以上所讨论的在实际图像上各个光线的交点可以很容易地确定。结果是在虚拟图像上虚拟点映射至实际图像上对应的点。为了在实际图像上识别对应的点并且产生引起的图像，该处理对虚拟图像上的每个点执行。
图14图解了用于在后视镜显示装置上显示来自一个或多个图像捕获装置的捕获图像的整个系统图解的方框图。在80处总体上示出了多个图像捕获装置。多个图像捕获装置80包括至少一个前方相机，至少一个侧面相机，以及至少一个后视相机。
由图像捕获装置80捕获的图像输入至相机开关。基于诸如车辆速度，转弯，或倒进停车场地的车辆工作条件81可以启动多个图像捕获装置80。相机开关82基于通过诸如CAN总线的通信总线连通到相机开关82的车辆信息81启动一个或多个相机。各个相机还可以通过车辆的驾驶员有选择地启动。
来自所选择的图像捕获装置的捕获图像提供至处理单元22。处理单元22使用在此描述的各自的相机模型处理图像并且应用将捕获图像映射到后视镜装置24的显示器上的视图合成。
视镜模式按钮84可以由车辆的驾驶员致动，用于动态地启动在后视镜装置24上显示的景象相关的各自的模式。三个不同的模式包括，但不被限于，（1）具有观察相机的动态后视镜；（2）具有前视相机的动态视镜；以及（3）具有环境观察相机的动态观察视镜。
基于视镜模式和各自图像的处理的选择，处理的图像提供至后视成像装置24，其中捕获的景象的图像被复制并且经由后视成像显示装置24显示至车辆的驾驶员。
图15示出了使用单个相机的动态后视镜显示图像系统的方框图。动态后视镜显示成像系统包括具有宽角度FOV功能的单个相机90。相机的宽角度FOV可以大于，等于，或小于180度视角。
如果仅使用单个相机，不需要相机切换。捕获的图像输入至处理单元22，其中捕获的图像应用到相机模型。在该示例中使用的相机模型包括椭圆相机模型；然而，应当理解可以使用其它的相机模型。椭圆相机模型的投影意味着观察景象好像图像绕椭圆包围并且从内部观察。因此，与位于捕获图像的端部的像素相对，在图像的中心处的像素更靠近地观察。与侧面相对，在图像中心处的图像的缩放更大。
处理单元22也作用用于将来自椭圆模型的凹面的捕获图像映射到后视镜的平面显示屏上的视图合成。
视镜模式按钮84包括进一步的功能，其允许驾驶员控制后视镜显示器24的其它视图选项。可以由驾驶员选择的附加视图选项包括：（1）视镜显示关闭；（2）具有图像覆盖的视镜显示打开；以及（3）没有图像覆盖的视镜显示打开。
“视镜显示关闭”是指由捕获成像装置捕获的、被建模、处理、显示为去变形图像的图像不显示在后视镜显示装置上。而是后视镜仅在由视镜的反射属性捕获的那些目标时起到与视镜显示相同的功能。
“具有图像覆盖的视镜显示打开”是指由捕获成像装置捕获的、被建模、处理、并且投影为去变形图像的图像显示在示出了景象的宽角度FOV的图像捕获装置24上。此外，图像覆盖92（在图17中示出）投影到后视镜24的图像显示上。当通过具有普通反射属性的后视镜观察反射时，图像覆盖92复制将典型地由驾驶员看到的车辆的部件（例如，头枕，后窗玻璃装饰，C柱）。该图像覆盖92帮助驾驶员识别车辆相对于道路和围绕车辆的其它目标的相对定位。图像覆盖92优选地是透明的以允许驾驶员无阻碍地观察景象的整个内容。
“没有图像覆盖的视镜显示打开”显示如上所述的相同的捕获图像，但没有图像覆盖。图像覆盖的目的是允许驾驶员参考景象相对于车辆的内容；然而，驾驶员可能发现图像覆盖不需要并且可以选择在显示中没有图像覆盖。该选择完全按照车辆驾驶员的意愿。
基于选择作出到视镜按钮模式84，在方框24中适当的图像经由后视镜呈现给驾驶员。视镜按钮模式84可以由仅在高速时至视镜显示模式的开关，在低速或停车时至具有图像覆盖模式的视镜显示的开关，在停车时至具有图像覆盖模式的视镜显示的开关，速度调节的椭圆缩放因子，或转向信号激活的各自的视图显示模式中的至少一个自动地启动。
图16图解了与由宽角度FOV相机捕获的图像相比，使用典型的后视装置由驾驶员看到的观察区域的俯视图。区域96和98示出了分别由典型的侧视镜100和102捕获的覆盖区域。区域104示出了由车辆内的后视镜捕获的覆盖区域。区域106和108示出了将由宽角度FOV相机捕获的覆盖区域，而不是由侧视镜和后视镜捕获的。因此，由图像捕获装置捕获并且使用相机模型处理并且视图合成的显示在后视镜上的图像提供了将典型地被认为是盲点的增强的覆盖度。
图17图解了在后视镜的图像显示器上输出的景象的图示。如图所示，景象提供了围绕车辆后部的实质上180度视角。此外，图像可以处理，从而在显示器110的中心部分中的图像在较近的距离显示，而在端部112和114的图像相对于中心部分110在较远距离显示。基于驾驶员或车辆操作的需求，显示可以根据事件的发生进行修改。例如，如果在车辆后方检测的目标较近，则可以使用圆柱体相机模型。在这样的模型中，中心部分110将不会描述为这样接近于车辆，并且端部可以不这样远离车辆。此外，如果车辆在转弯过程中，相机模型将平移从而与图像的中心部分相对地在图像的端部缩放（在车辆转向的方向中）。这将基于提供至处理单元22的车辆信息112可以动态地控制。车辆信息可以从车辆的不同装置获得，这些装置包括，但不限制为，控制器，方向盘角度传感器，转向信号，偏航传感器，和速度传感器。
图18示出了使用多个面向后相机的动态后视镜显示成像系统的方框图。多个面向后相机116是窄FOV相机。在所示中，第一相机118，第二相机120，和第三相机122彼此间隔开预定距离（例如，10厘米）用于捕获车辆后方景象。相机118和120可以成角度以捕获车辆的后方和各个侧面的景象。每一捕获的图像重叠，从而图像缝合124可以从多个面向后相机116应用到捕获的图像上。
图像缝合124是将多个图像与图像FOV的重叠区域结合用于产生无缝的分段全景的处理。即，合成图像组合从而由于重叠区域已经合并，则没有引人注意的边界。如果如图19所示三个相机紧紧地间隔在一起，其仅具有FOV重叠和可忽略的位置偏移，则简单图像配准技术可以用于将三个视图图像缝合在一起。如果相机仔细地安装并且校准，最简单的实现是FOV剪裁并且切换。产生更精确结果的另一方法是在两个图像之间的重叠区域中发现对应的点偶组并且将这些点偶记录以缝合两个图像。相同的操作作用到在另一侧上的区域的另一重叠。如果三个相机不是紧紧地间隔在一起，而是留出一定距离，则立体视觉处理技术可以用于发现两个各自图像之间的重叠区域中的对应。实现是在来自两个相机的两个视图之间计算密度不一致映射并且发现对应性，其中重叠区域中目标的深度信号可以从不一致映射中获得。
在执行图像缝合124后，缝合的图像输入至处理单元22，用于作用相机建模和对图像的视图合成。由驾驶员选择视镜模式按钮84，用于显示捕获的图像并且可能地作用图像覆盖以对在后视镜24上显示的图像去变形。如所示，车辆信息可以提供至处理单元22，其帮助确定应当基于车辆工作条件作用的相机模型。此外，车辆信息用来改变相机模型的相机姿态相对于基于视觉的成像装置的姿态。
图19包括由在图18中描述的多个相机捕获的区域覆盖的自上而下视图。如所示，第一相机118捕获窄FOV图像126，第二相机120捕获窄FOV图像128，以及第三相机122捕获窄FOV图像130。如图19所示，图像重叠发生在由132示出的图像128和126之间。图像重叠也发生在由134示出的图像128和130之间。图像缝合122作用到重叠区域以在图20所示的图像之间产生无缝的过渡。结果是图像好像由单个相机捕获的图像一样。使用三个窄FOV相机的优点是不需要产生畸变的鱼眼镜头，其可能导致附加处理以减少畸变修正。
图21示出了使用两个面向后相机136的动态后视镜显示成像系统的方框图。两个面向后相机包括窄FOV相机138和宽FOV相机140。在所示中，第一相机138捕获窄FOV图像并且第二相机140捕获宽FOV图像。如图22所示，第一相机138（窄FOV图像）捕获车辆后方的中心区域。第二相机140（宽FOV图像）捕获车辆后方的整个周围区域144。系统包括相机开关82，处理器22，视镜模式按钮84，和观察视镜显示24。如果两个相机具有可以忽略的位置偏移，则简单图像记录技术可用于图像缝合以将图像牵引在一起。同样，为了记录点偶用于缝合宽FOV图像内的窄FOV图像的各个端部，在窄FOV图像和相关的宽FOV图像的重叠区域处的对应的点偶设置可以识别。目标是发现在两个FOV图像之间匹配的对应点，从而图像可以被映射并且任意附加的偏差处理可以作用用于将FOV图像缝合在一起。应当理解，为了识别两个图像之间的对应性，用于合并并且图像缝合窄FOV图像和宽FOV图像，可以作用其它的技术。
图23图解了使用多个面向上相机150的动态前视镜显示成像系统的方框图。面向上相机150是窄FOV相机。在所示中，第一相机152，第二相机154，和第三相机156彼此间隔开预定距离（例如，10cm）用于捕获车辆前方景象。相机152和156可以成角度以捕获车辆的前方和各个侧面的景象。每一捕获的图像重叠，从而图像缝合124可以从多个面向前相机150应用到捕获的图像上。
之前描述的图像缝合154是将具有图像视野的重叠区域的多个图像合并的处理，其用于产生无缝的分段的全景，从而在重叠区域已经合并时，没有引人注意的边界存在。在执行图像缝合124后，缝合的图像输入至处理单元22，用于作用相机建模和对图像的视图合成。由驾驶员选择视镜模式按钮84，用于显示捕获的图像并且可能地作用图像覆盖以对在后视镜24上显示的图像去变形。如所示，车辆信息81可以提供至处理单元22，用于确定应当基于车辆工作条件作用的相机模型。
图24示出了比较由驾驶员看到的由窄FOV相机捕获的图像的自上而下视图。该方案通常包括由车辆的侧面目标引起的或由在车辆很近范围的直接前方的车辆引起的在驾驶员的FOV中的障碍。这样的示例在图25中示出。如图25所示，车辆正努力离开进入交叉的交通，但由于在车辆156的每个侧面上的车辆158和160的接近和位置，在驾驶员的FOV中存在障碍。因此，在车辆158和160的反向方向中移动的车辆162驾驶员不能看见。是这样的方案中，为了使驾驶员获得靠近车道164的车辆的较宽的FOV，车辆156必须移动车辆的前部进入交叉交通的车道164。
再次参照图24，与有限的驾驶员FOV 166相反，成像系统为驾驶员提供宽的FOV（例如，>180度）164并且在没有必须将车辆的一部分延伸进入交叉交通通路的情况下允许驾驶员去看是否任意迎面的车辆正在靠近。区域168和170示出了将由前方成像系统捕获的覆盖区域，但由于目标或其它障碍可能不能被驾驶员看到。因此，由图像捕获装置捕获并且使用相机模型处理并且视图合成的图像显示在后视镜上，其提供了将典型地被认为是盲点的增强的覆盖度。
图26示出了使用多个面向周围相机180的可重构的动态后视镜显示成像系统的方框图。如图27a-d所示，每个各自的相机提供了为车辆的各个区域捕获的宽FOV图像。多个面向周围相机每个面对车辆的不同侧面并且是宽FOV相机。在图27a中，面向前相机182捕获在车辆183的前方区域中的宽视野图像。在图27b中，左侧面对相机184捕获在车辆185左侧区域中的宽视野图像（即，驾驶员一侧）。在图27c中，右侧面对相机186捕获在车辆187右边侧区域中的宽视野图像（即，乘客员一侧）。在图27d中，面向后相机188捕获在车辆189的后方区域中的宽视野图像。
由图像捕获装置180捕获的图像输入至相机开关82。相机开关82可以由驾驶员手动地致动，其允许驾驶员通过每一图像扳钮，用于显示选择的图像视图。相机开关82可以包括一种类型的人机接口，其包括，但不限制为，扳钮开关，允许驾驶员用手指碰擦屏幕、用于翻到下一屏幕的触屏应用或话音激活命令。如图27a-d中的箭头所示，驾驶员可以有选择地通过每一选择滚动，直到所需的成像显示在观察图像显示屏上。此外，响应于选择的各自的观察图像，图表可以显示在后视显示装置或类似装置上，识别启动了哪个各自的相机和相关的FOV相机。图标可以类似于图27a-d中所示的，或任意其它可见的图标可以用来为驾驶员显示启动了与车辆的各自的位置相关的各自的相机。
图28a和图28b示出了后视镜装置，其显示了捕获图像和表示正在显示在后视显示装置上的视图的图标。如图28a所示，由驾驶员侧面成像装置捕获的图像显示在后视显示装置上。表示左侧面对相机184的图标捕获由图标185表示的在车辆左侧（即，驾驶员一侧）的宽视野图像。图标优选地显示在后视显示装置或类似的显示装置上。在相同的装置上显示捕获的图像的显示优点是在没有从显示装置转移目光的情况下驾驶员可以立即明白哪个视图驾驶员正在看。优选地，根据正在显示的视图，图标是相对于图像并列的。例如，在图28a中，图像显示了在车辆驾驶员侧上捕获的视图。因此，在后视显示装置上显示的图像位于图表的驾驶员一侧上，从而驾驶员领会了正在显示的视图与如果驾驶员正朝驾驶员一侧的窗户看时的相同。
类似地在图28b中，由乘客一侧成像装置捕获的图像显示在后视显示装置上。表示右侧面对相机186的图标捕获了由图标187表示的车辆右侧（即，乘客一侧）的宽视野图像。因此，在显示装置上显示的图像位于图标的乘客一侧上，从而驾驶员领会了视图是当前朝乘客一侧窗户向外看的视图。
再次参照图26，来自所选择的图像捕获装置的捕获图像提供至处理单元22。处理单元22从由驾驶员选择的景象中处理图像并且应用各自的相机模型和视图处理，用于将捕获图像映射到后视镜装置上。
车辆信息81还可以应用到相机开关82或处理单元22上，其基于正在发生的车辆操作改变图像视图或相机模型。例如，如果车辆正在转弯，相机模型可以是平移从而在与图像的中心部分相反的端部中缩放。这将基于提供至处理单元22的车辆信息81可以动态地控制。车辆信息可以从车辆的不同装置获得，这些装置包括，但不限制为，控制器，方向盘角度传感器，转向信号，偏航传感器，和速度传感器。
视镜模式按钮84可以由车辆的驾驶员启动，用于动态地启动在后视镜装置24上显示的景象相关的各自的模式。三个不同的模式包括，但不被限于，（1）具有观察相机的动态后视镜；（2）具有前视相机的动态视镜；以及（3）具有环境观察相机的动态观察视镜。
基于视镜模式和各自图像的处理的选择，处理的图像提供至后视成像装置24，其中捕获的景象的图像被复制并且经由后视成像显示装置24显示至车辆的驾驶员。
尽管已经详细描述了本发明的某些实施例，但本领域技术人员将会理解用于实践本发明的各种可替换设计和实施例由以下权利要求限定。

Claims (10)

1.一种用于在显示装置上显示的捕获的图像的方法，包括步骤：
由至少一个基于视觉的成像装置捕获景象；
使用相机模型由处理器产生捕获景象的虚像；
由处理器作用视图合成技术至捕获的图像，用于产生去变形的虚像；
启动动态后视镜显示模式，用于启动在后视镜显示装置上的去变形的图像的观察模式；以及
在后视镜显示装置上在启动的观察模式中显示去变形的图像。
2.根据权利要求1所述的方法，其中多个图像是由包括车辆外部多个不同的观察区域的多个图像捕获装置捕获的，多个图像具有用于产生车辆外部景象的全景的重叠边界，其中所述方法还包括步骤：
在相机建模之前，作用图像缝合至由多个图像捕获装置捕获的多个图像中的每一个上，图像缝合是将多个图像合并，用于在多个图像的重叠区域之间产生无缝的过渡。
3.根据权利要求2所述的方法，其中图像缝合包括各个图像的重叠区域的夹住和切换，用于产生无缝的过渡。
4.根据权利要求2所述的方法，其中图像缝合包括在两个各自的图像之间的重叠区域中识别对应的点偶组并且为了缝合两个各自的图像记录对应的点偶。
5.根据权利要求2所述的方法，其中图像缝合包括作用以发现两个各自的图像之间的重叠区域中的对应性的立体视觉处理技术。
6.根据权利要求2所述的方法，其中多个图像捕获装置包括每个捕获不同的各自的视野景象的三个窄视野图像捕获装置，其中每组相邻的视野景象包括重叠景象内容，并且其中图像缝合被应用到相邻视野景象的每组的重叠景象内容上。
7.根据权利要求6所述的方法，其中应用到三个窄视野上的图像缝合产生约180度的全景景象。
8.根据权利要求2所述的方法，其中多个图像捕获装置包括窄视野图像捕获装置和宽视野图像捕获装置，窄视野图像捕获装置捕获窄视野景象，宽视野图像捕获装置捕获基本上180度的宽视野景象，其中为了提高视野重叠，窄视野捕获景象是宽视野捕获景象的子集，其中在窄视野景象和相关的宽视野景象的重叠区域处对应的点偶组被识别，用于记录用于窄视野景象和宽视野景象的图像缝合。
9.根据权利要求1所述的方法，其中启动观察模式是从视镜显示模式，具有图像覆盖模式的视镜显示打开，以及没有图像覆盖模式的视镜显示打开中选择的，其中视镜显示模式不投影图像在后视显示视镜上，其中具有图像覆盖模式的视镜显示打开投影产生的去变形图像和复制车辆的内部部件的图像覆盖，并且其中没有图像覆盖模式的视镜显示仅显示产生的去变形的图像。
10.根据权利要求9所述的方法，其中选择用于产生复制车辆内部部件的图像覆盖的、具有图像覆盖模式的视镜显示打开包括在后视镜显示装置中复制头枕，后窗玻璃装饰以及C柱的至少一个。
CN201310489833.4A 2012-10-19 2013-10-18 动态后视镜显示特征 Expired - Fee Related CN103770706B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201261715946P 2012-10-19 2012-10-19
US61/715946 2012-10-19
US61/715,946 2012-10-19
US13/835,741 2013-03-15
US13/835,741 US20140114534A1 (en) 2012-10-19 2013-03-15 Dynamic rearview mirror display features
US13/835741 2013-03-15

Publications (2)

Publication Number Publication Date
CN103770706A true CN103770706A (zh) 2014-05-07
CN103770706B CN103770706B (zh) 2016-03-23

Family

ID=50486085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310489833.4A Expired - Fee Related CN103770706B (zh) 2012-10-19 2013-10-18 动态后视镜显示特征

Country Status (3)

Country Link
US (1) US20140114534A1 (zh)
CN (1) CN103770706B (zh)
DE (1) DE102013220669A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104477098A (zh) * 2014-11-28 2015-04-01 广东好帮手电子科技股份有限公司 基于后视镜盒子的双屏驾车提示系统及方法
CN107054222A (zh) * 2015-12-03 2017-08-18 菲科镜子股份有限公司 一种用于机动车辆的后视系统
CN108604366A (zh) * 2016-01-06 2018-09-28 德克萨斯仪器股份有限公司 使用预定视点查找表的环绕视图的三维渲染
CN108621943A (zh) * 2017-03-22 2018-10-09 通用汽车环球科技运作有限责任公司 用于在车辆电子显示器上动态显示图像的系统和方法
CN109544460A (zh) * 2017-09-22 2019-03-29 宝沃汽车（中国）有限公司 图像矫正方法、装置及车辆
CN110023141A (zh) * 2016-11-30 2019-07-16 伟摩有限责任公司 用于在车辆转弯时调整虚拟相机的朝向的方法和系统
CN111699516A (zh) * 2018-01-08 2020-09-22 康诺特电子有限公司 用于通过将虚拟相机朝向机动车辆的内后视镜移位来生成环境的表示的方法；以及相机设备

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100959347B1 (ko) * 2010-02-24 2010-05-20 조성호 자동차의 좌우후방 시야확보 장치
DE102013002111B4 (de) * 2013-02-08 2021-11-18 Mekra Lang Gmbh & Co. Kg Sichtsystem für Fahrzeuge, insbesondere Nutzfahrzeuge
TWM463215U (zh) * 2013-02-26 2013-10-11 Chao-Chih Hsu 具有前後指向視角之攝像裝置
US9815409B2 (en) * 2013-05-09 2017-11-14 Magna Mirrors Of America, Inc. Rearview vision system for vehicle
TWI528325B (zh) * 2013-10-18 2016-04-01 財團法人資訊工業策進會 影像處理方法及應用影像處理方法之系統
KR101566910B1 (ko) * 2014-07-09 2015-11-13 현대모비스 주식회사 차량 운전 보조 장치 및 그 동작 방법
KR101592740B1 (ko) * 2014-07-24 2016-02-15 현대자동차주식회사 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법
US10442355B2 (en) * 2014-09-17 2019-10-15 Intel Corporation Object visualization in bowl-shaped imaging systems
WO2016047087A1 (ja) * 2014-09-24 2016-03-31 パナソニックＩｐマネジメント株式会社 車載用電子ミラー
US20160107572A1 (en) * 2014-10-20 2016-04-21 Skully Helmets Methods and Apparatus for Integrated Forward Display of Rear-View Image and Navigation Information to Provide Enhanced Situational Awareness
TWI514065B (zh) * 2014-11-07 2015-12-21 Papago Inc 360 degree road traffic recorder
JP6520634B2 (ja) * 2014-11-18 2019-05-29 株式会社デンソー 車両用の映像切替装置
KR102234477B1 (ko) * 2015-01-15 2021-04-01 한국전자통신연구원 영상 품질에 기초한 파노라마 영상 생성 장치 및 방법
DE102015208343B4 (de) 2015-05-06 2023-09-07 Robert Bosch Gmbh Verfahren zum Erzeugen eines Gesamtbildes einer Fahrzeugumgebung eines Fahrzeuges und entsprechende Vorrichtung
US9942475B2 (en) 2015-07-24 2018-04-10 Robert Bosch Gmbh Real cross traffic—quick looks
KR101795180B1 (ko) * 2015-12-11 2017-12-01 현대자동차주식회사 페일 세이프 기능을 갖는 차량 측후방 모니터링 장치 및 방법
US10324290B2 (en) 2015-12-17 2019-06-18 New Skully, Inc. Situational awareness systems and methods
CN105667398B (zh) * 2016-01-04 2018-10-23 京东方科技集团股份有限公司 汽车后视镜的图像显示方法及系统
SE539443C2 (en) 2016-02-10 2017-09-26 Scania Cv Ab System for reducing a blind spot for a vehicle
CN105620365A (zh) * 2016-02-26 2016-06-01 东南（福建）汽车工业有限公司 一种倒驻车时的辅助全景影像显示方法
US10618467B2 (en) * 2016-03-22 2020-04-14 Research & Business Foundation Sungkyunkwan University Stereo image generating method using mono cameras in vehicle and providing method for omnidirectional image including distance information in vehicle
JP6401733B2 (ja) * 2016-04-15 2018-10-10 本田技研工業株式会社 画像表示装置
DE102016211227A1 (de) 2016-06-23 2017-12-28 Conti Temic Microelectronic Gmbh Verfahren und Fahrzeugsteuersystem zum Erzeugen von Abbildungen eines Umfeldmodells und entsprechendes Fahrzeug
SE539981C2 (en) 2016-06-28 2018-02-20 Scania Cv Ab Method and control unit for a digital mirror
JP6459016B2 (ja) * 2016-07-22 2019-01-30 パナソニックＩｐマネジメント株式会社 撮像システム、および、移動体システム
DE102016225066A1 (de) * 2016-12-15 2018-06-21 Conti Temic Microelectronic Gmbh Rundumsichtsystem für ein Fahrzeug
US10887556B2 (en) * 2016-12-27 2021-01-05 Alpine Electronics, Inc. Rear-view camera and light system for vehicle
US10313584B2 (en) * 2017-01-04 2019-06-04 Texas Instruments Incorporated Rear-stitched view panorama for rear-view visualization
US20180236939A1 (en) * 2017-02-22 2018-08-23 Kevin Anthony Smith Method, System, and Device for a Forward Vehicular Vision System
DE102017206442B4 (de) * 2017-04-13 2021-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur Abbildung von Teilgesichtsfeldern, Multiaperturabbildungsvorrichtung und Verfahren zum Bereitstellen derselben
US10681273B2 (en) * 2017-08-24 2020-06-09 Samsung Electronics Co., Ltd. Mobile device including multiple cameras
US10596970B2 (en) * 2017-08-25 2020-03-24 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Auto-switch display intelligent rearview mirror system
EP3451279A1 (en) * 2017-08-30 2019-03-06 SMR Patents S.à.r.l. Rear view mirror simulation
US10616470B2 (en) 2017-08-31 2020-04-07 Snap Inc. Wearable electronic device with hardware secured camera
EP3687860B1 (en) * 2017-09-27 2021-12-29 Gentex Corporation Full display mirror with accommodation correction
JP6504529B1 (ja) * 2017-10-10 2019-04-24 マツダ株式会社 車両用表示装置
CN111279672B (zh) * 2017-10-26 2022-10-18 哈曼国际工业有限公司 环绕视图系统及其方法
US10618471B2 (en) 2017-11-30 2020-04-14 Robert Bosch Gmbh Virtual camera panning and tilting
JP7106859B2 (ja) * 2017-12-27 2022-07-27 トヨタ自動車株式会社 画像表示装置
DE102018203590A1 (de) 2018-03-09 2019-09-12 Conti Temic Microelectronic Gmbh Surroundview-System mit angepasster Projektionsfläche
DE102018215006A1 (de) * 2018-09-04 2020-03-05 Conti Temic Microelectronic Gmbh Vorrichtung und verfahren zur darstellung einer umgebungsansicht für ein fahrzeug
JP7073237B2 (ja) * 2018-09-25 2022-05-23 アルパイン株式会社 画像表示装置、画像表示方法
JP7208356B2 (ja) * 2018-09-26 2023-01-18 コーヒレント・ロジックス・インコーポレーテッド 任意の世界ビューの生成
WO2020122079A1 (ja) 2018-12-11 2020-06-18 ソニー株式会社 画像処理装置、画像処理方法および画像処理システム
BR112021016305B1 (pt) * 2019-02-19 2024-03-05 Orlaco Products B.V Sistema de espelho de câmera para um veículo e método de exibir múltiplas vistas de câmera de veículo
US11050932B2 (en) * 2019-03-01 2021-06-29 Texas Instruments Incorporated Using real time ray tracing for lens remapping
JP7280006B2 (ja) * 2019-08-06 2023-05-23 アルパイン株式会社 画像処理装置、画像処理方法および画像処理プログラム
CN113837936A (zh) * 2020-06-24 2021-12-24 上海汽车集团股份有限公司 一种全景图像的生成方法和装置
CN112367502B (zh) * 2020-10-19 2023-12-26 合肥晟泰克汽车电子股份有限公司 路况画面拼接方法
CN112348817B (zh) * 2021-01-08 2021-05-11 深圳佑驾创新科技有限公司 车位识别方法、装置、车载终端和存储介质
CN114419949B (zh) * 2022-01-13 2022-12-06 武汉未来幻影科技有限公司 一种汽车后视镜影像重建方法及后视镜

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996038319A2 (en) * 1995-05-22 1996-12-05 Donnelly Corporation Rearview vision system for vehicle including panoramic view
EP1241898A2 (en) * 2001-03-12 2002-09-18 Eastman Kodak Company Method for generating panoramic images from a plurality of images
CN1787636A (zh) * 2004-12-07 2006-06-14 本田制锁有限公司 车辆视野辅助装置
US20090079828A1 (en) * 2007-09-23 2009-03-26 Volkswagen Of America, Inc. Camera System for a Vehicle and Method for Controlling a Camera System
US20100201816A1 (en) * 2009-02-06 2010-08-12 Lee Ethan J Multi-display mirror system and method for expanded view around a vehicle
CN102263926A (zh) * 2010-05-31 2011-11-30 鸿富锦精密工业（深圳）有限公司 电子设备及其图像处理方法
JP2012001126A (ja) * 2010-06-18 2012-01-05 Clarion Co Ltd 車両用周辺監視装置
CN102714710A (zh) * 2009-12-07 2012-10-03 歌乐牌株式会社 车辆周边图像显示系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69324224T2 (de) * 1992-12-29 1999-10-28 Koninkl Philips Electronics Nv Bildverarbeitungsverfahren und -vorrichtung zum Erzeugen eines Bildes aus mehreren angrenzenden Bildern
US5796426A (en) * 1994-05-27 1998-08-18 Warp, Ltd. Wide-angle image dewarping method and apparatus
US5978017A (en) * 1997-04-08 1999-11-02 Tino; Jerald N. Multi-camera video recording system for vehicles
US6064399A (en) * 1998-04-03 2000-05-16 Mgi Software Corporation Method and system for panel alignment in panoramas
US6420975B1 (en) * 1999-08-25 2002-07-16 Donnelly Corporation Interior rearview mirror sound processing system
US8130269B2 (en) * 2005-03-23 2012-03-06 Aisin Aw Co., Ltd. Visual recognition apparatus, methods, and programs for vehicles
JP4561479B2 (ja) * 2005-05-26 2010-10-13 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
US20090128630A1 (en) * 2006-07-06 2009-05-21 Nissan Motor Co., Ltd. Vehicle image display system and image display method
US20080239077A1 (en) * 2007-03-31 2008-10-02 Kurylo John K Motor vehicle accident recording system
US8154418B2 (en) * 2008-03-31 2012-04-10 Magna Mirrors Of America, Inc. Interior rearview mirror system
US8471908B2 (en) * 2010-10-18 2013-06-25 GM Global Technology Operations LLC Three-dimensional mirror display system for a vehicle and method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996038319A2 (en) * 1995-05-22 1996-12-05 Donnelly Corporation Rearview vision system for vehicle including panoramic view
EP1241898A2 (en) * 2001-03-12 2002-09-18 Eastman Kodak Company Method for generating panoramic images from a plurality of images
CN1787636A (zh) * 2004-12-07 2006-06-14 本田制锁有限公司 车辆视野辅助装置
US20090079828A1 (en) * 2007-09-23 2009-03-26 Volkswagen Of America, Inc. Camera System for a Vehicle and Method for Controlling a Camera System
US20100201816A1 (en) * 2009-02-06 2010-08-12 Lee Ethan J Multi-display mirror system and method for expanded view around a vehicle
CN102714710A (zh) * 2009-12-07 2012-10-03 歌乐牌株式会社 车辆周边图像显示系统
CN102263926A (zh) * 2010-05-31 2011-11-30 鸿富锦精密工业（深圳）有限公司 电子设备及其图像处理方法
JP2012001126A (ja) * 2010-06-18 2012-01-05 Clarion Co Ltd 車両用周辺監視装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MATTHEW BROWN AND DAVID G.LOWE: "Automatic Panoramic Image Stitching using Invariant Features", 《INTERNATIONAL JOURNAL OF COMPUTER VISION》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104477098A (zh) * 2014-11-28 2015-04-01 广东好帮手电子科技股份有限公司 基于后视镜盒子的双屏驾车提示系统及方法
CN107054222A (zh) * 2015-12-03 2017-08-18 菲科镜子股份有限公司 一种用于机动车辆的后视系统
CN107054222B (zh) * 2015-12-03 2022-04-22 菲科镜子股份有限公司 一种用于机动车辆的后视系统
CN108604366A (zh) * 2016-01-06 2018-09-28 德克萨斯仪器股份有限公司 使用预定视点查找表的环绕视图的三维渲染
CN108604366B (zh) * 2016-01-06 2023-12-15 德克萨斯仪器股份有限公司 使用预定视点查找表的环绕视图的三维渲染
CN110023141A (zh) * 2016-11-30 2019-07-16 伟摩有限责任公司 用于在车辆转弯时调整虚拟相机的朝向的方法和系统
CN110023141B (zh) * 2016-11-30 2023-08-08 伟摩有限责任公司 用于在车辆转弯时调整虚拟相机的朝向的方法和系统
CN108621943A (zh) * 2017-03-22 2018-10-09 通用汽车环球科技运作有限责任公司 用于在车辆电子显示器上动态显示图像的系统和方法
CN108621943B (zh) * 2017-03-22 2021-09-28 通用汽车环球科技运作有限责任公司 用于在车辆电子显示器上动态显示图像的系统和方法
CN109544460A (zh) * 2017-09-22 2019-03-29 宝沃汽车（中国）有限公司 图像矫正方法、装置及车辆
CN111699516A (zh) * 2018-01-08 2020-09-22 康诺特电子有限公司 用于通过将虚拟相机朝向机动车辆的内后视镜移位来生成环境的表示的方法；以及相机设备
CN111699516B (zh) * 2018-01-08 2023-12-29 康诺特电子有限公司 车辆环境表示的方法、装置、计算机可读介质及相机设备

Also Published As

Publication number Publication date
US20140114534A1 (en) 2014-04-24
DE102013220669A1 (de) 2014-05-08
CN103770706B (zh) 2016-03-23

Similar Documents

Publication Publication Date Title
CN103770706B (zh) 动态后视镜显示特征
CN104442567B (zh) 交通工具图像显示系统中的物体突显和传感
US9858639B2 (en) Imaging surface modeling for camera modeling and virtual view synthesis
JP3300334B2 (ja) 画像処理装置および監視システム
EP1179958B1 (en) Image processing device and monitoring system
US20150109444A1 (en) Vision-based object sensing and highlighting in vehicle image display systems
JP6311020B2 (ja) 映像合成システムとそのための映像合成装置及び映像合成方法
JP5444338B2 (ja) 車両周囲監視装置
WO2019192359A1 (zh) 一种车载全景视频显示系统、方法及车载控制器
JP2004021307A (ja) 運転支援装置
JP2007109166A (ja) 運転支援システム
CN103770708A (zh) 通过景物亮度估计的动态后视镜自适应减低亮度覆盖
JP2008048345A (ja) 画像処理装置並びに視界支援装置及び方法
JP2013183298A (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
JP2010028803A (ja) 駐車補助のための画像表示方法
KR101278654B1 (ko) 차량의 주변 영상 디스플레이 장치 및 방법
KR102235951B1 (ko) 차량용 영상 생성 장치 및 방법
KR20190026507A (ko) 차량용 영상 생성 장치 및 방법
JPWO2020122079A1 (ja) 画像処理装置、画像処理方法および画像処理システム
JP2019202584A (ja) 画像処理装置および画像処理方法
WO2020122084A1 (ja) 画像処理装置、画像処理方法および画像処理システム
JP7135378B2 (ja) 周辺監視装置
KR20170020666A (ko) Avm 시스템 및 사각지대 영상 합성 방법
JP6187322B2 (ja) 画像表示装置、画像表示システム
CN218877068U (zh) 具有图像合成功能的数字式后视镜、车机系统和车辆

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160323

Termination date: 20171018