CN104163133B - 使用后视镜位置的后视摄像机系统 - Google Patents
使用后视镜位置的后视摄像机系统 Download PDFInfo
- Publication number
- CN104163133B CN104163133B CN201410174627.9A CN201410174627A CN104163133B CN 104163133 B CN104163133 B CN 104163133B CN 201410174627 A CN201410174627 A CN 201410174627A CN 104163133 B CN104163133 B CN 104163133B
- Authority
- CN
- China
- Prior art keywords
- image
- visual field
- vehicle
- display
- merging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 claims abstract description 84
- 238000000034 method Methods 0.000 claims description 8
- 230000003190 augmentative effect Effects 0.000 claims description 7
- 238000009434 installation Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims 1
- 238000012986 modification Methods 0.000 claims 1
- 238000003384 imaging method Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000010354 integration Effects 0.000 description 7
- 238000004140 cleaning Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 2
- 238000000576 coating method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000000465 moulding Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000010257 thawing Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Closed-Circuit Television Systems (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
一种用于机动车辆的后视系统，包括：靠近车辆的前挡风玻璃安装的图像显示器；具有第一视野并获得指向车辆外部的第一图像的外部图像传感器；具有第二视野并获得指向车辆内部的第二图像的内部图像传感器；根据第一视野和第二视野的预定对准合并第一图像和第二图像的图像集成器，其中第二图像在合并的图像中被柔和化以便第一图像在图像显示器上显示时被突出显示。
Description
相关申请的交叉引用
不可用。
关于联邦政府资助的状态
不可用。
技术领域
本发明总的来说涉及驾驶员视觉系统，更具体地，涉及一种使用具有大视角的外部摄像机、内部摄像机以及向驾驶员提供环境信息的显示器的后视摄像机系统。
背景技术
使驾驶员能够监视车辆后方和侧面的环境的传统视觉辅助设备包括安装于外部的侧视镜和安装于内部的后视镜。镜的位置和形状经过调整以试图将盲点减到最少。由于在镜的视野、安装位置和由其他固定车辆结构造成的阻碍之间存在很多权衡，可能仍然会产生盲点。例如，倾向于增加头枕的尺寸会导致对位于中央的后视镜的后方视野的遮挡增加。通过后视镜的视野还会受到暂时位于内部中的物体(例如后座乘客和货物)的遮挡或受到来自其他车辆的前照灯的眩光的影响。另外，车辆尺寸和/或造型因素会导致使用相对较小的后窗，后视镜通过该后窗获得外部视野。除了窗户尺寸，有时积聚在后窗上的污垢、霜或雪也可能会阻碍由后视镜获得的视野。
已开始引入倒车摄像机连同提供在仪表板或仪表盘上的实时影像显示器以缓解这些问题。通常，来自倒车摄像机的图像经过水平翻转后显示在显示屏上，以便向驾驶员提供镜像图像(即，因为驾驶员的观看方向与摄像机相反，所以图像是翻转的以使显示的图像中的左侧和右侧与驾驶员的左侧和右侧对应)。当挂倒车挡时，后视显示屏被开启以帮助驾驶员察看在其倒车路径上是否有任何物体，但是在向前行驶的过程中通常会关闭显示屏，这是因为，由于将相反的摄像机图像整合于头脑中的环境参考系中可能存在困难，所以视频影像可能会分散驾驶员的注意力或者可能会迷惑驾驶员。
发明内容
本发明配置了后视摄像机系统以向驾驶员呈现图像，使用显示器安装位置和/或视觉提示改善它们用于说明显示的图像的参考系。
本发明的一方面提供了一种用于机动车辆的后视系统，其包括靠近车辆的前挡风玻璃安装的图像显示器。具有第一视野并获得指向车辆外部的第一图像的外部图像传感器。具有第二视野并获得指向车辆内部的第二图像的内部图像传感器。根据第一视野和第二视野的预定对准合并第一图像和第二图像的图像集成器，其中第二图像在合并的图像中被柔和化以便在图像显示器上显示时突出显示第一图像。
根据本发明的一个方面，图像显示器位于挡风玻璃的与传统后视镜的位置对应的顶部、中央位置。
根据本发明的一个方面，内部图像传感器与图像显示器结合在一起。
根据本发明的一个方面，图像显示器包括LCD屏幕。
根据本发明的一个方面，图像集成器包括增强现实应用。
根据本发明的一个方面，第一图像和第二图像包括各自的像素，并且第二图像的柔和化包括降低第二图像的像素作用于合并的图像上的强度。
根据本发明的一个方面，第一图像和第二图像包括各自的像素，并且第二图像的柔和化包括降低第二图像的像素的饱和度。
根据本发明的一个方面，第二图像的柔和化程度可调。
根据本发明的一个方面，第二图像的柔和化包括使部分第二图像变成透明的。
根据本发明的一个方面，图像集成器在第二图像中识别选定物体，并且透明的部分包括第二图像中不含被识别物体的所有部分。
根据本发明的一个方面，第一视野和第二视野是固定的。
根据本发明的一个方面，第一视野相对于车辆可转向，第一视野限定了将在图像显示器上示出的可见区域，第二视野映射到第一视野上以将第二图像与第一图像合并。
根据本发明的一个方面，该系统还包括：提供集合视野的多个外部图像传感器；以及用于在集合视野中选择第一视野的用户HMI。
根据本发明的一个方面，该系统还包括：提供集合视野的多个外部图像传感器；以及用于响应于车辆的驾驶状态确定集合视野中的第一视野的自动视野选择器。
根据本发明的一个方面，图像集成器修改第一图像、第二图像或合并的图像中的一个，以编码关于在上述图像中的一个中检测到的物体的信息。
根据本发明的一个方面，图像集成器将位置参考标记覆盖在合并的图像中。
根据本发明的另一方面，提供了一种将后视信息显示给车辆的驾驶员的方法，该方法包括：获得指向驾驶员后方的车辆内部图像；获得指向车辆后方的车辆外部图像；根据预定对准合并上述图像；以及将合并的图像显示在安装用于驾驶员观察的显示器上。
根据本发明的一个方面，显示器靠近车辆的前挡风玻璃安装。
根据本发明的一个方面，该方法还包括步骤：柔和化合并的图像中的内部图像，以便在合并的图像中突出显示外部图像。
根据本发明的一个方面，内部图像和外部图像包括各自的像素，并且内部图像的柔和化包括：降低内部图像的像素作用于合并的图像的强度。
根据本发明的一个方面，图像显示器位于挡风玻璃的与传统后视镜的位置对应的顶部、中央位置。
附图说明
图1描述了朝向前挡风玻璃和后视镜的驾驶员视野；
图2描述了驾驶员在后视镜中看到的图像；
图3是由外部后视摄像机拍摄的实时拍摄影像；
图4示出了合并的内部拍摄影像和外部拍摄影像；
图5是示出了本发明的一个优选装置的框图；
图6示出了用于本发明的一些在车辆上的可能的摄像机位置；
图7是由外部侧视摄像机拍摄的实时拍摄影像；
图8示出了内部摄像机和多个外部摄像机的集合视野；
图9示出了集合视野中的显示给驾驶员的选定视野。
具体实施方式
在本发明的一个主要的实施例中，传统的(视角相对狭窄的)后视镜由LCD屏幕替代，其中，LCD屏幕显示来自后视摄像机和/或侧视摄像机的180°或更大角度的后方图像。能够获得足够宽的视野，这能够允许除去安装于车门的侧视镜。例如，枢转地安装具有与传统的后视镜相似的尺寸、形状和位置的平板显示屏，并且平板显示屏提供车后和/或车辆侧面的实时拍摄图像。这提供了不会被后排乘客、车座头枕或车顶立柱遮挡的图像。在寒冷气候中，对摄像机镜头清洁/除冰会比对整个后窗清洁/除冰快得多。此外，本发明降低了会存在于镜系统中的与后方视野/遮蔽相关的造型限制。
除了来自安装于外部的后视摄像机的无遮挡的图像以外，本发明还通过在内部摄像机图像中显示后排头枕、D或C车顶立柱和/或存在的乘客来向驾驶员提供车辆参考。在一个实施例中，使用了增强现实将来自内部后视摄像机的后排头枕、立柱和/或乘客的半透明的覆盖层或阴影提供到外部摄像机图像上，以产生“透视”效果。
外部图像传感器和内部图像传感器可包括标准的日间摄像机、夜视摄像机、盲点检测传感器、横向交通警报传感器或者这些的结合。一个或多个摄像机可以选择地基于驾驶员的控制或者自动控制提供可调的焦距(光学地或者通过图像的数字处理)。当使用多个外部摄像机提供较宽的视野时，将单独的图像进行后处理以使得侧面图像与后方图像无缝拼接在一起。在拖车拖拽的情况下，可在拖车的后部安装补充摄像机系统，以获得无遮挡的后方观察。
图像显示设备可优选地包括安装于后视镜所在的位置或位于其他合适的观察位置的一个或多个LCD屏幕、LED面板或类似的像素化设备。可选地，可使用平视显示器(HUD)将图像投射在挡风玻璃上或投射到安装于与后视镜相似的位置上的反射镜上。
内部图像传感器或摄像机优选地安装在客厢内的后视显示器上或后视显示器附近以产生作为参照系的后座乘客、后排头枕或车顶立柱的图像。内部图像以使其呈半透明的方式覆盖在后视图像上。因此，向驾驶员呈现了增强现实，该增强现实中显示了与传统后视镜相似的图像，驾驶员可透过该图像中的内部遮挡物看到全部的外部图像，同时仍可观察到内部物体以辅助距离的判断和将它们结合在一个参考系中。
现参照图1，示出了在挡风玻璃13的顶部、中央区域通过臂11安装至内部车顶内饰板12的传统后视镜10。驾驶员直接通过挡风玻璃13看到道路14的前方景象，以及在镜10中看到车辆后方物体的图像15。图2示出了在后视镜中看到的典型图像15，该图像15包括透过后窗17看到的尾随的车辆16。车顶立柱18和后座乘客19也是可见的，并且他们遮挡了驾驶员的部分后视视野。
图3示出了来自安装于车辆外部的摄像机的后视摄像机图像20，该图像提供了清晰的且无遮挡的车辆后方的景象的实时画面。图像20经过水平翻转以与驾驶员将会看到的镜像图像相对应。使用多个图像传感器和/或广角镜头可以获得宽的视野。检测到的外部图像的全部或仅一部分可以在显示屏上再现(例如，根据驾驶员的选择)。
如上面的描述，图3所示的再现的图像缺乏与在使用后视镜时固有地提供给驾驶员的相同的自动参考系。本发明通过使用如图4所示的结合的图像来提供这样的参考系，其中，除了从一个或多个外部图像传感器获得外部图像20以外，同时还通过内部图像传感器获得了车辆内部图像21，内部图像传感器优选地安装在传统后视镜的位置或者后视镜附近。内部图像21中的可见物体包括后窗22、车顶立柱23、车顶面板24、乘客19以及后排座椅和头枕25。诸如后座乘客或头枕(未示出)的其他内部物体和诸如车辆的行李箱盖、道路或附近的车辆(未示出)的外部物体也会通过内部图像传感器感测到。如下所述，如需要，可通过修剪将一些感测到的物体从内部车辆图像上移除。内部图像21经水平翻转以准备与水平翻转的外部后视摄像机图像结合。
在与外部图像20重叠之前，内部图像21进一步经柔和化修改，以此方式突显在显示设备上显示的合并的图像中的外部图像。特别地，图像20和图像21各自均包括相应的像素。在合并步骤中，内部图像21的至少一些像素映射到外部图像20的相应的像素并与外部图像20的相应的像素聚合。柔和化可包括在将内部图像中的每个像素添加到外部图像中的相应的像素之前降低内部图像中的每个像素的强度。在另一实施例中，内部图像的每个像素的色彩饱和度被降低以柔和化内部图像在最终的合并图像26中的作用。
内部图像的柔和或“重影”程度可由设计确定或是可设定的。在一个实施例中，其可经由驾驶员通过诸如按钮、触摸屏或声控开关的人机界面(HMI)手动调整。因此，例如，驾驶员可以根据正在进行的对话或对儿童进行监视的需要使乘客的可见度增大或减小。可选地，柔和的程度可以自动变化，例如：1)使得内部图像或者内部图像的一部分的可见度响应于后座乘客正在讲话的检测(例如，通过麦克风)而增大；或2)当显示与外部物体(诸如在碰撞轨迹上的另一车辆)相关的可见警报或增强的外部图像时进一步抑制内部图像。
除了内部图像的柔和化，将内部图像覆盖在外部图像上的步骤还包括配准步骤，其中，外部图像传感器和内部图像传感器的视野根据预定对准相匹配以使视野匹配。因此，呈现在合并的图像26上的覆盖层27在外部图像20上具有正确的定位，以便外部图像20中的诸如汽车28的物体相对于后窗开口22在与其在传统后视镜中呈现的位置相同的位置被示出。在内部图像21包括看到的车辆后方的物体的情况下，这些物体的柔和化后的图像同样会被放在合并的图像中以与该物体的在外部图像中的图像相重合。通过观察外部摄像机图像中的物体与相对于通过包含内部图像物体所确定的视线的相对位置，驾驶员对于主车辆与合并的图像中的所有物体的相对位置具有更好的认知。
图5示出了本发明的装置的一个优选的实施例。后视系统30包括一个或多个外部图像传感器或摄像机31以及内部图像传感器或摄像机32，外部图像传感器或摄像机31和内部图像传感器或摄像机32中的每一个均与图像集成模块33连接。模块33优选地包括微控制器，该微控制器配置用于执行增强现实应用，其中，增强现实应用是可使用诸如ARToolKit和开放源代码的ATOMIC Authoring Tool、以及可向“Limitless Computing,Inc”公司购买的VYZAR的公知的可用工具进行开发的类型。模块33通过车辆配电和电控系统35连接于图像显示设备34。例如，显示设备34可包括位于传统后视镜位置的LED显示器。也可使用其他种类的显示器(例如LCD显示器或投影显示器)和/或其他位置(例如在仪表板上、在前挡风玻璃区域中的其他位置、或在侧视镜位置)。图像集成模块33和/或电控系统35可通过触摸屏HMI37和/或用户激活开关38与用户或驾驶员36相互作用以选择和/或调节后视系统的各个参数或功能。也可监控车辆点火开关39以根据车辆是否在运转而启用或停用某些调节或功能。
通过图像集成模块33执行的功能之一是计算和图像处理，图像处理包括水平翻转、图像配准以匹配视野、处理像素值以柔和化内部图像、检测物体以移除或突出显示、以及将具有不同视野的单独的摄像机图像拼接在一起成为集合视野。
在上述提及的图像修剪中，图像集成模块33识别内部图像中的选定物体以及使内部图像中不含识别的物体的所有部分变成透明的。选定物体优选地可包括诸如车顶立柱和头枕的车辆内部结构以及后座乘客，后座乘客保持可见以使驾驶员可以与乘客维持眼神交流。
车辆45中的多个摄像机的布局在图6中示出。图像显示设备46安装于挡风玻璃47的顶部、中间的与传统后视镜的位置对应的位置。内部图像传感器48可与设备46实体地结合在一起，或者内部图像传感器48可位于设备46上或位于设备46附近，以根据内部视野50获得车辆内部图像。尽管可以使用诸如顶置控制台或前座头枕的后侧的其他位置，但是传感器48的位置距离传统后视镜位置越近，给予驾驶员的参考系就越好。
第一外部图像传感器51设置于车辆45后部的中央位置以获得外部视野52。为了提供更大覆盖范围的集合视野，可在车辆46的后角设置附加的外部图像传感器53和54，从而根据视野55和56获得单独的外部图像。使用安装于侧视镜或车门的外部传感器57和58可进一步增加侧面的外部视野，其中，外部传感器57和58具有相应的视野60和61。图7示出了又一来自安装于侧面的外部图像传感器的向外侧定向的视野，以产生外部图像62。然后外部图像62可例如通过图像集成模块与来自其他图像传感器的其他外部图像拼接在一起。
图8示出了一个实施例，其中，居中的、外部视野65对应于安装于中央的外部摄像机，区域66和67对应于来自安装于后角的外部传感器的左视野和右视野。传感器可布置成使得视野之间在区域68和69处存在重叠部分。虚线框70示出了基于内部图像传感器的特定位置，安装于内部的图像传感器的视野与视野65-67相重合的位置。在内部图像传感器安装于活动的显示器(类似于可调节的后视镜)以便改变其观察方向的情况下，可提供多种方法以确定内部视野70的相对于外部传感器的视野65-67的对应位置。
在最简单的实施例中，可以固定所有图像传感器并且来自每个图像传感器的图像始终映射到显示设备上的同一位置。在其他的实施例中，显示的内容可进行摇拍或者缩放以追踪感兴趣的区域。因此，如图9所示，所有图像传感器的可得到的集合视野中的可见区域71可被识别，用于在图像显示设备上再现。选定部分71可通过驾驶员使用图5中示出的HMI来确定；或者可通过在后视系统或另一车辆电控系统中的控制器根据当前驾驶情况自动地确定。选定的图像和相应的驾驶状态可包括1)倒车时的中央图像；2)检测到变换车道时的左转向图像或右转向图像；以及3)宽度可变(例如，放大)的图像，其中，视野角度随着前进速度的增加变得越来越窄。
在配准步骤中，外部图像传感器和内部图像传感器的视野可被固定。在此情况下，图像的配准或图像的预设对准可包括存储在图像集成模块33中的固定映射。在有可选择的或者可转向的来自外部图像传感器的所需视觉图像的视野的情况下，则内部图像传感器的视野恰当地映射在所需的可见区域上以用于合并内部图像和外部图像。
图像集成模块33也可配置为将位置参考标记覆盖于合并的图像上。因此，如图9所示，参考标记72映射至合并的图像上的一个位置以与车辆中央后方的固定距离对应。这为驾驶员提供了更加精确的参考系。
如上所描述的后视系统可与其他车辆系统结合以获得附加的益处。例如，可以应用碰撞警报系统，该系统通过监测附近车辆的速度和轨迹检测处于主车辆的碰撞路径上的其他车辆。可能碰撞的车辆会在合并的图像上突出显示。也可以以声音警示的方式向驾驶员报警。
后视系统可实现的另一功能是车道变换“进行/不进行”系统。当驾驶员开始执行车道变换时，通过图像处理器检查来自外部摄像机的图像以确定是否目标道路空间无车辆阻碍(包括接近该道路空间的车辆的行驶路线)。如果驾驶员输入(方向盘角、车体转向角度、车速等)被计算以使车辆驶入未表明无阻碍的道路空间，那么将启动不同程度的驾驶员反馈，例如在显示器上将任何可能妨碍变换车道的车辆突出显示(例如增加轮廓、警告箭头或闪烁的图像)。
本发明可优选地包括减少眩光的功能。在夜间驾驶过程中，可检测前照灯眩光并局部地变暗，同时能够保持图像的其余部分尽可能可见，而不是将整个图像变暗。也可使用基于局部化的假像的其他图像处理功能，例如纠正由雨滴引起的失真。
夜间驾驶也可包括夜视功能。可使用夜视摄像机(例如，红外线摄像机)以提供比日间摄像机更好的图片，或结合使用以增强图像。因此，外部图像可能本身为合成图像，该合成图像使用来自多个传感器(例如日间摄像机、热成像摄影机和/或红外摄像机)的重叠图像以增加外部景象的可见性。
本发明可包括快速清洁功能以去除外部摄像机镜头上的湿气、雪和冰。由于需要清洁或除霜的表面更小了，所以可以非常快速地恢复后部图像。用于清洁镜头的机械装置包括清洁器、微型雨刷和加热元件。此外，摄像机可以安装于车辆的空气动力学自然地保持镜头更干净的位置。
尽管本发明已经描述为代替驾驶员的后视镜，其也可与用于其他车辆乘客(例如后座乘客)的外部观察系统结合使用。用于后座乘客的外部图像可来自前视摄像机或后视摄像机(并且内部图像可优选地指向相同方向)。
Claims (20)
1.一种用于机动车辆的后视系统，包括：
安装用于驾驶员观察的图像显示器；
具有第一视野并用于获得指向所述车辆外部的第一图像的外部图像传感器；
具有第二视野并用于获得指向所述车辆内部的第二图像的内部图像传感器；以及
根据所述第一视野和所述第二视野的预定对准合并所述第一图像和所述第二图像的图像集成器，其中，所述第二图像在合并的图像中被柔和化以透过所述第二图像观看所述第一图像，以便所述第一图像在所述图像显示器上显示时被突出显示。
2.根据权利要求1所述的系统，其中，所述图像显示器位于挡风玻璃的与传统后视镜的位置对应的顶部、中央位置。
3.根据权利要求2所述的系统，其中，所述内部图像传感器与所述图像显示器结合在一起。
4.根据权利要求1所述的系统，其中，所述图像显示器包括LCD屏幕。
5.根据权利要求1所述的系统，其中，所述图像集成器包括增强现实应用。
6.根据权利要求1所述的系统，其中，所述第一图像和所述第二图像包括各自的像素，并且所述第二图像的柔和化包括降低所述第二图像的像素作用于所述合并的图像的强度。
7.根据权利要求1所述的系统，其中，所述第一图像和所述第二图像包括各自的像素，并且所述第二图像的柔和化包括降低所述第二图像的像素的饱和度。
8.根据权利要求1所述的系统，其中，所述第二图像的柔和化程度可调。
9.根据权利要求1所述的系统，其中，所述第二图像的柔和化包括使部分所述第二图像变成透明的。
10.根据权利要求9所述的系统，其中，所述图像集成器在所述第二图像中识别选定物体，并且透明的部分包括所述第二图像中不含被识别物体的所有部分。
11.根据权利要求1所述的系统，其中，所述第一视野和所述第二视野是固定的。
12.根据权利要求1所述的系统，其中，所述第一视野相对于所述车辆可转向，所述第一视野限定了将在所述图像显示器上示出的可见区域，所述第二视野映射到所述第一视野上以将所述第二图像与所述第一图像合并。
13.根据权利要求12所述的系统，还包括：
提供集合视野的多个外部图像传感器；以及
用于在所述集合视野中选择所述第一视野的用户HMI。
14.根据权利要求12所述的系统，还包括：
提供集合视野的多个外部图像传感器；以及
用于响应于所述车辆的驾驶状态确定所述集合视野中的所述第一视野的自动视野选择器。
15.根据权利要求1所述的系统，其中，所述图像集成器修改所述第一图像、所述第二图像或所述合并的图像中的一个，以编码关于在该图像中检测到的物体的信息。
16.根据权利要求1所述的系统，其中，所述图像集成器将位置参考标记覆盖在所述合并的图像中。
17.一种将后视信息显示给车辆的驾驶员的方法，包括：
获得指向所述驾驶员后方的车辆内部图像；
获得指向所述车辆后方的车辆外部图像；
根据预定对准合并这些图像；以及
将合并的图像显示在安装用于所述驾驶员观察的显示器上，
其中，柔和化所述合并的图像中的所述内部图像以透过所述车辆内部图像观看所述车辆外部图像，以便在所述合并的图像中突出显示所述外部图像。
18.根据权利要求17所述的方法，其中，所述显示器靠近所述车辆的前挡风玻璃安装。
19.根据权利要求17所述的方法，其中，所述内部图像和所述外部图像包括各自的像素，并且所述内部图像的柔和化包括：降低所述内部图像的像素作用于所述合并的图像的强度。
20.根据权利要求17所述的方法，其中，所述图像显示器位于挡风玻璃的与传统后视镜的位置对应的顶部、中央位置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US13/895,646 US10029621B2 (en) | 2013-05-16 | 2013-05-16 | Rear view camera system using rear view mirror location |
| US13/895,646 | 2013-05-16 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104163133A CN104163133A (zh) | 2014-11-26 |
| CN104163133B true CN104163133B (zh) | 2018-05-01 |
Family
ID=51520217
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410174627.9A Active CN104163133B (zh) | 2013-05-16 | 2014-04-28 | 使用后视镜位置的后视摄像机系统 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10029621B2 (zh) |
| CN (1) | CN104163133B (zh) |
| DE (1) | DE202014102291U1 (zh) |
| RU (1) | RU147024U1 (zh) |
Families Citing this family (62)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150042799A1 (en) * | 2013-08-07 | 2015-02-12 | GM Global Technology Operations LLC | Object highlighting and sensing in vehicle image display systems |
| US9802486B2 (en) * | 2013-11-18 | 2017-10-31 | Robert Bosch Gmbh | Interior display systems and methods |
| US10078863B2 (en) * | 2013-12-26 | 2018-09-18 | Paypal, Inc. | Systems and methods for augmented reality payments |
| FR3015939B1 (fr) * | 2013-12-30 | 2018-06-15 | Valeo Systemes Thermiques | Dispositif et procede de retro-vision a affichage electronique pour vehicule. |
| WO2016026870A1 (en) * | 2014-08-18 | 2016-02-25 | Jaguar Land Rover Limited | Display system and method |
| US20170320435A1 (en) * | 2014-09-23 | 2017-11-09 | Dae Kwon Chung | WiFi Wireless Rear View Parking System |
| DE102014220586A1 (de) * | 2014-10-10 | 2016-04-14 | Conti Temic Microelectronic Gmbh | Außenspiegelersatzsystem für eine Zugfahrzeug-Anhänger-Kombination |
| US10232776B2 (en) * | 2014-11-14 | 2019-03-19 | Continental Automotive Systems, Inc. | Display system for mirror-less driving |
| CN104554008A (zh) * | 2014-12-26 | 2015-04-29 | 大连理工大学 | 一种车辆安全换道辅助系统 |
| CN104802709A (zh) * | 2015-03-31 | 2015-07-29 | 山东理工大学 | 一种智能后视镜系统 |
| DE102015207474A1 (de) | 2015-04-23 | 2016-10-27 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Vorrichtung zur Veränderung des Blickfelds oder Gesichtsfelds eines Fahrers eines Kraftfahrzeugs |
| EP3288005B1 (en) * | 2015-04-23 | 2021-04-07 | Nissan Motor Co., Ltd. | Occlusion control device |
| GB2538732B (en) * | 2015-05-26 | 2018-12-12 | Jaguar Land Rover Ltd | Controller for a motor vehicle and method |
| US20160375831A1 (en) * | 2015-06-23 | 2016-12-29 | GM Global Technology Operations LLC | Hitching assist with pan/zoom and virtual top-view |
| US10373378B2 (en) * | 2015-06-26 | 2019-08-06 | Paccar Inc | Augmented reality system for vehicle blind spot prevention |
| CN107532410B (zh) * | 2015-08-24 | 2020-10-13 | 株式会社小松制作所 | 轮式装载机的控制系统、其控制方法 |
| DE102015216907A1 (de) * | 2015-09-03 | 2017-03-09 | Robert Bosch Gmbh | Digitaler Rückspiegel |
| JP6447427B2 (ja) * | 2015-09-04 | 2019-01-09 | 株式会社デンソー | 後方用電子ミラー、及び制御システム |
| EP3361721B1 (en) * | 2015-10-08 | 2020-02-26 | Nissan Motor Co., Ltd. | Display assistance device and display assistance method |
| EP3176035A1 (en) * | 2015-12-03 | 2017-06-07 | Fico Mirrors S.A. | A rear vision system for a motor vehicle |
| US20170192091A1 (en) * | 2016-01-06 | 2017-07-06 | Ford Global Technologies, Llc | System and method for augmented reality reduced visibility navigation |
| CN108602465B (zh) * | 2016-01-28 | 2021-08-17 | 鸿海精密工业股份有限公司 | 车辆用图像显示系统及搭载了该图像显示系统的车辆 |
| CN105644444B (zh) | 2016-03-17 | 2018-02-06 | 京东方科技集团股份有限公司 | 一种车载显示系统 |
| US10146049B2 (en) * | 2016-04-01 | 2018-12-04 | Flir Systems, Inc. | Cold weather camera kit |
| US20170297493A1 (en) * | 2016-04-15 | 2017-10-19 | Ford Global Technologies, Llc | System and method to improve situational awareness while operating a motor vehicle |
| EP3463982B1 (en) * | 2016-05-24 | 2022-09-14 | Gentex Corporation | Vehicle display with selective image data display |
| JP6511015B2 (ja) * | 2016-05-25 | 2019-05-08 | 株式会社ミツバ | 車両モニタシステム |
| JP6674630B2 (ja) * | 2016-05-30 | 2020-04-01 | カシオ計算機株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| WO2017206042A1 (zh) * | 2016-05-31 | 2017-12-07 | 中国科学院深圳先进技术研究院 | 基于智能眼镜的遮挡物透视方法及装置 |
| EP3293667A1 (en) * | 2016-09-08 | 2018-03-14 | KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH | An apparatus for providing vehicular environment information |
| US10306289B1 (en) | 2016-09-22 | 2019-05-28 | Apple Inc. | Vehicle video viewing systems |
| JP6877115B2 (ja) * | 2016-09-27 | 2021-05-26 | 株式会社東海理化電機製作所 | 車両用視認装置 |
| JP6504145B2 (ja) * | 2016-11-24 | 2019-04-24 | 株式会社Ｊｖｃケンウッド | 車両用記録装置 |
| TWI599989B (zh) * | 2016-11-29 | 2017-09-21 | 財團法人工業技術研究院 | 用於交通工具之影像處理方法及影像系統 |
| JP6665819B2 (ja) * | 2017-03-17 | 2020-03-13 | トヨタ自動車株式会社 | 車載表示装置 |
| CN110312641A (zh) * | 2017-03-17 | 2019-10-08 | 金泰克斯公司 | 双显示倒车摄像系统 |
| US10609339B2 (en) | 2017-03-22 | 2020-03-31 | GM Global Technology Operations LLC | System for and method of dynamically displaying images on a vehicle electronic display |
| JP6658643B2 (ja) * | 2017-03-24 | 2020-03-04 | トヨタ自動車株式会社 | 車両用視認装置 |
| JP6658642B2 (ja) * | 2017-03-24 | 2020-03-04 | トヨタ自動車株式会社 | 車両用視認装置 |
| DE102017110334A1 (de) | 2017-05-12 | 2018-11-15 | Kiekert Aktiengesellschaft | Kraftfahrzeug-bildwiedergabeeinheit |
| TWI628466B (zh) * | 2017-06-02 | 2018-07-01 | 鴻海精密工業股份有限公司 | 佩戴顯示裝置 |
| US10390001B2 (en) | 2017-06-27 | 2019-08-20 | He Li ZHOU | Rear view vision system for a vehicle |
| JP6957092B2 (ja) * | 2017-07-26 | 2021-11-02 | ダイハツ工業株式会社 | 車両構造 |
| JP6504529B1 (ja) * | 2017-10-10 | 2019-04-24 | マツダ株式会社 | 車両用表示装置 |
| FR3072635B1 (fr) * | 2017-10-24 | 2019-09-27 | Psa Automobiles Sa | Systeme de retrovision video perfectionne pour vehicule automobile. |
| CN109849787B (zh) * | 2017-11-30 | 2021-04-16 | 长城汽车股份有限公司 | 图像显示方法及系统 |
| JP7106859B2 (ja) * | 2017-12-27 | 2022-07-27 | トヨタ自動車株式会社 | 画像表示装置 |
| EP3569474B1 (en) * | 2018-05-15 | 2022-09-07 | Volkswagen AG | Apparatus, method and computer program for providing a steering angle control signal for a vehicle |
| DE102018212393B4 (de) * | 2018-07-25 | 2022-04-21 | Volkswagen Aktiengesellschaft | Rückspiegeleinheit mit Befestigungselement zur Befestigung in einem Kraftfahrzeug, Verfahren zur Betätigung einer Rückspiegeleinheit, die mit einem Befestigungselement in einem Kraftfahrzeug befestigt ist, und entsprechendes Kraftfahrzeug |
| DE102018128634A1 (de) | 2018-11-15 | 2020-05-20 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Bereitstellen einer visuellen Information über zumindest einen Teil einer Umgebung, Computerprogrammprodukt, mobiles Kommunikationsgerät und Kommunikationssystem |
| CN109587395B (zh) * | 2018-11-23 | 2020-11-06 | 福建工程学院 | 一种基于图像处理和虚拟增强的防止眩光的系统及其实现方法 |
| FR3089085B1 (fr) * | 2018-11-27 | 2021-05-14 | Psa Automobiles Sa | Procédé de réglage d’un dispositif de rétrovision numérique d’un véhicule |
| US10583780B1 (en) * | 2018-12-20 | 2020-03-10 | Honda Motor Co., Ltd. | Vehicle collision warning system and method |
| CN109910751A (zh) * | 2019-02-12 | 2019-06-21 | 苏州佳世达光电有限公司 | 影像显示控制装置及影像显示控制方法 |
| US10421401B1 (en) * | 2019-05-02 | 2019-09-24 | Richard C. Horian | Video system for vehicles |
| CN112440875A (zh) * | 2019-09-03 | 2021-03-05 | 深圳市麦道微电子技术有限公司 | 一种货柜车高清可视行车辅助系统 |
| DE102019123740B4 (de) * | 2019-09-04 | 2023-01-26 | Motherson Innovations Company Limited | Verfahren zum Bereitstellen einer Rück- und/oder Seitenansicht eines Fahrzeugs, virtuelleSpiegelvorrichtung und Fahrzeug |
| CN112158131A (zh) * | 2020-10-09 | 2021-01-01 | 广州小鹏汽车科技有限公司 | 并线提醒方法、装置、车辆及存储介质 |
| WO2022150826A1 (en) * | 2021-01-06 | 2022-07-14 | Magna Mirrors Of America, Inc. | Vehicular vision system with mirror display for vehicle and trailer cameras |
| US11772560B2 (en) | 2021-05-03 | 2023-10-03 | Mastercraft Boat Company, Llc | Trailer back-up system |
| US11766968B2 (en) | 2021-05-18 | 2023-09-26 | Magna Mirrors Of America, Inc. | Vehicular interior rearview mirror assembly with video mirror display and VRLC stack |
| DE102021117948A1 (de) | 2021-07-12 | 2023-01-12 | Bayerische Motoren Werke Aktiengesellschaft | Intelligenter Rückspiegel |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1077161A2 (en) * | 1999-08-18 | 2001-02-21 | Matsushita Electric Industrial Co., Ltd. | Multi-functional on-vehicle camera system and image display method for the same |
| JP2007028445A (ja) * | 2005-07-20 | 2007-02-01 | Auto Network Gijutsu Kenkyusho:Kk | 画像表示システム |
| CN102625756A (zh) * | 2009-08-14 | 2012-08-01 | 迈特盖尔工商业有限公司 | 用于机动车辆的车内后视镜系统 |
| CN102891985A (zh) * | 2011-07-20 | 2013-01-23 | 通用汽车环球科技运作有限责任公司 | 用于增强的深度视频感的系统和方法 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5289321A (en) | 1993-02-12 | 1994-02-22 | Secor James O | Consolidated rear view camera and display system for motor vehicle |
| CA2369648A1 (en) | 1999-04-16 | 2000-10-26 | Matsushita Electric Industrial Co., Limited | Image processing device and monitoring system |
| EP1263626A2 (en) * | 2000-03-02 | 2002-12-11 | Donnelly Corporation | Video mirror systems incorporating an accessory module |
| US20030090568A1 (en) | 2001-04-23 | 2003-05-15 | Pico Thomas Michael | Digital imaging rear view mirror system |
| CN1568618A (zh) | 2001-10-10 | 2005-01-19 | 松下电器产业株式会社 | 图像处理装置 |
| US6708099B2 (en) | 2002-01-17 | 2004-03-16 | Ford Global Technologies, Llc | Stop and go adaptive cruise control system |
| US20050040939A1 (en) * | 2003-08-21 | 2005-02-24 | Jobes Janard J. | Integrated motorcoach management system apparatus and method |
| US20050146607A1 (en) | 2004-01-06 | 2005-07-07 | Romeo Linn | Object Approaching Detection Anti Blind e-Mirrors System |
| JP4134939B2 (ja) | 2004-04-22 | 2008-08-20 | 株式会社デンソー | 車両周辺表示制御装置 |
| US8160245B2 (en) | 2007-03-07 | 2012-04-17 | Research In Motion Limited | Methods and apparatus for performing an elliptic curve scalar multiplication operation using splitting |
| US20090225434A1 (en) * | 2008-03-10 | 2009-09-10 | Nicholas Clayton L | Vehicle rear view apparatus utilizing heads up display and rear looking sensors |
| US8633810B2 (en) * | 2009-11-19 | 2014-01-21 | Robert Bosch Gmbh | Rear-view multi-functional camera system |
| US8866906B1 (en) * | 2010-03-31 | 2014-10-21 | Cris Abad | Land vehicle based surveillance system |
| US8463721B2 (en) * | 2010-08-05 | 2013-06-11 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for recognizing events |
| CN103167223A (zh) * | 2011-12-09 | 2013-06-19 | 富泰华工业（深圳）有限公司 | 具有广角拍摄功能的移动装置及其影像撷取方法 |
-
2013
- 2013-05-16 US US13/895,646 patent/US10029621B2/en active Active
-
2014
- 2014-04-28 CN CN201410174627.9A patent/CN104163133B/zh active Active
- 2014-05-15 DE DE202014102291.0U patent/DE202014102291U1/de not_active Expired - Lifetime
- 2014-05-16 RU RU2014119775/11U patent/RU147024U1/ru not_active IP Right Cessation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1077161A2 (en) * | 1999-08-18 | 2001-02-21 | Matsushita Electric Industrial Co., Ltd. | Multi-functional on-vehicle camera system and image display method for the same |
| JP2007028445A (ja) * | 2005-07-20 | 2007-02-01 | Auto Network Gijutsu Kenkyusho:Kk | 画像表示システム |
| CN102625756A (zh) * | 2009-08-14 | 2012-08-01 | 迈特盖尔工商业有限公司 | 用于机动车辆的车内后视镜系统 |
| CN102891985A (zh) * | 2011-07-20 | 2013-01-23 | 通用汽车环球科技运作有限责任公司 | 用于增强的深度视频感的系统和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| RU147024U1 (ru) | 2014-10-27 |
| US10029621B2 (en) | 2018-07-24 |
| CN104163133A (zh) | 2014-11-26 |
| US20140340516A1 (en) | 2014-11-20 |
| DE202014102291U1 (de) | 2014-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104163133B (zh) | 使用后视镜位置的后视摄像机系统 | |
| US11827152B2 (en) | Vehicular vision system | |
| CN107444263B (zh) | 车辆用显示装置 | |
| JP6568603B2 (ja) | 車両用画像表示システム及びその画像表示システムを搭載した車両 | |
| CN107791949B (zh) | 车载摄像头的hud集成集群系统 | |
| US8643724B2 (en) | Multi-camera vision system for a vehicle | |
| US10974651B2 (en) | Vehicle | |
| US20110234802A1 (en) | On-vehicle lighting apparatus | |
| US20020167589A1 (en) | Rearview vision system for vehicle including panoramic view | |
| WO2005084027A1 (ja) | 画像生成装置、画像生成プログラム、及び画像生成方法 | |
| WO1996038319A2 (en) | Rearview vision system for vehicle including panoramic view | |
| US20130155236A1 (en) | Camera-mirror system for motor vehicle | |
| JP2008545188A (ja) | ナイトビジョンシステム | |
| CN113165667A (zh) | 调节摄像机的视角的车辆用全景监控系统及其方法 | |
| JP2007091186A (ja) | 車両周囲状況の撮影表示方法および撮影表示システム | |
| CN110831840A (zh) | 用于在避让障碍物时辅助机动车使用者的方法、驾驶员辅助装置和机动车 | |
| JP7253708B2 (ja) | 情報処理装置、車両及び情報処理方法 | |
| WO2019177036A1 (ja) | 車両用映像システム | |
| WO2017195693A1 (ja) | 画像表示装置 | |
| KR102343426B1 (ko) | 자동차의 주변 영상 및 네비게이션 표시 장치 | |
| CN212447305U (zh) | 一种车辆前视拓展影像系统 | |
| KR102405575B1 (ko) | 자동차의 주변 영상 및 네비게이션 표시 장치 | |
| JP6912757B2 (ja) | 車両の前照灯制御装置 | |
| CN115303181A (zh) | 用于辅助驾驶员监控车辆外部环境的方法和设备 | |
| JP2006176054A (ja) | 車両用表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |