CN107284352A - 车辆用周边监视装置 - Google Patents

车辆用周边监视装置 Download PDF

Info

Publication number
CN107284352A
CN107284352A CN201610818958.0A CN201610818958A CN107284352A CN 107284352 A CN107284352 A CN 107284352A CN 201610818958 A CN201610818958 A CN 201610818958A CN 107284352 A CN107284352 A CN 107284352A
Authority
CN
China
Prior art keywords
mirror
image
display
viewpoint
picture frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610818958.0A
Other languages
English (en)
Other versions
CN107284352B (zh
Inventor
小崎正宪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Toshiba Alpine Automotive Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Alpine Automotive Technology Inc filed Critical Toshiba Alpine Automotive Technology Inc
Publication of CN107284352A publication Critical patent/CN107284352A/zh
Application granted granted Critical
Publication of CN107284352B publication Critical patent/CN107284352B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8073—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle security, e.g. parked vehicle surveillance, burglar detection

Abstract

本发明的实施方式涉及车辆用周边监视装置。本发明要解决的技术问题是提供一种能够使驾驶员很容易地识别所显示的影像的距离感、位置关系、方向的车辆用周边监视装置。包括：车外摄像头，对车辆外部周边进行拍摄；显示器，显示影像；以及图像处理部，获取驾驶员的视点的位置信息、显示器的位置信息、以及使车外摄像头拍摄到的影像几何转换为从视点观察到的影像的虚拟镜的位置信息，并且，根据视点的位置信息、显示器的位置信息及虚拟镜的位置信息与车外摄像头的影像而创建从视点观察到的显示于虚拟镜的镜显示图像，图像处理部创建包围在镜显示影像的周围的镜框，并且，在显示器上显示镜框与在镜框内的镜显示影像。

Description

车辆用周边监视装置
本申请基于并要求享有于2016年04月04日提交的日本专利申请特愿2016-075033的优先权权益，其全部内容结合于此作为参考。
技术领域
本发明的实施方式涉及车辆用周边监视装置。
背景技术
已知有一种代替车辆的后视镜而通过摄像头拍摄车辆周边并将拍摄到的影像向驾驶员提示的装置。
例如，提出了将摄像头设置于驾驶员的视点与显示器的延长线上的装置、根据驾驶员的头部的位置来变更显示范围的车辆周边监视系统。另外，还提出与显示器的大小和位置相结合，以使显示内容的大小在镜子中可见的方式进行校正的车辆显示装置，或由于障碍物而变更显示的局部的放大率的显示系统。
然而，上述装置存在以下问题：无法显示出实际观察镜子的距离感。
而且，还存在以下问题：即使大小能够通过实际观察镜子的距离感来显示，也存在显示器的位置或朝向受到限制、或仅放大显示、或难以识别实际的距离和位置关系等。
发明内容
本发明要解决的技术问题是提供一种能够使驾驶员很容易地识别所显示的影像的距离感、位置关系、方向的车辆用周边监视装置。
实施方式的车辆用周边监视装置，包括：车外摄像头，对车辆外部周边进行拍摄；显示器，显示影像；以及图像处理部，获取驾驶员的视点的位置信息、所述显示器的位置信息、以及使所述车外摄像头拍摄到的影像几何转换为从所述视点观察到的影像的虚拟镜的位置信息，并且，根据所述视点的位置信息、所述显示器的位置信息及所述虚拟镜的位置信息与所述车外摄像头的影像而创建从所述视点观察到的显示于所述虚拟镜的镜显示图像，所述图像处理部创建包围在所述镜显示影像的周围的镜框，并且，在所述显示器上显示所述镜框与在所述镜框内的所述镜显示影像。
根据上述构成的车辆用周边监视装置，由于通过虚拟镜将车辆外部的影像以减轻距离或位置的不协调的方式显示在显示器上，因此车辆驾驶员能够以观察实际镜子的距离感来对车辆周边进行确认。
附图说明
图1是示出本发明的实施方式所涉及的车辆用周边监视装置的构成例的框图。
图2是示出车辆用周边监视装置的主要部分的图。
图3是说明本实施方式所涉及的车辆用周边监视装置中各构成部分的位置关系的图。
图4是对从视点到虚拟镜而反射的直线进行说明的图。
图5是示出显示器上所显示的镜框的影像的转换处理流程的流程图。
图6是说明在镜框上标注刻度的变形例的图。
图7是说明使显示镜框的线加粗的变形例的图。
图8的(a)和(b)是说明使镜框弯曲显示的变形例的图。
图9的(a)和(b)是说明在镜框的旁边显示表示透镜的边框的变形例的图。
图10的(a)和(b)是说明在镜框的旁边显示表示放大率的边框的变形例的图。
图11是说明驾驶员的眼睛的位置超过阈值进行移动的变形例的图。
图12是说明涉及显示器及镜显示面的配置的变形例的图。
图13是在变形例10中说明变更车外摄像头的位置的图。
图14是说明虚拟镜的位置的变形例的图。
图15是说明涉及镜框显示影像的重叠的变形例的图。
图16是说明涉及使车辆透明的变形例的图。
图17是说明涉及由驾驶员对镜框影像的位置或倾斜进行变更的变形例的图。
图18是说明安装多台的车外摄像头的变形例的图。
图19是说明安装多台的车外摄像头的变形例的图。
具体实施方式
下面，参照附图对本发明的一实施方式进行说明。
图1是示出本发明的实施方式所涉及的车辆用周边监视装置的构成例的图。如图1所示，车辆用周边监视装置1大致来说包括车外摄像头2、视点检测摄像头3、图像处理部4和显示器5。在本实施方式中，将车外摄像头2拍摄到的影像作为包括确定了三维位置的镜框的镜显示影像显示于显示器5上，从而能够犹如以观察实际镜子(例如，后视镜)的距离感来确认车辆周边。
车外摄像头2安装在车辆上，并用于拍摄车辆外部周边。
视点检测摄像头3是用于检测车辆驾驶员的视点的摄像头，例如，对包括驾驶员的视点的面部进行拍摄。视点检测摄像头3配置于与车辆的驾驶员座位相对的地方。此外，在能够把握作为默认值的坐在驾驶员座位上的驾驶员的位置，还能够把握作为估算值的驾驶员的视点的情况下，视点检测摄像头3可以为非必要的构成。
图像处理部4创建在显示器5上显示的影像。在本实施方式中，创建作为虚拟镜(后述)所显示的影像的通过镜框(后述)包围在周围的镜显示影像。图像处理部4例如能够包括视点坐标计算部41、环境信息保持部42、镜影像计算部43、镜框计算部44、以及镜显示影像创建部45。
视点坐标计算部41基于视点检测摄像头3获取到的影像来计算驾驶员的视点的坐标。计算出的视点的坐标数据被发送到镜影像计算部43。
环境信息保持部42保持车外摄像头2在车辆上的安装位置及安装角度的信息、显示器5的安装位置及安装角度的信息、虚拟镜的位置及角度信息。此处，虚拟镜是将车外摄像头2拍摄到的影像几何转换为从视点观察到的影像的虚拟的镜子。设置虚拟镜的位置及角度能够考虑视点、显示器5的安装位置及安装角度而任意地进行设定。
此外，由于车外摄像头2及显示器5的安装位置、安装角度根据车辆的种类而受到在某种程度上的限定，因此可以预先设定默认值。环境信息保持部42中保持的各信息参照镜影像计算部43及镜框计算部44。
镜影像计算部43基于来自于视点坐标计算部41的视点坐标数据、环境信息保持部42所保持的各位置角度信息的数据，计算显示在虚拟镜上的镜影像。计算出的镜影像信息被发送到镜显示影像创建部45。
镜框计算部44基于来自于视点坐标计算部41的视点坐标数据及环境信息保持部42所保持的各位置角度信息的数据来计算镜框。此处，镜框是包围镜影像的周围的轮廓。通过显示所涉及的镜框，从而观察了显示器5上的镜显示影像的驾驶员能够准确地把握距离感、位置关系、以及方向的识别。
通过镜框计算部44计算出的镜框信息发送到镜显示影像创建部45。
镜显示影像创建部45基于来自镜影像计算部43的镜影像信息及来自镜框计算部44的镜框信息来创建显示在显示器5上的影像。创建出的镜显示影像被发送到显示器5。
显示器5读取由镜显示影像创建部45创建出的镜显示影像而显示影像。
图2是示出本发明一实施方式所涉及的车辆用周边监视装置1的主要部分的图。在本实施方式中，如图2所示，在车外摄像头2的安装位置上配设虚拟镜A，并通过车外摄像头2对从车辆驾驶员的视点位置在虚拟镜A上反射后的角度方向进行拍摄。将车外摄像头2拍摄而获取到的影像利用虚拟镜A而几何转换为从视点观察到的影像，并在显示器5上显示包括镜框的镜显示影像。由此，车辆驾驶员能够以观察实际镜子(镜)的距离感而对车辆周边进行确认。
接下来，对如以上构成的车辆周边监视装置1的图像处理部的处理进行详细描述。
<各构成部分的位置关系>
图3是说明本实施方式所涉及的车辆用周边监视装置1中各构成部分的位置关系的图。另外，图3所示的各构成部分的位置关系只不过是用于说明的一个例子，并不限定于此。
图3是示出从上方观察各构成部分的情况。表示视点检测摄像头3的位置的坐标以F(Fx、Fy、Fz)而表示。车辆驾驶员以与视点检测摄像头3相对的方式而座，驾驶员的视点设定为左右眼睛的中心。表示视点的位置的坐标以E(Ex、Ey、Ez)而表示。
在图3所示的例子中，车外摄像头2配设为拍摄车辆的后方，表示该位置的坐标以C(Cx、Cy、Cz)而表示。
在驾驶员的视线方向上配设有显示器5，其物理中心形成图3示出的例子的三维坐标系(x、y、z)。
在图3所示的例子中，在车外摄像头2的各构成部分的位置关系上设定有虚拟镜A。虚拟镜A形成为大致矩形，表示各顶点A1、A2、A3、A4的位置的坐标以A1(A1x、A1y、A1z)、A2(A2x、A2y、A2z)、A3(A3x、A3y、A3z)、A4(A4x、A4y、A4z)而表示。
在本实施方式中，使在显示通过车外摄像头2拍摄到的影像的显示器5上显示确定了三维位置的镜框D，从而能够犹如通过观察实际镜子(例如，后视镜)的距离感来对车辆周边进行确认。
在显示器5上显示的镜框根据表示虚拟镜A的各顶点A1、A2、A3、A4的位置的坐标和表示驾驶员的视点位置的坐标而确定其位置的坐标。关于镜框坐标的确定将在后面详细描述。
镜框D的形状并非特别限定为大致矩形，但由于在显示器5上进行显示，因此小于显示器5的外形尺寸。例如，在图3所示的例子中，当镜框D的形状为大致矩形时，则表示各顶点D1、D2、D3、D4的位置的坐标以D1(D1x、D1y、D1z)、D2(D2x、D2y、D2z)、D3(D3x、D3y、D3z)、D4(D4x、D4y、D4z)而表示。
而且，在图3所示的例子中，在以与从视点到虚拟镜A的面的角度α相同的角度相对于虚拟镜A的面反射后的且距离虚拟镜A预定距离的位置设置镜显示面B。此处，预定距离优选通过由车外摄像头2在车辆周边的附近拍摄来设定。通过如此设定预定距离，如接下来确定镜显示面B的三维位置。
将从虚拟镜A的一端到另一端为止即包括各顶点A1、A2、A3、A4在内地反射到的大致矩形的区域作为镜显示面B的区域。在图3所示的例子中，表示示出镜显示面B的区域的B1、B2、B3、B4的位置的坐标以B1(B1x、B1y、B1z)、B2(B2x、B2y、B2z)、B3(B3x、B3y、B3z)、B4(B4x、B4y、B4z)而表示。
<表示各要素位置的坐标的计算>
以下，对表示各要素位置的坐标的计算进行详细描述。
首先，通过视点检测摄像头3(在图3中标注为F)将左右眼睛的三维位置确定为视点检测摄像头F的相对位置，并将表示将该左右眼睛的中心位置以显示器5的中心位置为基准的坐标设为E。相对于显示器5的视点检测摄像头F的位置角度优选预先使用卷尺或角度测量器而测定并设定。通过这种方式，能够将视点检测摄像头F所检测出的视点E的位置转换为相对于显示器5的位置。
另外，在根据车辆相对于显示器5的视点E的位置决定了的情况下或可以允许某种程度的偏离的情况下，关于以显示器5为基准的视点E的位置，也可以不使用视点检测摄像头3(F)而使用预先存储于存储器中的设定值。
接下来，确定虚拟镜A的位置。虚拟镜A的位置设定在从视点E观察显示器5的延长线上。如图3所示，在驾驶员想要观察的方向(例如，想要进行安全确认的方向)为车辆的正后方(后方)情况下，将虚拟镜A的朝向确定为正后方。
在这种情况下，在虚拟镜A上选择任意一点，设定为所选择的点的坐标处于相对于车辆行进方向的正后方。
位于虚拟镜A的面上的四个角的顶点分别设为A1、A2、A3、A4。例如，经过顶点A1(A1x、A1y、A1z)且法线矢量为(Aa、Ab、Ac)时的平面的计算式如下所示。
Aa·(x-A1x)+Ab·(y-A1y)+Ac·(z-A1z)＝0
同样地，使用上述计算式将虚拟镜A的四个角余下的顶点分别作为A2、A3、A4而计算并设定。
接下来，如果使用虚拟镜A的一个顶点位置A1进行计算，则经过视点E与虚拟镜A的直线的计算式使用介质参数t而如下所示。
x＝(Ex-A1x)·t+A1x
y＝(Ey-A1y)·t+A1y
z＝(Ez-A1z)·t+A1z
在显示器5的面的垂线以车辆的行进方向的相反侧的方式安装的情况下(对车辆的后方进行拍摄)的坐标为z＝0，因此显示器5上的A1的投影坐标D1为t＝A1z/(A1z-Ez)的坐标。
通过对虚拟镜A剩下的顶点位置A2、A3、A4的坐标也进行同样的处理，从能够对显示器5上的镜框D的各顶点D1、D2、D3、D4进行计算并绘制。
另外，在倾斜地安装显示器5的情况下，由于显示器5的配置结合坐标轴，因此创建其平面的计算式并计算与上述直线的计算式的交点即可。在根据车辆种类确定了显示器5的平面的位置角度的情况下，使用该值即可。在其它情况下，预先使用卷尺或角度测量器来测量并设定。
接下来，对从驾驶员的视点E观察作为镜子(镜)的虚拟镜A而反射后的直线的计算式进行计算。图4是说明从视点E观察在虚拟镜A反射后的直线的图。如图4所示，通过视点E并与虚拟镜A面平行的面G通过以下计算式表示。
Aa·(x-Ex)+Ab·(y-Ey)+Ac·(z-Ez)＝0
((Aa、Ab、Ac)为此面的法线矢量)
通过虚拟镜A上的顶点A1并相对于虚拟镜A垂直的直线的计算式使用介质参数t而如下所示。
x＝Aa·t+A1x
y＝Ab·t+A1y
z＝Ac·t+A1z
对该垂直的直线与通过视点E且与虚拟镜A面平行的面G的交点H进行计算。以该交点H(Hx、Hy、Hz)为中心，与视点E相反一侧的坐标I(Ix、Iy、Iz)是从视点E观察将虚拟镜A上的顶点A1作为镜子(镜)而反射后的坐标，以下述计算式表示。
Ix＝Hx+(Hx-Ex)
Iy＝Hy+(Hy-Ey)
Iz＝Hz+(Hz-Ez)
通过该坐标和虚拟镜A上的顶点A1的直线是从视点E观察将虚拟镜A作为镜子(镜)而反射后的直线的计算式。
也可以将该直线的计算式的方向直接作为映射到能够从车外摄像头2观察的方向上的坐标显示在显示器5上。另外，也可以准备作为从虚拟镜A反射到的面的镜显示面B。在这种情况下，表示镜显示面B的平面的计算式预设为下述内容。
Ba·(x-Bx)+Bb·(y-By)+Bc·(z-Bz)＝0
此处，(Ba、Bb、Bc)为该平面的法线矢量，(Bx、By、Bz)为镜显示面B上的一个点的坐标。
通常，镜显示面B与车外摄像头2分开距离并相对于车辆的行进方向垂直地配置。对镜显示面B与从视点E观察将虚拟镜A作为镜子(镜)而反射后的直线的交点B1进行计算。将该坐标B1转换为从车外摄像头2观察到的坐标，并在显示器5上显示该摄像头影像上的坐标。能够预先测定并设定透镜参数或在摄像头安装时所进行校准的外部摄像头参数，并根据该设定值而计算并确定相对于从车外摄像头2观察的方向的影像上的坐标。
如上所述，根据本实施方式，由于通过虚拟镜A使车辆外部的影像减轻距离或位置上的不协调而显示在显示器5上，因此车辆驾驶员能够以观察实际镜子的距离感来对车辆周边进行确认。
接下来，对以上述方式构成的车辆用周边监视装置1中显示器5所显示的镜框D的影像的转换处理的流程进行说明。
图5是示出显示器5所显示的镜框D的影像的转换处理的流程的流程图。
首先，从环境信息保持部42获取车外摄像头2、虚拟镜A及显示器5的位置及角度信息(步骤S51)。
接着，以三维坐标对虚拟镜A的配置进行设定(步骤S52)。
接下来，对车外摄像头2所获取的摄像头影像进行转换前的处理(步骤S53)。例如，预先创建车外摄像头2拍摄车辆正后方(后方)时用于坐标转换处理的查询表。
接下来，从车外摄像头2获取摄像头影像(步骤S54)。
接着，执行摄像头影像的转换处理(步骤S55)。
在摄像头影像的转换处理中，首先通过视点检测摄像头3获取表示视点E的位置的坐标(步骤S551)。
接下来，基于表示虚拟镜A的位置的坐标和表示视点E的位置的坐标计算表示显示器5所显示的镜框D的位置的坐标(步骤S552)。
接着，计算从视点E观察将虚拟镜A作为镜子(镜)反射后的直线的计算式(步骤S553)。
接着，计算反射后的直线的计算式与镜显示面B的交点(步骤S554)。根据全部的交点来确定镜显示面B。
接着，将上述交点的坐标转换为从车外摄像头2观察的坐标，并转换为车外摄像头2的影像上的坐标(步骤S555)，结束摄像头影像的转换处理。
接下来，将转换处理后的数据输出至显示器5，并在显示器5上显示镜显示影像(步骤S56)。
(本实施方式的变形例1)
接下来，对本实施方式的变形例进行说明。
由于镜显示面B的位置是规定纵深而进行计算，因此只要物体在预定距离内自然能够观察到。但是，在没有物体的情景中，如果预定距离相当大而未计算则无法正确显示。
在将上述预定距离设定为无穷大(无穷远)的情况下，由于从视点E反射的虚拟镜A的反射角度和从车外摄像头2观察的角度相同，因此在显示器5上显示从车外摄像头2通过该角度所显示的区域即可。此时，为了易于用户观察，显示器5的倾斜可以取决于用户而倾斜。
此外，也可以预先确定镜显示面B的位置，并结合该位置确定虚拟镜A的配置和角度。此外，也可以设置为用户能够改变虚拟镜A的位置、角度或尺寸。
(本实施方式的变形例2)
图6是说明在镜框D上标注刻度的变形例的图。
优选为在显示器5所显示的镜框D上以预定间隔显示刻度。通过标注刻度，观察到显示器5所显示的影像的驾驶员会更加容易地掌握距离感。另外，关于标注刻度的方法，也可以交由驾驶员设定。
(本实施方式的变形例3)
图7是说明使显示镜框D的线变粗的变形例的图。
优选为将显示镜框D的线的粗细设置为一定的，通过显示边框的粗细而容易了解镜框D的倾斜方向。另外，也可以设置为能够分别改变镜框D的长边、短边的长度。
根据所涉及的变形例，根据镜框D的影像可知镜子的倾斜。
(本实施方式的变形例4)
图8的(a)和(b)是说明使镜框D弯曲显示的图。如图8所示，还优选为使镜框D以凹形或凸形的方式弯曲而显示。此时，也可以设置为能够改变弯曲程度。另外，如果准备多个镜框D，并且显示了弯曲率不同的相同方向，则能够通过某个镜框D以易于观察的尺寸观察过远过小的物体和过近过大的物体。
根据所涉及的变形例，由于镜框D是弯曲的，因此驾驶员所识别镜框D影像也是弯曲的，并且能够把握镜框D的影像被放大或者被缩小。另外，还能够通过多个放大率同时进行确认。
(本实施方式的变形例5)
图9的(a)和(b)是说明在镜框D的旁边显示表示透镜的边框的变形例的图。图10的(a)和(b)是说明在镜框的旁边显示表示放大率的边框的变形例的图。
优选为在镜框D影像的旁边进行表示透镜或放大率的边框的显示。另外，也可以设置为能够改变其放大程度。
根据所涉及的变形例，镜框D的形状即使为平面，也能够进行大范围的显示或小范围的远处显示，从而能够把握放大或缩小。
(本实施方式的变形例6)
还优选显示器5以三维显示的方式而构成。在这样的显示器5中，通过立体地显示镜框D的影像，以使纵深在正确的位置可见的方式而显示成为可能。
此时，为了易于立体观察，可以根据镜框D的边框上的位置而改变颜色，或在镜框D上绘制图案。此外，也可以通过立体摄像机或毫米波雷达生成从车外摄像头2观察的三维地图，通过计算从视点观察在虚拟镜A上反射的直线与三维地图的交点并显示该交点的摄像头影像上的坐标，显示影像内的位置也得以正确显示。此时，针对左眼和右眼分别计算可见影像而创建影像即可。
根据所涉及的变形例，根据镜框D的位置可知实际的镜子位置。此外，由此也能够辨别反射后的影像的位置。
(本实施方式的变形例7)
还优选实时地获取驾驶员眼睛的位置，并根据所获取的眼睛的位置以正确的距离显示镜框D的影像。
根据所涉及的变形例，能够根据镜框D的位置更加准确地辨别实际的镜子位置。
(本实施方式的变形例8)
当显示交叉为T字路的道路方向时，在车辆以与镜框D相同的倾斜行进的情况下，镜框D中不显示道路方向。因此，对镜框D的倾斜进行改变从而显示经常交叉的道路的方向。例如，
实时地获取驾驶员眼睛的位置，当想要显示的镜显示影像仅显示预定方向时，也可以上下左右地改变镜框D的影像的倾斜，以示出相同区域(位置)。
根据所涉及的变形例，可知由于镜框D的影像的倾斜发生变化，镜显示影像范围不发生变化。
(本实施方式的变形例9)
图11是驾驶员眼睛的位置超过阈值进行移动的变形例的说明图。
驾驶员通过左右移动眼睛的位置以改变反射到镜子上的区域，从而确认想要观察的区域是否存在危险(物体是否接近，是否有物体)。
实时地获取驾驶员眼睛的位置，当故意超过预定阈值大幅度左右移动时，也可以设置为使镜框D倾斜并简单显示想要观察的区域(位置)，以使能够在镜子上观察的方向更加易于观察。此时，当眼睛位置的移动量小于或等于阈值时，使镜子的倾斜不发生改变。
根据所涉及的变形例，驾驶员能够以较少的动作观察镜子的外侧，能够简单地观察较大的视野。
(本实施方式的变形例10)
图12是说明涉及显示器及镜显示面B的配置的变形例的图。
由于观察车外物体的角度如果尽量不从同一方向观察，影像的变形会变得较大，因此，尽量使从视线观察的反射角度与从车外摄像头2观察的角度一致。优选为在显示器5的延长线上配置虚拟镜A，在开始于视点位置并由虚拟镜A反射的方向的延长线上的车辆位置上配置车外摄像头2。此时，镜显示面的位置尽量配置为距离虚拟镜A较远。或者也可以设为无穷远点，使从车外摄像头2观察的角度和在虚拟镜A上反射视点位置的角度相同并进行显示。
根据所涉及的变形例，能够使显示器5的位置取决于驾驶员，并能够减少视线移动。减轻了显示角度位置偏离的不协调感。
(本实施方式的变形例11)
图13是说明在变形例10中变更车外摄像头2的位置的图。
也可以在显示器5的延长线上配置虚拟镜A，在从视点位置观察并在虚拟镜A反射的相反侧方向的延长线上的车辆位置上配置车外摄像头2。此时，镜显示面B尽可能配置为远处即可。或者设为无穷远点，使从车外摄像头2观察的角度和在虚拟镜A上反射视点位置的角度相同并进行显示。
根据所涉及的变形例，能够在车辆的外部或内部也显示虚拟镜A。此外，减轻了显示角度位置偏离的不协调感。
(本实施方式的变形例12)
图14是说明虚拟镜A的位置的变形例的图。在图14中，三角形标志表示路面上绘制的道路标识。如图14所示，也可以使虚拟镜A不在车外摄像头2的延长线上，而是位于确定了镜显示面B的距离、位置上，并使虚拟镜A倾斜以能够显示该位置，来转换摄像头影像并进行显示。在本变形例中，例如采用鱼眼摄像头构成车外摄像头2。
根据所涉及的变形例，能够在将显示器5置于易于观察的位置的状态下显示想要观察的地方。但是，由于较大范围或较远地方的不协调感较强，因此基本上能够显示可识别距离的地面，例如路面。
(本实施方式的变形例13)
也可以安装两台车外摄像头2或者安装深度传感器，指定立体视觉三维坐标，校正能够观察的位置后显示镜影像。此时，也可以获取左右眼各自的位置，在3D显示器上显示镜影像。此外，也可以不是车外摄像头2，而是一台车外摄像头2和深度传感器。
根据所涉及的变形例，即使虚拟镜A的位置上没有车外摄像头2，虚拟镜A不位于车外摄像头2的延长线上，也能够更加正确地显示距离感，而与镜显示面B无关。
(本实施方式的变形例14)
图15是说明涉及镜框显示影像的重叠的变形例的图。如图15所示，也可以在表示镜框的影像中重叠显示表示镜框的影像。此外，也可以显示镜框的影像显示一个摄像头影像，重叠显示的镜框的显示影像显示其它的摄像头影像。此时，也可以将重叠镜框的显示影像配置于稍上方等，从而也显示非重叠镜框的显示影像。
根据所涉及的变形例，能够显示不进行左右翻转或上下翻转的影像。此外，能够在同一显示中确认多个地方。
(本实施方式的变形例15)
也可以在驾驶员的正面配置虚拟镜A的基础上使其反射，在正上方配置其它的虚拟镜A并在正下方使其反射从而进行俯视显示。
根据所涉及的变形例，还能够进行俯视显示。
(本实施方式的变形例16)
图16是说明涉及使车辆透明的变形例的图。如图16所示，当在镜框显示影像的延长线上有车辆时，也可以在该车辆前方的相反侧安装车外摄像头2，以使车辆透明的方式进行显示。此时，也可以利用所备车辆数据使车辆显示为半透明。
根据所涉及的变形例，由于干扰而无法观察车辆的死角也能够显示。
(本实施方式的变形例17)
也可以由组装至驾驶员座位正面仪表盘上的仪表板、车载平视显示器(HUD)或头戴式显示器构成。
根据所涉及的变形例，能够同时观察镜框的显示影像和实际车外情况。
(本实施方式的变形例18)
图17是说明涉及驾驶员对镜框D的影像的位置或倾斜进行变更的变形例的图。如图17所示，也可以通过开关(未图示)等手动变更镜框D的影像的位置或倾斜，并与此连动显示摄像头影像。此时，也可以与手掌的朝向连动来改变镜子的朝向。此外，也可以展开手指后放大显示，收缩手指后缩小显示。相对于车辆行进方向朝右的镜子用左手改变朝向，朝左的镜子用右手改变朝向即可。
根据所涉及的变形例，使驾驶员很容易地改变想要观察的镜框D的方向或大小。
(本实施方式的变形例19)
图18、图19是安装多台车外摄像头2的变形例的说明图。如图18所示，也可以安装多台车外摄像头2，通过视点E和镜显示影像位置关系显示多个摄像头影像。此时，也可以改变分别映入眼睛的车外摄像头2或摄像头影像的范围以进行立体视觉显示。
此时，虚拟影像位置尽可能配置为远处即可。或者也可以设为无穷远点，进行在虚拟镜A上反射视点E位置的角度与从位于其延长线上的车外摄像头2观察的角度相同的显示。此时，使车外摄像头2的连接处位于开始于相邻两台车外摄像头2的视点的延长线上的中间的角度位置即可。此外，也可以检索成为相同影像的特点从而顺利连接两台车外摄像头2的连接处。此外，两台车外摄像头2的连接处也可以进行α混合重叠。此外，也可以通过多台车外摄像头2进行立体观察，并在能够观察实际情况的位置对车外影像进行校正。
如图19所示，当在车辆的周围方向上安装多台时，镜框D的显示设置为横向较长，在横向方向上切换车外摄像头2即可。当在车辆的高度方向上安装多台时，将镜框D的显示的高度相应地加长，在纵向方向上切换车外摄像头2即可。此外，当车外摄像头2出现故障时，利用附近的其它车外摄像头2校正即可。
根据所涉及的变形例，能够正确地显示摄像头影像的距离感。能够在一个镜显示影像中观察较大范围。
(本实施方式的变形例20)
也可以准备具有较大区域的显示器5，预先确定在显示器5上的每个区域中所显示的镜显示影像和其方向，只有在视线进入显示器5上的确定区域时，显示表示确定方向的镜显示影像。
根据所涉及的变形例，能够减轻不需要时而进行了显示的烦琐化。此外，通过改变显示器5上的视线位置，能够变更想要观察的方向。
(本实施方式的变形例21)
也可以通过导航信息、车辆信息或车外的障碍物识别结果，对显示和非显示的切换、确定区域或障碍物进行追踪并显示。在追踪时，变更虚拟镜A的位置或角度即可。
根据所涉及的变形例，能够减少当不需要时而进行显示的烦琐化。此外，例如在十字路口等处，即使车辆行驶，也能够持续显示交叉道路的方向。另外，能够持续显示危险的障碍物。
对本发明的几种实施方式进行了说明，但这些实施方式是作为例子而提出的，并非意在限定发明的范围。这些新的实施方式能够以其它多种多样的方式进行实施，在不脱离发明主旨的范围内，能够进行各种省略、替换、变更。这些实施方式或其变形既包含于发明范围或主旨中，也包含于权利要求书所记载的发明和其均等的范围内。

Claims (12)

1.一种车辆用周边监视装置，包括：
车外摄像头，对车辆外部周边进行拍摄；
显示器，显示影像；以及
图像处理部，获取驾驶员的视点的位置信息、所述显示器的位置信息、以及使所述车外摄像头拍摄到的影像几何转换为从所述视点观察到的影像的虚拟镜的位置信息，并且，根据所述视点的位置信息、所述显示器的位置信息及所述虚拟镜的位置信息与所述车外摄像头的影像而创建从所述视点观察到的显示于所述虚拟镜的镜显示图像，
所述图像处理部创建包围在所述镜显示影像的周围的镜框，并且，
在所述显示器上显示所述镜框与在所述镜框内的所述镜显示影像。
2.根据权利要求1所述的车辆用周边监视装置，其中，
所述车辆用周边监视装置还包括对包括驾驶员的视点的面部进行拍摄的视点检测摄像头，所述视点检测摄像头是用于检测所述驾驶员的视点的摄像头。
3.根据权利要求1所述的车辆用周边监视装置，其中，
所述图像处理部在以与从所述驾驶员的视点到所述虚拟镜的面的角度相同的角度相对于所述虚拟镜的面反射后的且距离所述虚拟镜预定距离的位置设置镜显示面，所述镜显示面将包括所述虚拟镜的各顶点在内地反射到的区域作为显示区域，并且，
将对由所述车外摄像头确定的所述镜显示面的三维位置拍摄出的影像创建为在所述虚拟镜上显示的镜显示影像。
4.根据权利要求2所述的车辆用周边监视装置，其中，
所述图像处理部在以与从所述驾驶员的视点到所述虚拟镜的面的角度相同的角度相对于所述虚拟镜的面反射后的且距离所述虚拟镜预定距离的位置设置镜显示面，所述镜显示面将包括所述虚拟镜的各顶点在内地反射到的区域作为显示区域，并且，
将对由所述车外摄像头确定的所述镜显示面的三维位置拍摄出的影像创建为在所述虚拟镜上显示的镜显示影像。
5.根据权利要求4所述的车辆用周边监视装置，其中，
基于所述虚拟镜的坐标信息与所述视点的坐标信息，计算所述显示器上显示的所述镜框的位置，
计算从所述视点观察将所述虚拟镜作为镜子而反射后的直线的计算式，
计算反射后的直线的计算式与所述镜显示面的全部的交点，
将所述交点的坐标转换为所述车外摄像头的影像上的坐标，并
使转换处理后的影像显示于所述显示器。
6.根据权利要求2所述的车辆用周边监视装置，其中，
所述图像处理部包括：
视点坐标计算部，从所述视点检测摄像头获取影像而计算驾驶员的视点的坐标；
环境信息保持部，保持所述车外摄像头在车辆上的安装位置及安装角度的信息、所述显示器的安装位置及安装角度的信息、所述虚拟镜的位置及角度的信息；
镜影像计算部，基于所述视点的坐标数据、所述环境信息保持部所保持的各位置角度信息的数据，计算所述虚拟镜上显示的镜影像；
镜框计算部，基于所述视点的坐标数据及所述环境信息保持部所保持的各位置角度信息的数据来计算所述镜框；以及
镜显示影像创建部，基于所述镜影像的信息及所述镜框的信息，创建所述虚拟镜上显示的影像。
7.根据权利要求1所述的车辆用周边监视装置，其中，
所述虚拟镜的位置设定于从所述视点观察所述显示器的延长线上，并且，所述虚拟镜的朝向调整为使所述镜显示影像处于预定的方向。
8.根据权利要求1所述的车辆用周边监视装置，其中，
所述车辆用周边监视装置将所述显示器上显示的影像设为在所述镜框上标注有刻度的影像。
9.根据权利要求1所述的车辆用周边监视装置，其中，
所述车辆用周边监视装置将所述显示器上显示的影像设为使显示所述镜框的线加粗的影像。
10.根据权利要求1所述的车辆用周边监视装置，其中，
所述车辆用周边监视装置将所述显示器上显示的影像设为使所述镜框弯曲的影像。
11.根据权利要求1所述的车辆用周边监视装置，其中，
所述车辆用周边监视装置将所述显示器上显示的影像设为在所述镜框的旁边显示表示放大率的标志的影像。
12.根据权利要求1所述的车辆用周边监视装置，其中，
所述虚拟镜的朝向调整为使所述镜显示影像追踪特定的区域或物体。
CN201610818958.0A 2016-04-04 2016-09-12 车辆用周边监视装置 Active CN107284352B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-075033 2016-04-04
JP2016075033A JP6669569B2 (ja) 2016-04-04 2016-04-04 車両用周辺監視装置

Publications (2)

Publication Number Publication Date
CN107284352A true CN107284352A (zh) 2017-10-24
CN107284352B CN107284352B (zh) 2019-06-14

Family

ID=59958548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610818958.0A Active CN107284352B (zh) 2016-04-04 2016-09-12 车辆用周边监视装置

Country Status (3)

Country Link
US (1) US20170282796A1 (zh)
JP (1) JP6669569B2 (zh)
CN (1) CN107284352B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109649275A (zh) * 2018-11-29 2019-04-19 福瑞泰克智能系统有限公司 一种基于增强现实的驾驶辅助系统及方法
CN113170083A (zh) * 2018-12-11 2021-07-23 索尼集团公司 图像处理装置、图像处理方法和图像处理系统
CN113223076A (zh) * 2021-04-07 2021-08-06 东软睿驰汽车技术（沈阳）有限公司 车辆与车载摄像头的坐标系标定方法、设备及存储介质
CN115988343A (zh) * 2022-11-21 2023-04-18 中国联合网络通信集团有限公司 图像生成方法、装置及可读存储介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6723820B2 (ja) * 2016-05-18 2020-07-15 株式会社デンソーテン 画像生成装置、画像表示システムおよび画像表示方法
US10654422B2 (en) 2016-08-29 2020-05-19 Razmik Karabed View friendly monitor systems
US20180063444A1 (en) * 2016-08-29 2018-03-01 Razmik Karabed View friendly monitor systems
JP6626069B2 (ja) * 2017-11-10 2019-12-25 矢崎総業株式会社 車両用表示装置
JP7076896B2 (ja) * 2018-02-05 2022-05-30 アルパイン株式会社 表示制御装置、表示制御方法及びカメラモニタリングシステム
JP6970035B2 (ja) * 2018-02-20 2021-11-24 株式会社東海理化電機製作所 車両用視認装置の撮影部の画角設定方法
JP2019217970A (ja) * 2018-06-21 2019-12-26 日本電産コパル株式会社 電子ミラー装置及び画像表示方法
KR102223852B1 (ko) * 2019-03-15 2021-03-08 김필재 영상 디스플레이 시스템 및 방법
US10981507B1 (en) 2019-11-07 2021-04-20 Focused Technology Solutions, Inc. Interactive safety system for vehicles
US11388354B2 (en) 2019-12-06 2022-07-12 Razmik Karabed Backup-camera-system-based, on-demand video player
CN111522443B (zh) * 2020-04-13 2024-04-05 京东方科技集团股份有限公司 车辆a柱显示组件的显示方法、系统、设备和存储介质
KR102513762B1 (ko) * 2021-03-02 2023-03-27 주식회사 켐트로닉스 사이드미러 가상 영상 생성 장치 및 방법
US11615633B2 (en) * 2021-05-21 2023-03-28 Panasonic Intellectual Property Management Co., Ltd. Monitoring device, monitoring system, and monitoring method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1898961A (zh) * 2004-04-27 2007-01-17 松下电器产业株式会社 车辆周围环境显示装置
CN1946174A (zh) * 2005-10-07 2007-04-11 日产自动车株式会社 车辆用死角图像显示设备和显示方法
US20080231703A1 (en) * 2007-03-23 2008-09-25 Denso Corporation Field watch apparatus
CN105073499A (zh) * 2013-03-29 2015-11-18 爱信精机株式会社 图像显示控制装置、图像显示系统及显示单元
CN105163972A (zh) * 2013-09-13 2015-12-16 日立麦克赛尔株式会社 信息显示系统以及信息显示装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5027200A (en) * 1990-07-10 1991-06-25 Edward Petrossian Enhanced viewing at side and rear of motor vehicles
JP4849333B2 (ja) * 2006-12-04 2012-01-11 株式会社デンソー 車両用視覚補助装置
US20090079829A1 (en) * 2007-09-25 2009-03-26 Tianyi Hu Multi-functional side rear view mirror for vehicles
EP2119596B1 (en) * 2008-05-16 2012-01-04 SMR Patents S.à.r.l. Imaging system for a vehicle and mirror assembly comprising such an imaging system
JP2010137697A (ja) * 2008-12-11 2010-06-24 Honda Motor Co Ltd 車両の運転支援装置
JP2010183170A (ja) * 2009-02-03 2010-08-19 Denso Corp 車両用表示装置
JP5223811B2 (ja) * 2009-08-06 2013-06-26 株式会社日本自動車部品総合研究所 画像補正装置、画像補正方法、及びそれらに用いられる変換マップ作成方法
JP2012051678A (ja) * 2010-08-31 2012-03-15 Sumitomo Heavy Ind Ltd 視界補助システム
JP5187369B2 (ja) * 2010-09-24 2013-04-24 株式会社デンソー 車両用の後退駐車支援装置および後退駐車支援装置用のプログラム
JP5667594B2 (ja) * 2012-03-15 2015-02-12 株式会社小松製作所 障害物検出機構付きダンプトラックおよびその障害物検出方法
DE102012025322B4 (de) * 2012-12-22 2014-08-21 Audi Ag Kraftfahrzeug mit Kamera-Monitor-System
JP2014189213A (ja) * 2013-03-28 2014-10-06 Nippon Seiki Co Ltd 車両用表示装置
US9674490B2 (en) * 2013-04-18 2017-06-06 Magna Electronics Inc. Vision system for vehicle with adjustable cameras
US20160280136A1 (en) * 2014-03-05 2016-09-29 Guy M. Besson Active-tracking vehicular-based systems and methods for generating adaptive image
JP6371553B2 (ja) * 2014-03-27 2018-08-08 クラリオン株式会社 映像表示装置および映像表示システム
WO2015182457A1 (ja) * 2014-05-29 2015-12-03 株式会社小糸製作所 車両外部監視装置及び撮像装置
US20160200254A1 (en) * 2015-01-12 2016-07-14 BSR Technologies Group Method and System for Preventing Blind Spots
US20160257252A1 (en) * 2015-03-05 2016-09-08 Lenovo (Singapore) Pte. Ltd. Projection of images on side window of vehicle
US9718405B1 (en) * 2015-03-23 2017-08-01 Rosco, Inc. Collision avoidance and/or pedestrian detection system
DE102015209187B3 (de) * 2015-05-20 2016-09-29 Volkswagen Aktiengesellschaft Überwachungsvorrichtung für ein Kraftfahrzeug
JP2016225865A (ja) * 2015-06-01 2016-12-28 東芝アルパイン・オートモティブテクノロジー株式会社 俯瞰画像生成装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1898961A (zh) * 2004-04-27 2007-01-17 松下电器产业株式会社 车辆周围环境显示装置
CN1946174A (zh) * 2005-10-07 2007-04-11 日产自动车株式会社 车辆用死角图像显示设备和显示方法
US20080231703A1 (en) * 2007-03-23 2008-09-25 Denso Corporation Field watch apparatus
CN105073499A (zh) * 2013-03-29 2015-11-18 爱信精机株式会社 图像显示控制装置、图像显示系统及显示单元
CN105163972A (zh) * 2013-09-13 2015-12-16 日立麦克赛尔株式会社 信息显示系统以及信息显示装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109649275A (zh) * 2018-11-29 2019-04-19 福瑞泰克智能系统有限公司 一种基于增强现实的驾驶辅助系统及方法
CN113170083A (zh) * 2018-12-11 2021-07-23 索尼集团公司 图像处理装置、图像处理方法和图像处理系统
CN113223076A (zh) * 2021-04-07 2021-08-06 东软睿驰汽车技术（沈阳）有限公司 车辆与车载摄像头的坐标系标定方法、设备及存储介质
CN113223076B (zh) * 2021-04-07 2024-02-27 东软睿驰汽车技术（沈阳）有限公司 车辆与车载摄像头的坐标系标定方法、设备及存储介质
CN115988343A (zh) * 2022-11-21 2023-04-18 中国联合网络通信集团有限公司 图像生成方法、装置及可读存储介质

Also Published As

Publication number Publication date
US20170282796A1 (en) 2017-10-05
JP6669569B2 (ja) 2020-03-18
CN107284352B (zh) 2019-06-14
JP2017188744A (ja) 2017-10-12

Similar Documents

Publication Publication Date Title
CN107284352B (zh) 车辆用周边监视装置
US10029700B2 (en) Infotainment system with head-up display for symbol projection
US6411898B2 (en) Navigation device
US8994558B2 (en) Automotive augmented reality head-up display apparatus and method
JP6344417B2 (ja) 車両用表示装置
JP4323377B2 (ja) 画像表示装置
JP6459205B2 (ja) 車両用表示システム
JP5267660B2 (ja) 画像処理装置、画像処理プログラム、画像処理方法
US20150161762A1 (en) Information processing apparatus, information processing method, and program
WO2011090163A1 (ja) パラメータ決定装置、パラメータ決定システム、パラメータ決定方法、及び記録媒体
US20140375812A1 (en) Method for representing a vehicle&#39;s surrounding environment
US11525694B2 (en) Superimposed-image display device and computer program
JPWO2009144994A1 (ja) 車両用画像処理装置、車両用画像処理方法
CN210139859U (zh) 汽车碰撞预警系统、导航系统及汽车
CN110001400A (zh) 车辆用显示装置
JP2009020089A (ja) ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム
EP4339938A1 (en) Projection method and apparatus, and vehicle and ar-hud
US20160180179A1 (en) Vehicle periphery monitoring apparatus and program
KR20170060652A (ko) 헤드업 디스플레이의 좌표 매칭 장치 및 그 방법
CN107532917A (zh) 显示控制装置、显示控制方法和显示控制程序
JP2012035784A (ja) 車両用ディスプレイ装置
JP2022034511A (ja) コンテンツを可視化する装置及び方法
US20060115144A1 (en) Image information processing system, image information processing method, image information processing program, and automobile
JP2019064422A (ja) ヘッドアップディスプレイ装置
KR20180026418A (ko) 헤드업 디스플레이의 좌표 매칭 장치 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20180305

Address after: Tokyo, Japan

Applicant after: ALPINE ELECTRONICS, Inc.

Address before: Fukushima

Applicant before: Toshiba Alpine Automotive Tech

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant