CN115280765A - 车辆用显示装置以及车辆用显示方法 - Google Patents

车辆用显示装置以及车辆用显示方法 Download PDF

Info

Publication number
CN115280765A
CN115280765A CN202180021476.1A CN202180021476A CN115280765A CN 115280765 A CN115280765 A CN 115280765A CN 202180021476 A CN202180021476 A CN 202180021476A CN 115280765 A CN115280765 A CN 115280765A
Authority
CN
China
Prior art keywords
image
vehicle
host vehicle
display device
peripheral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180021476.1A
Other languages
English (en)
Inventor
小原贤治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of CN115280765A publication Critical patent/CN115280765A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明是搭载于车辆的车辆用显示装置(100)，具备：拍摄数据获取部(111)，获取拍摄到后侧方通道区域和周边区域的拍摄数据，其中，上述后侧方通道区域包含位于搭载车辆用显示装置(100)的车辆亦即本车辆的后侧方的通道，上述周边区域包含本车辆的周边；图像生成部(114)，基于由拍摄数据获取部(111)获取的拍摄数据，来生成后侧方通道区域的图像和周边区域的图像；以及显示部(131)，同时显示后侧方通道区域的图像和周边区域的图像。

Description

车辆用显示装置以及车辆用显示方法
相关申请的交叉引用
本申请以2020年3月20日在日本申请的日本专利申请第2020－050365号作为基础，通过参照将基础申请的内容整体上引用至本申请。
技术领域
本发明涉及车辆用显示装置，特别涉及在离开停车区划时等有用的车辆用显示装置以及车辆用显示方法。
背景技术
在专利文献1中公开了一种显示装置，其在从停车位置前进起步时，显示后轮内轮部以及转弯外侧前角部。在左转弯的情况下，后轮内轮为左后轮。在左转弯的情况下，转弯外侧前角部为右前角部。
专利文献1：日本特开2006－209134号公报
在从停车区划前进起步的情况下，如专利文献1中公开的那样，需要确认后轮内轮部以及转弯外侧前角部与障碍物的距离等车辆周边。然而，不仅如此，在从停车区划前进起步时，还需要确认是否存在从后方接近离开停车区划后的通道的移动体。
另外，在离开停车区划后在停车场行驶并从停车场进入道路的情况等、除从停车区划前进起步的情况以外，也有必须同时注意车辆附近和在接下来进入的道路上移动的移动体来驾驶的状况。
发明内容
本公开是基于该情况而完成的，其目的在于提供一种能够在出库时等容易地确认应确认的区域的车辆用显示装置以及车辆用显示方法。
上述目的通过独立权利要求所记载的特征的组合来实现，另外，从属权利要求规定更加有利的具体例。权利要求书所记载的括弧内的附图标记表示与作为一个方式后述的实施方式所记载的具体单元的对应关系，并不限定公开的技术范围。
用于实现上述目的的车辆用显示装置的一个公开是搭载于车辆的车辆用显示装置，具备：
拍摄数据获取部，获取拍摄到后侧方通道区域和周边区域的拍摄数据，其中，上述后侧方通道区域包含搭载车辆用显示装置的车辆亦即本车辆要进入的通道的进入方向后方，上述周边区域包含本车辆的周边；
图像生成部，基于由拍摄数据获取部获取的拍摄数据，来生成后侧方通道区域的图像和周边区域的图像；以及
显示部，同时显示后侧方通道区域的图像和周边区域的图像。
用于实现上述目的的车辆用显示方法的一个公开是一种车辆用显示方法，其中，
获取拍摄到后侧方通道区域和周边区域的拍摄数据，其中，上述后侧方通道区域包含车辆要进入的通道的进入方向后方，上述周边区域包含车辆的周边，
基于拍摄数据，来生成后侧方通道区域的图像和周边区域的图像，并将后侧方通道区域的图像和周边区域的图像同时显示在显示部。
根据这些车辆用显示装置、车辆用显示方法，若观察显示部，则能够同时确认位于本车辆的后侧方的通道和本车辆的周边。因此，在出库时等，能够容易地确认应确认的区域。
附图说明
图1是表示包含车辆用显示装置100的车载系统10的结构的图。
图2是表示周边图像140和后方通道图像150的一个例子的图。
图3是对虚拟相机位置160进行说明的图。
图4是表示由ECU110执行的处理的图。
图5是表示周边图像140和后方通道图像150的另一个例子的图。
图6是例示提醒注意图像153的图。
图7是例示确认结果图像154的图。
图8是表示由侧方相机拍摄到的后方通道图像250的图。
图9是表示从并列停车状态开始行驶的情况下的后侧方通道区域151等的图。
具体实施方式
以下，基于附图对实施方式进行说明。图1是表示包含车辆用显示装置100的车载系统10的结构的图。车载系统10为具备车辆用显示装置100和相机11的结构。车载系统10搭载于车辆。以下，将搭载有车载系统10的车辆作为本车辆2。
在本车辆2中，具备测距传感器12、车轮速度传感器13、转向操纵控制部14、换挡控制部15、加速控制部16以及制动控制部17。这些部件能够通过车内网络线路18相互通信。另外，车辆用显示装置100也连接于车内网络线路18。
测距传感器12是测定本车辆2与存在于周边的障碍物之间的距离的传感器。测距传感器12例如是超声波传感器。另外，也能够使用毫米波传感器、LIDAR等作为测距传感器12。车轮速度传感器13依次检测本车辆2的车轮速度。转向操纵控制部14控制本车辆2的转向轮的角度。换挡控制部15控制本车辆2的换挡位置。加速控制部16控制本车辆2的节气门的开度。制动控制部17控制本车辆2的制动液压。转向操纵控制部14、换挡控制部15、加速控制部16、制动控制部17能够由具备处理器的结构来实现。
在本车辆2从停车区划3(参照图3)出库时、或者向停车区划3停车时，转向操纵控制部14、换挡控制部15、加速控制部16、制动控制部17控制本车辆2的速度以及行进方向中的一方或者两方。车辆用显示装置100也能够搭载于未搭载这些部件的车辆。
相机11拍摄本车辆2的后侧方和本车辆2的周边。为了拍摄本车辆2的后侧方和本车辆2的周边，而设置有需要数量的相机11。例如，为了拍摄本车辆2的周边，而在本车辆2的前端面、后端面、左右侧面分别设置相机11。并且，设置有用于拍摄本车辆2的右后侧方的相机11和用于拍摄本车辆2的左后侧方的相机11。用于拍摄本车辆2的后侧方的相机11能够设置在侧视镜附近。另外，作为用于拍摄本车辆2的后侧方的相机11，也能够具备拍摄本车辆2的侧方的相机11和拍摄本车辆2的后方的相机11。
本车辆2的周边是在停车时的行驶速度下应注意的区域。以下，将该区域作为周边区域。周边区域例如离本车辆2的距离为1m以下、或者为进一步短的距离以下。在水平面内，周边区域的角度范围为以本车辆2为中心的360度范围的全部或者一部分。本车辆2的后侧方包含比周边区域远的距离。
〔车辆用显示装置100的结构〕
车辆用显示装置100具备ECU110、扬声器120、显示器130。ECU110能够由具备至少一个处理器的结构来实现。例如，ECU110能够由具备处理器、非易失性存储器、RAM、I/O以及连接这些结构的总线等的计算机来实现。在非易失性存储器中储存有用于使通用的计算机作为ECU110工作的程序。ECU110通过处理器利用RAM的临时存储功能并执行存储于非易失性存储器的程序，作为拍摄数据获取部111、车辆信息输入输出部112、图像识别部113、图像生成部114、输出控制部115工作。执行这些工作意味着执行与程序对应的车辆用显示方法等方法。
扬声器120从ECU110输入信号，输出提醒本车辆2的乘员注意的声音等各种声音。
显示器130具备显示部131和操作输入部132。显示部131配置于本车辆2的车厢内驾驶员等乘员能够视觉确认的场所。在显示部131上显示后述的后方通道图像、周边图像140等。操作输入部132具备重叠于显示部131的显示面的触摸面板、或者配置于显示面的周围等的机械开关。本车辆2的乘员在指示显示于显示部131的图像的切换时等操作操作输入部132。
拍摄数据获取部111依次获取表示由相机11拍摄的影像的拍摄数据。此外，在图1中，相机11与拍摄数据获取部111未经由车内网络线路18而连接。然而，拍摄数据获取部111也可以经由车内网络线路18从相机11获取影像数据。
车辆信息输入输出部112获取与本车辆2有关的各种信息。另外，也可以将图像生成部114在生成显示于显示部131的图像时计算出的本车辆2的位置、预测轨道等输出至车内网络线路18。车辆信息输入输出部112所获取的车辆信息是表示由测距传感器12检测出的与障碍物的距离、由车轮速度传感器13检测出的本车辆2的速度、转向操纵控制部14所控制的转向轮的角度等信息。
图像识别部113通过从拍摄数据获取部111获取拍摄数据，并进行图像识别处理、即对由相机11拍摄到的影像进行解析，来决定停车区划3或者通道与本车辆2的相对位置、相对角度等。此外，通道中除了包含位于停车场内等的通道以外，汽车所通行的道路4也包含于通道。另外，通道不限于汽车所通行的通道，人通行的通道，即存在于停车场、车库等与道路之间的人行道也包含于通道。车辆信息输入输出部112也与图像识别部113连接。车辆信息输入输出部112还能够获取图像识别部113的图像识别结果来作为车辆信息。
图像生成部114生成显示于显示部131的各种图像。图像生成部114所生成的图像包含周边图像140和后方通道图像150。周边图像140是将周边区域作为一部分或者全部的图像。在图2中示出周边图像140的一个例子。图2所示的周边图像140是从正上方观察本车辆2的俯瞰图像。该周边图像140是能够从设置于本车辆2的前后左右的相机11合成的图像。在周边图像140中，配置有用于表示本车辆2的位置的本车辆图形142。本车辆图形142是从上方观察本车辆2的图形。
在图2中也示出了后方通道图像150。在图2中，周边图像140与后方通道图像150相邻配置。后方通道图像150是包含后侧方通道区域151(参照图3)的图像。后侧方通道区域151是包含位于本车辆2的后侧方的通道的区域。并且，为了容易理解后方通道图像150中的通道等与本车辆2的相对位置，在图2所示的后方通道图像150中，配置有表示本车辆2的前端面的一部分的本车辆图形152。
在图3中，示出针对图2中例示的后方通道图像150的虚拟相机位置160。图3所示的本车辆2为要离开停车区划3并进入道路4的状态。
虚拟相机位置160意味着后方通道图像150的虚拟视点。虚拟视点是作为拍摄后方通道图像150的情况下的虚拟的相机位置。图3所示的虚拟相机位置160位于比本车辆2靠前方且靠上方的位置。由于周边图像140的视点位于本车辆2的正上方，因此后方通道图像150是来自与周边图像140不同的视点的图像。
作为来自虚拟相机位置160的图像的后方通道图像150能够通过对从一个或多个相机11得到的拍摄数据所示的拍摄图像中映现的各坐标进行坐标转换处理而得到。坐标转换基于相机11的安装位置、拍摄图像上的各坐标的位置、虚拟相机位置160来进行。
此外，图2所示的后方通道图像150是以虚拟相机位置160为虚拟视点的图像，但左右与从虚拟相机位置160实际观察后侧方通道区域151时反转。理由是因为通过使左右反转，来使实际空间中的本车辆2与通道的左右关系与后方通道图像150中显示的本车辆图形152与通道的左右关系一致。通过使后方通道图像150成为这样的图像，本车辆2的乘员容易将后方通道图像150中的通道与实际空间中的通道建立对应。但是，也可以使后方通道图像150成为与从虚拟相机位置160实际观察后侧方通道区域151时的左右一致的图像。
后方通道图像150是包含后侧方通道区域151的图像，后侧方通道区域151是包含位于本车辆2的后侧方的通道的区域。本车辆2相对于该通道倾斜地进入。后侧方是相对于要进入的通道倾斜地进入的状态的本车辆2的后侧方。或者，后侧方也能够为本车辆2的前后方向相对于要进入的通道平行的状态下的后侧方。后侧方通道区域151是比起周边区域更充分包含在通道中比本车辆2靠进入方向后方的部分的区域。此外，进入方向意味着本车辆2进入通道后的行进方向。后侧方通道区域151例如是在通道中包含从本车辆2的紧侧方到比本车辆2靠后方的几十米的区域。
如图2例示的那样，在本实施方式中，同时显示周边图像140和后方通道图像150。像这样同时显示周边图像140和后方通道图像150的理由如下。
如图3所示，在本车辆2从停车区划3驶出到位于本车辆2的右侧的道路4的情况下，使本车辆2向右前方转弯。此时，需要注意以免本车辆2的左前角部2a与停放在前方的其他车辆5等障碍物接触。
另外，在本车辆2的一部分进入道路4后，使本车辆2向左前方向转弯。此时，需要注意以免作为本车辆2的左后轮附近的左后侧部2b与其他车辆5等障碍物接触。周边图像140是用于本车辆2的乘员确认本车辆2的左前角部2a、左后侧部2b是否与障碍物接触的图像。
并且，在图3的状况下，除了需要确认周边图像140中映现的周边区域以外，同时也需要注意在道路4上沿本车辆2的方向移动的车、人等移动体。因此，将后方通道图像150与周边图像140同时显示于显示部131。
输出控制部115将表示由图像生成部114生成的周边图像140、后方通道图像150等图像的图像数据输出至显示器130。在显示部131显示基于从输出控制部115输出的图像数据的各种图像。另外，输出控制部115也可以将用于使扬声器120发出警告音等声音的信号输出至扬声器120。
〔ECU110执行的处理〕
在图4中示出ECU110执行的处理。开始图4所示的处理的开始条件能够进行各种设定。图4所示的处理是使显示部131显示上述的周边图像140、或者周边图像140和后方通道图像150的处理。在本车辆2从停车区划3前进起步时等，利用这些图像。因此，能够将停车后的起步开始作为开始条件。另外，即使在行驶中，在从停车场进入道路4时也需要确认周边区域。另外，在较窄的道路进入较宽的道路时也需要确认周边区域。此时的行驶速度与从停车场进入道路4时为相同程度。因此，也能够以成为在停车场行驶的程度的低速行驶作为开始条件。另外，也能够将存在由乘员进行的开始操作作为开始条件成立。
进一步地，也能够获取本车辆2的当前位置，并将地图数据中的本车辆2的位置为从停车场进入道路4的位置等预先设定的处理开始位置作为开始条件。另外，也可以代替地图数据中的本车辆2的位置，而通过对从相机11获取的拍摄数据进行图像解析，来决定本车辆2的位置。
在步骤(以下，省略“步骤”)S1中，拍摄数据获取部111从相机11获取拍摄数据。S2以下由图像生成部114执行。在S2中，计算本车辆2相对于通道的位置。为了计算本车辆2相对于通道的位置，例如，对拍摄数据进行解析并决定通道区域。
为了决定通道区域，能够决定停车区划3的框线的位置，将框线作为与通道的边界，将比框线靠通道方向的区域作为通道区域。在没有规定停车区划3的框的情况下、或者不能识别框的情况下，在前方或者后方停放有其他车辆5的情况下，也可以将其他车辆5的通道侧的侧面或者距该侧面一定距离的通道侧的位置作为通道与通道外的边界。并且，如上所述，通道还包含人行道。人行道与相邻的停车场、车库、道路的边界是明确的。因此，通道为人行道的情况下的通道区域能够通过图像解析来决定。
本车辆2相对于通道区域的位置也能够通过对拍摄数据进行解析来决定。此处的本车辆2的位置是本车辆2中接近通道的部分的位置。例如，此处的本车辆2的位置为本车辆2的通道侧的侧面。另外，也能够将本车辆2的位置作为本车辆2的左右的前轮中的通道侧的前轮的位置。
在S3中，基于在S2中计算出的本车辆2的位置，来判断本车辆2是否靠近通道。若S3的判断结果为“否”，则进入S4。在S4中，继续显示此前的显示图像。例如，在执行S4的时刻，若为显示周边图像140但未显示后方通道图像150的状态，则继续显示周边图像140。若S3的判断结果为“是”，则进入S5。在执行S5以下的情况下，如以下说明的那样，生成后方通道图像150。因此，S3的判断条件是生成后方通道图像150的图像生成条件。
在S5中，计算本车辆2要通过前进行驶进入的通道的通道分界线与本车辆2的相对位置、以及本车辆2相对于通道分界线的相对角度。相对位置的计算与S2相同。相对角度也能够对拍摄数据进行图像解析来决定。
在S6中，基于在S5中决定的相对位置、相对角度，来决定虚拟相机位置160和虚拟相机的朝向。如图3例示的那样，虚拟相机位置160和虚拟相机的朝向是假设拍摄包含以本车辆2为基准决定的后侧方通道区域151的后方通道图像150的情况的虚拟的相机位置。虚拟相机位置160是以本车辆2的规定点为基准点，从该基准点起在x、y、z方向上分别移动预先设定的dx、dy、dy后的点。虚拟相机的朝向能够为相对于在本车辆2中设定的基准面、例如相对于通过车宽度方向中心且与本车辆2的前后方向平行的铅垂面，向通道方向倾斜了一定角度的角度。
此外，虚拟相机的朝向也可以不是以本车辆2的相对角度为基准，而是以通道区域所延伸的方向为基准来决定。能够根据本车辆2的坐标等来决定本车辆2在地图上的位置，通道区域所延伸的方向为通道在决定出的本车辆2的位置上所延伸的方向。
在S7中，从车辆信息输入输出部112获取与周边的障碍物的距离。在S8中，基于最新的拍摄数据来生成(即，描绘)表示周边图像140和后方通道图像150的图像数据，并将这些图像数据输出至输出控制部115。由于输出控制部115将该图像数据输出至显示器130，因此在显示部131显示周边图像140和后方通道图像150。此处，若在S7中获取的距离中的最短距离为需要注意距离阈值以上，则描绘本车辆图形142位于周边图像140的中心的周边图像140。该周边图像140的一个例子为图2所示的周边图像140。需要注意距离阈值是需要特别注意以免本车辆2与障碍物接触的距离，是基于实验等预先设定的距离。
在最短距离比需要注意距离阈值短的情况下，描绘容易理解成为该最短距离的部分的周边图像140。例如，描绘与本车辆图形142位于周边图像140的中央的情况相比，成为最短距离的部分靠近周边图像140的中央的周边图像140。或者，描绘与成为最短距离的部分为需要注意距离阈值以上时相比，放大成为最短距离的部分的周边图像140。在描绘放大成为最短距离的部分的周边图像140的情况下，需要注意距离阈值是决定是否放大周边图像140的阈值即放大距离阈值。
图5所示的周边图像140是最短距离短于需要注意距离阈值时的周边图像140。在图5的周边图像140中成为最短距离的部分是本车辆2的左前角部2a。在图5的周边图像140中，本车辆图形142位于周边图像140的右下方，以使本车辆2的左前角部2a成为周边图像140的中央附近。另外，图5的周边图像140与图2的周边图像140相比，放大了本车辆2的左前角部2a。
另外，在图5的周边图像140中，显示有视点位置图像143。视点位置图像143是表示与周边图像140同时显示的后方通道图像150的视点的图像。在描绘后方通道图像150时，决定后方通道图像150的视点的位置。以视点位置图像143相对于本车辆图形142的位置表示后方通道图像150的视点相对于本车辆2的位置的方式，决定周边图像140中的视点位置图像143的位置。
在S9中，进行后方通道的确认处理，描绘表示后方通道的确认结果的图像，并将表示该图像的图像数据输出至输出控制部115。后方通道的确认处理是确认在后侧方通道区域151是否存在朝向本车辆2的方向移动的移动体的处理。确认处理通过对在生成后方通道图像150时所使用的拍摄数据进行解析来进行。
在图5中，示出作为表示确认结果的图像的两种提醒注意图像153a、153b。在不区分这两种提醒注意图像153a、153b时，为提醒注意图像153。在后方通道图像150中，映现有接近本车辆2的其他车辆5。因此，为了提醒对其他车辆5的注意，作为表示确认结果的图像，显示提醒注意图像153。提醒注意图像153a是重叠于后方通道图像150的角部的图像。提醒注意图像153b是强调后方通道图像150的框的图像。
在图6中，示出在确认处理的结果是在后侧方通道区域151中未映现有接近本车辆2的移动体的情况下显示的确认结果图像154。
在S10中，判断是否结束周边图像140和后方通道图像150的同时显示。例如，在本车辆2全部进入通道的情况下，将S10的判断结果作为“是”，在本车辆2的一部分尚未进入通道的情况下，将S10的判断结果作为“否”。若S10的判断结果为“否”，则返回到S5。
此外，在S5到S10的重复中，在第二次以后的S6中，虚拟相机的朝向也可以伴随着本车辆2的朝向的变更而依次变更。然而，在第二次以后的S6中，虚拟相机的朝向也可以保持在第一次的S6中决定的朝向。
若S10的判断结果为“是”，则进入S11。在S11中，判断是否结束图4的处理。在本车辆2的速度超过在停车后的起步时假定的低速区域时，也无需显示周边图像140。因此，例如，在本车辆2的速度超过上述低速区域时，结束图4的处理。若S11的判断结果为“否”，则返回S3。
〔实施方式的总结〕
在本实施方式中说明的车辆用显示装置100在显示部131同时显示周边图像140和后方通道图像150。因此，若观察显示部131，则能够同时确认位于本车辆2的后侧方的通道和本车辆2的周边。因此，在出库时等能容易地确认应确认的区域。
在判定为本车辆2靠近通道的情况下，图像生成部114将后方通道图像150显示于显示部131。因此，在确认后侧方通道区域151的必要性较高时显示后方通道图像150。另外，由于在确认后侧方通道区域151的必要性较低时不显示后方通道图像150，因此能够有效地利用显示部131的显示区域。
后方通道图像150是从位于本车辆2的前方的虚拟相机位置160观察到的图像，在后方通道图像150中包含作为表示本车辆2的前端面的一部分的图形的本车辆图形152。因此，在后方通道图像150中，容易识别后侧方通道区域151与本车辆2的关系。
另外，在与后方通道图像150同时显示的周边图像140中，显示表示后方通道图像150的虚拟视点的视点位置图像143。由此，也容易理解后方通道图像150是拍摄了哪个区域的图像。
在本车辆2与障碍物的最短距离短于需要注意距离阈值的情况下，与最短距离长于需要注意距离阈值的情况相比，图像生成部114生成对最短距离比需要注意距离阈值短的部位进行了放大的周边图像140(图6)(S8)。由此，本车辆2的乘员能够通过观察周边图像140更容易地判断本车辆2是否可能与障碍物接触。
在后方通道图像150中映现有接近本车辆2的移动体的情况下，将提醒注意图像153显示于显示部131。通过显示提醒注意图像153，观察后方通道图像150的乘员也容易识别该移动体的存在。
另外，在后方通道图像150中未映现接近本车辆2的移动体的情况下，将表示在后侧方通道区域151中不存在接近本车辆2的移动体的确认结果图像154显示于显示部131。由此，本车辆2的乘员通过观察确认结果图像154，容易判断为在后侧方通道区域151中不存在接近本车辆2的移动体。
以上，对实施方式进行了说明，但公开的技术不限定于上述的实施方式，以下的变形例也包含于公开的范围内，并且除下述以外，能够在不脱离主旨的范围内进行各种变更并实施。此外，在以下的说明中，除了特别提及的情况以外，具有与此前使用的附图标记相同编号的附图标记的要素与在此之前的实施方式中的相同附图标记的要素相同。另外，在仅对结构的一部分进行说明的情况下，对于结构的其他部分能够应用之前说明的实施方式。
＜变形例1＞
在实施方式中，显示从前方的虚拟相机位置160观察本车辆2得到的后方通道图像150。然而，也可以代替后方通道图像150，显示如图7所示的后方通道图像250那样由设置于本车辆2的侧面的侧方相机拍摄到的图像。在后方通道图像250中，也映现有后侧方通道区域151。另外，在后方通道图像250映现有本车辆2的侧面。因此，根据后方通道图像250，也能够掌握本车辆2与后侧方通道区域151的关系。另外，相对于后方通道图像150需要将多个相机11拍摄到的图像合成来生成，后方通道图像250能够仅根据一个侧方相机拍摄到的图像来生成。由此，能够减少用于生成图像的运算处理。
＜变形例2＞
在实施方式中说明的周边图像140中，本车辆图形142位于图像的中心。但是，如使用图3说明的那样，在本车辆2进入位于本车辆2的右侧的通道时，需要注意本车辆2的左侧面。相反地，在本车辆2进入位于本车辆2的左侧的通道时，需要注意本车辆2的右侧面。因此，也可以如图8所示的周边图像240那样，无论与障碍物的距离如何，都较宽地映现比本车辆2远离通道的一侧。图8所示的周边图像240由于在右侧存在通道，因此成为本车辆图形142位于周边图像240的右端下端的图像。
＜变形例3＞
在实施方式中，将虚拟相机的朝向决定为相对于本车辆2的相对角度。但是，由于只要在后方通道图像150映现有后侧方通道区域151即可，因此虚拟相机的朝向也可以为以通道的延伸方向为基准的固定角度。
＜变形例4＞
在实施方式中，对从纵列停车的状态进入道路4的例子进行了说明。但是，车辆用显示装置100也能够应用于从相对于其他车辆5并列停车的状态开始行驶的情况。
在图9中，示出从并列停车状态开始行驶的情况下的后侧方通道区域151等。在图9中，在停车的状态的本车辆2的前方，隔着道路4有墙壁6。在图9所示的情况下，从停车区划3进入道路4的本车辆2需要特别注意，以免左后侧部2b和右前角部2c与障碍物接触。在本车辆2全部位于停车区划3内时，图9中的后侧方通道区域151为本车辆2的侧方，但在本车辆2进入道路4的状态下，图9中的后侧方通道区域151位于本车辆2的后侧方。虚拟相机位置160为在本车辆2的前方且映现后侧方通道区域151的位置。
另外，除了纵列停车、并列停车以外，也可以在本车辆2从停车场进入道路4时、从狭窄的道路通过慢行并入宽阔的道路的情况下执行图4的处理。
＜变形例5＞
在实施方式中，将图像生成条件成立设为是本车辆2靠近通道的状态。但是，即使在本车辆2实际靠近通道之前，也可以将成为预计本车辆2的一部分进入通道的状态作为图像生成条件成立。所谓的预计本车辆2的一部分进入通道的状态是依次计算本车辆2预定行驶的预测轨道，而该预测轨道成为本车辆2能够不与障碍物接触地进入道路4的轨道的状态。
另外，在依次计算预测轨道的情况下，也可以将表示预测轨道的预测轨道线重叠于周边图像140、240。
＜变形例6＞
在实施方式中，周边图像140是对相机11拍摄到的拍摄数据进行图像转换生成的俯瞰图像。但是，周边图像也可以是相机11拍摄到的拍摄图像本身、从相机11拍摄到的图像切取周边区域后的图像等俯瞰图像以外的图像。
＜变形例7＞
本公开所记载的控制部及其方法也可以通过构成处理器的专用计算机来实现，其中，上述处理器被编程为执行由计算机程序具体化的一个或多个功能。或者，本公开所记载的控制部及其方法也可以通过专用硬件逻辑电路来实现。或者，本公开所记载的控制部及其方法也可以通过由执行计算机程序的处理器和一个以上的硬件逻辑电路的组合构成的一个以上的专用计算机来实现。硬件逻辑电路例如是ASIC、FPGA。
另外，存储计算机程序的存储介质不限于ROM，作为由计算机执行的指令存储于计算机可读取的非过渡有形记录介质即可。例如，也可以将上述程序存储于闪存。

Claims (14)

1.一种车辆用显示装置，是搭载于车辆的车辆用显示装置，具备：
拍摄数据获取部(111)，获取拍摄到后侧方通道区域和周边区域的拍摄数据，其中，上述后侧方通道区域包含搭载上述车辆用显示装置的车辆亦即本车辆(2)要进入的通道的进入方向后方，上述周边区域包含上述本车辆的周边；
图像生成部(114)，基于由上述拍摄数据获取部获取的上述拍摄数据，来生成上述后侧方通道区域的图像和上述周边区域的图像；以及
显示部(131)，同时显示上述后侧方通道区域的图像和上述周边区域的图像。
2.根据权利要求1所述的车辆用显示装置，其中，
上述图像生成部生成后方通道图像(150、250)和周边图像(140、240)，其中，上述后方通道图像是包含上述后侧方通道区域的图像，上述周边图像是包含上述周边区域的图像，且是来自与上述后方通道图像不同的视点的图像。
3.根据权利要求2所述的车辆用显示装置，其中，
上述后方通道图像是包含有上述本车辆的侧面的一部分的图像。
4.根据权利要求2所述的车辆用显示装置，其中，
上述后方通道图像是从位于上述本车辆的前方的虚拟视点(160)观察上述后侧方通道区域的图像。
5.根据权利要求4所述的车辆用显示装置，其中，
上述图像生成部将视点位置图像(143)显示于上述显示部，其中，上述视点位置图像表示上述后方通道图像的上述虚拟视点。
6.根据权利要求4或5所述的车辆用显示装置，其中，
上述图像生成部依次生成上述后方通道图像和上述周边图像，上述虚拟视点相对于上述本车辆的角度是固定的。
7.根据权利要求4或5所述的车辆用显示装置，其中，
上述图像生成部依次生成上述后方通道图像和上述周边图像，上述虚拟视点相对于上述通道的角度是固定的。
8.根据权利要求2～7中任一项所述的车辆用显示装置，其中，
上述周边图像为俯瞰图像。
9.根据权利要求2～8中任一项所述的车辆用显示装置，其中，
在上述周边区域中包含的上述本车辆的一部分与障碍物之间的距离短于放大距离阈值的情况下，与上述距离长于上述放大距离阈值的情况相比，上述图像生成部生成对上述距离比上述放大距离阈值短的部位进行了放大的上述周边图像。
10.根据权利要求2～9中任一项所述的车辆用显示装置，其中，
上述图像生成部以是上述本车辆的至少一部分进入上述通道的状态、或者是预计上述本车辆的一部分进入上述通道的状态为图像生成条件，来生成上述后方通道图像。
11.根据权利要求10所述的车辆用显示装置，其中，
上述通道包含人行道，
上述图像生成部以是上述本车辆的至少一部分进入上述人行道的状态、或者是预计上述本车辆的一部分进入上述人行道的状态为图像生成条件，来生成上述后方通道图像。
12.根据权利要求2～11中任一项所述的车辆用显示装置，其中，
在上述后侧方通道区域中映现有接近上述本车辆的移动体的情况下，上述图像生成部在上述显示部显示提醒注意图像(153)，其中，上述提醒注意图像(153)提醒上述本车辆的乘员注意上述移动体。
13.根据权利要求2～12中任一项所述的车辆用显示装置，其中，
在上述后侧方通道区域中未映现有接近上述本车辆的移动体的情况下，上述图像生成部在上述显示部显示表示在上述后侧方通道区域中不存在接近上述本车辆的移动体的图像(154)。
14.一种车辆用显示方法，其中，
获取拍摄到后侧方通道区域和周边区域的拍摄数据，其中，上述后侧方通道区域包含车辆要进入的通道的进入方向后方，上述周边区域包含上述车辆的周边(S1)；以及
基于上述拍摄数据，来生成上述后侧方通道区域的图像和上述周边区域的图像，并将上述后侧方通道区域的图像和上述周边区域的图像同时显示于显示部(S8)。
CN202180021476.1A 2020-03-20 2021-03-03 车辆用显示装置以及车辆用显示方法 Pending CN115280765A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-050365 2020-03-20
JP2020050365A JP7424144B2 (ja) 2020-03-20 2020-03-20 車両用表示装置および車両用表示方法
PCT/JP2021/008249 WO2021187118A1 (ja) 2020-03-20 2021-03-03 車両用表示装置および車両用表示方法

Publications (1)

Publication Number Publication Date
CN115280765A true CN115280765A (zh) 2022-11-01

Family

ID=77768101

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180021476.1A Pending CN115280765A (zh) 2020-03-20 2021-03-03 车辆用显示装置以及车辆用显示方法

Country Status (4)

Country Link
JP (1) JP7424144B2 (zh)
CN (1) CN115280765A (zh)
DE (1) DE112021001735T5 (zh)
WO (1) WO2021187118A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7258446B2 (en) 2005-01-27 2007-08-21 Dell Products L.P. System and method for intelligent information handling system projector cool down
JP6311646B2 (ja) 2015-05-20 2018-04-18 株式会社デンソー 画像処理装置、電子ミラーシステム、及び画像処理方法
JP6382896B2 (ja) 2016-08-31 2018-08-29 本田技研工業株式会社 出庫支援装置
JP6920976B2 (ja) 2017-12-15 2021-08-18 株式会社東海理化電機製作所 車両周辺監視装置
JP2019110448A (ja) 2017-12-19 2019-07-04 クラリオン株式会社 表示制御装置及び表示システム

Also Published As

Publication number Publication date
JP2021150873A (ja) 2021-09-27
WO2021187118A1 (ja) 2021-09-23
JP7424144B2 (ja) 2024-01-30
DE112021001735T5 (de) 2023-01-26

Similar Documents

Publication Publication Date Title
JP6531832B2 (ja) 駐車スペース検出方法および装置
EP2623376B1 (en) Parking assistance device
CN108447302B (zh) 信息处理装置以及记录介质
CN110770106B (zh) 驻车控制方法及驻车控制装置
JP3102250B2 (ja) 車両用周囲情報表示装置
US10887568B2 (en) Image processing apparatus, and image processing method
EP2017138A1 (en) Parking assistance device and parking assistance method
US20100329510A1 (en) Method and device for displaying the surroundings of a vehicle
CN107298096B (zh) 驾驶协助装置
KR20180069854A (ko) 주차 지원 정보의 표시 방법 및 주차 지원 장치
WO2020189085A1 (ja) 車両における運転支援制御装置、運転支援システムおよび運転支援方法
CN112124097A (zh) 驻车辅助系统
US20220063669A1 (en) Travel Control Method and Travel Control Device for Vehicle
CN111183068A (zh) 停车控制方法及停车控制装置
CN108974010B (zh) 处理装置、车辆、处理方法以及存储介质
KR20180085718A (ko) 차량의 차량 주변환경 내 가림 영역 산출 방법 및 장치
JP5516988B2 (ja) 駐車支援装置
JP7069539B2 (ja) 運転支援装置
US11390297B2 (en) Recognition device, recognition method, and storage medium
JP6885022B2 (ja) 運転支援装置
KR20180065527A (ko) 차량 후측방 경고 장치 및 이를 이용한 경고 방법
CN112124092A (zh) 驻车辅助系统
JP2022140026A (ja) 画像処理装置、画像処理方法およびプログラム
CN115280765A (zh) 车辆用显示装置以及车辆用显示方法
JP2012156903A (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination