CN110877573A - 车辆周边显示装置 - Google Patents

车辆周边显示装置 Download PDF

Info

Publication number
CN110877573A
CN110877573A CN201910836305.9A CN201910836305A CN110877573A CN 110877573 A CN110877573 A CN 110877573A CN 201910836305 A CN201910836305 A CN 201910836305A CN 110877573 A CN110877573 A CN 110877573A
Authority
CN
China
Prior art keywords
vehicle
image
parking position
target parking
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910836305.9A
Other languages
English (en)
Inventor
山本欣司
渡边一矢
平槙崇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of CN110877573A publication Critical patent/CN110877573A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Generation (AREA)

Abstract

本发明提供一种车辆的驾驶员能够容易地设定目标停车位置的车辆周边显示装置。实施方式的车辆周边显示装置作为一例具备：图像取得部，该图像取得部从拍摄部取得拍摄图像，该拍摄部对车辆的周边进行拍摄；以及控制部，在设定停放车辆的目标停车位置的情况下，该控制部使从以车辆的位置为基准位于与目标停车位置的候选相反的一侧且面对该目标停车位置的候选的里侧的视点看到的表示车辆的车辆图像和基于拍摄图像的车辆的周边的三维图像显示于显示部。

Description

车辆周边显示装置
技术领域
本发明的实施方式涉及一种车辆周边显示装置。
背景技术
开发有这样一种技术，在设定停放车辆的目标停车位置的情况下，使车辆以及该车辆的周边的三维图像显示于显示部而将车辆的周边的状况提供给驾驶员。
现有技术文献
专利文献
专利文献1：日本专利第5872517号公报
专利文献2：日本专利第3300334号公报
专利文献3：日本专利第5321267号公报
发明所要解决的课题
然而，在使车辆以及该车辆的周边的三维图像显示于显示部的技术中，由于目标停车位置的里侧不包含在三维图像中，因此存在无法充分将目标停车位置的状况提供给驾驶员，从而车辆的驾驶员难以设定目标停车位置的情况。
发明内容
因此，实施方式的课题之一为提供一种车辆的驾驶员能够容易地设定目标停车位置的车辆周边显示装置。
用于解决课题的手段
实施方式的车辆周边显示装置作为一例具备：图像取得部，该图像取得部从拍摄部取得拍摄图像，该拍摄部对车辆的周边进行拍摄；以及控制部，在设定停放车辆的目标停车位置的情况下，该控制部使从以车辆的位置为基准位于与目标停车位置的候选相反的一侧且面对该目标停车位置的候选的里侧的视点看到的表示车辆的车辆图像和基于拍摄图像的车辆的周边的三维图像显示于显示部。因此，作为一例，在设定目标停车位置的情况下，能够使从可观察到目标停车位置的候选的整体的视点看到的三维图像显示于显示部，因此车辆的驾驶员能够容易地设定目标停车位置。
另外，在实施方式的车辆周边显示装置中，作为一例，进一步，在使车辆通过自动停车控制而停放到目标停车位置时车辆前进的情况下，控制部使从位于车辆的后方的视点看到的三维图像显示于显示部，在使车辆通过自动停车控制而停放到目标停车位置时车辆后退的情况下，控制部使从位于车辆的前方的视点看到的三维图像显示于显示装置。因此，作为一例，能够用具有真实感的三维图像安心地确认车辆通过自动停车控制而被停放到目标停车位置的样子。
另外，在实施方式的车辆周边显示装置中，作为一例，进一步，在使从车辆的正上方的视点看到的该车辆及该车辆的周边的俯瞰图像显示于显示部，并且自动停车控制开始的情况下，控制部使如下的显示画面显示于显示部：该显示画面包含从由斜后方面对车辆的视点看到的俯瞰图像和拍摄图像和通过车辆具有的拍摄部拍摄车辆的行进方向而得到的拍摄图像。因此，作为一例，车辆的驾驶员能够通过具有立体感的俯瞰图像来监视车辆的自动停车控制。
另外，在实施方式的车辆周边显示装置中，作为一例，控制部以三维图像内的车辆的前方朝向上方的方式使三维图像整体旋转并显示于显示部。因此，作为一例，能够将反映车辆的行驶状态的三维图像显示于显示装置，而不会使三维图像内的目标停车位置的候选、其周边的物体的外观变化，因此能够根据显示于显示部的三维图像容易地掌握车辆和其周边的物体的位置关系。
另外，在实施方式的车辆周边显示装置中，作为一例，控制部基于车辆的操舵部的操舵角来确定使三维图像整体旋转的旋转角度，并且根据确定出的该旋转角度使三维图像整体旋转并显示于显示部。因此，作为一例，不管车辆的行进方向如何变化，都能够使显示于显示部的三维图像内的车辆的前方朝向上方，因此能够将反映车辆的行驶状态的三维图像显示于显示部，而不使三维图像内的目标停车位置的候选、其周边的物体的外观变化。
另外，在实施方式的车辆周边显示装置中，作为一例，在检测到向车辆或目标停车位置接近的物体的情况下，控制部使包含物体的视角的三维图像显示于显示部。因此，作为一例，在设定目标停车位置时，能够将更多车辆以及目标停车位置的周边的信息提供给车辆的驾驶员。
另外，在实施方式的车辆周边显示装置中，作为一例，还具有设定部，该设定部根据用户的操作设定如下视点：以车辆为基准位于与目标停车位置的候选相反的一侧且面对该目标停车位置的候选的里侧的视点，在设定目标停车位置的情况下，控制部使从设定的视点看到的三维图像显示于显示部。因此，作为一例，在设定目标停车位置时，显示从用户偏好的视点看到的车辆及其周边的三维图像，而不执行对观察车辆及其周边的视点进行变更的操作，因此能够容易地确定从用户偏好的视点看到的目标停车位置的周边的状况。
另外，在实施方式的车辆周边显示装置中，作为一例，控制部对于通过拍摄部拍摄车辆的周边而得到的拍摄图像描绘目标停车位置的框，并且使如下图像作为三维图像显示于所述显示部：将描绘有框的拍摄图像粘贴在三维面而作为纹理的图像。因此，作为一例，无需对三维面上的目标停车位置的框的三维坐标进行计算、无需生成查找表，就能够生成包含目标停车位置的框的三维图像，因此能够使包含具备目标停车位置的框的三维图像的显示画面容易地显示于显示部。
附图说明
图1是表示搭载本实施方式的车辆周边显示装置的车辆的车室一部分处于透视状态的一例的立体图。
图2是本实施方式的车辆的一例的俯视图。
图3是表示本实施方式的车辆的功能结构的一例的框图。
图4是表示本实施方式的车辆具有的ECU的功能结构的一例的框图。
图5是用于说明本实施方式的车辆的显示画面的显示处理的一例的图。
图6是用于说明本实施方式的车辆的显示画面的显示处理的一例的图。
图7是用于说明本实施方式的车辆的目标停车位置设定时的显示画面的显示处理的一例的图。
图8是用于说明本实施方式的车辆的目标停车位置设定时的三维图像的显示处理的一例的图。
图9是用于说明本实施方式的车辆的目标停车位置设定时的三维图像的显示处理的一例的图。
图10是用于说明本实施方式的车辆的自动停车控制开始时的俯瞰图像的显示处理的一例的图。
图11是用于说明本实施方式的车辆的自动停车控制开始时的俯瞰图像的显示处理的一例的图。
图12是用于说明本实施方式的车辆的自动停车控制的执行过程中的三维图像的显示处理的一例的图。
图13是用于说明本实施方式的车辆的三维图像的显示处理的其他例子的图。
图14是用于说明三维图像的生成处理的一例的图。
图15是用于说明本实施方式的车辆的三维图像的生成处理的一例的图。
符号说明
1…车辆、8…显示装置、14…ECU、14a…CPU、14b…ROM、14c…RAM、14d…显示控制部、14f…SSD、15…拍摄部、16…雷达、17…声纳、400…图像取得部、401…设定部、402…检测部、403…控制部。
具体实施方式
以下，公开了本发明的示例性的实施方式。以下所示的实施方式的结构以及由该结构带来的作用、结果以及效果是一例。本发明能够由除在以下的实施方式中公开的结构之外的结构实现，并且能够得到基于基本的结构的各种效果、派生的效果中的至少一种。
搭载本实施方式的车辆周边显示装置的车辆可以是将内燃机(发动机)作为驱动源的汽车(内燃机汽车)，也可以是将电动机(电机)作为驱动源的汽车(电动汽车、燃料电池汽车等)，也可以是将它们双方作为驱动源的汽车(混合动力汽车)。另外，车辆能够搭载各种变速装置、内燃机、电动机的驱动中所需的各种装置(系统、零部件等)。另外，对于关系到车辆中的车轮的驱动的装置的方式、个数、布局等，能够进行各种设定。
图1是表示搭载本实施方式的车辆周边显示装置的车辆的车室一部分处于透视状态的一例的立体图。如图1所示，车辆1具备车身2、操舵部4、加速操作部5、制动操作部6、变速操作部7和监控装置11。车身2具有供乘员乘车的车室2a。在车室2a内以面对供驾驶员落座的座椅2b的状态设置有操舵部4、加速操作部5、制动操作部6和变速操作部7等。操舵部4例如是从仪表板24突出的方向盘。加速操作部5例如是被定位于驾驶员的脚下的加速踏板。制动操作部6例如是被定位于驾驶员的脚下的制动踏板。变速操作部7例如是从中心控制台突出的变速杆。
监控装置11例如设置于仪表板24的车宽方向(即，左右方向)的中央部。监控装置11例如也可以具有导航系统或音响系统等的功能。监控装置11具有显示装置8、声音输出装置9和操作输入部10。另外，监控装置11也可以具有开关、表盘、控制杆和按钮等各种操作输入部。
显示装置8由LCD(Liquid Crystal Display：液晶显示器)、OELD(OrganicElectroluminescent Display：有机电致发光显示器)等构成，能够基于图像数据显示各种图像。声音输出装置9由扬声器等构成，并且基于声音数据输出各种声音。声音输出装置9也可以在车室2a内设置于除监控装置11之外的不同的位置。
操作输入部10由触摸屏等构成，并且能够由乘员输入各种信息。另外，操作输入部10设置于显示装置8的显示画面，并且能够透过显示于显示装置8的图像。由此，操作输入部10能够使乘员观察到显示于显示装置8的显示画面的图像。操作输入部10通过对显示装置8的显示画面上的乘员的触摸操作进行检测来接收乘员输入的各种信息。
图2是本实施方式的车辆的一例的俯视图。如图1以及图2所示，车辆1是四轮汽车等，具有左右两个前轮3F和左右两个后轮3R。四个车轮3的全部或一部分能够进行转舵。
车辆1搭载有多个拍摄部15(车载相机)。在本实施方式中，车辆1例如搭载有四个拍摄部15a～15d。拍摄部15是具有CCD(Charge Coupled Device：电荷耦合器件)或CIS(CMOS Image Sensor：CMOS图像传感器)等拍摄元件的数码相机。拍摄部15能够以规定的帧率对车辆1的周围进行拍摄。并且，拍摄部15输出拍摄车辆1的周围而得到的拍摄图像。拍摄部15分别具有广角镜头或鱼眼镜头，在水平方向上，例如能够拍摄140°～220°的范围。另外，也存在拍摄部15的光轴朝向斜下方设定的情况。
具体而言，拍摄部15a例如位于车身2的后侧的端部2e，并且设置于后舱的门2h的后窗的下方的壁部。并且，拍摄部15a能够对车辆1的周围中该车辆1的后方的区域进行拍摄。拍摄部15b例如位于车身2的右侧的端部2f，并且设置于右侧的后视镜2g。并且，拍摄部15b能够对车辆1的周围中该车辆的侧方的区域进行拍摄。拍摄部15c例如位于车身2的前侧、即车辆1的前后方向的前方侧的端部2c，并且设置于前保险杠、前格栅等。并且，拍摄部15c能够对车辆1的周围中该车辆1的前方的区域进行拍摄。拍摄部15d例如位于车身2的左侧、即车宽方向的左侧的端部2d，并且设置于左侧的后视镜2g。并且，拍摄部15d能够对车辆1的周围中该车辆1的侧方的区域进行拍摄。
另外，车辆1具有雷达16，该雷达16能够对与车辆1的外部存在的物体间的距离进行测量。雷达16是毫米波雷达等，并且能够对与车辆1的行进方向上存在的物体间的距离进行测量。在本实施方式中，车辆1具有多个雷达16a～16d。雷达16c设置于车辆1的前保险杠的右侧的端部，并且能够对与车辆1的右侧的前方存在的物体间的距离进行测量。另外，雷达16d设置于车辆1的前保险杠的左侧的端部，并且能够对与车辆1的左侧的前方存在的物体间的距离进行测量。雷达16b设置于车辆1的后保险杠的右侧的端部，并且能够对与车辆1的右侧的后方存在的物体间的距离进行测量。另外，雷达16a设置于车辆1的后保险杠的左侧的端部，并且能够对与车辆1的左侧的后方存在的物体间的距离进行测量。
另外，车辆1具有声纳17，该声纳17能够对与自该车辆1起近距离处存在的外部的物体间的距离进行测量。在本实施方式中，车辆1具有多个声纳17a～17h。声纳17e～17h设置于车辆1的前保险杠，并且能够对与车辆的前方存在的物体间的距离进行测量。声纳17a～17d设置于车辆1的后保险杠，并且能够对与车辆1的后方存在的物体间的距离进行测量。
图3是表示本实施方式的车辆的功能结构的一例的框图。如图3所示，车辆1具备操舵系统13、制动系统18、舵角传感器19、加速传感器20、换档传感器21、车轮速度传感器22、GPS(Global Positioning System：全球定位系统)接收器25、车载网络23和ECU(Electronic Control Unit：电子控制单元)14。监控装置11、操舵系统13、雷达16、声纳17、制动系统18、舵角传感器19、加速传感器20、换档传感器21、车轮速度传感器22、GPS接收器25和ECU14经由作为电通信线路的车载网络23而电连接。车载网络23由CAN(ControllerArea Network：控制器局域网络)等构成。
操舵系统13是电动动力转向系统、SBW(Steer By Wire：线控转向)系统等。操舵系统13具有致动器13a和转矩传感器13b。并且，操舵系统13由ECU14等电控制，使致动器13a动作而对于操舵部4附加转矩而补充操舵力，从而使车轮3转舵。转矩传感器13b对驾驶员对操舵部4施加的转矩进行检测，并且将该检测结果发送到ECU14。
制动系统18包含：对车辆1的制动器的锁定进行控制的ABS(Anti-lock BrakeSystem：防抱死制动系统)；抑制转弯时的车辆1的侧滑的侧滑防止装置(ESC：ElectronicStability Control：电子稳定控制)；使制动力增强而辅助制动器的电动制动系统；以及BBW(Brake By Wire：线控制动)。制动系统18具有制动器18a和制动器传感器18b。制动系统18由ECU14等电控制，并且经由制动器18a而向车轮3赋予制动力。制动系统18根据左右车轮3的旋转差等对制动器的锁定、车轮3的空转以及侧滑的征兆等进行检测，并执行抑制制动器的锁定、车轮3的空转以及侧滑的控制。制动器传感器18b是对作为制动操作部6的可动部的制动踏板的位置进行检测的位移传感器，并且将制动踏板的位置的检测结果发送到ECU14。
舵角传感器19是对方向盘等操舵部4的操舵量进行检测的传感器。在本实施方式中，舵角传感器19由霍尔元件等构成，将操舵部4的旋转部分的旋转角度(操舵角)作为操舵量进行检测，并且将该检测结果发送到ECU14。加速传感器20是对作为加速操作部5的可动部的加速踏板的位置进行检测的位移传感器，并且将该检测结果发送到ECU14。GPS接收器25基于从人造卫星接收到的电波而取得车辆1的当前位置。
换档传感器21是对变速操作部7的可动部(杆、臂、按钮等)的位置进行检测的传感器，并且将该检测结果发送到ECU14。车轮速度传感器22具有霍尔元件等，是对车轮3的旋转量、每单位时间的车轮3的转速进行检测的传感器，并且将该检测结果发送到ECU14。
ECU14由计算机等构成，并且通过硬件和软件的配合动作来掌管车辆1的整体控制。具体而言，ECU14具备CPU(Central Processing Unit：中央处理器)14a、ROM(Read OnlyMemory：只读存储器)14b、RAM(Random Access Memory：随机存取存储器)14c、显示控制部14d、声音控制部14e和SSD(Solid State Drive：固态硬盘)14f。CPU14a、ROM14b和RAM14c也可以设置于同一电路基板内。
CPU14a读取存储在ROM14b等非易失性的存储装置中的程序，并且根据该程序执行各种运算处理。例如，CPU14a根据对显示在显示装置8的图像数据进行的图像处理、到停车位置等目标位置为止的目标路径执行车辆1的行驶控制等。
ROM14b存储各种程序以及该程序的执行中所需的参数等。RAM14c临时地存储在CPU14a的运算中使用的各种数据。显示控制部14d主要执行ECU14的运算处理中的如下处理：对从拍摄部15取得并向CPU14a输出的图像数据进行的图像处理、对使从CPU14a所取得的图像数据显示于显示装置8的显示用的图像数据进行的转换等。声音控制部14e主要执行ECU14的运算处理中的、从CPU14a取得并被输出到声音输出装置9的声音的处理。SSD14f是可重写的非易失性的存储部，即使处于ECU14的电源被断开的情况下，也能够继续存储从CPU14a所取得的数据。
图4是表示本实施方式的车辆具有的ECU的功能结构的一例的框图。如图4所示，ECU14具备图像取得部400、设定部401、检测部402和控制部403。例如，搭载于电路基板CPU14a等处理器执行存储在ROM14b或SSD14f等存储介质内的车辆周边显示程序，从而ECU14实现图像取得部400、设定部401、检测部402以及控制部403的功能。也可以由电路等硬件构成图像取得部400、设定部401、检测部402以及控制部403的一部分或全部。
图像取得部400取得通过拍摄部15拍摄车辆1的周边而得到的拍摄图像。设定部401根据经由操作输入部10等的用户的操作，设定基于目标停车位置、由图像取得部400取得的拍摄图像的三维图像的视点。在此，三维图像是车辆1以及该车辆1的周边的三维图像。在本实施方式中，设定部401将以车辆1为基准位于与目标停车位置的候选相反的一侧且面对该目标停车位置的里侧的视点设定为三维图像的视点。
在此，目标停车位置是停放车辆1的位置。具体而言，设定部401根据用户的操作将通过平移或倾斜而移动的视点设定为三维图像的视点。并且，设定部401将所设定的视点保存在RAM14c等存储器中。
检测部402对向车辆1或目标停车位置接近的物体进行检测。在本实施方式中，检测部402基于由图像取得部400取得的拍摄图像、由雷达16测量的距离(车辆1与该车辆1的周围存在的物体之间的距离)等，对向车辆1或目标停车位置接近的物体进行检测。
例如，检测部402通过对由图像取得部400取得的拍摄图像进行的图像处理(例如，光流)来对向车辆1或目标停车位置接近的物体进行检测。或者，检测部402基于由雷达16测量的距离的变化对向车辆1或目标停车位置接近的物体进行检测。
在本实施方式中，检测部402基于由图像取得部400取得的拍摄图像或由雷达16得到的距离的测量结果对向车辆1接近的物体进行检测，但在对存在于离车辆1较近距离处的物体进行检测的情况下，也能够基于声纳17得到的距离的测量结果对向车辆1接近的物体进行检测。
控制部403将可观察到车辆1的周边的状况的显示画面显示于显示装置8。
首先，对未进行车辆1向目标停车位置停车的情况下的控制部403对显示画面的显示处理进行说明。
在未进行车辆1向目标停车位置停车的情况下，控制部403将包含如下图像的显示画面显示于显示装置8：车辆1及其周边的俯瞰图像；以及由图像取得部400取得的拍摄图像中通过拍摄部15拍摄车辆1的行进方向而得到的拍摄图像。在此，俯瞰图像是从车辆1的正上方的视点看到的车辆1的整体及其周边的图像。另外，俯瞰图像是从车辆1的正上方的视点看到的车辆1的侧面等车辆1的一部分(或车辆1的整体)及其周边的图像。
在本实施方式中，控制部403基于由图像取得部400取得的拍摄图像生成从该车辆1的正上方的视点观察到的该车辆1的周边的图像。接着，控制部403将从正上方看到的车辆的图像(例如，位图形式的图像、表示由多个多边形显示的车辆1的立体形状的图像)重叠在该生成了的图像上的图像作为俯瞰图像而包含在显示画面中。
接下来，对设定目标停车位置的情况下的控制部403对显示画面的显示处理进行说明。
在设定目标停车位置的情况下，控制部403将包含车辆1及其周边的三维图像的显示画面显示于显示装置8。换言之，在设定目标停车位置的情况下，控制部403将包含表示车辆1的车辆图像和表示车辆1的周边的三维图像的显示画面显示于显示装置8。在此，三维图像是从以车辆1的位置为基准位于与目标停车位置的候选相反的一侧且面对该目标停车位置的候选的里侧的视点观察到的车辆1及其周边的三维图像。由此，在设定目标停车位置的情况下，由于能够使从可观察到目标停车位置的候选的整体的视点看到的三维图像显示于显示装置8，因此车辆1的驾驶员能够容易地设定目标停车位置。
在本实施方式中，控制部403代替在设定目标停车位置之前包含于显示画面中的拍摄图像而使包含三维图像的显示画面显示于显示装置8。即，在设定目标停车位置时，控制部40使包含俯瞰图像以及三维图像的显示画面显示于显示装置8。
在本实施方式中，控制部403从RAM14c等存储器中读取由设定部401预先设定的视点。然后，控制部403使从由设定部401预先设定的视点看到的车辆1及其周边的三维图像显示于显示装置8。由此，在设定目标停车位置时，显示从用户偏好的视点看到的车辆1及其周边的三维图像，而不执行对观察车辆1及其周边的视点进行变更的操作，因此能够容易地确定从用户偏好的视点看到的目标停车位置的周边的状况。
另外，控制部403在将三维图像显示于显示装置8时，以三维图像内的车辆1的前方朝向上方的方式使该三维图像整体旋转而显示于显示装置8。由此，能够将反映车辆1的行驶状态的三维图像显示于显示装置，而不会使三维图像内的目标停车位置的候选、其周边的物体的外观变化，因此能够根据显示于显示装置8的三维图像容易地掌握车辆1和其周边的物体的位置关系。
在本实施方式中，控制部403基于由舵角传感器19检测出的操舵部4的操舵角来确定使三维图像整体旋转的旋转角度。然后，控制部403根据该确定出的旋转角度使三维图像整体旋转并显示于显示装置8。
具体而言，控制部403将由舵角传感器19检测出的舵角确定为旋转角度。接下来，控制部403使三维图像整体向与操舵部4操舵的方向相反的方向旋转该确定出的旋转角度量的三维图像显示于显示装置8。由此，不管车辆1的行进方向的变化如何，都能够使显示于显示装置8的三维图像内的车辆1的前方朝向上方，因此能够将反映车辆1的行驶状态的三维图像显示于显示装置8，而不使三维图像内的目标停车位置的候选、其周边的物体的外观变化。
另外，在通过检测部402检测到向车辆1或目标停车位置接近的物体的情况下，控制部403使包含该检测到的物体的视角的三维图像显示于显示装置8。由此，在设定目标停车位置时，能够向车辆1的驾驶员提供更多车辆1以及目标停车位置的周边的信息。
例如，在设定目标停车位置的情况下，在其他车辆从车辆1的后方接近的情况下，控制部403使包含该其他的车辆的视角的三维图像显示于显示装置8。此时，控制部403优选仅变更三维图像的视角，而不变更三维图像的视点。由此，能够使车辆1的驾驶员意识到接近车辆1的其他的车辆等物体，并且提供目标停车位置整体的信息。
在本实施方式中，在由检测部402检测到的物体是正在接近车辆1的其他车辆等运动物体的情况下，当控制部403根据车辆1与运动物体之间的距离的变化而使三维图像的视角动态地变化时，三维图像内的目标停车位置、车辆1的位置产生变化，因而很麻烦。因此，在由检测部402检测到的物体是运动物体的情况下，控制部403每隔预先设定的时间使三维图像的视角变化。
接下来，对自动停车控制开始的情况下的控制部403对俯瞰图像的显示处理进行说明。在此，自动停车控制是指通过自动驾驶使车辆1停放到目标停车位置的控制处理。
在目标停车位置的设定完成并开始自动停车控制的情况下，控制部403将包含在显示画面中的俯瞰图像切换为从由斜后方面对车辆1的视点看到的俯瞰图像。另外，当自动停车控制开始时，控制部403将三维图像切换为由拍摄部15拍摄车辆1的行进方向而得到的拍摄图像。即，当自动停车控制开始时，控制部403使包含拍摄图像和从由斜后方面对车辆1的视点看到的俯瞰图像的显示画面显示于显示装置8。
在设定目标停车位置时，需要掌握车辆1与周围的物体的严密的距离感，因此适合在显示画面中包含从车辆1的正上方看到的该车辆1及其周边的俯瞰图像。另一方面，在自动停车控制开始时，并不一定需要严密地掌握车辆1与其周围的物体间的距离感。
因此，控制部403将包含在显示画面中的俯瞰图像切换为从由斜后方面对车辆1的视点看到的俯瞰图像。由此，车辆1的驾驶员能够通过具有立体感的俯瞰图像来监视车辆1的自动停车控制。另外，通过切换为从由斜后方面对车辆1的视点看到的俯瞰图像，能够改善包含在俯瞰图像中的立体物的变形。在本实施方式中，在自动停车控制开始时，控制部403将包含在显示画面中的俯瞰图像切换为从由斜后方面对车辆1的视点看到的俯瞰图像。
在本实施方式中，控制部403将包含在显示画面中的俯瞰图像切换为从自车辆1的正上方的视点倾斜规定角度量的视点看到的俯瞰图像。在此，规定角度是预先设定的角度。在本实施方式中，规定角度是操作操作输入部10等而输入的角度，并且保存在RAM14c等的存储器中。即，用户能够设定偏好的规定角度。并且，控制部403将包含在显示画面中的俯瞰图像切换为从倾斜了存储在该存储器中的规定角度的视点看到的俯瞰图像。由此，能够在显示画面中包含从用户偏好的视点看到的俯瞰图像。
另外，在通过手动将车辆1停放到目标停车位置的情况下(不通过自动停车控制将车辆1停放到目标停车位置的情况下)，即使是在目标停车位置的设定完成，并且开始车辆1向目标停车位置的停车之后，控制部403也能够将包含在显示画面中的俯瞰图像原封不动地设为从车辆1的正上方看到的该车辆1及其周边的俯瞰图像。由此，基于是否存在包含在显示画面中的俯瞰图像的视点的切换，车辆1的驾驶员能够容易地识别车辆1向目标停车位置停车是通过手动进行，还是通过自动停车控制进行的。
接下来，对自动停车控制的执行过程中的控制部403对三维图像的显示处理进行说明。
在开始自动停车控制的执行之后，控制部403根据车辆1是前进还是后退来切换包含在显示画面中的三维图像的视点。
具体而言，在车辆1通过自动停车控制而停放到目标停车位置时车辆1是前进的情况下，控制部403使包含从位于车辆1的后方的视点看到的三维图像的显示画面显示于显示装置8。另一方面，在车辆1通过自动停车控制而停放到目标停车位置时车辆1是后退的情况下，控制部403使包含从位于车辆1的前方的视点看到的三维图像的显示画面显示于显示装置8。
由此，能够将包含在三维图像中的车辆1的行进方向朝向显示画面的上方，并且显示从倾斜的视点看到车辆1的变形较少的三维图像。其结果是，能够用具有真实感的三维图像安心地确认车辆1通过自动停车控制而被停放到目标停车位置的样子。
在通过自动停车控制使车辆1停放到目标停车位置的情况下，由于车辆1的驾驶员不对操舵部4进行操舵，因此即使显示于显示画面的三维图像的左右与实际的车辆1的左右不一致(即，即使三维图像内的车辆1的前方不是显示画面的上方)，感觉到违和感的可能性也较低。因此，在通过自动停车控制将车辆1停放到目标停车位置时车辆1是前进的情况下，控制部403使包含从位于车辆1的后方的视点看到的三维图像的显示画面显示于显示装置8。另一方面，在通过自动停车控制将车辆1停放到目标停车位置时车辆1是后退的情况下，使包含从位于车辆1的前方的视点看到的三维图像的显示画面显示于显示装置8。
因此，在通过手动使车辆1停放到目标停车位置的情况下，由于车辆1的驾驶员对操舵部4进行操舵，因此左右反转地显示于设置在车辆1的前侧的显示画面的三维图像的左右与实际的车辆1的左右是一致的。另外，优选三维图像内的车辆1的行进方向为显示画面的上方。因此，在通过手动使车辆1停放到目标停车位置的情况下，控制部403使包含从车辆1的行进方向为显示画面的上方的视点看到的三维图像的显示画面显示于显示装置8。
另外，在车辆1通过自动驾驶控制向目标停车位置停车完成的情况下，控制部403使包含在显示画面中的三维图像的视点以车辆1的位置为中心旋转360度。在本实施方式中，在车辆1通过自动驾驶控制部向目标停车位置移动且车辆1停止的情况下，控制部403判断车辆1向目标停车位置的停车完成而使包含在显示画面中的三维图像的视点以车辆1的后轮轴的中央为中心旋转360度。由此，能够从车辆1的周围的各种各样的视点确认车辆1相对于目标停车位置的停车状态。
接下来，对包含在显示画面中的三维图像的控制部403的生成处理进行说明。
控制部403取得通过拍摄部15拍摄车辆1的周围而得到的拍摄图像。接着，控制部403对包含在所取得的拍摄图像中的目标停车位置进行检测，并且对于该拍摄图像描绘目标停车位置的框。之后，控制部403将如下图像作为三维图像生成：将描绘有目标停车位置的框的拍摄图像粘贴在碗状、圆筒状的三维面而作为纹理的图像。然后，控制部403在显示画面中包含所生成的三维图像。
在对于三维图像描绘目标停车位置的框的情况下，目标停车位置的框由于不具有高度方向的坐标，因此不被描绘在三维面的上升部分而会消失。换言之，在对于三维图像描绘目标停车位置的框的情况下，目标停车位置的框由于不具有高度方向的坐标，因此会隐藏在三维面的下方。虽然目标停车位置的框也能够显示成不隐藏在三维面的下方，但是存在该框显示在偏离粘贴于三维面的拍摄图像内的目标停车位置的位置处的情况。
虽然能够对在三维面的上升部分描绘的目标停车位置的框的三维坐标进行计算，并且在三维面中在该计算出的三维坐标的位置描绘目标停车位置的框，但是每当目标停车位置改变时，必须对三维面上的目标停车位置的框的三维坐标进行计算。另外，虽然能够生成三维面中的目标停车位置的框的三维坐标的查找表，但是需要预先生成查找表。
因此，在本实施方式中，控制部403在对于拍摄图像描绘出目标停车位置的框之后，将描绘了该目标停车位置的框的拍摄图像渲染(粘贴)在三维面。由此，无需对三维面上的目标停车位置的框的三维坐标进行计算、生成查找表，就能够生成包含目标停车位置的框的三维图像，因此能够使包含具备目标停车位置的框的三维图像的显示画面容易地显示于显示装置8。
接下来，使用图5～15对通过控制部403而显示于显示装置8的显示画面的具体的例子进行说明。
图5是用于说明本实施方式的车辆的显示画面的显示处理的一例的图。在本实施方式中，在不进行车辆1向目标停车位置停车的情况下(换言之，在进行目标停车位置的设定之前)，如图5所示，控制部403使包含如下图像的显示画面G显示于显示装置8：车辆1整体及其周边的俯瞰图像G1；以及通过拍摄部15拍摄车辆1的行进方向(例如，前方)而得到的拍摄图像G2。
由于图5所示的俯瞰图像G1不包含与目标停车位置的候选500相邻的停车位置501整体，因此无法确认在停车位置501是否有其他的车辆停放。另外，由于图5所示的俯瞰图像G1不包含目标停车位置的候选500的里侧的图像，因此难以准确地判断能否使车辆1停放于该目标停车位置的候选500。
另外，从图5所示的拍摄图像G2中能够确认在与目标停车位置的候选500相邻的停车位置501停放有其他的车辆。但是，由于拍摄图像G2不包含目标停车位置的候选500，因此难以掌握停车位置501与目标停车位置的候选500的位置关系(例如，停车位置501是否与目标停车位置的候选500相邻)。
图6是用于说明本实施方式的车辆的显示画面的显示处理的一例的图。在本实施方式中，在不进行车辆1向目标停车位置的停车的情况下，如图6所示，控制部403使包含如下图像的显示画面G显示于显示装置8：车辆1的左侧的侧面及其周边的俯瞰图像G1；车辆1的右侧的侧面及其周边的俯瞰图像G1；以及通过拍摄部15拍摄车辆1的行进方向而得到的拍摄图像G2。在本实施方式中，车辆1的驾驶员能够操作操作输入部10来任意地切换在显示画面G中是包含车辆1整体及其周边的俯瞰图像G1，还是包含车辆1的一部分(例如，侧面)及其周边的俯瞰图像G1。
虽然图6所示的俯瞰图像G1(车辆1的左侧的侧面及其周边的俯瞰图像)容易掌握与位于车辆1的侧面的附近的物体的位置关系，但是无法确认目标停车位置的候选500以及停车位置501的整体。像这样，车辆1及其周边的俯瞰图像G1以及拍摄车辆1的行进方向而得到的拍摄图像G2无法确认目标停车位置的候选500及其周边(例如，停车位置501)的整体。因此，存在图5以及图6所示的俯瞰图像G1以及拍摄图像G2不适合于目标停车位置的设定的情况。
图7是用于说明本实施方式的车辆的目标停车位置设定时的显示画面的显示处理的一例的图。当经由操作输入部10等而指示目标停车位置的设定时，如图7所示，控制部403使包含俯瞰图像G1和三维图像G3的显示画面G显示于显示装置8。在本实施方式中，在设定目标停车位置的情况下，控制部403虽然使包含俯瞰图像G1和三维图像G3的显示画面G显示于显示装置8，但是只要至少使包含三维图像G3的显示画面G显示于显示装置8即可。
在此，三维图像G3是从以车辆1的位置P为基准而位于与目标停车位置的候选500相反的一侧(在图7所示的三维图像G3中，车辆1的右侧)且面对目标停车位置的候选500的里侧的视点看到的车辆1及其周边的三维图像。由此，在设定目标停车位置的情况下，能够使从可观察到目标停车位置的候选500的整体及其周边的状况(例如，停车位置501)的视点看到的三维图像G3显示于显示装置8。
其结果是，能够使车辆1的驾驶员对目标停车位置的设定容易化。另外，为了使可观察到目标停车位置的候选500的整体的三维图像G3显示于显示装置8，不需要扩大三维图像G3的视角，因此能够抑制由三维图像G3的视角的扩大引起的包含在该三维图像G3中的车辆1等图像的变形。
图8是用于说明本实施方式的车辆的目标停车位置设定时的三维图像的显示处理的一例的图。在本实施方式中，在通过检测部402检测到向车辆1接近的物体的情况下，如图7以及图8所示，控制部403扩大三维图像G3的视角。由此，在设定目标停车位置时，能够在三维图像G3包含存在于远离车辆1的位置的物体(例如，其他的车辆、步行者)的信息，因此能够相对于目标停车位置更安全地停放车辆1。
图9是用于说明本实施方式的车辆的目标停车位置设定时的三维图像的显示处理的一例的图。在本实施方式中，在通过检测部402检测到从后方接近车辆1的物体的情况下，如图9所示，控制部403扩大三维图像G3的视角。此时，如图9所示，控制部403将从车辆1的后方的视点看到的车辆1及其周边的三维图像作为三维图像G3包含在显示画面G中。由此，能够显示容易掌握车辆1与从后方接近该车辆1的其他车辆等物体的位置关系的三维图像G3。
图10以及图11是用于说明本实施方式的车辆的自动停车控制开始时的俯瞰图像的显示处理的一例的图。在本实施方式中，在设定目标停车位置之后，自动停车控制开始的情况下，如图10所示，控制部403能够使包含俯瞰图像G1和拍摄图像G2的显示画面G显示于显示装置8。
此时，如图11所示，控制部403将包含在显示画面G中的俯瞰图像G1设为从来自斜后上方的视点看到的车辆1的俯瞰图像。由此，车辆1的驾驶员能够通过具有立体感的俯瞰图像G1来监视车辆1的自动停车控制。另外，通过切换为从自斜后上方面对车辆1的视点看到的俯瞰图像G1，能够改善包含在俯瞰图像G1中的立体物的变形。
在本实施方式中，在自动停车控制开始时，控制部403自动地将包含从来自斜后上方的视点看到的车辆1的俯瞰图像G1和拍摄图像G2的显示画面G显示于显示装置8，但也可以是能够根据由用户从操作输入部10输入的指示，切换显示包含从正上方的视点看到的车辆1的俯瞰图像G1的显示画面G，或显示包含从来自斜后上方的视点看到的车辆1的俯瞰图像G1的显示画面G。
另外，在本实施方式中，在自动停车控制开始时，控制部403显示包含拍摄图像G2的显示画面G来代替三维图像G3，但在自动停车控制开始时，也能够显示包含三维图像G3的显示画面G。
例如，在使包含从正上方的视点看到的车辆1的俯瞰图像G1的显示画面G显示的情况下，控制部403使包含该俯瞰图像G1和三维图像G3的显示画面G显示。另一方面，在使包含从来自斜后上方的视点看到的车辆1的俯瞰图像G1的显示画面G显示的情况下，控制部403使包含该俯瞰图像G1和拍摄图像G2的显示画面G显示。
图12是用于说明本实施方式的车辆的自动停车控制的执行过程中的三维图像的显示处理的一例的图。在本实施方式中，在自动停车控制的执行过程中的情况下，控制部403使仅包含三维图像G3的显示画面G显示于显示装置8。在此期间，在车辆1前进的情况下，如图12所示，控制部403使包含从位于车辆1的后方的视点看到的车辆1及其周边的三维图像G3的显示画面G显示于显示装置8。
由此，能够在三维图像G3中使车辆1行进的前方朝向显示画面G的上方，且显示从斜上方的视点看到车辆1的变形较少的三维图像G3。其结果是，在车辆1通过自动停车控制而停放到目标停车位置的过程中，能够用具有真实感的三维图像安心地确认车辆1前进的样子。
另一方面，在自动停车控制的执行过程中车辆1后退的情况下，如图12所示，控制部403使包含从位于车辆1的前方的视点看到的车辆1及其周边的三维图像G3的显示画面G显示于显示装置8。
由此，能够在三维图像G3中使车辆1行进的后方朝向显示画面G的上方，且显示从斜上方的视点看到车辆1的变形较少的三维图像G3。其结果是，在车辆1通过自动停车控制而停放到目标停车位置的过程中，能够用具有真实感的三维图像安心地确认车辆1后退的样子。
在本实施方式中，在自动停车控制的执行过程中的情况下，控制部403使仅包含三维图像G3的显示画面G显示，但只要至少使包含三维图像G3的显示画面G显示，则并不限定于此。例如，在正在执行自动停车控制的情况下，控制部403也能够使包含俯瞰图像G1和三维图像G3的显示画面G显示。
图13是用于说明本实施方式的车辆的三维图像的显示处理的其他例子的图。在本实施方式中，在没有执行自动停车控制的情况下(例如，在设定目标停车位置的情况下，在自动停车控制开始的情况下，在通过手动进行停车的情况下)，如图13所示，控制部403使包含以三维图像G3内的车辆1的行进方向朝向上方的方式使其整体旋转的三维图像G3的显示画面G显示于显示装置8。
具体而言，控制部403基于由舵角传感器19检测的操舵角来确定使三维图像G3整体旋转的旋转角度。例如，在通过舵角传感器19检测到操舵部4向顺时针方向旋转的操舵角的情况下，如图13所示，控制部403使包含以检测到的操舵角使其整体向逆时针方向旋转的三维图像G3的显示画面G显示于显示装置8。
由此，能够使反映车辆1的行驶状态的三维图像G3显示于显示装置8，而不会使三维图像G3内的目标停车位置的候选、其周边的物体的外观变化，因此能够容易地从显示于显示装置8的三维图像G3中掌握车辆1与其周边的物体的位置关系。
图14是用于说明三维图像的生成处理的一例的图。如图14所示，存在如下方法：在生成将通过拍摄部15拍摄车辆1的周边而得到的拍摄图像粘贴在碗状的三维面F而得到的三维图像G3之后，通过将目标停车位置的框W描绘于三维图像G3，从而生成包含目标停车位置的框W的三维图像G3。
然而，在该方法中，如图14所示，由于目标停车位置的框W不具有高度方向的坐标，因此目标停车位置的框W中应描绘在三维面F的上升部分PF的部分会隐藏在三维面F的下方。因此，如图14所示，生成的三维图像G3在三维图像G3的上升部分1400中缺少目标停车位置的框W的一部分。
图15是用于说明本实施方式的车辆的三维图像的生成处理的一例的图。因此，在本实施方式中，控制部403在通过拍摄部15拍摄车辆1的周边而得到的拍摄图像G2相对于三维面F粘贴之前，如图15所示，相对于该拍摄图像G2，描绘目标停车位置的框W。之后，控制部403将如下图像作为三维图像G3生成：将描绘有目标停车位置的框W的拍摄图像G2粘贴在碗状的三维面F而作为纹理的图像。
由此，如图15所示，能够防止包含在拍摄图像G2的框W隐藏在三维面F的上升部分PF的下方，并且在三维图像G3中缺少目标停车位置的框W的一部分的情况。此时，无需对三维面F上的目标停车位置的框W的三维坐标进行计算，无需生成三维面F上的目标停车位置的框W的三维坐标的查找表，就能够生成包含目标停车位置的框W的三维图像G3，因此能够使包含具备目标停车位置的框W的三维图像G3的显示画面G容易地显示于显示装置8。
像这样，根据本实施方式的车辆1，在设定目标停车位置的情况下，能够使从可观察到目标停车位置的候选的整体的视点看到的三维图像显示于显示部，因此车辆的驾驶员能够容易地设定目标停车位置。

Claims (8)

1.一种车辆周边显示装置，其中，具备：
图像取得部，该图像取得部从拍摄部取得拍摄图像，该拍摄部对车辆的周边进行拍摄；以及
控制部，在设定停放所述车辆的目标停车位置的情况下，该控制部使从以所述车辆的位置为基准位于与所述目标停车位置的候选相反的一侧且面对该目标停车位置的候选的里侧的视点看到的表示所述车辆的车辆图像和基于所述拍摄图像表示所述车辆的周边的三维图像显示于显示部。
2.如权利要求1所述的车辆周边显示装置，其中，
进一步，在使所述车辆通过自动停车控制而停放到所述目标停车位置时所述车辆前进的情况下，所述控制部使从位于所述车辆的后方的视点看到的所述三维图像显示于所述显示部，在使所述车辆通过自动停车控制而停放到所述目标停车位置时所述车辆后退的情况下，所述控制部使从位于所述车辆的前方的视点看到的所述三维图像显示于所述显示装置。
3.如权利要求2所述的车辆周边显示装置，其中，
进一步，在使从所述车辆的正上方的视点看到的该车辆及该车辆的周边的俯瞰图像显示于所述显示部，并且自动停车控制开始的情况下，所述控制部使如下的显示画面显示于所述显示部：该显示画面包含从由斜后方面对所述车辆的视点看到的所述俯瞰图像和通过所述车辆具有的拍摄部拍摄所述车辆的行进方向而得到的拍摄图像。
4.如权利要求1所述的车辆周边显示装置，其中，
所述控制部以所述三维图像内的所述车辆的前方朝向上方的方式使所述三维图像整体旋转并显示于所述显示部。
5.如权利要求4所述的车辆周边显示装置，其中，
所述控制部基于所述车辆的操舵部的操舵角来确定使所述三维图像整体旋转的旋转角度，并且根据确定出的该旋转角度使所述三维图像整体旋转并显示于所述显示部。
6.如权利要求1至5中任一项所述的车辆周边显示装置，其中，
在检测到向所述车辆或所述目标停车位置接近的物体的情况下，所述控制部使包含所述物体的视角的所述三维图像显示于所述显示部。
7.如权利要求1至6中任一项所述的车辆周边显示装置，其中，
还具有设定部，该设定部根据用户的操作设定如下视点：以所述车辆为基准位于与所述目标停车位置的候选相反的一侧且面对该目标停车位置的候选的里侧的视点，
在设定所述目标停车位置的情况下，所述控制部使从所述设定的视点看到的所述三维图像显示于所述显示部。
8.如权利要求1至7中任一项所述的车辆周边显示装置，其中，
所述控制部对于通过拍摄部拍摄所述车辆的周边而得到的拍摄图像描绘所述目标停车位置的框，并且使如下图像作为所述三维图像显示于所述显示部：将描绘有所述框的所述拍摄图像粘贴在三维面而作为纹理的图像。
CN201910836305.9A 2018-09-06 2019-09-05 车辆周边显示装置 Pending CN110877573A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-167376 2018-09-06
JP2018167376A JP7151293B2 (ja) 2018-09-06 2018-09-06 車両周辺表示装置

Publications (1)

Publication Number Publication Date
CN110877573A true CN110877573A (zh) 2020-03-13

Family

ID=69727622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910836305.9A Pending CN110877573A (zh) 2018-09-06 2019-09-05 车辆周边显示装置

Country Status (3)

Country Link
US (1) US11472339B2 (zh)
JP (1) JP7151293B2 (zh)
CN (1) CN110877573A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11024011B2 (en) * 2018-08-29 2021-06-01 Alpine Electronics, Inc. Image display apparatus and image display method
CN116508083A (zh) * 2020-11-02 2023-07-28 日产自动车株式会社 停车辅助方法及停车辅助装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7160701B2 (ja) * 2019-01-23 2022-10-25 株式会社小松製作所 作業機械のシステム及び方法
JP7065068B2 (ja) * 2019-12-13 2022-05-11 本田技研工業株式会社 車両周囲監視装置、車両、車両周囲監視方法およびプログラム
CN111824261B (zh) * 2020-05-13 2022-04-29 北京汽车股份有限公司 泊车控制显示方法、装置和设备
GB2595271A (en) * 2020-05-20 2021-11-24 Daimler Ag A method for an automated parking of motor vehicle, as well as an assistance system
CN112109550A (zh) * 2020-09-08 2020-12-22 中国第一汽车股份有限公司 基于ar-hud的预警信息的显示方法、装置、设备及车辆
JP7375792B2 (ja) * 2021-05-26 2023-11-08 トヨタ自動車株式会社 駐車支援装置
JP2023082954A (ja) * 2021-12-03 2023-06-15 本田技研工業株式会社 制御装置、制御方法、及び制御プログラム
CN115273525B (zh) * 2022-05-17 2023-11-10 岚图汽车科技有限公司 一种停车位映射显示方法和系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100716324B1 (ko) * 2005-12-15 2007-05-11 현대자동차주식회사 자동주차시스템에서의 주차설정방법
CN102027744A (zh) * 2008-05-19 2011-04-20 松下电器产业株式会社 车辆周围监视装置和车辆周围监视方法
WO2012039234A1 (ja) * 2010-09-24 2012-03-29 アイシン精機株式会社 駐車支援装置
CN102474595A (zh) * 2009-07-02 2012-05-23 富士通天株式会社 图像产生设备和图像显示系统
JP2012105090A (ja) * 2010-11-10 2012-05-31 Aisin Seiki Co Ltd 駐車支援装置
CN103171552A (zh) * 2011-12-23 2013-06-26 现代自动车株式会社 基于avm俯视图的停车辅助系统
CN103328261A (zh) * 2010-11-12 2013-09-25 法雷奥开关和传感器有限责任公司 用于产生车辆周围环境的图像的方法以及成像装置
CN104512463A (zh) * 2013-10-04 2015-04-15 本田技研工业株式会社 停车辅助装置
WO2018037789A1 (ja) * 2016-08-22 2018-03-01 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3300334B2 (ja) 1999-04-16 2002-07-08 松下電器産業株式会社 画像処理装置および監視システム
CN100438623C (zh) 1999-04-16 2008-11-26 松下电器产业株式会社 图象处理装置及监视系统
JP3815291B2 (ja) 2001-10-24 2006-08-30 日産自動車株式会社 車両後方監視装置
JP5439890B2 (ja) 2009-03-25 2014-03-12 富士通株式会社 画像処理方法、画像処理装置及びプログラム
JP5321267B2 (ja) 2009-06-16 2013-10-23 日産自動車株式会社 車両用画像表示装置及び俯瞰画像の表示方法
JP5872517B2 (ja) 2013-10-04 2016-03-01 本田技研工業株式会社 車両周辺表示装置
JP6477562B2 (ja) 2016-03-18 2019-03-06 株式会社デンソー 情報処理装置
JP6859906B2 (ja) * 2017-09-06 2021-04-14 トヨタ自動車株式会社 駐車支援装置
JP7000980B2 (ja) * 2018-05-08 2022-01-19 トヨタ自動車株式会社 駐車支援装置
GB2573792B (en) * 2018-05-17 2022-11-09 Denso Corp Surround monitoring system for vehicles
JP6731022B2 (ja) * 2018-09-14 2020-07-29 本田技研工業株式会社 駐車支援装置、車両及び駐車支援方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100716324B1 (ko) * 2005-12-15 2007-05-11 현대자동차주식회사 자동주차시스템에서의 주차설정방법
CN102027744A (zh) * 2008-05-19 2011-04-20 松下电器产业株式会社 车辆周围监视装置和车辆周围监视方法
CN102474595A (zh) * 2009-07-02 2012-05-23 富士通天株式会社 图像产生设备和图像显示系统
WO2012039234A1 (ja) * 2010-09-24 2012-03-29 アイシン精機株式会社 駐車支援装置
JP2012105090A (ja) * 2010-11-10 2012-05-31 Aisin Seiki Co Ltd 駐車支援装置
CN103328261A (zh) * 2010-11-12 2013-09-25 法雷奥开关和传感器有限责任公司 用于产生车辆周围环境的图像的方法以及成像装置
CN103171552A (zh) * 2011-12-23 2013-06-26 现代自动车株式会社 基于avm俯视图的停车辅助系统
CN104512463A (zh) * 2013-10-04 2015-04-15 本田技研工业株式会社 停车辅助装置
WO2018037789A1 (ja) * 2016-08-22 2018-03-01 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11024011B2 (en) * 2018-08-29 2021-06-01 Alpine Electronics, Inc. Image display apparatus and image display method
CN116508083A (zh) * 2020-11-02 2023-07-28 日产自动车株式会社 停车辅助方法及停车辅助装置
CN116508083B (zh) * 2020-11-02 2024-04-26 日产自动车株式会社 停车辅助方法及停车辅助装置

Also Published As

Publication number Publication date
US20200139888A1 (en) 2020-05-07
US11472339B2 (en) 2022-10-18
JP7151293B2 (ja) 2022-10-12
JP2020043401A (ja) 2020-03-19

Similar Documents

Publication Publication Date Title
JP7151293B2 (ja) 車両周辺表示装置
JP6094266B2 (ja) 駐車支援装置、駐車支援方法およびプログラム
CN107925746B (zh) 周边监控装置
CN110997409B (zh) 周边监控装置
WO2018150642A1 (ja) 周辺監視装置
CN111066319B (zh) 图像处理装置
JP2020120327A (ja) 周辺表示制御装置
WO2019026320A1 (ja) 表示制御装置
CN110959289B (zh) 周边监控装置
CN110877575A (zh) 周边监视装置
JP7013751B2 (ja) 画像処理装置
JP2022023870A (ja) 表示制御装置
JP2020053819A (ja) 撮像システム、撮像装置、および信号処理装置
JP6610140B2 (ja) 周辺監視装置
JP6965563B2 (ja) 周辺監視装置
CN110999282A (zh) 周边监控装置
CN111034188A (zh) 周边监控装置
JP6601097B2 (ja) 表示制御装置
JP2017069846A (ja) 表示制御装置
JP2022009331A (ja) 周辺監視装置
JP2021064149A (ja) 画像処理装置

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Kariya City, Aichi Prefecture, Japan's Asahi 2 chome 1 GA

Applicant after: AISIN Co.,Ltd.

Address before: Kariya City, Aichi Prefecture, Japan's Asahi 2 chome 1 GA

Applicant before: AISIN SEIKI Kabushiki Kaisha

CB02 Change of applicant information