CN112995584A - 车辆的显示装置和停车辅助系统 - Google Patents

车辆的显示装置和停车辅助系统 Download PDF

Info

Publication number
CN112995584A
CN112995584A CN202011440394.4A CN202011440394A CN112995584A CN 112995584 A CN112995584 A CN 112995584A CN 202011440394 A CN202011440394 A CN 202011440394A CN 112995584 A CN112995584 A CN 112995584A
Authority
CN
China
Prior art keywords
vehicle
image
unit
imaging
acquisition unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011440394.4A
Other languages
English (en)
Other versions
CN112995584B (zh
Inventor
山中浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN112995584A publication Critical patent/CN112995584A/zh
Application granted granted Critical
Publication of CN112995584B publication Critical patent/CN112995584B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/25—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the sides of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

车辆的显示装置和停车辅助系统。一种车辆的显示装置包括：多个成像单元，所述多个成像单元构造成捕获所述车辆周围的图像；图像合成单元，所述图像合成单元构造成对由所述成像单元捕获的图像进行合成以生成合成图像；图像显示单元，所述图像显示单元构造成显示由所述图像合成单元生成的所述合成图像；以及获取单元，所述获取单元构造成获取与车辆周围的对象有关的信息。所述成像单元布置成使得其成像区域彼此交叠。所述图像合成单元构造成在所述合成图像中设置捕获的图像之间的边界，使得该边界设置在所述成像单元的成像区域彼此交叠的部分中。在获取单元获取与对象有关的信息的情况下，所述图像合成单元改变边界。

Description

车辆的显示装置和停车辅助系统
技术领域
本发明涉及一种车辆的显示装置和包括该显示装置的停车辅助系统。
背景技术
常规地，已经提出了用于显示车辆周围环境的各种方法。例如，JPH4-239400A公开了一种车载监视摄像头装置，其包括成像装置、图像处理装置和显示装置。成像装置被安装在车辆上以沿期望的方向捕获车辆周围的图像。图像处理装置转换并合成由成像装置捕获的图像，使得车辆的驾驶员可以容易地看到图像。显示装置显示由图像处理装置合成的图像。
顺便说一下，在车辆的显示装置包括构造成捕获车辆周围的图像的多个成像单元的情况下，可以对由成像单元捕获的图像进行合成以生成合成图像，并且可以将该合成图像显示在显示器(例如，车内触摸面板)上。在这种情况下，取决于对象在车辆周围的位置，可能难以在成像单元捕获的图像的边界附近适当地生成合成图像。
发明内容
鉴于现有技术的这种问题，本发明的主要目的是提供一种车辆的显示装置，其可以根据对象在车辆周围的位置来生成适当的合成图像。
为了实现这一目的，本发明的一个实施方式提供了一种车辆V的显示装置3，所述显示装置3包括：多个成像单元51、52，所述多个成像单元51、52构造成捕获所述车辆周围的图像；图像合成单元41，所述图像合成单元41构造成对由所述成像单元捕获的图像进行合成以生成合成图像；图像显示单元32，所述图像显示单元32构造成显示由所述图像合成单元生成的所述合成图像；以及获取单元61，所述获取单元61构造成获取关于所述车辆周围的对象Z的信息，其中，所述成像单元布置成使得其成像区域I1、I2彼此交叠，所述图像合成单元构造成在所述合成图像中设置捕获的图像之间的边界Yr，使得在所述成像单元的所述成像区域彼此交叠的部分Xr中提供所述边界，并且在所述获取单元获取关于所述对象的信息的情况下，所述图像合成单元改变所述边界。
根据该设置，可以根据所述对象在所述车辆周围的位置来改变捕获的图像之间的所述边界。因此，可以根据所述对象在所述车辆周围的位置来生成适当的合成图像。
在上述设置中，优选地，所述成像单元包括构造成在第一成像区域I1中捕获图像的第一成像单元51和构造成在第二成像区域I2中捕获图像的第二成像单元52，所述第二成像区域与所述第一成像区域交叠，所述获取单元构造成获取关于所述第一成像区域中的对象的信息，并且与所述获取单元不获取关于所述对象的信息的情况相比，在所述获取单元获取关于所述对象的信息的情况下，所述图像合成单元移动边界，使得所述边界更靠近所述第一成像单元。
根据该设置，可以通过在适当方向上移动边界来提高合成图像中对象的位置的准确度。
在上述设置中，优选地，与所述获取单元不获取关于所述对象的信息的情况相比，在所述获取单元获取关于所述对象的信息的情况下，所述图像合成单元扩大由所述第二成像单元捕获的图像的使用区域，并减小由所述第一成像单元捕获的图像的使用区域。
根据该设置，可以扩大由所述第二成像单元(具有不获取与所述对象有关的信息的成像区域的成像单元)捕获的图像的使用区域，而可以减小由所述第一成像单元(具有获取与所述对象有关的信息的成像区域的成像单元)捕获的图像的使用区域。因此，可以进一步提高合成图像中对象的位置的准确度。
在上述设置中，优选地，所述第一成像单元包括构造成在所述车辆的侧面捕获图像的侧成像单元，所述第二成像单元包括构造成在所述车辆的后侧捕获图像的后成像单元，所述获取单元包括至少一个侧获取单元，所述至少一个侧获取单元构造成获取关于所述车辆的侧面的对象的信息，并且与所述侧获取单元不获取关于对象的信息的情况相比，在侧获取单元获取关于对象的信息的情况下，所述图像合成单元将边界移动到车辆的前侧。
根据该设置，在对象存在于所述车辆的侧面并且因此所述合成图像中的所述对象的位置可能偏离实际空间中的所述对象的位置的情况下，可以抑制其偏离。
在上述设置中，优选地，所述侧成像单元布置成比所述车辆的前后中心更靠前，所述至少一个侧获取单元包括多个侧获取单元，所述多个侧获取单元包括布置成比所述车辆的前后中心更靠前的前侧获取单元以及布置成比所述车辆的前后中心更靠后的后侧获取单元，并且与所述后侧获取单元不获取关于对象的信息的情况相比，在所述后侧获取单元获取关于对象的信息的情况下，所述图像合成单元将边界移动到车辆的前侧。
根据该设置，在对象存在于所述车辆的后部的侧面并且因此所述合成图像中的所述对象的位置可能偏离实际空间中的所述对象的位置的情况下，可以抑制其偏离。
在上述设置中，优选地，显示装置还包括：前获取单元63，所述前获取单元63构造成获取关于所述车辆的前侧的对象的信息；以及后获取单元62，所述后获取单元62构造成获取关于所述车辆的后侧的对象的信息，所述前获取单元和所述后获取单元与所述侧获取单元分开，其中，在所述前获取单元或所述后获取单元获取关于对象的信息的情况下，图像合成单元不移动边界。
根据该设置，可以通过减少边界的不必要的移动来抑制由边界的移动引起的不适。
在上述设置中，优选地，显示装置还包括：前获取单元，所述前获取单元构造成获取关于所述车辆的前侧的对象的信息；以及后获取单元，所述后获取单元构造成获取关于所述车辆的后侧的对象的信息，所述前获取单元和所述后获取单元与所述侧获取单元分开，其中，在所述前获取单元或所述后获取单元获取关于对象的信息的情况下，图像合成单元移动边界。
根据该设置，在对象存在于所述车辆的前侧或后侧的情况下，可以抑制所述合成图像中的对象的位置与实际空间中的对象的位置的偏离。
在上述设置中，优选地，边界在车辆周围的周向上具有规定的长度，并且在所述获取单元获取关于对象的信息的情况下，所述图像合成单元移动边界使得移动之后的边界与移动之前的边界交叠。
根据该设置，可以通过减少边界的移动长度来抑制由边界的移动引起的不适。
在上述设置中，优选地，所述成像单元包括：第一成像单元，所述第一成像单元构造成在第一成像区域中捕获图像；以及第二成像单元，所述第二成像单元构造成在与第一成像区域交叠的第二成像区域中捕获图像，所述获取单元构造成获取关于所述第一成像区域中的对象的信息，所述图像合成单元构造成通过将所述第一成像单元捕获的图像和所述第二成像单元捕获的图像混合来生成合成图像的对应部分，所述对应部分是与边界对应的部分，并且与所述获取单元不获取关于对象的信息的情况相比，在所述获取单元获取关于对象的信息的情况下，所述图像合成单元改变所捕获的图像在合成图像的对应部分中的混合比率，使得由所述第二成像单元捕获的图像的比例增大，而由所述第一成像单元捕获的图像的比例减小。
根据该设置，可以增大由所述第二成像单元(具有不获取关于所述对象的信息的成像区域的成像单元)捕获的图像的比例，而可以减小由所述第一成像单元(具有获取关于所述对象的信息的成像区域的成像单元)捕获的图像的比例。因此，可以进一步提高合成图像中对象的位置的准确度。
在上述设置中，优选地，由图像合成单元生成的合成图像是从右上方俯视车辆的平面图像。
根据该设置，对于所述合成图像中的对象的位置可能偏离实际空间中的对象的位置的平面图像，可以抑制其偏离。
为了实现上述目的，本发明的另一实施方式提供一种包括上述显示装置的停车辅助系统1，其中，所述图像显示单元构造成在所述合成图像中显示停车位置候选P。
根据该设置，即使对象与停车位置候选在实际空间中彼此不交叠，也可以减少在合成图像中发生对象与停车位置候选彼此交叠的情况。
因此，根据上述设置，可以提供一种车辆的显示装置，所述显示装置可以根据对象在车辆周围的位置来生成适当的合成图像。
附图说明
图1是示出根据本发明的实施方式的设置有停车辅助系统的车辆的功能框图；
图2是根据实施方式的停车辅助系统中的自动停车处理的流程图；
图3A是示出在根据实施方式的停车辅助系统中在目标停车位置接收处理期间触摸面板的画面显示的图；
图3B是示出在根据实施方式的停车辅助系统中在驱动处理期间触摸面板的画面显示的图；
图3C是示出在根据实施方式的停车辅助系统中当完成自动停车时触摸面板的画面显示的图；
图4是示出根据实施方式的车辆的显示装置中的外部摄像头和声纳的布置的平面图；
图5是例示在根据实施方式的车辆的显示装置中，在后侧声纳检测到对象时边界不移动的情况下显示合成图像的平面图；以及
图6是例示在根据实施方式的车辆的显示装置中，在后侧声纳检测到对象时边界移动的情况下显示合成图像的平面图。
具体实施方式
在下文中，将参考附图详细描述本发明的一个实施方式。
停车辅助系统1安装在诸如汽车之类的车辆上，该车辆设置有构造成使车辆自主行进的车辆控制系统2。
如图1中所示，车辆控制系统2包括动力总成4、制动装置5、转向装置6、外部环境传感器7、车辆传感器8、导航装置10、操作输入构件11、驱动操作传感器12、状态检测传感器13、人机界面(HMI)14以及控制装置15。车辆控制系统2的以上部件彼此连接，从而可以经由诸如控制器局域网(CAN)之类的通信机构在其间传送信号。
动力总成4是构造成向车辆施加驱动力的装置。例如，动力总成4包括动力源和变速器。动力源包括诸如汽油发动机和柴油发动机之类的内燃机与电动马达中的至少一种。在本实施方式中，动力总成4包括自动变速器16以及用于改变自动变速器16的档位(车辆的档位)的换档致动器17。制动装置5是构造成对车辆施加制动力的装置。例如，制动装置5包括：制动钳，其构造成将制动垫压向制动转子；以及电动缸，其构造成向制动钳提供制动压力(油压)。制动装置5可以包括电动停车制动装置，该电动停车制动装置构造成经由线缆限制车轮的旋转。转向装置6是用于改变车轮的转向角的装置。例如，转向装置6包括：齿条-小齿轮机构，其构造成使车轮转向(转动)；以及电动马达，其构造成驱动齿条-小齿轮机构。动力总成4、制动装置5和转向装置6由控制装置15控制。
外部环境传感器7用作外部环境信息获取装置，用于从车辆的周围检测电磁波、声波等，以检测车辆外部的对象并获取车辆的周围信息。外部环境传感器7包括声纳18和外部摄像头19。外部环境传感器7还可以包括毫米波雷达和/或激光雷达。外部环境传感器7将检测结果输出到控制装置15。
每个声纳18均由所谓的超声波传感器组成。每个声纳18向车辆的周围发射超声波，并捕获由对象反射的超声波，从而检测对象的位置(距离和方向)。在车辆的后部和前部的每一者处设置多个声纳18。在本实施方式中，一对声纳18在后保险杠上设置成彼此横向隔开，一对声纳18在前保险杠上设置成彼此横向隔开，并且四个声纳18分别设置在车辆的两侧面的前端部和后端部。即，车辆总共设置有8个声纳18。设置在后保险杠上的声纳18主要检测车辆后方的对象的位置。设置在前保险杠上的声纳18主要检测车辆前方的对象的位置。设置在车辆的两侧面的前端部的声纳18分别检测在车辆的前端部的左外侧和右外侧的对象的位置。设置在车辆的两侧面的后端部的声纳18分别检测在车辆的后端部的左外侧和右外侧的对象的位置。
外部摄像头19是构造成捕获车辆周围的图像的装置。例如，每个外部摄像头19均由使用诸如CCD或CMOS之类的固体成像元件的数字照相机组成。外部摄像头19包括用于捕获车辆前方图像的前摄像头和用于捕获车辆后方图像的后摄像头。外部摄像头19可以包括设置在车辆的后视镜附近的左右一对摄像头，以捕获车辆的左右两侧的图像。
车辆传感器8包括：车辆速度传感器8a，其构造成检测车辆的车速；加速度传感器，其构造成检测车辆的加速度；偏航率传感器，其构造成检测围绕车辆的竖直轴线的角速度；以及方向传感器，其构造成检测车辆的方向。例如，车辆速度传感器8a由多个车轮速度传感器构成。每个车轮速度传感器构造成检测车轮速度(每个车轮的转速)。例如，偏航率传感器由陀螺仪传感器组成。
导航装置10是构造成获得车辆的当前位置并且提供到目的地等的路线指引的装置。导航装置10包括GPS接收单元20和地图存储单元21。GPS接收单元20基于从人造卫星(定位卫星)接收的信号来识别车辆的位置(纬度和经度)。地图存储单元21由诸如闪存或硬盘之类的已知存储装置构成，并存储地图信息。
操作输入构件11设置在车厢中，以接收由乘员(用户)进行的输入操作以控制车辆。操作输入构件11包括方向盘22、加速踏板23、制动踏板24(制动输入构件)和换档杆25(换档构件)。换档杆25构造成接收用于切换车辆的档位的操作。
驱动操作传感器12检测操作输入构件11的操作量。驱动操作传感器12包括：转向角传感器26，其构造成检测方向盘22的转向角；制动传感器27，其构造成检测制动踏板24的踩踏量，以及加速传感器28，其构造成检测加速踏板23的踩踏量。驱动操作传感器12将检测到的操作量输出至控制装置15。
状态检测传感器13是构造成检测根据乘员的操作车辆的状态变化的传感器。由状态检测传感器13检测到的乘员的操作包括指示乘员的下车意图(意图从车上下来)的操作和指示在自主停车操作或自主驶离操作期间乘员无检查车辆周围环境的意图的操作。状态检测传感器13包括构造成检测车门打开和/或关闭的门打开/关闭传感器29以及构造成检测安全带的紧固状态的安全带传感器30作为用于检测指示下车意图的操作的传感器。状态检测传感器13包括构造成检测后视镜的位置的后视镜位置传感器31作为用于检测与离位意图相对应的操作的传感器。状态检测传感器13将指示检测到的车辆状态变化的信号输出至控制装置15。
HMI 14是输入/输出装置，用于接收乘员的输入操作并经由显示和/或语音向乘员通知各种信息。HMI 14包括例如：触摸面板32，触摸面板32包括诸如液晶显示器或有机EL显示器之类的显示屏，并且构造成接收乘员的输入操作；诸如蜂鸣器或扬声器之类的声音产生装置33；停车主开关34；以及选择输入构件35。停车主开关34接收乘员的输入操作，以执行自动停车处理(自动停车操作)和自动驶离处理(自动驶离操作)中选择的一项。停车主开关34是仅在乘员进行了按压操作(按下操作)时才开启的所谓的瞬时开关。选择输入构件35接收乘员的与自动停车处理和自动驶离处理的选择有关的选择操作。选择输入构件35可以由旋转选择开关组成，旋转选择开关优选地需要按压作为选择操作。
控制装置15由包括CPU的电子控制单元(ECU)、诸如ROM之类的非易失性存储器、诸如RAM之类的易失性存储器等组成。CPU根据程序执行操作处理，从而控制装置15执行各种类型的车辆控制。控制装置15可以由一个硬件组成，或者可以由包括多个硬件的单元组成。此外，控制装置15的功能可以至少部分地由诸如LSI、ASIC和FPGA之类的硬件执行，或者可以由软件和硬件的组合来执行。
此外，控制装置15根据程序执行算术处理，从而进行由外部摄像头19捕获的图像(视频)的转换处理，以生成与车辆及其周围区域的平面图相对应的俯视图像以及在从上方观察时与车辆及其周围区域的位于行进方向上的那部分的三维图像相对应的鸟瞰图像。控制装置15可以通过组合前摄像头、后摄像头以及左右侧摄像头的图像来生成俯视图像，并且可以通过组合由面向行进方向的前摄像头或后摄像头捕获的图像以及由左右侧摄像头捕获的图像来生成鸟瞰图像。
停车辅助系统1是用于执行所谓的自动停车过程和所谓的自动驶离处理的系统，在该系统中，车辆自主地移动到由乘员所选的规定目标位置(目标停车位置或目标驶离位置)以停放车辆或使车辆驶离。
停车辅助系统1包括HMI 14、控制装置15和外部环境传感器7。
控制装置15控制动力总成4、制动装置5和转向装置6以执行自主停车操作，从而将车辆自主地移动到目标停车位置并且将车辆停放在目标停车位置；以及执行自主驶离操作，从而将车辆自主移动到目标驶离位置，并在目标驶离位置将车辆驶离。为了执行这样的操作，控制装置15包括外部环境辨识单元41、车辆位置识别单元42、行动计划单元43、行进控制单元44、车辆异常检测单元45以及车辆状态确定单元46。
外部环境辨识单元41基于外部环境传感器7的检测结果，辨识存在于车辆周围的障碍物(例如，停放的车辆或墙壁)，从而获得关于障碍物的信息。此外，外部环境辨识单元41基于诸如图案匹配之类的已知图像分析方法来分析由外部摄像头19捕获的图像，从而确定是否存在车辆止动器(车轮止动器)或障碍物，并在存在车辆止动器或障碍物的情况下获得车辆止动器或障碍物的大小。此外，外部环境辨识单元41可以基于来自声纳18的信号计算到障碍物的距离，以获得障碍物的位置。
此外，通过对外部环境传感器7的检测结果进行分析(更具体地，通过基于诸如图案匹配之类的已知图像分析方法对由外部摄像头19捕获的图像进行分析)，外部环境辨识单元41能够获取例如由路标界定的道路上的车道以及由设置在道路、停车场等表面上的白线等界定的停车位。
车辆位置识别单元42基于来自导航装置10的GPS接收单元20的信号来识别车辆(本车辆)的位置。此外，除了来自GPS接收单元20的信号外，车辆位置识别单元42还可以获得来自车辆传感器8的车辆速度和偏航率，并借助所谓的惯性导航识别车辆的位置和姿态。
行进控制单元44基于来自行动计划单元43的行进控制指令来控制动力总成4、制动装置5和转向装置6，以使车辆行进。
车辆异常检测单元45基于来自各种装置和传感器的信号来检测车辆的异常(以下称为“车辆异常”)。由车辆异常检测单元45检测到的车辆异常包括驱动车辆所需的各种装置(例如，动力总成4、制动装置5和转向装置6)的故障以及使车辆自主行进所需的各种传感器(例如，外部环境传感器7、车辆传感器8和GPS接收单元20)的故障。此外，车辆异常包括HMI 14的故障。
车辆状态确定单元46基于来自设置在车辆中的各种传感器的信号来获取车辆的状态，并确定车辆是否处于车辆的自主移动(即，自主停车操作或自主驶离操作)应被禁止的禁止状态。当乘员进行操作输入构件11的驱动操作(重置操作)时，车辆状态确定单元46确定车辆处于禁止状态。重置操作是重置(取消)车辆的自主移动(即，自主停车操作或自主驶离操作)的操作。
此外，当车辆处于反映乘员的下车意图(意图从车上下来)的状态时，车辆状态确定单元46基于状态检测传感器13的检测结果确定车辆处于禁止状态。更具体地，当门打开/关闭传感器29检测到车门被打开时，车辆状态确定单元46确定车辆处于禁止状态。此外，当安全带传感器30检测到安全带被释放时，车辆状态确定单元46确定车辆处于禁止状态。
此外，当车辆处于反映乘员无检查车辆周围环境的意图的状态时，车辆状态确定单元46基于状态检测传感器13的检测结果确定车辆处于禁止状态。更具体地，当后视镜位置传感器31检测到后视镜收起时，车辆状态确定单元46确定车辆处于禁止状态。
当车辆处于规定状态并且HMI 14或停车主开关34接收到用户的对应于自动停车处理或自动驶离处理的请求的规定输入时，行动计划单元43执行自动停车处理(自主停车操作)或自动驶离处理(自主驶离操作)。更具体地，当车辆停止或车辆以等于或小于规定车辆速度(可以搜索候选停车位置的车辆速度)的低速度行进时，在进行与自动停车处理相对应的规定输入的情况下，行动计划单元43执行自动停车处理。当车辆停止时，在进行与自动驶离处理相对应的规定输入的情况下，行动计划单元43执行自动驶离处理(并行驶离处理)。可以由行动计划单元43基于车辆的状态来选择要执行的处理(自动停车处理或自动驶离处理)。另选地，也可以由乘员经由触摸面板32或选择输入构件35进行以上选择。行动计划单元43在执行自动停车处理时，首先使触摸面板32显示用于设置目标停车位置的停车搜索画面。在设置了目标停车位置之后，行动计划单元43使触摸面板32显示停车画面。当执行自动驶离处理时，行动计划单元43首先使触摸面板32显示用于设置目标驶离位置的驶离搜索画面。在设置了目标驶离位置之后，行动计划单元43使触摸面板32显示驶离画面。
下文中，将参考图2描述自动停车处理。行动计划单元43首先执行获取处理(步骤ST1)以获取一个或多个停车位(如果有的话)。更具体地，在车辆停止的情况下，行动计划单元43首先使HMI 14的触摸面板32显示指示乘员使车辆直行的通知。当坐在驾驶员座椅上的乘员(以下称为“驾驶员”)使车辆直行时，外部环境辨识单元41基于来自外部环境传感器7的信号获取检测到的每个障碍物的位置和大小以及设置在路面上的白线的位置。外部环境辨识单元41基于所获取的障碍物的位置和大小以及所获取的白线的位置，提取一个或多个未界定的停车位以及一个或多个界定的停车位(如果有的话)(下文中，将未界定的停车位与界定的停车位统称为“停车位”)。每个未界定的停车位是未由白线等界定，其大小足以停放车辆，并且可用(即，其中没有障碍物)的空间。每个界定的停车位是由白线等界定，其大小足以停放车辆，并且可用(即，没有停放另一辆车(本车辆以外的车辆))的空间。
接下来，行动计划单元43执行轨迹计算处理(步骤ST2)，以计算车辆的从车辆的当前位置到每个提取的停车位的轨迹。在针对特定停车位计算车辆的轨迹的情况下，行动计划单元43将该停车位设置为能够停放车辆的候选停车位置，并且使触摸面板32在画面上(停车搜索画面)显示该候选停车位置。在由于障碍物的存在而无法计算车辆的轨迹的情况下，行动计划单元43不将该停车位设置为候选停车位置，并且不使触摸面板32在画面上显示该停车位。当行动计划单元43设置多个候选停车位置(即，能够计算车辆轨迹的多个停车地点)时，行动计划单元43使触摸面板32显示这些候选停车位置。
接下来，行动计划单元43执行目标停车位置接收处理(步骤ST3)，以接收由乘员进行的选择操作来选择目标停车位置，该目标停车位置是乘员想要停放车辆的停车位置，并且选自触摸面板32上显示的所述一个或多个候选停车位置。更具体地，行动计划单元43使触摸面板32在图3A中所示的停车搜索画面上沿行进方向显示俯视图像和鸟瞰图像。当行动计划单元43获取至少一个候选停车位置时，行动计划单元43使触摸面板32在俯视图像和鸟瞰图像(图3A中的俯视图像)中的至少一者中以重叠的方式显示指示候选停车位置的框和与该框相对应的图标。该图标由指示候选停车位置的符号组成(参见图3A中的“P”)。另外，行动计划单元43使触摸面板32显示包括指示驾驶员停止车辆并选择目标停车位置的通知的停车搜索画面，从而触摸面板32接收目标停车位置的选择操作。目标停车位置的选择操作可以经由触摸面板32进行，或者可以经由选择输入构件35进行。
在车辆停止并且驾驶员选择了目标停车位置之后，行动计划单元43使触摸面板32将画面从停车搜索画面切换到停车画面。如图3B中所示，停车画面是这样的画面，其中在触摸面板32的左半部分上显示车辆的行进方向上的图像(下文中称为“行进方向图像”)，并在触摸面板32的右半部分上显示包括车辆及其周围区域的俯视图像。此时，行动计划单元43可以使触摸面板32显示指示从候选停车位置中选择的目标停车位置的粗框和与该粗框相对应的图标，使得该粗框和图标与俯视图像重叠。该图标由指示目标停车位置的符号组成，并以与指示候选停车位置的符号不同的颜色显示。
在选择了目标停车位置并且触摸面板32的画面切换到停车画面之后，行动计划单元43执行驱动处理(步骤ST4)以使车辆沿着计算出的轨迹行进。此时，行动计划单元43基于由GPS接收单元20获取的车辆的位置以及来自外部摄像头19、车辆传感器8等的信号来控制车辆，使得车辆沿着计算出的轨迹行进。此时，行动计划单元43控制动力总成4、制动装置5和转向装置6，以执行用于切换车辆的行进方向的切换操作(用于使车辆的行进方向反向的反向操作)。切换操作可以重复执行，或者可以仅执行一次。
在驱动处理中，行动计划单元43可以从外部摄像头19获取行进方向图像，并使触摸面板32在其左半部分上显示所获取的行进方向图像。例如，如图3B中所示，当车辆向后移动时，行动计划单元43可以使触摸面板32在其左半部分上显示由外部摄像头19捕获的车辆后方的图像。当行动计划单元43正在执行驱动处理时，触摸面板32的右半部分上显示的俯视图像中的车辆(本车辆)的周围图像随着车辆的移动而改变。当车辆到达目标停车位置时，行动计划单元43使车辆停止并结束驱动处理。
当驱动处理结束时，行动计划单元43执行停车处理(步骤ST5)。在停车处理中，行动计划单元43首先驱动换档致动器17以将档位(换档范围)设置为停车位置(停车范围)。此后，行动计划单元43驱动停车制动装置，并使触摸面板32显示指示已经完成车辆的自动停车的弹出窗口(参见图3C)。该弹出窗口可以在触摸面板32的画面上显示规定时段。此后，行动计划单元43可以使触摸面板32将画面切换到导航装置10的操作画面或地图画面。
在停车处理中，可能存在由于换档致动器17的异常而无法将档位改变为停车位置的情况，或者存在由于停车制动装置53的异常而无法驱动停车制动装置53的情况。在这些情况下，行动计划单元43可以使触摸面板32在其画面上显示异常原因。
<车辆V的显示装置3>
接下来，参照图1和图4，将描述停车辅助系统1中设置的车辆V的显示装置3(以下简称为“显示装置3”)。在下文中，表述“周向”将表示围绕车辆V的周向。
参照图1，显示装置3包括：外部摄像头19(成像单元的示例)，其构造成捕获车辆V周围的图像；控制装置15(图像合成单元的示例)，其构造成对由外部摄像头19捕获的图像进行合成，以生成合成图像；触摸面板32(图像显示单元的示例)，其构造成显示由控制装置15生成的合成图像；以及声纳18(获取单元的示例)，其构造成获取关于车辆V周围的对象的信息。在下文中，将逐一描述显示装置3的这些组件。
参照图4，外部摄像头19包括设置在车辆V的两侧上的左右一对侧摄像头51(第一成像单元的示例和侧成像单元的示例)、设置在车辆V的后端的后摄像头52(第二成像单元的示例和后成像单元的示例)以及设置在车辆V的前端的前摄像头53(第三成像单元的示例和前成像单元的示例)。
例如，每个侧摄像头51设置在车辆V的左右后视镜中的相应一个上或附近，并且比车辆V的前后中心(即，前后方向上的中心)布置得更靠前。每个侧摄像头51是构造成捕获车辆V的侧面(左侧或右侧)的图像的摄像头。图4中的一对箭头I1各指示每个侧摄像头51的第一成像区域I1。根据每个侧摄像头51的视角(最大成像角度)来设置每个侧摄像头51的第一成像区域I1。图4中的一对箭头U1各指示包括在每个侧摄像头51的第一成像区域I1中的第一使用区域U1。每个第一使用区域U1是仅将由每个侧摄像头51捕获的图像用于合成图像的区域。
例如，后摄像头52设置在车辆V的后门上或后门周围，并且后摄像头52位于车辆V的横向中心(即，横向方向上的中心)。后摄像头52是构造成在车辆V的后侧捕获图像的摄像头。图4中的箭头I2指示后摄像头52的第二成像区域I2。根据后摄像头52的视角(最大成像角度)来设置后摄像头52的第二成像区域I2。图4中的箭头U2指示包括在第二成像区域I2中的第二使用区域U2。第二使用区域U2是仅将后摄像头52捕获的图像用于合成图像的区域。
例如，前摄像头53设置在车辆V的前格栅上或前格栅周围，并且前摄像头53位于车辆V的横向中心。前摄像头53是构造成在车辆V的前侧捕获图像的摄像头。图4中的箭头I3指示前摄像头53的第三成像区域I3。根据前摄像头53的视角(最大成像角度)来设置前摄像头53的第三成像区域I3。图4中的箭头U3指示包括在第三成像区域I3中的第三使用区域U3。第三使用区域U3是仅将前摄像头53捕获的图像用于合成图像的区域。
每个侧摄像头51和后摄像头52布置成使得每个侧摄像头51的第一成像区域I1和后摄像头52的第二成像区域I2彼此交叠。图4中的一对箭头Xr各指示后交叠部分Xr，在该后交叠部分Xr，每个侧摄像头51的第一成像区域I1和后摄像头52的第二成像区域I2彼此交叠。每个侧摄像头51和前摄像头53布置成使得每个侧摄像头51的第一成像区域I1和前摄像头53的第三成像区域I3彼此交叠。图4中的一对箭头Xf各指示前交叠部分Xf，在该前交叠部分Xf，每个侧摄像头51的第一成像区域I1和前摄像头53的第三成像区域I3彼此交叠。
例如，由控制装置15生成的合成图像是从右上方俯视车辆V及其周围区域的平面图像(与上述俯视图像相对应的图像)。在另一实施方式中，由控制装置15生成的合成图像可以是俯视车辆V及其在行驶方向中的周围区域的一部分的三维图像(与上述鸟瞰图像相对应的图像)。
控制装置15构造成在每个后交叠部分Xr的一部分中设置后边界区域Yr。每个后边界区域Yr在周向上具有规定的角长度。每个后边界区域Yr是要成为合成图像中的每个第一使用区域U1和第二使用区域U2之间的边界的区域。即，每个后边界区域Yr是要成为合成图像中的由每个侧摄像头51捕获的图像和由后摄像头52捕获的图像之间的边界的区域。控制装置15通过以规定的混合比率将由每个侧摄像头51捕获的图像和由后摄像头52捕获的图像进行混合来生成合成图像的后对应部分(即，与每个后边界区域Yr相对应的部分)。在另一实施方式中，控制装置15可以在每个后交叠部分Xr的整体上设置后边界区域Yr。此外，在另一实施方式中，控制装置15可以设置在周向上没有角长度的后边界线，而不是设置在周向上具有角长度的后边界区域Yr。
控制装置15构造成在每个前交叠部分Xf的一部分中设置前边界区域Yf。每个前边界区域Yf在周向上具有规定的角长度。每个前边界区域Yf是要成为合成图像中的每个第一使用区域U1与第三使用区域U3之间的边界的区域。即，每个前边界区域Yf是要成为合成图像中的由每个侧摄像头51捕获的图像和由前摄像头53捕获的图像之间的边界的区域。控制装置15通过以规定的混合比率将由每个侧摄像头51捕获的图像和由前摄像头53捕获的图像进行混合来生成合成图像的前对应部分(即，与每个前边界区域Yf相对应的部分)。在另一实施方式中，控制装置15可以在每个前交叠部分Xf的整体上设置前边界区域Yf。此外，在另一实施方式中，控制装置15可以设置在周向上没有角长度的前边界线，而不是设置在周向上具有角长度的前边界区域Yf。
触摸面板32构造成从控制装置15接收合成图像的数据并且基于接收到的合成图像的数据在显示屏幕上显示合成图像。在另一实施方式中，合成图像可以显示在构造成与车辆V通信的通信装置(例如，智能电话、平板PC、移动电话、PDA等)的显示屏上。即，图像显示单元不必安装在车辆V上。
声纳18包括设置在车辆V的两侧上的前后侧两对声纳61(侧获取单元的示例)、设置在车辆V的后端的左右一对后声纳62(后获取单元的示例)以及设置在车辆V的前端的左右一对前声纳63(前获取单元的示例)。在另一实施方式中，除声纳18之外的传感器(例如，毫米波雷达或激光雷达)可以用作侧获取单元、后获取单元和/或前获取单元。
例如，侧声纳61设置在车辆V的两个侧面的前端和后端。每个前侧声纳61(即，每个侧声纳61设置在车辆V的对应侧面的前端处)布置成比车辆V的前后中心和每个侧摄像头51更靠前。每个后侧声纳61(即，设置在车辆V的对应侧面的后端处的每个侧声纳61)布置成比车辆V的前后中心和每个侧摄像头51更靠后。每个侧声纳61是构造成检测车辆V的对应侧面上的对象的位置的传感器。即，每个侧声纳61是构造成获取与车辆V的对应侧面上的对象有关的信息的传感器。图4中的虚线D1各指示每个侧声纳61的检测区域(以下称为“第一检测区域D1”)。每个第一检测区域D1位于每个侧摄像头51的第一成像区域I1中。每个侧声纳61的对象检测方向(横向方向)与每个侧摄像头51的成像方向(横向方向)相对应。
例如，后声纳62设置在车辆V的后面的左端和右端。左后声纳62(即，设置在车辆V的后面的左端处的后声纳62)位于比车辆V的横向中心更向左。右后声纳62(即，设置在车辆V的后面的右端处的后声纳62)位于比车辆V的横向中心更向右。每个后声纳62是构造成检测在车辆V的后侧的对象的位置的传感器。即，每个后声纳62是构造成获取与车辆V的后侧的对象有关的信息的传感器。图4中的一对虚线D2各指示每个后声纳62的检测区域(以下称为“第二检测区域D2”)。每个第二检测区域D2位于后摄像头52的第二成像区域I2中。每个后声纳62的对象检测方向(向后方向)与后摄像头52的成像方向(向后方向)相对应。
例如，前声纳63设置在车辆V的前面的左端和右端。左前声纳63(即，设置在车辆V的前面的左端处的前声纳63)位于比车辆V的横向中心更向左。右前声纳63(即，设置在车辆V的前面的右端处的前声纳63)位于比车辆V的横向中心更向右。每个前声纳63是构造成检测在车辆V的前侧的对象的位置的传感器。即，每个前声纳63是构造成获取与车辆V的前侧的对象有关的信息的传感器。图4中的一对虚线D3各指示每个前声纳63的检测区域(以下称为“第三检测区域D3”)。每个第三检测区域D3位于前摄像头53的第三成像区域I3中。每个前声纳63的对象检测方向(向前方向)与前摄像头53的成像方向(向前方向)相对应。
<每个边界区域Yr、Yf的移动>
关于具有上述构造的显示装置3，在没有声纳18检测到车辆V周围的对象的情况下，每个边界区域Yr、Yf被设置为规定的基准位置(见图4)。下面，将描述始终将每个边界区域Yr、Yf设置为基准位置的问题。
图5和图6示出了左侧的后侧声纳61(以下简称为“后侧声纳61”)检测到在车辆V的后部的侧面的对象Z(例如，停在车辆周围的另一车辆)的位置的状态。在这种状态下，对象Z的后部落入左侧的侧摄像头51(以下简称为“侧摄像头51”)的盲点，因此，侧摄像头51难以捕获对象Z的后部。因此，如图5所示，如果控制装置15在每个后边界区域Yr设置为基准位置的状态下生成合成图像，则合成图像中的对象Z的后面Za比实际空间中的对象Z的后面Zb更向后突出。如果在触摸面板32正显示合成图像中停车位置候选P时发生这种情况(见上述自动停车处理的步骤ST2)，则即使对象Z和停车位置候选P在实际空间中彼此不交叠，它们也可能在合成图像中彼此交叠。因此，即使触摸面板32显示适当的停车位置候选P，乘员也可能错误地认为车辆V不能停在停车位置候选P处。
为了解决该问题，如图6所示，在后侧声纳61检测出对象Z的位置的情况下，控制装置15将左侧的后边界区域Yr(以下简称为“后边界区域Yr”)从基准位置移动到车辆V的前侧。即，控制装置15将后边界区域Yr移动成使得后边界区域Yr靠近侧摄像头51。因此，扩大了后摄像头52的第二使用区域U2，同时减小了侧摄像头51的第一使用区域U1。因此，可以提高合成图像中的对象Z的位置的精确度，并且可以抑制合成图像中的对象Z的后面Za与实际空间中的对象Z的后面Zb的偏离。因此，即使对象Z与停车位置候选P在实际空间中彼此不交叠，也可以减少在合成图像中发生对象Z与停车位置候选P彼此交叠的情况。因此，停车辅助系统1可以更方便。如上所述，在本实施方式中，在后侧声纳61检测到对象Z的位置的情况下改变后边界区域Yr。因此，可以根据车辆V周围的对象Z的位置生成适当的合成图像。
另外，在本实施方式中，控制装置15将后边界区域Yr移动成使得其移动后的后边界区域Yr(见图6)与其移动前的后边界区域Yr交叠(见图4)。因此，可以通过减小后边界区域Yr的移动长度来抑制由后边界区域Yr的移动引起的不适。在另一实施方式中，控制装置15可以将后边界区域Yr移动成使得其移动之后的后边界区域Yr(见图6)与其移动前的后边界区域Yr不交叠(见图4)。
此外，在本实施方式中，在以下情况1至3中，控制装置15不使每个边界区域Yr、Yf从基准位置移动。
[情况1]后侧声纳61在车辆V的后部的侧面未检测到对象Z的位置，而前侧声纳61在车辆V的前部的侧面检测到对象Z的位置。
[情况2]后侧声纳61在车辆V的后部的侧面未检测到对象Z的位置，而后声纳62在车辆V的后侧检测到对象Z的位置。
[情况3]后侧声纳61在车辆V的后部的侧面未检测到对象Z的位置，而前声纳63在车辆V的前侧检测到对象Z的位置。
因此，可以通过减少每个边界区域Yr、Yf的不必要的移动来抑制由每个边界区域Yr、Yf的移动引起的不适。
此外，在本实施方式中，在以下情况I至III中，控制装置15不使每个边界区域Yr、Yf从基准位置移动。
[情况I]后侧声纳61在车辆V的后部的侧面检测到对象Z的位置，并且前侧声纳61在车辆V的前部的侧面检测到对象Z的位置。
[情况II]后侧声纳61在车辆V的后部的侧面检测到对象Z的位置，而后声纳62在车辆V的后侧检测到对象Z的位置。
[情况III]后侧声纳61在车辆V的后部的侧面检测到对象Z的位置，而前声纳63在车辆V的前侧检测到对象Z的位置。
因此，在不仅在车辆V的后部的侧面存在对象Z，而且在车辆V的前部的侧面、在车辆V的前侧或者在车辆V的后侧也存在对象Z的情况下，可以抑制合成图像中的对象Z的位置与实际空间中的对象Z的位置的偏离。
在本实施方式中，在后侧声纳61检测到对象Z的位置的情况下，控制装置15移动后边界区域Yr。另一方面，在另一实施方式中，在后侧声纳61检测到对象Z的位置的情况下，控制装置15可以改变合成图像的后部对应部分(即，与后边界区域Yr相对应的区域)中的捕获的图像的混合比率。例如，与后侧声纳61未检测到对象Z的位置的情况相比，在后侧声纳61检测到对象Z的位置的情况下，控制装置15可以将合成图像的后部对应部分中的捕获的图像的混合比率改变成使得由后摄像头52捕获的图像的比例增加，而由侧摄像头51捕捉的图像的比例减少。因此，类似于本实施方式，可以提高对象Z在合成图像中的位置的精确度。此外，在又一个实施方式中，在后侧声纳61检测到对象Z的位置的情况下，控制装置15可以移动后边界区域Yr并改变所捕获的图像的混合比率。
在实施方式中，在后侧声纳61检测到对象Z的位置的情况下，控制装置15移动后边界区域Yr。另一方面，在另一实施方式中，在除了后侧声纳61之外的声纳18检测到对象Z的位置的情况下，控制装置15可以移动至少一个边界区域Yr、Yf。以这种方式，可以根据外部摄像头19等的布置自由地确定检测对象Z的位置的声纳18与要移动的每个边界区域Yr、Yf的组合。
在本实施方式中，显示装置3适用于停车辅助系统1，该停车辅助系统1构造成执行车辆V的自动停车处理和自动驶离处理中选择的一项。另一方面，在另一实施方式中，显示装置3可以应用于除停车辅助系统1以外的车辆系统(例如，车辆行驶系统)。
上面已经描述了本发明的具体实施方式，但是本发明不应被前述实施方式限制，并且在本发明的范围内可以进行各种变型和变更。

Claims (11)

1.一种车辆的显示装置，所述显示装置包括：
多个成像单元，所述多个成像单元构造成捕获所述车辆周围的图像；
图像合成单元，所述图像合成单元构造成对由所述成像单元捕获的图像进行合成以生成合成图像；
图像显示单元，所述图像显示单元构造成显示由所述图像合成单元生成的所述合成图像；以及
获取单元，所述获取单元构造成获取与所述车辆周围的对象有关的信息，
其中，所述成像单元布置成使得所述成像单元的成像区域彼此交叠，
所述图像合成单元构造成设置所述合成图像中的捕获的图像之间的边界，使得该边界设置在所述成像单元的成像区域彼此交叠的部分中，并且
在所述获取单元获取与所述对象有关的信息的情况下，所述图像合成单元改变所述边界。
2.根据权利要求1所述的显示装置，其中，所述成像单元包括：第一成像单元，所述第一成像单元构造成在第一成像区域中捕获图像；以及第二成像单元，所述第二成像单元构造成在与所述第一成像区域交叠的第二成像区域中捕获图像，
所述获取单元构造成获取与所述第一成像区域中的对象有关的信息，
与所述获取单元不获取与所述对象有关的信息的情况相比，在所述获取单元获取与所述对象有关的信息的情况下，所述图像合成单元移动所述边界以使得所述边界变得更靠近所述第一成像单元。
3.根据权利要求2所述的显示装置，其中，与所述获取单元不获取与所述对象有关的信息的情况相比，在所述获取单元获取与所述对象有关的信息的情况下，所述图像合成单元扩大由所述第二成像单元捕获的图像的使用区域，并减小由所述第一成像单元捕获的图像的使用区域。
4.根据权利要求2所述的显示装置，其中，所述第一成像单元包括侧成像单元，所述侧成像单元构造成捕获所述车辆的侧面的图像，
所述第二成像单元包括后成像单元，所述后成像单元构造成捕获所述车辆的后侧的图像，
所述获取单元包括至少一个侧获取单元，所述至少一个侧获取单元构造成获取与所述车辆的侧面的对象有关的信息，并且
与所述侧获取单元不获取与所述对象有关的信息的情况相比，在所述侧获取单元获取与所述对象有关的信息的情况下，所述图像合成单元将所述边界移动到所述车辆的前侧。
5.根据权利要求4所述的显示装置，其中，所述侧成像单元布置成比所述车辆的前后中心更靠前，
所述至少一个侧获取单元包括多个侧获取单元，所述多个侧获取单元包括：前侧获取单元，所述前侧获取单元布置成比所述车辆的所述前后中心更靠前；以及后侧获取单元，所述后侧获取单元布置成比所述车辆的所述前后中心更靠后，并且
与所述后侧获取单元不获取与所述对象有关的信息的情况相比，在所述后侧获取单元获取与所述对象有关的信息的情况下，所述图像合成单元将所述边界移动到所述车辆的前侧。
6.根据权利要求4或5所述的显示装置，所述显示装置还包括：前获取单元，所述前获取单元构造成获取与所述车辆的前侧的对象有关的信息；以及后获取单元，所述后获取单元构造成获取与所述车辆的后侧的对象有关的信息，所述前获取单元和所述后获取单元与所述侧获取单元分开，
其中，在所述前获取单元或所述后获取单元获取与所述对象有关的信息的情况下，所述图像合成单元不移动所述边界。
7.根据权利要求4或5所述的显示装置，所述显示装置还包括：前获取单元，所述前获取单元构造成获取与所述车辆的前侧的对象有关的信息；以及后获取单元，所述后获取单元构造成获取与所述车辆的后侧的对象有关的信息，所述前获取单元和所述后获取单元与所述侧获取单元分开，
其中，在所述前获取单元或所述后获取单元获取与所述对象有关的信息的情况下，所述图像合成单元移动所述边界。
8.根据权利要求2至5中的任一项所述的显示装置，其中，所述边界在所述车辆周围的周向上具有规定的长度，并且
在所述获取单元获取与所述对象有关的信息的情况下，所述图像合成单元移动所述边界以使得移动之后的边界与移动之前的边界交叠。
9.根据权利要求1至5中的任一项所述的显示装置，其中，所述成像单元包括：第一成像单元，所述第一成像单元构造成在第一成像区域中捕获图像；以及第二成像单元，所述第二成像单元构造成在与所述第一成像区域交叠的第二成像区域中捕获图像，
所述获取单元构造成获取与所述第一成像区域中的对象有关的信息，
所述图像合成单元构造成通过将由所述第一成像单元捕获的图像和由所述第二成像单元捕获的图像进行混合来生成合成图像的对应部分，所述对应部分是与所述边界相对应的部分，并且
与所述获取单元不获取与所述对象有关的信息的情况相比，在所述获取单元获取与对象有关的信息的情况下，所述图像合成单元改变捕获的图像在所述合成图像的所述对应部分中的混合比率，使得由所述第二成像单元捕获的图像的比例增加，并且由所述第一成像单元捕获的图像的比例减小。
10.根据权利要求1至5中的任一项所述的显示装置，其中，由所述图像合成单元生成的所述合成图像是从右上方俯视车辆的平面图像。
11.一种包括根据权利要求1到10中的任一项所述的显示装置的停车辅助系统，
其中，所述图像显示单元构造成在所述合成图像中显示停车位置候选。
CN202011440394.4A 2019-12-13 2020-12-11 车辆的显示装置和停车辅助系统 Active CN112995584B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-225940 2019-12-13
JP2019225940A JP6998360B2 (ja) 2019-12-13 2019-12-13 車両用表示装置及び駐車支援システム

Publications (2)

Publication Number Publication Date
CN112995584A true CN112995584A (zh) 2021-06-18
CN112995584B CN112995584B (zh) 2024-03-22

Family

ID=76317309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011440394.4A Active CN112995584B (zh) 2019-12-13 2020-12-11 车辆的显示装置和停车辅助系统

Country Status (3)

Country Link
US (1) US11584297B2 (zh)
JP (1) JP6998360B2 (zh)
CN (1) CN112995584B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113377202A (zh) * 2021-06-25 2021-09-10 杭州炽云科技有限公司 一种基于arhud的抬头显示方法和系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111867893B (zh) * 2018-03-22 2022-09-09 日立安斯泰莫株式会社 驻车辅助装置
KR102281609B1 (ko) * 2020-01-16 2021-07-29 현대모비스 주식회사 어라운드뷰 합성 시스템 및 방법
JP7145440B2 (ja) * 2020-03-26 2022-10-03 パナソニックＩｐマネジメント株式会社 学習データ生成方法、学習データ生成装置、及び、プログラム
US12071126B2 (en) * 2021-09-27 2024-08-27 Ford Global Technologies, Llc Vehicle object tracking

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130054086A1 (en) * 2011-08-31 2013-02-28 Autorad Tech Co., Ltd Adjusting Method and System of Intelligent Vehicle Imaging Device
CN103530865A (zh) * 2012-07-05 2014-01-22 现代自动车株式会社 用于使用车辆周围图像检测三维物体的设备和方法
CN103596812A (zh) * 2011-06-27 2014-02-19 歌乐株式会社 停车辅助装置
US20140327776A1 (en) * 2011-12-15 2014-11-06 Panasonic Corporation Drive assistance device
US20150353011A1 (en) * 2014-06-10 2015-12-10 Lg Electronics Inc. Apparatus for providing around view and vehicle including the same
WO2019013093A1 (ja) * 2017-07-11 2019-01-17 パナソニックＩｐマネジメント株式会社 画像表示装置
CN110228468A (zh) * 2018-03-06 2019-09-13 爱信精机株式会社 周围环境监测设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3004368B2 (ja) 1991-01-11 2000-01-31 株式会社東芝 車載監視カメラ装置
CN102149573B (zh) * 2008-12-18 2014-03-12 爱信精机株式会社 显示装置
JP5503660B2 (ja) * 2009-09-24 2014-05-28 パナソニック株式会社 運転支援表示装置
JP5699679B2 (ja) * 2011-02-24 2015-04-15 富士通セミコンダクター株式会社 画像処理装置、画像処理システム、及び画像処理方法
JP6084434B2 (ja) * 2012-10-31 2017-02-22 クラリオン株式会社 画像処理システム及び画像処理方法
KR102551099B1 (ko) * 2017-01-13 2023-07-05 엘지이노텍 주식회사 어라운드뷰 제공장치, 제공방법 및 이를 구비한 차량
JP6730613B2 (ja) * 2017-02-28 2020-07-29 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103596812A (zh) * 2011-06-27 2014-02-19 歌乐株式会社 停车辅助装置
US20130054086A1 (en) * 2011-08-31 2013-02-28 Autorad Tech Co., Ltd Adjusting Method and System of Intelligent Vehicle Imaging Device
US20140327776A1 (en) * 2011-12-15 2014-11-06 Panasonic Corporation Drive assistance device
CN103530865A (zh) * 2012-07-05 2014-01-22 现代自动车株式会社 用于使用车辆周围图像检测三维物体的设备和方法
US20150353011A1 (en) * 2014-06-10 2015-12-10 Lg Electronics Inc. Apparatus for providing around view and vehicle including the same
WO2019013093A1 (ja) * 2017-07-11 2019-01-17 パナソニックＩｐマネジメント株式会社 画像表示装置
CN110228468A (zh) * 2018-03-06 2019-09-13 爱信精机株式会社 周围环境监测设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113377202A (zh) * 2021-06-25 2021-09-10 杭州炽云科技有限公司 一种基于arhud的抬头显示方法和系统
CN113377202B (zh) * 2021-06-25 2023-07-07 杭州炽云科技有限公司 一种基于arhud的抬头显示方法和系统

Also Published As

Publication number Publication date
US11584297B2 (en) 2023-02-21
US20210178968A1 (en) 2021-06-17
CN112995584B (zh) 2024-03-22
JP6998360B2 (ja) 2022-01-18
JP2021094937A (ja) 2021-06-24

Similar Documents

Publication Publication Date Title
CN112995584B (zh) 车辆的显示装置和停车辅助系统
CN112124097A (zh) 驻车辅助系统
US20200398827A1 (en) Parking assist system
CN113460037A (zh) 驻车辅助系统
US11458959B2 (en) Parking assist system
CN113525348A (zh) 车辆移动辅助系统
CN112977426A (zh) 驻车辅助系统
CN113525337A (zh) 驻车位辨识系统及包括该驻车位辨识系统的驻车辅助系统
CN113525350A (zh) 驻车辅助系统
CN112977420A (zh) 停车辅助系统
CN112977428A (zh) 驻车辅助系统
CN112124092A (zh) 驻车辅助系统
US20220308345A1 (en) Display device
CN115123281A (zh) 图像显示系统
CN112977257B (zh) 车辆的显示装置和停车辅助系统
CN112977423A (zh) 驻车辅助系统
CN112124090A (zh) 驻车辅助系统
US12088951B2 (en) Image display system
CN112977419B (zh) 驻车辅助系统
CN113511190A (zh) 驻车辅助系统
CN113511189A (zh) 驻车辅助系统
CN112977417B (zh) 驻车辅助系统
CN112977418A (zh) 驻车辅助系统
CN112124094A (zh) 驻车辅助系统
CN115118807A (zh) 远程操作系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant