CN111108022A - 驾驶辅助装置 - Google Patents

驾驶辅助装置 Download PDF

Info

Publication number
CN111108022A
CN111108022A CN201880060854.5A CN201880060854A CN111108022A CN 111108022 A CN111108022 A CN 111108022A CN 201880060854 A CN201880060854 A CN 201880060854A CN 111108022 A CN111108022 A CN 111108022A
Authority
CN
China
Prior art keywords
towing vehicle
vehicle
state
image
driving assistance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880060854.5A
Other languages
English (en)
Other versions
CN111108022B (zh
Inventor
丸冈哲也
渡边一矢
山本欣司
福岛逸子
中所孝之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Co Ltd
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of CN111108022A publication Critical patent/CN111108022A/zh
Application granted granted Critical
Publication of CN111108022B publication Critical patent/CN111108022B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D13/00—Steering specially adapted for trailers
    • B62D13/005—Steering specially adapted for trailers operated from tractor steering system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B60R1/003—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like for viewing trailer hitches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D13/00—Steering specially adapted for trailers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/021—Determination of steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/029—Steering assistants using warnings or proposing actions to the driver without influencing the steering system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R2021/0065—Type of vehicles
    • B60R2021/0069—Trailers, e.g. caravans
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D13/00—Steering specially adapted for trailers
    • B62D13/06—Steering specially adapted for trailers for backing a normally drawn trailer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

实施方式涉及的驾驶辅助装置包括：连接角度获取部，其获取牵引车辆与被牵引车辆之间的连接角度，该被牵引车辆与该牵引车辆连接；以及通知处理部，在基于连接角度的牵引车辆的朝向与被牵引车辆的朝向之间的偏差为规定以上的状态下驾驶牵引车辆的情况下，当通过牵引车辆的转向操作角度，而在保持该转向操作角度的状态下牵引车辆进行移动的情况下、牵引车辆的移动距离在规定的距离以下的范围内、能够实现牵引车辆的朝向与被牵引车辆的朝向实质上一致的直线排列状态时，该通知处理部在牵引车辆内进行规定的通知。

Description

驾驶辅助装置
技术领域
本发明的实施方式涉及一种驾驶辅助装置。
背景技术
以往，提出了进行对连接有被牵引车辆的状态下的牵引车辆的驾驶辅助的技术。作为这样的技术的一个示例，已知有通过显示用于表示牵引车辆的周边的情况的周边图像来将牵引车辆以及被牵引车辆的当前的状态在视觉上通知给驾驶员的技术。
专利文献1：美国专利申请公开第2014/0160276号说明书
发明内容
另外，在驾驶连接有被牵引车辆的牵引车辆时，在基于牵引车辆与被牵引车辆之间的连接角度的朝向的偏差为某种程度以上的大小的情况下，有时需要缩小该偏差、实现牵引车辆的朝向与被牵引车辆的朝向实质上一致的直线排列状态。
然而，在现有的仅显示周边图像的技术中，虽然通过周边图像能够了解到牵引车辆以及被牵引车辆的当前的状态，但难以了解到进行怎样的驾驶操作才能实现直线排列状态。
因此，实施方式的课题之一，在于提供一种能够将可实现牵引车辆的朝向与被牵引车辆的朝向实质上一致的直线排列状态的驾驶操作通知给驾驶员的驾驶辅助装置。
实施方式涉及的驾驶辅助装置包括：连接角度获取部，其获取牵引车辆与被牵引车辆之间的连接角度，该被牵引车辆与该牵引车辆连接；以及通知处理部，在基于连接角度的牵引车辆的朝向与被牵引车辆的朝向之间的偏差为规定以上的状态下驾驶牵引车辆的情况下，当通过牵引车辆的转向操作角度，而在保持该转向操作角度的状态下牵引车辆进行移动的情况下、牵引车辆的移动距离在规定的距离以下的范围内、能够实现牵引车辆的朝向与被牵引车辆的朝向实质上一致的直线排列状态时，该通知处理部在牵引车辆内进行规定的通知。基于该构成方式，通过规定的通知，能够将可实现直线排列状态的驾驶操作通知给驾驶员。
在上述的驾驶辅助装置中，在判定为基于连接角度的偏差为规定以上且牵引车辆为了后退而停止的情况下，当通过转向操作角度，而在保持该转向操作角度的状态下牵引车辆开始了后退的情况下、该后退的距离在规定的距离以下的范围内、能够实现直线排列状态时，通知处理部进行规定的通知。基于该构成方式，通过边进行在停止状态下改变转向操作角度的所谓原地打方向操作边等待规定的通知，能够容易地确定可实现直线排列状态的驾驶操作。
此外，上述的驾驶辅助装置还包括：图像处理部，其基于设置于牵引车辆的拍摄部的拍摄结果，生成以俯视形态表示牵引车辆的周边的情况的俯视图像，作为表示牵引车辆的周边的情况的周边图像，通知处理部包含显示处理部，该显示处理部通过在俯视图像上叠加显示直线排列状态标志，来进行规定的通知，该直线排列状态标志表示牵引车辆以及被牵引车辆的当前的状态与直线排列状态之间的关系。基于该构成方式，通过以俯视形态易于理解地显示当前的牵引车辆以及被牵引车辆的状态与直线排列状态之间的关系，能够以诉诸视觉的形式易于理解地通知：仅需维持当前的转向操作角度即可实现直线排列状态这一主旨。
在上述的驾驶辅助装置中，直线排列状态标志包含第一标志，该第一标志表示实现直线排列状态时牵引车辆以及被牵引车辆所朝向的方向。基于该构成方式，通过第一标志，能够容易地将此后实现直线排列状态时牵引车辆以及被牵引车辆所朝向的方向的情景传达给驾驶员。
此外，在上述的驾驶辅助装置中，直线排列状态标志包含第二标志，该第二标志表示直到实现直线排列状态为止牵引车辆回转的方向。基于该构成方式，通过第二标志，能够容易地将直到实现直线排列状态为止的车辆的动向(回转)的情况传递给驾驶员。
此外，在上述的驾驶辅助装置中，直线排列状态标志包含第三标志，该第三标志表示实现直线排列状态时预计中的牵引车辆。基于该构成方式，通过第三标志，能够容易地将此后实现直线排列状态时牵引车辆会处于何种状态的情景传递给驾驶员。
此外，在上述的驾驶辅助装置中，显示处理部在显示了所述直线排列状态标志的状态下所述牵引车辆开始了移动的情况下，持续显示所述直线排列状态标志，并在此后实际实现了所述直线排列状态时，从所述俯视图像上消除所述直线排列状态标志。基于该构成方式，通过确认直线排列状态标志是否被消除，能够容易地确认是否实际实现了直线排列状态。
此外，在上述的驾驶辅助装置中，图像处理部生成同时表示牵引车辆的左右两侧的情况的两侧图像，作为周边图像，显示处理部在显示了直线排列状态标志的状态下牵引车辆开始了移动的情况下，在满足了规定的条件时，显示用于表示牵引车辆的左右两侧的情况的两侧图像。基于该构成方式，通过基于两侧图像来确认在牵引车辆的左侧与右侧被牵引车辆是否被相等地(对称地)表示，能够容易地确认直线排列状态。
此外，在上述的驾驶辅助装置中，通知处理部包含语音处理部，该语音处理部通过输出第一语音来进行规定的通知。基于该构成方式，通过第一语音，能够以诉诸听觉的形式易于理解地通知：仅需维持当前的转向操作角度即可实现直线排列状态这一主旨。
在上述的驾驶辅助装置中，语音处理部在根据第一语音的输出、牵引车辆开始了移动的情况下，在此后实际实现了直线排列状态时，输出第二语音。基于该构成方式，通过确认第二语音，能够容易地确认是否实际实现了直线排列状态。
附图说明
图1为表示实施方式涉及的牵引车辆以及被牵引车辆为连接状态的一个示例的例示且示意性的侧面图。
图2为表示实施方式涉及的牵引车辆以及被牵引车辆为连接状态的一个示例的例示且示意性的顶视图。
图3为表示实施方式涉及的牵引车辆的车室内的一个示例的例示且示意性的图。
图4为表示实施方式涉及的驾驶辅助系统的硬件构成方式的例示且示意性的框图。
图5为表示在实施方式涉及的驾驶辅助系统的ECU内实现的驾驶辅助装置的功能的例示且示意性的框图。
图6为表示在实施方式中、在牵引车辆为了后退而停止的情况下、显示于显示装置的画面的一个示例的例示且示意性的图。
图7为表示在实施方式中、在显示如图6所示的画面的情况下判定为可实现直线排列状态时、显示于显示装置的画面的一个示例的例示且示意性的图。
图8为在实施方式中、对如图7所示的画面中直线排列状态标志涉及的区域进行放大表示的例示且示意性的图。
图9为表示在实施方式中、在显示如图7所示的画面的情况下牵引车辆开始后退时、显示于显示装置的画面的一个示例的例示且示意性的图。
图10为表示在实施方式中、牵引车辆的后退比如图9所示的情况更进一步而实现了直线排列状态时、显示于显示装置的画面的一个示例的例示且示意性的图。
图11为表示在实施方式中、进行了在如图9所示的画面内切换至其他的视点的周边图像的操作时、显示于显示装置的画面的一个示例的例示且示意性的图。
图12为表示在实施方式中、从如图11所示的画面进行了切换而能够显示于显示装置的画面的一个示例的例示且示意性的图。
图13为表示实施方式涉及的驾驶辅助装置所实施的作为驾驶辅助的处理的一个示例的例示且示意性的流程图。
图14为表示实施方式涉及的驾驶辅助装置在显示直线排列状态标志的状态下、牵引车辆开始后退时所实施的处理的例示且示意性的流程图。
具体实施方式
以下，基于附图对实施方式进行说明。以下所记载的实施方式的结构、以及由该结构带来的作用以及结果(效果)仅为一例，实施方式并不限于以下所记载的内容。
首先，参见图1～图3，对设置于应用了实施方式的技术的牵引车辆以及由该牵引车辆牵引的被牵引车辆(挂车)的各种结构进行简略的说明。
图1为表示实施方式涉及的牵引车辆10以及被牵引车辆12为连接状态的一个示例的例示且示意性的侧面图；图2为表示实施方式涉及的牵引车辆10以及被牵引车辆12为连接状态的一个示例的例示且示意性的顶视图；图3为表示实施方式涉及的牵引车辆10的车室10a内的一个示例的例示且示意性的图。
如图1及图2所示，实施方式涉及的牵引车辆10为具有左右一对前轮14F及左右一对后轮14R的四轮的汽车。以下为了简化，会将前轮14F及后轮14R统称记为车轮14。在实施方式中，四个车轮14的一部分或全部的侧滑角随着驾驶员对方向盘42(参见图3)的操作而转向。
另外，实施方式涉及的牵引车辆10可以是以内燃机(发动机，未图示)为驱动源的汽车，也可以是以电动机(马达，未图示)为驱动源的汽车，还可以是以上述二者为驱动源的汽车。此外，牵引车辆10可以是SUV(运动型多用途车)，也可以是在后部设有货厢的所谓皮卡(pickup track)，还可以是一般的乘用车。
此外，实施方式涉及的牵引车辆10可以搭载各种变速装置，还可以搭载驱动内燃机或电动机所需要的各种装置(系统、部件等)。此外，与牵引车辆10中的车轮14的驱动相关的装置的形式、数量、以及布局等可以进行各种设定(变更)。
如图1及图2所示，在实施方式涉及的牵引车辆10的后保险杠16，设置有从该后保险杠16的例如车宽方向的中央部的下部突出的牵引装置(hitch)18。牵引装置18例如在垂直方向(车辆上下方向)上纵向设置的前端部具有球状的拖车球(hitch ball)，在该拖车球上，覆盖有设置于固定于被牵引车辆12的前端的连接部件20的前端的拖车球罩(coupler)。基于该结构，以被牵引车辆12可以相对于牵引车辆10在车宽方向上摆动(回转)的状态，将牵引车辆10与被牵引车辆12连接。因此，在该结构中，牵引装置18的拖车球通过连接部件20向被牵引车辆12传达前后左右的动作，以及承受加速及减速的作用力。
此外，如图1及图2所示，实施方式涉及的被牵引车辆12具有一对挂车车轮22。以下，对挂车车轮22为从动轮的示例进行说明。即，以下对被牵引车辆12构成为不含驱动轮及转向轮的从动车辆的示例进行说明。另外，在如图1及图2所示的示例中，被牵引车辆12构成为包含搭乘空间、居住空间、及收纳空间等中的至少1个的箱形式样，但在实施方式中，被牵引车辆12也可以构成为搭载货物(集装箱或小艇等)的货厢式样。
如图1及图2所示，在牵引车辆10的前端、后端、以及左右的后视镜设有拍摄部24。拍摄部24例如是内置CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)图像传感器等拍摄元件的数码相机。拍摄部24以规定的帧率进行对牵引车辆10的周围的拍摄，并输出通过该拍摄得到的拍摄图像(图像数据)。该拍摄图像能够以帧图像构成动态图像。
设置于牵引车辆10的后端的拍摄部24通过拍摄包含连接部件20以及被牵引车辆12的至少是前端部的区域，来输出用于检测牵引车辆10与被牵引车辆12的连接姿态(连接的有无及连接角度等)的拍摄图像。此外，设置于牵引车辆10的前端的拍摄部24通过拍摄牵引车辆10的前方的区域，来输出用于了解牵引车辆10的前方的情况的拍摄图像。并且，设置于牵引车辆10的左右的后视镜的拍摄部24通过拍摄牵引车辆10的侧向的区域，来输出用于了解牵引车辆10的侧向的情况的拍摄图像。
在实施方式中，通过对由上述多个(四个)拍摄部24得到的拍摄图像实施包括视点改变及合成等各种图像处理，能够生成例如比仅通过单一的拍摄部24得到的拍摄图像视角更广的图像、以及以俯视形态表示牵引车辆10的周围的情况的俯视图像等，作为表示车辆的周边的情况的周边图像。
如图3所示，在牵引车辆10的车室10a内，设置有具有能够输出各种图像的显示装置(显示器)26、以及能够输出各种声音的语音输出装置(扬声器)28的监视装置32。监视装置32设置于车室10a内的仪表板的车宽方向(左右方向)的中央部。显示装置26可由LCD(液晶显示器)或OELD(有机电致发光显示器)等构成。
在显示装置26中显示图像的区域即显示画面上，设有能够检测出在该显示画面内手指或触控笔等指示体所接近(包括接触)的位置的坐标的触控面板30。由此，使用者(例如驾驶员)能够观察显示于显示装置26的显示画面的图像，并且能够通过在触控面板30上利用手指或触控笔等指示体进行操作(例如触碰操作)，来输入各种操作。
另外，在实施方式中，监视装置32可以具有开关、旋钮、控制杆、以及按钮等各种物理操作输入部。此外，在实施方式中，可以在车室10a内的与监视装置32的位置不同的位置设置其他的语音输出装置。这种情况下，从语音输出装置28以及其他的语音输出装置双方能够输出各种声音信息。此外，在实施方式中，监视装置32也可以构成为能够显示与导航系统或音频系统等各种系统相关的信息。
这里，实施方式涉及的牵引车辆10具有驾驶辅助系统100，其具有对在连接有被牵引车辆12的状态下的牵引车辆10进行驾驶辅助的功能。另外，驾驶辅助系统100还可以具有对在未连接被牵引车辆12的状态下的牵引车辆10进行驾驶辅助的功能。以下，利用图4，对构成实施方式涉及的驾驶辅助系统100的各种硬件进行简略的说明。
图4为表示实施方式涉及的驾驶辅助系统100的硬件构成方式的例示且示意性的框图。另外，以下说明的各种硬件的构成、配置、以及电连接关系等仅为一例，能够进行各种设定(变更)。
如图4所示，实施方式涉及的驾驶辅助系统100具有拍摄部24、监视装置32、转向系统38、ECU(电子控制单元)40、转向角传感器44、档位传感器46、以及轮速传感器48。
监视装置32、转向系统38、ECU40、转向角传感器44、档位传感器46、以及轮速传感器48通过作为电信线路的车载网络50，以可通信的方式彼此连接。另外，车载网络50例如由CAN(控制器区域网络)构成。
转向系统38包含电动助力转向系统或SBW(线控转向)系统等。转向系统38与致动器38a及扭矩传感器38b连接。转向系统38在ECU40等的控制下使致动器38a工作，由此使四个车轮14中的一部分或者全部转向。扭矩传感器38b检测基于驾驶员对方向盘42(参见图3)的操作而产生的扭矩，并将检测结果发送至ECU40。
转向角传感器44为检测驾驶员对方向盘42(参见图3)的操作的量的传感器。例如，转向角传感器44由霍尔元件构成，检测方向盘42的旋转部分的旋转角度作为转向操作量，并将检测结果发送至ECU40。
档位传感器46检测作为构成设置于牵引车辆10的车室10a的驾驶席附近的变速操作部52(参见图3)的可动部的杆、臂或按钮等的位置，并将检测结果发送至ECU40。
轮速传感器48检测车轮14的旋转量或每单位时间的车轮14的转数等，并将检测结果发送至ECU40。基于轮速传感器48的检测结果能够用于对牵引车辆10(以及被牵引车辆12)的车速或位置等的推定。
ECU40为对驾驶辅助系统100进行综合控制的控制器。ECU40具有CPU(中央运算处理装置)40a、ROM(只读存储器)40b、RAM(随机存取存储器)40c、SSD(固态硬盘)40d、显示控制部40e、以及语音控制部40f等计算机资源。
CPU40a为统管由ECU40实施的各种处理的控制部。CPU40a通过读取存储于ROM40b或SSD40d等存储装置的程序，并按照包含于该程序的指令进行动作，来实施各种处理。RAM40c例如用作CPU40a实施各种处理时的作业区域。
显示控制部40e控制经由显示装置26进行的图像输出。此外，语音控制部40f控制经由语音输出装置28进行的语音输出。
另外，在实施方式中，CPU40a、ROM40b以及RAM40c也可以搭载于一个集成电路。此外，在实施方式中，作为统管由ECU40实施的各种处理的控制部，也可以设置DSP(数字信号处理器)等处理器或逻辑电路等来代替CPU40a。
基于以上的构成方式，实施方式涉及的ECU40通过经由车载网络50向驾驶辅助系统100的各部分发送控制信号，来综合控制驾驶辅助系统100的各部分。此时，ECU40能够在控制中利用由拍摄部24得到的图像数据、或通过车载网络50获取的基于各种传感器的检测结果等。各种传感器是指上述的扭矩传感器38b、转向角传感器44、档位传感器46、以及轮速传感器48等。此外，ECU40还能够在控制中利用通过车载网络50获取的、与使用了触控面板30的输入操作相关的信息。
这里，如前文所述，实施方式涉及的驾驶辅助系统100具有对在连接有被牵引车辆12的状态下的牵引车辆10进行驾驶辅助的功能。因此，作为对驾驶辅助系统100进行综合控制的控制器的ECU40，作为驾驶辅助，例如可以构成为通过将表示牵引车辆10的周边的情况的周边图像显示于显示装置26，能够将牵引车辆10以及被牵引车辆12的当前的状态在视觉上通知给驾驶员。这样的显示周边图像的技术是以往已知的。
另外，在驾驶连接有被牵引车辆12的牵引车辆10时，在基于牵引车辆10与被牵引车辆12之间的连接角度的朝向的偏差为某种程度以上的大小的情况下，有时需要缩小该偏差、实现牵引车辆10的朝向与被牵引车辆12的朝向实质上一致的直线排列状态。
然而，在现有的仅显示周边图像的技术中，虽然通过周边图像能够了解到牵引车辆10以及被牵引车辆12的当前的状态，但难以了解到进行怎样的驾驶操作才能实现直线排列状态。
因此，在实施方式中，通过使作为用于实施驾驶辅助控制而在ECU40内实现的功能模块组的驾驶辅助装置500如下述那样构成，来实现将可实现直线排列状态的驾驶操作对驾驶员的通知。
图5为表示在实施方式涉及的驾驶辅助系统100的ECU40内实现的驾驶辅助装置500的功能的例示且示意性的框图。该驾驶辅助装置500为作为ECU40的CPU40a运行存储于ROM40b或SSD40d等的软件(控制程序)的结果而在ECU40内实现的功能模块组。另外，在实施方式中，如图5所例示的功能模块组的一部分或全部也可以由专用的硬件(电路)来实现。
如图5所示，实施方式涉及的驾驶辅助装置500具有拍摄图像获取部501、连接角度获取部502、以及图像处理部503。
拍摄图像获取部501获取由拍摄部24拍摄的拍摄图像(图像数据)。如前文所述，在实施方式中，拍摄图像获取部501能够获取：牵引车辆10的前方的区域的拍摄图像、牵引车辆10的后方的区域的拍摄图像、牵引车辆10的右侧以及左侧的区域的拍摄图像这四种拍摄图像。
连接角度获取部502实施对由拍摄图像获取部501获得的拍摄图像进行的图像识别处理，并获取被牵引车辆12相对于牵引车辆10的朝向的角度、即牵引车辆10与被牵引车辆12之间当前的连接角度。
图像处理部503对由拍摄图像获取部501获得的拍摄图像施加包括视点改变及合成等各种图像处理，来生成表示牵引车辆10的周边的情况的周边图像。
此外，如图5所示，实施方式涉及的驾驶辅助装置500具有输入信息获取部504、模式判定部505、以及图像切换判定部506。
输入信息获取部504接收驾驶员输入的各种输入信息。作为输入信息，例如可举出：与驾驶员通过触控面板30等输入的操作相关的信息等。
模式判定部505基于输入信息获取部504接收到的输入信息，对是否选择了用于对驾驶员提供驾驶辅助的模式(驾驶辅助模式)进行判定。在实施方式中，驾驶员在由牵引车辆10对被牵引车辆12进行牵引时，通过经由触控面板30等进行选择规定的驾驶辅助模式(例如停车辅助模式)的操作，能够接收将后述的直线排列状态标志与周边图像一同显示于显示装置26等、关于牵引车辆10以及被牵引车辆12的直线排列状态的实现可能性的通知的提供。
图像切换判定部506基于输入信息获取部504接收到的输入信息，对是否需要切换在实施驾驶辅助时显示于显示装置26的周边图像的种类(视点)进行判定。另外，关于周边图像的种类的切换，在后文中在以画面进行例示的同时进行更具体的说明，因此在此省略更多的说明。
此外，如图5所示，实施方式涉及的驾驶辅助装置500具有车辆信息获取部507、转向操作量获取部508、以及行进方向判定部509。
车辆信息获取部507获取存储于SSD40d等的、与牵引车辆10以及被牵引车辆12的参数相关的信息、或者基于上述的扭矩传感器38b、转向角传感器44、档位传感器46或轮速传感器48等各种传感器的检测结果等，作为车辆信息。
转向操作量获取部508基于由车辆信息获取部507获得的车辆信息，获取(计算)驾驶员的转向操作量即牵引车辆10当前的转向操作角度。
行进方向判定部509基于由车辆信息获取部507获得的车辆信息，对牵引车辆10的当前的行进方向进行判定。例如，行进方向判定部509根据作为车辆信息中的一个的、基于档位传感器46的检测结果，当档位范围设定为与前进的档位段对应的范围时，判定为行进方向为前进方向，当档位范围设定为与倒车的档位段对应的范围(倒档范围)时，判定为行进方向为后退方向。
并且，如图5所示，实施方式涉及的驾驶辅助装置500具有直线排列判定部510、图像生成部511、显示处理部512、以及语音处理部513。
直线排列判定部510基于：由连接角度获取部502获得的连接角度、模式判定部505的判定结果、由转向操作量获取部508获得的转向操作角度、以及行进方向判定部509的判定结果，对牵引车辆10与被牵引车辆12的直线排列状态的可实现性进行判定。这里所说的直线排列状态，不仅包括牵引车辆10的朝向与被牵引车辆12的朝向完全一致的状态，也包括牵引车辆10的朝向与被牵引车辆12的朝向之差小于足够小的规定值的状态。
在选择了规定的驾驶辅助模式(例如停车辅助模式)、并且牵引车辆10为了后退而停止的情况下，直线排列判定部510结合牵引车辆10与被牵引车辆12之间的当前的连接角度，对牵引车辆10的当前的转向操作角度是否为下述角度以上的角度进行判定：在假设牵引车辆10以保持该转向操作角度的状态开始后退的情况下、该后退的距离在规定的距离以下的范围内能够实现直线排列状态的角度。
另外，在实施方式中，直线排列判定部510还能够在牵引车辆10实际上以保持可实现直线排列状态的转向操作角度的状态开始后退的情况下，对牵引车辆10与被牵引车辆12之间的连接角度(直线排列状态的实现程度)进行监视，并基于监视结果，对是否实际实现了直线排列状态进行判定。
图像生成部511基于图像处理部503的处理的结果、以及图像切换判定部506及直线排列判定部510的判定结果，生成应显示于显示装置26的图像。更具体地，在由直线排列判定部510判定为可实现直线排列状态的情况下，图像生成部511生成：在由图像处理部503生成的周边图像且是对应于图像切换判定部506的判定结果的周边图像上、叠加了表示牵引车辆10以及被牵引车辆12的当前的状态与直线排列状态之间的关系的直线排列状态标志的图像，作为应显示于显示装置26的图像。
显示处理部512使由图像生成部511生成的图像显示于显示装置26。由此，基于实施方式，在牵引车辆10为了后退而停止的状态下进行了改变转向操作角度的驾驶操作的情况下，当叠加了直线排列状态标志的周边图像显示于显示装置26时，能够将在该时刻进行的驾驶操作认定为此后可实现直线排列状态的驾驶操作。因此，显示处理部512具有作为通知处理部的功能，即为了将可实现直线排列状态的驾驶操作通知给驾驶员而进行规定的通知。另外，以下对在作为周边图像的俯视图像上叠加直线排列状态标志的示例进行说明，但直线排列状态标志也可以叠加于俯视图像以外的周边图像。
语音处理部513根据直线排列判定部510的判定结果，通过语音输出装置28输出语音。更具体地，在牵引车辆10为了后退而停止的状态下进行了改变转向操作角度的驾驶操作的情况下，由直线排列判定部510判定为可实现直线排列状态时，语音处理部513通过语音输出装置28输出规定的语音。因此，语音处理部513也与显示处理部512同样地，具有作为通知处理部的功能，即为了将可实现直线排列状态的驾驶操作通知给驾驶员而进行规定的通知。
另外，在实施方式中，在牵引车辆10的后退开始后、由直线排列判定部510判定为实际实现了直线排列状态时，语音处理部513也输出规定的语音。此时输出的语音可以与牵引车辆10为停止状态时输出的上述的语音不同，也可以相同。
基于以上的构成方式，在对连接有被牵引车辆12的牵引车辆10进行驾驶时，实施方式涉及的驾驶辅助装置500使显示于牵引车辆10的显示装置26的画面根据情况的变化，如下所述地进行转换。
首先，驾驶辅助装置500在牵引车辆10为了后退而停止的情况下，当驾驶员选择了规定的驾驶辅助模式(例如停车辅助模式)时，将如下面的图6所示的画面显示于显示装置26。
图6为表示在实施方式中、在牵引车辆10为了后退而停止的情况下、显示于显示装置26的画面的一个示例的例示且示意性的图。
在如图6所示的示例中，并列显示以俯视形态表示牵引车辆10的周边的情况的俯视图像601、以及表示与牵引车辆10将要行进的方向对应的后方的情况的后方图像602，作为周边图像。
另外，在俯视图像601中，标志(图标、符号)X1表示牵引车辆10，标志Y1表示与牵引车辆10连接的被牵引车辆12，标志A1表示牵引车辆10的前方的行进路线(以及车宽)的大致情况。此外，在后方图像602中，标志X2表示从后方图像602的视点看到的牵引车辆10，标志Y2表示从后方图像602的视点看到的被牵引车辆12。此外，在后方图像602中，标志A2表示牵引车辆10的前方的行进路线(以及车宽)的大致情况，按钮B1以及B2表示接收将后方图像602切换成其他的视点的周边图像等规定的操作的输入的GUI(图形用户界面)。
观察如图6所示的图像，可知牵引车辆10的朝向与被牵引车辆12的朝向并不一致，为了实现牵引车辆10的朝向与被牵引车辆12的朝向实质上一致的直线排列状态，需要使牵引车辆10回转。因此，驾驶员在显示如图6所示的图像的情况下，为了寻找可实现直线排列状态的牵引车辆10的转向操作角度，进行使牵引车辆10保持停止而操作方向盘42的、所谓原地打方向操作。
这里，在实施方式中，如前文所述，驾驶辅助装置500在通过原地打方向操作使牵引车辆10的转向操作角度成为可实现直线排列状态的角度时，使用画面以及语音对牵引车辆10的驾驶员进行规定的通知。因此，驾驶辅助装置500在显示了如图6所示的图像的情况下，通过驾驶员的原地打方向操作达成了可实现直线排列状态的转向操作角度时，通过语音输出装置28输出规定的语音，并使显示于显示装置26的画面转换为如下面的图7所示的画面。
图7为表示在实施方式中、在显示如图6所示的画面的情况下判定为可实现直线排列状态时、显示于显示装置26的画面的一个示例的例示且示意性的图。
在如图7所示的示例中，也与如图6所示的示例同样地，并列显示以俯视形态表示牵引车辆10的周边的情况的俯视图像701、以及表示牵引车辆10的后方的情况的后方图像702，作为周边图像。另外，后方图像702相对于如图6所示的后方图像602并不包含什么新的标志等，因此以下仅对俯视图像701进行说明。
这里，在如图7所示的示例中，在俯视图像701上，叠加用于通知达成了可实现直线排列状态的转向操作角度这一主旨的标志C1～C3。这些标志C1～C3作为表示牵引车辆10以及被牵引车辆12的当前的状态与直线排列状态之间的关系的直线排列状态标志发挥功能。
图8为在实施方式中、对如图7所示的画面中直线排列状态标志涉及的区域801进行放大表示的例示且示意性的图。
如图8所示，标志C1表示通过牵引车辆10以保持当前的转向操作角度的状态移动而实现直线排列状态时牵引车辆10以及被牵引车辆12所朝向的方向，标志C2表示直到实现直线排列状态为止的牵引车辆10回转的方向，标志C3表示实现直线排列状态时预计中的牵引车辆10。通过这些标志C1～C3，能够在视觉上易于理解地得到表示下述内容的情景：假如牵引车辆10以保持当前的转向操作角度的状态开始后退时，牵引车辆10以及被牵引车辆12会变成怎样的状态。
另外，在实施方式中，在显示上述的直线排列状态标志(标志C1～C3)后，也可以继续监视当前的转向操作角度是否为可实现直线排列状态的角度以上。因此，在实施方式中，在显示直线排列状态标志后，例如由于转向操作角度向相反的方向变化、导致当前的转向操作角度变成无法实现直线排列状态的角度时，将显示中的直线排列状态标志消除。因此，在实施方式中，为了实现直线排列状态，当显示直线排列状态标志时，需要保持该时刻的转向操作角度来使牵引车辆10出发(后退)。
因此，在显示如图7(及图8)所示的画面的情况下，驾驶员若收到了基于上述语音及直线排列状态标志(标志C1～C3)的通知，则为了实现牵引车辆10与被牵引车辆12的直线排列状态，应保持当前的转向操作角度而使牵引车辆10出发(后退)。如此，则驾驶辅助装置500使显示于显示装置26的画面转换为下面的图9所示的画面。
图9为表示在实施方式中、在显示如图7所示的画面的情况下牵引车辆10开始后退时、显示于显示装置26的画面的一个示例的例示且示意性的图。
在如图9所示的示例中，也与如图7所示的示例同样地，并列显示以俯视形态表示牵引车辆10的周边的情况的俯视图像901、以及表示牵引车辆10的后方的情况的后方图像902，作为周边图像。另外，后方图像902相对于如图7所示的后方图像702并不包含什么新的标志等，因此以下仅对俯视图像901进行说明。
在如图9所示的俯视图像901中，也与如图7(及图8)所示的俯视图像701同样地，持续叠加表示牵引车辆10以及被牵引车辆12的当前的状态与直线排列状态之间的关系的直线排列状态标志。更具体地，在如图9所示的俯视图像901中，作为直线排列状态标志，与如图7(及图8)所示的俯视图像701同样地，叠加表示实现直线排列状态时牵引车辆10以及被牵引车辆12所朝向的方向的标志C1、以及表示实现直线排列状态时预计中的牵引车辆10的标志C3。
然而，在如图9所示的俯视图像901中，叠加有与如图7(及图8)所示的俯视图像701上的标志C2不同的显示形态的标志C4。该标志C4在表示直到实现直线排列状态为止的牵引车辆10回转的方向这一点上与标志C2相同，但在显示形态(颜色等)上与标志C2不同。因此，驾驶员通过确认从标志C2向标志C4的切换，能够容易地了解到牵引车辆10是否已经开始移动(后退)。此外，驾驶员可以将标志C1、C3及C4用作用于实现直线排列状态的驾驶操作的引导物。
驾驶员参照如图9所示的画面，通过以使标志X1沿标志C4所沿着的方向上移动而与标志C3重合、标志X1的朝向成为标志C1所沿着的朝向的方式、(以保持当前的转向操作角度的状态)使牵引车辆10回转的同时移动(后退)，能够实现牵引车辆10与被牵引车辆12的直线排列状态。接着，当实现直线排列状态时，驾驶辅助装置500使显示于显示装置26的画面转换为下面的图10所示的画面。
图10为表示在实施方式中、牵引车辆10的后退比如图9所示的情况更进一步而实现了直线排列状态时、显示于显示装置26的画面的一个示例的例示且示意性的图。
在如图10所示的示例中，也与如图9所示的示例同样地，并列显示以俯视形态表示牵引车辆10的周边的情况的俯视图像1001、以及表示牵引车辆10的后方的情况的后方图像1002，作为周边图像。另外，后方图像1002相对于如图9所示的后方图像902并不包含什么新的标志等，因此以下仅对俯视图像1001进行说明。
这里，在如图10所示的示例中，将在如图9所示的画面中显示的直线排列状态标志(标志C1、C3、以及C4)从俯视图像1001中消除。在实施方式中，这样的直线排列状态标志的消除，是作为实现了牵引车辆10与被牵引车辆12的直线排列状态的结果而产生的。即，在实施方式中，采用的是以下构成方式：在牵引车辆10移动中，在周边图像上叠加有直线排列状态标志的过程中，监视牵引车辆10与被牵引车辆12之间的连接角度(直线排列状态的实现程度)，当实际实现了直线排列状态时，将叠加于周边图像上的直线排列状态标志消除。
并且，在实施方式中，如前文所述，当实际实现了直线排列状态时，可通过语音输出装置28输出规定的语音。因此，在实施方式中，通过确认直线排列状态标志的消除以及规定的语音，能够容易地了解到已实现了牵引车辆10与被牵引车辆12的直线排列状态。
如此，基于实施方式，通过边确认显示于显示装置26的画面(以及在规定的时机由语音输出装置28输出的语音)边驾驶牵引车辆10，能够容易地实现牵引车辆10与被牵引车辆12的直线排列状态。
另外，在实施方式中，上述的各种标志的显示形态(形状及颜色等)能够进行各种设定(变更)。即，在实施方式中，上述的各种标志能够以各种颜色进行显示，也能够以二维的或三维的各种形状进行显示。此外，在实施方式中，也可以采用使上述的各种标志的显示形态根据情况变化的构成方式。例如，在实施方式中，可以采用根据直线排列状态的实现程度使上述的各种标志的显示形态变化的构成方式。
另外，在实施方式中，如前文所述，在如图6、图7、图9以及图10所示的示例中，在后方图像602、702、902以及1002上，叠加有作为接收规定的操作的输入的GUI的按钮B1以及B2。特别是，按钮B1为接收将后方图像602、702、902以及1002切换至其他的视点的周边图像的切换操作的输入的GUI。以下，对在显示如图9所示的画面的情况下选择(触碰)了按钮B1时显示于显示装置26的画面进行例示。
图11为表示在实施方式中、进行了在如图9所示的画面内切换至其他的视点的周边图像的操作时、显示于显示装置26的画面的一个示例的例示且示意性的图。
在如图11所示的示例中，并列显示以俯视形态表示牵引车辆10的周边的情况的与图9相同的俯视图像901、以及表示牵引车辆10的侧向且是回转的内侧的情况的内侧图像1102，作为周边图像。该内侧图像1102例如能够以在选择(触碰)了如图9所示的后方图像902上的按钮B1时，从该后方图像902切换而来的形式显示。反之，在选择了内侧图像1102上的按钮B1时，内侧图像1102能够切换成后方图像902。另外，在内侧图像1102中，标志Y3表示从内侧图像1102的视点看到的被牵引车辆12。
这里，在实施方式中，在显示图11所示的图像的情况下满足了规定的条件时，内侧图像1102能够切换成同时表示牵引车辆10的左右两侧的情况的两侧图像。规定的条件是指例如接近实现牵引车辆10与被牵引车辆12的直线排列状态的情况。驾驶员参照两侧图像，通过以使牵引车辆10的左侧的情况与右侧的情况呈实质上对称的方式来驾驶牵引车辆10，能够容易地实现直线排列状态。
此外，如以下所说明的那样，在实际实现了直线排列状态时，驾驶员通过确认两侧图像，也可以检查直线排列状态。
图12为表示在实施方式中、从如图11所示的画面进行了切换而能够显示于显示装置26的画面的一个示例的例示且示意性的图。
在如图12所示的示例中，作为实现了牵引车辆10与被牵引车辆12的直线排列状态的结果，显示与图10相同的俯视图像1001。并且，在如图12所示的示例中，显示包含表示牵引车辆10的右侧的情况的右侧图像1202a、以及表示牵引车辆10的左侧的情况的左侧图像1202b的两侧图像1202。另外，在两侧图像1202(右侧图像1202a及左侧图像1202b)中，标志Y4表示从右侧图像1202a及左侧图像1202b各自的视点看到的被牵引车辆12。
如图12所示，若实现了牵引车辆10与被牵引车辆12的直线排列状态，则在右侧图像1202a及左侧图像1202b中，标志Y1会以对称(左右对称)的显示形态显示。因此，仅需在如图12所示的两侧图像1202中，确认在右侧图像1202a及左侧图像1202b中标志Y1是否呈左右对称地显示，即可检查直线排列状态。
接着，对在实施方式中实施的处理进行说明。
图13为表示实施方式涉及的驾驶辅助装置500所实施的作为驾驶辅助的处理的一个示例的例示且示意性的流程图。在进行通过触控面板30等选择规定的驾驶辅助模式(例如停车辅助模式)的操作时，重复实施如该图13所示的处理流程。
在如图13所示的处理流程中，首先，在S1301中，驾驶辅助装置500对是否满足本车辆(牵引车辆10)处于停止中且本车辆的档位范围设定于倒档范围进行判断。
在S1301中的两个条件中的至少一方不成立的情况下，处理结束。而在S1301中的两个条件双方均成立的情况下，处理前进至S1302。
在S1302中，驾驶辅助装置500获取(计算)对直线排列状态的可实现性的判定所需的信息。对直线排列状态的可实现性的判定所需的信息是指：如前文所述，牵引车辆10与被牵引车辆12之间的连接角度、以及牵引车辆10的当前的转向操作角度等。
在S1303中，驾驶辅助装置500对在假设牵引车辆10以保持当前的转向操作角度的状态后退的情况下、牵引车辆10的移动距离在规定的距离以下的范围内能否实现直线排列状态进行判定。另外，这里设基于牵引车辆10与被牵引车辆12之间的连接角度的牵引车辆10的朝向与被牵引车辆12的朝向之间的偏差具有规定以上的大小。
在S1303中，在判断为可实现直线排列状态的情况下，处理前进至下面的S1304。
接着，在S1304中，驾驶辅助装置500通过语音输出装置28输出规定的语音。基于该S1304的处理，能够以诉诸驾驶员的听觉的形式通知：在当前时刻进行的驾驶操作为此后可实现直线排列状态的驾驶操作这一主旨，更具体来说是当前的转向操作角度为可实现直线排列状态的角度这一主旨。
接着，在S1305中，驾驶辅助装置500在当前显示中的俯视图像上，叠加显示用于表示牵引车辆10以及被牵引车辆12的当前的状态与直线排列状态之间的关系的直线排列状态标志。基于该S1305的处理，能够以诉诸驾驶员的视觉的形式通知：在当前时刻进行的驾驶操作为此后可实现直线排列状态的驾驶操作这一主旨，以及直到此后实现直线排列状态为止牵引车辆10以及被牵引车辆12的位置关系会怎样变化的情况。接着，处理结束。
另一方面，在S1303中，在判断为无法实现直线排列状态的情况下，处理前进至下面的S1306。
接着，在S1306中，驾驶辅助装置500对当前是否正在显示直线排列状态标志进行判断。即，在S1306中，驾驶辅助装置500监视牵引车辆10的转向操作角度，对是否由于驾驶员不管已处于可实现直线排列状态的状态而进一步改变转向操作角度从而变成了无法实现直线排列状态的状态进行判断。该S1306的处理由前述直线排列判定部510等来实施。
在S1306中，在判断为当前未显示直线排列状态标志的情况下，保持该状态地使处理结束。另一方面，在S1306中，在判断为当前正显示直线排列状态标志的情况下，处理前进至S1307。
在S1307中，驾驶辅助装置500将当前显示的直线排列状态标志从俯视图像上消除。基于该S1307的处理，能够以诉诸驾驶员的视觉的形式通知：已从可实现直线排列状态的状态变成无法实现的状态这一点。接着，处理结束。
图14为表示实施方式涉及的驾驶辅助装置在显示直线排列状态标志的状态下、牵引车辆10开始后退时所实施的处理的例示且示意性的流程图。如该图14所示的处理流程被反复实施，直到实现牵引车辆10与被牵引车辆12的直线排列状态。
在如图14所示的处理流程中，首先，在S1401中，驾驶辅助装置500监视牵引车辆10与被牵引车辆12之间的连接角度。
接着，在S1402中，驾驶辅助装置500基于S1401的监视结果，对是否已实现牵引车辆10与被牵引车辆12的直线排列状态进行判断。另外，如前文所述，在实施方式中，直线排列状态不仅包括牵引车辆10的朝向与被牵引车辆12的朝向完全一致的状态，也包括牵引车辆10的朝向与被牵引车辆12的朝向之差小于足够小的规定值的状态。
在S1402中，在判断为未实现直线排列状态的情况下，处理结束。另一方面，在S1402中，在判断为已实现直线排列状态的情况下，处理前进至S1403。
在S1403中，驾驶辅助装置500通过语音输出装置28输出规定的语音，以诉诸驾驶员的听觉的形式通知已实现直线排列状态这一主旨。
接着，在S1404中，驾驶辅助装置500将当前显示的直线排列状态标志从俯视图像上消除，以诉诸驾驶员的视觉的形式通知已实现直线排列状态这一主旨。接着，处理结束。
如以上所说明的那样，实施方式涉及的驾驶辅助装置500具有连接角度获取部502，其获取牵引车辆10和与该牵引车辆10连接的被牵引车辆12之间的连接角度。此外，驾驶辅助装置500具有作为通知处理部的显示处理部512以及语音处理部513，其在牵引车辆10在基于连接角度的朝向的偏差为规定以上的状态下驾驶的情况下，牵引车辆10的转向操作角度为在牵引车辆10以保持该转向操作角度的状态移动的情况下、牵引车辆10的移动距离在规定的距离以下的范围内可实现直线排列状态的角度以上时，在牵引车辆10内进行规定的通知，该直线排列状态为牵引车辆10的朝向与被牵引车辆12的朝向实质上一致的状态。基于该构成方式，通过规定的通知，能够将可实现直线排列状态的驾驶操作通知给驾驶员。
更具体地，在基于连接角度的朝向的偏差为规定以上且牵引车辆10为了后退而停止的情况下，当转向操作角度为：在以保持转向操作角度的状态、该牵引车辆10的后退开始了的情况下、该后退的距离在规定的距离以下的范围内、可实现直线排列状态的角度以上时，实施方式涉及的显示处理部512以及语音处理部513进行规定的通知，该规定的通知利用上述的直线排列状态标志及规定的语音等。基于该构成方式，通过边进行在停止状态下改变转向操作角度的所谓原地打方向操作边等待规定的通知，能够容易地确定可实现直线排列状态的驾驶操作。
另外，在上述的实施方式中，例示了将可实现直线排列状态的驾驶操作以图像及语音双方通知给驾驶员的构成方式。然而，在实施方式中，可实现直线排列状态的驾驶操作也可以仅以图像及语音中的一方来进行通知，还可以以与图像和语音均不同的例如振动等来进行通知。
此外，在上述的实施方式中，例示的是在通过在停止状态下改变转向操作角度的所谓原地打方向操作能够实现直线排列状态的情况下、进行利用直线排列状态标志及规定的语音等的通知的构成方式。然而，在实施方式中，也可以采用以下构成方式：在行驶中即时地对是否仅需维持当前时刻的驾驶操作即可实现直线排列状态进行判定，并根据判定结果进行利用直线排列状态标志及规定的语音等的通知。
以上对本发明的实施方式进行了说明，但上述的实施方式仅为一例，并不用于限定发明的范围。上述的新的实施方式能够以各种方式来实施，在不脱离发明的要旨的范围内，可以进行各种省略、替换、以及变更。上述的实施方式以及其变形，均包含于发明的范围及要旨内，并且包含于权利要求记载的发明及其等同范围内。
符号说明
10 牵引车辆
12 被牵引车辆
24 拍摄部
500 驾驶辅助装置
502 连接角度获取部
503 图像处理部
512 显示处理部(通知处理部)
513 语音处理部(通知处理部)

Claims (10)

1.一种驾驶辅助装置，其特征在于，包括：
连接角度获取部，其获取牵引车辆与被牵引车辆之间的连接角度，该被牵引车辆与该牵引车辆连接；以及
通知处理部，在基于所述连接角度的所述牵引车辆的朝向与所述被牵引车辆的朝向之间的偏差为规定以上的状态下驾驶所述牵引车辆的情况下，当通过所述牵引车辆的转向操作角度，而在保持该转向操作角度的状态下所述牵引车辆进行移动的情况下、所述牵引车辆的移动距离在规定的距离以下的范围内、能够实现所述牵引车辆的朝向与所述被牵引车辆的朝向实质上一致的直线排列状态时，该通知处理部在所述牵引车辆内进行规定的通知。
2.根据权利要求1所述的驾驶辅助装置，其特征在于：
在判定为基于所述连接角度的所述偏差为规定以上且所述牵引车辆为了后退而停止的情况下，当通过所述转向操作角度，而在保持该转向操作角度的状态下所述牵引车辆开始了所述后退的情况下、该后退的距离在所述规定的距离以下的范围内、能够实现所述直线排列状态时，所述通知处理部进行所述规定的通知。
3.根据权利要求1或2所述的驾驶辅助装置，其特征在于，还包括：
图像处理部，其基于设置于所述牵引车辆的拍摄部的拍摄结果，生成以俯视形态表示所述牵引车辆的周边的情况的俯视图像，作为表示所述牵引车辆的周边的情况的周边图像，
所述通知处理部包含显示处理部，该显示处理部通过在所述俯视图像上叠加显示直线排列状态标志，来进行所述规定的通知，该直线排列状态标志表示所述牵引车辆以及所述被牵引车辆的当前的状态与所述直线排列状态之间的关系。
4.根据权利要求3所述的驾驶辅助装置，其特征在于：
所述直线排列状态标志包含第一标志，该第一标志表示实现所述直线排列状态时所述牵引车辆以及所述被牵引车辆所朝向的方向。
5.根据权利要求3或4所述的驾驶辅助装置，其特征在于：
所述直线排列状态标志包含第二标志，该第二标志表示直到实现所述直线排列状态为止所述牵引车辆回转的方向。
6.根据权利要求3～5中的任一项所述的驾驶辅助装置，其特征在于：
所述直线排列状态标志包含第三标志，该第三标志表示实现所述直线排列状态时预计中的所述牵引车辆。
7.根据权利要求3～6中的任一项所述的驾驶辅助装置，其特征在于：
所述显示处理部在显示了所述直线排列状态标志的状态下所述牵引车辆开始了移动的情况下，持续显示所述直线排列状态标志，并在此后实际实现了所述直线排列状态时，从所述俯视图像上消除所述直线排列状态标志。
8.根据权利要求3～7中的任一项所述的驾驶辅助装置，其特征在于：
所述图像处理部生成同时表示所述牵引车辆的左右两侧的情况的两侧图像，作为所述周边图像，
所述显示处理部在显示了所述直线排列状态标志的状态下所述牵引车辆开始了移动的情况下，在满足了规定的条件时，显示用于表示所述牵引车辆的左右两侧的情况的两侧图像。
9.根据权利要求1～8中的任一项所述的驾驶辅助装置，其特征在于：
所述通知处理部包含语音处理部，该语音处理部通过输出第一语音来进行所述规定的通知。
10.根据权利要求9所述的驾驶辅助装置，其特征在于：
所述语音处理部在根据所述第一语音的输出、所述牵引车辆开始了移动的情况下，在此后实际实现了所述直线排列状态时，输出第二语音。
CN201880060854.5A 2017-10-10 2018-10-03 驾驶辅助装置 Active CN111108022B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-197151 2017-10-10
JP2017197151A JP7087332B2 (ja) 2017-10-10 2017-10-10 運転支援装置
PCT/JP2018/037122 WO2019073885A1 (ja) 2017-10-10 2018-10-03 運転支援装置

Publications (2)

Publication Number Publication Date
CN111108022A true CN111108022A (zh) 2020-05-05
CN111108022B CN111108022B (zh) 2022-03-08

Family

ID=66100601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880060854.5A Active CN111108022B (zh) 2017-10-10 2018-10-03 驾驶辅助装置

Country Status (4)

Country Link
US (1) US11584436B2 (zh)
JP (1) JP7087332B2 (zh)
CN (1) CN111108022B (zh)
WO (1) WO2019073885A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11433812B2 (en) * 2018-10-29 2022-09-06 Ford Global Technologies, Llc Hitching maneuver
US11560026B2 (en) * 2020-11-06 2023-01-24 GM Global Technology Operations LLC System and method for hitch angle estimation

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003511288A (ja) * 1999-10-02 2003-03-25 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング 駐車する車両の周辺状況を監視するための装置
JP2009060499A (ja) * 2007-09-03 2009-03-19 Sanyo Electric Co Ltd 運転支援システム及び連結車両
DE102009012253A1 (de) * 2009-03-07 2010-09-09 Valeo Schalter Und Sensoren Gmbh Verfahren zur Unterstützung beim Rückwärtsfahren eines Gespanns aus Zugfahrzeug mit Anhänger
JP2011131678A (ja) * 2009-12-24 2011-07-07 Fujitsu Ten Ltd 画像処理装置、画像処理システム、および、画像処理方法
US20140160276A1 (en) * 2012-09-26 2014-06-12 Magna Electronics Inc. Vehicle vision system with trailer angle detection
CN104554006A (zh) * 2013-10-24 2015-04-29 通用汽车环球科技运作有限责任公司 智能牵引
CN104602991A (zh) * 2012-08-03 2015-05-06 大众汽车有限公司 用于对挂车进行移库的方法和设备
JP2016137802A (ja) * 2015-01-27 2016-08-04 日野自動車株式会社 連結車両の連結角取得装置及び連結車両の運転支援システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10800454B2 (en) * 2017-06-05 2020-10-13 Ford Global Technologies, Llc Trailer backup assist input with gesture interface for multiple control modes

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003511288A (ja) * 1999-10-02 2003-03-25 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング 駐車する車両の周辺状況を監視するための装置
JP2009060499A (ja) * 2007-09-03 2009-03-19 Sanyo Electric Co Ltd 運転支援システム及び連結車両
DE102009012253A1 (de) * 2009-03-07 2010-09-09 Valeo Schalter Und Sensoren Gmbh Verfahren zur Unterstützung beim Rückwärtsfahren eines Gespanns aus Zugfahrzeug mit Anhänger
JP2011131678A (ja) * 2009-12-24 2011-07-07 Fujitsu Ten Ltd 画像処理装置、画像処理システム、および、画像処理方法
CN104602991A (zh) * 2012-08-03 2015-05-06 大众汽车有限公司 用于对挂车进行移库的方法和设备
US20140160276A1 (en) * 2012-09-26 2014-06-12 Magna Electronics Inc. Vehicle vision system with trailer angle detection
CN104554006A (zh) * 2013-10-24 2015-04-29 通用汽车环球科技运作有限责任公司 智能牵引
JP2016137802A (ja) * 2015-01-27 2016-08-04 日野自動車株式会社 連結車両の連結角取得装置及び連結車両の運転支援システム

Also Published As

Publication number Publication date
WO2019073885A1 (ja) 2019-04-18
US11584436B2 (en) 2023-02-21
CN111108022B (zh) 2022-03-08
JP2019069718A (ja) 2019-05-09
US20200223482A1 (en) 2020-07-16
JP7087332B2 (ja) 2022-06-21

Similar Documents

Publication Publication Date Title
US10625782B2 (en) Surroundings monitoring apparatus
US10748298B2 (en) Periphery monitoring device
WO2018150642A1 (ja) 周辺監視装置
WO2019073938A1 (ja) 駐車支援装置
CN107792178B (zh) 停车支援装置
CN111094083B (zh) 停车辅助装置
JP2014004930A (ja) 駐車支援装置、駐車支援方法、及び駐車支援プログラム
JP2018036444A (ja) 表示制御装置
US20200035207A1 (en) Display control apparatus
CN111108022B (zh) 驾驶辅助装置
JP7119798B2 (ja) 表示制御装置
CN110877574A (zh) 显示控制装置
CN110877575A (zh) 周边监视装置
JP2014004931A (ja) 駐車支援装置、駐車支援方法、及び駐車支援プログラム
CN109311423B (zh) 驾驶辅助装置
CN111034188B (zh) 周边监控装置
JP7081105B2 (ja) 牽引支援装置
JP2018186432A (ja) 表示制御装置
JP2019022110A (ja) 表示制御装置
CN111108745B (zh) 周边监控装置
JP2017069846A (ja) 表示制御装置
JP6601097B2 (ja) 表示制御装置
JP6610139B2 (ja) 周辺監視装置
JP2018186387A (ja) 表示制御装置
JP2019068326A (ja) 周辺監視装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220216

Address after: Aichi

Applicant after: AISIN Co.,Ltd.

Address before: Aichi

Applicant before: AISIN SEIKI Kabushiki Kaisha

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant