CN111108023A - 停车辅助装置 - Google Patents

停车辅助装置 Download PDF

Info

Publication number
CN111108023A
CN111108023A CN201880060960.3A CN201880060960A CN111108023A CN 111108023 A CN111108023 A CN 111108023A CN 201880060960 A CN201880060960 A CN 201880060960A CN 111108023 A CN111108023 A CN 111108023A
Authority
CN
China
Prior art keywords
image
display
vehicle
unit
towing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880060960.3A
Other languages
English (en)
Other versions
CN111108023B (zh
Inventor
丸冈哲也
渡边一矢
山本欣司
福岛逸子
中所孝之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Co Ltd
Original Assignee
爱信精机株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2017197171A external-priority patent/JP7087333B2/ja
Priority claimed from JP2017198847A external-priority patent/JP7110577B2/ja
Application filed by 爱信精机株式会社 filed Critical 爱信精机株式会社
Publication of CN111108023A publication Critical patent/CN111108023A/zh
Application granted granted Critical
Publication of CN111108023B publication Critical patent/CN111108023B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • B62D15/0275Parking aids, e.g. instruction means by overlaying a vehicle path based on present steering angle over an image without processing that image
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R99/00Subject matter not provided for in other groups of this subclass
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D13/00Steering specially adapted for trailers
    • B62D13/06Steering specially adapted for trailers for backing a normally drawn trailer

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种停车辅助装置,具备:俯视图像生成部,其基于拍摄牵引车辆的周边而得到的拍摄图像,生成俯视图像;牵引判定部,其对牵引车辆是否在牵引被牵引车辆,进行判定;俯视图像显示范围设定部,其从至少包含第一显示范围、以及比第一显示范围大的第二显示范围的多个显示范围中,选择剪裁范围;以及显示图像生成部,其对俯视图像之中的剪裁范围内进行剪裁,来生成显示用俯视图像,并生成包含显示用俯视图像的显示图像,该显示用俯视图像叠加有牵引车辆的图像。俯视图像显示范围设定部,若牵引判定部判定牵引车辆未牵引被牵引车辆,则选择第一显示范围,若牵引判定部判定牵引车辆在牵引被牵引车辆,则选择第二显示范围。

Description

停车辅助装置
技术领域
本发明的实施方式涉及停车辅助装置。
背景技术
已知用于对车辆停车进行辅助的停车辅助装置。例如,停车辅助装置基于朝向彼此不同的方向的多个拍摄装置所拍摄的车辆周边的多个拍摄图像,生成转换了视点的俯视图像,并将包含俯视图像的显示图像显示于显示装置。当这样的停车辅助装置搭载于牵引被牵引车辆的牵引车辆时,车辆周边受到被牵引车辆遮挡,从而通过俯视图像能目视辨识的区域变窄。为此,公开了一种停车辅助装置,其通过多个拍摄图像之中受到被牵引车辆遮挡的区域较少的拍摄图像来生成俯视图像。
专利文献1:日本特开第2008-149764号公报
发明内容
然而,对于上述停车辅助装置,存在下述问题:若在车辆在牵引被牵引车辆时与未牵引被牵引车辆时,显示现实世界中的区域均相同的俯视图像,则牵引被牵引车辆从而车辆整体的前后方向的长度变长,此时,被牵引车辆的周边(例如,后方周边)没有被包含在俯视图像中从而无法目视辨识。
本发明是鉴于上述情况而作出的,提供一种停车辅助装置,即使在牵引被牵引车辆时,该停车辅助装置也能够显示被牵引车辆的周边容易目视辨识的显示图像。
为解决上述问题并达到目的,本发明的实施方式涉及的停车辅助装置例如具备:俯视图像生成部,其基于拍摄牵引车辆的周边而得到的拍摄图像,生成俯视图像;牵引判定部,其对所述牵引车辆是否在牵引被牵引车辆,进行判定;俯视图像显示范围设定部,其从至少包含第一显示范围、以及比所述第一显示范围大的第二显示范围的多个显示范围中,选择剪裁范围;以及显示图像生成部,其对所述俯视图像之中的所述剪裁范围内进行剪裁,来生成显示用俯视图像,并生成包含所述显示用俯视图像的显示图像,所述显示用俯视图像叠加有所述牵引车辆的图像,其中,所述俯视图像显示范围设定部,若所述牵引判定部判定所述牵引车辆未牵引所述被牵引车辆,则选择所述第一显示范围,若所述牵引判定部判定所述牵引车辆在牵引所述被牵引车辆,则选择所述第二显示范围。
这样,实施方式涉及的停车辅助装置,例如,在牵引被牵引车辆时,在与未牵引被牵引车辆时相比更大的范围对俯视图像进行剪裁,来生成显示用俯视图像。由此,在牵引被牵引车辆时,停车辅助装置能够显示使用了与未牵引被牵引车辆时相比包含现实世界中更大的区域的显示用俯视图像的显示图像。其结果是,即使在牵引被牵引车辆从而车辆整体变长的情况下,停车辅助装置也能够提供被牵引车辆的周边容易目视辨识的显示图像。
实施方式涉及的停车辅助装置中,例如可以是,所述俯视图像显示范围设定部从至少包含所述第一显示范围、以及与所述第一显示范围相比在所述牵引车辆的左右方向上范围更大的所述第二显示范围的所述多个显示范围中,选择所述剪裁范围。
由此,实施方式涉及的停车辅助装置,例如,即使牵引车辆在转弯中,也能够提供包含牵引车辆的左右的周边更容易目视辨识的显示用俯视图像的显示图像给乘坐人员。
实施方式涉及的停车辅助装置中,例如可以是,所述俯视图像显示范围设定部,选择了所述第二显示范围,所述牵引车辆倒退时,将所述剪裁范围的中心设定在比所述俯视图像的中心靠后方的第一前后位置。
由此,实施方式涉及的停车辅助装置,例如,通过更多地包含作为行进方向的后方的图像的显示用俯视图像,能够使显示图像更容易目视辨识。
实施方式涉及的停车辅助装置中,例如可以是,所述俯视图像显示范围设定部,选择了所述第二显示范围,所述牵引车辆前进时,将所述剪裁范围的中心设定在比所述俯视图像的中心靠前方的第二前后位置。
由此,实施方式涉及的停车辅助装置,例如,通过更多地包含作为行进方向的前方的图像的显示用俯视图像,能够使显示图像更容易目视辨识。
实施方式涉及的停车辅助装置中,例如可以是,所述俯视图像显示范围设定部,选择了所述第二显示范围,设定为停车模式且所述牵引车辆前进时,将所述剪裁范围的中心设定在比所述俯视图像的中心靠前方的第二前后位置,所述停车模式为设定目标停车位置来进行辅助停车的模式,所述显示图像生成部,在设定为所述停车模式时使所述目标停车位置的图像叠加在所述显示用俯视图像中。
由此,实施方式涉及的停车辅助装置,例如,通过更多地包含作为行进方向的前方的图像并叠加了目标停车位置的图像的显示用俯视图像,能够提供作为行进方向的前方及目标停车位置容易目视辨识的显示图像。
实施方式涉及的停车辅助装置中,例如可以是,所述俯视图像显示范围设定部,选择了所述第二显示范围,设定为停车模式且所述牵引车辆倒退时,将所述剪裁范围的中心设定在比所述俯视图像的中心靠后方的第一前后位置,所述停车模式为设定目标停车位置来进行辅助停车的模式,所述显示图像生成部,在设定为所述停车模式时使所述目标停车位置的图像叠加在所述显示用俯视图像中。
由此,实施方式涉及的停车辅助装置,例如,通过更多地包含行进方向的后方的图像并叠加了目标停车位置的图像的显示用俯视图像,能够提供作为行进方向的后方及目标停车位置容易目视辨识的显示图像。
实施方式涉及的停车辅助装置中,例如可以是,所述俯视图像显示范围设定部,选择了所述第二显示范围,所述目标停车位置被选择时,在左右方向上,将所述剪裁范围的中心设定在所述俯视图像内所选择的所述目标停车位置侧。
由此,实施方式涉及的停车辅助装置,例如,通过更多地包含所选择的目标停车位置侧的图像并叠加了目标位置图像的显示用俯视图像,能够提供行进方向及所选择的目标停车位置的附近容易目视辨识、且牵引车辆及被牵引车辆和目标停车位置之间的位置关系容易掌握的显示图像。
实施方式涉及的停车辅助装置中,例如可以是,所述显示图像生成部生成包含所述显示用俯视图像、以及所述牵引车辆的前后方向的行进方向的周边图像的所述显示图像。
由此,实施方式涉及的停车辅助装置,例如,即使在使剪裁范围在俯视图像内向前后移动,从而使显示用俯视图像的前方和后方其中一个区域增加而另一区域减少的情况下,也能够提供行进方向的状况容易目视辨识的显示图像。
实施方式涉及的停车辅助装置中,例如可以是,所述显示图像生成部基于所述牵引判定部的判定结果,对是否检测到所述被牵引车辆进行判定,并根据该判定的结果,决定表示所述牵引车辆或所述被牵引车辆的状态的指示标记的显示形态来进行显示。
由此,实施方式涉及的停车辅助装置,例如,由于明确表示出被牵引车辆是否被识别到,所以使驾驶员容易掌握当前处于何种控制状态等情况。
实施方式涉及的停车辅助装置中,例如可以是,所述显示图像生成部,在所述牵引判定部未识别到所述被牵引车辆时使所述指示标记不被显示。
由此,实施方式涉及的停车辅助装置,例如,对于未识别到被牵引车辆的状态(例如,非连接状态或丢失状态等),使驾驶员容易直观地识别。
实施方式涉及的停车辅助装置中,例如可以是,所述显示图像生成部,在所述牵引车辆基于所述牵引车辆的转向角而倒退时,将该牵引车辆的基于当前的转向角的移动位置预测线,作为所述指示标记叠加显示于所述拍摄图像,并且使所述移动位置预测线的显示形态在识别到与未识别到所述被牵引车辆时不同。
由此,实施方式涉及的停车辅助装置,例如,由于在使牵引车辆倒退时,容易引起注意的作为表示牵引车辆的状态的指示标记的移动位置预测线的显示形态,在识别到与未识别到被牵引车辆时变化,所以对于被牵引车辆未被识别到的状态(例如,非连接状态或丢失状态等),使驾驶员容易更为直观地识别。
实施方式涉及的停车辅助装置中,例如可以是,所述显示图像生成部,在作为所述指示标记而将表示所述被牵引车辆的车辆标记进行显示时,使该车辆标记叠加显示在基于所述牵引车辆的周边的图像的车辆周边图像中的所述被牵引车辆的显示对应位置。
由此,实施方式涉及的停车辅助装置,例如,由于在当识别部未识别到被牵引车辆时,通过控制指示标记的显示形态,驾驶员能够理解被牵引车辆为非识别的情况下,也能够基于车辆周边图像内所包含的被牵引车辆的图像,确认该被牵引车辆的状态,所以通过在车辆周边图像上确认指示标记应当显示的位置,容易识别是否存在被牵引车辆,以及在被牵引车辆被连结时容易识别连结角度等。
附图说明
图1是搭载有实施方式1和实施方式2涉及的停车辅助装置的牵引车辆和被牵引车辆的例示性俯视图。
图2是实施方式1和实施方式2涉及的牵引车辆的车室内的前围板附近的例示性示意图。
图3是表示包含实施方式1和实施方式2涉及的停车辅助装置的停车辅助系统的整体结构的例示性框图。
图4是说明实施方式1涉及的停车辅助装置的功能的例示性框图。
图5是表示实施方式1涉及的停车辅助装置中、选择通常模式和牵引模式的模式设定图像的一个示例的示意图。
图6是用于说明实施方式1涉及的停车辅助装置中、俯视图像与剪裁范围的大小及位置的俯视图。
图7是表示实施方式1涉及的停车辅助装置中、被判定为未牵引被牵引车辆且牵引车辆前进时的显示图像的一个示例的示意图。
图8是表示实施方式1涉及的停车辅助装置中、被判定为未牵引被牵引车辆且牵引车辆倒退时的显示图像的一个示例的示意图。
图9是表示实施方式1涉及的停车辅助装置中、被判定为在牵引被牵引车辆且牵引车辆前进时的显示图像的一个示例的示意图。
图10是表示实施方式1涉及的停车辅助装置中、被判定为在牵引被牵引车辆且牵引车辆倒退时的显示图像的一个示例的示意图。
图11是表示实施方式1涉及的停车辅助装置中、被判定为在牵引被牵引车辆并设定为停车模式且前进时的显示图像的一个示例的示意图。
图12是表示实施方式1涉及的停车辅助装置中、被判定为在牵引被牵引车辆并设定为停车模式且选择了右侧的目标停车位置时的显示图像的一个示例的示意图。
图13是表示实施方式1涉及的停车辅助装置中、被判定为在牵引被牵引车辆并设定为停车模式且选择了左侧的目标停车位置时的显示图像的一个示例的示意图。
图14是表示实施方式1涉及的停车辅助装置中、被判定为在牵引被牵引车辆并设定为停车模式且选择了右侧的目标停车位置、并且边转弯边倒退时的显示图像的一个示例的示意图。
图15是实施方式1涉及的停车辅助装置中、处理部所执行的停车辅助处理的前半部分的例示性流程图。
图16是实施方式1涉及的停车辅助装置中、处理部所执行的停车辅助处理的后半部分的例示性流程图。
图17是表示实施方式1涉及的停车辅助装置的、第一变形例的显示图像的一个示例的示意图。
图18是表示实施方式1涉及的停车辅助装置的、第二变形例的显示图像的一个示例的示意图。
图19是实施方式2涉及的停车辅助装置(周边监视装置)的CPU的结构的例示性框图。
图20是表示包含实施方式2涉及的停车辅助装置(周边监视装置)的停车辅助(周边监视)系统的拍摄部所拍摄的牵引车辆与被牵引车辆的连结部的图像的一个示例的示意图,其中,被牵引车辆相对于牵引车辆以连结角度θ连结。
图21是表示实施方式2涉及的停车辅助装置中、示出被牵引车辆未被识别到时表示被牵引车辆的指示标记不被显示时的图像的一个示例的示意图。
图22是表示实施方式2涉及的停车辅助装置中、示出被牵引车辆被识别到时表示被牵引车辆的指示标记被显示时的图像的一个示例的示意图。
图23是表示实施方式2涉及的停车辅助装置中、被牵引车辆被识别到时所显示的表示被牵引车辆的指示标记的显示形态的一个示例的示意图。
图24是表示实施方式2涉及的停车辅助装置中、被牵引车辆未被识别到时所显示的表示被牵引车辆的指示标记的显示形态的一个示例的示意图。
图25是表示实施方式2涉及的停车辅助装置中、被牵引车辆未被识别到时所显示的表示被牵引车辆的指示标记的显示形态的另一示例的示意图。
图26是表示实施方式2涉及的停车辅助装置中、被牵引车辆未被识别到时所显示的表示被牵引车辆的指示标记以及倒退时牵引车辆的移动位置预测线的显示形态的一个示例的示意图。
图27是表示实施方式2涉及的停车辅助装置中、被牵引车辆被识别到时所显示的表示被牵引车辆的指示标记以及倒退时牵引车辆的移动位置预测线的显示形态的一个示例的示意图。
图28是说明实施方式2涉及的停车辅助装置所执行的指示标记的显示处理步骤的一个示例的流程图。
具体实施方式
对以下例示性实施方式等中同样的结构要素赋予共同的符号,并适当地省略重复的说明。另外,在以下所示实施方式中,有时可将停车辅助装置称为周边监视装置。此外,有时可将停车辅助系统称为周边监视系统。
实施方式1
图1是搭载有实施方式1(实施方式2)的停车辅助装置的牵引车辆10和被牵引车辆20的例示性俯视图。牵引车辆10又称为拖拉车,且构成为能够牵引被牵引车辆20行驶。牵引车辆10例如可以是具有内燃机(例如发动机)或电动机(例如马达)等驱动源的汽车,也可以是具备内燃机和电动机双方的汽车(例如混合动力汽车)。此外,牵引车辆10可以搭载各种变速装置,还可以搭载驱动内燃机或电动机所需的各种装置。此外,对牵引车辆10中与车轮13的驱动有关的装置的形式、数量以及布置等,可以进行各种设定。
如图1所示,牵引车辆10具备:车身12、四个车轮13、一个或多个(本实施方式中为四个)拍摄部14a、14b、14c、14d、方向指示器16a、16b、以及牵引装置18。在无需区分拍摄部14a、14b、14c、14d时,记载为拍摄部14。在无需区分方向指示器16a、16b时,记载为方向指示器16。
车身12构成供包括驾驶员在内的乘坐人员乘坐的车室。车身12收纳或保持下述的停车辅助装置、以及车轮13和拍摄部14等。
四个车轮13设于车身12的前后左右。例如,前侧的两个车轮13(前轮13F)作为转向轮发挥功能,后侧的两个车轮13(后轮13R)作为驱动轮发挥功能。另外,驱动轮可以是前轮13F,也可以是前轮13F及后轮13R双方。
拍摄部14例如是内置有CCD(Charge Coupled Device,电荷耦合器件)或CIS(CMOSImage Sensor,互补金属-氧化物-半导体图像传感器)等拍摄元件的数码摄像头。拍摄部14输出包含以规定的帧率生成的多个帧图像的动态图像或者静态图像的数据,作为拍摄图像的数据。拍摄部14分别具有广角镜头或鱼眼镜头,能够拍摄水平方向的例如140°~220°的范围。拍摄部14的光轴朝斜下方设定。因此,拍摄部14输出对包含路面的牵引车辆10的周边进行拍摄而得到的拍摄图像的数据。
拍摄部14设于车身12周围。例如,拍摄部14a设于车身12前端部的左右方向的中央部(例如,前保险杠)。拍摄部14a生成拍摄牵引车辆10前方的周边而得到的拍摄图像。拍摄部14b设于车身12后端部的左右方向的中央部(例如,后备箱下方的壁部)。拍摄部14b生成拍摄牵引车辆10后方的周边而得到的拍摄图像。拍摄部14c设于车身12左端部的前后方向的大致中央部(例如,左侧车门后视镜12a)。拍摄部14c生成拍摄牵引车辆10左侧的周边而得到的拍摄图像。拍摄部14d设于车身12右端部的前后方向的大致中央部(例如,右侧车门后视镜12b)。拍摄部14d生成拍摄牵引车辆10右侧的周边而得到的拍摄图像。
方向指示器16a、16b分别设于车身12的左侧(例如,左侧车门后视镜12a)及右侧(例如,右侧车门后视镜12b)。方向指示器16具有LED(Light Emitting Diode:发光二极管)等发光装置。方向指示器16通过点亮来向周边车辆通知牵引车辆10的行进方向。
牵引装置18是又称为拖拉杆(hitch)的装置。牵引装置18设于车身12的左右方向的中央部。牵引装置18从车身12的后端部向后方突出。牵引装置18例如具有设于柱状部件的上端部的球状拖拉球(hitch ball)18a,该柱状部件沿铅直方向直立设置。
被牵引车辆20又称为挂车,由牵引车辆10牵引而行驶。被牵引车辆20具备主体22、多个(本实施方式中为两个)挂车车轮24、连结构件26以及连结器(Coupler)28。
主体22例如形成为长方体的箱型。主体22构成为中空状,以便内部能够堆载货物等。另外,主体22也可以是板状平板型。
挂车车轮24分别设于主体22的左右。挂车车轮24例如是从动轮。挂车车轮24也可以是与发动机等驱动源连结的驱动轮、或者能够通过方向盘等而向左右方向转向的转向轮。
连结构件26设于主体22的左右方向的中央部。连结构件26从主体22的前端部向前方延伸。
连结器28设于连结构件26的前端部。连结器28上形成有包覆拖拉球18a的球状凹部。通过使连结器28包覆拖拉球18a,被牵引车辆20相对于牵引车辆10以能够转弯的方式被连结。
图2是实施方式1(实施方式2)的牵引车辆10的车室内的前围板附近的例示性示意图。如图2所例示的,牵引车辆10还具备转向操作部30、变速部32、方向指示开关34以及监控装置36。
转向操作部30是驾驶员进行操作以使前侧车轮13转向来改变牵引车辆10的行进方向的装置。转向操作部30例如是从中央控制台突出且设于驾驶席前方的方向盘或转向盘。
变速部32例如是下述装置:其包括从中央控制台伸出的变速杆等,并改变牵引车辆10的变速比或牵引车辆10的前后的行进方向(前进档(Drive)、倒车档(Reverse))以及停车档(Parking)。
方向指示开关34是驾驶员进行操作以操作左右的方向指示器(即,转向灯)的部件。方向指示开关34例如是设于转向操作部30的外周部的杆状部件。
监控装置36设于牵引车辆10的车室内的前围板等。监控装置36具有显示部38、语音输出部40和操作输入部42。
显示部38例如是液晶显示器(LCD:Liquid Crystal Display)、或者有机EL显示器(OELD:Organic Electroluminescent Display,有机电致发光显示器)等显示装置。显示部38显示导航系统的路线向导等的图像,且在停车辅助时显示包含俯视图像的显示图像。
语音输出部40例如是扬声器。语音输出部40输出导航中引导驾驶员的语音等。
操作输入部42接受乘坐人员的输入。操作输入部42例如是触控面板。操作输入部42设于显示部38的显示画面。操作输入部42构成为能使显示部38所显示的图像透过。由此,操作输入部42能够使乘坐人员目视确认显示部38的显示画面上所显示的图像。操作输入部42接受由乘坐人员触碰其与显示部38的显示画面上所显示的图像对应的位置而输入的指示。例如,操作输入部42从乘坐人员接受指示,包括牵引模式等的模式切换指示、停车辅助的开始指示、以及选择目标停车位置的选择指示等。另外,操作输入部42不限于触控面板,也可以是按钮式等硬开关(hard switch)。
图3是例示性表示包含实施方式的停车辅助装置60的停车辅助系统50的整体结构的框图。停车辅助系统50搭载于牵引车辆10,根据牵引车辆10周边的对象物,将牵引车辆10能够停车的位置设定为目标停车位置,并且生成包含表示牵引车辆10周边的俯视图像的显示图像并显示于显示部38。
如图3所示,停车辅助系统50具备多个拍摄部14a、14b、14c、14d、方向指示开关34、变速部传感器52、转向操作部传感器54、轮速传感器56、监控装置36、停车辅助装置60、以及车内网络62。
多个拍摄部14将拍摄牵引车辆10周边而得到的拍摄图像,输出至停车辅助装置60。
方向指示开关34将驾驶员所操作的方向指示的方向,输出至车内网络62。
转向操作部传感器54例如是包含霍尔元件等的角度传感器,当转向操作部30为转向盘等时,检测转向盘等的旋转角,作为转向操作部30的转向角。转向操作部传感器54将检测到的转向操作部30的转向角的信息输出至车内网络62。
变速部传感器52例如是位置传感器,当变速部32为变速杆时,检测变速杆的位置,作为变速部32的位置。变速部传感器52将检测到的变速部32的位置输出至车内网络62。
轮速传感器56是下述传感器:其例如具有设于牵引车辆10的车轮13附近的霍尔元件,检测表示车轮13的旋转量或每单位时间的转数等的脉冲数,作为轮速信息。轮速传感器56将轮速信息作为用于计算车速等的值输出至车内网络62。
停车辅助装置60是计算机,包含ECU(Electronic Control Unit,电子控制单元)等微处理器。停车辅助装置60从拍摄部14获取拍摄图像的数据。停车辅助装置60将与基于拍摄图像等而生成的图像或语音相关的数据,发送至监控装置36。停车辅助装置60将与对乘坐人员的指示、以及对乘坐人员的通知等的图像或语音相关的数据,发送至监控装置36。停车辅助装置60经由车内网络62从监控装置36接收来自乘坐人员的指示。停车辅助装置60设定目标停车位置,并且将包含多个模式、牵引车辆10的行进方向、以及与所选择的目标停车位置等相应的显示用俯视图像和周边图像的显示图像,显示于显示部38,来辅助驾驶员进行停车。停车辅助装置60具备CPU(Central Processing Unit,中央处理器)60a、ROM(Read Only Memory,只读存储器)60b、RAM(Random Access Memory,随机存取存储器)60c、显示控制部60d、语音控制部60e、SSD(Solid State Drive,固态硬盘)60f。CPU60a、ROM60b和RAM60c可以集成在同一封装内。
CPU60a是硬件处理器的一个示例,读取ROM60b等非易失性存储装置中所存储的程序,并遵循该程序来执行各种运算处理以及控制。CPU60a例如执行牵引车辆10的停车辅助的处理。
ROM60b存储各程序以及执行程序所需的参数等。RAM60c临时存储CPU60a上的运算所使用的各种数据。在停车辅助装置60上进行的运算处理之中,显示控制部60d主要对从拍摄部14获得的拍摄图像进行图像处理、以及对显示于显示部38的显示用图像进行数据转换等,并将图像信息输出至显示部38。在停车辅助装置60上进行的运算处理之中,语音控制部60e主要对使语音输出部40输出的语音进行处理,并将语音数据输出至语音输出部40。SSD60f是能够擦写的非易失性存储装置,即使在停车辅助装置60的电源断开时也能保持数据。
车内网络62例如包括CAN(Controller Area Network,控制器局域网)和LIN(Local Interconnect Network,局域互联网)等。车内网络62将方向指示开关34、变速部传感器52、转向操作部传感器54、轮速传感器56、监控装置36的操作输入部42和停车辅助装置60,以彼此之间能够收发信息的方式连接。
图4是说明实施方式1的停车辅助装置60的功能的例示性框图。如图4所示,停车辅助装置60具有处理部64和存储部66。
处理部64作为CPU60a或显示控制部60d的功能来实现。处理部64具有车辆信息获取部70、前进倒退判定部72、目标停车位置方向判定部74、输入信息获取部76、牵引判定部78、停车模式判定部80、图像获取部82、目标停车位置设定部84、俯视图像生成部86、俯视图像显示范围设定部88、显示图像生成部90以及显示图像输出部92。处理部64可以通过读取存储于存储部66中的软件即停车辅助程序94,来实现车辆信息获取部70、前进倒退判定部72、目标停车位置方向判定部74、输入信息获取部76、牵引判定部78、停车模式判定部80、图像获取部82、目标停车位置设定部84、俯视图像生成部86、俯视图像显示范围设定部88、显示图像生成部90以及显示图像输出部92的功能。车辆信息获取部70、前进倒退判定部72、目标停车位置方向判定部74、输入信息获取部76、牵引判定部78、停车模式判定部80、图像获取部82、目标停车位置设定部84、俯视图像生成部86、俯视图像显示范围设定部88、显示图像生成部90以及显示图像输出部92的一部分或全部也可以由ASIC(Application SpecificIntegrated Circuit,专用集成电路)或FPGA(Field-Programmable Gate Array,现场可编程门阵列)等硬件来实现。
车辆信息获取部70获取与牵引车辆10相关的信息。具体而言,车辆信息获取部70从方向指示开关34获取方向信息,该方向信息是指由驾驶员操作方向指示开关34而使方向指示器16点亮的信息。车辆信息获取部70将方向指示器16的方向信息输出至目标停车位置方向判定部74。车辆信息获取部70从变速部传感器52获取用于判定变速部32的前进档和倒车档等的位置信息。车辆信息获取部70将变速部32的位置信息输出至前进倒退判定部72。车辆信息获取部70从转向操作部传感器54获取转向操作部30的转向角信息,并且从轮速传感器56获取表示车轮13的转数等的轮速信息。车辆信息获取部70将转向操作部30的转向角信息和车轮13的轮速信息,输出至俯视图像显示范围设定部88。
前进倒退判定部72基于从车辆信息获取部70获取的变速部32的位置信息,来判定前后方向上牵引车辆10的行进方向。具体而言,当变速部32的位置为倒车档时,前进倒退判定部72判定牵引车辆10的行进方向为倒退,当变速部32的位置为倒车档以外的前进档等时,判定牵引车辆10的行进方向为前进。前进倒退判定部72将牵引车辆10的行进方向的判定结果,输出至俯视图像显示范围设定部88。
目标停车位置方向判定部74基于从车辆信息获取部70获取的方向指示器16的方向信息,来判定左右方向上乘坐人员所选择的目标停车位置的方向。例如,目标停车位置方向判定部74可以将方向指示器16所表示的方向,判定为左右方向上目标停车位置的方向。目标停车位置方向判定部74将乘坐人员所选择的目标停车位置的左右方向的判定结果,输出至俯视图像显示范围设定部88。
输入信息获取部76从操作输入部42获取乘坐人员向操作输入部42输入的指示。输入信息获取部76从操作输入部42获取与通常模式或牵引模式相关的设定指示、停车模式的设定指示、以及目标停车位置的选择指示等。输入信息获取部76将与通常模式或牵引模式相关的设定指示,输出至牵引判定部78。输入信息获取部76将停车模式的设定指示,输出至停车模式判定部80。输入信息获取部76将目标停车位置的选择指示,输出至停车模式判定部80。
牵引判定部78对牵引车辆10是否在牵引被牵引车辆20,进行判定。例如,牵引判定部78基于从输入信息获取部76获取的与通常模式或牵引模式相关的设定指示,对乘坐人员所设定的模式是通常模式还是牵引模式,进行判定。通常模式是在牵引车辆10未牵引被牵引车辆20时被设定的模式。因此,当设定为通常模式时,牵引判定部78判定为牵引车辆10未牵引被牵引车辆20。牵引模式是在牵引车辆10在牵引被牵引车辆20时被设定的模式。当设定为牵引模式时,牵引判定部78判定为牵引车辆10在牵引被牵引车辆20。牵引判定部78将所判定出的模式的信息或是否在牵引的信息,输出至俯视图像显示范围设定部88。
停车模式判定部80对是否接收到从输入信息获取部76获取的停车模式的设定指示,进行判定。停车模式是设定目标停车位置来辅助停车的模式。另外,本实施方式中,对于停车模式,即使在牵引车辆10倒退时被选择,在切换为前进之前模式都不会发生切换。若停车模式判定部80判定为接收到停车模式的设定指示,则将表示设定为停车模式的判定结果,输出至俯视图像显示范围设定部88以及目标停车位置设定部84。此外,停车模式判定部80对乘坐人员是否选择了目标停车位置设定部84所设定的目标停车位置,进行判定。当乘坐人员选择了目标停车位置时,停车模式判定部80将表示选择了的信息,输出至俯视图像显示范围设定部88。
图像获取部82从各拍摄部14获取对牵引车辆10的周边进行拍摄而得到的拍摄图像。图像获取部82将所获取的拍摄图像,输出至目标停车位置设定部84以及俯视图像生成部86。
若从停车模式判定部80获取了表示设定为停车模式的判定结果,则目标停车位置设定部84基于从图像获取部82获取的牵引车辆10的周边的多个拍摄图像,设定目标停车位置。具体而言,目标停车位置设定部84从拍摄图像中检测牵引车辆10和被牵引车辆20周边的障碍物等对象物,基于对象物的位置来检测牵引车辆10和被牵引车辆20能够停车的位置,并设定目标停车位置。目标停车位置设定部84将目标停车位置输出至显示图像生成部90。
俯视图像生成部86从图像获取部82获取各拍摄部14所拍摄的牵引车辆10周边的多个拍摄图像,并基于这些拍摄图像生成俯视图像。具体而言,俯视图像生成部86转换为从将多个拍摄图像的视点转换为牵引车辆10的上方的虚拟视点观察的图像,并将这些转换后的图像连结起来。由此,俯视图像生成部86生成从转换为牵引车辆10的上方的虚拟视点俯视牵引车辆10周边的俯视图像。另外,俯视图像生成部86生成包含比显示用俯视图像中包含的现实世界区域大的现实世界区域的俯视图像,以便下述显示图像生成部90从俯视图像中剪裁出包含于显示图像中的显示用俯视图像。俯视图像生成部86将所生成的俯视图像输出至俯视图像显示范围设定部88。
俯视图像显示范围设定部88从包含第一显示范围以及比第一显示范围大的第二显示范围的两个显示范围中,选择并设定剪裁范围。第一显示范围和第二显示范围可以配合显示图像内分配给显示用俯视图像的区域来设定,例如可以是方形。第二显示范围在牵引车辆10的前后方向上的范围及左右方向上的范围,比第一显示范围大。剪裁范围,是指为了生成显示图像中包含的显示用俯视图像,而从基于拍摄图像生成的俯视图像中截取出的范围。俯视图像显示范围设定部88可以基于牵引判定部78、停车模式判定部80、目标停车位置方向判定部74以及前进倒退判定部72获取的信息,从第一显示范围和第二显示范围中设定剪裁范围。
例如,俯视图像显示范围设定部88基于从牵引判定部78获取的被牵引车辆20是否在被牵引的判定结果,从第一显示范围或第二显示范围中选择剪裁范围。具体而言,当牵引判定部78判定为设定为通常模式从而牵引车辆10未牵引被牵引车辆20时,俯视图像显示范围设定部88选择第一显示范围。而当牵引判定部78判定为设定为牵引模式从而牵引车辆10在牵引被牵引车辆20时,俯视图像显示范围设定部88选择第二显示范围。
俯视图像显示范围设定部88设定俯视图像内前后方向上的剪裁范围的位置。例如,俯视图像显示范围设定部88可以从预先设定的第一前后位置、第二前后位置以及第三前后位置中任一位置,选择俯视图像内前后方向上的剪裁范围的中心,来设定剪裁范围的位置。第一前后位置比俯视图像的中心靠后方。第二前后位置比俯视图像的中心靠前方,且比第一前后位置靠前方。第三前后位置可以是比第一前后位置靠前方,且比第二前后位置靠后方,且是俯视图像内的中央(例如,中心)。
具体而言,若在设定为停车模式之前,且判定为被牵引车辆20在被牵引从而选择第二显示范围,则在牵引车辆10前进和倒退其中任一情况下,俯视图像显示范围设定部88都将剪裁范围的中心设定在第一前后位置。当设定为通常模式从而选择了第一显示范围时,俯视图像显示范围设定部88将剪裁范围的中心设定在第三前后位置。
若被判定为在牵引被牵引车辆20,从而选择第二显示范围,且设定为停车模式,则俯视图像显示范围设定部88可以根据牵引车辆10在前后方向上的行进方向,来设定在前后方向上剪裁范围的中心在俯视图像内的位置。俯视图像显示范围设定部88可以基于前进倒退判定部72所判定的判定结果,判定牵引车辆10在前后方向上的行进方向。当被判定为在牵引被牵引车辆20从而选择第二显示范围,且设定为停车模式并且牵引车辆10前进时,俯视图像显示范围设定部88将剪裁范围的中心设定在第二前后位置。另外,本实施方式中,由于在牵引车辆10倒退中未设定为停车模式,所以可以无需在停车模式且倒退时对剪裁范围的中心进行的设定。
俯视图像显示范围设定部88设定俯视图像内左右方向上的剪裁范围的中心的位置。例如,俯视图像显示范围设定部88可以从预先设定的第一左右位置、第二左右位置以及第三左右位置中任一位置,选择并设定俯视图像内左右方向上的剪裁范围的中心。第一左右位置在俯视图像内比中心靠右侧。第二左右位置在俯视图像内比中心靠左侧。第三左右位置在俯视图像内中央(例如,中心)。俯视图像显示范围设定部88将剪裁范围的中心设定在第三左右位置,直至目标停车位置由乘坐人员选择并固定。
俯视图像显示范围设定部88在设定为目标停车位置之前,都选择第三左右位置作为剪裁范围的左右位置。若被判定为在牵引被牵引车辆20,从而选择了第二显示范围,且在停车模式下乘坐人员选择了目标停车位置,则俯视图像显示范围设定部88可以在左右方向上,将剪裁范围设定在俯视图像内所选择的目标停车位置侧。例如,若目标停车位置方向判定部74判定为乘坐人员选择了右侧的目标停车位置,则俯视图像显示范围设定部88选择第一左右位置。若目标停车位置方向判定部74判定为乘坐人员选择了左侧的目标停车位置,则俯视图像显示范围设定部88选择第二左右位置。
俯视图像显示范围设定部88将拍摄图像和俯视图像、以及设定为剪裁范围的第一显示范围和第二显示范围中任一个、剪裁范围的前后及左右的位置、牵引车辆10在前后方向上的行进方向、目标停车位置,输出至显示图像生成部90。另外,将由剪裁范围的前后及左右的位置确定的剪裁范围的中心的位置,记载为剪裁位置。
显示图像生成部90对俯视图像之中的剪裁范围进行剪裁,来生成显示用俯视图像,并生成包含叠加有牵引车辆10的图像的显示用俯视图像的显示图像。例如,显示图像生成部90基于从俯视图像显示范围设定部88获取的俯视图像、剪裁范围和剪裁位置,来生成显示用俯视图像。具体而言,显示图像生成部90将剪裁范围配置在俯视图像内的剪裁位置,剪裁出该剪裁范围内的俯视图像,来生成显示用俯视图像。进一步地,显示图像生成部90可以在通常模式时将牵引车辆10的图像,而在牵引模式时将牵引车辆10和被牵引车辆20的图像,叠加在剪裁出的显示用俯视图像中。若设定为停车模式,则显示图像生成部90也可以基于从俯视图像显示范围设定部88获取的目标停车位置,将目标停车位置的图像叠加在显示用俯视图像中。
此外,显示图像生成部90可以基于牵引车辆10在前后方向上的行进方向,从多个拍摄图像中选择一个拍摄图像,并在不转换视点的情况下基于该拍摄图像生成周边图像。另外,显示图像生成部90可以不对拍摄图像进行图像处理而作为周边图像,也可以对拍摄图像进行消除失真等的图像处理来生成周边图像。例如,当牵引车辆10向前方行进时,显示图像生成部90选择拍摄部14a所拍摄的前方周边的拍摄图像,作为周边图像。而当牵引车辆10倒退时,显示图像生成部90选择拍摄部14b所拍摄的后方周边的拍摄图像,作为周边图像。显示图像生成部90也可以使行进路线等叠加在周边图像中来生成显示用的周边图像。进一步地,在牵引模式时,显示图像生成部90也可以使被牵引车辆20的图像叠加在周边图像中。
显示图像生成部90可以生成包含显示用俯视图像和周边图像的显示图像。例如,显示图像生成部90可以生成显示用俯视图像配置在左侧而周边图像配置在右侧的显示图像。显示图像生成部90将显示图像输出至显示图像输出部92。
显示图像输出部92将从显示图像生成部90获取的显示图像,输出至显示部38进行显示。
存储部66作为ROM60b、RAM60c以及SSD60f等的功能来实现。存储部66存储处理部64所执行的程序、执行程序所需要的数据、以及通过执行程序而生成的数据。存储部66也可以作为外设存储装置的功能来实现。例如,存储部66存储处理部64所执行的停车辅助程序94。存储部66存储执行停车辅助程序94所需要的数值数据96。数值数据96例如包括:包含剪裁范围的长宽长度的第一显示范围及第二显示范围的信息、以及俯视图像内剪裁位置的前后方向及左右方向的坐标等。存储部66暂时存储通过执行停车辅助程序94而生成的周边图像、俯视图像、显示图像、以及剪裁范围的大小及位置等。
图5是表示选择通常模式和牵引模式的模式设定图像IMa的一个示例的图。如图5所示,牵引判定部78将包含通常模式按钮Bt1和牵引模式按钮Bt2的模式设定图像IMa显示于显示部38,来接受乘坐人员对模式进行选择。具体而言,若从输入信息获取部76获取了乘坐人员触碰了通常模式按钮Bt1的信息,则牵引判定部78判定为通常模式被选择,而若从输入信息获取部76获取了触碰了牵引模式按钮Bt2的信息,则判定为牵引模式被选择。
图6是用于说明俯视图像BV和剪裁范围的大小及位置的例示性俯视图。图7是表示在被判定为未牵引被牵引车辆20且牵引车辆10前进时的显示图像IMe的一个示例的图。图8是表示在被判定为未牵引被牵引车辆20且牵引车辆10倒退时的显示图像IMe的一个示例的图。图9是表示在被判定为在牵引被牵引车辆20且牵引车辆10前进时的显示图像IMe的一个示例的图。图10是表示在被判定为在牵引被牵引车辆20且牵引车辆10倒退时的显示图像IMe的一个示例的图。图11是表示在被判定为在牵引被牵引车辆20、设定为停车模式且前进时的显示图像IMe的一个示例的图。图12是表示在被判定为在牵引被牵引车辆20、设定为停车模式且选择了右侧的目标停车位置时的显示图像IMe的一个示例的图。图13是表示在被判定为在牵引被牵引车辆20、设定为停车模式且选择了左侧的目标停车位置时的显示图像IMe的一个示例的图。图14是表示在被判定为在牵引被牵引车辆20、设定为停车模式且选择了右侧的目标停车位置、并且边转弯边倒退时的显示图像IMe的一个示例的图。
俯视图像生成部86通过图像获取部82,从多个(例如,四个)拍摄部14分别获取拍摄图像,生成图6中粗实线所示俯视图像BV。图6所示牵引车辆10的图像(以下记载为“本车图像IMf”)表示俯视图像BV内牵引车辆10的位置。牵引车辆10的位置例如是俯视图像BV的中心。俯视图像显示范围设定部88基于是否在牵引被牵引车辆20、是否设定为停车模式、以及所选择的目标停车位置在左右方向上的位置,来设定剪裁范围的大小及位置。
例如,当牵引判定部78判定为通常模式被选择且被牵引车辆20未被牵引时,俯视图像显示范围设定部88选择图6中细实线所示第一显示范围Ar1,并选择第三前后位置和第三左右位置作为剪裁位置,来配置第一显示范围Ar1。换言之,俯视图像显示范围设定部88将第一显示范围Ar1设定在俯视图像BV的中央位置。显示图像生成部90剪裁出俯视图像BV之中由设定的第一显示范围Ar1包围的区域,生成显示用俯视图像。由此,显示图像生成部90生成如图7和图8所示包含显示用俯视图像IMc的显示图像IMe,其中本车图像IMf叠加在显示用俯视图像IMc的中央。另外,即使牵引车辆10发生移动,显示图像生成部90也不移动本车图像IMf在显示用俯视图像IMc内的位置。因此,显示图像生成部90基于从转向操作部传感器54获取的转向角的信息、以及从轮速传感器56获取的轮速信息,来计算牵引车辆10的行驶路径,并改变或移动显示用俯视图像IMc。显示图像生成部90也可以生成包含显示用俯视图像IMc、以及牵引车辆10的行进方向的周边图像IMd的显示图像IMe。例如,当牵引车辆10前进时,显示图像生成部90可以生成如图7所示包含拍摄部14a所拍摄的前方的周边图像IMd的显示图像IMe。当牵引车辆10倒退时,显示图像生成部90可以生成如图8所示包含拍摄部14b所拍摄的后方的周边图像IMd的显示图像IMe。此外,显示图像生成部90也可以将辅助行驶的辅助线SL叠加在显示图像IMe中。例如,当牵引车辆10前进时,显示图像生成部90可以将表示牵引车辆10向前方行驶的轨迹、以及与牵引车辆10的距离(例如,1m)的辅助线SL,叠加在显示用俯视图像IMc及周边图像IMd中。当牵引车辆10倒退时,显示图像生成部90可以叠加表示牵引车辆10向前方及后方行驶的轨迹、以及与牵引车辆10的距离(例如50cm、1m、2.5m)的辅助线SL。
当牵引判定部78判定为在牵引被牵引车辆20时,俯视图像显示范围设定部88选择图6所示第二显示范围Ar2a、Ar2b、Ar2c、Ar2d中的任一个,作为剪裁范围。当无需区分第二显示范围Ar2a、Ar2b、Ar2c、Ar2d时,记载为第二显示范围Ar2。另外,虽然在第二显示范围Ar2a、Ar2b、Ar2c、Ar2d之中,为了避免线条重复而改变了一部分左右的宽度,但第二显示范围Ar2a、Ar2b、Ar2c、Ar2d的左右的宽度均相同。进一步地,俯视图像显示范围设定部88基于牵引车辆10在前后方向上的行进方向、是否设定为停车模式、以及停车模式下乘坐人员所选择的目标停车位置在左右方向上的位置,来设定俯视图像BV内第二显示范围Ar2的剪裁位置。
显示图像生成部90基于俯视图像显示范围设定部88所设定的第二显示范围Ar2以及第二显示范围Ar2的位置,对俯视图像BV进行剪裁来生成显示用俯视图像IMc,从而生成包含该显示用俯视图像IMc和周边图像IMd的显示图像IMe。这里,第二显示范围Ar2比第一显示范围Ar1大,但显示图像IMe内显示用俯视图像IMc的显示区域的大小对于第二显示范围Ar2和第一显示范围Ar1均相同。因此,显示图像生成部90使第二显示范围Ar2的显示用俯视图像IMc与第一显示范围Ar1的显示用俯视图像IMc相比较为缩小,或者使第一显示范围Ar1的显示用俯视图像IMc与第二显示范围Ar2的显示用俯视图像IMc相比较为增大。
当在设定为停车模式之前且牵引判定部78判定为在牵引被牵引车辆20时,俯视图像显示范围设定部88选择第一前后位置和第三左右位置作为剪裁位置,如图6所示第二显示范围Ar2a。这里,第一前后位置比俯视图像BV的中心、以及第二前后位置和第三前后位置靠后方。此时,显示图像生成部90剪裁出第二显示范围Ar2a的俯视图像BV,生成本车图像IMf配置在比中心靠前方处的显示用俯视图像IMc,如图9和图10所示。显示图像生成部90也可以将被牵引车辆20的图像(以下记载为“被牵引图像IMg”)叠加在显示用俯视图像IMc中。
此外,即使在牵引判定部78判定为在牵引被牵引车辆20的情况下,当牵引车辆10前进时,显示图像生成部90也可以生成包含拍摄部14a所拍摄的前方的周边图像IMd的显示图像IMe,如图9所示。当牵引车辆10倒退时,显示图像生成部90可以生成包含拍摄部14b所拍摄的后方的周边图像IMd、以及实际拍摄到的被牵引车辆20的真实被牵引图像IMh的显示图像IMe,如图10所示。显示图像生成部90也可以将辅助行驶的辅助线SL叠加在显示图像IMe中。进一步地,显示图像生成部90还可以在显示图像IMe中包含用于接受停车模式的“Guide”按钮Bt3。
当被判定为在牵引被牵引车辆20、乘坐人员操作“Guide”按钮Bt3设定了停车模式并且牵引车辆10前进时,俯视图像显示范围设定部88选择第二前后位置和第三左右位置作为剪裁位置,如图6所示第二显示范围Ar2b。这里,第二前后位置比俯视图像BV的中心、第一前后位置和第三前后位置靠前方。此时,显示图像生成部90剪裁出第二显示范围Ar2b的俯视图像BV,生成本车图像IMf的中心配置在后半部分且本车图像IMf的前端配置在中心附近的显示用俯视图像IMc,如图11所示。
此外,当被判定为在牵引被牵引车辆20、设定为停车模式并且前进时,显示图像生成部90可以生成包含拍摄部14a所拍摄的前方的周边图像IMd的显示图像IMe,如图11所示。显示图像生成部90也可以将辅助行驶的辅助线SL叠加在显示图像IMe中。这里,若在设定为停车模式的状态下,获取了目标停车位置设定部84所检测到的目标停车位置的位置信息,则显示图像生成部90可以将目标停车位置的图像(以下记载为“目标位置图像IMj”)叠加在显示用俯视图像IMc中。进一步地,显示图像生成部90还可以将用于解除停车模式的“Cancel”按钮Bt5、以及用于决定目标停车位置的“Next”按钮Bt4包含在显示图像IMe中。
当被判定为在牵引被牵引车辆20、设定为停车模式、乘坐人员选择了目标停车位置并且前进时,俯视图像显示范围设定部88选择第二前后位置、以及与目标停车位置的位置相应的第一左右位置或第二左右位置中任一个作为剪裁位置,如图6所示第二显示范围Ar2c、Ar2d。例如,当目标停车位置方向判定部74判定为所选择的目标停车位置在右侧时,俯视图像显示范围设定部88选择第二前后位置和第一左右位置作为剪裁位置。另外,第一左右位置在俯视图像BV内比中心靠右侧。此时,显示图像生成部90在俯视图像BV内剪裁出配置在目标停车位置侧(即,右侧)的第二显示范围Ar2c内的俯视图像BV,如图12所示。由此,显示图像生成部90生成下述显示用俯视图像IMc,其中,本车图像IMf配置在比中心靠左侧处,且与目标停车位置被设定之前相比目标位置图像IMj更接近中心侧。而且,此时,显示图像生成部90也可以生成包含拍摄部14a所拍摄的前方(即,行进方向侧)的周边图像IMd的显示图像IMe,如图12所示。显示图像生成部90也可以在选择目标停车位置前后,改变目标位置图像IMj的颜色(例如,由灰色变为蓝色)等。显示图像生成部90也可以将辅助行驶的辅助线SL叠加在显示图像IMe中。这里,若目标停车位置被设定,则显示图像生成部90也可以消除“Cancel”按钮Bt5,并再次显示用于再次设定目标停车位置的“Guide”按钮Bt3。
当目标停车位置方向判定部74判定为所选择的目标停车位置在左侧时,俯视图像显示范围设定部88选择第二前后位置和第二左右位置作为剪裁位置。另外,第二左右位置在俯视图像BV内比中心靠左侧。此时,显示图像生成部90在俯视图像BV内剪裁出配置在目标停车位置侧(即,左侧)的第二显示范围Ar2d内的俯视图像BV,如图13所示。由此,显示图像生成部90生成下述显示用俯视图像IMc,其中,本车图像IMf配置在比中心靠右侧处,且与目标停车位置被设定之前相比目标位置图像IMj更接近中心侧。此时,显示图像生成部90也可以将前方的周边图像IMd和“Guide”按钮Bt3显示在显示图像IMe内。
另外,虽然图6中为了避免线条重复而将第二显示范围Ar2b、Ar2c、Ar2d的前后的位置错开来图示,但第二显示范围Ar2b、Ar2c、Ar2d的前后的位置均相同。
当被判定为在牵引被牵引车辆20、设定为停车模式且牵引车辆10倒退时,俯视图像显示范围设定部88选择第一前后位置、以及作为左右位置的第三左右位置来作为剪裁位置,如图6所示第二显示范围Ar2a。换言之,当被判定为在牵引被牵引车辆20且倒退时,不论是否设定了停车模式和目标停车位置,俯视图像显示范围设定部88都选择图6所示第二显示范围Ar2a的位置。因此,当被判定为在牵引被牵引车辆20、停车模式和目标停车位置被设定且牵引车辆10倒退时,显示图像生成部90生成本车图像IMf配置在比中心靠前方处且叠加有目标位置图像IMj的显示用俯视图像IMc,如图14所示。
这里,当被判定为在牵引被牵引车辆20、停车模式和目标停车位置被设定且牵引车辆10边转弯边倒退时,显示图像生成部90使表示被牵引车辆20的被牵引图像IMg相对于本车图像IMf倾斜配置,如图14所示。另外,即使在其他模式下,当牵引车辆10在转弯时,显示图像生成部90也可以使被牵引图像IMg对应于该转弯而相对于本车图像IMf倾斜配置。显示图像生成部90可以生成包含该显示用俯视图像IMc、以及拍摄部14b所拍摄的后方的周边图像IMd的显示图像IMe。
图15是处理部64所执行的停车辅助处理的前半部分的例示性流程图。图16是处理部64所执行的停车辅助处理的后半部分的例示性流程图。处理部64通过读取存储部66中所存储的停车辅助程序94,来执行停车辅助处理。
如图15所示,停车辅助处理中,首先,图像获取部82从各拍摄部14获取拍摄图像,并输出至目标停车位置设定部84和俯视图像生成部86(S102)。俯视图像生成部86基于所获取的拍摄图像,生成包含的范围在现实世界中比显示用俯视图像IMc大的俯视图像BV(S104)。
接着,牵引判定部78对牵引车辆10是否在牵引被牵引车辆20,进行判定(S106)。例如,牵引判定部78可以基于通过输入信息获取部76获取的、乘坐人员是选择了通常模式按钮Bt1还是牵引模式按钮Bt2的信息,来判定是否在牵引。当乘坐人员触碰通常模式按钮Bt1进行了选择时,牵引判定部78判定为未牵引(S106:否),并将该信息输出至俯视图像显示范围设定部88。另外,当按钮Bt1、Bt2均未被触碰时,牵引判定部78也可以判定通常模式被选择,并判定为未牵引。当从牵引判定部78获取了未牵引的信息时,俯视图像显示范围设定部88选择第一显示范围Ar1作为剪裁范围,选择第三前后位置和第三左右位置作为剪裁位置,并输出至显示图像生成部90(S202)。
显示图像生成部90对俯视图像生成部86所生成的俯视图像BV之中的、配置在第三前后位置和第三左右位置的第一显示范围Ar1内进行剪裁,生成显示用俯视图像IMc(S220)。显示图像生成部90生成包含该显示用俯视图像IMc和周边图像IMd的显示图像IMe,如图7或图8所示,并输出至显示图像输出部92(S222)。显示图像输出部92将所获取的显示图像IMe输出至显示部38进行显示(S224)。然后,处理部64重复步骤S102及之后的步骤。
当乘坐人员触碰牵引模式按钮Bt2进行了选择时,牵引判定部78判定牵引车辆10在牵引被牵引车辆20(S106:是),并将该信息输出至俯视图像显示范围设定部88。前进倒退判定部72对牵引车辆10是否在前进,进行判定(S108)。例如,前进倒退判定部72可以基于通过车辆信息获取部70获取的由变速部传感器52检测到的变速部32的位置信息,来判定牵引车辆10是否在前进。当变速部32被设定为倒车档进行倒退时,前进倒退判定部72可以基于变速部32的位置信息,判定为未前进(S108:否),并将在倒退的信息输出至俯视图像显示范围设定部88。若获取了在牵引的信息以及在倒退的信息,则俯视图像显示范围设定部88选择第二显示范围Ar2作为剪裁范围,选择第一前后位置和第三左右位置作为剪裁位置,并输出至显示图像生成部90(S204)。
显示图像生成部90对俯视图像生成部86所生成的俯视图像BV之中的、配置在第一前后位置和第三左右位置的第二显示范围Ar2a内进行剪裁,生成显示用俯视图像IMc(S220)。显示图像生成部90生成叠加有被牵引图像IMg和“Guide”按钮Bt3等的、包含该显示用俯视图像IMc以及周边图像IMd的显示图像IMe,如图10所示,并输出至显示图像输出部92(S222)。另外,如下所述,在目标停车位置被设定后,重复步骤102及之后的步骤时,显示图像生成部90生成图14所示显示图像IMe。显示图像输出部92将所获取的显示图像IMe输出至显示部38进行显示(S224)。然后,处理部64重复步骤S102及之后的步骤。
当驾驶员将变速部32设定为前进档等时,前进倒退判定部72判定为牵引车辆10在前进(S108:是),并将前进中的信息输出至俯视图像显示范围设定部88。停车模式判定部80对是否设定为停车模式,进行判定(S110)。例如,停车模式判定部80可以基于通过输入信息获取部76获取的、乘坐人员对“Guide”按钮Bt3的触碰,来判定是否设定为停车模式。当乘坐人员没有触碰“Guide”按钮Bt3时,或者当乘坐人员触碰了“Cancel”按钮Bt5时,判定为未设定为停车模式(S110:否)。若获取了判定为在牵引被牵引车辆20的信息、在前进的信息以及为非停车模式的信息,则俯视图像显示范围设定部88选择第二显示范围Ar2作为剪裁范围,选择第一前后位置和第三左右位置作为剪裁位置,并输出至显示图像生成部90(S204)。显示图像生成部90对配置在第一前后位置和第三左右位置的第二显示范围Ar2a内进行剪裁,生成显示用俯视图像IMc(S220)。显示图像生成部90生成叠加有被牵引图像IMg及“Guide”按钮Bt3等的、包含该显示用俯视图像IMc及周边图像IMd的显示图像IMe(S222),如图9所示。处理部64执行上述步骤S224及之后的步骤,并将显示图像IMe显示于显示部38,然后重复步骤S102及之后的步骤。
当乘坐人员触碰“Guide”按钮Bt3进行了选择时,停车模式判定部80判定停车模式被选择(S110:是),并将停车模式被选择的信息输出至目标停车位置设定部84及俯视图像显示范围设定部88。若获取了停车模式被选择的信息,则目标停车位置设定部84基于从图像获取部82获取的拍摄图像来设定目标停车位置,并输出至俯视图像显示范围设定部88(S112)。
接着,停车模式判定部80对目标停车位置是否被选择,进行判定(S114)。例如,停车模式判定部80可以基于通过输入信息获取部76获取的、乘坐人员对“Next”按钮Bt4的操作,判定目标停车位置是否被选择。当乘坐人员没有触碰“Next”按钮Bt4时,停车模式判定部80判定未选择目标停车位置(S114:否),并将尚未选择目标停车位置的信息输出至俯视图像显示范围设定部88。若从牵引判定部78获取了判定为在牵引被牵引车辆20的信息,并从停车模式判定部80获取了在前进且停车模式下目标停车位置未被选择的信息,则俯视图像显示范围设定部88选择第二显示范围Ar2作为剪裁范围,选择第二前后位置和第三左右位置作为剪裁位置,并输出至显示图像生成部90(S206)。
显示图像生成部90对俯视图像生成部86所生成的俯视图像BV之中的、配置在第二前后位置和第三左右位置的第二显示范围Ar2b内进行剪裁,生成显示用俯视图像IMc(S220)。显示图像生成部90生成叠加有目标位置图像IMj及按钮Bt4、Bt5等的、包含该显示用俯视图像IMc和周边图像IMd的显示图像IMe,如图11所示,并输出至显示图像输出部92(S222)。显示图像输出部92将所获取的显示图像IMe输出至显示部38进行显示(S224)。然后,处理部64重复步骤S102及之后的步骤。
当乘坐人员触碰“Next”按钮Bt4进行了选择时,停车模式判定部80判定目标停车位置被选择(S114:是),并将目标停车位置被选择的信息输出至俯视图像显示范围设定部88。目标停车位置方向判定部74对所选择的目标停车位置是否在左侧,进行判定(S116)。例如,目标停车位置方向判定部74可以基于通过车辆信息获取部70获取的方向指示开关34的位置信息,判定目标停车位置是否在左侧。当右侧的方向指示器16点亮时,目标停车位置方向判定部74基于方向指示开关34的位置信息,判定所选择的目标停车位置是在右侧而不是在左侧(S116:否),并将在右侧的信息输出至俯视图像显示范围设定部88。若判定为在牵引被牵引车辆20,并获取了在前进且停车模式下右侧的目标停车位置被选择的信息,则俯视图像显示范围设定部88选择第二显示范围Ar2作为剪裁范围,选择第二前后位置和第一左右位置作为剪裁位置,并输出至显示图像生成部90(S208)。
显示图像生成部90对俯视图像生成部86所生成的俯视图像BV之中的、配置在第二前后位置和第一左右位置的第二显示范围Ar2c内进行剪裁,生成显示用俯视图像IMc(S220)。显示图像生成部90生成叠加有“Guide”按钮Bt3等的、包含该显示用俯视图像IMc和周边图像IMd的显示图像IMe,如图12所示,并输出至显示图像输出部92(S222),其中在该显示用俯视图像IMc中,在左右方向上目标位置图像IMj靠近中心,且本车图像IMf靠近左侧。显示图像输出部92将所获取的显示图像IMe输出至显示部38进行显示(S224)。然后,处理部64重复步骤S102及之后的步骤。
当左侧的方向指示器16点亮时,目标停车位置方向判定部74基于方向指示开关34的位置信息,判定为所选择的目标停车位置在左侧(S116:是),并将在左侧的信息输出至俯视图像显示范围设定部88。若获取了被判定为在牵引被牵引车辆20、并且在前进且停车模式下选择了左侧的目标停车位置的信息,则俯视图像显示范围设定部88选择第二显示范围Ar2作为剪裁范围,选择第二前后位置和第二左右位置作为剪裁位置,并输出至显示图像生成部90(S210)。
显示图像生成部90对俯视图像生成部86所生成的俯视图像BV之中的、配置在第二前后位置和第二左右位置的第二显示范围Ar2d内进行剪裁,生成显示用俯视图像IMc(S220)。显示图像生成部90生成叠加有“Guide”按钮Bt3等的、包含该显示用俯视图像IMc和周边图像IMd的显示图像IMe,如图13所示,并输出至显示图像输出部92(S222),其中在该显示用俯视图像IMc中,在左右方向上目标位置图像IMj靠近中心,且本车图像IMf靠近右侧。显示图像输出部92将所获取的显示图像IMe输出至显示部38进行显示(S224)。然后,处理部64重复步骤S102及之后的步骤。
如上所述,停车辅助装置60中,若被判定为在牵引被牵引车辆20,则俯视图像显示范围设定部88选择比第一显示范围Ar1大的第二显示范围Ar2,且显示图像生成部90对基于拍摄图像而生成的俯视图像BV之中的、该第二显示范围Ar2内进行剪裁,作为显示用俯视图像IMc。由此,若牵引判定部78判定为在牵引被牵引车辆20,则与判定为未牵引时相比,停车辅助装置60能够显示出包含现实世界中更大范围的显示用俯视图像IMc的显示图像IMe。由此,即使在牵引被牵引车辆20从而车辆整体变长的情况下,停车辅助装置60也能够提供牵引车辆10和被牵引车辆20的周边容易目视辨识的显示图像IMe。
停车辅助装置60中,若被判定为在牵引被牵引车辆20,则俯视图像显示范围设定部88选择与第一显示范围Ar1相比左右方向上的范围更大的第二显示范围Ar2。显示图像生成部90对基于拍摄图像而生成的俯视图像BV之中的、第二显示范围Ar2内进行剪裁,生成显示用俯视图像IMc。由此,对于停车辅助装置60,即使牵引车辆10转弯中受到被牵引车辆20遮挡的区域变多,也能够向乘坐人员提供牵引车辆10的包含左右的障碍物等的周边容易目视辨识的显示图像IMe。
停车辅助装置60中,当牵引车辆10倒退时,俯视图像显示范围设定部88将设定在第二显示范围Ar2的剪裁范围,设定在比俯视图像BV的中心靠后方的第一前后位置。由此,停车辅助装置60通过更多地包含有作为行进方向的后方的图像的显示用俯视图像IMc,能够使显示图像IMe更容易目视辨识。进一步地,由于选择了较大的第二显示范围Ar2,所以停车辅助装置60能够使后方的图像增多并降低前方及左右的图像的减少,从而能够提供后方以外的方向的障碍物等容易目视辨识的显示图像IMe。
停车辅助装置60中,当在牵引被牵引车辆20,且接受了停车模式的指示,并且牵引车辆10前进时,俯视图像显示范围设定部88将设定在第二显示范围Ar2的剪裁范围,设定在比俯视图像BV的中心靠前方的第二前后位置。由此,停车辅助装置60通过更多地包含有作为行进方向的前方的图像并叠加有目标位置图像IMj的显示用俯视图像IMc,能够提供作为行进方向的前方及目标停车位置容易目视辨识的显示图像IMe。
停车辅助装置60中,当在牵引被牵引车辆20,且接受了停车模式的指示,牵引车辆10前进并且目标停车位置被选择时,俯视图像显示范围设定部88将设定在第二显示范围Ar2的剪裁范围设定在目标停车位置侧。由此,停车辅助装置60能够提高将牵引车辆10和被牵引车辆20以及所选择的目标停车位置包含于显示用俯视图像IMc的概率。其结果是,即使在牵引车辆10边转弯边倒退的情况下,停车辅助装置60也能够提供包含下述显示用俯视图像IMc的显示图像IMe,其中在该显示用俯视图像IMc中,更多地包含有所选择的目标停车位置附近的图像,并叠加有目标位置图像IMj。因此,停车辅助装置60能够提供下述显示图像IMe,其中在该显示图像IMe中,作为行进方向的前方、以及所选择的目标停车位置附近的障碍物等容易目视辨识,并且牵引车辆10和被牵引车辆20以及所选择目标停车位置之间的位置关系等容易掌握。
停车辅助装置60中,显示图像生成部90生成包含显示用俯视图像IMc、以及牵引车辆10的行进方向的周边图像IMd的显示图像IMe。由此,即使在使剪裁范围在俯视图像BV内前后移动,从而使显示用俯视图像IMc的前方和后方其中一个区域增加而另一区域减少的情况下,停车辅助装置60也能够提供行进方向的状况容易目视辨识的显示图像IMe。
接下来,对变更了显示图像IMe的一部分的变形例进行说明。
第一变形例
图17是表示实施方式1的第一变形例的显示图像IMe的一个示例的图。若牵引判定部78判定为在牵引被牵引车辆20,则俯视图像显示范围设定部88选择第二显示范围Ar2,当牵引车辆10前进时,也可以如图6所示第二显示范围Ar2b,将剪裁范围的中心设定在第二前后位置。此时,显示图像生成部90生成包含使本车图像IMf配置在比中心靠后方处的显示用俯视图像IMc的显示图像IMe,如图17所示。由此,停车辅助装置60通过更多地包含有作为行进方向的前方的图像的显示用俯视图像IMc,能够使显示图像IMe更容易目视辨识。
第二变形例
图18是表示实施方式1的第二变形例的显示图像IMe的一个示例的图。当牵引判定部78判定为在牵引被牵引车辆20时,俯视图像显示范围设定部88选择第二显示范围Ar2,在设定为停车模式且牵引车辆10倒退的情况下,也可以如图6所示第二显示范围Ar2a,将剪裁范围的中心设定在第一前后位置。此时,显示图像生成部90生成包含使本车图像IMf配置在比中心靠前方处且叠加有目标位置图像IMj的显示用俯视图像IMc的显示图像IMe,如图18所示。由此,停车辅助装置60通过更多地包含有作为行进方向的后方的图像并叠加有目标位置图像IMj的显示用俯视图像IMc,能够提供作为行进方向的后方及目标停车位置容易目视辨识的显示图像IMe。
上述实施方式1的结构的功能、连接关系、数量、配置等可以在发明范围及其等同范围内适当地进行变更、删除等。实施方式1及变形例也可以适当地进行组合。实施方式的各步骤的顺序可以适当地进行变更。
例如,虽然上述实施方式1中举出的是,牵引判定部78在乘坐人员设定了牵引模式时判定被牵引车辆20在被牵引的例子,但牵引判定部78也可以通过其他判定方法来对被牵引车辆20是否在被牵引进行判定。例如,牵引判定部78也可以基于拍摄部14b所拍摄的牵引车辆10的后方的拍摄图像,判定牵引车辆10是否在牵引被牵引车辆20。另外,牵引判定部78也可以基于测距传感器等对牵引车辆10的后方进行测距而得到的测距信息等,以代替拍摄图像,来判定牵引车辆10是否在牵引被牵引车辆20。
虽然上述实施方式1中举出的是,第二显示范围Ar2在左右方向和前后方向上均比第一显示范围Ar1大的例子,但第二显示范围Ar2的形状不限于此。例如,第二显示范围Ar2可以是在左右方向上比第一显示范围Ar1大。此外,第二显示范围Ar2也可以是在前后方向上比第一显示范围Ar1大。
虽然上述实施方式1中举出的是,俯视图像显示范围设定部88从第一显示范围Ar1和第二显示范围Ar2这两个显示范围中选择剪裁范围的例子,但显示范围的数量不限于两个。例如,俯视图像显示范围设定部88也可以从包含第一显示范围Ar1和第二显示范围Ar2的三个以上的显示范围中,选择剪裁范围。
虽然上述实施方式1中举出的是,目标停车位置方向判定部74基于方向指示器16所表示的方向来判定目标停车位置的左右位置的方法的例子,但目标停车位置方向判定部74对目标停车位置的左右位置进行判定的判定方法不限于此。例如,目标停车位置方向判定部74也可以基于在乘坐人员选择后显示于显示图像的目标停车位置,来判定乘坐人员所选择的目标停车位置在左右方向上的位置。
实施方式2
以下,对实施方式2进行详细说明。另外,实施方式2所示停车辅助装置60(有时也称为周边监视装置)与实施方式1相同,能够搭载于图1所示牵引车辆10,且能够将例如用于停车辅助(周边监视)的图像显示于显示部38。此外,包含实施方式2的停车辅助装置(周边监视装置)的停车辅助系统(周边监视系统)的基本结构与实施方式1的停车辅助系统50相同,适当地继续使用图1至图3进行说明。
图19是实施方式2的停车辅助装置60(周边监视装置)中所包含的CPU60a的结构的例示性框图。CPU60a具备用于实现识别被连结至牵引车辆10的被牵引车辆20、显示表示识别结果的指示标记、或改变其显示形态的处理的各种模块。各种模块是通过由CPU60a读取安装且存储于ROM60b等存储装置中的程序并执行这些程序来实现的。例如,CPU60a如图19所示具备获取部144、识别部146、图像转换部148、控制部150等模块。
获取部144获取例如从被牵引车辆20能够连结的牵引车辆10,拍摄该牵引车辆10的后方区域而得到的拍摄图像。具体而言,获取部144例如获取用于显示挂车图标(实施方式1的被牵引图像IMg)、或显示表示识别到被牵引车辆20并且表示牵引车辆10的移动方向等的引导线(例如,参考线或移动位置预测线(实施方式1的辅助线SL)等)的各种信息,作为表示是否识别到被牵引车辆20的指示标记。获取部144例如包括图像获取部144a、转向角获取部144b、档位获取部144c、连结角度获取部144d、监视要求获取部144e等。
图像获取部144a获取由设置于牵引车辆10的后部的拍摄部14b所拍摄的牵引车辆10的后方图像(后方区域的图像)。图20是基于拍摄部14b所拍摄的拍摄图像数据的图像P(后方图像)的一个示例。拍摄部14b固定于牵引车辆10的后部,拍摄方向及拍摄范围被固定。因而,在拍摄部14b所拍摄图像P的规定位置(图20的情况下为下端侧区域)拍摄到牵引车辆10的后保险杠10a、牵引装置18(拖拉球18a)等。此外,当被牵引车辆20被连结至牵引车辆10时,图像P中,以后保险杠10a等为基准在规定的区域中拍摄到被牵引车辆20的前方部的一部分以及连结构件26(连结器28)。图20所示图像P表示出,以牵引车辆10的牵引装置18(拖拉球18a)为支点,连结构件26(被牵引车辆20、连结器28)例如向箭头T1方向转弯(被拐弯牵引)而成为连结角度θ(车辆中心轴M与连结中心轴N所成的角度)的状态。此时,被牵引车辆20从牵引车辆10的驾驶席观察时是在向左侧转弯(拐弯)。CPU60a通过对该图像P进行图像处理,能够对被牵引车辆20进行识别以及对连结角度θ进行检测。此外,图像获取部144a能够获取由设于牵引车辆10的前保险杠10b的拍摄部14a所拍摄的牵引车辆10的前方图像,且CPU60a例如能够在牵引车辆10前进行驶时将由拍摄部14a拍摄的前方图像显示于显示部38。另外,图像获取部144a还可以从拍摄牵引车辆10的左右的侧方图像的拍摄部14c、14d,获取拍摄图像数据。这样,CPU60a通过使图像获取部144a除后方图像以外还获取前方图像、左右的侧方图像,能够生成表示牵引车辆10的周边状况的车辆周边图像(例如,俯视图像)。
转向角获取部144b获取转向操作部传感器54(转向角传感器)所检测的牵引车辆10的转向角。也即是说,获取驾驶员将要使牵引车辆10(被牵引车辆20)行驶的方向的转向角。此外,档位获取部144c基于变速部传感器52(档位传感器)所输出的变速操作部的可动部的位置,获取牵引车辆10是能够前进的状态还是能够倒退的状态。转向角获取部144b可以参照档位获取部144c的获取结果,来识别当前的转向角是能够前进的状态时的转向角还是能够倒退的状态时的转向角。连结角度获取部144d获取被牵引车辆20被连结至牵引车辆1时的连结角度,即被牵引车辆20的连结构件26(连结中心轴N)相对于牵引车辆10的车辆中心轴M的角度。连结角度获取部144d能够通过对图像获取部144a所获取的图像P(参照图20)进行图像处理,来检测连结构件26(连结中心轴N)。而且,连结角度获取部144d能够通过检测连结构件26(连结中心轴N)相对于车辆中心轴M的转弯方向(箭头T1或箭头T2)的位移角,来获取牵引车辆10与被牵引车辆20之间的连结角度θ。此外,在其他实施方式中,当牵引装置18具备角度检测传感器时,连结角度获取部144d也可以基于角度检测传感器的检测值来获取连结角度θ。
监视要求获取部144e获取表示是否对停车辅助系统50(周边监视系统)要求了向周边监视模式转移的信息,该周边监视模式是对是否识别到被牵引车辆20进行监视。监视要求获取部144e例如能够通过由驾驶员操作的操作输入部42,来接受表示是否要求了向周边监视模式转移的信号。
识别部146例如基于拍摄图像来识别连结状态的被牵引车辆20。具体而言,识别部146通过对图像获取部144a所获取的、由拍摄部14b拍摄的图像P(后方图像)进行公知的图像处理,来识别(检测)能够连结至牵引车辆10的被牵引车辆20。例如,识别部146通过与ROM60b或SSD60f中所存储的样本形状进行比较,来对被牵引车辆20进行形状识别,当判定为在图像P中的规定区域存在被牵引车辆20时,可以视为被牵引车辆20被连结至牵引车辆10,即停车辅助系统50识别到被牵引车辆20。此外,当在图像P中的规定区域检测到被牵引车辆20的一部分例如附在前端面的目标标记时,识别部146也可以视为被牵引车辆20被连结至牵引车辆10,即被识别到。此外,在其他实施方式中,识别部146也可以基于在图像P中检测到与牵引装置18连接的棒状连结构件26,视为被牵引车辆20被连结至牵引车辆10,即被识别到。因此,当在图像P之中未能检测到被牵引车辆20、目标标记和连结构件26中至少一个时,识别部146判定为被牵引车辆20为非识别(非检测)状态。另外,即使在图像P之中检测到与被牵引车辆20、目标标记以及连结构件26等的形状一致的图像的情况下,若该图像未包含在规定区域(例如,以后保险杠10a为基准的方向及位置)内,则识别部146判定为被牵引车辆20尽管在牵引车辆10周边但并未连结至牵引车辆10。此时,识别部146也判定被牵引车辆20为非识别(非检测)状态。
图像转换部148能够将拍摄部14b所拍摄的牵引车辆10的后方图像的拍摄图像数据、拍摄部14a所拍摄的牵引车辆10的前方图像的拍摄图像数据、以及左右的侧方拍摄部(拍摄部14c、14d)所拍摄的左右的侧方图像的拍摄图像数据等,通过进行视点转换并合成,来转换成如从上空向下观察牵引车辆10般的俯视图像。图21、图22表示出由图像转换部148转换后的俯视图像P1和拍摄部14b或拍摄部14a所拍摄的真实图像P2(图21、图22的情况下为拍摄部14a所拍摄的前方图像的实际图像P2)并列显示于显示部38的画面38a中的一个示例。当停车辅助系统50的控制状态转移到周边监视模式时,显示部38的画面38a从通常显示的导航画面或音响画面,被切换为如图21所示的周边监视画面。在俯视图像P1中,显示有与牵引车辆10对应的本车图像10p(实施方式1的本车图像IMf),并且在拍摄部14b所拍摄的拍摄图像数据中如图20所示拍摄到有被牵引车辆20时,包含有挂车图像20p(被牵引图像IMg)。此时,若将拍摄部14b所拍摄的被牵引车辆20转换为二维数据,则成为朝向后方延伸的挂车图像20p。另外,在本实施方式2的拍摄部14b所拍摄的后方图像中,牵引车辆10仅拍摄到后保险杠10a及牵引装置18。此外,在生成俯视图像P1时,除后方图像之外所使用的前方图像及左右的侧方图像也仅包含牵引车辆10的一部分。因而从各拍摄图像数据无法获取与本车图像10p相关的信息(形状数据)。因此,在显示俯视图像P1时,图像转换部148读取ROM60b等中预先保持的本车图像10p的显示数据,并叠加显示于俯视图像P1(二维数据)。其结果是,在俯视图像P1(车辆周边图像)上,能够显示如本车图像10p与挂车图像20p彼此连结般的图像。另外,图像转换部148也可以例如仅将后方图像的拍摄图像数据从三维数据转换为二维数据,来生成如从上空观察牵引车辆10的后方部分般的简单的俯视图像P1,并显示于显示部38,且能够获得相同的效果。
控制部150例如基于识别部146的识别结果,来对是否检测到被牵引车辆20进行判定,并根据该判定的结果,决定表示牵引车辆10或被牵引车辆20的状态的指示标记的显示形态来进行显示。此外,例如,当识别部146未识别出被牵引车辆20时,控制部150使指示标记为不被显示。此外,例如,当牵引车辆10基于牵引车辆10的转向角而倒退时,控制部150将基于该牵引车辆10的当前的转向角的移动位置预测线,作为指示标记叠加显示于拍摄图像,并且使移动位置预测线的显示形态在识别到与未识别到被牵引车辆20时不同。此外,例如,当获取部144获取牵引车辆10的周边的图像时,控制部150可以作为指示标记而将表示被牵引车辆20的车辆标记进行显示。此时,控制部150将车辆标记叠加显示在基于周边的图像的车辆周边图像中的被牵引车辆20的显示对应位置。这样,控制部150例如包括指示标记形态控制部150a、引导线生成部150b、显示切换部150c等模块,主要是为了对周边监视模式执行中叠加显示于显示部38的画面38a的要素进行控制。
指示标记形态控制部150a能够基于识别部146的识别结果,对表示连结至牵引车辆10的被牵引车辆20是否被识别到的指示标记进行显示控制,并且根据被牵引车辆20的识别状态,进行使指示标记的显示形态改变的控制。
图23至图25是作为表示连结至牵引车辆10的被牵引车辆20是否被识别到的指示标记152的挂车图标152a(车辆标记)的显示例,其显示形态由指示标记形态控制部150a控制。当被牵引车辆20被识别到时,挂车图标152a以连结至本车图像10p的后部的状态来显示,如图23所示。此时,挂车图标152a例如被点亮显示,从而明确表示出挂车图标152a连结至本车图像10p的状态。也即是说,能够明确地显示出被牵引车辆20为识别(检测)状态。
图24是在识别部146未识别到连结至牵引车辆10的被牵引车辆20时所显示的挂车图标152a。此时,通过使挂车图标152a例如闪烁显示,容易令人注意到挂车图标152a。也即是说,能够明确地显示出被牵引车辆20为未被识别到的状态。另外,当被牵引车辆20未被识别到时,可以使挂车图标152a不被显示。在主要对被牵引车辆20的连结状态进行监视的周边监视模式下,由于本来只要被牵引车辆20连结至牵引车辆10就应该会显示的是本车图像10p和挂车图标152a,但仅显示本车图像10p(挂车图标152a不被显示),所以容易给驾驶员留下强烈印象,进而使其更容易识别被牵引车辆20为非识别(非检测)状态。
图25是在识别部146未识别到连结至牵引车辆10的被牵引车辆20时所显示的另一挂车图标152a。此时,本车图像10p和挂车图标152a虽然与图23的识别到时同样地被显示,但挂车图标152a的显示形态与识别到时不同。在图25的示例的情况下,在挂车图标152a上附加了强调标记152b,例如“?”,容易令人识别被牵引车辆20为非识别状态。另外,图24、图25所示未识别到时的挂车图标152a的显示形态仅是一个示例,可以适当地变更,只要与图23所示识别到时的显示形态有区别即可。例如,指示标记形态控制部150a在变更挂车图标152a的显示形态时,可以变更挂车图标152a的显示颜色,或变更显示亮度(例如降低),亦或是变更透过率(例如提高透过度),且都能够获得相同的效果。此外,也可以对上述显示形态进行组合。例如,可以将图24的示例与图25的示例组合,在闪烁显示的挂车图标152a上附加强调标记152b,进一步对非识别进行强调。
当识别部146识别到被牵引车辆20时,如图22所示,这样的指示标记152(挂车图标152a)显示在显示部38的画面38a的俯视图像P1(车辆周边图像)中。如上所述,当被牵引车辆20连结至牵引车辆10时,本车图像10p与挂车图像20p之间的相对位置被确定。于是,当被牵引车辆20被识别部146识别到时,连结角度获取部144d能够获取在拍摄图像数据上识别到的被牵引车辆20相对于牵引车辆10的连结角度θ。因此,指示标记形态控制部150a能够以使俯视图像P1中所显示的指示标记152(挂车图标152a)相对于本车图像10p的连接角度,随牵引车辆10与被牵引车辆20之间的连结角度θ变化的状态,来重叠显示。图22的情况显示的是,牵引车辆10与被牵引车辆20笔直地连结的串联状态(前后方向上牵引车辆10的车辆中心轴M与被牵引车辆20的连结中心轴N(参照图20)重合的状态)时的本车图像10p和挂车图标152a及挂车图像20p。另外,此时,显示为相对于本车图像10p以连结角度θ连结的挂车图像20p,与显示为相对于本车图像10p以连结角度θ连结的挂车图标152a重合显示。也即是说,在俯视图像P1(拍摄图像)中被牵引车辆20的显示对应位置,叠加显示挂车图标152a。因此,对俯视图像P1进行确认的驾驶员容易理解挂车图像20p与挂车图标152a表示的是同一事物,并容易理解停车辅助系统50(周边监视系统)识别到被牵引车辆20而不会感到不适。这样,在识别部146未识别到被牵引车辆20时,通过控制挂车图标152a的显示形态(例如,不被显示),使驾驶员容易理解被牵引车辆20为非识别。进一步地,通过对俯视图像P1上应显示挂车图标152a的位置,即本车图像10p的后部的挂车图像20p的位置进行确认,容易识别实际是否存在被牵引车辆20,以及在被牵引车辆20被连结时,容易简单地识别连结角度θ等。
另一方面,当识别部146未识别到被牵引车辆20时,指示标记形态控制部150a改变指示标记152(挂车图标152a)的显示形态。例如,如用图24已作说明的,将指示标记152(挂车图标152a)设为不被显示。其结果是,如图21所示,俯视图像P1能够与图22的俯视图像P1明确区分。比较图21与图22可知,在周边监视模式下,由于本来只要被牵引车辆20连结至牵引车辆10就应该会显示的挂车图标152a不被显示,所以容易给驾驶员留下强烈印象,进而使其容易识别被牵引车辆20为非识别状态。
另外,如上所述,尽管被牵引车辆20连结至牵引车辆10,但在停车辅助系统50(周边监视系统)中,即使在识别部146未识别到被牵引车辆20的情况下,有时也能够在俯视图像P1中目视确认挂车图像20p。也即是说,即使在拍摄部14b所拍摄的后方图像品质较差以至于通过图像处理不能目视确认被牵引车辆20的情况下,虽然可能不够鲜明,但有时也能在俯视图像P1中确认挂车图像20p。其结果是,通过使驾驶员确认俯视图像P1(车辆周边图像),能够基于俯视图像P1内所包含的被牵引车辆20的图像来确认该被牵引车辆20的状态。其结果是,例如,能够识别到是否连结被牵引车辆20以及大致的连结姿势。
指示标记形态控制部150a也可以将简单表示指示标记152(挂车图标152a)的标志154,显示于俯视图像P1的一部分或驾驶员容易目视确认的其他位置。图21、图22的情况是,将标志154配置在俯视图像P1的右上位置。标志154由拖拉车标志154a和挂车标志154b构成,当识别部146识别到被牵引车辆20时,如图22所示,例如点亮显示拖拉车标志154a和挂车标志154b。而当识别部146未识别到被牵引车辆20时,如图21所示,例如仅点亮显示拖拉车标志154a。此时,通过例如以比俯视图像P1的亮度高的亮度来显示标志154,使驾驶员容易直观地理解被牵引车辆20的识别状态。
另外,对拍摄部14b所拍摄的后方图像进行图像处理的结果是,当被牵引车辆20未被识别到时,识别部146判定“为非识别”。也即是说,在尽管被牵引车辆20连结至牵引车辆10但未被识别到时,以及由于被牵引车辆20未连结至牵引车辆10而被牵引车辆20未被识别到时任一时候,识别部146都判定“为非识别”。因此,指示标记形态控制部150a通过挂车图标152a或标志154的显示形态,能够将被牵引车辆20未被识别到的事实可靠地通知给驾驶员。
返回至图19,引导线生成部150b基于牵引车辆10的当前的转向角,生成在使牵引车辆10行驶时表示牵引车辆10或车轮13前进的方向的移动位置预测线、表示与牵引车辆10的端部的距离及车宽的参考的参考线等引导线(对应于实施方式1的辅助线SL)。例如,当基于档位获取部144c的获取结果,获取了表示牵引车辆10并非为能够倒退行驶的状态的信号时(例如,档位为P(停车档)、N(空档)、D(前进档)等),引导线生成部150b在真实图像P2中生成朝向与牵引车辆10的转向角相应的方向的、作为引导线的一个示例的参考线156,如图21、图22所示。参考线156例如由牵引车辆10的车宽引导线156a、距离参考线156b、156c、156d等构成,其中,车宽引导线156a沿基于牵引车辆10的转向角的行进方向延伸,且距离参考线156b、156c、156d是以从该车宽引导线156a的一部分沿车宽方向突出的小细片来显示的,表示与牵引车辆10的前保险杠10b的前方的间隔距离。距离参考线156b显示在相当于与前保险杠10b例如0.5m间隔距离的位置处,距离参考线156c显示在相当于与前保险杠10b例如1.0m间隔距离的位置处,且距离参考线156d显示在相当于与前保险杠10b例如2.5m间隔距离的位置处。另外,参考线156的显示形态仅是一个示例,例如,距离参考线156b、156c、156d也可以通过连结成横跨左右车宽引导线156a的线来显示,还可以通过使由距离参考线156b、156c、156d所划分成的区域的显示颜色不同,来识别距离感。此外,参考线156的前方的长度可以适当地加以选择,可以为2.5m以上,也可以是不足2.5m。此外,虽然表示出三根距离参考线156b、156c、156d,但也可以是不足三根或四根以上。此外,线之间的间隔也可以变更。
图26、图27是表示牵引车辆10为能够倒退行驶的状态时,作为引导线生成部150b所生成的引导线的一个示例的移动位置预测线158叠加显示于显示部38的画面38a的真实图像P2时的显示例。引导线生成部150b基于档位获取部144c的获取结果而获取了表示牵引车辆10为能够倒退行驶的状态的信号(表示R(倒车档)的信号)时,如图26、图27所示,在真实图像P2中生成表示牵引车辆10通过(表示牵引车辆10的移动预测位置)的轨迹的移动位置预测线158。另外,移动位置预测线158也可以包含表示牵引车辆10的后轮13R移动的方向的轨迹。以下说明中,作为一个示例表示出包含牵引车辆10的后轮13R移动的轨迹的移动位置预测线158。移动位置预测线158例如由表示基于牵引车辆10的转向角的后轮13R的移动预测位置的轮胎轨迹线158a、以及表示牵引车辆10的后保险杠10a的后方的间隔距离的距离参考线158b、158c、158d等构成。距离参考线158b表示相当于与后保险杠10a例如0.5m间隔距离的位置,距离参考线158c表示相当于与后保险杠10a例如1.0m间隔距离的位置,且距离参考线158d表示相当于与后保险杠10a例如2.5m间隔距离的位置。此外,在其他实施方式中,也可以将牵引车辆10的前后方向上延伸的车辆中心线的延长线,作为移动位置预测线158。此时,可以自后保险杠10a向后方延伸出一根线,并在该线上加上与距离参考线158b、158c、158d相同的线。此外,距离参考线158b、158c、158d也可以是仿后保险杠10a或牵引车辆10的后角(Rear Corner)部而描绘的。
在本实施方式2的情况下,引导线生成部150b能够通过使移动位置预测线158的显示形态在显示部38的画面38a上发生改变,来将识别部146的识别结果提供给驾驶员。图26表示出周边监视模式下牵引车辆10为能够倒退行驶的状态且识别部146未识别到被牵引车辆20时的显示部38的画面38a的显示例。图26的情况是,尽管拍摄部14b所拍摄的后方图像中拍摄到有被牵引车辆20但通过识别部146未识别到被牵引车辆20的情况。因此,在俯视图像P1中,虽然不清晰但与被牵引车辆20对应的挂车图像20p以向右转弯的姿势显示。此外,在真实图像P2中被牵引车辆20也是虽然不清晰但有显示。在俯视图像P1中,显示有表示被牵引车辆20未被识别到的指示标记152(挂车图标152a),并且显示有由拖拉车标志154a以及表示非识别状态的挂车标志154b构成的标志154。此时,由于被牵引车辆20未被识别到,且连结角度θ未被检测出,所以在相对于本车图像10p串联的状态下,指示标记152(挂车图标152a)例如以亮度比本车图像10p降低的状态、或者透过率比本车图像10p提高的状态来显示。另外,在当牵引装置18等设有角度检测传感器等时,尽管通过识别部146不能识别到被牵引车辆20,但能检测出连结角度θ的情况下,也可以将挂车图标152a或挂车标志154b以相应于连结角度θ而倾斜的姿势来显示。
此时,为了明确表示出识别部146未识别到被牵引车辆20,当真实图像P2中未连结被牵引车辆20时,停车辅助系统50(周边监视系统)显示出延伸至规定的后方位置(例如,2.5m)的通常显示形态的移动位置预测线158,如倒退时所显示的。也即是说,显示出包含距离参考线158b、158c、158d的移动位置预测线158。通过这样对移动位置预测线158进行通常显示,能够使对画面进行了确认的驾驶员容易理解停车辅助系统50未识别到被牵引车辆20。另外,当牵引车辆10的周围不存在被牵引车辆20时,由于识别部146无法识别到被牵引车辆20,所以引导线生成部150b也生成通常显示形态的移动位置预测线158,并叠加显示于真实图像P2。
另一方面,在向周边监视模式转移的状态下,牵引车辆10为能够倒退行驶时,若识别部146识别到被牵引车辆20,则如图27所示,在俯视图像P1中,与被牵引车辆20对应的清晰的挂车图像20p以向右转弯的姿势来显示。而且,在真实图像P2中也清晰地显示出被牵引车辆20。此外,在俯视图像P1中,显示有表示被牵引车辆20被识别到的指示标记152(挂车图标152a)。此时,连结角度获取部144d由于能够通过图像处理而获得牵引车辆10与被牵引车辆20之间的连结角度θ,所以指示标记152(挂车图标152a)能够以与连结角度θ对应的姿势连结至本车图像10p来显示。同样,由拖拉车标志154a以及表示识别状态的挂车标志154b构成的标志154也能以基于连结角度θ的连结姿势来显示。
此时,为了明确表示出识别部146识别到被牵引车辆20,停车辅助系统50(周边监视系统)在真实图像P2中显示出缩短显示形态的移动位置预测线158,其中,移动位置预测线158延伸至不与在连结被牵引车辆20时所显示的被牵引车辆20重合的后方位置(例如1.0m)。此时,作为移动位置预测线158,仅距离参考线158c以及延伸至距离参考线158c的轮胎轨迹线158a被显示。通过显示这样的缩短显示形态的移动位置预测线158,能够使对画面38a进行了确认的驾驶员容易理解停车辅助系统50(周边监视系统)识别到被牵引车辆20。此外,由于缩短显示形态的移动位置预测线158与被牵引车辆20不重合,所以真实图像P2的可视性提高,能够容易识别被识别到的被牵引车辆20的连结姿势以及牵引车辆10倒退时的行进方向。特别是,通过使与被牵引车辆20不重合的缩短显示形态的移动位置预测线158的轮胎轨迹线158a以适当的长度(例如,1.0m)显示,能够容易识别轮胎轨迹线158a的朝向,且容易理解牵引车辆10所朝的方向,即牵引车辆10的当前的转向操作方向(转向角方向)。其结果是,能够容易对下述情况作出判断:要使被牵引车辆20向所希望的方向转弯,将转向角向哪一个方向改变为宜。
返回至图19,当监视要求获取部144e获取了向周边监视模式转移的要求时,显示切换部150c将显示部38的画面38a从作为通常显示画面的导航画面或音响画面,切换为如图22或图27所示的周边监视画面。此外,当监视要求获取部144e获取了周边监视模式的结束要求时,显示切换部150c从周边监视画面恢复至通常表示画面。此外,在周边监视模式下,基于档位获取部144c所检测到的牵引车辆10的行进方向,将画面38a切换成显示与牵引车辆10的行进方向对应的拍摄部14b或拍摄部14a所拍摄的真实图像P2。此外,显示切换部150c基于识别部146的识别结果,来对指示标记152(挂车图标152a)的显示形态或标志154的显示形态、移动位置预测线158的显示形态进行切换。
使用图28的流程图来说明如上所述构成的停车辅助系统50(周边监视系统)进行的周边监视中的显示处理步骤的一个示例。
首先,CPU60a对监视要求获取部144e是否获取了由驾驶员通过例如对操作输入部42的操作而提出的向周边监视模式转移的要求,进行确认。若监视要求获取部144e未获取到向周边监视模式转移的要求(S300:否),则CPU60a暂时结束该流程。另一方面,若监视要求获取部144e获取了向周边监视模式转移的要求(S300:是),则CPU60a通过图像获取部144a来获取拍摄部14b所拍摄的后方图像以及拍摄部14a所拍摄的前方图像(S302)。接着,CPU60a使用图像获取部144a所获取的后方图像、以及拍摄牵引车辆10的周边而得到的前方图像或侧方图像,生成俯视图像P1,并且通过显示切换部150c显示周边监视画面(S304)。即是说,显示切换部150c从在接到向周边监视模式转移的要求之前显示部38的画面38a中一直显示的通常显示画面(例如,导航画面或音响画面),切换为例如如图21所示的由俯视图像P1和真实图像P2构成的周边监视画面。
接着,CPU60a通过转向角获取部144b获取转向操作部传感器54所检测到的牵引车辆10的转向角(S306)。然后,CPU60a使识别部146对图像获取部144a所获取的后方图像进行图像处理,并对被牵引车辆20进行识别。接着,若通过识别部146识别到被牵引车辆20(S308:是),则CPU60a使指示标记形态控制部150a,对于图像转换部148所生成的俯视图像P1,显示如图23所示表示识别到被牵引车辆20的挂车图标152a(S310)。另外,此时,如用图20已作说明的,连结角度获取部144d获取被牵引车辆20相对于牵引车辆1的连结角度θ。指示标记形态控制部150a基于连结角度获取部144d所获取的连结角度θ,来决定在俯视图像P1上显示的挂车图标152a相对于本车图像10p的姿势(连接角度),并以本车图像10p与挂车图标152a连结的状态来显示。此外,对于标志154中拖拉车标志154a与挂车标志154b之间的连接角度,指示标记形态控制部150a也基于连结角度获取部144d所获取的连结角度θ来决定。这样,当被牵引车辆20被识别部146识别到时,例如,牵引车辆10与被牵引车辆20之间的连结角度θ≈0时,俯视图像P1成为如图22所示的图像。此外,当连结角度θ≠0时,俯视图像P1成为如图27所示的图像。
另一方面,若通过识别部146未识别到被牵引车辆20(S308:否),则CPU60a通过指示标记形态控制部150a,在图像转换部148所生成的俯视图像P1中使挂车图标152a不被显示,以表示未识别到被牵引车辆20(S312)。此外,指示标记形态控制部150a在俯视图像P1中显示表示未识别到被牵引车辆20的、只有拖拉车标志154a的标志154(参照图21的俯视图像P1)。另外,此时,指示标记形态控制部150a也可以在俯视图像P1中显示如图24或图25所示的、表示未识别到被牵引车辆20的挂车图标152a(参照图26的俯视图像P1)。
接着,CPU60a基于档位获取部144c的获取结果,确认牵引车辆10当前要行进的方向(是前进还是倒退)。若档位获取部144c获取了表示驾驶员要使牵引车辆10倒退行驶而将变速操作部移动至“R档”的信号(S314:是),并且识别部146识别到被牵引车辆20(S316:是),则引导线生成部150b生成牵引时的引导线(S318)。也即是说,生成如图27所示的、延伸至例如牵引车辆10的后方1.0m的位置的缩短显示形态的移动位置预测线158。此时,引导线生成部150b基于转向角获取部144b所获取的牵引车辆10的转向角,来计算牵引车辆10的转弯轨道,并且计算牵引车辆10的后轮13R的轮胎轨迹线158a并决定移动位置预测线158的描绘方向。另一方面,若在S316识别部146未识别到被牵引车辆20(S316:否),则引导线生成部150b生成非牵引时的引导线(S320)。也即是说,生成如图26所示的、延伸至例如牵引车辆10的后方2.5m的位置的通常显示形态的移动位置预测线158。此时,引导线生成部150b也基于转向角获取部144b所获取的牵引车辆10的转向角,来计算牵引车辆10的转弯轨道,并且计算牵引车辆10的后轮13R的轮胎轨迹线158a并决定移动位置预测线158的描绘方向。如果通过引导线生成部150b生成了移动位置预测线158,则CPU60a将移动位置预测线158(引导线)叠加在表示出后方的真实图像P2中(S322),并将如图26或图27所示的画面38a显示于显示部38。
接着,若监视要求获取部144e获取了周边监视模式的结束要求(S324:是),则CPU60a在例如驾驶员通过操作输入部42操作了结束开关等时,通过显示切换部150c使通常显示画面显示(恢复)在显示部38的画面38a上(S326)。例如,将画面38a切换为导航画面或音响画面,并暂时结束一连串的周边监视处理。
在S324,若监视要求获取部144e未获取到周边监视模式的结束要求(S324:否),则CPU60a转移至S302,继续进行周边监视处理。
在S314,若驾驶员没有要使牵引车辆10倒退行驶,也即是说,若档位获取部144c获取了表示使变速操作部移动至“R档”以外的信号(S314:否),则引导线生成部150b生成前方显示用的参考线156,并叠加显示于前方的真实图像P2(S328)。即是说,将如图21或图22所示的画面38a显示于显示部38。此时,引导线生成部150b也基于转向角获取部144b所获取的牵引车辆10的转向角,来计算牵引车辆10的转弯轨道并决定参考线156的描绘方向。CPU60a在将参考线156显示在画面38a中之后,转移至S324的处理,决定是否结束周边监视处理,并执行上述处理。
图28所示流程图仅是一个示例,只要停车辅助系统50(周边监视系统)能够将表示被牵引车辆20是否被识别到的信息通知给驾驶员即可,处理步骤可适当地更换或增减等,且能够获得相同的效果。
这样,根据本实施方式2的停车辅助系统50(周边监视系统),由于该停车辅助系统50中明确表示出被牵引车辆20是否能被识别到,所以容易理解停车辅助系统50的控制(处理)状况,并容易给予驾驶员安心感。
上述实施方式2中举出的是,停车辅助系统50使用显示部38来通知是否识别到被牵引车辆20的例子,但也可以例如使用其他显示装置来简单地显示俯视图像P1中显示的内容,且能够获得相同的效果。此外,当停车辅助系统50通知是否识别到被牵引车辆20时,除如上所述的视觉的通知之外,也可以使用语音输出部40来进行基于语音的听觉的通知,能够使驾驶员更明确地掌握停车辅助系统50中被牵引车辆20的识别状态。
上述实施方式2中举出的是,在显示部38上将俯视图像P1的显示区域显示成比真实图像P2的显示区域小的例子,但也可以将俯视图像P1显示成比真实图像P2大。此时,能够使驾驶员容易更明确地理解被牵引车辆20的识别状态。此外,也可以将俯视图像P1显示于其他显示装置,且仅将真实图像P2显示于显示部38。此时,能够确保真实图像P2的显示区域较大,且能够提高真实图像P2的可视性。而且,当其他显示装置配置在驾驶中驾驶员的视线几乎不用移动就能目视确认的位置(例如前围板的仪表盘部等)时,能够提高俯视图像P1的可视性。此外,也可以在显示部38中仅显示俯视图像P1,且同样能够提高俯视图像P1的可视性。
其他实施例
上述实施方式1中的显示形态与实施方式2中的显示形态也可以分别作为独立的显示形态而用显示部38等显示,还可以将实施方式1中的显示形态与实施方式2中的显示形态以融合的方式显示。通过以使实施方式1中的显示形态与实施方式2中的显示形态融合的方式显示,能够将在实施方式2已作说明的指示标记152以更容易识别的状态提供给驾驶员(使用者)。当以使实施方式1中的显示形态与实施方式2中的显示形态融合的方式显示时,实施方式2的识别部146中的处理也可以由实施方式1中的牵引判定部78执行。此外,实施方式2的控制部150中的处理也可以由显示图像生成部90执行。另外,对于使实施方式1中的显示形态与实施方式2中的显示形态独立地显示还是融合地显示,可以使驾驶员(使用者)能够使用操作输入部42等来选择,也可以使其能够作为初期设定来设定。
本实施方式1、实施方式2的CPU60a所执行的停车辅助程序(周边监视程序)可以构成为,以可安装的方式或可执行的方式的文件,存储于CD-ROM、软盘(FD)、CD-R、DVD(Digital Versatile Disk,数字通用光盘)等计算机可以读取的存储介质,来进行提供。
进一步地,停车辅助程序(周边监视程序)也可以构成为,存储于与互联网等网络连接的计算机,通过网络进行下载,来进行提供。此外,本实施方式1、实施方式2执行的停车辅助程序(周边监视程序)也可以构成为通过互联网等网络,来进行提供或分配。
虽然对本发明的实施方式和变形例进行了说明,但这些实施方式和变形例仅是作为示例而提出的,并非意图限定发明的范围。这些新的实施方式能够以其他各种方式来实施,且在不脱离发明的要旨的范围内,能够进行各种省略、置换和变更。这些实施方式及其变形例包含于发明的范围或要旨内,并且包含于权利要求书所记载的发明及其等同的范围内。
符号说明
10 牵引车辆、20 被牵引车辆、50 停车辅助系统、60 停车辅助装置、78 牵引判定部、86 俯视图像生成部、88 俯视图像显示范围设定部、90 显示图像生成部、94 停车辅助程序、Ar1 第一显示范围、Ar2 第二显示范围、BV 俯视图像、IMc 显示用俯视图像、IMd 周边图像、IMe 显示图像、IMj 目标位置图像、SL 辅助线。

Claims (16)

1.一种停车辅助装置,具备:
俯视图像生成部,其基于拍摄牵引车辆的周边而得到的拍摄图像,生成俯视图像;
牵引判定部,其对所述牵引车辆是否在牵引被牵引车辆,进行判定;
俯视图像显示范围设定部,其从至少包含第一显示范围、以及比所述第一显示范围大的第二显示范围的多个显示范围中,选择剪裁范围;以及
显示图像生成部,其对所述俯视图像之中的所述剪裁范围内进行剪裁,来生成显示用俯视图像,并生成包含所述显示用俯视图像的显示图像,所述显示用俯视图像叠加有所述牵引车辆的图像,
其中,所述俯视图像显示范围设定部,若所述牵引判定部判定所述牵引车辆未牵引所述被牵引车辆,则选择所述第一显示范围,若所述牵引判定部判定所述牵引车辆在牵引所述被牵引车辆,则选择所述第二显示范围。
2.根据权利要求1所述的停车辅助装置,其中,
所述俯视图像显示范围设定部,从至少包含所述第一显示范围、以及与所述第一显示范围相比在所述牵引车辆的左右方向上范围更大的所述第二显示范围的所述多个显示范围中,选择所述剪裁范围。
3.根据权利要求1或2所述的停车辅助装置,其中,
所述俯视图像显示范围设定部,选择了所述第二显示范围,所述牵引车辆倒退时,将所述剪裁范围的中心设定在比所述俯视图像的中心靠后方的第一前后位置。
4.根据权利要求1至3中任一项所述的停车辅助装置,其中,
所述俯视图像显示范围设定部,选择了所述第二显示范围,所述牵引车辆前进时,将所述剪裁范围的中心设定在比所述俯视图像的中心靠前方的第二前后位置。
5.根据权利要求1至4中任一项所述的停车辅助装置,其中,
所述俯视图像显示范围设定部,选择了所述第二显示范围,设定为停车模式且所述牵引车辆前进时,将所述剪裁范围的中心设定在比所述俯视图像的中心靠前方的第二前后位置,所述停车模式为设定目标停车位置来进行辅助停车的模式,
所述显示图像生成部,在设定为所述停车模式时使所述目标停车位置的图像叠加在所述显示用俯视图像中。
6.根据权利要求1至5中任一项所述的停车辅助装置,其中,
所述俯视图像显示范围设定部,选择了所述第二显示范围,设定为停车模式且所述牵引车辆倒退时,将所述剪裁范围的中心设定在比所述俯视图像的中心靠后方的第一前后位置,所述停车模式为设定目标停车位置来进行辅助停车的模式,
所述显示图像生成部,在设定为所述停车模式时使所述目标停车位置的图像叠加在所述显示用俯视图像中。
7.根据权利要求5或6所述的停车辅助装置,其中,
所述俯视图像显示范围设定部,选择了所述第二显示范围,所述目标停车位置被选择时,在左右方向上,将所述剪裁范围的中心设定在所述俯视图像内所选择的所述目标停车位置侧。
8.根据权利要求1至7中任一项所述的停车辅助装置,其中,
所述显示图像生成部生成包含所述显示用俯视图像、以及所述牵引车辆的前后方向的行进方向的周边图像的所述显示图像。
9.根据权利要求1至8中任一项所述的停车辅助装置,其中,
所述显示图像生成部基于所述牵引判定部的判定结果,对是否检测到所述被牵引车辆进行判定,并根据该判定的结果,决定表示所述牵引车辆或所述被牵引车辆的状态的指示标记的显示形态来进行显示。
10.根据权利要求9所述的停车辅助装置,其中,
所述显示图像生成部,在所述牵引判定部未识别到所述被牵引车辆时使所述指示标记不被显示。
11.根据权利要求9或10所述的停车辅助装置,其中,
所述显示图像生成部,在所述牵引车辆基于所述牵引车辆的转向角而倒退时,将该牵引车辆的基于当前的转向角的移动位置预测线,作为所述指示标记叠加显示于所述拍摄图像,并且使所述移动位置预测线的显示形态在识别到与未识别到所述被牵引车辆时不同。
12.根据权利要求9至11中任一项所述的停车辅助装置,其中,
所述显示图像生成部,在作为所述指示标记而将表示所述被牵引车辆的车辆标记进行显示时,使该车辆标记叠加显示在基于所述牵引车辆的周边的图像的车辆周边图像中所述被牵引车辆的显示对应位置。
13.一种停车辅助装置,具备:
获取部,其获取从能够连结被牵引车辆的牵引车辆,拍摄该牵引车辆的后方区域而得到的拍摄图像;
识别部,其基于所述拍摄图像,来识别连结状态的所述被牵引车辆;以及
控制部,其基于所述识别部的识别结果,来对是否检测到所述被牵引车辆进行判定,并根据该判定的结果,决定表示所述牵引车辆或所述被牵引车辆的状态的指示标记的显示形态来进行显示。
14.根据权利要求13所述的停车辅助装置,其中,
所述控制部,在所述识别部未识别到所述被牵引车辆时使所述指示标记不被显示。
15.根据权利要求13或14所述的停车辅助装置,其中,
所述控制部,在所述牵引车辆基于所述牵引车辆的转向角而倒退时,将该牵引车辆的基于当前的转向角的移动位置预测线,作为所述指示标记叠加显示于所述拍摄图像,并且使所述移动位置预测线的显示形态在识别到与未识别到所述被牵引车辆时不同。
16.根据权利要求13至15中任一项所述的停车辅助装置,其中,
所述获取部还获取所述牵引车辆的周边的图像,
所述控制部,在作为所述指示标记而将表示所述被牵引车辆的车辆标记进行显示时,使该车辆标记叠加显示在基于所述周边的图像的车辆周边图像中所述被牵引车辆的显示对应位置。
CN201880060960.3A 2017-10-10 2018-10-05 停车辅助装置 Active CN111108023B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2017-197171 2017-10-10
JP2017197171A JP7087333B2 (ja) 2017-10-10 2017-10-10 駐車支援装置
JP2017-198847 2017-10-12
JP2017198847A JP7110577B2 (ja) 2017-10-12 2017-10-12 周辺監視装置
PCT/JP2018/037479 WO2019073938A1 (ja) 2017-10-10 2018-10-05 駐車支援装置

Publications (2)

Publication Number Publication Date
CN111108023A true CN111108023A (zh) 2020-05-05
CN111108023B CN111108023B (zh) 2022-04-12

Family

ID=66100910

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880060960.3A Active CN111108023B (zh) 2017-10-10 2018-10-05 停车辅助装置

Country Status (3)

Country Link
US (1) US11591018B2 (zh)
CN (1) CN111108023B (zh)
WO (1) WO2019073938A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11059481B2 (en) * 2017-03-31 2021-07-13 Honda Motor Co., Ltd. Vehicle control system, vehicle control method, and vehicle control program
WO2019073938A1 (ja) * 2017-10-10 2019-04-18 アイシン精機株式会社 駐車支援装置
JP6973298B2 (ja) * 2018-05-31 2021-11-24 トヨタ自動車株式会社 物体監視装置
US11485413B2 (en) * 2018-10-30 2022-11-01 Ford Global Technologies, Llc Application of auxiliary lighting in automatic hitch operation
JP7042774B2 (ja) * 2019-06-18 2022-03-28 本田技研工業株式会社 トレーラ
JP7295012B2 (ja) * 2019-12-24 2023-06-20 日立Astemo株式会社 車両制御システム、および、車両制御方法
US11568563B2 (en) * 2019-12-31 2023-01-31 Trimble Inc. Pose estimation and applications using computer imaging
US11724643B2 (en) * 2021-01-20 2023-08-15 Ford Global Technologies, Llc Vehicle alarm

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1922041A (zh) * 2004-02-24 2007-02-28 宝马股份公司 用于在采用车辆水平调节装置的情况下连接挂车的方法
JP2008149764A (ja) * 2006-12-14 2008-07-03 Alpine Electronics Inc 車両周辺監視装置
DE102008046544A1 (de) * 2008-09-10 2009-05-20 Daimler Ag Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
JP2012061986A (ja) * 2010-09-17 2012-03-29 Panasonic Corp 監視装置
US20140036063A1 (en) * 2012-08-06 2014-02-06 Hyundai Mobis Co., Ltd. Around view monitor system and monitoring method
JP2016013793A (ja) * 2014-07-03 2016-01-28 株式会社デンソー 画像表示装置、画像表示方法
CN105377592A (zh) * 2013-07-11 2016-03-02 斯马特创新公司 用于连接或断开拖车与车辆的系统和方法
JP2016530150A (ja) * 2013-07-23 2016-09-29 アプリケーション・ソリューションズ・(エレクトロニクス・アンド・ヴィジョン)・リミテッド 車両の側方及び/或いは後方の周辺領域を再生するための方法並びに装置
JP2017076833A (ja) * 2015-10-13 2017-04-20 アルパイン株式会社 運転支援装置及びコンピュータプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4739569B2 (ja) * 2001-04-09 2011-08-03 パナソニック株式会社 運転支援装置
JP2008077628A (ja) 2006-08-21 2008-04-03 Sanyo Electric Co Ltd 画像処理装置並びに車両周辺視界支援装置及び方法
DE102007011180A1 (de) 2007-03-06 2008-09-11 Daimler Ag Rangierhilfe und Verfahren für Fahrer von Fahrzeugen bzw. Fahrzeuggespannen, welche aus gegeneinander knickbare Fahrzeugelementen bestehen
JP2009060499A (ja) 2007-09-03 2009-03-19 Sanyo Electric Co Ltd 運転支援システム及び連結車両
US20110210530A1 (en) * 2010-03-01 2011-09-01 Hancock Jeffrey D Tow hitch
US8070176B1 (en) * 2010-07-22 2011-12-06 Austin Su Safety clip for weight distribution trailer hitch
DE102010032411A1 (de) * 2010-07-27 2012-02-02 Hans Dominik Vorrichtung zur Überwachung der seitlichen und rückwärtigen Umgebung eines Fahrzeugs
US9085261B2 (en) * 2011-01-26 2015-07-21 Magna Electronics Inc. Rear vision system with trailer angle detection
US9854209B2 (en) * 2011-04-19 2017-12-26 Ford Global Technologies, Llc Display system utilizing vehicle and trailer dynamics
US9446713B2 (en) * 2012-09-26 2016-09-20 Magna Electronics Inc. Trailer angle detection system
DE102015014799A1 (de) 2015-11-13 2017-05-18 Mekra Lang Gmbh & Co. Kg System und Verfahren zur Erfassung eines Heckbereiches eines Fahrzeugs
US10863335B2 (en) * 2016-03-04 2020-12-08 Magna Electronics Inc. Vehicle trailer angle detection system using short range communication devices
DE102016114689A1 (de) * 2016-08-09 2018-02-15 Connaught Electronics Ltd. Verfahren zum Unterstützen des Fahrers eines Kraftfahrzeugs beim Rangieren des Kraftfahrzeugs mit einem Anhänger, Fahrerassistenzsystem sowie Gespann
US10721397B2 (en) * 2016-09-01 2020-07-21 Caterpillar Inc. Image processing system using predefined stitching configurations
KR101859045B1 (ko) * 2016-11-02 2018-05-17 엘지전자 주식회사 차량용 운전 보조 장치 및 차량
US10730553B2 (en) * 2017-09-27 2020-08-04 Ford Global Technologies, Llc Adaptive steering control for robustness to errors in estimated or user-supplied trailer parameters
WO2019073938A1 (ja) * 2017-10-10 2019-04-18 アイシン精機株式会社 駐車支援装置
US10733757B2 (en) * 2018-05-10 2020-08-04 Magna Electronics Inc. Trailer assist system with estimation of 3D location of hitch

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1922041A (zh) * 2004-02-24 2007-02-28 宝马股份公司 用于在采用车辆水平调节装置的情况下连接挂车的方法
JP2008149764A (ja) * 2006-12-14 2008-07-03 Alpine Electronics Inc 車両周辺監視装置
DE102008046544A1 (de) * 2008-09-10 2009-05-20 Daimler Ag Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
JP2012061986A (ja) * 2010-09-17 2012-03-29 Panasonic Corp 監視装置
US20140036063A1 (en) * 2012-08-06 2014-02-06 Hyundai Mobis Co., Ltd. Around view monitor system and monitoring method
CN105377592A (zh) * 2013-07-11 2016-03-02 斯马特创新公司 用于连接或断开拖车与车辆的系统和方法
JP2016530150A (ja) * 2013-07-23 2016-09-29 アプリケーション・ソリューションズ・(エレクトロニクス・アンド・ヴィジョン)・リミテッド 車両の側方及び/或いは後方の周辺領域を再生するための方法並びに装置
JP2016013793A (ja) * 2014-07-03 2016-01-28 株式会社デンソー 画像表示装置、画像表示方法
JP2017076833A (ja) * 2015-10-13 2017-04-20 アルパイン株式会社 運転支援装置及びコンピュータプログラム

Also Published As

Publication number Publication date
WO2019073938A1 (ja) 2019-04-18
CN111108023B (zh) 2022-04-12
US20200346690A1 (en) 2020-11-05
US11591018B2 (en) 2023-02-28

Similar Documents

Publication Publication Date Title
CN111108023B (zh) 停车辅助装置
US10857944B2 (en) Periphery monitoring apparatus
US9741250B2 (en) Parking assist apparatus, parking assist method, and computer program product
EP3290301B1 (en) Parking assist device
CN110001523B (zh) 周边监视装置
US10625782B2 (en) Surroundings monitoring apparatus
JP2018144526A (ja) 周辺監視装置
US11420678B2 (en) Traction assist display for towing a vehicle
JP2016060235A (ja) 運転支援装置及び運転支援システム
JP5991112B2 (ja) 駐車支援装置、制御方法、およびプログラム
WO2018150642A1 (ja) 周辺監視装置
JP2017094922A (ja) 周辺監視装置
US11292387B2 (en) Towing assistance apparatus
JP7172309B2 (ja) 周辺監視装置
JP7009785B2 (ja) 周辺監視装置
WO2019073872A1 (ja) 駐車支援装置
CN110546047A (zh) 停车辅助装置
US20200010076A1 (en) Driving Support Device
JP7087333B2 (ja) 駐車支援装置
JP7110577B2 (ja) 周辺監視装置
US10875577B2 (en) Traction assist apparatus
CN109311423B (zh) 驾驶辅助装置
JP7130923B2 (ja) 表示制御装置
CN112238811B (zh) 车辆周边显示装置
JP2016060237A (ja) 駐車支援装置及び駐車支援システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220221

Address after: Aichi

Applicant after: AISIN Co.,Ltd.

Address before: Aichi

Applicant before: AISIN SEIKI Kabushiki Kaisha

GR01 Patent grant
GR01 Patent grant