CN111108745A - 周边监控装置 - Google Patents

周边监控装置 Download PDF

Info

Publication number
CN111108745A
CN111108745A CN201880061774.1A CN201880061774A CN111108745A CN 111108745 A CN111108745 A CN 111108745A CN 201880061774 A CN201880061774 A CN 201880061774A CN 111108745 A CN111108745 A CN 111108745A
Authority
CN
China
Prior art keywords
vehicle
towing vehicle
towed vehicle
display
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880061774.1A
Other languages
English (en)
Other versions
CN111108745B (zh
Inventor
渡边一矢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of CN111108745A publication Critical patent/CN111108745A/zh
Application granted granted Critical
Publication of CN111108745B publication Critical patent/CN111108745B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B60R1/003Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like for viewing trailer hitches
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/808Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for facilitating docking to a trailer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

周边监控装置包括图像获取部、状态获取部、生成部以及显示形态控制部。图像获取部获取从可连接被牵引车辆的牵引车辆拍摄该牵引车辆的后方区域而得到的拍摄图像数据。状态获取部获取表示牵引车辆是否连接有有被牵引车辆的连接信息。生成部生成作为牵引车辆倒退时的该牵引车辆的移动的参考的参考线。显示形态控制部,在连接有被牵引车辆的情况下和没有连接的情况下,切换在基于拍摄图像数据的图像上叠加显示的参考线的显示形态。

Description

周边监控装置
技术领域
本发明的实施方式涉及周边监控装置。
背景技术
以往,提案有一种车载相机装置:将根据车辆的转向角计算出的预测轨迹重叠到由车载相机拍摄到的车辆后方的影像,并显示于显示器。这种车载相机装置区别显示与障碍物重叠部分的预测轨迹显示和与障碍物不重叠部分的预测轨迹显示。通过这种显示,能够给驾驶员恰当地提供预测轨迹内的到车辆后方的障碍物为止的距离感。
专利文献1:日本特开2005-236540号公报
发明内容
近来,可牵引被牵引车辆(挂车)的牵引车辆(牵引车)有越来越引人注目的趋势。在牵引车辆连接有被牵引车辆的情况、特别是在倒退行驶的情况下的转向,与没有连接被牵引车辆的情况相比较为困难,需要驾驶操作的熟练度。因此,虽然可以考虑利用如现有技术那样的预测轨迹,但是在将现有技术那样的轨迹线保持原样地应用于连接有被牵引车辆的牵引车辆的情况下,预测轨迹与被牵引车辆重叠,因此存在下述难以利用的情况:显示内容带来不协调感的情况、或难以判断预测轨迹是牵引车辆的预测轨迹还是被牵引车辆的预测轨迹的情况。在此,如果能够提供一种周边监控装置,其即使在可连接被牵引车辆的牵引车辆中也能够显示在倒退移动时容易利用的轨迹线(例如参考线),则牵引车辆的驾驶以及连接有被牵引车辆时的驾驶变得容易,是有意义的。
本发明的实施方式所涉及的周边监控装置,例如,具备:图像获取部,其获取从可连接被牵引车辆的牵引车辆拍摄该牵引车辆的后方区域的拍摄图像数据,状态获取部,其获取表示上述牵引车辆是否连接有上述被牵引车辆的连接信息,生成部,其生成作为上述牵引车辆倒退时的该牵引车辆的移动的参考的参考线,以及显示形态控制部,其在连接有上述被牵引车辆的情况下和没有连接的情况下,切换在基于上述拍摄图像数据的图像上叠加显示的上述参考线的显示形态。根据该结构,例如,在牵引车辆连接有被牵引车辆的情况下和没有连接的情况下,由于参考线的显示形态变化,因此容易识别连接前的显示内容和连接后的显示内容的变化。其结果,能够容易地注视参考线,容易地意识到该参考线显示的是牵引车辆的倒退移动的参考,并且容易利用。
此外,在实施方式所涉及的周边监控装置中,例如,上述状态获取部还获取上述牵引车辆的当前的转向角信息,上述生成部,基于上述转向角信息,生成轨迹线,作为上述参考线的至少一部分,上述轨迹线表示上述牵引车辆倒退时的该牵引车辆的至少一部分倒退移动轨迹,上述显示形态控制部还可以切换上述轨迹线的显示形态。根据该结构,例如,能够容易地掌握倒退时的牵引车辆的动作,在连接有被牵引车辆的情况下、以及没有连接情况下的驾驶均能够更容易进行。
此外,实施方式所涉及的周边监控装置的上述显示形态控制部,例如,还可以以使第二最远显示位置与第一最远显示位置相比靠近上述牵引车辆的后部的方式进行显示,上述第一最远显示位置为在没有连接上述被牵引车辆的情况下所显示的上述参考线中距离上述牵引车辆的上述后部最远的位置,上述第二最远显示位置为在连接有上述被牵引车辆的情况下所显示的上述参考线中距离上述牵引车辆的上述后部最远的位置。根据该结构,例如,在牵引车辆连接有被牵引车辆的情况下的参考线的最远显示位置(第二最远显示位置)比没有连接被牵引车辆的情况下的最远显示位置(第一最远显示位置)更近。其结果,更加易于区别连接有被牵引车辆的情况下和没有连接的情况下的参考线。此外,在没有连接被牵引车辆的情况下,参考线在牵引车辆的后方显示到远处。其结果,易于进行在使牵引车辆倒退的情况下的到远处的移动预测。此外,在连接有被牵引车辆的情况下,参考线的最远显示位置变近,在显示画面上被牵引车辆难以与参考线重叠。其结果,能够更加容易地识别到参考线是牵引车辆的倒退时的移动位置的参考。
此外,实施方式所涉及的周边监控装置的上述显示形态控制部,例如,还可以根据上述牵引车辆与上述被牵引车辆之间的连接间隔距离,确定上述参考线的上述第二最远显示位置。根据该结构,例如,能够决定参考线的显示长度为:显示到第二最远显示位置为止的参考线与被牵引车辆的例如车体不会重叠的长度。其结果,易于明确所表示的显示参考线是牵引车辆用的参考线。此外,显示画面的内容的简洁化成为可能。
此外,实施方式所涉及的周边监控装置的上述显示形态控制部,例如,还可以,在切换上述参考线的显示形态的情况下,使在连接有上述被牵引车辆的情况下所显示的第二参考线包括在没有连接上述被牵引车辆的情况下所显示的第一参考线的一部分。根据该结构,例如,在没有连接被牵引车辆的情况下显示到远处的第一参考线与在连接有被牵引车辆的情况下显示的第二参考线之间存在共同的部分,因此容易识别两者的关联性。
附图说明
图1是示意性地表示搭载实施方式所涉及的周边监控装置的牵引车辆与被牵引车辆的连接状态的一个示例的侧视图。
图2是示意性地表示搭载实施方式所涉及的周边监控装置的牵引车辆与被牵引车辆的连接状态的一个示例的顶视图。
图3是包括实施方式所涉及的周边监控装置的周边监控系统的结构的例示性的框图。
图4是实施方式所涉及的周边监控装置的CPU的结构的例示性的框图。
图5是表示在实施方式所涉及的周边监控装置中,表示牵引车辆没有连接被牵引车辆时的参考线的一个示例即轨迹线的图像的一个示例的示意图。
图6是表示在实施方式所涉及的周边监控装置中,表示牵引车辆连接有被牵引车辆时的参考线的一个示例即轨迹线的图像的一个示例的示意图。
图7是表示在实施方式所涉及的周边监控装置中,牵引车辆没有连接被牵引车辆的情况下和连接有被牵引车辆的情况下的参考线的一个示例即轨迹线的显示形态的变化的一个示例的示意图。
图8是表示在实施方式所涉及的周边监控装置中,牵引车辆没有连接被牵引车辆的情况下和连接有被牵引车辆的情况下的参考线的一个示例即轨迹线的另一个显示形态的变化的一个示例的示意图。
图9是表示在实施方式所涉及的周边监控装置中,牵引车辆没有连接被牵引车辆的情况下和连接有被牵引车辆的情况下的参考线的一个示例即轨迹线的再一个显示形态的变化的一个示例的示意图。
图10是说明基于实施方式所涉及的周边监控装置的参考线的一个示例即轨迹线的显示处理步骤的一个示例的流程图。
具体实施方式
下面,对本发明的示例性的实施方式进行公开。下面示出的实施方式的结构,以及由该结构带来的作用、结果以及效果仅是一个示例。本发明也可以通过下面的实施方式中公开的结构以外的结构实现,并能够获得基于基本结构的各种效果及衍生的效果中的至少一种。
图1是表示搭载实施方式的周边监控装置的牵引车辆10以及被牵引于牵引车辆10的被牵引车辆12的侧视图。在图1中,以牵引车辆10为基准图纸的左方向设为前方,以牵引车辆10为基准图纸的右方向设为后方。图2是表示图1所示的牵引车辆10以及被牵引车辆12的顶视图。此外,图3是包括搭载于牵引车辆10的周边监控装置的周边监控系统100的结构的例示性的框图。
牵引车辆10,例如可以是以内燃机(发动机,未图示)作为驱动源的汽车(内燃机汽车),也可以是以电动机(马达,未图示)作为驱动源的汽车(电气汽车,燃料电池汽车等),还可以是以上述双方作为驱动源的汽车(混合动力车)。牵引车辆10可以是如图1所示的运动型多用途车(Sport Utility Vehicle:SUV),也可以是在车辆的后侧设置有载货平台的所谓“皮卡车”(pick up truck)。此外,还可以是普通乘用车。牵引车辆10可以搭载各种变速装置,也可以搭载驱动内燃机或者电动机所必须的各种装置(系统,部件等)。此外,可以对牵引车辆10中与车轮14(前轮14F,后轮14R)的驱动相关的装置的方式、数量、以及布局等进行各种设定。
从牵引车辆10的后保险杠16的例如车宽方向的中央部的下部突出有用来牵引被牵引车辆12的牵引装置18(hitch)。牵引装置18固定于牵引车辆10的例如车架。作为一个示例,牵引装置18具备在垂直方向(车辆上下方向)竖立设置的前端部呈球状的拖车球18a,在该拖车球18a上覆盖有设置在固定于被牵引车辆12的连接部件20的前端部的拖车球罩20a。其结果,牵引车辆10和被牵引车辆12连接,并且被牵引车辆12能够相对于牵引车辆10在车宽方向上摆动(转弯)。即,拖车球18a将前后左右的动作传递到被牵引车辆12(连接部件20),并缓冲加速或减速的作用力。
被牵引车辆12可以例如是如图1所示的包括乘坐空间、居住区间、以及收纳空间等中的至少一个的厢型车辆,也可以是搭载货物(例如,集装箱或者小船等)的载台型车辆。图1所示的被牵引车辆12,作为一个示例,具备一对挂车车轮22。图1的被牵引车辆12是不包括驱动轮或者转向轮而具备从动轮的从动车辆。
在牵引车辆10的后侧的后尾门10a的下方的壁部设置有拍摄部24。拍摄部24例如是内置CCD(Charge Coupled Device,电荷耦合器件)或CIS(CMOS Image Sensor,互补金属氧化物半导体图像传感器)等拍摄元件的数字摄像头。拍摄部24能够以规定的帧率输出视频数据(拍摄图像数据)。拍摄部24具有广角镜头或鱼眼镜头,能够在水平方向上拍摄例如140°~220°的范围。此外,拍摄部24的光轴设定为朝向斜下方。由此,拍摄部24依次拍摄包括牵引车辆10的后端部、连接部件20以及被牵引车辆12的至少前端部的区域(参考图1,例如双点划线所示的范围),作为拍摄图像数据输出。由拍摄部24拍摄到的拍摄图像数据能够用于识别被牵引车辆12以及检测牵引车辆10和被牵引车辆12的连接状态(例如,连接角度以及是否连接有等)。在这种情况下,基于拍摄部24拍摄到的拍摄图像数据能够获取牵引车辆10与被牵引车辆12之间的连接状态或连接角度,因此能够简化系统结构的同时减轻运算处理或图像处理的负荷。另外,牵引车辆10也可以具备拍摄前方或者侧方的拍摄部。进一步地,也可以是在被牵引车辆12的侧方或者后方具备拍摄部。基于由多个拍摄部获得的拍摄图像数据来进行运算处理或者图像处理,能够生成视角更广的图像、或生成从牵引车辆10上方观察的虚拟的俯视图像(平面图像)。
此外,如图3所示,在牵引车辆10的车室内设置有显示装置26或声音输出装置28等。显示装置26例如是LCD(Liquid Crystal Display,液晶显示器)或OELD(OrganicElectro-Luminescence Display,有机电致发光显示器)等。声音输出装置28作为一个示例是扬声器。此外,在本实施方式中,作为一个示例,显示装置26被透明的操作输入部30(例如,触摸面板等)覆盖。驾驶员(利用者)能够经由操作输入部30目视确认显示到显示装置26的画面的影像(图像)。此外,驾驶员通过在与显示装置26的画面上所显示的影像(图像)对应的位置,用手指等对操作输入部30进行触碰、按压或划动等操作,能够进行操作输入(指示输入)。此外,在本实施方式中,作为一个示例,显示装置26、声音输出装置28、以及操作输入部30等设置于位于前围板的车宽方向(左右方向)的中央部的监控装置32。监控装置32可以具备开关、旋钮、控制杆以及按钮等操作输入部(未图示)。此外,在与监控装置32不同的车室内的其他位置也可以设有声音输出装置(未图示),能够从监控装置32的声音输出装置28或其他声音输出装置输出声音。此外,在本实施方式中,作为一个示例,监控装置32也可以兼用于导航系统或者音响系统,用于周边监控装置的监控装置也可以与这些系统分开设置。
显示装置26,例如在牵引车辆10倒退时,能够显示参考线,其表示该牵引车辆10的至少一部分的移动(移动位置)的参考。此外,显示装置26能够在牵引车辆10连接有被牵引车辆12的情况下和没有连接的情况下切换显示参考线的显示形态。显示装置26的显示内容的细节在后文叙述。
此外,在牵引车辆10的车室内,也可以设有与显示装置26不同的其他显示装置34。显示装置34例如也可以设置于前围板的仪表盘部。显示装置34的画面的尺寸可以比显示装置26的画面的尺寸小。显示装置34能够在显示与牵引车辆10或被牵引车辆12对应的图标或指示符的同时,简单地显示参考线。显示装置34所显示的信息量也可以比显示装置26所显示的信息量少。显示装置34例如是LCD或OELD等。此外,显示装置34也可以由LED等构成。
另外,在本实施方式中,参考线是指作为牵引车辆10倒退时的该牵引车辆10的至少一部分的移动(移动位置)的参考的引导线。参考线例如,可以是表示相对于牵引车辆10的后方的规定位置的固定参考线,也可以是根据转向角变化显示位置的可变参考线,所述可变参考线表示牵引车辆10在基于牵引车辆10的当前的转向角进行转弯移动或直行移动时到达的移动位置的参考。固定参考线是与牵引车辆10的转向角无关地在显示装置26上表示牵引车辆10的后方的规定位置的固定的线。固定参考线例如,可以是从牵引车辆10的右后端向后方直线延伸的右端延长线、以及从左后端向后方直线延伸的左端延长线,一对的右端延长线和左端延长线包括表示牵引车辆10的车宽的车宽引导线。此外,固定参考线可以包括表示与后保险杠16之间的间隔距离的距离参考线。另一方面,可变参考线是在牵引车辆10根据牵引车辆10的转向角一边倒退一边例如转弯时在转弯方向上显示的右端延长线和左端延长线,可以包括基于转弯方向弯曲的表示车宽的车宽引导线。另外,直行移动时,车宽引导线也由直线显示。可变参考线可以包括距离参考线,距离参考线表示牵引车辆10倒退行驶(转弯行驶)之后要达到的该牵引车辆10的移动位置下的后保险杠16的位置,以表示与当前位置的牵引车辆10的后保险杠16之间的间隔距离。在这种情况下,距离参考线沿转弯方向排列。在显示装置26显示固定参考线还是显示可变参考线能够由驾驶员通过可操作的操作输入部30选择。此外,也可以同时显示固定参考线和可变参考线双方。另外,在下述实施方式中,作为参考线的一个示例,对显示可变参考线的示例进行说明。此外,在下述说明中,根据转向角变化显示位置的可变参考线称为“轨迹线”。
在周边监控系统100(周边监控装置)中,ECU36(Electronic Control Unit,电子控制单元)和监控装置32以外,转向角传感器38以及档位传感器40等也通过作为电气通信线路的车内网络42电连接。车内网络42例如构成为CAN(Controller Area Network,控制器区域网络)。ECU36能够经由车内网络42接收转向角传感器38、以及档位传感器40等的检测结果或操作输入部30等的操作信号等并反映到控制中。
ECU36包括例如CPU36a(Central Processing Unit,中央处理单元)、ROM36b(ReadOnly Memory,只读存储器)、RAM36c(Random Access Memory,随机存取存储器)、SSD36d(Solid State Drive,快闪存储器)、显示控制部36e以及声音控制部36f等。CPU36a能够进行例如与显示装置26以及显示装置34所显示的图像相关的图像处理。此外,CPU36a能够进行根据牵引车辆10的转向角或是否连接有被牵引车辆12生成轨迹线的生成处理、使其显示形态变化的显示处理等、各种的运算处理以及控制。所述轨迹线是在牵引车辆10倒退时所显示的作为倒退时的移动(移动位置)的参考的参考线的一个示例。CPU36a能够对安装并存储在ROM36b等非易失性存储装置的程序进行读取,并根据该程序进行运算处理。RAM36c暂时存储在CPU36a进行运算所使用的各种数据。此外,显示控制部36e主要进行在ECU36进行的运算处理中的显示装置26、34所显示的图像数据的合成等。此外,声音控制部36f主要进行在ECU36进行的运算处理中的声音输出装置28所输出的声音数据的处理。此外,SSD36d是可擦写的非易失性的存储部,即使是在ECU36的电源被断开的情况下也能够存储数据。另外,CPU36a、ROM36b、以及RAM36c等能够集成在同一封装体内。此外,ECU36还可以是使用DSP(Digital Signal Processor,数字信号处理器)等其他逻辑运算处理器或逻辑电路等来取代CPU36a的结构。此外,也可以设置HDD(Hard Disk Drive,硬盘驱动器)来代替SSD36d,SSD36d或HDD也可以与ECU36分开设置。
转向角传感器38例如是检测牵引车辆10的方向盘等转向部的转向量(牵引车辆10的转向角)的传感器。转向角传感器38例如用霍尔元件等构成。ECU36从转向角传感器38获取驾驶员操作转向部的转向量或自动转向时各车轮14的转向量等,来进行各种控制。另外,转向角传感器38检测包含在转向部的旋转部分的旋转角度。转向角传感器38是角度传感器的一个示例。
档位传感器40例如是检测变速操作部(例如,变速杆)的可动部的位置的传感器。档位传感器40能够检测作为可动部的杆、臂以及按钮等的位置。档位传感器40也可以包括位移传感器,还可以构成为开关。
另外,上述的各种传感器等的结构、配置、以及电连接的形态等仅是一个示例,可以进行各种设定(变更)。
图4是ECU36所包括的CPU36a的结构的例示性的框图。CPU36a具备用来实现生成在牵引车辆10倒退时所显示的轨迹线的生成处理、以及使其显示形态变化的显示处理的各种模块,所述轨迹线表示作为参考线的一个示例的倒退移动轨迹。各种模块能够实现:CPU36a读取安装并存储在ROM36b等的存储装置中的程序并执行该程序。例如,如图4所示,CPU36a具备获取部44、图像变换部46、以及控制部48等模块。
获取部44获取用来将表示牵引车辆10倒退时的倒退移动轨迹的轨迹线显示到显示装置26的各种信息。获取部44例如包括图像获取部44a、状态获取部44b、档位位置获取部44c、监控要求获取部44d、以及连接角度获取部44e等。
图像获取部44a获取拍摄牵引车辆10的后方区域而得到的拍摄图像数据,所述拍摄图像数据由设置在牵引车辆10的后部的拍摄部24拍摄。拍摄部24固定于牵引车辆10的后部,拍摄方向或拍摄区域被固定。因此,在基于拍摄部24拍摄的拍摄图像数据的图像的规定位置(例如画面的下端侧区域),映出牵引车辆10的后保险杠16、牵引装置18(拖车球18a)等。此外,在被牵引车辆12连接于牵引车辆10的情况下,在图像中,在以后保险杠16等为基准的规定的区域映出被牵引车辆12的前端部的一部分以及连接部件20(拖车球罩20a)。另外,除基于拍摄部24的后方区域的图像(后方图像)外,图像获取部44a还可以从拍摄牵引车辆10的前方图像的拍摄部或拍摄牵引车辆10的左右侧方图像的拍摄部、拍摄被牵引车辆12的左右侧方图像的拍摄部、以及拍摄被牵引车辆12的后方图像的拍摄部获取拍摄图像数据。基于拍摄牵引车辆10或被牵引车辆12的周围而得到的拍摄图像数据,图像变换部46能够生成表示牵引车辆10或被牵引车辆12的周边状况的俯视图像。各图像可以由与拍摄部24相同结构的拍摄部拍摄。例如,牵引车辆10的前方图像能够由设置于牵引车辆10的前保险杠或车室内的前窗的内侧等的拍摄部拍摄。此外,牵引车辆10的左右侧方图像例如能够由设置于牵引车辆10的侧面后视镜等的拍摄部拍摄。同样地,被牵引车辆12的左右侧方图像例如能够由设置于被牵引车辆12的车身的左右侧面等的拍摄部拍摄,被牵引车辆12的后方图像能够由设置于被牵引车辆12的后方壁面的拍摄部拍摄。
状态获取部44b获取表示牵引车辆10是否连接有被牵引车辆12的连接信息或牵引车辆10的当前的转向角信息等。状态获取部44b例如也可以将在连接有被牵引车辆12的情况下牵引车辆10的驾驶员操作操作输入部30而输入的输入信息作为连接信息获取。此外,还可以将在对基于图像获取部44a获取到的表示牵引车辆10的后方区域的拍摄图像数据的图像进行图像处理,将在识别出被牵引车辆12的情况下的识别信息作为连接信息获取。此外,还可以在牵引装置18设置传感器,将在检测出牵引装置18与连接部件20的连接的情况下的检测信息作为连接信息获取。此外,在牵引车辆10连接有被牵引车辆12的情况下,基于牵引车辆10的控制进行设置于被牵引车辆12的后端部的刹车灯、方向指示器、以及车宽灯等的点亮控制。在这种情况下,能够将表示牵引车辆10与被牵引车辆12之间的控制线已连接的信号作为连接信息获取。此外,作为牵引车辆10的转向角信息,获取转向角传感器38检测出的检测值。即,获取驾驶员从现在起使牵引车辆10(被牵引车辆12)行驶的方向的转向角。另外,状态获取部44b,在仅将固定参考线显示到显示装置26的情况下,可以省略转向角信息的获取。
档位位置获取部44c基于档位传感器40输出的变速操作部的可动部的位置,获取牵引车辆10是处于可前进的状态还是处于可倒退的状态。在获取转向角信息的情况下,状态获取部44b也可以参考档位位置获取部44c的获取结果,识别当前的转向角是处于可前进的状态时的转向角还是处于可倒退的状态时的转向角。
监控要求获取部44d获取表示是否有要求周边监控系统100向周边监控模式转变的信息,所述周边监控模式进行周边监控、特别是进行关于牵引车辆10的后方区域的监控(使用轨迹线的驾驶辅助)。监控要求获取部44d能够接受是否有要求向周边监控模式转变的信号,所述信号例如通过供驾驶员操作的操作输入部30而得到。此外,在档位位置获取部44c获取的档位传感器40的检测结果为表示倒退行驶的"R档"的情况下,也可以将该检测结果作为表示向周边监控模式的转变要求的信息获取。
连接角度获取部44e获取在牵引车辆10连接有被牵引车辆12的情况下的连接角度,即相对于牵引车辆10的车辆中心轴的被牵引车辆12的连接部件20(连接中心轴)的角度。连接角度获取部44e能够通过对基于图像获取部44a获取到的拍摄图像数据的图像进行图像处理,检测连接部件20(连接中心轴)。然后,连接角度获取部44e能够通过检测连接部件20(连接中心轴)相对于车辆中心轴的转弯方向的位移角,获得牵引车辆10与被牵引车辆12之间的连接角度θ。此外,在另一个实施方式中,在牵引装置18具备角度检测传感器的情况下,连接角度获取部44e也可以根据角度检测传感器的检测值获取连接角度θ。
图像变换部46将拍摄部24拍摄到的牵引车辆10的后方图像的拍摄图像数据、牵引车辆10的前方图像以及左右侧方图像等进行视点转换并合成,能够变换出如从上空俯视牵引车辆10那样的俯视图像。在本实施方式的情况下,如图5、图6所示,CPU36a能够在显示装置26的画面26a上并列显示基于拍摄部24拍摄到的拍摄图像数据的表示牵引车辆10的后方区域的实际图像P1、以及由图像变换部46变换出的俯视图像P2。在周边监控系统100的控制状态转变为周边监控模式的情况下,CPU36a将显示装置26从通常显示的画面26a的导航画面或音响画面切换为包括如图5或图6所示的包括实际图像P1和俯视图像P2的周边监控画面。
如上所述,拍摄部24的拍摄方向设定为能够拍摄包括牵引车辆10的后端部即后保险杠16和牵引装置18的牵引车辆10的后方区域。由此,在牵引车辆10没有连接被牵引车辆12的情况下,如图5所示,在实际图像P1中,在画面26a的下端侧显示牵引车辆10的后保险杠16和牵引装置18的同时,在后保险杠16的上方的显示区域显示有作为参考线的轨迹线50(第一参考线)。此外,在牵引车辆10连接有被牵引车辆12的情况下,如图6所示,在实际图像P1中,在画面26a的下端侧显示有牵引车辆10的后保险杠16以及牵引装置18。此外,在实际图像P1中,在后保险杠16的上方的显示区域显示有作为变化了轨迹线50的显示形态的参考线的轨迹线50A(第二参考线)以及被牵引车辆12。另外,如图5、图6所示,在本实施方式中,在没有连接被牵引车辆12的情况下,所显示的轨迹线50延伸到距离牵引车辆10的后部最远的位置即第一最远显示位置。此外,在连接有被牵引车辆12的情况下,所显示的显示轨迹线50A从牵引车辆10的后部延伸到比第一最远显示位置近且作为最远位置即第二最远显示位置。轨迹线50、50A的细节在后文叙述。
如图5、图6所示,在俯视图像P2中,显示与牵引车辆10对应的本车图像10p的同时,与实际图像P1同样地轨迹线50、50A显示为从本车图像10p的后端部延伸。通过显示俯视图像P2,更加易于掌握牵引车辆10的周围情况。此外,通过在俯视图像P2包括轨迹线50、50A,例如,在牵引车辆10的周围存在障碍物(其他车辆或墙壁等)的情况下,能够容易地掌握牵引车辆10和障碍物之间的当前的相对位置关系或在进行倒退行驶的情况下的将来的相对位置关系。另外,如上所述,在本实施方式的拍摄部24拍摄的拍摄图像数据中,作为后方图像仅映出牵引车辆10的后保险杠16以及牵引装置18。此外,在前方图像或左右侧方图像也仅包括牵引车辆10的一部分。因此,从拍摄画豫数据无法获取与本车图像10p相关的信息(形状数据)。由此,在显示俯视图像P2的情况下,图像变换部46通过读出预先存储于ROM36b等的本车图像10p的显示数据并叠加显示到平面图数据,能够在俯视图像P2上显示本车图像10p。
此外,如图6所示在拍摄部24拍摄到的拍摄图像数据映出有被牵引车辆12的情况下,图像变换部46生成(变换)出的俯视图像P2包括与被牵引车辆12对应的挂车图像12p。在这种情况下,将从拍摄部24拍摄到的被牵引车辆12变换为平面图数据,则成为朝向后方延伸的挂车图像12p。然后,在挂车图像12p上,以使与连接部件20的拖车球罩20a(参考图2)对应的部分和与本车图像10p的牵引装置18(参考图2)对应的部分连接的方式叠加显示本车图像10p。在图6的情况下,示出了为了明确被牵引车辆12的存在而在挂车图像12p上叠加显示与被牵引车辆12对应的挂车图标52的示例。作为挂车图像12p,与本车图像10p同样地,读出预先存储于ROM36b等的挂车图像12p的显示数据,并叠加显示到平面图数据。其结果,在俯视图像P2上,能够生成看起来本车图像10p连接有挂车图像12p(挂车图标52)的图像。另外,在显示为挂车图标52连接于本车图像10p的情况下,本车图像10p和挂车图标52能够以基于连接角度获取部44e获取到的牵引车辆10与被牵引车辆12之间的实际的连接角度θ的角度连接。在牵引车辆10连接有被牵引车辆12的情况下,通过在俯视图像P2显示本车图像10p和挂车图标52,能够容易地掌握牵引车辆10与被牵引车辆12的当前的连接状态。另外,在图6的情况下,示出了显示挂车图标52的例子,但只要能够知道被牵引车辆12是连接状态,也可以省略挂车图标52的显示。
控制部48为了主要实施进行周边监控模式时的叠加显示到显示装置26的画面26a的要素的控制,例如包括引导线生成部48a(生成部)、显示切换部48b以及显示形态控制部48c等模块。
在档位位置获取部44c获取到的档位位置为表示处于可倒退行驶状态的“R档”的情况下,引导线生成部48a例如,基于牵引车辆10的当前的转向角生成表示倒退移动轨迹的轨迹线50(引导线),所述倒退移动轨迹表示牵引车辆10倒退行驶时牵引车辆10或车轮14的行进方向。如图5所示,轨迹线50例如由一对基于牵引车辆10的转向角在行进方向延伸的表示牵引车辆10的车宽的车宽引导线50a(右端延长线和左端延长线),以及显示为横跨该一对的车宽引导线50a,并表示从牵引车辆10的端部(后保险杠16)到后方远方的间隔距离的多个的距离参考线50b、50c、50d等构成。在图5的情况下,示出了在牵引车辆10的转向状态从中立位置向右方向旋转的情况下所显示的轨迹线50。引导线生成部48a能够从状态获取部44b获取到的牵引车辆10的转向角获取牵引车辆10的转弯半径,确定轨迹线50的转弯形状(转弯方向或曲率等)。距离参考线50b显示在与距离后保险杠16例如0.5m的间隔距离相对应的位置,距离参考线50c显示在与距离后保险杠16例如1.0m的间隔距离相对应的位置,距离参考线50d显示在与距离后保险杠16例如2.5m的间隔距离相对应的位置。此外,向轨迹线50的后方延伸的长度能够适当地选择,可以是2.5m以上,也可以是不到2.5m。此外,显示了三根距离参考线50b、50c、50d,也可以为少于三根或四根以上。另外,其间隔也可以变更。此外,在另一个实施方式中,也可以将在牵引车辆10的前后方向上延伸的车辆中心线的延长线作为轨迹线50。在这种情况下,也可以从后保险杠16向后方延伸一根线,在该线上附加与距离参考线50b、50c、50d同样的线。此外,距离参考线50b、50c、50d也可以是模拟后保险杠16或牵引车辆10的后角部的线。
在监控要求获取部44d获取到向周边监控模式的转变要求的情况下,显示切换部48b将显示装置26的画面26a从通常显示画面即导航画面或音响画面切换为图5或图6所示的周边监控画面。此外,在监控要求获取部44d获取到结束周边监控模式的要求的情况下,显示切换部48b将周边监控画面恢复到通常显示画面。
在牵引车辆10连接有被牵引车辆12的情况下和没有连接的情况下,显示形态控制部48c切换在实际图像P1或俯视图像P2上叠加显示的轨迹线50和轨迹线50A的显示形态。作为一个示例,在状态获取部44b获取到表示没有连接被牵引车辆12的连接信息的情况下,显示形态控制部48c保持原样地显示引导线生成部48a生成出的轨迹线50。即,在牵引车辆10没有连接被牵引车辆12的情况下,如图5所示,显示形态控制部48c将从牵引车辆10的后部延伸至例如2.5m后方的第一最远显示位置的状态的轨迹线50叠加显示到实际图像P1。在图5的情况下,示出了轨迹线50根据牵引车辆10的转向角而呈向右方向弯曲的状态,作为轨迹线50显示车宽引导线50a的同时,显示表示0.5m后方处的距离参考线50b、表示1.0m后方处的距离参考线50c以及表示2.5m后方处的距离参考线50d。如此,在牵引车辆10没有连接被牵引车辆12的情况下,即使显示延伸到第一最远显示位置的轨迹线50,对其他显示内容产生干扰的可能性较低,能够实现简洁的显示。此外,显示内容不会变得繁琐,因此能够使驾驶员易于理解轨迹线50是牵引车辆10的倒退移动轨迹。进一步地,通过使驾驶员确认实际图像P1,能够容易地识别以当前的转向角倒退2.5m时的牵引车辆10的后端部的预计到达位置。另外,在牵引车辆10的后方存在其他车辆等障碍物的情况下,在实际图像P1也显示该障碍物与轨迹线50的位置关系。其结果,便于驾驶员判断当前的转向角是否适合倒退行驶。
此外,在状态获取部44b获取到表示连接有被牵引车辆12的连接信息的情况下,显示形态控制部48c变更引导线生成部48a生成出的轨迹线50的显示形态。例如,将显示到第一最远显示位置为止的轨迹线50,变更为从牵引车辆10的后部到较近位置即第二最远显示位置为止延伸的轨迹线50A。即,在牵引车辆10连接有被牵引车辆12的情况下,如图6所示,显示形态控制部48c将从牵引车辆10的后部到例如1.0m后方的第二最远显示位置为止延伸的轨迹线50A叠加显示在实际图像P1上。在图6的情况下,示出了轨迹线50A根据牵引车辆10的转向角而呈向右方向弯曲的状态,作为轨迹线50A仅显示车宽引导线50a和表示1.0m后方处的距离参考线50c。如此,在牵引车辆10连接有被牵引车辆12的情况下,通过显示延伸到第二最远显示位置的轨迹线50A,显示在实际图像P1中的连接于牵引车辆10的被牵引车辆12与轨迹线50A之间难以产生干扰。即,在牵引车辆10连接有被牵引车辆12的情况下,即使在显示轨迹线50A的情况下,也能够减轻实际图像P1的显示内容变得繁琐的可能性。此外,轨迹线50A与被牵引车辆12难以重叠,显示内容不会变得繁琐,因此容易识别到被牵引车辆12与轨迹线50A之间关联性低,容易地使驾驶员易于理解轨迹线50A是牵引车辆10的倒退移动轨迹。进一步地,通过使驾驶员确认实际图像P1,能够容易地识别以当前的转向角倒退1.0m时的牵引车辆10的后端部的预计到达位置。
在显示形态控制部48c切换轨迹线50(第一参考线)和轨迹线50A(第二参考线)的显示形态的情况下,可以显示为延伸到第二最远显示位置的短轨迹线50A包括延伸到第一最远显示位置的长轨迹线50的一部分。在图5和图6的情况下,将车宽引导线50a和距离参考线50c与轨迹线50和轨迹线50A一起显示。其结果,驾驶员容易地识别到仅显示到第二最远显示位置的轨迹线50A也与轨迹线50同样地是预计移动位置线,且容易识别牵引车辆10的移动方向。此外,即使是短显示形态的轨迹线50A,也容易识别转向的状态(方向盘处于中立位置、还是旋转了一圈的同一位置等)。
另外,在牵引车辆10连接有被牵引车辆12的情况下,状态获取部44b也可以获取牵引车辆10与被牵引车辆12之间的连接间隔距离。例如,状态获取部44b也可以对图像获取部44a获取到的后方图像进行图像处理,并通过推断牵引车辆10与被牵引车辆12之间的相对距离或连接部件20的长度来获取连接间隔距离。此外,在牵引车辆10连接有被牵引车辆12时,状态获取部44b也可以使驾驶员经由操作输入部30等输入连接部件20的长度。连接部件20的长度根据被牵引车辆12的规格而不同,因此可以利用例如在所连接的被牵引车辆12的规格书等记载的数值,也可以通过操作输入部30选择预先准备的连接部件20的长度候补来进行输入。此外,也可以基于被牵引车辆12的轴距的长度或被牵引车辆12的尺寸等推断并获取连接部件20的长度。此外,在牵引车辆10的后保险杠16等设置有声纳等的测距部的情况下,也可以将测距部测量出的到被牵引车辆12为止的距离作为连接间隔距离。
显示形态控制部48c还可以根据状态获取部44b获取到的连接间隔距离,确定轨迹线50A的第二最远显示位置。即,以与所连接的被牵引车辆12不重叠的方式确定第二最远显示位置并显示轨迹线50A。在这种情况下,能够可靠地避免轨迹线50A重叠显示到被牵引车辆12,能够使驾驶员易于理解轨迹线50A是牵引车辆10的倒退移动轨迹。此外,轨迹线50A与被牵引车辆12没有重叠显示,因此能够可靠地进行实际图像P1的显示内容的简洁化。另外,在根据牵引车辆10与被牵引车辆12之间的连接间隔距离确定第二最远显示位置的情况下,能够设定为第二最远显示位置比连接间隔距离短规定距离,例如,仅缩短相当于100mm~200mm的距离。通过如此设定轨迹线50A的长度,能够在不干扰被牵引车辆12的范围内显示足够长度的轨迹线50A。其结果,虽然与显示轨迹线50的情况相比较短,也能够使驾驶员充分理解牵引车辆10的倒退时的将来的移动到达位置。此外,如图6所示,轨迹线50A能够显示为足够识别该轨迹线50A显示为笔直还是显示为弯曲的长度。即,驾驶员能够识别牵引车辆10的转向角处于中立位置还是处于转弯位置。进一步地,在使被牵引车辆12一边使姿势变化一边倒退的情况下,虽然需要微妙地调整牵引车辆10的转向角,但是轨迹线50A与被牵引车辆12不会重叠显示,并且容易识别基于转向角的变更产生的轨迹线50A的变化或被牵引车辆12的姿势的变化。其结果,能够更加恰当且容易进行用于使被牵引车辆12的姿势变化的牵引车辆10的倒退行驶的操作。此外,在使被牵引车辆12向期望的方向转弯的情况下,能够减少使牵引车辆10的转向角向反方向变化的错误。即,防止被牵引车辆12的姿势变化的恶化变得容易。
另外,引导线生成部48a生成如图5所示的显示到俯视图像P2的轨迹线50,显示形态控制部48c基于状态获取部44b所获取的被牵引车辆12的连接信息,能够使轨迹线50以及轨迹线50A的显示形态变化。通过由俯视图像P2俯视轨迹线50以及轨迹线50A,在没有连接被牵引车辆12的情况下和连接有被牵引车辆的情况下的任一情况下,均能够容易地掌握牵引车辆10的倒退移动轨迹。此外,在连接有被牵引车辆12的情况下,能够容易地掌握牵引车辆10或被牵引车辆12的动作。
图7~图9是表示轨迹线50和轨迹线50A的显示形态的变化的变种的示意图。图7是以细线表示没有连接被牵引车辆12的情况下(图7左侧)的轨迹线50的示例,轨迹线50由车宽引导线50a、以及距离参考线50b~50d构成。另一方面,连接有被牵引车辆12的情况下(图7右侧)的轨迹线50A由车宽引导线50a、以及距离参考线50b~50d构成,以粗线强调显示与到第二最远显示位置为止的显示相对应的车宽引导线50a以及距离参考线50c。在这种情况下,在连接有被牵引车辆12的情况下,虽然存在以细线显示的距离参考线50d在实际图像P1上与被牵引车辆12重叠的情况,但是由于强调显示轨迹线50A,因此容易注视轨迹线50A。其结果,即使显示有细线的距离参考线50d等,也难以给驾驶员以视觉上的不协调感或烦杂感。
图8是以虚线显示没有连接被牵引车辆12的情况下(图8左侧)的轨迹线50的示例,轨迹线50由车宽引导线50a、以及距离参考线50b~50d构成。另一方面,作为连接有被牵引车辆12的情况下(图8右侧)的轨迹线50A,以虚线显示与到第二最远显示位置为止的显示相对应的车宽引导线50a以及距离参考线50c。在这种情况下,轨迹线50A以虚线显示所需最小限度的部分,因此既能够维持轨迹线50A的引导功能,又能够提高实际图像P1的显示内容的简洁性,能够提高实际图像P1的显示内容的容易掌握性。
图9是没有连接被牵引车辆12的情况下(图9左侧)的轨迹线50由车宽引导线50a、以从车宽引导线50a的一部分向车宽方向凸出的小片显示的距离参考线50b、50c以及以横跨车宽引导线50a的连线显示的距离参考线50d构成的示例。另一方面,连接有被牵引车辆12的情况下(图9右侧)的轨迹线50A,显示与到第二最远显示位置为止的显示相对应的车宽引导线50a以及向车宽方向凸出的小片的距离参考线50c。在这种情况下,与图8的示例同样地,轨迹线50A显示所需最小限度的部分,因此既能够维持轨迹线50A的引导件功能,又能够还提高实际图像P1的显示内容的简洁性,能够提高实际图像P1的显示内容的容易掌握性。
另外,在图7~图9所示的变种中,仅是轨迹线50或轨迹线50A的显示形态的一个示例,也可以使距离参考线50b、50c、50d的显示颜色分别不同,使距离参考线50b、50c、50d切分出的区域的显示颜色不同来识别距离感。此外,轨迹线50的前方的长度能够适当选择,可以是2.5m以上,也可以是不到2.5m。此外,显示了三根距离参考线50b、50c、50d,也可以为少于三根或四根以上。另外,其间隔也可以变更。此外,也可以通过在点亮状态和闪烁状态之间进行切换、切换显示亮度、以及切换显示透过率等来实现轨迹线50与轨迹线50A之间的显示形态的变更,能够获得相同的效果。
如此,在牵引车辆10没有连接被牵引车辆12的情况下和连接有被牵引车辆的情况下,由于轨迹线50、50A的显示形态变化,因此本实施方式的周边监控系统100容易识别连接前的显示内容和连接后的显示内容的变化。其结果,能够容易地注目轨迹线50、50A,容易地意识到显示的是牵引车辆10的倒退移动轨迹,并且容易利用。此外,以如下的方式进行显示,牵引车辆10连接有被牵引车辆12的情况下的轨迹线50A的第二最远显示位置比没有连接被牵引车辆12的情况下的轨迹线50的第一最远显示位置近。其结果,更加易于区别连接有被牵引车辆12的情况下和没有连接的情况下的轨迹线50、50A。此外,在没有连接被牵引车辆12的情况下,轨迹线50在牵引车辆10的后方显示到远处。其结果,易于进行在以当前的转向角使牵引车辆10倒退的情况下的到远处的移动预测。此外,在连接有被牵引车辆12的情况下,轨迹线50A的第二最远显示位置比轨迹线50的第一最远显示位置近,因此在实际图像P1上被牵引车辆12难以与轨迹线50A重叠。其结果,能够更加容易地识别到轨迹线50A是牵引车辆10的倒退移动轨迹。
使用图10的流程图说明由如上述的结构的周边监控系统100进行的周边监控中的显示处理步骤的一个示例。
首先,CPU36a确认监控要求获取部44d是否获取到向周边监控模式的转变要求,所述要求例如由驾驶员通过操作输入部30的操作而发出。在监控要求获取部44d没有获取到向周边监控模式的转变要求的情况下(S100的“否”),CPU36a暂时结束本流程。另一方面,在监控要求获取部44d获取到向周边监控模式的转变要求的情况下(S100的“是”),CPU36a基于档位位置获取部44c的获取结果,确认牵引车辆10的当前打算行进的方向(前进还是倒退)。在档位位置获取部44c获取到表示驾驶员为了使牵引车辆10倒退行驶而将变速操作部移动到“R档”的信号的情况下(S102的“是"),经由图像获取部44a获取牵引车辆10的周边图像(S104)。例如,获取拍摄部24拍摄的后方图像以及设置于牵引车辆10的前方的前方拍摄部拍摄的前方图像或左右侧方拍摄部拍摄的侧方图像等。
接着,显示切换部48b利用实际图像P1和由图像变换部46生成出的俯视图像P2,显示周边监控画面(S106),所述实际图像P1是利用图像获取部44a获取到的后方图像得到的。即,显示切换部48b将在到接受到向周边监控模式的转变要求之前显示于显示装置26的画面26a的通常显示画面(例如,导航画面或音响画面)切换为例如如图5或图6所示的由实际图像P1和俯视图像P2构成的周边监控画面。
接着,CPU36a经由状态获取部44b获取转向角传感器38检测的牵引车辆10的转向角(S108)。然后,引导线生成部48a,参考状态获取部44b获取的连接信息,在被牵引车辆12没有处于连接状态的情况下(S110的“否”)根据状态获取部44b获取的牵引车辆10的转向角,生成被牵引车辆12非连接时的倒退移动轨迹即轨迹线50(参考图5)(S112)。另一方面,在S110,在被牵引车辆12处于连接状态的情况下(S110的“是”),显示形态控制部48c根据轨迹线50,生成延伸到第二最远显示位置的连接时的预计移动位置线即轨迹线50A(S114),所述轨迹线50是引导线生成部48a根据状态获取部44b获取到的牵引车辆10的转向角生成的。此外,连接角度获取部44e获取牵引车辆10与被牵引车辆12之间的连接角度θ(S116),并获取显示于俯视图像P2的挂车图标52(S118)。
显示形态控制部48c将所生成的轨迹线50或轨迹线50A显示到周边监控画面(实际图像P1以及俯视图像P2)(S120)。即,在显示装置26显示图5或者图6那样的画面26a。
然后,在监控要求获取部44d获取到结束周边监控模式的要求的情况下(S122的“是”),例如在驾驶员通过操作输入部30操作了结束开关的情况等,CPU36a通过显示切换部48b,将通常显示画面显示(恢复)到显示装置26的画面26a(S124)。例如,将画面26a切换为导航画面或音响画面,暂时结束一连串的周边监控处理。
在S122中,在监控要求获取部44d没有获取到结束周边监控模式的要求的情况下(S122的“否”),CPU36a转入S102,继续周边监控处理。另外,在S102中,在档位位置获取部44c没有获取到表示变速操作部移动到“R档”的信号的情况下(S102的“否”),转入S122,进行是否继续周边监控模式的判定。
图10所示的流程图是一个示例,周边监控系统100只要能够根据是否连接有被牵引车辆12在轨迹线50和轨迹线50A之间进行显示形态切换即可,可以适当交换或增减处理步骤等,能够获得相同的效果。
如此,根据本实施方式的周边监控系统100,在可连接被牵引车辆12的牵引车辆10,由于倒退移动时能够显示容易利用的轨迹线50、50A,因此能够有效利用轨迹线50、50A的同时,能够给予驾驶员安全感。
在上述的实施方式中,示出了在显示装置26上俯视图像P2的显示区域比实际图像P1的显示区域小的示例,也可以使俯视图像P2比实际图像P1显示得大。在这种情况下,能够使驾驶员容易更明确地理解被牵引车辆12的姿势(基于俯视的连接状态)。此外,也可以将俯视图像P2显示在显示装置34上,仅将实际图像P1显示在显示装置26。在这种情况下,能够确保实际图像P1的显示区域宽广,能够提高实际图像P1的目视确认性。此外,在显示装置34设置于驾驶时的驾驶员基本不动视线就能够目视确认的位置(例如前围板的仪表盘部等)的情况下,能够提高俯视图像P2的目视确认性。此外,可以在显示装置26上仅显示俯视图像P2,同样地,能够提高俯视图像P2的目视确认性。此外,在上述的实施方式中,示出了显示实际图像P1的同时显示俯视图像P2的示例,也可以是仅显示实际图像P1的系统。在这种情况下,能够省略图像变换部46的同时,仅使用拍摄部24就能形成周边监控画面,因此有助于减少系统成本。
在上述实施方式中,示出了作为参考线的轨迹线50由车宽引导线50a以及距离参考线50b~50d构成的示例。此外,示出了作为参考线的轨迹线50A由车宽引导线50a以及距离参考线50c构成的示例。在另一个的实施方式中,也可以是轨迹线50或仅由车宽引导线50a构成,或仅由距离参考线50b~50d构成。同样地,也可以是,轨迹线50A或仅由车宽引导线50a构成,或仅由距离参考线50c构成。在这种情况下,能够维持通过轨迹线50或轨迹线50A识别牵引车辆10的移动(移动位置)的参考的效果的同时,实际图像P1或俯视图像P2的显示内容的简洁化成为可能,着重于被牵引车辆12的状态或动作、牵引车辆10或被牵引车辆12的周围的状况等的目视确认性的显示成为可能。
此外,在上述实施方式中,示出了显示可变参考线的示例,也可以显示固定参考线。在这种情况下,根据牵引车辆10是否连接有被牵引车辆12,能够使固定参考线的车宽引导线或距离参考线的显示形态(车宽引导线的长度或距离参考线的根数,显示颜色或线种等)变化。其结果,在牵引车辆10倒退时,与是否连接有被牵引车辆12无关地,掌握牵引车辆10的后方的距离感变得容易,能够提高牵引车辆10的驾驶容易度、以及连接有被牵引车辆12时的驾驶容易度。此外,如上所述,也可以同时显示可变参考线和固定参考线双方。在这种情况下,能够容易地识别可变参考线相对于固定参考线的变化状态,更加容易掌握牵引车辆10和被牵引车辆12的转弯状态,更加容易地识别牵引车辆10或被牵引车辆12的状态(姿势等)。
本实施方式的由CPU36a执行的周边监控程序,可以构成为以能够安装的形式或能够执行的形式的文件记录在CD-ROM、软磁盘(FD)、CD-R、DVD(Digital Versatile Disk,数字多功能光盘)等计算机能够读取的存储介质上来提供。
进一步地,周边监控程序也可以构成为,存储在与互联网等网络连接的计算机上,以通过网络下载的方式来提供。此外,本实施方式执行的周边监控程序也可以构成为通过互联网等网络来提供或者发布。
以上对本发明的实施方式以及变形例进行了说明,但这些实施方式以及变形例仅是作为示例展示的,并不用于限定发明的范围。这些新的实施方式能够以其他各种方式来实施,在不脱离发明的要旨的范围内,可以进行各种省略、替换、以及变更。这些实施方式及其变形,均包含在发明的范围及要旨内,并且包含在权利要求书中记载的发明及其等同范围内。
符号说明
10…牵引车辆,12…被牵引车辆,24…拍摄部,26…显示装置,36…ECU,36a…CPU,38…转向角传感器,40…档位传感器,44…获取部,44a…图像获取部,44b…状态获取部,44c…档位位置获取部,44d…监控要求获取部,44e…连接角度获取部,46…图像变换部,48…控制部,48a…引导线生成部,48b…显示切换部,48c…显示形态控制部,50,50A…轨迹线,50a…车宽引导线,50b、50c、50d…距离参考线,100…周边监控系统。

Claims (5)

1.一种周边监控装置,其特征在于,具备:
图像获取部,其获取从可连接被牵引车辆的牵引车辆拍摄该牵引车辆的后方区域的拍摄图像数据,
状态获取部,其获取表示所述牵引车辆是否连接有所述被牵引车辆的连接信息,
生成部,其生成作为所述牵引车辆倒退时的该牵引车辆的移动的参考的参考线,以及
显示形态控制部,其在连接有所述被牵引车辆的情况下和没有连接的情况下,切换在基于所述拍摄图像数据的图像上叠加显示的所述参考线的显示形态。
2.根据权利要求1所述的周边监控装置,其特征在于:
所述状态获取部还获取所述牵引车辆的当前的转向角信息,
所述生成部,基于所述转向角信息,生成轨迹线,作为所述参考线的至少一部分,所述轨迹线表示所述牵引车辆倒退时的该牵引车辆的至少一部分的倒退移动轨迹,
所述显示形态控制部切换所述轨迹线的显示形态。
3.根据权利要求1或2所述的周边监控装置,其特征在于:
所述显示形态控制部以使第二最远显示位置与第一最远显示位置相比靠近所述牵引车辆的后部的方式进行显示,所述第一最远显示位置为在没有连接所述被牵引车辆的情况下所显示的所述参考线中距离所述牵引车辆的所述后部最远的位置,所述第二最远显示位置为在连接有所述被牵引车辆的情况下所显示的所述参考线中距离所述牵引车辆的所述后部最远的位置。
4.根据权利要求3所述的周边监控装置,其特征在于:
所述显示形态控制部根据所述牵引车辆与所述被牵引车辆之间的连接间隔距离,确定所述参考线的所述第二最远显示位置。
5.根据权利要求1至4中任一项所述的周边监控装置,其特征在于,
所述显示形态控制部,在切换所述参考线的显示形态的情况下,使在连接有所述被牵引车辆的情况下所显示的第二参考线包括在没有连接所述被牵引车辆的情况下所显示的第一参考线的一部分。
CN201880061774.1A 2017-10-12 2018-10-03 周边监控装置 Active CN111108745B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-198846 2017-10-12
JP2017198846A JP7000787B2 (ja) 2017-10-12 2017-10-12 周辺監視装置
PCT/JP2018/036999 WO2019073871A1 (ja) 2017-10-12 2018-10-03 周辺監視装置

Publications (2)

Publication Number Publication Date
CN111108745A true CN111108745A (zh) 2020-05-05
CN111108745B CN111108745B (zh) 2021-08-31

Family

ID=66100796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880061774.1A Active CN111108745B (zh) 2017-10-12 2018-10-03 周边监控装置

Country Status (4)

Country Link
US (1) US20210309148A1 (zh)
JP (1) JP7000787B2 (zh)
CN (1) CN111108745B (zh)
WO (1) WO2019073871A1 (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101978695A (zh) * 2008-05-14 2011-02-16 爱信精机株式会社 周边监视装置
US20120185131A1 (en) * 2011-01-13 2012-07-19 Continental Automotive Systems, Inc. System and method for maneuvering a vehicle-trailer unit in reverse travel
CN102673476A (zh) * 2011-03-17 2012-09-19 现代摩比斯株式会社 基于车辆信息的倒车轨迹辅助装置及其方法
CN103101481A (zh) * 2011-11-14 2013-05-15 现代摩比斯株式会社 倒车泊车辅助方法
US20130321634A1 (en) * 2011-03-02 2013-12-05 Panasonic Corporation Driving assistance device and towing vehicle
CN104972850A (zh) * 2014-04-02 2015-10-14 福特全球技术公司 牵引线和阻力线夹角传感器组件
CN105644433A (zh) * 2014-10-07 2016-06-08 现代摩比斯株式会社 基于影像识别的拖车轨迹推定系统及其方法
US20170272664A1 (en) * 2016-03-16 2017-09-21 Werner Lang Visual System For A Vehicle, In Particular Commercial Vehicle

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002359839A (ja) 2001-03-29 2002-12-13 Matsushita Electric Ind Co Ltd リアビューカメラの画像表示方法及びその装置
JP4739569B2 (ja) 2001-04-09 2011-08-03 パナソニック株式会社 運転支援装置
JP2006256544A (ja) 2005-03-18 2006-09-28 Aisin Seiki Co Ltd 後退運転支援装置
JP2007108159A (ja) 2005-09-15 2007-04-26 Auto Network Gijutsu Kenkyusho:Kk 運転支援装置
US8888121B2 (en) 2007-01-25 2014-11-18 Target Hitch Llc Towing vehicle guidance for trailer hitch connection
GB2513393B (en) 2013-04-26 2016-02-03 Jaguar Land Rover Ltd Vehicle hitch assistance system
JP6448029B2 (ja) 2015-01-27 2019-01-09 日野自動車株式会社 連結車両の連結角取得装置及び連結車両の運転支援システム
JP6358123B2 (ja) 2015-02-16 2018-07-18 株式会社デンソー 運転支援装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101978695A (zh) * 2008-05-14 2011-02-16 爱信精机株式会社 周边监视装置
US20120185131A1 (en) * 2011-01-13 2012-07-19 Continental Automotive Systems, Inc. System and method for maneuvering a vehicle-trailer unit in reverse travel
US20130321634A1 (en) * 2011-03-02 2013-12-05 Panasonic Corporation Driving assistance device and towing vehicle
CN102673476A (zh) * 2011-03-17 2012-09-19 现代摩比斯株式会社 基于车辆信息的倒车轨迹辅助装置及其方法
CN103101481A (zh) * 2011-11-14 2013-05-15 现代摩比斯株式会社 倒车泊车辅助方法
CN104972850A (zh) * 2014-04-02 2015-10-14 福特全球技术公司 牵引线和阻力线夹角传感器组件
CN105644433A (zh) * 2014-10-07 2016-06-08 现代摩比斯株式会社 基于影像识别的拖车轨迹推定系统及其方法
US20170272664A1 (en) * 2016-03-16 2017-09-21 Werner Lang Visual System For A Vehicle, In Particular Commercial Vehicle

Also Published As

Publication number Publication date
JP7000787B2 (ja) 2022-01-19
CN111108745B (zh) 2021-08-31
JP2019075624A (ja) 2019-05-16
WO2019073871A1 (ja) 2019-04-18
US20210309148A1 (en) 2021-10-07

Similar Documents

Publication Publication Date Title
US10625782B2 (en) Surroundings monitoring apparatus
US10363872B2 (en) Periphery monitoring device
CN110001523B (zh) 周边监视装置
US11591018B2 (en) Parking assistance device
US11420678B2 (en) Traction assist display for towing a vehicle
CN111186376B (zh) 车辆电子镜系统
US11648932B2 (en) Periphery monitoring device
WO2018150642A1 (ja) 周辺監視装置
US11400974B2 (en) Towing assist device for notifying driver of backup conditions
CN112492262A (zh) 图像处理装置
US11292387B2 (en) Towing assistance apparatus
CN111094083B (zh) 停车辅助装置
US11584436B2 (en) Driver assistance device
CN111108745B (zh) 周边监控装置
JP7087333B2 (ja) 駐車支援装置
JP7110577B2 (ja) 周辺監視装置
US10875577B2 (en) Traction assist apparatus
US10922977B2 (en) Display control device
JP2019069722A (ja) 駐車支援装置
JP2019068326A (ja) 周辺監視装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant