CN103828353A - 作业车辆用周边监视系统以及作业车辆 - Google Patents

作业车辆用周边监视系统以及作业车辆 Download PDF

Info

Publication number
CN103828353A
CN103828353A CN201280002985.0A CN201280002985A CN103828353A CN 103828353 A CN103828353 A CN 103828353A CN 201280002985 A CN201280002985 A CN 201280002985A CN 103828353 A CN103828353 A CN 103828353A
Authority
CN
China
Prior art keywords
mentioned
image
eye view
working truck
dump
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280002985.0A
Other languages
English (en)
Other versions
CN103828353B (zh
Inventor
光田慎治
栗原毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Original Assignee
Komatsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd filed Critical Komatsu Ltd
Publication of CN103828353A publication Critical patent/CN103828353A/zh
Application granted granted Critical
Publication of CN103828353B publication Critical patent/CN103828353B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Abstract

作业车辆用周边监视系统(10)包括:安装于具有倾卸车身的作业车辆并对作业车辆的周围进行摄像,并作为图像信息输出的多个摄像装置(11~16);取得多个图像信息,生成用于对所取得的图像信息进行合成并将作业车辆及其周边的俯瞰图像显示于监视器50中的俯瞰图像信息的俯瞰图像合成部(110);和显示控制部(150),将第1图像和第2图像中的至少一个图像显示于监视器(50),第1图像将至少包括除去了作业车辆的后方侧的一部分的倾卸车身的第1倾卸车身图像叠加到俯瞰图像的存在作业车辆的区域,第2图像将至少包括全部倾卸车身的第2倾卸车身图像叠加到俯瞰图像存在的区域。

Description

作业车辆用周边监视系统以及作业车辆
技术领域
本发明涉及对作业车辆的周边进行监视的技术。
背景技术
在土木作业现场或者矿山的采石现场,自卸汽车、液压挖掘机等各种作业车辆进行运转。尤其在矿山中采用超大型的作业车辆。这种作业车辆与一般的车辆相比车宽以及车高、进而前后长度显著地增大,因此操作员难以根据侧视镜等确认并掌握周边的状況。因此,作为使操作员简单地掌握车辆周边的状況并进行运转支援的技术,提出了对车辆的周边进行监视的装置的方案。例如,记载有将表示鸟瞰到的自卸汽车的整体的图解图像或轮廓图像透过性地多层重叠在基于多个照相机的输出的鸟瞰图图像上的技术(专利文献1)。
【现有技术文献】
【专利文献】
【专利文献1】JP特开2010-093605号公报
发明内容
发明想要解决的课题
作业车辆的操作员在对作业车辆进行操作时,为了掌握作业车辆和在其周围存在的物体之间的关系,有时想要在俯瞰图像中显示作业车辆的全体。此时,如果透过作业车辆的下方并在俯瞰图像上进行显示,则操作员有可能难以掌握作业车辆的整体。其结果,存在操作员(在对作业车辆进行检查或者修理时维修人员)难以掌握作业车辆与存在于其周围的物体之间的关系的可能性。
本发明的目的在于在通过对合成多个摄像装置所摄像的图像而得到的俯瞰图像来进行驾驶支援时,提供作业车辆的操作者容易理解的图像。
用于解决课题的手段
本发明的作业车辆用周边监视系统,对作业车辆的周边进行监视,该作业车辆包括对前轮以及后轮进行支承的车架、和比上述后轮向上述车架的后方突出并装载货物的倾卸车身,该作业车辆用周边监视系统的特征在于,包括:多个摄像装置,被安装在上述作业车辆上,对上述作业车辆的周围进行摄像,并且作为图像信息输出;俯瞰图像合成部,取得多个上述图像信息,并且将所取得的上述图像信息合成来生成用于将上述作业车辆及其周边的俯瞰图像显示于显示装置的俯瞰图像信息;和显示控制部,将第1图像和第2图像中的任一方显示在上述显示装置,该第1图像通过将第1倾卸车身图像叠加到上述俯瞰图像的存在上述作业车辆的区域而形成,上述第2图像通过将第2倾卸车身图像叠加到存在上述俯瞰图像的区域而形成,上述第1倾卸车身图像至少包括除了上述作业车辆的后方侧的一部分后的上述倾卸车身,上述第2倾卸车身图像至少包括全部上述倾卸车身。
本发明中,优选上述显示控制部基于对上述作业机械进行操作的操作者的操作,切换上述第1图像的显示和上述第2图像的显示。
本发明中,优选上述显示控制部按照上述作业车辆的状态,切换上述第1图像的显示和上述第2图像的显示。
本发明中,优选上述显示控制部基于上述作业车辆的行驶速度,切换上述第1图像的显示和上述第2图像的显示。
本发明中,优选上述作业车辆具有对存在于自身的后方的物体进行探测的物体检测装置,在上述物体检测装置检测到物体的情况下,上述显示控制部对上述第1图像的显示和上述第2图像的显示进行切换。
本发明中,优选在上述作业车辆的行驶模式为向后行驶的情况下,上述显示控制部切换上述第1图像的显示和上述第2图像的显示。
本发明的作业车辆用周边监视系统,对作业车辆的周边进行监视,该作业车辆包括对前轮以及后轮进行支承的车架、和比上述后轮向上述车架的后方突出并装载货物的倾卸车身,该作业车辆用周边监视系统的特征在于,包括:多个摄像装置,被安装在上述作业车辆上,对上述作业车辆的周围进行摄像,并且作为图像信息输出;俯瞰图像合成部,取得多个上述图像信息,并且将所取得的上述图像信息合成来生成用于将上述作业车辆及其周边的俯瞰图像显示于显示装置的俯瞰图像信息;和显示控制部,将第1图像和第2图像中的任一方显示在上述显示装置,该第1图像通过将第1倾卸车身图像叠加到上述俯瞰图像的存在上述作业车辆的区域而形成,上述第2图像通过将第2倾卸车身图像叠加到存在上述俯瞰图像的区域而形成,上述第1倾卸车身图像至少包括除了上述作业车辆的后方侧的一部分后的上述倾卸车身,上述第2倾卸车身图像至少包括全部上述倾卸车身,上述显示控制部按照对上述作业机械进行操作的操作者的操作或者上述作业车辆的状态,切换上述显示。
本发明中,优选上述第1倾卸车身图像包括显示于上述倾卸车身的上述前轮以及上述后轮,上述第2倾卸车身图像包括显示于上述倾卸车身的上述前轮以及上述后轮。
本发明中,优选上述显示控制部显示上述前轮以及上述后轮的全体。
本发明中,优选上述后轮在上述倾卸车身的左侧和右侧分别显示多个车轮。
本发明中,优选上述第1倾卸车身图像除去了上述作业车辆的后方侧中比上述后轮的端部靠后方的部分。
本发明的作业车辆的特征在于具备上述作业车辆用周边监视系统。
本发明能够在通过对多个摄像装置所摄像得到的图像进行了合成的俯瞰图像执行驾驶支援时,提供作业车辆的操作者容易理解的图像。
附图说明
图1为表示本实施方式所涉及的作业车辆的立体图。
图2为表示本实施方式所涉及的作业车辆所具有的驾驶室3的构造以及内部的图。
图3为表示本实施方式所涉及的周边监视系统10的图。
图4为本实施方式所涉及的搭载有周边监视系统10所具有的摄像装置11~16的自卸汽车1的立体图。
图5为表示基于通过多个摄像装置11~16所摄像的区域以及通过对个摄像装置11~16所摄像的图像的信息而生成的俯瞰图像200的示意图。
图6为表示雷达装置21~26的配置的立体图。
图7为表示采用了虚拟投影面VP的图像变换的手法的图。
图8为表示俯瞰图像信息200I的概念图。
图9为表示第1倾卸车身图像200B1的图。
图10为表示第2倾卸车身图像200B2的图。
图11为表示第1俯瞰图像201的一例的图。
图12为表示第2俯瞰图像202的一例的图。
图13为表示对第1俯瞰图像201的显示和第2俯瞰图像202的显示进行切换控制的一例的流程图。
具体实施方式
参照附图对用于实施本发明的方式(实施方式)详细地进行说明。本发明并不被以下的实施方式所记载的内容限定。在以下的说明中,前、后、左以及右为以就坐在驾驶席的操作者即操作员作为基准的用语。例如“前”为就坐在驾驶席的操作员的视线朝向的一侧,为从驾驶席朝向由操作员操作的方向盘的一侧。“后”为“前”的相反侧,为从方向盘朝向驾驶席的一侧。作业车辆的车体宽度方向与作业车辆的左右方向意义相同。
<作业车辆>
图1为表示本实施方式所涉及的作业车辆的立体图。图2为表示本实施方式所涉及的作业车辆所具有的驾驶室3的构造以及内部的图。本实施方式中,作为作业车辆的自卸汽车(也称作越野载重车(off-highway truck))1为用于矿山中的作业等中的自行式的超大型的车辆。自卸汽车的形式并没有限定。自卸汽车1例如也可为铰接式等。自卸汽车1包括车体部2、驾驶室3、倾卸车身4、前轮5和后轮6。车体部2包括上台板2b以及沿着前后方向配置的框架2f。此外,自卸汽车1具有对自身的周围进行监视并显示其结果的周边监视系统。周边监视系统的详细情况在后面叙述。
在本实施方式中,自卸汽车1采用柴油机等的内燃机驱动发电机而产生的电力来驱动电动机,并驱动后轮6。如此,自卸汽车1采用所谓的电驱动方式,但自卸汽车1的驱动方式并不限定于此。例如,自卸汽车1也可将内燃机的动力经由变速器传递到后轮6,并对后轮6进行驱动,也可采用从架线经由集电器供给的电力驱动电动机,并通过该电动机驱动后轮6。
框架2f对内燃机以及发电机等的动力产生机构及其辅机类进行支承。在框架2f的前部支承左右的前轮5(图1中只表示右前轮)。在框架2f的后部支承左右的后轮6(图1中只表示右后轮)。前轮5以及后轮6的直径为2m(米)~4m(米)程度。后轮6被配置在倾卸车身4的宽度方向内侧的位置或者倾卸车身4的宽度方向外侧与后轮6的宽度方向外侧大致相同的位置。框架2f具有下台板2a和上台板2b。如此,在矿山中采用的自卸汽车1成为具有下台板2a和上台板2b的双层台板构造。
下台板2a被安装在框架2f的前面的下部。上台板2b被配置在下台板2a的上方。在下台板2a的下方,例如配置有用于上下驾驶室3的可动式的梯子2c。在下台板2a与上台板2b之间配置有用于在两者之间进行往返的倾斜梯子2d。此外,在下台板2a与上台板2b之间配置有散热器。在上台板2b上配置有栅栏状的栏杆2e。在本实施方式中,梯子2c以及倾斜梯子2d为上台板2b以及下台板2a的一部分。
如图1所示,驾驶室(cab)3被配置在上台板2b上。驾驶室3在上台板2b上,配置在与车宽度方向的中央相比更偏向车宽度方向的一侧。具体地来说,驾驶室3在上台板2b上被配置在比车宽度方向的中央更靠近左侧。驾驶室3的配置并不限定于比车宽度方向的中央更靠近左侧。例如,驾驶室3也可配置在比车宽度方向的中央更靠近右侧,也可配置在车宽度方向的中央。在驾驶室3内配置有驾驶席、方向盘、变速杆、油门踏板以及制动踏板等的操作构件。
如图2所示,驾驶室3具备包括多个(本实施方式中为4个)支柱3a、3b、3c、3d的ROPS(Roll-Over Protection System:滚翻时保护构造)。ROPS在万一自卸汽车1滚翻了的情况下,保护驾驶室3内的操作员。自卸汽车1的驾驶员在能够容易地确认车体部2的左侧的路肩的状态下行驶,但为了确认车体部2的周围,需要将头部移动较大。此外,为了确认自卸汽车1的周围,在上台板2b设置有多个未图示的侧视镜。这些侧视镜被配置在与驾驶室3分离的位置,因此驾驶员在使用侧视镜确认车体部2的周边的情况下也需要较大地移动头部。
如图2所示,在驾驶室3内设置有驾驶席31、方向盘32、仪表罩33、无线装置34、无线电接收机35、减速器36、变速杆37、教练席38、图2未示出的作为监视控制装置的控制器(详细内容后述)、监视器50、油门踏板以及制动踏板等。在图2中表示监视器50被组装到仪表罩33中的情况。但是,并不限定于这样,例如监视器50也可设置在仪表罩33的上方,也可设置为从驾驶室3内的顶棚悬挂。即只要将监视器50设置在操作员能够看见监视器50的位置即可。另外,图2中未示出的控制器为后述的周边监视系统10的一部分。变速杆37为用于自卸汽车1的操作员切换自卸汽车1的行进方向或者切换速度级的装置。
图1中所示的倾卸车身4为用于装载碎石等的货物的容器。倾卸车身4的底面的后部经由旋转销与框架2f的后部可转动地连结。倾卸车身4能够通过液压缸等的执行元件取得装载姿势和立起姿势。装载姿势为如图1所示那样,倾卸车身4的前部位于驾驶室3的上部的姿势。立起姿势为排出货物的姿势,为倾卸车身4处于朝向后方且下方倾斜的状态的姿势。通过倾卸车身4的前部在上方转动而倾卸车身4从装载姿势变化为立起姿势。倾卸车身4在前方具有凸缘部4F。凸缘部4F有时也称作保护器,延伸到驾驶室3的上方为止并覆盖驾驶室3。延伸到驾驶室3的上方的凸缘部4F保护驾驶室3免受碎石等的碰撞。
<周边监视系统>
图3为表示本实施方式所涉及的周边监视系统10的图。图4为搭载有本实施方式所涉及的周边监视系统10所具有的摄像装置11~16的自卸汽车1的立体图。图5为表示基于通过多个摄像装置11~16所摄像的区域以及通过多个摄像装置11~16所摄像的图像的信息所生成的俯瞰图像200的示意图。图5所示的通过多个摄像装置所摄像的区域为以地面作为基准的区域。如图3所示那样,周边监视系统10具有多个(本实施方式中为6台)摄像装置11、12、13、14、15、16、多个(本实施方式中为8台)雷达装置21、22、23、24、25、26、27、28、监视器50和作为监视控制装置的控制器100。另外,在本实施方式中,在周边监视系统10未必需要雷达装置21、22、23、24、25、26、27、28。
<摄像装置>
摄像装置11、12、13、14、15、16被安装在自卸汽车1上。摄像装置11、12、13、14、15、16例如为宽动态范围(WDR:Wide Dynamic Range)照相机。宽动态范围照相机为具有将明亮的部分保持为能够视认的水平的同时对黑暗的部分进行明亮校正,能够调整为使全体到处都能辨识的程度的功能的照相机。
摄像装置11、12、13、14、15、16对自卸汽车1的周围进行摄像,并作为图像信息输出。以下,适当地将摄像装置11称作第1摄像装置11,将摄像装置12称作第2摄像装置12,将摄像装置13称作第3摄像装置13,将摄像装置14称作第4摄像装置14,将摄像装置15称作第5摄像装置15,将摄像装置16称作第6摄像装置16。此外,在不需要区别上述装置的情况下,适当地称作摄像装置11~16。
如图4所示那样,6台摄像装置11~16为了对自卸汽车1的周围360度的范围中的图像进行摄像,而分别安装在自卸汽车1的外周部分。在本实施方式中,各个摄像装置11~16具有在左右方向上120度(左右各60度)、高度方向上96度的视野范围,但并不限定于这样的视野范围。此外,图4中从各摄像装置11~16示出箭头,这些箭头的朝向表示各摄像装置11~16所朝向的方向。
如图4所示那样,第1摄像装置11被安装在自卸汽车1的前面。具体地来说,第1摄像装置11被配置在倾斜梯子2d的上端部,更具体地来说被配置在最上段的平台部分的下部。第1摄像装置11经由安装在上台板2b的托架朝向自卸汽车1的前方固定。如图5所示那样,第1摄像装置11对存在于自卸汽车1的周围的区域中第1区域11C进行摄像并输出作为图像信息的第1图像信息。第1区域11C为在自卸汽车1的车体部2的前方扩展的区域。
如图4所示那样,第2摄像装置12被安装在自卸汽车1的前面的一个侧部。具体地来说,第2摄像装置12被配置在上台板2b的前面的右侧部。第2摄像装置12经由安装在上台板2b的托架朝向自卸汽车1的右倾斜前方而被固定。如图5所示那样,第2摄像装置12对存在于自卸汽车1的周围的区域中第2区域12C进行摄像并输出作为图像信息的第2图像信息。第2区域12C为在自卸汽车1的车体部2的右倾斜前方扩展的区域。
如图4所示那样,第3摄像装置13被安装在自卸汽车1的前面的另一个侧部。具体地来说,第3摄像装置13被配置在上台板2b的前面的左侧部。而且,第3摄像装置13被配置为相对于通过自卸汽车1的车宽度方向中央的轴与第2摄像装置12呈左右对称。第3摄像装置13经由被安装在上台板2b的托架朝向自卸汽车1的左倾斜前方被固定。如图5所示那样,第3摄像装置13对存在于自卸汽车1的周围的区域中第3区域13C进行摄像并输出作为图像信息的第3图像信息。第3区域13C为在自卸汽车1的车体部2的左倾斜前方扩展的区域。
如图4所示那样,第4摄像装置14被安装在自卸汽车1的一个侧面。具体地来说,第4摄像装置14被配置在上台板2b的右侧面的前部。第4摄像装置14经由安装在上台板2b的托架而朝向自卸汽车1的右倾斜后方被固定。如图5所示,第4摄像装置14对存在于自卸汽车1的周围的区域中第4区域14C进行摄像并输出作为图像信息的第4图像信息。第4区域14C为在自卸汽车1的车体部2的右倾斜后方扩展的区域。
如图4所示那样,第5摄像装置15被安装在自卸汽车1的另一侧面。具体地来说,第5摄像装置15被配置在上台板2b的左侧面的前部。而且,第5摄像装置15被配置为相对于通过自卸汽车1的车宽度方向中央的轴与第4摄像装置14呈左右对称。如图5所示那样,第5摄像装置15对存在于自卸汽车1的周围的区域中第5区域15C进行摄像并输出作为图像信息的第5图像信息。第5区域15C为在自卸汽车1的车体部2的左倾斜后方扩展的区域。
如图4所示那样,第6摄像装置16被安装在自卸汽车1的后部。具体地来说,第6摄像装置16被配置在框架2f的后端,并且被配置在连结两个后轮6、6的轴壳的上方并且位于倾卸车身4的转动轴附近。第6摄像装置16经由安装在连结左右的框架2f的横杆上的托架朝向自卸汽车1的后方被固定。如图5所示那样,第6摄像装置16对存在于自卸汽车1的周围的区域中第6区域16C进行摄像并输出作为图像信息的第6图像信息。第6区域16C为在自卸汽车1的车体部2的后方扩展的区域。
通过采用上述的6台摄像装置11~16,本实施方式所涉及的周边监视系统10,如图5的中央所示那样,对自卸汽车1的全周360度的图像进行摄像,并能够取得该图像信息。6台摄像装置11~16将作为分别进行摄像所得到的图像信息的第1图像信息~第6图像信息发送到图3所示的控制器100。
第1摄像装置11、第2摄像装置12、第3摄像装置13、第4摄像装置14以及第5摄像装置15被设置在位于较高位置的上台板2b。因此,控制器100通过第1摄像装置11~第5摄像装置15能够得到从上方俯视地面那样的图像,此外能够对存在于地面的车辆等的对象物大范围地进行摄像。此外,即使在控制器100根据第1摄像装置11~第6摄像装置16所取得的第1图像信息~第6图像信息生成图5所示的俯瞰图像200时执行视点变换的情况下,第1图像信息~第6图像信息中第1图像信息~第5图像信息为从上方摄像得到的信息,因此抑制立体物的变形的程度。
<雷达装置>
图6为表示雷达装置21~28的配置的立体图。在本实施方式中,作为物体检测装置的雷达装置21、22、23、24、25、26、27、28(以下适当称作雷达装置21~28)为方位80度(左右40度)、检测距离为最大15m以上的UWB(Ultra Wide Band)雷达(超宽带雷达)。雷达装置21~28对存在于自卸汽车1的周围的对象物与自卸汽车1的相对的位置(相对位置)进行检测。各个雷达装置21~28与摄像装置11~16同样,被安装在自卸汽车1的外周部分。此外,图6中从各雷达装置21~28示出箭头,但这些箭头的朝向表示各雷达装置21~28的检测范围的方向。
雷达装置21(适当称作第1雷达装置21)如图6所示那样,被配置在距地面1m程度的高度的下台板2a上的车体部2的正面且相对车体部2的车宽度方向中心稍微偏右侧。第1雷达装置21的检测范围成为从自卸汽车1的车体部2的前方朝向左倾斜前方扩展的范围。
雷达装置22(适当称为第2雷达装置22)如图6所示那样,被配置在下台板2a上的车体部2的正面、并且相对于车体部2的车宽度方向中心稍微偏左侧。即第2雷达装置22在第1雷达装置21的左侧与第1雷达装置21相邻而配置。第2雷达装置22的检测范围成为从自卸汽车1的车体部2的前方朝向右倾斜前方扩展的范围。
雷达装置23(适当称作第3雷达装置23)如图6所示那样,被配置在下台板2a的右侧面前端部附近。第3雷达装置23的检测范围成为从自卸汽车1的车体部2的右倾斜前方朝向右方扩展的范围。
雷达装置24(适当称作第4雷达装置24)如图6所示那样,被配置在车体部2的侧部上的下台板2a与上台板2b的中间的高度位置上的右侧端部附近。第4雷达装置24的检测范围成为从自卸汽车1的车体部2的右方朝向后方扩展的范围。
雷达装置25(适当称作第5雷达装置25)如图6所示那样,被配置在倾卸车身4的下方,且将驱动力传递到自卸汽车1的左右的后轮6的车轴的上方。第5雷达装置25的检测范围为从自卸汽车1的车体部2的右倾斜后方朝向后方扩展的范围。
雷达装置26(适当称作第6雷达装置26)如图6所示那样,与第5雷达装置25同样地被配置在车轴的上方,并且与第5雷达装置25的右侧相邻。第6雷达装置26的检测范围成为按照与第5雷达装置25的探测范围相交叉的方式,从自卸汽车1的车体部2的左倾斜后方朝向后方扩展的范围。
雷达装置27(适当称作第7雷达装置27)如图6所示那样,被配置在车体部2的侧面上的下台板2a与上台板2b的中间的高度位置上的左侧端部附近、即相对于车体部2的车宽度方向中心轴与第4雷达装置24左右对称的位置。第7雷达装置27的检测范围成为从自卸汽车1的车体部2的左方朝向后方扩展的范围。
雷达装置28(适当称作第8雷达装置28)如图6所示那样,被配置在下台板2a的左侧面上的前端部附近、即相对于车体部2的车宽度方向中心轴与第3雷达装置23左右对称的位置。第8雷达装置28的检测范围成为从自卸汽车1的车体部2的左倾斜前方朝向左方扩展的范围。
8台雷达装置21~28能够将自卸汽车1的周围360度全周作为检测范围,检测对象物与自卸汽车1的相对位置。8台雷达装置21~28将表示分别检测出的对象物与自卸汽车1的相对位置的相对位置信息发送到控制器100。如此,多个(8台)雷达装置21~28被设置在车体部2,并且能够检测存在于车体部2的全周范围的物体。
<控制器>
图3所示的控制器100采用摄像装置11~16以及雷达装置21~28将自卸汽车1的周围的对象物的有无表示在俯瞰图像200中,根据需要将对象物的存在通知操作员。如图3所示,控制器100具有俯瞰图像合成部110、照相机图像切换和视点变换部120、对象物位置信息生成部130、显示控制部150、倾卸车身图像生成部140、对象物信息收集部210以及对象物处理部220。
如图3所示,俯瞰图像合成部110与摄像装置11~16连接。俯瞰图像合成部110接收各个摄像装置11~16所摄像并生成的多个图像信息(第1图像信息~第6图像信息)。而且,俯瞰图像合成部110对与所接收的多个图像信息相对应的图像进行合成,并生成包括自卸汽车1的全周围的俯瞰图像200。具体地来说,俯瞰图像合成部110通过对多个图像信息分别进行坐标变换,生成用于使多个图像投射到规定的投影面上的俯瞰图像200显示在监视器50中的俯瞰图像信息。关于俯瞰图像信息在后面叙述。
如图3所示,照相机图像切换和视点变换部120与摄像装置11~16连接。而且,照相机图像切换和视点变换部120例如按照雷达装置21~28所执行的障碍物检测的结果等对与俯瞰图像200一起显示在监视器50的画面中的各摄像装置11~16所得到的摄像图像进行切换。此外,照相机图像切换和视点变换部120将通过各摄像装置11~16所取得的图像信息变换为来自上方无限远的视点的图像信息。
如图3所示,对象物位置信息生成部130与照相机图像切换和视点变换部120、显示控制部150以及对象物处理部220连接。对象物位置信息生成部130生成用于在对通过各摄像装置11~16所取得的图像信息进行合成而形成的俯瞰图像200中合成并显示通过雷达装置21~28所取得的对象物的位置信息的对象物位置信息,并对照相机图像切换和视点变换部120以及显示控制部150发送。
如图3所示那样,倾卸车身图像生成部140与显示控制部150连接。倾卸车身图像生成部140生成:用于将图1以及图4所示的自卸汽车1的倾卸车身4的图像、即表示除去倾卸车身4的后方侧的一部分的倾卸车身4的第1倾卸车身图像显示于监视器50的信息(第1信息P1);和用于将表示所有的倾卸车身4的全体的第2倾卸车身图像显示于监视器50的信息(第2信息P2)。而且,倾卸车身图像生成部140将所生成的第1倾卸车身图像和第2倾卸车身图像中的至少一方发送到显示控制部150。第1倾卸车身图像以及第2倾卸车身图像中均可以显示图1所示的自卸汽车1的前轮5以及后轮6。关于第1倾卸车身图像以及第2倾卸车身图像在后面叙述。
如图3所示,显示控制部150与俯瞰图像合成部110、照相机图像切换和视点变换部120、对象物位置信息生成部130以及倾卸车身图像生成部140连接。显示控制部150基于俯瞰图像合成部110所生成的自卸汽车1的全周围的俯瞰图像信息和通过雷达装置21~28所取得的自卸汽车1的全周围的对象物位置信息生成包括对象物的位置的俯瞰图像200。该图像被显示在监视器50中。
此外,显示控制部150取得倾卸车身图像生成部140所生成的第1倾卸车身图像与第2倾卸车身图像中的至少一个图像。而且,显示控制部150生成将第1倾卸车身图像与俯瞰图像200的自卸汽车1的部分相重叠的第1俯瞰图像201和将第2倾卸车身图像与俯瞰图像200的自卸汽车1的部分相重叠的第2俯瞰图像202中的至少一个图像。显示控制部150将所生成的第1俯瞰图像201和第2俯瞰图像202中的任一个图像显示于监视器50中。显示控制部150能够切换第1俯瞰图像201对监视器50的显示和第2俯瞰图像202对监视器50的显示。关于第1俯瞰图像201以及第2俯瞰图像202在后面叙述。
如图3所示,显示控制部150连接变速杆37以及图像切换开关39。显示控制部150接收从变速杆37以及图像切换开关39发送的信号。例如在变速杆37被切换到向后行驶侧的情况下,即自卸汽车1的行驶模式被切换到向后行驶的情况下,显示控制部150将显示于监视器50中的图像只切换为通过第6摄像装置16所摄像的图像(在车体部2的后方对扩展区域即第6区域16C(图5)进行了摄像所得到的图像)。即变速杆37位于空档或者前进侧的情况下,将第1俯瞰图像或者第2俯瞰图像与通过摄像装置11~16的任一个装置所摄像得到的图像并列显示于监视器50,但在向后行驶时对操作员显示自卸汽车1的后方的图像,因此在变速杆37被切换到向后行驶侧的情况下,使监视器50显示单一的图像。另外,在变速杆37位于空档或者前进侧的情况下,也可使监视器50只显示俯瞰图像,也可只显示通过摄像装置11~16所摄像得到的图像中的任一个图像。或者,也可使俯瞰图像以及通过摄像装置11~16摄像得到的图像中的任两个图像并列显示于监视器50中。这种监视器50的显示的切换能够通过操作员操作未图示的开关来进行。该开关与显示控制部150连接。
此外,例如在通过自卸汽车1的操作者即操作员(对作业车辆进行检查或者修理时,不是操作员而是维修人员)操作图像切换开关39以便显示第1俯瞰图像201的情况下,显示控制部150将显示于监视器50的图像切换为第1俯瞰图像201。图像切换开关39为按压键式开关,也可与监视器50相邻设置,也可设置在驾驶席31的附近。设置有图像切换开关39的位置优选位于操作员的手容易够到的场所。此外,也可通过使监视器50为触摸面板,用手指来触摸该触摸面板,从而图像切换开关39发挥功能。
如图3所示,对象物信息收集部210与雷达装置21~28和对象物处理部220连接。对象物信息收集部210从雷达装置21~28接收各个检测范围中的对象物检测结果,并发送到对象物处理部220。
如图3所示,对象物处理部220与对象物信息收集部210和对象物位置信息生成部130连接。对象物处理部220将从对象物信息收集部210接收的对象物的位置信息发送到对象物位置信息生成部130。
控制器100例如为组合了将作为运算装置的CPU(Central ProcessingUnit)和作为存储装置的存储器进行组合的计算机和执行俯瞰图像的合成等之类的图像处理的图像处理用设备(例如图像板)而得到的装置。图像处理用设备搭载有例如执行合成俯瞰图像等的图像处理的专用IC(例如FPGA:Field-Programmable Gate Array)以及存储器(例如VRAM:VideoRandom Access Memory)等。
在本实施方式中,如图4所示那样,摄像装置11~16被配置在上台板2b的正面、侧面以及倾卸车身4的下方。而且,控制器100对摄像装置11~16进行摄像并取得的第1图像信息~第6图像信息进行合成,生成图5所示那样的俯瞰图像200,使该图像显示于配置在驾驶室3内的驾驶席31的前方的监视器50中。此时,监视器50按照控制器100的控制显示俯瞰图像200等的图像。通过控制器100合成摄像装置11~16所摄像的与第1区域11C~第6区域16C相对应的第1图像信息~第6图像信息而得到俯瞰图像200。周边监视系统10将这种俯瞰图像200显示于监视器50中。因此,自卸汽车1的操作员仅通过对显示于监视器50中的俯瞰图像200进行辨识,就能监视自卸汽车1的周围360度的所有范围。接下来,对俯瞰图像进行说明。
<俯瞰图像的生成>
图7为表示采用了虚拟投影面VP的图像变换的手法的图。控制器100基于通过多个第1图像信息~第6图像信息所示的多个图像作成自卸汽车1的周围的俯瞰图像200。具体地来说,控制器100采用规定的变换信息执行第1图像信息~第6图像信息的坐标变换。变换信息为表示输入图像的各画素的位置坐标与输出图像的各画素的位置坐标之间的对应的信息。在本实施方式中,输入图像为通过摄像装置11~16摄像得到的图像,与第1图像信息~第6图像信息相对应的图像。输出图像为显示于监视器50中的俯瞰图像200。
控制器100采用变换信息将通过摄像装置11~16摄像得到的图像变换为从位于自卸汽车1的上方的规定的假想视点观察得到的图像。具体地来说,如图7所示那样,通过摄像装置11~16摄像得到的图像被投影到规定的虚拟投影面VP,从而被变换为从位于自卸汽车1的上方的假想视点VIP所观察到的图像。变换信息表示该虚拟投影面VP。变换后的图像为显示于监视器50的俯瞰图像。控制器100通过将由多个摄像装置11~16所取得的多个第1图像信息~第6图像信息投影并合成到规定的虚拟投影面VP,从而生成自卸汽车1的周围的俯瞰图像200。
如图5所示那样,各个摄像装置11~16所摄像的自卸汽车1的周围的区域在第1重复区域OA1~第6重复区域OA6中相重复。控制器100在俯瞰图像200中,叠加显示与来自各个第1重复区域OA1~第6重复区域OA6中互相相邻的两个摄像装置11~16的第1图像信息~第6图像信息相对应的图像。
具体地来说,控制器100在第1重复区域OA1中,叠加显示来自第1摄像装置11的第1图像信息的图像和来自第3摄像装置13的第3图像信息的图像。此外,控制器100在第2重复区域OA2中叠加显示来自第1摄像装置11的第1图像信息的图像和来自第2摄像装置12的第2图像信息的图像。此外,控制器100在第3重复区域OA3中叠加显示来自第3摄像装置13的第3图像信息的图像和来自第5摄像装置15的第5图像信息的图像。此外,控制器100在第4重复区域OA4中叠加显示来自第2摄像装置12的第2图像信息的图像和来自第4摄像装置14的第4图像信息的图像。此外,控制器100在第5重复区域OA5中叠加显示来自第5摄像装置15的第5图像信息的图像和来自第6摄像装置16的第6图像信息的图像。此外,控制器100在第6重复区域OA6中叠加显示来自第4摄像装置14的第4图像信息的图像和来自第6摄像装置16的第6图像信息的图像。
如此,在第1重复区域OA1~第6重复区域OA6中,叠加合成两个图像信息的情况下,将第1图像信息~第6图像信息的值乘以合成比率所得到的值相加。合成比率为与第1图像信息~第6图像信息相对应的值,由控制器100存储。例如,第1图像信息的合成比率为0.5,第2图像信息的合成比率为0.5等、按第1图像信息~第6图像信息的每个信息决定合成比率。通过采用合成比率,在第1重复区域OA1~第6重复区域OA6中平均化显示多个图像信息。其结果,抑制颜色以及对比度的急剧的变化,控制器100能够作成自然的俯瞰图像200。控制器100生成用于显示如上那样合成的俯瞰图像200的合成图像信息并输出到监视器50。
<各个摄像装置的摄像范围>
如图2所示那样,自卸汽车1的第1摄像装置11、第2摄像装置12、第3摄像装置13、第4摄像装置14以及第5摄像装置15被配置在上台板2b,第6摄像装置16被配置在框架2f的后端且倾卸车身4的下方。尤其,第2摄像装置12和第3摄像装置13覆盖能摄像从自卸汽车1的车体部2的左右倾斜前方到左右侧方的区域。此外,第4摄像装置14和第5摄像装置15覆盖能摄像从自卸汽车1的车体部2的左右侧方到左右倾斜后方的区域。通过如上那样进行,控制器100能够与通过第1摄像装置11以及第6摄像装置16摄像并取得的第1图像信息以及第6图像信息一起生成覆盖自卸汽车1的全周围的俯瞰图像200,并对自卸汽车1的周边进行监视。
此外,在本实施方式中,如图5所示那样,各个摄像装置11~16能摄像的区域即第1区域11C~第6区域16C按照在互相相邻部分重复的方式配置互相相邻的摄像装置11~16。控制器100通过在各个摄像装置11~16能摄像的第1区域11C~第6区域16C的相重复的部分中设置连接线,从而能监视自卸汽车1的平面上的360度全周围。另外,在俯瞰图像200中,连接互相相邻的第1区域11C~第6区域16C的连接线能够设定在第1区域11C~第6区域16C的重复范围内的任意的位置。
<显示在监视器上的图像>
在图2、图3中表示的显示于监视器50中的图像为上述的第1俯瞰图像201或者第2俯瞰图像202。在图3所示的控制器100、更具体地来说在第1图像信息~第6图像信息通过俯瞰图像合成部110合成而得到的基于俯瞰图像信息的俯瞰图像200上组合上述的第1倾卸车身图像以及第2倾卸车身图像而生成第1俯瞰图像201或者第2俯瞰图像202。在此,对俯瞰图像信息进行说明,并且对第1倾卸车身图像、第2倾卸车身图像以及第1俯瞰图像201、第2俯瞰图像202进行说明。
图8为表示俯瞰图像信息200I的概念图。图8所示的俯瞰图像信息200I包括自卸汽车1存在的区域即作业车辆区域TR的信息和自卸汽车1的周边的区域即周边区域SR的信息。如上述那样,俯瞰图像信息200I根据摄像装置11~16所摄像的图像的信息、即第1图像信息~第6图像信息生成。摄像装置11~16被安装在自卸汽车1的外侧,因此不能摄像位于比摄像装置11~16的镜头更内侧的区域。因此,在俯瞰图像信息200I的作业车辆区域TR中不包括自卸汽车1的图像的信息以及周边区域SR的图像的信息。因此,例如如果将只基于俯瞰图像信息200I的图像显示于监视器50,则被显示的图像的作业车辆区域TR的部分例如如影子那样显示。
在俯瞰图像200被显示于监视器50中的情况下,例如控制器100将表示自卸汽车1的俯视图的图像的信息(信息的形式例如为位图形式)组合到俯瞰图像信息200I的作业车辆区域TR中,基于所得到的图像的信息将俯瞰图像200显示于监视器中。图5所示的俯瞰图像200为将如上那样生成的图像的信息显示于监视器50中得到的图像。接下来,对第1倾卸车身图像以及第2倾卸车身图像进行说明。
图9为表示第1倾卸车身图像200B1的图。图10为表示第2倾卸车身图像200B2的图。图9、图10中的符号L表示倾卸车身4或者自卸汽车1的前方,符号T表示后方。第1倾卸车身图像200B1为基于上述的第1信息P1的图像,第2倾卸车身图像200B2为基于上述的第2信息P2的图像。第1倾卸车身图像200B1例如将第1信息P1在监视器50中显示并可视化。同样,第2倾卸车身图像200B2例如将第2信息P2在监视器50中显示并可视化。本实施方式中,第1信息P1以及第2信息P2例如为位图形式的图像数据,但并不限于此。这些信息也可为向量形式的图像数据。另外,第1倾卸车身图像200B1或者第2倾卸车身图像200B2用直线表示位于倾卸车身4的前部的凸缘部4F的前端部4L。显示该前端部4L并不是必须的,但通过还显示前端部4L从而显示货台部全体(倾卸车身4和凸缘部4F)的形状。
第1倾卸车身图像200B1为将除去图1以及图4所示的自卸汽车1的后方T侧、即倾卸车身4的后端4T侧的一部分(倾卸车身后部)4TP(图9所示的斜线的范围)所得到的倾卸车身4显示于例如监视器50中的图像。本实施方式中,除去倾卸车身后部4TP之后的倾卸车身4的后端4T1位于比后轮6更偏向后方T侧和除去倾卸车身后部4TP之前的倾卸车身4的后端4T之间。在本实施方式中,第1倾卸车身图像200B1也可至少包括除去了倾卸车身后部4TP所得到的倾卸车身4。因此,例如第1倾卸车身图像200B1还可包括图3所示的车体部2的一部分、驾驶室3的一部分以及倾斜梯子2d等中的至少一个。
第2倾卸车身图像200B2为图1以及图4中所示的自卸汽车1所具有的倾卸车身4的全部被显示于例如监视器50中的图像。因此,第2倾卸车身图像200B2还显示在第1倾卸车身图像200B1中没有显示的倾卸车身后部4TP。本实施方式中,第2倾卸车身图像200B2还可至少包括倾卸车身4。因此,例如第2倾卸车身图像200B2还包括图3所示的车体部2的一部分、驾驶室3的一部分以及倾斜梯子2d等中的至少一个。
第1倾卸车身图像200B1以及第2倾卸车身图像200B2还可包括至少倾卸车身4,但如图9、图10所示,还包括图1所示的自卸汽车1的前轮5以及后轮6,并与倾卸车身4一起显示。接下来,对前轮5以及后轮6包括于第1倾卸车身图像200B1以及第2倾卸车身图像200B2中的情况进行说明。这种情况下,从与各个旋转轴正交的方向观察前轮5以及后轮6的情况下的全体的图像被叠加地显示于第1倾卸车身图像200B1以及第2倾卸车身图像200B2中。前轮5以及后轮6的图像为长方形形状。第1倾卸车身图像200B1以及第2倾卸车身图像200B2表示从上方观察自卸汽车1的情况的状态,因此前轮5以及后轮6按照透射了倾卸车身4的方式被显示。
由于前轮5以及后轮6的至少一部分被显示于第1倾卸车身图像200B1以及第2倾卸车身图像200B2中,因此自卸汽车1的操作员能够容易地掌握前轮5以及后轮6与存在于自卸汽车1的周边的物体(对象物)的位置关系。前轮5以及后轮6也可显示一部分,但如本实施方式那样,由于显示前轮5以及后轮6的全体,因此与显示一部分的情况相比较,自卸汽车1的操作员能够容易地掌握前轮5以及后轮6的存在、前轮5及后轮6与自卸汽车1及倾卸车身4之间的位置关系。前轮5以及后轮6也可与倾卸车身4相区别,也可采用与倾卸车身4不同的颜色显示,也可采用与倾卸车身4相同的颜色,通过由表示前轮5以及后轮6的线包围来显示。
在从上方俯瞰来观察自卸汽车1的情况下前轮5以及后轮6显示在配置有前轮5以及后轮6的位置上。本实施方式中,左侧前轮5L被显示在倾卸车身4的左侧前方,右侧前轮5R被显示在倾卸车身4的右侧前方,左侧后轮6L被显示在倾卸车身4的左侧后方,右侧后轮6R被显示在倾卸车身4的右侧后方。通过如上那样,自卸汽车1的操作员容易掌握自卸汽车1及倾卸车身4与前轮5及后轮6的关系。
在显示前轮5以及后轮6的情况下,优选第1倾卸车身图像200B1除去比自卸汽车1的后方侧的后轮6的端部更靠近后方的部分。通过如上那样,能够在第1倾卸车身图像200B1中显示后轮6的全体。另外,在显示前轮5以及后轮6的情况下,并不排除从比自卸汽车1的后方侧的后轮6的端部更靠近前方除去了倾卸车身4的第1倾卸车身图像200B1。例如,对自卸汽车1的后方进行摄像的第6摄像装置16被配置在倾卸车身4的下方并且左侧后轮6L与右侧后轮6R之间。因此,第1倾卸车身图像200B1也可从第6摄像装置16的位置除去自卸汽车1的后方侧的倾卸车身4。此外,第1倾卸车身图像200B1也可从第6摄像装置16能摄像的位置除去自卸汽车1的后方侧的倾卸车身4。如此进行,能够在后述的第1俯瞰图像201中完全显示第6摄像装置16能摄像的区域,因此自卸汽车1的操作员更加容易掌握自卸汽车1的周围的状況。
实际的自卸汽车1考虑各轮胎所承受的负荷(车体重量与装载物重量)的平衡。因此,自卸汽车1的前轮5为单轮胎,后轮6为双轮胎、即将两个轮胎按照多个并列的方式排列的轮胎。因此,所谓后轮6、即左侧后轮6L和右侧后轮6R,也可在倾卸车身4的左侧和右侧分别显示多个(本实施方式中两个)车轮6LO、6LI以及车轮6RO、6RI。通过如上那样,自卸汽车1的操作员容易直觉地掌握自卸汽车1的前后。在本实施方式中,在实际的自卸汽车1中同时设左侧后轮6L和右侧后轮6R分别为两个,但该数目也可不限定为两个。此外,后轮6的宽度也可显示为比前轮5的宽度宽。进而,也可在前轮5与后轮6之间,或者使显示各个轮胎的颜色不同,或者使前轮5闪烁地显示。如此进行,自卸汽车1的操作员也能区分后轮6和前轮5,因此能够容易直觉地掌握自卸汽车1的前后。
例如,如上述那样,在监视器50为从驾驶室3内的顶棚吊下设置的装置的情况下,在操作员已就座的状态下在右方向(或者左方向)设置有监视器50的情况下,监视器50的上侧与自卸汽车1的前侧不一致。在这种情况下,认为自卸汽车1的操作员不能直观地辨识显示于监视器50的第1倾卸车身图像200B或者第2倾卸车身图像200B2中的任一个的前后方向。在这种情况下,通过显示前轮5以及后轮6的全体,操作员能够容易地认识显示于监视器50的第1倾卸车身图像200B或者第2倾卸车身图像200B2的前后方向。
如此,通过在前轮5和后轮6之间使各个显示形式不同,从而自卸汽车1的操作员能够区分后轮6和前轮5,因此容易直觉地掌握自卸汽车1的前后。接下来,对第1俯瞰图像201以及第2俯瞰图像202进行说明。
图11为表示第1俯瞰图像201的一例的图。图12为表示第2俯瞰图像202的一例的图。第1俯瞰图像201为将上述的第1倾卸车身图像200B1叠加到俯瞰图像200的作业车辆区域TR的图像。第2俯瞰图像202为将上述的第2倾卸车身图像200B2叠加到俯瞰图像200的作业车辆区域TR的图像。第1俯瞰图像201以及第2俯瞰图像202都通过控制器100显示于监视器50并被可视化。第1俯瞰图像201以及第2俯瞰图像202能够通过将第1倾卸车身图像200B1或者第2倾卸车身图像200B2与俯瞰图像200相叠合来合成而生成,因此能够减轻控制器100的处理的负荷。
第1俯瞰图像201以及第2俯瞰图像202均通过图3所示的控制器100的显示控制部150生成,并显示于监视器50中。显示控制部150将俯瞰图像合成部110所生成的俯瞰图像信息200I和倾卸车身图像生成部140所生成的第1信息P1相组合来生成第1合成图像信息201I。此外,显示控制部150将俯瞰图像信息200I和倾卸车身图像生成部140所生成的第2信息P2相组合而生成第2合成图像信息202I。第1合成图像信息201I为用于将第1俯瞰图像201显示于监视器50等中的信息,第2合成图像信息202I为用于将第2俯瞰图像202显示于监视器50等中的信息。
在本实施方式中,第1俯瞰图像201以及第2俯瞰图像202除了倾卸车身4之外,还包括自卸汽车1的车体部2的一部分以及倾斜梯子2d。第1俯瞰图像201以及第2俯瞰图像202包括倾卸车身4以及车体部2的一部等和自卸汽车1的周围,上述图像被显示于监视器50等中并被可视化。自卸汽车1的周围为倾卸车身4的左侧部4SL、右侧部4SR、后端4T1、4T以及车体部2的前部2L的周围。
在本实施方式中,第1俯瞰图像201以及第2俯瞰图像202中在自卸汽车1的周围显示虚线RL1、RL2、RL3。虚线RL1显示于离自卸汽车1最近的位置,虚线RL3显示于离自卸汽车1最远的位置。虚线RL2被显示于虚线RL1与虚线RL3之间。虚线RL1、RL2、RL3分别表示距自卸汽车1分离规定的距离的位置。自卸汽车1的操作员通过虚线RL1、RL2、RL3能够掌握在第1俯瞰图像201或者第2俯瞰图像202中显示的物体即对象物(例如人或者机动车等车辆)与自卸汽车1之间的距离。
第6摄像装置16被配置在自卸汽车1的后方即左侧后轮6L与右侧后轮6R之间、并且在倾卸车身4的下方。因此,第6摄像装置16能够对倾卸车身的下方的一部分进行摄像,因此图8所示的俯瞰图像信息200I包括倾卸车身的下方的一部分。第1俯瞰图像201显示除去了倾卸车身后部4TP的倾卸车身4。因此,第1俯瞰图像201显示通过第6摄像装置16所摄像的倾卸车身后部4TP的下方的区域。与此相对,第2俯瞰图像202中,倾卸车身后部4TP的下方的区域被倾卸车身后部4TP遮挡,但显示有显示全体的倾卸车身4的后端4T。
第1俯瞰图像201也显示倾卸车身后部4TP的下方的区域,因此自卸汽车1的操作员能够更详细地掌握自卸汽车1的周边的状況。因此,控制器100如果在至少自卸汽车1的出发前将第1俯瞰图像201显示于监视器50中,则对于操作员的状況确认是适合的。例如在高度比倾卸车身4的高度低的对象物存在于后轮6的后方的情况下,能够进行更可靠的周边监视。第2俯瞰图像202显示有全体被显示的倾卸车身4的后端4T。因此,在倾卸车身4的后方存在对象物的情况下,控制器100通过将第2俯瞰图像202显示于监视器50中,从而自卸汽车1的操作员容易掌握倾卸车身4的后端4T与对象物的位置关系。尤其,在自卸汽车1进行向后行驶时是有利的。例如,在与倾卸车身4的后端4T的高度同等以上的高度的对象物存在于自卸汽车1的周围的情况下,能进行更可靠的周边监视。
第1俯瞰图像201显示倾卸车身后部4TP的下方的区域,并且也可显示表示倾卸车身后部4TP的外周部、尤其后端4T的图像。在图11中所示的例子中,在相当于倾卸车身后部4TP的边缘的部分显示虚线的图像。通过如上那样,在倾卸车身4的后方存在对象物的情况下,自卸汽车1的操作员容易掌握倾卸车身4的后端4T与对象物的位置关系。另外,第2俯瞰图像202显示倾卸车身4的全体,因此认为与在第1俯瞰图像201中显示倾卸车身后部4TP的外周部的情况相比,更容易掌握倾卸车身4的后端4T与对象物的位置关系。接下来,对切换第1俯瞰图像201的显示和第2俯瞰图像202的显示的控制例进行说明。
<第1俯瞰图像与第2俯瞰图像的切换控制例>
图13为表示对第1图像(第1俯瞰图像201(第1倾卸车身图像200B1))的显示和第2图像(第2俯瞰图像202(第2倾卸车身图像200B2))的显示进行切换控制的一例的流程图。该控制例基于自卸汽车1的操作员的操作以及自卸汽车1的状态中的至少一个切换对监视器50的第1图像的显示和第2图像的显示。更具体地来说,能够切换显示于监视器50中的、作为第1图像的第1倾卸车身图像200B1和作为第2图像的第2倾卸车身图像200B2的显示。另外,如前所述那样,也可切换作为第1图像的第1俯瞰图像201的显示和作为第2图像的第2俯瞰图像202的显示。此外,周边监视系统10能够尤其在自卸汽车1出发之前使自卸汽车1的操作员确认自卸汽车1的周边的状态,能够进行更可靠的周边监视。为了该目的,控制器100作为原则优选将第1俯瞰图像201显示于监视器50中,在对监视器50的显示进行切换的条件已成立时将第2俯瞰图像202显示于监视器50中。因此,在本实施方式中,首先第1俯瞰图像201被显示于监视器50中,在对监视器50的显示进行切换的条件已成立时,控制器100将监视器50的显示切换为第2俯瞰图像202。
在执行本控制例时,在步骤S101中,图3所示的控制器100在监视器50中显示第1俯瞰图像201。另外,自卸汽车1在起动内燃机(以下称作发动机)时,也可使第1俯瞰图像201必须显示于监视器50中。即操作员对用于使自卸汽车1的发动机起动的未图示的钥匙开关进行操作,如果发动机被起动,则控制器100接受钥匙开关的信号(发动机起动信号)作为触发信号,并将第1俯瞰图像201而不是第2俯瞰图像202显示于监视器50中。接下来,进入到步骤S102,控制器100的显示控制部150在对监视器50的显示进行切换的条件成立了的情况下(步骤S102、是),执行步骤S103的处理。在这种情况下,控制器100的显示控制部150将监视器50的显示从第1俯瞰图像201切换到第2俯瞰图像202。通过如上那样,在步骤S103中,在监视器50中显示第2俯瞰图像202。
在对监视器50的显示进行切换的条件不成立的情况下(步骤S102、“否”),显示控制部150执行步骤S101以后的处理。即在监视器50中继续第1俯瞰图像201的显示。如此,步骤S102中切换监视器50的显示的条件为用于将监视器50的显示从第1俯瞰图像201切换到第2俯瞰图像202的条件(第1条件)。
接下来,进入到步骤S104,控制器100的显示控制部150在对监视器50的显示进行切换的条件已成立的情况下(步骤S104、是),执行步骤S105的处理。在这种情况下,控制器100的显示控制部150将监视器50的显示从第2俯瞰图像202切换到第1俯瞰图像201。通过如上那样进行,在步骤S105中,在监视器50中显示第1俯瞰图像201。
在切换监视器50的显示的条件不成立的情况下(步骤S104、否),显示控制部150执行步骤S103以及步骤S104的处理。因此,在监视器50中继续第2俯瞰图像202的显示。如此,步骤S104中的对监视器50的显示进行切换的条件为用于将监视器50的显示从第2俯瞰图像202切换到第1俯瞰图像201的条件(第2条件)。接下来,针对对监视器50的显示进行切换的条件、更具体地来说上述的第1条件以及第2条件进行说明。
(对监视器的显示进行切换的条件)
定义为对监视器50的显示进行切换的条件(适当称作图像切换条件)中的第1条件的情况为对自卸汽车1进行操作的操作员的操作所产生的条件。作为这种例子,例如存在操作员按照自身的意思对监视器50的显示进行切换。作为一例,操作员按照监视器50的显示从第1俯瞰图像201变为第2俯瞰图像202的方式对图3所示的图像切换开关39进行操作。于是,图像切换开关39使在监视器50中显示第2俯瞰图像202之意的信号产生。接收了该信号的控制器100的显示控制部150在步骤S103中将监视器50的显示从第1俯瞰图像201切换到第2俯瞰图像202。
定义为图像切换条件中的第2条件的情况为对自卸汽车1进行操作的操作员的操作所产生的条件和根据自卸汽车1的状态所产生的条件。第2条件作为操作员的操作所产生的条件时,与第1条件同样,存在操作员按照自身的意志对监视器50的显示进行切换的情况。作为一例,操作员按照监视器50的显示从第2俯瞰图像202变为第1俯瞰图像201的方式对图3所示的图像切换开关39进行操作。于是,图像切换开关39使在监视器50中显示第1俯瞰图像201之意的信号产生。接收了该信号的控制器100的显示控制部150在步骤S105中将监视器50的显示从第2俯瞰图像202切换到第1俯瞰图像201。
第2条件作为自卸汽车1的状态所产生的条件时,存在例如自卸汽车1行驶的速度(行驶速度)处于规定的阈值以下的情况。行驶速度包括自卸汽车1的前进以及向后行驶这双方中的速度。规定的阈值还包括0。周边监视系统10尤其在自卸汽车1出发之前使操作员识别自卸汽车1的周边的状态,因此优选前述的规定的阈值成为能够看做自卸汽车1停止了的程度的大小,但并不限定于此。
控制器100的显示控制部150从对自卸汽车1的运转进行控制的未图示的控制装置取得自卸汽车1的行驶速度。自卸汽车1的行驶速度能够通过未图示的车速传感器检测。而且,在所取得的行驶速度处于规定的阈值以下的情况下,显示控制部150在步骤S105中将监视器50的显示从第2俯瞰图像202切换到第1俯瞰图像201。通过如上那样进行,在自卸汽车1已停止时,能够使第1俯瞰图像201可靠地显示于监视器50中。其结果,操作员能够始终在自卸汽车1的出发前更详细地掌握包括倾卸车身后部4TP的下方的状态在内的自卸汽车1的周围的状态,因此能够实现更可靠的周边监视。
此外,第2条件作为自卸汽车1的状态所产生的条件,存在例如物体检测装置将存在于自卸汽车1的后方的物体探测为对象物的情况。对存在于自卸汽车1的后方的物体进行探测的物体检测装置为例如图6所示的第5雷达装置25、第6雷达装置26、第7雷达装置27以及第8雷达装置28中的至少一台。另外,在第2条件中也可包括两个雷达装置根据物体的位置将一个物体探测为对象物的情况。
控制器100的显示控制部150如果从图3所示的对象物位置信息生成部130取得在自卸汽车1的后方存在物体之类的信息,则在步骤S105中将监视器50的显示从第1俯瞰图像202切换到第1俯瞰图像201。通过如上那样进行,在自卸汽车1的后方存在物体的情况下,通过不将倾卸车身后部4TP显示于监视器50中,从而能够使操作员确认倾卸车身后部4TP的下方的状态。其结果,操作员在自卸汽车1出发时,能够更详细地掌握自卸汽车1的周围的状态,因此能够实现更可靠的周边监视。
进而,第2条件作为自卸汽车1的状态所产生的条件时,存在例如自卸汽车1的行驶模式处于向后行驶的情况。这种情况是例如图3所示的变速杆37由自卸汽车1的操作员被操作到向后行驶侧的情况。例如,通过变速杆37被操作到向后行驶侧的位置,从而产生将自卸汽车1的行驶模式切换到向后行驶之意的信号。接收了该信号的控制器100的显示控制部150在步骤S105中,将监视器50的显示从第2俯瞰图像202切换到第1俯瞰图像201。其结果,操作员在使自卸汽车1向后行驶之前,能够更详细地掌握包括倾卸车身后部4TP的下方的状态的自卸汽车1的周围的状态,因此能够实现更可靠的周边监视。另外,在自卸汽车1的行驶模式为前进的情况下,监视器50的显示也可不从第2俯瞰图像202切换到第1俯瞰图像201。在这种情况下,如果在监视器50中显示第2俯瞰图像202,则维持该状态。
以上,在本实施方式中,周边监视系统10所具备的控制器100能够切换对监视器50的第1图像(第1倾卸车身图像200B1以及第1俯瞰图像201中的至少一方)的显示和第2图像(第2倾卸车身图像200B2以及第2俯瞰图像202中的至少一方)的显示。因此,周边监视系统10通过自卸汽车1的操作员的操作切换第1俯瞰图像201和第2俯瞰图像202并使这些图像显示于监视器50中,因此操作员能够在监视器50中确认自身容易理解的图像。此外,操作员容易直觉地掌握自卸汽车1和存储其周围的对象物的关系。如此,本实施方式所涉及的周边监视系统10能够提供操作员容易理解的图像。
此外,在本实施方式中,周边监视系统10所具备的控制器100作为原则将第1俯瞰图像201显示于监视器50中。而且,控制器100在存在操作员的操作的情况下,将第2俯瞰图像202显示于监视器50中。通过如上那样进行,能够将按照操作员的意思的图像显示于监视器50中。此外,在本实施方式中,作为原则显示于监视器50中的图像为除去倾卸车身后部4TP而显示倾卸车身后部4TP的下方的第1俯瞰图像201,因此在通常的状态下,还存在操作员采用监视器50能够确认的范围变大的优点。本实施方式作为原则将第1俯瞰图像201显示于监视器50中,但作为原则也可将第2俯瞰图像202显示于监视器50中。其中,如上述那样,由于操作员能够更详细地掌握自卸汽车1的周围的状況,因此作为原则优选将第1俯瞰图像201显示于监视器50中。
进而,在本实施方式中,周边监视系统10所具备的控制器100在第1俯瞰图像201以及第2俯瞰图像202中还显示自卸汽车1的前轮5以及后轮6。因此,自卸汽车1的操作员容易掌握前轮5以及后轮6的位置与存在于自卸汽车1的周边的物体的关系,因此能实现更可靠的周边监视。尤其在从倾卸车身4除去了倾卸车身后部4TP的情况下,如果显示后轮6,则操作员能够掌握存在于后轮6的后方的物体与后轮6的关系,提前并且根据适当的相对位置关系的掌握容易识别这种物体。如此,周边监视系统10通过在第1俯瞰图像201以及第2俯瞰图像202中显示前轮5以及后轮6,从而在通过将多个摄像装置所摄像得到的图像进行了合成的俯瞰图像执行驾驶支援时,能够提供自卸汽车1的操作员容易理解的图像。
此外,在本实施方式中,周边监视系统10所具备的控制器100使前轮5和后轮6的显示形式不同地显示于监视器50中。通过如上那样进行,自卸汽车1的操作员能够容易地判断自卸汽车1的前后,因此容易直觉地掌握自身进行操作的自卸汽车1和存在于其周边的物体的关系。尤其,在根据驾驶室3内的布局的关系,监视器50被配置于操作员的侧方而不是前方的情况下,操作员需要将自身的头朝向监视器50的方向确认监视器50。在这种情况下,操作员难以掌握自卸汽车1的方向,但如本实施方式那样,通过使前轮5和后轮6的表示形式不同地显示于监视器50中,存在操作员能够容易且可靠地掌握自卸汽车1的前后的优点。
周边监视系统10在摄像装置11~16中采用宽动态范围照相机。因此,摄像装置11~16能够保持可对明亮部分进行辨识的等级,并且对处于自卸汽车1的阴影的部分那样的黑暗部分进行明亮校正。因此,摄像装置11~16所摄像的图像难以引起泛黑(黒潰れ)及泛白(白飛び),成为作为全体更容易理解的图像。其结果、具备摄像装置11~16的周边监视系统10能够将成为存在于自卸汽车1的阴影的区域的车辆等的对象物容易辨识的第1俯瞰图像201或者第2俯瞰图像202显示于监视器50中。如此,周边监视系统10在采用摄像装置11~16所摄像的图像对自卸汽车1的周边进行监视时,即使在明暗的对比度差大的环境中,也能够将自卸汽车1的周围的对象物显示于第1俯瞰图像201或者第2俯瞰图像202中。其结果、自卸汽车1的操作员能够可靠地辨识自卸汽车1的周围、尤其存在于成为阴影的区域中的对象物而不受环境的影响。
如此,周边监视系统10在明暗的对比度差较大的环境中也能生成可靠地显示自卸汽车1的周围的对象物的第1俯瞰图像201以及第2俯瞰图像202,因此能够通过第1俯瞰图像201或者第2俯瞰图像202可靠地辨识存在于操作员的死角的对象物。因此,周边监视系统10在对上述那样的在矿山中采用的非常大型的自卸汽车1的周边进行监视时非常有効。即自卸汽车1具有形成成为非常大的阴影的区域的情况,并且一边由自身制作一边移动成为阴影的区域,进而通过倾卸车身4的升降而成为阴影的区域变化较大,此外,成为死角的区域大。周边监视系统10在这种自卸汽车1中,生成可靠地显示自卸汽车1的周围的对象物的第1俯瞰图像201或者第2俯瞰图像202,并能够对自卸汽车1的操作员提供自卸汽车1的周围的正确的信息。此外,周边监视系统10能够在恰好位于赤道那样的向阳处和背阴的照度差非常大那样的情况下,相对于工作中的自卸汽车1对自卸汽车1的操作员提供自卸汽车1的周围的正确的信息。
以上,对本实施方式进行了说明,但根据上述的内容并不限定本实施方式。此外,在上述的构成要素中包括本领域技术人员能够容易地想到的情况、实质上相同的情况、所谓同等范围的情况。进而,上述的构成要素能适当组合。进而,在不脱离本实施方式的要旨的范围中能够进行构成要素的各种省略、置换或者变更。
【符号说明】
1 自卸汽车
2 车体部
2L 前部
2c、2d 梯子
2e 栏杆
2f 框架
3 驾驶室
4 倾卸车身
4T、4T1 后端
4TP 倾卸车身后部
5 前轮
6 后轮
6LI、6LO、6RI、6RO 车轮
10 作业车辆用周边监视系统(周边监视系统)
11、12、13、14、15、16 摄像装置
21、22、23、24、25、26、27、28 雷达装置
31 驾驶席
39 图像切换开关
50 监视器
100 控制器
110 俯瞰图像合成部
120 照相机图像切换和视点变换部
130 对象物位置信息生成部
140 倾卸车身图像生成部
150 显示控制部
210 对象物信息收集部
220 对象物处理部

Claims (12)

1.一种作业车辆用周边监视系统,对作业车辆的周边进行监视,该作业车辆包括对前轮以及后轮进行支承的车架、和比上述后轮向上述车架的后方突出并装载货物的倾卸车身,该作业车辆用周边监视系统的特征在于,包括:
多个摄像装置,被安装在上述作业车辆上,对上述作业车辆的周围进行摄像,并且作为图像信息输出;
俯瞰图像合成部,取得多个上述图像信息,并且将所取得的上述图像信息合成来生成用于将上述作业车辆及其周边的俯瞰图像显示于显示装置的俯瞰图像信息;和
显示控制部,将第1图像和第2图像中的任一方显示在上述显示装置,该第1图像通过将第1倾卸车身图像叠加到上述俯瞰图像的存在上述作业车辆的区域而形成,上述第2图像通过将第2倾卸车身图像叠加到存在上述俯瞰图像的区域而形成,上述第1倾卸车身图像至少包括除了上述作业车辆的后方侧的一部分后的上述倾卸车身,上述第2倾卸车身图像至少包括全部上述倾卸车身。
2.根据权利要求1所述的作业车辆用周边监视系统,其中,
上述显示控制部基于对上述作业机械进行操作的操作者的操作,切换上述第1图像的显示和上述第2图像的显示。
3.根据权利要求1所述的作业车辆用周边监视系统,其中,
上述显示控制部按照上述作业车辆的状态,切换上述第1图像的显示和上述第2图像的显示。
4.根据权利要求3所述的作业车辆用周边监视系统,其中,
上述显示控制部基于上述作业车辆的行驶速度,切换上述第1图像的显示和上述第2图像的显示。
5.根据权利要求3所述的作业车辆用周边监视系统,其中,
上述作业车辆具有对存在于自身的后方的物体进行探测的物体检测装置,
在上述物体检测装置检测到物体的情况下,上述显示控制部对上述第1图像的显示和上述第2图像的显示进行切换。
6.根据权利要求3所述的作业车辆用周边监视系统,其中,
在上述作业车辆的行驶模式为向后行驶的情况下,上述显示控制部切换上述第1图像的显示和上述第2图像的显示。
7.一种作业车辆用周边监视系统,对作业车辆的周边进行监视,该作业车辆包括对前轮以及后轮进行支承的车架、和比上述后轮向上述车架的后方突出并装载货物的倾卸车身,该作业车辆用周边监视系统的特征在于,包括:
多个摄像装置,被安装在上述作业车辆上,对上述作业车辆的周围进行摄像,并且作为图像信息输出;
俯瞰图像合成部,取得多个上述图像信息,并且将所取得的上述图像信息合成来生成用于将上述作业车辆及其周边的俯瞰图像显示于显示装置的俯瞰图像信息;和
显示控制部,将第1图像和第2图像中的任一方显示在上述显示装置,该第1图像通过将第1倾卸车身图像叠加到上述俯瞰图像的存在上述作业车辆的区域而形成,上述第2图像通过将第2倾卸车身图像叠加到存在上述俯瞰图像的区域而形成,上述第1倾卸车身图像至少包括除了上述作业车辆的后方侧的一部分后的上述倾卸车身,上述第2倾卸车身图像至少包括全部上述倾卸车身,
上述显示控制部按照对上述作业机械进行操作的操作者的操作或者上述作业车辆的状态,切换上述显示。
8.根据权利要求1~7中任一项所述的作业车辆用周边监视系统,其中,
上述第1倾卸车身图像包括显示于上述倾卸车身的上述前轮以及上述后轮,上述第2倾卸车身图像包括显示于上述倾卸车身的上述前轮以及上述后轮。
9.根据权利要求8所述的作业车辆用周边监视系统,其中,
上述显示控制部显示上述前轮以及上述后轮的全体。
10.根据权利要求8或9所述的作业车辆用周边监视系统,其中,
上述后轮在上述倾卸车身的左侧和右侧分别显示多个车轮。
11.根据权利要求8~10中任一项所述的作业车辆用周边监视系统,其中,
上述第1倾卸车身图像除去了上述作业车辆的后方侧中比上述后轮的端部靠后方的部分。
12.一种作业车辆,其特征在于具备权利要求1~11中任一项所述的作业车辆用周边监视系统。
CN201280002985.0A 2012-09-21 2012-10-19 自卸汽车用周边监视系统以及自卸汽车 Active CN103828353B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-208733 2012-09-21
JP2012208733A JP5629740B2 (ja) 2012-09-21 2012-09-21 作業車両用周辺監視システム及び作業車両
PCT/JP2012/077062 WO2014045457A1 (ja) 2012-09-21 2012-10-19 作業車両用周辺監視システム及び作業車両

Publications (2)

Publication Number Publication Date
CN103828353A true CN103828353A (zh) 2014-05-28
CN103828353B CN103828353B (zh) 2018-01-26

Family

ID=50340804

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280002985.0A Active CN103828353B (zh) 2012-09-21 2012-10-19 自卸汽车用周边监视系统以及自卸汽车

Country Status (5)

Country Link
US (1) US9796330B2 (zh)
JP (1) JP5629740B2 (zh)
CN (1) CN103828353B (zh)
AU (1) AU2012372161A1 (zh)
WO (1) WO2014045457A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106797449A (zh) * 2015-09-30 2017-05-31 株式会社小松制作所 履带式作业机械的周边监视装置
CN107632537A (zh) * 2017-09-12 2018-01-26 北京矿冶研究总院 一种地下矿用车辆的控制装置
CN108978743A (zh) * 2017-05-30 2018-12-11 神钢建机株式会社 工程机械

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5667594B2 (ja) * 2012-03-15 2015-02-12 株式会社小松製作所 障害物検出機構付きダンプトラックおよびその障害物検出方法
JP2014204361A (ja) * 2013-04-08 2014-10-27 株式会社ビートソニック 車載モニタリングシステムにおける車載カメラ用アダプター
JP6262068B2 (ja) * 2014-04-25 2018-01-17 日立建機株式会社 車体近傍障害物報知システム
DE102014216159B4 (de) * 2014-08-14 2016-03-10 Conti Temic Microelectronic Gmbh Fahrerassistenzsystem
DE102014014662A1 (de) * 2014-09-19 2016-03-24 Mekra Lang North America, Llc Anzeigeeinrichtung für Fahrzeuge, insbesondere Nutzfahrzeuge
US10594934B2 (en) 2016-11-17 2020-03-17 Bendix Commercial Vehicle Systems Llc Vehicle display
KR102449834B1 (ko) * 2017-02-17 2022-09-29 스미도모쥬기가이고교 가부시키가이샤 작업기계용 주변감시 시스템
JP7150447B2 (ja) * 2018-02-28 2022-10-11 株式会社小松製作所 情報提示装置および情報提示方法
JP2019151304A (ja) * 2018-03-06 2019-09-12 アイシン精機株式会社 周辺監視装置
JP7265323B2 (ja) * 2018-07-31 2023-04-26 株式会社小松製作所 作業機械を制御するためのシステム及び方法
CN109484302A (zh) * 2018-11-23 2019-03-19 广州路派电子科技有限公司 一种汽车全景泊车辅助系统及泊车方法
US20200282909A1 (en) * 2019-03-07 2020-09-10 GM Global Technology Operations LLC Vehicle imaging system and method for a parking solution
US10949685B2 (en) 2019-07-22 2021-03-16 Caterpillar Inc. Excluding a component of a work machine from a video frame based on motion information

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090309970A1 (en) * 2008-06-04 2009-12-17 Sanyo Electric Co., Ltd. Vehicle Operation System And Vehicle Operation Method
US20100092042A1 (en) * 2008-10-09 2010-04-15 Sanyo Electric Co., Ltd. Maneuvering assisting apparatus
US20110025848A1 (en) * 2009-07-28 2011-02-03 Hitachi, Ltd. In-Vehicle Image Display Device
CN102303568A (zh) * 2011-06-23 2012-01-04 赵彬 一种车前侧盲区可视装置

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4114292B2 (ja) * 1998-12-03 2008-07-09 アイシン・エィ・ダブリュ株式会社 運転支援装置
US7145519B2 (en) * 2002-04-18 2006-12-05 Nissan Motor Co., Ltd. Image display apparatus, method, and program for automotive vehicle
JP2005014686A (ja) * 2003-06-24 2005-01-20 Matsushita Electric Ind Co Ltd ドライブレコーダ
US20050031169A1 (en) * 2003-08-09 2005-02-10 Alan Shulman Birds eye view virtual imaging for real time composited wide field of view
JP2006287826A (ja) * 2005-04-05 2006-10-19 Nissan Motor Co Ltd 車両用画像生成装置および方法
JP5054294B2 (ja) * 2005-08-05 2012-10-24 株式会社小松製作所 作業用車両に搭載される表示装置、及び同表示装置の表示方法
JP2007099261A (ja) * 2005-09-12 2007-04-19 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
JP5309442B2 (ja) * 2006-05-29 2013-10-09 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
US7728879B2 (en) * 2006-08-21 2010-06-01 Sanyo Electric Co., Ltd. Image processor and visual field support device
JP4404103B2 (ja) * 2007-03-22 2010-01-27 株式会社デンソー 車両外部撮影表示システムおよび画像表示制御装置
JP4458138B2 (ja) * 2007-09-18 2010-04-28 株式会社デンソー 車両周辺監視装置
KR100934947B1 (ko) * 2007-10-02 2010-01-06 볼보 컨스트럭션 이키프먼트 홀딩 스웨덴 에이비 레벨링 수단이 구비된 중장비의 영상표시 시스템
EP2280547A4 (en) * 2008-05-19 2013-02-13 Panasonic Corp VEHICLE SURROUNDING MONITORING DEVICE AND VEHICLE ENTOURING MONITORING METHOD
JP2011161935A (ja) * 2008-05-30 2011-08-25 Sanyo Electric Co Ltd 運転支援装置
JP5112998B2 (ja) * 2008-09-16 2013-01-09 本田技研工業株式会社 車両周囲監視装置
WO2010099416A1 (en) * 2009-02-27 2010-09-02 Magna Electronics Alert system for vehicle
JP5344227B2 (ja) * 2009-03-25 2013-11-20 アイシン精機株式会社 車両用周辺監視装置
US20110001819A1 (en) * 2009-07-02 2011-01-06 Sanyo Electric Co., Ltd. Image Processing Apparatus
JP5500369B2 (ja) * 2009-08-03 2014-05-21 アイシン精機株式会社 車両周辺画像生成装置
KR101123738B1 (ko) * 2009-08-21 2012-03-16 고려대학교 산학협력단 중장비 동작 안전 모니터링 시스템 및 방법
JP2011091527A (ja) * 2009-10-21 2011-05-06 Panasonic Corp 映像変換装置及び撮像装置
JP5503259B2 (ja) * 2009-11-16 2014-05-28 富士通テン株式会社 車載照明装置、画像処理装置及び画像表示システム
JP2011135253A (ja) * 2009-12-24 2011-07-07 Fujitsu Ten Ltd 画像処理装置、画像処理システム、および、画像処理方法
JP5479956B2 (ja) * 2010-03-10 2014-04-23 クラリオン株式会社 車両用周囲監視装置
JP5035643B2 (ja) * 2010-03-18 2012-09-26 アイシン精機株式会社 画像表示装置
JP5605617B2 (ja) * 2010-05-26 2014-10-15 アイシン精機株式会社 駐車支援装置
JP5113220B2 (ja) * 2010-06-28 2013-01-09 本田技研工業株式会社 車両用画像表示装置
JP5872764B2 (ja) * 2010-12-06 2016-03-01 富士通テン株式会社 画像表示システム
DE102011010624B4 (de) * 2011-02-08 2014-10-16 Mekra Lang Gmbh & Co. Kg Anzeigevorrichtung für Sichtfelder eines Nutzfahrzeugs
CA2815831C (en) 2012-09-21 2015-09-01 Komatsu Ltd. Working vehicle periphery monitoring system and working vehicle
JP5643272B2 (ja) * 2012-09-21 2014-12-17 株式会社小松製作所 作業車両用周辺監視システム及び作業車両

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090309970A1 (en) * 2008-06-04 2009-12-17 Sanyo Electric Co., Ltd. Vehicle Operation System And Vehicle Operation Method
US20100092042A1 (en) * 2008-10-09 2010-04-15 Sanyo Electric Co., Ltd. Maneuvering assisting apparatus
US20110025848A1 (en) * 2009-07-28 2011-02-03 Hitachi, Ltd. In-Vehicle Image Display Device
CN102303568A (zh) * 2011-06-23 2012-01-04 赵彬 一种车前侧盲区可视装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106797449A (zh) * 2015-09-30 2017-05-31 株式会社小松制作所 履带式作业机械的周边监视装置
US10927527B2 (en) 2015-09-30 2021-02-23 Komatsu Ltd. Periphery monitoring device for crawler-type working machine
CN108978743A (zh) * 2017-05-30 2018-12-11 神钢建机株式会社 工程机械
CN107632537A (zh) * 2017-09-12 2018-01-26 北京矿冶研究总院 一种地下矿用车辆的控制装置

Also Published As

Publication number Publication date
US9796330B2 (en) 2017-10-24
AU2012372161A1 (en) 2014-04-10
CN103828353B (zh) 2018-01-26
US20150217690A1 (en) 2015-08-06
JP5629740B2 (ja) 2014-11-26
WO2014045457A1 (ja) 2014-03-27
JP2014064208A (ja) 2014-04-10

Similar Documents

Publication Publication Date Title
CN103828353A (zh) 作业车辆用周边监视系统以及作业车辆
CN103828352A (zh) 作业车辆用周边监视系统及作业车辆
CN103827943B (zh) 工作车辆用周边监视系统以及工作车辆
CN103826918B (zh) 作业车辆用周边监视系统及自卸车
CN103828351A (zh) 作业车辆用周边监视系统以及作业车辆
CN103098112B (zh) 作业车辆的周边监视装置
CN103079891B (zh) 作业车辆的周边监视装置
CN103827942B (zh) 作业车辆用周边监视系统及作业车辆
CN103826919A (zh) 作业车辆用周边监视系统及作业车辆
CN103025581A (zh) 自卸卡车
CN103608216A (zh) 自卸车
US20210325900A1 (en) Swarming for safety
CA2815831C (en) Working vehicle periphery monitoring system and working vehicle
JP5990237B2 (ja) ダンプトラック用周辺監視システム及びダンプトラック
JP5823553B2 (ja) 作業車両用周辺監視システム及び作業車両
CA2817396C (en) Working vehicle periphery monitoring system and working vehicle
CA2815838C (en) Work vehicle periphery monitoring system and work vehicle
AU2011332655A1 (en) Use of AGE-specific aptamer for treating renal disease

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant