CN104334809B - 自行式工业机械的显示装置 - Google Patents

Abstract

本发明的目的在于，无论显示俯瞰图像的方向为哪个方向，均能使操作员直观且正确地认知俯瞰图像的方向性。本发明具有：多台相机(10)，其对自卸卡车(1)的周边进行拍摄并将斜下方作为光轴；视点转换部(22)，其生成俯瞰图像(32)，该俯瞰图像是对各相机(10)所拍摄的相机图像分别以使上方成为视点的方式进行视点转换后的图像；图像合成部(25)，其将使自卸卡车(1)标志化而成的标志图像(31)配置于中央，并在其周围合成俯瞰图像(32)来生成合成俯瞰图像；前方图标重叠部(24)，其将表示标志图像(31)的前方方向的前方图标(33)重叠在标志图像(31)上；和监视器(15)，其配置在自卸卡车(1)的驾驶室(2)中，并以任意方向显示重叠有前方图标(33)的合成俯瞰图像。

Description

自行式工业机械的显示装置

技术领域

本发明涉及自行式工业机械的显示装置，在自卸卡车或液压挖掘机等自行式工业机械进行行驶操作时对其进行支援。

背景技术

自行式工业机械利用于各种各样的作业现场。自行式工业机械中的一种为自卸卡车。自卸卡车具有能够在车身的车架上起伏的载货台(货斗：vessel)，在该货斗中装载碎石物或砂土等搬运对象物。而且，自卸卡车将砂土等向规定的堆放地搬运并卸载。在将装载于货斗的砂土等卸载时，使自卸卡车后退至卸载位置而停止。在该状态下使货斗倾斜来卸载砂土等。然后，当卸载结束时将货斗返回至原位置并使自卸卡车前进。

另一方面，自行式工业机械的一种为液压挖掘机。液压挖掘机具有下部行驶体和上部旋转体，其中，该下部行驶体具有履带式或轮式的行驶机构，该上部旋转体能够相对于下部行驶体旋转。在上部旋转体上设有驾驶室(操作室)，作为作业机构，在上部旋转体上设有相对于上部旋转体以能够进行俯仰动作的方式连结的动臂、以能够沿上下方向转动的方式与动臂的前端连结的斗杆、和进行砂土的挖掘等作业的铲斗。

对于搭乘在自卸卡车或液压挖掘机等自行式工业机械的驾驶室中的操作员来说，虽然确保了前方的视场，但是会在后方和左右侧方产生死角。因此，产生操作员难以用肉眼视觉辨认的方向。因此，通过在设于驾驶室中的监视器上显示将虚拟视点置于上方的俯瞰图像，能够辅助操作员认知自行式工业机械的周围状况。显示俯瞰图像的技术的一个例子在专利文献1中有所公开。该专利文献1的技术不是将自行式工业机械的周围、而是将汽车的周围作为俯瞰图像而显示的技术，生成将汽车的CG作为中心并在前后左右合成俯瞰图像而显示的画面。

现有技术文献

专利文献

专利文献1：日本特开2010-251939号公报

发明内容

上述专利文献1的俯瞰图像将汽车的CG作为中心，并在前后左右合成俯瞰图像。将其作为合成俯瞰图像。该合成俯瞰图像当然是以操作员容易视觉辨认的方式显示于监视器上。因此，以合成俯瞰图像的中心的汽车的CG的前方朝向监视器的上方的方式进行显示。即，合成俯瞰图像沿纵向显示。由此，操作员能够基于合成俯瞰图像，直观地认知该车辆的周边状况。

但是，显示俯瞰图像的方向未必总是固定的。有时也会根据操作员的习惯或/和显示方式，而将合成俯瞰图像沿横向显示。在该情况下，如果像专利文献1那样，使用能够明确地认知车辆的前方方向的汽车的CG，则即使将合成俯瞰图像沿横向显示，也能够认知车辆的前方。

自行式工业机械的情况也是同样地，以将自行式工业机械再现而成的标志图像为中心，在前后左右合成俯瞰图像而成为合成俯瞰图像。此时，合成俯瞰图像的中央的标志图像明确地表示自行式工业机械的前方的情况自不必说，在不是这样的情况下，当将合成俯瞰图像沿横向显示时，难以看一眼就掌握自行式工业机械的前方。在该情况下，若操作员在基于合成俯瞰图像而误认自行式工业机械的方向性的状态下进行行驶操作，则会向操作员所不希望的方向行驶。

因此，本发明的目的在于，即使显示俯瞰图像的方向为任意方向，也能够使操作员直观且正确地认知俯瞰图像的方向性。

为了解决以上课题，本发明的自行式工业机械的显示装置具有：多台相机(摄影机，camera)，其对自行式工业机械的周边进行拍摄并将斜下方作为光轴；视点转换部，其生成俯瞰图像，该俯瞰图像是对各相机所拍摄的相机图像分别以使上方成为视点的方式进行视点转换后的图像；图像合成部，其在将上述自行式工业机械标志化而成的标志图像的周围合成上述俯瞰图像来生成合成俯瞰图像；方向重叠部，其将表示上述标志图像的前方方向的前方显示部重叠在上述标志图像上；以及显示装置，其配置在上述自行式工业机械的驾驶室中，并以任意方向显示重叠有上述前方显示部的上述合成俯瞰图像。

根据本发明，将表示前方方向的前方显示部重叠在标志图像上。通过显示前方显示部，无论合成俯瞰图像以哪个方向显示，操作员均能够直观且正确地认知自行式工业机械的前方方向。

另外，也可以是，上述显示装置的画面部为横长的，且上述合成俯瞰图像为纵长的，将上述合成俯瞰图像显示在上述画面部中时，横向地进行显示。

在合成俯瞰图像为纵长、画面部为横长时，如果以纵向显示合成俯瞰图像，则由于无法在画面部的显示区域上较大地显示，所以无法实现画面部的有效利用。因此，通过以横向显示合成俯瞰图像，能够实现画面部的有效利用，能够较大地显示合成俯瞰图像。此时，由于显示有前方显示部，所以操作员能够直观且正确地认知自行式工业机械的前方方向。

另外，也可以是，能够切换第一显示模式和第二显示模式，第一显示模式中，使上述俯瞰图像为横向并显示在上述画面部上，第二显示模式中，在将上述画面部沿横向分割时的一个区域上以纵向显示上述合成俯瞰图像，并在其他区域上显示没有进行视点转换的所述相机图像。

在第一显示模式中，由于能够较大地显示合成俯瞰图像，所以能够以良好的视觉辨认性认知合成俯瞰图像。另一方面，在第二显示模式中，由于能够显示合成俯瞰图像和相机图像双方，所以虽然合成俯瞰图像的视觉辨认性降低，但是由于能够直接视觉辨认相机图像，所以能够在行驶操作时得到足够的信息。

另外，也可以是，基于来自对上述自行式工业机械的行驶进行操作的行驶操作部的信息，在通过上述行驶操作部行驶时将表示行驶方向的行驶方向显示部重叠在上述标志图像上，在通过上述行驶操作部停止行驶时不重叠上述行驶方向显示部。

虽然能够通过前方显示部直观且正确地认知自行式工业机械的前方方向，但通过显示行驶方向显示部，能够直观且正确地认知前方及行驶方向双方。

另外，也可以是，上述方向重叠部将上述前方显示部重叠在上述标志图像中的驾驶室的位置上。

操作员搭乘在驾驶室中，并进行自行式工业机械的操作。因此，由于从驾驶室观察到的前方成为自行式工业机械的前方，所以通过将前方显示部重叠在驾驶室的位置上，能够更直观地认知自行式工业机械的前方方向。

另外，也可以是，上述方向重叠部将上述前方显示部以与上述标志图像的颜色不同的颜色进行重叠。

如果标志图像与前方显示部是相同颜色，则无法清楚地视觉辨认前方显示部。因此，通过以不同颜色显示两者，能够使操作员清楚地认知前方方向。

发明效果

本发明将表示前方方向的前方显示部重叠在标志图像上。通过显示前方显示部，无论合成俯瞰图像以哪一方向显示，操作员均能够直观且正确地认知自行式工业机械的前方方向。

附图说明

图1是自卸卡车的左视图。

图2是自卸卡车的俯视图。

图3是表示安装在驾驶室中的监视器的一个例子的图。

图4是表示安装在驾驶室中的监视器的其他例子的图。

图5是显示控制器的框图。

图6是说明视点转换处理的原理的图。

图7是表示显示在画面部上的合成俯瞰图像的一个例子的图。

图8是表示第二显示模式的画面例的图。

图9是表示图7的其他例子的图。

图10是表示使边界线不同的情况下的图。

图11是表示显示行驶方向图标的例子的图。

图12是表示显示行驶方向图标的其他例子的图。

具体实施方式

以下，参照附图，对本发明的实施方式进行说明。作为自行式工业机械，存在搬运车辆和工程机械、道路施工机械等，作为搬运车辆主要存在自卸卡车，作为工程机械主要存在液压挖掘机。在此，虽然作为自行式工业机械而适用了自卸卡车，但也可以适用自卸卡车以外的自行式工业机械。作为自卸卡车，存在刚性自卸(rigid dump)和铰接自卸(articulate dump)，可以适用任一个。此外，以下，“左”是指从驾驶室观察到的左侧，“右”是指从驾驶室观察到的右侧。

图1表示自卸卡车1的左视图，图2表示俯视图。如这些图所示，自卸卡车1构成为具有驾驶室2、车架3、货斗4、前轮5、后轮6、驱动用液压缸7。另外，在自卸卡车1的前后左右设有相机10(前方相机10F、后方相机10B、右方相机10R、左方相机10L)，将各相机10所拍摄的影像作为相机图像而输出。

前方相机10F是以前方为视场的相机，后方相机10B是以后方为视场的相机，右方相机10R是以右侧方为视场的相机，左方相机10L是以左侧方为视场的相机。在图2中，将前方相机10F的视场范围作为前方视场范围VF，将后方相机10B的视场范围作为后方视场范围VB，将右方相机10R的视场范围作为右方视场范围VR，将左方相机10L的视场范围作为左方视场范围VL，并以虚拟线表示。在图中，虽然将各视场范围作为矩形来例示，但视场范围不限定于矩形。

虽然各相机10对自卸卡车1的周边进行拍摄，但其拍摄方向为斜下方。即，光轴方向为斜下方。此外，配置于自卸卡车1上的相机10的台数能够设为任意数量。但是，希望具有对由操作员的肉眼产生视场死角的方向进行拍摄的后方相机10B、右方相机10R、和左方相机10L。另外，在铰接自卸的情况下，也可以设置更多的相机。

驾驶室2是为了供操作员搭乘并操作自卸卡车1而设置的，大多配置于自卸卡车1的左侧。另外，在驾驶室2中设有各种操作机构。车架3构成自卸卡车1的构架，在车架3的前方设有前轮5，在后方设有后轮6。货斗4为载货台，装载砂土或矿物等。在货斗4上安装有驱动用液压缸7而能够倾转。由此，能够将装载于货斗4中的砂土等卸载。

图3表示驾驶室2的一个例子。在驾驶室2中，设有操作行驶方向的方向盘11、显示自卸卡车1的仪表类等的仪表板12和支柱13。而且，在支柱13上设有能够旋转的安装部14，在安装部14上安装有监视器15。作为安装部14，能够使用例如柔性接头(flexible joint)或铰链(hinge)机构等，从而能够使监视器15旋转。

监视器15是具有画面部16和输入部17而构成的显示装置。画面部16是显示规定信息的画面，其横纵比(aspect ratio)为横大于纵(横向的像素数比纵向的像素数多)。即，画面部16为横长。输入部17是为了适当地操作画面部16的显示内容而设置的。此外，监视器15的位置只要是在驾驶室2的内部即可，可以设于任意位置。另外，也可以省略输入部17而将画面部16作为触摸传感面板。

监视器15由安装部14安装并能够旋转。图4表示从图3的状态将监视器15旋转90度后的状态。该情况下，对于画面部16的横纵比没有变化，但操作员能够视觉辨认出画面部16变为纵长。操作员根据自身的习惯使安装部14旋转，由此，能够使监视器15成为图3那样的状态，也能够使其成为图4那样的状态。此外，也能够使安装部14无法旋转，预先确定监视器15的方向性而固定。

图5表示与监视器15连接的显示控制器18及与显示控制器18连接的车身控制器19。如该图所示，显示控制器18具有图像修正部21、视点转换部22、标志图像保持部23、前方图标重叠部24、图像合成部25、显示方式控制部26、和显示图像生成部27。显示控制器18的各部分能够通过软件实现，也能够通过CPU执行各部分的功能。

图像修正部21输入前方相机10F、后方相机10B、右方相机10R、左方相机10L所拍摄的相机图像(实时取景图像)。然后，对于输入的相机图像，基于相机光学系统参数等，进行透镜失真修正、像差修正、对比度修正、色调修正等各种图像修正。由此，使输入的图像的画质提高。图像修正部21输入的修正后的相机图像输出至视点转换部22。

视点转换部22对从图像修正部21输入的相机图像进行视点转换处理，生成俯瞰图像(虚拟视点图像)。如上述那样，各相机10将斜下方作为光轴方向，将其转换为从上方的虚拟视点。如图6所示，相机10(前方相机10F、后方相机10B、右方相机10R、左方相机10L)的物镜的光轴A相对于地表G具有规定角度θ，由此，相机10的光轴朝向斜下方。在视点转换部22中，以使光轴方向成为垂直方向的方式将虚拟相机10V虚拟地设定为高度H，并坐标转换为该虚拟相机10V俯视地表G而得到的图像数据。像这样转换为上方视点的图像成为虚拟的俯视图像(俯瞰图像)。

因此，从前方相机10F的相机图像生成前方俯瞰图像，从后方相机10B的相机图像生成后方俯瞰图像，从右方相机10R的相机图像生成右方俯瞰图像，从左方相机10L的相机图像生成左方俯瞰图像。此外，如上述那样，由于相机10的台数能够任意设定，所以生成的俯瞰图像的个数也根据相机10的台数发生变化。但是，如上述那样，希望生成成为操作员死角的前方俯瞰图像、左方俯瞰图像、和右方俯瞰图像这三个俯瞰图像。

标志图像保持部23保持标志图像。标志图像是将自卸卡车1作为标志(符号)而显示在画面部16上时的图像。因此，标志图像成为再现自卸卡车1的形状的图像。如果此时的再现性高，则操作员能够正确地认知自卸卡车1的形状。但是，也可以是不如实地再现自卸卡车1的形状的图像。只要能够认知为自卸卡车1，则也可以将图形等作为标志图像。

前方图标重叠部24为前方显示重叠部，保持有表示标志图像的前方、即自卸卡车1的前方方向的前方图标。前方图标为前方显示部，进行将所保持的前方图标重叠于标志图像上的处理。由于标志图像为再现自卸卡车1的形状的图像，所以将前方图标重叠在标志图像中的驾驶室的位置上。虽然在此将前方图标重叠在驾驶室的位置上，但也可以将前方图标重叠在标志图像中的任意位置上。

图像合成部25输入视点转换部22进行了视点转换后的各俯瞰图像，并输入标志图像保持部23所保持的标志图像。然后，将标志图像设为中央，在其周边配置各俯瞰图像而进行合成。然后，将标志图像作为中心，在前侧配置前方俯瞰图像，在后侧配置后方俯瞰图像，在右侧配置右方俯瞰图像，在左侧配置左方俯瞰图像而进行合成。

显示标志图像的区域采用长方形的区域，从其四角形成有划分各俯瞰图像的显示区域的四条边界线。四条边界线从标志区域的区域以放射状形成。通过该边界线及标志图像的区域而划分形成显示各俯瞰图像的区域。而且，图像合成部25在划分形成为四部分的区域中进行合成各俯瞰图像的处理。经由该处理生成的图像为合成俯瞰图像，成为将标志图像作为中心、在前侧配置前方俯瞰图像、在后侧配置后方俯瞰图像、在右侧配置右方俯瞰图像、在左侧配置左方俯瞰图像而成的图像。

显示方式控制部26控制显示于画面部16上的图像的方式。能够在画面部16上以任意方向显示合成俯瞰图像，另外也能够将画面部16的区域分割成两个区域，在一个区域上显示合成俯瞰图像，并在另一个区域上显示相机图像。因此，能够使显示方式变化，由显示方式控制部26进行其控制。

显示图像生成部27输入图像合成部25所生成的合成俯瞰图像和/或图像修正部21进行修正处理后的相机图像，生成显示于画面部16上的显示图像。此时，通过显示方式控制部26，控制以何种显示方式进行显示。在本实施方式中，切换地显示第一显示模式和第二显示模式。显示图像生成部27所生成的显示图像输入至画面部16，并显示在画面部16上。

如图5所示，显示控制器18与车身控制器19连接。在车身控制器19上连接有用于控制自卸卡车1的各种操作机构。其中之一为换挡杆28。换挡杆28是供操作员对自卸卡车1的行驶进行操作的行驶操作部，在前进位置、中立位置、后退位置这三个位置之间位移。在换挡杆28位于前进位置时，自卸卡车1前进，在位于后退位置时自卸卡车1后退。另外，在位于中立位置时自卸卡车1停止。从换挡杆28向车身控制器19输入换挡杆位于哪个位置(前进位置、中立位置、后退位置)的换挡杆位置信息。然后，换挡杆位置信息作为车身信息而输出至显示控制器18。

另外，从方向盘11向车身控制器19输入转向信息。通过方向盘11的操作使自卸卡车1向左右某一方向变化，此时，方向盘11的操作信息作为转向信息输入至车身控制器19。由此，车身控制器19能够认知行驶方向的角度。

使用以上结构，显示控制器18生成显示于监视器15的画面部16上的显示图像。图7表示以图3的状态设置监视器15时的画面例。在作为监视器15而使用普通的液晶显示器等的情况下，画面部16的横纵比为横比纵大。即，在将横向设为X方向、将纵向设为Y方向时，使用X：Y为4：3或16：9等横纵比的画面。即，在将监视器15如图3那样设置的情况和如图4那样设置的情况下，在操作员看来，横长和纵长发生变化，但画面部16本身的横纵比不产生变化。在此，对以图3的状态设置监视器15的情况进行说明。

为了在监视器15的画面部16上显示图像，各相机10必须进行拍摄。为此，操作员使发动机启动等，各相机10开始拍摄。如上述那样，各相机10对斜下方进行拍摄，前方相机10F对前方的斜下方的影像进行拍摄，后方相机10B对后方的斜下方的影像进行拍摄，右方相机10R对右侧方的斜下方的影像进行拍摄，左方相机10L对左侧方的斜下方的影像进行拍摄。

然后，各相机10将拍摄到的影像作为相机图像而输出(传输)至显示控制器18。各相机10以规定的拍摄周期进行拍摄，并按拍摄周期传输相机图像。由此，能够在画面部16上显示动态图像。此外，也可以显示静态图像。

如图5所示，图像修正部21对从各相机10输出的相机图像进行规定的修正处理。由此，相机图像的画质提高。进行了修正处理的相机图像在视点转换部22中被视点转换。根据前方相机10F所拍摄的相机图像而生成前方俯瞰图像32F，根据后方相机10B所拍摄的相机图像而生成后方俯瞰图像32B，根据右方相机10R所拍摄的相机图像而生成右方俯瞰图像32R，根据左方相机10L所拍摄的相机图像而生成左方俯瞰图像32L(将前后左右的各俯瞰图像总称为俯瞰图像32)。然后，所生成的各俯瞰图像32输出至图像合成部25。

图像合成部25从标志图像保持部23获取图7所示那样的标志图像31。然后，将标志图像31配置于画面部16的中央区域。但是，自卸卡车1的形状从上方观察时呈大致长方形，从再现自卸卡车1的形状的标志图像31难以掌握前方。另外，自卸卡车1中，与左右方向的长度相比前后方向的长度较长。因此，再现自卸卡车1的形状的标志图像31也是与左右方向相比前后方向的长度较长。

如上述那样，画面部16的横纵比是横比纵大。因此，关于标志图像31也使前后方向与X方向相应，使左右方向与Y方向相应。由此，画面部16中的标志图像31的横纵比也是横比纵大。即，根据画面部16的横纵比来确定标志图像31的方向。因此，由于标志图像31的前后方向成为X方向，所以标志图像31的前方、即自卸卡车1的前方也成为X方向。

图像合成部25从标志图像保持部23获取标志图像31，并如以上那样配置于画面部16的中央。此时，在图7的边界线L3及L4所夹持的区域中合成前方俯瞰图像32F，在边界线L1及L3所夹持的区域中合成右方俯瞰图像32R，在边界线L2及L4所夹持的区域中合成左方俯瞰图像32L，在边界线L1及L2所夹持的区域中合成后方俯瞰图像32B。由此，生成图7所示那样的合成俯瞰图像。该合成俯瞰图像为所谓俯瞰图像显示。

合成俯瞰图像也能够使用画面部16的全部区域来显示。因此，能够较大地显示合成俯瞰图像。这是由于，在画面部16的横纵比为X方向比Y方向大时，将标志图像31的前后方向设为X方向，将左右方向设为Y方向。由此，由于能够在画面部16上较大地显示合成俯瞰图像，所以操作员能够良好地视觉辨认自卸卡车1的周边状况。

另外，如上述那样，将标志图像31的前后方向设为X方向。因此，在操作员视觉辨认画面部16时，标志图像31的前方成为X方向、即横向。作为操作员的感觉，当标志图像31的前方朝向Y方向、即监视器15的上方向时，容易认知标志图像31的前方。然而，当标志图像31的前方朝向X方向、即横向时，难以识别标志图像31的前方。由此，对于自卸卡车1的前方是哪个方向，有时操作员的思考会产生混乱，可能成为误认自卸卡车1的前方的主要原因。

因此，前方图标重叠部24将前方图标33重叠在标志图像31上。前方图标33是表示标志图像31的前方的标识，在图7中使用三角形表示前方。即，三角形的顶点方向表示为前方。操作员通过视觉辨认前方图标33，即使在标志图像31的前方为X方向的情况下，也能够看一眼就认知标志图像31的前方。由此，操作员能够正确且直观地认知合成俯瞰图像的方向性。

图像合成部25将合成俯瞰图像输出至显示图像生成部27，该合成俯瞰图像是由前方图标重叠部24将前方图标33与标志图像31重叠而成的。显示方式控制部26如图7所示那样，选择在画面部16的显示区域上较大地显示合成俯瞰图像的第一显示模式。显示图像生成部27认知由显示方式控制部26控制第一显示模式，并将合成俯瞰图像作为显示图像而输出至画面部16。然后，画面部16对显示图像(合成俯瞰图像)进行显示，由此能够进行图7那样的俯瞰图像的显示。

通过进行该俯瞰图像显示，如图7所示，能够使操作员认知服务车作为障碍物S1正在接近的情况。通过视觉辨认显示于画面部16上的俯瞰图像，操作员能够清楚地认知自卸卡车1与障碍物S1之间的位置关系。如图7那样，由于障碍物S1正在接近，所以操作员能够认知若自卸卡车1向左斜前方行驶，则障碍物S1和自卸卡车1会发生干涉。

此时，如果操作员在误认标志图像31的前方方向性的状态下进行行驶操作，则有可能使自卸卡车1向障碍物S1的方向行驶。但是，由于在标志图像31上重叠有前方图标33，所以通过视觉辨认前方图标33，能够正确且直观地认知自卸卡车1的前方是哪个方向，不必担心使自卸卡车1朝向障碍物S1的方向行驶。

在以上的第一显示模式中，能够较大地有效利用画面部16的显示区域，能够在全部区域或大致全部区域上显示合成俯瞰图像。由此，能够较大地显示合成俯瞰图像，能够使操作员详细地认知自卸卡车1的周边状况。因此，虽然标志图像31的前方是朝向X方向的，但通过将前方图标33重叠，能够使操作员正确且直观地认知方向性。

接下来，对第二显示模式进行说明。图8表示第二显示模式的一个例子。显示方式控制部26选择第二显示模式。能够适当地设定选择第一显示模式和第二显示模式中的哪一个。例如，可以是操作员使用输入部17进行输入操作，也可以按规定时间切换第一显示模式和第二显示模式。当然，也可以控制为显示除第一显示模式及第二显示模式以外的任意显示方式。

如图8所示，在第二显示模式中，将画面部16的区域沿横向(X方向)均等地分割，形成第一显示区域16A和第二显示区域16B。在第一显示区域16A上显示合成俯瞰图像，在第二显示区域16B上显示相机图像。显示于第二显示区域16B上的相机图像是未通过视点转换部22进行视点转换处理的图像，是相机10所拍摄的影像。虽然相机图像可以是四台相机10中的任一相机10的相机图像，但希望为对操作员来说基本为死角的后方图像、即后方相机10B所拍摄的相机图像。此外，该相机图像能够使用通过图像修正部21进行修正处理而使画质提高的相机图像。

显示图像生成部27从图像修正部21获取后方的相机图像，并从图像合成部25获取合成俯瞰图像。然后，在第一显示区域16A上显示合成俯瞰图像，在第二显示区域16B上显示相机图像。当然，也可以将合成俯瞰图像显示在第二显示区域16B上，将相机图像显示在第一显示区域16A上。

在此，虽然在第一显示区域16A上显示有合成俯瞰图像，但该合成俯瞰图像从图7的状态旋转了90度。即，标志图像31的前后方向成为Y方向，左右方向成为X方向。画面部16的横纵比为横比纵大，但对于将画面部16分割而成的第一显示区域16A，横纵比为纵比横大。因此，以使标志图像31的前后方向成为Y方向、左右方向成为X方向的方式使合成俯瞰图像旋转。

而且，由于第一显示区域16A成为图7的画面部16的全部区域大小的一半大小，所以进行合成俯瞰图像的缩小处理，在第一显示区域16A上显示缩小后的合成俯瞰图像。另外，在第二显示区域16B上显示有后方的相机图像。由此，成为图8那样的显示方式。

由于合成俯瞰图像进行了缩小处理，所以如果与如图7那样在画面部16的全部区域上显示合成俯瞰图像的情况相比较，则视觉辨认性降低。但是，自卸卡车1的后方对于操作员来说基本成为死角，而无法认知后方的状况。此时，即使合成俯瞰图像的视觉辨认性以某种程度降低，也能够通过显示后方的相机图像而详细地认知自卸卡车1的后方状况。另外，即使合成俯瞰图像的视觉辨认性与第一显示模式相比降低，由于显示了合成俯瞰图像，所以也能够认知自卸卡车1的周边状况。像这样，通过并排地显示合成俯瞰图像和后方的相机图像，能够认知自卸卡车1的周边状况，且能够详细地认知后方状况。

另外，在第二显示模式中，标志图像31的前方朝向Y方向。这是对操作员来说自然的视觉方向，将自卸卡车1的前方方向性误认的可能性小。因此，也考虑不将前方图标33重叠在标志图像31上。

但是，由于构成为能够切换第一显示模式与第二显示模式，所以虽然在第二显示模式中标志图像31的前方为X方向，但在第一显示模式中标志图像31的前方成为Y方向。即，标志图像31的前方方向根据显示方式而切换。因此，在第二显示模式中，即对操作员来说在自然的视觉方向上显示有合成俯瞰图像的情况下，也将前方图标33重叠。由此，能够更可靠地使操作员认知标志图像31的前方。

此外，在图8中，将画面部16均等地分割成两个区域并作为第一显示区域16A和第二显示区域16B，但区域的分割也可以是不均等的。另外，虽然示出了将画面部16分割成两个区域的例子，但也可以分割成三个以上。由此，能够显示大量的信息。但是，安装在自卸卡车1的驾驶室2中的监视器15为了不妨碍操作员的前方视野而使用了小型尺寸。因此，画面部16的尺寸也不大，如果将画面部16分割为多个区域，则显示在各区域上的图像变得非常小，视觉辨认性降低。因此，希望将画面部16的区域分割成两个左右，并希望该分割数最多到四个左右。

因此，在第一显示模式中，由于能够有效地利用画面部16的大多区域来显示俯瞰图像，而较大地显示合成俯瞰图像，所以能够使操作员详细地认知自卸卡车1的周边状况。虽然标志图像31的前方朝向X方向，但操作员能够基于前方图标33而正确且直观地认知方向性。

而且，在第二显示模式中，通过同时显示合成俯瞰图像和相机图像，虽然合成俯瞰图像的视觉辨认性与第一显示模式相比降低，但通过显示后方的相机图像，能够详细地认知对操作员来说最为死角的后方的状况。因此，通过构成为能够切换第一显示模式和第二显示模式，能够以发挥其各自优点的显示方式显示在画面部16上。

以上，希望前方图标重叠部24将前方图标33重叠在标志图像31中的驾驶室2的位置上。由于操作员搭乘在驾驶室2中来进行自卸卡车1的操作，所以通过将前方图标33重叠在驾驶室的位置上，对于操作员来说，能够更直观地认知自卸卡车1的前方方向。但是，虽然希望前方图标33重叠在驾驶室2的位置上，但只要在标志图像31中则也能够重叠在任意位置上。总之，只要能够使操作员直观且正确地认知标志图像31的前方，则能够重叠在任意位置上。

在这一点，为了更明确地显示标志图像31的前方，如图9所示，也能够使前方图标33的尺寸较大而进行显示。但是，标志图像31的外形再现了自卸卡车1的形状，在俯瞰图像显示中基于标志图像31来认知自卸卡车1与其周边障碍物的位置关系。因此，希望即使前方图标33的尺寸变大，与标志图像31的外形相比也在内侧的范围内变大。

另外，标志图像31是以规定的颜色预先制成的符号，当将标志图像31与相同颜色的前方图标33重叠时，操作员对前方图标33的视觉辨认性降低。因此，将前方图标33的颜色设定为与标志图像31不同的颜色。由此，操作员能够清楚地认知前方图标33。

作为前方图标33，使用三角形图标，其顶点表示标志图像31的前方，但也可以使用除三角形图标以外的图标。例如，也可以使用箭头。另外，通过将方向盘的符号重叠在标志图像31中的驾驶室2的位置上，操作员也能够认知前方。总之，只要能够明确地显示前方，则可以不是图标形式，能够使用任意方法。

另外，在图7所示的例子中，边界线L1至L4从显示标志图像31的长方形区域的角部(四角)形成至画面部16的角部(四角)，但如图10所示，也可以形成至画面部16的角部以外的位置。如该图所示，边界线L1及L2形成至从画面部16的角落部离开的位置。在后方相机10B为高像素且为广角的情况下，也可以优先显示后方相机10B所拍摄的后方俯瞰图像32B。在该情况下，也可以与后方相机10B的视场角相应地如图10那样形成边界线L1及L2。

接下来，对基于自卸卡车1的行驶操作的、图像合成部25的处理进行说明。搭乘在驾驶室2中的操作员操作换挡杆28，而使自卸卡车1行驶。如上述那样，换挡杆28有前进位置、中立位置、和后退位置，根据换挡杆28的位置，来确定是否使自卸卡车1行驶，以及使其行驶的情况下的行驶方向。换挡杆28进入哪个位置的信息(换挡杆位置信息)输入至车身控制器19，车身控制器19作为车身信息而将换挡杆位置信息输出至显示控制器18。

图像合成部25获取换挡杆位置信息。由此，图像合成部25认知自卸卡车1的行驶方向。因此，如图11的(a)所示，图像合成部25在合成俯瞰图像内，尤其在标志图像31中，将作为行驶方向显示部的行驶方向图标34重叠在更接近于前方图标33的位置上。

即，在操作员将换挡杆28操作至前进位置时，自卸卡车1前进。此时，图像合成部25基于换挡杆位置信息，而显示行驶方向图标34。即，显示表示与前方图标33一致的方向的行驶方向图标34。由此，操作员能够通过前方图标33认知标志图像31的前方，并且能够认知通过自身所操作的换挡杆28使自卸卡车1前进的情况。

该图的(b)表示将换挡杆28操作至中立位置的情况下的画面例。当将换挡杆28操作至中立位置时，自卸卡车1不行驶(即，停止)。因此，图像合成部25不将行驶方向图标34重叠。由此，由于行驶方向图标34不被显示，所以也能够从画面部16认知自卸卡车1处于停止状态的情况。

该图的(c)表示操作员将换挡杆28操作至后退位置时的画面例。在该情况下，自卸卡车1后退。图像合成部25基于换挡杆位置信息，而显示行驶方向图标34。即，显示表示与前方图标33为相反方向的行驶方向图标34。由此，操作员能够通过前方图标33认知标志图像31的前方，并且能够认知通过自身所操作的换挡杆28使自卸卡车1后退的情况。

另外，如图5所示，从方向盘11向车身控制器19输入转向信息，转向信息输入至图像合成部25。此时，基于换挡杆位置信息和转向信息，认知在前进或后退时向左右哪个方向行驶。此时，如图12所示，基于换挡杆位置信息和转向信息，使行驶方向图标34的方向变化。由此，能够显示与自卸卡车1实际行驶的方向相应的行驶方向图标34。

以上说明了作为自行式工业机械而适用了自卸卡车1的情况，但也可以是除自卸卡车1以外的自行式作业机械。在无法基于标志图像31而明确地认知前方方向的情况下，通过将前方图标33重叠而进行显示，能够在俯瞰图像显示时直观且正确地认知自行式工业机械的前方方向。

附图标记说明

1 自卸卡车

2 驾驶室

10 相机

15 监视器

15 画面部

16 画面部

16A 第一显示区域

16B 第二显示区域

18 显示控制器

19 车身控制器

21 图像修正部

22 视点转换部

23 标志图像保持部

24 前方图标重叠部

25 图像合成部

26 显示方式控制部

27 显示图像生成部

28 换挡杆

31 标志图像

32 俯瞰图像

33 前方图标

34 行驶方向图标。

Claims (4)

1.一种自行式工业机械的显示装置，其特征在于，具有：

多台相机，其对自行式工业机械的周边进行拍摄并将斜下方作为光轴；

视点转换部，其生成俯瞰图像，所述俯瞰图像是对各相机所拍摄的相机图像分别以使上方成为视点的方式进行视点转换后的图像；

图像合成部，其在将所述自行式工业机械标志化而成的标志图像的周围合成所述俯瞰图像来生成合成俯瞰图像；以及

显示装置，其配置在所述自行式工业机械的驾驶室中，并以任意方向显示所述合成俯瞰图像，

在所述显示装置上，在基于来自对所述自行式工业机械的行驶进行操作的行驶操作部的信息，通过所述行驶操作部行驶时，将表示行驶方向的行驶方向显示部重叠在所述标志图像中。

2.根据权利要求1所述的自行式工业机械的显示装置，其特征在于，

所述显示装置在通过所述行驶操作部停止行驶时，不在所述合成俯瞰图像上重叠所述行驶方向显示部。

3.根据权利要求1所述的自行式工业机械的显示装置，其特征在于，

来自对所述自行式工业机械的行驶进行操作的行驶操作部的信息，至少包括换挡杆信息。

4.根据权利要求1所述的自行式工业机械的显示装置，其特征在于，

来自对所述自行式工业机械的行驶进行操作的行驶操作部的信息，至少包括换挡杆信息及转向信息。