CN114729524A - 路面状况监视系统、作业车辆、路面状况监视方法以及程序 - Google Patents

Abstract

本发明的路面状况监视系统具备：路面状况取得部，对于在包含通过安装有轮胎的作业车辆的行驶机构的驱动而作业车辆行进的方向的路面的范围内存在的监视对象，所述路面状况取得部取得与所述监视对象的至少形状或大小相关的监视对象信息；存储部，所述存储部保存用于判断所述轮胎是否会受到损伤的基准信息；损伤判断部，在通过所述行驶机构的驱动而所述轮胎与所述监视对象接触的情况下，所述损伤判断部基于所述监视对象信息和所述基准信息判断所述轮胎是否会受到损伤；输出部，所述输出部输出所述损伤判断部判断的结果。

Description

路面状况监视系统、作业车辆、路面状况监视方法以及程序

技术领域

本发明涉及路面状况监视系统、作业车辆、路面状况监视方法以及程序。

本申请基于2019年11月21日在日本申请的特愿2019－210857号主张优先权，在此引用其内容。

背景技术

在矿山或采石场工作的轮式装载机进行爆破岩石等挖掘作业。在进行这样的作业时，例如存在轮胎与锋利的岩石接触从而引起轮胎破损的情形。作为轮胎破损，例如使轮胎划伤或爆胎。虽然操作人员一边确认在路面上是否存在作为轮胎破损的原因的岩石一边使轮式装载机行驶，但存在从操作人员的座位难以视觉确认路面的状况的情形。因此，在专利文献1所记载的作业车辆中，利用设置于前加速机构前方的相机对前轮胎前方的路面状况进行拍摄，使操作人员能够利用设置于驾驶室内的监视器确认该路面状况。

现有技术文献

专利文献

专利文献1：国际公开第2017/077723号

发明内容

发明所要解决的技术问题

根据专利文献1所记载的作业车辆，操作人员能够通过观察监视器，能够视觉确认成为轮胎破损的原因的岩石是否存在于行进方向。但是，在该结构中，不管针对轮胎破损应该留意的岩石是否存在，操作人员都必须最初在监视器视觉确认成为轮胎破损原因的岩石，仅在操作人员能够判断视觉确认了的岩石是否可能引起轮胎破损的情况下，能够避免轮胎破损。存在以下技术问题：在挖掘作业时，操作人员的视线在前方，操作人员很难一直持续观察监视器。另外，存在观察监视器的频率增加时作业车辆的动作变缓慢生产率下降的技术问题。

本发明是鉴于上述情况而完成的，其目的在于，提供操作人员能够容易地监视路面状况的路面状况监视系统、作业车辆、路面状况监视方法以及程序。

用于解决技术问题的手段

为了解决上述技术问题，本发明的一个方式为一种路面状况监视系统，其具备：路面状况取得部，对于在包含通过安装有轮胎的作业车辆的行驶机构的驱动而作业车辆行进的方向的路面的范围内存在的监视对象，所述路面状况取得部取得与所述监视对象的至少形状或大小相关的监视对象信息；存储部，所述存储部保存用于判断所述轮胎是否会受到损伤的基准信息；损伤判断部，在通过所述行驶机构的驱动而所述轮胎与所述监视对象接触的情况下，所述损伤判断部基于所述监视对象信息和所述基准信息判断所述轮胎是否会受到损伤；输出部，所述输出部输出所述损伤判断部判断的结果。

发明效果

根据本发明的实施方式，操作人员能够容易地监视路面状况。

附图说明

图1是示出本实施方式的作业车辆的一例的立体图。

图2是图1所示的轮式装载机1的侧视图。

图3是图1所示的轮式装载机1的侧视图。

图4是图3所示的轮式装载机1的主视图。

图5是从斜下方观察图3所示的轮式装载机1的图。

图6是图1所示的轮胎6的立体图。

图7是用于说明本实施方式的相机的拍摄区域的示意图。

图8是示出本实施方式的路面状况监视系统的一例的框图。

图9是示出图8所示的路面状况监视系统100的动作例的流程图。

图10是示出本实施方式的学习用图像的示例的示意图。

图11A是示出本实施方式的相机图像的示例的示意图。

图11B是示出本实施方式的相机图像的示例的示意图。

图12是示出本发明的实施方式的基本结构例的框图。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。需要注意的是，在各图中对于相同或者对应的结构使用相同的附图标记适当省略说明。

[轮式装载机(作业车辆)]

图1是示出作为本实施方式的作业车辆的一例的轮式装载机1的立体图。图2是图1所示的轮式装载机1的侧视图。图3是图1所示的轮式装载机1(将铲斗12向上方向移动的情形)的侧视图。图4是图3所示的轮式装载机1的主视图。图5是从斜下方观察图3所示的轮式装载机1的图。图6是图1所示的轮胎6的立体图。图7是用于说明本实施方式的相机的拍摄区域的示意图。

如图1等所示，轮式装载机1具备车辆主体2、支承于车辆主体2的工作装置10。需要注意的是，图1示意性地示出作为轮式装载机1的作业对象的岩山201、和位于离开岩山201的位置且具有使轮胎6破损的可能性的岩石202。

车辆主体2具有驾驶室3、行驶机构4、和产生用于驱动行驶机构4的动力的发动机(未图示)。在驾驶室3，具备驾驶席(未图示)。轮式装载机1由搭乘于驾驶室3且落座于驾驶席的操作人员操作。在驾驶席的周围配置由操作人员操作的驾驶操作装置。驾驶操作装置包含例如变速杆、加速踏板、制动踏板、以及用于操作工作装置10的工作装置杆。操作人员操作驾驶操作装置，调整轮式装载机1的行驶速度、行进或者后退的切换、以及实施工作装置10的操作。

行驶机构4具有能够以旋转轴DX为中心旋转的车轮5。轮胎6安装于车轮5。车轮5包含2个前轮5F、和2个后轮5R。轮胎6包含安装于前轮5F的右前轮胎6FR以及左前轮胎6FL、和安装于后轮5R的右后轮胎6RR以及左后轮胎6RL。需要注意的是，以下，有时将右前轮胎6FR和左前轮胎6FL总称为前轮胎6F，将右后轮胎6RR和左后轮胎6RL总称为后轮胎6R。行驶机构4能够在路面RS行驶。

在以下的说明中，将与轮式装载机1在直行状态下行驶时的旋转轴DX平行的方向适当地称为车辆主体2的车宽方向，将与路面RS正交的铅垂轴平行的方向适当地称为车辆主体2的上下方向，将与旋转轴DX以及铅垂轴的双方正交的方向适当地称为车辆主体2的前后方向。

需要注意的是，轮胎6具有例如图6所示的块状花纹(也称为胎面花纹)6P。块状花纹6P是由刻入到作为轮胎6与路面RS相接的部分的胎面6S的槽6G等形成的图案。在图6所示的示例中，块状花纹6P是相对于轮胎6的周向左右相互不同地刻入大致直角的多个槽6G的图案(横纹槽(lug)型图案)。

在本实施方式中，以落座于驾驶室3的驾驶席的操作人员为基准工作装置10存在的方向为前方，前方的相反方向为后方。车宽方向的一方为右方，右方的相反方向为左方。前轮5F相比于后轮5R配置于前方。前轮5F配置于车辆主体2的车宽方向两侧。后轮5R配置于车辆主体2的车宽方向两侧。

工作装置10具有能够移动地连结到车辆主体2的小臂11、作为经由连杆16能够移动地连结到小臂11的挖掘部件的铲斗12、曲拐15。

小臂11通过提升油缸13(图3)产生的动力工作。提升油缸13是产生用于移动小臂11的动力的液压油缸。提升油缸13的一个端部连结到车辆主体2，提升油缸13的另一端部连结到小臂11。设置2个提升油缸13。一个提升油缸13设置于比车宽方向中心更靠右方，另一个提升油缸13设置于比车宽方向中心更靠左方。当操作人员操作工作装置杆时，提升油缸13伸缩。由此，小臂11在上下方向移动。

铲斗12是具有铲尖12B的挖掘部件。需要注意的是，挖掘部件可以为具有铲尖的刮板。铲斗12与小臂11的前端部连结，并经由小臂11连结到车辆主体2。铲斗12通过铲斗油缸14产生的动力而工作。铲斗油缸14是产生用于移动铲斗12的动力的液压油缸。曲拐15的中央部能够旋转地连结到小臂11。铲斗油缸14的一个端部连结到车辆主体2，铲斗油缸14的另一个端部连结到曲拐15的一个端部。曲拐15的另一个端部经由连杆16(图3)连结到铲斗12。设置1个铲斗油缸14。铲斗油缸14配置于车宽方向的中央部。当操作人员操作工作装置杆时，铲斗油缸14伸缩。由此，铲斗12摆动。铲斗12在车辆主体2的前方摆动。

如图4以及图5所示，车宽方向的铲斗12的两侧的端部12E配置于在车宽方向比轮胎6更靠外侧。即，铲斗12右侧的端部12E和左侧的端部12E的车宽方向的距离比右侧轮胎6的外侧面和左侧轮胎6的外侧面的车宽方向的距离更大。

图4是示出本实施方式的轮式装载机1的主视图，示出使铲斗12向上方移动的状态。在本实施方式中，行驶机构4具有将由发动机产生的动力向前轮5F传递的动力传递机构7、和收纳动力传递机构7的至少一部分的壳体8(也称为轴箱)。发动机配置于车辆主体2的后部。由发动机产生的动力经由动力传递机构7的差速齿轮向左右前轮5F传递。差速齿轮收纳于壳体8的球状部分8B。在以下的说明中，将收纳差速齿轮的壳体8的球状部分8B适当称为轴球8B。轴球8B配置于车宽方向的中央部。另外，轴球8B配置于比铲斗油缸14更靠下方的位置。在轴球8B的上方设置有作为轴球8B(壳体8)的盖的轴壳体8C。壳体8包含前轮5F用的壳体8F和后轮5R用的壳体8R(图5)。

[路面状况监视系统的设置位置]

如图1所示，本实施方式的路面状况监视系统100具备相机20、计算机(电脑)30、蜂鸣器40、和监视器50。相机20例如如图4以及图5所示设置于轴壳体8C。计算机30、蜂鸣器40、和监视器50设置于驾驶室3。

[相机的拍摄区域]

如图7所示，相机20取得铲斗12和前轮胎6F之间的区域401的图像数据。在本实施方式中，相机20的拍摄区域是与路面RS接触的接地状态的铲斗12和前轮胎6F之间的路面RS的区域401。需要注意的是，关于相机20的设置，不限于设置于轴壳体8C，也可以设置于例如图5所示的大臂连接器17。大臂连接器17是通过焊接将左右的小臂11之间连结的部件。另外，相机20的个数不限于1个，也可以为多个。例如，如图7所示，可以安装于铲斗12的背侧(铲斗的上表面并与驾驶室3相对的面)(相机20a)、或安装于前挡泥板18的上方(相机20b)和后方(相机20e)、或安装于照明19的上方、下方或者侧方(相机20c)、或安装于驾驶室3的顶棚3a的上方(相机20d)、或者安装于壳体8R的盖(相机20f)。相机20、20a～20f可以例如经由支架搭载于轮式装载机1，支架可以具备能够调整拍摄方向的调整机构。需要注意的是，图7所示的相机20、20a～20f由2个矩形表示，各相机的拍摄方向为从大矩形向小矩形的方向。

另外，拍摄区域不限于区域401，例如可以以区域402、区域403、以及区域404的一部分或者全部为拍摄区域。区域402是前轮胎6F的后方的一定区域。区域403是后轮胎6R的前方的一定区域。区域404是后轮胎6R的后方的一定区域。需要注意的是，各区域401～404可以为包含轮胎6的一部分和路面RS的一部分的区域。另外，也可以在每个左右轮胎6设置相机的拍摄区域。

[路面状况监视系统的结构]

接着，参照图8～图11A以及图11B，对图1所示的路面状况监视系统100进行说明。图8是示出本实施方式的路面状况监视系统100的一例的框图。图9是示出图8所示的路面状况监视系统100的动作例的流程图。图10是示出本实施方式的学习用图像的示例的示意图。图11A以及图11B是示出本实施方式的相机图像的示例的示意图。

如图8所示，路面状况监视系统100具备：参照图1等对设置位置已经说明了的相机20、计算机30、蜂鸣器40、和监视器50。

计算机30具有处理装置31、存储装置32、和输入输出装置33。处理装置31在内部具备CPU(中央处理装置)、存储装置、输入输出装置等硬件，并通过执行例如存储于内部的存储装置的程序而动作。就处理装置31而言，作为硬件和程序等软件的组合而构成的功能性的结构要素，具有图像处理部311和图像识别部312。存储装置32存储图像识别部312在图像识别处理中使用的学习完成模型321等。输入输出装置33输入相机20拍摄的图像信号的同时将输入的图像信号存储于规定的存储装置，或者向图像处理部311输出，或者将表示例如图像识别部312的规定的判断结果的图像信号与输入的图像信号重叠并向监视器50输出，或者将表示图像识别部312的规定的判断结果的信号向蜂鸣器40输出。即，输入输出装置33是执行图像信号的传输控制、基于图像信号执行显示于监视器50的显示内容的控制、和基于图像信号执行向蜂鸣器40输出的声音内容的控制的装置。

图像处理部311接受相机20所拍摄的图像信号。图像信号经由输入输出装置33向图像处理部311输入，并实施规定的图像处理(例如分辨率变换、画质调整等)，再将图像处理过的图像信号存储于规定的存储装置。在图像识别部312中，由图像处理部311图像处理过的图像信号被输入，并判断在相机20所拍摄的图像中是否包含可能使轮胎6破损的应该留意的岩石等，并基于判断的结果，决定从蜂鸣器40或监视器50输出的信息。

相机20具有取得拍摄区域401的动画数据的视频拍摄功能。由相机20取得的图像数据(动画数据)向输入输出装置33输入。

作为声音输出装置的蜂鸣器40根据从输入输出装置33输出的控制信号输出信息。蜂鸣器40发出例如驾驶室3内的操作人员能够听到的警报音。需要注意的是，可以代替蜂鸣器40使用扬声器，也可以变为警报音作为来自扬声器的信息将声音输出。

监视器50是液晶显示器、有机电致发光显示器等显示装置，并根据从输入输出装置33输出的图像信号，显示例如驾驶室3内的操作人员能够视觉确认的图像(动画或者静止图像)。需要注意的是，监视器50可以使用能够在驾驶室3的挡风玻璃显示图像或信息的抬头显示器之类的显示装置。监视器50可以为单一的显示装置，也可以由多个显示装置构成。另外，显示装置和声音输出装置可以为一体。例如可以将液晶显示器和扬声器一体化而使用。

需要注意的是，如图1所示，监视器50配置于车辆主体2的驾驶室3。监视器50例如实时地显示由相机20取得的动画数据，或显示对应于图像识别部312的判断结果的信息。驾驶室3的操作人员虽然能够经由挡风玻璃53，视觉确认铲斗12、小臂11以及铲斗油缸14等，但很难视觉确认路面RS的状况。特别是，很难直接目视前轮胎6F的前方的路面RS的状况。另外，在使铲斗12接地的状态下，驾驶室3的操作人员也很难视觉确认位于铲斗12的下面的路面RS的状况或铲斗12的前方的路面RS的状况。不管哪种情况，前轮胎6的前方的状况越靠近前轮胎6越难以视觉确认。另一方面，在监视器50实时显示由相机20取得的动画数据的情况下，驾驶室3的操作人员能够观察设置于驾驶室3的监视器50，视觉确认例如铲斗12和前轮胎6F之间的路面RS(区域401)的状况。

[路面状况监视系统的动作]

接着，参照图9，对图8所示的路面状况监视系统100的动作例进行说明。计算机30以规定的周期重复执行图9所示的处理。在图9所示的处理开始时，输入输出装置33取得一帧或多帧量的相机20输出的图像信号，并存储于规定的存储装置(步骤S11)。需要注意的是，在步骤S11中输入输出装置33可以例如根据来自图像识别部312的指示，进行将从相机20输入的图像信号直接向监视器50输出的处理。在该情况下，对应于来自图像识别部312的指示，能够在监视器50实时地显示相机20拍摄的图像。

接着，图像处理部311输入在步骤S11存储于规定的存储装置的图像信号，并进行规定的图像处理后，再次存储于规定的存储装置(步骤S12)。

接着，图像识别部312对存储于规定的存储装置的一帧或多帧的图像信号执行图像识别处理，并判断在区域401是否包含可能给轮胎6带来损伤的应该留意的岩石202(步骤S13)。在步骤S13中图像识别部312判断为包含应该留意的岩石202的情况下(在步骤S13为“YES”的情况)，向输入输出装置33输出表示判断结果的信息(警报音)从蜂鸣器40发出、或在监视器50显示表示判断结果的信息(警报图像)的指示(步骤S14)，谋求提醒操作人员注意，并结束图9所示的处理。另一方面，在步骤S13中图像识别部312判断为不包含应该留意的岩石202的情况下(在步骤S13为“NO”的情形)，结束图9所示的处理。

在此，对步骤S13中的判断处理(图像识别处理)的一例进行说明。在图像识别部312中判断处理可以为如下处理：使用存储于存储装置32的学习完成模型321，判断作为判断的对象的图像信号归类于包含应该留意的岩石的图像或不包含应该留意的岩石的图像的哪一个。学习完成模型321是以例如CNN(Convolution Neural Network：卷积神经网络)等神经网络为要素的学习完成模型，通过机器学习使神经网络的各层的神经元间的加权因子最优化，以使输出针对输入的大量的数据求出的解。学习完成模型321例如由进行从输入到输出的运算的程序和用于该运算的加权因子(参数)的组合构成。

[学习完成模型的生成]

需要注意的是，学习完成模型321例如能够按如下方法生成。即，例如，如图10所示，准备包含岩山201和应该留意的岩石202的多个图像数据301、不包含应该留意的岩石202但包含岩山201的多个图像数据302、和既不包含岩山201也不包含应该留意的岩石202的多个图像数据303。并且，将多个图像数据301定义为包含应该留意的岩石202和岩山201的数据。另外将多个图像数据302定义为不包含应该留意的岩石202但包含岩山201的数据。另外将多个图像数据303定义为既不包含应该留意的岩石202也不包含岩山201的数据。并且准备定义后的多个图像数据301、多个图像数据302以及多个图像数据303作为学习用数据组310。在学习用数据组310中，如上所述地，对各图像数据作为附带信息都关联了有无应该留意的岩石202的分类(标签)。使用学习用数据组310，并通过监督学习的机器学习来生成学习完成模型321。在图10所示的示例中，图像数据311～313均是包含轮胎6(块状花纹6P)的一部分的图像。在该情况下，当与不包含轮胎6(块状花纹6P)的一部分的情况比较时，认为以轮胎6(块状花纹6P)为基准岩石202的大小或朝向变得易于掌握，从而能够提高学习精度。需要注意的是，学习用数据组310中所包含的图像数据的起初的分类(标签)可以基于后述的条件通过例如手工作业进行，或通过图案匹配等图像识别处理进行。

需要注意的是，应该留意的岩石202可以定义为例如是一定大小以上的岩石或边缘角度锋利的岩石，且从相对于轮胎6的相对位置和相对朝向的角度来看，假定为在朝向该岩石行驶的情况下轮胎6破损的可能性高的情形。另外，应该留意的岩石202可以定义为是一定大小以上的岩石或边缘角度锋利的岩石，且岩石202的存在位置不存在于岩山201的斜面上的情形(或者存在于平面上的情形)。

对于小于一定大小的岩石，由于轮胎6的柔软性能够避免损伤的可能性高从而不是应该留意的岩石，但对于一定大小以上的岩石在越过岩石时由于轮式装载机1的重量产生损伤的可能性高。另外，对于圆形状的岩石考虑使轮胎6破损的可能性时，圆形状的岩石刺入轮胎6或切断轮胎6的可能性低，从而不是应该留意的岩石。

岩山201是多个岩石或砂土等堆积后的物体，是工作装置10作为作业对象的区域，因此通常轮胎6不会踏入。因此，位于岩山201的斜面上的岩石不会滚落到路面RS因此可以从应该留意的岩石202中排除。但是，“岩山”只是“作业车辆的轮胎不会踏入的区域”的一个方式。例如“已经装进自动倾卸车的岩石”等也可以与“岩山”等同地定义为“作业车辆的轮胎不会踏入的区域”。将不存在于岩山201的斜面上设为判断为应该留意的岩石202的条件。通过这样做，例如在岩石散落于整个矿山的情况下，能够避免将那些岩石判断为应该留意的岩石202，其结果是，能够抑制发出不必要的警报。

如上所述，在通过机器学习来建构学习完成模型321时使用的学习用数据组310中，通过使与岩石(监视对象)的大小或岩石的形状(边缘角度锋利的形状)相关的条件包含于对是否为包含应该留意的岩石202的图像数据进行定义的信息中，图像识别部312(损伤判断部)能够将相机20拍摄到的图像所包含的与岩石(监视对象)的形状或大小相关的信息作为判断的要素。

另外，针对通过机器学习来建构学习完成模型321时使用的数据组，通过使与岩石(监视对象)相对于轮胎6的监视对象的信息(相对位置和相对朝向、或者是否位于岩山201的斜面上的位置)相关的条件包含于对是否为包含应该留意的岩石202的图像数据进行定义的信息中，图像识别部312(损伤判断部)能够将相机20拍摄的图像所包含的岩石(监视对象)相对于轮胎6的相对位置和相对朝向、和是否位于斜面上的相关信息作为判断的要素。

另外，通过在通过机器学习来建构学习完成模型321时使用的数据组中，预先包含轮胎6(块状花纹6P)的一部分，图像识别部312(损伤判断部)能够将轮胎6的块状花纹6P的形状或块状花纹6P的大小相关的轮胎信息作为判断的要素。

需要注意的是，关于学习用数据组310，优选预先准备夜间时的学习用数据组310，以使即使取得岩石被在夜间作业时搭载于作业车辆的灯的光源照亮的图像也能够进行判断处理。在该情况下，即使在夜间作业本系统也能够有效地发挥功能。另外，夜间时的学习用数据组310可以以如下图像为基准而制作：以在白天取得的图像为基准进行色调补正等图像处理从而再现夜间时的观察方式的图像。

另外，在轮胎的材料特性上，在雨天时比在晴天时轮胎更易受损伤。例如，准备雨天时的学习用数据组310的第一学习完成模型321、和雨天时以外的学习用数据组310的第二学习完成模型321，在雨天时(例如雨滴传感器)，可以从第二学习完成模型321向第一学习完成模型321切换。可以是，例如将雨滴传感器设置于驾驶室3的外部，在雨滴传感器检测到降雨的情况下，将检测信号向计算机30输出，输入输出装置33根据检测信号的输入将第二学习完成模型向第一学习完成模型切换。

另外，成为学习用数据组310的图像可以使用计算机图像制作用的软件等人工制作。另外，可以在成为学习用数据组310的图像中不拍入轮胎。

需要注意的是，作为图像识别技术，除了CNN等学习完成模型以外，还可以使用图案匹配等任意的图像识别技术。另外，在学习用数据组中，可以使用例如使用ACGAN(Auxiliary Classifier Generative Adversarial Network：辅助分类器生成对抗网络)等图像生成技术而生成的图像。

[相机的拍摄图像]

图11A以及图11B是示出本实施方式的相机20的拍摄图像的示例的示意图。图11A所示的图像501包含由点划线框包围示出的岩山201和由虚线框包围示出的1个岩石202。该拍摄图像的示例所示出的岩山202是对轮胎6的破损而言应该留意的岩石且是存在于平面(路面RS)的岩石。图像识别部312通过将图像501(图像处理后)输入学习完成模型321，而能够使用学习完成模型321，得到是包含应该留意的岩石202的图像的判断结果。另外，图11B所示的图像502包含由点划线框包围示出的岩山201和由虚线框包围示出的4个岩石202。该拍摄图像的示例所示出的岩石202是对轮胎6的破损而言应该留意的岩石且是存在于平面(路面RS)的岩石。图像识别部312通过将图像502(图像处理后)输入学习完成模型321，而能够使用学习完成模型321，得到是包含应该留意的岩石202的图像的判断结果。

[路面状况监视系统的作用效果]

如上所述，路面状况监视系统100作为将拍入到车载相机20的图像向计算机30的输入，能够通过图像识别技术识别监视对象是否为应该留意的岩石。在本实施方式中所谓的应该留意的岩石可以设为一定大小以上的岩石、边缘角度锋利的岩石、不存在于岩山斜面上而存在于平面上的岩石等。根据本实施方式，只要为应该留意的岩石，蜂鸣器40发出警报，并在监视器50显示警告，从而能够谋求提醒操作人员注意。在操作人员接收到注意提醒的情况下，观察在监视器50显示的动画数据，从而能够采取用于抑制前轮胎6F的破损的措施。操作人员根据接收到的注意提醒，观察在监视器50显示的动画数据，从而确认岩石202滚落到前轮胎6F的前方这一情况，从而能够采取操作制动器使轮式装载机1停止，或操作转向机构使轮式装载机1的行进方向改变等用于抑制前轮胎6F破损的措施以使前轮胎6F不越过该应该留意的岩石202。

根据本实施方式，操作人员无需一直或者频繁地观察监视器50，只要仅在应该留意的岩石202存在于轮胎6附近时观察监视器50，就可以进行可靠地避免轮胎6的破损的操作。即，根据本实施方式，操作人员通常能够不集中于相机20的映像而执行挖掘作业等，能够仅在应该留意的岩石202靠近轮胎6时，慎重地执行行驶操作，采取用于避免轮胎破损的必要措施。根据本实施方式，操作人员能够无需一直或者频繁地观察监视器50就能够监视路面状况，提高作业性或生产率。

[路面状况监视系统的基本的结构例]

接着，参照图12，对包含上述的实施方式的实施方式的基本的结构例进行说明。图12是示出包含上述实施方式的实施方式的基本结构例的框图。需要注意的是，对与图1～图11A以及图11B所示的结构相同或对应的结构适当使用相同的附图标记。以下，对包含上述实施方式的变形例的实施方式的基本结构例进行说明。

图12所示的路面状况监视系统600作为例如使用计算机和其周边装置等硬件和程序等软件而构成的功能性结构要素，具备路面状况取得部601、存储部602、损伤判断部603、输出部604。另外，存储部602存储基准信息605。

对于在包含通过安装有轮胎6的作业车辆1的行驶机构4d的驱动而作业车辆1行进的方向的路面RS的范围内存在的监视对象200，路面状况取得部601取得与监视对象200的至少形状或大小相关的监视对象信息。作业车辆1可以为轮式装载机、平地机、自动倾卸车等轮胎类作业车辆。需要注意的是，监视对象信息还可以包含与监视对象相对于轮胎6的相对位置和相对朝向相关的信息。监视对象信息还可以包含与监视对象相对于轮胎6的存在位置相关的信息。路面状况取得部601可以为相机(单目、立体、红外线)、雷达扫描仪等。监视对象例如为岩(岩石)。但是，成为轮胎破损的原因的路面的孔洞也可以为监视对象。另外，在轮式装载机在工业废物处理厂工作的情况下，有时作为监视对象为锐利的金属物。当然那样的金属物也可能导致轮胎破损。而且，路面不限于土的路面也可以为由沥青和混凝土所铺装的路面。

存储部602保存用于进行判断轮胎6是否具有会受到损伤的可能性的基准信息605。对于基准信息605，如果通过人工智能(AI)进行判断则为学习完成模型、如果通过图像处理(图案匹配)进行判断则为图案数据、如果为雷达扫描仪则为波形数据等。

在通过行驶机构4的驱动而轮胎6与监视对象200接触的情况下，损伤判断部603基于路面状况取得部601取得的监视对象信息和存储部602存储的基准信息判断轮胎6是否会受到损伤。需要注意的是，损伤判断部603也可以使用与轮胎的块状花纹的形状或块状花纹的大小相关的轮胎信息进行关于轮胎是否会受到损伤的判断。损伤判断部603通过基于人工智能(AI)的判断、基于图像处理的图案匹配的判断、基于分析雷达扫描仪的接收信号的判断等任一种进行判断。

并且，输出部604输出损伤判断部603判断的结果。需要注意的是，在轮胎6为多个的情况下，输出部604可以使表示哪一个轮胎6是否会受到损伤的信息也包含于损伤判断部603判断的结果中而输出。在该情况下，路面状况取得部601可以具备与轮胎6的数量对应的个数。输出部604可以为驾驶室(驾驶舱)内的扬声器的声音输出、向监视器的图像输出、向抬头显示器的输出、基于操作杆的振动的输出等。

在作业车辆1的远程操作中，可以将损伤判断部603判断的结果向离开作业车辆1的场所输出。输出部604输出的结果可以为表示不会由物体给轮胎造成损伤的结果。即，输出部604不仅可以输出在路面RS有物体还可以输出在路面RS没有物体(没有可能使轮胎破损的锋利的岩石或者孔洞或者金属物)，输出部604输出“路面状况监视”的结果。

根据图12所示的路面状况监视系统600，操作人员能够无需一直或者频繁地观察监视器就能够监视路面状况。

需要注意的是，输出部604可以输出用于进行作业车辆1的制动控制的信号。在损伤判断部603判断为监视对象可能使轮胎6破损的情况下，基于从输出部604向制动装置发送的信号自动使作业车辆1制动动作。

另外，输出部604可以输出用于进行作业车辆1的转向控制的信号。在损伤判断部603判断为监视对象可能使轮胎6破损的情况下，基于从输出部604向执行器发送的信号，执行器控制转向。能够控制作业车辆1的转向，使作业车辆向避免轮胎6的破损的方向自动回转动作。

另外，输出部604可以输出用于控制作业车辆1的发动机转速的信号。在损伤判断部603判断为监视对象可能使轮胎6破损的情况下，从输出部604输出指示使发动机转速下降的信号。该信号向执行发动机控制的控制器发送，控制器使发动机的输出下降，使作业车辆1的速度下降。

另外，输出部604可以输出用于控制作业车辆1的铲斗姿势的信号。在损伤判断部603判断为监视对象可能使轮胎6破损的情况下，基于从输出部604向控制工作装置12的动作的液压阀发送的信号，液压阀自动地使作业车辆1的铲斗下降等从而能够避免监视对象和轮胎6的接触。

需要注意的是，路面状况监视系统600的所有结构可以设置于作业车辆1，但例如在作业车辆1具备能够远程操作的设备，并对作业车辆1进行远程操作的情况下，可以远程设置构成路面状况监视系统600中除了路面状况取得部601以外的输出部604等一部分的结构(例如与输出部604连接的显示装置或声音输出装置)。例如输出部6包含位于远程的显示装置(未图示)。使从输出部6输出的信息经由无线通信等向远程的显示装置(未图示)发送，并在显示装置显示或者输出与关于应该留意的监视对象的注意提醒相关的信息(警报)。在执行远程操作的操作人员识别显示装置的显示或者输出，并确认了监视对象的情况下，通过远程操作执行作业车辆1的转向操作或制动操作，以使作业车辆1的轮胎6与监视对象不接触。

需要注意的是，设置车速传感器，从车速传感器接受表示作业车辆的车辆速度的信号的输出部604可以根据车辆速度切换注意提醒的信息。例如，可以是，在作业车辆以比规定的速度更快的高速行驶时，输出部604可以输出高警报水平的警告等，在作业车辆1以比规定的速度更低的低速行驶时，输出部604输出低水平的警告等。

需要注意的是，参照图1以及图8等所说明了的实施方式的结构、和图12所示的结构的对应关系如下。图1以及图8所示的路面状况监视系统100、和图12所示的路面状况监视系统600对应。图8所示的相机20和输入输出装置33的一部分的组合与图12所示的路面状况取得部601对应。图8所示的图像识别部312与图12所示的损伤判断部603对应。图8所示的存储装置32与图12所示的存储部602对应。图8所示的学习完成模型321与图12所示的基准信息605对应。图8所示的输入输出装置33的一部分、蜂鸣器40和监视器50的组合与图12所示的输出部604对应。图1所示的应该留意的岩石202与图12所示的监视对象200对应。

以上，参照附图对本发明的实施方式作了说明，但具体的结构不限于上述实施方式，还包含不脱离本发明的主旨的范围的设计变更等。

另外，在上述实施方式中计算机执行的程序的一部分或全部能够经由计算机可读记录介质和通信线路分发。

【工业上的利用可能性】

根据本发明的上述公开，操作人员能够容易地监视路面状况。

附图标记说明

1：轮式装载机(作业车辆)；

2：车辆主体；

3：驾驶室；

4：行驶机构；

5：车轮；

6：轮胎；

7：动力传递机构；

10：工作装置；

11：小臂；

12：铲斗(挖掘部件)；

12B：铲尖；

13：提升油缸(液压油缸)；

14：铲斗油缸(液压油缸)；

15：曲拐；

16：连杆；

20：相机；

30：计算机；

31：处理装置；

311：图像处理部；

312：图像识别部；

32：存储装置

321：学习完成模型；

33：输入输出装置；

40：蜂鸣器；

50：监视器；

RS：路面；

200：监视对象；

100、600：路面状况监视系统；

601：路面状况取得部；

602：存储部；

603：损伤判断部；

604：输出部；

605：基准信息。

Claims (7)

1.一种路面状况监视系统，其具备：

路面状况取得部，对于在包含通过安装有轮胎的作业车辆的行驶机构的驱动而作业车辆行进的方向的路面的范围内存在的监视对象，所述路面状况取得部取得与所述监视对象的至少形状或大小相关的监视对象信息；

存储部，所述存储部保存用于判断所述轮胎是否会受到损伤的基准信息；

损伤判断部，在通过所述行驶机构的驱动而所述轮胎与所述监视对象接触的情况下，所述损伤判断部基于所述监视对象信息和所述基准信息判断所述轮胎是否会受到损伤；

输出部，所述输出部输出所述损伤判断部判断的结果。

2.如权利要求1所述的路面状况监视系统，其中，

所述监视对象信息还包含与所述监视对象相对于所述轮胎的相对位置和相对朝向相关的信息。

3.如权利要求1或2所述的路面状况监视系统，其中，

所述损伤判断部还使用与所述轮胎的块状花纹的形状或所述块状花纹的大小相关的轮胎信息判断所述轮胎是否会受到损伤。

4.如权利要求1至3任一项所述的路面状况监视系统，其中，

所述轮胎为多个，

所述输出部输出的所述结果还包含表示哪一个所述轮胎是否会受到损伤的信息。

5.一种作业车辆，其具备：

行驶机构；

轮胎，其安装于所述行驶机构；

路面状况取得部，对于在包含通过所述行驶机构的驱动而所述作业车辆行进的方向的路面的范围内存在的监视对象，所述路面状况取得部取得与所述监视对象的至少形状或大小相关的监视对象信息；

存储部，所述存储部保存用于判断所述轮胎是否会受到损伤的基准信息；

损伤判断部，在通过所述行驶机构的驱动而所述轮胎与所述监视对象接触的情况下，所述损伤判断部基于所述监视对象信息和所述基准信息判断所述轮胎是否会受到损伤；

输出部，所述输出部输出所述损伤判断部判断的结果。

6.一种路面状况监视方法，其监视与安装于作业车辆的行驶机构的轮胎相接的路面的状况，所述路面状况监视方法具有：

对于包含在通过所述行驶机构的驱动而所述作业车辆行进的方向的所述路面的范围内存在的监视对象，取得与所述监视对象的至少形状或大小相关的监视对象信息的步骤；

在通过所述行驶机构的驱动而所述轮胎与所述监视对象接触的情况下，基于所述监视对象信息和用于判断所述轮胎是否会受到损伤的基准信息，判断所述轮胎是否会受到损伤的步骤；

输出所述判断的结果的步骤。

7.一种在用于监视与安装于作业车辆的行驶机构的轮胎相接的路面的状况的计算机中执行的程序，该程序执行如下步骤：

对于包含在通过所述行驶机构的驱动而所述作业车辆行进的方向的所述路面的范围内存在的监视对象，取得与所述监视对象的至少形状或大小相关的监视对象信息的步骤；

在通过所述行驶机构的驱动而所述轮胎与所述监视对象接触的情况下，基于所述监视对象信息和用于判断所述轮胎是否会受到损伤的基准信息，判断所述轮胎是否会受到损伤的步骤；

输出所述判断的结果的步骤。

Images