CN114341439A - 施工机械、施工机械的管理系统、机器学习装置及施工机械的作业现场的管理系统 - Google Patents

Abstract

本发明的实施方式所涉及的施工机械具备：行走致动器；附件用致动器；存储装置；信息获取装置；及控制装置，所述控制装置在根据由所述信息获取装置获取的信息和存储在所述存储装置中的数据库中的信息，满足与下一个动作有关的条件的情况下，允许下一个动作。

Description

施工机械、施工机械的管理系统、机器学习装置及施工机械的 作业现场的管理系统

技术领域

本发明涉及一种施工机械、施工机械的管理系统、机器学习装置及施工机械的作业现场的管理系统。

背景技术

以往，已知有一种挖土机，其构成为根据安装在上部回转体上的摄像机所获取的图像，能够检测在周围存在的人(例如，参考专利文献1)。

以往技术文献

专利文献

专利文献1：日本特开2014-183500号公报

发明内容

发明要解决的技术课题

然而，上述挖土机能够检测进入设定在挖土机的周围的规定范围内的人，但无法预先防止发生危险状况。

因此，希望提供能够预先防止发生危险状况的施工机械。

用于解决技术课题的手段

本发明的实施方式所涉及的施工机械具备：行走致动器；附件用致动器；存储装置；信息获取装置；及控制装置，所述控制装置在根据由所述信息获取装置获取的信息和存储在所述存储装置中的数据库中的信息，满足与下一个动作有关的条件的情况下，允许下一个动作。

发明效果

上述施工机械能够预先防止发生危险状况。

附图说明

图1是一实施方式的挖土机的侧视图。

图2是图1的挖土机的俯视图。

图3是表示搭载于图1的挖土机的基本系统的结构例的图。

图4是表示危险判定部与危险信息数据库的关系的一例的示意图。

图5是表示输入图像的显示例的图。

图6是表示输入图像的另一显示例的图。

图7是表示学习模型的一例的示意图。

图8是表示学习模型的另一例的示意图。

具体实施方式

首先，参考图1～图3对作为本发明的实施方式所涉及的挖掘机的挖土机100进行说明。图1是挖土机100的侧视图。图2是挖土机100的俯视图。图3示出搭载于图1的挖土机100的基本系统的结构例。

在本实施方式中，挖土机100的下部行走体1包括履带1C。履带1C由搭载于下部行走体1的作为行走致动器的行走液压马达2M驱动。具体而言，如图2所示，履带1C包括左履带1CL及右履带1CR，行走液压马达2M包括左行走液压马达2ML及右行走液压马达2MR。左履带1CL由左行走液压马达2ML驱动，右履带1CR由右行走液压马达2MR驱动。

下部行走体1上经由回转机构2可回转地搭载有上部回转体3。回转机构2由搭载于上部回转体3的作为回转致动器的回转液压马达2A驱动。但是，回转致动器也可以是作为电动致动器的回转电动发电机。

上部回转体3上安装有动臂4。动臂4的前端安装有斗杆5，斗杆5的前端安装有作为端接附件的铲斗6。动臂4、斗杆5及铲斗6构成作为附件的一例的挖掘附件AT。附件由附件用致动器驱动。例如，动臂4由动臂缸7驱动，斗杆5由斗杆缸8驱动，铲斗6由铲斗缸9驱动。

动臂4相对于上部回转体3以可上下转动的方式被支承。并且，动臂4上安装有动臂角度传感器S1。动臂角度传感器S1能够检测作为动臂4的转动角度的动臂角度θ1。动臂角度θ1例如为自将动臂4降低到最低位置的状态起的上升角度。因此，动臂角度θ1在将动臂4提升到最高位置时成为最大。

斗杆5相对于动臂4以可转动的方式被支承。并且，斗杆5上安装有斗杆角度传感器S2。斗杆角度传感器S2能够检测作为斗杆5的转动角度的斗杆角度θ2。斗杆角度θ2例如为自最大限度地闭合斗杆5的状态起的打开角度。因此，斗杆角度θ2在最大限度地打开斗杆5时成为最大。

铲斗6相对于斗杆5以可转动的方式被支承。并且，铲斗6上安装有铲斗角度传感器S3。铲斗角度传感器S3能够检测作为铲斗6的转动角度的铲斗角度θ3。铲斗角度θ3为自最大限度地闭合铲斗6的状态起的打开角度。因此，铲斗角度θ3在最大限度地打开铲斗6时成为最大。

在图1的实施方式中，动臂角度传感器S1、斗杆角度传感器S2及铲斗角度传感器S3分别由加速度传感器和陀螺仪传感器的组合构成。但是，也可以仅由加速度传感器构成。并且，动臂角度传感器S1可以是安装在动臂缸7上的行程传感器，也可以是旋转编码器、电位差计或惯性测量装置等。这也同样地适用于斗杆角度传感器S2及铲斗角度传感器S3。

上部回转体3上设置有作为驾驶室的驾驶舱10，且搭载有发动机11等动力源。并且，上部回转体3上安装有空间识别装置70、朝向检测装置71、定位装置73、机身倾斜传感器S4及回转角速度传感器S5等。驾驶舱10的内部设置有操作装置26、操作压力传感器29、控制器30、信息输入装置72、显示装置D1及声音输出装置D2等。另外，在本说明书中，为了方便，将上部回转体3中安装有挖掘附件AT的一侧(+X侧)设为前侧，将安装有配重的一侧设为(-X侧)后侧。

操作装置26是操作者为了操作致动器而使用的装置。操作装置26例如包括操作杆及操作踏板。致动器包括液压致动器及电动致动器中的至少一个。在本实施方式中，如图3所示，操作装置26构成为能够经由先导管路向控制阀17内的对应的控制阀的先导端口供给先导泵15吐出的工作油。向各先导端口供给的工作油的压力(先导压)为对应于与各液压致动器对应的操作装置26的操作方向及操作量的压力。但是，操作装置26也可以是电动控制式，而不是这种先导压式。此时，控制阀17内的控制阀可以是电磁螺线管式滑阀。

具体而言，如图2所示，操作装置26包括左操作杆及右操作杆。左操作杆用于回转操作及斗杆5的操作。右操作杆用于动臂4的操作及铲斗6的操作。

操作压力传感器29构成为能够检测操作者对操作装置26进行的操作的内容。在本实施方式中，操作压力传感器29以压力(操作压力)的形式检测与各致动器对应的操作装置26的操作方向及操作量，并对控制器30输出检测出的值。操作装置26的操作内容也可以使用操作压力传感器以外的其他传感器来检测。

具体而言，操作压力传感器29包括左操作压力传感器及右操作压力传感器。左操作压力传感器以压力的形式分别检测操作者对左操作杆进行的向前后方向的操作的内容及操作者对左操作杆进行的向左右方向的操作的内容，并将所检测到的值输出到控制器30。操作内容例如为杆操作方向及杆操作量(杆操作角度)等。这也同样地适用于右操作杆。

空间识别装置70构成为，获取与挖土机100周围的三维空间相关的信息。并且，空间识别装置70可以构成为，计算从空间识别装置70或挖土机100到由空间识别装置70识别的物体为止的距离。空间识别装置70例如是超声波传感器、毫米波雷达、单眼摄像机、立体摄像机、LIDAR、距离图像传感器或红外线传感器等。在本实施方式中，空间识别装置70包括安装在驾驶舱10的上表面前端的前置摄像机70F、安装在上部回转体3的上表面后端的后置摄像机70B、安装在上部回转体3的上表面左端的左侧摄像机70L及安装在上部回转体3的上表面右端的右侧摄像机70R。也可以省略前置摄像机70F。

空间识别装置70例如是具有CCD或CMOS等成像元件的单眼摄像机，将拍摄到的图像输出到显示装置D1。空间识别装置70不仅利用所拍摄的图像，在作为空间识别装置70利用LIDAR、毫米波雷达、超声波传感器或激光雷达等的情况下，也可以通过向物体发送多个信号(激光等)，并接收其反射信号，从而根据反射信号检测物体的距离及方向。

空间识别装置70也可以构成为检测存在于挖土机100周围的物体。物体例如是地形形状(倾斜或洞等)、电线、电线杆、人、动物、车辆、施工机械、建筑物、壁、头盔、安全马甲、作业服或头盔中的规定标记等。空间识别装置70也可以构成为，能够辨认物体的种类、位置及形状等中的至少一个。空间识别装置70也可以构成为能够区分人与人以外的物体。

并且，空间识别装置70也可以与挖土机100相独立。并且，控制器30也可以经由通信装置获取由空间识别装置70输出的挖土机100周围的作业现场的摄像图像。具体而言，空间识别装置70也可以安装在航拍用多轴飞行器、设置于作业现场的铁塔、电线杆等，根据从上方观察作业现场的摄像图像来获取作业现场的信息。

朝向检测装置71构成为检测与上部回转体3的朝向和下部行走体1的朝向之间的相对关系相关的信息。朝向检测装置71例如可以由安装在下部行走体1上的地磁传感器和安装在上部回转体3上的地磁传感器的组合构成。或者，朝向检测装置71可以由安装在下部行走体1上的GNSS接收机和安装在上部回转体3上的GNSS接收机的组合构成。朝向检测装置71也可以是旋转编码器或旋转位置传感器等。在通过回转电动发电机回转驱动上部回转体3的结构中，朝向检测装置71也可以由分解器构成。朝向检测装置71例如也可以安装在和实现下部行走体1与上部回转体3之间的相对旋转的回转机构2相关联地设置的中心接头部上。

朝向检测装置71也可以由安装在上部回转体3上的摄像机构成。此时，朝向检测装置71通过对安装在上部回转体3上的摄像机获取到的图像(输入图像)实施已知的图像处理来检测输入图像中所包括的下部行走体1的图像。并且，朝向检测装置71通过使用已知的图像识别技术来检测下部行走体1的图像，确定下部行走体1的长度方向。并且，朝向检测装置71导出形成在上部回转体3的前后轴的方向与下部行走体1的长度方向之间的角度。从输入图像导出上部回转体3的前后轴的方向。这是因为，已知摄像机的光轴的方向与上部回转体3的前后轴的方向的关系。履带1C从上部回转体3突出，因此朝向检测装置71能够通过检测履带1C的图像来确定下部行走体1的长度方向。朝向检测装置71可以合并到控制器30中。

信息输入装置72构成为，挖土机100的操作者能够对控制器30输入信息。在本实施方式中，信息输入装置72为设置在显示装置D1的图像显示部41的附近的开关面板。但是，信息输入装置72可以是配置在显示装置D1的图像显示部41上的触摸面板，也可以是设置在操作杆的前端的控制盘或十字按钮等，也可以是配置在驾驶舱10内的麦克风等语音输入装置。并且，信息输入装置72也可以是通信装置。此时，操作者能够经由智能手机等通信终端向控制器30输入信息。

定位装置73构成为测定当前位置。在本实施方式中，定位装置73为GNSS接收机，其检测上部回转体3的位置，并对控制器30输出检测值。定位装置73也可以是GNSS罗盘。此时，定位装置73能够检测上部回转体3的位置及朝向。

机身倾斜传感器S4检测上部回转体3相对于规定平面的倾斜度。在本实施方式中，机身倾斜传感器S4为检测上部回转体3相对于水平面绕前后轴的倾斜角(滚转角)及绕左右轴的倾斜角(倾角)的加速度传感器。上部回转体3的前后轴及左右轴分别通过例如作为挖土机100的回转轴上的一点的挖土机中心点，且彼此正交。

回转角速度传感器S5检测上部回转体3的回转角速度。在本实施方式中，其为陀螺仪传感器。回转角速度传感器S5也可以是分解器、旋转编码器等。回转角速度传感器S5也可以检测回转速度。回转速度可以由回转角速度计算。

以下，将动臂角度传感器S1、斗杆角度传感器S2、铲斗角度传感器S3、机身倾斜传感器S4及回转角速度传感器S5中的至少一个还称为姿势检测装置。挖掘附件AT的姿势例如根据动臂角度传感器S1、斗杆角度传感器S2及铲斗角度传感器S3各自的输出来检测。状态量获取部包括姿势检测装置、定位装置73、机身倾斜传感器S4、回转角速度传感器S5、朝向检测装置71、操作压力传感器29、吐出压力传感器14b等传感器。

显示装置D1是通知装置的一例，且构成为能够显示各种信息。在本实施方式中，显示装置D1为设置在驾驶舱10内的液晶显示器。但是，显示装置D1也可以是智能手机等通信终端的显示器。

声音输出装置D2是通知装置的另一例，且构成为能够输出声音。声音输出装置D2包括向驾驶舱10内的操作者输出声音的装置及向驾驶舱10外的作业人员输出声音的装置中的至少一个。声音输出装置D2也可以是附属于通信终端的扬声器。

控制器30为用于控制挖土机100的控制装置。在本实施方式中，控制器30由具备CPU、易失性存储装置VM(参考图3)及非易失性存储装置NM(参考图3)等的计算机构成。并且，控制器30从非易失性存储装置NM读取与各功能对应的程序并将其加载到易失性存储装置VM中，并使CPU执行对应的处理。各功能例如包括引导(guide)操作者进行的挖土机100的手动操作的设备引导功能及支援操作者进行的挖土机100的手动操作或使挖土机100自动或自主地动作的设备控制功能。

接着，参考图3对搭载于图1的挖土机100的基本系统进行说明。在图3中，机械动力传递管路用双重线表示，工作油管路用粗实线表示，先导管路用虚线表示，电力管路用细实线表示，电气控制管路用单点划线表示。

基本系统主要包括发动机11、主泵14、先导泵15、控制阀17、操作装置26、操作压力传感器29、控制器30、比例阀31、往复阀32、比例阀33、切换阀35、发动机控制装置74、发动机转速调整控制盘75、蓄电池80、显示装置D1、声音输出装置D2及信息获取装置E1等。

发动机11是采用了不管负载的增减如何都恒定地维持发动机转速的同步控制的柴油发动机。发动机11中的燃料喷射量、燃料喷射定时、增压压力等由发动机控制装置74控制。

发动机11的旋转轴与作为液压泵的主泵14及先导泵15各自的旋转轴连结。主泵14经由工作油管路与控制阀17连接。先导泵15经由先导管路与操作装置26连接。但是，也可以省略先导泵15。此时，先导泵15所担负的功能可以通过主泵14来实现。即，除向控制阀17供给工作油的功能以外，主泵14还可以具备在通过节流器等降低工作油的压力之后向操作装置26等供给工作油的功能。

控制阀17是进行挖土机100的液压系统的控制的液压控制装置。控制阀17与左行走液压马达2ML、右行走液压马达2MR、动臂缸7、斗杆缸8、铲斗缸9及回转液压马达2A等液压致动器连接。

具体而言，控制阀17包括与各液压致动器对应的多个滑阀。各滑阀构成为能够根据先导压进行位移，以能够增减PC端口的开口面积及CT端口的开口面积。PC端口是构成连接主泵14与液压致动器的油路的一部分的端口。CT端口是构成连接液压致动器与工作油箱的油路的一部分的端口。

比例阀31包括比例阀31L、31R，作为设备控制用控制阀发挥作用。比例阀31配置在连接先导泵15和往复阀32的管路上，且构成为能够变更该管路的流路面积。在本实施方式中，比例阀31根据控制器30输出的控制指令来动作。因此，与操作者对操作装置26进行的操作无关地，控制器30能够经由比例阀31及往复阀32向控制阀17内的对应的控制阀的先导端口供给先导泵15吐出的工作油。

往复阀32包括往复阀32L、32R，并具有两个引入端口和一个排出端口。两个引入端口中的一个与操作装置26连接，另一个与比例阀31连接。排出端口与控制阀17内的对应的控制阀的先导端口连接。因此，往复阀32能够使操作装置26生成的先导压和比例阀31生成的先导压中更高的先导压作用于对应的控制阀的先导端口。

比例阀33包括比例阀33L、33R，与比例阀31同样地，作为设备控制用控制阀发挥作用。比例阀33配置在连接操作装置26和往复阀32的管路上，且构成为能够变更该管路的流路面积。在本实施方式中，比例阀33根据控制器30输出的控制指令来动作。因此，与操作者对操作装置26进行的操作无关地，控制器30能够在对操作装置26吐出的工作油的压力进行减压的基础上，经由往复阀32向控制阀17内的对应的控制阀的先导端口供给。

通过该结构，即使在未进行针对特定的操作装置26的操作的情况下，控制器30也能够使与该特定的操作装置26对应的液压致动器动作。并且，即使在正在进行针对特定的操作装置26的操作的情况下，控制器30也能够强制停止与该特定的操作装置26对应的液压致动器的动作。

切换阀35构成为，能够切换操作装置26的有效状态和无效状态。操作装置26的有效状态是操作者能够使用操作装置26操作液压致动器的状态。操作装置26的无效状态是操作者无法使用操作装置26操作液压致动器的状态。在本实施方式中，切换阀35是构成为根据来自控制器30的指令进行动作的作为电磁阀的门锁阀。具体而言，切换阀35配置在连接先导泵15与操作装置26的先导管路中，且构成为能够根据来自控制器30的指令来切换先导管路的切断/开通。操作装置26例如在未图示的门锁杆被提起而门锁阀被打开时成为有效状态，在门锁杆被下压而门锁阀被关闭时成为无效状态。

显示装置D1具有控制部40、图像显示部41及作为输入部的开关面板42。控制部40构成为，能够控制显示在图像显示部41上的图像。在本实施方式中，控制部40由具备CPU、易失性存储装置及非易失性存储装置等的计算机构成。此时，控制部40从非易失性存储装置NM读取与各功能要件对应的程序并将其加载到易失性存储装置VM中，并使CPU执行对应的处理。但是，各功能要件可以由硬件构成，也可以由软件和硬件的组合构成。并且，显示在图像显示部41上的图像也可以由控制器30或空间识别装置70控制。

开关面板42是包括硬件开关的面板。开关面板42也可以是触摸面板。显示装置D1从蓄电池80接收电力的供给而进行动作。蓄电池80例如由交流发电机11a产生的电力充电。蓄电池80的电力也供给到控制器30等。例如，发动机11的启动装置11b由来自蓄电池80的电力驱动，启动发动机11。

发动机控制装置74向控制器30发送冷却水温等与发动机11的状态相关的数据。主泵14的调节器14a向控制器30发送与斜板偏转角相关的数据。吐出压力传感器14b向控制器30发送与主泵14的吐出压力相关的数据。设置在工作油箱与主泵14之间的油路的油温传感器14c向控制器30发送与在该油路中流动的工作油的温度相关的数据。控制器30能够在易失性存储装置VM中累积这些数据，在必要时发送到显示装置D1。

发动机转速调整控制盘75是用于调整发动机11的转速的控制盘。发动机转速调整控制盘75向控制器30发送与发动机转速的设定状态相关的数据。发动机转速调整控制盘75构成为，能够在SP模式、H模式、A模式及IDLE模式这4个阶段切换发动机转速。SP模式是在想要优先作业量的情况下选择的转速模式，利用最高的发动机转速。H模式是在想要兼顾作业量和油耗率的情况下选择的转速模式，利用第二高的发动机转速。A模式是在想要优先油耗率的同时使挖土机100以低噪音运转的情况下选择的转速模式，利用第三高的发动机转速。IDLE模式是在想要使发动机11成为怠速状态的情况下选择的转速模式，利用最低的发动机转速。发动机11被控制成以与由发动机转速调整控制盘75设定的转速模式对应的发动机转速恒定。

声音输出装置D2构成为，能够唤起与挖土机100的作业相关的人的注意。声音输出装置D2例如可以由室内警报装置及室外警报装置的组合构成。室内警报装置是用于唤起位于驾驶舱10内的挖土机100的操作者的注意的装置，例如包括设置在驾驶舱10内的扬声器、振动发生装置及发光装置中的至少一个。室内警报装置也可以是作为通知装置的一例的显示装置D1。室外警报装置是用于唤起在挖土机100的周围进行作业的作业人员的注意的装置，例如包括设置在驾驶舱10外的扬声器及发光装置中的至少一个。作为室外警报装置的扬声器例如包括安装在上部回转体3的底面的行走警报器装置。并且，室外警报装置也可以是设置在上部回转体3上的发光装置。但是，也可以省略室外警报装置。声音输出装置D2例如也可以在作为物体检测装置发挥作用的空间识别装置70检测到规定物体的情况下，向与挖土机100的作业相关的人通知该内容。并且，室外警报装置也可以是位于驾驶舱10外的作业人员携带的便携式信息终端装置。便携式信息终端装置例如是智能手机、平板终端、智能手表或带扬声器的头盔等。

通知装置也可以设置在挖土机100的外部。通知装置例如也可以安装在设置于作业现场的柱或铁塔等。

在图3的例子中，控制器30构成为，接收信息获取装置E1中的至少一个输出的信号，执行各种运算，能够向比例阀31及比例阀33等中的至少一个输出控制指令。并且，控制器30构成为，接收信息获取装置E1中的至少一个输出的信号，执行各种运算，能够向显示装置D1及声音输出装置D2等中的至少一个输出控制指令。

信息获取装置E1构成为能够获取与施工相关的信息。在本实施方式中，信息获取装置E1包括动臂角度传感器S1、斗杆角度传感器S2、铲斗角度传感器S3、机身倾斜传感器S4、回转角速度传感器S5、动臂杆压力传感器、动臂缸底压力传感器、斗杆杆压力传感器、斗杆缸底压力传感器、铲斗杆压力传感器、铲斗缸底压力传感器、动臂缸行程传感器、斗杆缸行程传感器、铲斗缸行程传感器、吐出压力传感器、操作压力传感器29、空间识别装置70、朝向检测装置71、信息输入装置72、定位装置73及通信装置中的至少一个。信息获取装置E1例如获取动臂角度、斗杆角度、铲斗角度、机身倾斜角度、回转角速度、动臂杆压力、动臂缸底压力、斗杆杆压力、斗杆缸底压力、铲斗杆压力、铲斗缸底压力、动臂行程量、斗杆行程量、铲斗行程量、主泵14的吐出压力、操作装置26的操作压力、与挖土机100周围的三维空间相关的信息、与上部回转体3的朝向和下部行走体1的朝向的相对关系相关的信息、对控制器30输入的信息及与当前位置相关的信息等中的至少一个作为与挖土机100相关的信息。并且，信息获取装置E1也可以从其他施工机械或飞行器等中获得信息。飞行器例如是获取与作业现场相关的信息的多轴飞行器或飞行船等。而且，信息获取装置E1也可以获取作业环境信息。作业环境信息例如是与沙土特性、天气及高度等中的至少一个相关的信息。而且，也可以使用空间识别装置70作为信息获取装置E1之一。并且，信息获取装置E1也可以是设定在作业现场的定点的定点设置型空间识别装置70。

控制器30主要具有危险判定部30A作为功能要件。危险判定部30A可以由硬件构成，也可以由软件构成。具体而言，危险判定部30A构成为，根据信息获取装置E1所获取的信息(输出数据)和存储在危险信息数据库DB中的信息，能够判定是否发生危险状况。即，危险判定部30A判定是否满足作为判定条件的危险条件，进一步判定满足何种危险条件(危险信息的种类)。并且，危险判定部30A向判定结果输出部(显示装置D1、声音输出装置D2、室外警报装置等)输出判定结果。并且，危险判定部30A也可以将判定结果与满足危险条件的时刻、位置一起存储在存储装置中。而且，危险判定部30A也可以将判定结果与满足危险条件的时刻、位置一起发送到管理装置，并将其存储在管理装置的存储装置中。危险信息数据库DB例如存储在控制器30中的非易失性存储装置NM中。作为另一例，危险信息数据库DB也可以构成为，设置在管理装置中，能够经由通信网与挖土机100进行通信。在危险信息数据库DB设置在管理装置中的情况下，经由无线通信与多个施工机械(例如挖土机100)连接。如此，判定了判定为危险的危险信息的种类和判定为危险的危险信息的发生位置等。

危险信息数据库DB是以能够搜索与有可能在作业现场发生的危险状况相关的信息的方式系统地构成的信息的集合体。危险信息数据库DB例如将与针对每个作业内容有可能发生的危险状况相关的信息(危险信息)与作业内容建立对应关联而存储。作为作业内容，例如可举出起吊作业、挖掘作业、装载作业、粉碎作业、整地作业。

例如，通过作为作业内容的“起吊作业”有可能发生的危险状况包括“卡爪卡住”、“侵入起吊物下”、“侵入起吊物的周围”、“回转中的接近”、“起吊中的接近”、“行走中的接近”等。对于这些危险状况，使用各种物体的位置关系、距离关系、挖土机100的运转状况等分别确定有危险状况的条件(判断基准)。

具体而言，对于作为危险状况的“卡爪卡住”，使用钢丝绳与铲斗6(卡爪)的位置关系等确定有危险状况的条件。对于作为危险状况的“侵入起吊物下”，使用起吊物与作业人员的位置关系等确定有危险状况的条件。对于作为危险状况的“侵入起吊物的周围”，使用起吊物与作业人员的距离关系等确定有危险状况的条件。对于作为危险状况的“回转中的接近”、“起吊中的接近”及“行走中的接近”，使用作业人员与挖土机100的位置关系及挖土机100的运转状况等确定有危险状况的条件。

并且，危险信息数据库DB也可以构成为，能够追加由挖土机100的管理者、操作者等使用信息输入装置72输入的信息。由此，除了预先登记在危险信息数据库DB中的信息以外，还能够将由挖土机100的管理者、操作者等判断为危险的作业指定为禁止作业。

具体而言，例如，如图4所示，危险判定部30A导出铲斗6、起吊物、钢丝绳等多个物体之间的相对位置关系作为输入信息。图4是表示危险判定部30A与危险信息数据库DB的关系的一例的示意图。危险判定部30A将所导出的输入信息和存储在危险信息数据库DB中的与该输入信息对应的参考信息进行核对。在该例子中，与输入信息对应的参考信息例如是多个参考信息中的与“起吊作业”建立对应关联的参考信息。并且，危险判定部30A在判定为由输入信息表示的状况与由参考信息表示的状况吻合或类似的情况下，判定为发生危险状况。

更具体而言，危险判定部30A根据由信息获取装置E1获取的信息，导出钢丝绳与铲斗6(卡爪)的位置关系等作为输入信息。并且，危险判定部30A将所导出的输入信息和存储在危险信息数据库DB中的表示危险状况的参考信息进行核对。并且，危险判定部30A在判定为由输入信息表示的状况与由参考信息表示的状况吻合或类似的情况下，判定为发生危险状况。另外，危险判定部30A也可以在将输入信息和表示不危险的状况的参考信息进行核对，在判定为由输入信息表示的状况与由参考信息表示的状况不吻合或不类似的情况下，判定为发生危险状况。而且，危险判定部30A也可以使用与沙土特性相关的信息或与天气相关的信息之类的作业环境信息来判定是否发生危险状况。

例如，危险判定部30A在根据作为信息获取装置E1的一例的前置摄像机70F所获取的输入图像，识别出图5所示的位置关系的情况下，判定为发生危险状况。

图5示出显示在显示装置D1上并由前置摄像机70F获取的输入图像的一例。所显示的输入图像包括斗杆5的图像G1、铲斗6的图像G2、作为被挖土机100起吊的起吊物的侧沟块的图像G3、用于起吊侧沟块的钢丝绳的图像G4。

危险判定部30A通过对输入图像实施图像处理，识别存在被铲斗6起吊的侧沟块，且导出钢丝绳的位置、铲斗6(卡爪)的位置等。并且，危险判定部30A在判定为钢丝绳与铲斗6(卡爪)的位置关系与存储在危险信息数据库DB中的关系吻合或类似的情况下，判定为发生危险状况。

在判定为发生危险状况的情况下，危险判定部30A制动控制致动器。在本实施方式中，危险判定部30A通过向比例阀31、33输出控制指令，强制停止与特定的操作装置26对应的液压致动器的动作。特定的操作装置26可以是全部液压致动器，也可以是针对每个作业内容预先确定的一部分液压致动器。

并且，在判定为发生危险状况的情况下，危险判定部30A也可以使通知装置工作，向外部通知有可能发生危险状况的内容。在本实施方式中，危险判定部30A使显示装置D1及室内警报装置工作，向挖土机100的操作者通知该内容。并且，危险判定部30A也可以使室外警报装置工作，向在挖土机100的周围进行作业的作业人员通知该内容。并且，危险判定部30A也可以通知危险状况的内容。例如，危险判定部30A也可以使声音输出装置D2输出“起吊物有可能坠落”之类的传递有可能发生的状况的内容的语音消息或在显示装置D1上显示传递有可能发生的状况的内容的文本消息。并且，例如，危险判定部30A用声音输出装置D2输出“请将缆绳挂在挂钩上”的传递对策信息的语音消息或在显示装置D1上显示传递对策信息的文本消息。在图5所示的例子中，显示装置D1显示传递有可能发生的状况的内容及对策信息的文本消息的图像G5。

如此，在图5所示的实施方式中，控制器30构成为，在根据信息获取装置E1所获取的信息和存储在非易失性存储装置NM中的数据库即危险信息数据库DB中的信息，判定为发生危险状况的情况下，制动控制致动器。然而，在挖土机的情况下，根据作业内容大致确定有动作模式。例如，在起重机作业的情况下，依次反复进行“挂环”，接着“提升动臂动作”，然后“回转动作或行走动作”、“降低动臂动作”、“卸载”。因此，在开始下一个动作时，优选判定通过下一个动作是否发生危险状况。并且，在预测为发生危险状况的情况下，即事先判断为未确保安全的情况下，不允许下一个动作而进行停止控制等制动控制。如此，在满足与下一个动作有关的条件的情况下，优选允许下一个动作。

在图6所示的事例中，在挂环作业时，判断是否确保了作为下一个动作的“提升动臂动作”时的安全性。由信息获取装置E1获取挖土机的周围的状况来判断安全性。并且，控制器30根据钢丝绳与铲斗6(卡爪)的位置关系等，判断钢丝绳挂在铲斗6(卡爪)上。因此，判断为不满足与作为下一个动作的“提升动臂动作”有关的条件，不允许“提升动臂动作”。因此，即使操作者想通过操作杆进行“提升动臂动作”，也不会执行提升动臂动作。同样地，在进行自主控制的挖土机中，也不会输出“提升动臂动作”的指令。然后，在提升动臂动作时，还判断是否确保了作为下一个动作的“回转动作”时的安全性。如此，事先根据挖土机的周围的状况判断是否满足与下一个动作有关的条件，通过允许下一个动作，能够进一步提高周围的安全性。

如以上说明，本发明的实施方式所涉及的挖土机100具备：下部行走体1；上部回转体3，可回转地搭载于下部行走体1；致动器(行走液压马达2M、回转液压马达2A、动臂缸7、斗杆缸8、铲斗缸9)；非易失性存储装置NM，设置在上部回转体3上；信息获取装置E1，获取与施工相关的信息；及作为控制装置的控制器30。并且，控制器30构成为，在根据信息获取装置E1所获取的信息和存储在非易失性存储装置NM中的数据库即危险信息数据库DB中的信息，判定为发生危险状况的情况下，制动控制致动器。通过该结构，挖土机100能够预先防止实际发生危险状况。

并且，挖土机100的控制器30也可以构成为，在根据信息获取装置E1所获取的信息和存储在非易失性存储装置NM中的数据库即危险信息数据库DB中的信息，判定为发生危险状况的情况下，使通知装置工作。通过该结构，挖土机100能够预先防止实际发生危险状况。

并且，挖土机100也可以在显示装置D1上显示与判定为发生的危险状况相关的信息。这是为了更准确地向操作者传递有可能发生危险状况的内容。

接着，对基于危险判定部30A的判定处理的另一例进行说明。例如，也可以进行使用学习危险条件的学习模型的判定来代替前述使用危险信息数据库DB的判定。即，危险判定部30A也可以根据由信息获取装置E1获取的信息和存储在非易失性存储装置NM中的进行了机器学习的学习完毕模型LM，判定是否发生危险状况。

例如，如图7所示，学习完毕模型LM以神经网络(Neural Network)401为中心构成。

在本例中，神经网络401是在输入层及输出层之间具有一层以上的中间层(隐藏层)的所谓的深度神经网络。在神经网络401中，对构成各个中间层的多个神经元中的每一个限定有表示与下位层之间的连接强度的加权参数。并且，神经网络401以如下方式构成，即，各层的神经元通过阈值函数，将来自上位层的多个神经元的输入值的每一个乘以针对每个上位层的神经元限定的加权参数而得的值的总和输出到下位层的神经元。

以神经网络401为对象，通过管理装置(学习部)进行机器学习，具体而言，进行深层学习(深度学习：Deep Learning)，实现上述加权参数的最佳化。由此，例如，如图7所示，神经网络401中，作为输入信号x输入由信息获取装置E1获取的信息(输出数据)，作为输出信号y能够输出危险信息。

作为学习模型的输入信号，能够使用由信息获取装置E1获取的信息(输出数据)，例如，由空间识别装置70获取的摄像图像等输出数据。也可以将由挖土机100的传感器(状态量获取部)输出的状态量(例如，与姿势检测装置的输出值、作为各液压致动器的压力的输出值、作为主泵14的压力的输出值、作为调节器14a的斜板偏转角的输出值、作为操作装置26的操作方向及操作量的输出值等中的至少一个相关的信息)用作输入信号。状态量也可以包括各个输出值或根据输出值获得的特征量。特征量也包括平均值、频率分析、系数乘法、微分运算、积分运算等。而且，也可以将与沙土特性、天气(气象)及高度等中的至少一个相关的信息用作输入信号。在此，通过将挖土机的状态量用作输入信号，通过学习模型也能够一起判定作业内容或动作内容。作为动作内容，例如可举出前进动作、后退动作、右回转动作、提升动臂动作、除土动作、挖掘动作等。

学习模型学习与作业现场的安全性下降建立对应关联的危险条件。学习模型按照根据由信息获取装置E1获取的作业现场的信息，例如由空间识别装置70获取的摄像图像等与作为存储在危险信息数据库DB中的判定数据的表示危险状况的参考信息的组合制作的数据集，学习作业现场的信息与安全性下降(危险信息的种类)的关系性(危险条件)。

并且，例如，如图8所示，判定危险条件并输出危险信息的学习模型也可以按每个作业内容或每个动作内容制作。这是因为，危险信息按每个作业内容或每个动作内容而不同。由此，例如，能够将提高钢丝绳的识别精度的学习模型作为“起吊作业”用学习模型来制作。此时，根据状态量判断作业内容或动作内容，选择应利用的学习模型。然后，使用所选择的学习模型进行危险信息的种类的判定。而且，也可以根据所判定的危险信息控制(减速、停止、回避)各致动器。

而且，危险判定部30A也可以将由学习模型判定的危险信息发送到在挖土机100的外部进行作业的作业人员的便携式信息终端装置。由此，在挖土机100的外部进行作业的作业人员能够通过便携式信息终端装置的振动或声音等通知构件来掌握危险判定部30A的输出结果。其结果，作业人员能够将作业内容改善到安全的状况。

而且，在管理装置具备危险信息数据库DB、危险判定部30A的情况下，能够从管理装置向作业人员的便携式信息终端装置发送基于来自安装在航拍用多轴飞行器、设置于作业现场的铁塔、电线杆等的空间识别装置70的摄像图像的判定结果。

以上，对本发明的优选实施方式进行了详细说明。然而，本发明并不限于上述实施方式。上述实施方式能够在不脱离本发明的范围内适用各种变形、置换等。并且，分开说明的特征只要在技术上不产生矛盾，则能够进行组合。

在本实施例中，作为作业内容的例子示出了“起吊作业”，但实施例也能够适用于其他作业内容。

例如，危险判定部30A在根据挖土机100的状态量判定提升动臂动作，而且识别到在挖土机100的可动范围的上方存在电线的情况下，判定为满足危险条件，使提升动臂动作减速或停止。

并且，例如，在识别在挖土机100的周围的一部分存在较大的台阶的不连续的作业平面，并且挖土机100要向较大的台阶的方向行走的情况下，危险判定部30A判断为满足危险条件，使行走动作减速或停止。在此，行走动作可以根据挖土机100的状态量来判定，也可以根据摄像图像来识别。

在本实施例中，作为施工机械的例子，示出了液压挖土机，但实施例也能够适用于其他施工机械，例如轮式装载机、推土机等。

本国际申请主张基于2020年3月25日申请的日本专利申请第2020-054726号的优先权，该申请的全部内容援用于本国际申请中。

符号说明

1-下部行走体，3-上部回转体，2A-回转液压马达，2M-行走液压马达，7-动臂缸，8-斗杆缸，9-铲斗缸，14b-吐出压力传感器，29-操作压力传感器，30-控制器，70-空间识别装置，71-朝向检测装置，72-信息输入装置，73-定位装置，D1-显示装置，D2-声音输出装置，DB-危险信息数据库，E1-信息获取装置，NM-非易失性存储装置，S1-动臂角度传感器，S2-斗杆角度传感器，S3-铲斗角度传感器，S4-机身倾斜传感器，S5-回转角速度传感器。

Claims (18)

1.一种施工机械，其具备：

行走致动器；

附件用致动器；

存储装置；

信息获取装置；及

控制装置，

所述控制装置在根据由所述信息获取装置获取的信息和存储在所述存储装置中的数据库中的信息、满足与下一个动作有关的条件的情况下，允许下一个动作。

2.根据权利要求1所述的施工机械，其中，

所述与下一个动作有关的条件是与挖土机的周围的状况相关的条件。

3.根据权利要求1所述的施工机械，其中，

根据作业内容来判断所述下一个动作。

4.根据权利要求1所述的施工机械，其中，

满足所述与下一个动作有关的条件的情况是未判定为发生危险状况的情况。

5.一种施工机械，其具备：

行走致动器；

附件用致动器；

存储装置；

信息获取装置；及

控制装置，

所述控制装置在根据由所述信息获取装置获取的信息和存储在所述存储装置中的数据库中的信息、判定为发生危险状况的情况下，制动控制所述行走致动器及所述附件用致动器中的至少任一者。

6.根据权利要求5所述的施工机械，其中，

存储在所述数据库中的信息包含作业内容与危险信息建立对应关联的信息。

7.根据权利要求4或6所述的施工机械，其中，

所述控制装置根据由所述信息获取装置获取的信息和与存储在所述存储装置中的数据库中的信息中选择的作业内容建立对应关联的危险信息，判定是否发生危险状况。

8.根据权利要求4至7中任一项所述的施工机械，其中，

所述控制装置在判定为发生所述危险状况的情况下，使通知装置工作。

9.根据权利要求4至8中任一项所述的施工机械，其中，

通知装置包括显示装置，所述显示装置显示与判定为发生的危险状况相关的信息。

10.根据权利要求4至9中任一项所述的施工机械，其中，

由所述信息获取装置获取的信息包含挖土机的周围的图像。

11.根据权利要求4至9中任一项所述的施工机械，其中，

所述存储装置中存储有学习危险条件的学习模型，

向所述学习模型输入由所述信息获取装置获取的信息，判定为发生危险状况。

12.根据权利要求11所述的施工机械，其中，

所述学习模型按每个作业内容或每个动作内容制作。

13.一种施工机械的管理系统，其具备：

施工机械，具有行走致动器和附件用致动器；

信息获取装置；

存储装置；及

控制装置，

所述控制装置根据由所述信息获取装置获取的信息和存储在所述存储装置中的数据库中的信息，判定发生危险状况。

14.根据权利要求13所述的施工机械的管理系统，其中，

所述存储装置中存储有学习危险条件的学习模型，

向所述学习模型输入由所述信息获取装置获取的信息，判定发生危险状况。

15.一种机器学习装置，其特征在于，具备：

学习部，按照包含配置有施工机械的作业现场的信息和表示所述作业现场的危险状况的判定数据的组合的数据集，学习学习模型的危险条件。

16.根据权利要求15所述的机器学习装置，其特征在于，还具备：

状态量获取部，获取施工机械的状态量；

危险判定部，判定所述施工机械的作业现场发生危险状况；及

判定数据获取部，从所述危险判定部获取所述判定数据。

17.一种施工机械，其具备由权利要求15或16所述的机器学习装置制作的所述学习模型，所述施工机械还具备：

判定结果输出部，根据所述学习模型，对应于当前作业现场的信息的输入，输出表示所述作业现场发生危险状况的危险信息。

18.一种施工机械的作业现场的管理系统，其中，

根据由权利要求15或16所述的机器学习装置制作的所述学习模型，对应于当前作业现场的信息的输入，向便携式信息终端装置输出表示所述作业现场发生危险状况的危险信息。

Images