CN112996963B - 挖土机、挖土机支援系统 - Google Patents

挖土机、挖土机支援系统 Download PDF

Info

Publication number
CN112996963B
CN112996963B CN201980072913.5A CN201980072913A CN112996963B CN 112996963 B CN112996963 B CN 112996963B CN 201980072913 A CN201980072913 A CN 201980072913A CN 112996963 B CN112996963 B CN 112996963B
Authority
CN
China
Prior art keywords
shovel
determination
excavator
unit
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980072913.5A
Other languages
English (en)
Other versions
CN112996963A (zh
Inventor
黑泽亮太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo SHI Construction Machinery Co Ltd
Original Assignee
Sumitomo SHI Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo SHI Construction Machinery Co Ltd filed Critical Sumitomo SHI Construction Machinery Co Ltd
Publication of CN112996963A publication Critical patent/CN112996963A/zh
Application granted granted Critical
Publication of CN112996963B publication Critical patent/CN112996963B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2004—Control mechanisms, e.g. control levers
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Operation Control Of Excavators (AREA)

Abstract

本发明提供一种能够提高根据挖土机的周围的环境信息，进行与挖土机的周围的物体相关的判定时的各种环境条件下的判定精度的技术。本发明的一实施方式所涉及的挖土机(100)具备：摄像装置(70)，其获取作为挖土机(100)的周围的环境信息的拍摄图像；以及判定部(344)，其使用进行了机器学习的学习完毕模型(LM)，根据由摄像装置(70)获取到的拍摄图像，进行与挖土机(100)的周围的物体相关的判定，学习完毕模型(ML)被更新为根据由挖土机(100)及其他挖土机中的至少一个获取到的周围的拍摄图像所生成的示教信息进行了追加学习的追加学习完毕模型，当学习完毕模型更新的情况下，判定部(344)使用所更新的学习完毕模型，根据由摄像装置(70)获取到的拍摄图像，进行判定。

Description

挖土机、挖土机支援系统
技术领域
本发明涉及一种挖土机及挖土机支援系统。
背景技术
例如，已知有一种根据表示挖土机的周围的状况的环境信息(例如，挖土机的周围的拍摄图像或发送到挖土机的周围的检测波的反射波数据等)，进行与挖土机的周围的物体相关的判定(例如，物体的有无、种类的判定等)的技术。
例如，在专利文献1中，使用光流、模式匹配等图像处理技术，根据挖土机的周围的拍摄图像，检测周围的物体(参考专利文献1)。
以往技术文献
专利文献
专利文献1:日本专利6290497号公报
发明内容
发明要解决的技术课题
然而，挖土机虽然能够在各种环境下使用，但在专利文献1等中，由于在预先规定的判定基准下进行判定，因此根据环境条件，有可能无法确保合适的判定精度。
因此，鉴于上述课题，提供一种能够提高根据挖土机的周围的环境信息进行与挖土机的周围的物体相关的判定时的各种环境条件下的判定精度的技术。
用于解决技术课题的手段
在本发明的一实施方式中，提供一种挖土机，其具备：
环境信息获取部，其获取挖土机的周围的环境信息；以及
判定部，其使用进行了机器学习的学习完毕模型，根据由所述环境信息获取部获取到的环境信息，进行与挖土机的周围的物体相关的判定，
所述学习完毕模型被更新为根据由所获取的环境信息生成的示教信息进行了追加学习的追加学习完毕模型，
当所述学习完毕模型被更新了的情况下，所述判定部使用所更新的所述学习完毕模型，根据由所述环境信息获取部获取到的环境信息，进行所述判定。
并且，在本发明的另一实施方式中，提供一种挖土机支援系统，其包括：
第1挖土机、第2挖土机、能够与所述第1挖土机及所述第2挖土机进行通信的外部装置，所述挖土机支援系统具备：
第1环境信息获取部，其设置于所述第1挖土机，获取所述第1挖土机的周围的环境信息；
判定部，设置于所述第1挖土机，使用进行了机器学习的学习完毕模型，根据由所述第1环境信息获取部获取到的环境信息，进行与所述第1挖土机的周围的物体相关的判定；
第2环境信息获取部，其设置于所述第2挖土机，获取所述第2挖土机的周围的环境信息；
记录部，其设置于所述第2挖土机，记录由所述第2环境信息获取部获取到的环境信息；
环境信息发送部，其设置于所述第2挖土机，向所述外部装置发送由所述记录部记录的环境信息；
示教信息生成部，其设置于所述外部装置，根据从所述第2挖土机接收到的、由所述第2挖土机获取到的环境信息来生成示教信息；
学习部，其设置于所述外部装置，根据由所述示教信息生成部生成的示教信息，使与在所述第1挖土机中用于所述判定的所述学习完毕模型相同的学习完毕模型进行追加学习来生成追加学习完毕模型；以及
模型发送部，其设置于所述外部装置，向所述第1挖土机发送由所述学习部进行了追加学习的所述追加学习完毕模型，
所述学习完毕模型在所述第1挖土机中，被更新为从所述外部装置接收到的所述追加学习完毕模型，
当所述学习完毕模型被更新了的情况下，所述判定部使用所更新的所述学习完毕模型，根据由所述第1环境信息获取部获取到的环境信息，进行所述判定。
发明效果
根据上述的实施方式，能够提供一种能够提高根据挖土机的周围的环境信息进行与挖土机的周围的物体相关的判定时的各种环境条件下的判定精度的技术。
附图说明
图1是表示挖土机支援系统的结构的一例的概略图。
图2是挖土机的俯视图。
图3是表示挖土机支援系统的功能结构的一例的功能框图。
图4A是表示基于判定部的判定处理的一例的示意图。
图4B是表示基于判定部的判定处理的一例的示意图。
图5是表示基于判定部的判定处理的结果的具体例的图。
图6是表示挖土机支援系统的动作的一例的时序图。
图7是表示挖土机支援系统的功能结构的其他例的功能框图。
图8是表示挖土机支援系统的功能结构的又一例的功能框图。
图9是表示基于判定部的判定处理的其他例的示意图。
具体实施方式
以下，参考附图对实施方式进行说明。
[挖土机支援系统的概要]
首先，参考图1，对本实施方式所涉及的挖土机支援系统SYS进行说明。
图1是表示挖土机支援系统SYS的结构的一例的概略图。
挖土机支援系统SYS包括多个挖土机100、管理装置200，并支援由各个挖土机100执行的、与挖土机100的周围的物体相关的判定。在与挖土机100的周围的物体相关的判定中，例如，包括挖土机100的周围有无物体的判定(即，与检测挖土机100的周围的物体相关的判定)或挖土机100的周围的物体的种类的判定(即，与在挖土机100的周围检测到的物体的分类相关的判定)。以下，以多个挖土机100分别关于挖土机支援系统SYS具有相同结构为前提进行说明。
＜挖土机的概要＞
挖土机100包括：下部行走体1；经由回转机构2回转自如地搭载于下部行走体1的上部回转体3；构成附属装置的动臂4、斗杆5及铲斗6；以及驾驶舱10。
下部行走体1包括左右一对的履带1C，具体而言，包括左履带1CL及右履带1CR。下部行走体1通过由行走液压马达2M(2ML，2MR)分别液压驱动左履带1CL及右履带1CR，使挖土机100行走。
上部回转体3通过由回转液压马达2A驱动，而相对于下部行走体1进行回转。并且，上部回转体3也可以由电动机电驱动来代替由回转液压马达2A液压驱动。以下，为了便于说明，将上部回转体3中的安装有附属装置AT的一侧设为前方，将安装有配重的一侧设为后方。
动臂4能够俯仰地枢轴安装于上部回转体3的前部中央，斗杆5能够上下转动地枢轴安装于动臂4的前端，铲斗6能够上下转动地枢轴安装于斗杆5的前端。动臂4、斗杆5、及铲斗6分别由作为液压致动器的动臂缸7、斗杆缸8、及铲斗缸9分别液压驱动。
驾驶舱10为操作者所搭乘的驾驶室，搭载于上部回转体3的前部左侧。
并且，挖土机100搭载通信设备90。挖土机100通过例如可以包括以基站为终端的便携式电话网、利用上空的通信卫星的卫星通信网、因特网等规定的通信网络(以下，简称为“通信网络”)，与管理装置200能够通信地进行连接。由此，挖土机100能够从管理装置200获取各种信息，并将各种信息发送到管理装置200。关于详细说明在后面叙述。
挖土机100根据搭乘在驾驶舱10的操作者对操作装置26的操作，使下部行走体1、上部回转体3、动臂4、斗杆5、及铲斗6等动作要件(被驱动要件)动作。
并且，也可以代替由驾驶舱10的操作者操作，或者除了驾驶舱10的操作者以外，由规定的外部装置(例如，管理装置200)的操作者远程操作挖土机100。此时，挖土机100例如向管理装置200发送后述的摄像装置70所输出的图像信息(拍摄图像)。由此，操作者能够一边确认设置于管理装置200的显示装置(例如，后述的显示装置230)中所显示的图像信息，一边远程操作挖土机100。并且，挖土机100也可以根据从管理装置200接收到的、表示远程操作的内容的远程操作信号，使下部行走体1、上部回转体3、动臂4、斗杆5、及铲斗6等被驱动要件动作。以下，以操作者的操作中包括操作者对操作装置26的操作、及管理装置200的操作者的远程操作中的至少一种为前提进行说明。
＜管理装置的概要＞
管理装置200(外部装置的一例)设置在挖土机100的外部的地理上分开的位置，进行多个挖土机100的管理。管理装置200例如设置于在挖土机100进行作业的作业现场外设置的管理中心等，是以一个或多个服务器计算机等为中心构成的服务器装置(终端装置)。此时，服务器装置可以为应用挖土机支援系统SYS的运营商或者与该运营商相关的相关运营商所运营的本公司服务器，也可以为所谓的云服务器。并且，管理装置200也可以为配置于挖土机100的作业现场内的管理事务所等的固定型或者便携式型的计算机终端。
管理装置200通过通信网络，与多个挖土机100分别能够进行通信地连接。由此，管理装置200能够向挖土机100发送各种信息，从挖土机100接收各种信息。关于详细说明在后面叙述。
并且，管理装置200可以构成为能够远程操作挖土机100。具体而言，管理装置200在显示装置(例如，显示装置230)上，显示从挖土机100发送的摄像装置70的图像信息，远程操作的操作者可以一边确认该图像信息，一边进行挖土机100的远程操作。此时，远程操作的操作者能够使用设置于管理装置200的远程操作用的操作装置(例如，触摸面板、触控板、操纵杆等广泛使用的操作装置或模仿操作装置26的专用的操作装置等)。管理装置200通过通信网络，向挖土机100发送包含远程操作的内容的远程操作信号。由此，挖土机100例如能够在后述的控制器30的控制下，根据来自管理装置200的远程操作信号，进行动作，管理装置200能够支援挖土机100的远程操作。
[挖土机支援系统的结构的一例]
除了图1，参考图2～图5，对挖土机支援系统SYS(挖土机100、管理装置200)的具体的结构进行说明。
图2是挖土机100的俯视图。图3是表示本实施方式所涉及的挖土机支援系统SYS的结构的一例的结构图。图4(图4A、图4B)是表示基于后述的判定部344的判定处理的一例的示意图。图5是表示基于判定部344的判定处理结果的具体例的图。
另外，如上所述，由于多个挖土机100关于挖土机支援系统SYS分别具有相同的机构，因此在图3中，仅记载一个挖土机100的详细结构。
＜挖土机的结构＞
挖土机100作为与液压系统相关的结构，如上所述，包括行走液压马达2M(2ML，2MR)、回转液压马达2A、动臂缸7、斗杆缸8、及铲斗缸9等液压致动器。并且，挖土机100作为与液压系统相关的结构，包括发动机11、操作装置26。并且，挖土机100作为与控制系统相关的机构，包括控制器30、记录装置32、判定装置34、显示装置40、摄像装置70、朝向检测装置85、通信设备90、动臂角度传感器S1、斗杆角度传感器S2、铲斗角度传感器S3、机体倾斜传感器S4、回转状态传感器S5。
发动机11为挖土机100(的液压系统)的驱动源，例如，搭载于上部回转体3的后部。发动机11为例如以柴油为燃料的柴油发动机。发动机11例如在基于控制器30等的控制下，以维持规定的转速(设定转速)的方式进行动作。发动机11的旋转轴与向液压致动器供给工作油的主泵、及向操作装置26等操作系统的液压设备供给工作油的先导泵的旋转轴连接，发动机11的动力被传递至主泵及先导泵。
操作装置26配置在就坐于驾驶舱10内的驾驶座的操作者等手脚可及的范围内，由操作者等进行用于操作各种动作要件(下部行走体1、上部回转体3、动臂4、斗杆5、及铲斗6等)、换言之，驱动各种动作要件的液压致动器的操作输入。
操作装置26例如为液压先导式。此时，操作装置26从先导泵接收工作油的供给而形成规定的先导压(与操作内容相对应的先导压)。并且，操作装置26使该先导压作用于对液压致动器进行驱动控制的控制阀内的对应的控制阀的先导端口。由此，操作装置26中的操作内容(例如，操作方向及操作量)被反映到控制阀的动作中，通过液压致动器来实现按着操作装置26的操作内容的各种动作要件(被驱动要件)的动作。
并且，操作装置26例如可以是输出与操作内容相对应的电信号(以下，称为“操作信号”)的电气式。此时，从操作装置26输出的电信号例如可以输入到控制器30，控制器30可以向规定的液压控制阀(以下，称为“操作用控制阀”)输出与操作信号相对应的控制指令，即与操作装置26的操作内容对应的控制指令。并且，操作用控制阀可以使用从先导泵或者主泵供给的工作油，输出与来自控制器30的控制指令相对应的先导压，并使该先导压作用于控制阀内的对应的控制阀的先导端口。由此，操作装置26中的操作内容被反映到控制阀的动作中，通过液压致动器来实现按着操作装置26的操作内容的各种动作要件的动作。
并且，当远程操作挖土机100的情况下，例如，控制器30可以使用上述的操作用控制阀来实现挖土机100的远程操作。具体而言，控制器30可以向操作用控制阀输出与以由通信设备90接收到的远程操作信号指定的远程操作的内容相对应的控制指令。并且，操作用控制阀可以使用从先导泵或者主泵供给的工作油，输出与来自控制器30的控制指令相对应的先导压，并使该先导压作用于控制阀内的对应的控制阀的先导端口。由此，远程操作的内容被反映到控制阀的动作中，通过液压致动器来实现按着远程操作的内容的各种动作要件(被驱动要件)的动作。
控制器30例如搭载于驾驶舱10的内部，进行挖土机100的驱动控制。控制器30的功能可以通过任意的硬件、或者任意的硬件及软件的组合来实现。例如，控制器30以计算机为中心而构成，所述计算机包括：CPU(Central Processing Unit：中央处理器)、RAM(RandomAccess Memory：随机存取存储器)等存储器装置(主存储装置)、ROM(Read Only Memory：只读存储器)等非易失性的辅助存储装置、及各种输入输出用的接口装置等。
例如，控制器30获取朝向检测装置85、动臂角度传感器S1、斗杆角度传感器S2、铲斗角度传感器S3、机体倾斜传感器S4、回转状态传感器S5等各种传感器的输出信号来掌握挖土机100的各种状态(例如，上部回转体3的朝向或姿势状态等)。并且，控制器30根据所掌握的各种状态，进行挖土机100的各种控制。
并且，例如，控制器30进行如下控制：通过判定装置34，在挖土机100的周围的规定的监视区域内(例如，距挖土机100，5米以内的作业区域)检测到监视对象的物体(例如，人、卡车、其他施工机械、电线柱、吊物、路标、建筑物等)的情况下，避免挖土机100与监视对象的物体的抵接等(以下，称为“抵接避免控制”)。关于控制器30，例如，作为通过在CPU上执行安装于辅助存储装置等的一个以上的程序来实现的、与抵接避免控制相关的功能部，包括通知部302、动作控制部304。
记录装置32在规定的时刻记录摄像装置70的拍摄图像。记录装置32可以通过任意的硬件、或者任意的硬件及软件的组合来实现。例如，记录装置32可以以与控制器30相同的计算机为中心而构成。关于记录装置32，例如，作为通过在CPU上执行安装于辅助存储装置等的一个以上的程序来实现的功能部，包括记录控制部322。并且，记录装置32例如包括作为在辅助存储装置等的内部存储器中规定的存储区域的存储部324。
判定装置34根据摄像装置70的拍摄图像，进行与挖土机100的周围的物体相关的判定(例如，物体的检测判定或物体的分类判定等)。判定装置34可以通过任意的硬件、或者任意的硬件及软件的组合来实现。例如，判定装置34可以以除了与控制器30等相同的结构，即CPU、存储器装置、辅助存储装置及接口装置等之外还包括与CPU中的处理联动地进行基于并列处理的高速运算的图像处理用的运算器件的计算机为中心而构成。以下，关于后述的管理装置200的控制装置210也可以具有相同的结构。图像处理用的运算器件中，可以包括GPU(Graphics Processing Unit：图形处理单元)、FPGA(Field-Programmable GateArray：现场可编程门阵列)、ASIC(Application Specific Integrated Circuit：专用集成电路)等。关于判定装置34，例如，作为通过在CPU上执行安装于辅助存储装置等的一个以上的程序来实现的功能部，包括显示控制部342、判定部344。并且，判定装置34例如包括作为在辅助存储装置等的内部存储器中规定的存储区域的存储部346。
另外，控制器30、记录装置32及判定装置34的一部分或全部也可以集成为一个。
显示装置40设置于从就坐于驾驶舱10的内部的驾驶座的操作者等容易视觉辨认的部位，显示各种信息图像。显示装置40例如为液晶显示器或有机EL(Electroluminescence：电致发光)显示器。例如，显示装置40在基于判定装置34(显示控制部342)的控制下，显示基于摄像装置70的拍摄图像的表示挖土机100的周围的情况的图像。具体而言，显示装置40可以显示摄像装置70的拍摄图像。并且，显示装置40可以显示对由判定装置34(显示控制部342)生成的摄像装置70的拍摄图像实施了规定的转换处理(例如，视角转换处理)等的转换图像。转换图像例如可以为将从挖土机100的正上方观察的俯瞰图像和从挖土机100沿水平方向观察远方的水平图像组合而成的视角转换图像。并且，该视角转换图像也可以为将后述的前摄像机70F、后摄像机70B、左摄像机70L及右摄像机70R的各个拍摄图像转换为基于俯瞰图像及水平图像的视角转换图像之后所合成的合成图像。
摄像装置70(环境信息获取部的一例)拍摄挖土机100的周围的情况，输出拍摄图像(环境信息的一例)。摄像装置70包括前摄像机70F、后摄像机70B、左摄像机70L、右摄像机70R。基于摄像装置70(各个前摄像机70F、后摄像机70B、左摄像机70L、及右摄像机70R)的拍摄图像被输入到判定装置34。
前摄像机70F例如安装于驾驶舱10的上表面前端，拍摄上部回转体3的前方的情况。
后摄像机70B例如安装于上部回转体3的上表面后端，拍摄上部回转体3的后方的情况。
左摄像机70L例如安装于上部回转体3的上表面左端，拍摄上部回转体3的左方的情况。
右摄像机70R例如安装于上部回转体3的上表面右端，拍摄上部回转体3的右方的情况。
朝向检测装置85构成为检测与上部回转体3的朝向和下部行走体1的朝向的相对关系相关的信息(以下，称为“与朝向相关的信息”)。例如，朝向检测装置85可以由安装于下部行走体1的地磁传感器和安装于上部回转体3的地磁传感器的组合构成。并且，朝向检测装置85也可以由安装于下部行走体1的GNSS(Global Navigation Satellite System：全球导航卫星系统)接收机和安装于上部回转体3的GNSS接收机的组合构成。当上部回转体3为由电动机驱动的结构的情况下，朝向检测装置85也可以由安装于电动机的分解器构成。并且，朝向检测装置85例如也可配置于与实现下部行走体1和上部回转体3之间的相对旋转的回转机构2相关联地设置的中心接头部。基于朝向检测装置85的检测信息被输入到控制器30。
通信设备90为与通信网络连接并与管理装置200等外部进行通信的任意的器件。通信设备90例如可以为与LTE(Long Term Evolution：长期演进)、4G(4th Generation：第四代)、5G(5th Generation：第五代)等规定的移动体通信规格相对应的移动体通信模块。
动臂角度传感器S1安装于动臂4，检测动臂4相对于上部回转体3的俯仰角度(以下，称为“动臂角度”)θ1。动臂角度θ1例如是从使动臂4下降最多的状态起的上升角度。此时，在使动臂4上升最大时，动臂角度θ1成为最大。动臂角度传感器S1例如可以包括旋转编码器、加速度传感器、角速度传感器、6轴传感器、IMU(Inertial Measurement Unit：惯性测量单元)等，以下，关于斗杆角度传感器S2、铲斗角度传感器S3、机体倾斜传感器S4也可以是相同的。并且，动臂角度传感器S1可以是安装于动臂缸7的冲程传感器，以下，关于斗杆角度传感器S2、铲斗角度传感器S3也可以是相同的。与基于动臂角度传感器S1的动臂角度θ1相对应的检测信号被输入到控制器30。
斗杆角度传感器S2安装于斗杆5，检测斗杆5相对于动臂4的转动角度(以下，称为“斗杆角度”)θ2。斗杆角度θ2例如为使斗杆5最闭合的状态起的开度角。此时，在使斗杆5打开最大时，斗杆角度θ2成为最大。与基于斗杆角度传感器S2的斗杆角度θ2相对应的检测信号被输入到控制器30。
铲斗角度传感器S3安装于铲斗6，检测铲斗6相对于斗杆5的转动角度(以下，称为“铲斗角度”)θ3。铲斗角度θ3为使铲斗6最闭合的状态起的开度角。此时，在使铲斗6打开最大时，铲斗角度θ3成为最大。与基于铲斗角度传感器S3的铲斗角度θ3相对应的检测信号被输入到控制器30。
机体倾斜传感器S4检测相对于规定的平面(例如，水平面)的机体(例如，上部回转体3)的倾斜状态。机体倾斜传感器S4例如安装于上部回转体3，检测挖土机100(即，上部回转体3)绕前后方向及左右方向的2个轴的倾斜角度(以下，称为“前后倾斜角”及“左右倾斜角”)。与基于机体倾斜传感器S4的倾斜角度(前后倾斜角及左右倾斜角)相对应的检测信号被输入到控制器30。
回转状态传感器S5安装于上部回转体3，输出与上部回转体3的回转状态相关的检测信息。回转状态传感器S5例如检测上部回转体3的回转角加速度、回转角速度、回转角度等。回转状态传感器S5例如可以包括陀螺仪传感器、分解器、旋转编码器等。
另外，当在机体倾斜传感器S4中包括能够检测绕3轴的角速度的陀螺仪传感器、6轴传感器、IMU等的情况下，也可以根据机体倾斜传感器S4的检测信号检测上部回转体3的回转状态(例如，回转角加速度)。此时，可以省略回转状态传感器S5。
通过判定装置34(判定部344)，在挖土机100的周围的监视区域内，检测到监视对象的物体的情况下，通知部302向操作者等通知该情况。由此，当监视对象的物体侵入到挖土机100的周围的比较近的范围内，即使该物体从驾驶舱10观察位于死角，操作者等也能够识别侵入，实现中止相对于操作装置26的操作等的安全保证。
例如，通过向搭载于驾驶舱10的内部的声音输出装置(例如，扬声器或蜂鸣器等)输出控制信号，通知部302对操作者等通知在靠近挖土机100的监视区域内检测到监视对象的物体的情况。
并且，例如，如下所述，也可以进行如下通知：通过显示装置40表示通过判定装置34在挖土机100的周围的监视区域内检测到监视对象的物体的情况。
并且，例如，当远程操作挖土机100的情况下，通知部302可以向管理装置200发送表示在挖土机100的周围的监视区域内检测到监视对象的情况的信号(以下，称为“通知信号”)。由此，管理装置200能够根据从挖土机100接收到的通知信号，控制设置于管理装置200的显示装置(例如，显示装置230)或声音输出装置，向远程操作的操作者通知该情况。
当通过判定装置34(判定部344)在挖土机100的周围的监视区域内检测到监视对象的物体的情况下，动作控制部304(控制部的一例)限制挖土机100的动作。由此，当监视对象的物体侵入到靠近挖土机100的监视区域内的情况下，限制挖土机100的动作，能够减少挖土机100与监视对象的物体的接触等的可能性。此时，挖土机100的动作的限制中，可以包括使作为相对于利用操作装置26的操作者等的操作内容(操作量)的输出的挖土机100的各种动作要件(被驱动要件)的动作变慢。并且，挖土机100的动作的限制中，也可以包括不依赖于操作装置26的操作内容而使挖土机100的动作要件(被驱动要件)的动作停止。并且，成为挖土机100的动作的限制对象的挖土机100的动作要件(被驱动要件)可以是能够通过操作装置26进行操作的所有的动作要件，也可以是避免挖土机100与监视对象的物体的接触时所需的一部分的动作要件。
例如，动作控制部304可以向设置于液压先导式的操作装置26的次级侧的先导管路的减压阀输出控制信号，使与操作者等相对于操作装置26的操作内容相对应的先导压减压。并且，动作控制部304也可以通过向电磁阀(操作用控制阀)输出限制为比与从电气式的操作装置26输入的操作信号相对应的操作内容(操作量)小的操作量的控制信号来控制电磁阀，使从电磁阀作用于控制阀的先导压减压。并且，动作控制部304也可以通过向操作用控制阀输出限制为比以远程操作信号指定的远程操作的内容(操作量)小的操作量的控制信号，使从操作用控制阀作用于控制阀的先导压减压。由此，能够使作用于控制供给至液压致动器的工作油的控制阀的、与相对于操作装置26的操作内容或远程操作的内容相对应的先导压减压，限制各种动作要件(被驱动要件)的动作。
记录控制部322(记录部的一例)在规定的时刻(以下，称为“记录时刻”)，将摄像装置70(前摄像机70F、后摄像机70B、左摄像机70L、及右摄像机70R)的拍摄图像记录于存储部324。由此，当存储部324的容量有限时，能够预先规定必要的时刻，将摄像装置70的拍摄图像记录于存储部324。并且，如下所述，能够抑制存储部324的拍摄图像发送到管理装置200时的发送容量，而抑制通信成本。具体而言，例如在为记录时刻时，记录控制部322获取包括过去的部分、由RAM等规定的环缓冲区内的拍摄图像中的与该记录时刻相对应的拍摄图像，并将其记录于存储部324。
记录时刻例如可以是预先规定的周期性的时刻。并且，记录时刻也可以是在根据摄像装置70的拍摄图像由判定装置34(判定部344)进行与挖土机100的周围的物体相关的判定时，容易产生误判定的挖土机100的状态发生时。具体而言，记录时刻可以是挖土机100的行走时或回转时。并且，记录时刻也可以是判定部344判定在挖土机100的周围的监视区域检测到物体时。并且，记录时刻可以在控制器ON(打开)时开始，也可以在门锁杆解除时开始，也可以在操作杆ON(打开)时开始。以下，关于后述的图7、图8的挖土机支援系统SYS(挖土机100)的情况也相同。
另外，在图3中，当判定部344的判定结果输入到记录装置32(记录控制部322)，但记录时刻不依赖于判定部344的判定结果而被规定的情况下，判定部344的判定结果可以不输入到记录装置32。关于后述的图8的情况也相同。
在存储部324中，在从挖土机100启动后的初期处理结束后到挖土机100停止为止的期间，在基于记录控制部322的控制下，如上所述，记录拍摄图像IM1。记录于存储部324的一个或多个拍摄图像IM1在规定的时刻(以下，称为“图像发送时刻”)，通过通信设备90(环境信息发送部的一例)，发动到管理装置200。
图像发送时刻例如可以是进行挖土机100的停止操作(例如，按键开关的OFF(关闭)操作)时。并且，发送时刻也可以是存储部324的剩余容量低于规定阈值时。这是因为，在从挖土机100启动到停止为止的期间，记录于存储部324的拍摄图像IM1的总容量有时相对较多。并且，图像发送时刻例如也可以是挖土机100启动后的初期处理结束后。此时，存储部324为在非易失性的内部存储器中规定的存储区域，可以是将在前一次挖土机100启动到停止为止的期间记录的拍摄图像IM1发送到管理装置200的实施方式。以下，关于后述的图7、图8的挖土机支援系统SYS(挖土机100)的情况也相同。
另外，拍摄图像IM1也可以是每当被记录于存储部324时，通过通信设备90依次发送到管理装置200的实施方式。
如上所述，显示控制部342使显示装置40显示表示挖土机100的周围的情况的图像(以下，称为“挖土机周围图像”)。
例如，显示控制部342使显示装置40显示摄像装置70的拍摄图像作为挖土机周围图像。具体而言，显示控制部342可以使显示装置40显示选自前摄像机70F、后摄像机70B、左摄像机70L、及右摄像机70R中的一部分的摄像机的拍摄图像。此时，显示控制部342可以是根据基于操作者等进行的规定的操作来切换与显示于显示装置40的拍摄图像相对应的摄像机的实施方式。并且，显示控制部342也可以使显示装置40显示前摄像机70F、后摄像机70B、左摄像机70L、及右摄像机70R的所有拍摄图像。
并且，例如，显示控制部342生成对摄像装置70的拍摄图像实施了规定的转换处理的转换图像作为挖土机周围图像，并使显示装置40显示所生成的转换图像。该转换图像例如可以为将从挖土机100的正上方观察的俯瞰图像和从挖土机100沿水平方向观察远方的水平图像组合而成的视角转换图像。并且，该视角转换图像也可以为将前摄像机70F、后摄像机70B、左摄像机70L、及右摄像机70R的各个拍摄图像转换为基于俯瞰图像及水平图像的组合的视角转换图像之后，以规定的方法所合成的合成图像(以下，称为“视角转换合成图像”)。
并且，当通过判定部344在挖土机100的周围的规定的监视区域内检测到监视对象的物体的情况下，显示控制部342叠加显示强调相当于挖土机周围图像上的与所检测到的物体的区域(以下，称为“检测物体区域”)的图像。由此，操作者等能够在挖土机周围图像上，容易地确认所检测到的物体。关于具体的显示实施方式，在后面叙述(参考图5)。
另外，当远程操作挖土机100的情况下，可以在管理装置200中设置与显示控制部342相同的功能。由此，远程操作的操作者能够通过设置于管理装置200的显示装置(例如，显示装置230)确认挖土机周围图像，或在挖土机周围图像上确认所检测到的物体。
判定部344使用存储于存储部346的、进行了机器学习的学习完毕模型LM，根据摄像装置70的拍摄图像，进行与挖土机100的周围的物体相关的判定。具体而言，判定部344从存储部346将学习完毕模型LM加载到RAM等主存储装置(路径344A)，并使CPU执行，由此根据摄像装置70的拍摄图像来进行与挖土机100的周围的物体相关的判定。
例如，如上所述，判定部344一边在挖土机100的周围的监视区域内判定有无监视对象的物体，一边对监视对象的物体进行检测。
并且，例如，判定部344判定(确定)所检测到的监视对象的物体的种类，即将所检测到的监视对象的物体在预先规定的监视对象的分类列表(以下，称为“监视对象列表”)中进行分类。如上所述，在监视对象列表中可以包括人、卡车、其他施工机械、电线柱、吊物、桥塔、建筑物等。
并且，例如，判定部344判定在挖土机100的周围的监视区域内所检测到的监视对象的物体的状态。具体而言，当所检测到的监视对象的物体为人的情况下，判定部344可以判定所检测到的人属于与“坐着”、“站着”、及“倒着”等预先规定的状态相关的分类(以下，称为“状态分类”)中的哪一类。并且，当所检测到的监视对象的物体为卡车的情况下，判定部344可以判定所检测到的卡车的载货台的左侧和右侧的侧板打开和关闭状态。更具体而言，判定部344可以判定卡车属于"关闭左侧和右侧的侧板"、"仅打开左侧的侧板"、"仅打开右侧的侧板"、及"打开左侧和右侧的侧板"中的哪种状态分类。
并且，例如，判定部344判定在挖土机100的周围的监视区域内所检测到的监视对象的物体各部位的状态。具体而言，当所检测到的监视对象为人的情况下，判定部344可以判定人的各部位(例如，左右手臂、左右手掌、左右手的手指等)的状态。由此，判定装置34例如能够识别手势等人的动作。
例如，如图4A、图4B所示，学习完毕模型LM以神经网络(Neural Network)401为中心而构成。
在本例子中，神经网络401为在输入层及输出层的之间具有一层以上的中间层(隐藏层)的、所谓的深层神经网络。在神经网络401中，按构成各个中间层的多个神经元的每一个规定有表示与低位层之间的连接强度的加权参数。并且，各层的神经元以如下实施方式构成神经网络401：将来自上位层的多个神经元的输入值的每一个乘以按上位层的神经元的每一个规定的加权参数而得到的值的总和通过阈值函数向低位层的神经元输出。
如下所述，将神经网络401设为对象，通过管理装置200(学习部2103)进行机器学习，具体而言，进行深层学习(深度学习：Deep Learning)，实现上述加权参数的最优化。由此，例如，如图4A所示，神经网络401能够输入摄像装置70的拍摄图像作为输入信号x，输出与预先规定的监视对象列表(在本例中为“人”、“卡车”、…)相对应的每种物体的种类的物体所存在的概率(预测概率)作为输出信号y。神经网络401例如为卷积神经网络(CNN：Convolutional Neural Network)。CNN为应用了已有的图像处理技术(卷积处理及池化处理)的神经网络。具体而言，CNN通过反复进行对摄像装置70的拍摄图像的卷积处理及池化处理的组合，输出比拍摄图像尺寸小的特征量数据(特征映射图)。并且，将所输出的特征映射图的各像素的像素值输入到由多个全结合层构成的神经网络，神经网络的输出层例如能够输出每种物体的种类的物体所存在的预测概率。
并且，神经网络401也可以构成为，输入摄像装置70的拍摄图像作为输入信号x，能够输出拍摄图像中物体的位置及大小(即，拍摄图像上的物体的占有区域)及该物体的种类作为输出信号y。即，神经网络401也可以构成为，进行检测拍摄图像上的物体(判定拍摄图像上物体的占有区域部分)、及判定该物体的分类。并且，此时，输出信号y也可以以对作为输入信号x的拍摄图像叠加了与物体的占有区域及其分类相关的信息的图像数据形式构成。由此，判定部344能够根据从学习完毕模型LM(神经网络401)输出的摄像装置70的拍摄图像中的物体的占有区域的位置及大小，确定该物体距挖土机100的相对位置(距离和方向)。这是因为，摄像装置70(前摄像机70F、后摄像机70B、左摄像机70L、及右摄像机70R)固定于上部回转体3，摄像范围(视场角)被预先规定(固定)。并且，当由学习完毕模型LM检测到的物体的位置在监视区域内，且分类为监视对象列表的物体的情况下，判定部344判定为在监视区域内检测到了监视对象的物体。
例如，神经网络401可以构成为具有分别相当于提取拍摄图像中的物体所存在的占有区域(窗口)的处理、及确定所提取的区域的物体的种类的处理的神经网络。即，神经网络401可以构成为阶段性地进行物体的检测、物体的分类。并且，例如，神经网络401也可以为构成为具有与按拍摄图像的全区域被划分为规定数量的部分区域的每个网格单元规定物体的分类及物体的占有区域(边界框：Bounding box)的处理、及根据每个网格单元的物体的分类结合每个种类的物体的占有区域而确定最终的物体的占有区域的处理分别相对应的神经网络。即，神经网络401也可以构成为并列进行物体的检测、物体的分类。
判定部344例如按每个规定的控制周期，计算拍摄图像上的每个物体的种类的预测概率。在计算预测概率时，当本次的判定结果与上次的判定结果一致的情况下，判定部344也可以进一步提高本次的预测概率。例如，相对于在上次判定时反映在拍摄图像上的规定的区域的物体被判定为"人"(y1)的预测概率，本次也持续被判定为"人"(y1)的情况下，可以进一步提高被判定为本次的"人"(y1)的预测概率。由此，例如，当关于与相同图像区域相关的物体的分类的判定结果持续一致的情况下，预测概率被计算得相对较高。因此，判定部344能够抑制误判定。
并且，判定部344可以考虑挖土机100的行走或回转等的动作，进行与拍摄图像上的物体相关的判定。这是因为，即使挖土机100的周围的物体静止的情况下，由于挖土机100的行走或回转，拍摄图像上的物体的位置会移动，有可能无法识别为相同物体。例如，由于挖土机100的行走或回转，有可能存在在本次的处理中被判定为"人"(y1)的图像区域和在上次的处理中被判定为"人"(y1)的图像区域不同的情况。此时，若在本次的处理中被判定为"人"(y1)的图像区域距在上次的处理中被判定为"人"(y1)的图像区域在规定的范围内，则判定部344将其视为相同物体，可以进行持续的一致判定(即，持续检测相同物体的状态的判定)。当判定部344进行持续的一致判定的情况下，本次的判定中使用的图像区域除了上次的判定中使用的图像区域之外，还可以包括该图像区域到规定的范围内的图像区域。由此，即使挖土机100行走或者回转，判定部344也能够对挖土机100的周围的相同物体进行持续的一致判定。
并且，如图4B所示，神经网络401也可以构成为，输入摄像装置70的拍摄图像作为输入信号x，能够输出在拍摄图像上检测到的人的各部位的状态作为输出信号y。在本例中，神经网络401按照时间顺序输出与右手臂的状态、左手臂的状态、右手掌的状态、左手掌的状态分别相对应的输出信号y1(t)～y4(t)。输出信号y1(t)～y4(t)表示时刻t中的输出信号y1～y4。由此，判定装置34能够根据从时刻t1～tn之间的多个拍摄图像获得的输出信号y1～y4的变化，即右手臂的状态、左手臂的状态、右手掌的状态及左手掌的状态的变化，识别反映在摄像装置70的拍摄图像中的作业者的手势的动作。如此，根据物体的各部位的时序变化，可以计算输入到分类数据表的物体的每个动作内容的概率。并且，将最高的动作内容识别为所检测到的物体的动作内容。具体而言，本例子的情况下，判定装置34能够识别作业者的请求紧急停止的手势。
例如，在时刻t1中，神经网络401输出与上扬的右手臂、张开的右手掌、上扬的左手臂、及张开的左手掌相对应的输出信号y1(t1)～y4(t1)。之后，在时刻t2中，输出与下降的右手臂、张开的右手掌、下降的左手臂、及张开的左手掌相对应的输出信号y1(t2)～y4(t2)。并且，通过重复时刻t1，t2的输出信号y1～y4的状态直到时刻tn，判定装置34可以根据神经网络401在时刻t1～时刻tn之间的输出信号y1～y4(即，判定部344的判定结果)，识别反映在摄像装置70的拍摄图像的作业者的请求紧急停止的手势。此时，按“附属装置抬起”、“附属装置下降”、“水平移动(回转)”、“水平移动(行走)”、“履带转向”、“停止”、“紧急停止”、及“解除”等作业者的每个动作内容(手势的内容)计算概率。并且，将计算出最高的概率的“紧急停止”识别为作业者请求的手势。由此，判定装置34能够向控制器30输出请求紧急停止信号，控制器30(动作控制部304)能够根据该信号，使驱动被驱动要件的致动器的动作停止。如此，控制器30能够根据挖土机100的周围的物体的动作内容控制致动器。
基于判定部344的判定结果例如通过显示控制部342显示于显示装置40。
例如，如图5所示，在显示装置40中显示有主画面41V，在主画面41V中的摄像机图像显示区域41m中显示有摄像装置70的拍摄图像。该拍摄图像为与图4A的输入信号x相对应的拍摄图像。并且，在主画面41V中，除了摄像机图像显示区域41m，还包括日期和时间显示区域41a、行走模式显示区域41b、附属装置显示区域41c、平均油耗率显示区域41d、发动机控制状态显示区域41e、发动机工作时间显示区域41f、冷却水温度显示区域41g、燃料剩余量显示区域41h、转速模式显示区域41i、尿素水剩余量显示区域41j、工作油温度显示区域41k。
日期和时间显示区域41a在主画面41V中是表示当前的日期和时间的区域。
行走模式显示区域41b在主画面41V中是显示表示挖土机100的当前的行走模式的图形的区域。
附属装置显示区域41c在主画面41V中是显示模拟地表示当前安装于挖土机100的附属装置的种类的图形的区域。
平均油耗率显示区域41d在主画面41V中是表示挖土机100当前的平均油耗率的区域。平均油耗率例如是规定时间内燃料消耗量。
发动机控制状态显示区域41e在主画面41V中是显示模拟地表示发动机11的控制状态的图形的区域。
发动机工作时间显示区域41f在主画面41V中是表示从规定的时刻起的发动机11的总工作时间的区域。
冷却水温显示区域41g在主画面41V中是表示当前的发动机11的冷却水的温度状态的区域。
燃料剩余量显示区域41h在主画面41V中是表示储存在挖土机100的燃料箱的燃料的剩余量状态的区域。
转速模式显示区域41i是表示与当前的发动机11的设定转速相关的模式(转速模式)的区域。
尿素水剩余量显示区域41j在主画面41V中是表示储存在尿素水箱的尿素水的剩余量状态的区域。
在本例子中，在摄像机图像显示区域41m显示有摄像装置70中的后摄像机70B的拍摄图像，在该拍摄图像中，反映有在挖土机100的后方进行作业的作业人员PS、停在挖土机100的后方的卡车TK。
如上所述，判定部344通过向学习完毕模型LM(神经网络401)输入后摄像机70B的拍摄图像的图像数据，能够获取从学习完毕模型LM输出的、拍摄图像中的物体的占有区域及该占有区域的物体的种类。由此，在本例子中，将从学习完毕模型LM输出的、围绕分类为“人”的物体(作业人员PS)的占有区域的实施方式的框图标501、及表示所检测(分类)到的物体为人的字符信息图标502叠加显示在拍摄图像上。并且，将从学习完毕模型LM输出的围绕分类为“卡车”的物体(卡车TK)的占有区域的实施方式的框图标503及、表示所检测(分类)到的物体为卡车的字符信息图标504叠加显示在拍摄图像上。由此，操作者等能够容易地识别所检测到的物体，并且能够容易地识别所检测到的物体的种类。并且，在显示装置40的摄像机图像显示区域41m中，可以一起显示基于判定部344进行判定时所使用的、上述的预测概率，具体而言为存在“人”的预测概率或存在“卡车”的预测概率。并且，在操作者操作操作装置26之前，判定为在挖土机100的周围的规定范围内存在人的情况下，即使操作者操作操作杆，控制器30(动作控制部304)也可以将致动器限制为不能动作、或者在微速状态下的动作。具体而言，液压先导式操作装置26的情况下，当判定为在挖土机100的周围的规定范围内存在人的情况下，控制器30能够通过将门锁阀设为锁定状态来使致动器不能动作。电气式操作装置26的情况下，通过使从控制器30到操作用控制阀的信号无效，能够使致动器不能动作。当使用其他方式的操作装置26的情况下，当使用输出与来自控制器30的控制指令相对应的先导压，并使该先导压作用于控制阀内的对应的控制阀的先导端口的操作用控制阀的情况下也是相同的。在欲使致动器的动作微速的情况下，通过使从控制器30到操作用控制阀的控制信号限制为与相对小的先导压相对应的内容，能够使致动器的动作成为微速状态。如此，当判定为所检测到的物体存在于挖土机100的周围的规定范围内时，即使操作操作装置26，致动器也不会被驱动，或者以低于与对操作装置26的操作输入相对应的动作速度的动作速度(微速)被驱动。而且，操作者在对操作装置26的操作中，当判定为在挖土机100的周围的规定范围内存在人的情况下，不管操作者的操作如何，都可以使致动器停止动作或者减速。具体而言，当操作装置26为液压先导式的情况下，当判定为在挖土机100的周围的规定范围内存在人的情况下，控制器30通过将门锁阀设为锁定状态来使致动器停止。并且，当使用输出与来自控制器30的控制指令相对应的先导压，并使该先导压作用于与控制阀内的对应的控制阀的先导端口的操作用控制阀的情况下，控制器30通过使向操作用控制阀的信号无效，或者向操作用控制阀输出减速指令，能够使致动器不能动作或使其动作减速。并且，当所检测到的物体为卡车的情况下，也可以不实施与致动器的停止或者减速相关的控制。例如，可以控制致动器，以避免检测到的卡车。如此，识别出检测到的物体的种类，并根据该识别控制致动器。
另外，摄像装置70的拍摄图像可以显示于显示装置40的显示区域整体。并且，可以在显示装置40上显示基于上述摄像装置70的拍摄图像的转换图像(例如，上述的合成视角转换图像)，此时，可以在转换图像上的相当于物体的占有区域的部分叠加显示框图标或字符信息图标。并且，当远程操作挖土机100的情况下，与图5相同的内容可以显示于管理装置200的显示装置(例如，显示装置230)。
在存储部346中，存储有学习完毕模型LM。当通过通信设备90从管理装置200接收到更新版的学习完毕模型(即，如下述进行了追加学习的学习完毕模型(以下，称为“追加学习完毕模型”))的情况下，存储部346的学习完毕模型LM更新为所接收到的追加学习完毕模型。由此，判定部344能够利用在管理装置200中进行了追加学习的追加学习完毕模型，因此能够根据学习完毕模型的更新来提高与挖土机100的周围的物体相关的判定精度。
＜管理装置的结构＞
管理装置200包括控制装置210、通信设备220、显示装置230、输入装置240。
控制装置210控制管理装置200的各种动作。控制装置210例如作为功能部，包括判定部2101、示教用数据部2102及学习部2103，所述功能部通过在CPU上执行存储于ROM或非易失性辅助存储装置的一个以上的程序来实现的。并且，控制装置210例如包括存储部2104、存储部2105作为在辅助存储装置等非易失性内部存储器等中被规定的存储区域的。
通信设备220为与通信网络连接并与多个铲土机100等外部进行通信的任意的器件。
显示装置230例如为液晶显示器或有机EL显示器，在控制器210的控制下，显示各种信息图像。
输入装置240接收来自使用者的操作输入。输入装置240例如包括安装于液晶显示器或有机EL显示器上的触摸面板。并且，输入装置240可以包括触控板、键盘、鼠标、追踪球等。与输入装置240的操作状态相关的信息输入到控制装置210。
判定部2101使用存储于存储部2105的由学习部2103进行了机器学习的学习完毕模型LM，根据从多个挖土机100接收到的拍摄图像IM1(即，从存储部2104读取到的拍摄图像IM1(路径2101A))，进行与挖土机100的周围的物体相关的判定。具体而言，判定部2101通过从存储部346将学习完毕模型LM加载到RAM等主存储装置(路径2101B)，并使CPU执行，根据从存储部2104读取到的拍摄图像IM1，进行与挖土机100的周围的物体相关的判定。更具体而言，判定部2101将存储于存储部2104的多个拍摄图像IM1依次输入至学习完毕模型LM，进行与挖土机100的周围的物体相关的判定。将判定部2101的判定结果2101D输入至示教数据生成部2102。此时，判定结果2101D可以按拍摄图像IM1依次输入到示教数据生成部2102，例如，也可以在通过列表化等进行汇总之后，将判定结果2101D输入到示教数据生成部2102。
示教数据生成部2102(示教信息生成部的一例)根据从多个挖土机100接收到的多个拍摄图像IM1来生成用于使学习部2103对学习模型进行机器学习的示教数据(示教信息的一例)。示教数据表示任意的拍摄图像IM1与将该拍摄图像IM1作为学习模型的输入时的学习模型应该输出的正解的组合。并且，学习模型为机器学习的对象，理所当然地，具有与学习完毕模型LM相同的结构，例如以上述的神经网络401为中心而构成。
例如，示教数据生成部2102从存储部2104读取从多个挖土机100接收到的拍摄图像IM1(路径2102A)，并将其显示于显示装置40，并且显示用于管理装置200的管理者或作业者等制作示教数据的GUI(Graphical User Interface：图形用户界面)(以下，称为“示教数据制作用GUI”)。并且，管理者或作业者等使用输入装置240操作示教数据制作用GUI，指示分别与拍摄图像IM1相对应的正解，由此制作遵循学习模型的算法的形式的示教数据。换言之，示教数据生成部2102能够根据由以多个拍摄图像IM1作为对象的管理者或作业者等进行的操作(作业)来生成多个示教数据(示教数据集)。
并且，示教数据生成部2102根据从多个挖土机100接收到的多个拍摄图像IM1来生成用于使学习部2103对学习完毕模型LM进行追加学习的示教数据。
例如，示教数据生成部2102从存储部2104读取多个拍摄图像IM1(路径2102A)，并将各个拍摄图像IM1和与该拍摄图像IM1相对应的判定部2101的判定结果(输出结果)2101D并排显示于显示装置230。由此，管理装置200的管理者或操作者等能够通过输入装置240，从显示于显示装置230的拍摄图像IM1和与其对应的判定结果的组合中，选择与误判定相对应的组合。并且，管理者或作业者等使用输入装置240，操作示教数据制作用GUI，能够制作表示与误判定相对应的组合的拍摄图像IM1即对学习完毕模型LM进行了误判定的拍摄图像IM1，和输入该拍摄图像IM1时学习完毕模型LM应该输出的正解的组合的追加学习用的示教数据。换言之，示教数据生成部2102能够根据基于以拍摄图像IM1为对象的管理者或作业者等进行的操作(作业)来生成追加学习用的多个示教数据(示教数据集)，所述拍摄图像IM1与从多个拍摄图像IM1中选择的学习完毕模型LM中的误判定相对应。
即，示教数据生成部2102通过从多个挖土机100接收到的多个拍摄图像IM1来生成用于生成最初的学习完毕模型LM的示教数据。并且，示教数据生成部2102，按每个规定的时刻(以下，称为“追加学习时刻”)，根据拍摄图像IM1来生成追加学习用的示教数据，所述拍摄图像IM1为从最近的学习完毕模型LM安装于多个挖土机100之后从多个挖土机100接收到的拍摄图像IM1中选择的、学习完毕模型LM进行误判定的拍摄图像。
另外，从多个挖土机100分别接收到的拍摄图像IM1的一部分，可以用作学习完毕模型LM的验证用数据集的基础。即，从多个挖土机100分别接收到的拍摄图像IM1可以分为示教数据生成用的拍摄图像IM1和验证用数据集生成用的拍摄图像IM1。
关于追加学习时刻，可以是定期规定的时刻，例如，从上次的机器学习(追加学习)起经过了一个月时。并且，关于追加学习的时刻，例如，可以是拍摄图像IM1的张数超过规定阈值时，即，收集到由学习部2103进行追加学习时所需的张数的拍摄图像IM1的时刻。
学习部2103根据由示教数据生成部2102生成的示教数据2102B(示教数据集)，使学习模型进行机器学习来生成学习完毕模型LM。并且，所生成的学习完毕模型LM在使用预先准备的验证用数据集实施了精度验证之后，将其存储到存储部2105(路径2103B)。
并且，学习部2103根据由示教数据生成部2102生成的示教数据(示教数据集)，使从存储部2105读取的学习完毕模型LM(路径2103A)进行追加学习，从而生成追加学习完毕模型。并且，追加学习完毕模型使用预先准备的验证用数据集实施了精度验证之后，存储部2105的学习完毕模型LM更新为实施了精度验证的追加学习完毕模型(路径2103B)。
例如，如上所述，当学习模型以神经网络401为中心构成的情况下，学习部2103通过应用误差反向传播(Back Propagation)等已知的算法，进行加权参数的最优化，以使学习模型的输出与示教数据的误差变小，从而生成学习完毕模型LM。关于追加学习完毕模型的生成也相同。
另外，从学习模型生成的最初的学习完毕模型LM可以由与管理装置200不同的外部装置生成。此时，可以为示教数据生成部2102仅生成追加学习用的示教数据，学习部2103仅进行追加学习完毕模型的生成的结构。
在存储部2104中存储(保存)通过通信设备220从多个挖土机100分别接收到的拍摄图像IM1。
另外，已用于由示教数据生成部2102生成示教数据的拍摄图像IM1也可以保存到与存储部2104不同的存储装置。
在存储部2105中存储(保存)学习完毕模型LM。更新为由学习部2103生成的追加学习完毕模型的学习完毕模型LM，可以在规定的时刻(以下，称为“模型发送时刻”)，通过通信设备220(模型发送部的一例)发送到多个挖土机100的每一个。由此，能够在多个挖土机100之间，共享所更新的相同的学习完毕模型LM，即追加学习完毕模型。
模型发送时刻可以为存储部2105的学习完毕模型LM被更新时(即，学习完毕模型LM更新后的紧随的时刻)，或者更新后经过了规定时间的时刻等。并且，模型发送时刻例如可以为，在学习完毕模型LM的更新后，当通过通信设备220接收到对通过通信设备220发送到多个挖土机100的学习完毕模型LM的更新通知的确认回复时。
[挖土机支援系统的具体动作]
接着，参考图6，对挖土机支援系统SYS的具体的动作进行说明。
图6是表示挖土机支援系统SYS的动作的一例的时序图。
在步骤S10中，多个挖土机100的通信设备90在各个图像发送时刻，向管理装置200发送拍摄图像IM1。由此，管理装置200通过通信设备220接收来自多个挖土机100的每一个的拍摄图像IM1，并将其积蓄存储到存储部2104。
在步骤S12中，管理装置200的判定部2101将从多个挖土机100接收并存储到存储部2104的多个拍摄图像IM1输入到学习完毕模型LM，并进行判定处理。
在步骤S14中，管理装置200的管理者或作业者等验证基于学习完毕模型LM的判定结果，并通过输入装置240从多个拍摄图像IM中指定(选择)在学习完毕模型LM中被误判定的拍摄图像IM。
在步骤S16中，管理装置200的示教数据生成部2102根据由管理者或作业者等通过输入装置240进行的示教数据制作用GUI的操作来生成追加学习用的示教数据集。
在步骤S18中，管理装置200的学习部2103使用追加学习用的示教数据集进行学习完毕模型LM的追加学习来生成追加学习完毕模型，并将存储部2104的学习完毕模型LM更行为追加学习完毕模型。
在步骤S20中，管理装置200的通信设备220将更新版的学习完毕模型LM分别发送到多个挖土机100。
另外，更新版的学习完毕模型LM被发送到挖土机100的时刻(模型发送时刻)，如上所述，可以根据多个挖土机100的每一个而不同。
在步骤S22中，多个挖土机100分别将存储部346的学习完毕模型LM更新为从管理装置200接收到的更新版的学习完毕模型。
[挖土机支援系统的结构的另一例]
接着，参考图7，对本实施方式所涉及的挖土机支援系统SYS的结构的另一例进行说明。
图7是表示本实施方式所涉及的挖土机支援系统SYS的功能结构的另一例的功能框图。以下，在本例子中，以与上述的一例(图3)不同的部分为中心进行说明。
＜挖土机的结构＞
作为与控制系统相关的结构，挖土机100与上述的一例相同，包括记录装置32和判定装置34等，记录装置32与上述的一例相同，包括记录控制部322和存储部324。
记录控制部322与上述的一例相同，在规定的记录时刻，将摄像装置70(前摄像机70F、后摄像机70B、左摄像机70L、及右摄像机70R)的拍摄图像记录到存储部324。此时，记录控制部322一并记录基于记录对象的拍摄图像的判定部344，即，学习完毕模型LM的判定结果。在本例子中，记录控制部322将包含与判定结果相关的信息(判定信息)作为标签信息等的拍摄图像(以下，称为“带有判定信息的拍摄图像”)IM2记录到存储部324。
另外，拍摄图像和判定信息也可以作为不同的文件而被记录，此时，在存储部324中，将拍摄图像和判定信息建立关联即可。
在存储部324中，在从挖土机100启动后的初期处理结束后到挖土机100停止为止的期间中，在基于记录控制部322的控制下，如上所述，记录带有判定信息的拍摄图像IM2。记录到存储部324的一个或多个带有判定信息的拍摄图像IM2，在规定的图像发送时刻，通过通信设备90，发送到管理装置200。
＜管理装置的结构＞
管理装置200与上述的一例相同，包括控制装置210、通信设备220、显示装置230、输入装置240，控制装置210包括示教数据生成部2102、学习部2103、存储部2104、存储部2105。即，在本例子中，与图3的一例不同，省略了判定部2101。
示教数据生成部2102根据通过通信设备220从多个挖土机100接收并存储到存储部2104的多个带有判定信息的拍摄图像IM2来生成用于使学习部2103对学习完毕模型LM进行追加学习的示教数据。
例如，示教数据生成部2102并排显示在带有判定信息的拍摄图像IM2中所包括的拍摄图像和判定信息。由此，管理装置200的管理者或操作者等能够通过输入装置240，从显示于显示装置230的拍摄图像和对应的判定信息(判定结果)的组合中，选择与误判定相对应的组合。并且，管理者或作业者等使用输入装置240，操作示教数据制作用GUI，能够制作表示与误判定的组合相对应的拍摄图像，和输入该拍摄图像时学习完毕模型LM应该输出的正解的组合的追加学习用的示教数据。换言之，示教数据生成部2102能够根据基于以拍摄图像为对象的管理者或作业者等进行的操作(作业)来生成追加学习用的多个示教数据(示教数据集)，所述拍摄图像与从多个拍摄图像中选择的学习完毕模型LM中的误判定相对应。并且，在本例子中，在管理装置200侧，无须进行将从多个挖土机100接收到的多个拍摄图像输入到学习完毕模型LM来获得判定结果的处理，从而能够提高追加学习所涉及的处理效率。
[挖土机支援系统的结构的又一例]
接着，参考图8，对本实施方式所涉及的挖土机支援系统SYS的结构的又一例进行说明。
图8是表示本实施方式所涉及的挖土机支援系统SYS的功能结构的又一例的功能框图。以下，在本例子中，以与上述的一例(图3)不同的部分为中心进行说明。
＜管理装置的结构＞
管理装置200包括控制装置210、通信设备220、显示装置230、输入装置240、计算机图形生成装置(以下，称为“CG(Computer Graphics：计算机图形)图像生成装置”)250。
CG图像生成装置250根据由管理装置200的作业者等进行的操作来生成表示作业现场中的挖土机100的周围的情况的计算机图形(以下，称为“CG图像”)IM3。例如，CG图像生成装置250例如以包括CPU、RAM等的存储器装置、ROM等的辅助存储装置、及各种输入输出用的接口装置等的计算机为中心构成，并且预先安装有作业者等能够制作CG图像IM3的应用软件。并且，作业者等通过规定的输入装置，在CG图像生成装置250的显示画面上制作CG图像IM3。由此，CG图像生成装置250根据由管理装置200的作业者等进行的作业(操作)，能够生成表示作业现场中的挖土机100的周围的情况的CG图像IM3。并且，CG图像生成装置250根据实际的挖土机100的周围的拍摄图像(例如，拍摄图像IM1)，能够生成与拍摄图像相对应的气象条件、与日照条件不同的气象条件、日照条件下的与作业环境等相对应的CG图像IM3。由CG图像生成装置250生成的CG图像IM3输入到控制装置210。
另外，CG图像IM3也可以在管理装置200的外部生成(制作)。
控制装置210与上述的一例相同，包括判定部2101、示教数据生成部2102、学习部2103、存储部2104、存储部2105。
判定部2101使用存储于存储部2105的由学习部2103进行了机器学习的学习完毕模型LM，根据从存储部2104读取的多个拍摄图像IM1(路径2101A)及CG图像IM3(路径2101C)，进行与挖土机100的周围的物体相关的判定。具体而言，判定部2101通过从存储部346将学习完毕模型LM加载到RAM等主存储装置(路径2101B)，并使CPU执行，由此，根据从存储部2104读取到的拍摄图像IM1及CG图像IM3，进行与挖土机100的周围的物体相关的判定。更具体而言，判定部2101将存储于存储部2104的多个拍摄图像IM1及CG图像IM3依次输入至学习完毕模型LM，并进行与挖土机100的周围的物体相关的判定。将判定部2101的判定结果2101D输入至示教数据生成部2102。此时，判定结果2101D可以按多个拍摄图像IM1及CG图像IM3依次输入到示教数据生成部2102，例如，也可以在通过列表化等进行汇总之后，输入到示教数据生成部2102。
示教数据生成部2102根据从多个挖土机100接收到的多个拍摄图像IM1及在CG图像生成装置250中生成的(存储到存储部2104中的)CG图像IM3来生成用于使学习部2103对学习模型进行机器学习的示教数据。
例如，示教数据生成部2102从存储部2104读取从多个挖土机100接收到的拍摄图像IM1及在CG图像生成装置250中生成的CG图像IM3(路径2102A、路径2102C)，并显示于显示装置40，且显示示教数据制作用GUI。并且，管理者或作业者等使用输入装置240，操作示教数据制作用GUI，指示分别与拍摄图像IM1或CG图像IM3相对应的正解，由此制作遵循学习模型的算法的形式的示教数据。换言之，示教数据生成部2102能够根据管理者或作业者等对多个拍摄图像IM1及CG图像IM3进行的操作(作业)来生成多个示教数据(示教数据集)。
并且，示教数据生成部2102根据从多个挖土机100接收到的多个拍摄图像IM1及在CG图像生成装置250中生成的(存储到存储部2104中的)CG图像IM3来生成用于使学习部2103对学习完毕模型LM进行追加学习的示教数据。
示教数据生成部2102从存储部2104读取多个拍摄图像IM1及CG图像IM3(路径2102A、路径2102C)，并将各自的拍摄图像IM1或者CG图像IM3、及与该拍摄图像IM1或者CG图像IM3对应的判定部2101(学习完毕模型LM)的判定结果(输出结果)并排显示于显示装置230。由此，管理装置200的管理者或操作者等能够通过输入装置240，从与显示于显示装置230的与拍摄图像IM1或者CG图像IM3对应的学习完毕模型LM的判定结果的组合中，选择与误判定相对应的组合。并且，管理者或作业者等使用输入装置240操作示教数据作成用GUI，能够制作表示与误判定的组合相对应的拍摄图像IM1或者CG图像IM3和输入该拍摄图像IM1或者CG图像IM3时学习完毕模型LM应该输出的正解的组合的追加学习用的示教数据。换言之，示教数据生成部2102能够根据管理者或作业者等对从多个拍摄图像IM1及CG图像IM3中选择的、与学习完毕模型LM中的误判定相对应的拍摄图像IM1及CG图像IM3的至少一个进行的操作(作业)来生成追加学习用的多个示教数据(示教数据集)。由此，除了从多个挖土机100收集的拍摄图像IM1以外，还能够利用CG图像IM3生成示教数据，因此能够实现示教数据的充实化。尤其，在CG图像IM3中，能够虚拟地自由创建各种作业现场的状况，即，各种环境条件。因此，通过利用CG图像IM3生成示教数据集，学习完毕模型LM能够在更早的时刻，实现与各种作业现场相对应的相对高的判定精度。
另外，由于人为制作由CG图像生成装置250生成的CG图像IM3，因此CG图像IM3中的人、卡车、桥塔、电线柱等监视对象的有无或其位置等是已知的，即，输入CG图像IM3时的学习完毕模型LM应该输出的正解是已知的。因此，CG图像生成装置250能够与CG图像IM3一起，将与输入CG图像IM3时学习完毕模型LM应该输出的正解相关的数据(以下，称为“正解数据”)输出到控制装置210。由此，控制装置210(示教数据生成部2102)能够根据由CG图像生成装置250输入的正解数据，自动提取将CG图像IM3作为输入的基于学习完毕模型LM(判定部2101)的判定处理中的误判定，自动生成表示与所提取到的误判定相对应的CG图像IM3与输入CG图像IM3时学习完毕模型LM应该输出的正解的组合的追加学习用的多个示教数据(示教数据集)。并且，学习部2103能够根据由示教数据生成部2102自动生成的示教数据，进行学习完毕模型LM的追加学习，例如，上述的误差反向传播(Back Propagation)等。即，控制装置210也能够根据由CG图像生成装置250生成的CG图像IM3及正解数据，自动生成追加学习完毕模型。
[作用]
接着，对上述本实施方式所涉及的挖土机支援系统SYS的作用进行说明。
在本实施方式中，摄像装置70获取自身所搭载的挖土机100(以下，称为“本挖土机”)的周围的拍摄图像。并且，判定部344使用进行了机器学习的学习完毕模型LM，根据由摄像装置70获取到的拍摄图像IM1，进行与本挖土机的周围的物体相关的判定。并且，学习完毕模型LM更新为如下追加学习完毕模型，所述追加学习完毕模型根据所获取的环境信息，具体而言，根据由本挖土机及其他挖土机100(以下，称为“其他挖土机”)获取到的摄像装置70的拍摄图像所生成的示教数据进行了追加学习追加学习完毕模型，并且当学习完毕模型LM更新的情况下，判定部344使用所更新的学习完毕模型LM，根据由摄像装置70获取到的拍摄图像，进行上述判定。
具体而言，管理装置200的示教数据生成部2102根据从挖土机100接收的、由挖土机100获取到的拍摄图像IM1来生成示教数据。并且，管理装置200的学习部2103根据由示教数据生成部2102生成的示教数据，使与在挖土机100中用于与周围的物体相关的判定的学习完毕模型相同的学习完毕模型(即，学习完毕模型LM)进行追加学习来生成追加学习完毕模型。并且，管理装置200的通信设备220将由学习部2103进行了追加学习的追加学习完毕模型发送到挖土机100，将挖土机100的学习完毕模型LM更新为追加学习完毕模型。
由此，挖土机100的学习完毕模型LM更新为如下追加学习完毕模型，所述追加学习完毕模型通过根据由本挖土机或其他挖土机在各种环境下获取到的摄像装置70的拍摄图像所生成的示教数据进行了追加学习。由此，挖土机100根据挖土机100的周围的环境信息(摄像装置70的拍摄图像)，能够提高进行与挖土机100的周围的物体相关的判定时在各种环境条件下的判定精度。
另外，获取成为示教数据的来源的周围的拍摄图像的挖土机100(第2挖土机的一例)与使用学习完毕模型LM并根据拍摄图像进行与周围的物体相关的判定的挖土机100(第1挖土机的一例)可以是不同的挖土机。此时，前者的挖土机100的摄像装置70(第2环境信息获取部的一例)获取用于生成示教数据的挖土机100的周围的拍摄图像，后者的挖土机100的摄像装置70(第1环境信息获取部的一例)获取用于进行与周围的物体相关的判定的挖土机100的周围的拍摄图像。并且，例如，管理装置200也可以是从与不具有与物体相关的判定功能的挖土机100不同的一个或多个挖土机(第2挖土机的一例)收集周围的拍摄图像，进行学习完毕模型LM的生成及更新，将学习完毕模型LM发送到挖土机100(第1挖土机的一例)的结构。即，用于由挖土机100(判定部344)进行与挖土机100的周围的物体相关的判定的学习完毕模型LM，可以更新为如下追加学习完毕模型，所述追加学习完毕模型根据由本挖土机及与本挖土机不同的其他挖土机中的至少一个获取到的环境信息(具体而言，周围的拍摄图像)所生成的示教数据进行了追加学习。
并且，在本实施方式中，包括本挖土机的多个挖土机100分别具有相同的学习完毕模型LM，并且使用该学习完毕模型LM进行与周围的物体相关的判定。即，使用学习完毕模型LM，根据周围的环境信息(摄像装置70的拍摄图像)，进行与周围的物体相关的判定的挖土机100(第1挖土机的一例)存在多个。并且，多个挖土机100的每一个所具有的学习完毕模型LM，可以更新为由管理装置200生成的相同的追加学习完毕模型。
由此，在多个挖土机100中，同样地能够实现在各种环境条件下的相对高的判定精度。
并且，在本实施方式中，学习完毕模型LM可以更新为追加学习完毕模型，所述追加学习完毕模型根据由多个挖土机100获取到的周围的拍摄图像所生成的示教数据进行了追加学习。即，获取用于生成示教数据的周围的环境信息(摄像装置70的拍摄图像)的挖土机100(第2挖土机的一例)可以存在多个。
由此，能够利用来自多个挖土机100的拍摄图像，因此能够准备与更多种环境相对应的示教数据。由此，挖土机100根据挖土机100的周围的环境信息(摄像装置70的拍摄图像)，能够进一步提高进行与挖土机100的周围的物体相关的判定时的在各种环境条件下的判定精度。
另外，学习完毕模型LM可以更新为追加学习完毕模型，所述追加学习完毕模型根据由一台挖土机100获取到的周围的拍摄图像所生成的示教数据进行了追加学习。即，获取用于生成示教数据的周围的环境信息(摄像装置70的拍摄图像)的挖土机100(第2挖土机的一例)可以为一台。
并且，在本实施方式中，记录控制部322在规定的记录时刻，记录由摄像装置70获取到的作为环境信息的拍摄图像。并且，挖土机100的学习完毕模型LM在管理装置200中，更新为追加学习完毕模型，所述追加学习完毕模型根据由记录控制部322记录的拍摄图像所生成的示教数据进行了追加学习。
由此，能够选择性地记录适合用于示教数据的品质的拍摄图像(例如，应该应用于追加学习，且容易发生误判定的动作条件下的拍摄图像或具体而言，有可能发生误判定时的拍摄图像等)。由此，能够抑制学习完毕模型LM的过度学习等，能够进一步提高与挖土机100的周围的物体相关的判定精度。
并且，在本实施方式中，规定的记录时刻可以为本挖土机的回转动作时或行走动作时。
由此，能够具体地记录作为应该应用于追加学习且容易发生误判定的动作条件的挖土机100的回转动作时或行走动作时的拍摄图像。
并且，在本实施方式中，判定部344进行与本挖土机的周围的物体的检测相关的判定。并且，规定的记录时刻可以是判定部344判定为检测到本挖土机的周围的物体时。
由此，能够记录与挖土机100的周围的物体的检测相关的误判定，即，有可能发生误检测的时点的拍摄图像。
[变形·改善]
以上，对实施方式进行了详细说明，但本发明并不限定于该特定实施方式，在技术方案的主旨范围内，能够进行各种变形·变更。
例如，在上述实施方式中，作为针对学习完毕模型LM的输入信息的挖土机100的周围的环境信息为摄像装置70的拍摄图像，但并不限定于该实施方式。具体而言，针对学习完毕模型LM的输入信息例如可以为来自搭载于挖土机100的LIDAR(Light Detecting andRanging：光探测和测距)、毫米波雷达、距离图像传感器等任意的空间识别传感器(环境信息获取部的一例)的输出信息(距离图像数据或反射波的频谱数据等)。此时，管理装置200根据从多个挖土机100接收到的、从空间识别传感器的输出信息生成的示教数据，进行学习模型的机器学习或学习完毕模型LM的追加学习。
并且，在上述实施方式及变形例中，可以生成一个学习完毕模型LM，并且在一个学习完毕模型LM中进行与挖土机100的周围的物体相关的判定，但并不限定于该实施方式。具体而言，也可以生成按挖土机100的周围的预先规定的多个环境条件的学习完毕模型，并且在选择了与挖土机100的周围的环境条件匹配的学习完毕模型之后，利用所选择的学习完毕模型进行与挖土机100的周围的物体相关的判定。此时，在挖土机100的周围的环境条件中，例如，能够包括雨、晴天、阴天等天气条件和映入拍摄图像的背景的种类(例如，映入住宅的住宅街、映入森林的山区等地理条件和有无铺装等条件)等。由此，学习完毕模型与各个环境条件相匹配地进行追加学习，因此挖土机100能够提高按环境条件的判定精度。
并且，在上述实施方式及变形例中，可以生成应用了以神经网络为中心的机器学习的方式的学习完毕模型LM，但也可以代替神经网络或者除了神经网络之外，另外应用其他机器学习的方式。
例如，图9是表示基于学习完毕模型LM的判定处理的其他例的示意图。具体而言，图9是概念性地示出了作为机器学习的方式应用了支持向量机(Support Vector Machine：SVM)时的与物体相关的判定方法的图。
如图9所示，在二维平面上，将由挖土机100获取到的、从挖土机100的周围的环境信息(例如，摄像装置70的拍摄图像)提取的规定的特征量的二维的矢量信息(以下，称为“特征量矢量”)标绘为示教数据。
例如，假设特征量矢量组902(图中的白色圆的标绘组)及特征量矢量组903(图中的黑色圆的标绘组)分别对应于不存在物体的情况及存在物体的情况下的环境信息。然后，能够通过SVM的方式，在作为示教数据的特征量矢量组902及以黑色圆标绘的特征量矢量组903之间，规定分离直线901。由此，通过使用分离直线901，能够根据由挖土机100获取到的环境信息计算特征量矢量，并且根据所计算出的特征量矢量从分离直线901观察时是位于特征量矢量组902侧还是位于特征量矢量组903侧而能够进行与有无物体的存在相关的判定，即，物体检测例如，由于特征量矢量904从分离直线901观察时位于特征量矢量组903侧，因此能够根据由挖土机100获取到的环境信息识别物体的存在，检测物体。以相同的方法，也能够进行所检测的物体的分类(是特定种类的物体还是除此以外的种类的物体的分类)。
具体而言，作为特征量矢量，例如，可以使用摄像装置70的拍摄图像的HOG(Histogram of Oriented Gradients：方向梯度直方图)特征量或LBP(Local BinaryPattern：局部二值模式)特征量等图像特征量。并且，特征量矢量通常在超过三维的多维空间上被确定，因此当将与特征量矢量相对应的多维空间分类为有无物体的存在或特定的种类的物体(例如，"人")和除此以外的种类的物体的情况下，通过SVM的方式来规定分离超平面。
如此，通过应用SVM的方式，管理装置200能够根据由多个挖土机100收集的多个环境信息生成作为示教数据的特征量矢量，并根据示教数据规定与学习完毕模型LM相对应的分离超平面。并且，管理装置200可以在规定分离超平面之后，进一步根据从多个挖土机100收集的环境信息生成作为追加的示教数据的特征量矢量，并根据以往的示教数据和追加的示教数据更新分离超平面。由此，与上述的实施方式相同，挖土机100能够根据挖土机100的周围的环境信息，提高进行与挖土机100的周围的物体相关的判定时的各种环境条件下的判定精度。
并且，除了神经网络或SVM，还能够应用其他机器学习的方式，例如，基于随机森林等决策树的方式、最近邻法、单纯贝叶斯分类器等已知的方式。
并且，在上述实施方式及变形例中，挖土机100使用学习完毕模型LM进行与周围的物体相关的判定，但其他的施工机械也可以使用学习完毕模型LM进行与周围的物体相关的判定。即，上述实施方式所涉及的挖土机支援系统SYS代替挖土机100或者除了挖土机100以外，也可以是包括推土机、轮式装载机、沥青滚平机等道路机械或具备收获割等林业机械等其他施工机械的实施方式。
本申请主张基于2018年10月31日于日本申请的日本专利申请2018-205906号的优先权，该日本专利申请的全部内容通过参考援用于本说明书中。
符号说明
30-控制器，32-记录装置，34-判定装置，40-显示装置，70-摄像装置(环境信息获取部、第1环境信息获取部、第2环境信息获取部)，90-通信设备(环境信息发送部)，100-挖土机(第1挖土机、第2挖土机)，200-管理装置(外部装置)，210-控制装置，220-通信设备(模型发送部)，230-显示装置，240-输入装置，250-计算机图形生成装置，302-通知部，304-动作控制部(控制部)，322-记录控制部(记录部)，324-存储部，342-显示控制部，344-判定部，346-存储部，2101-判定部，2102-示教数据生成部(示教信息生成部)，2103-学习部，2104、2105-存储部，IM1-拍摄图像，IM2-带有判定信息的拍摄图像，IM3-计算机图形，LM-学习完毕模型，SYS-挖土机支援系统。

Claims (13)

1.一种挖土机，其具备：
环境信息获取部，其获取挖土机的周围的环境信息；以及
判定部，其使用进行了机器学习的学习完毕模型，根据由所述环境信息获取部获取到的环境信息，进行与挖土机的周围的物体相关的判定，
所述学习完毕模型被更新为根据由所获取的环境信息生成的示教信息进行了追加学习的追加学习完毕模型，
当所述学习完毕模型被更新了的情况下，所述判定部使用所更新的所述学习完毕模型，根据由所述环境信息获取部获取到的环境信息，进行所述判定。
2.根据权利要求1所述的挖土机，其中，
所述学习完毕模型被更新为根据由本挖土机及与本挖土机不同的其他挖土机中的至少一个获取到的环境信息所生成的所述示教信息进行了追加学习的追加学习完毕模型。
3.根据权利要求1所述的挖土机，其中，
包括本挖土机的多个挖土机具有相同的所述学习完毕模型，并且使用所述学习完毕模型进行所述判定，
所述多个挖土机分别所具有的所述学习完毕模型更新为所述追加学习完毕模型。
4.根据权利要求1所述的挖土机，其中，
所述学习完毕模型被更新为根据由多个挖土机获取到的周围的环境信息所生成的所述示教信息进行了所述追加学习的所述追加学习完毕模型。
5.根据权利要求1所述的挖土机，其还具备：
记录部，其在规定的时刻，记录由所述环境信息获取部获取到的环境信息，
所述学习完毕模型被更新为根据由所述记录部记录的环境信息所生成的所述示教信息进行了追加学习的所述追加学习完毕模型。
6.根据权利要求5所述的挖土机，其中，
所述规定的时刻为本挖土机的回转动作时或行走动作时。
7.根据权利要求5所述的挖土机，其中，
所述判定部进行与本挖土机的周围的物体的检测相关的判定，
所述规定的时刻为所述判定部判定为检测到本挖土机的周围的物体时。
8.根据权利要求1所述的挖土机，其还具备：
致动器；以及
控制部，其根据所述判定，控制所述致动器。
9.根据权利要求1所述的挖土机，其具备：
操作装置；以及
致动器，其根据相对于所述操作装置的操作而被驱动，
当根据所述判定，判定为所述物体存在于本挖土机的周围的规定范围内时，即使操作所述操作装置，所述致动器也不被驱动。
10.一种挖土机支援系统，其包括：
第1挖土机、第2挖土机、能够与所述第1挖土机及所述第2挖土机进行通信的外部装置，所述挖土机支援系统具备：
第1环境信息获取部，其设置于所述第1挖土机，获取所述第1挖土机的周围的环境信息；
判定部，设置于所述第1挖土机，使用进行了机器学习的学习完毕模型，根据由所述第1环境信息获取部获取到的环境信息，进行与所述第1挖土机的周围的物体相关的判定；
第2环境信息获取部，其设置于所述第2挖土机，获取所述第2挖土机的周围的环境信息；
记录部，其设置于所述第2挖土机，记录由所述第2环境信息获取部获取到的环境信息；
环境信息发送部，其设置于所述第2挖土机，向所述外部装置发送由所述记录部记录的环境信息；
示教信息生成部，其设置于所述外部装置，根据从所述第2挖土机接收到的、由所述第2挖土机获取到的环境信息来生成示教信息；
学习部，其设置于所述外部装置，根据由所述示教信息生成部生成的示教信息，使与在所述第1挖土机中用于所述判定的所述学习完毕模型相同的学习完毕模型进行追加学习来生成追加学习完毕模型；以及
模型发送部，其设置于所述外部装置，向所述第1挖土机发送由所述学习部进行了追加学习的所述追加学习完毕模型，
所述学习完毕模型在所述第1挖土机中，被更新为从所述外部装置接收到的所述追加学习完毕模型，
当所述学习完毕模型被更新了的情况下，所述判定部使用所更新的所述学习完毕模型，根据由所述第1环境信息获取部获取到的环境信息，进行所述判定。
11.根据权利要求10所述的挖土机支援系统，其中，
所述第1挖土机与所述第2挖土机为相同挖土机，
所述第1环境信息获取部与所述第2环境信息获取部为相同环境信息获取部。
12.根据权利要求10所述的挖土机支援系统，其包括：
多个所述第1挖土机；以及能够与多个所述第1挖土机分别进行通信的所述外部装置。
13.根据权利要求10所述的挖土机支援系统，其包括：
多个所述第2挖土机；以及能够与多个所述第2挖土机分别进行通信的所述外部装置。
CN201980072913.5A 2018-10-31 2019-10-31 挖土机、挖土机支援系统 Active CN112996963B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-205906 2018-10-31
JP2018205906 2018-10-31
PCT/JP2019/042896 WO2020091002A1 (ja) 2018-10-31 2019-10-31 ショベル、ショベル支援システム

Publications (2)

Publication Number Publication Date
CN112996963A CN112996963A (zh) 2021-06-18
CN112996963B true CN112996963B (zh) 2022-12-02

Family

ID=70462088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980072913.5A Active CN112996963B (zh) 2018-10-31 2019-10-31 挖土机、挖土机支援系统

Country Status (6)

Country Link
US (1) US20210246631A1 (zh)
EP (1) EP3875697B1 (zh)
JP (2) JP7472034B2 (zh)
KR (1) KR20210106410A (zh)
CN (1) CN112996963B (zh)
WO (1) WO2020091002A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7283070B2 (ja) * 2018-12-19 2023-05-30 コベルコ建機株式会社 作業機械用周辺監視装置
JP7287047B2 (ja) * 2019-03-27 2023-06-06 コベルコ建機株式会社 遠隔操作システムおよび遠隔操作サーバ
WO2020203596A1 (ja) * 2019-04-04 2020-10-08 株式会社小松製作所 作業機械を含むシステム、コンピュータによって実行される方法、学習済みの姿勢推定モデルの製造方法、および学習用データ
KR102476268B1 (ko) * 2020-07-28 2022-12-14 현대엠시스템즈 주식회사 인공지능 기법과 탐지 센서 및 환경 센서를 이용한 건설 장비 안전 시스템
JP7473914B2 (ja) 2020-07-29 2024-04-24 株式会社安藤・間 自己位置推定システム、及び建設機械位置推定システム
JPWO2022070872A1 (zh) * 2020-09-29 2022-04-07
JP7444098B2 (ja) * 2021-02-15 2024-03-06 Ｊｆｅスチール株式会社 スラグ流出判定方法、転炉操業方法、溶鋼製造方法、スラグ流出判定装置、転炉操業設備、及び溶鋼製造設備

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101675195A (zh) * 2007-08-09 2010-03-17 日立建机株式会社 工程机械的机器诊断装置及机器诊断系统
CN105297820A (zh) * 2014-07-23 2016-02-03 住友重机械工业株式会社 挖土机支援装置及挖土机管理方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1166841C (zh) * 1998-03-18 2004-09-15 日立建机株式会社 自动操作的挖土机和包括该挖土机的石头压碎系统
CA2760637C (en) * 2009-05-01 2017-03-07 The University Of Sydney Integrated automation system
CA2730951A1 (en) * 2009-05-29 2010-12-02 Mark Damm Method and system to manage complex systems knowledge
US8983738B2 (en) * 2010-02-23 2015-03-17 Israel Aerospace Industries Ltd. System and method of autonomous operation of multi-tasking earth moving machinery
CN107925745B (zh) * 2015-11-30 2020-09-08 住友重机械工业株式会社 施工机械用周边监视系统
JP6629678B2 (ja) * 2016-06-16 2020-01-15 株式会社日立製作所 機械学習装置
JP6391656B2 (ja) * 2016-11-29 2018-09-19 住友重機械工業株式会社 作業機械用周辺監視装置及び作業機械
WO2018119240A1 (en) * 2016-12-21 2018-06-28 Massachusetts Institute Of Technology Determining soil state and controlling equipment based on captured images
JP6731370B2 (ja) 2017-03-27 2020-07-29 株式会社日立ハイテク 画像処理システム及び画像処理を行うためのコンピュータープログラム
JP6882080B2 (ja) 2017-05-31 2021-06-02 キヤノン株式会社 画像処理装置、方法、プログラム及びシステム
JP6290497B2 (ja) 2017-06-16 2018-03-07 住友重機械工業株式会社 ショベル
JP7345236B2 (ja) * 2017-11-10 2023-09-15 株式会社小松製作所 作業車両の動作を推定するための方法、システム、学習済みの分類モデルの製造方法、学習データ、及び学習データの製造方法
WO2019151335A1 (ja) * 2018-01-30 2019-08-08 住友建機株式会社 ショベル及びショベルの管理システム
US10635945B2 (en) * 2018-06-28 2020-04-28 Schneider Electric Systems Usa, Inc. Machine learning analysis of piping and instrumentation diagrams
KR102659158B1 (ko) * 2018-08-10 2024-04-18 스미토모 겐키 가부시키가이샤 쇼벨
JP7316052B2 (ja) * 2019-01-29 2023-07-27 株式会社小松製作所 作業機械を含むシステム、およびコンピュータによって実行される方法
US11320830B2 (en) * 2019-10-28 2022-05-03 Deere & Company Probabilistic decision support for obstacle detection and classification in a working area

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101675195A (zh) * 2007-08-09 2010-03-17 日立建机株式会社 工程机械的机器诊断装置及机器诊断系统
CN105297820A (zh) * 2014-07-23 2016-02-03 住友重机械工业株式会社 挖土机支援装置及挖土机管理方法

Also Published As

Publication number Publication date
KR20210106410A (ko) 2021-08-30
EP3875697B1 (en) 2023-12-06
WO2020091002A1 (ja) 2020-05-07
EP3875697A1 (en) 2021-09-08
JP7472034B2 (ja) 2024-04-22
JP2024028372A (ja) 2024-03-04
US20210246631A1 (en) 2021-08-12
JPWO2020091002A1 (ja) 2021-09-24
CN112996963A (zh) 2021-06-18
EP3875697A4 (en) 2022-01-05

Similar Documents

Publication Publication Date Title
CN112996963B (zh) 挖土机、挖土机支援系统
CN113631779B (zh) 挖土机及施工系统
WO2020196874A1 (ja) 建設機械、支援システム
WO2021025123A1 (ja) ショベル、情報処理装置
CN113748247B (zh) 挖土机、作业现场的安全装备确认系统
JP7203640B2 (ja) 作業機械用情報処理装置、情報管理システム、作業機械用情報処理プログラム
US20240026654A1 (en) Construction machine and support system of construction machine
US20230008338A1 (en) Construction machine, construction machine management system, and machine learning apparatus
US20220002970A1 (en) Excavator
JP7488753B2 (ja) 周辺監視装置
JP2023093109A (ja) 建設機械、及び情報処理装置
JP2023151642A (ja) ショベル、ショベルの支援システム
JP2023063989A (ja) ショベル
JP2023006464A (ja) 情報処理装置、情報処理装置の制御プログラム
JP2022085617A (ja) 周辺監視システム、表示装置
JP2023063991A (ja) ショベル
JP2023063990A (ja) ショベル
JP2023063988A (ja) ショベル
JP2023063992A (ja) ショベル
JP2023063993A (ja) ショベル
JP2023006459A (ja) 情報処理装置、情報処理装置の制御プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant