CN111819334A - 施工机械、信息处理装置、信息处理方法及程序 - Google Patents
施工机械、信息处理装置、信息处理方法及程序 Download PDFInfo
- Publication number
- CN111819334A CN111819334A CN201980017901.2A CN201980017901A CN111819334A CN 111819334 A CN111819334 A CN 111819334A CN 201980017901 A CN201980017901 A CN 201980017901A CN 111819334 A CN111819334 A CN 111819334A
- Authority
- CN
- China
- Prior art keywords
- monitoring
- unit
- shovel
- construction machine
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010276 construction Methods 0.000 title claims abstract description 248
- 230000010365 information processing Effects 0.000 title claims description 21
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000003384 imaging method Methods 0.000 claims abstract description 92
- 230000005540 biological transmission Effects 0.000 claims abstract description 79
- 238000012544 monitoring process Methods 0.000 claims description 1067
- 238000001514 detection method Methods 0.000 claims description 252
- 230000006870 function Effects 0.000 claims description 78
- 238000000034 method Methods 0.000 claims description 76
- 238000012545 processing Methods 0.000 claims description 75
- 230000004913 activation Effects 0.000 claims description 36
- 230000004044 response Effects 0.000 claims description 25
- 230000007246 mechanism Effects 0.000 claims description 5
- 239000003990 capacitor Substances 0.000 claims description 2
- 238000010248 power generation Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 175
- 230000002093 peripheral effect Effects 0.000 description 129
- 238000012806 monitoring device Methods 0.000 description 66
- 238000010586 diagram Methods 0.000 description 55
- 230000008859 change Effects 0.000 description 45
- 230000008569 process Effects 0.000 description 38
- 238000006243 chemical reaction Methods 0.000 description 16
- 238000012790 confirmation Methods 0.000 description 12
- 230000009849 deactivation Effects 0.000 description 12
- 238000013459 approach Methods 0.000 description 9
- 238000010295 mobile communication Methods 0.000 description 8
- 240000004050 Pentaglottis sempervirens Species 0.000 description 6
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 6
- 230000004397 blinking Effects 0.000 description 6
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 239000003921 oil Substances 0.000 description 5
- 101100005986 Caenorhabditis elegans cth-2 gene Proteins 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 4
- 239000000446 fuel Substances 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 101100507312 Invertebrate iridescent virus 6 EF1 gene Proteins 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 239000010426 asphalt Substances 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000011144 upstream manufacturing Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000010720 hydraulic oil Substances 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000007858 starting material Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/261—Surveying the work-site to be treated
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/2058—Electric or electro-mechanical or mechanical control devices of vehicle sub-units
- E02F9/2095—Control of electric, electro-mechanical or mechanical equipment not otherwise provided for, e.g. ventilators, electro-driven fans
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/24—Safety devices, e.g. for preventing overload
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/08—Construction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Mining & Mineral Resources (AREA)
- Civil Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Structural Engineering (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Component Parts Of Construction Machinery (AREA)
- Operation Control Of Excavators (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明提供一种能够使工作人员或监督人员等用户从外部确认施工现场的状况的施工机械等。因此,本发明的一实施方式的施工机械(例如,挖土机(100))具备:传感器(例如,摄像装置(40)),获取与施工机械周边的状况相关的信息;及发送部(例如,发送部(305C)),将通过传感器获取或根据通过传感器获取的信息生成的与施工机械周边的状况相关的信息发送至外部装置(例如,支援装置(200)或管理装置(300))。
Description
技术领域
本发明涉及一种施工机械等。
背景技术
已知有挖土机等施工机械(例如,参考专利文献1)。
以往技术文献
专利文献
专利文献1:日本特开2014-181508号公报
发明内容
发明要解决的技术课题
然而,工作人员或监督人员等有时希望从施工现场的外部确认施工现场的状况。例如,存在如希望知道因工作当天早晨的时段下雨而在施工现场是否能够进行当天的工作的情况。因此,希望利用施工机械获取与施工现场的状况相关的信息,并且工作人员或监督人员等能够在施工现场的外部确认该信息。
因此,鉴于上述课题,目的在于提供一种能够使工作人员或监督人员等用户从外部确认施工现场的状况的施工机械等。
用于解决技术课题的手段
本发明的一实施方式中提供一种施工机械,所述施工机械具备:
传感器,获取与施工机械周边的状况相关的信息;及
发送部,将通过所述传感器获取的或根据通过所述传感器获取的信息生成的与该施工机械周边的状况相关的信息发送至外部装置。
并且,本发明的另一实施方式中提供一种信息处理装置,其能够与所述施工机械进行通信,所述施工机械具备获取与施工机械周边的状况相关的信息并发送至所述施工机械的外部的监视部,所述信息处理装置具备:
发送部,根据来自用户的规定操作,将请求与所述施工机械周边的状况相关的信息的指令发送至所述施工机械;
第1获取部,获取根据所述指令而从所述施工机械发送的与所述施工机械周边的状况相关的信息;及
第1通知部,向用户通知通过所述第1获取部获取的与所述施工机械周边的状况相关的信息。
并且,本发明的又一实施方式中提供一种信息处理方法,其由能够与所述施工机械进行通信的信息处理装置执行,所述施工机械具备获取与施工机械周边的状况相关的信息并发送至所述施工机械的外部的监视部,所述信息处理方法包括:
发送步骤,根据来自用户的规定操作,将请求与所述施工机械周边的状况相关的信息的指令发送至所述施工机械;
第1获取步骤,获取根据所述指令而从所述施工机械发送的与所述施工机械周边的状况相关的信息;及
第1通知步骤,向用户通知在所述第1获取步骤中获取的与所述施工机械周边的状况相关的信息。
并且,本发明的又一实施方式中提供一种程序,其使能够与所述施工机械进行通信的信息处理装置执行如下步骤,所述施工机械具备获取与施工机械周边的状况相关的信息并发送至所述施工机械的外部的监视部,
发送步骤,根据来自用户的规定操作,将请求与所述施工机械周边的状况相关的信息的指令发送至所述施工机械;
第1获取步骤,获取根据所述指令而从所述施工机械发送的与所述施工机械周边的状况相关的信息;及
第1通知步骤,向用户通知在所述第1获取步骤中获取的与所述施工机械周边的状况相关的信息。
发明效果
根据上述实施方式,能够提供一种能够使工作人员或监督人员等用户从外部确认施工现场的状况的施工机械等。
附图说明
图1是表示现场监视系统的一例的概略图。
图2是表示现场监视系统的结构的一例的结构图。
图3是表示挖土机的电源系统的一例的图。
图4是表示显示于显示装置的允许远程操作操作画面的一例的图。
图5A是表示显示于显示装置的监视图像的一例(实时取景图像)的图。
图5B是表示显示于显示装置的监视图像的另一例(周边图像)的图。
图6是示意地表示监视区域的一例的图。
图7A是表示支援装置的指令发送操作画面的一例的图。
图7B是表示支援装置的指令发送操作画面的一例的图。
图8是表示支援装置的周边状况通知画面的一例的图。
图9是表示施工现场中的停放状态的挖土机的配置的一例的图。
图10A是概略地表示现场监视系统的动作的一例的流程图。
图10B是概略地表示现场监视系统的动作的一例的流程图。
图10C是概略地表示现场监视系统的动作的一例的流程图。
图10D是概略地表示现场监视系统的动作的一例的流程图。
图11是表示搭载周边监视装置的挖土机的一例的图。
图12是表示周边监视装置的结构的一例的图。
图13A是对周边监视装置的监视区域进行说明的图。
图13B是对周边监视装置的监视区域进行说明的图。
图14是对周边监视装置的监视区域进行说明的图。
图15A是对周边监视装置的具体动作的第1例进行说明的图。
图15B是对周边监视装置的具体动作的第2例进行说明的图。
图15C是对周边监视装置的具体动作的第3例进行说明的图。
图15D是对周边监视装置的具体动作的第4例进行说明的图。
图16是概略地表示周边监视装置进行的监视处理的一例的流程图。
图17是表示周边监视装置的结构的另一例的图。
图18是表示周边监视装置的结构的又一例的图。
图19是表示现场安全支援系统的一例的概略图。
图20是表示现场安全支援系统的结构的一例的结构图。
图21是表示注意提醒操作画面的一例的图。
图22是表示解除操作画面的一例的图。
图23是示意地表示现场安全支援系统的动作的图。
图24是概略地表示现场安全支援系统的动作的一例的流程图。
具体实施方式
以下,参考附图对用于实施本发明的方式进行说明。
[第1实施方式]
首先,对第1实施方式进行说明。
[现场监视系统的概要]
首先,参考图1对本实施方式所涉及的现场监视系统SYS进行说明。
图1是表示现场监视系统SYS的结构的一例的概略图。
现场监视系统SYS包含挖土机100、支援装置200及管理装置300,获取与挖土机100周边的状况相关的信息(以下,简称为“周边状况信息”)即与挖土机100进行工作的施工现场的状况相关的信息,通过支援装置200向用户提供该周边状况信息。由此,即使在支援装置200的用户在施工现场外的情况下,也能够确认施工现场的状况。以下,将获取周边状况信息并发送至支援装置200的挖土机100的动作简称为“现场监视”。现场监视系统SYS中所包含的挖土机100可以是一台,也可以是多台。并且,相同地,现场监视系统SYS中所包含的支援装置200可以是一台,也可以是多台。
另外,在图1、图2中,为了方便起见,图示一台挖土机100及一台支援装置200。并且,现场监视系统SYS也可以代替挖土机100或除了挖土机100以外包含其他种类的施工机械。例如,现场监视系统SYS也可以包含作为端接附件安装有磁力吊的起重磁铁设备、推土机、轮式装载机、沥青滚平机、林业机械及履带式起重机等。
<挖土机的概要>
挖土机100(施工机械的一例)具备下部行驶体1;经由回转机构2以能够回转地搭载于下部行驶体1的上部回转体3;作为附属装置(工作装置)的动臂4、斗杆5及铲斗6;操纵室10;发动机11。
下部行驶体1例如包含左右一对履带,并且通过由行驶用液压马达(未图示)液压驱动各自的履带而自行行驶。
上部回转体3由回转液压马达等驱动,由此相对于下部行驶体1进行回转。
动臂4能够俯仰地枢轴安装于上部回转体3的前部中央,在动臂4的前端能够上下转动地枢轴安装有斗杆5,在斗杆5的前端能够上下转动地枢轴安装有铲斗6。动臂4、斗杆5及铲斗6分别由动臂缸7、斗杆缸8及铲斗缸9液压驱动。
操纵室10为操作人员搭乘的座舱,并且搭载于上部回转体3的前部左侧。
发动机11为挖土机100的驱动源,例如搭载于上部回转体3的后部。发动机11例如为以轻油为燃料的柴油机。发动机11例如在基于后面叙述的发动机控制器(ECM:EngineControl Module(发动机控制模块))30B的控制下,以维持规定转速的方式进行动作。发动机11的旋转轴与向包括行驶液压马达、回转液压马达、动臂缸7、斗杆缸8及铲斗缸9在内的液压促动器供给工作油的主泵14以及生成用于操作该液压促动器的先导压的源压的先导泵连结。
另外,挖土机100也可以将电池或通过电缆连接的外部商用电源等用作动力源。即,挖土机100也可以是所谓的电池挖土机或电缆挖土机等电动挖土机。
挖土机100例如通过以基站为末端的包含移动通信网或互联网等的规定的通信网络NW能够与管理装置300彼此进行通信。由此,挖土机100能够将各种信息发送(上传)至管理装置300,并且经由管理装置300将各种信息提供(发送)至支援装置200。详细内容将在后面叙述。
另外,挖土机100也可以通过通信网络NW与支援装置200端对端(P2P:Peer toPeer)连接,并且不经由管理装置300而彼此直接进行各种信息的交换。
<支援装置的概要>
支援装置200(外部装置、信息处理装置、用户终端的一例)为用户(例如,挖土机100的施工现场的工作人员或监督人员等)携带的移动终端。支援装置200例如为用户携带的通用的笔记本电脑、平板终端、智能手机等。并且,支援装置200也可以是用于确认与挖土机100相关的周边状况信息的专用终端。
支援装置200能够通过通信网络NW与管理装置300彼此进行通信。由此,支援装置200能够经由管理装置300向挖土机100发送请求周边状况信息的指令(以下,称为“现场监视指令”)。而且,支援装置200接收根据现场监视指令而从挖土机100发送的周边状况信息等各种信息,通过搭载于本身的后面叙述的显示装置240,能够向用户提供(通知)所接收的周边状况信息等各种信息。详细内容将在后面叙述。
<管理装置的概要>
管理装置300(信息处理装置的一例)为设置于地理上与挖土机100及支援装置200分离的位置的终端装置。管理装置300例如为设置于在挖土机100进行工作的施工现场外设置的管理中心等并且以一个或多个服务器计算机等为中心构成的服务器装置。在该情况下,服务器装置可以是运用现场监视系统SYS的经营商或与该经营商相关联的关联经营商所运营的本公司服务器,也可以是所谓的云服务器。并且,管理装置300也可以是配置于挖土机100的施工现场内的管理事务所等的固定式或便携式计算机终端。
如上所述,管理装置300能够通过通信网络NW分别与挖土机100及支援装置200彼此进行通信。由此,管理装置300能够接收从挖土机100上传的各种信息并存储。并且,管理装置300能够接收从支援装置200发送的各种请求,并根据各种请求,提供(发送)从挖土机100获取的各种信息(例如,周边状况信息)。
[现场监视系统的结构]
接着,除了图1以外还参考图2及图3对本实施方式所涉及的现场监视系统SYS的具体结构进行说明。
图2是表示现场监视系统SYS的结构的一例的结构图。图3是表示挖土机100的电源系统的一例的图。
另外,挖土机100的锁芯的位置(以下,称为“钥匙位置”)以OFF位置、附件位置(以下,称为“ACC位置”)、点火位置(以下,称为“IG位置”)、启动位置的顺序设定为四个阶段。此时,ACC位置为用于与后面叙述的附件开关(以下,称为“ACC开关”)66联动,不启动挖土机100(即,不启动发动机11)而仅对挖土机100的一部分设备供给电力的钥匙位置。并且,IG位置为与后面叙述的点火开关(以下,称为“IG开关”)68联动,向对应于挖土机100的启动(发动机11的启动)而启动的设备供给电力的钥匙位置。并且,启动位置为用于使发动机11的启动器工作而启动发动机11的钥匙位置,在处于启动位置时,ACC开关66会暂时切断。
<挖土机的结构>
挖土机100包含挖土机控制器30A、ECM30B、周边监视控制器30C、摄像装置40、显示装置50、声音输出装置52、门锁阀54、通信设备60及允许操作部62。
挖土机控制器30A例如搭载于操纵室10内,并且进行挖土机100的集中驱动控制。通过经由ACC开关66的系统(以下,称为“ACC系统”)及经由IG开关68的系统(以下,称为“IG系统”)这两个系统,对挖土机控制器30A供给来自电池64(电源、二次电池的一例)的电力。由此,挖土机控制器30A在发动机11启动之前启动,且在启动发动机11时电力供给不会切断。以下,关于ECM30B也相同。
另外,电池64例如用以发动机11的动力来发电的交流发电机的电力充电。
挖土机控制器30A可通过任意的硬件、软件或它们的组合来实现其功能。挖土机控制器30A例如以包含CPU(Central Processing Unit:中央处理器)、RAM(Random AccessMemory:随机存取存储器)、ROM(Read Only Memory:只读存储器)、辅助存储装置、RTC(RealTime Clock:实时时钟)及各种通信用接口等的微型计算机为中心构成。以下,关于ECM30B及周边监视控制器30C也相同。并且,关于后面叙述的支援装置200的控制装置210及管理装置300的控制装置310也相同。
ECM30B在挖土机控制器30A的控制下,进行发动机11的驱动控制。例如,如上所述,ECM30B根据来自挖土机控制器30A的指令,以发动机11维持规定转速的方式,控制搭载于发动机11的各种促动器(例如,燃料喷射装置等)。
周边监视控制器30C进行与包含上述现场监视的挖土机100的周边监视相关的控制。例如,周边监视控制器30C控制摄像装置40,获取与挖土机100周边的状况相关的信息即表示挖土机100周边的状况(情况)的拍摄图像。并且,例如,周边监视控制器30C根据从摄像装置40获取的信息(拍摄图像),在挖土机100周边的规定的监视范围内对规定的监视对象进行检测。此时,监视对象中不仅包含在挖土机100的周围进行工作的工作人员或施工现场的监督人员等人员,还能够包含施工现场的材料或沙土等固定障碍物、施工现场的其他施工机械或卡车等移动障碍物(即,移动体)等任意的物体。并且,监视对象中能够包含工作时间外侵入到施工现场的可疑人员等。
周边监视控制器30C始终与电池64电连接,即使在挖土机100停止时,也能够从电池64接收电力供给而进行动作。具体而言,周边监视控制器30C在挖土机100的运转中,处于所有功能正在动作的状态,另一方面,在挖土机100的停止中(发动机11的停止中),处于最小限度的一部分功能正在动作的状态。详细内容将在后面叙述。
周边监视控制器30C例如作为通过在CPU上执行存储于ROM或非易失性辅助存储装置的一个以上的程序来实现的功能部,包含监视图像生成部301C、检测部302C、警报输出部303C、动作限制部304C、发送部305C、指令获取部306C及启动/停止部307C。并且,周边监视控制器30C例如包含辅助存储装置等非易失性内部存储器中所规定的作为存储区域的存储部308C。
并且,周边监视控制器30C在挖土机100停止中(即,发动机11停止中)的情况下,在监视图像生成部301C、检测部302C、警报输出部303C、动作限制部304C、发送部305C、指令获取部306C及启动/停止部307C中,仅启动(激活)指令获取部306C,而停止其他功能部(设为睡眠状态)。由此,周边监视控制器30C能够将挖土机100的停止中的耗电量抑制为最小限度。
摄像装置40(传感器的一例)安装于上部回转体3的上部,并且拍摄挖土机100的周边。摄像装置40包含摄像机40B、40L、40R。
摄像机40B、摄像机40L及摄像机40R分别安装于上部回转体3的后端上部、左端上部及右端上部,并且拍摄上部回转体3的后方、左侧及右侧。例如,摄像机40B、摄像机40L及摄像机40R分别为具有极宽的视角的单眼广角摄像机。具体而言,摄像机40B、摄像机40L及摄像机40R分别在上部回转体3的上部安装成光轴朝向斜下方,并且拍摄包含从挖土机附近的地面至挖土机远方的上下方向的摄像范围。摄像机40B、摄像机40L及摄像机40R分别在挖土机100的运行中,每隔规定周期(例如,1/30秒)输出拍摄图像,并将所输出的拍摄图像输入于周边监视控制器30C。
通过IG系统,从电池64对摄像装置40供给电力。并且,能够通过从始终与电池64连接的系统(以下,称为“始终连接系统”)分支且经由继电器42的分支系统,对摄像装置40供给来自电池64的电力。具体而言,能够通过从始终连接系统分支且经由继电器42B、42L、42R的分支系统,分别对摄像机40B、40L、40R供给来自电池64的电力。由此,即使在挖土机100(发动机11)停止的状态下,也能够启动摄像装置40。并且,即使在挖土机100(发动机11)停止的状态下,也能够单独启动摄像机40B、40L、40R。
另外,在挖土机100中也可以代替摄像装置40或除了摄像装置40以外搭载能够收集挖土机100周围的声音的话筒。在该情况下,话筒也可以和包含与摄像装置40相同的继电器的分支系统连接。由此,即使在挖土机100(发动机11)停止的状态下,也能够启动话筒。
显示装置50设置于操纵室10内的操纵席的周边,具体而言,设置于从就坐于操纵席的操作人员容易视觉辨认的位置,并且显示通知给操作人员的各种图像信息。通过ACC系统,对显示装置50供给来自电池64的电力。关于声音输出装置52也相同。显示装置50例如为液晶显示器或有机EL(Electrolumin escence:电致发光)显示器,也可以是兼作操作部的触控面板式。具体而言,如后面所述,显示装置50作为表示挖土机100周边的情况的监视图像,显示摄像装置40的拍摄图像(以下,有时称为“实时取景图像”)或由周边监视控制器30C根据摄像装置40的拍摄图像而生成(合成)的合成图像(例如,后面叙述的视点转换图像)等。
声音输出装置52设置于操纵室10内的操纵席的周边,并且输出通知给操作人员的各种声音信息。声音输出装置52例如为扬声器或蜂鸣器等。具体而言,声音输出装置52输出警报音。
门锁阀54设置于从上述先导泵对用于操作人员等操作挖土机100的各种动作要件(即,下部行驶体1、上部回转体3、动臂4、斗杆5及铲斗6等)的操作装置供给先导压的先导管路的最上游,并且切换先导管路的连通/非连通。
例如,通常,门锁阀54根据与设置于操纵室10内的相当于操纵席的入口的部分的门锁杆的操作状态联动的门锁开关的输出信号(“开启”/“关闭”),切换先导管路的连通/非连通。具体而言,当门锁开关的输出信号为与门锁杆被提拉的状态(即,操作人员就坐于操纵席的状态)对应的信号(以下,简称为““关闭”信号”)时,门锁阀54将先导管路设为连通状态。另一方面,当门锁开关的输出信号为与门锁杆被拉下的状态(即,操作人员从操纵席离开的状态)对应的信号(以下,简称为““开启”信号”)时,门锁阀54将先导管路设为非连通状态。
并且,例如,门锁阀54构成为还能够接收从周边监视控制器30C输入的指令信号。具体而言,门锁阀54中,其信号输入部可以与来自周边监视控制器30C的指令信号能够嵌入的逻辑电路连接。由此,门锁阀54根据来自周边监视控制器30C的指令信号(“关闭”信号/“开启”信号),能够切换先导管路的连通/非连通。即,门锁阀54在基于周边监视控制器30C的控制下,即使在门锁杆被提拉的状态下,也能够将先导管路设为非连通状态。
通信设备60为通过通信网络NW与管理装置300等外部进行通信的任意的设备。通信设备60始终与电池64电连接,即使在挖土机100停止时,也能够从电池64接收电力供给而进行动作。由此,通信设备60即使在挖土机100的停止中,也能够接收来自外部的各种信息。通信设备60例如为与LTE(Long Term Evolution:长期演进)、4G(4th Generation:第4代移动通信)、5G(5th Generation:第5代移动通信)等移动通信标准对应的移动通信模块。
允许操作部62从操作人员等接收用于允许特定支援装置200进行的与挖土机100的周边监视(现场监视)相关的远程操作的操作。允许操作部62例如能够通过按钮、开关、操纵杆等或安装于显示装置50的触控面板等基于硬件的操作部以及显示于显示装置50的操作画面上的按钮图标等基于软件的操作部的组合来实现。
例如,图4是表示允许操作部62的一例的图。具体而言,图4是表示显示于显示装置50的操作画面(以下,称为“允许远程操作操作画面”)的一例(允许远程操作操作画面400)的图。
如图4所示,显示装置50包含显示各种信息图像的显示区域即显示部50A、及能够接收与显示于显示部50A的各种信息图像相关的基于操作人员等的操作的按钮开关等基于硬件的操作部50B。
显示部50A例如为显示装置50中的横长的长方形的显示器(例如,纵横尺寸比4:3的显示器)。
如图4所示,在允许远程操作操作画面400显示有允许与挖土机100的周边监视相关的远程操作的支援装置200的候选列表401。候选列表401例如根据保存于后面叙述的存储部308C的候选终端信息3081C而显示。存储部308C的候选终端信息3081C为与预先登录于管理装置300的支援装置200相关的信息,根据从管理装置300传送过来的最新的候选终端信息而更新。
例如,操作人员等通过安装于显示装置50的触控面板或操作部50B,适当滚动候选列表401,并且将一个支援装置200与光标402对准。由此,能够从候选列表401中所包含的多个支援装置200中选择一个支援装置200。
然后,操作人员等适当通过触控面板或操作部50B进行决定操作。由此,通过允许操作部62允许所选择的一个支援装置200进行的与挖土机100的现场监视相关的远程操作。此时,与该挖土机100的周边监视相关的远程操作得到允许的支援装置200登录于后面叙述的存储部308C的允许终端信息3082C。并且,通过通信设备60向管理装置300通知和通过允许操作部62(允许远程操作操作画面400)允许了与该挖土机100的现场监视相关的远程操作的支援装置200相关的信息。由此,管理装置300能够对每个挖土机100掌握并管理与现场监视相关的远程操作得到允许的支援装置200。
另外,也可以通过其他方法确定(选择)允许对象的支援装置200。例如,也可以是通过在挖土机100与操作人员等携带的支援装置200之间进行蓝牙(注册商标)通信或WiFi(注册商标)通信等规定的近场通信,将操作人员等携带的支援装置200确定(选择)为允许对象的支援装置200的方式。并且,与每个挖土机100的现场监视相关的远程操作被允许的支援装置200也可以由管理装置300决定(登录)。即,允许操作部62也可以设置于管理装置300,并且由管理装置300的管理人员等允许特定支援装置200进行的与每个挖土机100的现场监视相关的远程操作。这是因为,来自支援装置200的现场监视指令经由管理装置300发送至挖土机100,因此只要能够通过管理装置300判断与挖土机100的现场监视相关的远程操作是否得到允许即可。例如,管理装置300的管理人员等对每个挖土机100从预先登录的多个支援装置200中限定于与对象的挖土机100进行工作的特定现场相关联的支援装置200(例如,该现场的监督人员或工作人员等的支援装置200)而允许远程操作。
返回图1~图3,监视图像生成部301C根据摄像装置40的拍摄图像,在显示装置50中显示监视图像。
例如,监视图像生成部301C作为监视图像,将摄像机40B、40L、40R中的至少一个摄像机的拍摄图像显示于显示装置50。
并且,例如,监视图像生成部301C根据摄像装置40的拍摄图像,生成作为监视图像的表示挖土机100周边的情况的另一图像(以下,简称为“周边图像”)。具体而言,监视图像生成部301C可以通过合成摄像机40B、40L、40R的拍摄图像或实施转换视点的处理,生成周边图像。之后,监视图像生成部301C将包含所生成的周边图像的监视图像显示于显示装置50。
更具体而言,监视图像生成部301C作为周边图像,根据摄像机40B、40L、40R的拍摄图像,进行已知的视点转换处理,由此生成从虚拟视点观察的视点转换图像并显示于显示装置50。并且,监视图像生成部301C在将周边图像显示于显示装置50时,为了明确表示摄像装置40的摄像范围与挖土机100之间的相对位置关系而在显示装置50中一并显示示意地表示挖土机100的挖土机图像。即,监视图像生成部301C生成包含挖土机图像及对应于挖土机100与摄像装置40的摄像范围之间的相对位置关系而配置于挖土机图像周围的周边图像的监视图像,并且显示于显示装置50。
例如,图5A及图5B是分别表示显示于显示装置50的监视图像的一例(包含实时取景图像的监视图像MP1)及另一例(包含周边图像EP的监视图像MP2)的图。
在本例中,如图5A所示,如上所述,作为监视图像MP1,在显示部50A显示摄像机40B、40L、40R中的任一个实时取景图像。
在本例的监视图像MP1(实时取景图像)中重叠显示引导线GLa。引导线GLa表示距挖土机100的水平方向的距离D为规定距离D1的位置。由此,当在实时取景图像中显示(包含)监视对象时,操作人员等能够掌握存在于距挖土机100何种程度的位置。
另外,规定距离D1能够在与后面叙述的监视区域对应的规定距离D2以下的范围内适当设定。
并且,在本例中,如图5B所示,如上所述,在显示部50A显示包含挖土机图像CG及配置于挖土机图像CG周围的周边图像EP的监视用图像MP2。由此,操作人员等能够确切地掌握周边图像EP中所显示的监视对象与挖土机100之间的位置关系。
本例的周边图像EP为组合了从正上方观察了与挖土机100相邻的周边区域的俯瞰图像BVP和配置于该俯瞰图像BVP周围且从挖土机100向水平方向观察了该周边区域的水平图像HVP的视点转换图像。视点转换图像即周边图像EP通过将摄像机40B、40L、40R各自的拍摄图像投影到空间模型的基础上将投影到该空间模型的投影图像再次投影到另一二维平面来获得。空间模型为虚拟空间中的拍摄图像的投影对象,并且由包含除了拍摄图像所处的平面以外的平面或曲面的一个或多个平面或曲面构成。
并且,在监视图像MP2中重叠显示引导线GLb。与图5A的监视图像MP1(实时取景图像)的引导线GLa相同地,引导线GLb表示距挖土机100的水平方向的距离D为规定距离D1的位置。即,引导线GLb为将与从挖土机100的正上方观察的俯视观察对应的挖土机图像CG的轮廓形状向挖土机图像CG的外侧偏移(放大)了与规定距离D1相当的量的线。由此,与图5A的引导线GLa的情况相同地,当在周边图像EP中显示监视对象时,操作人员等能够掌握是存在于距挖土机100何种程度的位置。
返回图1~图3,检测部302C根据通过摄像装置40拍摄的拍摄图像,在挖土机100周边的监视区域具体而言在从挖土机100观察的水平方向即沿挖土机100进行工作的(下部行驶体1接地的)平面的方向的监视区域内对监视对象进行检测。具体而言,检测部302C在距挖土机100的水平方向的距离D为规定距离D2(例如,5米)以内的监视区域内,检测监视对象。
例如,图6是示意地表示监视区域的一例(监视区域MA)的图。具体而言,是表示从正上方观察了挖土机100时的监视区域MA的图。
另外,图中的点线L1及单点划线L2分别相当于距挖土机100的水平方向的距离D为规定距离D1及规定距离D2的位置。
如图6所示,监视区域MA(图中的斜线部)被规定为,由摄像机40B、40L、40R各自的水平方向的视角规定的可摄像范围AVB、AVL、AVR中的距挖土机100的水平方向的距离D为规定距离D2以下的范围。
返回图1~图3,例如,检测部302C通过任意地适用已知的各种图像处理方法或包含人工智能(AI:Artificial Intelligence)等的机器学习库的识别器等,识别拍摄图像内的监视对象。
并且,检测部302C通过适用已知的各种方法,能够判定(推断)基于单眼摄像装置40的拍摄图像中所包含的识别出的监视对象存在的位置(以下,称为“实际存在位置”。例如,作为监视对象的人的脚下位置)。
例如,检测部302C根据识别出的监视对象的拍摄图像上的大小(例如,拍摄图像上的高度方向的大小),推断从挖土机100观察的水平方向的位置(以下,称为“水平位置”)。这是因为,识别出的监视对象的拍摄图像上的大小存在监视对象越远离挖土机100越变小的相关关系。具体而言,在监视对象中能够规定所设想的大小范围(例如,所设想的人的身高范围),因此能够预先规定所设想的大小范围内所包含的该监视对象的从挖土机100观察的水平位置与拍摄图像上的大小之间的相关关系。因此,检测部302C例如根据预先存储于周边监视控制器30C的辅助存储装置等内部存储器的表示拍摄图像上的监视对象的大小与从挖土机100观察的水平位置之间的相关关系的映射图或转换式等,能够推断识别出的监视对象的实际存在位置(距挖土机100的水平位置)。
并且,例如,检测部302C在监视对象存在于与挖土机100(的下部行驶体1)相同的平面上的前提下,通过将拍摄图像向该平面上的射影变换(单应性)等,能够推断其实际存在位置(例如,脚下位置)。在该情况下,构成拍摄图像的某一部分(某一点)和与挖土机100相同的平面上的某一位置建立对应关联。
另外,检测部302C也可以代替摄像装置40的拍摄图像或除了该拍摄图像以外,根据能够搭载于挖土机100的其他传感器的检测信息,在挖土机100周边的监视区域内对监视对象进行检测。例如,检测部302C可以根据作为其他传感器的立体摄像机、毫米波雷达及LIDAR(Light Detection and Ranging:激光雷达)等的检测信息,在挖土机100周边的监视区域内对监视对象进行检测。
通过检测部302C在监视区域内检测到监视对象时,警报输出部303C朝向操纵室10的内部或外部输出警报。由此,周边监视控制器30C能够使操作人员或挖土机100周边的工作人员及监督人员等意识到监视对象侵入到挖土机100周边的监视区域内的情况。因此,周边监视控制器30C能够督促操作人员确认挖土机100周边的安全状况,并且能够督促监视区域内的工作人员等从监视区域退避。
例如,警报输出部303C输出基于听觉方法即声音的警报。具体而言,警报输出部303C向声音输出装置52输出控制指令而使其输出警告音。
另外,警报输出部303C也可以根据各种条件改变警告音的音高、声压、音色等或周期性地鸣放警告音(例如,蜂鸣器声)时的鸣放周期等。
并且,例如,警报输出部303C输出基于视觉方法即向显示装置50显示的警报。具体而言,警报输出部303C向监视图像生成部301C发送警报请求。由此,监视图像生成部301C根据警报请求,强调显示于显示装置50的监视图像(实时取景图像或周边图像)中所包含的监视对象,由此显示装置50能够输出对操作人员的警报。
另外,警报输出部303C也可以通过触觉方法例如通过使操作人员就坐的操纵席振动的振动发生装置输出警报。
并且,警报输出部303C也可以根据通过检测部302C在监视区域内检测到的监视对象与挖土机100之间的位置关系,改变警报的种类(警报级别)。
例如,当通过检测部302C在监视区域内检测到的监视对象存在于相对远离挖土机100的位置时,警报输出部303C输出督促操作人员等注意监视对象的程度的警报级别相对较低的警报(以下,称为“注意级别的警报”)。具体而言,当通过检测部302C检测到的监视对象与挖土机100之间的水平方向的距离D超过了规定距离D1时(D1<D≤D2时),警报输出部303C可以输出注意级别的警报。以下,为了方便起见,将监视区域中的距挖土机100的距离D超过了规定距离D1的区域称为“注意区域”。另一方面,当通过检测部302C在监视区域内检测到的监视对象存在于相对靠近挖土机100的位置时,警报输出部303C输出通知监视对象接近挖土机100且危险度逐渐提高的警报级别相对较高的警报(以下,称为“警戒级别的警报”)。具体而言,当通过检测部302C检测到的监视对象与挖土机100之间的水平方向的距离D为规定距离D1以下时(D≤D1时),警报输出部303C可以输出警戒级别的警报。以下,将监视区域中的距挖土机100的距离D为规定距离D1以下的区域称为“警戒区域”。
在该情况下,警报输出部303C可以在注意级别的警报与警戒级别的警报之间,改变从声音输出装置52输出的声音的音高、声压、音色及鸣放周期等。并且,警报输出部303C可以在注意级别的警报与警戒级别的警报之间,改变强调显示于显示装置50的监视图像(实时取景图像或周边图像)中所包含的监视对象的标记等的颜色、形状、大小、闪烁的有无及闪烁周期等。由此,周边监视控制器30C根据警报音或强调显示于显示装置50的监视对象的标记等的差异,能够使操作人员等掌握警报级别即监视对象相对挖土机100的接近程度。
并且,当在警报输出开始之后,检测不到通过检测部302C检测到的监视对象时,或由操作人员等进行了规定的解除操作时,警报输出部303C解除警报的输出。
当通过检测部302C在监视区域内检测到监视对象时,动作限制部304C限制挖土机100的动作要件的动作。此时,动作限制对象的动作要件中包含下部行驶体1、上部回转体3、动臂4、斗杆5及铲斗6等的一部分或全部。例如,动作限制部304C通过向门锁阀54发送指令信号(“开启”信号),使门锁阀54将先导管路设为非连通状态。由此,从先导泵(未图示)不会向操作挖土机100的动作要件的操作装置(未图示)供给工作油(先导压),因此能够以即便操作人员对操作装置进行操作输入也使挖土机100的动作要件不动作的方式进行限制。因此,即使在监视对象(例如,人)进入挖土机100周边的监视区域的情况下,也限制挖土机100的动作,从而能够抑制发生挖土机100与监视对象的碰撞等,其结果,能够实现维持挖土机100周边的安全性。
另外,例如,也可以代替门锁阀54,设置对从操作动作要件的操作装置输出的二次侧先导压进行减压的减压阀,动作限制部304C控制该减压阀。在该情况下,该减压阀通过将从该操作装置输出的二次侧先导压减压至相当于操作量零的压力值以下,能够使操作人员对操作装置的操作无效。因此,动作限制部304C能够通过控制该减压阀,限制挖土机100的动作要件的动作。并且,动作限制部304C也可以通过控制该减压阀,不停止挖土机100的动作要件而以将对操作人员进行的操作的各种动作要件的动作抑制为比通常更缓慢的方式限制挖土机100的动作。
并且,与警报输出部303C的情况相同地,动作限制部304C也可以根据通过检测部302C检测到的监视对象与挖土机100之间的位置关系改变动作限制的级别。
例如,当通过检测部302C在监视区域内检测到的监视对象存在于相对远离挖土机100的位置时,动作限制部304C以限制程度相对较低的方式进行挖土机100的动作限制。具体而言,当通过检测部302C检测到的监视对象与挖土机100之间的水平方向的距离D超过了规定距离D1时(D1<D≤D2时),动作限制部304C可以以限制程度相对较低(例如,比通常放慢相对于操作量的动作要件的动作速度)的方式进行挖土机100的动作限制。另一方面,当通过检测部302C在监视区域内检测到的监视对象存在于相对靠近挖土机100的位置时,动作限制部304C以限制程度相对较高的方式进行挖土机100的动作限制。具体而言,当通过检测部302C检测到的监视对象与挖土机100之间的水平方向的距离D为规定距离D1以下时(D≤D1时),动作限制部304C可以以限制程度相对较高(例如,停止动作要件的动作)的方式进行挖土机100的动作限制。
并且,当开始挖土机100的动作限制之后,检测不到通过检测部302C检测到的监视对象时,或进行了上述解除操作时,动作限制部304C解除挖土机100的动作限制。
发送部305C根据来自支援装置200的现场监视指令,通过通信设备60将与挖土机100周边的状况相关的信息(周边状况信息)发送至管理装置300。由此,发送部305C经由管理装置300,能够将周边状况信息提供(发送)至支援装置200。
另外,如上所述,当挖土机100与支援装置200端对端连接时,发送部305C可以将周边状况信息直接发送至支援装置200。
例如,发送部305C作为周边状况信息,将通过摄像装置40(摄像机40B、40L、40R)获取的信息即包含挖土机100周边的情况的拍摄图像发送至管理装置300。并且,如上所述,当代替摄像装置40或除了摄像装置40以外将立体摄像机、毫米波雷达及LIDAR等其他传感器搭载于挖土机100时,发送部305C作为周边状况信息,也可以将其他传感器的检测信息发送至管理装置300。并且,发送部305C作为周边状况信息,也可以将通过监视图像生成部301C生成的周边图像发送至管理装置300。
并且,例如,发送部305C作为周边状况信息,将根据通过摄像装置40获取的信息(即,拍摄图像)而生成的周边状况信息发送至管理装置300。具体而言,发送部305C将根据摄像装置40的拍摄图像生成的与挖土机100周边的监视对象相关的信息更具体而言基于检测部302C的与有无检测到监视对象相关的信息发送至管理装置300。在该情况下,发送部305C可以不依赖于基于检测部302C有无检测到监视对象而将与有无检测到监视对象相关的信息发送至管理装置300,也可以仅在检测到监视对象时,将表示检测到监视对象的信息发送至管理装置300。
并且,例如,发送部305C作为周边状况信息,将通过上述话筒获取的信息(即,挖土机100周围的声音信息)发送至管理装置300。
并且,当作为周边状况信息存在预先规定的多个种类的信息(例如,拍摄图像及声音信息)时,发送部305C可以将多个种类的信息全部发送至管理装置300,也可以将一部分种类的信息发送至管理装置300。例如,多个种类的信息中的发送对象的信息可以由操作人员等用户进行设定。
另外,发送部305C也可以将通过通信设备60经由管理装置300向支援装置200发送周边状况信息作为日志信息保持于存储部308C等。由此,挖土机100的操作人员等通过规定的方法访问日志信息,并且显示于显示装置50等,由此能够在事后确认该日志信息。
指令获取部306C通过通信设备60经由管理装置300获取(接收)来自支援装置200的现场监视指令。
并且,指令获取部306C判定所获取的现场监视指令是否为正规的现场监视指令。具体而言,指令获取部306C可以根据现场监视指令中所包含的规定的认证信息,判定是否为正规的现场监视指令。这是为了防止挖土机100被恶意的第三者远程操作的情况。并且,指令获取部306C可以根据由现场监视指令指定的成为远程操作的对象的挖土机是否与该挖土机100一致,判定是否为正规的现场监视指令。这是为了防止在如因管理装置300中的程序出错等而实际上需对另一挖土机发送的现场监视指令错误地发送至挖土机100那样的状况下,导致挖土机100被远程操作的情况。并且,指令获取部306C可以根据存储于存储部308C的允许终端信息3082C,判定现场监视指令的发送端是否属于(包含于)由允许操作部62允许了远程操作的支援装置200。这是为了抑制如通过尚未允许远程操作的支援装置200能够进行挖土机100的远程操作的情况。
并且,当为正规的现场监视指令时,指令获取部306C进行发送部305C发送周边状况信息的前阶段处理。
具体而言,在挖土机100为停止状态(即,发动机11为停止状态)的情况下,指令获取部306C启动睡眠状态的启动/停止部307C,而启动与挖土机100的现场监视相关的功能(以下,称为“现场监视功能”)。
并且,在挖土机100为运转状态(即,发动机11为运行状态)的情况下,指令获取部306C(内部通知部的一例)通过显示装置50通知该挖土机100的周边监视信息发送至外部(支援装置200、管理装置300)。由此,操作人员等能够一边识别自己操作的挖土机100的周边状况信息发送至外部并且从施工现场的外部被确认,一边进行挖土机100的工作。
而且,若前阶段处理结束,则指令获取部306C使发送部305C发送根据现场监视指令的周边状况信息。
启动/停止部307C根据来自指令获取部306C的指令,确认对现场监视功能供给电力的电池64的各种状态。例如,启动/停止部307C获取电池64的充电状态具体而言为剩余容量C(电力可供量的一例),并且判定剩余容量C是否超过了规定阈值Cth1(第1阈值的一例)。规定阈值Cth1是为了确保现场监视功能的启动及启动后的一定期间的持续动作而预先规定为最低需要限度的剩余容量。并且,规定阈值Cth1可以根据进行现场监视指令中所包含的现场监视的期间(例如,从开始时刻至结束时刻的期间)而改变。此时,电池64的剩余容量C可以从搭载于电池64端子的电池传感器获取,也可以由对电池64的电压或电流进行计量的电压传感器或电流传感器的计量值计算。
另外,现场监视部110可以采用在挖土机100的停止中代替电池64或除电池64以外能够从其他电源供给电力的方式。其他电源中能够包含可更换的一次电池。并且,其他电源中能够包含能够由挖土机100的规定的发电机(例如,挖土机100的运行中由发动机11的动力来发电的发电机)的电力来充电的电容器。并且,其他电源中能够包含规定的发电机构(例如,燃料电池或由在挖土机100的停止中暂时启动的发动机11的动力来发电的交流发电机等)。
当电池64的剩余容量C超过了规定阈值Cth1时,启动/停止部307C(启动部的一例)根据现场监视指令的设定内容,启动与停止中的现场监视功能对应的现场监视部110的一部分或全部。现场监视部110(监视部的一例)例如包含摄像装置40(摄像机40B、40L、40R)、监视图像生成部301C、检测部302C及发送部305C。具体而言,启动/停止部307C通过向继电器42(继电器42B、42L、42R)发送指令信号而使其成为连接状态,开始从电池64向摄像装置40(摄像机40B、40L、40R)的电力供给,由此启动摄像装置40。在该情况下,启动/停止部307C可以根据现场监视指令的设定内容,使继电器42B、42L、42R中的一个或两个成为连接状态,由此启动摄像装置40中的一部分(摄像机40B、40L、40R中的一个或两个摄像机)。并且,启动/停止部307C通过进行周边监视控制器30C内的规定的处理,启动监视图像生成部301C、检测部302C及发送部305C。
例如,启动/停止部307C具有使现场监视部110的全部运转的正常模式及以仅使现场监视部110的一部分运转而使现场监视部110的电力的消耗量相对变少的方式进行限制的节能模式。当电池64的剩余容量C在超过了规定阈值Cth1的范围内处于相对较高的状态时,启动/停止部307C可以以正常模式来启动现场监视部110,当处于相对较低的状态时,可以以节能模式来启动现场监视部110。并且,当在以正常模式启动现场监视部110之后,电池64的剩余容量C处于相对较低的状态时,启动/停止部307C也可以从正常模式过渡到节能模式。
另外,当在从挖土机100发送至支援装置200的周边状况信息中不包含由监视图像生成部301C生成的周边图像时,可以从现场监视部110省略监视图像生成部301C。例如,当作为周边状况信息仅基于检测部302C的与有无检测到监视对象相关的信息发送至管理装置300时,也可以从现场监视部110省略监视图像生成部301C。并且,在现场监视部110也可以包含警报输出部303C。由此,例如,在挖土机100的停止中,当通过检测部302C检测到作为监视对象的人(可疑人员)时,能够使声音输出装置52输出警报,并向施工现场的周边通知可疑人员的存在。
另一方面,当电池64的剩余容量C为规定阈值Cth1以下时,启动/停止部307C判定为现场监视功能不可启动,而不启动现场监视功能。而且,启动/停止部307C(第1外部通知部的一例)通过通信设备60,作为与现场监视部110是否能够启动相关的信息,可以将表示现场监视功能不可启动的通知(以下,称为“不可启动通知”)经由管理装置300发送至支援装置200。由此,用户通过支援装置200能够识别处于无法启动挖土机100的现场监视功能的状况。
另外,启动/停止部307C也可以不确认电池64的各种状态而尝试启动停止中的现场监视功能。而且,其结果,当无法启动现场监视功能时,启动/停止部307C可以通过通信设备60,将不可启动通知经由管理装置300发送至支援装置200。并且,关于能够启动现场监视功能的情况,启动/停止部307C也可以通过通信设备60,将表示现场监视功能能够启动的通知经由管理装置300发送至支援装置200。并且,启动/停止部307C作为与现场监视功能(现场监视部110)是否能够启动相关的信息,也可以将与电池64的各种状态相关的信息(例如,相当于充电状态的剩余容量C等。以下,称为“电源状态信息”)经由管理装置300发送至支援装置200。这是因为,有时用户通过支援装置200确认与电池64的各种状态相关的信息,由此能够判断可否启动现场监视功能。
并且,若现场监视部110启动之后,规定条件成立,则启动/停止部307C(停止部的一例)停止在挖土机100的停止中已启动的现场监视部110。
例如,当为规定的结束定时时,具体而言,当通过通信设备60经由管理装置300接收了现场监视结束指令时,或到达现场监视指令中设定的结束时刻时,启动/停止部307C停止现场监视部110。
并且,例如,启动/停止部307C判定电池64的剩余容量C是否降至规定阈值Cth2(<Cth1)以下。当电池64的剩余容量C降至规定阈值Cth2(第2阈值的一例)以下时,启动/停止部307C与结束定时无关地停止现场监视部110。这是因为,若电池64的剩余容量C过度下降,则存在下次启动挖土机100时变得无法启动发动机11的可能性。而且,启动/停止部307C(第2外部通知部的一例)通过通信设备60,作为与现场监视部110是否能够持续运转相关的信息,将表示现场监视功能(现场监视部110)不可持续运转的通知(以下,称为“不可持续监视通知”)经由管理装置300发送至支援装置200。由此,用户通过支援装置200,能够识别挖土机100的现场监视功能无法持续运转,并且现场监视功能被停止。
另外,关于现场监视功能(现场监视部110)能够持续运转的情况,启动/停止部307C也可以通过通信设备60,将表示现场监视功能能够持续运转的通知经由管理装置300发送至支援装置200。并且,启动/停止部307C作为与现场监视功能(现场监视部110)是否能够持续运转相关的信息,也可以将与电池64的各种状态相关的信息(例如,相当于充电状态的剩余容量等)经由管理装置300发送至支援装置200。这是因为,有时用户通过支援装置200确认与电池64的各种状态相关的信息,由此能够判断现场监视功能可否持续运转。并且,启动/停止部307C也可以与现场监视部110是否为启动或现场监视部110是否能够持续运转无关地,经由管理装置300向支援装置200通知与现场监视部110是否能够运转相关的信息。例如,启动/停止部307C可以根据通过通信设备60经由管理装置300从支援装置200接收的获取请求,经由管理装置300向支援装置200通知与现场监视部110是否能够运转相关的信息。具体而言,启动/停止部307C可以经由管理装置300向支援装置200通知电池64的剩余容量C或根据电池64的剩余容量C的现场监视功能(现场监视部110)能够运转的时间等。在该情况下,支援装置200将经由管理装置300从挖土机100通知的信息显示于显示装置240。用户通过操作装置230进行请求显示电池64的剩余容量C或现场监视功能能够运转的时间的操作,由此能够将这些信息的获取请求从支援装置200经由管理装置300发送至挖土机100。例如,支援装置200可以将电池64的剩余容量C或现场监视功能能够运转的时间以条形图等来显示于显示装置240。由此,用户通过支援装置200,能够轻松地确认与现场监视功能是否能够运转相关的信息。
<支援装置的结构>
支援装置200包含控制装置210、通信设备220、操作装置230及显示装置240。
控制装置210控制支援装置200的各种动作。控制装置210例如作为通过在CPU上执行存储于ROM或非易失性辅助存储装置的一个以上的程序来实现的功能部,包含指令部2101、信息获取部2102及通知部2103。并且,控制装置210例如包含辅助存储装置等非易失性内部存储器中所规定的作为存储区域的存储部2100。
通信设备220为通过通信网络NW与管理装置300等支援装置200的外部进行通信的任意的设备。通信设备220例如为与LTE、4G、5G等移动通信标准对应的移动通信模块。
操作装置230接收来自用户的支援装置200中的各种操作。操作装置230例如包含按钮、键盘、鼠标、触控板及安装于显示装置50的触控面板等基于硬件的操作部。并且,操作装置230也可以是安装于显示装置240的触控面板等基于硬件的操作部与显示于显示装置240的操作画面上的按钮图标等基于软件的操作部的组合。
显示装置240显示各种信息图像。显示装置240例如为液晶显示器或有机EL显示器等。
当用户通过操作装置230进行了规定操作时,指令部2101(发送部的一例)通过通信设备220向管理装置300发送将挖土机100作为目的地的现场监视指令。
例如,图7(图7A、7B)是表示显示于显示装置240的用于发送现场监视指令的操作画面(以下,称为“指令发送操作画面”)的一例的图。具体而言,图7A是表示选择现场监视指令的目的地的挖土机100即成为远程操作的对象的挖土机100的操作画面的一例(指令发送操作画面700)的图。并且,图7B是表示用于进行具体的现场监视指令的设定的操作画面的一例(指令发送操作画面710)的图。
首先,如图7A所示,在指令发送操作画面700显示能够通过支援装置200进行与周边监视(现场监视)相关的远程操作的挖土机100的候选列表701。候选列表701根据保存于存储部2100的远程操作机械信息2100A而显示。存储部2100的远程操作机械信息2100A包含和通过该支援装置200能够进行与现场监视相关的远程操作的挖土机100相关的最新的信息,并且根据从管理装置300传送至支援装置200的最新的远程操作机械信息而适当更新。
用户通过安装于显示装置240的触控面板等而使候选列表701滚动。由此,用户能够找出远程操作的对象的挖土机100。
而且,用户通过触控面板等,在候选列表701中的与远程操作的对象的挖土机100对应的项目栏的左端打上核对记号(图中的黑圆点)。能够选择远程操作的对象的挖土机100即现场监视指令的目的地的挖土机100。此时,所选择的挖土机100可以是一台,也可以是多台。在本例中,选择了“挖土机A”及“挖土机B”这两台挖土机100。
最后,用户通过触控面板等,对指令发送操作画面700的下端的标注有“确定”的文字信息的按钮图标702进行操作。由此,用户能够确定远程操作的对象的挖土机100即现场监视指令的目的地的挖土机100的选择,以使显示装置240的显示内容过渡到指令发送操作画面710。
接着,如图7B所示,在指令发送操作画面710包含相对于所选择的“挖土机A”的与现场监视指令相关的各种设定栏711~715。
在标注“时间设定”的文字信息的设定栏711中,进行挖土机100(在本例中,为“挖土机A”)进行现场监视的时间段等的设定。即,在设定栏711中,用户能够根据现场监视指令进行基于挖土机100的周边监视的预约。由此,挖土机100根据预约内容,能够自动开始周边监视。在本例中,在设定栏711中,设定有开始时刻(“6:00”)及结束时刻(“8:00”)。并且,在设定栏711中也可以设定开始时刻及进行基于挖土机100的周边监视的期间(例如,3个小时等)。并且,在设定栏711中也可以代替开始时刻或结束时刻等而设定表示通过发送现场监视指令而立即开始基于挖土机100的周边监视的内容。即,在设定栏711中,用户能够设定立即开始基于挖土机100的周边监视。并且,在设定栏711中也能够设定挖土机100进行现场监视的多个时间段。例如,在设定栏711中可以设定由开始时刻及结束时刻等规定的具体的多个时间段,也可以设定最初的现场监视的开始时刻、实施现场监视的期间(例如,30分钟)及定期性的开始定时的时间间隔(例如,每隔1个小时)等。并且,在设定栏711中也能够设定以多个日子为对象而挖土机100进行现场监视的时间段等。例如,在设定栏711中,可以是能够选择特定的多个日期的方式,也可以是能够选择每天、每周的特定星期(例如,星期一~星期五)或每月的特定的日子等定期性地重复的多个日子的方式。由此,每次使挖土机100进行现场监视时,用户无需每次都通过支援装置200进行现场监视指令的发送操作,因此用户的便利性提高。
另外,在挖土机100根据接收现场监视指令而立即开始现场监视(使现场监视功能有效)的前提下,在设定栏711中也可以设定发送现场监视指令的定时(例如,特定日期和时间)及实施周边监视的期间(例如,3个小时等)。此时,与上述相同地,在设定栏711中也能够设定发送现场监视指令的多个日期和时间。例如,在设定栏711中可以指定发送现场监视指令的具体的多个日期和时间,也能够设定发送现场监视指令的定期性的定时的时间间隔(例如,每隔1个小时)等。由此,与上述相同地,当每次使挖土机100进行周边监视时,用户无需每次都通过支援装置200进行现场监视指令的发送操作,因此用户的便利性提高。
在标注“获取摄像机图像”的文字信息的设定栏712中,进行与获取挖土机100的摄像装置40的拍摄图像相关的设定。具体而言,在设定栏712中,能够设定有无获取摄像装置40的拍摄图像及所获取的拍摄图像的种类(动态图像或静态图像)。在本例中,在设定栏712中,摄像装置40的拍摄图像的获取为有(“开启”),且所获取的拍摄图像的种类被设定为“动态图像”。
在标注“检测信息获取”的文字信息的设定栏713中,设定与挖土机100周边的监视对象相关的信息即和有无获取与有无检测到监视对象相关的信息相关的信息。在本例中,在设定栏713中,与有无检测到监视对象相关的信息的获取被设定为有(“开启”)。
在标注“选择摄像机”的文字信息的设定栏714中,进行摄像机40B、40L、40R中的获取拍摄图像的摄像机的选择。在本例中,在设定栏714中,摄像机40B(“后”)及摄像机40R(“右”)作为获取拍摄图像的摄像机而设为选择(“开启”),另一方面,摄像机40L作为获取拍摄图像的摄像机而设为非选择(“关闭”)。
在标注“日志”的文字信息的设定栏715中,进行与是否将从挖土机100发送至支援装置200的周边状况信息作为日志而记录于挖土机100或管理装置300相关的设定。在本例中,在设定栏715中,设定将从挖土机100发送至支援装置200的周边状况信息作为日志来记录(“开启”)。在该情况下,日志例如可以保存于挖土机100的存储部308C或管理装置300的后面叙述的存储部3100。
并且,在指令发送操作画面710可通过进行滚动操作等,显示与“挖土机B”相关的设定栏711~715。
用户对利用指令发送操作画面700选择的挖土机100(本例的“挖土机A”及“挖土机B”)通过触控面板等适当进行设定栏711~715的设定。之后,用户通过触控面板等,对指令发送操作画面710的下端部的标注有“发送”的文字信息的按钮图标716进行操作。由此,指令部2101将利用指令发送操作画面700选择的挖土机100的识别信息及包含所选择的每个挖土机100的设定栏711~715的设定内容的现场监视指令通过通信设备220发送至管理装置300。如此,用户通过指令发送操作画面700、710,能够进行将现场监视指令从支援装置200经由管理装置300发送至挖土机100(在本例中,为“挖土机A”及“挖土机B”)的操作。
此外,返回图1~图3,当用户通过操作装置230进行了规定操作时,指令部2101也可以通过通信设备220向管理装置300发送将挖土机100设为目的地的现场监视结束指令。由此,与上述的现场监视指令的设定内容(时间设定)无关地,能够结束挖土机100中的现场监视。
信息获取部2102(第1获取部的一例)通过通信设备220获取(接收)经由管理装置300从挖土机100发送的周边状况信息。
并且,信息获取部2102(第2获取部的一例)通过通信设备220获取(接收)经由管理装置300从挖土机100发送的与挖土机100的现场监视功能(现场监视部110)是否能够启动相关的信息(例如,不可启动通知)。并且,信息获取部2102通过通信设备220获取经由管理装置300从挖土机100发送的与挖土机100的现场监视功能(现场监视部110)是否能够持续运转相关的信息(例如,不可持续监视通知)。并且,如上所述,信息获取部2102作为与挖土机100的现场监视功能是否能够启动相关的信息或与现场监视功能是否能够持续运转相关的信息,也可以获取与电池64的各种状态相关的信息即电源状态信息(例如,剩余容量C等)。
通知部2103(第1通知部、第2通知部的一例)向用户通知由信息获取部2102获取的周边状况信息等各种信息。具体而言,通知部2103通过显示于显示装置240,向用户通知(提供)周边状况信息等各种信息。并且,通知部2103也可以通过声音,向用户通知周边状况信息等各种信息。由此,用户能够确认根据现场监视指令从挖土机100经由管理装置300回复的周边状况信息等各种信息。
例如,图8是表示显示于支援装置200的显示装置240的向用户通知周边状况信息的画面(以下,称为“现场状况通知画面”)的一例(现场状况通知画面800)的图。
在现场状况通知画面800显示有从通过图7A、7B的指令发送操作画面700、710发送了现场监视指令的挖土机100(“挖土机A”)获取的周边状况信息。
具体而言,在标注“摄像机图像”的文字信息的显示栏811中显示有通过挖土机100(“挖土机A”)的摄像装置40拍摄的拍摄图像。显示栏811的拍摄图像例如可以是表示当前(大致实时)的挖土机100周围的情况的拍摄图像,也可以是表示倒退一段时间的时间点的挖土机100周围的情况的拍摄图像。
并且,在标注“检测信息”的文字信息的显示栏812中显示有与在挖土机100的周边是否检测到监视对象(具体而言,可疑人员)相关的信息。在本例中,在显示于显示栏811的拍摄图像中也可以显示有未显示可疑人员而未检测到可疑人员的情况的文字信息(“未检测到可疑人员”)。
如此,用户根据周边状况信息中所包含的摄像装置40的拍摄图像(显示栏811),能够掌握工作时间外的施工现场的状况。因此,例如,在开始工作之前下雨的情况下,用户通过从支援装置200向施工现场的挖土机100发送现场监视指令,即便不去施工现场,利用支援装置200也能够确认施工现场是否处于能够进行工作的状况。并且,用户根据周边状况信息中所包含的与有无检测到监视对象相关的信息(显示栏812),能够确认工作时间外监视对象(可疑人员)有无侵入到施工现场。因此,例如,用户通过从支援装置200向施工现场的挖土机100发送指定了夜间时间段的现场监视指令,能够利用支援装置200确认夜间有无检测到监视对象,能够掌握可疑人员的侵入等。
并且,例如,图9是表示施工现场中的挖土机100(挖土机100A、100B)的停放状况的图。以下,在本例中,将图中的右方向称为X1方向,将左方向称为X2方向,将上方向称为Y1方向,将下方向称为Y2方向。
在本例中,在以施工现场900的X1、X2方向为长边的大致矩形的用地901中的相当于X1方向及Y2方向的端部的角部所设置的建筑物902、903附近,以将上部回转体3的后部朝向X2方向的状态停放有挖土机100A。
在挖土机100A的停止中,通过启动摄像机40B、40R,摄像机40B、40R根据它们的可摄像范围AVB、AVR能够获取可确认用地901的Y1方向的大致一半的区域的状况的拍摄图像。
并且,在本例中,在用地901的Y2方向的端部中的X1、X2方向的中央附近,以将上部回转体3的后部朝向Y1方向的状态停放有挖土机100B。
在挖土机100B的停止中,通过启动摄像机40B、40L、40R,摄像机40B、40L、40R根据它们的可摄像范围AVB、AVL、AVR,能够获取可确认用地901的Y2方向的大致一半的区域的状况的拍摄图像。
因此,在本例中,用户通过从支援装置200向挖土机100A及挖土机100B发送现场监视指令,能够确认遍及整个施工现场900的状况。
如此,工作人员或监督人员等用户对应于施工现场的一个或多个挖土机100的停放状况等,从支援装置200向挖土机100发送现场监视指令,由此能够从外部确认整个施工现场的状况。并且,用户通过适当设计施工现场中的一个或多个挖土机100的配置,根据从挖土机100经由管理装置300发送至支援装置200的周边状况信息,能够从外部确认整个施工现场的状况。
此外,返回图1~图3,用户根据周边状况信息中所包含的摄像装置40的拍摄图像,能够确认施工中的施工现场的状况。因此,例如,负责多个施工现场的监督人员等用户通过从支援装置200向地理上分开的施工现场的挖土机100发送现场监视指令,利用支援装置200能够确认地理上分开的施工中的施工现场的状况。并且,用户根据周边状况信息中所包含的与有无检测到监视对象相关的信息,能够确认施工中的施工现场中靠近挖土机100的监视对象(工作人员)有无侵入到监视区域或侵入的频度。因此,例如,负责多个施工现场的监督人员等用户通过从支援装置200向地理上分开的施工现场的挖土机100发送现场监视指令,能够利用支援装置200确认地理上分开的施工中的施工现场的安全状况。因此,用户对靠近挖土机100的工作人员侵入到监视区域内的频度高的施工现场,能够实现进行提醒注意的联络或直接前往该施工现场进行提醒注意等措施。
<管理装置的结构>
管理装置300包含控制装置310及通信设备320。
控制装置310控制管理装置300的各种动作。控制装置310例如作为通过在CPU上执行存储于ROM或非易失性辅助存储装置等的一个以上的程序来实现的功能部,包含中继部3101。并且,控制装置310例如包含辅助存储装置等非易失性内部存储器中所规定的作为存储区域的存储部3100。
通信设备320为通过通信网络NW与挖土机100及支援装置200等管理装置300的外部进行通信的任意的设备。
中继部3101通过通信设备320对挖土机100与支援装置200之间的通信进行中继。例如,若通过通信设备320从支援装置200接收现场监视指令,则中继部3101向该现场监视指令中设定的目的地的挖土机100发送(传输)该现场监视指令。并且,例如,若通过通信设备320从挖土机100接收到周边状况信息等,则中继部3101向设定(赋予)于周边状况信息等的目的地的支援装置200发送(传输)该周边状况信息等。
另外,当通过通信设备320从挖土机100接收了向支援装置200发送的周边状况信息时,控制装置310也可以将该周边状况信息作为日志信息保存于存储部3200。由此,用户利用支援装置200并通过规定的方法,能够访问管理装置300并确认该日志信息。
在存储部3200存储有候选终端信息3100A及机械/终端对应信息3101B。
候选终端信息3100A为通过支援装置200或通过管理装置300登录的、和进行与挖土机100的现场监视相关的远程操作的候选支援装置200相关的信息。候选终端信息3100A若被更新,则通过通信设备320发送至挖土机100。由此,挖土机100的候选终端信息3081C能够维持为最新状态。
机械/终端对应信息3100B为与挖土机100和与现场监视相关的远程操作得到允许的支援装置200之间的对应关系相关的信息。机械/终端对应信息3100B根据挖土机100中每次允许基于支援装置200的与现场监视相关的远程操作时从该挖土机100通知的与得到允许的支援装置200相关的信息而被更新。例如,根据机械/终端对应信息3100B,能够生成和每个支援装置200的与周边监视相关的远程操作得到允许的挖土机100相关的信息即远程操作机械信息。因此,每次更新机械/终端对应信息3100B时,生成新的远程操作机械信息,并发送至支援装置200。由此,更新保存于支援装置200的存储部2100的远程操作机械信息2100A,从而能够维持为最新状态。
[现场监视系统的动作的详细内容]
接着,参考图10(图10A~10D)对现场监视系统SYS的动作的详细内容进行说明。
<挖土机的周边监视控制器进行的处理流程>
图10A、图10B是概略地表示挖土机100的周边监视控制器30C进行的与现场监视相关的处理的一例的流程图。若通过通信设备60经由管理装置300接收来自支援装置200的现场监视指令,则执行基于本流程图的处理。
在步骤S102中,若从接收缓冲器等获取现场监视指令,则指令获取部306C根据现场监视指令的设定内容,判定是否为周边监视的开始定时。具体而言,指令获取部306C判定是现场监视指令中所包含的时间设定的开始时刻为表示立即开始的内容或当前时刻已到现场监视指令中所包含的时间设定的开始时刻中的任一个。当为周边监视的开始定时时,指令获取部306C转到步骤S104,在除此以外的情况下,待机直至到达周边监视的开始定时(重复本步骤的处理)。
在步骤S104中,指令获取部306C判定该挖土机100是否为运转状态(即,发动机11是否为运行状态)。当该挖土机100不是运转状态即为停止状态时,指令获取部306C转到步骤S105,当该挖土机100为运转中时,转到步骤S116。
在步骤S105中,启动/停止部307C根据来自指令获取部306C的指令,进行启动,并判定电池64的剩余容量C是否超过了规定阈值Cth1。当电池64的剩余容量C超过了规定阈值Cth1时,启动/停止部307C转到步骤S106。另一方面,当电池64的剩余容量C未超过规定阈值Cth1即为规定阈值Cth1以下时,启动/停止部307C转到步骤S107,通过通信设备60将不可启动通知经由管理装置300发送至支援装置200,并结束这次处理。
在步骤S106中,启动/停止部307C根据通过指令获取部306C获取的现场监视指令的设定内容,启动现场监视部110。例如,在现场监视指令中,当仅将摄像机40B、40L、40R中的一部分摄像机选择为拍摄图像的获取对象的摄像机(例如,仅将图7B的指令发送操作画面710的设定栏713的一部分设定为“开启”)时,启动/停止部307C可以仅启动所选择的摄像机。并且,例如,在现场监视指令中,当尚未请求获取与有无检测到监视对象相关的信息(例如,图7B的指令发送操作画面710的设定栏713设定为“关闭”)时,启动/停止部307C也可以不启动检测部302C。并且,例如,在现场监视指令中,当尚未请求获取通过监视图像生成部301C生成的周边图像时,启动/停止部307C也可以不启动监视图像生成部301C。由此,获取周边状况信息,并且仅启动为了向支援装置200发送而所需的功能,因此能够抑制挖土机100的不必要的能量消耗(具体而言,电池64的剩余容量的下降)。并且,即便启动挖土机100的现场监视部110,也维持挖土机100的停止状态而不会启动发动机11。因此,例如,能够抑制如发动机11在早晨或夜间等启动而产生噪音问题的情况。并且,在操作人员不在挖土机100等的状况下,抑制如挖土机100的各种动作要件(具体而言,下部行驶体1、上部回转体3、附属装置等)进行动作那样的情况,从而能够确保挖土机100的安全性。
另外,在步骤S106中,启动/停止部307C不仅启动现场监视部110,还可以启动挖土机100的所有功能。即,启动/停止部307C也可以通过启动发动机11或开始来自作为动力源的的电池或外部商用源电源的电力供给,启动挖土机100。尤其在挖土机100为电动挖土机的情况下,如发动机11,噪音也非常小且能量损失也相对较少,因此与启动所有功能的方式的相容性良好。
在步骤S108中,现场监视部110根据现场监视指令的设定内容,开始现场监视。具体而言,现场监视部110获取与现场监视指令的设定内容对应的周边状况信息,并且开始通过通信设备60,使管理装置300开始向支援装置200发送周边状况信息的处理。
在步骤S110中,启动/停止部307C判定是否为现场监视的结束定时。具体而言,启动/停止部307C判定是否属于已到现场监视指令中设定的结束时刻或通过通信设备60经由管理装置300从支援装置200接收了现场监视结束指令中的任一个。当不是现场监视的结束定时时,启动/停止部307C转到步骤S112,当为结束定时时,转到步骤S114。
在步骤S112中,启动/停止部307C判定电池64的剩余容量C是否降至规定阈值Cth2以下。当电池64的剩余容量C降至规定阈值Cth2以下时,启动/停止部307C转到步骤S113,在除此以外的情况下,返回步骤S110。
在步骤S113中,启动/停止部307C通过通信设备60将不可持续监视通知经由管理装置300发送至支援装置200。
在步骤S114中,现场监视部110结束现场监视(即,周边状况信息的获取及向支援装置200的发送),并且启动/停止部307C停止现场监视部110,并结束这次处理。
另一方面,在步骤S116中,指令获取部306C通过显示装置50,进行对操作人员等的表示开始向外部发送周边状况信息的通知。
在步骤S118中,与步骤S108相同地,现场监视部110根据现场监视指令的设定内容,开始现场监视。
在步骤S120中,与步骤S110相同地,启动/停止部307C判定是否为现场监视的结束定时。当为现场监视的结束定时时,启动/停止部307C转到步骤S122,当不是结束定时时,重复本步骤的处理,直至成为结束定时。
在步骤S122中,现场监视部110结束现场监视(即,周边状况信息的获取及向支援装置200的发送),并结束这次处理。
<支援装置的控制装置进行的处理流程>
图10C、图10D是概略地表示支援装置200的控制装置210进行的与现场监视相关的处理的一例的流程图。若进行现场监视指令的发送操作,则执行基于本流程图的处理。
在步骤S202中,指令部2101通过通信设备220,将向特定挖土机100的现场监视指令发送至管理装置300。
在步骤S204中,通知部2103判定是否为即将开始现场监视之前的定时(例如,现场监视指令中设定的开始时刻的数分钟之前等)。当为即将开始现场监视之前的定时时,通知部2103转到步骤S206,在除此以外的情况下,待机直至即将开始现场监视之前的定时到来(重复本步骤的处理)。
在步骤S205中,通知部2103判定是否通过通信设备220经由管理装置300从支援装置200接收了不可启动通知。当未接收到不可启动通知时,通知部2103转到步骤S206。另一方面,当接收到不可启动通知时,通知部2103转到步骤S207,通过显示装置240向用户通知无法启动挖土机100的现场监视功能的情况,并结束这次处理。
在步骤S206中,通知部2103通过显示装置240进行使用户确认周边状况信息向显示装置240的显示开始的通知。
在步骤S208中,当通过操作装置230进行了同意周边状况信息向显示装置240的显示开始的操作时,信息获取部2102转到步骤S210,当尚未进行该操作时,待机直至进行该操作(重复本步骤的处理)。
另外,也有可能存在结束周边状况信息的接收(即,挖土机100的现场监视的结束)为止尚未进行同意显示开始的操作的情况。因此,若现场监视指令中设定的结束时刻到来,则也可以强制结束基于本流程图的处理。
在步骤S210中,信息获取部2102通过通信设备220,向管理装置300发送请求来自现场监视指令的目的地即挖土机100的周边状况信息的信号。
在步骤S212中,信息获取部2102判定通过通信设备220经由管理装置300是否开始了从挖土机100接收周边状况信息。当开始了从挖土机100接收周边状况信息时,信息获取部2102转到步骤S214,当尚未开始时,待机直至开始(重复本步骤的处理)。
另外,例如,也有可能存在因通信障碍等某种理由而无法开始周边状况信息的接收的情况。因此,信息获取部2102也可以通过通信设备220,多次进行对管理装置300请求来自挖土机100的周边状况信息的信号的发送重试。并且,若从请求来自挖土机100的周边状况信息的信号的发送起经过一定程度的时间,则也可以强制结束基于本流程图的处理。
在步骤S214中,通知部2103开始向显示装置240显示通过信息获取部2102获取的周边状况信息。
在步骤S215中,通知部2103判定是否通过通信设备220经由管理装置300从支援装置200接收了不可持续监视通知。当未接收到不可持续监视通知时,通知部2103转到步骤S216,当接收不可持续监视通知时,转到步骤S219。
在步骤S216中,信息获取部2102判定是否结束了来自管理装置300的周边状况信息的接收,即挖土机100中的现场监视是否结束。当结束了来自管理装置300的周边状况信息的接收时,信息获取部2102转到步骤S218,在除此以外的情况下,返回步骤S215。
另外,在步骤S216中,也可以判定是否到达现场监视指令中设定的结束定时(例如,结束时刻等)。
在步骤S218中,信息获取部2102通过显示装置240向用户通知挖土机100进行的现场监视的期间结束的情况,并转到步骤S220。
另一方面,在步骤S219中,通知部2103通过显示装置240向用户通知处于挖土机100的现场监视功能(现场监视部110)无法持续运转的状况的情况,并转到步骤S220。
在步骤S220中,通知部2103结束向显示装置240显示周边状况信息,并结束这次处理。
[变形/变更]
以上,对第1实施方式进行了详细说明,但在本实施方式的内容所表示的主旨的范围内,能够进行各种变形/变更。
例如,在本实施方式中,从支援装置200经由管理装置300发送现场监视指令,但也可以通过管理装置300的管理人员等的操作从管理装置300(外部装置的一例)向挖土机100发送现场监视指令。并且,也可以通过预先设定于管理装置300的计时器功能等,预先规定的设定内容的现场监视指令从管理装置300发送至挖土机100。在该情况下,从挖土机100向管理装置300发送周边状况信息等,管理装置300的管理人员等通过管理装置300的显示装置等,能够确认周边状况信息等。
并且,在本实施方式中,大致实时地从挖土机100经由管理装置300向支援装置200发送周边状况信息,但也可以以事后能够确认的方式向用户提供周边状况信息。例如,管理装置300也可以代替向支援装置200发送从挖土机100发送的周边状况信息或发送至该支援装置200的用户的邮件地址或规定的社交网络服务(SNS:Social Networking Service)的账户。例如,从支援装置200的环形缓冲器等的容量的观点考虑,关于直接发送至支援装置200的周边监视信息,通常,有可能存在不是以事后确认为前提而删除的情况。与此相对,通过向用户的邮件地址或SNS的地址发送摘要版等的周边监视信息,虽然多少存在时滞,但用户能够事后确认挖土机100的施工现场的状况。
并且,在本实施方式中,挖土机100(周边监视控制器30C)根据每次的现场监视指令的接收而获取周边状况信息,但与现场监视指令无关地,也可以以预先设定的定时来获取周边状况信息。而且,挖土机100(周边监视控制器30C)可以将所获取的周边状况信息作为日志信息而记录于内部存储器(存储部308C)或适当发送至管理装置300。由此,即使在如用户忘记从支援装置200向挖土机100发送(设定)现场监视指令的状况下,也在管理装置300中保存施工现场的周边状况信息。这是因为,例如,可以设想如因用户(监督人员)负责的现场改变而忘记与新的现场相关的现场监视指令,或忘记与现场监视指令相关的上次设定的期限到期的状况。因此,即使在这种状况下,用户通过支援装置200,访问管理装置300,并且将所保存的特定挖土机100的最近的周边状况信息下载到支援装置200等,由此能够确认施工现场的状况。
在该情况下,基于挖土机100(周边监视控制器30C)的周边状况信息的获取定时例如可以由操作人员通过显示于挖土机100的显示装置50的规定的操作画面等进行设定。并且,基于挖土机100的周边状况信息的获取定时也可以是由支援装置200的用户通过显示于支援装置200的显示装置240的规定的操作画面进行设定,并且该设定内容经由管理装置300反馈到挖土机100的方式。
并且,在该情况下,作为基于挖土机100的周边状况信息的获取定时,例如能够设定每天一次或多次的同一时间段、每周的星期一至星期五的同一时间段等定期性的获取定时。并且,作为周边状况信息的获取定时,能够设定为挖土机100已停止时等随时(例如,周边监视控制器30C的处理资源较缺乏时等)或随机的定时(例如,由规定的随机函数输出规定的触发时等)获取周边状况信息。
并且,在该情况下,管理装置300可以分析从挖土机100接收的周边状况信息,并且监视规定事件(例如,施工现场被封锁的时间段的可疑人员等的检测)的发生。而且,当发生了规定事件时,管理装置300可以以推送通知的方式向能够对该挖土机100发送现场监视指令的支援装置200发送提示信号。并且,该提示信号也可以发送至该支援装置200的用户的邮件地址或规定的SNS的账户。由此,用户即使在将现场监视指令未发送至挖土机100的情况下,也能够掌握停放有挖土机100的施工现场中的可疑人员的检测等与该施工现场相关的规定事件的发生。
并且,在该情况下,当通过作为发送对象而预先登录的支援装置200中启动了规定的应用时,管理装置300可以将从挖土机100接收的周边状况信息实时发送至该支援装置200。由此,用户只要通过支援装置200来启动规定的应用,便能够确认实时的周边状况信息(例如,表示挖土机100周围的情况的摄像装置40的拍摄图像)。此时,当启动了规定的应用且用户通过支援装置200进行了确认操作时,管理装置300可以将从挖土机100接收的周边状况信息实时发送至该支援装置200。由此,例如,能够抑制如因实时发送用户并不需要的周边状况信息而导致花费不必要的通信费的情况。并且,管理装置300也可以在接收了来自支援装置200的获取请求时,将从挖土机100接收的周边状况信息发送至支援装置200。此时,支援装置200可以根据用户进行的操作,发送用于一并获取未获取的挖土机100的周边状况信息的获取请求。并且,支援装置200也可以根据用户进行的操作,将以与时间段、信息的种类、信息中所附带的元信息等相关的条件来限定从管理装置300获取的周边状况信息的获取请求发送至管理装置300。由此,当未发送现场监视指令时,用户通过支援装置200,访问管理装置300,能够使支援装置200获取所需的周边状况信息。
并且,在本实施方式中,挖土机100(周边监视控制器30C)包含警报输出部303C及动作限制部304C这两者,但也可以仅包含其中任一个。即,当在从挖土机100观察的水平方向的监视区域内检测到监视对象时,挖土机100的周边监视控制器30C也可以是仅进行警报的输出及挖土机100的动作限制中的任一个的方式。
并且,在本实施方式中,挖土机100为对下部行驶体1、上部回转体3、动臂4、斗杆5及铲斗6等各种动作要件全部进行液压驱动的结构,但也可以是对其一部分进行电力驱动的结构。即,本实施方式中所公开的结构等也可以适用于包含混合式挖土机或上述电动挖土机等的现场监视系统中。
并且,在本实施方式中,挖土机100根据搭乘于操纵室10的操作人员的操作而进行动作,但也可以根据通过通信设备60从外部装置(例如,管理装置300等)接收的操作输入,被远程操作。
在该情况下,挖土机100(周边监视控制器30C)也可以根据从外部装置通过远程操作设定的规定条件,自动获取周边状况信息,并且经由管理装置300发送至支援装置200。规定条件例如除了与上述相同的日期和时间的条件以外,还可以包含“挖土机100的工作结束并停止”等与挖土机100的动作状态相关的条件或“挖土机100周围的照度相对下降(成为夜间)”等与挖土机100周围的环境状态相关的条件。
并且,挖土机100也可以是不依赖于操作人员的操作或来自外部装置的操作输入而自主地动作并进行规定的工作的方式。
在该情况下,挖土机100(周边监视控制器30C)可以自主地学习应获取周边状况信息的定时。而且,挖土机100也可以在与学习结果对应的定时自主地获取周边状况信息,并且经由管理装置300发送至支援装置200。
并且,本实施方式所涉及的现场监视系统也可以适用于在工厂或办公楼等中运转的传送装置(例如,传送机械手)。例如,根据时间段而工厂或办公楼等变得无人,因此传送装置也可以在这种时间段获取周边状况信息,并且经由管理装置向支援装置发送周边状况信息。由此,能够提高工厂或办公楼等无人的时间段的安全性。
另外,关于本实施方式,进一步公开以下内容。
(1)一种施工机械,其能够与外部进行通信,所述施工机械具备:
传感器,获取与该施工机械周边的状况相关的信息;
发送部,根据来自该施工机械的外部装置的指令,将通过所述传感器获取的或根据通过所述传感器获取的信息而生成的与该施工机械周边的状况相关的信息发送至所述外部装置。
(2)根据(1)所述的施工机械,其中,
所述传感器包含拍摄该施工机械周边的摄像装置,
所述发送部根据所述指令,将通过所述摄像装置拍摄的该施工机械周边的拍摄图像发送至所述外部装置。
(3)根据(1)或(2)所述的施工机械,其还具备:
启动部,在该施工机械的停止中,当接收了所述指令时,至少启动包含所述传感器及所述发送部的监视部。
(4)根据(3)所述的施工机械,其中,
在该施工机械的停止中,当接收了所述指令时,所述启动部维持该施工机械的停止状态,并且仅启动所述监视部。
(5)根据(3)或(4)所述的施工机械,其还具备:
检测部,根据通过所述传感器获取的信息,在该施工机械周边的规定范围内,检测规定的监视对象,
所述启动部在该施工机械的停止中,作为所述监视部,除了所述传感器及所述发送部以外,还启动所述检测部,
所述发送部将通过所述检测部检测的与该施工机械周边的所述监视对象相关的信息发送至所述外部装置。
(6)根据(5)所述的施工机械,其中,
当在该施工机械的停止中通过所述启动部启动了所述监视部时,并且通过所述检测部检测到所述监视对象时,所述发送部将表示在该施工机械周边的所述规定范围内检测到所述监视对象的信息发送至所述外部装置。
(7)根据(3)至(6)中任一项所述的施工机械,其还具备:
电源,对包含所述监视部的该施工机械的设备供给电力,
当接收了所述指令且所述电源的剩余容量超过了规定的第1阈值时,所述启动部启动所述监视部。
(8)根据(7)所述的施工机械,其还具备:
第1外部通知部,向所述外部装置发送通知,
即使在接收了所述指令的情况下,当所述电源的剩余容量为所述第1阈值以下时,所述启动部也不会启动所述监视部,
当因所述电源的剩余容量未超过所述第1阈值而通过所述启动部未启动所述监视部时,所述第1外部通知部将表示处于无法启动所述监视部的状况的通知发送至所述外部装置。
(9)根据(7)或(8)所述的施工机械,其还具备:
停止部,当在该施工机械的停止中通过所述启动部启动了所述监视部时,并且当所述电源的剩余容量降至规定的第2阈值以下时,停止所述监视部。
(10)根据(9)所述的施工机械,其还具备:
第2外部通知部,当所述电源的剩余容量降至所述第2阈值以下时,向所述外部装置发送表示处于所述监视部无法持续运转的状况的通知。
(11)根据(1)至(10)中任一项所述的施工机械,其还具备:
内部通知部,当在该施工机械的运转中接收了所述指令时,向操作人员通知通过所述发送部与该施工机械周边的状况相关的信息发送至所述外部装置。
(12)根据(1)至(11)中任一项所述的施工机械,其还具备:
允许操作部,接收用于允许用户终端对该施工机械的远程操作的规定操作,
所述外部装置为所述用户终端或能够与所述用户终端及该施工机械进行通信的管理装置,
当通过所述允许操作部接收了所述规定操作时,所述发送部根据从所述用户终端直接或经由所述管理装置接收的所述指令,将与该施工机械周边的状况相关的信息发送至所述外部装置。
(13)一种支援装置,其能够与施工机械进行通信,所述施工机械具备获取与所述施工机械周边的状况相关的信息并发送至所述施工机械的外部的监视部,所述支援装置具备:
发送部,根据来自用户的规定操作,将请求与所述施工机械周边的状况相关的信息的指令发送至所述施工机械;
第1获取部,获取根据所述指令而从所述施工机械发送的与所述施工机械周边的状况相关的信息;及
第1通知部,向用户通知通过所述第1获取部获取的与所述施工机械周边的状况相关的信息。
(14)根据(13)所述的支援装置,其包含:
第2获取部,根据所述指令,从所述施工机械获取与停止中的所述施工机械中的所述监视部是否能够启动或所述监视部启动之后运转中的所述监视部是否能够持续运转相关的信息;及
第2通知部,向用户通知通过所述第2获取部获取的信息。
(15)根据(14)所述的支援装置,其中,
所述第2获取部搭载于所述施工机械,且获取与向所述监视部供给电力的电源的状态相关的信息。
(16)一种支援方法,其由支援装置执行,所述支援装置能够与所述施工机械进行通信,所述施工机械具备获取与所述施工机械周边的状况相关的信息并发送至所述施工机械的外部的监视部,所述支援方法包括:
发送步骤,根据来自用户的规定操作,将请求与所述施工机械周边的状况相关的信息的指令发送至所述施工机械;
第1获取步骤,获取根据所述指令而从所述施工机械发送的与所述施工机械周边的状况相关的信息;及
第1通知步骤,向用户通知在所述第1获取步骤中获取的与所述施工机械周边的状况相关的信息。
(17)一种支援程序,其使支援装置执行(16)所述的支援方法。
[第2实施方式]
接着,对第2实施方式进行说明。
已知有若在挖土机等施工机械周边的监视范围内检测到规定的监视对象(例如,人),则输出警报或限制施工机械的动作等,以确保施工机械周边的安全性的周边监视装置(例如,日本特开2014-181508号公报)。
然而,能够设想即使在监视范围内检测不到监视对象的情况下,该监视对象仍存在于包含监视范围的相对靠近施工机械的邻近区域的情况。例如,当监视对象为人时,有可能存在如下情况,在施工机械的怠速状态下,在操作人员离开了施工机械的状况下,工作人员等钻入施工机械的下方,对底盘进行检修,或从回转体的上部对引擎室进行检修的情况。在该情况下,通常,施工机械的回转体的下方或回转体的上部不包含于监视范围内,因此工作人员等侵入监视范围内之后,从监视范围内走到监视范围外的邻近区域,导致存在解除警报的输出或动作限制被解除的可能性。于是,存在如下可能性,返回到施工机械的操作人员因警报的输出或动作限制处于被解除的状态而尽管工作人员等正在进行施工机械的检修等,但仍旧安心地开始基于施工机械的工作。
因此,在本实施方式中,提供一种能够提高在靠近施工机械的监视范围外的区域存在监视对象时的施工机械的安全性的周边监视装置。
[挖土机的概要]
首先,参考图11对搭载有本实施方式所涉及的周边监视装置150(参考图12)的挖土机100(施工机械的一例)的概要进行说明。
图11是表示搭载有本实施方式所涉及的周边监视装置150的挖土机100的一例的图,具体而言,是挖土机100的侧视图。
另外,本实施方式所涉及的周边监视装置150可以搭载于除挖土机100以外的任意的施工机械。例如,周边监视装置150也可以搭载于作为端接附件安装有磁力吊的起重磁铁设备、推土机、轮式装载机、沥青铺筑机、林业机械及履带式起重机等。
挖土机100具备下部行驶体1;经由回转机构2能够回转地搭载于下部行驶体1的上部回转体3;作为附属装置(工作装置)的动臂4、斗杆5及铲斗6;操纵室10。
下部行驶体1例如包含左右一对履带,并且通过由行驶用液压马达(未图示)液压驱动各自的履带而自行行驶。
上部回转体3由回转液压马达或电动机(均未图示)等驱动,由此相对于下部行驶体1进行回转。
动臂4能够俯仰地枢轴安装于上部回转体3的前部中央,在动臂4的前端能够上下转动地枢轴安装有斗杆5,在斗杆5的前端能够上下转动地枢轴安装有铲斗6。动臂4、斗杆5及铲斗6分别由动臂缸7、斗杆缸8及铲斗缸9液压驱动。
操纵室10为操作人员搭乘的座舱,并且搭载于上部回转体3的前部左侧。
[周边监视装置的结构]
接着,除了图11以外,还参考图12对本实施方式所涉及的周边监视装置150的具体结构进行说明。
图12是表示本实施方式所涉及的周边监视装置150的结构的一例的框图。
周边监视装置150监视监视对象即规定的物体(以下,简称为“监视对象”)向挖土机100周边的规定范围内的侵入,当检测到监视对象时,输出警报或限制挖土机的动作。监视对象中不仅包含在挖土机100的周围进行工作的工作人员或施工现场的监督人员等人,还能够包含在施工现场中临时存放的材料等固定放置的障碍物或包括卡车在内的车辆等进行移动的障碍物等除人以外的任意的物体。以下,在本实施方式中,以监视对象为人的情况为中心继续进行说明。
周边监视装置150包含控制器30、摄像装置40、显示装置50、声音输出装置52、门锁阀54、解除开关70、监视功能“开启”/“关闭”开关(以下,简称为“监视功能开关”)72、显示内容切换开关74及监视区域切换开关76。
控制器30是以进行挖土机100的驱动控制为主的控制装置。例如,控制器30搭载于操纵室10内,并且进行与周边监视装置150相关的各种控制处理。
控制器30可通过任意的硬件、软件或它们的组合来实现其功能。控制器30例如以包含CPU(Central Processing Unit:中央处理器)、RAM(Random Access Memory:随机存取存储器)、ROM(ead Only Memory:只读存储器)、辅助存储装置、RTC(Real Time Clock:实时时钟)及各种通信用接口等的微型计算机为中心构成。控制器30例如作为通过在CPU上执行存储于ROM或辅助存储装置的各种程序来实现的功能部,包含检测部3011、检查部3012、跟踪部3013、警报输出部3014及动作限制部3015。
摄像装置40(传感器的一例)安装于上部回转体3的上部,拍摄挖土机100的周边,并且输出拍摄图像。所输出的拍摄图像中能够包括包含存在于挖土机100周边的监视对象的物体。即,摄像装置40输出作为与存在于挖土机100周边的物体相关的检测信息的拍摄图像。摄像装置40包含摄像机40B、40L、40R。
摄像机40B、摄像机40L及摄像机40R分别安装于上部回转体3的后端上部、左端上部及右端上部,并且拍摄上部回转体3的后方、左侧及右侧。例如,摄像机40B、摄像机40L及摄像机40R分别为具有极宽的视角的单眼广角摄像机。具体而言,摄像机40B、摄像机40L及摄像机40R分别在上部回转体3的上部安装成光轴朝向斜下方,并且拍摄包含从挖土机100附近的地面至挖土机100远方的上下方向的摄像范围。摄像机40B、摄像机40L及摄像机40R分别在挖土机100的运行中,每隔规定周期(例如,1/30秒)输出拍摄图像,所输出的拍摄图像输入于控制器30。
显示装置50设置于操纵室10内的操纵席的周边,具体而言,设置于从就坐于操纵席的操作人员容易视觉辨认的位置,并且在基于控制器30的控制下显示通知给操作人员的各种图像信息。显示装置50例如为液晶显示器或有机EL(Electroluminescence:电致发光)显示器,也可以是兼作操作部的触控面板式。具体而言,如后面叙述,显示装置50显示摄像装置40的拍摄图像(实时取景图像)或通过控制器30根据摄像装置40的拍摄图像生成的周边图像(例如,后面叙述的视点转换图像)等。
声音输出装置52设置于操纵室10内的操纵席的周边,并且在基于控制器30的控制下输出通知给操作人员的各种声音信息。声音输出装置52例如为扬声器或蜂鸣器等。具体而言,声音输出装置52根据来自控制器30的控制指令输出警报音。
门锁阀54设置于从先导泵对操作挖土机100的动作要件(即,下部行驶体1、上部回转体3、动臂4、斗杆5及铲斗6等)的操作装置(未图示)供给先导压的先导管路的最上游,并且切换先导管路的连通/非连通。
例如,通常,门锁阀54根据与设置于操纵室10内的相当于操纵席的入口的部分的门锁杆的操作状态联动的门锁开关的输出信号(“开启”/“关闭”),切换先导管路的连通/非连通。具体而言,当门锁开关的输出信号为与门锁杆被提拉的状态(即,操作人员就坐于操纵席的状态)对应的信号(以下,简称为““关闭”信号”)时,门锁阀54将先导管路设为连通状态。另一方面,当门锁开关的输出信号为与门锁杆被拉下的状态(即,操作人员从操纵席离开的状态)对应的信号(以下,简称为““开启”信号”)时,门锁阀54将先导管路设为非连通状态。
并且,例如,门锁阀54构成为还能够接收从控制器30输入的指令信号。具体而言,门锁阀54中,其信号输入部可以与来自控制器30的指令信号能够嵌入的逻辑电路连接。由此,门锁阀54根据来自控制器30的指令信号(“关闭”信号/“开启”信号),能够切换先导管路的连通/非连通。即,门锁阀54在控制器30的控制下,即使在门锁杆被提拉的状态下,也将先导管路设为非连通状态。
解除开关70例如设置于操纵室10内的操纵席的附近,是操作人员等输入解除后面叙述的警报或挖土机100的动作限制的解除意向的操作部。解除开关70例如可以是后面叙述的操作部50B的按钮、操纵杆及旋钮等基于硬件的操作部。并且,解除开关70例如也可以是显示于显示装置50的操作画面上的虚拟按钮(图标)等基于软件的操作部与安装于显示装置50的触控面板等基于硬件的操作部的组合。以下,关于监视功能开关72、显示内容切换开关74及监视区域切换开关76等也相同。与解除开关70的操作状态相关的信息被输入于控制器30。
另外,也可以代替解除开关70而采用识别与基于操作人员的解除意向对应的特定的姿势或手势的摄像机及识别与基于操作人员的解除意向对应的特定的视线移动的视线传感器(解除意向输入部的一例)等。以下,关于监视功能开关72、显示内容切换开关74及监视区域切换开关76等也相同。
监视功能开关72例如为设置于操纵室10内的操纵席的附近且操作人员等用于“开启”/“关闭”基于周边监视装置150的监视功能的操作部。即,监视功能开关72为根据监视对象的检测而执行的用于将警报的输出及挖土机100的动作限制的功能设为有效状态或无效状态的操作部。
例如,当根据操作人员等对监视功能开关72的操作而监视功能成为有效时,后面叙述的显示控制部3011、检测部3012、跟踪部3013、警报输出部3014及动作限制部3015的功能成为有效。
另一方面,例如,当根据操作人员等对监视功能开关72的操作而监视功能成为无效时,显示控制部3011(至少与监视功能相关的功能部分)、检测部3012、跟踪部3013、警报输出部3014及动作限制部3015的所有功能成为无效。并且,在该情况下,也可以在检测部3012、跟踪部3013、警报输出部3014及动作限制部3015中,仅警报输出部3014及动作限制部3015的功能为无效,显示控制部3011的与监视功能相关的功能或检测部3012及跟踪部3013的功能保持有效的状态。由此,当将监视功能维持为无效,并且根据监视功能开关72的操作而使监视功能有效时,无需再次启动显示控制部3011、检测部3012及跟踪部3013等的功能而能够缩短监视功能再次开始为止所需的时间。
并且,例如,当根据操作人员等对监视功能开关72的操作而监视功能成为无效时,在基于控制器30(后面叙述的显示控制部3011)的控制下,表示监视功能处于无效状态的指示器被显示于显示装置50。并且,也可以是如下方式,即,在操纵室10内设置有由红色灯等构成的专用指示器,例如,当根据操作人员等对监视功能开关72的操作而监视功能成为无效时,该专用指示器点亮。由此,周边监视装置150能够使操作人员等意识到监视功能(即,根据监视对象的检测的警报的输出或挖土机100的动作限制等的功能)处于无效状态。
与监视功能开关72的操作状态相关的信息被输入于控制器30。
显示内容切换开关74例如为设置于操纵室10内的操纵席的附近并且操作人员等用于切换显示于显示装置50的内容的操作部。例如,显示内容切换开关74为对将显示装置50所显示的监视图像设为摄像装置40的拍摄图像还是设为包含后面叙述的周边图像的监视图像或设为同时显示两者等进行切换的操作部。与显示内容切换开关74的操作状态相关的信息被输入于控制器30。
监视区域切换开关76例如为设置于操纵室10内的操纵席的附近并且用于操作人员等设定监视监视对象的侵入的监视区域(监视范围的一例)的操作部。例如,操作人员通过操作监视区域切换开关76,能够将分别与摄像机40B、40L、40R对应的个别的监视区域中的一部分或全部设定为周边监视装置150的监视区域。以下,将每个摄像机40B、40L、40R的个别的监视区域称为“个别监视区域”,与周边监视装置150(即,后面叙述的检测部3012)的整个监视区域进行区别。
另外,在监视区域具有默认的设定,例如,当挖土机100启动之后尚未进行监视区域切换开关76的操作时,周边监视装置150进行向默认设定的监视区域内的监视对象的监视。
显示控制部3011使显示装置50显示表示挖土机100周边的状况的监视图像。
例如,显示控制部3011根据操作人员对显示内容切换开关74的操作,作为监视图像,将摄像机40B、40L、40R中的至少一个摄像机的拍摄图像显示于显示装置50。以下,有时将显示于显示装置50的该拍摄图像称为“实时取景图像”。
并且,例如,显示控制部3011根据操作人员对显示内容切换开关74的操作,并且根据摄像装置40的拍摄图像,生成后面叙述的周边图像(合成图像的一例),并且将包含周边图像的监视图像显示于显示装置50。
具体而言,显示控制部3011作为周边图像,根据摄像机40B、40L、40R的拍摄图像,进行已知的视点转换处理及合成处理,由此生成从虚拟视点观察的视点转换图像并显示于显示装置50。并且,显示控制部3011在将周边图像显示于显示装置50时,为了明确表示摄像装置40的摄像范围与挖土机100之间的相对位置关系而在显示装置50中一并显示示意地表示挖土机100的挖土机图像。即,显示控制部3011生成包含挖土机图像及对应于挖土机100与摄像装置40的摄像范围之间的相对位置关系而配置于挖土机图像周围的周边图像的监视图像并显示于显示装置50。
另外,显示控制部3011的功能也可以内置于显示装置50。在该情况下,摄像装置40(摄像机40B、40L、40R)的拍摄图像及检测部3012的检测结果等信息分别从摄像装置40及控制器30输入于显示装置50。
例如,在显示装置50中显示上述图5A及图5B所示的监视图像。
在本例中,如图5A及图5B所示,显示装置50包含显示各种信息图像的显示区域即显示部50A及接收与显示于显示部50A的各种信息图像相关的基于操作人员等的操作的按钮开关等基于硬件的操作部50B。
显示部50A例如为显示装置50中的横长的长方形的显示器(例如,纵横尺寸比4:3的显示器)。
如图5A所示,如上所述,作为监视图像MP1,在显示部50A显示摄像机40B、40L、40R中的任一个的实时取景图像。
在本例的监视图像MP1(实时取景图像)中重叠显示引导线GLa。引导线GLa表示距挖土机100的水平方向的距离D为规定距离D1的位置。由此,当在监视图像MP1(实时取景图像)中显示监视对象时,操作人员等能够掌握存在于距挖土机100何种程度的位置。
另外,规定距离D1能够在与后面叙述的监视区域对应的规定距离D2以下的范围内适当设定。
并且,如上所述,摄像机40B、40L、40R拍摄从上部回转体3附近的地面至远方的广阔范围,因此光轴从上部回转体3的上端朝向斜下方向。因此,在本例的监视图像MP1(实时取景图像)的下端部显示车身(上部回转体3)的一部分。
并且,如图5B所示,如上所述,在显示部50A显示包含挖土机图像CG及配置于挖土机图像CG周围的周边图像EP的监视用图像MP2。由此,操作人员等能够确切地掌握周边图像EP中所显示的监视对象(即,人)与挖土机100之间的位置关系。
本例的周边图像EP为组合了从正上方观察了与挖土机100相邻的周边区域的俯瞰图像BVP和配置于该俯瞰图像BVP周围且从挖土机100向水平方向观察了该周边区域的水平图像HVP的视点转换图像。视点转换图像即周边图像EP在通过将摄像机40B、40L、40R各自的拍摄图像投影到空间模型的基础上将投影到该空间模型的投影图像再次投影到另一二维平面来获得。空间模型为虚拟空间中的拍摄图像的投影对象,并且由包含除了拍摄图像所处的平面以外的平面或曲面的一个或多个平面或曲面构成。
并且,在监视图像MP2中重叠显示引导线GLb。与图5A的监视图像MP1(实时取景图像)的引导线GLa相同地,引导线GLb表示距挖土机100的水平方向的距离D为规定距离D1的位置。即,引导线GLb为将与从挖土机100的正上方观察的俯视观察对应的挖土机图像CG的轮廓形状向挖土机图像CG的外侧偏移(放大)了与规定距离D1相当的量的线段。由此,与图5A的引导线GLa的情况相同地,当在周边图像中显示监视对象(即,人)时,操作人员等能够掌握存在于距挖土机100何种程度的位置。
另外,显示控制部3011进行的生成视点转换图像(周边图像)的处理(周边图像生成处理)与后面叙述的检测部3012用于检测监视对象的处理(监视对象检测处理)可以是异步处理。在该情况下,在控制器30中可以是如周边图像生成处理与监视对象检测处理相比启动或处理周期更快那样的设定。由此,能够抑制如周边图像生成处理延迟且不更新显示于显示装置50的监视用图像内的周边图像那样的情况。
返回图11及图12,检测部3012根据通过摄像装置40拍摄的拍摄图像,在挖土机100周边的监视区域中,对监视对象进行检测。例如,检测部3012在从挖土机100观察的水平方向(以下,简称为“水平方向”)即沿挖土机100进行工作的(下部行驶体1接地的)平面(以下,简称为“工作平面”)的方向上规定的(延伸的)监视区域内对监视对象进行检测。具体而言,检测部3012在距挖土机100的水平方向的距离D为规定距离D2(例如,5米)以内的监视区域内对监视对象进行检测。以下,有时将从挖土机100观察的水平方向的监视区域称为“水平监视区域”。关于监视区域的详细内容,将在后面叙述。
例如,检测部3012通过任意地适用已知的各种图像处理方法或包含人工智能(AI:Artificial Intelligence)等的机器学习库的识别器等,识别拍摄图像内的监视对象。
并且,检测部3012通过适用已知的各种方法,能够判定(推断)基于单眼摄像装置40的拍摄图像中所包含的识别出的监视对象(人)存在的位置(以下,称为“实际存在位置”。例如,脚下位置)。
例如,检测部3012根据识别出的监视对象的拍摄图像上的大小(例如,拍摄图像上的高度方向的大小),推断从挖土机100观察的水平方向的位置(以下,称为“水平位置”)。这是因为,识别出的监视对象的拍摄图像上的大小存在监视对象越远离挖土机100越变小的相关关系。具体而言,在监视对象中能够规定所设想的大小范围(例如,所设想的人的身高范围),因此能够预先规定所设想的大小范围内所包含的该监视对象的从挖土机100观察的水平位置与拍摄图像上的大小之间的相关关系。因此,检测部3012例如根据预先存储于控制器30的辅助存储装置等内部存储器的表示拍摄图像上的监视对象的大小与从挖土机100观察的水平位置之间的相关关系的映射图或转换式等,能够推断识别出的监视对象的实际存在位置(距挖土机100的水平位置)。
并且,例如,检测部3012在监视对象存在于与挖土机100(的下部行驶体1)相同的平面上的前提下,通过将拍摄图像向该平面上的射影变换(单应性)等,能够推断其实际存在位置(例如,脚下位置)。在该情况下,构成拍摄图像的某一部分(某一点)和与挖土机100相同的平面上的某一位置建立对应关联。
另外,检测部3012也可以代替摄像装置40的拍摄图像或除了该拍摄图像以外根据能够搭载于挖土机100的其他传感器检测的与存在于挖土机100周边的物体相关的检测信息,在挖土机100周边的监视区域内对监视对象进行检测。例如,检测部3012可以根据作为其他传感器的立体摄像机、毫米波雷达及LID AR(Light Detecting and Ranging:激光雷达)等的检测信息,在挖土机100周边的监视区域(水平监视区域)内对监视对象进行检测。
跟踪部3013对通过检测部3012检测到的监视对象进行跟踪。具体而言,跟踪部3013考虑通过已知的图像识别技术或检测部3012在监视区域内检测之后的监视对象在监视区域内的位置变化的状况(移动状况)等,由此可以识别(确定)通过检测部3012检测到的监视对象并跟踪监视对象。
并且,跟踪部3013可以通过跟踪由检测部3012检测到的监视对象在监视区域内的移动状况,进行以下各种判定。
例如,跟踪部3013(退出判定部的一例)判定通过检测部3012在监视区域内检测到后检测不到的监视对象是否走到比从挖土机100观察的监视区域(水平监视区域)更靠从挖土机100观察的水平方向远方的区域(以下,称为“远方区域”)。即,跟踪部3013判定通过检测部3012检测不到的监视对象是否移动到距挖土机100的水平方向的距离D超过规定距离D2的远方区域。并且,当通过检测部3012在监视区域内检测到后检测不到的监视对象未走到远方区域时,跟踪部3013也可以判定为存在该监视对象存在于包含监视区域的相对靠近挖土机100的区域(以下,称为“邻近区域”)的可能性。这是因为,如后面所述,监视区域无法覆盖挖土机100的邻近区域的整个区域。即,这是因为,摄像装置40无法通过其摄像范围覆盖挖土机100的邻近区域的整个区域。并且,如后面所述,即便是存在于监视区域的监视对象,当监视对象被障碍物遮挡时等,有可能存在通过检测部3012无法检测的情况。
并且,例如,跟踪部3013(有效性判定部的一例)具体地判定是否存在通过检测部3012检测到后检测不到的监视对象存在于监视区域外的邻近区域(以下,称为“监视区域外邻近区域”)的可能性。即,当检测不到通过检测部3012检测到的监视对象时,跟踪部3013可以判定该监视对象是否从监视区域内走到监视区域外邻近区域。如后面所述,该监视区域外邻近区域例如能够包含上部回转体3前方的区域、与上部回转体3下方的地面之间的区域(空间)及上部回转体3的上部即容纳部的区域等。
并且,例如,当检测不到通过检测部3012在监视区域内检测到的监视对象时,跟踪部3013判定检测部3012是否在监视区域内丢失了监视对象。这是因为,若摄像装置40的拍摄图像的背景与监视对象同化,或监视对象被障碍物遮挡,则即使在监视对象存在于监视区域内的情况下,也存在通过检测部3012检测不到的可能性。并且,这是因为,当根据摄像装置40的拍摄图像中所包含的监视对象的大小推断从挖土机100至监视对象的水平方向的距离D时,即使在监视对象存在于监视区域(水平监视区域)内的情况下,也有可能存在检测部3012判定为该监视对象存在于监视区域外的情况。具体而言,在挖土机100的位置(即,工作平面的位置)与监视对象的位置之间存在高度方向(即,从挖土机100观察的铅垂方向)的差的情况与没有差的情况(即,监视对象也位于工作平面上的情况)相比,存在摄像装置40的拍摄图像中所包含的监视对象的大小发生变化的可能性。因此,有可能存在检测部3012将存在于监视区域内的监视对象判定为存在于监视区域外的可能性。此时,当在挖土机100的位置(即,工作平面的位置)与监视对象的位置之间存在高度方向的差时,有可能包含在挖土机100的工作平面与监视对象所处的平面之间产生高低差的情况。并且,当在挖土机100的位置与监视对象的位置之间存在高度方向的差时,有可能包含在挖土机100的工作平面与监视对象所处的平面之间产生倾斜角的差的情况(例如,一方位于水平面,而另一方位于倾斜面的情况等)。
关于该判定处理及区域外邻近区域的详细内容,将在后面叙述(参考图13A、图13B、图14及图15A~图15D)。
当通过检测部3012在监视区域内检测到监视对象时,警报输出部3014(控制部的一例)向操纵室10的内部或外部输出警报。由此,周边监视装置150能够使操作人员或挖土机100周边的工作人员、监督人员等意识到监视对象(例如,工作人员等人)侵入到挖土机100周边的监视区域内。因此,周边监视装置150能够督促操作人员确认挖土机100周边的安全状况,并且能够督促监视区域内的工作人员等从监视区退避。
例如,警报输出部3014输出基于听觉方法即声音的警报。具体而言,警报输出部3014向声音输出装置52输出控制指令而使其输出警告音。
另外,警报输出部3014也可以根据各种条件改变警告音的音高、声压、音色等或周期性地鸣放警告音(例如,蜂鸣器声)时的鸣放周期等。
并且,例如,警报输出部3014输出基于视觉方法即向显示装置50显示的警报。具体而言,警报输出部3014向显示控制部3011发送警报请求。由此,显示控制部3011根据警报请求,强调显示于显示装置50的监视图像(实时取景图像或周边图像)中所包含的监视对象,由此显示装置50能够输出对操作人员的警报。
另外,警报输出部3014也可以通过能够另行设置于上部回转体3的容纳部的外部用显示装置,以视觉方法向挖土机100周边的工作人员或监督人员等输出警报。并且,警报输出部3014也可以通过触觉方法例如通过使操作人员就坐的操纵席振动的振动发生装置输出警报。
并且,警报输出部3014也可以根据通过检测部3012在监视区域内检测到的监视对象与挖土机100之间的位置关系,改变警报的种类(警报级别)。
例如,当通过检测部3012在监视区域内检测到的监视对象存在于相对远离挖土机100的位置时,警报输出部3014向操作人员等输出督促对监视对象的注意的程度的警报级别相对较低的警报(以下,称为“注意级别的警报”)。具体而言,当通过检测部3012检测到的监视对象与挖土机100之间的水平方向的距离D超过了规定距离D1时(D1<D≤D2时),警报输出部3014可以输出注意级别的警报。以下,为了方便起见,将监视区域(水平监视区域)中的距挖土机100的距离D超过规定距离D1的区域称为“注意区域”。另一方面,当通过检测部3012在监视区域内检测到的监视对象存在于相对靠近挖土机100的位置时,警报输出部3014输出通知监视对象接近挖土机100且危险度逐渐提高的警报级别相对较高的警报(以下,称为“警戒级别的警报”)。具体而言,当通过检测部3012检测到的监视对象与挖土机100之间的水平方向的距离D为规定距离D1以下时(D≤D1时),警报输出部3014可以输出警戒级别的警报。以下,将监视区域(水平监视区域)中的距挖土机100的距离D为规定距离D1以下的区域称为“警戒区域”。
在该情况下,警报输出部3014在注意级别的警报与警戒级别的警报之间,改变从声音输出装置52输出的声音的音高、声压、音色及鸣放周期等。并且,警报输出部3014可以在注意级别的警报与警戒级别的警报之间,改变强调显示于显示装置50的监视图像(实时取景图像或周边图像)中所包含的监视对象的标记等的颜色、形状、大小、闪烁的有无及闪烁周期等。由此,周边监视装置150根据警报音或强调显示于显示装置50的监视对象的标记等的差异,能够使操作人员等掌握警报级别即监视对象相对挖土机100的接近程度。
并且,当在警报输出开始之后,检测不到通过检测部3012检测到的监视对象时,或操作了解除开关70时,警报输出部3014解除警报的输出。关于基于警报输出部3014的警报输出的解除条件的详细内容,将在后面叙述(参考图15A~图15D、图16)。
当通过检测部3012在监视区域内检测到监视对象时,动作限制部3015(控制部的一例)限制挖土机100的动作要件的动作。此时,动作限制对象的动作要件中包含下部行驶体1、上部回转体3、动臂4、斗杆5及铲斗6等的一部分或全部。例如,动作限制部3015通过向门锁阀54发送作为指令信号的“开启”信号,使门锁阀54将先导管路设为非连通状态。由此,从先导泵不会向操作挖土机100的动作要件的操作装置供给工作油(先导压),因此能够以即便操作人员对操作装置进行操作输入也使挖土机100的动作要件不动作的方式进行限制。因此,即使在监视对象(例如,人)进入挖土机100周围的监视区域的情况下,也限制挖土机100的动作,从而能够抑制发生挖土机100与监视对象的碰撞等,其结果,能够实现维持挖土机100周边的安全性。
另外,例如,也可以代替门锁阀54,设置对从操作动作要件的操作装置输出的二次侧先导压进行减压的减压阀,动作限制部3015控制该减压阀。在该情况下,该减压阀通过将从该操作装置输出的二次侧先导压减压至相当于操作量零的压力值以下,能够使操作人员对操作装置的操作无效。因此,动作限制部3015通过控制该减压阀,作为结果能够限制挖土机100的动作要件的动作。并且,动作限制部3015也可以通过控制该减压阀,不停止挖土机100的动作要件而以将对操作人员进行操作的各种动作要件的动作抑制为比通常更缓慢的方式限制挖土机100的动作。
并且,与警报输出部3014的情况相同地,动作限制部3015也可以根据通过检测部3012检测到的监视对象与挖土机100之间的位置关系,改变动作限制的级别。
例如,当通过检测部3012在监视区域内检测到的监视对象存在于相对远离挖土机100的位置时,动作限制部3015以限制程度相对较低的方式进行挖土机100的动作限制。具体而言,当通过检测部3012检测到的监视对象与挖土机100之间的水平方向的距离D超过了规定距离D1时(D1<D≤D2时),动作限制部3015可以以限制程度相对较低的(例如,比通常放慢相对于操作量的动作要件的动作速度的)方式进行挖土机100的动作限制。另一方面,当通过检测部3012在监视区域内检测到的监视对象存在于相对靠近挖土机100的位置时,动作限制部3015以限制程度相对较高的方式进行挖土机100的动作限制。具体而言,当通过检测部3012检测到的监视对象与挖土机100之间的水平方向的距离D为规定距离D1以下时(D≤D1时),动作限制部3015可以以限制程度相对较高的(例如,停止动作要件的动作的)方式进行挖土机100的动作限制。
并且,当在动作限制开始之后,检测不到通过检测部3012检测到的监视对象时,或操作了解除开关70时,动作限制部3015解除挖土机100的动作限制。关于基于动作限制部3015的挖土机100的动作限制的解除条件的详细内容,将在后面叙述(参考图15A~图15D)。
[周边监视装置的监视区域的详细内容]
接着,参考图13(图13A、图13B)及图14对周边监视装置150的监视区域的详细内容进行说明。
图13(图13A、图13B)及图14是对周边监视装置150的监视区域的一例(监视区域MA)进行说明的图。具体而言,图13A是示意地表示俯视观察了挖土机100时的监视区域MA(即,与摄像机40B、40L、40R对应的个别监视区域MAB、MAL、MAR)的图。图13B是示意地表示摄像机40B的实时取景图像上的监视区域MA(个别监视区域MAB)的图。图14是示意地表示侧视观察了挖土机100时的监视区域MA(个别监视区域MAB)的图。
另外,在图13A中,摄像机40B、40L、40R的可摄像范围AVB、AVL、AVR分别表示摄像机40B、40L、40R能够获取通过检测部3012能够检测的监视对象的图像的范围。可摄像范围AVB、AVL、AVR例如分别能够根据摄像机40B、40L、40R的水平方向的视角及距摄像机40B、40L、40R的水平方向的距离规定。
并且,在图13A及图13B中,引导线L1a、L1b相当于距挖土机100的水平方向的距离D为规定距离D1的位置,引导线L2a、L2b分别相当于距挖土机100的水平方向的距离D为规定距离D2的位置。
如图13A、图4B所示,个别监视区域MAB、MAL、MAR分别以可摄像范围AVB、AVL、AVR中的距挖土机100的水平方向的距离D为规定距离D2以下的范围为中心构成。即,个别监视区域MAB、MAL、MAR的从挖土机100观察的远近方向(径向)上的远方侧的端部的边界线分别由可摄像范围AVB、AVL、AVR中的引导线L2a、L2b的线段规定。
并且,个别监视区域MAB、MAL、MAR均不包含可摄像范围AVB、AVL、AVR中的摄像机40B、40L、40R附近的区域401B、401L、401R。即,个别监视区域MAB、MAL、MAR的从挖土机100观察的远近方向上的靠近侧的端部的边界线MABe1、MALe1、MARe1分别从挖土机100分开某种程度。如图13B所示,摄像机40B、40R、40L的拍摄图像中有时会显示车身(上部回转体3)。因此,若监视对象进入非常靠近挖土机100的区域,则其一部分被车身遮挡,从而存在检测部3012无法确切地识别(检测)监视对象的可能性。并且,即使在摄像机40B、40R、40L的拍摄图像中不显示车身的一部分的情况下,摄像机40B、40R、40L也设定包含从挖土机100附近的地面至远方的非常广的上下方向的视角。因此,非常靠近挖土机100(摄像机40B、40L、40R)的邻近区域的地面部分不属于其视角,其结果,存在不显示监视对象的整体像而检测部3012无法确切地识别(检测)监视对象的可能性。
即,可摄像范围AVB、AVL、AVR中的摄像机40B、40L、40R附近的区域401B、401L、401R不属于监视区域MA(个别监视区域MAB、MAL、MAR),属于监视区域外邻近区域。
并且,个别监视区域MAB、MAL、MAR均不包含由可摄像范围AVB、AVL、AVR中的水平方向的视角规定的从挖土机100观察的周向(横向)的两端部的区域402B、402L、402R。即,个别监视区域MAB、MAL、MAR的从挖土机100观察的周向(横向)的两端的边界线MABe2、MALe2、MARe2彼此之间分别略窄于摄像机40B、40L、40R的水平方向的视角。如上所述,摄像机40B、40L、40R为广角镜头,因此如图13B所示,从拍摄图像的中央部越向左右偏离,变形越变大,从而看到拍摄图像内的像向左右畸变的现象(以下,称为“像畸变现象”)。因此,在摄像机40B、40L、40R的水平方向的视角的端部,因像畸变现象而产生监视对象的一部分不落入拍摄图像的情况,其结果,存在检测部3012无法确切地识别(检测)监视对象的可能性。
即,可摄像范围AVB、AVL、AVR中的从挖土机100观察的周向(横向)的两端部的区域402B、402L、402R不属于监视区域MA(个别监视区域MAB、MAL、MAR),属于监视区域外邻近区域。
并且,在挖土机100的左后方及右后方的邻近区域,存在均不包含于摄像机40B、40L、40R中的任一个可摄像范围AVB、AVL、AVR内的区域403L、403R。这是因为,摄像机40B、40L、40R的水平方向的视角是有限的。
即,挖土机100的左后侧方及右后侧方的区域403L、403R不属于监视区域MA,属于监视区域外邻近区域。
如此,在从挖土机100观察的水平方向的邻近区域中例如摄像机40B、40L、40R的分别在俯视观察下相邻的区域401B、401L、401R或摄像机40B、40L、40R各自的死角即挖土机100的后侧方的区域403L、403R等有时不包含于监视区域MA。因此,即使在监视对象侵入监视区域MA(个别监视区域MAB、MAL、MAR)且被检测部3012检测到的情况下,也存在之后向该区域(区域外邻近区域)移动或挖土机100进行移动而相对成为位于该区域(区域外邻近区域)的状态的可能性。即,尽管在挖土机100附件存在监视对象,也存在通过检测部3012检测不到监视对象的可能性。
并且,挖土机100的邻近区域中的包含前方中央区域AFM、左前侧方区域AFL及右前侧方AFR的前方区域AF能够由操作人员本身用肉眼确认,因此原本未将其设定为监视监视对象的侵入的监视区域MA。
即,挖土机100的前方区域AF不属于监视区域MA,属于监视区域外邻近区域。
如此,挖土机100的水平方向的邻近区域中的挖土机100的前方区域AF存在原本不包含于监视区域MA的可能性。因此,即使在监视对象侵入监视区域MA(个别监视区域MAB、MAL、MAR)并且被检测部3012检测到的情况下,也存在之后向前方区域AF移动或成为位于前方区域AF的状态的可能性。即,尽管在挖土机100附近存在监视对象,也存在通过检测部3012检测不到监视对象的可能性。
并且,如图14所示,当侧视观察了挖土机100时,摄像机40B的可摄像范围AVB能够由从摄像机40B的大致正下方的方向至大致水平方向的上下方向的视角规定。而且,个别监视区域MAB由摄像机40B的可摄像范围AVB中的去除挖土机100车身(上部回转体3)显示的部分的区域构成。关于摄像装置40中所包含的其他摄像机(摄像机40L、40R)也相同。因此,无法通过检测部3012检测上部回转体3的上部即容纳部的区域(以下,称为“上方区域”)AU或包含下部行驶体1的左右一对履带之间的空间在内的上部回转体3与下方的地面之间的区域(以下,称为“下方区域”)AD的监视对象。换言之,上部回转体3的上方区域AU或下方区域AD原本未设定为监视监视对象的侵入的监视区域。这是因为,认为监视对象若要侵入上方区域AU或下方区域AD,则需要通过从挖土机100观察沿水平方向延伸的监视区域MA(水平监视区域)或操作人员能够视觉辨认的前方区域AF,从而操作人员在侵入之前便可注意到。
即,上部回转体3的上方区域AU或下方区域AD等从挖土机100(上部回转体3)观察的铅垂方向的邻近区域不属于监视区域MA,属于监视区域外邻近区域。
如此,从挖土机100观察的铅垂方向的邻近区域,即上方区域AU或下方区域AD存在原本不包含于监视区域MA的可能性。因此,即使在监视对象侵入监视区域MA(个别监视区域MAB、MAL、MAR)并且被检测部3012检测到的情况下,也存在之后利用上部回转体3的升降梯等向上方区域AU移动,或钻入下方区域AD,或成为位于下方区域AD的状态的可能性。即,尽管在挖土机100附近存在监视对象,也存在通过检测部3012检测不到监视对象的可能性。
[周边监视装置的动作的具体例]
接着,参考图15A~图15D对周边监视装置150的具体动作进行说明。
首先,图15A是对周边监视装置150的具体动作的第1例进行说明的图。具体而言,图15A以上述的图13B的监视区域MA(个别监视区域MAB)为前提示意地示出了监视对象即工作人员W的移动状况的一例,在图中,实线及点线的工作人员W分别表示通过检测部3012检测到的状态及未检测的状态。以下,关于图15B~图15D也相同。
在本例中,存在于远方区域的位置Pa0的工作人员W侵入监视区域(个别监视区域MAB)内的注意区域(位置Pa1),并且侵入至警戒区域(位置Pa2)之后,远离挖土机100而从监视区域走到远方区域。
若工作人员W从远方区域(位置Pa0)向监视区域内的注意区域(位置Pa1)侵入,则检测部3012对该工作人员W进行检测。而且,警报输出部3014及动作限制部3015分别根据检测部3012对工作人员W的检测,开始警报的输出及挖土机100的动作限制。
然后,若工作人员W在监视区域内从注意区域(位置Pa1)向警戒区域(位置Pa2)移动,则检测部3012对侵入到监视区域内的工作人员W侵入至警戒区域的情况进行识别。而且,警报输出部3014及动作限制部3015分别根据通过检测部3012识别出的工作人员W与挖土机100之间的相对位置的变化,提高警报级别及挖土机100的动作限制的限制程度。
然后,若工作人员W从监视区域内走到远方区域,则检测部3012无法检测到工作人员W。并且,最后在监视区域内的与远方区域的边界线(即,引导线L2b)附近检测到通过检测部3012在监视区域内持续检测到的工作人员W之后便检测不到,因此跟踪部3013能够判定为工作人员W走到了远方区域。具体而言,当在监视区域(水平监视区域)中的相对远离挖土机100的区域中检测不到通过检测部3012检测到的监视对象(工作人员W)时,跟踪部3013能够判定为监视对象走到远方区域。此时,监视区域中的相对远离挖土机100的区域例如为监视区域中的距挖土机100的距离D超过规定距离D1的注意区域。并且,监视区域中的相对远离挖土机100的区域也可以是在远离挖土机100的方向上将监视区域(水平监视区域)区分为三个以上的区域时的其中最远离挖土机100的区域。并且,跟踪部3013也可以进一步考虑通过检测部3012检测到的监视对象的移动状况即移动方向或移动速度,而判定监视对象是否走到远方区域。例如,跟踪部3013也可以根据通过检测部3012检测不到监视对象之前的监视对象的移动方向是否为朝向远方区域的方向,或监视对象的移动速度是否为会走到远方区域程度的规定速度以上等,判定监视对象是否走到了远方区域。
在该情况下,警报输出部3014及动作限制部3015分别解除警报的输出及挖土机100的动作限制。这是因为,识别出工作人员W从监视区域走到远离挖土机100的方向的远方区域,而认为确保了挖土机100周边的安全。
如此,当检测不到通过检测部3012检测到的监视对象,且通过跟踪部3013判定为监视对象走到远方区域时,警报输出部3014及动作限制部3015解除警报的输出及挖土机100的动作限制。
接着,图15B是对周边监视装置150的具体动作的第2例进行说明的图。
在本例中,存在于远方区域的位置Pb0的工作人员W侵入监视区域(个别监视区域MAB)内的注意区域(位置Pb1),径直靠近挖土机100,并且从监视区域走到区域401B(位置Pb2)或区域403L(位置Pb3)即监视区域外邻近区域。以下,工作人员W从位置Pb0向位置Pb1移动时的周边监视装置150的动作与图15A的第1例中工作人员W从位置Pa0向位置Pa1移动时的动作相同,因此省略说明。
若工作人员W从监视区域内(位置Pb1)走到监视区域外邻近区域(位置Pb2、Pb3),则检测部3012检测不到在监视区域内检测到的工作人员W。并且,最后在监视区域内的与监视区域外邻近区域的边界线附近检测到通过检测部3012在监视区域内持续检测到的工作人员W之后便检测不到,因此跟踪部3013能够判定为工作人员W尚未走到远方区域,即存在仍存在于挖土机100的邻近区域的可能性。并且,跟踪部3013也可以根据该状况,具体地判定为工作人员W走到监视区域外邻近区域。具体而言,当在监视区域(水平监视区域)中的相对远离挖土机100的区域以外的区域中检测不到通过检测部3012检测到的监视对象(工作人员W)时,跟踪部3013可以判定为监视对象尚未走到远方区域(即,存在仍存在于邻近区域的可能性)。此时,与图15A的第1例的情况相同地,监视区域中的相对远离挖土机100的区域例如为监视区域中的距挖土机100的距离D超过规定距离D1的注意区域。并且,与图15A的第1例的情况相同地,监视区域中的相对远离挖土机100的区域也可以是在远离挖土机100的方向上将监视区域区分为三个以上的区域时的其中最远离挖土机100的区域。并且,当在监视区域(水平监视区域)中的相对靠近挖土机100的区域中检测不到时,跟踪部3013可以判定为监视对象走到监视区域外邻近区域。此时,监视区域中的相对靠近挖土机100的区域例如为监视区域中的距挖土机100的距离D为规定距离D1以下的警戒区域。并且,监视区域中的相对靠近挖土机100的区域也可以是在远离挖土机100的方向上将监视区域区分为三个以上的区域时的其中最远离挖土机100的区域以外的区域。并且,跟踪部3013也可以进一步考虑通过检测部3012检测到的监视对象的移动状况即移动方向或移动速度,而判定监视对象是否走到监视区域外邻近区域。例如,跟踪部3013也可以根据通过检测部3012检测不到监视对象之前的监视对象的移动方向是否为朝向监视区域外邻近区域的方向,或监视对象的移动速度是否为会走到监视区域外邻近区域程度的规定速度以上等,判定监视对象是否走到监视区域外邻近区域。并且,当在与监视区域内的监视区域外邻近区域面对的端部(即,与监视区域外邻近区域面对的边界线的附近)中检测不到通过检测部3012检测到的监视对象时,跟踪部3013也可以判定为监视对象走到监视区域外邻近区域。在本例中,当在监视区域内的从挖土机100观察的横向的两端部(即,监视区域内的边界线MABe2的附近)检测不到通过检测部3012检测到的监视对象时,跟踪部3013可以判定为监视对象走到邻近区域。并且,当在监视区域内的俯视观察下与挖土机100(摄像机40B)面对的端部(即,监视区域内的边界线MABe1的附近)检测不到通过检测部3012检测到的监视对象时,跟踪部3013可以判定为监视对象走到附近区域。
在该情况下,警报输出部3014及动作限制部3015分别继续警报的输出及挖土机100的动作限制。这是因为,虽然通过检测部3012检测不到工作人员W,但存在工作人员W仍存在于靠近挖土机100的邻近区域具体而言监视区域外邻近区域的可能性,从而无法判断为处于确保了挖土机100的安全性的状况。并且,警报输出部3014及动作限制部3015在继续警报的输出及挖土机100的动作限制时,也可以变更警报的输出方式或挖土机100的动作限制的方式。由此,能够使操作人员等掌握虽然通过检测部3012检测不到监视对象,但处于存在监视对象仍存在于挖土机100的包含监视区域的邻近区域(当通过跟踪部3013判定为监视对象走到监视区域外邻近区域时,为监视区域外邻近区域)的可能性的状况。即,警报输出部3014及动作限制部3015通过变更警报的输出方式或动作限制的方式等,能够向操作人员提供表示存在监视对象仍存在于包含监视区域的邻近区域或监视区域外邻近区域的可能性的信息。例如,警报输出部3014可以改变警报音的种类(声压、音色、鸣放周期等)。
如此,即使在检测不到通过检测部3012检测到的监视对象的情况下,当通过跟踪部3013判定为监视对象尚未走到远方区域(即,存在仍存在于邻近区域的可能性),或走到监视区域外邻近区域时,警报输出部3014及动作限制部3015继续警报的输出及挖土机100的动作限制。由此,在存在监视对象存在于挖土机100附近的邻近区域的可能性的状况下,周边监视装置150能够继续警报的输出或挖土机100的动作限制。
例如,能够设想如在挖土机100的怠速状态下,在操作人员离开了挖土机100的状况下,其他操作人员等为了进行检修等而靠近挖土机100而存在于监视区域外邻近区域那样的情况。在该情况下,即便操作人员返回到挖土机100,周边监视装置150因工作人员等存在于挖土机100的监视区域外邻近区域而继续警报的输出或挖土机100的动作限制,因此在这种状况下,能够避免如操作人员开始工作的情况。
接着,图15C是对周边监视装置150的具体动作的第3例进行说明的图。
在本例中,存在于远方区域的位置Pc0的工作人员W正在从监视区域外的远方区域(位置Pc0)侵入监视区域(个别监视区域MAB)内的注意区域(位置Pc1)。然后,该工作人员W尽管存在于监视区域内(位置Pc2),也不会被检测部3012检测到,从而没有没有被检测部3012再次检测便从监视区域走到远方区域(位置Pc3)。以下,工作人员W从位置Pc0向位置Pc1移动时的周边监视装置150的动作与图14A的第1例中工作人员W从位置Pa0向位置Pa1移动时的动作相同,因此省略说明。
即使在工作人员W存在于监视区域内(位置Pc2)的情况下,如上所述,若基于摄像装置40的拍摄图像的背景与工作人员W同化,或工作人员W被障碍物遮挡,则通过检测部3012检测不到工作人员W。并且,如上所述,关于如在工作人员W的位置与挖土机100的位置之间产生高度方向的差的情况,有时会存在通过检测部3012检测不到工作人员W的情况。并且,若也没有走到监视区域的外部的预兆而检测不到通过检测部3012持续检测到的工作人员W,则跟踪部3013能够判定为检测部3012在监视区域内丢失了工作人员W。具体而言,当在相对远离监视区域的边界的区域(即,水平监视区域的预先规定的中央区域)中检测不到时,跟踪部3013可以判定为检测部3012在监视区域内丢失了监视对象(工作人员W)。并且,跟踪部3013也可以考虑监视区域内的监视对象的移动状况即移动方向或移动速度,而判定是否在监视区域内丢失了工作人员W。例如,跟踪部3013根据监视对象的移动速度是否低于认为跨过监视区域的边界而走出监视区域程度的规定速度,判定检测部3012是否丢失了监视对象。
在该情况下,警报输出部3014及动作限制部3015分别继续警报的输出及挖土机100的动作限制。这是因为,虽然通过检测部3012检测不到工作人员W,但存在检测部3012所丢失的工作人员W仍留在包含监视区域的邻近区域具体而言监视区域内的可能性,从而无法判断为处于确保了挖土机100的安全性的状况。并且,与图15B的第2例的情况相同地,警报输出部3014及动作限制部3015也可以在继续警报的输出及挖土机100的动作限制时,变更警报的输出方式或挖土机100的动作限制的方式。由此,能够使操作人员等掌握虽然通过检测部3012检测不到监视对象,但仍处于存在监视对象仍存在于挖土机100的包含监视区域的邻近区域的可能性的状况。即,警报输出部3014及动作限制部3015通过变更警报的输出方式或动作限制的方式等,能够向操作人员提供表示存在监视对象仍存在于包含监视区域的邻近区域的可能性的信息。并且,警报输出部3014及动作限制部3015也可以将警报的输出方式或挖土机100的动作限制的方式变更为与图15B的第2例的情况即监视对象走到监视区域外邻近区域的情况不同的方式。由此,能够使操作人员等掌握虽然通过检测部3012未检测到监视对象,但仍处于存在监视对象仍存在于挖土机100的监视区域内的可能性的状况。即,警报输出部3014及动作限制部3015通过变更警报的输出方式或动作限制的方式等,能够向操作人员区别地提供与存在监视对象仍存在于监视区域内的可能性相关的信息和与存在监视对象仍存在于监视区域外邻近区域的可能性相关的信息。例如,与图15B的第2例的情况相同地,警报输出部3014可以改变警报音的种类(声压、音色、鸣放周期等)。
另外,也可能存在工作人员W走到监视区域外(位置Pc3)之前,通过检测部3012在监视区域内再次检测到工作人员W的情况。例如为因工作人员W或挖土机100移动而摄像装置40的拍摄图像上的工作人员W与背景之间的同化被消除,或从摄像装置40观察时工作人员W被障碍物遮挡的状态被消除的情况。在该情况下,跟踪部3013能够判定为工作人员W从监视区域走到远方区域,因此根据基于跟踪部3013的该判定结果,警报的输出及挖土机100的动作限制被解除。
如此,即使在检测不到通过检测部3012检测到的监视对象的情况下,当通过跟踪部3013判定为检测部3012在监视区域内丢失了监视对象时,警报输出部3014及动作限制部3015继续警报的输出及挖土机100的动作限制。由此,在存在监视区域内所丢失的监视对象存在于挖土机100附近的邻近区域的可能性的状况下,周边监视装置150能够继续警报的输出或挖土机100的动作限制。
接着,图15D是对周边监视装置150的具体动作的第4例进行说明的图。
在本例中,存在于远方区域的位置Pb0的工作人员W1侵入监视区域(个别监视区域MAB)内(位置Pb1),径直靠近挖土机100,并且从监视区域走到区域401B(位置Pb2)或区域403L(位置Pb3)即挖土机100的监视区域外邻近区域。并且,在相同的时刻,存在于远方区域的位置Pd0的工作人员W2侵入监视区域内(位置Pd1),径直靠近挖土机100,并且从监视区域走到区域401B(位置Pd2)即挖土机100的监视区域外邻近区域。然后,工作人员W2远离挖土机100,从监视区域外邻近区域返回监视区域内(位置Pd3)而从监视区域内走到远方区域(位置Pd4)。以下,工作人员W1、W2从位置Pb0、Pd0向位置Pb1、Pd1移动时的周边监视装置150的动作与图14A的第1例中工作人员W从位置Pa0向位置Pa1移动时的动作相同,因此省略说明。
若工作人员W1、W2从监视区域内(位置Pb1、Pd1)走到监视区域外邻近区域(位置Pb2、Pb3、Pd2),则检测部3012检测不到在监视区域内检测到的工作人员W1、W2。并且,最后在与监视区域内的监视区域外邻近区域的边界线附近检测到通过检测部3012在监视区域内持续检测到的工作人员W1、W2之后便检测不到,因此与图15B的第2例的情况相同地,跟踪部3013能够判定为工作人员W尚未走到远方区域即存在仍存在于包含监视区域的邻近区域的可能性。同时,跟踪部3013对通过检测部3012检测到后检测不到的监视对象中的尚未走到远方区域即存在仍存在于邻近区域的可能性的监视对象(以下,简称为“未检测监视对象”)的数量(以下,简称为“未检测监视对象数量”)进行计数。如本例,未检测监视对象中不仅包含走到监视区域外邻近区域的监视对象,如图15C的第3例的情况,还包含检测部3012在监视区域内丢失的监视对象。在本例中,若工作人员W1、W2从监视区域走到监视区域外邻近区域,并且通过检测部3012检测不到,则跟踪部3013将未检测监视对象数量计数为“2”。
在该情况下,与图15B的第2例的情况相同地,警报输出部3014及动作限制部3015分别继续警报的输出及挖土机100的动作限制。并且,与图15B的第2例的情况相同地,警报输出部3014及动作限制部3015在继续警报的输出及挖土机100的动作限制时,为了掌握存在监视对象仍存在于邻近区域的可能性,也可以变更警报的输出方式或挖土机100的动作限制的方式。
然后,若工作人员W2从监视区域外邻近区域(位置Pd2)返回监视区域内(位置Pd3),则检测部3012再次对工作人员W2进行检测。此时,检测部3012适用已知的图像识别技术,例如通过比较检测不到的监视对象的特征量与检测到的监视对象的特征量等,能够判定为再次检测到的监视对象是与过去检测到的监视对象(工作人员W2)相同的对象。并且,跟踪部3013通过检测部3012再次检测工作人员W2,由此未检测监视对象仅为工作人员W1,因此将未检测监视对象数量变更为“1”。
在该情况下,警报输出部3014及动作限制部3015分别继续警报的输出及挖土机100的动作限制。这是因为,通过检测部3012在监视区域检测到工作人员W2,且存在监视对象(工作人员W1)仍存在于包含监视区域的邻近区域的可能性的状况持续。并且,警报输出部3014及动作限制部3015也可以继续使操作人员掌握存在监视对象仍存在于包含监视区域的邻近区域的可能性的方式的警报的输出或挖土机100的动作限制。这是因为,操作人员认为与通过检测部3012检测到的监视区域内的监视对象(工作人员W2)相比,更不易掌握通过检测部3012未检测到的监视对象(工作人员W1)。
然后,若工作人员W2从监视区域内(位置Pd3)走到远方区域(位置Pd4),则检测部3012检测不到工作人员W2。并且,最后在监视区域内的与远方区域的边界线附近检测到通过检测部3012在监视区域内持续检测到的工作人员W2之后便检测不到,因此跟踪部3013能够判定为工作人员W2走到远方区域。另一方面,虽然工作人员W2走到远方区域,但存在监视对象(工作人员W1)仍存在于包含监视区域的邻近区域的可能性的状况仍持续,因此跟踪部3013将未检测监视对象数量保持为“1”的状态。
在该情况下,警报输出部3014及动作限制部3015分别继续警报的输出及挖土机100的动作限制。这是因为,虽然处于通过检测部3012检测不到监视对象的状况,但未检测监视对象数量为“1”,存在监视对象(工作人员W1)仍存在于包含监视区域的邻近区域的可能性。
如此,即使在通过检测部3012检测不到监视对象的情况下,当通过跟踪部3013计数的未检测监视对象数量不是零时,警报输出部3014及动作限制部3015继续警报的输出或动作限制。另一方面,当通过检测部3012检测不到监视对象,且通过跟踪部3013计数的未检测监视对象数量为零时,警报输出部3014及动作限制部3015解除警报的输出或监视对象的动作限制。由此,在多个监视对象出入监视区域内的状况下,周边监视装置150能够掌握通过检测部3012检测不到的监视对象中有无尚未走到远方区域的监视对象(未检测监视对象)。而且,周边监视装置150根据所掌握的未检测监视对象的有无,当存在未检测监视对象时,能够继续警报的输出或动作限制。
[周边监视装置进行的周边监视处理的详细内容]
接着,参考图15对与根据本实施方式所涉及的周边监视装置150进行的监视对象的检测而进行警报的输出及挖土机100的动作限制相关的处理(以下,称为“周边监视处理”)的详细内容具体而言处理流程进行说明。
图16是概略地表示周边监视装置150(控制器30)进行的周边监视处理的一例的流程图。例如,在挖土机100的运行中,当不进行基于警报输出部3014及动作限制部3015的警报的输出及挖土机100的动作限制时,每隔规定的处理周期重复执行基于本流程图的处理。
另外,步骤S302、S306~S316的处理由警报输出部3014及动作限制部3015中的至少一个进行即可,因此为了方便起见,将这些处理的动作主体称为“警报输出部3014等”。
在步骤S302中,警报输出部3014等判定通过检测部3012在监视区域内是否检测到监视对象,具体而言在摄像装置40的拍摄图像中是否识别出监视区域内的监视对象。当通过检测部3012在监视区域内检测到监视对象时,警报输出部3014等转到步骤S304,当未检测到检测对象时,结束这次处理。
在步骤S304中,警报输出部3014通过显示装置50或声音输出装置52开始警报的输出,并且动作限制部3015控制门锁阀54,开始挖土机100的动作限制。
在步骤S306中,警报输出部3014等判定是否由操作人员等操作了解除开关70。当由操作人员等未操作解除开关70时,警报输出部3014等转到步骤S308,当操作了解除开关70时,转到步骤S314。
在步骤S308中,警报输出部3014等判定通过检测部3012在监视区域内检测到监视对象的状态是否持续。当通过检测部3012在监视区域内检测到监视对象的状态不持续时,即通过检测部3012检测不到监视对象时,警报输出部3014等转到步骤S310,在除此以外的情况下,返回步骤S306,并重复步骤S306以后的处理。由此,周边监视装置150在监视区域内持续存在监视对象的状况下,继续警报的输出或挖土机100的动作限制,从而能够提高挖土机100的安全性。
在步骤S310中,警报输出部3014等判定在通过检测部3012检测到后检测不到的监视对象中是否有存在仍存在于包含监视区域的邻近区域的可能性的监视对象(即,未检测监视对象)。具体而言,警报输出部3014等判定通过跟踪部3013计数的未检测监视对象数量是否为1以上。当不存在未检测监视对象时,即通过跟踪部3013计数的未检测监视对象数量为零时,警报输出部3014等转到步骤S112。另一方面,当存在未检测监视对象时,即通过跟踪部3013计数的未检测监视对象数量不是零时,警报输出部3014等返回步骤S106,并重复步骤S106以后的处理。由此,周边监视装置150在存在监视对象仍存在于挖土机100的包含监视区域的邻近区域的可能性的状况下,继续警报的输出或挖土机100的动作限制,从而能够进一步提高挖土机100的安全性。
在步骤S112中,警报输出部3014通过显示装置50或声音输出装置52解除警报的输出,并且动作限制部3015控制门锁阀54,解除挖土机100的动作限制,并结束这次处理。
另一方面,在步骤S114中,与步骤S110相同地,警报输出部3014等判定是否存在未检测监视对象,即通过跟踪部3013计数的未检测监视对象数量是否为1以上。当不存在未检测监视对象时,即通过跟踪部3013计数的未检测监视对象数量为零时,警报输出部3014等转到步骤S112。另一方面,当存在未检测监视对象时,即通过跟踪部3013计数的未检测监视对象数量不是零时,警报输出部3014等转到步骤S116。
在步骤S116中,警报输出部3014等判定表示确认了挖土机100周边的安全的追加条件(以下,称为“安全确认条件”)是否成立。
例如,安全确认条件为“操作人员确认了挖土机100周围的安全”。控制器30可以根据从开始警报的输出及挖土机100的动作限制起解除开关70被操作为止的经过时间,判定该安全确认条件的成立与否。这是因为,当该经过时间相对较长时,能够判断为由操作人员确认了挖土机100周围的安全的可能性高。并且,具体而言,控制器30也可以根据检测操作人员的行为的传感器(例如,视线传感器、摄像机等)的检测信息,判定该安全确认条件的成立与否。
并且,例如,安全确认条件为“在挖土机100的外部允许了警报的输出及挖土机100的动作限制的解除”。控制器30可以根据是否因摄像装置40的拍摄图像中所显示的挖土机100周围的工作人员或监督人员等而进行了表示允许解除的规定的姿势或手势,判定该安全确认条件的成立与否。并且,控制器30可以根据是否通过规定的通信设备(未图示)从施工现场的监督人员等携带的移动终端(例如,通用的智能手机、平板终端或专用的便携机等)、存在于施工现场的管理事务所的管理终端或设置于施工现场的外部的管理服务器等接收了与允许解除对应的信号(以下,称为“允许解除信号”),判定该安全确认条件的成立与否。在该情况下,该移动终端、该管理终端或该管理服务器可以从无人机或施工现场的其他挖土机获取挖土机100周围的拍摄图像。由此,该移动终端、该管理终端或该管理服务器通过分析该拍摄图像,确认挖土机100周围的安全性,当确认了安全性时,能够自动地将允许解除信号发送至挖土机100。并且,允许解除信号也可以直接从该无人机或该其他挖土机发送至挖土机100。并且,挖土机100也可以根据来自操作人员等的请求(例如,规定操作),将与委托解除对应的信号(委托解除信号)发送至该移动终端、该管理终端、该管理服务器、该无人机或该其他挖土机等。而且,在接收委托解除信号之后,当从施工现场的监督人员或管理人员或者管理服务器的管理人员等接收了用于允许警报的输出或挖土机100的动作限制的解除的操作时,该移动终端、该管理终端、该管理服务器、该无人机或该其他挖土机等也可以将允许解除信号发送至挖土机100。
当安全确认条件成立时,警报输出部3014等转到步骤S112,当安全条件不成立时,返回步骤S114,并重复处理。由此,在存在监视对象仍存在于挖土机100的包含监视区域的邻近区域的可能性的状况下,即使在操作了解除开关70的情况下,在安全确认不充分的状况即安全确认条件不成立的状况下,继续警报的输出或挖土机100的动作限制,从而能够进一步提高挖土机100的安全性。
[作用]
如此,在本实施方式中,警报输出部3014及动作限制部3015分别在开始警报的输出及挖土机100的动作限制之后,即使在检测不到通过检测部3012检测到的监视对象的情况下,也根据从通过检测部3012检测到监视对象的状态过渡到未检测到的状态时的状况,继续警报的输出及挖土机100的动作限制。如上所述,根据从通过检测部3012检测到监视对象的状态过渡到未检测到的状态时的状况,监视对象仍存在于挖土机100的包含监视区域的邻近区域的可能性会变高。与此相对,在这种状况下,周边监视装置150通过继续警报的输出或挖土机100的动作限制,能够向操作人员提供与存在监视对象仍存在于包含监视区域的挖土机100的邻近区域的可能性相关的信息。因此,本实施方式所涉及的周边监视装置150能够提高挖土机100的安全性。
另外,在本实施方式中,通过继续警报的输出或挖土机100的动作限制,向操作人员等提供与存在监视对象仍存在于包含监视区域的相对靠近挖土机100的邻近区域的可能性相关的信息,但也可以通过其他方法提供该信息。例如,当存在通过检测部3012检测不到的监视对象仍存在于邻近区域的可能性时,周边监视装置150可以将该情况显示于显示装置50,或通过声音输出装置52用声音进行输出。并且,当存在通过检测部301检测不到的监视对象仍存在于邻近区域的可能性时,周边监视装置150也可以将上述未检测监视对象数量显示于显示装置50,或通过声音输出装置52用声音进行输出。即,周边监视装置150只要通过任意的方法向操作人员提供与存在监视对象仍存在于包含检测部3012的监视区域的相对靠近挖土机100的邻近区域的可能性相关的信息,具体而言存在通过检测部3012未检测到的监视对象仍存在于包含监视区域的挖土机100的邻近区域的可能性情况的信息即可。由此,周边监视装置150即使在通过检测部3012未检测到监视对象的情况下,也能够向操作人员或挖土机100周围的工作人员等通知存在挖土机100的邻近区域存在未检测到的监视对象的可能性。
[变形/变更]
以上,对第2实施方式进行了详细说明,但在本实施方式的内容所表示的主旨的范围内,能够进行各种变形/变更。
例如,在本实施方式中,周边监视装置150的监视区域仅由沿从挖土机100观察的水平方向规定(延伸)的区域即水平监视区域构成,但也可以包含从挖土机100观察的铅垂方向即上下方向的监视区域(以下,简称为“铅垂监视区域”)。以下,参考图17、图18对设定除了水平监视区域以外还包含铅垂监视区域的监视区域的周边监视装置150进行说明。
图17、图18分别表示周边监视装置150的结构的另一例及又一例的图。
如图17所示,在本例中,摄像装置40除了摄像机40B、40L、40R以外,还包含拍摄挖土机100(上部回转体3)的上方区域AU的摄像机40U。
摄像机40U只要是能够拍摄从操纵室10的后方至左侧方的上部回转体3的上部(容纳部)整体的方式,则可以配置于任意的位置,例如安装于操纵室10的上部后端。由此,摄像机40U能够将包含可能存在于上部回转体3上部的监视对象(例如,工作人员等人)的拍摄图像输出至控制器30。因此,检测部3012能够检测挖土机100的邻近区域中的挖土机100(上部回转体3)的上方区域AU的监视对象。
并且,在本例中,如图18所示,摄像装置40除了摄像机40B、40L、40R以外,还包含拍摄挖土机100(上部回转体3)的下方区域AD的摄像机40D。
摄像机40D只要是能够拍摄与上部回转体3的下方的地面之间的整个空间的方式,则可以配置于任意的位置,例如安装于上部回转体3的后端下部。由此,摄像机40D能够将包含监视对象(例如,工作人员等人)的拍摄图像输出至控制器30,该监视对象可能存在于包含下部行驶体1的左右一对履带之间的空间在内的上部回转体3与下方的地面之间的空间。因此,检测部3012能够检测挖土机100的邻近区域中的挖土机100(上部回转体3)的下方区域AD的监视对象。
并且,当然,周边监视装置150的摄像装置40也可以包含摄像机40U及摄像机40D这两者。由此,检测部3012能够检测挖土机100的邻近区域中的挖土机100的上方区域AU及下方区域AD这两个区域的监视对象。
另外,也可以代替摄像机40U、40D或除了像机40U、40D以外设置能够输出与存在于挖土机100的上方区域AU或下方区域AD的物体相关的检测信息的其他传感器(例如,上述的立体摄像机、毫米波雷达、LIDAR等)。由此,检测部3012根据其他传感器的检测信息,能够检测存在于挖土机100的上方区域AU或下方区域AD的监视对象。
如此,周边监视装置150的监视区域除了水平监视区域以外,还可以包括包含挖土机100的上方区域AU或下方区域AD的铅垂监视区域。由此,周边监视装置150即使在监视对象从水平监视区域走到监视区域外邻近区域而无法检测到监视对象的情况下,有时也能够在铅垂监视区域内对监视对象再次进行检测。即,能够减少挖土机100的邻近区域中的监视区域外邻近区域即检测部3012的死角。因此,能够进一步提高挖土机100的安全性。
并且,在本实施方式中,周边监视装置150的监视区域(水平监视区域)不包含挖土机100的前方区域AF,但也可以包含前方区域AF。由此,能够减少挖土机100的邻近区域中的监视区域外邻近区域即检测部3012的死角。因此,能够进一步提高挖土机100的安全性。在该情况下,周边监视装置150的摄像装置40除了摄像机40B、40L、40R以外,还可以包含拍摄挖土机100的前方的摄像机。并且,也可以代替拍摄挖土机100的前方的摄像机或除了该摄像机以外设置能够输出与存在于挖土机100的前方的物体相关的检测信息的其他传感器(例如,上述的立体摄像机、毫米波雷达、LIDAR等)。由此,检测部3012能够在包含挖土机100的前方区域AF的监视区域内对监视对象进行检测。
并且,在本实施方式中,周边监视装置150包含警报输出部3014及动作限制部3015这两者,但也可以包含其中任一个。即,当在监视区域内检测到监视对象时,周边监视装置150也可以是仅进行警报的输出及挖土机100的动作限制中的任一个的方式。在该情况下,周边监视装置150在存在检测不到的监视对象仍存在于包含监视区域的挖土机100的邻近区域的可能性的状况下,当然仅继续警报的输出及挖土机100的动作限制中的任一个。
并且,在本实施方式中,挖土机100为对下部行驶体1、上部回转体3、动臂4、斗杆5及铲斗6等各种动作要件全部进行液压驱动的结构,但也可以是其一部分或全部被电力驱动的结构。即,在上述实施方式中所公开的结构等也可以适用于混合式挖土机或电动挖土机等。
另外,关于本实施方式,进一步公开以下内容。
(1)一种周边监视装置,其具备:
检测部,在设定于施工机械周边的监视范围内对规定的监视对象进行检测;及
控制部,当通过所述检测部检测到所述监视对象时,输出警报或进行所述施工机械的动作限制,所述周边监视装置中,
当检测不到通过所述检测部检测到的所述监视对象时,向操作人员提供与所述监视对象仍存在于包含所述监视范围的相对靠近所述施工机械的邻近区域的可能性相关的信息。
(2)根据(1)所述的周边监视装置,其中,
当检测不到通过所述检测部检测到的所述监视对象时,向操作人员提供表示存在所述监视对象仍存在于所述监视范围外的所述邻近区域的可能性的所述信息。
(3)根据(1)或(2)所述的周边监视装置,其还具备:
当检测不到通过所述检测部检测到的所述监视对象时,向操作人员提供表示存在所述监视对象仍存在于所述监视范围内的可能性的所述信息。
(4)根据(1)至(3)中任一项所述的周边监视装置,其中,
所述控制部在开始所述警报的输出或所述动作限制之后,即使在检测不到通过所述检测部检测到的所述监视对象的情况下,根据通过所述检测部检测到该监视对象的状态向未检测到的状态过渡时的状况,继续所述警报的输出或所述动作限制。
(5)根据(4)所述的周边监视装置,其还具备:
在开始所述警报的输出或所述动作限制之后,当在所述监视范围中的相对靠近所述施工机械的位置上检测不到通过所述检测部检测到的所述监视对象时,所述控制部继续所述警报的输出或所述动作限制。
(6)根据(5)所述的周边监视装置,其还具备:
有效性判定部,当检测不到通过所述检测部检测到的所述监视对象时,根据通过所述检测部检测到时的该监视对象在所述监视范围内的位置,判定是否存在该监视对象仍存在于所述监视范围外的所述邻近区域的可能性,
当在所述监视范围内的从所述施工机械观察的水平方向的相对靠近所述施工机械的位置,检测不到通过所述检测部检测到的所述监视对象时,所述有效性判定部判定为存在所述监视对象仍存在于所述监视范围外的所述邻近区域的可能性,
在开始所述警报的输出或所述动作限制之后,即使在检测不到通过所述检测部检测到的所述监视对象的情况下,当通过所述有效性判定部判定为存在所述监视对象仍存在于所述监视范围外的所述邻近区域的可能性时,所述控制部继续所述警报的输出或所述动作限制。
(7)根据(5)或(6)所述的周边监视装置,其中:
所述监视范围包含在从所述施工机械观察的水平方向上最靠近所述施工机械的第1范围、最远离所述施工机械的第2范围及所述第1范围与所述第2范围之间的第3范围,
在开始所述警报的输出或所述动作限制之后,当在所述第2范围内检测不到通过所述检测部检测到的所述监视对象时,所述控制部解除所述警报的输出或所述动作限制,当在所述第1范围或所述第3范围内检测不到通过所述检测部检测到的所述监视对象时,继续所述警报的输出或所述动作限制。
(8)根据(4)至(7)中任一项所述的周边监视装置,其中:
在开始所述警报的输出或所述动作限制之后,当通过所述检测部检测到的所述监视对象从所述监视范围内走到从所述施工机械观察在水平方向上比所述监视范围更向远方的远方区域时,所述控制部解除所述警报的输出或所述动作限制。
(9)根据8所述的周边监视装置,其还具备:
退出判定部,当检测不到通过所述检测部检测到的所述监视对象时,根据通过所述检测部检测到时的该监视对象在所述监视范围内的位置,判定该监视对象是否从所述监视范围内走到所述远方区域,
在开始所述警报的输出或所述动作限制之后,当通过所述退出判定部判定为通过所述检测部检测到的所述监视对象从所述监视范围内走到所述远方区域时,所述控制部解除所述警报的输出或所述动作限制。
(10)根据(1)至(9)中任一项所述的周边监视装置,其中:
所述监视范围包含从所述施工机械观察沿水平方向延伸的水平监视范围,
在开始所述警报的输出或所述动作限制之后,当在所述水平监视范围内的从所述施工机械观察的横向的端部或所述水平监视范围内的与所述施工机械面对的端部检测不到通过所述检测部检测到的所述监视对象时,所述控制部继续所述警报的输出或所述动作限制。
(11)根据(9)所述的周边监视装置,其还具备:
计数部,尽管通过所述退出判定部判定为从所述监视范围内走到所述远方区域,仍对通过所述检测部检测不到的所述监视对象的数量进行计数,
在开始所述警报的输出或所述动作限制之后,当通过所述检测部检测不到所述监视对象,且通过所述计数部计数的所述监视对象的数量为零时,所述控制部解除所述警报的输出或所述动作限制。
[第3实施方式]
接着,对第3实施方式进行说明。
以往,已知有防止挖土机与周边工作人员之间的接触的技术(例如,日本特开2011-163835号公报等)。
然而,在工事现场中,不仅可能会出现由基于挖土机及工作人员移动等内在原因引起的状况的变化,而且还可能会出现由来自外部的用于材料搬入或废材搬出的卡车的进入等外在原因引起的状况的变化。因此,例如,挖土机的操作人员即便能够识别与工事现场内部的工作人员之间的关系,也存在对从外部进入的卡车等的注意变慢或原本就未注意到的可能性。因此,希望以应对包括内在原因还包括外在原因的工事现场的综合性的状况的变化的方式实现确保挖土机的安全性。
因此,在本实施方式中,提供一种能够应对工事现场的综合性的状况的变化并且提高安全性的挖土机等。
[现场安全支援系统的概要]
首先,参考图19对本实施方式所涉及的现场安全支援系统SYS2进行说明。
图19是表示现场安全支援系统SYS2的结构的一例的概略图。
现场安全支援系统SYS2包含挖土机100及支援装置200,并且根据用户的操作,以从支援装置200发送至挖土机100的指令(以下,称为“注意提醒指令”)为触发,对挖土机100的操作人员进行向挖土机100周边的注意提醒。由此,支援装置200的用户能够从挖土机100的外部对挖土机100的操作人员进行向挖土机100周边的注意提醒。现场安全支援系统SYS2中所包含的挖土机100可以是一台,也可以是多台。并且,相同地,现场安全支援系统SYS2中所包含的支援装置200可以是一台,也可以是多台。即,一个支援装置200例如能够以同一工事现场内的多个挖土机100为对象,发送注意提醒指令。并且,一个挖土机100例如能够根据来自在同一工事现场进行工作的多个工作人员携带的多个支援装置200各自的注意提醒指令,对操作人员进行向该挖土机100周边的注意提醒。
另外,在图19、图20中,为了方便起见,图示一台挖土机100及一台支援装置200。并且,现场安全支援系统SYS2也可以代替挖土机100或除了挖土机100以外包含其他种类的施工机械。例如,现场安全支援系统SYS2也可以包含作为端接附件安装有磁力吊的起重磁铁设备、推土机、轮式装载机、沥青滚平机、林业机械及履带式起重机等。
<挖土机的概要>
挖土机100具备下部行驶体1;经由回转机构2能够回转地搭载于下部行驶体1的上部回转体3;作为附属装置(工作装置)的动臂4、斗杆5及铲斗6;操纵室10;发动机11。
下部行驶体1例如包含左右一对履带,并且通过由行驶用液压马达液压驱动各自的履带而自行行驶。
上部回转体3由回转液压马达液压驱动或由电动机电力驱动,由此相对于下部行驶体1进行回转。
动臂4能够俯仰地枢轴安装于上部回转体3的前部中央,在动臂4的前端能够上下转动地枢轴安装有斗杆5,在斗杆5的前端能够上下转动地枢轴安装有铲斗6。动臂4、斗杆5及铲斗6分别由动臂缸7、斗杆缸8及铲斗缸9液压驱动。
操纵室10为操作人员搭乘的座舱,并且搭载于上部回转体3的前部左侧。
发动机11为挖土机100的驱动源,例如搭载于上部回转体3的后部。发动机11例如为以轻油为燃料的柴油机。发动机11例如以维持规定转速的方式进行动作。发动机11的旋转轴与向包括行驶液压马达、回转液压马达、动臂缸7、斗杆缸8及铲斗缸9在内的液压促动器供给工作油的主泵以及生成用于操作该液压促动器的先导压的源压的先导泵连结。
挖土机100例如通过蓝牙(注册商标)通信、WiFi(注册商标)通信、RF(RadioFrequency:射频)通信等规定方式的近距离通信,与支援装置200端对端(Peer to Peer)连接,并且能够彼此进行通信。由此,挖土机100能够从支援装置200获取(接收)包含上述注意提醒指令等指令信息的各种信息。详细内容将在后面叙述。
另外,挖土机100例如也可以是通过以基站为末端的包含移动通信网或互联网等的广域通信网络,与支援装置200端对端(Peer to Peer)连接,并且能够彼此进行通信的结构。并且,挖土机100及支援装置200也可以分别为通过通信网络,例如与设置于工事现场的外部的管理服务器或设置于工事现场的管理事务所的建筑物等的管理终端等能够进行通信地连接,并且经由管理服务器或管理终端等能够彼此进行通信的结构。
<支援装置的概要>
支援装置200(外部装置的一例)例如为工事现场的工作人员、监督人员、维护负责人等可能存在于工事现场的挖土机100周边的用户(以下,简称为“工作人员等”)携带的移动终端。支援装置200例如为用户携带的通用的笔记本电脑、平板终端、智能手机等。并且,支援装置200也可以是用于向挖土机100发送注意提醒指令等指令信息的专用终端(例如,包含发送上述注意提醒指令等特定的指令信息的按钮等操作部的遥控终端)。
如上所述,支援装置200通过蓝牙通信或WiFi通信等规定方式的近距离通信,与挖土机100端对端连接,并且能够彼此进行通信。由此,支援装置200根据用户的操作,能够向挖土机100发送上述注意提醒指令等指令信息。详细内容将在后面叙述。
[现场安全支援系统的结构]
接着,除了图19以外还参考图20对本实施方式所涉及的现场安全支援系统SYS2的具体结构进行说明。
图20是表示现场安全支援系统SYS2的结构的一例的结构图。
<挖土机的结构>
挖土机100包含控制器30、摄像装置40、显示装置50、声音输出装置52、门锁阀54及通信设备60。
控制器30进行挖土机100的驱动控制。控制器30可通过任意的硬件、软件或它们的组合来实现其功能。控制器30例如以包含CPU(Central Processing Unit:中央处理器)、RAM(Random Access Memory:随机存取存储器)、ROM(Read Only Memory:只读存储器)、辅助存储装置、RTC(Real Time Clock:实时时钟)及各种通信用接口等的微型计算机为中心构成。以下,关于后面叙述的支援装置200的控制装置210也相同。
例如,控制器30进行与挖土机100的周边监视相关的控制。具体而言,控制器30控制摄像装置40,获取与挖土机100周边的状况相关的信息即表示挖土机100周边的状况(情况)的拍摄图像。并且,控制器30根据从摄像装置40获取的信息(拍摄图像),在挖土机100周边的规定的监视范围内对规定的监视对象进行检测。此时,监视对象中不仅包含在挖土机100的周边进行工作的工作人员或工事现场的监督人员等人,还能够包含工事现场的材料或沙土等固定障碍物、工事现场的其他施工机械或卡车等移动障碍物(即,移动体)等任意的物体。
并且,例如,控制器30进行与对该挖土机100的操作人员的向该挖土机100周边的注意提醒相关的控制。具体而言,控制器30根据从支援装置200接收的注意提醒指令,进行对该挖土机100的操作人员的向该挖土机100的注意提醒。
控制器30例如作为通过在CPU上执行存储于ROM或非易失性辅助存储装置的一个以上的程序来实现的功能部,包含监视图像显示处理部3021、检测部3022、通信处理部3023、警报输出部3024及动作限制部3025。
摄像装置40安装于上部回转体3的上部,并且拍摄挖土机100的周边。摄像装置40包含摄像机40B、40L、40R。
摄像机40B、摄像机40L及摄像机40R分别安装于上部回转体3的后端上部、左端上部及右端上部,并且拍摄上部回转体3的后方、左侧及右侧。例如,摄像机40B、摄像机40L及摄像机40R分别为具有极宽的视角的单眼广角摄像机。具体而言,摄像机40B、摄像机40L及摄像机40R分别在上部回转体3的上部安装成光轴朝向斜下方,并且拍摄包含从挖土机100附近的地面至挖土机100远方的上下方向的摄像范围。摄像机40B、摄像机40L及摄像机40R分别在挖土机100的运行中,每隔规定周期(例如,1/30秒)输出拍摄图像,所输出的拍摄图像输入于控制器30。
显示装置50设置于操纵室10内的操纵席的周边,具体而言,设置于从就坐于操纵席的操作人员容易视觉辨认的位置,并且显示通知给操作人员的各种图像信息。显示装置50例如为液晶显示器或有机EL(Electroluminescence:电致发光)显示器,也可以是安装有兼作操作部的触控面板式。具体而言,如后面所述,显示装置50作为表示挖土机100周边的情况的监视图像,显示摄像装置40的拍摄图像(以下,有时称为“实时取景图像”)或根据摄像装置40的拍摄图像生成(合成)的合成图像(例如,后面叙述的视点转换图像)等。
声音输出装置52设置于操纵室10内的操纵席的周边,并且输出通知给操作人员的各种声音信息。声音输出装置52例如为扬声器或蜂鸣器等。具体而言,声音输出装置52输出警报音。
门锁阀54设置于从上述先导泵对由操作人员等用于操作挖土机100的各种动作要件(即,下部行驶体1、上部回转体3、动臂4、斗杆5及铲斗6等)的操作装置供给先导压的先导管路的最上游,并且切换先导管路的连通/非连通。
例如,通常,门锁阀54根据与设置于操纵室10内的相当于操纵席的入口的部分的门锁杆的操作状态联动的门锁开关的输出信号(“开启”/“关闭”),切换先导管路的连通/非连通。具体而言,当门锁开关的输出信号为与门锁杆被提拉的状态(即,操作人员就坐于操纵席的状态)对应的信号(以下,简称为““关闭”信号”)时,门锁阀54将先导管路设为连通状态。另一方面,当门锁开关的输出信号为与门锁杆被拉下的状态(即,操作人员从操纵席离开的状态)对应的信号(以下,简称为““开启”信号”)时,门锁阀54将先导管路设为非连通状态。
并且,例如,门锁阀54构成为还能够接收从控制器30输入的指令信号。具体而言,门锁阀54中,其信号输入部可以与来自控制器30的指令信号能够嵌入的逻辑电路连接。由此,门锁阀54根据来自控制器30的指令信号(“关闭”信号/“开启”信号),能够切换先导管路的连通/非连通。即,门锁阀54在基于控制器30的控制下,即使在门锁杆被提拉的状态下,也将先导管路设为非连通状态。
通信设备60例如为遵照上述的蓝牙通信、WiFi通信、RF通信等在相对较窄的区域即工事现场内能够实现彼此通信的规定方式的近距离通信标准的设备。通过通信设备60从外部接收的各种信息输入于控制器30。
监视图像显示处理部3021根据摄像装置40的拍摄图像,在显示装置50中显示监视图像。
例如,监视图像显示处理部3021作为监视图像,将摄像机40B、40L、40R中的至少一个摄像机的拍摄图像显示于显示装置50。
并且,例如,监视图像显示处理部3021根据摄像装置40的拍摄图像,生成作为监视图像的表示挖土机100周边的情况的另一图像(以下,简称为“周边图像”)。具体而言,监视图像显示处理部3021可以通过合成摄像机40B、40L、40R的拍摄图像,或实施转换视点的处理,生成周边图像。而且,监视图像显示处理部3021将包含所生成的周边图像的监视图像显示于显示装置50。
更具体而言,监视图像显示处理部3021作为周边图像,根据摄像机40B、40L、40R的拍摄图像,进行已知的视点转换处理,由此生成从虚拟视点观察的视点转换图像,并且显示于显示装置50。并且,监视图像显示控制部3021在将周边图像显示于显示装置50时,为了明确表示摄像装置40的摄像范围与挖土机100之间的相对位置关系而在显示装置50中一并显示示意地表示挖土机100的挖土机图像。即,监视图像显示处理部3021生成包含挖土机图像及对应于挖土机100与摄像装置40的摄像范围之间的相对位置关系而配置于挖土机图像周围的周边图像的监视图像,并显示于显示装置50。
例如,在显示装置50中显示上述图5A及图5B所示的监视图像。
在本例中,如图3A及图3B所示,显示装置50包含显示各种信息图像的显示区域即显示部50A及接收与显示于显示部50A的各种信息图像相关的基于操作人员等的操作的按钮开关等基于硬件的操作部50B。
显示部50A例如为显示装置50中的横长的长方形的显示器(例如,纵横尺寸比4:3的显示器)。
在本例中,如图3A所示,如上所述,作为监视图像MP1,在显示部50A显示摄像机40B、40L、40R中的任一个实时取景图像。
在本例的监视图像MP1(实时取景图像)中重叠显示引导线GLa。引导线GLa表示距挖土机100的水平方向的距离D为规定距离D1的位置。由此,当在实时取景图像中显示(包含)监视对象等时,操作人员等能够掌握存在于距挖土机100何种程度的位置。
另外,规定距离D1能够在与后面叙述的监视区域对应的规定距离D2以下的范围内适当设定。
并且,在本例中,如图3B所示,如上所述,在显示部50A显示有包含挖土机图像CG及配置于挖土机图像CG周围的周边图像EP的监视用图像MP2。由此,操作人员等能够确切地掌握周边图像EP中所显示的监视对象与挖土机100之间的位置关系。
本例的周边图像EP为组合了从正上方观察了与挖土机100相邻的周边区域的俯瞰图像BVP和配置于该俯瞰图像BVP周围的从挖土机100向水平方向观察了该周边区域的水平图像HVP的视点转换图像。视点转换图像即周边图像EP通过将摄像机40B、40L、40R各自的拍摄图像投影到空间模型的基础上将投影到该空间模型的投影图像再次投影到另一二维平面来获得。空间模型为虚拟空间中的拍摄图像的投影对象,并且由包含除了拍摄图像所处的平面以外的平面或曲面的一个或多个平面或曲面构成。
并且,在监视图像MP2中重叠显示引导线GLb。与图3A的监视图像MP1(实时取景图像)的引导线GLa相同地,引导线GLb表示距挖土机100的水平方向的距离D为规定距离D1的位置。即,引导线GLb为将与从挖土机100的正上方观察的俯视观察对应的挖土机图像CG的轮廓形状向挖土机图像CG的外侧偏移(放大)了与规定距离D1相当的量的线。由此,与图3A的引导线GLa的情况相同地,当在周边图像EP中显示(包含)监视对象等时,操作人员等能够掌握存在于距挖土机100何种程度的位置。
返回图19、图20,检测部3022根据通过摄像装置40拍摄的拍摄图像,在挖土机100周边的监视区域具体而言在沿从挖土机100观察的水平方向即挖土机100进行工作的(下部行驶体1接地的)平面的方向的监视区域内对监视对象进行检测。具体而言,检测部3022在距挖土机100的水平方向的距离D为规定距离D2(例如,5米)以内的监视区域内对监视对象进行检测。
例如,监视区域如上述图6所示。
另外,图中的点线L1及单点划线L2分别相当于距挖土机100的水平方向的距离D为规定距离D1及规定距离D2的位置。
如图6所示,监视区域MA(图中的斜线部)规定为由摄像机40B、40L、40R各自的水平方向的视角规定的可摄像范围AVB、AVL、AVR中的距挖土机100的水平方向的距离D为规定距离D2以下的范围。
返回图19、图20,检测部3022例如通过任意地适用已知的各种图像处理方法或包含人工智能(AI:Artificial Intelligence)等的机器学习库的识别器等,识别拍摄图像内的监视对象。
并且,检测部3022通过适用已知的各种方法,能够判定(推断)基于单眼摄像装置40的拍摄图像中所包含的识别出的监视对象存在的位置(以下,称为“实际存在位置”。例如,作为监视对象的人的脚下位置)。
例如,检测部3022根据识别出的监视对象的拍摄图像上的大小(例如,拍摄图像上的高度方向的大小),推断从挖土机100观察的水平方向的位置(以下,称为“水平位置”)。这是因为,识别出的监视对象的拍摄图像上的大小存在监视对象越远离挖土机100越变小的相关关系。具体而言,在监视对象中能够规定所设想的大小范围(例如,所设想的人的身高范围),因此能够预先规定所设想的大小范围内所包含的该监视对象的从挖土机100观察的水平位置与拍摄图像上的大小之间的相关关系。因此,检测部3022例如根据预先存储于控制器30的辅助存储装置等内部存储器的表示拍摄图像上的监视对象的大小与从挖土机100观察的水平位置之间的相关关系的映射图或转换式等,能够推断识别出的监视对象的实际存在位置(距挖土机100的水平位置)。
并且,例如,检测部3022在监视对象存在于与挖土机100(的下部行驶体1)相同的平面上的前提下,通过将拍摄图像向该平面上的射影变换(单应性)等,能够推断其实际存在位置(例如,脚下位置)。在该情况下,构成拍摄图像的某一部分(某一点)和与挖土机100相同的平面上的某一位置建立对应关联。
另外,检测部3022也可以代替摄像装置40的拍摄图像或除了该拍摄图像以外根据能够搭载于挖土机100的其他传感器的检测信息,在挖土机100周边的监视区域内对监视对象进行检测。例如,检测部3022可以根据作为其他传感器的立体摄像机、毫米波雷达及LIDAR(Light Detecting and Ranging)等的检测信息,在挖土机100周边的监视区域内对监视对象进行检测。
通信处理部3023控制通信设备60,在该挖土机100与该挖土机100周边的工作人员等携带的支援装置200之间,建立基于上述规定方式的近距离通信的端对端连接。
具体而言,首先,通信处理部3023在该挖土机100的周边,检测能够进行基于规定方式的近距离通信的端对端连接的设备(以下,简称为“可连接设备”)。
例如,通信处理部3023通过通信设备60,在挖土机100周边的规定范围即可通信范围(例如,数米~数十米)内,间歇地发送包含与挖土机100或通信设备60对应的设备的识别信息的信号(以下,称为“通告信号”)。由此,支援装置200等的可连接设备在位于该挖土机100的可通信范围内时(即,进入到该挖土机100的可通信范围内时)能够接收该通告信号。而且,通信处理部3023通过通信设备60,接收来自接收了该通告信号的可连接设备的请求端对端连接的信号(以下,简称为“连接请求信号”),由此能够检测该连接请求信号的发送端的可连接设备。
并且,例如,通信处理部3023能够通过通信设备60接收通告信号,由此检测该通告信号的发送端的可连接设备。
接着,通信处理部3023判定检测到的该挖土机100周边的可连接设备是否为连接对象设备即支援装置200。例如,通信处理部3023根据用于确定(识别)通告信号或连接请求信号中所包含的该信号的发送端的各种信息,判定是否为连接对象设备。
最后,若判定为检测到的可连接设备是连接对象设备,则通信处理部3023在与检测到的可连接设备之间建立端对端连接。
例如,当通过通信设备60接收连接请求信号,由此检测到发送端的可连接设备时,通信处理部3023进行该挖土机100侧的用于端对端连接的处理。而且,通信处理部3023通过通信设备60发送通知与该可连接设备连接完成的信号(以下,简称为“连接响应信号”),由此建立在与检测到的可连接设备即支援装置200之间的端对端连接。
并且,例如,当通过通信设备60接收通告信号,由此检测到发送端的可连接设备时,通信处理部3023向该可连接设备发送连接请求信号。而且,通信处理部3023通过通信设备60从该可连接设备接收连接响应信号,并根据该接收,进行该挖土机100侧的用于端对端连接的处理,由此建立在与检测到的可连接设备即支援装置200之间的端对端连接。
如此,当该挖土机100及连接对象设备(支援装置200)位于能够彼此进行通信的范围内时,通信处理部3023能够建立端对端连接。
另外,通信处理部3023也可以仅在从支援装置200存在请求时(例如,从支援装置200接收了连接请求信号时),建立该挖土机100与支援装置200之间的端对端连接。
并且,通信处理部3023通过通信设备60接收从在与该挖土机100之间建立了端对端连接的支援装置200发送的各种信息。
例如,若通过通信设备60从支援装置200接收注意提醒指令或解除指令等指令信息,则通信处理部3023(第1信息获取部、第2信息获取部的一例)向警报输出部3024及动作限制部3025通知其内容。
警报输出部3024输出朝向挖土机100的操纵室10内外的警报。
例如,当通过检测部3022在监视区域内检测到监视对象时,警报输出部3024朝向操纵室10的内部或外部输出警报。由此,控制器30能够使操作人员或挖土机100周边的工作人员及监督人员等意识到监视对象侵入到挖土机100周边的监视区域内的情况。因此,控制器30能够督促操作人员确认挖土机100周边的安全状况,并且能够督促监视区域内的工作人员等从监视区域退避。以下,为了方便起见,将该警报称为“监视对象检测警报”。
并且,例如,当通过通信处理部3023从支援装置200接收了注意提醒指令时,警报输出部3024(注意提醒部的一例)对操纵室10内的操作人员输出进行向该挖土机100的周边状况的注意提醒的警报。由此,控制器30能够督促操作人员确认该挖土机100的周边状况。以下,为了方便起见,将该警报称为“注意提醒警报”。
警报输出部3024可以通过任意的方法输出警报(监视对象检测警报或注意提醒警报)。
例如,警报输出部3024输出基于听觉方法即声音的警报。
具体而言,警报输出部3024可以向声音输出装置52输出控制指令而使其输出警告音。此时,警报输出部3024可以根据各种条件(例如,警报的种类,即按监视对象检测警报与注意提醒警报的区分),改变警告音的音高、声压、音色等或周期性地鸣放警告音(例如,蜂鸣音)时的鸣放周期等。
并且,警报输出部3024也可以通过扬声器等声音输出装置52,输出检测到监视对象的情况的声音或命令(督促)确认该挖土机100的周边状况的声音。
并且,例如,警报输出部3024输出基于视觉方法即向显示装置50显示信息图像的警报。
具体而言,警报输出部3024向监视图像显示处理部3021发送警报请求。由此,监视图像显示处理部3021根据警报请求,强调显示于显示装置50的监视图像(实时取景图像或周边图像)中所包含的监视对象,由此通过显示装置50能够输出对操作人员的监视对象检测警报。
并且,警报输出部3024通过在显示装置50中显示督促确认该挖土机100周边的文字信息等,能够输出对操作人员的注意提醒警报。
另外,警报输出部3024也可以输出基于触觉方法的警报。具体而言,例如,也可以通过使操作人员就坐的操纵席振动的振动发生装置等输出警报。在该情况下,警报输出部3024根据根据警报种类的区分,即根据监视对象检测警报与注意提醒警报的区分,改变从振动发生装置输出的振动的大小、振动周期等。
并且,警报输出部3024也可以根据通过检测部3022在监视区域内检测到的监视对象与挖土机100之间的位置关系,改变监视对象检测警报的种类(警报级别)。
例如,当通过检测部3022在监视区域内检测到的监视对象存在于相对远离挖土机100的位置时,警报输出部3024向操作人员等输出督促对监视对象的注意的程度的警报级别相对较低的监视对象检测警报(以下,称为“注意级别的监视对象检测警报”)。具体而言,当通过检测部3022检测到的监视对象与挖土机100之间的水平方向的距离D超过了规定距离D1时(D1<D≤D2时),警报输出部3024可以输出注意级别的监视对象检测警报。以下,为了方便起见,将监视区域中的距挖土机100的距离D超过了规定距离D1的区域称为“注意区域”。另一方面,当通过检测部3022在监视区域内检测到的监视对象存在于相对靠近挖土机100的位置时,警报输出部3024输出通知监视对象接近挖土机100且危险度逐渐提高的警报级别相对较高的警报(以下,称为“警戒级别的监视对象检测警报”)。具体而言,当通过检测部3022检测到的监视对象与挖土机100之间的水平方向的距离D为规定距离D1以下时(D≤D1时),警报输出部3024可以输出警戒级别的警报。以下,将监视区域中的距挖土机100的距离D为规定距离D1以下的区域称为“警戒区域”。
在该情况下,警报输出部3024可以在注意级别的监视对象检测警报与警戒级别的监视对象检测警报之间,改变从声音输出装置52输出的声音的音高、声压、音色及鸣放周期等。并且,警报输出部3024可以在注意级别的警报与警戒级别的警报之间,改变强调显示于显示装置50的监视图像(实时取景图像或周边图像)中所包含的监视对象的标记等的颜色、形状、大小、闪烁的有无及闪烁周期等。由此,控制器30根据警报音或强调显示于显示装置50的监视对象的标记等的差异,能够使操作人员等掌握警报级别即监视对象对挖土机100的接近程度。
并且,当在开始监视对象检测警报的输出之后,检测不到通过检测部3022检测到的监视对象时,或进行了规定的解除操作时,警报输出部3024解除警报的输出。
并且,当在开始注意提醒警报的输出之后,通过通信处理部3023从支援装置200接收了解除指令时,警报输出部3024停止注意提醒警报。
另外,当操作人员确认了该挖土机100的周边状况时,警报输出部3024也可以不依赖于解除指令的接收而停止注意提醒警报。在该情况下,例如,当从注意提醒警报的输出开始起经过了能够判断为操作人员确认了该挖土机100的周边状况的规定时间(例如,1分钟等)时,警报输出部3024也可以停止注意提醒警报。并且,例如,当通过设置于操纵室10内的视线传感器等确认操作人员的视线状况,并且判断为操作人员确认了挖土机100的周边状况时,警报输出部3024也可以停止注意提醒警报。并且,例如,当在显示装置50显示了咨询挖土机100的周边状况的确认的有无的内容的文字信息的基础上,由操作人员进行了表示确认了挖土机100的周边状况的确认操作时,警报输出部3024也可以停止注意提醒警报。并且,例如,也可以是如下结构,通过由操作人员进行规定操作,通过通信处理部3023,从挖土机100发送对注意提醒警报的发送端的支援装置200委托注意提醒警报的解除的信号(以下,称为“委托解除信号”)。在该情况下,若从挖土机100接收委托解除信号,则支援装置200在后面叙述的显示装置240中显示用于允许注意提醒警报的解除的操作画面,若接收用户进行的允许操作,则可以将允许解除的情况的信号(以下,称为“允许解除信号”)反馈到该挖土机100。而且,若通过通信处理部3023从支援装置200接收允许解除信号,则警报输出部3024停止注意提醒警报。并且,即使在从支援装置200未接受允许解除信号的情况下,当从委托解除信号的发送起经过了规定时间时,警报输出部3024也可以停止注意提醒警报。
当与该挖土机100周边的安全确保相关的规定条件成立时,动作限制部3025限制挖土机100的动作要件的动作。此时,动作限制对象的动作要件中包含下部行驶体1、上部回转体3、动臂4、斗杆5及铲斗6等的一部分或全部。例如,动作限制部3025通过向门锁阀54发送指令信号(“开启”信号),使门锁阀54将先导管路设为非连通状态。由此,从先导泵不会向操作挖土机100的动作要件的操作装置供给工作油(先导压),因此能够以即便操作人员对操作装置进行操作输入也使挖土机100的动作要件不动作的方式进行限制。因此,能够抑制与存在于挖土机100周边的较近的区域的物体的碰撞等的产生。
例如,当通过检测部3022在监视区域内检测到监视对象时,动作限制部3025限制挖土机100的动作要件的动作。由此,即使在监视对象(例如,人)进入到挖土机100周边的监视区域的情况下,也限制挖土机100的动作,从而能够抑制挖土机100与监视对象的碰撞等的产生。因此,能够实现维持挖土机100的周边的安全性。
并且,例如,当通过通信处理部3023从支援装置200接收了注意提醒指令时,动作限制部3025限制挖土机100的动作要件的动作。由此,在从支援装置200发送注意提醒指令状况即操作人员需对该挖土机100的周边状况注意的状况下,能够抑制挖土机100与成为注意提醒的主要原因的对象物(例如,进入到工事现场的卡车等)的碰撞等。因此,能够实现维持挖土机100的周边中的安全性。
此时,动作限制部3025也可以在开始对操作人员的向该挖土机100的周边状况的注意提醒之后,即通过警报输出部3024开始注意提醒警报的输出之后,开始挖土机100的动作限制。具体而言,动作限制部3025可以在通过警报输出部3024开始注意提醒警报的输出之后,当经过了规定时间(例如,数秒)时,开始挖土机100的动作限制。由此,在操作人员确认基于警报输出部3024的注意提醒警报之后,限制该挖土机100的动作。因此,能够抑制如因挖土机100的动作限制突然开始而给操作人员带来不协调感,或因动作中的动作要件的急停而导致该挖土机100成为不稳定的姿势等情况。
并且,动作限制部3025(通知部的一例)也可以在通过警报输出部3024开始注意提醒警报的输出之后且开始该挖土机100的动作限制之前,通过显示装置50或声音输出装置52进行对操作人员通知开始动作限制的情况(以下,称为“动作限制预告通知”)。由此,用户在开始挖土机100的动作限制之前,能够意识到将要开始动作限制。因此,能够进一步抑制如因挖土机100的动作限制突然开始而给操作人员带来不协调感,或因动作中的动作要件的急停而导致该挖土机100成为不稳定的姿势等情况。此时,在显示于显示装置50的动作限制预告通知中可以包含以倒计时形式表示的开始挖土机100的动作限制之前的剩余时间。由此,用户能够掌握实际上挖土机100的动作限制何时开始。
另外,例如,也可以代替门锁阀54,设置对从操作动作要件的操作装置输出的二次侧先导压进行减压的减压阀,动作限制部3025控制该减压阀。在该情况下,该减压阀通过将从该操作装置输出的二次侧先导压减压至相当于操作量零的压力值以下,能够使操作人员对操作装置的操作无效。因此,动作限制部3025通过控制该减压阀,作为结果能够限制挖土机100的动作要件的动作。并且,动作限制部3025也可以通过控制该减压阀,不停止挖土机100的动作要件而以将对操作人员的操作的各种动作要件的动作抑制为比通常更缓慢的方式限制挖土机100的动作。
并且,与警报输出部3024的情况相同地,动作限制部3025也可以根据通过检测部3022检测到的监视对象与挖土机100之间的位置关系,改变由监视对象的检测引起的挖土机100的动作限制的级别。
例如,当通过检测部3022在监视区域内检测到的监视对象存在于相对远离挖土机100的位置时,动作限制部3025以限制程度相对较低的方式进行挖土机100的动作限制。具体而言,当通过检测部3022检测到的监视对象与挖土机100之间的水平方向的距离D超过了规定距离D1时(D1<D≤D2时),动作限制部3025可以以限制程度相对较低的(例如,比通常放慢相对于操作量的动作要件的动作速度的)方式进行挖土机100的动作限制。另一方面,当通过检测部3022在监视区域内检测到的监视对象存在于相对靠近挖土机100的位置时,动作限制部3025以限制程度相对较高的方式进行挖土机100的动作限制。具体而言,当通过检测部3022检测到的监视对象与挖土机100之间的水平方向的距离D为规定距离D1以下时(D≤D1时),动作限制部3025可以以限制程度相对较高的(例如,停止动作要件的动作)方式进行挖土机100的动作限制。
并且,动作限制部3025在开始由检测部3022进行的监视对象的检测引起的挖土机100的动作限制之后,当检测不到通过检测部3022检测到的监视对象时,或进行了上述解除操作时,解除挖土机100的动作限制。
并且,动作限制部3025在开始由注意提醒指令的接收引起的挖土机100的动作限制之后,当从支援装置200接收了解除指令时,解除挖土机100的动作限制。
另外,当与检测部3022进行的监视对象的检测相关的动作限制的实施条件及与注意提醒指令的接收相关的动作限制的实施条件这两者成立时,只要两者的解除条件不成立,则动作限制部3025不解除该挖土机100的动作限制。具体而言,动作限制部3025也可以是如下方式,挖土机100的动作限制的触发不论是检测部3022进行的监视对象的检测,还是来自支援装置200的解除指令的接收,当两者的实施条件成立时,只要两者的解除条件不成立,则不解除该挖土机100的动作限制。由此,能够进一步提高挖土机100的安全性。
<支援装置的结构>
支援装置200包含控制装置210、通信设备220、操作装置230及显示装置240。
控制装置210控制支援装置200的各种动作。控制装置210例如作为通过在CPU上执行存储于ROM或非易失性辅助存储装置的一个以上的程序来实现的功能部,包含通信处理部2104、注意提醒指令部2105及解除指令部2106。
通信设备220例如为遵照上述的蓝牙通信、WiFi通信及RF通信等与挖土机100的通信设备60相同的方式的近距离通信标准的设备。由此,通信设备220能够接收从挖土机100的通信设备60发送的信号,或发送通过挖土机100的通信设备60能够接收的信号。
操作装置230接收来自用户的支援装置200中的各种操作。操作装置230例如包含按钮、键盘、鼠标、触控板及安装于显示装置50的触控面板等基于硬件的操作部。并且,操作装置230也可以是安装于显示装置240的触控面板等基于硬件的操作部与显示于显示装置240的操作画面上的按钮图标等基于软件的操作部的组合。
显示装置240显示各种信息图像。显示装置240例如为液晶显示器或有机EL显示器等。
通信处理部2104控制通信设备220,并且在该支援装置200与该支援装置200周边的挖土机100之间建立基于上述规定方式的近距离通信的端对端连接。关于基于通信处理部2104的与挖土机100之间的端对端连接的建立方法,除了连接端从支援装置200替换为挖土机100以外,与基于挖土机100的通信处理部3023的与支援装置200之间的端对端连接的建立方法相同,因此省略说。
并且,通信处理部2104控制通信设备220,并且根据来自注意提醒指令部2105或解除指令部2106等的请求,将各种指令信息发送至挖土机100。
当通过操作装置230进行了工事现场的工作人员等用户命令注意提醒指令的发送的操作(以下,称为“注意提醒指令的发送操作”)时,注意提醒指令部2105经由通信处理部2104将注意提醒指令发送至挖土机100。由此,当希望督促挖土机100的操作人员确认周边状况时(例如,进入到工事现场的卡车等靠近了挖土机100时),工事现场的工作人员等用户能够使挖土机100进行对操作人员的向周边状况的注意提醒。
例如,图21是表示进行显示于显示装置240的注意提醒指令的发送操作的操作画面(以下,称为“注意提醒操作画面”)的一例(注意提醒操作画面500)的图。
如图21所示,在注意提醒操作画面500包含通过安装于显示装置240的触控面板等操作装置230能够进行操作的按钮图标501、502。
在按钮图标501中标注有“发送”这一文字信息,用户通过操作装置230操作按钮图标501,由此能够进行注意提醒指令的发送操作。即,若通过操作装置230等操作按钮图标501,则注意提醒指令部2105经由通信处理部2104向挖土机100发送注意提醒指令。此时,当该支援装置200与多个挖土机100端对端连接时,注意提醒指令部2105向多个挖土机100广播发送注意提醒指令。由此,用户通过一次注意提醒指令的发送操作,能够使多个挖土机100进行对各操作人员的周边状况的注意提醒。
另外,当支援装置200在与多个挖土机100之间端对端连接时,用于选择发送端的挖土机100的操作画面也可以显示于显示装置240。由此,用户能够仅向与需要注意提醒的操作人员对应的挖土机100发送注意提醒指令。
在按钮图标502中标注有“返回”这一文字信息,用户通过操作装置230操作按钮图标502,由此能够将显示装置50的显示内容返回到注意提醒操作画面500的前一画面。
返回图19、图20,当通过操作装置230进行了工事现场的工作人员等用户命令解除指令的发送的操作(以下,称为“解除指令的发送操作”)时,解除指令部2106经由通信处理部2104将解除指令发送至挖土机100。由此,工事现场的工作人员等用户例如在进入到工事现场的卡车等远离挖土机100的情况下等,能够解除注意提醒警报或挖土机100的动作限制。
例如,图22是表示进行显示于显示装置240的解除指令的发送操作的操作画面(以下,称为“解除操作画面”)的一例(解除操作画面600)的图。
如图22所示,在解除操作画面600中包含通过安装于显示装置240的触控面板等操作装置230能够进行操作可能的按钮图标601、602。
在按钮图标601中标注有“发送”这一文字信息,用户通过操作装置230操作按钮图标601,能够进行解除指令的发送操作。即,若通过操作装置230等操作按钮图标601,则解除指令部2106经由通信处理部2104发向对挖土机100的解除指令。此时,当该支援装置200与多个挖土机100端对端连接时,解除指令部2106向多个挖土机100广播发送解除指令。并且,解除指令部2106也可以在与该支援装置200端对端连接的多个挖土机100中仅选择稍前已发送注意提醒指令的挖土机100,并且向所选择的挖土机100多点发送或单点发送解除指令。由此,用户通过一次解除指令的发送操作,能够使多个挖土机100进行对操作人员的向周边状况的注意提醒或动作限制的解除。
另外,当支援装置200在与多个挖土机100之间端对端连接时,用于选择发送端的挖土机100的操作画面也可以显示于显示装置240。由此,用户也能够亲自选择成为解除指令的对象的挖土机100,并且进行对操作人员的向周边状况的注意提醒或动作限制的解除。
[现场安全支援系统的动作的概要]
接着,参考图23对现场安全支援系统SYS2的动作的概要进行说明。
图23是对现场安全支援系统SYS2的动作的概要进行说明的图。具体而言,图23示出了携带挖土机100及支援装置200的工作人员W进行工作的工事现场的状况和挖土机100及支援装置200的动作的流程。以下,在本例中,以工作人员W存在于挖土机100的通信设备60的可通信范围,且挖土机100存在于支援装置200的通信设备220的可通信范围为前提进行说明。
在步骤S10中,挖土机100及支援装置200建立彼此之间的端对端连接。
在步骤S12中,卡车TK进入工事现场,且正在接近挖土机100。
在步骤S14中,工作人员W注意到卡车TK已进入工事现场,并且对支援装置200进行注意提醒指令的发送操作,支援装置200根据工作人员W的发送操作,对挖土机100发送注意提醒指令。
在步骤S16中,挖土机100接收来自支援装置200的注意提醒指令,根据注意提醒指令,开始注意提醒警报的输出。
例如,如图23所示,挖土机100的控制器30(警报输出部3024)在显示于显示装置50的监视图像MP1(实时取景图像)上显示督促确认挖土机100周围的注意提醒警报ALM。由此,操作人员在一边确认显示于显示装置50的监视图像一边进行工作的状况下,能够轻松地掌握已输出注意提醒警报的情况。并且,操作人员能够同时确认掌握开始注意提醒警报的输出及显示于监视图像MP1的挖土机100的周边状况(例如,工作人员W或进入到工事现场的卡车的状况等)。
并且,当在显示装置50中显示有除监视图像以外的信息图像时,挖土机100的控制器30也可以将显示装置50的显示内容自动切换为监视图像(例如,包含摄像机40B的实时取景图像或周边图像的监视图像)。由此,操作人员省略用于确认挖土机100的后方等不易直接确认的部位的周边状况的操作时间,因此提高操作人员的便利性。
而且,挖土机100在开始注意提醒指令之后,开始动作限制。由此,挖土机100(控制器30)能够防止由挖土机100的动作引起的与接近过来的卡车TK的接触等的产生。
在步骤S18中,若确认卡车TK与挖土机100分开,则工作人员W对支援装置200进行解除指令的发送操作,支援装置200根据工作人员W的发送操作,对挖土机100发送解除指令。
在步骤S20中,挖土机100接收来自支援装置200的解除指令,根据解除指令解除注意提醒警报及动作限制。由此,挖土机100能够恢复正常工作。
如此,支援装置200根据用户(工作人员W)的操作,对挖土机100发送用于进行对操作人员的向挖土机100的周边状况的注意提醒的指令(注意提醒指令)。而且,挖土机100接收来自支援装置200的注意提醒指令,并且进行对操作人员的向挖土机100的周边状况的注意提醒,具体而言注意提醒警报的输出。通常,操作人员注视挖土机100的附属装置的动作,因此比外部的工作人员W更不易注意到由外在原因引起的工事现场的状况的变化。因此,现场安全支援系统SYS2以应对由卡车TK向工事现场的进入等外在原因引起的工事现场的状况的变化的方式,督促操作人员确认挖土机100的周边状况,从而能够提高挖土机100的安全性。因此,现场安全支援系统SYS2应对工事现场的综合性的状况的变化,从而能够提高安全性。
并且,挖土机100根据注意提醒指令的接收而进行动作限制。换言之,支援装置200进行对该挖土机100的操作人员的向挖土机100的周边状况的注意提醒,且将用于限制挖土机100的动作的注意提醒指令发送至挖土机100。由此,现场安全支援系统SYS2以应对由卡车TK向工事现场的进入等外在原因引起的工事现场的状况的变化的方式,进行挖土机100的动作限制,从而进一步提高挖土机100的安全性。
并且,例如,当发生了在挖土机100的周边进行工作的其他工作人员进行急促动作或因身体状况的骤变而倒下等异常情况时,或者发生了因工作人员W本身的身体状况的骤变而倒下等异常情况时,工作人员W还能够对支援装置200进行注意提醒指令的发送操作。当在挖土机100的周边进行工作的工作人员出现了异常情况时,有可能存在工作人员进入挖土机100的前进路线或因上部回转体3的回转而通过的范围内的可能性。因此,现场安全支援系统SYS2以应对由工作人员的异常情况等内在原因引起的工事现场的状况的变化的方式,督促操作人员确认挖土机100的周边状况,或进行挖土机100的动作限制,由此能够进一步提高挖土机100的安全性。
另外,挖土机100从支援装置200获取作为从外部的与挖土机100的周边状况的变化相关的信息(以下,简称为“注意提醒信息”)的注意提醒指令,但也可以通过除注意提醒指令以外的方法来获取注意提醒信息。即,工作人员W也可以通过其他方法来将挖土机100的周边状况的变化传递至挖土机100。例如,工作人员W为了通知卡车TK接近等挖土机100的周边状况的变化,也可以朝向挖土机100进行规定的手势或姿势。在该情况下,挖土机100的控制器30通过对摄像装置40的拍摄图像实施图像识别处理,能够识别工作人员W进行的手势或姿势。即,挖土机100作为注意提醒信息,也可以获取包含在挖土机100的周边进行规定的姿势或手势的工作人员等规定的人的摄像装置40的拍摄图像。由此,挖土机100能够从摄像装置40的拍摄图像识别正在进行规定的手势或姿势的工作人员W,对操作人员进行向挖土机100的周边状况的注意提醒,或进行挖土机100的动作限制。相同地,挖土机100也可以通过除解除指令以外的方法来从外部获取与挖土机100的注意提醒警报或动作限制的解除相关的信息(以下,简称为“解除信息”)。具体而言,挖土机100也可以通过包含在本身的周边正在进行与注意提醒信息的情况不同的规定的手势或姿势的工作人员等的规定的人的摄像装置40的拍摄图像获取解除信息。
并且,工作人员W也可以无需另行携带支援装置200而利用设置于工事现场的工作区域附近的支援装置200,对挖土机100发送注意提醒指令。即,支援装置200也可以在挖土机100进行工作的工作区域设置一个或多个,并且由在工作区域进行工作的工作人员等共享。
[现场安全支援系统的动作的详细内容]
接着,参考图24对现场安全支援系统SYS2的动作的详细内容进行说明。
图8是概略地表示与挖土机100的控制器30进行的对操作人员的向周边状况的注意提醒相关的处理的一例的流程图。若通过通信处理部3023从支援装置200接收注意提醒指令,则执行基于本流程图的处理。
在步骤S402中,警报输出部3024根据通过通信处理部3023从支援装置200接收注意提醒指令,通过显示装置50或声音输出装置52等输出对操纵室10内的操作人员的注意提醒警报。
在步骤S404中,动作限制部3025在通过警报输出部3024开始注意提醒警报之后,通过显示装置50或声音输出装置52进行动作限制预告通知。由此,操作人员理解挖土机100的动作限制开始,从而能够预先中止挖土机100的操作。
在步骤S406中,动作限制部3025判定从警报输出部3024进行的注意提醒警报的输出开始起是否经过了规定时间。当从注意提醒警报的输出开始起经过了规定时间时,动作限制部3025转到步骤S408,当尚未经过规定时间时,待机直至经过规定时间(重复本步骤的处理)。
在步骤S408中,动作限制部3025控制门锁阀54,并且开始挖土机100的动作限制。
在步骤S410中,通信处理部3023判定是否从支援装置200接收了解除指令。当从支援装置200接收了解除指令时,通信处理部3023转到步骤S412,当未接收到时,待机直至接收(重复本步骤的处理)。
另外,当即便从注意提醒指令的接收起经过了能够判断为足够长于确保挖土机100周边的安全所需的时间的某种程度的时间(例如,数十分钟)也未接收到解除指令时,控制器30也可以视为挖土机100周边的安全得到确保而转到步骤S412。这是因为,有可能存在因通信障碍等或支援装置200的用户忘记解除指令的发送等而挖土机100无法接收解除指令的情况。
在步骤S412中,警报输出部3024及动作限制部3025分别解除注意提醒警报及该挖土机100的动作限制,并结束这次处理。
[变形/变更]
以上,对第2实施方式进行了详细说明,但在本实施方式的内容所表示的主旨的范围内,能够进行各种变形/变更。
例如,在本实施方式中,挖土机100(通信处理部3023)在与支援装置200之间建立端对端连接,但也可以在与同一现场内的其他挖土机100之间建立端对端连接。在该情况下,与支援装置200的情况相同地,某一挖土机100可以根据操作人员等进行的操作,将注意提醒指令或解除指令等各种指令信息发送至其他挖土机100。由此,例如,某一挖土机100的操作人员在发现了接近其他挖土机100的卡车等的情况下,能够使其他挖土机100进行对操作人员的向周边状况的注意提醒,或暂时进行动作限制。
并且,在本实施方式中,挖土机100从同一工事现场内的对象(其他挖土机100、支援装置200、工作人员等)获取注意提醒信息或解除信息,但并不限定于该方式。具体而言,挖土机100也可以获取来自从外部走入现场的对象,即成为工事现场的状况的变化的外在原因的对象(例如,卡车等)的注意提醒信息(例如,注意提醒指令),并根据该注意提醒信息,进行对操作人员的向该挖土机100的周边状况的注意提醒。在该情况下,在卡车(外部装置的一例)中例如搭载进行与挖土机100的通信设备60相同的规定方式的近距离通信的通信设备。由此,从外部进入到工事现场的卡车的司机在接近工作中的挖土机100时,通过规定操作能够从卡车对挖土机100发送注意提醒指令。因此,卡车司机能够对挖土机100进行对操作人员的向挖土机100的周边状况的注意提醒,从而能够要求对自己驾驶的卡车注意。而且,若判定为挖土机100的操作人员已注意到卡车,则卡车司机从卡车向挖土机100发送解除指令。由此,卡车司机能够使挖土机100解除注意提醒警报或挖土机100的动作限制。并且,挖土机100也可以从在工事现场的外部能够监视该工事现场的状况的对象例如设置于工事现场的外部且管理工事现场的工作状况或挖土机100等施工机械的外部服务器等管理装置(外部装置的一例)获取注意提醒指令,并根据该注意提醒信息,进行对操作人员的向该挖土机100的周边状况的注意提醒。在该情况下,在挖土机100中搭载通过以基站为末端的移动通信网或互联网等通信网络用于与管理装置进行通信的通信设备(例如,移动通信模块等)。并且,管理装置例如通过通信网络获取设置于工事现场的各处的防盗摄像机、在工事现场的各处进行工作的挖土机100的摄像装置40或搭载于在工事现场的上空飞行的无人机的摄像机的拍摄图像,由此能够掌握工事现场的状况的变化。由此,管理装置的管理人员或操作人员等在如在工事现场的状况中发生了由内在原因或外在原因引起的变化那样的状况下,通过进行规定操作,能够通过通信网络从管理装置向挖土机100发送注意提醒指令。而且,当判断为已解决了工事现场的状况的变化,则管理装置的管理人员或操作人员等从管理装置向挖土机100发送解除指令。由此,管理装置的管理人员或操作人员等能够使挖土机100恢复正常工作。
并且,在本实施方式中,挖土机100(控制器30)包含警报输出部3024及动作限制部3025这两者,但也可以仅包含其中任一个。即,当在从挖土机100观察的水平方向的监视区域内检测到监视对象时,挖土机100的控制器30也可以是仅进行警报的输出及挖土机100的动作限制中的任一个的方式。
并且,在本实施方式中,挖土机100为对下部行驶体1、上部回转体3、动臂4、斗杆5及铲斗6等各种动作要件全部进行液压驱动的结构,但也可以是其一部分被电力驱动的结构。即,上述本实施方式中所公开的结构等也可以适用于包含混合式挖土机或电动挖土机等的现场安全支援系统中。
另外,关于本实施方式,进一步公开以下内容。
(1)一种挖土机,其具备:
第1信息获取部,从挖土机的外部获取与该挖土机的周边状况的变化相关的信息;及
注意提醒部,当通过所述第1信息获取部获取了信息时,对操作人员进行向该挖土机周边的注意提醒。
(2)根据(1)所述的挖土机,其还具备:
动作限制部,当通过所述第1信息获取部获取了信息时,限制该挖土机的动作。
(3)根据(2)所述的挖土机,其中,
所述动作限制部在通过所述注意提醒部进行了所述注意提醒之后,开始该挖土机的动作限制。
(4)根据(3)所述的挖土机,其还具备:
通知部,当通过所述第1信息获取部获取了信息时,在所述动作限制部进行的该挖土机的动作限制开始之前,向操作人员通知进行该挖土机的动作限制。
(5)根据(2)或(3)所述的挖土机,其还具备:
第2信息获取部,从该挖土机的外部获取所述动作限制部进行的与该挖土机的动作限制的解除相关的信息,
当在开始该挖土机的动作限制之后,通过所述第2信息获取部获取了信息时,所述动作限制部解除该挖土机的动作限制。
(6)根据(1)至(5)中任一项所述的挖土机,其中,
所述第1信息获取部获取从规定的外部装置接收的请求所述注意提醒的指令信息。
(7)根据(1)至(5)中任一项所述的挖土机,其还具备:
摄像装置,拍摄所述挖土机的周边,
所述第1信息获取部获取包含在该挖土机的周边正在进行规定的姿势或手势的规定的人的基于所述摄像装置的拍摄图像。
(8)根据(1)至(7)中任一项所述的挖土机,其中,
所述注意提醒部通过视觉方法、听觉方法或触觉方法向操纵室内输出警报。
(9)一种支援装置,其能够与挖土机进行通信,所述支援装置中,
根据用户进行的操作,向所述挖土机发送用于对操作人员进行向所述挖土机的周边的注意提醒的指令。
(10)根据(9)所述的支援装置,其中,
根据基于用户进行的操作,发送用于使所述挖土机进行所述注意提醒且限制所述挖土机的动作的所述指令。
(11)一种支援方法,其由能够与挖土机进行通信的支援装置执行,所述支援方法中,
根据用户进行的操作,向所述挖土机发送用于对操作人员进行向所述挖土机的周边的注意提醒的指令。
(12)一种支援程序,其使能够与挖土机进行通信的支援装置执行(11)所述的支援方法。
以上,对用于实施本发明的方式进行了详细说明,但本发明并不限定于该特定实施方式,在技术方案所记载的本发明的主旨范围内,能够进行各种变形/变更。
例如,上述实施方式(第1实施方式~第3实施方式)中所公开的结构或技术能够适当组合。
另外,本申请主张基于2018年3月8日申请的日本专利申请2018-042232号、2018年3月9日申请的日本专利申请2018-043383号及2018年3月9日申请的日本专利申请2018-043384号的优先权,这些日本专利申请的全部内容通过参考援用于本申请。
符号说明
30A-挖土机控制器,30B-发动机控制器,30C-周边监视控制器,40-摄像装置(传感器),40B、40L、40R-摄像机,42、42B、42L、42R-继电器,50-显示装置,52-声音输出装置,54-门锁阀,60-通讯设备,62-允许操作部,64-电池(电源),70-解除开关,72-监视功能“开启”/“关闭”开关,74-显示内容切换开关,76-监视区域切换开关,100-挖土机,110-现场监视部(监视部),150-周边监视装置,200-支援装置(外部装置、信息处理装置、用户终端),300-管理装置(外部装置、信息处理装置),301C-监视图像生成部,302C-检测部,303C-警报输出部,304C-动作限制部,305C-发送部,306C-指令获取部(内部通知部),307C-启动/停止部(启动部、停止部、第1外部通知部、第2外部通知部),308C-存储部,2100-存储部,2101-指令部(发送部),2102-信息获取部(第1获取部、第2获取部),2103-通知部(第1通知部、第2通知部),2104-通信处理部,2105-注意提醒指令部,2106-解除指令部,3011-显示控制部,3012-检测部,3013-跟踪部,3014-警报输出部,3015-动作限制部,3021-监视图像显示处理部,3022-检测部,3023-通信处理部,3024-警报输出部,3025-动作限制部,3100-存储部,3101-中继部,Cth1-规定阈值(第1阈值),Cth2-规定阈值(第2阈值),SYS-现场监视系统,SYS2-现场安全支援系统。
Claims (20)
1.一种施工机械,其具备:
传感器,获取与施工机械周边的状况相关的信息;及
发送部,将通过所述传感器获取的或根据通过所述传感器获取的信息生成的与该施工机械周边的状况相关的信息发送至外部装置。
2.根据权利请求1所述的施工机械,其中,
所述传感器包含拍摄该施工机械周边的摄像装置,
所述发送部将通过所述摄像装置拍摄的该施工机械周边的拍摄图像发送至所述外部装置。
3.根据权利请求1所述的施工机械,其还具备:
启动部,在该施工机械的停止中,至少启动包含所述传感器及所述发送部的监视部。
4.根据权利请求3所述的施工机械,其中,
当通过所述启动部启动所述监视部时,限制根据该施工机械的启动而启动的多个设备中的至少一部分的启动。
5.根据权利请求3所述的施工机械,其还具备:
检测部,根据通过所述传感器获取的信息,在该施工机械周边的规定范围内,检测规定的监视对象,
所述启动部在该施工机械的停止中,作为所述监视部,除了所述传感器及所述发送部以外,还启动所述检测部,
所述发送部将通过所述检测部检测的与该施工机械周边的所述监视对象相关的信息发送至所述外部装置,或存储于规定的存储部。
6.根据权利请求3所述的施工机械,其还具备:
电源,对包含所述监视部的该施工机械的设备供给电力,
所述监视部构成为在该施工机械的停止中,当所述电源的电力可供量处于相对较高的状态时能够运转。
7.根据权利请求6所述的施工机械,其中,
当所述电源的电力可供量超过了规定的第1阈值时,所述启动部启动所述监视部。
8.根据权利请求6所述的施工机械,其还具备:
停止部,在该施工机械的停止中通过所述启动部启动了所述监视部的情况下,当所述电源的电力可供量降至规定的第2阈值以下时,停止所述监视部。
9.根据权利请求6所述的施工机械,其还具备:
第1外部通知部,在该施工机械的停止中,当所述电源的电力可供量处于相对较低的状态时,将表示所述监视部无法运转的状况的通知发送至所述外部装置。
10.根据权利请求6所述的施工机械,其中,
所述监视部具有在该施工机械的停止中,以使从所述电源供给的电力的消耗量相对变少的方式限制一部分功能而进行动作的动作模式。
11.根据权利请求6所述的施工机械,其还具备:
第2外部通知部,在该施工机械的停止中,向所述外部装置通知与所述电源的电力可供量相关的信息或与利用来自所述电源的电力供给能够运转所述监视部的时间相关的信息。
12.根据权利请求6所述的施工机械,其中,
所述电源包含一次电池、二次电池、电容器及发电机构中的至少一个。
13.根据权利请求1所述的施工机械,其还具备:
内部通知部,在该施工机械的运转中,对操作人员通知与该施工机械周边的状况相关的信息通过所述发送部发送至所述外部装置。
14.根据权利请求1所述的施工机械,其还具备:
允许操作部,接收用于允许该施工机械的远程操作的规定操作。
15.根据权利请求1所述的施工机械,其中,
所述发送部自主地根据规定条件自动地或根据来自所述外部装置的指令,将与该施工机械周边的状况相关的信息发送至所述外部装置。
16.一种信息处理装置,
其能够与施工机械进行通信,所述施工机械具备获取与施工机械周边的状况相关的信息并发送至所述施工机械的外部的监视部,所述信息处理装置具备:
发送部,根据来自用户的规定操作,将请求与所述施工机械周边的状况相关的信息的指令发送至所述施工机械;
第1获取部,获取根据所述指令而从所述施工机械发送的与所述施工机械周边的状况相关的信息;及
第1通知部,向用户通知通过所述第1获取部获取的与所述施工机械周边的状况相关的信息。
17.根据权利请求16所述的信息处理装置,其还具备:
第2获取部,根据所述指令,从所述施工机械获取与停止中的所述施工机械中的所述监视部是否能够启动或所述监视部启动之后运转中的所述监视部是否能够持续运转相关的信息。
18.根据权利请求16所述的信息处理装置,其还具备:
第2获取部,搭载于所述施工机械,且获取与向所述监视部供给电力的电源的状态相关的信息。
19.一种信息处理方法,
其由能够与施工机械进行通信的信息处理装置执行,所述施工机械具备获取与施工机械周边的状况相关的信息并发送至所述施工机械的外部的监视部,所述信息处理方法包括:
发送步骤,根据来自用户的规定操作,将请求与所述施工机械周边的状况相关的信息的指令发送至所述施工机械;
第1获取步骤,获取根据所述指令而从所述施工机械发送的与所述施工机械周边的状况相关的信息;及
第1通知步骤,向用户通知在所述第1获取步骤中获取的与所述施工机械周边的状况相关的信息。
20.一种程序,
其使能够与施工机械进行通信的信息处理装置执行如下步骤,所述施工机械具备获取与施工机械周边的状况相关的信息并发送至所述施工机械的外部的监视部,
发送步骤,根据来自用户的规定操作,将请求与所述施工机械周边的状况相关的信息的指令发送至所述施工机械;
第1获取步骤,获取根据所述指令而从所述施工机械发送的与所述施工机械周边的状况相关的信息;及
第1通知步骤,向用户通知在所述第1获取步骤中获取的与所述施工机械周边的状况相关的信息。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018042232 | 2018-03-08 | ||
JP2018-042232 | 2018-03-08 | ||
JP2018-043383 | 2018-03-09 | ||
JP2018043384 | 2018-03-09 | ||
JP2018-043384 | 2018-03-09 | ||
JP2018043383 | 2018-03-09 | ||
PCT/JP2019/009351 WO2019172424A1 (ja) | 2018-03-08 | 2019-03-08 | 作業機械、情報処理装置、情報処理方法、プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111819334A true CN111819334A (zh) | 2020-10-23 |
Family
ID=67847264
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980017901.2A Pending CN111819334A (zh) | 2018-03-08 | 2019-03-08 | 施工机械、信息处理装置、信息处理方法及程序 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20200399863A1 (zh) |
EP (1) | EP3763885A4 (zh) |
JP (1) | JPWO2019172424A1 (zh) |
KR (1) | KR102638317B1 (zh) |
CN (1) | CN111819334A (zh) |
WO (1) | WO2019172424A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112669555A (zh) * | 2020-12-11 | 2021-04-16 | 北京京能能源技术研究有限责任公司 | 智能安全预警方法及系统 |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019189320A1 (ja) * | 2018-03-28 | 2019-10-03 | 株式会社タダノ | 作業車両 |
CN112424111B (zh) * | 2018-07-25 | 2023-05-09 | 株式会社多田野 | 通知装置、作业机、以及通知方法 |
WO2020069747A1 (en) * | 2018-10-04 | 2020-04-09 | Volvo Construction Equipment Ab | A working machine comprising an illumination system |
JP7267755B2 (ja) * | 2019-01-23 | 2023-05-02 | 株式会社小松製作所 | 作業機械のためのシステム及び方法 |
JP7071320B2 (ja) * | 2019-09-20 | 2022-05-18 | 日立建機株式会社 | 作業機械 |
JP7305274B2 (ja) * | 2019-09-25 | 2023-07-10 | 日立建機株式会社 | 建設機械 |
JP7336937B2 (ja) * | 2019-09-26 | 2023-09-01 | 日立建機株式会社 | 施工管理システムおよび作業機械 |
JP7349880B2 (ja) * | 2019-10-18 | 2023-09-25 | 株式会社小松製作所 | 作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法 |
JP7490948B2 (ja) * | 2019-11-25 | 2024-05-28 | コベルコ建機株式会社 | 作業支援サーバおよび作業支援システム |
JP7148485B2 (ja) * | 2019-12-17 | 2022-10-05 | 日立建機株式会社 | 作業機械 |
JP7287262B2 (ja) * | 2019-12-18 | 2023-06-06 | コベルコ建機株式会社 | 遠隔操作システムおよび遠隔操作サーバ |
JP7310595B2 (ja) | 2019-12-24 | 2023-07-19 | コベルコ建機株式会社 | 作業支援サーバおよび作業支援システム |
JP7306260B2 (ja) * | 2019-12-26 | 2023-07-11 | コベルコ建機株式会社 | 建設機械の遠隔操縦システム |
JP2021114757A (ja) * | 2020-01-21 | 2021-08-05 | 株式会社小松製作所 | 作業機械の遠隔操作システム及び作業機械の遠隔操作方法 |
JPWO2021149775A1 (zh) * | 2020-01-24 | 2021-07-29 | ||
JP7452038B2 (ja) | 2020-01-30 | 2024-03-19 | コベルコ建機株式会社 | 作業支援システム |
JP2021127641A (ja) * | 2020-02-15 | 2021-09-02 | コベルコ建機株式会社 | 作業機械の遠隔操作支援装置、及び遠隔操作支援システム |
JP7472578B2 (ja) * | 2020-03-23 | 2024-04-23 | コベルコ建機株式会社 | 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 |
JP7260502B2 (ja) * | 2020-03-24 | 2023-04-18 | 株式会社日立製作所 | 情報提示装置、遠隔操作システムおよびプログラム |
WO2021193839A1 (ja) * | 2020-03-26 | 2021-09-30 | 住友重機械工業株式会社 | 建設機械の情報通信システム、建設機械の表示装置、機械学習装置 |
WO2021192219A1 (ja) | 2020-03-27 | 2021-09-30 | 住友重機械工業株式会社 | 作業機械用画像取得装置、情報管理システム、情報端末、作業機械用画像取得プログラム |
JP2022050868A (ja) * | 2020-09-18 | 2022-03-31 | ヤンマーホールディングス株式会社 | 作業車両 |
JP7091425B2 (ja) * | 2020-11-27 | 2022-06-27 | 日立建機株式会社 | 作業機械 |
US11898331B2 (en) | 2020-12-02 | 2024-02-13 | Caterpillar Sarl | System and method for detecting objects within a working area |
JP2022135239A (ja) * | 2021-03-05 | 2022-09-15 | 日立建機株式会社 | 建設機械の動作制御システム |
JPWO2022210980A1 (zh) * | 2021-03-31 | 2022-10-06 | ||
KR20220139049A (ko) * | 2021-04-07 | 2022-10-14 | 현대두산인프라코어(주) | 건설 현장의 호출 공유 시스템 및 호출 공유 방법 |
DE102021115564A1 (de) | 2021-06-16 | 2022-12-22 | Franken Systems Gmbh | Verfahren zur in Echtzeit fernunterstützten Bauwerksabdichtung und System zur Ausführung eines Verfahrens zur in Echtzeit fernunterstützten Bauwerksabdichtung |
JP2023050799A (ja) * | 2021-09-30 | 2023-04-11 | 株式会社小松製作所 | 作業機械のための表示システムおよび作業機械のための表示方法 |
JP2023050811A (ja) * | 2021-09-30 | 2023-04-11 | 株式会社小松製作所 | 作業機械の起動システム、作業機械の起動方法および作業機械 |
JP2023065105A (ja) * | 2021-10-27 | 2023-05-12 | コベルコ建機株式会社 | 実機管理装置、及び実機管理システム |
CN118435585A (zh) * | 2021-12-22 | 2024-08-02 | 住友建机株式会社 | 信息处理系统、程序及信息处理方法 |
JP2023102605A (ja) * | 2022-01-12 | 2023-07-25 | 株式会社小松製作所 | 作業機械の遠隔操作システム及び作業機械の遠隔操作方法 |
US11906981B2 (en) | 2022-02-08 | 2024-02-20 | Caterpillar Inc. | System and method for updating virtual worksite |
US20230272599A1 (en) * | 2022-02-28 | 2023-08-31 | Caterpillar Inc. | Work machine safety zone control |
US20230339429A1 (en) | 2022-04-20 | 2023-10-26 | Caterpillar Sarl | System and method for maintaining a power source for continuous machine security monitoring |
WO2024063060A1 (ja) * | 2022-09-21 | 2024-03-28 | コベルコ建機株式会社 | 自動運転情報処理装置、自動運転情報処理方法、および、自動運転情報処理プログラム |
US20240246510A1 (en) * | 2023-01-20 | 2024-07-25 | Caterpillar Inc. | Machine security system |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006076489A (ja) * | 2004-09-10 | 2006-03-23 | Hitachi Constr Mach Co Ltd | 建設機械の盗難防止装置 |
JP2008248657A (ja) * | 2007-03-30 | 2008-10-16 | Komatsu Ltd | 作業機械用のカメラシステム |
CN201174049Y (zh) * | 2008-03-28 | 2008-12-31 | 徐州徐挖挖掘机械有限公司 | 挖掘机远程智能管理装置 |
CN103209866A (zh) * | 2011-07-25 | 2013-07-17 | 株式会社久保田 | 作业机、作业机的数据通信系统、作业机的工作系统以及作业机的设定变更系统 |
WO2013111184A1 (ja) * | 2012-01-25 | 2013-08-01 | 三菱電機株式会社 | 監視装置およびナビゲーション装置 |
JP2015045144A (ja) * | 2013-08-27 | 2015-03-12 | 住友建機株式会社 | ショベル |
JP2017076938A (ja) * | 2015-10-16 | 2017-04-20 | キヤノン株式会社 | 情報処理装置 |
CN106797418A (zh) * | 2014-10-07 | 2017-05-31 | 洋马株式会社 | 远程服务器 |
JP2017118306A (ja) * | 2015-12-24 | 2017-06-29 | 京セラ株式会社 | 電子機器、電子機器の制御方法、電子機器の制御装置、制御プログラム及び電子機器システム |
JP2017186870A (ja) * | 2016-03-30 | 2017-10-12 | 株式会社小松製作所 | 端末装置、制御装置、データ統合装置、作業車両、撮像システム、および撮像方法 |
JP2017195513A (ja) * | 2016-04-20 | 2017-10-26 | キヤノン株式会社 | 撮影装置及びその制御方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08319640A (ja) * | 1995-05-25 | 1996-12-03 | Sumitomo Constr Mach Co Ltd | 深掘作業用建設機械 |
JP3588046B2 (ja) * | 2000-12-04 | 2004-11-10 | 新キャタピラー三菱株式会社 | 車両の盗難防止方法およびその装置 |
JP5382453B2 (ja) | 2010-02-06 | 2014-01-08 | 清水建設株式会社 | 建設機械と作業員との接触事故防止システム |
JP6456584B2 (ja) | 2013-03-19 | 2019-01-23 | 住友重機械工業株式会社 | 作業機械用周辺監視装置 |
JP2015188957A (ja) * | 2014-03-27 | 2015-11-02 | 日立建機株式会社 | 作業機械の遠隔操作システム |
JP2016076801A (ja) * | 2014-10-03 | 2016-05-12 | ヤンマー株式会社 | 遠隔監視システム |
US9972133B2 (en) * | 2015-04-24 | 2018-05-15 | Jpw Industries Inc. | Wearable display for use with tool |
JP6925775B2 (ja) * | 2015-10-05 | 2021-08-25 | 株式会社小松製作所 | 施工管理システム |
US20170198459A1 (en) * | 2016-01-12 | 2017-07-13 | Caterpillar Inc. | Hazard avoidance system for a machine |
JP6747361B2 (ja) | 2016-09-02 | 2020-08-26 | 株式会社オートネットワーク技術研究所 | 通信システム、通信装置、中継装置、通信IC(Integrated Circuit)、制御IC及び通信方法 |
JP2018043383A (ja) | 2016-09-13 | 2018-03-22 | カシオ計算機株式会社 | 頁浮上抑制装置、頁めくり装置、及び頁めくり方法 |
JP6820701B2 (ja) | 2016-09-13 | 2021-01-27 | 株式会社ミマキエンジニアリング | プリンタ装置 |
-
2019
- 2019-03-08 CN CN201980017901.2A patent/CN111819334A/zh active Pending
- 2019-03-08 JP JP2020504054A patent/JPWO2019172424A1/ja active Pending
- 2019-03-08 WO PCT/JP2019/009351 patent/WO2019172424A1/ja active Application Filing
- 2019-03-08 EP EP19764685.4A patent/EP3763885A4/en active Pending
- 2019-03-08 KR KR1020207026086A patent/KR102638317B1/ko active IP Right Grant
-
2020
- 2020-09-04 US US17/012,493 patent/US20200399863A1/en active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006076489A (ja) * | 2004-09-10 | 2006-03-23 | Hitachi Constr Mach Co Ltd | 建設機械の盗難防止装置 |
JP2008248657A (ja) * | 2007-03-30 | 2008-10-16 | Komatsu Ltd | 作業機械用のカメラシステム |
CN201174049Y (zh) * | 2008-03-28 | 2008-12-31 | 徐州徐挖挖掘机械有限公司 | 挖掘机远程智能管理装置 |
CN103209866A (zh) * | 2011-07-25 | 2013-07-17 | 株式会社久保田 | 作业机、作业机的数据通信系统、作业机的工作系统以及作业机的设定变更系统 |
WO2013111184A1 (ja) * | 2012-01-25 | 2013-08-01 | 三菱電機株式会社 | 監視装置およびナビゲーション装置 |
JP2015045144A (ja) * | 2013-08-27 | 2015-03-12 | 住友建機株式会社 | ショベル |
CN106797418A (zh) * | 2014-10-07 | 2017-05-31 | 洋马株式会社 | 远程服务器 |
JP2017076938A (ja) * | 2015-10-16 | 2017-04-20 | キヤノン株式会社 | 情報処理装置 |
JP2017118306A (ja) * | 2015-12-24 | 2017-06-29 | 京セラ株式会社 | 電子機器、電子機器の制御方法、電子機器の制御装置、制御プログラム及び電子機器システム |
JP2017186870A (ja) * | 2016-03-30 | 2017-10-12 | 株式会社小松製作所 | 端末装置、制御装置、データ統合装置、作業車両、撮像システム、および撮像方法 |
JP2017195513A (ja) * | 2016-04-20 | 2017-10-26 | キヤノン株式会社 | 撮影装置及びその制御方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112669555A (zh) * | 2020-12-11 | 2021-04-16 | 北京京能能源技术研究有限责任公司 | 智能安全预警方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
KR102638317B1 (ko) | 2024-02-16 |
EP3763885A1 (en) | 2021-01-13 |
KR20200126990A (ko) | 2020-11-09 |
EP3763885A4 (en) | 2021-10-27 |
US20200399863A1 (en) | 2020-12-24 |
JPWO2019172424A1 (ja) | 2021-03-18 |
WO2019172424A1 (ja) | 2019-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111819334A (zh) | 施工机械、信息处理装置、信息处理方法及程序 | |
US11365527B2 (en) | Surroundings monitoring apparatus, information processing terminal, information processing apparatus, and recording medium | |
KR102454612B1 (ko) | 건설기계용 안전관리시스템, 관리장치 | |
EP3960938B1 (en) | Excavator | |
US20220018096A1 (en) | Shovel and construction system | |
KR20200133719A (ko) | 쇼벨 | |
EP3960543A1 (en) | Display device, shovel, information processing device | |
CN113748247B (zh) | 挖土机、作业现场的安全装备确认系统 | |
WO2021025123A1 (ja) | ショベル、情報処理装置 | |
JP2018116612A (ja) | センサ管理装置 | |
CN114008274A (zh) | 挖土机及挖土机诊断系统 | |
CN117043412A (zh) | 施工机械、施工机械的支援系统 | |
US12054919B2 (en) | Shovel with external notification function | |
JP2022157923A (ja) | ショベル | |
JP7488753B2 (ja) | 周辺監視装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |