CN113728141B - 挖土机 - Google Patents
挖土机 Download PDFInfo
- Publication number
- CN113728141B CN113728141B CN202080031474.6A CN202080031474A CN113728141B CN 113728141 B CN113728141 B CN 113728141B CN 202080031474 A CN202080031474 A CN 202080031474A CN 113728141 B CN113728141 B CN 113728141B
- Authority
- CN
- China
- Prior art keywords
- shovel
- image
- upper revolving
- range
- detection unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 claims abstract description 318
- 238000003384 imaging method Methods 0.000 claims abstract description 65
- 230000002093 peripheral effect Effects 0.000 claims description 14
- 230000006870 function Effects 0.000 description 385
- 238000012544 monitoring process Methods 0.000 description 322
- 238000012806 monitoring device Methods 0.000 description 67
- 230000004913 activation Effects 0.000 description 46
- 238000004891 communication Methods 0.000 description 45
- 238000000034 method Methods 0.000 description 42
- 238000010586 diagram Methods 0.000 description 36
- 238000006243 chemical reaction Methods 0.000 description 34
- 230000008859 change Effects 0.000 description 27
- 238000012545 processing Methods 0.000 description 27
- 239000000463 material Substances 0.000 description 26
- 230000004044 response Effects 0.000 description 21
- 230000003213 activating effect Effects 0.000 description 16
- 238000009434 installation Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 238000010276 construction Methods 0.000 description 7
- 239000010720 hydraulic oil Substances 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 5
- 239000000428 dust Substances 0.000 description 4
- 230000002265 prevention Effects 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- 238000003466 welding Methods 0.000 description 4
- 235000014443 Pyrus communis Nutrition 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 229910001416 lithium ion Inorganic materials 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 230000002040 relaxant effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000003921 oil Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Classifications
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/261—Surveying the work-site to be treated
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F3/00—Dredgers; Soil-shifting machines
- E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
- E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
- E02F3/36—Component parts
- E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
- E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
- E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/2025—Particular purposes of control systems not otherwise provided for
- E02F9/2033—Limiting the movement of frames or implements, e.g. to avoid collision between implements and the cabin
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/2025—Particular purposes of control systems not otherwise provided for
- E02F9/205—Remotely operated machines, e.g. unmanned vehicles
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/24—Safety devices, e.g. for preventing overload
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F3/00—Dredgers; Soil-shifting machines
- E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
- E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
- E02F3/30—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
- E02F3/32—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Mining & Mineral Resources (AREA)
- Civil Engineering (AREA)
- Structural Engineering (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Component Parts Of Construction Machinery (AREA)
- Operation Control Of Excavators (AREA)
Abstract
本发明提供一种能够更适当地实现能够显示于显示装置的挖土机的周围的范围或能够检测出物体的挖土机的周围的范围的技术。本发明的一实施方式的挖土机(100)具备:下部行走体(1);上部回转体(3),回转自如地搭载于下部行走体(1);摄像装置(40),搭载于上部回转体(3),且拍摄挖土机(100)的周围;周围信息获取装置(45),搭载于上部回转体(3),且能够获取与挖土机(100)的周围的状况相关的信息;检测部(304),根据周围信息获取装置(45)的输出检测出挖土机(100)的周围的规定的物体;及显示装置(50),根据摄像装置(40)的拍摄图像来显示表示挖土机(100)的周围的状况的周围图像,检测部(304)的检测可能范围包括映现于显示装置(50)中显示的周围图像的挖土机(100)的周围的相对较近的整个范围。
Description
技术领域
本发明涉及一种挖土机。
背景技术
已知一种将挖土机的周围的图像显示于驾驶室内的显示装置或检测出挖土机的周围的作为监视对象的物体的技术(参考专利文献1)。
现有技术文献
专利文献
专利文献1:日本特开2017-203352号公报
发明内容
发明要解决的技术课题
然而,例如,考虑到挖土机的安全性和使用者的感性等,希望能够显示于显示装置的挖土机的周围的范围和挖土机的周围的能够检测出物体的范围更加适当。
因此,鉴于上述课题,本发明的目的在于,提供一种能够更适当地实现能够显示于显示装置的挖土机的周围的范围和能够检测出物体的挖土机的周围的范围的技术。
用于解决技术课题的手段
为了实现上述目的,在本发明的一个实施方式中,提供一种挖土机,其具备:
下部行走体,包括一对履带;
上部回转体,回转自如地搭载于所述下部行走体;
摄像装置,搭载于所述上部回转体,且拍摄挖土机的周围;
获取装置,搭载于所述上部回转体,且能够获取与挖土机的周围的状况相关的信息;
检测部,根据所述获取装置的输出检测出挖土机的周围的规定的物体;及
显示装置,根据所述摄像装置的拍摄图像来显示表示挖土机的周围的状况的周围图像,
所述检测部的检测范围包括映现于所述显示装置中显示的所述周围图像的挖土机的周围的相对较近的整个范围
在所述上部回转体回转且其朝向偏离与所述履带的直行方向一致的基准状态的情况下,面向所述履带的直行方向的空间包括在能够通过所述检测部检测出所述规定的物体的范围及能够作为所述周围图像而显示于所述显示装置的范围中的至少一个范围内。
发明效果
根据上述实施方式,能够提供一种能够更适当地实现能够显示于显示装置的挖土机的周围的范围和能够检测出物体的挖土机的周围的范围的技术。
附图说明
图1是表示挖土机管理系统的一例的图。
图2是挖土机的俯视图。
图3是表示周边监视装置的结构的一例的框图。
图4是表示用于使喇叭鸣响的电路结构的一例的图。
图5是表示用于使行走警报器鸣响的电路结构的一例的图。
图6是表示显示于显示装置的监视图像的一例(直通图像)的图。
图7是表示显示于显示装置的监视图像的另一例(俯视图像)的图。
图8是表示基于摄像装置的拍摄图像的可显示区域及可检测区域的一例的图。
图9是表示检测部的可检测区域的第1例的图。
图10是表示在通过检测部检测出监视对象时显示于显示装置的监视图像的具体例的图。
图11是表示检测部的可检测区域的第2例的图。
图12是表示作业现场的作业人员的第1例的图。
图13是表示作业现场的作业人员的第2例的图。
图14是表示作业现场的作业人员的第3例的图。
图15是表示作业现场的作业人员的第4例的图。
图16是表示安装有可选设备时的动作限制范围的图。
图17是说明判断与挖土机的周围的监视对象之间有无接触的方法的图。
图18是说明动作限制功能的激活控制方法的图。
图19是说明动作限制功能的激活控制方法的图。
图20是表示通过检测部检测出监视对象时的监视图像的具体例的图。
图21是表示通过检测部检测出监视对象时的监视图像的具体例的图。
图22是表示通过检测部检测出监视对象时的监视图像的具体例的图。
图23是表示作业现场安全管理系统的结构的一例的图。
具体实施方式
以下,参考附图对实施方式进行说明。
[挖土机管理系统的概要]
首先,参考图1、图2对本实施方式所涉及的挖土机管理系统1000的概要进行说明。
图1是表示本实施方式所涉及的挖土机管理系统1000的一例的图。在图1中,示出了挖土机100的侧视图。并且,图2是挖土机100的俯视图。
挖土机管理系统1000包括挖土机100、管理装置200及终端装置300。
挖土机管理系统1000例如使用管理装置200和终端装置300来进行挖土机100的运转状况或运用状况等的监视(管理)。
挖土机管理系统1000中所包括的挖土机100可以为一台,也可以为多台。并且,挖土机管理系统1000中所包括的管理装置200可以为一台,也可以为多台。并且,挖土机管理系统1000中所包括的终端装置300可以为一台,也可以为多台。
<挖土机的概要>
挖土机100具备下部行走体1、经由回转机构2可回转地搭载于下部行走体1的上部回转体3、作为附件的动臂4、斗杆5及铲斗6、以及驾驶室10。
挖土机100使下部行走体1(左右履带1C)、上部回转体3、动臂4、斗杆5及铲斗6等被驱动要件与乘坐于驾驶室10的操作者的操作对应地动作。
并且,挖土机100可以构成为可从挖土机100的外部远程操作(远距离操作)来代替构成为可由乘坐于驾驶室10的操作者操作,或者除构成为可由乘坐于驾驶室10的操作者操作以外,还可以构成为可从挖土机100的外部远程操作(远距离操作)。在远程操作挖土机100的情况下,驾驶室10的内部可以为无人状态。以下,以操作者的操作包括驾驶室10的操作者对操作装置26的操作及外部的操作者的远程操作中的至少一个为前提进行说明。
远程操作例如包括通过由规定的外部装置进行的与挖土机100的促动器相关的操作输入来操作挖土机100的方式。规定的外部装置例如可以为管理装置200或终端装置300。此时,挖土机100例如可以通过后述的通信装置70向外部装置发送例如用于远程操作的拍摄上部回转体3的前方的前置摄像机或后述的摄像装置40输出的图像信息(拍摄图像)。然后,外部装置可以在设置于自装置的显示装置(以下,称为“远程操作用显示装置”)中显示接收到的图像信息(拍摄图像)。并且,显示于挖土机100的驾驶室10的内部的显示装置50的各种信息图像(信息画面)也可以同样地显示于外部装置的远程操作用显示装置。由此,外部装置的操作者例如能够一边确认表现出显示于远程操作用显示装置的挖土机100的周围的状态的拍摄图像或信息画面等的显示内容,一边远程操作挖土机100。然后,挖土机100可以根据通过通信装置70从外部装置接收到的表示远程操作的内容的远程操作信号,使促动器动作,从而驱动下部行走体1(左右履带1C)、上部回转体3、动臂4、斗杆5及铲斗6等被驱动要件。
并且,远程操作例如可以包括根据挖土机100的周围的人(例如,作业人员)对挖土机100的来自外部的声音输入或手势输入等来操作挖土机100的方式。具体而言,挖土机100通过搭载于挖土机100(本机)的声音输入装置(例如,传声器)或手势输入装置(例如,摄像装置)等来识别周围的作业人员等发出的声音或作业人员等执行的手势等。然后,挖土机100可以根据识别出的声音或手势等的内容使促动器动作,从而驱动下部行走体1(左右履带1C)、上部回转体3、动臂4、斗杆5及铲斗6等被驱动要件。
并且,挖土机100可以与操作者的操作的内容无关地使促动器自动动作。由此,挖土机100实现使下部行走体1(左右履带1C)、上部回转体3、动臂4、斗杆5及铲斗6等被驱动要件中的至少一部分自动动作的功能(所谓的“自动运行功能”或“机器控制功能”)。
自动运行功能可以包括使作为操作对象的被驱动要件(促动器)以外的被驱动要件(促动器)与操作者对操作装置26的操作或远程操作对应地自动动作的功能(所谓的“半自动运行功能”)。并且,自动运行功能可以在不存在操作者对操作装置26的操作或远程操作的前提下包括使多个被驱动要件(促动器)中的至少一部分自动动作的功能(所谓的“完全自动运行功能”)。在挖土机100中,在完全自动运行功能有效的情况下,驾驶室10的内部可以是无人状态。并且,半自动运行功能或完全自动运行功能等可以包括根据预先规定有作为自动运行的对象的被驱动要件(促动器)的动作内容的规则来自动确定的方式。并且,半自动运行功能或完全自动运行功能等也可以包括如下方式(所谓的“自主运行功能”):挖土机100自主地进行各种判断,并根据其判断结果来自主地确定作为自动运行的对象的被驱动要件(促动器)的动作内容。
下部行走体1例如包括左右一对履带1C(左侧的履带1CL及右侧的履带1CR),通过履带1CL、1CR被与它们分别对应的行走液压马达1M液压驱动而自动行走。
上部回转体3通过回转机构2被回转液压马达2A液压驱动而相对于下部行走体1回转。
上部回转体3在其上表面搭载有摄像装置40及周围信息获取装置45。
并且,上部回转体3上搭载有挖土机100的动力源。挖土机100的动力源例如包括由规定的燃料(例如,柴油)运转的发动机11(例如,柴油发动机等)。并且,挖土机100的动力源可以包括由从蓄电装置(例如,电容器或锂离子电池等)或通过电缆连接的外部电源供给的电力运转的电动机等来代替发动机11,或者除发动机11以外,还可以包括由从蓄电装置(例如,电容器或锂离子电池等)或通过电缆连接的外部电源供给的电力运转的电动机等。
并且,上部回转体3上搭载有主泵14、先导泵15及控制阀17等各种液压机器。
主泵14由发动机11或电动机等动力源驱动,并且在控制器30的控制下向各种液压促动器供给工作油。液压促动器除上述行走液压马达1M及回转液压马达2A以外还包括后述的动臂缸7、斗杆缸8及铲斗缸9等。
先导泵15由发动机11或电动机等动力源驱动,并且向液压先导式的各种液压机器(例如,操作装置26或控制阀17等)供给工作油。
控制阀17根据被驱动要件(即,对应的液压促动器)的操作状态将从主泵14吐出的工作油选择性地供给到各液压促动器,从而调整向液压促动器供给的工作油的流量及流动方向。例如,控制阀17可以由控制向各液压促动器供给的工作油的方向及流量的多个控制阀(方向切换阀)等构成。控制阀17例如为液压驱动式(液压先导式),输入对应于各液压促动器的操作内容或与自动运行功能对应的操作指令的先导压。由此,根据所输入的先导压来驱动与各液压促动器对应的控制阀(方向切换阀)。并且,控制阀17例如也可以为电磁螺线管式等电力驱动式,输入对应于操作装置26的操作内容或与自动运行功能对应的操作指令的电信号。由此,根据所输入的电信号来驱动与各液压促动器对应的控制阀(方向切换阀)。
动臂4可俯仰地安装(枢轴安装)于上部回转体3的前部中央,动臂4的前端可上下转动地安装(枢轴安装)有斗杆5,斗杆5的前端可上下转动地安装(枢轴安装)有铲斗6。
铲斗6为端接附件的一例,其根据挖土机100的作业内容以可适当更换的方式安装于斗杆5的前端。即,可以代替铲斗6在斗杆5的前端安装与铲斗6不同种类的铲斗,例如,相对较大的大型铲斗、斜坡用铲斗、疏浚用铲斗等。并且,也可以在斗杆5的前端安装铲斗以外的种类的端接附件,例如,搅拌机、破碎器、粉碎机等。并且,可以在斗杆5与端接附件之间夹装例如快速联轴器或倾斜旋转器等备用附件。
动臂4、斗杆5及铲斗6分别由动臂缸7、斗杆缸8及铲斗缸9液压驱动。
驾驶室10为供操作者乘坐来操作挖土机100的操纵室,例如搭载于上部回转体3的前部左侧。
驾驶室10的内部例如设置有操作装置26、控制器30、显示装置50、输入装置52、声音输出装置54等。并且,驾驶室10的上表面例如设置有通信装置70。
操作装置26用于操作由下部行走体1、上部回转体3、附件(动臂4、斗杆5及铲斗6)等促动器(具体而言,液压促动器)驱动的被驱动要件。换言之,操作装置26用于操作驱动被驱动要件的各液压促动器(与履带1CL、1CR分别对应的行走液压马达1M、回转液压马达2A、动臂缸7、斗杆缸8及铲斗缸9等)。操作装置26例如包括各被驱动要件,即,与各液压促动器对应的杆装置或踏板装置等。
操作装置26例如为液压先导式。此时,操作装置26使用从先导泵15供给的工作油向控制阀17输出对应于与各被驱动要件(即,对应的各液压促动器)相关的操作内容(例如,操作方向及操作量等)的先导压。由此,控制阀17能够实现对应于操作装置26的操作内容的各被驱动要件(即,对应的各液压促动器)的动作。
并且,操作装置26例如也可以为电动式。此时,操作装置26向控制器30输出与各被驱动要件(即,对应的各液压促动器)的操作内容对应的电信号(以下,称为“操作信号”)。然后,控制器30向设置于先导泵15与控制阀17之间的油路(先导管路)的操作用液压控制阀(例如,后述的液压控制阀56)输出与操作信号对应的控制指令。由此,操作用液压控制阀能够使用从先导泵15供给的工作油使对应于操作信号的先导压(即,对应于与操作装置26中的各被驱动要件(即,各液压促动器)相关的操作内容的先导压)作用于控制阀17。因此,控制阀17能够实现对应于操作装置26的操作内容的各被驱动要件(即,对应的各液压促动器)的动作。
并且,如上所述,挖土机100的被驱动要件(即,对应的促动器(液压促动器)可以进行远程操作。例如,从规定的外部装置向挖土机100发送表示远程操作的内容的信号(远程操作信号),并且控制器30通过通信装置70来接收远程操作信号。然后,控制器30对操作用液压控制阀输出对应于由远程操作信号规定的远程操作的内容(例如,作为操作对象的被驱动要件或液压促动器、操作方向及操作量等)的控制指令。由此,操作用液压控制阀能够使用从先导泵15供给的工作油使对应于远程操作的内容的先导压作用于液压驱动式控制阀17。因此,控制阀17能够实现对应于远程操作的内容的各被驱动要件(即,对应的各液压促动器)的动作。
另外,挖土机100可以将各种液压促动器的一部分或全部替换成电动促动器。即,挖土机100可以为混合式挖土机或电动挖土机。此时,控制器30可以向驱动电动促动器或电动促动器的驱动器等输出对应于操作装置26的操作内容、由远程操作信号规定的远程操作的内容、与自动运行功能对应的操作指令的内容等的控制指令。
并且,在驾驶室10的门锁杆处于立起的状态(以下,称为“锁定状态”)的情况下,对操作装置26的操作、远程操作、与自动运行功能对应的操作指令被无效化,挖土机100不会动作。另一方面,在门锁杆处于放下的状态(以下,称为“解除状态”)的情况下,对操作装置26的操作、远程操作、与自动运行功能对应的操作指令变为有效,挖土机100动作。由此,例如能够避免如下情况:在门锁杆立起的状态下操作者坐到操作员座或离开操作员座到驾驶室10的外部的情况下,操作者的身体触碰到操作装置26,导致挖土机100动作。并且,例如通过使门锁杆成为放下的状态,操作者能够开始挖土机100的操作。
例如,门锁杆的操作状态与从先导泵15向各种液压机器(例如,液压先导式操作装置26或操作用液压控制阀)供给先导压的先导管路的最上游的门锁阀的打开/关闭状态联动。具体而言,在门锁杆处于解除状态的情况下,门锁阀维持开阀状态(连通状态),从而从先导泵15向操作装置26或操作用液压控制阀供给先导压。因此,操作装置26或操作用液压控制阀能够向控制阀17供给对应于操作者的操作的先导压,从而使液压促动器工作。另一方面,在门锁杆处于锁定状态的情况下,门锁阀维持闭阀状态(切断状态),从而切断从先导泵15向操作装置26或操作用液压控制阀供给的先导压的供给。因此,操作装置26或操作用液压控制阀无法向控制阀17供给对应于操作者的操作的先导压,从而能够将操作者的操作或与自动运行功能对应的操作指令无效化。
并且,如上所述,有时也有可能将液压促动器的一部分或全部替换成电动促动器。此时,例如,在门锁杆处于锁定状态的情况下,控制器30可以不向电动促动器或驱动器等输出操作者的操作或与自动运行功能的操作指令对应的控制指令。由此,能够对应于门锁杆的锁定状态将操作者的操作或与自动运行功能对应的操作指令无效化。
通信装置70通过通信线路NW与挖土机100的外部(例如,管理装置200或终端装置300)进行通信。
通信线路NW例如包括广域网(WAN:Wide Area Network)。广域网例如可以包括以基站为终端的移动通信网。并且,广域网例如也可以包括利用通信卫星的卫星通信网。并且,广域网例如也可以包括互联网。并且,通信线路NW例如包括设置有管理装置200的设施等的内部的局域网(LAN:Local Area Network)。局域网可以是有线,也可以是无线,也可以是包括这两种的方式。并且,通信线路NW例如也可以包括WiFi或蓝牙(注册商标)等基于无线的近距离通信线路。
挖土机100例如使用通信装置70与管理装置200彼此进行通信。由此,挖土机100能够向管理装置200发送与挖土机100(本机)相关的数据,或者接收与挖土机100(本机)的控制相关的数据。
并且,挖土机100例如也可以使用通信装置70与终端装置300彼此进行通信。此时,挖土机100可以经由管理装置200与终端装置300间接地进行通信,也可以与终端装置300直接进行通信。
<管理装置的概要>
管理装置200设置于挖土机100的外部,例如管理挖土机100的运转状态或运用状态等。并且,管理装置200也可以支援挖土机100的远程操作。
管理装置200例如为设置于挖土机100的作业现场的外部的管理中心等的云服务器。并且,管理装置200例如也可以为设置于挖土机100的作业现场内的临时办公室或作业现场附近的站房或基站等的边缘服务器。并且,管理装置200例如也可以为配置于挖土机100的作业现场内的临时办公室等的固定型终端装置(固定终端)或便携式终端装置(便携终端)。固定终端例如可以包括台式计算机终端。并且,便携终端例如可以包括移动电话、智能手机、平板终端、膝上型计算机终端等。
管理装置200包括控制装置210、通信装置220、输出装置230及输入装置240。
控制装置210进行与管理装置200相关的控制。控制装置210的功能可以由任意的硬件或任意的硬件及软件的组合等来实现。控制装置210例如以包括CPU(CentralProcessing Unit:中央处理器)、RAM(Random Access Memory:随机存取存储器)等存储器装置、ROM(Read Only Memory:只读存储器)等辅助存储装置及用于从外部输入或向外部输出的接口装置等的计算机为中心而构成。以下,后述的控制装置310也可以为相同的结构。
通信装置220通过通信线路NW与管理装置200的外部(例如,挖土机100或终端装置300)等进行通信。
输出装置230向管理装置200的管理者或作业人员等使用者(以下,称为“管理装置使用者”)输出信息。输出装置230例如可以包括输出视觉信息的显示装置或照明装置等。显示装置例如包括输出图像信息的液晶显示器或有机EL(Electroluminescence:电致发光)显示器等。并且,显示装置可以包括上述远程操作用显示装置。并且,输出装置230例如也可以包括输出听觉信息的声音输出装置。声音输出装置例如包括扬声器或蜂鸣器等。
输入装置240受理来自管理装置使用者的各种输入,与其输入内容对应的信号输入于控制装置210。输入装置240例如包括受理来自管理装置使用者的操作输入的操作输入装置。操作输入装置例如可以包括鼠标、键盘、触控面板、按钮、切换键、杆等。并且,输入装置240例如也可以包括受理来自管理装置使用者的声音输入或手势输入的声音输入装置或手势输入装置。声音输入装置例如包括获取管理装置使用者发出的声音数据的传声器。手势输入装置例如包括拍摄管理装置使用者的手势的状态的摄像装置(摄像机)。并且,输入装置240例如也可以包括远程操作用操作装置。
控制装置210使用通信装置220与挖土机100及终端装置300分别彼此进行通信。由此,管理装置200例如能够接收从挖土机100发送(上传)的各种数据,从而收集与挖土机100相关的各种数据。并且,控制装置210例如也可以使用通信装置220向挖土机100发送与挖土机100的控制相关的数据,从而从外部进行挖土机100的控制。并且,控制装置210例如可以使用通信装置220以响应于来自终端装置300的请求的形式向终端装置300提供各种数据。并且,控制装置210例如可以使用通信装置220向作为远程操作的对象的挖土机100发送表示从输入装置240(远程操作用操作装置)受理的远程操作的内容的信号(远程操作信号)。由此,管理装置200能够支援挖土机100的远程操作。
<终端装置的概要>
终端装置300例如为在挖土机管理系统1000中接收信息提供的使用者所利用的终端装置(使用者终端)。并且,终端装置300也可以支援挖土机100的远程操作。
终端装置300例如为使用者所持有的膝上型计算机终端、平板终端、智能手机等通用的便携终端。并且,终端装置300也可以为台式计算机等通用的固定终端。并且,终端装置300也可以为用于接收与挖土机100相关的数据(信息)的提供或支援远程操作的专用的终端装置(便携终端或固定终端)。
终端装置300包括控制装置310、通信装置320、输出装置330及输入装置340。
控制装置310进行与终端装置300相关的控制。
通信装置320通过通信线路NW与终端装置300的外部(例如,挖土机100或管理装置200)等进行通信。
输出装置330向终端装置300的管理者或作业人员等使用者(以下,称为“终端装置使用者”)输出信息。输出装置330例如可以包括输出视觉信息的显示装置或照明装置等。显示装置例如包括输出图像信息的液晶显示器或有机EL显示器等。并且,显示装置可以包括上述远程操作用显示装置。并且,输出装置330例如也可以包括输出听觉信息的声音输出装置。声音输出装置例如包括扬声器或蜂鸣器等。
输入装置340受理来自终端装置使用者的各种输入,与其输入内容对应的信号输入于控制装置310。输入装置340例如包括受理来自终端装置使用者的操作输入的操作输入装置。操作输入装置例如可以包括鼠标、键盘、触控面板、按钮、切换键、杆等。并且,输入装置340例如也可以包括受理来自终端装置使用者的声音输入或手势输入的声音输入装置或手势输入装置。声音输入装置例如包括获取终端装置使用者发出的声音数据的传声器。手势输入装置例如包括拍摄终端装置使用者的手势的状态的摄像装置(摄像机)。并且,输入装置340例如也可以包括远程操作用操作装置。
控制装置310使用通信装置320与管理装置200彼此进行通信。由此,终端装置300能够对管理装置200请求与挖土机100相关的数据等的提供。并且,终端装置300可以接收从管理装置200发送的与挖土机100相关的数据,并通过输出装置330(显示装置)将与挖土机100相关的信息提供给使用者。
并且,控制装置310也可以使用通信装置320与挖土机100彼此进行通信。此时,终端装置300可以经由管理装置200与挖土机100间接地进行通信,也可以与挖土机100直接进行通信。控制装置310例如可以使用通信装置320向作为远程操作的对象的挖土机100发送表示从输入装置340(远程操作用操作装置)受理的远程操作的内容的信号(远程操作信号)。由此,终端装置300能够支援挖土机100的远程操作。
[周边监视装置的结构]
接着,除图1、图2以外,还参考图3~图7对搭载于本实施方式所涉及的挖土机100的周边监视装置150的结构进行说明。
图3~图5是说明本实施方式所涉及的周边监视装置150的结构的图。具体而言,图3是表示本实施方式所涉及的周边监视装置150的结构的一例的框图。图4是表示用于使喇叭54a鸣响的电路结构的一例的图。图5是表示用于使行走警报器54b鸣响的电路结构的一例的图。
周边监视装置150监视作为监视对象的规定的物体(以下,简称为“监视对象”)进入挖土机100的周围的规定范围内。然后,在挖土机100的周围的规定范围内检测出监视对象的情况下,周边监视装置150激活用于确保挖土机100的周围的安全性的安全功能。
安全功能例如可以包括向驾驶室10的内部、驾驶室10的外部及挖土机100的远程的操作者或管理者等中的至少一个输出警报等来通知检测出监视对象的情况的通知功能。由此,能够提示驾驶室10的内部的操作者、挖土机100的周围的作业人员、进行挖土机100的远程操作的操作者或管理者等注意在挖土机100的周围的规定范围内存在监视对象。以下,有时将针对驾驶室10的内部(即,操作者等)的通知功能称为“内部通知功能”。并且,有时将针对驾驶室10的外部(即,挖土机100的周围的作业人员等)的通知功能称为“外部通知功能”。并且,有时将针对驾驶室10的远程的操作者或管理者等的通知功能称为“远程通知功能”。并且,安全功能例如也可以包括限制针对操作装置26的操作或远程操作的挖土机100的动作的动作限制功能。
动作限制功能包括动作减速功能及动作停止功能中的至少一个,动作减速功能使针对操作装置26的操作、远程操作或与自动运行功能对应的操作指令的挖土机100的动作速度慢于通常的动作速度,动作停止功能与操作装置26的操作、远程操作或与自动运行功能对应的操作指令无关地停止挖土机100的动作,并维持停止状态。
监视对象可以包括在挖土机100的周围作业的作业人员或作业现场的监管人员等人。并且,监视对象可以包括临时放置于作业现场的材料、作业现场的临时办公室等固定而不移动的障碍物或包括卡车的车辆等移动的障碍物等人以外的任意的物体(即,障碍物)。以下,在本实施方式中,以监视对象为人的情况为中心继续进行说明。
如图3所示,周边监视装置150包括控制器30、操作信息输出装置29、摄像装置40、周围信息获取装置45、显示装置50、输入装置52、声音输出装置54、液压控制阀56及通信装置70。
控制器30为进行与周边监视装置150的功能相关的控制的控制装置。控制器30例如搭载于驾驶室10内。
控制器30的功能可以由任意的硬件或任意的硬件及软件的组合等来实现。控制器30例如以包括CPU、RAM等存储器装置(主存储装置)、ROM等辅助存储装置及用于从外部输入或向外部输出的接口装置等的计算机为中心而构成。控制器30例如包括显示处理部301、设定部302、检测部304及安全功能控制部305,作为通过在CPU上执行安装于辅助存储装置中的一个以上的程序来实现的功能部。并且,控制器30利用存储部303。存储部303例如可以由辅助存储装置或以能够与控制器30进行通信的方式连接的外部存储装置等来实现。
另外,控制器30的功能的一部分或全部也可以由其他控制器来实现。即,周边监视装置150的功能可以通过由多个控制器分担来实现。并且,控制器30也可以进行周边监视装置150的功能以外的与挖土机100相关的控制。即,控制器30可以为强化周边监视装置150的功能的专用的控制装置,也可以为进行与包括周边监视装置150的功能的挖土机100的各种功能相关的控制的通用的控制装置。并且,控制器30的功能的一部分或全部可以移交到挖土机100的外部(例如,管理装置200)。此时,挖土机100例如可以根据来自管理装置200等外部装置的控制指令实时控制其动作。这是因为,例如,在如5G(5th Generation:第5代)移动通信网等那样能够通过通信线路NW执行极高速的通信的情况下,通过从管理装置200向挖土机100依次发送控制指令的控制方式也能够实现无延迟的挖土机100的动作控制。
操作信息输出装置29输出与操作装置26的操作内容、远程操作的内容或与自动运行功能对应的操作指令的内容(即,与各被驱动要件(即,对应的各液压促动器)相关的操作内容)相关的信息(以下,称为“操作信息”)。
操作信息输出装置29例如可以为获取与操作装置26的操作内容相关的信息的传感器(以下,称为“操作信息获取传感器”)。操作信息获取传感器例如为感知操作装置26的杆或踏板等操作方向或操作量的线性编码器。并且,操作信息获取传感器例如为感知液压先导式操作装置26的二级侧的先导压的压力传感器。并且,操作信息输出装置29例如可以为电动式操作装置26。这是因为,从电动式操作装置26输出的操作信号相当于操作信息。并且,在远程操作挖土机100的情况下,操作信息输出装置29例如为从外部装置接收远程操作信号的通信装置70。并且,在挖土机100通过自动运行功能动作的情况下,操作信息输出装置29例如可以为输出操作指令的运算装置。
摄像装置40安装于上部回转体3的上部,拍摄从相对靠近挖土机100的区域遍及至相对远离挖土机100的区域的挖土机100的周围,并输出拍摄图像。摄像装置40包括摄像机40B、40L、40R。以下,有时将摄像机40B、40L、40R统称为“摄像机40X”。
摄像机40B、摄像机40L及摄像机40R分别安装于上部回转体3的后端上部、左端上部及右端上部来拍摄上部回转体3的后方、左侧及右侧。例如,摄像机40X为具有极宽的视角的单眼摄像机(即,广角摄像机)。并且,例如,摄像机40X也可以为立体摄像机或深度摄像机等。摄像机40B拍摄上部回转体3的后方的拍摄范围,例如,从左后方遍及至右后方的水平方向(即,从挖土机100观察时的周向)上的拍摄范围。并且,摄像机40L例如拍摄上部回转体3的左侧的拍摄范围,例如,从上部回转体3的左前方遍及至左后方的水平方向(从挖土机100观察时的周向)上的拍摄范围。并且,摄像机40R例如拍摄上部回转体3的右侧的拍摄范围,例如,从上部回转体3的右前方遍及至右后方的水平方向(从挖土机100观察时的周向)上的拍摄范围。并且,摄像机40X在上部回转体3的上部安装成光轴朝向斜下方来拍摄包括从挖土机100的附近的地面至挖土机100的远方的上下方向上的拍摄范围。
摄像机40X例如在从挖土机100的启动(即,按键开关开启)至停止(即,按键开关关闭)为止的期间按规定周期(例如,1/30秒)输出拍摄图像。从摄像机40X输出的拍摄图像输入于控制器30。
另外,在远程操作挖土机100的情况下,除摄像装置40以外,还可以设置有获取供进行远程操作的操作者确认挖土机100的前方的状态的图像的上述远程操作用前置摄像机。
周围信息获取装置45(获取装置的一例)安装于上部回转体3的上部来获取与挖土机100的周围的状况相关的信息。周围信息获取装置45包括传感器45BL、45BR、45L、45R。以下,有时将传感器45BL、45BR、45L、45R统称为“传感器45X”。
传感器45BL、传感器45BR、传感器45L及传感器45R分别安装于上部回转体3的靠左的后端上部、靠右的后端上部、左端上部及右端上部来获取与上部回转体3的左后方、右后方、左侧及右侧的状况相关的信息。例如,传感器45X为LIDAR(Light Detection andRanging:激光雷达)。并且,例如,传感器45X可以为例如毫米波雷达或超声波传感器等。以下,以传感器45X为LIDAR的情况为中心进行说明。
传感器45X例如通过向某一方向照射红外线并接收来自该方向的物体的反射光(红外线)来获取表示挖土机100的周围的状况的信息,具体而言,获取与接收到的反射光相关的信息(以下,称为“受光信息”)。传感器45X例如为扫描式LIDAR,是能够在上下方向及左右方向上扫描红外线激光的照射方向的三维激光扫描仪。并且,传感器45X也可以为从发光模块在三维的大范围内照射红外线并利用三维距离图像元件拍摄反射光(红外线)的所谓的闪光式LIDAR。
受光信息包括与红外线的每个照射方向上的从照射红外线至接收反射光为止的时间(TOF:Time Of Flight:渡越时间)相关的信息(以下,称为“TOF信息”)及与红外线的每个照射方向上的接收到的反射光的强度相关的信息(以下,称为“受光强度信息”)。
传感器45BL构成为能够在上部回转体3的左后方的照射范围(例如,从上部回转体3的左后方遍及至后方的水平方向(即,从挖土机100观察时的周向)上的照射范围)内照射红外线。并且,传感器45BR构成为能够在上部回转体3的右后方的照射范围(例如,从上部回转体3的右后方遍及至后方的水平方向(从挖土机100观察时的周向)上的照射范围)内照射红外线。并且,传感器45L构成为能够在上部回转体3的左侧的照射范围(例如,从上部回转体3的左前方遍及至左后方的水平方向(从挖土机100观察时的周向)上的照射范围)内照射红外线。并且,传感器45R构成为能够在上部回转体3的右侧的照射范围(例如,从上部回转体3的右前方遍及至右后方的水平方向(从挖土机观察时的周向)上的照射范围)内照射红外线。并且,传感器45X在上部回转体3的上部安装成光轴(即,红外线的照射方向的基准轴)朝向斜下方,具有以相对靠近挖土机100的地面的部分为中心的上下方向上的红外线的照射范围。
传感器45X分别在从挖土机100的启动至停止为止的期间按规定周期输出受光信息。从传感器45X输出的受光信息被输入于控制器30。
显示装置50设置于驾驶室10内的操作员座的周边(具体而言,容易被就坐于操作员座的操作者视觉辨认的位置)来显示向操作者通知的各种图像信息。显示装置50例如可以为液晶显示器或有机EL显示器,是兼作输入装置52的触控面板式。如后述,显示装置50在控制器30(显示处理部301)的控制下,例如根据摄像装置40的拍摄图像来显示表示挖土机100(本机)的周围的状态的图像(以下,称为“监视图像”)。
输入装置52受理来自操作者的与周边监视装置150的功能相关的各种输入,并输出至控制器30。输入装置52例如包括触控面板、触控板、按钮、切换键、旋钮等任意的硬件操作输入装置。并且,输入装置52例如也可以包括显示于显示装置50的操作画面上的虚拟按钮图标等能够通过硬件操作单元来操作的软件操作输入单元。并且,输入装置52也可以包括受理操作者等使用者的声音输入或手势输入的声音输入装置或手势输入装置。
声音输出装置54朝向驾驶室10的内部及外部中的至少一个输出声音。声音输出装置54例如可以包括设置于驾驶室10的内部的扬声器或蜂鸣器等,并且可以朝向操作者输出声音。并且,声音输出装置54例如也可以包括喇叭54a或行走警报器54b等,并且可以朝向驾驶室10的外部(具体而言,挖土机100的周围)输出声音。
喇叭54a例如搭载于上部回转体3的前部。
如图4所示,喇叭54a通过设置于喇叭54a与电池60之间的电力路径的继电器62与设置于驾驶室10内的旋钮开关64的开启操作对应地闭合来鸣响。操作者等通过在开始行走时对旋钮开关64进行开启操作使喇叭54a鸣响,能够向挖土机100的周围通知挖土机100(下部行走体1)开始行走。
行走警报器54b例如搭载于上部回转体3的后部。
如图5所示,行走警报器54b在控制器30的控制下在下部行走体1行走时(即,在履带1C被操作的情况下)以规定的规律输出规定的声音(例如,"哔、哔、哔、……"地反复鸣响的蜂鸣声)。
返回到图3,液压控制阀56设置于连接先导泵15和控制阀17(具体而言,与各液压促动器对应的控制阀的先导端口)之间的先导管路。液压控制阀56能够通过来自控制器30的控制指令动作,并调整作用于控制阀17的先导压。液压控制阀56例如可以设置于先导泵15与液压先导式操作装置26之间的先导管路,即,操作装置26的初级侧的先导管路。并且,液压控制阀56例如也可以设置于操作装置26与控制阀17之间的先导管路,即,操作装置26的二级侧的先导管路。并且,液压控制阀56例如也可以为电动式操作装置26的情况下、远程操作的情况下、自动运行功能的情况下等的上述操作用液压控制阀。液压控制阀56例如为电磁比例阀。具体而言,液压控制阀56能够在控制器30的控制下与操作装置26的操作内容或远程操作的内容无关地调整作用于控制阀17的先导压。换言之,控制器30能够使用液压控制阀56与操作装置26的操作内容或远程操作的内容无关地自动控制挖土机100的动作来实现自动运行功能。
显示处理部301根据摄像装置40的拍摄图像使表示挖土机100的周围的状态(状况)的监视图像(周围图像)显示于显示装置50。
例如,显示处理部301与针对输入装置52的规定操作对应地使摄像机40B、40L、40R中的至少一个的拍摄图像显示于显示装置50作为监视图像。即,显示处理部301可以使摄像机40B、40L、40R中的所有拍摄图像或两个摄像机的拍摄图像并列显示于显示装置50,也可以使某一个摄像机的拍摄图像显示于显示装置50。以下,有时将显示于显示装置50的该拍摄图像称为“直通图像”。
显示处理部301可以与针对输入装置52的规定操作对应地切换使摄像机40B、40L、40R的拍摄图像中的哪个拍摄图像显示于显示装置50。由此,操作者能够通过操作输入装置52使自己想要观察的方向上的直通图像显示于显示装置50。
并且,例如,显示处理部301根据摄像装置40的拍摄图像来生成合成多个摄像机(摄像机40B、40L、40R中的至少两个摄像机)的拍摄图像而成的合成图像,并使包括合成图像的监视图像显示于显示装置50。
具体而言,显示处理部301通过根据摄像机40B、40L、40R的拍摄图像进行已知的视点转换处理及合成处理等,生成从虚拟视点观察的视点转换图像作为合成图像,并使其显示于显示装置50。并且,显示处理部301在使合成图像显示于显示装置50时,为了明示摄像装置40的拍摄范围与挖土机100之间的相对位置关系,使示意表示挖土机100的挖土机图像一并显示于显示装置50。即,显示处理部301生成包括挖土机图像和视点转换图像的监视图像,并使其显示于显示装置50,该视点转换图像对应于挖土机100与摄像装置40的拍摄范围之间的相对位置关系而配置于挖土机图像的周围。
另外,显示处理部301的功能可以内置于显示装置50。
例如,图6、图7是表示显示于显示装置50的监视图像的具体例的图。具体而言,图6是表示显示于显示装置50的监视图像的一例(包括直通图像的监视图像MP1)的图,图7是表示显示于显示装置50的监视图像的另一例(包括视点转换图像的监视图像MP2)的图。
如图6所示,在本例子中,显示装置50中显示有摄像机40B的拍摄图像(直通图像)作为监视图像MP1。由此,操作者能够掌握挖土机100的周围(在本例子中,上部回转体3的后方)的状况(例如,挖土机100的周围的人等监视对象的有无)。
并且,如图7所示,显示装置50中显示有包括挖土机图像CG和配置于挖土机图像CG的周围的视点转换图像EP的监视图像MP2。由此,操作者能够适当地掌握挖土机100与映现于视点转换图像EP中的周围的物体之间的位置关系。
并且,监视图像MP2的视点转换图像EP中重叠显示有距挖土机100一定距离的线LN1。线LN1例如可以表示通过周边监视装置150(检测部304)监视的监视对象的监视区域的外缘。由此,操作者能够适当地掌握挖土机100与映现于视点转换图像EP中的周围的物体之间的距离关系。
在本例子中,视点转换图像EP由俯视图像BVP和水平图像HVP的组合构成,该俯视图像BVP是从正上方观察与挖土机100相邻的周边区域而得的,该水平图像HVP是从挖土机100沿着水平方向观察配置于该俯视图像BVP的周围的该周边区域而得的。视点转换图像EP如下获得:将摄像机40B、40L、40R各自的拍摄图像投影到空间模型中之后,将投影到该空间模型中的投影图像再投影到另一二维平面中。空间模型为虚拟空间内的拍摄图像的投影对象,由包括拍摄图像所在的平面以外的平面或曲面的一个或多个平面或曲面构成。
并且,显示处理部301可以通过通信装置70将根据摄像装置40的拍摄图像生成的监视图像发送到管理装置200或终端装置300。由此,管理装置200能够从挖土机100接收监视图像,并使监视图像显示于输出装置230(例如,远程操作用显示装置)。同样地,终端装置300能够从挖土机100接收监视图像,并使监视图像显示于输出装置330(例如,远程操作用显示装置)。因此,利用管理装置200或终端装置300的挖土机100的操作者能够一边确认显示于输出装置230或输出装置330的监视图像,一边远程操作挖土机100。并且,利用管理装置200或终端装置300的挖土机100的管理者等能够一边确认显示于输出装置230或输出装置330的监视图像,一边远程监视利用自动运行功能进行作业的多个挖土机100各自的作业状况。
返回到图3,设定部302与操作者等的请求(即,操作者等通过输入装置52进行的操作)对应地进行与周边监视装置150相关的各种设定。例如,设定部302设定与检测部304相关的检测条件或与安全功能控制部305相关的安全功能的激活条件等。通过设定部302设定的设定内容保存(登记)于存储部303中。
存储部303存储(登记)与周边监视装置150相关的各种信息。
检测部304根据摄像装置40及周围信息获取装置45的输出检测出挖土机100(上部回转体3)的周围的监视对象。检测部304包括检测部304A和检测部304B。
检测部304A根据摄像装置40的输出(即,由摄像装置40拍摄的拍摄图像)在挖土机100(上部回转体3)的周边的规定的监视区域(以下,简称为“第1监视区域”)内检测监视对象。以下,与检测部304相关的说明在挖土机100位于水平面上的假设下进行。
检测部304A例如在从挖土机100观察时的水平方向(以下,简称为“水平方向”)(即,沿着挖土机100作业的(下部行走体1接地的)平面(以下,简称为“作业平面”)的方向)上延伸的第1监视区域内检测监视对象。具体而言,检测部304A可以在距挖土机100(上部回转体3)的水平方向上的距离D在规定距离Dth1(例如,5米)以内的第1监视区域内检测监视对象。
例如,检测部304A通过任意地适用已知的各种图像处理方法或包括人工智能(AI:Artificial Intelligence)等的基于机器学习的识别器等来识别拍摄图像内的监视对象。并且,在监视对象为作业人员等人的情况下,检测部304A可以确定识别出的人对应于预先登记的多个已登记的作业人员(以下,称为“登记作业人员”)中的哪一个。
并且,检测部304A可以通过适用已知的各种方法来判定(推断)映现于单眼的摄像装置40的拍摄图像中的识别出的监视对象(人)所在的位置(例如,脚底位置)(以下,称为“实际存在位置”)。
例如,检测部304A根据识别出的监视对象在拍摄图像上的大小(例如,拍摄图像上的高度方向上的大小)来推断从挖土机100观察时的水平方向上的位置(以下,称为“水平位置”)。这是因为,存在如下相关关系:监视对象越远离挖土机100,识别出的监视对象在拍摄图像上的大小越小。具体而言,由于监视对象存在可设想的大小范围(例如,可设想的人的身高范围),因此能够预先规定包括在可设想的大小范围内的从挖土机100观察时的该监视对象的水平位置与拍摄图像上的大小之间的相关关系。因此,检测部304A例如能够根据预先存储于控制器30的辅助存储装置等内部存储器中的表示拍摄图像上的监视对象的大小与从挖土机100观察时的水平位置之间的相关关系的地图或转换式等来推断识别出的监视对象的实际存在位置(距挖土机100的水平位置)。
并且,例如,检测部304A可以以监视对象存在于与挖土机100(具体而言,下部行走体1)相同的平面上为前提通过拍摄图像在该平面上的射影转换(单应性矩阵)等来推断其实际存在位置(例如,脚底位置)。此时,将构成拍摄图像的某个部分(某个点)和与挖土机100相同的平面上的某个位置建立对应关联。
检测部304B根据周围信息获取装置45的输出(即,受光信息)在挖土机100(上部回转体3)的周边的规定的监视区域(以下,简称为“第2监视区域”)内检测监视对象。以下,有时将第1监视区域及第2监视区域统称为“监视区域”。
检测部304B例如在水平方向(即,沿着作业平面的方向)上延伸的第2监视区域内检测监视对象。具体而言,检测部304B可以在距挖土机100(上部回转体3)的水平方向上的距离D在规定距离Dth2以内的第2监视区域内检测监视对象。规定距离Dth1、Dth2可以相同,也可以不同。即,第1监视区域和第2监视区域可以相同,也可以不同。例如可以是如下方式:检测部304A监视包括相对远离挖土机100的范围的第1监视区域的监视对象,检测部304B监视限定在比第1监视区域相对靠近挖土机100的范围内的第2监视区域的监视对象。
检测部304B根据从周围信息获取装置45获取的受光信息中的TOF信息来识别周围的物体的存在及其位置。并且,检测部304B可以根据与从多个照射方向接收到的反射光对应的受光信息(TOF信息)来识别物体的形状或物体的大小等,由此识别周围的物体的类别,从而判别该物体是否对应于监视对象。并且,检测部304B也可以根据受光信息中的受光强度信息来识别周围的物体的逆反射性或反射率,由此识别物体的类别,从而判别该物体是否对应于监视对象。
并且,检测部304A、304B可以与操作者等对输入装置52进行的规定的操作对应地在开启(有效化)/关闭(无效化)之间切换其功能。此时,可以是如下方式:在检测部304A、304B中的某一个的功能被关闭(无效化)的情况下,将关闭(无效化)另一个的功能的操作无效化。即,可以是能够仅将检测部304A、304B中的某一个的功能切换成关闭(无效化)的方式。
另外,检测部304也可以是如下方式:代替根据检测部304A、304B来输出与监视对象相关的两个检测结果,而整合使用摄像装置40及周围信息获取装置45这两个装置的输出来输出与监视对象相关的一个检测结果。并且,检测部304也可以仅根据摄像装置40及周围信息获取装置45的输出中的某一个检测出监视对象。并且,检测部304A的功能的一部分或全部可以内置于摄像装置40(摄像机40X)。并且,检测部304B的功能可以内置于周围信息获取装置45(传感器45X)。例如,可以是如下方式:将检测部304B的功能中根据受光信息(TOF信息及受光强度信息)检测出物体的功能内置于传感器45X,并使控制器30仅实现判断由传感器45X检测出的物体是否对应于监视对象的功能。
在通过检测部304检测出监视对象的情况下,安全功能控制部305(动作限制部的一例)进行与安全功能相关的控制来激活安全功能。
例如,在通过检测部304在包括在监视区域内的规定的范围(以下,称为“通知范围”)内检测出监视对象的情况下,安全功能控制部305激活通知功能。通知范围可以与监视区域相同,也可以设定为其外缘比监视区域相对靠近挖土机100。
安全功能控制部305例如通过控制声音输出装置54来激活针对驾驶室10的内部及外部中的至少一个的基于声音(即,听觉方法)的通知功能。此时,安全功能控制部305可以根据各种条件来改变所输出的声音的音高、音压、音色、使声音周期性地鸣响时的鸣响周期、声音的内容等。
并且,安全功能控制部305例如激活针对驾驶室10的内部的基于视觉方法的通知功能。具体而言,安全功能控制部305可以通过利用显示处理部301控制显示装置50而在显示于显示装置50的监视图像上显示表示检测出监视对象的情况的图像(例如,参考图20~图22)。并且,安全功能控制部305也可以通过显示处理部301来强调映现于显示装置50中显示的监视图像的监视对象或与从挖土机100观察时的检测出的监视对象的位置对应的监视图像上的位置。更具体而言,安全功能控制部305可以通过显示处理部301来重叠显示围住映现于监视图像上的监视对象的框,或者在与检测出的监视对象的实际存在位置对应的监视图像上的位置重叠显示标记(例如,参考图10、图21、图22)。由此,显示装置50能够实现针对操作者的视觉通知功能。并且,安全功能控制部305也可以使用驾驶室10的内部的警告灯或照明装置等向驾驶室10的内部的操作者等通知检测出监视对象的情况。
并且,安全功能控制部305例如也可以通过控制设置于上部回转体3的容纳部等的前照灯等照明装置或外部用显示装置来激活针对挖土机100的周围的作业人员或监管人员等的基于视觉方法的通知功能。并且,安全功能控制部305例如也可以通过控制使操作者所就坐的操作员座振动的振动发生装置以触觉方法激活针对驾驶室10内的操作者的通知功能。由此,周边监视装置150能够使操作者或挖土机100的周围的作业人员及监管人员等识别出在挖土机100的周围存在监视对象(例如,作业人员等人)的情况。因此,周边监视装置150能够提示操作者确认挖土机100的周边的安全状况,并且能够提示监视区域内的作业人员等撤离监视区域。
并且,安全功能控制部305例如也可以通过利用通信装置70向管理装置200或终端装置300发送表示通知功能的激活的指令信号来激活远程通知功能。此时,管理装置200(控制装置210)可以在通过通信装置220从挖土机100接收到指令信号时通过输出装置230输出基于视觉方法或听觉方法的警报。由此,管理装置200的管理者、作业人员、通过管理装置200进行挖土机100的远程操作的操作者等能够掌握监视对象进入到挖土机100的周围的通知范围内的情况。同样地,终端装置300(控制装置310)也可以在通过通信装置320从挖土机100接收到指令信号时通过输出装置330输出基于视觉方法或听觉方法的警报。
另外,安全功能控制部305的远程通知功能也可以移交到管理装置200或终端装置300。此时,管理装置200从挖土机100接收与基于检测部304的监视对象的检测状况相关的信息,根据接收到的信息来判断有无进入到通知范围内的监视对象,并在通知范围内存在监视对象的情况下,激活外部通知功能。在终端装置300的情况下也可以相同。
并且,安全功能控制部305可以根据在通知范围内检测出的监视对象与挖土机100之间的位置关系来改变通知方式(即,通知方法)。
例如,在通过检测部304在通知范围内检测出的监视对象存在于相对远离挖土机100的位置的情况下,安全功能控制部305可以向操作者等输出提示注意监视对象的程度的紧急度相对较低的警报(以下,称为“注意等级的警报”)。以下,有时将通知范围内的相对远离挖土机100的范围(即,与注意等级的警报对应的范围)简称为“注意通知范围”。另一方面,在通过检测部304在通知范围内检测出的监视对象存在于相对靠近挖土机100的位置的情况下,安全功能控制部305可以输出通知监视对象靠近挖土机100而增加了风险的情况的紧急度相对较高的警报(以下,称为“警戒等级的警报”)。以下,有时将通知范围内的距挖土机100的距离相对较近的范围(即,与警戒等级的警报对应的范围)称为“警戒通知范围”。
此时,安全功能控制部305可以在注意等级的警报与警戒等级的警报之间改变从声音输出装置54输出的声音的音高、音压、音色、鸣响周期等。并且,安全功能控制部305也可以在注意等级的警报与警戒等级的警报之间改变在显示于显示装置50的监视图像上显示的表示检测出监视对象的情况的图像或强调监视对象或监视对象的位置的图像(例如,框或标记等)的颜色、形状、大小、闪烁的有无、闪烁周期等。由此,周边监视装置150能够使操作者等根据从声音输出装置54输出的通知音(警报音)或显示于显示装置50的通知图像的差异来掌握紧急度,换言之,掌握监视对象与挖土机100的接近度。
在通知功能被激活之后原本被检测部304检测出的监视对象在监视区域内不再被检测出的情况下,或者在通过输入装置52受理了解除通知功能的激活的规定的操作的情况下,安全功能控制部305可以停止通知功能。
并且,例如,在通过检测部304在包括在监视区域内的规定范围(以下,称为“动作限制范围”)内检测出监视对象的情况下,安全功能控制部305激活动作限制功能。动作限制范围可以与监视区域相同,也可以设定为其外缘比监视区域相对靠近挖土机100。并且,动作限制范围包括动作减速范围及动作停止范围中的至少一个范围,在该动作减速范围内,使针对操作装置26的操作、远程操作、与自动运行功能对应的操作指令的挖土机100的动作速度慢于通常的动作速度,在该动作停止范围内,与操作装置26的操作、远程操作、与自动运行功能对应的操作指令无关地停止挖土机100的动作,并维持停止状态。例如,在动作限制范围包括动作减速范围及动作停止范围这两个的情况下,动作停止范围例如为动作限制范围内的靠近挖土机100的范围,动作减速范围为动作限制范围内的设定于动作停止范围的外侧的范围。
安全功能控制部305通过控制液压控制阀56来激活限制挖土机100的动作的动作限制功能。此时,安全功能控制部305可以限制所有被驱动要件(即,与对应的液压促动器)的动作,也可以限制一部分被驱动要件(液压促动器)的动作。由此,周边监视装置150能够在挖土机100的周围存在监视对象的情况下使挖土机100的动作减速或停止。因此,周边监视装置150能够抑制挖土机100的周围的监视对象与挖土机100发生接触。
并且,在动作限制功能被激活之后原本被检测部304检测出的监视对象不再被检测出的情况下,或者在通过输入装置52受理了解除动作限制功能的激活的规定的操作的情况下,安全功能控制部305停止动作限制功能。用于解除针对输入装置52的通知功能的激活的操作和用于解除动作限制功能的激活的操作可以相同,也可以不同。
并且,安全功能控制部305也可以根据其他规定的条件(以下,称为“其他激活条件”)的成立来激活安全功能,该其他规定的条件与基于检测部304的监视对象的检测不同。
例如,在驾驶室10的内部的操作者未佩戴安全带的情况下,安全功能控制部305可以激活内部通知功能或激活禁止(停止)挖土机100的动作的方式的动作限制功能。由此,能够提示驾驶室10的操作者佩戴安全带。因此,能够提高挖土机100的安全性。
并且,例如,在驾驶室10的可打开/关闭的窗被开放的情况下,安全功能控制部305可以激活内部通知功能或激活禁止(停止)挖土机100的动作的方式的动作限制功能。这是因为,假设,若在驾驶室10的窗被开放的状态下挖土机100发生翻车等,则操作者有可能会被抛出到驾驶室10的外部。由此,能够提示驾驶室10的操作者关闭驾驶室10的窗。因此,能够提高挖土机100的安全性。
[挖土机的周围的可显示区域及监视对象的可检测区域]
接着,参考图8~图11对根据摄像装置40的拍摄图像可显示于显示装置50、输出装置230(显示装置)及输出装置330(显示装置)(以下,称为“显示装置50等”)的挖土机100的周围的范围(以下,称为“可显示区域”)及检测部304可检测监视对象的挖土机100的周围的范围(以下,称为“可检测区域”)进行说明。
以下,在本例子中,以挖土机100位于水平面为前提进行说明。并且,在本例子中,以从挖土机100(具体而言,上部回转体3)观察时的周向(回转方向)上的可显示区域及可检测区域为中心进行说明。即,在本例子中,可显示区域表示从挖土机100观察时的水平方向上的360度的角度方向上的范围内的显示装置50等能够根据摄像装置40的拍摄图像来显示的角度方向上的范围。同样地,在本例子中,可检测区域表示从挖土机100观察时的水平方向上的360度的角度方向上的范围内的检测部304能够检测出监视对象的角度方向上的范围。因此,在相互比较可显示区域、检测部304A的可检测区域及检测部304B的可检测区域的情况下,有时会以从挖土机100观察时的周向上的范围(即,水平方向上的角度范围)为比较对象,并将径向(远近方向)或上下方向上的范围从比较对象中排除。
<基于摄像装置的拍摄图像的可显示区域和可检测区域的对比>
图8是表示俯视观察挖土机100时的基于摄像装置40的拍摄图像的显示装置50等中的可显示区域及检测部304A的可检测区域的一例的图。
如图8所示,摄像机40X在水平方向上的拍摄范围(视角)由从摄像机40X延伸的两条单点划线之间的角度范围表示。因此,可显示区域由相当于摄像机40B、40L、40R的所有水平方向上的拍摄范围的并集的范围表示。
另一方面,基于摄像装置40(摄像机40X)的拍摄图像的检测部304A的可检测区域相当于图中的梨皮面的部分。具体而言,检测部304A的可检测区域由从摄像机40B、40L、40R分别延伸的两条实线(靠近挖土机100的部分为点线)之间的角度范围内的除靠近挖土机100的范围以外的范围表示。这是因为,设置有摄像机40X的上部回转体3的上表面位于距地面相对较高的位置,从而有时靠近上部回转体3的范围的地面附近的监视对象仅一部分映现于拍摄图像,或者有时会因上部回转体3的车身映现于拍摄图像而使靠近上部回转体3的范围的地面成为车身的死角。
并且,与检测部304A的可检测区域对应的从摄像机40B、40L、40R分别延伸的两条实线之间的角度范围窄于与摄像机40B、40L、40R的拍摄范围对应的实际的视角(两条单点划线之间的角度范围)。这是因为,在从挖土机100(上部回转体3)观察时的水平方向上的摄像机40B、40L、40R的拍摄范围(视角)的端部,有时只能映现监视对象的一部分,从而检测部304A无法从拍摄图像中识别(检测)出监视对象。
例如,作业人员401位于上部回转体3的左前方的位置。作业人员401的一部分包括在相当于摄像机40L的水平方向上的拍摄范围的两条单点划线之间的角度范围内。因此,显示装置50等能够在控制器30(显示处理部301)的控制下根据摄像机40L的拍摄图像来显示包括作业人员401的一部分的监视图像。
另一方面,作业人员401位于摄像机40L的水平方向上的拍摄范围内的前侧的端部的位置。因此,作业人员401的位置不包括在检测部304A的可检测区域内,检测部304A无法检测出仅一部分映现于摄像机40L的拍摄图像的作业人员401。
同样地,作业人员402位于上部回转体3的右前方的位置。作业人员402的一部分包括在相当于摄像机40R的水平方向上的拍摄范围的两条单点划线之间的角度范围内。因此,显示装置50等能够在控制器30(显示处理部301)的控制下根据摄像机40R的拍摄图像来显示包括作业人员402的一部分的监视图像。
另一方面,作业人员402位于摄像机40R的水平方向上的拍摄范围内的前侧的端部的位置。因此,作业人员402的位置不包括在检测部304A的检测区域内,检测部304A无法检测出仅一部分映现于摄像机40R的拍摄图像的作业人员402。
如此,位于可显示区域内的摄像机40L、40R的前侧的视角的端部的位置的监视对象有时无法通过检测部304A检测出。因此,在仅使用摄像装置40(摄像机40X)来检测挖土机100的周围的监视对象的情况下,存在尽管映现于显示装置50等但仍未被检测出的监视对象,有可能会给挖土机100的操作者或管理者等带来不协调感。
<监视对象的可检测区域的第1例>
图9是表示俯视观察挖土机100时的使用摄像装置40的检测部304A的可检测区域及使用周围信息获取装置45的检测部304B的可检测区域的第1例的图。
如图9所示,检测部304A的可检测区域如上所述相当于图中的梨皮面的部分。因此,如上所述,从检测部304A的可检测区域中排除由从摄像机40X延伸的两条单点划线之间的角度范围规定的可显示区域内的摄像机40L、40R的前侧的视角的端部。
另一方面,检测部304B的可检测区域由从传感器45X分别延伸的两条粗线之间的水平方向上的角度范围(即,水平方向上的检测角度的范围)规定。具体而言,检测部304B的可检测区域表示为传感器45BL、45BR、45L、45R各自的水平方向上的检测角度的范围的并集。由两条粗线规定的水平方向上的检测角度的范围例如相当于LIDAR的红外线的水平方向上的照射范围。
传感器45L的水平方向上的检测角度的范围将包括作业人员401的位置(即,所占范围)的可显示区域内的摄像机40L的视角的前侧的端部全都包括在内。并且,传感器45R的水平方向上的检测角度的范围将包括作业人员402的位置(即,所占范围)的可显示区域内的摄像机40R的视角的前侧的端部全都包括在内。即,检测部304B的可检测区域将检测部304A的可检测区域大致全都包括在内。由此,检测部304B能够在上部回转体3的左前方及右前方检测出可显示区域内的相当于检测部304A的检测区域的范围外的范围内的监视对象。因此,能够检测出仅一部分包括在与摄像机40L、40R对应的可显示区域的前侧的端部(即,各自的拍摄图像的右端部及左端部)的监视对象(例如,作业人员401、402)。
例如,图10是表示通过检测部304检测出监视对象时显示的监视图像的具体例(监视图像500)的图。具体而言,图10是表示作为监视图像500显示于显示装置50的图9的状况下的摄像机40L的拍摄图像(直通图像)的图。
另外,监视图像500可以显示于管理装置200的输出装置230(显示装置)或终端装置300的输出装置330(显示装置)来代替挖土机100的显示装置50,或者除挖土机100的显示装置50以外,还可以显示于管理装置200的输出装置230(显示装置)或终端装置300的输出装置330(显示装置)。由此,挖土机100的操作者能够一边确认监视图像500,一边进行挖土机100的远程操作。并且,挖土机100的管理者等例如能够通过监视图像500远程监视利用自动运行功能进行作业的多个挖土机100各自的作业状况。
如图9所示,摄像机40L的可显示区域的前侧的端部包括作业人员401所处的范围的一部分。因此,如图10所示,在相当于可显示区域的前侧的端部的监视图像500(摄像机40L的拍摄图像)的右端部显示有(映现有)相当于作业人员401的作业人员510的一部分。
并且,如上所述,检测部304(检测部304B)能够检测出位于摄像机40L的可显示区域的前侧的端部的位置且仅其一部分映现于拍摄图像(直通图像)的作业人员401(作业人员510)。因此,监视图像500中显示有表示通过检测部304(检测部304B)检测出所映现的作业人员510的情况的框520。由此,即使是仅一部分映现于监视图像500的监视对象(作业人员510),挖土机100的操作者或管理者等使用者也能够掌握可通过检测部304(检测部304B)检测出的情况。
同样地,在监视图像MP2(参考图7)显示于显示装置50等的情况下,即使在从视点转换图像EP的挖土机图像CG观察时的左前方及右前方的端部也仅映现有作业人员401、402的一部分,检测部304B也能够检测出作业人员401、402。因此,可以以用框围住映现于包括视点转换图像EP的监视图像MP2的作业人员401、402的方式显示,该框表示已通过检测部304检测出的情况。由此,与监视图像500的情况相同地,即使是仅一部分映现于视点转换图像EP(监视图像MP2)的监视对象,挖土机100的操作者或管理者等使用者也能够掌握可通过检测部304检测出的情况。
另外,表示检测出一部分映现于监视图像(直通图像或视点转换图像EP等周围图像)的监视对象的情况的图像也可以是与框(例如,框520)不同的方式。例如,表示检测出一部分映现于监视图像(周围图像)的监视对象的情况的图像可以是后述的图20或图22的指示图像(例如,指示图像913或指示图像934、935)的方式。
如此,在本例子中,检测部304能够使用周围信息获取装置45(传感器45X)来补充仅利用摄像装置40的拍摄图像时无法检测出监视对象的范围,从而检测出该范围内的监视对象。因此,检测部304能够检测出从映现于显示装置50中显示的监视图像的挖土机100观察时的周围的周向上的整个范围(即,挖土机100的周围的相对较近的整个范围)内的监视对象。即,检测部304B能够在从挖土机100观察时的周向上检测出包括在摄像机40B、40L、40R的拍摄范围内的所有监视对象,即,映现于显示装置50中显示的监视图像的所有监视对象。例如,即使在仅一部分监视对象映现于摄像装置40的拍摄图像的左右端部的情况下,检测部304B也能够检测出监视对象。因此,能够抑制给使用者带来伴随显示装置50的显示内容(映现有监视对象)与检测结果(未检测出监视对象)之间的背离的不协调感的情况。
返回到图9,例如,挖土机100有时还会在下部行走体1的直行方向(延伸方向)与上部回转体3的朝向大致一致的状态下进行作业。此时,如图9所示,即使作业人员401、402存在于上部回转体3的左前方或右前方的相对较近的位置,作业人员401、402与挖土机100发生接触等的风险也不高。这是因为,认为挖土机100只能在上部回转体3的前后方向上行走,假设,即使下部行走体1行走,与上部回转体3的左前方及右前方的作业人员401、402接触的可能性也较低。并且,这是因为,认为上部回转体3的前端部距回转中心的距离相对较近,因此即使上部回转体3回转,也不易发生上部回转体3的前端部与作业人员401、402之间的距离缩短的情况。
另一方面,挖土机100有时还会一边使上部回转体3以相对较高的频度回转一边进行作业。因此,例如,有时还会在以下部行走体1的直行方向(延伸方向)为基准的上部回转体3的回转角度相对较大的状态(例如,如图9的点线的履带1CL、1CR的情况那样,回转角度为约90度的状态)下进行作业。此时,如图9所示,上部回转体3的左前方或右前方的相对较近的位置的作业人员401、402有可能会成为在行进方向上面向从上部回转体3观察时的前侧的履带1C(履带1CL)的状态。因此,假设,若下部行走体1行走,则与作业人员401、402发生接触的可能性增大。并且,面向从上部回转体3观察时的前侧的履带1C(履带1CL)的空间在从驾驶室10观察时容易成为死角,导致驾驶室10的操作者也有可能无法视觉辨认。
相对于此,在本例子中,如图9所示,面向履带1CL的作业人员401、402的至少一部分包括在可显示区域内。具体而言,面向履带1CL的作业人员401的一部分包括在摄像机40L的水平方向上的拍摄范围的前侧的端部内。并且,面向履带1CL的作业人员402包括在摄像机40R的水平方向上的拍摄范围的前侧的端部内。因此,即使在从驾驶室10观察时面向履带1CL的作业人员401、402成为死角的情况下,驾驶室10的操作者也能够通过显示装置50的监视图像来掌握作业人员401、402的存在。并且,利用管理装置200或终端装置300的挖土机100的远程的操作者或管理者等也能够通过输出装置230或输出装置330的监视图像来掌握作业人员401、402的存在。因此,能够提高挖土机100的安全性。
并且,面向从上部回转体3观察时的前侧的履带1C(履带1CL)的位置的作业人员401、402的一部分有可能会映现于摄像机40L、40R的拍摄图像的左右端,并显示于显示装置50等作为监视图像。然而,如上所述,检测部304A无法识别(检测)作为仅一部分映现于摄像机40L、40R的拍摄图像的监视对象的作业人员401、402。
另一方面,如图9所示,检测部304B的可检测区域如上所述由传感器45BL、45BR、45L、45R各自的水平方向上的红外线的照射范围(图中的两条粗线之间的角度范围)规定。这是因为,与图像识别的情况不同,即使在只能接收来自监视对象的一部分的反射光的情况下,如上所述,也能够根据基于受光信息的物体的形状、大小或反射光的受光强度等识别(检测)监视对象。
具体而言,位于在从以下部行走体1的直行方向为基准的上部回转体3的回转角度为约90度时的上部回转体3观察时的前侧的履带1C(履带1CL)的左端部及面向左侧的直行方向的位置的作业人员401包括在与传感器45L对应的检测部304B的可检测区域内。并且,位于在从以下部行走体1的直行方向为基准的上部回转体3的回转角度为约90度时的上部回转体3观察时的前侧的履带1C(履带1CL)的右端部及面向右侧的直行方向的位置的作业人员402包括在与传感器45R对应的检测部304B的可检测区域内。
例如,如上所述,若下部行走体1在以下部行走体1的直行方向为基准的上部回转体3的回转角度为约90度的状态下开始行走,则有可能会与作业人员401、402发生接触。并且,在该状态下,有可能难以从驾驶室10肉眼观察到作业人员401、402。
相对于此,如上所述,检测部304B能够检测出面向从以下部行走体1的直行方向为基准的上部回转体3的回转角度为约90度时的上部回转体3观察时的前侧的履带1C的直行方向的空间内的监视对象。因此,周边监视装置150能够根据作业人员401、402的检测来激活通知功能或动作限制功能等安全功能。因此,能够进一步提高挖土机100的安全性。
如此,在本例子中,在上部回转体3的朝向偏离与履带1C的直行方向一致的基准状态的情况下,面向上部回转体3的前侧的履带1C的直行方向的空间包括在作为监视图像的显示装置50等中的可显示区域内。并且,在本例子中,在上部回转体3的朝向偏离与履带1C的直行方向一致的基准状态的情况下,面向上部回转体3的前侧的履带1C的直行方向的空间包括在基于检测部304的监视对象的可检测区域内。
例如,只要能够在下部行走体1搭载摄像机40X和传感器45X等,则与上部回转体3的回转状态无关地,可较容易地检测出从下部行走体1(履带1C)观察时的特定的位置的监视对象或使其显示于显示装置50等。
然而,实际上,若考虑挖土机100的作业环境和操作者的实际操作情况等,则在下部行走体1搭载摄像机40X和传感器45X等并不现实。这是因为,摄像机40X和传感器45X等因沙土等的附着而无法发挥功能或因与地面接触而受损的可能性较高。并且是因为,操作者经常利用上部回转体3的附件来进行作业,从而对操作者而言,需要与以上部回转体3为基准的监视对象的位置关系相关的信息。因此,需要将摄像机40X和传感器45X等搭载于上部回转体3。因此,若上部回转体3的朝向与履带1C之间的关系偏离基准状态,则摄像机40X和传感器45X等有可能无法适当地获取与下部行走体1行走时与周围的物体之间的位置关系相关的信息。
具体而言,在下部行走体1的行进方向与上部回转体3的朝向一致的状态下,下部行走体1向上部回转体3的前方行进的情况下,驾驶室10的操作者能够直接视觉辨认面向履带1C的前方的作业人员等。并且,在进行远程操作或远程监视的情况下,由于远程操作用前置摄像机的拍摄图像显示于远程操作用显示装置,因此也能够根据其显示内容来确认面向履带1C的前方的作业人员等。并且,在相同的状态下,下部行走体1向上部回转体3的后方行进的情况下,挖土机100的操作者或管理者等能够根据显示于显示装置50等的摄像机40B的拍摄图像来确认面向履带1C的后方的作业人员等。
另一方面,若偏离下部行走体1的行进方向与上部回转体3的朝向一致的状态,则根据摄像机40X和传感器45X的数量或配置等,有可能无法适当地获取面向下部行走体1(履带1C)的空间的信息。例如,由于以上部回转体3的后方为中心而横跨左侧与右侧之间的相对较宽的范围成为驾驶室10的操作者的死角,因此有可能会设置相对较多的与该范围对应的摄像机40X和传感器45X。相对于此,由于操作者或管理者等能够直接视觉辨认或通过前置摄像机的显示图像来确认上部回转体3的前方,因此有可能会设置相对较少的与从上部回转体3的右前方横跨至左前方的范围对应的摄像机40X和传感器45X。因此,在偏离下部行走体1的行进方向与上部回转体3的朝向一致的状态的情况下,若在上部回转体3的左前方或右前方存在面向履带1C的空间,则摄像机40X和传感器45X有可能无法适当地获取该空间的信息。
相对于此,在本例子中,在上部回转体3的朝向偏离与履带1C的直行方向一致的状态的情况下,能够将面向上部回转体3的前侧的履带1C的直行方向的空间包括在作为监视图像的显示装置50等中的可显示区域内。并且,在上部回转体3的朝向偏离与履带1C的直行方向一致的状态的情况下,能够将面向上部回转体3的前侧的履带1C的直行方向的空间包括在基于检测部304的监视对象的可检测区域内。因此,能够提高挖土机100的下部行走体1行走时的安全性。
另外,也可以是面向上部回转体3的前侧的履带1C的直行方向的空间仅包括在可显示区域及可检测区域中的某一区域内的方式。并且,只要挖土机100的周围的周向上的整个可显示区域包括在从挖土机100观察时的周向上的检测部304B的可检测区域内,则传感器45X的数量可以是任意的。关于传感器45X的配置也相同。并且,也可以代替使用检测部304A、304B冗余地输出与监视对象相关的两个检测结果,而采用整合使用摄像装置40及周围信息获取装置45这两个装置的输出来输出与监视对象相关的一个检测结果的结构。此时,也发挥相同的作用效果。以下,关于后述的第2例的情况也相同。
<监视对象的可检测区域的第2例>
图11是表示俯视观察挖土机100时的使用摄像装置40的检测部304A的可检测区域及使用周围信息获取装置45的检测部304B的可检测区域的第2例的图。
如图11所示,在本例子中,不同点在于,在上部回转体3的上表面代替传感器45L而设置传感器45LF、45LR,并且代替传感器45R而设置45RF、45RR。即,在本例子中,周围信息获取装置45包括传感器45BL、45BR、45LF、45LR、45RF、45RR。以下,在本例子中,以与上述第1例不同的部分为中心进行说明,有时会省略相同的部分和对应的部分的说明。并且,在本例子中,有时将传感器45BL、45BR、45LF、45LR、45RF、45RR统称为“传感器45X”。
例如,挖土机100有时会在上部回转体3在以履带1C的直行方向(履带1C的前后轴)为基准的回转角度小于90度的范围内相对较大地回转的状态(图11的点线的履带1CL、1CR的状态)下进行作业。具体而言,在本例子中,挖土机100处于上部回转体3以履带1C的直行方向为基准而向右回转75度的状态。
在该状态下,作业人员403位于从上部回转体3观察时的前侧的履带1C(履带1CR)的前端部的面向直行方向的位置。此时,由于作业人员403存在于偏离驾驶室10的正面的位置,因此驾驶室10的操作者有可能难以肉眼观察到作业人员403。同样地,挖土机100的远程的操作者或管理者等通过显示于管理装置200的输出装置230(显示装置)或终端装置300的输出装置330(显示装置)的远程操作用前置摄像机的图像也有可能无法确认作业人员403。并且,履带1CR的前端部的面向直行方向的空间较大地偏离检测部304A的可检测区域(图中的梨皮面部分),并且也不包括在摄像机40L的拍摄范围(图中的两条单点划线之间的角度范围)内。
相对于此,在本例子中,设置有两个负责上部回转体3的左侧的范围的传感器45X(传感器45LF、45LR)。具体而言,传感器45LF在上部回转体3的上表面的左端部的靠前的位置设置成光轴在俯视下略朝向左前方。并且,传感器45LR在上部回转体3的上表面的左端部的靠后的位置设置成光轴在俯视下略朝向左后方。由此,能够在使用传感器45LR来保持从上部回转体3的左前方横跨至左后方的左侧作为红外线的照射范围的同时,使用传感器45LF将在履带1CR的前端部及面向直行方向的空间包括在照射范围内。因此,检测部304B在上部回转体3在以履带1C的直行方向为基准的回转角度小于90度的范围内相对较大地回转的状态下,能够检测出存在于履带1CR的前端部的面向直行方向的位置的作业人员403。
并且,在本例子中,设置有两个负责上部回转体3的右侧的范围的传感器45X(传感器45RF、45RR)。具体而言,传感器45RF在上部回转体3的上表面的右端部的靠前的位置设置成光轴在俯视下略朝向右前方。并且,传感器45RR在上部回转体3的上表面的右端部的靠后的位置设置成光轴在俯视下略朝向右后方。由此,与图11的情况(履带1C的前后轴朝向左上方的状态)相反地,在履带1C的前后轴朝向右上方的状态下,能够在使用传感器45RR来保持从上部回转体3的右前方横跨至右后方的右侧作为红外线的照射范围的同时,使用传感器45RF将在履带1CR的后端部面向直行方向的空间包括在照射范围内。因此,在该状态下,检测部304B能够检测出存在于履带1CR的后端部的面向直行方向的位置的作业人员。
如此,在本例子中,在上部回转体3以履带1C的直行方向为基准而相对较大地回转的状态下,面向履带1C的直行方向的空间包括在能够通过检测部304检测出监视对象的范围(可检测区域)内。具体而言,对传感器45X的数量或配置适当进行了调整,从而在上部回转体3在以履带1C的直行方向为基准的回转角度小于90度的范围内相对较大地回转的状态下,检测部304B能够检测出存在于在直行方向上面向从上部回转体3观察时的前侧的履带1C的位置的监视对象(例如,作业人员403)。由此,能够进一步提高挖土机100的安全性。
另外,在上部回转体3以履带1C的直行方向为基准而相对较大地回转的状态下,也可以代替将面向履带1C的直行方向的空间包括在检测部304的可检测区域内,而通过适当调整摄像机40X的数量或配置而将其包括在能够作为监视图像而显示于显示装置50等的范围(可显示区域)内,或者除将面向履带1C的直行方向的空间包括在检测部304的可检测区域内以外,还通过适当调整摄像机40X的数量或配置而将其包括在能够作为监视图像而显示于显示装置50等的范围(可显示区域)内。由此,操作者等能够通过显示装置50等的监视图像来掌握面向履带1C的直行方向的空间的状态。
[监视对象的检测方法]
接着,参考图12~图15对基于检测部304的监视对象的检测方法的具体例进行说明。
<监视对象的识别方法的具体例>
图12~图15是表示作为监视对象的作业现场的人(即,作业人员)的具体例的图。具体而言,图12是表示作业人员的第1例(作业人员W1)的图。图13是表示作业人员的第2例(作业人员W2)的图。图14是表示作业人员的第3例(作业人员W3)的图。图15是表示作业人员的第4例(作业人员W4)的图。
如图12所示,作业人员W1戴着安全帽HMT且穿着带反光材料的背心(以下,称为“反光背心”)RV。反光材料为逆反射性(朝向光源反射照射光的性能)极高的部件。
如图13所示,作业人员W2戴着安全帽HMT,但未穿反光背心RV。
如图14所示,作业人员W3穿着反光背心RV,但未戴安全帽HMT。
如图15所示,作业人员W4既未戴安全帽HMT也未穿反光背心RV。
检测部304A在对作为监视对象的人(作业人员)进行检测的情况下,尝试从摄像装置40的拍摄图像中识别整个人(作业人员)及安全帽这两种。由此,即使在因人的朝向或姿势等而无法以超过规定基准的准确度识别整个人的情况下,检测部304A也能够在能够以超过规定基准的准确度识别安全帽的情况下检测出作业人员。即,在作业人员W1~W4中,与其他作业人员W3、W4相比,检测部304A能够以相对较高的概率检测出戴着安全帽HMT的W1、W2。
另一方面,检测部304B在对作为监视对象的人(作业人员)进行检测的情况下,尝试根据受光信息来识别(检测)接收到的反射光(红外线)的受光强度相对较高的(具体而言,高于规定基准的)物体。反射光的受光强度根据受光强度信息而获取。并且,物体的表面的逆反射性越高,来自物体的反射光的受光强度越高,另一方面,物体至传感器45X为止的距离越长,来自物体的反射光的受光强度则越低。因此,检测部304B可以考虑基于TOF信息的至物体的距离将基于受光强度信息的受光强度例如校正为假设物体位于规定的距离时的受光强度。此时,规定基准以能够判别反光材料和除此之外的物体的方式预先设定。由此,在识别出反射光的受光强度相对较高的物体的情况下,检测部304B能够断定其为穿着反光背心等带反光材料的衣服的作业人员,从而检测出该作业人员。除反光背心以外,带反光材料的衣服还包括带反光材料的夹克、带反光材料的裤子等安装有反光材料的任意的衣服。即,在作业人员W1~W4中,与其他作业人员W2、W4相比,检测部304B能够以相对较高的概率检测出穿着反光背心RV的W1、W3。
另外,检测部304B能够根据与从多个照射方向接收到的反射光对应的受光信息来识别物体的形状或大小。因此,检测部304B在对作为监视对象的人(作业人员)进行检测的情况下,也可以使用基于受光信息的物体的形状或大小等来识别人(作业人员)。
如上所述,检测部304使用检测部304A、304B这两个来检测监视对象。由此,检测部304以最高的概率检测出既戴着安全帽也穿着带反光材料的衣服的作业人员(例如,作业人员W1)。并且,检测部304能够以低于既戴着安全帽也穿着带反光材料的衣服的作业人员的情况的、一定程度的概率检测出仅戴着安全帽或仅穿着带反光材料的衣服的作业人员(例如,作业人员W2、W3)。并且,检测部304以最低的概率检测出既未戴安全帽也未穿带反光材料的衣服的作业人员(例如,作业人员W4)。换言之,检测部304以如下方式构成:最容易检测出既戴着安全帽也穿着带反光材料的衣服的人,其次容易检测出仅戴着安全帽或仅穿着带反光材料的衣服的人,最难检测出既未戴安全帽也未穿带反光材料的衣服的人。
例如,在仅使用摄像装置40的拍摄图像来识别(检测)作为监视对象的人的情况下,根据人的朝向或姿势等,有可能不会被识别为人或有可能会将人以外的物体识别为人。
相对于此,在本例子中,除使用摄像装置40(摄像机40X)的输出(拍摄图像)的检测部304A以外,还设置有使用周围信息获取装置45(传感器45X)的输出(受光信息)的检测部304B。由此,周边监视装置150不仅能够使用检测部304A的检测结果,而且还能够使用检测部304B的检测结果。因此,即使在未检测出理应通过检测部304A检测出的人的情况下,或者在作为人而检测出不是人的物体的情况下,周边监视装置150也能够使用检测部304B的检测结果来抑制未检测或错误检测。因此,能够进一步提高挖土机100的安全性。并且,在本例子中,检测部304能够以相对较高的精确度检测出戴着作为安全装备的安全帽且穿着作为安全装备的带反光材料的衣服的作业人员。因此,从确保作业人员自身的安全性、进而确保作业现场的安全性的观点出发,周边监视装置150能够提示作业人员戴安全帽或穿带反光材料的衣服。
另外,在本例子中,检测部304构成为能够识别作业人员所戴的安全帽或所穿的带反光材料的衣服,但也可以以识别其他安全装备的方式检测(识别)出作为监视对象的人(作业人员)。作为识别对象的安全装备例如可以包括安全带、噪声现场的耳塞、安全靴、电弧焊接用或防振用等手套、防尘用或防毒用口罩、防尘用或遮光用等眼镜、焊接用面具、当施工机械等靠近时输出警报的ID(Identifier:识别符)标签等。由此,周边监视装置150能够提示作业人员佩戴更多的安全装备。
<监视对象的位置的确定方法>
检测部304A根据拍摄图像中的与识别出的整个人(作业人员)或安全帽对应的部分图像的大小或位置等来确定从挖土机100观察时的作业人员的位置(例如,脚底位置)。这是因为,拍摄图像上的作业人员的大小会根据作业人员距摄像机40X的距离而发生变化。并且是因为,映现于拍摄图像上的位置会根据作业人员距摄像机40X的距离及方向而发生变化。
另一方面,检测部304B根据受光信息中的TOF信息来确定从挖土机100观察时的作业人员的位置。这是因为,TOF信息包括从传感器45X观察时的光的照射方向及从向该照射方向照射光开始至接收反射光为止的时间,从而能够根据前者来确定以传感器45X为基准的物体的方向,并根据后者来确定传感器45X与物体之间的距离。
例如,如上所述,物体与传感器45X之间的距离越长,来自物体的反射光(红外线)的受光强度越低。因此,若利用该性质,则还能够根据受光强度信息来确定监视对象的位置(距离)。然而,来自物体的反射光的受光强度也会根据该物体的表面的性质(具体而言,逆反射性或反射率等)而发生变化。因此,在仅使用受光强度信息来确定监视对象的位置的情况下,所确定的位置的精确度会相对降低,周边监视装置150有可能无法准确地掌握周围的监视对象的位置。例如,在作业人员所穿的带反光材料的衣服的逆反射性的偏差大的情况下,反射光的受光强度的范围相对较宽,有可能会导致基于受光强度信息的距离信息的精确度降低。因此,在根据监视对象的位置来激活通知功能或动作限制功能等安全功能的情况下,通知功能或动作限制功能的激活条件有可能会产生偏差。
相对于此,检测部304B根据受光强度信息及TOF信息来识别(检测)监视对象,从而确定监视对象的位置。然后,安全功能控制部305在检测出通过检测部304B接收的反射光的强度相对较高且相对于挖土机100的距离相对较近的(即,通知范围或动作限制范围内的)监视对象的情况下,激活通知功能及动作限制功能中的至少一个。即,安全功能控制部305根据传感器45X的输出(受光强度信息及TOF信息)来进行警报的输出或挖土机100的动作限制。由此,周边监视装置150能够使用TOF信息,因此与仅使用受光强度信息的情况相比,能够以相对较高的精确度确定挖土机100的周围的监视对象的位置。因此,在根据监视对象的位置来激活通知功能或动作限制功能等安全功能的情况下,周边监视装置150能够抑制通知功能或动作限制功能的激活条件的偏差。因此,周边监视装置150能够提高挖土机100的安全性。
另外,在本例子中,检测部304B也可以代替TOF信息而使用与挖土机100至周围的物体的距离相关的其他信息来确定监视对象的位置,或者除TOF信息以外,还使用与挖土机100至周围的物体的距离相关的其他信息来确定监视对象的位置。例如,检测部304B可以使用与根据作为摄像装置40(摄像机40X)的立体摄像机的拍摄图像获取的至周围的物体的距离相关的信息来确定监视对象的位置。
[安全功能的激活控制方法]
接着,对基于安全功能控制部305的安全功能(通知功能及动作限制功能)的激活控制方法的具体例进行说明。
在本例子中,安全功能控制部305在通过检测部304A检测出监视对象的情况与通过检测部304B检测出监视对象的情况之间改变安全功能的激活方式。
<安全功能的激活控制方法的第1例>
在通过检测部304A检测出监视对象的情况下,安全功能控制部305仅激活安全功能中的通知功能。即,在通过检测部304A检测出监视对象的情况下,安全功能控制部305和监视对象与挖土机100之间的距离等无关地不激活动作限制功能。具体而言,在通过检测部304A在通知范围(以下,简称为“第1通知范围”)内检测出监视对象的情况下,安全功能控制部305激活通知功能,并且不设定与基于检测部304A的监视对象的检测对应的动作限制范围(以下,简称为“第1动作限制范围”)。
另一方面,在通过检测部304B在动作限制范围(以下,简称为“第2动作限制范围”)内检测出监视对象的情况下,安全功能控制部305激活动作限制功能。并且,在通过检测部304B在通知范围(以下,简称为“第2通知范围”)内检测出监视对象的情况下,安全功能控制部305也可以激活通知功能。第1通知范围及第2通知范围可以相同,也可以不同。
例如,尽管与监视对象相关的检测精确度相对较低,但动作限制功能仍根据其检测结果而被激活,在这种情况下,与通知功能被激活的情况相比,给操作者带来不协调感或使挖土机100的作业效率降低的可能性增大。
相对于此,在本例子中,周边监视装置150在仅通过检测部304A、304B中的检测部304B检测出监视对象的情况下允许激活动作限制功能。这是因为,根据周围信息获取装置45的受光信息检测出监视对象时的检测精确度趋于相对高于通过针对摄像装置40的拍摄图像的图像识别检测出监视对象的情况。即,是因为,检测部304B的与监视对象相关的检测精确度趋于高于检测部304A。由此,周边监视装置150能够在抑制给操作者带来的不协调感或挖土机100的作业效率降低等的同时,提高挖土机100的安全性。
<安全功能的激活控制方法的第2例>
安全功能控制部305在通过检测部304A在第1通知范围内检测出监视对象的情况与通过检测部304B在第2通知范围内检测出监视对象的情况之间改变激活通知功能时的通知方式(即,通知方法)。由此,挖土机100的操作者、管理者、周围的作业人员等能够容易地掌握是使用摄像装置40(摄像机40X)检测出监视对象,还是使用周围信息获取装置45(传感器45X)检测出监视对象。
例如,安全功能控制部305可以在通过检测部304A检测出监视对象的情况与通过检测部304B检测出监视对象的情况之间改变从声音输出装置54输出的声音的音色、音量、规律、鸣响周期、声音的内容等。并且,关于通过远程通知功能来激活管理装置200的输出装置230(声音输出装置)或终端装置300的输出装置330(声音输出装置)的情况也可以相同。具体而言,在通过检测部304B检测出监视对象的情况下,安全功能控制部305可以采用表示紧急度(风险)高于通过检测部304A检测出监视对象时的情况的音色、音量、规律、鸣响周期、声音的内容等。这是因为,如上所述,检测部304B的与监视对象相关的检测精确度趋于高于检测部304A。
并且,例如,安全功能控制部305也可以在通过检测部304A检测出监视对象的情况与通过检测部304B检测出监视对象的情况之间改变与显示于显示装置50等的通知功能相关的显示方式(例如,参考图20)。
[安装有可选设备时的安全功能的激活控制方法]
接着,参考图16对安装有增加挖土机100的占有体积的可选设备(以下,简称为“可选设备”)时的基于安全功能控制部305的安全功能的激活控制方法的具体例进行说明。
图16是说明安装有可选设备时的动作限制范围的图。
如图16所示,在本例子中,挖土机100在下部行走体1的前侧安装有作为可选设备的铲刀90。具体而言,铲刀90是以从下部行走体1(履带1CL、1CR)的直行方向上的前侧突出的方式安装的(图中的白色箭头)。因此,在下部行走体1向安装有铲刀90的方向(图中的右侧)行走(例如,直行行走或慢速回转行走)的情况下,与未安装铲刀90的状态相比,周围的作业人员610与挖土机100(铲刀90)之间的距离缩短。并且,在下部行走体1进行枢转转向或旋转转向等的情况下,铲刀90也会随着下部行走体1的动作而向挖土机100的周围进行回转动作,因此铲刀90回转半径增加从下部行走体1的前侧突出的量。因此,与在挖土机100上未安装铲刀90的状态相比,周围的作业人员610与挖土机100(铲刀90)之间的距离有可能会缩短。
相对于此,在铲刀90随着挖土机100的动作(即,下部行走体1的行走动作)而向挖土机100的周围移动的情况下,安全功能控制部305使安全功能比其他情况更容易被激活。其他情况例如包括下部行走体1向未安装铲刀90的后方行走而使铲刀90远离挖土机100的周围的情况。在本例子中,铲刀90朝向挖土机100的周围的方向(即,下部行走体1的前方)的动作限制范围的外缘被设定为,安装于下部行走体1的铲刀90比铲刀90未安装于下部行走体1的情况(例如,图中的点线620)更远离挖土机100(例如,图中的点线630)。该设定(变更)可以通过设定部302来执行,其设定内容可以登记于存储部303中。并且,关于与通知功能对应的通知范围的外缘也可以相同。由此,在挖土机100向安装有铲刀90的下部行走体1的前侧(图中的右侧)行走的情况下,安全功能控制部305能够根据基于检测部304的作业人员610的检测更早地激活安全功能(警报功能或动作限制功能)。因此,安全功能控制部305能够对应于可选设备的安装而更适当地激活安全功能。因此,周边监视装置150能够进一步提高挖土机100的安全性。换言之,在安装有可选设备(铲刀90)的情况下,安全功能控制部305能够以使挖土机100的安全性相对高于未安装可选设备的情况的方式激活安全功能。
并且,也可以代替将通知范围或动作限制范围的外缘设定在远离挖土机100的方向上,而通过缓和用于激活安全功能的其他条件而将其设定为使安全功能容易被激活。例如,在包括与通过检测部304检测出的监视对象的准确度的程度(以下,称为“监视对象的准确度”)相关的条件作为安全功能的激活条件的情况下,可以缓和该条件。与监视对象的准确度相关的信息从检测部304输出。具体而言,在铲刀90随着挖土机100的动作而向挖土机100的周围移动的情况下,设定部302可以将与监视对象的准确度的条件对应的阈值设定为相对低于其他情况。并且,在安装有铲刀90的情况下,设定部302可以将与监视对象的准确度的条件对应的阈值设定为相对低于未安装铲刀90的情况。由此,安全功能控制部305能够对应于可选设备的安装而更适当地激活安全功能。
并且,也可以代替缓和安全功能的激活条件,而将要激活的安全功能切换为安全性相对较高的规格。例如,设定部302可以在铲刀90随着挖土机100的动作而向挖土机100的周围移动的情况下设定为作为安全功能而可激活通知功能及动作限制功能,在其他情况下设定为仅可激活通知功能。并且,设定部302也可以在安装有铲刀90的情况下设定为作为安全功能而可激活通知功能及动作限制功能,在未安装铲刀90的情况下设定为作为安全功能而仅可激活通知功能。这是因为,从能够与操作者等的意图无关地强制性地限制挖土机100的动作的观点出发,动作限制功能的安全性相对高于通知功能。并且,设定部302也可以在铲刀90随着挖土机100的动作而向挖土机100的周围移动的情况下设定为能够以相对较高的限制度激活动作限制功能,在其他情况下设定为能够以相对较低的限制度激活动作限制功能。并且,设定部302也可以在安装有铲刀90的情况下设定为能够以相对较高的限制度激活动作限制功能,在未安装铲刀90的情况下设定为能够以相对较低的限制度激活动作限制功能。并且,设定部302也可以在铲刀90随着挖土机100的动作而向挖土机100的周围移动的情况下设定为能够以表示相对较高的紧急度(风险)的方式激活通知功能,在其他情况下设定为能够以表示相对较低的紧急度(风险)的方式激活通知功能。并且,设定部302也可以在安装有铲刀90的情况下设定为能够以表示相对较高的紧急度(风险)的方式激活通知功能,在未安装铲刀90的情况下设定为能够以表示相对较低的紧急度(风险)的方式激活通知功能。由此,安全功能控制部305能够对应于可选设备的安装而更适当地激活安全功能。
并且,关于代替铲刀90而安装有其他种类的可选设备或除铲刀90以外还安装有其他种类的可选设备的情况,也可以同样地以安全性相对较高的方式激活安全功能。其他种类的可选设备例如可以包括安装于上部回转体3的后部的追加配重或重量重于标准设备的配重的大型配重。并且,其他种类的可选设备也可以包括代替斗杆5安装的相对较长的长斗杆。并且,其他种类的可选设备例如也可以包括代替铲斗6安装的作为端接附件的备用附件(例如,破碎器或搅拌机等)或安装于端接附件与斗杆5之间的备用附件(例如,快速联轴器或倾斜旋转器等)。
并且,在能够装卸可选设备的情况下,安全功能控制部305可以按可选设备的种类判断有无可选设备,并根据其判断结果如上所述改变安全功能的激活方式。例如,设定部302根据操作者等通过输入装置52进行的规定的输入来进行与可选设备的安装状态(例如,每个种类的可选设备的安装与否等)相关的设定。然后,安全功能控制部305可以根据登记于存储部303中的其设定内容来判断有无可选设备。并且,例如,安全功能控制部305可以根据能够获取与可选设备的安装状况相关的信息的传感器(例如,摄像装置40或设置于可选设备的安装部的开关)等的输出按可选设备的种类自动判断是否安装有可选设备。
并且,在从未安装可选设备的状态跳转到安装有可选设备的状态的情况下,显示处理部301可以将与安全功能的激活方式的变更相关的通知(以下,简称为“变更通知”)显示于显示装置50等。该变更通知包括表示安全功能的激活对象自动变更的情况的通知。由此,周边监视装置150能够使操作者或管理者等掌握安全功能的激活方式因可选设备的安装而自动变更的情况。并且,该变更通知也可以为提示是否允许安全功能的激活方式的变更的通知。此时,在该变更通知显示于显示装置50等的情况下,操作者或管理者等使用者能够通过输入装置52、240、340允许或拒绝安全功能的激活方式的变更。因此,能够使操作者或管理者等使用者的意图反映到与可选设备的安装状况对应的安全功能的激活方式的变更中。并且,该变更通知也可以为提示手动变更安全功能的激活方式的通知。此时,使用者能够根据该变更通知手动进行安全功能的激活方式的变更。即,设定部302能够根据操作者或管理者等通过输入装置52、240、340进行的手动设定操作来变更安全功能的激活方式。因此,能够使操作者等使用者的意图反映到与可选设备的安装状况对应的安全功能的激活方式的变更中。
[外部通知功能的激活控制方法]
接着,对基于安全功能控制部305的外部通知功能的激活控制方法的具体例进行说明。
如上所述,安全功能控制部305构成为能够在通过检测部304检测出监视对象的情况下激活外部通知功能。
例如,由作为监视对象的作业人员的动作引起的挖土机100与周围的作业人员之间的位置关系的变化相对缓慢,从而认为安全性急剧地降低的可能性不大。因此,在安全性没那么降低的状况下,激活外部通知功能的必要性相对较低,相反地,若激活外部通知功能,则例如有可能还会惊吓到作业人员而引发作业失误。因此,在本例子中,在通过检测部304(在通知范围内)检测出监视对象的情况下,安全功能控制部305有时激活外部通知功能,有时则不激活外部通知功能。
另一方面,例如,还可设想到,挖土机100根据其操作状况或地形的状况,安全性因其动作而急剧地降低的情况。因此,认为即使在安全性没那么降低的状况下,向驾驶室10的内部的操作者或远程操作的操作者通知周围的作业人员等监视对象的存在的必要性也高。并且,在挖土机100通过自动运行功能进行作业的情况下,挖土机100的管理者等有时例如还会一边观察显示于管理装置200的输出装置230(显示装置)的监视图像,一边监视各挖土机100的作业状况。同样地,挖土机100的管理者等有时还会使用终端装置300来监视其作业状况。因此,认为即使在安全性没那么降低的状况下,向远程监视挖土机100的作业状况的管理者等通知周围的作业人员等监视对象的存在的必要性也高。因此,在通过检测部304在通知范围内检测出监视对象的情况下,即使在不激活外部通知功能时,安全功能控制部305也可以激活内部通知功能或远程通知功能。
例如,安全功能控制部305可以根据是通过检测部304A及检测部304B中的哪一个检测出监视对象而在激活外部通知功能与不激活外部通知功能之间进行切换。具体而言,安全功能控制部305可以构成为,在通过检测部304A检测出监视对象的情况下无法激活外部通知功能,另一方面,在通过检测部304B检测出监视对象的情况下可激活外部通知功能。例如,若外部通知功能被激活,则挖土机100的周围的作业人员等的作业有可能会停止,假设若是错误通知,则有可能会因不必要的外部通知功能的激活而降低作业效率。相对于此,如上所述,通过设为仅在通过检测部304A、304B中的检测精确度趋于相对较高的检测部304B检测出监视对象的情况下可激活外部通知功能,能够实现挖土机100的周围的安全性与作业效率之间的均衡。
并且,例如,在通过检测部304检测出监视对象的情况下,安全功能控制部305也可以通过与动作限制功能的激活状况联动而在激活外部通知功能与不激活外部通知功能之间进行切换。具体而言,即使在通过检测部304在通知范围内检测出监视对象的情况下,当不激活动作限制功能(例如,动作减速功能)时(例如,如后述,监视对象不可能会与挖土机100接触时等),安全功能控制部305也可以不激活外部通知功能。另一方面,在通过检测部304在通知范围内检测出监视对象且激活了动作限制功能(例如,动作减速功能)的情况下,安全功能控制部305可以激活外部通知功能。由此,周边监视装置150能够在确保挖土机100的安全性的同时,抑制在周围的监视对象与挖土机100接触的可能性不大的状况下激活外部通知功能而发生挖土机100的周围的作业人员等的作业停止的情况。因此,能够在考虑到挖土机100的安全性的同时,抑制作业现场的作业效率降低。并且,若挖土机100的动作限制功能被激活,则会引起挖土机100的周围的作业人员等的注意,因此从一开始挖土机100的周围的作业停止或延迟的可能性就高。因此,即使假设在这种状况下激活的外部通知功能是错误通知,由于从一开始挖土机100的周围的作业就会停止或延迟,因此也不易发生作业效率降低的问题。
并且,例如,在通过检测部304在通知范围内检测出监视对象的情况下,安全功能控制部305也可以根据在挖土机100动作的方向上是否存在监视对象而在激活外部通知功能与不激活外部通知功能之间进行切换。具体而言,安全功能控制部305可以根据挖土机100的操作信息来判断伴随被驱动要件(例如,下部行走体1、上部回转体3、附件等)的操作的挖土机100动作的方向,并在挖土机100动作的方向上不存在监视对象时不激活外部通知功能。另一方面,安全功能控制部305可以根据挖土机100的操作信息来判断伴随被驱动要件的操作的挖土机100动作的方向,并在挖土机100动作的方向上存在监视对象时激活外部通知功能。由此,周边监视装置150能够在确保挖土机100的安全性的同时,抑制在周围的监视对象与挖土机100接触的可能性不大的状况下激活外部通知功能而发生挖土机100的周围的作业人员等的作业停止的情况。因此,能够在考虑到挖土机100的安全性的同时,抑制作业现场的作业效率降低。
并且,例如,在通过检测部304在通知范围内检测出监视对象的情况下,安全功能控制部305也可以根据基于挖土机100与该监视对象之间的位置关系的风险的高低而在激活外部通知功能与不激活外部通知功能之间进行切换。
具体而言,安全功能控制部305可以在基于挖土机100与该监视对象之间的位置关系的风险(例如,接触的可能性等)相对较高时激活外部通知功能,另一方面,在基于挖土机100与该监视对象之间的位置关系的风险相对较低时不激活外部通知功能。该风险例如可以根据监视对象与挖土机100之间的距离来获取(计算)。并且,该风险例如也可以根据监视对象和与挖土机100的操作对应的被驱动要件的动作方向(例如,下部行走体1的行进方向、上部回转体3的回转方向、附件的移动方向等)来获取(计算)。由此,周边监视装置150能够在确保挖土机100的安全性的同时,抑制在周围的监视对象与挖土机100接触的可能性不大的状况下激活外部通知功能而发生挖土机100的周围的作业人员等的作业停止的情况。因此,能够在考虑到挖土机100的安全性的同时,抑制作业现场的作业效率降低。
并且,例如,在通过检测部304在通知范围内检测出监视对象的情况下,安全功能控制部305也可以根据门锁杆的操作状态而在激活外部通知功能与不激活外部通知功能之间进行切换。具体而言,当门锁杆处于解除状态时,安全功能控制部305可以激活外部通知功能。这是因为,当门锁杆处于解除状态时,挖土机100根据操作者的操作或与自动运行功能对应的操作指令来动作的可能性较高。另一方面,当门锁杆处于锁定状态时,安全功能控制部305可以不激活外部通知功能。这是因为,当门锁杆处于锁定状态时,操作者的操作或与自动运行功能对应的操作指令被无效化,挖土机100不会动作。由此,能够在考虑到挖土机100的安全性的同时,抑制作业现场的作业效率降低。
并且,例如,在通过检测部304在通知范围内检测出监视对象的情况下,安全功能控制部305也可以根据是否在其他激活条件成立时停止挖土机100的动作而在激活外部通知功能与不激活外部通知功能之间进行切换。具体而言,当在其他激活条件成立时未对应地停止(禁止)挖土机100的动作时,安全功能控制部305可以激活外部通知功能。这是因为,挖土机100有可能会根据操作者的操作或与自动运行功能对应的操作指令来动作。另一方面,当在其他激活条件成立时对应地停止(禁止)挖土机100的动作时,安全功能控制部305可以不激活外部通知功能。这是因为,挖土机100会与操作者的操作或与自动运行功能对应的操作指令无关地停止。由此,能够在考虑到挖土机100的安全性的同时,抑制作业现场的作业效率降低。
并且,例如,在通过检测部304在通知范围内检测出监视对象的情况下,安全功能控制部305也可以根据挖土机100的停止状态的持续时间的长短而在激活外部通知功能与不激活外部通知功能之间进行切换。具体而言,当挖土机100停止的持续时间长于规定阈值时,安全功能控制部305可以激活外部通知功能。这是因为,若挖土机100停止的持续时间相对较长,则挖土机100的周围的作业人员等认为挖土机100不会动的观念会变强,从而对安全性的观念有可能会降低。另一方面,当挖土机100停止的持续时间为规定阈值以下时(包括挖土机100未停止时),安全功能控制部305可以不激活外部通知功能。这是因为,认为相反地在挖土机100停止的持续时间相对较短且挖土机100持续移动的状态下,容易唤起作业人员对挖土机100的动作的注意,从而作业人员对安全性的观念会相对较高。由此,能够在考虑到挖土机100的安全性的同时,抑制作业现场的作业效率降低。
并且,在通过检测部304在通知范围内检测出监视对象的情况下,安全功能控制部305也可以根据挖土机100的停止状态下的开始动作的征兆而在激活外部通知功能与不激活外部通知功能之间进行切换。具体而言,当挖土机100停止且挖土机100有开始动作的征兆时,安全功能控制部305可以激活外部通知功能。并且,当挖土机100停止的持续时间为规定阈值以上且挖土机100有开始动作的征兆时,安全功能控制部305也可以激活外部通知功能。这是因为,挖土机100开始动作的可能性较高。另一方面,当挖土机100未停止时或停止中的挖土机100没有开始动作的征兆时,安全功能控制部305可以不激活外部通知功能。并且,当挖土机100停止的持续时间为规定阈值以下时(包括挖土机100未停止时)或停止中的挖土机100没有开始动作的征兆时,安全功能控制部305也可以不激活外部通知功能。这是因为,如上所述,认为在挖土机100移动的状况下,容易唤起作业人员对挖土机100的注意,从而作业人员对安全性的观念会相对较高。并且是因为,在挖土机100开始动作的可能性不大的状况下,外部通知功能的必要性会相对降低。由此,能够在考虑到挖土机100的安全性的同时,抑制作业现场的作业效率降低。
挖土机100有无开始动作的征兆例如可以根据门锁杆的操作状态来判断。这是因为,在门锁杆处于锁定状态的情况下,挖土机100开始动作的可能性不大,另一方面,在门锁杆从锁定状态操作为解除状态的情况下,挖土机100开始动作的可能性较高。并且,挖土机100有无开始动作的征兆例如也可以根据操作者有无开始操作的征兆来判断。操作者有无开始操作的征兆例如可以根据设置于驾驶室10的室内的摄像机或拍摄远程操作的操作者的摄像机的拍摄图像来识别。拍摄远程操作的操作者的摄像机例如设置于管理装置200或终端装置300。并且,操作者有无开始操作的征兆例如也可以根据操作者对操作装置26或远程操作用操作装置的接触状态(把持状态)来识别。例如,在操作装置26或远程操作用操作装置未被操作者把持的情况下,其输出稳定在相当于零的状态。另一方面,若操作者手握操作装置26或远程操作用操作装置,则操作装置26或远程操作用操作装置的输出在开始操作之前跳转到表示微小的操作量的状态。因此,通过监视操作装置26或远程操作用操作装置的输出(压力信号或电信号),能够掌握操作者的手与操作装置或远程操作用操作装置的接触状态,从而识别出操作者有无开始操作的征兆。并且,挖土机100有无开始动作的征兆也可以根据挖土机100的动作规律来判断。挖土机100的动作规律例如可以根据操作者的操作的内容或与自动运行功能对应的操作指令的内容的历史来识别。
并且,例如,设定部302可以根据操作者等通过输入装置52进行的规定的操作来进行切换外部通知功能的开启(有效化)及关闭(无效化)的设定。此时,在通过检测部304在通知范围内检测出监视对象的情况下,安全功能控制部305可以根据与外部通知功能的激活与否相关的设定状况而在激活外部通知功能与不激活外部通知功能之间进行切换。具体而言,在通过检测部304在通知范围内检测出监视对象的情况下,安全功能控制部305可以在外部通知功能设定为开启(有效化)时激活外部通知功能,在外部通知功能设定为关闭(无效化)时不激活外部通知功能。由此,周边监视装置150能够将操作者等的意图反映到是否激活外部通知功能的判断中。
如上所述,安全功能控制部305可以通过声音输出装置54来激活外部通知功能。如上所述,声音输出装置54例如包括喇叭54a或行走警报器54b等。由此,安全功能控制部305能够使用现有的喇叭54a或行走警报器54b来实现外部通知功能。因此,能够抑制用于实现外部通知功能的成本。
例如,喇叭54a可以为能够通过与旋钮开关64的开启操作无关地根据来自控制器30的与外部通知功能的激活对应的控制指令(控制电流)使线圈通电而使继电器62闭合来鸣响的结构。控制器30通过适当控制喇叭继电器的打开/关闭规律,能够从喇叭54a以规定的鸣响规律输出声音。此时,与外部通知功能对应的喇叭54a的鸣响规律通常可以设定为与操作者等开始行走时使该喇叭鸣响时的鸣响规律不同的方式。由此,周边监视装置150能够使挖土机100的周围的作业人员等识别挖土机100开始行走时的通知(信号)和外部通知功能的激活。
并且,例如,行走警报器54b根据与外部通知功能的激活对应的控制器30的控制指令以规定的鸣响规律输出声音。此时,与外部通知功能对应的行走警报器的鸣响规律可以设定为与通常下部行走体1行走时不同的方式(例如,"哔哔哔、哔哔哔、哔哔哔、……"地反复鸣响的蜂鸣声)。由此,与喇叭54a的情况相同地,周边监视装置150能够使挖土机100的周围的作业人员等识别挖土机100行走时的通知和外部通知功能的激活。
并且,如上所述,安全功能控制部305也可以使用设置于上部回转体3的容纳部等的前照灯等照明装置或外部用显示装置来激活外部通知功能。
例如,照明装置根据与外部通知功能的激活对应的控制器30的控制指令而点亮或以规定的规律反复点亮和熄灭。
并且,例如,外部用的显示装置根据与外部通知功能的激活对应的控制器30的控制指令来显示提示挖土机100的周围的作业人员或监管人员等撤离挖土机100的周围的字符信息。
[动作限制功能的激活控制方法]
接着,参考图17~图19对基于安全功能控制部305的动作限制功能的激活控制方法的具体例进行说明。
图17是说明判断与挖土机100的周围的监视对象之间有无接触的方法的图,具体而言,图17中示出了挖土机100的下部行走体1(履带1CL、1CR)向图中的右侧直行行走时的作业状况700。图18、图19是说明动作限制功能的激活控制方法的图。具体而言,图18、图19分别是表示挖土机100的作业状况810、820下的动作限制功能的激活控制方法的图。
在本例子中,在通过检测部304在动作限制范围内检测出监视对象的情况下,安全功能控制部305根据对应于挖土机100的操作(即,操作装置26的操作或远程操作)或与自动运行功能对应的操作指令的挖土机100的动作来判断该监视对象与挖土机100是否发生接触。然后,在断定该监视对象与挖土机100会发生接触的情况下,安全功能控制部305激活动作停止功能,从而停止针对挖土机100的操作的挖土机100的动作。
具体而言,安全功能控制部305可以根据作为操作对象的被驱动要件的操作信息来判断被驱动要件动作的方向。然后,安全功能控制部305可以根据与挖土机100的外表面和(通过检测部304检测出的)监视对象之间的位置关系相关的信息和所断定的挖土机100动作的方向来预测挖土机100与监视对象之间有无接触。与挖土机100的外表面和监视对象之间的位置关系相关的信息例如可以包括摄像装置40(摄像机40X)或周围信息获取装置45(传感器45X)的输出信息或检测部304的检测结果等。并且,与挖土机100的外表面和监视对象之间的位置关系相关的信息例如可以包括与摄像机40X或传感器45X在挖土机100(上部回转体3)上的设置位置相关的信息。这是因为,能够根据获取与监视对象相关的信息的摄像机40X、传感器45X的设置位置来判断监视对象靠近挖土机100的外表面的哪个部分等。并且,与挖土机100的外表面和监视对象之间的位置关系相关的信息可以包括与相对于挖土机100动作的方向的挖土机100的体型结构(例如,宽度等规格或形状等)相关的信息。这是因为,挖土机100的外表面与监视对象之间的位置关系有可能会根据相对于挖土机100动作的方向的挖土机100的体型结构(占用宽度)而发生变化。
例如,在通过检测部304检测出监视对象的情况下,安全功能控制部305按规定周期根据被驱动要件的操作信息来判断伴随被驱动要件的动作的挖土机100动作的方向。由此,挖土机100动作的方向的判断结果会对应于被驱动要件的操作信息的变化而被更新。同样地,检测部304按规定周期进行检测挖土机100的周围的监视对象的处理,并输出检测出的监视对象的位置信息。由此,通过检测部304持续检测出的监视对象与挖土机100之间的相对位置信息被依次更新。然后,安全功能控制部305可以根据自己判断的挖土机100动作的方向和从检测部304输出的监视对象的位置信息来判断挖土机100与监视对象是否会在此后的直至经过规定时间为止的期间内发生接触。由此,安全功能控制部305能够对应于依次更新的挖土机100动作的方向和从挖土机100观察时的监视对象的位置依次更新挖土机100与周围的监视对象之间有无接触的判断结果。因此,即使在与被驱动要件相关的操作内容发生变化的状况下(例如,即使在进行将与下部行走体1相关的操作内容从直行行走改变为慢速回转行走的行走操作的情况下等),也能够适当地判断挖土机100与监视对象之间有无接触。
并且,例如,安全功能控制部305也可以使用根据与挖土机100的外表面和监视对象之间的位置关系相关的信息和所断定的挖土机100动作的方向设定的规定范围(即,动作停止范围)来判断挖土机100与监视对象之间有无接触。具体而言,动作停止范围可以作为挖土机100与监视对象之间有可能会发生接触的范围而按规定周期通过设定部302设定。
例如,在图17的作业状况700下,用实线表示上部回转体3及附件的挖土机100(以下,简称为“实线的挖土机100”)中,上部回转体3(附件)相对于下部行走体1的直行方向(图中的右侧)向左回转90度,从而朝向图中的上方。并且,用单点划线表示上部回转体3及附件的挖土机100(以下,简称为“单点划线的挖土机100”)中,上部回转体3相对于下部行走体1的直行方向(图中的右侧)向左回转,从而朝向图中的右上方。
在实线的挖土机100的下部行走体1向图中的右侧行走的情况下,机身(下部行走体1及上部回转体3)在俯视下穿过由履带1CL的左端部(外端部)和上部回转体3的后端部规定的点线710之间的宽度(范围)。因此,在实线的挖土机100的状态的情况下,当下部行走体1行走时,安全功能控制部305能够根据履带1CL的左端部(外端部)及上部回转体3的后端部与周围的监视对象(例如,作业人员730)之间的位置关系来判断监视对象与挖土机100(机身)之间有无接触。并且,安全功能控制部305还能够根据相对于挖土机100的直行方向(图中的右侧)的挖土机100的机身的体型结构(点线710之间的宽度)和挖土机100的周围的监视对象的相对位置来判断监视对象与挖土机100(机身)之间有无接触。例如,安全功能控制部305可以在由对点线710之间的宽度附加规定的余量(例如,1米~1.5米)而得的宽度规定的动作停止范围内检测出监视对象的情况下断定挖土机100与监视对象发生接触。
另一方面,在单点划线的挖土机100的下部行走体1向图中的右侧行走的情况下,机身(下部行走体1及上部回转体3)在俯视下穿过由上部回转体3的左前端的角部和右后端的角部规定的单点划线720之间的宽度(范围)。因此,在单点划线的挖土机100的状态的情况下,当下部行走体1行走时,安全功能控制部305能够根据上部回转体3的左前端的角部及右后端的角部与周围的监视对象(例如,作业人员730)之间的位置关系来判断监视对象与挖土机100(机身)之间有无接触。并且,安全功能控制部305还能够根据挖土机100的机身相对于挖土机100的直行方向(图中的右侧)的体型结构(单点划线720之间的宽度)和挖土机100的周围的监视对象的相对位置来判断监视对象与挖土机100(机身)之间有无接触。例如,安全功能控制部305可以在由对单点划线720之间的宽度追加规定的余量而得的宽度规定的动作停止范围内检测出监视对象的情况下断定挖土机100与监视对象发生接触。
如上所述,在实线的挖土机100的状态的情况下,动作停止范围相当于点线710之间的范围,在单点划线的挖土机100的状态的情况下,动作停止范围相当于单点划线720之间的范围。即,设定部302可以根据上部回转体3相对于下部行走体1的回转角度来改变动作停止范围。由此,设定部302能够对应于上部回转体3的回转角度更适当地设定动作停止范围。与上部回转体3的回转角度相关的信息例如可以根据摄像机40X的拍摄图像来获取。具体而言,可以根据映现于摄像机40X的拍摄图像的履带的外观或映现于哪个摄像机40X等来判断上部回转体3的回转角度。并且,也可以在挖土机100设置能够获取与上部回转体3的回转角度相关的信息的传感器(例如,搭载于上部回转体3的旋转编码器、加速度传感器、角速度传感器、六轴传感器、IMU(Inertial Me asurement Unit:惯性测量单元等)。
并且,在图17的作业状况700下,设想了下部行走体1直行行走的情况,但除直行行走以外,下部行走体1还具有慢速回转行走、枢转转向、旋转转向等行走方式。因此,安全功能控制部305可以根据从操作信息输出装置29输入的操作信息来判断是与下部行走体1的直行行走对应的行走操作,还是与慢速回转行走对应的行走操作,还是与枢转转向对应的回转操作,还是与旋转转向对应的回转操作。即,与下部行走体1相关的操作信息可以包括表示与直行行走对应的行走操作的信息、表示与慢速回转行走对应的行走操作的信息、表示与枢转转向对应的行走操作的信息及表示与旋转转向对应的行走操作的信息中的至少一个。
如此,安全功能控制部305通过考虑机身等相对于挖土机100的被驱动要件的动作方向的体型结构(占用宽度),能够判断挖土机100与通过检测部304检测出的周围的监视对象之间有无接触。具体而言,安全功能控制部305可以根据与挖土机100的被驱动要件相关的操作信息及与挖土机100的外表面和监视对象之间的位置关系相关的信息来判断监视对象与挖土机100是否随着被驱动要件的动作而发生接触。并且,在下部行走体1的行走操作的情况下,与下部行走体1的行走操作相关的信息包括表示与直行行走对应的行走操作的信息、表示与慢速回转行走对应的行走操作的信息、表示与枢转转向对应的行走操作的信息及表示与旋转转向对应的行走操作的信息中的至少一个。由此,安全功能控制部305能够更详细地掌握下部行走体1的行进方向,从而更适当地判断挖土机100与监视对象之间有无接触。
例如,在图18的作业状况810下,挖土机100处于以下部行走体1的直行方向(图中的右侧)为基准的回转角度为向左90度的状态。并且,在下部行走体1的前方(图中的右侧)的正面存在通过检测部304检测出的作业人员811。
此时,安全功能控制部305允许下部行走体1根据下部行走体1的行走操作而向后方(图中的左侧)行进(后退)。这是因为,由于挖土机100向远离作业人员811的方向移动,因此挖土机100与作业人员811不会发生接触。另一方面,安全功能控制部305禁止根据下部行走体1的行走操作而向下部行走体1的前方(图中的右侧)行进(前进),并激活动作停止功能。这是因为,由于作业人员811存在于挖土机100的行进方向的正面,因此若照原样行进,则挖土机100会靠近作业人员811,从而挖土机100与作业人员811之间会发生接触。
并且,在图19的作业状况820下,与图18的作业状况810相同地,挖土机100处于以下部行走体1的直行方向(图中的右侧)为基准的回转角度为向左90度的状态。并且,在下部行走体1的右后方且履带1CR的右前方存在通过检测部304检测出的作业人员821。
此时,安全功能控制部305允许下部行走体1根据下部行走体1的行走操作而向后方(图中的左侧)行进(后退)。这是因为,由于挖土机100向远离作业人员811的方向移动,因此挖土机100与作业人员811不会发生接触。并且,安全功能控制部305还允许根据下部行走体1的行走操作而向下部行走体1的前方(图中的右侧)行进(前进)。这是因为,虽然挖土机100随着下部行走体1的行走而靠近作业人员812,但会一定程度远离挖土机100的占用宽度的端部(单点划线822),因此即使照原样行进(直行),挖土机100与作业人员811之间也不会发生接触。
另外,在图19的作业状况820下进行与下部行走体1向右侧的慢速回转行走对应的行走操作的情况下,挖土机100一边向右回转,一边朝向作业人员812移动。因此,在下部行走体1的行走操作为向右侧的慢速回转行走的情况下,安全功能控制部305可以禁止挖土机100的行进,并激活动作停止功能。由此,安全功能控制部305能够根据下部行走体1的行走操作的内容而更适当地激活动作停止功能。
如此,在挖土机100根据挖土机100的操作而有可能会与通过检测部304检测出的监视对象接触的情况下,安全功能控制部305激活动作停止功能,从而停止针对该操作的挖土机100的动作。另一方面,即使在挖土机100根据挖土机100的操作而靠近通过检测部304检测出的监视对象的情况下,当监视对象与挖土机100不会发生接触时,安全功能控制部305也会允许针对该操作的挖土机100的动作。具体而言,安全功能控制部305判断被驱动要件的挖土机100与通过检测部304检测出的监视对象是否会接触,并在断定挖土机100与监视对象之间不会发生接触的情况下,允许针对挖土机100的操作的挖土机100的动作。此时,安全功能控制部305可以在激活动作减速功能来减小挖土机100的动作速度的同时,允许挖土机100的动作,也可以允许挖土机100的动作,而不激活挖土机100的动作限制功能本身。由此,周边监视装置150能够在挖土机100与监视对象之间不发生接触的情况下允许挖土机100的动作,从而实现挖土机100的安全性与作业效率之间的均衡。因此,周边监视装置150能够根据挖土机100的周围的障碍物(监视对象)的存在而更适当地停止挖土机100的动作。
[检测出监视对象时的监视图像的显示控制方法]
接着,参考图20~图22对通过检测部304检测出监视对象时的基于显示处理部301的监视图像的显示控制方法的具体例进行说明。
图20~图22是表示通过检测部304检测出监视对象时的监视图像的具体例的图。具体而言,图20~图22分别是表示通过检测部304检测出监视对象时显示于显示装置50的监视图像的第1例~第3例(监视图像910~930)的图。
另外,在图22中,用点线描绘了未实际显示的指示图像934、935。
首先,如图20所示,在显示处理部301的控制下,显示装置50中显示有摄像机40B的拍摄图像(直通图像)作为监视图像910。
监视图像910中映现有戴着安全帽且穿着反光背心的作业人员911。在本例子中,由于作业人员911既戴着安全帽也穿着反光背心,因此既会被检测部304A检测出也会被检测部304B检测出。
并且,监视图像910中重叠显示有表示通过检测部304A检测出作业人员911的情况的框912。由此,操作者等容易识别通过检测部304A检测出的作业人员911的存在和其位置。
并且,框912可以根据通过检测部304(检测部304A)检测出的监视对象(作业人员911)距挖土机100的距离来改变其显示方式。例如,框912可以在通过检测部304A检测出的监视对象与挖土机100之间的距离相对较远的情况下用黄色显示,在该监视对象与挖土机100之间的距离相对较近的情况下用红色显示。由此,操作者等能够通过框912的显示方式来掌握挖土机100与监视对象之间的位置关系(距离)。关于上述图10的框520和后述的图22的框932也可以相同。
并且,监视图像910中重叠显示有表示监视图像910内存在通过检测部304B检测出的监视对象(作业人员911)的情况的指示图像913。由此,操作者等能够识别通过检测部304B检测出的监视对象位于当前显示的监视图像910内的情况。
指示图像913具有箭头(arrowhead)形状,并显示于监视图像910的下端部,即,监视图像910的上下方向上靠近挖土机100的机身(上部回转体3)的端部。指示图像913从监视图像910的相当于挖土机100的机身侧的下端部指向监视图像910的内部,即,相当于监视图像910的内侧的上方。由此,指示图像913具体能够表示监视图像910内存在通过检测部304B检测出的监视对象(作业人员911)的情况。
并且,指示图像913由多个圆形图像(具体而言,14个圆形图像)构成箭头形状,且监视图像910从圆形图像之间的间隙部暴露。由此,即使在指示图像913重叠显示于监视图像910(摄像机40X的拍摄图像)的情况下,也能够使操作者等适当地掌握与显示有指示图像913的监视图像910的部分对应的挖土机100的周围的状态。并且,即使在指示图像913重叠显示于相当于监视对象的图像部分的情况下,通过指示图像913的间隙部也可照原样暴露相当于监视对象的图像部分和相当于背景的图像部分。因此,操作者等的使用者能够在监视图像910中容易地区分重叠有指示图像913的相当于监视对象的图像部分和相当于背景的图像部分。以下,关于后述的图21的指示图像921、922及图22的指示图像933~935也相同。
另外,指示图像913也可以由没有间隙部的连续的箭头形状构成。此时,指示图像913(连续的箭头形状)可以以使被重叠的背面的图像部分透明可见的方式显示。由此,即使在指示图像913重叠显示于监视图像910(摄像机40X的拍摄图像)的情况下,也能够使操作者等适当地掌握与显示有指示图像913的监视图像910的部分对应的挖土机100的周围的状态。
并且,指示图像913可以根据通过检测部304(检测部304B)检测出的监视对象(作业人员911)距挖土机100的距离来改变其显示方式。例如,指示图像913可以在通过检测部304B检测出的监视对象与挖土机100之间的距离相对较远的情况下用黄色显示,在该监视对象与挖土机100之间的距离相对较近的情况下用红色显示。由此,操作者等能够通过指示图像913的显示方式来掌握挖土机100与监视对象之间的位置关系(距离)。以下,关于后述的图21的指示图像921、922及图22的指示图像933~935也可以相同。
另外,在本例子中,在显示装置50的整个显示区域中显示了监视图像910,但也可以以在显示装置50的显示区域留有空白的方式显示监视图像910。此时,可以在空白部分显示指示图像913。以下,关于后述的图21的指示图像921、922也可以相同。并且,指示图像913不仅可以在通过检测部304B检测出监视对象的情况下显示,而且还可以在通过检测部304A检测出监视对象的情况下显示。以下,关于后述的图21的指示图像921、922及图22的指示图像933~935也可以相同。并且,也可以代替指示图像913在监视图像910中显示能够指示存在通过检测部304B检测出的监视对象的情况的其他方式的指示图像。例如,可以在监视图像910的下端部在摄像机40B的拍摄图像上重叠显示具有向上的箭头形状的指示图像。并且,例如,也可以在监视图像910的下端部在摄像机40B的拍摄图像上重叠显示具有向上的顶点的等腰三角形(或正三角形)的指示图像。此时,箭头形状或等腰三角形等的指示图像可以与指示图像913相同地为具有照原样暴露被重叠的背面的图像部分的间隙部的方式,也可以为使被重叠的后侧的图像部分透明可见的方式。由此,与指示图像913的情况相同地,即使在指示图像重叠显示于监视图像910的情况下,也能够使操作者等适当地掌握与显示有指示图像的监视图像910的部分对应的挖土机100的周围的状态。以下,关于后述的图21的指示图像921、922及图22的指示图像933~935也可以相同。
如此,监视图像910(直通图像)中显示有从挖土机100(上部回转体3)观察显示于拍摄图像的范围时表示通过检测部304B检测出的监视对象(作业人员911)所存在的方向的指示图像913。由此,操作者能够通过指示图像913容易地掌握以显示于显示装置50的拍摄图像中的挖土机100的周围的范围为基准在哪个方向上存在通过检测部304B检测出的监视对象。
接着,如图21所示,显示装置50中显示有摄像机40B的拍摄图像(直通图像)作为监视图像920。
在本例子中,通过检测部304B在与监视图像920对应的挖土机100的周围的范围外检测出监视对象(作业人员)。
监视图像920中重叠显示有表示通过检测部304B在与监视图像920对应的挖土机100的周围的范围外检测出监视对象的情况的指示图像921、922。由此,操作者等能够识别在与监视图像920对应的挖土机100的周围的范围外检测出监视对象的情况。
与图20的指示图像913相同地,指示图像921具有箭头(arrowhead)形状,且重叠显示于监视图像920的左端的上下方向上的中央附近。指示图像921指向监视图像920的外侧,即,相当于监视图像920的外侧的左侧。由此,指示图像921能够表示在周向上比与监视图像920对应的挖土机100的周围的范围更靠左侧的范围(例如,摄像机40R的拍摄范围)内存在通过检测部304B检测出的监视对象的情况。即,指示图像921以监视图像920为基准指向通过检测部304B检测出的监视对象所存在的方向。由此,操作者等能够直观地掌握以当前显示于显示装置50的监视图像920为基准在哪个方向上存在监视对象。因此,操作者等能够通过输入装置52来进行切换显示装置50的显示内容的操作,从而使拍摄范围内包括通过检测部304B检测出的监视对象的摄像机40R的拍摄图像显示于显示装置50作为监视图像。
与指示图像921相同地,指示图像922具有箭头形状,且重叠显示于监视图像920的右端的上下方向上的中央附近。指示图像922指向监视图像920的外侧,即,相当于监视图像920的外侧的右侧。由此,指示图像922能够表示在周向上比与监视图像920对应的挖土机100的周围的范围更靠右侧的范围(例如,摄像机40L的拍摄范围)内存在通过检测部304B检测出的监视对象的情况。即,指示图像922以监视图像920为基准指向通过检测部304B检测出的监视对象所存在的方向。由此,操作者等能够直观地掌握以当前显示于显示装置50的监视图像920为基准在哪个方向上存在监视对象。因此,操作者等能够通过输入装置52来进行切换显示装置50的显示内容的操作,从而使拍摄范围内包括通过检测部304B检测出的监视对象的摄像机40L的拍摄图像显示于显示装置50作为监视图像。
另外,在通过检测部304在与显示于显示装置50的监视图像对应的挖土机100的周围的范围外检测出监视对象的情况下,只要未通过输入装置52进行切换显示内容的操作,则显示处理部301可以维持使该监视图像显示于显示装置50的状态。这是因为,操作者等能够通过指示图像921、922来掌握检测出的监视对象所存在的位置。由此,周边监视装置150能够优先与显示装置50的显示内容相关的使用者的意愿。并且,除显示装置50以外,驾驶室10内还可以设置有其他显示装置。此时,在通过检测部304在与显示于显示装置50的监视图像对应的挖土机100的周围的范围外检测出监视对象的情况下,显示处理部301可以使与该监视对象所存在的位置对应的摄像机40X的拍摄图像自动显示于其他显示装置。由此,提高操作者等的便利性。并且,在通过检测部304在与显示于显示装置50的监视图像对应的挖土机100的周围的范围外检测出监视对象的情况下,控制器30也可以代替通过显示装置50传达该内容而通过其他方法向操作者等传达该内容,或者除通过显示装置50传达该内容以外,还通过其他方法向操作者等传达该内容。例如,在与显示于显示装置50的监视图像对应的挖土机100的周围的范围外检测出监视对象的情况下,控制器30可以通过利用声音输出装置54输出规定的声或声音而向操作者等传达该内容。
如此,监视图像920(直通图像)中显示有从挖土机100(上部回转体3)观察显示于拍摄图像的范围时表示通过检测部304B检测出的监视对象所存在的方向的指示图像921、922。由此,操作者能够通过指示图像921、922容易地掌握以显示于显示装置50的拍摄图像中的挖土机100的周围的范围为基准在哪个方向上存在通过检测部304B检测出的监视对象。
接着,如图22所示,显示装置50中显示有包括基于摄像机40B、40L、40R的拍摄图像的视点转换图像EP及挖土机图像CG的监视图像930。
在本例子中,监视图像930中,在与上部回转体3的后方对应的位置映现有戴着安全帽且穿着反光背心的作业人员931。在本例子中,由于作业人员931既戴着安全帽也穿着反光背心,因此既会被检测部304A检测出也会被检测部304B检测出。
并且,监视图像930中重叠显示有表示通过检测部304A检测出作业人员931的情况的框932。由此,操作者等容易识别通过检测部304A检测出的作业人员931的存在和其位置。
并且,监视图像930中显示有表示监视图像910内存在通过检测部304B检测出的监视对象(作业人员931)的情况的指示图像933。由此,操作者等能够识别通过检测部304B检测出的监视对象位于当前显示的监视图像930内的情况。
指示图像933重叠显示于从视点转换图像EP中的挖土机100(挖土机图像CG)观察时的后方的外缘部分,即,水平图像HVP的部分。指示图像933从视点转换图像EP的外缘(水平图像HVP的部分)指向内侧,即,从视点转换图像EP的外缘朝向挖土机100(挖土机图像CG)的上方。由此,指示图像933具体能够表示监视图像930内存在通过检测部304B检测出的监视对象(作业人员931)的情况。并且,指示图像933重叠配置于与上部回转体3的后方对应的视点转换图像EP(水平图像HVP)的部分。由此,能够表示通过检测部304B检测出的监视对象(作业人员931)存在于挖土机100(上部回转体3)的后方的情况。
并且,虽然在本例子中未检测出,但在通过检测部304B在上部回转体3的左侧(例如,摄像机40L的拍摄范围)检测出监视对象的情况下,在与上部回转体3的左侧对应的视点转换图像EP(水平图像HVP)的部分显示指示图像934(点线)。指示图像934重叠显示于从视点转换图像EP中的挖土机100(挖土机图像CG)观察时的左侧的外缘部分,即,水平图像HVP的部分。指示图像934从视点转换图像EP的外缘(水平图像HVP的部分)指向内侧,即,从视点转换图像EP的外缘朝向挖土机100(挖土机图像CG)的右侧。由此,指示图像934具体能够表示监视图像930内存在通过检测部304B检测出的监视对象的情况。并且,指示图像934重叠配置于与上部回转体3的左侧对应的视点转换图像EP(水平图像HVP)的部分。由此,能够表示通过检测部304B检测出的监视对象存在于挖土机100(上部回转体3)的左侧的情况。
同样地,虽然在本例子中未检测出,但在通过检测部304B在上部回转体3的右侧(例如,摄像机40R的拍摄范围)检测出监视对象的情况下,在与上部回转体3的右侧对应的视点转换图像EP(水平图像HVP)的部分显示指示图像935(点线)。指示图像935重叠显示于从视点转换图像EP中的挖土机100(挖土机图像CG)观察时的右侧的外缘部分,即,水平图像HVP的部分。指示图像935从视点转换图像EP的外缘(水平图像HVP的部分)指向内侧,即,从视点转换图像EP的外缘朝向挖土机100(挖土机图像CG)的左侧。由此,指示图像935具体能够表示监视图像930内存在通过检测部304B检测出的监视对象的情况。并且,指示图像935重叠配置于与上部回转体3的右侧对应的视点转换图像EP(水平图像HVP)的部分。由此,能够表示通过检测部304B检测出的监视对象存在于挖土机100(上部回转体3)的右侧的情况。
另外,指示图像933~935也可以显示于监视图像930中的视点转换图像EP的周围的空白部分。
并且,与本例子的监视图像910、920、930相同的监视图像可以显示于管理装置200的输出装置230(显示装置)或终端装置300的输出装置330(显示装置)。由此,操作者能够一边确认显示于管理装置200或终端装置300的显示装置的相同的监视图像,一边进行挖土机100的远程操作。并且,在挖土机100通过自动运行功能进行作业的情况下,挖土机100的管理者等能够一边观察显示于管理装置200的输出装置230(显示装置)的相同的监视图像,一边监视多个挖土机100各自的作业状况。同样地,挖土机100的管理者等例如能够一边观察显示于终端装置300的输出装置330(显示装置)的相同的监视图像,一边监视各挖土机100的作业状况。
[作用]
接着,对本实施方式所涉及的挖土机100(周边监视装置150)的作用进行说明。
在本实施方式中,检测部304B的监视对象的检测范围包括映现于显示装置50等中显示的周围图像(例如,直通图像或视点转换图像)的挖土机100的周围的相对较近的整个范围。
由此,周边监视装置150能够检测出进入到能够作为周围图像而显示于显示装置50等的相对靠近挖土机100的监视区域内的所有监视对象。因此,周边监视装置150能够抑制尽管监视对象显示于显示装置50但仍未会被检测的情况。因此,周边监视装置150能够更适当地实现能够检测出监视对象的挖土机100的周围的范围。
并且,在本实施方式中,检测部304B可以构成为,即使在规定的物体中仅一部分映现于显示装置50等中显示的周围图像的情况下,也能够检测出规定的物体。
由此,例如,即使在监视对象中仅一部分映现于显示装置50等的直通图像中而使用摄像装置40的拍摄图像也无法检测出该监视对象的状况下,周边监视装置150也能够检测出该监视对象。
并且,在本实施方式中,在通过检测部304检测出仅一部分映现于周围图像的规定的物体的情况下,显示装置50等可以显示表示检测出该规定的物体的情况的图像(例如,图10的框520)。
由此,周边监视装置150能够向挖土机100的操作者或管理者等使用者通知检测出仅一部分映现于周围图像的监视对象的情况。因此,周边监视装置150能够使使用者认知即使是仅一部分映现于周围图像的监视对象也能够检测出该监视对象。
并且,在本实施方式中,检测部304可以构成为,即使在规定的物体中仅一部分映现于显示装置50等中显示的摄像机40X的拍摄图像(直通图像)的左右方向上的端部的情况下,也能够检测出该规定的物体。
由此,周边监视装置150具体能够使使用者认知即使是仅一部分映现于直通图像的监视对象也能够检测出该监视对象。
并且,在本实施方式中,检测部304可以构成为,即使在规定的物体中仅一部分映现于以显示于显示装置50等的视点转换图像EP的挖土机图像CG为中心的周向上的端部的情况下,也能够检测出该规定的物体。
由此,周边监视装置150具体能够使使用者认知即使是仅一部分映现于视点转换图像EP的监视对象也能够检测出该监视对象。
并且,在本实施方式中,在上部回转体3回转且其朝向偏离与履带1C的直行方向一致的基准状态的情况下,面向履带1C的直行方向的空间可以包括在能够通过检测部304检测出规定的物体的范围及能够作为周围图像(监视图像)而显示于显示装置50等的范围中的至少一个范围内。
例如,有可能会发生如下状况:履带1C的行进方向较大地偏离驾驶室10的前方,导致操作者难以肉眼观察面向履带1C的直行方向的位置。
相对于此,即使在这种状况下,周边监视装置150也能够检测出存在于面向履带1C的直行方向的位置的监视对象或使该位置显示于显示装置50等。因此,如上所述,周边监视装置150能够提高下部行走体1行走时的安全性。
并且,在本实施方式中,摄像装置40可以至少包括三个摄像机40X,周围信息获取装置45可以至少包括四个传感器45X。具体而言,三个摄像机40X(摄像机40B、40L、40R)分别可以拍摄从上部回转体3的左前方遍及至左后方的左侧的范围、从上部回转体3的左后方遍及至右后方的后方的范围及从上部回转体3的右后方遍及至右前方的右侧的范围,四个传感器45X(传感器45BL、45BR、45L、45R)分别可以获取与从上部回转体3的左前方遍及至左后方的左侧的范围、从上部回转体3的左后方遍及至后方的左后方的范围、从上部回转体3的后方遍及至右后方的右后方的范围及从上部回转体3的右后方遍及至右侧的右侧的范围各自的状况相关的信息。
由此,周边监视装置150具体能够使用四个传感器45X检测出能够作为周围图像而显示于显示装置50等的从挖土机100观察时的周围的周向上的范围内的所有监视对象。
并且,在本实施方式中,四个传感器45X中,负责上部回转体3的左侧的范围及右侧的范围的两个传感器45X(45L、45R)分别可以构成为,在以下部行走体1的直行方向为基准的上部回转体3的回转角度为90度的情况下,能够获取面向从上部回转体3观察时的前侧的履带1C的直行方向的空间的信息。
由此,在以下部行走体1的直行方向为基准的上部回转体3的回转角度为90度的状态下,周边监视装置150能够使用传感器45L、45R的输出信息检测出存在于面向履带1C的直行方向的位置的监视对象。
并且,在本实施方式中,传感器45X可以为LIDAR。
由此,周边监视装置150例如能够使用从LIDAR输出的受光强度信息高精确度地识别挖土机100的作业现场的作业人员所穿的带反光材料的衣服(例如,反光背心RV等)。因此,周边监视装置150能够以相对较高的精确度检测出作为监视对象的挖土机100的周围的作业人员。
并且,在本实施方式中,在通过检测部304B检测出规定的物体的情况下,安全功能控制部305可以限制挖土机100的动作。
由此,周边监视装置150能够以存在于能够作为周围图像而显示于显示装置50等的挖土机100的周围的周向上的动作限制范围内的所有监视对象为对象进行挖土机100的动作限制。因此,周边监视装置150能够提高挖土机100的安全性。
并且,在本实施方式中,在上部回转体3回转且其朝向偏离与履带1C的直行方向一致的基准状态的情况下,面向履带1C的直行方向的空间包括在能够通过检测部304B检测出规定的物体的范围及能够作为周围图像而显示于显示装置50等的范围中的至少一个范围内。
例如,有可能会发生如下状况:履带1C的行进方向较大地偏离驾驶室10的前方,导致操作者难以肉眼观察面向履带1C的直行方向的位置。
相对于此,即使在这种状况下,周边监视装置150也能够检测出存在于面向履带1C的直行方向的位置的监视对象或使该位置显示于显示装置50等。因此,周边监视装置150能够提高挖土机100的安全性。
并且,在本实施方式中,在以履带1C的直行方向为基准的上部回转体3的回转角度为90度的情况下,面向从上部回转体3观察时的前侧的履带1C的直行方向的空间可以包括在能够通过检测部304B检测出规定的物体的范围及能够作为周围图像而显示于显示装置50等的范围中的至少一个范围内。
例如,有可能会发生如下状况:一边使下部行走体1向从上部回转体3观察时的左右方向上行走,一边依次进行斜坡的挖土或碾压等成形作业等。
相对于此,例如,在这种状况下,周边监视装置150能够检测出面向前侧的履带1C的直行方向的位置的监视对象或使该位置显示于显示装置50等。由此,周边监视装置150能够在具体的作业状况下提高挖土机100的安全性。
[变形/变更]
以上,对实施方式进行了详细叙述,但本发明并不限定于该特定的实施方式,可以在技术方案中记载的主旨范围内进行各种变形和变更。
例如,上述实施方式所涉及的周边监视装置150可以搭载于挖土机100以外的任意的施工机械。例如,周边监视装置150可以搭载于安装有起重磁铁的起重磁铁设备、推土机、轮式装载机、沥青滚平机、林业机械等作为端接附件。
并且,上述实施方式及变形例的检测部304的功能(即,能够识别安全装备的佩戴状况的检测装置(识别装置))也可以代替挖土机100而设置于作业现场的结构物、其他施工机械、作业车辆、建筑物等,或者除挖土机100以外,还设置于作业现场的结构物、其他施工机械、作业车辆、建筑物等。作业现场的结构物例如包括入口的门等。作业现场的其他施工机械例如包括推土机、起重机等。作业现场的作业车辆例如包括卡车等。作业现场的建筑物例如包括临时办公室等。由此,例如,作业现场的管理者等能够利用检测装置的检测结果在作业现场的大范围内掌握作业现场的作业人员的安全装备的佩戴状况。因此,管理者等能够利用检测装置的检测结果来进行作业现场的安全管理。并且,与检测装置的检测结果相关的信息可以为记录于存储部中的方式。此时,检测装置和实现存储部或记录部等的结构的硬件(例如,终端装置或服务器装置)等可以设置于相同的地点,也可以以通过有线或无线可通信的方式设置于不同的地点。
例如,图23是表示作业现场安全管理系统2000的结构的一例的框图。
如图23所示,作业现场安全管理系统2000包括控制装置2100、摄像机2200、传感器2300、输入装置2400、输出装置2500及通信装置2600。
控制装置2100进行与作业现场安全管理系统2000相关的控制。在作业现场内,控制装置2100可以设置于与设置有摄像机2200或传感器2300的地点相同或相对靠近设置有摄像机2200或传感器2300的地点,也可以设置于与摄像机2200或传感器2300不同的地点。控制装置2100例如可以设置于作业现场的结构物或建筑物等。并且,控制装置2100例如也可以设置于作业现场的包括挖土机100的施工机械或作业车辆等。在设置于挖土机100的情况下,控制装置2100相当于上述实施方式的控制器30。
控制装置2100的功能可以由任意的硬件或任意的硬件及软件的组合等来实现。控制装置2100例如可以以包括CPU、RAM等存储器装置、ROM等辅助存储装置及用于从外部输入或向外部输出的接口装置等的计算机为中心而构成。
控制装置2100例如包括检测部2110、设定部2120及日志输出部2150作为功能部,该功能部通过将安装于辅助存储装置的程序下载到存储器装置中并由CPU执行来实现。并且,控制装置2100例如利用存储部2130、2140,该存储部2130、2140由控制装置2100的辅助存储装置等内部存储器或能够与控制装置2100进行通信的外部存储装置中规定的存储区域来实现。
摄像机2200拍摄作业现场的状态。摄像机2200与控制装置2100连接成能够进行通信,其输出(拍摄图像)被输入于控制装置2100。摄像机2200例如可以设置于作业现场的结构物或建筑物等。并且,摄像机2200例如也可以设置于作业现场的包括挖土机100的施工机械或作业车辆等。在设置于挖土机100的情况下,摄像机2200相当于上述实施方式的摄像装置40(摄像机40X)。
传感器2300获取与作业现场的状况相关的信息。传感器2300与控制装置2100连接成能够进行通信,其输出被输入于控制装置2100。传感器2300例如可以与周围信息获取装置45(传感器45X)相同地为LIDAR。并且,传感器2300例如也可以与周围信息获取装置45(传感器45X)相同地为毫米波雷达或超声波传感器等。以下,以传感器2300为LIDAR的情况为中心进行说明。
摄像机2200的拍摄范围和传感器2300的信息获取范围设定为至少一部分重叠。由此,在使用摄像机2200的输出的情况及使用传感器2300的输出的情况这两种情况下,检测部2110均能够检测出存在于该重叠的范围内的同一监视对象(作业人员)。
输入装置2400受理来自作业现场的管理者、监管人员、作业人员等使用者的各种输入。输入装置2400与控制装置2100连接成能够进行通信,与所受理的各种输入对应的信号输入于控制装置2100。输入装置2400例如包括受理来自使用者的操作输入的操作输入装置。并且,输入装置2400例如可以包括受理来自使用者的声音输入或手势输入等的声音输入装置或手势输入装置等。
输出装置2500与控制装置2100连接成能够进行通信,并根据从控制装置2100输入的数据向作业现场的管理者、监管人员、作业人员等使用者输出信息。输出装置2500例如包括输出视觉信息的显示装置或照明装置等。并且,输出装置2500例如包括输出听觉信息的声音输出装置。
通信装置2600设置于与控制装置2100相同的地点,并且与设置有控制装置2100的地点的外部(例如,管理装置200或终端装置300等)进行通信。
检测部2110根据摄像机2200或传感器2300的输出检测出作业现场的作业人员。检测部2110包括检测部2110A、2110B。
检测部2110A通过与上述实施方式的检测部304A相同的方法,根据摄像机2200的输出(拍摄图像)在作业现场的规定的监视区域内检测出人(作业人员)。由此,检测部2110A能够检测出监视区域内的作业人员,并确定作业人员的位置,或者确定检测出的作业人员对应于预先登记的多个登记作业人员中的哪一个。并且,检测部2110A通过识别摄像机2200的拍摄图像上的安全帽,能够以相对较高的概率(检测精确度)检测出戴着安全帽的作业人员。即,检测部2110A能够识别根据安全帽以外的特征检测出的作业人员或通过检测部2110B检测出的作业人员是否戴着安全帽。
检测部2110B通过与上述实施方式的检测部304B相同的方法,根据传感器2300的输出在与作业现场的检测部2110A的情况相同的监视区域内检测出人(作业人员)。由此,检测部2110B能够检测出监视区域内的作业人员,并确定作业人员的位置。并且,检测部2110B通过利用受光强度信息,能够以相对较高的概率(检测精确度)检测出穿着带反光材料的衣服的作业人员。即,检测部2110B能够识别根据带反光材料的衣服以外的特征检测出的作业人员或通过检测部2110A检测出的作业人员是否穿着带反光材料的衣服。
并且,在检测出作业人员的情况下,检测部2110可以判断检测出的作业人员的多个(种类的)安全装备的佩戴状况。多个安全装备例如为作业现场安全管理系统2000的管理对象的规定必须在作业现场佩戴或建议在作业现场佩戴的安全装备。如上所述,多个安全装备例如可以包括安全帽或带反光材料的衣服。并且,如上所述,多个安全装备例如也可以包括安全带、噪声现场的耳塞、安全靴等。并且,多个安全装备例如也可以包括电弧焊接用或防振用等手套、防尘用或防毒用口罩、防尘用或遮光用等眼镜、焊接用面具等。并且,多个安全装备例如也可以包括当施工机械等靠近时输出警报的ID标签等。
在检测出作业人员的情况下,检测部2110例如可以根据检测部2110A及检测部2110B的检测结果来判断是否戴着安全帽及穿着带反光材料的衣服。
并且,在检测出作业人员的情况下,检测部2110例如也可以综合考虑摄像机2200的输出(拍摄图像)及传感器2300的输出(受光信息)来判断多个安全装备的佩戴状况。具体而言,检测部2110可以根据摄像机2200的拍摄图像的图像特征量和基于受光信息的作业人员的佩戴物的立体形状等来判断多个安全装备的每一个是否被佩戴。此时,存储部2130中可以构建有与用于针对多个安全装备的每一个判断是否佩戴了安全装备的图像特征量及受光信息等相关的数据库(以下,称为“佩戴状况判断用数据库”)。佩戴状况判断用数据库例如可以通过利用实验或模拟试验的结果的机器学习(强化学习)等预先构建。然后,检测部2110可以比较摄像机2200的拍摄图像的图像特征量及传感器2300的受光信息与佩戴状况判断数据库的内容来判断检测出的作业人员多个安全装备的每一个是否被佩戴。
并且,检测部2110可以通过输出装置2500向包括检测出的作业人员的使用者输出与检测出的作业人员的多个安全装备的佩戴状况的判断结果相关的信息。
例如,在断定未佩戴多个安全装备中的某一个的情况下,检测部2110可以通过输出装置2500输出表示未佩戴安全装备的警报(警告)。并且,例如,在多个安全装备均被佩戴的情况下,检测部2110可以通过输出装置2500向作业人员输出表示完成了所有安全装备的佩戴的情况的通知。由此,作业现场安全管理系统2000能够提示作业人员佩戴规定必须在作业现场佩戴或建议在作业现场佩戴的多个安全装备。
设定部2120根据通过输入装置2400受理的来自使用者的规定的输入来进行与作业现场安全管理系统2000相关的设定。由此,使用者能够通过输入装置2400使控制装置2100以所期望的方式进行与作业现场安全管理系统2000相关的设定。
设定部2120例如可以根据通过输入装置2400进行的规定的输入来进行追加或删除识别对象的安全装备之类的设定。并且,设定部2120例如也可以根据通过输入装置2400进行的规定的输入来进行与佩戴状况判断用数据库相关的设定,即,登记新的佩戴状况判断用数据库或更新佩戴状况判断用数据库等。通过设定部2120进行的设定(变更)的内容登记(存储)于存储部2130中。
存储部2130中存储有与作业现场安全管理系统2000相关的各种设定内容等。如上所述,存储部2130中例如登记有规定识别对象的多种安全装备的设定内容等。并且,如上所述,存储部2130中例如构建有佩戴状况判断用数据库。
存储部2140中存储(记录)有与基于检测部2110的判断结果相关的日志信息,该判断结果与作业人员的多个安全装备的佩戴状况相关。例如,若通过检测部2110检测出作业人员,则包括作业人员的检测日期和时间、检测出的作业人员的识别信息(例如,多个登记作业人员的每一个的固有ID)及表示多个安全装备的每一个是否被佩戴的信息的日志信息(记录)记录于存储部2140中。由此,能够在存储部2140中构建基于记录数据组的与多个安全装备的佩戴状况的判断结果相关的数据库。
日志输出部2150向外部输出记录于存储部2140中的与作业人员的多个安全装备的佩戴状况的判断结果相关的日志信息。
日志输出部2150例如根据通过输入装置2400进行的规定的输入将存储部2140的日志信息通过输出装置2500输出至使用者。由此,使用者能够通过输出装置2500确认过去的作业人员的安全装备的佩戴状况的历史或根据该历史来进行与作业现场内的安全装备的佩戴状况相关的分析。
并且,日志输出部2150例如也可以根据通过输入装置2400进行的规定的输入将存储部2140的日志信息通过通信装置2600输出(发送)至控制装置2100的外部(例如,管理装置200或终端装置300)。由此,例如,使用者能够将日志信息取出到管理装置200或终端装置300等外部来确认过去的作业人员的安全装备的佩戴状况的历史或根据该历史来进行与作业现场内的安全装备的佩戴状况相关的分析。
如此,在本例子中,作业现场安全管理系统2000包括不同种类的多个传感器(例如,摄像机2200及传感器2300)。并且,检测部2110根据多个传感器的输出检测出作业现场的作业人员,并判断(识别)作业人员对建议在作业现场佩戴或规定必须在作业现场佩戴的多个安全装备的每一个的佩戴状况。
由此,作业现场安全管理系统2000能够掌握作业现场的作业人员的安全装备的佩戴状况。因此,作业现场的管理者等例如能够根据作业现场的检测出的作业人员的多个安全装备的佩戴状况的判断结果(识别结果)来提示未进行安全装备的佩戴的特定的作业人员佩戴安全装备。因此,作业现场安全管理系统2000能够提高作业现场的安全性。
并且,在本例子中,存储部2140中可以记录有基于检测部2110的与检测出的作业人员的多个安全装备的佩戴状况的判断结果(识别结果)相关的信息。
由此,使用者例如能够通过与输出装置2500或控制装置2100连接成能够进行通信的外部装置(例如,管理装置200或终端装置300等)在事后确认与安全装备的佩戴状况相关的判断结果的日志信息(历史)。因此,使用者能够通过在事后确认或分析日志信息来研究提高作业现场的安全装备的佩戴率的措施等。因此,作业现场安全管理系统2000能够进一步提高作业现场的安全性。
最后,本申请主张基于2019年4月26日申请的日本专利申请2019-086883号的优先权,并通过参考将日本专利申请的全部内容引用于本申请中。
符号说明
1-下部行走体,1C、1CL、1CR-履带,3-上部回转体,4-动臂,5-斗杆,6-铲斗,10-驾驶室,30-控制器,40-摄像装置,40B、40L、40R-摄像机,45-周围信息获取装置(获取装置),45BL、45BR、45L、45LF、45LR、45R、45RF、45RR-传感器,50-显示装置,52-输入装置,54-声音输出装置,54a-喇叭,54b-行走警报器,56-液压控制阀,70-通信装置,100-挖土机,150-周边监视装置,200-管理装置,210-控制装置,220-通信装置,230-输出装置,240-输入装置,300-终端装置,301-显示处理部,302-设定部,303-存储部,304-检测部,304A-检测部,304B-检测部,305-安全功能控制部(动作限制部),310-控制装置,320-通信装置,330-输出装置,340-输入装置,1000-挖土机管理系统,2000-作业现场安全管理系统,2100-控制装置,2110-检测部,2120-设定部,2130-存储部,2140-存储部,2150-日志输出部,2200-摄像机,2300-传感器,2400-输入装置,2500-输出装置,2600-通信装置,HMT-安全帽,RV-反光背心。
Claims (11)
1.一种挖土机,其具备:
下部行走体,包括一对履带;
上部回转体,回转自如地搭载于所述下部行走体;
摄像装置,搭载于所述上部回转体,且拍摄挖土机的周围,包括多个摄像机;
获取装置,搭载于所述上部回转体,且能够获取与挖土机的周围的状况相关的信息,包括多个传感器;
检测部,根据所述摄像装置及所述获取装置的输出检测出挖土机的周围的规定的物体;及
显示装置,根据所述摄像装置的拍摄图像来显示表示挖土机的周围的状况的周围图像,
所述检测部的可检测区域即所述检测部检测到所述规定的物体的可检测区域包括从所述挖土机观察时周向上的整个周围区域,所述周围区域映现于显示在所述显示装置的所述周围图像中,
在所述上部回转体进行了转动并且所述上部回转体的朝向与所述履带的直行方向不一致的状态下,位于所述履带的直行方向上的区域包括在所述检测部的所述可检测区域和作为周围图像可显示在所述显示装置上的可显示区域的一个或两个中,
在所述上部回转体在所述上部回转体相对于所述履带的直行方向的转动角度小于90°的范围内相对较大地回转情况下,位于所述履带的直行方向上的区域包括在所述可检测区域和所述可显示区域的一个或两个中。
2.根据权利要求1所述的挖土机,其中,
所述检测部构成为,即使在所述规定的物体中仅一部分映现于所述显示装置中显示的所述周围图像的情况下,也能够检测出该规定的物体。
3.根据权利要求2所述的挖土机,其中,
在通过所述检测部检测出仅一部分映现于所述周围图像的所述规定的物体的情况下,所述显示装置显示表示检测出该规定的物体的情况的图像。
4.根据权利要求2或3所述的挖土机,其中,
所述周围图像为所述拍摄图像,
所述检测部构成为,即使在所述规定的物体中仅一部分映现于所述显示装置中显示的所述拍摄图像的左右方向上的端部的情况下,也能够检测出该规定的物体。
5.根据权利要求2或3所述的挖土机,其中,
所述周围图像包括根据所述拍摄图像生成的挖土机的周围的俯视图像,
所述检测部构成为,即使在所述规定的物体中仅一部分映现于以所述俯视图像的挖土机为中心的周向上的端部的情况下,也能够检测出该规定的物体。
6.根据权利要求1-3中任一项所述的挖土机,其中,
所述摄像装置至少包括三个摄像机,
所述获取装置至少包括四个传感器。
7.根据权利要求6所述的挖土机,其中,
所述三个摄像机分别拍摄从所述上部回转体的左前方遍及至左后方的左侧的范围、从所述上部回转体的左后方遍及至右后方的后方的范围及从所述上部回转体的右后方遍及至右前方的右侧的范围,
所述四个传感器分别获取与从所述上部回转体的左前方遍及至左后方的左侧的范围、从所述上部回转体的左后方遍及至后方的左后方的范围、从所述上部回转体的后方遍及至右后方的右后方的范围及从所述上部回转体的右后方遍及至右侧的右侧的范围各自的状况相关的信息。
8.根据权利要求7所述的挖土机,其中,
所述四个传感器中,负责所述上部回转体的左侧的范围及右侧的范围的两个传感器分别构成为,在以所述下部行走体的直行方向为基准的所述上部回转体的回转角度为90度的情况下,能够获取在直行方向上面向从所述上部回转体观察时的前侧的所述履带的空间的所述信息。
9.根据权利要求7或8所述的挖土机,其中,
所述四个传感器分别为LIDAR。
10.根据权利要求1-3中任一项所述的挖土机,其具备动作限制部,
所述动作限制部在通过所述检测部检测出所述规定的物体的情况下限制挖土机的动作。
11.一种挖土机,其具备:
下部行走体,包括一对履带;
上部回转体,回转自如地搭载于所述下部行走体;
摄像装置,搭载于所述上部回转体,且拍摄挖土机的周围,包括多个摄像机;
获取装置,搭载于所述上部回转体,且能够获取与挖土机的周围的状况相关的信息,包括多个传感器;
检测部,根据所述摄像装置及所述获取装置的输出检测出挖土机的周围的规定的物体;及
显示装置,根据所述摄像装置的拍摄图像来显示表示挖土机的周围的状况的周围图像,
所述检测部的检测范围包括映现于所述显示装置中显示的所述周围图像的挖土机的周围的相对较近的整个范围,
所述检测部的可检测区域即所述检测部检测到所述规定的物体的可检测区域包括从所述挖土机观察时周向上的整个周围区域,所述周围区域映现于显示在所述显示装置的所述周围图像中,
在所述上部回转体进行了转动并且所述上部回转体的朝向与所述履带的直行方向不一致的状态下,位于所述履带的直行方向上的区域包括在所述检测部的所述可检测区域和作为周围图像可显示在所述显示装置上的可显示区域的一个或两个中,
在以所述履带的直行方向为基准的所述上部回转体的回转角度为90度的情况下,在直行方向上面向从所述上部回转体观察时的前侧的所述履带的空间包括在能够通过所述检测部检测出所述规定的物体的范围及能够作为所述周围图像而显示于所述显示装置的范围中的至少一个范围内。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019-086883 | 2019-04-26 | ||
JP2019086883 | 2019-04-26 | ||
PCT/JP2020/017575 WO2020218455A1 (ja) | 2019-04-26 | 2020-04-23 | ショベル |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113728141A CN113728141A (zh) | 2021-11-30 |
CN113728141B true CN113728141B (zh) | 2024-04-09 |
Family
ID=72942192
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080031474.6A Active CN113728141B (zh) | 2019-04-26 | 2020-04-23 | 挖土机 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20220042286A1 (zh) |
EP (1) | EP3960938B1 (zh) |
JP (1) | JP7407178B2 (zh) |
KR (1) | KR20220002941A (zh) |
CN (1) | CN113728141B (zh) |
WO (1) | WO2020218455A1 (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220002938A (ko) * | 2019-04-26 | 2022-01-07 | 스미토모 겐키 가부시키가이샤 | 쇼벨 |
JP7291645B2 (ja) * | 2020-01-31 | 2023-06-15 | 株式会社小松製作所 | 作業機械の誤操作を防止するためのシステム、制御方法、およびショベル |
KR20220052172A (ko) * | 2020-10-20 | 2022-04-27 | 현대모비스 주식회사 | 서라운드뷰 모니터링 시스템 및 그 제공 방법 |
JP2022107894A (ja) * | 2021-01-12 | 2022-07-25 | コベルコ建機株式会社 | 作業機械および遠隔操作支援システム |
JP2022175822A (ja) * | 2021-05-14 | 2022-11-25 | ヤンマーホールディングス株式会社 | 安全監視システム |
DE102021206995A1 (de) | 2021-07-05 | 2023-01-05 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren und System zum Visualisieren von dreidimensionalen Arbeitsbereichsbegrenzungen in einem Sichtfeld eines Bedieners einer mobilen Arbeitsmaschine |
US11746501B1 (en) | 2022-08-29 | 2023-09-05 | RIM Intelligent Machines, Inc. | Autonomous control of operations of powered earth-moving vehicles using data from on-vehicle perception systems |
US11898324B1 (en) | 2022-12-19 | 2024-02-13 | AIM Intelligent Machines, Inc. | Adaptive control system for autonomous control of powered earth-moving vehicles |
WO2024143349A1 (ja) * | 2022-12-28 | 2024-07-04 | 住友重機械工業株式会社 | 作業機械の周辺監視システム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010059653A (ja) * | 2008-09-02 | 2010-03-18 | Hitachi Constr Mach Co Ltd | 作業機械の視野補助装置 |
JP2017203352A (ja) * | 2016-05-13 | 2017-11-16 | 住友重機械工業株式会社 | ショベル |
CN109154154A (zh) * | 2016-07-05 | 2019-01-04 | 住友建机株式会社 | 挖土机 |
JP2019060228A (ja) * | 2018-11-01 | 2019-04-18 | 住友重機械工業株式会社 | 作業機械用周辺監視装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6204884B2 (ja) * | 2014-07-25 | 2017-09-27 | 日立建機株式会社 | 旋回式作業機の周囲表示装置 |
KR20180042251A (ko) * | 2015-08-26 | 2018-04-25 | 스미토모 겐키 가부시키가이샤 | 쇼벨의 계측장치 |
JP6729146B2 (ja) * | 2016-08-03 | 2020-07-22 | コベルコ建機株式会社 | 障害物検出装置 |
JP6756555B2 (ja) * | 2016-09-09 | 2020-09-16 | 株式会社タダノ | 俯瞰画像システム、俯瞰画像表示方法およびプログラム |
JP6760163B2 (ja) * | 2017-03-22 | 2020-09-23 | コベルコ建機株式会社 | 建設機械 |
JP6925837B2 (ja) * | 2017-03-31 | 2021-08-25 | 住友重機械工業株式会社 | 作業機械用周辺監視システム |
US10889958B2 (en) * | 2017-06-06 | 2021-01-12 | Caterpillar Inc. | Display system for machine |
JP2019086883A (ja) | 2017-11-02 | 2019-06-06 | 日本電信電話株式会社 | デバイス探索システム及びデバイス探索方法 |
JP7039983B2 (ja) * | 2017-12-13 | 2022-03-23 | コベルコ建機株式会社 | 建設機械用の注意喚起装置 |
KR102305144B1 (ko) * | 2017-12-14 | 2021-09-28 | 히다찌 겐끼 가부시키가이샤 | 작업 기계 |
-
2020
- 2020-04-23 CN CN202080031474.6A patent/CN113728141B/zh active Active
- 2020-04-23 EP EP20794134.5A patent/EP3960938B1/en active Active
- 2020-04-23 WO PCT/JP2020/017575 patent/WO2020218455A1/ja unknown
- 2020-04-23 JP JP2021516223A patent/JP7407178B2/ja active Active
- 2020-04-23 KR KR1020217036067A patent/KR20220002941A/ko active IP Right Grant
-
2021
- 2021-10-25 US US17/452,098 patent/US20220042286A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010059653A (ja) * | 2008-09-02 | 2010-03-18 | Hitachi Constr Mach Co Ltd | 作業機械の視野補助装置 |
JP2017203352A (ja) * | 2016-05-13 | 2017-11-16 | 住友重機械工業株式会社 | ショベル |
CN109154154A (zh) * | 2016-07-05 | 2019-01-04 | 住友建机株式会社 | 挖土机 |
JP2019060228A (ja) * | 2018-11-01 | 2019-04-18 | 住友重機械工業株式会社 | 作業機械用周辺監視装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7407178B2 (ja) | 2023-12-28 |
WO2020218455A1 (ja) | 2020-10-29 |
JPWO2020218455A1 (zh) | 2020-10-29 |
CN113728141A (zh) | 2021-11-30 |
US20220042286A1 (en) | 2022-02-10 |
EP3960938B1 (en) | 2024-08-14 |
EP3960938A4 (en) | 2022-06-22 |
KR20220002941A (ko) | 2022-01-07 |
EP3960938A1 (en) | 2022-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113728141B (zh) | 挖土机 | |
CN113748247B (zh) | 挖土机、作业现场的安全装备确认系统 | |
US20220074171A1 (en) | Display device, shovel, and information processing apparatus | |
JP7358070B2 (ja) | ショベル | |
CN111601934A (zh) | 挖土机 | |
US12054919B2 (en) | Shovel with external notification function | |
JP2020183623A (ja) | ショベル | |
JP7203640B2 (ja) | 作業機械用情報処理装置、情報管理システム、作業機械用情報処理プログラム | |
CN114144556A (zh) | 挖土机及信息处理装置 | |
JP2022157923A (ja) | ショベル | |
WO2021192224A1 (ja) | 作業機械用情報処理装置、情報管理システム、作業機械用情報処理プログラム | |
CN115280395A (zh) | 检测系统以及检测方法 | |
CN117145004A (zh) | 作业机械的控制方法、作业机械用控制程序、作业机械用控制系统以及作业机械 | |
JP2020183622A (ja) | ショベル、ショベルのシリーズ | |
CN114787454A (zh) | 施工机械、信息处理装置 | |
JP2021120515A (ja) | 作業機械、情報処理装置 | |
WO2023171711A1 (ja) | 操作支援装置、作業機械、遠隔操作支援装置、プログラム | |
JP2023093109A (ja) | 建設機械、及び情報処理装置 | |
JP2023063988A (ja) | ショベル | |
JP2023063989A (ja) | ショベル | |
JP2023063991A (ja) | ショベル | |
JP2023063992A (ja) | ショベル | |
JP2023063990A (ja) | ショベル | |
CN118525121A (zh) | 操作支援装置、施工机械、远程操作支援装置及程序 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |