CN109689983A - 工程机械的周围监视装置 - Google Patents

工程机械的周围监视装置 Download PDF

Info

Publication number
CN109689983A
CN109689983A CN201780055620.7A CN201780055620A CN109689983A CN 109689983 A CN109689983 A CN 109689983A CN 201780055620 A CN201780055620 A CN 201780055620A CN 109689983 A CN109689983 A CN 109689983A
Authority
CN
China
Prior art keywords
mentioned
grade
visual confirmation
engineering machinery
barrier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780055620.7A
Other languages
English (en)
Other versions
CN109689983B (zh
Inventor
黑发和重
坂本博史
水落麻里子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Construction Machinery Co Ltd
Original Assignee
Hitachi Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Construction Machinery Co Ltd filed Critical Hitachi Construction Machinery Co Ltd
Publication of CN109689983A publication Critical patent/CN109689983A/zh
Application granted granted Critical
Publication of CN109689983B publication Critical patent/CN109689983B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • B60Q5/005—Arrangement or adaptation of acoustic signal devices automatically actuated
    • B60Q5/006—Arrangement or adaptation of acoustic signal devices automatically actuated indicating risk of collision between vehicles or with pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C23/00—Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes
    • B66C23/88—Safety gear
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Structural Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Civil Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Acoustics & Sound (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)

Abstract

控制器(50)具备：机械状态获取部(400)，其获取液压挖掘机的姿势以及动作的信息；死角计算部(500)，其基于机械状态获取部(400)获取到的液压挖掘机的姿势以及动作的信息计算从液压挖掘机的驾驶席(1f)的死角区域；以及视觉确认等级决定部(300)，其基于死角计算部(500)计算出的死角区域和位置关系计算部(200)计算出的位置关系来决定对于障碍物的视觉确认等级。进一步，通过控制器(50)的警报等级决定部(600)，根据由视觉确认等级决定部(300)决定的视觉确认等级来修正警报等级。

Description

工程机械的周围监视装置
技术领域
本发明涉及检测在工程机械的周围存在的障碍物并输出针对操作人员的警报的工程机械的周围监视装置。
背景技术
在液压挖掘机等工程机械中，有时会为了防止接触事故，而安装周围监视装置，用于检测在工程机械的周围存在的人或者物体等障碍物，并对于工程机械的操作人员发出警报。但是，在实际的作业现场，多数情形知道作业人员在工程机械的附近进行作业并且有意地使工程机械动作。在这样的环境下，尽管知道作业人员在附近也从周围监视装置发出警报。
作为尝试解决这样的问题的装置之一，有专利文献1所记载的装置。该装置通过图像处理判断存在于工程机械的周围的障碍物是否是人，并通过根据工程机械的状态、与障碍物的位置关系决定警报等级而抑制不必要的警报。另外，在专利文献2所记载的装置中，通过基于操作人员的视线判断操作人员是否在视觉确认障碍物而发出警报，来实现防止过度的警报。
现有技术文献
专利文献
专利文献1：日本特开2010－198519号公报
专利文献2：日本特开2006－027481号公报
发明内容
发明要解决的课题
然而，在专利文献1中，仅是基于工程机械与周围的障碍物的位置关系、工程机械的动作判定危险程度，完全不考虑操作人员是否实际视觉确认该障碍物。例如，即使工程机械和障碍物处于警报被输出的位置关系，若操作人员在识别出存在障碍物的状态下进行操作，则引起接触事故的可能性也较低，针对操作人员的警报的必要性也不高。在这样的场景下，若与操作人员未识别出障碍物时相同地连续发出警报则使操作人员感觉困扰的可能性较高。因此，专利文献1所记载的装置存在基于操作人员是否视觉确认障碍物而改善警报的发出方式的余地。
另外，在专利文献2中，根据操作人员的视线进行了视觉确认判定，但并未考虑伴随工程机械的操作的死角的变化这样的工程机械特有的现象。特别是在具备前端作业装置的工程机械中，在作业中不断产生死角的变化，可以想到即使操作人员的视线与障碍物的位置一致，也有不能视觉确认存在于前端作业装置的背后的障碍物这样的情况。这样，在将引用文献2的技术应用到工程机械的情况下，视觉确认判定的可靠性不充分。
本发明的目的在于，关于在工程机械的周围存在的障碍物，发出没有过度和不足的适当的警报。
用于解决课题的手段
本申请包括多个用于解决上述课题的单元，但若举出其一个例子，则在工程机械的周围监视装置中，具备控制装置，该控制装置具有：障碍物检测部，其检测在工程机械的周围存在的障碍物；位置关系计算部，其计算由上述障碍物检测部检测出的上述障碍物与上述工程机械的位置关系；警报等级决定部，其基于由上述位置关系计算部计算出的上述位置关系来决定警报等级；以及警报输出部，其将与由上述警报等级决定部决定的上述警报等级对应的警报内容输出到输出装置，上述控制装置还具有：机械状态获取部，其获取上述工程机械的姿势以及动作的信息；死角计算部，其基于上述机械状态获取部获取到的上述工程机械的姿势以及动作的信息计算从上述工程机械的驾驶席的死角区域；以及视觉确认等级决定部，其基于上述死角计算部计算出的上述死角区域和上述位置关系计算部计算出的上述位置关系决定对于上述障碍物的视觉确认等级，上述警报等级决定部根据由上述视觉确认等级决定部决定的上述视觉确认等级来修正上述警报等级。
发明效果
根据本发明，关于通知存在障碍物的警报而言，基于操作人员的视线和工程机械的姿势考虑了操作人员是否正在视觉确认障碍物，所以能够发出适当的警报。
附图说明
图1是本发明的实施方式的液压挖掘机的概略结构图。
图2是图1的液压挖掘机的系统结构图。
图3是本发明的第一实施方式的控制器50的功能框图。
图4是表示第一实施方式的死角计算部500的处理的流程的图。
图5是表示死角区域数据C的例子的图。
图6是操作人员操作(液压挖掘机的动作)与操作人员注视方向(视线方向)的关系图。
图7是表示死角区域数据A的例子的图。
图8是表示前端作业装置1A位于驾驶室1f的操作人员的视线的位置上方的情况下的可视区域511的图。
图9是表示与图8的情况相比使斗杆1b向铲装侧动作的情况下的操作人员的可视区域511的图。
图10是表示与图9的情况相比进一步使斗杆1b向铲装侧动作的情况下的操作人员的可视区域511的图。
图11是表示作为视觉辅助装置而利用了立体摄像机13a的情况下的死角区域数据B的例子的图。
图12是表示作为视觉辅助装置而利用了后视镜的情况下的死角区域数据B的例子的图。
图13是表示视觉确认等级决定部300的处理的流程的图。
图14是表示警报等级决定部600的处理的流程的图。
图15是表示警报输出部700的处理的流程的图。
图16是表示警报等级1的警报画面的例子的图。
图17是表示警报等级2的警报画面的例子的图。
图18是第二实施方式的控制器50的功能框图。
图19是表示第二实施方式的死角计算部500中的处理的流程的图。
具体实施方式
以下，使用附图对本发明的实施方式进行说明。
＜第一实施方式＞
[液压挖掘机的基本结构]
图1是本发明的实施方式的液压挖掘机的概略结构图。在图1中，液压挖掘机具备履带式的行驶体1e和能够旋转地安装于行驶体1e的上部的旋转体1d。行驶体1e被左右的行驶液压马达3e、3f驱动。旋转体1d被旋转液压马达3d产生的转矩驱动，向左右方向旋转。
在旋转体1d上设置有驾驶席1f，在旋转体1d的前方安装有能够进行目标施工面的形成作业的多关节型的前端作业装置1A。
前端作业装置1A具备被动臂气缸3a驱动的动臂1a、被斗杆气缸3b驱动的斗杆1b以及被铲斗气缸3c驱动的铲斗1c。
在驾驶席1f设置有：操作杆26，用于根据操作方向以及操作量产生对于动臂气缸3a、斗杆气缸3b，铲斗气缸3c，行驶液压马达3e、3f以及旋转液压马达3d的控制信号(从齿轮泵24(参照图2)输出的先导压力(パイロット圧)(以下也称为Pi压))，并通过该控制信号使动臂1a、斗杆1b、铲斗1c、旋转体1d以及行驶体1e动作；发动机控制旋钮(dial)51(参照图2)，用于指示发动机21(参照图2)的目标转速；警报输出装置10(显示装置10a以及声音输出装置10b)，用于向操作人员报告在液压挖掘机的周围检测到的障碍物；以及后视监视器(视觉辅助装置)11，其为了辅助操作人员的视觉而映出旋转体1d的后方的区域(参照图2)。
在旋转体1d的后方、右侧方、左侧方、前方分别设置有进行各方向的动画的拍摄以及障碍物的检测的立体摄像机13a、13b、13c、13d。立体摄像机13a、13b、13c、13d作为用于检测液压挖掘机周围的障碍物的障碍物传感器和用于检测从液压挖掘机到障碍物的距离的距离传感器而发挥作用。
图2是图1的液压挖掘机的系统结构图。本实施方式的液压挖掘机具备：发动机21；发动机控制单元(ECU)22，其是用于控制发动机21的计算机；液压泵23以及齿轮泵(先导泵)24，其与发动机21的输出轴机械连结且被发动机21驱动；操作杆26，其将根据操作量对从齿轮泵24排出的压力油减压后的压力油作为各液压促动器3a、3b、3c、3d、3e、3f的控制信号输出到控制阀25；多个控制阀25，其基于从操作杆26输出的控制信号(先导压力)控制从液压泵23导入到各液压促动器3a、3b、3c、3d、3e、3f的工作油的流量以及方向；多个压力传感器(先导压力传感器)41，其检测作用于各控制阀25的Pi压的压力值；控制器(控制装置)50，其是检测在液压挖掘机的周围存在的障碍物并生成、输出针对操作人员的警报以及车体控制的信号的计算机；警报输出装置10(显示装置10a以及声音输出装置10b)，用于向操作人员报告在液压挖掘机的周围检测到的障碍物；以及后视监视器(视觉辅助装置)11，其为了辅助操作人员的视觉而映出液压挖掘机周围的预定区域(这里为旋转体1d的后方的区域)。
液压泵23机械式地控制转矩/流量以使车体按照各液压促动器3a、3b、3c、3d、3e、3f的目标输出动作。
在齿轮泵24的排出配管设置有锁定阀49。锁定阀49在本实施方式中是电磁切换阀，其电磁驱动部与控制器50电连接。通常，锁定阀49打开，齿轮泵24的排出油经由操作杆26供给到控制阀25。但是，若从控制器50内的车体控制部20对锁定阀49输入车体停止信号则锁定阀39关闭而切断从齿轮泵24向操作杆26的压力油的供给，杆操作无效。
在本实施方式中，作为操作杆26而安装有具备如下的多个杆的部件，该多个杆(均未图示)包括：第一操作杆，用于分别指示动臂1a的提高/降低和铲斗1c的倾倒/铲装(ダンプ·クラウド)；第二操作杆，用于分别指示斗杆1b的倾倒/铲装和旋转体1d的左右旋转；第一行驶杆，用于指示行驶马达3e的正转/反转；第二行驶杆，用于指示行驶马达3f的正转/反转。第一操作杆和第二操作杆是2组合多功能操作杆，第一操作杆的前后操作与动臂1a的提高/降低对应，左右操作与铲斗1c的铲装/倾倒对应，第二操作杆的前后操作与斗杆1b的倾倒/铲装对应，左右操作与旋转体1d的左右旋转对应。若向倾斜方向操作杆，则对应的2个促动器同时动作。第一行驶杆和第二行驶杆是单功能操作杆，第一行驶杆的前后操作与行驶马达3e的正转/反转对应，第二行驶杆的前后操作与行驶马达3f的正转/反转对应。
控制阀25存在与控制对象的液压促动器3a、3b、3c、3d、3e、3f相同的数目，但在图2中将这些控制阀集中由一个表示。在各控制阀上作用使其内部的滑阀(スプール)向轴向的一方或者另一方移动的2个Pi压。例如，动臂提高的Pi压和动臂降低的Pi压作用于动臂气缸3a用的控制阀25。
压力传感器41检测作用于各控制阀25的Pi压，每个控制阀25存在2个，但在图2中将这些压力传感器集中由一个表示。压力传感器41设置于控制阀25的正下方，检测实际作用于控制阀25的Pi压。压力传感器41的检测压表示作为操作杆26的第一以及第二操作杆以及第一以及第二行驶杆的操作方向以及操作量。
控制器50具有输入部、作为处理器的中央处理装置(CPU)、作为存储装置的只读存储器(ROM)和随机存取存储器(RAM)、以及输出部。输入部将输入控制器50的各种信息转换为CPU可运算的形式。ROM是存储有执行后述的运算处理的控制程序和该运算处理的执行所需要的各种信息等的记录介质，CPU根据存储于ROM的控制程序对于从输入部以及ROM、RAM取入的信号进行规定的运算处理。从输出部输出用于从警报输出装置10输出警报所需要的指令等。此外，存储装置并不局限于上述的ROM以及RAM这样的半导体存储器，能够由例如硬盘驱动器等磁存储装置代替。
在控制器50连接有警报输出装置10(显示装置10a以及声音输出装置10b)、ECU22、多个压力传感器41、铲斗角传感器8a、斗杆角传感器8b、动臂角传感器8c、车体倾角传感器8d以及锁定阀49。
控制器50基于来自铲斗角传感器8a、斗杆角传感器8b、动臂角传感器8c以及车体倾角传感器8d的输入信号计算前端作业装置1A的姿势，基于压力传感器41的输入信号计算前端作业装置1A的动作。换句话说，在本实施方式中，铲斗角传感器8a，斗杆角传感器8b，动臂角传感器8c以及车体倾角传感器8d作为前端作业装置1A的姿势传感器发挥作用，压力传感器41作为前端作业装置1A的动作传感器发挥作用。此外，也可以设置2根GNSS天线，并根据来自它们的输入信号计算车体倾角。
此外，本文中说明的在前端作业装置1A的姿势、先导压力的计算时利用的单元、方法不过是一个例子，能够利用公知的计算单元、方法。
[控制器50的功能结构]
图3是本发明的第一实施方式的控制器50的功能框图。如该图所示，控制器50通过根据储存于存储装置的控制程序的中央处理装置的运算处理，作为障碍物检测部100、位置关系计算部200、视觉确认等级决定部300、机械状态获取部400、死角计算部500、警报等级决定部600、警报输出部700以及车体控制部20发挥作用。
障碍物检测部100根据由安装于旋转体1d的外圆周部的上表面的立体摄像机13a、13b、13c、13d获取到的视差图像，通过图像处理检测在挖掘机周围存在的障碍物，并计算各摄像机坐标系中的障碍物的位置坐标以及障碍物的属性(是人还是其他物体)。这里所得到的障碍物的位置坐标被输出到位置关系计算部200，障碍物的属性被输出到警报等级决定部600。
位置关系计算部200具有车体坐标系中的立体摄像机13a、13b、13c、13d的位置和方向的信息。位置关系计算部200将由障碍物检测部100检测到的障碍物的各摄像机坐标系中的位置坐标转换为车体坐标系中的位置坐标。然后，计算车体坐标系中的各障碍物与液压挖掘机的位置关系。这里计算出的车体坐标系中的障碍物的位置坐标被输出到视觉确认等级决定部300以及警报等级决定部600和警报输出部700。
机械状态获取部400根据从角度传感器8a、8b、8c、8d得到的各联杆1a、1b、1c的角度计算液压挖掘机的姿势。另外，使用来自先导压力传感器41的输出，判定操作人员对操作杆26的操作，识别液压挖掘机的动作。这里求出的液压挖掘机的姿势信息以及动作信息被输出到死角计算部500以及警报等级决定部600。
死角计算部500基于机械状态获取部400获取到的液压挖掘机的姿势信息以及动作信息计算从液压挖掘机的驾驶席的死角区域。这里求出的死角区域被输出到视觉确认等级决定部300。死角计算部500进行的处理的细节使用图4稍后描述。
视觉确认等级决定部300基于死角计算部500计算出的死角区域和位置关系计算部200计算出的障碍物与液压挖掘机的位置关系决定对于障碍物的视觉确认等级。这里求出的视觉确认等级被输出到警报等级决定部600。视觉确认等级决定部300进行的处理的细节使用图13稍后描述。
警报等级决定部600基于由位置关系计算部200计算出的障碍物与液压挖掘机的位置关系决定警报等级，并根据由视觉确认等级决定部300决定的视觉确认等级修正该决定出的警报等级。这里决定的警报等级被输出到警报输出部700。警报等级决定部600进行的处理的细节使用图14稍后描述。
警报输出部700将与由警报等级决定部600决定的警报等级对应的警报内容输出到警报输出装置10以及车体控制部20。警报输出部700进行的处理的细节使用图15稍后描述。
[死角计算部500的处理流程]
首先，使用图4对死角计算部500的处理的细节进行说明。图4是表示死角计算部500的处理的流程的图。存储装置中存储有某个代表姿势下的液压挖掘机的三维模型数据(车体模型数据)530，死角计算部500根据在步骤501中从机械状态获取部400得到的液压挖掘机的姿势信息和车体模型数据530，生成反映了当前的姿势信息的车体模型。
死角计算部500在与步骤501并行的步骤502中，基于来自先导压力传感器41的信号判定是否对操作杆26无操作或者进行了直行以外的行驶操作。此外，这里“直行”是指将操作杆26中第一行驶杆和第二行驶杆向相同方向大致操作相同量来使行驶体1e前进或者后退。在步骤502中判定为无操作或者进行了直行以外的行驶操作的情况下进入步骤509，在判定为有操作或者未进行直行以外的行驶操作的情况下进入步骤503。
在无操作或者进行了直行以外的行驶操作的步骤509中，假定了操作人员关注多个方向，所以不进行操作人员的视线方向(视线)的推定，死角计算部500生成将液压挖掘机的整个周围设定为死角区域的“死角区域数据C”。图5是表示死角区域数据C的例子的图。该情况下，死角计算部500将液压挖掘机516的整个周围设定为死角区域521并结束处理。在步骤509中生成的死角区域数据C被输出到视觉确认等级决定部300。
在步骤503中，死角计算部500根据从机械状态获取部400得到的液压挖掘机的动作信息以及操作人员在驾驶室1f内的落座位置数据540来推定操作人员的视线方向(视线)。操作人员的落座位置数据540是操作人员坐在驾驶室1f内的座席时的头部位置的数据。该值也能够按每个操作人员设定，但在本实施方式中，为多个操作人员共用的值。也可以利用液压挖掘机运转的国家、地域的成人的平均值作为共用的值。
假定了操作人员在操作时(也包括直行的行驶操作)使视线朝向机械的动作方。因此，在本实施方式中，在步骤503中，如图6所记载那样判断各操作时操作人员的注视方向(视线方向)。
图6是操作人员操作(液压挖掘机的动作)与操作人员注视方向(视线方向)的关系图。图中的“操作人员注视方向”的列中的“视觉辅助装置”是设置于驾驶室1f内，映出了由后方的立体摄像机13a拍摄到的影像的后视监视器11(参照图2)。此外，作为视觉辅助装置，除了后视监视器11以外，例如包含有后视镜等，但后视镜在第二实施方式中进行说明。死角计算部500基于先导压力传感器41的输出来判定液压挖掘机的当前的动作是前端动作(フロント動作)、右转、左转、前进以及后退的哪一个。然后，从图6的表的“操作人员操作”的列检索与判定结果相关的动作，将相应单元格的右邻的单元格(“操作人员注视方向”的列的任意一个单元格)所记载的场所视为操作人员的注视方向。例如，在检测到前端作业装置1A的动作的情况下，铲斗1c的尖端位置(前端尖端(フロント爪先)位置)为注视方向。若通过图6决定注视方向，则死角计算部500将从落座位置数据540得到的操作人员的头部位置作为原点，通过向从图6得到的注视方向伸长的矢量规定(推定)操作人员的视线方向，进入步骤504。此外，在本实施方式中，在检测到前端作业装置1A和其他的动作的组合动作的情况下，将前端尖端位置视为注视方向。
在步骤504中，死角计算部500判定是否进行了在步骤503中是否正在注视视觉辅助装置这样的判定。在未注视视觉辅助装置的情况下进入步骤505，在正在注视的情况下进入步骤506。
在步骤504中判定为操作人员未注视视觉辅助装置的情况下(进入步骤505的情况下)，认为操作人员通过直视确认车体周围的环境。因此，死角计算部500根据在步骤501中生成的当前的姿势下的车体模型以及操作人员的落座位置数据540，进行虚拟地生成考虑了前端作业装置1A的姿势的“死角区域数据A”的视场仿真。根据由落座位置数据540规定的操作人员的头部位置来推定瞳孔位置，将以该瞳孔位置为基准被前端作业装置1A隐藏的区域作为作业装置死角区域。
图7是表示死角区域数据A的例子的图。以在步骤503中推定出的车体坐标系中的操作人员的视线矢量(视线方向)514为基准地规定通过周边视觉能够视觉确认的视野区域515(例如60到100度的任意的值)，并在此反映通过前端作业装置1A的姿势产生的作业装置死角区域512。该情况下的死角区域为视野外区域513加上了作业装置死角区域512后的区域。相反，可视区域511为从视野区域515除去了作业装置死角区域512后的区域。
图7中的作业装置死角区域512根据前端作业装置1A的姿势而变化。接下来对该点进行说明。图8是表示前端作业装置1A位于驾驶室1f的操作人员的视线的位置靠上方的情况下的可视区域511的图。该情况下，操作人员的视野不被前端作业装置1A遮挡，所以不产生因前端作业装置1A的作业装置死角区域。即，可视区域511与视野区域515一致。图9是表示与图8的情况相比使斗杆1b向铲装侧(旋转体1d侧)动作的情况下的操作人员的可视区域511的图。在这样的中间姿势下操作人员的视野的一部分被前端作业装置1A遮挡，所以产生作业装置死角区域512。该情况下的可视区域511为从视野区域515除去了作业装置死角区域512后的区域。图10是与图9的情况相比使斗杆1b进一步向铲装侧动作的情况下的操作人员的可视区域511的图。在该图中，产生与图9的情况相比操作人员的视野进一步被前端作业装置1A遮挡的作业装置死角区域512。
在步骤507中，将在步骤505中得到的死角区域数据A输出到视觉确认等级决定部300。
另一方面，在步骤504中判定为操作人员正在注视视觉辅助装置的情况下(进入步骤506的情况下)，假定了操作人员仅视觉确认在视觉辅助装置映出的区域，其他的区域为死角。因此，在步骤506中，使用在步骤501中生成的当前的姿势下的车体模型和表示立体摄像机13a的视角、安装位置以及安装角度等信息的视觉辅助装置参数550，作生成表示操作人员注视视觉辅助装置时的间接视野的“死角区域数据B”。
图11是表示作为视觉辅助装置而利用立体摄像机13a(后视监视器11)的情况下的死角区域数据B的例子的图。将正在注视的视觉辅助装置映出的区域设定为可视区域511，将其他的区域设定为死角区域521。
在步骤508中生成的死角区域数据B被输出到视觉确认等级决定部300。
[视觉确认等级决定部300的处理流程]
使用图13对视觉确认等级决定部300的处理的细节进行说明。图13是表示视觉确认等级决定部300的处理的流程的图。
视觉确认等级决定部300首先在步骤301中判定从死角计算部500得到的死角区域数据的种类。在该判定的结果为死角区域数据A的情况下进入步骤302，在死角区域数据B的情况下进入步骤304，在死角区域数据C的情况下进入步骤307。
在步骤302中，视觉确认等级决定部300判定从位置关系计算部200得到的车体坐标系中的障碍物的位置坐标是否包含在死角区域数据A中，从而判定操作人员是否通过直接视野视觉确认了障碍物。在对象的障碍物存在于死角区域的情况下(例如，如图10那样，障碍物1200位于作业装置死角区域512内的情况下)，视为操作人员未视觉确认该障碍物并进入步骤307，将视觉确认等级决定为1，移至接下来的警报等级决定部600的处理。另一方面，在对象的障碍物存在于可视区域而视为操作人员进行通过直接视野的视觉确认的情况下(例如，如图9那样，障碍物1200位于可视区域511内的情况下)进入步骤303的处理。
在步骤303中，视觉确认等级决定部300根据从障碍物到操作人员的视线方向的距离，判定操作人员是否通过中心视野视觉确认障碍物。在本实施方式中，用直线定义操作人员的视野方向(矢量)，该直线与障碍物的距离在预定距离D1以内的情况下，视为操作人员通过中心视野视觉确认障碍物，在超过预定距离D1的情况下，视为操作人员通过周边视野视觉确认。若障碍物存在于中心视野内，则认为与存在于周边视场内的障碍物相比，操作人员视觉确认障碍物的可能性高。因此，关于判定为操作人员通过中心视野视觉确认的障碍物，将视觉确认等级决定为3(步骤305)。相反，关于判定为操作人员通过周边视野视觉确认的障碍物，将视觉确认等级决定为2(步骤306)。本文的“视觉确认等级”表示其值越高，操作人员视觉确认障碍物的可能性越高，若能够通过中心视野视觉确认，则决定为表示视觉确认的可能性最高的视觉确认等级3。
在步骤304中，与步骤302相同地，视觉确认等级决定部300判定从位置关系计算部200得到的车体坐标系中的障碍物的位置坐标是否包含于死角区域数据B，从而判定操作人员是否通过视觉辅助装置视觉确认障碍物。假定了利用视觉辅助装置的间接视场与利用肉眼的直接视场相比，可视性降低，所以在通过视觉辅助装置视觉确认障碍物的情况下与肉眼的情况相比降低等级而将视觉确认等级决定为2(步骤306)。另外，在未视觉确认的情况下将视觉确认等级决定为1(步骤307)。
在步骤301中判定为死角区域数据C的情况下，整个区域为死角区域，所以视觉确认等级决定部300将对于障碍物的视觉确认等级决定为1(步骤307)。
如上述那样，在步骤305、306、307中决定的视觉确认等级输出到警报等级决定部600。
[警报等级决定部600的处理流程]
使用图14对警报等级决定部600的处理的细节进行说明。图14是表示警报等级决定部600的处理的流程的图。警报等级决定部600根据障碍物的属性、从液压挖掘机到障碍物的距离、以及操作杆26的操作内容等来设定与液压挖掘机和障碍物的接触的危险性有关的警报等级，与此相对，添加与由视觉确认等级决定部300决定的视觉确认等级对应的修正来决定最终的警报等级。
警报等级决定部600首先在步骤601中，根据来自位置关系计算部200和机械状态获取部400的输出，判定障碍物是否存在于工程机械的作业半径内。在障碍物存在于作业半径内的情况下进入步骤603，在不存在于作业半径内的情况下进入步骤602。此外，这里，“作业半径”是指从液压挖掘机的旋转中心到前端作业装置1A的最远端的距离，根据液压挖掘机的姿势信息而变化。
在步骤603中，警报等级决定部600根据液压挖掘机的动特性和到障碍物的距离，计算液压挖掘机到达障碍物所存在的位置所需要的最短的到达时间。到该障碍物的最短的到达时间是2[s]以下的情况下接触的危险性较高，所以将警报等级设为4(步骤609)。相反，只要到达时间是2[s]以上，则进入步骤604。
在步骤602中，警报等级决定部600基于来自障碍物检测部100的输出判定障碍物的属性是人和物体的哪一个。通过该判定而判定为物体的情况下，警报等级决定部600在步骤606中将警报等级决定为最低的1并结束处理。相反，在判定为是人的情况下进入步骤604。
在步骤604中，警报等级决定部600进行基于操作杆26的操作内容(压力传感器41的输出值)的动作的识别。在判定为未进行杆操作的情况下将警报等级决定为1并结束处理(步骤606)。另外，在仅检测出前端作业装置1A的联杆部件1a、1b、1c的操作的情况下判断为挖掘作业。该情况下，接触的危险性比较低，所以将警报等级设为2(步骤607)。另一方面，在检测到旋转马达3d、行驶马达3e、3f的操作的情况下，视为液压挖掘机正进行旋转或者行驶动作并进入步骤605。
在步骤605中，警报等级决定部600判定液压挖掘机动作的方向和障碍物所在的方向是否一致。在本实施方式中，在液压挖掘机的动作方向存在障碍物的情况下，判定为液压挖掘机的动作方向和障碍物所在的方向一致。在判定为动作方向和障碍物位置一致的情况下，因为接触的危险性高所以将警报等级决定为3(步骤608)。另一方面，在判定为不一致的情况下将警报等级决定为2(步骤607)。
在以上的处理中，经由步骤607、608、609的任意一个将警报等级决定为2～4的情况下，在步骤610中，进行与视觉确认等级对应的警报等级的修正，决定最终输出的警报等级。这里，在由视觉确认等级决定部300决定的视觉确认等级为3，换句话说，视觉确认障碍物的可能性高的情况下，使输入到步骤610的警报等级(通过步骤607、608、609的任意一个临时决定的警报等级)降低一个等级。相同地，在视觉确认等级为2的情况下维持输入的警报等级，在视觉确认等级为1的情况下将输入的警报等级提高一个等级。若这样完成了警报等级的修正，则警报等级决定部600将决定的警报等级输出到警报输出部700。
如上述处理那样，根据表示操作人员视觉确认障碍物的可能性的视觉确认等级来修正警报等级，由此能够实现考虑到操作人员对障碍物的注意的警报或者车体控制。
[警报输出部700的处理流程]
使用图15对警报输出部700的处理的细节进行说明。图15是表示警报输出部700的处理的流程的图。如该图所示，警报输出部700决定与由警报等级决定部600决定的警报等级对应的输出内容，并将用于实现该输出内容的信号输出到警报输出装置10和车体控制部20。
在警报等级1的情况下，根据位置关系计算部200和机械状态获取部400的输出，显示装置10a进行在车体模型的俯视图配置有障碍物位置的显示。图16是表示该显示画面的例子的图。在该显示画面显示有以车体模型711为中心，表示液压挖掘机的作业半径的圆712、表示人(障碍物)的位置的标记714、表示物体的位置的标记715。此外，对于其他的警报等级2－5，也将与该警报等级1相同的内容显示到显示装置10a
在警报等级2的情况下，除了警报等级1中的显示装置10a的显示画面710以外，在显示装置10a进行由警报标记723进行的强调显示。图17是表示该警报画面的例子的图。警报标记723是在画面720的上下显示的红色等警告色的带，在带的上方付有“ALERT(警报)”这样的文字。
在警报等级3的情况下，除了警报等级2中的显示画面720以外，也从声音输出装置10b输出与警报等级4、5的情况相比相对较小的音量的警报音，通过该警报音促使操作人员对显示画面的注视。
在警报等级4的情况下，除了警报等级2中的显示画面720以外，也从声音输出装置10b输出与警报等级3的情况相比相对较大的音量的警报音，强烈地对操作人员警告是危险的状态。
在警报等级5的情况下，除了警报等级4下的利用显示以及声音的警报之外，生成车体动作停止信号。决定的警报的内容向设置于驾驶席内的警报输出装置10输出，车体动作停止信号向车体控制装置20输出，通过各个装置10a、10b进行警报或者车体动作停止控制。例如，在液压挖掘机中，通过操作人员对操作杆26的操作使先导压力变化，控制驱动动臂气缸3a、斗杆气缸3b、铲斗气缸3c、旋转马达3d以及左右的行驶马达3e、3f的各促动器的油的流量。在车体动作停止信号被输入的情况下，车体控制装置20关闭锁定阀39而停止从齿轮泵24向操作杆26的压力油的供给，从而使杆操作无效，进行车体的停止控制。
如上述那样，对于本文的警报等级，等级越高，图像、文字以及声音等警报要素越被加强，操作人员对障碍物的识别越容易。
若如以上那样将与警报等级对应的警报输出到警报输出装置10，则结束一系列的处理。
[作用/效果]
在如上述那样构成的液压挖掘机中，死角计算部500考虑机械状态获取部400获取到的液压挖掘机的姿势和动作的信息计算操作人员从液压挖掘机的驾驶室1f的死角区域以及可视区域。在本实施方式中，根据液压挖掘机的动作和视觉辅助装置的利用的有无，利用A、B、C这3个图案作为死角区域。而且，视觉确认等级决定部300根据在死角计算部500计算出的死角区域内是否存在障碍物，进一步根据障碍物是否存在于操作人员的中心视野内，对各障碍物赋予1到3的视觉确认等级。而且，警报等级决定部600考虑赋予给视觉确认等级决定部300的视觉确认等级来修正警报等级。具体而言，视觉确认等级为1的情况下，对最初的警报等级(修正前的警报等级)加1，在视觉确认等级为2的情况下，维持最初的警报等级，在视觉确认等级为3的情况下，将最初的警报等级减1。若这样决定警报等级，则操作人员是否能够视觉确认障碍物被反映至警报等级，所以能够对操作人员输出适当的警报。
例如，在修正前的警报等级为3的情况下(通过了图14的步骤608的情况下)，根据修正前的警报等级，除了经由显示装置10a的图17的警告显示之外，还通过声音输出装置10b输出警报，但在由视觉确认等级决定部300决定的视觉确认等级为3的情况下(换句话说，判断为在障碍物存在于可视区域内且中心视野内，操作人员注意到对象的障碍物的情况下(通过了图13的步骤305的情况下))，警报等级减1而修正为2。由此，省略了经由声音输出装置10b的警告音的输出，所以能够防止尽管视觉确认了障碍物警告音也响而操作人员感到烦恼。换句话说，过度的警报被抑制并被合理化，所以能够防止由于过度警报的压力而导致的作业效率的降低。
另外，考虑在利用后视监视器11、后视镜15等视觉辅助装置来视觉确认障碍物的情况下，与利用肉眼的情况相比可视性降低，即使在可视区域存在有障碍物，也维持与从前相同的警报等级(经由图13的步骤304到306的情况)。由此，即使通过间接视野可视性降低，警报作用于恢复它的方向，所以警报不会不充分而能够维持适当的等级。
其另一方面，构成为在障碍物存在于前端作业装置1A的后面等死角区域的情况下，视觉确认等级被设定为1，所以修正前的警报等级增加1。因此，在障碍物存在于从液压挖掘机的姿势、动作的观点来看而无法视觉确认的场所的情况下，通过警报易于注意到该障碍物。
＜第二实施方式＞
接下来对本发明的第二实施方式进行说明。
[结构]
图18是第二实施方式的控制器50的功能框图。与第一实施方式的主要不同点在于作为硬件结构而具备头部位置检测装置800以及视线检测装置900、以及具备后视监视器11(第一视觉辅助装置)和后视镜15(参照图12)(第二视觉辅助装置)这样的多个视觉辅助装置、以及在控制器50内具备视觉辅助装置注视判定部1000。以下，主要对与第一实施方式不同的点进行说明，不说明的部分与第一实施方式相同。
头部位置检测装置800是设置于驾驶席1f内的操作人员头部拍摄用的立体摄像机，从由该立体摄像机获取到的图像提取出操作人员头部的特征点，并根据视差图像计算车体坐标系中的头部的位置坐标和方向。这里得到的头部位置信息被输出到控制器50内的死角计算部500以及视觉辅助装置注视判定部1000。
视线检测装置900是安装于操作人员头部的眼睛摄像机，根据由该眼睛摄像机获取到的操作人员的眼睛的周边的图像，通过图像处理提取操作人员的瞳孔中心以及内眼角的特征点，求出两者的相对位置。并且，对于左右的眼睛分别根据瞳孔中心和内眼角的相对位置来计算眼球的垂直旋转角以及水平旋转角，求出操作人员头部坐标系中的视线矢量(视线方向)。所得到的视线矢量输出到死角计算部500以及视觉辅助装置注视判定部1000。
视觉辅助装置注视判定部1000根据从头部位置检测装置800得到的头部的位置信息，将从视线检测装置900得到的操作人员在头部坐标系中的视线矢量转换到车体坐标系中的视线矢量。视觉辅助装置注视判定部1000具有安装于液压挖掘机的立体摄像机13a(后视监视器11)以及后视镜15的位置信息，并通过比较视觉辅助装置的位置和操作人员的视线矢量，来辨别操作人员是否正在注视2个视觉辅助装置的任意一个，另外，在正在注视的情况下判别是否正在注视哪个视觉辅助装置。判别出的结果被输出到死角计算部500。
图19是表示具备头部位置检测装置800、视线检测装置900以及视觉辅助装置注视判定部1000的本实施方式的死角计算部500中的处理的流程的图。
在步骤501中，死角计算部500根据从机械状态获取部400得到的车体的姿势信息以及车体模型数据530生成当前姿势下的车体模型。
在步骤504中，根据来自视觉辅助装置注视判定部1000的输入，判定操作人员是否正在注视视觉辅助装置。这里判定为未注视视觉辅助装置的情况下进入步骤505，判定为正在注视的情况下进入步骤506。
在步骤505中，死角计算部500根据来自视线检测装置900和头部位置检测装置800的输入求出操作人员在车体坐标系上的视线矢量，并实施使用反映了当前的姿势的车体模型数据的视场仿真，由此生成反映了通过前端作业装置1A产生的死角的死角区域数据A。
在步骤506中，死角计算部500使用操作人员是否正在注视后视监视器11和后视镜15的任意一个的视觉辅助装置这样的信息、当前正在注视的视觉辅助装置的视觉辅助装置参数550(立体摄像机13a的视角、安装位置以及安装角度、或者后视镜15的视野范围、安装位置以及安装角度等信息)生成死角区域数据B。
图12是表示作为视觉辅助装置而利用后视镜15的情况下的死角区域数据B的例子的图。将正在注视的视觉辅助装置映出的区域设定为可视区域511，将其他的区域设定为死角区域521。此外，正在注视后视监视器11的情况下的死角区域数据B根据图11的例子设定有可视区域511和死角区域521。
在步骤505或者步骤506中得到的死角区域数据被输出到视觉确认等级决定部300。视觉确认等级决定部300以下的处理通过与第一实施方式记载的内容相同的流程来进行处理。
[作用/效果]
在如上述那样具备头部位置检测装置800和视线检测装置900的液压挖掘机中，能够具体地确定出操作人员的视线方向。由此，根据操作人员的视线方向不仅能够进行后视监视器11的注视判定也进行后视镜15的注视判定，所以能够利用反映了在后视镜15映出的区域的死角区域数据B。另外，尽管根据先导压力传感器41的检测值推测液压挖掘机的动作，也能够准确地求出操作人员的视线方向，所以在对于操作杆26没有操作的状态或进行了直行以外的行驶操作的情况下，也能够实施基于实际注视的方向的视场仿真。因此，不需要如第一实施方式那样生成将液压挖掘机的整个周围作为死角区域的死角区域数据C，能够进一步减少不必要的警报、控制。
＜特征＞
对上述的2个实施方式所包含的特征进行总结。
(1)在上述中，工程机械的周围监视装置具备控制器(控制装置)50，该控制器50具有：障碍物检测部100，其检测在工程机械(液压挖掘机)的周围存在的障碍物；位置关系计算部200，其计算由障碍物检测部100检测到的障碍物与工程机械的位置关系；警报等级决定部600，其基于由位置关系计算部200计算出的位置关系来决定警报等级；以及警报输出部700，其将与由警报等级决定部600决定的警报等级对应的警报内容输出到警报输出装置10，控制器50还具有：机械状态获取部400，其获取工程机械的姿势以及动作的信息；死角计算部500，其基于机械状态获取部400获取到的工程机械的姿势以及动作的信息计算从工程机械的驾驶席1f的死角区域；以及视觉确认等级决定部300，其基于死角计算部500计算出的死角区域和位置关系计算部200计算出的位置关系来决定对于障碍物的视觉确认等级，警报等级决定部600根据由视觉确认等级决定部300决定的视觉确认等级来修正警报等级。
根据这样的结构，根据基于工程机械的姿势和动作由视觉确认等级决定部300决定的视觉确认等级来修正警报等级，所以能够根据在工程机械的死角区域是否存在障碍物，输出适当的警报。
(2)在上述(1)的工程机械的周围监视装置中，死角计算部500基于工程机械的动作推定操作人员的视线，并基于该视线和工程机械的姿势计算死角区域。
由此，能够通过简单的结构推定操作人员的视线，能够基于该推定结果设定适当的死角区域。
(3)在上述(1)的工程机械的周围监视装置中，还具备：头部位置检测装置800，其检测工程机械的操作人员的头部位置；以及视线检测装置900，其检测操作人员的视线，死角计算部500基于由头部位置检测装置800检测到的头部位置、由视线检测装置900检测到的视线以及工程机械的姿势来计算死角区域。
由此，能够准确地获取操作人员的视线，并能够基于该结果设定适当的死角区域。
(4)在上述(2)－(3)的任意一个的工程机械的周围监视装置中，还具备映出液压挖掘机的周围的预定区域的视觉辅助装置(后视监视器、后视镜)11、15，死角计算部500在基于操作人员的视线判定为操作人员正在注视视觉辅助装置11、15的情况下，基于在视觉辅助装置11、15映出的区域来计算死角区域，在基于操作人员的视线判定为操作人员未注视视觉辅助装置11、15的情况下，基于操作人员的视野来计算死角区域。
由此，在肉眼的情况和利用死角辅助装置的情况下设定不同的死角区域，所以能够设定适当的视觉确认等级，结果，能够设定适当的警报等级。
(5)在上述(2)－(3)的任意一个工程机械的周围监视装置中，视觉确认等级决定部300还基于从障碍物到操作人员的视线的距离来决定视觉确认等级。
若这样构成，则能够根据与视线的距离设定视觉确认等级，所以能够设定适当的警报等级。
(6)在上述(5)的工程机械的周围监视装置中，视觉确认等级表示等级越高，工程机械的操作人员识别障碍物的可能性越高，上述视觉确认等级设定有多个等级，视觉确认等级决定部300在障碍物位于死角区域的情况下将视觉确认等级决定为第一等级，将障碍物不位于死角区域并且在与障碍物相距预定距离D1内没有视线的情况下将视觉确认等级设定为比第一等级高的第二等级，在障碍物不在死角区域并且视线与障碍物相距预定距离D1以上的情况下将视觉确认等级设定为比第二等级高的第三等级，警报等级决定部600在视觉确认等级为第一等级时提高警报等级，在视觉确认等级为第二等级时维持警报等级，在视觉确认等级为第三等级时降低警报等级。
由此，在视觉确认等级被设定为第三等级的情况下，能够防止尽管正在视觉确认障碍物，也输出与未视觉确认障碍物的情况相同的警报而操作人员感到烦恼。换句话说，抑制了过度的警报而合理化，所以能够防止由于针对过度警报的压力而导致的作业效率的降低。
＜其他＞
此外，本发明并不局限于上述的实施方式，包含有不脱离其主旨的范围内的各种变形例。例如，本发明并不局限于具备上述的实施方式中说明的所有的结构，也包含删除了其结构的一部分后的结构。另外，能够将某个实施方式的结构的一部分追加到或者置换为其他的实施方式的结构。
第一实施方式的视觉确认等级决定部300在步骤303中判定障碍物是否位于中心视野，但能够省略该步骤303的处理。在省略了步骤303的情况下，构成为在步骤302中障碍物不位于死角的情况下进入的步骤能够与作业现场的实际情况或操作人员的喜好对应地选择步骤305(视觉确认等级3)和步骤306(视觉确认等级2)的任意一个。
在第二实施方式中，对除了映出后方的立体摄像机13a的影像的后视监视器11以外，还利用安装在驾驶室1f的前方左侧的后视镜15作为视觉辅助装置之一的例子进行了说明，也能够利用设置于其他的场所的镜子或者与此类似的设备、装置作为视觉辅助装置。
在上述的各实施方式中，在同时检测出多个障碍物的情况下，能够基于其中最高的警报等级从警报输出装置10输出警报。
障碍物检测和到检测出的障碍物的距离检测利用立体摄像机13，但也能够用与激光传感器、超声波传感器等具有与立体摄像机相同的功能的传感器来代替。另外，也能够在障碍物检测中使用单眼摄像机，在到障碍物的距离检测中使用激光传感器、超声波传感器等组合多种传感器来使用。
在上述中列举液压挖掘机为例进行了说明，但只要是具备有可能遮挡来自驾驶室的操作人员的视场的作业装置的工程机械(例如，轮式装载机、起重机)就能够应该用本发明。
另外，上述的控制器(控制装置)50的各结构、该各结构的功能以及执行处理等的一部分或者全部也可以通过硬件(例如由集成电路设计执行各功能的逻辑等)来实现。另外，上述的控制器50的结构也可以是通过运算处理装置(例如CPU)读出并执行来实现该控制器50的结构的各功能的程序(软件)。该程序的信息例如能够存储于半导体存储器(闪速存储器、SSD等)、磁存储装置(硬盘驱动器等)以及记录介质(磁盘、光盘等)等。
另外，在上述的各实施方式的说明中，示出了认为该实施方式的说明所需要的控制线、信息线，但不一定示出产品的所有的控制线、信息线。实际上，可以认为几乎所有结构都是相互连接的。
附图标记说明
1A…前端作业装置(フロント作業装置)，1B…车体，1a…动臂(ブーム)，1b…斗杆(アーム)，1c…铲斗，1d…旋转体，1e…行驶体，1f…驾驶室，3a、3b、3c…液压促动器(液压缸)，3e、3f…行驶马达，8a、8b、8c…角度检测器，8e…倾角传感器，41…先导压力传感器，13a、13b、13c、13d…立体摄像机(障碍物检测器)，10…警报输出装置，11…后视监视器(视觉辅助装置)，15…后视镜(视觉辅助装置)，20…车体控制部，100…障碍物检测部，200…位置关系计算部，300…视觉确认等级决定部，400…机械状态获取部，500…死角计算部，600…警报等级决定部，700…警报输出部，710…显示画面例(警报等级1)，720…显示画面例(警报等级2～5)，800…头部位置检测装置，900…视线检测装置，1000…视觉辅助装置注视判定部。

Claims (6)

1.一种工程机械的周围监视装置，具备控制装置，
该控制装置具有：
障碍物检测部，其检测在工程机械的周围存在的障碍物；
位置关系计算部，其计算由上述障碍物检测部检测出的上述障碍物与上述工程机械的位置关系；
警报等级决定部，其基于由上述位置关系计算部计算出的上述位置关系来决定警报等级；以及
警报输出部，其将与由上述警报等级决定部决定的上述警报等级对应的警报内容输出到输出装置，
上述工程机械的周围监视装置的特征在于，
上述控制装置还具有：
机械状态获取部，其获取上述工程机械的姿势以及动作的信息；
死角计算部，其基于上述机械状态获取部获取到的上述工程机械的姿势以及动作的信息来计算从上述工程机械的驾驶席的死角区域；以及
视觉确认等级决定部，其基于上述死角计算部计算出的上述死角区域和上述位置关系计算部计算出的上述位置关系来决定对于上述障碍物的视觉确认等级，
上述警报等级决定部根据由上述视觉确认等级决定部决定的上述视觉确认等级来修正上述警报等级。
2.根据权利要求1所述的工程机械的周围监视装置，其特征在于，
上述死角计算部基于上述工程机械的动作来推定操作人员的视线，并基于该视线和上述工程机械的姿势来计算上述死角区域。
3.根据权利要求1所述的工程机械的周围监视装置，其特征在于，还具备：
头部位置检测装置，其检测上述工程机械的操作人员的头部位置；以及
视线检测装置，其检测上述操作人员的视线，
上述死角计算部基于由上述头部位置检测装置检测出的上述头部位置、由上述视线检测装置检测出的上述视线以及上述工程机械的姿势来计算上述死角区域。
4.根据权利要求2所述的工程机械的周围监视装置，其特征在于，
还具备映出上述工程机械的周围的预定区域的视觉辅助装置，
在基于上述操作人员的视线判定为操作人员正在注视上述视觉辅助装置的情况下，上述死角计算部基于在上述视觉辅助装置映出的区域来计算上述死角区域，
在基于上述操作人员的视线判定为操作人员未注视上述视觉辅助装置的情况下，上述死角计算部基于上述操作人员的视野来计算上述死角区域。
5.根据权利要求2所述的工程机械的周围监视装置，其特征在于，
上述视觉确认等级决定部还基于从上述障碍物到上述视线的距离来决定上述视觉确认等级。
6.根据权利要求5所述的工程机械的周围监视装置，其特征在于，
上述视觉确认等级表示等级越高，上述工程机械的操作人员识别出障碍物的可能性越高，上述视觉确认等级设定有多个等级，
上述视觉确认等级决定部在上述障碍物位于上述死角区域的情况下，将上述视觉确认等级决定为第一等级，在上述障碍物不位于上述死角区域并且在与上述障碍物相距预定距离内没有上述视线的情况下，将上述视觉确认等级设定为比上述第一等级高的第二等级，在上述障碍物不位于上述死角区域并且上述视线与上述障碍物相距预定距离以上的情况下，将上述视觉确认等级设定为比上述第二等级高的第三等级，
上述警报等级决定部在上述视觉确认等级为上述第一等级时提高上述警报等级，在上述视觉确认等级为上述第二等级时维持上述警报等级，在上述视觉确认等级为上述第三等级时降低上述警报等级。
CN201780055620.7A 2017-03-31 2017-11-02 工程机械的周围监视装置 Active CN109689983B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-069559 2017-03-31
JP2017069559A JP6581139B2 (ja) 2017-03-31 2017-03-31 作業機械の周囲監視装置
PCT/JP2017/039789 WO2018179560A1 (ja) 2017-03-31 2017-11-02 作業機械の周囲監視装置

Publications (2)

Publication Number Publication Date
CN109689983A true CN109689983A (zh) 2019-04-26
CN109689983B CN109689983B (zh) 2021-05-28

Family

ID=63674789

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780055620.7A Active CN109689983B (zh) 2017-03-31 2017-11-02 工程机械的周围监视装置

Country Status (6)

Country Link
US (1) US10570587B2 (zh)
EP (1) EP3495570B1 (zh)
JP (1) JP6581139B2 (zh)
KR (1) KR102104380B1 (zh)
CN (1) CN109689983B (zh)
WO (1) WO2018179560A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112012269A (zh) * 2019-05-29 2020-12-01 纳博特斯克有限公司 操纵辅助系统及方法、维护辅助方法以及建筑机械
CN113173137A (zh) * 2020-01-24 2021-07-27 丰田自动车株式会社 车辆报知装置
KR20220028126A (ko) * 2019-10-31 2022-03-08 히다치 겡키 가부시키 가이샤 작업 기계 및 주위 감시 시스템
CN115298717A (zh) * 2020-04-20 2022-11-04 株式会社小松制作所 作业机械的障碍物报告系统以及作业机械的障碍物报告方法

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6840645B2 (ja) * 2017-09-08 2021-03-10 株式会社小松製作所 施工管理装置および施工管理方法
JP6900897B2 (ja) * 2017-12-25 2021-07-07 コベルコ建機株式会社 建設機械の障害物検出装置
JP7232437B2 (ja) * 2018-02-19 2023-03-03 国立大学法人 東京大学 作業車両の表示システム及び生成方法
JP7123573B2 (ja) * 2018-02-28 2022-08-23 株式会社小松製作所 周辺監視装置、作業機械、周辺監視の制御方法及び表示装置
US11225777B2 (en) * 2018-03-14 2022-01-18 Hitachi Construction Machinery Co., Ltd. Work machine
CN109095356B (zh) * 2018-11-07 2024-03-01 江苏徐工国重实验室科技有限公司 工程机械及其作业空间动态防碰撞方法、装置和系统
GB2580147B (en) * 2018-12-21 2021-12-08 Mtd Products Inc Outdoor power equipment machine with presence detection
JP7159903B2 (ja) * 2019-02-19 2022-10-25 コベルコ建機株式会社 目標位置推測装置
JP7284450B2 (ja) * 2019-02-19 2023-05-31 株式会社タダノ 安全装置
JP2020136914A (ja) * 2019-02-20 2020-08-31 コベルコ建機株式会社 作業機械用周辺監視装置
JP7159914B2 (ja) * 2019-02-28 2022-10-25 コベルコ建機株式会社 作業者検出装置、作業者検出方法、および、作業者検出プログラム
JP7201486B2 (ja) * 2019-03-13 2023-01-10 日立建機株式会社 作業機械
JP7111641B2 (ja) * 2019-03-14 2022-08-02 日立建機株式会社 建設機械
JP7318258B2 (ja) * 2019-03-26 2023-08-01 コベルコ建機株式会社 遠隔操作システムおよび遠隔操作サーバ
KR20210152493A (ko) * 2019-04-26 2021-12-15 스미토모 겐키 가부시키가이샤 쇼벨, 작업현장의 안전장비확인시스템
EP3960543A4 (en) * 2019-04-26 2022-07-06 Sumitomo Construction Machinery Co., Ltd. DISPLAY DEVICE, SHOVEL, INFORMATION PROCESSING DEVICE
CN110843667A (zh) * 2019-11-21 2020-02-28 三一重机有限公司 智能警示方法、智能警示系统及工程车辆
JP7400425B2 (ja) * 2019-12-10 2023-12-19 コベルコ建機株式会社 作業機械の遠隔操作支援システム
KR20220131393A (ko) * 2020-03-27 2022-09-27 히다치 겡키 가부시키 가이샤 작업 기계
CA3190757A1 (en) * 2020-09-29 2022-04-07 Sony Semiconductor Solutions Corporation Information processing system and information processing method
JP2022144601A (ja) 2021-03-19 2022-10-03 コベルコ建機株式会社 遠隔操作支援サーバおよび遠隔操作支援システム
CN113277431B (zh) * 2021-06-27 2022-09-16 赣州德业电子科技有限公司 一种塔机防碰撞监测系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000344465A (ja) * 1999-05-31 2000-12-12 Kobelco Contstruction Machinery Ltd ホイール式作業機械並びにその走行操作方法
JP2012172350A (ja) * 2011-02-20 2012-09-10 Kajima Corp 魚眼レンズ利用の作業機械周囲監視方法及びシステム
CN103649426A (zh) * 2012-01-27 2014-03-19 斗山英维高株式会社 建筑机械的操作安全性提高装置
KR20140083130A (ko) * 2012-12-24 2014-07-04 두산인프라코어 주식회사 건설장비의 장애물 감지 장치 및 그 방법
CN105793496A (zh) * 2013-12-06 2016-07-20 斗山英维高株式会社 画面模式选择装置及方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6744372B1 (en) * 1997-02-27 2004-06-01 Jack B. Shaw Crane safety devices and methods
US6549139B2 (en) * 1997-02-27 2003-04-15 Jack B. Shaw, Jr. Crane safety device and methods
JP4190661B2 (ja) 1999-06-07 2008-12-03 本田技研工業株式会社 自動二輪車の車体カバー構造
US6985085B1 (en) * 2003-04-24 2006-01-10 Eric Brown Safety view blind finder for a crane
JP2006027481A (ja) 2004-07-16 2006-02-02 Toyota Motor Corp 物体警告装置及び物体警告方法
JP2006195877A (ja) * 2005-01-17 2006-07-27 Hitachi Constr Mach Co Ltd 作業機械
JP2008026159A (ja) * 2006-07-21 2008-02-07 Aisin Aw Co Ltd 周辺監視システム
JP5169884B2 (ja) * 2009-02-02 2013-03-27 株式会社デンソー ヘッドアップディスプレイ装置
JP5227841B2 (ja) 2009-02-27 2013-07-03 日立建機株式会社 周囲監視装置
US9269255B2 (en) * 2010-02-01 2016-02-23 Trimble Navigation Limited Worksite proximity warning
WO2011158955A1 (ja) * 2010-06-18 2011-12-22 日立建機株式会社 作業機械の周囲監視装置
EP2631374B1 (en) * 2010-10-22 2020-09-30 Hitachi Construction Machinery Co., Ltd. Work machine peripheral monitoring device
JP5667594B2 (ja) * 2012-03-15 2015-02-12 株式会社小松製作所 障害物検出機構付きダンプトラックおよびその障害物検出方法
JP5456123B1 (ja) * 2012-09-20 2014-03-26 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
US9409519B2 (en) * 2014-08-27 2016-08-09 Toyota Jidosha Kabushiki Kaisha Generating spatial information for a heads-up display
WO2016092684A1 (ja) * 2014-12-12 2016-06-16 株式会社日立製作所 体積推定装置およびそれを用いた作業機械
JP2016211149A (ja) * 2015-04-29 2016-12-15 日立建機株式会社 建設機械

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000344465A (ja) * 1999-05-31 2000-12-12 Kobelco Contstruction Machinery Ltd ホイール式作業機械並びにその走行操作方法
JP2012172350A (ja) * 2011-02-20 2012-09-10 Kajima Corp 魚眼レンズ利用の作業機械周囲監視方法及びシステム
CN103649426A (zh) * 2012-01-27 2014-03-19 斗山英维高株式会社 建筑机械的操作安全性提高装置
KR20140083130A (ko) * 2012-12-24 2014-07-04 두산인프라코어 주식회사 건설장비의 장애물 감지 장치 및 그 방법
CN105793496A (zh) * 2013-12-06 2016-07-20 斗山英维高株式会社 画面模式选择装置及方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112012269A (zh) * 2019-05-29 2020-12-01 纳博特斯克有限公司 操纵辅助系统及方法、维护辅助方法以及建筑机械
KR20220028126A (ko) * 2019-10-31 2022-03-08 히다치 겡키 가부시키 가이샤 작업 기계 및 주위 감시 시스템
CN114364847A (zh) * 2019-10-31 2022-04-15 日立建机株式会社 作业机械以及周围监视系统
CN114364847B (zh) * 2019-10-31 2023-06-30 日立建机株式会社 作业机械以及周围监视系统
US11885108B2 (en) 2019-10-31 2024-01-30 Hitachi Construction Machinery Co., Ltd. Work machine and periphery monitoring system
KR102646808B1 (ko) 2019-10-31 2024-03-13 히다치 겡키 가부시키 가이샤 작업 기계 및 주위 감시 시스템
CN113173137A (zh) * 2020-01-24 2021-07-27 丰田自动车株式会社 车辆报知装置
CN113173137B (zh) * 2020-01-24 2022-11-18 丰田自动车株式会社 车辆报知装置
CN115298717A (zh) * 2020-04-20 2022-11-04 株式会社小松制作所 作业机械的障碍物报告系统以及作业机械的障碍物报告方法

Also Published As

Publication number Publication date
WO2018179560A1 (ja) 2018-10-04
JP6581139B2 (ja) 2019-09-25
EP3495570B1 (en) 2021-07-07
CN109689983B (zh) 2021-05-28
EP3495570A1 (en) 2019-06-12
JP2018172857A (ja) 2018-11-08
KR102104380B1 (ko) 2020-04-24
US10570587B2 (en) 2020-02-25
US20190352885A1 (en) 2019-11-21
KR20190034649A (ko) 2019-04-02
EP3495570A4 (en) 2020-03-25

Similar Documents

Publication Publication Date Title
CN109689983A (zh) 工程机械的周围监视装置
EP2808455B1 (en) Operational stability enhancing device for construction machinery
JP6734485B2 (ja) 作業機械
JP7171436B2 (ja) 作業機械用周辺監視システム、表示装置
WO2016158265A1 (ja) 作業機械
US11105072B2 (en) Work vehicle and display control method
JP7058569B2 (ja) 作業機械
WO2020189194A1 (ja) 作業機械の接触防止装置
JP7463354B2 (ja) ショベル
JPWO2012157438A1 (ja) 油圧ショベルの後方視野表示装置
US10942351B2 (en) Work vehicle and display control method
JP2020051156A (ja) 作業機械
EP3733982B1 (en) Shovel and output device of shovel
JP2017115489A (ja) 作業車両および作業車両の制御方法
US20210298220A1 (en) System and method for communicating the presence of proximate objects in a working area
JP2021163260A (ja) 検出システムおよび検出方法
WO2021010467A1 (ja) 作業車両の表示システムおよび作業車両の表示方法
WO2021075580A1 (ja) 作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法
EP4215676A1 (en) Work vehicle
US20230133175A1 (en) Object detection system and method for a work machine using work implement masking
JP7399836B2 (ja) 作業車両
US12000115B2 (en) Hydraulic excavator
US20220042285A1 (en) Hydraulic excavator
KR20220064401A (ko) 가동 영역 제시 장치 및 가동 영역 제시 방법
JP2023063992A (ja) ショベル

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant