CN106716988A - 作业机械的周边监视装置 - Google Patents

作业机械的周边监视装置 Download PDF

Info

Publication number
CN106716988A
CN106716988A CN201680002588.1A CN201680002588A CN106716988A CN 106716988 A CN106716988 A CN 106716988A CN 201680002588 A CN201680002588 A CN 201680002588A CN 106716988 A CN106716988 A CN 106716988A
Authority
CN
China
Prior art keywords
information
display
image
upper rotation
work machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680002588.1A
Other languages
English (en)
Other versions
CN106716988B (zh
Inventor
町田正臣
栗原毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Original Assignee
Komatsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd filed Critical Komatsu Ltd
Publication of CN106716988A publication Critical patent/CN106716988A/zh
Application granted granted Critical
Publication of CN106716988B publication Critical patent/CN106716988B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/32—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明是作业机械的周边监视装置，其设置于在上部回转体具有作业机的作业机械，具备：多个照相机，其获取上述作业机械的周围状况；周边监视显示器（15），其显示上述多个照相机拍摄的俯瞰图像（61）和单相机图像（62）；以及显示控制部，其将从上述上部回转体的回转中心朝向该上部回转体的周围呈直线状地延伸的方向参照信息（D2’）显示在俯瞰图像（61）和单相机图像（62）上。由此，能够容易地读取基于上部回转体的回转中心的方向，提高作业效率。

Description

作业机械的周边监视装置
技术领域
本发明涉及一种能够显示可提高作业效率的参照信息的作业机械的周边监视装置。
背景技术
在液压挖掘机等作业机械的领域中存在如下装置：为了使操作员能够视觉确认位于车身周边的障碍物，除了反射镜以外，还在车身后方或车身侧方设置有多台照相机。而且，将照相机拍摄的图像作为单相机图像而显示在作业机械的驾驶室内的显示器上。
此外，存在如下装置：为了能够同时监视车身周围360度，通过将各照相机的图像变换为上方视点之后合成各照相机的图像，来生成俯瞰图像显示在显示器上。而且，还存在如下装置：除了俯瞰图像以外，还将由操作员选择的照相机拍摄的单相机图像显示在显示器上(参照专利文献1)。
专利文献1：日本特开2012-74929号公报
发明内容
如上述的专利文献1那样存在下述情况：在俯瞰图像中显示从上部回转体的回转中心起的呈同心圆状的多个圆形的虚线。该呈同心圆状的多个圆形的虚线仅表示距上部回转体的回转中心的距离。因此，存在下述问题：虽然操作员需要根据作业的状况来识别液压挖掘机以外的对象物例如自卸车的方向，具体而言该自卸车是否停在与正在进行挖掘作业的液压挖掘机成左右90度或180度的位置上，但是由于通过用眼睛观察实际的自卸车或者基于显示的俯瞰图像通过目测来推测停车位置，所以无法提高自卸车停车位置的精度，作业效率较差。
本发明是鉴于上述情况而完成的，其目的在于提供一种能够显示可提高作业效率的参照信息的作业机械的周边监视装置。
为了解决上述问题，实现发明目的，本发明涉及的作业机械的周边监视装置是在上部回转体具有作业机的作业机械的周边监视装置，具备：多个照相机，其获取上述作业机械的周围状况；图像处理部，其基于上述多个照相机拍摄的图像生成俯瞰图像；显示部，其显示上述多个照相机中的一个照相机的图像即单相机图像和/或上述俯瞰图像；以及显示控制部，其将从上述上部回转体的基准位置在该上部回转体的周围配置出的方向参照信息显示在上述单相机图像上和/或上述俯瞰图像上。
此外，本发明涉及的作业机械的周边监视装置，在上述发明中，上述方向参照信息是从上述上部回转体的基准位置朝向该上部回转体的周围延伸的直线。
此外，本发明涉及的作业机械的周边监视装置，在上述发明中，上述方向参照信息具有从基准方向参照信息分别在周向两侧间隔规定距离地平行配置的平行配置方向参照信息，上述基准方向参照信息从上述上部回转体的回转中心呈直线状地延伸。
此外，本发明涉及的作业机械的周边监视装置，在上述发明中，具有：参照显示设定部，其进行上述方向参照信息的显示/不显示的设定，上述显示控制部根据上述参照显示设定部的设定进行上述方向参照信息的显示/不显示。
此外，本发明涉及的作业机械的周边监视装置，在上述发明中，上述方向参照信息是地表水平面上的位置信息。
此外，本发明涉及的作业机械的周边监视装置，在上述发明中，上述显示部设置于远程操作席、管制室或者便携式终端。
根据本发明，由于将从上部回转体的基准位置在该上部回转体的周围配置出的方向参照信息显示在图像上，所以能够容易地读取基于上部回转体的旋转中心等的基准位置的方向，提高作业效率。
附图说明
图1是表示搭载本发明的实施方式的作业机械的周边监视装置的液压挖掘机的整体结构的侧视图。
图2是表示驾驶室的内部配置的图。
图3是表示液压挖掘机的整个控制系统和周边监视控制器的详细结构的框图。
图4是说明俯瞰图像生成部的俯瞰图像的生成处理的说明图。
图5是表示照相机的配置的侧视图。
图6是示意性地表示照相机的配置的俯视图。
图7是表示雷达的配置的侧视图。
图8是示意性地表示雷达的配置的俯视图。
图9是表示俯瞰图像和单相机图像的显示示例的图。
图10是表示具有直线部的参照信息的概念的图。
图11是表示显示具有直线部的参照信息的俯瞰图像和单相机图像的显示示例的图。
图12是表示使用具有直线部的参照信息的情况下的作业的一个示例的图。
图13是表示将上部回转体的重心作为俯瞰图像的中心的情况下的参照信息的显示示例的图。
图14是表示用点显示方向参照线信息的一个示例的图。
图15是表示用点显示方向参照线信息的另一个示例的图。
图16是表示将周边监视显示器设置于远程操作席的一个示例的图。
图17是表示将周边监视显示器设置于便携式终端的一个示例的图。
符号说明
1 液压挖掘机
2 下部行走体
3 上部回转体
4a 动臂
4b 斗杆
4c 铲斗
4d 动臂缸
4e 斗杆缸
4f 铲斗缸
4 作业机
5 驾驶室基座
6 驾驶室
7 动力箱
8 配重
10 操作员席
11、12 操作杆
13、14 行走杆
15 周边监视显示器
16 显示器
17 蜂鸣器
40 周边监视控制器
42 通信控制器
43 显示器控制器
44 发动机控制器
45 泵控制器
51 图像处理部
52 障碍物处理部
53 显示控制部
54 俯瞰图像生成部
55 图像合成部
61 俯瞰图像
62 单相机图像
63 区域
101～103 直线部
111～113 圆弧部
201、202 平行配置方向参照信息
300 远程操作席
301 远程操作用显示器
302 便携式终端
A1 障碍物信息
B10 按钮
C 照相机组
C1～C7 照相机
CT 回转中心
D 参照信息
D1 距离参照信息
D11 第一距离参照信息
D12 第二距离参照信息
D13 第三距离参照信息
D2、D2’、D3、D4 方向参照信息
D21、D21’ 前基准方向参照信息
D22、D22’ 左基准方向参照信息
D23、D23’ 后基准方向参照信息
D24、D24’ 右基准方向参照信息
E0、E1～E8、E20 区域
E21 升降梯周边区域
GL 地表水平面
I1、I2 图标
P、P1～P7 图像
P11～P17 变换图像
R 雷达组
R1～R8 雷达
TR 自卸车
具体实施方式
下面，参照附图来说明本发明的实施方式。
液压挖掘机的整体结构
首先，图1是表示搭载本发明的实施方式的作业机械的周边监视装置的液压挖掘机的整体结构的侧视图。该液压挖掘机1是作为作业机械的一个示例表示的、在矿山等中使用的采矿挖掘机等大型液压挖掘机。液压挖掘机1包括：下部行走体2，其能够自主行走；上部回转体3，其可自由回转地设置在下部行走体2上；以及作业机4，其在上部回转体3的前部中央可自由地弯曲起伏地动作。
作业机4具有动臂4a、斗杆4b、铲斗4c、动臂缸4d、斗杆缸4e和铲斗缸4f。动臂4a的基端部可旋转地与上部回转体3连接。动臂4a的前端部可旋转地与斗杆4b的基端部连接。斗杆4b的前端部可旋转地与铲斗4c连接。动臂缸4d、斗杆缸4e、以及铲斗缸4f是通过从液压泵排出的液压油来驱动的液压缸。动臂缸4d使动臂4a做动作。斗杆缸4e使斗杆4b做动作。铲斗缸4f通过连接部件与铲斗4c连接，使铲斗4c做动作。通过铲斗缸4f的液压缸活塞杆进行伸缩动作，使铲斗4c做动作。此外，在图1中，铲斗4c的开口朝向回转中心发挥反铲式挖掘机的功能，不过也可以使铲斗4c的开口从回转中心朝向外侧发挥正铲式挖掘机的功能。
在上部回转体3的前部左侧部分，隔着驾驶室基座5设置驾驶室6。在上部回转体3的后部搭载动力箱(power container)7。在动力箱7内收纳有发动机、液压泵、散热器、油冷却器等。在上部回转体3的后端部安装配重8。在上部回转体3的左侧部，以位于驾驶室基座5的后方的方式配置升降梯9。升降梯9支撑驾驶员或维修人员相对于上部回转体3的升降。
驾驶席
图2是表示驾驶室6的内部配置的图。如图2所示，操作杆11、12配置在驾驶室6内的操作员席10的左右。操作杆11配置在操作员坐在操作员席10上时的左手侧。操作杆11与上部回转体3的回转动作和斗杆4b的动作对应，如果对操作杆11进行左右操作，则上部回转体3左右回转，如果对操作杆11进行上下操作，则斗杆4b在前后方向上转动。操作杆12与动臂4a的动作和铲斗4c的动作对应，如果对操作杆12进行左右操作，则铲斗4c在挖掘、卸土方向上转动，如果对操作杆12进行上下操作，则动臂4a在上下方向上转动。此外，对操作杆11、12进行操作使哪个作业机动作的组合不局限于本实施方式的组合。
行走杆13能够与操作对应地使下部行走体2的左侧履带进行前进后退。此外，行走杆14能够与操作对应地使下部行走体2的右侧履带进行前进后退。如果同时操作行走杆13、14，则能够同时驱动左右侧履带，使液压挖掘机1整体前进后退。
此外，在驾驶室6的左前的框架内配置周边监视显示器15、显示器16和蜂鸣器17。周边监视显示器15是由触摸面板形成的输入输出装置，至少能够将由多个照相机获取的液压挖掘机1的周围状况显示成俯瞰图像和单相机图像。显示器16是具有液晶显示部和按键输入部的输入输出装置。显示器16能够显示包含发动机或液压泵等的状态的各种信息。例如显示器16能够显示表示发动机水温、油温、剩余油量、设备异常等的警告信息等。蜂鸣器17在多个雷达检测出障碍物的情况下发出警报。此外，在检测出障碍物的情况下，该障碍物的信息也显示在上述的周边监视显示器15的图像上。
控制系统的整体结构
图3是表示液压挖掘机1的控制系统的整体结构的框图。如图3所示，周边监视控制器40与作为车内网络之一的CAN41连接。通信控制器42、显示器控制器43、发动机控制器44、泵控制器45等与CAN41连接。此外，由多个照相机C1～C7构成的照相机组C、由多个雷达R1～R8构成的雷达组R、周边监视显示器15、以及蜂鸣器17与周边监视控制器40连接。
周边监视控制器40进行周边监视控制。周边监视控制器40具有图像处理部51、障碍物处理部52、显示控制部53。而且，图像处理部51具有俯瞰图像生成部54和图像合成部55。
俯瞰图像生成部54基于从各照相机C1～C7获得的图像生成俯瞰图像61。如图4所示，俯瞰图像生成部54将从各照相机C1～C7获得的图像P1～P7变换为上方视点图像。即，俯瞰图像生成部54将其变换为从位于液压挖掘机1的上方的规定的虚拟视点看到的图像。具体而言，俯瞰图像生成部54从液压挖掘机1的上方的虚拟视点进行投影到与地表水平面GL对应的规定的虚拟投影面的图像变换。然后，俯瞰图像生成部54切取与显示俯瞰图像的框架的各区域E1～E7对应的变换图像P11～P17，并在框架内合成各变换图像P11～P17。在俯瞰图像生成部54生成的俯瞰图像61中，预先贴附有与液压挖掘机1的俯视图对应的图像P。
另一方面，障碍物处理部52基于雷达R1～R8的信息检测障碍物。在检测出障碍物的情况下，障碍物处理部52使蜂鸣器17鸣叫进行告知，并且将检测出的障碍物的大小或位置等障碍物信息输出到图像合成部55。将上述的俯瞰图像61和各照相机C1～C7拍摄的图像(单相机图像62)输入到图像合成部55。在从障碍物处理部52输入了障碍物信息的情况下，图像合成部55生成在上述的俯瞰图像61和单相机图像62中合成了障碍物信息的图像。例如，将图4的区域E4中的障碍物信息A1合成到俯瞰图像61中。
显示控制部53进行将从图像合成部55输入的俯瞰图像61以及照相机C1～C7拍摄的图像中所选出的单相机图像62显示在周边监视显示器15上的控制。
显示器控制器43与显示器16连接。显示器控制器43对从各种传感器经由CAN41发送来的信息或经由显示器16输入的信息等各种信息进行输入输出控制。如上所述，显示器16例如能够显示表示发动机水温、油温、剩余油量、设备异常等的警告信息等。
照相机的结构和配置
接着，参照图5和图6来说明各照相机C1～C7的结构和配置。可以将全部照相机C1～C7安装于上部回转体3。例如各照相机C1～C7在左右方向上具有120度(左右各60度)、在高度方向上具有96度的视野范围。能够使用CCD(Charge-Coupled Device，电荷耦合器件)照相机作为照相机。此外，各照相机C1～C7可以具有宽动态范围(Wide Dynamic Range)功能。
如图5和图6所示，具体而言，照相机C1设置于上部回转体3的驾驶室6下部即驾驶室基座5的前面，拍摄上部回转体3的前方。照相机C2设置于上部回转体3的右侧前方的下部，拍摄上部回转体3的右前方。照相机C3设置于上部回转体3的右侧侧面的下部，拍摄上部回转体3的右后方。照相机C4设置于在上部回转体3的后方配置的配重8的后方下部的中央，拍摄上部回转体3的后方。照相机C5设置于上部回转体3的左侧侧面的下部，拍摄上部回转体3的左后方。照相机C6设置于驾驶室基座5的上部左侧面，拍摄上部回转体3的左前方。照相机C7设置于动力箱7的下部，拍摄动力箱7和配重8的下部区域。由于相邻的照相机C1～C7的拍摄范围交叠，所以能够拍摄液压挖掘机的邻近位置的外周360度。
雷达的结构和配置
接着，参照图7和图8来说明各雷达R1～R8的结构和配置。可以将全部雷达R1～R8设置于上部回转体3。各雷达R1～R8检测位于液压挖掘机1的周围的障碍物与液压挖掘机1的相对的位置(相对位置)和方向。例如如图7和图8所示，雷达R1～R8安装在液压挖掘机1的外周部分。此外，各雷达R1～R8是具有方位(水平)方向80度(±40度)、上下(垂直)方向16度(±8度)的检测角度、并且最大检测距离为15m以上的UWB(Ultra Wide Band：超宽带)雷达。
如图7和图8所示，具体而言，雷达R1设置于上部回转体3的前部下方的左端，检测上部回转体3的左前方的障碍物。雷达R2设置于上部回转体3的前部下方的右端，检测上部回转体3的右前方的障碍物。此外，雷达R1、R2的设置方向调整为不会检测到铲斗4c等作业机4，所以雷达R1、R2的检测区域不交叠。雷达R3设置于上部回转体3的右侧方下部，检测上部回转体3的右后方的障碍物。雷达R4设置于上部回转体3的右侧侧方的下部，检测上部回转体3的右前方的障碍物。这里，雷达R3与雷达R4相邻，并且配置在相对于雷达R4的位置的前方。而且，雷达R3、R4通过以相互交叉的方式照射雷达信号，检测上部回转体3的整个右侧方的障碍物。此外，雷达R5设置于上部回转体3的配重8的下部，检测上部回转体3的左后方的障碍物。雷达R6设置于配重8的下部，检测上部回转体3的右后方的障碍物。这里，雷达R5与雷达R6相邻，并且配置在相对于雷达R6的位置的右侧。而且，雷达R5、R6通过以相互交叉的方式照射雷达信号，检测上部回转体3的整个后方的障碍物。此外，雷达R8设置于上部回转体3的左侧方下部，检测上部回转体3的左前方的障碍物。雷达R7设置于上部回转体3的左侧侧方的下部，检测上部回转体3的左后方的障碍物。这里，雷达R8与雷达R7相邻，并且配置在相对于雷达R7的位置的后方。而且，雷达R8、R7通过以相互交叉的方式照射雷达信号，检测上部回转体3的整个左侧方的障碍物。
周边监视显示器的手动图像切换处理
图9所示的周边监视显示器15是接通(key-ON)时最初显示的初始画面的示例。在图9中，在周边监视显示器15的上部区域显示俯瞰图像61，在下部区域显示单相机图像62。此外，在周边监视显示器15的右下方显示图标I1、I2。所显示的单相机图像62是由照相机C4拍摄的上部回转体3的后方图像。图标I1表示单相机图像62所显示的7个图像的位置。由于图9所示的单相机图像62是后方图像，所以与上部回转体3的后方位置对应的图标I1的下侧区域被填涂显示。此外，在图9所示的俯瞰图像61和单相机图像62中，自卸车TR位于上部回转体3的后方。从图9中可知，自卸车TR位于与所配置作业机4的前方成180度的位置，并且朝向外侧停车。而且，在俯瞰图像61和单相机图像62中显示后述的表示距上部回转体3的距离和方向的参照信息D。此外，关于图标I2(参照显示设定部)，通过选择该图标来切换参照信息D的显示、不显示。
参照信息的显示
接着，说明俯瞰图像61和单相机图像62中显示的参照信息D。图10是表示参照信息D的概念的图。如图10所示，参照信息D具有距离参照信息D1和方向参照信息D2。此外，参照信息D例如是地表水平面GL上的位置信息。这样，在后述的单相机图像62中，可以更容易地判断与位于液压挖掘机的周边的障碍物的位置关系。
距离参照信息D1是表示距上部回转体3的回转中心CT的距离的信息，包括第一距离参照信息D11、第二距离参照信息D12、第三距离参照信息D13。第一距离参照信息D11是表示从上部回转体3的回转中心CT朝向左右前后方向的距离的信息，该距离为到设置于上部回转体3的后部的配重8端部为止的距离。即，是指在障碍物位于第一距离参照信息D11的内侧区域中的情况下当液压挖掘机1进行回转时可能会发生碰撞的区域。
此外，第二距离参照信息D12是表示从第一距离参照信息D11进一步沿着半径方向增大规定距离d1并且禁止自卸车TR等外部作业车辆靠近的距离的信息。该规定距离d1例如是在操作行走杆13、14而使液压挖掘机1朝向停止的自卸车TR行走的情况下，在判断为自卸车TR已进入到第二距离参照信息D12的内侧之后，中断行走杆13、14的操作，能够使自卸车TR不会进入到第一距离参照信息D11的内侧而安全地停止的距离。规定距离d1例如为2m。因此，对应于第二距离参照信息D12，优选设定为在障碍物进入到该区域内的情况下，障碍物处理部52检测到障碍物并使蜂鸣器等发出警报。
而且，第三距离参照信息D13是表示从第二距离参照信息D12进一步沿着半径方向增大规定距离d2的量的距离的信息。具体而言，第三距离参照信息D13是表示在使作业机4最大程度地伸展的状态下作业机4的回转区域界限的信息。换言之，即第二距离参照信息D12与第三距离参照信息D13之间的区域是作业机4的作业区域。在这种情况下，即使有自卸车TR位于第二距离参照信息D12与第三距离参照信息D13之间，也可以不使蜂鸣器17发出警报。
另一方面，方向参照信息D2是表示基于上部回转体3的回转中心CT的上部回转体3的前后左右方向的信息，包括前基准方向参照信息D21、左基准方向参照信息D22、后基准方向参照信息D23、右基准方向参照信息D24。方向参照信息D2是下述直线，即，朝向上部回转体3的前后左右方向的周围从回转中心CT呈直线状地延伸，且连接与第一距离参照信息D11和第三距离参照信息D13的各交点的直线。
更详细地说明距离参照信息D1。第一距离参照信息D11在与前基准方向参照信息D21、左基准方向参照信息D22、后基准方向参照信息D23、右基准方向参照信息D24的交叉部具有分别相对于上述参照信息D21～D24垂直地延伸的4个直线部101。该直线部101都具有为规定长度d3的长度。直线部101设置于与回转中心CT分别在前后左右方向上间隔等间距的位置上。该规定长度d3与液压挖掘机1的上部回转体的左右宽度方向上的长度一致。同样，第二距离参照信息D12和第三距离参照信息D13分别具有直线部102、103，其具有与规定长度d3相同的长度。
而且，第一距离参照信息D11分别利用以回转中心CT为中心的同一个圆将4个直线部101的各端部间结合，形成4个圆弧部111。同样，第二距离参照信息D12分别利用以回转中心CT为中心的同一个圆将4个直线部102的各端部间结合，形成4个圆弧部112。此外，第三距离参照信息D13分别利用以回转中心CT为中心的同一个圆将4个直线部103的各端部间结合，形成4个圆弧部113。
除了方向参照信息D21、D22、D23、D24以外，还可以设置连接直线部101～103的各端部的平行配置方向参照信息201、202。平行配置方向参照信息201、202与前基准方向参照信息D21、左基准方向参照信息D22、后基准方向参照信息D23、右基准方向参照信息D24平行地配置有2条。因此，在上部回转体3的前后左右方向上形成具有规定长度d3的带状部分。
参照信息的变形示例的显示方式
图11是表示显示上述的平行配置方向参照信息201、202的俯瞰图像61和单相机图像62的显示示例的图。此外，在图11中，构成方向参照信息D2’的方向参照信息D21’、D22’、D23’、D24’是对方向参照信息D21、D22、D23、D24追加平行配置方向参照信息201、202而得到的。从图11中可知，自卸车TR位于与所配置作业机4的前方成180度的位置，并且朝向外侧、位于第二距离参照信息D12的外侧。此外，由于能够用距离参照信息D1的直线部101～103和平行配置方向参照信息201、202将线显示成方格状，所以能够容易地识别自卸车TR等作业车辆的方向或其朝向(在如图10中记载的自卸车TR那样相对于液压挖掘机横向或纵向地停车的情况下，通过将自卸车的侧面或背面与直线部101～103进行比较，能够确认自卸车TR是否倾斜地停车)、与液压挖掘机的距离。而且，由于上述一部分区域显示成方格状、而其他区域显示圆弧状的线，所以俯瞰图像整体不繁杂能容易掌握图像内的距离间隔。
此外，构成上述参照信息D的第一距离参照信息D11、第二距离参照信息D12、第三距离参照信息D13优选采用与距离对应的颜色表示或不同种类的线表示。例如可以用红色的虚线表示第一距离参照信息D11，用黄色的虚线表示第二距离参照信息D12，用白色、绿色或蓝色的虚线表示第三距离参照信息D13。此外，方向参照信息D2也一样。例如优选用与第二距离参照信息D12相同的黄色虚线表示第一距离参照信息D11与第二距离参照信息D12之间的方向参照信息D2，用与第三距离参照信息D13相同的绿色或蓝色虚线表示第二距离参照信息D12与第三距离参照信息D13之间的方向参照信息D2。此外，参照信息D也可以不是线，而是排列标记而构成。
显示参照线带来的效果
图12是表示在使用上述参照信息D的情况下的作业的一个示例的图。如图12所示，如果使用上述的参照信息D，则容易掌握上部回转体3的基于回转中心CT的朝向前后左右方向的方向以及与四周的距离。具体而言，通过显示距离参照信息D1，能够掌握障碍物靠近液压挖掘机1到何种程度，并且由于具有直线部101～103，所以在自卸车TR相对于液压挖掘机横向或纵向停车的情况下，通过将自卸车的侧面或背面与直线部101～103进行比较，能够确认自卸车TR是否倾斜地停车。
此外，通过显示方向参照信息D2，在自卸车TR与所配置作业机4的前方成左90度、右90度、180度地配置时，能够容易地使箱斗的中央部与液压挖掘机1的左90度、右90度、180度一致。这样，能够高效地进行液压挖掘机1向自卸车TR装载砂土的作业(在自卸车TR的位置偏离图12中记载的位置的情况下装载作业的效率降低)。而且，在想要将自卸车TR按上部回转体3的前后左右方向配置在第二距离参照信息D12与第三距离参照信息D13之间的区域内的情况下，操作员一边监视俯瞰图像61或单相机图像62，一边利用方向参照信息D2识别方向，并且在自卸车TR到达第二距离参照信息D12的直线部102的适当的位置上时通过使喇叭鸣叫，能够通知自卸车TR的操作员已是以与直线部102平行的方向靠近并让其停止。由此，能够将自卸车TR相对于直线部102以适当的位置关系配置。特别是，能够将自卸车TR的箱斗的位置引导配置在适当的位置。
而且，通过这样配置自卸车TR，能够进行90度装载、180度装载、两侧装载等作业。自卸车TR可以是其后端，也可以是侧部横靠于直线部102。
在上述的实施方式中，以回转中心CT为中心显示参照信息D，不过不局限于此，也可以如图13所示那样以上部回转体3上的任意点G为中心显示参照信息D。
此外，在上述实施方式中，用虚线或直线显示了方向参照线信息D2，但并不局限于此，也可以如图14所示，在方向参照线信息D2与距离参照线信息D1交叉的位置，将以点表示的方向参照线信息D3(D31～D34)进行显示。此外，如图15所示，也可以在方向参照线信息D2与一个距离参照线信息D1(距离参照线信息D13)交叉的位置将以点表示的方向参照线信息D4(D41～D44)进行显示。
此外，本发明不局限于上述的实施方式，在能够实现本发明目的的范围内的变形、改良等包含在本发明中。
在上述实施方式中，将周边监视显示器15与显示器16分开设置，不过本发明不局限于此，也可以构成为在显示器16上显示俯瞰图像61和单相机图像62。此外，周边监视显示器15由触摸显示器构成，不过也可以使用一般的不内置触摸传感器的显示器。
在上述实施方式中，在周边监视显示器15上同时显示俯瞰图像61和单相机图像62，不过本发明不局限于此，也可以构成为在周边监视显示器15上仅显示俯瞰图像或单相机图像。
此外，在上述实施方式中，在触摸面板显示器60的显示由照相机61～67拍摄的图像的区域中，仅显示由照相机61～67中的任一照相机拍摄的图像，不过也可以构成为能够同时显示2个以上的图像。
此外，在上述实施方式中，在上部回转体3的外周设置有7台照相机，不过可以以少于7台的照相机的台数构成周边监视装置，而且也可以以多于7台的照相机的台数构成周边监视装置。
而且，在上述实施方式中，周边监视装置构成为雷达和照相机协同工作，不过不局限于此，也可以以照相机单独构成周边监视装置。
此外，在上述实施方式中，仅公开了同时显示距离参照信息D1和方向参照信息D2的方式，不过也可以构成为仅显示距离参照信息D1或方向参照信息D2。
此外，基于在矿山等中使用的采矿用液压挖掘机进行了说明，不过在建设现场使用的液压挖掘机中也可以应用本发明。
此外，在上述实施方式中，说明了在作业机械的驾驶席6设置有周边监视显示器15或蜂鸣器17的结构，但也可以设置于其他场所，例如用于进行作业机械的远程操作的图16所示的远程操作席300、或矿山内的对多个作业机械整体进行管理、监控的管制室内。此外，也可以将图16所示的远程操作用显示器301作为周边监视显示器而使用。而且，如图17所示，也可以将周边监视显示器15或蜂鸣器17设置于便携式终端302，由操作人员观看显示于便携式终端302的俯瞰图像等。这里，在远程操作席300和管制室中的周边监视显示器15显示俯瞰图像的情况下、或将便携式终端302作为周边监视显示器15或蜂鸣器17而使用的情况下，也可以是在作业机械和远程操作席300、管制室、便携式终端302等分别设置某种通信单元、并进行俯瞰图像等的信息的收发的结构。

Claims (6)

1.一种作业机械的周边监视装置，是在上部回转体具有作业机的作业机械的周边监视装置，其特征在于，具备：
多个照相机，其获取所述作业机械的周围状况；
图像处理部，其基于所述多个照相机拍摄的图像生成俯瞰图像；
显示部，其显示所述多个照相机中的一个照相机的图像即单相机图像和/或所述俯瞰图像；以及
显示控制部，其将从所述上部回转体的基准位置在该上部回转体的周围配置出的方向参照信息显示在所述单相机图像上和/或所述俯瞰图像上。
2.根据权利要求1所述的作业机械的周边监视装置，其特征在于：
所述方向参照信息是从所述上部回转体的基准位置朝向该上部回转体的周围延伸的直线。
3.根据权利要求1或2所述的作业机械的周边监视装置，其特征在于：
所述方向参照信息具有从基准方向参照信息分别在周向两侧间隔规定距离地平行配置的平行配置方向参照信息，所述基准方向参照信息从所述上部回转体的回转中心呈直线状地延伸。
4.根据权利要求1至3中任一项所述的作业机械的周边监视装置，其特征在于，具有：
参照显示设定部，其进行所述方向参照信息的显示/不显示的设定，
所述显示控制部根据所述参照显示设定部的设定进行所述方向参照信息的显示/不显示。
5.根据权利要求1至4中任一项所述的作业机械的周边监视装置，其特征在于：
所述方向参照信息是地表水平面上的位置信息。
6.根据权利要求1所述的作业机械的周边监视装置，其特征在于：
所述显示部设置于远程操作席、管制室或者便携式终端。
CN201680002588.1A 2015-03-31 2016-03-29 作业机械的周边监视装置 Active CN106716988B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/JP2015/060295 WO2016157463A1 (ja) 2015-03-31 2015-03-31 作業機械の周辺監視装置
JPPCT/JP2015/060295 2015-03-31
PCT/JP2016/060250 WO2016159012A1 (ja) 2015-03-31 2016-03-29 作業機械の周辺監視装置

Publications (2)

Publication Number Publication Date
CN106716988A true CN106716988A (zh) 2017-05-24
CN106716988B CN106716988B (zh) 2019-01-22

Family

ID=57006821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680002588.1A Active CN106716988B (zh) 2015-03-31 2016-03-29 作业机械的周边监视装置

Country Status (6)

Country Link
US (1) US20170284069A1 (zh)
JP (2) JPWO2016157463A1 (zh)
KR (1) KR101895830B1 (zh)
CN (1) CN106716988B (zh)
DE (1) DE112016000127B4 (zh)
WO (2) WO2016157463A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10344450B2 (en) * 2015-12-01 2019-07-09 The Charles Machine Works, Inc. Object detection system and method
WO2018084146A1 (ja) * 2016-11-01 2018-05-11 住友建機株式会社 作業機械用周辺監視システム
JP6779759B2 (ja) * 2016-11-21 2020-11-04 日立建機株式会社 建設機械
DE102017106893B4 (de) * 2017-03-30 2020-07-30 Komatsu Ltd. Arbeitsfahrzeug
JP6909641B2 (ja) * 2017-05-31 2021-07-28 株式会社小松製作所 表示システム
CN111052734B (zh) * 2017-10-17 2021-06-01 株式会社多田野 作业车辆
JP7123573B2 (ja) 2018-02-28 2022-08-23 株式会社小松製作所 周辺監視装置、作業機械、周辺監視の制御方法及び表示装置
GB2573509B (en) * 2018-04-26 2020-09-02 Caterpillar Inc Method and system for providing display redundancy on a machine
JP7070047B2 (ja) * 2018-04-26 2022-05-18 コベルコ建機株式会社 旋回式作業機械の旋回制御装置
JP7147248B2 (ja) * 2018-04-27 2022-10-05 株式会社タダノ クレーン車
US10933814B2 (en) 2018-07-19 2021-03-02 Clark Equipment Company Display position for cab with overhead door
JP7115097B2 (ja) * 2018-07-24 2022-08-09 株式会社リコー 通信端末、プログラム、表示方法、記録媒体
JP7396987B2 (ja) 2018-07-31 2023-12-12 住友建機株式会社 ショベル
US11072368B2 (en) * 2019-01-22 2021-07-27 Deere & Company Dynamically augmented bird's-eye view
DE102019105855A1 (de) * 2019-03-07 2020-09-10 Deutsche Post Ag Fahrzeug mit Anzeigeeinrichtung
DE102019116759A1 (de) * 2019-06-21 2020-12-24 Tadano Demag Gmbh Verfahren zum Betrieb eines Fahrzeugkrans
WO2021054758A1 (ko) * 2019-09-20 2021-03-25 주식회사 와이즈오토모티브 건설장비용 전방 영상 생성 장치
JP7349880B2 (ja) 2019-10-18 2023-09-25 株式会社小松製作所 作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法
JP7363560B2 (ja) * 2020-02-18 2023-10-18 コベルコ建機株式会社 遠隔操作装置、遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
JP7481139B2 (ja) 2020-03-19 2024-05-10 株式会社小松製作所 作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法
JP7469127B2 (ja) * 2020-04-17 2024-04-16 株式会社小松製作所 制御システムおよび制御方法
DE102020206373A1 (de) 2020-05-20 2021-11-25 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Kollisionsvermeidung eines Arbeitswerkzeugs einer Arbeitsmaschine mit in einer Umgebung der Arbeitsmaschine befindlichen Hindernissen
WO2021241033A1 (ja) * 2020-05-29 2021-12-02 日立建機株式会社 作業機械
CN112519679A (zh) * 2020-11-26 2021-03-19 哈尔滨北方防务装备股份有限公司 一种基于4g传输的双节履带车环境辅助观察系统
JP6940906B1 (ja) * 2021-03-29 2021-09-29 株式会社レグラス 作業機械の周辺監視装置
JP6940907B1 (ja) * 2021-03-29 2021-09-29 株式会社レグラス 作業機械の周辺監視装置
JP2022170068A (ja) * 2021-04-28 2022-11-10 株式会社小松製作所 表示制御装置、表示制御方法および作業機械
JP2023147753A (ja) * 2022-03-30 2023-10-13 住友重機械建機クレーン株式会社 作業機械の周囲監視装置
KR102578690B1 (ko) * 2022-07-05 2023-09-18 에이치디현대건설기계 주식회사 건설장비의 사각지대 표시 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013034142A (ja) * 2011-08-03 2013-02-14 Nippon Seiki Co Ltd 周辺画像表示装置
CN103649426A (zh) * 2012-01-27 2014-03-19 斗山英维高株式会社 建筑机械的操作安全性提高装置
JP2014161087A (ja) * 2014-04-17 2014-09-04 Komatsu Ltd 作業車両用周辺監視システム及び作業車両

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1072851A (ja) * 1996-08-30 1998-03-17 Shin Caterpillar Mitsubishi Ltd 侵入移動体検出装置
JP4783770B2 (ja) * 2007-10-19 2011-09-28 富士通テン株式会社 車載機
JP5128566B2 (ja) 2009-09-28 2013-01-23 住友重機械工業株式会社 周囲画像提示装置及び操作支援システム
JP5269026B2 (ja) 2010-09-29 2013-08-21 日立建機株式会社 作業機械の周囲監視装置
JP5750344B2 (ja) 2011-09-16 2015-07-22 日立建機株式会社 作業機の周囲監視装置
JP5888956B2 (ja) * 2011-12-13 2016-03-22 住友建機株式会社 ショベル及び該ショベルの周囲画像表示方法
CN108130933A (zh) * 2011-12-26 2018-06-08 住友重机械工业株式会社 挖土机、挖土机的图像显示方法以及装置
CN104969544B (zh) * 2013-02-08 2018-02-27 日立建机株式会社 回转式作业机械的周围监视装置
JP6165085B2 (ja) * 2014-03-07 2017-07-19 日立建機株式会社 作業機械の周辺監視装置
US9667875B2 (en) * 2015-01-21 2017-05-30 Caterpillar Inc. Vision system and method of monitoring surroundings of machine

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013034142A (ja) * 2011-08-03 2013-02-14 Nippon Seiki Co Ltd 周辺画像表示装置
CN103649426A (zh) * 2012-01-27 2014-03-19 斗山英维高株式会社 建筑机械的操作安全性提高装置
JP2014161087A (ja) * 2014-04-17 2014-09-04 Komatsu Ltd 作業車両用周辺監視システム及び作業車両

Also Published As

Publication number Publication date
KR20170040349A (ko) 2017-04-12
JP6216097B2 (ja) 2017-10-18
US20170284069A1 (en) 2017-10-05
KR101895830B1 (ko) 2018-09-07
DE112016000127B4 (de) 2019-06-13
DE112016000127T5 (de) 2017-08-03
JPWO2016157463A1 (ja) 2018-01-18
JPWO2016159012A1 (ja) 2017-06-15
WO2016157463A1 (ja) 2016-10-06
WO2016159012A1 (ja) 2016-10-06
CN106716988B (zh) 2019-01-22

Similar Documents

Publication Publication Date Title
CN106716988A (zh) 作业机械的周边监视装置
CN107079089A (zh) 作业机械的周边监视装置
JP6659673B2 (ja) 作業機械の周辺監視装置及び作業機械の周辺監視方法
CN107075840B (zh) 作业机械的周边监视装置以及作业机械的周边监视方法
US10145087B2 (en) Surroundings display device for swing working machine
CN107406035B (zh) 工程作业机械
AU2017318911B2 (en) Image display system of work machine, remote operation system of work machine, work machine, and method for displaying image of work machine
KR20140106539A (ko) 쇼벨의 화상표시장치
JP2016194237A (ja) 作業機械
JP7145137B2 (ja) 作業機械の制御装置
JP2024015221A (ja) 作業車両の制御方法
KR20140124979A (ko) 건설기계

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant