CN107079089A - 作业机械的周边监视装置 - Google Patents
作业机械的周边监视装置 Download PDFInfo
- Publication number
- CN107079089A CN107079089A CN201680002488.9A CN201680002488A CN107079089A CN 107079089 A CN107079089 A CN 107079089A CN 201680002488 A CN201680002488 A CN 201680002488A CN 107079089 A CN107079089 A CN 107079089A
- Authority
- CN
- China
- Prior art keywords
- information
- distance
- work machine
- image
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 58
- 230000002093 peripheral effect Effects 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims description 12
- 238000000034 method Methods 0.000 claims description 4
- GOLXNESZZPUPJE-UHFFFAOYSA-N spiromesifen Chemical compound CC1=CC(C)=CC(C)=C1C(C(O1)=O)=C(OC(=O)CC(C)(C)C)C11CCCC1 GOLXNESZZPUPJE-UHFFFAOYSA-N 0.000 claims 1
- 210000001508 eye Anatomy 0.000 description 41
- 230000004888 barrier function Effects 0.000 description 30
- 230000009471 action Effects 0.000 description 15
- 238000001514 detection method Methods 0.000 description 8
- 101150006257 rig-4 gene Proteins 0.000 description 8
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 4
- 239000003921 oil Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000295 fuel oil Substances 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 238000011068 loading method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 241000602850 Cinclidae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000010720 hydraulic oil Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
Classifications
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/261—Surveying the work-site to be treated
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/24—Safety devices, e.g. for preventing overload
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mining & Mineral Resources (AREA)
- Civil Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Structural Engineering (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Component Parts Of Construction Machinery (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明是作业机械的周边监视装置，其设置于在上部回转体具有作业机的作业机械，包括：多个照相机，其获取上述作业机械的周围状况；周边监视显示器（15），其显示由所述多个照相机拍摄的俯瞰图像（61）和单相机图像（62）；以及显示控制部，其将相对于上述上部回转体的回转中心呈同心圆状地显示的距离参照信息D1显示在俯瞰图像（61）和单相机图像（62）上。由此，能够容易地读取与位于作业机械周边的对象物的位置关系及该对象物的朝向，提高作业效率。
Description
技术领域
本发明涉及一种能够显示可提高作业效率的参照信息的作业机械的周边监视装置。
背景技术
在液压挖掘机等作业机械的领域中存在如下装置：为了使操作员能够视觉确认位于车身周边的障碍物，除了反射镜以外，还在车身后方或车身侧方设置有多台照相机。而且，将照相机拍摄的图像作为单相机图像而显示在作业机械的驾驶室内的显示器上。
此外，存在如下装置：为了能够同时监视车身周围360度，通过将各照相机的图像变换为上方视点之后合成各照相机的图像，来生成俯瞰图像显示在显示器上。而且，还存在如下装置：除了俯瞰图像以外，还将由操作员选择的照相机拍摄的单相机图像显示在显示器上(参照专利文献1)。
专利文献1：日本特开2012-74929号公报
发明内容
如上述的专利文献1那样存在下述情况：在俯瞰图像中显示从上部回转体的回转中心起的呈同心圆状的多个圆形的虚线。该呈同心圆状的多个圆形的虚线仅表示距上部回转体的回转中心的距离。因此，存在下述问题：虽然操作员需要根据作业的状况来识别液压挖掘机以外的对象物例如自卸车的方向，具体而言该自卸车是否停在与正在进行挖掘作业的液压挖掘机成左右90度或180度的位置上、或者该自卸车停车的朝向，但是由于通过用眼睛观察实际的自卸车或者基于显示的俯瞰图像通过目测来推测停车位置，所以无法提高自卸车停车位置或其朝向的精度，作业效率较差。
本发明是鉴于上述情况而完成的，其目的在于提供一种能够显示可提高作业效率的参照信息的作业机械的周边监视装置。
为了解决上述问题，实现发明目的，本发明涉及的作业机械的周边监视装置，其设置于在上部回转体具有作业机的作业机械，上述作业机械的周边监视装置包括：多个照相机，其获取上述作业机械的周围状况；图像处理部，其基于上述多个照相机拍摄的图像生成俯瞰图像；显示部，其显示上述多个照相机中的1个照相机的图像即单相机图像和/或上述俯瞰图像；以及显示控制部，其将由直线部和圆弧部形成的距离参照信息显示在上述单相机图像上和/或上述俯瞰图像上，该直线部为与从上述上部回转体的回转中心朝向前后左右方向延伸的4条直线分别垂直且延伸规定长度，该圆弧部是连接该直线部的各端部的同一个圆上的圆弧部。
此外，本发明涉及的作业机械的周边监视装置，根据上述发明，上述距离参照信息包括：第一距离参照信息，是从上述上部回转体的回转中心朝向左右前后方向的距离，该距离为到设置于上述上部回转体的后部的配重为止的距离；第二距离参照信息，从上述第一距离参照信息进一步增加规定距离，禁止外部作业车辆的靠近；以及第三距离参照信息，表示在使上述作业机最大程度地伸展的状态下该作业机的回转区域。
此外，本发明涉及的作业机械的周边监视装置，根据上述发明，上述规定宽度是上述上部回转体的左右方向上的宽度。
此外，本发明涉及的作业机械的周边监视装置，根据上述发明，在上述距离参照信息中增加了连接上述直线部的端部之间及中心的方向参照信息。
此外，本发明涉及的作业机械的周边监视装置，在上述本发明中，具有：参照显示设定部，其进行上述方向参照信息的显示/不显示的设定，上述显示控制部根据上述参照显示设定部的设定进行上述方向参照信息的显示/不显示。
此外，本发明涉及的作业机械的周边监视装置，在上述本发明中，上述方向参照信息是地表水平面上的位置信息。
此外，本发明所涉及的作业机械的周边监视装置，在上述发明中，上述显示部设置于远程操作席、管制室或者便携式终端。
根据本发明，由于在图像上从上部回转体的基准位置朝向该上部回转体的周围显示距离参照信息，所以能够容易地读取与位于作业机械周边的对象物的位置关系及该对象物的朝向，提高作业效率。
附图说明
图1是表示搭载本发明的实施方式的作业机械的周边监视装置的液压挖掘机的整体结构的侧视图。
图2是表示驾驶室的内部配置的图。
图3是表示液压挖掘机的整个控制系统和周边监视控制器的详细结构的框图。
图4是说明俯瞰图像生成部的俯瞰图像的生成处理的说明图。
图5是表示照相机的配置的侧视图。
图6是示意性地表示照相机的配置的俯视图。
图7是表示雷达的配置的侧视图。
图8是示意性地表示雷达的配置的俯视图。
图9是表示俯瞰图像和单相机图像的显示示例的图。
图10是表示具有直线部的参照信息的概念的图。
图11是表示显示具有直线部的参照信息的俯瞰图像和单相机图像的显示示例的图。
图12是表示使用具有直线部的参照信息的情况下的作业的一个示例的图。
图13是表示将上部回转体的重心作为俯瞰图像的中心的情况下的参照信息的显示示例的图。
图14是表示将周边监视显示器设置于远程操作席的一个示例的图。
图15是表示将周边监视显示器设置于便携式终端的一个示例的图。
符号说明
1 液压挖掘机
2 下部行走体
3 上部回转体
4a 动臂
4b 斗杆
4c 铲斗
4d 动臂缸
4e 斗杆缸
4f 铲斗缸
4 作业机
5 驾驶室基座
6 驾驶室
7 动力箱
8 配重
10 操作员席
11、12 操作杆
13、14 行走杆
15 周边监视显示器
16 显示器
17 蜂鸣器
40 周边监视控制器
42 通信控制器
43 显示器控制器
44 发动机控制器
45 泵控制器
51 图像处理部
52 障碍物处理部
53 显示控制部
54 俯瞰图像生成部
55 图像合成部
61 俯瞰图像
62 单相机图像
63 区域
101～103 直线部
111～113 圆弧部
201、202 平行配置方向参照信息
300 远程操作席
301 远程操作用显示器
302 便携式终端
A1 障碍物信息
B10 按钮
C 照相机组
C1～C7 照相机
CT 回转中心
D 参照信息
D1 距离参照信息
D11 第一距离参照信息
D12 第二距离参照信息
D13 第三距离参照信息
D2、D2’ 方向参照信息
D21、D21’ 前基准方向参照信息
D22、D22’ 左基准方向参照信息
D23、D23’ 后基准方向参照信息
D24、D24’ 右基准方向参照信息
E0、E1～E8、E20 区域
E21 升降梯周边区域
GL 地表水平面
I1、I2 图标
P、P1～P7 图像
P11～P17 变换图像
R 雷达组
R1～R8 雷达
TR 自卸车
具体实施方式
下面，参照附图来说明本发明的实施方式。
液压挖掘机的整体结构
首先，图1是表示搭载本发明的实施方式的作业机械的周边监视装置的液压挖掘机的整体结构的侧视图。该液压挖掘机1是作为作业机械的一个示例表示的、在矿山等中使用的采矿挖掘机等大型液压挖掘机。液压挖掘机1包括：下部行走体2，其能够自主行走；上部回转体3，其可自由回转地设置在下部行走体2上；以及作业机4，其在上部回转体3的前部中央可自由地弯曲起伏地动作。
作业机4具有动臂4a、斗杆4b、铲斗4c、动臂缸4d、斗杆缸4e和铲斗缸4f。动臂4a的基端部可旋转地与上部回转体3连接。动臂4a的前端部可旋转地与斗杆4b的基端部连接。斗杆4b的前端部可旋转地与铲斗4c连接。动臂缸4d、斗杆缸4e、以及铲斗缸4f是通过从液压泵排出的液压油来驱动的液压缸。动臂缸4d使动臂4a做动作。斗杆缸4e使斗杆4b做动作。铲斗缸4f通过连接部件与铲斗4c连接，使铲斗4c做动作。通过铲斗缸4f的液压缸活塞杆进行伸缩动作，使铲斗4c做动作。此外，在图1中，铲斗4c的开口朝向回转中心发挥反铲式挖掘机的功能，不过也可以使铲斗4c的开口从回转中心朝向外侧发挥正铲式挖掘机的功能。
在上部回转体3的前部左侧部分，隔着驾驶室基座5设置驾驶室6。在上部回转体3的后部搭载动力箱(power container)7。在动力箱7内收纳有发动机、液压泵、散热器、油冷却器等。在上部回转体3的后端部安装配重8。在上部回转体3的左侧部，以位于驾驶室基座5的后方的方式配置升降梯9。升降梯9支撑驾驶员或维修人员相对于上部回转体3的升降。
驾驶席
图2是表示驾驶室6的内部配置的图。如图2所示，操作杆11、12配置在驾驶室6内的操作员席10的左右。操作杆11配置在操作员坐在操作员席10上时的左手侧。操作杆11与上部回转体3的回转动作和斗杆4b的动作对应，如果对操作杆11进行左右操作，则上部回转体3左右回转，如果对操作杆11进行上下操作，则斗杆4b在前后方向上转动。操作杆12与动臂4a的动作和铲斗4c的动作对应，如果对操作杆12进行左右操作，则铲斗4c在挖掘、卸土方向上转动，如果对操作杆12进行上下操作，则动臂4a在上下方向上转动。此外，对操作杆11、12进行操作使哪个作业机动作的组合不局限于本实施方式的组合。
行走杆13能够与操作对应地使下部行走体2的左侧履带进行前进后退。此外，行走杆14能够与操作对应地使下部行走体2的右侧履带进行前进后退。如果同时操作行走杆13、14，则能够同时驱动左右侧履带，使液压挖掘机1整体前进后退。
此外，在驾驶室6的左前的框架内配置周边监视显示器15、显示器16和蜂鸣器17。周边监视显示器15是由触摸面板形成的输入输出装置，至少能够将由多个照相机获取的液压挖掘机1的周围状况显示成俯瞰图像和单相机图像。显示器16是具有液晶显示部和按键输入部的输入输出装置。显示器16能够显示包含发动机或液压泵等的状态的各种信息。例如显示器16能够显示表示发动机水温、油温、剩余油量、设备异常等的警告信息等。蜂鸣器17在多个雷达检测出障碍物的情况下发出警报。此外，在检测出障碍物的情况下，该障碍物的信息也显示在上述的周边监视显示器15的图像上。
控制系统的整体结构
图3是表示液压挖掘机1的控制系统的整体结构的框图。如图3所示，周边监视控制器40与作为车内网络之一的CAN41连接。通信控制器42、显示器控制器43、发动机控制器44、泵控制器45等与CAN41连接。此外，由多个照相机C1～C7构成的照相机组C、由多个雷达R1～R8构成的雷达组R、周边监视显示器15、以及蜂鸣器17与周边监视控制器40连接。
周边监视控制器40进行周边监视控制。周边监视控制器40具有图像处理部51、障碍物处理部52、显示控制部53。而且，图像处理部51具有俯瞰图像生成部54和图像合成部55。
俯瞰图像生成部54基于从各照相机C1～C7获得的图像生成俯瞰图像61。如图4所示，俯瞰图像生成部54将从各照相机C1～C7获得的图像P1～P7变换为上方视点图像。即，俯瞰图像生成部54将其变换为从位于液压挖掘机1的上方的规定的虚拟视点看到的图像。具体而言，俯瞰图像生成部54从液压挖掘机1的上方的虚拟视点进行投影到与地表水平面GL对应的规定的虚拟投影面的图像变换。然后，俯瞰图像生成部54切取与显示俯瞰图像的框架的各区域E1～E7对应的变换图像P11～P17，并在框架内合成各变换图像P11～P17。在俯瞰图像生成部54生成的俯瞰图像61中，预先贴附有与液压挖掘机1的俯视图对应的图像P。
另一方面，障碍物处理部52基于雷达R1～R8的信息检测障碍物。在检测出障碍物的情况下，障碍物处理部52使蜂鸣器17鸣叫进行告知，并且将检测出的障碍物的大小或位置等障碍物信息输出到图像合成部55。将上述的俯瞰图像61和各照相机C1～C7拍摄的图像(单相机图像62)输入到图像合成部55。在从障碍物处理部52输入了障碍物信息的情况下，图像合成部55生成在上述的俯瞰图像61和单相机图像62中合成了障碍物信息的图像。例如，将图4的区域E4中的障碍物信息A1合成到俯瞰图像61中。
显示控制部53进行将从图像合成部55输入的俯瞰图像61以及照相机C1～C7拍摄的图像中所选出的单相机图像62显示在周边监视显示器15上的控制。
显示器控制器43与显示器16连接。显示器控制器43对从各种传感器经由CAN41发送来的信息或经由显示器16输入的信息等各种信息进行输入输出控制。如上所述，显示器16例如能够显示表示发动机水温、油温、剩余油量、设备异常等的警告信息等。
照相机的结构和配置
接着，参照图5和图6来说明各照相机C1～C7的结构和配置。可以将全部照相机C1～C7安装于上部回转体3。例如各照相机C1～C7在左右方向上具有120度(左右各60度)、在高度方向上具有96度的视野范围。能够使用CCD(Charge-Coupled Device，电荷耦合器件)照相机作为照相机。此外，各照相机C1～C7可以具有宽动态范围(Wide Dynamic Range)功能。
如图5和图6所示，具体而言，照相机C1设置于上部回转体3的驾驶室6下部即驾驶室基座5的前面，拍摄上部回转体3的前方。照相机C2设置于上部回转体3的右侧前方的下部，拍摄上部回转体3的右前方。照相机C3设置于上部回转体3的右侧侧面的下部，拍摄上部回转体3的右后方。照相机C4设置于在上部回转体3的后方配置的配重8的后方下部的中央，拍摄上部回转体3的后方。照相机C5设置于上部回转体3的左侧侧面的下部，拍摄上部回转体3的左后方。照相机C6设置于驾驶室基座5的上部左侧面，拍摄上部回转体3的左前方。照相机C7设置于动力箱7的下部，拍摄动力箱7和配重8的下部区域。由于相邻的照相机C1～C7的拍摄范围交叠，所以能够拍摄液压挖掘机的邻近位置的外周360度。
雷达的结构和配置
接着，参照图7和图8来说明各雷达R1～R8的结构和配置。可以将全部雷达R1～R8设置于上部回转体3。各雷达R1～R8检测位于液压挖掘机1的周围的障碍物与液压挖掘机1的相对的位置(相对位置)和方向。例如如图7和图8所示，雷达R1～R8安装在液压挖掘机1的外周部分。此外，各雷达R1～R8是具有方位(水平)方向80度(±40度)、上下(垂直)方向16度(±8度)的检测角度、并且最大检测距离为15m以上的UWB(Ultra Wide Band：超宽带)雷达。
如图7和图8所示，具体而言，雷达R1设置于上部回转体3的前部下方的左端，检测上部回转体3的左前方的障碍物。雷达R2设置于上部回转体3的前部下方的右端，检测上部回转体3的右前方的障碍物。此外，雷达R1、R2的设置方向调整为不会检测到铲斗4c等作业机4，所以雷达R1、R2的检测区域不交叠。雷达R3设置于上部回转体3的右侧方下部，检测上部回转体3的右后方的障碍物。雷达R4设置于上部回转体3的右侧侧方的下部，检测上部回转体3的右前方的障碍物。这里，雷达R3与雷达R4相邻，并且配置在相对于雷达R4的位置的前方。而且，雷达R3、R4通过以相互交叉的方式照射雷达信号，检测上部回转体3的整个右侧方的障碍物。此外，雷达R5设置于上部回转体3的配重8的下部，检测上部回转体3的左后方的障碍物。雷达R6设置于配重8的下部，检测上部回转体3的右后方的障碍物。这里，雷达R5与雷达R6相邻，并且配置在相对于雷达R6的位置的右侧。而且，雷达R5、R6通过以相互交叉的方式照射雷达信号，检测上部回转体3的整个后方的障碍物。此外，雷达R8设置于上部回转体3的左侧方下部，检测上部回转体3的左前方的障碍物。雷达R7设置于上部回转体3的左侧侧方的下部，检测上部回转体3的左后方的障碍物。这里，雷达R8与雷达R7相邻，并且配置在相对于雷达R7的位置的后方。而且，雷达R8、R7通过以相互交叉的方式照射雷达信号，检测上部回转体3的整个左侧方的障碍物。
周边监视显示器的手动图像切换处理
图9所示的周边监视显示器15是接通(key-ON)时最初显示的初始画面的示例。在图9中，在周边监视显示器15的上部区域显示俯瞰图像61，在下部区域显示单相机图像62。此外，在周边监视显示器15的右下方显示图标I1、I2。所显示的单相机图像62是由照相机C4拍摄的上部回转体3的后方图像。图标I1表示单相机图像62所显示的7个图像的位置。由于图9所示的单相机图像62是后方图像，所以与上部回转体3的后方位置对应的图标I1的下侧区域被填涂显示。此外，在图9所示的俯瞰图像61和单相机图像62中，自卸车TR位于上部回转体3的后方。从图9中可知，自卸车TR位于与所配置作业机4的前方成180度的位置，并且朝向外侧停车。而且，在俯瞰图像61和单相机图像62中显示后述的表示距上部回转体3的距离和方向的参照信息D。此外，关于图标I2(参照显示设定部)，通过选择该图标来切换参照信息D的显示、不显示。
参照信息的显示
接着，说明俯瞰图像61和单相机图像62中显示的参照信息D。图10是表示参照信息D的概念的图。如图10所示，参照信息D具有距离参照信息D1和方向参照信息D2。此外，参照信息D例如是地表水平面GL上的位置信息。这样，在后述的单相机图像62中，可以更容易地判断与位于液压挖掘机的周边的障碍物的位置关系。
距离参照信息D1是表示距上部回转体3的回转中心CT的距离的信息，包括第一距离参照信息D11、第二距离参照信息D12、第三距离参照信息D13。第一距离参照信息D11是表示从上部回转体3的回转中心CT朝向左右前后方向的距离的信息，该距离为到设置于上部回转体3的后部的配重8端部为止的距离。即，是指在障碍物位于第一距离参照信息D11的内侧区域中的情况下当液压挖掘机1进行回转时可能会发生碰撞的区域。
此外，第二距离参照信息D12是表示从第一距离参照信息D11进一步沿着半径方向增大规定距离d1并且禁止自卸车TR等外部作业车辆靠近的距离的信息。该规定距离d1例如是在操作行走杆13、14而使液压挖掘机1朝向停止的自卸车TR行走的情况下，在判断为自卸车TR已进入到第二距离参照信息D12的内侧之后，中断行走杆13、14的操作，能够使自卸车TR不会进入到第一距离参照信息D11的内侧而安全地停止的距离。规定距离d1例如为2m。因此，对应于第二距离参照信息D12，优选设定为在障碍物进入到该区域内的情况下，障碍物处理部52检测到障碍物并使蜂鸣器等发出警报。
而且，第三距离参照信息D13是表示从第二距离参照信息D12进一步沿着半径方向增大规定距离d2的量的距离的信息。具体而言，第三距离参照信息D13是表示在使作业机4最大程度地伸展的状态下作业机4的回转区域界限的信息。换言之，即第二距离参照信息D12与第三距离参照信息D13之间的区域是作业机4的作业区域。在这种情况下，即使有自卸车TR位于第二距离参照信息D12与第三距离参照信息D13之间，也可以不使蜂鸣器17发出警报。
另一方面，方向参照信息D2是表示基于上部回转体3的回转中心CT的上部回转体3的前后左右方向的信息，包括前基准方向参照信息D21、左基准方向参照信息D22、后基准方向参照信息D23、右基准方向参照信息D24。方向参照信息D2是下述直线，即，朝向上部回转体3的前后左右方向的周围从回转中心CT呈直线状地延伸，且连接与第一距离参照信息D11和第三距离参照信息D13的各交点的直线。
更详细地说明距离参照信息D1。第一距离参照信息D11在与前基准方向参照信息D21、左基准方向参照信息D22、后基准方向参照信息D23、右基准方向参照信息D24的交叉部具有分别相对于上述参照信息D21～D24垂直地延伸的4个直线部101。该直线部101都具有为规定长度d3的长度。直线部101设置于与回转中心CT分别在前后左右方向上间隔等间距的位置上。该规定长度d3与液压挖掘机1的上部回转体的左右宽度方向上的长度一致。同样，第二距离参照信息D12和第三距离参照信息D13分别具有直线部102、103，其具有与规定长度d3相同的长度。
而且，第一距离参照信息D11分别利用以回转中心CT为中心的同一个圆将4个直线部101的各端部间结合，形成4个圆弧部111。同样，第二距离参照信息D12分别利用以回转中心CT为中心的同一个圆将4个直线部102的各端部间结合，形成4个圆弧部112。此外，第三距离参照信息D13分别利用以回转中心CT为中心的同一个圆将4个直线部103的各端部间结合，形成4个圆弧部113。
除了方向参照信息D21、D22、D23、D24以外，还可以设置连接直线部101～103的各端部的平行配置方向参照信息201、202。平行配置方向参照信息201、202与前基准方向参照信息D21、左基准方向参照信息D22、后基准方向参照信息D23、右基准方向参照信息D24平行地配置有2条。因此，在上部回转体3的前后左右方向上形成具有规定长度d3的带状部分。
参照信息的变形示例的显示方式
图11是表示显示上述的平行配置方向参照信息201、202的俯瞰图像61和单相机图像62的显示示例的图。此外，在图11中，构成方向参照信息D2’的方向参照信息D21’、D22’、D23’、D24’是对方向参照信息D21、D22、D23、D24追加平行配置方向参照信息201、202而得到的。从图11中可知，自卸车TR位于与所配置作业机4的前方成180度的位置，并且朝向外侧、位于第二距离参照信息D12的外侧。此外，由于能够用距离参照信息D1的直线部101～103和平行配置方向参照信息201、202将线显示成方格状，所以能够容易地识别自卸车TR等作业车辆的方向或其朝向(在如图10中记载的自卸车TR那样相对于液压挖掘机横向或纵向地停车的情况下，通过将自卸车的侧面或背面与直线部101～103进行比较，能够确认自卸车TR是否倾斜地停车)、与液压挖掘机的距离。而且，由于上述一部分区域显示成方格状、而其他区域显示圆弧状的线，所以俯瞰图像整体不繁杂能容易掌握图像内的距离间隔。
此外，构成上述参照信息D的第一距离参照信息D11、第二距离参照信息D12、第三距离参照信息D13优选采用与距离对应的颜色表示或不同种类的线表示。例如可以用红色的虚线表示第一距离参照信息D11，用黄色的虚线表示第二距离参照信息D12，用白色、绿色或蓝色的虚线表示第三距离参照信息D13。此外，方向参照信息D2也一样。例如优选用与第二距离参照信息D12相同的黄色虚线表示第一距离参照信息D11与第二距离参照信息D12之间的方向参照信息D2，用与第三距离参照信息D13相同的绿色或蓝色虚线表示第二距离参照信息D12与第三距离参照信息D13之间的方向参照信息D2。此外，参照信息D也可以不是线，而是排列标记而构成。
显示参照线带来的效果
图12是表示在使用上述参照信息D的情况下的作业的一个示例的图。如图12所示，如果使用上述的参照信息D，则容易掌握上部回转体3的基于回转中心CT的朝向前后左右方向的方向以及与四周的距离。具体而言，通过显示距离参照信息D1，能够掌握障碍物靠近液压挖掘机1到何种程度，并且由于具有直线部101～103，所以在自卸车TR相对于液压挖掘机横向或纵向停车的情况下，通过将自卸车的侧面或背面与直线部101～103进行比较，能够确认自卸车TR是否倾斜地停车。
此外，通过显示方向参照信息D2，在自卸车TR与所配置作业机4的前方成左90度、右90度、180度地配置时，能够容易地使箱斗的中央部与液压挖掘机1的左90度、右90度、180度一致。这样，能够高效地进行液压挖掘机1向自卸车TR装载砂土的作业(在自卸车TR的位置偏离图12中记载的位置的情况下装载作业的效率降低)。而且，在想要将自卸车TR按上部回转体3的前后左右方向配置在第二距离参照信息D12与第三距离参照信息D13之间的区域内的情况下，操作员一边监视俯瞰图像61或单相机图像62，一边利用方向参照信息D2识别方向，并且在自卸车TR到达第二距离参照信息D12的直线部102的适当的位置上时通过使喇叭鸣叫，能够通知自卸车TR的操作员已是以与直线部102平行的方向靠近并让其停止。由此，能够将自卸车TR相对于直线部102以适当的位置关系配置。特别是，能够将自卸车TR的箱斗的位置引导配置在适当的位置。
而且，通过这样配置自卸车TR，能够进行90度装载、180度装载、两侧装载等作业。自卸车TR可以是其后端，也可以是侧部横靠于直线部102。
在上述的实施方式中，以回转中心CT为中心显示参照信息D，不过不局限于此，也可以如图13所示那样以上部回转体3上的任意点G为中心显示参照信息D。
此外，本发明不局限于上述的实施方式，在能够实现本发明目的的范围内的变形、改良等包含在本发明中。
在上述实施方式中，将周边监视显示器15与显示器16分开设置，不过本发明不局限于此，也可以构成为在显示器16上显示俯瞰图像61和单相机图像62。此外，周边监视显示器15由触摸显示器构成，不过也可以使用一般的不内置触摸传感器的显示器。
在上述实施方式中，在周边监视显示器15上同时显示俯瞰图像61和单相机图像62，不过本发明不局限于此，也可以构成为在周边监视显示器15上仅显示俯瞰图像或单相机图像。
此外，在上述实施方式中，在触摸面板显示器60的显示由照相机61～67拍摄的图像的区域中，仅显示由照相机61～67中的任一照相机拍摄的图像，不过也可以构成为能够同时显示2个以上的图像。
此外，在上述实施方式中，在上部回转体3的外周设置有7台照相机，不过可以以少于7台的照相机的台数构成周边监视装置，而且也可以以多于7台的照相机的台数构成周边监视装置。
而且，在上述实施方式中，周边监视装置构成为雷达和照相机协同工作，不过不局限于此，也可以以照相机单独构成周边监视装置。
此外，在上述实施方式中，仅公开了同时显示距离参照信息D1和方向参照信息D2的方式，不过也可以构成为仅显示距离参照信息D1或方向参照信息D2。
此外，基于在矿山等中使用的采矿用液压挖掘机进行了说明，不过在建设现场使用的液压挖掘机中也可以应用本发明。
此外，在上述实施方式中，说明了在作业机械的驾驶席6设置有周边监视显示器15或蜂鸣器17的结构，但也可以设置于其他场所，例如用于进行作业机械的远程操作的图14所示的远程操作席300、或矿山内的对多个作业机械整体进行管理、监控的管制室内。此外，也可以将图14所示的远程操作用显示器301作为周边监视显示器而使用。而且，如图15所示，也可以将周边监视显示器15或蜂鸣器17设置于便携式终端302，由操作人员观看显示于便携式终端302的俯瞰图像等。这里，在远程操作席300和管制室中的周边监视显示器15显示俯瞰图像的情况下、或将便携式终端302作为周边监视显示器15或蜂鸣器17而使用的情况下，也可以是在作业机械和远程操作席300、管制室、便携式终端302等分别设置某种通信单元、并进行俯瞰图像等的信息的收发的结构。
Claims (7)
1.一种作业机械的周边监视装置，是在上部回转体具有作业机的作业机械的周边监视装置，其特征在于，具备：
多个照相机，其获取所述作业机械的周围状况；
图像处理部，其基于所述多个照相机拍摄的图像生成俯瞰图像；
显示部，其显示所述多个照相机中的一个照相机的图像即单相机图像和/或所述俯瞰图像；以及
显示控制部，其将由直线部和圆弧部形成的距离参照信息显示在所述单相机图像上和/或所述俯瞰图像上，该直线部为与从所述上部回转体的回转中心朝向前后左右方向延伸的直线分别垂直且延伸规定长度，该圆弧部是连接该直线部的各端部的同一个圆上的圆弧部。
2.根据权利要求1所述的作业机械的周边监视装置，其特征在于：
所述距离参照信息包括：第一距离参照信息，是从所述上部回转体的回转中心朝向左右前后方向的距离，该距离为到设置于所述上部回转体的后部的配重为止的距离；第二距离参照信息，从所述第一距离参照信息进一步增加规定距离，禁止外部作业车辆的靠近；以及第三距离参照信息，表示在使所述作业机最大程度地伸展的状态下该作业机的回转区域。
3.根据权利要求1所述的作业机械的周边监视装置，其特征在于：
所述规定宽度是所述上部回转体的左右方向上的宽度。
4.根据权利要求1所述的作业机械的周边监视装置，其特征在于：
在所述距离参照信息中增加了连接所述直线部的端部之间及中心的方向参照信息。
5.根据权利要求1所述的作业机械的周边监视装置，其特征在于，具有：
参照显示设定部，其进行所述距离参照信息的显示/不显示的设定，
所述显示控制部根据所述参照显示设定部的设定进行所述距离参照信息的显示/不显示。
6.根据权利要求1所述的作业机械的周边监视装置，其特征在于：
所述距离参照信息是地表水平面上的位置信息。
7.一种作业机械的周边监视装置，其特征在于：
所述显示部设置于远程操作席、管制室或者便携式终端。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2015/060294 WO2016157462A1 (ja) | 2015-03-31 | 2015-03-31 | 作業機械の周辺監視装置 |
| JPPCT/JP2015/060294 | 2015-03-31 | ||
| PCT/JP2016/057236 WO2016158255A1 (ja) | 2015-03-31 | 2016-03-08 | 作業機械の周辺監視装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107079089A true CN107079089A (zh) | 2017-08-18 |
| CN107079089B CN107079089B (zh) | 2020-04-17 |
Family
ID=57005636
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201680002488.9A Active CN107079089B (zh) | 2015-03-31 | 2016-03-08 | 作业机械的周边监视装置 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20170298595A1 (zh) |
| JP (2) | JPWO2016157462A1 (zh) |
| KR (1) | KR101945421B1 (zh) |
| CN (1) | CN107079089B (zh) |
| DE (1) | DE112016000115B4 (zh) |
| WO (2) | WO2016157462A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111108250A (zh) * | 2017-12-27 | 2020-05-05 | 住友建机株式会社 | 挖土机及挖土机的输出装置 |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017094626A1 (ja) * | 2015-11-30 | 2017-06-08 | 住友重機械工業株式会社 | 作業機械用周辺監視システム |
| US10344450B2 (en) * | 2015-12-01 | 2019-07-09 | The Charles Machine Works, Inc. | Object detection system and method |
| CN109072588B (zh) * | 2016-04-21 | 2021-10-08 | 住友建机株式会社 | 挖土机的显示装置 |
| WO2018084161A1 (ja) * | 2016-11-01 | 2018-05-11 | 住友建機株式会社 | 作業機械用安全管理システム、管理装置、安全管理方法 |
| JP6779759B2 (ja) * | 2016-11-21 | 2020-11-04 | 日立建機株式会社 | 建設機械 |
| JP6980391B2 (ja) * | 2017-01-25 | 2021-12-15 | 住友重機械工業株式会社 | 作業機械用周辺監視システム |
| JP6969983B2 (ja) | 2017-11-10 | 2021-11-24 | 株式会社小松製作所 | ダンプトラック |
| JP6900897B2 (ja) * | 2017-12-25 | 2021-07-07 | コベルコ建機株式会社 | 建設機械の障害物検出装置 |
| JP7091772B2 (ja) * | 2018-03-29 | 2022-06-28 | コベルコ建機株式会社 | 建設機械 |
| JP7070047B2 (ja) * | 2018-04-26 | 2022-05-18 | コベルコ建機株式会社 | 旋回式作業機械の旋回制御装置 |
| JP7147248B2 (ja) * | 2018-04-27 | 2022-10-05 | 株式会社タダノ | クレーン車 |
| JP7080750B2 (ja) * | 2018-06-29 | 2022-06-06 | 株式会社小松製作所 | 表示制御システム、遠隔操作システム、表示制御装置、および表示制御方法 |
| JP7285051B2 (ja) * | 2018-06-29 | 2023-06-01 | 株式会社小松製作所 | 表示制御装置、および表示制御方法 |
| JP7158216B2 (ja) * | 2018-09-03 | 2022-10-21 | 株式会社小松製作所 | 作業機械のための表示システム |
| JP2020063569A (ja) * | 2018-10-15 | 2020-04-23 | 日立建機株式会社 | 油圧ショベル |
| JP2021120624A (ja) * | 2020-01-30 | 2021-08-19 | いすゞ自動車株式会社 | 検出装置および検出位置算出装置 |
| JP7458850B2 (ja) * | 2020-03-26 | 2024-04-01 | 住友重機械建機クレーン株式会社 | 作業機械の周囲表示装置 |
| JP7469127B2 (ja) * | 2020-04-17 | 2024-04-16 | 株式会社小松製作所 | 制御システムおよび制御方法 |
| JP7560955B2 (ja) | 2020-04-20 | 2024-10-03 | 株式会社小松製作所 | ショベル、作業機械の障害物報知システムおよびショベルの障害物報知方法 |
| JP6940906B1 (ja) * | 2021-03-29 | 2021-09-29 | 株式会社レグラス | 作業機械の周辺監視装置 |
| JP6940907B1 (ja) * | 2021-03-29 | 2021-09-29 | 株式会社レグラス | 作業機械の周辺監視装置 |
| JP2022155631A (ja) * | 2021-03-31 | 2022-10-14 | 住友重機械建機クレーン株式会社 | 作業機械の周囲監視装置 |
| US20240018746A1 (en) * | 2022-07-12 | 2024-01-18 | Caterpillar Inc. | Industrial machine remote operation systems, and associated devices and methods |
| US20240246510A1 (en) * | 2023-01-20 | 2024-07-25 | Caterpillar Inc. | Machine security system |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002019556A (ja) * | 2000-07-04 | 2002-01-23 | Matsushita Electric Ind Co Ltd | 監視システム |
| JP2008163719A (ja) * | 2007-01-05 | 2008-07-17 | Hitachi Constr Mach Co Ltd | 作業機械の周囲監視装置 |
| US20090059005A1 (en) * | 2007-08-28 | 2009-03-05 | Denso Corporation | Image processor and camera |
| CN102163331A (zh) * | 2010-02-12 | 2011-08-24 | 王炳立 | 采用标定方法的图像辅助系统 |
| CN102947515A (zh) * | 2010-06-18 | 2013-02-27 | 日立建机株式会社 | 作业机械的周围监视装置 |
| CN103155552A (zh) * | 2011-06-07 | 2013-06-12 | 株式会社小松制作所 | 作业车辆的周边监视装置 |
| CN103180522A (zh) * | 2010-10-22 | 2013-06-26 | 日立建机株式会社 | 作业机械的周边监视装置 |
| CN103563358A (zh) * | 2011-06-02 | 2014-02-05 | 日立建机株式会社 | 作业机械的周围监视装置 |
| WO2014123228A1 (ja) * | 2013-02-08 | 2014-08-14 | 日立建機株式会社 | 旋回式作業機械の周囲監視装置 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1072851A (ja) * | 1996-08-30 | 1998-03-17 | Shin Caterpillar Mitsubishi Ltd | 侵入移動体検出装置 |
| JP4783770B2 (ja) * | 2007-10-19 | 2011-09-28 | 富士通テン株式会社 | 車載機 |
| JP4951639B2 (ja) * | 2009-03-02 | 2012-06-13 | 日立建機株式会社 | 周囲監視装置を備えた作業機械 |
| KR101123738B1 (ko) * | 2009-08-21 | 2012-03-16 | 고려대학교 산학협력단 | 중장비 동작 안전 모니터링 시스템 및 방법 |
| JP5269026B2 (ja) | 2010-09-29 | 2013-08-21 | 日立建機株式会社 | 作業機械の周囲監視装置 |
| US9030332B2 (en) * | 2011-06-27 | 2015-05-12 | Motion Metrics International Corp. | Method and apparatus for generating an indication of an object within an operating ambit of heavy loading equipment |
| JP5750344B2 (ja) | 2011-09-16 | 2015-07-22 | 日立建機株式会社 | 作業機の周囲監視装置 |
| JP6267972B2 (ja) * | 2014-01-23 | 2018-01-24 | 日立建機株式会社 | 作業機械の周囲監視装置 |
| JP5926315B2 (ja) * | 2014-04-17 | 2016-05-25 | 株式会社小松製作所 | 作業車両用周辺監視システム及び作業車両 |
| JP5956693B2 (ja) * | 2015-07-31 | 2016-07-27 | 株式会社小松製作所 | 作業機械の表示システム、作業機械の表示装置、および作業機械の表示方法 |
-
2015
- 2015-03-31 WO PCT/JP2015/060294 patent/WO2016157462A1/ja active Application Filing
- 2015-03-31 JP JP2015521729A patent/JPWO2016157462A1/ja active Pending
-
2016
- 2016-03-08 CN CN201680002488.9A patent/CN107079089B/zh active Active
- 2016-03-08 KR KR1020177006043A patent/KR101945421B1/ko active IP Right Grant
- 2016-03-08 DE DE112016000115.0T patent/DE112016000115B4/de active Active
- 2016-03-08 WO PCT/JP2016/057236 patent/WO2016158255A1/ja active Application Filing
- 2016-03-08 US US15/507,907 patent/US20170298595A1/en not_active Abandoned
- 2016-03-08 JP JP2017509471A patent/JP6200121B2/ja active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002019556A (ja) * | 2000-07-04 | 2002-01-23 | Matsushita Electric Ind Co Ltd | 監視システム |
| JP2008163719A (ja) * | 2007-01-05 | 2008-07-17 | Hitachi Constr Mach Co Ltd | 作業機械の周囲監視装置 |
| US20090059005A1 (en) * | 2007-08-28 | 2009-03-05 | Denso Corporation | Image processor and camera |
| CN102163331A (zh) * | 2010-02-12 | 2011-08-24 | 王炳立 | 采用标定方法的图像辅助系统 |
| CN102947515A (zh) * | 2010-06-18 | 2013-02-27 | 日立建机株式会社 | 作业机械的周围监视装置 |
| CN103180522A (zh) * | 2010-10-22 | 2013-06-26 | 日立建机株式会社 | 作业机械的周边监视装置 |
| CN103563358A (zh) * | 2011-06-02 | 2014-02-05 | 日立建机株式会社 | 作业机械的周围监视装置 |
| CN103155552A (zh) * | 2011-06-07 | 2013-06-12 | 株式会社小松制作所 | 作业车辆的周边监视装置 |
| WO2014123228A1 (ja) * | 2013-02-08 | 2014-08-14 | 日立建機株式会社 | 旋回式作業機械の周囲監視装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111108250A (zh) * | 2017-12-27 | 2020-05-05 | 住友建机株式会社 | 挖土机及挖土机的输出装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2016157462A1 (ja) | 2016-10-06 |
| JP6200121B2 (ja) | 2017-09-20 |
| KR20170038911A (ko) | 2017-04-07 |
| US20170298595A1 (en) | 2017-10-19 |
| DE112016000115T5 (de) | 2017-06-14 |
| JPWO2016158255A1 (ja) | 2017-07-20 |
| KR101945421B1 (ko) | 2019-02-07 |
| CN107079089B (zh) | 2020-04-17 |
| DE112016000115B4 (de) | 2019-06-13 |
| WO2016158255A1 (ja) | 2016-10-06 |
| JPWO2016157462A1 (ja) | 2018-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107079089A (zh) | 作业机械的周边监视装置 | |
| CN106716988B (zh) | 作业机械的周边监视装置 | |
| JP6659673B2 (ja) | 作業機械の周辺監視装置及び作業機械の周辺監視方法 | |
| CN107075840B (zh) | 作业机械的周边监视装置以及作业机械的周边监视方法 | |
| US10145087B2 (en) | Surroundings display device for swing working machine | |
| CN103649426B (zh) | 建筑机械的操作安全性提高装置 | |
| US20180044893A1 (en) | Working machine | |
| CN104790670B (zh) | 一种基于远程遥控控制的自动水泥浇灌系统 | |
| KR102027395B1 (ko) | 작업 기계의 표시 시스템, 및 작업 기계의 표시 방법 | |
| AU2017318911A1 (en) | Image display system of work machine, remote operation system of work machine, work machine, and method for displaying image of work machine | |
| JP2016194237A (ja) | 作業機械 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |