JP2020051156A - Work machine - Google Patents

Work machine Download PDF

Info

Publication number
JP2020051156A
JP2020051156A JP2018182905A JP2018182905A JP2020051156A JP 2020051156 A JP2020051156 A JP 2020051156A JP 2018182905 A JP2018182905 A JP 2018182905A JP 2018182905 A JP2018182905 A JP 2018182905A JP 2020051156 A JP2020051156 A JP 2020051156A
Authority
JP
Japan
Prior art keywords
obstacle
infrared distance
person
distance sensor
detection area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018182905A
Other languages
Japanese (ja)
Other versions
JP7058582B2 (en
Inventor
大樹 町田
Daiki Machida
大樹 町田
尚 多胡
Takashi Tago
尚 多胡
武則 廣木
Takenori Hiroki
武則 廣木
直樹 萩原
Naoki Hagiwara
直樹 萩原
溝口 和彦
Kazuhiko Mizoguchi
和彦 溝口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Construction Machinery Co Ltd
Original Assignee
Hitachi Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Construction Machinery Co Ltd filed Critical Hitachi Construction Machinery Co Ltd
Priority to JP2018182905A priority Critical patent/JP7058582B2/en
Publication of JP2020051156A publication Critical patent/JP2020051156A/en
Application granted granted Critical
Publication of JP7058582B2 publication Critical patent/JP7058582B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

To make it possible to improve work efficiency by preventing incorrect detection for an undercarriage while detecting workers near the undercarriage to maintain safety around the vehicle body.SOLUTION: An infrared distance sensor 18 is attached to a revolving superstructure 4 so that an undercarriage 3 is included in a detected area. On the basis of measured signals of the infrared distance sensor, it is made to be possible to detect people with reflection materials. An obstacle detection area 36 in which obstacles other than the people (reflection materials) are detected is set separately from the detection area for the infrared distance sensor 18, and the obstacle detection area 36 is set to be an area that does not includes the undercarriage 3. This makes it possible to determine whether there are people (reflection materials) and obstacles other than reflection materials.SELECTED DRAWING: Figure 3

Description

本発明は、周囲監視装置を備えた作業機械に関する。   The present invention relates to a work machine provided with a surroundings monitoring device.

作業機械のオペレータが周囲の状況を認識する周囲監視装置として、車体に取り付けた物体検出センサを用いて車体周囲の人や障害物等を検出するものが知られており、例えばその一例が特許文献1に記載されている。   2. Description of the Related Art As a surroundings monitoring device for an operator of a work machine to recognize surrounding conditions, a device that detects a person or an obstacle around a vehicle body using an object detection sensor attached to the vehicle body is known. 1.

特許文献1においては、上部旋回体、下部走行体、作業装置を備えた油圧ショベルにおいて、物体検出センサを用いて車体の周囲に存在する障害物を検出する際に、上部旋回体の旋回角度に応じて下部走行体が除外されるように検出領域を設定することで、車体近傍まで検出領域を設定することと、下部走行体の誤検出防止することの両立を図っている。   In Patent Literature 1, in a hydraulic shovel including an upper revolving unit, a lower traveling unit, and a working device, when an obstacle existing around a vehicle body is detected using an object detection sensor, the turning angle of the upper By setting the detection area so as to exclude the undercarriage, the detection area is set to the vicinity of the vehicle body and the erroneous detection of the undercarriage is prevented.

特開2018−21374号公報JP 2018-21374 A

作業機械である油圧ショベルを操作する際には、下部走行体、カウンターウェイト、フロント部等が周囲の作業員や障害物に接触しないようにするため、オペレータは操作の前に肉眼やミラー、カメラ、前述した物体検出センサ等で動作前に車体周囲領域を確認することが重要となる。   When operating the hydraulic excavator, which is a work machine, the operator must use the naked eye, mirror, camera, etc. before operation in order to prevent the undercarriage, counterweight, front part, etc. from touching surrounding workers and obstacles. It is important to confirm the surrounding area of the vehicle body before operation with the above-described object detection sensor or the like.

物体検出センサを用いることで、車体の周囲に存在する障害物を検出してモニタ上のアイコンやブザー音でオペレータに注意喚起をすることが可能であるが、油圧ショベルのように車体に旋回機能を有する作業機械においては、下部走行体が上部旋回体から大きくはみ出す姿勢になることがあり、上部旋回体に搭載した物体検出センサが下部走行体を障害物として誤検出し、誤警報を発生してしまうことがある。   By using an object detection sensor, it is possible to detect obstacles around the car body and alert the operator with icons and buzzer sounds on the monitor. In the working machine having the lower traveling structure, the lower traveling structure may be in a posture that largely protrudes from the upper revolving structure, and the object detection sensor mounted on the upper revolving structure may erroneously detect the lower traveling structure as an obstacle and generate an erroneous alarm. Sometimes.

これを避けるためには、下部走行体を検出領域に含まないように物体検出センサの取付け角度を調整することや、物体検出センサの検出領域を下部走行体よりも上方に限定することが考えられる。しかし、この場合は、下部走行体近傍の領域が検出領域から除外されるため、下部走行体近傍の作業員を検出することができなくなる。   In order to avoid this, it is conceivable to adjust the mounting angle of the object detection sensor so that the lower traveling body is not included in the detection area, or to limit the detection area of the object detection sensor above the lower traveling body. . However, in this case, since the area near the lower traveling body is excluded from the detection area, the worker near the lower traveling body cannot be detected.

特許文献1では、下部走行体が除外されるように検出領域を設定することで、下部走行体近傍まで検出領域を設定することが可能となり、かつ下部走行体の誤検出を防止することの両立を図っている。   According to Patent Literature 1, by setting the detection area so that the lower traveling body is excluded, it is possible to set the detection area up to the vicinity of the lower traveling body, and to prevent erroneous detection of the lower traveling body. Is being planned.

しかし、特許文献1においても、下部走行体を検出領域から除外することで、旋回角度によっては下部走行体近傍にいる作業員を検出できなくなる可能性がある。   However, even in Patent Document 1, by excluding the lower traveling body from the detection area, there is a possibility that an operator near the lower traveling body cannot be detected depending on the turning angle.

安全性を考慮した場合、下部走行体近傍にいる作業員を検出することが最も重要となる。   In consideration of safety, it is most important to detect a worker near the lower traveling structure.

本発明の目的は、下部走行体近傍にいる作業員を検出して車体周囲の安全を確保しつつ、下部走行体の誤検出を防止し、作業効率を向上させることができる作業機械を提供することである。   SUMMARY OF THE INVENTION An object of the present invention is to provide a working machine capable of detecting a worker near a lower traveling body and securing safety around a vehicle body, preventing erroneous detection of a lower traveling body, and improving work efficiency. That is.

本発明は、上記課題を解決するために、下部走行体及びこの下部走行体に対して旋回可能に搭載された上部旋回体とを含む車体と、前記上部旋回体に設けられた作業装置と、前記車体の周囲を監視する周囲監視装置とを備えた作業機械において、前記周囲監視装置は、前記上部旋回体に搭載され、前記車体の周囲に位置する障害物を検出する少なくとも1つの赤外線距離センサと、前記赤外線距離センサの計測信号に基づいて障害物の有無と、前記障害物が反射材を着用した人か、人以外の障害物かを判別し、障害物情報を生成するコントローラと、前記コントローラからの出力に応じて前記障害物情報を表示する表示装置とを有し、前記赤外線距離センサは、前記上部旋回体の非旋回時と旋回時において、前記下部走行体が前記赤外線距離センサの検出領域に含まれるように前記上部旋回体に搭載されており、前記コントローラは、前記下部走行体を含まない障害物検出領域を設定する設定情報が予め記憶され、前記赤外線距離センサからの計測信号に基づいて、前記赤外線距離センサの検出領域において前記障害物として前記反射材が検出されたかどうかを判定し、前記反射材が検出された場合は、前記車体の周囲に人が存在することを前記表示装置に表示させ、前記反射材が検出されない場合は、前記設定情報に基づいて設定した前記下部走行体を含まない障害物検出領域に前記障害物が含まれるかどうかを判定し、前記障害物が前記下部走行体を含まない障害物検出領域に含まれる場合は、前記車体の周囲に人以外の障害物が存在することを前記表示装置に表示させるものとする。   In order to solve the above problems, the present invention provides a vehicle body including a lower traveling body and an upper revolving body pivotally mounted on the lower traveling body, a working device provided on the upper revolving body, A working machine provided with a surroundings monitoring device for monitoring the periphery of the vehicle body, wherein the surroundings monitoring device is mounted on the upper swing body and detects at least one infrared distance sensor that detects an obstacle located around the vehicle body And a controller that determines the presence or absence of an obstacle based on the measurement signal of the infrared distance sensor and determines whether the obstacle is a person wearing a reflective material or an obstacle other than a person, and generates obstacle information. A display device for displaying the obstacle information in accordance with an output from a controller, wherein the infrared distance sensor is configured to detect the infrared distance when the upper revolving unit is not turning or turning. The controller is mounted on the upper revolving structure so as to be included in the detection region of the sensor, and the controller stores in advance setting information for setting an obstacle detection region not including the lower traveling structure, and the controller detects the information from the infrared distance sensor. Based on the measurement signal, it is determined whether or not the reflective material is detected as the obstacle in the detection area of the infrared distance sensor.If the reflective material is detected, a person is present around the vehicle body. Is displayed on the display device, if the reflective material is not detected, it is determined whether or not the obstacle is included in the obstacle detection area that does not include the lower traveling body set based on the setting information, the When an obstacle is included in an obstacle detection area that does not include the undercarriage, the display device indicates that an obstacle other than a person is present around the vehicle body. To.

このように赤外線距離センサの検出領域に下部走行体が含まれるように赤外線距離センサを上部旋回体に搭載し、その計測信号に基づいて反射材を検出できるようにするとともに、赤外線距離センサの検出領域とは別に反射材(人)以外の障害物を検出する障害物検出領域を設定し、その障害物検出領域を下部走行体が含まれない領域となるよう設定して、反射材(人)及び反射材以外の障害物の有無を判定することで、下部走行体を検出することなく、下部走行体が存在する可能性がある領域でも反射材(人)を検出することが可能となる。これにより下部走行体近傍にいる作業員(補助者)を検出して車体周囲の安全を確保しつつ、下部走行体の誤検出を防止し、オペレータは誤検出により作業を中断させられることなく効率的に作業を行うことができ、作業効率を向上させることができる。   As described above, the infrared distance sensor is mounted on the upper revolving unit so that the lower traveling body is included in the detection area of the infrared distance sensor, and the reflecting material can be detected based on the measurement signal, and the detection of the infrared distance sensor is performed. An obstacle detection area for detecting an obstacle other than the reflector (person) is set separately from the area, and the obstacle detection area is set so as not to include the lower traveling body, and the reflector (person) is set. By judging the presence or absence of an obstacle other than the reflector, it is possible to detect the reflector (person) even in an area where the lower vehicle may be present without detecting the lower vehicle. As a result, an operator (assistant) who is near the lower traveling body is detected and safety around the vehicle body is ensured, while erroneous detection of the lower traveling body is prevented, and the operator can efficiently perform the operation without being interrupted by the erroneous detection. Work can be performed efficiently, and work efficiency can be improved.

本発明によれば、下部走行体近傍にいる作業員を検出して車体周囲の安全を確保しつつ、下部走行体の誤検出を防止し、オペレータは誤検出により作業を中断させられることなく効率的に作業を行うことができ、作業効率を向上させることができる。   ADVANTAGE OF THE INVENTION According to this invention, while detecting the worker who is in the vicinity of the undercarriage, ensuring the safety around the vehicle body, preventing erroneous detection of the undercarriage, the operator can efficiently perform the work without being interrupted by the erroneous detection. Work can be performed efficiently, and work efficiency can be improved.

周囲監視装置を有する作業機械の代表例である油圧ショベルを示す図である。It is a figure showing the hydraulic shovel which is a typical example of the work machine which has a circumference monitoring device. 周囲監視装置の構成要素の配置図である。FIG. 3 is a layout diagram of components of a surroundings monitoring device. 周囲監視装置のシステムの機能ブロック図である。It is a functional block diagram of a system of a circumference monitoring device. カメラの映像を用いない場合の表示装置の表示画面の一例を示す図である。FIG. 4 is a diagram illustrating an example of a display screen of a display device when a video from a camera is not used. 赤外線距離センサの検出領域を示す図である。It is a figure showing a detection field of an infrared distance sensor. 車体旋回時の赤外線距離センサの検出領域を示す図である。It is a figure which shows the detection area of the infrared distance sensor at the time of vehicle body turning. 赤外線距離センサの検出領域に基づいて設定した人(反射材)以外の障害物の検出領域を示す図である。FIG. 9 is a diagram illustrating a detection area of an obstacle other than a person (reflective material) set based on a detection area of the infrared distance sensor. 赤外線距離センサの検出領域に基づいて設定した人(反射材)の検出領域を示す図である。It is a figure showing a detection area of a person (reflection material) set based on a detection area of an infrared distance sensor. 障害物の検出領域及び人(反射材)の検出領域の重ね合せを示す図である。It is a figure which shows the superposition of the detection area of an obstacle, and the detection area of a person (reflection material). 周囲監視装置のコントローラにおける判定部及び画像合成部の処理機能を示すフローチャートである。It is a flowchart which shows the processing function of the determination part and the image synthesis part in the controller of a surroundings monitoring apparatus.

以下、本発明の実施の形態を図面に基づいて説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図1は、周囲監視装置を有する作業機械の代表例である油圧ショベルを示す図である。   FIG. 1 is a diagram illustrating a hydraulic excavator that is a typical example of a working machine having a surroundings monitoring device.

油圧ショベルは、下部走行体3及びこの下部走行体3に対して旋回可能に搭載された上部旋回体4を含む車体と、上部旋回体4の前部に設けられた作業装置5とを備え、上部旋回体4に原動機としてのエンジン1と、エンジン1によって駆動されるメインポンプ2が搭載されている。   The hydraulic excavator includes a vehicle body including a lower traveling body 3 and an upper revolving body 4 that is pivotally mounted on the lower traveling body 3, and a working device 5 provided at a front part of the upper revolving body 4. An engine 1 as a prime mover and a main pump 2 driven by the engine 1 are mounted on the upper swing body 4.

下部走行体3は左右一対のクローラ3a,3b(図1では片側のみを示す)を有し、クローラ3a,3bはそれぞれメインポンプ2から作動油が供給される走行油圧モータ6a,6b(片側のみを示す)によって駆動され、走行を行う。   The lower traveling body 3 has a pair of left and right crawlers 3a, 3b (only one side is shown in FIG. 1), and the crawlers 3a, 3b are traveling hydraulic motors 6a, 6b (only one side) to which hydraulic oil is supplied from the main pump 2, respectively. ) And travel.

上部旋回体4はメインポンプ2から作動油が供給される旋回油圧モータ7によって駆動され、下部走行体3上を旋回する。   The upper swing body 4 is driven by a swing hydraulic motor 7 to which hydraulic oil is supplied from the main pump 2, and swings on the lower traveling body 3.

作業装置5は、上部旋回体4の前部にピン14を中心にして上下方向に回動可能に搭載されたブーム8と、ブーム8を駆動するためのブームシリンダ9と、ブーム8にピン15を中心にして上下方向に回動可能に連結されたアーム10と、アーム10を駆動するためのアームシリンダ11と、アーム10にピン16を中心にして上下方向に回動可能に連結されたバケット12と、バケット12を駆動するためのバケットシリンダ13とから構成されている。ブームシリンダ9、アームシリンダ11、バケットシリンダ13は、それぞれ、メインポンプ2から作動油が供給されて伸縮し、ブーム8、アーム10、バケット12を駆動する。油圧ショベルは、ブーム8、アーム10、バケット12をそれぞれピン14,15,16を中心にして回動し、上部旋回体4を下部走行体3に対して旋回することで、掘削や整地等の作業を行う。   The working device 5 includes a boom 8 mounted on a front portion of the upper swing body 4 so as to be rotatable up and down around a pin 14, a boom cylinder 9 for driving the boom 8, and a pin 15 attached to the boom 8. , An arm cylinder 11 for driving the arm 10, and a bucket connected to the arm 10 so as to be rotatable vertically about a pin 16. And a bucket cylinder 13 for driving the bucket 12. The boom cylinder 9, the arm cylinder 11, and the bucket cylinder 13 expand and contract when hydraulic oil is supplied from the main pump 2, and drive the boom 8, the arm 10, and the bucket 12. The hydraulic excavator pivots the boom 8, the arm 10, and the bucket 12 around the pins 14, 15, and 16 respectively, and pivots the upper revolving unit 4 with respect to the lower traveling unit 3 to perform excavation, leveling, and the like. Do the work.

また、油圧ショベルは、車体(下部走行体3及び上部旋回体4)の周囲を監視する周囲監視装置100を備えている。   In addition, the hydraulic shovel includes a surroundings monitoring device 100 that monitors the surroundings of the vehicle body (the lower traveling body 3 and the upper rotating body 4).

図2は、周囲監視装置100の構成要素の配置図である。図3は、周囲監視装置100のシステムの機能ブロック図である。   FIG. 2 is a layout diagram of components of the surroundings monitoring device 100. FIG. 3 is a functional block diagram of the system of the surroundings monitoring device 100.

図2において、周囲監視装置100は、上部旋回体4に搭載され、下部走行体3及び上部旋回体4、すなわち車体の周囲に位置する障害物を撮影するカメラ17−L,17−R,17−Bと、上部旋回体4に搭載され、車体の周囲に位置する障害物を検出する赤外線距離センサ18−L,18−R,18−Bと、カメラ17−L,17−R,17−Bの映像信号及び赤外線距離センサ18−L,18−R,18−Bの計測信号に基づいて障害物の有無と、障害物が反射材を着用した人か、人(反射材)以外の障害物かを判別し、障害物情報を生成するコントローラ21と、コントローラ21の出力に応じて障害物情報を表示する表示装置26と、コントローラ21の出力に応じて鳴動するブザー部28とを有している。   In FIG. 2, the surroundings monitoring device 100 is mounted on the upper revolving superstructure 4, and the cameras 17-L, 17-R, and 17 capture images of the lower traveling body 3 and the upper revolving superstructure 4, that is, obstacles around the vehicle body. -B, infrared distance sensors 18-L, 18-R, 18-B mounted on the upper swing body 4 and detecting obstacles located around the vehicle body, and cameras 17-L, 17-R, 17-. The presence or absence of an obstacle based on the image signal of B and the measurement signals of the infrared distance sensors 18-L, 18-R, 18-B, and whether the obstacle is a person wearing a reflective material or an obstacle other than a person (reflective material) A controller that determines whether the object is an object and generates obstacle information, a display device that displays obstacle information according to an output of the controller, and a buzzer unit that sounds according to the output of the controller. ing.

カメラ17−L,17−R及び赤外線距離センサ18−L,18−Rは上部旋回体4(車体)上の左右側部に搭載され、カメラ17−B及び赤外線距離センサ18−Bは上部旋回体4(車体)上の後部に搭載されている。   The cameras 17-L and 17-R and the infrared distance sensors 18-L and 18-R are mounted on the left and right sides of the upper revolving unit 4 (vehicle body), and the camera 17-B and the infrared distance sensor 18-B rotate upward. It is mounted on the rear part of the body 4 (body).

赤外線距離センサ18−L,18−R,18−Bは、それぞれ、赤外線送信部19−L,19−R,19−B及び赤外線受信部20−L,20−R,20−Bから構成され、カメラ17−L,17−R,17−Bに隣接して搭載される。赤外線送信部19−L,19−R,19−Bからは、赤外線が照射される。周囲に障害物が存在する場合、照射された赤外線は障害物で反射され、その反射光を赤外線受信部20−L,20−R,20−Bが受信することで障害物を検出することができる。また、赤外線距離センサ18−L,18−R,18−Bは、照射した赤外線が検出した障害物に反射して戻ってくるまでの時間を計測することで、障害物までの距離を測定することができる。   The infrared distance sensors 18-L, 18-R, 18-B are respectively composed of infrared transmitters 19-L, 19-R, 19-B and infrared receivers 20-L, 20-R, 20-B. , Mounted adjacent to the cameras 17-L, 17-R, 17-B. Infrared rays are emitted from the infrared transmitters 19-L, 19-R, and 19-B. When an obstacle is present in the surroundings, the emitted infrared light is reflected by the obstacle, and the reflected light is received by the infrared receivers 20-L, 20-R, and 20-B to detect the obstacle. it can. In addition, the infrared distance sensors 18-L, 18-R, and 18-B measure the time until the irradiated infrared light is reflected on the detected obstacle and returns, thereby measuring the distance to the obstacle. be able to.

以下の説明において、カメラ17−L,17−R,17−B及び赤外線距離センサ18−L,18−R,18−Bは、適宜、カメラ17及び赤外線距離センサ18と総称する。なお、赤外線距離センサ18は3台に限らず、それ以外の台数(1台、又は3台以外の複数台)であってもよい。例えば、オペレータから最も視界の悪い車体後方領域を監視できるようにすればよい場合は、赤外線距離センサ18−Bだけであってもよい。   In the following description, the cameras 17-L, 17-R, 17-B and the infrared distance sensors 18-L, 18-R, 18-B are collectively referred to as the camera 17 and the infrared distance sensor 18, as appropriate. Note that the number of infrared distance sensors 18 is not limited to three, and may be other numbers (one or a plurality other than three). For example, when it is sufficient that the operator can monitor the rear area of the vehicle body with the worst visibility, only the infrared distance sensor 18-B may be used.

図3において、コントローラ21は、演算部22、記憶部23、判定部24、画像合成部25を有している。コントローラ21はカメラ17から映像信号を入力し、赤外線距離センサ18から計測信号を入力する。演算部22はコントローラ21が入力した赤外線距離センサ18からの計測信号から反射光の有無(障害物の有無)と、反射光があった場合の障害物の距離及び反射光強度を演算する。記憶部23は、赤外線距離センサ18の検出領域の設定情報や反射光強度の閾値を記憶している。判定部24は、演算部22から反射光の有無と、障害物の距離及び反射光強度の演算情報を入力するとともに、記憶部23から検出領域の設定情報及び反射光強度の閾値を入力する。判定部24はこれらの値を用いて警告の出力命令の必要性を判定する。   In FIG. 3, the controller 21 includes a calculation unit 22, a storage unit 23, a determination unit 24, and an image synthesis unit 25. The controller 21 receives a video signal from the camera 17 and a measurement signal from the infrared distance sensor 18. The calculation unit 22 calculates the presence or absence of reflected light (the presence or absence of an obstacle), the distance to the obstacle when there is reflected light, and the reflected light intensity from the measurement signal from the infrared distance sensor 18 input by the controller 21. The storage unit 23 stores the setting information of the detection area of the infrared distance sensor 18 and the threshold of the reflected light intensity. The determination unit 24 inputs the presence / absence of reflected light, the calculation information of the distance to the obstacle, and the reflected light intensity from the calculation unit 22, and inputs the setting information of the detection area and the threshold of the reflected light intensity from the storage unit 23. The determination unit 24 determines the necessity of the warning output command using these values.

赤外線距離センサ18が3台の赤外線距離センサ18−L,18−R,18−Bである場合、演算部22及び判定部24は、3台の赤外線距離センサ18−L,18−R,18−Bからの計測信号ごとに上記の処理を行う。   When the infrared distance sensors 18 are three infrared distance sensors 18-L, 18-R, and 18-B, the calculation unit 22 and the determination unit 24 determine the three infrared distance sensors 18-L, 18-R, and 18 The above processing is performed for each measurement signal from -B.

赤外線距離センサ18は、反射光強度の大きさの違いから障害物を、反射材と、それ以外の障害物に判別して検出することができる。本発明は、この原理を利用して、油圧ショベルが稼動する作業現場で作業を行う作業員(補助者)に反射材を装着した反射ベストを着用させ、一定以上の強度で反射される障害物=反射ベストを着用した人とみなすことで、反射材を検出したときは障害物が人であると判定し、反射材以外の障害物を検出したときは障害物が人以外の障害物であると判定する。人(反射材)と障害物の判定は、コントローラ21内の判定部24で行われ、判定部24は、障害物検出時に検出された反射光強度が、記憶部23に設定されている閾値よりも大きい場合に、障害物を人(反射材)と判定する。   The infrared distance sensor 18 can determine and detect an obstacle based on the difference in the intensity of the reflected light between a reflective material and other obstacles. The present invention uses this principle to allow a worker (assistant) working at a work site where a hydraulic excavator operates to wear a reflective vest equipped with a reflective material, and to prevent obstacles reflected at a certain intensity or more. = Considering a person wearing a reflective vest, an obstacle is determined to be a person when a reflective material is detected, and an obstacle is a non-human obstacle when an obstacle other than the reflective material is detected. Is determined. The determination of the person (reflecting material) and the obstacle is performed by the determination unit 24 in the controller 21, and the determination unit 24 determines the reflected light intensity detected at the time of detecting the obstacle from the threshold value set in the storage unit 23. Is larger, the obstacle is determined to be a person (reflective material).

人と人以外の障害物の判定は、カメラ17の映像を利用した画像認識を併用して行ってもよい。画像認識では、カメラ17で撮影した画像から、障害物の形状を抽出する。抽出した形状は、事前にデータベースに登録された形状パターンと比較される。抽出された形状が人型の形状パターンと一致した場合は、検出した障害物を人と判定し、障害物型の形状パターンと一致した場合は、障害物と判定する。この場合、カメラの映像信号も、図3に二点鎖線で示すように、判定部24に入力される。   The determination of a person and an obstacle other than a person may be performed in combination with image recognition using an image of the camera 17. In image recognition, the shape of an obstacle is extracted from an image captured by the camera 17. The extracted shape is compared with a shape pattern registered in a database in advance. If the extracted shape matches the human shape pattern, the detected obstacle is determined as a person, and if the extracted shape matches the obstacle shape pattern, the detected obstacle is determined as an obstacle. In this case, the video signal of the camera is also input to the determination unit 24 as shown by a two-dot chain line in FIG.

画像合成部25は、判定部24から入力される判定値を基に、カメラ17の映像上に障害物の位置情報や警告アイコンといった情報を重畳する。表示装置26は、上部旋回体4上のキャブ27内に搭載され、画像合成部25から出力された映像信号の映像を表示する。ブザー部28は、上部旋回体4上のキャブ27内に搭載され、判定部24の判定結果に応じて、障害物が人か人以外の障害物かによって異なる警告音を出力する。   The image synthesizing unit 25 superimposes information such as position information of an obstacle and a warning icon on the video of the camera 17 based on the determination value input from the determination unit 24. The display device 26 is mounted in the cab 27 on the upper swing body 4 and displays an image of a video signal output from the image synthesizing unit 25. The buzzer unit 28 is mounted in the cab 27 on the upper swing body 4 and outputs a different warning sound depending on whether the obstacle is a person or an obstacle other than a person, according to the determination result of the determination unit 24.

図4は、表示装置26の表示画面29の一例を示す図である。この例では、カメラ17の映像上に人及び/又は障害物の位置情報や警告アイコンといった情報を重畳させたものである。表示装置26の表示画面29上にカメラ17で撮影された障害物30と人31が表示されている。判定部24が障害物を検出した場合は、障害物が人かどうかに係わらず、表示画面29上の障害物30と人31の位置に警告アイコンとして障害物強調表示枠32を表示させる。判定部24が、障害物が人であると判定した場合には、加えて人31の位置に警告アイコンとして人強調表示アイコン33を表示し、人を強調して表示する。本例では、人強調表示アイコン33を三角形で示している。なお、カメラ17の映像を用いない場合は、カメラ17で撮影された障害物30と人31の代わりに、障害物のアイコンと人のアイコンを表示装置26の表示画面29上に表示し、同様の処理を行えばよい。   FIG. 4 is a diagram illustrating an example of the display screen 29 of the display device 26. In this example, information such as position information of a person and / or an obstacle and a warning icon are superimposed on the image of the camera 17. An obstacle 30 and a person 31 photographed by the camera 17 are displayed on a display screen 29 of the display device 26. When the determination unit 24 detects an obstacle, the obstacle highlighting display frame 32 is displayed as a warning icon at the position of the obstacle 30 and the person 31 on the display screen 29 regardless of whether the obstacle is a person. When the determining unit 24 determines that the obstacle is a person, the display unit 33 additionally displays a person highlighting icon 33 as a warning icon at the position of the person 31 to highlight the person. In this example, the person highlighting icon 33 is indicated by a triangle. When the image of the camera 17 is not used, an icon of an obstacle and an icon of a person are displayed on the display screen 29 of the display device 26 in place of the obstacle 30 and the person 31 captured by the camera 17, and May be performed.

このようにコントローラ21は、画像合成部25において、人(反射材)が検出された場合とそれ以外の障害物が検出された場合とで、表示装置26に異なる警告アイコンを表示させる。   As described above, the controller 21 causes the display device 26 to display different warning icons depending on whether a person (reflecting material) is detected or not when the obstacle is detected in the image combining unit 25.

また、周囲監視装置が、上記のようにカメラ17を有する場合は、コントローラは、画像合成部25において、カメラ17の映像信号に基づいて障害物として人が検出されたかどうかを更に判定し、赤外線距離センサ18とカメラ17のいずれかで反射材或いは人が検出された場合に、車体の周囲に人が存在することを表示装置26に表示させる。これにより障害物(特に作業員)の検出精度が向上し、更なる車体周囲の安全の確保が可能となる。   When the surroundings monitoring device has the camera 17 as described above, the controller further determines whether or not a person has been detected as an obstacle based on the video signal of the camera 17 in the image synthesizing unit 25. When a reflective material or a person is detected by either the distance sensor 18 or the camera 17, the display device 26 displays the presence of a person around the vehicle body. As a result, the detection accuracy of obstacles (especially workers) is improved, and further safety around the vehicle body can be ensured.

また、本実施の形態の周囲監視装置100は、検出機能切替スイッチ34を有している。コントローラ21は、判定部24において、検出機能切替スイッチ34の操作に応じて赤外線距離センサ18−L,18−R,18−Bからの計測信号に基づく人(反射材)の検出機能と人(反射材)以外の障害物検出機能の有効、無効を切り替える。例えば、コントローラ21は、検出機能切替スイッチ34の操作に応じて全ての検出機能(人の検出機能と人以外の障害物検出機能の両方)の有効、無効を切り替える。コントローラ21は、検出機能切替スイッチ34の操作に応じて全ての障害物の検出機能と人(障害物)の検出機能のそれぞれの有効、無効を切り替えるようにしてもよい。また、コントローラ21は、検出機能切替スイッチ34の操作に応じて人(反射材)の検出機能と人(反射材)以外の障害物の検出機能のいずれか一方の有効、無効を切り替えるようにしてもよい。更に、コントローラは、検出機能切替スイッチ34の操作に応じてそのような検出機能の有効、無効の切替を3つの赤外線距離センサ18−L,18−R,18−Bに対して個別に行ってもよいし、一括して行ってもよい。このように検出機能切替スイッチ34の操作に応じて人(反射材)の検出機能及び人(反射材)以外の障害物の検出機能の有効と無効の切替ができるようにすることにより、作業環境や作業現場における作業員の有無に応じて最適な周囲環境の監視が可能となる。   Further, the surroundings monitoring device 100 of the present embodiment has a detection function changeover switch 34. The controller 21 allows the determination unit 24 to detect a person (reflecting material) based on the measurement signals from the infrared distance sensors 18-L, 18-R, and 18-B in response to the operation of the detection function changeover switch 34. Enables / disables the obstacle detection function other than the reflector). For example, the controller 21 switches between enabling and disabling all the detection functions (both the human detection function and the non-human obstacle detection function) according to the operation of the detection function switch 34. The controller 21 may switch between enabling and disabling the detection function of all obstacles and the detection function of a person (obstacle) according to the operation of the detection function switch 34. In addition, the controller 21 switches between enabling and disabling one of the function of detecting a person (reflecting material) and the function of detecting an obstacle other than a person (reflecting material) in accordance with the operation of the detection function changeover switch 34. Is also good. Further, the controller individually switches the validity / invalidity of such a detection function to the three infrared distance sensors 18-L, 18-R, 18-B in response to the operation of the detection function changeover switch 34. Or may be performed collectively. As described above, by enabling or disabling the detection function of a person (reflective material) and the function of detecting an obstacle other than a person (reflective material) in accordance with the operation of the detection function changeover switch 34, the work environment can be changed. It is possible to optimally monitor the surrounding environment according to the presence or absence of workers at the work site.

図5は、赤外線距離センサ18の検出領域を示す図である。赤外線距離センサ18の検出領域とは、赤外線距離センサ18から赤外線が照射され障害物が検出可能な三次元空間を意味する。ここでは、例として、上部旋回体4上の左右側部及び後部に赤外線距離センサ18−L,18−R,18−Bを搭載した場合のそれぞれの検出領域35(35−L,35−R,35−B)を示す。図5の上段は車体後方から見た図、中段は車体左側方から見た図、下段は車体上方から見た図である。赤外線距離センサ18は上部旋回体4上に、地面を見下ろすように搭載される。図5において、赤外線距離センサ18から引かれた一点鎖線は赤外線距離センサから照射された赤外線の中心線であり、θは赤外線距離センサ18の搭載角度である。赤外線距離センサ18の検出領域は搭載角度θによって変わり、地面に対して水平方向を基準とすると、搭載角度θを大きくすることで、上部旋回体4の間近まで障害物を検出することが可能となる。   FIG. 5 is a diagram showing a detection area of the infrared distance sensor 18. The detection area of the infrared distance sensor 18 means a three-dimensional space where infrared rays are emitted from the infrared distance sensor 18 and an obstacle can be detected. Here, as an example, the respective detection areas 35 (35-L, 35-R) when the infrared distance sensors 18-L, 18-R, and 18-B are mounted on the left and right sides and the rear of the upper revolving unit 4, for example. , 35-B). The upper part of FIG. 5 is a view as seen from the rear of the vehicle body, the middle part is a view as seen from the left side of the vehicle body, and the lower part is a view as seen from above the vehicle body. The infrared distance sensor 18 is mounted on the upper swing body 4 so as to look down on the ground. In FIG. 5, the dashed line drawn from the infrared distance sensor 18 is the center line of the infrared light emitted from the infrared distance sensor, and θ is the mounting angle of the infrared distance sensor 18. The detection area of the infrared distance sensor 18 varies depending on the mounting angle θ, and when the horizontal direction with respect to the ground is used as a reference, it is possible to detect an obstacle up to the upper revolving unit 4 by increasing the mounting angle θ. Become.

一方、車体近傍で障害物を検出するように搭載角度θを設定した場合、図5の下段に示すように、上部旋回体4上の後部に搭載された赤外線距離センサ18−Bは下部走行体3の一部であるクローラ3a,3bを検出してしまう可能性がある。また、上部旋回体4上の左右側部に搭載された赤外線距離センサ18−L,18−Rは、上部旋回体4と下部走行体3の旋回角度によっては、赤外線距離センサ18が下部走行体3の一部であるクローラ3a,3bを検出してしまう可能性がある。   On the other hand, when the mounting angle θ is set so as to detect an obstacle in the vicinity of the vehicle body, as shown in the lower part of FIG. There is a possibility that the crawlers 3a and 3b which are a part of the crawlers 3 are detected. The infrared distance sensors 18-L and 18-R mounted on the left and right sides of the upper revolving unit 4 may be connected to the infrared distance sensor 18 depending on the turning angle between the upper revolving unit 4 and the lower traveling unit 3. There is a possibility that the crawlers 3a and 3b which are a part of the crawlers 3 are detected.

図6は、車体旋回時の赤外線距離センサ18の検出領域35(35−L,35−R,35−B)を示す図である。図6の上段は車体後方から見た図、中段は車体左側方から見た図、下段は車体上方から見た図である。この図から分かるように、車体旋回時は下部走行体3のクローラ3a,3b一部が赤外線距離センサ18−L,18−Rの検出領域35に含まれてしまう。   FIG. 6 is a diagram showing the detection areas 35 (35-L, 35-R, 35-B) of the infrared distance sensor 18 when the vehicle turns. The upper part of FIG. 6 is a view from the rear of the vehicle body, the middle part is a view from the left side of the vehicle body, and the lower part is a view from above the vehicle body. As can be seen from this figure, when the vehicle turns, a part of the crawlers 3a and 3b of the lower traveling body 3 is included in the detection area 35 of the infrared distance sensors 18-L and 18-R.

本実施の形態において、赤外線距離センサ18(18−L,18−R、18−B)は、下部走行体3が赤外線距離センサ18(18−L,18−R、18−B)の検出領域に含まれるように上部旋回体4に搭載されている。すなわち、上部旋回体4上の後部に搭載された赤外線距離センサ18−Bは、図5及び図6の下段に示すように、上部旋回体4が下部走行体3に対して旋回状態にないときと旋回状態にあるときのいずれの場合も、下部走行体3のクローラ3a,3bが赤外線距離センサ18−Bの検出領域35−Bに含まれるように上部旋回体4に搭載され、上部旋回体4上の左右側部に搭載された赤外線距離センサ18−L,18−Rは、図6に示すように、上部旋回体4が下部走行体3に対して旋回状態にあるときに、下部走行体3のクローラ3a,3bが赤外線距離センサ18−L,18−Rの検出領域35−L,35−Rに含まれるように上部旋回体4に搭載されている。   In the present embodiment, the infrared traveling distance sensor 18 (18-L, 18-R, 18-B) has a configuration in which the lower traveling body 3 has a detection area of the infrared traveling distance sensor 18 (18-L, 18-R, 18-B). Is mounted on the upper swing body 4 so as to be included in the upper revolving superstructure 4. That is, the infrared distance sensor 18-B mounted on the rear part of the upper revolving unit 4 detects when the upper revolving unit 4 is not in a turning state with respect to the lower traveling unit 3, as shown in the lower part of FIGS. In both cases, the crawler 3a, 3b of the lower traveling unit 3 is mounted on the upper revolving unit 4 so as to be included in the detection area 35-B of the infrared distance sensor 18-B. As shown in FIG. 6, the infrared distance sensors 18-L and 18-R mounted on the right and left sides of the upper traveling body 4 move the lower traveling body 4 when the upper rotating body 4 is in a turning state with respect to the lower traveling body 3. The crawlers 3a and 3b of the body 3 are mounted on the upper swing body 4 so as to be included in the detection areas 35-L and 35-R of the infrared distance sensors 18-L and 18-R.

車体旋回時の下部走行体3と上部旋回体4の位置関係は、上部旋回体4の大きさや下部走行体3及びそのクローラ3a,3bの幅等から事前に計算可能である。そのため、コントローラ21は、上部旋回体4上に搭載された赤外線距離センサ18が、上部旋回体4の旋回時に下部走行体3のクローラ3a,3bを検出しないよう、障害物の検出に必要な検出領域を予め設定することができる。   The positional relationship between the lower traveling structure 3 and the upper revolving structure 4 during the turning of the vehicle body can be calculated in advance from the size of the upper revolving structure 4 and the width of the lower traveling structure 3 and the crawlers 3a and 3b. Therefore, the controller 21 performs detection necessary for detecting an obstacle so that the infrared distance sensor 18 mounted on the upper swing body 4 does not detect the crawlers 3a and 3b of the lower traveling body 3 when the upper swing body 4 turns. The area can be set in advance.

また、検出領域35に地面を含んでしまうと、地面を障害物として誤検出してしまうため、地面を検出領域35から除外する必要がある。   In addition, if the detection area 35 includes the ground, the ground is erroneously detected as an obstacle. Therefore, it is necessary to exclude the ground from the detection area 35.

図7は、赤外線距離センサ18の検出領域35に基づいてコントローラ21が設定した人(反射材)以外の障害物の検出領域36(36−L,36−R,36−B)を示す図である。図7の上段は車体後方から見た図、中段は車体左側方から見た図、下段は車体上方から見た図である。障害物の検出領域36(以下適宜、障害物検出領域36という)は、赤外線距離センサ18の検出領域35と以下の寸法によって定義される。符号37は、地面を検出領域から除外するために設定された、地面から最低検出面高さまでの距離である。この距離37は、赤外線距離センサ18の測定データに地面情報が含まれないように地面から任意の距離で設定する。符号38(38−L,38−R,38−B)、符号39及び符号40(40−L,40−R,40−B)は、下部走行体3のクローラ3a,3bを検出領域35から除外するために設定された距離であり、符号38(38−L,38−R,38−B)は、旋回時に下部走行体3のクローラ3a,3bが上部旋回体4の旋回中心41から最も離れる距離を示し、符号39は、下部走行体の高さを示し、符号40−L,40−Rは、旋回時に赤外線距離センサ18の正面から下部走行体3のクローラ3a,3bが最も離れる距離を示し、符号40−Bは、図5の非旋回時に赤外線距離センサ18の正面から下部走行体3のクローラ3a,3bが最も離れる距離を示す。コントローラ21は、これらの距離37〜40を、下部走行体3のクローラ3a,3bを含まない障害物検出領域36を設定する設定情報として記憶部23に予め記憶しておく。なお、距離37,38,39,40は、任意のマージンを加えて設定されてもよい。このように下部走行体3のクローラ3a,3bを検出する可能性のある領域と、その外側で検出領域の高さを変え、可能な限り障害物検出領域36を確保しつつ、下部走行体3のクローラ3a,3bの誤検出を防止している。   FIG. 7 is a diagram illustrating detection areas 36 (36-L, 36-R, 36-B) of obstacles other than a person (reflector) set by the controller 21 based on the detection area 35 of the infrared distance sensor 18. is there. The upper part of FIG. 7 is a view from the rear of the vehicle body, the middle part is a view from the left side of the vehicle body, and the lower part is a view from above the vehicle body. The obstacle detection area 36 (hereinafter, appropriately referred to as an obstacle detection area 36) is defined by the detection area 35 of the infrared distance sensor 18 and the following dimensions. Reference numeral 37 denotes a distance from the ground to the minimum detection surface height set to exclude the ground from the detection area. This distance 37 is set at an arbitrary distance from the ground so that the measurement data of the infrared distance sensor 18 does not include the ground information. Reference numeral 38 (38-L, 38-R, 38-B), reference numeral 39 and reference numeral 40 (40-L, 40-R, 40-B) denote the crawlers 3a and 3b of the lower traveling body 3 from the detection area 35. The reference numeral 38 (38-L, 38-R, 38-B) indicates a distance set for exclusion, and indicates that the crawlers 3a and 3b of the lower traveling body 3 are most likely to be moved from the center of rotation 41 of the upper revolving body 4 at the time of turning. Reference numeral 39 denotes the height of the lower traveling body, and reference numerals 40-L and 40-R denote the distances of the crawlers 3a and 3b of the lower traveling body 3 from the front of the infrared distance sensor 18 at the time of turning. Reference numeral 40-B indicates a distance at which the crawlers 3a and 3b of the lower traveling body 3 are farthest from the front of the infrared distance sensor 18 during non-turning in FIG. The controller 21 stores these distances 37 to 40 in the storage unit 23 in advance as setting information for setting the obstacle detection area 36 that does not include the crawlers 3a and 3b of the lower traveling body 3. Note that the distances 37, 38, 39, and 40 may be set by adding an arbitrary margin. In this manner, the area where the crawlers 3a and 3b of the lower traveling body 3 may be detected and the height of the detection area outside the area may be changed to secure the obstacle detection area 36 as much as possible. Erroneous detection of the crawlers 3a and 3b is prevented.

図8は、赤外線距離センサ18の検出領域35に基づいて設定した人(反射材)の検出領域42(42−L,42−R,42−B)を示す図である。図8の上段は車体後方から見た図、中段は車体左側方から見た図、下段は車体上方から見た図を示す。人(反射材)の検出領域42は、赤外線距離センサ18が検出できる最大の領域、すなわち図5及び図6に示した赤外線距離センサ18の検出領域35と同じ領域に設定される。   FIG. 8 is a diagram illustrating a detection area 42 (42-L, 42-R, 42-B) of a person (reflecting material) set based on the detection area 35 of the infrared distance sensor 18. The upper part of FIG. 8 is a view from the rear of the vehicle body, the middle part is a view from the left side of the vehicle body, and the lower part is a view from above the vehicle body. The detection area 42 of a person (reflecting material) is set to the maximum area that can be detected by the infrared distance sensor 18, that is, the same area as the detection area 35 of the infrared distance sensor 18 illustrated in FIGS.

図9は、障害物の検出領域及び人(反射材)の検出領域の重ね合せを示す図である。図9の上段は車体後方から見た図、中段は車体左側方から見た図、下段は車体上方から見た図を示す。図7で示した障害物検出領域36及び図8で示した人(反射材)の検出領域42を重ね合せることで、下部走行体3のクローラ3a,3bの誤検出を防ぎつつ、車体最近傍においても人(反射材)の検出を可能としている。   FIG. 9 is a diagram illustrating the superposition of the detection area of the obstacle and the detection area of the person (reflecting material). The upper part of FIG. 9 shows a view from the rear of the vehicle body, the middle part shows a view from the left side of the vehicle body, and the lower part shows a view from above the vehicle body. The obstacle detection area 36 shown in FIG. 7 and the detection area 42 of the person (reflecting material) shown in FIG. Also enables detection of a person (reflecting material).

なお、上記のように赤外線距離センサ18の検出領域35と同じ領域に人(反射材)の検出領域42を設定することにより、赤外線距離センサ18からの計測信号を用いて人(反射材)の有無を判定することで、人(反射材)の検出領域42を設定して人(反射材)の有無を判定したのと同じ結果が得られる。このため、人(反射材)の検出領域42を設定しなくても、人(反射材)の検出領域42に人(反射材)が存在するかどうかを判定することができる。   By setting the detection area 42 of the person (reflecting material) in the same area as the detection area 35 of the infrared distance sensor 18 as described above, the measurement signal from the infrared distance sensor 18 is used to detect the person (reflecting material). By determining the presence / absence, the same result as the determination of the presence / absence of the person (reflecting material) by setting the detection area 42 of the person (reflecting material) is obtained. Therefore, it is possible to determine whether or not a person (reflecting material) exists in the detecting region 42 of a person (reflecting material) without setting the detecting region 42 of the person (reflecting material).

図10は、本実施の形態における周囲監視装置100のコントローラ21における判定部24及び画像合成部25の処理機能を示すフローチャートである。   FIG. 10 is a flowchart illustrating processing functions of the determination unit 24 and the image synthesis unit 25 in the controller 21 of the surroundings monitoring device 100 according to the present embodiment.

前述したように、演算部22は、コントローラ21が入力した赤外線距離センサ18−L,18−R,18−Bからのそれぞれの計測信号から反射光の有無(障害物の有無)と、反射光があった場合の障害物の距離及び反射光強度を演算している。   As described above, the arithmetic unit 22 determines whether or not there is reflected light (the presence or absence of an obstacle) from each of the measurement signals from the infrared distance sensors 18-L, 18-R, and 18-B input by the controller 21 and the reflected light. The distance to the obstacle and the intensity of the reflected light in the case where there is an error are calculated.

判定部24は、ステップS101において、演算部22から入力した演算情報に基づいて障害物の検出有無の判定を行う。判定部24は、演算部22から入力した演算情報に反射光有りの情報が含まれている場合は、障害物を検出したと判定し、ステップS102へ進む。演算部22から入力した演算情報に反射光有りの情報が含まれていない場合は、障害物を検出していないと判定し、フローを終了する。   In step S101, the determination unit 24 determines whether an obstacle is detected based on the calculation information input from the calculation unit 22. If the calculation information input from the calculation unit 22 includes information indicating that reflected light is present, the determination unit 24 determines that an obstacle has been detected, and proceeds to step S102. If the calculation information input from the calculation unit 22 does not include information indicating that there is reflected light, it is determined that no obstacle has been detected, and the flow ends.

判定部24は、3つの赤外線距離センサ18−L,18−R,18−Bからの計測信号のそれぞれの演算情報に対して上記の判定を行う。また、判定部24は、検出機能切替スイッチ34の操作に応じて上記の判定を行う。例えば、検出機能切替スイッチ34の操作が全ての赤外線距離センサ18−L、18−R,18−Bによる全ての障害物の検出機能の無効を指示している場合は、障害物の検出の有無を判定することなく、フローを終了する。また、検出機能切替スイッチ34の操作が赤外線距離センサ18−Lによる検出機能の無効を指示している場合は、赤外線距離センサ18−R,18−Bによる障害物の検出有無の判定を行う。   The determination unit 24 makes the above determination for each piece of calculation information of the measurement signals from the three infrared distance sensors 18-L, 18-R, 18-B. The determination unit 24 makes the above determination according to the operation of the detection function switch 34. For example, when the operation of the detection function changeover switch 34 indicates that all the infrared distance sensors 18-L, 18-R, and 18-B disable the detection function of all obstacles, the presence or absence of the detection of an obstacle is determined. The flow is terminated without judging. If the operation of the detection function changeover switch 34 indicates that the detection function of the infrared distance sensor 18-L is to be invalidated, it is determined whether an obstacle is detected by the infrared distance sensors 18-R and 18-B.

ステップS102では、判定部24は、検出した障害物が人、すなわち、反射材であるかどうかの判定を行う。この判定は、演算部22から入力した障害物の反射光強度と記憶部23から入力した閾値とを比較し、障害物の反射光強度が閾値以上である場合は、障害物が反射材、すなわち人であると判定し、障害物の反射光強度が閾値より小さい場合は、障害物が人(反射材)以外の障害物であると判定することで、行う。障害物が人(反射材)であると判定した場合は、ステップS103及びS104に進み、障害物が人(反射材)以外の障害物であると判定した場合は、ステップS105に進む。   In step S102, the determination unit 24 determines whether the detected obstacle is a person, that is, a reflective material. This determination compares the reflected light intensity of the obstacle input from the calculation unit 22 with the threshold value input from the storage unit 23. If the reflected light intensity of the obstacle is equal to or greater than the threshold value, the obstacle is a reflective material, When the person is determined to be a person and the reflected light intensity of the obstacle is smaller than the threshold value, the determination is performed by determining that the obstacle is an obstacle other than a person (reflecting material). If it is determined that the obstacle is a person (reflector), the process proceeds to steps S103 and S104. If it is determined that the obstacle is an obstacle other than a person (reflector), the process proceeds to step S105.

ステップS103及びS104では、画像合成部25は、表示装置26及びブザー部28を用い、前述したようにオペレータに車体周囲に人が存在することを通知する。すなわち、ステップS103では、図4に示すように、表示画面29上に障害物強調表示枠32及び人強調表示アイコン33を表示させ、ステップS104では、ブザー部28に人検出時用の警告音を発生させる。   In steps S103 and S104, the image synthesizing unit 25 uses the display device 26 and the buzzer unit 28 to notify the operator that there is a person around the vehicle body as described above. That is, in step S103, as shown in FIG. 4, an obstacle highlighting frame 32 and a person highlighting icon 33 are displayed on the display screen 29, and in step S104, a warning sound for detecting a person is displayed on the buzzer unit 28. generate.

ステップS105では、判定部24は、検出した障害物が設定情報に基づいて設定した下部走行体3のクローラ3a,3bを含まない障害物検出領域36内に検出されているかどうかの判定を行う。この判定は、記憶部23から検出領域の設定情報(距離37〜40)を入力し、この検出領域の設定値と演算部22から入力した障害物の距離情報を用いて、検出した障害物が図7に示される障害物検出領域36に含まれるかどうかを判定することにより行う。障害物が図7に示す障害物検出領域36内に検出されたと判定された場合は、ステップS106及びS106へ進む。障害物検出領域36の外で検出されたと判定された場合は、フローを終了する。   In step S105, the determination unit 24 determines whether the detected obstacle is detected in the obstacle detection area 36 that does not include the crawlers 3a and 3b of the lower traveling unit 3 set based on the setting information. In this determination, the detection area setting information (distance 37 to 40) is input from the storage unit 23, and the detected obstacle is determined by using the detection area setting value and the obstacle distance information input from the calculation unit 22. This is performed by determining whether or not the object is included in the obstacle detection area 36 shown in FIG. When it is determined that an obstacle is detected in the obstacle detection area 36 shown in FIG. 7, the process proceeds to steps S106 and S106. If it is determined that the detection has been performed outside the obstacle detection area 36, the flow ends.

ステップS106及びS107では、画像合成部25は、表示装置26及びブザー部28を用い、前述したようにオペレータに車体周囲に人以外の障害物が存在することを通知する。すなわち、ステップS105では、図4に示すように、表示画面29上に障害物強調表示枠32を表示させ、ステップS106では、ブザー部28に人以外の障害物検出時用の警告音を発生させる。   In steps S106 and S107, the image synthesizing unit 25 uses the display device 26 and the buzzer unit 28 to notify the operator that there is an obstacle other than a person around the vehicle body as described above. That is, in step S105, as shown in FIG. 4, the obstacle emphasis display frame 32 is displayed on the display screen 29, and in step S106, the buzzer unit 28 generates a warning sound for detecting an obstacle other than a person. .

また、上記ステップS102,S105においても、判定部24は、検出機能切替スイッチ34の操作に応じて判定を行う。例えば、検出機能切替スイッチ34の操作が赤外線距離センサ18−L、18−R,18−Bによる人(反射材)以外の障害物の検出機能の無効を指示している場合は、ステップS102において、検出した障害物が人(反射材)であるかどうかの判定だけを行い、検出した障害物が人(反射材)でない場合は、ステップS105の処理を素通りしてフローを終了する。一方、検出機能切替スイッチ34の操作が赤外線距離センサ18−L、18−R,18−Bについて人(反射材)の検出機能の無効を指示している場合は、ステップS102の処理を素通りして、ステップS105において、障害物が障害物検出領域36内で検出されたかどうかの判定だけを行い、障害物検出領域36の外で検出されたと判定された場合は、フローを終了する。   In steps S102 and S105, the determination unit 24 makes a determination in accordance with the operation of the detection function switch 34. For example, if the operation of the detection function switch 34 indicates that the infrared distance sensors 18-L, 18-R, 18-B disable the function of detecting an obstacle other than a person (reflective material) in step S102. It is only determined whether or not the detected obstacle is a person (reflective material). If the detected obstacle is not a person (reflective material), the flow directly ends the process of step S105. On the other hand, if the operation of the detection function switch 34 instructs the infrared distance sensors 18-L, 18-R, and 18-B to disable the function of detecting a person (reflecting material), the processing in step S102 is skipped. Then, in step S105, it is only determined whether or not an obstacle has been detected in the obstacle detection area 36. If it is determined that the obstacle has been detected outside the obstacle detection area 36, the flow ends.

ステップS108では、判定部24は、障害物が障害物検出領域36(すなわち赤外線距離センサ18の検出領域35)もしくは人(反射材)の検出領域42からなくなったかどうかの判定を行う。障害物が検出領域36(又は35)もしくは42からなくなっていた場合は、ステップS109,S110に進み、障害物が検出領域36(又は35)もしくは42からなくなっていない場合は、ステップS102へ進み、上記の処理を繰り返す。   In step S108, the determination unit 24 determines whether the obstacle has disappeared from the obstacle detection area 36 (that is, the detection area 35 of the infrared distance sensor 18) or the detection area 42 of a person (reflective material). If the obstacle has not disappeared from the detection area 36 (or 35) or 42, the flow proceeds to steps S109 and S110. If the obstacle has not disappeared from the detection area 36 (or 35) or 42, the flow proceeds to step S102. The above process is repeated.

ステップS109及びS110では、画像合成部25は、表示装置26の表示をリセットし、ブザー部28の出力を停止し、フローを終了する。   In steps S109 and S110, the image synthesizing unit 25 resets the display on the display device 26, stops the output of the buzzer unit 28, and ends the flow.

以上のようにコントローラ21は、赤外線距離センサ18からの計測信号に基づいて障害物として反射材が検出されたかどうかを判定し、反射材が検出された場合は、車体の周囲に人が存在することを表示装置26に表示させ、反射材が検出されない場合は、上記設定情報に基づいて障害物が障害物検出領域36に含まれるかどうかを判定し、障害物が障害物検出領域36に含まれる場合は、車体の周囲に人以外の障害物が存在することを表示装置26に表示させる。   As described above, the controller 21 determines whether a reflective material is detected as an obstacle based on the measurement signal from the infrared distance sensor 18, and if a reflective material is detected, a person is present around the vehicle body. Is displayed on the display device 26, and if no reflective material is detected, it is determined whether or not an obstacle is included in the obstacle detection area 36 based on the setting information, and the obstacle is included in the obstacle detection area 36. If the obstacle is present, the display device 26 displays that an obstacle other than a person exists around the vehicle body.

このように本実施の形態においては、赤外線距離センサ18の検出領域35に下部走行体3が含まれるように赤外線距離センサ18を上部旋回体4に搭載し、その計測信号に基づいて反射材を検出できるようにするとともに、赤外線距離センサ18の検出領域35とは別に人(反射材)以外の障害物を検出する障害物検出領域36を設定し、その障害物検出領域36を下部走行体3が含まれない領域となるよう設定して、人(反射材)及び人(反射材)以外の障害物の有無を判定することで、下部走行体3を検出することなく、下部走行体3が存在する可能性がある領域でも人(反射材)を検出することが可能となる。これにより下部走行体3の近傍にいる作業員を検出して車体周囲の安全を確保しつつ、下部走行体3の誤検出を防止し、オペレータは誤検出により作業を中断させられることなく効率的に作業を行うことができ、作業効率を向上させることができる。   As described above, in the present embodiment, the infrared distance sensor 18 is mounted on the upper revolving superstructure 4 so that the lower traveling body 3 is included in the detection area 35 of the infrared distance sensor 18, and the reflecting material is formed based on the measurement signal. In addition to the detection area 35 of the infrared distance sensor 18, an obstacle detection area 36 for detecting an obstacle other than a person (reflecting material) is set, and the obstacle detection area 36 is set to the lower traveling body 3. Is set so as not to include the object, and the presence or absence of an obstacle other than a person (reflecting material) and a person (reflecting material) is determined. It is possible to detect a person (reflecting material) even in an area that may exist. As a result, a worker near the undercarriage 3 is detected and safety around the vehicle body is ensured, while erroneous detection of the undercarriage 3 is prevented, and the operator can efficiently operate without being interrupted by the erroneous detection. Work can be performed more efficiently, and work efficiency can be improved.

1 エンジン
2 メインポンプ
3 下部走行体(車体)
3a,3b クローラ
4 上部旋回体(車体)
5 作業装置
6 走行油圧モータ
7 旋回油圧モータ
8 ブーム
9 ブームシリンダ
10 アーム
11 アームシリンダ
12 バケット
13 バケットシリンダ
14〜16 ピン
17(17−L,17−R,17−B) カメラ
18(18−L,18−R,18−B) 赤外線距離センサ
19(19−L,19−R,19−B) 赤外線距離センサ送信部
20(20−L,20−R,20−B) 赤外線距離センサ受信部
21 コントローラ
22 演算部
23 記憶部
24 判定部
25 画像合成部
26 表示装置
27 キャブ
28 ブザー部
29 表示画面
30 障害物
31 人
32 障害物強調表示枠
33 人強調表示アイコン
34 検出機能切替スイッチ
35(35−L,35−R,35−B) 赤外線距離センサの検出領域
36(36−L,36−R,36−B) 障害物の検出領域
37 検出領域の最低検出面高さ
38(38−L,38−R,38−B) 車体旋回時の旋回中心と下部走行体端の最長距離
39 下部走行体の高さ
40 旋回時に赤外線距離センサ正面から下部走行体が最も離れる距離
41 旋回中心
42(42−L,42−R,42−B) 人の検出領域
θ 赤外線距離センサの搭載角度
1 engine 2 main pump 3 undercarriage (body)
3a, 3b Crawler 4 Upper revolving superstructure (body)
5 Working device 6 Traveling hydraulic motor 7 Swing hydraulic motor 8 Boom 9 Boom cylinder 10 Arm 11 Arm cylinder 12 Bucket 13 Bucket cylinder 14-16 Pin 17 (17-L, 17-R, 17-B) Camera 18 (18-L) , 18-R, 18-B) Infrared distance sensor 19 (19-L, 19-R, 19-B) Infrared distance sensor transmitter 20 (20-L, 20-R, 20-B) Infrared distance sensor receiver 21 Controller 22 Operation Unit 23 Storage Unit 24 Judgment Unit 25 Image Synthesis Unit 26 Display Device 27 Cab 28 Buzzer Unit 29 Display Screen 30 Obstacle 31 Person 32 Obstacle Enhancement Display Frame 33 Person Enhancement Display Icon 34 Detection Function Changeover Switch 35 (35 -L, 35-R, 35-B) Detection area 36 of infrared distance sensor (36-L, 36-R, 36-B) Obstacle detection Area 37 Minimum detection surface height 38 of the detection area (38-L, 38-R, 38-B) The longest distance between the turning center and the end of the lower traveling body 39 when turning the vehicle body Height 40 of the lower traveling body Infrared distance when turning Distance 41 where the lower traveling body is farthest from the front of the sensor 41 Center of turning 42 (42-L, 42-R, 42-B) Human detection area θ Mounting angle of infrared distance sensor

Claims (6)

下部走行体及びこの下部走行体に対して旋回可能に搭載された上部旋回体とを含む車体と、前記上部旋回体に設けられた作業装置と、前記車体の周囲を監視する周囲監視装置とを備えた作業機械において、
前記周囲監視装置は、
前記上部旋回体に搭載され、前記車体の周囲に位置する障害物を検出する少なくとも1つの赤外線距離センサと、
前記赤外線距離センサの計測信号に基づいて障害物の有無と、前記障害物が反射材を着用した人か、人以外の障害物かを判別し、障害物情報を生成するコントローラと、
前記コントローラからの出力に応じて前記障害物情報を表示する表示装置とを有し、
前記赤外線距離センサは、前記上部旋回体の非旋回時と旋回時において、前記下部走行体が前記赤外線距離センサの検出領域に含まれるように前記上部旋回体に搭載されており、
前記コントローラは、
前記下部走行体を含まない障害物検出領域を設定する設定情報が予め記憶され、
前記赤外線距離センサからの計測信号に基づいて、前記赤外線距離センサの検出領域において前記障害物として前記反射材が検出されたかどうかを判定し、前記反射材が検出された場合は、前記車体の周囲に人が存在することを前記表示装置に表示させ、
前記反射材が検出されない場合は、前記設定情報に基づいて設定した前記下部走行体を含まない障害物検出領域に前記障害物が含まれるかどうかを判定し、前記障害物が前記下部走行体を含まない障害物検出領域に含まれる場合は、前記車体の周囲に人以外の障害物が存在することを前記表示装置に表示させることを特徴とする作業機械。
A vehicle body that includes a lower traveling structure and an upper revolving structure that is rotatably mounted on the lower traveling structure, a working device provided on the upper revolving structure, and a surrounding monitoring device that monitors the periphery of the vehicle body. Equipped working machine,
The surrounding monitoring device,
At least one infrared distance sensor mounted on the upper revolving unit and detecting an obstacle located around the vehicle body;
The presence or absence of an obstacle based on the measurement signal of the infrared distance sensor, and a controller that determines whether the obstacle is a person wearing a reflective material or an obstacle other than a person, and generates obstacle information.
A display device that displays the obstacle information according to the output from the controller,
The infrared distance sensor is mounted on the upper revolving unit so that the lower traveling unit is included in a detection area of the infrared distance sensor when the upper revolving unit is not turning and when turning.
The controller is
Setting information for setting an obstacle detection area that does not include the lower traveling body is stored in advance,
Based on the measurement signal from the infrared distance sensor, it is determined whether or not the reflective material has been detected as the obstacle in the detection area of the infrared distance sensor. Display on the display device that a person is present,
When the reflective material is not detected, it is determined whether the obstacle is included in an obstacle detection area that does not include the lower traveling body set based on the setting information, and the obstacle moves the lower traveling body. A work machine characterized by displaying on the display device that an obstacle other than a person is present around the vehicle body when the vehicle is included in an obstacle detection area that does not include the vehicle body.
請求項1記載の作業機械において、
前記コントローラは、前記反射材が検出された場合とそれ以外の障害物が検出された場合とで、前記表示装置に異なる警告アイコンを表示させることを特徴とする作業機械。
The work machine according to claim 1,
The work machine according to claim 1, wherein the controller displays different warning icons on the display device when the reflective material is detected and when another obstacle is detected.
請求項1記載の作業機械において、
前記周囲監視装置は、前記上部旋回体に搭載され、前記車体の周囲に位置する障害物を撮影するカメラを更に有し、
前記コントローラは、前記カメラの映像信号に基づいて前記障害物として人が検出されたかどうかを更に判定し、前記赤外線距離センサと前記カメラのいずれかで前記反射材或いは人が検出された場合に、前記車体の周囲に人が存在することを前記表示装置に表示させることを特徴とする作業機械。
The work machine according to claim 1,
The surroundings monitoring device is further mounted on the upper revolving superstructure, and further includes a camera that captures an obstacle located around the vehicle body,
The controller further determines whether a person has been detected as the obstacle based on the video signal of the camera, and when the reflective material or the person has been detected by any of the infrared distance sensor and the camera, A work machine, wherein the display device indicates that a person is present around the vehicle body.
請求項1記載の作業機械において、
前記周囲監視装置は検出機能切替スイッチを更に有し、
前記コントローラは、前記検出機能切替スイッチの操作に応じて前記赤外線距離センサからの計測信号に基づく全ての障害物の検出機能の有効、無効を切り替えることを特徴とする作業機械。
The work machine according to claim 1,
The surroundings monitoring device further includes a detection function changeover switch,
A work machine, wherein the controller switches between enabling and disabling a detection function of all obstacles based on a measurement signal from the infrared distance sensor in accordance with an operation of the detection function switch.
請求項1記載の作業機械において、
前記周囲監視装置は検出機能切替スイッチを更に有し、
前記コントローラは、前記検出機能切替スイッチの操作に応じて前記赤外線距離センサからの計測信号に基づく全ての障害物の検出機能と前記人の検出機能のそれぞれの有効、無効を切り替えることを特徴とする作業機械。
The work machine according to claim 1,
The surroundings monitoring device further includes a detection function changeover switch,
The controller switches on / off the detection function of all obstacles and the detection function of the person based on the measurement signal from the infrared distance sensor in accordance with the operation of the detection function switch. Work machine.
請求項4又は5記載の作業機械において、
前記赤外線距離センサは複数の赤外線距離センサを含み、
前記コントローラは、前記検出機能切替スイッチの操作に応じて前記検出機能の有効、無効の切替を前記複数の赤外線距離センサに対して個別に行うことを特徴とする作業機械。
The work machine according to claim 4 or 5,
The infrared distance sensor includes a plurality of infrared distance sensors,
The work machine according to claim 1, wherein the controller switches the detection function between enabled and disabled individually for the plurality of infrared distance sensors in accordance with an operation of the detection function switch.
JP2018182905A 2018-09-27 2018-09-27 Work machine Active JP7058582B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018182905A JP7058582B2 (en) 2018-09-27 2018-09-27 Work machine

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018182905A JP7058582B2 (en) 2018-09-27 2018-09-27 Work machine

Publications (2)

Publication Number Publication Date
JP2020051156A true JP2020051156A (en) 2020-04-02
JP7058582B2 JP7058582B2 (en) 2022-04-22

Family

ID=69996124

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018182905A Active JP7058582B2 (en) 2018-09-27 2018-09-27 Work machine

Country Status (1)

Country Link
JP (1) JP7058582B2 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020218452A1 (en) * 2019-04-26 2020-10-29 住友建機株式会社 Shovel, and safety equipment confirmation system for worksite
JP2020183623A (en) * 2019-04-26 2020-11-12 住友建機株式会社 Shovel
WO2022059334A1 (en) * 2020-09-15 2022-03-24 株式会社小松製作所 Work vehicle
KR20220155196A (en) 2021-05-14 2022-11-22 얀마 홀딩스 주식회사 Safety monitoring system
WO2023276285A1 (en) * 2021-06-29 2023-01-05 コベルコ建機株式会社 Intrusion detection system
JP7462520B2 (en) 2020-09-02 2024-04-05 ヤンマーホールディングス株式会社 Work vehicle and notification method
JP7498539B2 (en) 2020-09-02 2024-06-12 ヤンマーホールディングス株式会社 Work vehicle and notification method

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005180943A (en) * 2003-12-16 2005-07-07 Azuma Systems:Kk Surroundings monitoring apparatus for work vehicle
JP2008179940A (en) * 2005-03-31 2008-08-07 Hitachi Constr Mach Co Ltd Surrounding monitoring equipment of working machine
WO2012053105A1 (en) * 2010-10-22 2012-04-26 日立建機株式会社 Work machine peripheral monitoring device
JP2017201114A (en) * 2016-04-28 2017-11-09 コベルコ建機株式会社 Construction machine
JP2017223111A (en) * 2017-09-12 2017-12-21 住友重機械工業株式会社 Shovel
JP2018021374A (en) * 2016-08-03 2018-02-08 コベルコ建機株式会社 Obstacle detection device
WO2018155567A1 (en) * 2017-02-22 2018-08-30 住友建機株式会社 Excavator

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005180943A (en) * 2003-12-16 2005-07-07 Azuma Systems:Kk Surroundings monitoring apparatus for work vehicle
JP2008179940A (en) * 2005-03-31 2008-08-07 Hitachi Constr Mach Co Ltd Surrounding monitoring equipment of working machine
WO2012053105A1 (en) * 2010-10-22 2012-04-26 日立建機株式会社 Work machine peripheral monitoring device
JP2017201114A (en) * 2016-04-28 2017-11-09 コベルコ建機株式会社 Construction machine
JP2018021374A (en) * 2016-08-03 2018-02-08 コベルコ建機株式会社 Obstacle detection device
WO2018155567A1 (en) * 2017-02-22 2018-08-30 住友建機株式会社 Excavator
JP2017223111A (en) * 2017-09-12 2017-12-21 住友重機械工業株式会社 Shovel

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020218452A1 (en) * 2019-04-26 2020-10-29 住友建機株式会社 Shovel, and safety equipment confirmation system for worksite
JP2020183623A (en) * 2019-04-26 2020-11-12 住友建機株式会社 Shovel
CN113748247A (en) * 2019-04-26 2021-12-03 住友建机株式会社 Safety equipment confirmation system for excavator and operation site
CN113748247B (en) * 2019-04-26 2024-02-20 住友建机株式会社 Safety equipment confirming system for excavator and working site
JP7462520B2 (en) 2020-09-02 2024-04-05 ヤンマーホールディングス株式会社 Work vehicle and notification method
JP7498539B2 (en) 2020-09-02 2024-06-12 ヤンマーホールディングス株式会社 Work vehicle and notification method
WO2022059334A1 (en) * 2020-09-15 2022-03-24 株式会社小松製作所 Work vehicle
KR20220155196A (en) 2021-05-14 2022-11-22 얀마 홀딩스 주식회사 Safety monitoring system
EP4092204A1 (en) 2021-05-14 2022-11-23 Yanmar Holdings Co., Ltd. Safety monitoring system for a construction machine
WO2023276285A1 (en) * 2021-06-29 2023-01-05 コベルコ建機株式会社 Intrusion detection system

Also Published As

Publication number Publication date
JP7058582B2 (en) 2022-04-22

Similar Documents

Publication Publication Date Title
JP7058582B2 (en) Work machine
JP6216097B2 (en) Work machine periphery monitoring device
JP6734260B2 (en) Work machine
US9332229B2 (en) Surrounding area monitoring device for monitoring area around work machine
US10544567B2 (en) Method and system for monitoring a rotatable implement of a machine
JP6200121B2 (en) Work machine periphery monitoring device
KR102003562B1 (en) Detecting apparatus of construction equipment and method thereof
JP5840565B2 (en) Excavator
CN113728141B (en) Excavator
JP2018021374A (en) Obstacle detection device
WO2015182455A1 (en) Work state detection system of work vehicle, and work vehicle
JP2008163719A (en) Circumference monitor of working machine
JPWO2019176036A1 (en) Work machine
CN113748247B (en) Safety equipment confirming system for excavator and working site
CN113727883A (en) Display device, shovel, and information processing device
JP2020012323A (en) Work machine
JP6878025B2 (en) Peripheral monitoring system for work machines
JP4196826B2 (en) Rear view display device for turning work vehicle
WO2021200798A1 (en) Detection system and detection method
JP2020101442A (en) Obstacle detector of construction machine
WO2017188230A1 (en) Construction machine
JP2023181369A (en) Obstacle detection device of construction machine
CN113767202A (en) Excavator
US20230120720A1 (en) Work machine obstacle notification system and work machine obstacle notification method
WO2021187082A1 (en) Work machine and method for controlling work machine

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200812

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210921

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220412

R150 Certificate of patent or registration of utility model

Ref document number: 7058582

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150