JP2020046439A - Excavator - Google Patents

Excavator Download PDF

Info

Publication number
JP2020046439A
JP2020046439A JP2019227756A JP2019227756A JP2020046439A JP 2020046439 A JP2020046439 A JP 2020046439A JP 2019227756 A JP2019227756 A JP 2019227756A JP 2019227756 A JP2019227756 A JP 2019227756A JP 2020046439 A JP2020046439 A JP 2020046439A
Authority
JP
Japan
Prior art keywords
distance information
earth
stereo camera
measuring device
height
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019227756A
Other languages
Japanese (ja)
Other versions
JP6848039B2 (en
Inventor
裕介 佐野
Yusuke Sano
裕介 佐野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Heavy Industries Ltd
Original Assignee
Sumitomo Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Heavy Industries Ltd filed Critical Sumitomo Heavy Industries Ltd
Publication of JP2020046439A publication Critical patent/JP2020046439A/en
Application granted granted Critical
Publication of JP6848039B2 publication Critical patent/JP6848039B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mining & Mineral Resources (AREA)
  • Multimedia (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Operation Control Of Excavators (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Abstract

To provide an excavator capable of measuring a landform accurately.SOLUTION: An excavator comprises: a lower traveling body 1; an upper revolving body 3 rotatably mounted on the lower traveling body 1; an attachment attached to the upper revolving body 3; an earth and sand shape measuring device that is attached to the attachment and measures the shape of a surface to be measured; and a control unit that calculates distance information from the earth and sand shape measurement device to the surface to be measured based on the measurement value of the earth and sand shape measuring device. The control unit calculates distance information from the earth and sand shape measuring device to a reference ground surface other than the surface to be measured, and corrects the distance information to the surface to be measured to the distance information based on the reference ground surface.SELECTED DRAWING: Figure 1

Description

本発明は、ショベルに関する。   The present invention relates to a shovel.

キャビン上に取り付けられたステレオカメラにより、掘削箇所の地形を測定可能なショベルが知られている(例えば特許文献1参照)。   2. Description of the Related Art A shovel capable of measuring a terrain at an excavation site by a stereo camera mounted on a cabin is known (for example, see Patent Document 1).

特開2002−328022号公報JP 2002-328022 A

特許文献1に係るショベルは、土砂形状測定装置としてのステレオカメラがキャビン上に取り付けられている。   The shovel according to Patent Literature 1 has a stereo camera as a sediment shape measuring device mounted on a cabin.

地形を正確に測定可能なショベルを提供することが望ましい。   It is desirable to provide a shovel that can accurately measure terrain.

本発明の一実施形態に係るショベルは、下部走行体と、前記下部走行体に旋回可能に搭載される上部旋回体と、前記上部旋回体に取り付けられるアタッチメントと、前記アタッチメントに取り付けられた、測定対象地表の形状を測定する土砂形状測定装置と、前記土砂形状測定装置の測定値により、前記土砂形状測定装置から前記測定対象地表までの距離情報を算出する制御部を備えるショベルであって、前記制御部は、前記土砂形状測定装置から前記測定対象地表以外の基準となる地表面までの距離情報を算出し、前記測定対象地表までの距離情報を前記基準となる地表面に基づく距離情報へ補正する。   A shovel according to one embodiment of the present invention includes a lower traveling body, an upper revolving body pivotally mounted on the lower traveling body, an attachment attached to the upper revolving body, and a measurement attached to the attachment. An earth and sand shape measuring device that measures the shape of the target earth surface, and a shovel including a control unit that calculates distance information from the earth and sand shape measuring device to the surface of the measurement target by a measurement value of the earth and sand shape measuring device, The control unit calculates distance information from the earth and sand shape measuring device to a reference ground surface other than the measurement target ground surface, and corrects the distance information to the measurement target ground surface to distance information based on the reference ground surface. I do.

上述の手段により、地形を正確に測定可能なショベルを提供できる。   By the above means, a shovel capable of accurately measuring the terrain can be provided.

本発明の実施例に係るショベルの側面図である。It is a side view of the shovel concerning the Example of this invention. 図1のショベルの構成例を示す図である。FIG. 2 is a diagram illustrating a configuration example of the shovel of FIG. 1. 距離情報算出処理の一例のフローチャートである。It is a flowchart of an example of distance information calculation processing. 第2測定値へ補正する原理の説明図である。FIG. 9 is an explanatory diagram of a principle of correcting to a second measurement value. ステレオカメラの焦点距離を調整する手法の説明図である。FIG. 3 is an explanatory diagram of a method of adjusting a focal length of a stereo camera. 本発明の別の実施例に係るショベルの構成例を示す図である。It is a figure showing the example of composition of the shovel concerning another example of the present invention. 距離情報算出処理の別の一例のフローチャートである。It is a flowchart of another example of distance information calculation processing. 距離情報を算出する原理の説明図である。FIG. 4 is an explanatory diagram of a principle of calculating distance information.

図1は、本発明の実施例に係るショベルの側面図である。   FIG. 1 is a side view of a shovel according to an embodiment of the present invention.

ショベルは、自走可能なクローラ式の下部走行体1と、この下部走行体1上に旋回機構2を介して旋回可能に搭載された上部旋回体3を有している。   The shovel has a crawler-type lower traveling body 1 that can move on its own, and an upper revolving body 3 that is rotatably mounted on the lower traveling body 1 via a revolving mechanism 2.

上部旋回体3には、ブーム4が取り付けられている。ブーム4の先端にはアーム5が取り付けられ、アーム5の先端にはエンドアタッチメントとしてのバケット6が取り付けられている。   A boom 4 is attached to the upper swing body 3. An arm 5 is attached to the tip of the boom 4, and a bucket 6 as an end attachment is attached to the tip of the arm 5.

ブーム4、アーム5、及びバケット6によりアタッチメントが構成される。ブーム4、アーム5、バケット6は、ブームシリンダ7、アームシリンダ8、バケットシリンダ9によりそれぞれ油圧駆動される。ブーム4には姿勢センサとしてのブーム角度センサS1が取り付けられ、アーム5には姿勢センサとしてのアーム角度センサS2が取り付けられ、バケット6には姿勢センサとしてのバケット角度センサS3が取り付けられる。   The boom 4, the arm 5, and the bucket 6 form an attachment. The boom 4, the arm 5, and the bucket 6 are hydraulically driven by a boom cylinder 7, an arm cylinder 8, and a bucket cylinder 9, respectively. A boom angle sensor S1 as a posture sensor is attached to the boom 4, an arm angle sensor S2 as a posture sensor is attached to the arm 5, and a bucket angle sensor S3 as a posture sensor is attached to the bucket 6.

ブーム角度センサS1はブーム4の姿勢を計測する。本実施例では、ブーム角度センサS1は水平面に対する傾斜を検出して上部旋回体3に対するブーム4の回動角度を検出する加速度センサである。   The boom angle sensor S1 measures the posture of the boom 4. In this embodiment, the boom angle sensor S1 is an acceleration sensor that detects a tilt with respect to a horizontal plane and detects a rotation angle of the boom 4 with respect to the upper swing body 3.

アーム角度センサS2はアーム5の姿勢を計測する。本実施例では、アーム角度センサS2は水平面に対する傾斜を検出してブーム4に対するアーム5の回動角度を検出する加速度センサである。   The arm angle sensor S2 measures the posture of the arm 5. In this embodiment, the arm angle sensor S2 is an acceleration sensor that detects a tilt angle with respect to a horizontal plane and detects a rotation angle of the arm 5 with respect to the boom 4.

バケット角度センサS3はバケット6の姿勢を計測する。本実施例では、バケット角度センサS3は水平面に対する傾斜を検出してアーム5に対するバケット6の回動角度を検出する加速度センサである。   The bucket angle sensor S3 measures the attitude of the bucket 6. In this embodiment, the bucket angle sensor S3 is an acceleration sensor that detects the inclination with respect to the horizontal plane and detects the rotation angle of the bucket 6 with respect to the arm 5.

ブーム角度センサS1、アーム角度センサS2、及びバケット角度センサS3は、可変抵抗器を利用したポテンショメータ、対応する油圧シリンダのストローク量を検出するストロークセンサ、連結ピン回りの回動角度を検出するロータリエンコーダ等であってもよい。加速度センサとジャイロセンサの組み合わせで構成されていてもよい。   A boom angle sensor S1, an arm angle sensor S2, and a bucket angle sensor S3 are a potentiometer using a variable resistor, a stroke sensor for detecting a stroke amount of a corresponding hydraulic cylinder, and a rotary encoder for detecting a rotation angle around a connecting pin. And so on. It may be configured by a combination of an acceleration sensor and a gyro sensor.

ブーム4には土砂形状測定装置としてのステレオカメラS4が取り付けられている。土砂形状測定装置は、レーザー距離計、レーザレンジファインダ等であってよい。ステレオカメラS4はアーム5に取り付けられていてもよい。ステレオカメラS4はブーム4とアーム5の両方に取り付けられていてもよい。   A stereo camera S4 is attached to the boom 4 as an earth and sand shape measuring device. The earth and sand shape measuring device may be a laser distance meter, a laser range finder, or the like. The stereo camera S4 may be attached to the arm 5. Stereo camera S4 may be attached to both boom 4 and arm 5.

上部旋回体3には運転室としてのキャビン10が設けられ且つエンジン11等の動力源が搭載されている。また、キャビン10には通信手段としての通信装置S5が設けられている。   The upper revolving unit 3 is provided with a cabin 10 as a driver's cab, and is equipped with a power source such as an engine 11. The cabin 10 is provided with a communication device S5 as communication means.

通信装置S5は、ショベルと外部との間の通信を制御する。通信装置S5は、例えば、他の場所にある管理装置100とショベルとの間の無線通信を制御する。   The communication device S5 controls communication between the shovel and the outside. The communication device S5 controls, for example, wireless communication between the management device 100 and the shovel in another place.

キャビン10内には、入力装置D1、音声出力装置D2、表示装置D3、高さ設定スイッチD4、コントローラ30等が設置されている。   In the cabin 10, an input device D1, an audio output device D2, a display device D3, a height setting switch D4, a controller 30, and the like are provided.

コントローラ30は、ショベルの駆動制御を行う制御部として機能する。本実施例では、コントローラ30は、CPU及び内部メモリを含む演算処理装置で構成される。コントローラ30の各種機能は、CPUが内部メモリに格納されたプログラムを実行することで実現される。   The controller 30 functions as a control unit that performs drive control of the shovel. In the present embodiment, the controller 30 is configured by an arithmetic processing device including a CPU and an internal memory. Various functions of the controller 30 are realized by the CPU executing a program stored in the internal memory.

入力装置D1は、ショベルの操作者がコントローラ30等に各種情報を入力するための装置である。本実施例では、入力装置D1は、表示装置D3の周囲に取り付けられるメンブレンスイッチである。入力装置D1としてタッチパネル等が用いられてもよい。   The input device D1 is a device for the operator of the shovel to input various information to the controller 30 and the like. In this embodiment, the input device D1 is a membrane switch attached around the display device D3. A touch panel or the like may be used as the input device D1.

音声出力装置D2は、コントローラ30等からの音声出力指令に応じて各種音声情報を出力する。本実施例では、音声出力装置D2として、コントローラ30に直接接続される車載スピーカが利用される。音声出力装置D2として、ブザー等の警報器が利用されてもよい。   The audio output device D2 outputs various audio information in response to an audio output command from the controller 30 or the like. In the present embodiment, an in-vehicle speaker directly connected to the controller 30 is used as the audio output device D2. An alarm device such as a buzzer may be used as the audio output device D2.

表示部としての表示装置D3は、コントローラ30からの指令に応じて各種画像情報を出力する。本実施例では、キャビン10内で運転席に向かって取り付けられる表示装置D3として、コントローラ30に直接接続される車載液晶ディスプレイが利用される。   The display device D3 as a display unit outputs various types of image information in response to a command from the controller 30. In the present embodiment, an in-vehicle liquid crystal display directly connected to the controller 30 is used as the display device D3 mounted in the cabin 10 toward the driver's seat.

高さ設定スイッチD4は、ショベルの操作者がコントローラ30等に基準高さを入力するための装置である。本実施例では、高さ設定スイッチD4として、操作レバーに付与されているスイッチが利用される。キャリブレーションスイッチ等が利用されてもよい。   The height setting switch D4 is a device for the operator of the shovel to input a reference height to the controller 30 or the like. In this embodiment, a switch assigned to the operation lever is used as the height setting switch D4. A calibration switch or the like may be used.

次に、図2を参照しながら、ショベルの各種機能要素について説明する。図2は、ショベルの構成例を示す機能ブロック図である。   Next, various functional elements of the shovel will be described with reference to FIG. FIG. 2 is a functional block diagram illustrating a configuration example of the shovel.

本実施例では、コントローラ30は、ステレオカメラS4から測定対象地表までの距離情報を算出する。コントローラ30にはステレオカメラS4から第1測定値が入力される。第1測定値は、ステレオカメラS4が取得するデータであり、例えば視差データである。視差データは、例えば、左右のカメラで得られたステレオペア画像である。ステレオペア画像に写る範囲及びステレオペア画像に写っている物の大きさは外乱に応じて変化する。外乱は、例えば、ブーム4の姿勢の変化、すなわち、ステレオカメラS4の高さの変化を含む。コントローラ30は、ブーム4の姿勢の変化がステレオペア画像に与える影響を推定する。そして、その影響が相殺されるようにステレオペア画像に写る範囲及びステレオペア画像に写っている物の大きさを変化させることでステレオペア画像を調整する。そして、調整後のステレオペア画像に基づいて正確な距離情報を算出する。   In the present embodiment, the controller 30 calculates distance information from the stereo camera S4 to the ground surface to be measured. The controller 30 receives the first measurement value from the stereo camera S4. The first measurement value is data acquired by the stereo camera S4, and is, for example, parallax data. The parallax data is, for example, a stereo pair image obtained by the left and right cameras. The range of the stereo pair image and the size of the object in the stereo pair image change according to the disturbance. The disturbance includes, for example, a change in the posture of the boom 4, that is, a change in the height of the stereo camera S4. The controller 30 estimates the influence of the change in the posture of the boom 4 on the stereo pair image. Then, the stereo pair image is adjusted by changing the range of the stereo pair image and the size of the object shown in the stereo pair image so as to cancel the influence. Then, accurate distance information is calculated based on the adjusted stereo pair image.

コントローラ30は、様々な機能を担う機能部を含む。本実施例では、コントローラ30は、高さ位置演算部31、距離演算部32、メモリ部33を含む。   The controller 30 includes functional units that perform various functions. In the present embodiment, the controller 30 includes a height position calculation unit 31, a distance calculation unit 32, and a memory unit 33.

高さ位置演算部31は、ブーム角度センサS1の検出値に基づいて、ブーム4に取り付けられたステレオカメラS4の高さ位置を演算する。高さ位置演算部31には、高さ設定スイッチD4から基準高さを設定する信号が入力される。   The height position calculator 31 calculates the height position of the stereo camera S4 attached to the boom 4 based on the detection value of the boom angle sensor S1. A signal for setting the reference height is input from the height setting switch D4 to the height position calculating unit 31.

基準高さを設定する信号は、例えば、ショベルの操作者が高さ設定スイッチD4を押したときに高さ位置演算部31に入力される。高さ位置演算部31は、基準高さを設定する信号が入力されると、ブーム角度センサS1の検出値からそのときのステレオカメラS4の高さ位置を演算して基準高さとする。高さ位置は、ショベルの接地面を含む平面に対する高さである。基準高さの設定は、例えば、ステレオカメラS4による測定が開始される前に行われる。   The signal for setting the reference height is input to the height position calculator 31 when the operator of the shovel presses the height setting switch D4, for example. When a signal for setting the reference height is input, the height position calculation unit 31 calculates the height position of the stereo camera S4 at that time from the detection value of the boom angle sensor S1, and sets the calculated height position as the reference height. The height position is the height of the shovel with respect to a plane including the ground contact surface. The setting of the reference height is performed, for example, before the measurement by the stereo camera S4 is started.

高さ位置演算部31は、測定時のステレオカメラS4の高さ位置と、基準高さとに基づいて、ステレオカメラS4の移動高さ(基準高さからの高さ変化量)を算出する。ステレオカメラS4の移動高さは、基準高さ設定時のステレオカメラS4の高さ位置から、移動後のステレオカメラS4の高さ位置までの変化量に相当する。高さ位置演算部31は、ステレオカメラS4の移動高さを、ステレオカメラS4の移動高さに相当する視差データ関連情報に変換して出力してもよい。視差データ関連情報は、例えば、ステレオペア画像に写る範囲及びステレオペア画像に写っている物の大きさに関する情報である。   The height position calculation unit 31 calculates the moving height (the amount of height change from the reference height) of the stereo camera S4 based on the height position of the stereo camera S4 at the time of measurement and the reference height. The movement height of the stereo camera S4 corresponds to the amount of change from the height position of the stereo camera S4 when the reference height is set to the height position of the stereo camera S4 after movement. The height position calculator 31 may convert the moving height of the stereo camera S4 into parallax data related information corresponding to the moving height of the stereo camera S4 and output the information. The disparity data related information is, for example, information on a range that appears in the stereo pair image and a size of an object that appears in the stereo pair image.

コントローラ30は、高さ位置演算部31から出力されたステレオカメラS4の移動高さに相当する視差データ関連情報に基づいて、ステレオカメラS4から出力された第1測定値(視差データ)を第2測定値(視差データ)へ補正する。第2測定値は、基準高さに位置する仮想的なステレオカメラが取得した視差データ(ステレオペア画像)に相当する。その際、コントローラ30は、第1測定値(第1ステレオペア画像)が、第2測定値(第2ステレオペア画像)となるように焦点距離を調整(視差を調整)する。コントローラ30は、例えば、第1ステレオペア画像に写る範囲及び第1ステレオペア画像に写っている物の大きさを変化させて第2ステレオペア画像を生成する。   The controller 30 converts the first measurement value (disparity data) output from the stereo camera S4 into a second value based on the disparity data related information corresponding to the moving height of the stereo camera S4 output from the height position calculation unit 31. Correct to the measured value (parallax data). The second measurement value corresponds to parallax data (stereo pair image) acquired by the virtual stereo camera located at the reference height. At that time, the controller 30 adjusts the focal length (adjusts the parallax) so that the first measurement value (first stereo pair image) becomes the second measurement value (second stereo pair image). The controller 30 changes the range of the first stereo pair image and the size of the object in the first stereo pair image to generate the second stereo pair image, for example.

その後、コントローラ30は、第2ステレオペア画像を距離演算部32へ出力する。   After that, the controller 30 outputs the second stereo pair image to the distance calculation unit 32.

距離演算部32は、第2ステレオペア画像に基づいて、基準高さから測定対象地表Jまでの距離情報を演算する。距離情報は、距離画像であってもよい。距離演算部32は、演算した距離情報を表示装置D3と、メモリ部33へ出力する。   The distance calculation unit 32 calculates distance information from the reference height to the ground surface J to be measured based on the second stereo pair image. The distance information may be a distance image. The distance calculation unit 32 outputs the calculated distance information to the display device D3 and the memory unit 33.

表示装置D3は、取得した複数の距離情報に基づいて地形の断面形状を生成して表示する。   The display device D3 generates and displays a cross-sectional shape of the terrain based on the plurality of pieces of acquired distance information.

メモリ部33は、取得した距離情報を通信装置S5へ出力する。通信装置S5は、通信回線を利用して距離情報を管理装置100へ送信する。   The memory unit 33 outputs the acquired distance information to the communication device S5. The communication device S5 transmits distance information to the management device 100 using a communication line.

次に、図3を参照しながら、コントローラ30が実行する距離情報算出処理について説明する。図3は、距離情報算出処理のフローチャートである。この処理は所定の時間間隔で繰り返される。   Next, the distance information calculation processing executed by the controller 30 will be described with reference to FIG. FIG. 3 is a flowchart of the distance information calculation processing. This process is repeated at predetermined time intervals.

コントローラ30の高さ位置演算部31は、ステップ(以下、STと略す)1で、高さ設定スイッチD4から入力された基準高さを設定する信号に基づいて基準高さを設定する。   In step (hereinafter abbreviated as ST) 1, the height position calculation unit 31 of the controller 30 sets the reference height based on the signal for setting the reference height input from the height setting switch D4.

その後、コントローラ30は、ST2でステレオカメラS4を用いた測定を開始する。   Thereafter, the controller 30 starts the measurement using the stereo camera S4 in ST2.

コントローラ30は、高さ位置演算部31から出力されたステレオカメラS4の移動高さに相当する視差データ関連情報に基づいて、ステレオカメラS4から出力された第1測定値(第1ステレオペア画像)を第2測定値(第2ステレオペア画像)へ補正する(ST3)。   The controller 30 outputs the first measurement value (first stereo pair image) output from the stereo camera S4 based on the parallax data related information corresponding to the moving height of the stereo camera S4 output from the height position calculation unit 31. Is corrected to a second measurement value (second stereo pair image) (ST3).

図4を参照しながら、コントローラ30が実施するST3の処理について詳しく説明する。図4は、第2ステレオペア画像を生成する原理の説明図である。   The process of ST3 performed by the controller 30 will be described in detail with reference to FIG. FIG. 4 is an explanatory diagram of the principle of generating the second stereo pair image.

図4において、Hnは、第2ステレオペア画像に基づく高さを指す。Hは、基準高さである。Hn'は、第1ステレオペア画像に基づく高さを指す。ΔZは、ステレオカメラS4の移動高さである。したがって、第2ステレオペア画像に基づく高さHnは、第1ステレオペア画像に基づく高さHn'から移動高さΔZを差し引いて算出できる。移動高さΔZは、高さ位置演算部31で算出される。   In FIG. 4, Hn indicates a height based on the second stereo pair image. H is a reference height. Hn 'indicates a height based on the first stereo pair image. ΔZ is the moving height of the stereo camera S4. Therefore, the height Hn based on the second stereo pair image can be calculated by subtracting the moving height ΔZ from the height Hn ′ based on the first stereo pair image. The moving height ΔZ is calculated by the height position calculator 31.

その後、コントローラ30は、第1ステレオペア画像が、第2ステレオペア画像となるように焦点距離を調整(視差を調整)する処理を行う(ST4)。   Thereafter, the controller 30 performs a process of adjusting the focal length (adjusting the parallax) so that the first stereo pair image becomes the second stereo pair image (ST4).

次に図5を参照しながら、コントローラ30が実行するST4の処理を説明する。図5は、ステレオカメラS4の焦点距離(画角)を調整する手法の説明図である。図5は、ステレオペア画像のうちの一方である右視点画像を実線で示し、ステレオペア画像のうちの他方である左視点画像を破線で示している。   Next, the processing of ST4 executed by the controller 30 will be described with reference to FIG. FIG. 5 is an explanatory diagram of a method for adjusting the focal length (angle of view) of the stereo camera S4. FIG. 5 shows a right viewpoint image, which is one of the stereo pair images, by a solid line, and a left viewpoint image, which is the other of the stereo pair images, by a broken line.

(1)は、ステレオカメラS4が基準高さから撮像した際の物体Xの画像を示している。(1)が有する視差を例えば15画素とする。(2)は、ブーム4が上方へ移動した際にステレオカメラS4が撮像した物体Xの画像を示している。(2)が有する視差を例えば10画素とする。コントローラ30は、(3)に示すように(2)の物体Xが(1)の物体Xと同じ大きさになるように焦点距離(画角)を調整させて視差を5画素分増やす処理を行う。本実施例のコントローラ30は、ステレオカメラS4の高さの変化に応じて、画素数の補正を行う。すなわち、コントローラ30は、第1ステレオペア画像に写る範囲及び第1ステレオペア画像に写っている物の大きさを光学的に変化させる。但し、コントローラ30は、第1ステレオペア画像に写る範囲及び第1ステレオペア画像に写っている物の大きさをデジタル画像処理的に変化させてもよい。   (1) shows an image of the object X when the stereo camera S4 captures an image from the reference height. The parallax of (1) is, for example, 15 pixels. (2) shows an image of the object X captured by the stereo camera S4 when the boom 4 moves upward. The parallax of (2) is, for example, 10 pixels. The controller 30 adjusts the focal length (angle of view) so that the object X in (2) becomes the same size as the object X in (1) as shown in (3) and increases the parallax by 5 pixels. Do. The controller 30 of the present embodiment corrects the number of pixels according to a change in the height of the stereo camera S4. That is, the controller 30 optically changes the range shown in the first stereo pair image and the size of the object shown in the first stereo pair image. However, the controller 30 may change the range shown in the first stereo pair image and the size of an object shown in the first stereo pair image by digital image processing.

その後、コントローラ30の距離演算部32は、ST3で生成された第2測定値(第2ステレオペア画像)に基づいて、基準高さから測定対象地表Jまでの距離情報を演算する(ST5)。   Thereafter, the distance calculation unit 32 of the controller 30 calculates distance information from the reference height to the ground surface J to be measured based on the second measurement value (second stereo pair image) generated in ST3 (ST5).

上述では、コントローラ30がステレオカメラS4の鉛直下方の距離情報を算出する処理を説明したが、コントローラ30は、アタッチメントの動作によって、ステレオカメラS4の姿勢が変化しても同様の処理を行う。   In the above description, the processing in which the controller 30 calculates the distance information vertically below the stereo camera S4 has been described. However, the controller 30 performs the same processing even if the attitude of the stereo camera S4 changes due to the operation of the attachment.

その後、コントローラ30は、演算した距離情報を、表示装置D3やメモリ部33へ出力する。   After that, the controller 30 outputs the calculated distance information to the display device D3 or the memory unit 33.

上述のように、本実施例のショベルは、ステレオカメラS4をアタッチメントとしてのブーム4に取り付けたので、深掘り掘削時においても掘削箇所の地形を測定できる。また、本実施例のショベルは、ステレオカメラS4の第1ステレオペア画像から、ステレオカメラS4の移動高さによる影響を取り除くように生成された第2ステレオペア画像に基づいて正確な距離情報を算出するので、測定時にブーム4の姿勢が変化しても掘削箇所の地形を正確に測定できる。   As described above, since the shovel of this embodiment has the stereo camera S4 attached to the boom 4 as an attachment, it is possible to measure the terrain at the excavation point even during deep excavation. Further, the shovel of this embodiment calculates accurate distance information from the first stereo pair image of the stereo camera S4 based on the second stereo pair image generated so as to remove the influence of the moving height of the stereo camera S4. Therefore, even when the posture of the boom 4 changes at the time of measurement, the topography of the excavation point can be accurately measured.

次に、本発明の別の実施例に係るショベルについて説明する。図6は本発明の別の実施例に係るショベルの構成例を示す図である。   Next, a shovel according to another embodiment of the present invention will be described. FIG. 6 is a diagram illustrating a configuration example of a shovel according to another embodiment of the present invention.

図6に示すショベルの構成例は、コントローラ30が距離情報を演算する手順が異なる点で図2に示すショベルの構成例と異なるが、その他の点で共通する。そのため共通部分の説明を省略し、相違部分を詳細に説明する。   The configuration example of the shovel illustrated in FIG. 6 is different from the configuration example of the shovel illustrated in FIG. 2 in that a procedure for calculating distance information by the controller 30 is different, but is common in other points. Therefore, the description of the common parts will be omitted, and the different parts will be described in detail.

本実施例の距離演算部32には、ステレオカメラS4から第1測定値(第1ステレオペア画像)が入力される。距離演算部32は、入力された第1測定値(第1ステレオペア画像)に基づいて第1距離情報を演算する。本実施例では例えば第1ステレオペア画像が有する視差から第1距離情報を演算する。第1距離情報は、ステレオカメラS4の移動高さを含んだステレオカメラS4から測定対象地表Jまでの距離情報である。   The first measurement value (first stereo pair image) is input from the stereo camera S4 to the distance calculation unit 32 of the present embodiment. The distance calculator 32 calculates first distance information based on the input first measurement value (first stereo pair image). In this embodiment, for example, the first distance information is calculated from the parallax of the first stereo pair image. The first distance information is distance information from the stereo camera S4 including the moving height of the stereo camera S4 to the ground surface J to be measured.

コントローラ30は、高さ位置演算部31から出力されたステレオカメラS4の移動高さに基づいて距離演算部32が演算した第1距離情報を、基準高さからの距離情報へ補正する。   The controller 30 corrects the first distance information calculated by the distance calculator 32 based on the moving height of the stereo camera S4 output from the height position calculator 31 to distance information from the reference height.

次に、図7を参照しながら、コントローラ30が実行する距離情報算出処理を説明する。図7は、距離情報算出処理のフローチャートである。この処理は所定の時間間隔で繰り返される。   Next, the distance information calculation processing executed by the controller 30 will be described with reference to FIG. FIG. 7 is a flowchart of the distance information calculation process. This process is repeated at predetermined time intervals.

コントローラ30の高さ位置演算部31は、ST21で、高さ設定スイッチD4から入力された基準高さを設定する信号に基づいて基準高さを設定する。   In ST21, the height position calculator 31 of the controller 30 sets the reference height based on the signal for setting the reference height input from the height setting switch D4.

その後、コントローラ30は、ST22でステレオカメラS4を用いた測定を開始する。   Thereafter, the controller 30 starts measurement using the stereo camera S4 in ST22.

コントローラ30の距離演算部32は、ステレオカメラS4から出力された第1測定値(第1ステレオペア画像)に基づいて第1距離情報を算出する(ST23)。   The distance calculation unit 32 of the controller 30 calculates first distance information based on the first measurement value (first stereo pair image) output from the stereo camera S4 (ST23).

コントローラ30は、高さ位置演算部31から出力されたステレオカメラS4の移動高さに基づいて、距離演算部32が演算した第1距離情報を、基準高さからの距離情報へ補正する(ST24)。   Controller 30 corrects the first distance information calculated by distance calculating section 32 to distance information from the reference height based on the moving height of stereo camera S4 output from height position calculating section 31 (ST24). ).

図8を参照しながら、コントローラ30が実施するST24の処理について詳しく説明する。図8は、第1距離情報から正確な距離情報を算出する原理の説明図である。   Referring to FIG. 8, the process of ST24 performed by the controller 30 will be described in detail. FIG. 8 is an explanatory diagram of the principle of calculating accurate distance information from the first distance information.

図8において、Hnは、補正後の距離情報を指す。Hは、基準高さを指す。ΔZは、ステレオカメラS4の移動高さを指す。X2は、ステレオカメラS4が撮像する物体を指す。   In FIG. 8, Hn indicates the corrected distance information. H indicates the reference height. ΔZ indicates the moving height of the stereo camera S4. X2 indicates an object imaged by the stereo camera S4.

Rnは、基準高さにあるステレオカメラS4から物体X2までの距離を指す。Rn'は、移動したステレオカメラS4から物体X2までの距離を指す。Rn、Rn'は、ステレオカメラS4が出力する第1ステレオペア画像から導き出される。Hn'は、Rn'から算出される第1距離情報を指す。Lは、上部旋回体3からステレオカメラS4までの距離を指す。Lは、例えば、内部メモリ等に予め記憶されている。αは、ステレオカメラS4が基準高さにあるときのブーム4の角度を指す。α'は、ステレオカメラS4がΔZだけ移動したときのブーム4の角度を指す。α、α'は、例えば、ブーム角度センサS1によって検出される。θnは、ステレオカメラS4が基準高さにあるときのステレオカメラS4と物体X2とを結ぶ線分の、ステレオカメラS4の光軸(鉛直線)に対する角度を指す。θn'は、ステレオカメラS4がΔZだけ移動したときのステレオカメラS4と物体X2とを結ぶ線分の、ステレオカメラS4の光軸(鉛直線)に対する角度を指す。θn、θn'は、例えば、ステレオカメラS4の内部パラメータから算出される。ΔXは、ステレオカメラS4のX方向(図8の左右方向)の移動距離を指す。Wは、基準高さにあるステレオカメラS4の光軸とX2との距離を指す。   Rn indicates the distance from the stereo camera S4 at the reference height to the object X2. Rn 'indicates the distance from the moved stereo camera S4 to the object X2. Rn and Rn 'are derived from the first stereo pair image output from the stereo camera S4. Hn 'indicates the first distance information calculated from Rn'. L indicates the distance from the upper swing body 3 to the stereo camera S4. L is stored in advance in, for example, an internal memory. α indicates the angle of the boom 4 when the stereo camera S4 is at the reference height. α ′ indicates the angle of the boom 4 when the stereo camera S4 moves by ΔZ. α and α ′ are detected by, for example, the boom angle sensor S1. θn indicates the angle of the line connecting the stereo camera S4 and the object X2 with respect to the optical axis (vertical line) of the stereo camera S4 when the stereo camera S4 is at the reference height. θn ′ indicates the angle of the line connecting the stereo camera S4 and the object X2 with respect to the optical axis (vertical line) of the stereo camera S4 when the stereo camera S4 moves by ΔZ. θn and θn ′ are calculated, for example, from internal parameters of the stereo camera S4. ΔX indicates the moving distance of the stereo camera S4 in the X direction (the left-right direction in FIG. 8). W indicates the distance between the optical axis of the stereo camera S4 at the reference height and X2.

具体的に距離情報Hnは、以下の式により算出できる。   Specifically, the distance information Hn can be calculated by the following equation.

移動高さΔZは、式(1)により求められる。   The moving height ΔZ is obtained by Expression (1).

ΔZ=Lsinα'−Lsinα (1)
ΔXは、式(2)により求められる。
ΔZ = L sin α′−L sin α (1)
ΔX is obtained by equation (2).

ΔX=Lcosα'−Lcosα (2)
θnは、式(3)で表される。θn'は、式(3)'で表される。
ΔX = Lcosα′−Lcosα (2)
θn is represented by equation (3). θn ′ is expressed by equation (3) ′.

θn=sin−1(W/Rn) (3)
θn'=sin−1((W−ΔX)/Rn') (3)'
第1距離情報Hn'は、式(4)により求められる。
θn = sin −1 (W / Rn) (3)
θn ′ = sin −1 ((W−ΔX) / Rn ′) (3) ′
The first distance information Hn 'is obtained by Expression (4).

Hn'=Rn'×cоsθn' (4)
距離情報Hnは、式(5)により求められる。
Hn ′ = Rn ′ × cos θn ′ (4)
The distance information Hn is obtained by Expression (5).

Hn=Rn'×cоsθn'−ΔZ (5)
端的にいうと、距離情報Hnは、第1距離情報Hn'から移動高さΔZを差し引くことにより算出できる。
Hn = Rn ′ × cos θn′−ΔZ (5)
In short, the distance information Hn can be calculated by subtracting the moving height ΔZ from the first distance information Hn ′.

上述では、コントローラ30がステレオカメラS4の鉛直下方の距離情報を算出する処理を説明したが、コントローラ30は、アタッチメントの動作によって、ステレオカメラS4の姿勢が変化しても同様の処理を行う。鉛直下方以外の複数方向においても同様の処理を行う。   In the above description, the processing in which the controller 30 calculates the distance information vertically below the stereo camera S4 has been described. However, the controller 30 performs the same processing even if the attitude of the stereo camera S4 changes due to the operation of the attachment. The same processing is performed in a plurality of directions other than vertically downward.

その後、コントローラ30は、演算した距離情報を、表示装置D3やメモリ部33へ出力する。   After that, the controller 30 outputs the calculated distance information to the display device D3 or the memory unit 33.

上述のように、別の実施例のショベルにおいても、ステレオカメラS4の第1測定値(第1ステレオペア画像)からステレオカメラS4の移動高さによる影響を排除して正確な距離情報を算出するので、測定時にブーム4の姿勢が移動しても掘削箇所の地形を正確に測定できる。   As described above, also in the shovel of another embodiment, accurate distance information is calculated from the first measurement value (first stereo pair image) of the stereo camera S4 by eliminating the influence of the moving height of the stereo camera S4. Therefore, even if the posture of the boom 4 moves during the measurement, the terrain at the excavation point can be accurately measured.

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限
されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び
置換を加えることができる。
Although the preferred embodiment of the present invention has been described in detail above, the present invention is not limited to the above-described embodiment, and various modifications and substitutions may be made to the above-described embodiment without departing from the scope of the present invention. Can be added.

本願は、2016年3月16日に出願した日本国特許出願2016−053007号に基づく優先権を主張するものであり、この日本国特許出願の全内容を本願に参照により援用する。   This application claims the priority based on Japanese Patent Application No. 2006-053007 filed on March 16, 2016, the entire content of which is incorporated herein by reference.

1・・・下部走行体 2・・・旋回機構 3・・・上部旋回体 4・・・ブーム 5・・・アーム 6・・・バケット 7・・・ブームシリンダ 8・・・アームシリンダ 9・・・バケットシリンダ 10・・・キャビン 11・・・エンジン 30・・・コントローラ 31・・・高さ位置演算部 32・・・距離演算部 33・・・メモリ部 S1・・・ブーム角度センサ S2・・・アーム角度センサ S3・・・バケット角度センサ S4・・・ステレオカメラ(土砂形状測定装置) S5・・・通信装置(通信手段) 100・・・管理装置 D1・・・入力装置 D2・・・音声出力装置 D3・・・表示装置(表示部) D4・・・高さ設定スイッチ   DESCRIPTION OF SYMBOLS 1 ... Lower traveling body 2 ... Revolving mechanism 3 ... Upper revolving body 4 ... Boom 5 ... Arm 6 ... Bucket 7 ... Boom cylinder 8 ... Arm cylinder 9 ... -Bucket cylinder 10-Cabin 11-Engine 30-Controller 31-Height position calculator 32-Distance calculator 33-Memory S1-Boom angle sensor S2- · Arm angle sensor S3 · · · Bucket angle sensor S4 · · · Stereo camera (earth and sand shape measuring device) S5 · · · Communication device (communication means) 100 · · · Management device D1 · · · Input device D2 · · · Voice Output device D3: Display device (display unit) D4: Height setting switch

Claims (6)

下部走行体と、
前記下部走行体に旋回可能に搭載される上部旋回体と、
前記上部旋回体に取り付けられるアタッチメントと、
前記アタッチメントに取り付けられた、測定対象地表の形状を測定する土砂形状測定装置と、
前記土砂形状測定装置の測定値により、前記土砂形状測定装置から前記測定対象地表までの距離情報を算出する制御部を備えるショベルであって、
前記制御部は、前記土砂形状測定装置から前記測定対象地表以外の基準となる地表面までの距離情報を算出し、
前記測定対象地表までの距離情報を前記基準となる地表面に基づく距離情報へ補正する、
ショベル。
An undercarriage,
An upper revolving structure that is rotatably mounted on the lower traveling structure,
An attachment attached to the upper rotating body,
Attached to the attachment, earth and sand shape measuring device for measuring the shape of the surface to be measured,
A shovel including a control unit that calculates distance information from the earth and sand shape measurement device to the surface of the measurement target, based on a measurement value of the earth and sand shape measurement device,
The control unit calculates distance information from the earth and sand shape measuring device to a reference ground surface other than the measurement target ground surface,
Correcting the distance information to the measurement target ground surface to distance information based on the reference ground surface,
Excavator.
前記制御部は、前記土砂形状測定装置を移動させ、複数の距離情報を取得し、
前記取得した複数の距離情報に基づいて地形の断面形状を生成する、
請求項1に記載のショベル。
The control unit moves the earth and sand shape measuring device, acquires a plurality of distance information,
Generating a cross-sectional shape of the terrain based on the acquired plurality of distance information,
The shovel according to claim 1.
前記土砂形状測定装置は、所定の面積を有する範囲を測定する、
請求項1又は2に記載のショベル。
The earth and sand shape measuring device measures a range having a predetermined area,
The shovel according to claim 1.
前記制御部は、前記土砂形状測定装置により測定する範囲を重ねつつ前記土砂形状測定装置を移動させる、
請求項3に記載のショベル。
The control unit moves the earth and sand shape measuring device while overlapping a range to be measured by the earth and sand shape measuring device,
The shovel according to claim 3.
前記制御部は、前記アタッチメントの姿勢の変化の前後において、姿勢センサの検出値に基づいて導き出される前記アタッチメントの姿勢の変化による影響を排除して距離情報を算出する、
請求項1乃至4の何れかに記載のショベル。
The control unit calculates distance information before and after a change in the posture of the attachment, excluding an influence due to a change in the posture of the attachment derived based on a detection value of a posture sensor,
The shovel according to claim 1.
前記上部旋回体に取り付けられた運転室と、
前記運転室内に設置された表示部と、を更に有し、
前記制御部は、距離情報を前記表示部に表示する、
請求項1乃至5の何れかに記載のショベル。
A cab attached to the upper revolving superstructure,
A display unit installed in the cab, further comprising:
The control unit displays distance information on the display unit,
The shovel according to claim 1.
JP2019227756A 2016-03-16 2019-12-17 Excavator Active JP6848039B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016053007 2016-03-16
JP2016053007 2016-03-16

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018505986A Division JP6651607B2 (en) 2016-03-16 2017-03-15 Excavator

Publications (2)

Publication Number Publication Date
JP2020046439A true JP2020046439A (en) 2020-03-26
JP6848039B2 JP6848039B2 (en) 2021-03-24

Family

ID=59851194

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018505986A Active JP6651607B2 (en) 2016-03-16 2017-03-15 Excavator
JP2019227756A Active JP6848039B2 (en) 2016-03-16 2019-12-17 Excavator

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018505986A Active JP6651607B2 (en) 2016-03-16 2017-03-15 Excavator

Country Status (2)

Country Link
JP (2) JP6651607B2 (en)
WO (1) WO2017159744A1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018200060B4 (en) * 2018-01-04 2024-05-08 Robert Bosch Gmbh Method for operating a mobile work machine and mobile work machine
CN109440854A (en) * 2018-10-18 2019-03-08 南京天辰礼达电子科技有限公司 A method of calculating bucket point and large arm shaft core position relationship
JP7003082B2 (en) * 2019-03-27 2022-01-20 日立建機株式会社 Work machine
US20220275606A1 (en) * 2019-07-17 2022-09-01 Nec Corporation Method for generating excavation trajectory, system, and excavation trajectory generation apparatus
JP2021070922A (en) * 2019-10-29 2021-05-06 住友重機械工業株式会社 Shovel

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1194550A (en) * 1997-09-24 1999-04-09 Kikuo Tokida Method and system for earth work management, and light reflecting device for optical wave range-finding
JP2003344045A (en) * 2002-05-29 2003-12-03 Yaskawa Electric Corp Image processing apparatus
JP2012255286A (en) * 2011-06-08 2012-12-27 Topcon Corp Construction machine control system
JP2016008484A (en) * 2014-06-26 2016-01-18 住友建機株式会社 Construction machinery

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10094654B2 (en) * 2014-08-25 2018-10-09 Trimble Navigation Limited All-in-one integrated sensing device for machine control
CN105518228B (en) * 2015-10-15 2018-06-01 株式会社小松制作所 Position measurement system, work mechanism and position measuring method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1194550A (en) * 1997-09-24 1999-04-09 Kikuo Tokida Method and system for earth work management, and light reflecting device for optical wave range-finding
JP2003344045A (en) * 2002-05-29 2003-12-03 Yaskawa Electric Corp Image processing apparatus
JP2012255286A (en) * 2011-06-08 2012-12-27 Topcon Corp Construction machine control system
JP2016008484A (en) * 2014-06-26 2016-01-18 住友建機株式会社 Construction machinery

Also Published As

Publication number Publication date
JP6651607B2 (en) 2020-02-19
JPWO2017159744A1 (en) 2018-11-29
WO2017159744A1 (en) 2017-09-21
JP6848039B2 (en) 2021-03-24

Similar Documents

Publication Publication Date Title
JP6848039B2 (en) Excavator
JP6050525B2 (en) Position measuring system, work machine, and position measuring method
JP5759798B2 (en) Construction machine control system
JP6707047B2 (en) Construction machinery
JP7305823B2 (en) Excavator and measurement system for excavator
WO2015182455A1 (en) Work state detection system of work vehicle, and work vehicle
JP7285051B2 (en) Display control device and display control method
US9745726B2 (en) Posture calculation device of working machinery, posture calculation device of excavator, and working machinery
JP2018035645A (en) Work machine image display system
JP6322612B2 (en) Construction management system and shape measurement method
CN110300827B (en) Construction machine
JP2012112108A (en) Periphery monitoring device for work machine
JP7420733B2 (en) Display control system and display control method
CN111032962B (en) Construction machine
JP2018059400A (en) Construction management system
WO2019225133A1 (en) Hydraulic shovel and system
JP6606230B2 (en) Shape measurement system
JP2024052764A (en) Display control device and display method
JP6689763B2 (en) Excavator
JP6433664B2 (en) Overhead image display device for construction machinery
KR20230002979A (en) Information Acquisition System and Information Acquisition Method
WO2020090898A1 (en) Display control system, display control method and remote control system
WO2022070707A1 (en) Display control device and display control method
JP2021156801A (en) Shovel and method for calibration

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210303

R150 Certificate of patent or registration of utility model

Ref document number: 6848039

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150