JP2019214933A - ショベル、ショベルの計測装置、及びショベルの管理装置 - Google Patents

ショベル、ショベルの計測装置、及びショベルの管理装置 Download PDF

Info

Publication number
JP2019214933A
JP2019214933A JP2019142495A JP2019142495A JP2019214933A JP 2019214933 A JP2019214933 A JP 2019214933A JP 2019142495 A JP2019142495 A JP 2019142495A JP 2019142495 A JP2019142495 A JP 2019142495A JP 2019214933 A JP2019214933 A JP 2019214933A
Authority
JP
Japan
Prior art keywords
shovel
camera
unit
distance information
stereo pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019142495A
Other languages
English (en)
Inventor
泉川 岳哉
Takeya Izumikawa
岳哉 泉川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo SHI Construction Machinery Co Ltd
Original Assignee
Sumitomo SHI Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo SHI Construction Machinery Co Ltd filed Critical Sumitomo SHI Construction Machinery Co Ltd
Publication of JP2019214933A publication Critical patent/JP2019214933A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C7/00Tracing profiles
    • G01C7/02Tracing profiles of land surfaces
    • G01C7/04Tracing profiles of land surfaces involving a vehicle which moves along the profile to be traced
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • E02F9/262Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0816Indicating performance data, e.g. occurrence of a malfunction
    • G07C5/0825Indicating performance data, e.g. occurrence of a malfunction using optical means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Structural Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Operation Control Of Excavators (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】ショベル周辺の地形をより正確に計測できる計測装置を提供すること。【解決手段】走行動作を行う下部走行体1と、下部走行体1に旋回自在に搭載される上部旋回体3と、上部旋回体3に取り付けられ、アタッチメントに含まれるブーム4と、ブーム4に取り付けられ、アタッチメントに含まれるアームとを有するショベルに備えられるショベルの計測装置は、下部走行体1よりも上方に配置される、周囲の測定対象までの距離情報を取得するカメラS6の出力に基づき、複数の位置にてショベルの周囲の地形を計測する。【選択図】図6B

Description

本発明は、ショベル、ショベル周辺の地形を計測する計測装置、及びショベルの管理装置に関する。
ショベル本体の三次元位置と、ブーム、アーム、及びバケットのそれぞれの傾斜角と、ショベル本体の幅方向の傾斜角とに基づいてバケットの刃先の軌跡を導き出す表示システムを備えたショベルが知られている(例えば、特許文献1参照)。
この表示システムは、設計データに基づく設計地形の断面図と刃先の軌跡によって表される現在の地形の断面図とをモニタ上に表示する。
特開2014−148893号公報
しかしながら、特許文献1の表示システムは、バケットからこぼれ落ちた土砂、くぼみに崩れ落ちた土砂、埋め戻された土砂等を考慮していない。そのため、現在の地形の断面図を正確に表示できないおそれがある。
上述に鑑み、ショベル周辺の地形をより正確に計測できる計測装置を提供することが望ましい。
本発明の実施例に係るショベルの計測装置は、走行動作を行う下部走行体と、前記下部走行体に旋回自在に搭載される上部旋回体と、前記上部旋回体に取り付けられ、アタッチメントに含まれるブームと、前記ブームに取り付けられ、前記アタッチメントに含まれるアームとを有するショベルに備えられるショベルの計測装置であって、前記下部走行体よりも上方に配置される、周囲の測定対象までの距離情報を取得する装置の出力に基づき、複数の位置にてショベルの周囲の地形を計測する。
上述の手段により、ショベル周辺の地形をより正確に計測できる計測装置を提供できる。
本発明の実施例に係るショベルの側面図である。 図1のショベルの駆動系の構成を示す図である。 マシンガイダンス装置の構成例を示すブロック図である。 ステレオペア画像とカメラとの関係を示す図である。 ステレオペア画像とカメラとの関係を示す図である。 ステレオペア画像とカメラとの関係を示す図である。 カメラの取り付け位置を示すショベルの左側面図である。 カメラの撮像範囲を表すショベルの上面図である。 カメラの撮像範囲を表すショベルの上面図である。 上部旋回体が右方向に旋回する際のカメラに関する測定対象範囲を示すショベルの上面図である。 上部旋回体が右方向に旋回する際の3台のカメラに関する測定対象範囲を示すショベルの上面図である。 生成される地形データの範囲を表す円環状領域を示すショベルの上面図である。 生成される地形データの範囲を表す円環状領域を示すショベルの上面図である。 ショベルの移動経路と円環状領域の位置関係を示す図である。 ショベル周辺の地形を計測する計測システムの一例を示す図である。
図1は本発明の実施例に係るショベル(掘削機)の側面図である。ショベルの下部走行体1には旋回機構2を介して上部旋回体3が旋回可能に搭載される。上部旋回体3にはブーム4が取り付けられる。ブーム4の先端にはアーム5が取り付けられ、アーム5の先端にはエンドアタッチメントとしてのバケット6が取り付けられる。エンドアタッチメントとして、法面用バケット、浚渫用バケット等が用いられてもよい。
ブーム4、アーム5、及びバケット6は、アタッチメントの一例としての掘削アタッチメントを構成し、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9によりそれぞれ油圧駆動される。ブーム4にはブーム角度センサS1が取り付けられ、アーム5にはアーム角度センサS2が取り付けられ、バケット6にはバケット角度センサS3が取り付けられる。掘削アタッチメントには、バケットチルト機構が設けられてもよい。
ブーム角度センサS1はブーム4の回動角度を検出する。本実施例では、ブーム角度センサS1は水平面に対する傾斜を検出して上部旋回体3に対するブーム4の回動角度を検出する加速度センサである。
アーム角度センサS2はアーム5の回動角度を検出する。本実施例では、アーム角度センサS2は水平面に対する傾斜を検出してブーム4に対するアーム5の回動角度を検出する加速度センサである。
バケット角度センサS3はバケット6の回動角度を検出する。本実施例では、バケット角度センサS3は水平面に対する傾斜を検出してアーム5に対するバケット6の回動角度を検出する加速度センサである。掘削アタッチメントがバケットチルト機構を備える場合、バケット角度センサS3はチルト軸回りのバケット6の回動角度を追加的に検出する。
ブーム角度センサS1、アーム角度センサS2、及びバケット角度センサS3は、可変抵抗器を利用したポテンショメータ、対応する油圧シリンダのストローク量を検出するストロークセンサ、連結ピン回りの回動角度を検出するロータリエンコーダ等であってもよい。
上部旋回体3にはキャビン10が設けられ且つエンジン11等の動力源が搭載される。上部旋回体3には機体傾斜センサS4、旋回角速度センサS5、及びカメラS6が取り付けられる。通信装置S7及び測位装置S8が取り付けられてもよい。
機体傾斜センサS4は水平面に対する上部旋回体3の傾斜を検出する。本実施例では、機体傾斜センサS4は上部旋回体3の前後軸及び左右軸回りの傾斜角を検出する2軸加速度センサである。上部旋回体3の前後軸及び左右軸は、例えば、互いに直交してショベルの旋回軸上の一点であるショベル中心点を通る。
旋回角速度センサS5は、例えばジャイロセンサであり、上部旋回体3の旋回角速度を検出する。旋回角速度センサS5は、レゾルバ、ロータリエンコーダ等であってもよい。
カメラS6はショベルの周辺の画像を取得するステレオ撮影可能な撮像装置である。本実施例では、カメラS6は上部旋回体3に取り付けられる1又は複数台のステレオカメラである。但し、カメラS6は単眼カメラであってもよい。この場合、カメラS6は、撮像位置を僅かに異ならせて撮像した2つのカメラ画像をステレオペア画像とする。撮像位置の移動は、例えば、上部旋回体3の旋回によって実現され、且つ、ジャイロセンサ、GNSS(Global Navigation Satellite System)等を用いて測定される。
通信装置S7は、ショベルと外部との間の通信を制御する装置である。通信装置S7は、例えば、GNSS等の測量システムとショベルとの間の無線通信を制御する。ショベルは、通信装置S7を用いることで無線通信を介して目標施工面に関する情報等を含む設計データを取得できる。但し、ショベルは、半導体メモリ等を用いて設計データを取得してもよい。
測位装置S8は、ショベルの位置及び向きを測定する装置である。本実施例では、測位装置S8は、電子コンパスを組み込んだGNSS受信機であり、ショベルの存在位置の緯度、経度、高度を測定し、且つ、ショベルの向きを測定する。
キャビン10内には、入力装置D1、音声出力装置D2、表示装置(表示部)D3、記憶装置D4、ゲートロックレバーD5、コントローラ30、及びマシンガイダンス装置50が設置される。
コントローラ30は、ショベルの駆動制御を行う主制御部として機能する。本実施例では、コントローラ30は、CPU及び内部メモリを含む演算処理装置で構成される。コントローラ30の各種機能は、CPUが内部メモリに格納されたプログラムを実行することで実現される。
マシンガイダンス装置50は、ショベルの操作をガイドする。本実施例では、マシンガイダンス装置50は、例えば、操作者が設定した目標施工面とバケット6の先端(爪先)位置との鉛直方向における距離を視覚的に且つ聴覚的に操作者に報知する。これにより、マシンガイダンス装置50は操作者によるショベルの操作をガイドする。マシンガイダンス装置50は、その距離を視覚的に操作者に知らせるのみであってもよく、聴覚的に操作者に知らせるのみであってもよい。具体的には、マシンガイダンス装置50は、コントローラ30と同様、CPU及び内部メモリを含む演算処理装置で構成される。マシンガイダンス装置50の各種機能はCPUが内部メモリに格納されたプログラムを実行することで実現される。マシンガイダンス装置50は、コントローラ30とは別個に設けられてもよく、或いは、コントローラ30に組み込まれていてもよい。
入力装置D1は、ショベルの操作者がマシンガイダンス装置50に各種情報を入力するための装置である。本実施例では、入力装置D1は、表示装置D3の周囲に取り付けられるメンブレンスイッチである。入力装置D1としてタッチパネル等が用いられてもよい。
音声出力装置D2は、マシンガイダンス装置50からの音声出力指令に応じて各種音声情報を出力する。本実施例では、音声出力装置D2として、マシンガイダンス装置50に直接接続される車載スピーカが利用される。音声出力装置D2として、ブザー等の警報器が利用されてもよい。
表示装置D3は、マシンガイダンス装置50からの指令に応じて各種画像情報を出力する。本実施例では、表示装置D3として、マシンガイダンス装置50に直接接続される車載液晶ディスプレイが利用される。
記憶装置D4は、各種情報を記憶するための装置である。本実施例では、記憶装置D4として、半導体メモリ等の不揮発性記憶媒体が用いられる。記憶装置D4は、マシンガイダンス装置50等が出力する各種情報を記憶する。
ゲートロックレバーD5は、ショベルが誤って操作されるのを防止する機構である。本実施例では、ゲートロックレバーD5は、キャビン10のドアと運転席との間に配置される。キャビン10から操作者が退出できないようにゲートロックレバーD5が引き上げられた場合に、各種操作装置は操作可能となる。一方、キャビン10から操作者が退出できるようにゲートロックレバーD5が押し下げられた場合には、各種操作装置は操作不能となる。
図2は、図1のショベルの駆動系の構成例を示す図である。図2において、機械的動力系は二重線、高圧油圧ラインは太実線、パイロットラインは破線、電気駆動・制御系は細実線でそれぞれ示される。
エンジン11はショベルの動力源である。本実施例では、エンジン11は、エンジン負荷の増減にかかわらずエンジン回転数を一定に維持するアイソクロナス制御を採用したディーゼルエンジンである。エンジン11における燃料噴射量、燃料噴射タイミング、ブースト圧等は、エンジンコントローラユニット(ECU)D7により制御される。
エンジン11には油圧ポンプとしてのメインポンプ14及びパイロットポンプ15が接続される。メインポンプ14には高圧油圧ラインを介してコントロールバルブ17が接続される。
コントロールバルブ17は、ショベルの油圧系の制御を行う油圧制御装置である。右側走行用油圧モータ、左側走行用油圧モータ、ブームシリンダ7、アームシリンダ8、バケットシリンダ9、旋回用油圧モータ等の油圧アクチュエータは、高圧油圧ラインを介してコントロールバルブ17に接続される。旋回用油圧モータは旋回用電動発電機であってもよい。
パイロットポンプ15にはパイロットラインを介して操作装置26が接続される。操作装置26はレバー及びペダルを含む。操作装置26は、油圧ライン及びゲートロック弁D6を介してコントロールバルブ17に接続される。
ゲートロック弁D6は、コントロールバルブ17と操作装置26とを接続する油圧ラインの連通・遮断を切り換える。本実施例では、ゲートロック弁D6は、コントローラ30からの指令に応じて油圧ラインの連通・遮断を切り換える電磁弁である。コントローラ30は、ゲートロックレバーD5が出力する状態信号に基づいてゲートロックレバーD5の状態を判定する。そして、コントローラ30は、ゲートロックレバーD5が引き上げられた状態にあると判定した場合に、ゲートロック弁D6に対して連通指令を出力する。連通指令を受けると、ゲートロック弁D6は開いて油圧ラインを連通させる。その結果、操作装置26に対する操作者の操作が有効となる。一方、コントローラ30は、ゲートロックレバーD5が引き下げられた状態にあると判定した場合に、ゲートロック弁D6に対して遮断指令を出力する。遮断指令を受けると、ゲートロック弁D6は閉じて油圧ラインを遮断する。その結果、操作装置26に対する操作者の操作が無効となる。
圧力センサ29は、操作装置26の操作内容を圧力の形で検出する。圧力センサ29は、検出値をコントローラ30に対して出力する。
図2はコントローラ30と表示装置D3との接続関係を示す。本実施例では、表示装置D3はマシンガイダンス装置50を介してコントローラ30に接続される。表示装置D3、マシンガイダンス装置50、及びコントローラ30は、CAN等の通信ネットワークを介して接続されてもよく、専用線を介して接続されてもよい。
表示装置D3は画像を生成する変換処理部D3aを含む。本実施例では、変換処理部D3aは、カメラS6の出力に基づいて表示用のカメラ画像を生成する。そのため、表示装置D3は、マシンガイダンス装置50に接続されたカメラS6の出力をマシンガイダンス装置50を介して取得する。但し、カメラS6は、表示装置D3に接続されてもよく、コントローラ30に接続されてもよい。
変換処理部D3aは、コントローラ30又はマシンガイダンス装置50の出力に基づいて表示用の画像を生成する。本実施例では、変換処理部D3aは、コントローラ30又はマシンガイダンス装置50が出力する各種情報を画像信号に変換する。コントローラ30が出力する情報は、例えば、エンジン冷却水の温度を示すデータ、作動油の温度を示すデータ、燃料の残量を示すデータ等を含む。マシンガイダンス装置50が出力する情報は、バケット6の先端(爪先)位置を示すデータ、作業対象の法面の向きを示すデータ、ショベルの向きを示すデータ、ショベルを法面に正対させるための操作方向を示すデータ等を含む。
変換処理部D3aは、表示装置D3が有する機能としてではなく、コントローラ30又はマシンガイダンス装置50が有する機能として実現されてもよい。
表示装置D3は、蓄電池70から電力の供給を受けて動作する。蓄電池70はエンジン11のオルタネータ11a(発電機)で発電した電力で充電される。蓄電池70の電力は、コントローラ30及び表示装置D3以外のショベルの電装品72等にも供給される。エンジン11のスタータ11bは、蓄電池70からの電力で駆動され、エンジン11を始動する。
エンジン11は、エンジンコントローラユニットD7により制御される。エンジンコントローラユニットD7は、エンジン11の状態を示す各種データをコントローラ30に常時送信する。エンジン11の状態を示す各種データは、例えば、水温センサ11cで検出される冷却水温(物理量)を示すデータである。したがって、コントローラ30は一時記憶部(メモリ)30aにこのデータを蓄積しておき、必要なときに表示装置D3に送信することができる。
コントローラ30には以下のように各種のデータが供給される。各種のデータは、コントローラ30の一時記憶部30aに格納される。
まず、可変容量式油圧ポンプであるメインポンプ14のレギュレータ14aから斜板傾転角を示すデータがコントローラ30に供給される。また、メインポンプ14の吐出圧力を示すデータが、吐出圧力センサ14bからコントローラ30に送られる。これらのデータ(物理量を表すデータ)は一時記憶部30aに格納される。メインポンプ14が吸入する作動油が貯蔵されたタンクとメインポンプ14との間の管路には油温センサ14cが設けられている。その管路を流れる作動油の温度を表すデータが油温センサ14cからコントローラ30に供給される。
燃料収容部55における燃料収容量検出部55aから燃料収容量を示すデータがコントローラ30に供給される。本実施例では、燃料収容部55としての燃料タンクにおける燃料収容量検出部55aとしての燃料残量センサから燃料の残量状態を示すデータがコントローラ30に供給される。
具体的には、燃料残量センサは、液面に追従するフロートと、フロートの上下変動量を抵抗値に変換する可変抵抗器(ポテンショメータ)とで構成される。この構成により、燃料残量センサは、表示装置D3で燃料の残量状態を無段階表示させることができる。燃料収容量検出部55aの検出方式は、使用環境等に応じて適宜選択され得るものであり、燃料の残量状態を段階表示させることができる検出方式が採用されてもよい。
操作装置26を操作した際にコントロールバルブ17に送られるパイロット圧は、圧力センサ29で検出される。圧力センサ29は、検出したパイロット圧を示すデータをコントローラ30に供給する。
本実施例では、図2に示すように、ショベルは、キャビン10内にエンジン回転数調整ダイヤル75を備える。エンジン回転数調整ダイヤル75は、エンジン11の回転数を調整するためのダイヤルであり、本実施例ではエンジン回転数を4段階で切り換えできる。エンジン回転数調整ダイヤル75からは、エンジン回転数の設定状態を示すデータがコントローラ30に常時送信される。エンジン回転数調整ダイヤル75は、SPモード、Hモード、Aモード、及びアイドリングモードの4段階でエンジン回転数を切り換えできる。図2は、エンジン回転数調整ダイヤル75でHモードが選択された状態を示す。
SPモードは、作業量を優先したい場合に選択される回転数モードであり、最も高いエンジン回転数を利用する。Hモードは、作業量と燃費を両立させたい場合に選択される回転数モードであり、二番目に高いエンジン回転数を利用する。Aモードは、燃費を優先させながら低騒音でショベルを稼働させたい場合に選択される回転数モードであり、三番目に高いエンジン回転数を利用する。アイドリングモードは、エンジン11をアイドリング状態にしたい場合に選択される回転数モードであり、最も低いエンジン回転数を利用する。そして、エンジン11は、エンジン回転数調整ダイヤル75で設定された回転数モードのエンジン回転数で一定に回転数制御される。
次に、図3を参照しながら、マシンガイダンス装置50の各種機能要素について説明する。図3は、マシンガイダンス装置50の構成例を示す機能ブロック図である。
本実施例では、コントローラ30は、ショベル全体の動作の制御に加えて、マシンガイダンス装置50によるガイダンスを行うか否かを制御する。具体的には、コントローラ30は、ゲートロックレバーD5の状態、圧力センサ29からの検出信号等に基づいてマシンガイダンス装置50によるガイダンスを行うか否かを制御する。
次に、マシンガイダンス装置50について説明する。本実施例では、マシンガイダンス装置50は、例えば、ブーム角度センサS1、アーム角度センサS2、バケット角度センサS3、機体傾斜センサS4、旋回角速度センサS5、入力装置D1、及びコントローラ30から出力される各種信号及びデータを受信する。そして、マシンガイダンス装置50は、受信した信号及びデータに基づいてアタッチメント(例えば、バケット6)の実際の位置を算出する。そして、マシンガイダンス装置50は、アタッチメントの実際の位置が目標位置と異なる場合に、音声出力装置D2及び表示装置D3に警報指令を送信し、警報を発令させる。
マシンガイダンス装置50は、様々な機能を担う機能部を含む。本実施例では、マシンガイダンス装置50は、アタッチメントの動作をガイダンスするための機能部として、傾斜角算出部501、高さ算出部503、比較部504、警報制御部505、及びガイダンスデータ出力部506を含む。また、マシンガイダンス装置50は、ショベル周辺の地形を計測するための機能部として、ステレオペア画像取得部507、地形データ生成部508、座標変換部509、座標修正部510、及び地形データ表示部511を含み、ショベルの計測装置として機能する。
傾斜角算出部501は、水平面に対する上部旋回体3の傾斜角(ショベルの傾斜角)を算出する。例えば、傾斜角算出部501は、機体傾斜センサS4からの検出信号を用いてショベルの傾斜角を算出する。
高さ算出部503は、エンドアタッチメントの作業部位の高さを算出する。例えば、高さ算出部503は、傾斜角算出部501が算出した傾斜角と、ブーム4、アーム5、及びバケット6の角度とから、バケット6の先端(爪先)の高さを算出する。ブーム4、アーム5、及びバケット6の角度は、ブーム角度センサS1、アーム角度センサS2、及びバケット角度センサS3の検出信号から算出される。本実施例では、バケット6の先端で掘削を行うため、バケット6の先端(爪先)はエンドアタッチメントの作業部位に相当する。一方、バケット6の背面で土砂をならすような作業をするときには、バケット6の背面がエンドアタッチメントの作業部位に相当する。バケット6以外のエンドアタッチメントとしてブレーカを用いた場合には、ブレーカの先端がエンドアタッチメントの作業部位に相当する。
比較部504は、高さ算出部503が算出したバケット6の先端(爪先)の高さと、バケット6の先端(爪先)の目標高さとを比較する。目標高さは、ガイダンスデータ出力部506から出力されるガイダンスデータに含まれている。予め入力された設計図面とショベルの現在位置と作業姿勢とから算出されてもよい。設定された過去のショベルの爪先位置と、入力された目標深さと、ショベルの傾斜角と現在の作業姿勢(現在の爪先位置)から算出されてもよい。
警報制御部505は、比較部504での比較結果に基づいて、警報が必要と判断した場合には警報指令を音声出力装置D2及び表示装置D3の両方又は一方に送信する。音声出力装置D2及び表示装置D3は、警報指令を受けると所定の警報を発してショベルの操作者に通報する。
ガイダンスデータ出力部506は、マシンガイダンス装置50の記憶装置に予め格納されていたガイダンスデータからバケット6の目標高さのデータを抽出して比較部504に対して出力する。この際、ガイダンスデータ出力部506は、ショベルの現在位置、作業姿勢、傾斜角等に対応するバケット6の目標高さのデータを出力してもよい。
ステレオペア画像取得部507はステレオペア画像を取得する機能要素である。ステレオペア画像は、三角測量の手法を用いてカメラS6と測定対象となる点(以下、「測定点」とする。)との距離を導き出すために用いる1対のカメラ画像である。本実施例では、ステレオペア画像取得部507は、ステレオカメラであるカメラS6が出力する1対のカメラ画像をステレオペア画像として取得する。ステレオペア画像取得部507は、単眼カメラとしてのカメラS6が出力する2つのカメラ画像をステレオペア画像として取得してもよい。単眼カメラとしてのカメラS6がステレオペア画像としての2つのカメラ画像を取得する場合のカメラS6の撮像位置の移動は、例えば、上部旋回体3の旋回によって実現され、且つ、ジャイロセンサ、GNSS等を用いて測定される。そして、カメラS6の移動量から三角測量の手法を用い、ステレオカメラとしてのカメラS6の場合と同様にカメラS6と測定点との間の距離を導き出すことができる。また、カメラS6の取り付け位置、取り付け角度、焦点距離等のカメラS6に関するパラメータは予め記憶装置D4等に記憶されている。ステレオペア画像取得部507は、それらパラメータを必要に応じて記憶装置D4等から読み出す。
ここで、図4A〜図4C及び図5を参照し、カメラS6の詳細について説明する。図4A〜図4Cは、ステレオペア画像とカメラS6との関係を示す図である。具体的には、図4AはステレオカメラとしてのカメラS6の上面図であり、図4Bは単眼カメラとしてのカメラS6aの上面図である。図4CはカメラS6又はカメラS6aが撮像したステレオペア画像の概略図である。また、図5は、カメラS6(カメラS6a)の取り付け位置を示すショベルの左側面図である。
図4Aに示すように、ステレオカメラとしてのカメラS6がショベルに取り付けられている場合、ステレオペア画像取得部507は、カメラS6における1対の撮像部S61、S62のそれぞれが同時に撮像した1対のカメラ画像をステレオペア画像として取得する。そして、取得した1対のカメラ画像のそれぞれにおける測定点Pに対応する画素の間のズレと、撮像部S61と撮像部S62との間の距離Lとに基づいて三角測量の手法を用いてカメラS6と測定点Pとの距離を取得する。
また、図4Bに示すように、単眼カメラとしてのカメラS6aがショベルに取り付けられている場合、ステレオペア画像取得部507は、カメラS6aの撮像部S61aが異なるタイミングで撮像した2つのカメラ画像をステレオペア画像として取得する。例えば、ステレオペア画像取得部507は、カメラS6aが実線で示す位置にあるときに撮像した第1のカメラ画像と、その後にカメラS6aが破線で示す位置まで移動したときに撮像した第2のカメラ画像とをステレオペア画像として取得する。この場合、カメラS6aの移動は、例えば、ショベル本体の走行によって実現される。そして、ステレオペア画像取得部507は、GNSSの位置情報からカメラS6aの移動量Lを決定し、図4Aの場合と同様に三角測量の手法を用いてカメラS6aと測定点Pとの距離を取得する。
また、図4A〜図4Cでは、撮像部S61及び(カメラS6aが実線で示す位置にあるときの)撮像部S61aのそれぞれの撮像範囲は破線で囲まれた撮像範囲Raで表される。また、撮像部S62及び(カメラS6aが破線で示す位置にあるときの)撮像部S61aのそれぞれの撮像範囲は破線で囲まれた撮像範囲Rbで表される。また、撮像範囲Raと撮像範囲Rbとの重複撮像範囲Rはドットパターンでハッチングされている。一点鎖線で囲まれる測定対象範囲Xは測定点の存在範囲を示す。本実施例では、測定対象範囲Xは各カメラ画像の中心部分に限定される。各カメラ画像の周縁部は口径食、歪み等の影響により距離を正確に導き出せない場合があるためである。但し、本発明は測定対象範囲Xが周縁部を含む構成を除外しない。
また、ステレオペア画像取得部507は、所定の取得条件が満たされる度にステレオペア画像を取得する。所定の取得条件は、例えば、上部旋回体3の旋回角度、ショベルの移動距離等に基づいて設定される。本実施例では、ステレオペア画像取得部507は、上部旋回体3が所定の旋回角度αだけ旋回する毎にステレオペア画像を取得する。旋回角度は、例えば、旋回角速度センサS5の出力から導き出される。また、ステレオペア画像取得部507は、ショベルが所定の距離Dだけ移動(走行)する毎にステレオペア画像を取得してもよい。移動距離は、例えば、測位装置S8の出力から導き出される。或いは、ステレオペア画像取得部507は、所望の測定点の画像を含むステレオペア画像を効率的に取得できるように、取得条件となる旋回角度、移動距離等に関する閾値を動的に決定してもよい。また、ステレオペア画像取得部507は、所定の時間間隔毎にステレオペア画像を取得してもよく、ショベルの操作者による操作入力(例えばスイッチ操作)に応じて任意のタイミングでステレオペア画像を取得してもよい。計測装置としてのマシンガイダンス装置50は、このように取得したステレオペア画像からショベル周辺の地形を計測する。
ここで図6A及び図6Bを参照し、ステレオペア画像の取得条件の例について説明する。図6A及び図6BはカメラS6の撮像範囲を表すショベルの上面図である。具体的には、図6AはカメラS6の重複撮像範囲R1、R2を示し、図6Bはショベルの後方に存在する物体Bによって形成される死角領域BA1、BA2を示す。また、図6A及び図6Bのそれぞれにおける点線で示す部分は、旋回軸SX回りに上部旋回体3が旋回角度αだけ旋回したときの状態を示す。
例えば、ステレオペア画像取得部507は、図6Aの実線で示すようにショベルが基準方向を向いているときにカメラS6が撮像した1対のカメラ画像をステレオペア画像として取得する。重複撮像範囲R1は、このときのカメラS6が撮像した1対のカメラ画像のそれぞれの撮像範囲に関する重複撮像範囲を表す。
その後、ステレオペア画像取得部507は、図6Aの点線で示すように上部旋回体3が右回りに旋回角度αだけ旋回したときにカメラS6が撮像した1対のカメラ画像をステレオペア画像として取得する。重複撮像範囲R2は、このときのカメラS6が撮像した1対のカメラ画像のそれぞれの撮像範囲に関する重複撮像範囲を表す。
また、図6Bは、上部旋回体3が旋回角度αだけ旋回する毎にステレオペア画像を取得することの効果の1つを示す。具体的には、死角領域BA1は、図6Bの実線で示すようにショベルが基準方向を向いているときに取得されたステレオペア画像においてその距離を計測できない測定点が存在する範囲を示す。また、死角領域BA2は、図6Bの点線で示すように上部旋回体3が右回りに旋回角度αだけ旋回したときに取得されたステレオペア画像においてその距離を計測できない測定点が存在する範囲を示す。そして、死角領域BA12は死角領域BA1と死角領域BA2とが重複する範囲を示す。このように、旋回角度が異なるときに取得された2対のステレオペア画像を取得することで、ステレオペア画像取得部507は、1対のステレオペア画像では撮像されなかった範囲に含まれる測定点までの距離を導き出すことができる。
また、ステレオペア画像取得部507は、所望のステレオペア画像が取得できるようにショベルの操作者に対して指示を出してもよい。例えば、ステレオペア画像取得部507は、音声出力装置D2及び表示装置D3の少なくとも一方に制御指令を出力して所望のステレオペア画像を取得するために必要な操作の内容をショベルの操作者に通知してもよい。具体的には、「右に旋回させて下さい」といった音声メッセージを出力させてもよい。
地形データ生成部508は、地形データを生成する機能要素である。地形データは、例えば、ショベル周辺の地面上の各点を表す三次元座標の集合である。三次元座標は、例えば、カメラ座標系における座標である。カメラ座標系は、カメラを基準とする座標系であり、例えば、カメラS6の中心点を原点とし、カメラS6の2つの光軸の中間にX軸をとり、それら2つの光軸を含む平面に垂直にZ軸をとる三次元直交XYZ座標系である。
本実施例では、地形データ生成部508は、ステレオペア画像取得部507が導き出した各測定点までの距離に基づいてカメラ座標系における各測定点の三次元座標を導き出す。
座標変換部509は、カメラ座標系における座標を他の座標系における座標に変換する機能要素である。例えば、座標変換部509は、カメラ座標系における座標をショベル座標系又は基準座標系における座標に変換する。ショベル座標系は、ショベルを基準とする座標系であり、例えば、上部旋回体3の旋回軸と下部走行体1の接地面との交点を原点とし、下部走行体1の前後軸をX軸とし、下部走行体1の左右軸をY軸とし、旋回軸をZ軸とする三次元直交XYZ座標系である。基準座標系は、例えば世界測地系を含む。世界測地系は、地球の重心に原点をおき、X軸をグリニッジ子午線と赤道との交点の方向に、Y軸を東経90度の方向に、そしてZ軸を北極の方向にとる三次元直交XYZ座標系である。
本実施例では、座標変換部509は、地形データ生成部508が導き出したカメラ座標系における各測定点の三次元座標を世界測地系における座標に変換する。但し、ショベルを走行させずに地形データを生成する場合、座標変換部509は、地形データ生成部508が導き出したカメラ座標系における各測定点の三次元座標をショベル座標系における座標に変換してもよい。
座標修正部510は、座標変換部509が導き出した変換後の座標を修正する機能要素である。本実施例では、座標修正部510は、世界測地系におけるX軸座標及びY軸座標が共通でZ軸(高さ)座標が異なる2つ以上の座標が1つの測定点に対応している場合に、2つ以上のZ軸(高さ)座標から1つの代表的なZ軸(高さ)座標を導き出す。例えば、座標修正部510は、2つ以上のZ軸(高さ)座標の平均値を代表的なZ軸(高さ)座標として導き出す。座標修正部510は、この代表的なZ軸(高さ)座標を導き出すために用いるZ軸(高さ)座標の数が多いほどその測定点の高さをより高精度に導き出すことができる。
地形データ表示部511は、マシンガイダンス装置50が生成した地形データを表示する機能要素である。本実施例では、地形データ表示部511は、地形データに基づいてショベル周辺の地形の3次元画像(例えばワイヤフレーム、ポリゴンメッシュ等)を生成して表示装置D3に表示する。地形データは、例えば、座標変換部509が導き出した変換後の座標、又は、座標修正部510が修正した修正後の座標の集合である。地形データ表示部511は、設計データに基づいて設計地形の3次元画像を生成し、ショベル周辺の地形の3次元画像と共にその設計地形の3次元画像を表示装置D3に表示してもよい。地形データ表示部511は、ショベル周辺の地形の3次元画像に、カメラS6が現に撮像した画像を合成して表示してもよい。ショベルの操作者は、生成された地形データを視認し、未測定箇所の有無を確認できる。そして、未測定箇所があれば、その未測定箇所の地形を任意に計測できる。
次に、図7を参照し、地形データの生成手順の一例について説明する。図7はショベルの上面図であり、上部旋回体3が右方向に旋回する際のカメラS6に関する測定対象範囲X1〜X4を示す。具体的には、測定対象範囲X1は、図7の実線で示すようにショベルが基準方向を向いているときにカメラS6が撮像した1対のカメラ画像に含まれる測定対象範囲である。測定対象範囲X2は、図7の破線で示すように旋回軸SX回りに上部旋回体3が旋回角度αだけ旋回したときにカメラS6が撮像した1対のカメラ画像に含まれる測定対象範囲である。測定対象範囲X3は、図7の一点鎖線で示すように旋回軸SX回りに上部旋回体3が更に旋回角度αだけ旋回したときにカメラS6が撮像した1対のカメラ画像に含まれる測定対象範囲である。測定対象範囲X4は、図7の二点鎖線で示すように旋回軸SX回りに上部旋回体3が更に旋回角度αだけ旋回したときにカメラS6が撮像した1対のカメラ画像に含まれる測定対象範囲である。
重複測定対象範囲X12は、測定対象範囲X1と測定対象範囲X2が重複する範囲を示す。重複測定対象範囲X23は、測定対象範囲X2と測定対象範囲X3が重複する範囲を示し、重複測定対象範囲X34は、測定対象範囲X3と測定対象範囲X4が重複する範囲を示す。
ステレオペア画像取得部507は、上部旋回体3が旋回角度αだけ旋回する度にステレオペア画像を取得し、各ステレオペア画像に含まれる測定対象範囲における各測定点までの距離を導き出す。そして、地形データ生成部508は、ステレオペア画像取得部507が導き出した各測定点までの距離に基づいてカメラ座標系における各測定点の三次元座標を導き出す。そして、座標変換部509は、地形データ生成部508が導き出したカメラ座標系における各測定点の三次元座標を世界測地系における座標に変換する。
そのため、マシンガイダンス装置50は、操作者が上部旋回体3を360度旋回させると、ショベル周辺の円環状領域TRに含まれる各測定点につき2つのZ軸(高さ)座標を取得できる。
各測定点につき2つのZ軸(高さ)座標を取得した場合、座標修正部510は、それら2つのZ軸(高さ)座標の平均値を代表的なZ軸(高さ)座標として導き出す。
ステレオペア画像取得部507は、上部旋回体3が旋回角度2α(旋回角度αの2倍)だけ旋回する度にステレオペア画像を取得してもよい。この場合、マシンガイダンス装置50は、ショベル周辺の円環状領域TRに含まれる各測定点につき1つのZ軸(高さ)座標を取得し、その1つのZ軸(高さ)座標をそのまま代表的なZ軸(高さ)座標とする。このようにして、マシンガイダンス装置50は円環状領域TRの地形データを生成できる。
次に、図8を参照し、地形データの生成手順の別の一例について説明する。図8はショベルの上面図であり、上部旋回体3が右方向に旋回する際の3台のカメラS6(後方カメラS6B、右側方カメラS6R、左側方カメラS6L)に関する測定対象範囲を示す。具体的には、測定対象範囲X1、Y1、Z1は、図8の実線で示すようにショベルが基準方向を向いているときに後方カメラS6B、右側方カメラS6R、左側方カメラS6Lのそれぞれが撮像した1対のカメラ画像に含まれる測定対象範囲である。測定対象範囲X2、Y2、Z2、X3、Y3、Z3についても同様である。
また、重複測定対象範囲X12は、測定対象範囲X1と測定対象範囲X2が重複する範囲を示す。重複測定対象範囲Y12、Z12、X23、Y23、Z23についても同様である。
ステレオペア画像取得部507は、上部旋回体3が旋回角度αだけ旋回する度に3対のステレオペア画像を取得し、各ステレオペア画像に含まれる測定対象範囲における各測定点までの距離を導き出す。そして、地形データ生成部508は、ステレオペア画像取得部507が導き出した各測定点までの距離に基づいてカメラ座標系における各測定点の三次元座標を導き出す。そして、座標変換部509は、地形データ生成部508が導き出したカメラ座標系における各測定点の三次元座標を世界測地系における座標に変換する。
そのため、マシンガイダンス装置50は、操作者が上部旋回体3を180度旋回させると、ショベル周辺の円環状領域TRに含まれる各測定点につき2つ又は4つのZ軸(高さ)座標を取得できる。具体的には、円環状領域TRに含まれる測定点は、左側方カメラS6Lが撮像した2対のステレオペア画像から導き出される2つのZ軸(高さ)座標を有する測定点、右側方カメラS6Rが撮像した2対のステレオペア画像から導き出される2つのZ軸(高さ)座標を有する測定点、及び、左側方カメラS6L又は右側方カメラS6Rが撮像した2対のステレオペア画像と後方カメラS6Bが撮像した2対のステレオペア画像とから導き出される4つのZ軸(高さ)座標を有する測定点で構成される。ショベルには前方カメラが追加的に取り付けられていてもよい。この場合、マシンガイダンス装置50は、操作者が上部旋回体3を90度旋回させると、ショベル周辺の円環状領域TRに含まれる各測定点につき2つのZ軸(高さ)座標を取得できる。
各測定点につき少なくとも2つのZ軸(高さ)座標を取得した場合、座標修正部510は、それら少なくとも2つのZ軸(高さ)座標の平均値を代表的なZ軸(高さ)座標として導き出す。
ステレオペア画像取得部507は、上部旋回体3が旋回角度2α(旋回角度αの2倍)だけ旋回する度にステレオペア画像を取得してもよい。この場合、マシンガイダンス装置50は、ショベル周辺の円環状領域TRに含まれる各測定点につき1つ又は2つのZ軸(高さ)座標を取得する。そして、Z軸(高さ)座標の数が1つの場合にはその1つのZ軸(高さ)座標をそのまま代表的なZ軸(高さ)座標とし、Z軸(高さ)座標の数が2つの場合にはその平均値を代表的なZ軸(高さ)座標とする。このようにして、マシンガイダンス装置50は円環状領域TRの地形データを生成できる。
次に、図9A、図9B及び図10を参照し、旋回と走行を繰り返すショベルに搭載されたマシンガイダンス装置50が地形データを生成する様子について説明する。図9A及び図9Bは、上部旋回体3の上部後端にカメラS6を搭載するショベルの上面図である。具体的には、図9Aは走行停止中のショベルを360度旋回させたときに生成される地形データの範囲を表す円環状領域TR1(斜線ハッチングで示す領域)を示す。また、図9Bは、図9Aの円環状領域TR1に加え、ショベルを所定の距離Dだけ走行させてから360度旋回させたときに生成される地形データの範囲を表す円環状領域TR2を示す。また、細かいドットハッチングで示す領域TR12は、円環状領域TR1と円環状領域TR2との重複領域を示す。また、所定の距離Dは、円環状領域TR1、TR2の外径Daから内径Dbを差し引いた長さである。これは、ショベルが所定の距離Dだけ走行すると、円環状領域TR1の内円と円環状領域TR2の外円とが接し、且つ、円環状領域TR2の内円と円環状領域TR1の外円とが接することを意味する。また、図9Bの粗いドットハッチングで示す領域は、ショベルを所定の距離Dだけ走行させてから360度旋回させたときに初めて生成される地形データの範囲を表す。具体的には、円環状領域TR1の内円の内側の領域、及び、円環状領域TR1の外円の外側で且つ円環状領域TR2の外円の内側の領域である。
次に、図10を参照し、移動するショベルが地形データの生成のために360度旋回を行うタイミングとその360度旋回によって生成される地形データの範囲(円環状領域)について説明する。図10は、ショベルの移動経路CTと円環状領域TR1〜TR8の位置関係を示す。また、図10は、ショベルが移動経路CTに沿って左から右に移動し、円環状領域TR1、TR2、・・・の順で地形データが生成されることを示す。
図10は、円環状領域TR3までは、ショベルが距離Dだけ移動する毎に360度旋回した場合に生成される地形データの範囲を示す。円環状領域TR4から円環状領域TR6までは、ショベルが距離(Da+Db)だけ移動する毎に360度旋回した場合に生成される地形データの範囲を示す。円環状領域TR7からは、ショベルが距離2Da(円環状領域の外径Daの2倍)だけ移動する毎に360度旋回した場合に生成される地形データの範囲を示す。
このようにして、マシンガイダンス装置50は、旋回と移動を繰り返すショベルの上でステレオペア画像を適切なタイミングで自動的に取得しながら地形データを生成できる。
マシンガイダンス装置50は、所望の範囲の地形データを生成するために必要な操作の内容をショベルの操作者に通知し、できるだけ重複を避けるようにしながら、或いは、できるだけ重複を生じさせるようにしながら、その所望の範囲の地形データを生成してもよい。「重複」は、1つの測定点に関して2つ以上の異なるZ軸(高さ)座標を取得することを意味する。そして、重複を避けることは地形データを効率的に生成できるという効果をもたらし、一方で、重複を生じさせることは地形データの精度を高めることができるという効果をもたらす。但し、作業現場の地形は、作業の進行に伴って刻々と変化する。そのため、マシンガイダンス装置50は、所定時間毎にショベル周辺の地形を計測し、その計測結果で地形データを更新することで最新の地形データを取得してもよい。また、新旧の地形データを比較することで作業対象となった土砂の量を算出してもよい。作業対象となった土砂の量は、例えば、掘削作業によって掘削された土砂の量、埋め戻し作業で埋め戻された土砂の量等である。
以上の構成により、ショベルの計測装置として機能するマシンガイダンス装置50は、ショベルの旋回中にステレオ撮影可能なカメラが撮像したステレオペア画像に基づいてショベル周辺の地形を計測する。そのため、ショベル周辺(例えば周囲360度)の地形データを生成できる。その結果、施工の進捗状況の効率的な管理を実現できる。
また、マシンガイダンス装置50は、様々な旋回角度で撮像した複数対のステレオペア画像に基づいてショベル周辺の地形を計測する。そのため、ショベル周辺に存在する物体によって形成される死角領域(地形データを生成できない領域)を狭めることができる。
また、後方カメラS6B、右側方カメラS6R、及び左側方カメラS6Lの3台のカメラのそれぞれが撮像したステレオペア画像を利用することで、より効率的に、且つ/或いは、より高精度にショベル周辺の地形データを生成できる。
また、マシンガイダンス装置50は、このように生成した地形データを用い、ショベルの操作者による操作を支援でき、或いは、ショベルの自動コントロールを実行できる。その結果、スムーズな施工を実現できる。
また、マシンガイダンス装置50は、ステレオペア画像に基づいてショベル周辺の地形を計測するため、バケットの刃先の軌跡から地形データを導き出す構成よりも正確に地形データを生成できる。例えば、バケット6からこぼれ落ちた土砂、くぼみに崩れ落ちた土砂、埋め戻された土砂等による地表面の変化を把握できるためである。
また、マシンガイダンス装置50は、上部旋回体3に取り付けられたカメラが撮像したステレオペア画像に基づいてショベル周辺の地形を計測する。そのため、ショベルの外部にカメラを設置する必要が無く、カメラが作業の邪魔になることもない。
また、マシンガイダンス装置50は、第1のステレオペア画像から導き出される測定点の第1の位置座標と、第1のステレオペア画像とは異なる条件で撮像された第2のステレオペア画像から導き出されるその測定点の第2の位置座標とに基づいてその測定点の位置座標を決定してもよい。また、マシンガイダンス装置50は、第1カメラが撮像したステレオペア画像から導き出される測定点の第1の位置座標と、第2カメラが撮像したステレオペア画像から導き出されるその測定点の第2の位置座標とに基づいてその測定点の位置座標を決定してもよい。このように、マシンガイダンス装置50は、1つの測定点に関する複数の位置座標から最終的に使用する位置座標を決定してもよい。例えば、複数の高さ座標の平均値を最終的な高さ座標としてもよい。
以上、本発明の好ましい実施例が詳説された。しかし、本発明は、上述した実施例に制限されることはない。本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
例えば、上述の実施例では、ショベル周辺の地形を計測するための機能部は、マシンガイダンス装置50の一部として実装されているが、ショベル本体に取り付けられたコントローラ30に組み込まれてもよい。また、ショベルの外部に設置された管理装置、又は、スマートフォン等の携帯端末に組み込まれてもよい。
図11は、ショベル周辺の地形を計測するための機能部が管理装置及び携帯端末の少なくとも1つに組み込まれた、計測装置としての計測システムの一例を示す図である。図11で示すように、計測システムは、ショベルPS、管理装置FS、携帯端末MS(支援装置)を含む。ショベルPS、管理装置FS、及び携帯端末MSは、通信ネットワークCNを通じて互いに接続される通信端末として機能する。計測システムを構成するショベルPS、管理装置FS、及び携帯端末MSは、それぞれ1台であってもよく、複数台であってもよい。図11の例では、計測システムは、1台のショベルPSと、1台の管理装置FSと、1台の携帯端末MSとを含む。
ショベルPSは通信装置S7を有する。通信装置S7はショベルPSの外部に向けて情報を発信する。通信装置S7は、例えば、管理装置FS及び携帯端末MSの少なくとも一方が受信可能な情報を発信する。
管理装置FSは、ショベルPSの作業を管理する装置であり、例えば、作業現場外の管理センタ等に設置される、表示装置を備えたコンピュータである。管理装置FSは、使用者が持ち運び可能な可搬性のコンピュータであってもよい。携帯端末MSは、表示装置を備えた通信端末であり、スマートフォン、タブレット端末、ノートパソコン等を含む。
ショベルPSにおいてステレオペア画像が取得された場合、ショベルPSの通信装置S7は、通信ネットワークCNを介して管理装置FS及び携帯端末MSに情報を発信する。この情報は、ショベル周辺の地形を計測するために必要な情報を含む。管理装置FS及び携帯端末MSは、ショベル周辺の地形の3次元画像(例えばワイヤフレーム、ポリゴンメッシュ等)を生成し、その三次元画像を付属の表示装置(表示部)に表示する。これにより、ショベルPSの管理者等は、管理装置FS及び携帯端末MSの少なくとも一方を用いてショベル周辺の地形を確認できる。その結果、バケット6からこぼれ落ちた土砂、くぼみに崩れ落ちた土砂、埋め戻された土砂等による地表面の変化を把握でき、施工の進捗状況の効率的な管理を実現できる。
或いは、ショベルPS又は管理装置FSは、ショベル周辺の地形の3次元画像を生成し、生成した3次元画像に関するデータを携帯端末MSに送信し、携帯端末MSの表示装置(表示部)でその3次元画像を表示させるようにしてもよい。
また、上述の実施例では、マシンガイダンス装置50は、ショベルの旋回中にカメラS6が撮像したステレオペア画像に基づいてショベル周辺の地形を計測する。しかしながら、本発明はこの構成に限定されるものではない。例えば、マシンガイダンス装置50は、ショベルの走行中にカメラS6が撮像したステレオペア画像に基づいてショベル周辺の地形を計測してもよく、ショベルの走行中で且つ旋回中にカメラS6が撮像したステレオペア画像に基づいてショベル周辺の地形を計測してもよい。
本願は、2015年8月26日に出願した日本国特許出願2015−167166号に基づく優先権を主張するものであり、この日本国特許出願の全内容を本願に参照により援用する。
1・・・下部走行体 2・・・旋回機構 3・・・上部旋回体 4・・・ブーム 5・・・アーム 6・・・バケット 7・・・ブームシリンダ 8・・・アームシリンダ 9・・・バケットシリンダ 10・・・キャビン 11・・・エンジン 11a・・・オルタネータ 11b・・・スタータ 11c・・・水温センサ 14・・・メインポンプ 14a・・・レギュレータ 14b・・・吐出圧力センサ 14c・・・油温センサ 15・・・パイロットポンプ 17・・・コントロールバルブ 26・・・操作装置 29・・・圧力センサ 30・・・コントローラ 30a・・・一時記憶部 50・・・マシンガイダンス装置 55・・・燃料収容部 55a・・・燃料収容量検出部 70・・・蓄電池 72・・・電装品 75・・・エンジン回転数調整ダイヤル 501・・・傾斜角算出部 503・・・高さ算出部 504・・・比較部 505・・・警報制御部 506・・・ガイダンスデータ出力部 507・・・ステレオペア画像取得部 508・・・地形データ生成部 509・・・座標変換部 510・・・座標修正部 511・・・地形データ表示部 B・・・物体 CN・・・通信ネットワーク FS・・・管理装置 MS・・・携帯端末 S1・・・ブーム角度センサ S2・・・アーム角度センサ S3・・・バケット角度センサ S4・・・機体傾斜センサ S5・・・旋回角速度センサ S6、S6a・・・カメラ S6B・・・後方カメラ S6L・・・左側方カメラ S6R・・・右側方カメラ S61、S61a、S62・・・撮像部 S7・・・通信装置 S8・・・測位装置 D1・・・入力装置 D2・・・音声出力装置 D3・・・表示装置 D3a・・・変換処理部 D4・・・記憶装置 D5・・・ゲートロックレバー D6・・・ゲートロック弁 D7・・・エンジンコントローラユニット

Claims (10)

  1. 走行動作を行う下部走行体と、前記下部走行体に旋回自在に搭載される上部旋回体と、前記上部旋回体に取り付けられ、アタッチメントに含まれるブームと、前記ブームに取り付けられ、前記アタッチメントに含まれるアームとを有するショベルに備えられるショベルの計測装置であって、
    前記下部走行体よりも上方に配置される、周囲の測定対象までの距離情報を取得する装置の出力に基づき、複数の位置にてショベルの周囲の地形を計測する、
    ショベルの計測装置。
  2. 前記複数の位置のうちの第1の位置において前記装置により距離情報の取得ができない領域に対し、前記第1の位置とは異なる第2の位置において、前記装置により、該領域に関する距離情報を取得する、
    請求項1に記載のショベルの計測装置。
  3. 前記第1の位置と前記第2の位置は、ショベルの旋回中又は走行中における前記装置の位置である、
    請求項2に記載のショベルの計測装置。
  4. 前記装置は、ショベルの異なる位置に複数台取り付けられている、
    請求項1乃至3の何れかに記載のショベルの計測装置。
  5. 前記装置は、複数のショベルに取り付けられ、前記複数の位置において、複数の前記周囲の測定対象までの距離情報を取得する、
    請求項1乃至3の何れかに記載のショベルの計測装置。
  6. 前記複数のショベルに取り付けられた前記装置により取得された、複数の前記周囲の測定対象までの距離情報は、それぞれ、管理装置へ送信される、
    請求項5に記載のショベルの計測装置。
  7. 取得された前記周囲の測定対象までの距離情報に基づいてショベルの操作者へ指示を出す、
    請求項1乃至6の何れかに記載のショベルの計測装置。
  8. 取得された前記周囲の測定対象までの距離情報に基づいて未測定箇所を生成する、
    請求項1乃至7の何れかに記載のショベルの計測装置。
  9. 走行動作を行う下部走行体と、
    前記下部走行体に旋回自在に搭載される上部旋回体と、
    前記上部旋回体に取り付けられ、アタッチメントに含まれるブームと、
    前記ブームに取り付けられ、前記アタッチメントに含まれるアームと、
    前記下部走行体よりも上方に配置され、且つ、複数の位置において、周囲の測定対象までの距離情報を取得する装置と、を備え、
    前記装置の出力に基づいてショベルの周囲の地形を計測する、
    ショベル。
  10. 第1のショベルの下部走行体よりも上方に配置された、測定対象までの距離情報を取得する第1の装置により取得された第1の距離情報と、第2のショベルの下部走行体よりも上方に配置された、測定対象までの距離情報を取得する第2の装置により取得された第2の距離情報とに基づいてショベル周辺の地形を計測する、
    ショベルの管理装置。
JP2019142495A 2015-08-26 2019-08-01 ショベル、ショベルの計測装置、及びショベルの管理装置 Pending JP2019214933A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015167166 2015-08-26
JP2015167166 2015-08-26

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017536473A Division JPWO2017033991A1 (ja) 2015-08-26 2016-08-25 ショベルの計測装置

Publications (1)

Publication Number Publication Date
JP2019214933A true JP2019214933A (ja) 2019-12-19

Family

ID=58100306

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017536473A Pending JPWO2017033991A1 (ja) 2015-08-26 2016-08-25 ショベルの計測装置
JP2019142495A Pending JP2019214933A (ja) 2015-08-26 2019-08-01 ショベル、ショベルの計測装置、及びショベルの管理装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017536473A Pending JPWO2017033991A1 (ja) 2015-08-26 2016-08-25 ショベルの計測装置

Country Status (6)

Country Link
US (2) US10679371B2 (ja)
EP (1) EP3343171B1 (ja)
JP (2) JPWO2017033991A1 (ja)
KR (1) KR20180042251A (ja)
CN (2) CN107923745B (ja)
WO (1) WO2017033991A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2019026802A1 (ja) * 2017-07-31 2020-07-27 住友重機械工業株式会社 ショベル
CN110249203B (zh) * 2017-09-01 2022-03-15 株式会社小松制作所 作业机械的测量系统、作业机械以及作业机械的测量方法
JP7080750B2 (ja) * 2018-06-29 2022-06-06 株式会社小松製作所 表示制御システム、遠隔操作システム、表示制御装置、および表示制御方法
JP7204366B2 (ja) 2018-07-31 2023-01-16 株式会社小松製作所 作業機械を制御するためのシステム及び方法
US10755484B1 (en) * 2018-08-17 2020-08-25 Bentley Systems, Incorporated Estimating subsurface feature locations during excavation
JP7301514B2 (ja) * 2018-09-21 2023-07-03 日立建機株式会社 座標変換システム及び作業機械
JPWO2020080538A1 (ja) * 2018-10-19 2021-09-09 住友建機株式会社 ショベル
CN109816778B (zh) 2019-01-25 2023-04-07 北京百度网讯科技有限公司 物料堆三维重建方法、装置、电子设备和计算机可读介质
JP2020143476A (ja) * 2019-03-05 2020-09-10 住友重機械工業株式会社 作業機械用画像取得装置、情報管理システム、情報端末、作業機械用画像取得プログラム
KR20220002941A (ko) * 2019-04-26 2022-01-07 스미토모 겐키 가부시키가이샤 쇼벨
JP2020197044A (ja) * 2019-05-31 2020-12-10 株式会社小松製作所 マップ生成システム及びマップ生成方法
JP7330458B2 (ja) * 2019-07-02 2023-08-22 住友建機株式会社 ショベル及びショベル用の制御装置
JP7165638B2 (ja) * 2019-09-25 2022-11-04 日立建機株式会社 作業機械
JP7423391B2 (ja) * 2020-04-03 2024-01-31 株式会社小松製作所 表示システム、プログラムおよび表示システムの制御方法
EP4159932A4 (en) * 2020-05-25 2023-12-06 Sumitomo Construction Machinery Co., Ltd. EXCAVATOR AND EXCAVATOR SYSTEM

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11211473A (ja) * 1998-01-22 1999-08-06 Komatsu Ltd 地形形状計測装置
JP2002328022A (ja) * 2001-05-02 2002-11-15 Komatsu Ltd 地形形状計測装置およびガイダンス装置
JP2003247805A (ja) * 2002-02-22 2003-09-05 Tech Res & Dev Inst Of Japan Def Agency 体積計測方法及び体積計測プログラム
JP2003329448A (ja) * 2002-05-10 2003-11-19 Komatsu Ltd 現場の3次元情報生成システム
JP2004125452A (ja) * 2002-09-30 2004-04-22 Sumitomo Mitsui Construction Co Ltd 地形計測方法及び装置
JP2008163719A (ja) * 2007-01-05 2008-07-17 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
JP2014215039A (ja) * 2013-04-22 2014-11-17 日立建機株式会社 建設機械

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4222175Y1 (ja) * 1966-06-11 1967-12-19
JPS4943899B1 (ja) 1973-08-21 1974-11-25
JPS60115972A (ja) 1983-11-28 1985-06-22 Fuji Xerox Co Ltd 複写機の現像装置
JPH04222175A (ja) * 1990-12-22 1992-08-12 Reatsukusu:Kk トンネル坑壁画像の記録解析装置
JP3206874B2 (ja) * 1995-10-16 2001-09-10 鹿島建設株式会社 遠隔施工支援用の画像システム
JPH09126743A (ja) * 1995-11-01 1997-05-16 Mitsubishi Heavy Ind Ltd 路面映像取得装置
US5854988A (en) 1996-06-05 1998-12-29 Topcon Laser Systems, Inc. Method for controlling an excavator
JP4193233B2 (ja) * 1998-08-12 2008-12-10 ソニー株式会社 動き判定装置、その方法および画像情報変換装置
JP2000291048A (ja) 1999-04-01 2000-10-17 Tokai Rika Co Ltd パワーショベル
JP4727068B2 (ja) * 2001-05-29 2011-07-20 株式会社トプコン 施工監視システム、施工管理方法
DE10353212A1 (de) * 2003-11-13 2005-06-23 Db Netz Ag Verfahren und Vorrichtung zur Erkennung und Vermessung von Vegetation im Umfeld von Verkehrswegen
CN1237327C (zh) * 2004-04-20 2006-01-18 长安大学 一种识别路面裂缝的系统和方法
JP4943034B2 (ja) 2006-03-23 2012-05-30 株式会社デンソーアイティーラボラトリ ステレオ画像処理装置
JP4321543B2 (ja) * 2006-04-12 2009-08-26 トヨタ自動車株式会社 車両周辺監視装置
US7865285B2 (en) * 2006-12-27 2011-01-04 Caterpillar Inc Machine control system and method
JP4943899B2 (ja) 2007-03-05 2012-05-30 株式会社日立国際電気 画像表示方法及び画像表示プログラム
KR100916638B1 (ko) * 2007-08-02 2009-09-08 인하대학교 산학협력단 구조광을 이용한 토공량 산출 장치 및 방법
US8351684B2 (en) * 2008-02-13 2013-01-08 Caterpillar Inc. Terrain map updating system
JP2010043961A (ja) * 2008-08-13 2010-02-25 Acutelogic Corp 三次元画像計測システム
JP5390813B2 (ja) 2008-09-02 2014-01-15 東急建設株式会社 空間情報表示装置及び支援装置
JP5227139B2 (ja) * 2008-11-12 2013-07-03 株式会社トプコン 建設機械
CN103180522B (zh) * 2010-10-22 2016-01-13 日立建机株式会社 作业机械的周边监视装置
JP5497617B2 (ja) * 2010-11-16 2014-05-21 住友重機械工業株式会社 画像生成装置及び操作支援システム
JP5770486B2 (ja) * 2011-02-21 2015-08-26 株式会社トプコン 全周画像計測装置
JP5202667B2 (ja) * 2011-02-22 2013-06-05 株式会社小松製作所 油圧ショベルの位置誘導システム及びその制御方法
GB2494414A (en) * 2011-09-06 2013-03-13 Land Rover Uk Ltd Terrain visualisation for vehicle using combined colour camera and time of flight (ToF) camera images for augmented display
JP6029306B2 (ja) * 2012-03-29 2016-11-24 住友建機株式会社 作業機械用周辺監視装置
WO2014013910A1 (ja) * 2012-07-19 2014-01-23 住友建機株式会社 ショベル
US9300954B2 (en) 2012-09-21 2016-03-29 Tadano Ltd. Surrounding information-obtaining device for working vehicle
JP6080450B2 (ja) * 2012-09-21 2017-02-15 株式会社タダノ 監視カメラ装置
WO2016089428A1 (en) * 2014-12-03 2016-06-09 Faro Technologies, Inc. Using a two-dimensional scanner to speed registration of three-dimensional scan data
JP6147037B2 (ja) 2013-03-14 2017-06-14 株式会社トプコン 建設機械制御システム
CN104048649B (zh) * 2013-03-15 2016-08-03 南京中观软件技术有限公司 一种多视影像与三维模型的快速配准方法
JP2014185996A (ja) * 2013-03-25 2014-10-02 Toshiba Corp 計測装置
JP6073168B2 (ja) 2013-03-27 2017-02-01 住友建機株式会社 ショベル
JP6386213B2 (ja) 2013-05-16 2018-09-05 住友建機株式会社 ショベル
CN103528571B (zh) * 2013-10-12 2016-04-06 上海新跃仪表厂 单目立体视觉相对位姿测量方法
JP6326237B2 (ja) * 2014-01-31 2018-05-16 株式会社トプコン 測定システム
CN103821126B (zh) * 2014-02-12 2015-11-25 广州市恒盛建设工程有限公司 一种基坑三维变形的监测方法
JP5781668B2 (ja) * 2014-05-30 2015-09-24 株式会社小松製作所 油圧ショベルの表示システム
CN104101450B (zh) * 2014-08-01 2017-03-15 武汉理工光科股份有限公司 地埋式光纤光栅型周界入侵探测器
CN104374376B (zh) * 2014-11-05 2016-06-15 北京大学 一种车载三维测量系统装置及其应用

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11211473A (ja) * 1998-01-22 1999-08-06 Komatsu Ltd 地形形状計測装置
JP2002328022A (ja) * 2001-05-02 2002-11-15 Komatsu Ltd 地形形状計測装置およびガイダンス装置
JP2003247805A (ja) * 2002-02-22 2003-09-05 Tech Res & Dev Inst Of Japan Def Agency 体積計測方法及び体積計測プログラム
JP2003329448A (ja) * 2002-05-10 2003-11-19 Komatsu Ltd 現場の3次元情報生成システム
JP2004125452A (ja) * 2002-09-30 2004-04-22 Sumitomo Mitsui Construction Co Ltd 地形計測方法及び装置
JP2008163719A (ja) * 2007-01-05 2008-07-17 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
JP2014215039A (ja) * 2013-04-22 2014-11-17 日立建機株式会社 建設機械

Also Published As

Publication number Publication date
EP3343171A4 (en) 2018-08-08
CN107923745A (zh) 2018-04-17
WO2017033991A1 (ja) 2017-03-02
CN113463721A (zh) 2021-10-01
US11288827B2 (en) 2022-03-29
US10679371B2 (en) 2020-06-09
EP3343171A1 (en) 2018-07-04
US20180182120A1 (en) 2018-06-28
KR20180042251A (ko) 2018-04-25
CN107923745B (zh) 2021-07-23
JPWO2017033991A1 (ja) 2018-06-14
EP3343171B1 (en) 2024-01-17
US20200273191A1 (en) 2020-08-27

Similar Documents

Publication Publication Date Title
JP2019214933A (ja) ショベル、ショベルの計測装置、及びショベルの管理装置
KR102573390B1 (ko) 쇼벨
JP6672313B2 (ja) ショベル
US11613873B2 (en) Shovel and work support system for construction machine
US9598845B2 (en) Posture computing apparatus for work machine, work machine, and posture computation method for work machine
US20200165799A1 (en) Excavator
JP6598685B2 (ja) ショベル
US9945095B2 (en) Control system of excavating machine and excavating machine
US11414839B2 (en) Display control device and method for generating target line or control line of work machine
WO2020090985A1 (ja) 表示制御システムおよび表示制御方法
JPWO2018181534A1 (ja) ショベル、ショベルの表示装置及びショベルにおける画像の表示方法
JP6639990B2 (ja) ショベル
KR20200091878A (ko) 쇼벨
CN115279974A (zh) 挖土机用施工支援系统
JP2005061024A (ja) 作業機械の位置計測表示システム
KR102492415B1 (ko) 쇼벨, 쇼벨의 표시장치 및 쇼벨의 표시방법
JP2023176800A (ja) ショベル及びショベルの管理システム
JP2019152098A (ja) ショベル

Legal Events

Date Code Title Description
A625 Written request for application examination (by other person)

Free format text: JAPANESE INTERMEDIATE CODE: A625

Effective date: 20190809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210506

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210706

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211104

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220405