JP2020094403A - 建設機械管理システム、建設機械管理プログラム、建設機械管理方法、建設機械および建設機械の外部管理装置 - Google Patents

建設機械管理システム、建設機械管理プログラム、建設機械管理方法、建設機械および建設機械の外部管理装置 Download PDF

Info

Publication number
JP2020094403A
JP2020094403A JP2018232862A JP2018232862A JP2020094403A JP 2020094403 A JP2020094403 A JP 2020094403A JP 2018232862 A JP2018232862 A JP 2018232862A JP 2018232862 A JP2018232862 A JP 2018232862A JP 2020094403 A JP2020094403 A JP 2020094403A
Authority
JP
Japan
Prior art keywords
construction
construction machine
machine
construction site
detection sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018232862A
Other languages
English (en)
Other versions
JP6529058B1 (ja
Inventor
芳直 玉里
Yoshinao TAMASATO
芳直 玉里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
J Think
J Think Corp
Original Assignee
J Think
J Think Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by J Think, J Think Corp filed Critical J Think
Priority to JP2018232862A priority Critical patent/JP6529058B1/ja
Application granted granted Critical
Publication of JP6529058B1 publication Critical patent/JP6529058B1/ja
Priority to CN201980081201.XA priority patent/CN113195838B/zh
Priority to US17/413,842 priority patent/US20220056669A1/en
Priority to PCT/JP2019/047573 priority patent/WO2020121933A1/ja
Publication of JP2020094403A publication Critical patent/JP2020094403A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2004Control mechanisms, e.g. control levers
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • E02F9/265Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0219Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/18Dredgers; Soil-shifting machines mechanically-driven with digging wheels turning round an axis, e.g. bucket-type wheels
    • E02F3/22Component parts
    • E02F3/26Safety or control devices
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36Component parts
    • E02F3/42Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/2054Fleet management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Structural Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Civil Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Operation Control Of Excavators (AREA)

Abstract

【課題】建設機械による施工箇所をその建設機械からみて自律的にモニタすることで、当該モニタを簡便かつ高精度に行うことを可能にする。【解決手段】施工現場エリア1を移動可能な建設機械2に搭載される検出センサ部11と、前記施工現場エリア1に設置された外部指標1aについての前記検出センサ部11での検出結果と、前記建設機械2が有する可動作業具3に付された可動指標3aについての前記検出センサ部11での検出結果とを基に、前記施工現場エリア1での前記可動作業具3による施工箇所の位置情報を認識する位置認識部13aと、を備えて建設機械管理システムを構成する。【選択図】図1

Description

本発明は、建設機械管理システム、建設機械管理プログラム、建設機械管理方法、建設機械および建設機械の外部管理装置に関する。
近年、建設施工現場においては、その施工現場エリアで用いられる建設機械による施工箇所について、電子機器を利用してモニタするといったことが行われている。建設機械による施工箇所を認識できれば、例えば、その認識結果を地形データと照合することにより、施工中の作業管理等が可能となるからである。
従来、建設機械による施工箇所のモニタは、例えば、トータルステーション(Total Station、以下「TS」ともいう。)として知られているレーザ発光装置を施工現場エリアに設置し、そのレーザ発光装置が出射するレーザ光を利用して行われる(例えば、特許文献1参照)。また、その他に、例えば、GPS(Global Positioning System)に代表される全球測位衛星システム(Global Navigation Satellite System、以下「GNSS」ともいう。)を利用して行われることもある(例えば、特許文献2参照)。
特開2002−340556号公報 特表平09−500700号公報
上述した従来技術では、建設機械による施工箇所のモニタが、TSまたはGNSSを利用して行われる。つまり、建設機械からみたら外部システムとなるTSまたはGNSSを利用しつつ、その建設機械についてのモニタが他律的に行われることになる。
しかしながら、外部システムを利用した他律的なモニタでは、以下のような難点が生じ得る。例えば、TSまたはGNSSは総じて高価であり、また利用にあたり専門的な知識を要するため、必ずしも建設機械についてのモニタを簡便に行えるとは言えない。また、外部システムを利用する施工現場エリアの環境や条件等によっては、建設機械に届くはずのレーザ光または衛星電波が遮られ、そのことがモニタ精度に悪影響を及ぼしてしまうおそれがある。
そこで、本発明は、建設機械による施工箇所をその建設機械からみて自律的にモニタすることで、当該モニタを簡便かつ高精度に行うことを可能にする技術を提供することを目的とする。
本発明は、上記目的を達成するために案出されたもので、その一態様は以下のとおりである。
本発明の一態様によれば、
施工現場エリアを移動可能な建設機械に搭載される検出センサ部と、
前記施工現場エリアに設置された外部指標についての前記検出センサ部での検出結果と、前記建設機械が有する可動作業具に付された可動指標についての前記検出センサ部での検出結果とを基に、前記施工現場エリアでの前記可動作業具による施工箇所の位置情報を認識する位置認識部と、
を備える建設機械管理システムが提供される。
本発明によれば、建設機械に搭載される検出センサ部の利用により、その建設機械による施工箇所を自律的にモニタし得るので、当該モニタを簡便かつ高精度に行うことが可能になる。
本発明の基本的な技術思想を説明する図であり、当該技術思想が適用される建設機械管理システムの概略構成例を示す機能ブロック図である。 本発明の第一実施形態において施工現場エリアで用いられる建設機械の一例であるバックホウの概略構成例を模式的に示す説明図である。 本発明の第一実施形態に係る建設機械管理システムで用いられるマーカ図形の二次元パターンの例を示す説明図であり、(a)はマーカ図形の一具体例を示す図、(b)はマーカ図形の他の具体例を示す図である。 本発明の第一実施形態に係る建設機械管理システムの構成例を示すブロック図である。 本発明の第一実施形態に係る建設機械管理方法の処理手順の流れの一例を示すフロー図である。 本発明の第一実施形態で用いられる2カメラ画像による測量技術の概要を示す説明図である。 本発明の第一実施形態で用いられるバケット施工箇所の位置認識モデルの概要を示す説明図である。 本発明の第一実施形態に係る建設機械管理システムが出力する操作ガイダンス情報の例を示す説明図であり、(a)は操作ガイダンス情報の一具体例を示す図、(b)は操作ガイダンス情報の他の具体例を示す図である。 本発明の第二実施形態において施工現場エリアで用いられる建設機械の一例であるスリップフォーム機の基本的な構成例を模式的に示す側面図である。 本発明の第二実施形態においてスリップフォーム機を用いて行うスリップフォーム工法の施工状況を示す説明図である。 本発明の第二実施形態におけるスリップフォーム機を構成する前部切削機の構成例を模式的に示す説明図であり、(a)は正面から見た図、(b)は要部を側面から見た図である。 本発明の第二実施形態におけるスリップフォーム機を構成する後部成型機の構成例を模式的に示す説明図であり、(a)は正面から見た図、(b)は要部を側面から見た図である。 本発明の第二実施形態において施工現場エリアで用いられる建設機械の一例であるスリップフォーム機の概略構成例を模式的に示す斜視図である。 本発明の第二実施形態に係る建設機械管理システムの構成例を示すブロック図である。 本発明の第二実施形態に係る建設機械管理方法の処理手順の流れの一例を示すフロー図である。 本発明の第二実施形態で用いられる測量技術の概要を示す説明図であり、(a)はカメラとマーカ図形の関係を示す図、(b)はカメラ座標系のベクトルを説明する図、(c)は高さを求めるためにモデル化した図、(d)は(c)をOO´の向きに透視した図である。 本発明の第二実施形態に係る建設機械管理システムが出力する操作ガイダンス情報の例を示す説明図である。
以下、本発明の実施形態について図面を参照しながら説明する。
<1.基本的な技術思想の概要>
まず、本発明の基本的な技術思想について、その概要を説明する。
図1は、本発明の基本的な技術思想が適用される建設機械管理システムの概略構成例を示す機能ブロック図である。
(システムの概要)
図例の建設機械管理システムは、建設施工現場の施工現場エリア1で用いられる建設機械2について、その建設機械2が有する可動作業具3による施工箇所をモニタして、そのモニタ結果(すなわち、施工箇所についての認識結果)を取得するように構成されたものである。さらには、建設機械2による施工箇所のモニタ結果を取得したら、そのモニタ結果に基づいて施工中の作業管理等を行い得るように構成されたものである。
ここで、施工現場エリア1とは、建設機械2を用いた施工の対象となる領域のことである。施工とは、建設機械2を用いて行う工事または処理のことをいう。施工の内容(種類)については、建設機械2を用いて行うものであれば、特に限定されることはない。
また、施工現場エリア1については、施工後の状態(例えば工事後の地形)についての設計データに相当する施工計画データが予め用意されているものとする。施工計画データは、施工後状態を特定し得るものであれば、データ形式等が特に限定されることはない。
なお、施工現場エリア1における施工前状態または施工中状態と、施工計画データによって特定される施工後状態とは、例えばその施工現場エリア1内に設定された基準点を利用することで、互いに対応付けられるようになっている。
施工現場エリア1の施工を行う建設機械2は、その施工現場エリア1内の任意位置に移動可能に構成されている。施工現場エリア1内の移動は、自走によるものであってもよいし、他の動力源を利用するものであってもよい。また、建設機械2は、停止状態または移動中に動作させることが可能な可動作業具3を有しており、その可動作業具3を動作させることで、施工現場エリア1に対する施工を行うように構成されている。このような建設機械2において、可動作業具3による施工箇所は、その可動作業具3が実際に被施工物(例えば地面)と接する箇所となる。
このような建設機械2については、代表的な例として、油圧ショベルやブルドーザ等といった土木用途の建設機械が挙げられる。例えば、油圧ショベルであれば、アームの先端に取り付けられたバケット(ショベル)が、可動作業具3に相当することになる。ただし、ここでいう建設機械2は、土木用途に限定されることはなく、可動作業具3を有して移動可能に構成されたものであれば、広義な意味での様々な作業機械が含まれる。例えば、ここでいう建設機械2には、油圧ショベルやブルドーザ等の土木用途機械の他に、トラックやローダ等の運搬機械、クレーン等の荷役機械、基礎工事用機械、せん孔機械、トンネル工事用機械、圧砕機等のコンクリート機械、舗装機械、道路維持用機械等が含まれ、さらには圧雪車や自走型草刈機についても含まれ得る。
(発明者が得た知見)
ところで、建設機械2の可動作業具3による施工箇所のモニタにあたっては、そのモニタを簡便かつ高精度に行えることが好ましい。しかしながら、既述の従来技術によるモニタでは、外部システムを利用して他律的に行うため、必ずしもモニタを簡便かつ高精度に行えるとは限らない。
施工箇所のモニタは、例えば、そのモニタ結果に基づいて施工中の作業管理等を可能にするために行う。よって、モニタによる施工箇所の位置認識は、数mオーダーの精度では足りず、少なくとも数cmオーダーの高精度で行う必要がある。このような高精度でのモニタを行う場合、非常に高価であるTSまたはGNSSを利用すれば対応可能であるが、非常に高価であるが故に必ずしも簡単に導入し得るものではない。しかも、TSまたはGNSSの利用にあたり専門的な知識を要するため、利便性の点でも難がある。つまり、TSまたはGNSSといった外部システムを利用して高精度でモニタを行う場合には、そのモニタを必ずしも簡便に行えるとは言えない。
また、施工現場エリア1については、様々な環境下や条件下等に設定されることが想定される。具体的には、例えば、市街地のようにレーザ光の照射を控えるべき場所に施工現場エリア1が設定されたり、地下空間のように衛星電波が届かない場所に施工現場エリア1が設定されたりすることがあり得る。そのため、外部システムを利用してモニタを行う場合、施工現場エリア1の環境や条件等によってはレーザ光または衛星電波が遮られ、そのことがモニタ精度に悪影響を及ぼしてしまうおそれがある。
これらのことを踏まえた上で鋭意検討を重ねた結果、本願の発明者は、建設機械2に搭載される検出センサ部11の利用により、建設機械2による施工箇所をその建設機械2からみて自律的にモニタすることで、当該モニタを簡便かつ高精度に行うことが可能になるのではないかという着想を得るに至った。つまり、ここで説明する基本的な技術思想は、外部システムを利用した他律的なモニタではなく、建設機械2による施工箇所をその建設機械2が自律的にモニタするという、従来にはない新規な着想に基づいて案出されたものである。
(システム構成例)
具体的には、図1に示すように、建設機械管理システムが以下のような構成を備えている。すなわち、建設機械管理システムは、少なくとも、建設機械に搭載される検出センサ部11と、外部管理装置20との間で情報授受を行う情報通信部12と、検出センサ部11および情報通信部12に接続されたコンピュータ部13と、を備えている。
検出センサ部11は、建設機械2または当該建設機械2が有する可動作業具3の位置、姿勢または方位を検出するために用いられるものである。ここでいう位置とは、施工現場エリア1を三次元座標空間と考えた場合の座標位置である。姿勢とは、水平面に対する傾きの量である。方位とは、移動方向または可動方向の向きである。
このような検出センサ部11としては、例えば、イメージセンサ(カメラ)、傾斜計、加速度センサ、ジャイロセンサ(角加速度センサ)の少なくとも一つ、好ましくはこれらを適宜組み合わせて構成されたものが挙げられる。また、検出センサ部11として、単独計測タイプのGPS装置を複数用いることも考えられる。
情報通信部12は、外部管理装置20との間の通信を確立するためのものである。このような情報通信部12としては、例えば、LTE(Long Term Evolution)回線、Wi−Fi(Wireless Fidelity)、ブルートゥース(登録商標)等といった公知の無線通信技術を利用して、外部管理装置20との通信を確立するものを用いればよい。
情報通信部12の通信相手となる外部管理装置20としては、例えば、建設機械2とは離れて(施工現場エリア1内または施工現場エリア1外の別を問わず)配置されるコンピュータ装置が挙げられる。ただし、これに限定されることはなく、コンピュータ装置と同視できる機能を有していれば、例えば、可搬性を有するタブレット端末を外部管理装置20としてもよい。外部管理装置20が可搬性を有する場合、その外部管理装置20を持つ者は、建設機械2に搭乗した状態においても、その外部管理装置20を利用することが可能となる。
コンピュータ部13は、例えば、いわゆるシングルボードコンピュータ(Single Board Computer、以下「SBC」ともいう。)を用いて構成されたもので、予め設定された所定プログラムを実行することにより、以下に述べる機能を実現するように構成されたものである。すなわち、コンピュータ部13は、コンピュータとしてのハードウエア資源を備えており、所定プログラムを実行することで、そのプログラム(ソフトウエア)とハードウエア資源とが協働して、位置認識部13a、データ取得部13b、差分情報抽出部13c、ガイダンス出力部13d、動作計画生成部13eおよび動作指示部13fとして機能するように構成されている。
位置認識部13aは、施工現場エリア1に設置された外部指標1aについての検出センサ部11での検出結果と、建設機械2が有する可動作業具3に付された可動指標3aについての検出センサ部11での検出結果とを基に、施工現場エリア1での建設機械2の可動作業具3による施工箇所の位置情報を認識する機能である。
外部指標1aとしては、例えば、施工現場エリア1内の基準点に設置された標尺、またはこれに準ずるものを用いる。外部指標1aは、施工現場エリア1に単数が設置されていてもよいし、複数が設置されていてもよい。
外部指標1aを検出する検出センサ部11としては、例えば、外部指標1aの画像を撮像するイメージセンサ(カメラ)を用いる。その場合に、外部指標1aには、画像パターンで識別される二次元のマーカ図形、または、発光パターンで識別される二次元の発光面を有する発光器、若しくは、発光パターンの一例としての点滅パターンで識別される点光源を有する発光器が付設されていると、当該外部指標1aの識別が容易になる点で好ましい。ただし、外部指標1aを検出可能であれば、イメージセンサ以外の検出センサ部11を用いてもよい。
また、可動指標3aは、建設機械2の可動作業具3に予め付設されているものとする。
可動作業具3についての検出は、外部指標1aの場合と同様に、例えば、可動作業具3に関する画像を撮像するイメージセンサ(カメラ)を用いる。その場合に、可動作業具3には、可動指標3aとして、外部指標1aとは異なるパターンの二次元のマーカ図形、または、外部指標1aとは異なるパターンの二次元の発光面を有する発光器、若しくは、外部指標1aとは異なる点滅パターンの点光源を有する発光器が付設されていると、当該可動作業具3についての検出および当該可動指標3aの識別が容易になる点で好ましい。また、可動指標3aの検出は、外部指標1aの場合と同様に、イメージセンサ以外の検出センサ部11を用いて行ってもよい。
そして、位置認識部13aは、外部指標1aについての検出結果と、可動指標3aについての検出結果とを基に、例えば詳細を後述する測量技術を利用しつつ、少なくとも建設機械2の可動作業具3による施工箇所の位置を認識する。これにより、可動作業具3による施工箇所について、施工現場エリア1(三次元座標空間)内の座標位置を認識することができる。
なお、位置認識部13aは、施工箇所の位置に加えて、傾斜計やジャイロセンサ等といった検出センサ部11での検出結果を基に、建設機械2の姿勢または方位を認識するものであってもよい。つまり、位置認識部13aが認識する位置情報には、少なくとも建設機械2の位置に関する情報が含まれており、さらに好ましくは位置に加えて姿勢や方位等の情報が含まれているものとする。
データ取得部13bは、施工現場エリア1についての施工計画データ(設計データ)を取得する機能である。施工計画データの取得手法については、特に限定されることはなく、例えば、コンピュータ部13における記憶領域に施工計画データを予め格納しておくことで取得可能としてもよいし、情報通信部12を通じて外部から取得し得るようにしてもよい。
差分情報抽出部13cは、位置認識部13aでの認識結果を建設機械2の可動作業具3による施工箇所のモニタ結果として得た上で、そのモニタ結果をデータ取得部13bが取得した施工計画データと対比して、施工計画データに対する可動作業具3による施工箇所の差分を差分情報として抽出する機能である。差分情報の抽出手法については、特に限定されることはなく、例えば、公知の演算手法を利用して行えばよい。
ガイダンス出力部13dは、差分情報抽出部13cが抽出した差分情報を基に可動作業具3の操作ガイダンス情報を生成するとともに、生成した操作ガイダンス情報の出力を行う機能である。操作ガイダンス情報は、建設機械2の可動作業具3による施工箇所を施工計画データに合致させるために、当該建設機械2において必要となる操作を案内する情報である。このような操作ガイダンス情報の生成および出力は、建設機械の技術分野でいわゆるマシンガイダンスとして知られている公知技術を利用して行えばよい。なお、操作ガイダンス情報の出力先としては、例えば、建設機械2のオペレータが操作する操作パネル、またはこれに準ずるものが挙げられるが、これに限定されることはなく、情報通信部12を通じて外部管理装置20に出力しても構わない。
動作計画生成部13eは、差分情報抽出部13cが抽出した差分情報を基に、建設機械2における可動作業具3の動作計画情報を生成する機能である。動作計画情報は、建設機械2の可動作業具3による施工箇所を施工計画データに合致させるために、当該可動作業具3をどのように動作させればよいかを特定する情報である。つまり、動作計画情報は、建設機械2の動作の自動制御(運転の自動化)を実現するために必要となる情報である。なお、ここでいう自動制御は、建設機械の技術分野でいわゆるマシンコントロールとして知られている公知技術を利用して実現したものであればよい。
動作指示部13fは、動作計画生成部13eが生成した動作計画情報を基に、建設機械2が有する駆動制御部4に対する動作指示を与える機能である。動作指示部13fが動作指示を与えると、建設機械2では、その動作指示に従いつつ、駆動制御部4が可動作業具3を動作させることになる。なお、建設機械2への動作指示は、上述した自動制御の一端を担うものであり、いわゆるマシンコントロールとして知られている公知技術を利用して実現したものであればよい。
以上に説明した各部13a〜13fとしての機能は、コンピュータ部13が所定プログラムを実行することによって実現される。つまり、各部(各手段)13a〜13fとしての機能を実現する所定プログラムは、本発明に係る「建設機械管理プログラム」の一実施形態に相当する。その場合に、各機能を実現する所定プログラムは、コンピュータ部13にインストール可能なものであれば、当該コンピュータ部13で読み取り可能な記録媒体(例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等)に格納されて提供されるものであってもよいし、インターネットや専用回線等のネットワークを通じて外部から提供されるものであってもよい。
なお、ここでは、コンピュータ部13が各部13a〜13fとしての機能の全てを備えている場合を例に挙げているが、必ずしもこれに限定されることはなく、コンピュータ部13は少なくとも位置認識部13aとしての機能を備えたものであればよい。位置認識部13aを除く他の各部13b〜13fとしての機能については、コンピュータ部13ではなく外部管理装置20が備えていてもよいし、コンピュータ部13と外部管理装置20とが重複して備えていてもよいし、コンピュータ部13と外部管理装置20とのいずれも備えていなくてもよい。
(処理動作例)
続いて、上述した構成の建設機械管理システムにおける処理動作を説明する。ここで例に挙げる処理動作は、建設機械管理方法の一具体例に相当する。
施工現場エリア1において建設機械2を用いて施工を行う場合には、まず、その建設機械2の移動後の位置において、建設機械2に搭載される検出センサ部11により、施工現場エリア1内の基準点に設置された外部指標1aについての検出を行う。例えば、検出センサ部11としてイメージセンサを用いる場合であれば、外部指標1aの画像を撮像できるまで、その外部指標1aについての検出を継続的に行う。複数の外部指標1aが設置されている場合には、少なくとも一つの外部指標1aを検出する。
また、検出センサ部11は、建設機械2の移動後の位置において、外部指標1aの検出に加えて、可動指標3aについての検出も行う。
そして、検出センサ部11が外部指標1aおよび可動指標3aを検出したら、これらの検出結果を基に、例えば詳細を後述する測量技術を利用しつつ、建設機械2の可動作業具3による施工箇所の位置を認識する。これにより、位置認識部13aは、可動作業具3による施工箇所について、施工現場エリア1内における位置(三次元座標値)を認識することになる。このとき、位置認識部13aは、必要に応じて、可動作業具3の姿勢または方位についても認識する。
このようにして得た認識結果によれば、建設機械2が有する可動作業具3による施工箇所について、基準点を基準とした場合の施工現場エリア1内の絶対的な位置(必要に応じて姿勢または方位を含む。)を特定することが可能となる。つまり、建設機械2に搭載される検出センサ部11を利用しつつ、外部指標1aおよび可動指標3aの検出結果に基づく位置認識部13aでの認識処理を経ることで、TSまたはGNSSといった外部システムを要することなく、建設機械2による施工箇所を、その建設機械2からみて自律的にモニタし得るようになる。
位置認識部13aでの認識処理を経て、建設機械2の可動作業具3による施工箇所のモニタ結果を得たら、差分情報抽出部13cが、そのモニタ結果をデータ取得部13bが取得した施工計画データと対比して、当該施工計画データとの差分情報を抽出する。差分情報抽出部13cが差分情報を抽出したら、以下のようなマシンガイダンス処理動作またはマシンコントロール処理動作を行うことが可能となる。
マシンガイダンス処理動作を行う場合には、差分情報抽出部13cが抽出した差分情報を基に、ガイダンス出力部13dが操作ガイダンス情報を生成する。そして、生成した操作ガイダンス情報を、例えば、建設機械2の操作パネルまたはこれに準ずるもので出力する。これにより、建設機械2のオペレータは、操作パネルの出力内容を参照することで、施工計画データによる施工内容、当該建設機械2の姿勢や動き等を把握しつつ、当該建設機械2(すなわち自機)の操作を行うことができる。したがって、オペレータにとっては、建設機械2の可動作業具3による施工箇所を施工計画データに合致させる上で、非常に利便性に優れたものとなる。なお、操作ガイダンス情報の出力先は、情報通信部12を介して接続された外部管理装置20であってもよい。その場合には、例えば、建設機械2を実際に操作するオペレータが非熟練者であっても、建設機械2とは離れて配置される外部管理装置20の出力内容を参照した熟練者が、建設機械2による施工の状況を把握しつつ、非熟練者に対して操作の助言を行うといったことが実現可能となる。
マシンコントロール処理動作を行う場合には、差分情報抽出部13cが抽出した差分情報を基に、その差分情報による差分を低減させるように、動作計画生成部13eが動作計画情報を生成する。そして、動作計画生成部13eが生成した動作計画情報を基に、動作指示部13fが建設機械2の駆動制御部4に対して動作指示を与える。これにより、建設機械2は、可動作業具3による施工箇所を施工計画データに合致させるように、当該建設機械2(すなわち自機)の動作や姿勢等が自動運転されることになる。なお、建設機械2の自動運転を行う場合、差分情報抽出部13cが抽出した差分情報や動作計画生成部13eが生成した動作計画情報等を、情報通信部12を介して接続された外部管理装置20に出力し、その外部管理装置20から建設機械2の動作や姿勢等を補助的に制御し得るようにしてもよい。このようにすれば、例えば、外部管理装置20を操作する熟練者が、建設機械2による施工の状況を把握しつつ、当該建設機械2に対する制御内容を適宜修正することが可能となるので、当該建設機械2の自動運転についての精度や信頼性等の向上が図れるようになる。
(作用効果)
以上に説明した建設機械管理システムにおいては、建設機械2に搭載される検出センサ部11を利用しつつ、外部指標1aおよび可動指標3aの検出結果を組み合わせ、これらの検出結果に基づく位置認識部13aでの認識処理を経ることで、建設機械2の可動作業具3による施工箇所のモニタ結果を得る。したがって、TSまたはGNSSといった外部システムを要することなく、建設機械2の可動作業具3による施工箇所を自律的にモニタすることが可能になる。
検出センサ部11を利用した自律的なモニタであれば、非常に高価であるTSまたはGNSSを利用する場合に比べると、簡単に導入し得るようになる。検出センサ部11として、イメージセンサ(カメラ)や傾斜計等といった普及品の使用が可能だからである。しかも、TSまたはGNSSのように専門的な知識を必要としないため、利便性の点でも優れている。つまり、検出センサ部11を利用した自律的なモニタであれば、TSまたはGNSSといった外部システムを利用する場合に比べて、そのモニタを簡便に行えるようになる。
また、検出センサ部11を利用した自律的なモニタであれば、外部からのレーザ光または衛星電波が必須とはならないので、様々な環境下や条件下等に施工現場エリア1が設定されることが想定される場合であっても、これに柔軟かつ適切に対応することが可能となる。例えば、市街地のようにレーザ光の照射を控えるべき場所に施工現場エリア1が設定されたり、地下空間のように衛星電波が届かない場所に施工現場エリア1が設定されたりしても、建設機械2の可動作業具3による施工箇所について柔軟かつ適切にモニタすることができ、そのモニタ精度に悪影響が及んでしまうこともない。
また、検出センサ部11を利用した自律的なモニタを行う場合であっても、その検出センサ部11およびその検出対象となる外部指標1a等の設定、並びに、位置認識部13aでの認識処理アルゴリズムの設定によっては、そのモニタを数cmオーダーの高精度で行うことが可能である。つまり、検出センサ部11を利用した自律的なモニタによっても、建設機械2の可動作業具3による施工箇所について、高精度での位置や姿勢等の認識を行うことができる。
以上のように、本実施形態の技術的思想によれば、建設機械2に搭載される検出センサ部11の利用により、その建設機械2の可動作業具3による施工箇所を自律的にモニタし得るので、当該モニタを簡便かつ高精度に行うことが可能になる。
<2.第一実施形態>
次に、上述の技術思想が具現化された実施形態について、具体例を挙げて説明する。
まず、建設機械2が油圧ショベルの一種であるバックホウである場合を、第一実施形態として説明する。
(建設機械)
図2は、第一実施形態において施工現場エリアで用いられる建設機械の一例であるバックホウの概略構成例を模式的に示す説明図である。
建設機械の一例であるバックホウ2は、油圧ショベルと称される建設機械のうち、バケット(ショベル)をオペレータ側向きに取り付けたものであり、主として施工現場エリア1の掘削用途に用いられる。さらに詳しくは、バックホウ2は、走行装置としての右無限軌道2aおよび左無限軌道2bを有しており、施工現場エリア1内を移動可能に構成されている。また、バックホウ2は、走行装置に支持される旋回可能な機台2cを有しており、その機台2cにオペレータが搭乗して操作(操縦)を行うように構成されている。
バックホウ2の機台2cには、可動作業具3としての第一アーム3b、第二アーム3cおよびバケット3dが取り付けられており、これらを動作させることで地表面に対して掘削等の施工を行うようになっている。つまり、バケット3dの剣先位置が、そのバケット3dによる施工箇所に相当する。
また、バックホウ2には、検出センサ部11として、画像を撮像するイメージセンサ(カメラ)11a,11bと、二軸方向の傾き(具体的には、左右方向および前後方向の傾き)を検出可能な傾斜センサ11cと、が搭載されている。イメージセンサ11a,11bは、バックホウ2における優れた視野の箇所(例えば、機台2cの天井面または前面等)に同方向を向いて並設された複数(例えば、二つ)のカメラ11a,11bによって構成されている。
さらに、バックホウ2が有する可動作業具3には、バケット3dの向き(傾き)を検出可能な傾斜センサ11dが取り付けられている。
なお、カメラ11a,11bおよび傾斜センサ11c,11dは、いずれも、公知のものを用いればよい。また、バックホウ2には、これらに加えて、さらに他の検出センサ部11が設けられていてもよい。
このようなバックホウ2が用いられる施工現場エリア1には、基準点となる位置(予め座標が特定されている位置)に、外部指標1aとしての標尺またはこれに準ずるものが立設されている。そして、外部指標1aには、画像パターンで識別される二次元のマーカ図形1bが付設されている。なお、外部指標1aには、マーカ図形1bに代えて、発光パターンで識別される二次元の発光面を有する発光器、または、発光パターンの一例としての点滅パターンで識別される点光源を有する発光器が付設されていてもよい。外部指標1aにおけるマーカ図形1bは、カメラ11a,11bによる撮像対象となるものである。
施工現場エリア1に複数の基準点が設定されている場合には、それぞれの基準点に外部指標1aおよびマーカ図形1bが配置されていてもよい。つまり、外部指標1aおよびマーカ図形1bは、施工現場エリア1内の異なる位置のそれぞれに個別に設置されていてもよい。
また、バックホウ2が有する可動作業具3には、例えば第二アーム3cにおけるバケット3dの近傍箇所に、可動指標としてのマーカ図形3aが付設されている。なお、マーカ図形3aに代えて、発光パターンで識別される二次元の発光面を有する発光器、または、発光パターンの一例としての点滅パターンで識別される点光源を有する発光器が付設されていてもよい。可動指標としてのマーカ図形3aは、外部指標1aにおけるマーカ図形1bと同様に、カメラ11a,11bによる撮像対象となるものである。
ただし、可動指標としてのマーカ図形3aと、外部指標1aにおけるマーカ図形1bとは、それぞれが互いに異なる二次元パターンによって構成されていることが好ましい。なお、発光器の場合は、発光パターンまたは点滅パターンが互いに異なることが好ましい。
図3は、本実施形態に係る建設機械管理システムで用いられるマーカ図形の二次元パターンの例を示す説明図である。
例えば、図3(a)に示す二次元パターンをマーカ図形1bとして用いる場合には、図3(b)に示す二次元パターンをマーカ図形3aとして用いることが考えられる。このようにすれば、各マーカ図形1b,3aについての検出を、同一のイメージセンサ(カメラ)11a,11bを用いて行う場合であっても、それぞれの識別を容易かつ的確に行えるようになる。
(システム構成例)
次に、第一実施形態における建設機械管理システムの構成例を説明する。
図4は、第一実施形態に係る建設機械管理システムの構成例を示すブロック図である。
第一実施形態に係る建設機械管理システムは、バックホウ2に搭載される検出センサ部11としてのカメラ11a,11bおよび傾斜センサ11c,11dと、これらに接続されたSBC13と、を備えている。SBC13は、既述のコンピュータ部13として機能するものである。
SBC13には、情報通信部12としてのデータ通信端末12を介して、外部管理装置20が接続されている。また、SBC13には、Wi−Fi端末31を介して、タブレット端末32が接続されている。タブレット端末32は、バックホウ2のオペレータが利用するもので、当該バックホウ2の操作パネルに準ずるものに相当する。なお、バックホウ2の操作パネルが画像を表示する機能を有していれば、タブレット端末32は省略しても構わない。
さらに、SBC13には、バックホウ2が有する駆動制御部4としての機構制御部4aおよび油圧制御部4bが接続されている。機構制御部4aは、右無限軌道2aの前後進、左無限軌道2bの前後進、機台2cの旋回等をコントロールするものである。油圧制御部4bは、可動作業具3を構成する第一アーム3b、第二アーム3cおよびバケット3dの動作をコントロールするものである。
なお、SBC13と外部との接続は、例えばUSB(Universal Serial Bus)またはI2C(Inter-Integrated Circuit)を利用して行うことが考えられるが、これに限定されることはなく、他の公知の通信方式を利用して行うようにしても構わない。
(処理動作例)
次に、上述した構成の建設機械管理システムにおける処理動作例、すなわち第一実施形態における建設機械管理方法を説明する。
図5は、第一実施形態に係る建設機械管理方法の処理手順の流れの一例を示すフロー図である。
上述した構成の建設機械管理システムでは、バックホウ2による施工箇所のモニタにあたり、まず、施工現場エリア1の基準点に設置された外部指標1aについてのマーカ認識を行う(ステップ101、以下ステップを「S」と略す。)。具体的には、外部指標1aに付設されたマーカ図形1bをカメラ11a,11bで撮像して、そのマーカ図形1bについての撮像画像を得る。このときの撮像は、複数(例えば、二つ)のカメラ11a,11bを用いることから、施工現場エリア1に配置されたいずれか一つのマーカ図形1bについて行えば、後述する測量技術を利用した位置認識を行うことができる。施工現場エリア1に複数のマーカ図形1bが配置されていれば、ある一つのマーカ図形1bとバックホウ2との間に遮蔽物が存在していても、他のマーカ図形1bについての撮像画像を得ることが可能となるので、外部指標1aについてのマーカ認識に支障を来してしまうことがない。
また、マーカ認識は、外部指標1aのマーカ図形1bのみならず、バックホウ2の可動作業具3に付設された可動指標としてのマーカ図形3aについても行う(S101)。具体的には、可動作業具3に付設されたマーカ図形3aをカメラ11a,11bで撮像して、そのマーカ図形3aについての撮像画像を得る。このとき、各マーカ図形1b,3aについての撮像を、同一のカメラ11a,11bを用いて行えば、検出センサ部11の構成が複雑化してしまうのを抑制することができる。
さらに、建設機械管理システムでは、傾斜センサ11cがバックホウ2自体についての傾斜認識を行うとともに、傾斜センサ11dが可動作業具3のバケット3dについての傾斜認識を行う(S102)。
マーカ認識および傾斜認識を行うと、建設機械管理システムでは、続いて、SBC13における位置認識部13aとしての機能が、バックホウ2のバケット3dによる施工箇所についての位置判定(位置認識)を行う(S103)。
位置判定に際して、位置認識部13aは、第一認識処理と、第二認識処理と、を行う。まず、第一認識処理として、外部指標1aのマーカ図形1bについての撮像結果を基に、施工現場エリア1におけるバックホウ2の位置情報を認識する。具体的には、一方のカメラ11aで得た撮像結果と、他方のカメラ11bで得た撮像結果と、カメラ11a,11b同士の位置関係とを基に、以下に説明する2カメラ画像による測量技術を利用して、マーカ図形1bとカメラ11a,11bとの位置関係を認識する。
図6は、第一実施形態で用いられる2カメラ画像による測量技術の概要を示す説明図である。
図中において、A、Bは各カメラ11a,11bの位置を、またTは測量対象(例えば、マーカ図形1b)の位置を、AA´、BB´は各カメラ11a,11bの光軸を、それぞれ表している。また、QはABの中点を、Q´はA´B´の中点を、それぞれ表している。したがって、AQ=BQ、A´Q´=B´Q´、AA´‖QQ´‖、BB´の関係が成り立つ。なお、A´、O、Q´、B´の各点はQQ´に垂直な面上の仮想点であり、A´およびB´は各カメラ11a,11bで得られる撮像画像の中心点(原点)に相当することになる。
ここで、例えば、点Iと点Jの実距離をIJと表記し、点Iと点Jの画像上の画素距離をIJpと表記し、被写体の大きさと被写体の画素距離とから被写体までの距離を求めるための予め測定可能なカメラ11a,11bの特性値をkとする場合を考える。その場合、以下に示す関係式が成り立つ。
以上の関係式を基にすれば、カメラ11a,11bについてのA、Bの位置関係と、それぞれによる撮像画像におけるA´、O、Q´、B´の各点の位置関係とから、測量対象との間の距離QT、光軸面上の測量対象までの距離QO、および、光軸面から測量対象までの高さ距離OTを求めることが可能となる。また、傾斜センサ11cによる線分QOの水平面からの仰角の検出結果から、点Tから点Qへの距離と仰角を求めることが可能である。また、例えば二つのマーカ図形1bまでの距離と仰角を測定することで、点Qの絶対座標を求めることも可能である。
つまり、位置認識部13aは、以上に説明した2カメラ画像による測量技術を利用しつつ、バックホウ2の位置を特定する上で基準となる当該バックホウ2の所定部分(例えば、各カメラ11a,11bの設置点の中点である点Q)点について、マーカ図形1b(すなわち、施工現場エリア1内の基準点)に対する三次元座標位置を算出して認識する。このようにして認識した三次元座標位置は、施工現場エリア1におけるバックホウ2の所定部分の絶対位置に相当する。
このとき、位置認識部13aは、マーカ図形1bの撮像結果を基に外部指標1aが設置された基準点の位置を特定することで、施工現場エリア1内におけるバックホウ2の方位(すなわち、機台2cが向いている方向)を認識することができる。さらに、位置認識部13aは、傾斜センサ11cによる検出結果を基に、バックホウ2自体の姿勢(すなわち、施工現場エリア1内での傾きの状態)についても認識することができる。
位置判定に際して、上述した第一認識処理を行うと、位置認識部13aは、続いて、第二認識処理を行う。第二認識処理では、可動指標としてのマーカ図形3aについての撮像結果を基に、バケット3dによる施工箇所の位置情報を認識する。具体的には、一方のカメラ11aで得た撮像結果と、他方のカメラ11bで得た撮像結果と、マーカ図形3aとバケット3dとの位置関係と、さらにはバケット3dについての傾斜センサ11dでの検出結果とを基に、上述した2カメラ画像による測量技術を利用しつつ、マーカ図形3aとカメラ11a,11bとの位置関係を認識した上で、さらにマーカ図形3aとバケット3dによる施工箇所との位置関係を認識する。
図7は、第一実施形態で用いられるバケット施工箇所の位置認識モデルの概要を示す説明図である。
図中において、Sは第一アーム3bのサイズ、Rは第二アーム3cのサイズ、Pはバケット3dのサイズ、R,Rは第二アーム3cにおけるマーカ図形3aの位置を、それぞれ表しており、いずれもバックホウ2の利用時点で既知の値である。したがって、上述した2カメラ画像による測量技術を利用しつつ、カメラ11a,11bのAB光軸面上の点Qからマーカ図形3aまでの水平距離Mおよび垂直距離Hを認識した上で、傾斜センサ11dによる検出結果を基にバケット3dの回転角(傾き)がわかれば、点Q(すなわち、バックホウ2の位置を特定する上で基準となる当該バックホウ2の所定部分)に対するバケット3dの剣先位置の三次元座標位置を算出して認識することができる。バケット3dの剣先位置は、当該バケット3dによる施工箇所の位置に相当する。つまり、このようにして認識した三次元座標位置は、バケット3dによる施工箇所についてのバックホウ2の所定部分に対する相対位置に相当することになる。
このとき、位置認識部13aは、第一認識処理でのバックホウ2の姿勢等についての認識結果を反映させることで、可動作業具3の姿勢または方位についても認識する。これにより、位置認識部13aは、例えばバックホウ2に傾き等が生じた状態であっても、そのバックホウ2におけるバケット3dの剣先位置を正しく認識することができる。
このようにして得た第一認識処理での絶対位置の認識結果と第二認識処理での相対位置の認識結果とを組み合わせることで、位置認識部13aは、バックホウ2のバケット3dによる施工箇所について、基準点を基準とした場合の施工現場エリア1内の絶対的な位置のモニタ結果を得ることが可能となる。
その後、図5に示すように、建設機械管理システムでは、SBC13における差分情報抽出部13cとしての機能が、施工現場エリア1の施工計画データに対するバックホウ2の姿勢認識を行う(S104)。具体的には、バックホウ2のバケット3dによる施工箇所についてのモニタ結果を、施工現場エリア1の施工計画データにおける該当位置の座標値と対比して、それぞれの間の差分情報を抽出する。
差分情報を抽出したら、建設機械管理システムでは、SBC13におけるガイダンス出力部13dとしての機能が、マシンガイダンス処理動作を行って操作ガイダンス情報を出力することで、バックホウ2のオペレータに対して当該バックホウ2の姿勢表示を行う(S105)。このとき、操作ガイダンス情報の出力は、外部管理装置20で行うようにしてもよい。つまり、外部管理装置20を扱うセンター熟練者に対して、バックホウ2の姿勢表示を行うようにしてもよい(S106)。
操作ガイダンス情報の出力は、例えば、以下のような態様で行う。
図8は、第一実施形態に係る建設機械管理システムが出力する操作ガイダンス情報の例を示す説明図である。
操作ガイダンス情報の出力は、例えば、図8(a)に示すような表示画面41によって行うことが考えられる。図例の表示画面41は、施工計画データに基づいて三次元形状がワイヤーフレーム形式で描画された施工面41aに対して、バックホウ2のバケット3dを表す画像41bが、抽出された差分情報が反映された位置に表示されて構成されている。表示画面41中には、バケット3dの現在位置を施工面41aに導くためのガイド線(誘導曲線)41cが表示されていてもよい。さらに、表示画面41中には、関連の数値(例えば、座標値)が表示されていてもよい。
また、操作ガイダンス情報を出力は、必ずしも三次元形式の表示画面41による必要はなく、例えば、図8(b)に示すような二次元形式の表示画面42によるものであってもよいし、必要に応じて三次元形式と二次元形式を切り換え可能なものであってもよい。
このような表示画面41,42によって操作ガイダンス情報の出力を行えば、オペレータにとっては、バックホウ2のバケット3dによる施工箇所を施工計画データに合致させる上で、非常に利便性に優れたものとなる。また、操作ガイダンス情報の出力を外部管理装置20で行うようにすれば、例えば、バックホウ2を実際に操作するオペレータが非熟練者であっても、遠隔箇所にいるセンター熟練者が、バックホウ2による施工の状況を把握しつつ、非熟練者に対して操作の助言を行うといったことが実現可能となる。
また、建設機械管理システムでは、上述したマシンガイダンス処理動作とは別に、またはマシンガイダンス処理動作に加えて、SBC13における動作計画生成部13eおよび動作指示部13fとしての機能が、マシンコントロール処理動作を行うものであってもよい。具体的には、図5に示すように、まず、動作計画生成部13eが、動作計画情報としてバケット3dを施工面に移動させる移動曲線を生成する処理(すなわち、図中の姿勢制御)を行うとともに(S107)、その移動を行うための動作を、第一アーム3bの油圧動作、第二アーム3cの油圧動作、バケット3dの油圧動作、右無限軌道2aまたは左無限軌道2bの前後進動作、機台2cの旋回動作の各シーケンスで構成する処理(すなわち、図中の制御生成)を行う(S108)。そして、動作指示部13fが、各シーケンスによる動作指示を、機構制御部4aおよび油圧制御部4bに与える処理(すなわち、図中の制御指示)を行う(S109)。この動作指示を受けて、機構制御部4aが必要に応じて右無限軌道2a、左無限軌道2bまたは機台2cを動作させるとともに(S110)、油圧制御部4bが必要に応じて第一アーム3b、第二アーム3cまたはバケット3dを動作させることで(S111)、バックホウ2のバケット3dを所定位置に導く。
このようなマシンコントロール処理動作を行うことで、施工面に沿ってバケット3dが動くように、バックホウ2の位置調整を自動的に行うことが可能となる。つまり、バケット3dによる施工箇所を施工計画データに合致させるように、バックホウ2の動作や姿勢等が自動運転されることになる。
なお、マシンコントロール処理動作を行う場合において、ここでは姿勢制御(S107)、制御生成(S108)および制御指示(S109)をSBC13で行っているが、これらの処理をSBC13に比べて高い処理能力を有する外部管理装置20で行うようにしても構わない。
また、姿勢制御(S107)で生成した動作計画情報(移動曲線等)については、外部管理装置20で出力し、その外部管理装置20での制御監視に供するようにしてもよい(S112)。このようにすれば、例えば、外部管理装置20からバックホウ2の動作や姿勢等を補助的に制御し得るようになる。したがって、遠隔箇所にいるセンター熟練者が、バックホウ2による施工の状況を把握しつつ、当該バックホウ2に対する制御内容を適宜修正することが可能となるので、当該バックホウ2の自動運転についての精度や信頼性等の向上が図れるようになる。
(作用効果)
以上に説明した第一実施形態によれば、バックホウ2に搭載される検出センサ部11の利用により、そのバックホウ2のバケット3dによる施工箇所を自律的にモニタし得るので、当該モニタを簡便かつ高精度に行うことが可能になる。
また、第一実施形態によれば、バケット3dによる施工箇所についてのモニタ結果を、施工現場エリア1の施工計画データと対比して、これらの間の差分を差分情報として抽出する。したがって、抽出した差分情報を基にマシンガイダンス処理動作またはマシンコントロール処理動作を行うことが可能となり、バックホウ2が自律的に得たモニタ結果を有効に活用する上で非常に好適なものとなる。
また、第一実施形態で説明したように、自律的なモニタ結果に基づいて、マシンガイダンス処理動作またはマシンコントロール処理動作を行うようにすれば、バックホウ2のオペレータにとって、非常に利便性に優れたものとなる。しかも、これらの処理動作が自律的なモニタ結果(すなわち、簡便かつ高精度に得られるモニタ結果)に基づいて行われるので、その処理動作に対する信頼性等も担保し得るようになる。
また、第一実施形態で説明したように、外部管理装置20との間で、差分情報または当該差分情報からの導出情報である動作計画情報等を授受すれば、遠隔箇所にいるセンター熟練者による助言や補助制御等が可能となる。したがって、オペレータやセンター熟練者等にとって非常に利便性に優れたものとなり、しかもバックホウ2による施工の精度、効率、信頼性等についても非常に優れたものとすることができる。
また、第一実施形態では、バックホウ2には検出センサ部11としてイメージセンサ(カメラ)11a,11bが搭載されており、そのイメージセンサ11a,11bで得た画像に対する認識処理を行うことで、バックホウ2の絶対位置およびバケット3dの相対位置の認識を行う。このように、カメラ11a,11bを用いて位置認識を行えば、非常に高価であるTSまたはGNSSを利用する場合に比べて簡単に導入し得るようになり、またTSまたはGNSSのように専門的な知識を必要としないため利便性の点でも優れており、結果としてシステム構築を簡便に行えるようになる。しかも、カメラ11a,11bで得た画像を解析して位置認識を行うので、その解析アルゴリズムの設定次第で、必要十分な位置精度(例えば、数cmオーダーの高精度)での位置認識を行うことが可能である。
また、第一実施形態では、外部指標1aにおけるマーカ図形1bについての検出と、第二アーム3cにおける可動指標としてのマーカ図形3aについての検出とを、バックホウ2に搭載された同一のイメージセンサ(カメラ)11a,11bを用いて行う。そのため、バックホウ2の絶対位置およびバケット3dの相対位置の認識にあたり、マーカ図形1bとマーカ図形3aとの検出が必要となる場合であっても、それぞれに対応するイメージセンサ(カメラ)を個別に設ける必要がなく、センサ構成が複雑化してしまうのを抑制することができる。このことは、センサ導入コストの抑制や画像処理のための処理負荷軽減等にも繋がるため、システム構築を簡便に行えるようにする上でも好適である。
また、第一実施形態では、イメージセンサが同方向を向いて並設された複数(例えば、二つ)のカメラ11a,11bによって構成されている。つまり、一つのマーカ図形1b,3aについての検出結果として、複数(例えば、二つ)の撮像画像が得られる。したがって、例えば2カメラ画像による測量技術を利用することが可能となり、検出対象となるマーカ図形1b,3aが単数の場合であっても、高精度での位置認識を行うことが可能となる。
また、第一実施形態では、外部指標1aに二次元パターンのマーカ図形1b(または発光器)が付設されている。そのため、外部指標1aについての検出にイメージセンサ(カメラ)11a,11bを用いる場合において、パターン認識技術を利用し得るようになるので、撮像画像に含まれるマーカ図形1bの識別および抽出を容易かつ的確に行うことができる。
さらに、第一実施形態では、バックホウ2の第二アーム3cに可動指標としてのマーカ図形3a(または発光器)が付設されているので、外部指標1aにおけるマーカ図形1bの場合と同様に、マーカ図形3aの識別および抽出を容易かつ的確に行うことができる。しかも、マーカ図形1bとは異なるパターンのマーカ図形3aとすれば、これらを混同してしまうこともない。
<3.第二実施形態>
次に、建設機械2が、いわゆるスリップフォーム工法で用いられるスリップフォーム機である場合を、第二実施形態として説明する。なお、ここでは、主として第一実施形態との相違点について説明し、第一実施形態の場合と同様の内容については説明を省略する。
(建設機械)
図9は、第二実施形態において施工現場エリアで用いられる建設機械の一例であるスリップフォーム機の基本的な構成例を模式的に示す側面図である。
建設機械の一例であるスリップフォーム機2は、少なくとも、進行方向の前方側に配される前部切削機(以下、単に「切削機」ともいう。)2dと、進行方向の後方側に配される後部成型機(以下、単に「成型機」ともいう。)2eと、を備えて構成されている。切削機2dと成型機2eとは、互いに連結されて一体で移動するようになっているが、それぞれが別々の機械として移動するように構成されていてもよい。
ここで、スリップフォーム機2を用いて行うスリップフォーム工法について簡単に説明する。
図10は、スリップフォーム機を用いて行うスリップフォーム工法の施工状況を示す説明図である。
スリップフォーム工法による施工にあたっては、まず、切削機2dを用いて溝を掘削する掘削工程を行う。掘削溝を形成したら、続いて、その掘削溝の溝内に成型機2eが有する鋼製型枠(モールド)を配置する。そして、モールド内に生コンクリートを投入し、その内部で生コンクリートを所定形状に締固め、成型する成型工程を行う。これらの工程は、切削機2dおよび成型機2eを移動させながら行う。
このように、スリップフォーム工法では、自走機能を持つスリップフォーム機を用いて、同一断面のコンクリート構造物(例えばU字溝)を連続的に打設していくのである。
なお、コンクリート構造物は、内部に鉄筋が敷設されたものであってもよい。その場合には、切削機2dと成型機2eとを離して配置し、切削機2dと成型機2eとの間で鉄筋の敷設を行うようにすればよい。
このようなスリップフォーム工法による施工を行うために、スリップフォーム機2における切削機2dおよび成型機2eは、それぞれが以下に述べるように構成されている。
図11は、第二実施形態におけるスリップフォーム機を構成する前部切削機の構成例を模式的に示す説明図である。
図11(a)に示すように、切削機2dは、無限軌道(クローラ)やタイヤ等の走行装置2fと、その走行装置2fに支持される車体部2gとを有し、施工現場エリア内を移動可能に構成されている。車体部2gには、油圧で動作するアクチュエータ2hを介して、可動作業具3としての上部筐体3eおよび掘削ドラム3fが取り付けられている。掘削ドラム3fは、上部筐体3eに回転可能に支持されているとともに、その外周面に複数のカッタービット3gが設けられている。
このような構成の切削機2dでは、アクチュエータ2hが上部筐体3eを動かし、これにより掘削ドラム3fの位置および姿勢を制御するようになっている。また、図11(b)に示すように、掘削ドラム3fを回転させることで、地表面に対して掘削等の施工を行うようになっている。なお、掘削ドラム3fの回転によって生じる掘削物(土、砂、石、アスファルト片等)は、前方側に延びる搬送コンベア2iによって搬送されるものとする。
つまり、切削機2dでは、進行する際に可動する上部筐体3e、掘削ドラム3fおよびカッタービット3gが、建設機械2の可動作業具3に相当する。また、回転する掘削ドラム3fの外周面に設けられたカッタービット3gの先端位置が、可動作業具3による施工箇所に相当する。
図12は、第二実施形態におけるスリップフォーム機を構成する後部成型機の構成例を模式的に示す説明図である。
図12(a)に示すように、成型機2eは、上述した切削機2dと同様に、走行装置2jと、その走行装置2jに支持される車体部2kとを有し、施工現場エリア内を移動可能に構成されている。車体部2kには、油圧で動作するアクチュエータ2lを介して、可動作業具3としての上部筐体3hおよびモールド3iが取り付けられている。
モールド3iには、図12(b)に示すように、モールド内に生コンクリートを投入するためのコンクリート注入器2mが接続されている。さらに、モールド3iには、振動でモールド内に生コンクリートを充填させるためのバイブレータ3jが付設されている。
このような構成の成型機2eでは、アクチュエータ2lが上部筐体3hを動かし、これによりモールド3iの位置および姿勢を制御するようになっている。また、位置および姿勢が制御されるモールド3iへのコンクリート注入を行いつつ、そのモールド3iを進行方向に移動させることで、同一断面のコンクリート構造物を連続的に打設するようになっている。
つまり、成型機2eでは、進行する際に可動する上部筐体3hおよびモールド3iが、建設機械2の可動作業具3に相当する。また、モールド3iが配された位置が、可動作業具3による施工箇所に相当する。
ところで、ここで説明する第二実施形態において、スリップフォーム機2には、検出センサ部11が搭載されている。
図13は、第二実施形態において施工現場エリアで用いられる建設機械の一例であるスリップフォーム機の概略構成例を模式的に示す斜視図である。
スリップフォーム機2には、検出センサ部11として、画像を撮像するイメージセンサ(カメラ)11e〜11hと、傾きを検出可能な傾斜センサ11i,11jと、が搭載されている。イメージセンサ11e〜11hは、切削機2dにおける上部筐体3eの側面に下方向を向いて並設された複数(例えば、二つ)のカメラ11e,11fと、成型機2eにおける上部筐体3hの側面に下方向を向いて並設された複数(例えば、二つ)のカメラ11g,11hと、によって構成されている。なお、切削機2dと成型機2eとが連結されている場合、切削機2dの上部筐体3eにおけるカメラ11fと成型機2eの上部筐体3hにおけるカメラ11gとは、必ずしも別体で備える必要はなく、一つのカメラで共用するようにしてもよい。また、傾斜センサ11i,11jは、切削機2dの上部筐体3eと成型機2eの上部筐体3hとのそれぞれに個別に配置されている。
なお、カメラ11e〜11hおよび傾斜センサ11i,11jは、いずれも、公知のものを用いればよい。また、スリップフォーム機2には、これらに加えて、さらに他の検出センサ部11が設けられていてもよい。
このようなスリップフォーム機2が用いられる施工現場エリア1には、基準点となる位置(予め座標が特定されている位置)に、外部指標1aとして、画像パターンで識別される二次元のマーカ図形1cが配置されている。マーカ図形1cは、カメラ11e〜11hによる撮像対象となるものであり、スリップフォーム機2の進行方向に沿って複数が所定間隔で配列されているものとする。なお、マーカ図形1cに代えて、発光パターンで識別される二次元の発光面を有する発光器、または、点滅パターンで識別される点光源を有する発光器が配置されていてもよい。
また、切削機2dの可動作業具3を構成する上部筐体3eと、成型機2eの可動作業具3を構成する上部筐体3hとには、それぞれにおけるカメラ11e〜11hの個別に対応するように、可動指標としてのマーカ図形3kが付設されている。マーカ図形3kは、外部指標1aとしてのマーカ図形1cと同様に、カメラ11e〜11hによる撮像対象となるものである。そのため、マーカ図形3kは、マーカ図形1cとは異なる二次元パターンによって構成されていることが好ましい。なお、マーカ図形3kに代えて、発光パターンで識別される二次元の発光面を有する発光器、または、点滅パターンで識別される点光源を有する発光器が付設されていてもよい。
(システム構成例)
次に、第二実施形態における建設機械管理システムの構成例を説明する。
図14は、第二実施形態に係る建設機械管理システムの構成例を示すブロック図である。
第二実施形態に係る建設機械管理システムは、切削機2dの上部筐体3eに搭載される検出センサ部11としてのカメラ11e,11fおよび傾斜センサ11iと、成型機2eの上部筐体3hに搭載される検出センサ部11としてのカメラ11g,11hおよび傾斜センサ11jと、これらに接続されたSBC13と、を備えている。SBC13は、切削機2dまたは成型機2eの少なくとも一方に搭載されていればよく、既述のコンピュータ部13として機能するものである。
SBC13に、データ通信端末12を介して外部管理装置20が接続されており、Wi−Fi端末31を介してタブレット端末32が接続されている点は、第一実施形態の場合と同様である。
さらに、SBC13には、スリップフォーム機2が有する駆動制御部4としての油圧制御部4cが接続されている。油圧制御部4cは、切削機2dにおけるアクチュエータ2hおよび成型機2eにおけるアクチュエータ2lの動作をコントロールするものである。
(処理動作例)
次に、上述した構成の建設機械管理システムにおける処理動作例、すなわち第二実施形態における建設機械管理方法を説明する。
図15は、第二実施形態に係る建設機械管理方法の処理手順の流れの一例を示すフロー図である。
上述した構成の建設機械管理システムでは、スリップフォーム機2による施工箇所のモニタにあたり、まず、施工現場エリア1に設置されたマーカ図形1cについてのマーカ認識を行うとともに、上部筐体3e,3hに付設されたマーカ図形3kについてのマーカ認識を行う(S201)。具体的には、マーカ図形1c,3kを各カメラ11e〜11hで撮像して、そのマーカ図形1c,3kについての撮像画像を得る。このときの撮像は、それぞれのカメラ11e〜11hにおいて、少なくとも二つのマーカ図形1cと一つのマーカ図形3kとが一つの画像内に収まるように行う。少なくとも二つのマーカ図形1cと一つのマーカ図形3kとを撮像すれば、各カメラ11e〜11hでの撮像結果のそれぞれにおいて、後述する測量技術を利用した位置認識を行うことができる。そのために、マーカ図形1cは、各カメラ11e〜11hの画角を考慮して設定された所定間隔で配列されているものとする。
さらに、建設機械管理システムでは、傾斜センサ11iが切削機2dの上部筐体3eについての傾斜認識を行うとともに、傾斜センサ11jが成型機2eの上部筐体3hについての傾斜認識を行う(S202)。
マーカ認識および傾斜認識を行うと、建設機械管理システムでは、続いて、SBC13における位置認識部13aとしての機能が、スリップフォーム機2による施工箇所についての位置判定(位置認識)を行う(S203)。
位置判定に際して、位置認識部13aは、マーカ図形1c,3kについての撮像画像を基に、切削機2dによる施工箇所と成型機2eによる施工箇所とのそれぞれを認識する。具体的には、各カメラ11e〜11h別に、それぞれで得た撮像結果に基づいて、以下に説明する測量技術を利用して、カメラ11e〜11hを搭載した上部筐体3e,3hの位置を認識する。
図16は、第二実施形態で用いられる測量技術の概要を示す説明図である。
ここでは、図16(a)に示すように、カメラ11eでのマーカ図形1c,3kについての撮像画像を基に、切削機2dの上部筐体3eの側方距離および高さを測量する技術について説明する。なお、他のカメラ11f〜11hでの撮像画像に対しても、全く同様の測量技術を適用可能であることは言うまでもない。
図16(a)中において、Pはカメラ11eの位置を、A,Bは二つのマーカ図形1cのそれぞれの位置を、Rはマーカ図形3kの位置を、それぞれ表している。各マーカ図形1cの間の距離ABは、これらの設置時に規定されて既知であるものとする。カメラ11eとマーカ図形3kとの間の距離PRは、これらの上部筐体3eへの設置時に測定されて既知であるものとする。また、カメラ11eは、上部筐体3eが水平状態の場合に光軸が鉛直方向に沿い、かつ、光軸がマーカ図形3kの中心近傍を通るように、調整された状態で上部筐体3eに設置されているものとする。
また、図16(b)〜(d)中において、Oはカメラ11eによる撮像画像の中心を、dは上部筐体3eの傾斜角(水平状態で0、マーカ図形1c側に傾く方向に+)を、それぞれ表している。
ここで、例えば、点Iと点Jの実距離をIJと表記し、点Iと点Jの画像上の画素距離をIJpと表記し、被写体の大きさと被写体の画素距離とから被写体までの距離を求めるための予め測定可能なカメラ11eの特性値をkとする場合を考える。また、カメラ11eの設置時に、上部筐体3eのカメラ設置面と水平面上で直交し、上部筐体3eからマーカ図形1cの向きの、カメラ座標系のおける任意のベクトルを、ベクトルSとして求めておく。Cは、カメラ座標上でRからベクトルS方向の直線と線分ABとの交点である。また、カメラ座標上でのOから線分RCへの垂線の足をO´とする。
そうすると、ACとBCとの按分により、AとBから実座標Cが求まる。なお、カメラ座標上で∠ACO´をθとする。また、光軸POに垂直でCを含む面上へのRの射影をR´とする。O´も同面上で扱う。
その場合、以下に示す関係式が成り立つ。
以上の関係式を基にすれば、ある一つのカメラ11eの位置と二つのマーカ図形1cのそれぞれの位置と一つのマーカ図形3kの位置との関係から、カメラ11eが設置された上部筐体3eの位置について、側方距離CDおよび高さPDを求めることが可能となる。
そして、距離CDおよび高さPDがわかれば、これらに基づいて、マーカ図形3kの位置である点Rを求めることが可能となる。マーカ図形3kの位置である点Rは、点Cから上部筐体3eに向け線分ABと角度θをなす直線上で、点Cから上部筐体3eに向けた距離CD−PRsin(d)に位置し、点Cからの高さPD−PRcos(d)に位置する点となる。
つまり、位置認識部13aは、以上に説明した測量技術を利用しつつ、マーカ図形1cの点A,Bを絶対的な位置、これに対するマーカ図形3kの点Rを相対的な位置と捉え、これらの検出結果に基づいて、上部筐体3eの位置を特定する上で基準の一つとなる当該上部筐体3eの所定部分(具体的には、マーカ図形3kが付された点Rの位置)について、その三次元座標位置を算出して認識する。
位置認識部13aは、以上のような位置認識処理を、カメラ11eによる検出結果のみならず、他のカメラ11f〜11hによる検出結果についても、全く同様に行う。これにより、位置認識部13aは、各カメラ11e〜11hのそれぞれに対応する上部筐体3e,3hの所定部分について、三次元座標位置の認識結果を得ることになる。
位置判定に際して、各カメラ11e〜11hの対応部分についての位置認識結果を得ると、次いで、位置認識部13aは、これらの位置認識結果を組み合わせて、上部筐体3e,3hの位置情報を認識する。
具体的には、例えば上部筐体3eであれば、カメラ11eの検出結果に基づく位置認識結果と、カメラ11fの検出結果に基づく位置認識結果とから、当該上部筐体3eにおける2箇所のマーカ図形3k(点R)のそれぞれの三次元座標位置が特定されるので、位置認識部13aは、これらの三次元座標位置に基づき、施工現場エリア1内での上部筐体3eの位置、方位、姿勢(傾きの状態)等を認識する。このとき、位置認識部13aは、傾斜センサ11iによる検出結果を基に、上部筐体3eの姿勢について認識する。
このように、位置認識部13aは、カメラ11eの検出結果に基づく位置認識結果とカメラ11fの検出結果に基づく位置認識結果とを組み合わせ、さらには傾斜センサ11iによる検出結果を基にしつつ、上部筐体3eの位置情報を認識する。これにより、切削機2dについては、可動作業具3としての上部筐体3e、掘削ドラム3fおよびカッタービット3gによる施工箇所について、基準点であるマーカ図形1cの位置を基準とした場合の施工現場エリア1内の絶対的な位置のモニタ結果を得ることが可能となる。
また、例えば上部筐体3hであれば、カメラ11gの検出結果に基づく位置認識結果と、カメラ11hの検出結果に基づく位置認識結果とから、当該上部筐体3hにおける2箇所の三次元座標位置が特定されるので、位置認識部13aは、これらの三次元座標位置に基づき、施工現場エリア1内での上部筐体3hの位置、方位、姿勢(傾きの状態)等を認識する。このとき、位置認識部13aは、傾斜センサ11jによる検出結果を基に、上部筐体3hの姿勢について認識する。
このように、位置認識部13aは、カメラ11gの検出結果に基づく位置認識結果とカメラ11hの検出結果に基づく位置認識結果とを組み合わせ、さらには傾斜センサ11jによる検出結果を基にしつつ、上部筐体3hの位置情報を認識する。これにより、成型機2eについては、可動作業具3としての上部筐体3hおよびモールド3iによる施工箇所について、基準点であるマーカ図形1cの位置を基準とした場合の施工現場エリア1内の絶対的な位置のモニタ結果を得ることが可能となる。
その後、図15に示すように、建設機械管理システムでは、SBC13における差分情報抽出部13cとしての機能が、施工現場エリア1の施工計画データに対するスリップフォーム機2の姿勢認識を行う(S204)。具体的には、スリップフォーム機2の切削機2dおよび成型機2eによる施工箇所についてのモニタ結果を、施工現場エリア1の施工計画データにおける該当位置の座標値と対比して、それぞれの間の差分情報を抽出する。
差分情報を抽出したら、建設機械管理システムでは、SBC13におけるガイダンス出力部13dとしての機能が、マシンガイダンス処理動作を行って操作ガイダンス情報を出力することで、スリップフォーム機2を扱う現場作業者に対して当該スリップフォーム機2の姿勢表示を行う(S205)。
操作ガイダンス情報の出力は、例えば、以下のような態様で行う。
図17は、第二実施形態に係る建設機械管理システムが出力する操作ガイダンス情報の例を示す説明図である。
操作ガイダンス情報の出力は、例えば、図17に示すような表示画面43によって行うことが考えられる。図例の表示画面43は、施工計画データに基づいて描画された施工面43aに対して、スリップフォーム機2を表す画像43bが、抽出された差分情報が反映された位置に表示されて構成されている。表示画面43中には、スリップフォーム機2の切削機2dおよび成型機2eの現在位置を施工面43aに導くためのガイド線(誘導曲線)43cが表示されていてもよい。さらに、表示画面43中には、関連の数値(例えば、座標値)が表示されていてもよい。
このような表示画面43によって操作ガイダンス情報の出力を行えば、現場作業者にとっては、スリップフォーム機2の切削機2dおよび成型機2eによる施工箇所を施工計画データに合致させる上で、非常に利便性に優れたものとなる。
なお、図15に示すように、施工計画データに対するスリップフォーム機2の姿勢認識(S206)、および、操作ガイダンス情報の出力によるスリップフォーム機2の姿勢表示(S207)については、外部管理装置20で行うようにしてもよい。操作ガイダンス情報の出力を外部管理装置20で行うようにすれば、例えば、スリップフォーム機2を実際に操作する現場作業者が非熟練者であっても、遠隔箇所にいるセンター熟練者が、スリップフォーム機2による施工の状況を把握しつつ、非熟練者に対して操作の助言を行うといったことが実現可能となる。
また、外部管理装置20は、マシンガイダンス処理動作とは別に、またはマシンガイダンス処理動作に加えて、マシンコントロール処理動作を行うものであってもよい。具体的には、外部管理装置20は、スリップフォーム機2の切削機2dおよび成型機2eを施工面に移動させる移動曲線を生成する処理(すなわち、図中の姿勢制御)を行うとともに(S208)、その移動を行うための動作を、アクチュエータ2h,2lの油圧動作等の各シーケンスで構成する処理(すなわち、図中の制御生成)を行う(S209)。そして、各シーケンスによる動作指示を、油圧制御部4cに与える処理(すなわち、図中の制御指示)を行う(S210)。この動作指示を受けて、油圧制御部4cが必要に応じてアクチュエータ2h,2lを動作させることで(S211)、切削機2dにおける上部筐体3e、掘削ドラム3fおよびカッタービット3g、並びに、切削機2eにおける上部筐体3hおよびモールド3iを所定位置に導く。
このようなマシンコントロール処理動作を行うことで、施工面に沿って切削機2dにおける上部筐体3e、掘削ドラム3fおよびカッタービット3g、並びに、切削機2eにおける上部筐体3hおよびモールド3iが動くように、切削機2dおよび成型機2eの位置調整を自動的に行うことが可能となる。つまり、切削機2dおよび成型機2eによる施工箇所を施工計画データに合致させるように、スリップフォーム機2の動作や姿勢等が自動運転されることになる。
なお、マシンコントロール処理動作を行う場合において、ここでは姿勢制御(S208)、制御生成(S209)および制御指示(S210)を外部管理装置20で行う場合を例に挙げたが、これらの処理をスリップフォーム機2のSBC13で行うようにしても構わない。
また、姿勢制御(S208)で生成した動作計画情報(移動曲線等)については、外部管理装置20での制御監視に供するようにしてもよい(S212)。このようにすれば、例えば、外部管理装置20からスリップフォーム機2の動作や姿勢等を補助的に制御し得るようになる。したがって、遠隔箇所にいるセンター熟練者が、スリップフォーム機2による施工の状況を把握しつつ、当該スリップフォーム機2に対する制御内容を適宜修正することが可能となるので、当該スリップフォーム機2の自動運転についての精度や信頼性等の向上が図れるようになる。
(作用効果)
以上に説明した第二実施形態によれば、スリップフォーム機2に搭載される検出センサ部11の利用により、そのスリップフォーム機2の切削機2dおよび成型機2eによる施工箇所を自律的にモニタし得るので、上述した第一実施形態の場合とほぼ同様の作用効果が得られる。
また、第二実施形態では、検出センサ部11として、切削機2dの上部筐体3eに複数のカメラ11e,11fが搭載され、成型機2eの上部筐体3hにも複数のカメラ11g,11hが搭載されている。各カメラ11e〜11hは、それぞれが、少なくとも二つのマーカ図形1cと一つのマーカ図形3kとを検出対象とする。つまり、イメージセンサが同方向を向いて並設された複数(例えば、一筐体あたり二つ)のカメラ11e〜11hによって構成されており、各カメラ11e〜11hが複数の指標(具体的には、二つのマーカ図形1cと一つのマーカ図形3k)を検出対象とする。そして、位置判定に際して、位置認識部13aは、各カメラ11e〜11hでの検出結果について個別に位置認識を行うとともに、これらの位置認識結果を適宜組み合わせて上部筐体3e,3hの位置情報を認識する。したがって、第二実施形態においては、上部筐体3e,3hのそれぞれについて、各カメラ11e〜11hでの検出結果から、三次元座標位置のみならず、その方位や姿勢(傾きの状態)等についても認識することができ、しかもその認識を高精度に行うことが可能となる。
また、第二実施形態では、外部指標1aとして、所定間隔で配列された複数のマーカ図形1cを用いる。したがって、自走機能を持つスリップフォーム機2を用いて長尺状のコンクリート構造物を連続的に打設していく場合に適用して非常に好適なものとなる。例えば、スリップフォーム工法では、スリップフォーム機2の進行方向に沿って長尺状の連続体からなるセンサラインを敷設し、そのセンサラインに沿ってスリップフォーム機2を移動させることがある。これに対して、外部指標1aとして複数のマーカ図形1cを用いれば、連続体の敷設を要することなく、当該マーカ図形1cを点在させることで、スリップフォーム機2を高精度に移動させることが可能となる。しかも、センサラインの場合とは異なり、姿勢(傾斜)についても認識することが可能となる。そのため、スリップフォーム工法のように、建設機械を所定方向に移動させながら施工を行う場合に適用して非常に好適なものとなる。
<4.他の実施形態>
以上に、本発明の実施形態を具体的に説明したが、本発明の技術的範囲は上述の実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。
例えば、第一実施形態ではバックホウ2を、また第二実施形態ではスリップフォーム機2を、それぞれ建設機械として例示したが、本発明の技術的範囲がこれらに限定されることはない。つまり、本発明は、土木用途機械、運搬機械、荷役機械、基礎工事用機械、せん孔機械、トンネル工事用機械、圧砕機等のコンクリート機械、舗装機械、道路維持用機械、圧雪車、自走型草刈機等、様々な種類の建設機械に適用可能である。
建設機械が圧雪車である場合には、例えば、スキー場のゲレンデに外部指標を配置することで、その圧雪車のブレードによる施工箇所(圧雪箇所)を、当該圧雪車が自律的にモニタすることが可能になる。また、建設機械が自走型草刈機である場合には、例えば、ゴルフ場のコースに外部指標を配置することで、その自走型草刈機のカッタ刃による施工箇所(草刈箇所)を、当該自走型草刈機が自律的にモニタすることが可能になる。
また、第一実施形態では、外部指標1aにマーカ図形1bが付設されている場合を例に挙げたが、本発明の技術的範囲がこれに限定されることはない。つまり、マーカ図形1bが付設されていなくても、例えば、外部指標1aとして標尺またはこれに準ずるものを用いれば、その標尺の目盛等の画像を解析することで、その外部指標1aが配置された基準点の位置を特定することが可能である。
また、第一実施形態および第二実施形態では、いずれも、検出センサ部11としてイメージセンサ(カメラ)11a,11b,11e〜11hを用いる場合を例に挙げたが、本発明の技術的範囲がこれに限定されることはない。つまり、検出センサ部11は、少なくとも建設機械の位置認識を行い得るものであれば、イメージセンサに代えて、またはイメージセンサに加えて、他のセンサを用いてもよい。
例えば、他のセンサとして、赤外線カメラまたは赤外線センサを用いることが考えられる。赤外線を利用したものであれば、夜間やトンネル工事現場等といった特殊な環境下であっても、照明の影響等を抑制しつつ、高精度な位置認識を行うことが可能となる。
また、位置認識を行い得る他のセンサとしては、例えば、単独計測タイプのGPS装置を複数用いることが考えられる。単独計測タイプのGPS装置であれば近年安価なものが流通しており、またGPS装置同士の相対位置であれば高精度に認識し得るという特性を利用しつつ、複数のGPS装置を用いることで、少なくとも数cmオーダーの高精度な位置認識を行うことが可能となる。
また、第一実施形態および第二実施形態では、いずれも、検出センサ部11としてイメージセンサ(カメラ)11a,11b,11e〜11hと傾斜センサ11c,11d,11i,11jとを組み合わせてを用いる場合を例に挙げたが、本発明の技術的範囲がこれに限定されることはない。例えば、検出センサ部11がイメージセンサ(カメラ)のみによって構成されている場合であっても、その検出結果に基づいて位置認識を行うことは可能である。ただし、第一実施形態および第二実施形態で説明したように、イメージセンサ(カメラ)と傾斜センサとを組み合わせて用いれば、検出センサ部11としての構成が複雑化してしまうのを抑制しつつ、高精度の位置認識を行うことが実現可能となる。
また、第一実施形態では、第二認識処理に際して、可動指標としてのマーカ図形3aの撮像結果を基にバケット3dによる施工箇所の位置認識をする場合を例に挙げたが、例えば、第一アーム3b、第二アーム3cおよびバケット3dのそれぞれに傾斜センサが設けられていれば、各傾斜センサによる検出結果を利用して位置認識をするようにしてもよい。第一アーム3b、第二アーム3cおよびバケット3dのそれぞれの回転角の検出結果を組み合わせれば、バケット3dの剣先位置を特定することが可能だからである。
また、第二実施形態では、スリップフォーム工法によりコンクリート構造物(例えばU字溝)を打設する場合を例に挙げたが、U字溝の他に、縁石、側溝、円形水路、防護柵、路面舗装等を施工対象物とする場合であっても、全く同様に本発明を適用することが可能である。
また、第二実施形態では、主として切削機2dと成型機2eを連動させる場合について説明したが、切削機2dと成型機2eとが別々の建設機械として運転するようにしてもよい。その場合に、マシンガイダンス処理動作およびマシンコントロール処理動作は、それぞれに対して別々に行われることになる。
また、第二実施形態では、マシンコントロール処理動作にあたり、アクチュエータ2h,2lの油圧動作等を制御する場合を例に挙げたが、例えば、切削機2dの走行装置2fや成型機2eの走行装置2j等に対する動作制御を行うようにしてもよい。
また、第二実施形態では、スリップフォーム工法で用いられるスリップフォーム機2に本発明を適用した場合を例に挙げたが、進行方向に移動しながら施工を行う建設機械であれば、例えば、オープンシールド機(オープンピット機)の前筐体と後筐体等のように、別工法において用いられる建設機械であっても、全く同様に本発明を適用することが可能である。
また、上述の各実施形態では、本発明の技術思想を「建設機械管理システム」として具現化した場合を例に挙げたが、必ずしもこれに限定されることはない。
例えば、本発明は、各実施形態で説明した建設機械の自律的なモニタ処理をコンピュータに実行させる「建設機械管理プログラム」としても成立し得る。つまり、本発明は、
「施工現場エリアを移動可能な建設機械に搭載される検出センサ部に接続されたコンピュータを、
前記施工現場エリアに設置された外部指標についての前記検出センサ部での検出結果と、前記建設機械が有する可動作業具に付された可動指標についての前記検出センサ部での検出結果とを基に、前記施工現場エリアでの前記可動作業具による施工箇所の位置情報を認識する位置認識手段、
として機能させる建設機械管理プログラム。」としても成立し得る。
また、例えば、本発明は、各実施形態で説明した建設機械の自律的なモニタ処理を行う「建設機械管理方法」としても成立し得る。つまり、本発明は、
「施工現場エリアを移動可能な建設機械に搭載される検出センサ部を用い、
前記施工現場エリアに設置された外部指標についての前記検出センサ部での検出結果と、前記建設機械が有する可動作業具に付された可動指標についての前記検出センサ部での検出結果とを基に、前記施工現場エリアでの前記可動作業具による施工箇所の位置情報を認識する
建設機械管理方法。」としても成立し得る。
また、例えば、本発明は、各実施形態で説明した自律的なモニタ処理を行う機能を備えた「建設機械」としても成立し得る。つまり、本発明は、
「施工現場エリアを移動可能な建設機械であって、
前記建設機械に搭載される検出センサ部と、
前記検出センサ部に接続されたコンピュータ部と、を備え、
前記コンピュータ部は、前記施工現場エリアに設置された外部指標についての前記検出センサ部での検出結果と、前記建設機械が有する可動作業具に付された可動指標についての前記検出センサ部での検出結果とを基に、前記施工現場エリアでの前記可動作業具による施工箇所の位置情報を認識する位置認識部を有する
建設機械。」としても成立し得る。
また、例えば、本発明は、建設機械との間で情報授受を行うように構成されるとともに、各実施形態で説明した建設機械の自律的なモニタ処理を行うように構成された「建設機械の外部管理装置」としても成立し得る。つまり、本発明は、
「施工現場エリアを移動可能な建設機械と離れて配置され、前記建設機械との間で情報授受を行うように構成された建設機械の外部管理装置であって、
施工現場エリアを移動可能な建設機械に搭載される検出センサ部を用い、
前記施工現場エリアに設置された外部指標についての前記検出センサ部での検出結果と、前記建設機械が有する可動作業具に付された可動指標についての前記検出センサ部での検出結果とを基に、前記施工現場エリアでの前記可動作業具による施工箇所の位置情報を認識した認識結果について、
少なくとも前記認識結果または当該認識結果からの導出情報のいずれかを出力するように構成されている、
建設機械の外部管理装置。」としても成立し得る。
1…施工現場エリア、1a…外部指標、1b,1c…マーカ図形、2…建設機械(バックホウ、スリップフォーム機)、2a…右無限軌道、2b…左無限軌道、2c…機台、2d…前部切削機、2e…後部成型機、2f…走行装置、2g…車体部、2h…アクチュエータ、3…可動作業具、3a,3k…可動指標(マーカ図形)、3b…第一アーム、3c…第二アーム、3d…バケット、3e…上部筐体、3f…掘削ドラム、3g…カッタービット、3h…上部筐体、3i…モールド、3j…バイブレータ、11…検出センサ部、11a,11b,11e〜11h…イメージセンサ(カメラ)、11c,11d,11i,11j…傾斜センサ、12…情報通信部(データ通信端末)、13…コンピュータ部(SBC)、13a…位置認識部、13b…データ取得部、13c…差分情報抽出部、13d…ガイダンス出力部、13e…動作計画生成部、13f…動作指示部、20…外部管理装置

Claims (14)

  1. 施工現場エリアを移動可能な建設機械に搭載される検出センサ部と、
    前記施工現場エリアに設置された外部指標についての前記検出センサ部での検出結果と、前記建設機械が有する可動作業具に付された可動指標についての前記検出センサ部での検出結果とを基に、前記施工現場エリアでの前記可動作業具による施工箇所の位置情報を認識する位置認識部と、
    を備える建設機械管理システム。
  2. 前記位置認識部での認識結果を前記施工現場エリアについての施工計画データと対比して、前記施工計画データに対する前記施工箇所の差分を差分情報として抽出する差分情報抽出部
    を備える請求項1に記載の建設機械管理システム。
  3. 前記差分情報抽出部が抽出した差分情報を基に生成した前記可動作業具の操作ガイダンス情報を出力するガイダンス出力部
    を備える請求項2に記載の建設機械管理システム。
  4. 前記差分情報抽出部が抽出した差分情報を基に、前記施工箇所を前記施工計画データに合致させるための前記可動作業具の動作計画情報を生成する動作計画生成部と、
    前記動作計画生成部が生成した動作計画情報を基に、前記建設機械が有する駆動制御部に対する動作指示を与える動作指示部と、
    を備える請求項2または3に記載の建設機械管理システム。
  5. 前記建設機械と離れて配置される外部管理装置との間で情報授受を行う情報通信部を備え、
    前記情報通信部が授受する情報には、少なくとも前記差分情報抽出部が抽出した差分情報または当該差分情報からの導出情報のいずれかが含まれる
    請求項2から4のいずれか1項に記載の建設機械管理システム。
  6. 前記検出センサ部は、画像を撮像するイメージセンサを有しており、
    前記位置認識部は、前記イメージセンサで得た画像に対する認識処理を行うことで、位置情報認識を行うように構成されている
    請求項1から5のいずれか1項に記載の建設機械管理システム。
  7. 前記外部指標についての検出と前記可動指標についての検出とを、同一のイメージセンサを用いて行うように構成されている
    請求項6に記載の建設機械管理システム。
  8. 前記イメージセンサは、前記建設機械に並設された複数のカメラによって構成されている
    請求項6または7に記載の建設機械管理システム。
  9. 前記外部視標には、画像パターンで識別される二次元のマーカ図形、または、発光パターンで識別される発光器が付設されている
    請求項6から8のいずれか1項に記載の建設機械管理システム。
  10. 前記可動指標として、前記外部視標とは異なるパターンの前記マーカ図形または前記発光器が用いられる
    請求項9に記載の建設機械管理システム。
  11. 施工現場エリアを移動可能な建設機械に搭載される検出センサ部に接続されたコンピュータを、
    前記施工現場エリアに設置された外部指標についての前記検出センサ部での検出結果と、前記建設機械が有する可動作業具に付された可動指標についての前記検出センサ部での検出結果とを基に、前記施工現場エリアでの前記可動作業具による施工箇所の位置情報を認識する位置認識手段、
    として機能させる建設機械管理プログラム。
  12. 施工現場エリアを移動可能な建設機械に搭載される検出センサ部を用い、
    前記施工現場エリアに設置された外部指標についての前記検出センサ部での検出結果と、前記建設機械が有する可動作業具に付された可動指標についての前記検出センサ部での検出結果とを基に、前記施工現場エリアでの前記可動作業具による施工箇所の位置情報を認識する
    建設機械管理方法。
  13. 施工現場エリアを移動可能な建設機械であって、
    前記建設機械に搭載される検出センサ部と、
    前記検出センサ部に接続されたコンピュータ部と、を備え、
    前記コンピュータ部は、前記施工現場エリアに設置された外部指標についての前記検出センサ部での検出結果と、前記建設機械が有する可動作業具に付された可動指標についての前記検出センサ部での検出結果とを基に、前記施工現場エリアでの前記可動作業具による施工箇所の位置情報を認識する位置認識部を有する
    建設機械。
  14. 施工現場エリアを移動可能な建設機械と離れて配置され、前記建設機械との間で情報授受を行うように構成された建設機械の外部管理装置であって、
    施工現場エリアを移動可能な建設機械に搭載される検出センサ部を用い、
    前記施工現場エリアに設置された外部指標についての前記検出センサ部での検出結果と、前記建設機械が有する可動作業具に付された可動指標についての前記検出センサ部での検出結果とを基に、前記施工現場エリアでの前記可動作業具による施工箇所の位置情報を認識した認識結果について、
    少なくとも前記認識結果または当該認識結果からの導出情報のいずれかを出力するように構成されている、
    建設機械の外部管理装置。
JP2018232862A 2018-12-12 2018-12-12 建設機械管理システム、建設機械管理プログラム、建設機械管理方法、建設機械および建設機械の外部管理装置 Active JP6529058B1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018232862A JP6529058B1 (ja) 2018-12-12 2018-12-12 建設機械管理システム、建設機械管理プログラム、建設機械管理方法、建設機械および建設機械の外部管理装置
CN201980081201.XA CN113195838B (zh) 2018-12-12 2019-12-05 建筑机械管理系统、建筑机械管理程序、建筑机械管理方法、建筑机械以及建筑机械的外部管理装置
US17/413,842 US20220056669A1 (en) 2018-12-12 2019-12-05 Construction machine management system, construction machine management program, construction machine management method, construction machine, and external management device for construction machine
PCT/JP2019/047573 WO2020121933A1 (ja) 2018-12-12 2019-12-05 建設機械管理システム、建設機械管理プログラム、建設機械管理方法、建設機械および建設機械の外部管理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018232862A JP6529058B1 (ja) 2018-12-12 2018-12-12 建設機械管理システム、建設機械管理プログラム、建設機械管理方法、建設機械および建設機械の外部管理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019075348A Division JP6684004B1 (ja) 2019-04-11 2019-04-11 建設機械管理システム、建設機械管理プログラム、建設機械管理方法、建設機械および建設機械の外部管理装置

Publications (2)

Publication Number Publication Date
JP6529058B1 JP6529058B1 (ja) 2019-06-12
JP2020094403A true JP2020094403A (ja) 2020-06-18

Family

ID=66821530

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018232862A Active JP6529058B1 (ja) 2018-12-12 2018-12-12 建設機械管理システム、建設機械管理プログラム、建設機械管理方法、建設機械および建設機械の外部管理装置

Country Status (4)

Country Link
US (1) US20220056669A1 (ja)
JP (1) JP6529058B1 (ja)
CN (1) CN113195838B (ja)
WO (1) WO2020121933A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7154026B2 (ja) * 2018-03-30 2022-10-17 株式会社小松製作所 作業機械の制御装置、掘削機械の制御装置、及び作業機械の制御方法
FI20196023A1 (en) 2019-11-27 2021-05-28 Novatron Oy Method for determining the position and orientation of a machine

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010066117A (ja) * 2008-09-10 2010-03-25 Hitachi Constr Mach Co Ltd 作業機械のステレオ画像処理装置
JP2014074317A (ja) * 2012-10-05 2014-04-24 Serita Kensetsu Co Ltd 工事支援装置、その方法及びプログラム
JP2015224875A (ja) * 2014-05-26 2015-12-14 Kyb株式会社 作業機の作動状態検出システム及び作業機
WO2017061516A1 (ja) * 2015-10-05 2017-04-13 株式会社小松製作所 施工管理システム及び施工管理方法
JP2018184815A (ja) * 2017-04-27 2018-11-22 株式会社小松製作所 撮像装置の校正装置、作業機械および校正方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8688332B2 (en) * 2011-04-20 2014-04-01 Caterpillar Inc. Management system incorporating performance and detection data
EP2808455B1 (en) * 2012-01-27 2018-05-30 Doosan Infracore Co., Ltd. Operational stability enhancing device for construction machinery
US10094662B1 (en) * 2017-03-28 2018-10-09 Trimble Inc. Three-dimension position and heading solution

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010066117A (ja) * 2008-09-10 2010-03-25 Hitachi Constr Mach Co Ltd 作業機械のステレオ画像処理装置
JP2014074317A (ja) * 2012-10-05 2014-04-24 Serita Kensetsu Co Ltd 工事支援装置、その方法及びプログラム
JP2015224875A (ja) * 2014-05-26 2015-12-14 Kyb株式会社 作業機の作動状態検出システム及び作業機
WO2017061516A1 (ja) * 2015-10-05 2017-04-13 株式会社小松製作所 施工管理システム及び施工管理方法
JP2018184815A (ja) * 2017-04-27 2018-11-22 株式会社小松製作所 撮像装置の校正装置、作業機械および校正方法

Also Published As

Publication number Publication date
US20220056669A1 (en) 2022-02-24
CN113195838B (zh) 2022-12-27
JP6529058B1 (ja) 2019-06-12
WO2020121933A1 (ja) 2020-06-18
CN113195838A (zh) 2021-07-30

Similar Documents

Publication Publication Date Title
WO2017061518A1 (ja) 施工管理システム、施工管理方法、及び管理装置
JP2020159192A (ja) 表示システム、建設機械、及び表示方法
AU2021201894B2 (en) Shape measuring system and shape measuring method
JP7215742B2 (ja) 建設機械管理システム、建設機械管理プログラム、建設機械管理方法、建設機械および建設機械の外部管理装置
JP6794449B2 (ja) 管理システム
CN109661494B (zh) 作业机械的检测处理装置及作业机械的检测处理方法
JP6585697B2 (ja) 施工管理システム
KR20180115756A (ko) 형상 계측 시스템, 작업 기계 및 형상 계측 방법
AU2019292457B2 (en) Display control device, display control system, and display control method
JP6918716B2 (ja) 建設機械
JP2019190193A (ja) 作業機械
AU2023203740A1 (en) Construction method, work machine control system, and work machine
WO2020121933A1 (ja) 建設機械管理システム、建設機械管理プログラム、建設機械管理方法、建設機械および建設機械の外部管理装置
JP6606230B2 (ja) 形状計測システム
CN108779985B (zh) 施工管理系统
JP6684004B1 (ja) 建設機械管理システム、建設機械管理プログラム、建設機械管理方法、建設機械および建設機械の外部管理装置
JP6815462B2 (ja) 形状計測システム及び形状計測方法
JP7166326B2 (ja) 施工管理システム
JP2018178711A (ja) 施工現場の形状情報の生成方法及び作業機械の制御システム
WO2024047785A1 (ja) 測量システムおよび測量方法
CN115398066A (zh) 施工方法及施工系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190218

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190218

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190312

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190424

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190508

R150 Certificate of patent or registration of utility model

Ref document number: 6529058

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250