JP2021021637A - 建設機械の位置特定システム - Google Patents

建設機械の位置特定システム Download PDF

Info

Publication number
JP2021021637A
JP2021021637A JP2019138432A JP2019138432A JP2021021637A JP 2021021637 A JP2021021637 A JP 2021021637A JP 2019138432 A JP2019138432 A JP 2019138432A JP 2019138432 A JP2019138432 A JP 2019138432A JP 2021021637 A JP2021021637 A JP 2021021637A
Authority
JP
Japan
Prior art keywords
information
posture
machine
construction machine
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019138432A
Other languages
English (en)
Inventor
細 幸広
Yukihiro Sai
幸広 細
翔 藤原
Sho Fujiwara
翔 藤原
進軍 邱
Shingun Kyu
進軍 邱
英喜 ▲吉▼原
英喜 ▲吉▼原
Hideki Yoshihara
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobelco Construction Machinery Co Ltd
Original Assignee
Kobelco Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobelco Construction Machinery Co Ltd filed Critical Kobelco Construction Machinery Co Ltd
Priority to JP2019138432A priority Critical patent/JP2021021637A/ja
Priority to EP20846449.5A priority patent/EP3985182A1/en
Priority to CN202080053076.4A priority patent/CN114174608A/zh
Priority to US17/626,320 priority patent/US20220245856A1/en
Priority to PCT/JP2020/024279 priority patent/WO2021019948A1/ja
Publication of JP2021021637A publication Critical patent/JP2021021637A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/22Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring angles or tapers; for testing the alignment of axes
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/32Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/205Remotely operated machines, e.g. unmanned vehicles
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/2054Fleet management
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • E02F9/265Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/267Diagnosing or detecting failure of vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Operation Control Of Excavators (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】作業現場に配置される複数の建設機械のうちから特定対象の建設機械の位置を精度よく特定することができる位置特定システムを提供する。【解決手段】位置特定システムは、特定対象建設機械の姿勢を特定するためのパラメータを検出する検出部20と、前記パラメータに基づいて前記特定対象建設機械の姿勢に関する姿勢情報を生成する姿勢情報生成部32と、作業現場における複数の建設機械を含む画像を取得する撮像装置40と、前記画像に基づいて前記複数の建設機械のそれぞれの姿勢を推定し、推定された前記姿勢に関する姿勢推定情報を生成する姿勢推定部52と、前記姿勢情報を前記姿勢推定情報と比較することにより前記複数の建設機械のうち前記姿勢情報に対応する建設機械を特定する機械特定部61と、特定された前記建設機械の位置に関する位置情報を前記画像に基づいて生成して出力する情報出力部62と、を備える。【選択図】図3

Description

本発明は、作業現場に配置される建設機械の位置を特定するための位置特定システムに関するものである。
建設機械の位置を特定するための技術として、例えば特許文献1のショベルのように上部旋回体に測位装置を取り付ける技術が知られている。この特許文献1の前記測位装置は、GNSS受信機であり、ショベルの存在位置の緯度、経度、高度を測定し、且つ、ショベルの向きを測定する(特許文献1の段落0011)。
特開2018−159268号公報
しかしながら、前記建設機械が前記測位装置、すなわち衛星測位システムを利用するための受信機、を備えていない場合には、その建設機械に前記測位装置を別途取り付ける必要がある。また、遮蔽物の多い環境、具体的には、例えば、構造物の下、屋内、地下、トンネル内のように前記衛星測位システムの電波が届きにくい作業現場では、前記受信機を利用することができない。
作業現場において建設機械の位置を特定する他の手段としては、例えば、カメラにより取得される前記作業現場の画像を画像処理する方法が考えられる。しかしながら、作業現場において複数の建設機械が同時に作業を行う場合、前記カメラにより取得される前記画像には前記複数の建設機械が含まれるため、その画像を画像処理するだけでは、前記複数の建設機械の中から特定対象の建設機械の位置を精度よく特定できないことがある。
本発明は、上記課題を解決するためになされたもので、建設機械が衛星測位システムを利用するための受信機を備えていない場合や前記衛星測位システムの電波が届きにくい作業現場において作業が行われる場合であっても、作業現場に配置される複数の建設機械のうちから特定対象の建設機械の位置を精度よく特定することができる位置特定システムを提供することを目的とするものである。
提供されるのは、作業現場に配置される建設機械の位置を特定するための位置特定システムである。当該位置特定システムは、前記作業現場に配置される複数の建設機械のうち、当該作業現場における位置を特定する対象である少なくとも一つの特定対象建設機械に設けられる検出部であって、当該特定対象建設機械の姿勢を特定するためのパラメータを検出する検出部と、前記パラメータに基づいて前記特定対象建設機械の姿勢に関する姿勢情報を生成する姿勢情報生成部と、前記作業現場における前記複数の建設機械を含む画像を取得する撮像装置と、前記画像に基づいて前記複数の建設機械のそれぞれの姿勢を推定し、推定された前記姿勢に関する姿勢推定情報を前記複数の建設機械のそれぞれについて生成する姿勢推定部と、前記姿勢情報を、前記複数の建設機械のそれぞれについて生成された前記姿勢推定情報と比較することにより、前記画像に含まれる前記複数の建設機械のうち前記姿勢情報に対応する建設機械を特定する機械特定部と、前記機械特定部により特定された前記建設機械の位置に関する位置情報を前記画像に基づいて生成し、生成された前記位置情報を出力する情報出力部と、を備える。
この位置特定システムでは、前記検出部によって実際に検出された前記パラメータに基づいて前記姿勢情報が生成され、生成された当該姿勢情報が前記画像に基づいて推定された前記姿勢推定情報と比較され、これにより、前記姿勢情報に対応する建設機械、すなわち、前記特定対象建設機械が特定される。このことは、例えば画像のみに基づいて建設機械が特定される場合に比べて、前記複数の建設機械から特定対象建設機械を特定する精度を高めることを可能にする。そして、特定された前記特定対象建設機械の位置に関する前記位置情報が前記情報出力部により前記画像に基づいて生成されて出力される。出力された前記位置情報は、例えば作業関係者が見ることができるように表示装置に表示されてもよく、他の処理を行うための情報として利用されてもよい。以上のように本発明では、前記特定対象建設機械が衛星測位システムを利用するための受信機を備えていない場合や前記衛星測位システムの電波が届きにくい作業現場において作業が行われる場合であっても、作業現場に配置される複数の建設機械から前記特定対象建設機械の位置を精度よく特定することができる。
前記位置特定システムにおいて、前記撮像装置は、第1のカメラと第2のカメラとを含むステレオカメラにより構成され、前記姿勢推定部は、前記ステレオカメラにより取得される前記画像を画像処理することにより、前記複数の建設機械のそれぞれの姿勢に関する前記姿勢推定情報を3次元座標系における座標に基づいて生成し、前記情報出力部は、前記機械特定部により特定された前記建設機械の前記位置情報として前記3次元座標系における当該建設機械の座標を出力することが好ましい。
この態様では、前記撮像装置が前記ステレオカメラにより構成されるので、前記姿勢推定部は、前記姿勢推定情報を前記3次元座標系における座標に基づいて生成することができる。このことは、前記姿勢推定情報が例えば2次元座標系における座標に基づいて生成される場合に比べて、前記姿勢推定部によって推定される前記複数の建設機械のそれぞれの前記姿勢の推定精度を高めることを可能にする。また、前記情報出力部は、前記位置情報として前記3次元座標系における前記建設機械(すなわち前記特定対象建設機械)の座標を出力することができる。このことは、前記作業現場の作業を発注する発注者、前記作業現場の作業を管理する管理者、前記作業現場の作業を行うオペレータなどの作業関係者が、出力された前記位置情報に基づいて前記特定対象建設機械の位置をより正確に把握することを可能にする。
前記位置特定システムは、前記姿勢情報が生成された時刻に対応する時刻情報を前記姿勢情報に付与し、前記姿勢推定情報が生成された時刻に対応する時刻情報を前記姿勢推定情報に付与するタイムスタンプ処理部をさらに備え、前記機械特定部は、互いに対応する前記時刻情報を有する前記姿勢情報と前記姿勢推定情報とを比較することにより前記画像に含まれる前記複数の建設機械のうち前記姿勢情報に対応する建設機械を特定することが好ましい。
この態様は、前記姿勢情報が例えば所定の時間間隔で周期的に生成され、前記姿勢推定情報が所定の時間間隔で周期的に生成されるような場合であっても、前記機械特定部が前記時刻情報に基づいて対応する情報同士を比較することを可能にし、前記機械特定部による前記特定対象建設機械の周期的な特定が精度よく行われることを可能にする。
前記位置特定システムは、前記少なくとも一つの特定対象建設機械に設けられ、前記姿勢情報と当該姿勢情報に付与された前記時刻情報とを対応付けて送信する機械側通信部と、前記複数の建設機械から離れた場所に設置されるサーバに設けられ、前記機械側通信部とネットワークを介して接続されるサーバ側通信部と、をさらに備え、前記機械特定部は、前記サーバに設けられており、前記サーバ側通信部により受信される前記姿勢情報を、当該姿勢情報の前記時刻情報に対応する前記時刻情報を有する前記姿勢推定情報と比較することが好ましい。
この態様は、前記サーバが例えば前記作業現場から離れた遠隔地に配置される場合であっても、前記機械特定部が前記時刻情報に基づいて対応する情報同士を比較することを可能にする。
前記位置特定システムは、前記姿勢推定情報と当該姿勢推定情報に付与された前記時刻情報とを対応付けて送信するカメラ側通信部をさらに備え、前記サーバ側通信部は、前記カメラ側通信部とネットワークを介して接続され、前記機械特定部は、前記姿勢情報を、前記サーバ側通信部により受信される前記姿勢推定情報のうち、前記姿勢情報の前記時刻情報に対応する前記時刻情報を有する姿勢推定情報と比較するように構成されていてもよい。
この態様は、前記撮像装置及び前記姿勢推定部と、前記サーバとが互いに離れた場所に配置される場合であっても、前記機械特定部が前記時刻情報に基づいて対応する情報同士を比較することを可能にする。
前記位置特定システムは、前記情報出力部から出力された前記位置情報を表示する少なくとも一つの表示装置をさらに備えていてもよい。
この態様では、前記作業関係者は、前記表示装置に表示される前記位置情報を見ることにより、当該位置情報に基づいて前記特定対象建設機械の位置を把握することができる。
前記位置特定システムにおいて、前記少なくとも一つの表示装置は、前記少なくとも一つの特定対象建設機械に設けられていてもよい。
この態様では、前記特定対象建設機械を操作するオペレータは、当該特定対象建設機械の運転操作を行いながら、当該特定対象建設機械に設けられた表示装置に表示される前記位置情報を見ることができ、その位置情報を把握することができる。
前記位置特定システムにおいて、前記少なくとも一つの特定対象建設機械は、第1の特定対象建設機械と、第2の特定対象建設機械と、を含み、前記第1の特定対象建設機械に設けられた前記機械側通信部は、前記第1の特定対象建設機械の前記姿勢情報、当該姿勢情報に付与された前記時刻情報、及び前記第1の特定対象建設機械を識別するための第1の識別情報を、対応付けて送信するように構成され、前記第2の特定対象建設機械に設けられた前記機械側通信部は、前記第2の特定対象建設機械の前記姿勢情報、当該姿勢情報に付与された前記時刻情報、及び前記第2の特定対象建設機械を識別するための第2の識別情報を、対応付けて送信するように構成され、前記情報出力部は、前記第1の特定対象建設機械の前記位置情報と、前記第1の識別情報に基づいて特定される前記第1の特定対象建設機械を示す情報である機械情報と、を対応付けて出力し、前記情報出力部は、前記第2の特定対象建設機械の前記位置情報と、前記第2の識別情報に基づいて特定される前記第2の特定対象建設機械を示す情報である機械情報と、を対応付けて出力してもよい。
この態様では、前記作業現場に配置される前記複数の建設機械のうち、予め設定された前記第1の特定対象建設機械及び前記第2の特定対象建設機械のそれぞれの位置を特定することができる。また、この態様では、前記第1及び前記第2の特定対象建設機械の前記位置情報がその特定対象建設機械の機械情報と対応付けられて前記表示装置に表示されるので、当該表示装置を見る前記作業関係者は、前記特定対象建設機械の前記位置情報を容易に把握することができる。
前記位置特定システムは、前記撮像装置により取得される前記画像の時系列の変化に基づいて前記複数の建設機械の動作状況に関する動作状況情報を生成する動作状況生成部をさらに備え、前記少なくとも一つの表示装置は、前記動作状況生成部により生成される前記動作状況情報を表示してもよい。
この態様では、前記作業関係者は、前記表示装置に表示される前記動作状況情報に基づいて前記作業現場における前記複数の建設機械の動作状況を把握することができる。
前記位置特定システムにおいて、前記動作状況生成部は、前記画像の時系列の変化に基づいて前記複数の建設機械の動作を予測する動作予測部を含み、前記少なくとも一つの表示装置は、前記動作予測部により予測された前記複数の建設機械の動作の予測情報を表示してもよい。
この態様では、前記作業関係者は、前記表示装置に表示される前記予測情報に基づいて、作業現場の状況に応じた適切な対応をとることが可能になる。
本発明によれば、建設機械が衛星測位システムを利用するための受信機を備えていない場合や前記衛星測位システムの電波が届きにくい作業現場において作業が行われる場合であっても、前記作業現場に配置される複数の建設機械のうちから特定対象建設機械の位置を精度よく特定することができる。
本発明の実施の形態に係る位置特定システムが適用される作業現場の一例を示す概略図である。 前記位置特定システムにおいて特定対象とされる建設機械の一例を示す側面図である。 前記位置特定システムの構成を示すブロック図である。 前記位置特定システムにおいて前記建設機械の姿勢を推定する処理について説明するための図である。 前記建設機械における複数の特徴点の一例を示す図である。 前記作業現場に配置される複数の建設機械のそれぞれについて、前記複数の特徴点を抽出した結果を示す図である。 前記位置特定システムにおいてサーバのサーバ側通信部が受信する姿勢情報と姿勢推定情報の一例を示す表である。 前記位置特定システムにおける表示装置に表示される作業現場の画像と位置情報の一例を示す図である。 前記位置特定システムの機械コントローラの演算処理を示すフローチャートである。 前記位置特定システムのカメラコントローラの演算処理を示すフローチャートである。 前記位置特定システムのサーバの演算処理を示すフローチャートである。
以下、図面を参照しながら、本発明の実施の形態について説明する。なお、以下の実施の形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。
図1は、前記実施の形態に係る位置特定システムが適用される作業現場の一例を示す概略図である。前記位置特定システムは、作業現場に配置される複数の建設機械100のうち、当該作業現場における位置を特定する対象である少なくとも一つの特定対象建設機械100の位置を特定するためのものである。
本実施の形態に係る前記位置特定システムでは、前記作業現場に配置される前記複数の建設機械100(n台の建設機械100)の全てが、当該作業現場における位置を特定する対象に設定されている。言い換えると、前記複数の建設機械100(n台の建設機械100)の全てが前記特定対象建設機械100である。
なお、図1では、前記n台の特定対象建設機械100のうち、第1の建設機械100Aと、第2の建設機械100Bと、第3の建設機械100Cと、第n番目の建設機械100Nと、が図示されている。以下では、前記n台の特定対象建設機械100のそれぞれを単に建設機械100と呼ぶことがある。本実施形態では、前記n台の建設機械100A〜100Nのそれぞれは油圧ショベルであるが、本発明では、前記特定対象建設機械は、油圧ショベルに限られず、前記油圧ショベル以外の他の種類の建設機械であってもよい。
図2は、前記位置特定システムにおいて特定対象とされる建設機械100(油圧ショベル)を示す側面図である。図2に示すように、前記建設機械100は、クローラ式の下部走行体101と、その走行面に対して垂直な旋回中心軸まわりに旋回可能となるように下部走行体101の上に搭載される上部旋回体102と、この上部旋回体2に搭載されるアタッチメント103と、を備える。
前記上部旋回体102は、前記機械本体の前部である本体前部を構成するキャブ102Aと、前記機械本体の後部である本体後部を構成するカウンタウエイト102Bと、を有する。前記アタッチメント103は、前記上部旋回体102に起伏可能に支持されるブーム104と、当該ブーム104の先端に回動可能に連結されるアーム105と、当該アーム105の先端に回動可能に連結される先端アタッチメント106と、を含む。本実施の形態では、当該先端アタッチメント106はバケット106である。
前記建設機械100は、前記上部旋回体102に対して前記ブーム104を起伏動作させるように作動するブームシリンダ107と、当該ブーム104に対して前記アーム105を回動動作させるように作動するアームシリンダ108と、当該アーム105に対して前記先端アタッチメント106(バケット106)を回動動作させるように作動する先端アタッチメントシリンダ109(バケットシリンダ109)と、を含む。また、前記建設機械100は、キャブ102A内に設けられた表示装置26をさらに備える。当該表示装置26は、後述するサーバ60の情報出力部62から出力される情報を表示する。
図3は、前記位置特定システムの構成を示すブロック図である。図3に示すように、前記位置特定システムは、複数の検出部20と、複数の機械コントローラ30と、撮像装置40と、カメラコントローラ50と、サーバ60と、を備える。前記複数の機械コントローラ30、前記カメラコントローラ50及び前記サーバ60のそれぞれは、例えば、CPU等のプロセッサとメモリとを備えるコンピュータにより構成される。
前記複数の検出部20は、前記特定対象建設機械100A〜100Nにそれぞれ設けられる。前記複数の検出部20のそれぞれは、対応する特定対象建設機械100の姿勢を特定するためのパラメータ(姿勢パラメータ)を検出する。前記複数の検出部20のそれぞれによる検出結果(検出信号)は、対応する前記機械コントローラ30に入力される。
図2及び図3に示すように、前記複数の検出部20のそれぞれは、ブーム角度センサ21と、アーム角度センサ22と、バケット角度センサ23と、旋回角度センサ24と、車体傾斜角度センサ25と、を含む。従って、前記パラメータは、これらのセンサ21〜25によりそれぞれ検出される検出値を含む。具体的には次の通りである。
図2に示すように、前記ブーム角度センサ21は、前記上部旋回体102に対する前記ブーム104の角度であるブーム角度を特定するためのパラメータを検出するセンサである。前記ブーム角度は、例えば、前記上部旋回体102の旋回中心に直交する平面と、前記ブーム104の長手方向に沿って延びる直線とのなす角度である。前記ブーム104の前記長手方向に沿って延びる前記直線は、例えば、前記上部旋回体102と前記ブーム104の基端部との連結部分の回動中心(連結ピンの中心)と、前記ブーム104の先端部と前記アーム105の基端部との連結部分の回動中心(連結ピンの中心)とを結ぶ直線である。
前記アーム角度センサ22は、前記ブーム104に対する前記アーム105の角度であるアーム角度を特定するためのパラメータを検出するセンサである。前記アーム角度は、例えば、前記ブーム104の前記長手方向に沿って延びる前記直線と、前記アーム105の長手方向に沿って延びる直線とのなす角度である。前記アーム105の長手方向に沿って延びる前記直線は、例えば、前記ブーム104の先端部と前記アーム105の基端部との前記連結部分の回動中心(連結ピンの中心)と、前記アーム105の先端部と前記バケット106の基端部との連結部分の回動中心(連結ピンの中心)とを結ぶ直線である。
前記バケット角度センサ23は、前記アーム105に対する前記バケット106の角度であるバケット角度を特定するためのパラメータを検出するセンサである。前記バケット角度は、例えば、前記アーム105の長手方向に沿って延びる前記直線と、前記バケット106の方向を規定する予め設定された直線とのなす角度である。前記バケット106の方向を規定する前記直線は、例えば、前記アーム105の先端部と前記バケットの基端部との前記連結部分の回動中心(連結ピンの中心)と、前記バケットの先端部(例えば前記バケットの爪先部分)とを結ぶ直線である。
前記ブーム角度センサ21、前記アーム角度センサ22、及び前記バケット角度センサ23は、例えば、前記ブーム104の傾斜角度、前記アーム105の傾斜角度、及び前記バケット106の傾斜角度をそれぞれ検出する傾斜角度センサ(例えば加速度センサ)によって構成されていてもよい。また、前記ブーム角度センサ21、前記アーム角度センサ22、及び前記バケット角度センサ23は、例えば、前記上部旋回体102と前記ブーム104の基端部との連結部分(連結ピン)の回転角度、前記ブーム104の先端部と前記アーム105の基端部との前記連結部分(連結ピン)の回転角度、及び前記アーム105の先端部と前記バケットの基端部との前記連結部分(連結ピン)の回転角度をそれぞれ検出する回転角度センサによって構成されていてもよい。また、前記ブーム角度センサ21、前記アーム角度センサ22、及び前記バケット角度センサ23は、例えば、前記ブームシリンダ107のストローク量、前記アームシリンダ108のストローク量、及び前記バケットシリンダ109のストローク量をそれぞれ検出するストロークセンサによって構成されていてもよい。
前記旋回角度センサ24は、前記下部走行体101に対する前記上部旋回体102の角度である旋回角度を特定するためのパラメータを検出するセンサである。前記旋回角度は、例えば、前記下部走行体101の前進方向と、前記上部旋回体102の前方(前記アタッチメント103が延びる方向)とが一致する位置(位相)を基準として規定される。前記旋回角度センサ24としては、例えば、ジャイロセンサ、ロータリーエンコーダなどを挙げることができる。
前記車体傾斜角度センサ25は、水平面に対する前記下部走行体101又は前記上部旋回体102の角度である車体傾斜角度を特定するためのパラメータを検出するセンサである。前記車体傾斜角度センサ25としては、例えば、前記下部走行体101又は前記上部旋回体102のX軸回りの傾斜角度と、前記下部走行体101又は前記上部旋回体102のY軸回りの傾斜角度とを取得可能な2軸傾斜センサ(加速度センサ)を挙げることができる。前記X軸と前記Y軸は互いに直交する水平な軸である。
前記ブーム角度センサ21、前記アーム角度センサ22、前記バケット角度センサ23、前記旋回角度センサ24、及び前記車体傾斜角度センサ25のそれぞれは、対応するパラメータを所定の時間間隔で周期的に検出し、検出された検出結果(検出信号)は、前記機械コントローラ30に逐次入力される。角度センサ21〜25の検出タイミングは、同期されていることが好ましい。
前記複数の機械コントローラ30のそれぞれは、制御部31と、姿勢情報生成部32と、タイムスタンプ処理部33と、機械側通信部34と、を備える。前記制御部31は、対応する建設機械100の全体的な動作を制御する。
前記姿勢情報生成部32は、対応する前記検出部20から入力される前記検出結果(前記パラメータ)に基づいて前記建設機械100の姿勢に関する姿勢情報を生成する。具体的に、前記姿勢情報生成部32は、前記ブーム角度センサ21、前記アーム角度センサ22、前記バケット角度センサ23、前記旋回角度センサ24及び前記車体傾斜角度センサ25のそれぞれから入力される前記検出結果に基づいて、前記ブーム角度、前記アーム角度、前記バケット角度、前記旋回角度及び前記車体傾斜角度をそれぞれ演算する。
前記タイムスタンプ処理部33は、前記姿勢情報が生成された時刻に対応する時刻情報を前記姿勢情報に付与する。具体的に、前記タイムスタンプ処理部33は、例えば、前記ブーム角度センサ21による前記検出結果が前記機械コントローラ30に入力された時刻又は前記姿勢情報生成部32により前記ブーム角度が演算された時刻を、演算された前記ブーム角度(姿勢情報)と対応付けて記憶する。同様に、前記タイムスタンプ処理部33は、前記アーム角度センサ22、前記バケット角度センサ23、前記旋回角度センサ24、及び前記車体傾斜角度センサ25のそれぞれによる前記検出結果が前記機械コントローラ30に入力された時刻又は前記姿勢情報生成部32により前記アーム角度、前記バケット角度、前記旋回角度及び前記車体傾斜角度のそれぞれが演算された時刻を、演算された角度(姿勢情報)と対応付けて記憶する。
前記機械側通信部34は、ネットワークを介して前記サーバ60(具体的には後述のサーバ側通信部63)との間でデータを送受信可能なように接続されている。前記機械側通信部34は、前記姿勢情報と、当該姿勢情報に付与された前記時刻情報と、対応する特定対象建設機械100を識別するための識別情報と、を対応付けて送信する。送信された前記姿勢情報、前記時刻情報及び前記識別情報は、前記サーバ60に入力される。
前記識別情報は、その建設機械を前記サーバ60が一意的に識別するための識別子(ID)として機能するものであればよく、具体的な態様は特に限定されない。前記複数の建設機械100(n台の建設機械100)のそれぞれには予め固有の識別子(ID)が設定されており、前記複数の機械コントローラ30のそれぞれは、自らの識別子(ID)を記憶している。
前記ネットワークは、例えば、インターネット、携帯電話通信網等の長距離情報通信網により構成されていてもよい。また、前記ネットワークは、例えば、特定省電力無線、ブルーツース(登録商標)、無線LAN(Wireless Local Area Network)などのように、前記機械側通信部34と前記サーバ側通信部とを数十m〜数百m程度の距離で無線通信させることが可能な通信網により構成されていてもよい。また、前記ネットワークは、例えば有線通信網であってもよい。
前記撮像装置40は、前記作業現場における前記複数の建設機械100を含む画像を取得する。当該撮像装置40は、第1のカメラ41と、第2のカメラ42とを含むステレオカメラにより構成される。当該撮像装置40の前記第1のカメラ41及び前記第2のカメラ42のそれぞれは、前記作業現場における前記n台の建設機械100A〜100Nを含む画像を取得することが可能な視野を有する。前記撮像装置40は、前記画像を所定の時間間隔で周期的に撮像する。前記第1のカメラ41と前記第2のカメラ42とは同期している。前記撮像装置40により撮像された前記画像は、前記カメラコントローラ50に逐次入力される。すなわち、前記第1のカメラ41により撮像された第1の画像及び前記第2のカメラ42により撮像された第2の画像は、前記カメラコントローラ50に逐次入力される。
図1及び図3に示すように、本実施の形態に係る前記位置特定システムは、前記第1のカメラ41及び前記第2のカメラ42のそれぞれの位置を特定するための測位装置43,44をさらに備える。これらの測位装置43,44のそれぞれは、衛星測位システムを利用するための受信機により構成される。ただし、これらの測位装置43,44は必須のものではなく省略可能である。
前記測位装置43,44のそれぞれは、例えば、GPS(Global Positioning System)に関するデータを受信可能なGPSセンサ、GNSS(Global Navigation Satellite System)に関するデータを受信可能なGNSSセンサなどを備え、衛星測位システムの測位データ(GPSデータ、GNSSデータなど)を受信する。前記測位装置43,44は、例えば、前記第1及び第2のカメラ41,42にそれぞれ取り付けられている。
前記カメラコントローラ50は、カメラ位置座標演算部51と、姿勢推定部52と、タイムスタンプ処理部56と、カメラ側通信部57と、を備える。
前記カメラ位置座標演算部51は、前記測位装置43,44のそれぞれから入力される前記測位データに基づいて、世界座標系における前記第1及び第2のカメラ41,42のそれぞれの座標を演算する。
前記姿勢推定部52は、前記撮像装置40から入力される前記画像に基づいて前記複数の建設機械100のそれぞれの姿勢を推定し、推定された前記姿勢に関する姿勢推定情報を、前記複数の建設機械100のそれぞれについて生成する。本実施の形態では、前記姿勢推定情報は、前記ブーム104の姿勢、前記アーム105の姿勢、前記バケット106の姿勢、前記下部走行体101に対する前記上部旋回体102の姿勢、及び水平面に対する前記下部走行体101又は前記上部旋回体102の姿勢を含む。より具体的には、前記姿勢推定情報は、前記ブーム角度(ブーム推定角度)、前記アーム角度(アーム推定角度)、前記バケット角度(バケット推定角度)、前記旋回角度(旋回推定角度)、及び前記車体傾斜角度(車体傾斜推定角度)を含む。以下、前記姿勢推定部52について具体的に説明する。
本実施の形態では、前記姿勢推定部52は、推定処理部53と、特徴点座標演算部54と、角度演算部55と、を含む。
図4は、前記位置特定システムにおいて前記建設機械100の姿勢を推定する処理について説明するための図である。図4に示すように、前記推定処理部53は、例えば、ディープラーニングにより機械学習した多層構造のニューラルネットワーク(例えば、畳み込みニューラルネットワーク)に前記撮像装置40が取得した前記画像を入力することにより、当該画像に含まれる前記複数の建設機械100のそれぞれについて、複数の特徴点を抽出し、抽出された前記複数の特徴点を出力する。
本実施の形態では、前記撮像装置40がステレオカメラにより構成される。従って、前記推定処理部53は、前記第1のカメラ41が取得した第1の画像を前記ニューラルネットワークに入力することにより当該第1の画像に含まれる前記複数の建設機械100のそれぞれについて、複数の特徴点を抽出し、抽出された前記複数の特徴点を出力する。同様に、前記推定処理部53は、前記第2のカメラ42が取得した第2の画像を前記ニューラルネットワークに入力することにより当該第2の画像に含まれる前記複数の建設機械100のそれぞれについて、複数の特徴点を抽出し、抽出された前記複数の特徴点を出力する。
前記ニューラルネットワークは、建設機械100の特徴点に関するデータを用いて予め学習した姿勢推定アルゴリズムである。前記推定処理部53が参照する前記ニューラルネットワークは、例えば、前記建設機械100(油圧ショベル)の画像と、当該画像中における前記特徴点との対応関係を示す教師データによる学習処理により学習する。なお、前記推定処理部53は、例えばOpenpose(登録商標)などの技術を用いることにより、前記画像に基づいて前記複数の特徴点の抽出を行ってもよい。
図5は、当該建設機械100の複数の特徴点の一例を示している。本実施の形態における前記ニューラルネットワークでは、前記建設機械100(油圧ショベル)の複数の特徴点は、アタッチ先端(1)、アタッチ底(2)、アタッチ関節(3)、アーム関節(4)、ブーム関節1(5)、ブーム関節2(6)、本体前部(7)、本体右側部(8)、本体後部(9)、本体左側部(10)、クローラ右前(11)、クローラ右後(12)、クローラ左前(13)、及びクローラ左後(14)を含む。なお、前記アタッチ先端(1)、前記アタッチ底(2)、及び前記アタッチ関節(3)は、前記バケット106の先端、前記バケット106の底、及び前記バケット106の関節をそれぞれ示す。また、図5において、前記本体左側部(10)は図示されていない。
図6は、前記作業現場に配置される複数の建設機械のそれぞれについて、前記複数の特徴点を抽出した結果を示す図である。図6に示すように、前記推定処理部53は、前記画像(例えば前記第1の画像)に含まれる前記複数の建設機械100のそれぞれについて、複数の特徴点を抽出し、抽出された前記複数の特徴点を出力する。
前記特徴点座標演算部54は、前記推定処理部53により抽出された前記複数の特徴点のそれぞれの座標を、前記第1のカメラ41が取得した第1の画像と前記第2のカメラ42が取得した第2の画像とに基づいて演算する。すなわち、前記特徴点座標演算部54は、前記複数の特徴点のそれぞれについて、前記撮像装置40(ステレオカメラ)を基準とする特徴点の3次元座標(カメラ座標系の座標)を演算する。
具体的には、前記第1のカメラ41と前記第2のカメラ42により撮像された視点の異なる一対の画像データ(前記第1の画像及び前記第2の画像)における前記特徴点の視差が算出され、当該視差に基づいて前記特徴点の3次元位置情報が生成される。当該3次元位置情報は、例えば、前記第1のカメラ41と前記第2のカメラ42の中央の点を原点とする前記カメラ座標系の座標で表される。当該カメラ座標系は、例えば、前記第1のカメラ41と前記第2のカメラ42を結ぶ水平方向にX軸が設定され、このX軸と直交する前後方向にY軸が設定され、上下方向にZ軸が設定される場合の空間上の点(X,Y,Z)で表される。
前記角度演算部55は、前記特徴点座標演算部54により演算された前記複数の特徴点の座標に基づいて、前記ブーム角度、前記アーム角度、前記バケット角度、前記旋回角度、及び前記車体傾斜角度のそれぞれを演算する。以上のように、前記姿勢推定部51は、前記撮像装置40から入力される前記画像に基づいて前記複数の建設機械のそれぞれの姿勢に関する姿勢推定情報を生成することができる。
前記タイムスタンプ処理部56は、前記姿勢推定情報が生成された時刻に対応する時刻情報を前記姿勢推定情報に付与する。具体的に、前記タイムスタンプ処理部56は、例えば、前記撮像装置40による前記画像が前記カメラコントローラ50に入力された時刻又は前記姿勢推定部51が前記姿勢推定情報を生成した時刻を、演算された前記姿勢推定情報と対応付けて記憶する。
前記カメラ側通信部57は、前記ネットワークを介して前記サーバ60(具体的には後述のサーバ側通信部63)との間でデータを送受信可能なように接続されている。具体的に、前記カメラ側通信部57は、前記姿勢推定情報と当該姿勢推定情報に付与された前記時刻情報とを対応付けて送信する。送信された前記姿勢推定情報と前記時刻情報は前記サーバ60に入力される。
前記サーバ60は、例えば、前記作業現場の作業を発注する発注者や前記作業現場の作業を管理する管理者などが使用するコンピュータ、前記建設機械を遠隔操作するための遠隔操作装置が備えるコンピュータなどにより構成される。
前記サーバ60は、機械特定部61と、情報出力部62と、サーバ側通信部63と、表示装置64と、を含む。前記サーバ側通信部63は、前記ネットワークを介して前記機械コントローラ30の機械側通信部34及び前記カメラコントローラ50の前記カメラ側通信部57とデータを送受信可能に接続されている。
前記機械特定部61は、前記サーバ側通信部63が受信した前記姿勢情報及び前記姿勢推定情報を比較することにより、前記画像に含まれる前記複数の建設機械100のうち前記姿勢情報に対応する建設機械を特定する。
図7は、前記サーバ側通信部63が受信する前記姿勢情報と前記姿勢推定情報の一例を示す表である。図7に示す具体例では、前記サーバ側通信部63が受信する前記姿勢情報は、第1の建設機械100の前記機械コントローラ30から送信された姿勢情報である。前記機械特定部61は、例えば次のような演算を行うことにより前記姿勢情報に対応する第1の建設機械100を特定する。
まず、前記機械特定部61は、前記ブーム角度について、前記姿勢情報の値(45°)と、前記姿勢推定情報における第1〜第n番目の建設機械100のそれぞれの値との差を演算する。次に、前記機械特定部61は、第1〜第n番目の建設機械100について、前記ブーム角度の差が小さいものから順番に順位付けを行う。次に、前記機械特定部61は、前記アーム角度、前記バケット角度、前記旋回角度及び前記車体傾斜角度のそれぞれについても、前記ブーム角度と同様に、前記姿勢情報の値と前記姿勢推定情報のそれぞれの値との差を演算し、当該差が小さいものから順番に順位付けを行う。次に、前記機械特定部61は、建設機械100ごとに、前記ブーム角度、前記アーム角度、前記バケット角度、前記旋回角度及び前記車体傾斜角度のそれぞれの順位の合計値を演算する。そして、前記機械特定部61は、前記合計値の最も小さい第1の建設機械100Aを前記姿勢情報に対応する建設機械として特定する。
なお、前記機械特定部61は、前記第2〜第n番目の建設機械についても、上記と同様に各姿勢情報を前記姿勢推定情報と比較し、各姿勢情報に対応する建設機械をそれぞれ特定する。
前記情報出力部62は、前記機械特定部61により特定された前記建設機械100の位置に関する位置情報を出力する。本実施の形態では、前記位置情報は、前記機械特定部61により特定された前記建設機械100の前記3次元座標系における座標である。
前記建設機械100の座標は、例えば、当該建設機械100において予め設定された基準位置の座標である。当該基準位置は特に限定されるものではなく任意に設定可能である。前記基準位置は、例えば、前記複数の特徴点のうち何れかの特徴点に対応する位置に設定されてもよい。この場合、前記基準位置は、前記複数の特徴点のうち、前記下部走行体101に含まれる何れかの特徴点又は前記上部旋回体102に含まれる何れかの特徴点に対応する位置であるのが好ましい。前記下部走行体101及び前記上部旋回体102は、前記アタッチメント103に比べて変位が小さいからである。前記基準位置が前記複数の特徴点のうち何れかの特徴点に対応する位置に設定される場合、前記情報出力部62は、その特徴点に対応する位置の3次元座標系における座標を前記位置情報として出力する。
また、前記基準位置は、前記特徴点に対応する位置以外の位置に設定されてもよい。この場合、前記基準位置は、例えば、上部旋回体102の前記旋回中心軸上の何れかの位置に設定されてもよい。前記基準位置が前記特徴点に対応する位置以外の位置に設定される場合、前記情報出力部62は、前記機械特定部61により特定された前記第1〜第n番目の建設機械100のそれぞれの基準位置の座標を前記画像に基づいて演算し、演算された前記第1〜第n番目の建設機械100のそれぞれの前記3次元座標系における座標を前記位置情報として出力する。
前記表示装置64は、前記情報出力部62から出力される前記位置情報を、前記作業現場の画像とともに表示する。図8は、前記位置特定システムにおける前記サーバ60の表示装置64(又は建設機械100の表示装置26)に表示される作業現場の画像と位置情報の一例を示す図である。
当該作業現場の画像は、前記複数の特定対象建設機械100A〜100Nのそれぞれの画像を含む。具体的に、図8において、左上の画像は、第1の特定対象建設機械100Aであり、右上の画像は、第2の特定対象建設機械100Bであり、右下の画像は、第3の特定対象建設機械100Cであり、左下の画像は、第n番目の特定対象建設機械100Nである。
前記情報出力部62は、例えば、前記第1の特定対象建設機械100Aの前記位置情報と、前記第1の特定対象建設機械を示す機械情報と、を対応付けて出力し、前記第2の特定対象建設機械100Bの前記位置情報と、前記第2の特定対象建設機械100Bを示す機械情報と、を対応付けて出力する。これにより、前記表示装置64(26)には、前記機械情報と前記位置情報とが互いに対応付けられて表示される。例えば、前記第1の特定対象建設機械を示す前記機械情報は、前記第1の特定対象建設機械100Aを識別するための第1の識別情報に基づいて特定されるものであり、図8に示す具体例では、「ショベルID_1」である。
前記位置情報は、3次元座標系における座標(X,Y,Z)により表されている。当該3次元座標系は、前記カメラ座標系であってもよく、前記世界座標系であってもよい。上述したように、前記カメラ位置座標演算部51は、前記測位装置43,44のそれぞれから入力される前記測位データに基づいて、世界座標系における前記第1及び第2のカメラ41,42のそれぞれの座標を演算することができる。従って、前記特徴点座標演算部54により演算された前記カメラ座標系における座標は、前記世界座標系における座標に変換可能である。
次に、本実施の形態における位置特定システムの動作について説明する。図9は、前記位置特定システムの前記機械コントローラ30の演算処理を示すフローチャートである。図9に示す演算処理は、前記複数の特定対象建設機械100A〜100Nのそれぞれの機械コントローラ30が行うものである。
まず、前記機械コントローラ30の姿勢情報生成部32は、前記検出部20を構成する前記角度センサ21〜25のそれぞれにより検出された検出結果(パラメータ)を取得する(ステップS11)。
次に、前記姿勢情報生成部32は、取得した前記パラメータに基づいて前記姿勢情報を生成する(ステップS12)。具体的に、前記姿勢情報生成部32は、前記角度センサ21〜25のそれぞれから取得した前記検出結果(パラメータ)に基づいて、前記ブーム角度、前記アーム角度、前記バケット角度、前記旋回角度及び前記車体傾斜角度をそれぞれ演算する。
次に、前記タイムスタンプ処理部33は、前記姿勢情報が生成された時刻に対応する時刻情報を前記姿勢情報に付与する(ステップS13)。具体的に、前記タイムスタンプ処理部33は、前記ブーム角度、前記アーム角度、前記バケット角度、前記旋回角度及び前記車体傾斜角度のそれぞれを前記時刻情報と対応付けて記憶する。
次に、前記機械側通信部34は、前記姿勢情報と、当該姿勢情報に付与された前記時刻情報と、対応する特定対象建設機械100を識別するための識別情報と、を対応付けて送信する(ステップS14)。
図10は、前記位置特定システムの前記カメラコントローラ50の演算処理を示すフローチャートである。
まず、前記カメラコントローラ50の前記カメラ位置座標演算部51は、前記測位装置43,44のそれぞれから前記測位データを取得し、当該測位データに基づいて世界座標系における前記第1及び第2のカメラ41,42のそれぞれの座標を演算する(ステップS21)。
次に、前記姿勢推定部52は、前記撮像装置40の前記第1のカメラ41及び前記第2のカメラ42から第1の画像及び第2の画像をそれぞれ取得する(ステップS22)。
次に、前記姿勢推定部52は、取得した前記第1の画像に含まれる前記複数の建設機械100の画像を画像処理することにより、前記第1の建設機械100Aの画像、前記第2の建設機械100Bの画像、前記第3の建設機械100Cの画像、及び前記第n番目の建設機械100Nの画像を個別に認識し、それぞれの建設機械の画像を個別に取り込む(ステップS23)。同様に、前記姿勢推定部52は、取得した前記第2の画像に含まれる前記複数の建設機械100の画像を画像処理することにより、前記第1〜第n番目の建設機械100A〜100Nの画像を個別に認識し、それぞれの建設機械の画像を個別に取り込む(ステップS23)。
次に、前記姿勢推定部52の前記推定処理部53は、ステップS23において個別に取り込まれた各建設機械の画像を前記ニューラルネットワークに入力することにより、その建設機械100の画像について複数の特徴点(複数の関節位置)を抽出し、抽出された前記複数の特徴点を出力する(ステップS24)。
次に、前記姿勢推定部52の前記特徴点座標演算部54は、前記推定処理部53により抽出された前記複数の特徴点のそれぞれの座標を演算する(ステップS25)。すなわち、前記特徴点座標演算部54は、前記複数の特徴点のそれぞれについて、前記撮像装置40(ステレオカメラ)を基準とする特徴点の3次元座標(カメラ座標系の座標)を演算する。
次に、前記姿勢推定部52の前記角度演算部55は、前記特徴点座標演算部54により演算された前記複数の特徴点の座標に基づいて、前記ブーム角度、前記アーム角度、前記バケット角度、前記旋回角度、及び前記車体傾斜角度のそれぞれを演算する(ステップS26)。これにより、前記姿勢推定部51は、前記撮像装置40から入力される前記画像に基づいて前記複数の建設機械のそれぞれの姿勢に関する姿勢推定情報を生成する。
次に、前記姿勢推定部52は、前記複数の特徴点の前記カメラ座標系における座標を、世界座標系における座標に変換する演算を行う(ステップS27)。
次に、前記タイムスタンプ処理部56は、前記姿勢推定情報が生成された時刻に対応する時刻情報を前記姿勢推定情報に付与する(ステップS28)。具体的に、前記タイムスタンプ処理部56は、前記姿勢推定情報を構成する前記ブーム角度、前記アーム角度、前記バケット角度、前記旋回角度、及び前記車体傾斜角度のそれぞれを前記時刻情報と対応付けて記憶する。
次に、前記カメラ側通信部57は、前記姿勢推定情報と当該姿勢推定情報に付与された前記時刻情報とを対応付けて送信する(ステップS29)。
図11は、前記位置特定システムの前記サーバ60の演算処理を示すフローチャートである。
まず、前記サーバ60は、前記時刻情報が付与されて前記カメラコントローラ50から送信された前記姿勢推定情報を取得する(ステップS41)。
次に、前記サーバ60は、図10のステップS27において演算された前記複数の特徴点の世界座標系における座標のデータを取得する(ステップS42)。
次に、前記サーバ60は、前記時刻情報が付与されて前記機械コントローラ30から送信された前記姿勢情報を取得する(ステップS43)。
次に、前記サーバ60の前記機械特定部61は、取得された前記姿勢情報及び前記姿勢推定情報を比較し(ステップS44)、前記画像に含まれる前記複数の建設機械100のうち前記姿勢情報に対応する建設機械を特定する(ステップS45)。前記ステップS44及びS45の処理は、前記複数の特定対象建設機械100A〜100Nのそれぞれの姿勢情報について行われる。
次に、前記サーバ60の前記情報出力部62は、前記機械特定部61により特定された前記建設機械100の位置に関する位置情報と、前記機械情報と、を対応付けて出力する(ステップS46)。出力された前記位置情報及び前記機械情報は、互いに対応付けられた状態で、例えば図8に示すように前記表示装置64(26)に表示される。
[変形例]
本発明は、以上説明した実施の形態に限定されない。本発明は、例えば次のような態様を含むことが可能である。
(A)動作状況情報について
前記位置特定システムは、動作状況生成部をさらに備えていてもよい。当該動作状況生成部は、例えば前記サーバ60に設けられる。前記動作状況生成部は、前記撮像装置40により取得される前記画像の時系列の変化に基づいて前記複数の建設機械100の動作状況に関する動作状況情報を生成する。前記表示装置26及び前記表示装置64の少なくとも一方は、前記動作状況生成部により生成される前記動作状況情報を表示する。前記動作状況情報は、前記作業現場に配置される複数の建設機械100のそれぞれの前記表示装置26に表示されることが好ましい。
前記動作状況情報は、前記建設機械100の前記位置情報、前記姿勢情報、前記姿勢推定情報及び作業内容の情報の少なくとも一つを含んでいてもよい。前記建設機械100の前記作業内容は、例えば、時系列の前記姿勢情報又は時系列の前記姿勢推定情報に基づいて判定される。また、前記動作状況情報は、時系列の前記位置情報、時系列の前記姿勢情報、時系列の前記姿勢推定情報、及び時系列の前記作業内容の情報の少なくとも一つを含んでいてもよい。
前記動作状況生成部は、例えば、動作予測部を含んでいてもよい。前記動作予測部は、前記画像の時系列の変化に基づいて前記複数の建設機械の動作を予測する。前記表示装置26及び前記表示装置64の少なくとも一方は、前記動作予測部により予測された前記複数の建設機械の動作の予測情報を表示する。前記予測情報は、前記複数の建設機械100のそれぞれの前記表示装置26に表示されることが好ましい。
前記動作予測部は、例えば、前記姿勢情報(又は前記姿勢推定情報)と、前記姿勢情報(又は前記姿勢推定情報)に付与された前記時刻情報と、前記識別情報とに基づいて、当該識別情報に対応する建設機械100の時系列の姿勢情報(又は時系列の姿勢推定情報)を生成し、当該時系列の姿勢情報(又は時系列の姿勢推定情報)に基づいて、所定時間後の当該建設機械100の動作を予測してもよい。また、前記動作予測部は、例えば、前記複数の特徴点のうちの何れか特徴点の座標の時系列変化に基づいて前記建設機械100の動作を予測してもよい。具体的に、前記動作予測部は、例えば、前記座標の時系列変化に基づいて前記特徴点の動作の速度及び加速度を演算し、これらの速度及び加速度に基づいて所定時間後の前記特徴点の位置を予測してもよい。また、前記動作予測部は、予め機械学習したニューラルネットワークを用いて、前記画像の時系列の変化に基づいて前記複数の建設機械の動作を予測してもよい。
(B)撮像装置について
前記実施の形態では、前記撮像装置40が第1のカメラ41と前記第2のカメラ42とを含むステレオカメラであるが、本発明はこれに限られない。本発明では、前記撮像装置は、単一のカメラにより構成されていてもよく、距離カメラにより構成されていてもよい。また、前記撮像装置は、3台以上の複数のカメラにより構成されていてもよい。
(C)サーバについて
前記実施の形態では、前記位置特定システムは、複数の機械コントローラ30と、前記カメラコントローラ50と、前記サーバ60と、を備えるが、本発明はこれに限られない。本発明では、前記サーバ60の機能は、例えば、前記カメラコントローラ50に含まれていてもよく、この場合には、前記サーバ60を省略することができる。また、本発明では、前記カメラコントローラ50の機能は、前記サーバ60に含まれていてもよく、この場合には、前記カメラコントローラ50を省略することができる。
(D)建設機械について
前記先端アタッチメントは、バケットに限られず、例えばグラップル、圧砕機、ブレーカ、フォークなどの他の先端アタッチメントであってもよい。また、前記建設機械は、前記油圧ショベルに限られず、他の建設機械であってもよい。また、前記実施の形態では、前記建設機械は、走行可能な下部走行体101を備えるが、本発明はこれに限られない。本発明では、前記建設機械は、特定の場所に設置された基台に上部旋回体102が支持される構造を有するものであってもよい。
(E)姿勢情報及び姿勢推定情報について
前記実施の形態では、前記姿勢情報は、前記ブーム角度、前記アーム角度、前記バケット角度、前記旋回角度及び前記車体傾斜角度を含み、前記姿勢推定情報は、前記ブーム角度(ブーム推定角度)、前記アーム角度(アーム推定角度)、前記バケット角度(バケット推定角度)、前記旋回角度(旋回推定角度)、及び前記車体傾斜角度(車体傾斜推定角度)を含むが、本発明は、これに限られない。本発明では、前記姿勢情報は、前記ブーム角度、前記アーム角度、前記バケット角度、前記旋回角度及び前記車体傾斜角度のうちの少なくとも一つであってもよく、前記姿勢推定情報は、前記ブーム角度、前記アーム角度、前記バケット角度、前記旋回角度、及び前記車体傾斜角度のうちの少なくとも一つであってもよい。
(F)画像に基づく建設機械の姿勢の推定について
前記実施の形態では、前記姿勢推定部52による前記画像に基づく前記建設機械100の姿勢の推定が、予め機械学習したニューラルネットワーク(姿勢推定アルゴリズム)を用いて行われるが、本発明はこれに限られない。本発明では、前記建設機械の姿勢の推定は、前記ニューラルネットワークを用いた手法以外の他の手法により行われるものであってもよい。前記他の手法としては、例えば、前記ニューラルネットワークを用いた手法以外の機械学習を用いた手法、時系列アルゴリズムなどを例示できる。
20 検出部
21 ブーム角度センサ
22 アーム角度センサ
23 バケット角度センサ
24 旋回角度センサ
25 車体傾斜角度センサ
26 表示装置
30 機械コントローラ
32 姿勢情報生成部
33 タイムスタンプ処理部
34 機械側通信部
40 撮像装置
41 第1のカメラ
42 第2のカメラ
50 カメラコントローラ
51 カメラ位置座標演算部
52 姿勢推定部
53 推定処理部
54 特徴点座標演算部
55 角度演算部
56 タイムスタンプ処理部
57 カメラ側通信部
60 サーバ
61 機械特定部
62 情報出力部
63 サーバ側通信部
64 表示装置
100 建設機械
100A,100B,100C,100N 特定対象建設機械

Claims (10)

  1. 作業現場に配置される建設機械の位置を特定するための位置特定システムであって、
    前記作業現場に配置される複数の建設機械のうち、当該作業現場における位置を特定する対象である少なくとも一つの特定対象建設機械に設けられる検出部であって、当該特定対象建設機械の姿勢を特定するためのパラメータを検出する検出部と、
    前記パラメータに基づいて前記特定対象建設機械の姿勢に関する姿勢情報を生成する姿勢情報生成部と、
    前記作業現場における前記複数の建設機械を含む画像を取得する撮像装置と、
    前記画像に基づいて前記複数の建設機械のそれぞれの姿勢を推定し、推定された前記姿勢に関する姿勢推定情報を前記複数の建設機械のそれぞれについて生成する姿勢推定部と、
    前記姿勢情報を、前記複数の建設機械のそれぞれについて生成された前記姿勢推定情報と比較することにより、前記画像に含まれる前記複数の建設機械のうち前記姿勢情報に対応する建設機械を特定する機械特定部と、
    前記機械特定部により特定された前記建設機械の位置に関する位置情報を前記画像に基づいて生成し、生成された前記位置情報を出力する情報出力部と、を備える位置特定システム。
  2. 請求項1に記載の位置特定システムであって、
    前記撮像装置は、第1のカメラと第2のカメラとを含むステレオカメラにより構成され、
    前記姿勢推定部は、前記ステレオカメラにより取得される前記画像を画像処理することにより、前記複数の建設機械のそれぞれの姿勢に関する前記姿勢推定情報を3次元座標系における座標に基づいて生成し、
    前記情報出力部は、前記機械特定部により特定された前記建設機械の前記位置情報として当該建設機械の前記3次元座標系における座標を出力する、位置特定システム。
  3. 請求項1又は2に記載の位置特定システムであって、
    前記姿勢情報が生成された時刻に対応する時刻情報を前記姿勢情報に付与し、前記姿勢推定情報が生成された時刻に対応する時刻情報を前記姿勢推定情報に付与するタイムスタンプ処理部をさらに備え、
    前記機械特定部は、互いに対応する前記時刻情報を有する前記姿勢情報と前記姿勢推定情報とを比較することにより前記画像に含まれる前記複数の建設機械のうち前記姿勢情報に対応する建設機械を特定する、位置特定システム。
  4. 請求項3に記載の位置特定システムであって、
    前記少なくとも一つの特定対象建設機械に設けられ、前記姿勢情報と当該姿勢情報に付与された前記時刻情報とを対応付けて送信する機械側通信部と、
    前記複数の建設機械から離れた場所に設置されるサーバに設けられ、前記機械側通信部とネットワークを介して接続されるサーバ側通信部と、をさらに備え、
    前記機械特定部は、前記サーバに設けられており、前記サーバ側通信部により受信される前記姿勢情報を、当該姿勢情報の前記時刻情報に対応する前記時刻情報を有する前記姿勢推定情報と比較する、位置特定システム。
  5. 請求項4に記載の位置特定システムであって、
    前記姿勢推定情報と当該姿勢推定情報に付与された前記時刻情報とを対応付けて送信するカメラ側通信部をさらに備え、
    前記サーバ側通信部は、前記カメラ側通信部とネットワークを介して接続され、
    前記機械特定部は、前記姿勢情報を、前記サーバ側通信部により受信される前記姿勢推定情報のうち、前記姿勢情報の前記時刻情報に対応する前記時刻情報を有する姿勢推定情報と比較する、位置特定システム。
  6. 請求項4又は5に記載の位置特定システムであって、
    前記情報出力部から出力された前記位置情報を表示する少なくとも一つの表示装置をさらに備える、位置特定システム。
  7. 請求項6に記載の位置特定システムであって、
    前記少なくとも一つの表示装置は、前記少なくとも一つの特定対象建設機械に設けられる、位置特定システム。
  8. 請求項6又は7に記載の位置特定システムであって、
    前記少なくとも一つの特定対象建設機械は、第1の特定対象建設機械と、第2の特定対象建設機械と、を含み、
    前記第1の特定対象建設機械に設けられた前記機械側通信部は、前記第1の特定対象建設機械の前記姿勢情報、当該姿勢情報に付与された前記時刻情報、及び前記第1の特定対象建設機械を識別するための第1の識別情報を、対応付けて送信するように構成され、
    前記第2の特定対象建設機械に設けられた前記機械側通信部は、前記第2の特定対象建設機械の前記姿勢情報、当該姿勢情報に付与された前記時刻情報、及び前記第2の特定対象建設機械を識別するための第2の識別情報を、対応付けて送信するように構成され、
    前記情報出力部は、前記第1の特定対象建設機械の前記位置情報と、前記第1の識別情報に基づいて特定される前記第1の特定対象建設機械を示す機械情報と、を対応付けて出力し、前記第2の特定対象建設機械の前記位置情報と、前記第2の識別情報に基づいて特定される前記第2の特定対象建設機械を示す機械情報と、を対応付けて出力する、位置特定システム。
  9. 請求項6〜8の何れか1項に記載の位置特定システムであって、
    前記撮像装置により取得される前記画像の時系列の変化に基づいて前記複数の建設機械の動作状況に関する動作状況情報を生成する動作状況生成部をさらに備え、
    前記少なくとも一つの表示装置は、前記動作状況生成部により生成される前記動作状況情報を表示する、位置特定システム。
  10. 請求項9に記載の位置特定システムであって、
    前記動作状況生成部は、前記画像の時系列の変化に基づいて前記複数の建設機械の動作を予測する動作予測部を含み、
    前記少なくとも一つの表示装置は、前記動作予測部により予測された前記複数の建設機械の動作の予測情報を表示する、位置特定システム。
JP2019138432A 2019-07-29 2019-07-29 建設機械の位置特定システム Pending JP2021021637A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019138432A JP2021021637A (ja) 2019-07-29 2019-07-29 建設機械の位置特定システム
EP20846449.5A EP3985182A1 (en) 2019-07-29 2020-06-22 Position identification system for construction machinery
CN202080053076.4A CN114174608A (zh) 2019-07-29 2020-06-22 工程机械的位置确定系统
US17/626,320 US20220245856A1 (en) 2019-07-29 2020-06-22 Position identification system for construction machinery
PCT/JP2020/024279 WO2021019948A1 (ja) 2019-07-29 2020-06-22 建設機械の位置特定システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019138432A JP2021021637A (ja) 2019-07-29 2019-07-29 建設機械の位置特定システム

Publications (1)

Publication Number Publication Date
JP2021021637A true JP2021021637A (ja) 2021-02-18

Family

ID=74230611

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019138432A Pending JP2021021637A (ja) 2019-07-29 2019-07-29 建設機械の位置特定システム

Country Status (5)

Country Link
US (1) US20220245856A1 (ja)
EP (1) EP3985182A1 (ja)
JP (1) JP2021021637A (ja)
CN (1) CN114174608A (ja)
WO (1) WO2021019948A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022135239A (ja) * 2021-03-05 2022-09-15 日立建機株式会社 建設機械の動作制御システム
WO2022234668A1 (ja) * 2021-05-07 2022-11-10 ファナック株式会社 稼働管理装置
WO2023002677A1 (ja) * 2021-07-19 2023-01-26 浜松ホトニクス株式会社 傾斜推定システム、傾斜推定方法、傾斜推定プログラム、半導体検査システム及び生体観察システム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022152338A (ja) * 2021-03-29 2022-10-12 コベルコ建機株式会社 作業支援システムおよび作業支援複合システム
CN114758422B (zh) * 2022-06-15 2022-08-30 清华大学 施工机械设备动作实时智能识别方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6068429B2 (ja) * 2014-12-25 2017-01-25 ファナック株式会社 ロボット識別システム
JP2018017617A (ja) * 2016-07-28 2018-02-01 株式会社神戸製鋼所 建設機械
CN106650622B (zh) * 2016-11-18 2019-06-25 华南农业大学 基于混合lbf形状回归模型的挖掘机工作状态识别方法
JP6718399B2 (ja) * 2017-02-21 2020-07-08 日立建機株式会社 作業機械
JP6854164B2 (ja) * 2017-03-22 2021-04-07 株式会社トプコン 測量データ処理装置、測量データ処理方法、測量データ処理システムおよび測量データ処理用プログラム
JP6584601B2 (ja) 2018-07-17 2019-10-02 住友重機械工業株式会社 ショベルの処理装置及び作業内容判定方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022135239A (ja) * 2021-03-05 2022-09-15 日立建機株式会社 建設機械の動作制御システム
WO2022234668A1 (ja) * 2021-05-07 2022-11-10 ファナック株式会社 稼働管理装置
JP7502559B2 (ja) 2021-05-07 2024-06-18 ファナック株式会社 稼働管理装置
WO2023002677A1 (ja) * 2021-07-19 2023-01-26 浜松ホトニクス株式会社 傾斜推定システム、傾斜推定方法、傾斜推定プログラム、半導体検査システム及び生体観察システム
JP7229439B1 (ja) * 2021-07-19 2023-02-27 浜松ホトニクス株式会社 傾斜推定システム、傾斜推定方法、傾斜推定プログラム、半導体検査システム及び生体観察システム

Also Published As

Publication number Publication date
US20220245856A1 (en) 2022-08-04
CN114174608A (zh) 2022-03-11
EP3985182A1 (en) 2022-04-20
WO2021019948A1 (ja) 2021-02-04

Similar Documents

Publication Publication Date Title
WO2021019948A1 (ja) 建設機械の位置特定システム
US10822773B2 (en) Construction machine and construction management system
WO2017061518A1 (ja) 施工管理システム、施工管理方法、及び管理装置
JP6322612B2 (ja) 施工管理システム及び形状計測方法
JP6867132B2 (ja) 作業機械の検出処理装置及び作業機械の検出処理方法
JP6585697B2 (ja) 施工管理システム
JP7386592B2 (ja) 建設機械の操作補助システム
WO2021124654A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
JP2021021246A (ja) 建設機械の作業情報生成システム及び作業情報生成方法
JP6887229B2 (ja) 施工管理システム
JP6606230B2 (ja) 形状計測システム
JP2017032276A (ja) 位置計測システム
WO2021019950A1 (ja) 建設機械のデータ処理システム
US20220398512A1 (en) Work assist server, work assist method, and work assist system
JP7349947B2 (ja) 情報処理装置、作業機械、情報処理方法、情報処理プログラム
JP7263287B2 (ja) 作業機械
WO2023276285A1 (ja) 侵入検出システム
JP7065002B2 (ja) 作業機械
JP2023006464A (ja) 情報処理装置、情報処理装置の制御プログラム
JP2024093731A (ja) 作業機械の表示装置及び作業機械
CN118369678A (zh) 施工管理系统及施工管理方法