JP2019124663A - 先端アタッチメント寸法計測装置 - Google Patents
先端アタッチメント寸法計測装置 Download PDFInfo
- Publication number
- JP2019124663A JP2019124663A JP2018007339A JP2018007339A JP2019124663A JP 2019124663 A JP2019124663 A JP 2019124663A JP 2018007339 A JP2018007339 A JP 2018007339A JP 2018007339 A JP2018007339 A JP 2018007339A JP 2019124663 A JP2019124663 A JP 2019124663A
- Authority
- JP
- Japan
- Prior art keywords
- tip attachment
- camera
- image
- tip
- controller
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
【課題】距離分布を用いなくても、精度よく、先端アタッチメントの寸法を計測できるようにする。【解決手段】コントローラ(60)は、カメラ(40)に撮影された画像(Im)の中から、画像の時間的変化の度合いが所定値以下の範囲である簡素背景範囲Aを決定する。コントローラ(60)は、簡素背景範囲A内に先端アタッチメント25が映った画像であって、揺動している先端アタッチメント25の画像を、カメラ(40)に撮影させる。コントローラ(60)は、カメラ(40)に撮影された画像(Im)に基づいて、先端アタッチメント25の幅寸法X、および、先端アタッチメント25の基準位置25bから先端までの縦寸法Yを求める。【選択図】図5
Description
本発明は、作業機械の先端アタッチメントの寸法を計測する先端アタッチメント寸法計測装置に関する。
例えば特許文献1に、先端アタッチメント(同文献におけるアタッチメント)を含む距離分布を距離センサが計測し、距離分布に基づいて先端アタッチメントを認識する技術が記載されている(同文献の請求項1などを参照)。
同文献に記載の技術では、距離分布に基づいて先端アタッチメントの寸法など(同文献では特徴量)が認識される。距離分布を計測するために、距離センサが用いられる。しかし、距離センサは、単眼カメラなどに比べ、コストが高い場合がある。また、先端アタッチメントの寸法を計測する際、寸法計測の精度を確保することが重要である。
そこで、本発明は、距離分布を用いなくても、精度よく、先端アタッチメントの寸法を計測できる、先端アタッチメント寸法計測装置を提供することを目的とする。
本発明の先端アタッチメント寸法計測装置は、作業装置と、カメラと、コントローラと、を備える。前記作業装置は、作業機械の上部旋回体に取り付けられ、交換可能な先端アタッチメントを先端部に有する。前記カメラは、前記上部旋回体に取り付けられ、前記先端アタッチメントを含む画像を撮影する。前記コントローラは、前記カメラに撮影された画像の中から、画像の時間的変化の度合いが所定値以下の範囲である簡素背景範囲を決定する。前記コントローラは、前記簡素背景範囲内に前記先端アタッチメントが映った画像であって、回転軸を中心に揺動している前記先端アタッチメントの画像を、前記カメラに撮影させる。前記コントローラは、前記カメラに撮影された画像に基づいて、前記回転軸の方向における前記先端アタッチメントの画像上の幅寸法を取得する。前記コントローラは、取得した画像上の幅寸法から前記先端アタッチメントの実際の幅寸法を求める。前記先端アタッチメントの基準位置から先端までの、前記回転軸の方向に直交する方向における寸法を縦寸法とする。前記コントローラは、前記カメラに撮影された画像に基づいて、前記先端アタッチメントを揺動させたときの前記先端アタッチメントの画像上の縦寸法の最大値を取得する。前記コントローラは、取得した画像上の縦寸法の最大値から前記先端アタッチメントの実際の縦寸法を求める。
上記構成により、距離分布を用いなくても、精度よく、先端アタッチメントの寸法を計測できる。
図1〜図5を参照して、図1に示す先端アタッチメント寸法計測装置1について説明する。
先端アタッチメント寸法計測装置1は、先端アタッチメント25の寸法を計測する装置であり、作業機械10に設けられる。作業機械10は、建設作業などの作業を行う機械であり、例えば建設機械であり、例えばショベルなどである。作業機械10は、下部走行体11と、上部旋回体13と、作業装置20と、作業装置姿勢センサ30と、カメラ40と、図2に示すカメラ撮影範囲変更部45と、作業装置駆動部47と、コントローラ60と、を備える。
下部走行体11は、図1に示す作業機械10を走行させる部分であり、例えばクローラを備える。上部旋回体13は、下部走行体11よりも上に設けられ、下部走行体11に対して旋回可能である。上部旋回体13は、キャブ13c(運転室)を備える。
作業装置20は、上部旋回体13に取り付けられ、作業を行う装置である。作業装置20は、ブーム21と、アーム23と、先端アタッチメント25と、を備える。ブーム21は、上部旋回体13に回転可能に取り付けられる。アーム23は、ブーム21に回転可能に取り付けられる。
先端アタッチメント25は、作業装置20の先端部に設けられる。先端アタッチメント25は、複数種類に交換可能である。先端アタッチメント25の種類には、バケット(図1に示す例)、クラムシェル、ハサミ状の装置、ハンマ、マグネットなどがある。例えば、先端アタッチメント25がバケットの場合、先端アタッチメント25を、様々な寸法のバケットに交換可能である。先端アタッチメント25は、アーム23に回転(揺動)可能に取り付けられる。先端アタッチメント25の、アーム23に対する回転軸を、回転軸25aとする。先端アタッチメント25の寸法計測の基準となる位置を、基準位置25bとする。基準位置25bは、先端アタッチメント25の種類によらず決まる位置である。基準位置25bは、例えば、先端アタッチメント25の基端部であり、例えば、回転軸25aの位置(バケットピンの位置など)である。図5に示すように、基準位置25bなどにマーカー25mが取り付けられる。マーカー25mは、画像認識用の目印であり、所定の形状、模様、色彩などを有する。マーカー25mは、基準位置25bに取り付けられる。または、マーカー25mは、カメラ40から見たときに基準位置25bに相当する位置に取り付けられる。カメラ40から見たときに基準位置25bに相当する位置は、例えば、カメラ40から見たときに基準位置25bと重なる位置、または、これに近い位置などである。図5に示す例では、マーカー25mは、アーム23に取り付けられる。
作業装置姿勢センサ30は、図1に示す作業装置20の姿勢を検出するセンサである。作業装置姿勢センサ30は、ブーム角度センサ31と、アーム角度センサ33と、先端アタッチメント角度センサ35と、を備える。ブーム角度センサ31は、上部旋回体13に対するブーム21の角度(ブーム21角度)を検出する。例えば、ブーム角度センサ31は、ブーム21の基端部に設けられる角度センサ(エンコーダ)である。例えば角度センサである点は、アーム角度センサ33、および先端アタッチメント角度センサ35も同様である。例えば、ブーム角度センサ31は、ブーム21を駆動させるブームシリンダの伸縮量を検出することで、ブーム21角度を検出してもよい。この場合、ブームシリンダの伸縮量が、ブーム21角度に変換される。シリンダの伸縮量を検出することで角度を検出してもよい点は、アーム角度センサ33および先端アタッチメント角度センサ35も同様である。アーム角度センサ33は、ブーム21に対するアーム23の角度(アーム23角度)を検出する。先端アタッチメント角度センサ35は、アーム23に対する先端アタッチメント25の角度を検出する。
カメラ40は、先端アタッチメント25を含む画像を撮影可能である。カメラ40は、作業装置20およびその周囲の画像を撮影する。カメラ40は、先端アタッチメント25の可動範囲として想定される全範囲を撮影可能であることが好ましい。カメラ40は、上部旋回体13に取り付けられ、例えば、キャブ13c(例えば左前上部など)に取り付けられ、例えば、上部旋回体13のうちキャブ13c以外の部分に取り付けられてもよい。カメラ40は、例えば単眼カメラでもよく、例えばステレオカメラなどでもよい。カメラ40のコストを低くするために、カメラ40は単眼カメラであることが好ましい。カメラ40の撮影範囲は、可変でもよく、固定でもよい。カメラ40は、上部旋回体13に対して移動(例えば回動)可能でもよく、上部旋回体13に対して固定されてもよい。カメラ40は、ズーム機能を有してもよい。なお、図1に、カメラ40の画角40aの一例を示す。また、以下では、特に断らない限り、カメラ40の撮影範囲が可変である場合について説明する。
カメラ撮影範囲変更部45は、カメラ40の撮影範囲を変える。例えば、カメラ撮影範囲変更部45は、上部旋回体13(図1参照)に対してカメラ40を移動させることでカメラ40の撮影範囲を変えてもよい。例えば、カメラ撮影範囲変更部45は、カメラ40のズーム位置を変えることで、カメラ40の撮影範囲を変えてもよい。例えば、カメラ撮影範囲変更部45は、下部走行体11(図1参照)に対して上部旋回体13を旋回させることによって、カメラ40の撮影範囲を変更してもよい。
作業装置駆動部47は、作業装置20(図1参照)を駆動する。具体的には例えば、作業装置駆動部47は、作業装置20を駆動させるアクチュエータ(例えばシリンダ)、および、アクチュエータを制御する油圧回路などである。
コントローラ60は、信号(情報)の入出力、および演算(判定、算出)などを行う。コントローラ60には、作業装置姿勢センサ30、カメラ40、カメラ撮影範囲変更部45、および作業装置駆動部47などが接続される。コントローラ60により実現される機能には、例えば、カメラ撮影範囲制御機能61と、作業装置姿勢制御機能63と、干渉防止制御機能65と、がある。カメラ撮影範囲制御機能61は、カメラ40の撮影範囲を制御(自動制御)する機能である。作業装置姿勢制御機能63は、作業装置20の姿勢を制御(自動制御)する機能である。なお、干渉防止制御機能65については後述する。また、コントローラ60には、これら以外の機能があってもよい。
(作動)
図3に示すフローチャートを参照して、先端アタッチメント寸法計測装置1の作動(主にコントローラ60の作動)を説明する。なお、以下では、先端アタッチメント寸法計測装置1の各構成要素(カメラ40、コントローラ60など)については主に図1を参照し、フローチャートの各ステップについては図3を参照して説明する。
図3に示すフローチャートを参照して、先端アタッチメント寸法計測装置1の作動(主にコントローラ60の作動)を説明する。なお、以下では、先端アタッチメント寸法計測装置1の各構成要素(カメラ40、コントローラ60など)については主に図1を参照し、フローチャートの各ステップについては図3を参照して説明する。
ステップS11では、図4に示すように、カメラ40(図1参照)が、画像を撮影する。カメラ40に撮影された画像を、カメラ画像Imとする。そして、コントローラ60(図1参照)が、カメラ画像Imの中から、簡素背景範囲Aを決定(選択)する。さらに詳しくは、コントローラ60は、カメラ画像Imの中から、画像が動いていない、または、ほぼ動いていない範囲を、簡素背景範囲Aとして選択する。具体的には、コントローラ60には、画像の時間的変化の度合いに関する所定値(閾値)が、予め設定される。そして、コントローラ60は、カメラ画像Imのうち、画像の時間的変化の度合いが所定値以下の範囲を、簡素背景範囲Aとする。コントローラ60は、カメラ画像Imの中で、画像の時間的変化の度合いが最も少ない部分およびその周辺を、簡素背景範囲Aとしてもよい。コントローラ60は、画像の時間的変化の度合いだけでなく、画像の形状や色の複雑さにも基づいて、簡素背景範囲Aを決定してもよい。
ステップS21およびS23では、図1に示すコントローラ60は、簡素背景範囲A(図4参照。以下、簡素背景範囲Aについて同様)内に先端アタッチメント25が映るように、カメラ40の撮影範囲および作業装置20の姿勢を制御する。
ステップS21では、コントローラ60は、簡素背景範囲A内に先端アタッチメント25が映り得るように、カメラ40の撮影範囲を制御(自動制御)する。図2に示すコントローラ60は、カメラ撮影範囲変更部45に指令を出力することで、カメラ40の撮影範囲を制御する。カメラ40の撮影範囲の制御の具体例は、次の通りである。図4に示す例では、作業装置20の姿勢を変えても、簡素背景範囲A内に先端アタッチメント25が映り得ない。そこで、図1に示すコントローラ60は、例えば、上部旋回体13に対するカメラ40の位置を変えてもよく、例えば、下部走行体11に対して上部旋回体13を旋回させてもよい。また、例えば、カメラ画像Imの中で寸法計測に用いられる部分が決まっている場合(例えば画面中央などと決まっている場合)に、寸法計測に用いられる部分に簡素背景範囲Aが配置されるように、カメラ40の撮影範囲が制御されてもよい。また、例えば、カメラ40がズーム機能を有する場合に、カメラ画像Im内での簡素背景範囲Aの割合ができるだけ多くなるように、カメラ40のズーム位置が設定されてもよい。なお、このステップS21の処理が完了した時点では、簡素背景範囲A内に先端アタッチメント25が映っていなくてもよい。下記のステップS23で作業装置20の姿勢を変えたときに簡素背景範囲A内に先端アタッチメント25が映ることが可能となるように、カメラ40の撮影範囲が設定されればよい。このステップS21で設定されたカメラ40の撮影範囲は、例えば、寸法計測が終了するまで(図3に示す一連のフローが終了するまで)固定される(変更されてもよい)。
ステップS23では、図1に示すコントローラ60は、簡素背景範囲A内に先端アタッチメント25が映るように、作業装置20の姿勢を制御(自動制御)する。コントローラ60は、作業装置駆動部47(図2参照)に指令を出力することで、作業装置20の姿勢を制御する。コントローラ60は、ブーム21およびアーム23の姿勢(角度)を制御する。ここでは、コントローラ60は、アーム23に対する先端アタッチメント25の角度は制御しなくてもよい。コントローラ60は、先端アタッチメント25を揺動(下記のステップS41を参照)させたときに、簡素背景範囲A内に先端アタッチメント25が映り続けることが可能となるように、作業装置20の姿勢を制御する。このステップS23で設定されたブーム21およびアーム23の姿勢は、例えば、寸法計測が終了するまで(図3に示す一連のフローが終了するまで)固定される(変更されてもよい)。
ステップS31では、コントローラ60は、カメラ画像Im中の基準位置25bが映る位置(カメラ画像Imにおける座標)を取得する。この処理は、例えば、次の[例1a]、[例1b]、または[例1c]のように行われる。[例1a]コントローラ60は、作業装置姿勢センサ30に検出された作業装置20の姿勢に基づいて、カメラ画像Im中の基準位置25bが映る位置を算出する。さらに詳しくは、コントローラ60は、ブーム21角度、およびアーム23角度に基づいて、この算出を行う。また、コントローラ60は、ブーム21の構造の情報(寸法や形状など)、およびアーム23の構造の情報に基づいて、この算出を行ってもよい。また、コントローラ60は、上部旋回体13におけるカメラ40の位置の情報、具体的には例えば、カメラ40の位置とブーム21の基端部との相対位置の情報に基づいて、この算出を行ってもよい。
[例1b]コントローラ60は、図5に示すカメラ画像Imからマーカー25mを認識(画像認識)することで、カメラ画像Im中の基準位置25bが映る位置を取得してもよい。[例1c]コントローラ60は、作業装置姿勢センサ30に検出された作業装置20の姿勢、および、マーカー25mの画像認識に基づいて、カメラ画像Im中の基準位置25bが映る位置を取得してもよい。この場合、基準位置25b以外の位置に、マーカー25mと同じもの、または似たものがあっても、コントローラ60は、カメラ画像Im中の基準位置25bが映る位置を精度よく取得できる。
ステップS41では、図1に示すコントローラ60は、先端アタッチメント25を揺動させる。コントローラ60は、作業装置駆動部47(図2参照)に指令を出力することで、先端アタッチメント25を揺動(自動的に揺動)させる。例えば、コントローラ60は、アーム23に対して先端アタッチメント25が回動可能な範囲の全域で、先端アタッチメント25を揺動させる。例えば、先端アタッチメント25がバケットの場合、コントローラ60は、最も掘削側(すくい側)と、最も排土側と、の間の全域で、先端アタッチメント25を揺動させる。このとき、カメラ40は、簡素背景範囲A内に映った、揺動している先端アタッチメント25の画像を、撮影(時間的に連続して撮影)する。
なお、コントローラ60には、先端アタッチメント25を揺動させない条件が予め設定されてもよい。例えば、先端アタッチメント25を揺動させれば先端アタッチメント25が地面などと干渉すると予想される場合は、コントローラ60は、先端アタッチメント25を揺動させなくてもよい。具体的には例えば、平らな地面に相当する面(下部走行体11の底面と平行かつ下部走行体11の底面と平行な仮想面)に対する、基準位置25bの高さが所定値以下の場合、コントローラ60は、先端アタッチメント25を揺動させなくてもよい。なお、このステップS41の時点では、先端アタッチメント25の正確な寸法は不明である。一方、作業装置20に設けられると想定される先端アタッチメント25の寸法は、おおよそ決まっている(ある範囲内に限定される)。そこで、例えば、コントローラ60は、作業装置20に設けられると想定される先端アタッチメント25の中で最も大きいものを揺動させても、先端アタッチメント25が地面などと干渉しないと判断できる場合に、先端アタッチメント25を揺動させてもよい。
ステップS43では、コントローラ60は、図5に示すように、カメラ画像Imに基づいて(画像処理により)、先端アタッチメント25の幅寸法Xを取得する。幅寸法Xは、先端アタッチメント25の揺動の回転軸25aが延びる方向(回転軸25a方向)における先端アタッチメント25の寸法である。この処理の詳細は次の通りである。カメラ画像Imにおける、回転軸25aの方向を、画像横方向xとする。カメラ画像Imにおける、回転軸25aに直交する方向(画像横方向xに直交する方向)を、画像縦方向yとする。コントローラ60は、先端アタッチメント25の画像横方向xにおける幅寸法X(以下、「画像上の幅寸法X」ともいう)を取得する。そして、コントローラ60は、画像上の幅寸法Xから、実際の先端アタッチメント25の幅寸法X(以下、「実際の幅寸法X」ともいう)を求める(算出する、換算する)。実際の幅寸法Xは、回転軸25aの方向における、実際の先端アタッチメント25の寸法(メートルなどの単位で表される寸法)である。この換算は、例えば、図1に示すカメラ40から基準位置25bまでの距離、および、カメラ40のズーム機能を利用している場合はズーム位置などに基づいて行われる(ステップS45での換算も同様)。なお、コントローラ60は、先端アタッチメント25の先端部の幅寸法Xを取得してもよく(図5参照)、先端アタッチメント25全体(基端部から先端部までの全体)の幅寸法Xを取得してもよい(図示なし)。
ステップS45では、コントローラ60は、図5に示すように、カメラ画像Imに基づいて(画像処理により)、先端アタッチメント25を揺動させたときの縦寸法Yの最大値Ymaxを取得する。縦寸法Yは、先端アタッチメント25の基準位置25bから先端までの、回転軸25aの方向に直交する方向における寸法である。この処理の詳細は次の通りである。コントローラ60は、基準位置25bから、先端アタッチメント25の先端までの、画像縦方向yにおける縦寸法Y(以下「画像上の縦寸法Y」ともいう)を取得する。さらに詳しくは、基準位置25bの画像縦方向yの座標と、先端アタッチメント25の先端の画像縦方向yの座標と、の差分を算出する。先端アタッチメント25が揺動する(ステップS41参照)と、画像上の縦寸法Yが、増加または減少する。コントローラ60は、先端アタッチメント25を揺動させたときの、画像上の縦寸法Yの最大値Ymax(画像上の最大値Ymax)を取得する。そして、コントローラ60は、画像上の縦寸法Yの最大値Ymaxから、実際の先端アタッチメント25の縦寸法Yの最大値Ymaxを求める(算出する、換算する)(幅寸法Xの換算と同様)。
そして、図1に示すコントローラ60は、先端アタッチメント25の寸法計測の処理を終了する。コントローラ60は、先端アタッチメント25の寸法を、例えば、図2に示す干渉防止制御機能65などの制御パラメータに反映させる。干渉防止制御機能65は、先端アタッチメント25が周囲の物と干渉することを防ぐように、作業装置20の動作を制御(制限)する機能である。上記「周囲の物」は、例えば、上部旋回体13、下部走行体11、建物の屋根、天井、壁、または床などである。
(効果)
図1に示す先端アタッチメント寸法計測装置1による効果は次の通りである。
図1に示す先端アタッチメント寸法計測装置1による効果は次の通りである。
(第1の発明の効果)
先端アタッチメント寸法計測装置1は、作業装置20と、カメラ40と、コントローラ60と、を備える。作業装置20は、作業機械10の上部旋回体13に取り付けられる。作業装置20は、交換可能な先端アタッチメント25を先端部(作業装置20の先端部)に有する。カメラ40は、上部旋回体13に取り付けられ、先端アタッチメント25を含む画像(カメラ画像Im(図4参照))を撮影する。
先端アタッチメント寸法計測装置1は、作業装置20と、カメラ40と、コントローラ60と、を備える。作業装置20は、作業機械10の上部旋回体13に取り付けられる。作業装置20は、交換可能な先端アタッチメント25を先端部(作業装置20の先端部)に有する。カメラ40は、上部旋回体13に取り付けられ、先端アタッチメント25を含む画像(カメラ画像Im(図4参照))を撮影する。
[構成1−1]コントローラ60は、カメラ40に撮影された画像(カメラ画像Im)の中から、画像の時間的変化の度合いが所定値以下の範囲である簡素背景範囲A(図4参照)を決定する。コントローラ60は、図5に示すように、簡素背景範囲A内に先端アタッチメント25が映った画像であって、回転軸25aを中心に揺動しているの先端アタッチメント25の画像を、カメラ40に撮影させる。
[構成1−2]コントローラ60(図1参照)は、カメラ40(図1参照)に撮影された画像(カメラ画像Im)に基づいて、回転軸25aの方向における、先端アタッチメント25の画像上の幅寸法Xを取得する。コントローラ60は、取得した画像上の幅寸法Xから、先端アタッチメント25の実際の幅寸法Xを求める。先端アタッチメント25の基準位置25bから先端までの、回転軸25aの方向に直交する方向における寸法を、縦寸法Yとする。コントローラ60は、カメラ40に撮影された画像(カメラ画像Im)に基づいて、先端アタッチメント25を揺動させたときの先端アタッチメント25の画像上の縦寸法Yの最大値Ymaxを取得する。コントローラ60は、取得した画像上の縦寸法Yの最大値Ymaxから、先端アタッチメント25の実際の縦寸法Yを求める。
上記[構成1−1]では、カメラ画像Imでの、先端アタッチメント25の周囲の画像(背景)の時間的変化の度合いが所定値以下である(変化が少ない)。よって、コントローラ60(図1参照)は、先端アタッチメント25と背景とを区別しやすく、揺動している先端アタッチメント25の外形(輪郭)を認識しやすい。その結果、先端アタッチメント25の寸法計測を精度よく行える。
また、上記[構成1−1]では、図1に示すコントローラ60は、先端アタッチメント25と背景とを区別する際に、先端アタッチメント25およびその周囲に映る物から、カメラ40までの、距離分布の情報を用いる必要がない。また、上記[構成1−2]では、コントローラ60は、先端アタッチメント25の寸法を取得する際に、先端アタッチメント25からカメラ40までの距離分布の情報を用いる必要がない。よって、カメラ40は距離分布の情報を取得する必要がない。よってカメラ40が距離分布の情報を取得する必要がある場合に比べ、カメラ40にかかるコストを抑制できる。
(第2の発明の効果)
[構成2]先端アタッチメント寸法計測装置1は、作業装置20の姿勢を検出する作業装置姿勢センサ30を備える。コントローラ60は、作業装置姿勢センサ30に検出された作業装置20の姿勢に基づいて、カメラ40に撮影された画像(カメラ画像Im)中の基準位置25bが映る位置を取得する。
[構成2]先端アタッチメント寸法計測装置1は、作業装置20の姿勢を検出する作業装置姿勢センサ30を備える。コントローラ60は、作業装置姿勢センサ30に検出された作業装置20の姿勢に基づいて、カメラ40に撮影された画像(カメラ画像Im)中の基準位置25bが映る位置を取得する。
上記[構成2]により、図5に示すカメラ画像Im中の基準位置25bが映る位置を、コントローラ60が画像認識を用いて取得する場合に比べ、図1に示すコントローラ60の処理を簡素化でき、コントローラ60の計算負荷を抑制できる。なお、上記「画像認識を用いて取得する場合」は、例えば、コントローラ60(図1参照)が、カメラ画像Im(図5参照)におけるアーム23の形状などを認識することで、カメラ画像Im中の基準位置25bが映る位置を取得する場合などである。
(第3の発明の効果)
[構成3]先端アタッチメント寸法計測装置1は、図5に示すように、マーカー25mを備える。マーカー25mは、基準位置25bに取り付けられる、または、カメラ40(図1参照)から見たときに基準位置25bに相当する位置に取り付けられる。コントローラ60(図1参照)は、カメラ40に撮影された画像(カメラ画像Im)からマーカー25mを認識することで、カメラ40に撮影された画像(カメラ画像Im)中の基準位置25bが映る位置を取得する。
[構成3]先端アタッチメント寸法計測装置1は、図5に示すように、マーカー25mを備える。マーカー25mは、基準位置25bに取り付けられる、または、カメラ40(図1参照)から見たときに基準位置25bに相当する位置に取り付けられる。コントローラ60(図1参照)は、カメラ40に撮影された画像(カメラ画像Im)からマーカー25mを認識することで、カメラ40に撮影された画像(カメラ画像Im)中の基準位置25bが映る位置を取得する。
上記[構成3]により、コントローラ60は、マーカー25mを使わない画像認識を用いる場合に比べ、カメラ画像Im中の基準位置25bが映る位置を、正確に取得できる。その結果、先端アタッチメント25の寸法計測をより精度よく行える。上記「マーカー25mを使わない画像認識を用いる場合」は、例えば、コントローラ60(図1参照)が、カメラ画像Imにおけるアーム23の形状などを認識することで、カメラ画像Im中の基準位置25bが映る位置を取得する場合などである。
(変形例1)
図6および図7を参照して、図6に示す変形例1の先端アタッチメント寸法計測装置101について、上記実施形態との相違点を説明する。なお、変形例1の先端アタッチメント寸法計測装置101のうち、上記実施形態との共通点については、上記実施形態と同一の符号を付すなどして、説明を省略する。共通点の説明を省略する点については、後述する変形例2の説明も同様である。先端アタッチメント寸法計測装置101は、撮影範囲ガイダンス装置170を備える。
図6および図7を参照して、図6に示す変形例1の先端アタッチメント寸法計測装置101について、上記実施形態との相違点を説明する。なお、変形例1の先端アタッチメント寸法計測装置101のうち、上記実施形態との共通点については、上記実施形態と同一の符号を付すなどして、説明を省略する。共通点の説明を省略する点については、後述する変形例2の説明も同様である。先端アタッチメント寸法計測装置101は、撮影範囲ガイダンス装置170を備える。
上記実施形態のステップS21(図3参照)では、図4に示す簡素背景範囲A内に先端アタッチメント25が映り得るように、図1に示すカメラ40の撮影範囲を、コントローラ60が自動的に制御した。一方、図7に示す本変形例のステップS121では、図4に示す簡素背景範囲A内に先端アタッチメント25が映り得るように、図6に示す撮影範囲ガイダンス装置170が、カメラ40の撮影範囲のガイダンスを行う。具体的には、撮影範囲ガイダンス装置170は、図4に示す簡素背景範囲A内に先端アタッチメント25が映り得るように、図6に示すカメラ40の撮影範囲を操作者に操作させるための情報を出力する。撮影範囲ガイダンス装置170は、例えば、文字、図形、音などを出力する。撮影範囲ガイダンス装置170が出力した情報を得た操作者は、カメラ40の撮影範囲を(カメラ撮影範囲変更部45を)操作する。ここで、コントローラ60は、カメラ40の撮影範囲が、図4に示す簡素背景範囲A内に先端アタッチメント25が映り得るような範囲になっているか否かを判定してもよい。カメラ40の撮影範囲が、簡素背景範囲A内に先端アタッチメント25が映り得るような範囲になった場合は、図7に示すステップS23に進むようにしてもよい。
図6に示す変形例1の先端アタッチメント寸法計測装置101による効果は次の通りである。
(第4の発明の効果)
[構成4]先端アタッチメント寸法計測装置101は、撮影範囲ガイダンス装置170を備える。撮影範囲ガイダンス装置170は、図4に示す簡素背景範囲A内に先端アタッチメント25が映り得るように、図6に示すカメラ40の撮影範囲を操作者に操作させるための情報を出力する。
[構成4]先端アタッチメント寸法計測装置101は、撮影範囲ガイダンス装置170を備える。撮影範囲ガイダンス装置170は、図4に示す簡素背景範囲A内に先端アタッチメント25が映り得るように、図6に示すカメラ40の撮影範囲を操作者に操作させるための情報を出力する。
上記[構成4]により、図4に示す簡素背景範囲A内に先端アタッチメント25が映り得るように、図6に示すカメラ40の撮影範囲をコントローラ60が自動的に制御する場合に比べ、コントローラ60による処理を簡素にできる。
(変形例2)
図8および図9を参照して、変形例1の先端アタッチメント寸法計測装置201について、上記実施形態との相違点を説明する。先端アタッチメント寸法計測装置201は、作業装置姿勢ガイダンス装置270を備える。
図8および図9を参照して、変形例1の先端アタッチメント寸法計測装置201について、上記実施形態との相違点を説明する。先端アタッチメント寸法計測装置201は、作業装置姿勢ガイダンス装置270を備える。
上記実施形態のステップS23(図3参照)では、図4に示す簡素背景範囲A内に先端アタッチメント25が映るように、作業装置20の姿勢を、コントローラ60(図2参照)が自動的に制御した。一方、図9に示す本変形例のステップS223では、図4に示す簡素背景範囲A内に先端アタッチメント25が映るように、図8に示す作業装置姿勢ガイダンス装置270が、作業装置20(図4参照)の姿勢のガイダンスを行う。具体的には、作業装置姿勢ガイダンス装置270は、図4に示す簡素背景範囲A内に先端アタッチメント25が映るように、作業装置20の姿勢を操作者に操作させるための情報を出力する。作業装置姿勢ガイダンス装置270は、例えば、文字、図形、音などを出力する。作業装置姿勢ガイダンス装置270は、撮影範囲ガイダンス装置170(図6参照)と兼用されてもよい。作業装置姿勢ガイダンス装置270が出力した情報を得た操作者は、図4に示す作業装置20の姿勢を(作業装置駆動部47を)操作する。ここで、コントローラ60は、作業装置20の姿勢が、簡素背景範囲A内に先端アタッチメント25が映るような姿勢になっているか否かを判定してもよい。作業装置20の姿勢が、簡素背景範囲A内に先端アタッチメント25が映るような姿勢になっている場合は、図9に示すステップS31に進むようにしてもよい。
図8に示す変形例2の先端アタッチメント寸法計測装置201による効果は次の通りである。
(第5の発明の効果)
[構成5]先端アタッチメント寸法計測装置201は、作業装置姿勢ガイダンス装置270を備える。作業装置姿勢ガイダンス装置270は、図4に示す簡素背景範囲A内に先端アタッチメント25が映るように、作業装置20の姿勢を操作者に操作させるための情報を出力する。
[構成5]先端アタッチメント寸法計測装置201は、作業装置姿勢ガイダンス装置270を備える。作業装置姿勢ガイダンス装置270は、図4に示す簡素背景範囲A内に先端アタッチメント25が映るように、作業装置20の姿勢を操作者に操作させるための情報を出力する。
上記[構成5]により、簡素背景範囲A内に先端アタッチメント25が映るように、作業装置20の姿勢を、図8に示すコントローラ60が自動的に制御する場合に比べ、コントローラ60による処理を簡素にできる。
(他の変形例)
上記実施形態および変形例(以下、「上記実施形態など」)は様々に変形されてもよい。例えば、変形例1と変形例2とが組み合わされてもよい。例えば、図2、図6、およびび図8に示すブロック図の各構成要素の接続は変更されてもよい。例えば、図3、図7、および図9に示すフローチャートのステップの順序は変更されてもよい。例えば、上記実施形態などの構成要素の数が変更されてもよく、構成要素の一部が設けられなくてもよい。
上記実施形態および変形例(以下、「上記実施形態など」)は様々に変形されてもよい。例えば、変形例1と変形例2とが組み合わされてもよい。例えば、図2、図6、およびび図8に示すブロック図の各構成要素の接続は変更されてもよい。例えば、図3、図7、および図9に示すフローチャートのステップの順序は変更されてもよい。例えば、上記実施形態などの構成要素の数が変更されてもよく、構成要素の一部が設けられなくてもよい。
例えば、上記実施形態などでは、図3に示すステップS41では、図1に示すコントローラ60が、寸法計測時に先端アタッチメント25を自動的に揺動させた。一方、操作者が、寸法計測時に先端アタッチメント25を操作して揺動させてもよい。この場合、作業装置姿勢ガイダンス装置270(図8参照)などのガイダンス装置を用いて、操作者に対して、先端アタッチメント25を揺動させるようにガイダンスを行ってもよい。この場合、コントローラ60は、先端アタッチメント25の寸法計測が可能なように先端アタッチメント25が揺動されたか否かを、先端アタッチメント角度センサ35の検出値に基づいて判定してもよい。
例えば、上記の通り、カメラ40の撮影範囲は、可変でなくてもよい。また、コントローラ60は、カメラ画像Imの一部を、寸法計測に使う部分として設定してもよい。カメラ画像Im(図4参照)における、寸法計測に使う部分の位置や大きさなどは、可変でもよい。例えば、カメラ40の撮影範囲が固定、かつ、上記の寸法計測に使う部分が可変でもよい。例えば、カメラ40の撮影範囲が可変、かつ、上記の寸法計測に使う範囲が可変でもよい。
1、101、201 先端アタッチメント寸法計測装置
10 作業機械
13 上部旋回体
20 作業装置
25 先端アタッチメント
25a 回転軸
25b 基準位置
25m マーカー
30 作業装置姿勢センサ
40 カメラ
60 コントローラ
170 撮影範囲ガイダンス装置
270 作業装置姿勢ガイダンス装置
A 簡素背景範囲
X 幅寸法
Y 縦寸法
10 作業機械
13 上部旋回体
20 作業装置
25 先端アタッチメント
25a 回転軸
25b 基準位置
25m マーカー
30 作業装置姿勢センサ
40 カメラ
60 コントローラ
170 撮影範囲ガイダンス装置
270 作業装置姿勢ガイダンス装置
A 簡素背景範囲
X 幅寸法
Y 縦寸法
Claims (5)
- 作業機械の上部旋回体に取り付けられ、交換可能な先端アタッチメントを先端部に有する作業装置と、
前記上部旋回体に取り付けられ、前記先端アタッチメントを含む画像を撮影するカメラと、
コントローラと、
を備え、
前記コントローラは、
前記カメラに撮影された画像の中から、画像の時間的変化の度合いが所定値以下の範囲である簡素背景範囲を決定し、
前記簡素背景範囲内に前記先端アタッチメントが映った画像であって、回転軸を中心に揺動している前記先端アタッチメントの画像を、前記カメラに撮影させ、
前記カメラに撮影された画像に基づいて、前記回転軸の方向における前記先端アタッチメントの画像上の幅寸法を取得し、取得した画像上の幅寸法から前記先端アタッチメントの実際の幅寸法を求め、
前記先端アタッチメントの基準位置から先端までの、前記回転軸の方向に直交する方向における寸法を縦寸法としたとき、
前記カメラに撮影された画像に基づいて、前記先端アタッチメントを揺動させたときの前記先端アタッチメントの画像上の縦寸法の最大値を取得し、取得した画像上の縦寸法の最大値から前記先端アタッチメントの実際の縦寸法を求める、
先端アタッチメント寸法計測装置。 - 請求項1に記載の先端アタッチメント寸法計測装置であって、
前記作業装置の姿勢を検出する作業装置姿勢センサを備え、
前記コントローラは、前記作業装置姿勢センサに検出された前記作業装置の姿勢に基づいて、前記カメラに撮影された画像中の前記基準位置が映る位置を取得する、
先端アタッチメント寸法計測装置。 - 請求項1または2に記載の先端アタッチメント寸法計測装置であって、
前記基準位置に取り付けられる、または、前記カメラから見たときに前記基準位置に対応する位置に取り付けられるマーカーを備え、
前記コントローラは、前記カメラに撮影された画像から前記マーカーを認識することで、前記カメラに撮影された画像中の前記基準位置が映る位置を取得する、
先端アタッチメント寸法計測装置。 - 請求項1〜3のいずれか1項に記載の先端アタッチメント寸法計測装置であって、
前記簡素背景範囲内に前記先端アタッチメントが映り得るように、前記カメラの撮影範囲を操作者に操作させるための情報を出力する撮影範囲ガイダンス装置を備える、
先端アタッチメント寸法計測装置。 - 請求項1〜4のいずれか1項に記載の先端アタッチメント寸法計測装置であって、
前記簡素背景範囲内に前記先端アタッチメントが映るように、前記作業装置の姿勢を操作者に操作させるための情報を出力する作業装置姿勢ガイダンス装置を備える、
先端アタッチメント寸法計測装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018007339A JP6954145B2 (ja) | 2018-01-19 | 2018-01-19 | 先端アタッチメント寸法計測装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018007339A JP6954145B2 (ja) | 2018-01-19 | 2018-01-19 | 先端アタッチメント寸法計測装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019124663A true JP2019124663A (ja) | 2019-07-25 |
JP6954145B2 JP6954145B2 (ja) | 2021-10-27 |
Family
ID=67398464
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018007339A Active JP6954145B2 (ja) | 2018-01-19 | 2018-01-19 | 先端アタッチメント寸法計測装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6954145B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009287298A (ja) * | 2008-05-30 | 2009-12-10 | Meidensha Corp | 建設機械の刃先位置計測装置 |
JP2012233353A (ja) * | 2011-05-02 | 2012-11-29 | Komatsu Ltd | 油圧ショベルの較正システム及び油圧ショベルの較正方法 |
WO2016170665A1 (ja) * | 2015-04-24 | 2016-10-27 | 株式会社日立製作所 | 体積推定装置、それを備えた作業機械、および体積推定システム |
JP2017157016A (ja) * | 2016-03-02 | 2017-09-07 | 株式会社神戸製鋼所 | アタッチメント認識装置 |
-
2018
- 2018-01-19 JP JP2018007339A patent/JP6954145B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009287298A (ja) * | 2008-05-30 | 2009-12-10 | Meidensha Corp | 建設機械の刃先位置計測装置 |
JP2012233353A (ja) * | 2011-05-02 | 2012-11-29 | Komatsu Ltd | 油圧ショベルの較正システム及び油圧ショベルの較正方法 |
WO2016170665A1 (ja) * | 2015-04-24 | 2016-10-27 | 株式会社日立製作所 | 体積推定装置、それを備えた作業機械、および体積推定システム |
JP2017157016A (ja) * | 2016-03-02 | 2017-09-07 | 株式会社神戸製鋼所 | アタッチメント認識装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6954145B2 (ja) | 2021-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5227139B2 (ja) | 建設機械 | |
JP5759798B2 (ja) | 建設機械制御システム | |
JP6995767B2 (ja) | 計測システム、作業機械及び計測方法 | |
JP7285051B2 (ja) | 表示制御装置、および表示制御方法 | |
JP2015224875A (ja) | 作業機の作動状態検出システム及び作業機 | |
WO2015198410A1 (ja) | 外界認識装置 | |
JP2022059042A (ja) | ショベル及びショベルの計測システム | |
WO2016047807A1 (ja) | 校正システム、作業機械及び校正方法 | |
US11459735B2 (en) | Display control system, display control device, and display control method | |
JP7023813B2 (ja) | 作業機械 | |
KR20180115756A (ko) | 형상 계측 시스템, 작업 기계 및 형상 계측 방법 | |
JP6222933B2 (ja) | 作業車用の地図作成装置 | |
JP7372029B2 (ja) | 表示制御装置、表示制御システムおよび表示制御方法 | |
JP6651607B2 (ja) | ショベル | |
JP2016065422A (ja) | 外界認識装置および外界認識装置を用いた掘削機械 | |
JP2008025163A (ja) | 削岩機搭載台車における穿孔位置決め制御方法及び建設機械におけるブーム位置決め制御方法 | |
JP4746384B2 (ja) | 作業機の自動制御システム | |
JP6097063B2 (ja) | 高さ測定装置及び高さ測定方法 | |
WO2019142523A1 (ja) | 先端アタッチメント判別装置 | |
JP2017193958A (ja) | 校正システム、作業機械及び校正方法 | |
JP6954145B2 (ja) | 先端アタッチメント寸法計測装置 | |
US20230291989A1 (en) | Display control device and display method | |
JP7458262B2 (ja) | 建設機械のアーム位置検出システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201014 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210831 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210913 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6954145 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |