JP2022054072A - 位置検出システム - Google Patents

Abstract

【課題】検出対象の位置を精度よく検出することが可能な位置検出システムを提供する。【解決手段】荷台２７に設けられ、位置および姿勢を外部から取得させることが可能な目印７１と、目印７１が含まれるように荷台２７を撮像する撮像装置と、撮像された目印７１から、目印７１の位置および姿勢を取得する取得手段と、荷台２７の三次元形状の情報を記憶する記憶装置と、取得された目印７１の位置および姿勢と、記憶された荷台２７の三次元形状の情報とに基づいて、荷台２７の位置および姿勢を算出する算出手段と、を有する。【選択図】図２

Description

本発明は、作業機械に対する検出対象の位置を検出する、位置検出システムに関する。

特許文献１に開示されているように、作業機械が保持した運搬物（土砂など）が投下される投下対象（ダンプトラックなど）の撮像画像を取得し、学習済みモデルである位置特定モデルと撮像画像とに基づいて、画像に写る投下対象における検出対象（荷台など）の位置を特定することが行われている。

特開２０２０－３５３８０号公報

しかしながら、学習済みモデルを用いた画像認識で、検出対象の位置を特定するのは、正確性に欠ける。

本発明の目的は、検出対象の位置を精度よく検出することが可能な位置検出システムを提供することである。

本発明は、作業機械に対する検出対象の位置を検出する、位置検出システムであって、前記検出対象に設けられ、位置および姿勢を外部から取得させることが可能な目印と、前記目印が含まれるように前記検出対象を撮像する撮像装置と、撮像された前記目印から、前記目印の位置および姿勢を取得する取得手段と、前記検出対象の三次元形状の情報を記憶する記憶装置と、取得された前記目印の位置および姿勢と、記憶された前記検出対象の三次元形状の情報とに基づいて、前記検出対象の位置および姿勢を算出する算出手段と、を有することを特徴とする。

本発明によると、撮像された目印から取得された、目印の位置および姿勢と、記憶装置に記憶された検出対象の三次元形状の情報とに基づいて、検出対象の位置および姿勢が算出される。これにより、検出対象の位置を精度よく検出することができる。よって、例えば、検出対象に運搬物を投下するように作業機械を操作するオペレータのアシストや、検出対象に運搬物を投下するように動作する作業機械の自動運転などを、高精度に行うことができる。

位置検出システムの構成図である。 作業機械側からダンプトラックを見た斜視図である。 位置検出システムの回路図である。 位置検出処理のフローチャートである。

以下、本発明の好適な実施の形態について、図面を参照しつつ説明する。

（位置検出システムの構成）
本実施形態による位置検出システムは、作業機械に対する検出対象の位置を検出するものである。位置検出システム１の構成図である図１に示すように、位置検出システム１は、作業機械２と、ダンプトラック３と、撮像装置４と、計測装置５と、を有している。

（作業機械の構成）
図１に示すように、作業機械２は、アタッチメント３０で作業を行う機械であり、例えば油圧ショベルである。作業機械２は、下部走行体２１と、上部旋回体２２と、旋回装置２４と、アタッチメント３０と、シリンダ４０と、を有している。

下部走行体２１は、作業機械２を走行させる部分であり、例えばクローラを備える。上部旋回体２２は、下部走行体２１の上部に旋回可能に取り付けられる。上部旋回体２２の前部には、キャブ（運転室）２３が設けられている。旋回装置２４は、上部旋回体２２を旋回させることが可能である。

アタッチメント３０は、上下方向に回動可能に上部旋回体２２に取り付けられる。アタッチメント３０は、ブーム３１と、アーム３２と、バケット３３と、を備える。ブーム３１は、上下方向に回動可能に上部旋回体２２に取り付けられる。アーム３２は、上下方向に回動可能にブーム３１に取り付けられる。バケット３３は、上下方向に回動可能にアーム３２に取り付けられる。

バケット３３は、運搬物である土砂の、掘削、保持、投下などを行う部分である。なお、バケット３３は、アーム３２に取り付けられる先端アタッチメントの一例であり、先端アタッチメントはこれに限定されず、ニブラやクランプアーム等であってもよい。また、運搬物は土砂に限定されず、瓦礫や鉄屑、砂利などであってもよい。

シリンダ４０は、アタッチメント３０を油圧で回動させることが可能である。シリンダ４０は、油圧式の伸縮シリンダである。シリンダ４０は、ブームシリンダ４１と、アームシリンダ４２と、バケットシリンダ４３と、を備える。

ブームシリンダ４１は、上部旋回体２２に対してブーム３１を回転駆動させる。ブームシリンダ４１の基端部は、上部旋回体２２に回動可能に取り付けられる。ブームシリンダ４１の先端部は、ブーム３１に回動可能に取り付けられる。

アームシリンダ４２は、ブーム３１に対してアーム３２を回転駆動させる。アームシリンダ４２の基端部は、ブーム３１に回動可能に取り付けられる。アームシリンダ４２の先端部は、アーム３２に回動可能に取り付けられる。

バケットシリンダ４３は、アーム３２に対してバケット３３を回転駆動させる。バケットシリンダ４３の基端部は、アーム３２に回動可能に取り付けられる。バケットシリンダ４３の先端部は、バケット３３に回動可能に取り付けられたリンク部材３４に、回動可能に取り付けられる。

また、作業機械２は、角度センサ５２と、傾斜角センサ６０と、を有している。

角度センサ５２は、下部走行体２１に対する上部旋回体２２の旋回角度を検出する。角度センサ５２は、例えば、エンコーダ、レゾルバ、又は、ジャイロセンサである。本実施形態では、上部旋回体２２の前方が下部走行体２１の前方と一致するときの上部旋回体２２の旋回角度を０°としている。

傾斜角センサ６０は、アタッチメント３０の姿勢を検出する。傾斜角センサ６０は、ブーム傾斜角センサ６１と、アーム傾斜角センサ６２と、バケット傾斜角センサ６３と、を備える。

ブーム傾斜角センサ６１は、ブーム３１に取り付けられ、ブーム３１の姿勢を検出する。ブーム傾斜角センサ６１は、水平線に対するブーム３１の傾斜角度を取得するセンサであり、例えば傾斜（加速度）センサ等である。なお、ブーム傾斜角センサ６１は、ブームフットピン（ブーム基端）の回転角度を検出する回転角度センサや、ブームシリンダ４１のストローク量を検出するストロークセンサであってもよい。

アーム傾斜角センサ６２は、アーム３２に取り付けられ、アーム３２の姿勢を検出する。アーム傾斜角センサ６２は、水平線に対するアーム３２の傾斜角度を取得するセンサであり、例えば傾斜（加速度）センサ等である。なお、アーム傾斜角センサ６２は、アーム連結ピン（アーム基端）の回転角度を検出する回転角度センサや、アームシリンダ４２のストローク量を検出するストロークセンサであってもよい。

バケット傾斜角センサ６３は、リンク部材３４に取り付けられ、バケット３３の姿勢を検出する。バケット傾斜角センサ６３は、水平線に対するバケット３３の傾斜角度を取得するセンサであり、例えば傾斜（加速度）センサ等である。なお、バケット傾斜角センサ６３は、バケット連結ピン（バケット基端）の回転角度を検出する回転角度センサや、バケットシリンダ４３のストローク量を検出するストロークセンサであってもよい。

（ダンプトラックの構成）
図１に示すように、ダンプトラック３には、作業機械２が保持する土砂が投下される。ダンプトラック３は、運転室２６と、荷台２７と、を有している。荷台２７は、土砂が投下される部分であり、本実施形態における検出対象である。荷台２７は、周囲を囲う４つの側壁を有している。４つの側壁のうち、作業機械２から見て最も奥側に位置する側壁における、作業機械２に対向する面を背面２８とする。本実施形態では、複数種類のダンプトラック３が、作業現場に出入りする。なお、検出対象は荷台２７に限定されず、土砂ピットなどでもよい。

作業機械２側からダンプトラック３を見た斜視図である図２に示すように、背面２８には、２つの目印７１が設けられている。２つの目印７１同士は、所定の間隔を開けて配置されている。目印７１は、その位置および姿勢を外部から取得させることが可能なものであり、本実施形態では、ＡＲマーカである。目印７１は、ダンプトラック３の荷台２７の種類毎に異なっている。なお、目印７１の数は３つ以上であってもよいし、１つであってもよい。

（撮像装置の構成）
図１に示すように、撮像装置４は、作業機械２に取り付けられている。なお、撮像装置４は、作業機械２から離れた場所に設置されていてもよい。撮像装置４は、デジタルカメラであり、目印７１（図２参照）が含まれるようにダンプトラック３の荷台２７を撮像する。

（計測装置の構成）
図１に示すように、計測装置５は、作業機械２に取り付けられている。なお、計測装置５は、作業機械２から離れた場所に設置されていてもよい。計測装置５は、ライダ（ＬＩＤＡＲ）であり、三次元点群データを取得することで、ダンプトラック３の荷台２７までの距離を計測する。なお、計測装置５は、超音波センサ、ミリ波レーダ、ステレオカメラ、距離画像センサ、赤外線センサ等であってもよい。

（位置検出システムの回路構成）
位置検出システム１の回路図である図３に示すように、作業機械２は、コントローラ１１と、記憶装置１３と、を有している。

コントローラ１１は、角度センサ５２および傾斜角センサ６０の検出値に基づいて、旋回装置２４およびアタッチメント３０を自動で動作させることが可能である。つまり、作業機械２は自動運転される。なお、作業機械２を操作するオペレータをアシストするアシスト運転が行われる構成であってもよい。

記憶装置１３は、ダンプトラック３の荷台２７の三次元形状の情報を記憶している。上述したように、本実施形態では、複数種類のダンプトラック３が、作業現場に出入りする。よって、記憶装置１３は、複数種類の荷台２７の各々の三次元形状の情報を記憶している。

本実施形態において、三次元形状の情報は、図２にＡ～Ｈで示す８つのキーポイントの座標である。

コントローラ（特定手段）１１は、撮像装置４で撮像された目印７１から、ダンプトラック３の種類を特定する。つまり、コントローラ１１は、荷台２７の種類を特定する。

また、コントローラ（取得手段）１１は、撮像装置４で撮像された目印７１から、目印７１の位置および姿勢をマーカ情報として取得する。ここで、目印７１は、ＡＲマーカとして予めコントローラ１１に登録されている。ＡＲマーカとは、ＡＲ（拡張現実）において現実空間に重畳表示する画像及びその位置を指定するための識別情報が記された標識のことである。本実施形態では、目印７１には、目印７１の三次元座標系がわかる画像を指定するための識別情報が記されている。コントローラ１１は、目印７１の三次元座標系を取得することで、目印７１の姿勢を取得する。

コントローラ（特定位置算出手段）１１は、取得された目印７１の各々の位置から、中点７２の位置および姿勢を中点情報として算出する。ここで、図２に示すように、中点７２は、荷台２７に関連付けられた特定位置である。具体的には、中点７２は、２つの目印７１を結ぶ直線の中点である。なお、特定位置は、中点７２に限定されない。

なお、コントローラ１１は、加重平均による空間フィルタリングを、算出した中点情報に施してもよい。これにより、ノイズを軽減したり、エッジを強調したりすることができる。

コントローラ（算出手段）１１は、算出された中点情報と、記憶装置１３に記憶された荷台２７の三次元形状の情報とに基づいて、荷台２７の位置および姿勢を算出する。つまり、中点７２の位置および姿勢から、８つのキーポイントＡ～Ｈの各々が空間のどこに位置しているのかを特定するのである。ここで、荷台２７の位置および姿勢の算出には、複数種類の中から特定された種類の荷台２７の三次元形状の情報が用いられる。

なお、背面２８に設けられた目印７１の数が１つの場合には、この目印７１のマーカ情報と、記憶された荷台２７の三次元形状の情報とに基づいて、荷台２７の位置および姿勢が算出される。ただし、目印７１の数が１つの場合には、目印７１の姿勢（三次元座標系）がばらつくことで、算出される荷台２７の位置および姿勢がばらつく。よって、２つ以上の目印７１から中点情報を算出して、荷台２７の位置および姿勢を算出する方が好ましい。

このように、撮像された目印７１から取得された、目印７１の位置および姿勢と、記憶装置１３に記憶された荷台２７の三次元形状の情報とに基づいて、荷台２７の位置および姿勢が算出される。これにより、ダンプトラック３の荷台２７の位置を精度よく検出することができる。よって、荷台２７に土砂を投下するように作業機械２を操作するオペレータのアシストや、荷台２７に土砂を投下するように動作する作業機械２の自動運転などを、高精度に行うことができる。

また、複数の目印７１が荷台２７に設けられており、取得された目印７１の各々の位置から、中点７２の位置および姿勢が算出される。そして、算出された中点７２の位置および姿勢と、記憶された荷台２７の三次元形状の情報とに基づいて、荷台２７の位置および姿勢が算出される。１つの目印７１の位置および姿勢を用いて、荷台２７の位置および姿勢を算出する場合、目印７１の姿勢がばらつくことで、算出される荷台２７の位置および姿勢がばらつく。そこで、複数の目印７１の各々の位置から、中点７２の位置および姿勢を算出し、中点７２の位置および姿勢を用いて、荷台２７の位置および姿勢を算出することで、ダンプトラック３の荷台２７の位置を検出する精度を向上させることができる。

また、撮像された目印７１から、荷台２７の種類が特定される。そして、特定された種類の荷台２７の三次元形状の情報に基づいて、荷台２７の位置および姿勢が算出される。これにより、作業現場に複数種類のダンプトラック３が出入りする場合であっても、ダンプトラック３の荷台２７の位置を精度よく検出することができる。

ここで、コントローラ（推定手段）１１は、２つの目印７１の一方の位置を取得できなかった場合に、取得された目印７１の位置および姿勢から、中点７２の位置および姿勢を中点情報として推定する。そして、コントローラ１１は、推定された中点情報と、記憶された荷台２７の三次元形状の情報とに基づいて、荷台２７の位置および姿勢を算出する。

このように、複数の目印７１の一部の位置を取得できなかった場合に、中点７２の位置および姿勢を推定することで、ロバスト性を向上させることができる。

なお、コントローラ１１は、加重平均による空間フィルタリングを、推定した中点情報に施してもよい。これにより、ノイズを軽減したり、エッジを強調したりすることができる。

また、コントローラ（補正手段）１１は、計測装置５で計測された距離に基づいて、中点７２の位置および姿勢を補正する。具体的には、荷台２７の背面２８を検出し、これに基づいて、中点７２の位置および姿勢を補正する。これにより、ダンプトラック３の荷台２７の位置の検出精度をさらに向上させることができる。

なお、コントローラ１１は、撮像装置４と計測装置５との視野の相対関係をキャリブレーションする。つまり、撮像装置４の座標系と計測装置５の座標系とをマッチングする。これにより、中点７２の位置および姿勢を正確に補正することができる。

（位置検出システムの動作）
次に、位置検出処理のフローチャートである図４を用いて、位置検出システム１の動作を説明する。

まず、作業機械２のコントローラ１１は、撮像装置４にダンプトラック３の荷台２７を撮像させる（ステップＳ１）。このとき、目印７１が含まれるように荷台２７が撮像される。次に、コントローラ１１は、目印７１を認識したか否かを判定する（ステップＳ２）。ステップＳ２において、目印７１を認識していないと判定した場合には（Ｓ２：ＮＯ）、ステップＳ１に戻る。

一方、ステップＳ２において、目印７１を認識したと判定した場合には（Ｓ２：ＹＥＳ）、コントローラ１１は、目印７１からダンプトラック３の荷台２７の種類を特定する（ステップＳ３）。そして、コントローラ１１は、目印７１からマーカ情報（目印７１の位置および姿勢）を取得する（ステップＳ４）。

次に、コントローラ１１は、すべてのマーカ情報を取得したか否かを判定する（ステップＳ５）。即ち、２つの目印７１の各々からマーカ情報を取得したか否かを判定する。ステップＳ５において、すべてのマーカ情報を取得したと判定した場合には（Ｓ５：ＹＥＳ）、コントローラ１１は、目印７１の各々の位置から、中点情報（中点７２の位置および姿勢）を算出する（ステップＳ６）。

次に、コントローラ１１は、算出した中点情報に空間フィルタリングを施す（ステップＳ７）。そして、コントローラ１１は、中点７２のヨー方向の姿勢を補正する（ステップＳ８）。

一方、ステップＳ５において、すべてのマーカ情報を取得していないと判定した場合には（Ｓ５：ＮＯ）、コントローラ１１は、取得されたマーカ情報から、中点情報を推定する（ステップＳ９）。そして、コントローラ１１は、推定した中点情報に空間フィルタリングを施す（ステップＳ１０）。

ステップＳ８の後、または、ステップＳ１０の後に、コントローラ１１は、計測装置５に荷台２７までの距離を計測させる（ステップＳ１１）。そして、コントローラ１１は、撮像装置４の座標系と計測装置５の座標系とをマッチングさせるキャリブレーションを行う（ステップＳ１２）。

次に、コントローラ１１は、計測装置５が取得した三次元点群データから、荷台２７の背面２８を検出したか否かを判定する（ステップＳ１３）。ステップＳ１３において、荷台２７の背面２８を検出したと判定した場合には（Ｓ１３：ＹＥＳ）、コントローラ１１は、中点情報を補正する（ステップＳ１４）。

ステップＳ１３において、荷台２７の背面２８を検出していないと判定した場合（Ｓ１３：ＮＯ）、または、ステップＳ１４の後に、コントローラ１１は、中点情報と、記憶装置１３に記憶された荷台２７の三次元形状の情報とに基づいて、荷台２７の位置および姿勢を、８つのキーポイントＡ～Ｈの座標として算出する（ステップＳ１５）。

次に、コントローラ１１は、８つのキーポイントＡ～Ｈの座標を、それぞれ作業機械２の座標系に座標変換する（ステップＳ１６）。これにより、ダンプトラック３の荷台２７の位置が精度よく検出される。その後、本フローを終了する。

（効果）
以上に述べたように、本実施形態に係る位置検出システム１によれば、撮像された目印７１から取得されたマーカ情報（目印７１の位置および姿勢）と、記憶装置１３に記憶された荷台２７の三次元形状の情報とに基づいて、荷台２７の位置および姿勢が算出される。これにより、ダンプトラック３の荷台２７の位置を精度よく検出することができる。よって、例えば、荷台２７に土砂を投下するように作業機械２を操作するオペレータのアシストや、荷台２７に土砂を投下するように動作する作業機械２の自動運転などを、高精度に行うことができる。

また、複数の目印７１が荷台２７に設けられており、取得された目印７１の各々の位置から、中点情報（中点７２の位置および姿勢）が算出される。そして、算出された中点情報と、記憶された荷台２７の三次元形状の情報とに基づいて、荷台２７の位置および姿勢が算出される。１つの目印７１の位置および姿勢を用いて、荷台２７の位置および姿勢を算出する場合、目印７１の姿勢がばらつくことで、算出される荷台２７の位置および姿勢がばらつく。そこで、複数の目印７１の各々の位置から、中点７２の位置および姿勢を算出し、中点７２の位置および姿勢を用いて、荷台２７の位置および姿勢を算出することで、ダンプトラック３の荷台２７の位置を検出する精度を向上させることができる。

また、複数の目印７１の一部の位置を取得できなかった場合に、取得された目印７１の位置および姿勢から、中点７２の位置および姿勢が推定される。そして、推定された中点７２の位置および姿勢と、記憶された荷台２７の三次元形状の情報とに基づいて、荷台２７の位置および姿勢が算出される。複数の目印７１の一部の位置を取得できなかった場合に、中点７２の位置および姿勢を推定することで、ロバスト性を向上させることができる。

また、計測された荷台２７までの距離に基づいて、中点７２の位置および姿勢が補正される。これにより、ダンプトラック３の荷台２７の位置の検出精度をさらに向上させることができる。

また、撮像された目印７１から、荷台２７の種類が特定される。そして、特定された種類の荷台２７の三次元形状の情報に基づいて、荷台２７の位置および姿勢が算出される。これにより、作業現場に複数種類のダンプトラック３が出入りする場合であっても、ダンプトラック３の荷台２７の位置を精度よく検出することができる。

以上、本発明の実施形態を説明したが、具体例を例示したに過ぎず、特に本発明を限定するものではなく、具体的構成などは、適宜設計変更可能である。また、発明の実施の形態に記載された、作用及び効果は、本発明から生じる最も好適な作用及び効果を列挙したに過ぎず、本発明による作用及び効果は、本発明の実施の形態に記載されたものに限定されるものではない。

例えば、ダンプトラック３の荷台２７の種類の特定、マーカ情報の取得、中点情報の算出・推定・補正、ダンプトラック３の荷台２７の位置および姿勢の算出は、作業機械２のコントローラ１１ではなく、図示しないサーバが行ってもよい。

また、１つのステレオカメラを撮像装置４および計測装置５として使用してもよい。この場合、撮像装置４と計測装置５とを別々に用意する必要がない。

１ 位置検出システム
２ 作業機械
３ ダンプトラック
４ 撮像装置
５ 計測装置
１１ コントローラ（取得手段、算出手段、特定位置算出手段、推定手段、補正手段、特定手段）
１３ 記憶装置
２１ 下部走行体
２２ 上部旋回体
２３ キャブ
２４ 旋回装置
２６ 運転室
２７ 荷台（検出対象）
２８ 背面
３０ アタッチメント
３１ ブーム
３２ アーム
３３ バケット
３４ リンク部材
４０ シリンダ
４１ ブームシリンダ
４２ アームシリンダ
４３ バケットシリンダ
５２ 角度センサ
６０ 傾斜角センサ
６１ ブーム傾斜角センサ
６２ アーム傾斜角センサ
６３ バケット傾斜角センサ
７１ 目印
７２ 中点

Claims (5)

1. 作業機械に対する検出対象の位置を検出する、位置検出システムであって、
   前記検出対象に設けられ、位置および姿勢を外部から取得させることが可能な目印と、
   前記目印が含まれるように前記検出対象を撮像する撮像装置と、
   撮像された前記目印から、前記目印の位置および姿勢を取得する取得手段と、
   前記検出対象の三次元形状の情報を記憶する記憶装置と、
   取得された前記目印の位置および姿勢と、記憶された前記検出対象の三次元形状の情報とに基づいて、前記検出対象の位置および姿勢を算出する算出手段と、
   を有することを特徴とする位置検出システム。
2. 複数の前記目印が前記検出対象に設けられており、
   取得された前記目印の各々の位置から、前記検出対象に関連付けられた特定位置の位置および姿勢を算出する特定位置算出手段を有し、
   前記算出手段は、算出された前記特定位置の位置および姿勢と、記憶された前記検出対象の三次元形状の情報とに基づいて、前記検出対象の位置および姿勢を算出することを特徴とする請求項１に記載の位置検出システム。
3. 前記取得手段が、複数の前記目印の一部の位置を取得できなかった場合に、取得された前記目印の位置および姿勢から、前記特定位置の位置および姿勢を推定する推定手段を有し、
   前記算出手段は、推定された前記特定位置の位置および姿勢と、記憶された前記検出対象の三次元形状の情報とに基づいて、前記検出対象の位置および姿勢を算出することを特徴とする請求項２に記載の位置検出システム。
4. 前記検出対象までの距離を計測する計測装置と、
   計測された距離に基づいて、前記特定位置の位置および姿勢を補正する補正手段と、
   を有することを特徴とする請求項２又は３に記載の位置検出システム。
5. 前記検出対象の種類毎に前記目印が異なっており、
   前記記憶装置は、複数種類の前記検出対象の各々の三次元形状の情報を記憶しており、
   撮像された前記目印から、前記検出対象の種類を特定する特定手段を有し、
   前記算出手段は、特定された種類の前記検出対象の三次元形状の情報に基づいて、前記検出対象の位置および姿勢を算出することを特徴とする請求項１～４のいずれか１項に記載の位置検出システム。

Images