JP2016065422A - 外界認識装置および外界認識装置を用いた掘削機械 - Google Patents

Abstract

【課題】掘削物上で掘削物を掘削する場合に、掘削物を平面上で認識できる掘削機械を提供する。【解決手段】油圧ショベルの下方にあり、油圧ショベルが掘削する掘削対象領域を含む所定領域の３次元空間上の距離情報を取得する三次元距離計測装置と距離情報に基づき、所定領域中の平面を推定する平面推定手段と、平面および距離情報に基づき、所定領域中の掘削対象領域を認識する掘削対象物領域認識手段と、を有する外界認識装置および外界認識装置を用いた掘削機械。【選択図】 図１

Description

本発明は、外界認識装置および外界認識装置を用いた掘削機械に関する。

油圧ショベルやブルドーザなどの掘削機械は、自動で掘削作業を行う機械や遠隔操縦によって掘削作業を行う機械が導入されつつある。自動で掘削を行う場合は、掘削対象物を認識する必要がある。特許文献１で公開されている自動掘削機では、掘削対象物までの求めるための計測器と計測器の出力から立体的な形状を認識する認識手段から、掘削位置を決定している。

また、遠隔操縦時は奥行き情報が欠損するため、操作者の個々の経験によって感覚的に距離情報を取得している。これらを３次元情報での補完することで経験や熟練度に頼らず距離情報を取得できることが望ましい。特許文献２で公開されている空間情報表示装置では、ステレオカメラで撮影した映像と立体物の情報を重畳させて表示させることで、利用者や操作者に対して使い勝手の良く表示することができる。

特開平１０−８８６２５号公報 特開２０１０−６０３４４号公報

上述した特許文献１では、ホイールローダのように地面上に車両が存在し、車両から上方向の掘削を行う場面を想定しており、掘削対象物上から掘削する場合に、掘削対象物を認識することが難しい。また、特許文献２では、オペレータの指示によって立体物を認識するものであるため、平面の認識を行うこととは難しい。

本発明は、掘削物上で掘削物を掘削する場合に、掘削物を平面上で認識できる掘削機械を提供することを目的とする。

上記課題を解決するための本発明の特徴は、例えば以下の通りである。

油圧ショベルの下方にあり、油圧ショベルが掘削する掘削対象領域を含む所定領域の３次元空間上の距離情報を取得する三次元距離計測装置と距離情報に基づき、所定領域中の平面を推定する平面推定手段と、平面および距離情報に基づき、所定領域中の掘削対象領域を認識する掘削対象物領域認識手段と、を有する外界認識装置。

本発明によれば、掘削物上で掘削物を掘削する場合に、掘削物を平面上で認識できる掘削機械を提供できる。上記した以外の課題、構成及び効果は以下の実施形態の説明により明らかにされる。

本発明の一実施形態における遠隔操縦・自動掘削を行う油圧ショベルとその油圧ショベルに搭載された外界認識装置の構成を示した実施例の図である。 本発明の一実施形態が対象とする油圧ショベルの掘削状況を示したものである 本発明の一実施形態において、三次元距離測定装置の代表例としてステレオカメラ装置を用いた際の構成を示した図である。 ステレオカメラ装置で撮影される映像の例である。 ステレオカメラ装置による視差算出の方法について示したものである。 視差画像の例を示した図である。 ステレオカメラによる代表的な平面推定手段を示した図である。 ステレオカメラによる代表的な平面推定手段の手法を示した図である。 平面方程式算出を行う様子を示した図である。 平面推定手段を用いた結果を示した図である。 掘削対象領域を抽出する手法を示した図である。 認識結果の表示例を示した図である。

以下、図面等を用いて、本発明の実施形態について説明する。以下の説明は本発明の内容の具体例を示すものであり、本発明がこれらの説明に限定されるものではなく、本明細書に開示される技術的思想の範囲内において当業者による様々な変更および修正が可能である。また、本発明を説明するための全図において、同一の機能を有するものは、同一の符号を付け、その繰り返しの説明は省略する場合がある。

図１は本発明の一実施形態における遠隔操縦・自動掘削を行う油圧ショベル１０を示したものである。油圧ショベル１０等の掘削機械は、遠隔操縦時は取得した周囲の映像情報と掘削対象領域の認識結果を操縦者に送信し、操縦者の入力情報に基づいて掘削作業を行う。また、油圧ショベル１０は、自動掘削時は掘削対象領域を認識し、その認識結果に基づいて掘削点を決定し自動で掘削を行う。このため油圧ショベル１０は、周囲の環境を認識するための外界認識装置２０を搭載している。

遠隔操縦時には、この外界認識装置２０が認識した掘削対象領域を周囲の映像情報に重畳させる形で操縦者に送信する。また、自動掘削時には、この外界認識装置２０が認識した掘削対象領域を掘削する。油圧ショベル１０は、掘削するためのバケット１１、バケット１１を上下に動作させるために、アーム１２とブーム１３を持つ。またバケット１１を左右に移動させるために上部旋回体１４を回転させることができる。このとき、外界認識装置２０は、三次元距離測定装置１１０、平面推定手段１１１、掘削対象物領域認識手段１１２を有する。

三次元距離測定装置１１０で外界、具体的には油圧ショベル１０の下方にあり、油圧ショベル１０が掘削する掘削対象領域を含む所定領域を計測する。三次元距離測定装置１１０は例として、ステレオカメラや三次元レーザーレーダなどを挙げることができる。平面推定手段１１１は、三次元距離測定装置１１０で取得した距離情報に基づいて後述する手法を用いて油圧ショベル１０遠方の平面を推定する。掘削対象物領域認識手段１１２においては、平面推定手段１１１で取得した認識結果と三次元距離測定装置１１０で取得した距離情報から、所定領域中で油圧ショベル１０が掘削する掘削対象領域を認識する。

掘削点決定手段１１３は、掘削対象物領域認識手段１１２に基づいて掘削対象領域内から制御時にバケット１１を移動させる掘削点を決定する。なお、掘削点決定手段１１３は遠隔操縦を行う場合には、その結果を操作者に送信することで操作者の支援に用いることも可能である。

認識結果表示手段１１４は、掘削対象物領域認識手段１１２で取得した結果に基づいて、平面と掘削対象領域を表示する。遠隔操縦時は、そのモニタの画面を操作者に送信することで操作者の運転支援を行う。自動掘削時は、自動掘削であっても操作者が搭乗していることが想定されるため、操縦席内のモニタ等に表示する。

図２は油圧ショベル１０と掘削物５０の位置関係を示したものである。地面６０の上に掘削物５０があり、その掘削物５０の上に油圧ショベル１０がのる。このとき、油圧ショベル１０は掘削対象領域５１を認識する必要がある。従って、掘削対象領域５１を外界認識装置２０が計測するためには、油圧ショベル１０自身の下方を認識する必要がある。また、非掘削対象領域からの高さ情報が未知である際に掘削対象領域の認識が難しい。

三次元距離計測装置１１０は、油圧ショベル１０下方を認識する場合、地面６０部分についても計測してしまう。この状況で自動掘削を行った場合、非掘削領域である地面６０についても掘削動作を行ってしまう。そのため、掘削対象領域のみを認識することが必要である。また、遠隔操縦ではモニタの映像によって操作を行うため奥行きが欠損しやすく、非掘削対象領域である地面６０を掘削してしまう可能性がある。そのため、掘削対象領域のみを抽出し操作者に対して提示を行うことが必要である。

図３は、代表例として三次元距離計測装置１１０についてステレオカメラを使用した場合の外界認識装置の構成について示したものである。ステレオカメラ装置２１０は、左画像撮影部２１１と右画像撮影部２１２の二つのカメラで撮影した映像の視差を利用して、対象物体の距離を計測することが可能である。ステレオカメラ装置２１０で撮影された画像において、左画像撮影部２１１で撮影された画像は左画像メモリ２１３に、右画像撮影部２１２で撮影された画像は右画像メモリ２１４に一時的に記憶される。

視差画像生成手段２１５は、左画像メモリ２１３と右画像メモリ２１４のデータに基づいて後述する手法を用いて視差画像を作成する。生成された視差画像は視差画像メモリ２１７に記憶される。距離算出手段２１６は、三角測量の原理で視差画像メモリ２１７から取得した視差の情報から距離を算出する。距離Ｚは視差ｄから次の式で求められる。

Ｚ＝（ｆ×Ｂ）／ｄ
但し、ｆは左画像撮影部２１１及び右画像撮影部２１２の焦点距離、Ｂは左画像撮影部２１１と右画像撮影部２１２の距離である。また、上記Ｚを求めた地点の３次元上のＸ，Ｙの位置は次の式で求められる。

Ｘ＝（Ｚ×ｉｒ）／ｆ
Ｙ＝（Ｚ×ｊｒ）／ｆ
但し、ｉｒは、右画像メモリ２１４に記憶されている右画像上でのｘ座標、ｊｒは、右画像メモリ２１４に記憶されている右画像上でのｙ座標である。以上のように、ステレオカメラ装置２１０で撮影した画像によって、被写体の３次元空間上の位置（Ｘ，Ｙ，Ｚ）を求めることができる。

平面推定手段１１１は視差画像メモリ２１７から視差画像を取得し、後述する手法を用いて、３次元空間上の位置に基づき、所定領域中の平面を推定する。掘削対象領域認識手段１１２は、平面推定手段１１１の結果と距離算出手段２１６で算出された距離情報から後述する手法によって掘削対象領域の認識を行う。認識結果表示手段１１４では、平面認識手段１１２で認識した結果と右画像メモリ２１４に記憶されている右画像情報について表示を行う。ステレオカメラ装置２１０では、視差画像メモリ２１７に記憶されている視差画像のサイズと右画像メモリ２１４に記憶されている右画像のサイズは同一であるため、認識結果について重畳して出力することが容易である。

図４は、代表例として三次元距離計測装置１１０についてステレオカメラ装置２１０を使用した場合に油圧ショベル１０と掘削物５０の位置関係において撮影される例を示したものである。画像の下方向に掘削対象領域５１、その上部に地面６０が撮影される。

図５は、ステレオカメラにおいて視差を算出する手法について示したものである。実際に撮影される光景３００を右撮影部２１２で撮影し、右画像メモリ２１４に記憶されている右画像３４０と、左撮影部２１１で撮影し、左画像メモリ２１３に記憶されている左画像３４１を用いて視差の算出を行う。このとき、実際に撮影される光景３００におけるある地点３２０は、右画像３４０では地点３４２の位置に撮影され、左画像３４１では地点３４３に撮影される。この結果、地点３４２と地点３４３には差分ｄが生じる。この差分ｄが視差である。この視差はステレオカメラ装置２１０に近いものは大きな値となり、遠いものは小さな値となる。上記の手法で算出された視差は、撮影された右画像３４０において画像全体で算出される。算出の結果は、視差画像メモリ２１７に記憶される。

視差画像メモリ２１７の例を図６に示す。視差画像メモリ２１７に格納されるデータは、右画像３４０と同一のサイズである。そのため、視差データは右画像３４０に合わせて二次元上に配置しておくことが可能である。すなわち視差データの示す画面上ｉ，ｊの位置と右画像３４０におけるｉ，ｊは簡単に対応させることが可能である。

図７は、代表例として三次元距離計測装置１１０としてステレオカメラを用いた場合の平面推定手段１１１の処理のフローを示したものである。視差画像メモリ２１７に配置されている視差画像において、画面上同一縦座標における視差の頻度値が閾値以上の視差を抽出する（Ｓ４１０）。次に抽出された視差を横軸、画面座標を縦軸にとった二次元座標空間にプロットを行う（Ｓ４２０）。Ｓ４１０、Ｓ４２０に関する処理のイメージは図８で示しており、詳細は後述する。最後に、上記二次元座標空間において、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）法による直線推定によって二次元空間上での平面方程式を算出する（Ｓ４３０）。Ｓ４３０に関する処理のイメージは図９で示しており、詳細は後述する。以上の処理により平面の推定を行う。ＲＡＮＳＡＣ法以外の平面を推定する方法として、ハフ変換などが挙げられる。ＲＡＮＳＡＣ法を用いることにより、高速に処理でき、ノイズなどに対してロバストに検出できる。

図８は、ステレオカメラによる代表的な平面推定手段の手法を示している。視差画像メモリ２１７で記憶されている視差画像は画素ごとに視差データ４１０を有している。視差画像縦座標をｖとしたときに、ｖ座標列毎の視差データ４１０の頻度値を算出する。閾値以上であった視差（以下の視差の代表点）は、視差画像縦座標ｖを縦軸、視差の値を横軸とした二次元座標空間４１１にプロットされる。この処理を、視差画像メモリ２１７に記憶される視差画像の全範囲において実施し、二次元座標空間４１１を生成する。

このとき、ステレオカメラを用いる場合では、奥行きの情報と比例関係にある視差の情報を用いてプロットしたが、距離の情報を用いてプロットを行ってもよい。この場合、ステレオカメラ装置を原点として前方奥行き座標軸をｚ、高さ方向の座標軸をｙとしたときに、ｚ情報とｙ情報によってプロットを行うことで、上記手法と同様の事が可能となる。このことから、本実施例では、代表例としてステレオカメラを用いた例を示したが、三次元距離測定装置として他のセンサを用いることも可能であることがわかる。

図９は、平面方程式算出を行う様子を示した図である。上記手法によって生成された二次元座標空間４１１に対して、ＲＡＮＳＡＣアルゴリズムを用いて平面推定を行う。ＲＡＮＳＡＣアルゴリズムはランダムにサンプリングされた視差の代表点４２０と視差の代表点４２１の２点を結び、その２点を結ぶ直線４３０の方程式を算出する。この直線４３０に平行に一定の許容範囲４４０を設けることで、その範囲内に存在する視差の代表点の数を記憶しておく。ＲＡＮＳＡＣアルゴリズムでは、上記処理を複数回施行する。直線４５０、直線４５１、直線４５２はランダムに選ばれた視差の代表点を結んで算出された直線の例を示している。

このとき制約条件として、図４で示した通り、画面上部には非掘削対象領域が存在していることがわかっているため、ランダムに選択される視差の代表点４２２は画像縦方向座標が一定閾値以上の範囲から選択するものとしている。また、施行回数はアルゴリズムの特性上処理時間の範囲内で最大限多く施行することが望ましい。これらの直線から、許容範囲４４０の中にもっとも多く視差の代表値が存在していた直線を非掘削対象領域である平面として定義するものである。この結果、図１０に示すような結果を得ることができる。直線４３０は二次元座標空間４１１における平面と推定された直線である。図１０において、直線４３０は右肩下がりになっている。

図１１は、掘削対象領域を抽出する手法を示している。前記手法によって二次元座標空間４１１で推定された平面の直線４３０に基づいて、平面付近の視差の代表点を除去する。除去後に残った視差の代表点は、掘削対象領域として定義することが可能であるため、前述した距離への換算手法によって距離情報に変換する。

二次元空間座標５１２は、変換された距離情報について、ステレオカメラ装置２１０を原点座標として奥行き方向をＺ、縦方向をＹ座標としたときに、Ｙ−Ｚ空間で示したものである。このとき、点群５１３はステレオカメラ装置２１０を原点としたときの掘削対象領域における位置を示している。この情報に基づいて、掘削点決定手段１１３は掘削開始点を決定するものである。

図１２は、認識結果表示手段によって表示される画面の例を示している。表示される画面内は、掘削対象物領域５１に対して上記手法で認識された掘削対象領域７０の領域に色をつけることで、操作者に対して掘削対象領域５１を提示している。また、本発明を用いることで、非掘削対象領域である地面６０に対しても色をつけることが可能である。

このように可視化することで、遠隔操縦時は操作者に対して操作支援を行うことが可能である。また、自動掘削時でも操作者が搭乗していることが想定されるため、掘削対象領域が間違って認識された場合に、操作者の停止信号やオーバーライドによって自動掘削を停止させることが容易になる。このとき、本実施例内に代表例として記載したステレオカメラでは、重畳させて表示することが容易である。また、本発明の一実施形態によれば操作者による入力なしに、掘削対象物と非掘削対象物を分離して遠隔操縦時の画面に表示することができるため、操作者の手間を省き作業効率を向上させることができる。

また、他の三次元距離計測装置として３次元レーザーレーダなどを用いた場合には、その他にカメラの設置が必要となる。しかし、遠隔操縦や自動掘削においてカメラは基本的に設置してあるものと考えられるため、この実現は容易である。レーザーレーダなどを用いる場合は、設置されているカメラとレーザーレーダなどの装置間でのキャリブレーションを必要である。

以上の本実施例のように、遠隔操縦や自動掘削を行う油圧ショベル１０の外界認識装置２０として三次元距離測定装置１１０と平面推定手段１１１と掘削対象物領域認識手段１１２を有することで、正確に掘削対象領域のみを認識することが可能になる。このことは、遠隔操縦時には、操作者の入力がなくとも掘削対象領域を提示することが可能であり、操作支援を行うことが可能となる。また、自動掘削時には制御側に対して掘削対象領域のみの情報を渡すことが可能となる。

１０ 油圧ショベル
１１ ブーム
１２ アーム
１３ バケット
１４ 上部旋回体
２０ 外界認識装置
５０ 掘削物
５１ 掘削対象領域
６０ 地面
１１０ 三次元距離測定装置
１１１ 平面推定手段
１１２ 掘削対象領域認識手段
１１３ 掘削点決定手段
１１４ 認識結果表示手段

Claims (4)

1. 油圧ショベルの下方にあり、前記油圧ショベルが掘削する掘削対象領域を含む所定領域の３次元空間上の距離情報を取得する三次元距離計測装置と
   前記距離情報に基づき、前記所定領域中の平面を推定する平面推定手段と、
   前記平面および前記距離情報に基づき、前記所定領域中の前記掘削対象領域を認識する掘削対象物領域認識手段と、を有する
   外界認識装置。
   
2. 請求項１において、
   ＲＡＮＳＡＣ法による直線推定により、前記平面推定手段は、前記所定領域中の平面を推定する
   外界認識装置。
   
3. 請求項１乃至２のいずれかにおいて、
   前記掘削対象物領域認識手段により認識された前記掘削対象領域と前記所定領域中の非掘削対象物とが分離して表示する認識結果表示手段を有する
   外界認識装置。
   
4. 請求項１乃至３のいずれかの外界認識装置を有する掘削機械。