JP2000064359A - 自動運転建設機械 - Google Patents

Abstract

(57)【要約】 【課題】放土位置を演算する画像処理装置を車外に設置
し、自動運転制御の信頼性を高める。 【解決手段】 少なくとも、積み込み作業を行う建設機
械と、教示して記憶された教示位置を順次読み出して前
記積み込み作業を行う建設機械を掘削から放土までの一
巡する動作を繰り返し行わせる自動運転制御手段１００
とを備える自動運転建設機械において、該自動運転建設
機械は、前記積み込み作業を行う建設機械上に設けら
れ、該積み込み作業を行う建設機械が放土すべき目標物
を撮像する撮像手段６１と、前記積み込み作業を行う建
設機械外に設けられ、前記撮像された撮像データに基づ
いて当該積み込み作業を行う建設機械が放土すべき前記
目標物の放土位置を算出するとともに、前記算出された
放土位置から教示された放土位置を補正すべき補正値を
算出する補正値算出手段３０とを備え、前記補正値によ
って前記自動運転制御手段１００に記憶されている教示
された放土位置を補正することを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、自動運転を行う建
設機械に係わり、特に、ダンプトラックやクラッシヤ等
の作業機械への自動積み込み作業を行う自動運転建設機
械に関する。

【０００２】

【従来の技術】通常、砕石現場等において、油圧ショベ
ル等の建設機械によるダンプトラックやクラッシャ等へ
の積み込み作業は、ある決まった場所から土石を掘削
し、ダンプトラックのベッセルやクラッシャのホッパ等
の決まった場所へ放土するという単調な繰り返し作業で
ある。このような単調な繰り返し作業は、オペレータに
とって苦痛であり、人手を介在せずに自動的に行わせる
という要求が高まっている。

【０００３】従来、このような積み込み作業の自動化方
法の一つとしては、掘削位置と放土位置とを教示して、
これらの位置間で、油圧ショベルを走行させずに旋回作
業を主とする繰り返し作業を行わせている。例えば、特
開平９−１９５３２１号公報には、教示された動作を繰
り返して、油圧ショベルに掘削から放土までの一連の作
業を自動的に行わせる技術が開示されている。

【０００４】しかし、従来技術ものは、掘削によるジャ
ッキアップや旋回の慣性力等の原因により、自動運転シ
ョベル自体が位置ずれしてしまうという問題がある。ま
た、ダンプトラックに積み込みを行う際に、ダンプトラ
ックが毎回、同じ場所に停車するとは限らず、ダンプト
ラック上の放土すべき適切な位置に積み込むことができ
ないという問題がある。そこで、これを解決するため
に、自動運転ショベルにビデオカメラ等の撮像手段を設
置し、撮像データからダンプトラック等の目標物として
の作業機械の所定の放土位置を算出して放土することが
考えられる。

【０００５】

【発明が解決しようとする課題】しかし、ビデオカメラ
等の撮像手段による撮像データからダンプトラック等の
目標物としての作業機械の放土位置を算出するために
は、精密で高価な画像処理装置を自動運転ショベルに搭
載する必要がある。しかし、そのような装置を搭載する
ためには自動運転ショベルに防振機構や動作温度を維持
するための機構などが必要となり装置自体が複雑で高価
なものになってしまう。また、これらの機構を設けずに
搭載をすると画像処理装置の信頼性が損なわれてしまう
問題がある。

【０００６】本発明の目的は、上記の問題点を解決する
ために、画像処理装置を車外に設置し、高信頼性を確保
した自動運転建設機械を提供することにある。

【０００７】

【課題を解決するための手段】本発明は、上記の課題を
解決するために、次のような手段を採用した。

【０００８】少なくとも、積み込み作業を行う建設機械
と、教示して記憶された教示位置を順次読み出して前記
積み込み作業を行う建設機械を掘削から放土までの一巡
する動作を繰り返し行わせる自動運転制御手段とを備え
る自動運転建設機械において、該自動運転建設機械は、
前記積み込み作業を行う建設機械上に設けられ、該積み
込み作業を行う建設機械が放土すべき目標物を撮像する
撮像手段と、前記積み込み作業を行う建設機械外に設け
られ、前記撮像された撮像データに基づいて当該積み込
み作業を行う建設機械が放土すべき前記目標物の放土位
置を算出するとともに、前記算出された放土位置から教
示された放土位置を補正すべき補正値を算出する補正値
算出手段とを備え、前記補正値によって前記自動運転制
御手段に記憶されている教示された放土位置を補正する
ことを特徴とする。

【０００９】また、請求項１に記載の自動運転建設機械
において、前記撮像手段は、前記撮像された撮像データ
を送信する通信手段を備え、前記補正値算出手段は、前
記自動運転制御手段からの補正値を算出すべき指令を受
信すると補正値の算出を行うとともに、前記撮像データ
および前記指令を受信し、前記算出された補正値を前記
自動運転制御手段に送信する通信手段を備え、前記自動
運転制御手段は前記補正値を算出すべき指令を送信し、
前記算出された補正値を受信する通信手段とを備えるこ
とを特徴とする。

【００１０】また、請求項１ないしは請求項２のいずれ
か１つの請求項に記載の自動運転建設機械において、前
記目標物に、該目標物の放土位置の算出を容易化するた
めの複数の目印を設けたことを特徴とする。

【００１１】また、請求項３に記載の自動運転建設機械
において、前記複数の目印として、複数の光源を用いた
ことを特徴とする。

【００１２】

【発明の実施の形態】以下に本発明の一実施形態を図１
から図８を用いて説明する。

【００１３】はじめに、図２は本実施形態に係わる自動
運転建設機械の作業形態を示す図である。

【００１４】同図において、１は後述する貯留された土
石５を掘削して後述するダンプトラック４に放土する自
動運転ショベル、２は自動運転ショベル１から遠隔の位
置に配置され自動運転ショベル１を遠隔操作する遠隔操
作装置、３は後述する画像処理装置等が設置される管理
部所、４は土石が積み込まれるベッセル４１を備え、自
動運転ショベル１から放土された土石を積み込み運搬す
るダンプトラック、５は土石貯留所に貯留された土石で
ある。

【００１５】自動運転ショベル１は、走行体１１と、走
行体１１上に旋回可能に設けられた旋回体１２と、旋回
体１２に俯仰動可能に設けられるブーム１４と、ブーム
１４の先端に回動可能に設けられたアーム１５と、アー
ム１５の先端に回動可能に設けられたバケット１６と、
旋回体１２とブーム１４との俯仰角を検出する角度セン
サ１７、ブーム１４とアーム１５との回動角を検出する
角度センサ１８、アーム１５とバケット１６との回動角
を検出する角度センサ１９と、旋回体１２の旋回角を検
出する角度センサ６０、旋回体１２に設けられた運転台
１３と、運転台１３の屋上に設けられ、水平方向および
垂直方向に旋回可能に設けられダンプトラック４の積み
込み場所を撮像するために設けたビデオカメラ６１と、
ビデオカメラ６１によって撮像された撮像データを管理
部所３に送信する無線装置６２と、自動運転ショベル１
と遠隔操作装置２との間で各種のデータの送受信を行う
無線装置６３とから構成されている。

【００１６】なお、本実施形態では、ビデオカメラ１４
を運転台１３の屋上に取り付けたが、撮像に適した場所
であるなら自動運転ショベル１のどこに設置してもよ
い。

【００１７】図１は、本実施形態に係わる自動運転建設
機械の再生動作時の制御機構を示すブロツク図である。

【００１８】なお、同図において図２に示す符号と同一
符号の筒所は同一箇所を示す。

【００１９】同図において、遠隔操作装置２は、教示時
に教示して、後述する教示位置格納部１０１に教示位置
データおよび教示コマンド格納部１０２に教示コマンド
を格納させる教示操作部２１と、再生動作時に、後述す
るコマンドインタプリタ部１００３に自動運転ショベル
１の再生動作を起動または停止させる指令を出力する再
生操作部２２と、教示操作部２１または再生操作部２２
の操作指令を車載装置１０に送信する無線機２３とから
構成される。

【００２０】１０は自動運転ショベル１に搭載される装
置を示し、１００は主としてコンピュータで構成される
自動運転を行うための各種の制御を行う自動運転コント
ローラ、１０１は後述するサーボ制御部１００６から出
力する駆動信号によって駆動される補助制御弁、１０２
は補助制御弁１０１から出力される油圧信号によって制
御され、アクチュエータ１０３に流入する油量を制御す
る主制御弁、１０３は自動運転ショベルの旋回体１２、
ブーム１４、アーム１５、およびバケット１６の各シリ
ンダおよび旋回モータを作動するためのアクチュエー
タ、６３は遠隔操作装置２および教示位置補正装置３０
とデータの送受信を行う無線機である。

【００２１】自動運転コントローラ１００は、教示時に
教示操作部２１からの教示操作に従って作成された教示
位置データおよび再生動作時にテレビカメラ６１によっ
て撮像された撮像データを演算して得られた放土位置デ
ータである教示位置データを記憶する教示位置格納部１
００１と、教示時に操作されて作成される教示コマンド
が記憶される教示コマンド格納部１００２と、教示コマ
ンド格納部１００２からの教示コマンドをシーケンシャ
ルに読み出し、教示位置出力処理部１００４に教示位置
データを出力させるための指令信号を出力するととも
に、教示位置データ間の移動速度値等を出力するコマン
ドインタプリタ部１００３と、コマンドインタプリタ部
１００３のからの指令に従って教示位置格納部１００１
に格納されている教示位置データを出力する教示位置出
力処理部１００４と、教示位置出力処理部１００４から
出力される教示位置データ間を補間処理して補間された
位置データを出力するサーボ前処理部１００５と、現在
位置演算部１００７からの帰還値と入力値とを比較して
その偏差を補正する駆動信号を補助制御弁１０１に出力
するサーボ制御部１００６と、角度センサ１７〜１９，
６０からの検出信号に基づいて自動運転ショベルの現在
位置を演算する現在位置演算部１００７と、から構成さ
れる。

【００２２】３０，３１はそれぞれ管理部所３に設けら
れる教示位置補正装置およびモニタを示し、教示位置補
正装置３０は、無線装置６２から送信されるビデオカメ
ラ６１によって撮像された画像データを受信する無線装
置３０１と、自動運転コントローラ１００のコマンドイ
ンタプリタ部１００３からの指令を無線機６３，３０２
を介して受信すると、テレビカメラ６１から無線機６
２，３０１を介して受信した画像データを処理すること
によって、ダンブトラック４への放土位置を算出する位
置計測部３０３と、自動運転ショベル１のダンプトラッ
ク４への教示された放土位置としての基準教示位置が格
納されている基準教示位置格納部３０４と、位置計測部
３０３で算出された放土位置と基準教示位置格納部３０
４に格納されている基準教示位置とからずれ量を算出し
教示された放土位置を補正する補正値を算出する補正値
算出部３０５と、無線機６３からの前記指令を受信する
とともに、補正値算出部３０５によって算出された補正
値を無線機６３に送信する無線機３０２とから構成され
ている。

【００２３】モニタ３１は無線機３０１で受信した画像
データを表示したり、位置計測部３０３で処理されてい
る画像データを確認することに用いられ、自動運転建設
機械の作業状態を監視するができる。

【００２４】上記に説明したように、教示位置格納部１
００１に格納される、例えば、放土位置、掘削位置、旋
回方向に係わる教示位置データのうち、放土位置データ
は、教示時に作成して記憶されるとともに、再生動作時
に、自動運転ショベル１００からの教示コマンドによる
指令に従って、教示位置補正装置３０において演算され
た補正値によって補正される。

【００２５】この自動運転建設機械の再生動作は、遠隔
操作装置２の再生操作部２２を操作することにより、無
線機２３、６３を介して再生起動信号が自動運転ショベ
ル１の自動運転コントローラ１００に伝送されて開始す
る。コマンドインタプリタ部１００３に再生起動信号が
入力されると、教示コマンド格納部１００２に格納され
ている教示コマンドをシーケンシヤルに読み出し、教示
時に教示された教示位置データおよび再生動作時に教示
位置補正装置３０において算出した補正値によって補正
された教示位置データを格納する教示位置格納部１００
１から教示位置出力処理部１００４に位置データを出力
させる。位置データはサーボ前処理部１００５に転送さ
れ、かつコマンドインタプリタ部１００３から与えられ
る目標速度で、自動運転ショベル１のフロントの各関節
が動作するように補間計算を行い、サーボ制御部１００
６に目標角度値を出力する。サーボ制御部１００６で
は、現在位置演算部１００７で演算された現在位置を基
にフィードバック制御を行い、補助制御弁１０１に駆動
信号を出力する。これにより予め教示された動作が再生
される。

【００２６】次に、図１に示す位置計測部３０３におけ
る位置計測の処理手順を図３に示すフローチャートを用
いて説明する。

【００２７】再生動作時、テレビカメラ６１によって撮
像された画像信号は、無線機６２，３０１を介して位置
計測部３０３に入力される。位置計測部３０３に取り込
まれた画像信号は、ステップ３０１において、フイルタ
でノイズ除去され、ステップ３０２でエッジ抽出のオペ
レータを用いてエッジの抽出が行われる。次に、ステッ
プ３０３で抽出したエッジからハフ変換などの手法を用
いて直線の抽出を行う。ステップ３０４においてステッ
プ３０３で抽出した直線とステップ３０２で抽出したエ
ツジとから、画像内の線分の端点と交点を検出する。次
に、ステップ３０５において、あらかじめ登録してある
対象物、ここではダンプトラック４のベッセル４１のモ
デルとステップ３０４で得られた線分の情報から対象物
の形状の認識を行う。形状の認識ができると、ステップ
３０６において、ベッセル４１上の特徴点の位置情報を
算出する。

【００２８】ここで、位置計測部３０３が認識したベツ
セル４１の形状および特徴点ｓ１，ｓ２，ｓ３，ｓ４の
例を図４に示す。

【００２９】なお、この算出は、さらに図５に示すよう
に、一般に、少なくともベッセル４１等の対象物の３点
の特徴点間の距離が既知であって、ビデオカメラ６１で
撮像した画面内のこれらの点の位置ｓ１〜ｓ４が解れ
ば、後述する公知の計算方法によって各点の空間での位
置を求めることができる。ここで、７０に示すＸｏ，Ｙ
ｏ，Ｚｏはベッセル４１の目標物に設定した目標物座標
系であり、この座標系は空間中どこにとってもよいが、
ここでは特徴点ｓ１〜ｓ４のうちの１つである点ｓ１を
目標物座標系の原点に置いている。７１に示すＸｃ，Ｙ
ｃ，Ｚｃはカメラ６１のレンズ中心を原点としたカメラ
座標系である。７２に示すＸｗ，Ｙｗ，Ｚｗは自動運転
ショベル１を自動制御するため基準となる制御座標系で
ある。なお、公知の計算方法としては、特公昭６２−５
４１０８号公報、大村等によって発表された電子情報通
信学会論文誌Ｄ−IIＶｏｌ．Ｊ７２−Ｄ−IIＮｏ．９ｐ
ｐ−１４４１−１４４７、が知られている。

【００３０】次いで、ステップ３０７において、算出さ
れた特徴点の位置情報からカメラ座標系７１における自
動運転ショベルが放土すべき放土位置を算出する。次い
で、ステップ３０８において、カメラ座標系７１から制
御座標系７２への変換を行って制御座標系における放土
位置を算出する。

【００３１】次に、図１に示す教示位置補正装置３０に
おける補正値算出を含めた自動運転の動作手順の一例を
図６に示すフローチャートを用いて説明する。

【００３２】自動運転ショベル１は、自動運転コントロ
ーラ１００のコマンドインタプリタ部１０３が、教示コ
マンド格納部１００２に格納されている教示コマンドに
従い、まず、ステップ６０１において、掘削教示位置ま
で旋回し、ステップ６０２において掘削を行う。掘削が
終了すると、ステップ６０３において、放土教示位置ま
で旋回する。旋回が終了したところで、ステップ６０４
において、補正値要求コマンドを無線機６３を介して管
理部所３の教示位置補正装置３０に送信する。ステップ
６０５において、自動運転コントローラ１００は教示位
置補正装置３０からの補正量を受信するまで待機状態と
なる。教示位置補正装置３０は無線機３０２によって補
正値要求コマンドを受信すると、ステップ６１１におい
て、位置計測部３０３はビデオカメラ６１によって撮像
され無線機６２，３０１によって送信された画像信号を
取り込む。ついで、ステップ６１２において、位置計測
部３０３は画像信号から放土位置を算出する。位置計測
部３０３における放土位置の算出は、上記の図３に示し
たフローチャートにおいて説明したので省略する。次い
でステップ６１３において、位置計測部３０３において
算出された放土位置と基準教示位置格納部３０４に格納
されている基準教示位置とを比較して、その差から補正
量を算出する。ステップ６１４において、算出された補
正量は無線機３０２，６３を介して自動運転コントロー
ラ１００へ送信される。補正量を受信した自動運転コン
トローラ１００はステップ６０６において算出された補
正量を基に放土位置を補正し、ステップ６０７において
放土を行う。次いで、ステップ６０１に戻り動作を一巡
する。

【００３３】次に、図１に示す位置計測部３０３におけ
る特徴点抽出の簡略な方法について説明する。

【００３４】図７は、特徴点抽出を簡略化するための自
動運転建設機械の作業形態を示す図である。

【００３５】同図において、４２はダンプトラック４の
ベッセル４１に取り付けた特徴点を明確にするための目
印として設けられた複数個の光源である。ここで、光源
４２の取り付け位置はベッセル４１上に設けているが、
ダンプトラック４上でビデオカメラ６１から見ることの
できる位置であればどこでもよい。その他の構成は図２
に示した構成と同じである。

【００３６】図８は、特徴点抽出を簡略化したときの、
位置計測部３０３における位置計測の処理手順を示すフ
ローチャートである。

【００３７】位置計測部３０３に取り込まれた画像信号
は、ステップ８０１においてフイルタによりノイズの除
去を行い、ステップ８０２で２値化処理を行う。次にス
テップ８０３において複数の画像面データを対比して輝
度の高い点を抽出する。ベッセル４１に光源４２を設け
たので、この光源４２を設けた位置が特徴点として抽出
される。次に、ステップ８０４およびステップ８０５の
処理を経て放土位置が算出される。光源４２を設けるこ
とにより、特徴点の抽出を容易に行うことができる。

【００３８】なお、本実施形態では、積み込み作業を行
う建設機械として、ショベルを用いて説明したが、ホイ
ルローダを用いることも可能である。

【００３９】

【発明の効果】上記のごとく、本発明によれば、積み込
み作業を行う建設機械上に設けられ積み込み作業を行う
建設機械が放土すべき目標物を撮像する撮像手段と、積
み込み作業を行う建設機械外に設けられ前記撮像された
撮像データに基づいて当該積み込み作業を行う建設機械
が放土すべき前記目標物の放土位置を算出するととも
に、前記算出された放土位置から教示された放土位置を
補正すべき補正値を算出する補正値算出手段とを設け、
前記補正値によって自動運転制御手段に記憶されている
教示された放土位置を補正するようにしたので、当該積
み込み作業を行う建設機械が何等かの理由で位置ずれを
起こしたり、または目標物が所定の位置からずれていて
も、積み込み作業を行う建設機械はが放土すべき適切な
放土位置を把握することができ、自動運転を高精度に遂
行することが出来る。

【００４０】また、撮像データを積み込み作業を行う建
設機械の外に設けた補正値算出手段で画像処理を行って
補正値を算出するので、積み込み作業を行う建設機械上
またはその内部のような周囲環境の悪いところに画像処
理装置を搭載する必要がなく、信頼性の高い処理を行わ
せることができる。

【図面の簡単な説明】

【図１】本発明の一実施形態に係わる自動運転建設機械
の再生動作時の制御機構を示すブロック図である。

【図２】本実施形態に係わる自動運転建設機械の作業形
態を示す図である。

【図３】図１に示す位置計測部３０３の位置計測の処理
手順を示すフローチャートである。

【図４】図１に示す位置計測部３０３が認識したベツセ
ル４１の形状および特徴点ｓ１，ｓ２，ｓ３，ｓ４を示
す図である。

【図５】ベッセル等の目標物に設定した目標物座標系７
０、テレビカメラのレンズ中心を原点としたカメラ座標
系７１、および自動運転ショベルを自動運転するための
基準となる制御座標系７２を示す図である。

【図６】図１に示す教示位置補正装置３０の補正値算出
の処理手順を示すフローチャートである。

【図７】ダンプトラック４のベッセル４１に光源４２を
設けたときの自動運転建設機械の作業形態を示す図であ
る。

【図８】ダンプトラック４のベッセル４１に光源４２を
設けたときの位置計測部３０３における位置計測の処理
手順を示すフローチャートである。

【符号の説明】

１ 自動運転ショベル １０ 車載装置 １００ 自動運転コントローラ １００１ 教示位置格納部 １００２ 教示コマンド格納部 １００３ コマンドインタプリタ部 １００４ 教示位置出力処理部 １００５ サーボ前処理部 １００６ サーボ制御部 １００７ 現在位置演算部 １０１ 補助制御弁 １０２ 主制御弁 １０３ アクチュエータ ２ 遠隔操作装置 ２１ 再生操作部 ２３ 無線機 ３ 管理部所 ３０ 教示位置補正装置 ３０１，３０２ 無線機 ３０３ 位置計測部 ３０４ 基準教示位置格納部 ３０５ 補正値算出部 ４ ダンプトラック ４１ ベッセル ４２ 光源 ６１ テレビカメラ ６２，６３ 無線機

Claims (4)

【特許請求の範囲】
1. 【請求項１】 少なくとも、積み込み作業を行う建設機
   械と、教示して記憶された教示位置を順次読み出して前
   記積み込み作業を行う建設機械を掘削から放土までの一
   巡する動作を繰り返し行わせる自動運転制御手段とを備
   える自動運転建設機械において、 該自動運転建設機械は、前記積み込み作業を行う建設機
   械上に設けられ、該積み込み作業を行う建設機械が放土
   すべき目標物を撮像する撮像手段と、前記積み込み作業
   を行う建設機械外に設けられ、前記撮像された撮像デー
   タに基づいて当該積み込み作業を行う建設機械が放土す
   べき前記目標物の放土位置を算出するとともに、前記算
   出された放土位置から教示された放土位置を補正すべき
   補正値を算出する補正値算出手段とを備え、前記補正値
   によって前記自動運転制御手段に記憶されている教示さ
   れた放土位置を補正することを特徴とする自動運転建設
   機械。
2. 【請求項２】 請求項１の記載において、 前記撮像手段は、前記撮像された撮像データを送信する
   通信手段を備え、前記補正値算出手段は、前記自動運転
   制御手段からの補正値を算出すべき指令を受信すると補
   正値の算出を行うとともに、前記撮像データおよび前記
   指令を受信し、前記算出された補正値を前記自動運転制
   御手段に送信する通信手段を備え、前記自動運転制御手
   段は前記補正値を算出すべき指令を送信し、前記算出さ
   れた補正値を受信する通信手段とを備えることを特徴と
   する自動運転建設機械。
3. 【請求項３】 請求項１ないしは請求項２のいずれか１
   つの請求項記載において、 前記目標物に、該目標物の放土位置の算出を容易化する
   ための複数の目印を設けたことを特徴とする自動運転建
   設機械。
4. 【請求項４】 請求項３の記載において、 前記複数の目印として、複数の光源を用いたことを特徴
   とする自動運転建設機械。