JP2015154240A - 建設機械用俯瞰画像表示装置 - Google Patents

Abstract

【課題】建設機械の傾斜の影響を受けることなく正確な俯瞰画像を表示する。
【解決手段】バックホウ１０の上部旋回体１４には、前方カメラ４６０２、後方カメラ４６０４、左方カメラ４６０６、右方カメラ４６０８の４つのカメラ４６が搭載されている。俯瞰画像生成手段５２は、各カメラ４６から供給されるバックホウ１０の周囲の撮像画像に基づいてバックホウ１０を中心としたバックホウ１０全周の俯瞰画像を生成するものである。傾斜角度検出手段５４は、走行時に発生するバックホウ１０が地盤Ｇに対して傾斜する傾斜角度θを検出するものである。俯瞰画像補正手段５６は、傾斜角度検出手段５４で検出された傾斜角度θに基づいてバックホウ１０が地盤Ｇ上で地盤Ｇの傾斜通りの姿勢となった状態での俯瞰画像が得られるように俯瞰画像生成手段５２で生成される俯瞰画像の補正を行なうものである。
【選択図】図６

Description

本発明は建設機械に搭載される俯瞰画像表示装置に関する。

緊急災害復旧工事において、遠隔操作仕様の建設機械を遠隔で操作する場合、操作者は工事場所より、充分離れた安全な場所から操作する必要がある。
工事範囲が狭い箇所では目視にて操作が可能であるが、通常は建設機械に搭載したビデオカメラからの画像、移動カメラ車からの画像、固定カメラからの画像などを操作者に提示させて遠隔操作を行うことで工事が可能となる。
但し、これらのカメラは、建設機械が移動や旋回する都度、死角が発生する可能性が高く、遠隔操作を行なう上で不利がある。
一方、従来から、乗用車の周辺を撮像する複数のカメラを設け、各カメラから供給される画像を処理し、乗用車の上方から見たような俯瞰画像を作成して、運転者に提供する運転支援装置が提供されている（特許文献１参照）。
したがって、このような俯瞰画像を作成して表示する俯瞰画像表示装置を建設機械に適用することが考えられる。
この場合、複数のカメラは、建設機械の適宜箇所に取着されることになる。

特開２００６−１２１５８７号公報

建設機械は、クローラやタイヤなどを回転駆動することで地盤上を走行する。
したがって、地盤が平坦であれば、建設機械および建設機械に取着された各カメラは、地盤の傾斜角度と同じ傾斜角度で傾斜し、各カメラは傾斜した状態で建設機械周辺の画像を撮像する。これにより、俯瞰画像表示装置は、建設機械の上方から見た俯瞰画像を適切に生成、表示することができる。
一方、地盤に局所的な凹凸がある場合、建設機械は、局所的な凹凸の部分を通過する際に地盤の傾斜角度とは異なる傾斜角度で一時的に傾斜したのち、凹凸の部分を通過し終えると地盤の傾斜角度に戻る。ここで、地盤における局所的な凹凸とは、例えば、クローラやタイヤがはまりこむような大きさの溝や穴や、クローラやタイヤなどが乗り上げるような瓦礫や岩石をいう。
したがって、建設機械が地盤の局所的な凹凸を通過することで、各カメラも地盤の傾斜角度とは異なる傾斜角度で一時的に傾斜したのち、地盤の傾斜角度に戻るため、各カメラの撮像範囲が一時的に変動してしまう。
このような各カメラの撮像範囲の変動は、俯瞰画像表示装置により生成される俯瞰画像に一時的に乱れを生じさせ、正確な俯瞰画像を表示させる上で不利となる。
特に、建設機械は、乗用車などに比較してその大きさが大きいことから、建設機械の全周をカバーする俯瞰画像の範囲も極めて広いものとなり、各カメラの撮像範囲の変動が俯瞰画像の正確さに与える影響は大きなものとなる。
また、建設機械は、不整地や瓦礫が残された凹凸が激しい地盤を走行することから、建設機械は大きく傾斜することになり、各カメラの撮像範囲の変動量も多大となり、各カメラの撮像範囲の変動が俯瞰画像の正確さに与える影響はより一層大きなものとなる。
本発明はこのような事情に鑑みなされたものであり、その目的は、建設機械の傾斜の影響を受けることなく正確な俯瞰画像を表示する上で有利な建設機械用俯瞰画像表示装置を提供することにある。

上述の目的を達成するため、本発明は、建設機械に搭載された複数のカメラと、前記複数のカメラから得られる前記建設機械の周囲の撮像画像に基づいて前記建設機械を中心とした建設機械全周の俯瞰画像を生成する俯瞰画像生成手段と、前記俯瞰画像生成手段により生成された俯瞰画像を表示する表示手段とを備える建設機械用俯瞰画像表示装置であって、走行時に発生する前記建設機械が地盤に対して傾斜する傾斜角度θを検出する傾斜角度検出手段と、前記傾斜角度θに基づいて前記建設機械が前記地盤上で前記地盤の傾斜通りの姿勢となった状態での俯瞰画像が得られるように前記俯瞰画像の補正を行なう俯瞰画像補正手段とを備えることを特徴とする。

本発明によれば、建設機械が地盤の局所的な凹凸を通過することで地盤に対して傾斜し、各カメラの撮像範囲が一時的に変動してしまう場合であっても、建設機械の傾斜角度θの影響を受けることなく正確な俯瞰画像を表示させる上で有利となる。

実施の形態の建設機械用俯瞰画像表示装置が適用されたバックホウの側面図である。 バックホウの平面図である。 バックホウを遠隔制御により無人運転させる遠隔制御システムの構成を示すブロック図である。 俯瞰画像の一例を示す図である。 建設機械側ユニットの複数のカメラおよび制御部の構成を示すブロック図である。 建設機械側ユニットの制御部の機能ブロック図である。 建設機械用俯瞰画像表示装置の動作フローチャートである。

（実施の形態）
以下、本実施の形態について図面を参照して説明する。
まず、本発明に係る建設機械用俯瞰画像表示装置が搭載される建設機械について説明する。
本実施の形態では、緊急災害復旧工事などの危険な工事場所で使用される建設機械が遠隔制御により無人運転されるバックホウである場合について説明する。
この場合、操作者は工事場所より、充分離れた安全な場所からバックホウを遠隔操作することになる。

まず、バックホウの構成について説明する。
図１、図２に示すように、バックホウ１０は、下部走行体１２と、上部旋回体１４と、ブーム１６と、アーム１８と、バケット２０を含んで構成される。

下部走行体１２は、クローラ１２０２の回転により地盤Ｇ上を走行する。
上部旋回体１４は、下部走行体１２の上部に旋回軸を中心に水平旋回可能に設けられている。
上部旋回体１４には操作室１４０２が設けられ、操作室１４０２には、下部走行体１２の走行、上部旋回体１４の旋回、ブーム１６の揺動、アーム１８の揺動、バケット２０の揺動などを操作するための何れも不図示の操作レバーや操作ペダルなどの複数の操作装置が設置されている。

ブーム１６は、その基端が水平方向に延在する支軸を介して上部旋回体１４に揺動可能に支持されている。
アーム１８は、その基端が水平方向に延在する支軸を介してブーム１６の先端に揺動可能に支持されている。
バケット２０は、その基端が水平方向に延在する支軸を介してアーム１８の先端に揺動可能に支持されている。
上部旋回体１４とブーム１６との間には、ブーム１６を揺動させるブームシリンダ１６０２が設けられている。
ブーム１６とアーム１８との間には、アーム１８を揺動させるアームシリンダ１８０２が設けられている。
アーム１８とバケット２０との間には、バケット２０を揺動させるバケットシリンダ２００２が設けられている。
これらブームシリンダ１６０２、アームシリンダ１８０２、バケットシリンダ２００２は油圧シリンダである。
したがって、ブームシリンダ１６０２が伸縮することにより上部旋回体１４に対してブーム１６が揺動される。
また、アームシリンダ１８０２が伸縮することによりブーム１６に対してアーム１８が揺動される。
また、バケットシリンダ２００２が伸縮することによりアーム１８に対してバケット２０が揺動される。

次に、バックホウ１０を遠隔制御する遠隔制御システムについて説明する。
図３は、遠隔制御システムの構成を示すブロック図である。
遠隔制御システム３０は、遠隔操作ユニット３２と、建設機械側ユニット３４とを備えている。
遠隔操作ユニット３２は、バックホウ１０が作業を行なう作業現場から離れた箇所に設けられている。
遠隔操作ユニット３２は、操作部３６と、表示部３８と、制御部４０と、通信部４２とを含んで構成されている。
操作部３６は、作業者が建設機械の遠隔制御を行なうために操作するものであり、例えば、ジョイスティックや操作スイッチなどから構成されている。
表示部３８は、建設機械側ユニット３４から送信される図４に示すような俯瞰画像を表示するものであり、液晶表示装置などのディスプレイで構成されている。
本実施の形態では、表示部３８が表示手段を構成している。
制御部４０は、操作部３６になされた操作に対応する操作指令を生成し通信部４２に供給すると共に、建設機械側ユニット３４から送信された俯瞰画像を通信部４２を介して受け付け表示部３８に供給するものである。
通信部４２は、建設機械側ユニット３４の通信部５０との間で操作指令および俯瞰画像の通信を行なうものである。
これら２つの通信部４２、５０は無線回線で結ばれている。
無線回線としては、例えばＳＳ無線など従来公知の様々な無線回線が使用可能であり、無線回線の種類、構成、方式は任意である。また、複数種類の無線回線を組み合わせたり、あるいは、１以上の中継局を設けるなどしてもよい。

建設機械側ユニット３４は、バックホウ１０に設けられ、駆動部４４と、複数のカメラ４６と、制御部４８と、通信部５０とを含んで構成されている。
駆動部４４は、バックホウ１０の前記各操作装置を駆動するものであり、エアシリンダやモータなど従来公知の様々なアクチュエータが使用可能である。
複数のカメラ４６は、前方カメラ４６０２、後方カメラ４６０４、左方カメラ４６０６、右方カメラ４６０８で構成されている。

図１、図２に示すように、前方カメラ４６０２は、上部旋回体１４の前部に搭載されバックホウ１０の前方を撮像するものである。
後方カメラ４６０４は、上部旋回体１４の後部に搭載されバックホウ１０の後方を撮像するものである。
左方カメラ４６０６は、上部旋回体１４の左側部に搭載されバックホウ１０の左方を撮像するものである。
右方カメラ４６０８は、上部旋回体１４の右側部に搭載されバックホウ１０の右方を撮像するものである。
本実施の形態では、各カメラ４６の画角は１８０度である。
なお、後述する俯瞰画像を生成できれば、各カメラ４６の画角は１８０度未満でもよい。しかしながら、各カメラ４６の画角を１８０度とし、上記のように上部旋回体１４の前後左右にカメラ４６をそれぞれ設置することにより、上部旋回体１４（バックホウ１０）の周辺の全周にわたる画像を効率よくかつ死角を発生させることなく得ることができ、図４に示すような俯瞰画像を正確に生成する上で有利となる。
また、各カメラ４６は、各カメラ４６の光軸が鉛直軸回りおよび水平軸回りに調節可能となるように、不図示の雲台を介して上部旋回体１４に取着されている。

図５に示すように、制御部４８は、コンピュータによって構成されている。
コンピュータは、ＣＰＵ４８０２と、不図示のインターフェース回路およびバスライン４８０１を介して接続されたＲＯＭ４８０４、ＲＡＭ４８０６、ハードディスク装置４８０８、キーボード４８１０、マウス４８１２、ディスプレイ４８１４、入出力インターフェース４８１６などを有している。
ＲＯＭ４８０４は所定の制御プログラムなどを格納し、ＲＡＭ４８０６はワーキングエリアを提供するものである。
ハードディスク装置４８０８は、後述する俯瞰画像生成手段５２、傾斜角度検出手段５４、俯瞰画像補正手段５６を実現するためのプログラムを格納している。
キーボード４８１０およびマウス４８１２は、操作者による操作入力を受け付けるものである。
ディスプレイ４８１４は、画像を表示するものであり、例えば、液晶表示装置などで構成されている。
入出力インターフェース４８１６は、周辺装置との間でデータの授受を行うものであり、本実施の形態では、各カメラ４６から撮像画像を受け付けるものである。
制御部４８は、遠隔操作ユニット３２から送信された操作指令を前記通信部５０を介して受け付けると共に、その操作指令に基づいて駆動部４４を制御することでバックホウ１０の前記各操作装置を操作するものである。
また、制御部４８は、ＣＰＵ４８０２が前記プログラムを実行することによって、図６に示すように、俯瞰画像生成手段５２、傾斜角度検出手段５４、俯瞰画像補正手段５６を実現するものである。

俯瞰画像生成手段５２は、各カメラ４６から供給されるバックホウ１０の周囲の撮像画像に基づいてバックホウ１０を中心としたバックホウ１０全周の俯瞰画像（図４）を生成し、それら撮像画像を通信部５０を介して遠隔操作ユニット３２の通信部４２に送信するものである。
俯瞰画像生成手段５２による俯瞰画像の生成は、各カメラ４６から得られた撮像画像を視点変換処理して得た視点変換画像を組み合わせることによりなされるが、このような視点変換処理や視点変換画像の組み合わせの処理として、従来公知の様々な方法が採用可能である。

傾斜角度検出手段５４は、走行時に発生するバックホウ１０が地盤Ｇに対して傾斜する傾斜角度θを検出するものである。
本実施の形態では、傾斜角度検出手段５４は、特徴点移動量検出手段５４Ａと、検出角度算出手段５４Ｂとを備えている。
特徴点移動量検出手段５４Ａは、複数のカメラ５６のうち少なくとも２つのカメラ５６から時系列で得られるバックホウ１０の周囲の撮像画像に含まれる特徴点を抽出すると共に、時系列で抽出された特徴点の対応関係に基づいて特徴点の三次元位置の移動量を検出するものである。
このような特徴点の三次元位置の移動量を検出する手法としては、例えば、ＳＦＭ（Structure From Motion）と呼ばれる従来公知の画像処理手法が使用可能である。
検出角度算出手段５４Ｂは、特徴点移動量検出手段５４Ａによって検出された特徴点の移動量に基づいて傾斜角度θを算出するものである。

俯瞰画像補正手段５６は、傾斜角度検出手段５４で検出された傾斜角度θに基づいてバックホウ１０が地盤Ｇ上で地盤Ｇの傾斜通りの姿勢となった状態での俯瞰画像が得られるように俯瞰画像生成手段５２で生成される俯瞰画像の補正を行なうものである。
また、俯瞰画像補正手段５６は、傾斜角度θの単位時間当たりの変化量の絶対値が予め定められた閾値を超えたか否かを判定し、変化量の絶対値が閾値を超えた場合に俯瞰画像の補正を行なうと共に、変化量の絶対値が予め定められた閾値以下となった場合に俯瞰画像の補正を解除する。

本実施の形態では、遠隔操作ユニット３２の表示部４８、制御部４０、通信部４２と、建設機械側ユニット３４の通信部５０、制御部４８、各カメラ４６とによって、建設機械用俯瞰画像表示装置が構成されている。

次に、建設機械用俯瞰画像表示装置の動作について図７のフローチャートを参照して説明する。
予め、各カメラ４６の光軸の鉛直軸回りの角度および水平軸回りの角度は、俯瞰画像が正確に得られるようにキャリブレーションされているものとする。
なお、キャリブレーションの方法は、以下の１）、２）に例示するように従来公知の様々な方法が採用可能である。
１）バックホウ１０が設置された地盤Ｇ上に描かれた白線や地盤Ｇ上に垂直に設置された箱尺などの対象物を各カメラ４６で撮像して得られた画像が画面上に表示された基準線に合致するように各カメラ４６の光軸調整を行ない、俯瞰画像が正確に得られるようにする。
２）上記対象物を各カメラ４６で撮像した得られた画像に基づいて俯瞰画像が正確に得られるように俯瞰画像生成手段５２における俯瞰画像生成処理に用いられる所定のパラメータ（俯瞰画像を生成するために必要なカメラ軸に関するパラメータ）をソフトウェアにより調整する。

バックホウ１０が作業現場において地盤Ｇ上を走行しているものとする。
傾斜角度検出手段５４は、各カメラ５６から得られる画像に基づいてバックホウ１０が地盤Ｇに対して傾斜する傾斜角度θを検出する（ステップＳ１０）。
俯瞰画像補正手段５６は、傾斜角度θの単位時間Δｔ当たりの変化量Δθ／Δｔが予め定められた閾値θｔｈを超えたか否かを判定する（ステップＳ１２）。
変化量Δθ／Δｔが閾値θｔｈを超えたと判定された場合、俯瞰画像補正手段５６は、傾斜角度θに基づいてバックホウ１０が地盤Ｇ上で地盤Ｇの傾斜通りの姿勢となった状態での俯瞰画像が得られるように俯瞰画像生成手段５２で生成される俯瞰画像の補正を行なう（ステップＳ１４）。
そして、俯瞰画像補正手段５６は、傾斜角度θの単位時間Δｔ当たりの変化量Δθ／Δｔの絶対値が閾値θｔｈ以下であるか否かを判定する（ステップＳ１６）。
変化量Δθ／Δｔの絶対値が閾値θｔｈ以下であると判定された場合、俯瞰画像補正手段５６は、俯瞰画像の補正処理を解除し（ステップＳ１８）、ステップＳ１０に戻る。
一方、ステップＳ１２で変化量Δθ／Δｔの絶対値が閾値θｔｈを超えない判断された場合、俯瞰画像補正手段５６による俯瞰画像の補正処理はなされず、ステップＳ１０に戻る。
また、ステップＳ１６で変化量Δθ／Δｔの絶対値が閾値θｔｈ以下でないと判定された場合、俯瞰画像補正手段５６は、ステップＳ１４に戻り俯瞰画像の補正処理を維持する。

以上説明したように本実施の形態によれば、走行時に発生するバックホウ１０（建設機械）が地盤Ｇに対して傾斜する傾斜角度θに基づいてバックホウ１０が地盤Ｇ上で地盤Ｇの傾斜通りの姿勢となった状態での俯瞰画像が得られるように俯瞰画像の補正を行なうようにした。
したがって、バックホウ１０が地盤Ｇの局所的な凹凸を通過することで地盤Ｇに対して傾斜し、各カメラ４６の撮像範囲が一時的に変動してしまう場合であっても、バックホウ１０の傾斜角度θの影響を受けることなく正確な俯瞰画像を表示させる上で有利となる。
特に、バックホウ１０の全周をカバーする俯瞰画像の範囲は極めて広く、各カメラ４６の撮像範囲の変動が俯瞰画像の正確さに与える影響は大きなものとなり、また、バックホウ１０は凹凸が激しい地盤Ｇを走行することから、バックホウ１０は大きく傾斜することになり、各カメラ４６の撮像範囲の変動量も多大となるが、このような撮像範囲の変動が俯瞰画像の正確さに与える影響を抑制する上で有利となる。

また、俯瞰画像補正手段５６により、傾斜角度θの単位時間当たりの変化量Δθ／Δｔの絶対値が閾値θｔｈを超えた場合に俯瞰画像の補正を行なうと共に、変化量Δθ／Δｔの絶対値が閾値θｔｈ以下となった場合に俯瞰画像の補正を解除するようにした。
したがって、バックホウ１０が走行する地盤Ｇの凹凸の程度が大きい場合は俯瞰画像の補正処理を行ない、凹凸の程度が小さい場合は俯瞰画像の補正処理を行なわないため、建設機械用俯瞰画像表示装置が負担する負荷を軽減する上で有利となる。
また、バックホウ１０が地盤Ｇの凹凸を乗り越えて、地盤Ｇの傾斜通りの姿勢となったのちは、俯瞰画像の補正処理を解除するため、俯瞰画像の正確性を高める上で有利となる。

また、傾斜角度検出手段５４は、複数のカメラ４６のうち少なくとも２つのカメラ４６から時系列で得られるバックホウ１０の周囲の撮像画像に含まれる特徴点を抽出すると共に、時系列で抽出された特徴点の対応関係に基づいて特徴点の三次元位置の移動量を検出する特徴点移動量検出手段５４Ａと、特徴点の移動量に基づいて傾斜角度θを算出する検出角度算出手段５４Ｂとを備えるものとした。
したがって、傾斜角度θを検出するための専用のセンサが不要となるため、部品点数の削減を図れ、コストの低減を図る上で有利となる。

なお、傾斜角度検出手段５４として、バックホウ１０の下部走行体１２に設けた３軸加速度センサと、この３軸角速度センサから出力される３軸の角速度を積分することで建設機械の傾斜角度θを算出する積分手段とを用いても良い。
この場合は、傾斜角度検出手段５４として特徴点移動量検出手段５４Ａおよび検出角度算出手段５４Ｂを用いた場合に比較して複雑な画像処理（ソフトウェア処理）が不要となるため、傾斜角度θの検出時間の短縮化を図れ、俯瞰画像の補正処理に要する処理時間の短縮化を図る上で有利となる。

なお、本実施の形態では、建設機械側ユニット３４の制御部４８によって俯瞰画像生成手段５２、傾斜角度検出手段５４、俯瞰画像補正手段５６を実現する場合について説明した。
しかしながら、各カメラ４６からの撮像画像をそれぞれ遠隔操作ユニット３２に送信し、遠隔操作ユニット３２の制御部４０によって俯瞰画像生成手段５２、傾斜角度検出手段５４、俯瞰画像補正手段５６を実現するようにしてもよい。

また、本実施の形態では、建設機械側ユニット３４に４つのカメラ４６を設ける場合について説明したが、俯瞰画像を生成することができれば、カメラ４６の台数は限定されない。

また、本実施の形態では、バックホウ１０が遠隔操作可能なものである場合について説明したが、バックホウ１０は、作業員が乗り込んで直接操作するものであってもよい。この場合、表示手段はバックホウ１０を操作する作業員が視認可能となるように設ければよく、例えば、表示手段として制御部４８のディスプレイ４８１４を用いるなど任意である。
また、建設機械は、バックホウ１０に限定されるものではなく、移動式クレーンやブルドーザーなど従来公知の様々な建設機械であってもよい。

１０ バックホウ（建設機械）
４６ カメラ
４６０２ 前方カメラ
４６０４ 後方カメラ
４６０６ 左方カメラ
４６０８ 右方カメラ
４８ 制御部
５２ 俯瞰画像生成手段
５４ 傾斜角度検出手段
５４Ａ 特徴点移動量検出手段
５４Ｂ 検出角度算出手段
５６ 俯瞰画像補正手段

Claims (5)

1. 建設機械に搭載された複数のカメラと、
   前記複数のカメラから得られる前記建設機械の周囲の撮像画像に基づいて前記建設機械を中心とした建設機械全周の俯瞰画像を生成する俯瞰画像生成手段と、
   前記俯瞰画像生成手段により生成された俯瞰画像を表示する表示手段とを備える建設機械用俯瞰画像表示装置であって、
   走行時に発生する前記建設機械が地盤に対して傾斜する傾斜角度θを検出する傾斜角度検出手段と、
   前記傾斜角度θに基づいて前記建設機械が前記地盤上で前記地盤の傾斜通りの姿勢となった状態での俯瞰画像が得られるように前記俯瞰画像の補正を行なう俯瞰画像補正手段と、
   を備えることを特徴とする建設機械用俯瞰画像表示装置。
2. 前記俯瞰画像補正手段は、前記傾斜角度θの単位時間当たりの変化量の絶対値が予め定められた閾値を超えたか否かを判定し、前記変化量の絶対値が前記閾値を超えた場合に前記俯瞰画像の補正を行なうと共に、前記変化量の絶対値が前記閾値以下となった場合に前記俯瞰画像の補正を解除する、
   ことを特徴とする請求項１記載の建設機械用俯瞰画像表示装置。
3. 前記傾斜角度検出手段は、
   前記複数のカメラのうち少なくとも２つのカメラから時系列で得られる前記建設機械の周囲の撮像画像に含まれる特徴点を抽出すると共に、時系列で抽出された前記特徴点の対応関係に基づいて前記特徴点の三次元位置の移動量を検出する特徴点移動量検出手段と、
   前記特徴点の移動量に基づいて前記傾斜角度θを算出する検出角度算出手段とを備える、
   ことを特徴とする請求項１または２記載の建設機械用俯瞰画像表示装置。
4. 前記傾斜角度検出手段は、前記建設機械に設けられた３軸角速度センサと、前記３軸角速度センサから出力される３軸の角速度を積分することで前記建設機械の傾斜角度を算出する積分手段とを備えている、
   ことを特徴とする請求項１または２記載の建設機械用俯瞰画像表示装置。
5. 前記建設機械は、遠隔制御により無人運転される、
   ことを特徴とする請求項１〜４の何れか１項記載の建設機械用俯瞰画像表示装置。

Images