JP2010066117A - 作業機械のステレオ画像処理装置 - Google Patents

Abstract

【課題】明るさが大きく変動する環境下における３次元形状計測に際しての各カメラによる撮影画像を、撮影部位の明るさが互いに同等となる撮影画像として取得できる。
【解決手段】アーム３に設けられ、明るさ調整用のマーカ６と、第１カメラ５１、第２カメラ５２のそれぞれの撮影画像よりマーカ６付近の撮影部位を検出するマウス９を含む撮影部位検出部と、この撮影部位検出部で検出された第１カメラ５１、第２カメラ５２による撮影部位の平均明るさＡ１，Ａ２をそれぞれ求めるとともに、撮影部位それぞれの平均明るさＡ１，Ａ２の差を演算する明るさ比較処理部７２と、この明るさ比較処理部７２によって求められた第１カメラ５１、第２カメラ５２による撮影部位それぞれの平均明るさＡ１，Ａ２の差が少なくなるように、第１カメラ５１、第２カメラ５２のシャッター速度を調整する調整部とを備えた。
【選択図】図２

Description

本発明は、油圧ショベルやホイールローダ等の屋外で作業を行なう作業機械に備えられ、撮影対象物を３次元形状計測するための複数台のカメラから成るステレオカメラを備えた作業機械のステレオ画像処理装置に関する。

２台以上のカメラ画像の視差により撮影対象物の３次元形状を計測する技術は、特許文献１に開示されている。視差はカメラ画像の小さなｎ×ｎの領域について、例えば左右に配置される２台のカメラの画像の中から、一致する対応点を見つけ、その対応点がそれぞれ画像上のどの位置にあるかで視差が求められる。この視差により対応点の距離を算出することで、小さなｎ×ｎの領域の位置を計測する。このように、複数の小さなｎ×ｎの領域について位置を算出することで、撮影対象物の３次元形状計測を実現させることができる。このような３次元形状計測にあっては、対応点を見つけることが重要である。なお、３台以上のカメラを設置して計測する場合があるが、このような場合も、増やしたカメラは対応点の位置検出精度を高めるために活用される。

また、ｎ×ｎの領域の対応点を見つける方法としては、一般的には１つのカメラのｎ×ｎの領域が、他のカメラのｎ×ｎの領域の各画素との濃淡差の絶対値をｎ×ｎ個加算したＳＡＤ（Ｓｕｍ ｏｆ Ａｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）が小さい領域を対応点として算出する。このようなことから、左右に配置されたカメラの撮影時の明るさの違いが対応点探索の障害となる。したがって、左右のカメラの明るさが同じになるように調整して撮影することが必要になる。

カメラの明るさを調整する方法は、一般的なカメラとしては、オート露光（ＡＥ）、自動露出等の技術として知られている。また、特許文献２に示される従来技術に示されるように、１台のカメラ単体としては、カメラ画像全体での明るさ調整を行なう技術や、画面中央等特定エリアでの明るさ調整を行なう技術が知られている。
特開平７−２５３３１０号公報 特開昭５８−７２１３１号公報

上述した特許文献２に示されるように、カメラの明るさを個別に調整する方法を、本発明におけるようなステレオカメラに適用する場合には、左右等のように位置を変えて設置した複数のカメラ間で取得する画像が異なり、画像の中央部で明るさを調整する場合はもとより、画像全体で明るさを調整する場合でも、撮影対象物に対する左右等のカメラの明るさが異なることとなる。これは、視差を求めて形状や距離を計測するステレオカメラでは当然であるが、室内の照明等の下におけるように明るさが大きくは変化しないような場所（３００〜５００ルクス）では適用が可能である。

しかしながら、関節部を有する作業機械による作業が実施される屋外等の環境は、例えば昼間の１００，０００ルクス程度から、日の入り１時間前の１，０００ルクス程度へと明るさが大きく変化する環境である。日陰になると、もっと暗くなり、明るさが変化する。さらに、一般的にカメラの入射光量の増加に対するカメラ出力の画素の明るさの増加にも個体差がある。このため、明るさが大きく変動する環境下では、ある明るさで明るさ調整したものであっても、その後にそのままでは使用できなくなる問題がある。また、時間とともに明るさが変動する問題もある。また、太陽光が照射する方向でも明るさが変わるために、計測する方向での明るさ調整を行なうことが必要になる。

本発明は、上述した従来技術における実状からなされたもので、その目的は、明るさが大きく変動する環境下における３次元形状計測に際しての各カメラによる撮影画像を、撮影部位の明るさが互いに同等となる撮影画像として取得することができる作業機械のステレオ画像処理装置を提供することにある。

この目的を達成するために、本発明に係る作業機械のステレオ画像処理装置は、関節部を有する作業具を備えた作業機械に設けられ、前記作業具の周囲に位置する撮影対象物を３次元形状計測するための複数台のカメラから成るステレオカメラを有する作業機械のステレオ画像処理装置において、前記作業具に設けた明るさ調整用のマーカと、前記カメラのそれぞれの撮影画像から前記マーカ付近の撮影部位を検出する撮影部位検出部と、この撮影部位検出部で検出された前記撮影部位の明るさをそれぞれ求め、これらの撮影部位の明るさの差を演算する明るさ比較処理部と、この明るさ比較処理部によって演算された前記撮影部位それぞれの明るさの差が少なくなるように、前記各カメラのシャッター速度を調整する調整部とを備えたことを特徴としている。

このように構成した本発明は、明るさが大きく変動する環境下、例えば作業機械による作業が実施される屋外等の作業現場において、作業具に設けたマーカ付近の撮影部位を複数台のカメラによって撮影することによって、そのマーカ付近の撮影部位が撮影部位検出部によって検出される。明るさ比較処理部によって、各カメラによるマーカ付近の撮影部位それぞれの明るさ、及び撮影部位それぞれの明るさの差が演算され、調整部によって、各カメラによる撮影部位それぞれの差が少なくなるように、各カメラのシャッター速度が調整される。このような処理により、明るさが大きく変動する環境下における３次元形状計測に際しての各カメラによる撮影画像を、撮影部位の明るさが互いに同等となる撮影画像として取得することができ、作業具の付近に位置する撮影対象部に対する精度の高い３次元形状計測を実現させることができる。

また、本発明に係る作業機械のステレオ画像処理装置は、前記発明において、前記カメラの撮影画像を映し出すモニタを備え、前記撮影部位検出部は、前記モニタの画面上の画像範囲をカーソル表示によって指定する指定手段と、この指定手段で指定された画像範囲を明るさ比較位置に決定する処理を行なう明るさ比較位置決定処理部とから成ることを特徴としている。

また、本発明に係る作業機械のステレオ画像処理装置は、前記発明において、前記撮影部位検出部は、前記作業具の関節部に設けられる回転角度検出器と、この回転角度検出器の検出信号に基づいて前記マーカ付近の撮影部位を演算する撮影部位演算部と、この撮影部位演算部で演算された撮影部位を明るさ比較位置に決定する処理を行なう明るさ比較位置決定処理部とから成ることを特徴としている。

このように構成した本発明は、回転角度検出器と、撮影部位演算部と、明るさ比較位置決定処理部とを介して、各カメラによる撮影部位それぞれの明るさの差が少なくなるように、各カメラのシャッター速度を調整する処理をオペーレータによる明るさ比較位置指定の手動操作を介在させることなく自動的に行なうことができる。

また、本発明に係る作業機械のステレオ画像処理装置は、前記発明において、前記作業具の姿勢を計測する計測部と、前記作業具の姿勢に応じたシャッター速度を記憶する記憶部と、前記計測部で計測された前記作業具の姿勢に対応するシャッター速度を前記記憶部から読み出して、前記各カメラの目標シャッター速度とする処理を行なう処理部とを備えたことを特徴としている。

このように構成した本発明は、計測部による作業具の姿勢の計測を介して実施される作業機械の自動運転に際して、計測部によって計測された作業具の姿勢に応じた目標シャッター速度とする処理部の処理により、複数の撮影対象物の３次元形状計測を高い精度で実現させることができる。

本発明は、作業具に設けた明るさ調整用のマーカと、複数台のカメラのそれぞれの撮影画像からマーカ付近の撮影部位を検出する撮影部位検出部と、この撮影部位検出部で検出された撮影部位の明るさをそれぞれ求め、これらの撮影部位の明るさの差を演算する明るさ比較処理部と、この明るさ比較処理部によって演算された撮影部位それぞれの明るさの差が少なくなるように、各カメラのシャッター速度を調整する調整部とを備えたことから、明るさが大きく変動する環境下における３次元形状計測に際しての各カメラによる撮影画像を、撮影部位の明るさが互いに同等となる撮影画像として取得することができる。これにより、作業具の付近に位置する撮影対象部に対する精度の高い３次元形状計測を実現させることができ、作業機械で実施される作業の作業精度及び作業能率を従来に比べて向上させることができる。

以下、本発明に係る作業機械のステレオ画像処理装置を実施するための最良の形態を図に基づいて説明する。

図１は本発明に係るステレオ画像処理装置の第１実施形態における動作の概要を説明する図で、（ａ）図は作業機械の一例として挙げた油圧ショベルを示す要部斜視図、（ｂ）図は第１実施形態に備えられるモニタの画面を示す図、（ｃ）図は（ｂ）図に示される画面からマーカが表示されているエリアが切り出された画像を示す図、（ｄ）図は（ｃ）図のエリアの平均明るさを示す図、図２は本発明に係るステレオ画像処理装置の第１実施形態の要部構成を示すブロック図である。

これらの図１，２に示すステレオ画像処理装置の第１実施形態は、作業機械例えば油圧ショベルに備えられるものであり、この油圧ショベルは、図１の（ａ）図に示すように、図示しない走行体上に配置される旋回体１と、この旋回体１にブームピン２１によって取り付けられ、上下方向の回動可能なブーム２と、このブーム２にアームピン３１によって取り付けられ、上下方向に回動可能なアーム３と、このアーム３にバケットピン４１によって取り付けられ、上下方向に回動可能なバケット４とを備えている。ブーム２、アーム３、及びバケット４等によって掘削作業などを行なう関節部を有する作業具が構成されている。

この第１実施形態は、油圧ショベルに備えられる作業具、例えばアーム３の背面に設けた明るさ調整用のマーカ６を備えている。また、マーカ６を撮影する複数台のカメラ、例えば運転室の屋根の左右に配置される第１カメラ５１と第２カメラ５２とを備えている。これらの第１カメラ５１と第２カメラ５２とによって、ステレオカメラが構成されている。

第１カメラ５１、第２カメラ５２で撮影された映像は、同図１の（ｂ）図に示すようにモニタ８の画面上に、画像６１として表示される。この画像６１中に、前述したマーカ６が表示された画像、すなわちマーカ画像６２が含まれることになる。同図１の（ｂ）図中、左の画像６１は第１カメラ５１によって撮影された画像であり、右の画像６１は第２カメラ５２によって撮影された画像である。

この第１実施形態は、後述するように図１の（ｂ）図に示す画像から、明るさを求める演算に必要な画像が、同図１の（ｃ）図に示すように、マーカ画像６２が含まれるエリア６３としてオペレータによって指定される。この図１の（ｃ）図の左のエリア６３は、第１カメラ５１によって撮影された画像において指定されたエリアであり、右のエリア６３は、第２カメラ５２によって撮影された画像において指定されたエリアである。

この第１実施形態は、後述するように、エリア６３で示されている画像のたとえば平均明るさＡ１，Ａ２が求められる。図１の（ｄ）の左の図は、第１カメラ５１によって撮影された画像において指定されたエリア６３の平均明るさＡ１を示しており、右の図は、第２カメラ５２によって撮影された画像において指定されたエリア６３の平均明るさＡ２を示している。

この第１実施形態に係るステレオ画像処理装置は、図２に示すように、例えばパソコン７と、このパソコン７の処理結果を表示する前述のモニタ８と、パソコン７に付設されるマウス９とを備えている。

パソコン７は、第１カメラ５１及び第２カメラ５２に接続される入出力部７６と、この入出力部７６から入力された第１カメラ５１及び第２カメラ５２の撮影画像を記憶するとともに、記憶した画像をモニタ８に表示させる画像記憶部７５と、第１カメラ５１及び第２カメラ５２に画像取得等の指令信号を出力する指令処理部７７と、第１カメラ５１及び第２カメラ５２の撮影画像に基づいて３次元形状計測を実施する３次元形状計測処理部７４とを備えている。

また、マウス９によるカーソル表示によって指定されたモニタ８の画面の画像を、図１の（ｃ）図に示すように、明るさ比較位置として決定する処理を行なう明るさ比較位置決定処理部７１を備えている。前述したマウス９と、明るさ比較位置決定処理部７１とは、第１カメラ５１及び第２カメラ５２それぞれの撮影画像からマーカ６付近の撮影部位を検出する撮影部位検出部を構成している。

また、明るさ比較位置決定処理部７１で決定された比較位置、すなわちマウス９によって指定された撮影部位それぞれの前述した図１の（ｄ）図に示す平均明るさＡ１，Ａ２を求め、これらの平均明るさＡ１とＡ２の差を演算する明るさ比較処理部７２を備えている。今、この第１カメラ５１による撮影部位の平均明るさＡ１に比べて、第２カメラ５２による撮影部位の平均明るさＡ２が暗いものとすると、平均明るさＡ１−平均明るさＡ２が、平均明るさの差として求められる。また、望ましい明るさＡ０が経験的に設定され、平均明るさＡ１−Ａ０、平均明るさＡ２−Ａ０が望ましい明るさの差としてそれぞれ求められる。

また、第１カメラ５１及び第２カメラ５２のそれぞれに対応して個別に、明るさとシャッター速度との関数関係が予め設定されるシャッター速度変更用テーブル７８を備えている。このシャッター速度変更用テーブル７８で設定される関数関係は、明るさが明るくなるほどシャッター速度が遅くなる関数関係である。また、前述した明るさ比較処理部７２によって求められた第１カメラ５１及び第２カメラ５２による撮影部位それぞれの平均明るさＡ１，Ａ２の差が少なくなるように、シャッター速度変更用テーブル７８で設定されている関数関係に基づいて、シャッター速度を演算する明るさ変更処理部７３を備えている。

前述したシャッター速度変更用テーブル７８と、明るさ変更処理部７３は、明るさ比較処理部によって求められた第１カメラ５１及び第２カメラ５２による撮影部位のそれぞれの平均明るさＡ１，Ａ２の差が少なくなるように、第１カメラ５１及び第２カメラ５２のシャッター速度を調整する調整部を構成している。

図３は第１実施形態に備えられるパソコンにおける処理手順を示すフローチャートである。

このように構成した第１実施形態は、第１カメラ５１及び第２カメラ５２による撮影部位の明るさの調整に際して図３に示す各処理がなされる。すなわち、図１の（ａ）図に示すマーカ６付近を撮影した第１カメラ５１及び第２カメラ５２の映像が、図１の（ｂ）図に示すようにモニタ８の画面上に映し出され、オペレータがマウス９を動かして、図１の（ｃ）図に示すようにマーカ画像６２を含むエリア６３を指定することが行われる（手順Ｓ１００）。次に第１カメラ５１及び第２カメラ５２の撮影による撮影部位、すなわちそれぞれのエリア６３の平均明るさＡ１，Ａ２が図１の（ｄ）図に示すように、明るさ比較処理部７２で求められ、さらに平均明るさＡ１と平均明るさＡ２が演算される（手順Ｓ１０１）。

次に、明るさ変更処理部７３により、シャッター速度変更用テーブル７８で設定される第１カメラ５１に係る明るさＡ１と、望ましい明るさＡ０と、シャッター速度との関数関係に基づいて、第１カメラ５１に対応する撮影部位の平均明るさＡ１に相応するシャッター速度が求められる。また、第２カメラ５２の平均明るさＡ２と、望ましい明るさＡ０と、シャッター速度変更用テーブルで設定される関数関係から、第２カメラ５２のシャッター速度が求められる。例えば第１カメラ５１が望ましい明るさと同一の明るさでＡ０＝Ａ１の場合は、第１カメラ５１のシャッター速度は変わらず、第２カメラ５２のみが前回と変る（手順Ｓ１０２）。

この場合、左右のカメラ、すなわち前述した明るさ変更処理部で求められた第１カメラ５１の次回のシャッター速度と、第２カメラ５２の次回のシャッター速度の少なくとも一方が現在の該当するシャッター速度と異なると判断されたときには（手順Ｓ１０３）、第１カメラ５１に係るシャッター速度、及び第２カメラ５２に係るシャッター速度が、パソコン７の指令処理部７７、及び入出力部７６を介して、第１カメラ５１及び第２カメラ５２に出力され、該当するカメラのシャッター速度、今の場合は第２カメラ５２のシャッター速度が変更される（手順Ｓ１０４）。

第１カメラ５１及び第２カメラ５２でマーカ６付近の撮影が継続される間、同図３の手順Ｓ１０１−Ｓ１０４の処理が繰り返し行われる。

また、同図３の手順Ｓ１０３で第１カメラ５１及び第２カメラ５２のシャッター速度の双方の次回値が、現在値と同じと看做されたときには、明るさの調整が終了する。このような状態において、３次元形状計測処理部７４による撮影対象物の計測処理へと移行する。

このように構成した第１実施形態は、明るさが大きく変動する環境下、例えば油圧ショベルによる作業が実施される屋外等の作業環境下において、作業具を構成するアーム３に設けたマーカ６付近の撮影部位を、前述したように左右に配置されステレオカメラを構成する第１カメラ５１及び第２カメラ５２のそれぞれによって撮影することにより、そのマーカ６付近の撮影部位がオペレータの手動によるマウス９を介して検出される。パソコン７に含まれる明るさ比較処理部７２によって、マウス９で指定された第１カメラ５１及び第２カメラ５２の撮影部位のそれぞれの平均明るさＡ１，Ａ２が求められ、さらに望ましい明るさＡ０と、平均明るさＡ１及びＡ２の差が求められ、明るさ変更処理部７３及びシャッター速度変更用テーブル７８から成る調整部によって、第１カメラ５１による撮影部位の平均明るさＡ１と第２カメラ５２による撮影部位の平均明るさＡ２の明るさの差が、望ましい明るさＡ０との差となるように、第１カメラ５１及び第２カメラ５２のシャッター速度が調整される。このような処理により、明るさが大きく変動する環境下における３次元形状計測に際しての第１カメラ５１及び第２カメラ５２の撮影画像を、撮影部位の明るさが同等となる撮影画像として取得することができる。これにより精度の高い３次元形状計測を実現させることができ、当該油圧ショベルで実施される作業の作業精度及び作業能率を向上させることができる。

なお、作業現場におる撮影対象物の配置角度に合うように、マーカ６が設けられるアーム３の角度を設定し、このようにアーム３の形態を保った状態において、第１カメラ５１及び第２カメラ５２によるマーカ６付近の撮影を行なうようにすれば、より撮影対象物に適した第１カメラ５１及び第２カメラ５２の明るさの調整を実現できる。このため、作業現場における撮影対象物が、配置角度により大きく明るさが変化するような環境下でもステレオカメラによる３次元計測が可能となる。

図４は本発明の第２実施形態の要部構成を示すブロック図である。

この図４に示す第２実施形態も、例えば図１の（ａ）図に示した油圧ショベルに備えられるものである。この第２実施形態は、第１カメラ５１、第２カメラ５２のそれぞれの撮影画像中よりマーカ６付近の撮影部位を検出する撮影部位検出部として、第１実施形態におけるマウス９と明るさ比較位置決定処理部７１とに代えて、作業具の関節部に取り付けられる回転角度検出器、例えば図１の（ａ）図に示すブームピン２１に設けられ、ブーム２の回動角度を検出する角度センサ２２と、アームピン３１に設けられ、アーム３の回動角度を検出する角度センサ３２と、パソコン７に設けられ、角度センサ２２，３２の検出信号に基づいてマーカ６付近の撮影部位を演算する撮影部位演算部、すなわちマーカ位置演算処理部７９と、このマーカ位置演算処理部７９で演算された撮影部位を明るさ比較位置として決定する処理を行なう明るさ比較位置決定処理部７１とを備えている。その他の構成は前述した第１実施形態と同等である。

図５は第２実施形態に備えられるパソコンにおける処理手順を示すフローチャートである。

この第２実施形態は、図５に示すように、角度センサ２２，３２の検出値により、第１カメラ５１及び第２カメラ５２とアーム３に設けたマーカ６との位置関係が算出される（手順Ｓ２００）。この場合、マーカ６が第１カメラ５１及び第２カメラ５２に映らない範囲であるときは異常と判断され、処理は終了する（手順Ｓ２０１）。マーカ６が第１カメラ５１及び第２カメラ５２で映され正常であると判断されたときは、マーカ６が第１カメラ５１及び第２カメラ５２に映り込む画素範囲（明るさ比較箇所）がパソコン７のマーカ位置演算処理部７９で演算される。これ以降の処理手順は、第１実施形態に係る図３に示す処理手順Ｓ１０１−Ｓ１０４と同等である。

このように構成した第２実施形態も、第１実施形態と同等の効果が得られる他、手動でのマウス等の操作によるマーカの指示を省略できる効果がある。特に、角度センサ２２，３２とパソコン７のマーカ位置演算処理部７９とを介して、第１カメラ５１及び第２カメラ５２の撮影部位それぞれの明るさの差が少なくなるように、第１カメラ５１及び第２カメラ５２のシャッター速度の調整を自動的に行なうことができる。したがって、油圧ショベルの自動運転におけるマーカ６付近に位置する撮影対象物に対する３次元形状計測に好適である。

図６は本発明の第３実施形態の動作の概要を示す図で、（ａ）図は作業機械の一例として挙げたホイールローダを示す側面図、（ｂ）図は第３実施形態に備えられるモニタの画面を示す図、図７は図６に示すホイールローダで実施される自動掘削・積込作業を示す図、図８は本発明の第３実施形態の要部構成を示すブロック図である。

この第３実施形態は、図６の（ａ）図に示すように、作業機械がホイールローダ１０から成り、明るさ調整用の図示しないマーカが取り付けられる作業具がバケット１４から成っている。第１カメラ５１及び第２カメラ５２の撮影画像は、図６の（ｂ）図に示すようにモニタ８の画面上に表示される。同図６の（ｂ）図の左の図は第１カメラ５１によって撮影した図示しないマーカを含む画像６１を、右の図は第２カメラ５２によって撮影した図示しないマーカを含む画像６１を示している。

この第３実施形態におけるホイールローダ１０は、例えば自動運転されるものであり、図７に示すように、砂利山１０１をバケット１４で掘削し、バケット１４に砂利を積載した状態でダンプトラック１００に接近し、所定の位置でバケット１４からダンプトラック１００の荷台に砂利を放出させる砂利掘削・積込作業を自動的に行なうようになっている。

この第３実施形態に係るステレオ画像処理装置は、前述した第２実施形態と同等の第１カメラ５１及び第２カメラ５２と、パソコン７構成とを備えるとともに、図８に示すように、マーカ付近の撮影部位を検出する撮影部位検出部が、作業具の関節部に取り付けられる回転角度検出器、例えばバケット１４を保持するアームの回動角度を検出する角度センサ４３と、アームに対するバケット１４の回動角度を検出する角度センサ４４とを含んでいる。また、パソコン７に接続され、ホイールローダ１０の自動運転を制御する自動運転コントローラ８０を備えている。

自動運転コントローラ８０は、角度センサ４３，４４から出力される信号に応じて作業具、すなわちバケット１４の姿勢を計測する計測部と、複数のシャッター速度、例えば砂利山１０１の形状を計測する際のシャッター速度１と、ダンプトラック１００に積載した砂利の形状を計測する際のシャッター速度２とを記憶する記憶部と、前述の計測部で計測されたシャッター速度１，２を記憶部から読み出して目標シャッター速度とする処理を行なう処理部とを備えている。

図９は第３実施形態に備えられるパソコン及び自動運転コントローラにおける処理手順を示すフローチャートである。

この第３実施形態では、図８に示すように、ホイールローダ１０で砂利山１０１を掘削する前に砂利山１０１の形状を計測する際に、自動運転コントローラ８０の記憶部に記憶されているシャッター速度１が読み出され（手順Ｓ３００）、このシャッター速度１によって砂利山形状の３次元計測がパソコン７の３次元形状計測処理部７４で実施されることになる（手順Ｓ３０１）。この際に、第１カメラ５１及び第２カメラ５２の撮影部位の明るさの調整が必要であるかどうか判断される（手順Ｓ３０２）。明るさの調整が必要であれば、前述したようにパソコン７の各処理部を活用して、事前にこの明るさ調整処理がなされる（手順Ｓ３０３）。このときのパソコン７における明るさ調整処理は、第２実施形態に関係して述べた処理と同等である。

手順Ｓ３０２で明るさの調整が不要と判断されたときは、現在用いられているシャッター速度１を自動運転コントローラ８０の記憶部に記憶させる処理がなされる（手順Ｓ３０４）。引き続いて、自動運転コントローラ８０の処理により、砂利山１０１の掘削開始位置が決定され（手順Ｓ３０５）、ホイールローダ１０を掘削開始位置まで自動走行させる処理がなされ（手順Ｓ３０６）、バケット１４による砂利山１０１の自動掘削が行われる（手順Ｓ３０７）。

続いて、ダンプトラック１００までの走行経路を作成する処理がなされ（手順Ｓ３０８）、バケット１４に砂利を積載させた状態でホイールローダ１０を積込開始位置まで自動走行させる処理が行われ（手順Ｓ３０９）、バケット１４に積載した砂利をダンプトラック１００に積み込む処理が開始される（手順Ｓ３１０）。

このとき、ダンプトラック７１００に積み込んだ砂利の形状を計測するべく、自動運転コントローラ８０の記憶部に記憶されているシャッター速度２が読み出され（手順Ｓ３１１）、このシャッター速度２によってダンプトラック１００に砂利を積み込んだ砂利の３次元形状計測がパソコン７の３次元形状計測処理部７４で実施されることになる（手順Ｓ３１２）。この際に、第１カメラ５１及び第２カメラ５２の撮影部位の明るさの調整が必要かどうか判断される‘（手順Ｓ３１３）。明るさの調整が必要であれば、事前にパソコン７によって明るさの調整処理がおこなわれる（手順Ｓ３１４）。このときのパソコン７における処理は、第２実施形態に関連して述べた処理と同等である。手順Ｓ３１３で明るさ調整不要と判断されたときは、現在用いられているシャッター速度２を自動運転コントローラ８０の記憶部に記憶させる処理がなされる（手順Ｓ３１５）。

続いて、自動運転コントローラ８０でダンプトラック１００付近から砂利山１０１までの走行経路を作成する処理がなされ（手順Ｓ３１６）、ホイールローダ１０を再び砂利山１０１付近の前述の砂利山形状の３次元計測位置まで自動走行させる処理が行なわれ（手順Ｓ３１７）、次回の積み込みが必要かどうか、自動運転コントローラ８０内の判断部で判断される（手順Ｓ３１８）。ここで次回の積み込みが必要と判断されたときには、手順Ｓ３００に戻る。次回の積み込みが不要と判断されたときは、ホイールローダ１０は例えば待機状態となる。

ここで手順Ｓ３０２及び手順Ｓ３１３の明るさ調整が必要か否かの判断の例として次の方法がある。計測対象物である砂利の計測結果として、前回または初期に計測された砂利の計測面積（計測点数）に比べて、今回の計測が大きく少なくなった場合に明るさ調整が必要と判断できる。

また、手順Ｓ３０３及び手順Ｓ３１４の明るさ調整処理は、第１実施形態で説明したように計測対象物である砂利の角度（好適には安息角）とマーカ６１の角度を合わせて、角度を調整することで、より形状計測に適した明るさ調整が可能である。また、目標とするマーカ６１角度はステレオカメラで前回計測した対象物形状の平均角度でも良好である。

このように構成した第３実施形態は、第２実施形態におけるのと同様の構成の第１カメラ５１及び第２カメラ５２による撮影部位の明るさ調整が可能なパソコン７を備えていることから、第２実施形態と同等の作用効果が得られる他、特に、自動運転コントローラ８０を介して実施されるホイールローダ１０の自動運転に際して、計測対象に応じた目標シャッター速度、すなわち砂利山１０１の形状測定においてはシャッター速度１とし、ダンプトラック１００の積込砂利の形状測定においてはシャッター速度２とする自動運転コントローラ８０の処理部の処理によって、複数の撮影対象物の３次元形状寸法を、このホイールローダ１０で実施されるそれぞれの自動運転作業に応じて高い精度で実現させることができる。

また、明るさの調整を適宜実施することで、天候や太陽の位置の変化に左右されることなく安定した計測手段を実現することが可能である。また、本実施形態では、自動運転コントローラ８０にて計測対象物毎にシャッター速度を記憶部より読み出して、３次元の計測及び明るさの調整後のシャッター速度を格納している。これに代えて、バケット、アーム等の作業姿勢毎にシャッター速度を読み出して計測するシステムとしてもよい。掘削前の砂利山１０１や積み込み後のダンプトラック１００の砂利の形状を計測する時のバケット、アーム等の作業姿勢はほぼ同一であり、最適なシャッター速度が読み出し可能である。

本発明に係るステレオ画像処理装置の第１実施形態における動作の概要を説明する図で、（ａ）図は作業機械の一例として挙げた油圧ショベルを示す要部斜視図、（ｂ）図は第１実施形態に備えられるモニタの画面を示す図、（ｃ）図は（ｂ）図に示される画面からマーカが表示されているエリアが切り出された画像を示す図、（ｄ）図は（ｃ）図のエリアの平均明るさを示す図である。 本発明に係るステレオ画像処理装置の第１実施形態の要部構成を示すブロック図である。 第１実施形態に備えられるパソコンにおける処理手順を示すフローチャートである。 本発明の第２実施形態の要部構成を示すブロック図である。 第２実施形態に備えられるパソコンにおける処理手順を示すフローチャートである。 本発明の第３実施形態の動作の概要を示す図で、（ａ）図は作業機械の一例として挙げたホイールローダを示す側面図、（ｂ）図は第３実施形態に備えられるモニタの画面を示す図である。 図６に示すホイールローダで実施される自動掘削・積込作業を示す図である。 本発明の第３実施形態の要部構成を示すブロック図である。 第３実施形態に備えられるパソコン及び自動運転コントローラにおける処理手順を示すフローチャートである。

符号の説明

１ 旋回体
２ ブーム
３ アーム
４ バケット
６ マーカ
７ パソコン
８ モニタ
９ マウス（指定手段）〔撮影部位検出部〕
１０ ホイールローダ（作業機械）
１４ バケット
２１ ブームピン
２２ 角度センサ（回転角度検出器）〔撮影部位検出部〕
３１ アームピン
３２ 角度センサ（回転角度検出器）〔撮影部位検出部〕
４１ バケットピン
４３ 角度センサ（回転角度検出器）〔撮影部位検出部〕
４４ 角度センサ（回転角度検出器）〔撮影部位検出部〕
５１ 第１カメラ
５２ 第２カメラ
６１ 画像
６２ マーカ画像
６３ エリア
７１ 明るさ比較位置決定処理部（撮影部位検出部）
７２ 明るさ比較処理部
７３ 明るさ変更処理部（調整部）
７４ ３次元形状計測処理部
７５ 画像記憶部
７６ 入出力部
７７ 指令処理部
７８ シャッター速度変更用テーブル（調整部）
７９ マーカ位置演算処理部（撮影部位演算部）〔撮影部位検出部〕
８０ 自動運転コントローラ（計測部）（記憶部）（処理部）
１００ ダンプトラック
１０１ 砂利山

Claims (4)

1. 関節部を有する作業具を備えた作業機械に設けられ、前記作業具の周囲に位置する撮影対象物を３次元形状計測するための複数台のカメラから成るステレオカメラを有する作業機械のステレオ画像処理装置において、
   前記作業具に設けた明るさ調整用のマーカと、
   前記カメラのそれぞれの撮影画像から前記マーカ付近の撮影部位を検出する撮影部位検出部と、
   この撮影部位検出部で検出された前記撮影部位の明るさをそれぞれ求め、これらの撮影部位の明るさの差を演算する明るさ比較処理部と、
   この明るさ比較処理部によって演算された前記撮影部位それぞれの明るさの差が少なくなるように、前記各カメラのシャッター速度を調整する調整部とから成ることを特徴とする作業機械のステレオ画像処理装置。
2. 請求項１に記載の作業機械のステレオ画像処理装置において、
   前記カメラの撮影画像を映し出すモニタを備え、
   前記撮影部位検出部は、前記モニタの画面上の画像範囲をカーソル表示によって指定する指定手段と、この指定手段で指定された画像範囲を明るさ比較位置に決定する処理を行なう明るさ比較位置決定処理部とから成ることを特徴とする作業機械のステレオ画像処理装置。
3. 請求項１に記載の作業機械のステレオ画像処理装置において、
   前記撮影部位検出部は、前記作業具の関節部に設けられる回転角度検出器と、この回転角度検出器の検出信号に基づいて前記マーカ付近の撮影部位を演算する撮影部位演算部と、この撮影部位演算部で演算された撮影部位を明るさ比較位置に決定する処理を行なう明るさ比較位置決定処理部とから成ることを特徴とする作業機械のステレオ画像処理装置。
4. 請求項１〜３のいずれか１項に記載の作業機械のステレオ画像処理装置において、
   前記作業具の姿勢を計測する計測部と、前記作業具の姿勢に応じたシャッター速度を記憶する記憶部と、前記計測部で計測された前記作業具の姿勢に対応するシャッター速度を前記記憶部から読み出して、前記各カメラの目標シャッター速度とする処理を行なう処理部とを備えたことを特徴とする作業機械のステレオ画像処理装置。

Images