JP2014106176A - 高さ測定装置 - Google Patents

Abstract

【課題】対象物体までの地上からの高さを正確に測定することのできる高さ測定装置を提供する。
【解決手段】高さ測定装置は、クレーンのブームに取り付けられて作業現場を撮像することにより撮像信号を出力するステレオカメラと、撮像信号が入力されかつ画像処理を行うことにより画像をモニタ部に表示させる画像処理部とを備え、画像処理部は、地上Sからの基準高さZｒeｆを示す基準対象Reｆが含まれている画像を用いてステレオカメラから基準対象Reｆまでの高さ方向距離Z_１を算出すると共に、対象物体Obが含まれている画像を用いてステレオカメラから対象物体Obまでの高さ方向距離Z₂を算出し、基準対象Obまでの高さ方向距離Zｒeｆから対象物体Oｂまでの高さ方向距離Z_２を減算することにより対象物体Obの基準対象Reｆからの高さZを算出する算出部を有する。
【選択図】図２

Description

本発明は、伸縮可能なブームのヘッドにステレオカメラを設け、このステレオカメラによって撮影された撮影画像を用いてビル等の対象物体の地上からの高さを精密に計測可能な高さ測定装置及び高さ測定方法に関する。

従来から、伸縮可能なブームのヘッドに監視カメラを設け、この監視カメラにより撮影された撮影画像をモニタ装置の画面に表示させ、作業現場を監視する装置を備えたクレーン等の作業機械が知られている（特許文献１等参照）。

また、破砕機等の作業機械のアームにステレオカメラを取付け、作業現場の対象物体の立体形状を求めて、モニタ装置の画面に表示させるものも知られている（特許文献２等参照）。

特開２０１１−１５１７４２号公報 特開２０１０−２４８７７７号公報

ところで、クレーン等の作業機械により作業を行う場合、ブームヘッドの地上からの高さを知りたい場合があり、そこで、クレーンのブームの伸張量、ブームの傾動角度により幾何学的にブームヘッドの対象物体の高さを演算により求めることが考えられる。

ところが、クレーンのブームは、これを伸張させることによってその自重により撓みが生じることがあり、また、自重による撓みが生じないにしても、フックに吊り下げられる吊り荷によってブームが撓むことがある。

従って、クレーンのブームの伸張量、傾動角度により幾何学的にブームヘッドの地上からの高さを演算により求めるのは正確さに欠けるきらいがある。
ところで、撮影対象物体までの距離を測定するのに用いられるステレオカメラをクレーンのブームのヘッドに取付け、そのステレオカメラによって撮影された対象物体の撮影画像と幾何学的に求めたブームヘッドの高さとから対象物体の高さを演算により求めることが考えられる。

この場合、ステレオカメラを用いて撮影された対象物体の撮影画像からその対象物体の距離を求めても、ブームヘッドの高さに、前述の通り撓みによる誤差が含まれているため、対象物体の距離を正確に求めても対象物体の高さを正確に求めることができないという不都合がある。

本発明は、上記の事情に鑑みて為されたもので、クレーンのブームのヘッドに取り付けられたステレオカメラによって撮影された対象物体の撮影画像を用いて、その対象物体の高さを正確に測定することのできる高さ測定装置及び高さ測定方法を提供することにある。

本発明の高さ測定装置は、クレーンのブームに取り付けられて作業現場を撮像することにより撮像信号を出力するステレオカメラと、前記撮像信号が入力されかつ画像処理を行うことにより画像を表示部に表示させる画像処理部とを備え、前記画像処理部は、地上からの基準高さを示す基準対象が含まれている画像を用いて前記ステレオカメラから前記基準対象までの高さ方向距離を算出すると共に、高さを求めようとする対象物体が含まれている画像を用いて前記ステレオカメラから前記対象物体までの高さ方向距離を算出し、前記基準対象までの高さ方向距離から前記対象物体までの高さ方向距離を減算することにより前記基準対象に対する前記対象物体の高さを算出する算出部を有していることを特徴とする。

本発明によれば、ステレオカメラにより作業環境を監視しながら、高さを求めようとする対象物体までの基準対象からの高さを正確に測定できる。

図１はステレオカメラによる撮影対象までの距離測定の原理を説明するための説明図である。 図２は図１に示すステレオカメラが取り付けられたクレーンによる高さ測定の説明図である。 図３は図２に示すステレオカメラの取付状態を示す概要図である。 図４は本発明の実施例に係る演算処理回路のブロック図である。 図５は図４に示すモニタ部の画面に表示されている画像の一例を示す説明図である。 図６は高さを測定したい対象物体とクレーン上の基準対象とが同時にステレオカメラに映っていない状態を示す説明図である。

（測定原理の説明）
図１はステレオカメラを用いて、撮影対象までの距離を測定する測定原理を示している。
その図1において、１は撮影対象、２はステレオカメラである。ここでは、ステレオカメラ２は２個の単眼のCCDカメラ２A、２Bからなるものとする。

そのCCDカメラ２A、２Bは、それぞれ撮像レンズ３A、３B、二次元撮像素子４A、４Bを有する。符合O1、O2はそれぞれその撮像レンズ３A、３Bの光軸を示し、光軸O1、O2の距離を基線長Dとする。また、撮像レンズ３A、３Bの焦点距離をｆとし、撮影対象１からステレオカメラ２までの距離をLとする。

ステレオカメラ２により撮影対象１を撮影した場合、 撮影対象１からの光束は矢印P１、P2でそれぞれ示すように撮像レンズ３A、３Bに入射し、二次元撮像素子４A、４Bに撮影対象像１A、１Bとして結像される。その二次元撮像素子４A、４Bに対する撮影対象像１A、１Bの結像位置は異なるため、これにより視差Δが生じる。

この視差Δを求めることにより、三角測距の原理を利用した演算式L=D×（ｆ／Δ）を用いて、撮影対象１までの距離Lが求められる。
その視差Δは光軸O１、O2上の画素中心に対する撮影対象像１A、１Bの画素位置を各CCDカメラ２A、２Bについて求めることにより求められる。

以上の説明では、CCDカメラ２A、２Bに対して撮影対象１が対称位置に存在する場合について説明したが、符合１’で示すように、撮影対象１’がCCDカメラ２A、２Bに対して非対称位置にある場合にも、演算式は複雑化するが、同原理を用いて撮影対象１’までの距離を求めることができる。

（本発明が適用されるクレーンの説明）
以下に、この原理を利用した高さ測定装置の実施例を図２〜図５を参照しつつ説明する。
その図２において、符合１１はクレーンである。このクレーン１１は、走行用の車両本体（キャリア）１２、水平方向に旋回可能な旋回台１３、オペレータ用の運転室１４、キャリアを地上Sに固定するアウトリガ１５、ブラケット１６から概略構成されている。

そのブラケット１６には、ブーム１７が設けられている。そのブーム１７はその基端部が支持軸１８を介して回動可能に取り付けられ、起伏用シリンダ１９によって起立倒伏される。
そのブーム１７は、例えば、入れ子式の基端ブーム17a、中間ブーム１７ｂ、先端ブーム１７ｃから構成されている。

このブーム17は、図示を略す各伸縮用シリンダに連結されて、各伸縮用シリンダによって伸縮される。
その先端ブーム１７ｃには、ブームヘッド１７ｄが図３に拡大して示すように設けられている。このブームヘッド１７ｄには、シーブ軸１７ｆが設けられ、このシーブ軸１７ｆに一対のシーブ１７eが設けられている。

図２に示すブラケット１６には、ウインチ（図示を略す）が設けられ、このウインチから延設されたワイヤWがシーブ１７eに掛け渡されている。そのワイヤWには、フックブロック２０が吊り下げられており、このフックブロック２０にはフック２１が設けられている。

そのシーブ軸１７ｆには、既述のステレオカメラ２が取り付けられ、このステレオカメラ２の構成は既述の通りである。ここでは、このステレオカメラ２は、その自重によって、鉛直方向を指向するように公知の回転機構（図示を略す）が設けられている。

なお、このステレオカメラ２に、パン方向、チルト方向の回動を行うパンチルト機構、撮影倍率を変更するズーム機能を持たせても良いが、ここでは、その詳細な説明は省略することとする。

運転室１４には、図示を略す操作盤、操作レバー、後述する画像処理部、モニター部（表示部）が設けられ、オペレータはその操作レバー、操作盤を適宜操作することにより、ブーム１7の旋回、起伏、伸張、アウトリガ１５の張り出し、格納、エンジン始動、停止、モニター部のオン・オフ等を行う。

（本発明に係る高さ測定装置の実施例の説明）
図４は本発明の実施例に係る高さ測定装置のブロック図である。
その図４において、符合２２は演算処理部を示している。この演算処理部２２は、ステレオカメラ２からの撮像信号、シリンダ圧力センサ２３、ブーム長センサ２４、起伏角度センサ２５、アウトリガ張り出しセンサ２６からの各センサ信号が入力されている。

その演算処理部２２は、画像処理部２２A、制御処理部２２Bを有している。その画像処理部２２Aは後述する機能を有する算出部２２Cを備えている。その制御処理部２２Bはその各センサからのセンサ信号に基づいてそれに応じた制御処理を行い、必要に応じて、適宜モニタ部２７に制御に必要な情報を出力する。

画像処理部２２Aにはステレオカメラ２から撮像信号が入力され、この画像処理部２２Aはそのステレオカメラ２からの画像信号に適宜画像処理を行って、モニタ部２７に表示信号を出力する。
これにより、図５に示す画像がモニタ部２７に表示される。

ここでは、モニタ部２７の画面Gには、ワイヤWの像W’、フックブロック２０の像２０’、車両本体１２の前部の像１２’、アウトリガ１５の像１５’、後述する基準対象Reｆの像Reｆ’、対象物体Oｂの像Oｂ’が映っている。

なお、ステレオカメラ２は、CCDカメラ２A、２Bとから構成されているので、モニタ部２７に画面を2個並列に設けて各CCDカメラ２A、２Bにより撮像された画像をそれぞれ同時に表示させる構成としても良いし、画面を1個としてCCDカメラ２A、２Bの一方により撮像された画像を表示できるように画面切り替えスイッチを設けても良い。

その画像処理部２２Aは、ステレオカメラ２により撮像された撮影画像に基準対象Reｆの像Reｆ’と対象物体Obの像Oｂ’とが共に映っているか否かを判断する機能を有する。
その基準対象Reｆは、ここでは、車両本体１２の前部の表面に十字マークとして形成されている。画像処理部２２Aは、各CCDカメラ２A、２Aにより取得された撮影画像から例えば公知のパターンマッチング手法により二次元撮像素子４A、４Bのいずれの画素位置に基準対象Reｆの像Reｆ’が存在するか否かを取得する。

同様にして、画像処理部２２Aは、各CCDカメラ２A、２Bにより取得された撮影画像から例えば公知のパターンマッチング手法により二次元撮像素子４A、４Bのいずれの画素位置に高さを測定したい対象物体Oｂの像Ob’が存在するか否かを取得する。

対象物体Obが複数存在する場合、高さを測定したい対象物体Obを指定する。この対象物体Obの指定には、モニタ部２７がタッチパネル式の場合には、オペレータが画面G上でその都度ポイントすることによって指定することができる。 なお、モニタ部２７がタッチパネル式でない場合には、例えば、対象物体Obの輪郭を自動的に抽出して、複数の対象物体Obを指定する構成とすることができる。

以下、ステレオカメラ２により撮像された画像に基準対象Reｆの像Reｆ’と対象物体Obの像Ob’とが共に含まれている場合と、ステレオカメラ２により撮像された画像に基準対象Reｆの像Reｆ’と対象物体Obの像Oｂ’とのいずれか一方が含まれていない場合とに場合分けを行って説明する。

（ステレオカメラ２により撮像された画像に基準対象Reｆの像Reｆ’と対象物体Ob’の像とが共に含まれている場合）
算出部２２Cは、ここでは、図２に示すように、地上Sからの基準高さZｒeｆを示す基準対象Refが含まれている撮影画像を用いて、その基準対象Reｆの像Reｆ’の各画素位置から視差Δを求め、この視差Δを用いてステレオカメラ２から基準対象Reｆまでの高さ方向距離Z_１を算出する。
同様に、算出部２２Cは、高さを測定したい対象物体Oｂの像Oｂ’の各画素位置から視差Δを求め、この視差Δを用いてステレオカメラ２から基準対象Reｆまでの高さ方向距離Z_２を算出する。

そして、このようにして求められた高さ方向距離Z₁、Z₂、地上Sからの基準高さZｒeｆを用いて以下の式により対象物体Obの地上Sからの高さZを求める。
Z＝（Z_１−Z₂）＋Zｒeｆ

すなわち、算出部２２Cは、地上Sからの基準高さZｒeｆを示す基準対象Refが含まれている画像を用いてステレオカメラ２から基準対象Reｆまでの高さ方向距離Z₁を算出すると共に、対象物体Obが含まれている画像を用いてステレオカメラ２から対象物体Obまでの高さ方向距離Z₂を算出し、基準対象Reｆまでの高さ方向距離Z₁と基準高さZｒeｆとの和から対象物体Oｂまでの高さ方向距離Z₂を減算することにより対象物体Obの地上Sからの高さZを算出する。

なお、算出部２２Cは基準対象Reｆに対する対象物体Obの高さを算出する場合には、基準対象Reｆまでの高さ方向距離Z₁から対象物体Obまでの高さ方向距離Z₂を減算する。
この実施例によれば、地上Sに基準対象Reｆが存在しない場合でも、クレーン１１のキャリア１２を基準とした対象物体Obの高さを正確に求めることができる。

（ステレオカメラ２により撮像された画像に基準対象Reｆの像と対象物体Obの像との少なくとも一方が含まれていない場合）
図６に示すように、例えば、ステレオカメラ２により撮像された撮影画像に基準対象Reｆのみの像が含まれ、対象物体Obとしてのビルの像が含まれていない場合には、そのままでは、対象物体Obの地上Sからの高さを求めることができない。

そこで、この場合には、すでに求められている対象物体Obを新たな基準対象Reｆとして、次に求める対象物体Oｂまでの地上からの高さを算出する。
例えば、地上Sに白線等の基準として用いることができる十字マーク指標（基準対象Reｆ”）がある場合には、その白線等の十字マーク指標（基準対象Reｆ”）を高さを測定すべき対象物体Oｂとして認識し、この対象物体（十字マーク指標（基準対象Reｆ”））Obの高さ方向距離Z_２’を求める。
ここで、地上S上にある基準対象Ref”のキャリア１２上にある基準対象Refまでの距離がZrefと同じであれば（地面が完全に水平であれば）、Z_２’＝Z_１＋Zrefとなる。

ついで、新たに高さを測定したい対象物体Obとしてのビル等とこの十字マーク指標（基準対象Reｆ”）とをステレオカメラ２により撮像し、高さを求めたい対象物体Obとしてのビル等の高さ方向距離Z₂と基準対象Reｆ”までの高さ方向距離Z₁＋Zrefを求める。その結果、地上Sからの高さを求めたい対象物体Obと基準対象Reｆとがステレオカメラ２の画像に同時に写り込んでいない場合でも、対象物体Oｂの地上に対する高さZを正確に求めることができる。

以上、実施例で説明したように、画像処理部２２Aは、地上Sからの基準高さを示す基準対象Reｆと地上Sからの高さを測定すべき対象物体Obとをクレーン１１のブーム１７に取り付けられたステレオカメラ２を用いて撮像する撮像ステップと、ステレオカメラ２から基準対象Reｆまでの高さ方向距離Z1を算出する算出ステップと、ステレオカメラ２から対象物体Obまでの高さ方向距離Z2を算出する算出ステップと、基準対象Reｆの地上Sからの基準高さZｒeｆと基準対象Reｆまでの高さ方向距離Z₁との和から対象物体Obまでの高さ方向距離Z_２を減算することにより地上Sから対象物体Oｂまでの高さZを算出するステップとを実行する。
従って、アウトリガ１５によって固定されるクレーン１１の基準高さZrefを用いて、対象物体Obの高さZを正確に求めることができる。

算出部２２Cは、新たに地上Sからの高さを測定すべき対象物体Obを含む画像に基準対象Reｆの像Reｆ’が含まれていない場合には、その画像に含まれている対象物体Obの像Ob’であってかつすでに地上Sからの高さZが求められている対象物体Obを新たな基準対象Reｆ”に用いて新たに地上からの高さを測定すべき対象物体Obの地上Sからの高さZを求めるステップを実行する。

このように、この実施例によれば、地上Sからの高さ基準を示す基準対象Reｆをクレーン１１に設けたので、対象物体Oｂの地上Sからの高さをステレオカメラ２で測定する場合でも、正確に地上Sに対する対象物体Oｂの高さを正確に測定できるという効果を奏する。
なお、演算により求められた対象物体Obの地上からの高さZと、対象物体Obの位置における半径Rとは、図５に示すように、画面Gに表示される。

以上は、対象物体Obの高さZの測定について説明したが、本発明によれば、クレーン１１の本体の基準位置に対する対象物体Obの三次元位置を正確に求めることができる。
たとえば、画像処理部２２Aにより、一方のCCDカメラ２A（又は２B）について、光軸中心（画像中心）に対する基準対象Refの二次元座標における画像位置（画素位置）を画面上で求める。

ついで、基準対象Refの画像中心に対する画素位置（ｘ’、ｙ’）と地上から高さZrefの位置にありかつ地面に平行な基準対象Refを含む平面と光軸中心との交点（原点）から基準対象Refまでの距離をｘ、ｙとすると、基準対象Refに対する高さ方向距離Z1が既に求められ、一方のCCDカメラ２A（又は２B）の焦点距離ｆは既知であるので、画像処理部２２Aにより、演算式ｘ＝（ｘ’／ｆ）×Z_１、ｙ＝（ｙ’／ｆ）×Z_１を用いて、一方のCCDカメラ２A（又は２B）について上述の交点（原点）からの距離（ｘ、ｙ）を求めることができる。

従って、一方のCCDカメラ２A（又は２B）の原点に対する基準対象Refの二次元座標位置を求めることができる。高さを求めたい対象物体Obが含まれている画像を用いて、対象物体Obについても画像処理部２２Aにより上述の演算式を用いて、その原点に対する対象物体Obの二次元座標位置を求めることができる。

すなわち、クレーン１１のブーム１７に取り付けられて作業現場を撮像することにより撮像信号を出力するステレオカメラ２と、このステレオカメラ２からの撮像信号を画像表示する画像処理部２２Aの算出部２２Cとを用いて、地上Sからの基準高さを示す基準対象Refが含まれている画像からステレオカメラ２に対する基準対象Refの位置を算出し、対象物体Obが含まれている画像からステレオカメラ２に対する対象物体Obの位置を算出し、基準対象Obの位置に対する対象物体Obの三次元方向における位置を算出することができる。

以上、実施例について説明したが、本発明は、これに限らず、以下のものが含まれる。
（１）実施例においては、クレーン１１のキャリア１２に基準対象Reｆを示すマークを設けて、このマークを画像認識することにより基準対象Reｆを取得する構成としたが、オペレータが画面上で基準対象Reｆを指定して、基準対象Reｆを取得する構成としても良い。
（２）同様に、測定したい対象物体Oｂを画面上で指定することにより対象物体の地上Sからの高さを取得する構成としても良い。

（３）更に、クレーン１１のキャリア１２に基準対象Reｆを示すマークを設けなくとも、基準対象Reｆを意味する特殊形状をクレーン１１に形成し、この特殊形状を画像認識することにより基準対象Reｆを取得する構成としても良い。
（４）このような基準対象Reｆ、対象物体Obの画像認識は、この例示に限られるものではなく、要するにステレオカメラ２を用いて撮影対象までの距離を測定できれば良い。

２…ステレオカメラ
１１…クレーン
１７…ブーム
２７…モニタ部
２２A…画像処理部
２２C…算出部
S…地上
Z…高さ
Z₁…高さ方向距離
Z₂…高さ方向距離
Ob…対象物体
Reｆ…基準対象
Zｒeｆ…基準高さ

Claims (7)

1. クレーンのブームに取り付けられて作業現場を撮像することにより撮像信号を出力するステレオカメラと、前記撮像信号が入力されかつ画像処理を行うことにより画像を表示部に表示させる画像処理部とを備え、
   前記画像処理部は、地上からの基準高さを示す基準対象が含まれている画像を用いて前記ステレオカメラから前記基準対象までの高さ方向距離を算出すると共に、高さを求めようとする対象物体が含まれている画像を用いて前記ステレオカメラから前記対象物体までの高さ方向距離を算出し、前記基準対象までの高さ方向距離から前記対象物体までの高さ方向距離を減算することにより前記基準対象に対する前記対象物体の高さを算出する算出部を有していることを特徴とする高さ測定装置。
2. 前記基準対象がクレーンに設けられていることを特徴とする請求項１に記載の高さ測定装置。
3. 前記算出部は、前記基準対象が前記ステレオカメラにより撮像された画像に含まれていない場合には、基準対象からの高さが既に求められている対象物体を新たな基準対象として、次に求める対象物体までの基準対象に対する高さを算出することを特徴とする請求項１又は請求項２に記載の高さ測定装置。
4. 前記算出部は、地上から前記基準対象までの距離を加算することにより前記対象物体の地上からの高さを算出することを特徴とする請求項２に記載の高さ測定装置。
5. 地上からの基準高さを示す基準対象と前記地上からの高さを測定すべき対象物体とをクレーンのブームに取り付けられたステレオカメラを用いて撮像する撮像ステップと、
   前記ステレオカメラから前記基準対象までの高さ方向距離を算出する算出ステップと、
   前記ステレオカメラから前記対象物体までの高さ方向距離を算出する算出ステップと、
   前記基準対象の地上からの高さと前記基準対象までの高さ方向距離との和から前記対象物体までの高さ方向距離を減算することにより前記地上から前記対象物体までの高さを算出するステップとを含むことを特徴とする高さ測定方法。
6. 新たに地上からの高さを測定すべき対象物体を含む画像に前記基準対象が含まれていない場合には、当該画像に含まれている対象物体であってかつすでに地上からの高さが求められている対象物体を新たな基準対象に用いて新たに地上からの高さを測定すべき対象物体の地上からの高さを求めることを特徴とする請求項５に記載の高さ測定方法。
7. クレーンのブームに取り付けられて作業現場を撮像することにより撮像信号を出力するステレオカメラと、前記撮像信号が入力されかつ画像処理を行うことにより画像を表示部に表示させる画像処理部とを備え、
   前記画像処理部は、地上からの高さを示す基準対象が含まれている画像を用いて前記ステレオカメラに対する前記基準対象の位置を算出すると共に、前記対象物体が含まれている画像を用いて前記ステレオカメラに対する前記対象物体の位置を算出し、前記基準対象位置に対する前記対象物体の位置を算出する算出部を有していることを特徴とする高さ測定装置。