JP2017193958A - 校正システム、作業機械及び校正方法 - Google Patents

Abstract

【課題】作業機械に備えられた、対象の位置を検出する手段によって検出された対象の位置情報を、対象の位置を検出する手段以外の座標系に変換するための変換情報を求めること。【解決手段】校正システムは、第１位置検出部によって検出された作業機械の所定の位置に関する情報である第１位置情報、及び第１位置検出部が所定の位置を検出したときの作業機械の姿勢で、第２位置検出部によって検出された所定の位置に関する情報である第２位置情報を用いて、第１位置検出部が検出した位置を第１位置検出部の座標系から第１位置検出部の座標系とは異なる座標系に変換するために用いられる変換情報を求めて出力するか、又は第２位置検出部が検出した位置を第２位置検出部の座標系から第２位置検出部の座標系とは異なる座標系に変換するために用いられる変換情報を求めて出力する処理部を含む。【選択図】図４

Description

本発明は、作業機械に備えられて対象の位置を検出する位置検出部を校正するための、校正システム、作業機械及び校正方法に関する。

対象の位置を検出する手段として、撮像装置を備えた作業機械がある（例えば、特許文献１）。

特開２０１２−２３３３５３号公報

作業機械に備えられた、対象の位置を検出する位置検出手段によって検出された対象の位置を用いて、例えば、対象の位置が位置検出手段の座標系に基づくものである場合、検出された対象の位置が地球上のいずれの位置にあるかを知るためには、位置検出手段の座標系からこれとは異なる座標系に変換される必要がある。特許文献１には、撮像装置を用いて作業機を校正する技術が記載されている。しかし、特許文献１には、作業機械に備えられた、対象の位置を検出する手段によって検出された対象の位置を、対象の位置を検出する手段以外の座標系に変換することについては記載も示唆もされていない。

本発明は、作業機械に備えられた、対象の位置を検出する手段によって検出された対象の位置情報を、対象の位置を検出する手段以外の座標系に変換するための変換情報を求めることを目的とする。

本発明は、作業機を有する作業機械に備えられて、対象の位置を検出して出力する第１位置検出部と、前記第１位置検出部によって検出された前記作業機械の所定の位置に関する情報である第１位置情報、及び前記第１位置検出部が前記所定の位置を検出したときの前記作業機械の姿勢で、第２位置検出部によって検出された前記所定の位置に関する情報である第２位置情報を用いて、前記第１位置検出部が検出した位置を前記第１位置検出部の座標系から前記第１位置検出部の座標系とは異なる座標系に変換するために用いられる変換情報を求めて出力するか、又は前記第２位置検出部が検出した位置を前記第２位置検出部の座標系から前記第２位置検出部の座標系とは異なる座標系に変換するために用いられる変換情報を求めて出力する処理部と、を含む校正システムである。

前記第１位置情報は、前記第１位置検出部が、異なる姿勢の前記作業機械から前記所定の位置を検出することにより得られた複数の情報であり、前記第２位置情報は、前記第２位置検出部が、異なる姿勢の前記作業機機械から前記所定の位置を検出することにより得られた複数の情報であることが好ましい。

前記第１位置検出部は、少なくとも一対の撮像装置で構成されたステレオカメラであり、前記第２位置検出部は、前記作業機械に備えられて、前記作業機を動作させるアクチュエータの動作量を検出するセンサであることが好ましい。

前記所定の位置は、前記ステレオカメラを構成する一対の前記撮像装置が配列されている方向における、前記作業機械の複数の位置であることが好ましい。

本発明は、作業機と、前記校正システムと、を含む、作業機械である。

本発明は、第１の方法及び第２の方法によって作業機械の所定の位置を、前記作業機械の姿勢が異なる状態で検出し、前記第１の方法によって検出された前記所定の位置に関する情報である第１位置情報、及び前記第１の方法によって前記所定の位置が検出されたときの前記作業機の姿勢で、前記第２の方法によって検出された前記所定の位置に関する情報である第２位置情報を用いて、前記第１の方法によって検出された位置を前記第１の方法における座標系から前記第１位置検出部の座標系とは異なる座標系に変換するために用いられる変換情報を求めるか、又は前記第２位置検出部が検出した位置を前記第２位置検出部の座標系から前記第２位置検出部の座標系とは異なる座標系に変換するために用いられる変換情報を求める校正方法である。

前記第１位置検出部が異なる姿勢の前記作業機械から前記所定の位置を検出することにより得られた複数の情報が前記第１位置情報であり、前記第２位置検出部が異なる姿勢の前記作業機械から前記所定の位置を検出することにより得られた複数の情報が前記第２位置情報であり、前記所定の位置を検出する場合、前記第１位置検出部及び前記第２位置検出部は、異なる姿勢の前記作業機械から前記所定の位置を検出することが好ましい。

前記第１の方法は、ステレオ方式により前記所定の位置を三次元計測するものであり、前記所定の位置は、前記ステレオ方式による前記三次元計測に用いられる一対の撮像装置が配列されている方向における、前記作業機械の複数の位置であることが好ましい。

本発明は、作業機械に備えられた、対象の位置を検出する手段によって検出された対象の位置情報を、対象の位置を検出する手段以外の座標系に変換するための変換情報を求めることができる。

図１は、実施形態に係る校正システムを備えた油圧ショベルの斜視図である。 図２は、実施形態に係る油圧ショベルの運転席付近を斜視図である。 図３は、実施形態に係る油圧ショベルが有する作業機の寸法及び油圧ショベルの座標系を示す図である。 図４は、複数の撮像装置が対象を撮像することによって得られた画像の一例を示す図である。 図５は、複数の撮像装置が撮像する対象の一例を示す図である。 図６は、実施形態に係る校正システムを示す図である。 図７は、実施形態に係る校正方法を説明する図である。 図８は、実施形態に係る処理装置が実施形態に係る校正方法を実行する際の処理例を示すフローチャートである。 図９は、実施形態に係る処理装置が実施形態に係る校正方法を実行する際に撮像装置３０が撮像する対象を示す図である。 図１０は、実施形態に係る処理装置が実施形態に係る校正方法を実行する際に撮像装置が撮像する対象を示す図である。 図１１は、実施形態に係る処理装置が実施形態に係る校正方法を実行する際に撮像装置が撮像する対象の姿勢を示す図である。 図１２は、実施形態に係る処理装置が実施形態に係る校正方法を実行する際に撮像装置が撮像する対象の姿勢を示す図である。 図１３は、実施形態に係る処理装置が実施形態に係る校正方法を実行する際に撮像装置が撮像する対象の姿勢を示す図である。

本発明を実施するための形態（実施形態）につき、図面を参照しつつ詳細に説明する。

＜油圧ショベルの全体構成＞
図１は、実施形態に係る校正システムを備えた油圧ショベル１００の斜視図である。図２は、実施形態に係る油圧ショベル１００の運転席付近を斜視図である。図３は、実施形態に係る油圧ショベルが有する作業機２の寸法及び油圧ショベル１００の座標系を示す図である。

作業機械である油圧ショベル１００は、車体１及び作業機２を有する。車体１は、旋回体３、運転室４及び走行体５を有する。旋回体３は、走行体５に旋回可能に取り付けられている。旋回体３は、図示しない油圧ポンプ及びエンジン等の装置を収容している。運転室４は旋回体３の前部に配置されている。運転室４内には、図２に示される操作装置２５が配置される。走行体５は履帯５ａ，５ｂを有しており、履帯５ａ，５ｂが回ることにより油圧ショベル１００が走行する。

作業機２は、車体１の前部に取り付けられており、ブーム６、アーム７、作業具としてのバケット８、ブームシリンダ１０、アームシリンダ１１及びバケットシリンダ１２を有する。実施形態において、車体１の前方は、図２に示される運転席４Ｓの背もたれ４ＳＳから操作装置２５に向かう方向側である。車体１の後方は、操作装置２５から運転席４Ｓの背もたれ４ＳＳに向かう方向側である。車体１の前部は、車体１の前方側の部分であり、車体１のカウンタウエイトＷＴとは反対側の部分である。操作装置２５は、作業機２及び旋回体３を操作するための装置であり、右側レバー２５Ｒ及び左側レバー２５Ｌを有する。運転室４内には、運転席４Ｓの前方にモニタパネル２６が設けられる。

ブーム６の基端部は、ブームピン１３を介して車体１の前部に回動可能に取り付けられている。ブームピン１３は、ブーム６の旋回体３に対する回動中心に相当する。アーム７の基端部は、アームピン１４を介してブーム６の先端部に回動可能に取り付けられている。アームピン１４は、アーム７のブーム６に対する回動中心に相当する。アーム７の先端部には、バケットピン１５を介してバケット８が回動可能に取り付けられている。バケットピン１５は、バケット８のアーム７に対する回動中心に相当する。

図３に示されるように、ブーム６の長さ、すなわちブームピン１３とアームピン１４との間の長さはＬ１である。アーム７の長さ、すなわち、アームピン１４とバケットピン１５との間の長さはＬ２である。バケット８の長さ、すなわち、バケットピン１５とバケット８の刃９の先端である刃先Ｐ３との間の長さは、Ｌ３である。

図１に示されるブームシリンダ１０、アームシリンダ１１及びバケットシリンダ１２は、それぞれ油圧によって駆動される油圧シリンダである。これらは、油圧ショベル１００の車体１に備えられて、作業機２を動作させるアクチュエータである。ブームシリンダ１０の基端部は、ブームシリンダフートピン１０ａを介して旋回体３に回動可能に取り付けられている。ブームシリンダ１０の先端部は、ブームシリンダトップピン１０ｂを介してブーム６に回動可能に取り付けられている。ブームシリンダ１０は、油圧によって伸縮することによって、ブーム６を駆動する。

アームシリンダ１１の基端部は、アームシリンダフートピン１１ａを介してブーム６に回動可能に取り付けられている。アームシリンダ１１の先端部は、アームシリンダトップピン１１ｂを介してアーム７に回動可能に取り付けられている。アームシリンダ１１は、油圧によって伸縮することによって、アーム７を駆動する。

バケットシリンダ１２の基端部は、バケットシリンダフートピン１２ａを介してアーム７に回動可能に取り付けられている。バケットシリンダ１２の先端部は、バケットシリンダトップピン１２ｂを介して第１リンク部材４７の一端及び第２リンク部材４８の一端に回動可能に取り付けられている。第１リンク部材４７の他端は、第１リンクピン４７ａを介してアーム７の先端部に回動可能に取り付けられている。第２リンク部材４８の他端は、第２リンクピン４８ａを介してバケット８に回動可能に取り付けられている。バケットシリンダ１２は、油圧によって伸縮することによって、バケット８を駆動する。

図３に示されるように、ブーム６とアーム７とバケット８とには、それぞれ第１角度検出部１８Ａと、第２角度検出部１８Ｂと、第３角度検出部１８Ｃとが設けられている。第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃは、例えばストロークセンサである。これらは、それぞれが、ブームシリンダ１０、アームシリンダ１１及びバケットシリンダ１２のストローク長さを検出することにより、車体１に対するブーム６の回動角と、ブーム６に対するアーム７の回動角と、アーム７に対するバケット８の回動角とを間接的に検出する。

実施形態では、第１角度検出部１８Ａは、ブームシリンダ１０の動作量、すなわちストローク長さを検出する。後述する処理装置２０は、第１角度検出部１８Ａが検出したブームシリンダ１０のストローク長さから、図３に示される油圧ショベル１００の座標系（Ｘｍ，Ｙｍ，Ｚｍ）のＺｍ軸に対するブーム６の回動角δ１を演算する。以下において、油圧ショベル１００の座標系を適宜、車体座標系と称する。図２に示されるように、車体座標系の原点は、ブームピン１３の中心である。ブームピン１３の中央とは、ブームピン１３が伸びる方向と直交する平面でブームピン１３を切ったときの断面の中心、かつブームピン１３が伸びる方向における中心である。車体座標系は、実施形態の例には限定されず、例えば、旋回体３の旋回中心をＺｍ軸とし、ブームピン１３が延びる方向と平行な軸線をＹｍ軸とし、Ｚｍ軸及びＹｍ軸と直交する軸線をＸｍ軸とするものであってもよい。

第２角度検出部１８Ｂは、アームシリンダ１１の動作量、すなわちストローク長さを検出する。処理装置２０は、第２角度検出部１８Ｂが検出したアームシリンダ１１のストローク長さから、ブーム６に対するアーム７の回動角δ２を演算する。第３角度検出部１８Ｃは、バケットシリンダ１２の動作量、すなわちストローク長さを検出する。処理装置２０は、第３角度検出部１８Ｃが検出したバケットシリンダ１２のストローク長さから、アーム７に対するバケット８の回動角δ３を演算する。

＜撮像装置＞
図２に示されるように、油圧ショベル１００は、例えば、運転室４内に、複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄを有する。以下において、複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄを区別しない場合は適宜、撮像装置３０と称する。撮像装置３０の種類は限定されないが、実施形態では、例えば、ＣＣＤ（Couple Charged Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを備えた撮像装置が用いられる。

実施形態では複数（４個）の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、油圧ショベル１００に取り付けられる。より詳細には、図２に示されるように、撮像装置３０ａと撮像装置３０ｂとは所定の間隔をおいて同じ方向を向いて、例えば運転室４内に配置される。撮像装置３０ｃと撮像装置３０ｄとは所定の間隔をおいて同じ方向を向いて運転室４内に配置される。撮像装置３０ｂ及び撮像装置３０ｄは、作業機２の方に若干向けて、すなわち、撮像装置３０ａ及び撮像装置３０ｃ側の方に若干向けて配置されることもある。複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、２個が組み合わされてステレオカメラを構成する。実施形態では、撮像装置３０ａ，３０ｂの組合せと、撮像装置３０ｃ，３０ｄの組合せとでステレオカメラが構成される。

実施形態において、油圧ショベル１００は、４個の撮像装置３０を有するが、油圧ショベル１００が有する撮像装置３０の数は少なくとも２個であればよく、４個に限定されない。油圧ショベル１００は、少なくとも一対の撮像装置３０でステレオカメラを構成して、対象をステレオ撮影するからである。

複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、運転室４内の前方かつ上方に配置される。上方とは、油圧ショベル１００が有する履帯５ａ，５ｂの接地面と直交し、かつ接地面から離れる方向である。履帯５ａ，５ｂの接地面は、履帯５ａ，５ｂのうち少なくとも一方が接地する部分の、同一直線上には存在しない少なくとも３点で規定される平面である。複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、油圧ショベル１００の車体１の前方に存在する対象をステレオ撮影する。対象は、例えば、作業機２が掘削する対象である。図１及び図２に示される処理装置２０は、少なくとも一対の撮像装置３０によるステレオ撮影の結果を用いて、対象を三次元計測する。すなわち、処理装置２０は、少なくとも一対の撮像装置３０が撮像した同一対象の画像にステレオ方式による画像処理を施して、前述した対象を三次元計測する。複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄが配置される場所は、運転室４内の前方かつ上方に限定されるものではない。

図４は、複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄが対象を撮像することによって得られた画像の一例を示す図である。図５は、複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄが撮像する対象ＯＪの一例を示す図である。図４に示される画像ＰＩａ，ＰＩｂ，ＰＩｃ，ＰＩｄは、例えば、図５に示される複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄが対象ＯＪを撮像することによって得られる。この例では、対象ＯＪは、第１部分ＯＪａと、第２部分ＯＪｂと、第３部分ＯＪｃとを有する。

画像ＰＩａは撮像装置３０ａによって撮像されたものであり、画像ＰＩｂは撮像装置３０ｂによって撮像されたものであり、画像ＰＩｃは撮像装置３０ｃによって撮像されたものであり、画像ＰＩｄは撮像装置３０ｄによって撮像されたものである。一対の撮像装置３０ａ，３０ｂは、油圧ショベル１００の上方を向いて配置されているので、画像ＰＩａ，ＰＩｂには対象ＯＪの上方が写っている。一対の撮像装置３０ｃ，３０ｄは、油圧ショベル１００の下方を向いて配置されているので、画像ＰＩｃ，ＰＩｄには対象ＯＪの下方が写っている。

図４から分かるように、一対の撮像装置３０ａ，３０ｂによって撮像された画像ＰＩａ，ＰＩｂと、一対の撮像装置３０ｃ，３０ｄによって撮像された画像ＰＩｃ，ＰＩｄとには、対象ＯＪの領域の一部、この例では第２部分ＯＪｂが重複して写っている。すなわち、上方を向いている一対の撮像装置３０ａ，３０ｂの撮像領域と、下方を向いている一対の撮像装置３０ｃ，３０ｄの撮像領域とは、重複する部分を有している。

処理装置２０は、複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄが撮像した同一の対象ＯＪの画像ＰＩａ，ＰＩｂ，ＰＩｃ，ＰＩｄにステレオ方式による画像処理を施す場合、一対の撮像装置３０ａ，３０ｂによって撮像された画像ＰＩａ，ＰＩｂから第１の視差画像を得る。また、処理装置２０は、一対の撮像装置３０ｃ，３０ｄによって撮像された画像ＰＩｃ，ＰＩｄから第２の視差画像を得る。その後、処理装置２０は、第１の視差画像と第２の視差画像とを合わせて、１つの視差画像を得る。処理装置２０は、得られた視差画像を用いて対象を三次元計測する。このように、処理装置２０及び複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、一回の撮像で対象ＯＪの所定の領域全体を三次元計測する。

実施形態において、４個の複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄのうち、撮像装置３０ｃを４個の撮像装置複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄの基準とする。撮像装置３０ｃの座標系（Ｘｓ，Ｙｓ，Ｚｓ）を適宜、撮像装置座標系と称する。撮像装置座標系の原点は、撮像装置３０ｃの中心である。撮像装置３０ａ、撮像装置３０ｂ及び撮像装置３０ｄのそれぞれの座標系の原点は、それぞれの撮像装置の中心である。

＜校正システム＞
図６は、実施形態に係る校正システム５０を示す図である。校正システム５０は、複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄと、処理装置２０とを含む。これらは、図１及び図２に示されるように、油圧ショベル１００の車体１に備えられている。複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、作業機械である油圧ショベル１００に取り付けられて、対象を撮像し、撮像によって得られた対象の画像を処理装置２０に出力する。

処理装置２０は、処理部２１と、記憶部２２と、入出力部２３とを有する。処理部２１は、例えば、ＣＰＵ（Central Processing Unit）のようなプロセッサ及びメモリによって実現される。処理装置２０は、実施形態に係る校正方法を実現する。この場合、処理部２１は、記憶部２２に記憶されたコンピュータプログラムを読み込んで実行する。このコンピュータプログラムは、実施形態に係る校正方法を処理部２１に実行させるためものである。

処理装置２０は、実施形態に係る校正方法を実行する際に、少なくとも一対の撮像装置３０によって撮像された一対の画像をステレオ方式における画像処理を実行することにより、対象の位置、具体的には三次元座標系における対象の座標を求める。このように、処理装置２０は、同一の対象を少なくとも一対の撮像装置３０で撮像することによって得られた一対の画像を用いて、対象を三次元計測することができる。すなわち、少なくとも一対の撮像装置３０及び処理装置２０は、ステレオ方式により対象を三次元計測するものである。実施形態において、少なくとも一対の撮像装置３０及び処理装置２０は、油圧ショベル１００に備えられて、対象の位置を検出して出力する第１位置検出部に相当する。撮像装置３０が、ステレオ方式による画像処理を実行して対象を三次元計測する機能を有している場合、少なくとも一対の撮像装置３０が第１位置検出部に相当する。実施形態において、第１位置検出部は、第１の方法によって対象の位置を検出して出力する。第１の方法は、ステレオ方式により対象、例えば実施形態の作業機械である油圧ショベル１００の所定の位置を三次元計測するものであるが、例えば、レーザ測長器によって油圧ショベル１００の所定の位置を計測する方法であってもよく、ステレオ方式による三次元計測に限定されない。実施形態において、第１の方法で用いられる、油圧ショベル１００の所定の位置は作業機２の所定の位置であるが、油圧ショベル１００を構成する要素の所定の位置であれば、作業機２の所定の位置に限定されない。

記憶部２２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Random Access Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Random Access Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Random Access Memory）等の不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク及び光磁気ディスクのうち少なくとも１つが用いられる。記憶部２２は、実施形態に係る校正方法を処理部２１に実行させるためのコンピュータプログラムを記憶している。記憶部２２は、処理部２１が実施形態に係る校正方法を実行する際に使用される情報を記憶する。この情報は、例えば、各撮像装置３０の内部校正データ、各撮像装置３０の姿勢、撮像装置３０同士の位置関係、作業機２等の既知の寸法、撮像装置３０と油圧ショベル１００に搭載された固定物との位置関係を示す既知の寸法、車体座標系の原点から各撮像装置３０あるいはいずれかの撮像装置３０までの位置関係を示す既知の寸法、及び作業機２の姿勢から作業機２の一部の位置を求めるために必要な情報を含む。

入出力部２３は、処理装置２０と機器類とを接続するためのインターフェース回路である。入出力部２３には、ハブ５１、入力装置５２、第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃが接続される。ハブ５１は、複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄが接続されている。ハブ５１を用いずに、撮像装置３０と処理装置２０とが接続されてもよい。撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄの撮像した結果は、ハブ５１を介して入出力部２３に入力される。処理部２１は、ハブ５１及び入出力部２３を介して、撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄの撮像した結果を取得する。入力装置５２は、処理部２１が実施形態に係る校正方法を実行する際に必要な情報を入力するために用いられる。

入力装置５２は、例えば、スイッチ及びタッチパネルが例示されるが、これらに限定されるものではない。実施形態において、入力装置５２は、図２に示される運転室４内、より具体的には運転席４Ｓの近傍に設けられる。入力装置５２は、操作装置２５の右側レバー２５Ｒ及び左側レバー２５Ｌの少なくとも一方に取り付けられていてもよいし、運転室４内のモニタパネル２６に設けられていてもよい。また、入力装置５２は、入出力部２３に取り外し可能であってもよいし、電波又は赤外線を用いた無線通信により入出力部２３に情報を入力してもよい。

作業機２の各部の寸法及び第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃによって検出された情報である作業機２の回動角δ１，δ２，δ３から、車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）における作業機２の所定の位置が求められる。作業機２の寸法及び回動角δ１，δ２，δ３から求められる作業機２の所定の位置は、例えば、作業機２が有するバケット８の刃９の先端の位置、バケットピン１５の位置及び第１リンクピン４７ａの位置がある。第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃは、実施形態の作業機械である油圧ショベル１００の位置、例えば作業機２の位置を検出する第２位置検出部に相当する。第２位置検出部は、第２の方法によって対象の位置を検出する。実施形態において、第２の方法は、実施形態の作業機械である油圧ショベル１００の寸法及び姿勢から油圧ショベル１００の所定の位置を求めるものであるが、第２の方法は第１の方法と異なるものであれば、実施形態の方法に限定されない。実施形態において、第２の方法で用いられる、油圧ショベル１００の所定の位置は、第１の方法の計測対象となった油圧ショベル１００の所定の位置と同一である。実施形態において、第２の方法で用いられる、油圧ショベル１００の所定の位置は、作業機２の所定の位置であるが、油圧ショベル１００を構成する要素の所定の位置であれば、作業機２の所定の位置に限定されない。

図７は、実施形態に係る校正方法を説明する図である。少なくとも一対の撮像装置３０が撮像した対象の画像にステレオ方式による画像処理が施されることによって、対象の位置情報Ｐｓ（ｘｓ，ｙｓ，ｚｓ）が得られる。得られた位置情報Ｐｓ（ｘｓ，ｙｓ，ｚｓ）は、図７に示されるように、第１位置検出部の座標系である撮像装置座標系（Ｘｓ，Ｙｓ，Ｚｓ）から撮像装置座標系（Ｘｓ，Ｙｓ，Ｚｓ）とは異なる座標系の位置情報Ｐｍ（ｘｍ，ｙｍ，ｚｍ）に変換される。実施形態において、撮像装置座標系（Ｘｓ，Ｙｓ，Ｚｓ）とは異なる座標系は車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）であるが、これに限定されるものではない。

少なくとも一対の撮像装置３０から得られた位置情報Ｐｓ（ｘｓ，ｙｓ，ｚｓ）は、三次元の情報であり、実施形態では座標で表される。位置情報Ｐｓ（ｘｓ，ｙｓ，ｚｓ）を用いて、撮像装置３０から対象までの距離が求められる。実施形態に係る校正方法は、少なくとも一対の撮像装置３０から得られた位置情報Ｐｓ（ｘｓ，ｙｓ，ｚｓ）が、撮像装置座標系（Ｘｓ，Ｙｓ，Ｚｓ）から車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）の位置情報Ｐｍ（ｘｍ，ｙｍ，ｚｍ）に変換される際に用いられる変換情報を求めるものである。すなわち、変換情報は、第１位置検出部である少なくとも一対の撮像装置３０が検出した位置を、第１位置検出部の座標系から車体１の座標系に変換するために用いられる情報である。

撮像装置座標系の位置情報Ｐｓは、式（１）によって車体座標系の位置情報Ｐｍに変換される。式（１）中のＲは式（２）で表される回転行列、式（１）中のＴは式（３）で表される並進ベクトルである。αは撮像装置座標系のＸｓ軸周りの回転角度、βは撮像装置座標系のＹｓ軸周りの回転角度、γは撮像装置座標系のＺｓ軸周りの回転角度である。回転行列Ｒ及び並進ベクトルＴが変換情報である。
Ｐｍ＝Ｒ・Ｐｓ＋Ｔ・・・（１）

処理部２１は、実施形態に係る校正方法を実行するにあたり、前述した変換情報を求める。具体的には、処理部２１は、少なくとも一対の撮像装置３０によって検出された第１位置情報と、第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃによって検出された第２位置情報とを用いて、変換情報を求めて出力する。実施形態において、少なくとも一対の撮像装置３０は撮像装置３０ｃ、３０ｄであるが、基準の撮像装置３０ｃを含んでいればよい。第２位置情報は、各角度検出器１８の検出値に加え、油圧ショベル１００に搭載された、図１及び図２に示されるＩＭＵ（Inertial Measurement Unit：慣性計測装置）２４の検出値も用いて求めてもよい。

第１位置情報は、第１位置検出部である少なくとも一対の撮像装置３０及び処理装置２０によって検出された作業機２の所定の位置、例えば、バケット８の刃９の位置の情報である。第２位置情報は、第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃによって検出された、作業機２の所定の位置の情報である。第２位置情報は、第１位置検出部が所定の位置を検出したときの作業機２の姿勢で、第２位置検出部の一例である第１角度検出部１８Ａ等によって検出された情報である。第１位置情報及び第２位置情報は、いずれも作業機２が同一の姿勢であって、かつ作業機２の同一の位置の情報である。すなわち、第１位置情報及び第２位置情報は、作業機２が同一の姿勢の状態で作業機２の同一の位置が、異なる方法によって求められたものである。実施形態において、第１位置情報及び第２位置情報は、作業機２が動かされることにより作業機２が異なる姿勢となったときにそれぞれ得られた複数の情報であり、複数の状態で得られた複数の情報である。

第１位置情報及び第２位置情報は、作業機２の所定の位置を特定できる情報であればよい。例えば、第１位置情報及び第２位置情報は、作業機２自体の所定の位置の情報であってもよいし、作業機に取り付けられて作業機２との位置関係が既知である部材の位置の情報であってもよい。すなわち、第１位置情報及び第２位置情報は、作業機２自体の所定の位置の情報に限定されない。

処理装置２０は、専用のハードウェアで実現されてもよいし、複数の処理回路が連携して処理装置２０の機能を実現するものであってもよい。次に、処理装置２０が実施形態に係る校正方法を実行する際の処理例を説明する。

＜処理例＞
図８は、実施形態に係る処理装置２０が実施形態に係る校正方法を実行する際の処理例を示すフローチャートである。図９及び図１０は、実施形態に係る処理装置２０が実施形態に係る校正方法を実行する際に撮像装置３０が撮像する対象を示す図である。図１１から図１３は、実施形態に係る処理装置２０が実施形態に係る校正方法を実行する際に撮像装置３０が撮像する対象の姿勢を示す図である。

実施形態に係る校正方法は、未知数である回転行列Ｒに含まれる角度α，β，γ及び並進ベクトルの成分ｘ_０，ｙ_０，ｚ_０を、少なくとも一対の撮像装置３０によって得られた作業機２の所定の位置の情報である第１位置情報と、第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃによって検出された第２位置情報とから求めるものである。処理装置２０が実施形態に係る校正方法を実行するにあたり、処理部２１は、ステップＳ１０１において、カウント数Ｎ，Ｍを０にする。

ステップＳ１０２において、処理部２１は、一対の撮像装置３０ｃ、３０ｄに対象を撮像させる。また、処理部２１は、第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃの検出値を取得する。

一対の撮像装置３０ｃ、３０ｄが撮像する対象は、作業機２の所定の位置であり、実施形態では油圧ショベル１００のバケット８、より具体的には刃９である。バケット８は、図９に示されるように、刃９にマークＭＫｌ，ＭＫｃ，ＭＫｒが設けられている。マークＭＫｌは向かって最も左側の刃９に設けられ、マークＭＫｃは中央の刃９に設けられ、マークＭＫｒは向かって最も右側の刃９に設けられる。以下において、マークＭＫｌ，ＭＫｃ，ＭＫｒを区別しない場合、適宜、マークＭＫと称する。

ステップＳ１０２において、処理部２１は、一対の撮像装置３０ｃ、３０ｄがバケット８を撮像したときの作業機２の姿勢において、第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃの検出値を取得する。このように、実施形態では、処理部２１は、同じ作業機２の姿勢で、一対の撮像装置３０ｃ、３０ｄによる撮像と、第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃの検出値の取得とを実行する。処理部２１は、撮像装置３０による撮像の結果得られた画像と、第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃの検出値とを、記憶部２２に記憶させる。

実施形態において、マークＭＫｌ，ＭＫｃ，ＭＫｒは、バケット８の幅方向Ｗ、すなわちバケットピン１５が伸びる方向と平行な方向に並んでいる。実施形態において、バケット８の幅方向Ｗは、一対の撮像装置３０ｃ，３０ｄが配列されている方向である。バケット８の幅方向Ｗにおける中央の刃９は、車体座標系において１つの平面、すなわちＸｍ−Ｚｍ平面上しか移動しない。このため、中央の刃９のみ位置を求める場合、拘束条件が弱くなるため、一対の撮像装置３０ｃ、３０ｄを用いたステレオ方式による位置の計測においては、車体座標系におけるＹｍ軸方向の精度が低下する。

実施形態に係る校正方法は、バケット８の幅方向Ｗにおける複数の位置、具体的には３個の刃９の位置が計測され、第１位置情報とされる。このため、変換情報である回転行列Ｒ及び並進ベクトルＴを求める際には、バケット８の幅方向Ｗに対して複数の平面の位置情報を利用できるので、回転行列Ｒ及び並進ベクトルＴの精度低下が抑制される。実施形態に係る校正方法によって得られた回転行列Ｒ及び並進ベクトルＴが、一対の撮像装置３０ｃ、３０ｄを用いたステレオ方式による位置の計測に用いられることにより、車体座標系におけるＹｍ軸方向の計測精度の低下が抑制される。

実施形態において、バケット８は、３個の刃９にマークＭＫｌ，ＭＫｃ，ＭＫｒが設けられるが、マークＭＫの数、すなわち計測対象となる刃９の数は３個に限定されない。マークMKは、少なくとも１個の刃９に設けられてもよい。ただし、一対の撮像装置３０ｃ、３０ｄを用いたステレオ方式による位置の計測の精度が低下することを抑制するため、実施形態に係る校正方法では、２個以上のマークＭＫがバケット８の幅方向Ｗに離れた位置に設けられて、２個以上の刃９が計測されることが、高い計測精度を得る上で好ましい。

図１０は、刃９の位置の代わりに、作業機２に取り付けられた計測用ターゲット６０が用いられる例を示している。この例において、少なくとも一対の撮像装置３０及び処理部２１は、作業機２に取り付けられた計測用ターゲット６０の位置を計測し、実施形態に係る校正方法において第１位置情報として用いる。計測用ターゲット６０は、マークＭＫａ，ＭＫｂが設けられたターゲット部材６３ａ，６３ｂと、２個のターゲット部材６３ａ，６３ｂを連結する軸部材６２と、軸部材６２の一端部に取り付けられた固定用部材６１とを有する。

ターゲット部材６３ａ，６３ｂは、軸部材６２が延びる方向に並んで配置される。固定用部材６１は磁石を有している。固定用部材６１は、作業機２に吸着することにより、例えば、ターゲット部材６３ａ，６３ｂ及び軸部材６２を作業機２に取り付ける。このように、固定用部材６１は、作業機２に取り付けることができ、かつ作業機２から取り外すことができる。実施形態では、固定用部材６１がバケットピン１５に吸着して、ターゲット部材６３ａ，６３ｂ及び軸部材６２を作業機２に固定している。バケットピン１５に計測用ターゲット６０が取り付けられると、ターゲット部材６３ａ，６３ｂがバケット８の幅方向Ｗに並んで配置される。

計測用ターゲット６０が有するマークＭＫａ，ＭＫｂの位置は計測用ターゲット６０の寸法から予め求められる。計測用ターゲット６０の固定用部材６１が取り付けられる作業機２の部分と、刃９の位置とは、バケット８の寸法から予め求められる。したがって、計測用ターゲット６０が有するマークＭＫａ，ＭＫｂの位置が分かれば、バケット８の刃９の位置が分かる。計測用ターゲット６０が有するマークＭＫａ，ＭＫｂとバケット８の刃９との位置関係は、処理装置２０の記憶部２２に記憶されている。処理部２１は、実施形態に係る校正方法を実行する場合、記憶部２２からマークＭＫａ，ＭＫｂとバケット８の刃９との位置関係を読み出して、第１位置情報又は第２位置情報を生成する際に用いる。

ステップＳ１０２において一対の撮像装置３０ｃ、３０ｄによる撮像及び第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃの検出値を用いた所定の位置の計測が終了したら、処理はステップＳ１０３に進む。ステップＳ１０３において、処理部２１は作業機２を動作させて、バケット８を地面から離れる方向、すなわち上方に移動させる。ステップＳ１０４において、処理部２１は、カウント数Ｎに１を加えた値を新たなカウント数Ｎとする。

ステップＳ１０５において、処理部２１は、現在のカウント数ＭがＭｃ−１以下である場合、現在のカウント数Ｎとカウント数閾値Ｎｃ１とを比較する。現在のカウント数ＭがＭｃである場合、処理部２１は、現在のカウント数Ｎとカウント数閾値Ｎｃ２とを比較する。実施形態において、カウント数閾値Ｎｃ１は２である。カウント数閾値Ｎｃ２はカウント数閾値Ｎｃ１よりも小さく、例えば１である。

ステップＳ１０５において、カウント数Ｎがカウント数閾値Ｎｃ１でない場合（ステップＳ１０５，Ｎｏ）、処理部２１は、ステップＳ１０２からステップＳ１０５の処理を繰り返す。ステップＳ１０５において、カウント数Ｎがカウント数閾値Ｎｃ１である場合（ステップＳ１０５，Ｙｅｓ）、処理はステップＳ１０６に進む。

ステップＳ１０６において、処理部２１は、作業機２を動作させてバケット８を奥行き方向、すなわち図１に示される旋回体３から遠ざかる方向に移動させる。ステップＳ１０７において、処理部２１は、カウント数Ｍに１を加えた値を新たなカウント数Ｍとする。ステップＳ１０８において、処理部２１は、現在のカウント数Ｍとカウント数閾値Ｍｃとを比較する。実施形態において、カウント数閾値Ｍｃは２である。

ステップＳ１０８において、カウント数Ｍがカウント数閾値Ｍｃでない場合（ステップＳ１０８，Ｎｏ）、処理部２１は、ステップＳ１０９において、カウント数Ｎを０にする。その後、処理部２１は、ステップＳ１０２からステップＳ１０５の処理を実行する。

ステップＳ１０１からステップＳ１０５により、一対の撮像装置３０ｃ、３０ｄは、複数の撮像装置３０とバケット８との水平距離Ｌが等しい条件で、油圧ショベル１００の上下方向にＮｃ＋１回、バケット８を撮像する。すなわち、一対の撮像装置３０ｃ，３０ｄは、バケット８の上下方向の位置を異ならせて、Ｎｃ＋１回撮像する。水平距離Ｌは、油圧ショベル１００の接地面、すなわち図１に示される履帯５ａ，５ｂの接地面と平行、かつ図２に示されるブームピン１３が伸びる方向と直交する方向における、旋回体３とバケット８との距離である。複数の撮像装置３０は、ステップＳ１０６からステップＳ１０８を繰り返すことにより、油圧ショベル１００の接地面と平行な旋回体３とバケット８との距離である水平距離ＬをＭｃ＋１回異ならせる。すなわち、一対の撮像装置３０ｃ，３０ｄは、バケット８の水平距離Ｌを異ならせて、Ｎｃ＋１回撮像する。

具体的には、図１１に示されるように、一対の撮像装置３０ｃ、３０ｄは、水平距離Ｌ＝Ｌ１において、位置Ａと、位置Ａよりも高い位置Ｂと、位置Ｂよりも高い位置Ｃとの３箇所でバケット８を撮像する。このため、水平距離Ｌ１においては、異なる３段階の高さでマークＭＫｌ，ＭＫｃ，ＭＫｒの位置の情報が得られる。位置Ａ，Ｂ，Ｃは、図１１中の矢印ｈで示す方向の方が、より高くなる。

図１２に示されるように、一対の撮像装置３０ｃ、３０ｄは、水平距離Ｌ＝Ｌ２において、位置Ｄと、位置Ｄよりも高い位置Ｅと、位置Ｅよりも高い位置Ｆとの３箇所でバケット８を撮像する。このため、水平距離Ｌ２においても、異なる３段階の高さでマークＭＫｌ，ＭＫｃ，ＭＫｒの位置の情報が得られる。水平距離Ｌ２は、水平距離Ｌ１よりも大きい。水平距離Ｌ２が水平距離Ｌ１よりも大きいことは、バケット８が、撮像装置３０ｃ及び撮像装置３０ｄから遠い位置にあることを示す。位置Ｄ，Ｅ，Ｆは、図１２中の矢印ｈで示す方向の方が、より高くなる。

図１３に示されるように、一対の撮像装置３０ｃ、３０ｄは、水平距離Ｌ＝Ｌ３において、位置Ｇと、位置Ｇよりも高い位置Ｈとの２箇所でバケット８を撮像する。このため、水平距離Ｌ３においては、異なる２段階の高さでマークＭＫｌ，ＭＫｃ，ＭＫｒの位置の情報が得られる。水平距離Ｌ３は、水平距離Ｌ２よりも大きい。水平距離Ｌ３が水平距離Ｌ２よりも大きいことは、バケット８が、撮像装置３０ｃ及び撮像装置３０ｄからさらに遠い位置にあることを示す。位置Ｇ，Ｈは、図１３中の矢印ｈで示す方向の方が、より高くなる。

実施形態において、水平距離が最も大きいＬ３である場合、一対の撮像装置３０ｃ、３０ｄは上下方向の２箇所でバケット８を撮像するが、上下方向における撮像箇所は２箇所に限定されない。また、水平距離Ｌを一定として上下方向にバケットを移動させてバケット８が撮像される場合、上下方向における撮像箇所は実施形態のものには限定されない。

バケット８は、水平距離Ｌ１で３回、水平距離Ｌ２で３回、水平距離Ｌ３で２回の計８回、一対の撮像装置３０ｃ、３０ｄによって撮像される。ステレオ方式による三次元計測において、計測の対象となる部分、実施形態ではマークＭＫｌ，ＭＫｃ，ＭＫｒが、一対の撮像装置３０ｃ、３０ｄによって撮像された画像の端にある方が拘束条件は強まるので、計測の精度が向上する。このため、処理部２１は、同じ水平距離Ｌにおいては、高さを変更して複数箇所でバケット８、より具体的にはマークＭＫｌ，ＭＫｃ，ＭＫｒを一対の撮像装置３０ｃ、３０ｄに撮像させる。このようにすることで、複数の撮像装置３０によって撮像された画像の両端、具体的には上下方向における両端にマークＭＫｌ，ＭＫｃ，ＭＫｒが配置されるので、計測の精度が向上する。

実施形態において、水平距離Ｌは３段階に変化させ、高さ方向の撮像回数は３回又は２回としたが、これに限定されない。水平距離Ｌを変化させる回数は、カウント数閾値Ｍｃを変更することにより変更される。高さ方向の撮像回数は、カウント数閾値Ｎｃ１及びカウント数閾値Ｎｃ２の少なくとも一方を変更することにより変更される。

ステレオ方式による三次元計測において、遠方に存在する対象を計測した方が、より広い範囲においてステレオ方式による三次元計測の精度は向上する。このため、処理部２１は、バケット８の水平距離Ｌを変更してバケット８、より具体的にはマークＭＫｌ，ＭＫｃ，ＭＫｒを一対の撮像装置３０に撮像させる。このようにすることで、広い範囲で三次元計測の精度が向上する。

ステップＳ１０８に戻り、カウント数Ｍがカウント数閾値Ｍｃである場合（ステップＳ１０８，Ｙｅｓ）、処理はステップＳ１１０に進む。ステップＳ１１０において、処理部２１は、第１位置情報及び第２位置情報を求める。具体的には、処理部２１は、一対の撮像装置３０ｃ，３０ｄがバケット８を複数回（実施形態では８回）撮像することにより得られた複数対の画像（実施形態では８対の画像）を記憶部２２から取得する。そして、処理部２１は、取得した複数対の画像のうち、それぞれ対となる画像にステレオ方式による画像処理を施し、マークＭＫｌ，ＭＫｃ，ＭＫｒの位置を三次元計測する。実施形態において、処理部２１はマークＭＫｌ，ＭＫｃ，ＭＫｒを画像処理により抽出する。例えば、処理部２１は、マークＭＫｌ，ＭＫｃ，ＭＫｒの形状の特徴に基づいて、これらを画像中から抽出することができる。後述するように、マークＭＫｌ，ＭＫｃ，ＭＫｒは、図６に示される入力装置５２をオペレータが操作することにより選択されてもよい。

三次元計測において、処理部２１は、一対の撮像装置３０ｃ、３０ｄから得られた一対の画像中に存在するマークＭＫｌ，ＭＫｃ，ＭＫｒの位置を三角測量によって求める。このようにして求められたマークＭＫｌ，ＭＫｃ，ＭＫｒの位置の情報が、第１位置情報である。処理部２１は、ステップＳ１０１からステップＳ１０９で得られた８箇所での撮像の結果それぞれに対して、第１位置情報を求めて、例えば記憶部２１に出力し、一時的に記憶させる。

１箇所での撮像より、異なる位置に設けられた３個のマークＭＫｌ，ＭＫｃ，ＭＫｒが撮像されるので、１箇所での撮像で、３個の第１位置情報が得られる。前述したように、バケット８は８箇所で撮像されるので、計２４個の第１位置情報が得られる。

ステップＳ１１０において、処理部２１は、第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃの検出値と作業機２の寸法とを取得する。第１角度検出部１８Ａ等の検出値は、作業機２の姿勢が一対の撮像装置３０ｃ、３０ｄによってバケット８が撮像されたときの姿勢であるときに、第１角度検出部１８Ａ等が検出した値である。処理部２１は、取得した検出値及び作業機２の寸法から、バケット８の刃９の位置、より具体的にはマークＭＫｌ，ＭＫｃ，ＭＫｒの位置を求める。第１角度検出部１８Ａ等の検出値及び作業機２の寸法から求められたマークＭＫｌ，ＭＫｃ，ＭＫｒの位置の情報が、第２位置情報である。処理部２１は、ステップＳ１０１からステップＳ１０９で得られた８箇所での撮像の結果それぞれに対して、第２位置情報を求めて、例えば記憶部２１に出力し、一時的に記憶させる。

１箇所での撮像に対して、３個の第２位置情報が得られる。前述したように、バケット８は８箇所で撮像されるので、計２４個の第２位置情報が得られる。処理部２１は、同じ作業機２の姿勢で得られた第１位置情報と第２位置情報とを対応付けて、記憶部２２に一時的に記憶させる。第１位置情報と第２位置情報との組合せは、実施形態においては計２４個である。

ステップＳ１１１において、処理部２１は、第１位置情報と第２位置情報とを用いて、回転行列Ｒ及び並進ベクトルＴを求める。より具体的には、処理部２１は、第１位置情報と第２位置情報とを用いて、回転行列Ｒに含まれる角度α，β，γ及び並進ベクトルＴの成分ｘ_０，ｙ_０，ｚ_０を求める。角度α，β，γ及び成分ｘ_０，ｙ_０，ｚ_０を求めるにあたり、２４個の第１位置情報と第２位置情報との組合せが用いられるが、誤差が大きいものは除外されてもよい。このようにすることで、角度α，β，γ及び成分ｘ_０，ｙ_０，ｚ_０の精度低下が抑制される。

第１位置情報は車体座標系の座標なので（ｘｍ，ｙｍ，ｚｍ）で表される。第２位置情報は撮像装置座標系なので（ｘｓ，ｙｓ，ｚｓ）で表される。式（４）は、式（１）の左辺から右辺を減算し、２乗した値をＪとしたものである。
Ｊ＝｛Ｐｍｉ−（Ｒ・Ｐｓｉ＋Ｔ）｝^２・・・（４）

処理部２１は、同じ作業機２の姿勢で得られた第１位置情報及び第２位置情報を記憶部２２から読み出し、第１位置情報を式（４）の位置情報Ｐｍに、第２位置情報を式（４）の位置情報Ｐｓに与える。すると、回転行列Ｒに含まれる角度α，β，γと並進ベクトルＴの成分ｘ_０，ｙ_０，ｚ_０のいずれかを含む、３個の式が得られる。実施形態において、第１位置情報と第２位置情報との組合せは２４個なので、処理部２１は、２４個の第１位置情報と第２位置情報との組合せを式（４）に与えることで、回転行列Ｒに含まれる角度α，β，γと並進ベクトルＴの成分ｘ_０，ｙ_０，ｚ_０のいずれかを含む、計７２個のＪを得る。

計７２個のＪの総和ＪＳは、式（５）で求められる。処理部２１は、式（５）から、総和ＪＳを求める。
ＪＳ＝ΣＪｉ＝Σ｛Ｐｍｉ−（Ｒ・Ｐｓｉ＋Ｔ）｝^２，｛ｉ：１から７２｝・・・（５）

次に、処理部２１は、ＪＳが最小になるようにする。このため、処理部２１は、Σ｛Ｐｍｉ−（Ｒ・Ｐｓｉ＋Ｔ）｝^２を、角度α、角度β、角度γ、成分ｘ_０、成分ｙ_０、成分ｚ_０それぞれで偏微分し、得られたものが０になるようにする。処理部２１は、このようにして得られた６個の方程式を、例えばニュートンラプソン法で解くことにより、角度α，β，γ及び並進ベクトルＴの成分ｘ_０，ｙ_０，ｚ_０を求める。処理部２１は、求めた角度α，β，γ及び並進ベクトルＴの成分ｘ_０，ｙ_０，ｚ_０から回転行列Ｒ及び並進ベクトルＴを求める。このようにして得られた回転行列Ｒ及び並進ベクトルＴが、第１位置検出部によって検出された対象の位置情報を、第１位置検出部以外の座標系、実施形態では車体座標系に変換するための変換情報である。

なお、処理部２１は、第２位置検出部によって検出された対象の位置を、第２位置検出部の座標系とは異なる座標系、例えば、第１位置検出部の座標系に変換するための変換情報を求めてもよい。この場合、式（６）により、第２位置検出部が検出した、第２位置検出部の座標系における対象の位置を、第１位置検出部の座標系に変換することができる。この例において、第２位置検出部の座標系は車体座標系であり、第１位置検出部の座標系は撮像装置座標系である。
Ｐｓ＝Ｒ^−１・Ｐｍ−Ｒ^−１・Ｔ・・・（６）

式（６）中のＲ^−１は、前述した式（２）で表される回転行列の逆行列、式（６）中のＴは前述した式（３）で表される並進ベクトルである。位置情報Ｐｍは車体座標系における対象の位置であり、位置情報Ｐｓは撮像装置座標系における対象の位置である。逆行列Ｒ^−１及び並進ベクトルＴとＲ^−１との積が変換情報である。このように、処理部２１の処理及び実施形態の校正方法は、第２位置検出部が検出した位置を第２位置検出部の座標系から第２位置検出部の座標系とは異なる座標系に変換するために用いられる変換情報を求めて出力することも可能である。

実施形態において、第２位置検出部は、第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃであったが、これらに限定されない。例えば、油圧ショベル１００がＲＴＫ−ＧＮＳＳ（Real Time Kinematic - Global Navigation Satellite Systems、ＧＮＳＳは全地球航法衛星システムをいう）用のアンテナを備え、ＧＮＳＳによってアンテナの位置を計測することにより自車の位置を検出する位置検出システムを備えているとする。この場合、前述した位置検出システムを第２位置検出部とし、ＧＮＳＳ用のアンテナの位置を作業機械の所定の位置とする。そして、ＧＮＳＳ用のアンテナの位置を変化させながら第１位置検出部及び第２位置検出部によってＧＮＳＳ用のアンテナの位置を検出することで第１位置情報及び第２位置情報を得る。処理部２１は、得られた第１位置情報及び第２位置情報を用いて、第１位置検出部によって検出された対象の位置情報を第１位置検出部以外の座標系、実施形態では車体座標系に変換するための変換情報を求める。また、処理部２１は、得られた第１位置情報及び第２位置情報を用いて、第２位置検出部によって検出された対象の位置情報を、第２位置検出部以外の座標系に変換するための変換情報を求めることも可能である。

この他にも、取り外し可能なＧＮＳＳ受信器を油圧ショベル１の所定の位置、例えば走行体５又は作業機２の所定の位置に取り付けて、ＧＮＳＳ受信器を第２位置検出部とすることで、前述した自車の位置を検出する位置検出システムを第２位置検出部とした場合と同様に変換情報が得られる。

実施形態に係る校正システム５０及び校正方法は、油圧ショベル１００が有する作業機２の姿勢が同一の状態で、対象の位置を検出する手段である第１位置検出部及び第１位置検出部とは異なる第２位置検出部を用いて作業機２の所定の位置を求める。そして、実施形態に係る校正システム５０及び校正方法は、第１位置検出部によって求められた第１位置情報と、第２位置検出部によって求められた第２位置情報とを用いて、回転行列Ｒ及び並進ベクトルＴ求める。このような処理により、実施形態に係る校正システム５０及び校正方法は、第１位置検出部によって検出された対象の位置情報を、第１位置検出部以外の座標系に変換するための変換情報を求めることができる。

複数の撮像装置３０のうち少なくとも一対の撮像装置３０が撮像した対象の画像にステレオ方式による画像処理が施されて、撮像装置座標系における対象の位置情報が得られる。実施形態に係る校正システム５０及び校正方法によって変換情報が得られれば、撮像装置座標系における対象の位置情報を車体座標系における位置情報に変換できるので、油圧ショベル１００は、変換後の対象の位置情報を用いて作業機２を制御したり、モニタに作業機２のガイダンス画面を表示させたりすることができる。

実施形態に係る校正システム５０及び校正方法は、油圧ショベル１００に備えられた処理装置２０及び一対の撮像装置３０ｃ、３０ｄを用いるので、回転行列Ｒ及び並進ベクトルＴを求めるための外部の機器は不要である。このため、実施形態に係る校正システム５０及び校正方法は、例えば、油圧ショベル１００のユーザの使用先において、回転行列Ｒ及び並進ベクトルＴを求めることができる。このように、実施形態に係る校正システム５０及び校正方法は、回転行列Ｒ及び並進ベクトルＴを求めるための外部の機器がない場所であっても、回転行列Ｒ及び並進ベクトルＴを求めることができるという利点がある。

実施形態に係る校正システム５０及び校正方法は、第１位置情報及び第２位置情報を、異なる姿勢の作業機２から検出した所定の位置の情報とすることにより、変換情報である回転行列Ｒ及び並進ベクトルＴを求めるための情報量を多くすることができる。その結果、実施形態に係る校正システム５０及び校正方法は、回転行列Ｒ及び並進ベクトルＴを精度よく求めることができる。

実施形態において、第１位置検出部は少なくとも一対の撮像装置３０で構成されるステレオカメラであるとしたが、これに限定されない。第１位置検出部は、例えばレーザスキャナ又は３Ｄスキャナであってもよい。作業機械は、少なくとも一対の撮像装置を備え、この一対の撮像装置を用いてステレオ方式で対象を三次元計測するものであれば油圧ショベル１００に限定されない。作業機械は、作業機を有していればよく、例えばホイールローダー又はブルドーザのような作業機械であってもよい。

実施形態において、回転行列Ｒ及び並進ベクトルＴを求める際に、刃９にマークＭＫｌ，ＭＫｃ，ＭＫｒを設けたが、これらは必ずしも必要ではない。例えば、図６に示される入力装置５２によって、撮像装置３０によって撮像された対象の画像内に、処理部２１が位置を求める部分、例えばバケット８の刃９の部分が指定されてもよい。この場合、処理部２１は、指定された部分について、三次元計測を実行する。

以上、実施形態を説明したが、前述した内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。前述した構成要素は適宜組み合わせることが可能である。実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換及び変更のうち少なくとも１つを行うことができる。

１ 車体
２ 作業機
３ 旋回体
４ 運転室
５ 走行体
６ ブーム
７ アーム
８ バケット
９ 刃
１０ ブームシリンダ
１１ アームシリンダ
１２ バケットシリンダ
１３ ブームピン
１４ アームピン
１５ バケットピン
１８Ａ 第１角度検出部
１８Ｂ 第２角度検出部
１８Ｃ 第３角度検出部
２０ 処理装置
２１ 処理部
２２ 記憶部
２３ 入出力部
２５ 操作装置
２６ モニタパネル
３０ａ，３０ｂ，３０ｃ，３０ｄ 撮像装置
５０ 校正システム
５２ 入力装置
６０ 計測用ターゲット
１００ 油圧ショベル
Ｐ３ 刃先
Ｒ 回転行列
Ｔ 並進ベクトル
Ｗ 幅方向
ｘ_０，ｙ_０，ｚ_０ 成分
α，β，γ 角度

Claims (10)

1. 作業機を有する作業機械に備えられた少なくとも一対の撮像装置で構成されたステレオカメラであり、対象の位置を検出して出力する第１位置検出部と、
   前記第１位置検出部によって検出された前記作業機械の所定の位置に関する情報である第１位置情報、及び前記第１位置検出部が前記所定の位置を検出したときの前記作業機械の姿勢で、第２位置検出部によって検出された前記所定の位置に関する情報である第２位置情報を用いて、前記第１位置検出部が検出した位置を前記第１位置検出部の座標系から前記第１位置検出部の座標系とは異なる座標系に変換するために用いられる変換情報を求めて出力するか、又は前記第２位置検出部が検出した位置を前記第２位置検出部の座標系から前記第２位置検出部の座標系とは異なる座標系に変換するために用いられる変換情報を求めて出力する処理部と、
   を含む、校正システム。
2. 前記第１位置情報は、前記第１位置検出部が、異なる姿勢の前記作業機械から前記所定の位置を検出することにより得られた複数の情報であり、
   前記第２位置情報は、前記第２位置検出部が、異なる姿勢の前記作業機械から前記所定の位置を検出することにより得られた複数の情報である、請求項１に記載の校正システム。
3. 前記異なる姿勢は、前記作業機械の接地面と平行な距離である水平距離が異なるものである、請求項２に記載の校正システム。
4. 前記第２位置検出部は、前記作業機械に備えられて、前記作業機を動作させるアクチュエータの動作量を検出するセンサである、請求項１から請求項３のいずれか１項に記載の校正システム。
5. 前記所定の位置は、前記ステレオカメラを構成する一対の前記撮像装置が配列されている方向における、前記作業機械の複数の位置である、請求項４に記載の校正システム。
6. 作業機と、
   請求項１から請求項５のいずれか１項に記載の校正システムと、
   を含む、作業機械。
7. ステレオ方式により対象の位置を三次元計測する第１の方法、及び第２の方法によって作業機械の所定の位置を、前記作業機械の姿勢が異なる状態で検出し、
   前記第１の方法によって検出された前記所定の位置に関する情報である第１位置情報、及び前記第１の方法によって前記所定の位置が検出されたときの前記作業機械の姿勢で、前記第２の方法によって検出された前記所定の位置に関する情報である第２位置情報を用いて、前記第１の方法によって検出された位置を前記第１の方法における座標系から前記第１の方法における座標系とは異なる座標系に変換するために用いられる変換情報を求めるか、又は前記第２の方法によって検出された位置を前記第２の方法における座標系から前記第２の方法における座標系とは異なる座標系に変換するために用いられる変換情報を求める、校正方法。
8. 前記第１の方法によって異なる姿勢の前記作業機械から前記所定の位置を検出することにより得られた複数の情報が前記第１位置情報であり、前記第２の方法によって異なる姿勢の前記作業機械から前記所定の位置を検出することにより得られた複数の情報が前記第２位置情報である、請求項７に記載の校正方法。
9. 前記異なる姿勢は、前記作業機械の接地面と平行な距離である水平距離が異なるものである、請求項８に記載の校正方法。
10. 前記所定の位置は、前記ステレオ方式による前記三次元計測に用いられる一対の撮像装置が配列されている方向における、前記作業機械の複数の位置である、請求項７から請求項９のいずれか１項に記載の校正方法。

Images