JP2020160777A - 較正作業支援システム - Google Patents

Abstract

【課題】ＩＭＵの較正作業中の作業装置の姿勢が目標計測姿勢と一致しているか否かを、運転室内で操作する運転者が容易に判断できる較正作業支援システムを提供すること。【解決手段】油圧ショベル１の車格情報とフロント作業機１Ａの仕様情報とを含む機械情報を入力するための入力装置１５と、入力装置から入力された機械情報と、慣性計測装置Ｓ１，Ｓ２，Ｓ３を較正する際のフロント作業機１Ａの目標計測姿勢として予め定められた目標姿勢情報とに基づいて、目標計測姿勢をとったフロント作業機１Ａを運転者Ｍの視点位置及び視線方向で見た場合の画像である目標姿勢画像２４を生成する表示制御装置１７Ｂと、表示制御装置で生成された目標姿勢画像２４を表示するＨＭＤ１７とを備え、ＨＭＤは、運転者Ｍの視点位置及び視線方向で見た現実のフロント作業機１Ａに目標姿勢画像２４が重畳するように表示している。【選択図】 図５

Description

本発明は、作業機械が備える作業装置に取り付けられた慣性計測装置の較正作業を支援する較正作業支援システムに関する。

油圧ショベルは、代表的な作業機械であり、作業装置として多関節型のフロント作業機を備えている。このフロント作業機の姿勢を運転者に提示し、油圧ショベルによる掘削作業を支援する表示システムとして、マシンガイダンスがある。正確なマシンガイダンスの実現にはフロント作業機の姿勢を正確に検出する必要がある。

フロント作業機の姿勢検出に関する技術として、特許文献１には、油圧シリンダのストローク長を計測するストロークセンサと、ストロークセンサによるストローク長の計測値をリセットするリセット基準点を計測するリセットセンサと、油圧シリンダのストロークエンド位置を検出するストロークエンド検出処理部と、リセット基準点および／またはストロークエンド位置を検出した場合に、ストローク長の計測値を校正（較正）する校正処理部と、油圧シリンダの初期校正作業を行う場合、油圧シリンダが搭載される作業機械全体の表示を行うモニタと、校正対象の油圧シリンダを駆動させるための可動部を強調表示するとともに駆動方向を表示する強調表示処理部と、を備えた油圧シリンダのストローク初期校正作業支援装置が開示されている。

国際公開２０１４／１６７７３１号公報

近年、マシンガイダンスにおけるフロント作業機の姿勢計測手段として、ＩＭＵ（Inertial Measurement Unit）が利用されている。ＩＭＵとはジャイロセンサと加速度センサから成る慣性計測装置であり、その２種類のセンサを組み合わせることで高精度かつ高応答な姿勢計測を実現している。ＩＭＵは油圧ショベルの車体およびフロント作業機の各部位（ブーム、アーム、バケットなど）の表面に設置され、ＩＭＵの取付け位置および取付け角度を事前に較正することでフロント作業機の姿勢を計測している。すなわち、較正作業が未実施である場合には、運転者にフロント作業機の姿勢情報を提示することはできない。

ここで、ＩＭＵの較正作業とは、フロント作業機の各部位に取り付けられたＩＭＵが計測する計測値と、実際のフロント作業機の姿勢とをマッチングさせる作業である。具体的には、フロント作業機をある姿勢（目標計測姿勢）で停止させ、その時のＩＭＵの計測値と、各部位の回動部（ブームピン、アームピン、バケットリンクピンなど）の位置座標をトータルステーションなどの高精度な測量機器で計測し、その２つの計測値をマシンガイダンスコントローラに学習させるというものである。このとき、較正作業の精度を向上させるため、複数の姿勢で計測値の学習を実施する。また、量産機毎の精度のバラつきを抑えるため、較正作業における計測姿勢および計測回数は、作業手順書等で定められる。

しかし、機体の車格や仕様が多岐にわたるため、運転室内でフロント作業機を操作する運転者が特定の姿勢にフロント作業機を動かすことは困難である。運転者の視点（運転室から見たフロント作業機の様子）からフロント作業機の姿勢を把握することが難しいということは、マシンガイダンスにおいて、フロント作業機の姿勢情報を様々な視点を用いて提示していることからも明らかである。そのため、従来は、運転室の外からフロント作業機の姿勢を直接目視して、正しい姿勢であるかどうかを確認している。よって、較正作業には直接関係のない、運転室の外から姿勢を確認するという余分な作業が発生しているため、作業性が低下してしまっている。

上記の特許文献１では、シリンダ内蔵型のストロークセンサの較正作業に関わる操作支援情報を提示している。具体的には、動作させる部位（可動部）とその方向（駆動方向）を提示し、シリンダのストロークエンドに設置される検出装置でストロークの動作を検出し、較正作業の完了を報知するものである。ストロークセンサを使用する場合には、特許文献１の発明を使用することで、熟練者でなくても較正作業を効率的に実施することが可能になる。

しかしながら、フロント作業機の姿勢計測手段としてＩＭＵを用いる場合、同姿勢計測手段としてストロークセンサを用いる特許文献１の技術を使用することはできない。なぜなら、特許文献１のストロークセンサはシリンダに内蔵されるため、予めセンサの取付け姿勢が決まっているが、ＩＭＵは取付け姿勢が不明であり、較正作業内で取付け姿勢を較正する必要がある。そのため、特許文献１のように、シリンダのストロークエンドを検知して較正作業の完了を判断することができない。また、ＩＭＵの較正作業では、いくつかの計測姿勢をとる必要があり、特許文献１の支援情報（可動部とその駆動方向）では、フロント作業機が正しい計測姿勢にあるかどうかを運転者は判断することができない。

本発明の目的は、ＩＭＵの較正作業中の作業装置の姿勢が目標計測姿勢と一致しているか否かを、運転室内で操作する運転者が容易に判断できる較正作業支援システムを提供することにある。

本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、作業機械が備える作業装置に取り付けられた慣性計測装置の較正作業を支援する較正作業支援システムであって、前記作業機械の車格情報と前記作業装置の仕様情報とを含む機械情報を入力するための入力装置と、前記入力装置から入力された前記機械情報と、前記慣性計測装置を較正する際の前記作業装置の目標計測姿勢として予め定められた目標姿勢情報とに基づいて、前記目標計測姿勢をとった前記作業装置を所定の視点位置から所定の視線方向で見た場合の画像である目標姿勢画像を生成する制御装置と、前記制御装置で生成された前記目標姿勢画像を表示する表示装置とを備え、前記表示装置は、前記所定の視点位置から前記所定の視線方向で見た現実の前記作業装置に前記目標姿勢画像を重畳可能に構成されているものとする。

本発明によれば、ＩＭＵの較正作業中の目視による姿勢確認作業が省略されるので、較正作業の効率を向上できる。

本発明の実施形態に係る油圧ショベルの構成図。 本発明の実施形態に係る運転室７内の概観図。 本発明の実施形態に係るヘッドマウントディスプレイのハードウェア構成図。 本発明の実施形態に係る入力装置のハードウェア構成図。 本発明の実施形態に係る較正作業支援システムの機能ブロック図。 ヘッドマウントディスプレイの表示制御装置による目標姿勢画像生成フローチャート。 本発明の実施形態に係る入力装置の入力画面のレイアウト構成図。 本発明の実施形態に係る較正作業支援システムが運転者に提示する支援画像の一例を示す図。 本発明の実施形態に係るフロント部材のモデル座標系とフロント作業機のフロント座標系の関係を示す図。 本発明の実施形態に係るブーム根元ピン位置とマーカ位置の位置関係を示す図。 本発明の実施形態に係る慣性計測装置Ｓ１，Ｓ２，Ｓ３の較正作業に必要なシステムの概略構成図。 本発明の実施形態に係るコントローラが実行する較正作業処理のフローチャート。 本発明の実施形態に係るフロント作業機の各フロント部材に取り付けられたマーカの位置を示す図。 本発明の実施形態の変形例に係る表示装置の取り付け位置を示す図。 本発明の実施形態の変形例に係る較正作業支援システムが運転者に提示する支援画像の一例を示す図。

以下、本発明の実施の形態について図面を用いて説明する。
なお，以下では，作業機械として，作業装置の先端の作業具（アタッチメント）としてバケットを備える油圧ショベルを例示するが，バケット以外のアタッチメントを備える作業機械に本発明を適用してもよい。また，姿勢検出にＩＭＵが利用可能な作業装置を備える作業機械であれば，油圧ショベル以外の作業機械への適用も可能である。

（全体構成）
図１は本発明の実施の形態に係る油圧ショベルの側面図である。なお、図中の左を前、右を後ろ、紙面の手前から奥に向かう方向を右、同奥から手前に向かう方向を左と称することがある。この図に示すように、油圧ショベル（作業機械）１は、下部走行体１ｅと、この下部走行体１ｅの上側に旋回可能に取り付けられた上部旋回体１Ｂと、を備えている。

上部旋回体１Ｂは、ベースとなる旋回フレーム１０と、この旋回フレーム１０の前方左側に配置される運転室７と、旋回フレーム１０の前方中央に上下方向に回動可能に取り付けられるフロント作業機（作業装置）１Ａと、旋回フレーム１０の後方に配置されるカウンタウェイト６と、フロント作業機１Ａとカウンタウェイト６との間に設置されるエンジンルーム１ｄと、を備えている。

フロント作業機（作業装置）１Ａは，垂直方向にそれぞれ回動する複数のフロント部材（ブーム１ａ，アーム１ｂ及びバケット１ｃ）を連結して構成されている。ブーム１ａの基端は上部旋回体１Ｂの前部においてブームピンを介して回動可能に支持されている。ブーム１ａの先端にはアームピンを介してアーム１ｂの基端が回動可能に連結されており，アーム１ｂの先端にはバケットピンを介してバケット１ｃの基端が回動可能に連結されている。ブーム１ａはブームシリンダ３ａによって駆動され，アーム１ｂはアームシリンダ３ｂによって駆動され，バケット１ｃはバケットシリンダ３ｃによって駆動される。

このフロント作業機１Ａは、運転室７に搭乗した運転者Ｍによって操作される。カウンタウェイト６は、フロント作業機１Ａとの重量バランスを取るためのもので、例えば略円弧状の水平断面を有する重量物で形成できる。

また、フロント作業機１Ａの各フロント部材（ブーム１ａ、アーム１ｂ、バケット１ｃ）の側面には、それぞれの姿勢を計測するための姿勢計測装置としての慣性計測装置（ＩＭＵ）Ｓ１〜Ｓ３が取り付けられている。

図２は運転室７内の概観図である。なお、先の図と同じ部分には同じ符号を付し、同じ部分の説明は省略することがある（後の図においても同様とする）。図２に示すように、運転室７には、運転者Ｍが着座する運転席７Ａと、各油圧アクチュエータ３ａ〜３ｃの動作を含む車体の動作を指示する操作装置としての４本の操作レバー７ａ１〜７ａ４と、が設けられている。

操作レバー７ａ１（操作左レバー）はアームシリンダ３ｂ（アーム１ｂ）及び上部旋回体１Ｂ（旋回油圧モータ（図示せず））を操作するためのものであり，操作レバー７ａ２（操作右レバー）はブームシリンダ３ａ（ブーム１ａ）及びバケットシリンダ３ｃ（バケット１ｃ）を操作するためのものである。また，操作レバー７ａ３（走行左レバー）は下部走行体１ｅ（左走行油圧モータ（図示せず））を操作するためのものであり，操作レバー７ａ４（走行右レバー）は下部走行体１ｅ（右走行油圧モータ（図示せず））を操作するためのものである。

運転室７は複数のピラー１６で支持されており、フロント側の２本のピラー１６の間にフロントガラス（前窓）１３が埋め込まれている。また、運転室７の前方に設置されたフロントガラス１３には二次元マーカ７ｂが取り付けられており、運転席７Ａに着座した運転者Ｍから見て右側のピラー１６にはタッチパネル式の入力装置１５が取り付けられている。入力装置１５では、油圧ショベル１の車格情報と、フロント作業機１Ａの仕様情報と、較正作業の対象を特定するための作業項目情報と、各フロント部材１ａ，１ｂ，１ｃの回転角により目標計測姿勢を特定するための作業手順情報（目標姿勢情報とも称する）とを入力することができる。なお、入力装置１５は表示装置を兼ねても良い。

油圧ショベル１に搭乗して運転席７Ａに着座した運転者Ｍの頭部には，運転者Ｍの前方に配置される透過型ディスプレイ（ハーフミラー１７Ｇ）を備える表示装置としてヘッドマウントディスプレイ（以下ＨＭＤ）１７が装着される。

図３はＨＭＤ１７のハードウェア構成図である。図３に示すように、ＨＭＤ１７は、二次元マーカ７ｂを撮影することで運転者Ｍの視点位置及び視線方向を計測する計測装置としてのカメラ１７Ａと、目標計測姿勢をとったフロント作業機１Ａを運転者Ｍの視点位置から運転者Ｍの視線方向で見た場合の画像である目標姿勢画像（支援画像とも称する）を生成する表示制御装置１７Ｂと、表示制御装置１７Ｂで生成された目標姿勢画像を出力するプロジェクタ１７Ｅと、プロジェクタ１７Ｅから出力される目標姿勢画像を拡大縮小するレンズ１７Ｆと、レンズ１７Ｆを通過した目標姿勢画像が投影される透過型ディスプレイであるハーフミラー１７Ｇとを備えている。ハーフミラー１７Ｇは、目標姿勢画像を表示する表示装置として機能する一方で、その透過性により運転者Ｍの視点位置及び視線方向で見た現実のフロント作業機１Ａに目標姿勢画像を重畳可能に構成されている。

カメラ１７ＡはＨＭＤ１７の本体に搭載されており、運転者Ｍの頭部の動きに合わせて位置及び光軸方向が変化する。ハーフミラー１７ＧはＨＭＤ１７を装着した運転者Ｍの瞳の前方に配置され透過性と反射性を併せ持つ構造となっているため、運転者Ｍはハーフミラー１７Ｇ上に投影された目標姿勢画像と前方の現実の景色（現実のフロント作業機１Ａも含む）を同時に視認することができる。表示制御装置１７Ｂは、演算装置１７Ｃ（例えばＣＰＵ）と、記憶装置１７Ｄ（例えばＲＯＭ，ＲＡＭ等の半導体メモリ）と、通信インターフェース（Ｉ／Ｆ）１７Ｈと、入出力Ｉ／Ｆ１７Ｊとを備えている。記憶装置１７Ｄには、予め目標姿勢画像の基となるフロント作業機１Ａのモデルデータが、フロント部材毎に、後述する機械情報と対応付けて記憶されているほか、カメラ１７Ａの内部パラメータや、二次元マーカ７ｂのパターンファイルが記憶されている。また、ＨＭＤ１７は通信Ｉ／Ｆ１７Ｈを介してネットワークに接続され、入力装置１５とデータ通信を行うことができる。

図４は入力装置１５のハードウェア構成図である。この図に示すように入力装置１５は、ディスプレイ（表示装置）１５Ａと、ディスプレイ１５Ａの上面に貼り付けられたタッチパネル（位置入力装置）１５Ｂと、ディスプレイ１５Ａ及びタッチパネル１５Ｂを制御する入力制御装置１５Ｇを備えている。入力制御装置１５Ｇは、表示制御装置１７Ｂと同様に、演算装置１５Ｃ（例えばＣＰＵ）と、記憶装置１５Ｄ（例えばＲＯＭ，ＲＡＭ等の半導体メモリ）と、通信Ｉ／Ｆ１５Ｈと、入出力Ｉ／Ｆ１５Ｊとを備えている。

図５は本発明の実施の形態に係る較正作業支援システムの機能ブロック図である。ＨＭＤ１７の表示制御装置１７Ｂは、運転者Ｍによって入力装置１５のディスプレイ１５Ａ（タッチパネル１５Ｂ）に入力される情報（後述する機械情報と作業情報（図７参照））を利用して、記憶装置１７Ｄに記憶されたプログラムを演算装置１７Ｃによって実行することにより図５に示した各部として機能する。

図７は、入力装置１５のディスプレイ１５Ａに表示される機械情報入力画面（ａ）と、作業内容入力画面（ｂ）と、作業手順入力画面（ｃ）を示す図である。

機械情報入力画面（ａ）には、油圧ショベル１の車格情報と、フロント作業機１Ａの各部の仕様情報（例えば，ブームの仕様としては，標準ブーム，ツーピースブーム，ハイリフトブーム等がある）とを含む「機械情報」の入力を運転者Ｍから受け付ける機械情報入力部１５ａが設けられている。図７の例では、車格情報と各部の仕様情報は、プルダウンメニューから運転者Ｍが選択するように構成されている。

作業内容入力画面（ｂ）と作業手順入力画面（ｃ）には、それぞれ、慣性計測装置Ｓ１，Ｓ２，Ｓ３を較正する際の「作業情報」の入力を運転者Ｍから受け付ける作業情報入力部１５ｂが設けられている。作業内容入力画面（ｂ）の作業情報入力部１５ｂには「作業情報」のうち作業項目の情報（“作業項目情報”は、慣性計測装置が取り付けられた複数のフロント部材（ブーム，アーム，アタッチメント（バケット））のうちどのフロント部材を姿勢計測の対象、すなわち較正作業の対象とするかを規定する情報である）が入力され、作業手順入力画面（ｃ）作業情報入力部１５ｂには「作業情報」のうち作業手順の情報（“作業手順情報”は、作業項目で選択したフロント部材上の慣性計測装置を較正する際にフロント作業機１Ａの目標計測姿勢として予め定められた情報である）が入力される。図７の例では、作業項目の情報（姿勢計測の対象となるフロント部材）は、プルダウンメニューから運転者Ｍが選択するように構成されている。作業手順の情報は、予め設定された複数の計測姿勢を予め定められた順番に自動的に表示しても良いし、運転者Ｍが各フロント部材の角度を手動入力して複数の目標計測姿勢をとるようにしても良い。

運転者Ｍによってそれぞれの入力画面（ａ），（ｂ），（ｃ）から入力された機械情報と作業情報は、ネットワークを経由してＨＭＤ１７へと送信される。

図５において、表示制御装置１７Ｂは、入力装置１５で入力される機械情報に基づいてその対象機械に対応するフロント作業機１Ａのモデルデータをモデルデータ記憶部１７ｇから選択するモデル選択部１７ａと、入力装置１５で入力される機械情報及び作業情報、並びに、マーカ位置情報記憶部１７ｊに記憶されたマーカ７ｂの取付位置情報に基づいてモデルデータの座標を変換するモデル座標変換部１７ｂと、入力装置１５から入力された機械情報及び作業情報（作業情報には目標計測姿勢を含まれる）と、カメラ１７Ａの姿勢に基づいて算出される運転者Ｍの視点位置及び視線方向とに基づいて目標計測姿勢をとっているフロント作業機１Ａを運転者Ｍから見た場合の画像（目標姿勢画像）を生成する目標姿勢画像生成部１７ｃと、目標姿勢画像生成部１７ｃで生成された目標姿勢画像をハーフミラー１７Ｇに投影する表示制御部１７ｄと、マーカ情報記憶部１７ｈから読み出したマーカ７ｂの形状や大きさを含む情報に基づいてカメラ１７Ａの撮影画像からマーカ７ｂを検出するマーカ検出部１７ｅと、マーカ検出部１７ｅが検出したマーカ７ｂの形状や大きさ、並びに、内部パラメータ記憶部１７ｉに記憶されているカメラ１７Ａの内部パラメータに基づいてカメラ１７Ａの位置と姿勢（カメラ１７Ａの外部パラメータ）を算出するカメラ姿勢推定部１７ｆと、車格や仕様に合わせた複数のフロント作業機１Ａのモデルデータが記憶されているモデルデータ記憶部１７ｇと、マーカ７ｂの形状や大きさを含む情報が記憶されているマーカ情報記憶部１７ｈと、カメラ１７Ａの内部パラメータ（例えば焦点距離や光学的中心）が記憶されている内部パラメータ記憶部１７ｉと、運転室７内におけるマーカ７ｂの取り付け位置情報（例えばブーム１ａの根元ピン（ブームピン）の位置を基準とした位置）が記憶されたマーカ位置情報記憶部１７ｊとを備えている。

（ＨＭＤ１７の表示制御装置１７Ｂによる目標姿勢画像生成フローチャート）
ＨＭＤ１７の表示制御装置１７Ｂによる目標姿勢画像を生成する方法について図６を参照しながら説明する。図６はＨＭＤ１７の表示制御装置１７Ｂによる目標姿勢画像生成フローチャートである。表示制御装置１７Ｂは、運転者Ｍからの較正作業の開始指示の入力をトリガーとして図６のフローを実行して目標姿勢画像をハーフミラー１７Ｇに投影する。

表示制御装置１７Ｂは、運転者Ｍからの較正作業の開始指示を入力装置１５から入力すると図６のフローを開始して、機械情報の取得（Ｓ１０１）と作業情報の取得（Ｓ１０２）を行う。Ｓ１０１の機械情報としては、運転者Ｍが入力装置１５の機械情報入力部１５ａに入力した情報が入力表示制御装置１７Ｂに入力される。機械情報には、較正作業の対象となる機械（以下対象機械）の車格と、フロント作業機１Ａを構成する各フロント部材（ブーム１ａ、アーム１ｂ、バケット１ｃ）の仕様が含まれる。Ｓ１０２の作業情報としては、機械情報と同様に運転者Ｍが入力装置１５の作業情報入力部１５ｂに入力した情報が表示制御装置１７Ｂに入力される。作業情報には較正作業の作業項目（較正対象の慣性計測装置が取り付けられたフロント部材）と、その作業項目の作業手順（較正対象を較正するためにフロント作業機１Ａが取るべき目標計測姿勢）が含まれる。

Ｓ１０３では、モデル選択部１７ａは、Ｓ１０１で取得した機械情報を基に、対象機械に対応するモデルデータをモデルデータ記憶部１７ｇから読み出す。前述の通り、モデルデータは、予め機械情報と対応づけられてモデルデータ記憶部１７ｇに記憶されている。モデルデータは、ブーム１ａ、アーム１ｂ、バケット１ｃなど、フロント部材（部位）単位で記憶され、標準ブーム、ツーピースブームなど、様々な仕様に対応している。すなわちモデル選択部１７ａは、入力された車格、仕様に対応するモデルデータを読み出す。

（モデル座標系からフロントモデル座標系への変換）
Ｓ１０４では、モデル座標変換部１７ｂは、機械情報と作業情報を基に、Ｓ１０３で読み出した各部位のモデルデータを各部位のモデル座標系からフロントモデル座標系へ座標変換を行い、作業項目及び作業手順に基づいて規定される適切な目標計測姿勢をとったフロント作業機１Ａ全体のモデルデータ（以下、フロントモデルデータと称する）を生成する。

Ｓ１０４のフロントモデル座標系への変換手法の詳細について図９を参照しながら説明する。図９はフロント作業機１Ａの各部の座標系とフロントモデル座標系との関係を示す図である。フロントモデル座標系を、フロント作業機１Ａの各部位の長手方向をＺ軸（フロント前方が正）とする左手直交座標系とすると、部位モデルデータ（ｘ_ｍ，ｙ_ｍ，ｚ_ｍ）から目標計測姿勢のフロントモデルデータ（ｘ_ｆ，ｙ_ｆ，ｚ_ｆ）への変換は次式（数１参照）を用いて行うことができる。なお、θは、作業情報入力部１５ｂが取得する作業情報に対応づけられる各部位の回転角度であり、（Ｔ_ｘ，Ｔ_ｙ，Ｔ_ｚ）は、各部位毎の並進ベクトルを表す。

前述の通り、並進ベクトル（Ｔ_ｘ，Ｔ_ｙ，Ｔ_ｚ）は、フロント作業機１Ａの部位毎に異なる。較正作業の対象となる機械のフロント作業機１Ａが、ブーム１ａ、アーム１ｂ、バケット１ｃで構成されるとすると、ブーム１ａの並進ベクトルＴ_Ｂ、アーム１ｂの並進ベクトルＴ_Ｓ、バケット１ｃの並進ベクトルＴ_Ａはそれぞれ次式（数２参照）で表される。ここで、Ｌ_Ｂはブーム長、Ｌ_Ｓはアーム長、Ｌ_Ａはバケット長、θ_Ｂはブーム回転角度、θ_Ｓはアーム回転角度を表す。

（フロントモデル座標系からマーカ座標系への変換）
さらに、モデル座標変換部１７ｂは、Ｓ１０５においてマーカ位置情報記憶部１７ｊから運転席７内のマーカ７ｂの取付位置情報（例えばブーム１ａの根元ピン（ブームピン）の位置を基準とした位置）を読み出し、ブーム１ａの基端側の回転軸を基準としたフロントモデル座標系からマーカ座標系への座標変換を行う（Ｓ１０６）。これにより実際のフロント作業機１Ａのブーム１ａ根元ピン位置と、フロントモデルデータのブーム根元ピン位置を合致させる。

Ｓ１０６のマーカ座標系への変換の詳細について図１０を参照しながら説明する。図１０はフロントモデル座標系とマーカ座標系との関係を示す図である。マーカ座標系を、マーカ中心を原点とし、マーカ平面と直交する方向をＺ軸（車体前方が正）とする左手直交座標系とすると、実際の油圧ショベル１のブームピンの中心位置からマーカ取付中心位置までの距離ベクトル（ｔ_ｘ，ｔ_ｙ，ｔ_ｚ）を用いて、マーカ座標系への変換後のフロントモデルデータの座標（ｘ_ｒ，ｙ_ｒ，ｚ_ｒ）は次式で表される。なお、マーカ７ｂの取付位置情報は予めマーカ位置情報記憶部１７ｊに記憶されており、マーカ７ｂはブーム根元ピンと平行に設置されているものとする。

（マーカの検出）
Ｓ１０７では、マーカ検出部１７ｅはカメラ１７Ａが撮影した運転者Ｍの前方の画像（撮影画像）を取得する。続いてマーカ検出部１７ｅは、Ｓ１０７で取得した撮影画像に対してエッジ検出等の画像処理を行い、マーカ情報記憶部１７ｈからマーカの形状や大きさを含む情報を読み出し（Ｓ１０８）、その情報を基に撮影画像内に写ったマーカ７ｂを検出する（Ｓ１０９）。

具体的には，マーカ検出部１７ｅは，カメラ１７Ａが撮影する撮影画像からマーカ７ｂを検出するための前処理として、撮影したＲＧＢ画像に対して、閾値を用いて各画素の明度値を０または２５５に変換する閾値処理を行うことで、撮影画像を二値化画像へと変換する。次に、マーカ７ｂの輪郭を検出するために、エッジ検出処理を行う。明度差が大きな画素をエッジとする。エッジ検出は、例えば、ソーベルフィルタを用いて、二値化画像とソーベルフィルタのカーネルの畳み込み演算を行うことで水平方向と垂直方向のエッジを検出する。さらに、検出したエッジに対して直線近似を行う。直線近似には最小二乗法やハフ変換を用いる。直線近似によって、近似した直線の交点座標をマーカ矩形の頂点として取得する。さらに、マーカ検出部１７ｅは，画像処理後の撮影画像から取得したマーカ矩形の４つの頂点で規定される四角形領域（すなわちマーカ７ｂが写った領域）を検出し，その四角形領域の形状と、マーカ情報記憶部１７ｈにベクトル形式のパラメータデータとして予め記憶されたマーカ７ｂの形状（テンプレートパターン）とをパターンマッチングする。そして，マーカ検出部１７ｅは，両者のマッチング率が所定のしきい値を超えた場合，撮影画像内で検出された四角形領域がマーカ７ｂに該当し，カメラ１７Ａの撮影画像にマーカ７ｂが写っていると判定する。

（マーカ座標系におけるカメラ１７Ａの位置・姿勢の推定）
カメラ姿勢推定部１７ｆは、Ｓ１１０でカメラ１７Ａの内部パラメータを読み出し、その内部パラメータとＳ１０９で検出したマーカ７ｂの形状（すなわちカメラ１７Ａの撮影画像上のマーカ７ｂの形状）とに基づいてカメラ１７Ａの外部パラメータ（カメラ１７Ａの姿勢と位置）を算出する（Ｓ１１１）。カメラ１７Ａの姿勢と位置は、カメラ１７Ａの光軸方向と取り付け位置と換言できる。カメラ１７Ａの姿勢と位置からは運転者Ｍの視点位置と視線方向が演算できる。内部パラメータは、カメラ１７Ａの歪みを含むカメラ１７Ａの位置や姿勢の変化に依存しないハードウェア固有のパラメータであり、記憶装置１７Ｄ内に設けられた記憶領域である内部パラメータ記憶部１７ｉに予め記憶されている。

ここでＳ１１１のカメラ１７Ａの姿勢と位置の推定の詳細について説明する。なお、カメラ１７Ａの姿勢と位置の推定手法についても、一般に公知であるため、詳細は割愛し手順のみを記述する。

まず、マーカ座標系からカメラ座標系への変換は、Ｓ１１１で推定するカメラ１７Ａの姿勢と位置を表す外部パラメータを用いて表現できる。一方、カメラ座標系から画面座標系への変換はカメラ１７Ａの内部パラメータを用いて表すことができる。ここで、内部パラメータは、ハーフミラー１７Ｇに設定された画面座標系の原点、カメラ１７Ａの焦点距離、ピクセルのスケールファクタ、カメラ１７Ａの半径方向および円周方向の歪みを含んでいる。

したがって、マーカ座標系から画面座標系への変換は、カメラ１７Ａの外部パラメータと内部パラメータを合わせて透視投影行列で表現できる。透視投影変換行列は３×４の行列であるため、未知数は１２個となるが、定数倍が無視できること、マーカ７ｂの頂点がマーカ座標系での同一平面上にあることを拘束条件として、未知数は７個となる。したがって、カメラ１７Ａの撮影画像から算出されるカメラ座標系におけるマーカ７ｂの頂点座標と、マーカ座標系におけるマーカ７ｂの頂点座標との組み合わせが４組あれば方程式を解くことができる。すなわち、マーカ検出部１７ｅが検出するカメラ座標系におけるマーカ７ｂの４つの頂点座標から透視投影行列の成分を求めることができる。

前述の通り、透視投影行列は、カメラ１７Ａの内部パラメータと外部パラメータが合わさったものであり、マーカ７ｂの頂点から求めた透視投影行列と、既知である内部パラメータとから、カメラ１７Ａの外部パラメータ、すなわちカメラ１７Ａの位置・姿勢を求めることができる。

（マーカ座標系から画面座標系への変換と目標姿勢画像の生成）
Ｓ１１２では、目標姿勢画像生成部１７ｃは、Ｓ１１１で取得したカメラ１７Ａの姿勢と位置（カメラ１７Ａの外部パラメータ）と、カメラ１７Ａの内部パラメータとを用いて表現される透視投影行列を利用して、マーカ座標系におけるフロントモデルデータをハーフミラー１７Ｇに設定された画面座標系へ変換する（透視投影変換）。この透視投影変換により、フロントモデルデータは、三次元のマーカ座標系から二次元の画面座標系へと変換される。このように透視投影変換されたフロントモデルデータの画像が、図８の右側に示した、運転者Ｍから見たフロント作業機１Ａの目標計測姿勢を表す目標姿勢画像２４である。表示制御部１７ｄは、目標姿勢画像生成部１７ｃで生成された目標姿勢画像２４をプロジェクタ１７Ｅへと出力し、これにより目標姿勢画像２４がハーフミラー１７Ｇに投影される（Ｓ１１３）。図８の左側には運転者Ｍがハーフミラー１７Ｇを介して見える現実のフロント作業機１Ａと目標姿勢画像２４を重畳されている様子を示している。すなわち、本実施形態のＨＤＭ１７（ハーフミラー１７Ｇ）は、運転者Ｍの視点位置及び視線方向で見た現実のフロント作業機１Ａに目標姿勢画像２４を重畳可能に構成された表示装置として機能する。

（較正作業）
次に慣性計測装置Ｓ１，Ｓ２，Ｓ３の較正作業に必要なコントローラ（較正作業制御装置）２０について説明する。このコントローラ２０はＨＭＤ１７を利用して実際のフロント作業機１Ａで目標計測姿勢をとる毎に利用される。

図１１は慣性計測装置Ｓ１，Ｓ２，Ｓ３の較正作業に必要なシステムの概略構成図である。この図に示すシステムは、慣性計測装置Ｓ１，Ｓ２，Ｓ３の出力信号を取得し、較正作業を司るコントローラ（較正作業制御装置）２０と、フロント作業機１Ａのフロント部材１ａ，１ｂ，１ｃを連結する各ピンｐ１〜ｐ６及びバケット爪先ｐ７（後述する図１３参照）の三次元位置座標を計測するピン位置計測装置（例えばトータルステーション）１９を備えている。コントローラ２０は、油圧ショベル１に搭載することができ、入力装置１５、慣性計測装置Ｓ１，Ｓ２，Ｓ２及びピン位置計測装置１９とデータ通信可能に接続されている。なお、コントローラ２０は、ＨＭＤ１７の表示制御装置や入力装置１５の入力制御装置に対してプログラムをインストールすることでＨＭＤ１７や入力装置１５内に構成しても良いし、油圧ショベル１とは独立したコンピュータ内に構成しても良い。

コントローラ２０は、表示制御装置１７Ｂや入力制御装置１５Ｇと同様に、演算装置と、記憶装置と、通信Ｉ／Ｆと、入出力Ｉ／Ｆ（いずれも図示せず）を備えており、記憶装置内に記憶されたプログラムを演算装置で実行することにより図１１中に示した各部として機能する。コントローラ２０は、計測指示受信部２０ａ、計測指示送信部２０ｂ、計測値取得部２０ｃ、出力信号取得部２０ｄ、及び取付角度算出部２０ｅとして機能し、記憶装置内の記憶領域に構成情報記憶部２０ｆを確保している。コントローラ２０の各部の説明とともにコントローラ２０で実行される処理のフローチャートについて図１２を用いて説明する。

図１２はコントローラ２０が実行する較正作業処理のフローチャートである。
運転者ＭがＨＭＤ１７に表示される目標姿勢画像２４に基づいてフロント作業機１Ａの姿勢を目標計測姿勢とした後にディスプレイ１５Ａ上の較正作業開始ボタンに触れると計測指示信号が出力され、コントローラ２０は図１２に示したフローチャートを開始する。フローが開始されると、電気ハーネス等を介して入力装置１５と接続されたコントローラ２０の計測指示受信部２０ａは，入力装置１５から出力される計測指示信号を取得する（Ｓ１１４）。

Ｓ１１５では、コントローラ２０の計測指示送信部２０ｂは，入力装置１５から計測指示を取得したことをトリガーにして、コントローラ２０と無線通信可能に接続されたピン位置計測装置２０に対して計測指示信号を送信する。ここでピン位置計測装置１９は，例えばトータルステーションなどの角度と距離を高精度に計測可能な装置であり、以下ではピン位置計測装置１９がトータルステーションの場合について説明する。図１３に示すように、フロント作業機１Ａの各フロント部材１ａ，１ｂ，１ｃを連結する各ピンｐ１〜ｐ６及びバケット爪先ｐ７の軸方向端面には計測用のマーカが予め設置されている。コントローラ２０から計測指示信号を受信したトータルステーション（ピン位置計測装置１９）は、各マーカまでの距離及び角度を計測する。計測が終了したら、トータルステーション（ピン位置計測装置１９）はその計測値（各マーカまでの距離及び角度）をコントローラ２０に送信し、これによりコントローラ２０がトータルステーションの計測値を取得する（Ｓ１１６）。なお、トータルステーションの構成および動作については公知であるため，ここでは説明を割愛する。

Ｓ１１７では，コントローラ２０の出力信号取得部２０ｄは，慣性計測装置Ｓ１〜Ｓ３の出力信号を取得する。

Ｓ１１８では、コントローラ２０の取付角度算出部２０ｅは，Ｓ１１６で取得したトータルステーション（ピン位置計測装置１９）の計測値と，Ｓ１１７で取得した慣性計測装置Ｓ１〜Ｓ３の出力信号とに基づいて，フロント作業機１Ａの各フロント部材に対する慣性計測装置Ｓ１〜Ｓ３の取付角度を算出し（Ｓ１１８），それを較正情報として較正情報記憶部２０ｆに記録する（Ｓ１１９）。

（作用効果）
上記のように構成した較正作業支援システムでは、運転者Ｍが入力装置１５に機械情報（車格情報及び仕様情報を含む）と作業情報（作業項目情報及び作業手順情報（目標計測姿勢）を含む）を入力すると、表示制御装置１７Ｂは、目標計測姿勢をとったフロント作業機１Ａを運転者Ｍの視点位置及び視線方向で見た場合の画像（目標姿勢画像２４）を生成し、その目標姿勢画像２４をＨＭＤ１７のハーフミラー１７Ｇに投影する。ＨＭＤ１７のハーフミラー１７Ｇは透過性があるため、そのときの運転者Ｍの視点位置及び視線方向で見た現実のフロント作業機１Ａに目標姿勢画像２４が重畳される（図８参照）。現実のフロント作業機１Ａと同様に目標姿勢画像２４も運転者Ｍの視点位置及び視線方向で見たフロント作業機１Ａの姿である。そのため、運転者Ｍは、現実の各フロント部材がハーフミラー１７Ｇ上の目標姿勢画像における各フロント部材に重なり合うように操作レバー７ａ１，７ａ１を操作して現実のフロント作業機１Ａを動作させるだけで、運転室７内に居ながらにして較正作業に必要な目標計測姿勢をフロント作業機１Ａにとらせることができる。すなわち、慣性計測装置Ｓ１，Ｓ２，Ｓ２の較正作業において運転者Ｍが運転室７から降りて油圧ショベル１の側方からフロント作業機１Ａの姿勢を目視で確認する必要が無くなり、運転者Ｍの熟練度にかかわらず運転室７に居ながらにして正しい目標計測姿勢にフロント作業機１Ａを操作することができる。その結果、運転室７の外から目視で確認する手順が不要になり、較正作業全体の作業性が向上する。

（変形例）
次に上記の実施形態の変形例について説明する。上述した実施形態では、表示装置として運転者の頭部に装着するＨＭＤ１７を用いて、ＨＭＤ１７のカメラ１７Ａがフロントガラス１６上のマーカ７ｂを検出することで、運転者Ｍの頭部姿勢を推定し、ハーフミラー１７Ｇ上での目標姿勢画像２４の表示を制御する例を示した。

その他の例として、ＨＭＤ１７の代わりに、レンズやハーフミラーなどの光学系を持たない一般的な表示装置（例えばＬＣＤディスプレイや有機ＥＬディスプレイ）を用いても良い。具体的には、図１４に示すように、運転室７における右側のピラー１３に固定される表示装置１８が利用可能である。表示装置１８の筐体内には表示制御装置１７Ｂが収納されている。

図１５は表示装置１８の表面（図中左）と裏面（図中右）を示す図である。表示装置１８の裏面にはカメラ１８Ａが設けられており、このカメラ１８Ａが、フロント作業機１Ａを含む運転室７前方を撮影する。目標姿勢画像２６は、上記の実施形態と同じく、入力装置９が取得する機械情報と作業情報を基に生成される。表示ディスプレイ１８の表面（図中左）には、カメラ１８Ａが撮影した運転室前方の撮影画像２５と、カメラ１８Ａの取り付け位置からカメラ１８Ａの光軸方向に向かって目標計測姿勢をとったフロント作業機１Ａのモデルデータを見た場合の画像（目標姿勢画像）２６とが表示されており、撮像画像２５上の現実のフロント作業機１Ａに目標姿勢画像２６が重畳表示される。なお、その他の部分については先の実施形態と同一であり説明は省略する。

上記のように、本変形例では、表示制御装置１７Ｂが目標姿勢画像２６を生成する際の基準となる位置及び方向を、油圧ショベル１（ピラー１３）に取り付けられたカメラ１８Ａの取り付け位置及び光軸方向としている。表示制御装置１７Ｂは、入力装置１５から入力された機械情報と、目標姿勢情報（作業情報）と、カメラ１８Ａの取り付け位置及び光軸方向とに基づいて、目標計測姿勢をとったフロント作業機１Ａをカメラ１８Ａで見たときの画像（目標姿勢画像）２６として生成する。表示装置１８は、運転室７内の運転室に着座した運転者Ｍの前方に配置されるディスプレイであり、カメラ１８Ａで撮影した現実のフロント作業機１Ａと目標姿勢画像２６を重畳表示している。

このようにシステムを較正しても先の実施形態と同様に、較正作業の対象となる機械の車格や仕様を問わず、実際のフロントの位置と重なるように目標姿勢画像２６を運転者に提示することができる。そのため、運転者は運転室７にいながら目標姿勢画像２６と現在のフロント作業機１Ａの姿勢との差分を容易に把握することができる。すなわち、運転者の熟練度に関わらず、運転室７にいながらも、正しい計測姿勢にフロント作業機１Ａを操作することができる。その結果、運転室の外から目視で確認する手順が不要になり、作業性が向上する。

（その他）
なお、本発明は、上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内の様々な変形例が含まれる。例えば、本発明は、上記の実施の形態で説明した全ての構成を備えるものに限定されず、その構成の一部を削除したものも含まれる。また、ある実施の形態に係る構成の一部を、他の実施の形態に係る構成に追加又は置換することが可能である。

また、上記では、目標姿勢画像２４，２６を生成する際に、運転者Ｍの視点位置及び視線方向と、カメラ１８Ａの取り付け位置及び光軸方向を基準としたが、現実のフロント作業機１Ａと目標姿勢画像とを共通の視点位置及び視線方向で重ね合わせることができる視点位置及び視線方向であれば、所望の視点位置及び視線方向を基準にして目標姿勢画像を生成しても構わない。

また、上記の実施形態に含まれる制御装置（例えば、表示制御装置１７Ｂ、入力制御装置１５Ｇ、コントローラ２０）に係る各構成や当該各構成の機能及び実行処理等は、それらの一部又は全部をハードウェア（例えば各機能を実行するロジックを集積回路で設計する等）で実現しても良い。また、上記の制御装置に係る構成は、演算装置（例えばＣＰＵ）によって読み出し・実行されることで当該制御装置の構成に係る各機能が実現されるプログラム（ソフトウェア）としてもよい。当該プログラムに係る情報は、例えば、半導体メモリ（フラッシュメモリ、ＳＳＤ等）、磁気記憶装置（ハードディスクドライブ等）及び記録媒体（磁気ディスク、光ディスク等）等に記憶することができる。

また、上記の各実施の形態の説明では、制御線や情報線は、当該実施の形態の説明に必要であると解されるものを示したが、必ずしも製品に係る全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えて良い。

１…油圧ショベル、１Ａ…フロント作業機、１ａ…ブーム、１ｂ…アーム、１ｃ…バケット、Ｓ１〜Ｓ３…姿勢計測装置、７…運転室、Ｍ…運転者、７ｂ…二次元マーカ、１３…フロントガラス、１５…入力装置、１５Ａ…ディスプレイ、１５ａ…機械情報入力部、１５ｂ…作業情報入力部、１６…ピラー、１７…ヘッドマウントディスプレイ、１７Ａ…カメラ、１７Ｂ…表示制御装置、１７Ｃ…演算装置、１７Ｄ…記憶装置、１７Ｅ…プロジェクタ、１７Ｆ…レンズ、１７Ｇ…ハーフミラー、１７Ｈ…通信Ｉ／Ｆ、１７ａ…モデル選択部、１７ｂ…モデル座標変換部、１７ｃ…目標姿勢画像生成部、１７ｄ…表示制御部、１７ｅ…マーカ検出部、１７ｆ…カメラ姿勢推定部、１７ｇ…モデルデータ記憶部、１７ｈ…マーカ情報記憶部、１７ｉ…内部パラメータ記憶部、１７ｊ…マーカ位置情報記憶部、１８…表示装置、１８Ａ…カメラ、２４、２６…目標姿勢画像、２５…前景画像

Claims (4)

1. 作業機械が備える作業装置に取り付けられた慣性計測装置の較正作業を支援する較正作業支援システムであって、
   前記作業機械の車格情報と前記作業装置の仕様情報とを含む機械情報を入力するための入力装置と、
   前記入力装置から入力された前記機械情報と、前記慣性計測装置を較正する際の前記作業装置の目標計測姿勢として予め定められた目標姿勢情報とに基づいて、前記目標計測姿勢をとった前記作業装置を所定の視点位置から所定の視線方向で見た場合の画像である目標姿勢画像を生成する制御装置と、
   前記制御装置で生成された前記目標姿勢画像を表示する表示装置とを備え、
   前記表示装置は、前記所定の視点位置から前記所定の視線方向で見た現実の前記作業装置に前記目標姿勢画像を重畳可能に構成されていることを特徴とする較正作業支援システム。
2. 請求項１の較正作業支援システムにおいて、
   前記表示装置は、前記作業機械に搭乗する運転者の前方に配置される透過型ディスプレイであり、
   前記所定の視点位置及び前記所定の視線方向は、前記運転者の視点位置及び視線方向であり、
   前記運転者の視点位置及び視線方向を計測する計測装置をさらに備え、
   前記制御装置は、前記入力装置から入力された前記機械情報と、前記目標姿勢情報と、前記計測装置で計測された前記運転者の視点位置及び視線方向とに基づいて、前記目標計測姿勢をとった前記作業装置を前記運転者の視点位置及び視線方向で見たときの目標姿勢画像を前記目標姿勢画像として生成することを特徴とする較正作業支援システム。
3. 請求項２の較正作業支援システムにおいて、
   前記表示装置は、前記作業機械に搭乗する運転者が装着する透過型のヘッドマウントディスプレイであり、
   前記計測装置は、前記ヘッドマウントディスプレイに搭載されたカメラであって、前記作業機械の運転室の前方に設置された二次元マーカを撮影するカメラであり、
   前記制御装置は、前記カメラの内部パラメータと、前記カメラの撮影画像上の前記二次元マーカの形状とに基づいて前記運転者の視点位置及び視線方向を演算することを特徴とする較正作業支援システム。
4. 請求項１の較正作業支援システムにおいて、
   前記所定の視点位置及び前記所定の視線方向は、前記作業機械に取り付けられたカメラの取り付け位置及び光軸方向であり、
   前記制御装置は、前記入力装置から入力された前記機械情報と、前記目標姿勢情報と、前記カメラの取り付け位置及び光軸方向とに基づいて、前記目標計測姿勢をとった前記作業装置を前記カメラで見たときの目標姿勢画像を前記目標姿勢画像として生成し、
   前記表示装置は、前記作業機械に搭乗する運転者の前方に配置されるディスプレイであり、前記カメラで撮影した前記現実の作業装置と前記目標姿勢画像を重畳表示することを特徴とする較正作業支援システム。

Images