JP2016212503A - 作業機械の運転支援画像作成方法及びシステム - Google Patents

Abstract

【課題】運転席が遮蔽材等で覆われた作業機械の作業効率を改善するための運転支援画像を作成する方法及びシステムを提供する。【解決手段】運転席１０が壁１１ａ〜１１ｄ及び天井１２で覆われた作業機械１の外面の複数の所定部位にそれぞれ広角カメラ１４ａ〜１４ｅを取り付け，運転席１０の壁１１ａ〜１１ｄ及び天井１２の内面をそれぞれモニタ１６ａ〜１６ｅで覆い，運転席１０の運転者視点を中心Ｑとする半球面Ｍを想定して各広角カメラ１４ａ〜１４ｅの画像Ｇａ〜Ｇｅを半球面Ｍ上の画像Ｎに変換して合成し，その半球面Ｍ上の画像Ｎを半球面Ｍの中心Ｑの視点から中心Ｑの周りに想定した運転席１０の壁１１及び天井１２に透視投影した運転支援画像Ｓａ〜Ｓｅに変換して対応するモニタ１６ａ〜１６ｅに表示する。【選択図】 図１

Description

本発明は作業機械の運転支援画像作成方法及びシステムに関し，特に運転席が無窓又は極小窓の壁及び天井で覆われた作業機械の運転支援画像を作成する方法及びシステムに関する。本発明は，作業機械上に搭乗した運転者が運転操作する場合，及び作業機械から離れた遠隔地点の運転者が運転操作する場合の何れにも適用することができる。

原子力発電所の事故等により放射性物質その他の危険物質が環境中に放出された場合は，被害状況の確認や汚染除去その他の作業のために，危険物質に接触・被爆しうる状況下で作業機械を運転することが求められる。ただし，運転員を危険から保護する対策が必要であり，例えば無線ヘリ等の作業機械を遠隔操作する場合に，放射線遮蔽材で囲まれた遮蔽体の内側に運転員が入って無線ヘリを運転することが提案されている（特許文献１参照）。遮蔽体には鉛入りガラスが固定された小さな窓を設けることができる。また，運転員が実際に搭乗して操作する場合に，運転席（キャビン）の全方位の壁・天井等を所要厚さの放射線遮蔽材（鋼板）で覆うと共に，遮蔽材に設けた窓に鉛入りガラスを嵌め込んだ作業機械が開発されている（非特許文献１参照）。

他方，最近は画像処理技術の発展により映像等の画像を利用した車両の運転支援システムが開発されている。例えば，図５（Ａ）に示すように車両４０の外面上の複数部位（全面，背面，左右側面等）にそれぞれ１８０度程度の画角を有する広角カメラ４２（全周魚眼カメラ）を取り付け，図５（Ｂ）に示すような状況で各カメラ４２により斜め見下ろし方向の画像Ｇを撮影し，各カメラ４２の画像Ｇから図５（Ｃ）に示すように車両４０の周囲域を上方の仮想カメラ４３（仮想視点）から鉛直下方に見下ろした俯瞰画像を作成して運転者に周囲状況を認識させるシステムが開発されている（特許文献２，３参照）。

図５（Ｄ）に示すように，広角カメラ（全周魚眼カメラ）は，その広角レンズ面（半径Ｒの仮想半球面）Ｌに写り込んだ背景面Ｂを垂直に投影することで歪んだ広角画像Ｇを撮影するものである。この広角画像Ｇ上にレンズ面Ｌの中心Ｏを原点とするｘｙ平面を想定すると，背景面Ｂ上の点Ｐｂ（Ｘ，Ｙ，Ｚ）から出た光は，レンズ面Ｌの点Ｐ１（ｘ，ｙ，ｚ）でｚ軸に平行方向に屈曲して画像Ｇ上の点Ｐ（ｘ，ｙ）として撮像される。このとき，画像Ｇ上の像点Ｐ（ｘ，ｙ）から（１）式によって半径Ｒのレンズ面Ｌ上の対応点Ｐ１（ｘ，ｙ，ｚ）の座標を算出することができる。また，画像Ｇの中心Ｏからレンズ面Ｌ上の対応点Ｐ１（ｘ，ｙ）を通り背景面Ｂ上の点Ｐｂに至る距離をＴとすると，（２）式によって背景面Ｂ上の対応点Ｐｂ（Ｘ，Ｙ，Ｚ）の座標を算出することにより，広角画像Ｇをパノラマ展開して歪みのない背景画像Ｂに補正することができる（非特許文献２参照）。この原理に基づき，図５（Ａ）の車両４０に取り付けた各広角カメラ４２の画像Ｇを背景画像Ｂに補正し，補正後の各平面画像Ｂを視点変換して合成することにより，図５（Ｃ）のような俯瞰画像を作成することができる。

特開２０１３−１１３７６３号公報 特開２００１−３３９７１６号公報 特開２００７−１８３８７７号公報

「製品紹介・放射線遮蔽キャビン付きフォークリフトの開発」三菱重工技法，第４９巻第１号，２０１２年発行，インターネット＜ｈｔｔｐ：／／ｗｗｗ．ｍｈｉ．ｃｏ．ｊｐ／ｔｅｃｈｎｏｌｏｇｙ／ｒｅｖｉｅｗ／ａｂｓｔｒａｃｔｊ−４９−１−５６．ｈｔｍｌ＞ 大山雄佑ほか「魚眼レンズを用いた自船周りの映像表示技術」日本航海学会論文集，２０１０年３月２５日，インターネット＜ｈｔｔｐ：／／ｃｉ．ｎｉｉ．ａｃ．ｊｐ／ｖｏｌ＿ｉｓｓｕｅ／ｎｅｌｓ／ＡＮ００１８８８４１／ＩＳＳ００００４５３３７８＿ｊａ．ｈｔｍｌ＞

しかし，上述した遮蔽材で運転席を覆った作業機械の運転は，運転員の視界を十分に確保することができず，作業効率が低い問題点がある。すなわち，運転席を覆う遮蔽材に設けた窓により運転者の視界を確保しているが，放射線を遮蔽するために窓は極力小さくする必要があり，視界が狭く大きな死角を生じる。このため作業機械の運転員は周辺の作業環境に注意を払いながら運転する必要があり，作業効率を低下させる原因となっている。また，窓には鉛入りガラスが嵌め込められており，外部景色の視認性が低下していることも作業効率を低下させる原因となっている。作業効率を低下させずに運転員を被爆から保護できる作業機械の開発が求められている。

これに対し，上述した画像処理システムを運転席が遮蔽材で覆われた作業機械に適用できれば，視野が狭いという欠点を画像により解決して作業効率を改善することが期待できる。ただし，例えば図１に示すような可動腕部材を有する油圧ショベル（バックホウ）等の作業機械を運転するためには，様々な方向の画像情報を総合的に判断することが不可欠であり，図５（Ｃ）のように上方から見下ろした俯瞰画像だけでは油圧ショベル等の運転を適切に支援することは困難である。また，作業機械を遠隔操作する従来の経験から，通常の運転席から見る景色と異なる画像では臨場感に欠け，作業効率の低下を避けることが難しい。作業機械の作業効率を画像によって改善するためには，通常の運転席で操作する場合と同様に臨場感のある画像を提供することが必要である。

そこで本発明の目的は，運転席が遮蔽材等で覆われた作業機械の作業効率を改善するための運転支援画像を作成する方法及びシステムを提供することにある。

図１の実施例及び図２の流れ図を参照するに，本発明による作業機械の運転支援画像作成方法は，運転席１０が壁１１ａ〜１１ｄ及び天井１２で覆われた作業機械１の外面の複数の所定部位にそれぞれ広角カメラ１４ａ〜１４ｅを取り付け，運転席１０の壁１１ａ〜１１ｄ及び天井１２の内面をそれぞれモニタ１６ａ〜１６ｅで覆い，運転席１０の運転者視点を中心Ｑとする天球面Ｍ（図３（Ａ）及び（Ｂ）参照）を想定して各広角カメラ１４ａ〜１４ｅの画像Ｇａ〜Ｇｅを天球面Ｍ上の画像Ｎに変換して合成し，その天球面Ｍ上の画像Ｎを天球面Ｍの中心Ｑの視点から中心Ｑの周りに想定した運転席１０の壁１１及び天井１２に透視投影した運転支援画像Ｓａ〜Ｓｅ（図４（Ａ）及び（Ｂ）参照）に変換して対応するモニタ１６ａ〜１６ｅに表示してなるものである。

また，図１の実施例及び図２の流れ図を参照するに，本発明による作業機械の運転支援画像作成システムは，運転席１０が壁１１ａ〜１１ｄ及び天井１２で覆われた作業機械１の外面の複数の所定部位にそれぞれ取り付ける広角カメラ１４ａ〜１４ｅ，運転席１０の壁１１ａ〜１１ｄ及び天井１２の内面をそれぞれ覆うモニタ１６ａ〜１６ｅ，並びに運転席１０の運転者視点を中心Ｑとする天球面Ｍ（図３（Ａ）及び（Ｂ）参照）を想定して各広角カメラ１４ａ〜１４ｅの画像Ｇａ〜Ｇｅを天球面Ｍ上の画像Ｎに変換して合成し，且つ，その天球面Ｍ上の画像Ｎを天球面Ｍの中心Ｑの視点から中心Ｑの周りに想定した運転席１０の壁１１及び天井１２に透視投影した運転支援画像Ｓａ〜Ｓｅ（図４（Ａ）及び（Ｂ）参照）に変換して対応するモニタ１６ａ〜１６ｅに表示する画像処理装置２０を備えてなるものである。

好ましい実施例では，図１（Ａ）及び（Ｂ）に示すように，各広角カメラ１４ａ〜１４ｅの死角に臨む作業機械１の外面の部位に死角用カメラ１８を追加的に取り付け，画像処理装置２０により死角用カメラ１８の画像Ｇｆを天球面Ｍ上の画像Ｎに変換して各広角カメラ１４ａ〜１４ｅの画像Ｇａ〜Ｇｅと合成し，モニタ１６ａ〜１６ｅに死角のない運転支援画像Ｓａ〜Ｓｅを表示する。

望ましい実施例では，図１（Ａ）及び（Ｂ）に示すように，各広角カメラ１４ａ〜１４ｅに収音マイク３１を含め，運転席１０の各モニタ１６ａ〜１６ｅにスピーカ３２を含め，画像処理装置２０により運転支援画像Ｓａ〜Ｓｅを各収音マイク３１に入力された周囲音と共に表示する。更に望ましくは，図１（Ａ）及び（Ｂ）に示すように，作業機械１の外面及び内面に温湿度計，風速・風向計又は放射線量計３６を取り付け，画像処理装置２０により運転支援画像Ｓａ〜Ｓｅを温湿度計，風速・風向計又は放射線量計３６の計測値と共に表示する。

本発明による作業機械の運転支援画像作成方法及びシステムは，運転席１０が壁１１ａ〜１１ｄ及び天井１２で覆われた作業機械１の外面の所定部位に取り付けた広角カメラ１４ａ〜１４ｅでそれぞれ画像Ｇａ〜Ｇｅを撮影し，運転席１０の運転者視点を中心Ｑとする天球面Ｍを想定して各広角カメラ１４ａ〜１４ｅの画像Ｇａ〜Ｇｅを天球面Ｍ上の画像Ｎに変換して合成し，その天球面Ｍ上の画像Ｎを天球面Ｍの中心Ｑの視点から中心Ｑの周りに想定した運転席１０の壁１１及び天井１２に透視投影した運転支援画像Ｓａ〜Ｓｅに変換し，その運転支援画像Ｓａ〜Ｓｅを運転席１０の壁１１ａ〜１１ｄ及び天井１２の内面に取り付けたモニタ１６ａ〜１６ｅに表示するので，次の効果を奏する。

（イ）運転席の外面の広角カメラ１４ａ〜１４ｅの画像Ｇａ〜Ｇｅを天球面Ｍの画像Ｎに変換して合成し，合成した天球面画像Ｎを中心の運転席の視点から透視投影して運転支援画像Ｓａ〜Ｓｅに変換するので，通常の運転席から見た場合と同様の運転支援画像Ｓａ〜Ｓｅを運転席の壁及び天井の内面モニタに表示することができる。
（ロ）通常の運転席から見た場合と同様の運転支援画像Ｓａ〜Ｓｅに基づいて運転することにより，壁及び天井で覆われた運転席の内部に広い窓がある場合と同様の臨場感を作り出し，運転席が遮蔽材等で覆われた作業機械の作業効率を改善することができる。
（ハ）遮蔽材に比して遮蔽性能が弱い運転席の窓を不要とし，運転席の壁及び天井の全体を必要な材質・寸法・厚さの放射線遮蔽材で覆うことにより，作業効率を低下させずに運転員の被爆を最小限に抑えることができる。また，窓に嵌め込む鉛入りガラス等を必要としないので，鉛入りガラスの処理に伴うコスト及び環境負荷を軽減することができる。

（ニ）通常の運転席から見た場合と同様に周囲の枠体（ピラー等）を重畳して表示することも可能であるが，視界を遮る枠体等のない運転支援画像Ｓａ〜Ｓｅを用いることにより，運転作業の効率と共に安全性を高めることができる。
（ホ）また，作業機械の死角に臨む部位に死角用カメラを取り付け，その死角用カメラの画像Ｇｆを他の広角カメラ１４ａ〜１４ｅの画像Ｇａ〜Ｇｅと合成することにより，モニタ１６ａ〜１６ｅに死角のない運転支援画像Ｓａ〜Ｓｅを表示して作業の安全性を更に高めることができる。
（ヘ）広角カメラとして赤外線カメラ，サーマルカメラ等を使用することにより，夜間等においても運転支援画像Ｓａ〜Ｓｅを作成することが可能となる。
（ト）放射性物質で汚染された状況下で稼働する作業機械だけでなく，二次災害が予想される自然災害，有害ガス中，爆弾処理・地雷除去等で稼働する作業機械にも広く適用可能であり，運転席を作業機械から離した遠隔操作システムと適宜組み合わせる方法によれば適用範囲を更に広げることもできる。

以下，添付図面を参照して本発明を実施するための形態及び実施例を説明する。
は，本発明による運転支援画像作成システムの一実施例の説明図である。 は，本発明による運転支援画像作成方法を説明する流れ図の一例である。 は，複数の広角カメラの画像Ｇａ〜Ｇｅを天球面Ｍ上の画像Ｎに変換して合成する方法の説明図である。 は，複数の広角カメラの画像Ｇａ〜Ｇｅを天球面Ｍ上の画像Ｎに変換して合成する方法の説明図である。 は，従来の映像情報を利用した自動車の運転支援システムの一例の説明図である。

図１は，放射性物質で汚染された地域・状況下で稼働する作業機械１に本発明の運転支援画像作成システムを適用した実施例を示す。図示例の作業機械１は，図１（Ａ）及び（Ｂ）に示すように，任意場所へ移動するためのキャタピラ等の走行部２と，走行部２上に３６０度旋回可能に載置された本体部３とを有し，その旋回体３の前方に運転席１０と可動腕部材６とを設けた油圧ショベル（バックホウ）である。以下，図示例の作業機械１を参照して本発明を説明するが，本発明の適用対象は図示例のような土木建築機械（いわゆる重機）に限られるわけではなく，危険物質に接触・被爆しうる状況下での運転が求められる作業機械に広く適用可能である。

図示例の作業機械１の運転席１０は，内部の運転員を外部の危険物質（この場合は放射線物質）の被爆から保護するため，図１（Ｃ）に示すように，所定配置の壁１１ａ〜１１ｄ及び天井１２によって覆われている。壁１１ａ〜１１ｄ又は天井１２に適当な大きさの窓（例えば極小窓）を設けることも可能であるが，本発明では窓を不要とする（無窓とする）ことができ，例えば壁及び天井の全体を適当な材質・寸法・厚さの窓なし放射線遮蔽材（鋼板）とすることができる。図示例の運転支援画像作成システムは，その壁１１ａ〜１１ｄ及び天井１２の各々の外面上の所定部位に取り付けた広角カメラ１４ａ〜１４ｅと，壁１１ａ〜１１ｄ及び天井１２の各々の内面をそれぞれ覆うように取り付けられたモニタ１６ａ〜１６ｅと，画像処理装置２０とを有している。

図示例の各広角カメラ１４ａ〜１４ｅは，例えば全周魚眼カメラであり，図５（Ｄ）を参照して上述したように，広角レンズ面（半径Ｒの仮想半球面）Ｌに写り込んだ背景を垂直に投影して歪んだ広角画像Ｇａ〜Ｇｅを撮影する。画角の広い広角カメラを用いることにより，最小限の台数のカメラで作業機械１の周囲の全体状況を写し取ることができる。壁１１ａ〜１１ｄ及び天井１２の各々の外面にそれぞれ１台ずつ取り付けた５台の広角カメラ１４ａ〜１４ｅによって，作業機械１を中心とする外側全方位の状況を撮影することが可能であるが，必要に応じてカメラの台数を４台以下又は６台以上としてもよい。なお，広角カメラ１４ａ〜１４ｅは，運転席１０の外面上に限らず，例えば後述する死角用カメラ１８（図１（Ａ）参照）のように，運転席１０以外の作業機械１の外面上に取り付けることもできる。

また，運転室１０の外面の広角カメラ１４ａ〜１４ｅだけでは撮影できない死角を生じる場合は，図１（Ａ）に示すように，その死角に臨む作業機械１の外面上の部位に死角用カメラ１８を追加的に取り付けることができる。図示例の死角用カメラ１８は，広角カメラ１４ａ〜１４ｅでは何れも撮影が難しい本体部３の後端部に取り付けられている。死角用カメラ１８は，上述した広角カメラ１４ａ〜１４ｅと同様に画角の広いカメラとすることができるが，死角となる範囲が撮影できれば必ずしも広角カメラでなくても足りる。運転室１０の壁１１ａ〜１１ｄ及び天井１２の外面上の広角カメラ１４ａ〜１４ｅの広角画像Ｇａ〜Ｇｅと死角用カメラ１８の画像Ｇｆとを組み合わせることにより，図示例のように可動腕部材６を有する作業機械１においても，死角の発生を避けながら作業機械１の外側全方位の状況を撮影することができる。

図示例のモニタ１６ａ〜１６ｅは，例えば運転席１０の壁１１ａ〜１１ｄ及び天井１２の内面を複数の平面部分に分割し，各平面部分に合わせた大きさ・形状のパネルモニタを組み合わせたものとすることができる。後述するように各モニタ１６ａ〜１６ｅには，外面上の広角カメラ１４ａ〜１４ｅ，１８で撮影した作業機械１の外側全方位の状況を，運転席１０内の視点から壁１１ａ〜１１ｄ及び天井１２に透視投影した運転支援画像Ｓａ〜Ｓｅとして表示する。通常は運転席１０の周囲に視界を遮る枠体（ピラー等）が存在するため，モニタ１６ａ〜１６ｅをその内側に嵌め込むか，或いは運転席１０を覆う枠体全体を取り外して新たに内側にモニタ１６ａ〜１６ｅを配置して枠体のない視野の広い運転支援画像Ｓａ〜Ｓｅを表示する。また，薄く曲面となるディスプレイ等を用いることにより，運転席１０の内側のモニタ１６ａ〜１６ｅを継ぎ目の目立たないシームレスなものとすることも可能である。

図示例の画像処理装置２０は，例えば入力バッファ２１ａ〜２１ｆ，出力バッファ２２ａ〜２２ｅ，及び記憶手段２９を有するコンピュータとすることができる。図示例の入力バッファ２１ａ〜２１ｆは，それぞれ各広角カメラ１４ａ〜１４ｅ及び死角用カメラ１８に接続されており，各カメラ１４ａ〜１４ｅ，１８の画像Ｇａ〜Ｇｅ，Ｇｆを連続的に（例えば所定時間間隔で）更新しながら取り込む。図示例の出力バッファ２２ａ〜２２ｅは，各モニタ１６ａ〜１６ｅに接続されており，画像処理装置２０で変換した運転支援画像Ｓａ〜Ｓｅを連続的に（例えば所定時間間隔で）更新しながら出力する。記憶手段２９には，各広角カメラ１４ａ〜１４ｅ，１８の画像Ｇａ〜Ｇｅ，Ｇｆを運転支援画像Ｓａ〜Ｓｅに変換するために必要なパラメータ，例えば運転席１０の壁１１ａ〜１１ｄ及び天井１２の所定配置座標，各カメラ１４ａ〜１４ｅ及びカメラ１８の所定取り付け座標，運転席１０の運転者視点の座標等を記憶する。

図示例の画像処理装置２０は，入力バッファ２１ａ〜２１ｆ，出力バッファ２２ａ〜２２ｅ，及び記憶手段２９に加えて，内蔵プログラムとして，入力バッファ２１ａ〜２１ｆから各画像Ｇａ〜Ｇｅ，Ｇｆを入力して運転席１０の運転者視点を中心Ｑとする天球面Ｍ上の画像Ｎに変換して合成する画像合成手段２５と，その天球面Ｍ上の画像Ｎを天球面Ｍの中心Ｑの視点から中心Ｑの周りに想定した運転席１０の壁１１及び天井１２に透視投影した運転支援画像Ｓａ〜Ｓｅに変換して出力バッファ２２ａ〜２２ｅに出力する画像投影手段２６とを有する。画像合成手段２５と画像投影手段２６とにより，各広角カメラ１４ａ〜１４ｅの画像Ｇａ〜Ｇｅ及び死角用カメラ１８の画像Ｇｆを運転支援画像Ｓａ〜Ｓｅに変換して各モニタ１６ａ〜１６ｅに表示することができる。

図２は，図１の画像処理装置２０による運転支援画像Ｓａ〜Ｓｅの作成手順の流れ図を示す。以下，図２の流れ図を参照して図１の画像処理装置２０の作用を説明する。図２のステップＳ１は，広角カメラ１４ａ〜１４ｅの画像Ｇａ〜Ｇｅと死角用カメラ１８の画像Ｇｆを入力バッファ２１ａ〜２１ｆに取り込み，入力バッファ２１ａ〜２１ｆを介して画像処理装置２０の画像合成手段２５に入力することを示す。ステップＳ２において，画像合成手段２５は，図３（Ａ）に示すような運転席１０の運転者視点を中心Ｑとする半径Ｒｍの天球面Ｍを想定し，図３（Ｂ）に示すように各広角画像Ｇａ〜Ｇｅ及びＧｆを入力してそれぞれ天球面Ｍ上の画像Ｎａ〜Ｎｅ及びＮｆに変換し，それらを合成して天球面画像Ｎを作成する。運転席１０の運転者視点の座標は，例えば平均的な運転者の視点座標を予め求めて記憶手段２９に記録しておくことができるが，運転者の交代に応じて適宜変更することも可能である。

図３（Ｃ）に示すように，例えば特定のカメラ１４ａの画像Ｇａの中心Ｏを原点とするｘｙ平面を天球面Ｍの内側に想定すると，その画像Ｇ上の像点Ｐ（ｘ，ｙ）から，上述した（１）式により半径Ｒのレンズ面Ｌ上の対応点Ｐ１（ｘ，ｙ，ｚ）の座標（すなわちベクトルＯＰ_１）を算出することができる。また，天球面Ｍの中心Ｑを原点とする座標系ＸＹＺにおいて，カメラ１４ａの所定取り付け座標から画像Ｇの中心Ｏの座標（Ｘｏ，Ｙｏ，Ｚｏ）（すなわちベクトルＱＯ）が定まるので，（１１）式により座標系ＸＹＺにおけるレンズ面Ｌ上の対応点Ｐ１の座標（Ｘ１，Ｙ１，Ｚ１）（すなわちベクトルＱＰ_１）を算出することができ，更に（１２）式によって天球面Ｍ上の対応点Ｐｎの座標（Ｘｎ，Ｙｎ，Ｚｎ）を算出することができる。

図３（Ｃ）は特定のカメラ１４ａの画像Ｇａを天球面Ｍ上の画像Ｎに変換する場合を示すが，他のカメラ１４ｂ〜１４ｅ，１８の画像Ｇｂ〜Ｇｅ，Ｇｆについても同様の処理を繰り返すことにより，図３（Ｂ）に示すように，各画像Ｇａ〜Ｇｅ，Ｇｆをそれぞれ一部分重ね合わせながら天球面Ｍ上の画像Ｎａ〜Ｎｅ，Nｆに変換することができる。また，各画像Ｎａ〜Ｎｅ，Nｆを重なり合う一部分が相互に一致するように適宜変形することにより，天球面Ｍ上で各画像Ｎａ〜Ｎｅ，Nｆを相互に繋いで合成することができる。すなわち，図２のステップＳ２において画像合成手段２５は，広角カメラ１４ａ〜１４ｅの広角画像Ｇａ〜Ｇｅを天球面Ｍ上の画像Ｎａ〜Ｎｅに変換して合成することにより，作業機械１の運転席１０を中心Ｑとする外側全方位の半球面状の天球面画像Ｎを作成することができる。また，死角用カメラ１８の画像Ｇｆを天球面Ｍ上の画像Ｎｆに変換して合成することにより，天球面画像Ｎを死角のない又は少ないものとすることができる。

次いで図２のステップＳ３において，画像投影手段２６により，図４（Ａ）に示すような天球面画像Ｎの中心Ｑの周りに運転席１０の壁１１ａ〜１１ｄ及び天井１２を想定し，図４（Ｂ）に示すように天球面画像Ｎを中心Ｑの視点から想定壁１１ａ〜１１ｄ及び想定天井１２に透視投影した運転支援画像Ｓａ〜Ｓｅに変換する。図４（Ａ）及び（Ｂ）は，全天球面画像Ｎを運転支援画像Ｓａ〜Ｓｅと対応する複数の部分天球面画像Ｎａ´〜Ｎｅ´に分割できることを示す。図４（Ｃ）に示すように，天球面画像Ｎの中心Ｑの周りに想定した壁１１ｂ上の透視投影点Ｐｓは，中心Ｑと天球面面画像Ｎ上の点Ｐｎとを結ぶ線分上にあり，壁１１ｂの所定配置座標に基づき中心Ｑから点Ｐｓまでの距離（すなわち｜ＱＰｓ｜）が定まるので，（１３）式により透視投影点Ｐｓの座標（Ｘｓ，Ｙｓ，Ｚｓ）を算出することができる。このような透視投影の変換式は従来技術に属する。

図４（Ｃ）は特定の壁１１ｂ上に透視投影する場合を示すが，他の壁１１ａ，１１ｃ〜１１ｄ及び天井１２についても同様の処理を繰り返すことにより，図４（Ａ）及び（Ｂ）に示すように，天球面画像Ｎを複数の部分天球面画像Ｎａ´〜Ｎｅ´に分割して運転席１０の壁１１ｂ〜１１ｄ及び天井１２上に透視投影することができる。また，図２のステップＳ３において画像投影手段２６は，作業機械１の運転席１０を中心Ｑとする外側全方位の天球面画像Ｎを，運転席１０の壁１１ａ〜１１ｄ及び天井１２に透視投影した運転支援画像Ｓａ〜Ｓｅに変換することができる。図２のステップＳ４は，変換した運転支援画像Ｓａ〜Ｓｅを出力バッファ２２ａ〜２２ｅに書き込み，出力バッファ２２ａ〜２２ｅを介して運転席１０の壁１１ａ〜１１ｄ及び天井１２に取り付けた対応するモニタ１６ａ〜１６ｅに表示することを示す。

図２のステップＳ５において画像作成を終了するか否かを判断し，継続する場合はステップＳ１へ戻って上述したステップＳ１〜Ｓ４を繰り返す。すなわち，広角カメラ１４ａ〜１４ｅの画像Ｇａ〜Ｇｅ，及び死角用カメラ１８の画像Ｇｆを連続的に（例えば所定時間間隔で）取り込み，運転支援画像Ｓａ〜Ｓｅに変換してモニタ１６ａ〜１６ｅへ連続的に（例えば所定時間間隔で）出力する。このステップＳ１〜Ｓ４の繰り返しにより，壁１１ａ〜１１ｄ及び天井１２が覆われた運転席１０の内部において，運転員の被爆を最小限に抑えつつ，通常の運転席から見た場合と同様に作業機械１の外側全方位の状況を把握することができ，運転席１０に広い窓がある場合と同様の臨場感を作り出して作業効率を改善することができる。

望ましくは，広角カメラ１４ａ〜１４ｅ又は死角用カメラ１８に収音マイク３１を含め，各収音マイク３１で集めた周囲音を画像処理装置２０に入力し，運転席１０の各モニタ１６ａ〜１６ｅにスピーカ３２を含め，画像処理装置２０によって運転支援画像Ｓａ〜Ｓｅを各方向の周囲音と共に表示する。作業機械を遠隔操作する従来の経験等から，視覚情報に現場周囲の作業音等を組み合わせて提示することにより，視覚情報のみを提示する場合よりも臨場感を高めるうることが知られている。壁１１ａ〜１１ｄ及び天井１２を介して周囲音が伝わる場合は特に必要ではないが，作業機械１の外面上の収音マイク３１で集めた周囲音と組み合わせて運転支援画像Ｓａ〜Ｓｅを表示することにより，運転支援画像Ｓａ〜Ｓｅの作り出す臨場感を高めることが期待できる。

こうして本発明の目的である「運転席が遮蔽材等で覆われた作業機械の作業効率を改善するための運転支援画像を作成する方法及びシステム」を提供することができる。

なお，図１の実施例では，広角カメラ１４ａ〜１４ｅ及び死角用カメラ１８により可視光下で画像Ｇａ〜Ｇｅ，Ｇｆを撮影しているが，そのような可視光式のカメラに代えて又は加えて，赤外線カメラ，サーマルカメラ等を広角カメラ１４ａ〜１４ｅ及び死角用カメラ１８として使用することも可能である。赤外線カメラ等の画像Ｇａ〜Ｇｅ，Ｇｆを運転支援画像Ｓａ〜Ｓｅに変換してモニタ１６ａ〜１６ｅに表示することにより，例えば夜間等における作業機械１の運転を支援することができる。また，例えば高熱の危険物質が存在する状況下において，赤外線カメラ等を用いた運転支援画像Ｓａ〜Ｓｅにより，可視光下では検出が難しい危険を分かりやすく表示することも期待できる。

また，本発明の運転支援画像作成システムは，運転席１０を覆う壁１１ａ〜１１ｄ及び天井１２に窓その他の開口を設ける必要がないので，図１のような放射性物質で汚染された地域・状況下での使用に代えて，二次災害が予想される自然災害の被災地域・状況，又は有害ガスで汚染された地域・状況下で運転する作業機械１に適用することも有効である。運転席１０を覆う壁１１ａ〜１１ｄ及び天井１２の接合部分を密着させ，運転席１０の内側を外部から密閉された空間とすることができる。また，壁１１ａ〜１１ｄ及び天井１２を衝撃に耐えられる強度とすることにより，本発明の運転支援画像作成システムを，爆弾処理・地雷除去等を目的として運転する作業機械１に適用することも有効である。

壁１１ａ〜１１ｄ及び天井１２で覆われた運転席１０が密閉空間となる場合は，必要に応じて，図１（Ａ）及び（Ｂ）に示すように作業機械１の外面及び内面に温湿度計，風速・風向計，又は放射線量計３６を取り付け，運転作業上必要となる機外環境及び機内環境を適宜測定して運転者に知らせることが望ましい。この場合は，温湿度計，風速・風向計，又は放射線量計３６の計測値を画像処理装置２０に入力し，その計測値を画像処理装置２０によって運転支援画像Ｓａ〜Ｓｅと共にモニタ１６ａ〜１６ｅに表示することができる。画像処理装置２０の記憶手段２９に計測値の適正範囲を記憶しておき，計測値の異常が検出されたときはモニタ１６ａ〜１６ｅに警報を表示することも可能である。また，運転席１０に無線伝送手段又は有線伝送手段を設け，温湿度計，風速・風向計，又は放射線量計３６の計測値を遠隔地点の管理者に転送することも可能である。

図１の実施例では壁１１ａ〜１１ｄ及び天井１２で覆われた作業機械１の運転席１０の内側に運転員が搭乗して作業機械１を運転しているが，図１（Ｃ）に示す画像処理装置２０と作業機械１の外面上の広角カメラ１４ａ〜１４ｅ，１８との間に無線伝送手段又は有線伝送手段を設けることにより，作業機械１から離れた遠隔操作地点の遠隔操作運転室１０に本発明の運転支援画像作成システムを適用することも可能である。すなわち，作業機械１の外面にそれぞれ広角カメラ１４ａ〜１４ｅ及び死角用カメラ１８を取り付け，作業機械１から離れた遠隔操作地点の遠隔操作運転室１０の壁及び天井の内面をモニタ１６ａ〜１６ｅで覆うと共に画像処理装置２０を設置し，作業機械１上の各カメラ１４ａ〜１４ｅ，１８の画像Ｇａ〜Ｇｅ，Ｇｆを遠隔操作運転室１０の画像処理装置２０に無線伝送又は有線伝送する。この場合も，画像処理装置２０は，図２の流れ図に従って画像Ｇａ〜Ｇｅ，Ｇｆを運転支援画像Ｓａ〜Ｓｅに変換して遠隔操作運転室１０のモニタ１６ａ〜１６ｅに表示することができる。本発明の運転支援画像Ｓａ〜Ｓｅに基づいて作業機械１を遠隔操作することにより，運転席に搭乗している場合と同様の臨場感を作り出することができ，従来の遠隔操作に比して作業効率を改善することが期待できる。

１…作業機械 ２…走行部
３…本体部 ５…可動腕部材
１０…運転席 １１ａ〜１１ｄ…窓なし壁（遮蔽材）
１２…窓なし天井（遮蔽材） １４ａ〜１４ｅ…広角カメラ
１６ａ〜１６ｅ…モニタ １８…死角用カメラ
２０…画像処理装置（コンピュータ）
２１ａ〜２１ｆ…入力バッファ ２２ａ〜２２ｅ…出力バッファ
２５…画像合成手段 ２６…画像投影手段
２９…記憶手段
３１…収音マイク ３２…スピーカ
３６…温湿度計，風速・風向計又は放射線量計
４０…車両（自動車） ４２…広角カメラ
４３…仮想カメラ
Ｌ…仮想広角レンズ面（半球面）
Ｒ…広角レンズ面の半径
Ｇ…広角画像（撮像面）
Ｔ…広角画像Ｇと背景面Ｂとの距離
Ｇａ〜Ｇｅ…広角カメラ１４ａ〜１４ｅの撮像する画像
Ｇｆ…死角カメラ１８の撮影する画像
Ｂ…背景画像（背景面）
Ｏ…撮像中心
Ｍ…天球面（変換面）
Ｑ…天球面中心（運転者視点）
Ｎ…天球面Ｍ上の全天球面画像
Ｎａ〜Ｎｆ…天球面Ｍ上の変換画像
Ｎａ´〜Ｎｅ´…天球面画像Ｎを分割した部分天球面画像
Ｓａ〜Ｓｅ…運転支援画像（透視投影画像）
Ｐ…広角画像（撮像面）Ｇ上の像座標
Ｐ１…仮想広角レンズ面（半球面）Ｌ上の像座標
Ｐｂ，Ｐｎ…変換像座標
Ｐｓ…透視投影像座標

Claims (10)

1. 運転席が壁及び天井で覆われた作業機械の外面の複数の所定部位にそれぞれ広角カメラを取り付け，前記運転席の壁及び天井の内面をそれぞれモニタで覆い，前記運転席の運転者視点を中心とする天球面を想定して前記各広角カメラの画像を当該天球面上の画像に変換して合成し，前記天球面上の画像を当該天球面の中心の視点から当該中心周りに想定した運転席の壁及び天井に透視投影した運転支援画像に変換して対応する前記モニタに表示してなる作業機械の運転支援画像作成方法。
2. 請求項１の方法において，前記各広角カメラの死角に臨む作業機械の外面の部位に死角用カメラを追加的に取り付け，前記死角用カメラの画像を前記天球面上の画像に変換して各広角カメラの画像と合成し，前記モニタに死角のない運転支援画像を表示してなる作業機械の運転支援画像作成方法。
3. 請求項１又は２の方法において，前記各広角カメラに収音マイクを含め，前記運転席の各モニタにスピーカを含め，前記運転支援画像を各収音マイクに入力された周囲音と共に表示してなる作業機械の運転支援画像作成方法。
4. 請求項１から３の何れかの方法において，前記作業機械の外面及び内面に温湿度計，風速・風向計又は放射線量計を取り付け，前記運転支援画像を温湿度計，風速・風向計又は放射線量計の計測値と共に表示してなる作業機械の運転支援画像作成方法。
5. 運転席が壁及び天井で覆われた作業機械の外面の複数の所定部位にそれぞれ取り付ける広角カメラ，前記運転席の壁及び天井の内面をそれぞれ覆うモニタ，並びに前記運転席の運転者視点を中心とする天球面を想定して前記各広角カメラの画像を当該天球面上の画像に変換して合成し，且つ，前記天球面上の画像を当該天球面中心の視点から当該中心周りに想定した運転席の壁及び天井に透視投影した運転支援画像に変換して対応する前記モニタに表示する画像処理装置を備えてなる作業機械の運転支援画像作成システム。
6. 請求項５のシステムにおいて，前記各広角カメラの死角に臨む作業機械の外面の部位に死角用カメラを追加的に取り付け，前記画像処理装置により前記死角用カメラの画像を前記天球面上の画像に変換して各広角カメラの画像と合成し，前記モニタに死角のない運転支援画像を表示してなる作業機械の運転支援画像作成システム。
7. 請求項５又は６のシステムにおいて，前記各広角カメラに収音マイクを含め，前記運転席の各モニタにスピーカを含め，前記画像処理装置により前記運転支援画像を各収音マイクに入力された周囲音と共に表示してなる作業機械の運転支援画像作成システム。
8. 請求項５から７の何れかのシステムにおいて，前記作業機械の外面及び内面に温湿度計，風速・風向計又は放射線量計を取り付け，前記画像処理装置により前記運転支援画像を温湿度計，風速・風向計又は放射線量計の計測値と共に表示してなる作業機械の運転支援画像作成システム。
9. 請求項５から８の何れかのシステムにおいて，前記作業機械の運転席の壁及び天井をそれぞれ窓のない放射線遮蔽材としてなる作業機械の運転支援画像作成システム。
10. 請求項５から８の何れかのシステムにおいて，前記作業機械から離れた遠隔操作地点に壁及び天井がモニタで覆われた遠隔操作運転室と前記画像処理装置とを設け，前記広角カメラと前記画像処理装置との間に無線又は有線伝送手段を設け，前記画像処理装置により前記運転支援画像を前記遠隔操作運転室のモニタに表示してなる作業機械の運転支援画像作成システム。