JP2016212503A - 作業機械の運転支援画像作成方法及びシステム - Google Patents
作業機械の運転支援画像作成方法及びシステム Download PDFInfo
- Publication number
- JP2016212503A JP2016212503A JP2015093118A JP2015093118A JP2016212503A JP 2016212503 A JP2016212503 A JP 2016212503A JP 2015093118 A JP2015093118 A JP 2015093118A JP 2015093118 A JP2015093118 A JP 2015093118A JP 2016212503 A JP2016212503 A JP 2016212503A
- Authority
- JP
- Japan
- Prior art keywords
- image
- driver
- seat
- work machine
- wide
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 239000000463 material Substances 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims description 31
- 230000005855 radiation Effects 0.000 claims description 17
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 5
- 239000000872 buffer Substances 0.000 description 14
- 230000002194 synthesizing effect Effects 0.000 description 6
- 239000011521 glass Substances 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000000941 radioactive substance Substances 0.000 description 3
- 240000004050 Pentaglottis sempervirens Species 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000007789 gas Substances 0.000 description 2
- 239000000383 hazardous chemical Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000012857 radioactive material Substances 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000849798 Nita Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005202 decontamination Methods 0.000 description 1
- 230000003588 decontaminative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Landscapes
- Component Parts Of Construction Machinery (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】運転席が遮蔽材等で覆われた作業機械の作業効率を改善するための運転支援画像を作成する方法及びシステムを提供する。【解決手段】運転席10が壁11a〜11d及び天井12で覆われた作業機械1の外面の複数の所定部位にそれぞれ広角カメラ14a〜14eを取り付け,運転席10の壁11a〜11d及び天井12の内面をそれぞれモニタ16a〜16eで覆い,運転席10の運転者視点を中心Qとする半球面Mを想定して各広角カメラ14a〜14eの画像Ga〜Geを半球面M上の画像Nに変換して合成し,その半球面M上の画像Nを半球面Mの中心Qの視点から中心Qの周りに想定した運転席10の壁11及び天井12に透視投影した運転支援画像Sa〜Seに変換して対応するモニタ16a〜16eに表示する。【選択図】 図1
Description
本発明は作業機械の運転支援画像作成方法及びシステムに関し,特に運転席が無窓又は極小窓の壁及び天井で覆われた作業機械の運転支援画像を作成する方法及びシステムに関する。本発明は,作業機械上に搭乗した運転者が運転操作する場合,及び作業機械から離れた遠隔地点の運転者が運転操作する場合の何れにも適用することができる。
原子力発電所の事故等により放射性物質その他の危険物質が環境中に放出された場合は,被害状況の確認や汚染除去その他の作業のために,危険物質に接触・被爆しうる状況下で作業機械を運転することが求められる。ただし,運転員を危険から保護する対策が必要であり,例えば無線ヘリ等の作業機械を遠隔操作する場合に,放射線遮蔽材で囲まれた遮蔽体の内側に運転員が入って無線ヘリを運転することが提案されている(特許文献1参照)。遮蔽体には鉛入りガラスが固定された小さな窓を設けることができる。また,運転員が実際に搭乗して操作する場合に,運転席(キャビン)の全方位の壁・天井等を所要厚さの放射線遮蔽材(鋼板)で覆うと共に,遮蔽材に設けた窓に鉛入りガラスを嵌め込んだ作業機械が開発されている(非特許文献1参照)。
他方,最近は画像処理技術の発展により映像等の画像を利用した車両の運転支援システムが開発されている。例えば,図5(A)に示すように車両40の外面上の複数部位(全面,背面,左右側面等)にそれぞれ180度程度の画角を有する広角カメラ42(全周魚眼カメラ)を取り付け,図5(B)に示すような状況で各カメラ42により斜め見下ろし方向の画像Gを撮影し,各カメラ42の画像Gから図5(C)に示すように車両40の周囲域を上方の仮想カメラ43(仮想視点)から鉛直下方に見下ろした俯瞰画像を作成して運転者に周囲状況を認識させるシステムが開発されている(特許文献2,3参照)。
図5(D)に示すように,広角カメラ(全周魚眼カメラ)は,その広角レンズ面(半径Rの仮想半球面)Lに写り込んだ背景面Bを垂直に投影することで歪んだ広角画像Gを撮影するものである。この広角画像G上にレンズ面Lの中心Oを原点とするxy平面を想定すると,背景面B上の点Pb(X,Y,Z)から出た光は,レンズ面Lの点P1(x,y,z)でz軸に平行方向に屈曲して画像G上の点P(x,y)として撮像される。このとき,画像G上の像点P(x,y)から(1)式によって半径Rのレンズ面L上の対応点P1(x,y,z)の座標を算出することができる。また,画像Gの中心Oからレンズ面L上の対応点P1(x,y)を通り背景面B上の点Pbに至る距離をTとすると,(2)式によって背景面B上の対応点Pb(X,Y,Z)の座標を算出することにより,広角画像Gをパノラマ展開して歪みのない背景画像Bに補正することができる(非特許文献2参照)。この原理に基づき,図5(A)の車両40に取り付けた各広角カメラ42の画像Gを背景画像Bに補正し,補正後の各平面画像Bを視点変換して合成することにより,図5(C)のような俯瞰画像を作成することができる。
「製品紹介・放射線遮蔽キャビン付きフォークリフトの開発」三菱重工技法,第49巻第1号,2012年発行,インターネット<http://www.mhi.co.jp/technology/review/abstractj−49−1−56.html>
大山雄佑ほか「魚眼レンズを用いた自船周りの映像表示技術」日本航海学会論文集,2010年3月25日,インターネット<http://ci.nii.ac.jp/vol_issue/nels/AN00188841/ISS0000453378_ja.html>
しかし,上述した遮蔽材で運転席を覆った作業機械の運転は,運転員の視界を十分に確保することができず,作業効率が低い問題点がある。すなわち,運転席を覆う遮蔽材に設けた窓により運転者の視界を確保しているが,放射線を遮蔽するために窓は極力小さくする必要があり,視界が狭く大きな死角を生じる。このため作業機械の運転員は周辺の作業環境に注意を払いながら運転する必要があり,作業効率を低下させる原因となっている。また,窓には鉛入りガラスが嵌め込められており,外部景色の視認性が低下していることも作業効率を低下させる原因となっている。作業効率を低下させずに運転員を被爆から保護できる作業機械の開発が求められている。
これに対し,上述した画像処理システムを運転席が遮蔽材で覆われた作業機械に適用できれば,視野が狭いという欠点を画像により解決して作業効率を改善することが期待できる。ただし,例えば図1に示すような可動腕部材を有する油圧ショベル(バックホウ)等の作業機械を運転するためには,様々な方向の画像情報を総合的に判断することが不可欠であり,図5(C)のように上方から見下ろした俯瞰画像だけでは油圧ショベル等の運転を適切に支援することは困難である。また,作業機械を遠隔操作する従来の経験から,通常の運転席から見る景色と異なる画像では臨場感に欠け,作業効率の低下を避けることが難しい。作業機械の作業効率を画像によって改善するためには,通常の運転席で操作する場合と同様に臨場感のある画像を提供することが必要である。
そこで本発明の目的は,運転席が遮蔽材等で覆われた作業機械の作業効率を改善するための運転支援画像を作成する方法及びシステムを提供することにある。
図1の実施例及び図2の流れ図を参照するに,本発明による作業機械の運転支援画像作成方法は,運転席10が壁11a〜11d及び天井12で覆われた作業機械1の外面の複数の所定部位にそれぞれ広角カメラ14a〜14eを取り付け,運転席10の壁11a〜11d及び天井12の内面をそれぞれモニタ16a〜16eで覆い,運転席10の運転者視点を中心Qとする天球面M(図3(A)及び(B)参照)を想定して各広角カメラ14a〜14eの画像Ga〜Geを天球面M上の画像Nに変換して合成し,その天球面M上の画像Nを天球面Mの中心Qの視点から中心Qの周りに想定した運転席10の壁11及び天井12に透視投影した運転支援画像Sa〜Se(図4(A)及び(B)参照)に変換して対応するモニタ16a〜16eに表示してなるものである。
また,図1の実施例及び図2の流れ図を参照するに,本発明による作業機械の運転支援画像作成システムは,運転席10が壁11a〜11d及び天井12で覆われた作業機械1の外面の複数の所定部位にそれぞれ取り付ける広角カメラ14a〜14e,運転席10の壁11a〜11d及び天井12の内面をそれぞれ覆うモニタ16a〜16e,並びに運転席10の運転者視点を中心Qとする天球面M(図3(A)及び(B)参照)を想定して各広角カメラ14a〜14eの画像Ga〜Geを天球面M上の画像Nに変換して合成し,且つ,その天球面M上の画像Nを天球面Mの中心Qの視点から中心Qの周りに想定した運転席10の壁11及び天井12に透視投影した運転支援画像Sa〜Se(図4(A)及び(B)参照)に変換して対応するモニタ16a〜16eに表示する画像処理装置20を備えてなるものである。
好ましい実施例では,図1(A)及び(B)に示すように,各広角カメラ14a〜14eの死角に臨む作業機械1の外面の部位に死角用カメラ18を追加的に取り付け,画像処理装置20により死角用カメラ18の画像Gfを天球面M上の画像Nに変換して各広角カメラ14a〜14eの画像Ga〜Geと合成し,モニタ16a〜16eに死角のない運転支援画像Sa〜Seを表示する。
望ましい実施例では,図1(A)及び(B)に示すように,各広角カメラ14a〜14eに収音マイク31を含め,運転席10の各モニタ16a〜16eにスピーカ32を含め,画像処理装置20により運転支援画像Sa〜Seを各収音マイク31に入力された周囲音と共に表示する。更に望ましくは,図1(A)及び(B)に示すように,作業機械1の外面及び内面に温湿度計,風速・風向計又は放射線量計36を取り付け,画像処理装置20により運転支援画像Sa〜Seを温湿度計,風速・風向計又は放射線量計36の計測値と共に表示する。
本発明による作業機械の運転支援画像作成方法及びシステムは,運転席10が壁11a〜11d及び天井12で覆われた作業機械1の外面の所定部位に取り付けた広角カメラ14a〜14eでそれぞれ画像Ga〜Geを撮影し,運転席10の運転者視点を中心Qとする天球面Mを想定して各広角カメラ14a〜14eの画像Ga〜Geを天球面M上の画像Nに変換して合成し,その天球面M上の画像Nを天球面Mの中心Qの視点から中心Qの周りに想定した運転席10の壁11及び天井12に透視投影した運転支援画像Sa〜Seに変換し,その運転支援画像Sa〜Seを運転席10の壁11a〜11d及び天井12の内面に取り付けたモニタ16a〜16eに表示するので,次の効果を奏する。
(イ)運転席の外面の広角カメラ14a〜14eの画像Ga〜Geを天球面Mの画像Nに変換して合成し,合成した天球面画像Nを中心の運転席の視点から透視投影して運転支援画像Sa〜Seに変換するので,通常の運転席から見た場合と同様の運転支援画像Sa〜Seを運転席の壁及び天井の内面モニタに表示することができる。
(ロ)通常の運転席から見た場合と同様の運転支援画像Sa〜Seに基づいて運転することにより,壁及び天井で覆われた運転席の内部に広い窓がある場合と同様の臨場感を作り出し,運転席が遮蔽材等で覆われた作業機械の作業効率を改善することができる。
(ハ)遮蔽材に比して遮蔽性能が弱い運転席の窓を不要とし,運転席の壁及び天井の全体を必要な材質・寸法・厚さの放射線遮蔽材で覆うことにより,作業効率を低下させずに運転員の被爆を最小限に抑えることができる。また,窓に嵌め込む鉛入りガラス等を必要としないので,鉛入りガラスの処理に伴うコスト及び環境負荷を軽減することができる。
(ロ)通常の運転席から見た場合と同様の運転支援画像Sa〜Seに基づいて運転することにより,壁及び天井で覆われた運転席の内部に広い窓がある場合と同様の臨場感を作り出し,運転席が遮蔽材等で覆われた作業機械の作業効率を改善することができる。
(ハ)遮蔽材に比して遮蔽性能が弱い運転席の窓を不要とし,運転席の壁及び天井の全体を必要な材質・寸法・厚さの放射線遮蔽材で覆うことにより,作業効率を低下させずに運転員の被爆を最小限に抑えることができる。また,窓に嵌め込む鉛入りガラス等を必要としないので,鉛入りガラスの処理に伴うコスト及び環境負荷を軽減することができる。
(ニ)通常の運転席から見た場合と同様に周囲の枠体(ピラー等)を重畳して表示することも可能であるが,視界を遮る枠体等のない運転支援画像Sa〜Seを用いることにより,運転作業の効率と共に安全性を高めることができる。
(ホ)また,作業機械の死角に臨む部位に死角用カメラを取り付け,その死角用カメラの画像Gfを他の広角カメラ14a〜14eの画像Ga〜Geと合成することにより,モニタ16a〜16eに死角のない運転支援画像Sa〜Seを表示して作業の安全性を更に高めることができる。
(ヘ)広角カメラとして赤外線カメラ,サーマルカメラ等を使用することにより,夜間等においても運転支援画像Sa〜Seを作成することが可能となる。
(ト)放射性物質で汚染された状況下で稼働する作業機械だけでなく,二次災害が予想される自然災害,有害ガス中,爆弾処理・地雷除去等で稼働する作業機械にも広く適用可能であり,運転席を作業機械から離した遠隔操作システムと適宜組み合わせる方法によれば適用範囲を更に広げることもできる。
(ホ)また,作業機械の死角に臨む部位に死角用カメラを取り付け,その死角用カメラの画像Gfを他の広角カメラ14a〜14eの画像Ga〜Geと合成することにより,モニタ16a〜16eに死角のない運転支援画像Sa〜Seを表示して作業の安全性を更に高めることができる。
(ヘ)広角カメラとして赤外線カメラ,サーマルカメラ等を使用することにより,夜間等においても運転支援画像Sa〜Seを作成することが可能となる。
(ト)放射性物質で汚染された状況下で稼働する作業機械だけでなく,二次災害が予想される自然災害,有害ガス中,爆弾処理・地雷除去等で稼働する作業機械にも広く適用可能であり,運転席を作業機械から離した遠隔操作システムと適宜組み合わせる方法によれば適用範囲を更に広げることもできる。
以下,添付図面を参照して本発明を実施するための形態及び実施例を説明する。
は,本発明による運転支援画像作成システムの一実施例の説明図である。
は,本発明による運転支援画像作成方法を説明する流れ図の一例である。
は,複数の広角カメラの画像Ga〜Geを天球面M上の画像Nに変換して合成する方法の説明図である。
は,複数の広角カメラの画像Ga〜Geを天球面M上の画像Nに変換して合成する方法の説明図である。
は,従来の映像情報を利用した自動車の運転支援システムの一例の説明図である。
図1は,放射性物質で汚染された地域・状況下で稼働する作業機械1に本発明の運転支援画像作成システムを適用した実施例を示す。図示例の作業機械1は,図1(A)及び(B)に示すように,任意場所へ移動するためのキャタピラ等の走行部2と,走行部2上に360度旋回可能に載置された本体部3とを有し,その旋回体3の前方に運転席10と可動腕部材6とを設けた油圧ショベル(バックホウ)である。以下,図示例の作業機械1を参照して本発明を説明するが,本発明の適用対象は図示例のような土木建築機械(いわゆる重機)に限られるわけではなく,危険物質に接触・被爆しうる状況下での運転が求められる作業機械に広く適用可能である。
図示例の作業機械1の運転席10は,内部の運転員を外部の危険物質(この場合は放射線物質)の被爆から保護するため,図1(C)に示すように,所定配置の壁11a〜11d及び天井12によって覆われている。壁11a〜11d又は天井12に適当な大きさの窓(例えば極小窓)を設けることも可能であるが,本発明では窓を不要とする(無窓とする)ことができ,例えば壁及び天井の全体を適当な材質・寸法・厚さの窓なし放射線遮蔽材(鋼板)とすることができる。図示例の運転支援画像作成システムは,その壁11a〜11d及び天井12の各々の外面上の所定部位に取り付けた広角カメラ14a〜14eと,壁11a〜11d及び天井12の各々の内面をそれぞれ覆うように取り付けられたモニタ16a〜16eと,画像処理装置20とを有している。
図示例の各広角カメラ14a〜14eは,例えば全周魚眼カメラであり,図5(D)を参照して上述したように,広角レンズ面(半径Rの仮想半球面)Lに写り込んだ背景を垂直に投影して歪んだ広角画像Ga〜Geを撮影する。画角の広い広角カメラを用いることにより,最小限の台数のカメラで作業機械1の周囲の全体状況を写し取ることができる。壁11a〜11d及び天井12の各々の外面にそれぞれ1台ずつ取り付けた5台の広角カメラ14a〜14eによって,作業機械1を中心とする外側全方位の状況を撮影することが可能であるが,必要に応じてカメラの台数を4台以下又は6台以上としてもよい。なお,広角カメラ14a〜14eは,運転席10の外面上に限らず,例えば後述する死角用カメラ18(図1(A)参照)のように,運転席10以外の作業機械1の外面上に取り付けることもできる。
また,運転室10の外面の広角カメラ14a〜14eだけでは撮影できない死角を生じる場合は,図1(A)に示すように,その死角に臨む作業機械1の外面上の部位に死角用カメラ18を追加的に取り付けることができる。図示例の死角用カメラ18は,広角カメラ14a〜14eでは何れも撮影が難しい本体部3の後端部に取り付けられている。死角用カメラ18は,上述した広角カメラ14a〜14eと同様に画角の広いカメラとすることができるが,死角となる範囲が撮影できれば必ずしも広角カメラでなくても足りる。運転室10の壁11a〜11d及び天井12の外面上の広角カメラ14a〜14eの広角画像Ga〜Geと死角用カメラ18の画像Gfとを組み合わせることにより,図示例のように可動腕部材6を有する作業機械1においても,死角の発生を避けながら作業機械1の外側全方位の状況を撮影することができる。
図示例のモニタ16a〜16eは,例えば運転席10の壁11a〜11d及び天井12の内面を複数の平面部分に分割し,各平面部分に合わせた大きさ・形状のパネルモニタを組み合わせたものとすることができる。後述するように各モニタ16a〜16eには,外面上の広角カメラ14a〜14e,18で撮影した作業機械1の外側全方位の状況を,運転席10内の視点から壁11a〜11d及び天井12に透視投影した運転支援画像Sa〜Seとして表示する。通常は運転席10の周囲に視界を遮る枠体(ピラー等)が存在するため,モニタ16a〜16eをその内側に嵌め込むか,或いは運転席10を覆う枠体全体を取り外して新たに内側にモニタ16a〜16eを配置して枠体のない視野の広い運転支援画像Sa〜Seを表示する。また,薄く曲面となるディスプレイ等を用いることにより,運転席10の内側のモニタ16a〜16eを継ぎ目の目立たないシームレスなものとすることも可能である。
図示例の画像処理装置20は,例えば入力バッファ21a〜21f,出力バッファ22a〜22e,及び記憶手段29を有するコンピュータとすることができる。図示例の入力バッファ21a〜21fは,それぞれ各広角カメラ14a〜14e及び死角用カメラ18に接続されており,各カメラ14a〜14e,18の画像Ga〜Ge,Gfを連続的に(例えば所定時間間隔で)更新しながら取り込む。図示例の出力バッファ22a〜22eは,各モニタ16a〜16eに接続されており,画像処理装置20で変換した運転支援画像Sa〜Seを連続的に(例えば所定時間間隔で)更新しながら出力する。記憶手段29には,各広角カメラ14a〜14e,18の画像Ga〜Ge,Gfを運転支援画像Sa〜Seに変換するために必要なパラメータ,例えば運転席10の壁11a〜11d及び天井12の所定配置座標,各カメラ14a〜14e及びカメラ18の所定取り付け座標,運転席10の運転者視点の座標等を記憶する。
図示例の画像処理装置20は,入力バッファ21a〜21f,出力バッファ22a〜22e,及び記憶手段29に加えて,内蔵プログラムとして,入力バッファ21a〜21fから各画像Ga〜Ge,Gfを入力して運転席10の運転者視点を中心Qとする天球面M上の画像Nに変換して合成する画像合成手段25と,その天球面M上の画像Nを天球面Mの中心Qの視点から中心Qの周りに想定した運転席10の壁11及び天井12に透視投影した運転支援画像Sa〜Seに変換して出力バッファ22a〜22eに出力する画像投影手段26とを有する。画像合成手段25と画像投影手段26とにより,各広角カメラ14a〜14eの画像Ga〜Ge及び死角用カメラ18の画像Gfを運転支援画像Sa〜Seに変換して各モニタ16a〜16eに表示することができる。
図2は,図1の画像処理装置20による運転支援画像Sa〜Seの作成手順の流れ図を示す。以下,図2の流れ図を参照して図1の画像処理装置20の作用を説明する。図2のステップS1は,広角カメラ14a〜14eの画像Ga〜Geと死角用カメラ18の画像Gfを入力バッファ21a〜21fに取り込み,入力バッファ21a〜21fを介して画像処理装置20の画像合成手段25に入力することを示す。ステップS2において,画像合成手段25は,図3(A)に示すような運転席10の運転者視点を中心Qとする半径Rmの天球面Mを想定し,図3(B)に示すように各広角画像Ga〜Ge及びGfを入力してそれぞれ天球面M上の画像Na〜Ne及びNfに変換し,それらを合成して天球面画像Nを作成する。運転席10の運転者視点の座標は,例えば平均的な運転者の視点座標を予め求めて記憶手段29に記録しておくことができるが,運転者の交代に応じて適宜変更することも可能である。
図3(C)に示すように,例えば特定のカメラ14aの画像Gaの中心Oを原点とするxy平面を天球面Mの内側に想定すると,その画像G上の像点P(x,y)から,上述した(1)式により半径Rのレンズ面L上の対応点P1(x,y,z)の座標(すなわちベクトルOP1)を算出することができる。また,天球面Mの中心Qを原点とする座標系XYZにおいて,カメラ14aの所定取り付け座標から画像Gの中心Oの座標(Xo,Yo,Zo)(すなわちベクトルQO)が定まるので,(11)式により座標系XYZにおけるレンズ面L上の対応点P1の座標(X1,Y1,Z1)(すなわちベクトルQP1)を算出することができ,更に(12)式によって天球面M上の対応点Pnの座標(Xn,Yn,Zn)を算出することができる。
図3(C)は特定のカメラ14aの画像Gaを天球面M上の画像Nに変換する場合を示すが,他のカメラ14b〜14e,18の画像Gb〜Ge,Gfについても同様の処理を繰り返すことにより,図3(B)に示すように,各画像Ga〜Ge,Gfをそれぞれ一部分重ね合わせながら天球面M上の画像Na〜Ne,Nfに変換することができる。また,各画像Na〜Ne,Nfを重なり合う一部分が相互に一致するように適宜変形することにより,天球面M上で各画像Na〜Ne,Nfを相互に繋いで合成することができる。すなわち,図2のステップS2において画像合成手段25は,広角カメラ14a〜14eの広角画像Ga〜Geを天球面M上の画像Na〜Neに変換して合成することにより,作業機械1の運転席10を中心Qとする外側全方位の半球面状の天球面画像Nを作成することができる。また,死角用カメラ18の画像Gfを天球面M上の画像Nfに変換して合成することにより,天球面画像Nを死角のない又は少ないものとすることができる。
次いで図2のステップS3において,画像投影手段26により,図4(A)に示すような天球面画像Nの中心Qの周りに運転席10の壁11a〜11d及び天井12を想定し,図4(B)に示すように天球面画像Nを中心Qの視点から想定壁11a〜11d及び想定天井12に透視投影した運転支援画像Sa〜Seに変換する。図4(A)及び(B)は,全天球面画像Nを運転支援画像Sa〜Seと対応する複数の部分天球面画像Na´〜Ne´に分割できることを示す。図4(C)に示すように,天球面画像Nの中心Qの周りに想定した壁11b上の透視投影点Psは,中心Qと天球面面画像N上の点Pnとを結ぶ線分上にあり,壁11bの所定配置座標に基づき中心Qから点Psまでの距離(すなわち|QPs|)が定まるので,(13)式により透視投影点Psの座標(Xs,Ys,Zs)を算出することができる。このような透視投影の変換式は従来技術に属する。
図4(C)は特定の壁11b上に透視投影する場合を示すが,他の壁11a,11c〜11d及び天井12についても同様の処理を繰り返すことにより,図4(A)及び(B)に示すように,天球面画像Nを複数の部分天球面画像Na´〜Ne´に分割して運転席10の壁11b〜11d及び天井12上に透視投影することができる。また,図2のステップS3において画像投影手段26は,作業機械1の運転席10を中心Qとする外側全方位の天球面画像Nを,運転席10の壁11a〜11d及び天井12に透視投影した運転支援画像Sa〜Seに変換することができる。図2のステップS4は,変換した運転支援画像Sa〜Seを出力バッファ22a〜22eに書き込み,出力バッファ22a〜22eを介して運転席10の壁11a〜11d及び天井12に取り付けた対応するモニタ16a〜16eに表示することを示す。
図2のステップS5において画像作成を終了するか否かを判断し,継続する場合はステップS1へ戻って上述したステップS1〜S4を繰り返す。すなわち,広角カメラ14a〜14eの画像Ga〜Ge,及び死角用カメラ18の画像Gfを連続的に(例えば所定時間間隔で)取り込み,運転支援画像Sa〜Seに変換してモニタ16a〜16eへ連続的に(例えば所定時間間隔で)出力する。このステップS1〜S4の繰り返しにより,壁11a〜11d及び天井12が覆われた運転席10の内部において,運転員の被爆を最小限に抑えつつ,通常の運転席から見た場合と同様に作業機械1の外側全方位の状況を把握することができ,運転席10に広い窓がある場合と同様の臨場感を作り出して作業効率を改善することができる。
望ましくは,広角カメラ14a〜14e又は死角用カメラ18に収音マイク31を含め,各収音マイク31で集めた周囲音を画像処理装置20に入力し,運転席10の各モニタ16a〜16eにスピーカ32を含め,画像処理装置20によって運転支援画像Sa〜Seを各方向の周囲音と共に表示する。作業機械を遠隔操作する従来の経験等から,視覚情報に現場周囲の作業音等を組み合わせて提示することにより,視覚情報のみを提示する場合よりも臨場感を高めるうることが知られている。壁11a〜11d及び天井12を介して周囲音が伝わる場合は特に必要ではないが,作業機械1の外面上の収音マイク31で集めた周囲音と組み合わせて運転支援画像Sa〜Seを表示することにより,運転支援画像Sa〜Seの作り出す臨場感を高めることが期待できる。
こうして本発明の目的である「運転席が遮蔽材等で覆われた作業機械の作業効率を改善するための運転支援画像を作成する方法及びシステム」を提供することができる。
なお,図1の実施例では,広角カメラ14a〜14e及び死角用カメラ18により可視光下で画像Ga〜Ge,Gfを撮影しているが,そのような可視光式のカメラに代えて又は加えて,赤外線カメラ,サーマルカメラ等を広角カメラ14a〜14e及び死角用カメラ18として使用することも可能である。赤外線カメラ等の画像Ga〜Ge,Gfを運転支援画像Sa〜Seに変換してモニタ16a〜16eに表示することにより,例えば夜間等における作業機械1の運転を支援することができる。また,例えば高熱の危険物質が存在する状況下において,赤外線カメラ等を用いた運転支援画像Sa〜Seにより,可視光下では検出が難しい危険を分かりやすく表示することも期待できる。
また,本発明の運転支援画像作成システムは,運転席10を覆う壁11a〜11d及び天井12に窓その他の開口を設ける必要がないので,図1のような放射性物質で汚染された地域・状況下での使用に代えて,二次災害が予想される自然災害の被災地域・状況,又は有害ガスで汚染された地域・状況下で運転する作業機械1に適用することも有効である。運転席10を覆う壁11a〜11d及び天井12の接合部分を密着させ,運転席10の内側を外部から密閉された空間とすることができる。また,壁11a〜11d及び天井12を衝撃に耐えられる強度とすることにより,本発明の運転支援画像作成システムを,爆弾処理・地雷除去等を目的として運転する作業機械1に適用することも有効である。
壁11a〜11d及び天井12で覆われた運転席10が密閉空間となる場合は,必要に応じて,図1(A)及び(B)に示すように作業機械1の外面及び内面に温湿度計,風速・風向計,又は放射線量計36を取り付け,運転作業上必要となる機外環境及び機内環境を適宜測定して運転者に知らせることが望ましい。この場合は,温湿度計,風速・風向計,又は放射線量計36の計測値を画像処理装置20に入力し,その計測値を画像処理装置20によって運転支援画像Sa〜Seと共にモニタ16a〜16eに表示することができる。画像処理装置20の記憶手段29に計測値の適正範囲を記憶しておき,計測値の異常が検出されたときはモニタ16a〜16eに警報を表示することも可能である。また,運転席10に無線伝送手段又は有線伝送手段を設け,温湿度計,風速・風向計,又は放射線量計36の計測値を遠隔地点の管理者に転送することも可能である。
図1の実施例では壁11a〜11d及び天井12で覆われた作業機械1の運転席10の内側に運転員が搭乗して作業機械1を運転しているが,図1(C)に示す画像処理装置20と作業機械1の外面上の広角カメラ14a〜14e,18との間に無線伝送手段又は有線伝送手段を設けることにより,作業機械1から離れた遠隔操作地点の遠隔操作運転室10に本発明の運転支援画像作成システムを適用することも可能である。すなわち,作業機械1の外面にそれぞれ広角カメラ14a〜14e及び死角用カメラ18を取り付け,作業機械1から離れた遠隔操作地点の遠隔操作運転室10の壁及び天井の内面をモニタ16a〜16eで覆うと共に画像処理装置20を設置し,作業機械1上の各カメラ14a〜14e,18の画像Ga〜Ge,Gfを遠隔操作運転室10の画像処理装置20に無線伝送又は有線伝送する。この場合も,画像処理装置20は,図2の流れ図に従って画像Ga〜Ge,Gfを運転支援画像Sa〜Seに変換して遠隔操作運転室10のモニタ16a〜16eに表示することができる。本発明の運転支援画像Sa〜Seに基づいて作業機械1を遠隔操作することにより,運転席に搭乗している場合と同様の臨場感を作り出することができ,従来の遠隔操作に比して作業効率を改善することが期待できる。
1…作業機械 2…走行部
3…本体部 5…可動腕部材
10…運転席 11a〜11d…窓なし壁(遮蔽材)
12…窓なし天井(遮蔽材) 14a〜14e…広角カメラ
16a〜16e…モニタ 18…死角用カメラ
20…画像処理装置(コンピュータ)
21a〜21f…入力バッファ 22a〜22e…出力バッファ
25…画像合成手段 26…画像投影手段
29…記憶手段
31…収音マイク 32…スピーカ
36…温湿度計,風速・風向計又は放射線量計
40…車両(自動車) 42…広角カメラ
43…仮想カメラ
L…仮想広角レンズ面(半球面)
R…広角レンズ面の半径
G…広角画像(撮像面)
T…広角画像Gと背景面Bとの距離
Ga〜Ge…広角カメラ14a〜14eの撮像する画像
Gf…死角カメラ18の撮影する画像
B…背景画像(背景面)
O…撮像中心
M…天球面(変換面)
Q…天球面中心(運転者視点)
N…天球面M上の全天球面画像
Na〜Nf…天球面M上の変換画像
Na´〜Ne´…天球面画像Nを分割した部分天球面画像
Sa〜Se…運転支援画像(透視投影画像)
P…広角画像(撮像面)G上の像座標
P1…仮想広角レンズ面(半球面)L上の像座標
Pb,Pn…変換像座標
Ps…透視投影像座標
3…本体部 5…可動腕部材
10…運転席 11a〜11d…窓なし壁(遮蔽材)
12…窓なし天井(遮蔽材) 14a〜14e…広角カメラ
16a〜16e…モニタ 18…死角用カメラ
20…画像処理装置(コンピュータ)
21a〜21f…入力バッファ 22a〜22e…出力バッファ
25…画像合成手段 26…画像投影手段
29…記憶手段
31…収音マイク 32…スピーカ
36…温湿度計,風速・風向計又は放射線量計
40…車両(自動車) 42…広角カメラ
43…仮想カメラ
L…仮想広角レンズ面(半球面)
R…広角レンズ面の半径
G…広角画像(撮像面)
T…広角画像Gと背景面Bとの距離
Ga〜Ge…広角カメラ14a〜14eの撮像する画像
Gf…死角カメラ18の撮影する画像
B…背景画像(背景面)
O…撮像中心
M…天球面(変換面)
Q…天球面中心(運転者視点)
N…天球面M上の全天球面画像
Na〜Nf…天球面M上の変換画像
Na´〜Ne´…天球面画像Nを分割した部分天球面画像
Sa〜Se…運転支援画像(透視投影画像)
P…広角画像(撮像面)G上の像座標
P1…仮想広角レンズ面(半球面)L上の像座標
Pb,Pn…変換像座標
Ps…透視投影像座標
Claims (10)
- 運転席が壁及び天井で覆われた作業機械の外面の複数の所定部位にそれぞれ広角カメラを取り付け,前記運転席の壁及び天井の内面をそれぞれモニタで覆い,前記運転席の運転者視点を中心とする天球面を想定して前記各広角カメラの画像を当該天球面上の画像に変換して合成し,前記天球面上の画像を当該天球面の中心の視点から当該中心周りに想定した運転席の壁及び天井に透視投影した運転支援画像に変換して対応する前記モニタに表示してなる作業機械の運転支援画像作成方法。
- 請求項1の方法において,前記各広角カメラの死角に臨む作業機械の外面の部位に死角用カメラを追加的に取り付け,前記死角用カメラの画像を前記天球面上の画像に変換して各広角カメラの画像と合成し,前記モニタに死角のない運転支援画像を表示してなる作業機械の運転支援画像作成方法。
- 請求項1又は2の方法において,前記各広角カメラに収音マイクを含め,前記運転席の各モニタにスピーカを含め,前記運転支援画像を各収音マイクに入力された周囲音と共に表示してなる作業機械の運転支援画像作成方法。
- 請求項1から3の何れかの方法において,前記作業機械の外面及び内面に温湿度計,風速・風向計又は放射線量計を取り付け,前記運転支援画像を温湿度計,風速・風向計又は放射線量計の計測値と共に表示してなる作業機械の運転支援画像作成方法。
- 運転席が壁及び天井で覆われた作業機械の外面の複数の所定部位にそれぞれ取り付ける広角カメラ,前記運転席の壁及び天井の内面をそれぞれ覆うモニタ,並びに前記運転席の運転者視点を中心とする天球面を想定して前記各広角カメラの画像を当該天球面上の画像に変換して合成し,且つ,前記天球面上の画像を当該天球面中心の視点から当該中心周りに想定した運転席の壁及び天井に透視投影した運転支援画像に変換して対応する前記モニタに表示する画像処理装置を備えてなる作業機械の運転支援画像作成システム。
- 請求項5のシステムにおいて,前記各広角カメラの死角に臨む作業機械の外面の部位に死角用カメラを追加的に取り付け,前記画像処理装置により前記死角用カメラの画像を前記天球面上の画像に変換して各広角カメラの画像と合成し,前記モニタに死角のない運転支援画像を表示してなる作業機械の運転支援画像作成システム。
- 請求項5又は6のシステムにおいて,前記各広角カメラに収音マイクを含め,前記運転席の各モニタにスピーカを含め,前記画像処理装置により前記運転支援画像を各収音マイクに入力された周囲音と共に表示してなる作業機械の運転支援画像作成システム。
- 請求項5から7の何れかのシステムにおいて,前記作業機械の外面及び内面に温湿度計,風速・風向計又は放射線量計を取り付け,前記画像処理装置により前記運転支援画像を温湿度計,風速・風向計又は放射線量計の計測値と共に表示してなる作業機械の運転支援画像作成システム。
- 請求項5から8の何れかのシステムにおいて,前記作業機械の運転席の壁及び天井をそれぞれ窓のない放射線遮蔽材としてなる作業機械の運転支援画像作成システム。
- 請求項5から8の何れかのシステムにおいて,前記作業機械から離れた遠隔操作地点に壁及び天井がモニタで覆われた遠隔操作運転室と前記画像処理装置とを設け,前記広角カメラと前記画像処理装置との間に無線又は有線伝送手段を設け,前記画像処理装置により前記運転支援画像を前記遠隔操作運転室のモニタに表示してなる作業機械の運転支援画像作成システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015093118A JP2016212503A (ja) | 2015-04-30 | 2015-04-30 | 作業機械の運転支援画像作成方法及びシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015093118A JP2016212503A (ja) | 2015-04-30 | 2015-04-30 | 作業機械の運転支援画像作成方法及びシステム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016212503A true JP2016212503A (ja) | 2016-12-15 |
Family
ID=57549728
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015093118A Pending JP2016212503A (ja) | 2015-04-30 | 2015-04-30 | 作業機械の運転支援画像作成方法及びシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016212503A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020165235A (ja) * | 2019-03-29 | 2020-10-08 | 住友建機株式会社 | ショベル |
JP2021147978A (ja) * | 2020-03-23 | 2021-09-27 | コベルコ建機株式会社 | 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 |
-
2015
- 2015-04-30 JP JP2015093118A patent/JP2016212503A/ja active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020165235A (ja) * | 2019-03-29 | 2020-10-08 | 住友建機株式会社 | ショベル |
JP7346061B2 (ja) | 2019-03-29 | 2023-09-19 | 住友建機株式会社 | ショベル |
JP2021147978A (ja) * | 2020-03-23 | 2021-09-27 | コベルコ建機株式会社 | 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 |
WO2021192483A1 (ja) * | 2020-03-23 | 2021-09-30 | コベルコ建機株式会社 | 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 |
CN115362295A (zh) * | 2020-03-23 | 2022-11-18 | 神钢建机株式会社 | 远程操作辅助服务器、远程操作辅助系统以及远程操作辅助方法 |
JP7363627B2 (ja) | 2020-03-23 | 2023-10-18 | コベルコ建機株式会社 | 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 |
CN115362295B (zh) * | 2020-03-23 | 2024-04-09 | 神钢建机株式会社 | 远程操作辅助服务器、远程操作辅助系统以及远程操作辅助方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2018528509A (ja) | 投影イメージ生成方法およびその装置、イメージピクセルと深度値との間のマッピング方法 | |
US11494983B1 (en) | Method and system for remote virtual visualization of physical locations | |
US20160005286A1 (en) | Perimeter-monitoring device for working machine | |
WO2011080882A1 (ja) | 動作空間提示装置、動作空間提示方法およびプログラム | |
JP5362639B2 (ja) | 画像生成装置及び操作支援システム | |
JP5090496B2 (ja) | 画像生成装置及び操作支援システム | |
JP2014079824A (ja) | 作業画面表示方法および作業画面表示装置 | |
JP2010231276A (ja) | 画像処理方法及び画像処理装置 | |
EP2991343B1 (en) | Image to be processed generating device, image to be processed generating method, and operation assistance system | |
JP2011079648A (ja) | 固定映像表示システム | |
JP2009119579A (ja) | 情報処理装置、情報処理方法 | |
JP2011082598A (ja) | 広角撮像装置及び測定システム | |
JP6589604B2 (ja) | ティーチング結果表示システム | |
JP2022166939A (ja) | 作業支援システムの設定方法、作業支援システムの設定プログラム | |
JP2011063358A (ja) | 吊荷下方の監視システム及び監視方法 | |
CN109141399A (zh) | 一种逃生指示方法、系统、计算机存储介质和电子设备 | |
CN108259827A (zh) | 一种实现安防的方法、装置、ar设备及系统 | |
JP2016212503A (ja) | 作業機械の運転支援画像作成方法及びシステム | |
KR20130055967A (ko) | 파노라마 영상 제공 시스템 및 그 방법 | |
CN102528811A (zh) | 托克马克腔内的机械臂定位与避障系统 | |
US20190050959A1 (en) | Machine surround view system and method for generating 3-dimensional composite surround view using same | |
JP4747296B2 (ja) | 遮蔽空間の可視化方法 | |
JP2013009267A (ja) | 周囲監視装置 | |
CN212324233U (zh) | 一种全地域覆盖的车载周视监测系统 | |
JP6302622B2 (ja) | 作業機械用周辺監視装置 |