JP2014095211A

JP2014095211A - 舗装機械用画像生成装置及び舗装機械用操作支援システム

Info

Publication number: JP2014095211A
Application number: JP2012246578A
Authority: JP
Inventors: Tomoko Ichikawa; 智子市川
Original assignee: Sumitomo Heavy Industries Ltd
Current assignee: Sumitomo Heavy Industries Ltd
Priority date: 2012-11-08
Filing date: 2012-11-08
Publication date: 2014-05-22
Anticipated expiration: 2032-11-08
Also published as: US20150199576A1; CN104508205B; EP2918726A1; JP6029941B2; EP2918726B1; US9734413B2; CN104508205A; WO2014073283A1; EP2918726A4

Abstract

【課題】周囲の死角領域をより分かり易く提示する舗装機械用画像生成装置を提供すること。
【解決手段】舗装機械用画像生成装置１００は、トラクタ部６１、ホッパ部６２、及びスクリード部６３を有するアスファルトフィニッシャ６０に取り付けられた複数のカメラ２が撮像した入力画像に基づいて出力画像を生成する。出力画像は、ホッパ部画像ＨＧ、左側周辺画像ＬＧ、右側周辺画像ＲＧ、及びトラクタ部６１のイラスト画像６１ＣＧを含む。舗装機械用画像生成装置１００は、アスファルトフィニッシャ６０を上から見下ろした状態を表すようにホッパ部画像ＨＧ、左側周辺画像ＬＧ、右側周辺画像ＲＧ、及びイラスト画像６１ＣＧを配置する。
【選択図】図３

Description

本発明は、舗装機械に取り付けられた複数のカメラが撮像した複数の入力画像に基づいて出力画像を生成する舗装機械用画像生成装置及びその装置を用いた舗装機械用操作支援システムに関する。

従来、ホッパ内部を撮像するカメラと、ホッパの左外側周辺部を撮像するカメラと、ホッパの右外側周辺部を撮像するカメラとを備えるアスファルトフィニッシャの運転者支援装置が知られている（例えば、特許文献１参照）。

特開２００９−１９３５３号公報

特許文献１のアスファルトフィニッシャは、車体幅方向に変位可能な運転席から視認できる位置に各カメラで撮像された映像を映し出すモニタを備える。そして、運転者支援装置は、車体幅方向における運転席の位置に応じてモニタに映し出される映像を自動的に切り換える。その結果、運転者支援装置は、運転席の位置に応じて変化する死角領域を運転者が容易に視認できるようにする。

しかしながら、特許文献１の運転者支援装置は、ホッパの周囲の死角領域を運転者が視認できるようにするのみであり、アスファルトフィニッシャの周囲にある他の死角領域を運転者に視認させることができない。そのため、特許文献１の運転者支援装置は、アスファルトフィニッシャの運転を支援するには不十分である。

上述の点に鑑み、本発明は、周囲の死角領域をより分かり易く提示する舗装機械用画像生成装置及び舗装機械用操作支援システムを提供することを目的とする。

上述の目的を達成するために、本発明の実施例に係る舗装機械用画像生成装置は、ホッパ部、トラクタ部、及びスクリード部を有する舗装機械に取り付けられた複数の撮像手段が撮像した入力画像に基づいて出力画像を生成する舗装機械用画像生成装置であって、前記出力画像は、前記ホッパ部を見下ろすホッパ部画像、前記舗装機械の進行方向左側の周辺領域を見下ろす左側周辺画像、前記舗装機械の進行方向右側の周辺領域を見下ろす右側周辺画像、及び前記トラクタ部のイラスト画像を含み、前記舗装機械を上から見下ろした状態を表すように前記ホッパ部画像、前記左側周辺画像、前記右側周辺画像、及び前記イラスト画像を配置する。

また、本発明の実施例に係る舗装機械用操作支援システムは、舗装機械の移動又は操作を支援する操作支援システムであって、上述の舗装機械用画像生成装置と、前記舗装機械を移動させ或いは操作するための操作部の周辺に設置され、該舗装機械用画像生成装置が生成する出力画像を表示する表示部と、を備える。

上述の手段により、本発明は、周囲の死角領域をより分かり易く提示する舗装機械用画像生成装置及び舗装機械用操作支援システムを提供することができる。

本発明に係る画像生成装置の構成例を概略的に示すブロック図である。画像生成装置が搭載されるアスファルトフィニッシャの構成例を示す図である。出力画像の表示例（その１）である。出力画像の表示例（その２）である。出力画像生成処理の流れを示すフローチャートである。

以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。

図１は、本発明に係る画像生成装置の構成例１００を概略的に示すブロック図である。

画像生成装置１００は、例えば、舗装機械に搭載されたカメラ２が撮像した入力画像に基づいて出力画像を生成しその出力画像を運転者に提示する装置である。本実施例では、画像生成装置１００は、舗装機械としてのアスファルトフィニッシャ６０に搭載され、主に、制御部１、カメラ２、入力部３、記憶部４、及び表示部５で構成される。

図２は、画像生成装置１００が搭載されるアスファルトフィニッシャ６０の構成例を示す図であり、図２（Ａ）が左側面図を示し、図２（Ｂ）が上面図を示し、図２（Ｃ）が後面図を示す。

アスファルトフィニッシャ６０は、主に、トラクタ部６１、ホッパ部６２、及びスクリード部６３で構成される。

トラクタ部６１は、アスファルトフィニッシャ６０を走行させるための機構である。本実施例では、トラクタ部６１は、走行用油圧モータを用いて４つのホイールを回転させてアスファルトフィニッシャ６０を移動させる。走行用油圧モータ（図示せず。）は、ディーゼルエンジン等の原動機（図示せず。）が駆動する油圧ポンプ（図示せず。）から作動油の供給を受けて回転する。また、トラクタ部６１の上部には運転席６４及び操作部６５を含むキャブが配置される。

また、トラクタ部６１には、右側部、左側部、及び前部にカメラ２（右側部カメラ２Ｒ、左側部カメラ２Ｌ、前部カメラ２Ｆ）が取り付けられる。なお、キャブ内の運転者が視認し易い位置には表示部５が設置される。また、本実施例では、トラクタ部６１から見たホッパ部６２の方向を前方とし、トラクタ部６１から見たスクリード部６３の方向を後方とする。

ホッパ部６２は、アスファルト合材を受け入れるための機構であり、本実施例では、油圧シリンダ（図示せず。）によって車幅方向に開閉可能に構成される。アスファルトフィニッシャ６０は、通常、ホッパ部６２を全開状態にしてダンプカー（図示せず。）の荷台からアスファルト合材を受け入れる。なお、図２は、ホッパ部６２が全開状態であることを示す。そして、ホッパ部６２内のアスファルト合材が減少するとホッパ部６２を閉じ、ホッパ部６２の内壁付近にあったアスファルト合材をホッパ部６２の中央部に集めてスクリード部６３に給送できるようにする。

スクリード部６３は、アスファルト合材を敷き均すための機構であり、本実施例では、油圧シリンダ（図示せず。）によって、鉛直方向に昇降可能に、且つ、車幅方向に伸縮可能に構成される。具体的には、スクリード部６３の幅は、車幅方向に伸長された場合に、トラクタ部６１の幅より大きい。

次に、画像生成装置１００の各構成要素について説明する。

制御部１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ(Random Access Memory)、ＲＯＭ（Read Only Memory）、ＮＶＲＡＭ（Non-Volatile Random Access Memory）等を備えたコンピュータであって、例えば、後述する出力画像生成手段１０に対応するプログラムをＲＯＭやＮＶＲＡＭに記憶し、一時記憶領域としてＲＡＭを利用しながら出力画像生成手段１０に対応する処理をＣＰＵに実行させる。

カメラ２は、アスファルトフィニッシャ６０の周辺を映し出す入力画像を取得するための装置であり、例えば、キャブにいる運転者の死角領域を撮像できるようトラクタ部６１に取り付けられる。

死角領域は、例えば、ホッパ部６２の内部空間（特に、トラクタ部６１に近い部分）、ホッパ部６２を閉じたときのホッパ部６２の前端の左右隅部の外側の空間、アスファルトフィニッシャ６０の左右の側部近辺の路面に近い空間（特に、車幅方向でキャブの反対側にある空間であり、例えば、本実施例のようにキャブが車幅方向右側に設置されている場合にはアスファルトフィニッシャ６０の左側部近辺の路面に近い空間である。）等を含む。

また、カメラ２は、トラクタ部６１の右側部、左側部、及び前部以外の位置（例えば、後部である。）に取り付けられていてもよく、広い範囲を撮像できるよう広角レンズ又は魚眼レンズが装着されていてもよい。また、カメラ２は、ホッパ部６２に取り付けられてもよく、スクリード部６３に取り付けられてもよい。

本実施例では、カメラ２は、前部カメラ２Ｆ、左側部カメラ２Ｌ、及び右側部カメラ２Ｒを含む。前部カメラ２Ｆは、図２（Ａ）及び図２（Ｂ）に示すように、トラクタ部６１の前部上端に取り付けられ、その光軸２ＦＸが進行方向前方に延び、且つ、路面との間に側面視で角度α（例えば６５度である。）を形成するように取り付けられる。また、左側部カメラ２Ｌは、図２（Ａ）〜図２（Ｃ）に示すように、トラクタ部６１の左側部上端に取り付けられ、その光軸２ＬＸが、トラクタ部６１の左側面との間に上面視で角度β（例えば７０度である。）を形成し、且つ、路面との間に背面視で角度γを形成するように取り付けられる。右側部カメラ２Ｒは、左右を逆にして、左側部カメラ２Ｌと同様に取り付けられる。なお、図２（Ｂ）の破線で囲まれる領域２ＦＡは、前部カメラ２Ｆの撮像範囲を示し、一点鎖線で囲まれる領域２ＬＡは、左側部カメラ２Ｌの撮像範囲を示し、二点鎖線で囲まれる領域２ＲＡは、右側部カメラ２Ｒの撮像範囲を示す。

また、カメラ２は、トラクタ部６１から延びる取り付け用ステーに取り付けられてもよく、取り付け用ステーを介さずにトラクタ部６１に直接的に取り付けられてもよく、トラクタ部６１に埋め込まれてもよい。

また、カメラ２は、制御部１からの制御信号に応じて入力画像を取得し、取得した入力画像を制御部１に対して出力する。なお、カメラ２は、魚眼レンズ又は広角レンズを用いて入力画像を取得した場合には、それらレンズを用いることによって生じる見掛け上の歪曲やアオリを補正した補正済みの入力画像を制御部１に対して出力してもよく、その見掛け上の歪曲やアオリを補正していない入力画像をそのまま制御部１に対して出力してもよい。そのまま出力した場合には、制御部１がその見掛け上の歪曲やアオリを補正する。

このようにして、カメラ２は、アスファルトフィニッシャ６０の左側方及び右側方並びにホッパ部６２の内部及び周辺にある複数の死角領域がその撮像範囲に含まれるように入力画像を取得する。

入力部３は、運転者を含む操作者が画像生成装置１００に対して各種情報を入力できるようにするための装置であり、例えば、タッチパネル、ボタンスイッチ等である。

記憶部４は、各種情報を記憶するための装置であり、例えば、ハードディスク、光学ディスク、又は半導体メモリ等である。

表示部５は、画像情報を表示するための装置であり、例えば、キャブ内に設置された液晶ディスプレイ等であって、制御部１が出力する各種画像を表示する。

出力画像生成手段１０は、出力画像を生成するための手段であり、例えば、記憶部４に記憶された入力画像・出力画像対応マップ４０を参照し、カメラ２が撮像した入力画像が位置する入力画像平面上の座標と、出力画像が位置する出力画像平面上の座標とを対応付ける。具体的には、出力画像生成手段１０は、出力画像における各画素の値（例えば、輝度値、色相値、彩度値等である。）と入力画像における各画素の値とを関連付けて出力画像を生成する。

入力画像・出力画像対応マップ４０は、カメラ２の光学中心、焦点距離、ＣＣＤサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等の各種パラメータに基づいて予め設定される、入力画像平面上の座標と出力画像平面上の座標との対応関係を記憶する。また、入力画像平面上の座標と出力画像平面上の座標との対応関係は、入力画像が見掛け上の歪曲やアオリを含む場合には、その見掛け上の歪曲やアオリが出力画像に現れないように設定される。例えば、入力画像平面上の非矩形領域を構成する座標群が出力画像平面上の矩形領域を構成する座標群に対応付けられる。一方、入力画像における見掛け上の歪曲やアオリが入力画像取得時に既に補正されている場合には、例えば、入力画像平面上の矩形領域を構成する座標群がそのまま出力画像平面上の矩形領域を構成する座標群に対応付けられる。

図３及び図４は、アスファルトフィニッシャ６０に搭載された三台のカメラ２（左側部カメラ２Ｌ、右側部カメラ２Ｒ、及び前部カメラ２Ｆ）の入力画像を用いて生成される出力画像を表示部５に表示させたときの表示例である。なお、図３の出力画像は、ホッパ部６２が全開のときのアスファルトフィニッシャ６０の状態を示し、図４の出力画像は、ホッパ部６２が閉じたときのアスファルトフィニッシャ６０の状態を示す。

出力画像は、主に、ホッパ部画像ＨＧ、左側周辺画像ＬＧ、右側周辺画像ＲＧ、及び、イラスト画像６１ＣＧを含む。また、画像生成装置１００は、アスファルトフィニッシャ６０の前方が表示部５の画面上方に一致することを操作者が認識できるように、ホッパ部画像ＨＧ、左側周辺画像ＬＧ、右側周辺画像ＲＧ、及び、イラスト画像６１ＣＧを出力画像上の所定位置に所定の大きさで配置する。アスファルトフィニッシャ６０及びその周辺を上から見下ろした状態を表す画像を操作者に提示することによって、アスファルトフィニッシャ６０と周囲の物体との間の位置関係をより分かり易く操作者に認識させるためである。

ホッパ部画像ＨＧは、前部カメラ２Ｆの入力画像に基づいて生成される画像である。本実施例では、ホッパ部画像ＨＧは、トラクタ部６１側からホッパ部６２を見下ろす画像であり、前部カメラ２Ｆの入力画像の一部を切り出すことによって生成され、出力画像の中央上部に配置される。

左側周辺画像ＬＧは、左側部カメラ２Ｌの入力画像に基づいて生成される画像である。本実施例では、左側周辺画像ＬＧは、トラクタ部６１側からアスファルトフィニッシャ６０の進行方向左側の周辺領域を見下ろす画像である。具体的には、左側周辺画像ＬＧは、左側部カメラ２Ｌの入力画像の一部を切り出して歪み補正を施し、さらに画像回転処理を施すことにより生成され、出力画像の左側端部に配置される。また、左側周辺画像ＬＧは、スクリード部６３の左側端部の画像、及び、全開状態にあるホッパ部６２の左側端部の画像を含む。歪み補正は、広角レンズ等を用いることによって生じる見掛け上の歪曲やアオリを補正するための画像処理である。画像回転処理は、アスファルトフィニッシャ６０の進行方向前方（表示部５の画面上方）と左側周辺画像ＬＧ内の画像の向きとを一致させるための画像処理である。本実施例では、左側部カメラ２Ｌの入力画像に関する入力画像平面上の座標と出力画像平面上の座標との対応関係が、歪み補正及び画像回転処理による効果を予め取り込んだ状態で、入力画像・出力画像対応マップ４０に記憶されている。なお、入力画像・出力画像対応マップ４０は、歪み補正及び画像回転処理がリアルタイムに施された結果として得られる入力画像に関する入力画像平面上の座標と出力画像平面上の座標との対応関係を記憶するようにしてもよい。また、歪み補正及び画像回転処理は、ホッパ部画像ＨＧに対して施されてもよい。

右側周辺画像ＲＧは、右側部カメラ２Ｒの入力画像に基づいて生成される画像である。本実施例では、右側周辺画像ＲＧは、トラクタ部６１側からアスファルトフィニッシャ６０の進行方向右側の周辺領域を見下ろす画像であり、右側部カメラ２Ｒの入力画像の一部を切り出して歪み補正を施し、さらに画像回転処理を施すことにより生成され、出力画像の右側端部に配置される。また、右側周辺画像ＲＧは、スクリード部６３の右側端部の画像、及び、全開状態にあるホッパ部６２の右側端部の画像を含む。本実施例では、右側部カメラ２Ｒの入力画像に関する入力画像平面上の座標と出力画像平面上の座標との対応関係が、歪み補正及び画像回転処理による効果を予め取り込んだ状態で、入力画像・出力画像対応マップ４０に記憶されている。なお、入力画像・出力画像対応マップ４０は、歪み補正及び画像回転処理がリアルタイムに施された結果として得られる入力画像に関する入力画像平面上の座標と出力画像平面上の座標との対応関係を記憶するようにしてもよい。

イラスト画像６１ＣＧは、トラクタ部６１のコンピュータグラフィクスであり、カメラ２の撮像領域には含まれないトラクタ部６１の画像の代わりに、操作者がトラクタ部６１の位置を認識できるように表示される。なお、イラスト画像６１ＣＧは、出力画像の中央下部に配置される。

このようにして、出力画像は、アスファルトフィニッシャ６０及びその近傍を上空から見下ろした画像を表示する。

なお、上述の実施例では、ホッパ部画像ＨＧ及び左側周辺画像ＬＧは、三次元空間における同じ領域に対応する画像部分を含む不連続な画像対である。同様に、ホッパ部画像ＨＧ及び右側周辺画像ＲＧも、三次元空間における同じ領域に対応する画像部分を含む不連続な画像対である。このように、画像生成装置１００は、三次元空間における同じ領域に対応する画像部分が二箇所で表示されるように出力画像を表示する。すなわち、三次元空間における同じ領域に対応する画像部分が二箇所で表示されないようにするための画像処理を必要としない。また、そのような画像処理に伴う画像部分の消失、画像部分の視認性の低下等を生じさせることもない。そのため、画像生成装置１００は、演算負荷の増大を抑制しながらも、アスファルトフィニッシャ６０の周囲の状況を分かり易く提示する出力画像を生成できる。

また、上述の実施例では、ホッパ画像ＨＧ、左側周辺画像ＬＧ、及び右側周辺画像ＲＧのそれぞれが、対応する一つのカメラが撮像した入力画像に基づいて生成される。しかしながら、本発明はこの構成に限定されるものではない。例えば、ホッパ画像ＨＧ、左側周辺画像ＬＧ、及び右側周辺画像ＲＧのそれぞれは、二つ以上のカメラが撮像した入力画像に基づいて生成されてもよい。

次に、図５を参照しながら、画像生成装置１００が出力画像を生成する処理（以下、「出力画像生成処理」とする。）について説明する。なお、図５は、出力画像生成処理の流れを示すフローチャートである。また、画像生成装置１００は、カメラ２が入力画像を取得する度に、出力画像生成処理を実行する。

最初に、制御部１は、出力画像生成手段１０により、入力画像・出力画像対応マップ４０を参照し、出力画像平面上の各座標に対応する入力画像平面上の座標が有する値（例えば、輝度値、色相値、彩度値等である。）を取得し、その取得した値を、対応する出力画像平面上の各座標の値として採用する（ステップＳ１）。

その後、制御部１は、出力画像平面上の全ての座標の値を入力画像平面上の座標の値に関連付けたか否かを判定し（ステップＳ２）、未だ全ての座標の値を関連付けていないと判定した場合には（ステップＳ２のＮＯ）、ステップＳ１及びステップＳ２の処理を繰り返すようにする。

一方、制御部１は、全ての座標の値を関連付けたと判定した場合には（ステップＳ２のＹＥＳ）、出力画像を表示部５に表示して、今回の出力画像生成処理を終了させる。

以上の構成により、画像生成装置１００は、複数のカメラが取得する入力画像に基づいて、アスファルトフィニッシャ６０と作業員等を含む周辺障害物との位置関係を操作者に直感的に把握させることが可能な出力画像を生成することができる。

また、画像生成装置１００は、アスファルトフィニッシャ６０及びその近傍を上空から見下ろす状態を操作者に提示するように、ホッパ部画像ＨＧ、左側周辺画像ＬＧ、右側周辺画像ＲＧ、及びイラスト画像６１ＣＧを出力画像上に配置する。これにより、操作者は、運転席６４から離れることなく、アスファルトフィニッシャ６０の周囲にある死角領域を視認することができる。その結果、画像生成装置１００は、アスファルトフィニッシャ６０の安全性及び操作性を向上させることができる。具体的には、画像生成装置１００は、ホッパ部６２内のアスファルト合材の残量、舗装予定の路面における地物（例えば、マンホールである。）の位置等を操作者に提示できる。また、画像生成装置１００は、アスファルトフィニッシャ６０の周辺で作業する作業員の位置を操作者に提示できる。そのため、操作者は、表示部５を見て地物や作業員の位置を確認した上で、ホッパ部６２の開閉、スクリード部６３の伸縮、スクリード部６３の昇降等の各種操作を実行できる。また、操作者は、作業員とホッパ部、スクリード部、又はダンプカーとの関係で危険を察知した場合には、各種操作の中止、アスファルトフィニッシャの停止等を行うことができる。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。

例えば、画像生成装置１００は、グースアスファルト合材を用いるグースアスファルトフィニッシャに搭載されてもよい。

１・・・制御部２・・・カメラ２Ｌ・・・左側部カメラ２Ｒ・・右側部カメラ２Ｆ・・前部カメラ３・・・入力部４・・・記憶部５・・・表示部１０・・・出力画像生成手段４０・・・入力画像・出力画像対応マップ６０・・・アスファルトフィニッシャ６１・・・トラクタ部６２・・・ホッパ部６３・・・スクリード部６４・・・運転席６５・・・操作部

Claims

ホッパ部、トラクタ部、及びスクリード部を有する舗装機械に取り付けられた複数の撮像手段が撮像した入力画像に基づいて出力画像を生成する舗装機械用画像生成装置であって、
前記出力画像は、前記ホッパ部を見下ろすホッパ部画像、前記舗装機械の進行方向左側の周辺領域を見下ろす左側周辺画像、前記舗装機械の進行方向右側の周辺領域を見下ろす右側周辺画像、及び前記トラクタ部のイラスト画像を含み、前記舗装機械を上から見下ろした状態を表すように前記ホッパ部画像、前記左側周辺画像、前記右側周辺画像、及び前記イラスト画像を配置する、
舗装機械用画像生成装置。
前記ホッパ部画像は前記出力画像の中央上部に配置され、
前記左側周辺画像は、前記出力画像の左部に配置され、前記スクリード部の左側端部の画像、及び、全開状態にある前記ホッパ部の左側端部の画像を含み、
前記右側周辺画像は、前記出力画像の右部に配置され、前記スクリード部の右側端部の画像、及び、全開状態にある前記ホッパ部の右側端部の画像を含む、
請求項１に記載の舗装機械用画像生成装置。
前記ホッパ部画像、前記左側周辺画像、及び前記右側周辺画像は、それぞれ、対応する一つの撮像装置が撮像した入力画像に基づいて生成される、
請求項１又は２に記載の舗装機械用画像生成装置。
前記ホッパ部画像及び前記左側周辺画像、並びに、前記ホッパ部画像及び前記右側周辺画像は、重複部分を含む不連続な画像対である、
請求項１乃至３の何れか一項に記載の舗装機械用画像生成装置。
前記ホッパ部画像、前記左側周辺画像、及び前記右側周辺画像のうちの少なくとも一つには歪み補正が施される、
請求項１乃至４の何れか一項に記載の舗装機械用画像生成装置。
舗装機械の移動又は操作を支援する操作支援システムであって、
請求項１乃至５の何れか一項に記載の舗装機械用画像生成装置と、
前記舗装機械を移動させ或いは操作するための操作部の周辺に設置され、該舗装機械用画像生成装置が生成する出力画像を表示する表示部と、
を備えることを特徴とする舗装機械用操作支援システム。