JP2011028495A - 無人走行車両の遠隔操縦装置 - Google Patents

Abstract

【課題】テレビカメラの映像を利用して無人走行車両を遠隔操縦する場合に、テレビカメラの映像信号の伝送遅れによる操縦への悪影響を低減する。
【解決手段】無人走行車両１に取り付けられたテレビカメラ２からの前方視界の映像信号と各種センサ３からの車両１の走行情報信号を無線により車外の操縦席５に伝送し、このうち信号の容量が非常に多いため伝送遅れが生じた映像信号を、画像処理装置７によって信号の容量が少なく伝送遅れを無視できるリアルタイムの走行情報信号に基づき補正し、遅れのない本来の画像に相当する画像を推定して抽出し、操縦席５にあるテレビモニタ８に表示する。
【選択図】図１

Description

本発明は、無人走行の車両を遠隔操縦するための無人走行車両の遠隔操縦装置に関するものである。

無人走行車両の遠隔操縦装置においては、無人走行車両の前方視界を撮影するためにテレビカメラを前記車両に取り付け、前記テレビカメラから無線により伝送される映像信号を車両から離れた場所にある操縦席の操縦用テレビモニタに表示し、操縦者はテレビモニタ画面を見ながら無人走行車両の操縦を行うようになっている。

この場合、無人走行車両側のテレビカメラから操縦席側のテレビモニタに伝送される映像信号に伝送遅れが発生して、前記テレビモニタには、実際より遅れた画像が表示され、通常の操縦操作では無人走行車両に対して適正な操縦が困難となる事象が発生するおそれがある。その理由は、テレビカメラの映像信号は容量が非常に多いため、その大容量の映像信号を離れた場所にあるテレビモニタに狭帯域の電波を使用した無線で伝送する場合には無視出来ない伝送遅れが生じるからである。

上述したように、テレビカメラによる映像を利用した無人走行車両の遠隔操縦においては、大容量の映像信号を離れた場所にある操縦席のテレビモニタに伝送する必要があるため、狭帯域の電波を使用した無線では伝送遅れが生じ、テレビモニタに遅れた画像が表示され、無人走行車両の操縦に支障をきたす嫌いがあり、このため、その伝送遅れの影響を極力低減することが要望されている。

本発明は、上記の点に鑑み、無人走行車両の前方視界を撮影するテレビカメラからの映像信号をリアルタイム画像処理によって補正して、見かけ上遅延のない映像による自然な操縦感覚の実現を図った無人走行車両の遠隔操縦装置を提供することを目的とする。

上記目的を達成するために、本発明のある態様の無人走行車両の遠隔操縦装置は、無人走行車両の前方視界を撮影するテレビカメラと、前記無人走行車両の走行情報を検出するセンサと、前記テレビカメラの映像信号及び前記センサの走行情報信号を遠隔操縦部に送信する無線送信機とを、前記無人走行車両側に具備するとともに、
前記無線送信機からの送信電波を受信する受信機と、前記受信機の受信出力信号を受けて前記受信出力信号に含まれる前記映像信号及び走行情報信号を信号処理する画像処理装置と、前記画像処理装置の画像処理出力信号を表示するテレビモニタとを、前記遠隔操縦部側に具備し、
前記遠隔操縦部側にてリアルタイムで前記走行情報信号を検出して、前記テレビカメラから前記テレビモニタに伝送される映像信号の伝送遅れの影響を、前記画像処理装置で補正することを特徴としている。

前記態様の無人走行車両の遠隔操縦装置において、前記テレビモニタに表示される実際より遅れた画像に対して、前記無人走行車両のリアルタイム位置を表示する構成であるとよい。

前記態様の無人走行車両の遠隔操縦装置において、前記無人走行車両の走行情報を検出するセンサは、前記無人走行車両の位置及びヨー角速度を含む走行情報を検出するものであるとよい。

前記態様の無人走行車両の遠隔操縦装置において、前記無人走行車両の走行情報を検出するセンサとして、ＧＰＳ、ＩＮＳ及び車速センサを用いるとよい。

前記態様の無人走行車両の遠隔操縦装置において、前記前方視界を撮影するテレビカメラからの車両前方方向を撮影した画像を、車両上方から鉛直下向きを撮影した直交座標系の画像に射影変換を行った後、前記画像処理装置による補正を行ってもよい。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法やシステムなどの間で変換したものもまた、本発明の態様として有効である。

本発明に係る無人走行車両の遠隔操縦装置によれば、無人走行車両に取り付けられた前方視界を撮影するテレビカメラから、無線により、前記車両から離れた場所にあるテレビモニタに映像信号を伝送する場合において、リアルタイムで前記車両の走行情報信号を検出して、前記テレビカメラから前記テレビモニタに伝送される映像信号の伝送遅れの影響を、画像処理装置で補正している。これにより、前記画像処理装置が、伝送遅れのある映像信号から前記車両のリアルタイム位置に対応した本来の映像を推定して抽出することを可能にし、車両から離れた場所で操縦を行っている操縦者に見かけ上遅延のないモニタ映像による自然な操縦感覚が実現でき、遠隔操縦が容易になる。

本発明に係る無人走行車両の遠隔操縦装置の実施の形態を示す構成図である。 実施の形態における無人走行車両に対するテレビカメラ搭載の様子の１例を示す側面図である。 テレビカメラによって撮影された画像の座標系を示す説明図である。 実施の形態における無人走行車両に対するテレビカメラ搭載の様子の他の例を示す側面図である。 操縦者用テレビモニタに表示される画像の様子で、左が基の画像（遅延画像）、右が遅れの補正を行った画像をそれぞれ示す説明図である。 遅延画像補正における座標系（地面固定座標系）を示す説明図である。

以下、図面を参照しながら本発明の好適な実施の形態を詳述する。なお、各図面に示される同一または同等の構成要素、部材、処理等には同一の符号を付し、適宜重複した説明は省略する。また、実施の形態は発明を限定するものではなく例示であり、実施の形態に記述されるすべての特徴やその組み合わせは必ずしも発明の本質的なものであるとは限らない。

図１は、本発明に係る無人走行車両の遠隔操縦装置の実施の形態の構成を示し、図２は無人走行車両に対するテレビカメラの搭載の様子を示す。これらの図において、無人で走行する無人走行車両１にはその前方視界を撮影するテレビカメラ２が搭載されている。このテレビカメラ２は、無人車両９の前部付近の上方に、鉛直下方を撮影する向きに設置されている。テレビカメラ２によって撮影された画像の座標系は、図３に示すようにＹ軸の正方向を車両１の前方向とするＸ−Ｙ直交座標系となる。テレビカメラ２によって撮影された画像は車両１の一部（少なくとも前部）を含んでいる。

前記テレビカメラ２を車両１の前部付近の上方に設置せず、図４に示すように、車両１の前部屋根付近に前方を撮影する向きに設置して、車両前方を撮影した画像を、図３に示すようなＹ軸の正方向を車両１の前方向とする前記Ｘ−Ｙ直交座標系に射影変換を行う場合もある。この射影変換は、車両１側に画像処理装置を設けて行ってもよいし、後述の遠隔操縦部９側の画像処理装置７で行ってもよい。

また、車両１にはＧＰＳ（Global Positioning System）、ＩＮＳ（Inertial Navigation System:慣性航法装置）、及び車速センサを含む各種センサ３及び送信機４が搭載されている。ＧＰＳ衛星からの電波を受信可能な状況ではＧＰＳで車両１の現在位置を知ることが可能であり、またＧＰＳ衛星からの電波を受信不能な状況では、ＩＮＳで車両１の現在位置を知ることができる。ＩＮＳは、ＧＰＳで随時現在位置が校正されている。車速センサは車両１の速度を検知するものである。また、ＩＮＳのジャイロ機能によって車両１のヨー角速度を計測できる。

テレビカメラ２からの、車両１上方から鉛直下向きを撮影した（又は鉛直下向きを撮影したのと等価になるように射影変換した）画像の映像信号（大容量）、及び各種センサ３からの走行情報信号（車両１の速度及びヨー角速度を計測した計測信号）は無線送信機４に伝送され、送信機４はそれらの映像信号及び走行情報信号を含む送信電波を無線受信機６を含む遠隔操縦部９へ送信する。

前記無人車両１から離れた場所にある遠隔操縦部９は、操縦者が着席する操縦席５、無線送信機４からの送信電波を受信する無線受信機６、受信機６の受信出力信号を受けて受信出力信号に含まれる前記映像信号及び走行情報信号を信号処理する画像処理装置７、及び画像処理装置７の画像処理出力信号を表示するテレビモニタ８を具備している。

ところで、無線送信機４から無線受信機６への情報伝送において、走行情報信号は信号の容量が少なく伝送遅れを無視でき、実質的にリアルタイム処理とみなせるが、映像信号は非常に大容量であるため、通信の条件が良好な場合を除き、通常は信号の伝達に伝送遅れが生じ、時間的に遅れて届く。信号の容量を小さくするため伝送の途中で信号の圧縮を行う場合もあるが、その際には圧縮・解凍に時間を要し、この場合にも伝送遅れが生じ、時間的に遅れて届く。

この伝送遅れにより、前記テレビモニタ８には、実際より遅れた画像が表示され、通常の操縦操作では無人走行車両１への操縦動作反映の遅れにつながって、操縦に支障をきたす。

その対策として、伝送遅れの影響を画像処理装置７による補正を行って本来の画像に近づける。

遅延映像の補正について、映像伝送の遅延時間分の間に無人走行車両１が移動する距離と変化するヨー角を無人走行車両１の走行軌跡から算出して遅延時間分遅れて届く画像上における車両１の真の位置・方向を推定し、車両１の真の位置に仮想の車両１を表示し、見かけ上遅れのない仮想の画像を前記テレビモニタ８に表示する。補正を行った画像（テレビモニタ８に表示される画像）と補正前の遅れを含む基の画像を図５に示す。図５中、例えば、白色部分は走行可能領域（道）、グレー部分は走行不適領域、黒色部分は情報の無い領域である。また、図５の右側の遅れの補正を行った画像は、推定された車両１の真の位置・方向が表示され、かつその位置にある車両１の進行方向がテレビモニタ８の上下方向の上向きに一致するように図５の左側の基の画像から点線枠のように抽出されている。

この遅延映像の補正においては、図６のような地面に固定された直交座標系ｘｙを用いて車両の位置を示す。ここで、遅れを含む基の画像に表示される車両１のフロントウインド中央の位置とその時の車両前後方向とｙ軸との角度を、（ｘ_０，ｙ_０）とθ_０とし、真の位置と角度を（ｘ_１，ｙ_ｌ）とθ_１とする。

遅延時間ｔの間の車両１の移動距離（ｘ_１−ｘ_０，ｙ_ｌ−ｙ_０）とヨー角変化（θ_１−θ_０）は、車速センサからの車速（ｕ，ｖ）とジャイロ（ＩＮＳに含まれる）からのヨー角速度ωをそれぞれ遅延時間ｔの間で積分して算出する。基礎方程式は以下に示される。

以上、実施の形態を例に本発明を説明したが、実施の形態の各構成要素や各処理プロセスには請求項に記載の範囲で種々の変形が可能であることは当業者に理解されるところである。

テレビカメラによる映像を利用した無人走行車両の遠隔操縦において、車両から離れた場所にて操縦を行っている操縦者に見かけ上遅延のない映像による自然な操縦感覚が実現でき、遠隔操縦が容易になるので、人が近づけない危険な場所での走行及び作業への利用が考えられる。

１ 無人走行車両
２ テレビカメラ
３ 各種センサ
４ 無線送信機
５ 操縦席
６ 無線受信機
７ 画像処理装置
８ テレビモニタ
９ 遠隔操縦部

Claims (5)

1. 無人走行車両の前方視界を撮影するテレビカメラと、前記無人走行車両の走行情報を検出するセンサと、前記テレビカメラの映像信号及び前記センサの走行情報信号を遠隔操縦部に送信する無線送信機とを、前記無人走行車両側に具備するとともに、
   前記無線送信機からの送信電波を受信する受信機と、前記受信機の受信出力信号を受けて前記受信出力信号に含まれる前記映像信号及び走行情報信号を信号処理する画像処理装置と、前記画像処理装置の画像処理出力信号を表示するテレビモニタとを、前記遠隔操縦部側に具備し、
   前記遠隔操縦部側にてリアルタイムで前記走行情報信号を検出して、前記テレビカメラから前記テレビモニタに伝送される映像信号の伝送遅れの影響を、前記画像処理装置で補正することを特徴とする無人走行車両の遠隔操縦装置。
2. 請求項１に記載の無人走行車両の遠隔操縦装置において、前記テレビモニタに表示される実際より遅れた画像に対して、前記無人走行車両のリアルタイム位置を表示する、無人走行車両の遠隔操縦装置。
3. 請求項１又は２に記載の無人走行車両の遠隔操縦装置において、前記無人走行車両の走行情報を検出するセンサは、前記無人走行車両の位置及びヨー角速度を含む走行情報を検出するものである、無人走行車両の遠隔操縦装置。
4. 請求項１，２又は３に記載の無人走行車両の遠隔操縦装置において、前記無人走行車両の走行情報を検出するセンサとして、ＧＰＳ、ＩＮＳ及び車速センサを用いる、無人走行車両の遠隔操縦装置。
5. 請求項１，２，３又は４に記載の無人走行車両の遠隔操縦装置において、前記前方視界を撮影するテレビカメラからの車両前方方向を撮影した画像を、車両上方から鉛直下向きを撮影した直交座標系の画像に射影変換を行った後、前記画像処理装置による補正を行う、無人走行車両の遠隔操縦装置。

Images