JP2014071778A

JP2014071778A - 車両

Info

Publication number: JP2014071778A
Application number: JP2012218860A
Authority: JP
Inventors: Yushi Kawakami; 雄史川上
Original assignee: Equos Research Co Ltd
Current assignee: Equos Research Co Ltd
Priority date: 2012-09-28
Filing date: 2012-09-28
Publication date: 2014-04-21

Abstract

【課題】遠隔操作装置との通信速度が低下しても、遠隔操作装置に車両の周辺を示す動画像を滑らかに表示させることができる車両を提供すること。
【解決手段】
修正画像データ生成処理（Ｓ１７）では、車両１と操作センター２００の通信速度の低下に基づき、ディスプレイ２０２で表示される動画像のフレームレートが閾値Ｎｌ，Ｎｍ，Ｎｈを下回った場合は、画角マップメモリ９２から取得される画角に応じて、カメラ１２によって撮像された車両１の周辺を示す動画像のうち、その動画像のエッジＥ１〜Ｅ４から内側にかけてピクセルが削除された画像が、操作センター２００のディスプレイ２０２に表示する動画像を構成するフレーム画像として生成される。これにより、車両１から操作センター２００へ送信されるフレーム画像１枚あたりのデータ量を落とすことができる。
【選択図】図７

Description

本発明は、車両に関し、特に、遠隔操作装置との通信速度が低下しても、遠隔操作装置に車両の周辺を示す動画像を滑らかに表示させることができる車両に関するものである。

遠隔地に設けられた遠隔操作装置から、走行のための操作が行われる車両が知られている。このような車両は、車両に設けられたカメラによって、車両の周辺を動画像として撮影し、撮影された動画像を画像信号に変換して、遠隔操作装置へ送信する。これにより、遠隔操作装置に設けたスクリーン（ディスプレイ）には、車両の周辺を示す動画像が映し出される。そして、遠隔操作装置にいる操作者が、スクリーンに表示される動画像で車両の周辺の状況を確認しながら、車両の駆動、制動または操舵に関する操作を行うことにより、その操作に応じた指令が遠隔操作装置から車両へ送信される。車両は、遠隔操作装置から受信した指令に応じて、走行を制御する（例えば、特許文献１）。

特開２００４−２０６２１８号公報

しかしながら、車両から遠隔操作装置へ送信される動画像の通信経路において、通信速度が低下すると、動画像を構成するフレーム画像１枚あたりの情報量を車両から遠隔操作装置へ送信するために要する通信時間が長くなる。フレーム画像１枚あたりの情報量に対する通信時間が長くなるほど、遠隔操作装置のスクリーンに続けて表示されるフレーム画像間の時間間隔が長くなるので、遠隔操作装置のスクリーンには、通信経路の通信速度が十分にある場合と比べて、フレームレートが低下して、動きの滑らかさが劣化した状態の動画像が表示されてしまう。スクリーンに表示される動画像が滑らかでないと、スクリーン上の動画像を通じて、操作者に正確な車両の速度を把握させることが難しいという問題点があった。

本発明は、上記の問題点を解決するためになされたものであり、遠隔操作装置との通信速度が低下しても、遠隔操作装置に車両の周辺を示す動画像を滑らかに表示させることができる車両を提供することを目的としている。

課題を解決するための手段および発明の効果

この目的を達成するために請求項１記載の車両によれば、車両の撮像手段では、車両の周辺が動画像として撮像される。この車両の撮像手段によって撮像された動画像に基づいて、車両の動画像情報生成手段によって動画像情報が生成され、この動画像情報が、車両の送信手段によって車両の外部に設けられた遠隔操作装置に送信される。そして、遠隔操作装置の表示手段では、車両の送信手段より送信された動画像情報に基づいて動画像が表示される。この動画像によって、車両の周辺の状況を操作者に視認させて、視認させた状況に応じて、車両の駆動、制動または操舵に関する指示を、操作者から遠隔操作装置へ入力させる。遠隔操作装置によって受け付けられた車両の駆動、制動または操舵に関する操作者による指示を表す指示情報が、車両の受信手段によって受信されると、受信された指示情報に基づいて、車両の駆動、制動または操舵が、車両の走行制御手段により制御される。

ここで、車両に設けられた通信速度取得手段では、車両の送信手段から遠隔操作装置へ送信される動画像情報の通信速度に応じた情報が取得される。この通信速度取得手段によって取得された通信速度に応じた情報が、第１通信速度に応じた情報である場合は、車両の動画像情報生成手段によって生成される動画像情報が、通信速度取得手段によって取得された通信速度に応じた情報が第１通信速度よりも高速の第２通信速度に応じた情報である場合に生成される動画像情報よりも、動画像を構成するフレーム画像１枚当たりの情報量が少ないものとなる。これにより、動画像情報の通信速度が低下した場合に、動画像を構成するフレーム画像１枚あたりの情報量を車両の送信手段から遠隔操作装置へ送信するために要する時間が長くなることを抑制できる。それ故、かかる場合に、遠隔操作装置の表示手段に続けて表示されるフレーム画像間の時間間隔が長くなることを抑制できる。よって、動画像情報の通信速度が低下しても、遠隔操作装置の表示手段に、フレームレートの高い滑らかな動画像を表示させることができる。従って、表示手段に表示される動画像から、実際の車両の速度を操作者に把握させることができるという効果を奏する。

請求項２記載の車両によれば、請求項１記載の車両の奏する効果に加え、次の効果を奏する。即ち、車両の通信速度取得手段によって取得された通信速度に応じた情報が、第１通信速度に応じた情報である場合は、車両の動画像情報生成手段によって、動画像の外縁に位置する領域の少なくとも一部についての情報をその動画像を構成するフレーム画像に含まない動画像が生成され、その動画像を遠隔操作装置の表示手段に表示させるための動画像情報が生成される。このとき動画像情報生成手段によって生成される動画像には、動画像の外縁に位置する領域の少なくとも一部についての情報をその動画像を構成するフレーム画像に含まないので、各フレーム画像に含まれない情報の分だけ、フレーム画像１枚あたりの情報量を少なくした動画像情報を生成することができる。

また、動画像を構成するフレーム画像に情報が含まれないために、表示手段に表示する動画像において映し出されない範囲は、動画像の外縁に位置する領域の一部なので、視認できる範囲が分断されたり虫食い状態となったりすることの無い、良好な視野が確保された動画像を、遠隔操作装置の表示手段に表示させることができるという効果を奏する。

また、本発明者は、遠隔操作装置の表示手段にフレームレートが低く動きの滑らかでない動画像が表示されてしまうと、その動画像を見た操作者における車両の速度感覚は、実際の車両の速度と比べて速いものとなる傾向があることを見いだした。これに対し、車両の動画像情報生成手段では、動画像情報の通信速度が低下したときに、動画像の外縁に位置する領域の少なくとも一部についての情報をその動画像を構成するフレーム画像に含まない動画像情報を生成することにより、フレーム画像１枚あたりの情報量を少なくしているので、遠隔操作装置の表示手段に、フレームレートの高い滑らかな動画像を表示させることができる。よって、通信速度の低下に起因する動画像のフレームレートの低下によって、動画像を見た操作者における車両の速度感覚が、実際の車両の速度よりも速くなることを抑制することができる。

更に、操作者の速度感覚は、動画像において映し出される車両の周辺の路面や物体の流れの速さに応じて与えられ、路面や物体の流れが速いほど、速い速度感覚が与えられる。一方、車両の撮像手段により撮像された動画像は、動画像の内側よりも動画像の外縁に近い領域ほど、車両の近くに存在するものをより大きく見せる遠近感が強く働く。この遠近感の働きにより、動画像の外縁に位置する領域では、動画像の中で最も速く路面や物体が流れる。動画像を見た操作者には、動画像において路面や物体が流れる速さに応じた速度感覚が与えられるので、動画像の外縁に位置する領域における路面や物体の流れが速いほど、その動画像は、操作者に対して、より速い速度感覚を与えるものとなる。

これに対し、前述したように、車両の動画像情報生成手段によって生成される動画像には、動画像の外縁に位置する領域の少なくとも一部についての情報をその動画像を構成するフレーム画像に含まないので、この領域の少なくとも一部については、遠隔操作装置の表示手段に動画像の一部として表示されない。よって、動画像の中で最も速く路面や物体が流れる領域の少なくとも一部を、操作者に視認させなくすることができるので、その分だけ、動画像全体の物体や路面の流れを遅くして、動画像を見た操作者に与えられる速度感覚を遅くすることができる。従って、通信速度の低下に起因する動画像のフレームレートの低下によって動画像を見た操作者の速度感覚が実際の車両の速度よりも速くなってしまうことを抑制することができるという効果を奏する。

このように、請求項２によれば、通信速度の低下に起因する動画像のフレームレートの低下を抑制できるうえ、そのフレームレートの低下に伴って操作者の速度感覚が速められてしまうことも抑制できるので、通信速度の低下に起因して動画像のフレームレートが低下した場合であっても、実際の車両速度に近い速度感覚を、操作者に対して好適に与えることができるという効果を奏する。

なお、請求項２において「動画像の外縁に位置する領域の少なくとも一部についての情報をその動画像を構成するフレーム画像に含まない動画像を生成」するとは、撮像手段によって撮像された動画像に対して、動画像情報生成手段が、その動画像の外縁に位置する領域の少なくとも一部についての情報を動画像を構成するフレーム画像に含まない動画像情報を生成する場合だけでなく、動画像情報生成手段が撮像手段を制御して、かかる動画像情報を、撮像手段から出力させる場合についても含む概念である。

請求項３記載の車両は、請求項２記載の車両の奏する効果に加え、次の効果を奏する。即ち、車両の動画像情報生成手段によって、動画像の外縁に位置する領域の少なくとも一部についての情報をその動画像を構成するフレーム画像に含まない動画像を生成する場合には、第１設定手段によって、動画像のフレーム画像において情報が含まれない領域の範囲が、動画像の上側外縁に位置する領域の少なくとも一部に設定される。ここで、動画像の上側外縁に位置する領域には、撮像手段によって撮像された、車両の上方に存在する物体が映し出される。しかしながら、車両の進行を妨げる物体は車両の上方に存在しない。このため、動画像のフレーム画像において情報が含まれない領域の範囲が、第１設定手段によって、動画像の上側外縁に位置する領域に設定されて、かかる範囲が操作者に視認できなくなっても、車両の進行を妨げる物体については動画像に表示させて、操作者に視認させることができる。従って、動画像情報の通信速度が低下した場合に、遠隔操作装置の表示手段にフレームレートの高い滑らかな動画像を表示させつつも、その動画像において、車両の進行を妨げる物体を操作者に視認させることができるという効果を奏する。

請求項４記載の車両は、請求項２又は３記載の車両の奏する効果に加え、次の効果を奏する。即ち、車両の動画像情報生成手段によって、動画像の外縁に位置する領域の少なくとも一部についての情報をその動画像を構成するフレーム画像に含まない動画像を生成する場合は、動画像のフレーム画像において情報が含まれない領域の範囲が、動画像情報設定手段の第２設定手段によって、進行方向取得手段によって取得された左右の進行方向に関する情報に基づき、少なくとも車両の左右の進行方向とは反対方向にある動画像の外縁に設定される。ここで、操作者は、車両の進行方向を注視しながら車両の操作を行う。それ故、車両が左右の一方に進行する場合は、その方向とは反対方向にある動画像の外縁に位置する領域に動画像のフレーム画像において情報が含まれない領域の範囲が第２設定手段によって設定され、かかる範囲が操作者に視認できなくなっても、操作者に注視される車両の進行方向については動画像によって視認させることができる。従って、動画像情報の通信速度が低下した場合に、遠隔操作装置の表示手段にフレームレートの高い滑らかな動画像を表示させつつも、その動画像において、操作者にとって良好な視界を提供できるという効果がある。

請求項５記載の車両によれば、請求項１から４のいずれかに記載の車両の奏する効果に加え、次の効果を奏する。即ち、車両の通信速度取得手段によって取得された通信速度に応じた情報が、第１通信速度に応じた情報である場合は、通信速度に応じた情報が第２通信速度に応じた情報である場合に生成される動画像情報よりも、動画像を構成するフレーム画像の画素あたりの情報量が少ない動画像情報を生成する。よって、フレーム画像の画素あたりの情報量を少なくした分だけ、フレーム画像１枚あたりの情報量を少なくした動画像情報を生成することができるという効果を奏する。

第１実施形態における車両および操作センターを模式的に示した模式図である。（ａ）は、カメラの撮像範囲を示す模式図であり、（ｂ）は、（ａ）の撮像範囲で撮像された動画像を示す模式図である。車両および操作センターの電気的構成を示したブロック図である。画角マップを模式的に図示した模式図である。最低フレームレートメモリを模式的に図示した模式図である。車側制御装置のＣＰＵによって実行される画像送信処理を示すフローチャートである。車側制御装置のＣＰＵによって実行される修正画像データ生成処理を示すフローチャートである。予測経路上の注視点から水平方向の中心位置角度を算出する方法を説明するための説明図である。（ａ）は、車両が「その他」の走行区間を走行する場合に、修正画像データ生成処理によって生成されるフレーム画像Ａを示す模式図であり、（ｂ）は、車両が「市街地」を走行する場合に、修正画像データ生成処理によって生成されるフレーム画像Ｂを示す模式図であり、（ｃ）は、車両が「トンネル」を走行する場合に、修正画像データ生成処理によって生成されるフレーム画像Ｃを示す模式図である。操作側制御装置のＣＰＵによって実行される画像表示処理を示すフローチャートである。第２実施形態における車両および操作センターの電気的構成を示したブロック図である。第２実施形態における車側制御装置のＣＰＵによって実行される画像送信処理を示すフローチャートである。第２実施形態における操作側制御装置のＣＰＵによって実行される画像表示処理を示すフローチャートである。第３実施形態における車両の電気的構成を示したブロック図である。第３実施形態における車側制御装置のＣＰＵによって実行される修正画像データ生成処理を示すフローチャートである。カメラで撮像された動画像のオプティカルフローを説明するための説明図である。

以下、本発明を実施するための形態について添付図面を参照して説明する。まず、図１〜図１０を参照し、第１実施形態として、本発明を車両１に適用した場合の一実施形態について説明する。

図１は、車両１とその車両１の操作を遠隔地から行うための操作設備（遠隔操作装置）である操作センター２００とを模式的に示した模式図である。まず、図１を参照して、車両１および操作センター２００の概略構成を説明する。車両１は、操作センター２００から車両１を遠隔操作する操作者に対して車両１の周辺を示す動画像を表示することで、操作者に車両の速度に応じた速度感覚を与えることができるように構成されている。

図１に示すように、車両１は、車両１に設けられる車側制御装置１００と、操作センター２００に設けられる操作側制御装置２０１との間で、中継局３００を介した双方向の無線通信を行うものであり、車両１の周辺を撮像した動画像を、操作センター２００に居る車両１の操作者に対して表示するために、車側制御装置１００で行われる処理に基づいてその動画像を送信するものである。また、車両１は、操作側制御装置２０１から送信される指令に応じて、走行が制御される。車両１は、車側制御装置１００の他に、複数（本実施形態では４輪）の車輪２ＦＬ，２ＦＲ，２ＲＬ，２ＲＲと、それら複数の車輪２ＦＬ〜２ＲＲの内の一部（本実施形態では、前輪２ＦＬ，２ＦＲ）を回転駆動する車輪駆動装置３と、複数の車輪２ＦＬ〜２ＲＲの内の一部（本実施形態では、前輪２ＦＬ，２ＦＲ）を操舵駆動する操舵駆動装置５と、車両１の車両速度を検出するための速度センサ１０と、車両１の操舵角を検出するための操舵角センサ１１と、車両１の周辺を撮像するカメラ１２と、ナビゲーション装置１３と、通信装置１４とを主に有している。

車側制御装置１００は、通信装置１４で受信した操作側制御装置２０１からの指令に応じて、車両１の走行を制御するコンピュータ装置である。また、車側制御装置１００は、カメラ１２で撮像される車両１の周辺の動画像に基づく画像データを、通信装置１４を介して、操作センター２００の操作側制御装置２０１へ送信するための制御が行われる。車側制御装置１００の詳細については、図３を参照して後述する。

車輪２ＦＬ，２ＦＲは、車両１の前方側（図１紙面左側）に配置される左右の前輪であり、車輪駆動装置３によって回転駆動される駆動輪として構成されている。一方、車輪２ＲＬ，２ＲＲは、車両１の後方側（図１紙面右側）に配置される左右の後輪であり、車両１の走行に伴って従動する従動輪として構成されている。

車輪駆動装置３は、左右の前輪２ＦＬ，２ＦＲに回転駆動力を付与するための装置である。車輪駆動装置３は、車側制御装置１００から通知された、車両速度の目標値を示す制御信号に基づき、左右の前輪２ＦＬ，２ＦＲに回転駆動力を付与する。これにより、車両１は、車側制御装置１００から通知された車両速度に応じた速度で走行する。

操舵駆動装置５は、左右の前輪２ＦＬ，２ＦＲを操舵するための装置である。操舵駆動装置５は、車側制御装置１００から通知された、目標とすべき操舵角を示す制御信号に基づき、左右の前輪２ＦＬ，２ＦＲを操舵する。これにより、車両１は、車側制御装置１００から指示された操舵角に、前輪２ＦＬ，２ＦＲが操舵される。

速度センサ１０は、各車輪２ＦＬ〜２ＲＲの車輪速を検出するセンサである。速度センサ１０によって検出された各車輪２ＦＬ〜２ＲＲの車輪速は、車側制御装置１００に入力され、車側制御装置１００において、この入力された車輪速に基づいて車両１の速度（車両速度）と加速度とが算出される。

操舵角センサ１１は、車両１の操舵角を検出するセンサである。操舵角センサ１１によって検出された車両１の操舵角は、車側制御装置１００に入力される。

カメラ１２は、車両１の周辺を動画像として撮像するための撮像装置であり、ＣＣＤイメージセンサや、ＣＭＯＳイメージセンサなどの撮像素子が搭載されたデジタルカメラで構成されている。カメラ１２は、車両１の前方側に配設され、車両１の進行方向となり得る車両前方（図１の紙面左方）を撮像する。ここで、カメラ１２によって撮像される動画像について、図２（ａ），（ｂ）を参照して説明する。

図２（ａ）は、カメラ１２の撮像範囲を示す模式図であり、図２（ｂ）は、図２（ａ）の撮像範囲で撮像された動画像を示す模式図である。

カメラ１２は、そのカメラ１２を中心として、水平画角１２０°、垂直画角７０°の範囲を撮像可能に構成されている。

図２（ａ）に示すように、車両１が走行する場合は、車両１の周辺の路面や、建物等の車両１の周辺に存在する物体（主として静止物体）が、カメラ１２の撮像範囲（点線で囲まれる範囲）に含まれる。この図２（ａ）に示す範囲を、カメラ１２によって撮像した動画像が、図２（ｂ）に示す動画像である。

図２（ｂ）において、動画像のエッジＥ１〜Ｅ４から動画像中央の消失点（図示せず）に向けて伸びる複数の補助線ｍは、それぞれが平行な直線である。また、補助線ｍと直交する複数の補助線ｎも、それぞれが平行な直線であり、隣り合う補助線ｎの間隔は、いずれの補助線ｎについても、実空間における一定の距離に相当する。例えば、補助線ｍ１において、隣り合う補助線ｎによって区切られた間隔ａと、その間隔ａよりも消失点側で隣り合う補助線ｎによって区切られた間隔ｂとは、実空間上では同じ距離となる。なお、図２（ｂ）に示した全ての補助線ｍを収束させる消失点は、カメラ１２の光軸上の無限遠点である。また、補助線ｍ，ｎは、説明の便宜のためのものであり、ディスプレイ２０２には表示されない。

図２（ｂ）において、車両１の進行に伴って、カメラ１２では、車両１が進行する方向とは反対方向に路面等が流れる動画像が撮像される。ここで、補助線ｍ１上で同じ距離を示す間隔ａと間隔ｂとの比較からわかるように、カメラ１２で撮像される動画像は、エッジＥ１〜Ｅ４に近い領域ほど、車両１の近くにあるものが、より拡大されて見える。よって、エッジＥ１〜Ｅ４に近い領域と、その領域よりもエッジＥ１〜Ｅ４から離れた領域に存在する物体が、実空間上で同じ方向に、同じ速度で移動した場合、エッジＥ１〜Ｅ４に近い領域のほうが、見た目上の移動量が大きく、速く移動するように見える。このため、車両１が進行すると、見た目の大きさが最も拡大される動画像のエッジＥ１〜Ｅ４に位置する領域で、路面や物体等が最も速く流れ、エッジＥ１〜Ｅ４から動画像の内側に離れるほど、路面や物体等はゆっくりと流れる。

カメラ１２で撮像された動画像が、操作センター２００に居る操作者に対して表示されると、操作者は、路面等の流れの速さによって、感覚的に車両１の速度を把握する（車両１の速度感覚を得る）。動画像において、路面等が速く流れる場合ほど、動画像から操作者に与えられる車両の速度感覚は速いものとなる。

図１に戻って説明を続ける。カメラ１２は、動画像の画像データを、フレーム画像単位で生成する。即ち、カメラ１２は、時間毎に撮像したフレーム画像（静止画像）を、１枚ずつ画像データに変換して、車側制御装置１００へ出力する。車側制御装置１００では、このカメラ１２から取得した画像データに基づいて、操作センター２００で表示させる動画像の画像データを、通信装置１４へ出力する。なお、一枚のフレーム画像の画像データには、少なくとも、フレーム画像を構成する各ピクセル（画素）についての色情報が含まれている。

ナビゲーション装置１３は、ＧＰＳを利用して車両１の現在位置を取得すると共に、地図情報に照らして車両１が走行する区間に関する情報を取得するための装置であり、複数のＧＰＳ衛星から電波を受信して、車両１の現在位置や進行方向を取得する現在位置取得部（図示せず）と、道路に関するデータや交差点データ等が記録された地図情報を記憶する情報記憶部（図示せず）と、現在位置取得部により取得された車両１の現在位置や、その現在位置と情報記憶部に記憶されている地図情報とを処理して車両１が走行する区間を示す情報等を車側制御装置１００へ出力する出力部（図示せず）と、を主に備えている。

本実施形態では、ナビゲーション装置１３から出力される車両１が走行する区間を示す情報は、車両１が走行する区間において、車両１の周辺の建物や路上構造物などの物体の存在、および、その物体が車両１とどのような位置関係となるかを示すものである。本実施形態におけるかかる情報には、車両１の走行する区間が、車両１の上方と左右の側方に天井と壁を存在させる「トンネル」であることを示す情報と、車両１の左右方向の少なくとも一方に建物や路上構造物を物体として存在させる「市街地」であることを示す情報と、「その他」の走行区間であることを示す情報とを少なくとも含むものとする。ここでいう「トンネル」とは、ナビゲーション装置１３の地図情報において走行路上にトンネルが設けられている区間であり、「市街地」とは、ナビゲーション装置１３の地図情報において、「トンネル」以外の区間であって、走行路に隣接する土地に建物が存在する区間や、走行路の脇にフェンスや側壁が存在する区間を少なくとも含むものである。「その他」の走行区間としては、走行路に隣接する土地が田や畑となっている区間に例示される、車両の周辺に目立つ構造物や建物の無い拓けた区間である。

一方、ナビゲーション装置１３から車側制御装置１００へ出力された車両１の現在位置は、通信装置１４を介して操作センター２００へ送信される。これにより、操作センター２００において、車両１の現在位置を取得して、車両１の現在地から目的地までの道のりの案内を行わせることができる。

通信装置１４は、遠隔地の操作センター２００と無線通信を行う装置である。通信装置１４は、車側制御装置１００から受け取った画像データや、車速データ、操舵角、ナビゲーション装置１３からの出力を、中継局３００を介して、操作センター２００へ送信する。また、通信装置１４は、操作センター２００から送信された信号を受信し、車側制御装置１００へ出力する。この通信装置１４が利用する通信システムは、一般的な無線通信装置で利用されている通信システムの他、携帯電話や、ＰＨＳに使用されている通信システム（例えば、Ｗ−ＣＤＭＡ）や、無線ＬＡＮ等の通信システムであってもよい。

図１に示すように、操作センター２００は、その操作センター２００に設けられる操作側制御装置２０１と、車両１の車側制御装置１００との間で、中継局３００を介した相互方向の無線通信を行う設備である。操作センター２００は、車側制御装置１００から送信された車両１の周辺が撮像された動画像を、操作者に対して表示すると共に、その動画像に基づいて操作者が行う車両１の操作を受け付けて、その操作に応じた指令を車両１に送信することで、車両１を遠隔地から操作するためのものである。

操作センター２００には、操作側制御装置２０１の他に、ディスプレイ２０２と、ステアリング装置２０３と、アクセルペダル装置２０４と、ブレーキペダル装置２０５と、通信装置２０６とが設けられている。

操作側制御装置２０１は、通信装置２０６で受信した車側制御装置１００からの画像データ（フレーム画像の画像データ）を、受信の度にディスプレイ２０２へ送信すると共に、ステアリング装置２０３、アクセルペダル装置２０４、ブレーキペダル装置２０５の各装置への入力に基づいて、車両１の走行を制御するための指令情報を生成するコンピュータ装置である。この操作側制御装置２０１の詳細構成については、図３を参照して後述する。

ディスプレイ２０２は、操作側制御装置２０１から出力された画像データに基づいて動画像を表示する表示装置である。このディスプレイ２０２は、ディスプレイ２０２を見る操作者を取り囲むような湾曲形状に構成されている。詳細は後述するが、ディスプレイ２０２は、操作側制御装置２０１から出力されたフレーム画像の画像データを受信する度に、ディスプレイ２０２の表示内容を、新たに受信した画像データが示すフレーム画像に切り替える。本実施形態では、車両１のカメラ１２で撮像された車両１の周辺を示す動画像に基づく画像データが、操作側制御装置２０１から出力されるので、ディスプレイ２０２には、車両１の周辺を示す動画像が表示される。よって、ディスプレイ２０２には、車両１のカメラ１２で撮像された動画像に基づき、路面や車両１の周辺の物体が、車両１の進行に伴い、車両１の進行方向とは反対方向へ流れていく様子が表示される。操作者は、この動画像を見ることで、車両１の周辺の状況を視認して、状況に応じた車両１の操作をステアリング装置２０３、アクセルペダル装置２０４又はブレーキペダル装置２０５に対して行う。

また、操作者は、ディスプレイ２０２上の動画像で表示される路面等の流れによって、感覚的に車両１の速度を把握する（車両１の速度感覚を得る）。動画像において路面等が速く流れるほど、車両１が高速で走行しているとの速度感覚を得る。

ステアリング装置２０３は、操作センター２００内の操作者から回転操作が入力されることで、車両１の操舵方向の指示を受け付けるものである。ステアリング装置２０３は、操作者によって回転操作されると、操作に応じた回転角を操作側制御装置２０１へ送信する。なお、ステアリング装置２０３は、操作者によって回転操作された回転角速度を操作側制御装置２０１へ送信してもよい。そして、操作側制御装置２０１が、ステアリング装置２０３から取得した回転角速度を積分して、回転角を算出してもよい。

アクセルペダル装置２０４及びブレーキペダル装置２０５は、操作センター２００内の操作者から、踏み込み操作が入力されることで、車両１の車両速度についての指示を受け付けるものである。アクセルペダル装置２０４には、車両１を前後方向に進行させるために操作者によって踏み込まれるペダルを備え、このペダルの踏み込み状態（踏み込み量、踏み込み速度など）に応じた指令値を、操作側制御装置２０１に送信する。操作側制御装置２０１は、この指令値に応じて、車両速度の目標値を算出する。一方、ブレーキペダル装置２０５は、車両１を制動（減速）させるために踏み込まれるペダルを備え、このペダルの踏み込み状態に応じた指令値を、操作側制御装置２０１に送信する。これにより、操作側制御装置２０１が管理する車両速度の目標値がブレーキペダル装置２０５におけるペダルの踏み込み状態に応じて減じられる。このアクセルペダル装置２０４及びブレーキペダル装置２０５の操作に応じて決定される車両速度の目標値に基づいて、車両１の駆動力や制動力が制御される。操作側制御装置２０１では、車両速度の目標値に基づく速度指令情報を、逐次生成し、通信装置２０６へ出力する。

通信装置２０６は、車両１と無線通信を行う装置である。通信装置２０６は、操作側制御装置２０１から受け取った指令情報等の信号を、中継局３００を介して、車両１へ送信する。また、通信装置２０６は、車両１から送信された画像データ等の信号を受信し、操作側制御装置２０１へ出力する。

次いで、図３を参照して、車両１および操作センター２００の詳細構成について説明する。図３は、車両１および操作センター２００の電気的構成を示したブロック図である。

まず、車両１について説明する。車両１の車側制御装置１００は、ＣＰＵ９１、ＲＯＭ９２及びＲＡＭ９３を有しており、それらがバスライン９４を介して入出力ポート９５に接続されている。入出力ポート９５には、車輪駆動装置３、操舵駆動装置５、速度センサ１０、操舵角センサ１１、カメラ１２、タイマ１５、通信装置１４、及び、その他の入出力装置９９などが接続されている。

ＣＰＵ９１は、入出力ポート９５に接続された各センサ１０，１１や通信装置１４などから送信された各種の情報に基づいて、車輪駆動装置３や操舵駆動装置５を制御すると共に、カメラ１２や通信装置１４などから送信された各種の情報に基づいて、操作センター２００のディスプレイ２０２へ表示させる画像の画像データを生成する演算装置である。

ＲＯＭ９２は、ＣＰＵ９１によって実行される制御プログラムや固定値データ等を記憶するための書き換え不能な不揮発性のメモリである。このＲＯＭ９２には、プログラムメモリ９２ａと、画角マップメモリ９２ｂと、最低フレームレートメモリ９２ｃとが設けられている。

プログラムメモリ９２ａは、ＣＰＵ９１にて実行される各種のプログラムが格納されたＲＯＭ９２上の領域である。後述する図６のフローチャートに示す画像送信処理等の各種処理をＣＰＵ９１にて実行させるための各プログラムは、このプログラムメモリ９２ａに格納されている。ＣＰＵ９１は、このプログラムメモリ９２ａに格納されたプログラムに従って処理を実行することで、操作センター２００から車両１を遠隔操作する操作者に対して車両１の周辺を示す動画像を表示させ、これにより操作者に車両の速度に応じた速度感覚を与えるための制御を行う。

画角マップメモリ９２ｂは、操作者に実際の車両速度に応じた速度感覚を与える動画像のフレーム画像を生成するためのメモリである。画角マップメモリ９２ｂには、ディスプレイ２０２に表示させる動画像の画角（水平画角）を規定する画角マップが格納されている。この画角マップでは、車両１の走行区間、ディスプレイ２０２に表示されている動画像のフレームレート（ディスプレイ２０２において時間当たりに表示される、カメラ１２によって撮像された動画像に基づくフレーム画像の枚数）、および、速度センサ１０から取得される車両速度に対応付けて、画角を規定している。この画角マップメモリ９２ｂは、後述する画像送信処理（図６参照）においてカメラ１２から取得した画像データに対し、ＣＰＵ９１が、その画像データが示すフレーム画像の画角を修正するために参照される。具体的には、カメラ１２で撮像された動画像のフレーム画像を示す画像データに対して、画角マップメモリ９２ｂから得た画角よりも広角側（外側）のピクセルを示すデータを削除することで、フレーム画像の画角が修正される。この画角が修正されたフレーム画像を示す修正画像データが操作センター２００へ送信されることで、ディスプレイ２０２に、カメラ１２から取得した動画像から表示範囲の一部を切り出した動画像が表示される。

ここで、本発明者が見いだした、車両１で撮像した進行方向における車両１の周辺の景色を、操作センター２００のディスプレイ２０２に表示させて、そのディスプレイ２０２を見る操作者に車両１の操作を行わせる場合に生じる問題点について説明する。

前述したように、ディスプレイ２０２には、車両１のカメラ１２で撮像した車両１の周辺を示す動画像が表示される。この動画像では、車両１の進行に伴って、路面や車両１の周辺の物体が車両１の進行方向とは反対方向に流れていく様子が映し出される。そして、ディスプレイ２０２を見ながら車両１を遠隔操作する操作者には、ディスプレイ２０２上で流れる路面等の速さに応じた車両１の速度感覚が与えられる。しかし、動画像のフレームレートが低い場合は、動画像として映し出される路面等の流れが滑らかでなくなってしまう。このような動画像は操作者に対して表示されると、操作者の速度感覚が、実際の車両速度に対して速くなってしまう傾向がある。

なお、ディスプレイ２０２上に表示される動画像のフレームレートが低下する原因の一つとして、車両１の通信装置１４から操作センター２００の通信装置２０６へ画像データを伝送する伝送経路の通信速度が遅いことが挙げられる。この伝送経路における通信速度が遅いと、動画像のフレーム画像一枚を車両１の通信装置１４から操作センター２００の通信装置２０６へ送信するために必要な通信時間が長くなってしまうので、その分、操作センター２００のディスプレイ２０２に映し出される動画像のフレームレートが、伝送経路の通信速度が十分にあるときと比べて低くなってしまうからである。

また、動画像の画角が一定（例えば、水平画角１２０°、垂直画角７０°）であると、車両速度が速くなるにつれて、動画像の中で最も路面等が速く流れる動画像のエッジ付近において、車両速度に比べて路面等が高速で流れる様子が顕著なものとなってしまい、動画像を見た操作者に与える速度感覚が実際の車両速度に応じたものよりも速くなってしまう傾向がある。

しかも、動画像から受ける操作者の速度感覚は、動画像における路面や物体の流れの速さが影響しているので、動画像における物体の存在や、動画像において表示範囲に占める物体の割合、車両１と物体との距離、といった環境的な要因によって、速度感覚が異なってしまう。例えば、走行路の側方に走行路に沿って壁が配設された環境で車両１を走行させる場合は、車両１の走行に伴って撮像される動画像において、壁が流れる様子が映し出される分だけ、車両１の周辺に何ら物体が存在しない環境で車両１を走行させる場合よりも速い速度感覚が、動画像を見た操作者に与えられる。また、同じ壁であっても、車両１が、壁の近くを沿って走行する場合と、それよりも離れた位置で壁に沿って走行する場合とでは、壁の近くを沿って走行する場合の方が、動画像において、壁が拡大されて見えるため、動画像における壁の流れが速く、より速い速度感覚を操作者に与える。

このように、動画像のフレームレートや画角、車両１の走行する環境という要因によって、動画像が操作者に表示されても、動画像を通じて、操作者に正確な車両速度を把握させることが難しいという問題点があった。操作者の速度感覚が、実際の車両速度よりも速くなってしまうと、例えば、車両１の車両速度を、車両１の周辺に存在する他車両の車両速度に合わせて、他車両の流れに乗って走行しようとしても、他車両の流れに合わせた車両１の加減速操作が、操作者にとって困難なものとなってしまう。

このような問題点に対し、本実施形態では、車両１の走行区間と、操作センター２００のディスプレイ２０２で表示される動画像のフレームレートと、車両１の車両速度とに応じて、図４に示す画角マップに規定される画角で、車側制御装置１００に、ディスプレイ２０２上に表示させる動画像を生成させるようにした。

ここで、図４を参照して、画角マップを説明する。図４は、画角マップを模式的に図示した模式図である。図４に示すように、画角マップは、操作センター２００のディスプレイ２０２で表示される動画像のフレームレートと、車両１の車両速度と、操作センター２００に画像データとして送信する画像の画角（水平画角）との関係を、車両１の走行区間毎に示したマップである。横軸は、フレームレートを示し、縦軸は、画角を示している。また、画角マップは、車両速度が低速（例えば、０〜３０ｋｍ／ｈ）、中速（３０〜６０ｋｍ／ｈ）、高速（６０ｋｍ／ｈ〜）の各場合で、車両１の走行区間が「市街地」である場合と、「トンネル」である場合のそれぞれについての、フレームレートに対応する画角を規定している。

車両速度やディスプレイ２０２表示される動画像のフレームレートに応じて画角マップメモリ９２ｂが参照されるのは、車両１の走行区間が「トンネル」か「市街地」である場合であって、「その他」の走行区間を示す情報がナビゲーション装置１３から取得された場合は、車両１のカメラ１２から取得したフレーム画像の画像データを、ディスプレイ２０２に表示させる動画像の画像データとして、通信装置１４へ出力される。

図４に示すように、画角マップは、それぞれの走行区間および車両速度において、操作センター２００から取得したディスプレイ２０２で表示される動画像のフレームレートが、車両速度毎に設定された閾値Ｎｌ，Ｎｍ，Ｎｈを下回るまでは、一定の画角（基準画角）を示している。一方で、画角マップは、閾値Ｎｌ，Ｎｍ，Ｎｈを下回るフレームレートでは、基準画角よりも小さな（狭い）画角を示している。なお、車両速度が低速、且つ、走行区間が「市街地」である場合に、閾値Ｎｌを上回るフレームレートの範囲で示される基準画角は、カメラ１２によって撮像される動画像の画角（水平画角１２０°、垂直画角７０°）と同じ画角である。

この閾値Ｎｌ，Ｎｍ，Ｎｈは、車両速度が低速、中速、高速のそれぞれの場合で、ディスプレイ２０２に表示させる動画像を見た操作者が、実際の車両速度よりも速い速度感覚を感じ始めるときの動画像のフレームレートである。走行実験において、車両速度が速い場合ほど、ディスプレイ２０２の動画像のフレームレートが高い段階で、実際の車両速度よりも速い速度感覚を操作者が感じてしまうことを見いだした。そこで、画角マップにおいて、フレームレートの閾値Ｎｌ，Ｎｍ，Ｎｈは、車両速度が速い場合ほど、大きな値（Ｎｌ＜Ｎｍ＜Ｎｈ）が設定されている。

図４に示すように、画角マップは、ディスプレイ２０２で表示される動画像のフレームレートが閾値Ｎｌ，Ｎｍ，Ｎｈを下回ると、フレームレートの低下に比例して小さな画角を示している。

また、画角マップは、ディスプレイ２０２で表示される動画像のフレームレートが同じであれば、車両速度が速いほど、小さな画角が設定されている。

また、画角マップは、車両速度とフレームレートが同じ条件であれば、車両１の走行区間が「トンネル」である場合は、車両１の走行区間が「市街地」である場合よりも、小さな画角が設定されている。

また、詳細については図７を参照して後述するが、車両１の走行環境が「市街地」である場合は、カメラ１２で撮像された画像に対して、左右のエッジ付近のピクセルのみを削除して、カメラ１２で撮像された画像に対して水平画角が小さくされたフレーム画像を示す修正画像データが生成される。一方、車両１の走行環境が「トンネル」である場合は、カメラ１２で撮像された画像に対して、上下左右のエッジ付近のピクセルを削除して、カメラ１２で撮像された画像に対して垂直画角および水平画角が小さくされたフレーム画像を示す修正画像データが生成される。このフレーム画像の垂直画角は、画角マップに規定される水平画角に所定の比例定数（正の定数）を乗じることで、取得される。

図３に戻り、説明を続ける。最低フレームレートメモリ９２ｃは、ディスプレイ２０２で表示される動画像において最低限確保すべきフレームレート（最低フレームレート）が車両速度毎に対応付けて格納されているメモリである。この最低フレームレートメモリ９２ｃは、後述する画像送信処理（図６参照）においてＣＰＵ９１によって参照される。

ここで、図５を参照して、最低フレームレートメモリを説明する。図５は、最低フレームレートメモリ９２ｃを模式的に図示した模式図である。

図５では、縦軸が、最低フレームレートを示し、横軸が、車両速度を示している。図５に示すように、最低フレームレートメモリ９２ｃでは、車両速度が速いほど、最低フレームレートが大きくなることを示している。

ディスプレイ２０２で表示される動画像のフレームレートが低下すると、その動画像を見た操作者の速度感覚が実際の車両速度よりも速いものとなってしまう。しかも、車両速度が速いほど、実際の車両速度に対する操作者の速度感覚との差は大きくなってしまう傾向がある。

これに対し、詳細は後述するが、後述する画像送信処理（図６参照）において、ディスプレイ２０２で表示されている動画像のフレームレートが、この最低フレームレートを下回っている場合に、ＣＰＵ９１は、車両速度の目標値を低減させる。これにより、車両１が減速するので、実際の車両速度に対する操作者の速度感覚との差を小さくすることができる。

また、ディスプレイ２０２で表示されている動画像のフレームレートが、最低フレームレートを下回る状況では、車両１から操作センター２００へ画像データを送信する伝送経路おいて、通信障害が発生している可能性が高いので、車両１を減速させることで、通信障害から回復するまでの間、操作者に停車することを促すことができる。

図３に戻り説明を続ける。ＲＡＭ９３は、書き換え可能な揮発性のメモリであり、ＣＰＵ９１によって実行されるプログラムの実行時に各種のデータを一時的に記憶するためのメモリである。ＲＡＭ９３には、画像データメモリ９３ａと、送信画像バッファ９３ｂと、送信許可フラグ９３ｃと、タイムメモリ９３ｄと、車速メモリ９３ｅと、操舵角メモリ９３ｆと、受信フレームレートメモリ９３ｇとが少なくとも設けられている。

画像データメモリ９３ａは、カメラ１２から取得した画像データを、一時的に記憶するために使用するメモリである。画像データメモリ９３ａは、２つの記憶領域を有している。画像データメモリ９３ａは、後述する画像送信処理（図６参照）において、送信許可フラグ９３ｃがオンされた場合に、ＣＰＵ９１の指令によってカメラ１２から転送される画像データを、一方の記憶領域で記憶する。このとき、他方の記憶領域において予め記憶する画像データが、後述する送信画像バッファ９３ｃに対して転送される。後述する画像送信処理（図６参照）では、カメラ１２で撮像された画像の転送先となる記憶領域と、送信画像バッファ９３ｃに対して画像データが転送される記憶領域とを、送信許可フラグ９３ｃがオンされる度に交互に切り替えて使用する。後述する図６の画像送信処理の説明においては、これらの２つの記憶領域を用いる処理の流れについては説明を省略する。

送信画像バッファ９３ｂは、操作センター２００へ送信する画像データ（修正画像データ）を一時的に格納するためのメモリである。送信画像バッファ９３ｂは、２つの記憶領域を有している。送信画像バッファ９３ｂは、後述する画像送信処理（図６参照）において、画像データメモリ９３ａから転送される画像データに基づく画像データ（修正画像データ）を、一方の記憶領域に格納する。このとき、他方の記憶領域において予め記憶する画像データ（修正画像データ）が、通信装置１４に対して転送される。そして、送信画像バッファ９３ｂから通信装置１４へ出力された画像データ（修正画像データ）は、ディスプレイ２０２で表示される動画像のフレーム画像として、通信装置１４から、中継局３００を介して、操作センター２００へと送信される。後述する画像送信処理（図６参照）では、画像データメモリ９３ａから転送される画像データ（修正画像データ）の転送先となる記憶領域と、送信画像バッファ９３ｃに対して画像データが転送される記憶領域とを、送信許可フラグ９３ｃがオンされる度に交互に切り替えて使用する。後述する図６の画像送信処理の説明においては、これらの２つの記憶領域を用いる処理の流れについては説明を省略する。

送信許可フラグ９３ｃは、車側制御装置１００から画像データ（修正画像データ）を通信装置１４へ出力することが、通信装置１４から許可されているか否かを示すフラグである。送信許可フラグ９３ｄは、通信装置１４からの許可を示す送信許可信号がＣＰＵ９１に入力されたことを契機に発生する割込処理（図示せず）によってオンされる。ここで、通信許可信号は、フレーム画像１枚分の画像データ（修正画像データ）の操作センターへの送信が完了したタイミングで、通信装置１４から送信される信号である。これは、通信装置１４が画像データ（修正画像データ）を送信している途中で、別の画像データ（修正画像データ）が車側制御装置１００から出力されることで、送信途中でデータが上書きされてしまうことを防ぐためである。送信許可フラグ９３ｄがオン状態であると、後述する画像送信処理（図６参照）において、送信画像バッファ９３ｂの画像データ（修正画像データ）が、通信装置１４へ出力（転送）されると共に、送信許可フラグ９３ｄがオフ状態にされる。一方、送信許可フラグ９３ｄがオフ状態であると、画像送信処理において、通信装置１４に対する画像データ（修正画像データ）の出力が待機される。

タイムメモリ９３ｄは、カメラ１２で撮像された画像に基づく画像データを取得した日時を示すタイムスタンプを格納するためのメモリである。タイムメモリ９３ｄに格納されるタイムスタンプは、後述のタイマ１５から出力される日時情報である。画像送信処理（図６参照）において、カメラ１２からの画像データが取得される度に、ＣＰＵ９１によって、タイマ１５から出力される日時情報が取得され、その日時情報が、タイムメモリ９３ｄに格納される。そして、タイムメモリ９３ｄに格納されたタイムスタンプは、そのタイムスタンプが示す日時でＣＰＵ９１に取得された画像に基づく画像データ（修正画像データ）と共に、通信装置１４へ出力される。これにより、タイムスタンプは、そのタイムスタンプが示す日時に撮像された画像データ（修正画像データ）と共に、通信装置１４を介して、操作センター２００へと送信される。

ここで、タイマ１５について説明する。タイマ１５は、デジタルタイマであり、ミリ秒単位で、現在の日時を示す情報を出力するものである。一方、本実施形態において、ＣＰＵ９１は、カメラ１２からの画像を、１秒間に最大で６０枚程度（約１７ミリ秒に１枚）取得する。よって、タイマ１５で生成された日時情報を利用することにより、ＣＰＵ９１は正確な日時を示すタイムスタンプを作成できる。

次に、車速メモリ９３ｅについて説明する。車速メモリ９３ｅは、ＣＰＵ９１が速度センサ１０の検出結果に基づいて算出した車両１の車両速度を示す速度データを一時的に格納するためのメモリである。車速メモリ９３ｅに格納される速度データは、画像送信処理（図６参照）の実行毎に、ＣＰＵ９１が速度センサ１０から新たに取得したものに更新される。そして、更新後の車速メモリ９３ｅの値は、画像送信処理において、画角マップメモリ９２ｂの値や最低フレームレートメモリ９２ｃの値を取得するために、ＣＰＵ９１によって参照される。

操舵角メモリ９３ｆは、ＣＰＵ９１が操舵角センサ１１から取得した車両１の操舵角を示す操舵角データを一時的に格納するためのメモリである。操舵角メモリ９３ｆに格納される操舵角データは、画像送信処理（図６参照）の実行毎に、ＣＰＵ９１が操舵角センサ１１から新たに取得したものに更新される。そして、更新後の操舵角メモリ９３ｆの値は、画像送信処理（図６参照）において、修正画像データにおいて、元の画像データから削除する範囲を決定するために、ＣＰＵ９１によって参照される。

受信フレームレートメモリ９３ｇは、操作センター２００の操作側制御装置２０１において算出された、ディスプレイ２０２で表示される動画像のフレームレートを格納するメモリである。詳細は後述するが、ディスプレイ２０２で表示される動画像のフレームレートは、操作センター２００によって算出され、操作センター２００から車両１へ送信される。このフレームレートを通信装置１４で受信される毎に発生するＣＰＵ９１の割込処理（図示せず）によって、受信フレームレートメモリ９３ｇの値は、新たに受信された値に更新される。また、受信フレームレートメモリ９３ｇの値は、画像送信処理（図６参照）において、画角マップメモリ９２ｂの値を取得するために、ＣＰＵ９１によって参照される。

次に、操作センター２００について説明する。操作センター２００の操作側制御装置２０１は、ＣＰＵ２９１、ＲＯＭ２９２及びＲＡＭ２９３を有しており、それらがバスライン２９４を介して入出力ポート２９５に接続されている。入出力ポート２９５には、ディスプレイ２０２、ステアリング装置２０３、アクセルペダル装置２０４、ブレーキペダル装置２０５、通信装置２０６、その他の入出力装置２９９などが接続されている。

ＣＰＵ２９１は、入出力ポート２９５に接続されたステアリング装置２０３、アクセルペダル装置２０４、ブレーキペダル装置２０５、通信装置２０６などから送信された各種の情報に基づいて、車両１を制御する制御指令を生成したり、ディスプレイ２０２を制御したりする演算装置である。

ＲＯＭ２９２は、ＣＰＵ２９１によって実行される制御プログラムや固定値データ等を記憶するための書き換え不能な不揮発性のメモリである。このＲＯＭ２９２には、プログラムメモリ２９２ａが設けられている。

プログラムメモリ２９２ａは、ＣＰＵ２９１にて実行される各種のプログラムが格納されたＲＯＭ２９２上の領域である。後述する図１０のフローチャートにそれぞれ示す画像表示処理等の各種処理をＣＰＵ２９１にて実行させるための各プログラムは、このプログラムメモリ２９２ａに格納されている。ＣＰＵ２９１は、このプログラムメモリ２９２ａに格納されたプログラムに従って画像表示処理（図１０参照）を実行することで、通信装置２０６で受信した画像データ（修正画像データ）を、ディスプレイ２０２に出力する。

ＲＡＭ２９３は、書き換え可能な揮発性のメモリであり、ＣＰＵ２９１によって実行されるプログラムの実行時に各種のデータを一時的に記憶するためのメモリである。ＲＡＭ２９３には、受信画像メモリ２９３ａと、受信タイムメモリ２９３ｂと、前回タイムメモリ２９３ｃとが少なくとも設けられている。

受信画像メモリ２９３ａは、ディスプレイ２０２に表示する動画像のフレーム画像を、画像データとして、一時的に格納するメモリである。受信画像メモリ２９３ａに格納される画像データは、車両１の車側制御装置１００で生成された画像データ（修正画像データ）である。受信画像メモリ２９３ａの内容は、画像データ（修正画像データ）、および、その画像データ（修正画像データ）のタイムスタンプが、通信装置２０６で受信される度に発生する、割込処理（図示せず）によって更新される。この割込処理では、新たに受信された画像データ（修正画像データ）を通信装置２０６から取得して（転送させて）、その画像データ（修正画像データ）を、受信画像メモリ２９３ａの内容に上書きする。また、ＣＰＵ２９１は、画像表示処理（図１０参照）において、受信画像メモリ２９３ａに格納されている画像データ（修正画像データ）が更新されている場合は、その画像データ（修正画像データ）をディスプレイ２０２へ出力する。よって、車両１から新たな画像データ（修正画像データ）を受信する度に、ディスプレイ２０２に表示されるフレーム画像が更新され、これにより、ディスプレイ２０２に動画像を表示させることができる。

受信タイムメモリ２９３ｂは、ディスプレイ２０２で表示される動画像のフレームレートを算出するために用いられるメモリであり、受信画像メモリ２９３ａに格納される画像データ（修正画像データ）のタイムスタンプを格納するメモリである。受信タイムメモリ２９３ｂの内容は、割込処理（図示せず）によって、受信画像メモリ２９３ａと共に更新される。この割込処理では、ＣＰＵ２９１が、新たに受信されたタイムスタンプを通信装置２０６から取得して、そのタイムスタンプを、受信タイムメモリ２９３ｂに上書きする。また、受信タイムメモリ２９３ｂの値は、画像表示処理（図１０参照）において、ＣＰＵ２９１により参照される。詳細は後述するが、このとき参照される受信タイムメモリ２９３ｂの値と前回タイムメモリ２９３ｃの値とから、ディスプレイ２０２で表示される動画像のフレームレートを算出する。

前回タイムメモリ２９３ｃは、ディスプレイ２０２で表示される動画像のフレームレートを算出するために用いられるメモリであり、ディスプレイ２０２へ出力された、直前の画像データ（修正画像データ）のタイムスタンプを格納するメモリである。前回タイムメモリ２９３ｃは、受信画像メモリ２９３ａの画像データ（修正画像データ）が、ディスプレイ２０２へ出力されるタイミングで、前回タイムメモリ２９３ｃに、受信タイムメモリ２９３ｂの値を書き込むことで更新される。また、ＣＰＵ２９１は、前回タイムメモリ２９３ｃの値と、受信タイムメモリ２９３ｂの値とを参照することで、ディスプレイ２０２に続けて表示されるフレーム画像の生成日時（車側制御装置１００において、カメラ１２から画像データを取得した日時）を示す、２つのタイムスタンプを得ることができる。後述する画像表示処理（図１０参照）では、この２つのタイムスタンプの差分を求め、その差分の逆数を、ディスプレイ２０２上で表示される動画像のフレームレートとして算出する。算出されたフレームレートは、ＣＰＵ２９１によって、通信装置２０６へ出力される。これにより、通信装置２０６から車両１へ、ディスプレイ２０２で表示される動画像のフレームレートが送信される。

次に、図６から図９のフローチャートおよび説明図を参照して、車側制御装置１００内のＣＰＵ９１により実行される画像送信処理を説明する。図６は、画像送信処理を示すフローチャートである。この画像送信処理は、操作センター２００から送信された遠隔操作の開始を示す信号が、通信装置１４を介してＣＰＵ９１で受信された場合に行われる処理であり、車両１のカメラ１２で撮像される画像からディスプレイ２０２に表示させる動画像のフレーム画像を示す画像データ（修正画像データ）を生成し、生成した画像データを、通信装置１４へ出力する処理である。

画像送信処理がＣＰＵ９１によって実行されると、ＣＰＵ９１は、まず、送信許可フラグ９３ｃが、割込処理（図示せず）に基づいてオンされているか否かを判別する（Ｓ１１）。送信許可フラグ９３ｃがオンされている場合は（Ｓ１１：Ｙｅｓ）、送信許可フラグ９３ｃをオフして（Ｓ１２）、カメラ１２で撮像されている画像を示す画像データを、カメラ１２から画像データメモリ９３ａに転送させて、画像データメモリ９３ａに格納する（Ｓ１３）。

次に、ＣＰＵ９１は、タイマ１５によって出力されている日時情報を取得することで、Ｓ１の処理で取得した画像データが生成された日時を示すタイムスタンプを取得して、タイムメモリ９３ｄへ格納する（Ｓ１４）。速度センサ１０の出力から車両速度を算出し、算出した車両速度を車速メモリ９３ｅへ格納すると共に（Ｓ１５）、操舵角センサ１１から車両１の操舵角を取得し、その操舵角を操舵角メモリ９３ｆへ格納する（Ｓ１６）。

Ｓ１６の実行後は、修正画像データ生成処理（Ｓ１７）を実行し、Ｓ１３の処理によって画像データメモリに格納された画像データに基づいて、ディスプレイ２０２に表示させる動画像のフレーム画像を示す、画像データ（修正画像データ）を取得し、送信画像バッファ９３ｂに格納させる。

ここで、図７を参照して、車側制御装置１００のＣＰＵ９１によって実行される修正画像データ生成処理（Ｓ１７）について説明する。

この修正画像データ生成処理では、ナビゲーション装置１３から、車両１が走行する区間に関する情報を取得し（Ｓ３１）、取得した情報に基づいて車両１が走行している走行区間を判定する（Ｓ３２）。

このＳ３２の処理によって、車両１の走行区間が「市街地」であると判定された場合は（Ｓ３２：「市街地」）、ＣＰＵ９１は、画角マップメモリ９２ｂを参照して、本処理で生成するディスプレイ２０２に表示させるフレーム画像の画角を取得する（Ｓ３３）。即ち、画角マップメモリ９２ｂに格納される画角マップにおいて、走行区間が「市街地」である場合の、車速メモリ９３ｅに格納される車両速度と、受信フレームレートメモリ９３ｇに格納されるフレームレートとに対応する画角を取得する。

次に、車速メモリ９３ｅに格納された車両速度と操舵角メモリ９３ｆに格納された車両１の操舵角とから、カメラ１２の光軸（本実施形態ではｙ軸とする）と、カメラ１２から、車両１走行が予測される予測経路の路面上に設定される注視点Ｑを結ぶ線とが成す角度φｓ（水平方向の中心位置角度φｓ）を求める（Ｓ３４）。

ここで、図８を参照して、Ｓ３４の処理によって、水平方向の中心位置角度φｓを算出する方法の一例を説明する。図８は、予測経路上の注視点から水平方向の中心位置角度φを算出する方法を説明するための説明図である。ここでは、車両１の前後方向の中心軸をｙ軸とし、車両１の後輪軸をｘ軸として説明する。

車両１に対する車両速度（Ｖ）と、操舵角（δ）とから、車両の旋回曲率ρ（１／ｍ）を与える式は、一般によく知られており、次式から算出できる。
ρ＝δ／ＨＮ（１＋ＡＶ^２） …（１）
なお、式（１）の中のＨは、車両１のホイールベースであり、Ｎは、ステアリングギア比である。Ａは、車両１について定められたスタビリティーファクタという正の定数である。

この式（１）から、旋回半径Ｒが、次式で定められる。
Ｒ＝１／ρ …（２）
従って、車両１の予測経路は、図８に示すように、車両１から、車両１の前後方向（y軸方向）の垂直方向（ｘ軸方向）に距離Ｒだけ離れた点（図８の場合は、車両１の左側に距離Ｒ離れた位置にある点）を中心とした、半径Ｒの円弧として予測される。

ここで、操作者が実際に車両１に搭乗して操作を行う場合に、車両１の操作者は、車両速度が速い場合ほど、車両１から離れた位置にある点を目標に定め、その目標の周囲を確認ながら車両１の操作を行う。そこで、注視点Ｑの位置を、車両１の基準点（ｘ軸とｙ軸の交点）から、予測進路に沿って車両速度Ｖに比例する、次式の距離Ｌだけ離れた位置に定める。
Ｌ＝ａＶ＋ｂ（ａ、ｂは正の定数） …（３）
ここで、半径Ｒ、円弧をＬとした場合に求められる扇形の中心角θ（θ＝Ｌ／Ｒ）を用いて、注視点Ｑの位置座標をＱ（−Ｒｓｉｎθ，Ｒ（１−ｃｏｓθ））として求めることができる。

カメラ１２の位置Ｐがｘｙ座標でＰ（０，ｐ）として与えられる場合、注視点Ｑと、カメラ１２の位置Ｐの座標から、水平方向の中心位置角度φｓは、次式で与えられる。
φｓ＝ｔａｎ^−１｛Ｒｓｉｎθ／（Ｒ−Ｒｃｏｓθ−ｐ）｝ …（４）
この中心位置角度φｓは、続くＳ３５の処理で生成される修正画像データにおいて、その修正画像データが示すフレーム画像の水平方向の中心位置を示すものとなる。

図７に戻って説明を続ける。Ｓ３５の処理では、画像データメモリ９３ａの画像データから、その画像データが示すフレーム画像の左右の外縁（エッジ）に位置する領域のデータを削除して、修正画像データを生成する（Ｓ３５）。ここで、Ｓ３３の処理によって、画角マップメモリ９２ｂから取得された水平画角をαとすると、画像データメモリ９３ａの画像データから、その画像データが示すフレーム画像において、φｓ−α／２≦φ≦φｓ＋α／２（φは水平画角）の範囲よりも広角側（外側）に配置される各ピクセルのデータを削除する。そして、削除した残りのデータを、修正画像データとして生成する。これにより、修正画像データのデータ量は、Ｓ３３の処理で取得された画角に応じたサイズとなる。

そして、Ｓ３５の処理によって生成された修正画像データを、送信画像バッファ９３ｂに格納し（Ｓ３６）、修正画像データ生成処理を終了する。

Ｓ３２の処理に戻って説明を続ける。Ｓ３２の処理において、車両１の走行区間が「トンネル」であると判定された場合は（Ｓ３２：「トンネル」）、ＣＰＵ９１は、画角マップメモリ９２ｂに格納される画角マップにおいて、走行区間が「トンネル」である場合の、車速メモリ９３ｅに格納される車両速度と、受信フレームレートメモリ９３ｇに格納されるフレームレートとに対応する画角を取得する（Ｓ３７）。

次に、車速メモリ９３ｅに格納された車両速度と操舵角メモリ９３ｆに格納された車両１の操舵角とから、車速メモリ９３ｅに格納された車両速度と操舵角メモリ９３ｆに格納された車両１の操舵角とから、カメラ１２の光軸（本実施形態ではｙ軸とする）と、カメラ１２から、車両１走行が予測される予測経路の路面上に設定される注視点Ｑを結ぶ線とが成す角度を求める（Ｓ３８）。車両１の走行区間が「トンネル」である場合は、このＳ３８に続いて実行されるＳ３９の処理によって、画像データメモリ９３の画像データから、画像の左右の外縁（エッジ）に位置するピクセルだけでなく、上下の外縁（エッジ）に位置するピクセルについても削除する。本実施形態では、左右の外縁（エッジ）に位置するピクセルを削る際に基準となる水平方向の中心位置角度φｓについては、前述のＳ３４の処理と同様にして求める。一方、上下の外縁（エッジ）に位置するピクセルを削る際に基準となる垂直方向の中心位置角度ωｓについては、予め定めた固定値（例えば「０」）であるものとする。なお、垂直方向の中心位置角度ωｓについても、カメラ１２の光軸と、カメラ１２と前述の注視点Ｑを結ぶ線とが成す垂直方向の角度を求め、その角度を中心位置角度ωｓとして採用しても良い。

次に、画像データメモリ９３の画像データから、その画像データが示すフレーム画像の上下左右の外縁（エッジ）に位置する領域のデータを削除して、修正画像データを生成する（Ｓ３９）。ここで、画角マップメモリ９２ｂから取得された水平画角をα、垂直画角をβとすると、画像データメモリ９３の画像データから、その画像データが示すフレーム画像において、φｓ−α／２≦φ≦φｓ＋α／２，ωｓ−β／２≦ω≦ωｓ＋β／２（φは水平画角、ωは垂直画角）の範囲よりも広角側（外側）に配置される各ピクセルのデータを削除する。そして、削除した残りのデータを、修正画像データとして生成する。これにより、修正画像データのデータ量は、Ｓ３７の処理で取得された画角に応じたサイズとなる。

次に、画像データメモリ９３の画像データから、Ｓ３８で算出された基準画角を中心とする、画角マップメモリ９２ｂから取得された画角の範囲よりも外側に配置される各ピクセルのデータを削除し、残りのデータを、修正画像データとして生成する（Ｓ３９）。生成された修正画像データは、送信画像バッファ９３ｂに格納し（Ｓ３６）、修正画像データ生成処理を終了する。

一方、Ｓ３２の処理において、車両１の走行区間がその他の区間であると判定された場合は（Ｓ３２：その他）、ＣＰＵ９１は、画像データメモリ９３ｂの画像データを、送信画像バッファ９３ｃに格納して、修正画像データ生成処理を終了する。

図６に戻って、画像送信処理の説明を続ける。

Ｓ１７の処理によって、送信画像バッファ９３ｂに画像データ（修正画像データ）が格納されると、ＣＰＵ９１は、送信画像バッファ９３ｂに格納された画像データ（修正画像データ）と、タイムメモリ９３ｄに格納されているタイムスタンプとを、通信装置１４へ出力する（Ｓ１８）。これにより、通信装置１４を介して、Ｓ１１〜Ｓ１７の処理によって生成された画像データ（修正画像データ）とタイムスタンプとが、操作センター２００へ送信される。

次に、最低フレームレートメモリ９２ｃにおいて、車両１の車両速度と対応する最低フレームレートを取得し（Ｓ１９）、取得した最低フレームレートよりも、受信フレームレートメモリ９３ｇに格納された値の方が大きな値であるかを判別する（Ｓ２０）。

Ｓ２０の処理において、最低フレームレートよりも、受信フレームレートメモリ９３ｇに格納された値の方が大きな値であると判別された場合は（Ｓ２０：Ｙｅｓ）、そのまま、Ｓ１１の処理に戻る。一方、Ｓ２０の処理において、受信フレームレートメモリ９３ｇに格納された値が最低フレームレート以下であると判別された場合は（Ｓ２０：Ｎｏ）、減速処理を実行し、車輪駆動装置３へ指令する車両速度の目標値を低減させてから（Ｓ２１）、Ｓ１１の処理に戻る。このように、受信フレームレートメモリの値（即ち、ディスプレイ２０２で表示されている動画像のフレームレート）が、車両速度に応じて大きな値となる最低フレームレートを下回っている場合に（Ｓ２０：Ｎｏ）、車両速度の目標値を落として（Ｓ２１）、車両１を減速させるので、操作者の速度感覚を実際の車両速度に近づけることができる。

Ｓ１１の処理に戻って説明を続ける。Ｓ１１の処理によって、送信許可フラグ９３ｃがオンされていない（即ち、オフ状態である）と判断された場合は（Ｓ１１：Ｎｏ）、送信許可フラグ９３ｃがオン状態となるまで、Ｓ１１の処理を繰り返して、Ｓ１２以降の処理を待機させる。

以上の通り、Ｓ１１の処理に戻った後は、Ｓ１１〜Ｓ２１の処理を繰り返す。処理が繰り返されることで、修正画像データ生成処理によって生成された画像データ（修正画像データ）とその画像データのタイムスタンプとが、時間毎に操作センター２００へ送信されることとなる。これにより、画像データ（修正画像データ）が示すフレーム画像から構成される動画像を、操作センター２００のディスプレイ２０２に表示させることができる。

ここで、図９を参照して、修正画像データ生成処理によって生成されたフレーム画像によって構成される動画像について説明する。図９（ａ）は、車両１が「その他」の走行区間を走行する場合に、修正画像データ生成処理によって生成されるフレーム画像Ａを示す模式図であり、図９（ｂ）は、車両１が「市街地」を走行する場合に、修正画像データ生成処理によって生成されるフレーム画像Ｂを示す模式図であり、図９（ｃ）は、車両１が「トンネル」を走行する場合に、修正画像データ生成処理によって生成されるフレーム画像Ｃを示す模式図である。

図９（ａ）に示すフレーム画像Ａは、車両１が「その他」の走行区間を走行する場合に、カメラ１２で撮像された動画像を構成するフレーム画像データそのままの画像データによって示されるフレーム画像である（図７のＳ４０参照）。つまり、フレーム画像Ａは、図２（ｂ）で説明した動画像のフレーム画像と同じものである。「その他」の走行区間、即ち、車両１の周囲に目立つ構造物や建物が存在しない拓けた区間では、表示範囲（画角）の最も広いフレーム画像Ａからなる動画像がディスプレイ２０２に表示される。

図９（ｂ）に示す、フレーム画像Ｂは、車両１が「市街地」の走行区間を走行する場合に生成されるフレーム画像である。フレーム画像Ｂは、カメラ１２で撮像された動画像のフレーム画像（フレーム画像Ａ）に対して、左右のエッジＥ２，Ｅ４付近に配置されるピクセルが削除されている。詳細には、カメラ１２の光軸に対する車両１の予測経路上の注視点Ｑの水平方向角度（水平方向の中心位置角度φｓ）を中心として画角マップメモリ９２ｂから取得した水平方向の画角の範囲で確保される領域のエッジＥ５，Ｅ６から、左右のエッジＥ２，Ｅ４までの間に配置されるピクセルが削除されている（図７のＳ３３〜Ｓ３５参照）。ピクセルが削除された領域については、フレーム画像Ｂでは表示できないため、フレーム画像Ｂからなる動画像では、左右のエッジＥ２，Ｅ４付近のピクセルが削除された領域が表示されないものとなる。

図２（ｂ）を参照して前述したように、カメラ１２で撮像された動画像では、エッジＥ１〜Ｅ４に位置する領域に近いほど路面や物体の流れが速い。しかし、フレーム画像Ｂからなる動画像では、路面や物体の流れが最も速いエッジＥ２，Ｅ４からエッジＥ５，Ｅ６までの領域が削除されることで、削除される領域の分だけ、カメラ１２で撮像された動画像と比べて、動画像全体の路面等の流れはゆっくりしたものとなる。よって、フレーム画像Ｂからなる動画像をディスプレイ２０２に表示させることで、カメラ１２で撮像された動画像をそのまま表示させる場合よりも、遅い速度感覚を操作者に与えることができる。

ここで、「市街地」では、車両１の走行路に隣接する建物や走行路に沿って設けられた側壁等の物体が存在するため、カメラ１２で撮像される動画像において、このような物体が車両１の側方を流れる様子が撮像されることがある。しかし、「市街地」を走行する場合は、カメラ１２で撮像された動画像に対して、左右のエッジＥ２，Ｅ４からエッジＥ５，Ｅ６までの領域が削除された動画像をディスプレイ２０２へ表示させる。これにより、その動画像において、車両１の側方における物体の流れにより、操作者の速度感覚を速める働きを、動画像全体の路面や物体等の流れを遅くすることによって打ち消すことができる。しかも、「市街地」に存在し得る車両１の側方の物体が、左右のエッジＥ２，Ｅ４付近で最も速く流れる様子を表示させないので、ディスプレイ２０２の動画像に表示される車両１の側方を流れる物体によって、操作者の速度感覚が速められてしまうことを確実に抑制できる。

図９（ｃ）に示す、フレーム画像Ｃは、車両１が「トンネル」の走行区間を走行する場合に生成されるフレーム画像である。フレーム画像Ｃは、カメラ１２で撮像された動画像のフレーム画像（フレーム画像Ａ）に対して、上下左右のエッジＥ１〜Ｅ４付近に配置されるピクセルが削除されている。詳細には、所定の中心位置角度ωｓを中心として画角マップメモリ９２ｂから取得した垂直方向の画角の範囲で確保される領域のエッジＥ７，Ｅ８から、上下のエッジＥ１，Ｅ３までの間に配置されるピクセルと、前述のエッジＥ５，Ｅ６から、左右のエッジＥ２，Ｅ４までの間に配置されるピクセルとが削除されている（図７のＳ３７〜Ｓ３９参照）。これにより、フレーム画像Ｃからなる動画像では、上下左右のエッジＥ１〜Ｅ４付近のピクセルが削除された領域が表示されない。このため、フレーム画像Ｃからなる動画像では、路面や物体の流れが最も速いエッジＥ１〜Ｅ４からエッジＥ５〜Ｅ８までの領域が削除されることで、削除される領域の分だけ、カメラ１２で撮像された動画像と比べて、動画像全体の路面等の流れを遅くなる。よって、フレーム画像Ｂからなる動画像をディスプレイ２０２に表示させることで、カメラ１２で撮像された動画像をそのまま表示させる場合よりも、遅い速度感覚を操作者に与えることができる。

ここで、「トンネル」では、車両１の上方と左右の側方に天井と壁とが存在するため、カメラ１２で撮像される動画像において、これらの物体（天井と壁）が車両１の上方と側方を流れる様子が撮像される。しかし、「トンネル」を走行する場合は、カメラ１２で撮像された動画像に対して、上下左右のエッジＥ１〜Ｅ４からエッジＥ５〜Ｅ８までの領域が削除されたフレーム画像Ｃからなる動画像をディスプレイ２０２へ表示させる。このため、その動画像において、路面や物体（天井と壁）の流れにより、操作者の速度感覚を速める働きを、動画像全体の路面や物体等の流れを遅くすることで打ち消すことができる。

かかる動画像では、車両１の側方に存在する壁の流れによる操作者の速度感覚を速める働きを、その壁が左右のエッジＥ２，Ｅ４付近において最も速く流れる様子を表示させないことで抑制するうえ、車両１の上方における天井の流れと、車両１の下方における路面の流れによる操作者の速度感覚を速める働きを、それぞれ、上方のエッジＥ１付近、下方のエッジＥ３付近において最も速く流れる様子を表示させないことで抑制する。このため、「トンネル」に存在する車両１の路面や物体（天井と壁）の流れにより、操作者の速度感覚が速められてしまうことを確実に抑制できる。

このように、車両１によれば、ナビゲーション装置１３から取得される情報に基づいて、車両１の周辺に物体の存在が想定される走行区間（即ち、「市街地」、「トンネル」）を走行する場合に、カメラ１２から取得される動画像から、エッジＥ１〜Ｅ４付近のピクセルを削除した動画像を、ディスプレイ２０２に表示させて動画像全体の路面や物体の流れを遅くする。このため、ディスプレイ２０２に表示される動画像に、車両１の走行区間に存在する物体の流れる様子が表示されることによって、操作者の速度感覚が速められてしまうこと抑制できる。

また、車両１によれば、ナビゲーション装置１３から取得される情報に基づいて想定される、車両１と周囲の物体との位置関係に応じて、カメラ１２から取得される動画像から、物体が存在すると想定される方向のエッジＥ１〜Ｅ４付近のピクセルを削除した動画像を、ディスプレイ２０２に表示させるので、車両１の周辺に存在する物体が、動画像のエッジＥ１〜Ｅ４付近で最も速く流れる様子を確実に表示させないようにして、操作者の速度感覚が、ディスプレイ２０２に表示される動画像によって速められてしまうことをより確実に防止できる。

また、「トンネル」では、車両１の周辺に連続して物体が存在することが想定され、カメラ１２で撮像される動画像において、車両１の進行と共に流れる物体の占める割合が大きいことが想定される。一方、「市街地」では、車両１の周辺に物体が点在することが想定され、それ故、カメラ１２で撮像される動画像において、車両１の進行と共に流れる物体の占める割合が、「トンネル」に比して少ないことが想定される。カメラ１２で撮像された動画像の中に、車両１の進行と共に流れる物体の占める割合が多いほど、操作者の速度感覚を速める働きをする対象が多くなるので、その割合に応じて、操作者の速度感覚がより速められてしまうおそれがある。

ここで、画角マップメモリ９３ｂに格納された画角マップ（図４参照）によれば、車両速度およびディスプレイ２０２で表示される動画像のフレームレートが同じ条件であれば、「市街地」よりも「トンネル」の方が、小さな画角のフレーム画像が、修正画像データ生成処理（図７参照）によって生成されることが示されている。よって、車両１の走行区間が、カメラ１２で車両１の進行と共に流れる物体が撮像され易い区間である場合ほど、修正画像データ生成処理（図７参照）では、エッジＥ１〜Ｅ４から、より内側にかけてピクセルが削除されたフレーム画像が、ディスプレイ２０２に表示される動画像のフレーム画像として生成される。これにより、ディスプレイ２０２に表示される動画像全体の流れを、カメラ１２で撮像される動画像に占める物体の割合が多い走行区間を走行する場合ほど遅くするので、車両１の走行区間に拘わらず、操作者に実際の車両速度に応じた速度感覚を与えることができる。

また、前述したように、動画像の画角に対して車両速度が速く、その動画像のエッジ付近の領域で車両速度に比べて路面等が高速で流れる様子が顕著になってしまうと、動画像を見た操作者に与えられる速度感覚が実際の車両速度よりも速くなってしまう傾向がある。これに対し、画角マップメモリ９３ｂに格納された画角マップ（図４参照）によれば、走行区間が「市街地」又は「トンネル」である場合において、車両速度が速いときほど、小さな画角のフレーム画像が修正画像データ生成処理（図７参照）によって生成されることが示されている。このため、修正画像データ生成処理では、車両速度が速いときほど、エッジＥ１〜Ｅ４から、より内側にかけてピクセルが削除されたフレーム画像が、ディスプレイ２０２に表示される動画像のフレーム画像として生成される。よって、ディスプレイ２０２に表示させる動画像において、車両速度が速い場合ほど、ピクセルが削除される領域の範囲を、路面等の流れが最も速いエッジＥ１〜Ｅ４から路面等の流れが速い順に（即ち、より動画像の内側にかけて）拡大させるので、ディスプレイ２０２に表示される動画像全体の流れの速さを抑制することができる。これにより、車両速度に拘わらず、操作者の速度感覚を実際の車両速度に近づけることができる。

また、ディスプレイ２０２で表示される動画像のフレームレートが低い場合は、その動画像を見ながら車両１を操作する操作者の速度感覚が、実際の車両速度に対して速くなってしまうおそれある。

これに対し、画像マップメモリ９２ｂに格納された画像マップ（図４参照）によれば、車両１の走行区間が「市街地」又は「トンネル」である場合において、ディスプレイ２０２で表示される動画像のフレームレートが車両速度に応じた閾値Ｎｌ，Ｎｍ，Ｎｈ未満であるときに、修正画像データ生成処理（図７参照）によって生成されるフレーム画像が、閾値Ｎｌ，Ｎｍ，Ｎｈ以上であるときの基準画角よりも小さな画角で生成されることが示されている。このため、フレームレートが車両速度に応じた閾値Ｎｌ，Ｎｍ，Ｎｈ未満である場合に生成されるフレーム画像は、そのフレームレートが閾値Ｎｌ，Ｎｍ，Ｎｈ以上である場合に生成される基準画角のフレーム画像に対して、エッジＥ１〜Ｅ４付近のピクセルが削除されたものとなる。よって、ディスプレイ２０２に表示させる動画像において、フレームレートが閾値Ｎｌ，Ｎｍ，Ｎｈ未満である場合は、フレームレートが閾値Ｎｌ，Ｎｍ，Ｎｈ以上である場合に基準画角で表示される動画像よりも、動画像において路面等の流れが速いエッジＥ１〜Ｅ４付近の領域を表示させないものとするので、ディスプレイ２０２に表示される動画像全体の流れの速さを抑制することができる。よって、ディスプレイ２０２に表示される動画像のフレームレートが低い場合に、操作者の速度感覚が実際の車両速度より速くなってしまうことを抑制できる。

また、ディスプレイ２０２で表示される動画像のフレームレートが低下するほど、操作者の速度感覚は実際の車両速度よりも速くなる傾向がある。

これに対し、図４に示すように、画角マップは、ディスプレイ２０２で表示される動画像のフレームレートが車両速度に応じた閾値Ｎｌ，Ｎｍ，Ｎｈを下回ると、フレームレートの低下に比例して、画角マップメモリ９２ｂから取得する画角が小さくなることを示している。ディスプレイ２０２で表示される動画像のフレームレートが車両速度に応じた閾値Ｎｌ，Ｎｍ，Ｎｈを下回っている場合は、フレームレートが低いときほど、エッジＥ１〜Ｅ４から、より内側にかけてピクセルが削除されたフレーム画像が、修正画像データ生成処理（図７参照）によって生成される。よって、ディスプレイ２０２に表示させる動画像において、フレームレートが遅い場合ほど、ピクセルが削除される領域の範囲を、路面等の流れが最も速いエッジＥ１〜Ｅ４から路面等の流れが速い順に（即ち、より動画像の内側に）拡大させるので、フレームレートが低い場合ほど、ディスプレイ２０２に表示される動画像全体の流れの速さを抑制することができる。これにより、ディスプレイ２０２で表示される動画像のフレームレートに拘わらず、操作者の速度感覚を、実際の車両速度に近づけることができる。

また、車両速度が速いほど、ディスプレイ２０２に表示される動画像を見て車両１を操作する操作者の速度感覚が、実際の車両速度よりも速くなる傾向は、顕著なものとなってしまう。具体的には、車両速度が速いほど、ディスプレイ２０２に表示される動画像におけるわずかなフレームレートの低下で、操作者が実際の車両速度よりも速い速度感覚を感じてしまう。

これに対し、図４に示すように、画角マップは、車両速度が速いほど、フレームレートの閾値Ｎｌ，Ｎｍ，Ｎｈが、大きな値となっている。このため、ディスプレイ２０２で表示される動画像のフレームレートが低下したときは、車両速度が速いほど、車側制御装置１００の画像送信処理において、ＣＰＵ９１により、基準画角よりも小さな画角が画角マップメモリ９２ｂから取得され易くなる。よって、車両速度が速くなり、操作者の速度感覚が、フレームレートの低下に伴って高まり易くなった状況下では、積極的にディスプレイ２０２へ表示させる動画像の画角を小さくして、操作者の速度感覚を抑制できる。従って、車両速度に拘わらず、ディスプレイ２０２で表示される動画像から、実際の車両速度に近い速度感覚を操作者へ与えることができる。

また、修正画像データ生成処理（図７参照）において、画角が確保される領域の中心を、車両１の進行が予測される、車両１の予測経路上にある注視点Ｑにしている。よって、ディスプレイ２０２に表示される動画像において、操作者に対して実際の車両速度よりも速い速度感を与えてしまう領域については、操作者は視認しないようにしつつも、車両の進行方向については確実に視認させることができる。

また、かかる動画像が表示されたディスプレイ２０２において、操作者が視認する領域の中心である注視点Ｑは、車両１の予測経路上の点なので、操作者の意識を車両１の予測経路に向かせることができる。

しかも、操作者が実際に車両１に搭乗して車両１の操作を行う場合、操作者は、車両速度が速い場合ほど、車両１から離れた点に走行目標を定め、走行目標とする点の周辺を見ながら操作を行う。ここで、注視点Ｑは、車両１の予測経路において、車両１から車両速度と比例した距離だけ離れた位置に予測される点である。従って、操作センター２００から車両１を操作する操作者の注意を、操作者が実際に車両１に搭乗する場合と同じ領域に向かせながら、車両１の操作を行わせることができる。

前述したように、車両１から操作センター２００のへ画像データ（修正画像データ）を伝送する伝送経路の通信速度が遅く、フレーム画像１枚を車両１から操作センター２００へ送信するために必要な通信時間が長くなってしまうと、その分、操作センター２００のディスプレイ２０２に映し出される動画像のフレームレートが低下してしまう。

これに対し、本実施形態では、修正画像データ生成処理（図７参照）において、修正画像データを、カメラ１２で撮像された１枚のフレーム画像の画像データから、画角マップメモリ９２ｂから取得される画角よりも広角側に位置するピクセルのデータを削除することによって生成する。ディスプレイ２０２で表示されている動画像のフレームレートが車両速度に応じた閾値Ｎｌ，Ｎｍ，Ｎｈ未満であるときは、修正画像データ生成処理（図７参照）において、そのフレームレートが閾値Ｎｌ，Ｎｍ，Ｎｈ以上であるときの基準画角よりも小さな画角が、画角マップメモリ９２ｂから取得される。このため、フレームレートが車両速度に応じた閾値Ｎｌ，Ｎｍ，Ｎｈ未満であるときの修正画像データによって示されるフレーム画像１枚あたりのデータ量は、フレームレートが閾値Ｎｌ，Ｎｍ，Ｎｈ以上であるときよりも小さくなる。このため、前述の伝送経路における通信速度が遅くなって、フレームレートが閾値Ｎｌ，Ｎｍ，Ｎｈ未満となった場合に、フレームレートが閾値Ｎｌ，Ｎｍ，Ｎｈ以上である場合よりもフレーム画像１枚あたりのデータ量を落とした画像データを生成し、車両１から操作センター２００へ送信するので、車両１から操作センター２００へ送信される時間当たりのフレーム画像の数が少なくなることを抑制できる。これにより、通信速度の低下に基づいて、操作センター２００のディスプレイ２０２に、フレームレートが低下した動画像が表示されることを防止できる。よって、ディスプレイ２０２にフレームレートの低い動画像が表示されることで、操作者の速度感覚が実際の車両速度よりも高まってしまうことを抑制できる。

また、フレームレートが閾値Ｎｌ，Ｎｍ，Ｎｈ未満である場合は、フレームレートが低いときほど、画角マップメモリ９２ｂから取得される画角が小さくなるので、その画角に応じて、修正画像データ生成処理によって生成される修正画像データのデータ量も小さくなる。このため、画像データ（修正画像データ）を伝送する伝送経路の通信速度の低下に基づく、ディスプレイ２０２で表示される動画像のフレームレートの低下をより好適に抑制できる。

次に、図１０のフローチャートを参照して、操作センター２００に設けられた操作側制御装置２０１のＣＰＵ２９１により実行される画像表示処理について説明する。図１０は、画像表示処理を示すフローチャートである。この画像表示処理は、操作センター２００において、車両１を遠隔操作する場合に実行される処理であり、通信装置２０６によって受信された画像データ（修正画像データ）を、受信の度にディスプレイ２０２へ出力することによって、車両１の周辺の動画像をディスプレイ２０２上に表示させる処理である。

この画像表示処理では、まず、受信タイムメモリ２９３ｂと、前回タイムメモリ２９３ｃとのそれぞれに格納されたタイムスタンプを比較し、受信タイムメモリ２９３ｂのタイムスタンプの方が後の日時を示しているかを判別する（Ｓ６１）。ここで、受信タイムメモリ２９３ｂの値は、車側制御装置１００から送信された画像データ（修正画像データ）とタイムスタンプとが通信装置２０６で受信されたタイミングで発生する割込処理（図示せず）において、通信装置２０６で受信されたタイムスタンプを、ＣＰＵ２９１が書き込んだものである。また、前回タイムメモリ２９３ｃの値は、予め行われている後述のＳ６５の処理において、受信タイムメモリ２９３ｂの値が書き込まれたものである。

よって、前回のＳ６５の処理が行われた後に、新たな画像データ（修正画像データ）とタイムスタンプとが通信装置２０６で受信されていなければ、割込処理が発生せず、受信タイムメモリ２９３ｂのタイムスタンプと、前回タイムメモリ２９３ｃのタイムスタンプとは、同じ日時を示す。このため、Ｓ６１の処理において、受信タイムメモリ２９３ｂのタイムスタンプの方が後の日時を示しているとは判別されない（Ｓ６１：Ｎｏ）。かかる場合は、新たな画像データ（修正画像データ）とタイムスタンプとが通信装置２０６で受信され、割込処理によって受信タイムメモリ２９３ｂの値が更新されるまで、Ｓ６１の処理を繰り返し実行する。

一方、新たな画像データ（修正画像データ）とタイムスタンプとが通信装置２０６で受信されていると、Ｓ６１の処理において、受信タイムメモリ２９３ｂのタイムスタンプの方が、前回タイムメモリ２９３ｃのタイムスタンプよりも後の日時を示していると判断され（Ｓ６１：Ｙｅｓ）、Ｓ６２〜Ｓ６５の処理を実行する。

Ｓ６２の処理では、受信タイムメモリ２９３ｂのタイムスタンプが示す、受信画像メモリ２９３ａに格納される画像データ（修正画像データ）の生成日時と、前回タイムメモリ２９３ｃのタイムスタンプが示す、直前にディスプレイ２０２に出力された画像データ（修正画像データ）の生成日時との差分から、それら２つの画像データが生成された時間間隔を算出する。そして、その時間間隔の逆数を、ディスプレイ２０２で表示される動画像のフレームレートとして算出する。Ｓ６２の処理によって算出されたフレームレートは、通信装置２０６へ出力される（Ｓ６３）。これにより、通信装置２０６を介して、操作側制御装置２０１から車側制御装置１００に対して、ディスプレイ２０２上で表示される動画像のフレームレートが送信される。

次に、ＣＰＵ２９１は、受信画像メモリ２９３ａに格納されている画像データ（修正画像データ）を、ディスプレイ２０２へ出力する（Ｓ６４）。これにより、画像データに基づいてディスプレイ２０２で表示されるフレーム画像が更新される。

次に、前回タイムメモリ２９３ｃに記憶されている値を、受信タイムメモリ２９３ｂに記憶されているタイムスタンプに書き換え（Ｓ６５）、Ｓ６１の処理に戻る。そして、Ｓ６１〜Ｓ６５までの処理を繰り返し実行する。これにより、ディスプレイ２０２で表示されるフレーム画像を、逐次更新して、動画像を表示させることができる。

次いで、図１１〜図１３を参照して、第２実施形態として、本発明を操作センター２００に適用した場合の一実施形態について説明する。上述の第１実施形態では、車両１の制御装置１００に、車両１のカメラ１２で撮像された動画像のうち、操作センター２００のディスプレイ２０２に表示させる範囲（画角）を求めさせ、その範囲に含まれる動画像を表示させるための画像データ（修正画像データ）を、操作センター２００の操作側制御装置２０１へ送信させるように構成した。

これに対し、第２実施形態では、車側制御装置１００では、車両１のカメラ１２で撮像された動画像に基づく画像データを、そのまま操作側制御装置２０１へ送信させるように構成し、且つ、操作側制御装置２０１では、車両制御装置１００から受信した画像データに基づいてディスプレイ２０２に表示させる動画像の表示範囲（画角）を求めさせ、求めた表示範囲で、ディスプレイ２０２に動画像を表示させるように構成した。以下、第１実施形態と同一の要素には同一の符号を付し、その図示と説明を省略する。

まず、図１１を参照して、車両１及び操作センター２００の詳細構成について説明する。図１１は、車両１及び操作センター２００の電気的構成を示したブロック図である。

まず、車両１について説明する。第２実施形態における車両１の電気的構成において、第１実施形態と異なる点は、車側制御装置１００のＲＯＭ９２およびＲＡＭ９３である。

ＲＯＭ９２には、プログラムメモリ９２ａが設けられている。プログラムメモリ９２ａには、第１実施形態とは処理が一部異なる、画像送信処置を実行するためのプログラムが格納されている。詳細については、図１２を参照して後述するが、カメラ１２で撮像された画像のうち、操作センター２００のディスプレイ２０２に表示させる範囲（画角）を、第１実施形態のように求めることなく、カメラ１２で撮像された画像を示す画像データを、そのまま操作側制御装置２０１へ送信する処理についてのプログラムが、プログラムメモリ９２ａに格納されている。

また、第１実施形態では、ＲＯＭ９２に画角マップメモリ９２ｂを設け、車側制御装置１００において、操作センター２００のディスプレイ２０２に表示させる動画像の画角を、画角マップメモリ９２ｂを参照して求める場合を説明したが、第２実施形態のＲＯＭ９２には、画角マップメモリ９２ｂは設けられていない。詳細は後述するが、第２実施形態では、操作側制御装置２０１において、ディスプレイ２０２に表示させる動画像の画角を決定するため、第１実施形態のように、車側制御装置１００のＲＯＭ９２に画角マップメモリ９２ｂを設ける必要が無いためである。

また、第１実施形態のＲＯＭ９２では、最低フレームレートメモリ９２ｃを設け、車側制御装置１００において、ディスプレイ２０２上で表示されている動画像のフレームレートが、最低フレームレートを下回っていると判断された場合に、車両１を減速させる場合を説明したが、第２実施形態のＲＯＭ９２には、最低フレームレートメモリ９２ｃは設けられていない。詳細は後述するが、第２実施形態では、操作側制御装置２０１において、ディスプレイ２０２上で表示されている動画像のフレームレートと、予め定められた最低フレームレートとを比較して、車両１の減速指令を生成する処理を行うので、第１実施形態のように、車側制御装置１００のＲＯＭ９２に最低フレームレートメモリ９２ｃを設ける必要が無いためである。

第２実施形態のＲＡＭ９３には、第１実施形態と同様に、画像データメモリ９３ａと、送信許可フラグ９３ｃと、タイムメモリ９３ｄと、車速メモリ９３ｅと、操舵角メモリ９３ｆとが設けられている。一方で、第２実施形態のＲＡＭ９３には、第１実施形態のＲＡＭ９３に設けられていた送信画像バッファ９３ｂと、受信フレームレートメモリ９３ｇとが設けられていない。

第２実施形態のＲＡＭ９３に、送信画像バッファ９３ｂが設けられていないのは、次の理由による。即ち、詳細は後述するが、第２実施形態の画像送信処理（図１２参照）では、画像データメモリ９３ａに格納された画像データを、第１実施形態のように修正画像データに修正すること無く、そのまま操作側制御装置２０１へ送信する。このため、第２実施形態においては、第１実施形態のように、送信画像バッファ９３ｂを設けて、修正画像データを一時的に格納する必要が無いためである。

第２実施形態のＲＡＭ９３に、受信フレームレートメモリ９３ｇが設けられていないのは、次の理由による。即ち、操作センター２００のディスプレイ２０２に表示される動画像のフレームレートに基づき、画角や車両１の車両速度の目標値を、車側制御装置１００にて求めていたが、第２実施形態では、それらを操作側制御装置２０１にて求める。このように、第２実施形態では、車側制御装置１００において、操作側制御装置２０１から受信したフレームレートに基づく処理が行われないためである。

次に、操作センター２００について説明する。第２実施形態における操作センター２００の電気的構成において、第１実施形態と異なる点は、操作側制御装置２０１のＲＯＭ２９２およびＲＡＭ２９３である。

ＲＯＭ２９２には、プログラムメモリ２９２ａと、画角マップメモリ３９２ｂと、最低フレームレートメモリ３９２ｃとが設けられている。プログラムメモリ２９２ａには、第１実施形態とは処理が一部異なる、画像表示処置を実行するためのプログラムが格納されている。詳細については、図１３を参照して後述するが、車側制御装置１００から画像データを受信した場合に、受信した画像データの示す画像のうち、操作センター２００のディスプレイ２０２に表示させる範囲（画角）を求め、その範囲に含まれる画像だけをディスプレイ２０２に表示させるためのプログラムが、プログラムメモリ２９２ａに格納されている。

画角マップメモリ３９２ｂは、操作者に実際の車両速度に応じた速度感覚を与える動画像のフレーム画像を生成するためのメモリであり、第１実施形態において車側制御装置１００の画角マップメモリ９２ｂに格納されていたものと同様の画角マップが格納されている。この画角マップメモリ３９２ｂは、後述する画像表示処理（図１３参照）において、ＣＰＵ２９１が、車側制御装置１００から受信した画像データが示すフレーム画像のうち、ディスプレイ２０２に表示させる範囲（画角）を求めるために、車両１に設けたナビゲーション装置１３で取得される車両１の走行区間を示す情報と、ディスプレイ２０２に表示されている動画像のフレームレートと、車両１の車両速度とに応じて参照される。なお、この画角マップメモリ３９２ｂに格納される画角マップは、第１実施形態の画角マップメモリ９２ｂに格納された画角マップと（図４参照）と同様のものなので、詳細な説明を省略する。

最低フレームレートメモリ３９２ｃは、ディスプレイ２０２で表示される動画像において最低限確保すべきフレームレート（最低フレームレート）が車両速度毎に対応付けて格納されているメモリである。この最低フレームレートメモリ３９２ｃは、後述する画像表示処理（図１３参照）において、車両１へ送信する車両速度の指令値を、ディスプレイ２０２で表示される動画像のフレームレートに応じたものとするために、ＣＰＵ２９１によって参照される。なお、この最低フレームレートメモリ３９２ｃにおける、車両速度と最低フレームレートとの対応関係は、第１実施形態の最低フレームレートメモリ９２ｃと同様なので、詳細な説明を省略する（図５参照）。

ＲＡＭ２９３には、受信画像メモリ２９３ａ、受信タイムメモリ２９３ｂ、および、前回タイムメモリ２９３ｃの他に、車速メモリ３９３ｄ、操舵角メモリ３９３ｅ、ナビ情報メモリ３９３ｇおよび表示画像メモリ３９３ｇが設けられている。

車速メモリ３９３ｄは、通信装置２０６によって受信された、車両１の車両速度を示す速度データを一時的に格納するためのメモリである。車速メモリ３９３ｄの値は、画像表示処理（図１３参照）において画角マップメモリ３９２ｂの値や最低フレームレートメモリ３９２ｃの値を取得するために、ＣＰＵ２９１によって参照される。

操舵角メモリ３９３ｅは、通信装置２０６によって受信された、車両１の操舵角を示す操舵角データを一時的に格納するためのメモリである。操舵角メモリ３９３ｅの値は、車両１の予測経路および予測経路上の注視点Ｑを算出するために、ＣＰＵ２９１によって参照される。

ナビ情報メモリ３９３ｆは、通信装置２０６によって受信された、車両１のナビゲーション装置１３で取得される車両１の走行区間を示す情報を、一時的に格納するためのメモリである。ナビ情報メモリ３９３ｆは、画像表示処理（図１３参照）において画角マップメモリ３９２ｂの値を取得するために参照される。

第２実施形態において、車速メモリ３９３ｄ、操舵角メモリ３９３ｅおよびナビ情報メモリ３９３ｆは、通信装置２０６によって、速度データ、操舵角データ、走行区間を示す情報がそれぞれ受信される場合に発生する、割込処理（図示せず）によって、それぞれ、通信装置２０６によって新たに受信されたものに更新される。

表示画像メモリ３９３ｇは、ディスプレイ２０２に表示される画像の画像データ（修正画像データ）を一時的に格納するためのメモリである。修正画像データは、受信画像メモリ２９３ａに格納された画像データを、ＣＰＵ２９１が画角マップメモリ２９２ｂから取得した画角に応じて修正したものである。表示画像メモリ３９３ｇは、２つの記憶領域を有している。表示画像メモリ３９３ｇは、後述する画像表示処理（図１３参照）において、受信画像メモリ９３ａから転送される画像データ（修正画像データ）に基づく画像データを、一方の記憶領域に格納する。このとき、他方の記憶領域において予め記憶する画像データ（修正画像データ）が、ディスプレイ２０２に対して転送される。これにより、画像データ（修正画像データ）によって示されるフレーム画像が、ディスプレイ２０２に表示される。なお、後述する画像表示処理では、受信画像メモリ９３ａから転送される画像データ（修正画像データ）の転送先となる記憶領域と、ディスプレイ２０２に対して画像データが転送される記憶領域とを、修正画像データ生成処理（Ｓ８１）が実行される度に交互に切り替えて使用する。後述する図１３の画像表示処理の説明においては、表示画像メモリ３９３ｇに設けたこれらの２つの記憶領域を用いる処理の流れについては説明を省略する。

次いで、図１２のフローチャートを参照して、車両１に搭載された車側制御装置１００のＣＰＵ９１により実行される画像送信処理について説明する。図１２は、画像送信処理を示すフローチャートである。この画像送信処理は、車両１の走行が操作センター２００から遠隔操作される場合に行われる処理であり、車両１のカメラ１２によって撮像される画像を、第１実施形態のように画角を修正すること無く、時間毎に画像データに変換して、その画像データを、逐次、通信装置１４へ出力する処理である。

この画像送信処理のうち、Ｓ１１〜Ｓ１６の各処理は、第１実施形態においてそれらの各処理と同一のステップ番号が付された処理と同一の処理が実行されるので、それらの処理については詳細な説明を省略する。

第２実施形態の画像送信処理では、通信装置１４からの通信許可信号に基づいて送信許可フラグ９３ｂがオンされるまで、Ｓ１２以降の処理を待機する（Ｓ１１：Ｎｏ）。送信許可フラグ９３ｂがオンされると（Ｓ１１：Ｙｅｓ）、カメラ１２から画像データを取得して、画像データメモリ９３ａに格納し（Ｓ１３）、タイマ１５から取得した日時情報を、タイムスタンプとしてタイムメモリ９３ｄへ格納し（Ｓ１４）、速度センサ１０から取得した車両速度を、車速メモリ９３ｅへ格納し（Ｓ１５）、操舵角メモリ９３ｅから取得した操舵角を、操舵角メモリ９３ｅへ格納し（Ｓ１６）、Ｓ７１の処理を実行する。

Ｓ７１の処理では、ナビゲーション装置１３から、車両１の走行区間を示す情報を取得する。そして、その走行区間を示す情報と共に、Ｓ１３〜Ｓ１６の処理によって、画像データメモリ９３ａ、タイムメモリ９３ｄ、車速メモリ９３ｅ、操舵角メモリ９３ｅに格納されているデータ（画像データ、その画像データの生成日時を示すタイムスタンプ、車両速度、操舵角）を、それぞれ通信装置１４へ出力する。これにより、通信装置１４へ入力された各種の情報が、通信装置１４から操作側制御装置２０１へそれぞれ送信される。

Ｓ７２の処理の実行後は、Ｓ１１の処理に戻り、Ｓ１１〜Ｓ１６、Ｓ７１、Ｓ７２の各処理を繰り返し実行する。処理が繰り返されることにより、カメラ１２によって撮像されたフレーム画像と、そのフレーム画像の生成日時を示すタイムスタンプと、車両１の車両速度と、車両１の操舵角と、車両１の走行区間を示す情報とが、逐次、車側制御装置１００から、操作側制御装置２０１へ送信される。

次いで、図１３のフローチャートを参照して、操作センター２００に設けられた操作側制御装置２０１のＣＰＵ２９１により実行される画像表示処理について説明する。図１３は、画像表示処理を示すフローチャートである。この画像表示処理は、操作センター２００において、車両１を遠隔操作する場合に実行される処理であり、通信装置２０６によって画像データが受信された場合に、その画像データに基づいて、ディスプレイ２０２に表示させる動画像のフレーム画像を示す画像データ（修正画像データ）を生成し、生成した画像データを、ディスプレイ２０２へ出力することによって、カメラ１２で撮像された車両１の周辺の動画像から画角の一部又は全部を切り抜いたものを、ディスプレイ２０２上に表示させる処理である。

この画像表示処理のうち、Ｓ６１、Ｓ６２、Ｓ６５の各処理は、第１実施形態においてそれらの各処理と同一のステップ番号が付された処理と同一の処理が実行されるので、それらの処理については詳細な説明を省略する。

この画像表示処理では、受信タイムメモリ２９３ｂと、前回タイムメモリ２９３ｃとのそれぞれに格納されたタイムスタンプを比較し、受信タイムメモリ２９３ｂのタイムスタンプの方が後の日時を示しているかを判別する（Ｓ６１）。Ｓ６１の処理において、受信タイムメモリ２９３ｂのタイムスタンプの方が後の日時を示しているとは判別されなければ（Ｓ６１：Ｎｏ）、新たな画像データとタイムスタンプとが通信装置２０６で受信され、そのタイミングでＣＰＵ２９１が実行する割込処理によって、受信タイムメモリ２９３ｂの値が更新されるまで、Ｓ６１の処理を繰り返し実行する。

一方、Ｓ６１の処理において、受信タイムメモリ２９３ｂのタイムスタンプの方が、前回タイムメモリ２９３ｃのタイムスタンプよりも後の日時を示していると判断された場合は（Ｓ６１：Ｙｅｓ）、Ｓ６２の処理に移行する。

Ｓ６２の処理では、受信タイムメモリ２９３ｂのタイムスタンプと、前回タイムメモリ２９３ｃのタイムスタンプとから、ディスプレイ２０２へ連続して表示されるフレーム画像の画像データが生成された時間間隔を算出する。そして、その時間間隔の逆数を、ディスプレイ２０２で表示される動画像のフレームレートとして算出する。

次に、修正画像データ生成処理を実行する（Ｓ８１）。この修正画像データ生成処理（Ｓ８１）では、第１実施形態の車側制御装置１００で実行された修正画像データ生成処理（図７参照）と、同様の処理が行われる。そこで、図７を参照して行った、修正画像データ生成処理についての説明に対し、「ＣＰＵ９１」を「ＣＰＵ２９１」、「画角マップメモリ９２ｂ」を「画角マップメモリ３９２ｂ」、「画像データメモリ９３ａ」を「受信画像メモリ２９３ａ」、「車速メモリ９３ｅ」を「車速メモリ３９３ｄ」、「操舵角メモリ９３ｅ」を「操舵角メモリ３９３ｅ」、「ナビゲーション装置１３」を「ナビ情報メモリ３９３ｆ」、「送信画像バッファ９３ｂ」を「表示画像メモリ３９３ｇ」、「受信フレームレートメモリ９３ｇに格納されるフレームレート」を「Ｓ６２の処理によって算出したフレームレート」に読み替えて、この修正画像データ生成処理（Ｓ８１）についての説明を省略する。

次に、ＣＰＵ２９１は、修正画像データ生成処理（Ｓ８１）の処理の結果、表示画像メモリ３９３ｇに格納されている画像データ（修正画像データ）を、ディスプレイ２０２へ出力する（Ｓ８２）。

次に、前回タイムメモリ２９３ｃに記憶されている値を、受信タイムメモリ２９３ｂに記憶されているタイムスタンプに書き換える（Ｓ６５）。

Ｓ６５の実行後は、最低フレームレートメモリ３９２ｃにおいて、車速メモリ３９３ｄに格納された車両１の車両速度と対応する最低フレームレートを取得し（Ｓ８３）、取得した最低フレームレートよりも、Ｓ６２の処理で算出したフレームレートの方が大きな値であるかを判別する（Ｓ８４）。

Ｓ８４の処理によって、最低フレームレートよりも、Ｓ６２の処理で算出されたフレームレートの方が大きな値であると判別された場合は（Ｓ８４：Ｙｅｓ）、そのまま、Ｓ６１の処理に戻る。一方、Ｓ８４の処理において、Ｓ６２の処理で算出されたフレームレートが最低フレームレート以下であると判別された場合は（Ｓ８４：Ｎｏ）、減速指令処理を実行し、車速メモリ３９３ｄに格納されている車両速度から、一定割合（例えば５％）低減させた車両速度を目標値とする速度指令を生成し、通信装置２０６を介して車側制御装置１００へ送信する（Ｓ８５）。ディスプレイ２０２に表示させる動画像のフレームレートが低く、操作者の速度感覚が実際の車両速度よりも速くなっている場合は、車両速度が速いほど、操作者の速度感覚が実際の車両速度とのズレが大きくなる。そこで、フレームレート最低フレームレートを下回っている場合に、車両１を減速させることで、操作者の速度感覚を、車両１の走行速度に近づける。Ｓ８５の処理の実行後は、Ｓ６１の処理に戻って、Ｓ６１から本画像表示処理を実行する。

以上説明したように、本第２実施形態では、車側制御装置１００において実行される画像送信処理（図１２参照）によって、車両１のカメラ１２で撮像された車両周辺の動画像が、その動画像のフレーム画像を示す画像データに変換されて、車両１から操作側制御装置２０１へ送信される。一方、車両１からの画像データを受信した操作側制御装置２０１は、車両１から受信した画像データにより示される画像を、修正画像データ生成処理（Ｓ８１）によって、ディスプレイ２０２に表示されている動画像のフレームレート、車両速度、および、車両１の走行する環境に応じた画角で切り出して、その切り出した画像を、動画像を構成するフレーム画像としてディスプレイ２０２に表示させる。

ここで、修正画像データ生成処理（Ｓ８１）は、第１実施形態の車側制御装置１００で実行されたものと同じ処理であり、修正画像データ生成処理（Ｓ８１）の中で使われたパラメータ、及び、ディスプレイ２０２に表示させる動画像（フレーム画像）の画角を規定する画角マップも、第１実施形態と同様のものである。

従って、第１実施形態では、車両１のカメラ１２で撮像された動画像から、操作センター２００のディスプレイ２０２に表示させる動画像を生成する処理を、車両１において行っていたのに対して、第２実施形態は、その処理を、操作センター２００において異なるものの、ディスプレイ２０２に表示されている動画像のフレームレート、車両速度、および、車両１の走行する環境が同じ条件であれば、第２実施形態においても、第１実施形態と同じ表示範囲（画角）の動画像をディスプレイ２０２に表示させることができる。このため、第２実施形態の操作センター２００は、第１実施形態の車両１について上述した効果を享受することができる。

但し、第１実施形態の車両１は、車両１から操作センター２００への動画像の伝送経路の低下に基づいてディスプレイ２０２で表示される動画像のフレームレートが低い場合に、表示範囲（画角）に応じてフレーム画像１枚あたりのデータ量を、フレームレートが十分にある場合（例えば、閾値Ｎｌ，Ｎｍ，Ｎｈを上回っている場合）よりも落とした画像データを生成して、その画像データを、車両１から操作センター２００へ送信する。このため、第１実施形態では、通信速度が低下しても、ディスプレイ２０２に表示させる動画像のフレームレートが低下することを抑制できるという効果を享受できるものであった。一方、第２実施形態では、カメラ１２で撮像された画像データをそのまま車両１から操作センター２００へ送信しているので、車両１から操作センター２００へ送信される画像データの、フレーム画像１枚あたりのデータ量は一定である。このため、第１実施形態の車両１が享受する、かかる効果については、第２実施形態の操作センター２００では奏することができない。

次に、図１４から図１６を参照して、第３実施形態として、本発明を車両１に適用した場合の一実施形態について説明する。上述の第１実施形態では、車両１のカメラ１２で撮像された動画像のうち、操作者の速度感覚を実際の車両速度よりも速くする領域を、画角マップにおいて規定される画角よりも広角側（外側）であるとして、かかる広角側の領域を削除することで、車両１から遠隔地にある操作センター２００のディスプレイ２０２に表示させる動画像を生成するように構成した。

これに対し、第３実施形態では、車両１のカメラ１２で撮像された動画像におけるオプティカルフローを算出し、算出されたオプティカルフローが車両速度に応じた大きさよりも大きな領域が、操作者の速度感覚を実際の車両速度よりも速くする領域であるとして、カメラ１２で撮像された動画像から削除することで、ディスプレイ２０２に表示させる動画像を生成するように構成した。以下、第１実施形態と同一の要素には同一の符号を付し、その図示と説明を省略する。

まず、図１４を参照して、車両１の詳細構成について説明する。図１４は、車両１の電気的構成を示したブロック図である。

第３実施形態における車両１の電気的構成において、第１実施形態と異なる点は、車側制御装置１００のＲＯＭ９２およびＲＡＭ９３である。

ＲＯＭ９２には、プログラムメモリ９２ａ、及び、最低フレームレートメモリ９２ｃが設けられている。プログラムメモリ９２ａには、第１実施形態とは処理が一部異なる、修正画像データ生成処理を実行するためのプログラムが格納されている。詳細については、図１５を参照して後述するが、カメラ１２で撮像された動画像のオプティカルフローを算出し、基準値よりも大きなオプティカルフローが算出される領域を、カメラ１２で撮像された動画像から削除したものを、遠隔地にある操作センター２００のディスプレイ２０２に表示する動画像として生成する処理についてのプログラムが、プログラムメモリ９２ａに格納されている。

なお、本実施形態では、カメラ１２で撮像された動画像のオプティカルフローの大きさを判定した結果に基づいて、ディスプレイ２０２に表示させる動画像の表示範囲を求めるので、ディスプレイ２０２に表示させる動画像の画角（表示範囲）を予め規定するものである第１実施形態の画角マップメモリ９２ｂは、第３実施形態のＲＯＭ９２には設けられていない。

ＲＡＭ９３には、画像データメモリ９３ａ、送信画像バッファ９３ｂ、送信許可フラグ９３ｃ、タイムメモリ９３ｄ、車速メモリ９３ｅ、操舵角メモリ９３ｆ、受信フレームレートメモリ９３ｇの他に、前回画像データメモリ４９３ａが設けられている。

前回画像データメモリ４９３ａは、画像データメモリ９３ａに格納される画像データより１フレーム前の画像データを一時的に記憶し、画像データメモリ９３ａと共に、カメラ１２で撮像される動画像のオプティカルフローを算出するために用いられるメモリである。前回画像データメモリ４９３ａは、後述する修正画像データ生成処理（図１５参照）において、画像データメモリ９３ａの画像データに基づき修正画像データを生成する場合に、ＣＰＵ９１によって参照される。このとき、前回画像データメモリ４９３ａに記憶される画像データと、画像データメモリ９３ａに格納される画像データとから動画像のオプティカルフローが算出される。一方、修正画像データ生成処理（図１５参照）において、画像データメモリ９３ａの画像データに基づいて、修正画像データが生成されず、画像データメモリ９３ａの画像データがそのまま送信画像バッファ９３ｂに格納される場合は参照されない。

前回画像データメモリ４９３ａは、画像データメモリ９３ａの画像データ（カメラ１２より取得した画像データ）に基づく、操作センター２００のディスプレイ２０２に表示させる動画像の画像データ（修正画像データ）が送信画像バッファに格納されてから、画像データメモリ９３ａに記憶される画像データが格納される。これにより、次にカメラ１２から取得した画像データを画像データメモリ９３ａに格納した状態で、オプティカルフローを算出するときには（即ち、修正画像データ生成処理が新たに行われるときには）、前回画像データメモリ４９３ａには、画像データメモリ９３ａに格納される画像データより１フレーム前の画像データが格納されている状態となる。

本実施形態のナビゲーション装置１３は、電波を受信するＧＰＳ衛星の数を、出力部より出力するように構成されている。車両１と、ＧＰＳ衛生との間に建物等の電波を遮る物体が存在すると、そのＧＰＳ衛生からの電波が車両１で受信できなくなる。よって、電波が受信されるＧＰＳ衛生の数が少ないほど、車両１の周辺に建物や壁などの物体が多く存在していたり、車両１の近くに存在していたりすることとなる。よって、ＧＰＳ衛星の数が少ないほど、車両１のカメラ１２によって周辺に存在する物体が撮像され易く、ディスプレイ２０２に表示される動画像によって、操作者の速度感覚が実際の車両速度よりも速められてしまいやすい環境であることが想定される。なお、ＧＰＳ衛生の数が０となる場合は、トンネルなどを走行する場合であり、電波が完全に遮られている場合である。

本実施形態では、後述の修正画像データ生成処理（図１５参照）において、ナビゲーション装置１３から出力されるＧＰＳ衛生の数が、ＣＰＵ９１によって取得される。このＧＰＳ衛生の数に基づいて、車両１の周辺に物体が存在するかが判別される。

次に、図１５を参照し、車両１に搭載された車側制御装置１００のＣＰＵ９１により実行される修正画像データ生成処理（Ｓ１７）について説明する。図１５は、修正画像データ生成処理を示すフローチャートである。この修正画像データ生成処理は、車側制御装置１００のＣＰＵ９１により実行される画像送信処理（図６参照）の中で実行される処理であって、操作センター２００のディスプレイ２０２に表示させる動画像を構成するフレーム画像を示す画像データ（修正画像データ）を生成する処理である。

修正画像データ生成処理（Ｓ１７）では、まず、ナビゲーション装置１３で電波を受信するＧＰＳ衛星の数を、ナビゲーション装置１３の出力から取得し（Ｓ９１）、取得したＧＰＳ衛星の数が５以下であるかを判別する（Ｓ９２）。前述したように、ナビゲーション装置１３で電波を受信するＧＰＳ衛星の数が多いほど、車両１は、周辺に建物等の物体が存在しない拓けた環境にいることが想定され、一方、ナビゲーション装置１３で電波を受信するＧＰＳ衛星の数が少ないほど、車両１は、周辺に建物等の物体が存在する環境にいることが想定される。なお、本実施形態では、ＧＰＳ衛星の数が５以下である場合に、車両１の周辺に物体が存在することが想定されるものとしているが、必ずしもこれに限られるものではなく、好ましくは４以上の範囲で値を適宜設定しても良い。

ナビゲーション装置１３で電波を受信するＧＰＳ衛星の数が５以下であると判別された場合は（Ｓ９２：Ｙｅｓ）、Ｓ９３の処理を実行する。

修正画像データ生成処理（Ｓ１７）が開始された段階では、画像データメモリ９３ａには、画像送信処理（図６）のＳ１３の処理によって、カメラ１２から新たに取得されたフレーム画像の画像データが格納されており、前回画像メモリ４９３ａには、画像データメモリ９３ａに格納されている画像データよりも、１フレーム分だけ前のフレーム画像を示す画像データが、前回の修正画像データ生成処理で行われた、後述するＳ９８の処理によって予め格納されている。

画像データメモリ９３ａに格納されている画像データと、前回画像メモリ４９３ａに格納されている画像データとから、カメラ１２で撮像された動画像のオプティカルフローを算出する（Ｓ９３）。よって、画像データメモリ９３ａおよび前回画像メモリ４９３ａの画像データによって示される時間的に連続する２つのフレーム画像についてのオプティカルフローが算出される。

ここで、図１６を参照して、カメラ１２で撮像された動画像のオプティカルフローについて説明する。図１６は、カメラ１２で撮像された動画像のオプティカルフローを説明するための説明図である。

図１６は、画像データメモリ９３ａの画像データによって示されるフレーム画像に対して、オプティカルフロー（フローベクトル）を重ね合わせたものである。オプティカルフローを算出すると、時間的に前のフレーム画像（即ち、前回画像メモリ４９３ａの画像データによって示されるフレーム画像）に含まれる画像の一部が、時間的に後のフレーム画像に（即ち、画像データメモリ９３ａの画像データによって示されるフレーム画像）において別の位置に移動している場合に、その移動のベクトルが求められる。即ち、２つのフレーム画像において同じ地点（対応地点）を示す画像領域の、移動方向および移動量が求められる。図１６に示す複数の矢印は、動画像の各領域について算出されたフローベクトルを示したものである。

図２（ｂ）を参照して前述したように、カメラ１２で撮像された動画像では、その動画像の中で路面や物体の流れる速さは動画像のエッジ側ほど速くなるので、２つのフレーム画像における対応地点の移動量は、動画像のエッジ側ほど大きくなる。このため、図１６に示すように、カメラ１２で撮像された動画像についての路面等の移動を示すフローベクトルは、動画像のエッジに近い領域ほど大きなベクトルとなる。

また、図１６では、車両１が直進する場合についてのフローベクトルを示しているが、車両１が左右のいずれかの方向に操舵されている場合は、操舵に応じた車両１の予測経路（第１実施形態の図８を参照して説明した予測経路）から離れた位置ほど、２つのフレーム画像における対応地点の移動量は大きくなる。このため、操舵の方向と反対側の領域の方が、操舵の方向と同方向の領域よりも、より大きなフローベクトルが算出される。

一方で、動画像の中に移動物体が存在すると、移動物体は、路面や静止物体とは異なる相対運動を車両１に対して行うので、その移動物体の存在する領域のフローベクトルは、その移動物体の周囲のベクトルとは、向きや大きさが異なるベクトル（図１６におけるベクトルＭ）として示される。

図１５に戻って説明を続ける。次に、Ｓ９３の処理で算出されたフローベクトルとの比較対象となる、基準フローベクトルの大きさを、ナビゲーション装置１３で電波を受信するＧＰＳ衛星の数と、車両速度とに応じて算出する（Ｓ９４）。この基準フローベクトルの大きさは、動画像において車両速度に応じた速度感覚を操作者に与える領域に設定されるフローベクトルの大きさ（最大値）を規定するものである。

ここで、連続する２つのフレーム画像における対応点の移動量は、車両速度が速い場合ほど大きくなる。そこで、本実施形態では、基準フローベクトルの大きさを、車両速度が速い場合ほど、大きくする。

また、ナビゲーション装置１３で電波を受信するＧＰＳ衛星の数が少ないほど、建物や壁などの物体が車両１の周辺に多く存在していたり、車両１の近くに存在していたりするので、車両１の周辺が撮像された動画像によって操作者に与えられる速度感覚は、ＧＰＳ衛星の数が少ないほど速いものとなることが想定される。そこで、Ｓ９４の処理では、ナビゲーション装置１３で電波を受信するＧＰＳ衛星の数が少ないほど、基準フローベクトルを大きくする。

また、本実施形態では、第１実施形態と同様に、車両１の通信装置１４によって、操作センター２００の通信装置２０６に対する画像データの通信が完了してから、カメラ１２から新たな画像データを取得するように構成されている（図６参照）。

このため、画像データの通信速度に応じた時間間隔でカメラ１２からフレーム画像を取得するので、この通信速度が低下した場合、フレーム画像を取得する時間間隔が長くなり、車両１においてカメラ１２から撮像される動画像のフレームレートが低くなってしまう。よって、この動画像に基づくディスプレイ２０２で表示される動画像のフレームレートも低いものとなってしまう。

これに対し、カメラ１２で撮像される動画像のフレームレートが低い場合、即ち、カメラ１２からフレーム画像を取得する時間間隔が長い場合は、その時間間隔が短い（即ち、フレームレートが高い）場合と比べて、連続するフレーム画像間における画像領域の移動量は大きくなる。よって、カメラ１２からフレーム画像を取得する時間間隔が長い場合は、その時間間隔が短い（即ち、フレームレートが高い）場合と比べて、Ｓ９３の処理によって算出される各領域についてのフローベクトルの大きさは、全体的に大きなものとなる。よって、ディスプレイ２０２で表示される動画像のフレームレートに応じて基準フローベクトルの大きさを変えなくても、その大きさを、動画像において車両速度に応じた速度感覚を操作者に与える領域の基準として用いることができる。

続いて、Ｓ９５の処理では、Ｓ９３の処理で算出された各領域のフローベクトルから、周囲の領域について算出されたフローベクトルに対して大きさ又は方向が不規則なフローベクトルを検索して、不規則なフローベクトルの有無を判定する（Ｓ９５）。ここでいう不規則なフローベクトルとは、周囲の領域について算出された複数のフローベクトルの大きさや方向の分布を求めた場合に、その分布から大きさ又は方向の少なくとも一方が外れているフローベクトルのことである。図１６を参照して前述したように、移動物体が動画像に存在する場合は、移動物体のフローベクトルは、路面等とは向きや大きさが異なる。そこで、このＳ９５の処理では、不規則なフローベクトルを移動物体のフローベクトルであるものとして、その有無を判定している。このような方法によれば、動画像のオプティカルフローを算出するだけで、移動物体を検出できるので、移動物体を検出するための他の画像処理（例えば、エッジ抽出法等）に比べて、比較的軽い処理負担で移動物体を検出できる。

周囲のフローベクトルに対して不規則なフローベクトルが無いと判定された場合は（Ｓ９５：Ｎｏ）、Ｓ９６の処理を実行する。Ｓ９６の処理では、Ｓ９４の処理で算出された基準フローベクトルに対して大きなフローベクトルが存在する領域から、そのフローベクトルが向くフレーム画像のエッジまでの範囲のデータを、操作者に実際の車両速度よりも高い速度感を与える領域のデータであるとして、画像データメモリ９３ａの画像データから削除する。これにより、修正画像データを生成する（Ｓ９６）。よって、この修正画像データは、カメラ１２で撮像された動画像のフレーム画像から、車両速度や、ディスプレイ２０２で表示される動画像のフレームレート、車両１の存在する環境に基づいて、操作者に実際の車両速度よりも速い速度感覚を与える領域が削除されたフレーム画像を示すものとなる。

次に、修正画像データを、送信画像バッファ９２ｂに格納する（Ｓ９７）。これにより、本修正画像データ生成処理の実行後に、送信画像バッファ９２ｂに格納された画像データが通信装置１４を介して、操作センター２００へ送信される（図６、Ｓ１８参照）。これにより、ディスプレイ２０２には、この修正画像データに基づく動画像が表示される。この動画像は、カメラ１２で撮像された動画像から、車両速度や、ディスプレイ２０２で表示される動画像のフレームレート、車両１の存在する環境に基づいて、操作者に実際の車両速度よりも速い速度感覚を与える領域が削除されたものなので、この動画像によって、操作者に実際の車両速度に応じた速度感覚を与えることができる。

Ｓ９７の処理の実行後は、画像データメモリ９３ａの画像データを、前回画像メモリ４９３ａに格納して（Ｓ９８）、本処理を終了する。

Ｓ９５の処理に戻って説明を続ける。Ｓ９３の処理で算出された算出された各領域のフローベクトルの中に、周囲の領域について算出されたフローベクトルに対して大きさ又は方向が不規則なフローベクトルがあると判定された場合は（Ｓ９５：Ｙｅｓ）、Ｓ９９の処理を実行する。

Ｓ９９の処理では、移動物体の存在を示す不規則なフローベクトルが算出された領域を除いて、Ｓ９４の処理で算出された基準フローベクトルに対して大きなフローベクトルが存在する領域から、そのフローベクトルが向くフレーム画像のエッジまでの範囲のデータを、画像データから削除して修正画像データを生成する（Ｓ９９）。この修正画像データによって示されるフレーム画像は、カメラ１２で撮像されたフレーム画像から、操作者に実際の車両速度よりも速い速度感覚を与える領域については削除され、且つ、移動物体については表示するものとなる。よって、この修正画像データからなる動画像がディスプレイ２０２に表示された場合に、操作者に実際の車両速度に応じた速度感覚を与えつつも、移動物体については、確実に視認させることができるので、移動物体の状況に応じた車両１の操作を操作者に行わせることができる。

次に、Ｓ９９の処理で生成した修正画像データを、送信画像バッファ９２ｂに格納し（Ｓ９７）、画像データメモリ９３ａの画像データを、前回画像メモリ４９３ａに格納して（Ｓ９８）、本処理を終了する。

Ｓ９２の処理に戻って説明を続ける。Ｓ９２の処理によって、ナビゲーション装置１３で電波を受信するＧＰＳ衛星の数が５より多いと判別された場合は（Ｓ９２：Ｎｏ）、画像データメモリ９３ａの画像データを、送信画像バッファ９３ｂと、前回画像メモリ４９３ａに格納し（Ｓ１００，Ｓ９８）、本処理を終了する。かかる場合は、カメラ１２で撮像された動画像が、そのままディスプレイ２０２へ送信されるものとなる。

このように、第３実施形態では、修正画像データ生成処理（図１７参照）によって、ナビゲーション装置１３で電波が受信されるＧＰＳ衛生の数が５以下である場合は、画像データメモリ９３と前回画像メモリ４９３ａとに格納される、カメラ１２で連続して撮像された２つのフレーム画像に基づいてオプティカルフロー（フローベクトル）を算出し（Ｓ９３）、基準フローベクトルよりも大きなフローベクトルが算出された画像領域から、フローベクトルが指すエッジ側の領域のデータを、画像データメモリ９３に記憶される画像データから削除することで、ディスプレイ２０２に表示する動画像のフレーム画像を示す画像データを生成する（Ｓ９５，Ｓ９９）。

ここで、基準フローベクトルの大きさは、車両速度が速い場合ほど、Ｓ９４の処理で大きく設定される。よって、車両速度が速い場合ほど、エッジからより内側にかけての領域が削除されたフレーム画像が、ディスプレイ２０２に表示される動画像のフレーム画像として生成される。よって、ディスプレイ２０２に表示させる動画像において、車両速度が速い場合ほど、削除される（即ち、表示させない）領域の範囲を、路面等の流れが最も速いエッジから、より動画像の内側にかけて拡大させるので、ディスプレイ２０２に表示される動画像全体の流れの速さを抑制することができる。これにより、動画像に映る路面等の流れによって操作者に与える速度感覚が、実際の車両速度より速いものとなることを抑制することができる。

また、基準フローベクトルの大きさは、ナビゲーション装置１３で電波を受信するＧＰＳ衛星の数が少ないほど、Ｓ９４の処理で大きく設定される。前述した通り、ナビゲーション装置１３で電波を受信するＧＰＳ衛星の数が少ないほど、車両１の周辺のより近くに物体が存在していたり、より多くの物体が存在していたりすることが想定される。よって、電波を受信するＧＰＳ衛星の数によって、車両１と物体との接近の程度や、車両１の周辺に物体が存在する程度が高いほど、エッジからより内側にかけての領域が削除されたフレーム画像が、ディスプレイ２０２に表示される動画像のフレーム画像として生成される。よって、ディスプレイ２０２に表示させる動画像において、車両１と物体との接近の程度や、車両１の周辺に物体が存在する程度が高い場合ほど、削除される（即ち、表示させない）領域の範囲を、路面等の流れが最も速いエッジから、より動画像の内側にかけて拡大させるので、ディスプレイ２０２に表示される動画像全体の流れの速さを抑制することができる。よって、車両１が走行する環境に拘わらず、操作者に実際の車両速度に応じた速度感覚を与えることができる。

前述したように、本実施形態においてカメラ１２で撮像される動画像のフレームレートは、車両１から操作センター２００への画像データの伝送経路における通信速度の低下に応じて低くなる。このため、フレームレートが低下している場合ほど、Ｓ９３の処理において、カメラで撮像された動画像の各領域について算出されるオプティカルフローの大きさが、基準フローベクトルに対して相対的に大きなものとなるので、通信速度が下がっている場合ほど、カメラ１２で撮像された画像データから、多くの領域に対応するデータがＳ９６，Ｓ９９の処理によって削除されて修正画像データが生成される。よって、前述の伝送経路における通信速度が低下した場合ほど、修正画像データのデータ量、即ち、ディスプレイ２０２で表示されるフレーム画像１枚あたりのデータ量を落とすことができるので、通信速度が低下しても、車両１から操作センター２００へ時間あたりに送信可能なフレーム画像の数が低下してしまうことを抑制して、ディスプレイ２０２に表示される動画像のフレームレートが低下することを抑制できる。このため、ディスプレイ２０２にフレームレートの低い動画像が表示されることで、操作者の速度感覚が実際の車両速度よりも高まってしまうことを抑制できる。

しかも、Ｓ９６，Ｓ９９の処理によって削除された修正画像データは、フレームレートが低い場合ほど、オプティカルフローの大きなエッジから、より内側にかけての領域が削除されるフレーム画像を示すものとなる。よって、ディスプレイ２０２に表示させる動画像において、その動画像のフレームレートが低い場合ほど、削除される（即ち、表示させない）領域の範囲を、路面等の流れが最も速いエッジから、より動画像の内側にかけて拡大させるので、ディスプレイ２０２に表示される動画像全体の流れを遅くする。これにより、フレームレートが低下した動画像によって速められてしまう操作者の速度感覚を、動画像全体の流れを遅くすることで、打ち消すことができる。よって、ディスプレイ２０２にフレームレートの低い動画像が表示されることで、操作者の速度感覚が実際の車両速度よりも高まってしまうことを抑制できる。

また、Ｓ９３の処理によれば、進行方向となる操舵方向の領域では、操舵方向とは反対側の領域よりも、より小さなフローベクトルが算出される。よって、Ｓ９５又はＳ９９の処理が行われた場合は、フローベクトルの大きな、操舵方向と反対側に位置する領域のデータから優先して、カメラ１２で撮像されたフレーム画像の画像データから削除されて、修正画像データが生成される。これにより、進行方向については視認可能なフレーム画像の修正画像データが生成されるので、この修正画像データに基づいてディスプレイ２０２に表示される動画像では、車両１の進行方向についての視界を確保することができる。

以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の改良変形が可能であることは容易に推察できるものである。例えば、上記各実施形態で挙げた数値は一例であり、他の数値を採用することは当然可能である。

上記第１、第２実施形態においても、第３実施形態のように、カメラ１２で撮像される範囲の中に移動物体が存在するかを検出し、移動物体が存在する場合には、少なくともその移動物体については、ディスプレイ２０２に表示される動画像の中で、表示させるようにしても良い。例えば、第１実施形態の車両制御装置１００、第２実施形態の操作側制御装置２０１においても、第３実施形態と同様に、前回画像メモリ４９３ａを設け、画像データメモリ９３ａに記憶される画像データよりも、１フレーム前の画像データを記憶させる。そして、修正画像データ生成処理（Ｓ１７）において、車両１の走行区間が「トンネル」、「市街地」である場合に、画像データメモリ９３ａ、前回画像メモリ４９３ａの各画像データを用いてオプティカルフローを算出してオプティカルフローから移動物体を検出する処理と、移動物体の検出される領域が、注視点と画角マップから取得される画角に応じて設定される表示範囲に含まれているか判定する処理と、移動物体が表示範囲に含まれている場合は、表示範囲を残して画像データを削除し、修正画像データを生成する処理と、移動物体が表示範囲に含まれていない場合は、移動物体が少なくとも表示されるように、移動物体が含まれる領域と表示範囲とを少なくとも残して画像データを削除し、修正画像データを生成する処理とを実行するように構成する。

かかる構成によれば、第３実施形態と同様に、カメラ１２の撮像範囲に移動物体が存在している場合は、ディスプレイ２０２に表示する動画像に、その移動物体を確実に含めることができる。よって、ディスプレイ２０２に表示される動画像によって、移動物体を操作者に確実に視認させたうえで、その移動物体の状況に応じた車両１の操作を行わせることができる。

上記各実施形態において、車両１のカメラ１２で撮像される撮像範囲に存在する物体との距離および角度を検出するレーザセンサ等のセンサを車両１に設け、そのセンサによって、撮像範囲に存在する物体であって、車両１から所定距離内（例えば、１０ｍ以内）に存在する物体については、少なくともディスプレイ２０２に表示される動画像の中で、表示させるようにしても良い。例えば、修正画像データ生成処理（Ｓ１７）において、車両１の走行区間が「トンネル」、「市街地」である場合に、センサの出力結果に基づいて、注視点と画角マップから取得される画角に応じて設定されるフレーム画像の表示範囲に、車両１から所定距離内に存在する物体が含まれているか判定する処理と、センサで検出された物体が表示範囲に含まれている場合は、表示範囲を残して画像データを削除し、修正画像データを生成する処理と、センサで検出された物体が表示範囲に含まれていない場合は、センサで検出された物体の距離及び角度に基づいて、その物体が少なくとも表示されるように、物体が含まれる領域と表示範囲とを少なくとも残して画像データを削除し、修正画像データを生成する処理とを実行するように構成する。

かかる構成によれば、カメラ１２の撮像範囲に車両１から所定距離内に物体が存在している場合は、その物体を、ディスプレイ２０２に表示する動画像で表示させることができる。よって、ディスプレイ２０２に表示される動画像によって、所定距離内に存在する物体を操作者に確実に視認させたうえで、その物体と車両１との接触を回避させるための操作を、操作者に行わせることができる。

上記各実施形態において、人や他車両、二輪車等の移動しうる特定の対象が移動しているか否かに拘わらず、カメラ１２で撮像される範囲の中に存在する場合に検出を行い、検出された場合には、少なくともその特定の対象については、ディスプレイ２０２に表示される動画像の中で、表示させるようにしても良い。例えば、人や他車両、二輪車等の特定の対象についてのアウトラインのパターンを、特定の対象が撮像されうる角度や大きさ別で複数記憶するパターンメモリを１実施形態の車両制御装置１００のＲＯＭ９２、第２実施形態の操作側制御装置２０１のＲＯＭ２９２に設ける。修正画像データ生成処理（Ｓ１７）において、車両１の走行区間が「トンネル」、「市街地」である場合に、画像データメモリ９３ａに記憶される画像データによって示されるフレーム画像において、輝度が大きく変化しているエッジを抽出する処理と、そのエッジとパターンメモリに記憶されたパターンが一致するか判別する処理と、パターンに一致した対象が、注視点と画角マップから取得される画角に応じて設定される表示範囲に含まれているか判定する処理と、パターンに一致した対象が表示範囲に含まれている場合は、表示範囲を残して画像データを削除し、修正画像データを生成する処理と、パターンに一致した対象が表示範囲に含まれていない場合は、その対象が少なくとも表示されるように、対象が含まれる領域と表示範囲とを少なくとも残して画像データを削除し、修正画像データを生成する処理とを実行するように構成する。

かかる構成によれば、カメラ１２の撮像範囲に特定の対象が存在している場合は、その特定の対象が移動しているか否かに拘わらず、ディスプレイ２０２に表示する動画像に、その特定の対象を確実に含めることができる。よって、ディスプレイ２０２に表示される動画像によって、移動しうる特定の対象を操作者に確実に視認させたうえで、その対象の状況に応じた車両１の操作を、操作者に行わせることができる。

上記各実施形態では、カメラ１２で撮像された動画像に対して、操作者がディスプレイ２０２で視認できなくなった領域は、その領域を表示するデータを削除した場合について説明したが、必ずしもこれに限られるものではなく、例えば、カメラ１２で撮像されたフレーム画像に対して、その領域を単色で塗りつぶしたり、明度を極めて高くしたり、極めて低くしたりして、操作者が景色を視認できない状態にしてもよい。

上記各実施形態では、修正画像データ生成処理（Ｓ１７）によって、車両速度、ディスプレイ２０２に表示される動画像のフレームレート、車両１の環境に応じて、カメラ１２で撮像された画像の画像データに対して所定の画像処理を行うことで、カメラ１２で撮像された動画像から表示範囲を調整した、ディスプレイ２０２に表示される動画像のフレーム画像を生成する場合について説明したが、必ずしもこれに限られるものではなく、画角が調整可能な望遠レンズや、画角が異なる複数のレンズをカメラに設け、車両速度、ディスプレイ２０２に表示される動画像のフレームレート、車両１の環境、に応じて、カメラ１２のレンズを切り替えて撮像し、撮像された動画像のままディスプレイ２０２へ表示させるようにしてもよい。

上記第１および第２実施形態では、操作側制御装置２０１において、ディスプレイ２０２で表示される動画像のフレームレートを求め、そのフレームレートに応じて、修正画像データの画角を求める場合について説明したが、必ずしもこれに限られるものではなく、操作側制御装置２０２において、フレームレートを示す情報として、車両１の通信装置１４から操作センター２００の通信装置２０６までの画像データの通信速度を求め、その通信速度に応じて、修正画像データの画角を求めるように構成しても良い。このとき、例えば、画角マップメモリ９２ｂ，３９３ａを、ディスプレイ２０２における動画像のフレームレートではなく、画像データの通信速度と対応付けて画角を規定するように構成するようにしてもよい。

また、上記第１、第３実施形態において、車両１から操作センター２００へ送信される画像データの通信速度（又はディスプレイ２０２で表示される動画像のフレームレート）の低下に応じて、車両速度や、車両の走行環境に拘わらず、カメラ１２で撮像された動画像のフレーム画像を示す画像データから、その動画像の上側のエッジ付近に含まれるピクセルについてのデータを削除するようにしても良い。例えば、画像送信処理（図７参照）において、送信画像バッファ９３ｂに画像データが格納されてから、その画像データが通信装置１４へ出力されるまでの間に、受信フレームレートメモリ９３ｇに格納されるフレームレートが所定の閾値（例えば、車両速度）よりも小さいかを判定する処理と、所定の閾値よりも小さい場合は、送信画像バッファ９３ｂに格納される画像データから、動画像の上側のエッジ付近に含まれるピクセルについてのデータを削除したうえで、通信装置に出力１４する処理とを行うように構成する。

ここで、カメラ１２で撮像される動画像の上側エッジ付近の領域には、車両１の上方が撮像されるものなので、かかる領域にだけ存在する物体は、車両の走行を妨げる物体とはならない。よって、上記の構成によれば、車両１から操作センター２００へ送信される画像データの通信速度が低い場合に、フレーム画像を示す画像データから、そのフレーム画像の上側エッジ付近のピクセルについてデータを削除して、ディスプレイ２０２に表示する動画像のフレーム画像を生成する。よってカメラ１２で撮像された動画像の表示範囲のうち、操作者が車両１と物体との接触を回避させながら車両１の操作を行ううえで支障とならない範囲のデータを削除することで、フレーム画像１枚当たりの画像データのデータ量を落として、フレームレートの低下を抑制することができる。

また、上記第１、第３実施形態において、車両１から操作センター２００へ送信される画像データの通信速度の低下に応じて、ディスプレイ２０２に表示される動画像のフレームレートが低下することを抑制するために、車両１において、カメラ１２で撮像された動画像のフレーム画像を示す画像データから、一部のピクセルについてのデータを削除し、残りの画像データを、ディスプレイ２０２に表示する動画像の１枚のフレーム画像を示すものとして、車両１から操作センター２００へ送信する場合について説明したが、必ずしもこれに限られるものではない。例えば、車両１から操作センター２００へ送信される画像データの通信速度の低下に応じて、カメラ１２で撮像された画像データを、複数ピクセル単位毎に量子化を行ってデータ量を落としたり、各ピクセルの色情報を削除してデータ量を落としたりしても良い。また、複数枚のフレーム画像を、ＭＰＥＧ方式で圧縮してから、車両１から操作センター２００へ送信されるように構成しても良い。また、これらの方法を、カメラ１２で撮像された動画像のフレーム画像を示す画像データから、一部のピクセルについてのデータを削除する方法と組み合わせるようにしても良い。

また、上記第１及び第２実施形態において、車両１の走行区間が「市街地」である場合に、動画像の左右のエッジ付近のピクセルを削除する場合に付いて説明したが、あわせて、動画像の下側エッジ付近のピクセルを削除するようにしてもよい。車両１の下方にある路面が動画像の下側エッジ付近に表示されるので、動画像の下側エッジ付近のピクセルを削除することで、ディスプレイ２０２に表示される動画像のフレームレートが低い場合や、動画像の画角に対して車両速度が速い場合に、路面の流れによって速められてしまう操作者の速度感覚を抑制することができる。

また、上記第１及び第２実施形態において、車両１の走行区間が「その他」である場合には（Ｓ３２：「その他」）、ディスプレイ２０２に表示される動画像のフレームレートが低い場合や、動画像の画角に対して車両速度が速い場合に、動画像の下側エッジ付近のピクセルを削除するようにしてもよい。「その他」の走行区間のような拓けた区間であっても、ディスプレイ２０２に表示される動画像のフレームレートが低い場合や、動画像の画角に対して車両速度が速い場合に、路面の流れによって速められてしまう。これに対し、かかる構成によれば、「その他」の走行区間において、ディスプレイ２０２に表示される動画像のフレームレートが低い場合や、動画像の画角に対して車両速度が速い場合に、動画像の下側エッジ付近のピクセルを削除することで、路面の流れによって速められてしまう操作者の速度感覚を抑制することができる。

また、上記各実施形態において、車両１は、車両１が存在する環境を示す情報（車両１と、その車両１の周辺に存在する物体との位置関係や、カメラの撮像範囲に占める物体の割合を）を、ナビゲーション装置１３から取得する場合について説明したが、必ずしもこれに限られるものではなく、路車間通信や、車々間通信によって取得するように構成しても良い。また、カメラ１３で撮像された画像を解析して、車両１が存在する環境を示す情報を取得するようにしても良い。

また、上記各実施形態は、それぞれ、他の実施形態が有する構成の一部または複数部分を、その実施形態に追加し或いはその実施形態の構成の一部または複数部分と交換等することにより、その実施形態を変形して構成するようにしてもよい。

１車両
１２カメラ（撮像手段）
１４通信装置（送信手段、受信手段）
９２ｂ画角マップメモリ（第２設定手段の一部）
１００車側制御装置（走行制御手段）
２００操作センター（遠隔操作装置）
２０２ディスプレイ（表示手段）
Ｓ１７動画像情報生成手段
Ｓ３４，Ｓ３５第２設定手段の一部
Ｓ３８,Ｓ３９第２設定手段の一部
Ｓ９３，Ｓ９５，Ｓ９９第２設定手段

Claims

車両の周辺を動画像として撮像する撮像手段と、
その撮像手段により撮像された動画像に基づいて動画像情報を生成する動画像情報生成手段と、
その動画像情報生成手段により生成された前記動画像情報を、前記車両の外部に設けられた遠隔操作装置へ送信する送信手段と、
その送信手段により送信された前記動画像情報に基づき前記遠隔操作装置に設けられた表示手段に表示される動画像に基づいて前記遠隔操作装置によって操作者より受け付けられた前記車両の駆動、制動または操舵に関する指示を表す指示情報を、前記遠隔操作装置より受信する受信手段と、
その受信手段により受信した前記指示情報に基づいて、前記車両の駆動、制動または操舵を制御する走行制御手段と、
前記送信手段によって前記遠隔操作装置へ送信される動画像情報の通信速度に応じた情報を取得する通信速度取得手段とを備え、
前記動画像情報生成手段は、前記通信速度取得手段によって取得された通信速度に応じた情報が、第１通信速度に応じた情報である場合は、前記通信速度に応じた情報が第１通信速度よりも高速の第２通信速度に応じた情報である場合よりも動画像を構成するフレーム画像１枚当たりの情報量が少ない動画像情報を生成するものであることを特徴とする車両。
前記動画像情報生成手段は、前記通信速度取得手段によって取得された通信速度に応じた情報が第１通信速度に応じた情報である場合は、動画像の外縁に位置する領域の少なくとも一部についての情報をその動画像を構成するフレーム画像に含まない動画像を生成し、その生成した動画像を前記遠隔操作装置の前記表示手段に表示させるための動画像情報を生成するものであることを特徴とする請求項１記載の車両。
前記動画像情報生成手段は、動画像の外縁に位置する領域の少なくとも一部についての情報をその動画像を構成するフレーム画像に含まない動画像を生成する場合に、前記フレーム画像において情報が含まれない領域の範囲を、前記動画像の上側外縁に設定する第１設定手段を備えていることを特徴とする請求項２記載の車両。
前記車両の左右の進行方向に関する情報を取得する進行方向取得手段を備え、
前記動画像情報生成手段は、動画像の外縁に位置する領域の少なくとも一部についての情報をその動画像を構成するフレーム画像に含まない動画像を生成する場合に、前記進行方向取得手段によって取得された左右の進行方向に関する情報に基づいて、少なくとも前記車両の左右の進行方向とは反対方向にある前記動画像の外縁に、前記フレーム画像において情報が含まれない領域の範囲を設定する第２設定手段を備えていることを特徴とする請求項２又は３に記載の車両。
前記動画像情報生成手段は、前記通信速度取得手段によって取得された通信速度に応じた情報が、第１通信速度に応じた情報である場合は、前記通信速度に応じた情報が前記第２通信速度に応じた情報である場合よりも動画像を構成するフレーム画像の画素あたりの情報量が少ない動画像情報を生成するものであることを特徴とする請求項１から４のいずれかに記載の車両。