JP2019145951A - 車両遠隔操作装置、車両遠隔操作システム及び車両遠隔操作方法 - Google Patents

Abstract

【課題】車両の遠隔操作における利便性及び操作性を向上させることが可能な技術を提供する。【解決手段】車両遠隔操作装置は、車両に搭載された複数の車載カメラそれぞれで撮影された複数の撮影画像に基づき生成された、仮想視点から見た前記車両の周辺領域を示す合成画像を受信する通信部と、前記合成画像を表示する表示部と、前記車両を操作するための操作部と、前記操作部に対する操作に基づく前記車両の制御信号を生成する信号生成部と、を備え、前記表示部は、前記操作部の像を重畳した前記合成画像と、前記車両の状態を含む補助画像とを表示する。【選択図】図１

Description

本発明は、車両遠隔操作装置、車両遠隔操作システム及び車両遠隔操作方法に関する。

近年、車両の遠隔操作に係る技術が種々提案されている。例えば、特許文献１で提案された携帯端末は、車両を所定の第１位置から第２位置に移動させるための端末である。この携帯端末は、自身のカメラで撮影された撮影画像に基づき車両の像を含む俯瞰画像を表示し、当該車両に対するユーザーの操作を受け付ける。また例えば、特許文献２で提案された駐車支援装置は、ジョイスティック等の遠隔操作手段を用いて駐車が可能である。また例えば、特許文献３で提案された車両遠隔操作システムは、タッチパネルへの接触操作に対応する操作信号を車両に送信する携帯端末を備える。この携帯端末は、車両に対して走行操作信号と、操舵操作信号とを送信することができる。

特開２０１４−６５３９２号公報 特開２０１０−９５０２７号公報 特開２０１６−７４２８５号公報

しかしながら、従来技術では、車両の遠隔操作における利便性及び操作性が十分に満足できるものではないことに課題があった。

本発明は、上記の課題に鑑みなされたものであり、車両の遠隔操作における利便性及び操作性を向上させることが可能な技術を提供することを目的とする。

本発明に係る車両遠隔操作装置は、車両に搭載された複数の車載カメラそれぞれで撮影された複数の撮影画像に基づき生成された、仮想視点から見た前記車両の周辺領域を示す合成画像を受信する通信部と、前記合成画像を表示する表示部と、前記車両を操作するための操作部と、前記操作部に対する操作に基づく前記車両の制御信号を生成する信号生成部と、を備え、前記表示部は、前記操作部の像を重畳した前記合成画像と、前記車両の状態を含む補助画像とを表示する構成（第１の構成）である。

また、上記第１の構成の車両遠隔操作装置において、前記操作部は、前記合成画像の前記車両の像の位置に応じて配置される構成（第２の構成）であっても良い。

また、上記第１または第２の構成の車両遠隔操作装置において、前記補助画像として、前記車両のミラーに映る像を含む画像を表示する構成（第３の構成）であっても良い。

また、上記第１から第３の構成の車両遠隔操作装置において、前記補助画像として、前記車両自体の操作状態の画像を表示する構成（第４の構成）であっても良い。

また、上記第１から第４の構成の車両遠隔操作装置において、前記補助画像として、前記車両に接近する物体を表示する構成（第５の構成）であっても良い。

また、上記第１から第５の構成の車両遠隔操作装置において、前記補助画像として、前記車両の下方を撮影した撮影画像を表示する構成（第６の構成）であっても良い。

また、上記第１から第６の構成の車両遠隔操作装置において、前記補助画像として、前記車両と前記車両の周囲の他の物体との接触に係る情報を表示する構成（第７の構成）であっても良い。

また、上記第１から第７の構成の車両遠隔操作装置において、前記補助画像は、前記車両の像を含み、前記操作部は、前記補助画像の前記車両の像の向きに基づき前記補助画像に重畳して配置され、前記信号生成部は、前記補助画像の前記操作部に対する操作に基づく前記車両の制御信号を生成する構成（第８の構成）であっても良い。

また、本発明に係る車両遠隔操作システムは、上記第１から第７の構成の車両遠隔操作装置と、前記車両に搭載された複数の前記車載カメラそれぞれで撮影された複数の撮影画像に基づき仮想視点から見た前記車両の周辺領域を示す前記合成画像を生成するとともに、前記合成画像を前記車両遠隔操作装置に送信する画像処理装置と、前記車両の制御信号を前記車両遠隔操作装置から受信するとともに、前記制御信号に基づき前記車両を制御する車両制御装置と、を備える構成（第９の構成）である。

また、本発明に係る車両遠隔操作方法は、車両に搭載された複数の車載カメラそれぞれで撮影された複数の撮影画像に基づき生成された、仮想視点から見た前記車両の周辺領域を示す合成画像を受信する工程と、前記合成画像と前記車両の状態を含む補助画像とを表示部に表示する工程と、前記合成画像及び前記補助画像の少なくとも一方に前記車両を操作するための操作部の像を重畳する工程と、前記操作部から前記車両に対する操作を受け付ける工程と、前記操作に基づく前記車両の制御信号を生成する工程と、前記制御信号を前記車両に対して送信する工程と、
を含む構成（第１０の構成）である。

本発明の構成によれば、車両の遠隔操作を行う際に、補助画像として、例えば車両の周辺状況を表示させ、車両の周辺状況を確認しながら遠隔操作を行うことができる。すなわち、車両の遠隔操作における利便性及び操作性を向上させることが可能である。

実施形態の車両遠隔操作システムの構成を示すブロック図 車載カメラが車両に配置される位置を例示する図 車両の周辺領域を示す合成画像を生成する手法を説明するための図 実施例１の合成画像及び補助画像が表示された携帯端末の模式図 実施例１の携帯端末に表示された合成画像の模式図 実施例１の車両遠隔操作に係る処理フローの例を示すフローチャート 実施例２の合成画像及び補助画像が表示された携帯端末の模式図 実施例３の合成画像及び補助画像が表示された携帯端末の模式図 実施例４の合成画像及び補助画像が表示された携帯端末の模式図 実施例５の合成画像及び補助画像が表示された携帯端末の模式図 実施例６の合成画像及び補助画像が表示された携帯端末の模式図（第１例） 実施例６の合成画像及び補助画像が表示された携帯端末の模式図（第２例） 実施例７の車両遠隔操作に係る処理フローの例を示すフローチャート

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。なお、本発明は以下に示す実施形態の内容に限定されるものではない。

また、以下の説明では、車両の直進進行方向であって、運転席からハンドルに向かう方向を「前方向（前方）」とする。車両の直進進行方向であって、ハンドルから運転席に向かう方向を「後方向（後方）」とする。車両の直進進行方向及び鉛直線に垂直な方向であって、前方を向いている運転手の右側から左側に向かう方向を「左方向」とする。車両の直進進行方向及び鉛直線に垂直な方向であって、前方を向いている運転手の左側から右側に向かう方向を「右方向」とする。

＜１．車両遠隔操作システムの構成＞
図１は、実施形態の車両遠隔操作システムＲＳの構成を示すブロック図である。車両遠隔操作システムＲＳは、携帯端末１と、画像処理装置２と、車両制御装置３と、を含む。携帯端末１は、車両５を遠隔操作するための車両遠隔操作装置である。画像処理装置２及び車両制御装置３は、車両５に搭載される。車両遠隔操作システムＲＳは、車両５の周辺領域を示す合成画像が表示された携帯端末１によって車両５を遠隔操作するシステムである。車両５は、さらに撮影部４（車載カメラ）と、センサ部５１と、前照灯５２と、警音器５３と、を含む。

携帯端末１は、画像処理装置２から出力される表示用画像を受信して表示し、車両制御装置３に対して制御信号を送信して車両５を遠隔操作する装置である。携帯端末１としては、例えば車両５の所有者等が所持するスマートフォン、タブレット型端末などが含まれる。本実施形態では、携帯端末１は、例えばスマートフォンである。

画像処理装置２は、車載カメラで撮影された撮影画像を処理する装置である。画像処理装置２は、車載カメラを搭載する車両ごとに備えられる。本実施形態では、画像処理装置２は、撮影部４から撮影画像を取得して処理する。また、画像処理装置２は、センサ部５１から情報を取得し、当該取得情報に基づいて画像処理に関する判断を行うことが可能である。

車両制御装置３は、車両の動作全般に関わる制御を行う。車両制御装置３は、例えばエンジンを制御するエンジンＥＣＵ（Electronic Control Unit）、ステアリングを制御するステアリングＥＣＵ、ブレーキを制御するブレーキＥＣＵ、シフトを制御するシフトＥＣＵ、電源を制御する電源制御ＥＣＵ、ライトを制御するライトＥＣＵ、電動ミラーを制御するミラーＥＣＵ等を含む。本実施形態では、車両制御装置３は、携帯端末１及び画像処理装置２と情報を送受信する。車両制御装置３は、車両５の制御信号を携帯端末１から受信するとともに、当該制御信号に基づき車両５を制御する。

撮影部４は、車両周辺の状況を監視する目的で設けられる。撮影部４は、例えば４つの車載カメラ４１〜４４を備える。図２は、車載カメラ４１〜４４が車両５に配置される位置を例示する図である。

車載カメラ４１は車両５の前端に設けられる。このため、車載カメラ４１をフロントカメラ４１とも呼ぶ。フロントカメラ４１の光軸４１ａは上からの平面視で車両５の前後方向に沿って延びる。フロントカメラ４１は車両５の前方向を撮影する。車載カメラ４３は車両５の後端に設けられる。このため、車載カメラ４３をバックカメラ４３とも呼ぶ。バックカメラ４３の光軸４３ａは上からの平面視で車両５の前後方向に沿って延びる。バックカメラ４３は車両５の後方向を撮影する。フロントカメラ４１及びバックカメラ４３の取付位置は、車両５の左右中央であることが好ましいが、左右中央から左右方向に多少ずれた位置であっても良い。

車載カメラ４２は車両５の右側ドアミラー６１に設けられる。このため、車載カメラ４２を右サイドカメラ４２とも呼ぶ。右サイドカメラ４２の光軸４２ａは上からの平面視で車両５の左右方向に沿って延びる。右サイドカメラ４２は車両５の右方向を撮影する。車載カメラ４４は車両５の左側ドアミラー６２に設けられる。このため、車載カメラ４４を左サイドカメラ４４とも呼ぶ。左サイドカメラ４４の光軸４４ａは上からの平面視で車両５の左右方向に沿って延びる。左サイドカメラ４４は車両５の左方向を撮影する。

なお、車両５がいわゆるドアミラーレス車である場合、右サイドカメラ４２は右サイドドアの回転軸（ヒンジ部）の周辺にドアミラーを介することなく設けられ、左サイドカメラ４４は左サイドドアの回転軸（ヒンジ部）の周辺にドアミラーを介することなく設けられる。

車載カメラ４１〜４４のレンズとしては、例えば魚眼レンズが使用される。車載カメラ４１〜４４は、それぞれの水平方向の画角θが１８０度以上であるため、車両５の水平方向における全周囲を撮影することができる。

図１に戻って、センサ部５１は、車載カメラ４１〜４４が搭載される車両５に関する情報を検出する複数のセンサを有する。車両５に関する情報には、車両自体の情報と、車両周辺の情報とが含まれて良い。本実施形態では、センサ部５１は、例えば車両の速度を検出する車速センサ、ステアリングの回転角を検出する舵角センサ、アクセルの開度を検出するアクセル開度センサ、車両の変速装置のシフトレバーの操作位置を検出するシフトセンサ、車両周辺の照度を検出する照度センサ、車両の振動を検出する振動センサ、車両の傾きを検出する傾斜センサ、車両周辺の人や動物、車両、その他の物体を検出する障害物センサ等が含まれる。

障害物センサは、例えば超音波センサ、赤外線等を用いた光センサ、レーダなどを利用し、車両周辺の人や動物、車両、その他の物体を検出することができる。障害物センサは、例えば車両５のフロントバンパー、リアバンパー及びドアなどの複数箇所に埋設される。障害物センサは、送信波を車両周辺に向けて送信し、人や他の車両などで反射した反射波を受信することで、人や他の車両などの有無や方向、位置を検出する。

前照灯５２は車両５の前端に設けられる。前照灯５２は車両５の前方を照らす照明装置である。警音器５３は、いわゆるホーンであって、周囲に対して警笛音を発する。

＜２．携帯端末の構成＞
携帯端末１は、表示部１１、操作部１２、カメラ１３、音声入出力部１４、センサ部１５、制御部１６、記憶部１７及び通信部１８を含んで構成される。

表示部１１は、スマートフォンである携帯端末１の正面に配置される。表示部１１は、例えば画像処理装置２から出力された表示用画像を画面表示する。表示部１１は、例えば液晶表示パネルであって、操作部１２の一部であるタッチパネルをその表面に備える。

操作部１２は、例えば表示部１１の表面に設けられたタッチパネルと、その他の操作ボタン等を含む。操作部１２は、文字や数値などの入力、メニューやその他選択肢の選択、処理の実行、キャンセルなど、ユーザーが外部から情報を入力できる構成である。本実施形態では、操作部１２は車両５を操作するために用いられるタッチパネルである。

カメラ１３は、スマートフォンである携帯端末１の正面及び背面に配置される。正面のカメラ１３は、携帯端末１の正面側の周囲を撮影する。背面のカメラ１３は、携帯端末１の背面側の周囲を撮影する。

音声入出力部１４は、例えばマイクロフォンと、スピーカとを含む。マイクロフォンは、ユーザーが発する音声を含む、携帯端末１の周囲の音声情報を取得する。スピーカは、外部に向けて報知音及び通信回線上の音声等を発する。

センサ部１５は、携帯端末１に関する情報を検出するセンサを有する。本実施形態では、センサ部１５は、例えば携帯端末の振動を検出する振動センサ、携帯端末の傾きを検出する傾斜センサ、携帯端末自体の位置情報を取得するＧＰＳ（Global Positioning System）センサ等が含まれる。振動センサは、携帯端末に対する外部からの衝撃を検知することもできる。振動センサ、傾斜センサとして、例えば加速度センサ、ジャイロセンサを併用し、携帯端末に係る振動、衝撃、傾斜それぞれを検出することもできる。また、センサ部１５は、携帯端末１のバイブレーション機能のための振動モータも備える。

制御部１６は、不図示のＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を含む、いわゆるマイコンである。制御部１６は、記憶部１７に記憶されたプログラムに基づいて情報の処理及び送受信を行う。制御部１６は、有線で表示部１１、操作部１２、カメラ１３、音声入出力部１４、センサ部１５、記憶部１７及び通信部１８に接続される。

制御部１６は、表示制御部１６１と、操作判別部１６２と、信号生成部１６３と、を備える。制御部１６が備えるこれらの各構成要素それぞれの機能は、プログラムに従ってＣＰＵが演算処理を行うことによって実現される。

表示制御部１６１は、表示部１１の表示内容を制御する。表示制御部１６１は、例えば携帯端末１の各種機能の実行及び設定に係る入力を受け付けるに際し、その機能に係る機能画像を表示部１１に表示させる。機能画像は、携帯端末１の各種機能に対応する画像であって、例えばアイコン、ボタン、ソフトキー、スライドバー、スライドスイッチ、チェックボックス、テキストボックスなどを含む。ユーザーは、表示部１１に表示された機能画像をタッチパネル（操作部１２）を介してタッチして選択することで、携帯端末１の各種機能の実行及び設定を行うことが可能になる。

操作判別部１６２は、タッチパネル（操作部１２）が出力した検出信号を受信し、その検出信号に基づきタッチパネルに対する操作内容を判別する。操作判別部１６２は、タッチパネルにおける位置情報に加えて、タップ、ドラッグ、フリックなどの操作を判別する。ドラッグ、フリックなどの移動を伴う操作である場合、その移動方向、移動量等についても判別する。

信号生成部１６３は、操作部１２に対する操作に基づく車両５の制御信号を生成する。生成された車両５の制御信号は、通信部１８を介して車両制御装置３に送信される。

記憶部１７は、例えばフラッシュメモリ等の不揮発性のメモリであり、各種の情報を記憶する。記憶部１７は、例えばファームウェアとしてのプログラム、制御部１６が各種機能を実行するための様々なデータなどを記憶する。

通信部１８は、例えば無線によって様々な外部機器と接続される。携帯端末１は、通信部１８を介して、車両５の画像処理装置２で生成された車両５の周辺領域を示す表示用画像（合成画像）や、センサ部５１で検出された各種情報（ステアリング舵角、アクセル開度、シフト位置、車両速度、障害物情報等）を受信することが可能である。携帯端末１は、通信部１８を介して、操作部１２に対する操作に基づく車両５の制御信号を車両制御装置３に対して送信することが可能である。

＜３．画像処理装置の構成＞
画像処理装置２は、画像生成部２１、制御部２２、記憶部２３及び通信部２４を含んで構成される。

画像生成部２１は、撮影部４で撮影された撮影画像を処理して表示用画像を生成する。本実施形態では、画像生成部２１は、各種の画像処理が可能なハードウェア回路として構成される。本実施形態では、画像生成部２１は、車両５に搭載された車載カメラ４１〜４４によって撮影された撮影画像に基づき、仮想視点から見た車両５の周辺を示す合成画像を生成する。さらに、画像生成部２１は、当該合成画像に基づき、携帯端末１で表示するための表示用画像を生成する。合成画像を生成する手法の詳細については後述する。

制御部２２は、不図示のＣＰＵ、ＲＡＭ、及びＲＯＭを含む、いわゆるマイコンである。制御部２２は、記憶部２３に記憶されたプログラムに基づいて情報の処理及び送受信を行う。制御部２２は、有線または無線で携帯端末１、車両制御装置３、撮影部４及びセンサ部５１に接続される。

制御部２２は、画像取得部２２１と、画像制御部２２２と、を備える。制御部２２が備えるこれらの各構成要素それぞれの機能は、プログラムに従ってＣＰＵが演算処理を行うことによって実現される。

画像取得部２２１は、車載カメラ４１〜４４で撮影された撮影画像を取得する。本実施形態では、車載カメラ４１〜４４の数は４つであり、画像取得部２２１は、車載カメラ４１〜４４それぞれで撮影された撮影画像を取得する。

画像制御部２２２は、画像生成部２１によって実行される画像処理の制御を行う。例えば、画像制御部２２２は、画像生成部２１に対して、合成画像及び表示用画像を生成するために必要となる各種のパラメータ等の指示を行う。また、画像制御部２２２は、画像生成部２１によって生成された表示用画像を携帯端末１に対して出力する際の制御を行う。なお、この説明において、携帯端末１の表示部１１に表示される「合成画像の表示用画像」のことを、単に「合成画像」と呼ぶ場合がある。

記憶部２３は、例えばフラッシュメモリ等の不揮発性のメモリであり、各種の情報を記憶する。記憶部２３は、例えばファームウェアとしてのプログラム、画像生成部２１が合成画像及び表示用画像を生成するための各種のデータを記憶する。また、記憶部２３は、画像取得部２２１及び画像制御部２２２が処理を実行するために必要となる各種のデータを記憶する。

通信部２４は、例えば無線によって携帯端末１と接続される。画像処理装置２は、通信部２４を介して携帯端末１に、画像生成部２１で生成された表示用画像や、センサ部５１で検出された各種情報（ステアリング舵角、アクセル開度、シフト位置、車両速度、障害物情報等）を出力することが可能である。

＜４．合成画像の生成＞
画像生成部２１が、仮想視点から見た車両５の周辺の様子を示す合成画像を生成する手法について説明する。図３は、車両５の周辺領域を示す合成画像ＣＰを生成する手法を説明するための図である。

フロントカメラ４１、右サイドカメラ４２、バックカメラ４３及び左サイドカメラ４４によって、車両５の前方、右側方、後方及び左側方それぞれを示す４つの撮影画像Ｐ４１〜Ｐ４４が同時に取得される。これら４つの撮影画像Ｐ４１〜Ｐ４４には、車両５の全周囲のデータが含まれる。画像生成部２１は、これら４つの撮影画像Ｐ４１〜Ｐ４４を、画像取得部２２１を介して取得する。

画像生成部２１は、これら４つの撮影画像Ｐ４１〜Ｐ４４に含まれるデータ（各画素の値）を、仮想的な三次元空間における立体的な曲面である投影面ＴＳに投影する。投影面ＴＳは、例えば略半球形状（お椀形状）をしており、その中心部（お椀の底部分）が車両５の位置として定められる。

投影面ＴＳでは、車両５の領域の外側の領域に、撮影画像のデータが投影される。撮影画像Ｐ４１〜Ｐ４４に含まれる各画素の位置と、投影面ＴＳの各画素の位置とは予め対応関係が定められる。この対応関係を示すテーブルデータは、記憶部２３に記憶される。投影面ＴＳの各画素の値は、この対応関係と、撮影画像Ｐ４１〜Ｐ４４に含まれる各画素の値とに基づいて決定できる。

次に、画像生成部２１は、画像制御部２２２の制御により、三次元空間に対して仮想視点ＶＰを設定する。仮想視点ＶＰは、視点位置と視線方向とで規定される。画像生成部２１は、任意の視点位置、且つ、任意の視線方向の仮想視点ＶＰを三次元空間に設定できる。画像生成部２１は、投影面ＴＳのうち、設定された仮想視点ＶＰから見た視野内に含まれる領域に投影されたデータを画像として切り出す。これにより、画像生成部２１は、任意の仮想視点ＶＰから見た合成画像を生成する。

例えば、図３に示すように、視点位置を車両５の直上、視線方向を直下とした仮想視点ＶＰａを想定した場合、車両５及び車両５の周辺を俯瞰する合成画像（俯瞰画像）ＣＰａを生成することができる。

なお、合成画像ＣＰａ中に示す車両５の像５ｐは、予めビットマップなどのデータとして用意され、記憶部２３に記憶される。合成画像の生成の際には、当該合成画像の仮想視点ＶＰの視点位置と視線方向とに応じた形状の車両５の像５ｐのデータが読み出されて、合成画像ＣＰａ中に含められる。

このようにして、画像生成部２１は、仮想の立体的な投影面ＴＳを用いることで、現実に近い臨場感のある合成画像ＣＰａを生成することができる。

また、携帯端末１のカメラ１３ではなく、車両５に搭載された複数の車載カメラ４１〜４４それぞれで撮影された複数の撮影画像に基づき生成された、車両５の周辺領域を示す合成画像を用いて車両５の周辺領域を確認できる。これにより、ユーザーの位置から死角となる領域、例えばユーザーの位置から見て車両５によって遮蔽される車両５の反対側の領域なども確認することが可能である。

＜５．携帯端末による車両の遠隔操作の概略＞
＜５−１．実施例１＞
携帯端末１は、画像処理装置２から出力される表示用画像（合成画像）を受信し、表示部１１に表示することができる。図４は、実施例１の合成画像ＣＰ１及び補助画像ＡＰ１が表示された携帯端末１の模式図である。携帯端末１の表示部１１は、合成画像ＣＰ１と、補助画像ＡＰ１と、を表示する。表示部１１は、例えば合成画像ＣＰ１を上側に表示し、補助画像ＡＰ１を下側に表示するが、これらの上下の配置を入れ替えても良い。

図５は、実施例１の携帯端末１に表示された合成画像ＣＰ１の模式図である。図５に示すように、携帯端末１は、車両５を遠隔操作するにあたって、表示部１１に車両５の操作に係る機能画像であるアイコン等を表示する。すなわち、合成画像ＣＰ１には、操作部１２の像であるアイコン等が重畳される。操作部１２は、合成画像ＣＰ１の車両５の像５ｐの位置及び向きに応じて配置される。

詳細に言えば、表示部１１の画面には、合成画像ＣＰ１に重ねて、例えば前進に係るアイコン１２ａ、右斜め前方に係るアイコン１２ｂ、左斜め前方に係るアイコン１２ｃ、後退に係るアイコン１２ｄ、右斜め後方に係るアイコン１２ｅ、左斜め後方に係るアイコン１２ｆが表示される。これらの車両５の走行に係るアイコンは、例えば車両５の像５ｐの周囲の、各進行方向に対応する位置に配置される。なお、本実施例では、車両５の進行方向を示すアイコンを、例えば三角形形状で構成したが、矢印形状など他の形状で構成しても良い。

また、車両５の停止に係る「ＳＴＯＰ」と描かれたアイコン１２ｇが、車両５の像５ｐに重ねて配置される。また、合成画像ＣＰ１の外部には、車両５の遠隔操作を終了するためのアイコン１２ｈが表示される。

ユーザーはその手指で、これらのアイコンを任意に操作することができる。操作判別部１６２は、タッチパネル（操作部１２）の検出信号に基づきアイコンに対応する操作内容を判別する。信号生成部１６３は、アイコンに対応する操作内容に基づき車両５の制御信号を生成する。当該制御信号は、通信部１８を介して車両制御装置３に送信される。

例えば、ユーザーが車両５の前進に係るアイコン１２ａを１回押す（タップする）と、車両５は予め定められた所定距離（例えば１０ｃｍ）だけ前進する。また例えば、ユーザーが車両５の左斜め前方に係るアイコン１２ｃを１回押すと、車両５は左斜め前方に進むように所定角度だけステアリング角を変更する。このとき、ステアリング角を変更する度に、車両５の像５ｐの向きを変え、どの方向に曲がって行くのかを把握し易くしても良い。続いて、前進に係るアイコン１２ａを１回押すと、車両５は予め定められた所定距離だけ左斜め前方に進む。なお、タッチパネル（操作部１２）対するドラッグ、フリックなどの移動を伴う操作に基づき、車両５の進行方向、走行距離等を制御することにしても良い。

走行する車両５を途中で止めたい場合、車両５の停止に係る「ＳＴＯＰ」と描かれたアイコン１２ｇを押すと、車両５は停止する。なお、ユーザーが前進に係るアイコン１２ａ、または後退に係るアイコン１２ｄを押している期間だけ車両５が走行し、ユーザーがそれらのアイコンから手指を離すと車両５が停止する構成であっても良い。

遠隔操作中、車両周辺の人や動物、車両、その他の物体といった障害物は、センサ部５１によって検出される。センサ部５１が障害物を検出した場合、その検出信号が車両制御装置３に送信され、車両制御装置３は自動的に車両５を停車させる。

図４に戻って、補助画像ＡＰ１は、例えば車両５の周辺の他の物体、車両５から障害物や駐車枠までの距離、車両５自体の操作状態などの車両５の状態を含む。本実施例において、表示部１１は、補助画像ＡＰ１として、例えば右側ドアミラー６１に映る像を含む画像を表示する。なお、補助画像ＡＰ１は、例えばフェンダーミラー画像、車両４の後方の像を含むルームミラー画像であっても良い。これにより、補助画像ＡＰ１は、車両５の像５ｐを含む。

また、補助画像ＡＰ１にも操作部１２の像であるアイコン等を重畳しても良い。この場合、操作部１２の像であるアイコン等は、補助画像ＡＰ１の車両５の像５ｐの位置及び向きに基づき補助画像ＡＰ１に重畳して配置される。より詳細に言えば、車両５の操作方向は補助画像ＡＰ１が基準となるため、補助画像ＡＰ１に含まれる車両５の像５ｐの位置及び向きに基づきアイコンが表す操作方向を定めることが好ましい。これにより、補助画像ＡＰ１に基づく車両５の遠隔操作、すなわち補助画像ＡＰ１で確認しながら車両５の遠隔操作を行うことができる。

なお、補助画像ＡＰ１に重畳された操作部１２のアイコンを用いた操作に関して、車両５の各制御データはその操作方向に対応した方向に車両５が移動するように生成しておく必要がある。各アイコン操作に対応する制御データは、例えばテーブル形式で予め記憶される。補助画像ＡＰ１においてアイコン操作が行われた場合、信号生成部１６３は、当該アイコン操作に対応する制御データをテーブルから読み出し、補助画像ＡＰ１の操作部１２のアイコンに対する操作に基づく車両５の制御信号を生成する。生成された車両５の制御信号は、通信部１８を介して車両制御装置３に送信され、車両５の制御に用いられる。

補助画像の種別が異なる場合に対応して、例えば、補助画像の種別毎にテーブルを記憶しておく、また補助画像の種別毎に変換処理データ（式）を記憶しておくことが好ましい。これにより、補助画像の種別が異なる場合であっても、補助画像において車両５の遠隔操作が可能となる。

図６は、実施例１の車両遠隔操作に係る処理フローの例を示すフローチャートである。実施例１の携帯端末１による車両５の遠隔操作に係る処理について、図６の処理フローを参照しつつ説明する。

携帯端末１は、例えばユーザーによって操作され、遠隔操作開始の指示を操作部１２から受け付けることで、携帯端末１による車両５の遠隔操作に係る処理を開始する（図６の「開始」）。車両５の遠隔操作は、車両５が停止した状態で開始される。

次に、携帯端末１は、合成画像ＣＰ１の生成に係る制御信号を車両５の画像処理装置２に送信する（ステップＳ１０１）。画像処理装置２では、車載カメラ４１〜４４それぞれから車両５の周辺の、複数の画像が取得される。画像生成部２１では、車両５の周辺の、複数の画像に基づき、仮想視点から見た車両５の周辺領域を示す合成画像ＣＰ１が生成される。

次に、携帯端末１は、合成画像ＣＰ１を画像処理装置２から受信し、その合成画像ＣＰ１を表示部１１に表示する（ステップＳ１０２）。続いて、携帯端末１は、合成画像ＣＰ１に重ねて、表示部１１に車両５の操作に係る機能画像であるアイコン等（操作部１２）を表示する（ステップＳ１０３）。これにより、ユーザーはその手指で、遠隔操作用のアイコンを任意に操作することができる。

次に、携帯端末１は、補助画像ＡＰ１を表示部１１に表示する（ステップＳ１０４）。補助画像ＡＰ１は、車両５の状態を含み、例えば本実施例ではサイドミラー画像である。

次に、携帯端末１は、操作部１２に対してユーザーの操作入力があったか否かを判別する（ステップＳ１０５）。操作部１２への操作入力がない場合（ステップＳ１０５のＮｏ）、ステップＳ１０２に戻って、携帯端末１は合成画像ＣＰ１の受信及び表示を継続する。

操作部１２への操作入力があった場合（ステップＳ１０５のＹｅｓ）、携帯端末１は、信号生成部１６３を用いて操作部１２に対する操作に基づき車両５の制御信号を生成し、当該制御信号を車両制御装置３に送信する（ステップＳ１０６）。これにより、ユーザーは車両５の遠隔操作を行うことができる。

次に、携帯端末１は、車両５の遠隔操作ＯＦＦの操作がユーザーによって行われたか否かを判別する（ステップＳ１０７）。ユーザーは、車両５の遠隔操作を終了するためのアイコン１２ｈを操作して、車両５の遠隔操作を終了することができる。遠隔操作ＯＦＦの操作がない場合（ステップＳ１０７のＮｏ）、ステップＳ１０２に戻って、携帯端末１は合成画像ＣＰ１の受信及び表示を継続する。

遠隔操作ＯＦＦの操作がなされた場合（ステップＳ１０７のＹｅｓ）、図６に示す処理フローが終了される。

上記のように、本実施例の車両遠隔操作装置である携帯端末１は、表示部１１に、操作部１２の像を重畳した合成画像ＣＰ１と、車両５の状態を含む補助画像ＡＰ１とを表示する。この構成によれば、車両５の遠隔操作を行う際に、補助画像ＡＰ１として、例えば車両５の周辺状況を表示させることができる。したがって、車両５の周辺状況を確認しながら遠隔操作を行うことができる。すなわち、車両５の遠隔操作における利便性及び操作性を向上させることが可能である。

また、表示部１１において、操作部１２は、合成画像ＣＰ１の車両５の像５ｐの位置及び向きに応じて配置される。この構成によれば、車両５に対する操作の方向を、容易に認識することができる。したがって、車両５の遠隔操作における操作性を向上させることが可能である。

また、表示部１１は、補助画像ＡＰ１として、車両５のミラーに映る像を含む画像を表示する。この構成によれば、携帯端末１の表示部１１で、車両５のミラーに映る車両５の周辺状況を確認することができる。すなわち、車両５の運転席で運転している感覚で遠隔操作を行うことができ、車両５の遠隔操作における利便性及び操作性を一層向上させることが可能である。

＜５−２．実施例２＞
図７は、実施例２の合成画像ＣＰ１及び補助画像ＡＰ２が表示された携帯端末１の模式図である。実施例２の携帯端末１は、表示部１１の画面に、合成画像ＣＰ１に重ねて、車両５の遠隔操作に係る複数のアイコンを操作部１２として表示する。

さらに、携帯端末１の表示部１１は、合成画像ＣＰ１の下方に、補助画像ＡＰ２を表示する。なお、合成画像ＣＰ１と、補助画像ＡＰ２との上下の配置を入れ替えても良い。表示部１１は、補助画像ＡＰ２として、車両５自体の操作状態の画像１１１を表示する。車両５自体の操作状態の画像１１１は、例えばハンドル画像１１１ａと、アクセル画像１１１ｂと、ブレーキ画像１１１ｃと、を含む。

ハンドル画像１１１ａは、実際の車両５におけるハンドルの回転角を表す画像である。ハンドル画像１１１ａは、操作部１２によって操作した車両５のハンドルの回転に連動して、中心軸回りに回転する。アクセル画像１１１ｂは、実際の車両５におけるアクセルの踏み込み度合を表す画像である。アクセル画像１１１ｂは、例えばアクセルの踏み込み度合をインジケータによって表現する。ブレーキ画像１１１ｃは、実際の車両５におけるブレーキの踏み込み度合を表す画像である。ブレーキ画像１１１ｃは、例えばブレーキの踏み込み度合をインジケータによって表現する。

なお、これらの画像は、通信部１８を介して受信された、車両５のセンサ部５１で検出された各種情報（ステアリング舵角、アクセル開度、シフト位置、車両速度、障害物情報等）などから生成することができる。

本実施例の携帯端末１の構成によれば、ハンドルなどといった実際の車両５自体の操作状態を、携帯端末１の表示部１１で確認することができる。例えば、ハンドルがどの程度回転し、タイヤがどの方向を向いているのかを、車両５に近づくことなく容易に確認することができる。したがって、車両５の遠隔操作における利便性及び操作性を一層向上させることが可能である。

＜５−３．実施例３＞
図８は、実施例３の合成画像ＣＰ１及び補助画像ＡＰ３が表示された携帯端末１の模式図である。実施例３の携帯端末１は、表示部１１の画面に、合成画像ＣＰ１に重ねて、車両５の遠隔操作に係る複数のアイコンを操作部１２として表示する。

さらに、携帯端末１の表示部１１は、合成画像ＣＰ１の下方に、補助画像ＡＰ３を表示する。なお、合成画像ＣＰ１と、補助画像ＡＰ３との上下の配置を入れ替えても良い。表示部１１は、補助画像ＡＰ３として、車両５に接近する物体を表示する。例えば、遠隔操作による車両５の駐車スペースＰｓ１への駐車時において、補助画像ＡＰ３には、車両５に接近する車止めＴｒ１が拡大表示される。さらに、補助画像ＡＰ３には、車両５の、車止めＴｒ１までの距離を示すテキストＴｘ１が表示される。

なお、車両５に接近する物体は、車両５のセンサ部５１によって検出される。車両５に接近する物体には、車止めＴｒ１のほか、例えば車両５周辺の側壁や人、動物、車両、その他の物体などが含まれる。

本実施例の携帯端末１の構成によれば、車両５に接近する物体に係る車両５の状態を、容易に確認することができる。したがって、遠隔操作時の安全性が高まり、車両５の遠隔操作における利便性を一層向上させることが可能である。

＜５−４．実施例４＞
図９は、実施例４の合成画像ＣＰ１及び補助画像ＡＰ４が表示された携帯端末１の模式図である。実施例４の携帯端末１は、表示部１１の画面に、合成画像ＣＰ１に重ねて、車両５の遠隔操作に係る複数のアイコンを操作部１２として表示する。

さらに、携帯端末１の表示部１１は、合成画像ＣＰ１の下方に、補助画像ＡＰ４を表示する。なお、合成画像ＣＰ１と、補助画像ＡＰ４との上下の配置を入れ替えても良い。表示部１１は、補助画像ＡＰ４として、車両５の下方を撮影した撮影画像を表示する。これに関して、車両５は、車載カメラ４１〜４４に加えて、車両５の下方を撮影する車載カメラを備える。

本実施例の携帯端末１の構成によれば、携帯端末１の表示部１１で、車両５の下方の状況を確認することができる。すなわち、通常の運転時には確認できない車両５の下方の状況を車両５に近づくことなく容易に確認することができる。したがって、車両５の遠隔操作における利便性及び操作性を一層向上させることが可能である。

＜５−５．実施例５＞
図１０は、実施例５の合成画像ＣＰ１及び補助画像ＡＰ５が表示された携帯端末１の模式図である。実施例５の携帯端末１は、表示部１１の画面に、合成画像ＣＰ１に重ねて、車両５の遠隔操作に係る複数のアイコンを操作部１２として表示する。

さらに、携帯端末１の表示部１１は、合成画像ＣＰ１の下方に、補助画像ＡＰ５を表示する。なお、合成画像ＣＰ１と、補助画像ＡＰ５との上下の配置を入れ替えても良い。表示部１１は、補助画像ＡＰ５として、例えば遠隔操作による車両５の駐車スペースＰｓ２への駐車時における車両５の後方の画像を表示する。

例示した駐車スペースＰｓ２は、例えば車両の駐車空間の上方に構造物Ｓｔ１が存在する。補助画像ＡＰ５には、構造物Ｓｔ１の像が含まれる。ここで、携帯端末１は、補助画像ＡＰ５に基づき、床面から構造物Ｓｔ１までの高さを導出する。そして、携帯端末１は、車両５の車高と、構造物Ｓｔ１の高さとを比較し、車両５が構造物Ｓｔ１の下方に進入可能であるか否かを判別する。なお、車両５自体のサイズに係る情報は、予め記憶部１７等に記憶される。さらに、補助画像ＡＰ５には、車両５が構造物Ｓｔ１の下方に進入可能であるか否かに係るテキストＴｘ２が表示される。

上記のように、本実施例の携帯端末１の表示部１１は、補助画像として、車両５と車両５の周囲の他の物体との接触に係る情報を表示する。この構成によれば、携帯端末１の表示部１１で、車両５と車両５の周囲の他の物体との接触に係る情報を確認することができる。具体的には、例えば車両の駐車空間の上方に構造物Ｓｔ１が存在する場合に、車両５と構造物Ｓｔ１とが接触するか否かを、携帯端末１の表示部１１で確認することができる。したがって、車両５の遠隔操作における利便性及び操作性を一層向上させることが可能である。

＜５−６．実施例６＞
図１１は、実施例６の合成画像ＣＰ１及び補助画像ＡＰ６１が表示された携帯端末１の模式図（第１例）である。実施例６の携帯端末１は、表示部１１の画面に、合成画像ＣＰ１に重ねて、車両５の遠隔操作に係る複数のアイコンを操作部１２として表示する。

さらに、携帯端末１の表示部１１は、合成画像ＣＰ１の下方に、補助画像ＡＰ６１を表示する。なお、合成画像ＣＰ１と、補助画像ＡＰ６１との上下の配置を入れ替えても良い。表示部１１は、補助画像ＡＰ６１として、例えば遠隔操作による車両５の駐車スペースＰｓ３への駐車時における車両５の後方の画像を表示する。

例示した駐車スペースＰｓ３は、例えば車両の駐車空間の左右の側方に壁部Ｓｔ２、Ｓｔ３が存在する。補助画像ＡＰ６１には、壁部Ｓｔ２、Ｓｔ３の像が含まれる。ここで、携帯端末１は、補助画像ＡＰ６１に基づき、壁部Ｓｔ２、Ｓｔ３の車幅方向の間隔を導出する。そして、携帯端末１は、車両５の車幅と、壁部Ｓｔ２、Ｓｔ３の間隔とを比較し、車両５が駐車スペースＰｓ３に進入可能であるか否かを判別する。なお、車両５自体のサイズに係る情報は、予め記憶部１７等に記憶される。さらに、補助画像ＡＰ６１には、車両５が駐車スペースＰｓ３に進入可能であるか否かに係るテキストＴｘ３が表示される。

続いて、車両５が駐車スペースＰｓ３に進入すると、携帯端末１の表示部１１は、合成画像ＣＰ１の下方に、補助画像ＡＰ６２を表示する。図１２は、実施例６の合成画像ＣＰ１及び補助画像ＡＰ６２が表示された携帯端末１の模式図（第２例）である。合成画像ＣＰ１及び補助画像ＡＰ６２は、例えば車両５の一部が駐車スペースＰｓ３に進入した状態を示す。ここで、携帯端末１は、左右のドアを開いた状態の車両５の車幅と、壁部Ｓｔ２、Ｓｔ３の間隔とを比較し、駐車スペースＰｓ３に駐車した車両５が左右のドアを十分に開放できるか否かを判別する。さらに、補助画像ＡＰ６２には、駐車スペースＰｓ３内で車両５が左右のドアを十分に開放できるか否かに係るテキストＴｘ４が表示される。

上記のように、本実施例の携帯端末１の表示部１１は、補助画像として、車両５と車両５の周囲の他の物体との接触に係る情報を表示する。この構成によれば、携帯端末１の表示部１１で、車両５と車両５の周囲の他の物体との接触に係る情報を確認することができる。具体的には、例えば車両の駐車空間の左右の側方に壁部Ｓｔ２、Ｓｔ３が存在する場合に、車両５と壁部Ｓｔ２、Ｓｔ３とが接触するか否かを、携帯端末１の表示部１１で確認することができる。さらに、当該駐車空間内で車両５が左右のドアを十分に開放できるか否かを、携帯端末１の表示部１１で確認することができる。したがって、車両５の遠隔操作における利便性及び操作性を一層向上させることが可能である。

なお、車両と車両の周囲の他の物体との接触に関して、他の物体は側壁に限定されるわけではない。他の物体としては、例えば人や動物、車両、その他の物体が含まれる。また、車両と車両の周囲の他の物体との接触は、車両の左右だけでなく、車両の前後も確認することができる。さらに、例えば車両がドアを十分に開放できるか否かに係る情報は、車両が駐車スペース等への進入を開始する前に表示することにしても良い。

なお、図１１及び図１２に示すように、合成画像ＣＰ１及び補助画像ＡＰ６２にドア開範囲線１１２ａ、車幅線１１２ｂなどを表示しても良い。ドア開範囲線１１２ａは、ドア開動作時のドアの移動範囲を示す。車幅線１１２ｂは、車両左右端を車体前後方向に沿って延長した線、或いは車両左右端をステアリング舵角等から推定した車両進行方向に沿って延長した線である。これにより、車両５の左右方向の余裕状態を容易に確認することが可能になる。

＜５−７．実施例７＞
図１３は、実施例７の車両遠隔操作に係る処理フローの例を示すフローチャートである。実施例７の携帯端末１による車両５の遠隔操作に係る処理について、図１３の処理フローを参照しつつ説明する。なお、実施例１で説明した図６の処理フローと共通する処理については、詳細な説明を省略する場合がある。

携帯端末１は、例えばユーザーによって操作され、遠隔操作開始の指示を操作部１２から受け付けることで、携帯端末１による車両５の遠隔操作に係る処理を開始する（図１３の「開始」）。車両５の遠隔操作は、車両５が停止した状態で開始される。

次に、携帯端末１は、自身の表示部１１の画面サイズを確認し、表示部１１の画面サイズに基づき当該フローに係る遠隔操作中の車両５の速度条件を変更する（ステップＳ２０１）。表示部１１の画面サイズに係る情報は、予め記憶部１７等に記憶される。例えば、表示部１１の画面サイズが大きくなるにつれて、ユーザーによる車両５の周辺状況が確認し易くなるので、車両５の走行速度の上限が高くされる。

次に、携帯端末１は、車両５の速度モードを確認し、定速モードであるか否かを判別する（ステップＳ２０２）。例えば、車両５の速度モードには、定速モードと、可変モードとが存在する。

定速モードでは、車両５の進行方向に係るアイコンを操作すれば、その方向に一定速度で走行するように車両５が制御される。なお、定速モードにおける車両５の走行速度は、進行方向に係るアイコンの操作の前に、適宜任意に設定することが可能である。

可変モードでは、車両５の、進行方向の指示操作と、走行速度の調整操作とが必要である。例えば、進行方向に係るアイコンを操作しながら、走行速度の調整に係るアイコンを操作すれば、車両５は当該操作に基づき指示した方向に、調整した走行速度で進行する。具体的に言えば、例えば前進に係るアイコンを操作しながら、速度Ｕｐに係るアイコンを操作すれば、車両５は徐々に速度Ｕｐしながら前進する。

また、タッチパネル（操作部１２）対するドラッグ、フリックなどの移動を伴う操作に基づき、車両５の進行方向、走行距離、走行速度等を制御することにしても良い。また、ユーザーが車両５の走行に係るアイコンを押している期間だけ車両５が走行し、ユーザーがアイコンから手指を離すと車両５が停止する構成であっても良い。

また、ユーザーが車両５の走行に係るアイコンを１回押す（タップする）と、車両５が予め定められた所定距離だけ走行することにしても良い。この場合、長短両方の走行距離が予め定められたアイコンをそれぞれ設けることにしても良い。

車両５の速度モードが定速モード及び可変モードのいずれであるかは、予め設定しておいて良く、当該ステップでユーザーに選択させることにしても良い。

車両５の速度モードが定速モードである場合（ステップＳ２０２のＹｅｓ）、携帯端末１は、定速モードに係る制御信号を車両制御装置３に送信する（ステップＳ２０３）。車両５の速度モードが定速モードではなく、可変モードである場合（ステップＳ２０２のＮｏ）、携帯端末１は、可変モードに係る初期速度信号を車両制御装置３に送信する（ステップＳ２０４）。可変モードに係る車両５の初期速度は、予め定められて記憶部１７等に記憶される。この後、可変モードにおいて、ユーザーは車両５の走行速度を適宜任意に変更することができる。

次に、携帯端末１は、合成画像の生成に係る制御信号を車両５の画像処理装置２に送信する（ステップＳ２０５）。続いて、携帯端末１は、合成画像を画像処理装置２から受信し、その合成画像を表示部１１に表示する（ステップＳ２０６）。続いて、携帯端末１は、合成画像に重ねて、表示部１１に車両５の操作に係る機能画像であるアイコン等（操作部１２）を表示する（ステップＳ２０７）。続いて、携帯端末１は、補助画像を表示部１１に表示する（ステップＳ２０８）。

次に、車両５において、車両５に対して外部から接近する人や動物、車両、その他の物体の確認がセンサ部５１または撮影部４を用いて実施され、それらの物体の接近を検出したか否かが判別される（ステップＳ２０９）。車両５では、例えば携帯端末１から合成画像の生成に係る制御信号等を受信するなどして、携帯端末１による遠隔操作の開始が確認されると、監視モードが起動され、車両５への外部からの接近の監視が開始される。車両５の周辺の人や動物、車両、その他の物体の検出には、例えばセンサ部５１の超音波センサ、光センサ、レーダの検出信号、または車載カメラ４１〜４４の撮影画像による画像認識に基づき判別される。

車両５への外部からの接近を検出した場合（ステップＳ２０９のＹｅｓ）、車両５に接近する物体の状態が検出され、当該物体の状態に基づき車両５の走行速度が設定される（ステップＳ３１０）。具体的には、例えば物体の状態とは、車両５と物体との距離や、物体自体の移動速度などが含まれる。例えば、車両５と物体との距離が短くなるにつれて車両５の走行速度は低くなる。さらに例えば、車両５と物体との距離が予め定められた所定距離以下になると、車両５は停止する。また例えば、物体自体の移動速度が速くなるにつれて車両５の走行速度は低くなる。

次に、車両５において、車両５の周辺環境の確認がセンサ部５１または撮影部４を用いて実施される（ステップＳ２１１）。車両５では、例えば携帯端末１から合成画像の生成に係る制御信号等を受信するなどして、携帯端末１による遠隔操作の開始が確認されると、監視モードが起動され、車両５の周辺環境の監視が開始される。車両５の周辺環境の検出には、例えばセンサ部５１の照度センサ、振動センサ、傾斜センサの検出信号、または車載カメラ４１〜４４の撮影画像による画像認識に基づき判別される。

次に、車両５の周辺環境に基づき車両５の走行速度が設定される（ステップＳ２１２）。具体的には、例えば車両５の周辺環境とは、明るさや、車両５の傾き、路面状態、駐車スペースのサイズ、駐車スペースまでの距離などが含まれる。例えば、車両５の周辺が暗くなるにつれて車両５の走行速度は低くなる。また例えば、車両５の傾きに関して、傾きが大きくなるにつれて車両５の走行速度は低くなる。また例えば、路面上で凍結などの滑り易い状態が検出されると車両５の走行速度は低くなる。また例えば、駐車スペースが狭くなるにつれて、また駐車スペースまでの距離が短くなるにつれて車両５の走行速度は低くなる。なお、駐車スペースが広くなるにつれて、また駐車スペースまでの距離が長くなるにつれて、車両５の走行開始の初期段階において、走行速度を高めに設定しても良い。

次に、携帯端末１は、操作部１２に対してユーザーの操作入力があったか否かを判別する（ステップＳ２１３）。操作部１２への操作入力があった場合（ステップＳ２１３のＹｅｓ）、携帯端末１は、操作部１２に対する操作に基づき車両５の制御信号を生成し、当該制御信号を車両制御装置３に送信する（ステップＳ２１４）。続いて、携帯端末１は、車両５の遠隔操作ＯＦＦの操作がユーザーによって行われたか否かを判別する（ステップＳ２１５）。

遠隔操作ＯＦＦの操作がなされた場合（ステップＳ２１５のＹｅｓ）、携帯端末１は、速度設定解除の制御信号を車両５の車両制御装置３に送信する（ステップＳ２１６）。これにより、当該フローに係る遠隔操作中に設定された車両５の走行速度が解除される。そして、図１３に示す処理フローが終了される。

本実施例の携帯端末１の構成によれば、車両５の遠隔操作時に、車両５に接近する物体の状態に基づき、また車両５の周辺環境に基づき車両５の走行速度が自動的に設定される。例えば、状況に応じて車両５の走行速度が低くなることで、遠隔操作時の安全性が高められる。したがって、車両５の遠隔操作における利便性を向上させることが可能になる。

具体的には、例えば車両５と物体との距離が短くなるにつれて、また物体自体の移動速度が速くなるにつれて、車両５の走行速度は低くなり、車両５と当該物体との接触を回避し易くなる。また例えば、表示部１１の画面サイズが大きくなるにつれて、車両５の走行速度の上限が高くなり、遠隔操作による車両５の移動のスピードアップを図ることができる。また例えば、車両５の周辺が暗くなるにつれて、また車両５の傾きが大きくなるにつれて、また路面上で滑り易い状態が検出されると、車両５の走行速度は低くなり、車両５とその周辺の障害物等との接触が回避し易くなる。また例えば、駐車スペースが狭くなるにつれて、また駐車スペースまでの距離が短くなるにつれて、車両５の走行速度は低くなり、車両５と他の車両等との接触が回避し易くなる。また例えば、駐車スペースが広くなるにつれて、また駐車スペースまでの距離が長くなるにつれて、車両５の走行速度は高くなり、遠隔操作による車両５の移動のスピードアップを図ることができる。

＜６．その他＞
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は全ての点で例示であって、制限的なものではないと考えられるべきである。本発明の技術的範囲は上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。また、上記の複数の実施形態、実施例及び変形例は可能な範囲で組み合わせて実施しても良い。

また、上記実施形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されていると説明したが、これらの機能のうちの一部は電気的なハードウェア回路によって実現されても良い。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されても良い。

１ 携帯端末（車両遠隔操作装置）
２ 画像処理装置
３ 車両制御装置
４ 撮影部
５ 車両
５ｐ 像
１１ 表示部
１２ 操作部
１３ カメラ
１４ 音声入出力部
１５ センサ部
１６ 制御部
１７ 記憶部
１８ 通信部
４１、４２、４３、４４ 車載カメラ
１６１ 表示制御部
１６２ 操作判別部
１６３ 信号生成部
ＡＰ１、ＡＰ２、ＡＰ３、ＡＰ４、ＡＰ５、ＡＰ６１、ＡＰ６２ 補助画像
ＣＰ１ 合成画像
ＲＳ 車両遠隔操作システム

Claims (10)

1. 車両に搭載された複数の車載カメラそれぞれで撮影された複数の撮影画像に基づき生成された、仮想視点から見た前記車両の周辺領域を示す合成画像を受信する通信部と、
   前記合成画像を表示する表示部と、
   前記車両を操作するための操作部と、
   前記操作部に対する操作に基づく前記車両の制御信号を生成する信号生成部と、
   を備え、
   前記表示部は、前記操作部の像を重畳した前記合成画像と、前記車両の状態を含む補助画像とを表示する車両遠隔操作装置。
2. 前記操作部は、前記合成画像の前記車両の像の位置及び向きに応じて配置される請求項１に記載の車両遠隔操作装置。
3. 前記補助画像として、前記車両のミラーに映る像を含む画像を表示する請求項１または請求項２に記載の車両遠隔操作装置。
4. 前記補助画像として、前記車両自体の操作状態の画像を表示する請求項１から請求項３のいずれかに記載の車両遠隔操作装置。
5. 前記補助画像として、前記車両に接近する物体を表示する請求項１から請求項４のいずれかに記載の車両遠隔操作装置。
6. 前記補助画像として、前記車両の下方を撮影した撮影画像を表示する請求項１から請求項５のいずれかに記載の車両遠隔操作装置。
7. 前記補助画像として、前記車両と前記車両の周囲の他の物体との接触に係る情報を表示する請求項１から請求項６のいずれかに記載の車両遠隔操作装置。
8. 前記補助画像は、前記車両の像を含み、
   前記操作部は、前記補助画像の前記車両の像の位置及び向きに基づき前記補助画像に重畳して配置され、
   前記信号生成部は、前記補助画像の前記操作部に対する操作に基づく前記車両の制御信号を生成する請求項１から請求項７のいずれかに記載の車両遠隔操作装置。
9. 請求項１から請求項８のいずれかに記載の車両遠隔操作装置と、
   前記車両に搭載された複数の前記車載カメラそれぞれで撮影された複数の撮影画像に基づき仮想視点から見た前記車両の周辺領域を示す前記合成画像を生成するとともに、前記合成画像を前記車両遠隔操作装置に送信する画像処理装置と、
   前記車両の制御信号を前記車両遠隔操作装置から受信するとともに、前記制御信号に基づき前記車両を制御する車両制御装置と、
   を備える車両遠隔操作システム。
10. 車両に搭載された複数の車載カメラそれぞれで撮影された複数の撮影画像に基づき生成された、仮想視点から見た前記車両の周辺領域を示す合成画像を受信する工程と、
    前記合成画像と前記車両の状態を含む補助画像とを表示部に表示する工程と、
    前記合成画像及び前記補助画像の少なくとも一方に前記車両を操作するための操作部の像を重畳する工程と、
    前記操作部から前記車両に対する操作を受け付ける工程と、
    前記操作に基づく前記車両の制御信号を生成する工程と、
    前記制御信号を前記車両に対して送信する工程と、
    を含む車両遠隔操作方法。

Images