JP2019156298A - 車両遠隔操作装置及び車両遠隔操作方法 - Google Patents

車両遠隔操作装置及び車両遠隔操作方法 Download PDF

Info

Publication number
JP2019156298A
JP2019156298A JP2018048355A JP2018048355A JP2019156298A JP 2019156298 A JP2019156298 A JP 2019156298A JP 2018048355 A JP2018048355 A JP 2018048355A JP 2018048355 A JP2018048355 A JP 2018048355A JP 2019156298 A JP2019156298 A JP 2019156298A
Authority
JP
Japan
Prior art keywords
vehicle
image
viewpoint
remote control
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018048355A
Other languages
English (en)
Inventor
史晃 板東
Fumiaki Bando
史晃 板東
前畑　実
Minoru Maehata
実 前畑
美岐 一津屋
Miki Hitotsuya
美岐 一津屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2018048355A priority Critical patent/JP2019156298A/ja
Priority to US16/227,174 priority patent/US20190286123A1/en
Priority to DE102018133013.8A priority patent/DE102018133013A1/de
Publication of JP2019156298A publication Critical patent/JP2019156298A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Selective Calling Equipment (AREA)
  • Closed-Circuit Television Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】車両の遠隔操作における利便性及び操作性を向上させることが可能な技術を提供する。【解決手段】車両遠隔操作装置は、表示部と、車両を操作するための操作部と、前記操作部に対する操作に基づき前記車両の操作信号を生成する信号生成部と、前記車両と通信を行う通信部と、を備える。前記表示部は、前記車両に搭載された複数の車載カメラそれぞれで撮影された複数の撮影画像に基づき生成された、前記車両の内部の所定位置を視点位置とし、当該視点位置から見た前記車両の外部の方向を視線方向とし、前記車両の像を透過像として含む車内視点画像を表示する。前記通信部は、前記操作信号を前記車両に送信する。【選択図】図１

Description

本発明は、車両遠隔操作装置及び車両遠隔操作方法に関する。
近年、車両の遠隔操作に係る技術が種々提案されている。例えば、特許文献１で提案された携帯端末は、車両を所定の第１位置から第２位置に移動させるための端末である。この携帯端末は、端末自体のカメラで撮影された撮影画像に基づき車両の像を含む俯瞰画像を表示し、当該車両に対するユーザーの操作を受け付ける。また例えば、特許文献２で提案された駐車支援装置は、ジョイスティック等の遠隔操作手段を用いて駐車が可能である。また例えば、特許文献３で提案された車両遠隔操作システムは、タッチパネルへの接触操作に対応する操作信号を車両に送信する携帯端末を備える。この携帯端末は、車両に対して走行操作信号と、操舵操作信号とを送信することができる。
特開２０１４−６５３９２号公報 特開２０１０−９５０２７号公報 特開２０１６−７４２８５号公報
しかしながら、従来技術では、車両の遠隔操作における利便性及び操作性が十分に満足できるものではないことに課題があった。
本発明は、上記の課題に鑑みなされたものであり、車両の遠隔操作における利便性及び操作性を向上させることが可能な技術を提供することを目的とする。
本発明に係る車両遠隔操作装置は、表示部と、車両を操作するための操作部と、前記操作部に対する操作に基づく前記車両の操作信号を生成する信号生成部と、前記車両と通信を行う通信部と、を備え、前記表示部は、前記車両に搭載された複数の車載カメラそれぞれで撮影された複数の撮影画像に基づき生成された、前記車両の内部の所定位置を視点位置とし、当該視点位置から見た前記車両の外部の方向を視線方向とし、前記車両の像を透過像として含む車内視点画像を表示し、前記通信部は、前記操作信号を前記車両に送信する構成（第１の構成）である。
また、上記第１の構成の車両遠隔操作装置において、前記通信部は、前記車両において生成された前記車内視点画像を前記車両から受信する構成（第２の構成）であっても良い。
また、上記第１または第２の構成の車両遠隔操作装置において、前記操作信号は、前記車内視点画像の前記視点位置及び前記視線方向の操作に係る信号を含む構成（第３の構成）であっても良い。
また、上記第１から第３の構成の車両遠隔操作装置において、前記表示部は、前記車両への他の物体の接近が検出された場合に、前記車内視点画像を表示する構成（第４の構成）であっても良い。
また、上記第４の構成の車両遠隔操作装置において、前記表示部は、前記車両に対して前記物体が接近する位置の方向を視線方向とした前記車内視点画像を表示する構成（第５の構成）であっても良い。
また、上記第１から第３の構成の車両遠隔操作装置において、前記表示部は、前記車両において衝撃が検出された場合に、前記車内視点画像を表示する構成（第６の構成）であっても良い。
また、上記第６の構成の車両遠隔操作装置において、前記表示部は、前記車両において前記衝撃の位置が特定された場合に、当該衝撃の位置の方向を視線方向とした前記車内視点画像を表示する構成（第７の構成）であっても良い。
また、上記第１から第３の構成の車両遠隔操作装置において、前記表示部は、前記車両の周辺で壁部が検出された場合に、前記壁部の像を透過像として含む補助画像を表示する構成（第８の構成）であっても良い。
また、上記第１から第８の構成の車両遠隔操作装置において、前記車内視点画像における前記車両の前記透過像は、前記車両を表す立体形状の辺である線の集合で構成したワイヤーフレーム像である構成（第９の構成）であっても良い。
また、上記第１から第８の構成の車両遠隔操作装置において、前記車内視点画像における前記車両の前記透過像は、前記車両を表す立体形状の半透明像である構成（第１０の構成）であっても良い。
また、本発明に係る車両遠隔操作方法は、車両に搭載された複数の車載カメラそれぞれで撮影された複数の撮影画像に基づいて、前記車両の内部の所定位置を視点位置とし、当該視点位置から見た前記車両の外部の方向を視線方向とし、前記車両の像を透過像として含む車内視点画像を生成する工程と、前記車内視点画像を車両遠隔操作装置に表示する工程と、前記車両遠隔操作装置で前記車両に対する操作を受け付ける工程と、前記操作に基づく前記車両の操作信号を生成する工程と、前記操作信号を前記車両遠隔操作装置から前記車両に送信する工程と、を含む構成（第１１の構成）である。
本発明の構成によれば、ユーザーは、車両の内部から見た車両の外部の様子を、車内視点画像で確認しながら、車両の遠隔操作を行うことができる。ユーザーは、例えば車両に接近、或いは接触する人やその他の物体の外観や挙動を、車内視点画像で確認しながら、車両の遠隔操作を行うことができる。また、例えば車両の周辺に存在する壁部を透過像にすることで、車両の周辺の視認性を高めることができる。すなわち、車両の遠隔操作における利便性及び操作性を向上させることが可能である。
実施形態の車両遠隔操作システムの構成を示すブロック図 車載カメラが車両に配置される位置を例示する図 車両の周辺領域を示す合成画像を生成する手法を説明するための図 実施例１の俯瞰画像が表示された携帯端末の模式図 実施例１の携帯端末に表示された俯瞰画像の模式図 実施例１の車内視点画像が表示された携帯端末の模式図 実施例１の車内視点画像に係る仮想視点を示す説明図 実施例１の車内視点画像の模式図 実施例１の車両遠隔操作に係る携帯端末における処理フローの例を示すフローチャート 実施例１の車両遠隔操作に係る車両における処理フローの例を示すフローチャート 変形例１の俯瞰画像及び車内視点画像が表示された携帯端末の模式図 変形例２の車内視点画像の模式図 実施例２の車両遠隔操作に係る携帯端末における処理フローの例を示すフローチャート 実施例２の車両への外部からの接近の状況を示す説明図 実施例２の車内視点画像の模式図 実施例２の車内視点画像が表示された携帯端末の模式図 実施例３の車両遠隔操作に係る携帯端末における処理フローの例を示すフローチャート 実施例３の車両への外部からの接触の状況を示す説明図 実施例３の車内視点画像の模式図 実施例３の車内視点画像が表示された携帯端末の模式図 実施例４の車両の周辺に壁部が存在する状況を示す説明図 実施例４の補助画像の模式図 実施例４の補助画像が表示された携帯端末の模式図 実施例５の車両遠隔操作システムの構成を示すブロック図
以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。なお、本発明は以下に示す実施形態の内容に限定されるものではない。
また、以下の説明では、車両の直進進行方向であって、運転席からハンドルに向かう方向を「前方向（前方）」とする。車両の直進進行方向であって、ハンドルから運転席に向かう方向を「後方向（後方）」とする。車両の直進進行方向及び鉛直線に垂直な方向であって、前方を向いている運転手の右側から左側に向かう方向を「左方向」とする。車両の直進進行方向及び鉛直線に垂直な方向であって、前方を向いている運転手の左側から右側に向かう方向を「右方向」とする。
＜１．車両遠隔操作システムの構成＞
図１は、実施形態の車両遠隔操作システムＲＳの構成を示すブロック図である。車両遠隔操作システムＲＳは、携帯端末１と、画像処理装置２と、車両制御装置３と、を含む。携帯端末１は、車両５を遠隔操作するための車両遠隔操作装置である。画像処理装置２及び車両制御装置３は、車両５に搭載される。車両遠隔操作システムＲＳは、車両５の周辺領域を示す合成画像を表示することが可能な携帯端末１によって車両５を遠隔操作するシステムである。車両５は、さらに撮影部４（車載カメラ）と、センサ部５１と、を含む。
携帯端末１は、画像処理装置２から出力される表示用画像を受信して表示し、車両５に対して操作信号を送信して車両５を遠隔操作する装置である。携帯端末１としては、例えば車両５の所有者等が所持するスマートフォン、タブレット型端末などが含まれる。本実施形態では、携帯端末１は、例えばスマートフォンである。
画像処理装置２は、車載カメラで撮影された撮影画像を処理する装置である。画像処理装置２は、車載カメラを搭載する車両ごとに備えられる。本実施形態では、画像処理装置２は、撮影部４から撮影画像を取得して処理する。また、画像処理装置２は、センサ部５１から情報を取得し、当該取得情報に基づいて画像処理に関する判断を行うことが可能である。また、画像処理装置２は、携帯端末１及び車両制御装置３との間で情報を送受信する。画像処理装置２は、携帯端末１に対して、画像処理装置２で生成された表示用画像を出力することができる。
車両制御装置３は、車両の動作全般に関わる制御を行う。車両制御装置３は、例えばエンジンを制御するエンジンＥＣＵ（Electronic Control Unit）、ステアリングを制御するステアリングＥＣＵ、ブレーキを制御するブレーキＥＣＵ、シフトを制御するシフトＥＣＵ、電源を制御する電源制御ＥＣＵ、ライトを制御するライトＥＣＵ、電動ミラーを制御するミラーＥＣＵ等を含む。本実施形態では、車両制御装置３は、携帯端末１及び画像処理装置２との間で情報を送受信する。車両制御装置３は、車両５の操作信号を携帯端末１から受信するとともに、当該操作信号に基づき車両５を制御する。
撮影部４は、車両周辺の状況を監視する目的で設けられる。撮影部４は、例えば４つの車載カメラ４１〜４４を備える。図２は、車載カメラ４１〜４４が車両５に配置される位置を例示する図である。
車載カメラ４１は車両５の前端に設けられる。このため、車載カメラ４１をフロントカメラ４１とも呼ぶ。フロントカメラ４１の光軸４１ａは上からの平面視で車両５の前後方向に沿って延びる。フロントカメラ４１は車両５の前方向を撮影する。車載カメラ４３は車両５の後端に設けられる。このため、車載カメラ４３をバックカメラ４３とも呼ぶ。バックカメラ４３の光軸４３ａは上からの平面視で車両５の前後方向に沿って延びる。バックカメラ４３は車両５の後方向を撮影する。フロントカメラ４１及びバックカメラ４３の取付位置は、車両５の左右中央であることが好ましいが、左右中央から左右方向に多少ずれた位置であっても良い。
車載カメラ４２は車両５の右側ドアミラー６１に設けられる。このため、車載カメラ４２を右サイドカメラ４２とも呼ぶ。右サイドカメラ４２の光軸４２ａは上からの平面視で車両５の左右方向に沿って延びる。右サイドカメラ４２は車両５の右方向を撮影する。車載カメラ４４は車両５の左側ドアミラー６２に設けられる。このため、車載カメラ４４を左サイドカメラ４４とも呼ぶ。左サイドカメラ４４の光軸４４ａは上からの平面視で車両５の左右方向に沿って延びる。左サイドカメラ４４は車両５の左方向を撮影する。
なお、車両５がいわゆるドアミラーレス車である場合、右サイドカメラ４２は右サイドドアの回転軸（ヒンジ部）の周辺にドアミラーを介することなく設けられ、左サイドカメラ４４は左サイドドアの回転軸（ヒンジ部）の周辺にドアミラーを介することなく設けられる。
車載カメラ４１〜４４のレンズとしては、例えば魚眼レンズが使用される。車載カメラ４１〜４４は、それぞれの水平方向の画角θが１８０度以上であるため、車両５の水平方向における全周囲を撮影することができる。
図１に戻って、センサ部５１は、車載カメラ４１〜４４が搭載される車両５に関する情報を検出する複数のセンサを有する。車両５に関する情報には、車両自体の情報と、車両周辺の情報とが含まれて良い。本実施形態では、センサ部５１は、例えば車両の速度を検出する車速度センサ、ステアリングの回転角を検出する舵角センサ、車両の変速装置のシフトレバーの操作位置を検出するシフトセンサ、車両周辺の照度を検出する照度センサ、車両の振動を検出する振動センサ、車両の傾きを検出する傾斜センサ、車両周辺の人や動物、車両、その他の物体を検出する障害物センサ等が含まれる。
障害物センサは、例えば超音波センサ、赤外線等を用いた光センサ、レーダなどを利用し、車両周辺の人や動物、車両、その他の物体を検出することができる。障害物センサは、例えば車両５のフロントバンパー、リアバンパー及びドアなどの複数箇所に埋設される。障害物センサは、送信波を車両周辺に向けて送信し、人や他の車両などで反射した反射波を受信することで、人や他の車両などの有無や方向、位置を検出する。
＜２．携帯端末の構成＞
携帯端末１は、表示部１１、操作部１２、カメラ１３、音声入出力部１４、制御部１６、記憶部１７及び通信部１８を含んで構成される。
表示部１１は、スマートフォンである携帯端末１の正面に配置される。本実施形態では、表示部１１は、例えば液晶表示パネルであって、操作部１２の一部であるタッチパネルをその表面に備える。表示部１１は、例えば画像処理装置２から出力された表示用画像を画面表示する。
操作部１２は、例えば表示部１１の表面に設けられたタッチパネルと、その他の操作ボタン等を含む。操作部１２は、文字や数値などの入力、メニューやその他選択肢の選択、処理の実行、キャンセルなど、ユーザーが外部から情報を入力できる構成である。本実施形態では、操作部１２は車両５を操作するために用いられるタッチパネルである。なお、操作部１２は、タッチパネル等を利用したソフトウェアキーに限定されるわけではなく、物理的な入力装置として携帯端末１に設けられたハードウェアキーであっても良い。
カメラ１３は、スマートフォンである携帯端末１の正面及び背面に配置される。正面のカメラ１３は、携帯端末１の正面側の周囲を撮影する。背面のカメラ１３は、携帯端末１の背面側の周囲を撮影する。
音声入出力部１４は、例えばマイクロフォンと、スピーカとを含む。マイクロフォンは、ユーザーが発する音声を含む、携帯端末１の周囲の音声情報を取得する。スピーカは、外部に向けて報知音及び通信回線上の音声等を発する。
制御部１６は、不図示のＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を含む、いわゆるマイコンである。制御部１６は、記憶部１７に記憶されたプログラムに基づいて情報の処理及び送受信を行う。制御部１６は、有線で表示部１１、操作部１２、カメラ１３、音声入出力部１４、記憶部１７及び通信部１８に接続される。
制御部１６は、表示制御部１６１と、操作判別部１６２と、信号生成部１６３と、を備える。制御部１６が備えるこれらの各構成要素それぞれの機能は、プログラムに従ってＣＰＵが演算処理を行うことによって実現される。
表示制御部１６１は、表示部１１の表示内容を制御する。表示制御部１６１は、例えば携帯端末１の各種機能の実行及び設定に係る入力を受け付けるに際し、その機能に係る機能画像を表示部１１に表示させる。機能画像は、携帯端末１の各種機能に対応する画像であって、例えばアイコン、ボタン、ソフトキー、スライドバー、スライドスイッチ、チェックボックス、テキストボックスなどを含む。ユーザーは、表示部１１に表示された機能画像をタッチパネル（操作部１２）を介してタッチして選択することで、携帯端末１の各種機能の実行及び設定を行うことが可能になる。
操作判別部１６２は、タッチパネル（操作部１２）が出力した検出信号を受信し、その検出信号に基づきタッチパネルに対する操作内容を判別する。操作判別部１６２は、タッチパネルにおける位置情報に加えて、タップ、ドラッグ、フリックなどの操作を判別する。ドラッグ、フリックなどの移動を伴う操作である場合、その移動方向、移動量等についても判別する。
信号生成部１６３は、操作部１２に対する操作に基づき車両５の操作信号を生成する。生成された車両５の操作信号は、通信部１８を介して車両５に送信される。
記憶部１７は、例えばフラッシュメモリ等の不揮発性のメモリであり、各種の情報を記憶する。記憶部１７は、例えばファームウェアとしてのプログラム、制御部１６が各種機能を実行するための様々なデータなどを記憶する。
通信部１８は、例えば無線によって様々な外部機器と接続される。携帯端末１は、通信部１８を介して、車両５の画像処理装置２で生成された表示用画像や、車両５のセンサ部５１で検出された各種情報（ステアリング舵角、シフト位置、走行速度、障害物情報等）を受信することが可能である。携帯端末１は、通信部１８を介して、操作部１２に対する操作に基づく車両５の操作信号を車両５に対して送信することが可能である。
＜３．画像処理装置の構成＞
画像処理装置２は、画像生成部２１、制御部２２及び記憶部２３を含んで構成される。
画像生成部２１は、撮影部４で撮影された撮影画像を処理して表示用画像を生成する。本実施形態では、画像生成部２１は、各種の画像処理が可能なハードウェア回路として構成される。本実施形態では、画像生成部２１は、車両５に搭載された車載カメラ４１〜４４によって撮影された撮影画像に基づき、仮想視点から見た車両５の周辺領域を示す合成画像を生成する。さらに、画像生成部２１は、当該合成画像に基づき、携帯端末１で表示するための表示用画像を生成する。合成画像を生成する手法の詳細については後述する。
制御部２２は、不図示のＣＰＵ、ＲＡＭ、及びＲＯＭを含む、いわゆるマイコンである。制御部２２は、記憶部２３に記憶されたプログラムに基づいて情報の処理及び送受信を行う。制御部２２は、有線または無線で携帯端末１、車両制御装置３、撮影部４及びセンサ部５１に接続される。
制御部２２は、画像取得部２２１と、画像制御部２２２と、を備える。制御部２２が備えるこれらの各構成要素それぞれの機能は、プログラムに従ってＣＰＵが演算処理を行うことによって実現される。
画像取得部２２１は、車載カメラ４１〜４４で撮影された撮影画像を取得する。本実施形態では、車載カメラ４１〜４４の数は４つであり、画像取得部２２１は、車載カメラ４１〜４４それぞれで撮影された撮影画像を取得する。
画像制御部２２２は、画像生成部２１によって実行される画像処理の制御を行う。例えば、画像制御部２２２は、画像生成部２１に対して、合成画像及び表示用画像を生成するために必要となる各種のパラメータ等の指示を行う。また、画像制御部２２２は、画像生成部２１によって生成された表示用画像を携帯端末１に対して出力する際の制御を行う。なお、この説明において、携帯端末１の表示部１１に表示される「合成画像の表示用画像」のことを、単に「合成画像」と呼ぶ場合がある。
記憶部２３は、例えばフラッシュメモリ等の不揮発性のメモリであり、各種の情報を記憶する。記憶部２３は、例えばファームウェアとしてのプログラム、画像生成部２１が合成画像及び表示用画像を生成するための各種のデータを記憶する。また、記憶部２３は、画像取得部２２１及び画像制御部２２２が処理を実行するために必要となる各種のデータを記憶する。
＜４．合成画像の生成＞
画像生成部２１が、仮想視点から見た車両５の周辺の様子を示す合成画像を生成する手法について説明する。図３は、車両５の周辺領域を示す合成画像ＣＰを生成する手法を説明するための図である。
フロントカメラ４１、右サイドカメラ４２、バックカメラ４３及び左サイドカメラ４４によって、車両５の前方、右側方、後方及び左側方それぞれを示す４つの撮影画像Ｐ４１〜Ｐ４４が同時に取得される。これら４つの撮影画像Ｐ４１〜Ｐ４４には、車両５の全周囲のデータが含まれる。画像生成部２１は、これら４つの撮影画像Ｐ４１〜Ｐ４４を、画像取得部２２１を介して取得する。
画像生成部２１は、これら４つの撮影画像Ｐ４１〜Ｐ４４に含まれるデータ（各画素の値）を、仮想的な三次元空間における立体的な曲面である投影面ＴＳに投影する。投影面ＴＳは、例えば略半球形状（お椀形状）をしており、その中心部（お椀の底部分）が車両５の位置として定められる。
投影面ＴＳでは、車両５の領域の外側の領域に、撮影画像のデータが投影される。撮影画像Ｐ４１〜Ｐ４４に含まれる各画素の位置と、投影面ＴＳの各画素の位置とは予め対応関係が定められる。この対応関係を示すテーブルデータは、記憶部２３に記憶される。投影面ＴＳの各画素の値は、この対応関係と、撮影画像Ｐ４１〜Ｐ４４に含まれる各画素の値とに基づいて決定できる。
次に、画像生成部２１は、画像制御部２２２の制御により、三次元空間に対して仮想視点ＶＰを設定する。仮想視点ＶＰは、視点位置と視線方向とで規定される。画像生成部２１は、任意の視点位置、且つ、任意の視線方向の仮想視点ＶＰを三次元空間に設定できる。画像生成部２１は、投影面ＴＳのうち、設定された仮想視点ＶＰから見た視野内に含まれる領域に投影されたデータを画像として切り出す。これにより、画像生成部２１は、任意の仮想視点ＶＰから見た合成画像を生成する。
例えば、図３に示すように、視点位置を車両５の直上、視線方向を直下とした仮想視点ＶＰａを想定した場合、車両５及び車両５の周辺領域を俯瞰する合成画像（俯瞰画像）ＣＰａを生成することができる。
合成画像ＣＰａ中に示す車両５の像５ｐは、予めビットマップなどのデータとして用意され、記憶部２３に記憶される。合成画像の生成の際には、当該合成画像の仮想視点ＶＰの視点位置と視線方向とに応じた形状の車両５の像５ｐのデータが読み出されて、合成画像ＣＰａ中に含められる。
このようにして、画像生成部２１は、仮想の立体的な投影面ＴＳを用いることで、現実に近い臨場感のある合成画像ＣＰａを生成することができる。
また、車両５に搭載された複数の車載カメラ４１〜４４それぞれで撮影された複数の撮影画像に基づき生成された、車両５の周辺領域を示す合成画像ＣＰを用いて、車両５の周辺領域を確認することができる。これにより、ユーザーの位置から死角となる領域、例えばユーザーの位置から見て車両５によって遮蔽される車両５の反対側の領域なども確認することが可能である。
＜５．携帯端末による車両の遠隔操作の実施例＞
＜５−１．実施例１＞
携帯端末１は、通信部１８を介して、車両５の画像処理装置２で生成された、仮想視点から見た車両５の周辺領域を示す合成画像の一種である俯瞰画像を受信することが可能である。携帯端末１は、当該俯瞰画像を表示部１１に表示することができる。図４は、実施例１の俯瞰画像ＣＰ１が表示された携帯端末１の模式図である。
図５は、実施例１の携帯端末１に表示された俯瞰画像ＣＰ１の模式図である。図５に示すように、携帯端末１は、車両５を遠隔操作するにあたって、表示部１１に車両５の操作に係る機能画像であるアイコン等を表示する。すなわち、俯瞰画像ＣＰ１には、操作部１２の像であるアイコン等が重畳される。操作部１２は、俯瞰画像ＣＰ１の車両５の像５ｐの位置に応じて配置される。
詳細に言えば、表示部１１の画面には、俯瞰画像ＣＰ１に重ねて、例えば前進に係るアイコン１２ａ、右斜め前方に係るアイコン１２ｂ、左斜め前方に係るアイコン１２ｃ、後退に係るアイコン１２ｄ、右斜め後方に係るアイコン１２ｅ、左斜め後方に係るアイコン１２ｆが表示される。これらの車両５の走行に係るアイコンは、例えば車両５の像５ｐの周囲の、各進行方向に対応する位置及び向きに応じて配置される。なお、本実施例では、車両５の進行方向を示すアイコンを、例えば三角形形状で構成したが、矢印形状など他の形状で構成しても良い。
また、車両５の停止に係る「ＳＴＯＰ」と描かれたアイコン１２ｇが、車両５の像５ｐに重ねて配置される。また、俯瞰画像ＣＰ１の外部には、車両５の遠隔操作を終了するためのアイコン１２ｈが表示される。
ユーザーはその手指で、これらのアイコンを任意に操作することができる。操作判別部１６２は、タッチパネル（操作部１２）の検出信号に基づきアイコンに対応する操作内容を判別する。信号生成部１６３は、アイコンに対応する操作内容に基づき車両５の操作信号を生成する。当該操作信号は、通信部１８を介して車両５に送信される。
例えば、ユーザーが車両５の前進に係るアイコン１２ａを１回押す（タップする）と、車両５は予め定められた所定距離（例えば１０ｃｍ）だけ前進する。また例えば、ユーザーが車両５の左斜め前方に係るアイコン１２ｃを１回押すと、車両５は左斜め前方に進むように所定角度だけステアリング角を変更する。このとき、ステアリング角を変更する度に、車両５の像５ｐの向きを変え、どの方向に曲がって行くのかを把握し易くしても良い。続いて、前進に係るアイコン１２ａを１回押すと、車両５は予め定められた所定距離だけ左斜め前方に進む。なお、タッチパネル（操作部１２）対するドラッグ、フリックなどの移動を伴う操作に基づき、車両５の移動方向、走行距離等を制御することにしても良い。
走行する車両５を途中で止めたい場合、車両５の停止に係る「ＳＴＯＰ」と描かれたアイコン１２ｇを押すと、車両５は停止する。なお、ユーザーが前進に係るアイコン１２ａ、または後退に係るアイコン１２ｄを押している期間だけ車両５が走行し、ユーザーがそれらのアイコンから手指を離すと車両５が停止する構成であっても良い。
さらに、ユーザーは、操作部１２を介して、表示部１１に表示された合成画像に係る視点位置・視線方向・ズームの変更などといった操作を行うことができる。
遠隔操作中、車両５の周辺の人や動物、車両、その他の物体といった障害物は、車両５のセンサ部５１によって検出される。センサ部５１が障害物を検出した場合、その検出信号が車両制御装置３に送信され、車両制御装置３は自動的に車両５を停車させる。
また、携帯端末１は、通信部１８を介して、車両５の画像処理装置２で生成された、車両５の内部の所定位置を視点位置とし、当該視点位置から見た車両５の外部の方向を視線方向とし、車両５の像を透過像５ｔとして含む車内視点画像を受信することが可能である。携帯端末１は、当該車内視点画像を表示部１１に表示することができる。図６は、実施例１の車内視点画像ＡＰｘが表示された携帯端末１の模式図である。
図７は、実施例１の車内視点画像ＡＰｘに係る仮想視点ＶＰｘを示す説明図である。車内視点画像ＡＰｘは、車両５の内部の所定位置である運転者の視点付近を視点位置とし、当該視点位置から見た車両５の左前方を視線方向とした仮想視点ＶＰｘに基づく車両５の車外画像である。
図８は、実施例１の車内視点画像ＡＰｘの模式図である。車内視点画像ＡＰｘには、画像生成部２１が生成した合成画像に、車両５の透過像５ｔが含められる。車内視点画像ＡＰｘは、車両５の内部を仮想視点の視点位置とした場合に、視線方向に見える現実の光景により近い状況を表現した画像であり、車両５とその周辺の物体との位置関係も理解し易い。車内視点画像ＡＰｘでは、車両５の周辺の物体が、車両５の一部と重なって隠れてしまうことを防ぐため、車両５の像を透過像５ｔとする。
車内視点画像ＡＰｘ中に示す車両５の透過像５ｔは、予めビットマップなどのデータとして用意され、記憶部２３に記憶される。車内視点画像の生成の際には、当該車内視点画像の仮想視点ＶＰｘの視点位置と視線方向とに応じた形状の透過像５ｔのデータが読み出されて、車内視点画像中に含められる。
なお、車両５の透過像５ｔは、車内視点画像ＡＰｘの全体に含められる必要はない。車両５の透過像５ｔは、車内視点画像ＡＰｘの全体のうち、例えば視線方向を含む所定範囲の広さの領域のみに含められることにしても良い。
また、本実施例において、車内視点画像ＡＰｘにおける車両５の透過像５ｔは、車両５を表す立体形状の半透明像である。この構成によれば、車外の様子を示す像に、車両５の構造を表す透過像５ｔを重畳することができる。したがって、車内視点画像ＡＰｘに含まれる車外の様子の方向、位置関係を容易に把握することが可能になる。
車内視点画像ＡＰｘには、俯瞰画像ＣＰ１と同様に、操作部１２の像であるアイコン等が重畳される。操作部１２は、車内視点画像ＡＰｘの車両５の透過像５ｔの位置に応じて配置される。表示部１１の画面には、車内視点画像ＡＰｘの車両５の透過像５ｔに重ねて、例えば前進に係るアイコン１２ａ、車両５の停止に係る「ＳＴＯＰ」と描かれたアイコン１２ｇなどが配置される。
なお、携帯端末１は、車両５を遠隔操作するにあたって、俯瞰画像ＣＰ１を表示部１１に表示する通常モードと、車内視点画像ＡＰｘを表示部１１に表示する透過モードとの２つの表示モードを有する。ユーザーは、操作部１２を介して、これら２つの表示モードのうちいずれを使用するか任意に選択することができる。
図９は、実施例１の車両遠隔操作に係る携帯端末１における処理フローの例を示すフローチャートである。図１０は、実施例１の車両遠隔操作に係る車両５における処理フローの例を示すフローチャートである。実施例１の携帯端末１による車両５の遠隔操作に係る処理について、図９及び図１０の処理フローを参照しつつ説明する。
携帯端末１は、例えばユーザーによって操作され、遠隔操作開始の指示を操作部１２から受け付けることで、携帯端末１による車両５の遠隔操作に係る処理を開始する（図９の「開始」）。車両５の遠隔操作は、車両５が停止した状態で開始される。
次に、携帯端末１は、車両５との間で、通信確立処理、遠隔操作確立処理を実施する（ステップＳ１０１）。このとき、車両５においても遠隔操作に係る処理が開始され（図１０の「開始」）、携帯端末１との間で、通信確立処理、遠隔操作確立処理が実施される（ステップＳ２０１）。これらのステップでは、例えば携帯端末１と車両５とのマッチング処理、制御許可処理等が実施される。制御許可処理では、例えばＩＤ、パスワード等の認証処理が実施される。
次に、携帯端末１は、操作部１２に対してユーザーの操作入力があったか否かを判別する（図９のステップＳ１０２）。ユーザーの操作としては、例えば車両５の走行等に係る遠隔操作、画像に係る視点位置・視線方向・ズームの変更、表示モードの選択などの操作を含む。
操作部１２への操作入力があった場合（図９のステップＳ１０２のＹｅｓ）、携帯端末１は、信号生成部１６３を用いて操作部１２に対する操作に基づく操作信号を生成し、当該操作信号を車両５に送信する（ステップＳ１０３）。これにより、ユーザーは車両５の遠隔操作を行うことができる。
車両５では、車両５の遠隔操作に係る操作信号を受信したか否かが判別される（図１０のステップＳ２０２）。車両５が操作信号を受信し（ステップＳ２０２のＹｅｓ）、例えば当該操作信号が走行制御に係る信号である場合、車両制御装置３は当該操作信号に基づき車両５の走行を制御する（ステップＳ２０３）。
車両５が受信した操作信号が画像生成に係る信号である場合、画像処理装置２は当該操作信号に基づき画像を生成し、携帯端末１に対して送信する（ステップＳ２０４）。画像処理装置２では、車載カメラ４１〜４４それぞれから車両５の周辺の、複数の画像が取得される。画像生成部２１では、車両５の周辺の、複数の画像に基づき、仮想視点から見た車両５の周辺領域を示す合成画像が生成される。なお、画像生成部２１では、当該合成画像に関して、俯瞰画像ＣＰ１と、車内視点画像ＡＰｘとが生成される。
次に、携帯端末１は、表示部１１の表示モードの選択に関して、透過モードをＯＮにする操作が行われたか否かを判別する（図９のステップＳ１０４）。表示部１１の表示モードに関して、ユーザーは透過モードのＯＮ／ＯＦＦを任意に選択することができる。
透過モードがＯＮである場合（ステップＳ１０４のＹｅｓ）、携帯端末１は、車内視点画像ＡＰｘを画像処理装置２から受信し、その車内視点画像ＡＰｘを表示部１１に表示する（ステップＳ１０５）。続いて、携帯端末１は、車内視点画像ＡＰｘに重ねて、表示部１１に車両５の操作に係る機能画像であるアイコン等（操作部１２）を表示する（ステップＳ１０６）。これにより、ユーザーはその手指で、遠隔操作用のアイコンを任意に操作することができる。
透過モードがＯＦＦである場合（ステップＳ１０４のＮｏ）、携帯端末１は、俯瞰画像ＣＰ１を画像処理装置２から受信し、その俯瞰画像ＣＰ１を表示部１１に表示する（ステップＳ１０７）。続いて、携帯端末１は、俯瞰画像ＣＰ１に重ねて、表示部１１に車両５の操作に係る機能画像であるアイコン等（操作部１２）を表示する（ステップＳ１０８）。これにより、ユーザーはその手指で、遠隔操作用のアイコンを任意に操作することができる。
次に、携帯端末１は、車両５の遠隔操作ＯＦＦの操作がユーザーによって行われたか否かを判別する（ステップＳ１０９）。ユーザーは、車両５の遠隔操作を終了するためのアイコン１２ｈを操作して、車両５の遠隔操作を終了することができる。遠隔操作ＯＦＦの操作がない場合（ステップＳ１０９のＮｏ）、ステップＳ１０２に戻って、携帯端末１はユーザーによる操作入力の有無の判別を継続する。
遠隔操作ＯＦＦの操作が行われた場合（ステップＳ１０９のＹｅｓ）、携帯端末１における図９に示す処理フローが終了される。
車両５では、車両５の遠隔操作ＯＦＦの操作信号を受信したか否かが判別される（図１０のステップＳ２０５）。遠隔操作ＯＦＦの操作信号を受信していない場合（ステップＳ２０５のＮｏ）、ステップＳ２０２に戻って、車両５の遠隔操作に係る操作信号の有無の判別が継続される。
遠隔操作ＯＦＦの操作信号を受信した場合（ステップＳ２０５のＹｅｓ）、車両５における図１０に示す処理フローが終了される。
上記のように、本実施例の車両遠隔操作装置である携帯端末１は、表示部１１に、車両５の内部の所定位置を視点位置とし、当該視点位置から見た車両５の外部の方向を視線方向とし、車両５の像を透過像５ｔとして含む車内視点画像ＡＰｘを表示する。通信部１８は、車両５の操作信号を車両５に送信する。この構成によれば、ユーザーは、車両５の内部から見た車両５の外部の様子を、車内視点画像ＡＰｘで確認しながら、車両５の遠隔操作を行うことができる。すなわち、車両５の内部から実際に見える現実の光景により近い状況を表現した車内視点画像ＡＰｘに基づき、車両５の遠隔操作を行うことができる。すなわち、車両５の周辺の物体の方向、位置関係が理解し易くなり、車両５の遠隔操作における利便性及び操作性を向上させることが可能である。
そして、通信部１８は、車両５において生成された車内視点画像ＡＰｘを車両５から受信する。この構成によれば、携帯端末１における負荷を低減させることができる。したがって、携帯端末１を用いて迅速且つ安定した遠隔操作を行うことができ、車両５の遠隔操作における利便性及び操作性を向上させることが可能である。
また、車両５の操作信号は、車内視点画像ＡＰｘの視点位置及び視線方向の操作に係る信号を含む。この構成によれば、ユーザーは、任意の様々な視点位置及び視線方向に関して車内視点画像ＡＰｘを見ることができる。したがって、車両５の遠隔操作における利便性及び操作性を向上させることが可能である。
また、図１１は、変形例１の俯瞰画像ＣＰ１及び車内視点画像ＡＰｘが表示された携帯端末１の模式図である。図１１に示すように、俯瞰画像ＣＰ１と、車内視点画像ＡＰｘとを同時に、表示部１１に上下に並べて表示しても良い。これにより、ユーザーは、操作し易い画像を任意に選択し、遠隔操作を行うことが可能になる。俯瞰画像ＣＰ１と、車内視点画像ＡＰｘとの上下の配置は、適宜任意に入れ替えることができる。
また、図１２は、変形例２の車内視点画像ＡＰｘの模式図である。図１２に示すように、本変形例において、車内視点画像ＡＰｘにおける車両５の透過像５ｔは、車両５を表す立体形状の辺である線の集合で構成したワイヤーフレーム像である。この構成によれば、車外の様子を示す像に、車両５の構造を表す透過像５ｔを重畳することができる。したがって、車内視点画像ＡＰｘに含まれる車外の様子の方向、位置関係を容易に把握することが可能になる。
＜５−２．実施例２＞
図１３は、実施例２の車両遠隔操作に係る携帯端末１における処理フローの例を示すフローチャートである。実施例２の携帯端末１による車両５の遠隔操作に係る処理について、図１３を参照しつつ説明する。なお、車両５における処理フローは、実施例１で説明した図１０と同様であるので、ここでは説明を省略する。また、図１３に示す携帯端末１における処理フローについても、実施例１で説明した図９と同じステップについては詳細な説明を省略する。
携帯端末１は、例えばユーザーによって操作され、遠隔操作開始の指示を操作部１２から受け付けることで、携帯端末１による車両５の遠隔操作に係る処理を開始する（図１３の「開始」）。車両５の遠隔操作は、車両５が停止した状態で開始される。
次に、携帯端末１は、車両５との間で、通信確立処理、遠隔操作確立処理を実施する（ステップＳ３０１）。続いて、携帯端末１は、操作部１２に対してユーザーの操作入力があったか否かを判別する（ステップＳ３０２）。操作部１２への操作入力があった場合（ステップＳ３０２のＹｅｓ）、携帯端末１は、信号生成部１６３を用いて操作部１２に対する操作に基づき操作信号を生成し、当該操作信号を車両５に送信する（ステップＳ３０３）。
次に、車両５への外部からの他の物体の接近を検出したか否かが判別される（ステップＳ３０４）。車両５への外部からの他の物体の接近は、例えば物体が車両５から所定範囲内に進入したことによって、車両５に接近したことが判定される。車両５からの所定範囲としては、例えば半径３ｍ以内などといった範囲を任意に設定することができる。車両５の周辺の人や動物、車両、その他の物体は、例えばセンサ部５１の超音波センサ、光センサ、レーダの検出信号、または車載カメラ４１〜４４の撮影画像による画像認識に基づき検出される。
車両５への外部からの接近を検出した場合（ステップＳ３０４のＹｅｓ）、携帯端末１は、車内視点画像を画像処理装置２から受信し、その車内視点画像を表示部１１に表示する（ステップＳ３０５）。図１４は、実施例２の車両５への外部からの接近の状況を示す説明図である。本実施例では、例えば、車両５への右前方からの人Ｔｒ１の接近を検出したこととする。
車両５への人Ｔｒ１の接近を検出した場合、画像生成部２１は、車両５の内部の所定位置である運転者の視点付近を視点位置とし、当該視点位置から見た車両５に接近する人Ｔｒ１の位置の方向を視線方向とした仮想視点ＶＰｘに基づき、車両５の像を透過像５ｔとして含む車内視点画像ＡＰｘを生成する。図１５は、実施例２の車内視点画像ＡＰｘの模式図である。車内視点画像ＡＰｘには、車両５の透過像５ｔに加えて、車両５に接近する人Ｔｒ１の像Ｔｐ１が含まれる。
携帯端末１は、当該車内視点画像ＡＰｘを画像処理装置２から受信し、車内視点画像ＡＰｘを表示部１１に表示する。図１６は、実施例２の車内視点画像ＡＰｘが表示された携帯端末１の模式図である。続いて、携帯端末１は、車内視点画像ＡＰｘに重ねて、表示部１１に車両５の操作に係る機能画像であるアイコン等（操作部１２）を表示する（ステップＳ３０６）。車両５の走行に係るアイコンは、例えば車両５の透過像５ｔに重ねて、各進行方向に対応する位置に配置される。
車両５への外部からの接近が検出されない場合（ステップＳ３０４のＮｏ）、携帯端末１は、俯瞰画像ＣＰ１を画像処理装置２から受信し、その俯瞰画像を表示部１１に表示する（ステップＳ３０７）。続いて、携帯端末１は、俯瞰画像に重ねて、表示部１１に車両５の操作に係る機能画像であるアイコン等（操作部１２）を表示する（ステップＳ３０８）。
次に、携帯端末１は、車両５の遠隔操作ＯＦＦの操作がユーザーによって行われたか否かを判別する（ステップＳ３０９）。遠隔操作ＯＦＦの操作が行われた場合（ステップＳ３０９のＹｅｓ）、携帯端末１における図１３に示す処理フローが終了される。
上記のように、本実施例の携帯端末１の表示部１１は、例えば車両５への外部からの人Ｔｒ１の接近が検出された場合に、車内視点画像ＡＰｘを表示する。この構成によれば、ユーザーは、車両５に接近する人Ｔｒ１やその他の物体の外観や挙動を、車内視点画像ＡＰｘで確認しながら、車両５の遠隔操作を行うことができる。したがって、遠隔操作の安全性を高めることができる。すなわち、車両５の遠隔操作における利便性を向上させることが可能である。
そして、表示部１１は、車両５に接近する人Ｔｒ１の位置の方向を視線方向とした車内視点画像ＡＰｘを表示する。この構成によれば、車両５に接近する人Ｔｒ１やその他の物体の外観や挙動を、車内視点画像ＡＰｘで明確に確認することができる。したがって、車両５の遠隔操作における利便性をより一層向上させることができる。
＜５−３．実施例３＞
図１７は、実施例３の車両遠隔操作に係る携帯端末１における処理フローの例を示すフローチャートである。実施例３の携帯端末１による車両５の遠隔操作に係る処理について、図１７を参照しつつ説明する。なお、車両５における処理フローは、実施例１で説明した図１０と同様であるので、ここでは説明を省略する。また、図１７に示す携帯端末１における処理フローについても、実施例１で説明した図９と同じステップについては詳細な説明を省略する。
携帯端末１は、例えばユーザーによって操作され、遠隔操作開始の指示を操作部１２から受け付けることで、携帯端末１による車両５の遠隔操作に係る処理を開始する（図１７の「開始」）。車両５の遠隔操作は、車両５が停止した状態で開始される。
次に、携帯端末１は、車両５との間で、通信確立処理、遠隔操作確立処理を実施する（ステップＳ４０１）。続いて、携帯端末１は、操作部１２に対してユーザーの操作入力があったか否かを判別する（ステップＳ４０２）。操作部１２への操作入力があった場合（ステップＳ４０２のＹｅｓ）、携帯端末１は、信号生成部１６３を用いて操作部１２に対する操作に基づき操作信号を生成し、当該操作信号を車両５に送信する（ステップＳ４０３）。
次に、車両５において外部からの衝撃を検出したか否かが判別される（ステップＳ４０４）。車両５における衝撃は、例えばセンサ部５１の振動センサから取得した車両５の振動の程度を表す検出信号に基づき判定される。また、車両５における衝撃は、例えばセンサ部５１の傾斜センサから取得した車両５の傾きの程度を表す検出信号に基づき判定される。また、車両５における衝撃に関して、車両５への外部からの接触の位置及び方向の検出には、例えばセンサ部５１の超音波センサ、光センサ、レーダなどを用いて検出することができる。
車両５における外部からの衝撃を検出した場合（ステップＳ４０４のＹｅｓ）、携帯端末１は、車内視点画像を画像処理装置２から受信し、その車内視点画像を表示部１１に表示する（ステップＳ４０５）。図１８は、実施例３の車両５への外部からの接触の状況を示す説明図である。本実施例では、例えば、車両５の右前部において壁部Ｔｒ２が接触し、外部からの衝撃を検出したこととする。
車両５における外部からの衝撃を検出した場合、画像生成部２１は、車両５の内部の所定位置である運転者の視点付近を視点位置とし、当該視点位置から見た車両５への壁部Ｔｒ２の接触の位置の方向を視線方向とした仮想視点ＶＰｘに基づき、車両５の像を透過像５ｔとして含む車内視点画像ＡＰｘを生成する。図１９は、実施例３の車内視点画像ＡＰｘの模式図である。車内視点画像ＡＰｘには、車両５の透過像５ｔに加えて、車両５に接触する壁部Ｔｒ２の像Ｔｐ２が含まれる。
携帯端末１は、当該車内視点画像ＡＰｘを画像処理装置２から受信し、車内視点画像ＡＰｘを表示部１１に表示する。図２０は、実施例３の車内視点画像ＡＰｘが表示された携帯端末１の模式図である。続いて、携帯端末１は、車内視点画像ＡＰｘに重ねて、表示部１１に車両５の操作に係る機能画像であるアイコン等（操作部１２）を表示する（ステップＳ４０６）。車両５の走行に係るアイコンは、例えば車両５の透過像５ｔに重ねて、各進行方向に対応する位置に配置される。
車両５における外部からの衝撃が検出されない場合（ステップＳ４０４のＮｏ）、携帯端末１は、俯瞰画像ＣＰ１を画像処理装置２から受信し、その俯瞰画像を表示部１１に表示する（ステップＳ４０７）。続いて、携帯端末１は、俯瞰画像に重ねて、表示部１１に車両５の操作に係る機能画像であるアイコン等（操作部１２）を表示する（ステップＳ４０８）。
次に、携帯端末１は、車両５の遠隔操作ＯＦＦの操作がユーザーによって行われたか否かを判別する（ステップＳ４０９）。遠隔操作ＯＦＦの操作が行われた場合（ステップＳ４０９のＹｅｓ）、携帯端末１における図１７に示す処理フローが終了される。
上記のように、本実施例の携帯端末１の表示部１１は、例えば車両５において外部からの衝撃が検出された場合に、車内視点画像ＡＰｘを表示する。この構成によれば、ユーザーは、車両５に接触する壁部Ｔｒ２やその他の物体の外観や挙動を、車内視点画像ＡＰｘで確認しながら、車両５の遠隔操作を行うことができる。したがって、車両５の遠隔操作における利便性を向上させることが可能である。
そして、表示部１１は、車両５において衝撃の位置が特定された場合に、当該衝撃の位置の方向を視線方向とした車内視点画像ＡＰｘを表示する。この構成によれば、車両５に接触する壁部Ｔｒ２やその他の物体の外観や挙動を、車内視点画像ＡＰｘで明確に確認することができる。したがって、車両５の遠隔操作における利便性をより一層向上させることができる。
＜５−４．実施例４＞
図２１は、実施例４の車両５の周辺に壁部が存在する状況を示す説明図である。実施例４では、例えば、車両５の右前方で壁部Ｔｒ２が検出されたこととする。なお、車両５の周辺の壁部Ｔｒ２等の物体は、例えばセンサ部５１の超音波センサ、光センサ、レーダの検出信号、または車載カメラ４１〜４４の撮影画像による画像認識に基づき検出される。
車両５の周辺、例えば右前方で壁部Ｔｒ２が検出された場合、画像生成部２１は、車両５の外部の右前方の所定位置を視点位置とし、当該視点位置から見た車両５の位置の方向を視線方向とした仮想視点ＶＰｙに基づき、車両５の像５ｐを含む補助画像ＡＰｙを生成する。図２２は、実施例４の補助画像ＡＰｙの模式図である。補助画像ＡＰｙには、車両５の像５ｐに加えて、車両５の右前方に存在する壁部Ｔｒ２の像である透過像Ｔｔ２が含まれる。
本実施例の携帯端末１は、当該補助画像ＡＰｙを画像処理装置２から受信し、補助画像ＡＰｙを表示部１１に表示する。図２３は、実施例４の補助画像ＡＰｙが表示された携帯端末１の模式図である。そして、携帯端末１は、補助画像ＡＰｙに重ねて、表示部１１に車両５の操作に係る機能画像であるアイコン等（操作部１２）を表示する。車両５の走行に係るアイコンは、例えば車両５の像５ｐに重ねて、各進行方向に対応する位置に配置される。
上記のように、本実施例の携帯端末１の表示部１１は、車両５の周辺で壁部Ｔｒ２が検出された場合に、壁部Ｔｒ２の像を透過像Ｔｔ２として含む補助画像ＡＰｙを表示する。この構成によれば、壁部Ｔｒ２による死角が解消され、車両５の周辺の視認性を高めることができる。したがって、車両５の遠隔操作における操作性を向上させることが可能である。さらに、遠隔操作時の安全性を向上させることができる。
＜５−５．実施例５＞
図２４は、実施例５の車両遠隔操作システムＲＳの構成を示すブロック図である。実施例５の携帯端末１は、例えば制御部１６に画像生成部１６４を備える。画像生成部１６４は、車両５の撮影部４で撮影された撮影画像を処理して車両５の周辺領域を示す合成画像を生成する。本実施例では、画像生成部１６４は、例えば記憶部１７に記憶されたプログラムによってソフトウェア的に各種の画像処理を実現する。
携帯端末１は、通信部１８を介して、画像生成部１６４による画像処理に必要な各種データを車両５から受信する。画像処理に必要なデータとしては、例えば車載カメラ４１〜４４によって撮影された撮影画像、車載カメラ４１〜４４の取り付け状態（取り付け位置、カメラ角度）、カメラ特性（撮影画像のサイズ、縮尺）、車両５の像５ｐ及び透過像５ｔのデータなどが含まれる。車両５から受信したこれらのデータは、例えば記憶部１７に記憶される。
画像生成部１６４は、車両５から受信した車載カメラ４１〜４４によって撮影された撮影画像に基づき、仮想視点から見た車両５の周辺領域を示す合成画像を生成する。さらに、画像生成部１６４は、当該合成画像に基づき、表示部１１で表示するための表示用画像を生成する。画像生成部１６４は、合成画像として、俯瞰画像と、車内視点画像とを生成することが可能である。
携帯端末１による車両５の遠隔操作を行うとき、携帯端末１は、車両５との間で通信確立処理、遠隔操作確立処理を実施した後、画像生成部１６４による画像処理に必要な各種データを車両５から受信する。これらのデータは、例えば記憶部１７に記憶される。その後、画像生成部１６４は、操作部１２へのユーザーの操作入力に基づき、逐次車載カメラ４１〜４４によって撮影された撮影画像を車両５から受信し、合成画像を生成する。
＜６．その他＞
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は全ての点で例示であって、制限的なものではないと考えられるべきである。本発明の技術的範囲は上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。また、上記の複数の実施形態、実施例及び変形例は可能な範囲で組み合わせて実施しても良い。
また、上記実施形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されていると説明したが、これらの機能のうちの一部は電気的なハードウェア回路によって実現されても良い。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されても良い。
１ 携帯端末（車両遠隔操作装置）
２ 画像処理装置
３ 車両制御装置
４ 撮影部
５ 車両
５ｐ 像
５ｔ 透過像
１１ 表示部
１２ 操作部
１６ 制御部
１７ 記憶部
１８ 通信部
２１ 画像生成部
４１、４２、４３、４４ 車載カメラ
１６３ 信号生成部
１６４ 画像生成部
ＡＰｘ 車内視点画像
ＡＰｙ 補助画像
ＣＰ１ 俯瞰画像
ＲＳ 車両遠隔操作システム
Ｔｒ１ 人（物体）
Ｔｒ２ 壁部（物体）
Ｔｔ２ 透過像

Claims (11)

  1. 表示部と、
    車両を操作するための操作部と、
    前記操作部に対する操作に基づく前記車両の操作信号を生成する信号生成部と、
    前記車両と通信を行う通信部と、
    を備え、
    前記表示部は、前記車両に搭載された複数の車載カメラそれぞれで撮影された複数の撮影画像に基づき生成された、前記車両の内部の所定位置を視点位置とし、当該視点位置から見た前記車両の外部の方向を視線方向とし、前記車両の像を透過像として含む車内視点画像を表示し、
    前記通信部は、前記操作信号を前記車両に送信する車両遠隔操作装置。
  2. 前記通信部は、前記車両において生成された前記車内視点画像を前記車両から受信する請求項１に記載の車両遠隔操作装置。
  3. 前記操作信号は、前記車内視点画像の前記視点位置及び前記視線方向の操作に係る信号を含む請求項１または請求項２に記載の車両遠隔操作装置。
  4. 前記表示部は、前記車両への他の物体の接近が検出された場合に、前記車内視点画像を表示する請求項１から請求項３のいずれかに記載の車両遠隔操作装置。
  5. 前記表示部は、前記車両に接近する前記物体の位置の方向を視線方向とした前記車内視点画像を表示する請求項４に記載の車両遠隔操作装置。
  6. 前記表示部は、前記車両において衝撃が検出された場合に、前記車内視点画像を表示する請求項１から請求項３のいずれかに記載の車両遠隔操作装置。
  7. 前記表示部は、前記車両において前記衝撃の位置が特定された場合に、当該衝撃の位置の方向を視線方向とした前記車内視点画像を表示する請求項６に記載の車両遠隔操作装置。
  8. 前記表示部は、前記車両の周辺で壁部が検出された場合に、前記壁部の像を透過像として含む補助画像を表示する請求項１から請求項３のいずれかに記載の車両遠隔操作装置。
  9. 前記車内視点画像における前記車両の前記透過像は、前記車両を表す立体形状の辺である線の集合で構成したワイヤーフレーム像である請求項１から請求項８のいずれかに記載の車両遠隔操作装置。
  10. 前記車内視点画像における前記車両の前記透過像は、前記車両を表す立体形状の半透明像である請求項１から請求項８のいずれかに記載の車両遠隔操作装置。
  11. 車両に搭載された複数の車載カメラそれぞれで撮影された複数の撮影画像に基づいて、前記車両の内部の所定位置を視点位置とし、当該視点位置から見た前記車両の外部の方向を視線方向とし、前記車両の像を透過像として含む車内視点画像を生成する工程と、
    前記車内視点画像を車両遠隔操作装置に表示する工程と、
    前記車両遠隔操作装置で前記車両に対する操作を受け付ける工程と、
    前記操作に基づく前記車両の操作信号を生成する工程と、
    前記操作信号を前記車両遠隔操作装置から前記車両に送信する工程と、
    を含む車両遠隔操作方法。
JP2018048355A 2018-03-15 2018-03-15 車両遠隔操作装置及び車両遠隔操作方法 Pending JP2019156298A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018048355A JP2019156298A (ja) 2018-03-15 2018-03-15 車両遠隔操作装置及び車両遠隔操作方法
US16/227,174 US20190286123A1 (en) 2018-03-15 2018-12-20 Remote vehicle control device and remote vehicle control method
DE102018133013.8A DE102018133013A1 (de) 2018-03-15 2018-12-20 Fahrzeugfernsteuerungsvorrichtung und fahrzeugfernsteuerungsverfahren

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018048355A JP2019156298A (ja) 2018-03-15 2018-03-15 車両遠隔操作装置及び車両遠隔操作方法

Publications (1)

Publication Number Publication Date
JP2019156298A true JP2019156298A (ja) 2019-09-19

Family

ID=67774328

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018048355A Pending JP2019156298A (ja) 2018-03-15 2018-03-15 車両遠隔操作装置及び車両遠隔操作方法

Country Status (3)

Country Link
US (1) US20190286123A1 (ja)
JP (1) JP2019156298A (ja)
DE (1) DE102018133013A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021200680A1 (ja) * 2020-03-31 2021-10-07 株式会社デンソー リモート駐車システムおよびそれに用いられる駐車支援制御装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3665564B1 (en) * 2017-08-07 2024-01-31 Nissan North America, Inc. Autonomous vehicle notification system and method
WO2020068960A1 (en) * 2018-09-26 2020-04-02 Coherent Logix, Inc. Any world view generation
JP7163732B2 (ja) * 2018-11-13 2022-11-01 トヨタ自動車株式会社 運転支援装置、運転支援システム、運転支援方法およびプログラム
KR20210059985A (ko) * 2019-11-18 2021-05-26 현대모비스 주식회사 보행자 보호 장치 및 방법
DE102022125794A1 (de) * 2022-10-06 2024-04-11 Valeo Schalter Und Sensoren Gmbh Verfahren zum ferngesteuerten Durchführen eines Fahrmanövers mit fahrzeugexternen Sensorinformationen für einen Fernsteuerer, sowie elektronisches Fernsteuerungssystem

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010095027A (ja) 2008-10-14 2010-04-30 Toyota Motor Corp 駐車支援装置
WO2013086249A2 (en) * 2011-12-09 2013-06-13 Magna Electronics, Inc. Vehicle vision system with customized display
EP2620917B1 (en) * 2012-01-30 2019-08-28 Harman Becker Automotive Systems GmbH Viewing system and method for displaying an environment of a vehicle
JP2014065392A (ja) * 2012-09-25 2014-04-17 Aisin Seiki Co Ltd 携帯端末、遠隔操作システム、遠隔操作方法、及びプログラム
JP6304885B2 (ja) 2014-10-03 2018-04-04 本田技研工業株式会社 車両遠隔操作システム
US10434877B2 (en) * 2016-05-05 2019-10-08 Via Technologies, Inc. Driver-assistance method and a driver-assistance apparatus

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021200680A1 (ja) * 2020-03-31 2021-10-07 株式会社デンソー リモート駐車システムおよびそれに用いられる駐車支援制御装置
JP2021160499A (ja) * 2020-03-31 2021-10-11 株式会社デンソー リモート駐車システムおよびそれに用いられる駐車支援制御装置
JP7375654B2 (ja) 2020-03-31 2023-11-08 株式会社デンソー リモート駐車システムおよびそれに用いられる駐車支援制御装置

Also Published As

Publication number Publication date
US20190286123A1 (en) 2019-09-19
DE102018133013A1 (de) 2019-09-19

Similar Documents

Publication Publication Date Title
JP2019156298A (ja) 車両遠隔操作装置及び車両遠隔操作方法
US11643047B2 (en) Image display device, image display system, image display method and program
JP2019156299A (ja) 車両遠隔操作装置及び車両遠隔操作方法
CN111137278B (zh) 汽车的泊车控制方法、装置及存储介质
JP7283059B2 (ja) 周辺監視装置
JP6548900B2 (ja) 画像生成装置、画像生成方法及びプログラム
JP2011135253A (ja) 画像処理装置、画像処理システム、および、画像処理方法
JP2011008762A (ja) 画像処理装置、電子装置、および、画像処理方法
JP5914114B2 (ja) 駐車支援装置、及び駐車支援方法
JP7032950B2 (ja) 車両遠隔操作装置、車両遠隔操作システム及び車両遠隔操作方法
JP2013162328A (ja) 画像処理装置、画像処理方法、プログラム、及び画像処理システム
JP2012040883A (ja) 車両周囲画像生成装置
KR102288950B1 (ko) 차량 및 그 제어 방법
JP2019161549A (ja) 車両遠隔操作装置及び車両遠隔操作方法
CN112612281A (zh) 汽车的泊车控制方法、装置及计算机存储介质
JP7063652B2 (ja) 車両遠隔操作装置、車両遠隔操作システム及び車両遠隔操作方法
JP6258000B2 (ja) 画像表示システム、画像表示方法及びプログラム
JP2011255812A (ja) 駐車支援装置
JP6118936B2 (ja) 画像処理装置
CN109189068B (zh) 泊车控制方法、装置及存储介质
JP7051369B2 (ja) 画像処理装置及び画像処理方法
JP6727400B2 (ja) 表示制御装置及び表示制御方法
JP2019080158A (ja) 画像処理装置及び画像処理方法
JP7103773B2 (ja) 画像処理装置及び画像処理方法
JP2016141303A (ja) 視界支援装置