JP2018101864A - 端末、及び端末の制御方法 - Google Patents

端末、及び端末の制御方法 Download PDF

Info

Publication number
JP2018101864A
JP2018101864A JP2016245985A JP2016245985A JP2018101864A JP 2018101864 A JP2018101864 A JP 2018101864A JP 2016245985 A JP2016245985 A JP 2016245985A JP 2016245985 A JP2016245985 A JP 2016245985A JP 2018101864 A JP2018101864 A JP 2018101864A
Authority
JP
Japan
Prior art keywords
vehicle
image
displayed
camera
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016245985A
Other languages
English (en)
Other versions
JP6831504B2 (ja
Inventor
健太 安友
Kenta Yasutomo
健太 安友
祐樹 松下
Yuki Matsushita
祐樹 松下
孝信 長島
Takanobu Nagashima
孝信 長島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2016245985A priority Critical patent/JP6831504B2/ja
Publication of JP2018101864A publication Critical patent/JP2018101864A/ja
Application granted granted Critical
Publication of JP6831504B2 publication Critical patent/JP6831504B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】車両に設けられたカメラの撮影結果に基づく画像を端末により表示する際に、ユーザーの利便性を向上する。【解決手段】携帯端末3は、筐体と、筐体に設けられたタッチパネル9と、筐体の状態を検出する筐体状態検出部23と、車両に設けられたカメラの撮影結果に基づく撮影データを取得し、取得した撮影データに基づく画像をタッチパネル9に表示させると共に、筐体状態検出部23により検出された筐体の状態に応じて、タッチパネル9に表示させる画像を切り替える端末制御部20と、を備える。【選択図】図2

Description

本発明は、端末、及び端末の制御方法に関する。
従来、車両に設けられた情報処理装置(車両側装置3)と通信し、車両に設けられたカメラ(撮像部5)の撮影結果に基づく画像を表示する端末(携帯端末4)が知られている(例えば、特許文献1参照)。
特開2015−54530号公報
上述した端末のように、車両に設けられたカメラの撮影結果に基づく画像を表示可能なものでは、画像の表示に際して適切な処理を行ってユーザーの利便性を向上したいとするニーズがある。
本発明は、上述した事情に鑑みてなされたものであり、車両に設けられたカメラの撮影結果に基づく画像を端末により表示する際に、ユーザーの利便性を向上することを目的とする。
上記目的を達成するために、本発明の端末は、筐体と、前記筐体に設けられた表示パネルと、前記筐体の状態を検出する筐体状態検出部と、車両に設けられたカメラの撮影結果に基づく撮影データを取得し、取得した前記撮影データに基づく画像を前記表示パネルに表示させると共に、前記筐体状態検出部により検出された前記筐体の状態に応じて、前記表示パネルに表示させる画像を切り替える端末制御部と、を備えることを特徴とする。
また、本発明は、前記端末制御部は、前記筐体状態検出部により前記筐体の向きが第1の向きとなったことが検出された場合と、前記筐体の向きが前記第1の向きとは異なる第2の向きとなったことが検出された場合とで、前記表示パネルに表示させる画像を切り替えることを特徴とする。
また、本発明は、前記筐体は、長方形状の正面を有する板状の部材であり、前記表示パネルは、前記筐体の正面に設けられ、前記第1の向きは、前記筐体の正面の長辺の方向が、鉛直方向に沿った状態となる向きであり、前記第2の向きは、前記筐体の正面の長辺の方向が、鉛直方向と直交する方向に沿った状態となる向きであることを特徴とする。
また、本発明は、前記端末制御部は、前記筐体状態検出部により前記筐体の向きが前記第1の向きとなったことが検出され場合、前記撮影データに基づく画像として、前記車両を俯瞰した画像である俯瞰画像を前記表示パネルに表示させ、前記筐体状態検出部により前記筐体の向きが前記第2の向きとなったことが検出された場合、前記撮影データに基づく画像として、前記カメラにより撮影された車外の画像である車外画像を前記表示パネルに表示させることを特徴とする。
また、本発明は、前記車両には、車外を撮影する複数の前記カメラが設けられ、前記端末制御部は、前記筐体状態検出部により前記筐体の向きが前記第2の向きとなったことが検出された場合、前記車両の状態に対応した所定の優先順位に従って、複数の前記カメラのうち、1つの前記カメラを選択し、選択した前記カメラの撮影結果に基づく前記車外画像を前記表示パネルに表示させることを特徴とする。
また、本発明は、前記所定の優先順位は、前記車両の進行方向を撮影可能な前記カメラほど高い順位となる優先順位であることを特徴とする。
また、本発明は、前記所定の優先順位は、前記車両に近接する物体を撮影可能な前記カメラほど高い順位となる優先順位であることを特徴とする。
また、本発明は、前記端末制御部は、1の前記カメラの撮影結果に基づく1の前記車外画像を前記表示パネルに表示させた後、前記筐体状態検出部により前記筐体が所定の動きをしたことが検出された場合、当該1の前記車外画像に代えて、当該1の前記カメラとは異なる他の前記カメラの撮影結果に基づく他の前記車外画像を前記表示パネルに表示させることを特徴とする。
また、本発明は、複数の前記カメラは、それぞれ、異なる方向に向かって車外を撮影し、前記所定の動きは、前記筐体の状態が第1の態様で変化する第1の動き、又は、前記筐体の状態が前記第1の態様とは異なる第2の態様で変化する第2の動きのいずれかであり、前記端末制御部は、前記筐体状態検出部により前記筐体が前記第1の動きをしたことが検出された場合、前記カメラが撮影する方向に応じた第1の順番で前記車外画像を切り替え、前記筐体状態検出部により前記筐体が前記第2の動きをしたことが検出された場合、前記カメラが撮影する方向に応じた順番であって、前記第1の順番とは異なる第2の順番で前記車外画像を切り替えることを特徴とする。
また、本発明は、前記表示パネルは、画像を表示すると共に、タッチ操作を受け付けるタッチパネルであり、前記端末制御部は、前記タッチパネルに前記撮影データに基づく画像を表示させると共に、前記撮影データに基づく画像と重畳して、タッチ操作可能な操作ボタンを表示させ、前記タッチパネルに表示させる画像を切り替えた場合も、前記操作ボタンの表示を維持し、前記操作ボタンがタッチ操作されている間、前記車両に設けられた情報処理装置に、前記車両の推進を指示する推進指示信号を送信することを特徴とする。
また、本発明は、筐体と、前記筐体に設けられた表示パネルとを有する端末の制御方法であって、車両に設けられたカメラの撮影結果に基づく撮影データを取得し、取得した前記撮影データに基づく画像を前記表示パネルにより表示すると共に、前記筐体の状態を検出し、検出した前記筐体の状態に応じて、前記表示パネルにより表示する画像を切り替えることを特徴とする。
本発明によれば、車両に設けられたカメラの撮影結果に基づく画像を端末により表示する際に、ユーザーの利便性を向上できる。
本実施形態に係る情報処理システム1の概要を示す図。 携帯端末の機能的構成を示すブロック図。 縦向きの説明に用いる図。 横向きの説明に用いる図。 右動きの説明に用いる図。 左動きの説明に用いる図。 情報処理装置の機能的構成を示すブロック図。 車外撮影用カメラの撮影方向の説明に用いる図。 車両駆動制御装置の機能的構成を示すブロック図。 自動運転経路情報の説明に用いる図。 情報処理システムの各装置の動作を示すフローチャート。 駐車場の一例を示す図。 ロック画面を示す図。 タッチパネルに表示される画面の説明に用いる図。 携帯端末の動作を示すフローチャート。 情報処理装置の動作を示すフローチャート。 情報処理装置の動作を示すフローチャート。 合成画像を示す図。 携帯端末の動作を示すフローチャート。 情報処理装置の動作を示すフローチャート。 情報処理装置の動作を示すフローチャート。 情報処理装置の動作を示すフローチャート。 情報処理システムの各装置の動作を示すフローチャート。 選択画面を示す図。 タッチパネルに表示される画面の説明に用いる図。 タッチパネルに表示される画面の説明に用いる図。 タッチパネルに表示される画面の説明に用いる図。
以下、図面を参照して本発明の実施形態について説明する。
図1は、本実施形態に係る情報処理システム1の概要を示す図である。
図1に示すように、情報処理システム1は、車両Sに設けられた車両システム2と、ユーザーが所有する携帯端末3とを備える。
車両システム2は、情報処理装置4と、車両駆動制御装置5とを備える。情報処理装置4と、車両駆動制御装置5とは、バス6を介して通信可能である。
携帯端末3は、ユーザーが携帯するタブレット型の携帯電話(いわゆるスマートフォン)である。車両システム2の情報処理装置4と、携帯端末3とは、無線通信により通信可能である。携帯端末3は、筐体8を備える。筐体8は、長方形状の正面8aを有する板状の部材であり、正面8aの広い領域に、タッチパネル9(表示パネル)が設けられる。なお、長方形状とは、完全な長方形の形状を意味せず、例えば、4つの頂点が丸みを帯びた略長方形の形状も含む。以下では、携帯端末3がタブレット型の携帯電話であるものとして実施形態の説明を行うが、携帯端末3は、スマートフォンに限らず、タブレット型のコンピューター等であってもよい。
ユーザーは、車両Sの所有者等、車両Sを制御する権限を有する者である。
車両Sは、自動四輪車である。特に、本実施形態に係る車両Sは、エンジンスイッチのオン/オフと、ドアの施錠/開錠とに関し、以下の機能を有する。すなわち、車両Sは、専用のリモートコントローラーに対する操作により、エンジンスイッチをオン/オフし、また、ドアを施錠/開錠する機能を有する。当該機能は、既存の技術が用いられているため、当該機能の詳細な説明は省略する。ユーザーは、車両Sから降車した後、車外において専用のリモートコントローラーを操作して、エンジンスイッチをオン/オフすることができ、また、車両Sのドアを施錠/開錠できる。
情報処理システム1は、以下のことを可能とするシステムである。すなわち、情報処理システム1は、ユーザーが車両Sを運転することなく、携帯端末3を操作して、一の位置に停車する車両Sを、他の位置へ移動させて停車させることを可能とする。例えば、情報処理システム1は、駐車場や、車庫等における駐車位置に車両Sを駐車させる際に、ユーザーが車両Sを運転することなく、携帯端末3を操作して、駐車位置の近傍の駐車前位置に停車している車両Sを駐車位置に移動させて停車させることを可能とする。また例えば、情報処理システム1は、駐車位置に停車している車両Sを出庫させる際に、ユーザーが車両Sを運転することなく、携帯端末3を操作して、駐車位置に停車している車両Sを、駐車位置の近傍の出庫後停車位置に移動させて停車させることを可能とする。従って、ユーザーは、情報処理システム1を利用することにより、車両Sに搭乗していない状態で、車両Sの駐車、及び、出庫を行うことができる。このため、駐車に関し、駐車を希望する駐車位置に隣接する駐車位置に他の車両が既に停車しており、駐車を希望する駐車位置に車両Sが停車した場合、車両Sと、隣接する他の車両とが近接し、車両Sのドアの開閉が困難な状況のときに、ユーザーは、以下の態様で車両Sを駐車位置に駐車させることができる。すなわち、ユーザーは、駐車位置に車両Sを停車させる前に車両Sを降車し、情報処理システム1を利用して、車両Sを駐車位置に停車させることができる。これにより、駐車位置に車両Sが停車した後、車両Sのドアを開閉する必要がなく、ユーザーは、スムーズに車両Sの駐車させることができる。同様に、出庫に関し、車両Sが停車している駐車位置に隣接する駐車位置に他の車両が既に停車しており、車両Sのドアを開閉して車両Sに搭乗することが困難な状況の場合に、ユーザーは、情報処理システム1を利用することにより、車両Sに搭乗することなくスムーズに車両Sを出庫させて、その後、車両Sに搭乗することができる。
以下の説明では、情報処理システム1により、ユーザーによる車両Sの運転を伴うことなく、一の位置に停車する車両Sが他の位置に移動して他の位置で停車することを、「車両自動移動」と表現する。
図2は、携帯端末3の機能的構成を示すブロック図である。
図2に示すように、携帯端末3は、端末制御部20と、端末通信部21と、タッチパネル9と、端末記憶部22と、筐体状態検出部23とを備える。
端末制御部20は、CPUや、ROM、RAM、ASIC、信号処理回路等を備え、携帯端末3の各部を制御する。端末制御部20は、例えばCPUが、ROMに記憶されたプログラムをRAMに読み出して処理を実行し、また例えばASICに実装された機能により処理を実行し、また例えば信号処理回路で信号処理を行って処理を実行する等、ハードウェアとソフトウェアとの協働により処理を実行する。
端末通信部21は、端末制御部20の制御に従って、Wi−Fi(登録商標)の規格に従って、外部の装置(情報処理装置4を含む。)と無線通信する。
なお、本実施形態では、携帯端末3と、情報処理装置4との間で行われる無線通信に用いられる通信プロトコルは、Wi−Fiであるが、これら装置間で行われる無線通信に用いられる通信プロトコルは、Wi−Fiに限らず何でもよい。例えば、通信プロトコルは、Bluetooth(登録商標)であってもよい。
タッチパネル9は、液晶パネルや、有機ELパネル等の表示パネルを備え、端末制御部20の制御で、表示パネルに画像を表示する。また、タッチパネル9は、表示パネルに重ねて配置されたタッチセンサーを備え、ユーザーによるタッチパネル9に対する操作を検出し、検出した操作に対応する信号を端末制御部20に出力する。端末制御部20は、タッチパネル9からの入力に基づいて、ユーザーによるタッチパネル9に対する操作に対応する処理を実行する。
端末記憶部22は、EEPROM等の不揮発性メモリーを備え、各種データを書き換え可能に不揮発的に記憶する。
端末記憶部22は、専用アプリケーションAPを記憶する。専用アプリケーションAPは、後述するように、ユーザーが情報処理システム1を利用して車両自動移動を行わせる場合に使用されるアプリケーションである。専用アプリケーションAPは、例えば、情報処理装置4を製造販売する会社が提供するアプリケーションである。ユーザーは、所定のアプリケーションダウンロードシステムを使用して、事前に、専用アプリケーションAPを携帯端末3にダウンロードする。
筐体状態検出部23は、筐体8に設けられた加速度センサー、ジャイロセンサー、及び傾きセンサーを備え、これらセンサーの検出値に基づいて、筐体8の状態を検出する。筐体状態検出部23は、検出した筐体8の状態を示す情報を端末制御部20に出力する。なお、筐体状態検出部23が筐体8の状態を検出するときに用いるセンサーは、加速度センサー、ジャイロセンサー、及び傾きセンサーに限られない。また、筐体状態検出部23が筐体8の状態を検出するときの方法は、どのような方法であってもよい。
筐体状態検出部23は、筐体8の状態として、少なくとも、(1)筐体8の向きが「縦向き」となったこと、(2)筐体8の向きが「横向き」となったこと、(3)筐体8の向きが「横向き」のときに、筐体8が「右動き」したこと、及び(4)筐体の向きが「横向き」のときに、筐体8が「左動き」したことを検出する。
図3Aは、「縦向き」の説明に用いる図である。
ここで、上述したように、筐体8は、長方形状の正面8aを有する板状の部材である。また、図3Aに示すように、タッチパネル9の形状は、筐体8の長辺T1に沿って長辺を有し、筐体8の短辺T2に沿って短辺を有する長方形状である。
正面8aが長方形状であるため、正面8aの外縁は、長辺T1と、短辺T2とにより構成される。これを踏まえ、以下、筐体8の長辺T1に沿って延びる仮想的な線を「仮想長辺直線」と表現し、符号として「KA」を付す。また、鉛直方向に延びる仮想的な線を「仮想鉛直直線」と表現し、符号として「EN」を付す。また、仮想鉛直直線ENに直交する仮想的な線を「仮想直交直線」と表現し、符号として「TN」を付す。
図3Aに示すように、「縦向き」は、仮想鉛直直線ENに対する仮想長辺直線KAの三次元空間における角度が、角度θ1の範囲内にある状態である。角度θ1の値は、ユーザーが意図的に携帯端末3の向きを「縦向き」とした場合のマージンという観点に基づいて、適切に定められる。携帯端末3の向きが「縦向き」の場合、筐体8の長辺T1の方向が、鉛直方向に沿った状態となると共に、タッチパネル9の長辺の方向が、鉛直方向に沿った状態となる。
「縦向き」は、「第1の向き」に相当する。
図3Bは、「横向き」の説明に用いる図である。
図3Bに示すように、「横向き」は、仮想直交直線TNに対する仮想長辺直線KAの三次元空間における角度が、角度θ2の範囲内にある状態である。角度θ2は、ユーザーが意図的に携帯端末3の向きを「横向き」とした場合のマージンという観点に基づいて、適切に定められる。携帯端末3の向きが「横向き」の場合、筐体8の長辺T1の方向が、鉛直方向に直交する方向に沿った状態となると共に、タッチパネル9の長辺の方向が、鉛直方向に直交する方向に沿った状態となる。
「横向き」は、「第2の向き」に相当する。
図4Aは、「右動き」の説明に用いる図である。
図4Aに示すように、「右動き」は、筐体8の向きが「横向き」の状態で、筐体8が、筐体8を正面視したときの右方向に向かって、距離K1(例えば、3センチ。)を超える距離を、期間GG1(例えば、0.5秒。)以内に移動する動きである。右方向は、鉛直方向と直交する方向に完全に沿う必要はなく、一定のマージンが考慮される。筐体8を把持してタッチパネル9を視認するユーザーが、ユーザーから見て右方向に向かって筐体8を軽く移動させた場合に、筐体8は、「右動き」をする。距離K1、及び、期間GG1は、ユーザーが、意図的に、筐体8に「右動き」をさせたことを判定するための閾値として使用するという観点に基づいて、適切に定められる。
「右動き」は、「筐体8の状態が第1の態様で変化する第1の動き」に相当する。
図4Bは、「左動き」の説明に用いる図である。
図4Bに示すように、「左動き」は、筐体8の向きが「横向き」の状態で、筐体8が、筐体8を正面視したときの左方向に向かって、距離K2(例えば、3センチ。)を超える距離を、期間GG2(例えば、0.5秒。)以内に移動する動きである。左方向は、鉛直方向と直交する方向に完全に沿う必要はなく、一定のマージンが考慮される。筐体8を把持してタッチパネル9を視認するユーザーが、ユーザーから見て左方向に向かって筐体8を軽く移動させた場合に、筐体8は、「左動き」をする。距離K2、及び、期間GG2は、ユーザーが、意図的に、筐体8に「左動き」をさせたことを判定するための閾値として使用するという観点に基づいて、適切に定められる。
「左動き」は、「筐体8の状態が第2の態様で変化する第2の動き」に相当する。
図5は、情報処理装置4の機能的構成を示すブロック図である。
図5に示すように、情報処理装置4は、情報処理装置制御部30と、情報処理装置通信部31と、表示装置32と、情報処理装置記憶部33と、操作入力部34と、GPSユニット35と、相対方位検出ユニット36と、バスインターフェース37と、カメラインターフェース38とを備える。
情報処理装置制御部30は、CPUや、ROM、RAM、ASIC、信号処理回路等を備え、情報処理装置4の各部を制御する。情報処理装置制御部30は、例えばCPUが、ROMに記憶されたプログラムをRAMに読み出して処理を実行し、また例えばASICに実装された機能により処理を実行し、また例えば信号処理回路で信号処理を行って処理を実行する等、ハードウェアとソフトウェアとの協働により処理を実行する。
情報処理装置通信部31は、情報処理装置制御部30の制御に従って、Wi−Fiの規格に従って、外部の装置(携帯端末3を含む。)と無線通信する。
表示装置32は、液晶パネルや、有機ELパネル等の表示パネルを備え、情報処理装置制御部30の制御で、表示パネルに画像を表示する。
情報処理装置記憶部33は、EEPROMや、ハードディスク等の不揮発性メモリーを備え、各種データを書き換え可能に不揮発的に記憶する。情報処理装置記憶部33は、地図データ33aを記憶する。地図データ33aは、表示装置32に地図を表示するときに用いられる情報や、経路の検索に用いられる情報(いわゆるリンクに関する情報や、いわゆるノードに関する情報等。)を記憶する。また、地図データ33aは、駐車場等の車両Sが駐車可能な施設に関し、施設内の詳細な地図や、施設の構造を示す情報(以下、「駐車地図情報」という。)を記憶する。
操作入力部34は、情報処理装置4に設けられたスイッチ等の操作子を備え、ユーザーによる操作子に対する操作を検出し、検出した操作に対応する信号を情報処理装置制御部30に出力する。情報処理装置制御部30は、操作入力部34からの入力に基づいて、ユーザーによる操作子に対する操作に対応する処理を実行する。
GPSユニット35は、図示しないGPSアンテナを介してGPS衛星からのGPS電波を受信し、GPS電波に重畳されたGPS信号から、車両Sの現在の位置と、車両Sの進行方向とを算出する。GPSユニット35は、算出した車両Sの現在の位置を示す情報、及び、算出した車両Sの進行方向を示す情報を情報処理装置制御部30に出力する。
相対方位検出ユニット36は、ジャイロセンサーと、加速度センサーとを備える。ジャイロセンサーは、例えば振動ジャイロにより構成され、車両Sの相対的な方位(例えば、ヨー軸方向の旋回量。)を検出する。加速度センサーは、車両Sに作用する加速度(例えば、進行方向に対する車両の傾き。)を検出する。相対方位検出ユニット36は、検出した車両Sの相対的な方位を示す情報、及び、検出した車両Sに作用する加速度を示す情報を情報処理装置制御部30に出力する。
バスインターフェース37は、バス6に対応する通信インターフェースを備え、情報処理装置制御部30の制御で、バス6に接続された外部の装置(車両駆動制御装置5を含む。)と通信する。
カメラインターフェース38は、情報処理装置制御部30の制御で、車両Sに設けられたカメラと通信する。
車両Sには、車外を撮影するカメラとして、前方撮影用カメラCA1と、前方右側撮影用カメラCA2と、側方右側撮影用カメラCA3と、後方右側撮影用カメラCA4と、後方撮影用カメラCA5と、後方左側撮影用カメラCA6と、側方左側撮影用カメラCA7と、前方左側撮影用カメラCA8とが設けられる。以下、車外を撮影するカメラを区別しない場合、「車外撮影用カメラ」と表現する。
図6は、車外撮影用カメラが撮影する方向の説明に用いる図である。なお、図6は、後述する車外画像G2の切り替えの説明にも用いる。
前方撮影用カメラCA1は、車両Sの前方(図6参照。)を撮影するカメラである。
前方右側撮影用カメラCA2は、車両Sの前方右側(図6参照。)を撮影するカメラである。
側方右側撮影用カメラCA3は、車両Sの側方右側(図6参照。)を撮影するカメラである。
後方右側撮影用カメラCA4は、車両Sの後方右側(図6参照。)を撮影するカメラである。
後方撮影用カメラCA5は、車両Sの後方(図6参照。)を撮影するカメラである。
後方左側撮影用カメラCA6は、車両Sの後方左側(図6参照。)を撮影するカメラである。
側方左側撮影用カメラCA7は、車両Sの側方左側(図6参照。)を撮影するカメラである。
前方左側撮影用カメラCA8は、車両Sの前方左側(図6参照。)を撮影するカメラである。
車外撮影用カメラのそれぞれは、所定の周期で撮影を実行し、撮影結果に基づいて撮影画像データを生成し、生成した撮影画像データを、カメラインターフェース38を介して、情報処理装置制御部30に出力する。
なお、車両Sに設けられる車外撮影用カメラの態様は、本実施形態に係る態様に限らない。一例として、車両Sに以下の態様で車外撮影用カメラが設けられる構成でもよい。すなわち、車両Sに、車外撮影用カメラとして、前方撮影用カメラCA1、側方右側撮影用カメラCA3、後方撮影用カメラCA5、側方左側撮影用カメラCA7の4台のカメラを設け、側方右側撮影用カメラCA3によって車両Sの側方右側、及び前方右側を撮影し、後方撮影用カメラCA5によって車両Sの後方、後方右側、及び後方左側を撮影し、側方左側撮影用カメラ車両Sの側方左側、及び前方左側を撮影する構成でもよい。
また、上述した車外撮影用カメラのうち、前方撮影用カメラCA1、側方右側撮影用カメラCA3、後方撮影用カメラCA5、及び側方左側撮影用カメラCA7は、俯瞰画像データ(後述)の生成に用いるカメラとして用いられる。以下、俯瞰画像データの生成に用いるカメラを区別しない場合、「俯瞰用カメラ」と表現する。俯瞰用カメラのそれぞれは、広角カメラであり、俯瞰画像データの生成に用いられるという観点で、車両Sの適切な位置に設けられる。
図7は、車両駆動制御装置5の機能的構成を示すブロック図である。
図7に示すように、車両駆動制御装置5は、車両駆動制御装置制御部50と、路車間通信部51と、車車間通信部52と、レーダー装置53と、車速センサー54と、ヨーレートセンサー55と、バスインターフェース56とを備える。
車両駆動制御装置制御部50は、CPUや、ROM、RAM、ASIC、信号処理回路等を備え、車両駆動制御装置5の各部を制御する。車両駆動制御装置制御部50は、例えばCPUが、ROMに記憶されたプログラムをRAMに読み出して処理を実行し、また例えばASICに実装された機能により処理を実行し、また例えば信号処理回路で信号処理を行って処理を実行する等、ハードウェアとソフトウェアとの協働により処理を実行する。
路車間通信部51は、道路等に設置された路側機から、光ビーコンや、電波ビーコン、DSRC(Dedicated Short Range Communications)などの狭帯域無線通信によって送信される情報を受信する。路側機から路車間通信部51に送信される情報には、例えば、他の車両に関する情報や、歩行者に関する情報等が含まれる。路車間通信部51は、路側機から受信した情報を車両駆動制御装置制御部50に出力する。
車車間通信部52は、車両Sの周辺に位置する他の車両との間で情報を無線通信によって相互に送受信する。車車間通信部52により送受信する情報には、例えば、車両S及び他の車両を識別する識別情報や、車両S及び他の車両の位置を示す情報、車両S及び他の車両の速度を示す情報、車両S及び他の車両の進行方向を示す情報、車両S及び他の車両が停止するタイミングを示す情報等が含まれる。車車間通信部52は、受信した情報を車両駆動制御装置制御部50に出力する。
レーダー装置53は、例えば、ミリ波レーダーや、レーザーレーダー等の電波や、超音波レーダー等の音波等を車外に向けて照射する。レーダー装置53は、車両Sの周辺に存在する対象物(例えば、他の車両や、人物。)により反射された反射波を受信することで、車両Sの周辺に存在する対象物を検出する。レーダー装置114は、検出した対象物に関する情報を車両駆動制御装置制御部50に出力する。
車速センサー54は、車両Sの速度(以下、「車速」という。)を検出して、検出した車速を示す情報を車両駆動制御装置制御部50に出力する。
ヨーレートセンサー55は、車両Sにかかるヨーレートを検出し、検出したヨーレートを示す情報を車両駆動制御装置制御部50に出力する。
バスインターフェース56は、バス6に対応する通信インターフェースを備え、車両駆動制御装置制御部50の制御で、バス6に接続された外部の装置(情報処理装置4を含む。)と通信する。
図7に示すように、バス6には、ECUとして、エンジンECU60と、トランスミッションECU61と、ブレーキECU62と、ステアリングECU63とが接続される。車両駆動制御装置5の車両駆動制御装置制御部50は、バス6を介して、各ECUに制御信号を出力し、各ECUを制御する。
エンジンECU60は、車両駆動制御装置制御部50から入力される制御信号に基づいて、エンジンの吸気管に設けられた電子スロットルバルブを開閉するスロットルアクチュエーターを制御して、エンジンの回転数を調整する。
トランスミッションECU61は、車両駆動制御装置制御部50から入力される制御信号に基づいて、変速機に供給される作動油の油圧を調整する油圧制御装置を制御して変速機に供給される作動油の油圧を調整し、変速機の変速比を切り替え、エンジンから伝達される回転数やトルクを変化させる。特に、トランスミッションECU61は、車両駆動制御装置制御部50から入力される制御信号に基づいて、車両Sのギアの状態を、パーキング(P)、リバース(R)、ドライブ(D)、ニュートラル(N)、及びロー(L)の間で切り替える。
ブレーキECU62は、車両駆動制御装置制御部50から入力される制御信号に基づいて、車両Sの車輪に設けられたブレーキ装置を制御して、車両Sの制動を行う。
ステアリングECU63は、車両駆動制御装置制御部50から入力される制御信号に基づいて、車両Sに設けられたステアリング装置を制御して、車両Sの操舵を行う。
車両駆動制御装置5は、自動運転経路情報に基づいて、ユーザーによる車両Sの運転を伴うことなく、車両Sを、車両Sが停車する停車位置から、車両Sを停車位置から移動させて停車させる目標とする位置である目標位置へ、自動で移動させて停車させることができる。後述するように、情報処理装置4は、車両自動移動に際し、自動運転経路情報を車両駆動制御装置5に出力する。
図8は、自動運転経路情報の説明に用いる図である。
自動運転経路情報とは、停車位置に停車する車両Sを原点として、車両Sの前後方向をy軸、車両Sの左右方向をx軸とする仮想座標系において、停車位置から目標位置に至るまでの車両Sの軌跡を示す軌跡情報を含む。軌跡情報は、仮想座標系において車両Sの軌跡を表す点のそれぞれの座標を示す情報と、各点における車両Sの仮想座標系における方向を示す情報とを含む。
図8は、仮想座標系の一例である仮想座標系KZ1と、仮想座標系KZ1における車両Sの軌跡の一例を、説明に適した態様で単純化して示している。図8で例示する軌跡の場合、軌跡情報は、点P0(原点であり、停車位置に対応する点。)、点P1、点P2、点P3、点P4、及び点P5(目標位置に対応する点。)のそれぞれの座標を示す情報と、各点における車両Sの仮想座標系KZ1における方向を示す情報とを含む。
車両駆動制御装置5の車両駆動制御装置制御部50は、自動運転経路情報、及び、車車間通信部52、レーダー装置53、車速センサー54、及びヨーレートセンサー55からの入力に基づいて、エンジンECU60、トランスミッションECU61、ブレーキECU62、及びステアリングECU63に制御信号を出力し、停車位置に停車する車両Sを、自動運転経路情報が含む軌道情報に対応する軌道で目標位置まで移動させ、目標位置に停車させる。
以上、車両駆動制御装置5が、自動運転経路情報に基づいて、車両Sを停車位置から、目標位置へ自動で移動させる方法について説明した。ただし、車両駆動制御装置5が、車両Sを停車位置から、目標位置へ移動させる方法は、上述した方法に限られず、どのような方法であってもよい。また、車両Sを停車位置から、目標位置へ自動で移動させる際に、車両駆動制御装置5が使用するセンサーや、ECU、装置等も、本実施形態に係るセンサーや、ECU、装置等に限られない。また、自動運転経路情報の内容も、車両駆動制御装置5が、車両Sを停車位置から、目標位置へ自動で移動させる際に用いられる情報であれば、どのような内容であってもよい。
次に、車両自動移動が行われる場合の情報処理システム1の各装置の動作について、車両Sを駐車させる場合と、車両Sを出庫させる場合とを例にして説明する。上述したように、駐車とは、駐車位置の近傍の駐車前位置に停車している車両Sを駐車位置に移動させて停車させることを意味する。また、出庫とは、駐車位置に停車している車両Sを、駐車位置の近傍の出庫後停車位置に移動させて停車させることを意味する。
<車両Sを駐車させる場合>
まず、車両Sを駐車させる場合について、説明する。
図9のフローチャートFAは、情報処理装置4の動作を示すフローチャートであり、フローチャートFBは、携帯端末3の動作を示すフローチャートである。
以下、複数の駐車領域が設けられた駐車場の1つの駐車領域に対応する駐車位置に、車両Sを駐車させる場合を例にして、情報処理装置4、及び携帯端末3の動作について説明する。
ユーザーは、車両自動移動により駐車を行う場合、駐車位置の近辺の駐車前位置に車両Sを停車させる。
図10は、駐車場の一例である駐車場ST1と、駐車場ST1における駐車前位置の一例である駐車前位置PS1と、駐車場ST1における駐車位置の一例である駐車位置PS2とを示す図である。
駐車場ST1は、車両が駐車可能な駐車領域として、3つの駐車領域AR1、駐車領域AR2、及び駐車領域AR3を有する。駐車領域AR1、及び駐車領域AR3には、車両Sとは異なる他の車両が既に駐車している。このような場合において、例えば、ユーザーは、駐車領域AR2の駐車位置PS2を、車両Sの駐車を希望する位置として決定し、駐車位置PS2の近辺の駐車前位置PS1に車両Sを停車させる。
図9のフローチャートFAに示すように、駐車前位置に車両Sを停車させた後、ユーザーは、情報処理装置4の操作入力部34を操作して、情報処理装置4の動作モードを、駐車モードへ変更する(ステップS1)。
ユーザーによって、動作モードが、駐車モードへ変更されると、情報処理装置4の情報処理装置制御部30は、駐車位置決定処理を実行する(ステップSA1)。
駐車位置決定処理は、車両Sを駐車可能な駐車領域を特定し、駐車位置を決定する処理である。
ステップSA1の駐車位置決定処理において、情報処理装置制御部30は、GPSユニット35から入力される情報、相対方位検出ユニット36から入力される情報、及び地図データ33aが有する情報等に基づいて、車両Sの現在の位置(駐車前位置)を特定する。車両Sの現在の位置を特定する方法は、どのような方法であってもよく、また、上述した情報以外の情報を用いてもよい。例えば、車両Sの現在の位置を特定する際に、GLONASS、Galileo、Beidou、QZSS(みちびき)等の測位衛星システムの信号に基づく情報を利用してもよい。
次いで、情報処理装置制御部30は、車両Sに設けられたカメラのそれぞれから入力される撮影画像データや、地図データ33aの情報等に基づいて、車両Sの現在の位置の近辺に存在する駐車領域であって、車両Sが駐車可能な駐車領域を特定する。情報処理装置制御部30は、地図データ33aが、車両Sの現在の位置が属する駐車場に係る駐車地図情報を有する場合は、当該駐車地図情報を用いて、駐車領域を特定する。車両Sの現在の位置の近辺に存在する駐車領域を特定する方法は、どのような方法であってもよい。
次いで、情報処理装置制御部30は、特定した駐車領域に対応する位置を駐車位置として決定する。
ステップSA1で駐車位置を決定した後、情報処理装置制御部30は、自動運転経路情報生成処理を実行する(ステップSA2)。
自動運転経路情報生成処理は、車両Sが停車する現在の位置(駐車前位置)から、ステップSA1で決定した駐車位置に至るまでの軌道を示す軌道情報を含む自動運転経路情報を生成する処理である。
ステップSA2の自動運転経路情報生成処理において、情報処理装置制御部30は、車両Sに設けられたカメラのそれぞれから入力される撮影画像データや、地図データ33aの情報等に基づいて、車両Sの現在の位置から、駐車位置に至る車両Sの軌道を算出する。
図10に示すように、駐車前位置PS1に停車する車両Sを駐車位置PS2に移動させる場合において、情報処理装置制御部30は、例えば、駐車前位置から駐車位置に至る車両Sの軌道として、軌道KDを算出する。図10で例示する軌道KDは、駐車前位置PS1から、軌道KD上の位置MDに至る軌道KD1と、位置MDから駐車位置PS2に至る軌道KD2とを有する。軌道KD1は、車両Sが、駐車前位置PS1から進行方向に向かって左に曲がりつつ「前進」し、位置MDで一時停止する軌道である。軌道KD2は、車両Sが、位置MDから進行方向に向かって左に曲がりつつ「後進」し、駐車位置PS2で停車する軌道である。
次いで、情報処理装置制御部30は、車両Sの現在の位置を原点とする仮想座標系を定義するともに、定義した仮想座標系に、車両Sの軌道に対応する線分を展開し、展開した線分に基づいて、軌道情報を生成し、軌道情報を含む自動運転経路情報を生成する。
一方、ステップS1で情報処理装置4の動作モードを、駐車モードへ変更した後、ユーザーは、携帯端末3を携帯した状態で車両Sを降車し、車外に出る。なお、ユーザーは、必ずしも車両Sを降車する必要は無いが、本実施形態では、説明の便宜のため、ユーザーが車両Sを降車するものとして説明する。
車外に出た後、ユーザーは、携帯端末3のタッチパネル9を操作して、専用アプリケーションAPを起動する(ステップS2)。なお、ユーザーは、専用アプリケーションAPを起動する際、携帯端末3の筐体8の向きを、「縦向き」とする。
携帯端末3の端末制御部20は、ステップS2でユーザーにより起動された専用アプリケーションAPの機能により、フローチャートFBの処理を実行する。
専用アプリケーションAPの起動に応じて、端末制御部20は、タッチパネル9にロック画面GM1(図11参照。)を表示させる(ステップSB1)。
なお、以下の説明で、特に説明をしない場合であっても、タッチパネル9に画面を表示する処理、ユーザーによる操作、その他の事象に応じて画面の内容を変化させる処理、及びタッチパネル9に表示させる画面を一の画面から他の画面に切り替える処理を実行する主体は、端末制御部20である。
ロック画面GM1を表示した後、端末制御部20は、ロック画面GM1に対して、車両推進制御モードへの移行を指示する入力があったか否かを監視する(ステップSB2)。
以下、ロック画面GM1の内容、及び、ステップSB2の処理について詳述する。
図11は、ロック画面GM1を示す図である。
ロック画面GM1は、携帯端末3の動作モードを車両推進制御モード(後述)に移行することの指示の入力を受け付ける画面である。ロック画面GM1に対して、後述する態様で動作モードの移行の指示の入力があった場合、端末制御部20は、動作モードを車両推進制御モードへ移行すると共に、タッチパネル9に表示する画面をロック画面GM1から車両制御画面GM2(後述)へ切り替える。後述するように、動作モードが車両推進制御モードの間、ユーザーは、タッチパネル9に対して操作を行って、車両Sの推進を制御することが可能である。
図11に示すように、ロック画面GM1には、スライドユニットSU1が表示される。スライドユニットSU1は、スライドバーBR1と、スライドボタンSB1とを有する。
スライドバーBR1は、左右方向に延在する帯状のオブジェクトであり、スライドボタンSB1が移動可能な範囲を明示すると共に、スライドボタンSB1の移動を規制する。
スライドボタンSB1は、ユーザーがタッチ操作可能なボタン(以下、タッチ操作可能なボタンを「タッチ操作ボタン」と表現する。)であり、ユーザーのスワイプ操作に応じて、スライドバーBR1に沿って移動する。図11に示すように、スライドボタンSB1は、ユーザーによりタッチ操作が行われていない場合、スライドバーBR1の左端BR1a(一端)に位置した状態が維持される。スライドボタンSB1は、スライドバーBR1の左端BR1aから、右端BR1b(他端)の範囲内で移動可能である。
ロック画面GM1において、スライドユニットSU1の上方には、車両推進制御モードへの移行の指示を入力する場合にユーザーが行うべき操作を簡潔に表現する文言が表示される。
図12は、タッチパネル9に表示される画面の説明に用いる図である。図12では、タッチパネル9に表示された画面と併せて、画面を操作するユーザーの指の一部を示す。
図12の状態J1は、ユーザーがタッチ操作を行っていない状態のロック画面GM1を示している。車両推進制御モードへの移行の指示を入力する場合、ユーザーは、状態J1のロック画面GM1で、スライドバーBR1の左端BR1aに位置するスライドボタンSB1を指でタッチ操作する。次いで、ユーザーは、スワイプ操作を行って、スライドボタンSB1をスライドバーBR1に沿って右方に移動させる。スワイプ操作とは、指がタッチパネル9に接触した状態を維持しつつ、指が接触する位置を移動させる操作を意味する。スワイプ操作に応じて、端末制御部20は、指が接触する位置に追従して、スライドボタンSB1をスライドバーBR1に沿って移動させる。図12の状態J2は、スワイプ操作により、スライドバーBR1の中央部にスライドボタンSB1が位置した状態のロック画面GM1を示している。
ここで、ロック画面GM1には、車両制御画面GM2(具体的には、後述する俯瞰画像表示画面GM2a。)が背景として表示される。端末制御部20は、ロック画面GM1が状態J1のときは、背景の全体を覆う濃い黒色のマスク画像で、背景として表示される俯瞰画像表示画面GM2aをマスクする。そして、端末制御部20は、スライドバーBR1の左端BR1aとスライドボタンSB1との離間距離が大きいほど、マスク画像の色を薄くする。これにより、ユーザーによるスワイプ操作に応じて、スライドボタンSB1が右方へ移動すればするほど、背景として表示される俯瞰画像表示画面GM2aが鮮明になっていく。ユーザーは、スライドボタンSB1に対するスワイプ操作に応じて、背景として表示された俯瞰画像表示画面GM2aが鮮明になっていく様子を参照することにより、感覚的に、ロック画面GM1に対する入力が適切に行われていることを認識できる。
スワイプ操作を行うユーザーは、スライドボタンSB1をスライドバーBR1の右端BR1bにまで移動させ、所定の期間(例えば、3秒。)、スライドボタンSB1が右端BR1bに位置した状態を維持する。これにより、車両推進制御モードへの移行の指示の入力が完了し、動作モードが車両推進制御モードへ移行する。図12の状態J3は、スライドバーBR1の右端BR1bにスライドボタンSB1が位置した状態のロック画面GM1を示している。状態J3が、所定の期間、継続することにより、車両推進制御モードへの移行の指示の入力が完了する。図12の状態J1、状態J2、及び状態J3の比較で明らかなとおり、スライドボタンSB1が右方に位置するほど、背景の俯瞰画像表示画面GM2aが鮮明となる。
なお、車両推進制御モードへの移行の指示の入力が完了する前に、スワイプ操作が解除されると、端末制御部20は、スワイプ操作の解除に応じて、スライドボタンSB1を、スライドバーBR1の左端BR1aに移動させる。
ステップSB2において、端末制御部20は、タッチパネル9からの入力に基づいて、スライドバーBR1の右端BR1bにスライドボタンSB1が、所定の期間、位置したか否かを監視する。そして、端末制御部20は、スライドバーBR1の右端BR1bにスライドボタンSB1が、所定の期間、位置した場合、車両推進制御モードへの移行を指示する入力があったと判別する。
以上のように、本実施形態では、スライドバーBR1の右端BR1bにスライドボタンSB1が、所定の期間、位置して初めて、車両推進制御モードへの移行の指示の入力が完了する。この構成のため、タッチパネル9にユーザーの指が偶発的に接触し、ユーザーの意図に反して車両推進制御モードへ移行の指示の入力が完了することが防止される。
ステップSB2において、車両推進制御モードへの移行を指示する入力があったと判別した場合(ステップSB2:YES)、端末制御部20は、動作モードを車両推進制御モードへ移行する(ステップSB3)。
動作モードの移行に応じて、端末制御部20は、タッチパネル9に表示する画面をロック画面GM1から、車両制御画面GM2へ切り替える(ステップSB4)。
図12の状態J4は、タッチパネル9に表示される画面がロック画面GM1から車両制御画面GM2へ切り替わった直後の車両制御画面GM2を示している。なお、画面が車両制御画面GM2へと切り替わった直後は、携帯端末3の筐体8の向きは、「縦向き」である。
後に詳述するように、タッチパネル9には、車両制御画面GM2として、筐体8の向きに応じて、俯瞰画像表示画面GM2aと、車外画像表示画面GM2bとのいずれかの画面が表示される。画面が車両制御画面GM2へと切り替わった直後は、筐体8の向きは「縦向き」であり、タッチパネル9には、車両制御画面GM2として俯瞰画像表示画面GM2aが表示される。
図12の状態J4に示すように、端末制御部20は、動作モードの移行に伴う画面の切り替えに応じて、ロック画面GM1におけるスライドボタンSB1を、タッチ操作ボタンである推進制御ボタンQB(操作ボタン)へと切り替え、推進制御ボタンQBを車両制御画面GM2に表示する。すなわち、端末制御部20は、画面の切り替えに応じて、スライドボタンSB1と異なるボタンとして推進制御ボタンQBを改めて表示するのではなく、スライドバーBR1の右端BR1bに位置するスライドボタンSB1を、画面の切り替わり応じて、位置を変更することなく、推進制御ボタンQBとして機能させる。従って、画面が切り替わった直後は、推進制御ボタンQBは、ロック画面GM1におけるスライドバーBR1の右端BR1bに位置し、また、推進制御ボタンQBは、ユーザーによりタッチ操作された状態である。
図9のフローチャートFA、及び、フローチャートFBに示すように、携帯端末3の動作モードが車両推進制御モードへ移行した後、情報処理装置4の情報処理装置制御部30、及び携帯端末3の端末制御部20は、協働して車両推進制御処理を実行する(ステップSA3、ステップSB5)。以下、車両推進制御処理について、車両Sの推進の制御に関する処理と、タッチパネル9への表示に関する処理とを分けて説明する。
なお、専用アプリケーションAPが起動したときに、端末制御部20は、Wi-Fiの規格に従って、携帯端末3と情報処理装置4との間で通信経路を確立し、携帯端末3と情報処理装置4との間で通信可能な状態を確立する。通信経路を確立するために必要な情報(例えば、情報処理装置4が携帯端末3を認証するために必要なパスワード等。)は、事前に登録される。
<車両Sの推進の制御に関する処理>
まず、車両推進制御処理における車両Sの推進の制御に関する処理について説明する。
車両推進制御処理において、携帯端末3の端末制御部20は、車両制御画面GM2に表示された推進制御ボタンQBがタッチ操作されている間、端末通信部21を制御して、推進指示信号を情報処理装置4に送信する。一方、端末制御部20は、推進制御ボタンQBのタッチ操作の解除に応じて、推進指示信号の送信を停止する。すなわち、端末制御部20は、推進制御ボタンQBがタッチ操作されていない間は、情報処理装置4に推進指示信号を送信しない。後述するように、携帯端末3の筐体8の向きに応じて、車両制御画面GM2として表示される画面が切り替わり、また、ユーザーの操作に応じて、車両制御画面GM2における推進制御ボタンQBの位置が移動する。しかしながら、端末制御部20は、車両制御画面GM2に表示される画面の切り替わりにかかわらず、また、推進制御ボタンQBの位置にかかわらず、推進制御ボタンQBがタッチ操作されている間は、推進指示信号を情報処理装置4に送信し、タッチ操作されていない間は、推進指示信号を情報処理装置4に送信しない。
車両推進制御処理において、情報処理装置4の情報処理装置制御部30は、ステップSA2の自動運転経路情報生成処理で生成した自動運転経路情報を、車両駆動制御装置5に出力する。さらに、情報処理装置制御部30は、携帯端末3から推進指示信号を受信している間は、車両駆動制御装置5に、駆動指示信号を出力する。一方、情報処理装置制御部30は、携帯端末3から推進指示信号を受信していない間は、車両駆動制御装置5に、駆動指示信号を出力しない。
車両駆動制御装置5は、情報処理装置4から入力される駆動指示信号に基づいて、以下の処理を実行する。すなわち、車両駆動制御装置5の車両駆動制御装置制御部50は、自動運転経路情報に含まれる軌道情報に基づいて、情報処理装置4から駆動指示信号が入力されている間、軌道情報が示す軌道に沿って、車両Sを移動させる。一方、駆動指示信号が入力されている状態から、入力されていない状態へとなった場合、車両駆動制御装置制御部50は、車両Sを制動し、車両Sの移動を停止する。そして、駆動指示信号が入力されてない状態から、入力された状態へとなった場合、車両駆動制御装置制御部50は、車両Sを発進させ、軌道情報が示す軌道に沿って、車両Sを移動させる。図10を用いて例を挙げて説明すると、車両駆動制御装置制御部50は、駐車前位置PS1に位置する車両Sを発進させた後、駆動指示信号が入力されている間、車両Sを軌道KDに沿って移動させる。そして、車両Sが位置PS3に位置したときに、駆動指示信号が入力されない状態となった場合、車両駆動制御装置制御部50は、車両Sを制動して、車両Sの移動を停止する。この状態で、駆動指示信号が再び入力された場合、車両駆動制御装置制御部50は、位置PS3に位置する車両Sを発進させて、車両Sを軌道KDに沿って移動させる。
以上の処理が行われる結果、ユーザーが、車両制御画面GM2の推進制御ボタンQBをタッチ操作しいる間、車両Sが軌道に沿って移動する一方、ユーザーが推進制御ボタンQBをタッチ操作していない間は、車両Sの移動が停止する。このため、ユーザーは、何らかの理由で車両Sの移動を停止することを望む場合、推進制御ボタンQBのタッチ操作を解除するという簡易な作業を行うことにより、迅速に車両Sの移動を停止することができる。
<タッチパネル9への表示に関する処理>
次に、車両推進制御処理におけるタッチパネル9への表示に関する処理について説明する。
本実施形態では、タッチパネル9への表示に関する処理に関し、動作モードとして、第1モードと、第2モードとの2つの動作モードがある。ユーザーは、所定の方法で、第1モードと、第2モードとの間で動作モードを切り替えることができる。
以下、動作モードが第1モードの場合の情報処理装置4、及び携帯端末3の動作について説明し、次いで、動作モードが第2モードの場合の情報処理装置4、及び携帯端末3の動作について説明する。
<第1モード>
図13のフローチャートFCは、動作モードが第1モードの場合の携帯端末3の動作を示すフローチャートである。図14AのフローチャートFD、及び図14BのフローチャートFEは、それぞれ、動作モードが第1モードの場合の情報処理装置4の動作を示すフローチャートである。
図13のフローチャートFCに示すように、携帯端末3の端末制御部20は、車両推進制御モードへの移行に応じて、端末通信部21を制御して、車両推進制御モードへ移行したことを示す車両推進制御モード情報を、情報処理装置4に送信する(ステップSC1)。
図14AのフローチャートFDに示すように、情報処理装置4の情報処理装置制御部30は、車両推進制御モード情報を受信する(ステップSD1)。
情報処理装置制御部30は、車両推進制御モード情報の受信に応じて、車両Sに設けられたカメラのそれぞれから入力される撮影画像データに基づいて、表示装置32への合成画像Gの表示を開始する(ステップSD2)。
図15は、合成画像Gが表示された表示装置32を正面から見た図である。
図15に示すように、表示装置32において画像の表示が可能な表示領域ARの形状は、上下方向に短辺を有し左右方向に長辺を有する長方形状である。なお、上下方向とは、鉛直方向に対応する方向であり、左右方向とは、鉛直方向に直交する方向に対応する方向である。
図15に示すように、合成画像Gは、俯瞰画像G1と、車外画像G2とを有する。
俯瞰画像G1は、車両Sを俯瞰した画像である。図15に示すように、俯瞰画像G1は、上下方向に長辺を有し、左右方向に短辺を有する長方形状の画像であり、表示領域ARの左部に表示される。俯瞰画像G1の右下部には、表示された画像が俯瞰画像G1であることを明示するマークM1が表示される。
車外画像G2は、車外撮影用カメラのうち1つの車外撮影用カメラによる車外の撮影結果に基づく画像である。図15に示すように、車外画像G2は、上下方向に短辺を有し、左右方向に長辺を有する長方形状の画像である。車外画像G2は、俯瞰画像G1の右辺と、車外画像G2の左辺とが重なった状態で、表示領域ARの右部に表示される。車外画像G2の右下部には、マークM2が表示される。マークM2は、車外撮影用カメラのうち、表示装置32に表示されている車外画像G2に対応する撮影画像データの出力元の車外撮影用カメラを明示するマークである。例えば、表示装置32に表示されている車外画像G2に対応する撮影画像データの出力元の車外撮影用カメラが、前方撮影用カメラCA1の場合、マークM2は、車両Sを表すシンボルに対して、車両Sの前方が撮影されたことを明示する装飾が施されたマークである。ユーザーは、マークM2を参照することにより、表示装置32に表示された車外画像G2が、車外撮影用カメラのうち、どの車外撮影用カメラの撮影結果に基づく画像であるのかを的確に認識できる。
合成画像の表示に際し、情報処理装置制御部30は、俯瞰用カメラのそれぞれから入力される撮影画像データを取得する。次いで、俯瞰用カメラのそれぞれから入力される撮影画像データに基づいて、車両Sを俯瞰した画像の画像データ(以下、「俯瞰画像データ」という。)を生成する。車両Sを俯瞰した画像とは、車両Sの全体及び車両Sの周辺を上から見た様子を示す画像である。なお、本実施形態において、画像データとは、色に関する情報(例えば、RGBの各色の色成分を所定階調の階調値で表す情報。)を有するドットが、所定の解像度でドットマトリックス状に配置されたビットマップデータである。俯瞰画像データは、俯瞰画像G1のサイズ(上下方向の長さ、及び左右方向の長さ。)に対応したサイズの所定の解像度の画像データである。俯瞰用カメラから入力される撮影画像データに基づいて俯瞰画像データを生成する処理は、既存の技術により適切に行われる。
俯瞰用カメラのそれぞれは、同期して撮影を実行し、同期して撮影結果に基づく撮影画像データを情報処理装置制御部30に出力する。俯瞰用カメラのそれぞれは、撮影の実行、及び、撮影画像データの出力を、所定の周期(例えば、10ミリ秒。)で実行する。情報処理装置制御部30は、当該所定の周期に対応する周期で、俯瞰用カメラのそれぞれから入力される撮影画像データを取得し、取得した撮影画像データに基づいて俯瞰画像データを生成する。俯瞰画像データの生成に際し、情報処理装置制御部30は、マークM1に対応する画像データを適切な位置に付加して俯瞰画像データを生成する。
また、車外撮影用カメラのそれぞれは、所定の周期で撮影を実行し、撮影結果に基づく撮影画像データを情報処理装置制御部30に出力する。情報処理装置制御部30は、車外撮影用カメラのうちの1つの車外撮影用カメラを選択し、選択した車外撮影用カメラから入力される撮影画像データを取得し、撮影画像データに基づいて、車外画像G2の画像データ(以下、「車外画像データ」という。)を生成する。情報処理装置制御部30は、当該所定の周期に対応する周期で、車外画像データを生成する。車外画像データの生成に際し、情報処理装置制御部30は、マークM2に対応する画像データを適切な位置に付加して車外画像データを生成する。車外画像データは、車外画像G2のサイズ(上下方向の長さ、及び左右方向の長さ。)に対応したサイズの所定の解像度の画像データである。
情報処理装置制御部30は、俯瞰用カメラからの入力に基づく俯瞰画像データの生成、及び車外撮影用カメラからの入力に基づく車外画像データの生成を、所定の周期で同期して実行する。情報処理装置制御部30は、所定の周期で、生成した俯瞰画像データと、生成した車外画像データとを、俯瞰画像G1と車外画像G2との位置関係に対応させて合成し、合成画像Gの合成画像データを生成する。情報処理装置制御部30は、生成した合成画像データに基づいて表示装置32を制御し、表示装置32に合成画像データに基づく合成画像Gを表示させる。
この結果、表示装置32に、俯瞰画像G1と、車外画像G2とが合成された合成画像Gが表示される。俯瞰画像G1の内容は、俯瞰用カメラの撮影結果に基づいて、随時、変化し、車外画像G2の内容は、選択された車外撮影用カメラの撮影結果に基づいて、随時、変化する。
上述したように、情報処理装置制御部30は、所定の周期で合成画像データを生成し、合成画像Gを表示装置32に表示させる。
表示装置32への合成画像Gの表示に応じて、情報処理装置制御部30は、当該所定の周期で、生成した合成画像データを携帯端末3に送信する(ステップSD3)。
なお、第1モードでは、情報処理装置制御部30が、携帯端末3に対して合成画像データを送信する点で、後述する第2モードと異なる。
フローチャートFCに示すように、携帯端末3の端末制御部20は、情報処理装置4が送信する合成画像データの受信を開始し(ステップSC2)、受信した合成画像データに基づいて、タッチパネル9に俯瞰画像表示画面GM2aを表示させる(ステップSC3)。なお、ステップSC3の処理が実行される時点では、携帯端末3の筐体の向きは、「縦向き」である。
俯瞰画像表示画面GM2aは、図12の状態J3が示すように、俯瞰画像G1が表示されると共に、俯瞰画像G1に重畳して推進制御ボタンQBが表示された画面である。
ステップSC3において、端末制御部20は、以下の処理を行って、タッチパネル9に俯瞰画像表示画面GM2aを表示させる。すなわち、端末制御部20は、所定の周期で受信する合成画像データのそれぞれについて、合成画像データから、俯瞰画像データを抽出する。合成画像データにおける俯瞰画像データの領域は、予め定められており、端末制御部20は、合成画像データから、合成画像データにおける俯瞰画像データの領域に属するデータを切り出すことにより、俯瞰画像データを抽出する。次いで、端末制御部20は、抽出した俯瞰画像データに対して、必要な画像処理(解像度を調整する処理や、サイズを調整する処理等。)を行い、画像処理を行った後の俯瞰画像データに基づいて、俯瞰画像表示画面GM2aをタッチパネル9に表示させる。
俯瞰画像表示画面GM2aに表示される俯瞰画像G1の内容は、俯瞰用カメラの撮影結果に基づいて、情報処理装置4の表示装置32に表示される俯瞰画像G1と同期して、随時、変化する。
ここで、上述したように、俯瞰画像G1は、上下方向(鉛直方向に対応する方向。)に長辺を有し、左右方向(鉛直方向に直交する方向に対応する方向。)に短辺を有する長方形状の画像である。また、携帯端末3の筐体8の向きが「縦向き」の場合、タッチパネル9は、長辺の方向が鉛直方向に沿い、短辺の方向が鉛直方向に直交する方向に沿った状態となる。従って、筐体8の向きが「縦向き」の場合に、俯瞰画像G1をタッチパネル9に表示することにより、俯瞰画像G1が上下方向に長辺を有し、左右方向に短辺を有するという特徴を好適に活用して、俯瞰画像G1を不必要に縮小することなく、タッチパネル9の表示領域の全体を用いて、俯瞰画像G1を表示することができる。このため、ユーザーにとって俯瞰画像G1が見やすく、ユーザーの利便性が向上する。
俯瞰画像表示画面GM2aを表示した後、端末制御部20は、筐体状態検出部23からの入力に基づいて、携帯端末3の筐体8の向きが、「縦向き」から、「横向き」へと変化したか否かを監視する(ステップSC4)。
携帯端末3の筐体8の向きが、「縦向き」から、「横向き」へと変化したことを検出した場合(ステップSC4:YES)、端末制御部20は、車両Sの状態に対応した所定の優先順位に従って、車外撮影用カメラのうち、1つの車外撮影用カメラを選択する(ステップSC5)。
例えば、優先順位は、車両Sの進行方向を撮影可能な車外撮影用カメラほど高い順位となる優先順位である。この場合、車両Sが前方に向かって「前進」している場合は、前方撮影用カメラCA1が最も高い優先順位となり、また、車両Sが前方右側に向かって「前進」している場合は、前方右側撮影用カメラCA2が最も高い優先順位となり、また、車両Sが後方に向かって「後進」している場合は、後方撮影用カメラCA5が最も高い優先順位となる。ここで、車両Sが車両自動移動を行っている場合、ユーザーは、車両Sの進行方向の状態を認識することを望むケースが多いものと想定される。
また例えば、優先順位は、車両Sに近接する物体を撮影可能なカメラほど高い順位となる優先順位である。車両Sに近接する物体は、例えば、車両自動移動により駐車させる予定の駐車領域に隣接する駐車領域に既に週者している車両であり、また例えば、ユーザー以外の人物である。ユーザーは、車両Sに近接する位置に物体が存在する場合、その物体を認識し、その物体と車両Sとの位置関係を認識することを望むケースが多いものと想定される。
なお、端末制御部20は、ステップSC5において、所定の優先順位で車外撮影用カメラを選択するために必要な情報を、適宜、情報処理装置4と通信して、取得する。
ステップSC5で1つの車外撮影用カメラを選択した後、端末制御部20は、選択した車外撮影用カメラを示す選択カメラ情報(例えば、選択した車外撮影用カメラを識別する識別情報。)を情報処理装置4に送信する(ステップSC6)。
図14BのフローチャートFEに示すように、情報処理装置4の情報処理装置制御部30は、選択カメラ情報を受信する(ステップSE1)。
次いで、情報処理装置制御部30は、表示装置32に表示させる車外画像G2を、ステップSE1で受信した選択カメラ情報が示す車外撮影用カメラの撮影結果に基づく画像に変更する(ステップSE2)。
ステップSE2において、情報処理装置制御部30は、俯瞰画像データと、選択カメラ情報が示す車外撮影用カメラの撮影結果に基づく車外画像データとを合成して合成画像データを生成し、生成した合成画像データに基づいて合成画像Gを表示する。
ステップSE2の処理の前後で、情報処理装置制御部30は、継続して、表示装置32に表示する合成画像Gに対応する合成画像データの送信を実行する。この結果、ステップSE2の処理後に、情報処理装置4が携帯端末3に送信する合成画像データには、ステップSC5で選択された車外撮影用カメラの撮影結果に基づく車外画像データが含まれた状態となる。
図13のフローチャートFCに示すように、携帯端末3の端末制御部20は、ステップSC6で選択カメラ情報を送信した後、情報処理装置4から受信する合成画像データに基づいて、タッチパネル9に車外画像表示画面GM2bを表示させる(ステップSC7)。
なお、ステップSC7において、車外画像表示画面GM2bの表示に用いられる合成画像データは、ステップSC5で選択された車外撮影用カメラの撮影結果に基づく車外画像データが含まれた合成画像データである。
図12の状態J6は、車外画像表示画面GM2bを示している。
車外画像表示画面GM2bは、図12の状態J6が示すように、車外画像G2が表示されると共に、車外画像G2に重畳して推進制御ボタンQBが表示された画面である。
ステップSC7において、端末制御部20は、所定の周期で受信する合成画像データのそれぞれについて、合成画像データから、車外画像データを抽出する。合成画像データにおける車外画像データの領域は、予め定められており、端末制御部20は、合成画像データから、合成画像データにおける車外画像データの領域に属するデータを切り出すことにより、車外画像データを抽出する。次いで、端末制御部20は、抽出した車外画像データに対して、必要な画像処理(解像度を調整する処理や、サイズを調整する処理等。)を行い、画像処理を行った後の車外画像データに基づいて、車外画像表示画面GM2bをタッチパネル9に表示させる。
車外画像表示画面GM2bに表示される車外画像G2の内容は、ステップSC5で選択された車外撮影用カメラの撮影結果に基づいて、情報処理装置4の表示装置32に表示される車外画像G2と同期して、随時、変化する。
以上のように、本実施形態では、携帯端末3の筐体8の向きが「縦向き」から「横向き」に変化した場合、タッチパネル9に、俯瞰画像表示画面GM2aに代えて、車外画像表示画面GM2bが表示される。このため、ユーザーは、俯瞰画像G1に代えて車外画像G2を確認することを希望する場合、携帯端末3の筐体8の向きを変化させるという簡易な作業を行うことによって、車外画像表示画面GM2bを表示させ、車外画像G2を確認できる。特に、携帯端末3の筐体8の向きを変化させる操作は、ユーザーが携帯端末3を片手で把持している場合であっても、簡易、かつ、的確に実行できる操作であり、ユーザーの利便性が高い。
特に、本実施形態では、携帯端末3の筐体8の向きが「縦向き」から「横向き」に変化したことに応じて表示される車外画像表示画面GM2bは、車両Sの状態に対応した所定の優先順位に従って選択された車外撮影用カメラの撮影結果に基づく画面である。このため、車外画像表示画面GM2bに表示された車外画像G2は、ユーザーが望む車外撮影用カメラによる撮影結果に基づく画像である可能性が高く、ユーザーの利便性が高い。
また、上述したように、車外画像G2は、左右方向(鉛直方向に直交する方向に対応する方向。)に長辺を有し、上下方向(鉛直方向に対応する方向。)に短辺を有する長方形状の画像である。また、携帯端末3の筐体8の向きが「横向き」の場合、タッチパネル9は、長辺の方向が鉛直方向に直交する方向に沿い、短辺の方向が鉛直方向に沿った状態となる。従って、筐体8の向きが「横向き」の場合に、車外画像G2をタッチパネル9に表示することにより、車外画像G2が左右方向に長辺を有し、上下方向に短辺を有するという特徴を好適に活用して、車外画像G2を不必要に縮小することなく、タッチパネル9の表示領域の全体を用いて、車外画像G2を表示することができる。このため、ユーザーにとって車外画像G2が見やすく、ユーザーの利便性が向上する。
ステップSC7で車外画像表示画面GM2bを表示した後、端末制御部20は、筐体8が「右動き」又は「左動き」のいずれかの動きをしたか否かを監視しつつ(ステップSC8)、筐体8の向きが「縦向き」となったか否かを監視する(ステップSC9)。
筐体8が「右動き」又は「左動き」のいずれの動きをすることなく(ステップSC8:NO)、筐体8の向きが「縦向き」となった場合(ステップSC9:YES)、端末制御部20は、処理手順をステップSC3へ移行する。上述したように、ステップSC3において、端末制御部20は、情報処理装置4から受信する合成画像データに基づいて、タッチパネル9に俯瞰画像表示画面GM2aを表示させる。
このように、本実施形態では、携帯端末3の筐体8の向きが「横向き」から「縦向き」に変化した場合、タッチパネル9に、車外画像表示画面GM2bに代えて、俯瞰画像表示画面GM2aが表示される。このため、ユーザーは、車外画像G2に代えて俯瞰画像G1を確認することを希望する場合、携帯端末3の筐体8の向きを変化させるという簡易な作業を行うことによって、俯瞰画像表示画面GM2aを表示させ、俯瞰画像G1を確認できる。特に、携帯端末3の筐体8の向きを変化させる操作は、ユーザーが携帯端末3を片手で把持している場合であっても、簡易、かつ、的確に実行できる操作であり、ユーザーの利便性が高い。
特に、俯瞰画像G1は、車両自動移動が行われている間、ユーザーが確認する頻度が最も高い画像であると想定される。そして、本実施形態によれば、ユーザーは、携帯端末3の筐体8の向きを「縦向き」とすることにより、任意のタイミングで俯瞰画像G1を確認することができ、ユーザーの利便性が高い。
一方、筐体8の向きが「縦向き」となることなく(ステップSC9:NO)、筐体8が「右動き」又は「左動き」のいずれかをした場合(ステップSC8:YES)、端末制御部20は、処理手順をステップSC10へ移行する。つまり、端末制御部20は、筐体8の向きが「横向き」のときに、筐体8が「右動き」又は「左動き」をした場合、処理手順をステップSC10へ移行する。
ステップSC10において、端末制御部20は、筐体8の動きが「右動き」であったか「左動き」であったかを判別する。
筐体8の動きが「右動き」であった場合(ステップSC10:「右動き」)、端末制御部20は、車外撮影用カメラが撮影する方向に応じた第1の順番に従って、車外撮影用カメラのうち、1つの車外撮影用カメラを選択する(ステップSC11)。
図6に示すように、第1の順番は、「前方」→「前方右側」→「側方右側」→「後方右側」→「後方」→「後方左側」→「側方左側」→「前方左側」→「前方」である。すなわち、第1の順番は、車外撮影用カメラが撮影する方向が、時計回りに変化する順番である。
ステップSC11において、端末制御部20は、第1の順番に従って、ステップSC11の処理を実行する前に選択されている車外撮影用カメラが撮影する方向の次の順番の方向を撮影する車外撮影用カメラを選択する。例えば、ステップSC11の処理を実行する前に、前方撮影用カメラCA1が選択されている場合、ステップSC11において、端末制御部20は、第1の順番に従って、前方右側撮影用カメラCA2を選択する。また例えば、ステップSC11の処理を実行する前に、後方撮影用カメラCA5が選択されている場合、ステップSC11において、端末制御部20は、第1の順番に従って、後方左側撮影用カメラCA6を選択する。
ステップSC11で車外撮影用カメラを選択した後、端末制御部20は、選択した車外撮影用カメラを示す選択カメラ情報を情報処理装置4に送信する(ステップSC12)。ステップSC12の処理後、端末制御部20は、処理手順をステップSC8へ戻す。
ステップSC12の選択カメラ情報の送信に応じて、情報処理装置4は、図14BのフローチャートFEの処理を実行し、表示装置32に表示させる車外画像G2を、選択カメラ情報が示す車外撮影用カメラの撮影結果に基づく画像に変更する。これに伴って、情報処理装置4から携帯端末3に送信される合成性画像データには、選択カメラ情報が示す車外撮影用カメラの撮影結果に基づく車外画像データが含まれることになる。これにより、携帯端末3のタッチパネル9の車外画像表示画面GM2bに表示される車外画像G2が、ステップSC11で選択された車外撮影用カメラの撮影結果に基づく画像となる。
このように、本実施形態では、ユーザーは、筐体8に「右動き」をさせるという簡易な作業を行うことによって、車外画像表示画面GM2bに表示される車外画像G2を切り替えることができ、ユーザーの利便性が高い。特に、筐体8が「右動き」をした場合、第1の順番に従って、車外画像表示画面GM2bに表示される車外画像G2に対応する撮影の方向が、時計回りに変化する。そして、「右動き」において筐体8が移動する「右方向」と、「時計回り」とはリンクしており、ユーザーは、筐体8に「右動き」をさせた後に、どの方向を撮影する車外撮影用カメラの撮影結果に基づく車外画像G2がタッチパネル9に表示されるのかを感覚的に把握でき、ユーザーの利便性が高い。
一方、ステップSC10において、筐体8の動きが「左動き」であったと判別した場合(ステップSC10:「左動き」)、端末制御部20は、以下の処理を実行する
筐体8の動きが「右動き」であった場合(ステップSC10:「右動き」)、端末制御部20は、車外撮影用カメラが撮影する方向に応じた第2の順番に従って、車外撮影用カメラのうち、1つの車外撮影用カメラを選択する(ステップSC13)。
図6に示すように、第2の順番は、「前方」→「前方左側」→「側方左側」→「後方左側」→「後方」→「後方右側」→「側方右側」→「前方右側」→「前方」である。すなわち、第2の順番は、車外撮影用カメラが撮影する方向が、反時計回りに変化する順番である。
ステップSC13において、端末制御部20は、第2の順番に従って、ステップSC13の処理を実行する前に選択されている車外撮影用カメラが撮影する方向の次の順番の方向を撮影する車外撮影用カメラを選択する。例えば、ステップSC13の処理を実行する前に、前方撮影用カメラCA1が選択されている場合、ステップSC13において、端末制御部20は、第2の順番に従って、前方左側撮影用カメラCA8を選択する。また例えば、ステップSC13の処理を実行する前に、後方撮影用カメラCA5が選択されている場合、ステップSC13において、端末制御部20は、第2の順番に従って、後方右側撮影用カメラCA4を選択する。
ステップSC13で車外撮影用カメラを選択した後、端末制御部20は、選択した車外撮影用カメラを示す選択カメラ情報を情報処理装置4に送信する(ステップSC14)。ステップSC14の処理後、端末制御部20は、処理手順をステップSC8へ戻す。
ステップSC14の選択カメラ情報の送信に応じて、情報処理装置4は、図14BのフローチャートFEの処理を実行し、表示装置32に表示させる車外画像G2を、選択カメラ情報が示す車外撮影用カメラの撮影結果に基づく画像に変更する。これに伴って、情報処理装置4から携帯端末3に送信される合成性画像データには、選択カメラ情報が示す車外撮影用カメラの撮影結果に基づく車外画像データが含まれることになる。これにより、携帯端末3のタッチパネル9の車外画像表示画面GM2bに表示される車外画像G2が、ステップSC11で選択された車外撮影用カメラの撮影結果に基づく画像となる。
このように、本実施形態では、ユーザーは、筐体8に「左動き」をさせるという簡易な作業を行うことによって、車外画像表示画面GM2bに表示される車外画像G2を切り替えることができ、ユーザーの利便性が高い。特に、筐体8が「左動き」をした場合、第2の順番に従って、車外画像表示画面GM2bに表示される車外画像G2に対応する撮影の方向が、反時計回りに変化する。そして、「左動き」において筐体8が移動する「左方向」と、「反時計回り」とはリンクしており、ユーザーは、筐体8に「左動き」をさせた後に、どの方向を撮影する車外撮影用カメラの撮影結果に基づく車外画像G2がタッチパネル9に表示されるのかを感覚的に把握でき、ユーザーの利便性が高い。
以上、第1モードを説明した。第1モードは、後述する第2モードと比較し、情報処理装置4が合成画像データから、俯瞰画像データ、及び車外画像データを抽出する処理を実行する必要がないため、情報処理装置4の負荷が小さい。
<第2モード>
図16のフローチャートFFは、動作モードが第2モードの場合の携帯端末3の動作を示すフローチャートである。図17AのフローチャートFG、図17BのフローチャートFH、及び図17CのフローチャートFIは、それぞれ、動作モードが第2モードの場合の情報処理装置4の動作を示すフローチャートである。
図16のフローチャートFFに示すように、携帯端末3の端末制御部20は、車両推進制御モードへの移行に応じて、端末通信部21を制御して、車両推進制御モードへ移行したことを示す車両推進制御モード情報を、情報処理装置4に送信する(ステップSF1)。
図17AのフローチャートFGに示すように、情報処理装置4の情報処理装置制御部30は、車両推進制御モード情報を受信する(ステップSG1)。
情報処理装置制御部30は、車両推進制御モード情報の受信に応じて、車外撮影用カメラのそれぞれ、及び俯瞰用カメラのそれぞれから入力される撮影画像データに基づいて、表示装置32への合成画像Gの表示を開始する(ステップSG2)。
図16のフローチャートFFに示すように、携帯端末3の端末制御部20は、ステップSF1の車両推進制御モード情報の送信と連続して、携帯端末3の筐体8の向きが「縦向き」であることを示す縦向き情報を送信する(ステップSF2)。なお、ステップSC3の処理が実行される時点では、携帯端末3の筐体の向きは、「縦向き」である。
図17BのフローチャートFHに示すように、情報処理装置4の情報処理装置制御部30は、縦向き情報を受信する(ステップSH1)。
情報処理装置制御部30は、縦向き情報の受信に応じて、携帯端末3への俯瞰画像データの送信を開始する(ステップSH2)。
ステップSH2において、情報処理装置制御部30は、所定の周期で生成する合成画像データから、俯瞰画像データを抽出する。次いで、情報処理装置制御部30は、抽出した俯瞰画像データに対して、携帯端末3のタッチパネル9の解像度、サイズに応じた画像処理を行い、画像処理を行った後の俯瞰画像データを、携帯端末3に送信する。情報処理装置制御部30は、俯瞰画像データの送信を、合成画像データを生成する周期に対応する周期で実行する。
なお、端末制御部20は、ステップSH2の処理の前に、車外画像データを送信している場合は、車外画像データの送信を停止した上で、俯瞰画像データの送信を開始する。
図16のフローチャートFFに示すように、携帯端末3の端末制御部20は、俯瞰画像データの受信を開始する(ステップSF3)。
次いで、端末制御部20は、ステップSF3で受信を開始した俯瞰画像データに基づいて、俯瞰画像G1が表示された俯瞰画像表示画面GM2aをタッチパネル9に表示させる(ステップSF4)。
俯瞰画像表示画面GM2aに表示される俯瞰画像G1の内容は、俯瞰用カメラの撮影結果に基づいて、情報処理装置4の表示装置32に表示される俯瞰画像G1と同期して、随時、変化する。
俯瞰画像表示画面GM2aを表示した後、端末制御部20は、筐体状態検出部23からの入力に基づいて、携帯端末3の筐体8の向きが、「縦向き」から、「横向き」へと変化したか否かを監視する(ステップSF5)。
携帯端末3の筐体8の向きが、「縦向き」から、「横向き」へと変化したことを検出した場合(ステップSF5:YES)、端末制御部20は、車両Sの状態に対応した所定の優先順位に従って、車外撮影用カメラのうち、1つの車外撮影用カメラを選択する(ステップSF6)。所定の優先順位は、例えば、第1モードで例示した優先順位である。
次いで、端末制御部20は、携帯端末3の向きが「横向き」であることを示す情報、及びステップSF6で選択した車外撮影用カメラを示す情報を含む横向き情報を情報処理装置4に送信する(ステップSF7)。
図17CのフローチャートFIに示すように、情報処理装置4の情報処理装置制御部30は、横向き情報を受信する(ステップSI1)。
横向き情報の受信に応じて、情報処理装置制御部30は、表示装置32に表示させる車外画像G2を、ステップSI1で受信した横向き情報が含む選択カメラ情報が示す車外撮影用カメラの撮影結果に基づく画像に変更する(ステップSI2)。
次いで、情報処理装置制御部30は、携帯端末3への俯瞰画像データの送信を停止し、車外画像データの送信を開始する(ステップSI3)。
ステップSI3において、情報処理装置制御部30は、所定の周期で生成する合成画像データから、車外画像データを抽出する。次いで、情報処理装置制御部30は、抽出した車外画像データに対して、携帯端末3のタッチパネル9の解像度、サイズに応じた画像処理を行い、画像処理を行った後の車外画像データを、携帯端末3に送信する。情報処理装置制御部30は、車外画像データの送信を、合成画像データを生成する周期に対応する周期で実行する。
図16のフローチャートFFに示すように、携帯端末3の端末制御部20は、車外画像データの受信を開始する(ステップSF8)。
次いで、端末制御部20は、ステップSF8で受信を開始した車外画像データに基づいて、車外画像G2が表示された車外画像表示画面GM2bをタッチパネル9に表示させる(ステップSF9)。
車外画像表示画面GM2bに表示される車外画像G2の内容は、俯瞰用カメラの撮影結果に基づいて、情報処理装置4の表示装置32に表示される車外画像G2と同期して、随時、変化する。
ステップSF9の処理の結果、携帯端末3の筐体8の向きが「縦向き」から「横向き」へ変化したことに応じて、俯瞰画像表示画面GM2aに代えて車外画像表示画面GM2bが表示される。このことの効果は、第1モードの説明で述べたとおりである。
ステップSF9で車外画像表示画面GM2bを表示した後、端末制御部20は、筐体8が「右動き」又は「左動き」のいずれかの動きをしたか否かを監視しつつ(ステップSF10)、筐体8の向きが「縦向き」となったか否かを監視する(ステップSF11)。
筐体8が「右動き」又は「左動き」のいずれの動きをすることなく(ステップSF10:NO)、筐体8の向きが「縦向き」となった場合(ステップSF11:YES)、端末制御部20は、処理手順をステップSF2へ移行する。この結果、携帯端末3の筐体8の向きが「横向き」から「縦向き」に変化した場合、タッチパネル9に、車外画像表示画面GM2bに代えて、俯瞰画像表示画面GM2aが表示される。このことの効果は、第1モードの説明で述べたとおりである。
一方、筐体8の向きが「縦向き」となることなく(ステップSF11:NO)、筐体8が「右動き」又は「左動き」のいずれかをした場合(ステップSF10:YES)、端末制御部20は、処理手順をステップSC10へ移行する。つまり、端末制御部20は、筐体8の向きが「横向き」のときに、筐体8が「右動き」又は「左動き」をした場合、処理手順をステップSF12へ移行する。
ステップSF12において、端末制御部20は、筐体8の動きが「右動き」であったか「左動き」であったかを判別する。
筐体8の動きが「右動き」であった場合(ステップSF12:「右動き」)、端末制御部20は、車外撮影用カメラが撮影する方向に応じた第1の順番に従って、車外撮影用カメラのうち、1つの車外撮影用カメラを選択する(ステップSF13)。
次いで、端末制御部20は、携帯端末3の向きが「横向き」であることを示す情報、及びステップSF13で選択した車外撮影用カメラを示す情報を含む横向き情報を情報処理装置4に送信する(ステップSF14)。ステップSF14の処理後、端末制御部20は、処理手順をステップSF10へ移行する。
ステップSF14の横向き情報の送信に応じて、情報処理装置4は、図17CのフローチャートFIの処理を実行し、表示装置32に表示させる車外画像G2を、横向き情報が含む選択カメラ情報が示す車外撮影用カメラの撮影結果に基づく画像に変更する。さらに、情報処理装置4は、選択カメラ情報が示す車外撮影用カメラの撮影結果に基づく車外画像データの携帯端末3への送信を開始する。これにより、携帯端末3のタッチパネル9の車外画像表示画面GM2bに表示される車外画像G2が、ステップSF13で選択された車外撮影用カメラの撮影結果に基づく画像となる。
一方、ステップSF12において、筐体8の動きが「左動き」であった場合(ステップSF12:「左動き」)、端末制御部20は、車外撮影用カメラが撮影する方向に応じた第2の順番に従って、車外撮影用カメラのうち、1つの車外撮影用カメラを選択する(ステップSF15)。
次いで、端末制御部20は、携帯端末3の向きが「横向き」であることを示す情報、及びステップSF15で選択した車外撮影用カメラを示す情報を含む横向き情報を情報処理装置4に送信する(ステップSF16)。ステップSF16の処理後、端末制御部20は、処理手順をステップSF10へ移行する。
ステップSF16の横向き情報の送信に応じて、情報処理装置4は、図17CのフローチャートFIの処理を実行し、表示装置32に表示させる車外画像G2を、横向き情報が含む選択カメラ情報が示す車外撮影用カメラの撮影結果に基づく画像に変更する。さらに、情報処理装置4は、選択カメラ情報が示す車外撮影用カメラの撮影結果に基づく車外画像データの携帯端末3への送信を開始する。これにより、携帯端末3のタッチパネル9の車外画像表示画面GM2bに表示される車外画像G2が、ステップSF16で選択された車外撮影用カメラの撮影結果に基づく画像となる。
以上、第2モードを説明した。第2モードは、上述した第1モードと比較し、情報処理装置4が携帯端末3に送信するデータのデータ量が小さく、通信効率が良い。
次に、車両推進制御処理におけるタッチパネル9への表示に関する処理について、携帯端末3が実行する別の処理について説明する。
上述したように、車両推進制御モードへ移行した後、携帯端末3のタッチパネル9には、車両制御画面GM2(俯瞰画像表示画面GM2a、又は車外画像表示画面GM2b。)が表示される。そして、車両制御画面GM2には、推進制御ボタンQBが表示される。上述したように、推進制御ボタンQBは、車両Sの推進を制御するボタンであり、当該ボタンがタッチ操作されている間、車両Sが軌道に沿って推進し、当該ボタンがタッチ操作されていない間、車両Sの推進が停止する。
そして、端末制御部20は、車両制御画面GM2に表示された推進制御ボタンQBがタッチ操作された後、タッチパネル9が接触された状態でタッチ操作の位置が移動した場合、タッチ操作の位置の移動に追従して推進制御ボタンQBの位置を移動させる。これにより、推進制御ボタンQBがタッチ操作された後、タッチパネル9が接触された状態でタッチ操作の位置が移動した場合であっても、推進制御ボタンQBがタッチ操作された状態が維持される。
上述したように、図12の状態J4は、タッチパネル9に表示される画面がロック画面GM1から車両制御画面GM2へ切り替わった直後の車両制御画面GM2を示している。図12の状態J5は、状態J4のタッチ操作の位置から、タッチ操作の位置が移動した後の車両制御画面GM2を示している。図12の状態J5に示すように、タッチ位置の移動に応じて、推進制御ボタンQBの位置が、タッチ位置に追従して移動し、推進制御ボタンQBがタッチ操作された状態が維持される。
図12の状態J6は、状態J5から、携帯端末3の向きが横向きとされて、状態J5のときに表示されていた俯瞰画像表示画面GM2aに代えて、車外画像表示画面GM2bがタッチパネル9に表示された様子を示している。状態J5から状態J6へ移行に際し、ユーザーは、状態J5のときに推進制御ボタンQBをタッチ操作していた指が、タッチパネル9を接触した状態を維持しているものとする。状態J5、状態J6に示すように、端末制御部20は、タッチパネル9に表示させる画面を俯瞰画像表示画面GM2aから車外画像表示画面GM2bに切り替えた際も、推進制御ボタンQBが表示された状態を維持すると共に、タッチ操作の位置に移動に追従して推進制御ボタンQBの位置を移動させ、推進制御ボタンQBがタッチ操作された状態を維持する。
車両制御画面GM2の表示に際し、端末制御部20により以上の処理が行われるため、以下の効果を奏する。
すなわち、ユーザーが推進制御ボタンQBをタッチ操作した後、タッチ操作する指の位置がずれた場合であっても、推進制御ボタンQBがタッチ操作された状態が維持される。このため、ユーザーは、推進制御ボタンQBを操作する際、特定の位置をピンポイントでタッチ操作し続ける必要がなく、ユーザーの利便性が高い。特に、上述したように、本実施形態では、車両自動移動が行われている間、ユーザーは、携帯端末3の筐体8の向きを変更する場合がある。そして、筐体8向きの変更に伴って、タッチ操作された位置がずれた場合であっても、推進制御ボタンQBがタッチ操作された状態が維持されるため、ユーザーの利便性が高い。なお、筐体8を片手で把持し、タッチパネル9を片手で操作する場合、タッチ操作する位置がずれやすいものと想定されるため、ユーザーが筐体8を片手で把持し、タッチパネル9を片手で操作する場合に、上述した処理は、より有効である。
また、推進制御ボタンQBのタッチ操作が解除された場合、端末制御部20は、タッチ操作が解除されたときの推進制御ボタンQBの位置に、継続して、推進制御ボタンQBを表示する。この構成によれば、ユーザーは、再び、推進制御ボタンQBをタッチ操作する場合に、タッチ操作を解除したときの位置をタッチ操作すればよく、ユーザーの利便性が高い。
なお、推進制御ボタンQBのタッチ操作が解除された場合、上記の処理に代えて、端末制御部20は、以下の処理を実行してもよい。すなわち、推進制御ボタンQBのタッチ操作が解除された場合、予め定められた特定の位置に、推進制御ボタンQBを表示してもよい。予め定められた特定の位置は、一例として、ロック画面GM1におけるスライドバーBR1の右端BR1bに対応する位置である。この構成によれば、推進制御ボタンQBに対するタッチ操作が解除された場合、同じ位置に、推進制御ボタンQBが表示されることになるため、ユーザーは、推進制御ボタンQBの位置を探し易く、ユーザーの利便性が向上する。
また、端末制御部20は、推進制御ボタンQBがタッチ操作されているされているときと、タッチ操作されていないときとで、推進制御ボタンQBを示す画像を変化させる。
図12の状態J4〜J6における推進制御ボタンQBは、タッチ操作された状態であり、図12の状態J7における推進制御ボタンQBは、タッチ操作されていない状態である。
状態J4〜J6に示すように、推進制御ボタンQBがタッチ操作されている場合、推進制御ボタンQBを示す画像は、円状の画像と、当該円状の画像の周りを囲む環状の画像とにより構成される。環状の画像は、アニメーションにより、時間の経過に応じて態様が変化する画像であってもよい。一方、状態J7に示すように、推進制御ボタンQBがタッチ操作されていない場合、推進制御ボタンQBを示す画像は、円状の画像であり、環状の画像を含まない。
ユーザーは、推進制御ボタンQBを示す画像を視認することにより、推進制御ボタンQBがタッチ操作されていること、及び、タッチ操作されていないことを、簡易かつ的確に認識することができる。
また、端末制御部20は、図12の状態J4、状態J5に示すように、俯瞰画像表示画面GM2aを表示している場合、車両Sを示す画像に重畳して、車両Sのギアの状態を示すマークを表示する。本実施形態では、端末制御部20は、車両Sのギアの状態がパーキング(P)の場合は、文字「P」を表すマークを車両Sを示す画像に重畳して表示し、リバース(R)の場合は、文字「R」を表すマークを車両Sを示す画像に重畳して表示し、ドライブ(D)の場合は、文字「D」を表すマークを車両Sを示す画像に重畳して表示し、ニュートラル(N)の場合は、文字「N」を表すマークを車両Sを示す画像に重畳して表示し、ロー(L)の場合は、文字「L」を表すマークを車両Sを示す画像に重畳して表示する。端末制御部20は、情報処理装置4と通信して、車両Sのギアの状態を認識する。
ユーザーは、車両Sを示す画像に重畳して表示されるマークを参照することにより、車両Sのギアの状態を的確に認識できる。
図9に示すように、車両自動運転により、車両Sが駐車位置まで移動し、駐車位置で停車することによって、フローチャートFAの車両推進制御処理、及び、フローチャートFBの車両推進制御処理が完了する。車両Sが車両位置で停車した場合、そのことが所定の方法でユーザーに通知される。車外にいるユーザーは、上述した専用のリモートコントローラーを利用して、エンジンスイッチをオフし、ドアを施錠することにより、車両Sの近傍を離れることができる。
なお、第1モード、第2モードにおいて、情報処理装置4が携帯端末3に送信する合成画像データ、俯瞰画像データ、及び車外画像データは、それぞれ、「車両Sに設けられたカメラの撮影結果に基づく撮影データ」に相当する。
<車両Sを出庫させる場合>
次に、車両Sを出庫させる場合について、説明する。
図18のフローチャートFJは、情報処理装置4の動作を示すフローチャートであり、フローチャートFKは、携帯端末3の動作を示すフローチャートである。
以下、駐車場の1つの駐車領域に対応する駐車位置から車両Sを出庫させる場合を例にして、情報処理装置4、及び携帯端末3の動作について説明する。
ユーザーは、車両自動移動により出庫を行う場合、駐車位置の近辺に行く。なお、ユーザーは、車両Sに搭乗してもよいが、説明の便宜のため、以下では、ユーザーが車両Sを降車するものとして説明する。
次いで、ユーザーは、上述した専用のリモートコントローラーを操作して、車両Sのエンジンスイッチをオンする。車両Sのエンジンスイッチのオンに伴い、アクセサリー電源から、情報処理装置4に電力が供給されると共に、情報処理装置4の電源がオンされる。
次いで、ユーザーは、携帯端末3のタッチパネル9を操作して、専用アプリケーションAPを起動する(ステップS3)。なお、ユーザーは、専用アプリケーションAPを起動する際、携帯端末3の筐体8の向きを、「縦向き」とする。
携帯端末3の端末制御部20は、ステップS3でユーザーにより起動された専用アプリケーションAPの機能により、フローチャートFKの処理を実行する。
さらに、ユーザーは、タッチパネル9に対して所定の操作を行って、タッチパネル9に、出庫開始指示画面を表示させる指示を行う(ステップS4)。
図18のフローチャートFKに示すように、ステップS4の指示に応じて、端末制御部20は、出庫開始指示画面をタッチパネル9に表示させる(ステップSK1)。
出庫開始指示画面は、車両自動移動による出庫を行うことの指示を入力可能な画面であり、当該指示を行う場合にタッチ操作されるタッチ操作ボタンが表示される。ユーザーは、車両自動伊藤により出庫を行う場合、出庫開始指示画面に表示されたタッチ操作ボタンを操作する(ステップS5)。
ユーザーにより出庫開始指示画面のタッチ操作ボタンが操作されたことを検出すると、端末制御部20は、出庫開始指示情報を情報処理装置4に送信する(ステップSK2)。
図18のフローチャートFJに示すように、情報処理装置4の情報処理装置制御部30は、出庫開始指示情報を受信する(ステップSJ1)。
次いで、情報処理装置制御部30は、出庫開始指示情報の受信に応じて、情報処理装置4の動作モードを、出庫モードへ変更する(ステップSJ2)。
動作モードの出庫モードへの移行に応じて、情報処理装置制御部30は、候補位置決定処理を実行する(ステップSJ3)。
候補位置決定処理は、車両Sが駐車位置を移動して停車可能な1又は複数の位置を決定する処理である。候補位置決定処理で決定される1又は複数の位置は、車両Sを出庫により停車させる位置の候補である。以下、候補位置決定処理で決定される位置のそれぞれを、「候補位置」と表現する。
ステップSJ3の候補位置決定処理において、情報処理装置制御部30は、上述した駐車位置決定処理と同様の処理を行って、1又は複数の候補位置を決定する。候補位置決定処理において、候補位置を決定する処理の方法は、どのような方法であってもよい。
ステップSJ3で1又は複数の候補位置を決定した後、情報処理装置制御部30は、候補位置経路情報生成処理を実行する(ステップSJ4)。
候補位置経路情報生成処理は、駐車位置から、ステップSJ3で決定した候補位置に至るまでの軌道を示す軌道情報を含む自動運転経路情報を生成する処理である。以下、駐車位置から候補位置までの軌道を示す軌道情報を含む自動運転経路情報を、「候補位置経路情報」という。ステップSJ4において、情報処理装置制御部30は、ステップSJ3の候補位置決定処理で、複数の候補位置を決定した場合は、複数の候補位置に対応する複数の候補位置経路情報を生成する。
次いで、情報処理装置制御部30は、ステップSJ4で生成した候補位置経路情報のそれぞれを、携帯端末3に送信する(ステップSJ5)。
さらに、情報処理装置制御部30は、俯瞰用カメラからの入力に基づく俯瞰画像データを生成、及び、俯瞰画像データの携帯端末3への送信を開始する(ステップSJ6)。情報処理装置制御部30は、俯瞰用カメラから所定の周期で入力される撮影画像データに基づいて、所定の周期に対応する周期で、俯瞰画像データの生成、及び、送信を実行する。
図18のフローチャートFKに示すように、携帯端末3の端末制御部20は、ステップSJ5で情報処理装置4により送信された1又は複数の候補位置経路情報を受信する(ステップSK3)。また、端末制御部20は、俯瞰画像データの受信を開始する(ステップSK4)。
次いで、端末制御部20は、ステップSK3で受信した候補位置経路情報のそれぞれ、及び、ステップSK4で受信を開始した俯瞰画像データに基づいて、タッチパネル9に選択画面GM3を表示させる(ステップSK5)。
選択画面GM3を表示した後、端末制御部20は、選択画面GM3に対して候補位置を選択する入力があったか否かを監視する(ステップSK6)。
以下、選択画面GM3の内容、及び、ステップSK6の処理について詳述する。
図19は、選択画面GM3の一例を示す図である。
選択画面GM3は、ユーザーが、候補位置のうち、1つの候補位置を選択する入力を行う画面である。
図19に示すように、選択画面GM3には、俯瞰画像G1が表示される。端末制御部20は、情報処理装置4から受信する俯瞰画像データに基づいて、俯瞰画像G1を表示する。選択画面GM3に表示された俯瞰画像G1の中央部には、車両Sを示す現在位置画像X1が表示される。現在位置画像X1は、車両Sの現在の位置を示す画像である。
図19に示すように、選択画面GM3には、候補位置画像X2が表示される。候補位置画像X2は、候補位置(車両Sが出庫により停車する位置の候補。)を示す画像である。候補位置画像X2は、候補位置が複数ある場合(複数の候補位置経路情報を受信した場合。)、複数、表示される。
図19で例示する選択画面GM3では、候補位置画像X2は、矩形の枠の画像である。なお、候補位置画像X2の形状は、図19で示す形状に限られない。
候補位置画像X2は、選択画面GM3において、現実の空間における実際の候補位置に対応する位置に表示される。従って、選択画面GM3における現在位置画像X1と、候補位置画像X2との位置関係は、現実の空間における車両Sの現在の位置と、候補位置との位置関係に対応した状態となる。
端末制御部20は、候補位置経路情報に基づいて、俯瞰画像G1に重畳して、1又は複数の候補位置画像X2を表示する。
ユーザーは、選択画面GM3に表示された候補位置画像X2に基づいて、車両Sと候補位置との位置関係を的確に認識できる。
図19に示すように、選択画面GM3において、現在位置画像X1の下方には、スライドユニットSU2が表示される。スライドユニットSU2は、1又は複数のスライドバーBR2と、1つのスライドボタンSB2とを有する。
選択画面GM3に表示されるスライドバーBR2の個数は、候補位置画像X2の個数と同一である。図19に示すように、スライドバーBR2のそれぞれは、現在位置画像X1の下方に位置する共通の基端PP1を起点として、候補位置画像X2のそれぞれに向かって延在する帯状のオブジェクトである。例えば、図19に例示するように、選択画面GM3に候補位置画像X2として第1画像、第2画像、及び第3画像の3個の候補位置画像X2が表示されているものとする。この場合、選択画面GM3に、スライドバーBR2は「3個」表示される。3個のスライドバーBR2を、それぞれ、第1バー、第2バー、及び第3バーと表現すると、第1バーは、基端PP1から第1画像に向かって延在する帯状のオブジェクトであり、第2バーは、基端PP1から第2画像に向かって延在する帯状のオブジェクトであり、第3バーは、基端PP1から第3画像に向かって延在する帯状のオブジェクトである。
スライドボタンSB2は、タッチ操作ボタンであり、ユーザーのスワイプ操作に応じて、スライドバーBR2(複数のスライドバーBR2が表示されている場合は、全てのスライドバーBR2。)に沿って移動可能である。図19に示すように、スライドボタンSB2は、ユーザーによりタッチ操作が行われていない場合、基端PP1に位置した状態が維持される。スライドボタンSB2は、スライドバーBR2の基端PP1から、先端PP2の範囲内で移動可能である。
図20は、タッチパネル9に表示される画面の遷移を説明する図である。図20では、適宜、タッチパネル9に表示される画面と併せて、画面を操作するユーザーの指の一部を示す。
図20の状態J10は、ユーザーがタッチ操作を行っていない状態の選択画面GM3を示している。上述したように、選択画面GM3は、ユーザーが、候補位置のうち、1つの候補位置を選択する入力を行う画面である。
候補位置を選択する入力を行う場合、ユーザーは、状態J10の選択画面GM3で、基端PP1に位置するスライドボタンSB2を指でタッチ操作する。
次いで、ユーザーは、スワイプ操作により、スライドボタンSB2を、スライドバーBR2のうち、車両Sを出庫により停車させることを望む候補位置の候補位置画像X2に向かって延在するスライドバーBR2沿って移動させる。スワイプ操作に応じて、端末制御部20は、指が接触する位置に追従して、スライドボタンSB2をスライドバーBR2に沿って移動させる。図12の状態J11は、スワイプ操作により、スライドバーBR2に沿ってスライドボタンSB2が移動した状態の選択画面GM3を示している。
図12の状態J11に示すように、スワイプ操作に応じて、選択画面GM3には、車両Sが駐車位置から候補位置に移動した場合に、車両Sが通る軌道を示す軌道画像X3が表示される。軌道画像X3は、現在位置画像X1と、候補位置画像X2とを、車両Sが候補位置へ移動するときの軌道に沿って結ぶ帯状の画像であり、車両Sの幅に対応する幅を有する。
端末制御部20は、候補位置経路情報に基づいて、俯瞰画像G1に重畳して、1又は複数の軌道画像X3を表示する。
ユーザーは、選択画面GM3に表示された軌道画像X3に基づいて、車両Sが車両自動移動により、候補位置まで移動した場合の軌道(経路)を的確に認識できる。
スワイプ操作を行うユーザーは、スライドボタンSB2をスライドバーBR2の先端PP2にまで移動させ、所定の期間(例えば、3秒。)、スライドボタンSB2が先端PP2に位置した状態を維持する。これにより、候補位置を選択する入力が完了する。
なお、候補位置を車両推進制御モードへの移行の指示の入力が完了する前に、スワイプ操作が解除されると、端末制御部20は、スワイプ操作の解除に応じて、スライドボタンSB2を、基端PP1に移動させる。
ステップSK6において、端末制御部20は、タッチパネル9からの入力に基づいて、スライドバーBR2の先端PP2にスライドボタンSB2が、所定の期間、位置したか否かを監視する。そして、端末制御部20は、スライドバーBR2の先端PP2にスライドボタンSB2が、所定の期間、位置した場合、候補位置を選択する入力があったと判別する。
ステップSK6において、候補位置を選択する入力があったと判別した場合(ステップSK6:YES)、端末制御部20は、スライドボタンSB2が、所定の期間、先端PP2に位置したスライドバーBR2に対応する候補位置画像X2の候補位置を、出庫後に車両Sを停車させる位置として決定する(ステップSK7)。
以上のように、本実施形態では、ユーザーは、所望のスライドバーBR2に沿って、スライドボタンSB2を移動させるという簡易な操作により、候補位置の中から、車両Sが出庫した後に停車させることを望む候補位置を決定できる。このため、ユーザーの利便性が高い。特に、スライドバーBR2のそれぞれは、候補位置画像X2のそれぞれに向かって延在する構成のため、ユーザーは、どのスライドバーBR2が、どの候補位置画像X2と対応関係にあるのかを、感覚的に把握できる。
また、本実施形態では、スライドバーBR2の先端PP2にスライドボタンSB2が、所定の期間、位置して初めて、入力が完了する。この構成のため、タッチパネル9にユーザーの指が偶発的に接触し、ユーザーの意図に反して候補位置が選択されることが防止される。
ステップSK7で、車両Sを停車させる位置を決定した後、端末制御部20は、動作モードを車両推進制御モードへ移行する(ステップSK8)。
動作モードの移行に応じて、端末制御部20は、タッチパネル9に表示する画面を選択画面GM3から、車両制御画面GM2へ切り替える(ステップSK9)。
図20の状態J12は、タッチパネル9に表示される画面が選択画面GM3から車両制御画面GM2へ切り替わった直後の車両制御画面GM2を示している。なお、画面が車両制御画面GM2へと切り替わった直後は、携帯端末3の筐体8の向きは、「縦向き」である。
出庫時に表示される車両制御画面GM2は、駐車時に表示される車両制御画面GM2と同じである。選択画面GM3から車両制御画面GM2へと画面を切り替える際、端末制御部20は、選択画面GM3におけるスライドボタンSB2を、推進制御ボタンQB(操作ボタン)へと切り替える。すなわち、端末制御部20は、画面の切り替えに応じて、スライドボタンSB2と異なるボタンとして推進制御ボタンQBを改めて表示するのではなく、スライドバーBR2の先端PP2に位置するスライドボタンSB2を、画面の切り替わり応じて、位置を変更することなく、推進制御ボタンQBとして機能させる。従って、画面が切り替わった直後は、推進制御ボタンQBは、選択画面GM3におけるスライドバーBR2の先端PP2に位置し、また、推進制御ボタンQBは、ユーザーによりタッチ操作された状態である。
なお、図20の状態J12に代えて、図20の状態J13に示す車両制御画面GM2を表示してもよい。状態J13で示す車両制御画面GM2では、車両Sの駐車位置から、選択された候補位置に向かう軌道画像X3が、進行方向を明示する矢印の形状となっている。状態J13に示す態様で、車両制御画面GM2を表示することにより、ユーザーは、駐車位置から出庫した後の車両Sの進行方向を的確に認識できる。
車両推進制御モードへの移行に応じて、端末制御部20は、ステップSK7で決定した候補位置を示す情報を、情報処理装置4に送信する(ステップSK10)。
図18のフローチャートFJに示すように、情報処理装置4の情報処理装置制御部30は、候補位置を示す情報を受信する(ステップSJ7)。
図18のフローチャートFJ、及び、フローチャートFKに示すように、携帯端末3の動作モードが車両推進制御モードへ移行した後、情報処理装置4の情報処理装置制御部30、及び携帯端末3の端末制御部20は、協働して車両推進制御処理を実行する(ステップSJ8、ステップSK11)。
出庫時の車両推進制御処理では、駐車時の車両推進制御処理と同様の処理が行われる。なお、情報処理装置制御部30は、ステップSJ7で受信した情報が示す候補位置に対応する自動運転経路情報を、車両駆動制御装置5に出力する。
車両自動運転により、車両Sが駐車位置から、選択された候補位置(出庫後停車位置)まで移動し、選択された候補位置で停車することによって、フローチャートFJの車両推進制御処理、及び、フローチャートFKの車両推進制御処理が完了する。車両Sが選択された候補位置で停車した場合、そのことが所定の方法でユーザーに通知される。車外にいるユーザーは、上述した専用のリモートコントローラーを利用して、ドアを開錠することにより、車両Sに搭乗することができる。
ところで、出庫のパターンには、駐車位置に駐車する車両Sの状態に応じて、複数のパターンがある。
端末制御部20は、出庫のパターンに応じて、選択画面GM3における候補位置画像X2、及びスライドユニットSU2の表示態様を変更する。例えば、端末制御部20は、以下の方法で、出庫のパターンに応じて、選択画面GM3における候補位置画像X2、及びスライドユニットSU2の表示態様を変更する。すなわち、事前に、端末記憶部22に、出庫のパターンごとに、出庫のパターンに対応した態様で候補位置画像X2と、スライドユニットSU2とを表示させる画像データを記憶する。そして、端末制御部20は、選択画面GM3をタッチパネル9に表示させる際、出庫のパターンを特定し、端末記憶部22から、特定した出庫のパターンに対応する画像データを読み出し、必要に応じて画像データを加工し、加工後の画像データを用いて選択画面GM3を表示する。この構成によれば、予め用意された画像データを使用して選択画面GM3を表示することが可能となるため、処理効率を向上できる。
出庫のパターンとしては、例えば、以下の第1パターン〜第6パターンがある。
第1パターンは、車両Sが「前進」することによって出庫し、出庫後に車両Sが停車可能な候補位置が、車両Sの前方の位置と、車両Sの前方右側の位置と、車両Sの前方左側の位置との3つ存在するパターンである。例えば、車両Sが、前方に広いスペースがある駐車位置に駐車した状態の場合、出庫のパターンが第1パターンとなる。
図19、及び図20で例示した選択画面GM3は、第1パターンに対応する選択画面GM3である。
第2パターンは、車両Sが「後進」することによって出庫し、出庫後に車両Sが停車可能な候補位置が、車両Sの後方の位置と、車両Sの後方右側の位置と、車両Sの後方左側の位置との3つ存在するパターンである。例えば、車両Sが、後方に広いスペースがある駐車位置に駐車した状態の場合、出庫のパターンが第2パターンとなる。
図21の状態J20は、第2パターンに対応する選択画面GM3を示している。
第3パターンは、車両Sが「前進」することによって出庫し、出庫後に車両Sが停車可能な候補位置が、車両Sの前方右側の位置と、車両Sの前方左側の位置との2つ存在するパターンである。例えば、車両Sが縦列駐車し、車両Sの前方右側と、前方左側とに車両Sが停車可能なスペースがある場合に、出庫のパターンが第3パターンとなる。
図21の状態J21は、第3パターンに対応する選択画面GM3を示している。
第4パターンは、車両Sが「後進」することによって出庫し、出庫後に車両Sが停車可能な候補位置が、車両Sの後方右側の位置と、車両Sの後方左側の位置との2つ存在するパターンである。例えば、車両Sが縦列駐車し、車両Sの後方右側と、後方左側とに車両Sが停車可能なスペースがある場合に、出庫のパターンが第4パターンとなる。
図21の状態J22は、第4パターンに対応する選択画面GM3を示している。
第5パターンは、車両Sが「前進」でも「後進」でも出庫することが可能であり、出庫後に車両Sが停車可能な候補位置が、車両Sの前方右側の位置と、車両Sの前方左側の位置と、車両Sの後方右側の位置と、車両Sの後方左側の位置との4つ存在するパターンである。例えば、車両Sが縦列駐車し、車両Sの前方右側と、前方左側と、後方右側と、後方左側とに車両Sが停車可能なスペースがある場合に、出庫のパターンが第5パターンとなる。
図21の状態J23は、第5パターンに対応する選択画面GM3を示している。
第6パターンは、車両Sが「前進」でも「後進」でも出庫することが可能であり、出庫後に車両Sが停車可能な候補位置が、車両Sの前方の位置と、車両Sの前方右側の位置と、車両Sの前方左側の位置と、車両Sの後方の位置と、車両Sの後方右側の位置と、車両Sの後方左側の位置との6つ存在するパターンである。例えば、車両Sが前方、及び後方に広いスペースがある駐車位置に駐車した状態の場合、出庫のパターンが第6パターンとなる。
図21の状態J24は、第6パターンに対応する選択画面GM3を示している。
ところで、車両Sの候補位置が複数ある場合において、候補位置の中に、障害物の存在や、規制の関係で、実際には車両Sの移動が禁止される候補位置が存在する場合がある。
このような場合、端末制御部20は、選択画面GM3の表示に際し、以下の処理を実行する。
すなわち、端末制御部20は、移動が禁止される候補位置に対応するスライドバーBR2に、候補位置への移動が禁止されることを示す画像を表示し、移動が禁止される候補位置に対応するスライドバーBR2に沿ったスライドボタンSB2の移動を禁止する。
図22の状態J30は、図19の選択画面GM3において、基端PP1から上方左側に向かっての延びるスライドバーBR2に対応する候補位置への移動が禁止される場合に、端末制御部20が表示する選択画面GM3の一例を示している。
図22の状態J30に示すように、選択画面GM3において、移動が禁止される候補位置に対応するスライドバーBR2には、候補位置への移動が禁止されることを示す画像が表示される。さらに、移動が禁止される候補位置に対応する候補位置画像X2にも、移動が禁止されることを示す画像が表示される。
移動が禁止される候補位置が存在する場合に、上記の処理が行われることにより、ユーザーは、移動が禁止される候補位置を的確に認識できる。また、ユーザーが、移動が禁止される候補位置を選択することを防止できる。
なお、移動が禁止される候補位置が存在する場合に、端末制御部20が上記の処理に代えて、以下の処理を実行する構成でもよい。
すなわち、端末制御部20は、移動が禁止される候補位置に対応するスライドバーBR2の表示を禁止する。
図22の状態J31は、図19の選択画面GM3において、基端PP1から上方左側に向かっての延びるスライドバーBR2に対応する候補位置への移動が禁止される場合に、端末制御部20が表示する選択画面GM3の一例を示している。
図22の状態J31に示すように、選択画面GM3において、移動が禁止される候補位置に対応するスライドバーBR2は、表示されない。これにより、ユーザーが、移動が禁止される候補位置を選択することを防止できる。
<第1の変形例>
次に、第1の変形例について説明する。
上述した実施形態では、出庫時に、スライドユニットSU2により、候補位置のうち、1つの候補位置が選択される構成であった。
この構成について、候補位置画像X2をタッチ操作ボタンとして機能させ、候補位置画像X2をタッチ操作することによって、候補位置を選択できるようにしてもよい。
この場合において、候補位置画像X2が、複数回(例えば、2回。)、連続してタッチ操作された場合に、候補位置の選択が確定する構成とすれば、ユーザーが誤って候補位置画像X2をタッチ操作した場合に、誤って操作された候補位置画像X2に対応する候補位置が選択されることを防止可能である。
なお、候補位置画像X2がタッチ操作されて候補位置が選択された場合に、端末制御部20は、動作モードを車両制御モードに移行して、選択画面GM3に代えて車両制御画面GM2を表示してもよい。また、候補位置画像X2がタッチ操作されて候補位置が選択された場合に、端末制御部20は、動作モードを車両制御モードにすぐには移行せず、選択画面GM3に代えてロック画面GM1を表示し、ロック画面GM1に対して所定の入力があった場合に、動作モードを車両制御モードに移行して、ロック画面GM1に代えて、車両制御画面GM2を表示してもよい。
<第2の変形例>
次に、第2の変形例について説明する。
上述した実施形態では、駐車時の処理について、駐車位置が1つであることを前提として処理を説明した。しかしながら、複数の駐車位置の候補の中から1つの駐車位置を選択し、選択した駐車位置の候補を、車両Sを駐車させる位置として決定する構成でもよい。
この場合、端末制御部20は、ロック画面GM1をタッチパネル9に表示させる前に、選択画面GM3と同様の画面をタッチパネル9に表示し、タッチパネル9に対する操作に基づいて、駐車位置を決定すればよい。
以上説明したように、本実施形態に係る携帯端末3(端末)は、筐体8と、筐体8に設けられたタッチパネル9(表示パネル)と、筐体8の状態を検出する筐体状態検出部23と、端末制御部20とを備える。端末制御部20は、車両Sに設けられたカメラの撮影結果に基づく撮影データを取得し、取得した撮影データに基づく画像をタッチパネル9に表示させると共に、筐体状態検出部23により検出された筐体8の状態に応じて、タッチパネル9に表示させる画像を切り替える。
この構成によれば、ユーザーは、タッチパネル9に表示される撮影画像データに基づく画像を、携帯端末3の筐体8の状態を変化させるという簡易な操作を行うことにより、切り替えることができ、車両Sに設けられたカメラの撮影結果に基づく画像を携帯端末3により表示する際に、ユーザーの利便性を向上できる。
また、本実施形態では、端末制御部20は、筐体状態検出部23により筐体8の向きが第1の向きとなったことが検出された場合と、筐体8の向きが第1の向きとは異なる第2の向きとなったことが検出された場合とで、タッチパネル9に表示させる画像を切り替える。
この構成によれば、ユーザーは、携帯端末3の筐体の向きを、第1の向きか、第2の向きに切り替えるという簡易な操作を行うことにより、タッチパネル9に表示される撮影画像データに基づく画像を切り替えることができ、車両Sに設けられたカメラの撮影結果に基づく画像を携帯端末3により表示する際に、ユーザーの利便性を向上できる。
また、本実施形態では、筐体8は、長方形状の正面8aを有する板状の部材である。タッチパネル9は、筐体8の正面8aに設けられる。第1の向きは、筐体8の正面8aの長辺の方向が、鉛直方向に沿った状態となる向きであり、第2の向きは、筐体8の正面8aの長辺の方向が、鉛直方向と直交する方向に沿った状態となる向きである。
この構成によれば、ユーザーは、携帯端末3の筐体8の向きを、「筐体8の正面8aの長辺の方向が、鉛直方向に沿った状態となる向き」か、「筐体8の正面8aの長辺の方向が、鉛直方向と直交する方向に沿った状態となる向き」に切り替えるという簡易な操作を行うことにより、タッチパネル9に表示される撮影画像データに基づく画像を切り替えることができ、車両Sに設けられたカメラの撮影結果に基づく画像を携帯端末3により表示する際に、ユーザーの利便性を向上できる。
また、本実施形態では、端末制御部20は、筐体状態検出部23により筐体8の向きが第1の向きとなったことが検出され場合、撮影データに基づく画像として、車両Sを俯瞰した画像である俯瞰画像G1をタッチパネル9に表示させ、筐体状態検出部23により筐体8の向きが第2の向きとなったことが検出された場合、撮影データに基づく画像として、カメラにより撮影された車外の画像である車外画像G2をタッチパネル9に表示させる。
この構成によれば、ユーザーは、携帯端末3の筐体8の向きを変更するという簡易な操作を行うことにより、タッチパネル9に表示される画像を、俯瞰画像G1と、車外画像G2との間で切り替えることができる。
また、本実施形態では、車両Sには、車外を撮影する複数の車外撮影用カメラが設けられる。端末制御部20は、筐体状態検出部23により筐体8の向きが第2の向きとなったことが検出された場合、車両Sの状態に対応した所定の優先順位に従って、複数の車外撮影用カメラのうち、1つの車外撮影用カメラを選択し、選択した車外撮影用カメラの撮影結果に基づく車外画像G2をタッチパネル9に表示させる。
この構成によれば、ユーザーが必要としている可能性が高い車外画像G2を、タッチパネル9に表示させることができ、ユーザーの利便性が高い。
ここで、所定の優先順位は、例えば、車両Sの進行方向を撮影可能な車外撮影用カメラほど高い順位となる優先順位である。
この構成によれば、ユーザーが必要としている可能性が高い車外画像G2を、タッチパネル9に表示させることができ、ユーザーの利便性が高い。
また、所定の優先順位は、例えば、車両Sに近接する物体を撮影可能な車外撮影用カメラほど高い順位となる優先順位である。
この構成によれば、ユーザーが必要としている可能性が高い車外画像G2を、タッチパネル9に表示させることができ、ユーザーの利便性が高い。
また、本実施形態では、端末制御部20は、1の車外撮影用カメラの撮影結果に基づく1の車外画像G2をタッチパネル9に表示させた後、筐体状態検出部23により筐体8が所定の動きをしたことが検出された場合、当該1の車外画像G2に代えて、当該1の車外撮影用カメラとは異なる他の車外撮影用カメラの撮影結果に基づく他の車外画像G2をタッチパネル9に表示させる。
この構成によれば、ユーザーは、筐体8に所定の動きをさせるという簡易な操作を行うことにより、タッチパネル9に表示される車外画像G2を切り替えることができ、ユーザーの利便性が高い。
また、本実施形態では、複数の車外撮影用カメラは、それぞれ、異なる方向に向かって車外を撮影する。そして、所定の動きは、筐体8の状態が第1の態様で変化する第1の動き、又は、筐体8の状態が第1の態様とは異なる第2の態様で変化する第2の動きのいずれかである。端末制御部20は、筐体状態検出部23により筐体8が第1の動きをしたことが検出された場合、車外撮影用カメラが撮影する方向に応じた第1の順番で車外画像G2を切り替える。端末制御部20は、筐体状態検出部23により筐体8が第2の動きをしたことが検出された場合、車外撮影用カメラが撮影する方向に応じた順番であって、第1の順番とは異なる第2の順番で車外画像G2を切り替える。
この構成によれば、ユーザーは、自身が望む順番で、画像を切り替えることができ、ユーザーの利便性が高い。
また、端末制御部20は、タッチパネル9に撮影データに基づく画像を表示させると共に、撮影データに基づく画像と重畳して、タッチ操作可能な推進制御ボタンQB(操作ボタン)を表示させ、タッチパネル9に表示させる画像を切り替えた場合も、推進制御ボタンQBの表示を維持する。端末制御部20は、推進制御ボタンQBがタッチ操作されている間、車両Sに設けられた情報処理装置4に、車両Sの推進を指示する推進指示信号を送信する。
この構成によれば、ユーザーは、推進制御ボタンQBを操作して車両Sの推進を制御しつつ、タッチパネル9に表示させる画像を切り替えることができる。
また、以上説明したように、本実施形態に係る携帯端末3は、画像を表示すると共に、タッチ操作を受け付けるタッチパネル9と、端末制御部20とを有する。端末制御部20は、タッチ操作可能な推進制御ボタンQBが表示された車両制御画面GM2をタッチパネル9に表示させると共に、車両制御画面GM2に表示された推進制御ボタンQBがタッチ操作された後、タッチ操作の位置が移動した場合、タッチ操作の位置の移動に追従して推進制御ボタンQBの位置を移動させて推進制御ボタンQBがタッチ操作された状態を維持する。端末制御部20は、車両制御画面GM2に表示された推進制御ボタンQBがタッチ操作されている間、車両Sに設けられた情報処理装置4に、車両Sの推進を指示する推進指示信号を送信し、推進制御ボタンQBに対するタッチ操作の解除に応じて、推進指示信号の送信を停止する。
この構成によれば、ユーザーが推進制御ボタンQBをタッチ操作した後、タッチ操作する指の位置がずれた場合であっても、推進制御ボタンQBがタッチ操作された状態が維持される。このため、ユーザーは、推進制御ボタンQBを操作する際、特定の位置をピンポイントでタッチ操作し続ける必要がない。従って、ユーザーが携帯端末3のタッチパネル9を操作して車両Sの推進を制御する場合に、的確に操作を行えるようにすることができる。
また、本実施形態では、端末制御部20は、車両制御画面GM2に表示された推進制御ボタンQBに対するタッチ操作が解除された場合、タッチ操作が解除されたときの推進制御ボタンQBの位置に、継続して、推進制御ボタンQBを表示する。
この構成によれば、ユーザーが再び、推進制御ボタンQBをタッチ操作する際に、推進制御ボタンQBが、ユーザーがタッチ操作しやすい位置にあるため、ユーザーの利便性を向上できる。
なお、上記構成について、端末制御部20は、車両制御画面GM2に表示された推進制御ボタンQBに対するタッチ操作が解除された場合、車両制御画面GM2における所定の位置に、推進制御ボタンQBを表示してもよい。
この構成によれば、ユーザーが再び、推進制御ボタンQBをタッチ操作する際に、推進制御ボタンQBが、ユーザーがタッチ操作しやすい位置にあるため、ユーザーの利便性を向上できる。
また、本実施形態では、端末制御部20は、タッチパネル9に、スライドバーBR1と、スライドバーBR1の一端に位置し、スワイプ操作に応じてスライドバーBR1に沿って移動する一方、スワイプ操作の解除に応じて、スライドバーBR1の一端に移動するスライドボタンSB1とが表示されたロック画面GM1を表示させる。端末制御部20は、スワイプ操作により、スライドボタンSB1がスライドバーBR1の他端に、所定の期間、位置した場合、タッチパネル9に表示させる画面を、ロック画面GM1から車両制御画面GM2へ切り替えると共に、スライドバーBR1の他端に位置するスライドボタンSB1を推進制御ボタンQBに切り替えて推進制御ボタンQBとして機能させる。
この構成によれば、ユーザーは、簡易な作業を行って、スライドボタンSB1をスワイプ操作するという簡易な作業を行って、ロック画面GM1から車両制御画面GM2へと画面を切り替えることができると共に、車両制御画面GM2へと切り替わった後、推進制御ボタンQBを簡易にタッチ操作できる。
また、本実施形態では、端末制御部20は、推進制御ボタンQBが操作されているときと、推進制御ボタンQBが操作されていないときとで、推進制御ボタンQBを示す画像を変化させる。
この構成によれば、ユーザーは、推進制御ボタンQBがタッチ操作されていること、及び、タッチ操作されていないことを、簡易かつ的確に認識することができる。
また、本実施形態では、端末制御部20は、車両制御画面GM2を表示している間、車両Sに設けられたカメラの撮影結果に基づく撮影データを取得し、取得した撮影データに基づく画像をタッチパネル9に表示させると共に、撮影データに基づく画像と重畳して推進制御ボタンQBを表示させる。端末制御部20は、筐体状態検出部23が検出した筐体8の状態に応じて、タッチパネル9に表示させる画像を切り替える一方、タッチパネル9に表示させる画像を切り替えた場合も、推進制御ボタンQBの表示を維持する。
この構成によれば、ユーザーは、推進制御ボタンQBを操作して車両Sの推進を制御しつつ、タッチパネル9に表示させる画像を切り替えることができる。
また、本実施形態では、端末制御部20は、筐体状態検出部23により筐体8の向きが第1の向きとなったことが検出され場合、撮影データに基づく画像として、車両Sを俯瞰した画像である俯瞰画像G1をタッチパネル9に表示させ、筐体状態検出部23により筐体8の向きが第1の向きとは異なる第2の向きとなったことが検出された場合、撮影データに基づく画像として、車外撮影用カメラにより撮影された車外の画像である車外画像G2をタッチパネル9に表示させる。
この構成によれば、ユーザーは、携帯端末3の筐体8の向きを変更するという簡易な操作を行うことにより、タッチパネル9に表示される画像を、俯瞰画像G1と、車外画像G2との間で切り替えることができる。
また、以上説明したように、本実施形態に係る携帯端末3の端末制御部20は、車両Sの現在の位置を示す現在位置画像X1、車両Sが現在の位置から移動して停車する位置の候補である候補位置を示す1又は複数の候補位置画像X2、基端PP1から候補位置画像X2のそれぞれに向かって延在するスライドバーBR2、及び基端PP1に位置し、スワイプ操作に応じてスライドバーBR2に沿って移動するスライドボタンSB2が表示された選択画面GM3を表示し、スライドボタンSBの移動に基づいて、候補位置の中から、車両Sが停車する位置を決定する。
この構成によれば、ユーザーは、車両Sを停車させる位置を決定する操作を的確に行うことができる。
また、本実施形態では、端末制御部20は、スライドボタンSB2が、1のスライドバーBR2の先端に、所定の期間、位置した場合、当該1のスライドバーBR2に対応する候補位置を、車両Sが停車する位置として決定する。
この構成によれば、ユーザーの誤った操作で車両Sが停車する位置が決定されることを防止しできる。
また、本実施形態では、端末制御部20は、車両Sの現在の位置から、候補位置に至るまでの軌道を示す軌道画像X3を選択画面GM3に表示する。
この構成によれば、ユーザーは、選択画面GM3を参照することにより、車両Sの現在の位置から、候補位置に至るまでの軌道を的確に認識できる。
また、本実施形態では、端末制御部20は、候補位置への車両Sの移動が禁止される場合は、移動が禁止される候補位置に対応するスライドバーBR2に、候補位置への移動が禁止されることを示す画像を表示し、移動が禁止される候補位置に対応するスライドバーBR2に沿ったスライドボタンSB2の移動を禁止する。
この構成によれば、ユーザーが移動が禁止される候補位置を選択することを防止できる。
上記構成について、端末制御部20は、候補位置への車両Sの移動が禁止される場合は、移動が禁止される候補位置に対応するスライドバーBR2の表示を禁止してもよい。
この構成によれば、ユーザーが移動が禁止される候補位置を選択することを防止できる。
また、本実施形態では、端末制御部20は、車両Sが停車する位置を決定した場合、タッチパネル9に表示させる画面を、前記選択画面GM3から車両制御画面GM2へと切り替えると共に、スライドボタンSBを、タッチ操作可能な操作ボタンに切り替える。端末制御部20は、車両制御画面GM2に表示された推進制御ボタンQBがタッチ操作されている間、車両Sに設けられた情報処理装置4に、車両Sの推進を指示する推進指示信号を送信し、推進制御ボタンQBに対するタッチ操作の解除に応じて、推進指示信号の送信を停止する。
この構成によれば、ユーザーは、的確に車両Sの推進を制御できる。
また、本実施形態では、端末制御部20は、推進制御ボタンQBが操作されているときと、推進制御ボタンQBが操作されていないときとで、推進制御ボタンQBを示す画像を変化させる。
この構成によれば、ユーザーは、推進制御ボタンQBがタッチ操作されていること、及び、タッチ操作されていないことを、簡易かつ的確に認識することができる。
また、本実施形態では、車両Sの現在の位置は、車両Sが、現在、駐車している駐車位置であり、候補位置は、車両Sが駐車位置から出庫して停車する出庫後停車位置である。
この構成によれば、ユーザーは、出庫に際し、的確な操作を行って、出庫後停車位置を選択できる。
また、変形例で説明したように、車両Sの現在の位置は、駐車位置に駐車する前の車両Sが停車している駐車前位置であり、候補位置は、車両Sが駐車する駐車位置であってもよい。
この構成によれば、ユーザーは、駐車に際し、的確な操作を行って、車両Sを駐車させる駐車位置を選択できる。
また、変形例で説明したように、携帯端末3の端末制御部20は、車両Sの現在の位置を示す現在位置画像X1、及び車両Sが現在の位置から移動して停車する位置の候補である候補位置を示す1又は複数の候補位置画像X2が表示された選択画面GM3を表示し、候補位置画像X2に対する操作に基づいて、候補位置の中から、車両Sが停車する位置を決定してもよい。
この構成によれば、ユーザーは、車両Sを停車させる位置を決定する操作を的確に行うことができる。
また、以上説明したように、本実施形態に係る携帯端末3の端末制御部20は、第1モードの場合、情報処理装置4から、車両Sを俯瞰した俯瞰画像G1、及び車両Sに設けられたカメラにより撮影された車外画像G2を含む合成画像の合成画像データを受信し、筐体状態検出部23により筐体8の向きが第1の向きとなったことが検出された場合、合成画像データに基づいて俯瞰画像G1をタッチパネル9に表示させ、筐体状態検出部23により筐体8の向きが第1の向きとは異なる第2の向きとなったことが検出された場合、合成画像データに基づいて車外画像G2をタッチパネル9に表示させる。
この構成によれば、携帯端末3は、車両Sに設けられたカメラの撮影結果に基づく画像を表示する際に、適切な態様で画像を表示することができ、ユーザーの利便性を向上できる。
また、本実施形態では、端末制御部20は、第1モードの場合、筐体状態検出部23により筐体8の向きが第1の向きとなったことが検出された場合、合成画像データから、俯瞰画像G1に対応する俯瞰画像データを抽出し、抽出した俯瞰画像データに基づいて俯瞰画像G1をタッチパネル9に表示させる。端末制御部20は、筐体状態検出部23により筐体8の向きが第2の向きとなったことが検出された場合、合成画像データから、車外画像G2に対応する車外画像データを抽出し、抽出した車外画像データに基づいて車外画像G2をタッチパネル9に表示させる。
この構成によれば、端末制御部20は、情報処理装置4から受信する合成画像データに基づいて、適切に、俯瞰画像G1、及び、車外画像G2を表示させることができる。
また、本実施形態では、筐体8は、長方形状の正面8aを有する板状の部材であり、タッチパネル9は、筐体8の正面8aに設けられ、俯瞰画像G1は、正面8a視したときに、長辺が縦方向に延在する長方形状の画像であり、車外画像G2は、正面8a視したときに、長辺が横方向に延在する長方形状の画像であり、前記第1の向きは、筐体8の正面8aの長辺の方向が、鉛直方向に沿った状態となる向きであり、前記第2の向きは、筐体8の正面8aの長辺の方向が、鉛直方向と直交する方向に沿った状態となる向きである。
この構成によれば、端末制御部20は、筐体8の形状を踏まえ、筐体8の向きに応じて、筐体8の向きに適合した適切な画像を表示させることができる。
また、本実施形態では、情報処理装置4の情報処理装置制御部30は、第2モードにおいて、携帯端末3の筐体8の状態を示す情報を取得し、取得した情報に基づいて携帯端末3の筐体8の向きが第1の向きとなったことを検出した場合、合成画像データから俯瞰画像G1に対応する俯瞰画像データを抽出し、抽出した俯瞰画像データを携帯端末3に送信し、取得した情報に基づいて携帯端末3の筐体8の向きが第1の向きとは異なる第2の向きとなったことを検出した場合、合成画像データから、車外画像G2に対応する車外画像データを抽出し、抽出した車外画像データを携帯端末3に送信する。
この構成によれば、情報処理装置4は、携帯端末3に、適切な態様で画像を表示させることができ、ユーザーの利便性を向上できる。
なお、上述した実施の形態は、あくまでも本発明の一態様を示すものであり、本発明の範囲内で任意に変形および応用が可能である。
例えば、携帯端末3の処理として説明した処理について、携帯端末3が、携帯端末3と通信可能な外部の装置(情報処理装置4を含む。)と協働して実行する構成でもよい。同様に、情報処理装置4の処理として説明した処理について、情報処理装置4が、情報処理装置4と通信可能な外部の装置(携帯端末3を含む。)と協働して実行する構成でもよい。
例えば、図を用いて説明した機能ブロックは、本願発明を理解容易にするために、各装置の機能構成を主な処理内容に応じて分類して示した概略図である。各装置の構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、1つの構成要素がさらに多くの処理を実行するように分類することもできる。また、各構成要素の処理は、1つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。また、各構成要素の処理は、1つのプログラムで実現されてもよいし、複数のプログラムで実現されてもよい。
また、図で示したフローチャートの処理単位は、各装置の処理を理解容易にするために、主な処理内容に応じて分割したものである。処理単位の分割の仕方や名称によって、本願発明が制限されることはない。各装置の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできる。また、1つの処理単位がさらに多くの処理を含むように分割することもできる。また、同様の処理が行えれば、上記のフローチャートの処理順序も、図示した例に限られるものではない。
1 情報処理システム
2 車両システム
3 携帯端末(端末)
4 情報処理装置
5 車両駆動制御装置
9 タッチパネル(表示パネル)
23 筐体状態検出部
30 情報処理装置制御部
CA1 前方撮影用カメラ(カメラ)
CA2 前方右側撮影用カメラ(カメラ)
CA3 側方右側撮影用カメラ(カメラ)
CA4 後方右側撮影用カメラ(カメラ)
CA5 後方撮影用カメラ(カメラ)
CA6 後方左側撮影用カメラ(カメラ)
CA7 側方左側撮影用カメラ(カメラ)
CA8 前方左側撮影用カメラ(カメラ)
G1 俯瞰画像
G2 車外画像
G 合成画像
GM1 ロック画面
GM2 車両制御画面
GM3 選択画面

Claims (11)

  1. 筐体と、
    前記筐体に設けられた表示パネルと、
    前記筐体の状態を検出する筐体状態検出部と、
    車両に設けられたカメラの撮影結果に基づく撮影データを取得し、取得した前記撮影データに基づく画像を前記表示パネルに表示させると共に、前記筐体状態検出部により検出された前記筐体の状態に応じて、前記表示パネルに表示させる画像を切り替える端末制御部と、
    を備えることを特徴とする端末。
  2. 前記端末制御部は、
    前記筐体状態検出部により前記筐体の向きが第1の向きとなったことが検出された場合と、前記筐体の向きが前記第1の向きとは異なる第2の向きとなったことが検出された場合とで、前記表示パネルに表示させる画像を切り替える
    ことを特徴とする請求項1に記載の端末。
  3. 前記筐体は、長方形状の正面を有する板状の部材であり、
    前記表示パネルは、前記筐体の正面に設けられ、
    前記第1の向きは、前記筐体の正面の長辺の方向が、鉛直方向に沿った状態となる向きであり、
    前記第2の向きは、前記筐体の正面の長辺の方向が、鉛直方向と直交する方向に沿った状態となる向きである
    ことを特徴とする請求項2に記載の端末。
  4. 前記端末制御部は、
    前記筐体状態検出部により前記筐体の向きが前記第1の向きとなったことが検出され場合、前記撮影データに基づく画像として、前記車両を俯瞰した画像である俯瞰画像を前記表示パネルに表示させ、
    前記筐体状態検出部により前記筐体の向きが前記第2の向きとなったことが検出された場合、前記撮影データに基づく画像として、前記カメラにより撮影された車外の画像である車外画像を前記表示パネルに表示させる
    ことを特徴とする請求項2又は3に記載の端末。
  5. 前記車両には、車外を撮影する複数の前記カメラが設けられ、
    前記端末制御部は、
    前記筐体状態検出部により前記筐体の向きが前記第2の向きとなったことが検出された場合、前記車両の状態に対応した所定の優先順位に従って、複数の前記カメラのうち、1つの前記カメラを選択し、選択した前記カメラの撮影結果に基づく前記車外画像を前記表示パネルに表示させる
    ことを特徴とする請求項4に記載の端末。
  6. 前記所定の優先順位は、前記車両の進行方向を撮影可能な前記カメラほど高い順位となる優先順位であることを特徴とする請求項5に記載の端末。
  7. 前記所定の優先順位は、前記車両に近接する物体を撮影可能な前記カメラほど高い順位となる優先順位であることを特徴とする請求項5に記載の端末。
  8. 前記端末制御部は、
    1の前記カメラの撮影結果に基づく1の前記車外画像を前記表示パネルに表示させた後、前記筐体状態検出部により前記筐体が所定の動きをしたことが検出された場合、当該1の前記車外画像に代えて、当該1の前記カメラとは異なる他の前記カメラの撮影結果に基づく他の前記車外画像を前記表示パネルに表示させる
    ことを特徴とする請求項5から7のいずれか1項に記載の端末。
  9. 複数の前記カメラは、それぞれ、異なる方向に向かって車外を撮影し、
    前記所定の動きは、前記筐体の状態が第1の態様で変化する第1の動き、又は、前記筐体の状態が前記第1の態様とは異なる第2の態様で変化する第2の動きのいずれかであり、
    前記端末制御部は、
    前記筐体状態検出部により前記筐体が前記第1の動きをしたことが検出された場合、前記カメラが撮影する方向に応じた第1の順番で前記車外画像を切り替え、
    前記筐体状態検出部により前記筐体が前記第2の動きをしたことが検出された場合、前記カメラが撮影する方向に応じた順番であって、前記第1の順番とは異なる第2の順番で前記車外画像を切り替える
    ことを特徴とする請求項8に記載の端末。
  10. 前記表示パネルは、画像を表示すると共に、タッチ操作を受け付けるタッチパネルであり、
    前記端末制御部は、
    前記タッチパネルに前記撮影データに基づく画像を表示させると共に、前記撮影データに基づく画像と重畳して、タッチ操作可能な操作ボタンを表示させ、前記タッチパネルに表示させる画像を切り替えた場合も、前記操作ボタンの表示を維持し、
    前記操作ボタンがタッチ操作されている間、前記車両に設けられた情報処理装置に、前記車両の推進を指示する推進指示信号を送信する
    ことを特徴とする請求項1から9のいずれか1項に記載の端末。
  11. 筐体と、前記筐体に設けられた表示パネルとを有する端末の制御方法であって、
    車両に設けられたカメラの撮影結果に基づく撮影データを取得し、
    取得した前記撮影データに基づく画像を前記表示パネルにより表示すると共に、前記筐体の状態を検出し、検出した前記筐体の状態に応じて、前記表示パネルにより表示する画像を切り替える
    ことを特徴とする端末の制御方法。
JP2016245985A 2016-12-19 2016-12-19 端末、及び端末の制御方法 Active JP6831504B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016245985A JP6831504B2 (ja) 2016-12-19 2016-12-19 端末、及び端末の制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016245985A JP6831504B2 (ja) 2016-12-19 2016-12-19 端末、及び端末の制御方法

Publications (2)

Publication Number Publication Date
JP2018101864A true JP2018101864A (ja) 2018-06-28
JP6831504B2 JP6831504B2 (ja) 2021-02-17

Family

ID=62715605

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016245985A Active JP6831504B2 (ja) 2016-12-19 2016-12-19 端末、及び端末の制御方法

Country Status (1)

Country Link
JP (1) JP6831504B2 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010143400A (ja) * 2008-12-18 2010-07-01 Aisin Seiki Co Ltd 表示装置
JP2011159186A (ja) * 2010-02-03 2011-08-18 Clarion Co Ltd 運転支援装置及び運転支援装置の制御方法
JP2013162328A (ja) * 2012-02-06 2013-08-19 Fujitsu Ten Ltd 画像処理装置、画像処理方法、プログラム、及び画像処理システム
JP2013191969A (ja) * 2012-03-13 2013-09-26 Fujitsu Ten Ltd 画像処理装置、画像表示システム、表示装置、画像処理方法及びプログラム
JP2014036400A (ja) * 2012-08-10 2014-02-24 Mitsubishi Agricultural Machinery Co Ltd 車載カメラシステム
JP2015070350A (ja) * 2013-09-27 2015-04-13 日産自動車株式会社 監視画像提示システム
WO2016158236A1 (ja) * 2015-03-27 2016-10-06 クラリオン株式会社 車両制御装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010143400A (ja) * 2008-12-18 2010-07-01 Aisin Seiki Co Ltd 表示装置
JP2011159186A (ja) * 2010-02-03 2011-08-18 Clarion Co Ltd 運転支援装置及び運転支援装置の制御方法
JP2013162328A (ja) * 2012-02-06 2013-08-19 Fujitsu Ten Ltd 画像処理装置、画像処理方法、プログラム、及び画像処理システム
JP2013191969A (ja) * 2012-03-13 2013-09-26 Fujitsu Ten Ltd 画像処理装置、画像表示システム、表示装置、画像処理方法及びプログラム
JP2014036400A (ja) * 2012-08-10 2014-02-24 Mitsubishi Agricultural Machinery Co Ltd 車載カメラシステム
JP2015070350A (ja) * 2013-09-27 2015-04-13 日産自動車株式会社 監視画像提示システム
WO2016158236A1 (ja) * 2015-03-27 2016-10-06 クラリオン株式会社 車両制御装置

Also Published As

Publication number Publication date
JP6831504B2 (ja) 2021-02-17

Similar Documents

Publication Publication Date Title
WO2018116978A1 (ja) 端末、及び端末の制御方法
KR102206272B1 (ko) 주차 지원 방법 및 주차 지원 장치
US20180027179A1 (en) Work vehicle and image displaying method for work vehicle
JP6769860B2 (ja) 端末、及び端末の制御方法
CN105282499A (zh) 周边监视装置及程序
JP4988499B2 (ja) 画像生成装置及び画像生成プログラム
JP6998360B2 (ja) 車両用表示装置及び駐車支援システム
JP2007156756A (ja) 車車間通信システム
CN107428252A (zh) 用于在自主驾驶模式期间操作机动车辆的通信装置的方法,通信装置以及机动车辆
JP2009116586A (ja) タッチ式操作入力装置
JP4802686B2 (ja) 車車間通信システム
JPWO2017158764A1 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
KR20200032547A (ko) 자율주행차량용 ar게임 장치 및 그 방법
JP2019144756A (ja) 車両遠隔操作装置、車両遠隔操作システム及び車両遠隔操作方法
CN115123281A (zh) 图像显示系统
JP2020192877A (ja) 制御装置、制御方法、およびプログラム
JP7028609B2 (ja) 画像表示装置、及び画像表示システム
JP6831505B2 (ja) 端末、端末の制御方法、情報処理装置、及び情報処理装置の制御方法
JP6831504B2 (ja) 端末、及び端末の制御方法
JP2012091625A (ja) 運転支援システム、運転支援方法および運転支援プログラム
JP4725310B2 (ja) 車車間通信システム
KR101856255B1 (ko) 내비게이션 디스플레이 장치
JP7137356B2 (ja) 車載用故障検出装置、及び故障検出方法
CN112977417B (zh) 驻车辅助系统
WO2022210172A1 (ja) 車両用表示システム、車両用表示方法、及び車両用表示プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191011

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200619

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210107

R150 Certificate of patent or registration of utility model

Ref document number: 6831504

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150