<第1実施形態>
以下、本発明の第1実施形態を図面に基づいて説明する。本実施形態では、無線通信網を介して相互に情報の授受を行う、車載装置200、予測進路提示装置100、及びサーバ300とを備える予測進路提示システム1000に、本発明を適用した場合を例にして説明する。
図1は、第1実施形態に係る予測進路提示システム1000のブロック構成図である。図1に示すように、本実施形態の予測進路提示システム1000は、持ち運びが可能な携帯型の予測進路提示装置100と、車載装置200と、サーバ300とを備える。以下、本明細書において、携帯型の予測進路提示装置100を、端末装置100とも称する。
まず、本実施形態の車載装置200について説明する。本実施形態の車載装置200は、一又は複数のカメラ1a〜1d(以下、カメラ1と総称することもある)と、通信装置2と、車両コントローラ3とを備える。車載装置200が備えるカメラ1、通信装置2、車両コントローラ3はCAN(Controller Area Network)その他の車載LANによって接続され、相互に情報の授受を行うことができる。
車載装置200の車両コントローラ3は、車両に関する各種の車両情報31を記憶する。車両情報31は、車両のホイールベース、車長、車幅、旋回半径、最小回転半径などの車両の諸元データを含む。また、本実施形態の車両情報31は、操舵角、車速、シフトポジション信号などの検出データを含む。また、車両コントローラ3は、自車両に搭載されたカメラ1の撮像パラメータを記憶してもよい。撮像パラメータは、自車両に設置された各カメラ1から視点変換画像を生成する際の変数である。本実施形態の撮像パラメータは、車両の長さ、車両の幅の長さ、車両のカメラ1の位置、又は車両のカメラ1のレンズデータを含む。車両のカメラ1の位置は、所定の空間座標におけるX,Y,Zの座標値と、ヨー角、ピッチ角、ロール角の一つ以上を含む。車両コントローラ3が記憶する撮像パラメータは、後述するサーバ300が記憶する撮像パラメータ332と同じである。
車載されたカメラ1a〜1d(総称してカメラ1とも称する。以下、同じ。)は、CCD(Charge Coupled Devices)等の撮像素子を用いて構成される。本実施形態では、撮像可能範囲が広い、広角のカメラ1を使用する。図2は、カメラ1a〜1dを車両Vに取り付ける場合の配置例を示す図である。カメラ1a〜1dは、車両Vの外部の異なる位置に各々設置され、車両周囲の4方向の画像をそれぞれ撮影する。例えば、図2に示すように、フロントグリル部分などの車両Vの前方の所定位置に設置されたカメラ1aは、車両Vの前方のエリアSP1内及びその前方の空間に存在する物体又は路面の画像(フロントビュー画像)を撮影する。左サイドミラー部分などの車両Vの左側方の所定位置に設置されたカメラ1bは、車両Vの左側方のエリアSP2内及びその周囲の空間に存在する物体又は路面の画像(左サイドビュー画像)を撮影する。リアフィニッシャー部分やルーフスポイラー部分などの車両Vのリア(後方)部分の所定位置に設置されたカメラ1cは、車両Vの後方のエリアSP3内及びその後方の空間に存在する物体又は路面の画像(リアビュー画像)を撮影する。右サイドミラー部分などの車両Vの右側方の所定位置に設置されたカメラ1dは、車両Vの右側方のエリアSP4内及びその周囲の空間に存在する物体又は路面の画像(右サイドビュー画像)を撮影する。なお、本実施形態における「車両の後方」には、真後ろのみならず、後方の左右側方をも含む。同様に「車両の前方」には、正面のみならず、前方の左右側方をも含む。カメラ1a〜1dによって撮像された撮像画像は画像処理が施され、所望の監視画像が生成される。
本実施形態の車載装置200の通信装置2は、カメラ1が撮像した撮像画像、車載装置200で生成された監視画像を、端末装置100へ送出する。カメラ1に無線通信機能を備えさせて、カメラ1から端末装置100へ撮像画像を送出してもよい。カメラ1に無線通信機能と画像処理機能とを備えさせて、監視画像を端末装置100へ送出してもよい。端末装置100は、無線の通信網を介してカメラ1が撮像した撮像画像、車載装置200が編集した監視画像の少なくとも一方を取得する。各カメラ1が撮像した画像には、各カメラ1の配置(アドレス)に応じた識別子が付されており、端末装置100は、各識別子に基づいて各撮像画像がどの領域に関するものであるかを識別できる。座標変換により視点変換画像を得る画像変換処理の手法、視点変換画像から車両周囲を俯瞰視する監視装置の生成手法は特に限定されず、出願時に知られた手法を適宜に適用することができる。本実施形態における監視画像は、複数の撮像画像から生成された車両周囲を俯瞰する、撮像画像の一態様である。つまり、撮像画像は、視点変換処理がされた監視画像を含む。
本実施形態における監視画像は、カメラ1により撮像された複数の車両の周辺の撮像画像を、車種ごとに定義された撮像パラメータを用いて、車両の上空の所定の視点から見下ろす所定の投影面に座標変換された視点変換画像である。各撮像画像を視点変換した視点変換画像から端末装置100の提示装置30において情報が提示される表示エリアと表示態様に応じて所定領域の画像を切り出し、各画像が車両を基準としてどの方向の監視画像であるかを識別するための符号を付する。この識別符号を参照し、各視点変換画像を配置して、車両上空から車両を見下ろした映像を示す監視画像を生成する。この監視画像は、所定の態様で提示装置30に提示される。なお、監視画像の生成処理を車載装置200側で行い、監視画像を端末装置100へ送出してもよい。各カメラ1の撮像画像の取得、視点変換画像の生成を車載装置200で行い、端末装置100へ送出し、最終的な監視画像の生成処理を端末装置100側で行ってもよい。
本実施形態の車載装置200の通信装置2は、必要に応じて、車両コントローラ3が記憶する車両情報31、撮像パラメータ332をサーバ300、端末装置100へ送出する。
次に、本実施形態のサーバ300について説明する。サーバ300は、車載装置200及び端末装置100と相互に情報の授受が可能である。本実施形態のサーバ300は、制御装置310と、通信装置320と、記憶装置330とを備える。
サーバ300の通信装置320は、端末装置100、車載装置200と相互に情報の授受を行う。サーバ300は、サーバ300が記憶する情報に端末装置100、車載装置200がアクセスすることを許可する。
サーバ300の記憶装置330は、カメラ位置、レンズデータを含む撮像パラメータ332と、車両の車種に対応づけられた車両情報333とを記憶する。撮像パラメータ332は、車載のカメラ1により撮像された撮像画像を端末装置100のディスプレイ31に提示する処理、予測進路を監視画像上に位置合わせをして描画する処理に用いられる。車両情報333は、車両長、車幅、ホイールベース、最大切れ角、最小回転半径などの車両の諸元を含む情報である。車両情報333は、端末装置100が車両の予測進路を算出する処理に用いられる。サーバ300が記憶する撮像パラメータ332、車両情報333は、端末装置100がサーバ300にアクセスして取得してもよいし、サーバ300が端末装置100に送出してもよい。
サーバ300の制御装置310は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、を備えるコンピュータである。
次に、本実施形態の端末装置100(予測進路提示装置100)について説明する。本実施形態の端末装置100は、スマートフォン、タブレット端末などの通信機能を備える可搬の携帯端末装置である。図1に示すように、本実施形態の端末装置100は、制御装置10と、通信装置20と、提示装置30とを備える。
本実施形態の端末装置100の通信装置20は、外部の車載装置200の通信装置2と相互に情報の授受を行う。通信装置20は、車載装置200から撮像画像を取得する。なお、撮像画像から生成される監視画像は、本発明の「撮像画像」に含まれる。
本実施形態の端末装置100の提示装置30は、後述する制御装置10の指令に従い、後述する予測進路を、その表示エリアに所定の表示態様で提示する。提示装置30は、例えば、ディスプレイ31、スピーカ32である。提示装置30は、サーバ300が記憶する撮像パラメータ332、車両コントローラ3が備える撮像パラメータ32を参照し、所定の表示態様で、車載カメラ1の撮像画像に基づく監視画像(視点変換画像、非視点変換画像を含む)をディスプレイ31に表示する。本実施形態における表示態様は、表示する画像の種類、数、大きさ、表示時間、表示周期などの表示に関する規則である。表示態様は、表示情報21として端末装置100の提示装置30に記憶されている。
また、本実施形態の提示装置30は、予測通路を構成する複数の予測通過点を提示する。予測通過点とは、予測進路を構成する複数の離散的な点である。予測通過点の位置を確認することにより、ドライバは自車両の動きを予測できる。また、離散的な予測通過点を算出し、提示することにより、予測進路を算出し、提示するよりも、処理コストを低減できる。
本実施形態の提示装置30は、予測通過点を提示する際に、提示装置30が備えるディスプレイ31の表示座標系において各予測通過点の間隔が均一となるように、予測通過点を配置する。撮像画像の座標系において間隔が均一な各予測通過点を、そのままディスプレイ31に表示すると、車両に近い手前の各予測通過点の距離は短く、車両から遠い奥の各予測通過点の距離は長くなる。予測通過点の間隔が不均一であると、予測通過点を結んで得られる予測進路が滑らかな線にならず、実際の車両の動きと乖離してしまう。本実施形態では、ディスプレイ31の表示座標系において各予測通過点の間隔が均一となるようにするので、予測通過点を結んで得られる予測進路が実際の車両の動きに応じた滑らかな線を提示できる。
本実施形態の提示装置30は、撮像画像(撮像画像から生成された監視画像を含む)に、予測進路及び/又は予測通過点を重畳して表示する。予測進路や予測通過点を撮像画像に重畳して提示することにより、自車両の位置及び移動中の自車両周囲の状況をドライバが確認しやすくすることができる。
本実施形態の端末装置100が備える制御装置10について説明する。制御装置10は、予測進路を導出して提示させる動作を制御するプログラムが格納されたROM(Read Only Memory)12と、このROM12に格納されたプログラムを実行することで、予測進路提示装置100として機能する動作回路としてのCPU(Central Processing Unit)11と、アクセス可能な記憶装置として機能するRAM(Random Access Memory)13と、を備えるコンピュータである。本実施形態に係る予測進路提示100の制御装置10は、制御機能を実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行する。
以下に、予測進路提示装置100の制御装置10が実現する情報取得機能、予測進路算出機能、提示制御機能について説明する。
まず、情報取得機能について説明する。制御装置10は、通信装置20を介して車載装置200から車両周囲の撮像画像を取得する。撮像画像は、予測進路とともにディスプレイ30に提示される。制御装置10は、通信装置20を介してサーバ300から車両情報333を取得する。車両情報333は、端末装置100側で予測進路を算出する処理に用いられる。
本実施形態の制御装置10は、可搬の端末装置100が持ち込まれた車両の車種に応じた車両情報333を取得する。端末装置100は、車載装置200と通信の確立をする際に、車載装置200の車両コントローラ3から車種の特定情報を取得する。そして、制御装置10は、サーバ300の車両情報333にアクセスした際に、取得した車種に対応づけられた車両情報333を取得する。端末装置100が持ち込まれた車両の車種に応じた車両情報を用いて予測進路を算出することにより、ユーザが実際に搭乗する車両に応じた正確な予測進路を算出できる。
次に予測進路算出機能について説明する。本実施形態の制御装置10は、車両のタイヤが移動する軌跡に応じた予測進路を算出する。
ここで、予測進路の算出手法について図3A〜図3Cに基づいて説明する。図3Aは、車両Vが後退する(前進方向Fの反対方向に進行する)場面を示す。図3Aに示すように、車両Vがハンドルを回転させ、操舵しながら後退すると、車両は、予測通過点WRP,WLPに沿って移動する。この予測通過点WRP,WLPを繋げた線は、車両が移動すると予測されるタイヤの軌跡に沿う予測進路WR,WLである。同図に示すように、車両Vは回転中心Qを中心とする円弧の軌跡WR,WLに沿って移動する。
なお、本例においては、車両の側面と予測進路WR,WLとの距離を0.25mとし、車両後端から0.5mの位置から3.5mの位置に至る3.0mの予測進路WR,WLを算出する。進路予想線WR,WLの定義するための各値は特に限定されず、車両の大きさ、車種、本機能が利用される場面に状況(例えば、駐車枠の広さなど)に応じて適宜に設定できる。
駐車操作時のように低速で移動する場合には、図3Bに示すように、ハンドルの回転角(操舵角)とタイヤの切れ角とは比例する。図3Bの対応情報を参照すれば、操舵角からタイヤの切れ角を得ることができる。ちなみに、図3Bに示す例では、ハンドルを限界まで切った(フル転舵)ときの角度が580度(1回転半以上ハンドルが回転した状態)において、タイヤの切れ角が31度となるように構成されている。
また、図3Cに示すように、タイヤの切れ角とホイールベースWが分かれば、tan(θ)=W/Rの関係から回転半径Rを求めることができる。ホイールベースWは、前輪のタイヤSFL,SFRと後輪のタイヤSRL,SRRとの距離である。ホイールベースWの値は予め一つの値又は車種に応じた値を設定しておいてもよいし、サーバ300又は車載装置200から取得してもよい。
回転半径Rが分かれば、自車両の位置との関係から回転中心Qを求めることができる。これで、回転中心Qを基準とした予測進路WR,WLを求めることができる。このように、ハンドルの操舵角とホイールベースの情報を取得すれば、車両の予測進路を算出できる。
しかしながら、端末装置100が、車両の操舵角等の情報を車載装置200から得て、これらの情報を処理するには時間がかかり、予測進路の提示タイミングが遅れてしまう。提示タイミングが遅れた過去の予測進路は、ドライバにとって意味のない情報となってしまう。
これに対し、本実施形態の予測進路提示装置(端末装置)100は、車両の操舵角(車両の検出値)を用いることなく、予測進路を算出する。本実施形態の予測進路提示装置(端末装置)100は、サーバ300から取得した車両情報333に基づいて予測進路を提示する。たとえば、車両を最大にハンドルを回転させた(フル転舵した)場合の回転半径Rである最小回転半径R´(車両情報)を取得できれば、自車両の位置との関係から回転中心Qを求めることができる。つまり、車両の操舵角を逐次に得なくても、図3Aに示すように、回転中心Qを基準とした予測進路WR,WLを求めることができる。これにより、車載装置に組み込まれていない可搬型の端末装置100が予測進路を提示するための処理コストを低減させ、その提示処理に要する時間を短縮させることができる。
本実施形態の手法によれば、予測進路を一般的な手法で算出する際に必要となる操舵角などの検出情報を逐次取得することなく、予想進路を算出できる。
次に、本実施形態の制御装置10の提示制御機能について説明する。本実施形態の端末装置100の制御装置10は、算出された予測進路を端末装置100のディスプレイ31に提示させる。制御装置10は、ディスプレイ31の表示エリアの大きさ、レイアウト、位置、画素の関する情報を参照し、求めた予測進路をディスプレイ31に提示する。本実施形態では、監視画像(撮像画像、視点変換画像)の上に重畳させて、予測進路を提示させる。つまり、監視画像の座標を基準として、予測進路を描画する。
このように、本実施形態の端末装置(予測進路提示装置)100によれば、車載装置200から車速センサ、ステアリングセンサ等の検出結果を取得することなく、サーバ300から取得した車両情報333に基づいて予測進路を求めるので、予測進路を提示するための処理が簡潔になり、短い処理時間で予測進路を提示できる。この結果、車両の予測進路を車載装置に組み込まれていない可搬型の端末装置にリアルタイムに提示できる。
以下、本発明の第1実施形態の予測進路提示システム1000の処理手順を説明する。図4は、本実施形態に係る予測進路提示システム1000の制御手順を示すフローチャートである。
ステップ101〜105は車載装置200側の処理であり、ステップ201〜205は端末装置100側の処理であり、ステップ301〜302はサーバ300側の処理である。
ステップ101において、本実施形態の車載装置200のカメラ1は車両周囲を撮像して撮像画像を取得する。
車載装置200の車両コントローラ3が備える画像処理機能は、撮像パラメータ32などの変換情報を参照し、変換情報に含まれる自車両の車種に応じた撮像パラメータ32を読み出す。車両コントローラ3は、通信装置2を介して外部のサーバ300から自車両の車種に応じた撮像パラメータ332を取得してもよい。
ステップ103において、車載装置200のコントローラ3は、取得した撮像パラメータ32,332を用いて、撮像画像を視点変換し、車両の上空の所定の視点から見下ろす投影面に座標変換した視点変換画像を生成する。
ステップ104において、車載装置200の画像処理機能は、端末装置100の表示エリア、表示態様を含む表示情報を取得する。そして、ステップ105において、画像処理機能は、視点変換画像から端末装置100の表示情報に応じた監視画像を生成する。車載装置200は、生成した監視画像を端末装置100へ送出する。端末装置100の表示情報に応じた監視画像の生成は、端末装置100側で行ってもよい。その場合には、車載装置200は、ステップ101からステップ105へスキップし、で取得したカメラ1の撮像画像をそのまま端末装置100へ送出する。
次にサーバ300の処理を説明する。サーバ300は、端末装置100との無線通信が確立したら、ステップ301において、予測進路の提示を求める車両の情報を端末装置100から取得する。サーバ300は、予測進路の提示対象となる車両の車種を絞り込む情報を取得する。車両の車種の情報は、販売されている車両の製造者、車種、車型を特定する情報であってもよいし、大型車、セダン、スポーツタイプ、コンパクトカー、軽自動車などの予め設定された車両のカテゴリを特定する情報であってもよい。本実施形態において車種の情報は、製造者が付する車両のタイプを特定する情報のみならず、予め任意に設定された車両のカテゴリを特定する情報も含む。
ステップ302において、サーバ300は、取得した車両の車種に応じた車両情報333を読み出す。記憶装置330は、車種ごとに車両情報333が対応づけられた対応情報を記憶する。
ステップ303において、サーバ300は、要求された車種に応じた車両情報333を、端末装置100へ送出する。
続いて、端末装置100の処理を説明する。ステップ201において、端末装置100と車載装置200とは無線通信の確立を確認する。無線通信が確立したら、ステップ202において、端末装置100は、車載装置200が生成した監視画像を取得する。端末装置100は、取得した監視画像を所定の表示規則に従い、ディスプレイ31に提示する。
ステップ202と相前後して、ステップ203において、端末装置100は、サーバ300から車両情報333を取得する。
続くステップ204において、端末装置100の制御装置10は、車両情報333に基づいて、車両のタイヤが移動する軌跡に応じた予測進路を算出する。予測進路の算出の手法は特に限定されない。制御装置10は、サーバ300から取得した車両の最小回転半径R´に基づいて、予測進路を算出してもよい。制御装置10は、サーバ300から取得した車両の最大切れ角θ´と車両のホイールベースに基づいて、予測進路を算出してもよい。
ステップ205において、端末装置100の制御装置10は、算出した予測進路を監視画像(撮像画像、視点変換画像を含む)に重畳して提示する。
図5Aは、視点変換処理がされていない監視画像(つまり撮像画像)の上に、複数の予測通過点WP(図中丸印で示す)と、この予測通過点をつなげた左右のタイヤ位置に応じた予測進路WR,WLとを重畳表示した例を示す。複数の予測通過点WPの間の距離は均等となるように調整されている。ディスプレイ31の表示座標上で複数の予測通過点WPピッチが均等となるように調整されているので、予測通過点WPから構成される予測進路WR,WLを滑らかな曲線として表示できる。実際の車両は連続的に動くのに、角度の大きい頂点を備えた予測進路を提示すると、乗員は違和感を感じる可能性がある。本実施形態では、乗員が違和感を感じないように、実際の車両の動きに合った予測進路をディスプレイ31に表示する。
図5Bは、端末装置100のディスプレイ31の左側領域に視点変換処理がされた監視画像(視点変換画像)を表示し、右側領域に視点変換処理がされていない監視画像(撮像画像)を表示する例を示す。同図に示すように、視点変換処理がされた監視画像(視点変換画像)と、視点変換処理がされていない監視画像(撮像画像)の両方に、複数の予測通過点WP(図中丸印で示す)と、この予測通過点を繋げた予測進路WR,WPとを重畳表示した例を示す。
以上のとおり構成され、動作する本発明の実施形態に係る予測進路提示装置(端末装置)100、予測進路提示システム1000は、以下の効果を奏する。
[1−1]本実施形態の予測進路提示装置100によれば、車載装置200から操舵角等の検出情報を逐次取得することなく、サーバ300から取得した車両情報333に基づいて予測進路を求めるので、予測進路を提示するための処理が簡潔になり、短い処理時間で予測進路を提示できる。この結果、車載装置に組み込まれていない可搬型の端末装置に車両の予測進路を提示する場合であっても、車両の予測進路を遅延することなく提示できる。
[1−2]本実施形態の予測進路提示装置100によれば、端末装置100の制御装置10が、サーバ300の車両情報333にアクセスした際に、取得した車種に対応づけられた車両情報333を取得する。端末装置100が持ち込まれた車両の車種に応じた車両情報を用いて予測進路を算出することにより、ユーザが実際に搭乗する車両に応じた正確な予測進路を算出できる。
[1−3]本実施形態の予測進路提示装置100によれば、予測通過点を表示する際に、ディスプレイ31の表示座標系において各予測通過点の間隔が均一となるようにするので、予測通過点を結んで得られる予測進路が実際の車両の動きに応じた滑らかな線を提示できる。
[1−4]本実施形態の予測進路提示装置100によれば、撮像画像(撮像画像から生成された監視画像を含む)に、予測進路及び/又は予測通過点を重畳して表示するので、自車両の位置及び移動中の自車両周囲の状況をドライバが確認しやすくすることができる。
<第2実施形態>
以下に、本発明の予測進路提示装置に係る第2実施形態の予測進路提示システム1000について説明する。
第2実施形態の予測進路提示システム1000では、予測進路の算出をサーバ300側において行い、サーバが算出した予測通過点を端末装置100へ送出し、端末装置100が受信した予測通過点に応じた予測進路を提示する点を特徴とする。
図6は、第2実施形態に係る予測進路提示システム1000のブロック構成図である。図6に示すように、第2実施形態の予測進路提示システム1000は、互いに情報の授受が可能な車載装置200、予測進路提示装置100(以下、端末装置100とも称する)、及びサーバ300とを備える点で第1実施形態と共通する。車載装置200、予測進路提示装置100、及びサーバ300の各構成及び動作は、第1実施形態の車載装置200、予測進路提示装置100、及びサーバ300の各構成及び動作と基本的に共通するので、第1実施形態における説明を援用し、異なる点を中心として以下に説明する。
まず、車載装置200について説明する。第2実施形態の車載装置200の車載装置200は、一又は複数のカメラ1a〜1d(以下、カメラ1と総称することもある)と、通信装置2と、車両コントローラ3とを備える。第2実施形態のカメラ1、通信装置2、車両コントローラ3の各機能、各動作は第1実施形態のカメラ1、通信装置2、車両コントローラ3と共通するので、第1実施形態における説明を援用する。
次に、サーバ300について説明する。本実施形態のサーバ300は、車載装置200及び端末装置100と相互に情報の授受が可能である。本実施形態のサーバ300は、制御装置310と、通信装置320と、記憶装置330とを備える。
サーバ300の通信装置320は、端末装置100、車載装置200と相互に情報の授受を行う。サーバ300が記憶する情報へのアクセスを許可する。
サーバ300の記憶装置330は、車両の移動に伴う進路に関する予測通過点情報331と、カメラ位置、レンズデータを含む撮像パラメータ332と、車両の車種に対応づけられた車両情報333とを記憶する。予測通過点情報331は、予め算出された値で構成してもよいし、要求に応じて算出した予測通過点に関する情報を追加して構成してもよい。また、予測通過点情報331は、予測通過点の座標を車両の車種に対応づけておくことが好ましい。撮像パラメータ332は、車載のカメラ1により撮像された撮像画像を端末装置100のディスプレイ31に提示する処理、予測進路を監視画像上に位置合わせをして描画する処理に用いられる。車両情報333は、車両長、車幅、ホイールベース、最大切れ角、最小回転半径などの車両の諸元を含む情報である。車両情報333は、車両の車種ごとに対応づけられていることが好ましい。車両情報333は、サーバ300が車両の予測進路を算出する処理に用いられる。
サーバ300の制御装置310は、予測進路を端末装置100に提示させる動作を制御するプログラムが格納されたROM(Read Only Memory)12と、このROM12に格納されたプログラムを実行することで、サーバ300として機能する動作回路としてのCPU(Central Processing Unit)11と、アクセス可能な記憶装置として機能するRAM(Random Access Memory)13と、を備えるコンピュータである。本実施形態に係るサーバ300の制御装置310は、制御機能を実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行する。
サーバ300の制御装置310は、記憶装置330が記憶する車両情報333に基づいて車両の予測進路を構成する複数の離散的な予測通過点を算出する予測通過点算出機能を備える。制御装置31は、第1実施形態の端末装置100の予測進路算出機能が予測進路を算出する手法と同様の手法により、予測通過点を算出する。すなわち、制御装置310は、車両情報333として記憶された車両の最小回転半径R´に基づいて、予測進路を算出してもよい。制御装置310は、車両情報333として記憶された車両の最大切れ角θ´と車両のホイールベースに基づいて、予測進路を算出してもよい。予測通過点は、予測進路上の離散的な値である。サーバ300は、最終的に端末装置100がユーザに予測進路を提示するにあたり必要な情報として、予測通過点の座標値を送出する。この場合に、予測進路を導くことができる離散的な予測通過点の情報を端末装置100へ送出することにより、送受信に係る情報量を低減できる。サーバ300の制御装置310は、一度算出した予測通過点を、記憶装置330に記憶し、予測通過点情報331を構築してもよい。このとき予測通過点情報331には、車種の情報を付記してもよい。
サーバ300の制御装置310は、端末装置100から端末装置200が持ち込まれた車両の車種を特定する情報を取得し、その車種に応じた車両情報を用いて予測通過点を算出する。これにより、車種に応じた予測通過点を端末装置100に提供できる。
サーバ300の通信装置320は、端末装置100の要求に応じて、予測通過点を端末装置100に取得させる。
最後に、本実施形態の端末装置100(予測進路提示装置100)について説明する。本実施形態の端末装置100は、第1実施形態と同様に、スマートフォン、タブレット端末などの通信機能を備える可搬の携帯端末装置である。図6に示すように、本実施形態の端末装置100は、制御装置10と、通信装置20と、提示装置30とを備える。
本実施形態の通信装置20、提示装置30の機能は、第1実施形態の通信装置20、提示装置と基本的に共通するので、第1実施形態の説明を援用する。
本実施形態の制御装置10は、第1実施形態と異なり、車両の予測進路を算出処理を行わない。代わって、サーバ300が算出した予測進路を構成する複数の離散的な予測通過点を取得し、この予測通過点に基づく車両の予測進路を提示する。
本実施形態の端末装置100の制御装置10は、予測通過点から導出した予測進路を提示させる動作を制御するプログラムが格納されたROM(Read Only Memory)12と、このROM12に格納されたプログラムを実行することで、予測進路提示装置100として機能する動作回路としてのCPU(Central Processing Unit)11と、アクセス可能な記憶装置として機能するRAM(Random Access Memory)13と、を備えるコンピュータである。本実施形態に係る予測進路提示100の制御装置10は、制御機能を実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行する。
以下に、予測進路提示装置100の制御装置10が実現する情報取得機能、提示制御機能について説明する。
まず、情報取得機能について説明する。制御装置10は、通信装置20を介してサーバ300から車両周囲の予測通過点を特定する情報を取得する。予測通過点を特定する情報とは、所定の座標系における各予測通過点の座標値である。また、制御装置10は、第1実施形態と同様に、車載装置200から撮像画像を取得する。撮像画像は、撮像画像そのもの及び/又は撮像画像から得られた視点変換画像などの車両周囲の状態を示す監視画像を含む。
次に実施形態の制御装置10の提示制御機能について説明する。本実施形態の端末装置100の制御装置10は、取得した予測通過点に基づく車両の予測進路を、車載装置200から取得した撮像画像に重畳させて、端末装置100のディスプレイ31に提示させる。予測進路は、取得した予測通過点の各点を距離の近い順に繋げて得ることができる。第1実施形態と同様に、制御装置10は、ディスプレイ31の表示エリアの大きさ、レイアウト、位置、画素の関する情報を参照し、求めた予測進路をディスプレイ31に提示する。本実施形態では、監視画像(撮像画像、視点変換画像)の上に重畳させて、予測進路を提示させる。つまり、監視画像の座標を基準として、予測進路を描画する。また、第1実施形態と同様に、ディスプレイ31の表示座標系において予測通過点の間隔が均一となるように、予測通過点を配置することが好ましい。
以下、本発明の第2実施形態の予測進路提示システム1000の処理手順を説明する。図7は、本実施形態に係る予測進路提示システム1000の制御手順を示すフローチャートである。
ステップ101〜105は車載装置200側の処理であり、ステップ201〜205は端末装置100側の処理であり、ステップ301〜302はサーバ300側の処理である。
車載装置200側の処理であるステップ101〜105は、第1実施形態と共通するので、その説明を援用する。
次にサーバ300の処理を説明する。サーバ300は、端末装置100との無線通信が確立したら、ステップ301において、予測進路の提示を求める車両の情報を端末装置100から取得する。サーバ300は、予測進路の提示対象となる車両の車種を絞り込む情報を取得する。車両の車種の情報は、第1実施形態のそれと共通する。
ステップ302において、サーバ300は、取得した車両の車種に応じた車両情報333を読み出す。記憶装置330は、車種ごとに車両情報333が対応づけられた対応情報を記憶する。
ステップ311において、サーバ300は、要求された車種に応じた車両情報333を用いて予測通過点を算出する。予測進路の算出の手法は特に限定されない。制御装置10は、サーバ300から取得した車両の最小回転半径R´に基づいて、予測進路を算出してもよい。制御装置10は、サーバ300から取得した車両の最大切れ角θ´と車両のホイールベースに基づいて、予測進路を算出してもよい。サーバ300は、要求された車種に応じた予測通過点がすでに記憶装置330の予測通過点情報331に記憶されている場合には、その要求された車種に応じた予測通過点情報を読み出す。ステップ312において、サーバ300は、算出した又は読み出した予測通過点情報331を端末装置100へ送出する。
続いて、端末装置100の処理を説明する。ステップ201において、端末装置100と車載装置200とは無線通信の確立を確認する。無線通信が確立したら、ステップ202において、端末装置100は、車載装置200が生成した監視画像を取得する。端末装置100は、取得した監視画像を所定の表示規則に従い、ディスプレイ31に提示する。
ステップ202と相前後して、ステップ211において、端末装置100は、サーバ300から予測通過点情報331を取得する。
続くステップ212において、端末装置100の制御装置10は、予測通過点情報331を辿る線を、車両のタイヤが移動する軌跡に応じた予測進路として算出する。
ステップ205において、端末装置100の制御装置10は、算出した予測進路を監視画像(撮像画像、視点変換画像を含む)に重畳して提示する。測進路を監視画像(撮像画像、視点変換画像を含む)に重畳した提示情報は、第1実施形態の図5A及び図5Bに示すとおりである。
以上のとおり構成され、動作する本発明の実施形態に係る予測進路提示装置(端末装置)100、予測進路提示システム1000は、以下の効果を奏する。
[2−1]本実施形態の予測進路提示装置100によれば、車載装置200から操舵角等の検出情報を逐次取得することなく、サーバ300から取得した予測通過点情報331から予測進路を求めるので、予測進路を提示するための処理が簡潔になり、短い処理時間で予測進路を提示できる。この結果、車載装置に組み込まれていない可搬型の端末装置に車両の予測進路を提示する場合であっても、車両の予測進路を遅延することなく提示できる。また、サーバ300は予測進路の一部であって、予測進路を構成する離散的な予測通過点を端末装置100へ送出するので、サーバ300と端末装置100との通信量を低減できるので、予測進路の提示にかかる時間を短縮できる。
[2−2]本実施形態の予測進路提示装置100によれば、サーバ300は、車種に対応づけられた車両情報333に基づいて予測通過点を算出する。端末装置100が持ち込まれた車両の車種に応じた車両情報を用いて予測通過点を算出することにより、ユーザが実際に搭乗する車両に応じた正確な予測進路を算出できる。
[2−3]本実施形態の予測進路提示装置100によれば、予測通過点を表示する際に、ディスプレイ31の表示座標系において各予測通過点の間隔が均一となるようにするので、予測通過点を結んで得られる予測進路が実際の車両の動きに応じた滑らかな線を提示できる。
[2−4]本実施形態の予測進路提示装置100によれば、撮像画像(撮像画像から生成された監視画像を含む)に、予測進路及び/又は予測通過点を重畳して表示するので、自車両の位置及び移動中の自車両周囲の状況をドライバが確認しやすくすることができる。
<第3実施形態>
以下に、本発明の予測進路提示装置に係る第3実施形態の予測進路提示システム1000について説明する。
第1実施形態及び第2実施形態では、車載装置に組み込まれていない可搬型の端末装置のディスプレイに車両の予測進路を提示する場合には、刻々に変化する舵角情報を端末装置が車載装置から逐次取得しなければならず、情報の処理に時間がかかり、予測進路を提示するタイミングが遅れる可能性があるという観点から、舵角情報を取得せずに予測進路を算出する手法を提案した。
車載装置に組み込まれていない可搬型の端末装置のディスプレイに車両の予測進路を提示する処理において、舵角情報の取得以外に、遅延の原因の一つとして想定できるのは、車両情報に基づいて予測進路を算出する処理にかかる時間である。
本実施形態では、予測進路の算出処理にかかる時間を短縮するという第1及び第2実施形態と共通の課題を解決する観点から、端末装置100が舵角情報に対応づけられた、車両の予測進路を構成する複数の離散的な予測通過点の情報を予め備え、取得した舵角情報に応じた予測通過点を読み出して、予測進路を導く。
第3実施形態の予測進路提示システム1000では、予測進路の算出を端末装置100側において行う。
図8は、第3実施形態に係る予測進路提示システム1000のブロック構成図である。図8に示すように、第3実施形態の予測進路提示システム1000は、互いに情報の授受が可能な車載装置200及び予測進路提示装置100(以下、端末装置100とも称する)を備える。車載装置200及び予測進路提示装置100の各構成及び動作は、第1及び第2実施形態の車載装置200及び予測進路提示装置100の各構成及び動作と基本的に共通するので、第1実施形態における説明を援用し、異なる点を中心として以下に説明する。
まず、車載装置200について説明する。第2実施形態の車載装置200の車載装置200は、一又は複数のカメラ1a〜1d(以下、カメラ1と総称することもある)と、通信装置2と、車両コントローラ3とを備える。第2実施形態のカメラ1、通信装置2、車両コントローラ3の各機能、各動作は第1実施形態のカメラ1、通信装置2、車両コントローラ3と共通するので、第1実施形態における説明を援用する。
次に、本実施形態の端末装置100(予測進路提示装置100)について説明する。本実施形態の端末装置100は、第1、第2実施形態と同様に、スマートフォン、タブレット端末などの通信機能を備える可搬の携帯端末装置である。図8に示すように、本実施形態の端末装置100は、制御装置10と、通信装置20と、提示装置30とを備える。
本実施形態の通信装置20、提示装置30の機能は、第1、第2実施形態の通信装置20、提示装置と基本的に共通するので、必要に応じて第1、第2実施形態の説明を援用する。
次に、端末装置100のの制御装置10について説明する。
本実施形態の端末装置100の制御装置10は、予測通過点から導出した予測進路を提示させる動作を制御するプログラムが格納されたROM(Read Only Memory)12と、このROM12に格納されたプログラムを実行することで、予測進路提示装置100として機能する動作回路としてのCPU(Central Processing Unit)11と、アクセス可能な記憶装置として機能するRAM(Random Access Memory)13と、を備えるコンピュータである。本実施形態に係る予測進路提示100の制御装置10は、制御機能を実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行する。
以下に、予測進路提示装置100の制御装置10が実現する情報取得機能、予測進路算出機能、及び提示制御機能について説明する。
まず、情報取得機能について説明する。制御装置10は、通信装置20を介して車載装置200から撮像画像を取得する。撮像画像は、撮像画像そのもの及び/又は撮像画像から得られた視点変換画像などの車両周囲の状態を示す監視画像を含む。また、制御装置10は、車載装置200の車両コントローラ3から車両の操舵情報を含む車両情報を取得する。
次に、予測進路算出機能について説明する。
本実施形態の制御装置10は、車両の舵角情報に対応づけられた、車両の予測進路を構成する複数の離散的な予測通過点の情報を参照し、取得した舵角情報に対応する予測通過点に基づいて車両の予測進路を算出する。
本実施形態の制御装置10は、車両の舵角情報に対応づけられた、車両の予測進路を構成する複数の離散的な予測通過点の予測通過点情報131を記憶する。予測通過点情報131は、車両のタイヤが通過する予測される点を特定するための、所定の座標系における座標値である。特に限定されないが、本実施形態の予測通過点は、操舵可能な舵角を例えば32段階に分けて、所定の舵角範囲に対応する各段階ごとに一組の予測通過点群を定義する。制御装置10は、車載装置200側で検出された舵角情報(舵角)が属する段階を特定して、所定の予測通過点群を得る。これにより、舵角情報から簡易に予測通過点群を取得でき、予測進路を導くまでの時間を短縮できる。なお、予測通過点情報131は、予め算出された値で構成してもよいし、要求に応じて算出した予測通過点に関する情報を追加して構成してもよい。。
本実施形態の予測通過点情報131は、予測通過点の座標を車両の車種に対応づけておくことが好ましい制御装置10は、端末装置200が持ち込まれた車両の車種を特定する情報を取得し、その車種に応じた予測通過点情報131を取得できる。これにより、車種に応じた予測通過点を端末装置100に提供できる。
また、本実施形態の制御装置10は、撮像パラメータ132を記憶する。撮像パラメータ132は、車載のカメラ1により撮像された撮像画像を端末装置100のディスプレイ31に提示する処理、予測進路を監視画像上に位置合わせをして描画する処理に用いられる。
次に実施形態の制御装置10の提示制御機能について説明する。本実施形態の端末装置100の制御装置10は、取得した予測通過点に基づいて算出されたの予測進路を、車載装置200から取得した撮像画像に重畳させて、端末装置100のディスプレイ31に提示させる。制御装置10は、取得した予測通過点の各点を距離の近い順に繋げて予測進路を算出する。
制御装置10は、第1実施形態と同様に、ディスプレイ31の表示エリアの大きさ、レイアウト、位置、画素の関する情報を参照し、求めた予測進路をディスプレイ31に提示する。本実施形態では、監視画像(撮像画像、視点変換画像)の上に重畳させて、予測進路を提示させる。つまり、監視画像の座標を基準として、予測進路を描画する。また、第1実施形態と同様に、ディスプレイ31の表示座標系において予測通過点の間隔が均一となるように、予測通過点を配置することが好ましい。
以下、本発明の第2実施形態の予測進路提示システム1000の処理手順を説明する。図9は、本実施形態に係る予測進路提示システム1000の制御手順を示すフローチャートである。
ステップ101〜106は車載装置200側の処理であり、ステップ201、221〜223、205は端末装置100側の処理である。
車載装置200側の処理であるステップ101〜105は、第1実施形態と共通するので、その説明を援用する。ステップ105に続く、ステップ106において、通信装置2は、車載装置200の車両コントローラ3が取得した舵角信号を端末装置100へ送出する。
次に、端末装置100の処理を説明する。ステップ201において、端末装置100と車載装置200とは無線通信の確立を確認する。無線通信が確立したら、ステップ221において、端末装置100は、車載装置200が生成した監視画像と、車載装置200が検出した舵角情報を取得する。端末装置100は、取得した監視画像を所定の表示規則に従い、ディスプレイ31に提示する。
ステップ222において、端末装置100の制御装置10は、予測通過点情報131を参照して、取得した舵角情報に応じた予測通過点(群)を取得する。ステップ223において、端末装置100の制御装置10は、群をなす複数の予測通過点を距離の近いものを順次繋げて予測進路を算出する。
続くステップ205において、端末装置100の制御装置10は、算出した予測進路を監視画像(撮像画像、視点変換画像を含む)に重畳して提示する。測進路を監視画像(撮像画像、視点変換画像を含む)に重畳した提示情報は、第1実施形態の図5A及び図5Bに示すとおりである。
以上のとおり構成され、動作する本発明の実施形態に係る予測進路提示装置(端末装置)100、予測進路提示システム1000は、以下の効果を奏する。
[3−1]本実施形態の予測進路提示装置100によれば、予測進路の算出処理を一々実行することなく、予め舵角情報に対応づけた予測通過点情報131を参照して、車載装置200から取得した舵角情報に応じた予測通過点を読み出して、その予測通過点から予測進路を求めるので、予測進路を提示するための処理が簡潔になり、短い処理時間で予測進路を提示できる。この結果、車載装置に組み込まれていない可搬型の端末装置に車両の予測進路を提示する場合であっても、車両の予測進路を遅延することなく提示できる。
[3−2]本実施形態の予測進路提示装置100によれば、予測通過点を表示する際に、ディスプレイ31の表示座標系において各予測通過点の間隔が均一となるようにするので、予測通過点を結んで得られる予測進路が実際の車両の動きに応じた滑らかな線を提示できる。
[3−3]本実施形態の予測進路提示装置100によれば、撮像画像(撮像画像から生成された監視画像を含む)に、予測進路及び/又は予測通過点を重畳して表示するので、自車両の位置及び移動中の自車両周囲の状況をドライバが確認しやすくすることができる。
なお、以上説明したすべての実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
本明細書では、本発明に係る予測進路提示システムの一態様として、予測進路提示装置100(端末装置100)と、車載装置200とを有する予測進路提示システム1000を説明するが、これに限定されるものではない。本発明に係る端末装置の一態様として、制御装置10と、通信装置20と、提示装置30と、とを備える端末装置100を説明するが、これに限定されるものではない。本発明に係る車載装置の一態様として、カメラ1a〜1d,1と、通信装置2と、車両コントローラ3とを備える車載装置200を説明するが、これに限定されるものではない。
本発明に係る情報取得手段と、予測進路算出手段と、提示手段とを有する予測進路提示装置の一態様として、第1実施形態では、情報取得機能と、予測進路算出機能と、提示制御機能とを実行する制御装置10を備える予測進路提示装置100(端末装置100)を説明するが、これに限定されるものではない。
本発明に係る記憶手段と、予測通過点算出手段とを有するサーバの一態様として、第2実施形態では、記憶装置330と、予測通過点算出機能を実行する制御装置310を備えるサーバ300を説明するが、これに限定されるものではない。
本発明に係る情報取得手段と、予測進路算出手段と、提示手段とを有する端末装置の一態様として、第3実施形態では、情報取得機能と、予測進路算出機能と、提示制御機能とを実行する制御装置10を備える端末装置100を説明するがこれに限定されるものではない。