JP2023006857A5 - - Google Patents

Description

本発明は、概して、車両の周囲を撮像する撮像部から出力される画像信号に基づいて生成される所定の視点からのビューを呼び出す技術に関する。

車両に取り付けられている複数のカメラで撮影された映像を合成した、車両周辺の立体視映像、俯瞰映像といった合成映像（ビュー）をモニターに表示する技術が知られている（特許文献１参照）。ビューによれば、投影面として３次元座標を用いることで、車両とその周辺映像とを立体的に表現することができる。

米国特許出願公開第２０１８／０３１５２４４号明細書

従来のビューの呼び出しにおいては、メニューが複数の階層にわたる場合、何度もタッチ、スワイプ等の操作をして、ビューを呼び出す必要がある。そして、気になる車両周辺の環境（周辺環境）をビューで確認するためには、ビューを呼び出した後に、ビューの視点を調整する操作が必要となり、この調整のために画面を注視しなければならない。ビューを利用する際の手数の多さに加え、画面の注視の必要性は、ビューの利用を億劫にし、運転開始時、駐車時、運転時等において、ビューが利用される機会が損なわれてしまう。

本発明は、以上の点を考慮してなされたもので、目的のビューを容易に呼び出し得るビュー表示装置等を提案しようとするものである。

かかる課題を解決するため本発明においては、車両に搭載され、前記車両に係るビューをタッチスクリーンに表示するビュー表示装置であって、前記車両の周囲を撮像する撮像部から出力される画像信号に基づいて、所定の視点からのビューを生成するビュー生成部と、前記ビュー生成部により生成されるビューを表示するための表示領域を含む画面を生成する画面生成部と、を備え、前記タッチスクリーンに対するスライド操作における複数のスライド方面の各々に対して、各スライド方面のビューを生成するための視点の位置を示すカメラ座標が予め設けられ、前記画面生成部は、前記タッチスクリーンに対する特定の入力操作が検出されたことをトリガーとして、前記ビュー生成部により生成される第１の視点からのビューを表示するための表示領域を含む画面を生成し、前記ビュー生成部は、前記タッチスクリーンに対するスライド操作が検出された場合、前記第１の視点のカメラ座標を、前記スライド操作のスライド方面に対して予め設けられている第２の視点のカメラ座標に変更し、前記第２の視点からのビューを生成するようにした。

上記構成では、予め定められた複数のスライド方面のうち何れかのスライド方面のスライド操作が行われた場合、当該スライド方面に対して予め設けられている視点からのビューが表示される。上記構成によれば、例えば、ユーザは、気になる周辺環境をビューで確認したいときに、規定のビューの中から、目的に近いビューを少ない手数で呼び出すことができる。

本発明によれば、利便性の高いビュー表示装置を実現することができる。

運転支援システムに係る全体構成の一例を示す図である。 運転支援システムに係るハードウェア構成の一例を示す図である。 ビュー表示装置の機能構成の一例を示す図である。 空間モデルの一例を示す図である。 表示領域のレイアウトの一例を示す図である。 ビュー呼出処理の一例を示す図である。 画面遷移の一例を示す図である。 ビューの切り替えの一例を示す図である。

（Ｉ）実施形態
以下、本発明の一実施形態を詳述する。ただし、本発明は、実施形態に限定されるものではない。本実施形態のビュー表示装置は、車両の外部に設置された複数のカメラで撮影された車両周囲の画像を、ユーザにより選択された地点からのビューに合成してタッチスクリーンに表示する。例えば、本ビュー表示装置は、以下のステップＡ）～Ｃ）を実行する。

Ａ）特定のタッチ操作をトリガーとして、所定の視点からの車両を含むビューを表示するステップ
Ｂ）ユーザによるタッチスクリーン上におけるスライド操作を検出するステップ
Ｃ）上記スライド操作に応じた方向の車両部分および周囲が拡大されて表示されるビューとなる視点に変更するステップ

上記Ｃ）のステップは、例えば、
Ｃ１）画面上方向の上記スライド操作が検出された場合には、車両前方が拡大されて表示されるビューとなる視点に変更すること、
Ｃ２）画面下方向の上記スライド操作が検出された場合には、車両後方が拡大されて表示されるビューとなる視点に変更すること、
Ｃ３）画面右方向の上記スライド操作が検出された場合には、車両右側が拡大されて表示されるビューとなる視点に変更すること、および
Ｃ４）画面左方向の上記スライド操作が検出された場合には、車両左側が拡大されて表示されるビューとなる視点に変更すること、を含む。

本ビュー表示装置は、上記Ｃ）のステップによる表示が行われた後、ユーザによるタッチスクリーン上におけるスライド操作がさらに検出されると、予め定められた視点からのビューに順次表示を変更することを特徴とする。上記Ｃ）のステップによる表示は、例えば、車両の真上以外の視点からのパースビューであり、本ビュー表示装置は、ユーザによるタッチスクリーン上におけるスライド操作がさらに検出されると、車両の真上を視点とした俯瞰画像に変更することを特徴とする。本ビュー表示装置は、ユーザによるタッチスクリーン上におけるスライド操作がさらに検出されると、Ｃ）のステップによる表示よりもさらに各所が拡大されるビューとなる視点に変更することを特徴とする。

このように、本ビュー表示装置は、特定のタッチ操作をトリガーとし、スライド操作による座標移動と、当該座標移動に連動したレイアウト変更と、当該座標移動に連動したビュー上のカメラ座標の変更と、当該座標移動に連動したカメラターゲットの座標変更とを行うことを特徴とする。上記構成によれば、ユーザは、障害物と接触するかを速やかに確認したいときに、規定のパターンの中から目的のビューを非常に少ない手数で呼び出すことができるため、安全な運転に寄与できる。

次に、本発明の実施形態を図面に基づいて説明する。以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施することが可能である。特に限定しない限り、各構成要素は、単数でも複数でも構わない。

なお、以下の説明では、図面において同一要素については、同じ番号を付し、説明を適宜省略する。また、同種の要素を区別しないで説明する場合には、枝番を含む参照符号のうちの共通部分（枝番を除く部分）を使用し、同種の要素を区別して説明する場合は、枝番を含む参照符号を使用することがある。例えば、カメラを特に区別しないで説明する場合には、「カメラ１０２」と記載し、個々のカメラを区別して説明する場合には、「前方カメラ１０２－１」のように記載することがある。

本明細書等における「第１」、「第２」、「第３」等の表記は、構成要素を識別するために付するものであり、必ずしも、数または順序を限定するものではない。また、構成要素の識別のための番号は、文脈毎に用いられ、１つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。

図１は、運転支援システム１００に係る全体構成の一例を示す。運転支援システム１００は、車両１０１に搭載され、車両１０１の運転を支援する。

車両１０１の前後左右には、広範囲を観測可能な広角レンズ、魚眼レンズ等が装着されたカメラ１０２（撮像部の一例）が設けられている。これらのカメラ１０２により、車両１０１の周囲の路面を含む領域を漏れなく観測（撮影）することができる。

例えば、運転支援システム１００は、前方カメラ１０２－１、後方カメラ１０２－２、左側方カメラ１０２－３、および右側方カメラ１０２－４を備える。

前方カメラ１０２－１は、車両１０１の前方に向けて設けられるカメラ１０２であり、車両１０１の前方の部位であるフロントバンパ、フロントグリル等に設けられている。後方カメラ１０２－２は、車両１０１の後方に向けて設けられるカメラ１０２であり、車両１０１の後方の部位であるリアバンパ、リアガーニッシュ等に設けられている。左側方カメラ１０２－３は、車両１０１の左側方に向けて設けられるカメラ１０２であり、車両１０１の左側方の部位である左ドアミラー等に設けられている。右側方カメラ１０２－４は、車両１０１の右側方に向けて設けられるカメラ１０２であり、車両１０１の右側方の部位である右ドアミラー等に設けられている。

運転支援システム１００は、カメラ１０２により車両１０１の周囲が撮像された画像に基づいて、所定の視点からの合成画像を生成し、生成した合成画像をドライバ等のユーザに提示する。合成画像としては、パースビュー画像（立体視画像）と、俯瞰画像とがある。パースビュー画像は、車両１０１の真上以外の視点からの遠近法表示の画像であり、車両１０１の周囲を斜め上方または側方から見た背景画像と、車両１０１を表すアイコンとを含む画像である。俯瞰画像は、車両１０１の真上の視点からの画像であり、車両１０１の周囲を上方から見た背景画像と、車両１０１の上面の画像とを含む画像である。以下では、パースビュー画像またはその映像を「パースビュー」と記す。俯瞰画像またはその映像を「俯瞰画像」と記す。パースビューと俯瞰画像との区別を要しないときは「ビュー」と記す。

図２は、運転支援システム１００に係るハードウェア構成の一例を示す。運転支援システム１００は、画像処理装置２１０と、ナビゲーション装置２２０と、車輪速センサ２３０と、操舵角センサ２４０とを備える。

画像処理装置２１０は、例えば、カメラＥＣＵ（Electronic Control Unit）であり、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を含むマイクロコントローラを主体として構成される。画像処理装置２１０（ビュー生成部の一例）は、車両１０１の周囲を撮像するカメラ１０２を制御するとともに、カメラ１０２から出力される画像信号に基づいて、所定の視点（例えば、後述の仮想視点４１１）からのビューを生成する。また、画像処理装置２１０（画面生成部の一例）は、生成したビューを表示するための表示領域を含む画面を生成する。なお、画像処理装置２１０の機能については、図３を用いて後述する。

ナビゲーション装置２２０は、画像処理装置２１０で生成されたビュー、画面等を表示したり、ユーザからの入力操作を受け付けたりするタッチスクリーンの一例である。より具体的には、ナビゲーション装置２２０は、画像を表示するモニター２２１と、ユーザが入力操作するタッチパネル２２２と、を備える。モニター２２１には、画像等が表示される表示面に、タッチパネル２２２が重畳されている。タッチパネル２２２は、ユーザの入力操作を受けて、仮想カメラ情報を生成する。なお、タッチパネル２２２のタッチセンサは、タッチパネル２２２においてタッチされている座標（タッチ座標）が取得できればよく、感圧センサ、静電センサ、光センサ等、どのようなセンサであってもよい。仮想カメラ情報は、ビューを投影する所定の空間モデルに仮想的に設置された仮想カメラに関する情報である。なお、空間モデルについては、図４を用いて後述する。

なお、入力操作が可能な操作部としては、タッチパネル２２２の他に、モニター２２１の周囲に設けられる各種の操作ボタン、ロータリーダイヤル、ジョイスティック等があってもよい。付言するならば、ナビゲーション装置２２０は、経路案内用の地図データ等を記憶し、この地図データと、図示は省略するＧＰＳ装置等により検出された車両１０１の現在の位置データとに基づいて、ユーザが設定した目標地点までの経路案内を行ってもよい。

車輪速センサ２３０は、車両１０１の車輪速を検出するセンサである。車輪速センサ２３０で検出された検出情報（車輪速）は、車両制御ＥＣＵ２５０に入力される。操舵角センサ２４０は、車両１０１のステアリングの操舵角を検出する。操舵角センサ２４０は、車両１０１が直進状態で走行するときの操舵角を中立位置（０度）とし、その中立位置からの回転角度を操舵角として検出する。操舵角センサ２４０で検出された検出情報（操舵角）は、車両制御ＥＣＵ２５０に入力される。

さらに、運転支援システム１００は、車両制御ＥＣＵ２５０と、ステアリング制御ユニット２６０と、スロットル制御ユニット２７０と、ブレーキ制御ユニット２８０とを備える。

車両制御ＥＣＵ２５０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を含むマイクロコントローラを主体として構成される。車両制御ＥＣＵ２５０は、画像処理装置２１０、ナビゲーション装置２２０、車輪速センサ２３０、および操舵角センサ２４０から入力された各情報に基づいて、パワステアクチュエータ２６１、スロットルアクチュエータ２７１、およびブレーキアクチュエータ２８１を駆動制御し、車両１０１の運転を支援する各種処理を実行する。

ステアリング制御ユニット２６０は、車両制御ＥＣＵ２５０において決定された車両制御情報に基づいて、パワステアクチュエータ２６１を駆動して、車両１０１の操舵角を制御する。スロットル制御ユニット２７０は、車両制御ＥＣＵ２５０において決定された車両制御情報に基づいて、スロットルアクチュエータ２７１を駆動して、車両１０１のスロットルを制御する。ブレーキ制御ユニット２８０は、車両制御ＥＣＵ２５０において決定された車両制御情報に基づいて、ブレーキアクチュエータ２８１を駆動して、車両１０１のブレーキを制御する。

なお、画像処理装置２１０、ナビゲーション装置２２０、車輪速センサ２３０、および操舵角センサ２４０と、車両制御ＥＣＵ２５０との間は、センサ情報を通信するための車内ＬＡＮ（Local Area Network）２９０－１によって接続される。また、ステアリング制御ユニット２６０、スロットル制御ユニット２７０、およびブレーキ制御ユニット２８０と、車両制御ＥＣＵ２５０との間は、車両情報を通信するための車内ＬＡＮ２９０－２によって接続される。

本実施形態では、ビューの表示に係るビュー表示装置２００については、画像処理装置２１０とナビゲーション装置２２０とを含んで構成されるケースを例に挙げて説明する。つまり、ビュー表示装置２００は、画像処理装置２１０と、タッチパネル２２２と、タッチパネル２２２が取り付けられているモニター２２１とを備え、車両１０１に搭載される。なお、ビュー表示装置２００には、カメラ１０２が含まれていてもよいし、カメラ１０２が含まれていなくてもよい。また、ビュー表示装置２００は、画像処理装置２１０を備え、モニター２２１およびタッチパネル２２２が通信可能に接続される構成であってもよい。

図３は、ビュー表示装置２００の機能構成の一例を示す。

画像処理装置２１０は、制御部３１０および記憶部３２０を備える。制御部３１０は、画像処理装置２１０全体を制御する。制御部３１０は、ＣＰＵ、ＦＰＧＡ、ＧＰＵ（Graphics Processing Unit）等のプログラマブルロジックデバイス、ＡＳＩＣ等の集積回路に代表される演算素子であってよい。この場合、３Ｄグラフィック画像処理を高速に行うべく、制御部３１０は、画像処理に特化したＧＰＵ、高速演算可能な演算素子（例えば、ＦＰＧＡ）等の表示制御部を備えることが好ましい。

記憶部３２０は、座標変換処理に用いられる座標変換情報、画像処理に用いられる画像処理情報、パラメータ等の設定情報３２１を記憶する。さらに、記憶部３２０は、制御用プログラム（画像処理プログラム）を記憶してもよい。制御用プログラムが画像処理装置２１０の起動時に実行されることで、画像処理装置２１０の機能（取得部３１１、描画制御部３１２、処理部３１３、合成部３１４等）が実現される。

取得部３１１は、タッチパネル２２２の機能である入力部３３１から仮想カメラ情報を取得する。取得部３１１は、取得した仮想カメラ情報を、描画制御部３１２に送信する。描画制御部３１２は、空間モデルの投影面の全ての頂点の座標データ、または、ビューの投影先（投影領域）を構成する投影面の頂点の座標データを記憶部３２０から取得し、ＧＰＵ設定値とともに処理部３１３に送信する。ＧＰＵ設定値には、座標変換に用いられる行列（回転行列、拡大行列、縮小行列、平行移動行列）と、描画条件（光の強さ、方向といったライトの設定、透過率設定、物体の質感）との情報とが含まれる。

処理部３１３は、描画制御部３１２から入力された座標データに対して座標変換処理を行う。処理部３１３は、受信した行列を組み合わせて、モデル変換行列、ビュー変換行列、投影変換行列を算出して使用する。モデル変換行列は、空間モデルそのものの移動、回転、拡大縮小を担う変換行列である。ビュー変換行列は、仮想カメラの位置を原点とするように座標を変換する行列である。投影変換行列は、遠近感を出す変換行列である。処理部３１３は、これらの行列に各頂点の座標データを掛け合せることで、座標変換を行う。なお、座標データと、座標変換情報（変換式を含む）とは、テーブル等によって対応付けられている。

合成部３１４は、処理部３１３で座標変換された座標データと、カメラ１０２からの画像信号（撮像画像）を取得し、これらに基づいてモニター２２１に表示するためのビューを合成する。合成部３１４は、ビューの合成を行う際には、例えば、テクスチャマッピング等の公知の手法を用いることができる。合成部３１４は、合成したビューを表示するための表示領域を、タッチパネル２２２に対する入力操作（タッチ操作、タッチ座標、スライド操作のスライド方面等）に応じて設定した画面を表示させるための表示制御信号をナビゲーション装置２２０に送信する。ナビゲーション装置２２０の出力部３３２は、画像処理装置２１０からの表示制御信号に基づき、モニター２２１に画面（ビュー）を表示する。

図４は、パースビューを生成するための空間モデルの一例（空間モデル４００）を示す。

空間モデル４００は、車両１０１を示す車両モデル４０１を中心に半球状に延在する半球型（お椀形状）の投影面４１０を備える。投影面４１０では、半球の中心を天頂とし、天頂を通る鉛直方向をＹ軸とし、Ｙ軸に直交する１つの軸をＸ軸とし、Ｘ軸およびＹ軸に直交する軸をＺ軸としている。

空間モデル４００には、仮想的に設置される仮想カメラを、投影面４１０の３次元空間の任意の位置に設定できる。ユーザは、タッチパネル２２２を操作することで、モニター２２１にパースビューを表示する際の所望の仮想カメラの位置と、所望の視線方向（表示方向）とを設定できる。例えば、タッチパネル２２２を上下左右方向に操作（タッチ、スライド、ドラッグ、スワイプ、フリック等）したり、ロータリーダイヤル等を操作したりすることで、仮想カメラの位置を指定したり、所望の視線方向を選択したりできる。ユーザによる操作をタッチパネル２２２が検出し、タッチパネル２２２は、仮想カメラ情報を生成して取得部３１１に送信する。

仮想カメラ情報としては、仮想カメラの空間モデル４００上での位置（ｘ，ｙ，ｚ）、仮想カメラの視線方向、仮想カメラの視野角等が含まれる。視線方向は、カメラ１０２の位置および角度（ロール角、ピッチ角、ヨー角）から算出された方角のベクトル、または仮想カメラの位置と仮想カメラの注視点とから求められるベクトルとして設定される。なお、角度および注視点は、タッチパネル２２２の操作方向および操作量から求められる。仮想カメラの注視点とは、ユーザが見たい場所を示す座標である。

ここで、運転開始時、駐車時、運転時等においては、簡易な操作で、気になる周辺環境が即座に確認できることが求められる。ビュー表示装置２００では、予め設定された仮想視点４１１が設けられ、一度のタッチ操作において、所望の仮想視点４１１に切り替えることで、気になる周辺環境を確認できる。

仮想視点４１１は、仮想カメラにより撮像される画像を設定可能な情報であり、仮想カメラの位置（ｘ，ｙ，ｚ）と、仮想カメラの視線方向との情報を含む。なお、仮想カメラの視野角については、使用するカメラ１０２によって予め決まっているので、別途に規定されていてもよいが、仮想視点４１１に含まれていてもよい。

なお、俯瞰画像については、空間モデルが板形状の投影面である点が主に異なるが、パースビューと基本的に同じであるので、その説明を省略する。

図５は、所定の画面（画面５００）が表示された後、タッチパネル２２２に対して上方面にスライド操作が行われたときのビューの表示領域５１０のレイアウトの一例を示す。なお、ビューの表示領域５１０は、画面５００とは異なる画面（別画面）に含まれるケースを例に挙げて説明する。このケースにおいては、図５に示すように、第１の範囲５０１～第３の範囲５０３、および、第１の細分化範囲５２１～第３の細分化範囲５２３がタッチパネル２２２に対応付けられる。

上方面のスライド操作におけるタッチ座標（現在座標）が第１の範囲５０１内にあるときは、表示領域５１０－１は、画面５００－１より小さい別画面の全面に設けられる。

最後に表示されたビューがパースビューであるときは、表示領域５１０－１には、予め定められたパースビューの第１の仮想視点４１１、例えば、カメラ座標がパースビューの第１のカメラ座標にある仮想視点４１１－７からのパースビューが表示される。最後に表示されたビューが俯瞰画像であるときは、表示領域５１０－１には、予め定められた俯瞰画像の第１の仮想視点、例えば、カメラ座標が俯瞰画像の第１のカメラ座標にある仮想視点（図示は省略）からの俯瞰画像が表示される。

上方面のスライド操作におけるタッチ座標が第２の範囲５０２内にあるときは、表示領域５１０－１よりも、縦の長さが上方向に短いサイズに変形された表示領域５１０－２が設けられる。

最後に表示されたビューがパースビューであるときは、表示領域５１０－２には、予め定められたパースビューの第２の仮想視点４１１からのパースビューが表示される。第２の仮想視点４１１は、例えば、カメラ座標が、パースビューの第１のカメラ座標よりも車両モデル４０１から遠いパースビューの第２のカメラ座標（車両１０１と仮想カメラとの角度は維持のまま、撮影範囲が広くなるカメラ座標）にある仮想視点４１１－８である。なお、第２のカメラ座標は、撮影範囲は維持のまま、車両１０１と仮想カメラとの角度が大きくなるカメラ座標であってもよい。最後に表示されたビューが俯瞰画像であるときは、表示領域５１０－２には、予め定められた俯瞰画像の第２の仮想視点からの俯瞰画像が表示される。第２の仮想視点は、例えば、カメラ座標が、俯瞰画像の第１のカメラ座標よりも車両モデル４０１から遠い俯瞰画像の第２のカメラ座標にある仮想視点である。

上方面のスライド操作におけるタッチ座標が第３の範囲５０３内にあるときは、表示領域５１０－２よりも、縦の長さが上方向に短いサイズに変形された表示領域５１０－３が設けられる。

表示領域５１０－３では、タッチ座標の位置に応じて異なる仮想視点からのビューが表示される。タッチ座標が第１の細分化範囲５２１内にあり、最後に表示されたビューがパースビューであるときは、表示領域５１０－３には、予め定められたパースビューの第３の仮想視点４１１からのパースビューが表示される。第３の仮想視点４１１は、例えば、カメラ座標が、パースビューの第２のカメラ座標よりも車両モデル４０１から遠いパースビューの第３のカメラ座標にある仮想視点４１１－９である。タッチ座標が第１の細分化範囲５２１内にあり、最後に表示されたビューが俯瞰画像であるときは、表示領域５１０－３には、予め定められた俯瞰画像の第３の仮想視点からの俯瞰画像が表示される。第３の仮想視点は、例えば、カメラ座標が、俯瞰画像の第２のカメラ座標よりも車両モデル４０１から遠い俯瞰画像の第３のカメラ座標にある仮想視点である。

タッチ座標が第２の細分化範囲５２２内にあるときは、表示領域５１０－３には、カメラ座標が俯瞰画像の第４のカメラ座標にある仮想視点からの俯瞰画像が表示される。タッチ座標が第３の細分化範囲５２３内にあるときは、表示領域５１０－３には、カメラ座標が、俯瞰画像の第４のカメラ座標よりも車両モデル４０１から近い俯瞰画像の第５のカメラ座標にある仮想視点からの俯瞰画像が表示される。第５のカメラ座標の仮想視点は、車両１０１と仮想カメラとの角度は維持のまま、撮影範囲が狭くなるカメラ座標にある仮想視点である。なお、第５のカメラ座標は、撮影範囲は維持のまま、車両１０１と仮想カメラとの角度が小さくなるカメラ座標であってもよい。

なお、図５では、第１の範囲５０１～第３の範囲５０３を例に挙げて説明したが、かかる範囲は、３つに限られず、２つであってもよいし、４つ以上であってもよい。また、第１の細分化範囲５２１～第３の細分化範囲５２３を例に挙げて説明したが、細分化範囲は、３つに限られず、２つであってもよいし、４つ以上であってもよい。

図５では、タッチパネル２２２に対して上方面にスライド操作が行われたときの表示領域５１０のレイアウトについて説明した。上述した方面を他の方面（下方面、右方面、左方面、斜め右上、斜め右下、斜め左上、斜め左下等）に置き換えることにより、他の方面にスライド操作が行われたときの表示領域５１０のレイアウトとなるので、その説明は省略する。

例えば、複数のスライド方面として、タッチパネル２２２の上側へのスライド操作が対応付けられる上方面、タッチパネル２２２の下側へのスライド操作が対応付けられる下方面、タッチパネル２２２の右側へのスライド操作が対応付けられる右方面、タッチパネル２２２の左側へのスライド操作が対応付けられる左方面が定義される。この場合、上方面のビューを生成するための仮想視点の位置を示すカメラ座標として、車両１０１の前方がターゲットとして表示されるカメラ座標が設けられている。また、下方面のビューを生成するための仮想視点の位置を示すカメラ座標として、車両１０１の後方がターゲットとして表示されるカメラ座標が設けられている。また、右方面のビューを生成するための仮想視点の位置を示すカメラ座標として、車両１０１の右側がターゲットとして表示されるカメラ座標が設けられている。また、左方面のビューを生成するための仮想視点の位置を示すカメラ座標として、車両１０１の左側がターゲットとして表示されるカメラ座標が設けられている。上記構成によれば、例えば、ユーザは、気になる周辺環境をビューで確認したいときに、前方のビュー、後方のビュー、右側のビュー、および左側のビューの中から、目的に近いビューを少ない手数で呼び出すことができる。

このように、ビュー表示装置２００では、タッチパネル２２２に対するスライド操作における複数のスライド方面の各々に対して、各スライド方面のビューを生成するための仮想視点の位置を示すカメラ座標が予め設けられている。また、各スライド方面のビューを生成するための仮想視点の位置を示すカメラ座標は、スライド方面ごとに複数設けられている。

図６は、ビュー呼出処理の一例を示す。ビュー呼出処理は、運転支援システム１００における所定の機能を利用するために所定の画面を表示する操作が受け付けられたことを契機に開始する。所定の画面は、地図画面、道路案内画面、オーディオ画面、メニュー画面等、任意の画面でよい。

Ｓ６０１では、ナビゲーション装置２２０は、所定の画面をモニター２２１に表示する。

Ｓ６０２では、画像処理装置２１０は、第１の操作がタッチパネル２２２において検出されたか否かを判定する。画像処理装置２１０は、第１の操作が検出されたと判定した場合、Ｓ６０３に処理を移し、第１の操作が検出されなかったと判定した場合、Ｓ６０２に処理を移す。

第１の操作は、タッチパネル２２２に対する特定の入力操作である。第１の操作は、タッチパネル２２２を複数の指で触れる操作、タッチパネル２２２を押し込む操作、タッチパネル２２２を長押しする操作等である。

Ｓ６０３では、画像処理装置２１０は、車両１０１全体のビューを表示するための表示領域を含む所定の画面とは異なる画面（別画面）を表示するための表示制御信号を生成してナビゲーション装置２２０に送信する。前回実行されたビュー呼出処理で呼び出された車両１０１全体を示すビュー（パースビューまたは俯瞰画像）が表示される。なお、ビューに代えて車両１０１を示すアイコンが表示されてもよい。

Ｓ６０４では、画像処理装置２１０は、タッチ座標が第１の移動範囲内であるか否かを判定する。画像処理装置２１０は、タッチ座標が第１の移動範囲内であると判定した場合、Ｓ６０５に処理を移し、タッチ座標が第１の移動範囲内でないと判定した場合、Ｓ６０６に処理を移す。

第１の移動範囲は、例えば、タッチ座標の位置に応じてビューの表示領域の大きさ（レイアウト）を変更する範囲であり、例えば、スライド操作が上方面に行われている場合は、第１の範囲５０１、第２の範囲５０２、または第１の細分化範囲５２１である。

Ｓ６０５では、画像処理装置２１０は、スライド操作のスライド方面およびタッチ座標の位置に応じて表示領域のレイアウトを設定し、スライド操作のスライド方面およびタッチ座標の位置に応じてカメラ座標を設定し、仮想カメラのターゲットを車両１０１全体としたビューを生成する。画像処理装置２１０は、設定したレイアウトで、生成したビューを表示するための表示制御信号を生成してナビゲーション装置２２０に送信する。

Ｓ６０６では、画像処理装置２１０は、タッチ座標が第２の移動範囲内であるか否かを判定する。画像処理装置２１０は、タッチ座標が第２の移動範囲内であると判定した場合、Ｓ６０７に処理を移し、タッチ座標が第２の移動範囲内でないと判定した場合、Ｓ６０８に処理を移す。

第２の移動範囲は、仮想カメラのターゲットをスライド方面の車両１０１の部位とした俯瞰画像を生成する範囲であり、例えば、スライド操作が上方面に行われている場合は、第２の細分化範囲５２２である。

Ｓ６０７では、画像処理装置２１０は、所定の方面のスライド操作に対応するターゲットを真上から捉える、俯瞰画像のカメラ座標を設定し、当該ターゲットを含む俯瞰画像を生成する。上方面のスライド操作に対応するターゲットは、車両１０１の前方の部位である。下方面のスライド操作に対応するターゲットは、車両１０１の後方の部位である。右方面のスライド操作に対応するターゲットは、車両１０１の右側の部位である。左方面のスライド操作に対応するターゲットは、車両１０１の左側の部位である。

このように、画像処理装置２１０は、タッチパネル２２２に対するスライド操作のタッチ座標が第１の移動範囲にあるときは、例えば、車両１０１を斜めから捉えたパースビューを生成する。また、画像処理装置２１０は、スライド操作のスライド方面と反対の方面にあるタッチパネル２２２の端部からスライド方面に第１の移動範囲よりも離れている第２の移動範囲にタッチ座標があるときは、車両１０１を真上から捉えた俯瞰画像を生成する。上記構成によれば、例えば、前回に起動したビューがパースビューであったとしても、スライド操作を進めることで俯瞰画像に切り替えられるので、気になる周辺環境を俯瞰画像で確認したいときに、目的に近い俯瞰画像を少ない手数で呼び出すことができる。

Ｓ６０８では、画像処理装置２１０は、タッチ座標が第３の移動範囲内であるか否かを判定する。画像処理装置２１０は、タッチ座標が第３の移動範囲内であると判定した場合、Ｓ６０９に処理を移し、タッチ座標が第３の移動範囲内でないと判定した場合、Ｓ６０４に処理を移す。

第３の移動範囲は、タッチ座標の位置に応じて俯瞰画像におけるターゲットの大きさを拡大する範囲であり、例えば、スライド操作が上方面に行われている場合は、第３の細分化範囲５２３である。

Ｓ６０９では、画像処理装置２１０は、所定の方面のスライド操作に対応するターゲットを真上から捉える、タッチ座標の位置に応じた俯瞰画像のカメラ座標を設定し、当該ターゲットを拡大した俯瞰画像を生成する。

このように、画像処理装置２１０は、例えば、タッチパネル２２２に対するスライド操作のタッチ座標が、第２の移動範囲または第３の移動範囲にあるときは、スライド操作のスライド方面と反対の方面にあるタッチパネル２２２の端部からタッチ座標が離れるに従って、仮想視点のカメラ座標を、スライド方面の車両１０１の部位が拡大されて表示されるカメラ座標に順次に変更する。上記構成によれば、例えば、所定のスライド方面のビューが順次に拡大されて表示されるので、ユーザは、目的に近いビューであるかを早期に判断することができる。

Ｓ６１０では、画像処理装置２１０は、第２の操作がタッチパネル２２２等において検出されたか否かを判定する。画像処理装置２１０は、第２の操作が検出されたと判定した場合、Ｓ６１１に処理を移し、第２の操作が検出されなかったと判定した場合、Ｓ６０４に処理を移す。

第２の操作は、第１の操作を確定する操作である。例えば、タッチパネル２２２から指を離す操作、ロータリーダイヤルを回してＯＮ／ＯＦＦを切り替える操作等である。

Ｓ６１１では、画像処理装置２１０は、表示領域のレイアウトを固定（ビューを確定）し、ビュー呼出処理を終了する。

なお、ビュー呼出処理は、上述の内容に限らない。例えば、Ｓ６０４およびＳ６０５の処理は、設けられなくてもよい。

このように、画像処理装置２１０は、タッチパネル２２２に対する第１の操作が検出されたことをトリガーとして、第１の視点からのビューを表示するための表示領域を含む別画面を生成する。また、画像処理装置２１０は、タッチパネル２２２に対するスライド操作が検出された場合、上記第１の視点のカメラ座標を、当該スライド操作のスライド方面に対して予め設けられている第２の視点のカメラ座標に変更し、第２の視点からのビューを生成する。上記構成では、例えば、複数のスライド方面の中からユーザが確認したいスライド方面にスライド操作した場合、当該スライド方面に対応する仮想視点からのビューが表示される。上記構成によれば、例えば、ユーザは、気になる周辺環境をビューで確認したいときに、規定のビューの中から、目的に近いビューを少ない手数で呼び出すことができる。例えば、ユーザは、運転中に左側が気になった場合、Ｓ６０７で生成されるビューを用いて、左側にバイクが通っていないかを確認する。また、例えば、ユーザは、低速時または発進時に、シビアに状況を確認したい場合、Ｓ６０９で生成されるビューを用いて、「子供が前にいない」、「後ろに、動物がいたり、自転車があったりしない」かを確認する。このように、確認の程度に応じてビューを呼び出せるので、運転を適切に支援することができる。

図７は、ビューの呼出しにおける画面遷移の一例を示す。

画面７１０は、所定の画面の一例であり、本例では地図画面を示す。画面７１０において、２本の指７０１でタッチ操作（第１の操作）が行われることで、画面７１０から画面７２０に画面が遷移する。

画面７２０では、車両１０１全体を示すビュー（本例ではパースビュー）が別の画面７２１で表示される。画面７２０よりも画面７２１を小さく表示することで、画面７２１が２本の指７０１に吸着されて移動できることがアフォーダンスされている。

例えば、タッチパネル２２２から２本の指７０１を離す操作（第２の操作）が検出されたときは、画面７２１から画面７３０に画面が遷移する。また、例えば、上方面のスライド操作であり、タッチ座標が第１の移動範囲内であるときは、画面７２１から画面７４０に画面が遷移する。左方面のスライド操作であり、タッチ座標が第１の移動範囲内であるときは、画面７２１から画面７５０に画面が遷移する。右方面のスライド操作であり、タッチ座標が第１の移動範囲内であるときは、画面７２１から画面７６０に画面が遷移する。下方面のスライド操作であり、タッチ座標が第１の移動範囲内であるときは、画面７２１から画面７７０に画面が遷移する。

画面７３０では、車両１０１全体を示すビューが画面７３０全体に表示される。本例では、当該ビューがパースビューであるので、ユーザは、仮想カメラの位置を指定したり、所望の視線方向を選択したりできる。

画面７４０は、上方面のスライド操作が進むに連れて、段階的に、表示領域５１０の大きさが上方向に小さく変更される画面である。なお、本例では、画面７４０自体が小さくなっている。上方面のスライド操作が第１の細分化範囲５２１に達すると、上方面のスライド操作に対応したレイアウトの表示領域５１０－３が設定され、上方面のスライド操作が第２の細分化範囲５２２に達すると、画面７４０から画面７４１に画面が遷移する。

このように、画像処理装置２１０は、タッチパネル２２２に対するスライド操作のタッチ座標が上方面の第１の移動範囲にあるときは、タッチ座標に応じて上方面に縮小した表示領域５１０を含む別画面を生成する。上記構成によれば、上方面のスライド操作に応じて表示領域５１０が縮小されるので、例えば、ユーザは、車両１０１の前方のビューが表示されることを容易に推測することができる。なお、上記内容は、他の方面についても同様であり、その説明は省略する。

画面７４１は、車両１０１の最も前方の部位を仮想カメラのターゲットとした俯瞰画像を第１の大きさで表示領域５１０－３に表示する画面である。上方面のスライド操作が第３の細分化範囲５２３に達すると、画面７４１から画面７４２に画面に遷移する。画面７４２は、車両１０１の最も前方の部位をターゲットとした俯瞰画像を、第１の大きさよりも大きい第２の大きさで、表示領域５１０－３に表示する画面である。

このように、画像処理装置２１０は、タッチパネル２２２に対するスライド操作のタッチ座標が上方面の第１の移動範囲にあるときは、車両１０１全体をターゲットとしたビューを生成する。また、画像処理装置２１０は、スライド操作の上方面と反対の下方面にあるタッチパネル２２２の端部から上方面に第１の移動範囲よりも離れている第２の移動範囲にタッチ座標があるときは、上方面に対応する車両１０１の最も前方の部位をターゲットとしたビューを生成する。上記構成によれば、例えば、車両１０１全体のビューが表示された後に、車両１０１の部位のビューが表示されるので、目的に近いビューを容易に呼び出すことができる。なお、上記内容は、他の方面についても同様であり、その説明は省略する。

画面７５０は、左方面のスライド操作が進むに連れて、段階的に、表示領域の大きさが左方向に小さく変更される画面である。なお、本例では、画面７５０自体が小さくなっている。左方面のスライド操作が第１の細分化範囲に達すると、左方面のスライド操作に対応したレイアウトの表示領域（左表示領域）が設定され、左方面のスライド操作が第２の細分化範囲に達すると、画面７５０から画面７５１に画面が遷移する。

画面７５１は、車両１０１の最も左側の部位を仮想カメラのターゲットとした俯瞰画像を第１の大きさで左表示領域に表示する画面である。左方面のスライド操作が第３の細分化範囲に達すると、画面７５１から画面７５２に画面が遷移する。画面７５２は、車両１０１の最も左側の部位をターゲットとした俯瞰画像を、第１の大きさよりも大きい第２の大きさで、左表示領域に表示する画面である。

画面７６０は、右方面のスライド操作が進むに連れて、段階的に、表示領域の大きさが右方向に小さく変更される画面である。なお、本例では、画面７６０自体が小さくなっている。右方面のスライド操作が第１の細分化範囲に達すると、右方面のスライド操作に対応したレイアウトの表示領域（右表示領域）が設定され、右方面のスライド操作が第２の細分化範囲に達すると、画面７６０から画面７６１に画面が遷移する。

画面７６１は、車両１０１の最も右側の部位を仮想カメラのターゲットとした俯瞰画像を第１の大きさで右表示領域に表示する画面である。右方面のスライド操作が第３の細分化範囲に達すると、画面７６１から画面７６２に画面が遷移する。画面７６２は、車両１０１の最も右側の部位をターゲットとした俯瞰画像を、第１の大きさよりも大きい第２の大きさで、右表示領域に表示する画面である。

画面７７０は、下方面のスライド操作が進むに連れて、段階的に、表示領域の大きさが下方向に小さく変更される画面である。なお、本例では、画面７７０自体が小さくなっている。下方面のスライド操作が第１の細分化範囲に達すると、下方面のスライド操作に対応したレイアウトの表示領域（下表示領域）が設定され、下方面のスライド操作が第２の細分化範囲に達すると、画面７７０から画面７７１に画面が遷移する。

画面７７１は、車両１０１の最も後方の部位を仮想カメラのターゲットとした俯瞰画像を第１の大きさで下表示領域に表示する画面である。下方面のスライド操作が第３の細分化範囲に達すると、画面７７１から画面７７２に画面が遷移する。画面７７２は、車両１０１の最も後方の部位をターゲットとした俯瞰画像を、第１の大きさよりも大きい第２の大きさで、下表示領域に表示する画面である。

このように、画像処理装置２１０は、タッチパネル２２２に対するスライド操作のタッチ座標が、当該スライド操作のスライド方面の所定の移動範囲にあるときは、当該スライド方面にタッチ座標が進むに従って、第１の視点のカメラ座標を、当該スライド方面に係るカメラ座標の中から一のカメラ座標に順次に変更する。上記構成によれば、例えば、ユーザは、所望のスライド方面のビューが順次に変更されるので、目的により近いビューを容易に呼び出すことができる。

図８は、右方面のスライド操作が行われているときのビューの切り替えの一例を示す図である。

ビュー８００は、右方面のスライド操作が第１の細分化範囲に達し、画面７６０の右表示領域に表示されるパースビューを示す。そして、右方面のスライド操作が第２の細分化範囲に達したとき、ビュー８００は、ビュー８０１およびビュー８０２を経由し、ビュー８１０（俯瞰画像）になり、画面７６１において表示される。そして、右方面のスライド操作が第３の細分化範囲に達したとき、ビュー８１０は、ビュー８１１およびビュー８１２を経由し、ビュー８２０（車両１０１の右側が拡大された俯瞰画像）になり、画面７６２において表示される。

本実施形態によれば、従来のように、ハードキー（メニューボタン）で画面を表示し、ソフトキーでビューを呼び出すためのメニューを選択し、見たい視点にビューを調整するといった複数の操作が不要となるので、目的のビューを容易に呼び出すことができる。

（ＩＩ）付記
上述の実施形態には、例えば、以下のような内容が含まれる。

上述の実施形態においては、本発明をビュー表示装置に適用するようにした場合について述べたが、本発明はこれに限らず、この他種々のシステム、装置、方法、プログラムに広く適用することができる。

また、上述の実施形態において、プログラムの一部またはすべては、プログラムソースから、ビュー表示装置２００を実現するコンピュータのような装置にインストールされてもよい。プログラムソースは、例えば、ネットワークで接続されたプログラム配布サーバまたはコンピュータが読み取り可能な記録媒体（例えば非一時的な記録媒体）であってもよい。また、上述の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。

また、上述の実施形態において、図示および説明した画面は、一例であり、受け付ける情報が同じであるならば、どのようなデザインであってもよい。

また、上述の実施形態において、図示および説明した画面は、一例であり、提示する情報が同じであるならば、どのようなデザインであってもよい。

また、上記の説明において、各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また上述した構成については、本発明の要旨を超えない範囲において、適宜に、変更したり、組み替えたり、組み合わせたり、省略したりしてもよい。

２００……ビュー表示装置、２１０……画像処理装置、２２１……モニター、２２２……タッチパネル。

Claims (8)

1. 車両に係るビューをタッチスクリーンに表示するビュー表示装置であって、
   前記車両の周囲を撮像する撮像部から出力される画像信号に基づいて、所定の視点からのビューを生成するビュー生成部と、
   前記ビュー生成部により生成されるビューを表示するための表示領域を含む画面を生成する画面生成部と、を備え、
   前記タッチスクリーンに対するスライド操作における複数のスライド方面の各々に対して、各スライド方面のビューを生成するための視点の位置を示すカメラ座標が予め設けられ、
   前記画面生成部は、前記タッチスクリーンに対する特定の入力操作が検出されたことをトリガーとして、前記ビュー生成部により生成される第１の視点からのビューを表示するための表示領域を含む画面を生成し、
   前記ビュー生成部は、前記タッチスクリーンに対するスライド操作が検出された場合、前記第１の視点のカメラ座標を、前記スライド操作のスライド方面に対して予め設けられている第２の視点のカメラ座標に変更し、前記第２の視点からのビューを生成する、
   ビュー表示装置。
2. 前記複数のスライド方面として、前記タッチスクリーンの上側へのスライド操作が対応付けられる上方面、前記タッチスクリーンの下側へのスライド操作が対応付けられる下方面、前記タッチスクリーンの右側へのスライド操作が対応付けられる右方面、前記タッチスクリーンの左側へのスライド操作が対応付けられる左方面が定義されている場合、前記上方面のビューを生成するための視点の位置を示すカメラ座標として、前記車両の前方の部位がターゲットとして表示されるカメラ座標が設けられ、前記下方面のビューを生成するための視点の位置を示すカメラ座標として、前記車両の後方の部位がターゲットとして表示されるカメラ座標が設けられ、前記右方面のビューを生成するための視点の位置を示すカメラ座標として、前記車両の右側の部位がターゲットとして表示されるカメラ座標が設けられ、前記左方面のビューを生成するための視点の位置を示すカメラ座標として、前記車両の左側の部位がターゲットとして表示されるカメラ座標が設けられている、
   請求項１に記載のビュー表示装置。
3. 各スライド方面のビューを生成するための視点の位置を示すカメラ座標は、スライド方面ごとに複数設けられ、
   前記ビュー生成部は、前記タッチスクリーンに対するスライド操作のタッチ座標が、前記スライド操作のスライド方面の所定の移動範囲にあるときは、前記スライド方面にタッチ座標が進むに従って、前記第１の視点のカメラ座標を、前記スライド方面に係るカメラ座標の中の一のカメラ座標に順次に変更する、
   請求項１に記載のビュー表示装置。
4. 前記ビュー生成部は、前記タッチスクリーンに対するスライド操作のタッチ座標が第１の移動範囲にあるときは、前記車両を斜めから捉えたパースビューを生成し、前記スライド操作のスライド方面と反対の方面にある前記タッチスクリーンの端部から前記スライド方面に前記第１の移動範囲よりも離れている第２の移動範囲に前記タッチ座標があるときは、前記車両を真上から捉えた俯瞰画像を生成する、
   請求項１に記載のビュー表示装置。
5. 前記ビュー生成部は、前記タッチスクリーンに対するスライド操作のタッチ座標が、前記所定の移動範囲にあるときは、前記スライド操作のスライド方面と反対の方面にある前記タッチスクリーンの端部から前記タッチ座標が離れるに従って、前記第１の視点のカメラ座標を、前記スライド方面の前記車両の部位が拡大されて表示されるカメラ座標に順次に変更する、
   請求項３に記載のビュー表示装置。
6. 前記画面生成部は、前記タッチスクリーンに対するスライド操作のタッチ座標がスライド方面の第１の移動範囲にあるときは、前記タッチ座標に応じてスライド方面に縮小した表示領域を含む画面を生成する、
   請求項１に記載のビュー表示装置。
7. 前記ビュー生成部は、前記タッチスクリーンに対するスライド操作のタッチ座標がスライド方面の第１の移動範囲にあるときは、前記車両の全体をターゲットとしたビューを生成し、前記スライド操作のスライド方面と反対の方面にある前記タッチスクリーンの端部から前記スライド方面に前記第１の移動範囲よりも離れている第２の移動範囲に前記タッチ座標があるときは、前記スライド方面に対応する前記車両の部位をターゲットとしたビューを生成する、
   請求項１に記載のビュー表示装置。
8. 車両に係るビューをタッチスクリーンに表示するビュー表示装置が実行するビュー表示方法であって、
   前記ビュー表示装置は、
   前記車両の周囲を撮像する撮像部から出力される画像信号に基づいて、所定の視点からのビューを生成するビュー生成部と、
   前記ビュー生成部により生成されるビューを表示するための表示領域を含む画面を生成する画面生成部と、を備え、
   前記タッチスクリーンに対するスライド操作における複数のスライド方面の各々に対して、各スライド方面のビューを生成するための視点の位置を示すカメラ座標が予め設けられ、
   前記画面生成部が、前記タッチスクリーンに対する特定の入力操作が検出されたことをトリガーとして、前記ビュー生成部により生成される第１の視点からのビューを表示するための表示領域を含む画面を生成することと、
   前記ビュー生成部が、前記タッチスクリーンに対するスライド操作が検出された場合、前記第１の視点のカメラ座標を、前記スライド操作のスライド方面に対して予め設けられている第２の視点のカメラ座標に変更し、前記第２の視点からのビューを生成することと、
   を含むビュー表示方法。