JP2018186509A - 画像表示装置、画像表示システム、画像表示方法、及び、プログラム - Google Patents

Abstract

【課題】仮想的な視点から見た車両の周辺画像を確認したり、ユーザの携帯する携帯端末に送信する際、視点が限定されているために、必ずしもユーザの希望する角度から周辺画像を視認できなかった。このため、例えば車両付近に不審者が接近している画像を携帯端末上で確認しても、不審者がどのような人物であるか、どのような行動をしているかは明確に判明せず、却ってユーザの不安を助長する恐れが生じていた。
【解決手段】ユーザの操作に基づいて、仮想視点の位置を変更して合成画像を表示する。これにより、ユーザの望む視点から容易に被写体を表示できる。
【選択図】図１

Description

本発明は、車両周辺を示す画像を表示する技術に関する。

従来より、自動車等の車両周辺を撮影した画像を合成し、仮想的な視点から車両周辺を見た様子を表示する技術が知られている。このような技術により、ユーザ（代表的には運転者）は、車両内に居ながらにして車両周辺の状況を確認できる。

また、近年では、このような画像をユーザの携帯する携帯端末に送信する技術が提案されている（例えば、特許文献１）。ユーザは、このような画像を視認することで、車両から遠隔に所在しても、車両の状態や盗難の恐れを把握できる。

特開２０１２−１２１３８４号公報

しかし、提案された技術では、車両周辺を見る視点が限定されており、必ずしもユーザの希望する角度から周辺画像を視認できなかった。このため、例えば車両付近に不審者が接近している画像を携帯端末上で確認しても、不審者がどのような人物であるか、どのような行動をしているかは明確に判明せず、却ってユーザの不安を助長する恐れが生じていた。

本発明は、上記課題に鑑み、仮想的な視点から車両周辺を示す画像を表示した場合、ユーザが希望する視点に仮想視点を変更できる技術を提供することを目的とする。

上記課題を解決するため、請求項１の発明は、画像を表示する画像表示装置であって、カメラで撮影された画像を用い、仮想的な視点から見た合成画像を生成する生成手段と、前記合成画像の、前記視点の変更に対するユーザ操作を検出する操作検出手段と、を有し、前記操作検出手段は、前記合成画像が表示される画像領域と、予め定められた前記視点に対応する、前記合成画像の表示を選択する複数のボタンが表示されるボタン領域と、を有し、前記画像領域には、前記ボタンで選択されている前記視点に対応する前記合成画像が表示されるとともに、前記画像領域においてタッチ操作が行われた際には、前記タッチ操作に応じた前記視点で前記画像領域に前記合成画像が表示される。

また、請求項２の発明は、請求項１に記載の画像表示装置において、前記タッチ操作は、フリック操作またはピンチイン操作である。

また、請求項３の発明は、画像を表示する画像表示装置であって、カメラで撮影された画像を用い、仮想的な視点から見た合成画像を生成する生成手段と、前記合成画像の、前記視点の変更に対するユーザ操作を検出する操作検出手段と、を有し、前記操作検出手段は、前記合成画像が表示される画像領域と、予め定められた前記視点に対応する、前記合成画像の表示を選択する複数のボタンが表示されるボタン領域と、を有し、前記ボタンは、車両の前後左右方向に対応する前記ボタン領域の上下左右方向に、それぞれの前記ボタンが配置され、前記画像領域には、当該ボタンで選択されている前記視点に対応する前記合成画像が表示されること。

また、請求項４の発明は、請求項３に記載の画像表示装置において、前記ボタン領域には、車両周囲の広い領域における初期表示の前記視点での表示を選択するボタンがさらに表示される。

また、請求項５の発明は、カメラで撮影された撮影画像を用い、仮想的な視点から見た形で生成した合成画像についての画像情報を入手する通信手段と、入手した前記画像情報に基づき画像表示を行う表示手段と、前記表示手段に表示された前記画像の前記視点を変更するユーザ指示を与える操作検出手段と、を有し、前記操作検出手段は、前記表示手段におけるユーザのタッチ操作を検出するタッチパネルを有し、前記表示手段は、前記画像が表示される画像領域と、予め定められた前記視点に対応する前記画像の表示を指示する複数のボタンが表示されるボタン領域と、を有し、前記画像領域には、前記ボタンで選択されている前記視点に対応する前記画像が表示されるとともに、前記画像領域においてタッチ操作が行われた際には、前記タッチ操作に応じた前記視点の前記画像が前記画像領域に表示されることを特徴とする端末装置である。

また、請求項６の発明は、カメラで撮影された撮影画像を用い、仮想的な視点から見た形で生成した合成画像についての画像情報を入手する通信手段と、入手した前記画像情報に基づき画像表示を行う表示手段と、前記表示手段に表示された前記画像の前記視点を変更するユーザ指示を与える操作検出手段と、を有し、前記操作検出手段は、前記表示手段におけるユーザのタッチ操作を検出するタッチパネルを有し、前記表示手段は、前記画像が表示される画像領域と、予め定められた前記視点に対応する前記画像の表示を指示する複数のボタンが表示されるボタン領域と、を有し、前記ボタンは、車両の前後左右方向に対応する、前記ボタン領域の上下左右方向にそれぞれのボタンが配置され、前記画像領域には、当該ボタンで選択されている前記視点に対応する前記画像が表示されることを特徴とする端末装置である。

また、請求項７の発明は、請求項５または６に記載の端末装置において、前記通信手段はセキュリティ装置が異常を検知した際、通知を受信する。

請求項１ないし７の発明によれば、ユーザの操作に基づいて合成画像の仮想視点の位置を変更するので、ユーザの望む視点から容易に被写体を表示できる。

また、車両の特定位置に設定された特定点に向けて仮想視点の方向を定め、ワールド座標系及び視点座標系に基づき仮想視点の位置を変更するので、様々な方向及び位置から被写体を表示できる。

また、特に請求項７の発明によれば、画像表示装置のユーザは、車両から遠隔に所在し
ても、車両の盗難に繋がる事前現象が発生したことを認識でき、速やかに車両周辺の様子
を画面で確認できる。

図１は、画像表示システムの概要を示す図である。 図２は、画像表示システムの概要を示す図である。 図３は、第１の実施の形態の画像取得装置の構成を示すブロック図である。 図４は、カメラの配置を説明する図である。 図５は、第１の実施の形態の携帯端末の構成を示すブロック図である。 図６は、周辺画像及び合成画像を生成する手法を説明する図である。 図７は、仮想視点の位置を示す図である。 図８は、仮想視点の位置を示す図である。 図９は、仮想視点の動きを説明する図である。 図１０は、仮想視点の動きを説明する図である。 図１１は、仮想視点の動きを説明する図である。 図１２は、仮想視点の動きを説明する図である。 図１３は、表示画像を例示する図である。 図１４は、表示画像を例示する図である。 図１５は、表示画像を例示する図である。 図１６は、表示画像を例示する図である。 図１７は、表示画像を例示する図である。 図１８は、表示画像を例示する図である。 図１９は、表示画像を例示する図である。 図２０は、表示画像を例示する図である。 図２１は、表示画像を例示する図である。 図２２は、表示画像を例示する図である。 図２３は、表示画像を例示する図である。 図２４は、表示画像を例示する図である。 図は２５、第１の実施の形態の処理手順を示すフローチャートである。 図は２６、第１の実施の形態の処理手順を示すフローチャートである。 図２７は、第１の実施の形態の携帯端末の構成を示すブロック図である。 図２８は、仮想視点の動きを説明する図である。 図２９は、仮想視点の動きを説明する図である。 図３０は、表示画像を例示する図である。 図３１は、第２の実施の形態の処理手順を示すフローチャートである。 図３２は、第２の実施の形態の処理手順を示すフローチャートである。 図３３は、画像表示システムの変形例を示す図である。

以下、図面を参照しつつ本発明の実施の形態について説明する。

＜１．第１の実施の形態＞
＜１−１．概要＞
図１は、本発明の実施の形態に係る画像表示システム１の概要を示す。画像表示システ
ム１は、車両２に備えた画像取得装置３が車両２に配置されたカメラ４（４Ｆ、４Ｂ、４
Ｌ、４Ｒ）から取得した車両２周辺の画像を、車両２から遠隔に所在するユーザの有する
携帯端末８に表示させるシステムである。

このようなシステムにおいて、車両２には監視センサを備えたセキュリティ装置５が設
置される。監視センサは、不審者ＳＩが車両２への異常に接近した場合や、車両２に対し
て物理的な危害を加えた場合に作動し、セキュリティ装置５は監視センサが作動した旨を
ユーザに通知する。セキュリティ装置５から通知を受けたユーザは、画像取得装置３に画
像の送信を要求し、携帯端末８に車両２周辺の画像を表示させる。この際、ユーザは、画
像の表示される範囲を自在に変更し、所望する角度から車両２周辺の状況を参照する。

図２は、携帯端末８に車両２周辺の画像を表示させたディスプレイ８３の例である。ユ
ーザは、携帯端末８のタッチパネル８３ａを操作することにより、画像の表示範囲を変え
、危惧する個所を詳細に点検できる。ユーザは、車両２周辺の画像を参照し、必要に応じ
て遠隔から車両２のアラームを作動させたり、また警備会社へ通報できる。このような画
像表示システム１を用いることにより、ユーザは車両２から遠隔に所在した場合であって
も、自らの所有する車両２を常時安全に維持できる。

＜１−２．構成＞
次に、画像表示システム１に利用される車両２の備える各装置の構成について説明する
。図３は、車両２の備える各装置の構成を示す。車両２は、画像取得装置３、カメラ４、
セキュリティ装置５、及び警報器６を備える。

画像取得装置３は、車両に設置されたカメラ４から画像データを受信し、受信した画像
データを携帯端末８へ送信する電子制御装置である。画像取得装置３は、制御部３１、通
信部３２、記憶部３３を備える。

制御部３１は、ＣＰＵ、ＲＡＭ、及びＲＯＭを備えたマイクロコンピュータである。制
御部３１は、画像取得装置３が備える他の構成と接続され、装置全体を制御する。制御部
３１は、要求受信部３１ａ、カメラ制御部３１ｂ、画像取得部３１ｃ、画像送信部３１ｄ
、及び盗難防止部３１ｅを備える。

要求受信部３１ａは、携帯端末８を所持するユーザから、カメラ４を作動させ撮影を開
始すべき要求信号を受信する。

カメラ制御部３１ｂは、要求受信部３１ａがユーザから撮影開始の要求信号を受信する
と、カメラ４に作動信号を送信し、カメラ４に撮影を開始させる。

画像取得部３１ｃは、カメラ４から送信される画像データを取得し、取得した画像デー
タを制御部３１で処理可能な形式に変換する。

画像送信部３１ｄは、画像取得部３１ｃがカメラ４から取得した画像データを通信部３
２を介して携帯端末８へ送信する。

盗難防止部３１ｅは、警報器６に作動信号を送信し、警報器６に警報を行わせる。これ
により、車両２が盗難されるのを防止する。なお、盗難防止部３１ｅは、警報器６に警報
を行わせると共に、エンジン制御装置（図示せず）を制御し、エンジンが作動しないよう
にしてもよい。また、通信部３２を介して警備会社へ通報してもよい。要するに、盗難防
止部３１ｅは、車両２に備わる機器を利用し、車両２の盗難が防止されるよう機能すれば
よい。

通信部３２は、無線通信を利用した通信機能を備え、ネットワーク７を介して携帯端末
８と情報通信を行う。例えば、ＷｉＭＡＸ（Worldwide Interoperability for Microwave
Access）やＬＴＥ（Long Term Evolution）等の無線通信技術を利用した情報通信である
。

記憶部３３は、データを記憶するメモリである。例えば、ＥＥＰＲＯＭ（Electrical E
rasable Programmable Read-Only memory）や、フラッシュメモリ、磁気ディスクを備え
たハードディスクドライブ等の不揮発性の記憶媒体である。また、記憶部３３は、プログ
ラム３３ａを記憶している。

プログラム３３ａは、制御部３１により読み出され、制御部３１が画像取得装置３を制
御するために実行されるファームウェアである。

次に、カメラ４を説明する。カメラ４は、フロントカメラ４Ｆ、リアカメラ４Ｂ、左サ
イドカメラ４Ｌ、及び、右サイドカメラ４Ｒを含む。各カメラ（４Ｆ、４Ｂ、４Ｌ、４Ｒ
）は、レンズと撮像素子とを備え、車両２の異なる位置に配置される。

図４は、カメラ４（４Ｆ、４Ｂ、４Ｌ、４Ｒ）が車両２に配置される位置と、各カメラ
の光軸が向けられる方向とを示す。フロントカメラ４Ｆは、車両２前端に設置され、光軸
４Ｆａが車両２の直進方向に向けられる。リアカメラ４Ｂは、車両２後端に設置され、光
軸４Ｂａが車両２の直進方向と反対の方向、すなわち後進方向に向けられる。左サイドカ
メラ４Ｌは、左側のサイドミラーＭＬに設置され、光軸４Ｌａが車両２の左方向（直進方
向に対する直交方向）に向けられる。また、右サイドカメラ４Ｒは、右側のサイドミラー
ＭＲに設置され、その光軸４Ｒａが車両２の右方向（直進方向に対する直交方向）に向け
られる。

カメラ４の各カメラ（４Ｆ、４Ｂ、４Ｌ、４Ｒ）は、車両２周辺の異なる方向を撮影し
、撮影画像を電子的に取得する。また、カメラ４の備えるレンズは、標準的なレンズより
も焦点距離が比較的短く、１８０度以上の画角θを有する。このため、４つのカメラ４を
用いることで、車両２の全周囲を撮影できる。

図３を再度参照する。セキュリティ装置５は、車両２や車両２内の物品に対する盗難に
繋がる事前現象を検出し、車両２のユーザの所持する携帯端末８へ盗難の恐れが発生した
旨を電子メールで通知する装置である。セキュリティ装置５は、監視センサ５ａ及びメー
ル通知部５ｂを備える。

監視センサ５ａは、車両２や車両２内の物品に対する盗難に繋がる事前現象を検出する
センサである。例えば、車両２に発生した振動を検出する振動センサや、車両２のガラス
の破壊を検出するガラス割れセンサ、ジャッキやクレーンによる車両２の傾きを検出する
傾斜センサ、車両２内への侵入者を検出する侵入センサ等である。

メール通知部５ｂは、監視センサ５ａが盗難に繋がる事前現象を検出すると、盗難の恐
れが発生した旨をユーザへ通知する。具体的には、メール通知部５ｂは、盗難の恐れが発
生した旨を内容とする電子メールを生成し、ユーザの携帯する携帯端末８へ電子メールを
送信する。なお、電子メールを利用した文字情報でなく、音声情報で通知してもよい。こ
の場合、携帯端末８で音声情報を読み上げればよい。また、メール通知部５ｂは、セキュ
リティ装置５に複数の監視センサが備わる場合は、いずれの監視センサが盗難に繋がる事
前現象を検出したのかを電子メールに含めるのが好ましい。ユーザが車両２の状況を把握
し易くするためである。

警報器６は、周囲に音声を発し、警告を行う装置である。スピーカや車両２に備わるホ
ーンである。なお、警報器６は、音声を発するもののほか、光を発するものでもよい。例
えば、警告灯や車両２に備わるライトである。要するに、周囲に注意を喚起し、警告を行
うものであればよい。

次に、携帯端末８を説明する。携帯端末８は、ユーザに携帯され、画像を表示する機能
や情報ネットワークと接続する機能等を備える情報端末である。例えば、携帯電話やスマ
ートフォンである。図５は、携帯端末８の構成を示す。携帯端末８は、制御部８１、通信
部８２、ディスプレイ８３、及び記憶部８４を備える。

制御部８１は、ＣＰＵ、ＲＡＭ、及びＲＯＭを備えたマイクロコンピュータである。制
御部８１は、携帯端末８が備える他の構成と接続され、端末全体を制御する。制御部８１
の備える各機能は後述する。

通信部８２は、無線通信を利用した通信機能を備え、ネットワーク７を介して画像取得
装置３及びセキュリティ装置５と情報通信を行う。例えば、ＷｉＭＡＸ（Worldwide Inte
roperability for Microwave Access）やＬＴＥ（Long Term Evolution）等の無線通信技
術を利用した情報通信である。

ディスプレイ８３は、文字や図形等の各種情報を表示し、ユーザに情報を視覚的に提示
する。例えば、液晶ディスプレイや、プラズマディスプレイ、有機ＥＬディスプレイ等の
表示装置である。ディスプレイ８３は、タッチパネル８３ａを備える。

タッチパネル８３ａは、ディスプレイ８３に表示されたボタン領域へのユーザの接触を
感知し、感知した位置情報を制御部８１へ送信する。

記憶部８４は、データを記憶するメモリである。例えば、ＥＥＰＲＯＭ（Electrical E
rasable Programmable Read-Only memory）や、フラッシュメモリ、磁気ディスクを備え
たハードディスクドライブ等の不揮発性の記憶媒体である。また、記憶部８４は、車体画
像データ８４ａ及びプログラム８４ｂを記憶している。

車体画像データ８４ａは、車両２の外観を示す画像データである。車体画像データ８４
ａは、車両２を外部のあらゆる角度からみた場合の画像データを含む。なお、車体画像デ
ータ８４ａは、予め携帯端末８に記憶せず、画像取得装置３を車両２に取り付け後、ネッ
トワーク７を介して外部サーバから取得してもよい。この場合、画像取得装置３を取り付
けた車両２の外観に合致する車体画像データ８４ａを取得できる。ユーザは、携帯端末８
から外部サーバへ車両２の車種名等を送信し、車体画像データ８４ａを要求すればよい。

プログラム８４ｂは、制御部８１により読み出され、制御部８１が携帯端末８を制御す
るために実行されるファームウェアである。

前述の制御部８１が備える各機能を説明する。制御部８１は、画像取得部８１ａ、画像
生成部８１ｂ、表示制御部８１ｃ、及び操作検出部８１ｄを備える。

画像取得部８１ａは、画像取得装置３から送信される画像データを取得し、取得した画
像データを制御部８１で処理可能な形式に変換する。すなわち、画像取得部８１ａは、複
数のカメラ４で被写体をそれぞれ撮影した複数の画像を取得する
画像生成部８１ｂは、カメラ４で取得された複数の撮影画像を合成し、仮想視点からみ
た車両２周辺の様子を示す周辺画像を生成する。仮想視点は、車両２外部の位置から車両
２を俯瞰する視点である。また、画像生成部８１ｂは、仮想視点からみえる車両２を示す
車体画像を周辺画像に重畳する。なお、画像生成部８１ｂによる周辺画像の生成手法及び
仮想視点の設定手法は後述する。

表示制御部８１ｃは、画像や文字等のデータをディスプレイ８３に表示する。また、表
示制御部８１ｃは、タッチパネル８３ａに入力されるタッチ位置に基づき、ディスプレイ
８３に表示する画像等を変化させる。

操作検出部８１ｄは、ユーザのタッチパネル８３ａに対する操作を検出する。具体的に
は、操作検出部８１ｄは、タッチパネル８３ａから送信されるタッチ位置情報により、ユ
ーザの指先がタッチパネル８３ａに接触後、タッチパネル８３ａ上のどの方向へ移動して
いるかを検出する。

なお、ユーザのタッチパネル８３ａに対する操作とは、例えば、指先をタッチパネル８
３ａに接触させたままスライドさせる、いわゆるフリック操作である。また、２本の指先
をタッチパネル８３ａに接触させたまま指先と指先の間隔を縮める、いわゆるピンチイン
操作である。また、２本の指先をタッチパネル８３ａに接触させたまま指先と指先の間隔
を広げる、いわゆるピンチアウト操作である。

通知部８１ｅは、通信部８２を介して携帯端末８の外部の装置へ所定の信号を送信する
。通知部８１ｅが送信する信号は、例えば、画像取得装置に対して画像データの送信を要
求する信号等である。

＜１−３．周辺画像及び合成画像の生成＞
次に、画像生成部８１ｂが、車両２の周辺領域を示す周辺画像ＡＰ、及び周辺画像ＡＰ
に車体画像１０を重畳した合成画像ＣＰを生成する手法を説明する。図６は、画像生成部
８１ｂが周辺画像ＡＰを生成する手法を示す。

まず、フロントカメラ４Ｆ、リアカメラ４Ｂ、左サイドカメラ４Ｌ、及び右サイドカメ
ラ４Ｒの各々が車両２周辺を撮影すると、車両２の前方、後方、左側方、及び右側方を各
々示す４つの画像ＡＰ（Ｆ）、ＡＰ（Ｂ）、ＡＰ（Ｌ）、ＡＰ（Ｒ）が取得される。これ
ら４つの画像は、車両２の全周囲を示す画像データを含む。

画像生成部８１ｂは、これら４つの画像ＡＰ（Ｆ）、ＡＰ（Ｂ）、ＡＰ（Ｌ）、ＡＰ（
Ｒ）に含まれるデータ（各画素の値）を、仮想的な三次元空間における立体曲面である投
影面ＴＳに投影する。投影面ＴＳは、例えば、略半球状（お椀形状）である。この投影面
ＴＳの中心部（お椀の底部分）は、車両２の存在位置である。また、投影面ＴＳの中心部
以外の部分は、画像ＡＰ（Ｆ）、ＡＰ（Ｂ）、ＡＰ（Ｌ）、ＡＰ（Ｒ）のいずれかと対応
付けられる。

画像生成部８１ｂは、投影面ＴＳの中心部以外の部分に、周辺画像ＡＰ（Ｆ）、ＡＰ（
Ｂ）、ＡＰ（Ｌ）、ＡＰ（Ｒ）を投影する。画像生成部８１ｂは、投影面ＴＳにおける車
両２前方に相当する領域にフロントカメラ４Ｆの画像ＡＰ（Ｆ）を投影し、車両２後方に
相当する領域にリアカメラ４Ｂの画像ＡＰ（Ｂ）を投影する。さらに、画像生成部８１ｂ
は、投影面ＴＳにおける車両２左側方に相当する領域に左サイドカメラ４Ｌの画像ＡＰ（
Ｌ）を投影し、車両２右側方に相当する領域に右サイドカメラ４Ｒの画像ＡＰ（Ｒ）を投
影する。これにより、車両２全周囲の領域を示す周辺画像ＡＰが生成される。

次に、画像生成部８１ｂは、この三次元空間における任意の視点位置から任意の視点方
向に向けた仮想視点ＶＰを設定する。そして、投影面ＴＳのうち、設定した仮想視点ＶＰ
からみた視野角に含まれる領域に投影された画像データを切り出す。切り出した画像デー
タにより、仮想視点ＶＰからみた車両２周辺の領域を示す周辺画像ＡＰが生成される。

画像生成部８１ｂは、記憶部８４から車体画像データを読み出し、仮想視点ＶＰからみ
た車両２の車体画像１０を生成する。そして、仮想視点ＶＰからみた車両２周辺の領域を
示す周辺画像ＡＰに車体画像１０を合成し、合成画像ＣＰを生成する。

画像生成部８１ｂは、視点位置を車両２の直上、視野方向を直下とした仮想視点ＶＰｔ
を設定した場合、周辺画像ＡＰ（Ｆ）、ＡＰ（Ｂ）、ＡＰ（Ｌ）、ＡＰ（Ｒ）及び車体画
像１０を用いて、車両２及び車両２の周辺領域を俯瞰する合成画像ＣＰｔを生成する。合
成画像ＣＰｔは、車両２を直上から見下ろしたような画像であり、車両２周囲の領域を示
す。

また、画像生成部８１ｂは、視点位置を車両２の前方上方、視野方向を車両２の後方下
向きとした仮想視点ＶＰｂを設定した場合、周辺画像ＡＰ（Ｂ）、ＡＰ（Ｌ）、ＡＰ（Ｒ
）及び車体画像１０を用いて、車両２及び車両２の周辺領域を俯瞰する合成画像ＣＰｂを
生成する。合成画像ＣＰｂは、車両２を前方上方から後方を見下ろしたような画像であり
、車両２後方の領域を示す。

また、画像生成部８１ｂは、視点位置を車両２の左斜め後方かつ上方、視野方向を車両
２の前方下向きとした仮想視点ＶＰｌを設定した場合、周辺画像ＡＰ（Ｆ）、ＡＰ（Ｌ）
、ＡＰ（Ｒ）及び車体画像１０を用いて、車両２及び車両２の周辺領域を俯瞰する合成画
像ＣＰｌを生成する。合成画像ＣＰｌは、車両２を左斜め後方かつ上方から前方を見下ろ
したような画像であり、車両２左側の領域を示す。

＜１−４．仮想視点の設定＞
次に、画像生成部８１ｂが、仮想視点ＶＰを設定する手法を詳細に説明する。図７ない
し図１２は、画像生成部８１ｂが、仮想視点ＶＰを設定する手法を示す。なお、各図にお
いて、３次元のＸＹＺ直交座標系ｃｃを用い、適宜方向及び向きを示す。直交座標系ｃｃ
の各座標軸は、車両２に対して相対的に固定される。すなわち、Ｘ軸方向を車両２の左右
方向、Ｙ軸方向を車両２の前後方向、Ｚ軸方向を鉛直方向とする。また、＋Ｘ側を車両２
の右方側、＋Ｙ側を車両２の前方側、＋Ｚ側を鉛直上側とする。したがって、−Ｘ側は車
両２の左方側、−Ｙ側は車両２の後方側、−Ｚ側は鉛直下側である。

まず、図７を参照する。図７は、車両２を鉛直上方向（＋Ｚ側）から見た図であり、仮
想視点ＶＰのうち基準となる５つの基準仮想視点ＶＰａ（ＶＰａｔ、ＶＰａｆ、ＶＰａｂ
、ＶＰａｌ、ＶＰａｒ）を示す。

５つの基準仮想視点ＶＰａは各々、５つの基準位置（ＶＬｔ、ＶＬｆ、ＶＬｂ、ＶＬｌ
、ＶＬｒ）、５つの移動中心点ＲＣ（ＲＣｔ、ＲＣｆ、ＲＣｂ、ＲＣｌ、ＲＣｒ）、及び
５つの基準方向（ＶＤｔ、ＶＤｆ、ＶＤｂ、ＶＤｔｌ、ＶＤｒ）を含む。

基準位置ＶＬｔは、車両２の直上に位置する。基準位置ＶＬｆは、車両２の直上のやや
前方（＋Ｙ側）に位置する。基準位置ＶＬｂは、車両２の直上のやや後方（−Ｙ側）に位
置する。基準位置ＶＬｌは、車両２の左斜め後方（−Ｙ側かつ−Ｘ側）に位置する。基準
位置ＶＬｒは、車両２の右斜め後方（＋Ｘ側かつ−Ｙ側）に位置する。各基準位置ＶＬの
高さ（＋Ｚ側）は、車両２の接する接地面ＧＲから同一の高さである。例えば、車高の２
倍の高さである。

図８は、車両２を水平方向右側（＋Ｘ側）から見た図であり、移動中心点ＲＣ及び基準
方向ＶＤを説明する図である。移動中心点ＲＣは、仮想視点ＶＰが移動する際の中心とな
る基準点である。したがって、仮想視点ＶＰの視点位置が移動しても、視点方向は常に移
動中心点ＲＣを向く。移動中心点ＲＣを用いた仮想視点ＶＰ視点位置を移動させる手法は
後述する。

移動中心点ＲＣｔは、車両の特定位置に設定された特定点である。移動中心点ＲＣｔは
、車両２の中心に位置する。移動中心点ＲＣｆは、車両２の左右中心、かつ車両２の前端
やや前方（＋Ｙ側）に位置する。移動中心点ＲＣｂは、車両２の左右中心、かつ車両２の
後端やや後方（−Ｙ側）に位置する。移動中心点ＲＣｌは、車両２の前後中心、かつ車両
２のやや左外側（−Ｘ側）に位置する。移動中心点ＲＣｒは、車両２の前後中心、かつ車
両２のやや右外側（＋Ｘ側）に位置する。各移動中心点ＲＣの高さ（＋Ｚ側）は、車両２
に着座したユーザの目線の高さｈである。

基準方向ＶＤｔは、基準位置ＶＬｔから移動中心点ＲＣｔの方向（−Ｚ側）を向く。基
準方向ＶＤｆは、基準位置ＶＬｆから移動中心点ＲＣｆの方向（−Ｚ側かつ＋Ｙ側）を向
く。基準方向ＶＤｂは、基準位置ＶＬｂから移動中心点ＲＣｂの方向（−Ｚ側かつ−Ｙ側
）を向く。基準方向ＶＤｌは、基準位置ＶＬｌから移動中心点ＲＣｌの方向（−Ｚ側かつ
＋Ｙ側）を向く。基準方向ＶＤｒは、基準位置ＶＬｒから移動中心点ＲＣｒの方向（−Ｚ
側かつ＋Ｙ側）を向く。

このように、仮想視点ＶＰは、視点位置ＶＤから移動中心点ＲＣを見た視点である。ま
た、基準仮想視点ＶＰａｔは、車両２を直上から俯瞰する視点（トップビュー）である。
基準仮想視点ＶＰａｆは、車両２を前方かつ上方から車両２前方を見る視点である（フロ
ントビュー）。基準仮想視点ＶＰａｂは、車両２を後方かつ上方から車両２後方を見る視
点（バックビュー）である。基準仮想視点ＶＰａｌは、車両２を左斜め後方かつ上方から
車両２の左側領域を見る視点（左サイドビュー）である。基準仮想視点ＶＰａｒは、車両
２を右斜め後方かつ上方から車両２の右側領域を見る視点（右サイドビュー）である。

このような基準仮想視点ＶＰａは、ユーザにより選択される。ユーザによる選択は、各
基準仮想視点ＶＰと対応付けられたタッチパネルボタンへのタッチ操作により選択される
。すなわち、合成画像ＣＰがディスプレイに表示されている際、ユーザによりいずれかの
基準仮想視点ＶＰａが選択されると、画像生成部８１ｂは、かかる基準仮想視点ＶＰａか
ら見た合成画像を生成する。これにより、ユーザは、仮想視点の位置を様々に変化させた
後、基準仮想視点ＶＰに仮想視点を戻せなくなった場合でも、タッチパネルボタンへのタ
ッチ操作により容易に仮想視点を基準仮想視点ＶＰに設定することができる。

なお、ユーザの視点選択前の画像表示初期においては、基準仮想視点ＶＰａのうちいず
れかの視点を予め設定される。この際、車両２を直上から俯瞰する基準仮想視点ＶＰａｔ
で合成画像ＣＰを生成することが好ましい。車両２周辺の広い領域をユーザに提示でき、
初期表示として好適だからである。

次に、移動中心点ＲＣを用いた視点位置ＶＬを移動させる手法について説明する。まず
、ユーザからディスプレイを見て左右方向（水平方向）に視点位置ＶＬを移動させる手法
について、図９及び図１０を参照して説明する。以下で説明する視点位置ＶＬの移動は、
ユーザによるタッチパネルへの左右方向（水平方向）のフリック操作に対応して行われる
。

図９は、車両２を鉛直上方向（＋Ｚ側）から見た図であり、基準仮想視点ＶＰａｌの基
準位置ＶＬｌが移動する軌跡を示す。基準位置ＶＬｌは、移動中心点ＲＣｌを中心に移動
軌跡ＯＢｌｈを移動する。視点位置ＶＬの移動は、移動中心点ＲＣｌの位置を原点とする
車両２に相対的に固定される直交座標系ｃｃ（ワールド座標系）を基準とする。視点位置
ＶＬｌの移動する基準となる座標軸は、移動中心点ＲＣｌの位置における直交座標系ｃｃ
のＺ軸である。

図１０は、車両２を水平方向右側（＋Ｘ側）から見た図であり、図９と同様に基準仮想
視点ＶＰａｌの基準位置ＶＬｌが移動する軌跡を示す。基準位置ＶＬｌは、移動中心点Ｒ
Ｃｌを中心に移動軌跡ＯＢｌｈを移動する。視点位置ＶＬｌの移動する基準となる座標軸
は、移動中心点ＲＣの位置における直交座標系ｃｃのＺ軸（ＡＸｌ）である。

図９及び図１０において、視点方向ＶＤｌは、視点位置ＶＬｌが移動軌跡ＯＢｌｈのど
こに位置しても、視点位置ＶＬｌから移動中心点ＲＣｌの方向を向く。したがって、基準
位置ＶＬｌが移動軌跡ＯＢｌｈ上を移動すると、ディスプレイ８３を見みているユーザは
、画像が横方向に移動しているように見える。

また、ユーザがタッチパネル８３ａに対し、左方向から右方向へ（水平方向）のフリッ
ク操作を行った場合、ＶＬｌは、移動軌跡ＯＢｌｈ上を反時計回りに移動する。一方、ユ
ーザがタッチパネル８３ａに対し、右方向から左方向へ（水平方向）のフリック操作を行
った場合、ＶＬｌは、移動軌跡ＯＢｌｈ上を時計回りに移動する。これにより、ユーザの
フリック操作の方向と画像の移動する方向とが一致し、ユーザは直感的にタッチパネル操
作を行うことができる。

次に、ユーザからディスプレイを見て上下方向（垂直方向）に視点位置ＶＬを移動させ
る手法について、図１１及び図１２を参照して説明する。以下で説明する視点位置ＶＬの
移動は、ユーザによるタッチパネルへの上下方向（垂直方向）のフリック操作に対応して
行われる。

なお、図１１及び図１２においては、３次元のＸＹＺ直交座標系ｃｃに加えて３次元の
ＸＹＺ直交座標系ＶＰｃｃ（視点座標系）をさらに用い、適宜方向及び向きを示す。直交
座標系ＶＰｃｃの各座標軸は、仮想視点ＶＰに対して相対的に固定される。すなわち、Ｘ
軸（ＶＰｘ）方向を仮想視点ＶＰの左右方向、Ｙ軸（ＶＰｙ）方向を仮想視点ＶＰの前後
方向、Ｚ軸（ＶＰｚ）方向を仮想視点ＶＰの垂直方向とする。また、＋Ｘ側を仮想視点Ｖ
Ｐの右方側、＋Ｙ側を仮想視点ＶＰの前方側、＋Ｚ側を仮想視点ＶＰの垂直上側とする。
したがって、−Ｘ側は仮想視点ＶＰの左方側、−Ｙ側は仮想視点ＶＰの後方側、−Ｚ側は
垂直下側である。

図１１は、車両２を鉛直上方向（＋Ｚ側）から見た図であり、基準仮想視点ＶＰａｌの
基準位置ＶＬｌが移動する軌跡を示す。基準位置ＶＬｌは、移動中心点ＲＣｌを中心に移
動軌跡ＯＢｌｖを移動する。視点位置ＶＬの移動は、移動中心点ＲＣｌの位置を原点とす
る仮想視点ＶＰに相対的に固定される直交座標系ＶＰｃｃを基準とする。視点位置ＶＬｌ
の移動する基準となる座標軸は、移動中心点ＲＣｌの位置における直交座標系ＶＰｃｃの
Ｘ軸（ＡＸｌｖ）である。

図１２は、車両２を水平方向右側（−Ｘ側）から見た図であり、図１１と同様に基準仮
想視点ＶＰａｌの基準位置ＶＬｌが移動する軌跡を示す。基準位置ＶＬｌは、移動中心点
ＲＣｌを中心に移動軌跡ＯＢｌｖを移動する。視点位置ＶＬｌの移動する基準となる座標
軸は、移動中心点ＲＣの位置における直交座標系ｃｃのＸ軸である。

図１１及び図１２において、視点方向ＶＤｌは、視点位置ＶＬｌが移動軌跡ＯＢｌｖの
どこに位置しても、視点位置ＶＬｌから移動中心点ＲＣｌの方向を向く。したがって、基
準位置ＶＬｌが移動軌跡ＯＢｌｖ上を移動すると、ディスプレイ８３を見みているユーザ
は、画像が上下方向に移動しているように見える。

なお、移動軌跡ＯＢｌｖは、車両２の接地面ＧＲより上側に設定される。したがって、
基準位置ＶＬｌは、破線で示した移動軌跡ＯＢｌｖを移動し、実線で示した移動軌跡ＯＢ
ｌｘは移動しない。これにより、車両２を接地面下から見るという、通常起こり得ない視
点位置からの画像表示を防止できる。ユーザは違和感なく視点位置を移動ができる。

また、ユーザがタッチパネル８３ａに対し、上方向から下方向へ（垂直方向）のフリッ
ク操作を行った場合、ＶＬｌは、移動軌跡ＯＢｌｖ上を時計回りに移動する。一方、ユー
ザがタッチパネル８３ａに対し、下方向から上方向へ（垂直方向）のフリック操作を行っ
た場合、ＶＬｌは、移動軌跡ＯＢｌｖ上を反時計回りに移動する。これにより、ユーザの
フリック操作の方向と画像の移動する方向とが一致し、ユーザは直感的にタッチパネル操
作を行うことができる。

＜１−５．合成画像の表示例＞
次に、ディスプレイ８３に表示される合成画像ＣＰの例について、図１３ないし図２４
を参照して説明する。

図１３は、仮想視点ＶＰに基準仮想視点ＶＰａｔが設定され、基準仮想視点ＶＰａｔか
ら車両２を見た合成画像ＣＰｔ１が、ディスプレイ８３に表示された例である。合成画像
ＣＰｔ１は、車両２の周囲を示す周辺画像に加え車体画像１０を表示する。合成画像ＣＰ
ｔ１は、ユーザが車両２の周囲を示すタッチパネルボタンＴＢ１３にタッチ操作した場合
、及び合成画像ＣＰの初期表示の場合に表示される。合成画像ＣＰｔ１を参照することで
、ユーザは車両２周囲の状況を一覧で確認することができる。

図１４は、合成画像ＣＰｔ１（図１３）の表示後、図９のＯＢｌｈ上を時計回りに移動
させて基準仮想視点ＶＰａｔを設定し、設定された基準仮想視点ＶＰａｔから車両２を見
た合成画像ＣＰｔ２が、ディスプレイ８３に表示された例である。合成画像ＣＰｔ２は、
ユーザからディスプレイ８３を見て、左方向に回転して表示された車両２の周囲を示す周
辺画像に加え車体画像１０を表示する。合成画像ＣＰｔ２は、合成画像ＣＰｔ１（図１３
）が表示された状態で、タッチパネル８３ａに対し、左方向から右方向へ（水平方向）フ
リック操作ＦＨが行われた場合に表示される。合成画像ＣＰｔ２を参照することで、ユー
ザは車両２周囲の状況を合成画像ＣＰｔ１とは異なる角度から確認できる。

図１５は、合成画像ＣＰｔ１（図１３）の表示後、図１２のＯＢｌｈ上を反時計回りに
移動させて基準仮想視点ＶＰａｔを設定し、設定された基準仮想視点ＶＰａｔから車両２
を見た合成画像ＣＰｔ３が、ディスプレイ８３に表示された例である。合成画像ＣＰｔ３
は、車両２の前端直下を含めて表示される。合成画像ＣＰｔ２は、合成画像ＣＰｔ１（図
１３）が表示された状態で、タッチパネル８３ａに対し、上方向から下方向へ（垂直方向
）フリック操作ＦＶが行われた場合に表示される。合成画像ＣＰｔ２を参照することで、
ユーザは車両２周囲の状況を前端直下を含めて確認できる。

図１６は、仮想視点ＶＰに基準仮想視点ＶＰａｆが設定され、基準仮想視点ＶＰａｆか
ら車両２を見た合成画像ＣＰｆ１が、ディスプレイ８３に表示された例である。合成画像
ＣＰｆ１は、車両２の前方を示す周辺画像に加え車体画像１０を表示する。合成画像ＣＰ
ｆ１は、ユーザが車両２の前方を示すタッチパネルボタンＴＢ１６にタッチ操作した場合
に表示される。合成画像ＣＰｆ１を参照することで、ユーザは車両２前方の状況を確認す
ることができる。

図１７は、合成画像ＣＰｆ１（図１６）の表示後、図９のＯＢｌｈ上を時計回りに移動
させて基準仮想視点ＶＰａｆを設定し、設定された基準仮想視点ＶＰａｆから車両２を見
た合成画像ＣＰｆ２が、ディスプレイ８３に表示された例である。合成画像ＣＰｆ２は、
ユーザからディスプレイ８３を見て、左方向に回転して表示された車両２の周囲を示す周
辺画像に加え車体画像１０を表示する。合成画像ＣＰｆ２は、合成画像ＣＰｆ１（図１６
）が表示された状態で、タッチパネル８３ａに対し、左方向から右方向へ（水平方向）フ
リック操作ＦＨが行われた場合に表示される。合成画像ＣＰｆ２を参照することで、ユー
ザは車両２前方の状況を合成画像ＣＰｆ１とは異なる角度から確認できる。

図１８は、合成画像ＣＰｆ１（図１６）の表示後、図１２のＯＢｌｈ上を反時計回りに
移動させて基準仮想視点ＶＰａｆを設定し、設定された基準仮想視点ＶＰａｆから車両２
を見た合成画像ＣＰｆ３が、ディスプレイ８３に表示された例である。合成画像ＣＰｆ３
は、車両２の前方領域を合成画像ＣＰｆ１より詳細に表示する。合成画像ＣＰｔ３は、合
成画像ＣＰｆ１（図１６）が表示された状態で、タッチパネル８３ａに対し、上方向から
下方向へ（垂直方向）フリック操作ＦＶが行われた場合に表示される。合成画像ＣＰｔ３
を参照することで、ユーザは車両２前方の状況を詳細に確認できる。

図１９は、仮想視点ＶＰに基準仮想視点ＶＰａｂが設定され、基準仮想視点ＶＰａｂか
ら車両２を見た合成画像ＣＰｂ１が、ディスプレイ８３に表示された例である。合成画像
ＣＰｂ１は、車両２の後方を示す周辺画像に加え車体画像１０を表示する。合成画像ＣＰ
ｂ１は、ユーザが車両２の後方を示すタッチパネルボタンＴＢ１９にタッチ操作した場合
に表示される。合成画像ＣＰｂ１を参照することで、ユーザは車両２後方の状況を確認す
ることができる。

図２０は、合成画像ＣＰｂ１（図１９）の表示後、図９のＯＢｌｈ上を時計回りに移動
させて基準仮想視点ＶＰａｂを設定し、設定された基準仮想視点ＶＰａｂから車両２を見
た合成画像ＣＰｂ２が、ディスプレイ８３に表示された例である。合成画像ＣＰｂ２は、
ユーザからディスプレイ８３を見て、左方向に移動して表示された車両２の後方を示す周
辺画像に加え車体画像１０を表示する。合成画像ＣＰｂ２は、合成画像ＣＰｂ１（図１９
）が表示された状態で、タッチパネル８３ａに対し、左方向から右方向へ（水平方向）フ
リック操作ＦＨが行われた場合に表示される。合成画像ＣＰｂ２を参照することで、ユー
ザは車両２後方の状況を合成画像ＣＰｂ１とは異なる角度から確認できる。

図２１は、合成画像ＣＰｂ１（図１９）の表示後、図１２のＯＢｌｈ上を反時計回りに
移動させて基準仮想視点ＶＰａｂを設定し、設定された基準仮想視点ＶＰａｂから車両２
を見た合成画像ＣＰｂ３が、ディスプレイ８３に表示された例である。合成画像ＣＰｂ３
は、車両２の後方領域を合成画像ＣＰｂ１より詳細に表示する。合成画像ＣＰｂ３は、合
成画像ＣＰｂ１（図１６）が表示された状態で、タッチパネル８３ａに対し、上方向から
下方向へ（垂直方向）フリック操作ＦＶが行われた場合に表示される。合成画像ＣＰｂ３
を参照することで、ユーザは車両２後方の状況を詳細に確認できる。

図２２は、仮想視点ＶＰに基準仮想視点ＶＰａｌが設定され、基準仮想視点ＶＰａｌか
ら車両２を見た合成画像ＣＰｌ１が、ディスプレイ８３に表示された例である。合成画像
ＣＰｌ１は、車両２の左方を示す周辺画像に加え車体画像１０を表示する。合成画像ＣＰ
ｌ１は、ユーザが車両２の左方を示すタッチパネルボタンＴＢ２２にタッチ操作した場合
に表示される。合成画像ＣＰｌ１を参照することで、ユーザは車両２左方の状況を確認す
ることができる。

図２３は、合成画像ＣＰｌ１（図２２）の表示後、図９のＯＢｌｈ上を時計回りに移動
させて基準仮想視点ＶＰａｌを設定し、設定された基準仮想視点ＶＰａｌから車両２を見
た合成画像ＣＰｂ２が、ディスプレイ８３に表示された例である。合成画像ＣＰｌ２は、
ユーザからディスプレイ８３を見て、左方向に移動して表示された車両２の左方を示す周
辺画像に加え車体画像１０を表示する。合成画像ＣＰｌ２は、合成画像ＣＰｌ１（図２２
）が表示された状態で、タッチパネル８３ａに対し、左方向から右方向へ（水平方向）フ
リック操作ＦＨが行われた場合に表示される。合成画像ＣＰｌ２を参照することで、ユー
ザは車両２左
方の状況を合成画像ＣＰｌ１とは異なる角度から確認できる。

図２４は、合成画像ＣＰｌ１（図２２）の表示後、図１２のＯＢｌｈ上を反時計回りに
移動させて基準仮想視点ＶＰａｌを設定し、設定された基準仮想視点ＶＰａｌから車両２
を見た合成画像ＣＰｌ３が、ディスプレイ８３に表示された例である。合成画像ＣＰｌ３
は、車両２の左方領域を合成画像ＣＰｌ１より詳細に表示する。合成画像ＣＰｌ３は、合
成画像ＣＰｌ１（図２２）が表示された状態で、タッチパネル８３ａに対し、上方向から
下方向へ（垂直方向）フリック操作ＦＶが行われた場合に表示される。合成画像ＣＰｌ３
を参照することで、ユーザは車両２左方の状況を詳細に確認できる。

なお、車両２の右方を示す合成画像ＣＰについては、図２２から図２４で説明した車両
２の左方を示す場合に対し、左右対照に操作及び制御を行えばよい。車両２の右方を示す
合成画像ＣＰを参照することで、ユーザは車両２右方の状況を確認することができる。

＜１−６．処理＞
次に、画像表示システム１の処理手順を図２５及び図２６を参照しつつ説明する。図２
５は、画像取得装置３、セキュリティ装置５、及び携帯端末８の処理手順を示す。図２６
は、警報器６及び携帯端末８の処理手順を示す。本処理は、所定周期で繰り返し実行され
る。

まず、セキュリティ装置５が、監視センサ５ａが作動したか否か判断する（図２５のス
テップＳ１０１）。

セキュリティ装置５は、監視センサ５ａが作動したと判断すると（ステップＳ１０１で
Ｙｅｓ）、メール通知部５ｂを制御し、ユーザの携帯端末８に対し、監視センサ５ａが作
動した旨、すなわち車両２に盗難に繋がる事前現象が発生した旨を内容とする電子メール
を送信する（ステップＳ１０２）。なお、監視センサ５ａが作動する場合とは、監視セン
サ５ａが車両２に振動や傾斜の発生を検出した場合や、ガラスの破壊を検出した場合、車
両２内への侵入者を検出した場合等である。

セキュリティ装置５が、監視センサ５ａが作動していないと判断した場合、（ステップ
Ｓ１０１でＮｏ）、及びメール通知部５ｂが電子メールを送信した場合は、セキュリティ
装置５の処理は終了し、所定時間経過後に再度処理を開始する。

携帯端末８の通信部８２がメール通知部５ｂから送信された電子メールを受信すると、
表示制御部８１ｃがディスプレイ８３に電子メールの内容を表示する（ステップＳ２０１
）。ユーザは、ディスプレイに表示された電子メールの内容を確認し、車両２の周辺画像
を表示させるか否か判断する。ユーザは、車両２の周辺画像を表示させることを希望する
場合は、タッチパネル８３ａの所定位置へタッチ操作を行えばよい。

操作検出部８１ｄは、ユーザがタッチパネル８３ａにおける周辺画像を表示させるべき
所定位置へタッチ操作を行ったか否か判断する（ステップＳ２０２）。

操作検出部８１ｄが、ユーザがタッチパネル８３ａにおける周辺画像を表示させるべき
所定位置へタッチ操作を行い、画像の表示を希望すると判断すると（ステップＳ２０２で
Ｙｅｓ）、通知部８１ｅが、画像取得装置３へ画像の送信を要求する信号を送信する（ス
テップＳ２０３）。

一方、操作検出部８１ｄがユーザがタッチパネル８３ａにおける周辺画像を表示させな
いことを示す所定位置へタッチ操作を行った場合、すなわち画像の表示を希望しないと判
断すると（ステップＳ２０２でＮｏ）、処理は終了する。ユーザが画像の表示を希望しな
い以上、処理を継続する必要はないからである。

画像取得装置３の要求受信部３１ａが携帯端末８から画像の送信を要求する信号を受信
すると、カメラ制御部３１ｂが、カメラ４（４Ｆ、４Ｂ、４Ｌ、４Ｒ）を制御し、撮影を
開始させる（ステップＳ３０１）。

画像取得部３１ｃがカメラ４（４Ｆ、４Ｂ、４Ｌ、４Ｒ）が撮影した画像データを受信
すると、画像送信部３１ｄは、通信部３２を介し、画像データを携帯端末８へ送信する（
ステップＳ３０２）。

携帯端末８の画像取得部８１ａが画像取得装置３から送信された画像データを受信する
と、画像生成部８１ｂは、周辺画像を生成するための仮想視点の位置及び方向を設定する
。（ステップＳ２０４）。画像生成部８１ｂは、最初に周辺画像を生成する際には、仮想
視点の位置は車両２の直上とし、かつ仮想視点の方向は下向き（トップビュー）として設
定する。ユーザが車両２の真上の位置から下方向を見たような視点である。このような視
点は、最初にユーザへ表示すべき仮想視点の位置及び方向として好ましい。車両の全周囲
を表示するので、ユーザに広範囲に渡る状況を伝えることができるからである。

画像生成部８１ｂは、仮想視点を設定すると、上述の手法により周辺画像を生成する。
そして、記憶部８４から車体画像データ８４ａを読み出し、生成した周辺画像に車体画像
を合成した合成画像を生成する（ステップＳ２０５）。

画像生成部８１ｂが合成画像を生成すると、表示制御部８１ｃは、ディスプレイ８３に
合成画像を表示する（ステップＳ２０６）。これにより、ユーザは車両２周辺の様子を確
認することができる。

表示制御部８１ｃがディスプレイ８３に合成画像を表示すると、操作検出部８１ｄは、
ユーザがディスプレイ８３に対してフリック操作が行われたか否か判断する（ステップＳ
２０７）。

操作検出部８１ｄがユーザによりフリック操作が行われたと判断すると（ステップＳ２
０７でＹｅｓ）、画像生成部８１ｂは、仮想視点を再度設定する（ステップＳ２０４）。

この際、ユーザがディスプレイ８３に対して左右方向（水平方向）のフリック操作を行
った場合は、前述の通りワールド座標系の鉛直方向軸を基準に仮想視点を回転させて仮想
視点の位置を設定する。

さらに、フリック操作がディスプレイ８３に対して右側から左側への操作である場合は
、仮想視点をワールド座標系の鉛直方向軸を上から見た場合に、いわゆる反時計回りとな
るよう仮想視点の位置を回転させる。また、フリック操作がディスプレイ８３に対して左
側から右側への操作である場合は、ワールド座標系の鉛直方向軸を上から見た場合に、い
わゆる時計回りとなるよう仮想視点の位置を回転させる。

一方、ユーザがディスプレイ８３に対して上下方向（垂直方向）のフリック操作を行っ
た場合は、前述の通り視点座標系の水平方向軸を基準に仮想視点を回転させて仮想視点の
位置を設定する。

さらに、フリック操作がディスプレイ８３に対して上側から下側への操作である場合は
、仮想視点を視点座標系の水平方向軸を視点の右から見た場合に、いわゆる反時計回りと
なるよう仮想視点の位置を回転させる。また、フリック操作がディスプレイ８３に対して
下側から上側への操作である場合は、視点座標系の水平方向軸を視点の右から見た場合に
、いわゆる時計回りとなるよう仮想視点の位置を回転させる。

このような仮想視点の位置を回転させる手法により、ユーザがフリック操作により視点
を移動させたい方向と、表示される画像が移動する方向とが一致し、ユーザは直感的に、
タッチパネル８３ａへの操作により画像を移動させることができる。

一方、操作検出部８１ｄは、ユーザによりフリック操作が行われないと判断すると（ス
テップＳ２０７でＮｏ）、仮想視点を基準視点に変更する操作があるか否か判断する（ス
テップＳ２０８）。操作検出部８１ｄは、基準視点を示すいずれかのタッチパネルボタン
にユーザがタッチ操作を行ったか否かにより判断する。

操作検出部８１ｄが仮想視点を基準視点に変更する操作があると判断すると（ステップ
Ｓ２０８でＹｅｓ）、画像生成部８１ｂは、ユーザがタッチ操作により所望した基準視点
に仮想視点の位置及び方向を設定する（ステップＳ２０４）。例えば、画像生成部８１ｂ
は、ユーザが車両２左側領域を表示する基準視点を希望した場合には、図９及び図１０に
示したような仮想視点の位置及び方向設定する。なお、基準視点は、車両直上、車両２左
側、車両２右側、車両２前側、及び車両２後側の５視点である。車両の特定位置に設定さ
れる特定点である移動中心点ＲＣの位置は、ユーザが所望した基準視点に応じた位置に設
定される。

一方、操作検出部８１ｄは、仮想視点を基準視点に変更する操作がないと判断すると（
ステップＳ２０８でＮｏ）、ユーザが車両２に備えた警報器６を作動させようとしている
か否か判断する（ステップＳ２０９）。操作検出部８１ｄは、ユーザがタッチパネル８３
ａにおける警報器を作動させることを示す所定位置へタッチ操作を行ったか否かにより判
断する。

操作検出部８１ｄは、ユーザが警報器６を作動させようとしていると判断すると（ステ
ップＳ２０９でＹｅｓ）、通知部８１ｅが画像取得装置３へ警報器６を作動するよう要求
する信号を送信する（ステップＳ２１０）。

通知部８１ｅが警報器６を作動するよう要求する信号を送信すると、画像取得装置３の
盗難防止部３１ｅは、警報器６に警報を行わせる（ステップＳ４０１）。なお、警報器６
による警報は、所定時間経過後に終了する。かかる所定時間は、不審者に対し警告を与え
るのに十分な時間であればよい。例えば、５秒である。元より、ユーザが警報の終了時を
操作してもよい。

操作検出部８１ｄが、ユーザが警報器６を作動させようとしていないと判断する場合（
ステップＳ２０９でＮｏ）、及び盗難防止部３１ｅが警報器６に警報を行わせた場合（ス
テップＳ２１０）、操作検出部８１ｄは、ユーザが画像表示を終了させようとしているか
否か判断する（ステップＳ２１１）。

操作検出部８１ｄが、ユーザが画像表示を終了させようとしていると判断すると（ステ
ップＳ２１１でＹｅｓ）、通知部８１ｅは、画像取得装置３へ撮影を終了するよう要求す
る信号を送信する（ステップＳ２１２）。通知部８１ｅが画像取得装置３へ撮影を終了す
るよう要求する信号を送信すると、携帯端末８の処理は終了する。

一方、操作検出部８１ｄが、ユーザが画像表示を終了させようとしていないと判断する
と（ステップＳ２１１でＮｏ）、表示制御部８１ｃが画像の生成及び表示を継続し、処理
はステップＳ２０５以下を再度実行する。

画像取得装置３は、ステップＳ３０２において画像送信部３１ｄが画像データを送信す
ると、要求受信部３１ａが携帯端末８から撮影を終了するよう要求する終了要求信号が送
信されたか否か判断する（ステップＳ３０３）。画像取得装置３は、この終了要求信号を
受信するまでは、カメラ４（４Ｆ、４Ｂ、４Ｌ、４Ｒ）において直近に得られた画像デー
タを繰り返し携帯端末８に送信する。これにより、携帯端末８の画像生成部８１ｂは、直
近に得られた画像データに基づいて、車両２周辺の様子を略リアルタイムに示す周辺画像
を生成できる。

要求受信部３１ａが携帯端末８から撮影を終了するよう要求する終了要求信号が送信さ
れたと判断すると（ステップＳ３０３でＹｅｓ）、カメラ制御部３１ｂが、カメラ４（４
Ｆ、４Ｂ、４Ｌ、４Ｒ）を制御し、撮影を停止させる（ステップＳ３０４）。カメラ制御
部３１ｂがカメラ４（４Ｆ、４Ｂ、４Ｌ、４Ｒ）を制御し、撮影を停止させると、画像取
得装置３の処理は終了する。

以上のように、第１の実施の形態では、ユーザの操作に基づいて、仮想視点の位置を変
更して合成画像を表示する。これにより、ユーザの望む視点から容易に被写体を表示でき
る。

＜２．第２の実施の形態＞
＜２−１．概要＞
次に、第２の実施の形態について説明する。前述の第１の実施の形態は、視点位置ＶＬ
が車両２の直上かつ視点方向ＶＤが下向き（−Ｚ側）である場合（すなわち、トップビュ
ーである場合）に、ユーザの左右方向（水平方向）のフリック操作に対する視点位置ＶＬ
の移動は、直交座標系ｃｃの鉛直軸（Ｚ軸）を基準とした。これにより、合成画像ＣＰは
左右いずれかに回転して表示された。

しかし、合成画像ＣＰを回転して表示させても、ユーザに対し新たな周辺領域を提示す
るものではない。

そこで、第２の実施の形態は、トップビューにおいて、視点位置ＶＬの移動は直交座標
系ｃｃの車両２の前後となる軸（Ｙ軸）を基準とする。これにより、トップビューにおい
て、ユーザがタッチパネル８３ａに対して左右方向（水平方向）のフリック操作を行うと
、車両２側面を含めた車両２の左右の領域が表示されるため、ユーザは車両２の左右領域
を詳細に確認できる。

第２の実施の形態は、第１の実施の形態と同様の構成及び処理を含むため、以下、第１
の実施の形態との相違点を主に説明する。

＜２−２．構成＞
まず、第２の実施の形態における携帯端末８の構成について説明する。図２７は、第２
の実施の形態の携帯端末８の構成を示す。第１の実施の形態との主な相違点は、携帯端末
８の制御部８１が座標軸変換部８１ｆを備える点である。その他の構成は、第１の実施の
形態と同様に構成され、また同様に機能する。

座標軸変換部８１ｆは、仮想視点がトップビューである場合に、視点位置ＶＬを移動さ
せる基準となる座標軸を直交座標系ｃｃの鉛直軸（Ｚ軸）から車両前後軸（Ｙ軸）へ変換
する。

＜２−３．仮想視点の設定＞
次に、トップビュー表示において、ユーザからディスプレイを見て左右方向（水平方向
）に視点位置ＶＬを移動させる手法について、図２８及び図２９を参照して説明する。以
下で説明する視点位置ＶＬの移動は、トップビュー表示において、ユーザによるタッチパ
ネルへの左右方向（水平方向）のフリック操作に対応して行われる。

図２８は、車両２を鉛直上方向（＋Ｚ側）から見た図であり、基準仮想視点ＶＰａｔの
基準位置ＶＬｔが移動する軌跡を示す。基準位置ＶＬｔは、移動中心点ＲＣｔを中心に移
動軌跡ＯＢｔｈを移動する。視点位置ＶＬｔの移動は、移動中心点ＲＣｔの位置を原点と
する仮想視点ＶＰに相対的に固定される直交座標系ｃｃを基準とする。視点位置ＶＬｔの
移動する基準となる座標軸は、移動中心点ＲＣｔの位置における直交座標系ｃｃのＹ軸（
ＡＸｔｈ）である。すなわち、車両２の前後方向に沿った軸である。

図２９は、車両２を水平方向後側（−Ｙ側）から見た図であり、図２８と同様に基準仮
想視点ＶＰａｔの基準位置ＶＬｔが移動する軌跡を示す。基準位置ＶＬｔは、移動中心点
ＲＣｔを中心に移動軌跡ＯＢｔｈを移動する。移動軌跡ＯＢｔｈは、水平方向後側（−Ｙ
側）から見ると円形となる。視点位置ＶＬｌの移動する基準となる座標軸は、移動中心点
ＲＣｔの位置における直交座標系ｃｃのＹ軸である。

図２８及び図２９において、視点方向ＶＤｔは、視点位置ＶＬｔが移動軌跡ＯＢｔｈの
どこに位置しても、視点位置ＶＬｔから移動中心点ＲＣｔの方向を向く。したがって、基
準位置ＶＬｔが移動軌跡ＯＢｔｈ上を移動すると、ディスプレイ８３を見みているユーザ
は、画像が左右方向（水平方向）に移動しているように見える。特に、視点位置ＶＬｌの
移動する基準となる座標軸を、移動中心点ＲＣｔの位置における直交座標系ｃｃのＹ軸と
したので、ユーザは車両２の側面に回り込むようにして車両２周辺の画像を参照すること
ができる。

なお、移動軌跡ＯＢｔｈは、車両２の接地面ＧＲより下側には設定されない。したがっ
て、基準位置ＶＬｔは、破線で示した移動軌跡ＯＢｔｈを移動し、実線で示した移動軌跡
ＯＢｔｘは移動しない。

また、ユーザがタッチパネル８３ａに対し、左方向から右方向へ（水平方向）のフリッ
ク操作を行った場合、ＶＬｔは、移動軌跡ＯＢｔｈ上を反時計回りに移動する。一方、ユ
ーザがタッチパネル８３ａに対し、左方向から右方向へ（水平方向）のフリック操作を行
った場合、ＶＬｔは、移動軌跡ＯＢｔｈ上を時計回りに移動する。これにより、ユーザの
フリック操作の方向と画像の移動する方向とが一致し、ユーザは直感的にタッチパネル操
作を行うことができる。

＜２−４．合成画像の表示例＞
図３０の上段図は、仮想視点ＶＰに基準仮想視点ＶＰａｔが設定され、基準仮想視点Ｖ
Ｐａｔから車両２を見た合成画像ＣＰｔ１が、ディスプレイ８３に表示された例である。
すなわち、合成画像ＣＰｔ１は、仮想視点がトップビューである場合の合成画像である。

図３０の下段図は、合成画像ＣＰｔ１の表示後、視点位置ＶＬを移動させる座標軸を直
交座標系ｃｃの鉛直軸（Ｚ軸）から車両前後軸（Ｙ軸）へ変換した場合の合成画像ＣＰｔ
４である。すなわち、図２９のＯＢｔｈ上を反時計回りに移動させて基準仮想視点ＶＰａ
ｔを設定し、設定された基準仮想視点ＶＰａｔから車両２を見た合成画像ＣＰｔ４が、デ
ィスプレイ８３に表示された例である。合成画像ＣＰｔ４は、車両２側面を含めた車両２
の周辺画像に加え車体画像１０を表示する。このため、ユーザはトップビューから車両２
の左右領域を詳細に確認できる。合成画像ＣＰｔ４は、合成画像ＣＰｔ１が表示された状
態で、タッチパネル８３ａに対し、左方向から右方向へ（水平方向）フリック操作ＦＨが
行われた場合に表示される。合成画像ＣＰｔ２を参照することで、ユーザは車両２側面を
含めた車両２の左右の領域を詳細に確認できる。

＜２−５．処理＞
次に、第２の実施の形態における処理手順を図３１及び図３２を参照して説明する。図
３１は、第２の実施の形態における画像取得装置３、セキュリティ装置５、及び携帯端末
８の処理手順を示す。図２５で示した第１の実施の形態における処理手順との相違点は、
ステップＳ２０９の処理を備える点である。

まず、画像生成部８１ｂは、周辺画像を生成するための仮想視点の位置及び方向を設定
する。（ステップＳ２０４）。画像生成部８１ｂは、最初に周辺画像を生成する際には、
仮想視点の位置は車両２の直上とし、かつ仮想視点の方向は下向き（トップビュー）とし
て設定する。また、座標軸変換部８１ｆは、視点位置ＶＬを移動させる基準となる軸を車
両前後軸（Ｙ軸）に設定する。

ステップＳ２０５、ステップＳ２０６、及びステップＳ２０７が実行されると、操作検
出部８１ｄは、仮想視点を基準視点に変更する操作があるか否か判断する（ステップＳ２
０８）。操作検出部８１ｄは、基準視点を示すいずれかのタッチパネルボタンにユーザが
タッチ操作を行ったか否かにより判断する。

操作検出部８１ｄが仮想視点を基準視点に変更する操作があると判断すると（ステップ
Ｓ２０８でＹｅｓ）、画像生成部８１ｂは、座標軸の設定処理（ステップＳ２０９）を実
行する。

図３２は、座標軸の設定処理（ステップＳ２０９）の詳細を示す。座標軸の設定処理（
ステップＳ２０９）に処理が移行すると、操作検出部８１ｄは、仮想視点がトップビュー
の視点に変更されたか否か判断する（ステップＳ４０１）。

仮想視点がトップビューの視点に変更されたと判断すると（ステップＳ４０１でＹｅｓ
）、座標軸変換部８１ｆは、視点位置ＶＬを移動させる基準となる座標軸を車両前後軸（
Ｙ軸）に設定する（ステップＳ４０２）。

一方、仮想視点がトップビュー以外の視点に変更されたと判断すると（ステップＳ４０
１でＮｏ）、座標軸変換部８１ｆは、視点位置ＶＬを移動させる基準となる座標軸を鉛直
軸（Ｚ軸）に設定する（ステップＳ４０３）。

ステップＳ４０２又はステップＳ４０３が実行されると、処理は図３１に戻り、再度ス
テップＳ２０４以下の処理が実行される。

以上、第２の実施の形態は、トップビューにおいて、視点位置ＶＬの移動は直交座標系
ｃｃの車両２の前後となる軸（Ｙ軸）を基準とする。これにより、トップビューにおいて
、ユーザがタッチパネル８３ａに対して左右方向（水平方向）のフリック操作を行うと、
車両２側面を含めた車両２の左右の領域が表示されるため、ユーザは車両２の左右領域を
詳細に確認できる。

＜３．変形例＞
以上、本発明の実施の形態について説明した。しかし、本発明は上記実施の形態に限定
されることはない。様々な変形が可能である。以下、変形例を説明する。なお、上記及び
以下の実施の形態は、適宜組み合わせ可能である。

上記実施の形態では、画像取得装置３は、ユーザから画像送信の要求の受信時に、撮影
を開始した。しかし、ユーザから画像送信の要求の受信前に、撮影を開始してもよい。す
なわち、監視センサ５ａの作動時に撮影を開始してもよい。この場合、ユーザは、監視セ
ンサ５ａが作動するような車両２の異常発生時から、車両２周辺の様子を参照できる。

図３３は、画像取得装置３が監視センサ５ａの作動時に撮影を開始する画像表示システ
ム１ａの概要を示す。監視センサ５ａが車両２の異常を検出すると、セキュリティ装置５
は、画像取得装置３へ撮影開始を要求する信号を送信する。画像取得装置３は、かかる信
号を受信すると、カメラ４を作動させ撮影を開始する。すなわち、画像取得装置３は、ユ
ーザからの画像送信の要求を待たず、車両２の異常発生時に撮影を開始する。画像取得装
置３は、撮影を開始すると、画像データを外部に設置されたサーバＳＶへ送信する。これ
により、画像データは車両２の異常発生時からサーバＳＶに保存される。したがって、ユ
ーザは、セキュリティ装置５から車両２の異常発生を通知するメールを受信すると、サー
バＳＶに対して画像送信の要求を行う。サーバＳＶは、画像送信の要求を受信すると、ユ
ーザの所持する携帯端末８へ車両２の異常発生時からの画像データを送信する。これによ
り、ユーザは、監視センサ５ａの作動時、すなわち、車両２の異常発生時からの車両２周
辺の様子を参照できる。また、サーバＳＶを、画像データを送受信する専用サーバとすれ
ば、画像データを他者に傍受される恐れがなく、画像データの秘匿性を高めることができ
る。なお、ユーザは現在の車両２周辺の様子を確認したい場合には、サーバＳＶへ現在の
画像データの送信を要求すればよい。この場合、サーバＳＶは、異常発生時から現在まで
の画像データの送信を省略し、現在の画像データを送信する。

他の変形例を説明する。上記実施の形態では、画像取得装置３、カメラ４、セキュリテ
ィ装置５、及び警報器６は車両２に搭載されると説明した。しかし、車両２でなくともよ
い。住宅やビルディング等でもよい。要するに、監視すべき土地や建物、物品であればよ
い。

また、上記実施の形態では、ユーザが入力操作を行うものとしてタッチパネルを説明し
た。しかし、タッチパネルでなくともよい。押しボタン式のスイッチでもよい。例えば、
いわゆる十字キーである。要するに、ユーザの入力操作が判別できればよい。

また、上記実施の形態では、画像取得装置３と携帯端末８とを別体の装置として説明し
た。しかし、画像取得装置３と携帯端末８とを一体の装置として構成してもよい。

また、上記実施の形態では、各機能はプログラムに従ったソフトウェアとして実現され
ると説明した。しかし、ソフトウェアでなくともよい。電気的なハードウェア回路として
実現されてもよい。

１ 画像表示システム
２ 車両
３ 画像取得装置
４ カメラ
５ セキュリティ装置
６ 警報器
７ ネットワーク
８ 携帯端末

Claims (7)

1. 画像を表示する画像表示装置であって、
   カメラで撮影された画像を用い、仮想的な視点から見た合成画像を生成する生成手段と、
   前記合成画像の、前記視点の変更に対するユーザ操作を検出する操作検出手段と、を有し、
   前記操作検出手段は、
   前記合成画像が表示される画像領域と、
   予め定められた前記視点に対応する、前記合成画像の表示を選択する複数のボタンが表示されるボタン領域と、を有し、
   前記画像領域には、前記ボタンで選択されている前記視点に対応する前記合成画像が表示されるとともに、
   前記画像領域においてタッチ操作が行われた際には、前記タッチ操作に応じた前記視点で前記画像領域に前記合成画像が表示される
   ことを特徴とする画像表示装置。
2. 前記タッチ操作は、フリック操作またはピンチイン操作であることを特徴とする請求項１記載の画像表示装置。
3. 画像を表示する画像表示装置であって、
   カメラで撮影された画像を用い、仮想的な視点から見た合成画像を生成する生成手段と、
   前記合成画像の、前記視点の変更に対するユーザ操作を検出する操作検出手段と、を有し、
   前記操作検出手段は、
   前記合成画像が表示される画像領域と、
   予め定められた前記視点に対応する、前記合成画像の表示を選択する複数のボタンが表示されるボタン領域と、を有し、
   前記ボタンは、車両の前後左右方向に対応する前記ボタン領域の上下左右方向に、それぞれの前記ボタンが配置され、
   前記画像領域には、当該ボタンで選択されている前記視点に対応する前記合成画像が表示されること
   を特徴とする画像表示装置。
4. 前記ボタン領域には、車両周囲の広い領域における初期表示の前記視点での表示を選択するボタンがさらに表示されることを特徴とする請求項３記載の画像表示装置。
5. カメラで撮影された撮影画像を用い、仮想的な視点から見た形で生成した合成画像についての画像情報を入手する通信手段と、
   入手した前記画像情報に基づき画像表示を行う表示手段と、
   前記表示手段に表示された前記画像の前記視点を変更するユーザ指示を与える操作検出手段と、を有し、
   前記操作検出手段は、前記表示手段におけるユーザのタッチ操作を検出するタッチパネルを有し、
   前記表示手段は、
   前記画像が表示される画像領域と、
   予め定められた前記視点に対応する前記画像の表示を指示する複数のボタンが表示されるボタン領域と、を有し、
   前記画像領域には、前記ボタンで選択されている前記視点に対応する前記画像が表示されるとともに、
   前記画像領域においてタッチ操作が行われた際には、前記タッチ操作に応じた前記視点の前記画像が前記画像領域に表示されることを特徴とする端末装置。
6. カメラで撮影された撮影画像を用い、仮想的な視点から見た形で生成した合成画像についての画像情報を入手する通信手段と、
   入手した前記画像情報に基づき画像表示を行う表示手段と、
   前記表示手段に表示された前記画像の前記視点を変更するユーザ指示を与える操作検出手段と、を有し、
   前記操作検出手段は、
   前記表示手段におけるユーザのタッチ操作を検出するタッチパネルを有し、
   前記表示手段は、
   前記画像が表示される画像領域と、
   予め定められた前記視点に対応する前記画像の表示を指示する複数のボタンが表示されるボタン領域と、を有し、
   前記ボタンは、車両の前後左右方向に対応する、前記ボタン領域の上下左右方向にそれぞれのボタンが配置され、
   前記画像領域には、当該ボタンで選択されている前記視点に対応する前記画像が表示されることを特徴とする端末装置。
7. 前記通信手段はセキュリティ装置が異常を検知した際、通知を受信することを特徴とする請求項５または請求項６記載の端末装置。

Images