JP2015076062A - 画像表示装置、画像表示システム、画像表示方法、及び、プログラム - Google Patents

画像表示装置、画像表示システム、画像表示方法、及び、プログラム Download PDF

Info

Publication number
JP2015076062A
JP2015076062A JP2013214014A JP2013214014A JP2015076062A JP 2015076062 A JP2015076062 A JP 2015076062A JP 2013214014 A JP2013214014 A JP 2013214014A JP 2013214014 A JP2013214014 A JP 2013214014A JP 2015076062 A JP2015076062 A JP 2015076062A
Authority
JP
Japan
Prior art keywords
image
vehicle
virtual viewpoint
image display
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013214014A
Other languages
English (en)
Other versions
JP6347934B2 (ja
Inventor
康嘉 澤田
Yasuyoshi Sawada
康嘉 澤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2013214014A priority Critical patent/JP6347934B2/ja
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to CN201480055343.6A priority patent/CN105612552A/zh
Priority to CN202011045271.0A priority patent/CN112165609A/zh
Priority to PCT/JP2014/074091 priority patent/WO2015053040A1/ja
Priority to US14/915,922 priority patent/US10857974B2/en
Priority to DE112014004701.5T priority patent/DE112014004701B4/de
Publication of JP2015076062A publication Critical patent/JP2015076062A/ja
Application granted granted Critical
Publication of JP6347934B2 publication Critical patent/JP6347934B2/ja
Priority to US17/089,767 priority patent/US11643047B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B60R25/102Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device a signal being sent to a remote location, e.g. a radio signal being transmitted to a police station, a security company or the owner
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/305Detection related to theft or to other events relevant to anti-theft systems using a camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/31Detection related to theft or to other events relevant to anti-theft systems of human presence inside or outside the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

【課題】仮想的な視点から車両周辺を示す画像を表示した場合、ユーザが希望する視点に仮想視点を変更できる技術を提供する。【解決手段】複数のカメラ4F、4L、4R、4Bで被写体をそれぞれ撮影した複数の画像を取得する取得手段と、前記複数の画像を合成し、前記被写体を仮想視点から見た合成画像を生成する生成手段と、前記合成画像を画面に表示させる表示制御手段と、前記画面に表示された合成画像の前記仮想視点の位置を変更させるための、ユーザ操作を検出する検出手段と、を備え、前記生成手段は、前記ユーザ操作に基づいて、前記合成画像の仮想視点の位置を変更する。【選択図】図1

Description

本発明は、車両周辺を示す画像を表示する技術に関する。
従来より、自動車等の車両周辺を撮影した画像を合成し、仮想的な視点から車両周辺を見た様子を表示する技術が知られている。このような技術により、ユーザ(代表的には運転者)は、車両内に居ながらにして車両周辺の状況を確認できる。
また、近年では、このような画像をユーザの携帯する携帯端末に送信する技術が提案されている(例えば、特許文献1)。ユーザは、このような画像を視認することで、車両から遠隔に所在しても、車両の状態や盗難の恐れを把握できる。
特開2012−121384号公報
しかし、提案された技術では、車両周辺を見る視点が限定されており、必ずしもユーザの希望する角度から周辺画像を視認できなかった。このため、例えば車両付近に不審者が接近している画像を携帯端末上で確認しても、不審者がどのような人物であるか、どのような行動をしているかは明確に判明せず、却ってユーザの不安を助長する恐れが生じていた。
本発明は、上記課題に鑑み、仮想的な視点から車両周辺を示す画像を表示した場合、ユーザが希望する視点に仮想視点を変更できる技術を提供することを目的とする。
上記課題を解決するため、請求項1の発明は、画像を表示する画像表示装置であって、複数のカメラで被写体をそれぞれ撮影した複数の画像を取得する取得手段と、前記複数の画像を合成し、前記被写体を仮想視点から見た合成画像を生成する生成手段と、前記合成画像を画面に表示させる表示制御手段と、前記画面に表示された合成画像の前記仮想視点の位置を変更させるための、ユーザ操作を検出する検出手段と、を備え、前記生成手段は、前記ユーザ操作に基づいて、前記合成画像の仮想視点の位置を変更する。
また、請求項2の発明は、請求項1に記載の画像表示装置において、前記複数のカメラは車両に設置され、前記生成手段は、前記車両の特定位置に設定された特定点に向けて前記仮想視点の方向を定め、前記車両を基準とし前記特定点を原点とするワールド座標系、及び、前記仮想視点を基準とし前記特定点を原点とする視点座標系に基づき、前記仮想視点の位置を変更する。
また、請求項3の発明は、請求項2に記載の画像表示装置において、前記特定点の位置はユーザにより設定可能である。
また、請求項4の発明は、請求項2または3に記載の画像表示装置において、前記生成手段は、前記ユーザ操作が前記画面における水平方向を示す操作である場合、前記ワールド座標系における鉛直方向の軸を中心として、前記仮想視点の位置を変更する。
また、請求項5の発明は、請求項2ないし4に記載の画像表示装置において、前記生成手段は、前記ユーザ操作が前記画面における垂直方向を示す操作である場合、前記視点座標系における水平方向の軸を中心として、前記仮想視点の位置を変更する。
また、請求項6の発明は、請求項2ないし5のいずれかに記載の画像表示装置において、前記生成手段は、前記視点座標系における水平方向の軸を中心に前記仮想視点の位置を変更する場合は、前記車両の接地面よりも上側の範囲で前記仮想視点の位置を変更する。
また、請求項7の発明は、請求項1に記載の画像表示装置において、前記複数のカメラは車両に設置され、前記生成手段は、前記仮想視点の方向が鉛直方向を向き、かつ前記仮想視点の位置が前記車両の直上に位置する場合に、前記画面における水平方向を示すユーザ操作がなされると、前記車両の前後方向に沿った軸を中心として、前記仮想視点の位置を変更する。
また、請求項8の発明は、画像取得装置と、前記画像取得装置と通信可能な画像表示装置とを含む画像表示システムであって、前記画像取得装置は、複数のカメラで被写体をそれぞれ撮影した複数の画像を取得する取得手段と、前記複数の画像を送信するよう要求する要求信号を前記画像表示装置から受信する要求受信手段と、前記要求信号に基づき、前記複数の画像を前記画像表示装置へ送信する画像送信手段と、を備え、前記画像表示装置は、前記複数の画像を送信するよう要求する前記要求信号を前記画像取得装置へ送信する要求送信手段と、前記複数の画像を前記画像取得装置から受信する画像受信手段と、前記複数の画像を合成し、仮想視点から前記被写体を見た合成画像を生成する生成手段と、前記合成画像を画面に表示させる表示制御手段と、前記画面に表示された合成画像の前記仮想視点の位置を変更させるユーザ操作を検出する操作検出手段と、を備え、前記生成手段は、前記ユーザ操作に基づき、前記合成画像の仮想視点を変更する。
また、請求項9の発明は、請求項8に記載の画像表示システムにおいて、前記画像取得装置は車両に設置され、前記被写体は前記車両の周辺の様子であり、前記車両の盗難に繋がる事前現象を検出するセキュリティ装置をさらに含み、前記セキュリティ装置は、前記事前現象を検出する監視手段と、前記事前現象を検出した旨を前記画像表示装置へ通知する通知手段と、を備える。
また、請求項10の発明は、画像を表示する画像表示方法であって、(a)複数のカメラで被写体をそれぞれ撮影した複数の画像を取得する工程と、(b)前記複数の画像を合成し、前記被写体を仮想視点から見た合成画像を生成する工程と、(c)前記合成画像を画面に表示させる工程と、(d)前記画面に表示された合成画像の前記仮想視点の位置を変更させるユーザ操作を検出する工程と、を備え、前記工程(b)は、前記ユーザ操作に基づき、前記合成画像の仮想視点の位置を変更する。
また、請求項11の発明は、画像を表示する画像表示装置に含まれるコンピュータによって実行可能なプログラムであって、前記コンピュータに、(a)複数のカメラで被写体をそれぞれ撮影した複数の画像を取得する工程と、(b)前記複数の画像を合成し、前記被写体を仮想視点から見た合成画像を生成する工程と、(c)前記合成画像を画面に表示させる工程と、(d)前記画面に表示された合成画像の前記仮想視点の位置を変更させるユーザ操作を検出する工程と、を実行させ、前記工程(b)は、前記ユーザ操作に基づき、前記合成画像の仮想視点の位置を変更する。
請求項1ないし11の発明によれば、ユーザの操作に基づいて合成画像の仮想視点の位置を変更するので、ユーザの望む視点から容易に被写体を表示できる。
また、特に請求項2の発明によれば、車両の特定位置に設定された特定点に向けて仮想視点の方向を定め、ワールド座標系及び視点座標系に基づき仮想視点の位置を変更するので、様々な方向及び位置から被写体を表示できる。
また、特に請求項3の発明によれば、特定点の位置をユーザにより設定可能であるので、ユーザの希望する角度で被写体を表示できる。
また、特に請求項4の発明によれば、ワールド座標系における鉛直方向の軸を中心として、簡易な操作で、仮想視点の位置を変更できる。
また、特に請求項5の発明によれば、視点座標系における水平方向の軸を中心として、簡易な操作で、仮想視点の位置を変更できる。
また、特に請求項6の発明によれば、車両の接地面よりも上側の範囲で仮想視点の位置を変更するので、適切な視点位置を設定できる。
また、特に請求項7の発明によれば、車両の直上から側面へ仮想視点の位置を変更するので、違和感なく角度変化させつつ被写体を表示できる。
また、特に請求項9の発明によれば、画像表示装置のユーザは、車両から遠隔に所在しても、車両の盗難に繋がる事前現象が発生したことを認識でき、速やかに車両周辺の様子を画面で確認できる。
図1は、画像表示システムの概要を示す図である。 図2は、画像表示システムの概要を示す図である。 図3は、第1の実施の形態の画像取得装置の構成を示すブロック図である。 図4は、カメラの配置を説明する図である。 図5は、第1の実施の形態の携帯端末の構成を示すブロック図である。 図6は、周辺画像及び合成画像を生成する手法を説明する図である。 図7は、仮想視点の位置を示す図である。 図8は、仮想視点の位置を示す図である。 図9は、仮想視点の動きを説明する図である。 図10は、仮想視点の動きを説明する図である。 図11は、仮想視点の動きを説明する図である。 図12は、仮想視点の動きを説明する図である。 図13は、表示画像を例示する図である。 図14は、表示画像を例示する図である。 図15は、表示画像を例示する図である。 図16は、表示画像を例示する図である。 図17は、表示画像を例示する図である。 図18は、表示画像を例示する図である。 図19は、表示画像を例示する図である。 図20は、表示画像を例示する図である。 図21は、表示画像を例示する図である。 図22は、表示画像を例示する図である。 図23は、表示画像を例示する図である。 図24は、表示画像を例示する図である。 図は25、第1の実施の形態の処理手順を示すフローチャートである。 図は26、第1の実施の形態の処理手順を示すフローチャートである。 図27は、第1の実施の形態の携帯端末の構成を示すブロック図である。 図28は、仮想視点の動きを説明する図である。 図29は、仮想視点の動きを説明する図である。 図30は、表示画像を例示する図である。 図31は、第2の実施の形態の処理手順を示すフローチャートである。 図32は、第2の実施の形態の処理手順を示すフローチャートである。 図33は、画像表示システムの変形例を示す図である。
以下、図面を参照しつつ本発明の実施の形態について説明する。
<1.第1の実施の形態>
<1−1.概要>
図1は、本発明の実施の形態に係る画像表示システム1の概要を示す。画像表示システム1は、車両2に備えた画像取得装置3が車両2に配置されたカメラ4(4F、4B、4L、4R)から取得した車両2周辺の画像を、車両2から遠隔に所在するユーザの有する携帯端末8に表示させるシステムである。
このようなシステムにおいて、車両2には監視センサを備えたセキュリティ装置5が設置される。監視センサは、不審者SIが車両2への異常に接近した場合や、車両2に対して物理的な危害を加えた場合に作動し、セキュリティ装置5は監視センサが作動した旨をユーザに通知する。セキュリティ装置5から通知を受けたユーザは、画像取得装置3に画像の送信を要求し、携帯端末8に車両2周辺の画像を表示させる。この際、ユーザは、画像の表示される範囲を自在に変更し、所望する角度から車両2周辺の状況を参照する。
図2は、携帯端末8に車両2周辺の画像を表示させたディスプレイ83の例である。ユーザは、携帯端末8のタッチパネル83aを操作することにより、画像の表示範囲を変え、危惧する個所を詳細に点検できる。ユーザは、車両2周辺の画像を参照し、必要に応じて遠隔から車両2のアラームを作動させたり、また警備会社へ通報できる。このような画像表示システム1を用いることにより、ユーザは車両2から遠隔に所在した場合であっても、自らの所有する車両2を常時安全に維持できる。
<1−2.構成>
次に、画像表示システム1に利用される車両2の備える各装置の構成について説明する。図3は、車両2の備える各装置の構成を示す。車両2は、画像取得装置3、カメラ4、セキュリティ装置5、及び警報器6を備える。
画像取得装置3は、車両に設置されたカメラ4から画像データを受信し、受信した画像データを携帯端末8へ送信する電子制御装置である。画像取得装置3は、制御部31、通信部32、記憶部33を備える。
制御部31は、CPU、RAM、及びROMを備えたマイクロコンピュータである。制御部31は、画像取得装置3が備える他の構成と接続され、装置全体を制御する。制御部31は、要求受信部31a、カメラ制御部31b、画像取得部31c、画像送信部31d、及び盗難防止部31eを備える。
要求受信部31aは、携帯端末8を所持するユーザから、カメラ4を作動させ撮影を開始すべき要求信号を受信する。
カメラ制御部31bは、要求受信部31aがユーザから撮影開始の要求信号を受信すると、カメラ4に作動信号を送信し、カメラ4に撮影を開始させる。
画像取得部31cは、カメラ4から送信される画像データを取得し、取得した画像データを制御部31で処理可能な形式に変換する。
画像送信部31dは、画像取得部31cがカメラ4から取得した画像データを通信部32を介して携帯端末8へ送信する。
盗難防止部31eは、警報器6に作動信号を送信し、警報器6に警報を行わせる。これにより、車両2が盗難されるのを防止する。なお、盗難防止部31eは、警報器6に警報を行わせると共に、エンジン制御装置(図示せず)を制御し、エンジンが作動しないようにしてもよい。また、通信部32を介して警備会社へ通報してもよい。要するに、盗難防止部31eは、車両2に備わる機器を利用し、車両2の盗難が防止されるよう機能すればよい。
通信部32は、無線通信を利用した通信機能を備え、ネットワーク7を介して携帯端末8と情報通信を行う。例えば、WiMAX(Worldwide Interoperability for Microwave Access)やLTE(Long Term Evolution)等の無線通信技術を利用した情報通信である。
記憶部33は、データを記憶するメモリである。例えば、EEPROM(Electrical Erasable Programmable Read-Only memory)や、フラッシュメモリ、磁気ディスクを備えたハードディスクドライブ等の不揮発性の記憶媒体である。また、記憶部33は、プログラム33aを記憶している。
プログラム33aは、制御部31により読み出され、制御部31が画像取得装置3を制御するために実行されるファームウェアである。
次に、カメラ4を説明する。カメラ4は、フロントカメラ4F、リアカメラ4B、左サイドカメラ4L、及び、右サイドカメラ4Rを含む。各カメラ(4F、4B、4L、4R)は、レンズと撮像素子とを備え、車両2の異なる位置に配置される。
図4は、カメラ4(4F、4B、4L、4R)が車両2に配置される位置と、各カメラの光軸が向けられる方向とを示す。フロントカメラ4Fは、車両2前端に設置され、光軸4Faが車両2の直進方向に向けられる。リアカメラ4Bは、車両2後端に設置され、光軸4Baが車両2の直進方向と反対の方向、すなわち後進方向に向けられる。左サイドカメラ4Lは、左側のサイドミラーMLに設置され、光軸4Laが車両2の左方向(直進方向に対する直交方向)に向けられる。また、右サイドカメラ4Rは、右側のサイドミラーMRに設置され、その光軸4Raが車両2の右方向(直進方向に対する直交方向)に向けられる。
カメラ4の各カメラ(4F、4B、4L、4R)は、車両2周辺の異なる方向を撮影し、撮影画像を電子的に取得する。また、カメラ4の備えるレンズは、標準的なレンズよりも焦点距離が比較的短く、180度以上の画角θを有する。このため、4つのカメラ4を用いることで、車両2の全周囲を撮影できる。
図3を再度参照する。セキュリティ装置5は、車両2や車両2内の物品に対する盗難に繋がる事前現象を検出し、車両2のユーザの所持する携帯端末8へ盗難の恐れが発生した旨を電子メールで通知する装置である。セキュリティ装置5は、監視センサ5a及びメール通知部5bを備える。
監視センサ5aは、車両2や車両2内の物品に対する盗難に繋がる事前現象を検出するセンサである。例えば、車両2に発生した振動を検出する振動センサや、車両2のガラスの破壊を検出するガラス割れセンサ、ジャッキやクレーンによる車両2の傾きを検出する傾斜センサ、車両2内への侵入者を検出する侵入センサ等である。
メール通知部5bは、監視センサ5aが盗難に繋がる事前現象を検出すると、盗難の恐れが発生した旨をユーザへ通知する。具体的には、メール通知部5bは、盗難の恐れが発生した旨を内容とする電子メールを生成し、ユーザの携帯する携帯端末8へ電子メールを送信する。なお、電子メールを利用した文字情報でなく、音声情報で通知してもよい。この場合、携帯端末8で音声情報を読み上げればよい。また、メール通知部5bは、セキュリティ装置5に複数の監視センサが備わる場合は、いずれの監視センサが盗難に繋がる事前現象を検出したのかを電子メールに含めるのが好ましい。ユーザが車両2の状況を把握し易くするためである。
警報器6は、周囲に音声を発し、警告を行う装置である。スピーカや車両2に備わるホーンである。なお、警報器6は、音声を発するもののほか、光を発するものでもよい。例えば、警告灯や車両2に備わるライトである。要するに、周囲に注意を喚起し、警告を行うものであればよい。
次に、携帯端末8を説明する。携帯端末8は、ユーザに携帯され、画像を表示する機能や情報ネットワークと接続する機能等を備える情報端末である。例えば、携帯電話やスマートフォンである。図5は、携帯端末8の構成を示す。携帯端末8は、制御部81、通信部82、ディスプレイ83、及び記憶部84を備える。
制御部81は、CPU、RAM、及びROMを備えたマイクロコンピュータである。制御部81は、携帯端末8が備える他の構成と接続され、端末全体を制御する。制御部81の備える各機能は後述する。
通信部82は、無線通信を利用した通信機能を備え、ネットワーク7を介して画像取得装置3及びセキュリティ装置5と情報通信を行う。例えば、WiMAX(Worldwide Interoperability for Microwave Access)やLTE(Long Term Evolution)等の無線通信技術を利用した情報通信である。
ディスプレイ83は、文字や図形等の各種情報を表示し、ユーザに情報を視覚的に提示する。例えば、液晶ディスプレイや、プラズマディスプレイ、有機ELディスプレイ等の表示装置である。ディスプレイ83は、タッチパネル83aを備える。
タッチパネル83aは、ディスプレイ83に表示されたボタン領域へのユーザの接触を感知し、感知した位置情報を制御部81へ送信する。
記憶部84は、データを記憶するメモリである。例えば、EEPROM(Electrical Erasable Programmable Read-Only memory)や、フラッシュメモリ、磁気ディスクを備えたハードディスクドライブ等の不揮発性の記憶媒体である。また、記憶部84は、車体画像データ84a及びプログラム84bを記憶している。
車体画像データ84aは、車両2の外観を示す画像データである。車体画像データ84aは、車両2を外部のあらゆる角度からみた場合の画像データを含む。なお、車体画像データ84aは、予め携帯端末8に記憶せず、画像取得装置3を車両2に取り付け後、ネットワーク7を介して外部サーバから取得してもよい。この場合、画像取得装置3を取り付けた車両2の外観に合致する車体画像データ84aを取得できる。ユーザは、携帯端末8から外部サーバへ車両2の車種名等を送信し、車体画像データ84aを要求すればよい。
プログラム84bは、制御部81により読み出され、制御部81が携帯端末8を制御するために実行されるファームウェアである。
前述の制御部81が備える各機能を説明する。制御部81は、画像取得部81a、画像生成部81b、表示制御部81c、及び操作検出部81dを備える。
画像取得部81aは、画像取得装置3から送信される画像データを取得し、取得した画像データを制御部81で処理可能な形式に変換する。すなわち、画像取得部81aは、複数のカメラ4で被写体をそれぞれ撮影した複数の画像を取得する
画像生成部81bは、カメラ4で取得された複数の撮影画像を合成し、仮想視点からみた車両2周辺の様子を示す周辺画像を生成する。仮想視点は、車両2外部の位置から車両2を俯瞰する視点である。また、画像生成部81bは、仮想視点からみえる車両2を示す車体画像を周辺画像に重畳する。なお、画像生成部81bによる周辺画像の生成手法及び仮想視点の設定手法は後述する。
表示制御部81cは、画像や文字等のデータをディスプレイ83に表示する。また、表示制御部81cは、タッチパネル83aに入力されるタッチ位置に基づき、ディスプレイ83に表示する画像等を変化させる。
操作検出部81dは、ユーザのタッチパネル83aに対する操作を検出する。具体的には、操作検出部81dは、タッチパネル83aから送信されるタッチ位置情報により、ユーザの指先がタッチパネル83aに接触後、タッチパネル83a上のどの方向へ移動しているかを検出する。
なお、ユーザのタッチパネル83aに対する操作とは、例えば、指先をタッチパネル83aに接触させたままスライドさせる、いわゆるフリック操作である。また、2本の指先をタッチパネル83aに接触させたまま指先と指先の間隔を縮める、いわゆるピンチイン操作である。また、2本の指先をタッチパネル83aに接触させたまま指先と指先の間隔を広げる、いわゆるピンチアウト操作である。
通知部81eは、通信部82を介して携帯端末8の外部の装置へ所定の信号を送信する。通知部81eが送信する信号は、例えば、画像取得装置に対して画像データの送信を要求する信号等である。
<1−3.周辺画像及び合成画像の生成>
次に、画像生成部81bが、車両2の周辺領域を示す周辺画像AP、及び周辺画像APに車体画像10を重畳した合成画像CPを生成する手法を説明する。図6は、画像生成部81bが周辺画像APを生成する手法を示す。
まず、フロントカメラ4F、リアカメラ4B、左サイドカメラ4L、及び右サイドカメラ4Rの各々が車両2周辺を撮影すると、車両2の前方、後方、左側方、及び右側方を各々示す4つの画像AP(F)、AP(B)、AP(L)、AP(R)が取得される。これら4つの画像は、車両2の全周囲を示す画像データを含む。
画像生成部81bは、これら4つの画像AP(F)、AP(B)、AP(L)、AP(R)に含まれるデータ(各画素の値)を、仮想的な三次元空間における立体曲面である投影面TSに投影する。投影面TSは、例えば、略半球状(お椀形状)である。この投影面TSの中心部(お椀の底部分)は、車両2の存在位置である。また、投影面TSの中心部以外の部分は、画像AP(F)、AP(B)、AP(L)、AP(R)のいずれかと対応付けられる。
画像生成部81bは、投影面TSの中心部以外の部分に、周辺画像AP(F)、AP(B)、AP(L)、AP(R)を投影する。画像生成部81bは、投影面TSにおける車両2前方に相当する領域にフロントカメラ4Fの画像AP(F)を投影し、車両2後方に相当する領域にリアカメラ4Bの画像AP(B)を投影する。さらに、画像生成部81bは、投影面TSにおける車両2左側方に相当する領域に左サイドカメラ4Lの画像AP(L)を投影し、車両2右側方に相当する領域に右サイドカメラ4Rの画像AP(R)を投影する。これにより、車両2全周囲の領域を示す周辺画像APが生成される。
次に、画像生成部81bは、この三次元空間における任意の視点位置から任意の視点方向に向けた仮想視点VPを設定する。そして、投影面TSのうち、設定した仮想視点VPからみた視野角に含まれる領域に投影された画像データを切り出す。切り出した画像データにより、仮想視点VPからみた車両2周辺の領域を示す周辺画像APが生成される。
画像生成部81bは、記憶部84から車体画像データを読み出し、仮想視点VPからみた車両2の車体画像10を生成する。そして、仮想視点VPからみた車両2周辺の領域を示す周辺画像APに車体画像10を合成し、合成画像CPを生成する。
画像生成部81bは、視点位置を車両2の直上、視野方向を直下とした仮想視点VPtを設定した場合、周辺画像AP(F)、AP(B)、AP(L)、AP(R)及び車体画像10を用いて、車両2及び車両2の周辺領域を俯瞰する合成画像CPtを生成する。合成画像CPtは、車両2を直上から見下ろしたような画像であり、車両2周囲の領域を示す。
また、画像生成部81bは、視点位置を車両2の前方上方、視野方向を車両2の後方下向きとした仮想視点VPbを設定した場合、周辺画像AP(B)、AP(L)、AP(R)及び車体画像10を用いて、車両2及び車両2の周辺領域を俯瞰する合成画像CPbを生成する。合成画像CPbは、車両2を前方上方から後方を見下ろしたような画像であり、車両2後方の領域を示す。
また、画像生成部81bは、視点位置を車両2の左斜め後方かつ上方、視野方向を車両2の前方下向きとした仮想視点VPlを設定した場合、周辺画像AP(F)、AP(L)、AP(R)及び車体画像10を用いて、車両2及び車両2の周辺領域を俯瞰する合成画像CPlを生成する。合成画像CPlは、車両2を左斜め後方かつ上方から前方を見下ろしたような画像であり、車両2左側の領域を示す。
<1−4.仮想視点の設定>
次に、画像生成部81bが、仮想視点VPを設定する手法を詳細に説明する。図7ないし図12は、画像生成部81bが、仮想視点VPを設定する手法を示す。なお、各図において、3次元のXYZ直交座標系ccを用い、適宜方向及び向きを示す。直交座標系ccの各座標軸は、車両2に対して相対的に固定される。すなわち、X軸方向を車両2の左右方向、Y軸方向を車両2の前後方向、Z軸方向を鉛直方向とする。また、+X側を車両2の右方側、+Y側を車両2の前方側、+Z側を鉛直上側とする。したがって、−X側は車両2の左方側、−Y側は車両2の後方側、−Z側は鉛直下側である。
まず、図7を参照する。図7は、車両2を鉛直上方向(+Z側)から見た図であり、仮想視点VPのうち基準となる5つの基準仮想視点VPa(VPat、VPaf、VPab、VPal、VPar)を示す。
5つの基準仮想視点VPaは各々、5つの基準位置(VLt、VLf、VLb、VLl、VLr)、5つの移動中心点RC(RCt、RCf、RCb、RCl、RCr)、及び5つの基準方向(VDt、VDf、VDb、VDtl、VDr)を含む。
基準位置VLtは、車両2の直上に位置する。基準位置VLfは、車両2の直上のやや前方(+Y側)に位置する。基準位置VLbは、車両2の直上のやや後方(−Y側)に位置する。基準位置VLlは、車両2の左斜め後方(−Y側かつ−X側)に位置する。基準位置VLrは、車両2の右斜め後方(+X側かつ−Y側)に位置する。各基準位置VLの高さ(+Z側)は、車両2の接する接地面GRから同一の高さである。例えば、車高の2倍の高さである。
図8は、車両2を水平方向右側(+X側)から見た図であり、移動中心点RC及び基準方向VDを説明する図である。移動中心点RCは、仮想視点VPが移動する際の中心となる基準点である。したがって、仮想視点VPの視点位置が移動しても、視点方向は常に移動中心点RCを向く。移動中心点RCを用いた仮想視点VP視点位置を移動させる手法は後述する。
移動中心点RCtは、車両の特定位置に設定された特定点である。移動中心点RCtは、車両2の中心に位置する。移動中心点RCfは、車両2の左右中心、かつ車両2の前端やや前方(+Y側)に位置する。移動中心点RCbは、車両2の左右中心、かつ車両2の後端やや後方(−Y側)に位置する。移動中心点RClは、車両2の前後中心、かつ車両2のやや左外側(−X側)に位置する。移動中心点RCrは、車両2の前後中心、かつ車両2のやや右外側(+X側)に位置する。各移動中心点RCの高さ(+Z側)は、車両2に着座したユーザの目線の高さhである。
基準方向VDtは、基準位置VLtから移動中心点RCtの方向(−Z側)を向く。基準方向VDfは、基準位置VLfから移動中心点RCfの方向(−Z側かつ+Y側)を向く。基準方向VDbは、基準位置VLbから移動中心点RCbの方向(−Z側かつ−Y側)を向く。基準方向VDlは、基準位置VLlから移動中心点RClの方向(−Z側かつ+Y側)を向く。基準方向VDrは、基準位置VLrから移動中心点RCrの方向(−Z側かつ+Y側)を向く。
このように、仮想視点VPは、視点位置VDから移動中心点RCを見た視点である。また、基準仮想視点VPatは、車両2を直上から俯瞰する視点(トップビュー)である。基準仮想視点VPafは、車両2を前方かつ上方から車両2前方を見る視点である(フロントビュー)。基準仮想視点VPabは、車両2を後方かつ上方から車両2後方を見る視点(バックビュー)である。基準仮想視点VPalは、車両2を左斜め後方かつ上方から車両2の左側領域を見る視点(左サイドビュー)である。基準仮想視点VParは、車両2を右斜め後方かつ上方から車両2の右側領域を見る視点(右サイドビュー)である。
このような基準仮想視点VPaは、ユーザにより選択される。ユーザによる選択は、各基準仮想視点VPと対応付けられたタッチパネルボタンへのタッチ操作により選択される。すなわち、合成画像CPがディスプレイに表示されている際、ユーザによりいずれかの基準仮想視点VPaが選択されると、画像生成部81bは、かかる基準仮想視点VPaから見た合成画像を生成する。これにより、ユーザは、仮想視点の位置を様々に変化させた後、基準仮想視点VPに仮想視点を戻せなくなった場合でも、タッチパネルボタンへのタッチ操作により容易に仮想視点を基準仮想視点VPに設定することができる。
なお、ユーザの視点選択前の画像表示初期においては、基準仮想視点VPaのうちいずれかの視点を予め設定される。この際、車両2を直上から俯瞰する基準仮想視点VPatで合成画像CPを生成することが好ましい。車両2周辺の広い領域をユーザに提示でき、初期表示として好適だからである。
次に、移動中心点RCを用いた視点位置VLを移動させる手法について説明する。まず、ユーザからディスプレイを見て左右方向(水平方向)に視点位置VLを移動させる手法について、図9及び図10を参照して説明する。以下で説明する視点位置VLの移動は、ユーザによるタッチパネルへの左右方向(水平方向)のフリック操作に対応して行われる。
図9は、車両2を鉛直上方向(+Z側)から見た図であり、基準仮想視点VPalの基準位置VLlが移動する軌跡を示す。基準位置VLlは、移動中心点RClを中心に移動軌跡OBlhを移動する。視点位置VLの移動は、移動中心点RClの位置を原点とする車両2に相対的に固定される直交座標系cc(ワールド座標系)を基準とする。視点位置VLlの移動する基準となる座標軸は、移動中心点RClの位置における直交座標系ccのZ軸である。
図10は、車両2を水平方向右側(+X側)から見た図であり、図9と同様に基準仮想視点VPalの基準位置VLlが移動する軌跡を示す。基準位置VLlは、移動中心点RClを中心に移動軌跡OBlhを移動する。視点位置VLlの移動する基準となる座標軸は、移動中心点RCの位置における直交座標系ccのZ軸(AXl)である。
図9及び図10において、視点方向VDlは、視点位置VLlが移動軌跡OBlhのどこに位置しても、視点位置VLlから移動中心点RClの方向を向く。したがって、基準位置VLlが移動軌跡OBlh上を移動すると、ディスプレイ83を見みているユーザは、画像が横方向に移動しているように見える。
また、ユーザがタッチパネル83aに対し、左方向から右方向へ(水平方向)のフリック操作を行った場合、VLlは、移動軌跡OBlh上を反時計回りに移動する。一方、ユーザがタッチパネル83aに対し、右方向から左方向へ(水平方向)のフリック操作を行った場合、VLlは、移動軌跡OBlh上を時計回りに移動する。これにより、ユーザのフリック操作の方向と画像の移動する方向とが一致し、ユーザは直感的にタッチパネル操作を行うことができる。
次に、ユーザからディスプレイを見て上下方向(垂直方向)に視点位置VLを移動させる手法について、図11及び図12を参照して説明する。以下で説明する視点位置VLの移動は、ユーザによるタッチパネルへの上下方向(垂直方向)のフリック操作に対応して行われる。
なお、図11及び図12においては、3次元のXYZ直交座標系ccに加えて3次元のXYZ直交座標系VPcc(視点座標系)をさらに用い、適宜方向及び向きを示す。直交座標系VPccの各座標軸は、仮想視点VPに対して相対的に固定される。すなわち、X軸(VPx)方向を仮想視点VPの左右方向、Y軸(VPy)方向を仮想視点VPの前後方向、Z軸(VPz)方向を仮想視点VPの垂直方向とする。また、+X側を仮想視点VPの右方側、+Y側を仮想視点VPの前方側、+Z側を仮想視点VPの垂直上側とする。したがって、−X側は仮想視点VPの左方側、−Y側は仮想視点VPの後方側、−Z側は垂直下側である。
図11は、車両2を鉛直上方向(+Z側)から見た図であり、基準仮想視点VPalの基準位置VLlが移動する軌跡を示す。基準位置VLlは、移動中心点RClを中心に移動軌跡OBlvを移動する。視点位置VLの移動は、移動中心点RClの位置を原点とする仮想視点VPに相対的に固定される直交座標系VPccを基準とする。視点位置VLlの移動する基準となる座標軸は、移動中心点RClの位置における直交座標系VPccのX軸(AXlv)である。
図12は、車両2を水平方向右側(−X側)から見た図であり、図11と同様に基準仮想視点VPalの基準位置VLlが移動する軌跡を示す。基準位置VLlは、移動中心点RClを中心に移動軌跡OBlvを移動する。視点位置VLlの移動する基準となる座標軸は、移動中心点RCの位置における直交座標系ccのX軸である。
図11及び図12において、視点方向VDlは、視点位置VLlが移動軌跡OBlvのどこに位置しても、視点位置VLlから移動中心点RClの方向を向く。したがって、基準位置VLlが移動軌跡OBlv上を移動すると、ディスプレイ83を見みているユーザは、画像が上下方向に移動しているように見える。
なお、移動軌跡OBlvは、車両2の接地面GRより上側に設定される。したがって、基準位置VLlは、破線で示した移動軌跡OBlvを移動し、実線で示した移動軌跡OBlxは移動しない。これにより、車両2を接地面下から見るという、通常起こり得ない視点位置からの画像表示を防止できる。ユーザは違和感なく視点位置を移動ができる。
また、ユーザがタッチパネル83aに対し、上方向から下方向へ(垂直方向)のフリック操作を行った場合、VLlは、移動軌跡OBlv上を時計回りに移動する。一方、ユーザがタッチパネル83aに対し、下方向から上方向へ(垂直方向)のフリック操作を行った場合、VLlは、移動軌跡OBlv上を反時計回りに移動する。これにより、ユーザのフリック操作の方向と画像の移動する方向とが一致し、ユーザは直感的にタッチパネル操作を行うことができる。
<1−5.合成画像の表示例>
次に、ディスプレイ83に表示される合成画像CPの例について、図13ないし図24を参照して説明する。
図13は、仮想視点VPに基準仮想視点VPatが設定され、基準仮想視点VPatから車両2を見た合成画像CPt1が、ディスプレイ83に表示された例である。合成画像CPt1は、車両2の周囲を示す周辺画像に加え車体画像10を表示する。合成画像CPt1は、ユーザが車両2の周囲を示すタッチパネルボタンTB13にタッチ操作した場合、及び合成画像CPの初期表示の場合に表示される。合成画像CPt1を参照することで、ユーザは車両2周囲の状況を一覧で確認することができる。
図14は、合成画像CPt1(図13)の表示後、図9のOBlh上を時計回りに移動させて基準仮想視点VPatを設定し、設定された基準仮想視点VPatから車両2を見た合成画像CPt2が、ディスプレイ83に表示された例である。合成画像CPt2は、ユーザからディスプレイ83を見て、左方向に回転して表示された車両2の周囲を示す周辺画像に加え車体画像10を表示する。合成画像CPt2は、合成画像CPt1(図13)が表示された状態で、タッチパネル83aに対し、左方向から右方向へ(水平方向)フリック操作FHが行われた場合に表示される。合成画像CPt2を参照することで、ユーザは車両2周囲の状況を合成画像CPt1とは異なる角度から確認できる。
図15は、合成画像CPt1(図13)の表示後、図12のOBlh上を反時計回りに移動させて基準仮想視点VPatを設定し、設定された基準仮想視点VPatから車両2を見た合成画像CPt3が、ディスプレイ83に表示された例である。合成画像CPt3は、車両2の前端直下を含めて表示される。合成画像CPt2は、合成画像CPt1(図13)が表示された状態で、タッチパネル83aに対し、上方向から下方向へ(垂直方向)フリック操作FVが行われた場合に表示される。合成画像CPt2を参照することで、ユーザは車両2周囲の状況を前端直下を含めて確認できる。
図16は、仮想視点VPに基準仮想視点VPafが設定され、基準仮想視点VPafから車両2を見た合成画像CPf1が、ディスプレイ83に表示された例である。合成画像CPf1は、車両2の前方を示す周辺画像に加え車体画像10を表示する。合成画像CPf1は、ユーザが車両2の前方を示すタッチパネルボタンTB16にタッチ操作した場合に表示される。合成画像CPf1を参照することで、ユーザは車両2前方の状況を確認することができる。
図17は、合成画像CPf1(図16)の表示後、図9のOBlh上を時計回りに移動させて基準仮想視点VPafを設定し、設定された基準仮想視点VPafから車両2を見た合成画像CPf2が、ディスプレイ83に表示された例である。合成画像CPf2は、ユーザからディスプレイ83を見て、左方向に回転して表示された車両2の周囲を示す周辺画像に加え車体画像10を表示する。合成画像CPf2は、合成画像CPf1(図16)が表示された状態で、タッチパネル83aに対し、左方向から右方向へ(水平方向)フリック操作FHが行われた場合に表示される。合成画像CPf2を参照することで、ユーザは車両2前方の状況を合成画像CPf1とは異なる角度から確認できる。
図18は、合成画像CPf1(図16)の表示後、図12のOBlh上を反時計回りに移動させて基準仮想視点VPafを設定し、設定された基準仮想視点VPafから車両2を見た合成画像CPf3が、ディスプレイ83に表示された例である。合成画像CPf3は、車両2の前方領域を合成画像CPf1より詳細に表示する。合成画像CPt3は、合成画像CPf1(図16)が表示された状態で、タッチパネル83aに対し、上方向から下方向へ(垂直方向)フリック操作FVが行われた場合に表示される。合成画像CPt3を参照することで、ユーザは車両2前方の状況を詳細に確認できる。
図19は、仮想視点VPに基準仮想視点VPabが設定され、基準仮想視点VPabから車両2を見た合成画像CPb1が、ディスプレイ83に表示された例である。合成画像CPb1は、車両2の後方を示す周辺画像に加え車体画像10を表示する。合成画像CPb1は、ユーザが車両2の後方を示すタッチパネルボタンTB19にタッチ操作した場合に表示される。合成画像CPb1を参照することで、ユーザは車両2後方の状況を確認することができる。
図20は、合成画像CPb1(図19)の表示後、図9のOBlh上を時計回りに移動させて基準仮想視点VPabを設定し、設定された基準仮想視点VPabから車両2を見た合成画像CPb2が、ディスプレイ83に表示された例である。合成画像CPb2は、ユーザからディスプレイ83を見て、左方向に移動して表示された車両2の後方を示す周辺画像に加え車体画像10を表示する。合成画像CPb2は、合成画像CPb1(図19)が表示された状態で、タッチパネル83aに対し、左方向から右方向へ(水平方向)フリック操作FHが行われた場合に表示される。合成画像CPb2を参照することで、ユーザは車両2後方の状況を合成画像CPb1とは異なる角度から確認できる。
図21は、合成画像CPb1(図19)の表示後、図12のOBlh上を反時計回りに移動させて基準仮想視点VPabを設定し、設定された基準仮想視点VPabから車両2を見た合成画像CPb3が、ディスプレイ83に表示された例である。合成画像CPb3は、車両2の後方領域を合成画像CPb1より詳細に表示する。合成画像CPb3は、合成画像CPb1(図16)が表示された状態で、タッチパネル83aに対し、上方向から下方向へ(垂直方向)フリック操作FVが行われた場合に表示される。合成画像CPb3を参照することで、ユーザは車両2後方の状況を詳細に確認できる。
図22は、仮想視点VPに基準仮想視点VPalが設定され、基準仮想視点VPalから車両2を見た合成画像CPl1が、ディスプレイ83に表示された例である。合成画像CPl1は、車両2の左方を示す周辺画像に加え車体画像10を表示する。合成画像CPl1は、ユーザが車両2の左方を示すタッチパネルボタンTB22にタッチ操作した場合に表示される。合成画像CPl1を参照することで、ユーザは車両2左方の状況を確認することができる。
図23は、合成画像CPl1(図22)の表示後、図9のOBlh上を時計回りに移動させて基準仮想視点VPalを設定し、設定された基準仮想視点VPalから車両2を見た合成画像CPb2が、ディスプレイ83に表示された例である。合成画像CPl2は、ユーザからディスプレイ83を見て、左方向に移動して表示された車両2の左方を示す周辺画像に加え車体画像10を表示する。合成画像CPl2は、合成画像CPl1(図22)が表示された状態で、タッチパネル83aに対し、左方向から右方向へ(水平方向)フリック操作FHが行われた場合に表示される。合成画像CPl2を参照することで、ユーザは車両2左
方の状況を合成画像CPl1とは異なる角度から確認できる。
図24は、合成画像CPl1(図22)の表示後、図12のOBlh上を反時計回りに移動させて基準仮想視点VPalを設定し、設定された基準仮想視点VPalから車両2を見た合成画像CPl3が、ディスプレイ83に表示された例である。合成画像CPl3は、車両2の左方領域を合成画像CPl1より詳細に表示する。合成画像CPl3は、合成画像CPl1(図22)が表示された状態で、タッチパネル83aに対し、上方向から下方向へ(垂直方向)フリック操作FVが行われた場合に表示される。合成画像CPl3を参照することで、ユーザは車両2左方の状況を詳細に確認できる。
なお、車両2の右方を示す合成画像CPについては、図22から図24で説明した車両2の左方を示す場合に対し、左右対照に操作及び制御を行えばよい。車両2の右方を示す合成画像CPを参照することで、ユーザは車両2右方の状況を確認することができる。
<1−6.処理>
次に、画像表示システム1の処理手順を図25及び図26を参照しつつ説明する。図25は、画像取得装置3、セキュリティ装置5、及び携帯端末8の処理手順を示す。図26は、警報器6及び携帯端末8の処理手順を示す。本処理は、所定周期で繰り返し実行される。
まず、セキュリティ装置5が、監視センサ5aが作動したか否か判断する(図25のステップS101)。
セキュリティ装置5は、監視センサ5aが作動したと判断すると(ステップS101でYes)、メール通知部5bを制御し、ユーザの携帯端末8に対し、監視センサ5aが作動した旨、すなわち車両2に盗難に繋がる事前現象が発生した旨を内容とする電子メールを送信する(ステップS102)。なお、監視センサ5aが作動する場合とは、監視センサ5aが車両2に振動や傾斜の発生を検出した場合や、ガラスの破壊を検出した場合、車両2内への侵入者を検出した場合等である。
セキュリティ装置5が、監視センサ5aが作動していないと判断した場合、(ステップS101でNo)、及びメール通知部5bが電子メールを送信した場合は、セキュリティ装置5の処理は終了し、所定時間経過後に再度処理を開始する。
携帯端末8の通信部82がメール通知部5bから送信された電子メールを受信すると、表示制御部81cがディスプレイ83に電子メールの内容を表示する(ステップS201)。ユーザは、ディスプレイに表示された電子メールの内容を確認し、車両2の周辺画像を表示させるか否か判断する。ユーザは、車両2の周辺画像を表示させることを希望する場合は、タッチパネル83aの所定位置へタッチ操作を行えばよい。
操作検出部81dは、ユーザがタッチパネル83aにおける周辺画像を表示させるべき所定位置へタッチ操作を行ったか否か判断する(ステップS202)。
操作検出部81dが、ユーザがタッチパネル83aにおける周辺画像を表示させるべき所定位置へタッチ操作を行い、画像の表示を希望すると判断すると(ステップS202でYes)、通知部81eが、画像取得装置3へ画像の送信を要求する信号を送信する(ステップS203)。
一方、操作検出部81dがユーザがタッチパネル83aにおける周辺画像を表示させないことを示す所定位置へタッチ操作を行った場合、すなわち画像の表示を希望しないと判断すると(ステップS202でNo)、処理は終了する。ユーザが画像の表示を希望しない以上、処理を継続する必要はないからである。
画像取得装置3の要求受信部31aが携帯端末8から画像の送信を要求する信号を受信すると、カメラ制御部31bが、カメラ4(4F、4B、4L、4R)を制御し、撮影を開始させる(ステップS301)。
画像取得部31cがカメラ4(4F、4B、4L、4R)が撮影した画像データを受信すると、画像送信部31dは、通信部32を介し、画像データを携帯端末8へ送信する(ステップS302)。
携帯端末8の画像取得部81aが画像取得装置3から送信された画像データを受信すると、画像生成部81bは、周辺画像を生成するための仮想視点の位置及び方向を設定する。(ステップS204)。画像生成部81bは、最初に周辺画像を生成する際には、仮想視点の位置は車両2の直上とし、かつ仮想視点の方向は下向き(トップビュー)として設定する。ユーザが車両2の真上の位置から下方向を見たような視点である。このような視点は、最初にユーザへ表示すべき仮想視点の位置及び方向として好ましい。車両の全周囲を表示するので、ユーザに広範囲に渡る状況を伝えることができるからである。
画像生成部81bは、仮想視点を設定すると、上述の手法により周辺画像を生成する。そして、記憶部84から車体画像データ84aを読み出し、生成した周辺画像に車体画像を合成した合成画像を生成する(ステップS205)。
画像生成部81bが合成画像を生成すると、表示制御部81cは、ディスプレイ83に合成画像を表示する(ステップS206)。これにより、ユーザは車両2周辺の様子を確認することができる。
表示制御部81cがディスプレイ83に合成画像を表示すると、操作検出部81dは、ユーザがディスプレイ83に対してフリック操作が行われたか否か判断する(ステップS207)。
操作検出部81dがユーザによりフリック操作が行われたと判断すると(ステップS207でYes)、画像生成部81bは、仮想視点を再度設定する(ステップS204)。
この際、ユーザがディスプレイ83に対して左右方向(水平方向)のフリック操作を行った場合は、前述の通りワールド座標系の鉛直方向軸を基準に仮想視点を回転させて仮想視点の位置を設定する。
さらに、フリック操作がディスプレイ83に対して右側から左側への操作である場合は、仮想視点をワールド座標系の鉛直方向軸を上から見た場合に、いわゆる反時計回りとなるよう仮想視点の位置を回転させる。また、フリック操作がディスプレイ83に対して左側から右側への操作である場合は、ワールド座標系の鉛直方向軸を上から見た場合に、いわゆる時計回りとなるよう仮想視点の位置を回転させる。
一方、ユーザがディスプレイ83に対して上下方向(垂直方向)のフリック操作を行った場合は、前述の通り視点座標系の水平方向軸を基準に仮想視点を回転させて仮想視点の位置を設定する。
さらに、フリック操作がディスプレイ83に対して上側から下側への操作である場合は、仮想視点を視点座標系の水平方向軸を視点の右から見た場合に、いわゆる反時計回りとなるよう仮想視点の位置を回転させる。また、フリック操作がディスプレイ83に対して下側から上側への操作である場合は、視点座標系の水平方向軸を視点の右から見た場合に、いわゆる時計回りとなるよう仮想視点の位置を回転させる。
このような仮想視点の位置を回転させる手法により、ユーザがフリック操作により視点を移動させたい方向と、表示される画像が移動する方向とが一致し、ユーザは直感的に、タッチパネル83aへの操作により画像を移動させることができる。
一方、操作検出部81dは、ユーザによりフリック操作が行われないと判断すると(ステップS207でNo)、仮想視点を基準視点に変更する操作があるか否か判断する(ステップS208)。操作検出部81dは、基準視点を示すいずれかのタッチパネルボタンにユーザがタッチ操作を行ったか否かにより判断する。
操作検出部81dが仮想視点を基準視点に変更する操作があると判断すると(ステップS208でYes)、画像生成部81bは、ユーザがタッチ操作により所望した基準視点に仮想視点の位置及び方向を設定する(ステップS204)。例えば、画像生成部81bは、ユーザが車両2左側領域を表示する基準視点を希望した場合には、図9及び図10に示したような仮想視点の位置及び方向設定する。なお、基準視点は、車両直上、車両2左側、車両2右側、車両2前側、及び車両2後側の5視点である。車両の特定位置に設定される特定点である移動中心点RCの位置は、ユーザが所望した基準視点に応じた位置に設定される。
一方、操作検出部81dは、仮想視点を基準視点に変更する操作がないと判断すると(ステップS208でNo)、ユーザが車両2に備えた警報器6を作動させようとしているか否か判断する(ステップS209)。操作検出部81dは、ユーザがタッチパネル83aにおける警報器を作動させることを示す所定位置へタッチ操作を行ったか否かにより判断する。
操作検出部81dは、ユーザが警報器6を作動させようとしていると判断すると(ステップS209でYes)、通知部81eが画像取得装置3へ警報器6を作動するよう要求する信号を送信する(ステップS210)。
通知部81eが警報器6を作動するよう要求する信号を送信すると、画像取得装置3の盗難防止部31eは、警報器6に警報を行わせる(ステップS401)。なお、警報器6による警報は、所定時間経過後に終了する。かかる所定時間は、不審者に対し警告を与えるのに十分な時間であればよい。例えば、5秒である。元より、ユーザが警報の終了時を操作してもよい。
操作検出部81dが、ユーザが警報器6を作動させようとしていないと判断する場合(ステップS209でNo)、及び盗難防止部31eが警報器6に警報を行わせた場合(ステップS210)、操作検出部81dは、ユーザが画像表示を終了させようとしているか否か判断する(ステップS211)。
操作検出部81dが、ユーザが画像表示を終了させようとしていると判断すると(ステップS211でYes)、通知部81eは、画像取得装置3へ撮影を終了するよう要求する信号を送信する(ステップS212)。通知部81eが画像取得装置3へ撮影を終了するよう要求する信号を送信すると、携帯端末8の処理は終了する。
一方、操作検出部81dが、ユーザが画像表示を終了させようとしていないと判断すると(ステップS211でNo)、表示制御部81cが画像の生成及び表示を継続し、処理はステップS205以下を再度実行する。
画像取得装置3は、ステップS302において画像送信部31dが画像データを送信すると、要求受信部31aが携帯端末8から撮影を終了するよう要求する終了要求信号が送信されたか否か判断する(ステップS303)。画像取得装置3は、この終了要求信号を受信するまでは、カメラ4(4F、4B、4L、4R)において直近に得られた画像データを繰り返し携帯端末8に送信する。これにより、携帯端末8の画像生成部81bは、直近に得られた画像データに基づいて、車両2周辺の様子を略リアルタイムに示す周辺画像を生成できる。
要求受信部31aが携帯端末8から撮影を終了するよう要求する終了要求信号が送信されたと判断すると(ステップS303でYes)、カメラ制御部31bが、カメラ4(4F、4B、4L、4R)を制御し、撮影を停止させる(ステップS304)。カメラ制御部31bがカメラ4(4F、4B、4L、4R)を制御し、撮影を停止させると、画像取得装置3の処理は終了する。
以上のように、第1の実施の形態では、ユーザの操作に基づいて、仮想視点の位置を変更して合成画像を表示する。これにより、ユーザの望む視点から容易に被写体を表示できる。
<2.第2の実施の形態>
<2−1.概要>
次に、第2の実施の形態について説明する。前述の第1の実施の形態は、視点位置VLが車両2の直上かつ視点方向VDが下向き(−Z側)である場合(すなわち、トップビューである場合)に、ユーザの左右方向(水平方向)のフリック操作に対する視点位置VLの移動は、直交座標系ccの鉛直軸(Z軸)を基準とした。これにより、合成画像CPは左右いずれかに回転して表示された。
しかし、合成画像CPを回転して表示させても、ユーザに対し新たな周辺領域を提示するものではない。
そこで、第2の実施の形態は、トップビューにおいて、視点位置VLの移動は直交座標系ccの車両2の前後となる軸(Y軸)を基準とする。これにより、トップビューにおいて、ユーザがタッチパネル83aに対して左右方向(水平方向)のフリック操作を行うと、車両2側面を含めた車両2の左右の領域が表示されるため、ユーザは車両2の左右領域を詳細に確認できる。
第2の実施の形態は、第1の実施の形態と同様の構成及び処理を含むため、以下、第1の実施の形態との相違点を主に説明する。
<2−2.構成>
まず、第2の実施の形態における携帯端末8の構成について説明する。図27は、第2の実施の形態の携帯端末8の構成を示す。第1の実施の形態との主な相違点は、携帯端末8の制御部81が座標軸変換部81fを備える点である。その他の構成は、第1の実施の形態と同様に構成され、また同様に機能する。
座標軸変換部81fは、仮想視点がトップビューである場合に、視点位置VLを移動させる基準となる座標軸を直交座標系ccの鉛直軸(Z軸)から車両前後軸(Y軸)へ変換する。
<2−3.仮想視点の設定>
次に、トップビュー表示において、ユーザからディスプレイを見て左右方向(水平方向)に視点位置VLを移動させる手法について、図28及び図29を参照して説明する。以下で説明する視点位置VLの移動は、トップビュー表示において、ユーザによるタッチパネルへの左右方向(水平方向)のフリック操作に対応して行われる。
図28は、車両2を鉛直上方向(+Z側)から見た図であり、基準仮想視点VPatの基準位置VLtが移動する軌跡を示す。基準位置VLtは、移動中心点RCtを中心に移動軌跡OBthを移動する。視点位置VLtの移動は、移動中心点RCtの位置を原点とする仮想視点VPに相対的に固定される直交座標系ccを基準とする。視点位置VLtの移動する基準となる座標軸は、移動中心点RCtの位置における直交座標系ccのY軸(AXth)である。すなわち、車両2の前後方向に沿った軸である。
図29は、車両2を水平方向後側(−Y側)から見た図であり、図28と同様に基準仮想視点VPatの基準位置VLtが移動する軌跡を示す。基準位置VLtは、移動中心点RCtを中心に移動軌跡OBthを移動する。移動軌跡OBthは、水平方向後側(−Y側)から見ると円形となる。視点位置VLlの移動する基準となる座標軸は、移動中心点RCtの位置における直交座標系ccのY軸である。
図28及び図29において、視点方向VDtは、視点位置VLtが移動軌跡OBthのどこに位置しても、視点位置VLtから移動中心点RCtの方向を向く。したがって、基準位置VLtが移動軌跡OBth上を移動すると、ディスプレイ83を見みているユーザは、画像が左右方向(水平方向)に移動しているように見える。特に、視点位置VLlの移動する基準となる座標軸を、移動中心点RCtの位置における直交座標系ccのY軸としたので、ユーザは車両2の側面に回り込むようにして車両2周辺の画像を参照することができる。
なお、移動軌跡OBthは、車両2の接地面GRより下側には設定されない。したがって、基準位置VLtは、破線で示した移動軌跡OBthを移動し、実線で示した移動軌跡OBtxは移動しない。
また、ユーザがタッチパネル83aに対し、左方向から右方向へ(水平方向)のフリック操作を行った場合、VLtは、移動軌跡OBth上を反時計回りに移動する。一方、ユーザがタッチパネル83aに対し、左方向から右方向へ(水平方向)のフリック操作を行った場合、VLtは、移動軌跡OBth上を時計回りに移動する。これにより、ユーザのフリック操作の方向と画像の移動する方向とが一致し、ユーザは直感的にタッチパネル操作を行うことができる。
<2−4.合成画像の表示例>
図30の上段図は、仮想視点VPに基準仮想視点VPatが設定され、基準仮想視点VPatから車両2を見た合成画像CPt1が、ディスプレイ83に表示された例である。すなわち、合成画像CPt1は、仮想視点がトップビューである場合の合成画像である。
図30の下段図は、合成画像CPt1の表示後、視点位置VLを移動させる座標軸を直交座標系ccの鉛直軸(Z軸)から車両前後軸(Y軸)へ変換した場合の合成画像CPt4である。すなわち、図29のOBth上を反時計回りに移動させて基準仮想視点VPatを設定し、設定された基準仮想視点VPatから車両2を見た合成画像CPt4が、ディスプレイ83に表示された例である。合成画像CPt4は、車両2側面を含めた車両2の周辺画像に加え車体画像10を表示する。このため、ユーザはトップビューから車両2の左右領域を詳細に確認できる。合成画像CPt4は、合成画像CPt1が表示された状態で、タッチパネル83aに対し、左方向から右方向へ(水平方向)フリック操作FHが行われた場合に表示される。合成画像CPt2を参照することで、ユーザは車両2側面を含めた車両2の左右の領域を詳細に確認できる。
<2−5.処理>
次に、第2の実施の形態における処理手順を図31及び図32を参照して説明する。図31は、第2の実施の形態における画像取得装置3、セキュリティ装置5、及び携帯端末8の処理手順を示す。図25で示した第1の実施の形態における処理手順との相違点は、ステップS209の処理を備える点である。
まず、画像生成部81bは、周辺画像を生成するための仮想視点の位置及び方向を設定する。(ステップS204)。画像生成部81bは、最初に周辺画像を生成する際には、仮想視点の位置は車両2の直上とし、かつ仮想視点の方向は下向き(トップビュー)として設定する。また、座標軸変換部81fは、視点位置VLを移動させる基準となる軸を車両前後軸(Y軸)に設定する。
ステップS205、ステップS206、及びステップS207が実行されると、操作検出部81dは、仮想視点を基準視点に変更する操作があるか否か判断する(ステップS208)。操作検出部81dは、基準視点を示すいずれかのタッチパネルボタンにユーザがタッチ操作を行ったか否かにより判断する。
操作検出部81dが仮想視点を基準視点に変更する操作があると判断すると(ステップS208でYes)、画像生成部81bは、座標軸の設定処理(ステップS209)を実行する。
図32は、座標軸の設定処理(ステップS209)の詳細を示す。座標軸の設定処理(ステップS209)に処理が移行すると、操作検出部81dは、仮想視点がトップビューの視点に変更されたか否か判断する(ステップS401)。
仮想視点がトップビューの視点に変更されたと判断すると(ステップS401でYes)、座標軸変換部81fは、視点位置VLを移動させる基準となる座標軸を車両前後軸(Y軸)に設定する(ステップS402)。
一方、仮想視点がトップビュー以外の視点に変更されたと判断すると(ステップS401でNo)、座標軸変換部81fは、視点位置VLを移動させる基準となる座標軸を鉛直軸(Z軸)に設定する(ステップS403)。
ステップS402又はステップS403が実行されると、処理は図31に戻り、再度ステップS204以下の処理が実行される。
以上、第2の実施の形態は、トップビューにおいて、視点位置VLの移動は直交座標系ccの車両2の前後となる軸(Y軸)を基準とする。これにより、トップビューにおいて、ユーザがタッチパネル83aに対して左右方向(水平方向)のフリック操作を行うと、車両2側面を含めた車両2の左右の領域が表示されるため、ユーザは車両2の左右領域を詳細に確認できる。
<3.変形例>
以上、本発明の実施の形態について説明した。しかし、本発明は上記実施の形態に限定されることはない。様々な変形が可能である。以下、変形例を説明する。なお、上記及び以下の実施の形態は、適宜組み合わせ可能である。
上記実施の形態では、画像取得装置3は、ユーザから画像送信の要求の受信時に、撮影を開始した。しかし、ユーザから画像送信の要求の受信前に、撮影を開始してもよい。すなわち、監視センサ5aの作動時に撮影を開始してもよい。この場合、ユーザは、監視センサ5aが作動するような車両2の異常発生時から、車両2周辺の様子を参照できる。
図33は、画像取得装置3が監視センサ5aの作動時に撮影を開始する画像表示システム1aの概要を示す。監視センサ5aが車両2の異常を検出すると、セキュリティ装置5は、画像取得装置3へ撮影開始を要求する信号を送信する。画像取得装置3は、かかる信号を受信すると、カメラ4を作動させ撮影を開始する。すなわち、画像取得装置3は、ユーザからの画像送信の要求を待たず、車両2の異常発生時に撮影を開始する。画像取得装置3は、撮影を開始すると、画像データを外部に設置されたサーバSVへ送信する。これにより、画像データは車両2の異常発生時からサーバSVに保存される。したがって、ユーザは、セキュリティ装置5から車両2の異常発生を通知するメールを受信すると、サーバSVに対して画像送信の要求を行う。サーバSVは、画像送信の要求を受信すると、ユーザの所持する携帯端末8へ車両2の異常発生時からの画像データを送信する。これにより、ユーザは、監視センサ5aの作動時、すなわち、車両2の異常発生時からの車両2周辺の様子を参照できる。また、サーバSVを、画像データを送受信する専用サーバとすれば、画像データを他者に傍受される恐れがなく、画像データの秘匿性を高めることができる。なお、ユーザは現在の車両2周辺の様子を確認したい場合には、サーバSVへ現在の画像データの送信を要求すればよい。この場合、サーバSVは、異常発生時から現在までの画像データの送信を省略し、現在の画像データを送信する。
他の変形例を説明する。上記実施の形態では、画像取得装置3、カメラ4、セキュリティ装置5、及び警報器6は車両2に搭載されると説明した。しかし、車両2でなくともよい。住宅やビルディング等でもよい。要するに、監視すべき土地や建物、物品であればよい。
また、上記実施の形態では、ユーザが入力操作を行うものとしてタッチパネルを説明した。しかし、タッチパネルでなくともよい。押しボタン式のスイッチでもよい。例えば、いわゆる十字キーである。要するに、ユーザの入力操作が判別できればよい。
また、上記実施の形態では、画像取得装置3と携帯端末8とを別体の装置として説明した。しかし、画像取得装置3と携帯端末8とを一体の装置として構成してもよい。
また、上記実施の形態では、各機能はプログラムに従ったソフトウェアとして実現されると説明した。しかし、ソフトウェアでなくともよい。電気的なハードウェア回路として実現されてもよい。
1 画像表示システム
2 車両
3 画像取得装置
4 カメラ
5 セキュリティ装置
6 警報器
7 ネットワーク
8 携帯端末

Claims (11)

  1. 画像を表示する画像表示装置であって、
    複数のカメラで被写体をそれぞれ撮影した複数の画像を取得する取得手段と、
    前記複数の画像を合成し、前記被写体を仮想視点から見た合成画像を生成する生成手段と、
    前記合成画像を画面に表示させる表示制御手段と、
    前記画面に表示された合成画像の前記仮想視点の位置を変更させるための、ユーザ操作を検出する検出手段と、
    を備え、
    前記生成手段は、前記ユーザ操作に基づいて、前記合成画像の仮想視点の位置を変更することを特徴とする画像表示装置。
  2. 請求項1に記載の画像表示装置において、
    前記複数のカメラは車両に設置され、
    前記生成手段は、
    前記車両の特定位置に設定された特定点に向けて前記仮想視点の方向を定め、
    前記車両を基準とし前記特定点を原点とするワールド座標系、及び、前記仮想視点を基準とし前記特定点を原点とする視点座標系に基づき、前記仮想視点の位置を変更することを特徴とする画像表示装置。
  3. 請求項2に記載の画像表示装置において、
    前記特定点の位置はユーザにより設定可能であることを特徴とする画像表示装置。
  4. 請求項2または3に記載の画像表示装置において、
    前記生成手段は、前記ユーザ操作が前記画面における水平方向を示す操作である場合、前記ワールド座標系における鉛直方向の軸を中心として、前記仮想視点の位置を変更することを特徴とする画像表示装置。
  5. 請求項2ないし4に記載の画像表示装置において、
    前記生成手段は、前記ユーザ操作が前記画面における垂直方向を示す操作である場合、前記視点座標系における水平方向の軸を中心として、前記仮想視点の位置を変更することを特徴とする画像表示装置。
  6. 請求項2ないし5のいずれかに記載の画像表示装置において、
    前記生成手段は、前記視点座標系における水平方向の軸を中心に前記仮想視点の位置を変更する場合は、前記車両の接地面よりも上側の範囲で前記仮想視点の位置を変更することを特徴とする画像表示装置。
  7. 請求項1に記載の画像表示装置において、
    前記複数のカメラは車両に設置され、
    前記生成手段は、前記仮想視点の方向が鉛直方向を向き、かつ前記仮想視点の位置が前記車両の直上に位置する場合に、前記画面における水平方向を示すユーザ操作がなされると、前記車両の前後方向に沿った軸を中心として、前記仮想視点の位置を変更することを特徴とする画像表示装置。
  8. 画像取得装置と、前記画像取得装置と通信可能な画像表示装置とを含む画像表示システムであって、
    前記画像取得装置は、
    複数のカメラで被写体をそれぞれ撮影した複数の画像を取得する取得手段と、
    前記複数の画像を送信するよう要求する要求信号を前記画像表示装置から受信する要求受信手段と、
    前記要求信号に基づき、前記複数の画像を前記画像表示装置へ送信する画像送信手段と、
    を備え、
    前記画像表示装置は、
    前記複数の画像を送信するよう要求する前記要求信号を前記画像取得装置へ送信する要求送信手段と、
    前記複数の画像を前記画像取得装置から受信する画像受信手段と、
    前記複数の画像を合成し、仮想視点から前記被写体を見た合成画像を生成する生成手段と、
    前記合成画像を画面に表示させる表示制御手段と、
    前記画面に表示された合成画像の前記仮想視点の位置を変更させるユーザ操作を検出する操作検出手段と、
    を備え、
    前記生成手段は、前記ユーザ操作に基づき、前記合成画像の仮想視点を変更することを特徴とする画像表示システム。
  9. 請求項8に記載の画像表示システムにおいて、
    前記画像取得装置は車両に設置され、
    前記被写体は前記車両の周辺の様子であり、
    前記車両の盗難に繋がる事前現象を検出するセキュリティ装置をさらに含み、
    前記セキュリティ装置は、
    前記事前現象を検出する監視手段と、
    前記事前現象を検出した旨を前記画像表示装置へ通知する通知手段と、
    を備えることを特徴とする画像表示システム。
  10. 画像を表示する画像表示方法であって、
    (a)複数のカメラで被写体をそれぞれ撮影した複数の画像を取得する工程と、
    (b)前記複数の画像を合成し、前記被写体を仮想視点から見た合成画像を生成する工程と、
    (c)前記合成画像を画面に表示させる工程と、
    (d)前記画面に表示された合成画像の前記仮想視点の位置を変更させるユーザ操作を検出する工程と、
    を備え、
    前記工程(b)は、前記ユーザ操作に基づき、前記合成画像の仮想視点の位置を変更することを特徴とする画像表示方法。
  11. 画像を表示する画像表示装置に含まれるコンピュータによって実行可能なプログラムであって、
    前記コンピュータに、
    (a)複数のカメラで被写体をそれぞれ撮影した複数の画像を取得する工程と、
    (b)前記複数の画像を合成し、前記被写体を仮想視点から見た合成画像を生成する工程と、
    (c)前記合成画像を画面に表示させる工程と、
    (d)前記画面に表示された合成画像の前記仮想視点の位置を変更させるユーザ操作を検出する工程と、
    を実行させ、
    前記工程(b)は、前記ユーザ操作に基づき、前記合成画像の仮想視点の位置を変更することを特徴とするプログラム。
JP2013214014A 2013-10-11 2013-10-11 画像表示装置、画像表示システム、画像表示方法、及び、プログラム Active JP6347934B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2013214014A JP6347934B2 (ja) 2013-10-11 2013-10-11 画像表示装置、画像表示システム、画像表示方法、及び、プログラム
CN202011045271.0A CN112165609A (zh) 2013-10-11 2014-09-11 图像显示装置和图像显示系统
PCT/JP2014/074091 WO2015053040A1 (ja) 2013-10-11 2014-09-11 画像表示装置、画像表示システム、画像表示方法、及び、プログラム
US14/915,922 US10857974B2 (en) 2013-10-11 2014-09-11 Image display device, image display system, image display method and program
CN201480055343.6A CN105612552A (zh) 2013-10-11 2014-09-11 图像显示装置、图像显示系统、图像显示方法、以及程序
DE112014004701.5T DE112014004701B4 (de) 2013-10-11 2014-09-11 Bildanzeigevorrichtung, Bildanzeigesystem, Bildanzeigeverfahren und Programm
US17/089,767 US11643047B2 (en) 2013-10-11 2020-11-05 Image display device, image display system, image display method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013214014A JP6347934B2 (ja) 2013-10-11 2013-10-11 画像表示装置、画像表示システム、画像表示方法、及び、プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018102248A Division JP6568981B2 (ja) 2018-05-29 2018-05-29 画像表示装置、画像表示システム、画像表示方法、及び、プログラム

Publications (2)

Publication Number Publication Date
JP2015076062A true JP2015076062A (ja) 2015-04-20
JP6347934B2 JP6347934B2 (ja) 2018-06-27

Family

ID=52812860

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013214014A Active JP6347934B2 (ja) 2013-10-11 2013-10-11 画像表示装置、画像表示システム、画像表示方法、及び、プログラム

Country Status (5)

Country Link
US (2) US10857974B2 (ja)
JP (1) JP6347934B2 (ja)
CN (2) CN112165609A (ja)
DE (1) DE112014004701B4 (ja)
WO (1) WO2015053040A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016225805A (ja) * 2015-05-29 2016-12-28 富士通テン株式会社 画像処理装置、画像処理システム、画像合成装置、画像処理方法及びプログラム
JP2017069839A (ja) * 2015-09-30 2017-04-06 アイシン精機株式会社 周辺監視装置
JP2017143340A (ja) * 2016-02-08 2017-08-17 株式会社デンソー 情報処理装置及びプログラム
JP2018113683A (ja) * 2017-01-06 2018-07-19 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6419278B1 (ja) * 2017-09-19 2018-11-07 キヤノン株式会社 制御装置、制御方法、及びプログラム
JP2019014397A (ja) * 2017-07-07 2019-01-31 アイシン精機株式会社 周辺監視装置
JP2019057291A (ja) * 2018-10-10 2019-04-11 キヤノン株式会社 制御装置、制御方法、及びプログラム
JP2019156299A (ja) * 2018-03-15 2019-09-19 株式会社デンソーテン 車両遠隔操作装置及び車両遠隔操作方法
WO2021199318A1 (ja) 2020-03-31 2021-10-07 本田技研工業株式会社 画像処理装置、車両、画像処理方法およびプログラム
WO2024070202A1 (ja) * 2022-09-30 2024-04-04 株式会社東海理化電機製作所 表示システム
US11985294B2 (en) 2019-06-28 2024-05-14 Fujifilm Corporation Information processing apparatus, information processing method, and program

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6347934B2 (ja) * 2013-10-11 2018-06-27 株式会社デンソーテン 画像表示装置、画像表示システム、画像表示方法、及び、プログラム
EP3299763B1 (en) * 2015-05-20 2020-08-26 Mitsubishi Electric Corporation Point cloud image generator
JP6639379B2 (ja) * 2016-12-21 2020-02-05 トヨタ自動車株式会社 車両周辺監視装置
JP6482580B2 (ja) * 2017-02-10 2019-03-13 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP6482696B2 (ja) 2017-06-23 2019-03-13 キヤノン株式会社 表示制御装置、表示制御方法、およびプログラム
JP2019036832A (ja) * 2017-08-14 2019-03-07 アイシン精機株式会社 周辺監視装置
JP7056034B2 (ja) * 2017-08-14 2022-04-19 株式会社アイシン 周辺監視装置
JP6409107B1 (ja) * 2017-09-06 2018-10-17 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP7208356B2 (ja) * 2018-09-26 2023-01-18 コーヒレント・ロジックス・インコーポレーテッド 任意の世界ビューの生成
JP6559870B1 (ja) * 2018-11-30 2019-08-14 株式会社ドワンゴ 動画合成装置、動画合成方法及び動画合成プログラム
US11626010B2 (en) * 2019-02-28 2023-04-11 Nortek Security & Control Llc Dynamic partition of a security system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07200875A (ja) * 1993-12-27 1995-08-04 Mutoh Ind Ltd 3次元モデルの表示位置変更方法
CN101017570A (zh) * 2006-02-06 2007-08-15 奥林巴斯映像株式会社 图像合成装置及图像合成方法
WO2011064895A1 (ja) * 2009-11-30 2011-06-03 パイオニア株式会社 地図表示装置、地図表示方法、地図表示プログラムおよび記録媒体
JP2012121384A (ja) * 2010-12-06 2012-06-28 Fujitsu Ten Ltd 画像表示システム
JP2013191969A (ja) * 2012-03-13 2013-09-26 Fujitsu Ten Ltd 画像処理装置、画像表示システム、表示装置、画像処理方法及びプログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2309453A3 (en) * 1998-07-31 2012-09-26 Panasonic Corporation Image displaying apparatus and image displaying method
JP3599639B2 (ja) 2000-05-26 2004-12-08 松下電器産業株式会社 画像処理装置
JP3927512B2 (ja) * 2003-03-27 2007-06-13 トヨタ自動車株式会社 駐車支援装置
WO2005008444A2 (en) * 2003-07-14 2005-01-27 Matt Pallakoff System and method for a portbale multimedia client
US7814436B2 (en) * 2003-07-28 2010-10-12 Autodesk, Inc. 3D scene orientation indicator system with scene orientation change capability
WO2006100904A1 (ja) * 2005-03-18 2006-09-28 Sharp Kabushiki Kaisha 多重画像表示装置、多重画像表示プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体
JP4956915B2 (ja) * 2005-05-20 2012-06-20 日産自動車株式会社 映像表示装置及び映像表示方法
JP4835109B2 (ja) * 2005-10-31 2011-12-14 アイシン精機株式会社 駐車目標位置設定装置
CN101123865A (zh) * 2006-08-07 2008-02-13 陈清甫 汽车多媒体信息系统
US20080204556A1 (en) * 2007-02-23 2008-08-28 De Miranda Federico Thoth Jorg Vehicle camera security system
CN101123866B (zh) * 2007-07-06 2013-01-02 刘西钉 具有导航和音/视频记录及防盗功能的车载系统及控制方法
JP2010049313A (ja) * 2008-08-19 2010-03-04 Sony Corp 画像処理装置、画像処理方法、プログラム
KR100966288B1 (ko) * 2009-01-06 2010-06-28 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치
JP5627253B2 (ja) * 2009-05-29 2014-11-19 富士通テン株式会社 画像処理装置、電子装置、および、画像処理方法
JP2010274813A (ja) * 2009-05-29 2010-12-09 Fujitsu Ten Ltd 画像生成装置及び画像表示システム
JP5500369B2 (ja) * 2009-08-03 2014-05-21 アイシン精機株式会社 車両周辺画像生成装置
JP5158051B2 (ja) 2009-09-18 2013-03-06 三菱自動車工業株式会社 運転支援装置
JP5302227B2 (ja) * 2010-01-19 2013-10-02 富士通テン株式会社 画像処理装置、画像処理システム、および、画像処理方法
JP5479956B2 (ja) * 2010-03-10 2014-04-23 クラリオン株式会社 車両用周囲監視装置
JP2012109934A (ja) * 2010-10-19 2012-06-07 Panasonic Corp 立体画像表示装置
JP5813944B2 (ja) 2010-12-06 2015-11-17 富士通テン株式会社 画像表示システム、画像処理装置及び画像表示方法
EP2554434B1 (en) 2011-08-05 2014-05-21 Harman Becker Automotive Systems GmbH Vehicle surround view system
US10318146B2 (en) * 2011-09-12 2019-06-11 Microsoft Technology Licensing, Llc Control area for a touch screen
JP2013214014A (ja) 2012-04-04 2013-10-17 Seiko Epson Corp 電気泳動表示装置の製造方法及びエレクトロクロミック表示装置の製造方法
JP6347934B2 (ja) * 2013-10-11 2018-06-27 株式会社デンソーテン 画像表示装置、画像表示システム、画像表示方法、及び、プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07200875A (ja) * 1993-12-27 1995-08-04 Mutoh Ind Ltd 3次元モデルの表示位置変更方法
CN101017570A (zh) * 2006-02-06 2007-08-15 奥林巴斯映像株式会社 图像合成装置及图像合成方法
WO2011064895A1 (ja) * 2009-11-30 2011-06-03 パイオニア株式会社 地図表示装置、地図表示方法、地図表示プログラムおよび記録媒体
JP2012121384A (ja) * 2010-12-06 2012-06-28 Fujitsu Ten Ltd 画像表示システム
JP2013191969A (ja) * 2012-03-13 2013-09-26 Fujitsu Ten Ltd 画像処理装置、画像表示システム、表示装置、画像処理方法及びプログラム

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016225805A (ja) * 2015-05-29 2016-12-28 富士通テン株式会社 画像処理装置、画像処理システム、画像合成装置、画像処理方法及びプログラム
JP2017069839A (ja) * 2015-09-30 2017-04-06 アイシン精機株式会社 周辺監視装置
WO2017056992A1 (ja) * 2015-09-30 2017-04-06 アイシン精機株式会社 周辺監視装置
JP2017143340A (ja) * 2016-02-08 2017-08-17 株式会社デンソー 情報処理装置及びプログラム
JP2018113683A (ja) * 2017-01-06 2018-07-19 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP7073092B2 (ja) 2017-01-06 2022-05-23 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2019014397A (ja) * 2017-07-07 2019-01-31 アイシン精機株式会社 周辺監視装置
JP2019056978A (ja) * 2017-09-19 2019-04-11 キヤノン株式会社 制御装置、制御方法、及びプログラム
WO2019059020A1 (ja) * 2017-09-19 2019-03-28 キヤノン株式会社 制御装置、制御方法、及びプログラム
US11003350B2 (en) 2017-09-19 2021-05-11 Canon Kabushiki Kaisha Control apparatus, control method, and storage medium
JP6419278B1 (ja) * 2017-09-19 2018-11-07 キヤノン株式会社 制御装置、制御方法、及びプログラム
JP2019156299A (ja) * 2018-03-15 2019-09-19 株式会社デンソーテン 車両遠隔操作装置及び車両遠隔操作方法
JP7060418B2 (ja) 2018-03-15 2022-04-26 株式会社デンソーテン 車両遠隔操作装置及び車両遠隔操作方法
JP2019057291A (ja) * 2018-10-10 2019-04-11 キヤノン株式会社 制御装置、制御方法、及びプログラム
US11985294B2 (en) 2019-06-28 2024-05-14 Fujifilm Corporation Information processing apparatus, information processing method, and program
WO2021199318A1 (ja) 2020-03-31 2021-10-07 本田技研工業株式会社 画像処理装置、車両、画像処理方法およびプログラム
WO2024070202A1 (ja) * 2022-09-30 2024-04-04 株式会社東海理化電機製作所 表示システム

Also Published As

Publication number Publication date
US10857974B2 (en) 2020-12-08
US20210053529A1 (en) 2021-02-25
US11643047B2 (en) 2023-05-09
DE112014004701B4 (de) 2023-02-02
JP6347934B2 (ja) 2018-06-27
CN105612552A (zh) 2016-05-25
CN112165609A (zh) 2021-01-01
WO2015053040A1 (ja) 2015-04-16
US20160193983A1 (en) 2016-07-07
DE112014004701T5 (de) 2016-07-28

Similar Documents

Publication Publication Date Title
JP6347934B2 (ja) 画像表示装置、画像表示システム、画像表示方法、及び、プログラム
CN107408026B (zh) 信息处理设备、信息处理方法和计算机程序
JP6394281B2 (ja) 車載注意喚起システム、報知制御装置
US9484005B2 (en) Trimming content for projection onto a target
US20150094118A1 (en) Mobile device edge view display insert
US10235879B2 (en) Notification system of a car and method of controlling therefor
JP6077214B2 (ja) 画像処理装置、画像処理方法、プログラム、及び画像処理システム
JP5047650B2 (ja) 車載カメラシステム
CN103975268A (zh) 具有附近物体响应的可穿戴计算机
JP2017073733A (ja) 車両用視認装置及び車両用視認制御プログラム
JP5991648B2 (ja) 車両用表示制御装置
JP2019156298A (ja) 車両遠隔操作装置及び車両遠隔操作方法
JP2019144756A (ja) 車両遠隔操作装置、車両遠隔操作システム及び車両遠隔操作方法
JP6568981B2 (ja) 画像表示装置、画像表示システム、画像表示方法、及び、プログラム
US20190258245A1 (en) Vehicle remote operation device, vehicle remote operation system and vehicle remote operation method
JP6725734B2 (ja) 画像表示装置、画像表示システム、画像表示方法、及び、プログラム
JP2019161549A (ja) 車両遠隔操作装置及び車両遠隔操作方法
JP2019116220A (ja) 車両用視認装置
JP2020150295A (ja) 車両防犯装置
US20160379416A1 (en) Apparatus and method for controlling object movement
JP7051369B2 (ja) 画像処理装置及び画像処理方法
JP6990874B2 (ja) 駐車支援装置および車両
JP2017005335A (ja) 携帯機器、携帯機器の制御方法および携帯機器のプログラム
JP2019080158A (ja) 画像処理装置及び画像処理方法
JP2019080157A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180508

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180530

R150 Certificate of patent or registration of utility model

Ref document number: 6347934

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250