JP2019176359A

JP2019176359A - 周辺監視装置

Info

Publication number: JP2019176359A
Application number: JP2018063507A
Authority: JP
Inventors: 雄紀瀬戸; Yuki Seto
Original assignee: Aisin Seiki Co Ltd
Current assignee: Aisin Corp
Priority date: 2018-03-29
Filing date: 2018-03-29
Publication date: 2019-10-10
Anticipated expiration: 2038-03-29
Also published as: EP3546293A1; EP3546293B1; US20190299857A1; JP7135378B2

Abstract

【課題】歪みが少なく、運転者に違和感を与えない撮像画像を撮像する周辺監視装置を提供する。【解決手段】周辺監視装置である情報処理装置１００は、視点に対応付けられた複数の撮像装置によって撮像された複数の撮像画像を合成して、視点から見た表示画像を生成する画像処理部１０１と、生成された表示画像を表示装置に表示する表示制御部１０２と、を備える。これにより、車両の周囲の複数方向の状況を歪みの少ない表示画像で表示することによって、ユーザが表示画像に違和感を覚えることを低減しつつ、複数方向の状況を１つの画面で表示することができる。【選択図】図２

Description

本発明の実施形態は、周辺監視装置に関する。

従来、車両に設置された撮像装置が撮像した撮像画像を、視点変換や合成等の画像処理をした上で、運転者等に対して表示する技術が知られている。

特開２０１７−１２３６２７号公報

しかしながら、従来技術においては、車両に設置された撮像装置の撮像範囲の中心と、運転者等に表示される画像の中心とが乖離していたため、視点変換によって表示画像に歪みが生じ、当該表示画像を見た運転者等に違和感を与える場合があった。

本発明の実施形態にかかる周辺監視装置は、一例として、一の視点に対応する表示画像を生成するために車両に取り付けられた複数の撮像装置を備え、複数の撮像装置のそれぞれのレンズの中心線は、視点で交差する。よって、実施形態にかかる周辺監視装置によれば、歪みの少ない表示画像を生成可能な撮像画像を撮像することができる。

上記周辺監視装置では、一例として、視点が移動した場合に、複数の撮像装置の向きを、複数の撮像装置のそれぞれのレンズの中心線が移動後の視点で交差する方向に移動する移動制御部をさらに備える。よって、実施形態にかかる周辺監視装置によれば、例えば、仮想視点Ｐの位置を変えた表示画像を生成することができる。

上記周辺監視装置では、一例として、第１の視点に対応する表示画像を生成するために車両に取り付けられた複数の撮像装置と、第２の視点に対応する他の表示画像を生成するために車両に取り付けられた複数の撮像装置と、を備える。第１の視点に対応付けられた複数の撮像装置のそれぞれのレンズの中心線は、第１の視点で交差する。第２の視点に対応付けられた複数の撮像装置のそれぞれのレンズの中心線は、第２の視点で交差する。よって、実施形態にかかる周辺監視装置によれば、例えば、撮像装置を移動させなくとも、複数の視点にそれぞれ対応する複数の表示画像を生成することができる。

上記周辺監視装置では、一例として、視点に対応付けられた複数の撮像装置によって撮像された複数の撮像画像を合成して、視点から見た表示画像を生成する画像処理部と、生成された表示画像を表示装置に表示する表示制御部と、をさらに備える。よって、実施形態にかかる周辺監視装置によれば、例えば、車両の周囲の複数方向の状況を歪みの少ない表示画像で表示することによって、ユーザが表示画像に違和感を覚えることを低減しつつ、複数方向の状況を１つの画面で表示することができる。

上記周辺監視装置では、一例として、画像処理部は、複数の撮像装置によって撮像された複数の撮像画像または表示画像から所定のオブジェクトを認識し、表示制御部は、画像処理部がオブジェクトを認識した結果を、表示画像に重畳して表示装置に表示する。よって、実施形態にかかる周辺監視装置によれば、例えば、撮像画像に含まれる所定のオブジェクトの認識結果を表示する場合に、認識結果の表示に対してユーザに違和感を与えたり誤解を生じさせたりすることを低減することができる。

図１は、第１の実施形態にかかる撮像装置の設置位置の一例を示す図である。図２は、第１の実施形態にかかる情報処理装置の機能の一例を示す図である。図３は、第１の実施形態にかかる撮像装置の撮像範囲と表示画像の表示範囲の一例を示す図である。図４は、第１の実施形態にかかる画像処理の一例を示す図である。図５は、第１の実施形態にかかる表示装置の設置位置の一例を示す図である。図６は、第１の実施形態にかかる表示画像の一例を示す図である。図７は、第２の実施形態にかかる情報処理装置の機能の一例を示す図である。図８は、第２の実施形態にかかる仮想視点の移動の一例を示す図である。図９は、第３の実施形態にかかる撮像装置の設置位置の一例を示す図である。図１０は、第３の実施形態にかかる情報処理装置の機能の一例を示す図である。図１１は、従来技術にかかる撮像装置の設置位置の一例を示す図である。図１２は、従来技術にかかる撮像装置の撮像範囲と表示画像の表示範囲の一例を示す図である。図１３は、従来技術にかかる表示画像の一例を示す図である。

（第１の実施形態）
図１は、第１の実施形態にかかる撮像装置２ａ〜２ｄの設置位置の一例を示す図である。撮像装置２ａ〜２ｄは、車両１の周囲を撮像するカメラである。

より詳細には、撮像装置２ａは車両１の前方を撮像するフロントカメラであり、撮像装置２ｂは車両１の右側方を撮像する右サイドカメラであり、撮像装置２ｃは車両１の左側方を撮像する右サイドカメラであり、撮像装置２ｄは車両１の後方を撮像するバックカメラ（リアカメラ）である。

撮像装置２ａ〜２ｃの設置位置および設置角度は、各撮像装置２ａ〜２ｃのレンズの中心線２０ａ〜２０ｃが点Ｐで交差するように定められている。以下、撮像装置２ａ〜２ｃを特に区別しない場合は撮像装置２という。また、中心線２０ａ〜２０ｃを特に区別しない場合は中心線２０という。また、中心線２０は、撮像装置２の撮像範囲の中心線でもある。

点Ｐは、撮像装置２ａ〜２ｃによって撮像された撮像画像から生成される表示画像の仮想視点である。以下、点Ｐを、仮想視点Ｐという。仮想視点Ｐは、表示画像をユーザが見る場合に、当該ユーザの視点となる位置である。本実施形態においては、仮想視点Ｐの位置は予め定められ、撮像装置２ａ〜２ｃは、仮想視点Ｐに対応する表示画像を生成するために車両１に取り付けられている。

また、表示画像は、仮想視点Ｐの位置からユーザが車両の周囲を見た場合におけるユーザの視野に相当する範囲を表示する画像である。表示画像の詳細については後述する。ユーザは、例えば車両１の運転者等である。

図２は、本実施形態にかかる情報処理装置１００の機能の一例を示す図である。情報処理装置１００は例えば車両１に搭載されたＥＣＵ（Electronic Control Unit）であり、撮像装置２ａ〜２ｄを管理する。本実施形態の情報処理装置１００は、画像処理部１０１と表示制御部１０２とを備える。

画像処理部１０１は、仮想視点Ｐに対応付けられた撮像装置２ａ〜２ｄによって撮像された複数の撮像画像に対して拡大や合成等の画像処理を行って仮想視点Ｐから見た表示画像を生成する。また、表示制御部１０２は、画像処理部１０１によって生成された表示画像を後述の表示装置に出力する。

本実施形態においては、撮像装置２ａ〜２ｃを周辺監視装置としても良いし、撮像装置２ａ〜２ｃと情報処理装置１００との両方を周辺監視装置としても良い。

次に、撮像装置２ａ〜２ｃの撮像範囲についてより詳細に説明する。図３は、本実施形態にかかる撮像装置２ａ〜２ｃの撮像範囲と表示画像の表示範囲の一例を示す図である。図３に示す一点鎖線は、ユーザ３に対して表示される表示画像の表示範囲である。「表示画像の表示範囲」は、「仮想視点Ｐにユーザ３が位置する場合のユーザ３の視野」や、「表示画像の視野」ともいう。また、図３に示す点線は、撮像装置２ａ〜２ｃの撮像範囲である。「撮像装置２ａ〜２ｃの撮像範囲」は、「撮像装置２ａ〜２ｃの視野」ともいう。

図３の中央の図は、車両１を上方から見た場合における撮像装置２ａ〜２ｃの撮像範囲と表示画像の表示範囲とを示す。また、図３の右側の図および左側の図は、それぞれ、車両１を右側方または左側方から見た場合における撮像装置２ａ〜２ｃの撮像範囲と表示画像の表示範囲とを示す。図３のユーザ３の位置は、仮想視点Ｐの位置を示す。

図３に示すように、各撮像装置２ａ〜２ｃの撮像範囲の中心は、表示画像の表示範囲の中心の延長線上に位置する。例えば、車両１の前方の撮像については、フロントカメラである撮像装置２ａの撮像範囲の中心は、表示画像の表示範囲の中心の延長線上に位置する。また、車両１の左右方向の撮像についても、右サイドカメラである撮像装置２ｂまたは左サイドカメラである撮像装置２ｃの撮像範囲の中心は、表示画像の表示範囲の中心の延長線上に位置する。

図４は、本実施形態にかかる画像処理の一例を示す図である。図４に示す撮像装置２は、撮像装置２ａ〜２ｃのいずれかであるものとする。図４の上部には、撮像装置２の撮像範囲と表示画像の表示範囲とを、上方から見た図と側面から見た図とを示す。

図１でも示したように、撮像装置２ａ〜２ｃが設置されている位置と、仮想視点Ｐ（図４のユーザ３の位置）とには距離がある。この距離を、距離Ｌとする。図４の下部に示すように、情報処理装置１００の画像処理部１０１は、撮像画像を距離Ｌに相当する分だけ拡大することによって、拡大後の撮像画像の画像範囲と、表示画像の表示範囲（仮想視点Ｐからユーザ３が見た視野）とを一致させる。図４に示す撮像装置２´の撮像画像の撮像範囲は、仮想視点Ｐの位置から撮像装置２´が撮像した場合における撮像範囲を示す。画像処理部１０１は、撮像画像を拡大することで、撮像装置２が撮像した撮像画像に含まれる被写体の大きさを、撮像装置２´が仮想視点Ｐの位置から撮像した場合と同じ大きさにする。

撮像装置２の撮像範囲の中心は、表示画像の表示範囲の中心に位置するため、大幅な視点変換をすることなく、距離Ｌ分だけ画像を拡大することで、ユーザ３の視野に合わせることができる。このため、撮像画像に含まれる物体（被写体）に歪みが生じにくい。例えば、図４の拡大後の画像では、撮像画像に含まれる人物５は、人物５´として示すように大きくなるが、形状は拡大前と同様であり、歪みは生じていない。

画像処理部１０１は、撮像画像の拡大の処理の他に、撮像装置２ａ〜２ｃの撮像画像を合成して、車両１の左側方、前方、右側方を表示する一続きの表示画像に合成する画像処理を行う。撮像装置２ａ〜２ｃは仮想視点Ｐで中心線２０ａ〜２０ｃように設置されているため、画像処理部１０１は、撮像装置２ａ〜２ｃの撮像画像を合成する際に、大幅な視点変換の処理を要しない。このため、画像処理部１０１は、表示画像の歪みを低減することができる。

上述の拡大の処理及び合成の処理は画像処理の一例であり、画像処理部１０１は、更に他の画像処理を行っても良い。また、画像処理部１０１は、バックカメラである撮像装置２ｄが車両１の後方を撮像した撮像画像についても、拡大等の画像処理を行う。

次に、表示画像について説明する。図５は、本実施形態にかかる表示装置１２の設置位置の一例を示す図である。表示装置１２は、一例として、車両１のフロントガラスの下のダッシュボード１４の中央付近に設置される。表示装置１２は、ハンドル１３を操作する運転者から見えやすい位置にあれば良く、設置位置はこれに限定されるものではない。表示装置１２は、例えば液晶ディスプレイである。

図６は、本実施形態にかかる表示画像の一例である。情報処理装置１００の表示制御部１０２は、画像処理部１０１の画像処理によって生成された表示画像を表示装置１２に表示する。より詳細には、表示制御部１０２は、車両１の後面を示す画像２１と、撮像装置２ａ〜２ｃの撮像画像が合成された第１の表示画像２２と、バックカメラである撮像装置２ｄによって撮像された撮像画像から拡大処理等によって生成された第２の表示画像２３とを表示する。

第１の表示画像２２は、撮像装置２ａによって撮像された撮像画像を拡大したフロントカメラ映像と、撮像装置２ｂによって撮像された撮像画像を拡大した右サイドカメラ映像と、撮像装置２ｃによって撮像された撮像画像を拡大した左サイドカメラ映像とを含み、各映像の境界で画像が繋がるように合成された画像である。また、第１の表示画像２２は、ユーザ３が仮想視点Ｐの位置から車両１の周囲を見た場合のユーザ３の視野を表示した画像ともいう。第１の表示画像２２に含まれる人物５ａ，５ｂの形状は歪んでいないため、第１の表示画像２２はユーザ３に対して違和感を与えずに、車両１の周囲の状況を把握させることができる。

なお、図６に示した第１の表示画像２２および第２の表示画像２３は表示画像の一例であり、例えば、表示制御部１０２は、左サイドカメラ映像とフロントカメラ映像と右サイドカメラ映像とを合成せずに個別に表示しても良い。

上述した本実施形態の構成に対して、従来の一般的な撮像装置の設置位置では、車両に設置された撮像装置の撮像範囲の中心と、運転者等に表示される画像の中心とが一致しないため、視点変換によって表示画像に歪みが生じる場合があった。図１１は、従来技術にかかる撮像装置の設置位置の一例を示す図である。図１１に示す例では、右サイドカメラと左サイドカメラがそれぞれ下方を向いているため、車両に設置されたフロントカメラ、右サイドカメラ、および左サイドカメラの中心線は、一点で交差しない。また、後述の図１３で示す表示画像では、仮想視点が車両の後方に位置しているが、図１１に示す各撮像装置の中心線は、当該表示画像の仮想視点を通らない。

また、図１２は、従来技術にかかる撮像装置の撮像範囲と表示画像の表示範囲の一例を示す図である。図１２に示す例では、各撮像装置の撮像範囲の中心は、表示画像の表示範囲の中心と一致していない。特に、右サイドカメラおよび左サイドカメラは下方を向いているため、撮像範囲が表示画像の表示範囲と異なり、被写体に対する撮像角度も表示画像における仮想進展と被写体との角度と異なる。このような設置位置および設置角度の撮像装置によって撮像された撮像画像から表示画像を生成する場合、従来の報処理装置は、各撮像画像に対して視点変換の処理を実行した上で合成する。

図１３は、従来技術にかかる表示画像の一例を示す図である。図１３に示す例では、各撮像画像の境界付近に位置する人物の形状に歪みが生じている。当該例のように、各撮像装置の撮像範囲の中心と、表示画像の表示範囲の中心とが一致していない場合、視点変換の度合が大きくなるため、表示画像に歪みが生じる場合があった。また、表示画像の歪みよって、ユーザ３に対して障害物等との距離感や、車両の周囲の情報を違和感なく把握させることが困難な場合があった。

これに対して、本実施形態の周辺監視装置は、仮想視点Ｐに対応する第１の表示画像２２を生成するために車両１に取り付けられた複数の撮像装置２ａ〜２ｃを備え、複数の撮像装置２ａ〜２ｃの位置および角度は、複数の撮像装置２ａ〜２ｃのそれぞれのレンズの中心線２０ａ〜２０ｃが仮想視点Ｐで交差するように定められている。このため、本実施形態の周辺監視装置によれば、歪みの少ない第１の表示画像２２を生成可能な撮像画像を撮像することができる。

さらに、本実施形態の周辺監視装置は、複数の撮像装置２ａ〜２ｃによって撮像された複数の撮像画像を合成して、仮想視点Ｐから見た第１の表示画像２２を生成し、表示装置１２に表示する。このため、本実施形態の周辺監視装置によれば、運転者（ユーザ３）が確認すべき車両１の周囲の複数方向の状況を、歪みの少ない第１の表示画像２２で表示することによって、ユーザ３が表示画像に違和感を覚えることを低減しつつ、車両１の周囲の複数方向の状況を１つの画面で表示することができる。例えば、ユーザ３は、第１の表示画像２２から、フロントカメラや左右のサイドカメラで撮像された車両１の前方、右側方、及び左側方の状況を容易に把握することができる。

また、画像処理部１０１は、撮像装置２ａ〜２ｃの撮像画像または、画像処理後の第１の表示画像２２から、これらの画像に含まれる所定のオブジェクトを認識する画像認識の処理を行っても良い。所定のオブジェクトは、予め定められているものとしても良いし、ユーザ３等によって指定されるものとしても良い。また、表示制御部１０２は、画像処理部１０１による認識結果を、表示装置１２に表示しても良い。例えば、表示制御部１０２は、画像処理部１０１が所定のオブジェクトを認識した結果を示す図形等を、第１の表示画像２２に重畳して表示する。上述したように第１の表示画像２２には歪みが少ないため、本実施形態の周辺監視装置によれば、撮像画像に含まれる所定のオブジェクトの認識結果を表示する場合に、認識結果の表示に対してユーザ３に違和感を与えたり誤解を生じさせたりすることを低減することができる。

なお、本実施形態の車両１は、撮像装置２ａ〜２ｄの他に、超音波を発射してその反射波を捉えるソナー（ソナーセンサ、超音波探知器）等の測距部等を備えても良い。情報処理装置１００または他のＥＣＵは、測距部による車両１の周囲の検知結果と撮像画像とに基づいて、障害物等を検出し、警告等を表示装置１２に出力しても良い。

また、本実施形態では、周辺監視装置は撮像装置２ａ〜２ｃを含むものとしたが、これに限定されるものではなく、撮像装置２ａ〜２ｄを含むものとしても良い。また、図１等に示した仮想視点Ｐの位置や、撮像装置２ａ〜２ｄの設置位置および設置方向は一例であり、これに限定されるものではない。また、図１１〜１３に示す従来技術は一例であり、上述の構成に限定されるものではない。

（第２の実施形態）
上述の第１の実施形態では、仮想視点Ｐの位置および撮像装置２ａ〜２ｃの撮像方向は予め定められた位置に固定されていた。第２の実施形態では、撮像装置２ａ〜２ｃの撮像方向は、仮想視点Ｐの移動に伴って可変であるものとする。

図７は、本実施形態にかかる情報処理装置１１００の機能の一例を示す図である。図７に示すように、情報処理装置１１００は、画像処理部１０１と、表示制御部１０２と、受付部１０３と、撮像装置制御部１０４とを備える。本実施形態においては、周辺監視装置は撮像装置２ａ〜２ｃと情報処理装置１１００とを含むものとする。

画像処理部１０１と、表示制御部１０２とは、第１の実施形態と同様の機能を備える。

受付部１０３は、ユーザ３による仮想視点Ｐの位置の移動を指示する操作を受け付ける。例えば、表示装置１２はタッチパネルを備え、仮想視点Ｐの位置の移動を指示する操作は、当該タッチパネルから入力されても良い。また、受付部１０３は、その他の入力画面やボタン等の入力装置から入力された仮想視点Ｐの位置の移動を指示する操作を受け付けても良い。また、仮想視点Ｐの位置の移動を指示する操作は、直接的に移動後の仮想視点Ｐの位置を指定するものに限らず、画面表示の切り替え操作等であっても良い。

撮像装置制御部１０４は、仮想視点Ｐが移動した場合に、撮像装置２ａ〜２ｃの向きを、撮像装置２ａ〜２ｃの中心線２０ａ〜２０ｃが移動後の仮想視点Ｐで交差する方向に移動する。撮像装置制御部１０４は、例えば、制御信号を送信して撮像装置２ａ〜２ｃを回転させることによって撮像装置２ａ〜２ｃの向きを制御する。撮像装置制御部１０４は、本実施形態における移動制御部の一例である。

図８は、本実施形態にかかる仮想視点Ｐの移動の一例を示す図である。本実施形態における撮像装置２ａ〜２ｃは、第１の実施形態の機能を備えた上で、撮像する方向（向き）を変更する機能を有する。例えば、撮像装置２ａ〜２ｃは、回転可能な移動機構に取り付けられているものとする。例えば、受付部１０３が仮想視点Ｐを仮想視点Ｐ´の位置に移動する操作を受け付けた場合に、撮像装置制御部１０４は、撮像装置２ａ〜２ｃの向きを、撮像装置２ａ〜２ｃの中心線２０ａ〜２０ｃが移動後の仮想視点Ｐ´で交差する方向に移動（回転）する。図８の中心線２０ａ´〜２０ｃ´は、移動後の撮像装置２ａ〜２ｃのレンズの中心線を示す。

このように、本実施形態の周辺監視装置は、仮想視点Ｐが移動した場合に、撮像装置２ａ〜２ｃの向きを、撮像装置２ａ〜２ｃの中心線２０ａ〜２０ｃが移動後の仮想視点Ｐで交差する方向に移動する。このため、本実施形態の周辺監視装置によれば、第１の実施形態の効果に加えて、仮想視点Ｐの位置を変えた表示画像を生成して、ユーザ３に提供することができる。

なお、仮想視点Ｐの位置の移動は、ユーザ３の操作によるものに限定されず、情報処理装置１００または車両１に搭載された他のＥＣＵによって決定されても良い。

（第３の実施形態）
上述の第２の実施形態では、仮想視点Ｐの移動に伴って撮像装置２ａ〜２ｃを移動させることで、複数の仮想視点Ｐに基づく表示画像を表示可能にしていた。第３の実施形態では、予め複数の仮想視点の位置が決定され、各仮想視点に対して、それぞれ複数の撮像装置２が対応付けられている。

図９は、本実施形態にかかる撮像装置２ａ〜２ｇの設置位置の一例を示す図である。本実施形態では、複数の異なる仮想視点Ｐ１，Ｐ２のそれぞれに対応する表示画像を生成するために、仮想視点Ｐ１，Ｐ２のそれぞれに対して、複数の撮像装置２が予め対応付けられて車両１に設置される。本実施形態においては、撮像装置２ａ〜２ｃは仮想視点Ｐ１に対応付けられ、撮像装置２ｅ〜２ｇは仮想視点Ｐ２に対応付けられている。より詳細には、図９に示す撮像装置２ａ〜２ｃの設置位置および設置角度は、各撮像装置２ａ〜２ｃのレンズの中心線２０ａ〜２０ｃが仮想視点（第１の視点）Ｐ１で交差するように定められている。また、撮像装置２ｅ〜２ｇの設置位置および設置角度は、各撮像装置２ｅ〜２ｇのレンズの中心線２０ｅ〜２０ｇは、仮想視点（第２の視点）Ｐ２で交差するように定められている。

図１０は、本実施形態にかかる情報処理装置２１００の機能の一例を示す図である。図１０に示すように、本実施形態にかかる情報処理装置２１００は、画像処理部１１０１と、表示制御部１１０２と、受付部１１０３と、記憶部１０５とを備える。

記憶部１０５は、予め定めされた複数の仮想視点Ｐの位置と、各仮想視点Ｐに対応付けられた複数の撮像装置２とを記憶する。記憶部１０５は例えばＨＤＤやフラッシュメモリ等の記憶装置とする。

受付部１１０３は、ユーザ３による仮想視点Ｐ１，Ｐ２のいずれか１つを選択する操作を受け付ける。

画像処理部１１０１は、第１の実施形態の機能を備えた上で、ユーザ３によって選択された仮想視点Ｐに対応付けられた複数の撮像装置２によって撮像された撮像画像に対して拡大および合成等の画像処理を実行して表示画像を生成する。例えば、仮想視点Ｐ１が選択された場合は、画像処理部１１０１は、撮像装置２ａ〜２ｃによって撮像された複数の撮像画像を合成して、仮想視点Ｐ１から見た表示画像を生成する。

また、表示制御部１１０２は、第１の実施形態の機能を備えた上で、ユーザ３によって選択された仮想視点Ｐに対応付けられた複数の撮像装置２によって撮像された複数の撮像画像から生成された表示画像を、表示装置１２に表示する。

このように、本実施形態の周辺監視装置では、仮想視点Ｐ１に対応する表示画像を生成するために車両１に取り付けられた複数の撮像装置２ａ〜２ｃと、仮想視点Ｐ２に対応する他の表示画像を生成するために車両１に取り付けられた複数の撮像装置２ｅ〜２ｇとを備える。また、仮想視点Ｐ１に対応付けられた複数の撮像装置２ａ〜２ｃのレンズの中心線２０ａ〜２０ｃは仮想視点Ｐ１で交差し、仮想視点Ｐ２に対応付けられた複数の撮像装置２ｅ〜２ｇのレンズの中心線２０ｅ〜２０ｇは仮想視点Ｐ２で交差するように定められている。このため、本実施形態の周辺監視装置によれば、第１の実施形態の効果に加えて、撮像装置２を移動させなくとも、異なる仮想視点Ｐ１，Ｐ２の位置に基づく複数の表示画像を生成することができる。

なお、仮想視点Ｐは、情報処理装置１００または他のＥＣＵによって選択されても良い。また、図９に示した仮想視点Ｐ１，Ｐ２の位置及び数や、撮像装置２の数は一例であり、これに限定されるものではない。また、本実施形態では、受付部１１０３は、ユーザ３による仮想視点Ｐ１，Ｐ２のいずれか１つを選択する操作を受け付けるとしたが、複数の仮想視点Ｐを選択する操作を受け付けても良い。また、表示制御部１１０２は、仮想視点Ｐ１に対応する表示画像と仮想視点Ｐ２に対応する表示画像の両方を表示装置１２に同時に表示しても良い。

情報処理装置１００，１１００，２１００は、ＣＰＵなどの制御装置と、ＲＯＭやＲＡＭなどの記憶装置と、ＨＤＤ、フラッシュメモリ、ＣＤドライブ装置などの外部記憶装置を備えており、通常のコンピュータを利用したハードウェア構成となっている。情報処理装置１００，１１００，２１００の画像処理部１０１，１１０１、表示制御部１０２，１１０２、受付部１０３，１１０３、撮像装置制御部１０４は、ＣＰＵが、ＲＯＭ内に格納されたプログラムを実行することで実現される。なお、これらの構成をハードウェア回路で実現するように構成しても良い。

以上、本発明の実施形態を例示したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各実施形態や各変形例の構成や形状は、部分的に入れ替えて実施することも可能である。

１…車両、２，２ａ〜２ｇ…撮像装置、３…ユーザ、５，５´，５ａ，５ｂ…人物、１２…表示装置、１３…ハンドル、１４…ダッシュボード、２０，２０ａ〜２０ｃ，２０ｅ〜２０ｇ，２０ａ´〜２０ｃ´…中心線、２２…第１の表示画像、２３…第２の表示画像、１００，１１００，２１００…情報処理装置、１０１，１１０１…画像処理部、１０２，１１０２…表示制御部、１０３，１１０３…受付部、１０４…撮像装置制御部、１０５…記憶部、Ｐ，Ｐ´，Ｐ１，Ｐ２…仮想視点（視点）。

Claims

一の視点に対応する表示画像を生成するために車両に取り付けられた複数の撮像装置を備え、
前記複数の撮像装置のそれぞれのレンズの中心線は、前記視点で交差する、
周辺監視装置。
前記視点が移動した場合に、前記複数の撮像装置の向きを、前記複数の撮像装置のそれぞれの前記レンズの前記中心線が移動後の前記視点で交差する方向に移動する移動制御部をさらに備える、
請求項１に記載の周辺監視装置。
第１の視点に対応する表示画像を生成するために前記車両に取り付けられた複数の撮像装置と、
第２の視点に対応する他の表示画像を生成するために前記車両に取り付けられた複数の撮像装置と、を備え、
前記第１の視点に対応付けられた前記複数の撮像装置のそれぞれのレンズの中心線は、前記第１の視点で交差し、
前記第２の視点に対応付けられた前記複数の撮像装置のそれぞれのレンズの中心線は、前記第２の視点で交差する、
請求項１に記載の周辺監視装置。
前記視点に対応付けられた前記複数の撮像装置によって撮像された複数の撮像画像を合成して、前記視点から見た前記表示画像を生成する画像処理部と、
生成された前記表示画像を表示装置に表示する表示制御部と、をさらに備える、
請求項１から３のいずれか１項に記載の周辺監視装置。
前記画像処理部は、前記複数の撮像装置によって撮像された前記複数の撮像画像または前記表示画像から所定のオブジェクトを認識し、
前記表示制御部は、前記画像処理部が前記オブジェクトを認識した結果を、前記表示画像に重畳して前記表示装置に表示する、
請求項４に記載の周辺監視装置。