以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。なお、本発明は以下に示す実施形態の内容に限定されるものではない。
また、以下の説明では、車両の直進進行方向であって、運転席からハンドルに向かう方向を「前方向(前方)」とする。車両の直進進行方向であって、ハンドルから運転席に向かう方向を「後方向(後方)」とする。車両の直進進行方向及び鉛直線に垂直な方向であって、前方を向いている運転手の右側から左側に向かう方向を「左方向」とする。車両の直進進行方向及び鉛直線に垂直な方向であって、前方を向いている運転手の左側から右側に向かう方向を「右方向」とする。
<1.画像処理装置の概略>
図1は、実施形態の画像処理装置1の構成を示すブロック図である。画像処理装置1は、例えば撮影部2と、センサ部3と、外部装置4と、を含む車両周辺監視システムに組み込むことができる。車両周辺監視システムは、撮影部2(車載カメラ)が搭載された車両の周辺状況を監視するシステムである。
画像処理装置1は、車載カメラで撮影された撮影画像を処理する装置である。画像処理装置1は、車載カメラを搭載する車両ごとに備えられる。本実施形態では、画像処理装置1は、撮影部2から撮影画像を取得して処理する。また、画像処理装置1は、センサ部3から情報を取得し、当該取得情報に基づいて画像処理に関する判断を行う。
撮影部2は、車両周辺及び車室内部の状況を監視する目的で設けられる。撮影部2は、例えば5つのカメラ21〜25を備える。5つのカメラ21〜25は、車載カメラである。図2は、車載カメラ21〜25が車両5に配置される位置を例示する図である。
車載カメラ21は車両5の前端に設けられる。このため、車載カメラ21をフロントカメラ21とも呼ぶ。フロントカメラ21の光軸21aは上からの平面視で車両5の前後方向に沿って延びる。フロントカメラ21は車両5の前方向を撮影する。車載カメラ23は車両5の後端に設けられる。このため、車載カメラ23をバックカメラ23とも呼ぶ。バックカメラ23の光軸23aは上からの平面視で車両5の前後方向に沿って延びる。バックカメラ23は車両5の後方向を撮影する。フロントカメラ21及びバックカメラ23の取付位置は、車両5の左右中央であることが好ましいが、左右中央から左右方向に多少ずれた位置であっても良い。
車載カメラ22は車両5の右側ドアミラー51に設けられる。このため、車載カメラ22を右サイドカメラ22とも呼ぶ。右サイドカメラ22の光軸22aは上からの平面視で車両5の左右方向に沿って延びる。右サイドカメラ22は車両5の右方向を撮影する。車載カメラ24は車両5の左側ドアミラー52に設けられる。このため、車載カメラ24を左サイドカメラ24とも呼ぶ。左サイドカメラ24の光軸24aは上からの平面視で車両5の左右方向に沿って延びる。左サイドカメラ24は車両5の左方向を撮影する。
なお、車両5がいわゆるドアミラーレス車である場合、右サイドカメラ22は右サイドドアの回転軸(ヒンジ部)の周辺にドアミラーを介することなく設けられ、左サイドカメラ24は左サイドドアの回転軸(ヒンジ部)の周辺にドアミラーを介することなく設けられる。
車載カメラ25は車両5の車室内部の前端に設けられる。このため、車載カメラ25を車内カメラ25とも呼ぶ。車内カメラ25は、例えば運転席または助手席の前側上方、或いは運転席と助手席との間の前側上方に配置される。車内カメラ25の光軸25aは上からの平面視で車両5の前後方向に沿って延びる。車内カメラ25は車室内部を、前方から後方に向かって撮影する。
車載カメラ21〜25のレンズとしては、例えば魚眼レンズが使用される。車載カメラ21〜24は、それぞれの水平方向の画角θが180度以上であるため、車両5の水平方向における全周囲を撮影することができる。車内カメラ25も同様に、水平方向の画角θが180度程度であるため、車両5の車室内部の水平方向における全域を撮影することができる。
図1に戻って、センサ部3は、車載カメラ21〜25が搭載される車両5に関する情報を検出する複数のセンサを有する。車両5に関する情報には、車両自体の情報と、車両周辺の情報とが含まれて良い。本実施形態では、センサ部3は、例えば車両の乗員のシートへの着座を検出する着座センサ、車両の変速装置のシフトレバーの操作位置を検出するシフトセンサ、車両のドアの開閉を検知するドア開閉センサ、車両の振動を検出する振動センサ、車両の傾きを検出する傾斜センサ、車両周辺の人や動物、車両、その他の物体を検出する超音波センサ及びレーダ等が含まれる。なお、超音波センサ、レーダのほか、赤外線等を用いた光センサなどを利用し、人などを検出しても良い。
外部装置4は、画像処理装置1から出力される表示用画像を受信する装置である。外部装置4は、例えば車両5の所有者等が所持する端末、サーバ等が含まれる。端末としては、例えばスマートフォン等の携帯端末、パーソナルコンピュータ等の据え置き型情報端末等が含まれる。本実施形態では、外部装置4は、例えばスマートフォン等の携帯端末であって、画像処理装置1から出力された表示用画像を画面表示する表示部41を備える表示装置である。表示部41は、例えば液晶表示パネルであって、タッチパネル方式等の入力部を備え、外部から情報を入力できる構成であって良い。
<2.画像処理装置の詳細>
画像処理装置1は、画像生成部11、制御部12、記憶部13及び通信部14を含んで構成される。
画像生成部11は、撮影部2で撮影された撮影画像を処理して表示用画像を生成する。本実施形態では、画像生成部11は、各種の画像処理が可能なハードウェア回路として構成される。本実施形態では、画像生成部11は、車両5に搭載された車載カメラ21〜24によって撮影された撮影画像に基づき、仮想視点から見た車両5の周辺を示す仮想視点画像を生成する。さらに、画像生成部11は、仮想視点画像に基づき、表示装置である外部装置4で表示するための表示用画像を生成する。仮想視点画像を生成する手法の詳細については後述する。
制御部12は、不図示のCPU(Central Processing Unit)、RAM(Random Access Memory)、及びROM(Read Only Memory)を含む、いわゆるマイコンである。記憶部13は、不揮発性のメモリである。制御部12は、記憶部13に記憶されたプログラムに基づいて情報の処理及び送受信を行う。制御部12は、有線または無線で、撮影部2、センサ部3及び外部装置4に接続される。
制御部12は、画像取得部121と、画像制御部122と、接近検出部123と、を備える。制御部12が備えるこれらの各構成要素それぞれの機能は、プログラムに従ってCPUが演算処理を行うことによって実現される。
画像取得部121は、車載カメラ21〜25で撮影された撮影画像を取得する。本実施形態では、車載カメラ21〜25の数は5つであり、画像取得部121は、車載カメラ21〜25それぞれで撮影された撮影画像を取得する。
画像制御部122は、画像生成部11によって実行される画像処理の制御を行う。例えば、画像制御部122は、画像生成部11に対して、仮想視点画像及び表示用画像を生成するために必要となる各種のパラメータ等の指示を行う。また、画像制御部122は、画像生成部11によって生成された表示用画像を外部装置4に対して出力する際の制御を行う。
接近検出部123は、車載カメラ21〜24が搭載された車両5への外部からの接触を予測または検出する。詳細には、接近検出部123は、車両5に対して接近する人や動物、車両、その他の物体を検出するとともに、それらによる車両5への接触を検出する。
さらに具体的には、接近検出部123は、車両5への外部からの接触の予測または検出の開始に先立って、例えばセンサ部3の着座センサ、シフトセンサ、ドア開閉センサからの検出信号に基づき、車両5の内部に乗員がいないことを検出する。例えば、乗員が着座しておらず、且つイグニッションスイッチがOFFである場合、車両5の内部に乗員がいないことが検出される。また例えば、乗員の着座しておらず、且つドアが閉じている場合、車両5の内部に乗員がいないことが検出される。また例えば、乗員の着座しておらず、且つシフトレバーが「P」、「N」、「R」のいずれかの位置である場合、車両5の内部に乗員がいないことが検出される。なお、車両5の内部に乗員がいないことを検出する手段は、これらに限定されない。例えば、イグニッションスイッチがOFFになり、その後運転席ドアが閉から開になりさらに閉になる、すなわち運転者が降車したと推定され、且つ全ドアが閉且つロックされた場合に車両5の内部に乗員がいないと検出されても良い。
続いて、接近検出部123は、例えば振動センサから車両の振動の程度を表す検出信号を取得し、また、傾斜センサから車両の傾きの程度を表す検出信号を取得する。これらの検出信号の取得に基づき、接近検出部123は、車両5への外部からの接触を検出する。そして、画像処理装置1は撮影部2に、車載カメラ21〜24による車両周辺の撮影を指示する指令を送信する。接近検出部123は、車載カメラ21〜24で撮影された車両周辺の撮影画像に基づき、車両周辺の人や動物、車両、その他の物体を画像認識により検出する。これにより、接近検出部123は、車両5に対して接近または接触する人や車両などの有無や方向、位置を検出する。
なお、車載カメラ21〜24の起動トリガーとして振動センサや傾斜センサ等を用いることなく、例えば車載カメラ21〜24を一定の時間を隔てて周期的に起動させ、車載カメラ21〜24に車両周辺を撮影させても良い。
また、車両周辺の人や動物、車両、その他の物体の検出には、例えばセンサ部3の超音波センサ、レーダを用いても良い。超音波センサ及びレーダは、例えば車両5のフロントバンパー、リアバンパー及びドアなどの複数箇所に埋設される。超音波センサ及びレーダは、送信波を車両周辺に向けて送信し、人や他の車両などで反射した反射波を受信することで、人や他の車両などの有無や方向、位置を検出する。
記憶部13は、例えばフラッシュメモリ等の不揮発性のメモリであり、各種の情報を記憶する。記憶部13は、例えばファームウェアとしてのプログラム、画像生成部11が仮想視点画像及び表示用画像を生成するための各種のデータを記憶する。また、記憶部13は、画像取得部121及び接近検出部123が処理を実行するために必要となる各種のデータを記憶する。
通信部14は、例えば無線によって外部装置4と接続される。画像処理装置1は、通信部14を介して外部装置4に、画像生成部11で生成された表示用画像を出力することが可能である。
<3.仮想視点画像の生成>
画像生成部11が、仮想視点から見た車両5の周辺の様子を示す仮想視点画像を生成する手法について説明する。図3は、仮想視点画像を生成する手法を説明するための図である。
フロントカメラ21、右サイドカメラ22、バックカメラ23及び左サイドカメラ24によって、車両5の前方、右側方、後方及び左側方それぞれを示す4つの撮影画像P21〜P24が同時に取得される。これら4つの撮影画像P21〜P24には、車両5の全周囲のデータが含まれる。画像生成部11は、これら4つの撮影画像P21〜P24を、画像取得部121を介して取得する。
画像生成部11は、これら4つの撮影画像P21〜P24に含まれるデータ(各画素の値)を、仮想的な三次元空間における立体的な曲面である投影面TSに投影する。投影面TSは、例えば略半球形状(お椀形状)をしており、その中心部(お椀の底部分)が車両5の位置として定められる。
投影面TSでは、車両5の領域の外側の領域に、撮影画像のデータが投影される。撮影画像P21〜P24に含まれる各画素の位置と、投影面TSの各画素の位置とは予め対応関係が定められる。この対応関係を示すテーブルデータは、記憶部13に記憶される。投影面TSの各画素の値は、この対応関係と、撮影画像P21〜P24に含まれる各画素の値とに基づいて決定できる。
次に、画像生成部11は、画像制御部122の制御により、三次元空間に対して仮想視点VPを設定する。仮想視点VPは、視点位置と視線方向とで規定される。画像生成部11は、任意の視点位置、且つ、任意の視線方向の仮想視点VPを三次元空間に設定できる。画像生成部11は、投影面TSのうち、設定された仮想視点VPから見た視野内に含まれる領域に投影されたデータを画像として切り出す。これにより、画像生成部11は、任意の仮想視点VPから見た仮想視点画像を生成する。
例えば、図3に示すように、視点位置を車両5の直上、視線方向を直下とした仮想視点VPaを想定した場合、車両5及び車両5の周辺を俯瞰する仮想視点画像(俯瞰画像)CPaを生成することができる。また、視点位置を車両5の内部、視線方向を車両5の左前方とした仮想視点VPbを想定した場合、車両5の内部から見た車両5の左前方の周辺を示す仮想視点画像CPbを生成することができる。
なお、仮想視点画像CPa中に示す車両5の像5pは、予めビットマップなどのデータとして用意され、記憶部24に記憶される。仮想視点画像の生成の際には、当該仮想視点画像の仮想視点VPの視点位置と視線方向とに応じた形状の車両5の像5pのデータが読み出されて、仮想視点画像CPa中に含められる。
図3の仮想視点画像CPbについて、より詳細に説明すれば、仮想視点画像CPbは、車両5の内部の所定位置である運転者の視点付近を視点位置とし、車両5の左前方を視線方向とした仮想視点に基づく車両5の車外画像である。以下の説明において、車両5の内部の所定位置を視点位置とし、当該視点位置から見た車両5の外部の方向を視線方向とした仮想視点画像のことを、車外画像Pxと呼ぶ場合がある。
車外画像Pxである仮想視点画像CPbには、画像生成部11が生成した仮想視点画像に、車両5の透過像5tが含められる。車外画像Pxは、車両5の内部を仮想視点の視点位置とした場合に、視線方向に見える現実の光景により近い状況を表現した画像であり、車両5とその周囲の物体との位置関係も理解し易い。車外画像Pxでは、車両5の周囲の物体が、車両5の一部と重なって隠れてしまうことを防ぐため、車両5の像を透過像5tとする。
なお、車外画像Px中に示す車両5の透過像5tは、予めビットマップなどのデータとして用意され、記憶部24に記憶される。車外画像の生成の際には、当該車外画像の仮想視点VPの視点位置と視線方向とに応じた形状の透過像5tのデータが読み出されて、車外画像Px中に含められる。
このようにして、画像生成部11は、仮想の立体的な投影面TSを用いることで、現実に近い臨場感のある仮想視点画像CPa、CPbを生成することができる。さらに、画像生成部11は、車両5の内部の所定位置を仮想視点VPの視点位置とし、当該視点位置から見た車両5の外部の方向を視線方向とし、車両5の像を透過像5tとして含む車外画像Pxを生成する。
<4.車外画像の生成、送信に係る処理>
本実施形態において、画像処理装置1は、車外画像Pxを生成し、当該車外画像Pxを外部装置4に対して送信する。
<4−1.第1実施形態>
図4は、第1実施形態の車外画像Pxの生成、送信に係る処理フローの例を示すフローチャートである。第1実施形態の車外画像Pxの生成、送信に係る処理について、図4を参照しつつ説明する。
図4に示すように、まず、車両5では、車両5への外部からの接触が接近検出部123によって監視される。(ステップS101)。画像処理装置1では、所定の開始条件が成立すると、車両5への外部からの接触の監視が開始される。所定の開始条件とは、例えば先に説明したように、車両5の内部に乗員がいなくなった場合であっても良い。例えば、乗員が着座しておらず、且つイグニッションスイッチがOFFである場合、車両5の内部に乗員がいないことが検出され、監視モードに入り、車両5への外部からの接触の監視が開始される。なお、監視モードは正規のユーザーが車両の運転を開始するときに解除される。例えば、キーによりドアがアンロックされた場合や、図示せぬキーレスエントリ装置の送信機によりドアがアンロックされた場合に、正規のユーザーが車両の運転を開始すると判断される。
次に、車両5への外部からの接触を検出したか否かが判定される(ステップS102)。車両5への外部からの接触は、例えばセンサ部3の振動センサから取得した車両の振動の程度を表す検出信号に基づき判定される。また、車両5への外部からの接触は、例えばセンサ部3の傾斜センサから取得した車両の傾きの程度を表す検出信号に基づき判定される。また、車両5への外部からの接触の検出に、例えばセンサ部3の超音波センサ、レーダを用いても良い。
車両5への外部からの接触を検出しない場合(ステップS102のNo)、ステップS101に戻って、車両5への物体の接触の監視が継続される。
車両5への外部からの接触を検出した場合(ステップS102のYes)、車両5の周辺画像の取得が行われる(ステップS103)。図5は、車両5への外部からの接触の状況を示す説明図である。図5に示すように、本実施形態では、例えば、駐車中の車両5に人Trが接触したこととする。接触位置は、車両5の左前部5fである。車両5の周辺画像は、車載カメラ21〜24に車両周辺を撮影させることで取得することができる。画像処理装置1は撮影部2に、車載カメラ21〜24による車両周辺の撮影を指示する指令を送信する。画像処理装置1は、車載カメラ21〜24それぞれで撮影された撮影画像を画像取得部121を介して取得し、記憶部13に記憶する。
図4に戻って、次に、接触位置及び接触方向が検出される(ステップS104)。例えば、接触位置及び接触方向は、車載カメラ21〜24に撮影させた車両周辺の撮影画像に基づいて検出される。接近検出部123は、車両5に対して外部から接触する人Trの接触位置及び接触方向を検出する。また例えば、接触位置及び接触方向は、センサ部3の超音波センサ、レーダを用いても検出することができる。
次に、仮想視点画像が生成される(ステップS105)。画像生成部11は、ステップS103で取得し、記憶部13に記憶した車両周辺の複数の撮影画像に基づき、仮想視点から見た車両5の周辺の様子を示す仮想視点画像を生成する。
次に、画像生成部11は、車両5の透過像5tを含む車外画像Pxを生成し、記憶部13に記憶させる(ステップS106)。図6は、車外画像Pxの第1例を示す模式図である。例えば、本実施形態では、ステップS104において、車両5の左前部5fで、車両5への外部からの接触を検出したこととする。これにより、画像生成部11は、車両5の内部の所定位置である運転者の視点付近を視点位置とし、当該視点位置から見た接触の位置の方向である車両5の左前部5fを視線方向とした仮想視点VPx(図5参照)に基づき、図6に示す車外画像Pxを生成する。
車外画像Pxは、画像生成部11が生成した仮想視点画像に、車両5の像を透過像5tとして含む。車外画像Pxの仮想視点画像には、車両5に接触した人Trの像Tpが含まれる。さらに、画像生成部11は、車外画像Pxの仮想視点画像に基づき、外部装置4で表示するための車外画像Pxの表示用画像を生成する。
なお、図6及び後述する図7において、車外画像Pxに含まれる車両5に接触した人Trの像Tpは簡略化して描画されているが、実際には、接触した人Trが不審者であるか否かを識別可能な程度に表示される。さらに、後述する他の図面の人Trの像Tpについても同様である。
図4に戻って、次に、通信部14が、車外画像Pxを外部装置4に対して送信する(ステップS107)。画像処理装置1は、例えば車外画像Pxの表示用画像が添付された電子メール等を作成し、当該電子メールを通信部14を介して外部装置4に送信する。電子メール等には、例えば車両5に対して人Trが接触したことを知らせる旨のメッセージが記載される。
図7は、車外画像Pxの第1例が表示された外部装置4を示す模式図である。例えば、スマートフォン等の携帯端末である外部装置4では、表示部41に車外画像Pxを表示させることができる。車外画像Pxが外部装置4に対して送信されると、図4に示す処理フローが終了される。
なお、車外画像Pxの外部装置4への送信は、電子メール等に画像データを添付して行うほか、例えば、車外画像Pxが保存されたネットワーク上のアドレスを送信することでも行うことが可能である。この場合、車外画像Pxは、画像処理装置1の記憶部13、またはネットワーク上の他の外部装置(サーバ等)に保存される。
また、外部装置4で表示可能な車外画像Pxは、既に撮影済みの画像(静止画)であるほか、画像生成部11によって生成される撮影済みの車外画像Pxの映像(動画)であっても良い。さらに、この車外画像Pxの映像(動画)は、現在の状況を示すリアルタイム(生中継)の映像であっても良い。これらの場合、画像処理装置1から外部装置4に送信される電子メール等には、リアルタイムの車外画像Pxである映像にアクセスするためのネットワークアドレス、閲覧方法等を知らせる旨のメッセージが記載される。
また、車外画像Pxの静止画及び動画は、記録、録画することができる。車外画像Pxの静止画及び動画の記録、録画は、画像処理装置1の記憶部13で行っても良いし、外部装置4の記憶部(不図示)で行っても良い。車外画像Pxを外部装置4に記録させる場合、通信部14は、車外画像Px自体の送信に加えて、車外画像Pxの記録に係る指令を外部装置4に対して送信する。
また、外部装置4の表示部41では、車外画像Px及びそのリアルタイム映像に対して、例えば拡大、縮小などといった操作を行うことができる。この場合、例えば表示部41に備えられたタッチパネル等を用いて操作することができる。
また、外部装置4の表示部41において、車外画像Px及びそのリアルタイム映像は、自由に視点切替ができることにしても良い。この場合、例えば表示部41に備えられたタッチパネル等を用いて操作し、視点切替を行うことができる。
具体的には、外部装置4の表示部41において、タッチパネル等を用いて新たな視点位置及び視線方向が決定される。外部装置4は、決定した視点位置及び視線方向の情報(以下、視線情報という)を通信部14に送信する。画像制御部122は、通信部14を介して受信した視線情報に基づき画像生成部11に新たな車外画像Pxまたはリアルタイム映像を生成させ、通信部14から外部装置4に送信する。このようにして、外部装置4で視点位置及び視線方向が変更されると、その変更された新たな車外画像Pxまたはリアルタイム映像が外部装置4の表示部41に表示される。さらに、視点位置が異なる複数の車外画像Pxを同時に、表示部41に表示させることにしても良い。
上記のように、本実施形態の画像処理装置1は、車両5への外部からの接触を検出した場合に、仮想視点画像に車両5の像を透過像5tとして含む車外画像Pxを生成し、当該車外画像Pxを外部装置4に対して送信する。これにより、車両5に接触した人Trの顔や行動を、車外画像Pxとして確認することができる。すなわち、車両5に危害が加えられた際に、状況把握や事後対応において有効な車外画像Pxを得ることが可能になる。
また、接近検出部123は、車両5の振動または傾きに基づいて車両5への外部からの接触を検出する。これにより、車両5への物体の接触のタイミングを、適正に判別することができる。そして、車両5への物体の接触の直後から、車両5に接触した人Trの顔や行動を、車外画像Pxとして確認することが可能である。
また、接近検出部123は、車両5の内部に乗員がいないことを検出し、さらに車両5への外部からの接触の検出を開始する。これにより、画像処理装置1は、車両5の内部に乗員がいる場合に作動せず、適正なタイミングで作動させることが可能である。
また、外部装置4に送信される車外画像Pxは、静止画または動画である。さらに、車外画像Pxの動画は、生中継の映像である。これらにより、例えば静止画、動画及び生中継映像によって、車両5に接触した人Trの顔や行動を見ることができる。したがって、車両5に危害が加えられた際の、状況把握や事後対応において一層有効である。
また、画像処理装置1は、車外画像Pxの記録が可能な記憶部13を備える。これにより、任意のタイミングで、画像処理装置1の車外画像Pxを見ることが可能である。
また、通信部14は、車外画像Px自体の送信に加えて、車外画像Pxの記録に係る指令を外部装置4に対して送信する。これにより、車外画像Pxを外部装置4に記録させることができる。したがって、外部装置4において、任意のタイミングで、画像処理装置1の車外画像Pxを見ることが可能である。
<4−1−1.第1実施形態の変形例>
図8は、第1実施形態の変形例の車内画像Pyの例を示す模式図である。変形例の画像処理装置1は、画像生成部11が車内画像Pyを生成する。画像生成部11は、車外画像Pxに加えて、さらに車両5の内部が撮影された車内画像Pyを生成する。
車内画像Pyには、車内カメラ25が撮影した撮影画像が用いられる。例えば、車両5の内部に人Trが侵入した場合、車内画像Pyには、車両5の内部を表す像に、車両5に侵入した人Trの像Tpが含まれる。さらに、画像生成部11は、車内画像Pyに基づき、外部装置4で表示するための車内画像Pyの表示用画像を生成する。なお、車両5の内部に人Trが侵入したかどうかは、監視モード中にドアがアンロックされることなく開いたことを検出することで判断できるが、それに限定されない。
通信部14は、車外画像Pxに加えて、さらに車内画像Pyを外部装置4に対して送信する。画像処理装置1は、例えば車外画像Pxの表示用画像及び車内画像Pyの表示用画像が添付された電子メール等を作成し、当該電子メールを通信部14を介して外部装置4に送信する。電子メール等には、例えば車両5の内部に人Trが侵入したことを知らせる旨のメッセージが記載される。
図9は、車外画像Px及び車内画像Pyが表示された外部装置4の例を示す模式図である。例えば、スマートフォン等の携帯端末である外部装置4では、表示部41に車外画像Px及び車内画像Pyを表示させることができる。
なお、外部装置4の表示部41では、車外画像Px及び車内画像Pyの両方を同時に表示させても良いし、車外画像Px及び車内画像Pyのいずれか一方を個別に選択して表示させても良い。
この構成によれば、車両5の内部に侵入した人Trの顔や行動を、車内画像Pyとして確認することができる。すなわち、車両5に危害が加えられた際に、状況把握や事後対応においてより一層有効な車外画像Px及び車内画像Pyを得ることが可能になる。
<4−2.第2実施形態>
図10は、第2実施形態の車外画像Pxの生成、送信に係る処理フローの例を示すフローチャートである。なお、第2実施形態の基本的な構成は先に説明した第1実施形態と同じであるので、第1実施形態と異なる構成については以下で説明し、第1実施形態と共通する構成については詳細な説明を省略する。
第2実施形態の画像処理装置1は、接近検出部123が、車両5に接近する物体を検出し、当該物体による車両5への接触を予測する。すなわち、図10に示すように、まず、車両5では、車両5に対して外部から接近する人や動物、車両、その他の物体が接近検出部123によって監視される(ステップS201)。画像処理装置1では、例えば車両5の内部に乗員がいなくなった場合等の所定の開始条件が成立すると、監視モードとなり、車両5への外部からの接近の監視が開始される。
次に、車両5への外部からの接近を検出したか否かが判定される(ステップS202)。車両5に接近する物体の検出に関して、詳細には、接近検出部123は、物体が車両5から所定範囲内に進入することで、物体による車両5への接触を予測する。車両5からの所定範囲としては、例えば半径3m以内などといった範囲を任意に設定することができる。車両周辺の人や動物、車両、その他の物体の検出には、例えばセンサ部3の超音波センサ、レーダの検出信号、またはカメラ21〜24の撮影画像による画像認識に基づき判定される。
車両5への外部からの接近を検出した場合(ステップS202のYes)、車両5の周辺画像の取得が行われる(ステップS203)。以下、接近位置及び接近方向の検出(ステップS204)、仮想視点画像の生成(ステップS205)、車両5の透過像5tを含む車外画像Pxの生成及び記憶(ステップS206)、車外画像Pxの外部装置4への送信(ステップS207)が、順次行われる。
なお、本実施形態では、車両5に接近する物体を検出し、当該物体による車両5への接触を予測するので、予測される接触の位置は、車両5に接近する物体の位置である。図11は、車両5への外部からの接近の状況を示す説明図である。図12は、車外画像Pxの第2例を示す模式図である。。図11及び図12は、例えば図5及び図6を用いて説明した車外画像Pxの第1例の、車両5への人Trの接触の直前の状況を示す図である。すなわち、車外画像Pxの第2例において車両5に接近する人Trの位置は、車両5の左前部5fである。
したがって、画像生成部11は、車両5の内部の所定位置である運転者の視点付近を視点位置とし、当該視点位置から見た車両5に接近する人Trの位置である車両5の左前部5fの方向を視線方向とした仮想視点に基づき、車外画像Pxを生成する(ステップS206)。車外画像Pxの仮想視点画像には、車両5の透過像5tに加えて、車両5に接近する人Trの像Tpが含まれる。
ステップS203〜S205、S207の詳細は、第1実施形態と同様であるので、説明を省略する。
上記のように、第2実施形態の画像処理装置1は、接近検出部123が、車両5に接近する物体(人Tr)を検出し、物体(人Tr)による車両5への接触を予測する。これにより、人Trが車両5に接近する段階において、その人Trの顔や行動を車外画像Pxとして確認することができる。すなわち、その後、車両5に危害が加えられた際に、状況把握や事後対応において有効な車外画像Pxを得ることが可能になる。
<4−3.第3実施形態>
図13は、第3実施形態の車外画像Pxの生成、送信に係る処理フローの例を示すフローチャートである。なお、第3実施形態の基本的な構成は先に説明した第1及び第2の実施形態と同じであるので、これらの実施形態と異なる構成については以下で説明し、これらの実施形態と共通する構成については詳細な説明を省略する。
第3実施形態の画像処理装置1では、図13に示すように、まず、車両5では、車両5に対して外部から接近する人や動物、車両、その他の物体が接近検出部123によって監視される(ステップS301)。画像処理装置1では、例えば車両5の内部に乗員がいなくなった場合等の所定の開始条件が成立すると、監視モードとなり、車両5への外部からの接近の監視が開始される。
次に、車両5への外部からの接近を検出したか否かが判定される(ステップS302)。車両5に接近する物体の検出に関して、詳細には、接近検出部123は、物体が車両5から所定範囲内(例えば半径3m以内)に進入することで、物体による車両5への接触を予測する。車両周辺の人や動物、車両、その他の物体の検出は、例えばセンサ部3の超音波センサ、レーダの検出信号、またはカメラ21〜24の撮影画像による画像認識に基づき判定される。
車両5への外部からの接近を検出した場合(ステップS302のYes)、物体が車両5に接近した状態で、所定時間経過したか否かが判定される(ステップS303)。詳細には、接近検出部123は、物体が車両5への接近後、物体が所定時間、車両5から所定範囲内に滞在することで、物体による車両5への接触を予測する。物体の滞在に係る所定時間としては、例えば1分などといった時間を任意に設定することができる。車両周辺の物体の検出は、引き続き、例えばセンサ部3の超音波センサ、レーダの検出信号等に基づき判定される。
物体が車両5に接近した状態で、所定時間経過していない場合(ステップS303のNo)、ステップS302に戻って、物体の接近状態の監視が継続される。さらに、車両5への物体の接近を検出しない場合、または車両5への物体の接近を検出しなくなった場合(ステップS302のNo)、ステップS301に戻って、車両5への物体の接近の監視が継続される。
物体が車両5に接近した状態で、所定時間経過した場合(ステップS303のYes)、車両5の周辺画像の取得が行われる(ステップS304)。以下、接近位置及び接近方向の検出(ステップS305)、仮想視点画像の生成(ステップS306)、車両5の透過像5tを含む車外画像Pxの生成及び記憶(ステップS307)、車外画像Pxの外部装置4への送信(ステップS308)が、順次行われる。ステップS304〜ステップS308の詳細は、第1及び第2の実施形態と同様であるので、説明を省略する。
上記のように、第3実施形態の画像処理装置1は、接近検出部123が、物体が車両5への接近後、物体が所定時間、車両5から所定範囲内に滞在することで、物体による車両5への接触を予測する。これにより、例えば人が車両5に接近し、車両周辺に長く滞在した場合に、その人の顔や行動を車外画像Pxとして確認することができる。そして、例えば車両周辺を人や動物、車両、その他の物体が単に通過しただけの場合に、車外画像Pxの生成、送信を行わないようにすることができる。したがって、効率良く、車両5に危害が加えられた際の、状況把握や事後対応において有効な車外画像Pxを得ることが可能になる。
<4−4.第4実施形態>
図14は、第4実施形態の車外画像Pxの生成、送信に係る処理フローの例を示すフローチャートである。なお、第4実施形態の基本的な構成は先に説明した第1、第2及び第3の実施形態と同じであるので、これらの実施形態と異なる構成については以下で説明し、これらの実施形態と共通する構成については詳細な説明を省略する。
第4実施形態の画像処理装置1では、図14に示すように、まず、車両5では、車両5に対して外部から接近する人や動物、車両、その他の物体が接近検出部123によって監視される(ステップS401)。以下、車両5への物体の接近の判定(ステップS402)、車両5の周辺画像の取得(ステップS403)、接近位置及び接近方向の検出(ステップS404)、仮想視点画像の生成(ステップS405)、車両5の透過像5tを含む車外画像Pxの生成及び記憶(ステップS406)が、順次行われる。ステップS401〜ステップS406の詳細は、第1及び第2の実施形態と同様であるので、説明を省略する。
次に、車両5への外部からの接触を検出したか否かが判定される(ステップS407)。車両5への外部からの接触は、例えばセンサ部3の振動センサ、傾斜センサ、超音波センサ、レーダ等の検出信号に基づき判定される。
車両5への外部からの接触を検出した場合(ステップS407のYes)、通信部14が、車外画像Pxを外部装置4に対して送信する(ステップS408)。車外画像Pxが外部装置4に対して送信されると、図14に示す処理フローが終了される。
車両5への外部からの接触を検出しない場合(ステップS407のNo)、物体が車両5に接近した状態であるか否かが判定される(ステップS409)。引き続き、車両周辺の物体の検出は、例えばセンサ部3の超音波センサ、レーダの検出信号等に基づき判定される。物体が車両5に接近した状態である場合(ステップS409のYes)、ステップS407に戻って、車両5への物体の接触の判定が行われる。
車両5への物体の接近を検出しなくなった場合(ステップS409のNo)、ステップS406で生成された車外画像Pxは破棄される(ステップS410)。すなわち、画像処理装置1は、一時的に記憶部13に記憶させた車外画像Pxを消去する。そして、ステップS401に戻って、車両5への物体の接近の監視が継続される。
上記のように、第4実施形態の画像処理装置1は、接近検出部123が車両5への外部からの接触を予測した場合に、画像生成部11が車外画像Pxの生成を開始し、さらに接近検出部123が車両5への外部からの接触を検出した場合に、通信部14が車外画像Pxを外部装置4に対して送信する。これにより、例えば人が車両5に接近する段階において、迅速に、その人の顔や行動を車外画像Pxとして確認することができる。さらに、実際に車両5に接触した場合のみ、その車外画像Pxを外部装置4に対して送信することができる。したがって、より一層効率良く、車両5に危害が加えられた際の、状況把握や事後対応において有効な車外画像Pxを得ることが可能になる。
また、車外画像Pxは、接近検出部123が車両5への接触を予測したこと、すなわち車両5への接近を検出したことに基づいて記憶部13に記憶され、記憶部13に記憶された当該車外画像Pxは、接近検出部123が車両5への接触を検出した場合に、記憶部13に保存され、接近検出部123が車両5への接触を予測しなくなった、すなわち車両5への接近を検出しなくなった場合に、記憶部13から破棄される。したがって、記憶部13の記憶容量を有効に活用することができる。
<5.その他>
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は全ての点で例示であって、制限的なものではないと考えられるべきである。本発明の技術的範囲は上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。また、上記の複数の実施形態及び実施例は可能な範囲で組み合わせて実施しても良い。
例えば、第2、第3及び第4の実施形態において、車外画像Pxに加えて、さらに車内画像Pyを外部装置4に対して送信しても良い。これにより、車両5の状況把握等において、車内画像Pyを有効活用することができる。
また、上記実施形態では、プログラムに従ったCPUの演算処理によってソフトウェア的に各種の機能が実現されていると説明したが、これらの機能のうちの一部は電気的なハードウェア回路によって実現されても良い。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されても良い。