JP2020057981A - 画像作成システム、画像作成装置、及び画像作成装置の制御方法 - Google Patents

Abstract

【課題】複数の撮影カメラ及び車載カメラを有効に活用し、かつ、監視や防犯に有利な画像を得る。【解決手段】画像作成システム１は、複数の撮影カメラ１２の撮影データに基づきエリア俯瞰画像ＧＨを作成するエリア俯瞰画像作成部１３と、複数の車載カメラ２２の撮影データに基づき車両俯瞰画像ＧＣを作成する車両俯瞰画像作成部２３と、エリア俯瞰画像ＧＨのうち、撮影カメラ１２で撮影できない死角領域ＸＤを補うように、エリア俯瞰画像ＧＨの一部を車両俯瞰画像ＧＣにした合成俯瞰画像ＧＨＡを作成する画像処理部１５と、少なくとも合成俯瞰画像ＧＨＡを出力する画像出力部１６とを備える。【選択図】図３

Description

本発明は、画像作成システム、画像作成装置、及び画像作成装置の制御方法に関する。

車載カメラを有効に活用して家屋の防犯性を向上させるセキュリティーシステムが開示されている（例えば、特許文献１参照）。この特許文献１に記載のシステムは、家屋又は敷地内屋外を撮影する監視カメラを有する家屋側機器ユニットを備え、家屋から電力線を介して供給される電力で車載カメラを作動させて家屋の敷地内の少なくとも一部を撮像させ、撮像した画像データを電力線を介して家屋側機器ユニットに送信する。

特開２０１１−２３２８７７号公報

しかし、特許文献１記載の技術は、監視カメラと車載カメラのそれぞれで撮影された各画像データを分割表示するので、監視カメラ及び車載カメラの台数が多いほど、表示画像数が多く、且つ、各画像のサイズが小さくなり、監視や防犯の観点から見難い表示になるおそれがある。
そこで、本発明は、複数の撮影カメラ及び車載カメラを有効に活用し、かつ、監視や防犯に有利な画像を得ることを目的とする。

上記目的を達成するために、本発明の画像作成システムは、撮影対象エリアを撮影する複数の撮影カメラと、前記撮影対象エリアに移動自在な車両に搭載されて前記車両の周囲を撮影する複数の車載カメラと、前記複数の撮影カメラの撮影データに基づき、前記撮影対象エリアを俯瞰したエリア俯瞰画像を作成するエリア俯瞰画像作成部と、前記複数の車載カメラの撮影データに基づき、前記車両を俯瞰した車両俯瞰画像を作成する車両俯瞰画像作成部と、前記エリア俯瞰画像のうち、前記車両、又は、前記車両以外の撮影障害物の少なくともいずれかによって前記撮影カメラで撮影されない死角領域を補うように、前記エリア俯瞰画像の一部を前記車両俯瞰画像にした合成俯瞰画像を作成する画像処理部と、少なくとも前記合成俯瞰画像を出力する画像出力部とを備えることを特徴とする。

上記構成において、前記画像処理部は、前記エリア俯瞰画像と前記車両俯瞰画像とを比較することによって、前記エリア俯瞰画像のうち、前記車両俯瞰画像に対応する領域を特定し、特定した領域を、前記車両俯瞰画像に置き換える画像処理を行うことを特徴とする。

上記構成において、前記画像処理部は、前記車両が前記撮影対象エリアに進入する前に作成された前記エリア俯瞰画像と、最新の前記車両俯瞰画像とが重なる領域を特定し、特定した領域を、前記車両俯瞰画像に置き換えることによって前記合成俯瞰画像を作成することを特徴とする。

上記構成において、前記撮影対象エリアには、前記車載カメラで撮影されるマーカーが設けられ、前記画像処理部は、前記車両俯瞰画像中のマーカー位置に基づいて、前記エリア俯瞰画像のうち、前記車両俯瞰画像に対応する領域を特定し、特定した領域を、前記車両俯瞰画像に置き換える画像処理を行うことを特徴とする。

上記構成において、前記画像出力部は、前記合成俯瞰画像が作成されない場合、前記エリア俯瞰画像を出力することを特徴とする。

また、画像作成装置において、撮影対象エリアを撮影する複数の撮影カメラと、前記複数の撮影カメラの撮影データに基づき、前記撮影対象エリアを俯瞰したエリア俯瞰画像を作成するエリア俯瞰画像作成部と、前記撮影対象エリアに移動自在な車両に搭載された車載装置と通信する通信部と、前記通信部を介して前記車両を俯瞰した車両俯瞰画像を取得する画像取得部と、前記エリア俯瞰画像のうち、前記車両、又は、前記車両以外の撮影障害物の少なくともいずれかによって前記撮影カメラで撮影されない死角領域を補うように、前記エリア俯瞰画像の一部を前記車両俯瞰画像にした合成俯瞰画像を作成する画像処理部と、少なくとも前記合成俯瞰画像を出力する画像出力部とを備えることを特徴とする。

上記構成において、前記画像処理部は、前記エリア俯瞰画像と前記車両俯瞰画像とを比較することによって、前記エリア俯瞰画像のうち、前記車両俯瞰画像に対応する領域を特定し、特定した領域を、前記車両俯瞰画像に置き換える画像処理を行うことを特徴とする。

上記構成において、前記画像処理部は、前記車両が前記撮影対象エリアに進入する前に作成された前記エリア俯瞰画像と、前記車両が前記所定エリアに進入した後に作成された前記車両俯瞰画像とを比較することによって、前記エリア俯瞰画像のうち、前記車両俯瞰画像に対応する領域を特定することを特徴とする。

上記構成において、前記車両俯瞰画像は、前記車両に搭載された車載カメラの撮影データに基づき作成された画像であり、前記撮影対象エリアには、前記車載カメラで撮影されるマーカーが設けられ、前記画像処理部は、前記車両俯瞰画像中のマーカー位置に基づいて、前記エリア俯瞰画像のうち、前記車両俯瞰画像に対応する領域を特定し、特定した領域を、前記車両俯瞰画像に置き換える画像処理を行うことを特徴とする。

上記構成において、前記画像出力部は、前記合成俯瞰画像が作成されない場合、前記エリア俯瞰画像を出力することを特徴とする。

また、画像作成装置の制御方法において、エリア俯瞰画像作成部が、撮影対象エリアを撮影する複数の撮影カメラの撮影データに基づき、前記撮影対象エリアを俯瞰したエリア俯瞰画像を作成し、画像取得部が、前記撮影対象エリアに移動自在な車両に搭載された車載装置と通信する通信部を介して前記車両を俯瞰した車両俯瞰画像を取得し、画像処理部が、前記エリア俯瞰画像のうち、前記車両、又は、前記車両以外の撮影障害物の少なくともいずれかによって前記撮影カメラで撮影されない死角領域を補うように、前記エリア俯瞰画像の一部を前記車両俯瞰画像にした合成俯瞰画像を作成し、画像出力部が、少なくとも前記合成俯瞰画像を出力することを特徴とする。

上記方法において、前記画像処理部は、前記エリア俯瞰画像と前記車両俯瞰画像とを比較することによって、前記エリア俯瞰画像のうち、前記車両俯瞰画像に対応する領域を特定し、特定した領域を、前記車両俯瞰画像に置き換える画像処理を行うことを特徴とする。

上記方法において、前記画像処理部は、前記車両が前記撮影対象エリアに進入する前に作成された前記エリア俯瞰画像と、最新の前記車両俯瞰画像とが重なる領域を特定し、特定した領域を、前記車両俯瞰画像に置き換えることによって前記合成俯瞰画像を作成することを特徴とする。

上記方法において、前記車両俯瞰画像は、前記車両に搭載された車載カメラの撮影データに基づき作成された画像であり、前記撮影対象エリアには、前記車載カメラで撮影されるマーカーが設けられ、前記画像処理部は、前記車両俯瞰画像中のマーカー位置に基づいて、前記エリア俯瞰画像のうち、前記車両俯瞰画像に対応する領域を特定し、特定した領域を、前記車両俯瞰画像に置き換える画像処理を行うことを特徴とする。

上記方法において、前記画像出力部は、前記合成俯瞰画像が作成されない場合、前記エリア俯瞰画像を出力することを特徴とする。

本発明によれば、複数の撮影カメラ及び車載カメラを有効に活用し、かつ、監視や防犯に有利な画像を得ることが可能になる。

本発明の第１実施形態に係る画像作成システムをセキュリティシステムとして利用する住宅を上方から模式的に示した図である。 車両が撮影カメラの撮影障害物となる場合の説明に供する図である。 画像作成システムの構成を示すブロック図である。 車両俯瞰画像を示した図である。 画像作成装置の動作を示すフローチャートである。 車両が敷地に進入した場合の説明に供する図である。 符号Ａは車両が敷地に進入した直後の俯瞰画像を示し、符号Ｂは車両が駐車スペースに駐車した時の俯瞰画像を示した図である。 符号Ａ’は図７の符号Ａの場合に作成される合成俯瞰画像図を示し、符号Ｂ’は図７の符号Ｂの場合に作成される合成俯瞰画像図を示した図である。 合成俯瞰画像を侵入者と共に示した図である。 本発明の第２実施形態に係る画像作成システムをセキュリティシステムとして利用する住宅を上方から模式的に示した図である。 符号Ａは、住宅及び車庫を敷地と共に上方から示し、符号Ｂは車庫を側方から示した図である。 合成俯瞰画像を侵入者と共に示した図である。 車庫の両側が壁の場合の画像作成システムの構成例を示した図である。

以下、図面を参照して本発明の実施の形態について説明する。
（第１実施形態）
図１は本発明の第１実施形態に係る画像作成システム１をセキュリティシステムとして利用する住宅２を上方から模式的に示した図である。
近年、車両に対し、前後左右をそれぞれ撮影する複数の撮影カメラを設置し、各撮影カメラの撮影画像を視点変換して合成等することによって、あたかも車両の上方にカメラを設置して真下を見下ろした俯瞰画像を作成する技術が登場している。

本構成の画像作成システム１は、上記技術を利用した画像作成装置１１を備えている。この画像作成装置１１は、図１に示すように、住宅２の周囲を撮影する複数の撮影カメラ１２を備え、各撮影カメラ１２の撮影画像に基づいて住宅２を上方から見下ろしたエリア俯瞰画像ＧＨ（後述する図７）を作成する。

図１には、４台の撮影カメラ１２を設置する場合を示しているが、撮影対象エリアＸである住宅２の敷地（以下、敷地Ｘ）全体を撮影可能に撮影カメラ１２を配置すればよく、撮影カメラ１２の位置や台数は適宜に変更すればよい。
図１中、符号３は、敷地Ｘ内に移動自在な車両を示し、符号２Ｐは、敷地Ｘ内の駐車スペースを示している。また、符号ＸＭは、敷地Ｘ内に侵入した侵入者を示している。

住宅２を敷地Ｘと共に上方から見下ろしたエリア俯瞰画像ＧＨを表示することによって、各撮影カメラ１２の撮影画像を別々に表示する場合と比べ、侵入者ＸＭが侵入したことを見易く表示できる、といったメリットが得られる。
例えば、住人等が視覚で侵入者ＸＭを見つける場合、各撮影カメラ１２の撮影画像を別々に表示する場合と比べ、画像数を低減できると共に画像サイズを大型化できる分、侵入者ＸＭを見つけ易くなる。仮に、コンピューターを用いて侵入者ＸＭを画像認識する場合も、エリア俯瞰画像ＧＨを用いた方が、各撮影カメラ１２の撮影画像を用いる場合と比べ、演算量を低減できる。

エリア俯瞰画像ＧＨを使用することで上記メリットが得られるものの、図２に示すように、車両３が駐車スペース２Ｐに移動した場合、車両３が撮影カメラ１２の撮影障害物となり、敷地Ｘ内に撮影できない死角領域ＸＤが発生し、死角領域ＸＤ内の侵入者ＸＭを撮影できなくなる。
そこで、本実施形態では、エリア俯瞰画像ＧＨのメリットを得ながら、死角領域ＸＤの侵入者ＸＭを撮影すべく、画像作成システム１を次のように構成している。

図３は画像作成システム１の構成を示すブロック図である。
画像作成システム１は、画像作成装置１１に加え、車両３に搭載される車載装置２１とで構成される。
車載装置２１は、車両３の俯瞰画像を得るのに必要な複数の車載カメラ２２を備えている。これら車載カメラ２２は、車両３に搭載され、車両３の前後左右の画像をそれぞれ撮影するカメラであり、いわゆる前方カメラ、左側方カメラ、右側方カメラ、及び後方カメラからなる４つのカメラで構成される。

車載装置２１は、更に、車両俯瞰画像作成部２３と、車両側通信部２４と、車両側制御部２５とを備えている。車両俯瞰画像作成部２３は、車両側制御部２５の制御の下、各車載カメラ２２の撮像画像を合成することで、車両３をその周囲と共に上方から見下ろした俯瞰画像である車両俯瞰画像ＧＣをリアルタイムに作成する。この車両俯瞰画像ＧＣは、例えば、車両３の前後左右の撮像画像を視点変換して合成することによって作成され、あたかも車両３の上方にカメラを設置して真下を見下ろした画像を画像処理によって再現した画像である。なお、車両俯瞰画像ＧＣを作成する処理は公知の処理を広く適用可能である。
ここで、図４は車両俯瞰画像ＧＣを示した図である。図４には複数の車載カメラ２２の位置も示している。

図３に戻り、車両側通信部２４は、画像作成装置１１と通信を行うための通信モジュールを有し、車両側制御部２５の制御の下、画像作成装置１１との間で各種の情報を通信する。この車両側通信部２が有する通信モジュールには、Ｂｌｕｅｔｏｏｔｈ（登録商標）又は、無線ＬＡＮ等の公知の近距離無線通信モジュールが適用される。

車両側制御部２５は、ＣＰＵ及び周辺回路で構成され、車載装置２１の各部を制御するコンピュータとして機能する。また、車両側制御部２５は、車両側通信部２４を介して受信した画像作成装置１１からの各種指示に基づいて、車両俯瞰画像ＧＣを作成させ、車両側通信部２４を介して画像作成装置１１に継続して送信する機能を有している。
なお、車両側制御部２５の機能は上記機能に限定されず、例えば、車両３内に配置された表示デバイスに、各車載カメラ２２の撮影画像、又は車両俯瞰画像ＧＣを表示させる機能を有してもよい。車両俯瞰画像ＧＣは、図４に示すように、車両３をその周囲と共に表示した画像であるので、車両３内の運転者が車両３の前後左右に存在する障害物を容易に視認可能になり、駐車時等に好適な画像となる。また、この車両側制御部２５がカーナビゲーション機能や音楽再生機能等の公知の車載装置が有する各種の機能を有してもよい。

画像作成装置１１は、複数の撮影カメラ１２と、エリア俯瞰画像作成部１３と、通信部１４と、画像処理部１５と、画像出力部１６と、表示部１７とを備えている。
エリア俯瞰画像作成部１３は、各撮影カメラ１２の撮像画像を合成することで、敷地Ｘを上方から見下ろしたエリア俯瞰画像ＧＨをリアルタイムに作成する。このエリア俯瞰画像ＧＨを作成する処理は、公知の車両俯瞰画像を作成する処理と同様の処理が適用される。
通信部１４は、車載装置２１と通信を行うための通信モジュールを有し、画像処理部１５の制御の下、車載装置２１との間で各種の情報を通信する。この通信部１４は、車両側通信部２４と同じ近距離無線通信で車載装置２１と通信を行う。

画像処理部１５は、ＣＰＵ及び周辺回路で構成され、各種の画像処理を行う。この画像処理部１５は、エリア俯瞰画像ＧＨと車両俯瞰画像ＧＣとを比較する処理を行う画像比較部１５Ａと、画像比較部１５Ａの比較結果に基づいてエリア俯瞰画像ＧＨと車両俯瞰画像ＧＣとを合成した合成俯瞰画像ＧＨＡ（後述する図８）を作成する画像処理を行う画像合成制御部１５Ｂとを有している。
なお、画像合成制御部１５Ｂは、画像作成装置１１の各部を制御するコンピュータとしても機能する。また、画像合成制御部１５Ｂは、通信部１４を介して車両俯瞰画像ＧＣを取得する画像取得部１５Ｃを有している。

画像処理部１５は、画像合成制御部１５Ｂの制御の下、合成俯瞰画像ＧＨＡを作成した場合、合成俯瞰画像ＧＨＡを画像出力部１６に出力する。また、画像処理部１５は、車両俯瞰画像ＧＣを入力しない場合、エリア俯瞰画像ＧＨを画像出力部１６に出力する。
この画像処理部１５は、車両俯瞰画像ＧＣを一時的に格納する画像メモリを有している。画像メモリには、少なくとも現時点から所定時間前（例えば数秒から数分前）までに入力した車両俯瞰画像ＧＣが格納される。

画像出力部１６は、入力した画像を所定フォーマットの映像信号に変換し、表示部１７に出力する。表示部１７は、その映像信号に対応する画像を表示する表示デバイスであり、例えば、液晶表示装置である。これによって、表示部１７は、合成俯瞰画像ＧＨＡに対応する画像、又はエリア俯瞰画像ＧＨに対応する画像を表示する。
なお、画像出力部１６の出力先は、表示部１７に限定されない。例えば、画像を録画する録画デバイス、又は、画像認識技術を利用して侵入者ＸＭを自動的に検出する画像認識デバイスでもよい。また、セキュリティ会社が住宅２を遠隔監視する場合、画像出力部１６が公衆の通信回線を介してセキュリティ会社に画像を出力してもよい。また、画像出力部１６が画像認識技術を利用して侵入者ＸＭを検出する画像認識機能を有し、画像認識結果を表示又は音声等で報知する構成でもよい。

図５は画像作成装置１１の動作を示すフローチャートである。
ステップＳ１において、画像作成装置１１の画像合成制御部１５Ｂは、エリア俯瞰画像作成部１３によってエリア俯瞰画像ＧＨを作成させ、作成されたエリア俯瞰画像ＧＨを一定期間分、画像メモリに保存する処理を開始する。
ステップＳ２において、画像合成制御部１５Ｂは、車両３が敷地Ｘに進入したか否かを検出する処理を開始する。この場合、画像合成制御部１５Ｂは、通信部１４の通信エリア内に車載装置２１が入り、画像作成装置１１と車載装置２１とが通信接続した場合に、車両３が敷地Ｘに進入したと判定する。このステップＳ２の処理は上記処理に限定されず、エリア俯瞰画像ＧＨの画像解析による動体検知によって車両３が敷地Ｘに進入したか否かを判定してもよい。

車両３が敷地Ｘに進入していない場合（ステップＳ２；ＮＯ）、画像合成制御部１５Ｂは、ステップＳ３の処理に移行する。ステップＳ３において、画像合成制御部１５Ｂは、エリア俯瞰画像作成部１３によってエリア俯瞰画像ＧＨを画像出力部１６に出力し、表示部１７に、エリア俯瞰画像ＧＨに対応する画像を表示させる。

一方、車両３が敷地Ｘに進入した場合（ステップＳ２；ＮＯ）、画像合成制御部１５Ｂは、ステップＳ４の処理に移行する。例えば、図６に示すように、車両３の一部が敷地Ｘ内であることを検出すると、ステップＳ４の処理に移行する。
図５に戻り、ステップＳ４において、画像合成制御部１５Ｂは、画像取得部１５Ｃにより、通信部１４を介して車載装置２１に車両俯瞰画像ＧＣを要求することにより、車載装置２１側で車両俯瞰画像ＧＣが作成及び送信され、通信部１４を介して車両俯瞰画像ＧＣを受信する。

ステップＳ５において、画像合成制御部１５Ｂは、画像比較部１５Ａによりエリア俯瞰画像ＧＨと車両俯瞰画像ＧＣとを比較させることにより、エリア俯瞰画像ＧＨのうち、車両俯瞰画像ＧＣに対応する領域を特定する処理を開始する。
この処理の一例を説明する図として、図７に、車両３が住宅２の敷地Ｘに進入した直後の俯瞰画像ＧＨ、ＧＣを符号Ａで示し、車両３が駐車スペース２Ｐに駐車した時の俯瞰画像ＧＨ、ＧＣを符号Ｂで示している。

ここで、エリア俯瞰画像ＧＨのうち、車両俯瞰画像ＧＣに対応する領域を画像比較によって特定する方法には、エリア俯瞰画像ＧＨと車両俯瞰画像ＧＣとが重なる領域を特定する方法がある。
しかし、例えば、図７の特に符号Ａに示す俯瞰画像ＧＨ、ＧＣの場合、最新のエリア俯瞰画像ＧＨには車両３の影響による死角領域ＸＤが発生しているので、俯瞰画像ＧＨ、ＧＣが重なる領域を特定し難くなるおそれが生じる。

そこで、本実施形態では、画像比較部１５Ａが、上記死角領域ＸＤが存在しない過去のエリア俯瞰画像ＧＨを画像メモリから読み出し、過去のエリア俯瞰画像ＧＨと、最新の車両俯瞰画像ＧＣとを比較することによって、俯瞰画像ＧＨ、ＧＣが重なる領域を特定する。これによって、エリア俯瞰画像ＧＨのうち、車両俯瞰画像ＧＣに対応する領域を容易に特定し易くなる。

なお、図７の符号Ｂに示すように、エリア俯瞰画像ＧＨと車両俯瞰画像ＧＣとが重なる領域が相対的に広い場合、画像メモリ内の過去のエリア俯瞰画像ＧＨを用いることなく、最新のエリア俯瞰画像ＧＨと最新の車両俯瞰画像ＧＣとの画像比較だけで、各俯瞰画像ＧＨ、ＧＣが重なる領域を特定してもよい。

図５に戻り、ステップＳ６において、画像合成制御部１５Ｂは、最新のエリア俯瞰画像ＧＨに対し、特定した領域を最新の車両俯瞰画像ＧＣに置き換える画像置換処理を行い、合成俯瞰画像ＧＨＡを作成する。
図８に、図７の符号Ａの場合に作成される合成俯瞰画像ＧＨＡを符号Ａ’で示し、図７の符号Ｂの場合に作成される合成俯瞰画像ＧＨＡを符号Ｂ’で示している。なお、説明を判りやすくするため、図７及び図８の画像中には、車両３、住居２等の符号を付している。

図８に示すように、合成俯瞰画像ＧＨＡは、図７に示した死角領域ＸＤを含む領域を、車両俯瞰画像ＧＣに置き換えた画像となっている。なお、ステップＳ６の画像置換処理は、車両俯瞰画像ＧＣとエリア俯瞰画像ＧＨの画像サイズ、解像度、及び傾き等を合わせる処理も含まれる。
このようにして、合成俯瞰画像ＧＨＡは、車両３による死角領域ＸＤのない画像となり、図９に示すように、車両３の影（車両３を基準とした撮影カメラ１２の反対側に相当）に侵入者ＸＭが存在しても、侵入者ＸＭを撮影でき、その侵入者ＸＭを発見できる画像となる。

また、図８及び図９の例では、エリア俯瞰画像ＧＨのうち、車両俯瞰画像ＧＣと重なる領域を全て車両俯瞰画像ＧＣにしているが、少なくとも死角領域ＸＤに対応する領域を車両俯瞰画像ＧＣにしてもよい。
但し、車両俯瞰画像ＧＣの撮影元となる車載カメラ２２は、高画質化、及び高感度化が顕著であり、しかも、エリア俯瞰画像ＧＨの撮影元となる撮影カメラ１２と比べて地面（住宅２の敷地）に近い位置に配置されるので、車載カメラ２２の画像を極力使用した方が、高画質で夜間でもクリアな画像にし易くなる。

図５に戻り、ステップＳ７において、画像合成制御部１５Ｂは、合成処理によって得た合成俯瞰画像ＧＨＡを画像出力部１６に出力し、表示部１７に、合成俯瞰画像ＧＨＡに対応する画像を表示させる。これにより、この画像を見た住人等が侵入者ＸＭを容易に発見し易くなる。

ステップＳ８において、画像合成制御部１５Ｂは、車両３が敷地Ｘ外に移動したか否かを検出する処理を開始し、移動していない場合、エリア俯瞰画像作成部１３が作成した合成俯瞰画像ＧＨＡの表示を継続する。
例えば、通信部１４の通信エリア外に車載装置２１が移動した場合、又は、エリア俯瞰画像ＧＨの画像解析による動体検知によって車両３が敷地Ｘ外に移動した場合に、画像合成制御部１５Ｂは、車両３が敷地Ｘ外に移動したと判定する。

車両３が敷地Ｘ外に移動したと判定すると（ステップＳ８；ＹＥＳ）、画像合成制御部１５Ｂは、ステップＳ９の処理に移行し、画像作成装置１１と車載装置２１との間の通信接続を遮断し、ステップＳ３の処理に移行する。これによって、車両３が敷地Ｘ外に移動すると、表示部１７の表示画像が、合成俯瞰画像ＧＨＡからエリア俯瞰画像ＧＨに対応する画像に自動的に切り替えられる。

以上説明したように、本実施形態の画像作成システム１は、複数の撮影カメラ１２の撮影データに基づきエリア俯瞰画像ＧＨを作成するエリア俯瞰画像作成部１３と、複数の車載カメラ２２の撮影データに基づき車両俯瞰画像ＧＣを作成する車両俯瞰画像作成部２３とを備える。さらに、画像作成システム１は、エリア俯瞰画像ＧＨのうち、撮影カメラ１２で撮影できない死角領域ＸＤを補うように、エリア俯瞰画像ＧＨの一部を車両俯瞰画像ＧＣにした合成俯瞰画像ＧＨＡを作成する画像処理部１５と、少なくとも合成俯瞰画像ＧＨＡを出力する画像出力部１６とを備える。これらにより、複数の撮影カメラ１２及び車載カメラ２２を有効に活用し、かつ、侵入者ＸＭの監視や防犯に有利な画像を得ることができる。

上記合成俯瞰画像ＧＨＡは、エリア俯瞰画像ＧＨの一部を車両俯瞰画像ＧＣに置き換えて作成されるので、高画質及び高感度な車載カメラ２２を用いた場合に、より高画質で、夜間でもクリアな画像を得ることができる。
また、エリア俯瞰画像ＧＨの一部を車両俯瞰画像ＧＣにするので、車両３の影響による死角領域ＸＤだけでなく、駐車スペース２Ｐ周辺の木や岩といった、車両以外の撮影障害物によって撮影カメラ１２で撮影できない死角領域が存在しても、これら死角領域を車両俯瞰画像ＧＣで補うことが可能になる。

また、画像処理部１５は、エリア俯瞰画像ＧＨと車両俯瞰画像ＧＣとを比較することによって、エリア俯瞰画像ＧＨのうち、車両俯瞰画像ＧＣに対応する領域を特定し、特定した領域を、車両俯瞰画像ＧＣに置き換える画像処理を行うので、公知の画像比較の技術を利用して、車両俯瞰画像ＧＣに置き換える位置を特定できる。
しかも、画像処理部１５は、車両３が敷地Ｘに進入前に作成されたエリア俯瞰画像ＧＨと、最新の車両俯瞰画像ＧＣとが重なる領域を特定し、特定した領域を車両俯瞰画像ＧＣに置き換えることによって合成俯瞰画像ＧＨＡを作成するので、車両俯瞰画像ＧＣに置き換える位置を容易に特定し易くなる。

さらに、合成俯瞰画像ＧＨＡが作成された場合、合成俯瞰画像ＧＨＡを出力し、合成俯瞰画像ＧＨＡが作成されない場合、エリア俯瞰画像ＧＨを出力する画像出力部１６を有しているので、侵入者ＸＭの監視や防犯に有利な画像を継続して出力することができる。
また、画像処理部１５は、エリア俯瞰画像ＧＨの画像解析による動体検知によって車両３が敷地Ｘに進入したか否かを判定することで、車両３が敷地Ｘに進入したか否かを高精度に検出できる。

（第２実施形態）
図１０は本発明の第２実施形態に係る画像作成システム１をセキュリティシステムとして利用する住宅２を上方から模式的に示した図である。以下、第１実施形態と異なる点を説明する。
第２実施形態では、駐車スペース２Ｐに、車庫５１が設置されている。この場合、車庫５１が撮影カメラ１２の撮影障害物となり、敷地Ｘ内に撮影できない死角領域ＸＤが発生し、死角領域ＸＤ内の侵入者ＸＭを撮影できなくなる。
車庫１の場合、死角領域ＸＤの領域が相対的に広くなるため、第１実施形態のステップＳ５に記述した比較処理では、エリア俯瞰画像ＧＨのうち、車両俯瞰画像ＧＣに対応する領域を特定できないおそれがある。

そこで、本実施形態では、図１１に示すように、車庫５１の領域に、車載カメラ２２で撮影される複数のマーカー５３を配置している。ここで、図１１の符号Ａは、住宅２及び車庫５１を敷地Ｘと共に上方から示した図であり、符号Ｂは、車庫５１を側方から示した図であり、符号５１Ａは車庫５１の柱、符号５１Ｂは車庫５１の屋根である。

マーカー５３は、車庫５１の屋根５１Ｂ下方の床面に設置され、この車庫５１に駐車する際に、車両３が有する車載カメラ２２によって撮影される。マーカー５３は、撮影画像から識別可能な範囲で公知のマーカーを広く適用でき、例えば、画像で判断できるパターンシールや、ＬＥＤ等の光を発する構成でもよい。
各マーカー５３の位置は、エリア俯瞰画像ＧＨ上の座標に変換されて画像作成装置１１に予め記憶されている。なお、マーカー５３の数や位置は適宜に変更してもよい。

第２実施形態では、図５に示すフローチャートのステップＳ５において、画像合成制御部１５Ｂは、画像比較部１５Ａにより、車両俯瞰画像ＧＣ中のマーカー位置を特定し、マーカー位置に基づいて、エリア俯瞰画像ＧＨのうち、車両俯瞰画像ＧＣに対応する領域を特定する処理を開始する。
この場合、画像合成制御部１５Ｂは、車両俯瞰画像ＧＣ中のマーカー位置を、エリア俯瞰画像ＧＨ上の座標に当てはめることで、エリア俯瞰画像ＧＨのうち、車両俯瞰画像ＧＣに対応する領域を容易に特定することができる。そして、ステップＳ６において、画像合成制御部１５Ｂは、最新のエリア俯瞰画像ＧＨに対し、特定した位置に最新の車両俯瞰画像ＧＣを合成する合成処理を行うことによって、合成俯瞰画像ＧＨＡを作成することができる。

図１２に合成俯瞰画像ＧＨＡの一例を示している。
合成俯瞰画像ＧＨＡは、マーカー位置に基づいてエリア俯瞰画像ＧＨに車両俯瞰画像ＧＣを合成した画像であるので、図１２に示すように、車庫５１による死角領域ＸＤ（図９参照）のない画像を表示できる。したがって、図１２に示すように、車庫５１の影に侵入者ＸＭが存在しても、侵入者ＸＭを撮影でき、その侵入者ＸＭを容易に発見可能な画像となる。
これにより、撮影カメラ１２の撮影障害物となる車庫５１が設置されていても、複数の撮影カメラ１２及び車載カメラ２２を有効に活用し、かつ、侵入者ＸＭの監視や防犯に有利な画像を得ることができる。

なお、車庫５１が片側支持のカーポートの場合を例示したが、少なくとも両側が壁の車庫でもよい。但し、車庫５１の両側が壁の場合、車庫５１を基準として撮影カメラ１２の反対側に、撮影カメラ１２で撮影できない死角領域が発生する。この死角領域を回避するために、図１３に示すように、車庫５１に、撮影カメラ１２で撮影できない死角領域を撮影する別の撮影カメラ１２Ａを追加することが好ましい。この場合、撮影カメラ１２Ａの撮影画像を、各撮影カメラ１２の撮影画像に合成してエリア俯瞰画像ＧＨを作成するようにすることで、撮影カメラ１２で撮影できない死角領域を含むエリア俯瞰画像ＧＨ、及び合成俯瞰画像ＧＨＡを得ることができる。

上述の実施形態は、あくまでも本発明の一実施の態様を例示するものであって、本発明の趣旨を逸脱しない範囲で任意に変形、及び応用が可能である。
例えば、図３に示す画像作成装置１１及び車載装置２１の各構成要素は、ハードウェアとソフトウェアの協働等により任意に実現可能である。また、図５に示すフローチャートについても、各ステップに対応する処理を分割してもよいし、併合してもよい。

また、上述の実施形態では、図３に示す画像作成システム１、画像作成装置１１及び画像作成装置１１の制御方法に本発明を適用する場合を説明したが、本発明は上記態様に限定されない。例えば、車載装置２１の一部（例えば、車両俯瞰画像作成部２３）が画像作成装置１１側にあってもよい。また、画像作成システム１を、画像処理や制御等の処理をネットワーク上で行うクラウドを採用したシステムで構成してもよい。また、本発明の画像作成システム１を住宅以外のセキュリティシステム等に利用してもよい。

１ 画像作成システム
２ 住宅
２Ｐ 駐車スペース
３ 車両
１１ 画像作成装置
１２ 撮影カメラ
１４ 通信部
１５ 画像処理部
１５Ａ 画像比較部
１５Ｂ 画像合成制御部
１５Ｃ 画像取得部
１６ 画像出力部
１７ 表示部
２１ 車載装置
２２ 車載カメラ
２３ 車両俯瞰画像作成部
２４ 車両側通信部
２５ 車両側制御部
５１ 車庫
５１Ａ 車庫の柱
５１Ｂ 車庫の屋根
５３ マーカー
ＧＣ 車両俯瞰画像
ＧＨ エリア俯瞰画像
ＧＨＡ 合成俯瞰画像
Ｘ 敷地（撮影対象エリア）
ＸＤ 死角領域
ＸＭ 侵入者

Claims (15)

1. 撮影対象エリアを撮影する複数の撮影カメラと、
   前記撮影対象エリアに移動自在な車両に搭載されて前記車両の周囲を撮影する複数の車載カメラと、
   前記複数の撮影カメラの撮影データに基づき、前記撮影対象エリアを俯瞰したエリア俯瞰画像を作成するエリア俯瞰画像作成部と、
   前記複数の車載カメラの撮影データに基づき、前記車両を俯瞰した車両俯瞰画像を作成する車両俯瞰画像作成部と、
   前記エリア俯瞰画像のうち、前記車両、又は、前記車両以外の撮影障害物の少なくともいずれかによって前記撮影カメラで撮影されない死角領域を補うように、前記エリア俯瞰画像の一部を前記車両俯瞰画像にした合成俯瞰画像を作成する画像処理部と、
   少なくとも前記合成俯瞰画像を出力する画像出力部と、
   を備えることを特徴とする画像作成システム。
2. 前記画像処理部は、前記エリア俯瞰画像と前記車両俯瞰画像とを比較することによって、前記エリア俯瞰画像のうち、前記車両俯瞰画像に対応する領域を特定し、特定した領域を、前記車両俯瞰画像に置き換える画像処理を行うことを特徴とする請求項１に記載の画像作成システム。
3. 前記画像処理部は、前記車両が前記撮影対象エリアに進入する前に作成された前記エリア俯瞰画像と、最新の前記車両俯瞰画像とが重なる領域を特定し、特定した領域を、前記車両俯瞰画像に置き換えることによって前記合成俯瞰画像を作成することを特徴とする請求項２に記載の画像作成システム。
4. 前記撮影対象エリアには、前記車載カメラで撮影されるマーカーが設けられ、
   前記画像処理部は、前記車両俯瞰画像中のマーカー位置に基づいて、前記エリア俯瞰画像のうち、前記車両俯瞰画像に対応する領域を特定し、特定した領域を、前記車両俯瞰画像に置き換える画像処理を行うことを特徴とする請求項１に記載の画像作成システム。
5. 前記画像出力部は、前記合成俯瞰画像が作成されない場合、前記エリア俯瞰画像を出力することを特徴とする請求項１から４のいずれかに記載の画像作成システム。
6. 撮影対象エリアを撮影する複数の撮影カメラと、
   前記複数の撮影カメラの撮影データに基づき、前記撮影対象エリアを俯瞰したエリア俯瞰画像を作成するエリア俯瞰画像作成部と、
   前記撮影対象エリアに移動自在な車両に搭載された車載装置と通信する通信部と、
   前記通信部を介して前記車両を俯瞰した車両俯瞰画像を取得する画像取得部と、
   前記エリア俯瞰画像のうち、前記車両、又は、前記車両以外の撮影障害物の少なくともいずれかによって前記撮影カメラで撮影されない死角領域を補うように、前記エリア俯瞰画像の一部を前記車両俯瞰画像にした合成俯瞰画像を作成する画像処理部と、
   少なくとも前記合成俯瞰画像を出力する画像出力部と、
   を備えることを特徴とする画像作成装置。
7. 前記画像処理部は、前記エリア俯瞰画像と前記車両俯瞰画像とを比較することによって、前記エリア俯瞰画像のうち、前記車両俯瞰画像に対応する領域を特定し、特定した領域を、前記車両俯瞰画像に置き換える画像処理を行うことを特徴とする請求項６に記載の画像作成装置。
8. 前記画像処理部は、前記車両が前記撮影対象エリアに進入する前に作成された前記エリア俯瞰画像と、最新の前記車両俯瞰画像とが重なる領域を特定し、特定した領域を、前記車両俯瞰画像に置き換えることによって前記合成俯瞰画像を作成することを特徴とする請求項７に記載の画像作成装置。
9. 前記車両俯瞰画像は、前記車両に搭載された車載カメラの撮影データに基づき作成された画像であり、
   前記撮影対象エリアには、前記車載カメラで撮影されるマーカーが設けられ、
   前記画像処理部は、前記車両俯瞰画像中のマーカー位置に基づいて、前記エリア俯瞰画像のうち、前記車両俯瞰画像に対応する領域を特定し、特定した領域を、前記車両俯瞰画像に置き換える画像処理を行うことを特徴とする請求項６に記載の画像作成装置。
10. 前記画像出力部は、前記合成俯瞰画像が作成されない場合、前記エリア俯瞰画像を出力することを特徴とする請求項６から９のいずれかに記載の画像作成装置。
11. エリア俯瞰画像作成部が、撮影対象エリアを撮影する複数の撮影カメラの撮影データに基づき、前記撮影対象エリアを俯瞰したエリア俯瞰画像を作成し、
    画像取得部が、前記撮影対象エリアに移動自在な車両に搭載された車載装置と通信する通信部を介して前記車両を俯瞰した車両俯瞰画像を取得し、
    画像処理部が、前記エリア俯瞰画像のうち、前記車両、又は、前記車両以外の撮影障害物の少なくともいずれかによって前記撮影カメラで撮影されない死角領域を補うように、前記エリア俯瞰画像の一部を前記車両俯瞰画像にした合成俯瞰画像を作成し、
    画像出力部が、少なくとも前記合成俯瞰画像を出力する
    ことを特徴とする画像作成装置の制御方法。
12. 前記画像処理部は、前記エリア俯瞰画像と前記車両俯瞰画像とを比較することによって、前記エリア俯瞰画像のうち、前記車両俯瞰画像に対応する領域を特定し、特定した領域を、前記車両俯瞰画像に置き換える画像処理を行うことを特徴とする請求項１１に記載の画像作成装置の制御方法。
13. 前記画像処理部は、前記車両が前記撮影対象エリアに進入する前に作成された前記エリア俯瞰画像と、最新の前記車両俯瞰画像とが重なる領域を特定し、特定した領域を、前記車両俯瞰画像に置き換えることによって前記合成俯瞰画像を作成することを特徴とする請求項１２に記載の画像作成装置の制御方法。
14. 前記車両俯瞰画像は、前記車両に搭載された車載カメラの撮影データに基づき作成された画像であり、
    前記撮影対象エリアには、前記車載カメラで撮影されるマーカーが設けられ、
    前記画像処理部は、前記車両俯瞰画像中のマーカー位置に基づいて、前記エリア俯瞰画像のうち、前記車両俯瞰画像に対応する領域を特定し、特定した領域を、前記車両俯瞰画像に置き換える画像処理を行うことを特徴とする請求項１１に記載の画像作成装置の制御方法。
15. 前記画像出力部は、前記合成俯瞰画像が作成されない場合、前記エリア俯瞰画像を出力することを特徴とする請求項１１から１４のいずれか一項に記載の画像作成装置の制御方法。

Images