JP2011077982A - 監視カメラシステム - Google Patents

Abstract

【課題】監視カメラシステムにおける遮蔽物画像処理を行う。
【解決手段】対応座標関係蓄積部で蓄積されている座標関係を用いて、第２の撮像画像蓄積部で蓄積されている画像に対して視点を変換した画像を生成する視点変換画像生成部１０６と、画像表示部１０２で表示されている画像と、前記ユーザ画面指定部１０３で指定された画面の位置から、視点変換画像生成部１０６で生成された画像と、第１の撮像画像蓄積手段１０１で蓄積されている画像の合成度合いを決定する画像合成度合決定部１０７と、画像合成度合決定部１０７で決定された画像の合成度合を用いて、視点変換画像生成部１０６で生成された画像と、第１の撮像画像蓄積手段１０１で蓄積されている画像の合成する画像合成部１０８とを備える。
【選択図】図１

Description

本発明は、複数の撮像装置で取得した画像を用いて、ある一つの撮像装置では、遮蔽物によって撮像できないときに、別の撮像装置で取得できた画像の視点を変換した画像と、合成することで、遮蔽物の先にある対象物を表示することができる表示装置を提供するものである。

従来、監視カメラシステムにおいては、複数のカメラによって撮影された画像を１つの画面に表示していた。さらに、各カメラの画像に対して重要度が付与され、その順位のもとに監視カメラの画像が表示されていた（例えば、特許文献１）。

特開2008-278368号公報

近年、撮像装置の低価格化にともない、複数のカメラが一般家庭でも設置され、一般ユーザが監視カメラシステムで家の治安を確認できるようになってきた。従来までの監視システムのように、画面上に複数の視点からの画像を表示されても、一般ユーザは、その画像がどこを撮影している画像なのか、直感的に、判別できないことが多い。そこで、例えば、屋根の上から、家屋を眺めたときの画像に、撮像されている画像の視点を変換することで、ユーザは容易に、家の周囲の状況を確認できるようになる。

しかしながら、既に設置されたカメラの前に車両等の遮蔽物が存在した場合には、ユーザは、遮蔽物の先の画像を確認できなくなってしまう。そこで、本願発明においては、家屋の周囲を監視するカメラシステムにおいて、遮蔽物が存在した場合には、他のカメラで撮影された画像の視点を変換することで、遮蔽物の先の画像を生成し、シースルー画像でユーザに画像を提供することで、容易に、家屋の周囲の状況を確認できるシステムを提供するものである。

上記目的を達成するために、本発明では、複数の撮像装置によって撮影された画像を合成して出力する監視カメラシステムにおいて、
第１の撮像装置によって撮影された画像が蓄積される第１の撮像画像蓄積手段と、
第１の撮像装置とは異なる地点に設置された撮像装置によって撮影された画像が蓄積される第２の撮像画像蓄積手段と、
前記第１の撮像画像蓄積手段で蓄積されている画像から遮蔽物の領域を検出する遮蔽領域検出手段と、
前記遮蔽領域検出手段で検出された遮蔽物の領域に応じて第１の撮像画像蓄積手段で蓄積されている画像の合成に利用する度合いを決定する画像合成度合決定手段と、
前記第１の撮像画像蓄積手段で蓄積される画像の座標と、前記第２の撮像画像蓄積手段で蓄積される画像の座標との対応関係を蓄積する対応座標関係蓄積手段と、
前記座標対応関係蓄積手段で蓄積されている座標の対応関係と、前記第２の撮像画像蓄積手段で蓄積されている画像とを用いて、前記第１の撮像画像蓄積手段で蓄積されている画像の視点からの画像を生成する視点変換画像生成手段と、
前記視点変換画像生成手段で生成された画像と、前記第１の撮像画像蓄積手段で蓄積されている画像とを用いて、前記画像合成度合決定手段で決定された画像の合成度合に基づいて画像を合成する画像合成手段と、
前記画像合成手段で合成した画像を表示する画像表示手段と
を備えるシステムである。

この構成によると、遮蔽物が検出された場合においても、その遮蔽物のさえぎられた被写体の存在を確認することができるようになる。特に、セキュリティシステムに利用する監視カメラシステムにおいては、不審者等を容易に確認することができるようになる。

本発明の画像合成装置によれば、家屋の周囲を監視するカメラシステムにおいて、遮蔽物が存在した場合には、他のカメラで撮影された画像の視点を変換することで、遮蔽物の先の画像を生成し、シースルー画像でユーザに画像を提供することで、容易に、家屋の周囲の状況を確認できるシステムを提供するものである。

本発明の実施の形態１におけるシステム構成の図 本発明の実施の形態１におけるハードウエア構成の図 遮蔽物がない場合に画像の対応関係の説明図 遮蔽物がある場合に画像の対応関係の説明図 遮蔽物領域の割合の説明図 対応画像関係蓄積部の内容の図 被写体の撮像画像の例図 座標の対応関係の説明図 座標の対応関係の表図 表示された画像に対するユーザの指示位置の図 画像の合成度合による変化の図 両方の画像に遮蔽物が存在した場合の図 遮蔽物を除去して合成する場合の図 画像合成度合決定部の詳細なシステム構成の図 遮蔽物の存在前後の撮像画像の履歴の図 撮像画像の履歴の説明図 画像の矩形領域とその日時の図 ユーザ指定位置によって表示される画像が異なる図 実施の形態１のフローチャート ３つのカメラのハードウエアの図 ３カメラの対応座標の図 ３カメラの遮蔽物のある場合の図 ３カメラの合成の説明図 奥行きがある立体物の概念図 各カメラで撮影される画像の図 カメラ１の画像に対するユーザの座標指定の図 カメラ２の画像に対するユーザの座標指定の図 カメラ３の画像に対するユーザの座標指定の図 家屋の周辺に設置されたカメラの図 家屋の正面画像に対するユーザの座標指定の図 トップビューのための家屋の周辺に設置されたカメラの図 トップビュー画像に対するユーザの座標指定の図

（実施の形態１）
第１の実施の形態のシステム構成の例を図１に示す。図１において、１０１は第１の撮像装置で撮像し、撮像した画像を蓄積する第1の撮像画像蓄積部、１０２は第１の撮像画像蓄積部１０１で蓄積されている画像を表示する画像表示部、１０３は画像表示部１０２で表示されている画像に対して、ユーザが画面の一部を指定する入力を受け付けるユーザ画面指定受付部、１０４は第１の撮像装置とは異なる地点に設置された撮像装置によって撮影された画像が蓄積される第２の撮像画像蓄積部、１０５は第１の撮像画像蓄積部で蓄積されている画像と第２の撮像画像蓄積部で蓄積されている画像に対して、設置されている撮像装置の位置、方向に応じて撮像装置で撮影される画像の対応関係に対して、それらの画像間での対応座標関係を蓄積している対応座標関係蓄積部、１０６は対応座標関係蓄積部で蓄積されている座標関係を用いて、第２の撮像画像蓄積部で蓄積されている画像に対して視点を変換した画像を生成する視点変換画像生成部、１０７は画像表示部１０２で表示されている画像と、前記ユーザ画面指定部１０３で指定された画面の位置から、視点変換画像生成部１０６で生成された画像と、第１の撮像画像蓄積手段１０１で蓄積されている画像の合成度合いを決定する画像合成度合決定部、１０８は画像合成度合決定部１０７で決定された画像の合成度合を用いて、視点変換画像生成部１０６で生成された画像と、第１の撮像画像蓄積手段１０１で蓄積されている画像の合成する画像合成部から構成される画像合成システムである。

次に、画像合成システムが動作するハードウエア構成例を、図２を用いて説明する。図２においては、カメラＡ〜カメラＥの５台のカメラによって、被写体が撮影されるシステムとなっている。各撮像装置は、ＣＣＤやＣＭＯＳセンサ等のイメージセンサと、イメージセンサからの出力をデジタル信号に変換するモジュールで構成されている。さらに、各撮像装置で生成された画像のデジタル信号がＰＣ等で構成される画像処理装置へ入力される。この画像処理装置では、ハードディスク等の記憶媒体でデータが蓄積され、さらに、ＣＰＵによって、視点変換、画像合成等の計算処理がなされる。また、画像処理されたデータを、ＶＲＡＭ等を用いて、外部のモニター等の表示装置で出力される構成となっている。

次に、図１の各モジュールの動作について説明する。第１の撮像画像蓄積部１０１では、第１の撮像装置で被写体を撮影し、静止画の画像情報として蓄積する。また、画像情報は、動画情報から各フレームでの静止画像の情報を蓄積してもよい。例えば、640×480ドットからなる画像情報を、各ピクセルのＲＧＢ情報として蓄積する。同様に、第２の撮像画像蓄積部１０４においても、同様の画像情報を蓄積している。図３において、２つの撮像装置で被写体の画像を、異なる角度から撮影している状況を示している。同じ被写体であっても、異なる角度から撮影することで複数の画像情報を取得することができる。例えば、図３において、カメラＡの画像が第１の撮像画像蓄積部１０１で蓄積され、カメラＢの画像が第２の撮像画像蓄積部１０３で蓄積されていることとなる。

画像表示部１０２では、第１の撮像画像蓄積部１０１で蓄積されている画像や、第２の撮像画像蓄積部１０４で蓄積されている画像を用いた合成画像を表示するものである。一般に、テレビやPC用モニターのハードウエアで構成されるものである。

図３では、被写体に対して遮蔽物が存在しなかった。しかしながら、図４に示すように、被写体とカメラＡの間に円筒の遮蔽物が存在した場合には、カメラＡで取得される画像においては、遮蔽物によって、被写体の画像を撮影することができなくなる。さらに、遮蔽物の位置によってカメラＡで取得している画像における遮蔽物の領域が異なる。遮蔽物が撮像装置に近いほど、画像データの中で遮蔽物の占める領域が大きくなる。逆に、遮蔽物が被写体に近いほど、画像データの中で遮蔽物が占める領域が小さくなる。

図５では、遮蔽物が存在する場所によって、第１の撮像装置で撮像される画像における遮蔽物の領域を示している。なお、遮蔽物であるか否かについては、遮蔽物が存在しなかった状況（図３の状況）での被写体の画像と、図４の状況で撮像された画像との差分画像を算出することで、遮蔽物の領域の大きさ、形状を算出することが可能になる。図５の例においては、遮蔽物の領域が全体の画像領域に占める割合を用いて遮蔽物領域割合を算出し、その値が0から1.0までの値で示している。遮蔽物の領域が大きくなると、その撮像装置で取得されている画像によって、ユーザに提供される情報が少なくなる。

本願発明においては、図４のように、第１の撮像装置で取得される画像が遮蔽物によって、被写体の画像情報を取得できないときに、第２の撮像装置で取得されている画像を用いて、被写体によって隠れている画像を生成するものである。第１の撮像装置で取得される画像では、遮蔽物によって被写体の画像を取得することができなくなるが、一方で、第２の撮像装置においては、被写体の画像を取得することができる。そこで、第２の撮像装置で撮像された画像を用いて、第１の撮像装置において遮蔽物によって取得できなくなった画像情報を、第２の撮像装置で取得した画像を用いて補間するものである。

対応関係蓄積部１０５では、複数個、設置された撮像装置において、ある撮像装置の画像が遮蔽物で十分に撮像できなくなった場合に、別のどの撮像装置の画像を用いて補間すればよいかに関する、撮像装置間の関係の情報を記憶している。例えば、図６に示すように、５個設置された撮像装置において、例えば、カメラ１の画像において遮蔽物が存在した場合には、カメラ２、カメラ３の画像を用いて補完できることを示している。同様に、カメラ２の画像であれば、カメラ１、カメラ３で補間することが可能である。一方、カメラ４はカメラ５で相互に補完関係が存在する。さらに、対応座標関係蓄積部１０５では、前記対応関係のある画像間において、その画像間での対応座標関係を蓄積している。図７に示すように、壁等の「あいうえお」という文字が書かれている平面に対して、同じ被写体であっても、撮像装置の位置によって異なる画像が取得される。カメラＢでは、被写体を正面の位置から撮影しているため、「あいうえお」の大きさが同じ大きさとして撮影される。一方で、カメラＡからは、「あ」から順に文字の大きさが小さく撮影される。これは、被写体に対して、撮像するカメラの位置が異なることから生じるものである。一方で、カメラＡで撮影された画像であれば、画像データの座標を変換することにより、カメラＢから撮影された画像のように視点を変換することが可能になる。

例えば、図８に示すように、被写体の平面で長方形であったものが、カメラＢの画像データでは、長方形として撮影される。一方で、カメラＡからは、図８に示すように台形の形で撮影される。そこで、カメラＡで撮影された台形を、カメラＢの長方形へ座標を変換する。カメラＡの台形の内部の点のＲＧＢの色情報を、カメラＢの長方形の内部の点のＲＧＢの色情報に変換する。これにより、カメラＢで撮影することなく、カメラＡで撮影された画像情報を用いて、カメラＡの視点変換画像で代替することが可能になる。

次に、視点変換を行うための座標の変換方法について説明する。カメラＡの台形ＯＡＢＣが、カメラＢの長方形ＯＰＱＲに変換されるものとする。このとき、ＯＡをs: (1-s)に内分する点と、ＯＣをt: (1-t)に内分する点によるＤの位置ベクトルが、ＯＰをs: (1-s)に内分する点Ｇと、ＯＲをt: (1-t)に内分する点によるＳ(u,v)の位置ベクトルに変換されるとする。ここで、Ｇの位置ベクトルはsPで表現される。また、Ｈの位置ベクトルは、sQ+(1-s)Rで表現される。さらに、Ｓの位置ベクトルは、tG+(1-t)Hで表現される。よって、S(u,v)の座標は、O,P,Q,R,の座標と、s,tで表現できることとなり、Ｄの位置ベクトルに対応するＳの座標を算出することができる。すなわち、カメラＡのＯＡＢＣの４点の座標と、カメラＢのＯＰＱＲの４点の座標によって、対応点の座標が算出できることとなる。この対応座標の情報を図９に示すように、対応座標関係蓄積部１０５において、予め蓄積しておく。

なお、対応座標関係蓄積部１０５では、各画像中の座標の対応関係で表現されたものであったが、回転変換、アフィン変換、透過変換等の変数の値で表現してもよい。さらには、画像中の全てのドットの対応関係を蓄積しておくことによる変換式を用いてもよい。

視点変換画像生成部１０６では、対応座標関係蓄積部１０５で蓄積されている座標関係を用いて、第２の撮像画像蓄積部で蓄積されている画像に対して視点を変換した画像を生成する。

ユーザ画面指定受付部１０３では、画像表示部１０２で表示された画像に対して、ユーザにとって、遮蔽物である物体や、ユーザが注目したい物体を、画像が表示されている画面に対して指定したものを受け付ける。例えば、図１０に示すように、第１の撮像画像蓄積部１０１で蓄積されている画像が表示されたときに、ユーザがマウス等のポインティングデバイスを用いて、画面の一部を指定する。図１０では遮蔽物と思われる円筒への指定が受付けられている例である。

画像合成度合決定部１０７では、画像表示部１０２で表示している画像に対して、ユーザ画面指定受付部１０３で受け付けた指示によって、画像の合成度合いを決定する。例えば、図１０に示すように円筒の内部の座標が指定されたときには、円筒部分が表示されている画像の度合いの重みを低下させ、別視点から撮影された画像を視点変換したものの画像の重みを増大させる。この合成度合いにより、図１１に示すように、遮蔽物の透過度を変化させた画像を生成することが可能になる。

画像合成部１０８では、画像合成度合決定部１０７で決定された画像の合成度合に応じて、第１の撮像画像と、視点変換生成部で生成された第２の撮像画像を合成する。画像合成方法としては、例えば、第１の撮像画像の各ドットのＲＧＢ情報と、視点変換された第２の画像情報の各ドットのＲＧＢ情報の重み付平均によって、各ドットのＲＧＢ情報を求めることが可能である。例えば、合成画像が640×480ドットの画像を生成する場合に、ｉ×ｊにおけるＲＧＢ情報を８ビット×３色の情報とするとき、第１の画像のｉ×ｊのＲの８ビットの色情報と、第２の画像のｉ×ｊのＲの８ビットの色情報との重み付平均の計算を利用して算出する。同様にＧ、Ｂの情報も算出する。これにより、第１の画像情報と第２の画像情報を重ね合わせた色で表現された画像を生成することができる。さらに、画像表示部１０２では、ユーザ画面指定受付部１０３で受け付けたユーザ指示に基づき、画像合成部１０８で合成された画像に表示を変更するものである。

なお、本実施例では、図４に示すように、カメラＡの画像に遮蔽物が存在し、カメラＢの画像に遮蔽物が存在しない場合についての動作について説明した。しかしながら、遮蔽物の置かれる場所が被写体の近くづくと、カメラＢにおいても遮蔽物が画像中に存在することとなる。図１２では、カメラＢに遮蔽物が存在した場合の図である。このとき、カメラＢの画像の全てを用いてカメラＡの視点の画像を生成した場合には、合成画像において、座標変換された位置において遮蔽物が存在することとなる。そこで、カメラＢで撮影された画像の被写体が存在する画像のみに対して視点変換を行い、その画像を合成画像として利用することで、画像合成を行う。

具体的には、図１３に示すように、第２の撮像装置で撮影された画像であるカメラＢの画像から、遮蔽物の領域と被写体の領域の分別を行う。さらに、遮蔽物の存在する部分の画像を除去する。そして、遮蔽物の画像領域が除去された画像を用いて、視点変換を行い。合成画像を生成する。この遮蔽物を除去する処理を入れることで、遮蔽物を透過した形式での画像合成を実現することが可能になる。なお、遮蔽物の領域の抽出方法については、第１の撮像装置で撮影した画像から遮蔽物の領域を抽出した方法と同様に、遮蔽物がないときの画像との差分画像を用いることにより生成領域抽出が可能になる。

なお、図１３の例においては、遮蔽物の画像領域と被写体の画像領域が重なっていない場合である。カメラＢにおいても、被写体と遮蔽物が重なり、遮蔽物によって被写体の一部が遮蔽されている場合には、さらに、被写体を撮影した過去の画像を利用して、遮蔽物がなかったときの画像を用いて合成画像に利用することも可能である。

ここで、画像表示部１０２で表示されている画像に対して、ユーザ画面指定受付部１０３で入力されるユーザ入力によって、画像の合成度合いを決定する画像合成度合決定部１０７での処理について、図１４を用いてさらに詳細に説明する。図１４では、図１でのシステム構成に、さらに、画像合成度合い決定部１０７の中で処理されている、物体表示座標蓄積部１４０１と、ユーザ指定物体特定部１４０２がある。各モジュールの処理について述べる。

物体表示座標蓄積部１４０１では、第１の撮像画像蓄積部１０１で蓄積されている画像を画像表示部１０２で表示したときに、表示されている物体ごとの領域に関する情報を蓄積している。具体的には、第１の撮像画像蓄積部１０１においては、所定の撮像装置で撮影された画像の履歴が、画像とその画像が撮影された時刻の情報が組みとして蓄積されている。同様に、第２の撮像画像蓄積部１０４においても、第１の撮像装置とは異なる視点での画像の履歴が蓄積されている。これらの撮像された画像の履歴から、表示されている物体の単位（処理を行う単位、一般的には同一物体）を抽出し、それらの物体の座標を抽出する。これにより、ユーザが画面に対して位置情報を入力したときに、どの物体をユーザが指示しているかを判断する。

図１５に、遮蔽物としての物体AがカメラAのみの写る場合（１）と、カメラA、Bの両方に写る場合（２）の例を示している。図１５の各場合において、撮影される画像の履歴の例を図１６に示す。図１６では、上記（１）、（２）の場合において、定期的に撮像日時（９月２９日１３：００、１４：００、１５：００）と各撮像装置で撮影された画像が履歴として蓄積されている。ここで、図１６の（１）の場合には、撮影された画像の差分情報を利用することにより、各撮像装置で撮影されている画像において、物体の単位を判定する。具体的には、１３：00には物体が存在しなかったが、１４：００の時点でカメラA、カメラBの両方に新たな物体が表示された場合には、その物体は同一物体として判定する。一方、１５：００においては、カメラAのみに新たな物体（遮蔽物）が表示され、以前、表示されていた物体が消えているのに対して、カメラBにおいては、以前に、同一物体として判定された物体が写っている場合には、カメラAと被写体の間に遮蔽物が存在し、その後ろに、以前の物体が存在すると認識する。

また、図１６（２）の場合においては、13：00には物体が存在しなかったが、１４：００の時点でカメラA、カメラBの両方に新たな物体が表示されているため、（１）の場合と同様に、カメラA、カメラBの両方に新たな物体が表示されたと認識する。さらに、１５：００の時点においては、１４：００の時点で追加された物体の一部が表示されているが、その前に新たな物体が追加されたと判定する。ここで、追加された物体は、カメラA、カメラBの両方に存在すると認識する。

これにより、図１７に示すように、表示されている画像を矩形に分割し、各分割領域に対して、追加された日時情報が蓄積される。この情報の蓄積を、第１の撮像画像蓄積部と第２の撮像画像蓄積部に対して行うことにより、同一時刻に追加された物体領域は、同一の物体であると判断するものである。これにより、第１の撮像装置に写っている遮蔽物が、第２の撮像装置にも写っているか否かを判断することが可能になる。

ユーザ指定物体特定部１４０２においては、画像が表示されている画面に対するユーザ入力があった場合に、物体表示座標蓄積部１４０１で蓄積されている矩形のどの領域であるかを判断することにより、ユーザが指定している物体を特定する。

その結果、図１８に示すように、ユーザが指定した画面上の座標が、被写体の部分か、遮蔽物の部分かを判断することで、表示する画像の合成度合いを変更することが可能になる。例えば、被写体が指定された場合には、遮蔽物が写っている画像の重み度合いを減少させ、被写体がはっきり見える画像にすることが可能になる。一方で、遮蔽物が指定された場合には、遮蔽物の重み度合いを減少させる動画を提示することが可能になる。このように、ユーザが見たい位置を指定することで、それに応じた画像合成を実現することが可能になる。

上記のシステムの動作を図１９のフローチャートにまとめる。

＜ステップ１９０１＞
画像表示部１０２で表示されている画像に対して、ユーザ画面指定受付部１０３でユーザの画面に対する入力があったか。もし、入力があった場合には、次のステップへ進む。入力がない場合には、本ステップを繰り返す。

＜ステップ１９０２＞
ユーザ画面指定受付部１０３で入力された位置において、物体が存在した場合には、次のステップへ進む。指定された位置において物体が表示されていない場合には、ステップ１９０１へ戻る。

＜ステップ１９０３＞
ユーザが入力した位置にある物体は、別の物体によって隠されている物体であるかを判定する。すなわち、他の物体によって隠されている物体をユーザが指定したかを判定する。図１８においては、（１）の場合に相当する。この場合には、ステップ１９０４へ進む。他の物体によって隠されていない場合には、ステップ１９０５へ進む。

＜ステップ１９０４＞
画像合成度合決定部１０７において、現在表示されている画像の合成度合を10%とする。

＜ステップ１９０５＞
ユーザが入力した位置にある物体は、別の物体を隠す物体になっているかを判定する。すなわち、ユーザが指定した物体は、他の物体を隠しているかを判定する。図１８においては、（２）の場合に相当する。この場合には、ステップ１９０６へ進む。他の物体を隠していない場合には、ステップ１９０１へ戻る。

＜ステップ１９０６＞
画像合成度合決定部１０７において、現在表示されている画像の合成度合を50%とする。

＜ステップ１９０７＞
現在表示されている画像に対応する視点変換画像を、第２の撮像画像蓄積部１０４で蓄積されている画像に対して、視点変換画像生成部１０６で生成する。このとき、表示されている画像に対応する座標情報は、対応座標関係蓄積部１０５において蓄積されている。

＜ステップ１９０８＞
合成する画像の各ピクセルのRGB値を重み係数に応じて加算平均する。ここで、ステップ１９０４からの場合には、表示画像0.1に対して視点変換画像0.9の割合となる。一方、ステップ１９０６からの場合には、表示画像0.5に対して視点変換画像0.5の割合となる。

＜ステップ１９０９＞
合成画像を生成して、画像表示部１０２において画像を表示する。

これによって、画像が表示されている画面に対して、ユーザが所定の点を入力したときに、別の視点からの画像と合成した画像に変更することが可能になる。あたかも、ユーザにとっては、指定した部分が透過されたかのように画像を確認することができるようになる。

本実施の形態では、第１の撮像画像蓄積部で蓄積されている画像に対して遮蔽物の領域があった場合に、別の撮像装置による別の視点からの画像の視点変換処理を実施することで合成する画像を生成した。しかしながら、別の撮像画像が１つでは不十分な場合がある。そこで、本実施の形態においては、別の２つの撮像装置の画像を利用して、合成画像を生成する実施の形態について説明する。

図２０にハードウエアの概観の例を示す。図２０のハードウエアの概観においては、１つの被写体に対して、３つの撮像装置で撮像を行っている例である。図２１に示すように１つの被写体が３つの画像で撮像されている。さらに、被写体と撮像装置の間に遮蔽物が存在すると、各撮像装置で撮像される画像において、遮蔽物によって、被写体が撮影できなくなる場合がある（図２２参照）。図２２の場合には、正面からの画像であるイメージBでは、被写体がほぼ隠蔽された状態になる。一方、イメージAでは被写体の葉の部分が隠蔽され、イメージCでは被写体の根の部分が隠蔽されている。そこで、イメージBの視点での合成画像を生成するのに、イメージAの一部分と、イメージCの一部分を利用して合成することが可能になる。図２３に示すように、イメージBの左半分に関しては、イメージAの画像と重ね合わせ、イメージBの右半分に関しては、イメージCの画像と重ね合わせることで、合成画像を生成する。

このように、本実施の形態では、他の視点の１つの画像に対して視点変換を実施することで、合成画像を生成していたが、本実施の形態では、他の視点の複数画像に対して視点変換を実施することで、合成画像を生成する。これにより、ある撮像装置と被写体の間に遮蔽物が存在する場合でも、他の撮像装置で補間できる可能性が高くなる。

特に、セキュリティに利用する監視カメラシステムにおいて、事前に、遮蔽される可能性が高い領域に関しては、あらかじめ、複数の視点からのカメラを設置しておくことにより、被写体が遮蔽される可能性を減少させることが可能になる。

本実施の形態では、被写体に対して遮蔽物が１つ存在する場合について説明した。しかしながら、複数の奥行きレベルが存在する場合がある。図２４にその例を示す。図２４では、主に、物体Aはカメラ１から撮影している。さらに、物体Aの奥にある物体Bは、カメラ２，３によって撮影している。さらに、物体Bの奥にある平面Cに書かれた三角の図形は、カメラ４、カメラ５から撮影されている。このようにカメラが設置された場合、図２５に示すように各カメラでは撮影される。

ここで、カメラ１で撮影された画像に対して、カメラ２の画像、カメラ３の画像の対応座標点に関する情報は、対応座標関係蓄積部１０５において事前に蓄積されている。このとき、図２６に示すように、カメラ１の画像が表示されており、ユーザが物体Bのある位置を指定したとする。図２６の上段では、カメラ１の画像に対するユーザ指定座標と、下段では、カメラ１の画像に対するユーザ指定座標が異なっている。このとき、カメラ１の画像で指定したユーザ位置座標を、カメラ２の対応座標、カメラ３の対応座標に変換したときに、図２６の場合には、どちらの画像での物体Bの表面に位置している。このときには、カメラ１の画像を変更する画像として、カメラ２の画像でもカメラ３の画像でも、どちらを利用してもよい。なお、画像間における座標変換は、図８で説明した対応ベクトルの関係から算出することが可能である。

一方、図２７に示すように、カメラ2の画像が表示されていたときに、図２６の場合と同様に、上段と下段で異なる２つの点をユーザが指定したとする。このとき、上段の画像の場合には、カメラ４の画像では、対応する座標は別の物体に隠されていない。しかしながら、カメラ５の画像では対応する座標は別の物体に隠されている。一方、下段の画像の場合には、カメラ４の画像では、対応する座標が隠されてしまい、カメラ５の画像では、対応する画像が隠されてしまっている。そこで、図２７の場合には、ユーザ指定座標によって、変更する画像は異なることとなる。カメラ３の画像が表示されているときにも、図２７の場合と同様に、ユーザが指定する座標によって、合成に利用する画像が異なる。

このように、ユーザが入力した座標に対して、その座標に対応する別の複数の画像から適切な画像を選択することができ、ユーザにとって見やすい合成画像を提供することが可能になる。

上記の画像合成をセキュリティシステムへ応用した例について述べる。例えば、図２９に示すように、家屋の周辺にカメラが設置され、不審者等を事前に発見するシステムがある。図２９では、カメラ１、２によって、家屋の門の外からの画像を撮影し、カメラ３，４によって、門と車両の間が撮影され、さらに、カメラ５、６によって車両から家の壁までの間が撮影されている。このようなシステムにおいて、図３０（A）（B）に示すように、家屋の門の外に設置されたカメラ１，２によって撮像された画像が表示されているとする。このとき、ユーザが図３０（A）の場合には、車両部分の位置をユーザが指定したとする。このときは、カメラ３，４を利用した家の門と車両の間の部分が確認できるような画像を主に生成する。一方、図３０（B）に示すように、ユーザが家屋を指定した場合には、車両部分も透過させ、家屋の壁と車両の間の部分を中心としてカメラ５，６を主に利用して画像を生成する。このように、ユーザが見たい場所を指定することで、画像の透過度を変更して表示することが可能になる。

また、別のセキュリティ応用の例について述べる。図３１に示すように、家屋に対して、多くの撮像装置が設置されるセキュリティシステムがある。このようなシステムによって、例えば、図３２に示すように、家屋を天空から見た画像を生成することが可能になる。しかしながら、家屋を天空から見た画像には、遮蔽物によって確認できない領域が存在する。例えば、図３２（１）においては、カーポートが設置され、その下の画像を確認することができなくなっている。

そこで、ユーザが確認したい地点を指定することにより、別のカメラによって生成された画像を用いて、新たな合成画像を生成することが可能である。例えば、図３２では、カーポートの部分をユーザが指定した場合には、カーポートが写っている画像の度合いを減少させ、さらにカーポートの下を撮影しているカメラの画像を用いて、透過しているように表現することが可能である。一方で、ユーザが直接、不審者の存在に気づき、ユーザ指定座標２の部分を指定した場合には、透過画像を生成せずに、直接、カーポートの画像を除去した画像を生成することも可能である。このように、ユーザが指定する座標、物体によって、異なる画像を生成することが可能である。

ここで、ユーザは、カーポートの画像が表示されている部分を指示したため、カーポートの領域についてのみ、合成画像を利用して表示を変更している。これは、カーポートが表示される画像部分が同一物体であることを認識しておく必要がある。このために、撮像装置直後の画像と、カーポートが設置された後の画像の差分情報を保有しておくことにより実現することが可能になる。これは、撮像装置において、過去の画像との比較を行い、カーポートを一つの物体と認識し、さらに、ユーザがそのカーポートを指示するための座標を入力したことによって、カーポートが表示されている部分だけについて、合成画像を利用することができるようになる。

本発明の画像合成装置によって、所定の撮像装置では遮蔽物によって死角になる領域の画像を、別の撮像装置の画像と合成して出力することで、遮蔽された領域も画像で確認することが可能になる。特に、セキュリティ分野における監視カメラシステムの有効である。

１０１ 第１の撮像画像蓄積部
１０２ 画像表示部
１０３ ユーザ画面指定受付部
１０４ 第２の撮像画像蓄積部
１０５ 対応座標関係蓄積部
１０６ 視点変換画像生成部
１０７ 画像合成度合決定部
１０８ 画像合成部
１０９ 画像表示部
１４０１ 物体表示座標蓄積部
１４０２ ユーザ指定物体特定部

Claims (13)

1. 複数の撮像装置によって撮影された画像を合成して出力する監視カメラシステムにおいて、
   第１の撮像装置によって撮影された画像が蓄積される第１の撮像画像蓄積手段と、
   第１の撮像画像蓄積手段で蓄積されている画像を所定の画面に表示する画像表示手段と、
   前記画像表示手段で表示された画面に対して、ユーザによる画面の位置の指定を受け付けるユーザ画面指定受付手段と、
   第１の撮像装置とは異なる地点に設置された撮像装置によって撮影された画像が蓄積される第２の撮像画像蓄積手段と、
   前記第１の撮像画像蓄積手段で蓄積される画像の座標と、前記第２の撮像画像蓄積手段で蓄積される画像の座標との対応関係を蓄積する対応座標関係蓄積手段と、
   前記座標対応関係蓄積手段で蓄積されている座標の対応関係と、前記第２の撮像画像蓄積手段で蓄積されている画像とを用いて、前記第１の撮像画像蓄積手段で蓄積されている画像の視点からの画像を生成する視点変換画像生成手段と、
   前記画像表示手段で表示されている画像と、前記ユーザ画面指定受付手段で受け付けた画面の位置から、前記視点変換画像生成手段で生成された画像と、第１の撮像画像蓄積手段で蓄積されている画像の合成度合いを決定する画像合成度合決定手段と、
   前記画像合成度合決定手段で決定された画像の合成度合に基づいて画像を合成する画像合成手段と、
   前記画像合成手段で合成された画像を前記画像表示手段で表示する
   ことを特徴とする監視カメラシステム。
2. 前記監視カメラシステムにおいて、
   前記画像合成手段で合成する処理は、
   前記第１の撮像画像蓄積手段で蓄積されている画像のRGB値と、前記視点変換画像生成手段で生成された画像のRGB値との、重み付き平均で、
   前記画像合成手段で合成される画像の各座標におけるRGB値を決定する
   ことを特徴とする請求項１記載の監視カメラシステム。
3. 前記監視カメラシステムにおいて、
   前記画像合成度合決定手段では、前記画像表示手段で表示している画像に含まれる物体と前記物体の座標に関する情報を保有する物体表示座標蓄積手段と
   前記ユーザ画面指定受付手段で受け付けた位置を基に前記物体表示座標蓄積手段で蓄積されている物体を特定するユーザ指定物体特定手段とを保有し、
   ユーザが指定した物体に応じて画像合成度合を変更する
   ことを特徴とする請求項2記載の監視カメラシステム。
4. 前記監視カメラシステムにおいて、
   前記ユーザ指定物体特定手段で特定された物体が他の物体を隠蔽している場合と、他の物体に隠蔽されている場合で、画像合成度合を変更する
   ことを特徴とする請求項3記載の監視カメラシステム。
5. 前記監視カメラシステムにおいて、
   前記ユーザ指定物体特定手段で特定された物体が他の物体を隠蔽している場合の前記画面表示部で表示している画像の利用度合が、他の物体に隠蔽されている場合の前記画面表示部で表示している画像の利用度合よりも大きい
   ことを特徴とする請求項4記載の監視カメラシステム。
6. 前記監視カメラシステムにおいて、
   前記第１の撮像画像蓄積手段では、撮像された画像と撮像された時刻に関する情報を組みとして記憶し、
   前記物体表示座標蓄積手段では、所定の領域の物体の存在を前記第１の撮像画像蓄積手段で蓄積されている画像の差分情報を用いて判断する
   ことを特徴とする請求項3記載の監視カメラシステム。
7. 前記監視カメラシステムにおいて、
   前記物体表示座標蓄積手段では、所定の領域の物体の存在を前記第１の撮像画像蓄積手段で蓄積されている画像と、前記第２の撮像画像蓄積手段で蓄積されている画像とから判断し、
   前記判断は、所定領域の被写体に対して１つの撮像装置で隠蔽され、別の撮像装置では隠蔽されなかったときに、前記被写体が隠蔽されたと判断する
   ことを特徴とする請求項6記載の監視カメラシステム。
8. 前記監視カメラシステムにおいて、
   前記物体表示座標蓄積手段では、所定の領域の物体の存在を前記第１の撮像画像蓄積手段で蓄積されている画像の履歴を用いて判断し、
   前記表示座標蓄積手段では、
   前記画像表示手段で表示されている画像を矩形領域に分割し、各矩形領域に対して物体の存在の有無を蓄積し、
   前記ユーザ指定物体特定手段では、前記ユーザ画面指定受付手段で受け付けた位置が前記矩形に対応する物体に応じて前記画像合成度合決定部における合成度合が決定される
   ことを特徴とする請求項3記載の監視カメラシステム。
9. 前記監視カメラシステムにおいて、
   前記ユーザ画面指定受付手段でユーザの指示を受け付けたときに、
   前記画像合成手段では、
   前記ユーザ指定物体特定手段で特定された物体の領域についてのみ、合成した画像を生成し、
   前記画像表示手段では、前記ユーザ指定物体特定手段で特定された物体の領域の画像のみを変更する
   ことを特徴とする請求項3記載の監視カメラシステム。
10. 前記監視カメラシステムにおいて、
    前記対応座標関係蓄積手段において、前記第２の撮像画像蓄積手段で蓄積されている２種類以上の画像を保有している場合に、
    前記ユーザ指定画面指定受付手段で受け付けた位置に対応する座標において、遮蔽物が存在しない画像を利用して視点変換画像を生成する
    ことを特徴とする請求項2記載の監視カメラシステム。
11. 前記監視カメラシステムにおいて、
    前記撮像装置は家屋の周囲に設置された撮像装置であり、
    前記画像表示手段で表示する画像は、家屋の上からの視点の画像を表示する
    ことを特徴とする請求項2記載の監視カメラシステム。
12. 前記監視カメラシステムにおいて、
    前記画像合成度合決定手段では、前記画像表示手段で表示している画像に含まれる物体と前記物体の座標に関する情報を保有する物体表示座標蓄積手段と
    前記ユーザ画面指定受付手段で受け付けた位置を基に前記物体表示座標蓄積手段で蓄積されている物体を特定するユーザ指定物体特定手段とを保有し、
    前記ユーザ画面指定受付手段でユーザの指示を受け付けたときに、
    前記画像合成手段では、
    前記ユーザ指定物体特定手段で特定された物体の領域についてのみ、合成した画像を生成し、
    前記画像表示手段では、前記ユーザ指定物体特定手段で特定された物体の領域の画像のみを変更する
    ことを特徴とする請求項11記載の監視カメラシステム。
13. 第１の撮像装置によって撮影された画像が蓄積される第１の撮像画像蓄積手段と、
    前記第１の撮像装置とは異なる地点に設置された撮像装置によって撮影された画像が蓄積される第２の撮像画像蓄積手段と、
    前記第１の撮像画像蓄積手段で蓄積される画像の座標と、前記第２の撮像画像蓄積手段で蓄積される画像の座標との対応関係を蓄積する対応座標関係蓄積手段と、
    第１の撮像画像蓄積手段で蓄積されている画像を所定の画面に表示する画像表示手段と、
    を用いて、
    前記画像表示手段で表示された画面に対して、ユーザによる画面の位置の指定を受け付けるユーザ画面指定受付ステップと、
    前記座標対応関係蓄積手段で蓄積されている座標の対応関係と、前記第２の撮像画像蓄積手段で蓄積されている画像とを用いて、前記第１の撮像画像蓄積手段で蓄積されている画像の視点からの画像を生成する視点変換画像生成ステップと、
    前記画像表示手段で表示されている画像と、前記ユーザ画面指定受付ステップで受け付けた画面の位置から、前記視点変換画像生成ステップで生成された画像と、第１の撮像画像蓄積手段で蓄積されている画像の合成度合いを決定する画像合成度合決定ステップと、
    前記第１の撮像画像蓄積ステップで蓄積されている画像のRGB値と、前記視点変換画像生成ステップで生成された画像のRGB値との、重み付き平均により、合成画像の各座標におけるRGB値を決定し、
    前記画像合成度合決定ステップで決定された画像の合成度合に基づいて画像を合成する画像合成ステップと、
    前記画像合成ステップで合成された画像を前記画像表示手段で表示に変更するステップと
    からなることを特徴とする監視カメラシステム。