JP2015167281A - 画像処理システム及び画像処理プログラム - Google Patents

Abstract

【課題】撮影画像部分が判別され易い合成画像を形成することができる画像処理システム、及び画像処理プログラムを提供する。【解決手段】画像処理システム１０は、カメラにより撮影するエリアが含まれるエリア画像を記憶する記憶部１３と、カメラから出力される撮影画像上において設定された幾何学的図形を有する設定領域とエリア画像上における設定領域に対応する部分とが外形上において一致するように撮影画像を射影変換することにより変換撮影画像を形成する画像変換部１２と、エリア画像と変換撮影画像とを重畳する合成部１５とを備え、更に、エリア画像と変換撮影画像とが視覚的に識別可能なようにエリア画像及び変換撮影画像のうちの少なくとも一方を加工する加工部１４を備える。【選択図】図２

Description

本発明は、画像処理システム及び画像処理プログラムに関する。

カメラにより撮影された撮影画像をモニタに表示して、このモニタの画面上で監視対象を監視することが出来るようにした画像処理システムが知られている（例えば、特許文献１）。特許文献１に記載の画像処理システムは、店内の状況を監視するものであり、その監視対象領域は比較的狭いものであるが、建物の周囲の状況、道路の混雑状況、駅構内の人の移動等、広い範囲にわたって監視する画像処理システムもある。このように広い監視領域をモニタを介して監視する場合には、カメラの設置位置、カメラの撮影対象、撮影方向（撮影方位）、撮影角度等を前提知識として把握しておくことが必要となる。このような前提知識がなければ、車両や人がどの方向に向かって移動しているかを把握することが出来なくなるためである。

このような前提知識がなくても監視することができるように、地図上にカメラのアイコンを配置して、カメラの設置位置や撮影方向を示す技術が知られている（例えば、特許文献２及び特許文献３の図４参照。）。これらの技術によれば、監視者は、カメラの設置位置、カメラの撮影対象、撮影方向を容易に把握することができる。しかしながら、これらの技術では、地図画像と、カメラが撮影した撮影画像とが画面上において離れた位置に表示されるため、監視者は、両者を見比べるために、視点を移動しながら監視場所の状況を把握しなければならないといった手間がある。特に、複数の撮影画像を監視する場合には、撮影画像と地図画像とを見比べる作業が煩雑になり、十分な監視ができない虞がある。

このような課題を解決する技術として、カメラにより撮影された撮影画像と、地図画像とを合成する技術が知られている（例えば、特許文献４参照）。この技術では、撮影画像に含まれる道路の延長方向と地図上の道路の延長方向とが一致するように撮影画像と地図画像とが合成される。このため、監視者が、カメラの設置位置、カメラの撮影対象、撮影方向を予め把握していなくても、この合成地図からある程度これらの情報を把握することができるため、前提知識を記憶する手間が省けるとともに、地図画像上で監視対象領域を監視することができるため、監視者の視点の移動距離を短くすることができる。このため、監視者の負担が軽減されることから、監視者を監視作業に集中させることができるようになる。

特開２０１０−１７８００７号公報 特開平１０−２８５５８５号公報 特開２００２−３４１７５５号公報 特開２００５−２８６６８５号公報

しかし、カメラにより撮影された撮影画像と地図画像とを合成して得られた合成画像は、撮影画像の部分と地図画像の部分との境界が分かりにくくなるため、監視者が本来注意して見るべき撮影画像への注意力が持続しにくくなるといった問題がある。

また、このような技術は、監視システムだけでなく、このような合成画像をゲーム等の映像産業分野にも活用されると考えられる。この場合においても、撮影画像部分が分かり易く示されることが望ましい。

本発明はこのような事情に鑑みてなされたものであり、その目的は、撮影画像部分が判別され易い合成画像を形成することができる画像処理システム、及び画像処理プログラムを提供することにある。

上記課題を解決する画像処理システムは、カメラにより撮影するエリアが含まれるエリア画像を記憶する記憶部と、前記カメラから出力される撮影画像上において設定された幾何学的図形を有する設定領域と前記エリア画像上における前記設定領域に対応する部分とが外形上において一致するように前記撮影画像を射影変換することにより変換撮影画像を形成する画像変換部と、前記エリア画像と前記変換撮影画像とを重畳する合成部とを備える画像処理システムにおいて、前記エリア画像と前記変換撮影画像とが視覚的に識別可能なように前記エリア画像及び前記変換撮影画像のうちの少なくとも一方を加工する加工部を更に備える。

上記構成によれば、エリア画像と変換撮影画像とが視覚的に識別可能なようにエリア画像及び変換撮影画像のうちの少なくとも一方が加工される。このため、エリア画像に射影変換後の撮影画像を重畳しただけの従来の合成画像に比べて、変換撮影画像が示される部分（撮影画像部分）が判別され易くなる。

上記画像処理システムにおいて、前記加工部は、前記エリア画像を前記変換撮影画像よりも低解像度の画像に変換する低解像度変換処理を実行し、または、前記エリア画像を、その明度もしくは色調またはその両者が前記変換撮影画像の明度もしくは色調またはその両者と異ならせる色変換処理を実行し、または、前記変換撮影画像を縁取る縁取り処理を実行する。

この構成によれば、低解像度変換処理または色変換処理により、エリア画像と変換撮影画像とが異なる画調になる。または縁取り処理により、エリア画像と変換撮影画像との境界線が明確になる。このため、変換撮影画像が示される部分（撮影画像部分）が判別され易くなる。

上記画像処理システムにおいて、前記加工部は、背景画像と、前記エリア画像を半透明化処理した画像とを合成することにより、前記エリア画像の明度もしくは色調またはその両者を前記変換撮影画像の明度もしくは色調またはその両者と異ならせる。

この構成によれば、背景画像と半透明化処理したエリア画像との合成という簡単な方法で、エリア画像の明度もしくは色調またはその両者を変更することができるため、処理時間が短縮される。

上記画像処理システムにおいて、前記合成部で形成された合成画像と前記エリア画像とのいずれかを選択して表示部に出力するための操作部を備える。
この構成によれば、合成画像だけではなくエリア画像をも表示部で確認することができる。

上記課題を解決する画像処理プログラムは、カメラから出力される撮影画像上において設定された幾何学的図形を有する設定領域とエリア画像上における前記設定領域に対応する部分とが外形上において一致するように前記撮影画像を射影変換することにより変換撮影画像を形成する画像処理と、前記エリア画像と前記変換撮影画像とが視覚的に識別可能なように前記エリア画像及び前記変換撮影画像のうちの少なくとも一方を加工する加工処理と、加工処理後の前記エリア画像に射影変換後の前記撮影画像を重畳する合成処理とを含み、これらの処理をコンピュータに実行させる。

この画像処理プログラムによれば、エリア画像と変換撮影画像とが視覚的に識別可能になるようにエリア画像を加工するため、画像処理プログラムにより合成される合成画像は、エリア画像に射影変換後の撮影画像を重畳しただけの従来の合成画像に比べて、変換撮影画像が示される部分（撮影画像部分）が判別され易くなる。

上記画像処理システム及び画像処理プログラムは撮影画像部分が判別され易い合成画像を形成することができる。

監視システムの模式図。 画像処理システムのブロック図。 各画像の合成について、そのフローを示すブロック図。 射影変換を説明するための図であり、（ａ）は、監視場所の撮影画像を示す図、（ｂ）は監視場所付近の地図画像を示す図。 射影変換を説明するための図であり、（ａ）は、撮影画像について、予め設定された幾何学的図形の各点の座標を示す座標図、（ｂ）は、地図画像について、予め設定された幾何学的図形の各点の座標を示す座標図。 第１実施形態の画像処理システムにより形成された変換撮影画像を示す図。 従来の合成画像を示す図。 第１実施形態の画像処理システムにより形成された合成画像を示す図。 第２実施形態の画像処理システムにより形成された合成画像を示す図。 第１参考例に係る画像処理システムにより形成された変換撮影画像を示す図。 従来の合成画像を示す図。 第１参考例に係る画像処理システムにより形成された合成画像を示す図。 第２参考例に係る画像処理システムにより形成された合成画像を示す図。 画像処理プログラムのフローチャート。

（第１実施形態）
図１〜図８を参照して、監視システムについて説明する。
監視システム１は、画像処理システム１０と、１台または複数台のカメラ２０とを備える。

カメラ２０は、通信ネットワーク１００を介して画像処理システム１０に接続される。通信ネットワーク１００としては、例えば、ＬＡＮ（ローカルエリアネットワーク）、インターネット、無線ネットＬＡＮ等が挙げられる。なお、カメラ２０が、直接、画像処理システム１０に接続される場合もある。

カメラ２０は、予め設定された監視場所を撮影する。例えば、カメラ２０は、ビルの屋上やビルの外壁、または電柱等に設置される。このような場所に設置されたカメラ２０は、監視場所を上方から撮影する。

また、複数台のカメラ２０を用いて、それぞれ異なる監視場所を監視する場合には、各カメラ２０は異なる場所に設置される。
また、監視場所が広い場合には、複数台のカメラ２０を用いて、カメラ２０が撮影する範囲がその範囲の境界において互いに重なるように、カメラ２０が設置される。

カメラ２０は、周期的または所定（または任意）のタイミングで、監視場所を連続的に撮影する。そして、カメラ２０は、撮影画像ＦＩをパケット化して出力する。監視場所を複数台のカメラ２０を用いて監視する場合には、各カメラ２０により撮影された撮影画像ＦＩの関連性が維持されるように、各カメラ２０の撮影タイミングが一致するように、各カメラ２０が制御される。例えば、各カメラ２０が毎回、同じタイミングで（例えば、同時刻で）撮影するように、各カメラ２０において撮影タイミングが設定される。

撮影画像ＦＩの関連性とは、同時刻に撮影された撮影画像ＦＩの関係を示す。複数の撮影画像ＦＩに基づいて人や車両を追跡する場合には、撮影画像ＦＩの関連性が維持されていることが好ましいため、各カメラ２０の撮影タイミングが制御される。

画像処理システム１０は、カメラ２０の撮影画像ＦＩ及び地図画像ＭＩに基づいて合成画像ＳＩを形成する。
画像処理システム１０には、合成画像ＳＩを表示する表示部１６と、操作部１７とが接続される。

表示部１６は、例えば、液晶モニタにより構成される。操作部１７は、キーボードやマウスにより構成される。なお、表示部１６としてタッチパネルで構成することもできる。この場合、操作部１７を省略することが可能である。

図２を参照して、画像処理システム１０の構成を説明する。
画像処理システム１０は、カメラ２０から送信される撮影画像ＦＩを蓄積する蓄積部１１と、撮影画像ＦＩを所定処理手順により画像変換する画像変換部１２と、地図画像ＭＩ及び背景画像ＢＩを記憶する記憶部１３と、地図画像ＭＩを加工する加工部１４と、各画像を重畳することにより合成画像ＳＩを形成する合成部１５とを備える。

画像変換部１２は、歪み補正部１２Ａと、射影変換部１２Ｂとを備える。
歪み補正部１２Ａは、カメラ２０のレンズによって生じる撮影画像ＦＩの歪みを補正する。具体的には、撮影画像ＦＩにおいて光学中心軸から離れた部分にレンズによる歪みが生じるため、この部分の歪みがなくなるように、撮影画像ＦＩの全体が補正される。この補正によれば、直線となるべき道路の境界線や建物の稜線が歪曲した状態で示されている場合、これらの境界線や稜線が直線に補正される。

射影変換部１２Ｂは、撮影画像ＦＩのうちの地面上の幾何学的図形を有する設定領域と地図上における設定領域に対応する部分とが外形上において一致するように撮影画像ＦＩを射影変換する。更に、射影変換された撮影画像ＦＩから不要部分が除去される。例えば、監視対象領域が残されるように、これ以外の部分が除去される。射影変換された撮影画像ＦＩにおいて不要部分がない場合には、このような除去処理は実行されない。以上のようにして形成された画像は、以降の説明で、「変換撮影画像ＣＦＩ」という。

記憶部１３に記憶される地図画像ＭＩは、撮影場所を含む画像である。
地図画像ＭＩとして、例えば、道路地図画像または空中写真地図画像、またはこの両画像が記憶される。道路地図画像とは、少なくとも道路が記載された地図を示す。空中写真地図画像とは、上空から地上を撮影することにより得られた写真に基づいて作成された地図を示す。例えば、空中写真地図画像の例としては、航空機により撮影された写真に基づいて作成された航空写真地図画像や、衛星により撮影された写真に基づいて作成された衛星写真地図画像が挙げられる。

記憶部１３に記憶される背景画像ＢＩは、地図画像ＭＩの下地を構成する。
背景画像ＢＩは、無地かつ単色の画像として構成される。背景画像ＢＩの色としては、地図画像ＭＩに含まれる建物の輪郭線や道路の境界線を示す線の色と明度もしくは色調またはその両者が近いものが選択される。具体的には、道路地図画像であっても、空中写真地図画像であっても、輪郭線や境界線は黒またはこれに近い色として表示されるため、背景画像ＢＩの色としては、青または緑またはグレー、またはこれらの色の近似色が使われる。

加工部１４は、地図画像ＭＩと変換撮影画像ＣＦＩとが視覚的に識別可能なように地図画像ＭＩを画像処理する。
本実施形態の加工部１４では、地図画像ＭＩを半透明化し、背景画像ＢＩに重畳する。これにより、地図画像ＭＩは、背景画像ＢＩの色で染まったようになり、全体として単調な画像に変化する。また、地図画像ＭＩに含まれる建物の輪郭線や道路の境界線の色と背景画像ＢＩの色と近似するため、輪郭線や境界線が背景画像ＢＩに紛れるようになる。また、背景画像ＢＩが、半透明の地図画像ＭＩを介して視認されるようになるため、地図画像ＭＩ全体の明度及び色調が変化する。

なお、「地図画像ＭＩを半透明化し」とは、背景画像ＢＩが透過するように加工することを示し、透過度は、特に限定されるものではない。例えば、透過度は、１０％〜９０％の間の値に設定される。

合成部１５は、加工部１４で加工された地図画像ＭＩ（以下、「加工地図画像ＣＭＩ」という。）に変換撮影画像ＣＦＩを重畳する。
具体的には、この処理では、変換撮影画像ＣＦＩにおいて設定された４つの設定点と、地図画像ＭＩにおいて設定された４つの対応点とがそれぞれ一致するように、加工地図画像ＣＭＩに変換撮影画像ＣＦＩを重畳する。

なお、「重畳する」とは、元の画像の上に、他の画像を重ねることを示す。すなわち、重畳することにより得られた合成画像ＳＩにおいて、他の画像が重ねられた部分では、元の画像が透けて見えることがないように、加工地図画像ＣＭＩの上に変換撮影画像ＣＦＩが重ねられる。

図３を参照して、合成部１５で実行される画像合成のフローを説明する。
合成部１５は、加工部１４から加工地図画像ＣＭＩを取得する。次に、この加工地図画像ＣＭＩに変換撮影画像ＣＦＩを重畳する。変換撮影画像ＣＦＩが複数ある場合には、図３に示すように、変換撮影画像ＣＦＩを順に重畳する。

また、時間の経過とともに新たな変換撮影画像ＣＦＩが蓄積部１１に蓄積されるため、新たな変換撮影画像ＣＦＩが蓄積される都度（または変換撮影画像ＣＦＩが蓄積されるタイミングとは異なる所定のタイミングで）、上記処理が実行される。すなわち、合成部１５は、加工地図画像ＣＭＩに、新たな変換撮影画像ＣＦＩを重畳する。そして、新たな合成画像ＳＩが形成される都度、画像処理システム１０に接続された表示部１６に出力する。これにより、表示部１６に、合成画像ＳＩの一部（変換撮影画像ＣＦＩに対応する部分）が動画のように表示される。

図４及び図５を参照して、撮影画像ＦＩの射影変換について説明する。
図４（ａ）は、カメラ２０により撮影された撮影画像ＦＩを示す。なお、この撮影画像ＦＩは、歪み補正後の画像である。図４（ｂ）は、撮影場所を含む地図画像ＭＩを示す。図４（ａ）に示される点ｐ１〜点ｐ４は、地図画像ＭＩの点Ｐ１〜点Ｐ４（図４（ｂ）上の点）にそれぞれ対応する。

カメラ２０等、レンズを介して撮影された撮影対象の撮影画像ＦＩは、中心投影法により形成される画像とみなすことが出来る。このような撮影画像ＦＩでは、射影変換により、撮影画像ＦＩに含まれる平面上の幾何学的図形要素と、地図画像ＭＩ上においてこの幾何学的図形要素に対応する平面上の図形要素とを一致させることができる。

画像の射影変換は、次の式により表される。
X＝（a1・x＋b1・y＋c1）／（a3・x＋b3・y＋c3）・・・（１）
Y＝（a2・x＋b2・y＋c2）／（a3・x＋b3・y＋c3）・・・（２）
ここで、x，yは、撮影画像ＦＩの座標を示す（図５（ａ）参照）。X，Yは、地図画像ＭＩの座標を示す（図５（ｂ）参照）。a1，b1，c1，a2，b2，c2，a3，b3，c3は定数である。c3は、任意に設定可能である。c3を除く残りの定数（８個のパラメータ）は、撮影画像ＦＩにおいて設定された４つの座標点ｐ１〜ｐ４と、これに対応する地図画像ＭＩ上の４つの座標点Ｐ１〜Ｐ４とを（１）式及び（２）式に代入して得られた式の連立方程式を解くことにより、導出される。

図５（ａ）に、撮影画像ＦＩ上における４つの座標点ｐ１〜ｐ４の設定例を示す。
図５（ｂ）に、地図画像ＭＩにおいて、撮影画像ＦＩ上における４つの座標点ｐ１〜ｐ４に対応する４つの座標点Ｐ１〜Ｐ４を示す。

図５（ａ）に示されるように、撮影画像ＦＩ上の４つの座標点は、いずれの３つの点も一直線上に並ばないように、設定される。また、撮影画像ＦＩ上の４つの座標点は、地図画像ＭＩ上において表される点（例えば、道路の角や道路上に描画されたラインの端）に対応するように設定される。

次に、従来の合成画像ＳＩと、上記画像処理システム１０により形成された合成画像ＳＩとの違いについて説明する。
図６は、カメラ２０により得られた撮影画像ＦＩに基づいて形成された変換撮影画像ＣＦＩである。

このカメラ２０は高い位置から街の一角を撮影している。元の撮影画像ＦＩでは、道路は遠方ほど幅狭になる画像要素として構成されているが、射影変換により、この道路が幅一定で延びる画像要素として構成されている。また、この変換撮影画像ＣＦＩでは、道路及び道路周辺部分以外の部分を不要部分として除去されている。

図７は、従来の画像合成方法により、航空写真地図画像に変換撮影画像ＣＦＩを重畳した合成画像ＳＩである。
航空写真地図画像には、建物、道路、自動車、街路樹等が表示される。また、変換撮影画像ＣＦＩにも、建物、道路、自動車、街路樹等が表示される。変換撮影画像ＣＦＩは写真と同質の画像であるため、単に、航空写真地図画像に変換撮影画像ＣＦＩを重畳させただけの合成画像ＳＩでは、両者の境界が不明確になる（図７参照。）。このため、監視者は、この合成画像ＳＩの如何なる場所が監視対象領域であるかについて把握することができない。監視対象領域の画像は、新たな変換撮影画像ＣＦＩが形成される都度、この新たな変換撮影画像ＣＦＩに置き換えらえるため、時間経過とともに変化するが、その変化が乏しいときには、見た目上、画像変化がないために監視者は、変化のない部分を監視対象領域外として認識する虞がある。この場合、監視対象領域における監視が不十分になる。

このような事情を鑑みて、本実施形態の画像処理システム１０は、監視対象領域（すなわち、変換撮影画像ＣＦＩ）とこれ以外の領域（合成画像ＳＩから変換撮影画像ＣＦＩを除く領域）とが互いに視覚的に識別されるように、地図画像ＭＩと変換撮影画像ＣＦＩとを合成する。

例えば、変換撮影画像ＣＦＩ以外の領域の明度もしくは色調またはその両者が、変換撮影画像ＣＦＩの明度もしくは色調またはその両者と異なるように、地図画像ＭＩを加工する（以降では、この加工を「色変換処理」ともいう。）。なお、どの程度明度を変化させるか、如何なる色調に変化させるかについては、地図画像ＭＩの明度や色調と変換撮影画像ＣＦＩの明度や色調との差に基づいて設定される。

具体的には、この加工は、上記加工部１４により行われる。すなわち、変換撮影画像ＣＦＩとは明度や色調が異なる背景画像ＢＩに、半透明化処理した地図画像ＭＩが重畳される。これにより、地図画像ＭＩの全体の明度及び色調が変化する。そして、この画像の上に変換撮影画像ＣＦＩが重畳される。変換撮影画像ＣＦＩが重畳された部分は、変換撮影画像ＣＦＩの明度及び色調が維持される。このため、変換撮影画像ＣＦＩが重畳された部分とこの部分以外の部分とは、明度が異なり、または色調が異なるものとなる。

図８に、上記画像処理システム１０により合成された合成画像ＳＩを示す。
図８に示すように、この合成画像ＳＩによれば、明度の違い（または色調の違い）により、監視対象領域と、この領域以外の領域とが明確に区別することができる。このため、監視者は、一見して、監視対象領域（すなわち、変換撮影画像ＣＦＩ）を判別することができる。

以上に説明したように、本実施形態に係る画像処理システム１０は次の効果を奏する。
（１）本実施形態では、地図画像ＭＩ（エリア画像）と変換撮影画像ＣＦＩとが視覚的に識別可能なようにエリア画像を加工する。このため、地図画像ＭＩに射影変換後の撮影画像を重畳しただけの従来の合成画像に比べて、変換撮影画像が示される部分（撮影画像部分）が判別され易くなる。

（２）本実施形態では、地図画像ＭＩ（エリア画像）を、その明度もしくは色調またはその両者が変換撮影画像ＣＦＩの明度もしくは色調またはその両者と異なるように画像処理する。この構成によれば、地図画像ＭＩ（エリア画像）と変換撮影画像ＣＦＩとが異なる画調になる。このため、監視対象領域（すなわち撮影画像部分）が判別され易くなる。

（３）本実施形態では、加工部１４において、背景画像ＢＩと、地図画像ＭＩを半透明化処理した画像との合成により、この地図画像ＭＩの明度もしくは色調またはその両者を、変換撮影画像ＣＦＩの明度もしくは色調またはその両者と異なるようにする。

この構成によれば、背景画像ＢＩと半透明化処理した地図画像ＭＩとの合成という簡単な方法で、空中写真地図画像である地図画像ＭＩの明度もしくは色調またはその両者を変更することができるため、処理時間が短縮される。

（第２実施形態）
図９を参照して、第２実施形態に係る画像処理システム１０について説明する。
図９に、本実施形態の画像処理システム１０により合成された合成画像ＳＩを示す。

なお、本実施形態の説明では、第１実施形態に係る構成要素と実質的に同じ構造を有する構成要素には、第１実施形態において付した符号と同一の符号を付して説明する。
本実施形態に係る画像処理システム１０は、第１実施形態に係る画像処理システム１０について次の変更を加えたものである。

第１実施形態に係る画像処理システム１０では、加工部１４は、地図画像ＭＩを加工する。これに対して、本実施形態では、加工部１４は、変換撮影画像ＣＦＩを加工する。なお、この加工部１４は、図２に示すブロック図において、射影変換部１２Ｂと合成部１５との間に配置される。

この加工部１４は、地図画像ＭＩと変換撮影画像ＣＦＩとが視覚的に識別可能なように変換撮影画像ＣＦＩを画像処理する。例えば、この加工部１４は、変換撮影画像ＣＦＩを縁取る画像処（以下、「縁取り処理」ともいう。）理を行う。例えば、黒色の太線や、赤色や黄色等の視認しやすい色線により、変換撮影画像ＣＦＩが縁取られる。そして、このようにして加工された変換撮影画像ＣＦＩが地図画像ＭＩに重畳される（図９参照）。変換撮影画像ＣＦＩは、縁取り線ＨＬにより、監視対象領域（変換撮影画像ＣＦＩの部分）と、この領域以外の領域とが区分される。

本実施形態に係る画像処理システム１０によれば、次の効果を奏する。
（１）本実施形態では、変換撮影画像ＣＦＩを縁取る画像処理を行う。この構成によれば、地図画像ＭＩと変換撮影画像ＣＦＩとは、変換撮影画像ＣＦＩを縁取る縁取り線ＨＬにより明確に区分されるようになるため、監視対象領域（撮影画像部分）が判別され易くなる。

（第１参考例）
図１０〜図１２を参照して、第１参考例に係る画像処理システム１０について説明する。なお、この例の説明では、第１実施形態に係る構成要素と実質的に同じ構造を有する構成要素には、第１実施形態において付した符号と同一の符号を付して説明する。

この参考例に係る画像処理システム１０は、第１実施形態に係る画像処理システム１０について次の変更を加えたものである。
第１実施形態に係る画像処理システム１０では、地図画像ＭＩとして、航空写真地図画像を用いているが、この参考例では、地図画像ＭＩとして道路地図画像を用いている。

図１０に、地図画像ＭＩに重畳する変換撮影画像ＣＦＩを示す。
図１１に、地図画像ＭＩとしての道路地図画像に、変換撮影画像ＣＦＩを重畳した合成画像ＳＩを示す。図１１に示されるように、地図画像ＭＩに変換撮影画像ＣＦＩを重畳すると、変換撮影画像ＣＦＩが目立ち過ぎるようになる。

道路地図画像は、その多くの要素が単純な図形や直線により構成されており、また全体として単調な色合いを有する。一方、変換撮影画像ＣＦＩは、複雑な線が無数にあり単純が図形要素は少なく、色合いの変化に富む。このため、両者を合成した合成画像ＳＩにおいて、変換撮影画像ＣＦＩの部分（すなわち監視対象領域）が際立って目立つようになる。監視対象領域の判別という観点では、問題が生じるものではないが、地図全体としての違和感が生じるようになる。また、合成画像ＳＩにおいて、変換撮影画像ＣＦＩに対応する部分では時間の経過によって車両が移動するように見えるが、この車両が変換撮影画像ＣＦＩの境界部分に至ると、その後、この車両は消滅するように見える。このような表示は、監視者に現実とは異なる不自然さを感じさせるため、監視者の注意力が散漫するようになる。このような観点から、変換撮影画像ＣＦＩ（すなわち監視対象領域）が際立ち過ぎるのは好ましくない。

そこで、この点に鑑みて、監視対象領域（すなわち、変換撮影画像ＣＦＩ）とこれ以外の領域（合成画像ＳＩから変換撮影画像ＣＦＩを除く領域）との違和感が軽減されるように、地図画像ＭＩと変換撮影画像ＣＦＩとを合成する。

例えば、変換撮影画像ＣＦＩ以外の領域の明度もしくは色調またはその両者が、変換撮影画像ＣＦＩの明度もしくは色調またはその両者に近づくように加工される。なお、どの程度明度を変化させるか、如何なる色調に変化させるかについては、地図画像ＭＩの明度や色調と変換撮影画像ＣＦＩの明度や色調との差に基づいて設定される。

具体的には、加工部１４において、変換撮影画像ＣＦＩの明度や色調に近い明度や色調を有する背景画像ＢＩに、半透明化処理した地図画像ＭＩが重畳される。
これにより、地図画像ＭＩの全体の明度及び色調が変化する。そして、この画像の上に変換撮影画像ＣＦＩが重畳される。変換撮影画像ＣＦＩが重畳された部分は、変換撮影画像ＣＦＩの明度及び色調が維持される。このため、変換撮影画像ＣＦＩが重畳された部分とこの部分以外の部分とは、明度が近くなり、または色調が近いものとなる。

図１２に、画像処理システム１０により合成された合成画像ＳＩを示す。このように、合成画像ＳＩが全体として明度差が小さくなり、また全体として単調な色合いになるため、違和感が軽減される。

すなわち、第１参考例に係る画像処理システム１０によれば、次の効果を奏する。
第１参考例では、地図画像ＭＩとして道路地図画像が用いられる。そして、加工部１４は、道路地図画像である地図画像ＭＩを、その明度もしくは色調またはその両者が変換撮影画像ＣＦＩの明度もしくは色調またはその両者に近づくように加工する。これにより、合成画像ＳＩ上において変換撮影画像ＣＦＩの際立ちが抑制されるようになる。このため、合成画像ＳＩが監視者にとって見易いものとなる。

（第２参考例）
図１３を参照して、第２参考例に係る画像処理システム１０について説明する。
図１３に、本参考例に係る画像処理システム１０により合成された合成画像ＳＩを示す。第１参考例に係る画像処理システム１０では、加工部１４は、地図画像ＭＩを加工するものであるが、第２参考例では、加工部１４は、変換撮影画像ＣＦＩを加工する。なお、この加工部１４は、図２に示すブロック図において、射影変換部１２Ｂと合成部１５との間に配置される。

この加工部１４では、変換撮影画像ＣＦＩの明度もしくは色調またはその両者が、地図画像ＭＩの明度もしくは色調またはその両者に近づくように加工される。なお、明度を変化させるか、如何なる色調に変化させるかについては、地図画像ＭＩの明度や色調と変換撮影画像ＣＦＩの明度や色調との差に基づいて設定される。

具体的には、加工部１４において、変換撮影画像ＣＦＩの明度もしくは色調が、地図画像ＭＩの明度もしくは色調に近づくように変更される。そして、地図画像ＭＩ上に加工後の変換撮影画像ＣＦＩが重畳される。このため、変換撮影画像ＣＦＩが重畳された部分とこの部分以外の部分とは、明度または色調が近いものとなる。

すなわち、第２参考例に係る画像処理システム１０によれば次の効果を奏する。
本参考例では、地図画像ＭＩとして道路地図画像が用いられる。そして、加工部１４は、変換撮影画像ＣＦＩを、その明度もしくは色調またはその両者が地図画像ＭＩの明度もしくは色調またはその両者に近づくように加工する。この構成によれば、合成画像ＳＩ上において、変換撮影画像ＣＦＩの際立ちが抑制されるようになる。これにより、合成画像ＳＩが監視者にとって見易いものとなる。

（第３実施形態）
図１４を参照して、画像処理プログラムについて説明する。
第１及び第２実施形態では画像処理システム１０により合成画像ＳＩを形成するが、本実施形態では、ＰＣ（パーソナルコンピュータ）等の計算機を用いて画像処理プログラムにより合成画像ＳＩを形成する。この画像処理プログラムは、計算機において画像合成処理の起動により実行される。なお、この計算機には、画像処理システム１０と同様に、カメラ２０、表示部１６、及び操作部１７が接続される。以下に、画像処理プログラムに含まれる各処理について説明する。

ステップＳ１１０では外部（またはＰＣ内蔵の記憶部）から背景画像ＢＩを取得する。
ステップＳ１２０では外部（またはＰＣ内蔵の記憶部）から地図画像ＭＩを取得する。
ステップＳ１３０では、地図画像ＭＩを加工する。例えば、第１実施形態における加工部１４と実質的に同様の処理を実行する。すなわち、地図画像ＭＩ（エリア画像）と変換撮影画像ＣＦＩとが視覚的に識別可能なように地図画像ＭＩを加工する。そして、このようにして形成された画像を加工地図画像ＣＭＩとして記憶する。

ステップＳ１４０では、撮影画像ＦＩを取得する。
ステップＳ１５０では、撮影画像ＦＩを射影変換する。また、射影変換した撮影画像から不要部分を除去する。このようにして形成された画像を変換撮影画像ＣＦＩとして記憶する。

ステップＳ１６０では、加工地図画像ＣＭＩに変換撮影画像ＣＦＩを重畳する。
ステップＳ１７０では、表示部１６に合成画像ＳＩを出力する。
ステップＳ１８０では、画像処理プログラムの実行終了指令があるか否かに基づいて、画像処理を継続するか否かを判定する。実行終了指令があるときには（「ＹＥＳ」）、この画像処理プログラムを終了する。実行終了指令がないときには（「ＮＯ」）、ステップＳ１４０に移行して、ステップＳ１４０〜ステップＳ１７０の処理が繰り返される。これにより、新たな合成画像ＳＩが形成される。

この画像処理プログラムによれば、地図画像ＭＩと変換撮影画像ＣＦＩとが視覚的に識別可能になるように地図画像ＭＩを加工するため、地図画像ＭＩに射影変換後の撮影画像ＦＩ（変換撮影画像ＣＦＩ）を重畳しただけの従来の合成画像ＳＩに比べて、変換撮影画像ＣＦＩが示される部分（撮影画像部分）が判別され易くなる。

（変形例）
なお、上記実施形態は以下のように変更することができる。
・上記第１実施形態では、加工部１４は、空中写真地図画像である地図画像ＭＩの明度もしくは色調またはこの両者を変化させるために、背景画像ＢＩに、半透明化した地図画像ＭＩを重畳するが、このような処理に代えて、地図画像ＭＩに半透明化した背景画像ＢＩを重畳してもよい。この処理でも、第１実施形態の効果に準じた効果が得られる。

・上記第１実施形態では、加工部１４は、空中写真地図画像である地図画像ＭＩの明度もしくは色調またはこの両者を変化させるために、背景画像ＢＩに、半透明化した地図画像ＭＩを重畳するが、このような処理に代えて、背景画像ＢＩを用いずに、地図画像ＭＩの半透明化処理だけを行ってもよい。この処理でも、第１実施形態の効果に準じた効果が得られる。

・上記第１実施形態では、加工部１４は、空中写真地図画像である地図画像ＭＩの明度もしくは色調またはこの両者を変化させる。これにより、監視対象領域（すなわち、変換撮影画像ＣＦＩ）とこれ以外の領域とが互いに区別されるようになるが、このような加工に代えて、地図画像ＭＩを変換撮影画像ＣＦＩの解像度よりも低解像度にする低解像度変換処理（例えば、モザイク処理）を施してもよい。

低解像度変換処理によれば、空中写真地図画像に含まれる建物等の輪郭がぼやけるため、空中写真地図画像が変換撮影画像ＣＦＩとは異なる画調になる。このため、監視対象領域（すなわち、変換撮影画像ＣＦＩ）とこれ以外の領域とが互いに区別されるようになり、監視対象領域が判別され易くなる。

・上記第１及び第２実施形態では、地図画像ＭＩとして空中写真地図画像だけを用いているが、地図画像ＭＩとして、空中写真地図画像及び道路地図画像のうちから選択された画像を用いるように構成することもできる。そして、次に示す構成のように、地図画像ＭＩとして空中写真地図画像が選択された場合にだけ、加工部１４は予め設定された設定画像処理により地図画像ＭＩを加工するように、構成してもよい。

すなわち、第１及び第２実施形態に係る画像処理システム１０において、記憶部１３は、地図画像ＭＩとして、道路地図画像及び空中写真地図画像を記憶する。更に、選択部が設けられる。この選択部は、例えば、操作部１７の一部の構成とされる。選択部は、画像処理システム１０を使用する監視者（単なる使用者も含まれる。）によって、合成部１５で用いられる地図画像ＭＩを、記憶部１３に記憶された複数の地図画像ＭＩのうちから選択することを可能とするものである。そして、加工部１４は、選択部を介して選択された地図画像ＭＩが空中写真地図画像である場合に、予め設定された設定画像処理により地図画像ＭＩを加工する。一方、加工部１４は、選択部を介して選択された地図画像ＭＩが道路地図画像である場合は、地図画像ＭＩを加工しない。

この構成によれば、合成画像ＳＩの背景となる地図を選択することが可能となる。
また、この構成によれば、合成部１５で用いる地図画像ＭＩとして空中写真地図画像が選択されたときに、すなわち、変換撮影画像ＣＦＩが判別しにくくなるときに、この地図画像ＭＩを加工する。一方、合成部１５で用いる地図画像ＭＩとして道路地図画像が選択されたときに、すなわち、変換撮影画像ＣＦＩの判別が容易であるときには、この地図画像ＭＩを加工しない。これにより、変換撮影画像ＣＦＩが判別される場合（すなわち地図画像ＭＩとして道路地図画像が用いられる場合）においては、変換撮影画像ＣＦＩの背景となる地図画像ＭＩに含まれる情報が不明瞭になることなく監視者に提供される。

・上記第１実施形態では、加工部１４において地図画像ＭＩを加工してから、加工地図画像ＣＭＩに変換撮影画像ＣＦＩを重畳する。この場合、画像処理システム１０の立ち上げ時に、地図画像ＭＩを加工するために時間を要する。そこで、加工部１４による地図画像ＭＩの加工を予め行って、加工地図画像ＣＭＩを記憶部１３に保存しておき、画像処理システム１０の立ち上げ時に、合成部１５が、記憶部１３に記憶された加工地図画像ＣＭＩを読み込む構成としてもよい。この場合、画像処理システム１０の立ち上げ時の演算処理（地図画像ＭＩを加工する演算処理）が簡略化されるため、立ち上げに要する時間が短縮化される。

・上記第１及び第２実施形態では、合成画像ＳＩだけを表示部１６に出力するが、加工前の地図画像ＭＩを出力可能に構成してもよい。例えば、操作部１７に設けられる「選択キー」や表示部１６に設けられる「タッチ式ボタン」等により、合成画像ＳＩと加工前の地図画像ＭＩとの表示が切り替えられるように構成される。この構成によれば、監視者等は、合成画像ＳＩだけではなく地図画像ＭＩをも表示部１６で確認することができるようになるため、監視者の利便性を向上させることができる。

・上記第３実施形態に係る画像処理プログラムを次のように変更することもできる。ステップＳ１３０の地図画像ＭＩの加工が省略される。ステップＳ１５０の撮影画像ＦＩの射影変換後に、この射影変換後の撮影画像ＦＩ（変換撮影画像ＣＦＩ）について第２実施形態に示す加工部１４と実質的に同一の処理（縁取り処理）が実行される。この技術によれば、実質的に、第２実施形態の効果に準じた効果が得られる。

・本技術は、地図画像（エリア画像）と変換撮影画像ＣＦＩとが視覚的に識別可能なように画像処理するものである。従って、第１実施形態の加工部１４において実行される地図画像ＭＩに対する処理（色変換処理）、第２実施形態の加工部１４において実行される変換撮影画像ＣＦＩに対する処理（縁取り処理）、上記変形例で示した加工部１４において実行される地図画像ＭＩに対する処理（低解像度変換処理）のうちの２つ以上の処理を同時に行ってもよい。

・本技術は、監視システムへの適用に限定されない。本技術は、本質的に、背景となるエリア画像に対してカメラにより撮影された撮影画像を重畳することにより合成画像を形成する技術に対して適用可能である。例えば、ゲーム機において、背景画（エリア画像）として撮影画像に類似する風景画像が用いられる場合に、本技術における課題と類似する課題が生じる。このため、このような映像産業分野において本技術を適用することができる。この場合においても、上記実施形態に示した効果に準じた効果が得られる。

・本技術は、携帯電話等における地図検索技術に対しても適用されうる。例えば、携帯電話の表示装置に空中写真地図画像（エリア画像）を表示させつつ、携帯電話のカメラにより周辺を撮影して、両者を合成させることにより、周りの景色と表示装置に表示される撮影画像とから使用者に現在位置（特に、建物に対する自身の位置）を容易に把握させることができる。この場合において、携帯電話のカメラに基づいて形成される変換撮影画像は、空中写真地図画像と混然一体となり、使用者にとってカメラが撮影している部分がどこに表示されているかが分かりにくくなる場合があると考えられる。このような携帯電話に対して本技術を適用することが可能である。

１…監視システム、１０…画像処理システム、１１…蓄積部、１２…画像変換部、１２Ａ…歪み補正部、１２Ｂ…射影変換部、１３…記憶部、１４…加工部、１５…合成部、１６…表示部、１７…操作部、２０…カメラ、１００…通信ネットワーク。

Claims (5)

1. カメラにより撮影するエリアが含まれるエリア画像を記憶する記憶部と、前記カメラから出力される撮影画像上において設定された幾何学的図形を有する設定領域と前記エリア画像上における前記設定領域に対応する部分とが外形上において一致するように前記撮影画像を射影変換することにより変換撮影画像を形成する画像変換部と、前記エリア画像と前記変換撮影画像とを重畳する合成部とを備える画像処理システムにおいて、
   前記エリア画像と前記変換撮影画像とが視覚的に識別可能なように前記エリア画像及び前記変換撮影画像のうちの少なくとも一方を加工する加工部を更に備える
   画像処理システム。
2. 前記加工部は、
   前記エリア画像を前記変換撮影画像よりも低解像度の画像に変換する低解像度変換処理を実行し、
   または、前記エリア画像を、その明度もしくは色調またはその両者が前記変換撮影画像の明度もしくは色調またはその両者と異ならせる色変換処理を実行し、
   または、前記変換撮影画像を縁取る縁取り処理を実行する
   請求項１に記載の画像処理システム。
3. 前記加工部は、背景画像と、前記エリア画像を半透明化処理した画像とを合成することにより、前記エリア画像の明度もしくは色調またはその両者を前記変換撮影画像の明度もしくは色調またはその両者と異ならせる
   請求項１に記載の画像処理システム。
4. 前記合成部で形成された合成画像と前記エリア画像とのいずれかを選択して表示部に出力するための操作部を備える
   請求項１〜請求項３のいずれか一項に記載の画像処理システム。
5. カメラから出力される撮影画像上において設定された幾何学的図形を有する設定領域とエリア画像上における前記設定領域に対応する部分とが外形上において一致するように前記撮影画像を射影変換することにより変換撮影画像を形成する画像処理と、
   前記エリア画像と前記変換撮影画像とが視覚的に識別可能なように前記エリア画像及び前記変換撮影画像のうちの少なくとも一方を加工する加工処理と、
   加工処理後の前記エリア画像に射影変換後の前記撮影画像を重畳する合成処理とを含み、これらの処理をコンピュータに実行させる画像処理プログラム。