JP2013206431A - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】画像間にずれが生じていても画像間の差分を検出する。
【解決手段】画像処理装置は、抽出部と、補正部と、検出部と、を備える。抽出部は、第１の画像に設定された第１の領域内の画像と相関がある第２の領域を第２の画像から抽出する。補正部は、前記第１の領域内の画像および前記第２の領域内の画像の各々の輝度値に基づいて、前記第１の領域内の画像および第２の領域内の画像の輝度を補正する。検出部は、輝度が補正された前記第１の領域および前記第２の領域内の画像を比較し、当該差分を検出する。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。

従来、略同一の地点を異なる時期に撮影して得られた二つの画像を比較し照合するために、画像の輝度を調節することが行われている。たとえば、二つの画像を比較して、撮影時期による変動のない対象物が写っている部分を基にして、二つの画像の輝度の差を検出する。そして、検出した輝度の差を基にして、両画像の輝度を補正する。このようにすることで、異なる時期に撮影された画像であっても補正後の輝度に基づいて適切に比較し照合することができる。

特開２００５−３１００５２号公報

しかしながら、衛星画像のように広範囲を撮影した画像の場合、一つの画像であってもその部分間の輝度差が大きい。そのため、従来の手法で二つの画像を比較し、画像全体について一様に輝度調整を行っても、全ての部分の輝度を適正に補正することができないことがある。その結果、画像間の差分を正しく検出することができない場合がある。

たとえば、異なる時点で撮影した二つの画像を比較する場合、撮影時の天候の違いや、季節の違いに起因する木の葉の緑色の濃さや日光の強さの違いの影響を受ける。たとえば、日光の強さが相違すると、画像に写る影の濃さが異なる。このため、異なる時点で撮影した二つの画像は、部分的または全体的に輝度が異なる場合が多い。このため、従来の手法で輝度を補正しても、その後画像を比較して正しく差分を検出することができない場合がある。

開示の技術は、上記に鑑みてなされたものであって、画像間にずれが生じていても画像間の差分を検出することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本願が開示する画像処理装置、画像処理方法および画像処理プログラムは、第１の画像に設定された第１の領域内の画像と相関がある第２の領域を第２の画像から抽出し、前記第１および第２の領域内の画像の各輝度値に基づいて、前記第１および第２の領域内の画像の輝度を補正し、輝度が補正された前記第１および第２の領域内の画像を比較し、領域間の差分を検出する。

開示の画像処理装置、画像処理方法および画像処理プログラムは、画像間にずれが生じていても画像間の差分を検出することができるという効果を奏する。

図１は、実施例１に係る画像処理装置の構成の一例を示す図である。 図２は、画像記憶部に記憶される画像情報の構成の一例を示す図である。 図３は、ウィンドウ記憶部に記憶される情報の構成の一例を示す図である。 図４は、輝度記憶部に記憶される情報の構成の一例を示す図である。 図５は、差分記憶部に記憶される情報の構成の一例を示す図である。 図６は、実施例１に係る画像処理装置による処理の流れの一例を示すフローチャートである。 図７は、補正部による輝度補正処理の流れの一例を示すフローチャートである。 図８は、処理画像から特に着目する領域を抽出して、比較画像内の対応する領域を探索する場合の手順を説明するための図である。 図９は、同一地点を異なる角度で撮影した場合に生じる画像間のずれの一例を説明するための図である。 図１０は、画像の位置合わせにおいて生じる画像間のずれの一例を説明するための図である。 図１１−１は、輝度調整の問題に起因した差分の誤検出について説明するための図である。 図１１−２は、輝度調整の問題に起因した差分の誤検出について説明するための図である。 図１１−３は、輝度調整の問題に起因した差分の誤検出について説明するための図である。 図１２−１は、輝度調整の問題に起因した差分の誤検出について説明するための他の図である。 図１２−２は、輝度調整の問題に起因した差分の誤検出について説明するための他の図である。 図１２−３は、輝度調整の問題に起因した差分の誤検出について説明するための他の図である。 図１３は、実施例１〜２に係る画像処理プログラムを実行するコンピュータの一例について説明するための図である。

以下に、開示の画像処理装置、画像処理方法および画像処理プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

［実施例１に係る画像処理装置の概略構成］
本願の開示する画像処理装置の実施例１として、画像処理サーバ１００を説明する（図１参照）。画像処理サーバ１００は、たとえば、クライアント２００から同一の地点を異なる時点で撮影した二つの画像の入力を受ける。または、画像処理サーバ１００は、クライアント２００から同一の地点を異なる時期に撮影した二つの画像を特定する指示を受け付ける。そして、画像処理サーバ１００は、一方の画像から所定の大きさの領域を抽出し、他方の画像から当該領域と相関がある領域を抽出する。そして、画像処理サーバ１００は、抽出した二つの領域間で輝度を補正する。そして、画像処理サーバ１００は、輝度補正後に、二つの領域間の差分を検出する。画像処理サーバ１００は、抽出した差分を合成して差分画像を生成する。

まず、図１を参照して、画像処理サーバ１００の構成の一例を説明する。図１は、実施例１に係る画像処理サーバ１００の構成の一例を示す図である。画像処理サーバ１００は、記憶部１１０、制御部１２０および入出力部１３０を備える。記憶部１１０は、画像処理サーバ１００内での処理に使用するデータおよび画像処理サーバ１００内での処理により生成されるデータを記憶する。制御部１２０は、画像処理サーバ１００内での画像処理を制御する。入出力部１３０は、外部から画像処理サーバ１００に入力されるデータを受信するとともに、画像処理サーバ１００により生成されるデータを外部に送信する。

また、画像処理サーバ１００は、クライアント２００と、ネットワーク３００を介して接続される。クライアント２００は、たとえば、モニタ２０１を備える。画像処理サーバ１００内で処理された画像は、入出力部１３０を介してクライアント２００に送られ、モニタ２０１に表示することができる。図１では、画像処理サーバ１００の外部にひとつのクライアント２００およびモニタ２０１が設けられるものとした。しかし、画像処理サーバ１００は、ネットワーク３００を介して複数のクライアント２００と接続されてもよい。そして、画像処理サーバ１００を、複数のクライアント２００から送信される画像を受信するように構成してもよい。また、画像処理サーバ１００内にモニタを設けて画像を確認できるように構成してもよい。また、画像処理サーバ１００自体に撮影機能を設けてもよく、また、画像処理サーバ１００を、クライアント２００とは別の撮影装置と接続してもよい。なお、クライアント２００は、たとえば、パーソナルコンピュータ、携帯電話機、スマートフォン、インターネットＴＶなどのコンピュータである。

画像処理サーバ１００は、略同一の地点を異なる時期に撮影して得られた二つの画像を比較照合して、当該二画像の差分を示す差分画像を生成し出力する。特に、画像処理サーバ１００は、二つの画像の間のずれに起因した差分の誤検出を防止するため、差分検出を行う前に画像から所定の大きさの領域を抽出し、抽出した領域ごとに輝度を補正して差分を検出する。

［記憶部１１０の構成］
ここで、図１に戻り、実施例１に係る画像処理サーバ１００の構成につきさらに説明する。画像処理サーバ１００は、上述の通り、記憶部１１０を備える。記憶部１１０は、画像処理サーバ１００における処理に使用する情報および処理の結果として生成される情報を記憶する。記憶部１１０は、画像記憶部１１１と、ウィンドウ記憶部１１２と、輝度記憶部１１３と、差分記憶部１１４と、を備える。なお、記憶部１１０は、半導体メモリ素子や記憶装置などである。たとえば、半導体メモリ素子としては、ＶＲＡＭ（Video Random Access Memory）、ＲＡＭ（Random Access Memory)、ＲＯＭ（Read Only Memory）やフラッシュメモリ（flash memory）などが挙げられる。また、記憶装置としては、ハードディスク、光ディスクなどの記憶装置が挙げられる。以下、記憶部１１０に記憶される情報につき説明する。

［画像情報］
画像記憶部１１１は、画像処理サーバ１００が受信した画像情報を記憶する。図２は、画像記憶部１１１に記憶される画像情報の構成の一例を示す図である。たとえば、図２に示すように、画像情報は、画像を一意に識別する画像ＩＤ（Identifier）を含む。そして、画像記憶部１１１は、画像ＩＤに対応付けて、画像が撮影された場所、撮影日時、画像自体等を記憶する。図２に示す例では、画像ＩＤ「００１」に対応づけて、画像ＩＤ「００１」の画像の撮影地点の緯度と経度が「３５．６５８７，１３９．７４」として記憶されている。さらに、画像ＩＤ「００１」に対応づけて、撮影日時「２０１２／３／３０」が記憶されている。さらに、画像ＩＤ「００１」に対応づけて、画像自体が記憶されている。

［ウィンドウ情報］
ウィンドウ記憶部１１２は、画像処理サーバ１００での画像処理において使用するウィンドウに関する情報を記憶する。図３は、ウィンドウ記憶部１１２に記憶される情報の構成の一例を示す図である。ウィンドウとは、処理対象画像から抽出する領域の大きさを規定する枠である。ウィンドウの大きさは、二つの画像を比較照合して差分画像を生成する際に、差分として検出する検出対象の大きさによって決定される。

たとえば、二つの画像を比較照合して、違法な増改築が行われていないかどうかの判定に利用する場合であれば、増改築が予想される建造物の大きさと略同一の大きさのウィンドウを設定する。また、二つの画像を比較照合して、不法投棄のために森林伐採された箇所があるか否かの判定に利用する場合であれば、伐採されると予想される区画と略同一の大きさのウィンドウを設定する。ウィンドウの大きさは、検出対象と同一か、又は、検出対象よりも小さいことが好ましい。

図３に示す例では、対象画像の縮尺および解像度に対応付けて「検出対象」、「ウィンドウサイズ」、「フラグ」が記憶されている。対象画像の縮尺によって、画像上の検出対象の大きさが変化するため、ウィンドウサイズと対象画像の縮尺とを対応づけて記憶する。たとえば、「対象画像の縮尺」として「１／１０，０００（解像度２，５４００ｄｐｉ）」を記憶する。そして、この縮尺に対応付けて、「検出対象」としてたとえば「増改築物」を記憶する。さらに、「検出対象：増改築物」に対応付けて「ウィンドウサイズ：１００×１００（画素）」を記憶する。また、どのウィンドウサイズが現在選択されているかを示すために、「フラグ」を記憶する。図３の例では、上から２列目の「フラグ」が「○」になっており、縮尺「１／１０，０００」の画像を対象として「不法廃棄物」を検出するためのウィンドウサイズ「３０×３０（画素）」が選択されていることが分かる。

なお、ここでは、画像処理サーバ１００内に、予め検出対象に対応づけてウィンドウサイズを設定し記憶しておくものとした。しかし、これに限定されず、ウィンドウサイズは適宜、オペレータの入力によって設定されるものとしてもよい。

［領域情報］
輝度記憶部１１３は、画像処理サーバ１００が処理する二つの画像各々から抽出した領域の情報を記憶する。図４は、輝度記憶部１１３に記憶される情報の構成の一例を示す図である。

たとえば、図４に示すように、輝度記憶部１１３は、画像処理サーバ１００の処理の対象となる画像（以下、「処理画像」とも称する。）を一意に特定する「処理画像ＩＤ」を記憶する。また、輝度記憶部１１３は、処理画像と比較される画像（以下、「比較画像」とも称する。）を一意に特定する「比較画像ＩＤ」を記憶する。輝度記憶部１１３は、「処理画像ＩＤ」と「比較画像ＩＤ」とに対応づけて、「処理領域ＩＤ」を記憶する。ここで、「処理領域ＩＤ」は、上述のウィンドウサイズに基づき、処理画像を複数領域に分割して得られる各領域を一意に特定する。さらに、輝度記憶部１１３は、「処理領域情報（位置、輝度）」、「比較領域情報（位置、輝度）」を記憶する。ここで、「処理領域情報（位置、輝度）」は、「処理領域ＩＤ」により特定される領域の、処理画像上での位置と輝度を含む。また、「比較領域情報（位置、輝度）」は、処理領域に対応する、比較画像から抽出された領域の、比較画像上での位置と輝度とを含む。図４の例では、各領域の位置を座標によって特定し、各領域の輝度を輝度ヒストグラムによって特定している。

たとえば、図４では、輝度記憶部１１３は、「処理画像ＩＤ：００１」に対応付けて、「比較画像ＩＤ：００５」、「処理領域ＩＤ：０００１」を記憶する。また、輝度記憶部１１３は、「処理領域ＩＤ：０００１」の領域の位置情報として、領域の４隅の座標である「（ｘ_１，ｙ_１）、（ｘ_２，ｙ_２）、（ｘ_３，ｙ_３）、（ｘ_４，ｙ_４）」を記憶する。さらに、輝度記憶部１１３は、「処理領域ＩＤ：０００１」の領域の輝度情報として、当該領域の輝度を算出して作成した輝度ヒストグラムを記憶する。また、輝度記憶部１１３は、「比較領域情報」として、比較領域の４隅の座標である「（ｘ_５，ｙ_５）、（ｘ_６，ｙ_６）、（ｘ_７，ｙ_７）、（ｘ_８，ｙ_８）」を記憶する。また、輝度記憶部１１３は、比較領域の輝度情報として、後述する補正部１２５が当該領域の輝度を算出して作成した輝度ヒストグラムを記憶する。なお、処理領域情報および比較領域情報は、この例に限定されず、各領域の位置および輝度を特定することができる情報であればよい。

［差分の情報］
差分記憶部１１４は、画像処理サーバ１００における処理の結果、処理画像の領域と当該領域に対応する比較画像の領域との間の差分として検出された差分領域画像を記憶する。図５は、差分記憶部１１４に記憶される情報の構成の一例を示す図である。差分記憶部１１４は、たとえば、図５に示すように、「処理画像ＩＤ」、「比較画像ＩＤ」、「処理領域ＩＤ」および「差分領域画像」を相互に対応付けて記憶する。差分記憶部１１４は、図５の例では、「処理画像ＩＤ：００１」の処理画像について、「比較画像ＩＤ：００５」の比較画像と比較照合した結果、「処理領域ＩＤ：０００１」の領域について検出された「差分領域画像」を記憶する。比較された領域間に差分が検出されなかった場合は、差分記憶部１１４は「差分領域画像：ＮＡ」（差分がないことを意味する。）と記憶する。

［制御部の構成］
次に、図１に戻って、画像処理サーバ１００の制御部１２０の構成について説明する。制御部１２０は、受付部１２１と、調整部１２２と、位置合わせ部１２３と、抽出部１２４と、補正部１２５と、検出部１２６と、を備える。制御部１２０は、入出力部１３０を介して受信した画像を解析して輝度の補正処理および差分画像の検出処理を実行する。制御部１２０における処理によって生成されるデータは適宜、記憶部１１０に記憶される。なお、制御部１２０は、たとえば、各種の集積回路や電子回路である。たとえば、集積回路としては、ＡＳＩＣ（Application Specific Integrated Circuit）が挙げられる。また、電子回路としては、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などが挙げられる。

受付部１２１は、入出力部１３０を介して少なくとも二つの画像（たとえば画像Ａ、Ｂ）を受け付ける。受け付けた画像は、指示入力に基づき調整部１２２に送られる。また、受付部１２１が受け付けた画像は、画像記憶部１１１に記憶される。また、受付部１２１は、通常は受け付けた画像を画像記憶部１１１に記憶するのみとし、オペレータ等による指示入力があった場合に、画像記憶部１１１に記憶された画像を読み出し、調整部１２２に送るよう構成してもよい。

調整部１２２は、受付部１２１から送られる二つの画像の全体輝度を調整する。たとえば、調整部１２２は、二つの画像を比較して、撮影されている対象物に比較的変化のない部分を検出する。そして、調整部１２２は、検出した部分について二つの画像それぞれにおける輝度を算出する。そして、調整部１２２は、二つの画像において、検出した部分の輝度が等しくなるよう、各画像全体の輝度を一様に調整する。なお、調整部１２２が実行する輝度調整の手法は特に限定されず、従来から二つの画像の輝度を全体的に調整するために用いられている手法を用いることができる。

位置合わせ部１２３は、輝度調整後の二つの画像の位置ずれを調整する。同一地点を撮影して得られた二つの画像であっても、撮影された対象物の位置や形状が完全に一致していることは稀である。通常、画像中の対象物の位置にずれが存在する。位置合わせ部１２３は、このようなずれを調整する。たとえば、位置合わせ部１２３は、各画像から輝度差の勾配が大きい点を特徴点として抽出し、両画像中の特徴点のうち、対応する特徴点をペアとして決定する。そして、ペアになった特徴点の位置が等しくなるように、画像を調整する。なお、位置合わせ部１２３による位置合わせの手法も特に限定されず、従来から二つの画像を位置合わせするために用いられている手法を用いることができる。

抽出部１２４は、二つの画像のうち、処理画像から所定の大きさの領域を抽出し、抽出した領域と相関がある領域を比較画像から探索する。

抽出部１２４はまず、たとえば、外部からの指示入力に応じて処理に使用するウィンドウを設定する。抽出部１２４は、検出対象を指定する指示入力に応じてウィンドウ記憶部１１２（図３参照）を参照し、指示入力に対応するウィンドウにフラグを設定する。ウィンドウの設定は、ウィンドウ記憶部１１２に記憶された情報を参照して、いずれかのウィンドウに対応するフラグを設定することによって実現される。ただし、ウィンドウの設定は、ウィンドウ記憶部１１２を利用する例に限定されず、直接ウィンドウサイズの数値を入力すること等によっても実現できる。

抽出部１２４は、設定したウィンドウのサイズに基づき、処理画像からウィンドウサイズの領域を抽出する。ここでは、抽出部１２４は、処理画像をウィンドウサイズの複数の領域に分割することで、複数の領域を抽出するものとする。

ただし、抽出部１２４は、処理画像全体を処理の対象としなくともよい。たとえば、抽出部１２４は、所定の特徴を有する点を抽出し、当該点の周囲の領域を抽出するものとしてもよい。また、抽出部１２４は、位置合わせ部１２３が抽出した特徴点の位置を中心とする領域を抽出するものとしてもよい。また、抽出部１２４は、他の基準、例えば所定の色差、輝度差となる点を中心とする領域を抽出するものとしてもよい。

抽出部１２４は、さらに処理画像から抽出した領域内の画像との相関が高い領域を、比較画像から探索する。そして、抽出部１２４は、比較画像から、処理画像の領域内の画像と相関がある領域を抽出する。抽出部１２４は、たとえば、模様の相関が高い領域を探索し、抽出する。

たとえば、抽出部１２４は、正規化相互相関（ＺＮＣＣ：Zero-mean Normalized Cross-Correlation）を用いて比較画像の探索を行い、類似度が１に近い領域を抽出する。ただし、比較画像から領域を抽出するための手法は、正規化相互相関を用いた手法に限定されない。たとえば、差分絶対値和（ＳＡＤ：Sum of Absolute Differences）や、差の二乗和（ＳＳＤ：Sum of Squared Difference）等を利用した手法を採用できる。また、エッジ形状の相関が最も高い領域を抽出するようにしてもよい。

なお、抽出部１２４は、処理画像の領域に対応する比較画像中の領域を探索する際、比較画像全体を左から右、上から下に順次探索していってもよい。しかし、この場合比較画像全体を探索することになり処理量が多くなる。よって、処理画像の領域の位置と対応する比較画像中の位置を中心点として、予め所定の範囲を探索範囲として設定し、設定した探索範囲の領域のみを探索するように構成してもよい。

補正部１２５は、抽出部１２４が抽出した両領域の輝度を算出して、算出した輝度に基づき、処理画像の領域の輝度を補正する。

補正部１２５は、抽出部１２４が抽出した比較画像の領域および処理画像の領域各々の画素の輝度を算出し、両領域の輝度ヒストグラムを作成する。そして、補正部１２５は、各々の領域の輝度ヒストグラムのピーク値を算出して、ピーク値が等しくなるように処理画像および比較画像の領域の輝度を補正する。これによって、補正部１２５は、処理画像の領域の輝度を補正し、補正領域を生成する。なお、補正部１２５による輝度補正の手法は、ピーク値を等しくする手法に限定されない。たとえば、補正部１２５は、両領域の輝度ヒストグラムの最大値と最小値を算出し、最大値と最小値とが両領域間で一致するように、処理画像および比較画像の領域の輝度を補正してもよい。

検出部１２６は、補正部１２５により輝度が補正された、処理画像の領域と比較画像の領域とを比較して、差分を検出する。たとえば、検出部１２６は、補正後の両領域の輝度を比較して、輝度差が所定の値以上の部分を検出する。検出部１２６が検出した差分は、差分記憶部１１４に記憶する。また、検出部１２６が検出した差分は、入出力部１３０を介してクライアント２００に送ることができる。

なお、調整部１２２や位置合わせ部１２３は、必ずしも設けなくてもよい。また、初期設定に基づき画像処理を行う場合等、受付部１２１も必ずしも設けなくてもよい。

［実施例１に係る画像処理装置の処理の流れ］
次に、図６を参照し、実施例１に係る画像処理サーバ１００による処理の流れの一例について説明する。図６は、実施例１に係る画像処理サーバ１００による処理の流れの一例を示すフローチャートである。

図６に示すように、受付部１２１はまず、画像Ａ（処理画像）と画像Ｂ（比較画像）とを受け付ける（ステップＳ１０１）。調整部１２２が、画像Ａと画像Ｂとを比較して、画像Ａの全体的な輝度を調整する（ステップＳ１０２）。位置合わせ部１２３は、画像Ａと画像Ｂとの位置合わせをおこなう（ステップＳ１０３）。そして、抽出部１２４は、まず、ウィンドウを設定する（ステップＳ１０４）。たとえば、抽出部１２４は、ユーザの入力に応じてまたは検出対象のサイズに応じて、適用するウィンドウサイズをウィンドウ記憶部１１２に設定する。ただし、抽出部１２４は、デフォルトで設定されたウィンドウサイズに基づいて処理を行うものとしてもよい。

そして、抽出部１２４は、設定されたウィンドウに基づき、画像Ａを複数領域に分割する。そして、抽出部１２４は、複数の領域から一つの領域を選択する（ステップＳ１０５）。

次に、抽出部１２４は、選択した、画像Ａの領域と相関の高い領域を、画像Ｂから探索する（ステップＳ１０６）。そして、抽出部１２４は、選択した画像Ａの領域と相関の高い画像Ｂの領域を抽出する（ステップＳ１０７）。

抽出部１２４が画像Ａの領域と、画像Ｂの対応領域とを特定すると、特定された領域について、補正部１２５による輝度補正処理が行われる（ステップＳ１０８）。輝度補正処理については後述する。

補正部１２５による輝度補正処理の後、検出部１２６は、輝度補正後の画像Ａの領域と、画像Ｂの領域とを比較して、両者の差分を検出する（ステップＳ１０９）。検出部１２６は、画像Ａ中に未選択の領域があるか否か、すなわち、画像Ａの全ての領域についてステップＳ１０６乃至ステップＳ１０９の処理が終了しているか否かを判定する（ステップＳ１１０）。検出部１２６は、画像Ａ中に未選択領域があると判定した場合（ステップＳ１１０、肯定）、未選択の次の領域を選択し（ステップＳ１１２）、抽出部１２４に処理を戻す。そして、抽出部１２４、補正部１２５および検出部１２６は、ステップＳ１０６乃至ステップＳ１０９の処理を繰り返す。他方、検出部１２６は、画像Ａ中に未選択領域がない、すなわち、画像Ａの全ての領域についてステップＳ１０６乃至ステップＳ１０９の処理が終了したと判定した場合（ステップＳ１１０、否定）、検出した差分を合成して差分画像を生成する（ステップＳ１１１）。これで、処理を終了する。

［輝度補正処理の流れ］
図７を参照し、補正部１２５による輝度補正処理についてさらに説明する。図７は、補正部１２５による輝度補正処理の流れの一例を示すフローチャートである。まず、補正部１２５は、画像Ａの領域の輝度を算出し、輝度ヒストグラムを生成する（ステップＳ３０１）。さらに、補正部１２５は、画像Ｂの対応領域の輝度を算出し、輝度ヒストグラムを生成する（ステップＳ３０２）。生成した輝度ヒストグラムは、輝度記憶部１１３に記憶する。そして、補正部１２５は、生成した二つの輝度ヒストグラムを比較し、ピーク値が等しくなるように、画像Ａおよび画像Ｂの領域の輝度を補正する（ステップＳ３０３）。そして、補正部１２５は、補正した輝度の領域を生成する（ステップＳ３０４）。

なお、先述したとおり、補正部１２５は、ステップＳ３０３において、輝度ヒストグラムの最大値と最小値が両領域間で一致するように、画像Ａの領域の輝度を補正するように構成してもよい。

なお、ここでは、抽出部１２４が画像Ａを複数の領域に分割し、各々の領域について補正部１２５が輝度補正を実行し、検出部１２６が差分検出を行うものとした。しかし、画像Ａから特に変化の有無を検出したい部分を選択し、当該部分についてのみ、輝度補正および差分検出を行うこともできる。たとえば、画像Ａから所定の基準に基づいて特徴点を抽出し、特徴点がウィンドウの中央に位置するようにウィンドウを配置して領域を切り取る。そして、当該領域と相関性の高い領域を画像Ｂから抽出して比較し、輝度補正および差分検出を行ってもよい。

例として、図８に、画像Ａから特に着目する領域を抽出して処理する場合の一例を示す。図８は、画像Ａから特に着目する領域を抽出して、画像Ｂ内の対応する領域を探索する場合の手順を説明するための図である。図８に示すように、抽出部１２４は、画像Ａからウィンドウサイズの注目領域を抽出する。そして、抽出部１２４は、画像Ｂから注目領域にほぼ対応する位置の対応領域を抽出する。そして、抽出部１２４は、画像Ｂの対応領域の近傍を探索して、高相関領域を抽出する。補正部１２５は、注目領域と、画像Ｂから抽出した領域各々の輝度を算出し、輝度ヒストグラムを生成する。補正部１２５は、抽出された高相関領域と、注目領域との間で輝度補正を行って、各領域の輝度を補正し補正領域を生成する。

［実施例１の効果］
このように、実施例１に係る画像処理サーバ１００は、第１の画像に設定された第１の領域内の画像と相関がある第２の領域を第２の画像から抽出する。画像処理サーバ１００は、前記第１および第２の領域内の画像の各輝度値に基づいて、前記第１および第２の領域内の画像の輝度を補正する。画像処理サーバ１００は、輝度が補正された前記第１および第２の領域内の画像を比較し、差分を検出する。このため、画像間にずれが生じていても画像間の差分を検出することができる。また、処理画像と比較画像とが、部分的にずれを生じている場合であっても、対応する領域を適切に特定した上で、処理画像と比較画像の差分を検出することができる。

たとえば、実施例１の画像処理サーバ１００は、以下のような画像ずれがある場合でも画像間の差分を適切に検出することができる。

たとえば、異なる撮影角度から撮影したために、撮影対象の向きや映り具合に差異が生じていることがある。図９は、同一地点を異なる角度で撮影した場合に生じる画像間のずれの一例を説明するための図である。図９に示すように、空中にある撮影点Ａおよび撮影点Ｂのそれぞれから、地上方向を撮影方向として撮影を行い、画像Ａ_ＩおよびＢ_Ｉを取得したとする。撮影方向の地上には地物Ｏ_１およびＯ_２が存在している。撮影点Ａから撮影した場合、地物Ｏ_２は、真上からではなく、左斜め上方、すなわち地物Ｏ_１側上方から見下ろされる状態となる。そのため、取得される画像Ａ_Ｉにおいては、地物Ｏ_２の、画面左側に位置する側面が現れる。また、撮影点Ｂから撮影した場合、地物Ｏ_１は、真上からではなく、右斜め上方、すなわち地物Ｏ_２側上方から見下ろされる状態となる。そのため、取得される画像Ｂ_Ｉにおいては、地物Ｏ_１の、画面右側に位置する側面が現れる。このため、画像Ａ_Ｉと画像Ｂ_Ｉとを比較すると、画像Ｂ_Ｉにおいて地物Ｏ_１の右側面が画面上に現れている分だけ、画像Ｂ_Ｉでは、画像Ａ_Ｉよりも地物Ｏ_１の上部の位置が左側にずれている。また、画像Ａ_Ｉにおいて地物Ｏ_２の左側面が画面上に現れている分だけ、地物Ｏ_２の上部の位置が、画像Ａ_Ｉにおいて画像Ｂ_Ｉよりも右側にずれている。このように、略同一の地点を撮影した場合であっても、撮影角度が異なると、画面上に現れる地物の位置にずれが発生する。

また、縮尺の異なる画像の位置合わせをおこなった際に、画像の一部は適切に位置合わせされ、他の部分ではずれが生じてしまうことがある。また、たとえば、二つの画像の位置合わせ処理を行うときに、微小なずれが発生することもある。たとえば、図１０に示すように、画像Ｃ_Ｉ（図１０の（１））と画像Ｄ_Ｉ（図１０の（２））とを位置合わせすることを考える。ここでは、まず、両画像の特徴的な点である特徴点を抽出する。特徴点とはたとえば、画像中、周辺画素との輝度差が大きい点や、境界線の交点などである。図１０の例では、画像Ｃ_Ｉから特徴点Ｐ_１〜Ｐ_３が抽出され、画像Ｄ_Ｉから特徴点Ｐ_４〜Ｐ_６が抽出されている。画像Ｃ_Ｉと画像Ｄ_Ｉとを、対応する特徴点が重なりあうように位置合わせすると、図１０の（３）に示す画像が得られる。画像Ｃ_Ｉと画像Ｄ_Ｉとは大きさに差異があるため、特徴点を重ね合わせて位置合わせした場合、形状は一致せず、特徴点から離れた部分でずれが発生している。

また、例えば、輝度調整の問題に起因した差分の誤検出もある。図１１−１乃至図１１−３は、輝度調整の問題に起因した差分の誤検出について説明するための図である。図１１−１に示すように、地面に影が映った画像に対して、画像全体に統一的な輝度調整処理を施しても、影の部分には特に効果はない。つまり、図１１−２に示すように、同じ場所を撮影した画像であって地面に影が映っていない画像と比較すると、図１１−３に示すように、影が差分として誤検出されてしまう。また、画像の一部に映った物体の位置が、二つの画像間で微妙にずれている場合もある。図１２−１乃至図１２−３は、輝度調整の問題に起因した差分の誤検出について説明するための他の図である。図１２−１に示す例では、画像の一部に映った物体が、やや左寄りに示されている。これに対して、図１２−２に示す例では、対応する物体が、図１２−１と比較して、やや右寄りに示されている。図１２−１の画像を、図１２−２に示すような、同じ場所を撮影した画像であって、画像の一部に映った物体の位置がずれている画像と比較したとする。すると、図１２−３に示すように、ずれた位置に写っている物体も二つの画像の差分として検出されてしまう。このように、二つの画像を比較照合して差分を検出する場合、撮影条件等によって発生した画像間のずれを考慮せずに輝度を補正した場合、本来は差分として検出する対象ではない部分が、差分として誤検出されてしまう。

実施例１に係る画像処理サーバ１００は、上述したような画像間のずれがある場合であっても、画像間の差分を適正に検出することができる。

また、実施例１に係る画像処理サーバ１００は、第１の画像に設定された第１の領域内の画像と相関がある第２の領域を第２の画像から抽出する。画像処理サーバ１００は、前記第１および第２の領域内の画像の各輝度値に基づいて、前記第１および第２の領域内の画像の輝度を補正する。画像処理サーバ１００は、輝度が補正された前記第１および第２の領域内の画像を比較し、領域間の差分を検出する。このため、処理画像と比較画像との間で、検出対象の位置や状態にずれが生じている場合であっても、検出対象の輝度を適切に補正して、差分として検出することができる。

また、実施例１に係る画像処理サーバ１００は、第１の画像に設定された第１の領域内の画像と相関がある第２の領域を第２の画像から抽出する。画像処理サーバ１００は、前記第１および第２の領域内の画像の各輝度値に基づいて、前記第１および第２の領域内の画像の輝度を補正する。画像処理サーバ１００は、輝度が補正された前記第１および第２の領域内の画像を比較し、領域間の差分を検出する。このため、画像間で、撮影角度が異なること等により検出対象の写り方にずれが生じている場合であっても、検出対象の大きさに合わせた大きさの領域にもとづき、輝度補正および差分抽出ができる。したがって、検出対象の輝度を適切に補正して、差分として検出することができる。

なお、実施例１によれば、時間的に離れた２時点でそれぞれ撮影された、人工衛星や航空機により撮影された画像の輝度を領域ごとに比較し、差分を検出することで、変化が生じた地点を特定することができる。たとえば、実施例１によれば、違法に増改築された土地や建物、違法に伐採された森林や不法投棄などが行われている場所を特定することができる。また、かかる場所を画像上で特定したうえで、実際の場所を調査することができる。

これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。

［画像処理サーバ］
開示の画像処理方法は、クラウドシステムを構成する画像処理サーバに実装し、クラウドシステムを介してユーザから送信される画像の処理に適用することができる。たとえば、衛星写真システムや航空写真システムから随時提供される写真のデータを、クラウドシステムのサーバに格納する。ユーザは、画像に撮影地点の情報を添付して送信する。また、ユーザは、撮影地点ごとに検出したい対象物を特定し、また、変化の有無を検出するための処理を行う間隔を指定する。画像処理サーバは、ユーザが指定した間隔で、開示の画像処理を行うことにより、サーバに格納された対応画像間の差分を検出し、差分画像をサーバに格納する。このように構成することで、ユーザは、クラウドシステムに画像のデータを送信するだけで、所望の期間ごとに、同一地点においてどのような変化があったかを容易に確認することができる。

［分散および統合］
図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の付加や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。たとえば、図１に示したモニタ２０１を画像処理サーバ１００に組み入れ、画像処理サーバ１００においてモニタ２０１に差分画像を出力し確認することができるように構成してもよい。また、記憶部１１０について、画像記憶部１１１、輝度記憶部１１３、差分記憶部１１４を統合して一つの記憶部として構成してもよい。また、画像記憶部１１１を外部メモリとして、ネットワークにより画像処理サーバ１００に接続される構成にしてもよい。

［画像処理プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１３を用いて、上記の実施例と同様の機能を有する画像処理プログラムを実行するコンピュータの一例について説明する。

図１３は、実施例１〜２に係る画像処理プログラムを実行するコンピュータの一例について説明するための図である。図１３に示すように、コンピュータ１０００は、操作部１１００と、ディスプレイ１２００と、通信部１３００とを有する。さらに、このコンピュータ１０００は、ＣＰＵ１４００と、ＲＯＭ１５００と、ＲＡＭ１６００と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１７００とを有する。これら１１００〜１７００の各部はバス１８００を介して接続される。

ＨＤＤ１７００には、図１３に示すように、上記の実施例１〜２で示した受付部１２１、調整部１２２、位置合わせ部１２３、抽出部１２４、補正部１２５および検出部１２６と同様の機能を発揮する画像処理プログラム１７００ａが予め記憶される。この画像処理プログラム１７００ａについては、図１に示した各々の各構成要素と同様、適宜統合または分離してもよい。すなわち、ＨＤＤ１７００に格納される各データは、常に全てのデータがＨＤＤ１７００に格納される必要はなく、処理に必要なデータのみがＨＤＤ１７００に格納されればよい。

そして、ＣＰＵ１４００が、画像処理プログラム１７００ａをＨＤＤ１７００から読み出してＲＡＭ１６００に展開する。これによって、図１３に示すように、画像処理プログラム１７００ａは、画像処理プロセス１６００ａとして機能する。この画像処理プロセス１６００ａは、ＨＤＤ１７００から読み出した各種データを適宜ＲＡＭ１６００上の自身に割り当てられた領域に展開し、この展開した各種データに基づいて各種処理を実行する。なお、画像処理プロセス１６００ａは、図１に示した受付部１２１、調整部１２２、位置合わせ部１２３、抽出部１２４、補正部１２５および検出部１２６にて実行される処理、たとえば、図６〜図７に示す処理を含む。また、ＣＰＵ１４００上で仮想的に実現される各処理部は、常に全ての処理部がＣＰＵ１４００上で動作する必要はなく、必要な処理部のみが仮想的に実現されればよい。

なお、上記の画像処理プログラム１７００ａについては、必ずしも最初からＨＤＤ１７００やＲＯＭ１５００に記憶させておく必要はない。たとえば、コンピュータ１０００に挿入されるフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）などの「可搬用の物理媒体」に各プログラムを記憶させる。または、ＤＶＤ（Digital Versatile Disc）ディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１０００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮ（Wide Area Network）などを介してコンピュータ１０００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておいてもよい。そして、コンピュータ１０００がこれらから各プログラムを取得して実行するようにしてもよい。

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）第１の画像に設定された第１の領域内の画像と相関がある第２の領域を第２の画像から抽出する抽出部と、
前記第１および第２の領域内の画像の各輝度値に基づいて、前記第１および第２の領域内の画像の輝度を補正する補正部と、
輝度が補正された前記第１および第２の領域内の画像を比較し、差分を検出する検出部と、
を備えることを特徴とする画像処理装置。

（付記２）前記抽出部は、前記第２の画像から、第１の領域内の画像とエッジ形状の相関が最も高い領域を抽出することを特徴とする、付記１に記載の画像処理装置。

（付記３）前記補正部は、前記第１および前記第２の領域内の輝度のピーク値を合わせることまたは前記第１の領域および前記第２の領域内の輝度の最大値および最小値を合わせることによって、前記第１および第２の領域内の画像の輝度を補正することを特徴とする、付記１または２に記載の画像処理装置。

（付記４）前記抽出部は、前記第１の画像に設定された複数の第１の領域ごとに、当該第１の領域と相関がある複数の第２の領域を第２の画像から抽出し、
前記検出部は、前記複数の第１および第２の領域間ごとに画像を比較し、各領域間ごとの差分を検出し合成することを特徴とする、付記１〜３のいずれか１つに記載の画像処理装置。

（付記５）前記第１および第２の画像内の輝度値に基づき、画像全体の輝度を補正する第２の補正部と、
前記第２の補正部により補正された前記第１および第２の画像から特徴点を検出し、前記第１および第２の画像の位置合わせを実行する位置合わせ部と、
をさらに備え、
前記抽出部は、
前記位置合わせ部が検出した第１の画像の特徴点から所定の距離範囲に設定された前記第１の領域と相関がある第２の領域を前記第２の画像から抽出することを特徴とする、付記１〜４のいずれか１つに記載の画像処理装置。

（付記６）前記第１の画像に設定する前記第１の領域の大きさを設定する設定部をさらに備え、
前記抽出部は、前記設定部が設定した大きさの前記第１の領域と相関がある第２の領域を前記第２の画像から抽出することを特徴とする、付記１〜５のいずれか１つに記載の画像処理装置。

（付記７）画像処理サーバが、
第１の画像に設定された第１の領域内の画像と相関がある第２の領域を第２の画像から抽出し、
前記第１および第２の領域内の画像の各輝度値に基づいて、前記第１および第２の領域内の画像の輝度を補正し、
輝度が補正された前記第１および第２の領域内の画像を比較し、差分を検出する、
ことを含む各処理を実行することを特徴とする画像処理方法。

（付記８）前記第２の画像から、第１の領域内の画像とエッジ形状の相関が最も高い領域を抽出することを特徴とする、付記７に記載の画像処理方法。

（付記９）前記第１および前記第２の領域内の輝度のピーク値を合わせることまたは前記第１の領域および前記第２の領域内の輝度の最大値および最小値を合わせることによって、前記第１および第２の領域内の画像の輝度を補正することを特徴とする、付記７または８に記載の画像処理方法。

（付記１０）前記第１の画像に設定された複数の第１の領域ごとに、当該第１の領域と相関がある複数の第２の領域を第２の画像から抽出し、
前記複数の第１および第２の領域間ごとに画像を比較し、各領域間ごとの差分を検出し合成することを特徴とする、付記７〜９のいずれか１つに記載の画像処理方法。

（付記１１）前記第１および第２の画像内の輝度値に基づき、画像全体の輝度を補正し、
前記第２の補正部により補正された前記第１および第２の画像から特徴点を検出し、前記第１および第２の画像の位置合わせを実行する、
各処理をさらに実行し、
検出した第１の画像の特徴点から所定の距離範囲に設定された前記第１の領域と相関がある第２の領域を前記第２の画像から抽出することを特徴とする、付記７〜１０のいずれか１つに記載の画像処理方法。

（付記１２）前記第１の画像に設定する前記第１の領域の大きさを設定する、
処理をさらに実行し、
設定した大きさの前記第１の領域と相関がある第２の領域を前記第２の画像から抽出することを特徴とする、付記７〜１１のいずれか１つに記載の画像処理方法。

（付記１３）第１の画像に設定された第１の領域内の画像と相関がある第２の領域を第２の画像から抽出し、
前記第１および第２の領域内の画像の各輝度値に基づいて、前記第１および第２の領域内の画像の輝度を補正し、
輝度が補正された前記第１および第２の領域内の画像を比較し、差分を検出する、
各処理をコンピュータに実行させることを特徴とする画像処理プログラム。

（付記１４）前記第２の画像から、第１の領域内の画像とエッジ形状の相関が最も高い領域を抽出することを特徴とする、付記１３に記載の画像処理プログラム。

（付記１５）前記第１および前記第２の領域内の輝度のピーク値を合わせることまたは前記第１の領域および前記第２の領域内の輝度の最大値および最小値を合わせることによって、前記第１および第２の領域内の画像の輝度を補正することを特徴とする、付記１３または１４に記載の画像処理プログラム。

（付記１６）前記第１の画像に設定された複数の第１の領域ごとに、当該第１の領域と相関がある複数の第２の領域を第２の画像から抽出し、
前記複数の第１および第２の領域間ごとに画像を比較し、各領域間ごとの差分を検出し合成することを特徴とする、付記１３〜１５のいずれか１つに記載の画像処理プログラム。

（付記１７）前記第１および第２の画像内の輝度値に基づき、画像全体の輝度を補正し、
前記第２の補正部により補正された前記第１および第２の画像から特徴点を検出し、前記第１および第２の画像の位置合わせを実行する、
各処理をさらに実行し、
検出した第１の画像の特徴点から所定の距離範囲に設定された前記第１の領域と相関がある第２の領域を前記第２の画像から抽出することを特徴とする、付記１３〜１６のいずれか１つに記載の画像処理プログラム。

（付記１８）前記第１の画像に設定する前記第１の領域の大きさを設定する、
処理をさらに実行し、
設定した大きさの前記第１の領域と相関がある第２の領域を前記第２の画像から抽出することを特徴とする、付記１３〜１７のいずれか１つに記載の画像処理プログラム。

１００ 画像処理サーバ
１１０ 記憶部
１１１ 画像記憶部
１１２ ウィンドウ記憶部
１１３ 輝度記憶部
１１４ 差分記憶部
１２０ 制御部
１２１ 受付部
１２２ 調整部
１２３ 位置合わせ部
１２４ 抽出部
１２５ 補正部
１２６ 検出部
１３０ 入出力部
２００ クライアント
２０１ モニタ

Claims (8)

1. 第１の画像に設定された第１の領域内の画像と相関がある第２の領域を第２の画像から抽出する抽出部と、
   前記第１および第２の領域内の画像の各輝度値に基づいて、前記第１および第２の領域内の画像の輝度を補正する補正部と、
   輝度が補正された前記第１および第２の領域内の画像を比較し、差分を検出する検出部と、
   を備えることを特徴とする画像処理装置。
2. 前記抽出部は、前記第２の画像から、第１の領域内の画像とエッジ形状の相関が最も高い領域を抽出することを特徴とする、請求項１に記載の画像処理装置。
3. 前記補正部は、前記第１および前記第２の領域内の輝度のピーク値を合わせることまたは前記第１の領域および前記第２の領域内の輝度の最大値および最小値を合わせることによって、前記第１および第２の領域内の画像の輝度を補正することを特徴とする、請求項１または２に記載の画像処理装置。
4. 前記抽出部は、前記第１の画像に設定された複数の第１の領域ごとに、当該第１の領域と相関がある複数の第２の領域を第２の画像から抽出し、
   前記検出部は、前記複数の第１および第２の領域間ごとに画像を比較し、各領域間ごとの差分を検出し合成することを特徴とする、請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記第１および第２の画像内の輝度値に基づき、画像全体の輝度を補正する第２の補正部と、
   前記第２の補正部により補正された前記第１および第２の画像から特徴点を検出し、前記第１および第２の画像の位置合わせを実行する位置合わせ部と、
   をさらに備え、
   前記抽出部は、
   前記位置合わせ部が検出した第１の画像の特徴点から所定の距離範囲に設定された前記第１の領域と相関がある第２の領域を前記第２の画像から抽出することを特徴とする、請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記第１の画像に設定する前記第１の領域の大きさを設定する設定部をさらに備え、
   前記抽出部は、前記設定部が設定した大きさの前記第１の領域と相関がある第２の領域を前記第２の画像から抽出することを特徴とする、請求項１〜５のいずれか１項に記載の画像処理装置。
7. 画像処理サーバが、
   第１の画像に設定された第１の領域内の画像と相関がある第２の領域を第２の画像から抽出し、
   前記第１および第２の領域内の画像の各輝度値に基づいて、前記第１および第２の領域内の画像の輝度を補正し、
   輝度が補正された前記第１および第２の領域内の画像を比較し、差分を検出する、
   ことを含む各処理を実行することを特徴とする画像処理方法。
8. 第１の画像に設定された第１の領域内の画像と相関がある第２の領域を第２の画像から抽出し、
   前記第１および第２の領域内の画像の各輝度値に基づいて、前記第１および第２の領域内の画像の輝度を補正し、
   輝度が補正された前記第１および第２の領域内の画像を比較し、差分を検出する、
   各処理をコンピュータに実行させることを特徴とする画像処理プログラム。

Images