JP2015148939A - 画像位置合わせ装置及び画像位置合わせ方法 - Google Patents
画像位置合わせ装置及び画像位置合わせ方法 Download PDFInfo
- Publication number
- JP2015148939A JP2015148939A JP2014021360A JP2014021360A JP2015148939A JP 2015148939 A JP2015148939 A JP 2015148939A JP 2014021360 A JP2014021360 A JP 2014021360A JP 2014021360 A JP2014021360 A JP 2014021360A JP 2015148939 A JP2015148939 A JP 2015148939A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- density
- pixels
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【解決手段】計算対象ピクセル特定部14により特定された相関値計算に用いるピクセルの正規化濃度値を用いて、基準画像における部分画像と対象画像における部分画像間の位置をずらしながら、基準画像における部分画像と対象画像における部分画像間の相関値を計算し、その相関値が最も高くなる位置から基準画像における部分画像と対象画像における部分画像間のずれ量を特定する部分画像ずれ量特定部16とを設け、部分画像ずれ量特定部16により特定されたずれ量にしたがって基準画像と対象画像間の位置合わせを行う。
【選択図】図3
Description
画像取得用のセンサとしては、二次元に配列している素子の映像信号を一度に取得して画像を生成するエリアセンサと、一次元に配列している素子を動かしながら、当該素子の映像信号を取得することで画像を生成するラインセンサとがある。一般的には、エリアセンサよりラインセンサの方が高解像度の画像が得られる。
例えば、データ生成技術としてパンシャープン処理などがあり、パンシャープン処理は、似たような場所を撮影している2枚の画像である高解像度モノクロ画像と低解像度カラー画像を合成して、擬似高解像度カラー画像を生成する処理である(例えば、非特許文献1を参照)。
パンシャープン処理などでは、2枚の画像が撮影されている場所の違いや、2枚の画像間の位置ずれの検知を行う必要があり、2枚の画像間の位置ずれを補償して、2枚の画像間の正確な位置合わせを行わなければ、正確な擬似高解像度カラー画像を生成することができない。
この方法は、2枚の画像間で位置ずれがなく、正しい位置関係であれば、2枚の画像間の相関値が高くなる可能性が高いので、2枚の画像間の位置をずらしながら相関値を計算し、その相関値が最も高くなる位置が、2枚の画像間で対応が取れている位置であるという考え方に基づくものである。
2枚の部分画像間の相関値が最も高くなる位置を特定することで、2枚の部分画像間の位置ずれ量を算出する。
そして、対応関係がある全ての部分画像間の位置ずれ量の算出が完了すると、その位置ずれ量から、画像のアフィン変換に用いるアフィンパラメータ(画像変形パラメータ)を算出し、そのアフィンパラメータを用いて、いずれか一方の画像をアフィン変換することで、2枚の画像間の位置合わせを行うことができる。
例えば、2枚の画像内に動く物体(例えば、雲、影、動物など)が含まれている場合には、2枚の画像間の正しい位置関係のときに、相関値が最も高くなるとは限らない。
また、図7の2枚の画像はほぼ同一の範囲を異なる季節に撮影しているものであるが、撮影時間帯が同じであっても季節によって太陽の位置・高度が異なるため、建物等の影の長さや方向が異なる。このため、2枚の画像間の正しい位置関係のときに、相関値が最も高くなるとは限らない。
また、図8の2枚の画像もほぼ同一の範囲を撮影したものであるが、2枚の画像の撮影時刻に差があるために、1枚目の画像の撮影後に造成が行われて、2枚目の画像には造成された結果が撮影されている。このような場合には、2枚の画像間の相関値が低くなり、2枚の画像間の位置ずれ量を正確に算出することが困難になる。
ただし、時間の経過に伴って雲の位置が移動したり変形したりすることで、2枚の部分画像間の相関値が変化することは考慮されていない。このため、そのような相関値から算出された位置ずれ量を評価しても、物体が雲であるか否かを正確に判定することはできない。
図1はこの発明の実施の形態1による画像位置合わせ装置を示す構成図である。
図1において、画像データ格納部1は例えばRAMやハードディスクなどの記憶装置から構成されており、例えば、人工衛星や飛行機などに搭載されているカメラにより撮影された地表面等の画像である基準画像(第1の画像)の画像データを記憶している。
また、画像データ格納部1は、人工衛星や飛行機などに搭載されているカメラにより撮影された地表面等の画像である対象画像(第2の画像)の画像データを記憶している。
ここで、基準画像と対象画像は、同じカメラで異なる時刻に同一の範囲を撮影された画像でもよいし、異なるカメラで同一時刻又は異なる時刻に同一の範囲を撮影された画像でもよい。
例えば、基準画像が高解像度モノクロ画像で、対象画像が低解像度カラー画像であり、高解像度モノクロ画像と低解像度カラー画像を合成して、擬似高解像度カラー画像を生成するパンシャープン処理などを実施するような場合には、基準画像と対象画像は異なるカメラで撮影された画像である。
方向情報格納部3は例えばRAMやハードディスクなどの記憶装置から構成されており、基準画像を撮影しているカメラの位置から基準画像を構成している各ピクセルへの方向(撮影方向)を示す方向情報と、対象画像を撮影しているカメラの位置から対象画像を構成している各ピクセルへの方向(撮影方向)を示す方向情報とを記憶している。
高度情報格納部4は例えばRAMやハードディスクなどの記憶装置から構成されており、基準画像や対象画像の撮影地点の高度を示す高度情報(例えば、標高の情報を含む地図データ)を記憶している。
また、視線マッチング部6は基準画像を構成している各ピクセルに対応する地表面の3次元座標と対象画像を構成している各ピクセルに対応する地表面の3次元座標とが一致する両画像上の対応点を特定する処理を実施する。
さらに、視線マッチング部6は両画像上の対応点を基準にして、対象画像の位置を基準画像の位置に合わせる暫定的な位置合わせ処理(前処理)を実施し、前処理後の基準画像及び対象画像を画像マッチング部7に出力する処理を実施する。なお、視線マッチング部6は前処理手段を構成している。
画像位置合わせ装置をコンピュータで構成する場合、画像データ格納部1、位置情報格納部2、方向情報格納部3及び高度情報格納部4をコンピュータの内部メモリ又は外部メモリ上に構成するとともに、情報入力部5、視線マッチング部6及び画像マッチング部7の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにすればよい。
図2はこの発明の実施の形態1による画像位置合わせ装置の処理内容(画像位置合わせ方法)を示すフローチャートである。
図3において、濃度値正規化部11は視線マッチング部6から出力された前処理後の基準画像を構成している各ピクセルの濃度値の平均値が0で、各ピクセルの濃度値の標準偏差が1になるように、各ピクセルの濃度値を正規化する処理を実施する。
また、濃度値正規化部11は視線マッチング部6から出力された前処理後の対象画像を構成している各ピクセルの濃度値の平均値が0で、各ピクセルの濃度値の標準偏差が1になるように、各ピクセルの濃度値を正規化する処理を実施する。なお、濃度値正規化部11は濃度値正規化手段を構成している。
また、低濃度ピクセル特定部12は視線マッチング部6から出力された前処理後の対象画像を構成している各ピクセルの中で、予め設定された閾値Th1より濃度値が低いピクセルである低濃度ピクセルを特定する処理を実施する。
また、ピクセル除外部13は低濃度ピクセル特定部12により特定された対象画像内の低濃度ピクセルと画像上の位置が対応している基準画像内のピクセルを特定し、その基準画像内のピクセルの正規化後の濃度値が正の値であれば、その対象画像内の低濃度ピクセルとその基準画像内のピクセルを相関値計算に用いるピクセルから除外する旨を計算対象ピクセル特定部14に指示する処理を実施する。
なお、低濃度ピクセル特定部12、ピクセル除外部13及び計算対象ピクセル特定部14から計算対象ピクセル特定手段が構成されている。
部分画像ずれ量特定部16は画像分割部15により分割された基準画像における複数の部分画像と、画像分割部15により分割された対象画像における複数の部分画像との間の対応関係を特定する処理を実施する。
また、部分画像ずれ量特定部16は対応関係がある部分画像単位に、2つの部分画像間の相関値を計算する処理を実施する。即ち、2つの部分画像を構成している各ピクセルの正規化後の濃度値(濃度値正規化部11により正規化された濃度値)のうち、計算対象ピクセル特定部14により特定されたピクセル(除外されずに残っているピクセル)の濃度値を用いて、2つの部分画像間の位置をずらしながら、2つの部分画像間の相関値を計算する処理を実施する。
さらに、部分画像ずれ量特定部16は2つの部分画像間の相関値が最も高くなる位置を特定し、相関値が最も高くなる位置から2つの部分画像間のずれ量を特定する処理を実施する。
なお、画像分割部15及び部分画像ずれ量特定部16からずれ量特定手段が構成されている。
画像変換部18はアフィンパラメータ算出部17により算出されたアフィンパラメータを用いて、視線マッチング部6から出力された前処理後の対象画像をアフィン変換することで、基準画像と対象画像の位置合わせを実施する。
なお、アフィンパラメータ算出部17及び画像変換部18から画像位置合わせ手段が構成されている。
2枚の画像が雲などを含む場合には、上述したように、相関値が最も高くなる位置を特定して、2枚の画像間の位置ずれ量を算出しても、2枚の画像間の正確な位置合わせを行うことができないことがある。
そこで、この実施の形態1では、2枚の画像が雲を含む場合、雲に対応するピクセルを相関値計算に用いるピクセルから除外して、相関値の信頼性を高め、正確な位置ずれ量を算出できるようにしている。
なお、雲に対応するピクセルの濃度値は高くなるので、画像上のピクセルの濃度値を見れば、雲に対応するピクセルの候補を探索することができるが、雲以外の物体に対応するピクセルの濃度値も高くなることがあるので、ピクセルの濃度値だけでは、本当に雲に対応するピクセルであるかは判定することができない。
以下、この実施の形態1の画像位置合わせ装置の処理内容を具体的に説明する。
なお、画像データ格納部1の中に、概ね同一範囲が撮影されている2枚以上の画像の画像データが記憶されている場合には、いずれか2枚の画像の画像データを選択する(例えば、ユーザにより指定された画像の画像データを選択する)。
この実施の形態1では、解像度が高い方の画像を基準画像、解像度が低い方の画像を対象画像とする。
また、情報入力部5は、方向情報格納部3から、基準画像を撮影しているカメラの位置から基準画像を構成している各ピクセルへの方向(撮影方向)を示す方向情報と、対象画像を撮影しているカメラの位置から対象画像を構成している各ピクセルへの方向(撮影方向)を示す方向情報とを入力し、それらの方向情報を視線マッチング部6に出力する。
さらに、情報入力部5は、高度情報格納部4から、基準画像や対象画像の撮影地点(カメラの撮影範囲内の地点)の高度を示す高度情報(例えば、標高の情報を含む地図データ)を入力し、その高度情報を視線マッチング部6に出力する。
例えば、基準画像を構成している複数のピクセルの中で、或るピクセルPに対応する地表面の3次元座標を算出する場合、基準画像を撮影しているカメラの位置を起点とするベクトル(方向情報が示すピクセルPへの撮影方向のベクトル)が地表面と交わる点の3次元座標が、算出対象の3次元座標となる。
当該ベクトルが地表面と交わる点は、基準画像を撮影しているカメラの3次元位置と、ピクセルPへの撮影方向と、ピクセルPに対応する地表面の高度とを用いて算出することができるため、ピクセルPに対応する地表面の3次元座標を算出することができる。
当該ベクトルが地表面と交わる点は、基準画像を撮影しているカメラの3次元位置と、ピクセルQへの撮影方向と、ピクセルQに対応する地表面の高度とを用いて算出することができるため、ピクセルQに対応する地表面の3次元座標を算出することができる。
視線マッチング部6は、両画像上の対応点を特定すると、両画像上の対応点を基準にして、対象画像の位置を基準画像の位置に合わせる暫定的な位置合わせ処理(前処理)を実施する(ステップST3)。
この実施の形態1では、基準画像が高解像度画像で、対象画像が低解像度画像であるものを想定しているので、基準画像を構成しているピクセルと対応しているピクセル(対応点)が、対象画像を構成しているピクセルの中に存在している場合と、対象画像を構成しているピクセルの中に存在していない場合がある。
そこで、新たに生成する画像を構成するピクセルの濃度値として、基準画像を構成しているピクセルと対応しているピクセルが対象画像内に存在していれば、対象画像内の対応しているピクセルの濃度値に決定する。
一方、基準画像を構成しているピクセルと対応しているピクセルが対象画像内に存在していなければ、対象画像内において、基準画像を構成しているピクセルと対応している点の周辺に存在している複数のピクセル(例えば、基準画像を構成しているピクセルと対応している点の左側に存在しているピクセル、右側に存在しているピクセル、上側に存在しているピクセル、下側に存在しているピクセル)の濃度値の補間値を新たに生成する画像を構成するピクセルの濃度値に決定する。
このようにして、新たに生成した画像の解像度は、基準画像の解像度と一致する。
なお、位置情報、方向情報及び高度情報の全てに誤差が含まれていなければ、基準画像と暫定的な位置合わせ処理後の対象画像の間には位置ずれがなくなるが、実際には、位置情報、方向情報及び高度情報の中に誤差が含まれているので、基準画像と暫定的な位置合わせ処理後の対象画像の間には位置ずれが生じている。
この実施の形態1では、この位置ずれを補償するために、画像マッチング部7を搭載している。
また、濃度値正規化部11は、暫定的な位置合わせ処理後の対象画像を構成している各ピクセルの濃度値の平均値が0で、各ピクセルの濃度値の標準偏差が1になるように、各ピクセルの濃度値を正規化する(ステップST4)。
ここで、雲に対応するピクセルの濃度値が高くなることは、上述した通りであるが、雲に対応するピクセルの正規化後の濃度値は、基本的に正の値になる。
また、低濃度ピクセル特定部12は、対象画像の中で雲に対応するピクセルの候補を見つけるため、暫定的な位置合わせ処理後の対象画像を構成している各ピクセルの中で、予め設定された閾値Th1より濃度値が低いピクセルである低濃度ピクセルを特定する(ステップST5)。
例えば、1ピクセル当り12bitの濃度値を有する画像である場合、閾値Th1としては、Th1=16などが設定される。
ピクセル除外部13は、基準画像内の低濃度ピクセルと画像上の位置が対応している対象画像内のピクセルを特定すると、その対象画像内のピクセルの正規化後の濃度値(濃度値正規化部11により正規化された濃度値)が正の値であれば(ステップST6)、その対象画像内のピクセルは雲に対応するピクセルであると判断し、その基準画像内の低濃度ピクセルと、その対象画像内のピクセルを相関値計算に用いるピクセルから除外する旨を計算対象ピクセル特定部14に指示する。
ピクセル除外部13は、暫定的な位置合わせ処理後の対象画像内の低濃度ピクセルと画像上の位置が対応している基準画像内のピクセルを特定すると、その基準画像内のピクセルの正規化後の濃度値(濃度値正規化部11により正規化された濃度値)が正の値であれば(ステップST6)、その基準画像内のピクセルは雲に対応するピクセルであると判断し、暫定的な位置合わせ処理後の対象画像内の低濃度ピクセルと、その基準画像内のピクセルを相関値計算に用いるピクセルから除外する旨を計算対象ピクセル特定部14に指示する。
ここでは、ピクセル除外部13が相関値計算に用いるピクセルの除外指示を計算対象ピクセル特定部14に出力している例を示しているが、ピクセル除外部13が自ら相関値計算に用いるピクセルの除外処理を行うようにしてもよい。
また、計算対象ピクセル特定部14は、暫定的な位置合わせ処理後の対象画像を構成している複数のピクセルのうち、ピクセル除外部13が除外を指示しているピクセルを相関値計算に用いるピクセルから除外する。
そして、計算対象ピクセル特定部14は、基準画像及び暫定的な位置合わせ処理後の対象画像を構成しているピクセルの中で、除外せずに残っているピクセルを相関値計算に用いるピクセルとして特定する(ステップST7)。
ただし、基準画像内の低濃度ピクセルと画像上の位置が対応している対象画像内のピクセルの中に、正規化後の濃度値が正の値であるピクセルが1つもなく、また、対象画像内の低濃度ピクセルと画像上の位置が対応している基準画像内のピクセルの中に、正規化後の濃度値が正の値であるピクセルが1つもなければ、基準画像及び対象画像を構成している全てのピクセルを相関値計算に用いるピクセルとして特定する(ステップST8)。
なお、画像マッチング部7では、後述する画像の位置合わせ処理を部分画像単位に実施する(両画像上で同じ位置に存在している部分画像同士で画像の位置合わせ処理を実施する)。
視線マッチング部6において、暫定的な位置合わせ処理が実施されているため、両画像上で異なる位置に存在している部分画像同士では画像の位置合わせ処理を実施しない。
また、各画像の外周に存在している部分画像についても画像の位置合わせ処理を実施しない。これは、視線マッチング部6による暫定的な位置合わせ処理によって、暫定的な位置合わせ処理後の対象画像内でピクセルが存在しない箇所を含む可能性があるためである。
部分画像ずれ量特定部16は、基準部分画像と対象部分画像の対応関係を特定すると、 基準部分画像を構成している複数のピクセルの中で、計算対象ピクセル特定部14により特定されたピクセル(除外されずに残っているピクセル)の正規化後の濃度値(濃度値正規化部11により正規化された濃度値)と、その基準部分画像と対応関係がある対象部分画像を構成している複数のピクセルの中で、計算対象ピクセル特定部14により特定されたピクセル(除外されずに残っているピクセル)の正規化後の濃度値(濃度値正規化部11により正規化された濃度値)とを用いて、対応関係がある基準部分画像と対象部分画像の位置をずらしながら、対応関係がある基準部分画像と対象部分画像間の相関値を計算する(ステップST10)。
このとき、基準部分画像を構成しているピクセルの正規化後の濃度値がds、そのピクセルと画像上の位置が同じ対象部分画像のピクセルの正規化後の濃度値がdtであるとすれば、ds×dtを算出する。
次に、画像上の位置が同じピクセル同士の積ds×dtの総和Σ(ds×dt)を算出し(例えば、除外されずに残っているピクセルの数が50個であれば、50個の積ds×dtの総和を算出する)、その総和Σ(ds×dt)を対応関係がある基準部分画像と対象部分画像間の相関値とする。
例えば、i番目(i=1,2,・・・,N:Nは分割数)の基準部分画像と、その基準部分画像と対応関係があるi番目(i=1,2,・・・,N:Nは分割数)の対象部分画像との間の相関値が最も高くなる位置を特定すると、その相関値が最も高くなる位置において、i番目の基準部分画像の中心座標(x(i),y(i))から、i番目の対象部分画像の中心座標(x’(i),y’(i))までのずれ量(dx(i),dy(i))を算出する。
そこで、アフィンパラメータ算出部17が、画像のアフィン変換に用いるアフィン行列Aを算出する際、雲の比率が予め設定された上限値(例えば、50%)を超えている2つの部分画像間のずれ量については使用しないで、アフィン行列Aを算出する(雲の比率が高い2つの部分画像間のずれ量を式(2)に代入しないで、アフィン行列Aを算出する)ようにしてもよい。
このような場合、例えば、図8で示すような状況(例えば、2枚の画像の撮影時刻に差があるために、1枚目の画像の撮影後に造成が行われて、2枚目の画像に造成された結果が撮影されているような状況)が考えられるので、部分画像ずれ量特定部16により算出されたずれ量の信頼性は低いものとなる。
そこで、2つの部分画像間の位置をどのようにずらしても、部分画像ずれ量特定部16により計算される部分画像間の相関値が高くならない場合、基準画像と対象画像間の位置合わせを不可能と判断して、基準画像と対象画像間の位置合わせを行わない旨を示すメッセージ等を出力するようにしてもよい。
具体的には、以下の通りである。
また、視線マッチング部6から出力された基準画像及び対象画像を1/2に縮小し、1/2に縮小した基準画像及び対象画像を複数の部分画像に分割することで、上記と同様の方法で、アフィン行列A1/2を算出する。
また、視線マッチング部6から出力された基準画像及び対象画像を縮小せずに、複数の部分画像に分割することで、上記と同様の方法で、アフィン行列A1/1を算出する。
そして、上記のアフィン行列A1/4とアフィン行列A1/2とアフィン行列A1/1との積を最終的なアフィン行列A(=A1/4×A1/2×A1/1)として算出し、そのアフィン行列Aを用いて、視線マッチング部6から出力された対象画像をアフィン変換することで、基準画像と対象画像の位置合わせを実施する。
このように、基準画像及び対象画像の縮小率を変えながら複数のアフィン行列を算出して、最終的なアフィン行列Aを得ることで、基準画像と対象画像の位置合わせ精度を高めることができる。
上記実施の形態1では、2枚の画像が雲を含む場合、雲に対応するピクセルを相関値計算に用いるピクセルから除外して、相関値の信頼性を高めるものを示したが、この実施の形態2では、2枚の画像が建物等の影を含む場合、影に対応するピクセルを相関値計算に用いるピクセルから除外して、相関値の信頼性を高めるようにしている。
なお、影に対応するピクセルの濃度値は低くなるので、画像上のピクセルの濃度値を見れば、影に対応するピクセルの候補を探索することができるが、影以外の物体に対応するピクセルの濃度値も低くなることがあるので、ピクセルの濃度値だけでは、本当に影に対応するピクセルであるかは判定することができない。
高濃度ピクセル特定部21は視線マッチング部6から出力された前処理後の基準画像を構成している各ピクセルの中で、予め設定された閾値Th2より濃度値が高いピクセルである高濃度ピクセルを特定する処理を実施する。
また、高濃度ピクセル特定部21は視線マッチング部6から出力された前処理後の対象画像を構成している各ピクセルの中で、予め設定された閾値Th2より濃度値が高いピクセルである高濃度ピクセルを特定する処理を実施する。
また、ピクセル除外部22は高濃度ピクセル特定部21により特定された対象画像内の高濃度ピクセルと画像上の位置が対応している基準画像内のピクセルを特定し、その基準画像内のピクセルの正規化後の濃度値が負の値であれば、その対象画像内の高濃度ピクセルとその基準画像内のピクセルを相関値計算に用いるピクセルから除外する旨を計算対象ピクセル特定部14に指示する処理を実施する。
なお、高濃度ピクセル特定部21、ピクセル除外部22及び計算対象ピクセル特定部14から計算対象ピクセル特定手段が構成されている。
ただし、視線マッチング部6の処理内容は、上記実施の形態1と同様であるため、ここでは画像マッチング部7の処理内容だけを説明する。
また、濃度値正規化部11は、上記実施の形態1と同様に、暫定的な位置合わせ処理後の対象画像を構成している各ピクセルの濃度値の平均値が0で、各ピクセルの濃度値の標準偏差が1になるように、各ピクセルの濃度値を正規化する。
ここで、影に対応するピクセルの濃度値が低くなることは、上述した通りであるが、影に対応するピクセルの正規化後の濃度値は、基本的に負の値になる。
また、高濃度ピクセル特定部21は、対象画像内で影に対応するピクセルの候補を見つけるため、暫定的な位置合わせ処理後の対象画像を構成している各ピクセルの中で、予め設定された閾値Th2より濃度値が高いピクセルである高濃度ピクセルを特定する。
例えば、1ピクセル当り12bitの濃度値を有する画像である場合、閾値Th2としては、Th2=4080などが設定される。
ピクセル除外部22は、基準画像内の高濃度ピクセルと画像上の位置が対応している対象画像内のピクセルを特定すると、その対象画像内のピクセルの正規化後の濃度値(濃度値正規化部11により正規化された濃度値)が負の値であれば、その対象画像内のピクセルは影に対応するピクセルであると判断し、その基準画像内の高濃度ピクセルと、その対象画像内のピクセルを相関値計算に用いるピクセルから除外する旨を計算対象ピクセル特定部14に指示する。
ピクセル除外部22は、暫定的な位置合わせ処理後の対象画像内の高濃度ピクセルと画像上の位置が対応している基準画像内のピクセルを特定すると、その基準画像内のピクセルの正規化後の濃度値(濃度値正規化部11により正規化された濃度値)が負の値であれば、その基準画像内のピクセルは影に対応するピクセルであると判断し、暫定的な位置合わせ処理後の対象画像内の高濃度ピクセルと、その基準画像内のピクセルを相関値計算に用いるピクセルから除外する旨を計算対象ピクセル特定部14に指示する。
ここでは、ピクセル除外部22が相関値計算に用いるピクセルの除外指示を計算対象ピクセル特定部14に出力している例を示しているが、ピクセル除外部22が自ら相関値計算に用いるピクセルの除外処理を行うようにしてもよい。
また、計算対象ピクセル特定部14は、暫定的な位置合わせ処理後の対象画像を構成している複数のピクセルのうち、ピクセル除外部22が除外を指示しているピクセルを相関値計算に用いるピクセルから除外する。
そして、計算対象ピクセル特定部14は、基準画像及び暫定的な位置合わせ処理後の対象画像を構成しているピクセルの中で、除外せずに残っているピクセルを相関値計算に用いるピクセルとして特定する。
ただし、基準画像内の高濃度ピクセルと画像上の位置が対応している対象画像内のピクセルの中に、正規化後の濃度値が負の値であるピクセルが1つもなく、また、対象画像内の高濃度ピクセルと画像上の位置が対応している基準画像内のピクセルの中に、正規化後の濃度値が負の値であるピクセルが1つもなければ、基準画像及び対象画像を構成している全てのピクセルを相関値計算に用いるピクセルとして特定する。
この実施の形態2によれば、2枚の画像が影を含む場合でも、2枚の画像間の正確な位置合わせを行うことができる効果を奏する。
この実施の形態3では、2枚の画像が雲及び建物等の影を含む場合、雲に対応するピクセルと、影に対応するピクセルとを相関値計算に用いるピクセルから除外して、相関値の信頼性を高めるようにしている。
計算対象ピクセル特定部30は基準画像及び対象画像を構成している各ピクセルの中で、ピクセル除外部13及びピクセル除外部22により除外が指示されたピクセルを相関値計算に用いるピクセルから除外し、除外せずに残っているピクセルを相関値計算に用いるピクセルとして特定する処理を実施する。
なお、低濃度ピクセル特定部12、高濃度ピクセル特定部21、ピクセル除外部13,22及び計算対象ピクセル特定部30から計算対象ピクセル特定手段が構成されている。
また、この実施の形態3では、ピクセル除外部13が第1のピクセル除外部を構成し、ピクセル除外部22が第2のピクセル除外部を構成している。
ただし、視線マッチング部6の処理内容は、上記実施の形態1と同様であるため、ここでは画像マッチング部7の処理内容だけを説明する。
また、濃度値正規化部11は、上記実施の形態1と同様に、暫定的な位置合わせ処理後の対象画像を構成している各ピクセルの濃度値の平均値が0で、各ピクセルの濃度値の標準偏差が1になるように、各ピクセルの濃度値を正規化する。
ここで、雲に対応するピクセルの濃度値が高くなることは、上述した通りであるが、雲に対応するピクセルの正規化後の濃度値は、基本的に正の値になる。また、影に対応するピクセルの濃度値が低くなることは、上述した通りであるが、影に対応するピクセルの正規化後の濃度値は、基本的に負の値になる。
また、低濃度ピクセル特定部12は、対象画像内で雲に対応するピクセルの候補を見つけるため、暫定的な位置合わせ処理後の対象画像を構成している各ピクセルの中で、予め設定された閾値Th1より濃度値が低いピクセルである低濃度ピクセルを特定する。
例えば、1ピクセル当り12bitの濃度値を有する画像である場合、閾値Th1としては、Th1=16などが設定される。
ピクセル除外部13は、基準画像内の低濃度ピクセルと画像上の位置が対応している対象画像内のピクセルを特定すると、上記実施の形態1と同様に、その対象画像内のピクセルの正規化後の濃度値(濃度値正規化部11により正規化された濃度値)が正の値であれば、その対象画像内のピクセルは雲に対応するピクセルであると判断し、その基準画像内の低濃度ピクセルと、その対象画像内のピクセルを相関値計算に用いるピクセルから除外する旨を計算対象ピクセル特定部30に指示する。
ピクセル除外部13は、暫定的な位置合わせ処理後の対象画像内の低濃度ピクセルと画像上の位置が対応している基準画像内のピクセルを特定すると、上記実施の形態1と同様に、その基準画像内のピクセルの正規化後の濃度値(濃度値正規化部11により正規化された濃度値)が正の値であれば、その基準画像内のピクセルは雲に対応するピクセルであると判断し、暫定的な位置合わせ処理後の対象画像内の低濃度ピクセルと、その基準画像内のピクセルを相関値計算に用いるピクセルから除外する旨を計算対象ピクセル特定部30に指示する。
また、高濃度ピクセル特定部21は、対象画像内で影に対応するピクセルの候補を見つけるため、暫定的な位置合わせ処理後の対象画像を構成している各ピクセルの中で、予め設定された閾値Th2より濃度値が高いピクセルである高濃度ピクセルを特定する。
例えば、1ピクセル当り12bitの濃度値を有する画像である場合、閾値Th2としては、Th2=4080などが設定される。
ピクセル除外部22は、基準画像内の高濃度ピクセルと画像上の位置が対応している対象画像内のピクセルを特定すると、上記実施の形態2と同様に、その対象画像内のピクセルの正規化後の濃度値(濃度値正規化部11により正規化された濃度値)が負の値であれば、その対象画像内のピクセルは影に対応するピクセルであると判断し、その基準画像内の高濃度ピクセルと、その対象画像内のピクセルを相関値計算に用いるピクセルから除外する旨を計算対象ピクセル特定部30に指示する。
ピクセル除外部22は、暫定的な位置合わせ処理後の対象画像内の高濃度ピクセルと画像上の位置が対応している基準画像内のピクセルを特定すると、上記実施の形態2と同様に、その基準画像内のピクセルの正規化後の濃度値(濃度値正規化部11により正規化された濃度値)が負の値であれば、その基準画像内のピクセルは影に対応するピクセルであると判断し、暫定的な位置合わせ処理後の対象画像内の高濃度ピクセルと、その基準画像内のピクセルを相関値計算に用いるピクセルから除外する旨を計算対象ピクセル特定部30に指示する。
また、計算対象ピクセル特定部30は、暫定的な位置合わせ処理後の対象画像を構成している複数のピクセルのうち、ピクセル除外部13及びピクセル除外部22が除外を指示しているピクセルを相関値計算に用いるピクセルから除外する。
そして、計算対象ピクセル特定部30は、基準画像及び暫定的な位置合わせ処理後の対象画像を構成しているピクセルの中で、除外せずに残っているピクセルを相関値計算に用いるピクセルとして特定する。
ただし、基準画像(対象画像)内の高濃度ピクセルと画像上の位置が対応している対象画像(基準画像)内のピクセルの中に、正規化後の濃度値が負の値であるピクセルが1つもなく、また、基準画像(対象画像)内の低濃度ピクセルと画像上の位置が対応している対象画像(基準画像)内のピクセルの中に、正規化後の濃度値が正の値であるピクセルが1つもなければ、基準画像及び対象画像を構成している全てのピクセルを相関値計算に用いるピクセルとして特定する。
この実施の形態3によれば、2枚の画像が雲と影の双方を含む場合でも、2枚の画像間の正確な位置合わせを行うことができる効果を奏する。
Claims (8)
- 第1の画像を構成している各ピクセルの濃度値を正規化するとともに、前記第1の画像と位置合わせを行う第2の画像を構成している各ピクセルの濃度値を正規化する濃度値正規化手段と、
前記濃度値正規化手段により正規化された各ピクセルの濃度値を評価して、前記第1及び第2の画像を構成している各ピクセルの中で、相関値計算に用いるピクセルを特定する計算対象ピクセル特定手段と、
前記濃度値正規化手段により正規化された各ピクセルの濃度値のうち、前記計算対象ピクセル特定手段により特定されたピクセルの濃度値を用いて、前記第1の画像と前記第2の画像間の位置をずらしながら、前記第1の画像と前記第2の画像間の相関値を計算し、前記相関値から前記第1の画像と前記第2の画像間のずれ量を特定するずれ量特定手段と、
前記ずれ量特定手段により特定されたずれ量にしたがって前記第1の画像と前記第2の画像間の位置合わせを行う画像位置合わせ手段と
を備えた画像位置合わせ装置。 - 前記第1の画像を構成している各ピクセルに対応する地表面の3次元座標と、前記第2の画像を構成している各ピクセルに対応する地表面の3次元座標とが一致する両画像上の対応点を特定し、前記対応点を基準にして前記第1の画像と前記第2の画像間の暫定的な位置合わせを行う前処理を実施し、前処理後の第1及び第2の画像を前記濃度値正規化手段、前記計算対象ピクセル特定手段、前記ずれ量検出手段及び前記画像位置合わせ手段に出力する前処理手段を備えたことを特徴とする請求項1記載の画像位置合わせ装置。
- 前記ずれ量特定手段は、
前記前処理手段による前処理後の第1及び第2の画像を複数の部分画像に分割する画像分割部と、
前記濃度値正規化手段により正規化された各ピクセルの濃度値のうち、前記計算対象ピクセル特定手段により特定されたピクセルの濃度値を用いて、前記画像分割部により分割された第1の画像における部分画像と前記第2の画像における部分画像間の位置をずらしながら、前記第1の画像における部分画像と前記第2の画像における部分画像間の相関値を部分画像単位に計算し、前記相関値が最も高くなる位置から前記第1の画像における部分画像と前記第2の画像における部分画像間のずれ量を部分画像単位に特定する部分画像ずれ量特定部とから構成されていることを特徴とする請求項2記載の画像位置合わせ装置。 - 前記画像位置合わせ手段は、
前記部分画像ずれ量特定部により特定された第1の画像における部分画像と前記第2の画像における部分画像間のずれ量から、画像のアフィン変換に用いるアフィンパラメータを算出するアフィンパラメータ算出部と、
前記アフィンパラメータ算出部により算出されたアフィンパラメータを用いて、前記第2の画像をアフィン変換することで、前記第1の画像と前記第2の画像間の位置合わせを行う画像変換部とから構成されていることを特徴とする請求項3記載の画像位置合わせ装置。 - 前記計算対象ピクセル特定手段は、
前記第1及び第2の画像を構成している各ピクセルの中で、予め設定された閾値より濃度値が低いピクセルである低濃度ピクセルを特定する低濃度ピクセル特定部と、
前記低濃度ピクセル特定部により特定された第1の画像内の低濃度ピクセルと画像上の位置が対応している前記第2の画像内のピクセルの正規化後の濃度値が正の値であれば、前記第1の画像内の低濃度ピクセル及び前記第2の画像内のピクセルを相関値計算に用いるピクセルから除外するとともに、前記低濃度ピクセル特定部により特定された第2の画像内の低濃度ピクセルと画像上の位置が対応している前記第1の画像内のピクセルの正規化後の濃度値が正の値であれば、前記第2の画像内の低濃度ピクセル及び前記第1の画像内のピクセルを相関値計算に用いるピクセルから除外するピクセル除外部と、
前記第1及び第2の画像を構成している各ピクセルの中で、前記ピクセル除外部により除外されずに残っているピクセルを相関値計算に用いるピクセルとして特定する計算対象ピクセル特定部とから構成されていることを特徴とする請求項1から請求項4のうちのいずれか1項記載の画像位置合わせ装置。 - 前記計算対象ピクセル特定手段は、
前記第1及び第2の画像を構成している各ピクセルの中で、予め設定された閾値より濃度値が高いピクセルである高濃度ピクセルを特定する高濃度ピクセル特定部と、
前記高濃度ピクセル特定部により特定された第1の画像内の高濃度ピクセルと画像上の位置が対応している前記第2の画像内のピクセルの正規化後の濃度値が負の値であれば、前記第1の画像内の高濃度ピクセル及び前記第2の画像内のピクセルを相関値計算に用いるピクセルから除外するとともに、前記高濃度ピクセル特定部により特定された第2の画像内の高濃度ピクセルと画像上の位置が対応している前記第1の画像内のピクセルの正規化後の濃度値が負の値であれば、前記第2の画像内の高濃度ピクセル及び前記第1の画像内のピクセルを相関値計算に用いるピクセルから除外するピクセル除外部と、
前記第1及び第2の画像を構成している各ピクセルの中で、前記ピクセル除外部により除外されずに残っているピクセルを相関値計算に用いるピクセルとして特定する計算対象ピクセル特定部とから構成されていることを特徴とする請求項1から請求項4のうちのいずれか1項記載の画像位置合わせ装置。 - 前記計算対象ピクセル特定手段は、
前記第1及び第2の画像を構成している各ピクセルの中で、予め設定された第1の閾値より濃度値が低いピクセルである低濃度ピクセルを特定する低濃度ピクセル特定部と、
前記第1及び第2の画像を構成している各ピクセルの中で、予め前記第1の閾値より大きな値に設定されている第2の閾値より濃度値が高いピクセルである高濃度ピクセルを特定する高濃度ピクセル特定部と、
前記低濃度ピクセル特定部により特定された第1の画像内の低濃度ピクセルと画像上の位置が対応している前記第2の画像内のピクセルの正規化後の濃度値が正の値であれば、前記第1の画像内の低濃度ピクセル及び前記第2の画像内のピクセルを相関値計算に用いるピクセルから除外するとともに、前記低濃度ピクセル特定部により特定された第2の画像内の低濃度ピクセルと画像上の位置が対応している前記第1の画像内のピクセルの正規化後の濃度値が正の値であれば、前記第2の画像内の低濃度ピクセル及び前記第1の画像内のピクセルを相関値計算に用いるピクセルから除外する第1のピクセル除外部と、
前記高濃度ピクセル特定部により特定された第1の画像内の高濃度ピクセルと画像上の位置が対応している前記第2の画像内のピクセルの正規化後の濃度値が負の値であれば、前記第1の画像内の高濃度ピクセル及び前記第2の画像内のピクセルを相関値計算に用いるピクセルから除外するとともに、前記高濃度ピクセル特定部により特定された第2の画像内の高濃度ピクセルと画像上の位置が対応している前記第1の画像内のピクセルの正規化後の濃度値が負の値であれば、前記第2の画像内の高濃度ピクセル及び前記第1の画像内のピクセルを相関値計算に用いるピクセルから除外する第2のピクセル除外部と、
前記第1及び第2の画像を構成している各ピクセルの中で、前記第1及び第2のピクセル除外部により除外されずに残っているピクセルを相関値計算に用いるピクセルとして特定する計算対象ピクセル特定部とから構成されていることを特徴とする請求項1から請求項4のうちのいずれか1項記載の画像位置合わせ装置。 - 濃度値正規化手段が、第1の画像を構成している各ピクセルの濃度値を正規化するとともに、前記第1の画像と位置合わせを行う第2の画像を構成している各ピクセルの濃度値を正規化する濃度値正規化処理ステップと、
計算対象ピクセル特定手段が、前記濃度値正規化処理ステップで正規化された各ピクセルの濃度値を評価して、前記第1及び第2の画像を構成している各ピクセルの中で、相関値計算に用いるピクセルを特定する計算対象ピクセル特定処理ステップと、
ずれ量特定手段が、前記濃度値正規化処理ステップで正規化された各ピクセルの濃度値のうち、前記計算対象ピクセル特定処理ステップで特定されたピクセルの濃度値を用いて、前記第1の画像と前記第2の画像間の位置をずらしながら、前記第1の画像と前記第2の画像間の相関値を計算し、前記相関値から前記第1の画像と前記第2の画像間のずれ量を特定するずれ量特定処理ステップと、
画像位置合わせ手段が、前記ずれ量特定処理ステップで特定されたずれ量にしたがって前記第1の画像と前記第2の画像間の位置合わせを行う画像位置合わせ処理ステップと
を備えた画像位置合わせ方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014021360A JP6324097B2 (ja) | 2014-02-06 | 2014-02-06 | 画像位置合わせ装置及び画像位置合わせ方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014021360A JP6324097B2 (ja) | 2014-02-06 | 2014-02-06 | 画像位置合わせ装置及び画像位置合わせ方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015148939A true JP2015148939A (ja) | 2015-08-20 |
JP6324097B2 JP6324097B2 (ja) | 2018-05-16 |
Family
ID=53892252
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014021360A Expired - Fee Related JP6324097B2 (ja) | 2014-02-06 | 2014-02-06 | 画像位置合わせ装置及び画像位置合わせ方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6324097B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112446901A (zh) * | 2020-11-20 | 2021-03-05 | 浙江大华技术股份有限公司 | 目标跟踪方法、装置、设备及计算机存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005310052A (ja) * | 2004-04-26 | 2005-11-04 | Ntt Data Corp | 不法投棄箇所検知装置、方法、およびプログラム |
JP2008107941A (ja) * | 2006-10-24 | 2008-05-08 | Mitsubishi Electric Corp | 監視装置 |
JP2013114381A (ja) * | 2011-11-28 | 2013-06-10 | Toshiba Corp | 対象物識別装置および対象物識別方法 |
-
2014
- 2014-02-06 JP JP2014021360A patent/JP6324097B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005310052A (ja) * | 2004-04-26 | 2005-11-04 | Ntt Data Corp | 不法投棄箇所検知装置、方法、およびプログラム |
JP2008107941A (ja) * | 2006-10-24 | 2008-05-08 | Mitsubishi Electric Corp | 監視装置 |
JP2013114381A (ja) * | 2011-11-28 | 2013-06-10 | Toshiba Corp | 対象物識別装置および対象物識別方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112446901A (zh) * | 2020-11-20 | 2021-03-05 | 浙江大华技术股份有限公司 | 目标跟踪方法、装置、设备及计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP6324097B2 (ja) | 2018-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10068344B2 (en) | Method and system for 3D capture based on structure from motion with simplified pose detection | |
JP2018028899A (ja) | 画像レジストレーションの方法及びシステム | |
US8482599B2 (en) | 3D modeling apparatus, 3D modeling method, and computer readable medium | |
US20110249117A1 (en) | Imaging device, distance measuring method, and non-transitory computer-readable recording medium storing a program | |
JP2017091079A (ja) | 入力データから検出対象物の像を検出する画像処理装置および方法 | |
CN104685513A (zh) | 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计 | |
JP2017117386A (ja) | 自己運動推定システム、自己運動推定システムの制御方法及びプログラム | |
JP2017032335A (ja) | 情報処理装置、情報処理方法、プログラム | |
TWI599987B (zh) | 點雲拼接系統及方法 | |
JP6410231B2 (ja) | 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム | |
JP5752770B2 (ja) | 画像処理方法および装置 | |
US20190313082A1 (en) | Apparatus and method for measuring position of stereo camera | |
JP5743935B2 (ja) | 対象物検出装置および対象物検出方法 | |
JP6452361B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP6324097B2 (ja) | 画像位置合わせ装置及び画像位置合わせ方法 | |
KR101705330B1 (ko) | 스테레오 카메라 이미지에서 물체의 기울어진 각도를 찾기 위한 특징점 선택 방법 | |
JP2010145219A (ja) | 運動推定装置及びプログラム | |
US10580208B2 (en) | Ceiling map building method, ceiling map building device, and ceiling map building program | |
JP6580286B2 (ja) | 画像データベース構築装置、位置及び傾き推定装置並びに画像データベース構築方法 | |
CN116704111A (zh) | 图像处理方法和设备 | |
US20160379087A1 (en) | Method for determining a similarity value between a first image and a second image | |
JP2016156702A (ja) | 撮像装置および撮像方法 | |
JP2013114381A (ja) | 対象物識別装置および対象物識別方法 | |
JP2016015036A (ja) | 画像処理装置、画像処理方法 | |
EP2953096B1 (en) | Information processing device, information processing method, system and carrier means |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161020 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170907 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170912 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180313 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180410 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6324097 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |