JP2008107941A

JP2008107941A - 監視装置

Info

Publication number: JP2008107941A
Application number: JP2006288323A
Authority: JP
Inventors: Hisayuki Mukai; 久幸迎; Satoshi Wakabayashi; 諭若林; Hiroyuki Inahata; 廣行稲畑; Toshihisa Matsuhide; 稔久松英; Seiji Fujimoto; 聖二藤本
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2006-10-24
Filing date: 2006-10-24
Publication date: 2008-05-08

Abstract

【課題】従来の監視装置では、異常発生直後に広域の網羅的情報収集することができないという課題があった。
【解決手段】静止衛星に搭載され地球の画像を取得する撮像機、地球の全球内で上記撮像機の視野範囲を網羅的に走査可能な走査手段、撮像機で取得した地球の画像を格納するメモリ、取得した画像から同一地域を異なる時間に撮像したペア画像に対して対応する地点同士を位置合わせする画像マッチング処理手段、マッチング後の画像に関して同一地点同士の輝度データを差分処理する輝度データ差分処理手段、平時において発生する差分に対して有意な異常を判断する異常判別手段、異常の発生場所と輝度変化量の情報を通報する異常通報手段により構成する。
【選択図】図２

Description

この発明は、災害発生時にいち早く異常を通報する災害監視衛星や、所定領域内で発射された飛行物体の存在をいち早く短時間で検知する監視衛星として用いられる、監視装置に関するものである。

異常を検知するための従来の装置としては、周回衛星搭載撮像機（例えば、特許文献１参照。）、地上設置カメラ、航空機搭載カメラ、ヘリコプター搭載カメラ、などが知られていた。

特開昭６３−２７８１７９号公報

また、従来、災害発生を早期かつ確実に検出できる災害発生監視装置として、静止衛星画像の配信センタから配信されたエリア画像を表示装置に表示し、今回配信されたエリア画像と前回配信されたエリア画像の差分画像を強調表示するものが提案されていた（例えば、特許文献２参照。）。

特開２００５−７８５６６号公報

従来の地上カメラなどの監視装置では、装置自体の視野範囲が限定されるため、数十ｋｍの広域に渡り被害が発生する大規模災害において、広域に渡り網羅的に異常検知することができないという課題があった。

また、地上設置カメラ等の監視装置や、それらで取得した情報を伝送する装置や設備などは、災害によって破損した場合に機能しないという課題があった。

また、航空機搭載カメラやヘリコプター搭載カメラのように、人員を派遣して操縦すべき装置においては、別の情報収集手段により異常検知をした上で、人員派遣先と派遣規模を決める必要があるという課題があった。

更に、災害発生後に人員を派遣するまでの準備時間及び被災地まで移動するための時間を要するため、災害発生地域や航空機待機場所によっては、発災直後から３０分から１時間程度の間は情報収集ができないという課題があった。

また、特許文献１に示すような周回衛星を利用する場合、衛星搭載撮像機の解像度を上げるために、地球上空の低軌道を周回する低軌道周回衛星を用いる。この種の低軌道周回衛星搭載撮像機では、撮像位置を地上から指示する必要があるのに加えて、同一地点を複数回撮像するための待ち時間が最低でも数時間必要であった。このため、災害発生場所を予め別の情報収集手段により明確化した上で撮像指示を与え、被災地域を撮像可能な位置に低軌道周回衛星が飛翔して来るまでの再訪時間を含めて半日以上の待ち時間が発生するため、迅速な対応には適さないという課題があった。

また、低軌道周回衛星搭載撮像機を用いて同一地域を撮像したペア画像について、対応する同一地点同士の輝度データを差分処理して有意な差異を検知する試みは従来もなされてきた。しかしながら、低軌道周回衛星搭載撮像機の場合には特定地域を再訪するまでの待ち時間が長いために、常時関心領域全域のデータ更新を継続することは困難である。このため、災害前後のペア画像を揃えることが難しい上に、たまたまペア画像が揃う場合であっても、撮像した時刻の差による日照条件、天候相違、視線方向の相違の影響、ペア画像撮像までの時間インターバル内で発生した植生繁殖情況の差、土地利用状況変化など、各種変化要因が混在してしまうために、着目する災害現象だけを区別して検知するのが難しいという課題があった。

また、静止衛星に搭載した撮像機で地球の画像を取得する装置として気象衛星などがある。気象衛星では、搭載可能な撮像機の寸法制約などにより分解能がそれほど高くできないために、気象現象のように広域に渡り視覚化可能な現象は取得画像で識別可能であるが、地震被害のように、広域であっても家屋倒壊等個別現象がたかだか数ｍ程度の狭い範囲で発生する現象については、１枚の画像で視覚化することができないという課題があった。

また、特許文献２に示すような従来の装置では、市町村単位や消防の管理区域等の、予め定めた狭い特定エリア内での災害検知を可能とする。しかしながら、国内全域や関東地方全域等の広域エリアの監視を前提したシステムではなく、限られた狭いエリアでの災害検知にしか利用できないという重大な欠点があった。

この発明による監視装置は、静止衛星に搭載され地球の画像を取得する撮像機と、地球の全球内で、上記撮像機の視野範囲を網羅的に走査可能な走査手段と、上記撮像機で取得した地球の画像を格納するメモリと、上記撮像機で取得した地球の画像から同一地域を異なる時間に撮像したペア画像を得て、ペア画像について対応する地点同士の位置合わせを行う画像マッチング処理手段と、上記画像マッチング処理手段によるマッチング後の画像に関して、同一地点同士の輝度データを差分処理する輝度データ差分処理手段と、上記輝度データ差分処理手段による差分処理画像に基づいて、平時において発生する差分処理画像に対する有意な異常を判別する異常判別手段と、異常判別手段により判別された異常の発生場所と輝度変化量の情報を通報する異常通報手段と、を備えたものである。

また、静止衛星に搭載され地球の所定領域内を網羅的に走査する撮像機で取得された地球の画像を受信し、受信画像から同一地域を異なる時間に撮像したペア画像を得て、ペア画像について対応する地点同士の位置合わせを行う画像マッチング処理手段と、上記画像マッチング処理手段によるマッチング後の画像に関して、同一地点同士の輝度データを差分処理する輝度データ差分処理手段と、上記輝度データ差分処理手段による差分処理画像に基づいて、平時において発生する差分処理画像に対する有意な異常を判別する異常判別手段と、異常判別手段により判別された異常の発生場所と輝度変化量の情報を通報する異常通報手段と、を備えたものである。

また、上記発明において、上記輝度データ差分処理手段の前段に、雲の存在領域を識別し、上記撮像機で取得した地球の画像から雲の存在領域内の画像を除去する雲データマスク手段を具備しても良い。

また、上記発明において、上記輝度データ差分処理手段の前段に、輝度レベルの平均的変化量を求め、上記撮像機で取得した地球の画像の輝度レベルから輝度レベルの平均的変化量分を除去する補正を行う、輝度データ補正処理手段を具備しても良い。

この発明の監視装置によれば、静止衛星に搭載される撮像機は、全球内の着目地域を常時監視可能であるため、任意のインターバルで撮像を繰り返すことにより、前撮像との時間インターバル内に発生した異常現象を即座に検知可能になるという効果がある。また、予めエリアを限定することなく、全球内のあらゆる地域で発生した災害でも検知できるという効果がある。

実施の形態１．
図１、図２はこの発明の実施の形態１による監視装置の構成を示す図であり、図３は撮像機２の構成を示す図である。
図において、静止衛星１は地球１０の自転と同期して赤道上空を周回し、地上局１００との間でデータ伝送を行う。静止衛星１は、撮像機２、メモリ３、画像マッチング処理手段４、輝度データ差分処理手段５、異常判別手段６、異常通報手段７、位置姿勢制御手段４０、姿勢検出手段４１、位置検出手段４２、通信手段５０、および電源６０を備える。また、静止衛星１には撮像機２の視野範囲を走査する走査手段３０が設けられる。

撮像機２は、複数の光学レンズからなる光学系２１および撮像素子２２が設けられる。撮像素子２２は、例えば光学系２１の焦点付近に、１次元検出器を配置した光学式撮像機から構成される。撮像機２は上記静止衛星１に搭載され地球１０の画像を取得する。通信手段５０は地上局１００と無線通信を行い、地上局１００で生成されるコマンド情報を受信し、地上局１００に対し、撮像機２の取得画像を含む静止衛星１のテレメトリ情報を送信する。電源６０は、静止衛星１の構体側面に取り付けられた太陽電池によって電力を発生し、静止衛星１に搭載される各種搭載機器に電力を供給する。

位置姿勢制御手段４０は姿勢検出手段４１で検出される静止衛星１の姿勢角と、位置検出手段４２で検出される静止衛星１の位置情報に基づいて、静止衛星１の位置と姿勢を制御する。位置姿勢制御手段４０は、モーメンタムホイールやスラスタ等の姿勢変更駆動部と、スラスタのような推進部と、姿勢制御回路部を備えて構成される。姿勢検出手段４１は、地球センサ、スターセンサやジャイロ等を備えて構成され、地球固定座標系に対する静止衛星１の姿勢角を求める。位置検出手段４２は衛星の軌道位置を推定し、地球固定座標系に対する静止衛星１の位置座標を求める。なお、位置検出手段４２にＧＰＳ受信機のような航法衛星信号受信機を用いて、ＧＰＳ衛星やガリレオ（Galileo）等の測位衛星からの航法衛星測位信号に基づいて衛星航法測位によって測位演算を行い、静止衛星１の位置を求めても良い。

走査手段３０は撮像機２の視野範囲を移動し、地球の全球内で指定した走査領域内を隈なく網羅的に走査する。走査手段３０は位置姿勢制御手段４０と姿勢検出手段４１を用いて構成するのが簡便である。例えば、位置姿勢制御手段４０の姿勢制御回路部において予め全球内で視野範囲を走査する走査領域を指定すると、姿勢制御回路部が位置姿勢制御手段４０の姿勢変更駆動部を制御して静止衛星１の姿勢を変化させ、撮像機２の視野範囲が走査される。ここで、走査領域は通信手段５０を通じて設定されるか、もしくは静止衛星１の位置姿勢制御手段４０に予め設定されたプログラムに基づいて走査領域が指定される。
なお、走査手段３０は、位置姿勢制御手段４０とは別個に構成されても良い。例えば、撮像機２の内部に、入射光を反射して光学系２１および撮像素子２２に導く走査型の光学ミラーを設け、光学ミラーを揺動させることによって撮像機２の視野範囲を走査しても良い。

メモリ３は撮像機２で取得した地球の画像を格納する。画像マッチング処理手段４はメモリ３に蓄積された取得画像から同一地域を異なる時間に撮像したペア画像を得て、このペア画像に対して対応する地点同士を位置合わせする。輝度データ差分処理手段５は画像マッチング処理手段４によるマッチング後の画像に関して、同一地点同士の輝度データを差分処理する。異常判別手段６は輝度データ差分処理手段５の出力が平時において発生する差分処理画像に対して、有意な異常が合った場合に異常ありと判定する。異常通報手段７は異常判別手段６が異常判定した異常の発生場所と輝度変化量の情報を、通信手段５０を介して地上局１００に通報する。地上局１００は、通信ネットワークを介在してユーザの所持するサーバやパソコン等のユーザ端末（図示せず）に接続されている。

次に、動作について説明する。まず、撮像機２の動作について図３を用いて説明する。
図において、特定の瞬間に撮像した１次元の１ライン分画像１１が、概略直行方向（図のＸ方向）に移動するように、位置姿勢制御手段４０により回転軸４３の周りで撮像機２の視線方向を回動し、静止衛星１の姿勢制御をしながら撮像を繰り返すことによって、２次元のスキャン後画像１２を得る。また、スキャン後画像１２を得ながら、更に撮像機２の視線方向をＸ方向に垂直な図のＹ方向に移動させるように、位置姿勢制御手段４０により回転軸４４の周りで撮像機２の視線方向を回動し、静止衛星１の姿勢制御をしながら撮像を繰り返すことによって、スキャン後画像１２の視野範囲を更にＹ方向に走査することができる。これによって、指定した特定エリア２００内で視野範囲を走査することができる。得られたスキャン後画像１２はメモリ３に送信される。同時に、得られたスキャン後画像１２は、通信手段５０を介して地上局１００にも送信される。地上局１００では、画像データレコーダ１０１に受信したスキャン後画像１２を格納する。

類似の撮像方式を採用する低軌道周回衛星搭載撮像機では、９００ｋｍ程度の軌道高度から１ｍ程度の分解能で１０ｋｍ程度の観測幅を確保可能である。このことから類推して、赤道上空３６０００ｋｍを地球自転と同期して周回する静止衛星を用いれば、１００ｍより精細な分解能で１００ｋｍ超の観測幅を確保することが可能となる。
この点について、より具体的に説明する。
まず、静止衛星軌道高度と低軌道周回衛星軌道高度の比は、36000ｋｍ/900ｋｍ＝40で、分解能と観測幅は距離に比例する。すなわち、900km高度で分解能1ｍ、観測幅10ｋｍのセンサであれば、それを４０倍離れた36000kmの高度で使えば、分解能40ｍ、観測幅400kmに相当する。
但し、これは静止軌道から赤道直下を見た場合なので、例えば北緯35度付近の日本を観測すると視線ベクトルの地表入射角があるために、概算で分解能が2倍弱になる。この点を勘案しても、分解能100ｍより精細な分解能で、100ｋｍ超の観測幅を確保できることは明白である。
また、これらの分解能と観測幅を実現できれば、静止軌道上で運用される気象衛星では、３０分毎に全球データを更新していることから類推して、スキャン方式や分解能などの相違はあるとしても、走査領域を特定エリアに限定すれば数秒以内、走査領域を国内全域に指定すれば１５分以内、走査領域を静止衛星搭載撮像機で撮像可能な地球全球に指定しても３０分程度でデータ更新可能なため、国内及び近隣諸国で発生した異常を３０分以内に速報することが可能となる。

なお、図２では、分解能の観点で災害監視や短時間での監視を目的に、好適な光学式撮像機の例を説明したが、他にもイメージングレーダなど地表画像情報を取得する手段であれば適用可能である。また、光学式撮像機の検出器として２次元検出器を用いて、静止衛星１の姿勢を固定して撮像する方式なども適用可能である。

次に、メモリ３の動作について説明する。メモリ３は半導体データレコーダやハードディスクなどを適用可能である。メモリ３は、内部に有する制御部の動作によって、撮像機２で取得した画像と、当該取得画像に対し撮像時刻情報と撮像位置に関わる情報を付加した付加情報とを、内部に有する記憶領域内に蓄積する。撮像位置に関わる情報としては撮像地域の位置座標でもよいし、静止衛星１の位置情報と姿勢角度情報でもよい。また、メモリ３には予め、地球固定座標系で表現された、地球の全球表面における３次元モデルの位置座標が格納されている。

ここで、姿勢検出手段４１および位置検出手段４２によって、静止衛星１の位置情報Ｘｐと姿勢角度情報θが既知なので、位置情報Ｘｐと姿勢角度情報θに基づいて位置情報Ｘｐに対する撮像機２の視線方向ベクトルを計算する。メモリ３は、地球の全球表面の３次元位置座標と位置情報Ｘｐに対する撮像機２の視線方向ベクトルに基づいて、視線方向に存在する全球表面上の撮像対象位置Ｘａを算出する。

次に、画像マッチング処理手段４の動作について説明する。メモリ３に蓄積された画像情報から撮像対象位置Ｘａに関する情報を参照して同一地域の画像データを抽出し、異なる時刻に撮像された２枚のペア画像とする。一般的に衛星搭載センサの取得画像を利用するリモートセンシング分野では、ＧＰＳ等による衛星の位置情報、スタートラッカや慣性装置等による衛星の姿勢情報、等を用いて取得画像を地図に投影する技術が用いられている。

しかし、衛星の位置・姿勢情報には誤差が含まれているため地図投影された衛星画像には位置誤差が生じる。このため異なる時期に取得した２枚の画像の差を取ると位置ずれに伴う輝度レベルの差が検出されるという課題がある。この課題を解決するために、海岸線や河川等の特徴点の緯経度情報と画像を予めＧＣＰ（Ground Control Point）画像として登録しておき、これを用いて取得画像の幾何学的な歪を詳細に補正する技術を利用する。例えば、低軌道周回衛星とは異なり、静止軌道では地球と静止衛星の相対位置関係が変わらないため、同一地域を撮像した場合の撮像機視線方向は常に一定なので、原則として２枚のペア画像に映し出される海岸線などの形状は一致する。このため、例えば時刻ｔ１において予め設定した複数箇所のＧＣＰ画像の撮像位置Ｘｇ１を計測し、時刻ｔ２において同一のＧＣＰ画像の撮像位置Ｘｇ２を計測する。各ＧＣＰ画像に対応した既知の緯度経度情報から地球固定座標系で表現した位置座標を求め、求めた位置座標と各ＧＣＰ画像における撮像位置Ｘｇ１、Ｘｇ２とを比較し、時刻ｔ１、ｔ２における各取得画像の幾何学的な歪みを求めて画像の位置補正を行う。このようにＧＣＰ画像を用いれば、地図投影衛星画像の位置精度が向上するために、２枚の画像の輝度差に及ぼす位置ずれの影響は低減される。

それでもなお、２枚の画像の位置あわせはＧＣＰ画像を介したものであるので、小さな輝度の変化を検出しようとする場合には位置ずれによる輝度差が相変わらず誤差要因となり、また静止衛星の姿勢変動や撮像タイミングのずれなどの影響により、サブピクセルレベルの厳密なレベルでは相互の画像はずれているため、近傍画素同士の輝度データを差分すると位置ずれに伴う輝度レベルの差が検出されるという問題がある。そこで画像マッチング処理手段４において、更に海岸線などの特徴的なテキスチャに着目して異なる時間に撮像された２枚の画像のＧＣＰ領域を直接比較し、一方の画像を他方の画像に位置合わせすることにより相互の画像間の位置ずれないし角度ずれをサブピクセルレベルの高精度でずれ量を検出し、次に輝度データ差分処理手段５にて差分評価する前にずれ量を補正処理する。この際、画像の位置ずれを計測するために画像マッチング技術が用いられる。画像マッチングの方法として面積相関法やSSDA法（Sequential Similarity Detection Algorithm、残差逐次検定法）などがある。

面積相関法では、ＧＣＰ画像や一方の画像から切出した特徴ある小領域をテンプレート画像として、他方の画像の同サイズの評価領域との相関係数を求める。評価領域の位置を縦、横方向に2次元的に1画素ずつ動かしながら相関係数を求め、相関係数の位置依存性から相関係数のピーク位置をサブピクセル単位で求めことにより両者の位置関係を詳細に計測することが可能となる。SSDA法ではテンプレート画像と評価画像との濃度差の絶対値が相関係数に代わる評価パラメータとして用いられる。画像の位置合わせは、上記の面積相関法やSSDA法による計測結果に基づき画像の幾何歪を補正することにより達成される。

幾何歪の補正を行うには画像の格子点上の濃度値からそれ以外の位置における濃度値を内挿することが必要になる。この技術は内挿と呼ばれており、典型的な内挿法として、縦・横方向に線形な内挿を行うバイリニアー（bi-linear）法、同じく縦・横方向にSINC関数の近似式である 3次式を使って内挿を行うキュービックコンボリューション（cubic convolution）法などにより実施する。

なお災害発生に伴い海岸線近傍で異常が発生した場合はマッチング処理が適切に行われない可能性もあるため、マッチング処理は観測幅に対して十分広いエリアで複数箇所実施することにより災害の影響がマッチング誤差の原因とならないように処理を実施する。

次に輝度データ差分処理手段５の動作について説明する。
画像マッチング処理手段４でペア画像は相互に画素対応で位置合せができているので、内蔵された計算機による演算処理により、スキャン後画像１２について画像内の各画素毎に輝度レベルの差分処理を実施する。災害後の画像から災害前の画像を差分して結果を画像化し、差分ゼロをグレー、プラスを白、マイナスを黒で表示すると、変化のない画素はグレーになり、明確に災害後大きく輝度上昇した部分は白く、輝度低下した部分は黒く表示されるので、差分画像を見てモノトーンのグレーであれば２枚の画像間で輝度変化がなかったことが一目瞭然となる。一方災害発生に伴い反射率の高い屋根が脱落して暗い内蔵物が見えるような状況になった部分では輝度低下が激しいため差分画像ではそのエリアが黒くなる。災害による変化が広い域に及べば差分画像の広いエリアで白や黒のデータが分布することになり、また変化の度合いが大きければ白から黒への濃淡差が激しくなって表示されることになる。

次に、異常判別手段６の動作について説明する。
輝度データ差分処理手段５で生成した差分画像において多少濃淡のあるグレーの結果が出た場合、地表面では何の変化もないにも関わらず、撮像機のノイズや画像マッチング処理手段４によるマッチング処理の誤差残留などの理由により、差分画像がゼロとならずにグレーの濃淡が発生する可能性がある。これらの変動要因の多くは統計的に特定の傾向をもつ場合が多いので、例えば地表面で変化がないことのわかっている状態で複数枚の撮像データを取得し、それらの差分画像を統計処理することによって、撮像機のノイズやマッチング処理の誤差残留がどの程度の頻度と輝度分布となるかを知ることが可能である。即ち平時において発生する差分画像の濃淡レベルと分布に対しては異常なしと判断するクライテリア（閾値）を設定することができる。異常判別手段６の具体的な実現方法としては、計算機の自動演算処理により、統計的に把握した平常時の変動量をクライテリアに設定し、設定したクライテリアを超える変動量のみ、異常フラグを立てる処理をすれば異常判別ができる。この際、異常フラグを立てた画素が異常の発生箇所に相当する。

また、画像内に雲が存在する場合、１時間以内のインターバルで撮像した２枚のペア画像であっても短時間とはいえ雲の移動は発生するため、差分画像には雲移動の影響が輝度差となって現れることになる。この際突然発生した雲を除けば、移動ないし変形した雲塊の差分データが雲塊の外形部で顕著な相違となり、かつ移動方向に対して明確なプラスの相違とマイナスの相違がペアで発生するなど明確な特徴を有するため、差分画像から雲の変形ないし移動を類推することも可能である。これらの差分画像の輝度相違は災害に伴う変化でないことは予め判断可能なため、異常なしと判断するクライテリアを設定する。異常判別手段６の具体的な実現方法としては、雲変形や移動に伴う差分画像の例をデータベース化して具備し、計算機の自動演算処理により、パターンマッチングして雲と判断されるデータに対しては異常フラグを立てないよう処理をすればよい。

また、静止衛星搭載撮像機の場合、地球自転と同期して周回するため、太陽との相対位置関係は時事刻々ずれることになる。このため１時間以内のインターバルで撮像した２枚のペア画像であっても、短時間とはいえ時間内に太陽高度が変動するのに伴って地表輝度の差が差分画像に現れることになる。この際地表面に対する太陽光入射角が時刻に依存し、かつ撮像機の撮像画像の輝度レベルも太陽光入射角に依存するという特徴を有する。このため午前中は前に撮像した画像ほど暗く、午後は後に撮像した画像ほど暗い傾向となって画面一様に現れるため、差分画像としては午前ほどグレーが淡く白みがかり、午後ほどグレーが濃く黒みがかる結果となる。これらの差分画像の輝度相違は災害に伴う変化でないことは予め判断可能なため、異常なしと判断するクライテリアを設定する。異常判別手段６の具体的な実現方法としては、差分ペア画像の時刻を参照して計算機の自動演算処理により、毎周回平均的に発生する輝度オフセット量を予め差し引きするアルゴリズムを追加することにより処理すればよい。

上述の方法により差分結果に対して平時において統計的に発生しうる変動、雲移動のような特徴量を利用して除去できる平時の変動、撮像時刻に依存するアプリオリに既知となる変動を対象外と判別した後になお残る明確な差分量に対して、有意な異常判別とする。

次に異常通報手段７の動作について説明する。
上記異常判別手段６で有意な異常判別を下したとする。異常判別によって異常フラグを立てた対象画素に関し、画素の位置情報と差分量の情報を付加して、差分画像データと伴に通報する。この通報結果は、通信手段５０による衛星通信回線を通じて地上局１００に送信される。画素の位置情報は、姿勢検出手段４２で検出されたスキャン後画像１２の視野中心が対応する撮像対象位置Ｘａと、画像内で異常フラグの立った画素位置に対応する位置Ｘｂに基づいて、各画素の位置情報が求められる。なお、画像内での各画素位置に対応する位置は、撮像機２のズーム比、撮像対象位置Ｘａと静止衛星１の位置情報Ｘｐとの間の距離、および視野中心からの画素数に基づいて適宜算出される。

次に、実施の形態１による監視装置の運用方法について説明する。
撮像機２として光学式撮像機を用いる場合、基本的に日中に撮像することとし、朝７時頃から撮像を開始し、夕方５時頃まで撮像を繰り返す。基本的に同一地域を１時間以内のインターバルで撮像したペア画像を用いて、平時に比較して有意な輝度の差異が発生した場合に異常発生場所と輝度変化量の情報を送信する。特定エリアに限定すれば数秒以内、国内全域では１５分以内、静止衛星搭載撮像機で撮像可能な地球全球でも３０分程度でデータ更新可能なため、国内及び近隣諸国で発生した異常を３０分以内に速報することが可能となる。また毎朝最初に撮像するデータは１時間以内に取得した比較データがないが、前日同時刻に取得したデータとの差分評価をすれば、日変動要因を含む差分評価が可能となる。

次に災害発生時を想定して、この実施の形態１による監視装置の利用方法を説明する。
仮に、国内で地震災害が発生した場合を想定すると、災害前最後に撮像したデータを取得した後、地震災害が発生した場合、静止衛星１の運用形態として国内を重点スキャンしている状況であればおよそ１５分以内に次の撮像スキャンを実施することになるので、災害前後の差分処理結果には災害に起因する家屋倒壊や火災に伴う画像輝度データの相違が出力結果として現れる。この際仮に家屋倒壊の規模が10ｍ程度であったとして、画像分解能が100ｍに設定されていたとすると、倒壊現象に対して画像分解能が悪いために１枚の単一画像を見ただけでは家屋倒壊を画像から識別することはできないが、仮に輝度変化が100あったと仮定すると、10ｍ四方で100の輝度変化が100ｍ四方で平均化されるので1の輝度変化として情報が含まれるので、差分抽出によれば異常検知は可能である。災害前後の差分結果で1の輝度レベルの相違が平時に平均的に発生する変動やノイズレベルよりも有意に大きいと判断できる場合には、異常判別手段により異常判定が出て、異常発生場所と輝度変化量をユーザに通報することになる。

ここで、ユーザとしては災害支援派遣を担当する各種省庁や災害対策機関などが想定される。例えば、独自に保有する航空機やヘリコプターを現地派遣するための速報情報として、通報された異常発生場所と輝度変化量から災害規模と重度を判断して、派遣すべき部隊の規模や派遣先を判断することができる。通常災害発生後派遣準備するまでに３０分から１時間程度要するとすれば、実施の形態１による監視装置によって派遣前に異常通報が可能なので、より適切に災害支援派遣活動が可能となる。

図４は、災害前後の差分画像の比較例を示し、図４（ａ）は災害前の画像、図４（ｂ）は災害後の画像、図４（ｃ）は災害前後の差分画像を示す。図に示すように、差分画像を得ることによって、特定のエリア内で発生する家屋倒壊や地物隆起、陥没等の変化に伴い、差分画像に輝度変化を生じることがわかる。すなわち、差分画像の輝度変化を検出することによって、異常の発生有無を検出することが可能となり、被災地の判別とその位置を特定することができる。ここで、参考までに、図４（ｄ）に被災地を航空写真で撮影した部分拡大画像を示す。図４（ｄ）と比べると図４（ｂ）の差分画像からは被災地の詳細な様子まではわからないが、図４（ｂ）の差分画像を用いることによって、少なくとも被災地とその位置を特定することができることがわかる。

次に、この実施の形態１による監視装置を他の監視衛星に適用する例について説明する。例えばロケットのように地上から発射され高速で空中を飛翔する飛翔体について、飛翔体の噴射時に発生する高温プルームを赤外線で検知することにより、即座に発射の有無を探知して弾道予測を行い、位置情報を通報する監視衛星が文献等で知られている。この場合、飛翔体の噴射持続時間は数分以内の短時間であると想定されるため、短い噴射時間内に数回の位置情報を収集してその飛翔方向を計算する。そこで、この実施の形態による監視装置を用いて、光学式撮像機として２次元赤外検出器を利用し、予め別の手段で得た発射場を常時監視して、終夜問わず数秒から数十秒程度の時間インターバルで撮像を繰り返すことにより、飛翔体の発射を漏らさず短時間で検知することが可能となる。なお、メモリ３以降の動作は基本的に災害監視の場合と同様である。

上記説明において、図１では全ての構成要素が静止衛星1に搭載される例を示したが、メモリ３から、画像マッチング処理手段４、輝度データ差分処理手段５、異常判別手段６、および異常通報手段７までの構成は、地上に具備してもよい。

また、図１では監視装置の内部処理として異常判別する例を示したが、監視装置の差分処理手段の出力情報をユーザが直接入手してユーザが異常判別する方がよい場面もあるため、異常判別手段６では無処理のまま、異常通報手段７を経由して、輝度データ差分処理手段５の出力情報を直接通報してもよい。

また、実施の形態１による監視装置が異常判別した地域で実際に災害が発生したのか、例えば薄雲の影響で差異が出ていたのかなどの不確定要素は残るため、実際にはユーザに通報する前段階において人手を介して差分処理前後の画像も見比べて、明らかに災害ではない要因による差分については別途除去することも効果がある。

以上説明した通り、実施の形態１の監視装置によれば、衛星搭載撮像機は特定の着目地域を常時監視可能であるため、任意のインターバルで撮像を繰り返すことにより、前撮像との時間インターバル内に発生した異常現象を即座に検知可能になるという効果がある。また、予めエリアを限定することなく、全球内のあらゆる地域で発生した災害でも検知できるという効果がある。さらに、スキャンする走査範囲を広域に設定して、網羅的なスキャンを行うことにより、同一地域を再び撮像するまでの時間インターバルが短くなるので、災害発生後の待ち時間を短縮できるという効果が得られる。

また、静止衛星搭載撮像機の視野範囲が１００km以上の広域に設定可能であるため、広域大規模災害発生に際して網羅的に異常が検知できるという効果がある。

また、静止衛星搭載撮像機は災害によって破損する危険がないので、確実に情報提供できるという効果がある。

また、特定エリアに限定すれば数秒以内、国内全域では１５分以内、静止衛星搭載撮像機で撮像可能な地球全球でも３０分程度でデータ更新可能なため、国内及び近隣諸国で発生した異常を３０分以内に速報することができるという効果がある。

また、別の情報収集手段により異常発生場所を特定しなくても、異常検知が可能という効果がある。

また、人員を現地派遣する必要がないので、準備や移動のための待ち時間が不要になるという効果がある。

また、ペア画像を取得するまでの時間インターバルが、特定エリアに限定すれば数秒以内、国内全域では１５分以内と短いために、その間に発生する変化要因が限定されるので、災害など着目する異常現象だけを抽出しやすいという効果がある。

また、ペア画像の差分抽出により異常検知する手法によれば、単一の画像で視覚的に識別することができないような、撮像機の分解能よりも精細な現象についても輝度データ平均値の変化として情報抽出可能となるため、異常検知が可能になるという効果がある。

実施の形態２．
図５はこの発明の実施の形態２による監視装置を示す図であり、図において符号１から７は実施の形態１と同様であり、更に雲データマスク処理手段８を備えている。なお、図中において、各構成ブロックの接続関係や走査手段３０の図示を省略し簡略化している。

画像内に雲が存在する場合、１時間以内のインターバルで撮像した２枚のペア画像であっても短時間とはいえ雲の移動は発生するため、差分画像には雲移動の影響が輝度差となって現れることになり、また雲は一般的に輝度データが高い。

雲データマスク処理手段８は、撮像機１の取得画像から統計的に輝度データを取得し、通常雲を撮像した際に出力される輝度データの最低値を雲判定基準の閾値として設定する。また、計算機の自動演算により閾値よりも輝度の高い画素については後段の輝度データ差分処理手段５の処理対象外となるように、取得画像データにマスク処理を施す。具体的なマスク処理としては、ペア画像双方の対象画素データを予め同じ数値に変更処理し、この結果対象画素の差分がゼロとなるように処理を行う。

次に、雲データマスク処理手段８において雲の移動を更に精度良く把握する方法を説明する。
近年、気象分野では雲のイメージマッチングによって雲の速度を計測する技術が進んでいる。このことを利用し、はじめに図３を用いて説明したのと同様の方法により、輝度データに閾値を設けて差分画像の変化抽出を行う。次に、差分画像に変化が抽出された部分を含む小領域を設定し、画像マッチング処理手段４により、ペア画像のイメージマッチングを再度実施する。この際、画像内の対象が雲であれば通常想定される雲の移動速度に応じた移動範囲において高い相関係数が得られるので、この相関係数を利用して、雲の移動と、それ以外の現象の識別を行う。

差分画像で変化抽出されたところを再度イメージマッチングする本手法によれば、薄雲の影響を除外する上でも有効となる。薄雲が掛かっている領域では画像のコントラストは落ちるが、薄雲を透過して地上が見えていれば高い相関が得られるので、災害でないことの判別が可能となる。なおこの手法を採用する場合に画像マッチング処理手段４において採用するイメージマッチング手法としては、ペア画像のDC成分やゲインが違っていても相関値が変わらない面積相関法を採用するのが良い。

この実施の形態２の監視装置によれば、実施の形態１の効果と同様の効果を有した上で、更に１時間以内の撮像インターバル時間内に発生してしまう変化要因の雲の移動を、除外して評価できるので、災害等着目する異常現象のみを更に抽出しやすくなるという効果がある。

実施の形態３．
図４はこの発明の実施の形態３を示す図であり、図において符号１から７は実施の形態1と同様であり、この実施の形態では更に輝度データ補正処理手段９を備えている。なお、図中において、各構成ブロックの接続関係や走査手段３０の図示を省略し簡略化している。

静止衛星１に搭載された撮像機２の場合、地球自転と同期して周回するため、太陽との相対位置関係は時事刻々ずれることになる。このため１時間以内のインターバルで撮像した２枚のペア画像であっても、短時間とはいえ時間内に太陽高度が変動するのに伴って地表輝度の差が差分画像に現れることになる。

この際、地表面に対する太陽光入射角が時刻に依存し、かつ撮像機の撮像画像の輝度レベルも太陽光入射角に依存するという特徴を有する。このため午前中は前に撮像した画像ほど暗く、午後は後に撮像した画像ほど暗い傾向となって画面一様に現れるので、差分画像としては午前ほどグレーが淡く白みがかり、午後ほどグレーが濃く黒みがかる結果となる。この差分量は季節と時刻に依存する量であり、予め統計的に輝度データを取得することにより、輝度レベルの平均的な変化量をデータベースに格納しておく。そして、季節と時刻に応じて、データベースに格納された平均的変化量を、計算機よる自動演算により差分画像から除去処理することにより、差分画像から季節と時刻に依存する変化を除去することができる。

この実施の形態３の監視装置によれば、実施の形態１の効果と同様の効果を有した上で、撮像する季節や時刻に依存する太陽光入射角度の変化のように、予め既知の変化要因に基づく輝度変化を除外して評価できるので、災害等着目する異常現象のみを更に抽出しやすくなるという効果がある。

この発明に係る実施の形態１による監視装置を示す図である。この発明に係る実施の形態１による監視装置を示す構成図である。この発明に係る実施の形態１による撮像機の構成を示す図である。災害前後の差分画像例を示す図である。この発明に係る実施の形態２による監視装置の構成を簡略的に示す図である。この発明に係る実施の形態２による監視装置の構成を簡略的に示す図である。

符号の説明

１静止衛星、２撮像機、３メモリ、４画像マッチング処理手段、５輝度データ差分処理手段、７異常通報手段、８雲データマスク処理手段、９輝度データ補正処理手段、１０地球、３０走査手段。

Claims

静止衛星に搭載され地球の画像を取得する撮像機と、
地球の全球内で上記撮像機の視野範囲を網羅的に走査可能な走査手段と、
上記撮像機で取得した地球の画像を格納するメモリと、
上記撮像機で取得した地球の画像から同一地域を異なる時間に撮像したペア画像を得て、ペア画像について対応する地点同士の位置合わせを行う画像マッチング処理手段と、
上記画像マッチング処理手段によるマッチング後の画像に関して、同一地点同士の輝度データを差分処理する輝度データ差分処理手段と、
上記輝度データ差分処理手段による差分処理画像に基づいて、平時において発生する差分処理画像に対する有意な異常を判別する異常判別手段と、
異常判別手段により判別された異常の発生場所と輝度変化量の情報を通報する異常通報手段と、
を備えた監視装置。
静止衛星に搭載され地球の全球内を網羅的に走査する撮像機で取得された地球の画像を受信し、受信画像から同一地域を異なる時間に撮像したペア画像を得て、ペア画像について対応する地点同士の位置合わせを行う画像マッチング処理手段と、
上記画像マッチング処理手段によるマッチング後の画像に関して、同一地点同士の輝度データを差分処理する輝度データ差分処理手段と、
上記輝度データ差分処理手段による差分処理画像に基づいて、平時において発生する差分処理画像に対する有意な異常を判別する異常判別手段と、
異常判別手段により判別された異常の発生場所と輝度変化量の情報を通報する異常通報手段と、
を備えた監視装置。
上記輝度データ差分処理手段の前段に、雲の存在領域を識別し、上記撮像機で取得した地球の画像から雲の存在領域内の画像を除去する雲データマスク手段を具備した請求項１または請求項２記載の監視装置。
上記輝度データ差分処理手段の前段に、輝度レベルの平均的変化量を求め、上記撮像機で取得した地球の画像の輝度レベルから輝度レベルの平均的変化量分を除去する補正を行う、輝度データ補正処理手段を具備した請求項１または請求項２記載の監視装置。