JP2008112259A

JP2008112259A - 画像照合方法および画像照合プログラム

Info

Publication number: JP2008112259A
Application number: JP2006293845A
Authority: JP
Inventors: Ryuichi Ishino; 隆一石野
Original assignee: Central Research Institute of Electric Power Industry
Current assignee: Central Research Institute of Electric Power Industry
Priority date: 2006-10-30
Filing date: 2006-10-30
Publication date: 2008-05-15

Abstract

【課題】異なる解像度で撮影した同一被写体の画像の照合を行う。
【解決手段】照合を行う画像が実際に撮影された解像度の異なる２つの撮像手段を用いて同一のパターンを撮影し、撮影された２つの画像の各画素間の対応関係を求め、更に、低解像度パターン画像の画素とその画素に対応する高解像度パターン画像の画素との輝度値の差分または比を求め、当該輝度値の差分および対応関係のとれた高解像度パターン画像の画素の周辺ある対応関係がとれていない画素の輝度値から、低解像度パターン画像にない画素を補完するために高解像度パターン画像にあって低解像度パターン画像にはない画素の輝度値を算出するための補正係数を求め、照合を行う低解像度画像を求めた対応関係と補正係数を用いて高解像度画像と同一の解像度に高解像度化する。
【選択図】図１

Description

本発明は、画像照合方法および画像照合プログラムに関する。さらに詳述すると、同一の被写体が異なる解像度で撮影された場合に好適な画像照合方法、画像照合プログラムに関する。

（技術用語）
本明細書中において、「低解像度カメラ」（以下、Lcamともいう）とは、その解像度を限定するものではなく、解像度の異なる２つの撮像手段がある場合に、相対的に解像度の低い方の撮像手段をいい、「高解像度カメラ」（以下、Hcamともいう）とは、解像度の高い方をいう。

対象物を定期的にデジタルカメラ等の撮像手段により撮影し、当該画像を用いたトレンド管理が様々な分野で行われている。例えば、電力会社では電力設備のコンクリート等に入ったひび、傷、割れ等（以下、ひび等という）を一定期間毎に撮影し、ひび等の進行具合を調査し、微小なひび等の場合はその状況を記録し、ひび等が一定以上の大きさになった場合に補修を行う業務を行っている。

ここで、近年のIT機器の進展はめざましく、例えばデジタルカメラの場合であれば数年前のものに比べて、解像度が数倍となっている。また、その価格も従来と変わらないか従来よりも安価で入手することができる。また、解像度の高い新しいデジタルカメラの方が画像が鮮明であり、設備管理に適している。

これらの理由から、コンクリート等のひび等を撮影し、その進展具合を調査するために定期的（例えば、年に１度）に撮影された画像についても、数年前に撮影された画像と直近の撮影画像とは、使用しているデジタルカメラが異なり、その解像度が異なるという問題がある。

このように同一の被写体を撮影した画像であっても、撮影するデジタルカメラが異なり解像度が異なる場合は、その解像度を補間したうえで両画像の照合を行わなければ、どの程度ひび等が進展しているのかを正確に判断することはできない。このような同一の被写体についての過去に蓄積した低解像度カメラによる画像（以下、低解像度画像）と新たに撮影される高解像度カメラによる画像（以下、高解像度画像）とを比較するための手段は従来存在しなかった。

ここで解像度の補間を行う技術としては、補間画素に最も近い距離にある参照画素の画素値を補間画素の画素値とする最近傍補間法、補間画素の周囲にある参照画素について、それぞれ補間画素との距離に反比例して各画素値に重み付けを行い、補間画素の画素値を算出する線形補間法等の方法が存在する（非特許文献１）。
コンピュータ画像処理、オーム社刊、田村秀行編著、１２６−１２７頁

しかしながら、非特許文献１に記載の技術により、低解像度画像を高解像度化すると、低解像度カメラで撮影された画像が有する情報を、高解像度カメラでの画素数に引き延ばすだけであり画像全体がぼやけてしまうという問題がある。したがって、ひび等の進展調査のように画像照合に精密さが要求される業務には適用できない。

そこで、本発明は、異なる解像度の撮像手段により撮影された同一の被写体についての画像を正確に照合を可能とする画像照合方法および画像照合プログラムを提供することを目的とする。

かかる目的を達成するため、請求項１記載の画像照合方法は、解像度の異なる２つの撮像手段により同一のパターンが撮影されたパターン画像のうち解像度の高い高解像度パターン画像と解像度の低い低解像度パターン画像の各画素間の対応関係と、低解像度パターン画像の各画素につき該画素と対応関係のとれた高解像度パターン画像の画素との輝度値の差分または比および対応関係のとれた高解像度パターン画像の画素の周囲にある対応関係のとれない画素の輝度値に基づいて、低解像度パターン画像の各画素の輝度値から低解像度パターン画像の解像度を補間するために補完する画素であって対応関係のとれない画素に相当する画素の輝度値を算出するための補正係数とを予め求めておき、解像度の異なる２つの撮像手段により同一の被写体が撮影された対象画像のうち解像度の低い撮像手段で撮影された低解像度画像を対応関係および補正係数に基づいて撮像手段のうち解像度の高い撮像手段で撮影された高解像度画像と同じ解像度に高解像度化して画像照合を行うようにしている。

また、請求項２に記載の画像照合プログラムは、解像度の異なる２つの撮像手段により同一のパターンが撮影されたパターン画像のうち解像度の高い高解像度パターン画像と解像度の低い低解像度パターン画像の各画素間の対応関係と、低解像度パターン画像の各画素につき該画素と対応関係のとれた高解像度パターン画像の画素との輝度値の差分または比および対応関係のとれた高解像度パターン画像の画素の周囲にある対応関係のとれない画素の輝度値に基づいて、低解像度パターン画像の各画素の輝度値から低解像度パターン画像の解像度を補間するために補完する画素であって対応関係のとれない画素に相当する画素の輝度値を算出するための補正係数と、解像度の異なる２つの撮像手段により同一の被写体が撮影された対象画像とを予め記憶装置に記録しておき、対象画像のうち解像度の低い撮像手段で撮影された低解像度画像を読み出して、対応関係および補正係数に基づいて撮像手段のうち解像度の高い撮像手段で撮影された高解像度画像と同じ解像度に高解像度化する処理をコンピュータに実行させるものである。

したがって、照合を行う画像が実際に撮影された解像度の異なる２つの撮像手段を用いて、まず同一のパターン（例えば、格子パターン）を撮影し、撮影された２つの画像（解像度の高い高解像度パターン画像と解像度の低い低解像度パターン画像）の各画素間の対応関係を求める。更に、低解像度パターン画像の画素とその画素に対応する高解像度パターン画像の画素との輝度値の差分または比を求め、当該輝度値の差分または比および対応関係のとれた高解像度パターン画像の画素の周辺ある対応関係がとれていない画素の輝度値から、低解像度パターン画像にない画素を補完するために高解像度パターン画像にあって低解像度パターン画像にはない画素の輝度値を算出するための補正係数を求める。そして、照合を行う低解像度画像を、求めた対応関係と補正係数を用いて高解像度画像と同一の解像度に高解像度化している。換言すれば、低解像度カメラと高解像度カメラで撮影された２つの画像だけから、低解像度カメラで過去に撮影された画像を高解像度カメラで撮影された解像度と同一の解像度に高解像度画像が持つ情報を忠実に反映して高解像度化している。

以上説明したように、本発明にかかる画像照合方法および画像照合プログラムによれば、異なる解像度の撮像手段で撮影された同一被写体についての画像の照合を高解像度の撮像手段と同じ解像度で行うことが可能となる。また、低解像度画像を高解像度画像が持つ情報を忠実に反映してぼやけることなく高解像度化することができるため、正確な画像照合が可能となる。これにより、例えばひび等の進展具合の調査を正確に行うことが可能となる。

以下、本発明の構成を図面に示す実施の形態に基づいて詳細に説明する。

本発明の画像照合方法は、解像度の異なる２つの撮像手段により同一のパターンが撮影されたパターン画像のうち解像度の高い高解像度パターン画像と解像度の低い低解像度パターン画像の各画素間の対応関係と、低解像度パターン画像の各画素につき該画素と対応関係のとれた高解像度パターン画像の画素との輝度値の差分または比および対応関係のとれた高解像度パターン画像の画素の周囲にある対応関係のとれない画素の輝度値に基づいて、低解像度パターン画像の各画素の輝度値から低解像度パターン画像の解像度を補間するために補完する画素であって対応関係のとれない画素に相当する画素の輝度値を算出するための補正係数とを予め求めておき、解像度の異なる２つの撮像手段により同一の被写体が撮影された対象画像のうち解像度の低い撮像手段で撮影された低解像度画像を対応関係および補正係数に基づいて撮像手段のうち解像度の高い撮像手段で撮影された高解像度画像と同じ解像度に高解像度化して画像照合を行うようにしている。

以下、本実施形態では、異なる解像度のデジタルカメラ（以下、単にカメラともいう）でコンクリートのひびの画像が撮影された場合の画像照合方法について説明する。尚、高解像度画像を低解像度画像に情報量を失わずに低解像度化することはウェーブレット変換等により可能であるが、本実施形態では、ひびや割れの進展具合の調査であるので過去に撮影された低解像度画像を高解像度化する必要がある。

本発明の画像照合方法およびプログラムの詳細を図１のフローチャートを用いて説明する。

まず、画像照合を行う２つの画像を実際に撮影した低解像度カメラ及び高解像度カメラを用いて、それぞれ格子パターンの撮影を行う（Ｓ１）。尚、格子パターンは実際の被写体の付近に配置して撮影することが好ましい。低解像度カメラと高解像度カメラとでは焦点が固定でないためカメラと被写体との距離が変わる度に画素の対応関係が変わる可能性があるからである。また、当該ステップは撮影位置の補正（Ｓ３）を行うためのものであり、格子パターンに限られず位置あわせに適した他のパターン等を撮影してもよい。また、パターンを撮影するカメラは照合を行う画像が撮影されたカメラと同一の解像度および縦横比で撮影可能なカメラであれば、実際に撮影したカメラでなくても良い。

次に、高解像度カメラで撮影した高解像度パターン画像を低解像度カメラと同じ解像度に低解像度化を行う（Ｓ２）。撮影画像を低解像度化する手法は、ウェーブレット変換等、特に限られるものではないが、例えばJPEG2000に用いられる離散ウェーブレット変換(DWT：Discrete Wavelet Transform)等を用いることができる。尚、Ｓ２の低解像度化処理も撮影位置の補正（Ｓ３）のために行うものであり、画像照合のために行うものではない。

ここで、２つのカメラによる格子パターンの撮影は、同一位置から同一アングルで撮影するものであるが、実際に位置ずれを生じることなく２つのカメラにより撮影を行うことは困難であり、多少の位置ずれが生じてしまう。撮影位置およびアングル（以下、単に撮影位置ともいう）がずれた状態の画像のままでは、２つの画像の対応関係を求めることは困難であるので、２つの画像の対応関係を求めるために撮影位置の補正（Ｓ３）を行うことが必要となる。

撮影位置およびそのアングルの異なる２つの同一被写体の画像の撮影位置の補正（Ｓ３）には、公知又は新規の手法を用いれば良く、特に限られるものではないが、例えば、特開２００６−１３８７３５号「カメラアングル変化の検出方法および装置およびプログラム並びにこれを利用した画像処理方法および設備監視方法および測量方法およびステレオカメラの設定方法」に記載の技術を適用することができる。尚、三脚および雲台等を用いて位置ずれなくパターン画像を撮影可能であれば、Ｓ２及びＳ３は省略することができる。

位置ずれの修正後、低解像度カメラと高解像度カメラにより撮影されたパターン画像の画素の対応関係を求めることで、低解像度カメラと高解像度カメラの各画素の対応関係を求める（Ｓ４）。画素間の対応関係を求める手法は特に限られるものではないが、本実施形態では、ブロックマッチングを用いる。

ブロックマッチングは、画像間の類似性を評価するために、比較する画像から領域を切り出し、その領域に対する輝度差の総和(SAD; Sum of Absolute Difference)、輝度差の２乗和(SSD: Sum of Squared Differece)、正規化相互相関(ZNCC; Zero-mean Normalized Cross- Correlation)などを求め、SADやSSDを使うときには最小値、ZNCCを使うときには最大値を与える切り出し位置を検索することで、画像間の変位を画素単位で求めるものである。但し、本実施形態では、画像全体の評価であるので画像全体に対しブロックマッチングを行うものである。ブロックマッチングにより求めた各画素間の対応関係は、例えば数式１により示される。
＜数１＞
Hcam x = f(Lcam x)
Hcam y = f(Lcam y)

ここで高解像度カメラで撮影された高解像度パターン画像の画素数は、低解像度カメラで撮影された低解像度パターン画像の画素数より多いので、ブロックマッチングにより対応する画素を求めたとしても、高解像度パターン画像には対応関係のとれない画素が存在する。

そこで、本発明の画像照合方法では、この対応関係のない画素の輝度値を用いて、明るさ（輝度値）の相対化処理（Ｓ５）を行っている。まず、明るさの相対化の原理を図２〜図３を用いて説明する。

例えば図２は、低解像度カメラが２５０万画素、高解像度カメラが１０００万画素の場合にブロックマッチングにより画素の対応関係を求めた場合を模式した図である。図２では、×が高解像度パターン画像の画素、○が低解像度パターン画像の画素を示している。即ち、符号１０で示す×と○が重なった部分は、対応関係のとれた画素を示す。これに対し×は対応関係のとれない高解像度パターン画像の画素を示している。この例では、符号１１で示す四角に囲った部分のように、一つの低解像度カメラの画素に対して、対応関係のとれない３つの高解像度パターン画像の画素が存在する。

ここで、カメラが異なれば、その感度も異なる。したがって、同一の格子パターンを撮影した高解像度パターン画像と低解像度パターン画像における対応関係のとれた符号９で示す画素であっても、その輝度値は通常は異なっている。

例えば、図３（ａ）に示すように輝度値が低解像度パターン画像の画素１３ａでは１３０、高解像度パターン画像の画素１２ａでは１２０、同じく画素１２ｂでは１０５、画素１２ｃでは１１０、画素１２ｄでは１１５であったとすると、その輝度値の差分をとって低解像度パターン画像の画素の輝度値を補間すれば、仮想的に高解像度の画像とすることができる。即ち、図３（ｂ）に示すように、補間される画素１３ｂでは、１３０−（１２０−１０５）＝１１５、同様に１３ｃでは１２０、１３ｄでは１２５となる。また、輝度値の比を用いて低解像度パターン画像の画素の輝度値を補間しても良い。この場合、補完される画素の輝度値は、１３ｂでは、（１３０×１０５）／１２０≒１１４、同様に１３ｃでは１１９、１３ｄでは１２５となる。

本実施形態では、明るさの相対化（Ｓ５）は、低解像度パターン画像の各画素と対応関係のとれた高解像度パターン画像の画素（例えば、図２中の符号１０）を中心とした３×３の画素をその輝度値を補間したうえで補完している。補完される画素の輝度値は、補正係数として輝度値の差分を用いる場合は数式２により、輝度値の比を用いる場合は数式３で示される。
＜数２＞
補完される画素の輝度値＝対応関係のとれた画素の輝度値＋輝度値の差分（補正係数）
＜数３＞
補完される画素の輝度値＝対応関係のとれた画素の輝度値×輝度値の比（補正係数）

本実施形態では、３×３の矩形の輝度値を補間しているので１つの対応のとれた画素に対し８つの画素の輝度値を補間している。尚、補完される画素の輝度値が重複する場合は、重複した補間値の平均値を輝度値とすればよい。

ここで、補完する範囲が３×３の矩形であることは一例であって、２つのカメラの画素数の違いにより最適な補完範囲を決定すればよい。例えば、画素数の違いが１０倍以上あれば３×３の範囲では補完できないため、より大きな補完範囲とすることが必要となる。

このように明るさの相対化処理（Ｓ５）を行えば、高解像度の画像が有する情報を最大限に利用して低解像度の画像に取り入れることができるため、低解像度画像を高解像度画像が持つ情報を忠実に反映してぼやけることなく高解像度化することができる。

以上の処理の後、低解像度カメラでひび等について撮影された低解像度画像を補正係数として輝度値の差分を用いる場合は数式１と数式２、輝度値の比を用いる場合は、数式１と数式３を用いて、存在しない画素の輝度値を作成して高解像度化することが可能となる（Ｓ６）。以上により、異なる解像度で撮影された同一被写体（ひび等）についての画像の照合を同じ解像度で行うことが可能となる。尚、被写体の撮影位置が変わらない場合であれば、画素間の対応関係は既知となるのでＳ１〜Ｓ４の処理を省略することができる。

更に、高解像度化された低解像度画像と高解像度画像の２つの画像のうち、調査の対象となるひび等を中心として差分画像を作成するようにすれば、調査員は一目でひび等の進展具合を把握することが可能となる。

以上説明した本発明の画像照合プログラムは、例えば次のような画像照合装置１により実行される。画像照合装置１は、図４に示されるように、ディスプレイ等の出力装置２と、キーボード、マウス等の入力装置３と、演算処理を行う中央処理演算装置（ＣＰＵ）４と、計算中のデータ、パラメータ等が記憶される主記憶装置（ＲＡＭ）５と、計算結果等が記録される補助記憶装置としてのハードディスク６、撮像手段８から画像を取り込むための入力インタフェース７等を備えている。尚、主記憶装置５及び補助記憶装置６を総称して、単に記憶装置ともいう。上記のハードウェア資源は例えばバス９を通じて電気的に接続されている。また、本発明の画像照合プログラムは、補助記憶装置６に記録されており、当該プログラムがＣＰＵ４に読み込まれ実行されることによって、コンピュータが観測データ推定装置１として機能する。その実行の際に必要なデータは、ＲＡＭ５にロードされる。尚、上述のハードウェア構成は一例であってこれに限られるものではない。

尚、上述の実施形態は本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。また、上述の数式は一例であり、本発明の要旨を逸脱しない範囲において種々変形実施可能である。

例えば、撮像手段はデジタルカメラに限らず、デジタルビデオカメラ等であっても良い。この場合は、各フレーム画像に対して、本発明の画像照合方法を適用することで、異なる解像度のデジタルビデオカメラの各フレーム画像の照合を行うことができる。また、撮像手段は一つの撮像手段で異なる解像度での撮影が可能なものであれば、一つの撮像手段で撮影された解像度の異なる２種類の撮影画像の照合が可能であることは勿論である。

本発明の画像照合プログラムが実行する処理の一例を示すフローチャートである。明るさの相対化処理の原理を説明するための図の一例である。明るさの相対化処理の原理を説明するための図の他の例である。本発明の画像照合装置の一例を示すハードウェア構成図である。

Claims

解像度の異なる２つの撮像手段により同一のパターンが撮影されたパターン画像のうち解像度の高い高解像度パターン画像と解像度の低い低解像度パターン画像の各画素間の対応関係と、前記低解像度パターン画像の各画素につき該画素と前記対応関係のとれた前記高解像度パターン画像の画素との輝度値の差分または比および前記対応関係のとれた前記高解像度パターン画像の画素の周囲にある前記対応関係のとれない画素の輝度値に基づいて、前記低解像度パターン画像の各画素の輝度値から前記低解像度パターン画像の解像度を補間するために補完する画素であって前記対応関係のとれない画素に相当する画素の輝度値を算出するための補正係数とを予め求めておき、前記解像度の異なる２つの撮像手段により同一の被写体が撮影された対象画像のうち解像度の低い撮像手段で撮影された低解像度画像を前記対応関係および前記補正係数に基づいて前記撮像手段のうち解像度の高い撮像手段で撮影された高解像度画像と同じ解像度に高解像度化して画像照合を行うことを特徴とする画像照合方法。
解像度の異なる２つの撮像手段により同一のパターンが撮影されたパターン画像のうち解像度の高い高解像度パターン画像と解像度の低い低解像度パターン画像の各画素間の対応関係と、前記低解像度パターン画像の各画素につき該画素と前記対応関係のとれた前記高解像度パターン画像の画素との輝度値の差分または比および前記対応関係のとれた前記高解像度パターン画像の画素の周囲にある前記対応関係のとれない画素の輝度値に基づいて、前記低解像度パターン画像の各画素の輝度値から前記低解像度パターン画像の解像度を補間するために補完する画素であって前記対応関係のとれない画素に相当する画素の輝度値を算出するための補正係数と、前記解像度の異なる２つの撮像手段により同一の被写体が撮影された対象画像とを予め記憶装置に記録しておき、前記対象画像のうち解像度の低い撮像手段で撮影された低解像度画像を読み出して、前記対応関係および前記補正係数に基づいて前記撮像手段のうち解像度の高い撮像手段で撮影された高解像度画像と同じ解像度に高解像度化する処理をコンピュータに実行させることを特徴とする画像照合プログラム。