JP2012203559A

JP2012203559A - 画像処理装置、画像処理プログラムおよび画像処理方法

Info

Publication number: JP2012203559A
Application number: JP2011066300A
Authority: JP
Inventors: Junichi Koga; 隼一古賀
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2011-03-24
Filing date: 2011-03-24
Publication date: 2012-10-22

Abstract

【課題】位置合わせを正確に行うことができる画像処理装置を提供する。
【解決手段】画像間の位置合わせを行う画像処理装置であって、位置合わせ基準となる基準画像を決定する基準画像選択部２と、基準画像と、基準画像の画素値又は輝度値に基づいて鏡面ハイライト領域を検出すると共に、基準画像と位置合わせを行う参照画像の画素値又は輝度値に基づいて鏡面ハイライト領域を検出する鏡面ハイライト領域検出部３と、鏡面ハイライト領域の位置情報に基づいて少なくとも鏡面ハイライト領域に重みを設定する重み設定部４と、重みを用いて、基準画像と参照画像とのマッチングを行って位置ずれ量を算出する位置ずれ量算出部５とを備え、重み設定部４は、鏡面ハイライト領域、あるいは鏡面ハイライト領域および鏡面ハイライト領域の周辺領域の重みを、鏡面ハイライト領域、あるいは鏡面ハイライト領域および周辺領域以外の領域の重みよりも小さく設定する。
【選択図】図１

Description

本発明は画像処理装置、画像処理プログラムおよび画像処理方法に関するものである。

複数枚画像間の位置ずれ量を算出して位置合わせする技術は、画像処理分野において基本的な技術である。そのため、様々な方法が提案されている。そのうちの一つに画像間のマッチングを行って位置ずれ量を算出する方法がある。マッチングを行なう際の課題の１つとして、位置、大きさがランダムに変化する金属表面等の光沢のある表面に生じる鏡面ハイライトが挙げられる。

そこで、特許文献１では、位置、大きさがランダムに変化する鏡面ハイライトを含む画像間のマッチング方法として、物体の同一部位に対応する画素間の明度データのばらつきの値によりマスクパターンを作成して、マッチングを実行する方法が開示されている。

特開平１０−９１７８５号公報

位置、大きさがランダムに変化する金属表面の鏡面ハイライトを含む、複数枚画像間でマッチングを行って位置ずれ量を算出する場合には、局所的な鏡面ハイライトの影響による誤差が大域的に算出された評価値に対し影響を及ぼし、マッチングの精度が下がってしまうという問題がある。

そのため、特許文献１では物体の同一部位に対応する画素毎の画像間の明度データのばらつきの値によりマスクパターンを作成することで鏡面反射によるマッチング精度の低下を抑えている。しかし、特許文献１では、位置合わせされた画素毎の画像間の明度データのばらつきに基づきマスクパターンを作成するため、位置合わせを行なう前の画像間においては、鏡面反射部のみを適切にマスキングするマスクバターンを作成できないといった問題がある。

本発明はこのような問題点を解決するために発明されたもので、鏡面ハイライトを含む画像のマッチング精度を向上して位置ずれ量を正確に算出することを目的とする。

本発明のある態様に係る撮像処理装置は、複数枚の画像を入力して、画像間の位置合わせを行う画像処理装置であって、位置合わせ基準となる基準画像を決定する基準画像選択部と、基準画像と、基準画像の画素値又は輝度値に基づいて鏡面ハイライト領域を検出すると共に、基準画像と位置合わせを行う参照画像の画素値又は輝度値に基づいて鏡面ハイライト領域を検出する鏡面ハイライト領域検出部と、鏡面ハイライト領域の位置情報に基づいて少なくとも鏡面ハイライト領域に、基準画像と参照画像とのマッチングを行なう際に用いる評価値の重みを設定する重み設定部と、重みを用いて、基準画像と参照画像とのマッチングを行って位置ずれ量を算出する位置ずれ量算出部とを備え、重み設定部は、鏡面ハイライト領域、あるいは鏡面ハイライト領域および鏡面ハイライト領域の周辺領域の重みを、鏡面ハイライト領域、あるいは鏡面ハイライト領域および周辺領域以外の領域の重みよりも小さく設定する。

本発明の別の態様に係る画像処理プログラムは、複数枚の画像をコンピュータで処理するための画像処理プログラムであって、コンピュータに、位置合わせ基準となる基準画像を決定する基準画像選択手順と、基準画像と、基準画像の画素値又は輝度値に基づいて鏡面ハイライト領域を検出すると共に、基準画像と位置合わせを行う参照画像の画素値又は輝度値に基づいて鏡面ハイライト領域を検出する鏡面ハイライト領域検出手順と、鏡面ハイライト領域の位置情報に基づいて少なくとも鏡面ハイライト領域に、基準画像と参照画像とのマッチングを行なう際に用いる評価値の重みを設定する重み設定手順と、重みを用いて、基準画像と参照画像とのマッチングを行って位置ずれ量を算出する位置ずれ量算出手順とを実行させ、重み設定手順においては、少なくとも鏡面ハイライト領域の重みを、鏡面ハイライト領域以外の領域の重みよりも小さく設定する。

本発明のさらに別の態様に係る画像処理方法は、複数枚の画像を入力して、画像間の位置合わせを行う画像処理方法において、位置合わせ基準となる基準画像を決定し、基準画像の画素値又は輝度値に基づいて鏡面ハイライト領域を検出すると共に、基準画像と位置合わせを行う参照画像の画素値又は輝度値に基づいて鏡面ハイライト領域を検出し、鏡面ハイライト領域の位置情報に基づいて少なくとも鏡面ハイライト領域に、基準画像と参照画像とのマッチングを行なう際に用いる評価値の重みを、鏡面ハイライト領域以外の領域よりも低く設定し、重みを用いて、基準画像と参照画像とのマッチングを行って位置ずれ量を算出する。

本発明によると、基準画像と参照画像との位置ずれ量を正確に算出することができる。

本発明の第１実施形態の画像処理装置を示すブロック図である。鏡面ハイライトを含む画像の一例である。図２の画像を２値化処理した場合の鏡面ハイライト領域を示す図である。鏡面反射を説明する図である。Ｐｈｏｎｇのモデルのよるハイライトの違いを示す図である。Ｐｈｏｎｇのモデルによる重みの関数を示す図である。Ｐｈｏｎｇのモデルによる重みを算出するための図である。本発明の第２実施形態のフローチャートである。

本発明の第１実施形態の構成について図１を用いて説明する。図１は、本実施形態の画像処理装置を示すブロック図である。

画像処理装置は、画像入力部１と、基準画像選択部２と、鏡面ハイライト領域検出部３と、重み設定部４と、位置ずれ量算出部５と、処理部６と、制御部７と、外部Ｉ／Ｆ部８とを備える。

画像入力部１は、基準画像選択部２および鏡面ハイライト領域検出部３と接続している。画像入力部１は、撮像素子などによって取得した画像信号を画像データとして格納し、要求に応じて画像データを基準画像選択部２および鏡面ハイライト領域検出部３に出力する。なお、以下において、画像データを、単に画像として扱うものとする。

基準画像選択部２は、鏡面ハイライト領域検出部３と接続している。基準画像選択部２では、ユーザが任意に選択した位置合わせの基準となる画像（以下、基準画像と言う。）が選択される。選択された基準画像は、鏡面ハイライト領域検出部３に転送される。なお、基準画像選択部２は、合焦状態やコントラスト等の情報から、自動で基準画像を選択してもよい。

鏡面ハイライト領域検出部３は、重み設定部４と接続している。鏡面ハイライト領域検出部３は、基準画像選択部２によって選択された基準画像と、基準画像と位置合わせを行う画像（以下、参照画像と言う。）とから鏡面ハイライト領域をそれぞれ検出する。鏡面ハイライトとは、光源からの光が光沢のある表面に鏡面反射して見える光源の鏡像であり、主に金属やプラスティックのような表面の滑らかな物体で多く観察される。鏡面ハイライト領域は、輝度値が所定値以上となる画素が一定の範囲で連続している領域であり、所定値および一定の範囲は、ユーザが鏡面ハイライトが生じていると認識可能な値に設定される。例えば所定値は２５６階調の場合には、輝度値が２４０である。

ここで鏡面ハイライトについて図２、図３を用いて詳しく説明する。図２は、鏡面ハイライトを含む画像の一例であり、中央に高輝度な鏡面ハイライトが現れている。図３は、図２の画像を任意に２値化処理した画像である。図３に示すように、鏡面ハイライト領域は、突出した高輝度を持つ場合が多い。そのため、最適な閾値により２値化することで、鏡面ハイライト領域を検出することができる。

また、より正確に鏡面ハイライト領域を抽出する場合は、輝度値が一定の閾値以上で変化する境界によって囲まれた領域を検出することができるＷａｔｅｒｓｈｅｄやＭＳＥＲといった公知のセグメンテーション技術を用いる。閾値はユーザが鏡面ハイライトが生じていると認識可能な値である。また、輝度値が隣接する画素の間で一定の閾値以上で変化する境界によって囲まれた領域の平均輝度値が鏡面ハイライトであると判定可能な値（所定範囲内）である場合に、その領域を鏡面ハイライト領域として検出しても良い。

鏡面ハイライト領域検出部３で抽出された鏡面ハイライト領域の位置情報は、重み設定部４へ転送される。

重み設定部４は、位置ずれ算出部と接続している。重み設定部４は、鏡面ハイライト領域検出部３によって検出した鏡面ハイライトの位置情報に基づいて重みＷを設定する。

鏡面反射を表現する輝度分布には、さまざまなモデルが提案されているが、ここではＰｈｏｎｇのモデルを用いる。Ｐｈｏｎｇのモデルについて図４を用いて説明する。Ｐｈｏｎｇのモデルは視点方向と正反射方向のなす角γにより、鏡面反射成分をｃｏｓⁿγで減少させる方法である。鏡面反射光の強さＩ_specularは式（１）により与えられる。

ここで、Ｉ_lightは入射光の強さであり、入射光の強さの余弦は正反射方向の単位ベクトルＲと視点方向の単位ベクトルＶとの内積から求められる。Ｗ（α）は鏡面反射率であり、入射角αの関数として表される。Ｐｈｏｎｇのモデルは理論的に厳密なモデルではなく、経験的な観測に基づくモデルであるため、通常Ｗ（α）は一定値が用いられることが多い。ｎは鏡面ハイライトの特性を制御するパラメータであり、ｎが大きくなると図５に示すように鈍い反射から鋭い反射となる。図５は、Ｐｈｏｎｇのモデルによる鏡面ハイライトの違いを示す図であり、（ａ）ｎ＝１、（ｂ）ｎ＝２、（ｃ）ｎ＝５および（ｄ）ｎ＝２０の場合の鏡面ハイライトを示している。

図６ＡはＰｈｏｎｇのモデルに用いられる関数ｃｏｓⁿγに基づき、式（２）を用いて重みＷの関数を算出して示したものである。

図６Ａに示した重みＷの関数を実際の画像に設定する場合について説明する。重み設定部４は、図３に示すような鏡面ハイライト領域に対して反復法などの公知のアルゴリズムで算出される最小包含円（鏡面ハイライト領域を含む最小の円）を、他の領域よりも重みＷを小さく設定する領域として算出する。ここで、開発時の検討でｎの値（以下の例ではｎ＝２０とする。）を決定し、図６Ａに示した重みＷの関数を決定する。決定した重みＷの関数を用いて実際の画像に重みＷを設定する場合は、図６Ｂに示すように、最小包含円に含まれる画素位置の重みが十分に小さくなるように設定できるように、最小包含円の中心からの距離により重みを設定するテーブルを用意し、重みＷを設定する。

なお、ここでは、鏡面ハイライト領域とその周辺領域に重みＷを設定する方法について説明したが、最小包含円の中の鏡面ハイライト領域にのみ重みＷを設定してもよい。

Ｐｈｏｎｇのモデルのような鏡面反射モデルに基づいて重みを設定することで、鏡面ハイライト領域、あるいは鏡面ハイライト領域とその周辺領域に自然な重みの設定が可能となる。また、鏡面反射の輝度分布モデルはＰｈｏｎｇのモデルに限ったものではなく、ガウス分布、ベックマン分布、Ｈｅｉｄｒｉｃｈ−Ｓｅｉｄａｌ異方性分布、Ｗａｒｄ異方性分布、Ｃｏｏｋ−Ｔｏｒｒａｎｃｅモデル、Ｂｌｉｎｎモデル等の公知の反射モデルを用いてもよい。さらには、それらのモデルを組み合わせてもよい。計算の高速化のために、鏡面ハイライト領域のみに対して他の領域よりも値が小さい任意の一定値の重みを設定してもよい。さらには、計算の高速化のための別の構成として、鏡面ハイライト領域に対して任意の一定値の重みを設定し、鏡面ハイライト領域の周辺領域に上記する鏡面反射モデルに基づく重みを設定してもよい。

重み設定部４は、鏡面ハイライト領域、あるいは鏡面ハイライト領域およびその周辺領域以外の領域の重みＷを１に設定する。

重み設定部４によって鏡面ハイライト領域の位置に基づいて設定された重み情報は、位置ずれ量算出部５に転送される。

位置ずれ量算出部５は、基準画像選択部２から転送される基準画像と、画像入力部１から転送される参照画像と、重み設定部４から転送される鏡面ハイライト領域の位置に基づき設定された重み情報とを用いて、基準画像と参照画像との位置ずれ量を算出する。位置ずれ量算出部５は、基準画像と参照画像とで位置が対応する画素について求めたＳＳＤ（差分自乗の総和）やＳＡＤ（差分絶対値の総和）やＮＣＣ（正規化相互相関）といった公知の類似度または相違度を、重み情報を用いて算出する。

具体的には、位置（ｉ，ｊ）における基準画像の輝度値をＴ（ｉ，ｊ）とし、参照画像の輝度値をＩ（ｉ，ｊ）とし、重みをＷ（ｉ，ｊ）とした場合に、Ｍピクセル×Ｎピクセルの領域の基準画像と参照画像間との重み付きＳＳＤ、ＳＡＤ、ＮＣＣであるＳＳＤ_weight、ＳＡＤ_weight、ＮＣＣ_weightは、下記式（３）、式（４）、式（５）によりそれぞれ求められる。

参照画像を移動してＳＳＤ_weightまたはＳＡＤ_weightを算出した場合には、ＳＳＤ_weight、ＳＡＤ_weightが小さい値であるほど基準画像と参照画像との類似性は高い。つまり、ＳＳＤ_weightまたはＳＡＤ_weightが最も小さい値となる位置が基準画像と参照画像との同位置であり、参照画像の初期位置との差により、位置ずれ量を算出することができる。

また、参照画像を移動してＮＣＣ_weightを算出した場合には、ＮＣＣ_weightが大きい値であるほど基準画像と参照画像との類似性は高い。つまり、ＮＣＣ_weightが最も大きい値となる位置が基準画像と参照画像の同位置であり、参照画像の初期位置との差により、位置ずれ量を算出することができる。

基準画像の鏡面ハイライト領域および参照画像の鏡面ハイライト領域の位置の画素情報は信頼性が低いため重みをゼロとすることも有効である。この場合には、ＳＳＤ_weight、ＳＡＤ_weight、ＮＣＣ_weightの計算速度を向上させることができる。

位置ずれ量算出部５によって算出された位置ずれ量は処理部６に転送される。

処理部６は、算出した位置ずれ量を用いて、超解像技術、ダイナミックレンジ拡大技術、ノイズ低減、ブレ補正技術等の複数枚画像処理を実施する。

制御部７は、画像入力部１、基準画像選択部２、鏡面ハイライト領域検出部３などと接続しており、これらを含む撮像装置を制御する。

外部Ｉ／Ｆ部８は、外部機器が接続され、外部機器との間でデータの送受信などを行う。

本発明の第１実施形態の効果について説明する。

鏡面ハイライト領域の位置に基づいて重みを設定することで、基準画像と参照画像との位置ずれ量を正確に算出することができる。これにより、鏡面ハイライトが生じる場合でも、高精度の画像処理を行うことができる。

鏡面ハイライト領域を輝度値が所定値以上となる領域に設定することで、鏡面ハイライト領域を正確に検出することができる。

鏡面ハイライト領域、あるいは鏡面ハイライト領域およびその周辺領域の重みＷを、これらの領域以外の重みＷよりも小さくすることで、基準画像と参照画像との位置ずれ量を算出する際に、鏡面ハイライト領域およびその周辺領域の重要度を低くし、基準画像と参照画像との位置合わせ処理を正確に行うことができる。

次に本発明の第２実施形態について図７を用いて説明する。図７は、本発明をソフトウェアによって処理する場合のフローチャートである。

この場合、画像処理装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、以下で示す処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読取り可能な記憶媒体を備える。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、上記ハードウェアによる画像処理装置と同様の処理を実現させる。

ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い
ステップＳ１００では、複数枚の画像を格納する。

ステップＳ１０１では、基準画像が選択される。

ステップＳ１０２では、基準画像と参照画像とから鏡面ハイライト領域を検出する。

ステップＳ１０３では、基準画像の鏡面ハイライトの位置情報と、参照画像の鏡面ハイライトの位置情報とに基づいて、鏡面ハイライト領域、あるいは鏡面ハイライト領域とその周辺領域について重みを設定する。重みの設定方法は、第１実施形態と同様である。

ステップＳ１０４では、基準画像と、参照画像と、重み情報とを用いて基準画像と参照画像との位置ずれ量を算出する。位置ずれ量の算出方法は、第１実施形態と同様である。

ステップＳ１０５では、算出した位置ずれ量を用いて複数枚画像処理を実施する。

本発明の第２実施形態の効果について説明する。

第２実施形態でも、第１実施形態と同様の効果を得ることができる。

本発明は上記した実施形態に限定されるものではなく、その技術的思想の範囲内でなしうるさまざまな変更、改良が含まれることは言うまでもない。

上記実施形態では、鏡面ハイライト領域を輝度値に基づいて検出したが、画素値に基づいて検出してもよい。

１画像入力部
２基準画像選択部
３鏡面ハイライト領域検出部
４重み設定部
５位置ずれ量算出部

Claims

複数枚の画像を入力して、画像間の位置合わせを行う画像処理装置であって、
位置合わせ基準となる基準画像を決定する基準画像選択部と、
前記基準画像と、前記基準画像の画素値又は輝度値に基づいて鏡面ハイライト領域を検出すると共に、前記基準画像と位置合わせを行う参照画像の画素値又は輝度値に基づいて鏡面ハイライト領域を検出する鏡面ハイライト領域検出部と、
前記鏡面ハイライト領域の位置情報に基づいて少なくとも前記鏡面ハイライト領域に、前記基準画像と前記参照画像とのマッチングを行なう際に用いる評価値の重みを設定する重み設定部と、
前記重みを用いて、前記基準画像と前記参照画像とのマッチングを行って位置ずれ量を算出する位置ずれ量算出部とを備え、
前記重み設定部は、前記鏡面ハイライト領域、あるいは前記鏡面ハイライト領域および前記鏡面ハイライト領域の周辺領域の重みを、前記鏡面ハイライト領域、あるいは前記鏡面ハイライト領域および前記周辺領域以外の領域の重みよりも小さく設定することを特徴とする画像処理装置。
前記鏡面ハイライト領域検出部は、前記画素値又は前記輝度値が所定値以上の領域を前記鏡面ハイライト領域として検出することを特徴とする請求項１に記載の画像処理装置。
前記鏡面ハイライト領域検出部は、前記画素値又は前記輝度値の変化量が閾値以上となる隣接する画素間の境界によって囲まれた領域を前記鏡面ハイライト領域として検出することを特徴とする請求項１に記載の画像処理装置。
前記鏡面ハイライト領域検出部は、前記画素値又は前記輝度値が隣接する画素の間で前記所定値以上変化する前記境界によって囲まれた前記領域内の平均輝度値が所定範囲内である場合に、前記領域を前記鏡面ハイライト領域として検出することを特徴とする請求項３に記載の画像処理装置。
前記重み設定部は、前記鏡面ハイライト領域、あるいは前記鏡面ハイライト領域および前記鏡面ハイライト領域の周辺領域に鏡面反射モデルに基づく重みを設定することを特徴とする請求項１から４のいずれか一つに記載の画像処理装置。
前記重み設定部は、前記鏡面ハイライト領域の重みを前記鏡面ハイライト領域以外の領域の重みよりも小さい一定値とし、前記鏡面ハイライト領域の周辺領域に鏡面反射モデルに基づく重みを設定することを特徴とする請求項１から４のいずれか一つに記載の画像処理装置。
複数枚の画像をコンピュータで処理するための画像処理プログラムであって、前記コンピュータに、
位置合わせ基準となる基準画像を決定する基準画像選択手順と、
前記基準画像と、前記基準画像の画素値又は輝度値に基づいて鏡面ハイライト領域を検出すると共に、前記基準画像と位置合わせを行う参照画像の画素値又は輝度値に基づいて鏡面ハイライト領域を検出する鏡面ハイライト領域検出手順と、
前記鏡面ハイライト領域の位置情報に基づいて少なくとも前記鏡面ハイライト領域に、前記基準画像と前記参照画像とのマッチングを行なう際に用いる評価値の重みを設定する重み設定手順と、
前記重みを用いて、前記基準画像と前記参照画像とのマッチングを行って位置ずれ量を算出する位置ずれ量算出手順とを実行させ、
前記重み設定手順においては、少なくとも前記鏡面ハイライト領域の重みを、前記鏡面ハイライト領域以外の領域の重みよりも小さく設定することを特徴とする画像処理プログラム。
複数枚の画像を入力して、画像間の位置合わせを行う画像処理方法において、
位置合わせ基準となる基準画像を決定し、
前記基準画像の画素値又は輝度値に基づいて鏡面ハイライト領域を検出すると共に、前記基準画像と位置合わせを行う参照画像の画素値又は輝度値に基づいて鏡面ハイライト領域を検出し、
前記鏡面ハイライト領域の位置情報に基づいて少なくとも前記鏡面ハイライト領域に、前記基準画像と前記参照画像とのマッチングを行なう際に用いる評価値の重みを、前記鏡面ハイライト領域以外の領域よりも低く設定し、
前記重みを用いて、前記基準画像と前記参照画像とのマッチングを行って位置ずれ量を算出することを特徴とする画像処理方法。