JP2014197243A - パターン処理装置、パターン処理方法、パターン処理プログラム - Google Patents

Abstract

【課題】少ない手間で歪みの校正を行うことができ、投影時のムラがあっても特徴点の抽出を高い精度で行うことができるパターン処理装置を提供する。【解決手段】パターン処理装置は、複数のパターン要素を含む入力画像を入力する入力部と、前記入力画像から画素ごとのエッジ強度を算出して、エッジ画素を抽出する抽出部と、前記エッジ画素に対応して設定された第１閾値と、前記エッジ画素の近傍領域に含まれる画素の画素値との比較結果に応じて、前記画素が前景画素か、背景画素かであるかを判定するための評価値を求める評価部と前記評価値を、予め定められた第２閾値と比較することにより、前記画素が前記前景画素、及び前記背景画素のいずれであるかを判定する二値化判定部と、前記前景画素であると判定された前記画素のうち、いずれかの方向において隣接する前記画素同士を連結した画素連結成分を抽出する連結成分抽出部と、を備える。【選択図】図２

Description

本発明は、パターン処理装置、パターン処理方法、パターン処理プログラムに関する。

通常、プロジェクタからスクリーンへ投影される画像には、プロジェクタとスクリーンの相対的な位置関係により台形歪みが生じる。また、投影されるスクリーンの局所的な凹凸やねじれによる非線形歪みが見られる場合もある。

こうした歪みを補正するために、特許文献１においては、特定の図形配列からなる校正用のパターン画像を投影したスクリーンをデジタルカメラ等で撮像し、図形配列にもとづいて撮像画像上で抽出される特徴点の理想的な位置と実際の抽出位置とのずれから歪みの程度を算出し、算出された歪みを解消するように補正された画像をプロジェクタから投影する技術を開示している。

校正用画像の投影・撮像にかかる作業は出来る限り、手間や時間をかけないで行えるようにすることが望ましい。しかしながら、特許文献１では撮像画像を一律の固定閾値で二値化するため、室内照明やスクリーン面の状態に由来する局所的な照明ムラがあると適切な二値化結果を得ることができず、特徴点の抽出に失敗する場合がある。そこで校正作業の間だけ室内を消灯したり、成功するまで撮像を繰り返したりすると手間や時間がかかってしまうこととなる。

本発明は、上記課題に鑑みてなされたものであり、その目的は、少ない手間で歪みの校正を行うことができ、投影時のムラがあっても特徴点の抽出を高い精度で行うことができるパターン処理装置を提供することにある。

上述した課題を解決し、目的を達成するために、本発明は、複数のパターン要素を含む入力画像を入力する入力部と、前記入力画像からエッジ画素およびエッジ勾配の勾配方向を抽出する抽出部と、前記エッジ画素ごとに定められた第１閾値と、前記エッジ画素の近傍領域に含まれる画素の画素値との比較結果に応じて、前記画素が前景画素か、背景画素かであるかを判定するための評価値を変動させる評価部と、前記評価値を、予め定められた第２閾値と比較することにより、前記画素が前記前景画素、及び前記背景画素のいずれであるかを判定する二値化判定部と、前記前景画素であると判定された前記画素のうち、いずれかの方向において隣接する前記画素同士を連結した画素連結成分を生成する連結成分生成部と、生成した前記画素連結成分を校正用の前記パターン要素に変換するパターン変換部と、備えることを特徴とする。

本発明によれば、少ない手間で歪みの校正を行うことができ、投影時のムラがあっても特徴点の抽出を高い精度で行うことができるという効果を奏する。

図１−１は、第１の実施形態における投影される校正用パターン画像のデータの一例を示す図である。 図１−２は、第１の実施形態における実際に投影された校正用パターン画像の一例を示す図である。 図２は、第１の実施の形態にかかるパターン処理装置の構成を示すブロック図である。 図３は、第１の実施形態にかかるパターン処理の流れを示すフロー図である。 図４は、第１の実施形態にかかるＳｏｂｅｒフィルタの一例を示す図である。 図５は、第１の実施形態にかかる輝度勾配方向と方向コードとの対応関係を示す図である。 図６は、第１の実施形態にかかるエッジ除外の処理の流れを示すフロー図である。 図７は、第１の実施形態にかかる方向コードと非最大抑制閾値の対応関係を示す図である。 図８は、第１の実施形態にかかるエッジ細線化処理が実施された後の、１つのパターン要素である円周辺の画素に割り当てられた方向コードを示す図である。 図９は、第１の実施形態にかかる方向コードごとの図地分離閾値を算出する式をまとめた表である。 図１０は、第１の実施形態にかかる画素が前景画素か、背景画素かを判定するための値である図地評価値を算出する処理の流れを示すフロー図である。 図１１は、第１の実施形態にかかるパターン要素を構成する画素毎に図地評価値が割り当てられた状態を示した図である。 図１２は、第１の実施形態にかかる画素を二値化処理した後の状態を示す図である。 図１３は、第１の実施形態にかかるラベリング処理がなされた画素連結成分を示す図である。 図１４−１は、第２の実施形態にかかる画素連結成分の形状特徴を満たさない一例を示す図である。 図１４−２は、第２の実施形態にかかる画素連結成分の形状特徴を満たさない一例を示す図である。 図１４−３は、第２の実施形態にかかる画素連結成分の形状特徴を満たさない一例を示す図である。 図１５は、第３の実施形態にかかる画素連結成分の重心を代表座標とする場合を示す図である。 図１６は、パターン処理装置のハードウェア構成の一例を示す図である。

以下に添付図面を参照して、パターン処理装置の実施の形態を詳細に説明する。実施形態においては、パターン処理装置をプロジェクタに具体化した例を示す。プロジェクタにより投影された校正用のパターン画像がデジタルカメラによって撮影され、撮影された画像が再度プロジェクタに入力されて、歪み補正用の校正用パターンが生成される。なお、プロジェクタ自体に投影された画像を撮影する機能が付加されていてもよい。

（第１の実施の形態）
図１−１は、壁やスクリーンなどに投影される校正用パターン画像のデータの一例を示しており、図１−２は、実際にある投影面に投影されて歪みが生じている校正用パターン画像の一例を示している。校正用パターン画像は、Ｍ×Ｎの黒丸によって示されるパターン要素がグリッド状に配置された画像である。この校正用パターン画像のデータが投影されると、投影面の状態により、図１−２に示されるような歪みが発生する。そこで、上述したデジタルカメラにより、図１−２に示される校正用パターン画像が撮影されて、本発明にかかるパターン処理装置に入力される。本実施形態においては、パターン処理装置はプロジェクタと一体型で構成されているが、これは別のハードに実装されていてもよい。

図２は、第１の実施の形態にかかるパターン処理装置の構成の一例を示すブロック図である。図２に示されるように、パターン処理装置１は、入力部１００、抽出部１０１、評価部１０２、二値化処理部１０３、連結成分生成部１０４、パターン変換部１０５、エッジ除外部１０６、及び記憶部１２０を備えている。なお、以下に示すこれらの各部位の機能は、ソフトウェアによって実現されても、電子回路などのハードウェアにより実現されていてよい。

入力部１００は、デジタルカメラなどにより撮影されたパターン画像が入力される。入力されたパターン画像は、以降入力画像として、記憶部１２０の入力画像バッファ１２１に記憶される。なお、入力画像バッファ１２１に記憶される入力画像は、撮影されたデータそのものでなくともよく、サイズ変換や、色補正などの画像処理を施されたものであってもよい。また、パターンとは実施形態で説明するような黒い丸のみを指すわけではなく、その他のパターンとして利用可能であり、このパターンに限るものではない。例えば、白地に黒丸、黒地に白丸、または白地に黒い矩形や三角、星の形状（黒地に白い矩形や三角、星の形状）のように、背景と明確に異なる明るさ・色を持つ図形・画像であれば、どのようなものもパターンとして利用することが可能である。本実施形態においては、入力画像は、撮影された画像における各パターン要素の画素の輝度を０（黒）〜２５５（白）の範囲で持つ、グレースケール画像に変換される。以下、入力された入力画像は図３において示されるパターン処理を実施されて歪みを校正するための校正用のパターン画像が生成される。このように生成された校正用のパターン画像と、もともとの歪みのないパターン画像とを比較することにより、歪み補正処理のための補正値が算出される。

まず、抽出部１０１は、入力画像バッファ１２１から入力画像を取得し、入力画像におけるエッジ画素、及びエッジ画素の勾配方向をそれぞれ抽出するエッジ抽出フィルタを適用する（ステップＳ３０１）。抽出部１０１は、入力画像を構成する各画素Ｐ（ｘ，ｙ）（０＜＝Ｘ＜＝Ｍ−１、０＜＝Ｙ＜＝Ｎ−１）に対して、図４に示すＳｏｂｅｒフィルタを適用することで、以下の式１に基づき各画素Ｐ（ｘ，ｙ）と対応する輝度勾配の強さＥ（ｘ，ｙ）と勾配方向θ（ｘ，ｙ）とを以下の式に基づき、算出する。

続いて、抽出部１０１は、各画素ごとに算出した勾配方向θの値に基づき、図５を参照して、画素ごとに割り当てられる方向コードの値を決定する（図３：ステップＳ３０２）。図５における輝度勾配方向の角度は、一般的な画像処理手法にしたがい、画像の左上隅を原点とし、垂直下向きを正のｙ軸方向、時計回りを正の角度とする座標系を用いる。図５に示されるように、θ（ｘ，ｙ）の値が６７．５度以上、又は−６７．５度以下の場合は、方向コードとして画素にＤ（ｘ，ｙ）＝１が割り当てられる。「１」は、垂直であることを示す方向コードである。また、θ（ｘ，ｙ）の値が２２．５度より大きく、６７．５度より小さい場合は、方向コードとして画素にＤ（ｘ，ｙ）＝２が割り当てられる。「２」は、方向が右下がりであることを示す方向コードである。θ（ｘ，ｙ）の値が−２２．５度以上であり、２２．５度以下の場合は、方向コードとして画素にＤ（ｘ，ｙ）＝３が割り当てられる。「３」は、水平であることを示す方向コードである。θ（ｘ，ｙ）の値が−６７．５度より大きく−２２．５度より小さい場合は、方向コードとして画素にＤ（ｘ，ｙ）＝４が割り当てられる。「４」は、勾配方向が右上がりであることを示す方向コードである。これらの方向コードＤ（ｘ，ｙ）は、画素Ｐ（ｘ，ｙ）それぞれに対応付けられて、記憶部１２０のエッジ方向コードバッファ１２２に記憶される。なお、方向コードが付与されるのは、エッジ画素として抽出された画素のみであることから、エッジ画素ではない画素には方向コードとしては「０」が割り当てられる。

ついで、エッジ除外部１０６は、エッジのノイズ除去のためのエッジ細線化処理を行う（ステップＳ３０３）。具体的な処理の流れを図６を用いて説明する。図６に示されるように、まず、エッジ除外部１０６は、ある座標（ｘ，ｙ）の画素を選択し、この画素Ｐ（ｘ，ｙ）の輝度勾配の強さであるＥ（ｘ，ｙ）が予め定められた所定の閾値Ｔ１（第３閾値に相当）以下であるか否かを判定する（ステップＳ１０１）。Ｅ（ｘ，ｙ）が予め定められた所定の閾値Ｔ１以下であると判定された場合（ステップＳ１０１：Ｙｅｓ）、エッジ除外部１０６は、Ｐ（ｘ，ｙ）の方向コードであるＤ（ｘ，ｙ）を０とする（ステップＳ１０２）。本実施形態においては、以降の処理で方向コードが「０」でないものをエッジとして認識して処理を行うため、方向コードを０とすることで、その画素がエッジとして除外されることとなる。なお、方向コードではなく、輝度勾配の強さＥ（ｘ，ｙ）に基づいて、以降の処理を行う場合は、Ｅ（ｘ，ｙ）を０とする処理を代わりに行ってもよい。

一方、Ｅ（ｘ，ｙ）が予め定められた所定の閾値Ｔ１より大きいと判定された場合（ステップＳ１０１：Ｎｏ）、エッジ除外部１０６は、ついでＥ（ｘ，ｙ）が所定の閾値Ｔ２（ｘ，ｙ）以下であるか否かを判定する（ステップＳ１０３）。閾値Ｔ２は、輝度勾配の強さＥ（ｘ，ｙ）が勾配方向に沿って隣接する画素のうちで最大であるか否かを判定するための非最大抑制閾値であり、図７に示す式に基づき算出される。

図７に示されるように、方向コードがＤ（ｘ，ｙ）＝１の場合は、閾値Ｔ２はＭａｘ｛Ｅ（ｘ，ｙ＋１），Ｅ（ｘ，ｙ−１）｝により求められる。Ｍａｘ｛Ａ，Ｂ｝は、Ａ，Ｂのうち大きい値を取得する関数である。この式の場合、上下に隣接する画像のうち輝度勾配の強さが大きい方の値が取得される。方向コードがＤ（ｘ，ｙ）＝２の場合は、閾値Ｔ２はＭａｘ｛Ｅ（ｘ＋１，ｙ＋１），Ｅ（ｘ−１，ｙ−１）｝により求められる。この式の場合、右下と左上方向に隣接する画像のうち輝度勾配の強さが大きい方の値が取得される。方向コードがＤ（ｘ，ｙ）＝３の場合は、閾値Ｔ２はＭａｘ｛Ｅ（ｘ＋１，ｙ），Ｅ（ｘ−１，ｙ）｝により求められる。この式の場合、左右方向に隣接する画像のうち輝度勾配の強さが大きい方の値が取得される。方向コードがＤ（ｘ，ｙ）＝４の場合は、閾値Ｔ２はＭａｘ｛Ｅ（ｘ−１，ｙ＋１），Ｅ（ｘ＋１，ｙ−１）｝により求められる。この式の場合、左下と右上方向に隣接する画像のうち輝度勾配の強さが大きい方の値が取得される。

エッジ除外部１０６は、上述のように算出された閾値Ｔ２を用いて判定を行い、Ｅ（ｘ，ｙ）が所定の閾値Ｔ２（ｘ，ｙ）以下である場合（ステップＳ１０３：Ｙｅｓ）、エッジ除外部１０６は、Ｐ（ｘ，ｙ）の方向コードであるＤ（ｘ，ｙ）を０とする（ステップＳ１０２）。一方、Ｅ（ｘ，ｙ）が所定の閾値Ｔ２（ｘ，ｙ）より大きい場合（ステップＳ１０３：Ｎｏ）、エッジ除外部１０６は処理を行わず処理を終了する。以上の処理を通じて、画素のエッジが細線化される。図８は、エッジ細線化処理が実施された後の、１つのパターン要素である円周辺の画素に割り当てられた方向コードを示した図である。

図８に示されるように、各画素のうち、輝度勾配の強さの小さい画素や、エッジの勾配方向において最大値となっていない画素は、方向コードが０となるため、円形の輪郭に沿って、「０」でない方向コードを割り当てられた幅１のエッジの線分が示されるようになる。

ついで、評価部１０２は、方向コードが割り当てられた画素のうち、方向コードに応じて画素ごとに定められる閾値Ｑ（ｘ，ｙ）（第１閾値に相当）を決定する図地分離閾値決定処理を行う（図３、ステップＳ３１１）。図地分離閾値とは、画素が前景画素（図画素）と、背景画素（地画素）とのいずれであるかを判別するための閾値である。図８において、方向コードが０でない画素は、輝度勾配方向において輝度勾配の強度が最大となっていることから、勾配方向において隣接する２つの画素同士は画素値Ｐ（ｘ，ｙ）が大きく乖離しており、一方が前景画素、他方が背景画素となっている。したがって、本実施形態では、隣接する２つの画素の画素値Ｐ（ｘ，ｙ）の中間値を図地分離閾値とすることで、画素が背景画素と前景画素のいずれであるかを判別できるようにする。図９は、方向コードごとの図地分離閾値を算出する式をまとめた表である。

図９に示されるように、方向コードＤ（ｘ，ｙ）が１の画素Ｐ（ｘ，ｙ）の場合、図地分離閾値Ｑ（ｘ，ｙ）は、｛Ｐ（ｘ，ｙ−１）＋Ｐ（ｘ，ｙ＋１）｝／２で示される、上下の隣接する２つの画素の中間輝度となる。また、方向コードＤ（ｘ，ｙ）が２の画素Ｐ（ｘ，ｙ）の場合、図地分離閾値Ｑ（ｘ，ｙ）は、｛Ｐ（ｘ−１，ｙ−１）＋Ｐ（ｘ＋１，ｙ＋１）｝／２で示される、左上と右下の隣接する２つの画素の中間輝度となる。また、方向コードＤ（ｘ，ｙ）が３の画素Ｐ（ｘ，ｙ）の場合、図地分離閾値Ｑ（ｘ，ｙ）は、｛Ｐ（ｘ−１，ｙ）＋Ｐ（ｘ＋１，ｙ）｝／２で示される、左と右の隣接する２つの画素の中間輝度となる。また、方向コードＤ（ｘ，ｙ）が４の画素Ｐ（ｘ，ｙ）の場合、図地分離閾値Ｑ（ｘ，ｙ）は、｛Ｐ（ｘ＋１，ｙ−１）＋Ｐ（ｘ−１，ｙ＋１）｝／２で示される、左下と右上の隣接する２つの画素の中間輝度となる。

続いて、評価部１０２は、画素Ｐ（ｘ，ｙ）が前景画素か、背景画素かを判定するための値である図地評価値Ｃ（ｘ，ｙ）を算出する図地評価値算出処理を行う（図３：ステップＳ３１２）。以下、上述のように算出された図地分離閾値Ｑ（ｘ，ｙ）を用いて、画素Ｐ（ｘ，ｙ）が前景画素か、背景画素かを判定するための値である図地評価値Ｃ（ｘ，ｙ）を算出する処理の流れを図１０により説明する。図１０に示されるように、まず評価部１０２は、図地評価値Ｃ（ｘ，ｙ）を初期化する（ステップＳ２０１）。また、評価部１０２は、注目画素（方向コードが０ではない画素のうちの１つ）を選択するポインタであるｎの値を１に初期化するとともに、ｒの値にパターン要素である円の半径を代入する。本実施形態においては、画素Ｐ（ｘ，ｙ）を評価する際に、画素Ｐ（ｘ，ｙ）だけではなく、その近傍領域までを含めた範囲を対象に、図地分離閾値Ｑ（ｘ，ｙ）による評価を行う。

図８で示した、パターン要素の輪郭付近だけが前景画素か背景画素であるかの評価を受けた場合、パターン要素の中心部は評価を受けられないことになってしまう。したがってパターン要素サイズ（ここでは円半径）を反映した領域を近傍領域とすることが望ましい。本実施形態では、パターン要素である円の半径ｒを用い、始点：（ｘ０−ｒ，ｙ０−ｒ）〜終点：（ｘ０＋ｒ，ｙ０＋ｒ）で定められる矩形領域を近傍領域とする。なお近傍領域の設定は、注目画素を中心として上下左右に円の半径ｒに等しい広がりを持つ矩形領域に限定されるものではない。例えば円と同じ面積となるような一辺長さ（＝ＳＱＲＴ（π）＊ｒ）を持つ矩形領域や、１．５×ｒに等しい半径を持つ円形領域等を近傍領域と設定することができる。

評価部１０２は、注目画素をｎ番目の画素に設定する（ステップＳ２０２）。そして、評価部１０２は、代表座標のＹ座標を注目画素のｙ０からｒを減算した座標とするとともに（ステップＳ２０３）、代表座標のＸ座標を注目画素のｘ０からｒを減算した座標とする（ステップＳ２０４）。そして、評価部１０２は、近傍領域に属する画素の画素値Ｐ（ｘ，ｙ）が図地分離閾値Ｑ（ｘ０,ｙ０）よりも小さいか否かを判定する（ステップＳ２０５）。画素の画素値Ｐ（ｘ，ｙ）が図地分離閾値Ｑ（ｘ０,ｙ０）よりも小さい（暗い）と判定された場合（ステップＳ２０５：Ｙｅｓ）、画素Ｐ（ｘ，ｙ）と対応する図地評価値Ｃ（ｘ，ｙ）が１カウントアップされる（ステップＳ２０６）。画素値Ｐ（ｘ，ｙ）が図地分離閾値Ｑ（ｘ０,ｙ０）よりも大きい（明るい）と判定された場合（ステップＳ２０５：Ｎｏ）、ステップＳ２０６はスキップされる。

次いで、座標Ｘが近傍領域において最も大きいＸ座標であるｘ０＋ｒであるか否かが判定される（ステップＳ２０７）。座標Ｘが近傍領域において最も大きいＸ座標であるｘ０＋ｒでないと判定された場合（ステップＳ２０７：Ｎｏ）、評価部１０２はＸを１加算して（ステップＳ２０８）、次の座標についての図地評価値Ｃ（ｘ，ｙ）を計測する。一方、座標Ｘが近傍領域において最も大きいＸ座標であるｘ０＋ｒであると判定された場合（ステップＳ２０７：Ｙｅｓ）、座標Ｙが近傍領域において最も大きいＹ座標であるｙ０＋ｒであるか否かが判定される（ステップＳ２０９）。座標ｙが近傍領域において最も大きいＹ座標であるｙ０＋ｒでないと判定された場合（ステップＳ２０９：Ｎｏ）、評価部１０２はＹを１加算して（ステップＳ２１０）、ステップＳ２０４から、次の座標についての図地評価値Ｃ（ｘ，ｙ）を計測する。一方、座標Ｙが近傍領域において最も大きいＹ座標であるｙ０＋ｒであると判定された場合（ステップＳ２０９：Ｙｅｓ）、注目画素がまだ残っているか否かの判定が行われる（ステップＳ２１１）。注目画素がまだ残っていると判定された場合（ステップＳ２１１：Ｙｅｓ）、評価部１０２はｎを１加算して（ステップＳ２１２）、ステップＳ２０２からの処理を繰り返す。一方、注目画素が残っていないと判定された場合（ステップＳ２１１：Ｎｏ）、処理は終了する。

図１１は、以上の処理を経てパターン要素を構成する画素毎に図地評価値Ｃ（ｘ，ｙ）が割り当てられた状態を示した図である。このように、各々の円の内部領域にある画素に対する図地評価値Ｃ（ｘ，ｙ）が高くなる。円の内部領域側においては、方向コードが０ではないそれぞれの画素において、近傍領域の範囲に入ることから、結果として評価値の値が高くなるためである。評価部１０２は、各画素に割り当てた図地評価値Ｃ（ｘ，ｙ）の値を図地評価値バッファ１２３に記憶する。

次いで、二値化処理部１０３は、二値化処理を実施する（図３：ステップＳ３２１）。二値化処理部１０３は、図地評価値バッファ１２３に記憶された図地評価値Ｃ（ｘ，ｙ）とあらかじめ定められた正の閾値Ｔ３（第２閾値に相当）を用いて、次式にしたがって二値画像Ｂ（ｘ，ｙ）を算出する。

Ｃ（ｘ，ｙ）＜Ｔ３ ならば Ｂ（ｘ，ｙ）＝０
Ｃ（ｘ，ｙ）≧Ｔ３ ならば Ｂ（ｘ，ｙ）＝１

閾値Ｔ３＝４を用いて二値化した結果を図１２に示す。以下ではＢ（ｘ，ｙ）＝０にあたる画素を「背景画素」、Ｂ（ｘ，ｙ）＝１にあたる画素を「前景画素」と呼ぶ。図１２に示されるように、パターン要素の円形にそって、前景画素と認識される画素が配置されている。二値化したＢ（ｘ，ｙ）の値は、座標とともに二値画像バッファ１２４に記憶される。

続いて、連結成分生成部１０４は、二値画像Ｂ（ｘ，ｙ）に対して上下左右に隣り合う図画素同士を１つのグループとして統合するラベリング処理を行う（図３：ステップＳ３３１）。二値画像に対するラベリング処理としては、既存のラベリング方法を用いる。本実施形態においては、図１２において、「１」で示される画素が、全て連結されて１つの円形のパターン要素の形状に対応する連結成分が生成される。ラベリングによって各々固有のラベルを付けられた図画素連結成分が得られる。図１３に示すように、個々の図画素連結成分が１つの円に対応すると考えられるので、第ｉ番目の図画素連結成分を第ｉ番目のパターン要素（円）として出力する。出力されるラベリング結果は、ラベリング結果バッファ１２５に記憶される。その際、１つの円の代表座標（ｘｃ，ｙｃ）として、本実施形態ではその円に対応する図画素連結成分の外接矩形の始点：（ｘｓ，ｙｓ）と終点：（ｘｅ，ｙｅ）との中点を用いることとする。代表座標（ｘｃ，ｙｃ）は以下の式により算出される。

ｘｃ＝（ｘｓ＋ｘｅ）／２
ｙｃ＝（ｙｓ＋ｙｅ）／２

そして、パターン変換部１０５は、生成された画素連結成分をそれぞれパターン要素として変換し、パターン要素により構成される校正用のパターン画像が取得される。こうして１枚の入力画像をもとに、パターン画像を構成するパターン要素の円が画素連結成分として抽出され、それぞれの円の代表座標が取得される。このようにして取得された構成用のパターン画像に基づいて、理想的なパターン画像との間で歪みを算出し、投影を補正するための処理が実施される。歪み補正のための処理は既存の方法を用いることができる。

以上に示したパターン処理装置１においては、パターン要素を構成する画素を輝度の絶対値ではなく、パターンの背景画素と、前景画素との間の相対的な輝度の差に基づくエッジの勾配強度に基づいて二値化処理を行う。このため、照明ムラなどにより、輝度の絶対値が変化して、適切に校正用のパターン画像を取得できないといった問題が発生しにくくなり、高い精度で特徴点の抽出を行うことができる。

また、パターン画像の取得のために、照明を消したり、複数の画像を投影したりといったことも必要ないため、パターン取得のための手間もかからない。

また、エッジ画素のうち、ノイズや極大となっていない画素を除外するようにしたため、より精度の高い抽出が可能となる。さらには、近傍領域を設定する際に、パターン要素の円形の半径を近傍領域の範囲を設定する際の値として用いたため、エッジ画素を基点としてパターン要素を構成する画素を適切に評価範囲に含めることができるようになる。

（第２の実施形態）
パターン処理装置の第２の実施形態について説明する。本実施形態においては、ラベリング処理により得られた図画素連結成分の形状特徴が予め定められたパターン要素の特徴と一致するかを判定する処理を行う。具体的には、図画連結成分の外接矩形の幅ｗ、及び高さｈに対し、閾値Ｔ４、Ｔ５、及びＴ６を用いて、次式による基準を満たすかどうかをチェックする（Ｔ４＜Ｔ５、かつＴ６＞１）。

（１）Ｔ４≦ｗ≦Ｔ５ かつ Ｔ４≦ｈ≦Ｔ５
（２）１／Ｔ６≦ｗ／ｈ≦Ｔ６

閾値Ｔ４、及びＴ５は、図画連結成分の外接矩形の幅、及び高さの最小値、及び最大値を示す値である。本実施形態では、パターン要素が円形であるため、幅と高さの最大値は同じ値である。また、閾値Ｔ４、及びＴ５は、パターン要素の予め設定されたサイズに基づいて設定される。また、閾値Ｔ６は、外接矩形のアスペクト比がＴ６：１〜１：Ｔ６以内で方形に近い形状となるように設定されている。これらの図画素連結成分の形状特徴は、元となるパターン要素の形状によって異なることから閾値の値は形状に応じて適宜設定される。

条件（１）（２）のうち少なくとも１つが満たされないとき、形状特徴を満たさない図画素連結成分は校正用のパターン画像からは除外される。結果として、図１４−１〜図１４−３において示されたような形状の図画素連結成分は除去される。この図画素連結成分は、例えばスクリーン枠やプロジェクタ本体等といった背景オブジェクトの写りこみや撮像過程で入りこむ微小なノイズに由来するものであり、本来抽出すべきパターン要素である円に対応する図画素連結成分だけを取得することができる。

（第３の実施形態）
第１の実施形態では抽出されたパターン要素の代表座標（ｘｃ，ｙｃ）として、その円に対応する図画素連結成分の外接矩形の始点：（ｘｓ，ｙｓ）と終点：（ｘｅ，ｙｅ）との中点を用いたが、本実施形態では図画素連結成分を構成する図画素の重心を用いる。

すなわち、注目する図画素連結成分を構成するＮ個の図画素のうち、第ｉ番目の座標を（ｘｉ，ｙｉ）とすると、

により、算出されるｘｃ、及びｙｃを代表座標とする。

もし撮像時に手ブレが発生したり、スクリーンの汚れからくるノイズが混入したりして、例えば図１５のように図画素連結成分が細長いひげ状の突起を持ってしまった場合、外接矩形の中点は突起の存在に敏感に反応してしまい、突起のない理想的な場合に比べて中点の位置がかなりずれてしまう。

一方、重心については図画素総数Ｎが十分大きければひげ状突起の画素による重心を算出する際の影響度は小さいため、突起のない理想的な場合とほぼ同じ位置が得られるようになる。

なお、パターン処理にかかるプログラムはコンピュータ上のプログラムに実行させることもできる。図１６は一般的なコンピュータの構成を示すハードウェア構成図であり、ＣＰＵ２０１、ハードディスク２０２、ディスプレイ２０３、通信装置２０４、ＣＤ−ＲＯＭドライブ２０５、メモリ２０６、及びキーボード／マウス２０７を備えている。例えば、ＣＤ−ＲＯＭ等の記録媒体に記録されたパターン処理プログラムを、ＣＤ−ＲＯＭドライブ２０５を通じて読み込み、実行時にはメモリ２０６上にロードされ、ＣＰＵ２０１からの指令によってプログラムの処理ステップが順次実行されるようにしてもよい。入力画像は、あらかじめハードディスク２０２上に蓄えられるか、または実行時に図示しないデジタルカメラを通じて取り込まれた後、メモリ２０６上にロードされて参照される。パターン抽出の結果はメモリ２０６に保存された後、利用の必要に応じてメモリ２０６から読み出され、ハードディスク２０２に書き出されたり、ディスプレイ２０３に出力されたり、通信装置２０４を介してネットワーク上へ送出されたり、あるいは図示しないプリンタを通じて紙上に印字されたりする。

また、上記の実施形態においては、エッジ勾配のある注目画素の近傍領域に含まれる画素の画素値が所定の閾値を超える場合に図地評価値を加算することとしたが、画素値が所定の閾値よりも低い場合に、図地評価値を減算するようにすることもできる。すなわち、近傍領域に含まれる画素を絶対値ではなく数合的に判断して算出できる評価値を用いることができれば、二値化をより高い精度で行うことができるようになる。

１ パターン処理装置
１００ 入力部
１０１ 抽出部
１０２ 評価部
１０３ 二値化処理部
１０４ 連結成分生成部
１０５ パターン変換部
１０６ エッジ除外部
１２０ 記憶部
１２１ 入力画像バッファ
１２２ エッジ方向コードバッファ
１２３ 図地評価値バッファ
１２４ 二値画像バッファ
１２５ ラベリング結果バッファ
２０２ ハードディスク
２０３ ディスプレイ
２０４ 通信装置
２０５ ＣＤ−ＲＯＭドライブ
２０６ メモリ
２０７ キーボード／マウス

特開２０１０−０２８４１１号公報

Claims (10)

1. 複数のパターン要素を含む入力画像を入力する入力部と、
   前記入力画像から画素ごとのエッジ強度を算出して、エッジ画素を抽出する抽出部と、
   前記エッジ画素に対応して設定された第１閾値と、前記エッジ画素の近傍領域に含まれる画素の画素値との比較結果に応じて、前記画素が前景画素か、背景画素かであるかを判定するための評価値を求める評価部と
   前記評価値を、予め定められた第２閾値と比較することにより、前記画素が前記前景画素、及び前記背景画素のいずれであるかを判定する二値化判定部と、
   前記前景画素であると判定された前記画素のうち、いずれかの方向において隣接する前記画素同士を連結した画素連結成分を抽出する連結成分抽出部と、
   を備えることを特徴とするパターン処理装置。
2. 抽出された前記エッジ画素のうち、前記エッジ強度が第３閾値未満の画素を除去するとともに、前記エッジ画素のエッジ強度が前記勾配方向に沿って隣接する画素のうちで最大か否かを判定し、最大でない前記エッジ画素を前記評価部の評価対象から除外するエッジ除外部
   を更に備えることを特徴とする請求項１に記載のパターン処理装置。
3. 前記評価部は、前記エッジ画素を基点に前記パターン要素の予め設定されたサイズを用いて算出された範囲を、前記近傍領域として設定する
   ことを特徴とする請求項１、又は２に記載のパターン処理装置。
4. 前記評価部は、前記エッジ画素、及び前記エッジ強度の勾配方向において前記エッジ画素と隣接する画素のそれぞれの前記画素値の中間値を前記第１閾値として算出する
   ことを特徴とする請求項１、又は２に記載のパターン処理装置。
5. 前記連結成分抽出部は、前記画素連結成分の重心の座標を算出し、
   前記パターン変換部は、前記重心の座標を前記パターン要素の代表座標として設定する
   ことを特徴とする請求項１、又は２に記載のパターン処理装置。
6. 前記抽出部は、前記入力画像の主成分分析を行ってグレー化したあとに、画素ごとのエッジ強度を算出して、エッジ画素を抽出する
   ことを特徴とする請求項１、又は２に記載のパターン処理装置。
7. 複数のパターン要素を含む入力画像を入力する入力ステップと、
   前記入力画像から画素ごとのエッジ強度を算出して、エッジ画素を抽出する抽出ステップと、
   前記エッジ画素に対応して設定された第１閾値と、前記エッジ画素の近傍領域に含まれる画素の画素値との比較結果に応じて、前記画素が前景画素か、背景画素かであるかを判定するための評価値を求める評価ステップと、
   前記評価値を、予め定められた第２閾値と比較することにより、前記画素が前記前景画素、及び前記背景画素のいずれであるかを判定する二値化判定ステップと、
   前記前景画素であると判定された前記画素のうち、上下左右のいずれかにおいて隣接する前記画素同士を連結した画素連結成分を抽出する連結成分抽出ステップと、
   を含むことを特徴とするパターン処理方法。
8. 抽出された前記エッジ画素のうち、前記エッジ強度が第３閾値未満の画素を除去するとともに、前記エッジ画素のエッジ強度が前記勾配方向に沿って隣接する画素のうちで最大か否かを判定し、最大でない前記エッジ画素を前記評価部の評価対象から除外するエッジ除外ステップ
   を含むことを特徴とする請求項７に記載のパターン処理方法。
9. 前記評価ステップにおいて、前記エッジ画素を基点に前記パターン要素の予め設定されたサイズを用いて算出された範囲を、前記近傍領域として設定する
   ことを特徴とする請求項７、又は８に記載のパターン処理方法。
10. コンピュータに、
    複数のパターン要素を含む入力画像を入力する入力ステップと、
    前記入力画像から画素ごとのエッジ強度を算出して、エッジ画素を抽出する抽出ステップと、
    前記エッジ画素に対応して設定された第１閾値と、前記エッジ画素の近傍領域に含まれる画素の画素値との比較結果に応じて、前記画素が前景画素か、背景画素かであるかを判定するための評価値を求める評価ステップと、
    前記評価値を、予め定められた第２閾値と比較することにより、前記画素が前記前景画素、及び前記背景画素のいずれであるかを判定する二値化判定ステップと、
    前記前景画素であると判定された前記画素のうち、上下左右のいずれかにおいて隣接する前記画素同士を連結した画素連結成分を抽出する連結成分抽出ステップと、
    を実行させるためのパターン処理プログラム。

Images