JP2005277732A - 矩形画像の四隅検出方法及び装置及びプログラム及び矩形画像の四隅検出プログラムを格納した記憶媒体 - Google Patents

Abstract

【課題】 印刷物をカメラで撮影した矩形画像を補正するために必要な四隅の点を高速に検出する。
【解決手段】 本発明は、撮影画像が入力されると、該撮影画像の矩形画像の注目点の近傍の輝度の重み付き和が、縁判定閾値を越えた場合に縁であることを検出し、撮影画像の矩形画像の近傍点範囲と、撮影された枠の太さにより求められた最適な近傍点範囲幅と重み係数行列列数から求められた重み付和が、枠判定閾値を越えた場合に枠であることを検出し、検出された縁または枠の交点、または、該縁または該枠を辿り、途切れた位置から四隅の座標を検出する。
【選択図】 図１

Description

本発明は、矩形画像の四隅検出方法及び装置及びプログラム及び矩形画像の四隅検出プログラムを格納した記憶媒体に係り、特に、印刷物をカメラで撮影した画像データの補正処理として、もとの印刷物の画像を忠実に再現するための技術における、矩形画像を補正するために必要な四隅の点を検出するための矩形画像の四隅検出方法及び装置及びプログラム及び矩形画像の四隅検出プログラムを格納した記憶媒体に関する。

従来、印刷物をカメラで撮影した撮影画像に対して、画像処理を行う場合、撮影画像は元の印刷物に対して射影変換が施されたものになるため、逆射影変換を行う必要がある（例えば、非特許文献１参照）。

また、逆射影変換を行うための変換行列を求めるためには、撮影画像と印刷物の間で、対応する点が最低４点必要である（例えば、非特許文献２参照）。対応する点に画像輪郭線上の特徴点を用いることが一般的であり、矩形画像では通常四隅を用いる。
「ＣＡＤ・ＣＧのための基礎数学」島田静雄著、２０００年、共立出版、ISBN4-3200-1646-7http://www.ke.ics.saitama-u.ac.jp/kondo/Geomap/CADCGHTML/CadCgMathmatics.html 「コンピュータ画像処理技術」http://www2.nsknet.or.jp/numada/ip.html

しかしながら、上記従来の矩形画像の四隅を検出するための技術は、元画像を輪郭強調したエッジ画像に変換した後、ハフ変換を用いた直線認識を行い、その交点を求めることが一般的なため、処理量が大きく携帯端末のような処理能力が低く、しかも機種によっては小数点演算ができない機器で実行することは困難である。

本発明は、上記の点に鑑みなされたもので、印刷物をカメラで撮影した矩形画像を補正するために必要な四隅の点を高速に検出することが可能な矩形画像の四隅検出方法及び装置及びプログラム及び矩形画像の四隅検出プログラムを格納した記憶媒体を提供することを目的とする。

図１は、本発明の原理を説明するための図である。

本発明は、印刷物をカメラで撮影した撮影画像内の矩形画像の四隅を検出するための矩形画像の四隅検出方法において、
撮影画像が入力されると（ステップ１）、該撮影画像の矩形画像の注目点の近傍の輝度の重み付き和が、第１の記憶手段に格納された縁判定閾値を越えた場合に縁であることを検出する縁検出ステップと（ステップ２）、
撮影画像の矩形画像の近傍点範囲と、撮影された枠の太さにより求められた最適な近傍点範囲幅と重み係数行列列数から求められた重み付和が、第２の記憶手段に格納された枠判定閾値を越えた場合に枠であることを検出する枠検出ステップと（ステップ３）、
縁検出ステップまたは枠検出ステップで検出された縁または枠の交点、または、該縁または該枠を辿り、途切れた位置から四隅の座標を検出する四隅検出ステップと（ステップ４）、を行う。

また、本発明は、任意のタイミングで、撮影画像の背景領域の輝度から矩形領域の輝度を引き、予め定められた重み係数行列により定まる定数を掛けた値を縁判定閾値として第１の記憶手段に格納する縁判定閾値調整ステップを行う。

また、本発明は、任意のタイミングで、撮影画像の背景領域の平均輝度から枠領域の輝度を引き、重み係数行列により定まる定数を掛けた値を枠判定閾値として第２の記憶手段に格納する枠判定閾値調整ステップを行う。

また、本発明は、四隅検出ステップにより得られた四隅の座標から得られる四隅の角度が所定の範囲内にあるか否かに基づいて、正しい四隅の座標を選択する四隅角度判定ステップを更に行う。

また、本発明は、縁判定ステップにより検出された縁を辿り途切れた位置から隅を求める、または、該縁の交点から四隅を求める第１のステップと、
第１のステップにより検出された四隅の座標に基づいて得られる四隅の角度から、正しい四隅の座標を選択する第１の選択ステップと、
第１の選択ステップで、第１のステップで検出された四隅の座標から正しい四隅の座標が得られない場合には、枠判定ステップにより検出された枠を辿り、途切れた位置から隅を求める、または、該枠の交点から四隅を求める第２のステップと、
第２のステップにより検出された四隅の座標に基づいて得られる四隅の角度から正しい四隅の座標を選択する第２の選択ステップを行う。

また、本発明は、カメラ付き携帯端末で撮影された電子透かし入り矩形画像が入力されると、縁判定ステップ、枠判定ステップ、四隅検出ステップ、四隅角度判定ステップとを行い、該四隅角度判定ステップにおいて、正しい四隅の座標について逆射影変換を行い、元の矩形画像を取得し、該元の矩形画像から電子透かしを読み取る。

図２は、本発明の原理構成図である。

本発明は、印刷物をカメラで撮影した撮影画像内の矩形画像の四隅を検出するための矩形画像の四隅検出装置であって、
撮影画像が入力される画像入力手段１１０と、
撮影画像の矩形画像の注目点の近傍の輝度の重み付き和が、第１の記憶手段１６５に格納された縁判定閾値を越えた場合に縁であることを検出する縁検出手段１５０と、
撮影画像の矩形画像の近傍点範囲と、撮影された枠の太さにより求められた最適な近傍点範囲幅と重み係数行列列数から求められた重み付き和が、第２の記憶手段１４５に格納された枠判定閾値を越えた場合に枠であることを検出する枠検出手段１３０と、
縁検出手段１５０または、枠検出手段１３０で検出された縁または枠の交点、または、該縁または該枠を辿り、途切れた位置から四隅の座標を検出する四隅検出手段１２０と、を有する。

また、本発明は、任意のタイミングで、撮影画像の背景領域の輝度から矩形領域の輝度を引き、重み係数行列により定まる定数を掛けた値を縁判定閾値として第１の記憶手段１６５に格納する縁判定閾値調整手段を有する。

また、本発明は、任意のタイミングで、撮影画像の背景領域の平均輝度から枠領域の輝度を引き、重み係数行列により定まる定数を掛けた値を枠判定閾値として第２の記憶手段１４５に格納する枠判定閾値調整手段有する。

また、本発明は、四隅検出手段１２０により得られた四隅の座標から得られる四隅の角度が所定の範囲内にあるか否かに基づいて、正しい四隅の座標を選択する四隅角度判定手段を更に有する。

また、本発明の四隅検出手段１２０は、
縁判定手段１５０により検出された縁を辿り途切れた位置から隅を求める、または、該縁の交点から四隅を求める第１の手段と、
枠判定手段１３０により検出された枠を辿り途切れた位置から隅を求める、または、該枠の交点から四隅を求める第２の手段と、を有し、
四隅角度判定手段は、
第１の手段により検出された四隅の座標に基づいて得られる四隅の角度から、正しい四隅の座標を選択し、該第１の手段で検出された四隅の角度から正しい四隅の座標が得られない場合には、第２の手段により検出された四隅の座標に基づいて得られる四隅の角度から正しい四隅の座標を選択する選択手段を含む。

また、本発明は、画像入力手段１１０において、カメラ付き携帯端末で撮影された電子透かし入り矩形画像、が入力されると、縁判定手段１５０、枠判定手段１３０、四隅検出手段１２０、四隅角度判定手段を行った結果得られる正しい四隅の座標について逆射影変換を行い、元の矩形画像を取得する逆射影変換手段と、
元の矩形画像から電子透かしを読み取る電子透かし読み取り手段と、を更に有する。

本発明は、印刷物をカメラで撮影した撮影画像内の矩形画像の四隅を検出するための矩形画像の四隅検出プログラムであって、
コンピュータに、
撮影画像が入力されると、該撮影画像の矩形画像の注目点の近傍の輝度の重み付き和が、第１の記憶手段に格納された縁判定閾値を越えた場合に縁であることを検出する縁検出ステップと、
撮影画像の矩形画像の近傍点範囲と、撮影された枠の太さにより求められた最適な近傍点範囲幅と重み係数行列列数から求められた重み付和が、第２の記憶手段に格納された枠判定閾値を越えた場合に枠であることを検出する枠検出ステップと、
縁検出ステップまたは枠検出ステップで検出された縁または枠の交点、または、該縁または該枠を辿り、途切れた位置から四隅の座標を検出する四隅検出ステップと、を実行させる。

また、本発明は、任意のタイミングで、撮影画像の背景領域の輝度から矩形領域の輝度を引き、重み係数行列により定まる定数を掛けた値を縁判定閾値として第１の記憶手段に格納する縁判定閾値調整ステップを実行させる。

また、本発明は、任意のタイミングで、撮影画像の背景領域の平均輝度から枠領域の輝度を引き、重み係数行列により定まる定数を掛けた値を枠判定閾値として第２の記憶手段に格納する枠判定閾値調整ステップを実行させる。

また、本発明は、四隅検出ステップにより得られた四隅の座標から得られる四隅の角度が所定の範囲内にあるか否かに基づいて、正しい四隅の座標を選択する四隅角度判定ステップを更に実行させる。

また、本発明は、縁判定ステップにより検出された縁を辿り途切れた位置から隅を求める、または、該縁の交点から四隅を求める第１のステップと、
第１のステップにより検出された四隅の座標に基づいて得られる四隅の角度から、正しい四隅の座標を選択し、
第１のステップで検出された四隅の座標から正しい四隅の座標が得られない場合には、枠判定ステップにより検出された枠を辿り、途切れた位置から隅を求める、または、該枠の交点から四隅を求める第２のステップを行い、
第２のステップにより検出された四隅の座標に基づいて得られる四隅の角度から正しい四隅の座標を選択する選択ステップを実行させる。

また、本発明は、カメラ付き携帯端末で撮影された電子透かし入り矩形画像が入力されると、縁判定ステップ、枠判定ステップ、四隅検出ステップ、四隅角度判定ステップとを実行させ、
四隅角度判定ステップで得られた、正しい四隅の座標について逆射影変換を行い、元の矩形画像を取得する逆射影変換ステップと、
元の矩形画像から電子透かしを読み取る電子透かしステップと、を実行させる。

また、本発明は、上記のプログラムを格納した記憶媒体である。

本発明は、印刷物をカメラで撮影した撮影画像の矩形画像の四隅を検出する際に、縁または枠を手掛かりとして縁または枠を特定し、その交点から、または、縁や枠の一部から真っ直ぐに辿り、途切れた位置から四隅を特定することにより、従来の技術に比べて処理量が少なくなり、高速化が図れる。

以下、図面と共に、本発明の実施の形態を説明する。

最初に、以下の説明で用いる用語等について説明する。

図３は、本発明の一実施の形態における枠なし画像名称定義を示す図である。同図において、背景画像ａの中に矩形画像ｂがあり、その矩形画像の４点を四隅ｃと呼ぶものとする。また、矩形画像ｂの周りに枠が存在する場合を図４に示す。図４では、枠ｄが存在し、同図右側に示すのは枠ｄを拡大したものであり、矩形画像ｂの領域と枠ｄの間に背景画像ａの領域があり、枠ｄの外側に背景画像ａの領域が存在する。

矩形画像ｂの四隅ｃを検出するために、図３に示す枠なし矩形画像の場合は、矩形画像ｂの上下左右の縁を、図４に示す枠付き矩形画像の場合は、枠を手掛かりとする。矩形画像の縁または枠が特定できれば、それらの交点から四隅が特定できる。あるいは、図５のように、枠の一部を検出した後に、それを真っ直ぐ辿っていき、途切れた位置を隅と特定することができる。図５においては、丸内の数字の順にサーチすることにより、隅を検出している。詳しくは後述する。

図６は、本発明の一実施の形態における四隅検出装置の構成を示す。

同図に示す四隅検出装置は、撮影された画像データから四隅座標を検出する検出部１００、逆射影変換部２００、及び電子透かし読み取り部３００から構成される。

検出部１００は、入力された画像データの枠を辿り途切れた位置から隅を求める、枠の交点から隅を求める、縁を辿り途切れた位置から隅を求める、または、縁の交点から隅を求めることにより、枠判定閾値を格納する枠判定閾値記憶部１４５、枠判定閾値記憶部１４５の枠判定閾値を参照して枠を判定する枠判定部１３０、枠判定閾値記憶部１４５の枠判定閾値を任意のタイミングで調整する枠判定閾値調整部１４０、縁判定閾値を格納する縁判定閾値を格納する縁判定閾値記憶部１６５、縁判定閾値記憶部１６５の縁判定閾値を参照して縁を判定する縁判定部１５０、縁判定閾値記憶部１６５の縁判定閾値を任意のタイミングで調整する縁判定閾値調整部１６０、四隅を検出する隅検出部１２０、隅検出部１２０で検出された四隅の座標から四隅の角度に基づいて正しい隅を取得する四隅角度判定部１７０から構成される。

次に、上記の構成における動作の概要を説明する。

図７は、本発明の一実施の形態における動作の概要のフローチャートである。

ステップ１００） 検出部１００において、入力された画像データから枠、あるいは、縁による四隅を検出し、逆射影変換部２００に転送する。

ステップ２００） 逆射影変換部２００において、四隅の座標から逆射影変換を行いもとの矩形画像に戻す。

ステップ３００） 電子透かし読み取り部３００において、矩形画像から電子透かしを読み取り、透かしデータを出力する。

最初に検出部１００の動作を詳細に説明する。

［１］縁の判定方法
隅検出部１２０において、縁を判定する方法について説明する。

隅検出部１２０は、縁判定部１５０に対して入力された画像データの縁の検出を依頼する。

これにより、縁判定部１５０は、画像データ中にある注目点が縁であるかを判定するために、注目点の近傍点の輝度の重み付き和が、縁判定閾値記憶部１６５に格納されている縁判定閾値を越えたかどうかで判定する。

モノクロの場合は、画像のディジタルデータは輝度そのものであるが、カラーの場合はＲＧＢあるいはＹＵＶ系であるので、ＲＧＢであれば式（１）により輝度に変換し、ＹＵＶ系であればＹを輝度として用いる。

輝度＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ 式（１）
次に、縁検出用の重み付き和について、図８を用いて説明する。注目点を中心に３画素×３画素のエリアを近傍点とし、当該エリアに含まれる画素のそれぞれに輝度値を画像データから得て、同図（ｂ）のような３×３の近傍点輝度値行列を作る。予め同図（ｃ）に示すような３×３の重み係数行列を定めておき、輝度値行列と重み係数行列の行と列が同じ要素同士を掛けたものの総和が重み付き和である。重み係数行列は方向性があるため、縁の位置により使い分ける。上下左右に対応した重み係数行列を図９に示す。

縁判定閾値調整部１６０は、縁判定閾値記憶部１６５の縁判定のための縁判定閾値を調整する。縁判定閾値は、撮影画像により最適値が異なり、最適値は、背景領域の輝度と矩形画像領域の輝度の差から求める。この例を図１０に示す。縁判定閾値は、
縁判定閾値＝（背景領域輝度−矩形領域輝度）×Ｋ
＝（２２５−９８）×Ｋ
但し、Ｋは重み係数行列により定まる定数とする。

矩形の左辺の縁用の最適値を求める手順を図１１に示す。なお、同図では、左辺の例を示すが、右辺、上辺、下辺については、左を右、上、下と読み替えることで図１１と同じ動作を適用する。

まず、既に縁が検出済みである場合には（ステップ１０１、はい）、縁判定閾値調整部１６０は、縁の位置から２画素外側を背景領域サンプル位置とし、２画素内側を矩形画像領域サンプル位置とし、それぞれの輝度の差をＫ倍（Ｋは重み係数行列により異なる値であり、重み係数行列の係数の和が０の場合は、正の係数の和がＫとなる。図９の係数行列の場合は「４」）して閾値とする（ステップ１０６）。

縁が未検出であれば（ステップ１０１、いいえ）、まず、縁を見つけるために、縁判定部１５０において、背景画像の左端画像の左端中点を算出する（ステップ１０２）。そこから左の逆方向、即ち、右へ１画素ずつ進みながら縁を探す。縁の検出には図８の重み付き和を用い、和が仮縁判定閾値＝Ａ（Ａは事前に実験により定めた値で例えば、４００）より大きい場合は縁と判断する（ステップ１０３，１０４，１０５）。縁が判断されたら（ステップ１０５、はい）、縁判定閾値調整部１６０は、上記のステップ１０６の処理を行う。

［２］枠の判定方法
次に、隅検出部１２０において、枠を判定する方法について説明する。

隅検出部１２０は、枠判定部１３０に対して画像データの枠の検出を依頼する。

これにより、枠判定部１３０は、画像データ中のある注目点が枠であるかを判定する。枠であるかを判定するための方法は、前述の縁の判定方法と重み付き和の計算方法が異なる以外は同じである。

枠判定用の重み付き和計算方法を図１２に示す。同図に示すように、枠検出用重み付き和は、注目点に基づく近傍点範囲から輝度値行列を作り、予め定めた重み係数行列と当該輝度値行列の同じ位置の値同士を掛けたものの総和とする。

枠判定用の重み付き和計算に用いられる最適近傍点範囲と重み係数行列は、図１３に示すように、撮影された枠の太さにより最適な近傍点範囲幅と重み係数行列数が異なる。枠幅＝Ｎ画素の場合、近傍点範囲は１×（Ｎ＋２）画素、重み係数行列は１行（Ｎ＋２）列となる。

重み係数行列の要素は次のように定める。Ｎが奇数の場合は、両端、すなわち、１列目とＮ＋２列目を１とし、中心すなわち、（Ｎ＋３）／２画素目を−２とし、残りがあれば０で埋める。Ｎが偶数の場合は３通りあり、両端を１とするのは共通であり、内部はＮ／２＋１列目を−２として残りがあれば０で埋める方法（図１３（ａ））と、Ｎ／２列目を−２として残りがあれば０で埋める方法（図１３（ｂ））と、Ｎ／２列目とＮ／２＋１列目を共に−１として残りがあれば０で埋める方法（図１３（ｃ））とがある。この中のどの方法を選択してもよい。

左辺枠の最適な近傍点範囲幅を求める手順を図１４、図１５に示す。なお、右辺、上辺、下辺については、左を右、上、下と読み替えて図１４、図１５と同じ手順を適用する。

また、重み係数の行列列数は近傍点範囲幅画素数と同じとする。

まず、既に枠が検出済みであれば（ステップ２０１、はい）、最適近傍点範囲探索の処理（図１５）を行い終了する（ステップ２０２）。

枠が未検出であれば枠を見つけるために、枠判定部１３０は、背景画像の左端中点を算出する（ステップ２０３）。そこから左の逆方向、すなわち右へ１画素ずつ進みながら枠を探す（ステップ２０５）。縁の検出には、図１２の重み付き和を用い、和が仮枠判定閾値＝Ｂ（Ｂは事前に実験により定めた値で、例えば２００）より大きい場合は枠と判断する（ステップ２０６、はい）。

次に、上記のステップ２０２の最適近傍点範囲幅探索処理について図１５を用いて説明する。

近傍点範囲幅Ｗを３からＭＡＸＷまで（ＭＡＸＷは印刷枠幅と撮影条件により決まる値であり、５から１０の範囲の値をとる）変化させ、それぞれの場合の重み付き和最大値を取得する処理を行い（ステップ３０１，３０２，３０３）、重み付き和最大値が得られたＷを最近傍点範囲幅とする（ステップ３０４）。

ステップ３０２の重み付き和最大値取得処理では、図１５のステップ３０２１〜３０２４の処理により、枠位置を±Ｗ／２の範囲で１画素ずつ変化させ、重み付和最大値を探索する。詳しくは、最大値Ｐの初期値を枠からＷ／２画素左とし、増分を１画素左と逆方向とし、終値を枠からＷ／２画素左と逆方向とし（ステップ３０２１）、Ｐを注目点として近傍点範囲幅Ｗにて重み付き和を取得し（ステップ３０２２）、Ｐの初期値からステップ３０２１で定めた終値までステップ３０２２の処理を繰り返し（ステップ３０２３）、重み付き和最大値を返す（ステップ３０２４）。

枠判定閾値調整部１４０は、枠判定閾値記憶部１４５の枠判定のための枠判定閾値を調整する。枠判定閾値は撮影画像により最適値が異なり、最適値は、図１６に示すように背景領域の輝度と枠領域の輝度の差から求める。

枠判定閾値＝（背景領域平均輝度−枠領域輝度）×Ｍ
＝（（２２５＋２１２）／２−８０）×Ｍ
但し、Ｍは重み係数行列により定まる定数である。

矩形画像の左辺の枠用の最適値を求める手順を図１７に示す。同図では、矩形の左辺のみを示すが、右辺、上辺、下辺については、左を右、上、下と読み替えることで、図１７の手順を適用する。

まず、既に枠が検出済みであれば（ステップ４０１、はい）、枠判定閾値調整部１４０は、枠中心位置を枠領域サンプル位置とし枠領域輝度を得る。続いて、枠の位置から近傍点範囲／２画素外側と内側の２点を背景領域サンプル位置とし、それぞれの輝度を得て平均値を背景領域平均輝度とする。背景領域平均輝度と枠領域輝度の差をＭ倍（Ｍは重み係数行列により異なる値であり、重み係数行列の係数の和が０の場合は、正の係数の和がＭとなる。図１３の係数行列の場合はいずれも２となる）して閾値とする（ステップ４０６）。

枠が未検出であれば（ステップ４０１、いいえ）、枠を見つけるために、枠判定部１３０において背景画像の左端中点を算出する（ステップ４０２）。そこから左の逆方向即ち、右へ１画素ずつ進みながら枠を探す（ステップ４０３、４０４）。枠の検出には、図１２の重み付き和を用い、和が仮枠判定閾値＝Ｂ（Ｂは事前に実験により定めた値で例えば２００）より大きい場合は枠と判断し（ステップ４０５、はい）、ステップ４０６の処理を行う。

［３］縁あるいは枠の交点から四隅を求める方法
次に、隅検出部１２０において、縁判定部１５０あるいは、枠判定部１３０を用いて縁あるいは、枠の交点から四隅を求める方法について説明する。

図１８に示すように、まず、隅検出部１２０は、縁による四隅検出処理として、交点四隅検出処理（縁の交点から四隅を求める方法）または、追跡四隅検出処理（縁を辿って途切れた位置から四隅を求める方法）を行う（ステップ５１０）。縁による四隅検出処理において四隅が検出できた場合には（ステップ５２０、はい）処理を終了し、検出できなかった場合には（ステップ５２０、いいえ）、枠による四隅検出処理を行う。枠による四隅検出処理は、上記と同様に、交点四隅検出処理（枠の交点から四隅を求める方法）または、追跡四隅検出処理（枠を辿って途切れた位置から四隅を求める方法）を行う（ステップ５３０）。

次に、縁または枠の交点四隅検出処理について図１９を用いて説明する。

縁または、枠の交点四隅検出処理において、上下左右の4辺の全てを取得したかを判断し（ステップ６０１）、取得した場合には４辺の交点を算出する（ステップ６０２）。取得できなかった場合には、未取得の辺の外側の背景画像の縁上に任意の位置の複数の点を選択する（ステップ６０３）。全ての選択された点から内側方向へ進みながら、枠、あるいは、縁を探索し、発見できた位置を記憶手段（図示せず）に保持する（ステップ６０４）。縁である場合には、縁判定閾値調整部１６０において縁判定閾値を調整し、枠である場合には、枠判定閾値調整部１４０において枠判定閾値と枠近傍点範囲を調整する（ステップ６０５）。全ての発見できた点を通る直線を、誤差最小二乗法等を用いて取得し、ステップ６０１に移行する（ステップ６０６）。

次に、追跡四隅検出処理について図２０を用いて説明する。

まず、隅検出部１２０は、左右２辺の隅全てを取得したかを判定し、取得した場合には（ステップ７０１、はい）、当該処理を終了する。取得していない場合は（ステップ７０１、いいえ）、枠判定部１３０、縁判定部１５０に対して枠・縁の探索を指示する。枠判定部１３０、縁判定部１５０は、未取得の辺の外側の背景画像の縁上の中点を選択する（ステップ７０２）。選択された中点から内側方向へ進みながら枠あるいは縁を探索し、発見できた位置Ｐを隅検出部１２０に渡す。これにより、隅検出部１２０は、位置Ｐを記憶手段に保持する（ステップ７０３）。ステップ７０３で位置Ｐを発見したのが縁上であれば、縁判定閾値調整部１６０において、縁判定閾値を調整し、枠上であれば、枠判定閾値調整部１４０において、枠判定閾値と枠近傍点範囲を調整する（ステップ７０４）。

隅検出部１２０は、記憶手段に記憶されたＰを用いて、当該Ｐから上へ枠あるいは、縁を辿り、途切れた点を上側の隅とする（ステップ７０５）。次に、当該Ｐから下へ枠あるいは縁を辿り、途切れた点を下側の隅とし、ステップ７０１に移行する（ステップ７０６）。

以下に具体的に説明する。ここでは左辺を例に説明する。

縁判定部１５０、枠判定部１３０において、図２１に示すように、背景画像左端の複数位置から内側に進みながら、縁あるいは枠を、前述した枠あるいは、縁の判定方法により探索し、縁あるいは枠を発見した位置を隅検出部１２０に渡し、隅検出部１２０において記憶手段に記憶する。反対側まで進んでも縁あるいは枠が見つからなかった場合は何も記憶しない。隅検出部１２０は、記憶した複数の縁あるいは枠位置を通る直線を最小二乗法により求め、図２２に示すように、左辺の直線を得る。同様に、図２３に示すように、右辺、上辺、下辺の直線を得る。このようして得られた四直線の交点から図２４に示すように四隅座標を得る。

［４］縁あるいは枠を辿り途切れた位置から四隅を求める方法
以下では、左辺を例に説明する。

縁判定部１５０、枠判定部１３０が、背景画像左端中点から内側に進みながら、縁あるいは枠を、前述した枠あるいは縁の判定方法により探索し、縁あるいは枠を発見した位置を、図２５に示すように、隅検出部１２０において記憶する。縁判定部１５０、枠判定部１３０は、図２６に示すように、隅検出部１２０において記憶された位置から上方向へ縁あるいは枠を探索し、隅検出部１２０は見つからなくなった点を隅とする。

縁判定部１５０、枠判定部１３０における、上方向への探索は、最初は粗く画素を飛ばして探索し、見つからなくなった時点で最後に見つかった点まで戻り、その後１画素ずつ精密探索することにより高速かつ、精密に隅を探索する。次に、図２７に示すように、下方向へも縁あるいは枠を探索し、見つからなくなった点を隅とする。同様に図２８に示すように、右辺から残りの二隅を見つける。

左辺の上方向探索の詳細な手順を図２９に示す。縁判定部１５０、枠判定部１３０は、最初に縁あるいは枠が見つかった点から上方向へＪ画素移動する（ステップ８０１）。Ｊは任意の値であるが、画像の解像度が大きい場合は、大きな値を用いると処理量が少なくて済む。６４０×４８０画素以下の画像の場合は、Ｊ＝１０が適当である。

移動した点にて左右方向±Ｌ画素の範囲で隅または枠を探索する（ステップ８０２）。これは、縁あるいは、枠の傾きに対応するため、真上だけでなく、左右方向の適当な範囲を探索するためである。傾き許容角度θ＝tan（L／J）であるので、必要なθに応じてＬを定める。

隅または枠が見つかった場合は（ステップ８０３、はい）、見つかった点から更にＪ画素上に移動して探索を続ける（ステップ５０１）。見つからなかった場合は、隅を通り過ぎたのであるから最後に見つかった点まで戻り（ステップ８０４）、精密探索に移る。

精密探索は、１画素ずつ上方に移動しながら探索する（ステップ８０５）。左右方向の探索範囲Ｍは祖探索と同様の傾き対応であり、傾き許容角度θ＝tan（Ｍ）であるので、必要なθに応じてＭを定める（ステップ８０６）。探索を続けて、隅または枠が見つからなくなった位置が左上隅である（ステップ８０７，８０８）。

［５］縁判定閾値・枠判定閾値・枠近傍点範囲の調整契機
縁判定部１５０が縁判定を行う際に、縁判定閾値調整部１６０により調整された、画像により最適値に調整された縁判定閾値を用いた。また、枠判定部１３０が枠判定を行う際に、枠判定閾値調整部１４０により調整された枠判定閾値と枠近傍点範囲を用いた。これらの縁判定閾値、枠判定閾値、及び枠近傍点範囲は、一度調整した後、同じ値を使い続ける方法と、ある契機で最適値を調整しなおす方法がある。同一の画像内でも、撮影条件によっては背景や矩形画像の輝度が異なるため、後者の方が判定制度が上がるが、処理量は大きくなるので、用途による使い分ける。

調整契機としては、
（ａ）最初に一度だけ調整する；
（ｂ）上下左右各辺で各一度だけ調整する；
（ｃ）直前に調整した位置から事前に定めた距離Ｚ離れた時点で再調整する；
（ｄ）縁あるいは枠判定をする都度、毎回直前に調整する；
などがあげられる。
［６］交点・追跡による四隅検出の両方を用いる方法
上記では、縁あるいは、枠の交点から四隅を求める交点四隅検出方法と、縁あるいは枠を辿って途切れた位置から四隅を求める追跡四隅検出方法を説明した。しかし、交点四隅検出方法と追跡四隅検出方法は、画像と撮影条件によってはどちらかだけが成功する場合がある。例えば、図３０に示すように、上下に活字や別の画像が写っている場合は交点四隅検出方法では失敗し、図３１に示すように、枠が途中で途切れている場合は、追跡四隅検出方法で失敗する。

そこで、交点四隅検出方法及び追跡四隅検出方法の両方を試し、正しく四隅を見つけた方の結果のみ利用することが可能である。これは、四隅角度判定部１７０において、隅検出部１２０から上記の交点四隅検出方法，追跡四隅検出方法の結果を取得し、四隅が正しいかどうかは四隅の角度がある範囲内にあるかどうかで判断する。この処理について図３２を用いて説明する。

四隅角度判定部１７０は、隅検出部１２０から上記の交点四隅検出方法で取得した四隅の角度を取得する（ステップ９０１）。

次に、四隅角度判定部１７０は、取得した４角度が正常であるかを判定する（ステップ９０２）。正常でなければ（ステップ９０２、いいえ）、追跡四隅検出方法を行い（ステップ９０３）、ステップ９０２と同様の判定を行う（ステップ９０４）。

上記の四隅の角度の判定方法としては、例えば、隅と両隣隅との作る角度が９０度±３０度以内であれば正常、そうでなければ異常と判断すると仮定する。角度判定は内積計算を用いる。

隅点がＡ（Ｘ０，Ｙ０）、両端の隅点がＢ（Ｘ１，Ｙ１），Ｃ（Ｘ２，Ｙ２）とすると角度θの余弦は、
cosθ＝ＡＢ・ＡＣ／｜ＡＢ｜｜ＡＣ｜
＝（Ｘ１−Ｘ０）（Ｘ２−Ｘ０）＋（Ｙ１−Ｙ０）（Ｙ２−Ｙ０）／｜ＡＢ｜｜ＡＣ｜
…式（２）
｜ＡＢ｜、｜ＡＣ｜を求めるには平方根計算が必要であるが、それができない環境の場合は、Ｘ方向とＹ方向の距離の大きい方で代用する。即ち、
｜ＡＢ｜＝｜Ｘ１−Ｘ０｜（Ｘ１−Ｘ０）＞｜Ｙ１−Ｙ０｜の場合）
＝｜Ｙ１−Ｙ０｜（それ以外）
｜ＡＣ｜＝｜Ｘ２−Ｘ０｜（｜Ｘ２−Ｘ０｜＞｜Ｙ２−Ｙ０｜の場合）
＝｜Ｙ２−Ｙ０｜（それ以外）
となる。

６０度＜θ＜１２０度では、−０．５＜cosθ＜０．５なので、式（２）の値の絶対値が０．５以下であれば角度判定ＯＫとなる。

［７］画像データに枠があるか不明な場合
撮影画像において、用途によっては撮影画像に枠があるかどうか不明な場合がある。

その場合は、縁と枠の両方の判定を行う。この動作を図３３に示す。

まず、縁による四隅検出を行い（ステップ１００１）、四隅の角度が正常であるかを判定し、正しくなければ（ステップ１００２、いいえ）、枠による四隅検出を行い（ステップ１００３）、四隅の角度が正常であるかを判定する（ステップ１００４）。ここで、正常でない場合には失敗とする。

撮影画像が枠付きであっても、縁検出のアルゴリズムで成功する場合があるので、無駄を減らすために、縁による四隅検出を先に行う。

［８］電子透かしの読み取り
次に、カメラ付き携帯端末で電子透かしを読み取る場合について図３４を用いて説明する。電子透かし入り画像を撮影する場合に、カメラが印刷物に正対していないと、印刷物上での矩形画像が変形四角形として写り、電子透かしの読み取りが難しくなる。

そこで、逆射影変換部２００において、四隅検出処理により取得した座標を入力とし（ステップ１１０１）、逆射影変換を行い、元の矩形画像に戻し（ステップ１１０２）、電子透かし読み取り部３００において電子透かしを読み取る（ステップ１１０３）。これにより、容易に電子透かしを読み取ることができる。

また、上記の枠あるいは縁による四隅検出処理、四隅座標による逆射影変換処理、電子透かし読み取り処理をプログラムとして構築し、例えば携帯端末のような端末機器のメモリに格納しておき、実行させることが可能である。

なお、本発明は、上記の実施の形態及び実施例に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。

本発明は、カメラ付携帯端末で撮影された撮影画像の補正処理に適用可能である。

本発明の原理を説明するための図である。 本発明の原理構成図である。 本発明の一実施の形態における枠なし画像名称定義を示す図である。 本発明の一実施の形態における枠付き画像名称定義を示す図である。 本発明の一実施の形態における追跡検出を示す図である。 本発明の一実施の形態における四隅検出装置の構成図である。 本発明の一実施の形態における動作の概要のフローチャートである。 本発明の一実施の形態における重み付き和を説明するための図である。 本発明の一実施の形態における重み係数行列を説明するための図である。 本発明の一実施の形態における縁閾値調整の例である。 本発明の一実施の形態における縁閾値算出のフローチャートである。 本発明の一実施の形態における枠検出用重み付き和を説明するための図である。 本発明の一実施の形態における最適近傍点範囲と重み係数行列を示す図である。 本発明の一実施の形態における最近傍点範囲決定のフローチャート（その１）である。 本発明の一実施の形態における最適近傍点範囲決定のフローチャート（その２）である。 本発明の一実施の形態における枠判定閾値調整の例である。 本発明の一実施の形態における枠判定閾値算出のフローチャートである。 本発明の一実施の形態における枠あるいは縁による四隅検出処理のフローチャートである。 本発明の一実施の形態における交点四隅検出処理のフローチャートである。 本発明の一実施の形態における追跡四隅検出処理のフローチャートである。 本発明の一実施の形態における縁・枠探索を説明するための図である。 本発明の一実施の形態における直線近似の例である。 本発明の一実施の形態における四直線取得の例である。 本発明の一実施の形態における四隅取得の例である。 本発明の一実施の形態における縁・枠探索の例である。 本発明の一実施の形態における縁・枠追跡（上方向）の例である。 本発明の一実施の形態における縁・枠追跡（下方向）の例である。 本発明の一実施の形態における右辺の探索の例である。 本発明の一実施の形態における探索のフローチャートである。 本発明の一実施の形態における失敗例（その１）を説明するための図である。 本発明の一実施の形態における失敗例（その２）を説明するための図である。 本発明の一実施の形態における四隅検出統合のフローチャートである。 本発明の一実施の形態における縁と枠統合フローチャートである。 本発明の一実施の形態におけるカメラ付き携帯端末に適用した例である。

符号の説明

１００ 検出部
１１０ 画像入力手段、画像入力部
１２０ 四隅検出手段、隅検出部
１３０ 枠検出手段、枠判定部
１４０ 枠判定閾値調整部
１４５ 第２の記憶手段、枠判定閾値記憶部
１５０ 縁検出手段、縁判定部
１６０ 縁判定閾値調整部
１６５ 第１の記憶手段、縁判定閾値記憶部
１７０ 四隅角度判定部
２００ 逆射影変換部
３００ 電子透かし読み取り部

Claims (19)

1. 印刷物をカメラで撮影した撮影画像内の矩形画像の四隅を検出するための矩形画像の四隅検出方法において、
   前記撮影画像が入力されると、該撮影画像の矩形画像の注目点の近傍の輝度の重み付き和が、第１の記憶手段に格納された縁判定閾値を越えた場合に縁であることを検出する縁検出ステップと、
   前記撮影画像の矩形画像の近傍点範囲と、撮影された枠の太さにより求められた最適な近傍点範囲幅と重み係数行列列数から求められた重み付和が、第２の記憶手段に格納された枠判定閾値を越えた場合に枠であることを検出する枠検出ステップと、
   前記縁検出ステップまたは前記枠検出ステップで検出された縁または枠の交点、または、該縁または該枠を辿り、途切れた位置から四隅の座標を検出する四隅検出ステップと、
   を行うことを特徴とする矩形画像の四隅検出方法。
2. 任意のタイミングで、前記撮影画像の背景領域の輝度から矩形領域の輝度を引き、予め定められた重み係数行列により定まる定数を掛けた値を前記縁判定閾値として前記第１の記憶手段に格納する縁判定閾値調整ステップを行う請求項１記載の矩形画像の四隅検出方法。
3. 任意のタイミングで、前記撮影画像の背景領域の平均輝度から枠領域の輝度を引き、重み係数行列により定まる定数を掛けた値を前記枠判定閾値として前記第２の記憶手段に格納する枠判定閾値調整ステップを行う請求項１記載の矩形画像の四隅検出方法。
4. 前記四隅検出ステップにより得られた前記四隅の座標から得られる四隅の角度が所定の範囲内にあるか否かに基づいて、正しい四隅の座標を選択する四隅角度判定ステップを更に行う請求項１記載の矩形画像の四隅検出方法。
5. 前記縁判定ステップにより検出された前記縁を辿り途切れた位置から隅を求める、または、該縁の交点から四隅を求める第１のステップと、
   前記第１のステップにより検出された四隅の座標に基づいて得られる四隅の角度から、正しい四隅の座標を選択する第１の選択ステップと、
   前記第１のステップで検出された四隅の座標から正しい四隅の座標が得られない場合には、前記枠判定ステップにより検出された前記枠を辿り、途切れた位置から隅を求める、または、該枠の交点から四隅を求める第２のステップを行い、
   前記第２のステップにより検出された四隅の座標に基づいて得られる四隅の角度から正しい四隅の座標を選択する第２の選択ステップを行う請求項４記載の矩形画像の四隅検出方法。
6. カメラ付き携帯端末で撮影された電子透かし入り矩形画像が入力されると、前記縁判定ステップ、前記枠判定ステップ、前記四隅検出ステップ、前記四隅角度判定ステップとを行い、該四隅角度判定ステップにおいて、正しい四隅の座標について逆射影変換を行い、元の矩形画像を取得し、該元の矩形画像から電子透かしを読み取る請求項１乃至５記載の矩形画像の四隅検出方法。
7. 印刷物をカメラで撮影した撮影画像内の矩形画像の四隅を検出するための矩形画像の四隅検出装置であって、
   前記撮影画像が入力される画像入力手段と、
   前記撮影画像の矩形画像の注目点の近傍の輝度の重み付き和が、第１の記憶手段に格納された縁判定閾値を越えた場合に縁であることを検出する縁検出手段と、
   前記撮影画像の矩形画像の近傍点範囲と、撮影された枠の太さにより求められた最適な近傍点範囲幅と重み係数行列列数から求められた重み付き和が、第２の記憶手段に格納された枠判定閾値を越えた場合に枠であることを検出する枠検出手段と、
   前記縁検出手段または、前記枠検出手段で検出された縁または枠の交点、または、該縁または該枠を辿り、途切れた位置から四隅の座標を検出する四隅検出手段と、
   を有することを特徴とする矩形画像の四隅検出装置。
8. 任意のタイミングで、前記撮影画像の背景領域の輝度から矩形領域の輝度を引き、重み係数行列により定まる定数を掛けた値を前記縁判定閾値として前記第１の記憶手段に格納する縁判定閾値調整手段を有する請求項７記載の矩形画像の四隅検出装置。
9. 任意のタイミングで、前記撮影画像の背景領域の平均輝度から枠領域の輝度を引き、重み係数行列により定まる定数を掛けた値を前記枠判定閾値として前記第２の記憶手段に格納する枠判定閾値調整手段有する請求項７記載の矩形画像の四隅検出装置。
10. 前記四隅検出手段により得られた前記四隅の座標から得られる四隅の角度が所定の範囲内にあるか否かに基づいて、正しい四隅の座標を選択する四隅角度判定手段を更に有する請求項７記載の矩形画像の四隅検出装置。
11. 前記四隅検出手段は、
    前記縁判定手段により検出された前記縁を辿り途切れた位置から隅を求める、または、該縁の交点から四隅を求める第１の手段と、
    前記枠判定手段により検出された前記枠を辿り途切れた位置から隅を求める、または、該枠の交点から四隅を求める第２の手段と、を有し、
    前記四隅角度判定手段は、
    前記第１の手段により検出された四隅の座標に基づいて得られる四隅の角度から、正しい四隅の座標を選択し、該第１の手段で検出された四隅の角度から正しい四隅の座標が得られない場合には、前記第２の手段により検出された四隅の座標に基づいて得られる四隅の角度から正しい四隅の座標を選択する選択手段を含む請求項１０記載の矩形画像の四隅検出装置。
12. 前記画像入力手段において、カメラ付き携帯端末で撮影された電子透かし入り矩形画像、が入力されると、前記縁判定手段、前記枠判定手段、前記四隅検出手段、前記四隅角度判定手段を行った結果得られる正しい四隅の座標について逆射影変換を行い、元の矩形画像を取得する逆射影変換手段と、
    前記元の矩形画像から電子透かしを読み取る電子透かし読み取り手段と、を更に有する請求項７乃至１１記載の矩形画像の四隅検出装置。
13. 印刷物をカメラで撮影した撮影画像内の矩形画像の四隅を検出するための矩形画像の四隅検出プログラムであって、
    コンピュータに、
    前記撮影画像が入力されると、該撮影画像の矩形画像の注目点の近傍の輝度の重み付き和が、第１の記憶手段に格納された縁判定閾値を越えた場合に縁であることを検出する縁検出ステップと、
    前記撮影画像の矩形画像の近傍点範囲と、撮影された枠の太さにより求められた最適な近傍点範囲幅と重み係数行列列数から求められた重み付和が、第２の記憶手段に格納された枠判定閾値を越えた場合に枠であることを検出する枠検出ステップと、
    前記縁検出ステップまたは前記枠検出ステップで検出された縁または枠の交点、または、該縁または該枠を辿り、途切れた位置から四隅の座標を検出する四隅検出ステップと、
    を実行させることを特徴とする矩形画像の四隅検出プログラム。
14. 任意のタイミングで、前記撮影画像の背景領域の輝度から矩形領域の輝度を引き、重み係数行列により定まる定数を掛けた値を前記縁判定閾値として前記第１の記憶手段に格納する縁判定閾値調整ステップを実行させる請求項１３記載の矩形画像の四隅検出プログラム。
15. 任意のタイミングで、前記撮影画像の背景領域の平均輝度から枠領域の輝度を引き、重み係数行列により定まる定数を掛けた値を前記枠判定閾値として前記第２の記憶手段に格納する枠判定閾値調整ステップを実行させる請求項１３記載の矩形画像の四隅検出プログラム。
16. 前記四隅検出ステップにより得られた前記四隅の座標から得られる四隅の角度が所定の範囲内にあるか否かに基づいて、正しい四隅の座標を選択する四隅角度判定ステップを更に実行させる請求項１３記載の矩形画像の四隅検出プログラム。
17. 前記縁判定ステップにより検出された前記縁を辿り途切れた位置から隅を求める、または、該縁の交点から四隅を求める第１のステップと、
    前記第１のステップにより検出された四隅の座標に基づいて得られる四隅の角度から、正しい四隅の座標を選択する第１の選択ステップと、
    前記第１の選択ステップにおいて、前記第１のステップで検出された四隅の座標から正しい四隅の座標が得られない場合には、前記枠判定ステップにより検出された前記枠を辿り、途切れた位置から隅を求める、または、該枠の交点から四隅を求める第２のステップと、
    前記第２のステップにより検出された四隅の座標に基づいて得られる四隅の角度から正しい四隅の座標を選択する第２の選択ステップを実行させる請求項１６記載の矩形画像の四隅検出プログラム。
18. カメラ付き携帯端末で撮影された電子透かし入り矩形画像が入力されると、前記縁判定ステップ、前記枠判定ステップ、前記四隅検出ステップ、前記四隅角度判定ステップとを実行させ、
    前記四隅角度判定ステップで得られた、正しい四隅の座標について逆射影変換を行い、元の矩形画像を取得する逆射影変換ステップと、
    前記元の矩形画像から電子透かしを読み取る電子透かしステップと、
    を実行させる請求項１３乃至１７記載の矩形画像の四隅検出プログラム。
19. 印刷物をカメラで撮影した撮影画像内の矩形画像の四隅を検出するための矩形画像の四隅検出プログラムを格納した記憶媒体であって、
    前記請求項１３乃至１８記載のプログラムを格納したことを特徴とする矩形画像の四隅検出プログラムを格納した記憶媒体。

Images