JP2021086616A - ランダムサンプリング一貫性に基づく魚眼画像の有効領域抽出方法 - Google Patents

Abstract

【課題】ランダムサンプリング一貫性に基づく魚眼画像の有効領域抽出方法を提供する。【解決手段】方法は、垂直分割線と魚眼画像の理想的な有効領域との交点によって第１の準有効領域境界を特定し、次に、水平分割線と魚眼画像の理想的な有効領域との交点によって第２の準有効領域境界を特定し、最後に、第１、第２の準有効領域境界の中から半径の大きいものを最終有効領域境界とし、最終有効領域境界で囲まれたものを魚眼画像の有効領域とする。第１の準有効領域境界及び第２の準有効領域境界は、いずれもランダムサンプリング一貫性アルゴリズムによって特定する。【選択図】図４

Description

本発明は、画像処理の技術分野に関し、特に、ランダムサンプリング一貫性に基づく魚眼画像の有効領域抽出方法に関する。

魚眼レンズを用いて撮影した画像は魚眼画像と呼ばれ、魚眼画像では、撮影風景を含む有効領域が画像の中央にある円形領域であり、有効領域の外部は全て黒色である。魚眼レンズは約１８０°の超広視野を有するため、通常、魚眼画像は、一般的な画像よりも多くの情報を含んでおり、それにより、ドローンを用いた空撮による検査やパノラマ合成などの分野での応用が期待できる。

魚眼レンズには非常に深刻な樽型歪みが存在するため、魚眼画像を分析又は使用する前に、魚眼画像について歪み補正を行う必要がある。一方、カメラキャリブレーションではない補正方法では、魚眼画像の有効領域の抽出精度が補正の効果に直接影響する。従来の魚眼画像の有効領域抽出方法としては、主に、面積統計法、最小二乗フィッティング法、領域成長法などがある。

しかしながら、従来の技術には、次のような欠点がある。

面積統計法、領域成長法は画像上の各画素点を処理する必要があり、画像の解像度が高ければ高いほど画素点が多く、処理に時間がかかり、最小二乗フィッティング法は大量の非線形方程式の求解計算を必要とし、時間がかかる。

魚眼画像の有効領域に黒い物体が存在する場合、面積統計法はその物体を無効領域と判定し、黒い物体の面積が大きければ大きいほど、抽出される有効領域の位置と大きさの誤差が大きくなる。魚眼画像の有効領域の上下左右の境界のうち、ある境界又はいくつかの境界に黒い物体が存在する場合にも、有効領域の位置と大きさを正確に取得できないことがあり、抽出された有効領域が画像の範囲外になることもある。

本発明の目的は、従来技術の欠点を解決し、処理速度が速く、抽出精度が高く、適応力が強いランダムサンプリング一貫性に基づく魚眼画像の有効領域抽出方法を提供することである。

上記目的を達成させるために、本発明に係る技術案は、以下の通りである。

ランダムサンプリング一貫性に基づく魚眼画像の有効領域抽出方法であって、
垂直分割線と魚眼画像の理想的な有効領域との交点によって第１の準有効領域境界を特定し、次に、水平分割線と魚眼画像の理想的な有効領域との交点によって第２の準有効領域境界を特定し、最後に、第１、第２の準有効領域境界の中から半径の大きいものを最終有効領域境界とし、最終有効領域境界で囲まれたものが魚眼画像の有効領域になる。

さらに、前記第１の準有効領域境界と前記第２の準有効領域境界は、いずれもランダムサンプリング一貫性アルゴリズムによって特定される。

さらに、魚眼画像の行数及び列数を求め、画像の水平方向の中線及び垂直方向の中線を決定するステップＳ１と、
走査を通じて、中線と理想的な有効領域との交点距離を決定し、水平交点距離ＡＢ及び垂直交点距離ＣＤを求めるステップＳ２と、
垂直方向及び水平方向にそれぞれｎ−１本の分割線が理想的な有効領域と交差し、それぞれ（ｎ−１）＊２個の交点を有するように、水平交点距離ＡＢ及び垂直交点距離ＣＤをそれぞれｎ等分するステップＳ３と、
走査を通じて各交点の座標を決定するステップＳ４と、
ランダムサンプリング一貫性アルゴリズムによって第１の準有効領域境界と第２の準有効領域境界とをそれぞれ特定するステップＳ５と、
ステップＳ５で得られた第１、第２の準有効領域境界の中から半径の大きいものを最終有効領域境界とし、最終有効領域境界で囲まれたものを魚眼画像の有効領域とするステップＳ６と、を含む。

さらに、前記ステップＳ２において、水平交点距離ＡＢは、
同一行の画素点を左から右へ判定し、最初に出現した画素値が所定の閾値より大きい点を理想的な有効領域の左境界点とし、次に、右から左へ走査して右境界点を決定し、右境界点列座標から左境界点列座標を減算したものを水平交点距離値とするステップによって求められ、
垂直交点距離ＣＤは、
同一列の画素点を上から下へ判定し、最初に出現した画素値が所定の閾値よりも大きい点を理想的な有効領域の上境界点とし、次に、下から上へ走査して下境界点を決定し、下境界点行座標から上境界点行座標を減算したものを垂直交点距離値とするステップによって求められる。

さらに、前記ステップＳ５において、ランダムサンプリング一貫性アルゴリズムによって第１の準有効領域境界を特定する過程は、具体的には、
垂直分割線と理想的な有効領域の（ｎ−１）＊２個の交点をランダムにサンプリングし、３点が異なるように３点を抽出（非復元抽出）し、３点法を用いてこの３点で定まる円Ｃ_ｉの円心Ｏ_ｉと半径Ｒ_ｉとを求め、
残りの（（ｎ−１）＊２−３）個の点について、各点から円心Ｏ_ｉまでの距離ｒを求めて△ｒ＝｜ｒ−Ｒ_ｉ｜を求め、δ_２＜△ｒ＜δ_１である場合、その点を非外れ値と判定し、円Ｃ_ｉの非外れ値の個数を統計し、ここで、δ_１とδ_２はそれぞれ上下の境界半径とＲ_ｉの差の絶対値であり、
ステップ１）と２）をＫ回繰り返すと、Ｋを抽出効果に応じて調整し、非外れ値が最も多い円Ｃ_ｉを準有効区域境界とする。

従来技術に比べて、本技術案の原理及び利点は以下の通りである。
１．有効領域内の画素を処理する必要がなく、有効領域の境界のみを分析するだけでよく、それによって、有効領域の内部の要因による抽出効果への干渉を回避する。
２．上下左右の境界だけで有効領域を決定するのではなく、有効領域境界を全体的に分析するため、有効領域抽出の精度を大幅に向上させる。
３．有効領域境界を全体的に分析する際に、ランダムサンプリング一貫性アルゴリズムによって、一部の境界上の干渉による準有効領域境界の抽出への影響を解消する。
４．有効領域の境界を全体的に分析する際に、水平分割線交点と垂直分割線との交点を別々に処理することで、点の均一性を確保しながら、交点のエイリアシングにより円を求めることができないことを回避する。
５．有効領域の境界のみを全体的に分析するので、処理を必要とする画素点が少なく、処理速度が速く、かつ、処理速度が画像解像度の変化により著しく変動することがなく、適応力が高い。

本発明の実施例又は従来技術の技術案をより明確に説明するために、以下、実施例又は従来技術の説明において使用されるサービスについて簡単に説明するが、もちろん、以下の説明における図面は、本発明の一部の実施例に過ぎず、当業者であれば、創造的な努力を必要とせずに、これらの図面に基づいて他の図面を得ることができる。

ランダムサンプリング一貫性アルゴリズムの一例を示す図である。 本発明のランダムサンプリング一貫性に基づく魚眼画像の有効領域抽出方法の具体的な実施例における干渉無し交点及び上下境界の模式図である。 本発明のランダムサンプリング一貫性に基づく魚眼画像の有効領域抽出方法の具体的な実施例における干渉あり垂直分割線交点の模式図である。 本発明のランダムサンプリング一貫性に基づく魚眼画像の有効領域抽出方法のフローチャートである。

特定の実施例を説明する前に、本発明に係るランダムサンプリング一貫性アルゴリズムを説明する。

ランダムサンプリング一貫性アルゴリズム（ＲＡＮＳＡＣ）は、「外れ値」を含む観測データセットから、数学的モデルのパラメータを反復的に推定することができる。ランダムサンプリング一貫性アルゴリズムの基本的な仮定は、（１）有用なデータは「非外れ値」から構成され、データの分布についてはいくつかのモデルパラメータを用いて解釈することができること、（２）「外れ値」はそのモデルに適応できないデータであることである。例えば、図１（ａ）は、非外れ値と外れ値を含む推定対象データセットであり、既知データの数学的モデルは、一変数二次関数：ｙ＝Ａｘ^２＋Ｂｘ＋Ｃであり、毎回、データセット中の３点をランダムに取り、関数に代入してパラメータＡ、Ｂ、Ｃの値を求めて推定曲線を得、上下の境界が推定曲線から外れる距離をδ_１とδ_２と設定し、上下の境界範囲に入る点の数を計算し、抽出と計算をＫ回行った後、上下の境界範囲に入る点の数が最も多い推定曲線を最終結果とし、図１（ｂ）に示す。

以下、特定の実施例にて本発明をさらに説明する。

図４に示すように、ランダムサンプリング一貫性に基づく魚眼画像の有効領域抽出方法は、ステップＳ１〜Ｓ６を含む。
Ｓ１、図２に示すように、魚眼画像の抽象理想モデルでは、中間の円形領域を理想的な有効領域とし、魚眼画像の行数及びと列数を求め、画像の水平方向の中線と垂直方向の中線を決定する。
Ｓ２、走査を通じて、中線と理想的な有効領域との交点距離を決定し、水平交点距離ＡＢ及び垂直交点距離ＣＤを求め、
水平交点距離ＡＢは、
同一行の画素点を左から右へ判定し、最初に出現した画素値が所定の閾値より大きい点を理想的な有効領域の左境界点とし、次に、右から左へ走査して右境界点を決定し、右境界点列座標から左境界点列座標を減算したものを水平交点距離値とするステップによって求められ、
垂直交点距離ＣＤは、
同一列の画素点を上から下へ判定し、最初に出現した画素値が所定の閾値よりも大きい点を理想的な有効領域の上境界点とし、次に、下から上へ走査して下境界点を決定し、下境界点行座標から上境界点行座標を減算したものを垂直交点距離値とすることによって求められる。
Ｓ３、垂直方向と水平方向にそれぞれ１５本の分割線が理想的な有効領域と交差し、それぞれ３０個の交点を有するように、水平交点距離ＡＢと垂直交点距離ＣＤをそれぞれ１６等分する（データ点を十分に確保しながら等分の数を調整することができる）。
Ｓ４、走査を通じて各交点の座標を決定する。
Ｓ５、ランダムサンプリング一貫性アルゴリズムによって第１の準有効領域境界と第２の準有効領域境界とをそれぞれ特定する。
本ステップにおいて、ランダムサンプリング一貫性アルゴリズムによって第１の準有効領域の境界を特定する過程は、具体的には、以下のとおりである。
１）垂直分割線と理想的な有効領域との３０個の交点をランダムにサンプリングし、３点が異なるように３点を抽出（非復元抽出）し、３点法を用いてこの３点で定まる円Ｃ_ｉの円心Ｏ_ｉと半径Ｒ_ｉを求め、
２）残りの２７個の点について、各点から円心Ｏ_ｉまでの距離ｒを求めて△ｒ＝｜ｒ−Ｒ_ｉ｜を求め、δ_２＜△ｒ＜δ_１である場合、その点を非外れ値と判定し、円Ｃ_ｉの非外れ値の個数を統計し、ここで、δ_１とδ_２は上下の境界半径とＲ_ｉの差の絶対値であり、一般的には、δ_１＝δ_２をとることができ、この値は、画像の大きさと抽出精度に応じて設定することができる（１９２０＊１２８０の魚眼画像では、δは２０個の画素とすることができる）。
３）ステップ１）と２）をＫ回繰り返すと、Ｋを抽出効果に応じて調整し、一般には、Ｋ＝１００とし、非外れ値が最も多い円Ｃ_ｉを準有効領域境界とする。
一方、垂直分割線を水平分割線に変更する以外、第２の準有効領域境界を特定する原理は、ランダムサンプリング一貫性アルゴリズムによって第１の準有効領域境界を特定する原理と同様である。
Ｓ６、ステップＳ５で得られた第１、第２の準有効領域境界の中から半径の大きいものを最終有効領域境界とし、最終有効領域境界で囲まれたものを魚眼画像の有効領域とする。

本実施例では、有効領域が画像の真ん中にある、つまり、水平交点距離及び垂直交点距離がすべて有効領域半径であると仮定すると、このとき、交点距離は最大となり、実際には有効領域が画像の中心からずれ、交点距離が小さくなることがあり、このような場合でも、最終抽出効果には影響しない。また、水平分割線交点と垂直分割線交点とを別々に処理することにより、水平分割線交点と垂直分割線交点とがエイリアシングすることにより円を求めることができなくなることを回避する。図３では、有効領域エッジに黒い物体が写っているため（右上角のノッチ）、分割線交点には、擬似境界の干渉点が生成し、抽出された３点がいずれも有用なデータ点である場合、推定された有効領域境界は干渉点を外れ値と判定し、抽出された点が干渉点を含む場合、非外れ値と判定される点数が減少し、抽出された３点がすべて干渉点であるという極端な場合には、非外れ値と判定される点数が最も少ない。

上記実施例は、本発明の好適な実施例に過ぎず、本発明の実施範囲を限定するものではなく、このため本発明の形態や原理に基づく変更は、すべて本発明の特許範囲に含まれるものとする。

Claims (5)

1. ランダムサンプリング一貫性に基づく魚眼画像の有効領域抽出方法であって、
   垂直分割線と魚眼画像の理想的な有効領域との交点によって第１の準有効領域境界を特定し、次に、水平分割線と魚眼画像の理想的な有効領域との交点によって第２の準有効領域境界を特定し、最後に、第１、第２の準有効領域境界の中から半径の大きいものを最終有効領域境界とし、最終有効領域境界で囲まれたものが魚眼画像の有効領域になる、ことを特徴とするランダムサンプリング一貫性に基づく魚眼画像の有効領域抽出方法。
2. 前記第１の準有効領域境界と前記第２の準有効領域境界は、いずれもランダムサンプリング一貫性アルゴリズムによって特定される、請求項１に記載のランダムサンプリング一貫性に基づく魚眼画像の有効領域抽出方法。
3. 魚眼画像の行数及び列数を求め、画像の水平方向の中線及び垂直方向の中線を決定するステップＳ１と、
   走査を通じて、中線と理想的な有効領域との交点距離を決定し、水平交点距離ＡＢ及び垂直交点距離ＣＤを求めるステップＳ２と、
   垂直方向及び水平方向にそれぞれｎ−１本の分割線が理想的な有効領域と交差し、それぞれ（ｎ−１）＊２個の交点を有するように、水平交点距離ＡＢ及び垂直交点距離ＣＤをそれぞれｎ等分するステップＳ３と、
   走査を通じて、各交点の座標を決定するステップＳ４と、
   ランダムサンプリング一貫性アルゴリズムによって第１の準有効領域境界と第２の準有効領域境界とをそれぞれ特定するステップＳ５と、
   ステップＳ５で得られた第１、第２の準有効領域境界の中から半径の大きいものを最終有効領域境界とし、最終有効領域境界で囲まれたものを魚眼画像の有効領域とするステップＳ６と、を含む、ことを特徴とする請求項２に記載のランダムサンプリング一貫性に基づく魚眼画像の有効領域抽出方法。
4. 前記ステップＳ２において、水平交点距離ＡＢは、
   同一行の画素点を左から右へ判定し、最初に出現した画素値が所定の閾値より大きい点を理想的な有効領域の左境界点とし、次に、右から左へ走査して右境界点を決定し、右境界点列座標から左境界点列座標を減算したものを水平交点距離値とするステップによって求められ、
   垂直交点距離ＣＤは、
   同一列の画素点を上から下へ判定し、最初に出現した画素値が所定の閾値よりも大きい点を理想的な有効領域の上境界点とし、次に、下から上へ走査して下境界点を決定し、下境界点行座標から上境界点行座標を減算したものを垂直交点距離値とするステップによって求められる、ことを特徴とする請求項３に記載のランダムサンプリング一貫性に基づく魚眼画像の有効領域抽出方法。
5. 前記ステップＳ５において、ランダムサンプリング一貫性アルゴリズムによって第１の準有効領域境界を特定する過程は、具体的には、
   垂直分割線と理想的な有効領域の（ｎ−１）＊２個の交点をランダムにサンプリングし、３点が異なるように３点を抽出（非復元抽出）し、３点法を用いてこの３点で定まる円Ｃ_ｉの円心Ｏ_ｉと半径Ｒ_ｉとを求めるステップ１）と、
   残りの（（ｎ−１）＊２−３）個の点について、各点から円心Ｏ_ｉまでの距離ｒを求めて△ｒ｜ｒ−Ｒ_ｉ｜を求め、δ_２＜△ｒ＜δ_１である場合、その点を非外れ値と判定し、円Ｃ_ｉの非外れ値の個数を統計し、ここで、δ_１とδ_２はそれぞれ上下の境界半径とＲ_ｉの差の絶対値であるステップ２）と、
   ステップ１）と２）をＫ回繰り返すと、Ｋを抽出効果に応じて調整し、非外れ値が最も多い円Ｃ_ｉを準有効区域境界とするステップ３）とを含む、ことを特徴とする請求項３に記載のランダムサンプリング一貫性に基づく魚眼画像の有効領域抽出方法。

Images