JP2008287735A - カラー画像を用いた看板および標識の認識方法 - Google Patents

Abstract

【課題】本発明は、撮像されたカラー画像を用いて道路標識等の対象物の認識性能を向上させたカラー画像を用いた看板および標識を認識する方法を提供する。
【解決手段】本発明のカラー画像を用いた看板および標識を認識する方法は、色情報の中の色相に着目してその範囲を３分割し、各分割領域において彩度情報が所定の閾値を超え、かつ円形度が所定の値となる場合に看板を抽出するものであり、円形度の情報により看板以外の領域の棄却を行い、看板は背景色と文字色のコントラストが高いことに着目して看板内の文字列領域を抽出し、予め用意した辞書データとの比較により看板を認識するものである。
【選択図】図２

Description

本発明は、撮像されたカラー画像を用いて道路標識等の対象物を認識するカラー画像を用いた看板および標識の認識方法に関する。

従来、カラー画像を用いて道路標識等の対象物を認識する場合には、赤・青・緑による明度情報に基づいて認識するか、シフトされた色相情報を正規化することにより認識している。
このように、カラー画像の明度情報や色相情報に基づいて認識対象物である標識を認識する技術は、例えば、特許文献１に開示されている。
しかしながら、従来の技術により認識対象物を認識する場合には、使用色が予め設定されている必要があり、使用色や形状・大きさが多種多様である看板を対象とすることはできなかった。
また、屋外などの自然環境下で取得されたカラー画像を解析に用いる場合、認識対象物の色情報が一様とは限らず、認識対象物が同一であっても天候や時間などのデータ取得条件によっては異なる色と認識されることが起こり得る。
このため、従来の技術により色相情報のみに基づいて認識対象物を認識する場合には、異なる色を使用している領域間の境界部分があいまいとなる。
さらに、道路利用者である歩行者を考慮した場合、車両の運転手の位置から観測した場合と異なり、歩行者と観測対象（看板や標識）の位置関係（距離・角度）は不定となるため、カラー画像における認識対象物のサイズや形状は異なる。
従って、カラー画像における認識対象物の認識性能が低下する。
特開２００４−２１３１２７号公報 特開平９−１８５７０３号公報

そこで本発明は、上述した課題を解決するために、撮像されたカラー画像を用いて道路標識等の対象物の認識性能を向上させた、カラー画像を用いた看板および標識を認識する方法を提供することを目的とする。

本発明のカラー画像を用いた看板および標識を認識する方法は、撮像されるカラー画像から得られる色情報（色相・彩度・明度）、形状情報、並びにエッジ情報を用いて、使用色が予め設定されている標識および使用色や形状・大きさが不定である看板を認識するものである。
また、撮像されたカラー画像において、色情報である色相・彩度および形状情報である円形度を用いて円形標識と矩形看板を識別するものである。
円形標識を抽出する手段としては、道路標識に使用されている赤・青・白に対応する領域を推定し、これらの領域に分類された画素の色情報を用いて、エッジ情報が検出された位置に相当する、塗色の境界域の使用色推定を行う。次に、標識の一番内側に配置された色の形には特徴的な情報が提示されていることに着目してこれを特徴領域とし、特徴領域の外接矩形を分割したブロックに含まれる特徴領域の割合を用いて、予め用意した辞書データとの比較により標識を認識するものである。
さらに、色情報の中の色相に着目してその範囲を３分割し、各分割領域において彩度情報が所定の閾値を超え、かつ円形度が所定の値となる場合に看板を抽出するものであり、円形度の情報により看板以外の領域の棄却を行い、看板は背景色と文字色のコントラストが高いことに着目して看板内の文字列領域を抽出し、予め用意した辞書データとの比較により看板を認識するものである。

本発明のカラー画像を用いた看板および標識を認識する方法によれば、使用色が予め設定されている標識に加え、使用色や形状・大きさが不定である看板を認識することができるため、カラー画像から前方向の多種多様な環境情報を道路利用者に提供することができる。
さらに、データ取得条件（撮影時間・高さ・角度・陰影情報等）の影響を考慮できるため、看板および標識の認識性能を低下させることなく、道路利用者に対し有益な情報を提供可能である。
また、色相情報を用いて認識対象物を認識しているため、データ取得条件の異なるカラー画像からも認識性能を低下させることなく、認識対象物を認識することができる。
さらに、形状情報として円形度や分割した領域を占める画素の割合を指標として用いているため、道路利用者と認識対象物（看板や標識）が必ずしも正対している必要はなく、高い位置に設置されている認識対象物も認識することができる。

次に、本発明のカラー画像を用いた看板および標識を認識する方法を実施する装置について、図面に基づいて以下に説明する。
図１は、本発明の一実施形態に係る認識方法を実施する装置の概略構成図である。
図２は、図１の標識・看板識別部のフローチャート図であり、図３及び図４は、本発明により得られた結果例を示している表示画像図である。

本発明の一実施形態に係る認識方法を実施する装置は、図１に示すように撮像部１１、標識・看板識別部１２、円形標識情報抽出部１３、円形標識認識部１４、非看板領域棄却部１５、文字列領域抽出部１６、出力部１７から構成される。
前記撮像部１１は、例えば、CCDカメラ等の撮像装置を内蔵した装置であり、標識認識装置が取り付けられた自動車等の前方付近に展開する風景を撮像し、カラー画像を取得する。
前記標識・看板識別部１２は、カラー画像をHSI（Hue Saturation Intensity）変換により、色相・彩度・明度の色情報に変換する。
前記円形標識情報抽出部１３は、抽出された標識領域内部を対象とし、色相値が青・シアンに近く彩度値が所定の閾値以上の色を有する画素を青領域とする一方、色相値が赤・マゼンタに近く彩度値が所定の閾値以上の色を有する画素を赤領域とし、標識領域内部で青、赤領域以外の領域を白候補領域とする。
前記円形標識認識部１４は、前記円形標識情報抽出部１３により得られた結果を用いて、領域内の構成色数および構成色の比率を求める。
前記非看板領域棄却部１５は、前記標識・看板識別部１２より得られた看板候補領域に対し判別分析法によりクラス間分散を求める。
前記文字列領域抽出部１６は、看板候補領域に対し２値化処理を行い、次に４方向のラプラシアンフィルタを用いてエッジを検出する。
前記出力部１７は、前記円形標識認識部１４および前記文字列領域抽出部１６により得られた内容をディスプレイ上に表示させる。

本発明の一実施形態に係る認識方法を実施する装置により円形標識抽出を目的とし以下の処理を行う。
図２に示すように、撮像部１１では、自動車等の前方付近に展開する風景を撮像し、カラー画像を入力し、標識・看板識別部１２では、取得したカラー画像をHSI（Hue Saturation Intensity）変換により、色相・彩度・明度の色情報の算出をする。
前記標識・看板識別部１２では、色相値が青・シアンに近く彩度値が所定の閾値（例えば、１７０）以上の画素を青候補領域とし、色相値が赤・マゼンタに近く彩度値が所定の閾値（例えば、１００）以上の画素を赤候補領域とする。
次に、画像中の青候補領域に対し２値化処理および収縮・膨張処理を施し、さらに膨張処理後にラベリング処理を施す。
そして、赤候補領域を補完し円形特徴を得るため、赤候補領域の２値化画像における着目画素と８近傍画素（合計９画素）を対象とし画素数の多い情報（０、１）で着目画素の値を置換する。
最後に、収縮・膨張処理後、ラベリング処理を施す。
各ラベリング領域における円形度を算出し、円形度０．８以上のラベリング領域を標識領域とする。
なお、円形度とは、面積と周囲長から形状の複雑さを測る特徴量、円形度＝４π×ラベリング領域の面積／（ラベリング領域の周囲長）^２であり、ラベリング領域の形状が真円の場合、値は１となる。

次に、円形標識情報抽出部１３では、抽出された標識領域内部を対象とし、色相値が青・シアンに近く彩度値が所定の閾値（例えば、１４０）以上の色を有する画素を青領域とする。
一方、色相値が赤・マゼンタに近く彩度値が所定の閾値（例えば、１１０）以上の色を有する画素を赤領域とする。
また、標識領域内部で青、赤領域以外の領域を白候補領域とし、白候補領域に２値化処理をする。
次に、塗色（白・青・赤）された領域の境界部分の色情報はあいまいであるため、白候補領域の２値化画像に４方向のラプラシアンフィルタを適用しエッジの位置情報を検出する。
検出されたエッジ部分は２色（白と青、白と赤、青と赤）の境界域であると仮定し、境界域を除く白候補領域を白領域とする。
さらに、各領域（白領域，青領域，赤領域）に分類された画素からＲＧＢ各輝度値を自動取得し教師データを作成する。
この処理により、対象画像毎に異なる各領域の色情報を抽出することができるため、境界域の色分類が可能となる。
作成した教師データを用いて塗色の境界部分の各画素を白・青・赤に分類し、白・青・赤領域に分類された画素のＲＧＢ各輝度値に(２５５，２５５，２５５)、(０,０，２５５)、(２５５,０,０)の値をそれぞれ割り当てる。
次に、前記円形標識認識部１４では、円形標識の一番内側に配置された色の形状には標識設置理由との対応が認められるとともに、内側に配置された色の領域は背景情報と接する外側の色の領域と比較し推定が容易であるため、標識の一番内側に配置された色の形には特徴的な情報が提示されていることに着目してこれを特徴領域とし、青・白で構成される標識の特徴領域は白，赤・青で構成される標識は青，赤・白・青で構成される標識は青，赤・白で構成される標識は白の領域を特徴領域とする。
次に、特徴領域の外接矩形を所定のサイズで分割してブロックを設定し、各ブロックの特徴量である包含割合を求める。
具体的には、特徴領域の外接矩形を設定して、その矩形を所定サイズで分割し、分割して作成した各ブロックに含まれる特徴領域の割合である、特徴量ａ（包含割合ａ）（各ブロックを占める特徴領域の割合、ブロックが特徴領域のみで構成されている状態を１００とする。）と特徴量ｂ（包含割合ｂ）（１つのブロックに含まれている特徴領域が、特徴領域全体の面積を占める割合、１つのブロックに特徴領域が全て含まれていれば、そのブロックの値は１００、残りのブロックの値は０となる。）に着目した。
この２種類の特徴領域の割合である特徴量（包含割合）と予め用意した標識の辞書データを比較することにより標識を認識する。

次いで、本発明の一実施形態に係る認識方法を実施する装置により看板抽出を目的とし以下の処理を行う。
図２に示すように、撮像部１１では、自動車等の前方付近に展開する風景を撮像し、カラー画像を入力し、標識・看板識別部１２では、取得したカラー画像をHSI（Hue Saturation Intensity）変換により、色相・彩度・明度の色情報の算出をする。
前記標識・看板識別部１２では、カラー画像から色相値を3分割した各色相範囲に当てはまる領域をそれぞれ抽出する。
すなわち、0〜π／６，３π／２〜２πの範囲に色相値を持ち、かつ彩度値が所定の閾値（例えば、８０）以上の領域、π／６〜５π／６の範囲に色相値を持ち、かつ彩度値が所定の閾値（例えば、５０）以上の領域、５π／６〜３π／２の範囲に色相値を持ち、かつ彩度値が所定の閾値（例えば、１１０）以上の領域の3つに分割する。
次に、得られた画像に２値化処理および収縮・膨張処理を施す。
さらに、ラベリング処理を施し円形度の値が０．３以上０．８未満のラベリング領域を看板候補領域とする。

非看板領域棄却部１５では、前記標識・看板識別部１２より得られた看板候補領域に対し判別分析法によりクラス間分散を求める。
その結果、分散値が所定の閾値（例えば、４）以下である看板候補領域を看板以外の領域と仮定して棄却する。

文字列領域抽出部１６では、看板候補領域に対し２値化処理を行い、次に４方向のラプラシアンフィルタを用いてエッジを検出する。
検出されたエッジ部分は画素値が急激に変化する領域であるため、看板の背景色と文字色の境界領域であることが予想される。
そこで、看板候補領域内のエッジ情報を含まない部分を除いた領域を文字列領域として抽出する。

出力部１７では、前記円形標識認識部１４および前記文字列領域抽出部１６により得られた内容をディスプレイ上に表示させる。
なお、出力部１７による出力は、内容をディスプレイ上に表示させることには限定されず、例えば、スピーカーから音声出力することとしても良い。
次いで、表示画像の実施例を図３および図４に示す。
図３（ａ）のカラー画像から看板領域抽出結果として、図３（ｂ）の看板領域が抽出され、さらに文字列領域抽出結果として、図３（ｃ）の文字列領域が抽出されていることが分かる。
また、図４（ａ）のカラー画像から標識抽出結果として、複数の標識が抽出され、それぞれ図４（ｂ）左の“最高速度”と図４（ｂ）右の“車両（組合せ）通行止め”の標識であると認識可能であることを確認している。
このように、１枚の画像中に複数の看板や標識が存在している事例に対しても本発明により認識対象物の認識が可能である。

本発明の一実施形態に係る認識方法を実施する装置の概略構成図である。 図１の標識・看板識別部のフローチャート図である。 本発明により得られた結果の一例の表示画像図である。 本発明により得られた結果の一例で表示画像図である。

符号の説明

１１ 撮像部
１２ 標識・看板識別部
１３ 円形標識情報抽出部
１４ 円形標識認識部
１５ 非看板領域棄却部
１６ 文字列領域抽出部
１７ 出力部

Claims (1)

1. 撮像されたカラー画像において、色情報の色相の範囲を３分割し、各分割領域において彩度と円形度の情報により看板を抽出し、円形度の情報により看板以外の領域の棄却を行い、さらに看板内の背景色と文字色のコントラストが高いことに着目して看板内の文字列領域を抽出し、予め用意した辞書データとの比較により看板を認識することを特徴とするカラー画像を用いた看板および標識を認識する方法。

Images