JP2006235752A - オブジェクト認識装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体 - Google Patents

Abstract

【課題】 オブジェクトの撮像時の条件によらず、高い精度で認識し、その結果を報知する。
【解決手段】 ビデオカメラ２００で撮像された画像データをビデオキャプチャ部１０４でデジタル画像データに変換される。ＣＰＵ１００は、撮像された画像からモルフォロジー処理により、外形を検出し、その中の交通標識と成り得るオブジェクトを認識候補して抽出する。そして、その候補中に含まれる色を相対色評価により抽出し、各色を持つパターンを分離し、データベース１０３内に格納されている２値パターン１０３ｂとマッチングを行なう。この結果、マッチするパターンのコードが生成されるので、外形、マッチするパターンコード及び色に合致するものを検索テーブル１０３ａから検索し、一致するものが検索できた場合には、その出力メッセージを、外部ＡＶ出力装置３００から出力する。
【選択図】 図１

Description

本発明は、交通標識等のオブジェクトを認識する技術に関するものである。

自動車を走行中、運転手に対して、交通標識の存在を知らせる技術が望まれている。

かかる課題を解決する技術の１つに、自動車にビデオカメラを搭載し、走向前方を撮像し、その中の道路標識を認識し、安全運転に役立てる技術が知られている（特許文献１）。
特開２０００−００３４３８公報

交通標識は所定の形状、所定の色のパターンであるので、既知のパターンとマッチングすることで、認識することは比較的簡単である。しかしながら、夜間、夕暮れ、逆光の状況下では、交通標識に利用されている赤、青、白等の色は、無彩色方向に偏移し、或いは夜間の街では街灯やネオンの色の影響を受けるので、色についての不確かさが増加する。また、夕日を浴びている場合には、赤方向に偏移することも知られており、単純なパターンマッチングでは、高い精度が望めない。

本発明はかかる問題点に鑑みなされたものであり、夜間、逆光、夕方においても、高い精度でオブジェクトを認識し、その認識結果を報知することを可能ならしめる技術を提供しようとするものである。

この課題を解決するため、本発明のオブジェクト認識装置は以下の構成を備える。すなわち、
所定の撮像手段から画像データを入力する入力手段と、
オブジェクトを構成し得る各色毎のパーツパターンを記憶する第１の記憶手段と、
オブジェクトの形状、該オブジェクトを構成する前記パーツパターンを特定する情報と色情報、並びに出力情報を記憶する第２の記憶手段と、
前記入力手段から入力した画像データ中から、モルフォロジー処理により、認識候補と成り得る外形を持つ認識候補オブジェクトを抽出する第１の抽出手段と、
該第１の抽出手段で抽出された認識候補オブジェクト中に含まれる色を、相対色評価により抽出する第２の抽出手段と、
該第２の抽出手段で抽出された各色を持つパターンを、前記認識候補オブジェクトから分離し、前記第１の記憶手段に記憶されたパーツパターンとマッチングするパターンマッチング手段と、
前記第１の抽出手段で得られた外形、及び、前記パターンマッチング手段でマッチすると判定されたパーツパターンを特定する情報と色に基づき、前記第２の記憶手段を検索し、一致する情報が検索された場合、該当する出力情報を所定の外部報知手段に出力する出力手段とを備える。

本発明によれば、オブジェクトの撮像時の条件によらず、高い精度で認識し、その結果を報知することが可能になる。

従って、オブジェクトとして交通標識をターゲットとする場合には、夜間や逆光下等、運転手にとって見落とがち、或いは、見難い状況であっても、安全運転のための正しい情報を報知することができるようになる。

以下、添付図面に従って本発明にかかる実施形態を詳細に説明する。

図１は、自動車に搭載する標識認識装置のブロック構成図である。

図中、２００はビデオカメラであって、自動車の前方を視野範囲となるように設置されるものである。３００は映像、音声入力端子を備える外部ＡＶ出力装置であり、例えばカーナビゲーション装置可能である。

１００は装置全体の制御を司るＣＰＵであり、１０１はＣＰＵ１００の処理手順（プログラム）を記憶しているＲＯＭである。１０２はＣＰＵ１００のワークエリアとして使用されるＲＡＭである。１０３はデータベースであって、図示のように、検索テーブル１０３ａと、パーツパターン１０４ｂで構成される（詳細後述）。このデータベース１０３は、ハードディスク装置、或いは、ＣＤ−ＲＯＭ及びそのドライブ装置で構成されるものとするが、これ以外であっても構わない。１０４はビデオカメラ２００からの映像をキャプチャし、デジタルカラー画像データに変換出力するビデオキャプチャ部であり、１０５は外部ＡＶ出力装置へ、本装置が生成した映像や音声を出力するＡＶ出力部である。

なお、実施形態における装置をＰＣ等で代用することも可能である。その場合には、ＲＯＭ１０１はＢＩＯＳやブートプログラムを格納し、標識認識用のプログラムはハードディスク等にＯＳと共に格納され、電源ＯＮ時に、ＲＡＭ１０２にＯＳ、認識プログラムがロードされ実行されることになる。

次に、実施形態におけるデータベース１０３について説明する。

道路交通標識の外形は、ほとんどが円形、三角形、四角形（菱形を含む）、五角形のいずれかであり、各外形毎に使用されている色は限られている。例えば、円形の交通標識の場合には、赤、青、白の３色（一部黄色が含まれる）がほとんどである。また、「車両進行止め」と「駐車禁止」は共に円形であり、同じパターンであるものの、色が異なる（前者は赤と白の組合わせ、後者は赤と青の組合わせ）。

そこで、実施形態では、例えば、１つの標識を幾つかのパーツパターンに分解し、マッチング精度を高めるため各パーツパターンに内包されるパターン（以下、内包パターンという）を生成し、各内包パターンにパターンコードと色コードを付して、標識パターン情報を作成した。

上記を図２を用いて説明する。同図の「駐車禁止」の標識２０については、３つのパーツ２１、２２、２３に分解する。そして、各パーツ２１、２２、２３について、その内部に含まれる内包パターン２４、２５、２６（いずれも外接位置から所定距離だけ内側に細らせ処理を行なうことで得られる）を生成し、各内包パターンのドットを“１”、“０”の２値状態にし、各内包パターンについてパターンコードを割り当てる。そして、パターンコードと、各パターンの“１”となる画素の色の組合わせで、標識パターンコード列を定義する。

図１のデータベースの検索テーブル１０３ａ中の第１フィールドには、標識の外形形状を示す情報が格納され、第２フィールドのパターンコード列は上記のようにして得られたコード列を格納する。

例えば、「駐車禁止」の標識の場合、内包パターン２４、２５、２６は、パターンコードとして、それぞれ００１、０１３、０１５を割り当て、各色が赤、赤、青として割り当てられることになるので、
「００１：赤、０１３：赤、０１５：青」
が標識パターンコード列として格納する。なお、実際は、各色にもコードが割り当てられるが、図示では分かり易いように色名で示している。

パーツパターン１０３ｂは、上記ようの様にして得られた２値の内包パターンを、そのコードと関連付けて格納することになる。

上記のように、標識パターンそのものを格納するのではなく、各パーツに分解することの利点は、他の標識でも共通に利用できることにより、データベース１０３の記憶容量を減らすことが可能になる。また、内包パターンを記憶する理由は、ビデオカメラ２００の視点位置がその標識の正面からではなく、斜め方向から撮影している場合、或いは、交通標識が傾いている場合の、色パターンマッチングの精度を高めるためである。換言すれば、内包パターンでマッチングすることで、ビデオカメラ２００の視点が標識の正面から多少ずれていても、その誤差を許容できるようにするためである。

なお、図１における検索テーブル１０３ａの第３フィールドには、認識成功した際に、操作者（ドライバ）に対する報知するメッセージ（実施形態では、音声と文字列の両方で報知するものとした）を格納する。

次に、実施形態の標識認識装置の処理手順を図３のフローチャートに従って説明する。

先ず、ステップＳ１では、ビデオキャプチャ１０４を介して、ビデオカメラ２００で撮像した１フレーム分のデジタル画像データを取得する。

次いで、ステップＳ２において、撮像された画像中から、標識と成り得る図形を抽出するため、モルフォロジー処理を行い、交通標識の候補領域の切り出しを行なう。モルフォロジー処理とは、画像中の形状特徴抽出を行い、余計な線分やノイズ等を除外するのに好適な処理である。

ここで、モルフォロジー処理を用いた標識の切り出し処理の一例を図４のフローチャートに従って説明する。

先ず、ステップＳ４１のモルフォロジー処理による特徴抽出処理は次の通りである。

通常、モルフォロジー処理では、その認識する際の構成要素（ＳＥ）は１つであるが、本実施形態では３つのＳＥを用いる例を説明する。

図５に示すような円形標識５００を例にする。図示のように円形標識用の３本の色分布を求めるレンジ５１０、５１１、５１２を設け、各レンジにおける画素の色の分布範囲（グラディエーション）ρ１、ρ２、ρ３を求める。レンジ５１０では、標識外、標識の最縁部、標識内部の３つにまたがるように設定してあるので、グラディエーションρ１は大きな値を持つ。一方、レンジ５１１は、円形標識の内部に設定してあり、尚且つ、均一な色範囲に設定してあるので、ρ２は小さな値になる。レンジ５１２のρ３も同様に設定しておく。このように、円形（の上部）、四角形等、標識の外形に応じた３つのＳＥを予め求めておく。

このように、オブジェクトが形状（部分形状）毎に、その形状特有のＳＥを用意して、求めたρ１、ρ２、ρ３の比較、比率等に基づいて標識の部分的な外形を求めることが可能になる。

なお、上記はＳＥが３つの例であったが、その数を増やすことで、更に精度を高めることができる。また、数を増やすことで、標識内部の模様、色が反映されたグラディエーションを求めることになるので、標識の外形のみなず、標識の模様認識にも適用できるようになる。

図４のフローチャートに戻る。ステップＳ４１で、上記のようにして標識候補が得られると、ステップＳ４２で、相対色を用いた特徴点を抽出する。この処理は、ステップＳ４１で標識候補として認識された候補内の各画素の色分布の相対色を求める。ここでは、具体的な色を求める必要はなく、存在する色数を求めればよい。

次いで、外形、色数の組合わせから、標識候補して成立するか否かをステップＳ４３で判定する。否の場合には、標識ではないと判定する（ステップＳ４４）。また、標識候補と成り得ると判断した場合には、ステップＳ４５で外接枠を推定し、ステップＳ４６で切り出し処理を行なう。このままでは、切り出した画像のサイズが一定のサイズとは限らないし、標識を斜めから撮像している、或いは、標識が傾いている等があるので、ステップＳ４７でサイズ、角度、並行移動等の正規化処理を行なう。

以上、図３のステップＳ２におけるモルフォロジー処理による形状認識について設営した。

次に、ステップＳ３に進んで、ステップＳ２で交通標識として成り得る外形（実施形態では、円形、三角形（下に凸の三角形）、四角形（菱形を含む）、五角形（上に凸の五角形）が存在するか否かを判断し、否の場合には、ステップＳ１に戻り、上記処理を繰り返す。

さて、ステップＳ３で標識候補となり得る形状がうまく切り出されたと判断した場合には、ステップＳ４に進み、相対色評価及びマッチングを行う。

ステップＳ４における相対色評価＆マッチング処理では、撮像された標識候補に含まれる色を、相対色評価処理と、パターンマッチング処理が含まれる。

先ず、相対色の評価であるが、夜間や、ビデオカメラ２００が逆光状態では、色は無彩色方向に偏移し、標識が夕日を浴びている場合には、赤色方向に偏移することが知られている。

ただし、上記の通り、色数は判明しているので、各色のＲ，Ｇ，Ｂの値に基づき、各色が互いにどのように色がずれているかを求め、それぞれの色に、標準的な標識の色を当てはめていく。

なお、ＲＧＢ色空間ではなく、輝度、色相、彩度で表わされる色空間で求めるようにしても構わない。

また、例えば、ピンク、緑色で構成されている単なる円形看板が撮像された場合、相対色評価によって赤、青として認識され、この段階で交通標識候補と認識する可能性は否定できない。しかし、以下に説明するようにパターンマッチングを行なうことで、このような看板を交通標識から除外することは可能である。

さて、上記相対色評価によって、標識候補内（この時点で外形は決定している）に含まれる色が求められると、各色を持つパターンを分離し、分離されたパターンと、データベース１０３内の２値パターンとのマッチングを行なう。

例えば、「駐車禁止」の標識が撮像された場合、赤色であると判定された分離パターンは、図２のパーツ２１と２２の合成されたパターンとなり、青色の分離パターンは図２のパターン２３となる。そこで、赤分離パターン（２１＆２２）と内包パターン２４をマッチングを行なう。この内包パターン２４が、赤分離パターンに完全（必ずしも１００％ではなく、９０％とか、適宜設定できるものとする）に内包される場合には、着目標識候補には、該当する内包パターンが含まれると判定し、そのコード「００１」を出力する。次いで、他の赤パターンについても行なう。このとき、図２の内包パターン２５についても、マッチングが成功した場合には、そのパターンコード「０１３」を出力する。なお、一致しない場合には、パターンコードの出力は行なわない。以上を、外形が円形であり、尚且つ、全ての赤色の内包パターンとのマッチングを行なう。

一方、認識候補に、青色も含まれると判定した場合、その青色分離パターンと、同じ外形属性を持ち、青色となる内包パターンとのマッチングを行なう。例えば、「駐車禁止」の標識の場合には、この青色マッチングによって、幾つかのマッチング処理によって、図２に示す内包パターン２６に合致することが判明することになり、パターンコード「０１５」が出力されることになる。

以上の結果、撮像画像中に、駐車禁止の標識が存在する場合、ステップＳ４での相対色評価＆マッチング結果、赤色のパターンコード“００１”、赤色のパターンコード“０１３”、青色のパターンコード“０１５”が生成されることになる。

ここで上記パターンマッチングを更に詳しく説明する。説明を簡単なものとするため、駐車禁止の標識を撮像した場合を例にする。

駐車禁止マークは、図２に示した通りであるが、先ず、テンプレートの外形の円内部の色の標準偏差σ_tを求める（Ｒ、Ｇ、Ｂ毎）。そして、内包パターン２４についての標準偏差σ_t24を求める。そして、σ_t24とσｔとの比「σ_t24／σ_t」を求める。この標準偏差の比を、これ以降モディファイド標準偏差という。これを他の内包パターン２５、２６についても求めておく。また、他の標識でも、その標識を構成する内包パターンについて同様に求めておく。つまり、全標識について、その標識の外形内の標準偏差と、その外形に含み得る内包パターンの標準偏差について、上記モディファイド標準偏差を予め算出しておく。

今、撮像した画像中に円形の標識が存在する場合、先ず、その撮像画像中の円形内の標準偏差σを求め、その撮像画像中の内包パターン２４に含まれる（図２の斜線部）部分の標準偏差σ₂₄を求め、モディファイド標準偏差σ₂₄／σを求める。もし、撮像画像の円形標識候補が駐車禁止のマークであるとするなら、
σ₂₄／σ≒σ_t24／σ_t
を満たすことになる。つまり、撮像状況（夜間や、逆光といった撮像条件）を除外した評価が可能になる。換言すれば、適当な閾値Ｔｈを設定し、
｜σ₂₄／σ − σ_t24／σ_t｜≦Ｔｈ
を満たせば、内包パターン２４が、着目画像中の標識候補に含まれると判断する。この処理を、円形標識に含み得る全内包パターンについて行なうことで、着目標識候補を構成する内包パターンを得ることができる。

ステップＳ５では、認識候補の外形と、上記のようにして得られた色及びパターンコードをキーワードとして、検索テーブル１０３ａの第１、第２フィールドを検索する。そして、ステップＳ７で一致するものが存在すると判定した場合には、ステップＳ８に進んで、第３フィールドに格納された文字列を抽出し、その結果をＡＶ出力部１０５で映像信号、音声信号（振動パターン）を生成し、その結果を外部ＡＶ出力装置３００に出力することで、操作者（ドライバ）に報知する。

以上説明したように本実施形態によれば、夜間、逆光、夕方等、本来の交通標識の色から偏移した画像を撮像したとしても、高い精度で標識を認識することが可能となり、ドライバに対して安全運転のための情報を提供することが可能になる。

なお、実施形態における標識認識装置は、映像キャプチャ等のハードウェアを利用するものの、ＰＣ等で実行するアプリケーションプログラムによっても実現できるものであるから、本発明はコンピュータプログラムをその範疇とする。また、通常、コンピュータプログラムはＣＤ−ＲＯＭ等のコンピュータ可読記憶媒体をＰＣにセットし、システムにコピーもしくはインストールすることで、実行可能になるわけであるから、当然、そのようなコンピュータ可読記憶媒体も本発明の範疇にある。

また、実施形態では、交通標識を認識する例を説明したが、データベース１０３を別途用意することで、レストラン検索に特化したシステムにも適用できるし、対象物はいかなるものでも構わない。また、対象物毎にデータベースを用意し、操作者がそれらを切替えるようにしても良い。

また、実施形態では格別説明しなかったが、認識精度は高くするため、及び、複雑な認識対象物に対処するためには、ビデオカメラの撮像解像度は高ければ高いほど望ましい。

また、同じ撮影方向を向き、且つ、所定の間隔で設置する複数台のビデオカメラを設置することで、撮像画像中の同じオブジェクトの相対位置から、そのオブジェクトまでの距離を求めるようにしても良い。この距離から、標識のサイズを正規化すれば、形状のみならず、大きさからも交通標識以外のオブジェクトを認識対象から除外できる。

また、実施形態ではビデオキャプチャ部１０４でデジタル画像データに変換するものとして説明したが、ビデオカメラ２００がデジタル出力でき、且つ、本装置がそのデジタルデータを入力するインタフェース（例えばＵＳＢ、ＩＥＥＥ１３９４等）を備えるのであれば、キャプチャ部１０４は不要である。

実施形態における標識認識装置のブロック構成図である。 実施形態における標識と内包パーツとの関係を示す図である。 実施形態における処理手順を示すフローチャートである。 実施形態における切り出し処理を示すフローチャートである。 モルフォロジーを用いた形状認識の例を説明するための図である。

Claims (7)

1. 所定の撮像手段から画像データを入力する入力手段と、
   オブジェクトを構成し得る各色毎のパーツパターンを記憶する第１の記憶手段と、
   オブジェクトの形状、該オブジェクトを構成する前記パーツパターンを特定する情報と色情報、並びに出力情報を記憶する第２の記憶手段と、
   前記入力手段から入力した画像データ中から、モルフォロジー処理により、認識候補と成り得る外形を持つ認識候補オブジェクトを抽出する第１の抽出手段と、
   該第１の抽出手段で抽出された認識候補オブジェクト中に含まれる色を、相対色評価により抽出する第２の抽出手段と、
   該第２の抽出手段で抽出された各色を持つパターンを、前記認識候補オブジェクトから分離し、前記第１の記憶手段に記憶されたパーツパターンとマッチングするパターンマッチング手段と、
   前記第１の抽出手段で得られた外形、及び、前記パターンマッチング手段でマッチすると判定されたパーツパターンを特定する情報と色に基づき、前記第２の記憶手段を検索し、一致する情報が検索された場合、該当する出力情報を所定の外部報知手段に出力する出力手段と
   を備えることを特徴とするオブジェクト認識装置。
2. 前記第１の記憶手段には、オブジェクトの外形と関連づけられたパーツパターンを記憶することを特徴とする請求項１に記載のオブジェクト認識装置。
3. 前記第１の記憶手段に記憶されるパーツパターンは、オブジェクトから分離されたパターンに内包させるための、細らせ処理で得られたパターンであることを特徴とする請求項１に記載のオブジェクト認識装置。
4. 前記認識対象となるオブジェクトは、交通標識であることを特徴とする請求項１乃至３のいずれか１つに記載のオブジェクト認識装置。
5. 撮像手段と外部報知手段を接続可能で、オブジェクトを構成し得る各色毎のパーツパターンを記憶する第１の記憶手段と、及び、オブジェクトの形状、該オブジェクトを構成する前記パーツパターンを特定する情報と色情報、並びに出力情報を記憶する第２の記憶手段とを備え、前記撮像手段で得られた画像中に認識対象オブジェクトが存在する場合に、前記外部報知手段を介して報知するオブジェクト認識装置における制御方法であって、
   前記撮像手段から画像データを入力する入力工程と、
   該入力工程で入力した画像データ中から、モルフォロジー処理により、認識候補と成り得る外形を持つ認識候補オブジェクトを抽出する第１の抽出工程と、
   該第１の抽出工程で抽出された認識候補オブジェクト中に含まれる色を、相対色評価により抽出する第２の抽出工程と、
   該第２の抽出工程で抽出された各色を持つパターンを、前記認識候補オブジェクトから分離し、前記第１の記憶手段に記憶されたパーツパターンとマッチングするパターンマッチング工程と、
   前記第１の抽出工程で得られた外形、及び、前記パターンマッチング工程でマッチすると判定されたパーツパターンを特定する情報と色に基づき、前記第２の記憶手段を検索し、一致する情報が検索された場合、該当する出力情報を所定の外部報知手段に出力する出力工程と
   を備えることを特徴とするオブジェクト認識装置の制御方法。
6. 撮像手段と外部報知手段を接続可能で、オブジェクトを構成し得る各色毎のパーツパターンを記憶する第１の記憶手段と、及び、オブジェクトの形状、該オブジェクトを構成する前記パーツパターンを特定する情報と色情報、並びに出力情報を記憶する第２の記憶手段とを備え、前記撮像手段で得られた画像中に認識対象オブジェクトが存在する場合に、前記外部報知手段を介して報知するオブジェクト認識装置として機能するコンピュータプログラムであって、
   前記撮像手段から画像データを入力する入力手段と、
   該入力手段で入力した画像データ中から、モルフォロジー処理により、認識候補と成り得る外形を持つ認識候補オブジェクトを抽出する第１の抽出手段と、
   該第１の抽出手段で抽出された認識候補オブジェクト中に含まれる色を、相対色評価により抽出する第２の抽出手段と、
   該第２の抽出手段で抽出された各色を持つパターンを、前記認識候補オブジェクトから分離し、前記第１の記憶手段に記憶されたパーツパターンとマッチングするパターンマッチング手段と、
   前記第１の抽出手段で得られた外形、及び、前記パターンマッチング手段でマッチすると判定されたパーツパターンを特定する情報と色に基づき、前記第２の記憶手段を検索し、一致する情報が検索された場合、該当する出力情報を所定の外部報知手段に出力する出力手段
   として機能することを特徴とするコンピュータプログラム。
7. 請求項６に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。

Images