JP2009163714A - 標識判定装置および標識判定方法 - Google Patents

Abstract

【課題】対向車両のドライバーを眩惑させることなく、道路標識の認識率を向上させて、安定的に道路標識を判定すること。
【解決手段】標識判定装置１００は、標識検出部１０９が近赤外線照明が照射された時点での画像（偶数フィールド画像）と前記近赤外線照明が照射されていない時点での画像（奇数フィールド画像）との差分を算出することにより差分画像を生成し、標識判定部１１０が差分画像に基づいて、画像中の標識の領域を検出し、標識判定部１１０が、標識検出部１０９が検出した画像中の標識の領域およびカラー画像を基にして標識の種別を判定する。
【選択図】 図４

Description

この発明は、標識を判定する標識判定装置およびその標識判定方法に関し、特に対向車両のドライバーを眩惑させることなく、道路標識の認識率を向上させて、安定的に道路標識を判定することができる標識判定装置および標識判定方法に関するものである。

近年、道路標識の検出方式として種々の手法が考案され実用化されている。例えば、車両周囲のカラー画像のエッジヒストグラムおよびＲＧＢカラー成分により道路標識の形状や色を判定することで道路標識を認識する方法がある（例えば、特許文献１参照）。このように、道路標識を認識する上で、道路標識の形状や色を用いることは一般的であるが、上記のようにカラー画像を用いる場合には、外界の照明条件（影、夕日、街灯等）の影響を受け易く、不要なエッジの発生やカラー成分の変化が生じ、認識率の低下が起こるという問題がある。

そのような問題に対応するため、能動的に照明を照射して反射光を撮影することにより、道路標識の認識を実行するという手法も考案されている。例えば、照明を照射している時点での画像と照明を照射していない時点での画像とを比較して差分値をとることで外界の照明条件を取り除いた画像を作成し、道路標識の認識することを可能としている。

特開２０００−２９３６７０号公報

しかしながら、上記した従来の技術では、道路標識の認識を実行する場合に、照明（可視光）のオン・オフを実行する必要があり、対向車両のドライバーを眩惑させてしまうという問題があった。なお、可視光の代わりに近赤外線を利用することでドライバーを眩惑させるという問題を解消することも考えられるが、近赤外線では、道路標識のカラーパターンを撮影することができないので、認識率が低下してしまう。

すなわち、対向車両のドライバーを眩惑させることなく、道路標識の認識率を向上させて、安定的に道路標識を判定することが極めて重要な課題となっている。

この発明は、上述した従来技術による問題点を解消するためになされたものであり、対向車両のドライバーを眩惑させることなく、道路標識の認識率を向上させて、安定的に道路標識を判定することができる標識判定装置および標識判定方法を提供することを目的とする。

上述した課題を解決し、目的を達成するため、この標識判定装置は、標識を判定する標識判定装置であって、近赤外線照明が照射された時点での画像と前記近赤外線照明が照射されていない時点での画像との差分を算出することにより差分画像を生成する差分画像生成手段と、前記差分画像生成手段により生成された差分画像に基づき、画像中の標識の領域を検出する領域検出手段と、前記領域検出手段が検出した画像中の標識の領域と、カラーまたはモノクロの画像とを基にして標識の種別を判定する標識判定手段と、を備えたことを要件とする。

また、この標識判定装置は、上記標識判定装置において、前記カラーまたはモノクロの画像を撮影するカメラを搭載した移動体の位置を検出する位置検出手段と、当該位置検出手段により検出された、前記画像撮影時の移動体の位置と、前記画像の撮影方向と、前記標識判定手段により判定された標識の前記画像中における位置に基づいて、前記標識の地図上の位置を特定する標識位置特定手段とを更に備えたことを要件とする。

また、この標識判定装置は、上記標識判定装置において、前記標識判定手段は、前記領域検出手段が検出した画像中の標識の領域に対応する前記カラーまたはモノクロの画像の領域から色情報を取得し、当該色情報に含まれる色を、予め設定した複数種類の色分類のいずれかにグルーピングし、同一グループの色に属する領域を一連の領域と判定し、判定した一連の領域の形状に基づいて標識の種別を判定することを要件とする。

また、この標識判定装置は、上記標識判定装置において、前記標識判定手段は、連続して撮影された画像を取得した場合に、各画像に含まれる標識の領域をそれぞれ対応付けて記憶し、前記標識の領域に対応する標識の種別を判定した場合に、当該標識の領域に対応付けられた他の画像中の標識の領域を同一の標識の種別として判定することを要件とする。

また、この標識判定方法は、標識を判定する標識判定装置の標識判定方法であって、前記標識判定装置は、近赤外線を照射する近赤外線照明とカラーまたはモノクロの画像を撮影するカメラを備え、前記近赤外線照明が照射された時点での画像と前記近赤外線照明が照射されていない時点での画像とを記憶装置に記憶する記憶ステップと、前記近赤外線照明が照射された時点での画像と前記近赤外線照明が照射されていない時点での画像とを前記記憶装置から取得し、取得した画像の差分を算出することにより差分画像を生成する差分画像生成ステップと、前記差分画像生成ステップにより生成された差分画像に基づき、画像中の標識の領域を検出する領域検出ステップと、前記領域検出ステップにより検出された画像中の標識の領域と、前記カメラにより撮影されたカラーまたはモノクロの画像とを基にして標識の種別を判定する標識判定ステップと、を含んだことを要件とする。

この標識判定装置によれば、近赤外線照明が照射された時点での画像（偶数フィールド画像）と前記近赤外線照明が照射されていない時点での画像（奇数フィールド画像）との差分を算出することにより差分画像を生成し、差分画像に基づいて、画像中の標識の領域を検出し、画像中の標識の領域およびカラー画像を基にして標識の種別を判定するので、対向車両のドライバーを眩惑させることなく、道路標識の認識率を向上させて、安定的に道路標識を判定することができる。

また、この標識判定装置によれば、画像撮影時の車両の位置と、画像の撮影方向と、標識の画像中における位置に基づいて、標識の地図上の位置を特定するので、複雑な処理を実行することなく、標識の位置を正確に計測することができる。

また、この標識判定装置によれば、画像中の標識の領域に対応するカラー画像の領域から色情報を取得し、この色情報に含まれる色を、予め設定した複数種類の色分類のいずれかにグルーピングし、同一グループの色に属する領域を一連の領域と判定し、判定した一連の領域に基づいて標識の種別を判定するので、外界の照明条件（影、夕日、街灯等）の影響を受けることなく、正確に標識の種別を判定することができる。

また、この標識判定装置によれば、各フレームの画像に含まれる標識の領域をそれぞれ対応付けて記憶し、標識の領域に対応する標識の種別を判定した場合に、判定した標識の領域に対応付けられた他のフレームの標識の領域を同一の標識の種別として判定するので、標識種別判定にかかる処理負荷を軽減させることができる。

以下に添付図面を参照して、この発明に係る標識判定装置および標識判定方法の好適な実施の形態を詳細に説明する。

まず、本実施例１にかかる標識判定装置の概要および特徴について説明する。図１は、本実施例１にかかる標識判定装置の概要および特徴を説明するための図である。同図に示すように、この標識判定装置１００は、近赤外線を照射する近赤外線照明１０１、近赤外線カメラ１０２およびカラーカメラ１０３を有し、車両１０に搭載されている。

標識判定装置１００は、近赤外線照明１０１を制御して、断続的に近赤外線を車両１０の進行方向（道路標識５０）に照射すると共に、近赤外線カメラ１０２を制御して、近赤外線が照射されている時点の画像と近赤外線が照射されていない時点での画像を撮影する。

図２は、近赤外線照明１０１の照射タイミングと近赤外線カメラ１０２の露光タイミングとの関係を示す図である。同図に示す例では、近赤外線カメラ１０２は、奇数フィールド露光タイミングにおいて、近赤外線が照射されていない時点の画像を撮影し、偶数フィールド露光タイミングにおいて、近赤外線が照射されている時点の画像を撮影する。以下において、近赤外線が照射されていない時点の画像を奇数フィールド画像と表記し、近赤外線が照射されている時点の画像を偶数フィールド画像と表記する。

標識判定装置１００は、奇数フィールド画像の画素値と偶数フィールド画像の画素値との差分をとることで生成される差分画像に基づいて、画像中の道路標識５０の領域を検出する。一般的に、道路標識５０は、強く近赤外線を反射するので、差分画像中で画素値が閾値以上となる領域が道路標識５０の領域として検出される。そして、道路標識５０の領域（道路標識の形状）が検出されることで、道路標識５０の種別はある程度絞られる。

図３は、道路標識の形状と道路標識の種別との関係を示す図である。同図に示すように、例えば、道路標識の形状が「円形」である場合には、道路標識の種別は、「規制標識」、「制限解除」、「補助標識」に絞られることとなる。

一方で、標識判定装置１００は、カラーカメラ１０３を制御して、車両１０前方のカラー画像を撮影している。標識判定装置１００は、道路標識５０の領域に対応するカラー画像の領域の色情報を取得し、取得した色情報および道路標識の形状によって絞られる道路標識の各種別に基づいて道路標識５０の種別を判定する。

このように、本実施例１にかかる標識判定装置１００は、差分画像に基づいて道路標識の領域を検出して、標識の種別をある程度絞込み、道路標識の領域に含まれる色情報と、絞り込まれた標識の種別から、道路標識の種別を判定するので、外界の照明条件によらず、道路標識の認識率を向上させて、安定的に道路標識を判定することができる。

また、本実施例１にかかる標識判定装置１００は、可視光を照射する代わりに、近赤外線照明１０１を制御して、近赤外線を断続的に照射するので、対向車両のドライバーを眩惑させてしまうという問題を解消することができる。

次に、図１に示した標識判定装置１００の構成について説明する。図４は、本実施例１にかかる標識判定装置１００の構成を示す機能ブロック図である。同図に示すように、この標識判定装置１００は、近赤外線照明１０１と、近赤外線カメラ１０２と、カラーカメラ１０３と、同期信号生成部１０４と、位置計測部１０５と、方位計測部１０６と、標識情報格納部１０７と、差分画像生成部１０８と、標識検出部１０９と、標識判定部１１０と、標識位置推定部１１１とを備えて構成される。

このうち、近赤外線照明１０１は、同期信号生成部１０４から出力される同期信号に基づいて断続的に近赤外線を照射する手段である。近赤外線カメラ１０２は、同期信号生成部１０４から出力される同期信号に基づいて動作し、奇数フィールド画像および偶数フィールド画像を撮影する手段である。カラーカメラ１０３は、カラーカメラ１０３前方のカラー画像を撮影する手段である。

同期信号生成部１０４は、近赤外線照明１０１の照射タイミングおよび近赤外線カメラ１０２の露光タイミングを示す同期信号を生成する手段である。具体的には、同期信号生成部１０４は、偶数フィールド画像を撮影するタイミングで、近赤外線を照射させ、奇数フィールド画像を撮影するタイミングで、近赤外線を照射させないような同期信号を生成する（図２参照）。同期信号生成部１０４は、生成した同期信号を近赤外線照明１０１および近赤外線カメラ１０２に出力する。

位置計測部１０５は、標識判定装置１００（車両１０）の位置を計測する手段である。例えば、位置計測部１０５は、周知技術であるＧＰＳ（Global Positioning System）等を利用することにより、標識判定装置１００の位置を計測する。位置測定部１０５は、計測した位置情報を標識位置推定部１１１に出力する。

方位計測部１０６は、車両１０（カラーカメラ１０３等）の方位を計測する手段である。例えば、方位計測部１０６は、周知技術である電子コンパス装置等を利用することにより、車両１０（近赤外線カメラ１０２、カラーカメラ１０３）の方位を計測する。方位計測部１０６は、計測した方位情報を標識位置推定部１１１に出力する。

標識情報格納部１０７は、標識判定にかかる各種の情報を記憶する記憶手段であり、図４に示すように、道路標識管理テーブル１０７ａおよび標識候補領域テーブル１０７ｂを記憶する。

このうち、道路標識管理テーブル１０７ａは、道路標識に関する各種情報を記憶するテーブルである。図５は、道路標識管理テーブル１０７ａの一例を示す図である。同図に示すように、この道路標識管理テーブル１０７ａは、道路標識種別と、標識形状と、標識中の色リストと、標識のテンプレートデータと、ＨＳＶ（Hue Saturation Value）色空間データとを有する。

このうち、標識中の色リストは、標識に含まれる色を示す情報である。例えば、道路標識種別「進入禁止標識」に含まれる色リストは、「赤」、「白」となる。標識のテンプレートデータは、標識に対応する画像データを示す。図６は、道路標識種別「進入禁止標識」のテンプレートデータのイメージ図である。

ＨＳＶ色空間データは、道路標識に含まれる各色をそれぞれＨＳＶ色空間の色相（Hue）に変換した値を記憶する情報である。例えば、道路標識種別「進入禁止標識」では、赤色に対応する色相の値と、白色に対応する色相の値がＨＳＶ色空間データとして記憶される。

標識候補領域テーブル１０７ｂは、車両および道路標識にかかる各種の情報を記憶するテーブルである。図７は、標識候補領域テーブル１０７ｂの一例を示す図である。同図に示すように、この標識候補領域テーブル１０７ｂは、フレーム通番と、車両位置と、カメラ方向と、第１標識候補領域ＩＤ（Identification）と、第２標識候補領域ＩＤと、中心点位置と、外接四角形座標値と、標識形状と、標識判定結果と、標識位置とを有する。

このうち、フレーム通番は、画像を撮影した各フレームを識別するための情報である。車両位置は、フレーム通番に対応する画像を撮影した時点での車両の位置（緯度経度）を示す情報であり、上記した位置計測部１０５によって計測される。カメラ方向（方位）は、フレーム通番に対応する画像を撮影した時点でのカメラ（近赤外線カメラ１０２、カラーカメラ１０３）の方向を示す情報であり、上記した方位計測部１０６によって計測される。

第１標識候補領域ＩＤは、同一フレームの画像上に存在する各標識の候補となる領域（以下、単に標識の領域と表記する）をそれぞれ識別するための情報である。例えば、同一フレームの画像中に標識の領域が２つ存在する場合には、２種類の第１標識候補領域ＩＤがそれぞれの領域に割り振られる。

第２標識候補領域ＩＤは、前フレーム中の対応する第１標識候補領域ＩＤを識別するための情報である。例えば、フレーム通番「１００」、第１標識候補領域ＩＤ「２」によって識別される標識の領域は、第２標識候補領域ＩＤが「１」であるため、前フレームの第１標識候補領域ＩＤ「１」によって識別される標識の領域に対応している。かかる第２標識候補領域ＩＤによって各フレームにおける標識の領域はそれぞれ対応付けられることになる。したがって、いずれかの画像において、標識の領域に対する種別が判定できれば、かかる領域に対応付けられた他の標識の領域に対する種別も判定されたことになる。

中心点位置は、標識の領域の中心点位置の座標を示す情報である。外接四角形座標値は、標識の領域を包含する外接四角形の座標値（左、上、右、下）を示す情報である。標識形状は、標識の領域に対応する形状を示す情報である。

標識判定結果は、標識の領域の種別を示す情報であり、後述する標識判定部１１０によって判定される。標識位置は、標識の位置（経度緯度）を示す情報であり、後述する標識位置推定部１１１によって算出される。

図４の説明に戻ると、差分画像生成部１０８は、近赤外線カメラ１０２から奇数フィールド画像と偶数フィールド画像とを含んだ画像を取得し、奇数フィールド画像の画素値と偶数フィールド画像の画素値との差分を算出することで差分画像を生成する手段である。

図８は、差分画像生成部１０８の処理を説明するための図である。同図に示すように、差分画像生成部１０８は、近赤外線カメラ１０２から画像データを取得し、取得した画像をフィールド分離して、奇数フィールド画像と偶数フィールド画像に分離する。そして、差分画像生成部１０８は、奇数フィールド画像の画素値と偶数フィールド画像の画素値との差分をとることで、差分画像を生成する。

道路標識は、他の物体と比較して、近赤外線を強く反射する。したがって、偶数フィールド画像における道路標識の領域の画素値が、奇数フィールドの道路標識の領域の画素値と比較して大きくなるため、差分画像では、道路標識の領域（高輝度領域）にかかる画素値が他の領域の画素値と比較して大きくなる。

標識検出部１０９は、差分画像生成部１０８によって生成された差分画像に基づいて、標識の領域を検出する手段である。具体的に、標識検出部１０９の説明を行うと、まず、標識検出部１０９は、差分画像に対して二値化処理を実行し、差分画像の領域を、強反射領域（画素値が閾値以上となる領域）とその他の領域（画素値が閾値未満となる領域）に分離する。そして、標識検出部１０９は、差分画像中の各強反射領域のうち、面積が閾値以上となる強反射領域を標識の領域（標識の候補となる領域）として検出する。

続いて、標識検出部１０９は、現フレームの画像にて検出した標識の領域（以下、第１の標識領域）と、前フレームの画像にて検出した標識の領域（以下、第２の標識領域）とを対応付けるためのトラッキング処理を実行する。例えば、標識検出部１０９は、第１の標識領域と第２の標識領域とを比較して、重複率が閾値以上となる場合に、第１の標識領域と第２の標識領域とを対応付ける。

続いて、標識検出部１０９は、予め設定された道路標識の形状情報（円形、逆三角形、五角形、菱形、逆三角形、矩形等；図３参照）と、第１の標識領域の形状とを比較して、第１の標識領域に合致する標識形状が存在するか否かを判定する。

そして、標識検出部１０９は、第１の標識領域の形状に合致する標識形状が存在すると判定した場合には、かかる第１の標識領域を道路標識領域として確定し、標識候補領域テーブル１０７ｂに標識領域情報（フレーム通番、第１、第２標識候補領域ＩＤ、中心点位置、外接四角形座標値、標識形状）を登録すると共に、標識領域情報を標識判定部１１０に出力する。

標識判定部１１０は、標識領域情報、カラーカメラ１０３から出力されるカラー画像、道路標識管理テーブル１０７ａを基にして、道路標識領域の種別を判定する手段である。具体的に、標識判定部１１０の説明を行うと、まず、標識判定部１１０は、カラー画像中における道路標識領域を判定する。カラー画像中の道路標識領域は、標識領域情報に含まれる中心点位置および外接四角形座標値等により判定する。

図９は、差分画像の道路標識領域とカラー画像の道路標識領域との関係を示す図である。図９に示す例では、差分画像の道路標識領域１１に対応するカラー画像の道路標識領域は道路標識領域１３となり、差分画像の道路標識領域１２に対応するカラー画像の道路標識領域は道路標識領域１４となる。

続いて、標識判定部１１０は、カラー画像中の道路標識領域に対してセグメンテーション処理を実行する。ここで、セグメンテーション処理は、道路標識領域に含まれる色を、予め設定される色リスト中の色に分類する処理である。例えば、予め設定されている色リストの色が、「赤」、「白」の場合には、道路標識領域中の色を「赤」あるいは「白」に分類する。

標識判定部１１０が、セグメンテーション処理で利用する色リストを設定する処理について説明すると、標識判定部１１０は、標識領域情報に含まれる標識形状と、道路標識管理テーブル１０７ａ（図５参照）の標識形状とを比較して、同一の標識形状に対応する色リストを、セグメンテーション処理で利用する色リストとして設定する。

続いて、セグメンテーション処理について具体的に説明する（ここでは説明の便宜上、色リストが「赤」、「白」に設定されている場合について説明する）。標識判定部１１０は、道路標識領域から色情報（Ｒ（Red）Ｇ（Green）Ｂ（Blue）値）を取得し、かかるＲＧＢ値をＨＳＶ色空間の色相に変換する。

標識判定部１１０が、色情報を色相に変換する場合には、

のうちいずれか一つの式を利用する。具体的には、色情報のＲＧＢ値のうち、Ｒの値がＧの値またはＢの値よりも大きい場合に、式（１）を利用して、色情報を色相Ｈに変換する。式（１）にかかるＭＡＸには、Ｒの値が代入され、ＭＩＮには、Ｇの値およびＢの値のうち小さい方の値が代入される。

色情報のＲＧＢ値のうち、Ｇの値がＲの値またはＢの値よりも大きい場合に、式（２）を利用して、色情報を色相Ｈに変換する。式（２）にかかるＭＡＸには、Ｇの値が代入され、ＭＩＮには、Ｒの値およびＢの値のうち小さい方の値が代入される。

色情報のＲＧＢ値のうち、Ｂの値がＲの値またはＧの値よりも大きい場合に、式（３）を利用して、色情報を色相Ｈに変換する。式（３）にかかるＭＡＸには、Ｂの値が代入され、ＭＩＮには、Ｒの値およびＧの値のうち小さい方の値が代入される。

標識判定部１１０は、色情報を色相に変換した後に、変換した色相（以下、変換色相）と、赤の色相と、白の色相とを比較して、色情報に対応する色を赤または白に分類する（色リストに含まれる色の色相の情報は、予め算出されており、道路標識管理テーブル１０７ａに登録されているものとする）。具体的に、赤の色相をＨ１、白の色相をＨ２、変換色相をＨとすると、
｜Ｈ−Ｈ１｜＞｜Ｈ−Ｈ２｜
の条件を満たす場合（変換色相が赤の色相よりも白の色相に近い場合）に、色情報に対応する色は、白に分類され、上記条件を満たさない場合（変換色相が白の色相よりも赤の色相に近い場合）には赤に分類される。標識判定部１１０は、道路標識領域に含まれる全ての画素の色情報に対して上記セグメンテーション処理を実行する。

図１０は、セグメンテーション実行前と実行後の標識画像の一例を示す図である。同図に示すように、セグメンテーション実行前では、標識が影の影響を受けている（図１０の左側参照）が、セグメンテーション処理を実行することにより、標識の影の影響を取り除くことができる（図１０の右側参照）。

続いて、標識判定部１１０は、セグメンテーション処理を実行した道路標識領域と、道路標識管理テーブル１０７ａ中の標識のテンプレートデータとを基にして、周知技術となるマッチング処理を実行することにより、道路標識領域の種別を判定する。そして、標識判定部１１０は、判定結果を標識候補領域テーブル１０７ｂの標識判定結果に登録すると共に、標識情報（フレーム通番、第１、第２標識候補領域ＩＤ、中心点位置、外接四角形座標値、標識形状、標識判定結果）を標識位置推定部１１１に出力する。

標識位置推定部１１１は、標識情報、車両位置、カメラ方位および標識候補領域テーブル１０７ｂに基づいて、標識の地図上の位置を特定する手段である。図１１は、標識位置推定部１１１の処理を説明するための図である。同図に示すように、標識位置推定部１１１は、三角測量の要領で、ｎフレーム（現フレーム）の画像上の標識の位置、車両位置、カメラ方位を基にして標識の方向を算出する。

また、標識位置推定部１１１は、現フレームの標識に対応する過去のフレーム中の標識を、標識候補領域テーブル１０７ｂの第２標識候補領域ＩＤを基にして判定し、判定した標識の画面上の位置、車両位置（該当フレームを撮影した時点での位置）、カメラ方位（該当フレームを撮影した時点での方位）を基にして、標識の方向を算出する（三角測量の要領で算出する）。

そして、標識位置推定部１１１は、ｎフレームから過去のフレームにおいて算出した各標識の方向の重なりに基づいて（予め記憶されている地図上で、各フレームの車両位置と各フレームで算出された標識位置とを通る直線をそれぞれ生成し）、各標識の方向の重なりが大きくなる位置を標識の位置として判定し、該当するフレーム通番の車両位置、カメラ方位、標識位置の情報を更新する。

次に、本実施例１にかかる標識判定装置１００の処理手順について説明する。図１２は、本実施例１にかかる標識判定装置１００の処理手順を示すフローチャートである。同図に示すように、標識判定装置１００は、位置計測部１０５、方位計測部１０６から位置・方位データを取得し（ステップＳ１０１）、近赤外線カメラ１０２から画像（奇数フィールド画像および偶数フィールド画像）を取得する（ステップＳ１０２）。

続いて、標識判定装置１００は、標識検出処理を実行し（ステップＳ１０３）、検出した標識の領域が種別判定済みの標識の領域か否かを判定する（ステップＳ１０４）。ステップＳ１０４において、標識判定装置１００（標識判定部）は、標識候補領域テーブル１０７ｂを参照し、トラッキング処理により関連付けられた各標識の領域のうち、過去の標識の領域の種別が判定済みである場合に、種別判定済みの標識の領域であると判定する。

種別判定済みの標識の領域である場合には（ステップＳ１０５，Ｙｅｓ）、ステップＳ１０８に移行する。一方、種別判定済みの標識の領域でない場合には（ステップＳ１０５，Ｎｏ）、標識判定装置１００は、カラーカメラ１０３からカラー画像を取得し（ステップＳ１０６）、標識判定処理を実行する（ステップＳ１０７）。

そして、標識判定装置１００は、標識位置推定処理を実行し（ステップＳ１０８）、処理を終了するか否かを判定する（ステップＳ１０９）。処理を終了する場合には（ステップＳ１１０，Ｙｅｓ）、そのまま処理を終了し、処理を終了しない場合には（ステップＳ１１０，Ｎｏ）、ステップＳ１０１に移行する。

次に、図１２のステップＳ１０３に示した標識検出処理について説明する。図１３は、標識検出処理の処理手順を示すフローチャートである。同図に示すように、標識検出部１０９は、近赤外線反射成分を抽出し（ステップＳ２０１）、高輝度領域を抽出し（二値化処理を実行し）（ステップＳ２０２）、連結領域を抽出する（ラベリング処理を実施して、第１標識候補ＩＤを割り当てる）（ステップＳ２０３）。

そして、標識検出部１０９は、未処理の連結領域を取得し（ステップＳ２０４）、領域面積は閾値以上か否かを判定し（ステップＳ２０５）、閾値未満の場合には（ステップＳ２０６，Ｎｏ）、ステップＳ２０４に移行する。

一方、領域面積が閾値以上である場合には（ステップＳ２０６，Ｙｅｓ）、連結領域内の中心および外接四角形を抽出し（ステップＳ２０７）、現フレームの標識の領域と前フレーム中の標識の領域と対応付ける（トラッキング処理を実行する）（ステップＳ２０８）。

そして、標識検出部１０９は、種別判定済みか否かを判定し（ステップＳ２０９）、種別判定済みである場合には（ステップＳ２１０，Ｙｅｓ）、前フレームの標識判定結果を連結領域の標識判定結果とし（ステップＳ２１１）、ステップＳ２１５に移行する。

一方、種別判定済みでない場合には（ステップＳ２１０，Ｎｏ）、標識形状を判定し（ステップＳ２１２）、合致する標識形状が道路標識管理テーブル１０７ａに存在しない場合には（ステップＳ２１３，Ｎｏ）、ステップＳ２１５に移行する。

一方、合致する標識形状が道路標識管理テーブル１０７ａに存在する場合には（ステップＳ２１３，Ｙｅｓ）、連結領域を道路標識領域として確定し（ステップＳ２１４）、未処理の連結領域が存在するか否かを判定し（ステップＳ２１５）、存在する場合には（ステップＳ２１６，Ｙｅｓ）、ステップＳ２０４に移行し、存在しない場合には（ステップＳ２１６，Ｎｏ）、標識検出処理を終了する。

このように、標識検出部１０９が、差分画像から得られる標識形状と、道路標識管理テーブル１０７ａの標識形状とを比較して、標識に該当する領域を絞り込むので、標識判定にかかる精度を向上させることができる。また、トラッキング処理により対応付けられた各標識の領域中に、標識の種別が判定されている標識の領域がすでに存在する場合には、対応する領域の標識検出処理を省略するので、処理負荷を軽減することができる。

次に、図１２のステップＳ１０７に示した標識判定処理について説明する。図１４は、標識判定処理の処理手順を示すフローチャートである。同図に示すように、標識判定部１１０は、未処理の道路標識領域を取得し（ステップＳ３０１）、カラー画像から該当画素（色情報）を取得する（ステップＳ３０２）。

そして、標識判定部１１０は、標識形状から可能性のある標識を絞り込み、絞り込んだ標識に含まれる色集合（色リスト）を特定し（ステップＳ３０３）、画素を色集合中の色に分類し（セグメンテーション処理を実行し）（ステップＳ３０４）、標識を判定する（ステップＳ３０５）。

合致する標識が存在しない場合には（ステップＳ３０６，Ｎｏ）、ステップＳ３０８に移行する。一方、合致する標識が存在する場合には（ステップＳ３０６，Ｙｅｓ）、該当する標識種別を登録する（ステップＳ３０７）。続いて、標識判定部１１０は、未処理の道路標識領域が存在するか否かを判定し（ステップＳ３０８）、存在する場合には（ステップＳ３０９，Ｙｅｓ）、ステップＳ３０１に移行し、存在しない場合には（ステップＳ３０９，Ｎｏ）、標識判定処理を終了する。

このように、標識判定部１１０が、道路標識領域に対してフラグメンテーション処理を実行して標識の種別を判定するので、周辺環境の影響を受けることなく、標識種別の判定を精度よく実施することができる。

次に、図１２のステップＳ１０８に示した標識位置推定処理について説明する。図１５は、標識位置推定処理の処理手順を示すフローチャートである。同図に示すように、標識位置推定部１１１は、未処理の道路標識領域を取得し（ステップＳ４０１）、該当領域のトラッキング結果を標識候補領域テーブル１０７ｂから取得する（ステップＳ４０２）。

そして、標識位置推定部１１１は、過去のフレームの対応領域を含めて、地図上に標識の存在方向をプロットし（ステップＳ４０３）、重なりの大きい分部の座標を標識位置として登録する（ステップＳ４０４）。

標識位置推定部１１１は、未処理の道路標識領域が存在するか否かを判定し（ステップＳ４０５）、未処理の道路標識が存在する場合には（ステップＳ４０６，Ｙｅｓ）、ステップＳ４０１に移行し、未処理の道路標識が存在しない場合には（ステップＳ４０６，Ｎｏ）、標識位置推定処理を終了する。

このように、標識位置推定部１１１は、複数のフレームに基づいて、同一標識に対する方向をフレームごとに求め、重なりの大きい部分を標識の位置として計測するので、複雑な処理を実行することなく、標識の位置を正確に計測することができる。

上述してきたように、本実施例１にかかる標識判定装置１００は、標識検出部１０９が近赤外線照明が照射された時点での画像（偶数フィールド画像）と前記近赤外線照明が照射されていない時点での画像（奇数フィールド画像）との差分を算出することにより差分画像を生成し、標識判定部１１０が差分画像に基づいて、画像中の標識の領域を検出し、標識判定部１１０が、標識検出部１０９が検出した画像中の標識の領域およびカラー画像を基にして標識の種別を判定するので、対向車両のドライバーを眩惑させることなく、道路標識の認識率を向上させて、安定的に道路標識を判定することができる。

また、本実施例１にかかる標識判定装置１００は、標識位置推定部１１１が、画像撮影時の車両の位置と、画像の撮影方向と、標識の画像中における位置に基づいて、標識の地図上の位置を特定するので、複雑な処理を実行することなく、標識の位置を正確に計測することができる。

また、本実施例１にかかる標識判定装置１００は、標識検出部１０９が、画像中の標識の領域に対応するカラー画像の領域から色情報を取得し、この色情報に含まれる色を、予め設定した複数種類の色リストのいずれかにグルーピングし、同一グループの色に属する領域を一連の領域と判定し、判定した一連の領域に基づいて標識の種別を判定するので、外界の照明条件（影、夕日、街灯等）の影響を受けることなく、正確に標識の種別を判定することができる。

また、本実施例１にかかる標識判定装置１００は、標識判定部１１０が、各フレームの画像に含まれる標識の領域をそれぞれ対応付けて記憶し、標識の領域に対応する標識の種別を判定した場合に、判定した標識の領域に対応付けられた他のフレームの標識の領域を同一の標識の種別として判定するので、標識種別判定にかかる処理負荷を軽減させることができる。

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例１以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では実施例２として本発明に含まれる他の実施例を説明する。

（１）標識を識別する画像領域について
例えば、上記の実施例１では、標識判定装置１００は、近赤外線カメラ１０２が撮影する画像の全領域から差分画像を生成し、生成した差分画像から標識の領域を検出していたが本発明はこれに限定されるのもではない。すなわち、道路標識は、一般的に、画像の上方に存在するため、標識判定装置１００は、近赤外線カメラ１０２が撮影する画像のうち、上半分の画像から差分画像を生成し、生成した差分画像から標識の領域を検出しても良い。このように、処理対象となる画像の領域を削減することで、標識判定装置１００の処理負荷を軽減させることができる。

（２）カメラについて
例えば、上記の実施例１では、標識判定装置１００は、カラーカメラ１０３を利用して、標識の種別を判定していた（例えば、図１４参照）が本発明はこれに限定されるものではない。すなわち、カラーカメラの代わりに、モノクロカメラ（近赤外線カメラ１０２）を利用して標識の種別を判定しても良い。例えば、近赤外線カメラ１０２を利用して、モノクロ画像を撮影し、かかるモノクロ画像から標識の種別を判定することで、カラーカメラを搭載する必要性をなくし、標識判定装置１００のコストを削減することができる。

（３）標識判定結果の利用について
上記の実施例１では、標識判定部１１０が標識の種別を判定し、標識判定結果を標識候補領域テーブル１０７ｂに登録していたが、かかる標識判定結果の情報をどのように利用しても構わない。例えば、標識判定装置１００がカーナビ装置（図示略）と連携して、標識判定結果となる標識をモニタ上に表示し、ユーザに標識の種別をリアルタイムに通知することができる。

（４）標識位置の利用について
上記の実施例１では、標識位置推定部１１１が標識位置を特定し、特定した標識位置を標識候補領域テーブル１０７ｂに登録していたが、かかる標識位置の情報をどのように利用しても構わない。例えば、カーナビ装置（図示略）が、かかる標識位置を基にして、自身が有する地図情報の標識位置を補正しても良い。

（５）道路標識領域を判定するその他の方法
近赤外線カメラ１０２とカラーカメラ１０３との光軸が一致していない場合は、視差ずれが生じるので、標識判定装置１００（例えば、標識判定部１１０）は、以下に述べる方法でカラー画像中における道路標識領域を判定する。

まず、標識判定部１１０は、図１６に示すように、差分画像から、標識候補の領域に接する外接四角形領域を切り出す。図１６は、差分画像から外接四角形領域を切り出す場合の図である。図１６において、外接四角形領域の四隅をＡ，Ｂ，Ｃ，Ｄとし、Ａの座標を（ｘ１，ｙ１）、Ｂの座標を（ｘ２，ｙ１）、Ｃの座標を（ｘ２，ｙ２）、Ｄの座標を（ｘ１，ｙ２）とする。

そして、標識判定部１１０は、外接四角形領域の四隅の座標を基準にして、カラー画像から、所定の領域を切り出す。標識判定部１１０が、カラー画像から切出した所定の領域は、図１６に示した外接四角形領域よりも大きめの領域となっている。以下の説明において、カラー画像から切り出した所定の領域を標識包含領域と表記する。図１７は、カラー画像から標識包含領域を切り出す場合の図である。なお、図１６に示した差分画像および図１７に示したカラー画像は、近赤外線カメラ１０２およびカラーカメラ１０３が、ほぼ同一の景色を撮影したものである。

図１７において、標識包含領域の四隅をＡ’、Ｂ’、Ｃ’、Ｄ’とし、Ａ’の座標を（ｘ１−ｐｘ，ｙ１）、Ｂ’の座標を（ｘ２＋ｐｘ，ｙ１−ｐｙ）、Ｃ’の座標を（ｘ２＋ｐｘ，ｙ２＋ｐｙ）、Ｄ’の座標を（ｘ１−ｐｘ，ｙ２＋ｐｙ）とする。

次に、図１７に示した標識包含領域のパラメータｐｘ、ｐｙの決定方法について説明する。標識判定部１１０は、ｐｘを、法令（建設省令：道路標識、区画線及び道路標示に関する命令）で定められている標識の最小サイズを元に決定する。例えば、円形標識の場合には、標識のサイズが３０〜９０ｃｍと定められているので、最小サイズの３０ｃｍを元にして、ｐｘの値を決定する。

三角測量の原理より、標識候補の近赤外線、カラーカメラ画像上の位置のずれは、カメラから標識候補までの距離に反比例する。言い換えると、カメラと標識候補との距離が短いほど各カメラの画像上の標識候補の位置のずれは大きくなる。図１６のように、画像上の標識候補の大きさ（ピクセル数）が分かっている場合、標識の実際の大きさが最小であると仮定すれば距離は最小となる。つまり、左右カメラ（近赤外線カメラ１０２、カラーカメラ１０３）の画像上の標識候補の位置ずれが最大となる。このずれの値をｐｘとする。

近赤外線カメラ１０２、カラーカメラ１０３間の距離をｄ[ｍ]、各カメラのＣＣＤ（Charge Coupled Device）の水平方向のサイズをw_ccd[ｍ]、画像上の標識候補の水平方向の大きさをw_sign[ピクセル]、画像の水平方向の大きさをW_img[ピクセル]、法令で定められている標識の大きさをw_x[ｍ]とするとｐｘは

で表すことが出来る。ここで、２台のカメラ（近赤外線カメラ１０２、カラーカメラ１０３）のＣＣＤのサイズは等しいとしている。

続いて、式（４）の導出過程について説明する。図１８は、被写体（標識候補）とカメラとの関係を示す図であり、図１９は、図１８のＣＣＤで撮影された照明ＯＮ／ＯＦＦ時の画像の差分を示す図である。図１８において、図１８の撮影範囲W_area[ｍ]、標識候補W_x[ｍ]の大きさと、図１９の画像サイズW_img[ピクセル]、標識候補サイズW_sign[ピクセル]は比例するので、式（５）、（６）の関係が成り立つ。

図１８における相似の関係より、式（７）、（８）の関係が成り立つ。

三角測量の原理より、距離Ｌと２台のカメラ（近赤外線カメラ１０２、カラーカメラ１０３）には、式（９）、（１０）の原理が成り立つ。

式（９）、（１０）におけるU_l、U_r[ｍ]は、それぞれ左右（left，right）のカメラにおける標識候補のＣＣＤ上の位置を示す。座標の位置関係については、参考文献（［１］新編画像解析ハンドブック、高木幹夫・下田陽久監修、東京大学出版会、２００４、ｐ１３２７、図６．２．７）参照。

ここでは、u_lを近赤外線カメラ１０２のＣＣＤの標識候補の水平位置とし、u_rをカラーカメラ１０３のＣＣＤの標識候補の水平位置とする。式（１０）を式（８）に代入すると、式（１１）が成り立つ。

単位ピクセルあたりの長さはW_img/W_area［ｍ／ピクセル］なので、ピクセルのずれは、式（１２）で表すことが出来る。

式（１２）は、式（４）と同一である。

ところで、ｐｙにおいて、レンズの歪みが無視できる場合は、近赤外線カメラ１０２の画像と、カラーカメラ１０３の画像との標識候補の水平方向の位置ずれが理論的には無い。そのため、ｐｙ＝０としてよい。しかし、実際には両カメラの光軸を完全に平行にすることは難しいため、大抵の場合若干の位置ずれが生じる。

そこで、ｐｙの値としてｐｘの値を代用する。レンズの歪みが無視できない場合は歪み補正を行い、歪みが無視できる場合と同様にｐｘの値を代用すればよい。上記の手法により、標識判定部１１０は、ｐｘ、ｐｙを算出する。

次に、カラー画像中の道路標識領域推定方法について説明する。図２０は、カラー画像中の道標識領域推定方法を説明するための図である。まず、標識判定部１１０は、差分画像から標識領域を切出し（図２０の（ａ）参照）、切り出した標識領域の輪郭画像を生成する（図２０の（ｂ）参照）。

そして、標識判定部１１０は、式（４）を利用して、ｐｘ，ｐｙを算出した後に、カラー画像から標識包含領域を切出し（図２０の（ｃ）参照）、標識包含領域中の画像データからエッジ画像を生成する（図２０の（ｄ）参照）。標識判定部１１０は、輪郭画像と、エッジ画像とを重ね合わせて、各画素の差の絶対値の和が最小になる場所を道路標識領域として判定する（図２０の（ｅ）参照）。

上述したような手法によって、道路標識の領域を判定することで、近赤外線カメラ１０２とカラーカメラ１０３の光軸が一致していない場合であっても、正確に道路標識の領域を判定でき、結果として、道路標識の認識率を向上させて、安定的に道路標識を判定することができる。

（６）システムの構成など
ところで、本実施例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部あるいは一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

また、図４に示した標識判定装置１００の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部がＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

図２１は、実施例１にかかる標識判定装置１００を構成するコンピュータのハードウェア構成を示す図である。図２１に示すように、このコンピュータ（携帯端末）２００は、入力装置２０１、モニタ２０２、カラーカメラ２０３、近赤外線カメラ２０４、近赤外線照明２０５、ＲＡＭ（Random Access Memory）２０６、ＲＯＭ（Read Only Memory）２０７、記憶媒体からデータを読み取る媒体読取装置２０８、他の装置との間でデータの送受信を行う通信装置２０９、ＣＰＵ（Central Processing Unit）２１０、ＨＤＤ（Hard Disk Drive）２１１をバス２１２で接続して構成される。

ここで、カラーカメラ２０３、近赤外線カメラ２０４、近赤外線照明２０５は、図４に示したカラーカメラ１０３、近赤外線カメラ１０２、近赤外線照明１０１にそれぞれ対応する。

そして、ＨＤＤ２１１には、上記した標識判定装置１００の機能と同様の機能を発揮する標識検出プログラム２１１ｂ、標識判定プログラム２１１ｃ、位置検出プログラム２１１ｄが記憶されている。ＣＰＵ２１０が標識検出プログラム２１１ｂ、標識判定プログラム２１１ｃ、位置検出プログラム２１１ｄを読み出して実行することにより、標識検出プロセス２１０ａ、標識判定プロセス２１０ｂ、位置検出プロセス２１０ｃが起動される。ここで、標識検出プロセス２１０ａは、差分画像生成部１０８、標識検出部１０９に対応し、標識判定プロセス２１０ｂは、標識判定部１１０に対応し、位置検出プロセス２１０ｃは、標識位置推定部１１１に対応する。

また、ＨＤＤ２１１は、標識情報格納部１０７に記憶される情報に対応する各種データ２１１ａを記憶する。ＣＰＵ２１０は、ＨＤＤ２１１に格納された各種データ２１１ａを読み出して、ＲＡＭ２０６に格納し、ＲＡＭ２０６に格納された各種データ２０６ａを用いて、標識の種別を判定する。

ところで、図２１に示した標識検出プログラム２１１ｂ、標識判定プログラム２１１ｃ、位置検出プログラム２１１ｄは、必ずしも最初からＨＤＤ２１１に記憶させておく必要はない。たとえば、コンピュータに挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」、または、コンピュータの内外に備えられるハードディスクドライブ（ＨＤＤ）などの「固定用の物理媒体」、さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータに接続される「他のコンピュータ（またはサーバ）」などに標識検出プログラム２１１ｂ、標識判定プログラム２１１ｃ、位置検出プログラム２１１ｄを記憶しておき、コンピュータがこれらから標識検出プログラム２１１ｂ、標識判定プログラム２１１ｃ、位置検出プログラム２１１ｄを読み出して実行するようにしてもよい。

上記の実施例１，２を含む実施形態に関し、以下の付記を開示する。

（付記１）標識を判定する標識判定装置であって、
近赤外線照明が照射された時点での画像と前記近赤外線照明が照射されていない時点での画像との差分を算出することにより差分画像を生成する差分画像生成手段と、
前記差分画像生成手段により生成された差分画像に基づき、画像中の標識の領域を検出する領域検出手段と、
前記領域検出手段が検出した画像中の標識の領域と、カラーまたはモノクロの画像とを基にして標識の種別を判定する標識判定手段と、
を備えたことを特徴とする標識判定装置。

（付記２）前記カラーまたはモノクロの画像を撮影するカメラを搭載した移動体の位置を検出する位置検出手段と、当該位置検出手段により検出された、前記画像撮影時の移動体の位置と、前記画像の撮影方向と、前記標識判定手段により判定された標識の前記画像中における位置に基づいて、前記標識の地図上の位置を特定する標識位置特定手段とを更に備えたことを特徴とする付記１に記載の標識判定装置。

（付記３）前記標識判定手段は、前記領域検出手段が検出した画像中の標識の領域に対応する前記カラーまたはモノクロの画像の領域から色情報を取得し、当該色情報に含まれる色を、予め設定した複数種類の色分類のいずれかにグルーピングし、同一グループの色に属する領域を一連の領域と判定し、判定した一連の領域の形状に基づいて標識の種別を判定することを特徴とする付記１または２に記載の標識判定装置。

（付記４）前記標識判定手段は、連続して撮影された画像を取得した場合に、各画像に含まれる標識の領域をそれぞれ対応付けて記憶し、前記標識の領域に対応する標識の種別を判定した場合に、当該標識の領域に対応付けられた他の画像中の標識の領域を同一の標識の種別として判定することを特徴とする付記１、２または３に記載の標識判定装置。

（付記５）標識を判定する標識判定装置の標識判定方法であって、
前記標識判定装置は、近赤外線を照射する近赤外線照明とカラーまたはモノクロの画像を撮影するカメラを備え、
前記近赤外線照明が照射された時点での画像と前記近赤外線照明が照射されていない時点での画像とを記憶装置に記憶する記憶ステップと、
前記近赤外線照明が照射された時点での画像と前記近赤外線照明が照射されていない時点での画像とを前記記憶装置から取得し、取得した画像の差分を算出することにより差分画像を生成する差分画像生成ステップと、
前記差分画像生成ステップにより生成された差分画像に基づき、画像中の標識の領域を検出する領域検出ステップと、
前記領域検出ステップにより検出された画像中の標識の領域と、前記カメラにより撮影されたカラーまたはモノクロの画像とを基にして標識の種別を判定する標識判定ステップと、
を含んだことを特徴とする標識判定方法。

（付記６）前記カメラを搭載した移動体の位置を検出する位置検出ステップと、当該位置検出ステップにより検出された、前記画像撮影時の移動体の位置と、前記画像の撮影方向と、前記標識判定ステップにより判定された標識の前記画像中における位置に基づいて、前記標識の地図上の位置を特定する標識位置特定ステップとを更に含んだことを特徴とする付記５に記載の標識判定方法。

（付記７）前記標識判定ステップは、前記領域検出ステップが検出した画像中の標識の領域に対応する前記カラーまたはモノクロの画像の領域から色情報を取得し、当該色情報に含まれる色を、予め設定した複数種類の色分類のいずれかにグルーピングし、同一グループの色に属する領域を一連の領域と判定し、判定した一連の領域の形状に基づいて標識の種別を判定することを特徴とする付記５または６に記載の標識判定方法。

（付記８）前記標識判定ステップは、連続して撮影された画像を取得した場合に、各画像に含まれる標識の領域をそれぞれ対応付けて記憶し、前記標識の領域に対応する標識の種別を判定した場合に、当該標識の領域に対応付けられた他の画像中の標識の領域を同一の標識の種別として判定することを特徴とする付記５、６または７に記載の標識判定方法。

（付記９）コンピュータに、
近赤外線照明が照射された時点での画像と前記近赤外線照明が照射されていない時点での画像とを記憶装置に記憶する記憶手順と、
近赤外線照明が照射された時点での画像と前記近赤外線照明が照射されていない時点での画像とを前記記憶装置から取得し、取得した画像の差分を算出することにより差分画像を生成する差分画像生成手順と、
前記差分画像生成手順により生成された差分画像に基づき、画像中の標識の領域を検出する領域検出手順と、
前記領域検出手順が検出した画像中の標識の領域と、カラーまたはモノクロの画像とを基にして標識の種別を判定する標識判定手順と、
を実行させるための標識判定プログラム。

（付記１０）前記カラーまたはモノクロの画像を撮影するカメラを搭載した移動体の位置を検出する位置検出手順と、当該位置検出手順により検出された、前記画像撮影時の移動体の位置と、前記画像の撮影方向と、前記標識判定手順により判定された標識の前記画像中における位置に基づいて、前記標識の地図上の位置を特定する標識位置特定手順とを更にコンピュータに実行させることを特徴とする付記９に記載の標識判定プログラム。

（付記１１）前記標識判定手順は、前記領域検出手順が検出した画像中の標識の領域に対応する前記カラーまたはモノクロの画像の領域から色情報を取得し、当該色情報に含まれる色を、予め設定した複数種類の色分類のいずれかにグルーピングし、同一グループの色に属する領域を一連の領域と判定し、判定した一連の領域の形状に基づいて標識の種別を判定することを特徴とする付記９または１０に記載の標識判定プログラム。

（付記１２）前記標識判定手順は、連続して撮影された画像を取得した場合に、各画像に含まれる標識の領域をそれぞれ対応付けて記憶し、前記標識の領域に対応する標識の種別を判定した場合に、当該標識の領域に対応付けられた他の画像中の標識の領域を同一の標識の種別として判定することを特徴とする付記９、１０または１１に記載の標識判定プログラム。

（付記１３）標識を判定する標識判定装置であって、
前記標識判定装置は、車両に搭載された近赤外線を照射する近赤外線照明およびカラーまたはモノクロの画像を撮影するカメラに接続され、
前記近赤外線照明が照射された時点での画像と前記近赤外線照明が照射されていない時点での画像との差分を算出することにより差分画像を生成する差分画像生成手段と、
前記差分画像生成手段により生成された差分画像に基づき、画像中の標識の領域を検出する領域検出手段と、
前記領域検出手段が検出した画像中の標識の領域と、前記カメラにより撮影されたカラーまたはモノクロの画像とを基にして標識の種別を判定する標識判定手段と、
を備えたことを特徴とする標識判定装置。

（付記１４）前記標識判定装置は、車両の位置を検出する位置検出装置に接続され、当該位置検出装置により検出された、前記画像撮影時の移動体の位置と、前記画像の撮影方向と、前記標識判定手段により判定された標識の前記画像中における位置に基づいて、前記標識の地図上の位置を特定する標識位置特定手段とを更に備えたことを特徴とする付記１３に記載の標識判定装置。

以上のように、本発明にかかる標識判定装置および標識判定方法は、対象物を検出する検出装置等に有用であり、特に、外界の影響を受けずに、対象物の認識率を向上させる必要がある場合に適している。

本実施例１にかかる標識判定装置の概要および特徴を説明するための図である。 近赤外線照明の照射タイミングと近赤外線カメラの露光タイミングとの関係を示す図である。 道路標識の形状と道路標識の種別との関係を示す図である。 本実施例１にかかる標識判定装置の構成を示す機能ブロック図である。 道路標識管理テーブルの一例を示す図である。 道路標識種別「進入禁止標識」のテンプレートデータのイメージ図である。 標識候補領域テーブルの一例を示す図である。 差分画像生成部の処理を説明するための図である。 差分画像の道路標識領域とカラー画像の道路標識領域との関係を示す図である。 セグメンテーション実行前と実行後の標識画像の一例を示す図である。 標識位置推定部の処理を説明するための図である。 本実施例１にかかる標識判定装置の処理手順を示すフローチャートである。 標識検出処理の処理手順を示すフローチャートである。 標識判定処理の処理手順を示すフローチャートである。 標識位置推定処理の処理手順を示すフローチャートである。 差分画像から外接四角形領域を切り出す場合の図である。 カラー画像から標識包含領域を切り出す場合の図である。 被写体（標識候補）とカメラとの関係を示す図である。 図１８のＣＣＤで撮影された照明ＯＮ／ＯＦＦ時の画像の差分を示す図である。 カラー画像中の道路標識領域推定方法を説明するための図である。 実施例１にかかる標識判定装置を構成するコンピュータのハードウェア構成を示す図である。

符号の説明

１０ 車両
１００ 標識判定装置
１０１ 近赤外線照明
１０２ 近赤外線カメラ
１０３ カラーカメラ
１０４ 同期信号生成部
１０５ 位置計測部
１０６ 方位計測部
１０７ 標識情報格納部
１０７ａ 道路標識管理テーブル
１０７ｂ 標識候補領域テーブル
１０８ 差分画像生成部
１０９ 標識検出部
１１０ 標識判定部
１１１ 標識位置推定部
２００ コンピュータ
２０１ 入力装置
２０２ モニタ
２０３ カラーカメラ
２０４ 近赤外線カメラ
２０５ 近赤外線照明
２０６ ＲＡＭ
２０６ａ，２１１ａ 各種データ
２０７ ＲＯＭ
２０８ 媒体読取装置
２０９ 通信装置
２１０ ＣＰＵ
２１０ｂ 標識判定プロセス
２１０ｃ 位置検出プロセス
２１１ ＨＤＤ
２１１ｂ 標識検出プログラム
２１１ｃ 標識判定プログラム
２１１ｄ 位置検出プログラム
２１２ バス

Claims (5)

1. 標識を判定する標識判定装置であって、
   近赤外線照明が照射された時点での画像と前記近赤外線照明が照射されていない時点での画像との差分を算出することにより差分画像を生成する差分画像生成手段と、
   前記差分画像生成手段により生成された差分画像に基づき、画像中の標識の領域を検出する領域検出手段と、
   前記領域検出手段が検出した画像中の標識の領域と、カラーまたはモノクロの画像とを基にして標識の種別を判定する標識判定手段と、
   を備えたことを特徴とする標識判定装置。
2. 前記カラーまたはモノクロの画像を撮影するカメラを搭載した移動体の位置を検出する位置検出手段と、当該位置検出手段により検出された、前記画像撮影時の移動体の位置と、前記画像の撮影方向と、前記標識判定手段により判定された標識の前記画像中における位置に基づいて、前記標識の地図上の位置を特定する標識位置特定手段とを更に備えたことを特徴とする請求項１に記載の標識判定装置。
3. 前記標識判定手段は、前記領域検出手段が検出した画像中の標識の領域に対応する前記カラーまたはモノクロの画像の領域から色情報を取得し、当該色情報に含まれる色を、予め設定した複数種類の色分類のいずれかにグルーピングし、同一グループの色に属する領域を一連の領域と判定し、判定した一連の領域の形状に基づいて標識の種別を判定することを特徴とする請求項１または２に記載の標識判定装置。
4. 前記標識判定手段は、連続して撮影された画像を取得した場合に、各画像に含まれる標識の領域をそれぞれ対応付けて記憶し、前記標識の領域に対応する標識の種別を判定した場合に、当該標識の領域に対応付けられた他の画像中の標識の領域を同一の標識の種別として判定することを特徴とする請求項１、２または３に記載の標識判定装置。
5. 標識を判定する標識判定装置の標識判定方法であって、
   前記標識判定装置は、近赤外線を照射する近赤外線照明とカラーまたはモノクロの画像を撮影するカメラを備え、
   前記近赤外線照明が照射された時点での画像と前記近赤外線照明が照射されていない時点での画像とを記憶装置に記憶する記憶ステップと、
   前記近赤外線照明が照射された時点での画像と前記近赤外線照明が照射されていない時点での画像とを前記記憶装置から取得し、取得した画像の差分を算出することにより差分画像を生成する差分画像生成ステップと、
   前記差分画像生成ステップにより生成された差分画像に基づき、画像中の標識の領域を検出する領域検出ステップと、
   前記領域検出ステップにより検出された画像中の標識の領域と、前記カメラにより撮影されたカラーまたはモノクロの画像とを基にして標識の種別を判定する標識判定ステップと、
   を含んだことを特徴とする標識判定方法。

Images