JP2013529348A - 種々の交通標識を検出及び認識する照明不変且つロバストな装置及び方法 - Google Patents

種々の交通標識を検出及び認識する照明不変且つロバストな装置及び方法 Download PDF

Info

Publication number
JP2013529348A
JP2013529348A JP2013513819A JP2013513819A JP2013529348A JP 2013529348 A JP2013529348 A JP 2013529348A JP 2013513819 A JP2013513819 A JP 2013513819A JP 2013513819 A JP2013513819 A JP 2013513819A JP 2013529348 A JP2013529348 A JP 2013529348A
Authority
JP
Japan
Prior art keywords
shape
detecting
traffic signs
method
traffic sign
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013513819A
Other languages
English (en)
Inventor
シー アール マヌージュ
プルゴル プラタップ
アグセバジル サチン
シンハ アニルッダ
Original Assignee
タタ コンサルタンシー サービシズ リミテッドTATA Consultancy Services Limited
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
Priority to IN1761MU2010 priority Critical
Priority to IN1761/MUM/2010 priority
Application filed by タタ コンサルタンシー サービシズ リミテッドTATA Consultancy Services Limited filed Critical タタ コンサルタンシー サービシズ リミテッドTATA Consultancy Services Limited
Priority to PCT/IN2011/000391 priority patent/WO2011154978A2/en
Publication of JP2013529348A publication Critical patent/JP2013529348A/ja
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=45098481&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2013529348(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00496Recognising patterns in signals and combinations thereof
    • G06K9/00536Classification; Matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00624Recognising scenes, i.e. recognition of a whole field of perception; recognising scene-specific objects
    • G06K9/00791Recognising scenes perceived from the perspective of a land vehicle, e.g. recognising lanes, obstacles or traffic signs on road scenes
    • G06K9/00818Recognising traffic signs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/235Circuitry or methods for compensating for variation in the brightness of the object, e.g. based on electric image signals provided by an electronic image sensor
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration

Abstract

本願は、種々の交通標識を検出及び認識するロバストで照明不変の装置及び方法を提供する。デジタルカラー暗視カメラが取り込んだ画像を使用して交通標識を検出及び認識するロバストな方法は、照明不変であり、以下のプロセッサ実施ステップ:RGB画像をHSVカラーモデルに変換し、続いて色量子化を使用して所望の色成分を抽出するステップと、HSVカラーモデルにおけるノイズ成分を、物体対称形状特性に基づきフィルタリングするステップと、ノイズ成分除去画像において物体のエッジを検出し、続いて別個の物体を検出するステップと、判定した別個の物体の形状に基づき交通標識の形状を分類するステップと、交通標識の分類形状をテンプレートマッチングにより認識するステップとを含むことを特徴とする。さらに、本方法は、交通標識の認識データを使用して運転者に警告する措置を提供する。
【選択図】図1

Description

本願は、包括的には交通標識の検出及び認識に関し、より詳細には、種々の交通標識を検出及び認識する照明不変且つロバストな装置及び方法に関する。

交通安全機能及び運転者補助機能は、自動車設計及び製造業界にとって非常に重要である。歩行者を巻き込む交通事故は、昼間よりも夜間の方がはるかに多発する。世界的に、道路交通事故による毎年の死者数は約120万人と見積もられ、一方で負傷者数は5,000万人にも上ると見積もられる。したがって、世界5大都市を合わせた人口が、このような望ましくない回避できる交通事故の犠牲になっている。このような事故の死者の多くは歩行者である。このような交通事故に関与する重要な要因の1つは、運転者の視界の狭さと関係した運転者の無知である。多くの場合、運転者に警告できたはずの、そしてその後の望ましくない一連の事象を避けられたはずの交通標識及び関連物体の検出及び認識が困難となる。したがって、改善された交通信号検出システム、認識システム、及びアラームシステムを車両が備えていれば、歩行者の死亡又は重傷が少なくなるであろう。

自動車に交通標識を検出及び認識するシステム、装置、デバイス、又は方法がないことが、長年の問題である。

したがって、下記の交通標識検出及び認識における既存の欠点(lacunae)のいくつかを緊急に解決する必要がある。
・昼間及び夜間条件に関係なく種々の交通標識を検出すること(照明不変)、
・種々の交通標識をロバストに検出すること、
・カメラが取り込んだ画像におけるノイズに起因した歪みに影響されない種々の交通標識の検出、
・交通標識の製造時の問題及び異なる視距離に起因した形状歪みに影響されない種々の交通標識の検出、又は
・検出した交通標識をロバストに認識すること、
・交通標識及び他の関連物体を認識したら運転者警告戦略を提供すること、及び
・既存の従来システムへの解決手段のインストールが単純で簡単であること。

既知の交通標識の検出及び認識を扱う発明のいくつかは、以下の通りである。これらのいずれも、上述の欠点に対処していない。

Gideon Steinにより出願された特許文献1は、車両に搭載したシステムを使用した方法の提供に関して開示している。このシステムは、リアビューカメラ及びリアビューカメラに取り付けたプロセッサを含む。運転者が車両をバックギアに入れ、車両が静止したままである間に、車両背後のすぐ近くから画像フレームが取り込まれる。車両背後のすぐ近くがリアビューカメラの視野内にある。画像フレームが処理されることにより、車両背後のすぐ近くにある場合に車両の動きを妨げるであろう物体が検出される。

Zvi Haim Levにより出願された特許文献2は、撮像能力を有するセルラー/無線デバイスを使用した確実なコンテンツアクセスのシステム及び方法であって、基準を識別及び使用して当該基準に関する情報、サービス、又はコンテンツにアクセスするために、印刷又は表示媒体の一部を使用する方法において、基準の画像を撮像デバイスで取り込むステップと、通信ネットワークを介して処理センターへ画像を送るステップと、画像内の関連フレームを識別して汎用の強調操作を行うよう前処理するステップと、画像内で最も関連のあるフレーム及びフレーム特性を検出するステップと、幾何学的補正、照明補正、及び焦点補正を関連フレームに施すステップと、色、アスペクト比、及びフレーム色を使用して粗認識を行うことにより、関連フレーム内の基準の可能な識別数を制限するステップと、リシーリング、ヒストグラムイコライゼーション、ブロックラベリング、エッジ操作、及び正規化相互相関といった特別な技法を使用して、画像内の基準を識別するステップとを含むシステム及び方法に関して開示している。

したがって、当該技術分野の上述の背景に鑑みて、インストールが単純且つ簡単であり低コストで高確度を提供する、運転者警告戦略を用いて交通標識及び他の関連物体の種々の形状を検出及び認識する装置、デバイス、システム、及び方法が必要であることが明らかである。

米国出願公開第2008/0266396号明細書 米国特許第7,575,171号明細書

主な目的は、種々の交通標識を検出及び認識する照明不変且つロバストな装置及び方法を提供することである。

別の重要な目的は、既存の従来システムへのインストール及び組み込みが単純且つ簡単な、種々の交通標識を検出及び認識する照明不変且つロバストな装置を提供することである。

さらに別の目的は、種々の交通標識及び他の関連物体の三角形、逆三角形、矩形、円形、及び八角形等の形状を検出する体系的方法を提供することである。

さらに別の目的は、カメラが取り込んだ画像におけるノイズに起因した歪みに影響されない種々の交通標識を検出する装置及び方法を提供することである。

別の目的は、交通標識の製造時の問題及び異なる視距離に起因した形状歪みに影響されない種々の交通標識を検出する装置及び方法を提供することである。

さらに別の目的は、検出した交通標識を認識する体系的方法を提供することである。

さらに別の目的は、交通標識及び他の関連物体を認識したら運転者警告戦略を提供することである。

本発明の装置、方法、及びハードウェアの実施可能性を説明する前に、本開示において明示的に説明しない複数の可能な実施形態があり得るので、記載した特定の装置及び方法に本願を限定しないことを理解されたい。説明中で使用する用語は、特定の変形形態又は実施形態のみを説明するためのものであり、添付の特許請求の範囲によってのみ限定される本願の範囲を限定する意図はないことも理解されたい。

本願は、運転者警告戦略を用いて種々の交通標識を検出及び認識する照明不変且つロバストな装置及び方法を提供する。

本願は、交通標識を検出及び認識するロバストな装置であって、照明不変であり、画像の取り込み用に車両に配置したデジタルカラー暗視カメラを備え、当該デジタルカラー暗視カメラを、車両のダッシュボード上、前、内部、又は上部に配置することができることを特徴とする、ロバストな装置を具現する。好適な実施形態では、上記カラー暗視カメラを車両の前に配置し、車両は、自動交通システム(automatic transportation system)における複数の車両を含み、特に二輪車両、三輪車両、及び四輪車両等を含む。プロセッサが、交通標識を検出及び認識するためにリアルタイムで取り込み画像を解析する。当該プロセッサは、コンピュータ、ラップトップ、PDA、マイクロプロセッサ、マイクロコントローラ、及び任意の他のコンピューティングデバイスの群から選択することができる。好適な実施形態では、上記プロセッサはマイクロプロセッサである。好適な実施形態では、マイクロプロセッサをデジタルカラー暗視カメラの本体内に埋め込む。

一態様では、デジタルカラー暗視カメラが取り込んだ画像を使用して交通標識を検出及び認識するロバストな方法は、照明不変であり、種々のプロセッサ実施ステップを含むことを特徴とする。

別の態様では、最初に、少なくとも1つの交通標識に関連する複数のリアルタイム画像をデジタルカラー暗視カメラに使用により取得し、当該デジタルカラー暗視カメラは、任意の既知のデジタルカラー暗視カメラであり得る。

リアルタイム画像の複数のウィンドウフレームを取得したら、プロセッサの使用により、画像をHSVカラーモデルに変換し、続いて色量子化を使用して所望の色成分を抽出し、上記画像は、好適な一実施形態によればRGB画像である。

一態様では、RGB画像をHSVカラーモデルに変換したら、プロセッサにより、HSVカラーモデルにおけるノイズ成分を物体対称形状特性に基づきフィルタリングする。

別の態様では、プロセッサによりノイズ成分除去画像において物体のエッジを検出し、続いて別個の物体を検出する。

別の態様では、別個の物体を検出したら、判定した別個の物体の形状に基づきプロセッサにより交通標識の形状を分類する。

別の態様では、交通標識の形状を分類したら、プロセッサによりテンプレートマッチングを使用して交通標識の分類形状を認識する。

さらに別の態様では、交通標識の形状の認識データの使用を特徴とする運転者に警告する、警報手段を提供し、警報手段は、限定はしないが、アラーム、音声ベースの警告、ディスプレイ付きインジケータを含む、聴覚及び視聴覚デバイスであり得る。

上記の概要及び下記の好適な実施形態の詳細な説明は、添付図面と共に読めばより良く理解される。図面に例示的な実施形態を示す。用途は、図面に開示した特定の装置、システム、デバイス、及び方法に限定されない。

交通標識及び他の関連物体を検出及び認識する照明不変且つロバストな方法を示す。 交通標識認識の階層的戦略を示す。 楕円と、楕円の第1楕円点、第2楕円点、第3楕円点、及び中心点の座標とのグラフィック表現を示す。

特徴を示すいくつかの実施形態を、次に詳細に説明する。「備える」、「有する」、「収容する」、及び「含む」という字句、並びにそれらの他の形態は、これら字句のいずれか1つに伴う1つ又は複数の事項が当該事項を網羅的に列挙したものを意味するのではなく、列挙した事項のみに限定することを意味するものでもないという点で、同等の意味を有すると共に非限定的であることが意図される。本明細書及び添付の特許請求の範囲で使用する場合、単数形の不定冠詞及び定冠詞("a," "an," and "the")は、別段の明確な指示がない限り、複数の指示対象を含むことにも留意しなければならない。本明細書に記載のものと同様又は等価な任意の方法及びシステムを実施形態の実施又は試験に使用することができるが、好適な方法及びシステムを次に説明する。開示した実施形態は例示にすぎない。

本願は、運転者警告戦略を用いて種々の交通標識を検出及び認識する照明不変且つロバストな装置及び方法を提供する。

本願は、交通標識を検出及び認識するロバストな装置であって、照明不変であり、画像の取り込み用に車両に配置したデジタルカラー暗視カメラを備え、当該デジタルカラー暗視カメラを、車両のダッシュボード上、前、内部、又は上部に配置することができることを特徴とする、ロバストな装置を具現する。好適な実施形態では、上記カラー暗視カメラを車両の前に配置し、車両は、自動交通システムにおける複数の車両を含み、特に二輪車両、三輪車両、及び四輪車両等を含む。プロセッサが、交通標識を検出及び認識するためにリアルタイムで取り込み画像を解析する。当該プロセッサは、コンピュータ、ラップトップ、PDA、マイクロプロセッサ、マイクロコントローラ、及び任意の他のコンピューティングデバイスの群から選択することができる。好適な実施形態では、上記プロセッサはマイクロプロセッサである。好適な実施形態では、マイクロプロセッサをデジタルカラー暗視カメラの本体内に埋め込む。

図1は、交通標識及び他の関連物体を検出及び認識する照明不変且つロバストな方法を示す。一実施形態では、デジタルカラー暗視カメラが取り込んだ画像を使用して交通標識を検出及び認識するロバストな方法は、照明不変であり、種々のプロセッサ実施ステップを含むことを特徴とする。

上記ロバストな方法は、種々のプロセッサ実施ステップを含む。方法案の第1ステップにおいて、デジタルカラー暗視カメラが、車両の前にある少なくとも1つの交通標識に関連する複数のリアルタイム画像を連続的に取り込む(110)。一実施形態によれば、プロセッサは、デジタルカラー暗視カメラにおいてカラーセグメンテーションアルゴリズムを使用してRGB画像を撮像するコードを実行する。方法案の第2ステップにおいて、プロセッサは、上記RGB画像をHSV色空間に変換する(120)コードを実行するが、HSV色空間が選択されるのは、色相が乗算/スケール不変、加算/シフト不変、且つ彩度変化の下で不変であるので、光条件の変動に対して不変だからである。色相は、照明が白色である場合に物体に対する影及びハイライトに影響されない。

別の実施形態によれば、プロセッサは、カラーセグメンテーションアルゴリズムを使用して画像の各画素をRGBからHSV色空間に変換し、色、強度、及び不純物の個別情報を有するようにするコードを実行する。プロセッサは、次式を使用して入力画像内の各画素の赤色値、緑色値、及び青色値をHSV色値に変化する。

式中、RGBであるr、g、bは、画素の色値(0−255)であり、m及びnは、r、g、bの最大値及び最小値であり、h、s、vは、それぞれ画素の色相(0−360)、彩度(0−1.0)、及び値(0−1.0)を示す。

方法案の第3ステップにおいて、RGB画像をHSV色空間に変換したら、プロセッサは、画像データ量を減らすために色量子化を使用して所望の色成分を抽出すると共に(130)、8色平面のそれぞれを2値画像として処理することにより交通標識検出の処理を簡略化し、このとき色、強度、及び不純物の範囲は非常に大きい。

好適な実施形態では、色量子化方式は以下のように要約される。h、s、vをHSVドメイン色値とし、s及びvを[0,1]間で正規化する。これは、特定のr、g、b値及びインデックスが量子化ビンインデックスであるからである。

ここで、純粋な黒色領域は、v∈[0,0.2]で見付けることができ、インデックス=0である。
灰色領域は、s∈[0,0.2]、v∈[0.2,0.8]で見付けることができ、
である。
白色領域は、s∈[0,0.2]、v∈[0.8,1.0]で見付けることができ、インデックス=7である。
色領域は、h値毎にs∈[0.2,1.0]及びv∈[0.2,1.0]で見付かる。
index、Sindex、及びVindexをh、s、vの値毎の量子化インデックスとする。

次のステップにおいて、プロセッサは、次式を使用してヒストグラムビンインデックスを計算するコードを実行する。

方法案の第4ステップにおいて、プロセッサは、全ての交通標識が規則的な形状でありエッジにおいて対称性を示す物体対称形状特性に基づき、HSVカラーモデルにおけるノイズ成分をフィルタリングするコードを実行する。画像内のノイズを識別してそれをフィルタリングするために(140)、プロセッサは以下のステップを実行する。

第1ステップにおいて、次式を使用して物体の重心Cx及びCy(関心領域すなわちROI)をトラバース計算する。

次のステップにおいて、各ROIに沿って左から水平に横行し、第1ストロークで現れる要素のみを考慮する。「x」及び「y」が第1ショットで現れる画素成分の座標を表すものとし、「left_Count」が第1ストロークで現れる要素の数とする。

次のステップにおいて、第1ショットで現れる重心から左側要素までの距離を計算する。この距離を左距離「left_distance」と称する。

次のステップにおいて、第1ストロークで現れる重心から右側要素までの距離を計算する。この距離を右距離「right_distance」と称する。

定形物体の場合、
和(left_distance/right_distance)≒最大(left_count,right_count)
であることが観察された。

次のステップにおいて、プロセッサは、上記条件に反する物体をノイズとみなしてそれ以上処理することを考慮しない場合、この条件を使用してノイズを識別及びフィルタリングするコードを実行する。

方法案の第5ステップにおいて、プロセッサは、キャニーエッジ検出アルゴリズムを使用してノイズ成分除去画像における物体のエッジを抽出する(150)コードを実行する。

このステップは、物体の境界を識別するのに役立ち、物体の境界はさらに、画像内の異なる物体間を正確に区別するのに必要となる。キャニーエッジ検出は、プロセッサが実行する以下のステップを使用して、検出基準に最適なエッジ検出器の獲得、ローカリゼーション、及び複数応答の単一エッジへの最小化の原理を扱う。

第1ステップにおいて、プロセッサは、強度勾配を求めるコードを実行し、画像内の各画素における強度勾配を、Sobelオペレータの適用により求める。第1ステップは、以下のカーネル方程式を使用してX方向及びY方向の勾配を近似することである。

エッジ強度としても知られる勾配の大きさは、ユークリッド距離測定により求める。

式中、G及びGは、x方向及びy方向それぞれの勾配である。エッジの方向は次式により求める。

次のステップにおいて、プロセッサは、以下のステップを使用してぼけ画像をエッジの鮮明な画像に変換するコードを実行する。
1.勾配方向を最も近い45°に回転させ、8連結性を使用する。
2.現在のピクセルのエッジ強度を正及び負の勾配方向の画素のエッジ強度と比較する。すなわち、勾配方向が北(θ=90°)の場合、南北の画素と比較する。
3.現在の画素のエッジ強度が大きい場合、エッジ強度の値を保存する。そうでない場合は値を除去する。

次のステップにおいて、プロセッサは、2重閾値処理のためにキャニーエッジ検出アルゴリズムを使用するコードを実行する。高閾値よりも強いエッジ画素を強とし、低閾値よりも弱いエッジ画素を弱とする。

次のステップにおいて、プロセッサは、ヒステリシスを使用してエッジを検出するコードを実行し、強エッジは最終エッジ画像に含まれるが、弱エッジは強(atrog)エッジ画素に連結されたとき且つそのときに限り含まれる。

方法案の第6ステップにおいて、プロセッサは、連結成分ラベリングアルゴリズム(160)を使用して画像内の別個の物体を検出するコードを実行する。連結成分ラベリングを行い、画像内の連結領域を検出する。これは2つのステップ手法を使用して求める。
・画像を画素毎に左から右及び上から下へ走査する。Pは、走査プロセスにおける現在の画素であり、4−nbrは、PのN、NW、NE、W方向の4つの隣接画素である。Pの値及びその4−nbrの値に応じて、ラベルをPに割り当てる。pが0である場合、次の走査位置へ進む。Pが1であり、4−nbrの全値が0である場合、新たなラベルをPに割り当てる。4−nbrの1つの値のみが0でない場合、その値をPに割り当てる。4−nbrの2つ以上の値が0でない場合、ラベルの1つをPに割り当て、4−nbrのラベルを等価であるとする。
・物体のサイズを、連結成分ラベリングした物体のX最小値、X最大値、Y最小値、及びY最大値を知ることにより求める。
・最後に、閾値未満の値を有する物体を削除する。

方法案の第7ステップにおいて、プロセッサは、判定した別個の物体の形状に基づき交通標識の種々の形状を分類する(170)コードを実行する。閾値レベル未満である物体全部を削除した後に、連結成分ラベリングにより物体を見付ける。これらの物体は、三角形、逆三角形、矩形、八角形、円形、楕円形、又は任意の形状であり得る。

三角形、逆三角形、矩形、又は八角形の検出
プロセッサは、以下のステップを実行して三角形、逆三角形、矩形、又は八角形を分類する。第1ステップにおいて、プロセッサは、確率的ハフ変換を使用して形状における線を検出するコードを実行する。第2ステップにおいて、プロセッサは、線マージアルゴリズムを使用して、実際に同じ線に属する線分を判定してそれらをマージするコードを実行する。そして最終ステップにおいて、プロセッサは、交通標識のこれら異なる形状を区別するための線マージアルゴリズムの端点により画定される内角の和を計算するコードを実行し、これにより交通標識の三角形、逆三角形、矩形、又は八角形が正確に検出される。

例示的な一実施形態によれば、三角形、逆三角形、矩形、又は八角形の分類は、以下のプロセッサ実施ステップを含む。三角形、逆三角形、矩形、又は八角形としての物体の形状を求めるために、確率的ハフ変換(Progressive Probabilistic Hough transform)を使用する。ハフ変換は、物体における線の数を求めるのに使用される。しかしながら、ハフ変換は、任意形状の物体における有限数の線を求めるのに最速のものではない。したがって、確率的ハフ変換と称するハフの別の変形を使用して、物体における有限線数を求める。確率的ハフ変換は以下のステップを含む。
1. 入力エッジ画像(MIG1)のコピー(IMG2)を作成する。
2. IMG2が空の場合は終了する。
3. IMG2から無作為に選択した画素でアキュムレータを更新する。
4. 画素をIMG2から除去する。
5. 変更したアキュムレータ(BINX)における最大値を有するビンが閾値よりも小さい場合、(1)へ進む。
6. BINXにより指定されたコリド(corridor)に沿ってIMG1内を探索し、所与の閾値を超えない連続的な又は隙間を示す画素の最長セグメントを探し出す。
7. セグメント内の画素をIMG2から除去する。
8. BIMXをクリアする。
9. 検出した線分が所与の最短長よりも長い場合、それを出力リストに追加する。
10. (2)へ進む。

確率的ハフ変換は、形状における線の数を返す。線マージアルゴリズムをプロセッサにより実施して、実際に同じ線に属する線分を見付けてそれらをマージする。このアルゴリズムは、以下のプロセッサ実施ステップを含む。
1. 線分を「i」及び「j」とする。「a」及び「b」は線分「i」の座標であり、「c」及び「d」は線分「j」の座標である。
2. X及びYをマージした線の重心とする。

3. マージした線θの向きは、セグメントi(θ)及びセグメンテーションj(θ)の向きの加重和である。マージした線θの向きは、以下の用に与えられる。|θ−θ|≦π/2である場合に与えられる。このとき、

式中、l、l及びθ、θは、それぞれセグメントi及びjの長さ及び方向を表す。
4. 重心(X、Y)を中心とし、マージした線の方向θと平行なX軸を有するフレーム(X、Y)。
5. フレーム(X、Y)における両セグメントの端点a、b、c、及びdの座標を求める。座標変換は、並進に続く回転である。
δXG=(δ−y)sinθ+(δ−x)cosθ
δYG=(δ−y)cosθ+(δ−x)sinθ
式中、(δXG,δYG)は、フレーム(X、Y)における点δの座標である。
6. さらに離れた4つの端点a、b、c、及びdの軸XG上の2つの正射影は、マージした線の端点を定める。
7. 線間の角度の和が約180°である場合、物体形状は三角形として認識される。
8. 2つの連続した線間の角度が135°である場合、形状は八角形として認識される。
9. 2つの連続した線間の角度が90°であり、角度の和が360°である場合、形状は矩形として認識される。

上記方法案は、ある種の歪みを有し且つ完全な形状でない場合のある交通標識でさえも高確度で検出すること、及びデジタルカラー暗視カメラが取り込んだ画像におけるノイズに起因した歪みや、現実の(real word)交通標識における、交通標識の製造時の問題及び異なる視距離に起因して完全な三角形、逆三角形、矩形、又は八角形からずれるような形状歪みを含み得る、交通標識の三角形、逆三角形、矩形、又は八角形をロバストに検出することを確実にする。

円形又は楕円形の検出
プロセッサは、以下のステップを実行して三角形、逆三角形、矩形、又は八角形を分類する。第1ステップにおいて、プロセッサは、確率的ハフ変換を使用して形状における線を検出するコードを実行する。第2ステップにおいて、プロセッサは、線マージアルゴリズムを使用して、実際に同じ線に属する線分を判定してそれらをマージするコードを実行する。そして最終ステップにおいて、プロセッサは、候補交通標識の長軸長及び短軸長に基づく楕円検出アルゴリズムを使用して、交通標識の円形又は楕円形を検出するコードを実行するが、このとき現実の円形標識は、異なる距離から見ると、また交通標識の円形の製造時の問題に起因して、正確に円形ではない。リアルタイムの円形標識の大半は円形ではなく楕円形のカテゴリに入ったので、プロセッサが実施するこのアルゴリズムは、最適且つより正確であることが分かる。

例示的な一実施形態によれば、プロセッサが実施するアルゴリズムは、交通標識の楕円形又は円形を分類するために以下のステップを含む。
1. 全エッジ画素を1次元配列に格納する。
2. アキュムレータ配列をクリアする。
3. 各画素(x,y)について、図3に示すように以下のステップ(4)〜(14)を実行する。
4. 他の各画素(x,y)について、(x,y)と(x,y)との間の距離が考慮対象の画素対に必要な最短距離よりも大きい場合、以下のステップ(5)〜(14)を実行する。
5. 画素対(x,y)及び(x,y)から、方程式(1)〜(4)を使用して、想定楕円の長軸の中心、向き、及び長さを計算する。
=(x+x)/2 (1)
=(y+y)/2 (2)
a=[(x−x+(y−y1/2/2 (3)
α=atan[(y−y)/(x−x)] (4)
6. 各第3画素(x,y)について、(x,y)と(x,y)との間の距離が考慮対象の画素対に必要な最短距離よりも大きい場合、以下のステップ(7)〜(9)を実行する。
7. 方程式(5)及び(6)を使用して短軸の長さを計算する。
=(asinτ)/(a−dcosτ)
式中、cosτは、cosτ=((a+d−f)/(2ad)である。
8. この短軸の長さについてアキュムレータを1増やす。
9. この画素対に関して全画素が計算されるまでループする。
10. アキュムレータ配列内の最大要素を求める。関連する長さは、想定楕円の短軸の予想長さである。得票が想定楕円に必要な最小数よりも多い場合、1つの楕円が検出される。
11. 楕円パラメータを出力する。
12. 検出した楕円上の画素をエッジ画素配列から除去する。
13. アキュムレータ配列をクリアする。
14. 全画素対が計算されるまでループする。
15. 検出した楕円を原画像に重ねる。
16. 終了。

方法案の最終ステップにおいて、プロセッサは、(図2に簡単に示すように)テンプレートマッチングにより交通標識の分類形状を認識する(180)コードを実行する。

例示的な一実施形態によれば、検出した交通標識の種々の形状の認識は、種々のプロセッサ実施ステップを含む。

交通標識を認識するために、回転及びスケーリングに対して不変のテンプレートマッチングを利用する。物体の形状を検出すると、プロセッサは、テンプレートマッチングアルゴリズムを使用して、形状内の画像を抽出してデータベース内の既存のテンプレートと照合するコードを実行する。プロセッサが実施するテンプレートマッチングアルゴリズムは、以下のステップを含む。

1)第1ステップ(半径方向フィルタリング):半径方向サンプリングフィルタは、入力画像「A」及びテンプレート画像「Q」の投影を使用する。これらの画像に基づき、プロセッサが実施する半径方向フィルタリングアルゴリズムは、入力画像の傾斜角度を与える。半径方向サンプリングは、1つの頂点が(x,y)、長さがλ、及び傾斜がαの放射状線により位置付けられるBの画素の平均グレースケールである。

2)テンプレートQ及びm個の角度傾斜の組(α、α、...、αm−1)があるとして、λ=rl−1(最大サンプリング円半径)を使用してQを放射状にサンプリングし、m個の特徴でベクトルRを得る。

式中、(x,y)は画像Qの中心画素である。

3)半径方向フィルタリングは、ベクトルR[x,y]と、Rと、コントラスト閾値及び輝度閾値tβ及びtγとを使用して、ベストマッチ角度での半径方向サンプリング相関RasCorrを検出する。

式中、cshiftは、引数ベクトルのj個の位置の循環シフトを意味する。

・最終ステップ(テンプレートマッチングフィルタ):プロセッサが実施するテンプレートマッチングフィルタは、テンプレート画像Qと入力画像Aとのコントラスト/輝度知覚相関を計算する。相関の絶対値が何らかの閾値tを超える場合、テンプレートは画素(x,y)で見付かったとみなされる。

図2は、交通標識認識の階層的戦略を示す。別の実施形態によれば、プロセッサは、テンプレートマッチングにより交通標識の分類形状を認識するコードを実行し、このとき交通標識の形状は、3つのカテゴリ、すなわち円形、三角形、及び逆三角形に大まかに分類される。円形は、2つのカテゴリ、すなわちカテゴリ1及びカテゴリ2に分類することができる。カテゴリ1は、Uターン禁止、右折禁止、歩行者通行禁止、追い越し禁止等の交通標識を含む。カテゴリ2は、停車禁止及び駐車禁止等の交通標識を含む。三角形は、カテゴリ3として分類することができる。カテゴリ3は、一方通行又は左折及び横断歩道等の交通標識を含む。逆三角形は、カテゴリ4として分類することができ、カテゴリ4は、徐行(give way)等の交通標識を含む。

一実施形態によれば、上記方法案は、交通標識の形状の認識データの使用を特徴とする、運転者に警告する措置も提供し、この措置は、車両内に配置した警報手段とすることができ(cab be)、警報手段は、アラーム、音声ベースの警告、ディスプレイ付きインジケータを含む、聴覚及び視聴覚デバイスであり得る。

一実施形態によれば、種々の交通標識を検出及び認識する照明不変且つロバストな装置は、既存の従来システムへのインストール及び組み込みが簡単である。

本明細書に記載の構成の図は、種々の実施形態の構造を全般的に理解させることを意図したものであり、本明細書に記載の構造を利用し得る装置及びシステムの要素及び特徴の全てを完全に説明する役割を果たすことを意図したものではない。多くの他の構成が、上記説明を読めば当業者には明らかとなるであろう。それらから他の構成を利用し導き出すことができ、本開示の範囲から逸脱することなく構造的及び論理的置換及び変更を行うことができる。図は、単に描写的なものでもあり、一定の縮尺で描かれていない場合がある。図の特定の割合が誇張される一方で、他のものが最小化されている場合がある。したがって、本明細書及び図面は、限定的ではなく例示的な意味でみなされるものとする。

上記説明は、種々の実施形態を参照して提示されている。本願が属する技術分野の当業者であれば、原理及び範囲から有意に逸脱することなく説明した構造及び動作方法の修正及び変更を実施できることを理解するであろう。

Claims (10)

  1. デジタルカラー暗視カメラが取り込んだ画像を使用して交通標識を検出及び認識するロバストな方法であって、照明不変であり、以下のプロセッサ実施ステップ:
    RGB画像をHSVカラーモデルに変換し、続いて色量子化を使用して所望の色成分を抽出するステップと、
    前記HSVカラーモデルにおけるノイズ成分を、物体対称形状特性に基づきフィルタリングするステップと、
    ノイズ成分除去画像において物体のエッジを検出し、続いて別個の物体を検出するステップと、
    判定した前記別個の物体の形状に基づき前記交通標識の形状を分類するステップと、
    前記交通標識の分類形状をテンプレートマッチングにより認識するステップと
    を含むことを特徴とする方法。
  2. 請求項1に記載の方法において、前記交通標識の前記形状は、三角形、逆三角形、矩形、八角形、円形、又は楕円形を含む方法。
  3. 請求項1に記載の方法において、前記交通標識の前記形状は、
    前記デジタルカラー暗視カメラが取り込んだ前記画像における前記ノイズに起因した歪み、
    現実の交通標識における、該交通標識の製造時の問題に起因した形状歪み、又は
    異なる視距離に起因した形状歪み
    を含み得る方法。
  4. 請求項1に記載の方法において、前記分類を、
    確率的ハフ変換を使用して前記形状における線を検出すること、
    線分を判定し、同じ線に属する場合に続いてそれらをマージすること、及び
    交通標識の三角形、逆三角形、矩形、又は八角形を区別するために端点により画定される内角の和を計算すること
    により行う方法。
  5. 請求項1に記載の方法において、前記分類を、
    確率的ハフ変換を使用して前記形状における線を検出すること、
    線分を判定し、同じ線に属する場合に続いてそれらをマージすること、及び
    交通標識の円形又は楕円形を区別するために候補交通標識の長軸長及び短軸長を検出すること
    により行う方法。
  6. 請求項1に記載の方法において、交通標識の前記形状の認識データを使用することを特徴とする、運転者に警告する措置をさらに含む方法。
  7. 請求項1に記載の方法において、前記デジタルカラー暗視カメラを、車両のダッシュボード上、前、内部、又は上部に配置することができる方法。
  8. 交通標識を検出及び認識するロバストな装置において、照明不変であり、
    画像の取り込み用に車両に配置したデジタルカラー暗視カメラと、
    該デジタルカラー暗視カメラに埋め込んだ、前記交通標識を検出及び認識するためにリアルタイムで取り込み画像を解析するプロセッサと
    を備えることを特徴とする装置。
  9. 請求項8に記載の装置において、前記交通標識の形状の認識データを使用することを特徴とする、運転者に警告する警報手段をさらに含む装置。
  10. 請求項8に記載の装置において、前記デジタルカラー暗視カメラを、車両のダッシュボード上、前、内部、又は上部に配置することができる装置。
JP2013513819A 2010-06-10 2011-06-10 種々の交通標識を検出及び認識する照明不変且つロバストな装置及び方法 Pending JP2013529348A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
IN1761MU2010 2010-06-10
IN1761/MUM/2010 2010-06-10
PCT/IN2011/000391 WO2011154978A2 (en) 2010-06-10 2011-06-10 An illumination invariant and robust apparatus and method for detecting and recognizing various traffic signs

Publications (1)

Publication Number Publication Date
JP2013529348A true JP2013529348A (ja) 2013-07-18

Family

ID=45098481

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013513819A Pending JP2013529348A (ja) 2010-06-10 2011-06-10 種々の交通標識を検出及び認識する照明不変且つロバストな装置及び方法

Country Status (4)

Country Link
US (1) US9269001B2 (ja)
EP (1) EP2580740A4 (ja)
JP (1) JP2013529348A (ja)
WO (1) WO2011154978A2 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL2447884T3 (pl) * 2010-10-28 2015-05-29 Cyclomedia Tech B V Sposób detekcji i rozpoznawania obiektu na obrazie, a także urządzenie i program komputerowy do tego
CA2810540A1 (en) * 2012-03-28 2013-09-28 Schlumberger Canada Limited Seismic attribute color model transform
CN102819728A (zh) * 2012-07-17 2012-12-12 中国航天科工集团第三研究院第八三五七研究所 一种基于分类模板匹配的交通标志检测方法
CN102881160B (zh) * 2012-07-18 2014-09-03 广东工业大学 一种低照度场景下的户外交通标志识别方法
KR101409340B1 (ko) * 2013-03-13 2014-06-20 숭실대학교산학협력단 교통 표지 인식 방법 및 그 시스템
US9092696B2 (en) * 2013-03-26 2015-07-28 Hewlett-Packard Development Company, L.P. Image sign classifier
CN103390167A (zh) * 2013-07-18 2013-11-13 奇瑞汽车股份有限公司 一种多特征的分层交通标志识别方法
CN103413124B (zh) * 2013-08-19 2016-09-21 中国科学院自动化研究所 一种圆形交通标志检测方法
CN103440671B (zh) * 2013-08-23 2016-12-28 方正国际软件有限公司 一种印章检测方法及系统
EP3123397A4 (en) * 2014-03-27 2017-11-08 The Georgia Tech Research Corporation Systems and methods for identifying traffic control devices and testing the retroreflectivity of the same
JP5961207B2 (ja) * 2014-03-28 2016-08-02 富士重工業株式会社 車外環境認識装置
IL233114A (en) * 2014-06-12 2016-09-29 Brightway Vision Ltd Method and system for pattern detection, classification and tracking
CN104134190A (zh) * 2014-07-11 2014-11-05 华南理工大学 一种混合光中动态图像的分离方法
CN104182756B (zh) * 2014-09-05 2017-04-12 大连理工大学 一种基于单目视觉的车辆前方障碍物检测方法
CN104239886B (zh) * 2014-09-30 2017-09-26 浙江理工大学 基于图像分析的草坪与背景分界线的提取方法
US9508006B2 (en) * 2014-11-03 2016-11-29 Intelescope Solutions Ltd. System and method for identifying trees
CN107111944A (zh) * 2014-12-30 2017-08-29 3M创新有限公司 车辆识别系统识别的标牌
JP6523151B2 (ja) * 2015-12-09 2019-05-29 富士フイルム株式会社 表示装置
CN105631881B (zh) * 2015-12-30 2019-02-12 四川华雁信息产业股份有限公司 目标检测方法及装置
CN105718859B (zh) * 2016-01-15 2019-05-03 武汉光庭科技有限公司 自动驾驶中一种结合图形处理器进行限速牌检测的方法
JP6552979B2 (ja) * 2016-02-16 2019-07-31 株式会社日立製作所 画像処理装置、警告装置、画像処理システム、画像処理方法
CN105913058B (zh) * 2016-04-05 2019-06-21 浙江工业大学 一种多车牌定位方法
CN106056076B (zh) * 2016-05-30 2019-06-14 南京工程学院 一种确定复杂光照人脸图像的光照不变量的方法
DE102016225876A1 (de) * 2016-12-21 2018-06-21 Robert Bosch Gmbh Verfahren und Vorrichtung zum Auswerten eines Bildes und Bereitstellen der Auswertung für ein Fahrassistenzsystem eines Fahrzeugs
DE102016226010A1 (de) * 2016-12-22 2018-06-28 Continental Automotive Gmbh Vorrichtung und verfahren zur identifizierung eines beweglichen absperrverkehrsschilds für ein fahrzeug
US10572751B2 (en) * 2017-03-01 2020-02-25 Adobe Inc. Conversion of mechanical markings on a hardcopy document into machine-encoded annotations
JP2018201196A (ja) * 2017-05-26 2018-12-20 パナソニックIpマネジメント株式会社 撮像装置、撮像システム、車両走行制御システム、及び画像処理装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08223588A (ja) * 1995-02-16 1996-08-30 Hamamatsu Photonics Kk 暗視用カラーカメラ装置
JPH09185703A (ja) * 1996-01-08 1997-07-15 Mitsubishi Motors Corp 標識の認識方法
JP2002049919A (ja) * 2000-08-07 2002-02-15 Sony Corp 情報処理装置および方法、並びに記録媒体

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005215985A (ja) * 2004-01-29 2005-08-11 Fujitsu Ltd 走行車線判定プログラムおよびその記録媒体、走行車線判定装置ならびに走行車線判定方法
US7526103B2 (en) * 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
EP2383713B1 (en) * 2006-12-06 2013-05-29 Mobileye Technologies Limited Detecting and recognizing traffic signs
US8731322B2 (en) * 2007-05-03 2014-05-20 Mtekvision Co., Ltd. Image brightness controlling apparatus and method thereof
EP2028605A1 (de) * 2007-08-20 2009-02-25 Delphi Technologies, Inc. Detektionsverfahren für symmetrische Muster

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08223588A (ja) * 1995-02-16 1996-08-30 Hamamatsu Photonics Kk 暗視用カラーカメラ装置
JPH09185703A (ja) * 1996-01-08 1997-07-15 Mitsubishi Motors Corp 標識の認識方法
JP2002049919A (ja) * 2000-08-07 2002-02-15 Sony Corp 情報処理装置および方法、並びに記録媒体

Non-Patent Citations (12)

* Cited by examiner, † Cited by third party
Title
CSND200600297004; 莫 舸舸 青木 由直: 'カラー画像における道路標識の認識' 画像ラボ  第16巻  第6号 第16巻  第6号, 20050601, P.18-22, 日本工業出版株式会社 *
CSNG199800448015; 堀江 宏仁 小澤 慎治: '連続道路画像を用いた車両前方監視' 電気学会論文誌C  Vol.117-C  No.5 Vol.117-C  No.5, 19970420, P.648-657, 社団法人電気学会 *
CSNG200300319017; 岩井 儀雄: '2001年PRMUアルゴリズムコンテスト「道路交通標識の認識」実施報告とその入賞アルゴリズムの紹介' 電子情報通信学会技術研究報告  Vol.101  No.525 Vol.101  No.525, 20011214, P.125-132, 社団法人電子情報通信学会 *
CSNG200401346022; 石塚 裕 平井 有三: '色情報を用いた実時間道路交通標識の切り出し' 電子情報通信学会技術研究報告  Vol.102  No.631 Vol.102  No.631, 20030127, P.139-144, 社団法人電子情報通信学会 *
CSNG200600601009; 馬場 今日子 平井 有三: '車載カメラ画像による道路交通標識のリアルタイム認識' 電子情報通信学会技術研究報告  Vol.104  No.646 Vol.104  No.646, 20050127, P.45-50, 社団法人電子情報通信学会 *
CSNG201000105009; 石垣 成庸 椎屋 和久 横田 光広: '極座標を用いたテンプレートマッチングによる円形道路交通標識の認識' 電子情報通信学会技術研究報告  Vol.109  No.325 Vol.109  No.325, 20091201, P.57-60, 社団法人電子情報通信学会 *
JPN6013056836; 莫 舸舸 青木 由直: 'カラー画像における道路標識の認識' 画像ラボ  第16巻  第6号 第16巻  第6号, 20050601, P.18-22, 日本工業出版株式会社 *
JPN6013056838; 石垣 成庸 椎屋 和久 横田 光広: '極座標を用いたテンプレートマッチングによる円形道路交通標識の認識' 電子情報通信学会技術研究報告  Vol.109  No.325 Vol.109  No.325, 20091201, P.57-60, 社団法人電子情報通信学会 *
JPN6013056839; 馬場 今日子 平井 有三: '車載カメラ画像による道路交通標識のリアルタイム認識' 電子情報通信学会技術研究報告  Vol.104  No.646 Vol.104  No.646, 20050127, P.45-50, 社団法人電子情報通信学会 *
JPN6013056841; 石塚 裕 平井 有三: '色情報を用いた実時間道路交通標識の切り出し' 電子情報通信学会技術研究報告  Vol.102  No.631 Vol.102  No.631, 20030127, P.139-144, 社団法人電子情報通信学会 *
JPN6013056843; 岩井 儀雄: '2001年PRMUアルゴリズムコンテスト「道路交通標識の認識」実施報告とその入賞アルゴリズムの紹介' 電子情報通信学会技術研究報告  Vol.101  No.525 Vol.101  No.525, 20011214, P.125-132, 社団法人電子情報通信学会 *
JPN6013056845; 堀江 宏仁 小澤 慎治: '連続道路画像を用いた車両前方監視' 電気学会論文誌C  Vol.117-C  No.5 Vol.117-C  No.5, 19970420, P.648-657, 社団法人電気学会 *

Also Published As

Publication number Publication date
EP2580740A4 (en) 2016-05-25
US9269001B2 (en) 2016-02-23
WO2011154978A2 (en) 2011-12-15
WO2011154978A3 (en) 2013-01-24
EP2580740A2 (en) 2013-04-17
US20130201334A1 (en) 2013-08-08

Similar Documents

Publication Publication Date Title
CN105261020B (zh) 一种快速车道线检测方法
DE102013205950B4 (de) Verfahren zum Detektieren von Straßenrändern
Yenikaya et al. Keeping the vehicle on the road: A survey on on-road lane detection systems
Patel et al. Automatic number plate recognition system (anpr): A survey
DE112013001858B4 (de) Mehrfachhinweis-Objekterkennung und -Analyse
Jensen et al. Vision for looking at traffic lights: Issues, survey, and perspectives
US8995723B2 (en) Detecting and recognizing traffic signs
US8983136B2 (en) Traffic sign detecting method and traffic sign detecting device
US10025998B1 (en) Object detection using candidate object alignment
Kheyrollahi et al. Automatic real-time road marking recognition using a feature driven approach
US8294794B2 (en) Shadow removal in an image captured by a vehicle-based camera for clear path detection
TWI409718B (zh) 移動中車輛之車牌定位方法
JP4723582B2 (ja) 交通標識検出方法
Siogkas et al. Traffic Lights Detection in Adverse Conditions using Color, Symmetry and Spatiotemporal Information.
De Charette et al. Real time visual traffic lights recognition based on spot light detection and adaptive traffic lights templates
US9558412B2 (en) Vehicle exterior environment recognition device
JP6126094B2 (ja) 車載用画像認識装置
EP3036730B1 (en) Traffic light detection
EP1596322B1 (en) Driving lane recognizer and driving lane recognizing method
Deb et al. HSI color based vehicle license plate detection
WO2009131210A1 (ja) 物体認識装置、および物体認識方法
KR101605514B1 (ko) 차선 인식 장치 및 방법
Borkar et al. A layered approach to robust lane detection at night
US9384401B2 (en) Method for fog detection
CN104050450A (zh) 一种基于视频的车牌识别方法

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140219

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140311