JP2007265038A - 道路画像解析装置及び道路画像解析方法 - Google Patents

道路画像解析装置及び道路画像解析方法 Download PDF

Info

Publication number
JP2007265038A
JP2007265038A JP2006089496A JP2006089496A JP2007265038A JP 2007265038 A JP2007265038 A JP 2007265038A JP 2006089496 A JP2006089496 A JP 2006089496A JP 2006089496 A JP2006089496 A JP 2006089496A JP 2007265038 A JP2007265038 A JP 2007265038A
Authority
JP
Japan
Prior art keywords
continuous component
road
component
road image
dimensional position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006089496A
Other languages
English (en)
Other versions
JP4632987B2 (ja
Inventor
Tadashi Sasagawa
正 笹川
Hayashi Shu
林 朱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pasco Corp
Original Assignee
Pasco Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pasco Corp filed Critical Pasco Corp
Priority to JP2006089496A priority Critical patent/JP4632987B2/ja
Priority to PCT/JP2007/055986 priority patent/WO2007111241A1/ja
Priority to CN2007800111981A priority patent/CN101410872B/zh
Priority to US12/225,583 priority patent/US8126209B2/en
Priority to EP07739427.8A priority patent/EP2000979A4/en
Publication of JP2007265038A publication Critical patent/JP2007265038A/ja
Application granted granted Critical
Publication of JP4632987B2 publication Critical patent/JP4632987B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/072—Curvature of the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/076—Slope angle of the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Abstract

【課題】道路標示とガードレールとを明確かつ高速に区別することができ、正確な位置情報を取得できる道路画像解析装置及び道路画像解析方法を提供する。
【解決手段】撮像部２６が取得した主画像データに対して前処理部２８がサブエリアを設定し、エッジ抽出部３０がサブエリア毎にエッジ成分を抽出する。直線抽出部３２は、上記抽出されたエッジ成分を解析して直線成分を抽出し、この直線成分を使用して直線成分解析部３４が直線成分の中から連続成分を抽出する。マッチング処理部３６は、上記連続成分の頂点と補助画像データとのマッチング処理を行い、各連続成分の３次元位置情報を取得する。識別部４０は、３次元位置情報に含まれる各連続成分の高さ情報に基づき、連続成分が道路標示かガードレールかを識別する。
【選択図】図２

Description

本発明は、道路画像を解析して車道中央線や車道境界線、車道外側線等の道路標示、ガードレール等を抽出する道路画像解析装置及び道路画像解析方法に関する。
従来より、高精度の道路地図を作成するため、道路標示やガードレール等に関する正確な位置情報を取得する必要があった。この目的のため、例えば車載された単眼視カメラにより取得された２次元画像を用い、その輝度情報に基づいて解析を行う方法が知られている。このような技術の例が、下記特許文献１に開示されている。
また、下記特許文献２には、ステレオカメラにより取得したステレオ画像から３次元位置データを算出してカードレール等の側壁を検出する技術が開示されている。
特開平１−２４２９１６号公報 特開平６−２６６８２８号公報
しかし、上記従来の技術においては、単眼視カメラが取得する２次元画像を使用する場合、道路標示とガードレールとは共に直線状の画像となるので、その区別が困難であるという問題があった。
また、ステレオカメラが取得するステレオ画像を使用する場合、画像全体に対してマッチング処理を行う必要があるため処理が重く、また画像を小領域に分割しマッチング処理を高速化した場合であっても、小領域内に距離の異なる複数の物体が混在することになるため十分な距離測定精度が得られないという問題があった。更に、得られた３次元位置情報だけでは道路標示とガードレールとの区別が困難であるという問題があった。
本発明は、上記従来の課題に鑑みなされたものであり、その目的は、道路標示とガードレールとを明確かつ高速に区別することができ、正確な位置情報を取得できる道路画像解析装置及び道路画像解析方法を提供することにある。
上記目的を達成するために、本発明は、道路画像解析装置であって、同一位置を異なる方向から撮影する２台の撮像手段と、前記撮像手段の一方が取得した画像データから連続成分を抽出する連続成分抽出手段と、前記連続成分と前記撮像手段の他方が取得した画像データとを組合せ、前記連続成分の３次元位置情報を算出する３次元位置算出手段と、前記３次元位置算出手段が算出した３次元位置情報に基づいて前記連続成分を識別する識別手段と、を備えることを特徴とする。
上記構成によれば、連続成分抽出手段が抽出した連続成分に画像解析処理の対象を絞った上で３次元位置算出手段及び識別手段により連続成分の内容を識別するので、簡易な構成で正確な道路画像解析を行うことができる。
ここで、上記連続成分抽出手段は、前記撮像手段の一方が取得した画像データから直線成分を抽出し、この直線成分の位置、傾き及び直線間の関連性に基づいて前記連続成分を抽出することを特徴とする。
また、上記３次元位置算出手段は、前記連続成分の端点と前記撮像手段の他方が取得した画像データとをマッチング処理することにより３次元位置情報を算出することを特徴とする。
また、上記識別手段は、前記３次元位置情報に含まれる前記連続成分の高さ情報に基づいて前記連続成分を識別することを特徴とする。
また、上記連続成分抽出手段、３次元位置算出手段及び識別手段は、道路の走行方向に対して直交する方向に設定されたサブエリアを処理単位とすることを特徴とする。
また、本発明は、道路画像解析方法であって、同一位置を異なる２方向から撮影するステップと、前記撮影した一方の画像データから連続成分を抽出するステップと、前記連続成分と前記撮影した他方の画像データとを組合せ、前記連続成分の３次元位置情報を算出するステップと、前記算出した３次元位置情報に基づいて前記連続成分を識別するステップと、を備えることを特徴とする。
ここで、上記連続成分を抽出するステップは、前記撮影した一方の画像データから直線成分を抽出し、この直線成分の位置、傾き及び直線間の関連性に基づいて前記連続成分を抽出することを特徴とする。
また、上記連続成分の３次元位置情報を算出するステップは、前記連続成分の端点と前記撮影した他方の画像データとをマッチング処理することにより３次元位置情報を算出することを特徴とする。
また、上記連続成分を識別するステップは、前記３次元位置情報に含まれる前記連続成分の高さ情報に基づいて前記連続成分を識別することを特徴とする。
また、上記連続成分を抽出するステップ、連続成分の３次元位置情報を算出するステップ及び連続成分を識別するステップは、道路の走行方向に対して直交する方向に設定されたサブエリアを処理単位として実行されることを特徴とする。
以下、本発明を実施するための最良の形態（以下、実施形態という）を、図面に従って説明する。
図１には、本発明にかかる道路画像解析装置の構成例のブロック図が示される。この道路画像解析装置は、例えばパーソナルコンピュータ等で実現することができる。図１において、道路画像解析装置は、第１カメラ１０、第２カメラ１２、インターフェース１４、１６、プロセッサ１８、記憶部２０、表示部２２及び操作部２４を含んで構成されている。
第１カメラ１０は、ステレオ画像を取得するために２台１組で設けられるステレオカメラの一方、例えば左カメラである。また、第２カメラ１２は、上記ステレオカメラの他方、例えば右カメラである。これらの第１カメラ１０及び第２カメラ１２は、同一位置を異なる方向からカラー画像またはモノクロ画像を撮影し、本発明の撮像手段を構成する。
インターフェース１４、１６は、それぞれ上記第１カメラ１０、第２カメラ１２が取得した画像データを受け取り、プロセッサ１８等に転送する。
プロセッサ１８は、ＣＰＵ（中央処理装置）等により構成され、インターフェース１４、１６、記憶部２０、表示部２２及び操作部２４とデータのやり取りを行いながらこれらの動作を制御する。
記憶部２０は、プロセッサ１８の作業用のＲＡＭ（ランダムアクセスメモリ）、プロセッサ１８が実行するプログラム等が格納されたＲＯＭ（リードオンリーメモリ）、不揮発性メモリとしてのフラッシュメモリ、磁気記憶媒体等で構成されたコンピュータ読み取り可能な記憶媒体である。また、本装置による解析結果である道路標示やガードレールの位置情報を記憶してもよい。
表示部２２は、例えば液晶ディスプレイ（ＬＣＤ）等で構成され、道路画像解析装置の解析結果、ユーザが道路画像解析装置への動作指示等を入力するためのユーザインターフェース等を表示する。
操作部２４は、マウス等のポインティングデバイス、キーボード等の入力装置を含み、ユーザによるデータの入力等に使用する。
図２には、上記道路画像解析装置の各機能を表す機能ブロック図が示される。図２において、道路画像解析装置は、撮像部２６、前処理部２８、エッジ抽出部３０、直線抽出部３２、直線成分解析部３４、マッチング処理部３６、地図座標情報算出部３８、識別部４０及び位置情報取得部４２を含んで構成されている。
撮像部２６は、第１カメラ１０、第２カメラ１２、インターフェース１４、１６により実現され、第１カメラ１０で取得した画像データを主画像データとして、第２カメラ１２で取得した画像データを補助画像データとしてそれぞれ出力する。
前処理部２８は、プロセッサ１８により実現され、上記主画像データに対して画像強調処理等によりエッジ抽出処理を容易にするとともに、画像解析の基本単位である複数のサブエリアに画像を分割する処理を実行する。なお、サブエリアは道路の走行方向に直交するよう設定する。
エッジ抽出部３０は、プロセッサ１８により実現され、上記各サブエリアにおいて、輝度や色が明−暗パターン及び暗−明パターンのエッジ成分の抽出を行う。ここで、エッジ成分とは、上記主画像データに含まれる、道路標示、ガードレール、電柱等の柱状構造物等の輪郭である。また、上記エッジ抽出には、例えば１次水平微分フィルタを使用することができる。
直線抽出部３２は、プロセッサ１８により実現され、上記エッジ抽出部３０が抽出したエッジ成分から直線成分を抽出する。この直線成分の抽出は、例えばハフ変換等を使用して行う。
直線成分解析部３４は、プロセッサ１８により実現され、上記直線抽出部３２が抽出した直線成分の位置や傾き、直線成分間の関連性等に基づき主画像データ中の連続成分を抽出する。ここで、連続成分とは、画像中で一定方向に繰り返し存在し、または一定方向に連続している直線成分である。例えば、道路上に所定長さで繰り返し描かれる車道境界線や道路端部に所定長さ毎に設けられる電柱等が前者の例であり、道路上に連続線として描かれる車道外側線やガードレール等が後者の例である。このような直線成分の連続性は、各サブエリア内及び各サブエリア相互における上記直線成分の位置関係により直線成分解析部３４が判定する。また、電柱等の柱状構造物の直線成分は、その傾きにより除去し、直線解析の対象から除外することができる。さらに、上記直線成分間の関連性は、例えば直線成分相互の間の距離であり、道路上に描かれる道路標示を抽出するために使用される。すなわち、道路標示及び道路標示間の幅は予め分かっているので、上記幅より明らかに大きいまたは小さい距離をなす直線成分の組合わせは道路標示の直線成分ではないと判定することができる。
なお、上述したエッジ抽出部３０、直線抽出部３２及び直線成分解析部３４により、本発明の連続成分抽出手段が構成される。
マッチング処理部３６は、プロセッサ１８により実現され、上記主画像データの連続成分の頂点と補助画像データとのマッチング処理を行い、対応点との視差及びカメラ位置などの情報を基に三角測量により各連続線分の相対的な３次元位置情報を算出する。
地図座標情報算出部３８は、プロセッサ１８により実現され、位置情報取得部４２が取得した座標情報とマッチング処理部３６が求めた相対的な３次元位置情報とに基づき、地図上の座標情報を算出する。
上記マッチング処理部３６により、本発明の３次元位置算出手段が構成される。
識別部４０は、プロセッサ１８により実現され、上記３次元位置情報に含まれる各連続成分の高さ情報に基づき、連続成分が道路標示であるかガードレールであるかを識別する。
位置情報取得部４２は、ＧＰＳ（全地球測位システム）、ジャイロ等により実現され、撮像部２６による撮像位置及び姿勢を求めて、対応する画像データの座標を決定し、座標情報として地図座標情報算出部３８に出力する。
図３には、車載された撮像部２６による撮影エリアの説明図が示される。なお、図３では、撮像部２６の第１カメラ１０及び第２カメラ１２の並び方向がＸで表され、撮影方向（車両の進行方向）がＺで表されている。また、第１カメラ１０としての左カメラによる撮影エリアがαで示され、第２カメラとしての右カメラによる撮影エリアがβで示されている。なお、カメラを車両の進行方向と逆向きに取り付けることも可能である。
図３において、撮影エリアαの画像データが主画像データであり、撮影エリアβの画像データが補助画像データである。上記マッチング処理部３６によるマッチング処理は、撮影エリアαと撮影エリアβとが重複する重複エリアγに存在する対象物の画像データについて行われる。
図４には、図１及び図２で説明した本実施形態にかかる道路画像解析装置の動作例のフローが示される。図４において、前処理部２８が撮像部２６から主画像データを取得する（Ｓ１）。ここで、図２では、第１カメラ１０が撮像した画像データを主画像データとしているが、第２カメラ１２が撮像した画像データを主画像データとしてもよい。
前処理部２８は、上記取得した主画像データに対して上述した初期化処理を実行し、複数のサブエリアを設定する（Ｓ２）。
図５には、サブエリアが設定された主画像が示される。図５において、主画像には複数のサブエリア４４が設定されており、それぞれ破線で区切られて示されている。
次に、エッジ抽出部３０が上記サブエリア４４毎にエッジ成分を抽出する（Ｓ３）。このエッジ抽出処理は、初期化処理された主画像データの各サブエリアにおいて１次水平微分フィルタを使用して輝度や色の明−暗パターン及び暗−明パターンを認識することにより行われる。図５に示された主画像中の道路標示やガードレール、電柱等の柱状構造物は道路等の背景に対して輝度が高いので、明と暗との境界をエッジとして認識することができる。
図６には、エッジ抽出処理の説明図が示される。図６において、エッジ抽出部３０が抽出した各エッジ成分が一点鎖線で示されている。
次に、直線抽出部３２が上記抽出されたエッジ成分を解析し、直線成分を抽出する（Ｓ４）。
図７には、抽出された直線成分の例が実線で示される。この段階では、抽出された直線成分が、道路標示、ガードレール、電柱等の柱状構造物のいずれであるかは区別されていない。
そこで、直線成分解析部３４は、上記直線成分の位置や傾き、直線間の関連性等に基づいて解析対象となる連続成分を抽出する（Ｓ５）。この連続成分を抽出する際には、直線成分の傾きや道路上の位置により電柱等の柱状構造物を除外するのが好適である。これにより、以後の処理を道路標示とガードレールに絞ることができ、処理を簡略化することができる。
図８には、連続成分の抽出処理の結果の例が示される。図８において、画像中で一定方向に繰り返し存在し、または一定方向に連続している直線成分が抽出されている。
次に、マッチング処理部３６は、上記連続成分の頂点と補助画像データとのマッチング処理を行う（Ｓ６）。
図９（ａ）、（ｂ）には、マッチング処理の説明図が示される。ここで、図９（ａ）が直線成分解析部３４が抽出した連続成分を示し、図９（ｂ）が補助画像とのマッチング結果を示す。マッチング処理部３６は、例えば面積相関法により図９（ａ）に示される連続成分の端点と補助画像データとのマッチングを行い、対応点との視差、カメラ位置及び姿勢などの情報を基に三角測量により各連続成分の相対的な３次元位置情報を算出する。図９（ａ）では、端点の例が１２点（ａ１〜ａ１２）示されている。なお、端点の数は上記１２点に限定されず、さらに多くてもよい。以上の処理により、連続成分の全ての点ではなく端点のみで対応点探索を行うので、マッチング処理を高精度かつ高速に行うことができる。
地図座標情報算出部３８は、位置情報取得部４２が取得した座標情報とマッチング処理部３６が求めた相対的な３次元位置情報とに基づき、地図上の座標情報を算出する。また、識別部４０は、上記地図上の座標情報に含まれる各連続成分の高さ情報に基づき、連続成分が道路標示であるかガードレールであるかを識別する（Ｓ７）。この処理は、上記高さ情報に所定の閾値を設定し、この閾値より高さが高い連続成分をガードレールとし、低い連続成分を道路標示とすることにより実行することができる。なお、上記識別処理を相対的な座標情報に基づいて行い、その後、位置情報取得部４２が取得した座標情報から地図上の座標情報を算出してもよい。
上述の解析動作により求められた道路標示及びガードレールの地図上の座標情報は、表示部２２に表示される（Ｓ８）。図１０には、この表示例が示される。図１０では、道路標示及びガードレールの属性毎にＸ、Ｙ、Ｚの各座標値が示されている。なお、上記座標情報をデータベースとして記憶部２０に記憶してもよい。
以上の各工程によれば、直線成分解析部３４により、解析対象を道路標示とガードレールに絞った上でマッチング処理部３６及び識別部４０により道路標示とガードレールを識別している。これにより、道路標示とガードレールとを簡易な処理の組合せで明確に区別することができ、正確な位置情報を取得することもできる。
本発明にかかる道路画像解析装置の構成例のブロック図である。 本発明にかかる道路画像解析装置の各機能を表す機能ブロック図である。 撮像部による撮影エリアの説明図である。 本発明にかかる道路画像解析装置の動作例のフロー図である。 サブエリアが設定された主画像の例を示す図である。 エッジ抽出処理の説明図である。 抽出された直線成分の例を示す図である。 連続成分の抽出処理の結果の例を示す図である。 マッチング処理の説明図である。 道路画像の解析結果の表示例を示す図である。
符号の説明
１０ 第１カメラ、１２ 第２カメラ、１４、１６ インターフェース、１８ プロセッサ、２０ 記憶部、２２ 表示部、２４ 操作部、２６ 撮像部、２８ 前処理部、３０ エッジ抽出部、３２ 直線抽出部、３４ 直線成分解析部、３６ マッチング処理部、３８ 地図座標情報算出部、４０ 識別部、４２ 位置情報取得部、４４ サブエリア。

Claims (10)

  1. 同一位置を異なる方向から撮影する２台の撮像手段と、
    前記撮像手段の一方が取得した画像データから連続成分を抽出する連続成分抽出手段と、
    前記連続成分と前記撮像手段の他方が取得した画像データとを組合せ、前記連続成分の３次元位置情報を算出する３次元位置算出手段と、
    前記３次元位置算出手段が算出した３次元位置情報に基づいて前記連続成分を識別する識別手段と、
    を備えることを特徴とする道路画像解析装置。
  2. 請求項１記載の道路画像解析装置において、前記連続成分抽出手段は、前記撮像手段の一方が取得した画像データから直線成分を抽出し、この直線成分の位置、傾き及び直線間の関連性に基づいて前記連続成分を抽出することを特徴とする道路画像解析装置。
  3. 請求項１または請求項２記載の道路画像解析装置において、前記３次元位置算出手段は、前記連続成分の端点と前記撮像手段の他方が取得した画像データとをマッチング処理することにより３次元位置情報を算出することを特徴とする道路画像解析装置。
  4. 請求項１から請求項３のいずれか一項記載の道路画像解析装置において、前記識別手段は、前記３次元位置情報に含まれる前記連続成分の高さ情報に基づいて前記連続成分を識別することを特徴とする道路画像解析装置。
  5. 請求項１から請求項４のいずれか一項記載の道路画像解析装置において、前記連続成分抽出手段、前記３次元位置算出手段及び前記識別手段は、道路の走行方向に対して直交する方向に設定されたサブエリアを処理単位とすることを特徴とする道路画像解析装置。
  6. 同一位置を異なる２方向から撮影するステップと、
    前記撮影した一方の画像データから連続成分を抽出するステップと、
    前記連続成分と前記撮影した他方の画像データとを組合せ、前記連続成分の３次元位置情報を算出するステップと、
    前記算出した３次元位置情報に基づいて前記連続成分を識別するステップと、
    を備えることを特徴とする道路画像解析方法。
  7. 請求項６記載の道路画像解析方法において、前記連続成分を抽出するステップは、前記撮影した一方の画像データから直線成分を抽出し、この直線成分の位置、傾き及び直線間の関連性に基づいて前記連続成分を抽出することを特徴とする道路画像解析方法。
  8. 請求項６または請求項７記載の道路画像解析方法において、前記連続成分の３次元位置情報を算出するステップは、前記連続成分の端点と前記撮影した他方の画像データとをマッチング処理することにより３次元位置情報を算出することを特徴とする道路画像解析方法。
  9. 請求項６から請求項８のいずれか一項記載の道路画像解析方法において、前記連続成分を識別するステップは、前記３次元位置情報に含まれる前記連続成分の高さ情報に基づいて前記連続成分を識別することを特徴とする道路画像解析方法。
  10. 請求項６から請求項９のいずれか一項記載の道路画像解析方法において、前記連続成分を抽出するステップ、前記連続成分の３次元位置情報を算出するステップ及び前記連続成分を識別するステップは、道路の走行方向に対して直交する方向に設定されたサブエリアを処理単位として実行されることを特徴とする道路画像解析方法。
JP2006089496A 2006-03-28 2006-03-28 道路画像解析装置及び道路画像解析方法 Active JP4632987B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2006089496A JP4632987B2 (ja) 2006-03-28 2006-03-28 道路画像解析装置及び道路画像解析方法
PCT/JP2007/055986 WO2007111241A1 (ja) 2006-03-28 2007-03-23 道路画像解析装置及び道路画像解析方法
CN2007800111981A CN101410872B (zh) 2006-03-28 2007-03-23 道路图像解析装置及道路图像解析方法
US12/225,583 US8126209B2 (en) 2006-03-28 2007-03-23 Road image analyzing apparatus and road image analyzing method
EP07739427.8A EP2000979A4 (en) 2006-03-28 2007-03-23 DEVICE AND METHOD FOR VIDEO ROAD IMAGE ANALYSIS

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006089496A JP4632987B2 (ja) 2006-03-28 2006-03-28 道路画像解析装置及び道路画像解析方法

Publications (2)

Publication Number Publication Date
JP2007265038A true JP2007265038A (ja) 2007-10-11
JP4632987B2 JP4632987B2 (ja) 2011-02-16

Family

ID=38541159

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006089496A Active JP4632987B2 (ja) 2006-03-28 2006-03-28 道路画像解析装置及び道路画像解析方法

Country Status (5)

Country Link
US (1) US8126209B2 (ja)
EP (1) EP2000979A4 (ja)
JP (1) JP4632987B2 (ja)
CN (1) CN101410872B (ja)
WO (1) WO2007111241A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010218438A (ja) * 2009-03-18 2010-09-30 Fujitsu Ltd 車両認識装置及びプログラム
JP2013196401A (ja) * 2012-03-21 2013-09-30 Hitachi Automotive Systems Ltd 道路環境認識装置
WO2021241482A1 (ja) * 2020-05-25 2021-12-02 国立大学法人静岡大学 経路検出装置
JP2022134114A (ja) * 2021-03-02 2022-09-14 ネイバーラボス コーポレーション 無人飛行体または航空機によって撮影した航空画像に基づいてｈｄマップを生成する方法およびシステム

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102197276A (zh) * 2008-10-28 2011-09-21 株式会社博思科 道路计测装置及道路计测方法
CN101901343B (zh) * 2010-07-20 2012-05-23 同济大学 基于立体约束的遥感影像道路提取方法
CN102985947B (zh) 2010-07-29 2015-06-10 本田技研工业株式会社 车辆周围监测装置
WO2012032624A1 (ja) * 2010-09-08 2012-03-15 トヨタ自動車株式会社 危険度算出装置
US8897543B1 (en) * 2012-05-18 2014-11-25 Google Inc. Bundle adjustment based on image capture intervals
US8965107B1 (en) 2012-05-18 2015-02-24 Google Inc. Feature reduction based on local densities for bundle adjustment of images
JP6168794B2 (ja) * 2012-05-31 2017-07-26 キヤノン株式会社 情報処理方法および装置、プログラム。
WO2014096398A1 (en) 2012-12-21 2014-06-26 Institute Of Technology Blanchardstown System and method for multiline retroreflection measurement of road markings
DE102013224791A1 (de) * 2013-12-03 2015-06-03 Continental Teves Ag & Co. Ohg Verfahren zur Erkennung von wenigstens einer Fahrspurmarkierung einer einem Fahrzeug vorausliegenden Fahrspur
CN104021693B (zh) * 2014-06-25 2016-08-03 青海省恒立公路勘测设计有限公司 基于雷达探测的车行道标示方法及车行道标示系统
JP6936098B2 (ja) * 2017-09-29 2021-09-15 トヨタ自動車株式会社 対象物推定装置
CN114981138A (zh) * 2020-02-13 2022-08-30 华为技术有限公司 车辆可行驶区域的检测方法以及检测装置
CN114046749B (zh) * 2021-10-26 2022-07-08 刘红霞 预制混凝土构件点状凹坑结合面粗糙度检测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0778234A (ja) * 1993-06-30 1995-03-20 Nissan Motor Co Ltd 走行路検出装置
JPH08255245A (ja) * 1995-03-17 1996-10-01 Toshiba Corp ランドマーク認識装置およびランドマーク認識方法
JP2003281552A (ja) * 2002-03-25 2003-10-03 Toshiba Corp 画像処理装置及びその方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2662583B2 (ja) 1988-03-24 1997-10-15 アイシン精機株式会社 車上距離検出装置
JPH04253286A (ja) * 1991-01-29 1992-09-09 Nissan Motor Co Ltd 路面パラメータの推定方法および推定装置
JP3324821B2 (ja) 1993-03-12 2002-09-17 富士重工業株式会社 車輌用車外監視装置
JP3522317B2 (ja) * 1993-12-27 2004-04-26 富士重工業株式会社 車輌用走行案内装置
JP3337197B2 (ja) * 1997-04-04 2002-10-21 富士重工業株式会社 車外監視装置
JP3516856B2 (ja) * 1998-01-30 2004-04-05 富士重工業株式会社 車外監視装置
KR100302724B1 (ko) * 1999-03-12 2001-09-22 이계안 차선이탈 경보장치의 도로 모델링 방법
US6963661B1 (en) * 1999-09-09 2005-11-08 Kabushiki Kaisha Toshiba Obstacle detection system and method therefor
JP3352655B2 (ja) * 1999-09-22 2002-12-03 富士重工業株式会社 車線認識装置
JP2001101415A (ja) * 1999-09-29 2001-04-13 Fujitsu Ten Ltd 画像認識装置および画像処理装置
US7038577B2 (en) * 2002-05-03 2006-05-02 Donnelly Corporation Object detection system for vehicle
JP4377665B2 (ja) * 2003-12-01 2009-12-02 本田技研工業株式会社 位置検出用マーク、並びに、マーク検出装置、その方法及びそのプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0778234A (ja) * 1993-06-30 1995-03-20 Nissan Motor Co Ltd 走行路検出装置
JPH08255245A (ja) * 1995-03-17 1996-10-01 Toshiba Corp ランドマーク認識装置およびランドマーク認識方法
JP2003281552A (ja) * 2002-03-25 2003-10-03 Toshiba Corp 画像処理装置及びその方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010218438A (ja) * 2009-03-18 2010-09-30 Fujitsu Ltd 車両認識装置及びプログラム
JP2013196401A (ja) * 2012-03-21 2013-09-30 Hitachi Automotive Systems Ltd 道路環境認識装置
WO2021241482A1 (ja) * 2020-05-25 2021-12-02 国立大学法人静岡大学 経路検出装置
JP2022134114A (ja) * 2021-03-02 2022-09-14 ネイバーラボス コーポレーション 無人飛行体または航空機によって撮影した航空画像に基づいてｈｄマップを生成する方法およびシステム
JP7375066B2 (ja) 2021-03-02 2023-11-07 ネイバーラボス コーポレーション 無人飛行体または航空機によって撮影した航空画像に基づいてｈｄマップを生成する方法およびシステム

Also Published As

Publication number Publication date
EP2000979A2 (en) 2008-12-10
WO2007111241A1 (ja) 2007-10-04
CN101410872A (zh) 2009-04-15
EP2000979A4 (en) 2013-10-09
JP4632987B2 (ja) 2011-02-16
US20090274362A1 (en) 2009-11-05
CN101410872B (zh) 2012-06-20
EP2000979A9 (en) 2009-03-04
US8126209B2 (en) 2012-02-28

Similar Documents

Publication Publication Date Title
JP4632987B2 (ja) 道路画像解析装置及び道路画像解析方法
JP6822797B2 (ja) 標示ベースの位置測定
US8625851B2 (en) Measurement apparatus, measurement method, and feature identification apparatus
US9336595B2 (en) Calibration device, method for implementing calibration, and camera for movable body and storage medium with calibration function
KR101329111B1 (ko) 실내 네비게이션 시스템 및 방법
JP2017054494A5 (ja)
KR101261409B1 (ko) 영상 내 노면표시 인식시스템
US9798938B2 (en) Detecting device, detecting method, and program
JP6239186B2 (ja) 表示制御装置及び表示制御方法及び表示制御プログラム
JP4521235B2 (ja) 撮影画像の変化抽出装置及び方法
JPWO2010113239A1 (ja) 画像統合装置および画像統合方法
JP2003123197A (ja) 道路標示等認識装置
US9569850B2 (en) System and method for automatically determining pose of a shape
JP2008299458A (ja) 車両監視装置および車両監視方法
JP2011170599A (ja) 屋外構造物計測装置及び屋外構造物計測方法
JP2008021102A (ja) 区画線検出装置及び車線検出装置
JP4517003B2 (ja) 道路標識自動認識システム
JP4762026B2 (ja) 道路標識データベース構築装置
CN111159459A (zh) 地标定位方法、装置、计算机设备以及存储介质
JP2007127478A (ja) 追跡対象物速度検出装置および追跡対象物速度検出方法
JP2015088168A (ja) 学習サンプル生成装置、学習サンプル生成プログラム、及び自動認識装置
JP3919722B2 (ja) 肌形状計測方法及び肌形状計測装置
JP2006317418A (ja) 画像計測装置、画像計測方法、計測処理プログラム及び記録媒体
US20220107205A1 (en) Apparatus, method and computer program for generating map
JP2006190188A (ja) 領域分割方法

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080117

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080118

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100607

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100928

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20101007

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101102

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101116

R150 Certificate of patent or registration of utility model

Ref document number: 4632987

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131126

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250