JP2007114142A - 路面標示自動計測システム、装置及び方法 - Google Patents
路面標示自動計測システム、装置及び方法 Download PDFInfo
- Publication number
- JP2007114142A JP2007114142A JP2005308271A JP2005308271A JP2007114142A JP 2007114142 A JP2007114142 A JP 2007114142A JP 2005308271 A JP2005308271 A JP 2005308271A JP 2005308271 A JP2005308271 A JP 2005308271A JP 2007114142 A JP2007114142 A JP 2007114142A
- Authority
- JP
- Japan
- Prior art keywords
- image
- white line
- vehicle
- position information
- road marking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000005259 measurement Methods 0.000 claims abstract description 46
- 238000006243 chemical reaction Methods 0.000 claims description 25
- 238000006073 displacement reaction Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 20
- 230000009466 transformation Effects 0.000 claims description 15
- 238000012937 correction Methods 0.000 claims description 8
- 238000013500 data storage Methods 0.000 claims description 8
- 238000009499 grossing Methods 0.000 claims description 4
- 238000000691 measurement method Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000002596 correlated effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000010426 asphalt Substances 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
【解決手段】車輌に搭載され、路面画像を撮影するステレオカメラと、車輌に搭載され、車輌の位置情報を収集する位置情報収集手段と、ステレオカメラと位置情報収集手段に接続され、ステレオカメラによる撮影と位置情報収集手段による位置情報収集の同期をとる同期装置と、同期装置に接続され、ステレオカメラにより撮影された路面画像を記録する画像記録装置と、同期装置に接続され、位置情報収集手段により収集された位置情報を記録する車輌位置記録装置と、画像記録装置の路面画像と車輌位置記録装置の位置情報を読み込んで、路面標示の絶対座標を計測する路面標示自動計測装置と、路面標示自動計測装置に接続され、結果を記録する計測結果記録装置とを具備する。
【選択図】 図1
Description
路面標示自動計測システムを搭載した車輌によって、測定対象の道路を走行し、図3に示すように、同期装置12からの一定間隔(t1、t2、t3、…)の収集命令により、車輌に搭載されたステレオカメラ11は、路面の左右画像を撮影する。同時に位置情報収集手段10も、同期装置12からの一定間隔(t1、t2、t3、…)の収集命令により、図4に示すように、GPS受信機102によって車輌位置の絶対座標(緯度、経度、標高)を収集し、ジャイロ姿勢出力装置101によって車輌の姿勢情報(車輌ロール、車輌ピッチ、車輌ヨー)を収集する。そして、画像と位置情報はそれぞれ収集時刻とともに画像記録装置14と車輌位置記録装置13に記録される。
次に、(イ)で収集した情報を用いて、路面標示自動計測装置15による具体的な路面標示自動計測処理を行う。
データ読み込み部151が、画像記録装置14と車輌位置記録装置13に記録されたデータを路面標示自動計測装置15に読み込む工程である。
正射影画像作成部152が、撮影された路面画像の、カメラ位置とカメラ姿勢情報から道路面を推定し、事前に計測したカメラの取り付け位置とレンズの歪みに関する係数を用いて変換した路面の正射影変換画像を、ステレオ画像(第1及び第2の原画像)のうちの第1の原画像について作成する工程である。以下では、便宜的に第1の原画像を左原画像として説明していく。
路面標示認識部153が、正射影画像作成部152で作成された路面の正射影変換画像から、白線や黄線等の路面標示を認識し抽出する工程である。以下において、路面標示は白線がほとんどであるため、限定していない場合は、路面標示を白線と表現する。
(3.1) S105の処理によって平滑化された輝度値から、対象とする画素とその次の画素の輝度値の差の2乗を求め、これを輝度値変化強度とする。図13に図12の平滑化輝度値から得られた輝度値変化強度の状況を示す。
処理を行ったラインの進行方向のピクセル座標
区間の開始位置ピクセル座標(開始点のエッジ)
区間の終了位置ピクセル座標(終了点のエッジ)
区間の平均輝度値
区間長(実際の長さの推定値)
ここで、区間長は、射影変換画像作成の際に1ピクセル当りの左右方向と進行方向の解像度を決定しているので、次のように算出できる。ただし、射影変換画像は推定された道路面上の画像であるので、この値は実際の長さの真値ではない。
区間長=(終了位置ピクセル座標)−(開始位置ピクセル座標)×左右方向スケール
(3.5) S106の(3.4)で取得した区間情報の区間長と平均輝度値から、白線の形状特徴をもとにした閾値(例えば、白線は概ね幅が20cmで、輝度値がライン上の平均値より明るい)を用いて、白線候補点を抽出する。図15に抽出された白線候補点を示しているが、白線以外の路面標示や、アスファルト面の照り返し等のノイズが含まれている。また、個々の区間情報は独立しており、連結した白線としては認識されていない。
(3.7) 図17に示すように、(3.6)の距離によるグループ化の際に、基準白線候補点からの判定対象の白線候補点の方向角を求める。求めた方向角から、同一グループ内で対象の白線候補点よりも計測車輌寄りに存在する3点の白線候補点の方向角の平均値との差を求め、これを方向角変位量θとする。そしてこの方向角変位量θにより、白線候補点のグループ毎に方向角変位量θの標準偏差を求める。これにより、直線と同一の変化量でカーブする白線は標準偏差が極小となり、途中で曲率の変化する白線についても閾値を調整することで抽出可能である。
相対座標算出部154が、路面標示認識部153によって白線と認識された部分について、画像から白線の相対座標を求める工程である。
(i)基本テンプレートTLと検索用テンプレートTRの重なっている部分について、輝度値の平均と標準偏差を算出
(ii)各画素の平均偏差(各画素の輝度値−平均値)を算出
(iii)重なっている画素のお互いの平均偏差を掛け合わせた偏差積を算出
(iv)偏差積を画素数で除算し偏差積平均を算出
(v)相関係数=偏差積平均/(右標準偏差×左標準偏差)を算出。
絶対座標算出部155が、相対座標算出部154によって算出した路面標示の3次元相対座標から、その絶対座標を算出する工程である。
ψ=(車輌ロール)× π/180
ω=(車輌ピッチ)× π/180 ・・4)
κ=(車輌ヨー)× π/180
そして、車輌姿勢の回転行列Rは、前述した変換式2)と同じ下記の変換式5)で算出する。
車輌位置の絶対座標(Xgps,Ygps,Zgps)=(5000,6000,100)m
車輌の姿勢情報(車輌ロール、車輌ピッチ、車輌ヨー)=(1.5,−2.0,60)度
よって、傾き(ψ,ω,κ)は、
〔数8〕
ψ=(車輌ロール)× π/180=0.02618 ラジアン
ω=(車輌ピッチ)× π/180=-0.03491 ラジアン
κ=(車輌ヨー)× π/180=1.047198 ラジアン
これを変換式5)に代入して、車輌姿勢の回転行列Rの各項は、
図5に示すように、データ保存部156が、前工程で求めた白線絶対座標を計測結果記録装置16に保存する工程である。
11 ステレオカメラ
12 同期装置
13 車輌位置記録装置
14 画像記録装置
15 路面標示自動測定装置
16 計測結果記録装置
101 ジャイロ姿勢出力装置
102 GPS受信機
103 車輌速度出力装置
104 車高出力装置
151 データ読み込み部
152 正射影画像作成部
153 路面標示認識部
154 相対座標算出部
155 絶対座標算出部
156 データ保存部
200 データ処理部
Claims (10)
- 車輌に搭載され、路面画像を撮影するステレオカメラと、
前記車輌に搭載され、前記車輌の位置情報を収集する位置情報収集手段と、
前記ステレオカメラと前記位置情報収集手段に接続され、前記ステレオカメラによる撮影と前記位置情報収集手段による位置情報収集の同期をとる同期装置と、
前記同期装置に接続され、前記ステレオカメラにより撮影された前記路面画像を記録する画像記録装置と、
前記同期装置に接続され、前記位置情報収集手段により収集された前記位置情報を記録する車輌位置記録装置と、
前記画像記録装置の前記路面画像と前記車輌位置記録装置の前記位置情報を読み込んで、路面標示の絶対座標を計測する路面標示自動計測装置と、
前記路面標示自動計測装置に接続され、結果を記録する計測結果記録装置
とを具備することを特徴とする路面標示自動計測システム。 - 前記位置情報収集手段がジャイロ姿勢出力装置を含むことを特徴とする請求項1記載の路面標示自動計測システム。
- 前記位置情報収集手段がGPS受信機を含むことを特徴とする請求項1または2記載の路面標示自動計測システム。
- 前記位置情報収集手段が車輌速度出力装置を含むことを特徴とする請求項1ないし3のいずれか1項記載の路面標示自動計測システム。
- 前記位置情報収集手段が車高出力装置を含むことを特徴とする請求項1ないし4のいずれか1項記載の路面標示自動計測システム。
- 車輌に搭載されたステレオカメラにより撮影された路面のステレオ画像と該車輌と該ステレオカメラの位置情報を読み込むデータ読み込み部と、
前記ステレオ画像の左右いずれかの原画像を正射影変換し、正射影変換画像を作成する正射影画像作成部と、
前記正射影変換画像から、路面標示を認識する路面標示認識部と、
前記ステレオ画像と前記位置情報を用いて、前記路面標示の相対座標を算出する相対座標算出部と、
前記位置情報を用いて、前記相対座標から前記路面標示の絶対座標を算出する絶対座標算出部と、
前記路面標示の前記絶対座標を記録装置に保存するデータ保存部
とを具備することを特徴とする路面標示自動計測装置。 - 車輌に搭載されたステレオカメラにより撮影された路面のステレオ画像と該車輌と該ステレオカメラの位置情報を読み込むデータ読み込み工程と、
前記ステレオ画像の左右いずれかの第1の原画像を正射影変換し、正射影変換画像を作成する正射影画像作成工程と、
前記正射影変換画像から、路面標示を認識する路面標示認識工程と、
前記ステレオ画像と前記位置情報を用いて、前記路面標示の相対座標を算出する相対座標算出工程と、
前記位置情報を用いて、前記相対座標から前記路面標示の絶対座標を算出する絶対座標算出工程と、
前記路面標示の前記絶対座標を記録装置に保存するデータ保存工程
とを含むことを特徴とする路面標示自動計測方法。 - 前記路面標示認識工程は、
前記車輌の進行方向と直角に交わる左右方向のライン上の輝度値の変化量から白線候補を選択するステップと、
前記輝度値の平滑化を行うステップと、
前記平滑化された輝度値から、輝度値変化点を求めるステップと、
前記輝度値変化点間の平均輝度値を含む区間情報を求めるステップと、
前記区間情報から白線候補点を推定するステップと、
前記白線候補点を連結して前記路面標示を認識するステップ
とを含むことを特徴とする請求項7記載の路面標示自動計測方法。 - 前記路面標示認識工程は、表色系フィルターを用いて、前記路面標示の線種を認識するステップをさらに含むことを特徴とする請求項8記載の路面標示自動計測方法。
- 前記相対座標算出工程は、
前記路面標示認識工程により認識された前記路面標示の、前記正射影変換画像上のピクセル座標を逆射影変換して、前記第1の原画像上の白線中心ピクセル座標を求めるステップと、
前記位置情報を用いて、前記第1の原画像上の白線中心ピクセル座標から推定白線相対座標を求めるステップと、
前記推定白線相対座標から、前記第1の原画像と反対側の第2の原画像上の推定白線ピクセル座標を求めるステップと、
前記第1の原画像と前記第2の原画像から縦方向のズレを除去し、それぞれ第1及び第2の偏位修正画像を作成するステップと、
前記第1の原画像上の白線中心ピクセル座標から、前記第1の偏位修正画像上の白線中心ピクセル座標を求めるステップと、
前記第2の原画像上の推定白線ピクセル座標から、前記第2の偏位修正画像上の白線概略ピクセル座標を求めるステップと、
前記第1の偏位修正画像上の白線中心ピクセル座標により、前記第1の偏位修正画像中から基本テンプレートを作成するステップと、
前記第2の偏位修正画像上の白線概略ピクセル座標により、前記第2の偏位修正画像中から検索用テンプレートを作成するステップと、
前記基本テンプレートと前記検索用テンプレートから、相関のある位置を検索して、前記第2の偏位修正画像上の白線中心ピクセル座標を求めるステップと、
前記第2の偏位修正画像上の白線中心ピクセル座標を逆射影変換して、前記第2の原画像上の白線中心ピクセル座標を求めるステップと、
前記第1及び第2の原画像上の白線中心ピクセル座標から、高さを含む白線相対座標を求めるステップ
とを含むことを特徴とする請求項7ないし9のいずれか1項記載の路面標示自動計測方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005308271A JP4892224B2 (ja) | 2005-10-24 | 2005-10-24 | 路面標示自動計測システム、装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005308271A JP4892224B2 (ja) | 2005-10-24 | 2005-10-24 | 路面標示自動計測システム、装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007114142A true JP2007114142A (ja) | 2007-05-10 |
JP4892224B2 JP4892224B2 (ja) | 2012-03-07 |
Family
ID=38096461
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005308271A Active JP4892224B2 (ja) | 2005-10-24 | 2005-10-24 | 路面標示自動計測システム、装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4892224B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103106674A (zh) * | 2013-01-18 | 2013-05-15 | 昆山市智汽电子科技有限公司 | 一种全景图像合成和显示的方法及装置 |
JP2016509220A (ja) * | 2013-02-04 | 2016-03-24 | デー・エヌ・ファオ.ゲー・エル.エス・エーDnv Gl Se | 内部を検査する検査カメラ・ユニット、内部を検査する方法、およびセンサ・ユニット |
CN107036582A (zh) * | 2017-06-14 | 2017-08-11 | 上海市政养护管理有限公司 | 一种检测道路路基沉降的系统及方法 |
KR20210083021A (ko) * | 2019-12-26 | 2021-07-06 | 주식회사 로탈 | 스테레오 카메라를 이용한 객체 위치 결정 시스템 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH099197A (ja) * | 1995-06-21 | 1997-01-10 | Asia Kosoku Kk | 連続ステレオ画像データ記録装置 |
JP2000171249A (ja) * | 1998-12-03 | 2000-06-23 | Asia Air Survey Co Ltd | 位置取得装置 |
JP2002081941A (ja) * | 2000-09-11 | 2002-03-22 | Zenrin Co Ltd | 道路の3次元形状を測定するためのシステム及び方法 |
JP2003139533A (ja) * | 2001-10-30 | 2003-05-14 | Mitsui Constr Co Ltd | 路線施設の計測方法及び装置 |
JP2005062083A (ja) * | 2003-08-19 | 2005-03-10 | Komatsu Engineering Corp | 位置誤差補正機能を持つ測量システム |
JP2005157733A (ja) * | 2003-11-26 | 2005-06-16 | Nissan Motor Co Ltd | 車線認識装置および車線認識方法 |
-
2005
- 2005-10-24 JP JP2005308271A patent/JP4892224B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH099197A (ja) * | 1995-06-21 | 1997-01-10 | Asia Kosoku Kk | 連続ステレオ画像データ記録装置 |
JP2000171249A (ja) * | 1998-12-03 | 2000-06-23 | Asia Air Survey Co Ltd | 位置取得装置 |
JP2002081941A (ja) * | 2000-09-11 | 2002-03-22 | Zenrin Co Ltd | 道路の3次元形状を測定するためのシステム及び方法 |
JP2003139533A (ja) * | 2001-10-30 | 2003-05-14 | Mitsui Constr Co Ltd | 路線施設の計測方法及び装置 |
JP2005062083A (ja) * | 2003-08-19 | 2005-03-10 | Komatsu Engineering Corp | 位置誤差補正機能を持つ測量システム |
JP2005157733A (ja) * | 2003-11-26 | 2005-06-16 | Nissan Motor Co Ltd | 車線認識装置および車線認識方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103106674A (zh) * | 2013-01-18 | 2013-05-15 | 昆山市智汽电子科技有限公司 | 一种全景图像合成和显示的方法及装置 |
WO2014110906A1 (zh) * | 2013-01-18 | 2014-07-24 | 昆山市智汽电子科技有限公司 | 一种全景图像合成和显示的方法及装置 |
JP2016509220A (ja) * | 2013-02-04 | 2016-03-24 | デー・エヌ・ファオ.ゲー・エル.エス・エーDnv Gl Se | 内部を検査する検査カメラ・ユニット、内部を検査する方法、およびセンサ・ユニット |
CN107036582A (zh) * | 2017-06-14 | 2017-08-11 | 上海市政养护管理有限公司 | 一种检测道路路基沉降的系统及方法 |
KR20210083021A (ko) * | 2019-12-26 | 2021-07-06 | 주식회사 로탈 | 스테레오 카메라를 이용한 객체 위치 결정 시스템 |
KR102316243B1 (ko) * | 2019-12-26 | 2021-10-22 | 주식회사 로탈 | 스테레오 카메라를 이용한 객체 위치 결정 시스템 |
Also Published As
Publication number | Publication date |
---|---|
JP4892224B2 (ja) | 2012-03-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3631494B1 (en) | Integrated sensor calibration in natural scenes | |
CN109029444B (zh) | 一种基于图像匹配和空间定位的室内导航系统及导航方法 | |
US10909395B2 (en) | Object detection apparatus | |
US8239131B2 (en) | Navigation device, navigation method, and navigation program | |
CN108335337B (zh) | 一种正射影像图的生成方法及装置 | |
JP5389964B2 (ja) | 地図情報生成装置 | |
JP2012127896A (ja) | 移動体位置測定装置 | |
US8547375B2 (en) | Methods for transferring points of interest between images with non-parallel viewing directions | |
US10872246B2 (en) | Vehicle lane detection system | |
KR101255461B1 (ko) | 도로시설물 자동 위치측정 방법 | |
CN103411587A (zh) | 定位定姿方法及系统 | |
KR20170014916A (ko) | 단일 카메라와 gps를 이용한 영상 내 객체의 좌표 산출 방법 | |
JP6135972B2 (ja) | 標定方法、標定プログラム、及び標定装置 | |
JP4892224B2 (ja) | 路面標示自動計測システム、装置及び方法 | |
JP2009140402A (ja) | 情報表示装置、情報表示方法、情報表示プログラム及び情報表示プログラムを記録した記録媒体 | |
CN115371673A (zh) | 一种未知环境中基于Bundle Adjustment的双目相机目标定位方法 | |
CN113838129B (zh) | 一种获得位姿信息的方法、装置以及系统 | |
JP2010218362A (ja) | 地図画像処理装置、地図画像処理方法、および、コンピュータプログラム | |
JP5769149B2 (ja) | モバイルマッピングシステム、及びこれを用いた沿道対象物の計測方法と、位置特定プログラム | |
US11620832B2 (en) | Image based locationing | |
JP4116116B2 (ja) | 移動体の測距原点認識装置 | |
CN105424059A (zh) | 宽基线近红外相机位姿估计方法 | |
US10859377B2 (en) | Method for improving position information associated with a collection of images | |
JP3910844B2 (ja) | 新旧写真画像を用いた標定方法及び修正図化方法 | |
JPH1096607A (ja) | 物体検出装置および平面推定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081003 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110901 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110906 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111018 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111206 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111219 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4892224 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141222 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |