JP2018077713A - 区画線検出システム - Google Patents
区画線検出システム Download PDFInfo
- Publication number
- JP2018077713A JP2018077713A JP2016219729A JP2016219729A JP2018077713A JP 2018077713 A JP2018077713 A JP 2018077713A JP 2016219729 A JP2016219729 A JP 2016219729A JP 2016219729 A JP2016219729 A JP 2016219729A JP 2018077713 A JP2018077713 A JP 2018077713A
- Authority
- JP
- Japan
- Prior art keywords
- lane marking
- histogram
- lane
- search range
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
周囲路面(5)を撮像すべく車両(1)に搭載された撮像手段(2)と、
前記撮像手段に取得される入力画像(20)に設定された区画線探索範囲(21)の座標(pi,qi)を、前記路面を上方から俯瞰した俯瞰画像における区画線探索範囲(22)の座標(xi,yi)に変換するためのルックアップテーブル(23)、および、前記ルックアップテーブルに記載された全座標の車幅方向(x)の出現度数分布に対応する基準ヒストグラム(H1)を格納したデータ記憶手段(12)と、
前記入力画像(20)の前記区画線探索範囲(21)内に存在する区画線エッジピクセルを検出し、前記区画線エッジピクセルの車幅方向座標における入力ヒストグラム(H2)を取得する画像処理手段(13)と、
前記入力ヒストグラム(H2)を前記基準ヒストグラム(H1)で除算して補正ヒストグラム(H3)を取得し、前記補正ヒストグラムにおいて所定の閾値を超えた車幅方向座標を区画線(4)として検出する演算処理手段(13)と、
を備えた区画線検出システムにある。
図1は、本発明に係る区画線検出システムを車線逸脱警報システムとして実施した実施形態を示している。図1において、車線逸脱警報システムは、車両1の周囲路面を撮像するカメラ2、区画線検出装置10、警報装置3から構成され、区画線検出装置10は、画像記録部11、データ格納部12、区画線検出処理部13、および、車線逸脱判定部14を含む処理部を備えている。
図2は、カメラ2(バックカメラ)からの入力画像20の一例を示しており、両側の区画線4(車道外側線または車線境界線)によって区画された車線5(走行レーン)は、路面に向けて斜めに設置されているカメラ2の画角に起因して画面略中央上部に消失点を有する透視画像であるとともに、広角レンズに起因した樽型収差を有しており、車両との位置関係を直ちに特定することはできない。
そこで、リアルタイムで俯瞰画像22に変換する代わりに、俯瞰画像22において矩形領域となるように設定された区画線探索範囲(22)に対応する入力画像20の区画線探索範囲21においてエッジ検出を行い、検出された区画線エッジピクセルに対応する俯瞰画像22における座標値のみを、ルックアップテーブル23を用いて求めることで、リアルタイム処理における演算負荷を大幅に削減できる。
一方、図3(b)に示すように、俯瞰画像22では、車幅方向の中央から両側に離れるほど、画素サンプリング量が少なくなる。図4(a)は、ルックアップテーブル23内にある全座標のx軸方向の出現度数分布に対応するヒストグラムH1を示している。このように、画素サンプリング量に差があると、検出されたエッジピクセルを評価するために、x方向全体に同一の閾値を適用することができない。
以上述べたように、本発明に係る区画線検出システムでは、図5に示すようなプロセスで区画線検出のための前処理を行う。すなわち、
(1)カメラ2の入力画像20において、俯瞰画像22に変換された場合に矩形領域となるように区画線探索範囲21を設定する(ステップ51)。
(2)車両1に対するカメラ2の取付け位置、角度、画像仕様から、区画線探索範囲21に対応するルックアップテーブル23(x−LUT)を取得する(ステップ52)。
(3)ルックアップテーブル23(x−LUT)に記載された全座標の車幅方向(x)の出現度数分布に対応する基準ヒストグラムH1を作成する(ステップ53)。
以上のような前処理を経た区画線検出システムは、車両1の走行中において、画像記録部11に取得される入力画像20に対して、図6に示すようなプロセスで区画線検出を実行する。すなわち、
(1)入力画像20の区画線探索範囲21に対して、x軸方向に隣接するピクセルの輝度差などに基づきエッジ検出を行い、区画線エッジピクセルg(pi,qi)を探索する(ステップ61)。
(2)ルックアップテーブル23(x−LUT)を参照して、検出された全ての区画線エッジピクセルg(pi,qi)に対応するx座標値を求める(ステップ62)。
(3)区画線エッジピクセルg(pi,qi)に対応するx座標値について、横軸をx座標値、縦軸を度数とする入力ヒストグラムH2を作成する(ステップ63)。
(4)入力ヒストグラムH2を基準ヒストグラムH1で除算して補正ヒストグラムH3を取得する(ステップ64)。
(5)補正ヒストグラムH3において、所定の閾値Sを超えたx座標値を区画線位置として検出する(ステップ65,66)。
(6)区画線位置のx座標値(xi)と車両1の車幅に対応する左右の極限値(xL,xR)と比較し、極限値を越えた場合、すなわちxL>xiまたはxR<xiとなった場合に車線逸脱状態に移行しつつあると判定し(ステップ68)、警報装置3に車線逸脱警報信号を出力する(ステップ69)。
図7に示す第2実施形態の区画線検出システムでは、車両側部(サイドミラーなど)に取付けられ、車両側方を撮像するサイドカメラ202を撮像手段として利用する場合を示している。この場合も、入力画像220における区画線探索範囲221は、入力画像220を俯瞰画像222に変換した場合に矩形領域となるように設定されているが、サイドカメラ202の入力画像220に基づく俯瞰画像222では、サイドカメラ202の光軸方向であるy軸方向が車幅方向、x軸方向が車両1の進行方向(車長方向)となり、検出すべき区画線4は基本的にx軸方向に延在し、区画線4のy座標値が検出対象となる。
図9に示す第3実施形態の区画線検出システムでは、車両前側部に取付けられ、車両前側方を撮像するコーナーカメラ302を撮像手段として利用する場合を示している。入力画像320における区画線探索範囲(331)が、入力画像320を俯瞰画像332に変換した場合に矩形領域となるように設定される点は同様であるが、コーナーカメラ302の入力画像320に基づく俯瞰画像332では、図9(c)に示すように、検出すべき区画線4は、コーナーカメラ302の光軸方向(y軸方向)に対して傾斜方向に延在するので、y軸方向やx軸方向のエッジ検出では検出感度が低下する。
2 カメラ(バックカメラ、撮像手段)
3 警報装置
4 区画線(白線、車道外側線、車線境界線)
5 車線(走行レーン、周囲路面)
10 区画線検出装置(処理手段)
11 画像記録部(画像記録手段)
12 データ格納部(データ記憶手段)
13 区画線検出処理部(画像処理手段、演算処理手段)
14 車線逸脱判定部
20 入力画像
21 区画線探索範囲
22 俯瞰画像(区画線探索範囲)
23 ルックアップテーブル(x−LUT)
202 カメラ(サイドカメラ、撮像手段)
220 入力画像
221 区画線探索範囲
222 俯瞰画像(区画線探索範囲)
302 カメラ(コーナーカメラ、撮像手段)
320 入力画像
321 区画線探索範囲
322 俯瞰画像(区画線探索範囲)
H1 基準ヒストグラム
H2 入力ヒストグラム
H3 補正ヒストグラム
Claims (4)
- 周囲路面を撮像すべく車両に搭載された撮像手段と、
前記撮像手段に取得される入力画像に設定された区画線探索範囲の座標を、前記路面を上方から俯瞰した俯瞰画像における区画線探索範囲の座標に変換するためのルックアップテーブル、および、前記ルックアップテーブルに記載された全座標の車幅方向の出現度数分布に対応する基準ヒストグラムを格納したデータ記憶手段と、
前記入力画像の前記区画線探索範囲内に存在する区画線エッジピクセルを検出し、前記区画線エッジピクセルの車幅方向座標における入力ヒストグラムを取得する画像処理手段と、
前記入力ヒストグラムを前記基準ヒストグラムで除算して補正ヒストグラムを取得し、前記補正ヒストグラムにおいて所定の閾値を超えた車幅方向座標を区画線として検出する演算処理手段と、
を備えた、区画線検出システム。 - 周囲路面を撮像すべく車両に搭載された撮像手段と、
前記撮像手段に取得される入力画像に設定された区画線探索範囲の座標を、前記路面を上方から俯瞰した俯瞰画像における区画線探索範囲の座標に変換するためのルックアップテーブル、および、前記ルックアップテーブルに記載された全座標の車幅方向の出現度数分布に対応する基準ヒストグラムを格納したデータ記憶手段と、
前記入力画像の前記区画線探索範囲にエッジ検出処理を適用し、前記区画線探索範囲内に存在する区画線エッジピクセルを検出するステップ、前記区画線エッジピクセルの車幅方向座標における入力ヒストグラムを取得するステップ、前記入力ヒストグラムを前記基準ヒストグラムで除算して補正ヒストグラムを取得するステップ、および、前記補正ヒストグラムにおいて所定の閾値を超えた車幅方向座標を区画線として検出するステップをその順に実行するように構成されている処理手段と、
を備えた、区画線検出システム。 - 前記入力画像を所定フレームレートで記録する画像記録手段をさらに備え、
前記処理手段は、前記補正ヒストグラムにおいて所定の閾値を超えた車幅方向座標を区画線として検出するステップの後で、前記区画線の座標値が、自車両の車幅に対応する極限値を越えた場合に車線逸脱と判定するステップを実行するように構成されている、
請求項2記載の区画線検出システム。 - 前記入力画像における前記区画線探索範囲は、前記俯瞰画像における前記区画線探索範囲が車幅方向と平行な横軸およびそれと直交する縦軸で囲まれた矩形領域となるように設定されている、請求項1〜3の何れか一項記載の区画線検出システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016219729A JP6802999B2 (ja) | 2016-11-10 | 2016-11-10 | 区画線検出システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016219729A JP6802999B2 (ja) | 2016-11-10 | 2016-11-10 | 区画線検出システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018077713A true JP2018077713A (ja) | 2018-05-17 |
JP6802999B2 JP6802999B2 (ja) | 2020-12-23 |
Family
ID=62149363
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016219729A Active JP6802999B2 (ja) | 2016-11-10 | 2016-11-10 | 区画線検出システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6802999B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112200100A (zh) * | 2020-10-15 | 2021-01-08 | 上海泽高电子工程技术股份有限公司 | 一种基于图像的轨道提取技术 |
CN112529966A (zh) * | 2020-12-17 | 2021-03-19 | 豪威科技(武汉)有限公司 | 一种车载环视系统的在线标定方法及其车载环视系统 |
JP7142131B1 (ja) * | 2021-07-12 | 2022-09-26 | 株式会社デンソーテン | 車線検出装置、車線検出方法および車線検出プログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009096274A (ja) * | 2007-10-16 | 2009-05-07 | Nissan Motor Co Ltd | 白線検出装置、駐停車支援装置および白線検出方法 |
JP2016004423A (ja) * | 2014-06-17 | 2016-01-12 | スズキ株式会社 | 俯瞰画像生成装置 |
-
2016
- 2016-11-10 JP JP2016219729A patent/JP6802999B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009096274A (ja) * | 2007-10-16 | 2009-05-07 | Nissan Motor Co Ltd | 白線検出装置、駐停車支援装置および白線検出方法 |
JP2016004423A (ja) * | 2014-06-17 | 2016-01-12 | スズキ株式会社 | 俯瞰画像生成装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112200100A (zh) * | 2020-10-15 | 2021-01-08 | 上海泽高电子工程技术股份有限公司 | 一种基于图像的轨道提取技术 |
CN112529966A (zh) * | 2020-12-17 | 2021-03-19 | 豪威科技(武汉)有限公司 | 一种车载环视系统的在线标定方法及其车载环视系统 |
CN112529966B (zh) * | 2020-12-17 | 2023-09-15 | 豪威科技(武汉)有限公司 | 一种车载环视系统的在线标定方法及其车载环视系统 |
JP7142131B1 (ja) * | 2021-07-12 | 2022-09-26 | 株式会社デンソーテン | 車線検出装置、車線検出方法および車線検出プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6802999B2 (ja) | 2020-12-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10449900B2 (en) | Video synthesis system, video synthesis device, and video synthesis method | |
JP4899424B2 (ja) | 物体検出装置 | |
WO2016002163A1 (ja) | 画像表示装置、画像表示方法 | |
KR101389884B1 (ko) | 차량 이미지를 처리하기 위한 동적 이미지 처리 방법 및 시스템 | |
EP3859593A1 (en) | Vehicle feature acquisition method and device | |
JP2009060499A (ja) | 運転支援システム及び連結車両 | |
JP2002359838A (ja) | 運転支援装置 | |
US10733464B2 (en) | Method, system and device of obtaining 3D-information of objects | |
JP2010016805A (ja) | 画像処理装置、運転支援システム、及び画像処理方法 | |
KR20170118077A (ko) | 차량 주변을 왜곡 없이 보여주는 방법 및 장치 | |
JP6802999B2 (ja) | 区画線検出システム | |
JP5935435B2 (ja) | 画像処理装置、画像処理方法 | |
CN113508574A (zh) | 成像系统和方法 | |
JP6375633B2 (ja) | 車両周辺画像表示装置、車両周辺画像表示方法 | |
JP2016149613A (ja) | カメラパラメータ調整装置 | |
JP6152261B2 (ja) | 車載用駐車枠認識装置 | |
JP2013242625A (ja) | 画像処理装置、画像処理方法 | |
CN111160070A (zh) | 车辆全景图像盲区消除方法、装置、存储介质及终端设备 | |
JP2018503195A (ja) | 物体検出方法及び物体検出装置 | |
JP2007134961A (ja) | 車両検出装置及びこれを用いた車両用表示装置 | |
JP5155204B2 (ja) | 白線検出装置 | |
EP3163533A1 (en) | Adaptive view projection for a vehicle camera system | |
KR102003387B1 (ko) | 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체 | |
JP5305750B2 (ja) | 車両周辺表示装置およびその表示方法 | |
JP6032141B2 (ja) | 走行路面標示検知装置および走行路面標示検知方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190719 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200827 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200904 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201002 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201030 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201112 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6802999 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |