JP2018077713A - 区画線検出システム - Google Patents

区画線検出システム Download PDF

Info

Publication number
JP2018077713A
JP2018077713A JP2016219729A JP2016219729A JP2018077713A JP 2018077713 A JP2018077713 A JP 2018077713A JP 2016219729 A JP2016219729 A JP 2016219729A JP 2016219729 A JP2016219729 A JP 2016219729A JP 2018077713 A JP2018077713 A JP 2018077713A
Authority
JP
Japan
Prior art keywords
lane marking
histogram
lane
search range
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016219729A
Other languages
English (en)
Other versions
JP6802999B2 (ja
Inventor
茂 小笠原
Shigeru Ogasawara
茂 小笠原
祐一 梅実
Yuichi Umemi
祐一 梅実
章則 宇野
Akinori Uno
章則 宇野
柴田 健吾
Kengo Shibata
健吾 柴田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzuki Motor Corp
Original Assignee
Suzuki Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzuki Motor Corp filed Critical Suzuki Motor Corp
Priority to JP2016219729A priority Critical patent/JP6802999B2/ja
Publication of JP2018077713A publication Critical patent/JP2018077713A/ja
Application granted granted Critical
Publication of JP6802999B2 publication Critical patent/JP6802999B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】検出精度を確保しつつ処理の負荷を低減でき、リアルタイム性を確保するうえで有利な区画線検出システムを提供する。【解決手段】区画線検出装置10は、周囲路面を撮像する車載のカメラと、カメラに取得される入力画像に設定された区画線探索範囲の座標を、路面を上方から俯瞰した俯瞰画像における区画線探索範囲の座標に変換するためのルックアップテーブルおよびルックアップテーブルに記載された全座標の車幅方向の出現度数分布に対応する基準ヒストグラムを格納したデータ格納部と、入力画像の区画線探索範囲内に存在する区画線エッジピクセルを検出し、区画線エッジピクセルの横軸座標における入力ヒストグラムを取得し、入力ヒストグラムを基準ヒストグラムで除算して補正ヒストグラムを取得し、補正ヒストグラムにおいて所定の閾値を超えた横軸座標を区画線として検出する区画線検出処理部とを備える。【選択図】図1

Description

本発明は、道路上に車両の走行レーンなどを表示した区画線検出システムに関する。
従来、車載カメラの画像を利用して、道路上の区画線(白線など)とそれ以外の路面との輝度差などから区画線を検出する種々の方法が提案されている。一般に車載カメラとしては、近景から遠景に亘って広範囲の画像を取得するために広角レンズを備えたカメラが使用され、路面に対して斜めに画角が設定される。このような車載カメラに取得される入力画像では、例えば平行な2本の区画線からなる走行レーンは、2本の区画線が両側斜辺に沿って延びる台形状を呈し、それに広角レンズの歪曲収差が加わる。
特許文献1では、上記のような入力画像を歪みの無い俯瞰画像に変換し、該俯瞰画像における輝度情報から微分演算を経て白線を検出する方法が提案されている。このような俯瞰画像への変換を行う場合、遠景側で画素の補間処理を行うか、または、特許文献1に記載されるように、特定画素のみを抽出する間引きによる圧縮を行うことになるが、前者では演算の負荷が大きい割に検出精度への寄与は少なく、後者では近景側の解像度が無駄になり、検出精度の低下は否めない。
特開2009−96274号公報
本発明は、上記のような実状に鑑みてなされたものであり、その目的は、検出精度を確保しつつ処理の負荷を低減でき、リアルタイム性を確保するうえで有利な区画線検出システムを提供することにある。
上記課題を解決するために、本発明は、
周囲路面(5)を撮像すべく車両(1)に搭載された撮像手段(2)と、
前記撮像手段に取得される入力画像(20)に設定された区画線探索範囲(21)の座標(pi,qi)を、前記路面を上方から俯瞰した俯瞰画像における区画線探索範囲(22)の座標(xi,yi)に変換するためのルックアップテーブル(23)、および、前記ルックアップテーブルに記載された全座標の車幅方向(x)の出現度数分布に対応する基準ヒストグラム(H1)を格納したデータ記憶手段(12)と、
前記入力画像(20)の前記区画線探索範囲(21)内に存在する区画線エッジピクセルを検出し、前記区画線エッジピクセルの車幅方向座標における入力ヒストグラム(H2)を取得する画像処理手段(13)と、
前記入力ヒストグラム(H2)を前記基準ヒストグラム(H1)で除算して補正ヒストグラム(H3)を取得し、前記補正ヒストグラムにおいて所定の閾値を超えた車幅方向座標を区画線(4)として検出する演算処理手段(13)と、
を備えた区画線検出システムにある。
本発明に係る区画線検出システムによれば、入力画像を俯瞰画像に変換するルックアップテーブルを利用して、入力画像の区画線探索範囲に検出される区画線エッジピクセルの俯瞰画像座標を求め、それに基準ヒストグラムに基づく補正(標準化)を行うことで、入力画像から俯瞰画像等への画像変換をせずに、簡易な演算処理のみで直ちに区画線位置を検出でき、演算負荷の低減による処理の高速化が見込め、車線逸脱警報や経路誘導機能、操舵補助機能など、高応答性、リアルタイム性が要求される用途に有利である。
本発明実施形態に係る区画線検出システムを示すブロック図である。 入力画像の例を示す概略図である。 本発明第1実施形態に係る(a)車両と入力画像および俯瞰画像の関係を示す斜視図、(b)入力画像と俯瞰画像における座標の対応関係を示す概略図、(c)入力画像を俯瞰画像に変換するルックアップテーブルを示す概略図である。 (a)x−LUT基準ヒストグラム、(b)区画線エッジピクセルに対応する車幅方向座標(xi)のヒストグラム、(c)補正ヒストグラムである。 本発明実施形態に係る区画線検出の前処理を示すフローチャートである。 本発明実施形態に係る区画線検出プロセスのリアルタイム処理を示すフローチャートである。 本発明第2実施形態に係る(a)車両とサイドカメラの入力画像および俯瞰画像の関係を示す斜視図、(b)サイドカメラの入力画像と(c)俯瞰画像における座標の対応関係を示す概略図である。 本発明第2実施形態に係る(a)y−LUT基準ヒストグラム、(b)区画線エッジピクセルに対応する車幅方向座標(yi)のヒストグラム、(c)補正ヒストグラムである。 本発明第3実施形態に係る(a)車両とコーナーカメラの入力画像および俯瞰画像の関係を示す斜視図、(b)コーナーカメラの入力画像と(c)俯瞰画像、(d)回転した入力画像と(e)俯瞰画像における座標の対応関係を示す概略図、(e)u−LUT基準ヒストグラムである。 (a)車両とバックカメラ、サイドカメラ、コーナーカメラの区画線探索範囲の関係を示す平面図、(b)バックカメラ、(c)サイドカメラ、(d)コーナーカメラの入力画像と区画線探索範囲の関係を示す概略図である。
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
図1は、本発明に係る区画線検出システムを車線逸脱警報システムとして実施した実施形態を示している。図1において、車線逸脱警報システムは、車両1の周囲路面を撮像するカメラ2、区画線検出装置10、警報装置3から構成され、区画線検出装置10は、画像記録部11、データ格納部12、区画線検出処理部13、および、車線逸脱判定部14を含む処理部を備えている。
カメラ2は、CMOS,CMD,CCDなどの固体撮像素子と広角レンズを用いたデジタルカメラが好適であり、フロントカメラ、バックカメラ、サイドカメラ、コーナーカメラなど、既存の車載カメラを利用することもできる。車両1が車線方向に走行する場合における区画線の車幅方向位置を検出するため、車両1への取付け角度(光軸方向)に応じて検出座標方向が選定される。以下に述べる第1実施形態では、図3に示されるように、車両後部に取付けられ、車体後部から地表面を含み近景から遠景までを画角に収めるバックカメラを撮像手段として利用している。
画像記録部11は、カメラ2から送られる映像信号を所定のフレームレートで入力画像20として記録する画像記録手段であり、専用のグラフィックメモリ(VRAM)、または、区画線検出装置10を構成するコンピュータのメインメモリ(RAM)を利用可能である。
データ格納部12は、後述する座標変換用のルックアップテーブル23(x−LUT)および基準ヒストグラムH1を格納するデータ記憶手段であり、区画線検出装置10を構成するコンピュータのプログラムを格納するROM(フラッシュメモリ)を利用可能である。
区画線検出処理部13は、入力画像20の区画線探索範囲21内に存在する区画線エッジピクセルを検出し、車幅方向座標(xi)の入力ヒストグラムH2を取得する画像処理手段、および、入力ヒストグラムH2を基準ヒストグラムH1で除算して補正ヒストグラムH3を取得し、補正ヒストグラムにおいて所定の閾値Sを超えた車幅方向座標(xi)を区画線4として検出する演算処理手段を構成する部分である。
車線逸脱判定部14は、区画線検出処理部13で検出された区画線4の座標値(xi)と、自車両の車幅に対応する極限値(xL,xR)とを比較し、極限値を越えた場合に車線逸脱状態に移行しつつあると判定し、警報装置3に車線逸脱信号を出力する。
これらは、区画線検出装置10の各機能を実行するように動作可能なプログラムを格納するROM(フラッシュメモリ)、演算処理を行うCPU、前記プログラムが読み出され前記CPUの作業領域および演算結果の一時記憶領域となるRAM、および入出力インターフェースなどを備えたコンピュータ(マイクロコンピュータ)で構成される。
なお、警報装置3は、運転者に対して車線逸脱状態に近づいていることを、(i)視覚的に表示するディスプレイやランプ、(ii)音声や警報音で伝えるスピーカやブザー、(iii)振動で伝えるバイブレータなどから構成される。
ディスプレイとしては、専用ディスプレイのほかに、カーナビゲーションシステムのディスプレイやヘッドアップディスプレイを利用可能であり、スピーカとしては、車載オーディオ装置のスピーカを利用可能である。また、バイブレータとしてはステアリングハンドルに埋設されたバイブレータのほかに、EPSモータを用いてステアリングハンドル自体をパルス振動させることもできる。
以上のように構成された区画線検出システムは、(i)ルックアップテーブル23(x−LUT)および基準ヒストグラムH1を取得する前処理(図5)、(ii)走行中の車両において実際に区画線検出を行うリアルタイム処理(図6)の二段階で実施される。以下、区画線検出の基本概念とそれぞれの処理について図面を参照しながら説明する。
(区画線検出の基本概念)
図2は、カメラ2(バックカメラ)からの入力画像20の一例を示しており、両側の区画線4(車道外側線または車線境界線)によって区画された車線5(走行レーン)は、路面に向けて斜めに設置されているカメラ2の画角に起因して画面略中央上部に消失点を有する透視画像であるとともに、広角レンズに起因した樽型収差を有しており、車両との位置関係を直ちに特定することはできない。
上記のような入力画像20は、図3(a)に示すように、カメラ2の光軸方向と直交する仮想平面における透視図と見ることができ、このような入力画像20を、路面(5)を垂直に見下ろす俯瞰画像22に変換することで、歪みのない平面上の直交座標系で、区画線4の位置を特定できる。
このような画像変換を行う場合、路面の垂直上方に仮想視点を設定して3次元座標変換する代わりに、図3(b)に示すように、変換前後の座標g(pi,qi),g′(xi,yi)の対応関係を規定したルックアップテーブルを用いることで、行列・逆行列演算などの計算処理が簡略化される利点がある。
しかしながら、このような画像変換を行って俯瞰画像22を作成し、さらに俯瞰画像22に対してエッジ検出などの画像処理を行うとなると、演算処理の負荷が大きくなるばかりか、俯瞰画像22の遠景側では歪が大きくなるとともに、入力画像20の1つの画素が補間処理によって引き伸ばされることで、検出精度への寄与が少ない。
(ルックアップテーブル、x−LUT)
そこで、リアルタイムで俯瞰画像22に変換する代わりに、俯瞰画像22において矩形領域となるように設定された区画線探索範囲(22)に対応する入力画像20の区画線探索範囲21においてエッジ検出を行い、検出された区画線エッジピクセルに対応する俯瞰画像22における座標値のみを、ルックアップテーブル23を用いて求めることで、リアルタイム処理における演算負荷を大幅に削減できる。
さらに、俯瞰画像22の遠景側では、x方向のみならず、y方向にも画像が引き伸ばされ、画素のサンプリング量が少なくなるが、基本的に車両1の走行方向に延びる区画線4の検出では、y方向の位置は重要度が低い。そこで、図3(c)に示すように、ルックアップテーブル23は、入力画像20のx座標のみを変換するx−LUTとすることで、さらにリアルタイム処理における演算負荷は削減される。
(基準ヒストグラム)
一方、図3(b)に示すように、俯瞰画像22では、車幅方向の中央から両側に離れるほど、画素サンプリング量が少なくなる。図4(a)は、ルックアップテーブル23内にある全座標のx軸方向の出現度数分布に対応するヒストグラムH1を示している。このように、画素サンプリング量に差があると、検出されたエッジピクセルを評価するために、x方向全体に同一の閾値を適用することができない。
そこで、ヒストグラムH1を基準ヒストグラムとして、図4(b)に示すような入力画像20で検出された区画線エッジピクセルの入力ヒストグラムH2を、基準ヒストグラムH1で除算して、図4(c)に示すような補正ヒストグラムH3を得ることにより、画素サンプリング量のアンバランスが是正され、x方向全体に同一の閾値Sを適用可能となり、この閾値Sを越えたx座標値を区画線位置として直ちに検出可能となる。
(区画線検出の前処理)
以上述べたように、本発明に係る区画線検出システムでは、図5に示すようなプロセスで区画線検出のための前処理を行う。すなわち、
(1)カメラ2の入力画像20において、俯瞰画像22に変換された場合に矩形領域となるように区画線探索範囲21を設定する(ステップ51)。
(2)車両1に対するカメラ2の取付け位置、角度、画像仕様から、区画線探索範囲21に対応するルックアップテーブル23(x−LUT)を取得する(ステップ52)。
(3)ルックアップテーブル23(x−LUT)に記載された全座標の車幅方向(x)の出現度数分布に対応する基準ヒストグラムH1を作成する(ステップ53)。
上記において、区画線探索範囲21は、例えば一般的な車線5の幅を考慮して、俯瞰画像22において左右幅方向(x軸方向)6m、前後車長方向(y軸方向)2〜7mに設定する。
区画線探索範囲21に対応するルックアップテーブル23の取得に際しては、例えば、俯瞰画像22の上空に仮想視点を設定し、カメラ2に取得される画像上の画素(pi,qi)を、ピンホールカメラモデルに基づいて、カメラ2の光軸に垂直なイメージプレーン上へ置き換え、このイメージプレーンをカメラ光軸に沿って仮想的に車両後方にシフトしていくことで、焦点距離の増加とともにイメージプレーン上の像が拡大し、このプレーン上の各画素が路面5と交わった点の実空間座標(xi,yi)を記録する。
これらのプロセスを実行するプログラムを区画線検出装置10のROMに用意し、前処理のメニュー画面で、カメラパラメータや区画線探索範囲サイズを入力することで、ルックアップテーブル23(x−LUT)および基準ヒストグラムH1が作成され、データ格納部12(ROM)に保存されるようにする。
(区画線検出のリアルタイム処理)
以上のような前処理を経た区画線検出システムは、車両1の走行中において、画像記録部11に取得される入力画像20に対して、図6に示すようなプロセスで区画線検出を実行する。すなわち、
(1)入力画像20の区画線探索範囲21に対して、x軸方向に隣接するピクセルの輝度差などに基づきエッジ検出を行い、区画線エッジピクセルg(pi,qi)を探索する(ステップ61)。
(2)ルックアップテーブル23(x−LUT)を参照して、検出された全ての区画線エッジピクセルg(pi,qi)に対応するx座標値を求める(ステップ62)。
(3)区画線エッジピクセルg(pi,qi)に対応するx座標値について、横軸をx座標値、縦軸を度数とする入力ヒストグラムH2を作成する(ステップ63)。
(4)入力ヒストグラムH2を基準ヒストグラムH1で除算して補正ヒストグラムH3を取得する(ステップ64)。
(5)補正ヒストグラムH3において、所定の閾値Sを超えたx座標値を区画線位置として検出する(ステップ65,66)。
(6)区画線位置のx座標値(xi)と車両1の車幅に対応する左右の極限値(xL,xR)と比較し、極限値を越えた場合、すなわちxL>xiまたはxR<xiとなった場合に車線逸脱状態に移行しつつあると判定し(ステップ68)、警報装置3に車線逸脱警報信号を出力する(ステップ69)。
上記(1)〜(6)の区画線検出/車線逸脱判定プロセスを、所定のフレームレート(例えば毎秒30フレーム)で読み込まれる入力画像20に順に実施するか、または、上記(1)〜(5)の区画線検出プロセスを入力画像20に実施する一方、(6)の車線逸脱判定プロセスは、連続した複数フレームにおける区画線位置のx座標値(xi)の位置の変化に基づいて左右の極限値(xL,xR)への接近を予測して、車線逸脱警報信号を出力するようにすることもできる。
なお、エッジ検出に際しては、入力画像20にノーマライズなどのフィルタ処理を実施した後、区画線探索範囲21の全てのy座標について、x軸方向のライン走査を実施し、隣接するピクセルの輝度差が最大になるピクセルを検出する方法、x軸方向の輝度値の1次微分において傾斜が最大になるピクセルを検出する方法、さらには、入力画像20を二値化する方法など、比較的簡単な方法で実施可能である。
上記第1実施形態では、撮像手段として車両後部に取付けられたバックカメラを利用する場合について述べたが、本発明に係る区画線検出はこれに限定されるものではなく、車両前方を撮像するフロントカメラや、車両側方を撮像するサイドカメラ、車両前側方または車両後側方を撮像するコーナーカメラを用いることもできる。基本的な構成は同様であるため、以下、差異点を中心に説明する。
(第2実施形態)
図7に示す第2実施形態の区画線検出システムでは、車両側部(サイドミラーなど)に取付けられ、車両側方を撮像するサイドカメラ202を撮像手段として利用する場合を示している。この場合も、入力画像220における区画線探索範囲221は、入力画像220を俯瞰画像222に変換した場合に矩形領域となるように設定されているが、サイドカメラ202の入力画像220に基づく俯瞰画像222では、サイドカメラ202の光軸方向であるy軸方向が車幅方向、x軸方向が車両1の進行方向(車長方向)となり、検出すべき区画線4は基本的にx軸方向に延在し、区画線4のy座標値が検出対象となる。
そこで、図8(a)に示すように、区画線探索範囲221に対応するルックアップテーブル(y−LUT)を取得し、ルックアップテーブル(y−LUT)内にある全座標のy軸方向の出現度数分布に対応する基準ヒストグラムH1を取得し、図8(b)に示すように、入力画像220で検出された区画線エッジピクセルの入力ヒストグラムH2を、基準ヒストグラムH1で除算して、図8(c)に示すような補正ヒストグラムH3を得ることにより、y方向全体に同一の閾値を適用可能となり、この閾値を越えたy座標値を区画線位置として検出する。
上記第2実施形態において、入力画像220を90度回転し、第1実施形態と同様に、x−LUTベースで基準ヒストグラムH1を取得し、入力ヒストグラムH2を、基準ヒストグラムH1で除算して補正ヒストグラムH3を得て区画線検出することもできる。
(第3実施形態)
図9に示す第3実施形態の区画線検出システムでは、車両前側部に取付けられ、車両前側方を撮像するコーナーカメラ302を撮像手段として利用する場合を示している。入力画像320における区画線探索範囲(331)が、入力画像320を俯瞰画像332に変換した場合に矩形領域となるように設定される点は同様であるが、コーナーカメラ302の入力画像320に基づく俯瞰画像332では、図9(c)に示すように、検出すべき区画線4は、コーナーカメラ302の光軸方向(y軸方向)に対して傾斜方向に延在するので、y軸方向やx軸方向のエッジ検出では検出感度が低下する。
エッジ検出感度を高くするためには、図9(c)中において車両1の進行方向(車長方向)となるV方向に延在する区画線4と直交するU方向にエッジ探索することが好ましい。しかし、当然ながら傾斜方向の探索では、x,yそれぞれの方向でエッジピクセルg′(xi,yi)の存在を確認する必要が生じるため、演算負荷が大きくなる。
そこで、図9(d)(e)に示すように、入力画像320を、その俯瞰画像332における進行方向との傾斜角度(θ:カメラの取付け角度の水平成分)の分だけ回転し、U軸方向が車幅方向、V軸方向が車両1の進行方向(車長方向)と一致するような直交座標系であるU−V座標系を規定し、このU−V座標系で傾斜の無い矩形領域(322)となるような区画線探索範囲321を設定し、この区画線探索範囲321に対応するルックアップテーブルを取得する。
入力画像320に対して角度θ回転させた画像320′における区画線探索範囲321に対応する俯瞰画像での区画線探索範囲322を座標変換により求めるためのルックアップテーブル(U−LUT,V−LUT)は、回転せずに俯瞰画像に座標変換する場合のルックアップテーブル(x−LUT,y−LUT)から、次式により求めることができる。
Figure 2018077713
上記のような回転処理を追加することで、第1実施形態と同様に、図9(f)に示すように、ルックアップテーブル(U−LUT)内にある全座標のU軸方向の出現度数分布に対応する基準ヒストグラムH1を取得し、入力画像320の区画線探索範囲321で検出された区画線エッジピクセルの入力ヒストグラムH2を、基準ヒストグラムH1で除算して補正ヒストグラムH3を得ることにより、U方向全体に同一の閾値を適用可能となり、この閾値を越えたU座標値を区画線位置として検出可能である。
上記回転処理を含むルックアップテーブルや基準ヒストグラムH1の取得は、区画線検出の前処理段階で完了しており、区画線検出のリアルタイム処理において、それぞれのルックアップテーブル(x−LUT,y−LUT,U−LUT)を参照して区画線エッジピクセルg(pi,qi)に対応する座標値g′(xi,yi)、g″(Ui,Vi)を求める演算処理や、それらから得られる入力ヒストグラムH2に基準ヒストグラムH1を適用して補正ヒストグラムH3を得る演算処理は基本的に同様である。
図10(a)は、車両1とバックカメラ2(第1実施形態)、サイドカメラ202(第2実施形態)、コーナーカメラ302(第3実施形態)のそれぞれの光軸方向2a,202a,302a、および、区画線探索範囲21,221,321の関係を示しており、図10(b)〜(d)は、バックカメラ2、サイドカメラ202、コーナーカメラ302のそれぞれの入力画像20,220,320と区画線探索範囲21,221,321の関係を示している。フロントカメラの場合は図示されていないが、バックカメラ2と進行方向が異なるだけで、基本的に同様に実施可能である。
なお、上記第2および第3実施形態では、車両進行方向左側のサイドカメラ202およびコーナーカメラ302を用いる場合について述べたが、基本的に車両進行方向右側のサイドカメラおよびコーナーカメラについても同様の処理が同時に実施される。その際、左右各側のカメラがそれぞれの側の区画線を検出しても良いし、左右の画像を合成して1台のカメラを用いる場合と同様の処理を行うこともできる。
また、上記各実施形態では、区画線検出システムを車線逸脱判定/警報に利用する場合について述べたが、その他にも、駐車時の操舵補助機能や、区画線による経路誘導機能など、様々な利用が見込まれる。
以上、本発明のいくつかの実施形態について述べたが、本発明は上記実施形態に限定されるものではなく、本発明の技術的思想に基づいてさらに各種の変形および変更が可能であることを付言する。
1 車両
2 カメラ(バックカメラ、撮像手段)
3 警報装置
4 区画線(白線、車道外側線、車線境界線)
5 車線(走行レーン、周囲路面)
10 区画線検出装置(処理手段)
11 画像記録部(画像記録手段)
12 データ格納部(データ記憶手段)
13 区画線検出処理部(画像処理手段、演算処理手段)
14 車線逸脱判定部
20 入力画像
21 区画線探索範囲
22 俯瞰画像(区画線探索範囲)
23 ルックアップテーブル(x−LUT)
202 カメラ(サイドカメラ、撮像手段)
220 入力画像
221 区画線探索範囲
222 俯瞰画像(区画線探索範囲)
302 カメラ(コーナーカメラ、撮像手段)
320 入力画像
321 区画線探索範囲
322 俯瞰画像(区画線探索範囲)
H1 基準ヒストグラム
H2 入力ヒストグラム
H3 補正ヒストグラム

Claims (4)

  1. 周囲路面を撮像すべく車両に搭載された撮像手段と、
    前記撮像手段に取得される入力画像に設定された区画線探索範囲の座標を、前記路面を上方から俯瞰した俯瞰画像における区画線探索範囲の座標に変換するためのルックアップテーブル、および、前記ルックアップテーブルに記載された全座標の車幅方向の出現度数分布に対応する基準ヒストグラムを格納したデータ記憶手段と、
    前記入力画像の前記区画線探索範囲内に存在する区画線エッジピクセルを検出し、前記区画線エッジピクセルの車幅方向座標における入力ヒストグラムを取得する画像処理手段と、
    前記入力ヒストグラムを前記基準ヒストグラムで除算して補正ヒストグラムを取得し、前記補正ヒストグラムにおいて所定の閾値を超えた車幅方向座標を区画線として検出する演算処理手段と、
    を備えた、区画線検出システム。
  2. 周囲路面を撮像すべく車両に搭載された撮像手段と、
    前記撮像手段に取得される入力画像に設定された区画線探索範囲の座標を、前記路面を上方から俯瞰した俯瞰画像における区画線探索範囲の座標に変換するためのルックアップテーブル、および、前記ルックアップテーブルに記載された全座標の車幅方向の出現度数分布に対応する基準ヒストグラムを格納したデータ記憶手段と、
    前記入力画像の前記区画線探索範囲にエッジ検出処理を適用し、前記区画線探索範囲内に存在する区画線エッジピクセルを検出するステップ、前記区画線エッジピクセルの車幅方向座標における入力ヒストグラムを取得するステップ、前記入力ヒストグラムを前記基準ヒストグラムで除算して補正ヒストグラムを取得するステップ、および、前記補正ヒストグラムにおいて所定の閾値を超えた車幅方向座標を区画線として検出するステップをその順に実行するように構成されている処理手段と、
    を備えた、区画線検出システム。
  3. 前記入力画像を所定フレームレートで記録する画像記録手段をさらに備え、
    前記処理手段は、前記補正ヒストグラムにおいて所定の閾値を超えた車幅方向座標を区画線として検出するステップの後で、前記区画線の座標値が、自車両の車幅に対応する極限値を越えた場合に車線逸脱と判定するステップを実行するように構成されている、
    請求項2記載の区画線検出システム。
  4. 前記入力画像における前記区画線探索範囲は、前記俯瞰画像における前記区画線探索範囲が車幅方向と平行な横軸およびそれと直交する縦軸で囲まれた矩形領域となるように設定されている、請求項1〜3の何れか一項記載の区画線検出システム。
JP2016219729A 2016-11-10 2016-11-10 区画線検出システム Active JP6802999B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016219729A JP6802999B2 (ja) 2016-11-10 2016-11-10 区画線検出システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016219729A JP6802999B2 (ja) 2016-11-10 2016-11-10 区画線検出システム

Publications (2)

Publication Number Publication Date
JP2018077713A true JP2018077713A (ja) 2018-05-17
JP6802999B2 JP6802999B2 (ja) 2020-12-23

Family

ID=62149363

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016219729A Active JP6802999B2 (ja) 2016-11-10 2016-11-10 区画線検出システム

Country Status (1)

Country Link
JP (1) JP6802999B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200100A (zh) * 2020-10-15 2021-01-08 上海泽高电子工程技术股份有限公司 一种基于图像的轨道提取技术
CN112529966A (zh) * 2020-12-17 2021-03-19 豪威科技(武汉)有限公司 一种车载环视系统的在线标定方法及其车载环视系统
JP7142131B1 (ja) * 2021-07-12 2022-09-26 株式会社デンソーテン 車線検出装置、車線検出方法および車線検出プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009096274A (ja) * 2007-10-16 2009-05-07 Nissan Motor Co Ltd 白線検出装置、駐停車支援装置および白線検出方法
JP2016004423A (ja) * 2014-06-17 2016-01-12 スズキ株式会社 俯瞰画像生成装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009096274A (ja) * 2007-10-16 2009-05-07 Nissan Motor Co Ltd 白線検出装置、駐停車支援装置および白線検出方法
JP2016004423A (ja) * 2014-06-17 2016-01-12 スズキ株式会社 俯瞰画像生成装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200100A (zh) * 2020-10-15 2021-01-08 上海泽高电子工程技术股份有限公司 一种基于图像的轨道提取技术
CN112529966A (zh) * 2020-12-17 2021-03-19 豪威科技(武汉)有限公司 一种车载环视系统的在线标定方法及其车载环视系统
CN112529966B (zh) * 2020-12-17 2023-09-15 豪威科技(武汉)有限公司 一种车载环视系统的在线标定方法及其车载环视系统
JP7142131B1 (ja) * 2021-07-12 2022-09-26 株式会社デンソーテン 車線検出装置、車線検出方法および車線検出プログラム

Also Published As

Publication number Publication date
JP6802999B2 (ja) 2020-12-23

Similar Documents

Publication Publication Date Title
US10449900B2 (en) Video synthesis system, video synthesis device, and video synthesis method
JP4899424B2 (ja) 物体検出装置
WO2016002163A1 (ja) 画像表示装置、画像表示方法
KR101389884B1 (ko) 차량 이미지를 처리하기 위한 동적 이미지 처리 방법 및 시스템
EP3859593A1 (en) Vehicle feature acquisition method and device
JP2009060499A (ja) 運転支援システム及び連結車両
JP2002359838A (ja) 運転支援装置
US10733464B2 (en) Method, system and device of obtaining 3D-information of objects
JP2010016805A (ja) 画像処理装置、運転支援システム、及び画像処理方法
KR20170118077A (ko) 차량 주변을 왜곡 없이 보여주는 방법 및 장치
JP6802999B2 (ja) 区画線検出システム
JP5935435B2 (ja) 画像処理装置、画像処理方法
CN113508574A (zh) 成像系统和方法
JP6375633B2 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
JP2016149613A (ja) カメラパラメータ調整装置
JP6152261B2 (ja) 車載用駐車枠認識装置
JP2013242625A (ja) 画像処理装置、画像処理方法
CN111160070A (zh) 车辆全景图像盲区消除方法、装置、存储介质及终端设备
JP2018503195A (ja) 物体検出方法及び物体検出装置
JP2007134961A (ja) 車両検出装置及びこれを用いた車両用表示装置
JP5155204B2 (ja) 白線検出装置
EP3163533A1 (en) Adaptive view projection for a vehicle camera system
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
JP5305750B2 (ja) 車両周辺表示装置およびその表示方法
JP6032141B2 (ja) 走行路面標示検知装置および走行路面標示検知方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190719

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201002

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201030

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201112

R151 Written notification of patent or utility model registration

Ref document number: 6802999

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151