JP2013210991A - 横断歩道検出装置および横断歩道検出方法 - Google Patents
横断歩道検出装置および横断歩道検出方法 Download PDFInfo
- Publication number
- JP2013210991A JP2013210991A JP2012244271A JP2012244271A JP2013210991A JP 2013210991 A JP2013210991 A JP 2013210991A JP 2012244271 A JP2012244271 A JP 2012244271A JP 2012244271 A JP2012244271 A JP 2012244271A JP 2013210991 A JP2013210991 A JP 2013210991A
- Authority
- JP
- Japan
- Prior art keywords
- paint
- image
- region
- pedestrian crossing
- luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】画像走査部17は、視点変換部11が変換した俯瞰画像中の各画素を走査する。路面領域輝度解析部21は横断歩道検出フィルタ内の路面相当領域の輝度分布を解析する。ペイント領域輝度解析部19は、横断歩道検出フィルタ内のペイント相当領域の輝度分布を解析する。分離度評価部23は路面輝度分布とペイント輝度分布の解析結果に基づいて路面相当領域とペイント相当領域との分離度を算出し、閾値処理部25は、分離度の閾値処理を行い2値化画像を出力する。ペイント候補領域設定部27は、2値化画像にペイント候補領域を設定し、横断歩道判定部29は隣接するペイント候補領域間の距離に基づいて横断歩道か否かを判定する。
【選択図】図3
Description
本発明に係る横断歩道検出装置の実施形態を、図面を参照して詳細に説明する。図1は、本発明の第1実施形態に係る横断歩道検出装置を運転支援システムの横断歩道検出に用いたシステム構成図である。本実施形態では、車載カメラ3は、車両1の前部に取り付けられ、車両1の前方の画像を撮影する。計算機5は、車載カメラ3が撮影した画像に基づいて横断歩道を検出し、車両1と検出した横断歩道との距離に基づいて運転支援システム7が車両の減速や停止の運転支援を行うものとする。
インテグラルイメージ作成部15では、非特許文献(Violar,Jones:Robust Real-time Object Detection,IJCV2001 )で報告されている手法で俯瞰画像の輝度値のインテグラルイメージと、俯瞰画像の輝度値の二乗のインテグラルイメージを作成する。これら二つの画像は後段のペイント領域輝度解析部19および、路面領域輝度解析部21へ入力され、それぞれで高速にペイント相当領域および路面相当領域の輝度分布を解析するために使用される。
画像走査部17は、図4に示すように、俯瞰画像中に局所処理領域31を設定し、設定した局所処理領域31の位置を俯瞰画像中で走査することにより、俯瞰画像の全領域を処理可能とするものである。このとき、俯瞰画像の横方向のサイズをxx、縦方向のサイズをyyとすると、画像走査部17は0≦x≦xx、0≦y≦yyの範囲の座標(x,y)にアクセスする。
ペイント領域輝度解析部19は、画像走査部17から与えられた座標(x,y)の局所処理領域31において、図5(a)の横断歩道検出フィルタ40を適用してペイント相当領域の輝度を解析する。即ち、座標(x,y)において、横断歩道検出フィルタ40の内のペイント相当領域41の輝度分布のヒストグラムを作成し、そのヒストグラムからペイント相当領域41の輝度値の平均μ1、分散σ1を算出する。ここでは基本的な手法として、ヒストグラムから輝度の統計量として平均、分散を求める方法を述べたが、インテグラルイメージ作成部15で作成したインテグラルイメージを用いると、平均μ1、分散σ1を高速に計算することができるという効果がある。
路面領域輝度解析部21は、画像走査部17から与えられた座標(x,y)の局所処理領域31において、図5の横断歩道検出フィルタ40を適用して路面相当領域の輝度を解析する。横断歩道検出フィルタ40の内の路面相当領域42、43の二つの小領域を一つの領域とする。この路面相当領域42,43の画素数をN2 とし、これらの画素をクラス2の画素と呼ぶ。そしてクラス2のN2 個の画素に対して輝度分布のヒストグラムを作成し、そのヒストグラムから路面相当領域42、43の輝度値の平均μ2、分散σ2を算出する。この平均μ2、分散σ2の計算において、上記のペイント領域輝度解析部19で述べたようにインテグラルイメージを用いると、高速に平均μ2、分散σ2を計算することができるという効果がある。
分離度評価部23はペイント領域輝度解析部19で算出したペイント相当領域の輝度分布を示す平均μ1、分散σ1、および路面領域輝度解析部21で算出した路面相当領域の輝度分布を示す平均μ2、分散σ2を用いて、分離度sを算出する。
ここでクラス間分散σB 2、及び全分散σT 2は、以下の式で算出される。
σT 2 =σB 2 +σW 2 …(3)
σW 2 ={N1 ×σ12 +N2×σ22}/(N1 +N2) …(4)
但し、N1 はペイント相当領域の画素数、N2 は路面相当領域の画素数、μT は、ペイント相当領域と路面相当領域を合わせた全画素の平均である。
閾値処理部25は、分離度評価部23から算出された分離度sを用いて、画素毎に閾値処理して、横断歩道二値化画像を作成し、横断歩道二値化画像を後段のペイント候補領域設定部27へ出力する。このときの分離度に対する閾値は実験的に求めればよい。
次に、ペイント候補領域設定部27における閾値処理部25から出力された横断歩道二値化画像に対する処理を説明する。図8(a)は視点変換部11より得られる俯瞰画像である。図8(b)は、俯瞰画像の分離度を閾値処理した結果の二値化画像である。この図8(b)の二値化画像において、分離度が閾値以上の画素には「1」、閾値未満の画素には「0」が入っているとする。このとき、図8(b)の画素の値を画像の垂直方向に積算したものが図8(c)下部の曲線である。横断歩道ペイントが画像に対して略縦方向に並んでいる位置、言い換えれば、ペイント候補領域として設定すべき位置では、この積算値が必ず高くなる。そして、積算値に対して閾値処理を施してペイント候補領域を設定したものが図8(d)である。
次に、図9を参照して、横断歩道判定部29における処理を説明する。図9(a)の破線で示した枠は、上述したペイント候補領域設定部27で設定されたペイント候補領域の外縁である。これらの領域群から処理対象とする候補領域とその隣の候補領域の横距離を算出する。隣は右でも、左でもよい。あるいは右隣との横距離と左隣との横距離との両者を求めて、平均値をとって最寄の候補領域の横距離としてもよい。
次に図10のフローチャートを参照して、横断歩道検出部13の全体動作を説明する。
以上、詳細に説明したように、本実施形態に係る横断歩道検出装置によれば、俯瞰画像に局所処理領域を設定して走査し、ペイント相当領域と路面相当領域の輝度分布の統計値から分離度を算出して横断歩道を検出する。これにより、俯瞰画像の局所処理領域で日照条件が異なる場合でも、日照条件に影響を受けることなく、正確に横断歩道を検出することができる。
次に、本発明の第2実施形態に係る横断歩道検出装置について説明する。
本実施形態に係る横断歩道検出装置の構成は、図2に示す第1実施形態の構成と同一であるが、横断歩道検出部の構成が相違している。
以下、図12に示すフローチャートを参照して、本実施形態に係る横断歩道検出処理の手順を説明する。図12に示す横断歩道検出処理では、ステップS30において、インテグラルイメージを作成する。これは、第1実施形態のインテグラルイメージ作成部15で説明した処理を行う。次いで、ステップS32において、画像走査する。画像走査部17は横断歩道検出フィルタのペイント相当領域の幅を順次変更しながら局所処理領域に適用して走査する。
以上、詳細に説明したように、本実施形態に係る横断歩道検出装置によれば、分離度評価部によって算出された分離度を、俯瞰画像上に設定された走査線に沿って集計して累積分離度画像を作成する。これにより、横断歩道の白線の位置を累積分離度画像で表すことができるので、横断歩道の白線の位置を容易に認識することができる。
3 車載カメラ
5 計算機
7 運転支援システム
11 視点変換部
13、50 横断歩道検出部
15 インテグラルイメージ作成部
17 画像走査部
19 ペイント領域輝度解析部
21 路面領域輝度解析部
23 分離度評価部
25 閾値処理部
27 ペイント候補領域設定部
29 横断歩道判定部
51 累積分離度画像作成部
Claims (17)
- 車両の前方を撮影する撮像手段と、
前記撮像手段が撮影した画像を俯瞰画像に変換する視点変換手段と、
前記俯瞰画像に局所処理領域を設定し、前記局所処理領域を前記俯瞰画像中に走査させる画像走査手段と、
前記局所処理領域内のペイント相当領域の輝度分布の統計値を算出するペイント輝度分布解析手段と、
前記局所処理領域内の路面相当領域の輝度分布の統計値を算出する路面輝度分布解析手段と、
前記ペイント輝度分布解析手段が算出した統計値と前記路面輝度分布解析手段が算出した統計値とを用いて、前記ペイント相当領域と前記路面相当領域との間の輝度の差と前記ペイント相当領域及び前記路面相当領域の輝度分布の和とに基づいて算出される分離度を前記俯瞰画像の各画素について算出する分離度評価手段と、
前記分離度を所定の閾値で処理することによって前記分離度を各画素毎に2値化した2値化画像を生成する閾値処理を行う閾値処理手段と、
前記閾値処理手段が生成した2値化画像からペイント候補領域を設定するペイント候補領域設定手段と、
前記ペイント候補領域設定手段により設定された複数のペイント候補領域から選択された2つの隣接するペイント候補領域間の距離に基づいて、横断歩道か否かを判定する横断歩道判定手段と、
を備えたことを特徴とする横断歩道検出装置。 - 前記路面輝度分布解析手段は、前記局所処理領域に予め定めた路面相当領域内の画素群の輝度値の平均値と分散とを前記統計値として算出することを特徴とする請求項1に記載の横断歩道検出装置。
- 前記ペイント輝度分布解析手段は、前記局所処理領域に予め定めたペイント相当領域内の画素群の輝度値の平均値と分散とを前記統計値として算出することを特徴とする請求項2に記載の横断歩道検出装置。
- 前記路面輝度分布解析手段は、前記局所処理領域に予め定めた路面相当領域の輝度値のインテグラルイメージを作成し、そのインテグラルイメージから輝度値の平均値を算出することを特徴とする請求項1に記載の横断歩道検出装置。
- 前記路面輝度分布解析手段は、前記局所処理領域に予め定めた路面相当領域の輝度値の二乗のインテグラルイメージを作成し、その二乗のインテグラルイメージから輝度値の分散を算出することを特徴とする請求項4に記載の横断歩道検出装置。
- 前記ペイント輝度分布解析手段は、前記局所処理領域に予め定めたペイント相当領域の輝度値のインテグラルイメージを作成し、そのインテグラルイメージから輝度値の平均値を算出することを特徴とする請求項5に記載の横断歩道検出装置。
- 前記ペイント輝度分布解析手段は、前記局所処理領域に予め定めたペイント相当領域の輝度値の二乗のインテグラルイメージを作成し、その二乗のインテグラルイメージから輝度値の分散を算出することを特徴とする請求項6に記載の横断歩道検出装置。
- 前記路面相当領域の輝度値の平均値及び分散と、前記ペイント相当領域の輝度値の平均値及び分散と、を用いて前記分離度を算出することを特徴とする請求項3または請求項7に記載の横断歩道検出装置。
- 前記横断歩道判定手段は、
前記ペイント候補領域設定手段で設定された複数のペイント候補領域群から選択された2つの隣接するペイント候補領域間の横方向距離の統計量に基づいて、横断歩道の判定をすることを特徴とする請求項1乃至請求項8のいずれか1項に記載の横断歩道検出装置。 - 前記分離度評価手段によって算出された分離度を、前記俯瞰画像上に設定された走査線に沿って集計して累積分離度画像を作成する累積分離度画像作成手段をさらに備えたことを特徴とする請求項1乃至請求項9のいずれか1項に記載の横断歩道検出装置。
- 前記画像走査手段は、前記局所処理領域のペイント相当領域の幅を順次変更しながら走査することを特徴とする請求項10に記載の横断歩道検出装置。
- 前記画像走査手段は、前記俯瞰画像を複数の領域に分割して各領域にそれぞれ走査線を設定し、設定された前記走査線に沿って前記局所処理領域を走査することを特徴とする請求項10または請求項11に記載の横断歩道検出装置。
- 前記画像走査手段は、前記俯瞰画像を少なくとも3つの領域に分割することを特徴とする請求項12に記載の横断歩道検出装置。
- 前記画像走査手段は、前記局所処理領域のペイント相当領域の幅を、道路の規格によって定められた横断歩道の白線幅の最小値と最大値との間で変更することを特徴とする請求項11乃至請求項13のいずれか1項に記載の横断歩道検出装置。
- 前記画像走査手段は、前記局所処理領域のペイント相当領域の幅を、車両の挙動によって変化する範囲で変更することを特徴とする請求項11乃至請求項14のいずれか1項に記載の横断歩道検出装置。
- 前記累積分離度画像作成手段は、前記走査線上に設定された前記局所処理領域のペイント相当領域の中央の位置に前記分離度を投票することによって前記累積分離度画像を作成することを特徴とする請求項10〜15のいずれか1項に記載の横断歩道検出装置。
- 車両前方の画像を撮影する撮像ステップと、
撮影した画像を俯瞰画像に変換する視点変換ステップと、
俯瞰画像に局所処理領域を設定し、設定した局所処理領域を俯瞰画像中に走査させる画像走査ステップと、
前記局所処理領域内の路面相当領域の輝度分布を解析して輝度分布の統計値を算出する路面領域輝度解析ステップと、
前記局所処理領域内のペイント相当領域の輝度分布を解析して輝度分布の統計値を算出するペイント領域輝度解析ステップと、
前記路面相当領域の輝度分布の統計値と前記ペイント相当領域の輝度分布の統計値を用いて、前記路面相当領域と前記ペイント相当領域との間の輝度の差と前記路面相当領域及び前記ペイント相当領域の輝度分布の和とに基づいて算出される分離度を前記俯瞰画像の各画素について算出する分離度算出ステップと、
前記分離度を所定の閾値で処理することによって前記分離度を各画素毎に2値化した2値化画像を生成する閾値処理ステップと、
前記2値化画像にペイント候補領域を設定するペイント候補領域設定ステップと、
設定された複数のペイント候補領域から選択された2つの隣接するペイント候補領域間の距離に基づいて、横断歩道か否かを判定する横断歩道判定ステップと、
を備えたことを特徴と横断歩道検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012244271A JP6205712B2 (ja) | 2012-03-02 | 2012-11-06 | 横断歩道検出装置および横断歩道検出方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012046484 | 2012-03-02 | ||
JP2012046484 | 2012-03-02 | ||
JP2012244271A JP6205712B2 (ja) | 2012-03-02 | 2012-11-06 | 横断歩道検出装置および横断歩道検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013210991A true JP2013210991A (ja) | 2013-10-10 |
JP6205712B2 JP6205712B2 (ja) | 2017-10-04 |
Family
ID=49528718
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012244271A Expired - Fee Related JP6205712B2 (ja) | 2012-03-02 | 2012-11-06 | 横断歩道検出装置および横断歩道検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6205712B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016133838A (ja) * | 2015-01-15 | 2016-07-25 | トヨタ自動車株式会社 | 複合線判定装置及び複合線判定方法 |
KR101823541B1 (ko) * | 2017-03-28 | 2018-01-31 | 경북대학교 산학협력단 | 횡단보도 검출 장치 및 횡단보도 검출 방법 |
JP2019172253A (ja) * | 2014-06-30 | 2019-10-10 | エイディシーテクノロジー株式会社 | 車両制御装置 |
WO2019235433A1 (ja) * | 2018-06-04 | 2019-12-12 | 日本電信電話株式会社 | 横断歩道検出装置、方法およびプログラム |
JP2020061020A (ja) * | 2018-10-11 | 2020-04-16 | トヨタ自動車株式会社 | 横断歩道標示推定装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004178610A (ja) * | 2003-12-22 | 2004-06-24 | Nissan Motor Co Ltd | 接近予測装置 |
JP2007188407A (ja) * | 2006-01-16 | 2007-07-26 | Toshiba Corp | 画像処理装置及び画像処理プログラム |
JP2008009893A (ja) * | 2006-06-30 | 2008-01-17 | Canon Inc | パラメータ学習方法及びその装置、パターン識別方法及びその装置、プログラム |
JP2008180622A (ja) * | 2007-01-25 | 2008-08-07 | Fukui Prefecture | 路面積雪検出装置及び路面積雪検出方法 |
JP2011039732A (ja) * | 2009-08-10 | 2011-02-24 | Ihi Corp | 車両操縦用画像表示装置および方法 |
JP2011192071A (ja) * | 2010-03-15 | 2011-09-29 | Aisin Seiki Co Ltd | 横断歩道検出装置、横断歩道検出システム,横断歩道検出方法及びプログラム |
-
2012
- 2012-11-06 JP JP2012244271A patent/JP6205712B2/ja not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004178610A (ja) * | 2003-12-22 | 2004-06-24 | Nissan Motor Co Ltd | 接近予測装置 |
JP2007188407A (ja) * | 2006-01-16 | 2007-07-26 | Toshiba Corp | 画像処理装置及び画像処理プログラム |
JP2008009893A (ja) * | 2006-06-30 | 2008-01-17 | Canon Inc | パラメータ学習方法及びその装置、パターン識別方法及びその装置、プログラム |
JP2008180622A (ja) * | 2007-01-25 | 2008-08-07 | Fukui Prefecture | 路面積雪検出装置及び路面積雪検出方法 |
JP2011039732A (ja) * | 2009-08-10 | 2011-02-24 | Ihi Corp | 車両操縦用画像表示装置および方法 |
JP2011192071A (ja) * | 2010-03-15 | 2011-09-29 | Aisin Seiki Co Ltd | 横断歩道検出装置、横断歩道検出システム,横断歩道検出方法及びプログラム |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019172253A (ja) * | 2014-06-30 | 2019-10-10 | エイディシーテクノロジー株式会社 | 車両制御装置 |
JP2016133838A (ja) * | 2015-01-15 | 2016-07-25 | トヨタ自動車株式会社 | 複合線判定装置及び複合線判定方法 |
KR101823541B1 (ko) * | 2017-03-28 | 2018-01-31 | 경북대학교 산학협력단 | 횡단보도 검출 장치 및 횡단보도 검출 방법 |
WO2019235433A1 (ja) * | 2018-06-04 | 2019-12-12 | 日本電信電話株式会社 | 横断歩道検出装置、方法およびプログラム |
JPWO2019235433A1 (ja) * | 2018-06-04 | 2021-05-13 | 日本電信電話株式会社 | 横断歩道検出装置、方法およびプログラム |
US11222216B2 (en) * | 2018-06-04 | 2022-01-11 | Nippon Telegraph And Telephone Corporation | Crosswalk detection device, method and program |
JP6996623B2 (ja) | 2018-06-04 | 2022-02-04 | 日本電信電話株式会社 | 横断歩道検出装置、方法およびプログラム |
JP2020061020A (ja) * | 2018-10-11 | 2020-04-16 | トヨタ自動車株式会社 | 横断歩道標示推定装置 |
JP7032280B2 (ja) | 2018-10-11 | 2022-03-08 | トヨタ自動車株式会社 | 横断歩道標示推定装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6205712B2 (ja) | 2017-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4416039B2 (ja) | 縞模様検知システム、縞模様検知方法および縞模様検知用プログラム | |
US9771080B2 (en) | Road surface gradient detection device | |
JP5223675B2 (ja) | 車両検知装置,車両検知方法並びに車両検知プログラム | |
JP5867596B2 (ja) | 立体物検出装置及び立体物検出方法 | |
JP6871782B2 (ja) | 道路標示検出装置、道路標示検出方法、プログラム、及び道路面検出装置 | |
CN109741356B (zh) | 一种亚像素边缘检测方法及系统 | |
JP6205712B2 (ja) | 横断歩道検出装置および横断歩道検出方法 | |
JP4811201B2 (ja) | 走路境界線検出装置、および走路境界線検出方法 | |
WO2009088035A1 (ja) | 車線認識装置、車線認識方法および車線認識プログラム | |
KR20130030220A (ko) | 고속 장애물 검출 | |
CN111832536A (zh) | 一种车道线检测方法及装置 | |
JP5983729B2 (ja) | 白線検出装置、白線検出フィルタ装置及び白線検出方法 | |
KR20110001427A (ko) | 관심영역 추출에 의한 차선 고속검출 방법 | |
KR101178508B1 (ko) | 차량 충돌 경보 시스템 및 방법 | |
JP2015148887A (ja) | 画像処理装置、物体認識装置、移動体機器制御システム及び物体認識用プログラム | |
JP2016206801A (ja) | 物体検出装置、移動体機器制御システム及び物体検出用プログラム | |
US10380743B2 (en) | Object identifying apparatus | |
KR101026778B1 (ko) | 차량 영상 검지 장치 | |
KR101205565B1 (ko) | 영상을 이용한 전후방 차량 검출 방법 | |
JP6701905B2 (ja) | 検出装置、視差値導出装置、物体認識装置、機器制御システム、およびプログラム | |
JP7283081B2 (ja) | 付着物検出装置および付着物検出方法 | |
JP2008293446A (ja) | 移動体識別装置、移動体識別プログラム | |
JP2020095631A (ja) | 画像処理装置および画像処理方法 | |
CN109886120B (zh) | 一种斑马线检测方法及系统 | |
CN103440486A (zh) | 一种图像中标牌尺度的检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150928 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160531 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160531 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160722 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170821 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6205712 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |