JP2015011665A - 走行路面標示検知装置および走行路面標示検知方法 - Google Patents

走行路面標示検知装置および走行路面標示検知方法 Download PDF

Info

Publication number
JP2015011665A
JP2015011665A JP2013138970A JP2013138970A JP2015011665A JP 2015011665 A JP2015011665 A JP 2015011665A JP 2013138970 A JP2013138970 A JP 2013138970A JP 2013138970 A JP2013138970 A JP 2013138970A JP 2015011665 A JP2015011665 A JP 2015011665A
Authority
JP
Japan
Prior art keywords
range
bird
image
detection
sign
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013138970A
Other languages
English (en)
Other versions
JP6032141B2 (ja
Inventor
丙辰 王
Heishin O
丙辰 王
展彦 井上
Nobuhiko Inoue
展彦 井上
宗昭 松本
Muneaki Matsumoto
宗昭 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2013138970A priority Critical patent/JP6032141B2/ja
Priority to PCT/JP2014/003301 priority patent/WO2015001747A1/ja
Publication of JP2015011665A publication Critical patent/JP2015011665A/ja
Application granted granted Critical
Publication of JP6032141B2 publication Critical patent/JP6032141B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Abstract

【課題】路面の標示物の検出負荷を低減できる走行路面標示検知装置および走行路面標示検知方法を提供する。
【解決手段】走行路面標示検知装置は、解像度分布として、視点変換部による変換前の撮影画像における、変換後の鳥瞰画像の1つの画素に対応する部分の1ピクセル当りの路面の実際の距離を示すパラメータである元解像度を画素ごとに算出する(S5)。鳥瞰画像同士が重複する重複領域それぞれにおいて、元解像度が他方の重複領域より大きい範囲を割り当て範囲として設定する(S6)。鳥瞰画像ごとにS6にて定めた画像処理範囲において白線検出処理を行う。重複領域においては、割り当て範囲として設定された部分から白線検出を行う(S7)。
【選択図】図2

Description

本発明は、車両周辺を撮影するカメラにより撮影された撮影画像を画像処理することにより路面の標示物を検知する走行路面標示検知装置に関する。
従来、車両に搭載されたカメラを用いて、白線等の区画線や道路鋲などの路面の標示物を検出するシステムが提案されている。車両と標示物の位置関係を計算するために、複数のカメラにて撮影した画像を鳥瞰画像に変換する場合がある(特許文献1参照)。
特開2010−245802号公報
車両周囲の標示物の検出漏れを抑制するためには車両の周囲を複数のカメラで隙間無く撮影することが好ましい。そのため、撮影範囲に隙間が生じないように複数のカメラはその撮影範囲の一部が重複するように配置することが考えられる。
上述したようにカメラを配置すると、撮影された撮影画像、およびその撮影画像から変換された鳥瞰画像にも重複する部分が生じる。重複する部分には同じ路面が撮影されているが、重複する部分すべてに対して標示物を検出するための画像処理を行うと処理装置の負荷が大きくなってしまう虞がある。
本発明の目的は、路面の標示物の検出負荷を低減できる走行路面標示検知装置および走行路面標示検知方法を提供することである。
上述した問題を解決するためになされた請求項1に記載の発明は、生成手段(13、S2)および標示物検出手段(16、S7)を備える走行路面標示検知装置(7)である。
生成手段は、車両周辺を撮影する複数のカメラ(3)により撮影された少なくとも撮影範囲の一部が重複しない複数の撮影画像に基づいて、所定の仮想視点から見た鳥瞰画像を生成する。標示物検出手段は、生成手段により生成された鳥瞰画像から路面の標示物を検出する。
そして標示物検出手段は、2つ以上の鳥瞰画像における撮影範囲が互いに重複する部分である重複部分(41a、42a)それぞれについては、該重複部分それぞれに対して割り当てられた割り当て範囲において標示物の検出を行う。
このように構成された走行路面標示検知装置は、複数の鳥瞰画像の重複部分では割り当て範囲において標示物の検出を行うため、割り当て範囲以外の部分は標示物の検出処理を行う必要がなく、画像処理による検出負荷を低減することができる。
上記割り当て範囲の設定方法は特に限定されない。例えば、重複部分の一部または全部を占める第1領域であって、撮影画像における上記第1領域と対応する部分の解像度である元解像度が、他の鳥瞰画像における上記第1領域と撮影範囲が重複する第2領域の元解像度よりも大きい上記第1領域を含むように、割り当て範囲が設定されていてもよい。
車両に取り付けられたカメラにより撮影される路面は、カメラからの距離が近いほど大きく、即ち大きな解像度で撮影される。よって撮影画像を鳥瞰画像に変換すると、路面におけるカメラからの距離が遠く、解像度が小さい部分の画像ほど拡大度合が大きくなる。大きく拡大された部分は画像がぼけてしまうので、標示物の検知の精度が低下する虞がある。
しかしながら、上述したように重複部分の元の撮影画像における解像度である元解像度に基づいて割り当て範囲を設定することで、拡大度合がより小さく検知対象がぼけていない鳥瞰画像に基づいて標示物を検出することができ、標示物の検出精度の低下を抑制することができる。
また、上述した問題を解決するためになされた請求項8に記載の発明は、車両周辺を撮影する複数のカメラにより撮影された少なくとも撮影範囲の一部が重複しない複数の撮影画像を画像処理することにより路面の標示物を検知する走行路面標示検知装置で用いられる走行路面標示検知方法に関する。
この走行路面標示検知方法では、複数の撮影画像それぞれに基づいて、所定の仮想視点から見た複数の鳥瞰画像が生成される画像生成ステップ(S2)と、画像生成ステップにおいて生成された鳥瞰画像から標示物が検出される標示物検出ステップ(S7)と、を備え、その標示物検出ステップでは、2つ以上の鳥瞰画像における撮影範囲が互いに重複する部分である重複部分それぞれについては、該重複部分それぞれに対して割り当てられた割り当て範囲から標示物の検出が行われることを特徴とする。
このような走行路面標示検知方法を走行路面標示検知装置にて用いることで、請求項1に記載の走行路面標示検知装置と同様の作用および効果を奏することができる。
なお、この欄および特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
また、本発明は、前述した走行路面標示検知装置および走行路面標示検知方法の他、当該走行路面標示検知装置を構成要素とするシステム、当該走行路面標示検知方法をコンピュータに実行させるためのプログラム、当該プログラムが記録された記録媒体など、種々の形態で実現することができる。
標示物認識システムの構成を説明するブロック図である。 車線逸脱警告処理の処理手順を説明するフローチャートである。 車両周辺の撮影画像を鳥瞰画像に変換した画像の例である。 鳥瞰画像における重複部分の一部を拡大した拡大図である。 割り当て範囲の設定方法の一例を説明する図である。 割り当て範囲の設定において不適部分の取り扱いを説明する図である。 割り当て範囲の設定方法の一例を説明する図である。
以下に本発明の実施形態を図面と共に説明する。
[実施例]
(1)標示物認識システム1の構成
標示物認識システム1は自動車等の車両に搭載されて用いられるシステムであって、図1に示すように、複数の車載カメラ3と、表示手段5と、走行路面標示検知装置7と、を備えている。
本標示物認識システム1は、車道中央線または車道外側線などの白線を検出し、走行する車両が車線を逸脱すると予測された場合に警告表示を行う。なお本実施例では路面の標示物の一例として白線を対象とする構成を例示するが、白線以外の区画線や道路鋲などを検出するように構成することができる。
車載カメラ3は、車両周辺を撮影する撮影装置であって、例えば公知のCCDイメージセンサやCMOSイメージセンサなどを用いることができる。車載カメラ3は車両の前方、後方、左方、および右方に配置され、それぞれ車両の前方斜め下、後方斜め下、左方斜め下、右方斜め下を撮影する。各車載カメラ3は、所定の時間間隔(一例として1/15s)で車両周辺を撮影し、撮影した撮影画像を走行路面標示検知装置7に出力する。
車載カメラ3の撮影範囲は、一部が他の車載カメラ3の撮影範囲と重複し、その一部を除く他の部分は他の車載カメラ3の撮影範囲と重複しないように配置されている。
表示手段5は、画像を表示する液晶ディスプレイであって、走行路面標示検知装置7から入力される信号に従って画像を表示する。本実施例では、走行中の車両が走行車線から逸脱すると予測されたときに警告画面を表示する。
走行路面標示検知装置7は、車載カメラ3にて撮影された撮影画像を取得し、画像処理して白線を検出すると共に、車両が走行車線を逸脱するか否かを予測する。
この走行路面標示検知装置7は、図示しないCPUと、CPUが実行するプログラム等を記憶するROMと、CPUによるプログラム実行時に作業領域として使用されるRAMと、電気的にデータを書き換え可能なフラッシュメモリやEEPROM等の不揮発性メモリとしてのNVRAMなどを備えるコンピュータシステムとして構成されており、プログラムの実行により所定の処理を実行する。
この走行路面標示検知装置7は、車両に搭載されるECUや各種センサからの走行情報9を入力する。走行情報9としては、シフトレンジ、車速、ステアリングまたはヨーレートなどの情報が挙げられる。
またこの走行路面標示検知装置7は、車両運動計算部11、カメラ搭載パラメータ補正部12、視点変換部13、解像度分布計算部14、画像範囲選択処理部15、画像検知処理部16、標示認識結果統合判定部17、として機能する。
カメラ搭載パラメータ補正部12は、車載カメラ3の搭載位置を示すカメラ搭載パラメータ12aとして、各車載カメラ3の撮影範囲を特定可能な情報を記憶している。具体的には、車両を基準とした各車載カメラ3の位置情報(3次元座標)および撮影方向(ピッチ、ロール、ヨー、の角度)の情報を記憶している。
(2)走行路面標示検知装置7による処理
走行路面標示検知装置7により実行される車線逸脱警告処理について、図2に示すフローチャートに基づいて説明する。本処理は、一例として車両の走行が開始されたとき(車速が所定の閾値を超えたとき)に開始され、所定の時間間隔で繰り返し実行される。
S1では、車載カメラ3それぞれにて撮影した撮影画像を取得する。
S2では、取得した撮影画像を鳥瞰画像に変換する。この処理は、上述した視点変換部13により実現される。
視点変換部13は、車載カメラ3それぞれから撮影画像を取得し、取得した撮影画像それぞれに基づいて、所定の仮想視点から見た複数の鳥瞰画像を生成する。本実施例における仮想視点は車両の真上であって、カメラ搭載位置を示すカメラ搭載パラメータ12aに応じた所定の変換式を用いて路面を鉛直に俯瞰した鳥瞰画像を生成する。鳥瞰画像の生成方法は公知であるが、例えば特開平10−211849号に記載された手法を用いることができる。この視点変換部13が、本発明における生成手段の一例である。
図3に示す鳥瞰画像21、22、23、24がそれぞれ車両の前方、後方、左方、右方を示す鳥瞰画像であって、同一のタイミングで各車載カメラ3により撮影された撮影画像に基づく鳥瞰画像である。各鳥瞰画像における撮影範囲が互いに重複する部分である重複部分には、車両周囲の同一の路面が写される。
なお確認のために記載すると、図3の各鳥瞰画像は車両を中心とした撮影方向に合せて並べただけのものであって、実際の位置に合せて合成したものではない。
続くS3では、汚れなどの固定ノイズ、およびエッジ適性値を検出する。この処理は、上述した画像検知処理部16により実現される。
画像検知処理部16は、(a)固定ノイズ検知、(b)エッジ適性値計算、(c)白線検出、の3つの処理を実行する。S3では上記(a)、(b)を実行するため、ここではそれらの処理について説明する。
(a)固定ノイズ検知
画像検知処理部16は、撮影画像に基づいて、車載カメラ3のレンズ汚れ等の同一の部分に継続して発生する固定ノイズを検出する。汚れ等の固定ノイズ検知の方法は公知であるが、一例として、特開2003−259358号公報に記載の手法を用いることができる。この固定ノイズ検出は鳥瞰画像に基づいて行ってもよい。画像検知処理部16が、本発明におけるノイズ検知手段の一例である。
(b)エッジ適性値計算
画像検知処理部16は、各鳥瞰画像からエッジを検出し、検出されたエッジについて、白線の検出しやすさの度合を示すパラメータ(以降、単にエッジ適性値とも記載する)を算出する。このパラメータは、エッジ強度、エッジ数、およびエッジ角度から求まるパラメータである。
エッジの強度とは、白線と路面とのコントラスト(輝度差)であり、コントラストが大きいほどエッジ適性値は大きくなる。エッジ数とは検出されるエッジの数であり、この数が大きいほどエッジ適性値は大きくなる。またエッジ角度とはエッジの並ぶ方向であり、車両の進行方向や過去に検出された白線の方向を考慮して、適切な角度にエッジが並んでいるほどエッジ適性値は大きくなる。
つまりエッジ適性値が高い部分とは、白線の検出に不適となる問題、例えば白飛びがある、過度に暗い、不適切なエッジが多数検出される、といった問題が少ない、白線検出に適した部分である。
続くS4では、カメラ搭載パラメータ12aの正確さを確認し、誤差があれば補正を行う。この処理は、上述したカメラ搭載パラメータ補正部12により実現される。
カメラ搭載パラメータ補正部12は、撮影画像に基づいて、車載カメラ3の現在の位置情報および現在の撮影方向の情報を推定する。推定されたカメラ搭載パラメータと、記憶されているカメラ搭載パラメータ12aと、を比較し、所定の閾値以上相違していれば、新たに推定されたパラメータをカメラ搭載パラメータ12aとして更新する。
このカメラ搭載パラメータ補正部12が、本発明における位置検知手段の一例である。
続くS5では、カメラ搭載位置に基づいて解像度分布を計算する。この処理は、上述した解像度分布計算部14により実現される。
解像度分布計算部14は、カメラ搭載パラメータ12aを用いて解像度分布を算出する。解像度分布とは、鳥瞰画像の各画素の元解像度を示す情報である。ここで言う元解像度とは、視点変換部13による変換前の撮影画像(以降、単に元の撮影画像ともいう)における、変換後の鳥瞰画像の1つの画素に対応する部分の、1ピクセル当りの路面の実際の距離を示すパラメータである。
なお、上記パラメータは元解像度として利用できるパラメータの一例に過ぎず、例えば路面の単位長さ(例えば1cm)当りの撮影画像のピクセル数を元解像度として用いることもできる。また元解像度は、画素ごとでなく、一定の画素の集合ごとに算出しても良い。解像度分布は、後述する重複部分においてのみ算出しても良い。
撮影画像において、車載カメラ3から相対的に近い路面は、車載カメラ3から相対的に遠い路面に比べて1ピクセルあたりの路面距離が短くなる。鳥瞰画像に変換すると車載カメラ3から相対的に近い路面ほど相対的な拡大度合が小さく、遠い路面ほど相対的な拡大度合が大きくなる。拡大度合が小さいほど画面が精細になる。
図4に、図3の鳥瞰画像22、23において、同一の撮影範囲が示される部分22a、23aを拡大した拡大画像を示す。鳥瞰画像23の上記部分23aは元解像度が相対的に小さいため拡大の度合が大きく、白線31とその周囲の路面部分33との境界が曖昧になっている。一方鳥瞰画像22の上記部分22aは、元解像度が相対的に大きい拡大の度合が小さく、白線31と路面部分33との境界が比較的明確になっている。
白線検出を行う際には画像処理によりエッジを検出するが、白線と路面との境界が明確である場合、例えば白線と路面との輝度の差が大きい場合に、エッジを高い精度で検出することができる。よって、同一の路面を撮影した画像であっても、より元解像度が大きい画像を用いることでエッジを良好に検出することができる。
上述した解像度分布計算部14が、本発明における算出手段の一例である。
続くS6では、車載カメラ3それぞれに対応する鳥瞰画像ごとの画像処理範囲を決定する。鳥瞰画像における画像処理範囲は、他の鳥瞰画像と撮影範囲が重複しない部分と、他の鳥瞰画像と撮影範囲が重複する重複部分のうち画像範囲選択処理部15により割り当て範囲として設定される部分と、を合せた範囲である。
画像範囲選択処理部15は、上記2つの鳥瞰画像の重複部分それぞれに対して割り当て範囲を設定する。
図5を用いて具体的な割り当て範囲の設定方法を説明する。鳥瞰画像41、42はそれぞれ異なる車載カメラ3にて撮影された撮影画像を鳥瞰画像に変換したものである。鳥瞰画像41、42において互いに重複する部分をそれぞれ重複部分41a、42aとする。これらは同一の大きさであるため画素の配置が等しくなっており、同じ位置の画素は同じ撮影範囲に対応する。
重複部分41a、42aの各画素は、解像度分布計算部14によってそれぞれ元解像度が求められている。重複部分41aのうち、重複部分42aよりも対応する画素の元解像度が大きい部分が、割り当て範囲41bとして設定される。一方、重複部分42aのうち重複部分41aよりも元解像度が大きい部分が、割り当て範囲42bとして設定される。
但し、S3において固定ノイズが検知された部分、およびS3において算出されたエッジ適性値が所定の閾値より小さい部分(以降、これらいずれかの部分を単に不適部分とも記載する)は、割り当て範囲の対象から除外される。即ち、固定ノイズが検知されていない部分でありエッジ適性値が所定の閾値以上である部分から割り当て範囲が設定される。
図6に示すように、重複部分41aにおいて不適部分41cが存在する場合、その不適部分41cは割り当て範囲41bとして設定されず、その部分は重複部分42aにおいて元解像度に関わらず割り当て範囲42bとして設定される。
なお、元解像度を複数の画素の集合ごとに算出した場合には、その元解像度に基づいて割り当て範囲を設定してもよい。
また、複数の重複部分の元解像度の比較結果に基づいて厳密に割り当て範囲を設定せずに、図7に示すように、元解像度の比較結果に基づいて定められる境界線43を境界として割り当て範囲を設定してもよい。この境界線43は、一方の重複部分における他方の重複部分よりも元解像度の大きい部分(画素)が、その一方の重複部分の割り当て範囲に含まれるように設定される。
なお図7のように重複部分を設定する際には、一方の重複部分における他方の重複部分よりも元解像度の大きい部分が、一方の重複部分における割り当て範囲の主たる部分を占めるように設定するとよい。また、一方の重複部分における他方の重複部分よりも元解像度の大きい部分が、一方の重複部分の割り当て範囲において所定の割合以上含まれるように設定してもよい。
なお重複部分41a、42aで同一の元解像度の部分が生じた場合は、その部分については重複部分41a、42aのいずれかの割り当て範囲に含めることができる。
上述した画像範囲選択処理部15が、本発明における範囲設定手段の一例である。また、重複部分41aにおいて重複部分42aよりも元解像度の大きい画素または画素の集合が、重複部分41aを基準としたときの本発明における第1領域の一例であり、重複部分42aにおける重複部分41aよりも元解像度の小さい画素または画素の集合が本発明における第2領域の一例である。
続くS7では、鳥瞰画像ごとにS6にて定めた画像処理範囲において白線検出処理を行う。この処理は、上述した画像検知処理部16により実現される(c)の処理である。
(c)白線検出
画像検知処理部16は、各鳥瞰画像からエッジを抽出し、白線検出を行う。具体的な方法は公知であるため説明を割愛する。各鳥瞰画像における撮影範囲が互いに重複する重複部分それぞれにおいては、割り当て範囲として設定された部分において白線検出を行う。
白線検出を行う場合には、過去に撮影された撮影画像に基づいて検出されたエッジも利用する。車両運動計算部11は、走行情報9に基づいて車両の移動パラメータ(進行方向および速度)を算出するする。この算出された移動パラメータを利用して、時間の経過による車両を基準としたエッジの移動先を推定する。
上記画像検知処理部16が、本発明における標示物検出手段の一例である。
続くS8では、S7にて白線検出処理を行った結果を統合し、車両を基準とした白線の位置を判定する。この処理は、上述した標示認識結果統合判定部17により実現される。
標示認識結果統合判定部17は、画像検知処理部16により各鳥瞰画像それぞれにおいて検出された白線の情報に基づいて、車両を基準とした白線の位置を判定する。具体的には、各鳥瞰画像から検出された白線の尤度、他の鳥瞰画像から検出された白線との一致および相違の度合、および上記S7と同様に過去に算出した白線の情報などを考慮して、現在の白線の位置を判定する。白線の尤度は、例えばエッジ適性値を用いることができる。
続くS9では、S8により判定された白線の位置と、車両運動計算部11により算出された車両の移動パラメータと、に基づいて、所定の時間内に車両が車線を逸脱する(白線を交差して通過する)か否かを判定する車線逸脱判定を行い、車線を逸脱すると判定された場合には、運転者に危険を示すための警告画面を表示手段5に表示させる。この処理もS8と同様に、上述した標示認識結果統合判定部17により実現される。
(3)効果
本実施例の標示物認識システム1では、複数の鳥瞰画像が重複する重複部分では割り当て範囲において白線の検出を行う。各重複部分の割り当て範囲同士は互いに重複しないため、同一の撮影範囲に対して重複して白線の検出を行うことを抑制でき、画像処理による検出負荷を低減することができる。
また、割り当て範囲を重複部分の元の撮影画像における解像度である元解像度に基づいて設定しているため、複数の重複部分のうち、拡大度合が小さく検知対象がぼけていない方の画像に基づいて白線を検出することができ、白線の検出精度の低下を抑制することができる。
また、車載カメラ3の搭載位置を検知して、検知された搭載位置に基づいて重複部分の元解像度を算出し、割り当て範囲を設定することから、車載カメラ3を車両に固定する固定具の経年劣化や車両の走行に伴う路面角度の変化に基づいて、割り当て範囲を適切に変化させることができ、白線の検出精度の低下を抑制することができる。
また、重複部分における汚れ等の固定ノイズがある部分やエッジ適性値が低い部分を割り当て範囲から除外して白線を検出するため、これによっても白線の検出精度の低下を抑制することができる。
[変形例]
以上本発明の実施例について説明したが、本発明は、上記実施例に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態をとり得ることはいうまでもない。
例えば上記実施例においては、重複部分の元解像度に基づいて割り当て範囲を設定するにあたり、固定ノイズが検知された部分およびエッジ適性値が低い部分を割り当て範囲から除外する構成を例示したが、いずれか一方のみ考慮する構成であってもよいし、いずれも考慮せず元解像度のみに基づいて割り当て範囲を設定する構成であってもよい。
また、画像範囲選択処理部15が、元解像度を考慮せず、エッジ適性値に基づいて割り当て範囲を設定する構成としてもよい。例えば、重複部分のうち、同一の撮影範囲を示す他の重複部分と比較してエッジ適性値が大きい部分を含む範囲を、割り当て範囲として設定することが考えられる。
また上記実施例においては、カメラ搭載パラメータ12aを随時更新して、そのカメラ搭載パラメータ12aに基づき適切な割り当て範囲を算出する構成を例示したが、割り当て範囲は変化せず一定とする構成であってもよい。
また上記実施例においては、鳥瞰画像ごとに白線を検出する構成を例示したが、白線を検出する前に各鳥瞰画像を一枚の画像に合成し、その合成した鳥瞰画像から白線を検出するように構成してもよい。一枚の画像に合成する際には、重複部分については割り当て範囲を合成に用いるように構成するとよい。
また上記実施例においては、割り当て範囲は複数の重複部分で重複しないように設定される構成を例示したが、一部が重複する構成であってもよい。
1…標示物認識システム、3…車載カメラ、7…走行路面標示検知装置、12…カメラ搭載パラメータ補正部、13…視点変換部、14…解像度分布計算部、15…画像範囲選択処理部、16…画像検知処理部

Claims (8)

  1. 車両周辺を撮影する複数のカメラ(3)により撮影された少なくとも撮影範囲の一部が重複しない複数の撮影画像に基づいて、所定の仮想視点から見た鳥瞰画像を生成する生成手段(13、S2)と、
    前記生成手段により生成された前記鳥瞰画像から路面の標示物を検出する標示物検出手段(16、S7)と、を備え、
    前記標示物検出手段は、2つ以上の前記鳥瞰画像における撮影範囲が互いに重複する部分である重複部分(41a、42a)それぞれについては、該重複部分それぞれに対して割り当てられた割り当て範囲において前記標示物の検出を行う
    ことを特徴とする走行路面標示検知装置(7)。
  2. 前記重複部分の一部または全部を占める第1領域であって、前記撮影画像における前記第1領域と対応する部分の解像度である元解像度が、他の前記鳥瞰画像における前記第1領域と撮影範囲が重複する第2領域の前記元解像度よりも大きい前記第1領域を含むように、前記割り当て範囲が設定される
    ことを特徴とする請求項1に記載の走行路面標示検知装置。
  3. 前記重複部分それぞれの前記元解像度に基づいて、前記割り当て範囲を設定する範囲設定手段(15、S6)を備える
    ことを特徴とする請求項2に記載の走行路面標示検知装置。
  4. 前記カメラの搭載位置を検知する位置検知手段(12、S4)と、
    前記位置検知手段により検知された前記搭載位置に基づいて、前記重複部分の前記元解像度を算出する算出手段(14、S5)と、を備え、
    前記範囲設定手段は、前記算出手段により算出された前記元解像度に基づいて前記重複部分の前記割り当て範囲を設定する
    ことを特徴とする請求項3に記載の走行路面標示検知装置。
  5. 前記標示物検出手段は、前記鳥瞰画像からエッジを検出して該エッジに基づいて前記標示物を検出するものであり、
    前記範囲設定手段は、前記重複部分のうち、前記標示物検出手段により検出されるエッジの前記標示物の検出しやすさの度合を示すパラメータが所定の閾値以上である部分から、当該重複部分の前記割り当て範囲を設定する
    ことを特徴とする請求項3または請求項4に記載の走行路面標示検知装置。
  6. 前記標示物検出手段は、前記鳥瞰画像からエッジを検出して該エッジに基づいて前記標示物を検出するものであり、
    前記重複部分のうち、他の前記鳥瞰画像における前記重複部分と比較して、前記標示物検出手段により検出されるエッジの前記標示物の検出しやすさの度合を示すパラメータが大きい部分を含む範囲を、前記割り当て範囲として設定する範囲設定手段(15)を備える
    ことを特徴とする請求項1に記載の走行路面標示検知装置。
  7. 前記撮影画像における同一の部分に継続して発生するノイズである固定ノイズを検知するノイズ検知手段(16、S3)を備え、
    前記範囲設定手段は、前記重複部分のうち前記ノイズ検知手段により前記固定ノイズが検知されていない部分の中から前記割り当て範囲を設定する
    ことを特徴とする請求項3から請求項6のいずれか1項に記載の走行路面標示検知装置。
  8. 車両周辺を撮影する複数のカメラにより撮影された少なくとも撮影範囲の一部が重複しない複数の撮影画像を画像処理することにより路面の標示物を検知する走行路面標示検知装置で用いられる走行路面標示検知方法であって、
    前記複数の撮影画像それぞれに基づいて、所定の仮想視点から見た複数の鳥瞰画像が生成される画像生成ステップ(S2)と、
    前記画像生成ステップにおいて生成された前記鳥瞰画像から前記標示物が検出される標示物検出ステップ(S7)と、を備え、
    前記標示物検出ステップでは、2つ以上の前記鳥瞰画像における撮影範囲が互いに重複する部分である重複部分それぞれについては、該重複部分それぞれに対して割り当てられた割り当て範囲から前記標示物の検出が行われる
    ことを特徴とする走行路面標示検知方法。
JP2013138970A 2013-07-02 2013-07-02 走行路面標示検知装置および走行路面標示検知方法 Active JP6032141B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013138970A JP6032141B2 (ja) 2013-07-02 2013-07-02 走行路面標示検知装置および走行路面標示検知方法
PCT/JP2014/003301 WO2015001747A1 (ja) 2013-07-02 2014-06-19 走行路面標示検知装置および走行路面標示検知方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013138970A JP6032141B2 (ja) 2013-07-02 2013-07-02 走行路面標示検知装置および走行路面標示検知方法

Publications (2)

Publication Number Publication Date
JP2015011665A true JP2015011665A (ja) 2015-01-19
JP6032141B2 JP6032141B2 (ja) 2016-11-24

Family

ID=52143350

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013138970A Active JP6032141B2 (ja) 2013-07-02 2013-07-02 走行路面標示検知装置および走行路面標示検知方法

Country Status (2)

Country Link
JP (1) JP6032141B2 (ja)
WO (1) WO2015001747A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016213815A (ja) * 2015-05-11 2016-12-15 三星電子株式会社Samsung Electronics Co.,Ltd. 車両周辺画像提供方法及びその装置並びにコンピュータ読取可能記録媒体
JP2016218762A (ja) * 2015-05-20 2016-12-22 株式会社東芝 画像処理装置、方法及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509942A (zh) * 2018-05-28 2018-09-07 清华大学 检验装置及其检验方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010245802A (ja) * 2009-04-06 2010-10-28 Sanyo Electric Co Ltd 操縦支援装置
JP2011077772A (ja) * 2009-09-30 2011-04-14 Hitachi Automotive Systems Ltd 周囲確認支援装置
JP2011166351A (ja) * 2010-02-08 2011-08-25 Fujitsu Ltd 映像合成装置、及び映像合成プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010245802A (ja) * 2009-04-06 2010-10-28 Sanyo Electric Co Ltd 操縦支援装置
JP2011077772A (ja) * 2009-09-30 2011-04-14 Hitachi Automotive Systems Ltd 周囲確認支援装置
JP2011166351A (ja) * 2010-02-08 2011-08-25 Fujitsu Ltd 映像合成装置、及び映像合成プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016213815A (ja) * 2015-05-11 2016-12-15 三星電子株式会社Samsung Electronics Co.,Ltd. 車両周辺画像提供方法及びその装置並びにコンピュータ読取可能記録媒体
JP2016218762A (ja) * 2015-05-20 2016-12-22 株式会社東芝 画像処理装置、方法及びプログラム
US10275661B2 (en) 2015-05-20 2019-04-30 Kabushiki Kaisha Toshiba Image processing apparatus, image processing method, and computer program product

Also Published As

Publication number Publication date
WO2015001747A1 (ja) 2015-01-08
JP6032141B2 (ja) 2016-11-24

Similar Documents

Publication Publication Date Title
EP2546602B1 (en) Stereo camera apparatus
JP2008027138A (ja) 車両用監視装置
JP2007300181A (ja) 周辺認識装置、周辺認識方法、プログラム
US10099617B2 (en) Driving assistance device and driving assistance method
JP2015219773A (ja) 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム
JP6032034B2 (ja) 物体検知装置
JP2010016805A (ja) 画像処理装置、運転支援システム、及び画像処理方法
CN107004250B (zh) 图像生成装置及图像生成方法
JP2012166705A (ja) 車載カメラレンズ用異物付着判定装置
JP5163165B2 (ja) 車両周辺画像処理装置及び車両周辺状況提示方法
JP5539250B2 (ja) 接近物体検知装置及び接近物体検知方法
JP6032141B2 (ja) 走行路面標示検知装置および走行路面標示検知方法
JP2014106739A (ja) 車載画像処理装置
JP2012252501A (ja) 走行路認識装置及び走行路認識用プログラム
JP6152261B2 (ja) 車載用駐車枠認識装置
JP6407596B2 (ja) 画像処理装置、及び、運転支援システム
JP6327115B2 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
JP2018074411A (ja) 物体検出装置及び物体検出方法
JP2006072757A (ja) 物体検出装置
JP4598011B2 (ja) 車両用表示装置
JP2008042759A (ja) 画像処理装置
JP2005301892A (ja) 複数のカメラによるレーン認識装置
JP4040620B2 (ja) 車両周辺監視装置
JP2021051348A (ja) 物体距離推定装置及び物体距離推定方法
JP2009059132A (ja) 物体認識装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161010

R151 Written notification of patent or utility model registration

Ref document number: 6032141

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250