JP2011150689A - 撮像装置、車載用撮像システム、路面外観認識方法及び物体識別装置 - Google Patents
撮像装置、車載用撮像システム、路面外観認識方法及び物体識別装置 Download PDFInfo
- Publication number
- JP2011150689A JP2011150689A JP2010254213A JP2010254213A JP2011150689A JP 2011150689 A JP2011150689 A JP 2011150689A JP 2010254213 A JP2010254213 A JP 2010254213A JP 2010254213 A JP2010254213 A JP 2010254213A JP 2011150689 A JP2011150689 A JP 2011150689A
- Authority
- JP
- Japan
- Prior art keywords
- image
- road surface
- polarization
- line
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 114
- 238000000034 method Methods 0.000 title claims description 51
- 230000010287 polarization Effects 0.000 claims abstract description 337
- 238000001514 detection method Methods 0.000 claims description 67
- 238000012545 processing Methods 0.000 claims description 58
- 230000008569 process Effects 0.000 claims description 17
- 239000000126 substance Substances 0.000 claims description 2
- 238000005192 partition Methods 0.000 claims 1
- 230000000007 visual effect Effects 0.000 abstract description 2
- 230000010365 information processing Effects 0.000 description 23
- 238000003708 edge detection Methods 0.000 description 15
- 230000008859 change Effects 0.000 description 11
- 239000000463 material Substances 0.000 description 10
- 239000010426 asphalt Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000002372 labelling Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 3
- 230000008439 repair process Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000004567 concrete Substances 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000003973 paint Substances 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 239000011449 brick Substances 0.000 description 1
- 238000010367 cloning Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000010894 electron beam technology Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004038 photonic crystal Substances 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】偏光カメラによって撮影した路面の垂直偏光画像と水平偏光画像とから偏光比を算出して偏光比画像を生成する。偏光カメラで撮影した画像の輝度情報に基づいて白線WLを検出し、内側のそれぞれの偏光比(走査用基準偏光比)を使って、1走査線ごとに画面の下から画面の上まで中央から左、右方向へ同じ走査線にある偏光比との差分を算出し、予め設定された閾値と比較することで、路端REを検出する。差分値が閾値以内の部分は×で表示し、閾値より大きい部分は黒丸で表示している。黒丸部分は路端REとして認識されたところである。
【選択図】図10
Description
この技術では、車両に搭載された白線認識装置がCCDカメラ等の撮像手段により車両前方の道路画像を取り込み、白線位置で輝度が高いことを利用して白線を検出する。具体的には、例えば画像の微分処理および2値化処理によるエッジ(エッジ点列)抽出を行い、その抽出エッジについて白線エッジか否かの判定を行う。さらに、抽出エッジについて、直線検出法として知られるハフ(Hough)変換を行うことで、白線位置を決定することが開示され既に知られている。
これは、撮像装置によって撮像された前方路面画像の複数の偏光フィルタに対応する複数のスキャンライン領域のうち、領域における各画素の輝度値の変化量が閾値以上となるスキャンライン領域の輝度値に基づいて、白線検出部によって路面上の白線を検出する方法を採っている。
特許文献2には、走行環境或いは撮影環境によらず道路画像から白線などのラインを検出する目的で、その1つとして、露光量の異なる二つの道路画像を撮影し、例えば車両がトンネルに進入する場合には露光量の多い画像を用いて、輝度差に基づくテンプレートマッチング手法により白線を検出する方法が開示されている。
また、水たまり部分を白線と誤認識するのを防止するために、垂直偏光画像と水平偏光画像を撮影し、その差分を演算して入射光が散乱光か鏡面反射光かを識別し、水たまり等による鏡面反射成分を除去する方法が開示されている。
しかし、今までの白線を検出する装置では、装置構成が煩雑の問題と、検出精度を高めれば、画像処理の演算負担が大きくなり、画像処理の演算負担を小さくすれば、白線の検出精度は低下する問題と、曇りやトンネル等の撮像素子の入射光量が不足する撮影環境場合線などのラインを正しく検出することが難しい問題があった。
(1)白線が影内にある場合、白線と道路の輝度差が小さいため、白線エッジを抽出できず、未認識となる。
(2)逆光を浴びて路面が光っているとき、太陽光の反射による路面と白線との輝度差が小さいため、白線エッジを抽出できず、未認識となる。
(3)天候(雨、曇りのときなど)により、白線と道路の輝度差が小さいため、白線エッジを抽出できず、未認識となる。
(4)雨あがりなどで、路面がぬれて光っているときや水たまりがあるため、白線エッジを抽出できず、未認識となる。
(5)白線の外側に路肩、溝等が存在する場合、それらのエッジを白線エッジと判断し、誤認識となる。
(6)道路上における道路補修跡により、白線エッジを抽出できず、誤認識となる。
一般に路面はアスファルトで形成されており、樹脂材料で形成された白線とは光の反射率が大きく異なるため、白線検出には上述した従来の輝度差による認識手法が適用可能であるが、側壁等の路面と角度を有して隣接する路面領域外部材は材質がコンクリートやレンガ、土、植物などであるため、路面との反射率の違いが少ない場合が多く、白線を検出するのに比べて検出精度は低くなる。
夜間やトンネル内等のように入射光量が不足する撮影環境では、検出精度の低下はさらに困難となる。
垂直偏光画像と水平偏光画像の差分を用いる方式においても、輝度差による検出方式に変わりがないため、路端検出の適用において精度を高めることは困難であった。
2つの屈折率の異なる材質の界面に、ある角度をもって光が入射する時、入射面に平行な偏光成分であるP偏光成分と、垂直な偏光成分であるS偏光成分では反射率が異なり、P偏光成分はある角度(ブリュースター角)で0まで減少し、その後増加する。S偏光成分は単調に増加することが知られている。
偏光度=(P偏光成分−S偏光成分)/(P偏光成分+S偏光成分)・・・・・(式2)
偏光度は屈折率と光源からの被写体への入射角、被写体からカメラへの取り込み角度に応じて変化する。
一般に路面はアスファルトによって形成されている。一方、路面と角度を有して隣接する路面領域外部材はコンクリートや植栽、土といった材質の異なるものである。路面上に平面的に形成された白線等のラインもアスファルトとは材質が異なる。
材質が異なると屈折率も異なるため、路面とラインとの間または路面領域外部材との間で偏光度(偏光比)に違いが生じる。偏光度の違いは輝度差による認識方式の場合のように入射光量にあまり左右されないため、偏光比画像を生成することにより、路面とラインとの境界、または路面領域外部材のエッジに相当する路肩(路端)を検知することが可能となる。
この観点からも、偏光比画像を生成することにより、路面と隣接する路面領域外部材のエッジ(境界)に相当する路肩(路端)を検知することが可能となる。特に、路面領域外部材との間においては、材質の相違による偏光度の違いに、角度の相違による偏光度の違いが加味されるため、検出精度は高くなる。
このように偏光度の画像を生成することで、材質と角度の違いに基づき路面とライン間のエッジや、路面と路面領域外部材間のエッジ(路端)を検出することが可能となる。
偏光度は、式1に示す通り、P偏光成分とS偏光成分の差分値を、各々の和で規格化した値であるため、輝度差がない暗い環境下でも路端を検知することができるのである。
請求項3に記載の発明は、請求項2に記載の撮像装置において、前記異部材検出手段は、走査に使用する偏光比と同じ走査線上にある偏光比との差分値を算出し、予め定められた閾値と比較することにより異部材を検出することを特徴とする。
請求項4に記載の発明は、請求項3に記載の撮像装置において、前記垂直偏光画像と水平偏光画像とから輝度情報を算出する輝度情報算出手段と、算出された輝度情報に基づいて前記ラインを検出するライン検出手段と、を有し、前記異部材検出手段は、検出された前記ラインを基準とした偏光比情報に基づいて、前記路面領域外部材を検出するための前記走査に使用する偏光比と前記閾値とを決定することを特徴とする。
請求項6に記載の発明は、請求項4に記載の撮像装置において、前記異部材検出手段は、前記ラインが走行方向に途切れていた場合、ラインが無い領域では過去の偏光比画像で検出されたラインを基準とした偏光比情報に基づいて、前記走査に使用する偏光比と前記閾値とを決定することを特徴とする。
請求項7に記載の発明は、請求項5または6に記載の撮像装置において、前記異部材検出手段は、過去の画像により抽出したラインが走行方向に途切れていた場合、同じ偏光比画像内の他の走査線で検出されたラインの仮想延長線を基準した偏光比情報に基づいて、前記走査に使用する偏光比と前記閾値とを決定することを特徴とする。
請求項9に記載の発明は、請求項4〜8の何れか1つに記載の撮像装置において、前記偏光比画像の走行方向前方に対応する部分を画像の上側とした場合、前記ライン検出手段は、輝度値画像を上方と下方の二つのエリアに分け、エリア毎に適用する輝度の閾値を設定することを特徴とする。
請求項10に記載の発明は、請求項4〜9の何れか1つに記載の撮像装置において、前記ライン検出手段は、前記ラインを判断するためのエッジ候補からライン幅を算出し、算出したライン幅が規定範囲の場合にラインエッジと判断することを特徴とする。
請求項12に記載の発明は、請求項4〜11の何れか1つに記載の撮像装置において、1フレーム以上の過去の撮影画像により認識した前記ラインと前記路面領域外部材との領域を記憶する領域記憶手段と、記憶された結果に基づいて次のフレームの探索位置を決める探索位置決定手段とを有していることを特徴とする。
請求項13に記載の発明は、請求項9または11に記載の撮像装置において、検出された前記ラインのエッジと前記路面領域外部材のエッジに対して形状近似認識により近似曲線を取得する近似曲線取得手段を有し、偏光比画像の下部で抽出した信頼性の高いラインエッジと前記路面領域外部材のエッジには形状近似の投票値に大きな重みを持たせることを特徴とする。
請求項15に記載の発明は、走行する路面の垂直偏光画像および水平偏光画像を撮影し、前記垂直偏光画像と水平偏光画像とから偏光比を算出して偏光比画像を生成し、特定の偏光比を使用して前記偏光比画像を走査することにより、路面上に平面的に形成されて路面の領域を区画するライン、または路面に角度を有して隣接する路面領域外部材を検出することを特徴とする路面外観認識方法である。
請求項18に記載の発明は、請求項16または17に記載の物体識別装置において、前記車線探索領域内では、車線を認識できなかった場合、車線探索領域に対応する部分では、前記車線検出手段は適用する差分偏光度のパラメータ閾値を下げることを特徴とする。
請求項19に記載の発明は、請求項16に記載の物体識別装置において、前記路面形状推定手段は、差分偏光度画像を所定パラメータの閾値により2値化処理を行い、2値化処理後の値に基づいて、路面の特徴量を持つ領域内画像データの連結成分をラベリング処理により抽出し、抽出された前記連結成分を路面として、識別することを特徴とする。
請求項21に記載の発明は、請求項20に記載の物体識別装置において、上記パラメータ閾値決定手段は、状況ごとの過去の差分偏光度及び輝度合計値の少なくとも一方を用いて学習した結果を用いて、上記パラメータ閾値を決定することを特徴とする。
請求項24に記載の発明は、請求項1〜23の何れか1つに記載の物体識別装置において、過去に行った物体識別処理の結果を記憶する識別処理結果記憶手段を有し、前記識別処理結果記憶手段に記憶された過去の物体識別処理の結果も用いて物体識別処理を行うことを特徴とする。
本発明によれば、撮影環境によらずに、路面反射光の差分偏光度成分の強度変化を利用して簡易の構成で白線を正確に検出することができる。
また、前方道路の差分偏光度成分から推測された路面の形状情報を利用し、白線の外側に路肩、溝等により、白線の未認識と誤認識を防止することができる。
図1は、本実施形態に係る車載用撮像システム10の全体構成(ハードウェア構成)を示すブロック図である。
図示しない車両に搭載された撮像手段としての偏光カメラ12により、車両が走行する道路の外観(ここでは走行方向前方の景色=フロントビューとする)を撮影し、その垂直偏光成分(以下、単に「S成分」という)と水平偏光成分(以下、単に「P成分」という)及びこれを包含した偏光RAW画像データを取得する。
撮影された水平偏光画像データはメモリ1に、垂直偏光画像データはメモリ2にそれぞれ格納される。
これらの画像データは、それぞれ輝度情報算出手段としてのモノクロ情報処理部14と、偏光比画像生成手段としての偏光比情報処理部16に送信される。偏光比情報処理部16は取得されたP成分とS成分を用い、偏光比を算出して偏光比画像を生成する。
モノクロ情報処理部14は、取得されたP成分とS成分を用い、モノクロ画像の生成と、輝度情報(生成されたモノクロ画像の画素ごとの輝度値)の算出を行う。
また、偏光比情報処理部16では、式3により輝度情報画像データも生成し、出力する。
偏光比=P偏光成分/S偏光成分・・・・・(式1)
偏光比=(P偏光成分−S偏光成分)/(P偏光成分+S偏光成分)・・・・・(式2)
輝度データ=(P偏光成分+S偏光成分)・・・・・(式3)
白線検出部18により検出された白線や、路端検出部20により検出された路端は、CRTや液晶等で構成される表示部(ディスプレイ)22に、運転者が見やすい形態で表示される。路端検出部20による検出データを車両制御部24に送信して車両制御を行ってもよい。
メモリ1、メモリ2、モノクロ情報処理部14、偏光比情報処理部16、白線検出部18及び路端検出部20は、画像処理装置26を構成している。
偏光カメラ12、画像処理装置26及び表示部22は、車載用撮像システム10を構成し、偏光カメラ12及び画像処理装置26は撮像装置2を構成する。
本実施形態に係る車載用撮像システム10において、偏光カメラ12、画像処理装置26及び表示部22のシステム全体を車両に搭載してもよく、偏光カメラ12のみを搭載して、画像処理装置26及び表示部22は遠隔配置して車両の走行状態を運転者以外の者が客観的に把握するシステムとすることもできる。
本実施形態に係る偏光カメラ12は、1台で水平偏光画像と垂直偏光画像の両方を撮影できる構成を有しているが、水平偏光画像を撮影する偏光カメラと垂直偏光画像を撮影する偏光カメラとで撮像手段を構成してもよい。
偏光カメラ12にて取得した車両前方路面のS成分とP成分及びこれを包含した偏光RAW画像データを用いて、上述の式2と式3で偏光比情報と輝度情報を算出する。
得られた道路画像の輝度情報により後述する方法にて白線のエッジを検出する。検出された白線の内側の偏光比を「走査用基準偏光比」として用い、偏光比画像を走査する。偏光比画像を構成する画素ごとに偏光比が設定されており、路端検出部20は偏光比情報処理部16が生成した偏光比画像にアクセスして画素ライン(走査線)をビームで走査する。「走査線」とは、ディスプレイで電子ビームが走査する画面左端から右端までの軌跡のことである。
偏光比画像の左右方向へ同じ走査線上にある偏光比と比較し、偏光比の変化(走査用基準偏光比と走査した偏光比との差分値)が予め定められた閾値より小さい場合、同じ走査線上の次の画素位置へ走査し続ける。大きい場合には、路端エッジとして抽出する。
白線エッジと路端エッジを検出する際、信頼性が高い画像(画面)の下方から上方へという順序でx軸方向(画面縦方向)に走査線上を走査する。
一画面分の路端エッジと白線エッジを抽出した後、抽出した路端エッジと白線エッジに対して形状近似認識により近似曲線を取得する。この取得は近似曲線取得手段を兼ねる路端検出部20により実行される。
形状を認識する手法に関しては、最小二乗法やハフ変換やモデル方程式などの手法を適用できる。近似曲線を取得する際、道路画像の下部(画面下部)で抽出した信頼性の高い白線エッジと路端エッジには形状近似の投票値に大きな重みを持たせる。このようにすれば、道路画像の上方走査範囲で白線エッジと路端エッジを誤認識しても、下方走査範囲で正しい白線エッジと路端エッジを抽出できていれば、白線と路端の認識を成功させることができる。
白線エッジと路端エッジを検出する際、信頼性が高い画像下方から上方へという順序でx軸方向に走査線BL上を走査する。図3(b)に示すように、走査線の中央部CTから画像の左右方向へ走行路面RFの両端の白線WLと路端REを検出する。図3において符号30はディスプレイの表示面を、32は車を示している。
図4〜図7に基づいて、100枚のサンプル画像の偏光比変化について説明する。図4は高速道路での走行状態を示している。晴れの日と雨の日では、左側の路端REにある領域内の偏光比は、左側の白線WLの内側領域内の偏光比と比べると、図6及び図7から急激に変化していることがわかる。これにより、路端領域と路面領域で偏光比は切り分け可能である。
この特徴を利用して、モノクロ画像には見えない違う材質のラインと角度がある路面領域外部材を検出することができる。
図5は、図4に示す一画面内の四ヶ所、P1(左側の路端)、P2(自車線の左側=白線内側=路面左)、P3(自車線=路面真ん中)、P4(自車線の右側=路面右)の領域での偏光比のヒストグラムを示している。
通常の道路はアスファルト等の黒い部分に白線が形成されており、白線の部分の輝度はその他の部分より十分大きいため、得られた路面の輝度が所定値以上の部分を白線と判定するこができる。
車両前方路面のS成分とP成分により路面の輝度情報(輝度値)を算出する。モノクロ情報処理部14によって生成された輝度値画像において、白線検出部18により路面の輝度データと予め設定された閾値とを大小比較することにより白線エッジの候補点を検出する。検出された白線エッジの候補点と予め定められた白線幅の閾値とを大小比較することにより路面上に描かれた一対の白線エッジを抽出する。
輝度の閾値設定のステップでは、画像上方と下方の白線のコントラストが違っているため、同一の閾値を用いて処理を行うと良好な結果が得られない。そこで、一フレームの画像に対して、x方向において上方と下方の二つのエリアに分け、それぞれに適用する輝度の閾値を設定する。
上記と同様に、偏光比画像を生成して、走査用基準偏光比を設定するとともに閾値を設定する。
検出された白線の内側の偏光比を用いて、画面の左側のエリアにあれば、白線の内側から画面の左へ走査線ごとに同じ走査線にある偏光比との差分を算出する。画面の右側のエリアにあれば、白線の内側から画面の右へ走査線ごとに同じ走査線にある偏光比との差分を算出する。
差分値と閾値とを大小比較し、所定値以上の部分を路端と判定するこができる。
図10は走行路面上の二本の白線WLにより路端REを認識するための走査状態を示す図である。図に示すように、認識された二本の白線の内側のそれぞれの偏光比(走査用基準偏光比)を使って、1走査線ごとに画面の下から画面の上まで中央から左、右方向へ同じ走査線にある偏光比との差分を算出し、予め設定された閾値と比較することで、路端認識する。
差分値が閾値以内の部分は×で表示し、閾値より大きい部分は黒丸で表示している(他の図において同じ)。黒丸部分は路端として認識されたところである。
図11は、走行路面上に一本の白線WLしかない場合に、白線により路端を認識するための走査状態を示す図である。図に示すように認識された一本の白線WLの内側の偏光比(走査用基準偏光比)を使って、1走査線ごとに画面の下から画面の上まで左、右方向へ同じ走査線にある偏光比との差分を算出し、予め設定された閾値と比較する。図10の場合と同様に路端を検出することができる。
この場合、過去画像における白線と路端との領域は領域記憶手段50(図1参照)に記憶されており、探索位置検定手段を兼ねる路端検出部20は記憶された結果に基づいて次のフレーム(現フレーム)の探索位置を決定する。
図13は、走行路面上の白線を抽出できなかった上に、(a)に示す1フレーム前の過去画像にも白線がなかった場合の走査方法を示している。この場合、(b)に示すように走査線中心(画像中央、画面中央)の偏光比を使って、1走査線ごとに画面の下から画面の上まで中央から左、右方向へ同じ走査線にある偏光比との差分を算出し、予め設定された閾値と比較することで、路端認識する。
図15は、走行路面上の白線が途切れてなくなった場合の走査方法を示している。この場合、途切れた白線が存在するラインの、(a)に示す1フレーム前の過去画像でも白線が認識できなかった時、同じ画面内の他の走査線で見つけた結果の延長線((b)において一点鎖線で表示)上にある偏光比を用いて、路端を探索する。
走行路面上に影SDがある場合、左側の白線の内側の領域と路端の隣の領域は同じ影の下にある。
この場合、輝度差で検出する方式では影によって入射光量が低下し、路面と路端の輝度差がなくなるため、検出が困難となるのに比べ、影のある部分とない部分とで偏光比の特性は変わるが、偏光比の差分レベルはそのまま残る。
したがって、路端と近い白線内の偏光比を用い、1走査線ごとに路面上の両端の路端を探索することで、影の影響を減らすことができる。
この場合、図1におけるモノクロ情報処理部14及び白線検出部18は不要となる。
天候や日向・日影の差異に応じて、輝度画像や差分偏光度画像のコントラストは変化する。白線などのラインを検出するにあたって、輝度画像、差分偏光度画像それぞれが得意とするシーン、苦手とするシーンがある。
そして、輝度画像が苦手とするシーンは差分偏光度画像が得意とするシーンであったり、反対に差分偏光度画像が苦手とするシーンは輝度画像が得意とするシーンであったり、とお互いが補間する関係にあることを本発明者らは撮影実験を通して見出した。
このような輝度情報と差分偏光度情報の補間関係を利用しているので、撮影環境によらずに簡易の構成で白線の認識精度の信頼性を向上させることができる。
特に輝度情報では認識が困難とされるシーンについて具体例を挙げて説明する。なお撮影は車両前方を撮影するように車内に設置された撮像装置での異なるシーンの撮影結果を示す。
白線と道路の輝度差が小さいため、白線エッジを抽出できず、未認識となる。
図17は晴れの日の影となっているシーンの撮影結果であり、図17(a)は差分偏光度画像、図17(b)はモノクロ輝度画像である。モノクロ輝度画像に比べ、差分偏光度画像のほうが白線が鮮明に確認できる。
このように、輝度画像と差分偏光度画像でコントラストの差異が生じる理由について説明する。
一般に輝度情報に関しては、昼間の日向のシーンのコントラストが高くなり、日影や雨や曇りの日のような陽があたらないシーンではコントラストが低くなることは、我々の日常生活からも実感できる。これに対して、差分偏光度は不可視の情報でありコントラストの差異が生じる理由について説明を要する。
よって、S偏光成分よりもP偏光成分の方が強い場合には、差分偏光度は正の値をとり、P偏光成分よりもS偏光成分の方が強い場合には、差分偏光度は負の値をとることになる。
日影のなかの路面や側壁物に照射される光の光源は太陽からの直射光ではなく、空からの光である。太陽からの光はその高度と方位によって、縦横偏光度が変化するのに対して、空からの光は、天空からの各高度、各方位から均等に被検物である路面や側壁物に照射されている、よって図18に示すような角度依存性はなく、図19のような縦横偏光度と入射角特性のグラフを引くと、所定の値(図18の略平均値相当)をとる。
一方、白線は散乱体を含む塗料を有するものであり、差分偏光度は入射角依存少なくほぼ0である。日影の路面と白線を撮影した場合、コントラストのある差分偏光度画像となる。日影については輝度画像のコントラストが低下するのに対して、差分偏光度についてはコントラストある画像がとれるため、日影については差分偏光度画像を使って白線の認識をしてやればよい。
太陽光の反射による路面と白線(黄線)との輝度差が小さいため、白線エッジを抽出できず、未認識となる。
図20は晴れの日の撮影結果であり、図20(a)は差分偏光度画像、図20(b)はモノクロ輝度画像である。差分偏光度画像のほうが路端部、白線の認識率が高いことがわかる。
図20の晴れのシーンについて説明する。晴れの日向路面に照射される光の光源としては、太陽、空(太陽からの光が散乱光成分)の2つに分類できるが、路面に照射される光成分は太陽からの光が支配的成分である。すなわち図18の測定結果をそのまま適用することが可能である。
白線と道路の輝度差が小さいため、白線エッジを抽出できず、未認識となる。
図21は曇天の日の撮影結果であり、図21(a)は差分偏光度画像、図21(b)はモノクロ輝度画像である。差分偏光度画像のほうが白線の認識率が高いことがわかる。
このような雨の日や曇りの日についても、日影のシーンと同様に太陽からの直射光は存在しないため、コントラストのとれた差分偏光度画像となる。曇天時の路面と白線を撮影した場合、コントラストのある差分偏光度画像となる。輝度画像のコントラストが低下するのに対して、差分偏光度についてはコントラストある画像がとれるため、曇天については差分偏光度画像を使って白線の認識をしてやればよい。
路面がぬれて光っているときや水たまりがあるため、白線エッジを抽出できず、未認識となる。
さらに雨で路面が濡れると、鏡面反射成分が強くなるため、輝度画像では白線が見えにくくなる。輝度画像としては濡れて画像全体が黒くなりコントラストが低くなる方向である。これに対して、差分偏光度では鏡面反射成分を除いて、下層にある路面情報を検出することが可能である。そのため雨路についても図22に示すように、差分偏光度で白線(黄線)の認識をしてやればよい。
それらのエッジを白線エッジと判断し、ご認識となる。
偏光情報は上述のように材質の違いを検出することが可能である。同時に角度の違いも検出することが可能である。例えば鏡面反射面を想定した場合、直交したもの同士では差分偏光度も反転する。
このような現象を用いることにより、モノクロ輝度画像では検出不可能な角度情報も検出できる。よって図23のように側壁物があるシーンではその路面と側壁物の間で差分偏光度に差異が生じる。このような性質を併用することで図23(b)のモノクロ輝度画像では白線なのか壁なのかが区別できないようなシーンについても、図23(a)に示すように、差分偏光度画像の情報を用いて壁と認識することが可能となる。
この場合も白線エッジを抽出できず、誤認識となる。
図18のアスファルトの反射特性はアスファルトの状態、例えば新しいか古いかで変化する。よって道路補修後のように路面の材質が異なると、そのアスファルト間で差分偏光度に差異が生じる。この差異を利用することで白線の認識率を上げられる。
一方、順光時はモノクロ輝度画像のほうがよい。このような輝度情報と差分偏光度情報の補間関係を利用しているので、撮影環境によらずに簡易の構成で白線の認識方法の信頼性を向上させることができる。
まず、本実施形態に係る本発明の原理及び特徴を写真画像を含めて説明する。
本発明は、車線(白線、黄線)を検出する処理に際して、以下の特徴を有する。要するに、本発明は、差分偏光度画像のエッジ画像を用い、車線の候補点を検出する。また、差分偏光度画像で推定した路面の形状(幅、傾き)により、車線探索領域を決定し、該車線探索範囲内にある車線の候補点を用い、車線の認識処理を行うことが特徴になっている。
図24(a)に示すように、差分偏光度画像のエッジ画像により、走行路面上の車線っぽいエッジを検出する。図24(b)に示すように、差分偏光度画像では、路面と路面隣接物を識別できる特性により、ラベリング処理を用いて、路面の形状を推定する。
図24(c)に示すように、推定した路面の幅と傾きにより、車線探索領域を決定する。図24(d)に示すように、車線探索領域にある抽出された車線エッジに基づいて、ハフ変換を用いて、車線の形状を近似する。
図25は、撮影素子により撮影した車両前方路面のモノクロ輝度画像と差分偏光度画像である。
まず、差分偏光度画像を用いて、車線っぽいエッジを検出する。結果を図26に示す。
次に、差分偏光度画像を用いて、ラベリング処理により路面の形状を認識する。認識結果を図27に示す。
次に、路面の幅及び傾き(両端の黒い線の間の距離及び黒い線の傾き)により車線の探索範囲を決定する。結果を図28に示す。
車線探索領域にある抽出された車線エッジに基づいて、ハフ変換を用いて、車線の形状を近似する。結果を図29に示す。
図25〜図29までの処理により、図23(b)に示したようなモノクロ輝度画像では、左側の白い壁を白線としての誤認識や、白線と道路の輝度差が小さい時の白線エッジを抽出できない未認識などの問題を防止することができる。
図30に示すように、メモリ1、メモリ2、モノクロ情報処理部14、差分変更度情報処理部16、路面形状推定部34、車線候補点検出部36、車線探索領域決定部38、車線検出部40及び領域記憶手段50は、画像処理装置26を構成している。
偏光カメラ12、画像処理装置26及び表示部22は、車載用撮像システム10を構成し、偏光カメラ12及び画像処理装置26は撮像装置としての物体識別装置2を構成する。
全体の処理の流れとしては、撮像手段にて取得した車両前方路面の垂直偏光成分(S)と水平偏光成分(P)及びこれを包含した偏光RAW画像データを用いて、差分偏光度情報とモノクロ輝度情報を算出する。得られた道路画像の差分偏光度情報により後述する方法にて路面と白線を検出する。
本実施形態において、画像処理装置26は、状況判別手段、パラメータ閾値決定手段、物体識別処理手段を兼ね、領域記憶手段50は、形状情報記憶手段、識別処理結果記憶手段を兼ねている。
撮像手段(偏光カメラ)12は、受光素子としてCCD(charge-coupled device)やCMOS(complementary metal oxide semiconductor)等の撮像素子により、例えばメガピクセルサイズの画素を有する路面を含む周囲画像を取得する。
撮像手段12は、例えば車のルームミラーに取り付けられ、車両前方の路面を撮像するものであってもよいし、例えばサイドミラーに取り付けられ、車両側方の路面を撮像するものであってもよい。さらに、例えばバックドアに取り付けられ、車両後方の路面を撮像するものであってもよい。
[撮像手段の構成例1]
図32に示すように、1台のカメラ60の前面に偏光子を回転自在に取り付けた構成を有し、計測対象62を撮影する時に偏光子を回転しながら縦偏光画像と横偏光画像を取り込み、この2つの画像の差分偏光度画像を形成する。
[撮像手段の構成例2]
図33に示すように、縦方向の偏光を透過する位置に偏光フィルタを配置し縦偏光画像を撮影するカメラ64と、横方向の偏光を透過する位置に偏光フィルタを配置し横偏光画像を撮影するカメラ64とを備えたものであってもよい。
撮像手段の構成例1での偏光フィルタを回転させる時間のズレはなく、縦偏光画像と横偏光画像が同時に撮影することが可能である。
[撮像手段の構成例3]
ステレオ方式とは異なり、2台のカメラは近接配置可能である。近年、機器の小型化のニーズが高いため、撮像手段の構成例2をさらに小型化する構成として、レンズアレイ、偏光子のフィルタアレイを介して、一つの受光素子で撮像するものであってもよい。
具体的には、図34に示すように、複数のレンズを同一基板上に有するレンズアレイ66と、該レンズアレイ66の各レンズを透過した光束に応じて領域分離されたフィルタ68と、該フィルタ68の各領域を通過した光を受光して被写体像を撮影する複数の撮像領域を有する撮像ユニット70とからなり、フィルタ68は透過軸が直交する少なくとも2つの偏光子領域を有し、撮像ユニット70のいずれかの撮像領域で縦偏光画像を撮影し、他の撮像領域で横偏光画像を撮影する。
[撮像手段の構成例4]
一つの撮像レンズ(レンズは同軸に複数枚でもよい)で画像を撮像し、レンズ後段で垂直偏光画像と水平偏光画像を分離し、それぞれの画像から差分偏光度画像を形成する。
図35に示すように、縦偏光画像および横偏光画像を撮像するために、1:1の透過性を備えるハーフミラーボックスと、ミラーと、縦偏光フィルタと、横偏光フィルタと、縦偏光フィルタを介して視野像を撮像するCCDと、横偏光フィルタを介して視野像を撮像するCCDを有する構成であってもよい。
撮像手段の構成例2では、縦偏光画像と横偏光画像の同時撮影が可能であるが、視差が生じてしまう、これに対して本例の構成では同一の撮像光学系(レンズ)を介して撮影するために視差が生じないため、検出領域が小さくてすみ、また視差ずれ補正などの処理が不要となる。
[撮像手段の構成例5]
撮像手段の構成例4において、ハーフミラーの代わりに偏光ビームスプリッタであってもよい。偏光ビームスプリッタは、横偏光を反射し、縦偏光を透過するプリズムである。このようなプリズムを配置することにより、縦偏光フィルタ、横偏光フィルタを配置しなくてもよく、光学系の簡素化が図れるとともに、光利用効率も向上させられる。
[撮像手段の構成例5]
図36に示すように、一つの撮像レンズ(レンズは同軸に複数枚でもよい)72で撮像し、レンズ後段に縦偏光のみを通す偏光子領域と横偏光の光のみを通す偏光子領域を有する領域分割型のフィルタ74を配置した構成であってもよい。なお偏光子領域としては金属の微細凹凸形状で形成されたワイヤグリッド方式や、オートクローニング型のフォトニック結晶方式により境界部が明瞭な領域分割型の偏光子フィルタを形成できる。
撮像手段の構成例4では縦偏光画像と横偏光画像をプリズム分岐するために光学系が大型化するし、2つの受光素子が必要となる。これに対して本例の構成であれば、撮像レンズの同軸上の光学系で横偏光画像と縦偏光画像の取得が可能である。
[撮像手段の構成例6]
領域分割型のフィルタの構成としては、受光素子の画素に1:1対応させるものに限られない。例えば図37に示すように、縦横に並ぶ正方形が各受光素子の受光部となる受光素子アレイとし、2種類の斜めの帯で縦横方向2種類の偏光フィルタ領域を形成する。各フィルタ領域は、幅1画素、つまり横方向に受光素子一個分の幅を持ち、領域の境界線の傾きは2、つまり横方向に1画素分進む間に縦方向に2画素分変化する角度を持つ斜めの帯の形状をとる。このような特殊なフィルタ配置パターンと信号処理を組み合わせることによって、撮像素子配列と領域分割フィルタを接合する際の位置合せの精度が十分でなくとも画面全体で各フィルタ透過画像を再現することを可能とし、低コストにこのような撮像装置を実現できる。
以上のような偏光画像を取得可能な撮像手段は、好ましくはリアルタイムに周囲画像を取得し、取得された周囲画像は、画像処理装置に供給される。
撮影された水平偏光画像データはメモリ1に、垂直偏光画像データはメモリ2にそれぞれ格納される。
これらの画像データは、それぞれモノクロ輝度情報生成手段としてのモノクロ輝度情報処理部14と、差分偏光比画像生成手段としての差分偏光度情報処理部16に送信される。差分偏光度情報処理部16は取得されたP成分とS成分を用い、差分偏光比を算出して差分偏光比画像を生成する。
差分偏光度情報処理部16は、上記式2に示す計算式により、それらの比率を計算することで、差分偏光比情報画像データを得る。
また、モノクロ輝度情報処理部14では、上記式3によりモノクロ輝度情報画像データを生成し、出力する。
図38は、具体的な車線候補点検出の処理フローについて説明する図である。
車線候補点検出部36では、差分偏光度情報の利用方法としては、従来から知られる白線検出などが行える。なお、車線には、黄色線等の任意の色の線、実線、破線、点線、二重線等の道路を区画するあらゆる線を含んでよい。車線検出部40は、計算された差分偏光度情報を元に、後述する方法にて走行路面上の車線候補領域を抽出するものである。
通常の道路はアスファルト等の黒い部分に白線が形成されており、白線の部分の差分偏光度は無偏光状態になっており、差分偏光度はその他の部分より十分小さいため、得られた路面の差分偏光度が所定値以下の部分を白線と判定するこができる。
検出された白線エッジの候補点と予め定められた白線幅の閾値とを大小比較することにより路面上に描かれた白線候補エッジを抽出する。差分偏光度の閾値設定のステップでは、画像上方と下方の白線の差分偏光度コントラストが違っているため、同一の閾値を用いて処理を行うと良好な結果が得られない。
そこで、一フレームの画像に対して、上方と下方を二つのエリアを分け、それぞれに適用する差分偏光度の閾値を設定する。
路面形状推定部34では、差分偏光度情報の利用方法としては、モノクロ輝度画像では検出が難しい走行路面の形状を認識することが行える。
差分偏光度画像を閾値により2値化する。2値化した差分偏光度画像に含まれる連結成分について、各連結成分の特徴をラベリング処理により調べ、路面の特徴により路面の連結成分を抽出する。
図40に示したように、画面の両端の黒い線は路面形状により出した路面領域の線である。
車線探索領域決定部38では、路面の幅と路面の傾き(黒い線の傾き)により車線の探索領域を決定することができる。車線の領域は少なくとも路面領域の内側にある。
車線探索領域内に車線が見つからなかった場合、車線エッジを検出パラメータの閾値を下げて、車線探索領域内にもう一回車線エッジを検出する。
このようにすれば、道路画像の上方走査範囲で車線エッジを誤認識しても、下方走査範囲で正しい車線エッジを抽出できていれば、車線の認識を成功させることができる。
最後に、検出した結果を使って、車両制御してもよいし、白線、路端を運転者が見やすい形態でディスプレイに表示してもよい。
以上のように、差分偏光度により、路面領域の認識と車線候補エッジを抽出し、当該認識結果に基づいて、車線領域と車線検出を実行することで、路肩と白壁を車線としての誤認識や、輝度のコントラストが低いための未認識などを適切に除去しつつ、車線を高精度に検出することも可能である。
生成された差分偏光度画像とモノクロ輝度画像の路面に設けられた白線を除く路面領域に、同じエリア内で画像輝度が所定の輝度に対する予め設定した閾値より小さいか否かを判別し、同輝度に対する閾値より小さいと判別した場合に前方路面が濡れた状態と判断している。
同輝度に対する閾値以上であると判別した場合に同じエリア内に取得した差分偏光度が所定の強度に対する閾値以上であるか否かを判別し、同強度に対する閾値以上であると判別した場合に、前方路面が濡れた状態と判断しており、同強度に対する閾値より小さいと判別した場合に上記前方路面が乾燥状態と判断することができる。輝度と差分偏光度の閾値は事前の実験により決められる。
領域記憶手段では、リアルタイムに車線と車線探索領域を検出する場合においては、一枚以上の過去の撮影画像に同じような車線と車線探索領域が見つかったら、信頼できると判断する。次のフレームから前のフレーム車線探索領域位置に基づいて、車線エッジを探索し、形状を近似する。
5フレーム分の画像の車線エッジがある閾値以上検出できなかったら、最初の路面下方の走査線の中央位置から探し始まる。
14 輝度情報算出手段としてのモノクロ情報処理部
16 偏光比画像生成手段としての偏光比情報処理部
18 ライン検出手段としての白線検出部
20 異部材検出手段、探索位置決定手段、近似曲線取得手段としての路端検出部
34 路面形状推定手段
36 車線候補点検出手段
38 車線探索領域決定手段
40 車線検出手段
50 領域記憶手段
Claims (24)
- 走行する路面の垂直偏光画像および水平偏光画像を撮影可能な撮像手段と、
前記垂直偏光画像と水平偏光画像とから偏光比を算出して偏光比画像を生成する偏光比画像生成手段と、
前記偏光比画像上の偏光比情報により、路面上に平面的に形成されて路面の領域を区画するライン、または路面に角度を有して隣接する路面領域外部材を検出する異部材検出手段と、
を有することを特徴とする撮像装置。 - 請求項1に記載の撮像装置において、
前記異部材検出手段は、前記偏光比画像を走査し、1走査線ごとの偏光比情報により異物を検出することを特徴とする撮像装置。 - 請求項2に記載の撮像装置において、
前記異部材検出手段は、走査に使用する偏光比と同じ走査線上にある偏光比との差分値を算出し、予め定められた閾値と比較することにより異部材を検出することを特徴とする撮像装置。 - 請求項3に記載の撮像装置において、
前記垂直偏光画像と水平偏光画像とから輝度情報を算出する輝度情報算出手段と、算出された輝度情報に基づいて前記ラインを検出するライン検出手段と、を有し、
前記異部材検出手段は、検出された前記ラインを基準とした偏光比情報に基づいて、前記路面領域外部材を検出するための前記走査に使用する偏光比と前記閾値とを決定することを特徴とする撮像装置。 - 請求項4に記載の撮像装置において、
前記異部材検出手段は、前記ラインを検出できなかった場合、過去の偏光比画像で検出されたラインを基準とした偏光比情報に基づいて、前記路面領域外部材を検出するための前記走査に使用する偏光比と前記閾値とを決定することを特徴とする撮像装置。 - 請求項4に記載の撮像装置において、
前記異部材検出手段は、前記ラインが走行方向に途切れていた場合、ラインが無い領域では過去の偏光比画像で検出されたラインを基準とした偏光比情報に基づいて、前記走査に使用する偏光比と前記閾値とを決定することを特徴とする撮像装置。 - 請求項5または6に記載の撮像装置において、
前記異部材検出手段は、過去の画像により抽出したラインが走行方向に途切れていた場合、同じ偏光比画像内の他の走査線で検出されたラインの仮想延長線を基準した偏光比情報に基づいて、前記走査に使用する偏光比と前記閾値とを決定することを特徴とする撮像装置。 - 請求項4に記載の撮像装置において、
前記異部材検出手段は、前記ラインを検出できなかった場合、路面中心部の偏光比を前記走査に使用する偏光比とすることを特徴とする撮像装置。 - 請求項4〜8の何れか1つに記載の撮像装置において、
前記偏光比画像の走行方向前方に対応する部分を画像の上側とした場合、前記ライン検出手段は、輝度値画像を上方と下方の二つのエリアに分け、エリア毎に適用する輝度の閾値を設定することを特徴とする撮像装置。 - 請求項4〜9の何れか1つに記載の撮像装置において、
前記ライン検出手段は、前記ラインを判断するためのエッジ候補からライン幅を算出し、算出したライン幅が規定範囲の場合にラインエッジと判断することを特徴とする撮像装置。 - 請求項4〜10の何れか1つに記載の撮像装置において、
前記偏光比画像の走行方向前方に対応する部分を画像の上側とした場合、前記異部材検出手段または前記ライン検出手段は、画像の下方から上方へという順序で画像水平方向の走査線の中央から画像の左右方向へ走査して、異部材を検出することを特徴とする撮像装置。 - 請求項4〜11の何れか1つに記載の撮像装置において、
1フレーム以上の過去の撮影画像により認識した前記ラインと前記路面領域外部材との領域を記憶する領域記憶手段と、記憶された結果に基づいて次のフレームの探索位置を決める探索位置決定手段とを有していることを特徴とする撮像装置。 - 請求項9または11に記載の撮像装置において、
検出された前記ラインのエッジと前記路面領域外部材のエッジに対して形状近似認識により近似曲線を取得する近似曲線取得手段を有し、偏光比画像の下部で抽出した信頼性の高いラインエッジと前記路面領域外部材のエッジには形状近似の投票値に大きな重みを持たせることを特徴とする撮像装置。 - 車に取り付けられ、路面を撮影する撮像装置と、撮影された画像を表示する表示手段とを有する車載用撮像システムにおいて、
前記撮像装置が、請求項1〜13のいずれか1つに記載のものであることを特徴とする車載用撮像システム。 - 走行する路面の垂直偏光画像および水平偏光画像を撮影し、前記垂直偏光画像と水平偏光画像とから偏光比を算出して偏光比画像を生成し、特定の偏光比を使用して前記偏光比画像を走査することにより、路面上に平面的に形成されて路面の領域を区画するライン、または路面に角度を有して隣接する路面領域外部材を検出することを特徴とする路面外観認識方法。
- 撮像領域内に存在する識別対象物を撮像した撮像画像中における該識別対象物の画像領域を識別する物体識別装置において、
撮像領域内に存在する物体からの反射光に含まれている偏光方向が互いに異なる2つの偏光を受光して、それぞれの偏光画像を撮像する撮像手段と、
該撮像手段が撮像した2つの偏光画像をそれぞれ所定の処理領域に分割し、処理領域ごとに、該2つの偏光画像間における輝度合計値を算出する輝度算出手段と、
該処理領域ごとに、該輝度合計値に対する該2つの偏光画像間における輝度差分値の比率を示す差分偏光度を算出する差分偏光度算出手段と、
該差分偏光度により差分偏光度画像を生成する差分偏光度画像生成手段と、
該差分偏光度算出手段で算出した差分偏光度に基づいて、路面上に車両の走行レーンを区画する車線の車線候補点の検出を行う車線候補点検出手段と、
該差分偏光度算出手段で算出した差分偏光度に基づいて、路面上に平面的に形成されて路面領域を区画するライン、または路面に角度を有して隣接する路面領域外部材を検出する路面形状推定手段と、
該路面形状推定手段で推定された路面の形状に基づいて、車線領域を決定する車線探索領域決定手段と、
該車線領域決定手段で決定した車線領域にある車線候補点に基づいて、走行車線を認識する車線検出手段と、
を有することを特徴とする物体識別装置。 - 請求項16に記載の物体識別装置において、
前記車線探索領域決定手段は、走行路面の傾きと幅とにより、車線の探索領域を決定することを特徴とする物体識別装置。 - 請求項16または17に記載の物体識別装置において、
前記車線探索領域内では、車線を認識できなかった場合、車線探索領域に対応する部分では、前記車線検出手段は適用する差分偏光度のパラメータ閾値を下げることを特徴とする物体識別装置。 - 請求項16に記載の物体識別装置において、
前記路面形状推定手段は、差分偏光度画像を所定パラメータの閾値により2値化処理を行い、2値化処理後の値に基づいて、路面の特徴量を持つ領域内画像データの連結成分をラベリング処理により抽出し、抽出された前記連結成分を路面として、識別することを特徴とする物体識別装置。 - 請求項19に記載の物体識別装置において、
前記差分偏光度画像を2値化するため、前記差分偏光度算出手段が算出した差分偏光度及び前記輝度算出手段が算出した輝度合計値の少なくとも一方に基づいて撮像領域内の状況を判別する状況判別手段と、
該状況判別手段が判別した状況に応じて該パラメータの閾値を決定するパラメータ閾値決定手段と、
を有することを特徴とする物体識別装置。 - 請求項20に記載の物体識別装置において、
上記パラメータ閾値決定手段は、状況ごとの過去の差分偏光度及び輝度合計値の少なくとも一方を用いて学習した結果を用いて、上記パラメータ閾値を決定することを特徴とする物体識別装置。 - 請求項16〜21の何れか1つに記載の物体識別装置において、
前記認識対象物を前記撮像手段により撮像したときの形状を示す形状情報を記憶する形状情報記憶手段を有し、
前記車線検出手段と前記路面形状推定手段は、該識別対象物に対応する処理領域として特定した互いに近接する複数の処理領域により示される形状が前記形状情報記憶手段に記憶されている形状情報の形状に近似しているかどうかを判断する形状近似判断処理を行い、該形状近似判断処理により近似していると判断したときには、該複数の処理領域を該識別対象物の画像領域であると識別することを特徴とする物体識別装置。 - 請求項16〜22の何れか1つに記載の物体識別装置において、
前記車線検出手段と前記路面形状推定手段とが行う前記形状近似判断処理では、前記2つの偏光画像をそれぞれ撮像距離に応じて少なくとも2つ以上の区域に区分し、形状が近似しているかどうかの判断に際し、撮像距離が遠い区域に含まれる部分よりも撮像距離が近い区域に含まれる部分の方が判断結果に与える影響が大きいように重み付けを行うことを特徴とする物体識別装置。 - 請求項1〜23の何れか1つに記載の物体識別装置において、
過去に行った物体識別処理の結果を記憶する識別処理結果記憶手段を有し、
前記識別処理結果記憶手段に記憶された過去の物体識別処理の結果も用いて物体識別処理を行うことを特徴とする物体識別装置。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010254213A JP5664152B2 (ja) | 2009-12-25 | 2010-11-12 | 撮像装置、車載用撮像システム及び物体識別装置 |
PCT/JP2010/073263 WO2011078300A1 (en) | 2009-12-25 | 2010-12-16 | Imaging device, on-vehicle imaging system, road surface appearance detection method, and object detection device |
CN201080058630.4A CN102668540B (zh) | 2009-12-25 | 2010-12-16 | 成像设备、车载成像系统、路面外观检测方法以及目标检测设备 |
EP10839530A EP2517454A1 (en) | 2009-12-25 | 2010-12-16 | Imaging device, on-vehicle imaging system, road surface appearance detection method, and object detection device |
KR1020127016171A KR101378911B1 (ko) | 2009-12-25 | 2010-12-16 | 촬상 장치, 차량용 촬상 시스템, 노면 외관 인식 방법 및 물체 식별 장치 |
US13/514,614 US20120242835A1 (en) | 2009-12-25 | 2010-12-16 | Imaging device, on-vehicle imaging system, road surface appearance detection method, and object detection device |
BR112012016909A BR112012016909A2 (pt) | 2009-12-25 | 2010-12-16 | dispositivo de imagem, sistema de imagem o veículo, método de detecção de aparência de superfície na estrada e dispositivo de detecção de objeto |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009295838 | 2009-12-25 | ||
JP2009295838 | 2009-12-25 | ||
JP2010254213A JP5664152B2 (ja) | 2009-12-25 | 2010-11-12 | 撮像装置、車載用撮像システム及び物体識別装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011150689A true JP2011150689A (ja) | 2011-08-04 |
JP5664152B2 JP5664152B2 (ja) | 2015-02-04 |
Family
ID=44195825
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010254213A Expired - Fee Related JP5664152B2 (ja) | 2009-12-25 | 2010-11-12 | 撮像装置、車載用撮像システム及び物体識別装置 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20120242835A1 (ja) |
EP (1) | EP2517454A1 (ja) |
JP (1) | JP5664152B2 (ja) |
KR (1) | KR101378911B1 (ja) |
CN (1) | CN102668540B (ja) |
BR (1) | BR112012016909A2 (ja) |
WO (1) | WO2011078300A1 (ja) |
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012189826A (ja) * | 2011-03-10 | 2012-10-04 | Ricoh Co Ltd | 物体の像を取得する装置、物体の像を取得する方法、プログラム、及び記録媒体 |
JP2012191267A (ja) * | 2011-03-08 | 2012-10-04 | Ricoh Co Ltd | 物体の像を取得する装置、物体の像を取得する方法、プログラム、及び記録媒体 |
JP2013045232A (ja) * | 2011-08-23 | 2013-03-04 | Ricoh Co Ltd | 車両運転支援装置、道路の路肩を検出する方法および該方法に基づく車両運転支援方法 |
JP2013045227A (ja) * | 2011-08-23 | 2013-03-04 | Ricoh Co Ltd | 車両運転支援装置、車両が走行する道路の路肩を検出する方法および該方法に基づく車両運転支援方法 |
JP2013058199A (ja) * | 2011-09-07 | 2013-03-28 | Ricoh Co Ltd | 偏光画像による車両位置検知方法及びシステム |
JP2014006885A (ja) * | 2012-05-31 | 2014-01-16 | Ricoh Co Ltd | 段差認識装置、段差認識方法及び段差認識用プログラム |
JP2014016981A (ja) * | 2012-06-15 | 2014-01-30 | Ricoh Co Ltd | 移動面認識装置、移動面認識方法及び移動面認識用プログラム |
WO2014024763A1 (ja) * | 2012-08-08 | 2014-02-13 | 日産自動車株式会社 | 路面状態検出装置及び路面状態検出方法 |
JP2014067406A (ja) * | 2012-09-24 | 2014-04-17 | Ricoh Co Ltd | 連続型道路分割体検知方法及び検知装置 |
US8831286B2 (en) | 2010-07-01 | 2014-09-09 | Ricoh Company, Ltd. | Object identification device |
JP2015010456A (ja) * | 2013-07-02 | 2015-01-19 | 日本電気株式会社 | レール検査装置および検査方法 |
WO2015093206A1 (ja) | 2013-12-16 | 2015-06-25 | ソニー株式会社 | 画像処理装置と画像処理方法 |
JP2015128228A (ja) * | 2013-12-27 | 2015-07-09 | 株式会社リコー | 画像処理装置、画像処理システム、画像処理方法、画像処理プログラム、及び移動体制御装置 |
US9269006B2 (en) | 2012-01-19 | 2016-02-23 | Ricoh Company, Ltd. | Imaging apparatus, vehicle system, and image-processing method for image magnification and expansion |
US9544546B2 (en) | 2011-07-20 | 2017-01-10 | Denso Corporation | Cruising lane recognition in a tunnel |
WO2017057058A1 (ja) * | 2015-09-30 | 2017-04-06 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US20170122762A1 (en) * | 2014-06-13 | 2017-05-04 | Tomtom International B.V. | Methods and systems for generating route data |
CN104380343B (zh) * | 2012-06-01 | 2017-07-14 | 株式会社电装 | 检测车道的分界线的装置以及其方法 |
US9715632B2 (en) | 2013-03-15 | 2017-07-25 | Ricoh Company, Limited | Intersection recognizing apparatus and computer-readable storage medium |
JP2017202768A (ja) * | 2016-05-12 | 2017-11-16 | 本田技研工業株式会社 | 車両制御システム、車両制御方法、および車両制御プログラム |
JP2018084536A (ja) * | 2016-11-25 | 2018-05-31 | 日産自動車株式会社 | 路面判断方法および路面判断装置 |
KR101882683B1 (ko) * | 2017-07-13 | 2018-07-30 | 한국건설기술연구원 | Rtk-gnss를 이용한 도로 차선 위치정보 검출 시스템 및 그 방법 |
US10088409B2 (en) | 2016-11-04 | 2018-10-02 | Panasonic Intellectual Property Management Co., Ltd. | Image forming device |
US10097744B2 (en) | 2016-11-15 | 2018-10-09 | Panasonic Intellectual Property Management Co., Ltd. | Image forming apparatus |
US10444617B2 (en) | 2015-04-30 | 2019-10-15 | Sony Corporation | Image processing apparatus and image processing method |
JP2020133329A (ja) * | 2019-02-22 | 2020-08-31 | 株式会社ミツバ | 情報表示体、及び、車両の情報取得システム |
CN112785595A (zh) * | 2019-11-07 | 2021-05-11 | 北京市商汤科技开发有限公司 | 目标属性检测、神经网络训练及智能行驶方法、装置 |
US11047976B2 (en) | 2015-09-30 | 2021-06-29 | Sony Corporation | Information processing apparatus, information processing method and program |
WO2021229943A1 (ja) * | 2020-05-14 | 2021-11-18 | ソニーグループ株式会社 | 情報処理装置と情報処理方法およびプログラム |
JP2022127413A (ja) * | 2021-02-19 | 2022-08-31 | 本田技研工業株式会社 | 判定装置、車両制御装置、判定方法、およびプログラム |
Families Citing this family (53)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5950196B2 (ja) * | 2011-08-30 | 2016-07-13 | 株式会社リコー | 撮像装置、並びに、これを用いる画像解析装置及び移動装置 |
CN102610103A (zh) * | 2012-01-13 | 2012-07-25 | 深圳市黄河数字技术有限公司 | 智能压黄线分析识别方法 |
FR2988504B1 (fr) * | 2012-03-23 | 2014-05-09 | Commissariat Energie Atomique | Procede de determination d'un plan du sol a partir d'une image de profondeur |
CN103679121B (zh) * | 2012-09-14 | 2017-04-12 | 株式会社理光 | 采用视差图像检测路边的方法及系统 |
US9411072B1 (en) * | 2013-03-15 | 2016-08-09 | Exelis, Inc. | Real-time adaptive weather surveillance system and method |
KR20150042417A (ko) * | 2013-10-11 | 2015-04-21 | 주식회사 만도 | 촬영부를 이용한 차선검출방법 및 차선검출시스템 |
US10962625B2 (en) * | 2013-10-22 | 2021-03-30 | Polaris Sensor Technologies, Inc. | Celestial positioning system and method |
EP3060880A4 (en) * | 2013-10-22 | 2017-07-05 | Polaris Sensor Technologies, Inc. | Sky polarization and sun sensor system and method |
US9141865B2 (en) * | 2013-10-28 | 2015-09-22 | Itseez, Inc. | Fast single-pass interest operator for text and object detection |
CN103617412B (zh) * | 2013-10-31 | 2017-01-18 | 电子科技大学 | 实时车道线检测方法 |
US9090260B2 (en) * | 2013-12-04 | 2015-07-28 | Mobileye Vision Technologies Ltd. | Image-based velocity control for a turning vehicle |
KR101906951B1 (ko) * | 2013-12-11 | 2018-10-11 | 한화지상방산 주식회사 | 차선 검출 시스템 및 차선 검출 방법 |
JP6476831B2 (ja) | 2013-12-26 | 2019-03-06 | 株式会社リコー | 視差演算システム、情報処理装置、情報処理方法及びプログラム |
JP6547292B2 (ja) | 2014-02-05 | 2019-07-24 | 株式会社リコー | 画像処理装置、機器制御システム、および画像処理プログラム |
JP6485078B2 (ja) * | 2014-02-18 | 2019-03-20 | パナソニックIpマネジメント株式会社 | 画像処理方法および画像処理装置 |
JP6528447B2 (ja) | 2014-02-25 | 2019-06-12 | 株式会社リコー | 視差演算システム及び距離測定装置 |
JP6185418B2 (ja) * | 2014-03-27 | 2017-08-23 | トヨタ自動車株式会社 | 走路境界区画線検出装置 |
JP6519262B2 (ja) | 2014-04-10 | 2019-05-29 | 株式会社リコー | 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム |
JP2016001464A (ja) | 2014-05-19 | 2016-01-07 | 株式会社リコー | 処理装置、処理システム、処理プログラム、及び、処理方法 |
JP6648411B2 (ja) | 2014-05-19 | 2020-02-14 | 株式会社リコー | 処理装置、処理システム、処理プログラム及び処理方法 |
EP3168569B1 (en) * | 2014-07-08 | 2018-10-24 | Nissan Motor Co., Ltd | Defect detection device and production system |
CN104391266A (zh) * | 2014-11-25 | 2015-03-04 | 广东电网有限责任公司电力科学研究院 | 一种基于机器人的电能表外观检测装置 |
KR20160114992A (ko) * | 2015-03-25 | 2016-10-06 | 한국전자통신연구원 | 빈피킹 시스템 및 빈피킹 수행 방법 |
CN106157283A (zh) * | 2015-04-01 | 2016-11-23 | 株式会社理光 | 道路分割物的检测方法和装置 |
KR101766239B1 (ko) * | 2015-07-02 | 2017-08-08 | 이승래 | 도로 표면 상태 인식 장치 및 방법 |
WO2017047282A1 (ja) | 2015-09-15 | 2017-03-23 | 株式会社リコー | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム |
JP6662388B2 (ja) | 2015-11-27 | 2020-03-11 | 株式会社リコー | 画像処理装置、撮像装置、機器制御システム、分布データ生成方法、及びプログラム |
WO2017094300A1 (ja) | 2015-11-30 | 2017-06-08 | 株式会社リコー | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム |
WO2017099199A1 (ja) | 2015-12-10 | 2017-06-15 | 株式会社リコー | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム |
JP6597795B2 (ja) | 2015-12-14 | 2019-10-30 | 株式会社リコー | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム |
WO2017115732A1 (ja) | 2015-12-28 | 2017-07-06 | 株式会社リコー | 画像処理装置、物体認識装置、機器制御システム、画像処理方法及び画像処理プログラム |
EP3410415B1 (en) | 2016-01-28 | 2020-11-18 | Ricoh Company, Ltd. | Image processing device, imaging device, moving body device control system and image processing program |
US9889716B2 (en) | 2016-02-03 | 2018-02-13 | Ford Global Technologies, Llc | Roadway-crossing-anomaly detection system and method |
WO2017134936A1 (ja) | 2016-02-05 | 2017-08-10 | 株式会社リコー | 物体検出装置、機器制御システム、撮像装置、物体検出方法、及びプログラム |
JP6614247B2 (ja) | 2016-02-08 | 2019-12-04 | 株式会社リコー | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム |
CN105678791B (zh) * | 2016-02-24 | 2018-07-17 | 西安交通大学 | 一种基于参数不唯一的车道线检测与跟踪方法 |
WO2017154305A1 (ja) | 2016-03-10 | 2017-09-14 | 株式会社リコー | 画像処理装置、機器制御システム、撮像装置、画像処理方法、及び、プログラム |
JP6795027B2 (ja) | 2016-03-15 | 2020-12-02 | 株式会社リコー | 情報処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム |
US20170270378A1 (en) * | 2016-03-16 | 2017-09-21 | Haike Guan | Recognition device, recognition method of object, and computer-readable recording medium |
JP6683245B2 (ja) | 2016-03-18 | 2020-04-15 | 株式会社リコー | 画像処理装置、画像処理方法、画像処理プログラム、物体認識装置及び機器制御システム |
US10628960B2 (en) | 2016-11-24 | 2020-04-21 | Ricoh Company, Ltd. | Information processing apparatus, imaging apparatus, device control system, moving object, information processing method, and recording medium |
JP7119317B2 (ja) | 2016-11-28 | 2022-08-17 | 株式会社リコー | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム |
JP6950170B2 (ja) | 2016-11-30 | 2021-10-13 | 株式会社リコー | 情報処理装置、撮像装置、機器制御システム、情報処理方法、及びプログラム |
JP2018092596A (ja) | 2016-11-30 | 2018-06-14 | 株式会社リコー | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、およびプログラム |
US11354880B2 (en) | 2017-10-27 | 2022-06-07 | 3M Innovative Properties Company | Optical sensor systems |
JP6958279B2 (ja) * | 2017-11-20 | 2021-11-02 | トヨタ自動車株式会社 | 情報処理装置 |
CN108171702A (zh) * | 2018-01-18 | 2018-06-15 | 平安科技(深圳)有限公司 | 易损斑块识别方法、应用服务器及计算机可读存储介质 |
EP3764321A4 (en) * | 2018-03-09 | 2021-10-27 | Pioneer Corporation | LINE DETECTION DEVICE, LINE DETECTION METHOD, PROGRAM AND STORAGE MEDIA |
WO2020049638A1 (ja) * | 2018-09-04 | 2020-03-12 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置およびプレイフィールド逸脱検知方法 |
US10721458B1 (en) * | 2018-12-14 | 2020-07-21 | Ambarella International Lp | Stereoscopic distance measurements from a reflecting surface |
JP2020106724A (ja) * | 2018-12-28 | 2020-07-09 | マクセル株式会社 | 偏光板付きホルダおよび偏光板付きレンズユニット |
US11367292B2 (en) | 2020-02-24 | 2022-06-21 | Ford Global Technologies, Llc | Road marking detection |
CN114500771B (zh) * | 2022-01-25 | 2024-01-30 | 北京经纬恒润科技股份有限公司 | 车载成像系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003044863A (ja) * | 2001-07-30 | 2003-02-14 | Nissan Motor Co Ltd | 仕切線認識装置 |
JP2004310625A (ja) * | 2003-04-10 | 2004-11-04 | Makoto Kurihara | 写真プリントシステム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08138036A (ja) * | 1994-11-11 | 1996-05-31 | Nissan Motor Co Ltd | 先行車両認識装置 |
JP3341664B2 (ja) * | 1997-12-15 | 2002-11-05 | トヨタ自動車株式会社 | 車両用ライン検出装置及び路上ライン検出方法並びにプログラムを記録した媒体 |
JP2003011863A (ja) * | 2001-07-04 | 2003-01-15 | Yamaha Motor Co Ltd | 自動二輪車 |
US7266220B2 (en) * | 2002-05-09 | 2007-09-04 | Matsushita Electric Industrial Co., Ltd. | Monitoring device, monitoring method and program for monitoring |
JP3987048B2 (ja) * | 2003-03-20 | 2007-10-03 | 本田技研工業株式会社 | 車両周辺監視装置 |
JP4157790B2 (ja) | 2003-03-31 | 2008-10-01 | 名古屋電機工業株式会社 | 車両用路面状態検出装置、車両用路面状態検出方法および車両用路面状態検出装置の制御プログラム |
JP4066869B2 (ja) * | 2003-04-08 | 2008-03-26 | トヨタ自動車株式会社 | 車両用画像処理装置 |
JP3945494B2 (ja) * | 2004-05-11 | 2007-07-18 | トヨタ自動車株式会社 | 走行レーン認識装置 |
JP3898709B2 (ja) * | 2004-05-19 | 2007-03-28 | 本田技研工業株式会社 | 車両用走行区分線認識装置 |
JP4390631B2 (ja) * | 2004-06-02 | 2009-12-24 | トヨタ自動車株式会社 | 境界線検出装置 |
JP2006058122A (ja) * | 2004-08-19 | 2006-03-02 | Nagoya Electric Works Co Ltd | 路面状態判別方法およびその装置 |
JP4607193B2 (ja) * | 2005-12-28 | 2011-01-05 | 本田技研工業株式会社 | 車両及びレーンマーク検出装置 |
JP5610254B2 (ja) * | 2008-06-18 | 2014-10-22 | 株式会社リコー | 撮像装置及び路面状態判別方法 |
US8244408B2 (en) * | 2009-03-09 | 2012-08-14 | GM Global Technology Operations LLC | Method to assess risk associated with operating an autonomic vehicle control system |
-
2010
- 2010-11-12 JP JP2010254213A patent/JP5664152B2/ja not_active Expired - Fee Related
- 2010-12-16 KR KR1020127016171A patent/KR101378911B1/ko not_active IP Right Cessation
- 2010-12-16 EP EP10839530A patent/EP2517454A1/en not_active Withdrawn
- 2010-12-16 CN CN201080058630.4A patent/CN102668540B/zh not_active Expired - Fee Related
- 2010-12-16 US US13/514,614 patent/US20120242835A1/en not_active Abandoned
- 2010-12-16 BR BR112012016909A patent/BR112012016909A2/pt not_active IP Right Cessation
- 2010-12-16 WO PCT/JP2010/073263 patent/WO2011078300A1/en active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003044863A (ja) * | 2001-07-30 | 2003-02-14 | Nissan Motor Co Ltd | 仕切線認識装置 |
JP2004310625A (ja) * | 2003-04-10 | 2004-11-04 | Makoto Kurihara | 写真プリントシステム |
Non-Patent Citations (1)
Title |
---|
山田宗男・上田浩次・堀場勇夫・津川定之・山本新: "画像処理による車載型路面状態検出センサの開発", 電気学会論文誌C VOL.124 NO.3 IEEJ, vol. 第124巻, JPN6014025862, 1 March 2004 (2004-03-01), JP, pages 753 - 760, ISSN: 0002838523 * |
Cited By (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8831286B2 (en) | 2010-07-01 | 2014-09-09 | Ricoh Company, Ltd. | Object identification device |
JP2012191267A (ja) * | 2011-03-08 | 2012-10-04 | Ricoh Co Ltd | 物体の像を取得する装置、物体の像を取得する方法、プログラム、及び記録媒体 |
JP2012189826A (ja) * | 2011-03-10 | 2012-10-04 | Ricoh Co Ltd | 物体の像を取得する装置、物体の像を取得する方法、プログラム、及び記録媒体 |
US9544546B2 (en) | 2011-07-20 | 2017-01-10 | Denso Corporation | Cruising lane recognition in a tunnel |
JP2013045232A (ja) * | 2011-08-23 | 2013-03-04 | Ricoh Co Ltd | 車両運転支援装置、道路の路肩を検出する方法および該方法に基づく車両運転支援方法 |
JP2013045227A (ja) * | 2011-08-23 | 2013-03-04 | Ricoh Co Ltd | 車両運転支援装置、車両が走行する道路の路肩を検出する方法および該方法に基づく車両運転支援方法 |
JP2013058199A (ja) * | 2011-09-07 | 2013-03-28 | Ricoh Co Ltd | 偏光画像による車両位置検知方法及びシステム |
US9269006B2 (en) | 2012-01-19 | 2016-02-23 | Ricoh Company, Ltd. | Imaging apparatus, vehicle system, and image-processing method for image magnification and expansion |
JP2014006885A (ja) * | 2012-05-31 | 2014-01-16 | Ricoh Co Ltd | 段差認識装置、段差認識方法及び段差認識用プログラム |
CN104380343B (zh) * | 2012-06-01 | 2017-07-14 | 株式会社电装 | 检测车道的分界线的装置以及其方法 |
JP2014016981A (ja) * | 2012-06-15 | 2014-01-30 | Ricoh Co Ltd | 移動面認識装置、移動面認識方法及び移動面認識用プログラム |
WO2014024763A1 (ja) * | 2012-08-08 | 2014-02-13 | 日産自動車株式会社 | 路面状態検出装置及び路面状態検出方法 |
EP2884311A4 (en) * | 2012-08-08 | 2015-10-07 | Nissan Motor | ROAD SURFACE STATUS DETECTION DEVICE AND ROAD SURFACE STATUS DETECTION METHOD |
CN104520735B (zh) * | 2012-08-08 | 2016-03-02 | 日产自动车株式会社 | 路面状态检测装置以及路面状态检测方法 |
JP5907271B2 (ja) * | 2012-08-08 | 2016-04-26 | 日産自動車株式会社 | 路面状態検出装置及び路面状態検出方法 |
CN104520735A (zh) * | 2012-08-08 | 2015-04-15 | 日产自动车株式会社 | 路面状态检测装置以及路面状态检测方法 |
JP2014067406A (ja) * | 2012-09-24 | 2014-04-17 | Ricoh Co Ltd | 連続型道路分割体検知方法及び検知装置 |
US9715632B2 (en) | 2013-03-15 | 2017-07-25 | Ricoh Company, Limited | Intersection recognizing apparatus and computer-readable storage medium |
JP2015010456A (ja) * | 2013-07-02 | 2015-01-19 | 日本電気株式会社 | レール検査装置および検査方法 |
WO2015093206A1 (ja) | 2013-12-16 | 2015-06-25 | ソニー株式会社 | 画像処理装置と画像処理方法 |
US10366303B2 (en) | 2013-12-16 | 2019-07-30 | Sony Corporation | Image processing device and image processing method |
JP2015128228A (ja) * | 2013-12-27 | 2015-07-09 | 株式会社リコー | 画像処理装置、画像処理システム、画像処理方法、画像処理プログラム、及び移動体制御装置 |
US20170122762A1 (en) * | 2014-06-13 | 2017-05-04 | Tomtom International B.V. | Methods and systems for generating route data |
US20230400317A1 (en) * | 2014-06-13 | 2023-12-14 | Tomtom Global Content B.V. | Methods and Systems for Generating Route Data |
US10444617B2 (en) | 2015-04-30 | 2019-10-15 | Sony Corporation | Image processing apparatus and image processing method |
US11047976B2 (en) | 2015-09-30 | 2021-06-29 | Sony Corporation | Information processing apparatus, information processing method and program |
US10591594B2 (en) | 2015-09-30 | 2020-03-17 | Sony Corporation | Information processing apparatus, information processing method, and program |
WO2017057058A1 (ja) * | 2015-09-30 | 2017-04-06 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
CN107399321A (zh) * | 2016-05-12 | 2017-11-28 | 本田技研工业株式会社 | 车辆控制系统、车辆控制方法和车辆控制程序 |
JP2017202768A (ja) * | 2016-05-12 | 2017-11-16 | 本田技研工業株式会社 | 車両制御システム、車両制御方法、および車両制御プログラム |
US10088409B2 (en) | 2016-11-04 | 2018-10-02 | Panasonic Intellectual Property Management Co., Ltd. | Image forming device |
US10097744B2 (en) | 2016-11-15 | 2018-10-09 | Panasonic Intellectual Property Management Co., Ltd. | Image forming apparatus |
JP2018084536A (ja) * | 2016-11-25 | 2018-05-31 | 日産自動車株式会社 | 路面判断方法および路面判断装置 |
KR101882683B1 (ko) * | 2017-07-13 | 2018-07-30 | 한국건설기술연구원 | Rtk-gnss를 이용한 도로 차선 위치정보 검출 시스템 및 그 방법 |
JP2020133329A (ja) * | 2019-02-22 | 2020-08-31 | 株式会社ミツバ | 情報表示体、及び、車両の情報取得システム |
CN112785595A (zh) * | 2019-11-07 | 2021-05-11 | 北京市商汤科技开发有限公司 | 目标属性检测、神经网络训练及智能行驶方法、装置 |
JP2022513781A (ja) * | 2019-11-07 | 2022-02-09 | ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド | ターゲット属性検出、ニューラルネットワークトレーニング及びインテリジェント走行方法、装置 |
WO2021229943A1 (ja) * | 2020-05-14 | 2021-11-18 | ソニーグループ株式会社 | 情報処理装置と情報処理方法およびプログラム |
JP2022127413A (ja) * | 2021-02-19 | 2022-08-31 | 本田技研工業株式会社 | 判定装置、車両制御装置、判定方法、およびプログラム |
JP7286691B2 (ja) | 2021-02-19 | 2023-06-05 | 本田技研工業株式会社 | 判定装置、車両制御装置、判定方法、およびプログラム |
US12084082B2 (en) | 2021-02-19 | 2024-09-10 | Honda Motor Co., Ltd. | Determination device, vehicle control device, determination method, and storage medium |
Also Published As
Publication number | Publication date |
---|---|
US20120242835A1 (en) | 2012-09-27 |
KR20120085932A (ko) | 2012-08-01 |
EP2517454A1 (en) | 2012-10-31 |
BR112012016909A2 (pt) | 2018-07-03 |
KR101378911B1 (ko) | 2014-03-31 |
CN102668540A (zh) | 2012-09-12 |
WO2011078300A1 (en) | 2011-06-30 |
JP5664152B2 (ja) | 2015-02-04 |
CN102668540B (zh) | 2015-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5664152B2 (ja) | 撮像装置、車載用撮像システム及び物体識別装置 | |
CN103080978B (zh) | 对象识别装置 | |
Bronte et al. | Fog detection system based on computer vision techniques | |
US9460353B2 (en) | Systems and methods for automated water detection using visible sensors | |
US8908038B2 (en) | Vehicle detection device and vehicle detection method | |
US9025027B2 (en) | Object identification device, moving object controlling apparatus having object identification device, information presenting apparatus having object identification device, and spectroscopic image capturing apparatus | |
CN102782720B (zh) | 对象识别装置、移动主体控制装置及信息提供装置 | |
CN102175613B (zh) | 基于图像亮度特征的ptz视频能见度检测方法 | |
US8294794B2 (en) | Shadow removal in an image captured by a vehicle-based camera for clear path detection | |
Hautière et al. | Real-time disparity contrast combination for onboard estimation of the visibility distance | |
JP5299513B2 (ja) | 障害物検知装置及び方法並びに障害物検知システム | |
US8422737B2 (en) | Device and method for measuring a parking space | |
JP5686281B2 (ja) | 立体物識別装置、並びに、これを備えた移動体制御装置及び情報提供装置 | |
JP4936045B2 (ja) | 車体色判別装置、方法及びプログラム | |
Barua et al. | An Efficient Method of Lane Detection and Tracking for Highway Safety | |
CN116363614A (zh) | 一种用于道路探测及偏振成像的装置及方法 | |
Horita et al. | Omni-directional polarization image sensor based on an omni-directional camera and a polarization filter | |
Mazurek et al. | Utilisation of the light polarization to increase the working range of the video vehicle tracking systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131011 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140624 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140822 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141111 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141124 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5664152 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |