JP2014006882A - 路面傾斜認識装置、路面傾斜認識方法及び路面傾斜認識用プログラム - Google Patents

路面傾斜認識装置、路面傾斜認識方法及び路面傾斜認識用プログラム Download PDF

Info

Publication number
JP2014006882A
JP2014006882A JP2013055905A JP2013055905A JP2014006882A JP 2014006882 A JP2014006882 A JP 2014006882A JP 2013055905 A JP2013055905 A JP 2013055905A JP 2013055905 A JP2013055905 A JP 2013055905A JP 2014006882 A JP2014006882 A JP 2014006882A
Authority
JP
Japan
Prior art keywords
road surface
parallax
inclination
image
disparity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013055905A
Other languages
English (en)
Inventor
Wei Zhong
維 仲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2013055905A priority Critical patent/JP2014006882A/ja
Priority to KR1020147036482A priority patent/KR101650266B1/ko
Priority to US14/387,595 priority patent/US20150049913A1/en
Priority to CN201380028230.2A priority patent/CN104380337A/zh
Priority to EP13797792.2A priority patent/EP2856423A4/en
Priority to PCT/JP2013/064296 priority patent/WO2013179993A1/en
Publication of JP2014006882A publication Critical patent/JP2014006882A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

【課題】自車両の進行方向における走行路面の傾斜状況(相対傾斜状況)を認識する処理をより短時間で実行することを課題とする。
【解決手段】撮像部110A,110Bにより撮像した複数の撮像画像から視差情報を生成し、当該複数の撮像画像を上下方向に複数分割して得られる各行内における視差値の頻度分布を示す視差ヒストグラム情報を生成し、予め決められた規定値を超える頻度をもった視差値又は視差値範囲の中から当該撮像画像の上方に向かうほど値が低くなるという特徴に合致した一群の視差値又は視差値範囲を選別し、選別した一群の視差値又は視差値範囲の行に応じて相対傾斜状況を認識する。
【選択図】図5

Description

本発明は、自車両前方を複数の撮像手段により撮像した複数の撮像画像に基づいて自車両の走行路面の傾斜状況を認識するための路面傾斜認識装置、路面傾斜認識方法及び路面傾斜認識用プログラムに関するものである。
従来、自車両前方の撮像画像に基づいて認識対象物を認識する認識装置は、例えば、車両の運転者(ドライバー)の運転負荷を軽減させるための、ACC(Adaptive Cruise Control)等の運転者支援システムなどに利用されている。運転者支援システムは、自車両が障害物等に衝突することを回避したり衝突時の衝撃を軽減したりするための自動ブレーキ機能や警報機能、先行車両との車間距離を維持するための自車速度調整機能、自車が走行している車線からの逸脱防止を支援する機能などの様々な機能を実現する。
これらの機能を適切に実現するためには、自車両前方の撮像画像から、自車両周囲に存在する種々の認識対象物(例えば、他車両、歩行者、車線境界線やマンホール蓋などの路面構成物、電柱、ガードレール、縁石、中央分離帯などの路側構造物など)を映し出す画像部分を、精度よく認識し、自車両の走行可能領域を把握したり、衝突を回避すべき物体を精度よく把握したりすることが重要である。また、自動ブレーキ機能や自車速度調整機能などの機能を適切に実現する上では、自車両の進行方向における走行路面の傾斜状況を認識することが有用である。
特許文献1には、自車両前方を撮像手段により撮像して得た輝度画像と距離画像(視差画像情報)とに基づいて路面上の白線(車線境界線)の三次元形状を算出し、その白線の三次元形状から、自車両の走行路面の三次元形状(自車両の進行方向における走行路面の凹凸情報)を特定する路面認識装置が開示されている。この路面認識装置によれば、自車両の進行方向における走行路面が、平坦なのか、上り傾斜なのか、下り傾斜なのかという単純な傾斜状況だけでなく、例えば、ある距離までは上り傾斜であるが、その先は下り傾斜になっていて、そこから更に先がまた上り傾斜になっているというような進行方向に沿った路面凹凸情報(傾斜状況)も把握できるとしている。
ところが、上記特許文献1に記載された路面認識装置では、距離画像(視差画像情報)から自車両の走行車線の両側に存在する2つの白線の三次元形状を算出した上で、両白線の間がなめらかに連続するように補間処理を施すことにより、両白線間に存在する自車両の走行車線の路面凹凸情報(路面三次元形状)を推定するという、複雑で高負荷の処理を行う。そのため、進行方向における路面凹凸情報を取得するための処理時間を短くすることが困難であり、例えば30FPS(Frames Per Second)の動画像に対するリアルタイム処理などに対応できないなどの問題があった。
本発明は、以上の背景に鑑みなされたものであり、その目的とするところは、自車両の進行方向における走行路面の傾斜状況を新たな認識処理によって認識できる路面傾斜認識装置、路面傾斜認識方法及び路面傾斜認識用プログラムを提供することである。
本発明は、複数の撮像手段により自車両前方を撮像して得られる複数の撮像画像に基づいて視差情報を生成する視差情報生成手段を有し、該視差情報生成手段が生成した視差情報に基づいて、自車両が走行している路面部分に対する自車両前方の走行路面の傾斜状況を認識する路面傾斜認識装置において、上記視差情報生成手段が生成した視差情報に基づいて、上記撮像画像を上下方向に複数分割して得られる各行領域内における視差値の頻度分布を示す視差ヒストグラム情報を生成する視差ヒストグラム情報生成手段と、上記視差ヒストグラム情報に基づいて、予め決められた規定値を超える頻度をもった視差値又は視差値範囲の中から、上記撮像画像の上方に向かうほど値が低くなるという特徴に合致した一群の視差値又は視差値範囲を選別し、選別した一群の視差値又は視差値範囲に応じて、自車両が走行している路面部分に対する自車両前方の走行路面の傾斜状況を認識する傾斜状況認識処理を実行する傾斜状況認識手段とを有することを特徴とする。
本発明においては、視差情報に基づいて各行領域内における視差値の頻度分布を示す視差ヒストグラム情報を生成し、生成した視差ヒストグラム情報に基づいて、予め決められた規定値を超える頻度をもった視差値又は視差値範囲の中から、撮像画像の上方に向かうほど値が低くなるという特徴に合致した一群の視差値又は視差値範囲を選別するという処理を行う。このような特徴に合致した一群の視差値又は視差値範囲に対応する画素は、後述するように、自車両前方の路面を映し出す路面画像領域を構成するものであると高い確度で推定できる。よって、選別した一群の視差値又は視差値範囲は、撮像画像内の路面画像領域に対応した各行領域の視差値に相当すると言える。
ここで、自車両が走行している路面部分(自車両の真下に位置する路面部分)に対する自車両前方の走行路面の傾斜状況(相対的な傾斜状況)が上り傾斜である場合、撮像画像上のある行領域に映し出される路面部分は、相対的な傾斜状況が平坦である場合よりも、近くのものが映し出されることになる。したがって、撮像画像上の路面画像領域に対応する同じ行領域の視差値は、相対的な傾斜状況が上り傾斜である場合の方が、平坦である場合よりも、大きいものとなる。逆に、自車両前方の走行路面の相対的な傾斜状況が下り傾斜である場合には、撮像画像上のある行領域に映し出される路面部分は、相対的な傾斜状況が平坦である場合よりも、遠くのものが映し出されることになる。したがって、撮像画像上の路面画像領域に対応する同じ行領域の視差値は、相対的な傾斜状況が下り傾斜である場合の方が、平坦である場合よりも、小さいものとなる。よって、撮像画像内の路面画像領域における各行領域に映し出される路面部分の相対的な傾斜状況は、その行領域の視差値から把握することができる。
上述したように、選別した一群の視差値又は視差値範囲は、撮像画像内の路面画像領域における各行領域の視差値であるため、選別した一群の視差値又は視差値範囲から、自車両前方の走行路面の相対的な傾斜状況を把握することができる。
なお、ここでいう相対的な傾斜状況とは、自車両が走行している路面部分と平行な面を自車両前方へ延長して得られる仮想の延長面に対し、各行領域に対応した路面部分が上側に位置する場合を、当該行領域に対応する路面部分の相対的な傾斜状況が上り傾斜であるとし、各行領域に対応した路面部分が下側に位置する場合を、当該行領域に対応する路面部分の相対的な傾斜状況が下り傾斜であるとする。
以上、本発明によれば、上記特許文献1に記載された路面認識装置で行われる処理を用いず、新たな認識処理によって自車両の進行方向における走行路面の傾斜状況を認識することができるという優れた効果が得られる。
実施形態における車載機器制御システムの概略構成を示す模式図である。 同車載機器制御システムを構成する撮像ユニット及び画像解析ユニットの概略構成を示す模式図である。 同撮像ユニットの撮像部における光学フィルタと画像センサとを光透過方向に対して直交する方向から見たときの模式拡大図である。 同光学フィルタの領域分割パターンを示す説明図である。 実施形態の路面傾斜認識処理に関わる機能ブロック図である。 (a)は視差画像の視差値分布の一例を示す説明図である。(b)は、同(a)の視差画像の行ごとの視差値頻度分布を示す行視差分布マップ(Vマップ)を示す説明図である。 (a)は、同撮像部で撮像した撮像画像(輝度画像)の一例を模式的に表した画像例である。(b)は、視差ヒストグラム計算部により算出される行視差分布マップ(Vマップ)を直線近似したグラフである。 (a)は、自車両が走行している路面部分が平坦で自車両前方の走行路面も平坦である場合の自車両を側面方向から見たときの模式図であり、(b)は同(a)の状況における撮像画像(輝度画像)上の路面領域の画像例であり、(c)は同(b)に対応する行視差分布マップ(Vマップ)を示す説明図である。 (a)は、自車両が走行している路面部分が平坦で自車両前方の走行路面が上り傾斜である場合の自車両を側面方向から見たときの模式図であり、(b)は同(a)の状況における撮像画像(輝度画像)上の路面領域の画像例であり、(c)は同(b)に対応する行視差分布マップ(Vマップ)を示す説明図である。 (a)は、自車両が走行している路面部分が平坦で自車両前方の走行路面が下り傾斜である場合の自車両を側面方向から見たときの模式図であり、(b)は同(a)の状況における撮像画像(輝度画像)上の路面領域の画像例であり、(c)は同(b)に対応する行視差分布マップ(Vマップ)を示す説明図である。 近似直線を描いた行視差分布マップ(Vマップ)上に、傾斜基準情報である2つの閾値S1,S2を示した説明図である。
以下、本発明に係る路面傾斜認識装置を、車両システムとしての車載機器制御システムに用いる一実施形態について説明する。
なお、本発明に係る路面傾斜認識装置は、車載機器制御システムに限らず、例えば、撮像画像に基づいて物体検出を行う物体検出装置を搭載したその他のシステムにも適用できる。
図1は、本実施形態における車載機器制御システムの概略構成を示す模式図である。
本車載機器制御システムは、自動車などの自車両100に搭載された撮像ユニットで撮像した自車両進行方向前方領域(撮像領域)の撮像画像データを利用して認識対象物の認識結果に応じて各種車載機器の制御を行うものである。
本実施形態の車載機器制御システムは、走行する自車両100の進行方向前方領域を撮像領域として撮像する撮像ユニット101が設けられている。この撮像ユニット101は、例えば、自車両100のフロントガラス105のルームミラー(図示せず)付近に設置される。撮像ユニット101の撮像によって得られる撮像画像データ等の各種データは、画像処理手段としての画像解析ユニット102に入力される。画像解析ユニット102は、撮像ユニット101から送信されてくるデータを解析して、自車両100の前方に存在する他車両の位置、方角、距離を算出したり、自車両100が走行している路面部分(自車両の真下に位置する路面部分)に対する自車両前方の走行路面の傾斜状況(以下、「相対傾斜状況」という。)を検出したりする。他車両の検出では、他車両のテールランプを識別することで自車両100と同じ進行方向へ進行する先行車両を検出し、他車両のヘッドランプを識別することで自車両100とは反対方向へ進行する対向車両を検出する。
画像解析ユニット102の算出結果は、ヘッドランプ制御ユニット103に送られる。ヘッドランプ制御ユニット103は、例えば、画像解析ユニット102が算出した他車両の距離データから、自車両100の車載機器であるヘッドランプ104を制御する制御信号を生成する。具体的には、例えば、先行車両や対向車両の運転者の目に自車両100のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、自車両100の運転者の視界確保を実現できるように、ヘッドランプ104のハイビームおよびロービームの切り替えを制御したり、ヘッドランプ104の部分的な遮光制御を行ったりする。
また、画像解析ユニット102の算出結果は、車両走行制御ユニット108にも送られる。車両走行制御ユニット108は、画像解析ユニット102が検出した路面領域(走行可能領域)の認識結果に基づいて、走行可能領域から自車両100が外れそうな場合等に、自車両100の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。また、車両走行制御ユニット108は、画像解析ユニット102が検出した走行路面の相対傾斜状況の認識結果に基づいて、走行路面の傾斜によって自車両100が減速したり加速したりする場合等に、自車両100の運転者へ警告を報知したり、自車両のアクセルやブレーキを制御するなどの走行支援制御を行ったりする。
図2は、撮像ユニット101及び画像解析ユニット102の概略構成を示す模式図である。
撮像ユニット101は、撮像手段としての2つの撮像部110A,110Bを備えたステレオカメラであり、2つの撮像部110A,110Bの構成は同一のものである。各撮像部110A,110Bは、それぞれ、撮像レンズ111A,111Bと、光学フィルタ112A,112Bと、撮像素子が2次元配置された画像センサ113A,113Bを含んだセンサ基板114A,114Bと、センサ基板114A,114Bから出力されるアナログ電気信号(画像センサ113A,113B上の各受光素子が受光した受光量)をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部115A,115Bとから構成されている。本実施形態の撮像ユニット101からは、赤色画像データ、輝度画像データ、視差画像データが出力される。
また、撮像ユニット101は、FPGA(Field-Programmable Gate Array)等からなる処理ハードウェア部120を備えている。この処理ハードウェア部120は、各撮像部110A,110Bから出力される輝度画像データから視差画像を得るために、各撮像部110A,110Bでそれぞれ撮像した撮像画像間の対応画像部分の視差値を演算する視差情報生成手段としての視差演算部121を備えている。ここでいう視差値とは、各撮像部110A,110Bでそれぞれ撮像した撮像画像の一方を基準画像、他方を比較画像とし、撮像領域内の同一地点に対応した基準画像上の画像部分に対する比較画像上の画像部分の位置ズレ量を、当該画像部分の視差値として算出したものである。三角測量の原理を利用することで、この視差値から当該画像部分に対応した撮像領域内の当該同一地点までの距離を算出することができる。
一方、画像解析ユニット102は、撮像ユニット101から出力される赤色画像データ、輝度画像データ、視差画像データを記憶するメモリ130と、識別対象物の認識処理や視差計算制御などを行うソフトウェアを内蔵したMPU(Micro Processing Unit)140とを備えている。MPU140は、メモリ130に格納された赤色画像データ、輝度画像データ、視差画像データを用いて各種の認識処理を実行する。
図3は、光学フィルタ112A,112Bと画像センサ113A,113Bとを光透過方向に対して直交する方向から見たときの模式拡大図である。
画像センサ113A,113Bは、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などを用いたイメージセンサであり、その撮像素子(受光素子)にはフォトダイオード113aを用いている。フォトダイオード113aは、撮像画素ごとに2次元的にアレイ配置されており、フォトダイオード113aの集光効率を上げるために、各フォトダイオード113aの入射側にはマイクロレンズ113bが設けられている。この画像センサ113A,113Bがワイヤボンディングなどの手法によりPWB(printed wiring board)に接合されてセンサ基板114A,114Bが形成されている。
画像センサ113A,113Bのマイクロレンズ113b側の面には、光学フィルタ112A,112Bが近接配置されている。本実施形態の光学フィルタ112A,112Bは、図3に示すように、透明なフィルタ基板112a上に分光フィルタ層112bを形成したものであるが、分光フィルタに代えて又は分光フィルタに加えて、偏光フィルタ等の他の光学フィルタを設けてもよい。分光フィルタ層112bは、画像センサ113A,113B上における1つのフォトダイオード113aに対応するように領域分割されている。
光学フィルタ112A,112Bと画像センサ113A,113Bとの間に空隙がある構成としてもよいが、光学フィルタ112A,112Bを画像センサ113A,113Bに密着させる構成とした方が、光学フィルタ112A,112Bの各フィルタ領域の境界と画像センサ113A,113B上のフォトダイオード113a間の境界とを一致させやすくなる。光学フィルタ112A,112Bと画像センサ113A,113Bは、例えば、UV接着剤で接合してもよいし、撮像に用いる有効画素範囲外でスペーサにより支持した状態で有効画素外の四辺領域をUV接着や熱圧着してもよい。
図4は、本実施形態に係る光学フィルタ112A,112Bの領域分割パターンを示す説明図である。
光学フィルタ112A,112Bは、第1領域及び第2領域という2種類の領域が、画像センサ113A,113B上の1つのフォトダイオード113aに対応して配置されたものである。これにより、画像センサ113A,113B上の各フォトダイオード113aによって受光される受光量は、受光する光が透過した分光フィルタ層112bの領域の種類に応じて、分光情報として取得することができる。
本実施形態における光学フィルタ112A,112Bにおいて、第1領域は、赤色波長帯の光のみを選択して透過させる赤色分光領域112rであり、第2領域は、波長選択を行わずに光を透過させる非分光領域112cである。そして、光学フィルタ112A,112Bは、図4に示すように、これらの第1領域112r及び第2領域112cが市松模様状に分布したものを用いている。したがって、本実施形態においては、第1領域112rに対応する撮像画素の出力信号から赤色輝度画像が得られ、第2領域112cに対応する撮像画素の出力信号から非分光の輝度画像が得られる。よって、本実施形態によれば、一度の撮像動作により、赤色輝度画像と非分光の輝度画像に対応した2種類の撮像画像データを得ることができる。これらの撮像画像データでは、その画像画素の数が撮像画素数よりも少なくなるが、より高解像度の画像を得る際には一般に知られる画像補間処理を用いてもよい。
このようにして得られる赤色輝度画像データは、例えば、赤色に発光するテールランプの検出に使用することができる。また、非分光の輝度画像データは、例えば、車線境界線である白線、対向車両のヘッドランプの検出に使用することができる。
次に、本発明の特徴部分である、路面傾斜認識処理について説明する。
図5は、本実施形態の路面傾斜認識処理に関わる機能ブロック図である。
本実施形態の視差演算部121は、2つの撮像部110A,110Bのうちの一方の撮像部110Aの撮像画像データを基準画像データとし、他方の撮像部110Bの撮像画像データを比較画像データとして用い、両者の視差を演算して視差画像データを生成し、出力する。この視差画像データは、基準画像データ上の各画像部分について算出される視差値に応じた画素値をそれぞれの画像部分の画素値として表した視差画像を示すものである。
具体的には、視差演算部121は、基準画像データのある行について、一の注目画素を中心とした複数画素(例えば16画素×1画素)からなるブロックを定義する。一方、比較画像データにおける同じ行において、定義した基準画像データのブロックと同じサイズのブロックを1画素ずつ横ライン方向(X方向)へずらし、基準画像データにおいて定義したブロックの画素値の特徴を示す特徴量と比較画像データにおける各ブロックの画素値の特徴を示す特徴量との相関を示す相関値を、それぞれ算出する。そして、算出した相関値に基づき、比較画像データにおける各ブロックの中で最も基準画像データのブロックと相関があった比較画像データのブロックを選定するマッチング処理を行う。その後、基準画像データのブロックの注目画素と、マッチング処理で選定された比較画像データのブロックの対応画素との位置ズレ量を視差値として算出する。このような視差値を算出する処理を基準画像データの全域又は特定の一領域について行うことで、視差画像データを得ることができる。このようにして得られる視差画像データは、視差ヒストグラム情報生成手段としての視差ヒストグラム計算部141に送られる。
マッチング処理に用いるブロックの特徴量としては、例えば、ブロック内の各画素の値(輝度値)を用いることができ、相関値としては、例えば、基準画像データのブロック内の各画素の値(輝度値)と、これらの画素にそれぞれ対応する比較画像データのブロック内の各画素の値(輝度値)との差分の絶対値の総和を用いることができる。この場合、当該総和が最も小さくなるブロックが最も相関があると言える。
視差画像データを取得した視差ヒストグラム計算部141は、視差画像データの各行について、視差値頻度分布を計算する。具体例を挙げて説明すると、図6(a)に示すような視差値分布をもった視差画像データが入力されたとき、視差ヒストグラム計算部141は、図6(b)に示すような行ごとの視差値頻度分布を計算して出力する。このようにして得らえる各行の視差値頻度分布の情報から、例えば、縦方向に視差画像上の縦方向位置をとり、横方向に視差値をとった2次元平面上に、視差画像データ上の各画素を分布させた行視差分布マップ(Vマップ)を得ることができる。
図7(a)は、撮像部110Aで撮像した撮像画像(輝度画像)の一例を模式的に表した画像例であり、図7(b)は、視差ヒストグラム計算部141により算出される行ごとの視差値頻度分布から、行視差分布マップ(Vマップ)上の画素分布を直線近似したグラフである。
図7(a)に示す画像例は、中央分離帯を有する片側2車線の直線道路において自車両が左車線を走行している状況を撮像したものであり、図中符号CLは中央分離帯を映し出す中央分離帯画像部であり、図中符号WLは車線境界線である白線を映し出す白線画像部(車線境界線画像部)であり、図中符号ELは路端に存在する縁石等の段差を映し出す路端段差画像部である。以下、路端段差画像部EL及び中央分離帯段差画像部CLをまとめて段差画像部という。また、図中破線で囲まれた領域RSは、中央分離帯と路側段差とによって区画される車両走行が可能な路面である。
本実施形態では、路面領域認識部142において、視差ヒストグラム計算部141から出力される各行の視差値頻度分布の情報から、路面領域RSを認識する。具体的には、路面領域認識部142は、まず、視差ヒストグラム計算部141から各行の視差値頻度分布情報を取得し、その情報から特定される行視差分布マップ上の画素分布を最小二乗法やハフ変換処理などにより直線近似する処理を行う。これにより得られる図7(b)に示す近似直線は、視差画像の下部に対応する行視差分布マップの下部において、画像上方へ向かうほど視差値が小さくなるような傾きをもった直線となる。すなわち、この近似直線上又はその近傍に分布する画素(視差画像上の画素)は、視差画像上の各行においてほぼ同一距離に存在して最も占有率が高く、かつ、画像上方へ向かうほど距離が連続的に遠くなる対象を映し出した画素であると言える。
ここで、撮像部110Aでは自車両前方領域を撮像するため、その視差画像の内容は、図7(a)に示すように、画像下部において路面領域RSの占有率が最も高く、また、画像上方へ向かうほど路面領域RSの視差値は小さくなる。また、同じ行(横ライン)内において、路面領域RSを構成する画素はほぼ同じ視差値を持つことになる。したがって、視差ヒストグラム計算部141から出力される各行の視差値頻度分布情報から特定される、上述した行視差分布マップ(Vマップ)上の近似直線上又はその近傍に分布する画素は、路面領域RSを構成する画素が持つ特徴に合致する。よって、図7(b)に示す近似直線上又はその近傍に分布する画素は、高い精度で、路面領域RSを構成する画素であると推定できる。
このように、本実施形態の路面領域認識部142は、視差ヒストグラム計算部141から得た各行の視差値頻度分布情報に基づいて演算した行視差分布マップ(Vマップ)上の直線近似を行い、その近似直線上又はその近傍に分布する画素を、路面を映し出す画素として特定し、特定した画素によって占められる画像領域を路面領域RSとして認識する。なお、路面上には図7(a)に示すように白線も存在するが、路面領域認識部142では、白線画像部WLも含めて路面領域RSを認識する。
路面領域認識部142の認識結果は、後段の処理部に送られ、種々の処理に使用される。例えば、撮像ユニット101で撮像した自車両前方の撮像画像を例えば自車両室内の画像表示装置に表示する場合、路面領域認識部142の認識結果に基づき、その表示画像上の対応する路面領域RSを強調表示するなど、路面領域RSが視認しやすい表示処理を行う。
一方、視差ヒストグラム計算部141から出力される各行の視差値頻度分布情報は、傾斜状況認識手段としての傾斜状況認識部143にも送られる。傾斜状況認識部143は、視差ヒストグラム計算部141から出力される各行の視差値頻度分布情報から、まず、路面領域RSを映し出す画素の特徴に合致した一群の視差値を選別する。具体的には、各行の視差値頻度分布情報に基づき、予め決められた規定値を超える頻度をもった視差値又は視差値範囲の中から、画像上方に向かうほど値が低くなるという特徴に合致した一群の視差値又は視差値範囲を選別する。このような特徴をもつ視差値は、図7(b)に示す近似直線に対応する視差値である。したがって、傾斜状況認識部143は、行視差分布マップ(Vマップ)上の画素分布を最小二乗法やハフ変換処理などにより直線近似し、その近似直線上又はその近傍に分布する画素の視差値又は視差値範囲を選定する。
続いて、傾斜状況認識部143は、選別した視差値又は視差値範囲の中から、画像最上部に位置する特定の視差値又は視差値範囲を抽出し、抽出した特定の視差値又は視差値範囲が属する行を特定する。このようにして特定される行は、図7(b)に示す近似直線の上端部Tが存在する行である。この行は、図7(a)に示すように、撮像画像上の路面領域RSの頂部の画像上下方向位置(画像上の高さ)を示すものである。
ここで、図8(a)に示すように、自車両100が走行している路面部分(自車両の真下に位置する路面部分)に対する自車両前方の走行路面の傾斜状況(相対傾斜状況)が平坦である場合、撮像画像内の路面領域RSの頂部(撮像画像内に映し出される路面のうち最も遠い地点に対応した路面部分)の画像上の高さが、図8(a)に示すように、H1であるとする。これに対し、図9(a)に示すように相対傾斜状況が上り傾斜である場合には、撮像画像内の路面領域RSの頂部の画像上の高さH2は、相対傾斜状況が平坦である場合の高さH1よりも、撮像画像内の上側に位置する。逆に、図10(a)に示すように相対傾斜状況が下り傾斜である場合には、撮像画像内の路面領域RSの頂部の画像上の高さH3は、相対傾斜状況が平坦である場合の高さH1よりも、撮像画像内の下側に位置する。したがって、撮像画像内の路面領域RSの頂部の画像上の高さに応じて自車両前方の走行路面の相対的な傾斜状況を把握することができる。
上述したように、抽出した特定の視差値又は視差値範囲が属する行、すなわち、図8(c)、図9(c)、図10(c)に示す行視差分布マップ(Vマップ)上の近似直線の上端部T1,T2,T3の高さは、撮像画像内における路面領域RSの頂部の高さに対応するものである。よって、傾斜状況認識部143は、求めた近似直線の上端部T1,T2,T3の高さ(行)を特定し、その近似直線の上端部T1,T2,T3の高さ(行)から、相対傾斜状況を認識する処理を行う。
本実施形態では、近似直線の上端部T1,T2,T3の高さ(行)と、傾斜基準情報記憶部144に予め記憶された傾斜基準情報が示す2つの閾値とを比較することで、相対傾斜状況について、平坦、上り傾斜、下り傾斜の3区分の判別を行い、その判別結果に従って相対傾斜状況を認識する。
図11は、近似直線を描いた行視差分布マップ(Vマップ)上に、2つの閾値S1,S2を示した説明図である。
近似直線の上端部Tの高さが、S1≦T<S2の条件を満たす場合には平坦であると判別し、S2≦Tの条件を満たす場合には上り傾斜であると判別し、S1>Tの条件を満たす場合には下り傾斜であると判別する。
このようにして相対傾斜状況を認識する傾斜状況認識部143の認識結果は、後段の処理部に送られ、種々の処理に使用される。例えば、傾斜状況認識部143の認識結果を車両走行制御ユニット108へ送り、相対傾斜状況に応じて、自車両100の加速、減速を行ったり、自車両100の運転者へ警告を報知したりするなどの走行支援制御を行うことができる。
本実施形態において、相対傾斜状況を認識するために必要な情報は、近似直線の上端部Tの高さに関する情報である。したがって、画像全体について近似直線を得る必要はなく、近似直線の上端部Tが存在し得る限定範囲(画像上下方向の範囲)について、近似直線の上端部Tの高さを求めればよい。例えば、相対傾斜状況が平坦であるときに当該走行路面を映し出す路面領域RSの頂部を含む予め決められた高さ範囲についてのみ近似直線を求め、その上端部Tを特定する。具体的には、上述した閾値S1と閾値S2との間の範囲についてのみ近似直線を求める。そして、求めた近似直線の上端部TがS1≦T<S2の条件を満たす場合には相対傾斜状況が平坦であると判別し、求めた近似直線の上端部Tが閾値S2と一致する場合には相対傾斜状況が上り傾斜であると判別し、近似直線が得られない場合には相対傾斜状況が下り傾斜であると判別すればよい。
撮像部110Aで撮像した輝度画像データは、輝度画像エッジ抽出部145に送られる。そして、輝度画像エッジ抽出部145は、その輝度画像の画素値(輝度)が規定値以上変化する箇所をエッジ部分として抽出し、その抽出結果から輝度エッジ画像データを生成する。この輝度エッジ画像データは、エッジ部分と非エッジ部分とを2値で表現した画像データである。エッジ抽出の方法は、公知のものを広く利用することができる。輝度画像エッジ抽出部145が生成した輝度エッジ画像データは、白線認識処理部149に送られる。
白線認識処理部149は、輝度エッジ画像データに基づいて路面上の白線を映し出す白線画像部WLを認識する処理を行う。多くの道路では、黒色に近い色の路面上に白線が形成されており、輝度画像上において白線画像部WLの輝度は路面上の他部分より十分に大きい。そのため、輝度画像上で所定値以上の輝度差を有するエッジ部は、白線のエッジ部である可能性が高い。また、路面上の白線を映し出す白線画像部WLは、撮像画像上においてライン状に映し出されるので、ライン状に並ぶエッジ部を特定することで、白線のエッジ部を高精度に認識することができる。そこで、本実施形態の白線認識処理部149は、輝度画像エッジ抽出部145から取得した輝度エッジ画像データについて最小二乗法やハフ変換処理などによる直線近似処理を施し、得られた近似直線を白線のエッジ部(路面上の白線を映し出す白線画像部WL)として認識する。
このようにして認識した白線認識結果は、後段の処理部に送られ、種々の処理に使用される。例えば、自車両100が自らの走行車線から外れそうな場合等に、自車両100の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行うことができる。
なお、白線認識処理において、上述した路面領域認識部142で認識した路面領域RSの認識結果を用い、路面領域RS内の輝度エッジ部を対象に白線画像部WLの認識処理を行えば、認識処理の負荷軽減、認識精度の向上を図ることができる。
路面の傾斜情報が好適に利用できる自動ブレーキ機能や自車速度調整機能などにおいては、多くの場合、上記特許文献1に記載された路面認識装置が認識可能な路面凹凸情報ほどの詳細な傾斜情報は必要ではなく、自車両の進行方向における走行路面が、平坦なのか、上り傾斜なのか、下り傾斜なのかという単純な傾斜状況を示す情報で十分である。そのため、本実施形態では、このような単純な傾斜状況を認識する処理を行っているが、より詳細な傾斜情報を認識することもできる。
例えば、傾斜基準情報として、3つ以上の閾値、例えば4つの閾値を設定すれば、平坦、緩やかな上り傾斜、急な上り傾斜、緩やかな下り傾斜、急な下り傾斜という5つの傾斜状況を認識することも可能である。
また、例えば、行視差分布マップ(Vマップ)上の近似直線の上端部Tの高さ(行)だけでなく、行視差分布マップ(Vマップ)上における近似直線上の複数箇所(複数の視差値)の高さ(行)を特定すれば、その複数箇所の相対的な傾斜状況を認識することができる。言い換えると、2つの箇所を結ぶ行視差分布マップ(Vマップ)上の近似直線の傾きが、相対傾斜状況が平坦である場合の傾きよりも大きければ、当該2つの箇所の間に対応する路面部分の相対傾斜状況は上り傾斜であり、小さければ下り傾斜であると認識することが可能である。なお、この場合には、行視差分布マップ(Vマップ)上の直線近似処理を行う際、行視差分布マップ(Vマップ)を例えば実距離10mごとに区分し、各区分について個別に直線近似処理する。
また、本実施形態では、自車両100が走行している路面部分(自車両の真下に位置する路面部分)に対する自車両前方の走行路面の傾斜状況、すなわち、相対傾斜状況を認識する例であるが、進行方向に対する自車両の傾斜状態(水平状態なのか、前傾状態なのか、後傾状態なのか等)を把握する手段を設ければ、自車両前方の走行路面の絶対的な傾斜状況を把握することもできる。
以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
(態様A)
2つの撮像部110A,110B等の複数の撮像手段により自車両前方を撮像して得られる複数の撮像画像に基づいて視差情報を生成する視差演算部121等の視差情報生成手段を有し、該視差情報生成手段が生成した視差情報に基づいて、自車両が走行している路面部分に対する自車両前方の走行路面の傾斜状況(相対傾斜状況)を認識する路面傾斜認識装置において、上記視差情報生成手段が生成した視差情報に基づいて、上記撮像画像を上下方向に複数分割して得られる各行領域内における視差値の頻度分布を示す視差ヒストグラム情報を生成する視差ヒストグラム計算部141等の視差ヒストグラム情報生成手段と、上記視差ヒストグラム情報に基づいて、予め決められた規定値を超える頻度をもった視差値又は視差値範囲の中から、上記撮像画像の上方に向かうほど値が低くなるという特徴に合致した一群の視差値又は視差値範囲を選別し、選別した一群の視差値又は視差値範囲に応じて、自車両が走行している路面部分に対する自車両前方の走行路面の傾斜状況を認識する傾斜状況認識処理を実行する傾斜状況認識部143等の傾斜状況認識手段とを有することを特徴とする。
これによれば、低負荷の処理によって相対傾斜状況を認識できるので、相対傾斜状況の認識処理をより短時間で実行でき、例えば30FPSの動画像に対するリアルタイム処理にも対応できる。
(態様B)
上記態様Aにおいて、上記傾斜状況認識手段は、選別した一群の視差値又は視差値範囲の中から、上記撮像画像上の最も上方に位置する特定の視差値又は視差値範囲を抽出し、抽出した特定の視差値又は視差値範囲が属する行領域に応じて上記傾斜状況を認識する傾斜状況認識処理を実行することを特徴とする。
これによれば、より低処理負荷で、平坦なのか、上り傾斜なのか、下り傾斜なのかという単純な相対傾斜状況を認識できる。
(態様C)
上記態様Bにおいて、上記撮像画像内で自車両前方の走行路面を映し出す路面領域RS等の路面画像の頂部が位置する画像上下方向位置(高さ)を示す、少なくとも2つの傾斜状況に対応した複数の傾斜基準情報を記憶する傾斜基準情報記憶部144等の傾斜基準情報記憶手段を有し、上記傾斜状況認識手段は、上記特定の視差値又は視差値範囲が属する行領域の画像上下方向位置(高さ)と、上記傾斜基準情報記憶手段に記憶された傾斜基準情報が示す画像上下方向位置S1,S2とを比較し、その比較結果を用いて上記傾斜状況を認識する傾斜状況認識処理を実行することを特徴とする。
これによれば、より低負荷の処理により相対傾斜状況を認識できる。
(態様D)
上記態様B又はCにおいて、上記傾斜状況認識手段は、自車両が走行している路面部分に対する自車両前方の走行路面の傾斜状況が平坦であるときに該走行路面を映し出す路面画像の頂部が位置する画像上下方向位置に対応する行領域を含んだ限定範囲内の行領域についての視差値又は視差値範囲のみを対象に、上記傾斜状況認識処理を実行することを特徴とする。
これによれば、画像全域についての視差値又は視差値範囲を対象として上記傾斜状況認識処理を実行する場合よりも、処理負荷が軽減でき、また、使用する記憶領域も削減できるので省メモリ化も実現できる。
(態様E)
上記態様A〜Dのいずれかの態様において、上記視差ヒストグラム情報に基づいて、予め決められた規定値を超える頻度をもった視差値又は視差値範囲の中から、上記複数の撮像画像の上方に向かうほど値が低くなるという特徴に合致した一群の視差値又は視差値範囲を選別し、選別した一群の視差値又は視差値範囲に対応する上記撮像画像上の画素が属する画像領域を、路面を映し出す路面画像領域として認識する路面領域認識部142等の路面画像領域認識手段を有することを特徴とする。
これによれば、自車両が走行する走行路面の相対傾斜状況だけでなく、自車両が走行可能な範囲も認識できるので、相対傾斜状況と走行可能な範囲の情報をもとに、より高度な車両機器制御が可能となる。
(態様F)
上記態様A〜Eのいずれかの態様において、上記視差情報生成手段は、上記複数の撮像手段により自車両前方を撮像して得られた複数の撮像画像間で相互に対応する画像部分を検出し、検出した画像部分間の位置ズレ量を視差値とする視差情報を生成することを特徴とする。
これによれば、精度の高い視差情報を得ることができる。
(態様G)
上記態様A〜Fのいずれかの態様において、上記撮像手段を備えていることを特徴とする。
これによれば、路面傾斜認識装置を車両に設置する用途に使用することができる。
(態様H)
上記態様Gにおいて、上記複数の撮像手段は、自車両前方の撮像画像を連続して撮像する動画像撮像手段であることを特徴とする。
これによれば、動画像に対するリアルタイム処理で相対傾斜状況を認識することができる。
(態様I)
複数の撮像手段により自車両前方を撮像して得られる複数の撮像画像に基づいて視差情報を生成する視差情報生成工程を有し、該視差情報生成工程で生成された視差情報に基づいて、自車両が走行している路面部分に対する自車両前方の走行路面の傾斜状況を認識する路面傾斜認識方法において、上記視差情報生成工程で生成された視差情報に基づいて、上記撮像画像を上下方向に複数分割して得られる各行領域内における視差値の頻度分布を示す視差ヒストグラム情報を生成する視差ヒストグラム情報生成工程と、上記視差ヒストグラム情報に基づいて、予め決められた規定値を超える頻度をもった視差値又は視差値範囲の中から、上記撮像画像の上方に向かうほど値が低くなるという特徴に合致した一群の視差値又は視差値範囲を選別し、選別した一群の視差値又は視差値範囲に応じて、自車両が走行している路面部分に対する自車両前方の走行路面の傾斜状況を認識する傾斜状況認識処理を実行する傾斜状況認識工程とを有することを特徴とする。
これによれば、低負荷の処理によって相対傾斜状況を認識できるので、相対傾斜状況の認識処理をより短時間で実行でき、例えば30FPSの動画像に対するリアルタイム処理にも対応できる。
(態様J)
複数の撮像手段により自車両前方を撮像して得られる複数の撮像画像に基づいて視差情報を生成する視差情報生成工程と、該視差情報生成工程で生成された視差情報に基づいて、自車両が走行している路面部分に対する自車両前方の走行路面の傾斜状況を認識する工程とを、コンピュータに実行させるための路面傾斜認識用プログラムにおいて、上記視差情報生成工程で生成された視差情報に基づいて、上記撮像画像を上下方向に複数分割して得られる各行領域内における視差値の頻度分布を示す視差ヒストグラム情報を生成する視差ヒストグラム情報生成工程と、上記視差ヒストグラム情報に基づいて、予め決められた規定値を超える頻度をもった視差値又は視差値範囲の中から、上記撮像画像の上方に向かうほど値が低くなるという特徴に合致した一群の視差値又は視差値範囲を選別し、選別した一群の視差値又は視差値範囲に応じて、自車両が走行している路面部分に対する自車両前方の走行路面の傾斜状況を認識する傾斜状況認識処理を実行する傾斜状況認識工程とを、上記コンピュータに実行させることを特徴とする。
これによれば、低負荷の処理によって相対傾斜状況を認識できるので、相対傾斜状況の認識処理をより短時間で実行でき、例えば30FPSの動画像に対するリアルタイム処理にも対応できる。
尚、このプログラムは、CD−ROM等の記録媒体に記録された状態で配布したり、入手したりすることができる。また、このプログラムを乗せ、所定の送信装置により送信された信号を、公衆電話回線や専用線、その他の通信網等の伝送媒体を介して配信したり、受信したりすることでも、配布、入手が可能である。この配信の際、伝送媒体中には、コンピュータプログラムの少なくとも一部が伝送されていればよい。すなわち、コンピュータプログラムを構成するすべてのデータが、一時に伝送媒体上に存在している必要はない。このプログラムを乗せた信号とは、コンピュータプログラムを含む所定の搬送波に具現化されたコンピュータデータ信号である。また、所定の送信装置からコンピュータプログラムを送信する送信方法には、プログラムを構成するデータを連続的に送信する場合も、断続的に送信する場合も含まれる。
100 自車両
101 撮像ユニット
102 画像解析ユニット
103 ヘッドランプ制御ユニット
104 ヘッドランプ
105 フロントガラス
108 車両走行制御ユニット
110A,110B 撮像部
120 処理ハードウェア部
121 視差演算部
130 メモリ
141 視差ヒストグラム計算部
142 路面領域認識部
143 傾斜状況認識部
144 傾斜基準情報記憶部
145 輝度画像エッジ抽出部
149 白線認識処理部
特開2002−150302号公報

Claims (10)

  1. 複数の撮像手段により自車両前方を撮像して得られる複数の撮像画像に基づいて視差情報を生成する視差情報生成手段を有し、該視差情報生成手段が生成した視差情報に基づいて、自車両が走行している路面部分に対する自車両前方の走行路面の傾斜状況を認識する路面傾斜認識装置において、
    上記視差情報生成手段が生成した視差情報に基づいて、上記撮像画像を上下方向に複数分割して得られる各行領域内における視差値の頻度分布を示す視差ヒストグラム情報を生成する視差ヒストグラム情報生成手段と、
    上記視差ヒストグラム情報に基づいて、予め決められた規定値を超える頻度をもった視差値又は視差値範囲の中から、上記撮像画像の上方に向かうほど値が低くなるという特徴に合致した一群の視差値又は視差値範囲を選別し、選別した一群の視差値又は視差値範囲に応じて、自車両が走行している路面部分に対する自車両前方の走行路面の傾斜状況を認識する傾斜状況認識処理を実行する傾斜状況認識手段とを有することを特徴とする路面傾斜認識装置。
  2. 請求項1の路面傾斜認識装置において、
    上記傾斜状況認識手段は、選別した一群の視差値又は視差値範囲の中から、上記撮像画像上の最も上方に位置する特定の視差値又は視差値範囲を抽出し、抽出した特定の視差値又は視差値範囲が属する行領域に応じて上記傾斜状況を認識する傾斜状況認識処理を実行することを特徴とする路面傾斜認識装置。
  3. 請求項2の路面傾斜認識装置において、
    上記撮像画像内で自車両前方の走行路面を映し出す路面画像の頂部が位置する画像上下方向位置を示す、少なくとも2つの傾斜状況に対応した複数の傾斜基準情報を記憶する傾斜基準情報記憶手段を有し、
    上記傾斜状況認識手段は、上記特定の視差値又は視差値範囲が属する行領域の画像上下方向位置と、上記傾斜基準情報記憶手段に記憶された傾斜基準情報が示す画像上下方向位置とを比較し、その比較結果を用いて上記傾斜状況を認識する傾斜状況認識処理を実行することを特徴とする路面傾斜認識装置。
  4. 請求項2又は3の路面傾斜認識装置において、
    上記傾斜状況認識手段は、自車両が走行している路面部分に対する自車両前方の走行路面の傾斜状況が平坦であるときに該走行路面を映し出す路面画像の頂部が位置する画像上下方向位置に対応する行領域を含んだ限定範囲内の行領域についての視差値又は視差値範囲のみを対象に、上記傾斜状況認識処理を実行することを特徴とする路面傾斜認識装置。
  5. 請求項1乃至4のいずれか1項に記載の路面傾斜認識装置において、
    上記視差ヒストグラム情報に基づいて、予め決められた規定値を超える頻度をもった視差値又は視差値範囲の中から、上記撮像画像の上方に向かうほど値が低くなるという特徴に合致した一群の視差値又は視差値範囲を選別し、選別した一群の視差値又は視差値範囲に対応する上記撮像画像上の画素が属する画像領域を、路面を映し出す路面画像領域として認識する路面画像領域認識手段を有することを特徴とする路面傾斜認識装置。
  6. 請求項1乃至5のいずれか1項に記載の路面傾斜認識装置において、
    上記視差情報生成手段は、上記複数の撮像手段により自車両前方を撮像して得られた複数の撮像画像間で相互に対応する画像部分を検出し、検出した画像部分間の位置ズレ量を視差値とする視差情報を生成することを特徴とする路面傾斜認識装置。
  7. 請求項1乃至6のいずれか1項に記載の路面傾斜認識装置において、
    上記複数の撮像手段を備えていることを特徴とする路面傾斜認識装置。
  8. 請求項7の路面傾斜認識装置において、
    上記複数の撮像手段は、自車両前方を連続して撮像する動画像撮像手段であることを特徴とする路面傾斜認識装置。
  9. 複数の撮像手段により自車両前方を撮像して得られる複数の撮像画像に基づいて視差情報を生成する視差情報生成工程を有し、該視差情報生成工程で生成された視差情報に基づいて、自車両が走行している路面部分に対する自車両前方の走行路面の傾斜状況を認識する路面傾斜認識方法において、
    上記視差情報生成工程で生成された視差情報に基づいて、上記撮像画像を上下方向に複数分割して得られる各行領域内における視差値の頻度分布を示す視差ヒストグラム情報を生成する視差ヒストグラム情報生成工程と、
    上記視差ヒストグラム情報に基づいて、予め決められた規定値を超える頻度をもった視差値又は視差値範囲の中から、上記撮像画像の上方に向かうほど値が低くなるという特徴に合致した一群の視差値又は視差値範囲を選別し、選別した一群の視差値又は視差値範囲に応じて、自車両が走行している路面部分に対する自車両前方の走行路面の傾斜状況を認識する傾斜状況認識処理を実行する傾斜状況認識工程とを有することを特徴とする路面傾斜認識方法。
  10. 複数の撮像手段により自車両前方を撮像して得られる複数の撮像画像に基づいて視差情報を生成する視差情報生成工程と、該視差情報生成工程で生成された視差情報に基づいて、自車両が走行している路面部分に対する自車両前方の走行路面の傾斜状況を認識する工程とを、コンピュータに実行させるための路面傾斜認識用プログラムにおいて、
    上記視差情報生成工程で生成された視差情報に基づいて、上記撮像画像を上下方向に複数分割して得られる各行領域内における視差値の頻度分布を示す視差ヒストグラム情報を生成する視差ヒストグラム情報生成工程と、
    上記視差ヒストグラム情報に基づいて、予め決められた規定値を超える頻度をもった視差値又は視差値範囲の中から、上記撮像画像の上方に向かうほど値が低くなるという特徴に合致した一群の視差値又は視差値範囲を選別し、選別した一群の視差値又は視差値範囲に応じて、自車両が走行している路面部分に対する自車両前方の走行路面の傾斜状況を認識する傾斜状況認識処理を実行する傾斜状況認識工程とを、上記コンピュータに実行させることを特徴とする路面傾斜認識用プログラム。
JP2013055905A 2012-05-31 2013-03-19 路面傾斜認識装置、路面傾斜認識方法及び路面傾斜認識用プログラム Pending JP2014006882A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2013055905A JP2014006882A (ja) 2012-05-31 2013-03-19 路面傾斜認識装置、路面傾斜認識方法及び路面傾斜認識用プログラム
KR1020147036482A KR101650266B1 (ko) 2012-05-31 2013-05-16 노면 경사 인식 장치, 노면 경사 인식 방법, 및 컴퓨터가 노면 경사 인식을 실행하기 위한 컴퓨터 프로그램
US14/387,595 US20150049913A1 (en) 2012-05-31 2013-05-16 Road surface slope-identifying device, method of identifying road surface slope, and computer program for causing computer to execute road surface slope identification
CN201380028230.2A CN104380337A (zh) 2012-05-31 2013-05-16 路面斜坡识别设备、识别路面斜坡的方法、以及用于使计算机执行路面斜坡识别的计算机程序
EP13797792.2A EP2856423A4 (en) 2012-05-31 2013-05-16 DEVICE FOR DETERMINING THE TILTING OF A ROAD SURFACE, METHOD FOR DETERMINING THE TILTING OF A ROAD SURFACE, AND METHOD FOR DETERMINING THE TILTING OF A ROAD SURFACE THROUGH A COMPUTER
PCT/JP2013/064296 WO2013179993A1 (en) 2012-05-31 2013-05-16 Road surface slope-identifying device, method of identifying road surface slope, and computer program for causing computer to execute road surface slope identification

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012123999 2012-05-31
JP2012123999 2012-05-31
JP2013055905A JP2014006882A (ja) 2012-05-31 2013-03-19 路面傾斜認識装置、路面傾斜認識方法及び路面傾斜認識用プログラム

Publications (1)

Publication Number Publication Date
JP2014006882A true JP2014006882A (ja) 2014-01-16

Family

ID=49673193

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013055905A Pending JP2014006882A (ja) 2012-05-31 2013-03-19 路面傾斜認識装置、路面傾斜認識方法及び路面傾斜認識用プログラム

Country Status (6)

Country Link
US (1) US20150049913A1 (ja)
EP (1) EP2856423A4 (ja)
JP (1) JP2014006882A (ja)
KR (1) KR101650266B1 (ja)
CN (1) CN104380337A (ja)
WO (1) WO2013179993A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160070526A (ko) * 2014-12-10 2016-06-20 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
JP2016205887A (ja) * 2015-04-17 2016-12-08 トヨタ自動車株式会社 路面勾配検出装置
JP2018045328A (ja) * 2016-09-12 2018-03-22 株式会社リコー 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
US10489664B2 (en) 2014-02-05 2019-11-26 Ricoh Company, Limited Image processing device, device control system, and computer-readable storage medium

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103164851B (zh) * 2011-12-09 2016-04-20 株式会社理光 道路分割物检测方法和装置
DE102013221696A1 (de) * 2013-10-25 2015-04-30 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln eines Höhenverlaufes einer vor einem Fahrzeug liegenden Straße
JP6540009B2 (ja) * 2013-12-27 2019-07-10 株式会社リコー 画像処理装置、画像処理方法、プログラム、画像処理システム
DE102015001818A1 (de) 2014-02-19 2015-09-03 Cummins Inc. Fahrwiderstandsmanagement für Landfahrzeuge und/oder diesbezügliche Bedienerbenachrichtigung
US9272621B2 (en) * 2014-04-24 2016-03-01 Cummins Inc. Systems and methods for vehicle speed management
US9835248B2 (en) 2014-05-28 2017-12-05 Cummins Inc. Systems and methods for dynamic gear state and vehicle speed management
KR101843773B1 (ko) 2015-06-30 2018-05-14 엘지전자 주식회사 차량 운전 보조 장치, 차량용 디스플레이 장치 및 차량
JP6585006B2 (ja) * 2016-06-07 2019-10-02 株式会社東芝 撮影装置および車両
CN107643751B (zh) * 2016-07-21 2020-04-14 苏州宝时得电动工具有限公司 智能行走设备斜坡识别方法和系统
CN107643750B (zh) * 2016-07-21 2020-05-22 苏州宝时得电动工具有限公司 智能行走设备斜坡的识别方法及其智能行走设备
EP3489787B1 (en) 2016-07-21 2022-03-02 Positec Power Tools (Suzhou) Co., Ltd Self-moving apparatus capable of automatically identifying a frontal object, and identification method
JP6794243B2 (ja) * 2016-12-19 2020-12-02 日立オートモティブシステムズ株式会社 物体検出装置
KR102046994B1 (ko) 2017-03-14 2019-11-20 한국과학기술원 노면의 경사도 및 차량의 무게중심 실시간 측정 방법 및 그 장치
DE102017217005A1 (de) * 2017-09-26 2019-03-28 Robert Bosch Gmbh Verfahren zum Ermitteln der Steigung einer Fahrbahn
DE102017217008A1 (de) * 2017-09-26 2019-03-28 Robert Bosch Gmbh Verfahren zum Ermitteln der Steigung einer Fahrbahn
JP7229129B2 (ja) * 2019-09-05 2023-02-27 京セラ株式会社 物体検出装置、物体検出システム、移動体及び物体検出方法
KR102405361B1 (ko) * 2020-12-14 2022-06-08 재단법인대구경북과학기술원 도로 경사도에 기반한 이동체의 위치 추적 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000255319A (ja) * 1999-03-10 2000-09-19 Fuji Heavy Ind Ltd 車両の進行方向認識装置
JP2010271964A (ja) * 2009-05-22 2010-12-02 Fuji Heavy Ind Ltd 道路形状認識装置
JP2011128844A (ja) * 2009-12-17 2011-06-30 Fuji Heavy Ind Ltd 路面形状認識装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8947531B2 (en) * 2006-06-19 2015-02-03 Oshkosh Corporation Vehicle diagnostics based on information communicated between vehicles
US8139109B2 (en) * 2006-06-19 2012-03-20 Oshkosh Corporation Vision system for an autonomous vehicle
US8489287B2 (en) * 2010-12-31 2013-07-16 Automotive Research & Test Center Vehicle roll over prevention safety driving system and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000255319A (ja) * 1999-03-10 2000-09-19 Fuji Heavy Ind Ltd 車両の進行方向認識装置
JP2010271964A (ja) * 2009-05-22 2010-12-02 Fuji Heavy Ind Ltd 道路形状認識装置
JP2011128844A (ja) * 2009-12-17 2011-06-30 Fuji Heavy Ind Ltd 路面形状認識装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10489664B2 (en) 2014-02-05 2019-11-26 Ricoh Company, Limited Image processing device, device control system, and computer-readable storage medium
KR20160070526A (ko) * 2014-12-10 2016-06-20 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
KR101641490B1 (ko) * 2014-12-10 2016-07-21 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
US10032083B2 (en) 2014-12-10 2018-07-24 Lg Electronics Inc. Driver assistance for a vehicle
JP2016205887A (ja) * 2015-04-17 2016-12-08 トヨタ自動車株式会社 路面勾配検出装置
JP2018045328A (ja) * 2016-09-12 2018-03-22 株式会社リコー 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム

Also Published As

Publication number Publication date
CN104380337A (zh) 2015-02-25
EP2856423A1 (en) 2015-04-08
KR101650266B1 (ko) 2016-08-22
WO2013179993A1 (en) 2013-12-05
KR20150017365A (ko) 2015-02-16
US20150049913A1 (en) 2015-02-19
EP2856423A4 (en) 2015-07-08

Similar Documents

Publication Publication Date Title
KR101650266B1 (ko) 노면 경사 인식 장치, 노면 경사 인식 방법, 및 컴퓨터가 노면 경사 인식을 실행하기 위한 컴퓨터 프로그램
JP6344638B2 (ja) 物体検出装置、移動体機器制御システム及び物体検出用プログラム
JP6376429B2 (ja) 対象地点到達検知装置、対象地点到達検知用プログラム、移動体機器制御システム及び移動体
EP2669844B1 (en) Level Difference Recognition System Installed in Vehicle and Recognition Method executed by the Level Difference Recognition System
JP6156733B2 (ja) 対象物認識装置、機器制御システム、車両、対象物認識方法及び対象物認識用プログラム
JP6705496B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、移動体、画像処理方法、及びプログラム
US20180268229A1 (en) Image processing apparatus, imaging apparatus, and device control system
JP2013250907A (ja) 視差算出装置、視差算出方法及び視差算出用プログラム
JP6150164B2 (ja) 情報検出装置、移動体機器制御システム、移動体及び情報検出用プログラム
JP6743882B2 (ja) 画像処理装置、機器制御システム、撮像装置、画像処理方法及びプログラム
JP2014225220A (ja) 移動面情報検出装置、及びこれを用いた移動体機器制御システム並びに移動面情報検出用プログラム
JP6705497B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、プログラム、及び移動体
JP6315308B2 (ja) 制御用対象物識別装置、移動体機器制御システム及び制御用対象物認識用プログラム
WO2017145605A1 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP6816401B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP2015148887A (ja) 画像処理装置、物体認識装置、移動体機器制御システム及び物体認識用プログラム
JP6733302B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP2016206801A (ja) 物体検出装置、移動体機器制御システム及び物体検出用プログラム
JP2008165610A (ja) 道路区画線認識装置
JP6992356B2 (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム
JP2014026396A (ja) 移動面境界線認識装置、移動面境界線認識装置を備えた移動体、移動面境界線認識方法及び移動面境界線認識用プログラム
JP2014016981A (ja) 移動面認識装置、移動面認識方法及び移動面認識用プログラム
KR101044728B1 (ko) 차선 이탈 경고 시스템 및 방법
JP2013250694A (ja) 画像処理装置
JP5950193B2 (ja) 視差値演算装置及びこれを備えた視差値演算システム、移動面領域認識システム、視差値演算方法、並びに、視差値演算用プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170331

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20171006