JP2014115980A - 対象地点到達検知装置、対象地点到達検知用プログラム及び移動体機器制御システム - Google Patents

対象地点到達検知装置、対象地点到達検知用プログラム及び移動体機器制御システム Download PDF

Info

Publication number
JP2014115980A
JP2014115980A JP2013175175A JP2013175175A JP2014115980A JP 2014115980 A JP2014115980 A JP 2014115980A JP 2013175175 A JP2013175175 A JP 2013175175A JP 2013175175 A JP2013175175 A JP 2013175175A JP 2014115980 A JP2014115980 A JP 2014115980A
Authority
JP
Japan
Prior art keywords
target point
information
parallax
point arrival
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013175175A
Other languages
English (en)
Other versions
JP6376429B2 (ja
Inventor
Haike Guan
海克 関
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2013175175A priority Critical patent/JP6376429B2/ja
Priority to US14/060,781 priority patent/US9189690B2/en
Priority to EP13192090.2A priority patent/EP2731076A3/en
Priority to CN201310565722.7A priority patent/CN103810720B/zh
Publication of JP2014115980A publication Critical patent/JP2014115980A/ja
Application granted granted Critical
Publication of JP6376429B2 publication Critical patent/JP6376429B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/77Determining position or orientation of objects or cameras using statistical methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

【課題】見通しの悪い路面傾斜変化地点付近での事故を未然に防ぐ対象地点到達検知装置を提供する。
【解決手段】2つの撮像部110A、110Bで自車両前方を撮像して得られる複数の撮像画像に基づいて自車両が対象地点に到達したことを検知する対象地点到達検知装置であって、自車両が走行している路面部分に対する自車両前方の走行路面の傾斜状況が相対的に下り傾斜に変化する地点の手前である前記対象地点に自車両が到達したことを示す信号を、前記撮像画像に基づいて出力する傾斜状況認識部143を有する。
【選択図】図6

Description

本発明は、移動面上を移動する車両やロボット等の移動体前方を複数の撮像手段により撮像した複数の撮像画像に基づいて移動体が所定の対象地点に到達したことを検知する対象地点到達検知装置、対象地点到達検知用プログラム及び移動体機器制御システムに関するものである。
特許文献1には、自車両前方を撮像手段により撮像して得た輝度画像と距離画像(視差画像情報)とに基づいて路面上の白線(車線境界線)の三次元形状を算出し、その白線の三次元形状から、自車両の走行路面の三次元形状(自車両の進行方向における走行路面の凹凸情報)を特定する路面認識装置が開示されている。
走行する車両が上り坂の頂上付近(上り路面から水平路面又は下り路面へ路面傾斜が変化する地点付近)に差し掛かるとき、運転者は、当該頂上付近よりも先の状況がどのようになっているのかを目視しにくい状況(見通しの悪い状況)になる。同様に、水平路面から下り路面へ路面傾斜が変化する地点付近に差し掛かるときも、運転者からの見通しは悪いものとなる。すなわち、自車両が走行している路面部分(自車両の真下に位置する路面部分)に対する自車両前方の走行路面の傾斜状況が相対的に下り傾斜に変化する地点付近では、運転者から見た自車両進行方向の見通しが悪い。このように見通しの悪い路面傾斜変化地点付近では、自車両進行方向に存在する他車両や歩行者などの障害物の発見が遅れたり、自車両進行方向における急カーブ等の道路変化の認知が遅れたりして、事故が発生しやすい。
このような見通しの悪い地点付近の手前に自車両が到達したことを検知できれば、例えば、運転者に対して速度を落とすように警告する制御を行ったり、自車両の車速を落とす車速調整制御を行ったりすることが可能となる。その結果、上述した見通しの悪い路面傾斜変化地点付近での事故の未然防止を図ることが可能となる。しかしながら、従来、見通しの悪い路面傾斜変化地点付近の手前(対象地点)に自車両が到達したことを検知するような装置は知られていない。そのため、見通しの悪い路面傾斜変化地点付近での事故を未然に防ぐことは実現できていなかった。なお、車両に限らず、移動面上を移動する移動体であれば、同様に、見通しの悪い移動面傾斜変化地点付近での事故を未然に防ぐことは実現できていない。
本発明は、以上の背景に鑑みなされたものであり、その目的とするところは、見通しの悪い移動面傾斜変化地点付近での事故を未然に防ぐことを可能にする対象地点到達検知装置、対象地点到達検知用プログラム及び移動体機器制御システムを提供することである。
上記目的を達成するために、本発明は、移動面上を移動する移動体の前方を撮像手段により撮像して得られる撮像画像に基づいて当該移動体が対象地点に到達したことを検知する対象地点到達検知装置であって、上記移動体が移動している移動面部分に対する該移動体前方の移動面部分の傾斜状況が相対的に下り傾斜に変化する地点の手前である上記対象地点に該移動体が到達したことを示す信号を、上記撮像画像に基づいて出力する対象地点到達信号出力手段を有することを特徴とする。
本発明によれば、見通しの悪い移動面傾斜変化地点の手前に移動体が到達したとき、これを検知することができるので、その到達時に、運転者に対して速度を落とすように警告する制御を行ったり、自車両の車速を落とす車速調整制御を行ったりすることが可能となる。よって、見通しの悪い移動面傾斜変化地点付近での事故を未然に防ぐことが可能になるという優れた効果が得られる。
実施形態における車載機器制御システムの概略構成を示す模式図である。 同車載機器制御システムを構成する撮像ユニット及び画像解析ユニットの概略構成を示す模式図である。 左右のカメラで撮影したときの視差を説明する図である。 同撮像ユニットの撮像部における光学フィルタと画像センサとを光透過方向に対して直交する方向から見たときの模式拡大図である。 同光学フィルタの領域分割パターンを示す説明図である。 実施形態の対象地点到達検知処理に関わる機能ブロック図である。 同対象地点到達検知処理の流れを示すフローチャートである。 (a)は視差画像の視差値分布の一例を示す説明図である。(b)は、同(a)の視差画像の行ごとの視差値頻度分布を示す行視差分布マップ(Vマップ)を示す説明図である。 (a)及び(b)は、同撮像部で撮像した輝度画像である基準画像と比較画像の一例を示す画像例である。 図9(a)及び(b)に示した基準画像と比較画像から算出された視差画像を模式的に表した画像例である。 図10に示した視差画像のデータから得られる行視差分布マップ(Vマップ)上の画素分布を曲線近似したグラフである。 (a)は、相対傾斜状況が平坦である場合の自車両を側面方向から見たときの模式図であり、(b)は同(a)の状況における撮像画像(輝度画像)上の路面領域の画像例であり、(c)は同(b)に対応する行視差分布マップ(Vマップ)を示す説明図である。 (a)は、相対傾斜状況が上り傾斜に変化する場合の自車両を側面方向から見たときの模式図であり、(b)は同(a)の状況における撮像画像(輝度画像)上の路面領域の画像例であり、(c)は同(b)に対応する行視差分布マップ(Vマップ)を示す説明図である。 (a)は、相対傾斜状況が下り傾斜に変化する場合の自車両を側面方向から見たときの模式図であり、(b)は同(a)の状況における撮像画像(輝度画像)上の路面領域の画像例であり、(c)は同(b)に対応する行視差分布マップ(Vマップ)を示す説明図である。 実施形態における傾斜状況認識部のより詳細な機能ブロック図である。 実施形態における機械学習方法により学習データを分類した分類結果を表すグラフである。 実施例に係る車載機器制御システムの主要部に係るハードウェア構成の一例を示すブロック図である。
以下、本発明に係る対象地点到達検知装置を、車両システムとしての車載機器制御システムに用いた一実施形態について説明する。
図1は、本実施形態における車載機器制御システムの概略構成を示す模式図である。
本車載機器制御システムは、移動体である自動車などの自車両100に搭載された撮像ユニットで撮像した自車両進行方向前方領域(撮像領域)の撮像画像データから、自車両前方の路面(移動面)の相対的な傾斜状況が下り傾斜であることを検知する。そして、その検知結果に応じて各種車載機器の制御を行う。
本実施形態の車載機器制御システムは、走行する自車両100の進行方向前方領域を撮像領域として撮像する撮像ユニット101が設けられている。この撮像ユニット101は、例えば、自車両100のフロントガラス105のルームミラー(図示せず)付近に設置される。撮像ユニット101の撮像によって得られる撮像画像データ等の各種データは、画像処理手段としての画像解析ユニット102に入力される。画像解析ユニット102は、撮像ユニット101から送信されてくるデータを解析して、路面領域(走行可能領域)を認識したり、自車両100が走行している路面部分(自車両の真下に位置する路面部分)に対する自車両前方の走行路面の傾斜状況(以下、「相対傾斜状況」という。)が下り傾斜であることを認識したりする。
画像解析ユニット102の認識結果は、車両走行制御ユニット106にも送られる。車両走行制御ユニット106は、画像解析ユニット102による路面領域(走行可能領域)の認識結果に基づいて、走行可能領域から自車両100が外れそうな場合等に、自車両100の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。また、車両走行制御ユニット106は、画像解析ユニット102による走行路面の相対傾斜状況が下り傾斜であるという認識結果に基づいて、自車両100の運転者へ警告を報知したり、自車両のブレーキを制御して車速を低下させるなどの走行支援制御を行ったりする。
図2は、撮像ユニット101及び画像解析ユニット102の概略構成を示す模式図である。
撮像ユニット101は、撮像手段としての2つの撮像部110A,110Bを備えたステレオカメラであり、2つの撮像部110A,110Bの構成は同一のものである。各撮像部110A,110Bは、それぞれ、撮像レンズ111A,111Bと、光学フィルタ112A,112Bと、撮像素子が2次元配置された画像センサ113A,113Bを含んだセンサ基板114A,114Bと、センサ基板114A,114Bから出力されるアナログ電気信号(画像センサ113A,113B上の各受光素子が受光した受光量)をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部115A,115Bとから構成されている。本実施形態の撮像ユニット101からは、輝度画像データと視差画像データが出力される。
また、撮像ユニット101は、FPGA(Field-Programmable Gate Array)等からなる処理ハードウェア部120を備えている。この処理ハードウェア部120は、各撮像部110A,110Bから出力される輝度画像データから視差画像を得るために、各撮像部110A,110Bでそれぞれ撮像した撮像画像間の対応画像部分の視差値を演算する視差情報生成手段としての視差演算部121を備えている。
ここでいう視差値とは、各撮像部110A,110Bでそれぞれ撮像した撮像画像の一方を基準画像、他方を比較画像とし、撮像領域内の同一地点に対応した基準画像上の画像部分に対する比較画像上の画像部分の位置ズレ量を、当該画像部分の視差値として算出したものである。三角測量の原理を利用することで、この視差値から当該画像部分に対応した撮像領域内の当該同一地点までの距離を算出することができる。図3を参照して説明すれば、被写体301上にあるO点に対する左右画像での結像位置は、結像中心からの距離がそれぞれΔ1とΔ2となる。このときの視差値Δは、Δ=Δ1+Δ2と規定することができる。
一方、画像解析ユニット102は、撮像ユニット101から出力される輝度画像データ及び視差画像データを記憶するメモリ130と、識別対象の認識処理や視差計算制御などを行うソフトウェアを内蔵したMPU(Micro Processing Unit)140とを備えている。MPU140は、メモリ130に格納された輝度画像データ及び視差画像データを用いて各種の認識処理を実行する。
図4は、光学フィルタ112A,112Bと画像センサ113A,113Bとを光透過方向に対して直交する方向から見たときの模式拡大図である。
画像センサ113A,113Bは、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などを用いたイメージセンサであり、その撮像素子(受光素子)にはフォトダイオード113aを用いている。フォトダイオード113aは、撮像画素ごとに2次元的にアレイ配置されており、フォトダイオード113aの集光効率を上げるために、各フォトダイオード113aの入射側にはマイクロレンズ113bが設けられている。この画像センサ113A,113Bがワイヤボンディングなどの手法によりPWB(printed wiring board)に接合されてセンサ基板114A,114Bが形成されている。
画像センサ113A,113Bのマイクロレンズ113b側の面には、光学フィルタ112A,112Bが近接配置されている。本実施形態の光学フィルタ112A,112Bは、図4に示すように、透明なフィルタ基板112a上に分光フィルタ層112bを形成したものであるが、分光フィルタに代えて又は分光フィルタに加えて、偏光フィルタ等の他の光学フィルタを設けてもよい。分光フィルタ層112bは、画像センサ113A,113B上における1つのフォトダイオード113aに対応するように領域分割されている。
光学フィルタ112A,112Bと画像センサ113A,113Bとの間に空隙がある構成としてもよいが、光学フィルタ112A,112Bを画像センサ113A,113Bに密着させる構成とした方が、光学フィルタ112A,112Bの各フィルタ領域の境界と画像センサ113A,113B上のフォトダイオード113a間の境界とを一致させやすくなる。光学フィルタ112A,112Bと画像センサ113A,113Bは、例えば、UV接着剤で接合してもよいし、撮像に用いる有効画素範囲外でスペーサにより支持した状態で有効画素外の四辺領域をUV接着や熱圧着してもよい。
図5は、本実施形態に係る光学フィルタ112A,112Bの領域分割パターンを示す説明図である。
光学フィルタ112A,112Bは、第1領域及び第2領域という2種類の領域が、画像センサ113A,113B上の1つのフォトダイオード113aに対応して配置されたものである。これにより、画像センサ113A,113B上の各フォトダイオード113aによって受光される受光量は、受光する光が透過した分光フィルタ層112bの領域の種類に応じて、分光情報として取得することが可能である。
本実施形態における光学フィルタ112A,112Bにおいて、例えば、第1領域を、赤色波長帯の光のみを選択して透過させる赤色分光領域112rとし、第2領域を、波長選択を行わずに光を透過させる非分光領域112cとすることができる。光学フィルタ112A,112Bは、図5に示すように、これらの第1領域112r及び第2領域112cが市松模様状に分布したものを用いている。この場合、第1領域112rに対応する撮像画素の出力信号から赤色輝度画像が得られ、第2領域112cに対応する撮像画素の出力信号から非分光の輝度画像が得られる。これにより、一度の撮像動作により、赤色輝度画像と非分光の輝度画像に対応した2種類の撮像画像データを得ることが可能となる。これらの撮像画像データでは、その画像画素の数が撮像画素数よりも少なくなるが、より高解像度の画像を得る際には一般に知られる画像補間処理を用いてもよい。
本実施形態において、このようにして得られる非分光の輝度画像データは、例えば、車線境界線である白線の検出、自車両前方の路面の相対的な傾斜状況が下り傾斜であることの検知などに使用される。
次に、本発明の特徴部分である、見通しの悪い路面傾斜変化地点の手前を対象地点とした対象地点到達検知処理について説明する。本実施形態において、見通しの悪い路面傾斜変化地点とは、相対傾斜状況が下り傾斜となる地点である。
図6は、本実施形態の対象地点到達検知処理に関わる機能ブロック図である。
図7は、本実施形態の対象地点到達検知処理の流れを示すフローチャートである。
本実施形態の視差演算部121は、2つの撮像部110A,110Bのうちの一方の撮像部110Aの撮像画像データを基準画像データとし、他方の撮像部110Bの撮像画像データを比較画像データとして入力し(S1)、これらを用いて両者の視差を演算し(S2)、視差画像データを生成して出力する。この視差画像データは、基準画像データ上の各画像部分について算出される視差値Δに応じた画素値をそれぞれの画像部分の画素値として表した視差画像を示すものである。
具体的には、視差演算部121は、基準画像データのある行について、一の注目画素を中心とした複数画素(例えば16画素×1画素)からなるブロックを定義する。一方、比較画像データにおける同じ行において、定義した基準画像データのブロックと同じサイズのブロックを1画素ずつ横ライン方向(X方向)へずらし、基準画像データにおいて定義したブロックの画素値の特徴を示す特徴量と比較画像データにおける各ブロックの画素値の特徴を示す特徴量との相関を示す相関値を、それぞれ算出する。そして、算出した相関値に基づき、比較画像データにおける各ブロックの中で最も基準画像データのブロックと相関があった比較画像データのブロックを選定するマッチング処理を行う。その後、基準画像データのブロックの注目画素と、マッチング処理で選定された比較画像データのブロックの対応画素との位置ズレ量を視差値Δとして算出する。このような視差値Δを算出する処理を基準画像データの全域又は特定の一領域について行うことで、視差画像データを得ることができる。このようにして得られる視差画像データは、視差ヒストグラム情報生成手段としての視差ヒストグラム計算部141に送られる。
マッチング処理に用いるブロックの特徴量としては、例えば、ブロック内の各画素の値(輝度値)を用いることができ、相関値としては、例えば、基準画像データのブロック内の各画素の値(輝度値)と、これらの画素にそれぞれ対応する比較画像データのブロック内の各画素の値(輝度値)との差分の絶対値の総和を用いることができる。この場合、当該総和が最も小さくなるブロックが最も相関があると言える。
視差画像データを取得した視差ヒストグラム計算部141は、視差画像データの各行について、視差値頻度分布を計算する(S3)。具体例を挙げて説明すると、図8(a)に示すような視差値分布をもった視差画像データが入力されたとき、視差ヒストグラム計算部141は、行ごとの視差値頻度分布を計算して出力する。そして、このようにして得られる各行の視差値頻度分布の情報から、例えば、図8(b)に示すように、縦方向に視差画像上の縦方向位置(撮像画像の上下方向位置)をとり、横方向に視差値をとった二次元直交座標系上に、視差画像データ上の各画素を分布させた行視差分布マップ(Vマップ)を得ることができる。この行視差分布マップは、頻度に応じた画素値をもつ画素が上記二次元直交座標系上に分布された画像として表現することもできる。
図9(a)及び(b)は、撮像部110Aで撮像した輝度画像である基準画像と比較画像の一例を示す画像例である。
図10は、図9(a)及び(b)に示した基準画像と比較画像から算出された視差画像を模式的に表した画像例である。
図10に示す視差画像における各画素値は、その画素の位置での基準画像と比較画像との視差値Δに対応するものである。なお、図10中符号A、B、Cで示すオブジェクトは、自車両前方に存在する他車を映し出す画像部分の視差値Δに対応するものである。また、図10中符号RSで示すオブジェクトは、自車両前方に存在する路面領域の視差値Δに対応するものである。この路面領域RSは、中央分離帯や路側段差によって区画される車両走行が可能な路面である。
本実施形態では、路面領域認識部142において、視差ヒストグラム計算部141から出力される各行の視差値頻度分布の情報から、路面領域RSを認識する。具体的には、路面領域認識部142は、まず、視差ヒストグラム計算部141から各行の視差値頻度分布情報を取得し、その情報から特定される行視差分布マップ上の画素分布を曲線近似する処理を行う。このとき、行視差分布マップに対して孤立ノイズ除去、平滑処理、2値化処理なども行ってもよい。
図11は、図10に示した視差画像のデータから得られる行視差分布マップ(Vマップ)上の画素分布を曲線近似したグラフである。
図10に示した視差画像は、相対傾斜状況が平坦な路面を撮像したものである。そのため、行視差分布マップ上の画素分布を曲線近似したグラフは、直線に近似されたものとなる。これにより得られる図11に示す近似曲線(近似直線)は、視差画像の下部に対応する行視差分布マップの下部において、画像上方へ向かうほど視差値Δが小さくなるような傾きをもった直線となる。すなわち、この近似曲線上又はその近傍に分布する画素(視差画像上の画素)は、視差画像上の各行においてほぼ同一距離に存在して最も占有率が高く、かつ、画像上方へ向かうほど距離が連続的に遠くなる対象を映し出した画素であると言える。
ここで、撮像部110Aでは自車両前方領域を撮像するため、その視差画像の内容は、図10に示すように、画像下部において路面領域RSの占有率が最も高く、また、画像上方へ向かうほど路面領域RSの視差値Δは小さくなる。また、同じ行(横ライン)内において、路面領域RSを構成する画素はほぼ同じ視差値Δを持つことになる。したがって、視差ヒストグラム計算部141から出力される各行の視差値頻度分布情報から特定される、上述した行視差分布マップ(Vマップ)上の近似曲線(近似直線)上又はその近傍に分布する画素は、路面領域RSを構成する画素が持つ特徴に合致する。よって、図11に示す近似曲線上又はその近傍に分布する画素は、高い精度で、路面領域RSを構成する画素であると推定できる。
このように、本実施形態の路面領域認識部142は、視差ヒストグラム計算部141から得た各行の視差値頻度分布情報に基づいて演算した行視差分布マップ(Vマップ)上の曲線近似を行い、その近似曲線上又はその近傍に分布する画素を、路面を映し出す画素として特定し、特定した画素によって占められる画像領域を路面領域RSとして認識する。なお、路面上には、図9(a)及び(b)に示すように、白線も存在するが、路面領域認識部142では、その白線画像部も含めて路面領域RSを認識する。
路面領域認識部142の認識結果は、後段の処理部に送られ、種々の処理に使用される。例えば、撮像ユニット101で撮像した自車両前方の撮像画像を、例えば自車両室内の画像表示装置である表示モニタ103に表示する場合、路面領域認識部142の認識結果に基づき、その表示画像上の対応する路面領域RSを強調表示するなど、路面領域RSが視認しやすい表示処理を行う。
一方、視差ヒストグラム計算部141から出力される各行の視差値頻度分布情報は、対象地点到達信号出力手段としての傾斜状況認識部143にも送られる。傾斜状況認識部143は、視差ヒストグラム計算部141から出力される各行の視差値頻度分布情報から、まず、路面領域RSを映し出す画素の特徴に合致した一群の視差値を選別する。具体的には、各行の視差値頻度分布情報に基づき、予め決められた規定値を超える頻度をもった視差値Δの中から、画像上方に向かうほど値が低くなるという特徴に合致した一群の視差値を選別する。このような特徴をもつ視差値は、図11に示す近似曲線(近似直線)に対応する視差値である。したがって、傾斜状況認識部143は、行視差分布マップ(Vマップ)上の画素分布を曲線近似し(S4)、その近似曲線上又はその近傍に分布する画素の視差値Δを選定する(S5)。
また、傾斜状況認識部143は、選別した視差値(路面領域RSに対応する視差値)の中から、画像最上部に位置する最小視差値Δ0を抽出する(S6)。この最小視差値Δ0が属する行は、撮像画像上の路面領域RSの頂部の画像上下方向位置(画像上の高さ)を示すものである。
ここで、図12(a)に示すように相対傾斜状況が平坦である場合、その撮像画像内の路面領域RSは図12(b)に示すように映し出される。そして、この撮像画像に基づいて得られる行視差分布マップ(Vマップ)の近似曲線は、図12(c)に示すように、直線状のものとなる。これに対し、図13(a)に示すように相対傾斜状況が上り傾斜である場合には、撮像画像内の路面領域RSは図13(b)に示すように映し出される。そして、この撮像画像に基づいて得られる行視差分布マップの近似曲線は、図13(c)に示すような曲線を示すものとなる。逆に、図14(a)に示すように相対傾斜状況が下り傾斜である場合には、撮像画像内の路面領域RSは図14(b)に示すように映し出される。そして、この撮像画像に基づいて得られる行視差分布マップの近似曲線は、図14(c)に示すような曲線を示すものとなる。
本実施形態では、自車両100を運転する運転者からの見通しが悪くなる地点に差し掛かる頃に、これを検知して、そのような地点での事故を未然に防ぐための制御を行う。具体的には、相対傾斜状況が下り傾斜に変化する下り傾斜変化地点付近の手前(図14(a)に示す地点)に自車両100が到達したとき、これを検知して、運転者に速度を落とすよう警告する制御を行ったり、自車両100の車速を落とす車速調整制御を行ったりする。
路面領域RSに対応する視差値Δは、撮像画像の上方に向かうほど値が低くなるという特徴をもつことから、その視差値Δの近似曲線は、その路面の相対傾斜状況がどのような状況であっても、図12(c)、図13(c)、図14(c)中左肩上がりの特徴を示す。ただし、図12(c)、図13(c)、図14(c)に示すように、その近似曲線の概形は、路面の相対傾斜状況の違いによって大きく異なるものとなる。具体的には、近似曲線の概形は、相対傾斜状況が平坦である地点では直線状となるという特徴があり、相対傾斜状況が上り傾斜に変化する地点では曲率が徐々に大きくなる曲線状(曲率半径が徐々に小さくなる曲線状)となるという特徴があり、相対傾斜状況が下り傾斜に変化する地点では曲率が徐々に小さくなる曲線状(曲率半径が徐々に大きくなる曲線状)となるという特徴がある。したがって、このような特徴の違いによって近似曲線の概形を判別することにより、相対傾斜状況が下り傾斜に変化する下り傾斜変化地点の手前に到達したか否かを検知することができる(S7,S8)。
次に、相対傾斜状況が下り傾斜に変化する下り傾斜変化地点付近の手前(図14(a)に示す地点)に自車両100が到達したか否かを検知するための処理内容・制御内容について、詳しく説明する。
下り傾斜変化地点付近の手前に自車両100が到達したか否かの検知処理において、傾斜状況認識部143の機能は、図15に示すように、路面対応視差値選別部151、対象地点特徴量抽出部152、対象地点到達判別部153、特徴量学習データ入力部154に分けることができる。
路面対応視差値選別部151では、視差ヒストグラム計算部141から出力される各行の視差値頻度分布情報から、上述した行視差分布マップ(Vマップ)上の画素分布を曲線近似した近似曲線を特定するための近似曲線情報を生成し、その近似曲線上又はその近傍に分布する画素の視差値を選定する。
近似曲線情報の生成には、種々の公知の曲線近似方法を用いることができるが、本実施形態では、下記の式(1)に示す多項式に近似する多項式近似方法を用いる。なお、多項式の級数nは、事前の認識実験において適宜設定することができる。
ここで、多項式の各係数A0,A1,A2,・・・,Aについては、例えば最小二乗法を用いて求めることができる。つまり、複数の地点(y,Δ)の値を用いて、下記の式(2)を計算し、最小二乗法を用いて、多項式の各係数を求める。
対象地点特徴量抽出部152では、相対傾斜状況が下り傾斜に変化する下り傾斜変化地点付近の手前(対象地点)に自車両100が到達したか否かを判別するための対象地点特徴量を抽出する。本実施形態では、その対象地点特徴量として、多項式近似により得られる多項式の係数A0,A1,A2,・・・,Aと、上述した最小視差値Δ0を抽出する。具体的には、本実施形態では、多項式の1つの係数A2と最小視差値Δ0を対象地点特徴量として抽出する。
対象地点到達判別部153は、対象地点特徴量抽出部152で抽出した対象地点特徴量(A2,Δ0)が、相対傾斜状況が下り傾斜に変化する下り傾斜変化地点付近の手前(対象地点)に自車両100が到達したときの特徴量条件を満たすか否かを判断する。
具体的には、事前に、1又は2以上の対象地点で撮影した撮像画像と、対象地点ではない1又は2以上の地点で撮影した撮像画像とを用意し、これらの撮像画像について上記のような曲線近似を行ったときの多項式の係数A0,A1,A2,・・・,Aと最小視差値Δ0をそれぞれ抽出する。本実施形態においては、このようにして得られる学習データを用いて、SVM(Support Vector Machine)の機械学習方法により、対象地点に対応している学習データと対象地点に対応していない学習データとを用いて、対象地点に対応する特徴量と対象地点に対応していない特徴量とを適切に分類するための評価関数を特定する。具体的には、学習データを用いて、下記の式(3)に示す評価関数の各係数k0,k1,k2,・・・,kとkΔとを求める。
図16は、本実施形態における機械学習方法により学習データを分類した分類結果を表すグラフである。
このグラフは、縦軸と横軸にそれぞれ対象地点特徴量である多項式係数A2と最小視差値Δ0とをとった二次元直交座標系において、学習データの分布と適正な閾値Kthreを示したものである。グラフ中の「○」は、対象地点である下り傾斜変化地点付近の手前で撮影された撮像画像についての特徴量(A2,Δ0)をプロットしたものである。また、グラフ中の「X」は、対象地点ではない様々な時点で撮影された撮像画像についての特徴量(A2,Δ0)をプロットしたものである。
対象地点到達判別部153は、対象地点特徴量抽出部152で抽出した対象地点特徴量(A2,Δ0)が特徴量条件を満たすか否かを判断する際、その対象地点特徴量(A2,Δ0)を上記式(3)に示す評価関数に代入して、評価値Kを算出する。そして、この評価値Kが、SVMの機械学習によって得た閾値Kthreよりも大きいという特徴量条件を満たすか否かを判断する。評価値Kが閾値Kthreよりも大きい場合には、対象地点到達条件を満たしたと判断し、対象地点に到達した旨の判別結果を出力する。一方、評価値Kが閾値Kthre以下である場合には、対象地点到達条件を満たさないと判断し、対象地点には到達していない旨の判別結果を出力する。
なお、本実施形態では、特徴量条件を満たすか否かの判断に、上記多項式の1つの係数A2を用いているが、これに限ることはない。例えば、上記項式の係数A2以外の1つの係数を用いても良いし、上記多項式の係数を複数用いても良い。多項式の係数を1つだけ用いる場合は、誤認識が少なくなる。一方、多項式の係数を複数用いる場合は、複雑な形状の認識を行うことが可能になる。認識対象に応じてどちらかを選択する。
このようにして、傾斜状況認識部143の対象地点到達判別部153が出力する対象地点(下り傾斜変化地点付近の手前)に到達した旨の判別結果は、後段の処理部に送られ、種々の処理に使用される。例えば、この判別結果を車両走行制御ユニット106へ送り、自車両100の車速を減速する車速制御を行ったり、表示モニタ103に徐行するように警告する表示を行ったりするなどの走行支援制御を行うことができる。
また、撮像部110Aで撮像した輝度画像データは、輝度画像エッジ抽出部145に送られる。そして、輝度画像エッジ抽出部145は、その輝度画像の画素値(輝度)が規定値以上変化する箇所をエッジ部分として抽出し、その抽出結果から輝度エッジ画像データを生成する。この輝度エッジ画像データは、エッジ部分と非エッジ部分とを2値で表現した画像データである。エッジ抽出の方法は、公知のものを広く利用することができる。輝度画像エッジ抽出部145が生成した輝度エッジ画像データは、白線認識処理部149に送られる。
白線認識処理部149は、輝度エッジ画像データに基づいて路面上の白線を映し出す白線画像部を認識する処理を行う。多くの道路では、黒色に近い色の路面上に白線が形成されており、輝度画像上において白線画像部の輝度は路面上の他部分より十分に大きい。そのため、輝度画像上で所定値以上の輝度差を有するエッジ部は、白線のエッジ部である可能性が高い。また、路面上の白線を映し出す白線画像部は、撮像画像上においてライン状に映し出されるので、ライン状に並ぶエッジ部を特定することで、白線のエッジ部を高精度に認識することができる。そこで、本実施形態の白線認識処理部149は、輝度画像エッジ抽出部145から取得した輝度エッジ画像データについて最小二乗法やハフ変換処理などによる直線近似処理を施し、得られた近似直線を白線のエッジ部(路面上の白線を映し出す白線画像部)として認識する。
このようにして認識した白線認識結果は、後段の処理部に送られ、種々の処理に使用される。例えば、自車両100が自らの走行車線から外れそうな場合等に、自車両100の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行うことができる。
なお、白線認識処理において、上述した路面領域認識部142で認識した路面領域RSの認識結果を用い、路面領域RS内の輝度エッジ部を対象に白線画像部の認識処理を行えば、認識処理の負荷軽減、認識精度の向上を図ることができる。
次に、上述した車載機器制御システムに係るハードウェア構成の一実施例について説明する。
図17は、本実施例に係る車載機器制御システムの主要部に係るハードウェア構成の一例を示すブロック図である。
被写体光は、撮像ユニット101の左右撮影の光学系701と光学系702を通してCMOS703,704に入射される。各CMOS703,704は、撮像面に結像された光学像を電気信号に変換して、アナログの画像データとして出力する。CMOS703,CMOS704から出力された画像情報は、CDS(Correlated Double Sampling:相関二重サンプリング)回路705,706によりノイズ成分を除去される。そして、A/D変換器707,708によりデジタル値に変換された後、画像処理回路709,710に対して出力される。画像処理回路709,710は、画像データを一時格納するSDRAM(Synchronous DRAM)712を用いる。そして、YCrCb変換処理や、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理、色変換処理などの各種画像処理を行う。なお、ホワイトバランス処理は、画像情報の色濃さを調整し、コントラスト補正処理は、画像情報のコントラストを調整する画像処理である。エッジ強調処理は、画像情報のシャープネスを調整し、色変換処理は、画像情報の色合いを調整する画像処理である。
また、信号処理、画像処理が施された画像情報は、圧縮伸張回路713を介して、メモリカード714に記録される。圧縮伸張回路713は、画像処理回路709,710から出力される画像情報を圧縮してメモリカード714に出力するとともに、メモリカード714から読み出した画像情報を伸張して画像処理回路709,710に出力する回路である。また、CMOS、CDS回路及びA/D変換器は、タイミング信号を発生するタイミング信号発生器718を介してCPU711によって、タイミングが制御されている。更に、CPU711は、画像処理回路709,710、圧縮伸張回路713、メモリカード714などにも、バスラインを介して接続されており、これらを制御する。
CPU711は、上述した対象地点到達検知処理を実行するための対象地点到達検知用プログラムなどの各種プログラムに従って各種演算処理を行う。CPU711は、バスラインを介して、ROM(Read Only Memory)716及びRAM(Random Access Memory)717などにも接続されている。ROM716は、プログラムなどを格納した読み出し専用メモリである。RAM717は各種の処理過程で利用するワークエリア、各種データ格納エリアなどを有する読み出し書き込み自在のメモリである。
CPU711は、対象地点到達検知用プログラムを実行することにより、上述した視差演算部121、視差ヒストグラム計算部141、路面領域認識部142、傾斜状況認識部143、輝度画像エッジ抽出部145、白線認識処理部149等として機能する。これらの機能の一部又は全部は、モジュール構成としてもよい。
以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
(態様A)
路面(移動面)上を移動する自車両100(移動体)の前方を2つの撮像部110A,110B等の撮像手段により撮像して得られる撮像画像に基づいて自車両が対象地点に到達したことを検知する対象地点到達検知装置であって、自車両が走行している路面部分に対する自車両前方の走行路面の傾斜状況が相対的に下り傾斜に変化する地点の手前である上記対象地点に自車両が到達したことを示す信号を上記撮像画像に基づいて出力する対象地点到達判別部153等の対象地点到達信号出力手段を有することを特徴とする。
これによれば、見通しの悪い下り傾斜変化地点付近の手前に自車両が到達したことを適切に検知できるので、その到達時に、運転者に対して速度を落とすように警告する制御を行ったり、自車両の車速を落とす車速調整制御を行ったりすることが可能となる。その結果、上述した見通しの悪い下り傾斜変化地点付近での事故の未然防止を図ることが可能となる。
(態様B)
上記態様Aにおいて、2つの撮像部110A,110B等の複数の撮像手段により自車両前方を撮像して得られる複数の撮像画像に基づいて視差情報を生成する視差演算部121等の視差情報生成手段と、上記視差情報に基づいて、上記撮像画像を上下方向に複数分割して得られる各行領域内における視差値Δの頻度分布を示す視差ヒストグラム情報を生成する視差ヒストグラム計算部141等の視差ヒストグラム情報生成手段と、上記視差ヒストグラム情報に基づいて、予め決められた規定値を超える頻度をもった視差値Δの中から、上記撮像画像の上方に向かうほど値が低くなるという特徴に合致した一群の視差値Δを選別し、選別した一群の視差値Δについての近似曲線情報を生成する路面対応視差値選別部151等の近似曲線情報生成手段とを有し、上記対象地点到達信号出力手段は、上記近似曲線情報が所定の対象地点到達条件を満たしたとき、自車両が対象地点に到達したことを示す信号を出力することを特徴とする。
本態様においては、生成した視差ヒストグラム情報に基づいて、予め決められた規定値を超える頻度をもった視差値の中から、撮像画像の上方に向かうほど値が低くなるという特徴に合致した一群の視差値を選別する。なお、ここでいう視差値は、その視差値近傍の一定範囲に属する視差値範囲を代表的に示す値という意味を含むものとする。上記のような特徴に合致した一群の視差値に対応する撮像画像上の画素は、後述するように、自車両前方の路面を映し出す路面画像領域を構成するものであると高い確度で推定できる。よって、選別した一群の視差値は、撮像画像内の路面画像領域に対応した各行領域の視差値に相当すると言える。
ここで、自車両が走行している路面部分に対する自車両前方の走行路面の傾斜状況(相対的な傾斜状況)が相対的に下り傾斜に変化する見通しの悪い路面傾斜変化地点付近の手前に自車両が到達した場合を考える。この場合、撮像画像上のある行領域に映し出される路面部分は、相対的な傾斜状況が平坦である場合(相対的な傾斜状況に変化が無い場合)よりも、遠くのものが映し出される。したがって、撮像画像上の路面画像領域に対応する同じ行領域の視差値は、相対的な傾斜状況が下り傾斜である場合の方が平坦である場合よりも小さいものとなる。このとき、相対的な傾斜状況が平坦である場合には、撮像画像内の路面画像領域に対応した各行領域の視差値は、撮像画像の上方に向かって直線的に小さくなっていく。一方、相対的な傾斜状況が下り傾斜である場合には、路面の相対的な傾斜状況は緩やかに変化することから、各行領域の視差値は、撮像画像の上方に向かって曲線的に小さくなっていく。よって、撮像画像の上方に向かうほど値が低くなるという特徴に合致するとして選別された一群の視差値についての近似曲線から、自車両前方の相対的な傾斜状況が下り傾斜であるか否かを判定することができる。したがって、見通しの悪い路面傾斜変化地点の手前に自車両が到達したとき、これを検知することができる。その結果、その到達時に、運転者に対して速度を落とすように警告する制御を行ったり、自車両の車速を落とす車速調整制御を行ったりすることが可能となり、上述した見通しの悪い下り傾斜変化地点付近での事故の未然防止を図ることが可能となる。
なお、上述した「相対的な傾斜状況」とは、自車両が走行している路面部分と平行な面を自車両前方へ延長して得られる仮想の延長面に対し、各行領域に対応した路面部分が上側に位置する場合を、当該行領域に対応する路面部分の相対的な傾斜状況が上り傾斜であるとし、各行領域に対応した路面部分が下側に位置する場合を、当該行領域に対応する路面部分の相対的な傾斜状況が下り傾斜であるとする。
(態様C)
上記態様Bにおいて、上記対象地点到達信号出力手段は、上記近似曲線情報から対象地点特徴量(A2,Δ0)を抽出し、抽出した対象地点特徴量が所定の特徴量条件(K>Kthre)を満たしたときに上記所定の対象地点到達条件を満たしたと判断して、自車両が対象地点に到達したことを示す信号を出力することを特徴とする。
これによれば、見通しの悪い下り傾斜変化地点付近の手前に自車両が到達したことの判別処理を簡易かつ迅速に行うことができる。
(態様D)
上記態様B又はCにおいて、上記近似曲線情報は、上記撮像画像の上方方向位置yと視差値Δとで定義される二次元直交座標系に上記選別した一群の視差値Δを配置した当該二次元直交座標系上に描かれる近似曲線を特定する情報であることを特徴とする。
これによれば、近似曲線情報の生成が容易となる。
(態様E)
上記態様Cにおいて、上記近似曲線情報は、上記近似曲線を多項式で示した情報であり、上記対象地点到達信号出力手段は、上記近似曲線情報に対応する多項式の係数A2と、選別した一群の視差値の中で最も小さい最小視差値Δ0とを、対象地点特徴量として抽出し、抽出した対象地点特徴量(A2,Δ0)が所定の特徴量条件(K>Kthre)を満たしたときに上記所定の対象地点到達条件を満たしたと判断して、自車両が対象地点に到達したことを示す信号を出力することを特徴とする。
これによれば、見通しの悪い下り傾斜変化地点付近の手前に自車両が到達したことの判別処理を簡易かつ迅速に行うことができる。
(態様F)
上記態様B〜Eのいずれかの態様において、上記対象地点到達信号出力手段は、上記対象地点を予め撮影して得た撮像画像と該対象地点ではない地点を予め撮影して得た撮像画像とから得られる学習データを用いて、上記近似曲線情報が所定の対象地点到達条件を満たすか否かを判断することを特徴とする。
これによれば、近似曲線情報が所定の対象地点到達条件を満たすか否かの判断を適切に行うことが可能となる。
(態様G)
2つの撮像部110A,110B等の複数の撮像手段により自車両前方を撮像して得られる複数の撮像画像に基づいて視差情報を生成する視差情報生成工程と、上記視差情報に基づいて、上記撮像画像を上下方向に複数分割して得られる各行領域内における視差値Δの頻度分布を示す視差ヒストグラム情報を生成する視差ヒストグラム情報生成工程と、上記視差ヒストグラム情報に基づいて、予め決められた規定値を超える頻度をもった視差値の中から、上記撮像画像の上方に向かうほど値が低くなるという特徴に合致した一群の視差値を選別し、選別した一群の視差値についての近似曲線情報を生成する近似曲線情報生成工程と、上記近似曲線情報が所定の対象地点到達条件を満たしたとき、自車両が対象地点に到達したことを示す信号を出力する対象地点到達信号出力工程とを、コンピュータに実行させるための対象地点到達検知用プログラム。
これによれば、見通しの悪い下り傾斜変化地点付近の手前に自車両が到達したことを適切に検知できるので、その到達時に、運転者に対して速度を落とすように警告する制御を行ったり、自車両の車速を落とす車速調整制御を行ったりすることが可能となる。その結果、上述した見通しの悪い下り傾斜変化地点付近での事故の未然防止を図ることが可能となる。
なお、このプログラムは、CD−ROM等の記録媒体に記録された状態で配布したり、入手したりすることができる。また、このプログラムを乗せ、所定の送信装置により送信された信号を、公衆電話回線や専用線、その他の通信網等の伝送媒体を介して配信したり、受信したりすることでも、配布、入手が可能である。この配信の際、伝送媒体中には、コンピュータプログラムの少なくとも一部が伝送されていればよい。すなわち、コンピュータプログラムを構成するすべてのデータが、一時に伝送媒体上に存在している必要はない。このプログラムを乗せた信号とは、コンピュータプログラムを含む所定の搬送波に具現化されたコンピュータデータ信号である。また、所定の送信装置からコンピュータプログラムを送信する送信方法には、プログラムを構成するデータを連続的に送信する場合も、断続的に送信する場合も含まれる。
(態様H)
路面(移動面)上を移動する自車両100(移動体)の周囲の情報を検知する情報検知手段と、前記情報検知手段から出力される検知信号に基づいて、自車両に搭載されたハンドルやブレーキあるいは表示モニタ103等の所定の機器を制御する車両走行制御ユニット106等の移動体機器制御手段とを備えた移動体機器制御システムにおいて、前記情報検知手段として、上記態様A〜Fのいずれかの態様に係る対象地点到達検知装置を用いたことを特徴とする。
これによれば、見通しの悪い下り傾斜変化地点付近の手前に自車両が到達したことを適切に検知できるので、その到達時に、運転者に対して速度を落とすように警告する制御を行ったり、自車両の車速を落とす車速調整制御を行ったりすることを適切に行うことができる。
100 自車両
101 撮像ユニット
102 画像解析ユニット
103 表示モニタ
106 車両走行制御ユニット
110A,110B 撮像部
113A,113B 画像センサ
120 処理ハードウェア部
121 視差演算部
130 メモリ
141 視差ヒストグラム計算部
142 路面領域認識部
143 傾斜状況認識部
151 路面対応視差値選別部
152 対象地点特徴量抽出部
153 対象地点到達判別部
154 特徴量学習データ入力部
特開2002−150302号公報

Claims (8)

  1. 移動面上を移動する移動体の前方を撮像手段により撮像して得られる撮像画像に基づいて当該移動体が対象地点に到達したことを検知する対象地点到達検知装置であって、
    上記移動体が移動している移動面部分に対する該移動体前方の移動面部分の傾斜状況が相対的に下り傾斜に変化する地点の手前である上記対象地点に該移動体が到達したことを示す信号を、上記撮像画像に基づいて出力する対象地点到達信号出力手段を有することを特徴とする対象地点到達検知装置。
  2. 請求項1の対象地点到達検知装置において、
    複数の撮像手段により上記移動体の前方を撮像して得られる複数の撮像画像に基づいて視差情報を生成する視差情報生成手段と、
    上記視差情報に基づいて、上記撮像画像を上下方向に複数分割して得られる各行領域内における視差値の頻度分布を示す視差ヒストグラム情報を生成する視差ヒストグラム情報生成手段と、
    上記視差ヒストグラム情報に基づいて、予め決められた規定値を超える頻度をもった視差値の中から、上記撮像画像の上方に向かうほど値が低くなるという特徴に合致した一群の視差値を選別し、選別した一群の視差値についての近似曲線情報を生成する近似曲線情報生成手段とを有し、
    上記対象地点到達信号出力手段は、上記近似曲線情報が所定の対象地点到達条件を満たしたとき、上記移動体が対象地点に到達したことを示す信号を出力することを特徴とする対象地点到達検知装置。
  3. 請求項2の対象地点到達検知装置において、
    上記対象地点到達信号出力手段は、上記近似曲線情報から対象地点特徴量を抽出し、抽出した対象地点特徴量が所定の特徴量条件を満たしたときに上記所定の対象地点到達条件を満たしたと判断して、前記移動体が対象地点に到達したことを示す信号を出力することを特徴とする対象地点到達検知装置。
  4. 請求項2又は3の対象地点到達検知装置において、
    上記近似曲線情報は、上記撮像画像の上方方向位置と視差値とで定義される二次元直交座標系に上記選別した一群の視差値を配置した当該二次元直交座標系上に描かれる近似曲線を特定する情報であることを特徴とする対象地点到達検知装置。
  5. 請求項4の対象地点到達検知装置において、
    上記近似曲線情報は、上記近似曲線を多項式で示した情報であり、
    上記対象地点到達信号出力手段は、上記近似曲線情報に対応する多項式の係数と、選別した一群の視差値の中で最も小さい最小視差値とを、対象地点特徴量として抽出し、抽出した対象地点特徴量が所定の特徴量条件を満たしたときに上記所定の対象地点到達条件を満たしたと判断して、前記移動体が対象地点に到達したことを示す信号を出力することを特徴とする対象地点到達検知装置。
  6. 請求項2乃至5のいずれか1項に記載の対象地点到達検知装置において、
    上記対象地点到達信号出力手段は、上記対象地点を予め撮影して得た撮像画像と該対象地点ではない地点を予め撮影して得た撮像画像とから得られる学習データを用いて、上記近似曲線情報が所定の対象地点到達条件を満たすか否かを判断することを特徴とする対象地点到達検知装置。
  7. 移動面上を移動する移動体の前方を複数の撮像手段により撮像して得られる複数の撮像画像に基づいて視差情報を生成する視差情報生成工程と、
    上記視差情報に基づいて、上記撮像画像を上下方向に複数分割して得られる各行領域内における視差値の頻度分布を示す視差ヒストグラム情報を生成する視差ヒストグラム情報生成工程と、
    上記視差ヒストグラム情報に基づいて、予め決められた規定値を超える頻度をもった視差値の中から、上記撮像画像の上方に向かうほど値が低くなるという特徴に合致した一群の視差値を選別し、選別した一群の視差値についての近似曲線情報を生成する近似曲線情報生成工程と、
    上記近似曲線情報が所定の対象地点到達条件を満たしたとき、前記移動体が対象地点に到達したことを示す信号を出力する対象地点到達信号出力工程とを、コンピュータに実行させるための対象地点到達検知用プログラム。
  8. 移動面上を移動する移動体の周囲の情報を検知する情報検知手段と、
    前記情報検知手段から出力される検知信号に基づいて、前記移動体に搭載された所定の機器を制御する移動体機器制御手段とを備えた移動体機器制御システムにおいて、
    前記情報検知手段として、請求項1乃至6のいずれか1項に記載の対象地点到達検知装置を用いたことを特徴とする移動体機器制御システム。
JP2013175175A 2012-11-13 2013-08-27 対象地点到達検知装置、対象地点到達検知用プログラム、移動体機器制御システム及び移動体 Active JP6376429B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013175175A JP6376429B2 (ja) 2012-11-13 2013-08-27 対象地点到達検知装置、対象地点到達検知用プログラム、移動体機器制御システム及び移動体
US14/060,781 US9189690B2 (en) 2012-11-13 2013-10-23 Target point arrival detector, method of detecting target point arrival, storage medium of program of detecting target point arrival and vehicle-mounted device control system
EP13192090.2A EP2731076A3 (en) 2012-11-13 2013-11-08 Target point arrival detector, method of detecting target point arrival, carrier medium of program of detecting target point arrival and vehicle-mounted device control system
CN201310565722.7A CN103810720B (zh) 2012-11-13 2013-11-13 对象地点到达检知装置和方法以及移动设备控制系统

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012249684 2012-11-13
JP2012249684 2012-11-13
JP2013175175A JP6376429B2 (ja) 2012-11-13 2013-08-27 対象地点到達検知装置、対象地点到達検知用プログラム、移動体機器制御システム及び移動体

Publications (2)

Publication Number Publication Date
JP2014115980A true JP2014115980A (ja) 2014-06-26
JP6376429B2 JP6376429B2 (ja) 2018-08-22

Family

ID=49619790

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013175175A Active JP6376429B2 (ja) 2012-11-13 2013-08-27 対象地点到達検知装置、対象地点到達検知用プログラム、移動体機器制御システム及び移動体

Country Status (4)

Country Link
US (1) US9189690B2 (ja)
EP (1) EP2731076A3 (ja)
JP (1) JP6376429B2 (ja)
CN (1) CN103810720B (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101655553B1 (ko) * 2014-10-29 2016-09-08 현대자동차주식회사 운전자 보조 장치 및 방법
EP3023907A1 (en) * 2014-11-20 2016-05-25 Autoliv Development AB Gradient detection based on perspective-transformed image
JP6459443B2 (ja) 2014-11-28 2019-01-30 株式会社リコー 検知装置、検知システム、検知方法及びプログラム
JP2016140030A (ja) 2015-01-29 2016-08-04 株式会社リコー 画像処理装置、撮像装置、及び画像処理プログラム
JP6233345B2 (ja) * 2015-04-17 2017-11-22 トヨタ自動車株式会社 路面勾配検出装置
CN105223756B (zh) * 2015-10-06 2018-03-09 瑞声光电科技(常州)有限公司 阵列式镜头模组
JP6728634B2 (ja) 2015-11-04 2020-07-22 株式会社リコー 検知装置、検知方法及びプログラム
KR101942527B1 (ko) * 2015-11-09 2019-01-25 엘지전자 주식회사 차량용 어라운드 뷰 제공 장치 및 차량
CN105740802A (zh) * 2016-01-28 2016-07-06 北京中科慧眼科技有限公司 基于视差图的障碍物检测方法和装置及汽车驾驶辅助系统
JP6541590B2 (ja) * 2016-02-03 2019-07-10 クラリオン株式会社 カメラキャリブレーション装置
JP6786635B2 (ja) * 2018-05-15 2020-11-18 株式会社東芝 車両認識装置および車両認識方法
US10676129B2 (en) * 2018-06-25 2020-06-09 Steering Solutions Ip Holding Corporation Driver notification using handwheel actuators in steer-by-wire systems
KR102212229B1 (ko) * 2018-11-07 2021-02-05 삼성전자주식회사 이동체에 포함된 카메라 시스템 및 그 제어방법.
JP7206172B2 (ja) * 2019-09-19 2023-01-17 京セラ株式会社 物体検出装置、物体検出システム、移動体及び物体検出方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010018223A (ja) * 2008-07-14 2010-01-28 Mazda Motor Corp 車両用走行路面検出装置
JP2011128844A (ja) * 2009-12-17 2011-06-30 Fuji Heavy Ind Ltd 路面形状認識装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265547A (ja) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
US5606627A (en) * 1995-01-24 1997-02-25 Eotek Inc. Automated analytic stereo comparator
JP3516856B2 (ja) * 1998-01-30 2004-04-05 富士重工業株式会社 車外監視装置
JP3596314B2 (ja) * 1998-11-02 2004-12-02 日産自動車株式会社 物体端の位置計測装置および移動体の通行判断装置
JP4573977B2 (ja) * 1999-09-22 2010-11-04 富士重工業株式会社 監視システムの距離補正装置、および監視システムの消失点補正装置
RU2000128606A (ru) 2000-11-15 2002-10-27 Тойота Дзидося Кабусики Кайся (Jp) Устройство распознавания дорожной поверхности
KR100418763B1 (ko) * 2000-12-28 2004-02-18 현대자동차주식회사 노면경사 측정방법 및 이를 이용한 차량 속도 제어 시스템
JP3895238B2 (ja) * 2002-08-28 2007-03-22 株式会社東芝 障害物検出装置及びその方法
JP2006208223A (ja) * 2005-01-28 2006-08-10 Aisin Aw Co Ltd 車両位置認識装置及び車両位置認識方法
JP4792248B2 (ja) * 2005-06-30 2011-10-12 日立オートモティブシステムズ株式会社 走行制御装置,走行制御システム及びその走行制御に用いる情報を格納したナビゲーション用情報記録媒体
JP2007147458A (ja) * 2005-11-28 2007-06-14 Fujitsu Ltd 位置検出装置、位置検出方法、位置検出プログラムおよび記録媒体
JP4987573B2 (ja) * 2007-06-01 2012-07-25 富士重工業株式会社 車外監視装置
JP4876080B2 (ja) * 2008-01-25 2012-02-15 富士重工業株式会社 環境認識装置
JP5188452B2 (ja) 2009-05-22 2013-04-24 富士重工業株式会社 道路形状認識装置
WO2011014482A1 (en) * 2009-07-27 2011-02-03 Magna Electronics Inc. Parking assist system
JP5441549B2 (ja) * 2009-07-29 2014-03-12 日立オートモティブシステムズ株式会社 道路形状認識装置
JP5039765B2 (ja) * 2009-09-17 2012-10-03 日立オートモティブシステムズ株式会社 車両制御装置
JP5276637B2 (ja) * 2010-09-08 2013-08-28 富士重工業株式会社 車線推定装置
JP5693994B2 (ja) * 2011-02-16 2015-04-01 富士重工業株式会社 車両検出装置
JP2012243049A (ja) * 2011-05-19 2012-12-10 Fuji Heavy Ind Ltd 環境認識装置および環境認識方法
JP2012257022A (ja) * 2011-06-08 2012-12-27 Sony Corp 画像処理装置および方法、並びにプログラム
JP5352869B2 (ja) * 2011-09-07 2013-11-27 シャープ株式会社 立体画像処理装置、立体画像処理方法、及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010018223A (ja) * 2008-07-14 2010-01-28 Mazda Motor Corp 車両用走行路面検出装置
JP2011128844A (ja) * 2009-12-17 2011-06-30 Fuji Heavy Ind Ltd 路面形状認識装置

Also Published As

Publication number Publication date
US20140133699A1 (en) 2014-05-15
EP2731076A3 (en) 2016-06-01
EP2731076A2 (en) 2014-05-14
JP6376429B2 (ja) 2018-08-22
CN103810720B (zh) 2017-12-01
US9189690B2 (en) 2015-11-17
CN103810720A (zh) 2014-05-21

Similar Documents

Publication Publication Date Title
JP6376429B2 (ja) 対象地点到達検知装置、対象地点到達検知用プログラム、移動体機器制御システム及び移動体
KR101650266B1 (ko) 노면 경사 인식 장치, 노면 경사 인식 방법, 및 컴퓨터가 노면 경사 인식을 실행하기 위한 컴퓨터 프로그램
JP6344638B2 (ja) 物体検出装置、移動体機器制御システム及び物体検出用プログラム
JP6156733B2 (ja) 対象物認識装置、機器制御システム、車両、対象物認識方法及び対象物認識用プログラム
US10580155B2 (en) Image processing apparatus, imaging device, device control system, frequency distribution image generation method, and recording medium
JP6705496B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、移動体、画像処理方法、及びプログラム
JP6198113B2 (ja) 対象物認識装置、機器制御システム、車両、対象物認識方法及び対象物認識用プログラム
JP2014006885A (ja) 段差認識装置、段差認識方法及び段差認識用プログラム
JP7206583B2 (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム
JP6150164B2 (ja) 情報検出装置、移動体機器制御システム、移動体及び情報検出用プログラム
JP2013250907A (ja) 視差算出装置、視差算出方法及び視差算出用プログラム
US11691585B2 (en) Image processing apparatus, imaging device, moving body device control system, image processing method, and program product
JP6705497B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、プログラム、及び移動体
WO2017145605A1 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP6687039B2 (ja) 物体検出装置、機器制御システム、撮像装置、物体検出方法、及びプログラム
JP6753134B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及び画像処理プログラム
JP2018025906A (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP2016206801A (ja) 物体検出装置、移動体機器制御システム及び物体検出用プログラム
JP2017207874A (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP6992356B2 (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム
JP2014026396A (ja) 移動面境界線認識装置、移動面境界線認識装置を備えた移動体、移動面境界線認識方法及び移動面境界線認識用プログラム
JP6711128B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP2014016981A (ja) 移動面認識装置、移動面認識方法及び移動面認識用プログラム
JP2017211791A (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP2013250694A (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170407

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180629

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180712

R151 Written notification of patent or utility model registration

Ref document number: 6376429

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151