JP2019049468A - 距離算出装置および距離算出パラメータの設定方法 - Google Patents

距離算出装置および距離算出パラメータの設定方法 Download PDF

Info

Publication number
JP2019049468A
JP2019049468A JP2017173771A JP2017173771A JP2019049468A JP 2019049468 A JP2019049468 A JP 2019049468A JP 2017173771 A JP2017173771 A JP 2017173771A JP 2017173771 A JP2017173771 A JP 2017173771A JP 2019049468 A JP2019049468 A JP 2019049468A
Authority
JP
Japan
Prior art keywords
distance
camera
stereo camera
detection
horizontal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017173771A
Other languages
English (en)
Other versions
JP6865660B2 (ja
Inventor
貴好 菊池
Takayoshi Kikuchi
貴好 菊池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KYB Corp
Original Assignee
KYB Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KYB Corp filed Critical KYB Corp
Priority to JP2017173771A priority Critical patent/JP6865660B2/ja
Priority to PCT/JP2018/031627 priority patent/WO2019049708A1/ja
Publication of JP2019049468A publication Critical patent/JP2019049468A/ja
Application granted granted Critical
Publication of JP6865660B2 publication Critical patent/JP6865660B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Geometry (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】カメラパラメータの個体差の影響を受けることなく、検出対象点までの距離を高精度に算出すること。【解決手段】本発明の一形態に係る距離算出装置100は、ステレオカメラ10と、メモリ30と、演算処理回路20とを具備する。ステレオカメラ10は、車両の進行方向の路面の基準画像を取得するカメラ10Lと、路面の参照画像を取得するカメラ10Rとを有する。メモリ30は、水平距離が既知である検出基準点の水平方向の視差と、基準画像における検出基準点の位置と、カメラ間距離と、水平方向に対するステレオカメラ10の設置角度とに関する情報に基づいて予め設定された基準パラメータを記憶する。演算処理回路20は、上記基準パラメータを用いて、ステレオカメラ10と路面上の検出対象点までの水平距離を算出する。【選択図】図5

Description

本発明は、ステレオカメラを用いた距離算出装置および距離算出パラメータの設定方法に関する。
アクティブサスペンションシステムの制御方式として、車両前方の路面状況を検出してサスペンションの諸特性を適正に制御するプレビュー制御がある。車両前方の路面状況を検出する方法として、2台のカメラで撮像した車両前方の路面像の視差情報を用いるステレオ法が知られている。
例えば特許文献1には、路面をステレオ撮影した第1の画像と第2の画像とをXY平面座標に投影し、該平面座標上に特定の座標(X,Y)を中心とする検出領域を設定し、検出領域の画像が路面位置にある場合の視差v1を算出し、第2の画像に視差v1を差し引いた座標(X−v1,Y)を中心とする比較領域を設定し、検出領域の画像と比較領域の画像とを比較して、検出領域の路面からの高さを検出する、路面段差検出方法が開示されている。
特開2014−89548号公報
ステレオ画像を用いた距離の算出には、演算パラメータとして、ステレオカメラの設置高さや設置角度等の設置パラメータのほか、ステレオカメラを構成するカメラシステムの焦点距離や画素サイズ等の情報を含むカメラパラメータが用いられる。特に、カメラパラメータは、カメラシステム毎に個体差があるため、個々に最適化(補正)が必須となっている。
しかしながら、カメラパラメータの最適化には煩雑な実験が必要とされ、実験環境によっても結果が大きく左右される。このため、カメラパラメータの高精度な最適化が困難であり、検出対象点までの距離の算出精度の向上に限界があった。
以上のような事情に鑑み、本発明の目的は、カメラパラメータの個体差の影響を受けることなく、検出対象点までの距離を高精度に算出することができる距離算出装置および距離算出パラメータの設定方法を提供することにある。
上記目的を達成するため、本発明の一形態に係る距離算出装置は、ステレオカメラと、メモリと、演算処理回路とを具備する。
上記ステレオカメラは、車両の進行方向の路面の基準画像を取得する第1のカメラと、上記路面の参照画像を取得する第2のカメラとを有する。
上記メモリは、水平距離が既知である検出基準点の水平方向の視差と、上記基準画像における上記検出基準点の位置と、上記第1及び第2のカメラの光軸間距離と、水平方向に対する上記ステレオカメラの設置角度とに関する情報に基づいて予め設定された基準パラメータを記憶する。
上記演算処理回路は、上記基準パラメータを用いて、上記ステレオカメラと上記路面上の検出対象点までの水平距離を算出する。
上記距離算出装置は、ステレオカメラの焦点距離や画素サイズ等のカメラパラメータに代えて、水平距離が既知である検出基準点のステレオカメラ画像に基づいて予め設定された基準パラメータを用いて検出対象点の距離を算出するように構成されている。これにより、カメラパラメータの個体差の影響を受けることなく、検出対象点までの距離を高精度に算出することができる。
上記基準パラメータとしては、上記ステレオカメラから上記検出基準点までの水平距離をL0[m]、上記検出基準点の水平方向の視差をd0[pixel]、上記基準画像における上記検出基準点の画素座標を(x,y)、上記光軸間距離をB[mm]、上記ステレオカメラの設置角度をθc[deg]、上記基準パラメータをBF値としたとき、
BF値={d00+Bsinθc(x+y1/2}/cosθc
の関係式を用いることができる。
これにより、ステレオカメラの焦点距離や画素サイズ等を演算パラメータを用いることなく、検出対象点までの水平距離を算出することができる。
上記演算処理回路は、上記基準パラメータを用いて、上記検出対象点の高さをさらに算出するように構成されてもよい。
本発明の一形態に係る距離算出パラメータの設定方法は、ステレオカメラを用いた距離算出装置の距離算出パラメータの設定方法であって、水平距離が既知である検出基準点を上記ステレオカメラで撮像することを含む。
上記ステレオカメラにおける第1のカメラで取得された基準画像と、上記ステレオカメラにおける第2のカメラで取得された参照画像とに基づいて、上記検出基準点の水平方向の視差が算出される。
上記ステレオカメラから上記検出基準点までの水平距離と、上記視差と、上記基準画像における上記検出基準点の位置と、上記第1及び第2のカメラの光軸間距離と、水平方向に対する上記ステレオカメラの設置角度とに関する情報に基づいて、上記ステレオカメラにより撮像される検出対象点までの水平距離を算出するための基準パラメータが設定される。
以上述べたように、本発明によれば、カメラパラメータの個体差の影響を受けることなく、検出対象点までの距離を高精度に算出することができる。
ステレオカメラの各カメラと検出対象点を含む路面を上から示す図である。 上記各カメラと検出対象点を含む路面を側方から示す図である。 所定の設置角度で設置されたステレオカメラと検出対象点を含む路面を側方から示す図である。 ステレオカメラで撮像された検出対象の基準画像および参照画像を示す模式図である。 本実施形態の距離算出装置の構成を示すブロック図である。 上記距離算出装置による路面変位検出の手順を示すフローチャートである。
以下、図面を参照しながら、本発明の実施形態を説明する。
[概要]
本実施形態は、ステレオカメラによって撮影された複数の画像を用いて、車両前方の路面上の検出対象点までの距離を算出する距離算出装置および距離算出方法、並びに、ステレオカメラを用いた距離計測システムにおける距離算出パラメータの設定方法に関するものである。
図1および図2は、ステレオカメラから路面上の検出対象点までの距離算出方法の説明図である。図1は、各カメラと検出対象点を含む路面を上から示す図であり、図2は、各カメラと検出対象点を含む路面を側方から示す図である。
ステレオカメラ10は、2つのカメラ10R,10Lを有する。2つのカメラ10R,10Lは各々、車両前方を撮像範囲とし、水平方向に視差が生じ得るように互いに離間し、かつ、各々の光軸11R,11Lが平行となるように配置される。
カメラ10R,10Lにより各々撮像された画像は、図示しない演算処理回路によって処理される。演算処理回路は、各画像の対応点どうしの視差情報を算出し、算出した視差情報を基に、ステレオカメラ10から路面R上の検出対象点Kまでの距離に関する情報を算出する。演算処理回路はさらに、算出された距離に関する情報を基に、路面の高さや路面上の障害物の有無などの路面状態を検出する。
以下、ステレオカメラ10を用いた検出対象点の距離算出原理について説明する。
図1において、路面R上の検出対象点Kは、図2に示すように、カメラ10R,10Lの光軸11R,11Lから角度θ[deg]だけ下方に傾いた方向に見える。カメラ10R,10Lから検出対象点Kまでの距離D1[m]は、下記の式により算出される。
D1=(B・f)/|x1−x2|
ここで、B[mm]は、カメラ間距離(光軸11R,11L間の距離)、f[mm]は、各カメラ10R,10Lにおける撮像素子101とレンズ102との間の距離(レンズ102の焦点距離)である。x1は、一方のカメラ10R(第1のカメラ)の画像における検出対象点Kの像のX座標であり、x2は、他方のカメラ10L(第2のカメラ)の画像における検出対象点Kの像のX座標である。図2において角度θv[deg]は、ステレオカメラ10の画角である。
なお、撮像素子101は、典型的には、CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子で構成される。
カメラ10R,10Lの光軸11R,11Lの向きが水平(進行方向に平行)な場合、カメラ10R,10Lから検出対象点Kまでの水平方向(Y軸方向)の距離(水平距離)L[m]は、
L=D1・cosθ
により算出される。
また、検出対象点Kの高さh[m]は、
h=H−D1・sinθ …(1)
により算出される。
ここで、Hは、カメラ10R,10Lの光軸11R,11Lの路面Rからの高さ[m]である。
このように、ステレオ法によって、ステレオカメラ10から検出対象点Kまでの距離Lと高さhを算出することができる。
一方、ステレオカメラ10から検出対象点Kまでの各軸方向における距離をそれぞれDx,Dy,Dz[m]とすると、式(1)は、以下のように表すことができる。
D1=(Dx+Dy+Dy1/2 …(2)
|x1−x2|は、カメラ10R,10Lのピクセルサイズ(ΔCCD)[μm]と水平方向の視差(d)との積(d・ΔCCD)に相当する。したがって、Dx、DyおよびDzは、以下の式により算出される。
Dx=B・x/d …(3)
Dy=B・y/d …(4)
Dz=B・f/(d・ΔCCD) …(5)
ここで、x、yは、ステレオカメラ10の画像上での検出対象点Kの座標位置である。
ステレオカメラ10から検出対象点Kまでの距離Lは、距離Dzと同一である(L=Dz)。しかし、この関係が成り立つのは、図2のようにステレオカメラ10の光軸11R,11Lが路面と平行に設置される場合に限られる。本実施形態では、ステレオカメラ10は、水平方向(Z軸方向)に対して光軸11R,11Lが路面Rに向けて所定の角度傾斜した状態で車両に設置される。以下、この角度(俯角)を、ステレオカメラ10の設置角度ともいう。
図3は、所定の設置角度θcで設置されたステレオカメラ10と検出対象点Kを含む路面を側方から示す図である。同図において、角度θおよび水平距離Lは、以下の式により算出される。
θ=cos−1(Dz/D1) …(6)
L=D1cos(θ+θc) …(7)
(7)式を用いることで、ステレオカメラ10の傾きを考慮して検出対象点Kまでの水平距離Lを算出することができる。
ここで、水平距離Lの算出にあたり、(2)〜(5)式を用いたD1の算出に必要なカメラパラメータ、すなわち、カメラ間距離B、焦点距離f、ピクセルサイズΔCCDは、使用するステレオカメラ10によって決定されるものであり、これら3つのパラメータから算出される値(BF)、下記の関係式から求められる。
BF値=B・f/ΔCCD …(8)
上記3つのパラメータのうち、焦点距離fおよびピクセルサイズΔCCDの2パラメータは、使用するカメラによって決定される。しかし、これらの2パラメータは使用するカメラによって個体差をもち、カメラメーカが公表している値はあくまで公称値であるため、その値をそのまま用いてしまうと誤差が生じてしまう。さらに、個体差を求めるにしても、上記2パラメータはカメラ内部のパラメータであるため、正しい数値を求めるのが非常に困難である。
一方、上記2パラメータの個々の個体差を算出するのではなく、カメラ間距離Bを含む3パラメータを(8)式のように算出されるBF値として一体的に捉え、この値を距離が既知の対象を用いた実験ベースで最適化する方法がある。例えば、水平距離の真値が5[m]となる位置に対象を設置し、(7)式のLが5[m]となるBF値を手探りで抽出することで、BF値としての最適パラメータを算出することができる。
しかし、この方法では、最適パラメータの算出に熟練度が必要であり、実験環境に応じて算出される視差が変化してしまうため(算出ミス)、最適パラメータを一意に決定することが困難であった。
そこで本実施形態の距離算出パラメータの設定方法は、BF値を手探りで変更せず、BF値を一意に決定できるように予め定式化し、そこに実験ベースで得られた測定値を代入することで、BF値として最適化された基準パラメータを算出する。以下、本実施形態の距離算出パラメータの設定方法の詳細について説明する。
[距離算出パラメータの設定方法]
本実施形態の距離算出パラメータの設定方法は、ステレオカメラを用いた距離算出装置の距離算出パラメータの設定方法であって、以下のステップを有する。
(ステップ1:検出基準点の撮像)
まず、水平距離(L0)が既知である検出基準点がステレオカメラ10で撮像される。
図4は、ステレオカメラ10で撮像された検出対象Pの撮影画像である。ここでは、一方のカメラ10L(第1のカメラ)で取得された検出対象Pの画像を基準画像13Lとし、他方のカメラ10R(第2のカメラ)で取得された検出対象Pの画像を参照画像(比較画像)13Rとする。これに限られず、一方のカメラ10Lで取得された検出対象Pの画像を参照画像とし、他方のカメラ10Rで取得された検出対象Pの画像を基準画像としてもよい。
カメラ10L,10Rの画素数は同一であり、例えば、横1280×縦720である。検出基準点P1は、任意の点に設定可能であり、典型的には、検出対象Pの像を構成する任意の画素座標に設定され、図示の例では、画像の最下端の中心に設定される。この点は、車両に搭載されたステレオカメラから見ると、最も手前の路面の位置に相当する。画像の横方向をx軸、縦方向をy軸とし、画像の中心をxy座標の原点とすると、図示の例では、検出基準点P1の座標(x,y)は、(0,−360)である。ステレオカメラ10から検出対象P(検出基準点P1)までの水平距離(L0)は、例えば、5mに設定される。
(ステップ2:視差の算出)
続いて、第1のカメラ10Lで取得された基準画像13Lと、第2のカメラ10Rで取得された参照画像13Rとに基づいて、検出基準点P1の水平方向の視差(d0)が算出される。
ここでは、基準画像13Lおよび参照画像13Rの差分をとり、得られた差分画像を用いて、検出対象P(検出基準点P1)が黒くなる位置(差分が0となる位置)を求める。この際に水平方向(x軸方向)に移動した画素数が、視差(d0)として算出される。
(ステップ3:BF値の算出)
続いて、ステレオカメラ10から検出基準点P1までの水平距離(L0)と、上述のようにして算出された視差(d0)と、基準画像13Lにおける検出基準点P1の位置(x,y)と、カメラ間距離(B)と、水平方向に対するステレオカメラ10の設置角度(θc)とに関する情報に基づいて、ステレオカメラ10により撮像される検出対象点までの水平距離L(図3参照)を算出するための基準パラメータ(BF値)を設定する。
水平距離L0、検出基準点P1の位置(x,y)および視差d0は、ステップ1およびステップ2により取得される。カメラ間距離B、設置角度θcは、実測により得られる。これらのパラメータを次の(9)式に代入することで、基準パラメータ(BF値)が算出される。
なお、(8)式の導出方法については後述する。
BF値={d00+Bsinθc(x+y1/2}/cosθc …(9)
このようにして算出された基準パラメータ(BF値)は、使用するステレオカメラ10に固有のパラメータであり、カメラ10R,10Lの焦点距離fやピクセルサイズΔCCDといった個体差のあるカメラパラメータを使用することなく求められる演算値であるため、カメラメーカから公表される公称値を用いる場合と比較して精度の誤差が生じにくい。
さらに、本実施形態によれば、必要な初期パラメータ(L0、検出対象物P1の座標位置、カメラ間距離B、カメラ設定角度θc)を作業者が入力するだけで、コンピュータを用いてステップ1〜ステップ3の各処理を自動的に計算することができる。したがって、既知の水平距離に対応するBF値を手探りで抽出する方法と比較して、作業に熟練度を必要とすることなく、また試験条件によって左右されることなく、BF値を一意的に設定することができる。
以上のように本実施形態によれば、(9)式で算出される基準パラメータ(BF値)を用いて、(2)式、(5)式および(7)式の演算を実行することにより、カメラパラメータの個体差の影響を受けることなく、路面R上の検出対象点Kまでの水平距離Lを高精度に算出することができる。
さらに本実施形態によれば、(9)式で算出される基準パラメータ(BF値)を用いて、(1)式、(2)式および(5)式の演算を実行することにより、カメラパラメータの個体差の影響を受けることなく、検出対象点Kの高さ(路面変位h)を高精度に算出することができる。
(BF値の導出)
続いて、上述した(9)式の導出方法について説明する。
(7)式におけるcos(θ+θc)は、加法定理により以下のように示される。
cos(θ+θc)=cosθ・cosθc−sinθ・sinθc …(10)
(6)式より、
cosθ=cos{cos−1(Dz/D1)}=Dz/D1 …(11)
同様に、(6)式より、
sinθ=sin{cos−1(Dz/D1)}={1−(Dz/D1)1/2 …(12)
(7)、(10)〜(12)式より、
L0=D1[(Dz/D1)cosθc−{1−(Dz/D1)1/2sinθc]
したがって、
L0=Dz cosθc−(D1−Dz1/2sinθc …(13)
(2)式より、
(D1−Dz1/2=(Dx+Dy+Dz−Dz1/2=(Dx+Dy1/2
これを(13)式に代入して、
L0=Dz cosθc−(Dx+Dy1/2sinθc …(14)
一方、(3)および(4)式より、
(Dx+Dy1/2={(Bx/d 0+(By/d 01/2
={(B/d 0(x+y)}1/2
したがって、
(Dx+Dy1/2=(B/d 0)(x+y1/2 …(15)
(14)式に(15)式を代入して、
L0=Dz cosθc−(B/d 0)(x+y1/2sinθc …(16)
(5)および(8)式より、
Dz=B・f/(d 0・ΔCCD)=BF値/d 0
これを(16)式に代入して、
L0=(BF値/d 0)cosθc−(B/d 0)(x+y1/2sinθc
したがって、
BF値={d 0・L0+B sinθc(x+y1/2}/cosθc
となり、(9)式が導かれる。
[距離算出装置]
続いて、本実施形態の距離算出装置について説明する。
図5は、本実施形態の距離算出装置100の構成を示すブロック図である。
同図に示すように、本実施形態の距離算出装置100は、ステレオカメラ10と、演算処理回路20と、メモリ30とを備える。なお、メモリ30は、演算処理回路20内に設けられてもよい。
ステレオカメラ10は、2つのカメラ10R,10Lを有する。2つのカメラ10R,10Lは、図1および図3に示すように、車両の前方を撮像範囲とし、視差が生じ得るように互いに離間し、かつ各々の光軸が平行となるように所定の設置角度θcで車両に設置される。各々のカメラ10R,10Lにより得られた撮像信号は、演算処理回路20へ供給される。
演算処理回路20は、路面変位検出のための演算処理を行うデバイスである。演算処理回路20は、例えば、FPGA(Field-Programmable Gate Array)などにより構成される。これに限られず、演算処理回路20は、ASIC(Application Specific Integrated Circuit)などの他の集積回路により構成されたものであってもよい。
演算処理回路20は、機能的に、画像処理部21と、路面変位算出部22とを有する。
画像処理部21は、ステレオカメラ10より供給された2つの映像信号をデジタル化して画像とし、前処理として、各々の画像の歪み補正、各々の画像からのノイズ除去などのフィルタ処理などを行う。さらに、画像処理部21は、前処理が施された一方の画像を基準画像、他方の画像を参照画像(比較画像)として各々の画像の対応関係を探索し、2つの画像の視差情報を生成する。
路面変位算出部22は、舵角センサ50の出力等を参照して、ステレオカメラ10の画像空間において車両の左右のタイヤがこれから辿ることが予測される2本のタイヤ予想走行軌跡の座標を算出する。路面変位算出部22は、算出されたタイヤ予想走行軌跡において、ステレオカメラ10からの距離(水平距離L)が異なる複数の検出対象点K(図3参照)の路面の高さを、画像処理部21において生成された視差情報を用いて算出する。
路面変位算出部22は、フレーム毎に、ステレオカメラ10からの距離Lが異なる複数の検出対象点Kの高さhの情報を、車速センサ40の出力等に基づいて算出される当該複数のフレーム間の車両の移動距離を考慮して重ね合わせる。路面変位算出部22は、重ね合わせた結果から、アクティブサスペンションを含むサスペンションシステム60のプレビュー制御のための路面変位情報を生成する。
メモリ30は、演算処理回路20において視差情報、各検出対象点Kまでの水平距離Lに関する情報、各検出対象点の高さhに関する情報などを生成するための演算アルゴリズム(プログラム)を記憶する。メモリ30は、演算処理回路20において生成された上記各種情報を記憶することが可能に構成される。メモリ30は、典型的には、SSD(Solid State Drive)などの不揮発性メモリで構成される。
本実施形態において、メモリ30は、水平距離Lの算出ための演算パラメータとして、(9)式を用いた算出されたBF値を記憶する。すなわち、メモリ30は、水平距離(L0)が既知である検出基準点P1の水平方向の視差情報(d)と、基準画像における検出基準点の位置(x,y)と、カメラ10R,10Lの光軸間距離(B)と、ステレオカメラ10の設置角度θcとに関する情報に基づいて予め設定された基準パラメータ(BF値)を記憶する。
[距離算出方法]
続いて、距離算出装置100の典型的な動作について説明する。図6は、距離算出装置100(演算処理回路20)による路面変位検出の手順を示すフローチャートである。
まず、演算処理回路20は、車両に設置されたステレオカメラ10によって所定のフレームレートで撮像された車両進行方向の路面Rの画像信号を取得する(S101)。
続いて、演算処理回路20は、ステレオカメラ10における第1のカメラ10Lで取得された基準画像と、ステレオカメラ10における第2のカメラ10Rで取得された参照画像とに基づいて、路面R上の検出対象点Kの水平方向の視差dを算出する(S102)。
続いて、演算処理回路20は、メモリ30に格納された基準パラメータ(BF値)を読み出す(S103)。
基準パラメータ(BF値)は、図4を参照して説明したように、水平距離(L0)が既知である検出基準点P1の水平方向の視差(d0)と、基準画像13Lにおける検出基準点P1の位置と、カメラ10L、10Rの光軸間距離(B)と、水平方向に対するステレオカメラ10の設置角度(θc)とに関する情報に基づいて予め設定された距離算出パラメータであり、上記(9)式を用いて算出される。
続いて、演算処理回路20は、基準パラメータ(BF値)、(2)および(7)式を用いて、ステレオカメラ10と検出対象点Kまでの水平距離(L)を算出する(S104)。これにより、検出対象点Kまでの距離情報が生成される。
さらに演算処理回路20は、基準パラメータ(BF値)、(1)および(2)式を用いて、検出対象点Kの高さ(路面変位h)に関する情報が生成される(S105)。
以上の処理は、すべての検出対象点Kについての路面変位情報が生成されるまで繰り返し実行される(S106)。生成された距離情報および路面変位情報は、サスペンションシステム60へ供給され、アクティブサスペンションのプレビュー制御に供される。
以上、本発明の実施形態について説明したが、本発明は上述の実施形態にのみ限定されるものではなく種々変更を加え得ることは勿論である。
例えば以上の実施形態では、車両のタイヤ予想走行軌跡上の検出対象点における距離情報や路面変位情報を生成するように構成されたが、これに限られず、タイヤ予想走行軌跡上にない検出対象点における距離情報や路面変位情報を生成するように構成されてもよい。
さらに以上の実施形態では、路面を走行する車両に設置される距離算出装置を例に挙げて説明したが、これに限られず、室内の床面などの走行面を移動する各種運搬用の機器やロボットなどにも本発明は適用可能である。
10…ステレオカメラ
20…演算処理回路
30…メモリ
100…距離算出装置

Claims (4)

  1. 車両の進行方向の路面の基準画像を取得する第1のカメラと、前記路面の参照画像を取得する第2のカメラとを有するステレオカメラと、
    水平距離が既知である検出基準点の水平方向の視差と、前記基準画像における前記検出基準点の位置と、前記第1及び第2のカメラの光軸間距離と、水平方向に対する前記ステレオカメラの設置角度とに関する情報に基づいて予め設定された基準パラメータを記憶するメモリと、
    前記基準パラメータを用いて、前記ステレオカメラと前記路面上の検出対象点までの水平距離を算出する演算処理回路と
    を具備する距離算出装置。
  2. 請求項1に記載の距離算出装置であって、
    前記ステレオカメラから前記検出基準点までの水平距離をL0[m]、前記検出基準点の水平方向の視差をd0[pixel]、前記基準画像における前記検出基準点の画素座標を(x,y)、前記光軸間距離をB[mm]、前記ステレオカメラの設置角度をθc[deg]、前記基準パラメータをBF値としたとき、前記基準パラメータは、
    BF値={d00+Bsinθc(x+y1/2}/cosθc
    の関係を満たす
    距離算出装置。
  3. 請求項1又は2に記載の距離算出装置であって、
    前記演算処理回路は、前記基準パラメータを用いて、前記検出対象点の高さをさらに算出する
    距離算出装置。
  4. ステレオカメラを用いた距離算出装置の距離算出パラメータの設定方法であって、
    水平距離が既知である検出基準点を前記ステレオカメラで撮像し、
    前記ステレオカメラにおける第1のカメラで取得された基準画像と、前記ステレオカメラにおける第2のカメラで取得された参照画像とに基づいて、前記検出基準点の水平方向の視差を算出し、
    前記ステレオカメラから前記検出基準点までの水平距離と、前記視差と、前記基準画像における前記検出基準点の位置と、前記第1及び第2のカメラの光軸間距離と、水平方向に対する前記ステレオカメラの設置角度とに関する情報に基づいて、前記ステレオカメラにより撮像される検出対象点までの水平距離を算出するための基準パラメータを設定する
    距離算出パラメータの設定方法。
JP2017173771A 2017-09-11 2017-09-11 距離算出装置および距離算出パラメータの設定方法 Active JP6865660B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017173771A JP6865660B2 (ja) 2017-09-11 2017-09-11 距離算出装置および距離算出パラメータの設定方法
PCT/JP2018/031627 WO2019049708A1 (ja) 2017-09-11 2018-08-28 距離算出装置および距離算出パラメータの設定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017173771A JP6865660B2 (ja) 2017-09-11 2017-09-11 距離算出装置および距離算出パラメータの設定方法

Publications (2)

Publication Number Publication Date
JP2019049468A true JP2019049468A (ja) 2019-03-28
JP6865660B2 JP6865660B2 (ja) 2021-04-28

Family

ID=65634874

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017173771A Active JP6865660B2 (ja) 2017-09-11 2017-09-11 距離算出装置および距離算出パラメータの設定方法

Country Status (2)

Country Link
JP (1) JP6865660B2 (ja)
WO (1) WO2019049708A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001101420A (ja) * 1999-09-27 2001-04-13 Toshiba Corp 障害物検出装置及びその方法
JP2003303337A (ja) * 2002-04-12 2003-10-24 Fuji Heavy Ind Ltd 画像補正装置および画像補正方法
JP2014006179A (ja) * 2012-06-26 2014-01-16 Ricoh Co Ltd ステレオカメラキャリブレーション装置及び方法、並びに距離測定装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3223863B2 (ja) * 1997-01-09 2001-10-29 富士電機株式会社 測距装置
JP4032052B2 (ja) * 2004-11-30 2008-01-16 本田技研工業株式会社 位置検出装置及びその補正方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001101420A (ja) * 1999-09-27 2001-04-13 Toshiba Corp 障害物検出装置及びその方法
JP2003303337A (ja) * 2002-04-12 2003-10-24 Fuji Heavy Ind Ltd 画像補正装置および画像補正方法
JP2014006179A (ja) * 2012-06-26 2014-01-16 Ricoh Co Ltd ステレオカメラキャリブレーション装置及び方法、並びに距離測定装置

Also Published As

Publication number Publication date
WO2019049708A1 (ja) 2019-03-14
JP6865660B2 (ja) 2021-04-28

Similar Documents

Publication Publication Date Title
JP6577661B2 (ja) 路面変位検出装置およびサスペンション制御方法
JP6209648B1 (ja) ステレオカメラの設置パラメータ校正方法
US20150279017A1 (en) Stereo image processing device for vehicle
KR101820259B1 (ko) 시차값 도출 장치, 이동 장치, 로봇, 시차값 생성 방법 및 컴퓨터 프로그램
JP6602982B2 (ja) 車載カメラ、車載カメラの調整方法、車載カメラシステム
JP5434608B2 (ja) 測位装置及び測位方法
US10984258B2 (en) Vehicle traveling environment detecting apparatus and vehicle traveling controlling system
JP6895371B2 (ja) 情報処理装置及びサスペンション制御方法
JP6396729B2 (ja) 立体物検出装置
JP6455164B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
US20190139177A1 (en) Device for detecting road surface state
JP2015179499A (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JP6865660B2 (ja) 距離算出装置および距離算出パラメータの設定方法
JP2018136739A (ja) キャリブレーション装置
JP2021033605A (ja) 画像処理装置、および、画像処理方法
JP6241083B2 (ja) 撮像装置及び視差検出方法
WO2019203001A1 (ja) ステレオカメラ装置
JP2020047059A (ja) 車両の走行環境検出装置及び走行制御システム
US11599971B2 (en) Image processing device
JP6174884B2 (ja) 車外環境認識装置および車外環境認識方法
JP6699902B2 (ja) 画像処理装置及び画像処理方法
EP3051494A1 (en) Method for determining an image depth value depending on an image region, camera system and motor vehicle
JP7457574B2 (ja) 画像処理装置
WO2017169752A1 (ja) 車両の姿勢検出装置、画像処理システム、車両、および車両の姿勢検出方法
JP2000131064A (ja) 高さ計測方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200320

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200901

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20201021

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210301

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210301

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210308

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210309

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210330

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210406

R150 Certificate of patent or registration of utility model

Ref document number: 6865660

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150