JP2017102832A - 車両ピッチ角推定装置 - Google Patents
車両ピッチ角推定装置 Download PDFInfo
- Publication number
- JP2017102832A JP2017102832A JP2015237560A JP2015237560A JP2017102832A JP 2017102832 A JP2017102832 A JP 2017102832A JP 2015237560 A JP2015237560 A JP 2015237560A JP 2015237560 A JP2015237560 A JP 2015237560A JP 2017102832 A JP2017102832 A JP 2017102832A
- Authority
- JP
- Japan
- Prior art keywords
- pitch angle
- vehicle
- flow
- estimating
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
【課題】車載カメラを用いて取得した画像において特徴点を選択する際に、外れ値や近距離物体等の影響を効果的に排除することにより、選択された特徴点の動きから自車両のピッチ角を高精度に推定可能とする技術を提供する。【解決手段】画像入力手段が、前記車両の周囲の画像を入力する。フロー算出手段が、所定時間をおいて入力された二つの画像間における特徴点の動きであるフローを前記特徴点ごとに複数算出する。車両情報入力手段が、車両の状態を示す情報である車両情報を入力する。フロー補正手段が、算出されたフローを、車両情報を用いて補正する。フロー選択手段が、算出された後に補正されたフローの中から、車両のピッチ角の推定に適したフローを選択する。変化量算出手段が、選択されたフローを用いて車両のピッチ角の変化量を算出する。ピッチ角推定手段が、算出されたピッチ角の変化量を用いて車両のピッチ角を推定する。【選択図】図3
Description
本発明は、自車両のピッチ角を推定する技術に関する。
車載カメラを用いて取得した画像においてオプティカルフローなどの特徴点を認識し、認識した特徴点の動きに基づいて自車両のピッチ角を推定する技術が知られている。
このような画像中の特徴点の動きに基づきピッチ角を推定する技術としては、例えば、
特許文献1には、パノラマ動画像のうち隣り合うコマ間において特徴点を認識し、特徴点のピッチ変位角度を検出し、ピッチ変位角度の変動を平滑化するようにピッチ変位量を補正する点が記載されている。
このような画像中の特徴点の動きに基づきピッチ角を推定する技術としては、例えば、
特許文献1には、パノラマ動画像のうち隣り合うコマ間において特徴点を認識し、特徴点のピッチ変位角度を検出し、ピッチ変位角度の変動を平滑化するようにピッチ変位量を補正する点が記載されている。
しかし、特許文献1には、パノラマ動画像のうち隣り合うコマ間において特徴点を認識する点については記載があるものの、画像において特徴点を選択する方法については記載がない。このため、上記特許文献1に記載の技術では、画像中の特徴点を選択する際に、外れ値や近距離物体等の影響を排除できず、自車両のピッチ角を高精度に推定することができない。これは、外れ値や近距離物体等に対応する特徴点の動きが他の特徴点の動きと比較して異質なものとなる傾向があり、このような外れ値や近距離物体等に対応する特徴点の動きに基づき算出されたフローを用いた場合、自車両のピッチ角を推定する精度を低下させるおそれがあるからである。
本発明は、このような課題に鑑みなされたものであり、その目的とするところは、車載カメラを用いて取得した画像において特徴点を選択する際に、外れ値や近距離物体等の影響を効果的に排除することにより、選択された特徴点の動きから自車両のピッチ角を高精度に推定可能とする技術を提供することにある。
本発明の車両ピッチ角推定装置(1)は、車両のピッチ角を推定する車両ピッチ角推定装置であり、画像入力手段(21)と、フロー算出手段(22)と、車両情報入力手段(23)と、フロー補正手段(24)と、フロー選択手段(25)と、変化量算出手段(26)と、ピッチ角推定手段(27)と、を備える。画像入力手段は、前記車両の周囲の画像を入力する。フロー算出手段は、前記画像入力手段によって所定時間をおいて入力された二つの画像間における特徴点の動きであるフローを前記特徴点ごとに複数算出する。車両情報入力手段は、前記車両の状態を示す情報である車両情報を入力する。フロー補正手段は、前記フロー算出手段によって算出されたフローを、前記車両情報入力手段によって入力された車両情報を用いて補正する。フロー選択手段は、前記フロー算出手段によって算出された後に前記フロー補正手段によって補正されたフローの中から、前記車両のピッチ角の推定に適したフローを選択する。変化量算出手段は、前記フロー選択手段によって選択されたフローを用いて前記車両のピッチ角の変化量を算出する。ピッチ角推定手段は、前記変化量算出手段によって算出されたピッチ角の変化量を用いて前記車両のピッチ角を推定する。
このような本発明の車両ピッチ角推定装置によれば、算出された後に補正された複数のフローの中から、車両のピッチ角の推定に適したフローを選択するので、外れ値や近距離物体等の特徴点に対応するフローが、車両のピッチ角の推定に適さないことから除外される。したがって、選択された特徴点の動きから自車両のピッチ角を高精度に推定することができる。
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
以下に本発明の実施形態を図面とともに説明する。
[1.車両ピッチ角推定装置1の構成]
車両ピッチ角推定装置1は、図1に示すように、車載カメラ10と、ヨーレートセンサ11と、画像処理装置20と、を備えている。
[1.車両ピッチ角推定装置1の構成]
車両ピッチ角推定装置1は、図1に示すように、車載カメラ10と、ヨーレートセンサ11と、画像処理装置20と、を備えている。
[1.1.車載カメラ10の構成]
車載カメラ10はCCDカメラで構成され、図2に示すように、車両の中央前部に設置されてその前方を連続して撮影する。
車載カメラ10はCCDカメラで構成され、図2に示すように、車両の中央前部に設置されてその前方を連続して撮影する。
[1.2.ヨーレートセンサ11の構成]
ヨーレートセンサ11は、自車両の重心点を通る鉛直軸周りの回転角速度であるヨーレートを検出する。
ヨーレートセンサ11は、自車両の重心点を通る鉛直軸周りの回転角速度であるヨーレートを検出する。
[1.3.画像処理装置20の構成]
画像処理装置20は、CPU、ROM、RAM、EEPROM、DSP(デジタルシグナルプロセッサ)等を備えた周知のマイクロコンピュータ上で実行される処理として実現され、図3に示すように、各DSPが、画像入力部21、フロー算出部22、車両情報入力部23、フロー補正部24、フロー選択部25、ピッチ角変化量算出部26、ピッチ角推定部27、出力判定部28、として機能する。以下、順に説明する。
画像処理装置20は、CPU、ROM、RAM、EEPROM、DSP(デジタルシグナルプロセッサ)等を備えた周知のマイクロコンピュータ上で実行される処理として実現され、図3に示すように、各DSPが、画像入力部21、フロー算出部22、車両情報入力部23、フロー補正部24、フロー選択部25、ピッチ角変化量算出部26、ピッチ角推定部27、出力判定部28、として機能する。以下、順に説明する。
[1.3.1.画像入力部21の構成]
画像入力部21は、車載カメラ10により撮影された車両の周囲の画像を表す画像データを画像処理装置20に入力する機能を有する。
画像入力部21は、車載カメラ10により撮影された車両の周囲の画像を表す画像データを画像処理装置20に入力する機能を有する。
なお、画像入力部21は画像入力手段に該当する。
[1.3.2.フロー算出部22の構成]
フロー算出部22は、画像入力部21によって所定時間をおいて入力された二つの画像間における特徴点の動きであるフローを算出する機能を有する。具体的には、フロー算出部22は、画像入力部21によって所定時間(例えば100ms)をおいて入力された二つの画像(前フレームと現フレーム、図6参照)において、特徴点を抽出し(図6参照)
、抽出した特徴点を追跡することで得られるオプティカルフロー(特徴点の画像上での見かけの動き、図5参照)を用いてフローを算出する。このとき、各フローの移動量も算出する(図7参照)。フロー算出部22は、特徴点ごとにフローを算出する。
[1.3.2.フロー算出部22の構成]
フロー算出部22は、画像入力部21によって所定時間をおいて入力された二つの画像間における特徴点の動きであるフローを算出する機能を有する。具体的には、フロー算出部22は、画像入力部21によって所定時間(例えば100ms)をおいて入力された二つの画像(前フレームと現フレーム、図6参照)において、特徴点を抽出し(図6参照)
、抽出した特徴点を追跡することで得られるオプティカルフロー(特徴点の画像上での見かけの動き、図5参照)を用いてフローを算出する。このとき、各フローの移動量も算出する(図7参照)。フロー算出部22は、特徴点ごとにフローを算出する。
なお、フロー算出部22はフロー算出手段に該当する。
[1.3.3.車両情報入力部23の構成]
車両情報入力部23は、ヨーレートセンサ11によって検出された自車両のヨーレートを入力する機能を有する。なお、車両情報入力部23は車両情報入力手段に該当する。
[1.3.3.車両情報入力部23の構成]
車両情報入力部23は、ヨーレートセンサ11によって検出された自車両のヨーレートを入力する機能を有する。なお、車両情報入力部23は車両情報入力手段に該当する。
[1.3.4.フロー補正部24の構成]
フロー補正部24は、フロー算出部22によって算出されたフローを補正する機能を有する。具体的には、フロー補正部24は、フロー算出部22によって算出されたフローの画像上の横方向の移動量を、車両情報入力部23によって入力された車両情報としてのヨーレートを用いて補正する。これは、自車両の重心点を通る鉛直軸周りの回転角速度であるヨーレートの影響を排除するためである。なお、ヨーレートを用いてのフロー補正については公知技術に従うのでここではその詳細な説明は省略する。
フロー補正部24は、フロー算出部22によって算出されたフローを補正する機能を有する。具体的には、フロー補正部24は、フロー算出部22によって算出されたフローの画像上の横方向の移動量を、車両情報入力部23によって入力された車両情報としてのヨーレートを用いて補正する。これは、自車両の重心点を通る鉛直軸周りの回転角速度であるヨーレートの影響を排除するためである。なお、ヨーレートを用いてのフロー補正については公知技術に従うのでここではその詳細な説明は省略する。
なお、フロー補正部24はフロー補正手段に該当する。
[1.3.5.フロー選択部25の構成]
フロー選択部25は、車両のピッチ角の推定に用いるフローを選択する機能を有する。具体的には、フロー選択部25は、フロー算出部22によって算出された後にフロー補正部24によって補正されたフローの中から、車両のピッチ角の推定に用いるフローを選択する。
[1.3.5.フロー選択部25の構成]
フロー選択部25は、車両のピッチ角の推定に用いるフローを選択する機能を有する。具体的には、フロー選択部25は、フロー算出部22によって算出された後にフロー補正部24によって補正されたフローの中から、車両のピッチ角の推定に用いるフローを選択する。
すなわち、フロー選択部25は、画像上の縦方向の移動量が最頻値となるフローを、車両のピッチ角の推定に用いるフローとして選択する。これは、画像上の縦方向の移動量が最頻値から大きく離れた値となる物体に対応する特徴点の動きが他の特徴点の動きと比較して異質なものとなる傾向があり、このような外れ値となる物体に対応する特徴点の動きに基づき算出されたフローを用いた場合、自車両のピッチ角を推定する精度を低下させるおそれがあるため、外れ値となる物体の特徴点から算出されたフローを排除するためである。このとき、フローの画像上の縦方向の移動量に関して、この移動量の値域を表す空間を複数の分割し、分割領域毎に、移動量の出現頻度を表現したヒストグラムを生成し、画像上の縦方向の移動量が最頻値となるフロー選択する。
また、画像上の縦方向の移動量が最頻値および最頻値に近い値となるフローを車両のピッチ角の推定に用いるフローとして選択するようにしてもよい。すなわち、算出されたフローの数量が第一所定値以上である場合には、画像上の縦方向の移動量が最頻値となるフローを選択し、算出されたフローの数量が第一所定値未満である場合には、画像上の縦方向の移動量が最頻値および最頻値に近い値となるフローを選択するといった具合である。第一所定値については、前記規格を満たす充分な数量のフローを確保する観点から予め実験等により設定するとよい。この場合、フロー選択部25は、画像上の縦方向の移動量が最頻値を中心に所定範囲内の値となるフローを、車両のピッチ角の推定に用いるフローとして選択する。所定範囲については、上述のような外れ値となる物体に対応する特徴点の動きに基づき算出されたフローを排除する観点から予め実験等により設定される。この場合も同様に、フローの画像上の縦方向の移動量に関して、上述のようなヒストグラムを生成し、画像上の縦方向の移動量が最頻値を中心に所定範囲内の値となるフロー選択する。
なお、近距離に存在する物体に対応する特徴点から算出されたフローについては、車両のピッチ角の推定に用いるフローの選択候補から除外しておくとよい。すなわち、フロー選択部25は、画像上の横方向の移動量が第一閾値以上であるフローについては、車両の
ピッチ角の推定に用いるフローとして適さないと判断して、車両のピッチ角の推定に用いるフローの選択候補から除外する。これは、近距離に存在する物体に対応する特徴点の動きが他の特徴点の動きと比較して異質なものとなる傾向があり、このような近距離物体に対応する特徴点の動きに基づき算出されたフローを用いた場合、自車両のピッチ角を推定する精度を低下させるおそれがあるため、近距離に存在する物体の特徴点から算出されたフローを排除するためである。なお、近距離に存在する物体の特徴点から算出されたフローは、画像上の横方向の移動量が大きくなる傾向がある。第一閾値については、近距離物体に対応する特徴点の動きに基づき算出されたフローを排除する観点から予め実験等により設定される。
ピッチ角の推定に用いるフローとして適さないと判断して、車両のピッチ角の推定に用いるフローの選択候補から除外する。これは、近距離に存在する物体に対応する特徴点の動きが他の特徴点の動きと比較して異質なものとなる傾向があり、このような近距離物体に対応する特徴点の動きに基づき算出されたフローを用いた場合、自車両のピッチ角を推定する精度を低下させるおそれがあるため、近距離に存在する物体の特徴点から算出されたフローを排除するためである。なお、近距離に存在する物体の特徴点から算出されたフローは、画像上の横方向の移動量が大きくなる傾向がある。第一閾値については、近距離物体に対応する特徴点の動きに基づき算出されたフローを排除する観点から予め実験等により設定される。
また、車両から遠方に存在する物体に対応する特徴点から算出されたフローについては、車両のピッチ角の推定に用いるフローの選択候補としておくとよい。すなわち、フロー選択部25は、車両からの距離が第二閾値以上であるフローを、車両のピッチ角の推定に用いるフローとして適すると判断して選択候補としておく。これは、車両からの距離が大きい物体に対応する特徴点の動きが他の特徴点の動きと比較して異質なものとならない傾向があり、このような物体に対応する特徴点の動きに基づき算出されたフローを用いても、自車両のピッチ角を推定する精度を低下させるおそれが少ないからである。なお、車両から物体までの距離については、ミリ波レーダやレーザレーダなどの各種センサによる検出結果や車載カメラによる画像に基づき算出される。第二閾値については、車両からの距離が大きい物体に対応する特徴点の動きに基づき算出されたフローを排除しないようにする観点から予め実験等により設定される。
また、上下方向に移動する可能性がある物体に対応する特徴点から算出されたフローについては、車両のピッチ角の推定に用いるフローの選択候補から除外しておくとよい。すなわち、フロー選択部25は、上下動を行う可能性がある物体に対応するフローについては、車両のピッチ角の推定に用いるフローとして適さないと判断して、車両のピッチ角の推定に用いるフローの選択候補から除外しておく。これは、上下動を行う可能性がある物体(以下上下動物体)に対応する特徴点の動きが他の特徴点の動きと比較して異質なものとなる傾向があり、このような上下動物体に対応する特徴点の動きに基づき算出されたフローを用いた場合、自車両のピッチ角を推定する精度を低下させるおそれがあるため、上下動物体の特徴点から算出されたフローを排除するためである。なお、上下動物体の認識については、車載カメラやミリ波レーダなどの車載周辺監視センサによる検知結果に基づき行われ、上下動物体の具体例としては、他の車両や人、標識、路面の模様などが挙げられる。
また、フローのみを用いて上下動物体を除去するには、まず、フローを縦方向の移動量からグルーピングしてフローのグループを形成する。次に、前記グループに含まれるフローの画像上での横方向の分布幅が第二所定値以上である場合には、そのグループに含まれるフローを車両のピッチ角の推定に用いるフローの選択候補として選択する。一方、前記グループに含まれるフローの画像上での横方向の分布幅が第二所定値未満である場合には、そのグループが上下動物体を示す可能性が高いと判断して、そのグループに含まれるフローを車両のピッチ角の推定に用いるフローの選択候補から除外する。なお、第二所定値については、フローのグループが上下動している物体を示すか否かを判定する観点から予め実験等により設定される。
なお、フロー選択部25はフロー選択手段に該当する。
[1.3.6.ピッチ角変化量算出部26の構成]
ピッチ角変化量算出部26は、車両のピッチ角の変化量を算出する機能を有する。具体的には、画像上の縦方向の移動量が最頻値となるフローをフロー選択部25が選択した場合には、ピッチ角変化量算出部26は、フロー選択部25によって選択されたフローの画
像上の縦方向の移動量(最頻値)を車両のピッチ角の変化量とする。また、画像上の縦方向の移動量が最頻値を中心に所定範囲内の値となるフローをフロー選択部25が選択した場合には、ピッチ角変化量算出部26は、フロー選択部25によって選択されたフローの画像上の縦方向の移動量の代表値(例えば平均値)を算出して車両のピッチ角の変化量とする。なおこの場合、フロー選択部25によって選択されたフローの画像上の縦方向の移動量に最頻値を最も重み付けするよう設定された重み係数を掛け合わせてもよい。重み係数については、最頻値を中心とした所定範囲において、最頻値をピーク値とした正規分布に従って設定される。なお、重み係数については、上述のようなヒストグラムにおける分割領域毎の出現頻度の値に応じて設定してもよいし、上述のようなヒストグラムにおける分割領域毎の出現頻度の値と最頻値となった分割領域の出現頻度の値との比または差分といった関係に応じて設定してもよい。
[1.3.6.ピッチ角変化量算出部26の構成]
ピッチ角変化量算出部26は、車両のピッチ角の変化量を算出する機能を有する。具体的には、画像上の縦方向の移動量が最頻値となるフローをフロー選択部25が選択した場合には、ピッチ角変化量算出部26は、フロー選択部25によって選択されたフローの画
像上の縦方向の移動量(最頻値)を車両のピッチ角の変化量とする。また、画像上の縦方向の移動量が最頻値を中心に所定範囲内の値となるフローをフロー選択部25が選択した場合には、ピッチ角変化量算出部26は、フロー選択部25によって選択されたフローの画像上の縦方向の移動量の代表値(例えば平均値)を算出して車両のピッチ角の変化量とする。なおこの場合、フロー選択部25によって選択されたフローの画像上の縦方向の移動量に最頻値を最も重み付けするよう設定された重み係数を掛け合わせてもよい。重み係数については、最頻値を中心とした所定範囲において、最頻値をピーク値とした正規分布に従って設定される。なお、重み係数については、上述のようなヒストグラムにおける分割領域毎の出現頻度の値に応じて設定してもよいし、上述のようなヒストグラムにおける分割領域毎の出現頻度の値と最頻値となった分割領域の出現頻度の値との比または差分といった関係に応じて設定してもよい。
なお、ピッチ角変化量算出部26は変化量算出手段に該当する。
[1.3.7.ピッチ角推定部27の構成]
ピッチ角推定部27は、車両のピッチ角を推定する機能を有する。具体的には、ピッチ角推定部27は、フローの画像上の上下方向の移動量を、図4に例示するような忘却係数αを考慮した積分器を用いて積分することで、車両のピッチ角を算出する。算出結果は、推定ピッチ角として出力される。フローの画像上の上下方向の移動量には、ピッチ角変化量算出部26によって算出されたピッチ角の変化量を用いる。これは、車両のピッチ角が、算出開始時から現在までのピッチ角変化量を積算した値であることによる。このことにより、算出される車両のピッチ角の値に対するノイズの影響を抑制することができる。
[1.3.7.ピッチ角推定部27の構成]
ピッチ角推定部27は、車両のピッチ角を推定する機能を有する。具体的には、ピッチ角推定部27は、フローの画像上の上下方向の移動量を、図4に例示するような忘却係数αを考慮した積分器を用いて積分することで、車両のピッチ角を算出する。算出結果は、推定ピッチ角として出力される。フローの画像上の上下方向の移動量には、ピッチ角変化量算出部26によって算出されたピッチ角の変化量を用いる。これは、車両のピッチ角が、算出開始時から現在までのピッチ角変化量を積算した値であることによる。このことにより、算出される車両のピッチ角の値に対するノイズの影響を抑制することができる。
なお、ピッチ角推定部27はピッチ角推定手段に該当する。
[1.3.8.出力判定部28の構成]
出力判定部28は、ピッチ角推定部27によって推定された車両のピッチ角を出力するか否かを判定する機能を有する。具体的には、出力判定部28は、フロー算出部22によって算出された後にフロー補正部24によって補正されたフローの数量が第三閾値未満であるかフロー選択部25によって選択されたフローの数量が第四閾値未満である場合に、ピッチ角推定部27によって推定された車両のピッチ角を出力しないこととする。これは、フローの数量が少ないと、これらフローに基づき算出されるピッチ角の変化量の精度が低下する場合やピッチ角の変化量を算出できない場合があり、その結果として自車両のピッチ角を推定する精度を低下させるおそれがあるからである。この場合には、推定ピッチ角の値をリセットするのが好ましい。また、このような状態が第五閾値以上の確率で頻出する場合には、ピッチ角の推定を一旦停止するのが好ましい。第三閾値、第四閾値および第五閾値については、車両のピッチ角を推定するための十分なフローの数量を確保する観点から予め実験等により設定される。一方、出力判定部28は、フロー算出部22によって算出された後にフロー補正部24によって補正されたフローの数量が第三閾値以上であり且つフロー選択部25によって選択されたフローの数量が第四閾値以上である場合に、ピッチ角推定部27によって推定された車両のピッチ角を出力させる。
[1.3.8.出力判定部28の構成]
出力判定部28は、ピッチ角推定部27によって推定された車両のピッチ角を出力するか否かを判定する機能を有する。具体的には、出力判定部28は、フロー算出部22によって算出された後にフロー補正部24によって補正されたフローの数量が第三閾値未満であるかフロー選択部25によって選択されたフローの数量が第四閾値未満である場合に、ピッチ角推定部27によって推定された車両のピッチ角を出力しないこととする。これは、フローの数量が少ないと、これらフローに基づき算出されるピッチ角の変化量の精度が低下する場合やピッチ角の変化量を算出できない場合があり、その結果として自車両のピッチ角を推定する精度を低下させるおそれがあるからである。この場合には、推定ピッチ角の値をリセットするのが好ましい。また、このような状態が第五閾値以上の確率で頻出する場合には、ピッチ角の推定を一旦停止するのが好ましい。第三閾値、第四閾値および第五閾値については、車両のピッチ角を推定するための十分なフローの数量を確保する観点から予め実験等により設定される。一方、出力判定部28は、フロー算出部22によって算出された後にフロー補正部24によって補正されたフローの数量が第三閾値以上であり且つフロー選択部25によって選択されたフローの数量が第四閾値以上である場合に、ピッチ角推定部27によって推定された車両のピッチ角を出力させる。
なお、出力判定部28は出力判定手段に該当する。
[2.効果]
このように本実施形態の車両ピッチ角推定装置1によれば、算出されたフローの中から車両のピッチ角の推定に用いるための規格を満たすフローを選択するので、外れ値や近距離物体等の特徴点に対応するフローの多くが車両のピッチ角の推定に用いるフローから除外される。
[2.効果]
このように本実施形態の車両ピッチ角推定装置1によれば、算出されたフローの中から車両のピッチ角の推定に用いるための規格を満たすフローを選択するので、外れ値や近距離物体等の特徴点に対応するフローの多くが車両のピッチ角の推定に用いるフローから除外される。
したがって、車載カメラ10を用いて取得した画像において特徴点を選択する際に、外れ値や近距離物体等の影響を効果的に排除することにより、選択された特徴点の動きから自車両のピッチ角を高精度に推定することができる。
[3.他の実施形態]
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されることなく、種々の形態を採り得る。
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されることなく、種々の形態を採り得る。
(1)上記実施形態では、車両情報入力部23が、ヨーレートセンサ11によって検出された自車両のヨーレートを入力し、フロー補正部24が、フロー算出部22によって算出されたフローの画像上の横方向の移動量を、車両情報入力部23によって入力された車両情報としてのヨーレートを用いて補正するが、これに限定されるものではない。例えば、車両情報入力部23が、操舵角センサによって検出されるステアリング操作の角度を入力し、フロー補正部24が、フロー算出部22によって算出されたフローの画像上の横方向の移動量を、車両情報入力部23によって入力された車両情報としてのステアリング操作の角度を用いて補正するようにしてもよい。また、車両情報入力部23が、車載カメラ10による画像に基づく白線認識から算出された走行路の曲率を入力し、フロー補正部24が、フロー算出部22によって算出されたフローの画像上の横方向の移動量を、車両情報入力部23によって入力された車両情報としての走行路の曲率を用いて補正するようにしてもよい。また、車両情報入力部23が、車載カメラ10による画像に基づき認識された白線の接線方向と車両の直進方向とがなす角度を表すヨー角を入力し、フロー補正部24が、フロー算出部22によって算出されたフローの画像上の横方向の移動量を、車両情報入力部23によって入力された車両情報としてのヨー角を用いて補正するようにしてもよい。
(2)上記実施形態における1つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を1つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
(3)上述した車両ピッチ角推定装置の他、当該車両ピッチ角推定装置を構成要素とするシステム、当該車両ピッチ角推定装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体、車両ピッチ角推定方法など、種々の形態で本発明を実現することもできる。
1…車両ピッチ角推定装置、10…車載カメラ、11…ヨーレートセンサ、20…画像処理装置、21…画像入力部、22…フロー算出部、23…車両情報入力部、24…フロー補正部、25…フロー選択部、26…ピッチ角変化量算出部、27…ピッチ角推定部、28…出力判定部。
Claims (16)
- 車両のピッチ角を推定する車両ピッチ角推定装置(1)であって、
前記車両の周囲の画像を入力する画像入力手段(21)と、
前記画像入力手段によって所定時間をおいて入力された二つの画像間における特徴点の動きであるフローを前記特徴点ごとに複数算出するフロー算出手段(22)と、
前記車両の状態を示す情報である車両情報を入力する車両情報入力手段(23)と、
前記フロー算出手段によって算出されたフローを、前記車両情報入力手段によって入力された車両情報を用いて補正するフロー補正手段(24)と、
前記フロー算出手段によって算出された後に前記フロー補正手段によって補正されたフローの中から、前記車両のピッチ角の推定に適したフローを選択するフロー選択手段(25)と、
前記フロー選択手段によって選択されたフローを用いて前記車両のピッチ角の変化量を算出する変化量算出手段(26)と、
前記変化量算出手段によって算出されたピッチ角の変化量を用いて前記車両のピッチ角を推定するピッチ角推定手段(27)と、
を備えることを特徴とする車両ピッチ角推定装置。 - 請求項1に記載の車両ピッチ角推定装置において、
前記フロー算出手段は、前記画像入力手段によって所定時間をおいて入力された二つの画像において、前記特徴点を追跡することで得られるオプティカルフローを用いて前記フローを算出すること
を特徴とする車両ピッチ角推定装置。 - 請求項1または請求項2に記載の車両ピッチ角推定装置において、
前記フロー補正手段は、前記フロー算出手段によって算出されたフローの画像上の横方向の移動量を、前記車両情報入力手段によって入力された車両情報としてのヨーレートを用いて補正すること
を特徴とする車両ピッチ角推定装置。 - 請求項1〜請求項3の何れか1項に記載の車両ピッチ角推定装置において、
前記フロー選択手段は、画像上の横方向の移動量が大きいフローについては、前記車両のピッチ角の推定に用いるフローの選択候補から除外すること
を特徴とする車両ピッチ角推定装置。 - 請求項1〜請求項4の何れか1項に記載の車両ピッチ角推定装置において、
前記フロー選択手段は、前記フロー補正手段によって補正されたフローのうち、画像上の縦方向の移動量が最頻値となるフローを、前記車両のピッチ角の推定に用いるフローとして選択し、
前記変化量算出手段は、前記フロー選択手段によって選択されたフローの画像上の縦方向の移動量を前記車両のピッチ角の変化量とすること
を特徴とする車両ピッチ角推定装置。 - 請求項1〜請求項4の何れか1項に記載の車両ピッチ角推定装置において、
前記フロー選択手段は、前記フロー補正手段によって補正されたフローのうち、画像上の縦方向の移動量が最頻値を中心に所定範囲内の値となるフローを、前記車両のピッチ角の推定に用いるフローとして選択し、
前記変化量算出手段は、前記フロー選択手段によって選択されたフローの画像上の縦方向の移動量の代表値を算出して前記車両のピッチ角の変化量とすること
を特徴とする車両ピッチ角推定装置。 - 請求項6に記載の車両ピッチ角推定装置において、
前記変化量算出手段は、前記フロー選択手段によって選択されたフローの画像上の縦方向の移動量の平均値を前記代表値として算出して前記車両のピッチ角の変化量とすること
を特徴とする車両ピッチ角推定装置。 - 請求項6または請求項7に記載の車両ピッチ角推定装置において、
前記変化量算出手段は、前記フロー選択手段によって選択されたフローの画像上の縦方向の移動量に前記最頻値を最も重み付けするよう設定された重み係数を掛け合わせること
を特徴とする車両ピッチ角推定装置。 - 請求項8に記載の車両ピッチ角推定装置において、
前記重み係数については、前記最頻値を中心とした所定範囲において、前記最頻値をピーク値とした正規分布に従って設定されること
を特徴とする車両ピッチ角推定装置。 - 請求項8に記載の車両ピッチ角推定装置において、
前記重み係数については、前記フローの画像上の縦方向の移動量に関して、前記移動量の値域を表す空間を複数の分割し、分割領域毎に前記移動量の出現頻度を表現したヒストグラムにおける前記分割領域毎の出現頻度の値もしくは前記分割領域毎の出現頻度の値と最頻値となった分割領域の出現頻度の値との関係に応じて設定されること
を特徴とする車両ピッチ角推定装置。 - 請求項1〜請求項10の何れか1項に記載の車両ピッチ角推定装置において、
前記フロー選択手段は、前記車両から遠方に存在する物体に対応する特徴点から算出されたフローを、前記車両のピッチ角の推定に用いるフローの選択候補とすること
を特徴とする車両ピッチ角推定装置。 - 請求項1〜請求項11の何れか1項に記載の車両ピッチ角推定装置において、
前記フロー選択手段は、上下方向に移動する可能性がある物体に対応する特徴点から算出されたフローについては、前記車両のピッチ角の推定に用いるフローの選択候補から除外すること
を特徴とする車両ピッチ角推定装置。 - 請求項1〜請求項12の何れか1項に記載の車両ピッチ角推定装置において、
前記ピッチ角推定手段は、前記変化量算出手段によって算出されたピッチ角の変化量を、忘却係数を考慮した積分器を用いて積分することで、前記車両のピッチ角を算出すること
を特徴とする車両ピッチ角推定装置。 - 請求項1〜請求項13の何れか1項に記載の車両ピッチ角推定装置において、
前記フロー算出手段によって算出されたフローの数量または前記フロー選択手段によって選択されたフローの数量が前記車両のピッチ角の推定に用いるためには不十分な数量である場合には、前記ピッチ角推定手段による前記車両のピッチ角の推定結果を出力させず、一方、前記フロー算出手段によって算出された算出されたフローの数量および前記フロー選択手段によって選択された選択されたフローの数量が前記車両のピッチ角の推定に用いるためには十分な数量である場合には、前記ピッチ角推定手段による前記車両のピッチ角の推定結果を出力させる出力判定手段(28)を備えること
を特徴とする車両ピッチ角推定装置。 - 請求項14に記載の車両ピッチ角推定装置において、
前記フロー算出手段によって算出されたフローの数量または前記フロー選択手段によって選択されたフローの数量が前記車両のピッチ角の推定に用いるためには不十分な数量である場合には、前記ピッチ角推定手段による前記車両のピッチ角の推定結果の値をリセットすること
を特徴とする車両ピッチ角推定装置。 - 請求項14または請求項15に記載の車両ピッチ角推定装置において、
前記フロー算出手段によって算出されたフローの数量または前記フロー選択手段によって選択されたフローの数量が前記車両のピッチ角の推定に用いるためには不十分な数量となる状況が頻出する場合には、前記ピッチ角推定手段による前記車両のピッチ角の推定を停止すること
を特徴とする車両ピッチ角推定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015237560A JP2017102832A (ja) | 2015-12-04 | 2015-12-04 | 車両ピッチ角推定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015237560A JP2017102832A (ja) | 2015-12-04 | 2015-12-04 | 車両ピッチ角推定装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017102832A true JP2017102832A (ja) | 2017-06-08 |
Family
ID=59017553
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015237560A Pending JP2017102832A (ja) | 2015-12-04 | 2015-12-04 | 車両ピッチ角推定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017102832A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019021693A1 (ja) * | 2017-07-24 | 2019-01-31 | 株式会社小糸製作所 | ランプ装置、センサシステム、およびセンサ装置 |
WO2019053892A1 (ja) * | 2017-09-15 | 2019-03-21 | パイオニア株式会社 | 測定装置、測定方法、及び、プログラム |
JP2021086257A (ja) * | 2019-11-26 | 2021-06-03 | 株式会社デンソーテン | 画像処理装置、および、画像処理方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06282655A (ja) * | 1993-03-30 | 1994-10-07 | Toyota Motor Corp | 移動体認識装置 |
JP2005301892A (ja) * | 2004-04-15 | 2005-10-27 | Mitsubishi Motors Corp | 複数のカメラによるレーン認識装置 |
JP2006072480A (ja) * | 2004-08-31 | 2006-03-16 | Fuji Heavy Ind Ltd | 画像処理装置および画像処理方法 |
JP2006338272A (ja) * | 2005-06-01 | 2006-12-14 | Nissan Motor Co Ltd | 車両挙動検出装置、および車両挙動検出方法 |
JP2012026992A (ja) * | 2010-07-28 | 2012-02-09 | Honda Motor Co Ltd | 車両ピッチ角の推定装置 |
JP2013003110A (ja) * | 2011-06-21 | 2013-01-07 | Denso Corp | 車両状態検出装置 |
-
2015
- 2015-12-04 JP JP2015237560A patent/JP2017102832A/ja active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06282655A (ja) * | 1993-03-30 | 1994-10-07 | Toyota Motor Corp | 移動体認識装置 |
JP2005301892A (ja) * | 2004-04-15 | 2005-10-27 | Mitsubishi Motors Corp | 複数のカメラによるレーン認識装置 |
JP2006072480A (ja) * | 2004-08-31 | 2006-03-16 | Fuji Heavy Ind Ltd | 画像処理装置および画像処理方法 |
JP2006338272A (ja) * | 2005-06-01 | 2006-12-14 | Nissan Motor Co Ltd | 車両挙動検出装置、および車両挙動検出方法 |
JP2012026992A (ja) * | 2010-07-28 | 2012-02-09 | Honda Motor Co Ltd | 車両ピッチ角の推定装置 |
JP2013003110A (ja) * | 2011-06-21 | 2013-01-07 | Denso Corp | 車両状態検出装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019021693A1 (ja) * | 2017-07-24 | 2019-01-31 | 株式会社小糸製作所 | ランプ装置、センサシステム、およびセンサ装置 |
US11333743B2 (en) | 2017-07-24 | 2022-05-17 | Koito Manufacturing Co., Ltd. | Lamp device, sensor system, and sensor device |
WO2019053892A1 (ja) * | 2017-09-15 | 2019-03-21 | パイオニア株式会社 | 測定装置、測定方法、及び、プログラム |
JPWO2019053892A1 (ja) * | 2017-09-15 | 2020-10-15 | パイオニア株式会社 | 測定装置、測定方法、及び、プログラム |
JP2021086257A (ja) * | 2019-11-26 | 2021-06-03 | 株式会社デンソーテン | 画像処理装置、および、画像処理方法 |
JP7311406B2 (ja) | 2019-11-26 | 2023-07-19 | 株式会社デンソーテン | 画像処理装置、および、画像処理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4962581B2 (ja) | 区画線検出装置 | |
WO2015111344A1 (ja) | 特異走行箇所検出装置および特異走行箇所検出方法 | |
JP6538547B2 (ja) | 道路曲率計測装置 | |
EP3324152A1 (en) | Own-position estimating device and own-position estimating method | |
US9988082B2 (en) | Traveling path estimation apparatus | |
JP2018036067A (ja) | 自車位置認識装置 | |
JP6520740B2 (ja) | 物体検出方法、物体検出装置、およびプログラム | |
JP2018180663A (ja) | 道路パラメータ推定装置 | |
JP6139465B2 (ja) | 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム | |
JP2015179368A (ja) | 走行区画線認識装置及び走行区画線認識プログラム | |
JP2019079182A (ja) | 道路認識装置 | |
US20180060679A1 (en) | Vanishing point correction apparatus and method | |
JP6105524B2 (ja) | 走行区画線認識装置及び走行区画線認識プログラム | |
JP6189816B2 (ja) | 走行区画線認識装置 | |
JP2007034989A (ja) | 撮像装置のずれ検出方法、撮像装置のずれ補正方法及び撮像装置 | |
JP2017102832A (ja) | 車両ピッチ角推定装置 | |
JP2018169888A (ja) | 道路パラメータ推定装置 | |
JP6299651B2 (ja) | 画像処理装置 | |
JP5559650B2 (ja) | 車線推定装置 | |
JP5345999B2 (ja) | レーンマーク認識装置 | |
JP6295524B2 (ja) | 光軸補正装置 | |
JP2009271908A (ja) | 車両走行支援装置、車両、車両走行支援プログラム | |
JP5193148B2 (ja) | 車両用撮像装置 | |
JP2017220056A (ja) | 情報処理装置 | |
JP2013148355A (ja) | 車両位置算出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180704 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190528 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190702 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20191224 |