JP2020060899A - 車載カメラのキャリブレーション装置 - Google Patents

Abstract

【課題】撮像画像から、車両周囲の阻害物の影響を受けることなく路面フローを求め、設置パラメータを推定できるようにする車載カメラのキャリブレーション装置を提供する。【解決手段】キャリブレーション装置におけるカメラ姿勢推定処理は、車載カメラによる撮像画像を、セマンティック・セグメンテーションにて路面領域と非路面領域とに分類する領域分類部Ｓ１２０と、領域分類部にて分類された路面領域内で複数の特徴点を抽出し、車載カメラにて順次撮像される複数の撮像画像間での複数の特徴点の位置変化を路面フローとして算出する路面フロー算出部Ｓ１３０と、路面フロー算出部にて算出された路面フローに基づき、車載カメラの設置パラメータを算出する設置パラメータ算出部Ｓ１５０と、を含む。【選択図】図２

Description

本開示は、車載カメラの設置パラメータを算出するキャリブレーション装置に関する。

従来、車載カメラにより撮像された車両周囲の撮像画像に基づき、車載カメラのカメラ姿勢を表す設置パラメータを算出する、キャリブレーション装置が知られている。また、この種のキャリブレーション装置においては、キャリブレーション用のマーカを用いることなく、設置パラメータを算出できるようにすることが提案されている。

例えば、特許文献１に記載のキャリブレーション装置においては、車載カメラから得られる複数の撮像画像間の特徴点の動きベクトルから消失点座標を求め、車両の直進中に、消失点座標を目標消失点座標に変換するための画像のＸ・Ｙ軸周りの回転量を算出する。

また、車両の直進中には、撮像画像内の路面上の複数の特徴点の動きベクトルに基づき、カメラ座標系において路面とＸ軸とを平行にするための光軸（Ｚ軸）周りの回転量を求める。

これら各軸Ｘ、Ｙ、Ｚ周りの回転量は、カメラ姿勢を表す設置パラメータであり、特許文献１においては、これら各軸Ｘ、Ｙ、Ｚ周りの回転量に基づき、車載カメラによる撮像画像を回転補正する。

また、例えば、特許文献２に記載のキャリブレーション装置においては、車載カメラにより順次撮像される撮像画像の中から、車両の移動によって位置変化する複数の特徴点を抽出し、各特徴点の位置関係から消失点及び消失線を求め、設置パラメータを算出する。

特許第６１４１６０１号公報 特許第６２０１１４８号公報

上記のように、従来のキャリブレーション装置においては、撮像画像から複数の特徴点を抽出して、その特徴点の撮像画像間での位置変化に基づき、車載カメラのカメラ姿勢を表す設置パラメータを算出する。

なお、特許文献１に記載の特徴点の動きベクトルは、特徴点の位置変化を表しており、本明細書では、路面上の特徴点の位置変化を路面フローという。
このため、車載カメラによる撮像画像から、路面上の特徴点を正確に抽出できれば、その特徴点の位置変化を表す路面フローから、車載カメラの設置パラメータを推定することができる。

しかし、上記従来のキャリブレーション装置では、車両の移動に応じて撮像画像間で位置変化する特徴点を、路面上の特徴点として抽出するため、周辺車両等の阻害物を路面上の特徴点として抽出してしまい、路面フローを正確に求めることができないことがある。

つまり、従来のキャリブレーション装置においては、車載カメラの設置パラメータを算出するのに用いられる路面フローから、周辺車両等の阻害物による環境ノイズのフローを除外することは難しく、期待されるロバスト性向上の効果が得られないことがある。

本開示の一局面は、車載カメラの設置パラメータを算出するキャリブレーション装置において、車載カメラによる撮像画像から、車両周囲の阻害物の影響を受けることなく、路面フローを求めて、設置パラメータを高精度に推定できるようにすることが望ましい。

本開示の一局面の車載カメラのキャリブレーション装置には、車両周囲を撮像する車載カメラ（１０）と、領域分類部（Ｓ１２０）と、路面フロー算出部（Ｓ１３０）と、設置パラメータ算出部（Ｓ１５０）と、が備えられている。

ここで、領域分類部は、車載カメラによる撮像画像を、セマンティック・セグメンテーションにて路面領域と非路面領域とに分類する。なお、セマンティック・セグメンテーション（Semantic Segmentation）は、機械学習データ等を利用して、撮像画像を構成する各ピクセルがどのクラスのオブジェクトに属しているのかをラベリングする技術である。

次に、路面フロー算出部は、領域分類部にて分類された路面領域内で、複数の特徴点を抽出し、車載カメラにて順次撮像される複数の撮像画像間での各特徴点の位置変化を、路面フローとして算出する。

そして、設置パラメータ算出部は、路面フロー算出部にて算出された路面フローに基づき、車載カメラの設置パラメータを算出する。
このように、本開示のキャリブレーション装置において、路面フロー算出部は、従来のように、車載カメラによる撮像画像から直接特徴点を抽出するのではなく、領域分類部にて分類された路面領域の撮像画像の中から、路面上の特徴点を抽出する。

従って、路面フロー算出部では、撮像画像の路面領域内で複数の特徴点を抽出して、各特徴点の位置変化を路面フローとして算出することができるようになり、周辺車両等の阻害物が特徴点として抽出されて、路面フローが誤って算出されるのを抑制できる。

このため、設置パラメータ算出部においては、路面フロー算出部にて算出された路面フローに基づき、車載カメラのカメラ姿勢を表す設置パラメータを、正確に算出することができるようになる。

第１実施形態の車両用撮像システムの構成を表すブロック図である。 カメラ姿勢推定処理部にて実行されるカメラ姿勢推定処理を表すフローチャートである。 カメラ姿勢推定処理にて決定される撮像画像中の路面領域及び路面フローを表す説明図である。 第２実施形態のカメラ姿勢推定処理を表すフローチャートである。 第３実施形態のカメラ姿勢推定処理を表すフローチャートである。

以下に本発明の実施形態を図面と共に説明する。
［第１実施形態］
図１に示すように、本実施形態の車両用撮像システム１は、車両周囲を撮像するための車載カメラ１０と、車載カメラ１０による撮像画像を処理して、映像表示装置５０に表示する表示画像を生成する、画像処理用のＥＣＵ３０と、を備える。

車載カメラ１０は、例えば、車両の前方、後方、左側方、右側方をそれぞれ撮像できるように、車両の前・後・左・右にそれぞれ取り付けられた４つのカメラ１１、１２、１３、１４にて構成されている。

なお、各カメラ１１〜１４は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等を用いて構成され得る。また、車載カメラ１０の数は、必要に応じて、適宜変更できる。また、映像表示装置５０は、液晶ディスプレイやヘッドアップディスプレイ等にて構成される。

ＥＣＵ３０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、等を含むマイクロコンピュータにて構成された電子制御装置であり、外部からの指令に従い、表示画像として、車両の前方、後方、左側方、右側方の画像や、車両周囲を上方からみた俯瞰画像等を生成する。

また、ＥＣＵ３０は、ＣＰＵにて実行される演算処理によって、カメラ姿勢推定処理部３２、及び、画像変換描画処理部３４として機能する。
カメラ姿勢推定処理部３２は、各カメラ１１〜１４による撮像画像と、車両状態検出部２０にて検出された車両状態に基づき、各カメラ１１〜１４の路面に対する姿勢を、設置パラメータとして推定する。

つまり、カメラ姿勢推定処理部３２は、本開示のキャリブレーション装置として機能し、各カメラの姿勢を表す設置パラメータとして、例えば、特許文献１に記載のカメラ座標系におけるＸ軸、Ｙ軸、Ｚ軸周りの回転量を推定する。

車両状態検出部２０は、車両の操舵角を検出する操舵角センサ２１、車輪の回転速度を検出する車輪速センサ２２、車両に加わる加速度を検出する加速度センサ２３等、車両の走行状態を表す各種パラメータを検出する複数のセンサにて構成されている。

次に、画像変換描画処理部３４は、カメラ姿勢推定処理部３２にて推定された各カメラ１１〜１４の設置パラメータに基づき、各カメラ１１〜１４による撮像画像を補正し、映像表示装置５０への表示画像を生成する。

例えば、画像変換描画処理部３４は、映像表示装置５０に俯瞰画像を表示させる際には、各カメラ１１〜１４から得られる撮像画像を各カメラ１１〜１４の設置パラメータに基づき視点変換し、視点変換後の撮像画像を合成することで、表示画像を生成する。

次に、図２は、カメラ姿勢推定処理部３２として、ＥＣＵ３０において実行されるカメラ姿勢推定処理について説明する。
なお、このカメラ姿勢推定処理は、ＣＰＵが、ＲＯＭ等の非遷移的実体的記録媒体に記憶されたプログラムを、カメラ１１〜１４毎に実行することで、車載カメラ１０である複数のカメラ１１〜１４のカメラ姿勢を個々に推定するための処理である。

そこで、以下の説明では、カメラ姿勢推定処理は、車載カメラ１０の設置パラメータとして、車両前方を撮像するカメラ１１のカメラ姿勢を推定するものとして説明する。
図２に示すように、カメラ姿勢推定処理においては、まずＳ１１０にて、推定対象となる車載カメラ１０による撮像画像を取得する。

そして、続くＳ１２０では、Ｓ１１０にて取得した撮像画像を、セマンティック・セグメンテーション（以下、ＳＳ）にて、路面領域と路面以外の非路面領域とに分類する領域分類部としての処理を実行する。

なお、ＳＳは、機械学習データ等を利用して、画像を構成する各ピクセルがどのクラスのオブジェクトに属しているのかをラベリングする技術であり、特許第６３０９６６３号公報に記載のように、車載カメラによる撮像画像を処理する技術としても知られている。このため、ここでは、ＳＳに関する詳細な説明は省略する。

次に、Ｓ１３０では、Ｓ１２０にて路面領域と非路面領域とに分類された撮像画像を用いて、路面領域内の特徴点を複数検出し、その検出した複数の特徴点毎に、前回の撮像画像からの位置変化を路面フローとして算出する、フロー検出処理を実行する。

フロー検出処理は、本開示の路面フロー算出部としての機能を実現する処理であり、本実施形態では、図２に示すように、Ｓ２１０にて、路面領域内の特徴点を複数検出した後、Ｓ２２０に移行し、検出した特徴点毎に、Ｓ２２１〜Ｓ２２３の処理を繰り返し実行する。

即ち、Ｓ２２１では、複数の特徴点の一つを判定対象として抽出し、その抽出した特徴点の周辺で非路面領域と分類されているピクセルの数（以下、画素数）Ｐｎをカウントする。

次に、Ｓ２２２では、Ｓ２２１にてカウントした画素数Ｐｎが、予め設定された閾値以上であるか否かを判断し、画素数Ｐｎが閾値以上である場合には、特徴点は非路面領域に位置する可能性があると判断して、Ｓ２２３に移行する。

そして、Ｓ２２３では、Ｓ２２１で今回判定対象として抽出した特徴点の情報を削除することで、この特徴点を、路面フローの検出対象から除外する。
つまり、Ｓ１２０では、撮像画像を路面領域と非路面領域とに分類するが、図３に太線で示すように、ＳＳでは、分類された路面領域と非路面領域との境界が不安定となり、境界付近の特徴点を使用すると、誤った路面フローが検出されることがある。

そこで、本実施形態では、境界から一定以上離れた路面領域内の特徴点を使用して、路面フローを精度よく検出できるように、特徴点の周囲で非路面領域となる画素数Ｐｎが多い場合には、その特徴点を路面フローの検出対象から除外するようにしている。

そして、Ｓ２２２にて、画素数Ｐｎが閾値未満であると判断されるか、或いは、Ｓ２２３にて、特徴点の情報が削除されると、一つの特徴点に対する判定処理を終了し、再度Ｓ２２１〜Ｓ２２３の処理を実行することで、他の特徴点に対する判定処理を実施する。

こうして、Ｓ２１０にて検出した複数の特徴点に対する判定処理が終了すると、Ｓ２３０に移行する。
そして、Ｓ２３０では、今回、路面フローの検出対象として撮像画像の路面領域から検出した特徴点の位置と、前回、撮像画像から上記と同様の手順で検出した特徴点の位置とに基づき、撮像画像間での特徴点の位置変化を、特徴点のフローとして検出する。

例えば、図３Ａに示すように、前回、車載カメラ１０から取得した撮像画像から、路面領域内の特徴点として、丸印で示す４つの特徴点Ａ１，Ａ２，Ａ３，Ａ４が検出されているものとする。

そして、今回、車載カメラ１０から取得した撮像画像から、図３Ｂに示すように、特徴点Ａ１，Ａ２，Ａ３，Ａ４に対応した特徴点Ｂ１，Ｂ２，Ｂ３，Ｂ４が検出されると、Ｓ２３０では、各特徴点Ｂ１，Ｂ２，Ｂ３，Ｂ４の前回からの位置変化を算出する。

なお、この位置変化は、例えば、図３Ｂに矢印で示すように、撮像画像上での動きベクトルとして算出され、その算出結果が、各特徴点のフローとして記憶される。
このように、Ｓ１３０のフロー検出処理において、特徴点の路面フローが検出されると、Ｓ１４０に移行し、車両状態検出部２０からの検出信号に基づき、車両は現在直進走行中であるか否かを判断する。なお、Ｓ１４０では、例えば、操舵角センサ２１からの検出信号に基づき、操舵角θが零、若しくは、所定角度以下である場合に、車両は直進走行中であると判断する。

そして、車両が直進走行中でなければ、Ｓ１１０に移行して、Ｓ１１０〜Ｓ１３０の処理を再度実行し、車両が直進走行中であれば、Ｓ１５０に移行し、車載カメラ１０のカメラ姿勢を表す設置パラメータを推定する、設置パラメータ算出部としての処理を実行する。

なお、設置パラメータの推定は、特許文献１に記載のように、各特徴点の動きベクトルから消失点座標を求めて撮像画像のＸ・Ｙ軸周りの回転量を算出し、各特徴点の動きベクトルに基づき光軸（Ｚ軸）周りの回転量を算出するようにしてもよい。また、特許文献２に記載のように、各特徴点の位置変化から消失点及び消失線を求め、設置パラメータを算出するようにしてもよい。

つまり、Ｓ１５０では、撮像画像の路面領域内の複数の特徴点の位置変化から得られる路面フローに基づき、車載カメラ１０の路面に対する基準位置からのずれ量を設置パラメータとして検出できればよく、従来から知られている各種計算方法を利用できる。

そして、Ｓ１５０にて、車載カメラ１０の設置パラメータが推定されると、Ｓ１６０にて、カメラ姿勢推定処理を終了するか否かを判断し、推定終了と判断すると、カメラ姿勢推定処理を終了し、推定終了と判断しない場合は、再度Ｓ１１０に移行する。

以上説明したように、本実施形態の車両用撮像システム１においては、画像処理用のＥＣＵ３０が、本開示の主要部となるカメラ姿勢推定処理部３２としての機能を有する。
そして、カメラ姿勢推定処理部３２においては、車載カメラ１０による撮像画像を、ＳＳにて路面領域と非路面領域とに分類し、その分類された路面領域から、複数の特徴点を抽出する。

従って、本実施形態によれば、図３Ａに×印で例示するように、周辺車両の一部が誤って特徴点として抽出されるのを抑制することができ、こうした車両周囲の阻害物の影響を受けることなく、路面上の特徴点を精度よく抽出することができる。

また、カメラ姿勢推定処理部３２では、路面上の複数の特徴点の位置変化を路面フローとして検出し、車両の直進走行時に、その検出した路面フローから、車載カメラ１０の設置パラメータを求めることから、設置パラメータを正確に求めることができる。

よって、画像変換描画処理部３４では、カメラ姿勢推定処理部３２にて求められた車載カメラ１０の設置パラメータに基づき、車載カメラ１０による撮像画像を適正に視点変換して、映像表示装置５０に表示させることができるようになる。

また、ＳＳによる、撮像画像の分類精度は、ＳＳに用いられる機械学習データにより変化するため、路面領域と非路面領域との境界が不安定となることがある。
これに対し、本実施形態では、特徴点の周囲で非路面領域となる画素数Ｐｎが多い場合には、その特徴点を路面フローの検出対象から除外することで、境界から一定以上離れた路面領域から複数の特徴点を抽出するようにしている。

従って、本実施形態によれば、ＳＳにて撮像画像から路面領域を正確に抽出できないような場合であっても、路面領域から特徴点を抽出することができるようになり、延いては、設置パラメータをより精度よく推定できるようになる。

［第２実施形態］
上記実施形態では、カメラ姿勢推定処理において、Ｓ１４０にて車両が直進走行中か否かを判断し、車両が直進走行中であるときに、Ｓ１５０にて、Ｓ１３０で検出した路面フローから車載カメラ１０の設置パラメータを推定するように構成されている。

これは、車両の車線変更時や旋回時等には、車両の姿勢変化によって車載カメラ１０の視線が動き、撮像画像上で特徴点の位置が変化するためである。
つまり、車両の姿勢変化によって特徴点の位置変化が生じると、その位置変化を表す路面フローから車載カメラの設置パラメータを正確に推定することができなくなるので、上記実施形態では、車両の直進走行中に設置パラメータを推定するようにしている。

しかし、車両が直進走行中であっても、車両の姿勢は路面の凹凸等によって変化することがあり、この姿勢変化によって、撮像画像上で特徴点の位置が変化することがある。
従って、Ｓ１４０では、上下変動等の姿勢変動がない状態で車両が直進走行しているか否かを判断できるようにしてもよい。

このようにすれば、路面フローを車両の姿勢変動の影響を受けることなく、路面フローを検出して、車載カメラ１０の設置パラメータをより正確に推定することができるようになる。

そこで、本実施形態では、図４に示すように、カメラ姿勢推定処理において、Ｓ１４０の判定処理を実施する前に、Ｓ１３２にて、直進判定処理を実行することで、車両が姿勢変動することなく、安定した直進走行をしているか否かを判断できるようにしている。

即ち、図４に示すように、Ｓ１３２にて実行される直進判定処理においては、まずＳ３１０にて、加速度センサ２３からの検出信号の値から、車両の上下方向に加わる上下加速度Ｇｖを算出する。

そして、続くＳ３２０では、その算出した上下加速度Ｇｖが、予め設定された閾値以下であるか否かを判断し、上下加速度Ｇｖが閾値以下であれば、車両姿勢は安定していると判断して、Ｓ３３０に移行する。また、上下加速度Ｇｖが閾値よりも大きい場合には、車両姿勢は上下方向に変動していると判断して、Ｓ３８０に移行する。

次に、Ｓ３３０では、操舵角センサ２１からの検出信号の値から、車両操舵によって車両に加わるヨーレートＹｒを算出する。
そして、続くＳ３４０では、その算出したヨーレートＹｒが予め設定された閾値以下であるか否かを判断し、ヨーレートＹｒが閾値以下であれば、車両姿勢は安定していると判断して、Ｓ３５０に移行する。また、ヨーレートＹｒが予め設定された閾値よりも大きい場合には、車両姿勢は左右方向に変動していると判断して、Ｓ３８０に移行する。

次に、Ｓ３５０では、車輪速センサ２２からの検出信号の値から、車両の走行速度である車速Ｖｓを算出する。
そして、続くＳ３６０では、その算出した車速Ｖｓが予め設定された閾値以上であるか否かを判断し、車速Ｖｓが閾値以上である場合には、Ｓ３７０に移行する。また、車速Ｖｓが閾値未満である場合には、車両は停止若しくは低速走行中であるので、Ｓ３８０に移行する。

Ｓ３７０では、上記一連の処理により、車両は走行中で、走行姿勢は変動しておらず、安定していると判断されているので、車両は直進走行中であると判定して、当該直進判定処理を終了する。

また、Ｓ３８０では、上記一連の処理により、車両は姿勢変動しているか、或いは、通常走行していない、と判断されているので、車両は直進走行中ではないと判定して、当該直進判定処理を終了する。

このように、本実施形態では、Ｓ１３２の直進判定処理にて、車両の走行中に姿勢変動していないときに、車両が直進走行中であると判定し、そうでなければ、車両は直進走行中ではないと判定する。

従って、本実施形態によれば、車両の姿勢変動によって生じる特徴点の位置変化を路面フローとして検出してしまい、その路面フローに基づき車載カメラ１０の設置パラメータが誤検出されるのを、抑制することができる。

なお、本実施形態では、Ｓ１５０での設置パラメータの推定処理を実施する前に、姿勢変動判定部としてのＳ１３２，Ｓ１４０を実行して、車両の直進判定を行い、車両が直進走行中でければ、Ｓ１５０での推定処理を実施しないようにしている。

しかし、Ｓ１３２，Ｓ１４０での車両の直進判定は、Ｓ１１０、Ｓ１２０、若しくはＳ１３０の処理の前に実施し、車両が直進走行中でければ、これらの処理を実施せずに、Ｓ１１０に移行するようにしてもよい。

このようにしても、車両が姿勢変動せずに直進走行しているときにだけ、Ｓ１５０にて設置パラメータを推定することができるようになり、車両の姿勢変動により設置パラメータを誤って推定するのを抑制できる。
［第３実施形態］
上記実施形態では、カメラ姿勢推定処理のＳ１３０にて実行されるフロー検出処理において、Ｓ１２０にて路面領域と非路面領域とに分類された撮像画像を用いて、路面領域内の特徴点を複数検出し、その特徴点の位置変化から路面フローを求めるようにしている。

しかし、Ｓ１２０にて路面領域として分類された路面の面積が小さい場合には、特徴点が狭い領域内で抽出されることから、設置パラメータの推定精度が低くなることが考えられる。

そこで、本実施形態では、Ｓ１２０にて路面領域として分類された路面面積が設定値以下の場合には、車載カメラ１０の設置パラメータを推定しないようにする。
具体的には、図５に示すように、Ｓ１２０にて、ＳＳで撮像画像の路面領域が決定されると、Ｓ１２２に移行して、その決定された路面領域の路面面積が設置パラメータの推定に十分であるか不十分であるかを判定する、路面面積判定処理を実行する。

そして、路面面積判定処理の実行後、Ｓ１２４にて、その判定結果に基づき、路面面積は十分であるか否かを判断し、路面面積が十分であれば、Ｓ１３０に移行して、フロー検出処理を実行し、路面面積が十分でなければ、再度Ｓ１１０に移行する。

また、Ｓ１２２の路面面積判定処理においては、Ｓ４１０にて、路面領域の路面面積として路面領域内の画素数Ｐｒをカウントし、Ｓ４２０にて、そのカウントした画素数Ｐｒの、撮像画像全体の画素数Ｐａに対する割合α（＝Ｐｒ／Ｐａ）を算出する。

なお、撮像画像全体の画素数Ｐａには、車載カメラ１０を構成するイメージセンサの全画素数ではなく、イメージセンサにおいて車両周囲の画像を撮像可能な有効画素数が利用される。

そして、続くＳ４３０では、Ｓ４２０で算出した割合αが予め設定された閾値以上であるか否か、換言すれば、路面面積が設定値以上であるか否か、を判断し、割合αが閾値以上であれば、Ｓ４４０に移行し、割合αが閾値未満であれば、Ｓ４５０に移行する。

Ｓ４４０では、割合αが閾値以上であるので、路面面積は十分であると判定して、路面面積判定処理を終了する。また、Ｓ４５０では、割合αが閾値未満であるので、路面面積は不十分であると判定し、路面面積判定処理を終了する。

このように、本実施形態では、路面領域の路面面積が小さい場合には、路面面積は不十分であると判断して、Ｓ１３０以降の処理を実施しないようにされている。このため、路面領域の路面面積が小さく、設置パラメータを精度よく推定できないときに、設置パラメータを推定してしまうのを抑制できる。

なお、Ｓ１２２、Ｓ１２４の判定処理は、本開示の路面面積判定部として機能する。
そして、本実施形態において、路面面積判定部として機能するＳ１２２，Ｓ１２４の処理は、第２実施形態において、姿勢変動判定部として機能するＳ１３２，Ｓ１４０の処理と組み合わせて、実施するようにしてもよい。

以上、本開示の一実施形態について説明したが、本開示は上記実施形態に限定されることなく、種々変形して実施することができる。
例えば、上記実施形態では、本開示の領域分類部、路面フロー算出部、設置パラメータ算出部、姿勢変動判定部、路面面積判定部としての機能は、ＣＰＵが所定のプログラムを実行することで、実現されるものとして説明した。

しかし、これら各部の機能は、ソフトウェアに限るものではなく、その一部又は全部の要素を、論理回路やアナログ回路等を組み合わせたハードウェアを用いて実現するようにしてもよい。

また、上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。

１…車両用撮像システム、１０…車載カメラ、１１〜１４…カメラ、２０…車両状態検出部、２１…操舵角センサ、２２…車輪速センサ、２３…加速度センサ、３０…ＥＣＵ、３２…カメラ姿勢推定処理部、３４…画像変換描画処理部、５０…映像表示装置。

Claims (4)

1. 車両周囲を撮像する車載カメラ（１０）と、
   前記車載カメラによる撮像画像を、セマンティック・セグメンテーションにて路面領域と非路面領域とに分類する領域分類部（Ｓ１２０）と、
   前記領域分類部にて分類された前記路面領域内で、複数の特徴点を抽出し、前記車載カメラにて順次撮像される複数の撮像画像間での前記複数の特徴点の位置変化を路面フローとして算出する、路面フロー算出部（Ｓ１３０）と、
   前記路面フロー算出部にて算出された路面フローに基づき、前記車載カメラの設置パラメータを算出する設置パラメータ算出部（Ｓ１５０）と、
   を備えている、車載カメラのキャリブレーション装置。
2. 前記路面フロー算出部は、前記領域分類部にて分類された前記路面領域の内、前記非路面領域から一定以上離れた路面領域の中から前記複数の特徴点を抽出し、前記路面フローを算出するよう構成されている、請求項１に記載の車載カメラのキャリブレーション装置。
3. 前記車両の姿勢変動を検出し、該姿勢変動が大きいか否かを判定する姿勢変動判定部（２０，Ｓ１３２，Ｓ１４０）を備え、
   前記姿勢変動判定部にて前記車両の姿勢変動が大きいと判定されると、前記設置パラメータを算出しないように構成されている、請求項１又は請求項２に記載の車載カメラのキャリブレーション装置。
4. 前記領域分類部にて分類された前記路面領域の面積が設定値以下であるか否かを判定する路面面積判定部（Ｓ１２２，Ｓ１２４）を備え、
   前記路面面積判定部にて前記路面領域の面積が前記設定値以下であると判定されると、前記設置パラメータを算出しないように構成されている、請求項１〜請求項３の何れか１項に記載の車載カメラのキャリブレーション装置。

Images