JP2020060899A - 車載カメラのキャリブレーション装置 - Google Patents
車載カメラのキャリブレーション装置 Download PDFInfo
- Publication number
- JP2020060899A JP2020060899A JP2018190844A JP2018190844A JP2020060899A JP 2020060899 A JP2020060899 A JP 2020060899A JP 2018190844 A JP2018190844 A JP 2018190844A JP 2018190844 A JP2018190844 A JP 2018190844A JP 2020060899 A JP2020060899 A JP 2020060899A
- Authority
- JP
- Japan
- Prior art keywords
- road surface
- vehicle
- camera
- surface area
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
【課題】撮像画像から、車両周囲の阻害物の影響を受けることなく路面フローを求め、設置パラメータを推定できるようにする車載カメラのキャリブレーション装置を提供する。【解決手段】キャリブレーション装置におけるカメラ姿勢推定処理は、車載カメラによる撮像画像を、セマンティック・セグメンテーションにて路面領域と非路面領域とに分類する領域分類部S120と、領域分類部にて分類された路面領域内で複数の特徴点を抽出し、車載カメラにて順次撮像される複数の撮像画像間での複数の特徴点の位置変化を路面フローとして算出する路面フロー算出部S130と、路面フロー算出部にて算出された路面フローに基づき、車載カメラの設置パラメータを算出する設置パラメータ算出部S150と、を含む。【選択図】図2
Description
本開示は、車載カメラの設置パラメータを算出するキャリブレーション装置に関する。
従来、車載カメラにより撮像された車両周囲の撮像画像に基づき、車載カメラのカメラ姿勢を表す設置パラメータを算出する、キャリブレーション装置が知られている。また、この種のキャリブレーション装置においては、キャリブレーション用のマーカを用いることなく、設置パラメータを算出できるようにすることが提案されている。
例えば、特許文献1に記載のキャリブレーション装置においては、車載カメラから得られる複数の撮像画像間の特徴点の動きベクトルから消失点座標を求め、車両の直進中に、消失点座標を目標消失点座標に変換するための画像のX・Y軸周りの回転量を算出する。
また、車両の直進中には、撮像画像内の路面上の複数の特徴点の動きベクトルに基づき、カメラ座標系において路面とX軸とを平行にするための光軸(Z軸)周りの回転量を求める。
これら各軸X、Y、Z周りの回転量は、カメラ姿勢を表す設置パラメータであり、特許文献1においては、これら各軸X、Y、Z周りの回転量に基づき、車載カメラによる撮像画像を回転補正する。
また、例えば、特許文献2に記載のキャリブレーション装置においては、車載カメラにより順次撮像される撮像画像の中から、車両の移動によって位置変化する複数の特徴点を抽出し、各特徴点の位置関係から消失点及び消失線を求め、設置パラメータを算出する。
上記のように、従来のキャリブレーション装置においては、撮像画像から複数の特徴点を抽出して、その特徴点の撮像画像間での位置変化に基づき、車載カメラのカメラ姿勢を表す設置パラメータを算出する。
なお、特許文献1に記載の特徴点の動きベクトルは、特徴点の位置変化を表しており、本明細書では、路面上の特徴点の位置変化を路面フローという。
このため、車載カメラによる撮像画像から、路面上の特徴点を正確に抽出できれば、その特徴点の位置変化を表す路面フローから、車載カメラの設置パラメータを推定することができる。
このため、車載カメラによる撮像画像から、路面上の特徴点を正確に抽出できれば、その特徴点の位置変化を表す路面フローから、車載カメラの設置パラメータを推定することができる。
しかし、上記従来のキャリブレーション装置では、車両の移動に応じて撮像画像間で位置変化する特徴点を、路面上の特徴点として抽出するため、周辺車両等の阻害物を路面上の特徴点として抽出してしまい、路面フローを正確に求めることができないことがある。
つまり、従来のキャリブレーション装置においては、車載カメラの設置パラメータを算出するのに用いられる路面フローから、周辺車両等の阻害物による環境ノイズのフローを除外することは難しく、期待されるロバスト性向上の効果が得られないことがある。
本開示の一局面は、車載カメラの設置パラメータを算出するキャリブレーション装置において、車載カメラによる撮像画像から、車両周囲の阻害物の影響を受けることなく、路面フローを求めて、設置パラメータを高精度に推定できるようにすることが望ましい。
本開示の一局面の車載カメラのキャリブレーション装置には、車両周囲を撮像する車載カメラ(10)と、領域分類部(S120)と、路面フロー算出部(S130)と、設置パラメータ算出部(S150)と、が備えられている。
ここで、領域分類部は、車載カメラによる撮像画像を、セマンティック・セグメンテーションにて路面領域と非路面領域とに分類する。なお、セマンティック・セグメンテーション(Semantic Segmentation)は、機械学習データ等を利用して、撮像画像を構成する各ピクセルがどのクラスのオブジェクトに属しているのかをラベリングする技術である。
次に、路面フロー算出部は、領域分類部にて分類された路面領域内で、複数の特徴点を抽出し、車載カメラにて順次撮像される複数の撮像画像間での各特徴点の位置変化を、路面フローとして算出する。
そして、設置パラメータ算出部は、路面フロー算出部にて算出された路面フローに基づき、車載カメラの設置パラメータを算出する。
このように、本開示のキャリブレーション装置において、路面フロー算出部は、従来のように、車載カメラによる撮像画像から直接特徴点を抽出するのではなく、領域分類部にて分類された路面領域の撮像画像の中から、路面上の特徴点を抽出する。
このように、本開示のキャリブレーション装置において、路面フロー算出部は、従来のように、車載カメラによる撮像画像から直接特徴点を抽出するのではなく、領域分類部にて分類された路面領域の撮像画像の中から、路面上の特徴点を抽出する。
従って、路面フロー算出部では、撮像画像の路面領域内で複数の特徴点を抽出して、各特徴点の位置変化を路面フローとして算出することができるようになり、周辺車両等の阻害物が特徴点として抽出されて、路面フローが誤って算出されるのを抑制できる。
このため、設置パラメータ算出部においては、路面フロー算出部にて算出された路面フローに基づき、車載カメラのカメラ姿勢を表す設置パラメータを、正確に算出することができるようになる。
以下に本発明の実施形態を図面と共に説明する。
[第1実施形態]
図1に示すように、本実施形態の車両用撮像システム1は、車両周囲を撮像するための車載カメラ10と、車載カメラ10による撮像画像を処理して、映像表示装置50に表示する表示画像を生成する、画像処理用のECU30と、を備える。
[第1実施形態]
図1に示すように、本実施形態の車両用撮像システム1は、車両周囲を撮像するための車載カメラ10と、車載カメラ10による撮像画像を処理して、映像表示装置50に表示する表示画像を生成する、画像処理用のECU30と、を備える。
車載カメラ10は、例えば、車両の前方、後方、左側方、右側方をそれぞれ撮像できるように、車両の前・後・左・右にそれぞれ取り付けられた4つのカメラ11、12、13、14にて構成されている。
なお、各カメラ11〜14は、CCDイメージセンサやCMOSイメージセンサ等を用いて構成され得る。また、車載カメラ10の数は、必要に応じて、適宜変更できる。また、映像表示装置50は、液晶ディスプレイやヘッドアップディスプレイ等にて構成される。
ECU30は、CPU、ROM、RAM、等を含むマイクロコンピュータにて構成された電子制御装置であり、外部からの指令に従い、表示画像として、車両の前方、後方、左側方、右側方の画像や、車両周囲を上方からみた俯瞰画像等を生成する。
また、ECU30は、CPUにて実行される演算処理によって、カメラ姿勢推定処理部32、及び、画像変換描画処理部34として機能する。
カメラ姿勢推定処理部32は、各カメラ11〜14による撮像画像と、車両状態検出部20にて検出された車両状態に基づき、各カメラ11〜14の路面に対する姿勢を、設置パラメータとして推定する。
カメラ姿勢推定処理部32は、各カメラ11〜14による撮像画像と、車両状態検出部20にて検出された車両状態に基づき、各カメラ11〜14の路面に対する姿勢を、設置パラメータとして推定する。
つまり、カメラ姿勢推定処理部32は、本開示のキャリブレーション装置として機能し、各カメラの姿勢を表す設置パラメータとして、例えば、特許文献1に記載のカメラ座標系におけるX軸、Y軸、Z軸周りの回転量を推定する。
車両状態検出部20は、車両の操舵角を検出する操舵角センサ21、車輪の回転速度を検出する車輪速センサ22、車両に加わる加速度を検出する加速度センサ23等、車両の走行状態を表す各種パラメータを検出する複数のセンサにて構成されている。
次に、画像変換描画処理部34は、カメラ姿勢推定処理部32にて推定された各カメラ11〜14の設置パラメータに基づき、各カメラ11〜14による撮像画像を補正し、映像表示装置50への表示画像を生成する。
例えば、画像変換描画処理部34は、映像表示装置50に俯瞰画像を表示させる際には、各カメラ11〜14から得られる撮像画像を各カメラ11〜14の設置パラメータに基づき視点変換し、視点変換後の撮像画像を合成することで、表示画像を生成する。
次に、図2は、カメラ姿勢推定処理部32として、ECU30において実行されるカメラ姿勢推定処理について説明する。
なお、このカメラ姿勢推定処理は、CPUが、ROM等の非遷移的実体的記録媒体に記憶されたプログラムを、カメラ11〜14毎に実行することで、車載カメラ10である複数のカメラ11〜14のカメラ姿勢を個々に推定するための処理である。
なお、このカメラ姿勢推定処理は、CPUが、ROM等の非遷移的実体的記録媒体に記憶されたプログラムを、カメラ11〜14毎に実行することで、車載カメラ10である複数のカメラ11〜14のカメラ姿勢を個々に推定するための処理である。
そこで、以下の説明では、カメラ姿勢推定処理は、車載カメラ10の設置パラメータとして、車両前方を撮像するカメラ11のカメラ姿勢を推定するものとして説明する。
図2に示すように、カメラ姿勢推定処理においては、まずS110にて、推定対象となる車載カメラ10による撮像画像を取得する。
図2に示すように、カメラ姿勢推定処理においては、まずS110にて、推定対象となる車載カメラ10による撮像画像を取得する。
そして、続くS120では、S110にて取得した撮像画像を、セマンティック・セグメンテーション(以下、SS)にて、路面領域と路面以外の非路面領域とに分類する領域分類部としての処理を実行する。
なお、SSは、機械学習データ等を利用して、画像を構成する各ピクセルがどのクラスのオブジェクトに属しているのかをラベリングする技術であり、特許第6309663号公報に記載のように、車載カメラによる撮像画像を処理する技術としても知られている。このため、ここでは、SSに関する詳細な説明は省略する。
次に、S130では、S120にて路面領域と非路面領域とに分類された撮像画像を用いて、路面領域内の特徴点を複数検出し、その検出した複数の特徴点毎に、前回の撮像画像からの位置変化を路面フローとして算出する、フロー検出処理を実行する。
フロー検出処理は、本開示の路面フロー算出部としての機能を実現する処理であり、本実施形態では、図2に示すように、S210にて、路面領域内の特徴点を複数検出した後、S220に移行し、検出した特徴点毎に、S221〜S223の処理を繰り返し実行する。
即ち、S221では、複数の特徴点の一つを判定対象として抽出し、その抽出した特徴点の周辺で非路面領域と分類されているピクセルの数(以下、画素数)Pnをカウントする。
次に、S222では、S221にてカウントした画素数Pnが、予め設定された閾値以上であるか否かを判断し、画素数Pnが閾値以上である場合には、特徴点は非路面領域に位置する可能性があると判断して、S223に移行する。
そして、S223では、S221で今回判定対象として抽出した特徴点の情報を削除することで、この特徴点を、路面フローの検出対象から除外する。
つまり、S120では、撮像画像を路面領域と非路面領域とに分類するが、図3に太線で示すように、SSでは、分類された路面領域と非路面領域との境界が不安定となり、境界付近の特徴点を使用すると、誤った路面フローが検出されることがある。
つまり、S120では、撮像画像を路面領域と非路面領域とに分類するが、図3に太線で示すように、SSでは、分類された路面領域と非路面領域との境界が不安定となり、境界付近の特徴点を使用すると、誤った路面フローが検出されることがある。
そこで、本実施形態では、境界から一定以上離れた路面領域内の特徴点を使用して、路面フローを精度よく検出できるように、特徴点の周囲で非路面領域となる画素数Pnが多い場合には、その特徴点を路面フローの検出対象から除外するようにしている。
そして、S222にて、画素数Pnが閾値未満であると判断されるか、或いは、S223にて、特徴点の情報が削除されると、一つの特徴点に対する判定処理を終了し、再度S221〜S223の処理を実行することで、他の特徴点に対する判定処理を実施する。
こうして、S210にて検出した複数の特徴点に対する判定処理が終了すると、S230に移行する。
そして、S230では、今回、路面フローの検出対象として撮像画像の路面領域から検出した特徴点の位置と、前回、撮像画像から上記と同様の手順で検出した特徴点の位置とに基づき、撮像画像間での特徴点の位置変化を、特徴点のフローとして検出する。
そして、S230では、今回、路面フローの検出対象として撮像画像の路面領域から検出した特徴点の位置と、前回、撮像画像から上記と同様の手順で検出した特徴点の位置とに基づき、撮像画像間での特徴点の位置変化を、特徴点のフローとして検出する。
例えば、図3Aに示すように、前回、車載カメラ10から取得した撮像画像から、路面領域内の特徴点として、丸印で示す4つの特徴点A1,A2,A3,A4が検出されているものとする。
そして、今回、車載カメラ10から取得した撮像画像から、図3Bに示すように、特徴点A1,A2,A3,A4に対応した特徴点B1,B2,B3,B4が検出されると、S230では、各特徴点B1,B2,B3,B4の前回からの位置変化を算出する。
なお、この位置変化は、例えば、図3Bに矢印で示すように、撮像画像上での動きベクトルとして算出され、その算出結果が、各特徴点のフローとして記憶される。
このように、S130のフロー検出処理において、特徴点の路面フローが検出されると、S140に移行し、車両状態検出部20からの検出信号に基づき、車両は現在直進走行中であるか否かを判断する。なお、S140では、例えば、操舵角センサ21からの検出信号に基づき、操舵角θが零、若しくは、所定角度以下である場合に、車両は直進走行中であると判断する。
このように、S130のフロー検出処理において、特徴点の路面フローが検出されると、S140に移行し、車両状態検出部20からの検出信号に基づき、車両は現在直進走行中であるか否かを判断する。なお、S140では、例えば、操舵角センサ21からの検出信号に基づき、操舵角θが零、若しくは、所定角度以下である場合に、車両は直進走行中であると判断する。
そして、車両が直進走行中でなければ、S110に移行して、S110〜S130の処理を再度実行し、車両が直進走行中であれば、S150に移行し、車載カメラ10のカメラ姿勢を表す設置パラメータを推定する、設置パラメータ算出部としての処理を実行する。
なお、設置パラメータの推定は、特許文献1に記載のように、各特徴点の動きベクトルから消失点座標を求めて撮像画像のX・Y軸周りの回転量を算出し、各特徴点の動きベクトルに基づき光軸(Z軸)周りの回転量を算出するようにしてもよい。また、特許文献2に記載のように、各特徴点の位置変化から消失点及び消失線を求め、設置パラメータを算出するようにしてもよい。
つまり、S150では、撮像画像の路面領域内の複数の特徴点の位置変化から得られる路面フローに基づき、車載カメラ10の路面に対する基準位置からのずれ量を設置パラメータとして検出できればよく、従来から知られている各種計算方法を利用できる。
そして、S150にて、車載カメラ10の設置パラメータが推定されると、S160にて、カメラ姿勢推定処理を終了するか否かを判断し、推定終了と判断すると、カメラ姿勢推定処理を終了し、推定終了と判断しない場合は、再度S110に移行する。
以上説明したように、本実施形態の車両用撮像システム1においては、画像処理用のECU30が、本開示の主要部となるカメラ姿勢推定処理部32としての機能を有する。
そして、カメラ姿勢推定処理部32においては、車載カメラ10による撮像画像を、SSにて路面領域と非路面領域とに分類し、その分類された路面領域から、複数の特徴点を抽出する。
そして、カメラ姿勢推定処理部32においては、車載カメラ10による撮像画像を、SSにて路面領域と非路面領域とに分類し、その分類された路面領域から、複数の特徴点を抽出する。
従って、本実施形態によれば、図3Aに×印で例示するように、周辺車両の一部が誤って特徴点として抽出されるのを抑制することができ、こうした車両周囲の阻害物の影響を受けることなく、路面上の特徴点を精度よく抽出することができる。
また、カメラ姿勢推定処理部32では、路面上の複数の特徴点の位置変化を路面フローとして検出し、車両の直進走行時に、その検出した路面フローから、車載カメラ10の設置パラメータを求めることから、設置パラメータを正確に求めることができる。
よって、画像変換描画処理部34では、カメラ姿勢推定処理部32にて求められた車載カメラ10の設置パラメータに基づき、車載カメラ10による撮像画像を適正に視点変換して、映像表示装置50に表示させることができるようになる。
また、SSによる、撮像画像の分類精度は、SSに用いられる機械学習データにより変化するため、路面領域と非路面領域との境界が不安定となることがある。
これに対し、本実施形態では、特徴点の周囲で非路面領域となる画素数Pnが多い場合には、その特徴点を路面フローの検出対象から除外することで、境界から一定以上離れた路面領域から複数の特徴点を抽出するようにしている。
これに対し、本実施形態では、特徴点の周囲で非路面領域となる画素数Pnが多い場合には、その特徴点を路面フローの検出対象から除外することで、境界から一定以上離れた路面領域から複数の特徴点を抽出するようにしている。
従って、本実施形態によれば、SSにて撮像画像から路面領域を正確に抽出できないような場合であっても、路面領域から特徴点を抽出することができるようになり、延いては、設置パラメータをより精度よく推定できるようになる。
[第2実施形態]
上記実施形態では、カメラ姿勢推定処理において、S140にて車両が直進走行中か否かを判断し、車両が直進走行中であるときに、S150にて、S130で検出した路面フローから車載カメラ10の設置パラメータを推定するように構成されている。
上記実施形態では、カメラ姿勢推定処理において、S140にて車両が直進走行中か否かを判断し、車両が直進走行中であるときに、S150にて、S130で検出した路面フローから車載カメラ10の設置パラメータを推定するように構成されている。
これは、車両の車線変更時や旋回時等には、車両の姿勢変化によって車載カメラ10の視線が動き、撮像画像上で特徴点の位置が変化するためである。
つまり、車両の姿勢変化によって特徴点の位置変化が生じると、その位置変化を表す路面フローから車載カメラの設置パラメータを正確に推定することができなくなるので、上記実施形態では、車両の直進走行中に設置パラメータを推定するようにしている。
つまり、車両の姿勢変化によって特徴点の位置変化が生じると、その位置変化を表す路面フローから車載カメラの設置パラメータを正確に推定することができなくなるので、上記実施形態では、車両の直進走行中に設置パラメータを推定するようにしている。
しかし、車両が直進走行中であっても、車両の姿勢は路面の凹凸等によって変化することがあり、この姿勢変化によって、撮像画像上で特徴点の位置が変化することがある。
従って、S140では、上下変動等の姿勢変動がない状態で車両が直進走行しているか否かを判断できるようにしてもよい。
従って、S140では、上下変動等の姿勢変動がない状態で車両が直進走行しているか否かを判断できるようにしてもよい。
このようにすれば、路面フローを車両の姿勢変動の影響を受けることなく、路面フローを検出して、車載カメラ10の設置パラメータをより正確に推定することができるようになる。
そこで、本実施形態では、図4に示すように、カメラ姿勢推定処理において、S140の判定処理を実施する前に、S132にて、直進判定処理を実行することで、車両が姿勢変動することなく、安定した直進走行をしているか否かを判断できるようにしている。
即ち、図4に示すように、S132にて実行される直進判定処理においては、まずS310にて、加速度センサ23からの検出信号の値から、車両の上下方向に加わる上下加速度Gvを算出する。
そして、続くS320では、その算出した上下加速度Gvが、予め設定された閾値以下であるか否かを判断し、上下加速度Gvが閾値以下であれば、車両姿勢は安定していると判断して、S330に移行する。また、上下加速度Gvが閾値よりも大きい場合には、車両姿勢は上下方向に変動していると判断して、S380に移行する。
次に、S330では、操舵角センサ21からの検出信号の値から、車両操舵によって車両に加わるヨーレートYrを算出する。
そして、続くS340では、その算出したヨーレートYrが予め設定された閾値以下であるか否かを判断し、ヨーレートYrが閾値以下であれば、車両姿勢は安定していると判断して、S350に移行する。また、ヨーレートYrが予め設定された閾値よりも大きい場合には、車両姿勢は左右方向に変動していると判断して、S380に移行する。
そして、続くS340では、その算出したヨーレートYrが予め設定された閾値以下であるか否かを判断し、ヨーレートYrが閾値以下であれば、車両姿勢は安定していると判断して、S350に移行する。また、ヨーレートYrが予め設定された閾値よりも大きい場合には、車両姿勢は左右方向に変動していると判断して、S380に移行する。
次に、S350では、車輪速センサ22からの検出信号の値から、車両の走行速度である車速Vsを算出する。
そして、続くS360では、その算出した車速Vsが予め設定された閾値以上であるか否かを判断し、車速Vsが閾値以上である場合には、S370に移行する。また、車速Vsが閾値未満である場合には、車両は停止若しくは低速走行中であるので、S380に移行する。
そして、続くS360では、その算出した車速Vsが予め設定された閾値以上であるか否かを判断し、車速Vsが閾値以上である場合には、S370に移行する。また、車速Vsが閾値未満である場合には、車両は停止若しくは低速走行中であるので、S380に移行する。
S370では、上記一連の処理により、車両は走行中で、走行姿勢は変動しておらず、安定していると判断されているので、車両は直進走行中であると判定して、当該直進判定処理を終了する。
また、S380では、上記一連の処理により、車両は姿勢変動しているか、或いは、通常走行していない、と判断されているので、車両は直進走行中ではないと判定して、当該直進判定処理を終了する。
このように、本実施形態では、S132の直進判定処理にて、車両の走行中に姿勢変動していないときに、車両が直進走行中であると判定し、そうでなければ、車両は直進走行中ではないと判定する。
従って、本実施形態によれば、車両の姿勢変動によって生じる特徴点の位置変化を路面フローとして検出してしまい、その路面フローに基づき車載カメラ10の設置パラメータが誤検出されるのを、抑制することができる。
なお、本実施形態では、S150での設置パラメータの推定処理を実施する前に、姿勢変動判定部としてのS132,S140を実行して、車両の直進判定を行い、車両が直進走行中でければ、S150での推定処理を実施しないようにしている。
しかし、S132,S140での車両の直進判定は、S110、S120、若しくはS130の処理の前に実施し、車両が直進走行中でければ、これらの処理を実施せずに、S110に移行するようにしてもよい。
このようにしても、車両が姿勢変動せずに直進走行しているときにだけ、S150にて設置パラメータを推定することができるようになり、車両の姿勢変動により設置パラメータを誤って推定するのを抑制できる。
[第3実施形態]
上記実施形態では、カメラ姿勢推定処理のS130にて実行されるフロー検出処理において、S120にて路面領域と非路面領域とに分類された撮像画像を用いて、路面領域内の特徴点を複数検出し、その特徴点の位置変化から路面フローを求めるようにしている。
[第3実施形態]
上記実施形態では、カメラ姿勢推定処理のS130にて実行されるフロー検出処理において、S120にて路面領域と非路面領域とに分類された撮像画像を用いて、路面領域内の特徴点を複数検出し、その特徴点の位置変化から路面フローを求めるようにしている。
しかし、S120にて路面領域として分類された路面の面積が小さい場合には、特徴点が狭い領域内で抽出されることから、設置パラメータの推定精度が低くなることが考えられる。
そこで、本実施形態では、S120にて路面領域として分類された路面面積が設定値以下の場合には、車載カメラ10の設置パラメータを推定しないようにする。
具体的には、図5に示すように、S120にて、SSで撮像画像の路面領域が決定されると、S122に移行して、その決定された路面領域の路面面積が設置パラメータの推定に十分であるか不十分であるかを判定する、路面面積判定処理を実行する。
具体的には、図5に示すように、S120にて、SSで撮像画像の路面領域が決定されると、S122に移行して、その決定された路面領域の路面面積が設置パラメータの推定に十分であるか不十分であるかを判定する、路面面積判定処理を実行する。
そして、路面面積判定処理の実行後、S124にて、その判定結果に基づき、路面面積は十分であるか否かを判断し、路面面積が十分であれば、S130に移行して、フロー検出処理を実行し、路面面積が十分でなければ、再度S110に移行する。
また、S122の路面面積判定処理においては、S410にて、路面領域の路面面積として路面領域内の画素数Prをカウントし、S420にて、そのカウントした画素数Prの、撮像画像全体の画素数Paに対する割合α(=Pr/Pa)を算出する。
なお、撮像画像全体の画素数Paには、車載カメラ10を構成するイメージセンサの全画素数ではなく、イメージセンサにおいて車両周囲の画像を撮像可能な有効画素数が利用される。
そして、続くS430では、S420で算出した割合αが予め設定された閾値以上であるか否か、換言すれば、路面面積が設定値以上であるか否か、を判断し、割合αが閾値以上であれば、S440に移行し、割合αが閾値未満であれば、S450に移行する。
S440では、割合αが閾値以上であるので、路面面積は十分であると判定して、路面面積判定処理を終了する。また、S450では、割合αが閾値未満であるので、路面面積は不十分であると判定し、路面面積判定処理を終了する。
このように、本実施形態では、路面領域の路面面積が小さい場合には、路面面積は不十分であると判断して、S130以降の処理を実施しないようにされている。このため、路面領域の路面面積が小さく、設置パラメータを精度よく推定できないときに、設置パラメータを推定してしまうのを抑制できる。
なお、S122、S124の判定処理は、本開示の路面面積判定部として機能する。
そして、本実施形態において、路面面積判定部として機能するS122,S124の処理は、第2実施形態において、姿勢変動判定部として機能するS132,S140の処理と組み合わせて、実施するようにしてもよい。
そして、本実施形態において、路面面積判定部として機能するS122,S124の処理は、第2実施形態において、姿勢変動判定部として機能するS132,S140の処理と組み合わせて、実施するようにしてもよい。
以上、本開示の一実施形態について説明したが、本開示は上記実施形態に限定されることなく、種々変形して実施することができる。
例えば、上記実施形態では、本開示の領域分類部、路面フロー算出部、設置パラメータ算出部、姿勢変動判定部、路面面積判定部としての機能は、CPUが所定のプログラムを実行することで、実現されるものとして説明した。
例えば、上記実施形態では、本開示の領域分類部、路面フロー算出部、設置パラメータ算出部、姿勢変動判定部、路面面積判定部としての機能は、CPUが所定のプログラムを実行することで、実現されるものとして説明した。
しかし、これら各部の機能は、ソフトウェアに限るものではなく、その一部又は全部の要素を、論理回路やアナログ回路等を組み合わせたハードウェアを用いて実現するようにしてもよい。
また、上記実施形態における1つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、1つの構成要素が有する1つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、1つの構成要素によって実現したり、複数の構成要素によって実現される1つの機能を、1つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。
1…車両用撮像システム、10…車載カメラ、11〜14…カメラ、20…車両状態検出部、21…操舵角センサ、22…車輪速センサ、23…加速度センサ、30…ECU、32…カメラ姿勢推定処理部、34…画像変換描画処理部、50…映像表示装置。
Claims (4)
- 車両周囲を撮像する車載カメラ(10)と、
前記車載カメラによる撮像画像を、セマンティック・セグメンテーションにて路面領域と非路面領域とに分類する領域分類部(S120)と、
前記領域分類部にて分類された前記路面領域内で、複数の特徴点を抽出し、前記車載カメラにて順次撮像される複数の撮像画像間での前記複数の特徴点の位置変化を路面フローとして算出する、路面フロー算出部(S130)と、
前記路面フロー算出部にて算出された路面フローに基づき、前記車載カメラの設置パラメータを算出する設置パラメータ算出部(S150)と、
を備えている、車載カメラのキャリブレーション装置。 - 前記路面フロー算出部は、前記領域分類部にて分類された前記路面領域の内、前記非路面領域から一定以上離れた路面領域の中から前記複数の特徴点を抽出し、前記路面フローを算出するよう構成されている、請求項1に記載の車載カメラのキャリブレーション装置。
- 前記車両の姿勢変動を検出し、該姿勢変動が大きいか否かを判定する姿勢変動判定部(20,S132,S140)を備え、
前記姿勢変動判定部にて前記車両の姿勢変動が大きいと判定されると、前記設置パラメータを算出しないように構成されている、請求項1又は請求項2に記載の車載カメラのキャリブレーション装置。 - 前記領域分類部にて分類された前記路面領域の面積が設定値以下であるか否かを判定する路面面積判定部(S122,S124)を備え、
前記路面面積判定部にて前記路面領域の面積が前記設定値以下であると判定されると、前記設置パラメータを算出しないように構成されている、請求項1〜請求項3の何れか1項に記載の車載カメラのキャリブレーション装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018190844A JP2020060899A (ja) | 2018-10-09 | 2018-10-09 | 車載カメラのキャリブレーション装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018190844A JP2020060899A (ja) | 2018-10-09 | 2018-10-09 | 車載カメラのキャリブレーション装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020060899A true JP2020060899A (ja) | 2020-04-16 |
Family
ID=70220818
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018190844A Pending JP2020060899A (ja) | 2018-10-09 | 2018-10-09 | 車載カメラのキャリブレーション装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020060899A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111612849A (zh) * | 2020-05-12 | 2020-09-01 | 深圳市哈工大交通电子技术有限公司 | 一种基于流动车辆的摄像机标定方法及系统 |
EP3905113A1 (en) * | 2020-04-27 | 2021-11-03 | Fujitsu Limited | Camera height calculation method and image processing apparatus |
WO2023042422A1 (ja) * | 2021-09-15 | 2023-03-23 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP7359901B1 (ja) | 2022-04-28 | 2023-10-11 | 株式会社デンソーテン | 情報処理装置、情報処理方法およびプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004206312A (ja) * | 2002-12-24 | 2004-07-22 | Sumitomo Electric Ind Ltd | 車両検出システム、及び車両検出装置 |
JP2016082258A (ja) * | 2014-10-09 | 2016-05-16 | 株式会社デンソー | 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法 |
JP2017139600A (ja) * | 2016-02-03 | 2017-08-10 | クラリオン株式会社 | カメラキャリブレーション装置 |
JP2017162456A (ja) * | 2016-03-11 | 2017-09-14 | 株式会社東芝 | 道路シーンのセマンティックセグメンテーションのための制約付きデコンボリューションネットワークのトレーニング |
JP2018032253A (ja) * | 2016-08-25 | 2018-03-01 | クラリオン株式会社 | キャリブレーション装置、キャリブレーション方法、キャリブレーションプログラム |
-
2018
- 2018-10-09 JP JP2018190844A patent/JP2020060899A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004206312A (ja) * | 2002-12-24 | 2004-07-22 | Sumitomo Electric Ind Ltd | 車両検出システム、及び車両検出装置 |
JP2016082258A (ja) * | 2014-10-09 | 2016-05-16 | 株式会社デンソー | 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法 |
JP2017139600A (ja) * | 2016-02-03 | 2017-08-10 | クラリオン株式会社 | カメラキャリブレーション装置 |
JP2017162456A (ja) * | 2016-03-11 | 2017-09-14 | 株式会社東芝 | 道路シーンのセマンティックセグメンテーションのための制約付きデコンボリューションネットワークのトレーニング |
JP2018032253A (ja) * | 2016-08-25 | 2018-03-01 | クラリオン株式会社 | キャリブレーション装置、キャリブレーション方法、キャリブレーションプログラム |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3905113A1 (en) * | 2020-04-27 | 2021-11-03 | Fujitsu Limited | Camera height calculation method and image processing apparatus |
US11580663B2 (en) | 2020-04-27 | 2023-02-14 | Fujitsu Limited | Camera height calculation method and image processing apparatus |
CN111612849A (zh) * | 2020-05-12 | 2020-09-01 | 深圳市哈工大交通电子技术有限公司 | 一种基于流动车辆的摄像机标定方法及系统 |
WO2023042422A1 (ja) * | 2021-09-15 | 2023-03-23 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP7359901B1 (ja) | 2022-04-28 | 2023-10-11 | 株式会社デンソーテン | 情報処理装置、情報処理方法およびプログラム |
JP2023163887A (ja) * | 2022-04-28 | 2023-11-10 | 株式会社デンソーテン | 情報処理装置、情報処理方法およびプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10970568B2 (en) | Vehicular vision system with object detection | |
EP2933790B1 (en) | Moving object location/attitude angle estimation device and moving object location/attitude angle estimation method | |
JP2020060899A (ja) | 車載カメラのキャリブレーション装置 | |
JP5538411B2 (ja) | 車両周囲監視装置 | |
JP4697101B2 (ja) | 車両検出装置、およびライト制御装置 | |
US20110199197A1 (en) | System for monitoring the area around a vehicle | |
US9202106B2 (en) | Eyelid detection device | |
US11157753B2 (en) | Road line detection device and road line detection method | |
JP5803285B2 (ja) | 制限車速設定装置及び制限車速設定方法 | |
US10554951B2 (en) | Method and apparatus for the autocalibration of a vehicle camera system | |
US20220196395A1 (en) | Method for ascertaining an operating angle between a tractor and a trailer of the tractor | |
US20200151895A1 (en) | Image processing device and image processing method | |
CN103383728B (zh) | 使用环视系统的全速车道感测 | |
JP2020060550A (ja) | 異常検出装置、異常検出方法、姿勢推定装置、および、移動体制御システム | |
US11295429B2 (en) | Imaging abnormality diagnosis device | |
JP5561469B2 (ja) | ヨーレート補正装置、及びその方法 | |
JP6768554B2 (ja) | キャリブレーション装置 | |
JP7196781B2 (ja) | 情報処理装置及び運転支援システム | |
JP7247772B2 (ja) | 情報処理装置及び運転支援システム | |
JP2019133580A (ja) | 区画線検出装置、区画線検出システム、及び区画線検出方法 | |
JP6023030B2 (ja) | 舵角補正方法、舵角補正装置、撮像装置、および舵角補正システム | |
JP2013183311A (ja) | 車載カメラの姿勢角推定装置及び検出システム | |
EP2919191B1 (en) | Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value producing method | |
WO2018088263A1 (ja) | 駐車枠認識装置 | |
JP2020087210A (ja) | キャリブレーション装置及びキャリブレーション方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210413 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220323 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220426 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20221018 |