JP2021002790A - カメラパラメータ設定装置、カメラパラメータ設定方法、及びカメラパラメータ設定プログラム - Google Patents

Abstract

【課題】本発明は、車両の姿勢等が変化した場合であっても、迅速に適正なカメラパラメータを設定することが可能なカメラパラメータ設定装置を提供することを目的とする。【解決手段】本開示の実施形態に係るカメラパラメータ設定装置は、車載カメラの位置姿勢に影響を与える車両の状態に対して、所望の精度が得られるように車載カメラの出力データを校正する複数のカメラパラメータを記憶する記憶部と、車両の状態を取得する取得部と、記憶部に記憶された複数のカメラパラメータの中から、取得部により取得された車両の状態に対応するカメラパラメータを選択する選択部と、車載カメラからの出力データを校正するために、選択部により選択されたカメラパラメータを出力する出力部と、を有することを特徴とする。【選択図】図１

Description

本発明は、カメラパラメータ設定装置、カメラパラメータ設定方法、及びカメラパラメータ設定プログラムに関し、特に車両に搭載されたカメラのカメラパラメータ設定装置、カメラパラメータ設定方法、及びカメラパラメータ設定プログラムに関する。

イメージセンサを使用する車両の周辺監視システムは、車載カメラの適切な校正（キャリブレーション）を前提とする。校正には、まず精度要件を満足させたい状況を設定し、その状況下での精度を満足するような工場での校正環境（特徴点を有する校正用ターゲット、校正用ターゲットの設置位置、外乱抑制、照度要件など）を設計する必要がある。校正結果はカメラパラメータとして算出されるが、通常一種類のカメラパラメータしか算出しない。

また、誤差の全くないカメラ校正を行うことは難しい。それは、工業製品としての校正用ターゲットの設置や車両の設置、カメラ取り付け等に公差が必ず存在すること、画面解像度に限界があること、及びロジック上、多変数の求解を行うときには真の解でなく局所解に陥ることによる。

したがって、誤差を含んだカメラパラメータではあるが、特定のシーンでの精度要件を満足するような結果を校正結果として用いることになる。この誤差を含んだ校正結果は、設計時に想定した状況以外の状況下の精度については、通常保証しない。

また、一種類のカメラパラメータであらゆるＡＤＡＳ（先進運転支援システム）のシーンに対応するのは不可能である。システムが提供する機能について、画面合成、歩行者・車両認識、車線認識、駐車支援など、高精度を要求するシーンが多岐にわたり、範囲も拡大しているからである。従って、全シーンでの要求精度を満足するような完璧なカメラ校正は、工業製品として設計公差などがある以上、実現は困難である。また、校正時の車両の状態が実際に使用される状態と大きく異なることも想定される。このため、特定の条件下の校正結果を他の条件下でも用いることになるが、この場合、要求された精度を満足しないことがある。

また、カメラ校正を自動車工場に相当する環境で行うのではなく、工場出荷後、校正に適した特徴点（車線等）が映った映像が入力されるタイミングで動的にカメラを校正する方法が知られている（例えば、特許文献１）。

しかしながら、特徴点によってカメラ校正が行われた後に、車両の姿勢等が変動してしまうと、合成画像の品質低下や、対象物の認識及び距離測定の精度悪化が生じるという問題がある。

特開２０１７−７８９２３号公報

本発明は、車両の姿勢等が変化した場合であっても、迅速に適正なカメラパラメータを設定することが可能なカメラパラメータ設定装置、カメラパラメータ設定方法、及びカメラパラメータ設定プログラムを提供することを目的とする。

本開示の実施形態に係るカメラパラメータ設定装置は、車載カメラの位置姿勢に影響を与える車両の状態に対して、所望の精度が得られるように車載カメラの出力データを校正する複数のカメラパラメータを記憶する記憶部と、車両の状態を取得する取得部と、記憶部に記憶された複数のカメラパラメータの中から、取得部により取得された車両の状態に対応するカメラパラメータを選択する選択部と、車載カメラからの出力データを校正するために、選択部により選択されたカメラパラメータを出力する出力部と、を有することを特徴とする。

本開示の実施形態に係るカメラパラメータ設定方法は、車載カメラの位置姿勢に影響を与える車両の状態に対して、所望の精度が得られるように車載カメラの出力データを校正する複数のカメラパラメータを記憶し、車両の状態を取得し、記憶された複数のカメラパラメータの中から、取得された車両の状態に対応するカメラパラメータを選択し、車載カメラからの出力データを校正するために、選択されたカメラパラメータを出力する、ステップを有することを特徴とする。

本開示の実施形態に係るカメラパラメータ設定プログラムは、車載カメラのカメラパラメータを設定するカメラパラメータ設定装置に含まれるコンピュータによって実行可能なプログラムであって、車載カメラの位置姿勢に影響を与える車両の状態に対して、所望の精度が得られるように車載カメラの出力データを校正する複数のカメラパラメータを記憶し、車両の状態を取得し、記憶された複数のカメラパラメータの中から、取得された車両の状態に対応するカメラパラメータを選択し、車載カメラからの出力データを校正するために、選択されたカメラパラメータを出力する、ステップをコンピュータに実行させることを特徴とする。

本開示の実施形態に係るカメラパラメータ設定装置、カメラパラメータ設定方法、及びカメラパラメータ設定プログラムによれば、車両の姿勢等が変化した場合であっても、迅速に適正なカメラパラメータを設定することができる。

本開示の実施形態に係るカメラパラメータ設定装置を含む画像表示システムの構成図である。 カメラを搭載した車両の平面図である。 本開示の実施形態に係るカメラパラメータ設定装置の構成図である。 カメラパラメータである位置の座標軸と車両との関係を示す平面図である。 カメラパラメータである位置の座標軸と車両との関係を示す側面図である。 カメラパラメータであるパン角とフロントカメラの光軸との関係を示す図である。 カメラパラメータであるチルト角とフロントカメラの光軸との関係を示す図である。 カメラパラメータであるロール角とフロントカメラの光軸との関係を示す図である。 近距離用のカメラパラメータを校正する際のターゲットの設置位置を示す平面図である。 遠距離用のカメラパラメータを校正する際のターゲットの設置位置を示す平面図である。 乗車人数が少ない場合のカメラパラメータを校正する際のカメラの位置を示す車両の側面図である。 乗車人数が多い場合のカメラパラメータを校正する際のカメラの位置を示す車両の側面図である。 複数のモードのそれぞれの状態の組み合わせと校正により得られたカメラパラメータとを対応させた表である。 （ａ）は正しいカメラパラメータを有するカメラで撮像された画像から作成した車両の鳥瞰図であり、（ｂ）は適正でないカメラパラメータを有するカメラで撮像された画像から作成した車両の鳥瞰図である。 本開示の実施形態に係るカメラパラメータ設定方法の手順を説明するためのフローチャートである。 本開示の実施形態に係るカメラパラメータ設定方法における、複数のモードのそれぞれにおける状態の決定手順を説明するためのフローチャートである。

以下、図面を参照して、本発明に係るカメラパラメータ設定装置、カメラパラメータ設定方法、及びカメラパラメータ設定プログラムについて説明する。ただし、本発明の技術的範囲はそれらの実施の形態には限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。

図１に本開示の実施形態に係るカメラパラメータ設定装置を含む画像表示システムの構成図を示す。画像表示システム１００は、車両に搭載される電子装置であり、車両の周辺を撮影して画像を生成し、車室内に表示する機能を備えている。画像表示システム１００は、車両の周囲の様子を撮影する撮影部５と、撮影部５が撮影した画像を処理する機能を有するＥＣＵ（Electronic Control Unit）である画像処理部１０と、処理した画像を表示する表示部２１とを備えている。

撮影部５は、画像処理部１０に電気的に接続され、画像処理部１０からの信号に基づいて動作する。撮影部５は、車載カメラであるフロントカメラ５１、サイドカメラ５２、及びバックカメラ５３を備えている。各車載カメラ５１〜５３は、レンズと撮像素子とを備えており電子的に画像を取得する。さらに、車内への乗車人数を検出するために室内カメラ５４を設けることが好ましい。

これらの複数の車載カメラ５１〜５３は、車両の異なる位置にそれぞれ配置される。図２は、車載カメラ５１〜５３が車両２００に配置される位置を示す平面図である。

図２に示すように、フロントカメラ５１は、車両２００の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両２００の直進方向に向けられている。バックカメラ５３は、車両２００の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５３ａは車両２００の直進方向と逆方向に向けられている。これらフロントカメラ５１やバックカメラ５３の取り付け位置は、左右中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。サイドカメラ５２は左右のサイドミラー９３にそれぞれ設けられ、その光軸５２ａは車両２００の左右方向（直進方向と直交する方向）に沿って車両２００の外側に向けられている。

これらの車載カメラ５１〜５３のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１〜５３は１８０度以上の画角を有している。このため、車載カメラ５１〜５３は、それぞれの光軸５１ａ〜５３ａを中心として、斜め下方や斜め上方の範囲の視野も撮影画像に映すことができる。撮影部５は、４つの車載カメラ５１〜５３を利用することで車両２００の全周囲の撮影が可能となっている。

図１に示すように、画像処理部１０は、撮影部５で取得された撮影画像を処理して表示用の画像に変換する画像変換部３と、各種の演算処理を行うＣＰＵ１と、表示部２１との間で通信を行う通信部４２とを備えている。画像変換部３で生成された画像は通信部４２から表示部２１に出力されて表示される。

画像変換部３は、撮影部５の複数の車載カメラ５１〜５３で取得された複数の撮影画像に基づいて仮想視点からみた合成画像を生成できる。画像変換部３は、このような画像処理に必要な輝度調整部３１、多重化部３２、及び視点変換部３３を備えたハードウェア回路として構成されている。

輝度調整部３１は、撮影部５で取得された撮影画像の全体としての明るさを示す平均輝度を参照し、撮影画像のゲイン調整を行う。具体的には、撮影画像の平均輝度が比較的高い場合はゲイン調整値を小さくし、比較的低い場合はゲイン調整値を大きくする。これにより、車両２００の周辺環境がある程度暗い場合などにおいて撮影画像の明るさが調整されることとなる。

多重化部３２は、複数の車載カメラ５１〜５３で取得されてゲイン調整された複数の撮影画像を一つの画像に合成して多重化画像とする。視点変換部３３は、多重化部３２で生成された多重化画像を用いて、車両２００の周辺の任意の仮想視点からみた合成画像を生成する。

ＣＰＵ１は、車両の姿勢等の変化に対応してカメラパラメータを設定するカメラパラメータ設定装置７と、メモリ１１とを有している。

ＣＰＵ１は、画像表示システム１００の各部を統括的に制御する制御部として機能する。ＣＰＵ１の各種の制御機能は、ＣＰＵ１が備えるメモリ１１などに予め記憶されたプログラムに従って演算処理が実行されることによりソフトウェア的に実現される。

メモリ１１として、電源オフ時においても記憶内容を維持可能なフラッシュメモリ等を用いることができる。メモリ１１は、ＣＰＵ１によって実行される各種プログラム、ＣＰＵ１によって用いられる各種データ等を記憶する。メモリ１１は、アプリケーションソフトウェアの一つであるカメラパラメータ設定プログラムを不揮発的に記憶する。カメラパラメータ設定プログラムは、例えば、ＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体から、公知のセットアッププログラム等を用いてメモリ１１にインストールするようにしてもよい。

画像表示システム１００の画像処理部１０は、信号入力部４１をさらに備えており、ＣＰＵ１に接続されている。

信号入力部４１は、車両に設けられた各種装置からの信号を入力する。この信号入力部４１を介して、画像表示システム１００の外部からの信号がＣＰＵ１に入力される。本開示の実施形態では、車両電源制御装置８４からの信号が信号入力部４１を介してＣＰＵ１に入力される。

車両電源制御装置８４からは車両のＡＣＣ（アクセサリー電源）をオン／オフする信号が入力される。ＡＣＣは、車両２００の画像表示システム１００を含む付属品に対して、電力を供給する供給線をオン／オフするスイッチである。

画像表示システム１００には、シフトセンサ８１及び車速度センサ８２から信号が入力される。シフトセンサ８１からは、車両の変速装置のシフトレバーの操作の位置、即ち、「Ｐ（駐車）」、「Ｄ（前進）」、「Ｎ（ニュートラル）」、「Ｒ（後退）」等のシフトポジションを示すシフト位置信号が入力される。車速度センサ８２からは、車両の停止状態又は移動状態を検出する、車速パルスに基づく状態信号が入力される。

また、画像表示システム１００には、表示内容を切り替える指示をユーザから受け付ける切替スイッチ８３からの信号が入力される。これにより、画像表示システム１００は、表示部２１に対するユーザの操作、及び、切替スイッチ８３に対するユーザの操作の双方に応答した動作が可能となっている。切替スイッチ８３は、ユーザが操作しやすいように、画像表示システム１００とは別に車両の適切な位置に配置される。

さらに、画像表示システム１００には、重量センサ８５、車高センサ８６、及び乗員検知センサ８７からの信号が入力される。重量センサ８５は、車両に乗った人員及び積載された荷物の総重量を検出する。重量センサ８５の検出値は、信号入力部４１を介してＣＰＵ１に入力される。

車高センサ８６は、車両２００の高さを検出する。車両２００の高さが変動することにより車載カメラ５１〜５３の高さも変動する。車高は車両２００への積載量が増えると低くなり、また運転モードに応じて上下する。車高センサ８６の検出値は、信号入力部４１を介してＣＰＵ１に入力される。

乗員検知センサ８７は、車両２００に乗り込んだ乗員を検知する。車両２００の各シートの近傍にセンサを設けることで、どのシートに乗員が乗っているかを検知することができる。乗員検知センサの代わりに着座センサや、シートベルトリマインダセンサを用いるようにしてもよい。乗員検知センサ８７の検出値は、信号入力部４１を介してＣＰＵ１に入力される。

図３に、本開示の実施形態に係るカメラパラメータ設定装置７の構成図を示す。カメラパラメータ設定装置７は、記憶部７１と、取得部７２と、選択部７３と、出力部７４とを有する。

車両の状態に影響を与える複数のモードが存在する。この複数のモードにおける状態が変化することにより車両の位置姿勢が変化し、車載カメラの位置姿勢も変化する。その結果、予め設定されたカメラパラメータを有する車載カメラで撮像された画像を用いて画像処理を行うと誤差が生じることとなる。そこで、本開示の実施形態に係るカメラパラメータ設定装置は、車載カメラの位置姿勢の変化に応じた適正なカメラパラメータを用いて、処理画像の誤差を少なくするものである。

複数のモードには、距離モード、車高モード、重量モード、及び乗車人員モードのうちの少なくとも１つが含まれる。そして、複数のモードのそれぞれは、下記のように複数の状態を有する。

距離モードは、車両から車載カメラが撮像しようとする対象物までの距離を表すモードである。例えば、距離モードによって決まる状態には、車両から近い距離を撮像する場合の「近距離」及び車両から遠い距離を撮像する場合の「遠距離」が含まれる。ただし、このような例には限られず、これらの中間の状態を表す「中距離」の状態を含むようにしてもよい。

この距離モードは撮影画像の使用用途等により切り替えられるもので、例えば、広い範囲の車両周辺合成鳥瞰画像を生成表示する場合は「遠距離」範囲の画像を撮影し、狭い範囲の車両周辺合成鳥瞰画像を生成表示する場合は「近距離」範囲の画像を撮影することになるものであって、これらの場合で距離モードが切り替えられる。

車高モードは、車両の高さ（車高）を表すモードである。例えば、車高モードによって決まる状態には、車高が通常の状態を表す「ノーマル」、車高が通常よりも低い状態を表す「ロー」、及び車高が通常より高い状態を表す「ハイ」が含まれる。ただし、このように３つの状態を含むような例には限られず、「ロー」及び「ハイ」の２つの状態、あるいは、「ノーマル」と「ハイ」の中間の状態を表す「ミドルハイ」等を含めた４つ以上の状態を含むようにしてもよい。

重量モードは、車両に積載された荷物の重量を表すモードである。例えば、重量モードによって決まる状態には、積載物がない状態を表す「なし」、積載物の重量が軽い状態を表す「軽」、及び積載物の重量が重い状態を表す「重」が含まれる。ただし、このように３つの状態を含むような例には限られず、「なし」及び積載物が有る状態を表す「有り」の２つの状態、あるいは、重量が「軽」と「重」の中間の状態を表す「中」等を含めた４つ以上の状態を含むようにしてもよい。

乗車人員モードは、車両のどのシートに人が乗っているかを表すモードである。車内のどのシートに人が乗っているかに関する情報は、室内カメラ５４の画像や乗員検知センサ８７からの信号により検出することができる。例えば、乗車人員モードによって決まる状態には、運転席のみに乗車している状態を表す「Ｄ」、運転席と助手席に乗車している状態を表す「Ｄ＋Ｐ」、運転席と後部座席右側の座席に乗車している状態を表す「Ｄ＋ＢＲ」、運転席と後部座席左側の座席に乗車している状態を表す「Ｄ＋ＢＬ」、全席に乗車している状態を表す「全席」が含まれる。ただし、このような例には限られず、２シーターの車両の場合は、「Ｄ」及び「全席」の２つの状態を含み、後部座席が複数列存在する場合には座席数に応じて状態の数を増加させるようにしてもよい。

記憶部７１は、車両の状態に対して、所望の精度が得られるように車載カメラの出力データを校正する複数のカメラパラメータを記憶する。記憶部７１は、フラッシュメモリ等の記憶装置で構成することができる。

カメラパラメータには、位置（ｘ，ｙ，ｚ）、姿勢（パン角、チルト角、ロール角）、レンズ歪み係数ｋが含まれる。

図４に、カメラパラメータである位置の座標軸と車両との関係を表す平面図を示し、図５に、カメラパラメータである位置の座標軸と車両との関係を表す側面図を示す。図４及び図５に示すように、車載カメラの位置（ｘ，ｙ，ｚ）の座標軸として、車両２００の進行方向と直交する方向にｘ軸、車両２００の進行方向にｙ軸、路面に対して鉛直方向にｚ軸をとる例を示したが、このような例には限られない。上述した複数のモードにおける状態が変化することにより、車載カメラの位置が変化する場合がある。

図６にカメラパラメータであるパン角とフロントカメラ５１の光軸５１ａとの関係を示す。図７にカメラパラメータであるチルト角とフロントカメラ５１の光軸５１ａとの関係を示す。図８にカメラパラメータであるロール角とフロントカメラ５１の光軸５１ａとの関係を示す。パン角は、車載カメラ５１の水平方向の角度を補正するためのカメラパラメータである。チルト角は、車載カメラ５１の鉛直方向の角度を補正するためのカメラパラメータである。ロール角は、車載カメラ５１のレンズの鉛直方向に沿った車載カメラ５１の角度を補正するためのカメラパラメータである。上述した複数のモードにおける状態が変化することにより、車載カメラの姿勢（パン角、チルト角、ロール角）が変化する場合がある。

本開示の実施形態に係るカメラパラメータ設定装置においては、複数のモードにおける状態の組み合わせのそれぞれに対して、所望の精度が得られるように車載カメラの出力データを校正する複数のカメラパラメータを予め設定する。

図９に近距離用のカメラパラメータを校正する際のターゲットの設置位置を表す平面図を示す。図１０に遠距離用のカメラパラメータを校正する際のターゲットの設置位置を表す平面図を示す。距離モードの状態が「近距離」である場合は、図９に示すように車両２００から近い位置に複数のターゲット６１〜６４を設置して、所望の精度が得られるように車載カメラ５１〜５３のカメラパラメータを設定する。一方、距離モードの状態が「遠距離」である場合は、図１０に示すように車両２００から遠い位置に複数のターゲット６１〜６４を設置して、所望の精度が得られるように車載カメラ５１〜５３のカメラパラメータを設定する。

図１１に乗車人数が少ない場合のカメラパラメータを校正する際のカメラの位置を表す車両の側面図を示す。図１２に乗車人数が多い場合のカメラパラメータを校正する際のカメラの位置を表す車両の側面図を示す。図１１に示すように、乗車人数が少ない場合、例えば１名のみ乗車している場合のフロントカメラ５１の高さをｈ₁とする。また、図１２に示すように、乗車人数が多い場合、例えばＮ（Ｎ＞１）名乗車している場合のフロントカメラ５１の高さをｈ_Nとする。そうすると、ｈ₁＞ｈ_Nとなる。ｈ_Nの大きさは乗車人数によって変化するため、乗車人数に応じて所望の精度が得られるようにカメラパラメータを設定することが好ましい。

以上のようにして、複数のモードにおける状態の組み合わせのそれぞれに対して、所望の精度が得られるように車載カメラの出力データを校正した複数のカメラパラメータを設定する。図１３に、複数のモードのそれぞれの状態の組み合わせと校正により得られたカメラパラメータとを対応させた表を示す。記憶部７１は、複数の車両の状態の組み合わせと複数のカメラパラメータとを対応させたルックアップテーブルを記憶することが好ましい。複数の状態の組み合わせと校正されたカメラパラメータとを対応させたルックアップテーブルから、状態の変化に応じて適正なカメラパラメータを選択することができるため、状態の変化のたびにカメラパラメータを算出する必要がない。そのため、各モードの状態の変化に対して、リアルタイムで適正なパラメータを設定することができる。

図１３において、「Ａ」は「距離モード」を表し、「ａ１」は距離モードにおける状態が「近距離」であることを示し、「ａ２」は距離モードにおける状態が「遠距離」であることを示している。

また、「Ｂ」は「車高モード」を表し、「ｂ１」は車高モードにおける状態が「ノーマル」であることを示し、「ｂ２」は車高モードにおける状態が「ロー」であることを示し、「ｂ３」は車高モードにおける状態が「ハイ」であることを示している。

また、「Ｃ」は「乗車人員モード」を表し、「ｃ１」は乗車人員モードにおける状態が「運転席（Ｄ）」であることを示し、「ｃ２」は乗車人員モードにおける状態が「運転席及び助手席（Ｄ＋Ｐ）」であることを示し、「ｃｎ」は乗車人員モードにおける状態が「全席」であることを示している。

また、「Ｄ」は「積載重量モード」を表し、「ｄ１」は積載重量モードにおける状態が「なし」であることを示し、「ｄ２」は積載重量モードにおける状態が「軽」であることを示し、「ｄ３」は積載重量モードにおける状態が「重」であることを示している。

図１３に示した表の第２行目は、複数のモードＡ〜Ｄの状態が（ａ１，ｂ１，ｃ１，ｄ１）である場合において、校正されたカメラパラメータが「Ｐ０」であることを示している。同様に、図１３に示した表の第３行目は、複数のモードＡ〜Ｄの状態が（ａ１，ｂ１，ｃ１，ｄ２）である場合において、校正されたカメラパラメータが「Ｐ１」であることを示している。以下、同様にして、複数のモードＡ〜Ｄにおける状態の組み合わせのそれぞれに対して、所望の精度が得られるように車載カメラの出力データを校正する複数のカメラパラメータを決定し、記憶部７１に記憶する。

図１３に示した表において、記憶部７１の容量との関係でカメラパラメータの数を削減することが好ましい場合は、精度上共通化可能なカメラパラメータについては、表におけるｉ番目のカメラパラメータＰｉを、ｊ番目のカメラパラメータＰｊと共通化（Ｐｉ＝Ｐｊ）するようにしてもよい。

上記の例では、あるモードの複数の状態のそれぞれについて、校正を実行してターゲットを用いてカメラパラメータを決定する例を示したが、このような例には限られない。即ち、あるモードの複数の状態のうちの１つの状態についてターゲットを用いて校正を実行して基準となるカメラパラメータを決定し、その他の状態については基準となるカメラパラメータと状態に対応するデータを用いて計算により求めるようにしてもよい。例えば、車高モードについて、車高をノーマルに設定した状態で校正を実行してカメラパラメータを決定し、車高がロー及びハイの場合は、それぞれノーマルの場合のカメラパラメータとノーマルの状態からの車高の変化量からカメラパラメータを幾何学的計算により算出するようにしてもよい。同様に、乗車人数、積載重量の各モードについても、基準となるカメラパラメータ及び各モードにおける車高の変化量から、各状態におけるカメラパラメータを算出するようにしてもよい。このように複数のカメラパラメータの少なくとも一部を計算により算出することにより、全てのカメラパラメータについて校正を実行して決定する場合に比べて工数を削減することができる。

取得部７２は、車両の状態を取得する。取得部７２が車両の状態を取得するタイミングの例として、撮影部５から車載カメラ５１〜５３の距離モードが変更された旨の情報を取得したタイミングが挙げられる。その他の例として、重量センサ８５、車高センサ８６、及び乗員検知センサ８７からの情報により、重量モード、車高モード、及び乗車人数モードのうちの少なくともいずれか１つに含まれる状態が変化したタイミングが挙げられる。

選択部７３は、記憶部７１に記憶された複数のカメラパラメータの中から、取得部７２により取得された車両の状態に対応するカメラパラメータを選択する。選択部７３は、既に存在している複数のカメラパラメータの中から、複数の状態の組み合わせに対応したカメラパラメータを選択することができるため、その都度計算によりカメラパラメータを算出する場合に比べて迅速に適正なカメラパラメータを設定することができる。

出力部７４は、車載カメラ５１〜５３からの出力データを校正するために、選択部７３により選択されたカメラパラメータを出力する。出力部７４が、選択されたカメラパラメータを画像変換部３に出力することにより、画像変換部３は複数のモードの状態が変化した場合であっても適正なカメラパラメータを用いて画像処理を行うことができる。

図１４（ａ）に、正しいカメラパラメータを有するカメラで撮像された画像から作成した車両の鳥瞰図を示す。フロントカメラで撮像された画像３０１には左側の白線の一部Ｌ１と右側の白線の一部Ｒ１が表示されている。サイドカメラで撮像された画像３０２及び３０４には、それぞれ右側の白線の一部Ｒ２及び左側の白線の一部Ｌ２が表示されている。リアカメラで撮像された画像３０３には左側の白線の一部Ｌ３と右側の白線の一部Ｒ３が表示されている。４０１は、画像３０１と３０４との境界を示し、４０２は、画像３０１と３０２との境界を示す。同様に、４０３は、画像３０２と３０３との境界を示し、４０４は、画像３０３と３０４との境界を示す。図１４（ａ）に示すように、カメラパラメータが正しい場合、左側の白線Ｌ１、Ｌ２、Ｌ３は連続して１つの直線を描き、右側の白線Ｒ１、Ｒ２、Ｒ３は連続して１つの直線を描く。

図１４（ｂ）に、適正でないカメラパラメータを有するカメラで撮像された画像から作成した車両の鳥瞰図を示す。カメラパラメータが適正でない場合、左側の白線Ｌ１、Ｌ２、Ｌ３は不連続となり、右側の白線Ｒ１、Ｒ２、Ｒ３も不連続となる。このように、複数のモードにおけるいずれかの状態が変化し、カメラパラメータが適正でなくなった場合、そのままで画像処理を行うと図１４（ｂ）に示すように、合成画像が歪む場合が考えられる。これに対して、本開示の実施形態に係るカメラパラメータ設定装置により、複数のモードにおけるいずれかの状態が変化した場合であっても、変化後の状態に適したカメラパラメータで校正を行えば画像処理を正常に実行することができる。鳥瞰画像における歪みは、車両の状態の変化が原因であるため、変化後の状態に適したカメラパラメータを用いて画像処理を行うことにより、歪みがない鳥瞰画像を得ることができる。

以上の説明において、カメラパラメータに影響を与える複数のモードには、車載カメラが撮像する対象物までの距離、車高、乗車人数、積載重量の各モードが含まれ、それぞれのモードにおける状態が変化する例を示したが、このような例には限られない。即ち、カメラパラメータに影響を与えるモードに、これら複数のモードのうちの少なくとも１部のモードのみを含むようにしてもよい。あるいは、カメラパラメータに影響を与えるモードに、タイヤの交換による車高の変化等、状態が変化するその他のモードを含むようにしてもよい。

次に、本開示の実施形態に係るカメラパラメータ設定方法について説明する。図１５に、本開示の実施形態に係るカメラパラメータ設定方法の手順を説明するためのフローチャートを示す。図１５に示したカメラパラメータ設定処理はメモリ１１に記憶したプログラムにより実行することができる。

まず、ステップＳ１０１において、記憶部７１が、車両の状態に対して、複数のカメラパラメータを記憶する。このステップＳ１０１の処理は、画像表示システム１００を含む搭載装置がカメラパラメータの記憶モードとなったとき、例えば製造工場やメンテナンス店、販売店等で、特殊操作により記憶モードにした場合に実行されることになる。
尚、以降の処理は、搭載装置の通常起動時に実行される。

次に、ステップＳ１０２において、取得部７２が、車両の状態を取得する。

次に、ステップＳ１０３において、選択部７３が、車両の状態に対応するカメラパラメータを選択する。

次に、ステップＳ１０４において、出力部７４が、車載カメラからの出力データを校正するために、選択されたカメラパラメータを出力する。

ここで、ステップＳ１０２において取得部７２が取得する状態であって、複数のモードにおけるそれぞれの状態の決定方法について説明する。図１６に、本開示の実施形態に係るカメラパラメータ設定方法における、複数のモードのそれぞれにおける状態の決定手順を説明するためのフローチャートを示す。

図１６に示すフローチャートは、例えば、車載カメラや各種センサからの情報により、各モードのうちの少なくともいずれか１つに含まれる状態が変化したタイミングで開始される。

まず、ステップＳ２０１において、距離モードの状態が変更されたか否かを判断する。

距離モードの状態が変更された場合は、ステップＳ２０２において、距離モードの状態を変更された新たな状態に設定する。

一方、距離モードの状態が変更されなかった場合は、ステップＳ２０３において、車高モードの状態が変更されたか否かを判断する。

車高モードの状態が変更された場合は、ステップＳ２０４において、車高モードの状態を変更された新たな状態に設定する。

一方、車高モードの状態が変更されなかった場合は、ステップＳ２０５において、重量モードの状態が変更されたか否かを判断する。

重量モードの状態が変更された場合は、ステップＳ２０６において、重量モードの状態を変更された新たな状態に設定する。

一方、重量モードの状態が変更されなかった場合は、ステップＳ２０７において、乗車人数モードの状態が変更されたか否かを判断する。

乗車人数モードの状態が変更された場合は、ステップＳ２０８において、乗車人数モードの状態を変更された新たな状態に設定する。

一方、乗車人数モードの状態が変更されなかった場合は、ステップＳ２０９において、各モードにおける状態の組み合わせを決定する。

以上のようにして、複数のモードにおける状態の組み合わせを決定し、ステップＳ１０３において複数の状態の組み合わせに対応するカメラパラメータを選択することができる。

以上説明したように、本開示の実施形態に係るカメラパラメータ設定装置、カメラパラメータ設定方法、及びカメラパラメータ設定プログラムによれば、車両の姿勢等が変化した場合であっても、迅速に適正なカメラパラメータを設定することができる。

１ ＣＰＵ
３ 画像変換部
５ 撮影部
７ カメラパラメータ設定装置
１０ 画像処理部
２１ 表示部
５１ フロントカメラ
５２ サイドカメラ
５３ バックカメラ
５４ 室内カメラ
７１ 記憶部
７２ 取得部
７３ 選択部
７４ 出力部
１００ 画像表示システム
２００ 車両

Claims (5)

1. 車載カメラの位置姿勢に影響を与える車両の状態に対して、所望の精度が得られるように車載カメラの出力データを校正する複数のカメラパラメータを記憶する記憶部と、
   車両の状態を取得する取得部と、
   前記記憶部に記憶された複数のカメラパラメータの中から、前記取得部により取得された車両の状態に対応するカメラパラメータを選択する選択部と、
   車載カメラからの出力データを校正するために、前記選択部により選択されたカメラパラメータを出力する出力部と、
   を有することを特徴とするカメラパラメータ設定装置。
2. 前記記憶部は、複数の車両の状態の組み合わせと複数のカメラパラメータとを対応させたルックアップテーブルを記憶する、請求項１に記載のカメラパラメータ設定装置。
3. 車両の状態に影響を与える複数のモードが存在し、複数のモードには、車載カメラが撮像する対象物までの距離、車高、乗車人数、積載重量のそれぞれに関するモードのうちの少なくとも１つが含まれる、請求項１または２に記載のカメラパラメータ設定装置。
4. 車載カメラの位置姿勢に影響を与える車両の状態に対して、所望の精度が得られるように車載カメラの出力データを校正する複数のカメラパラメータを記憶し、
   車両の状態を取得し、
   記憶された複数のカメラパラメータの中から、取得された車両の状態に対応するカメラパラメータを選択し、
   車載カメラからの出力データを校正するために、選択されたカメラパラメータを出力する、
   ステップを有することを特徴とするカメラパラメータ設定方法。
5. 車載カメラのカメラパラメータを設定するカメラパラメータ設定装置に含まれるコンピュータによって実行可能なプログラムであって、
   車載カメラの位置姿勢に影響を与える車両の状態に対して、所望の精度が得られるように車載カメラの出力データを校正する複数のカメラパラメータを記憶し、
   車両の状態を取得し、
   記憶された複数のカメラパラメータの中から、取得された車両の状態に対応するカメラパラメータを選択し、
   車載カメラからの出力データを校正するために、選択されたカメラパラメータを出力する、
   ステップを前記コンピュータに実行させることを特徴とするカメラパラメータ設定プログラム。

Images