JP2021097262A - 歪曲収差補正方法及びプログラム - Google Patents

Abstract

【課題】歪曲収差の補正を高精度に行う歪曲収差補正方法を提供する。【解決手段】校正指標１００を撮像した撮像画像から複数の基準点を検出する検出ステップと、検出した基準点の像高誤差を算出する第１算出ステップと、同一の基準線上に位置する複数の基準点の像高誤差に基づいて、基準線上の像高誤差を算出する第２算出ステップと、像高誤差を算出する撮像画像の位置を選択し、第２算出ステップにより算出した像高誤差であって、校正指標の中心を撮像した撮像画像の画素からの距離が、校正指標１００の中心と選択した位置との距離に対応する位置の像高誤差を取得する取得ステップと、取得ステップにより取得した基準線上の像高誤差に基づき、校正指標１００の中心を撮像した撮像画像の画素からの距離が、校正指標の中心と選択した位置との距離に対応する位置の像高誤差を算出する第３算出ステップとを実行する。【選択図】図５

Description

本発明は、歪曲収差補正方法及びプログラムに関する。

特許文献１に開示の歪曲収差の補正方法は、座標値が既知の複数のターゲットマークが表示されたキャリブレーション板をデジタルカメラにより撮像し、撮像された画面上のターゲットマーク間の計測値と既知座標値とに基づいて、キャリブレーション板の撮影距離に対応した歪曲収差率補正曲線を作成し、得られた歪曲収差率補正曲線に基づいて、計測値を修正する。

特開２００１−１３３２２３号公報

カメラの撮像画像を変換して、仮想的に上から俯瞰した俯瞰視点の画像（以下、俯瞰画像という）を生成する場合、像高誤差がレンズ個体ごとに異なり、レンズの個体ごとの誤差により特許文献１に開示の方法により歪曲収差を補正しても俯瞰画像に歪みが生じる。

本発明は上記事情に鑑みてなされたものであり、歪曲収差の補正を高精度に行うことを目的とする。

上記目的を達成するために、本発明の歪曲収差補正方法は、複数の基準線と、複数の前記基準線上に位置する複数の基準点とが設定された校正指標をカメラで撮像した撮像画像において、複数の前記基準点が撮像された位置を検出する検出ステップと、検出した前記基準点の位置と、複数の前記基準点の像高の設計値とに基づき、複数の前記基準点の像高誤差を算出する第１算出ステップと、同一の基準線上に位置する複数の前記基準点の像高誤差に基づいて、前記基準線上の像高誤差を算出する第２算出ステップと、像高誤差を算出する撮像画像の位置を選択し、前記第２算出ステップにより算出した像高誤差であって、前記校正指標の中心を撮像した撮像画像の画素からの距離が、前記画素と、選択した前記位置との距離に対応する位置の像高誤差を取得する取得ステップと、前記取得ステップにより取得した前記基準線上の像高誤差に基づき、前記校正指標の中心を撮像した撮像画像の画素からの距離が、前記画素と、選択した前記位置との距離に対応する位置の像高誤差を算出する第３算出ステップと、を有することを特徴とする。

本発明によれば、歪曲収差の補正を高精度に行うことができる。

システム構成図を示す図である。 校正指標を示す図である。 ８軸上であって、歪曲中心から距離がｒの位置を示す図である。 半径ｒの円を区切った８つの領域を示す図である。 像高誤差を算出する手順を示すフローチャートである。 表示画像を生成する手順を示すフローチャートである。

以下、添付図面を参照しながら本発明の実施形態について説明する。
図１は、本発明を適用した車載装置１の構成を示す構成図である。
本実施形態は、車両に搭載された車載装置１であり、撮像部１０と、操作部２０と、制御装置３０とを備える。撮像部１０は、フロントカメラ１１、リアカメラ１３、左サイドカメラ１５及び右サイドカメラ１７の４つのカメラを備える。

撮像部１０のカメラは、撮像レンズ、イメージセンサ及びデータ処理回路を備える。
イメージセンサは、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）等により構成され、撮像レンズによって集光された被写体像が入射される。イメージセンサは、入射された被写体像を光電変換し、被写体像に対応した画像信号を出力する。データ処理回路は、入力されたアナログの画像信号に対して、Ａ／Ｄ（Analog/Digital）変換処理等の各種信号処理を実行して撮像画像を生成する。

フロントカメラ１１、リアカメラ１３、左サイドカメラ１５及び右サイドカメラ１７は、これらの４台のカメラにより車両を中心に３６０°の範囲を撮像可能となるように画角が調整されている。フロントカメラ１１、リアカメラ１３、左サイドカメラ１５及び右サイドカメラ１７は、各々の撮像範囲を所定のフレームレートで撮像して撮像画像を生成する。フロントカメラ１１、リアカメラ１３、左サイドカメラ１５及び右サイドカメラ１７は、生成した撮像画像を制御装置３０に出力する。

操作部２０は、操作者の操作を受け付ける受付部として機能する。操作部２０は、制御装置３０をリモートでコントロールするリモコンであってもよいし、車両に設けられた操作パネルであってもよい。

制御装置３０は、入力インターフェイス（以下、インターフェイスをＩ／Ｆと略記する）４０、記憶部５０及びプロセッサ７０を備える。

入力Ｉ／Ｆ４０は、インターフェイス回路を備える。入力Ｉ／Ｆ４０は、車両に搭載されたＥＣＵやセンサ、カメラ等にバス５を介して接続される。バス５には、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＦｌｅｘＲａｙ（登録商標）、イーサネット（登録商標）等が用いられる。入力Ｉ／Ｆ４０には、撮像部１０が出力した撮像画像が入力される。入力Ｉ／Ｆ４０は、入力された撮像画像を制御装置３０に出力する。

記憶部５０は、ＲＯＭ（Read Only Memory）やフラッシュメモリ等の不揮発性の記憶装置と、ＲＡＭ（Random Access Memory）等の揮発性の記憶装置とを備える。不揮発性の記憶装置は、プロセッサ７０が演算に使用するパラメータや、プロセッサ７０が実行する制御プログラム等を記憶する。揮発性の記憶装置は、プロセッサ７０の演算領域として使用される。記憶部５０は、フラッシュメモリ等の不揮発性の記憶装置だけで構成してもよい。

記憶部５０の不揮発性の記憶装置は、像高設計値５１及び像高誤差５３を記憶する。
像高とは、イメージセンサの撮像面における撮像レンズの光軸と、像点との距離である。像高設計値５１は、後述する複数の基準点における像高の設計値であり、撮像レンズの製造業者から提供されるデータである。像高誤差５３は、制御装置３０によって基準点ごとに算出され、記憶部５０に記憶される。

プロセッサ７０は、ＣＰＵ（Central ProcessingUnit）やＭＰＵ（Micro Processing Unit）により構成される演算装置である。プロセッサ７０は、制御プログラムを実行して、撮像部１０から入力される撮像画像を処理する。プロセッサ７０は、単一のプロセッサにより構成してもよいし、複数のプロセッサにより構成することも可能である。また、プロセッサ７０は、記憶部５０を構成するメモリ一部又は全部、若しくはその他の回路と統合されたＳｏＣ（System on Chip）により構成してもよい。また、プロセッサ７０は、プログラムを実行するＣＰＵと、所定の演算処理を実行するＤＳＰ（Digital Signal Processor）との組み合せにより構成してもよい。さらに、プロセッサ７０の機能の全てをハードウェアに実装した構成としてもよく、プログラマブルデバイスを用いて構成してもよい。

制御装置３０は、フロントカメラ１１、リアカメラ１３、左サイドカメラ１５及び右サイドカメラ１７が備える撮像レンズの歪曲収差を補正する歪曲収差補正方法を実行する。制御装置３０は、機能ブロックとして、像高誤差算出部７１と、座標変換部７３とを備える。これらの機能ブロックは、プロセッサ７０が制御プログラムに記述された命令セットを実行してデータの演算や制御を行うことにより実現される機能をブロックにより示したものである。

像高誤差算出部７１は、撮像画像の予め設定された位置における像高誤差を算出する。像高誤差算出部７１は、検出ステップ（検出手順）、第１算出ステップ（第１算出手順）、第２算出ステップ（第２算出手順）、取得ステップ（取得手順）及び第３算出ステップ（第３算出手順）の各ステップを実行して、撮像画像の予め設定された位置における像高誤差を算出する。これら各ステップの詳細については、後述する。

座標変換部７３は、像高誤差算出部７１が算出した像高誤差に基づいて撮像画像の歪曲収差を補正し、補正した撮像画像の座標系を世界座標系に変換する。座標変換部７３は、世界座標系に変換した撮像画像に基づいてディスプレイ等に表示させる表示画像を生成する。本実施形態の座標変換部７３は、俯瞰画像を表示画像として生成する。

図２は、校正指標１００を示す図である。
ここで、校正指標１００について説明する。像高誤差算出部７１は、校正指標１００をフロントカメラ１１、リアカメラ１３、左サイドカメラ１５及び右サイドカメラ１７によりそれぞれ撮像して撮像画像を生成する。像高誤差算出部７１は、生成した撮像画像に基づき、像高誤差をカメラごとに算出する。

校正指標１００には、図２に示すように複数の基準線と、これら複数の基準線上に位置する複数の基準点とが設定されている。本実施形態の校正指標１００には、第１基準線１１１、第２基準線１１２、第３基準線１１３、第４基準線１１４、第５基準線１１５、第６基準線１１６、第７基準線１１７及び第８基準線１１８が設定されている。また、校正指標１００は、校正指標１００の中心を原点とし、水平右方向をｘ軸、垂直下方向をｙ軸とする座標系が設定されている。校正指標１００の中心である原点を、以下では歪曲中心という。

第１基準線１１１は、水平右方向に設定されている。すなわち、第１基準線１１１は、ｘ軸の正方向に平行に設定されている。第１基準線１１１が設定された方向を０°の基準方向と仮定する。第２基準線１１２は、第１基準線１１１を左回りに４５°回転させた位置に設定される。第３基準線１１３は、第１基準線１１１を左回りに９０°回転させた位置に設定される。第４基準線１１４は、第１基準線１１１を左回りに１３５°回転させた位置に設定される。第５基準線１１５は、第１基準線１１１を左回りに１８０°回転させた位置に設定される。第６基準線１１６は、第１基準線１１１を左回りに２２５°回転させた位置に設定される。第７基準線１１７は、第１基準線１１１を左回りに２７０°回転させた位置に設定される。第８基準線１１８は、第１基準線１１１を左回りに３１５°回転させた位置に設定される。

次に、各基準線に設定された基準点について説明する。
縦軸に相当する第３基準線１１３及び第７基準線１１７には、３つの基準点がそれぞれ設定されている。第３基準線１１３及び第７基準線１１７に設定された基準点は、半画角が３５°、５０°及び７５°の位置に設定されている。半画角は、カメラの画角の半分を意味する。

また、第１基準線１１１、第２基準線１１２、第４基準線１１４、第５基準線１１５、第６基準線１１６及び第８基準線１１８には、４つの基準点がそれぞれ設定されている。
横軸に相当する第１基準線１１１及び第５基準線１１５には、半画角が、３５°、５０°及び７５°及び９５°の位置に基準点が設定されている。また、斜め方向の基準線である第２基準線１１２、第４基準線１１４、第６基準線１１６及び第８基準線１１８には、半画角が、３５°、５０°及び７５°及び１００°の位置に基準点が設定されている。

次に、像高誤差算出部７１が実行する検出ステップ、第１算出ステップ、第２算出ステップ、取得ステップ及び第３算出ステップの各ステップについて説明する。

検出ステップは、カメラの撮像画像を取得し、取得した撮像画像において、基準点が撮像された位置を検出する処理である。
まず、像高誤差算出部７１は、操作部２０が受け付けた操作により選択されたカメラに撮像を指示する指示信号を出力して撮像を実行させる。ここでは、フロントカメラ１１が選択された場合について説明する。操作者は、フロントカメラ１１の前に校正指標１００を設置する。このとき、操作者は、フロントカメラ１１の光軸と、校正指標１００の歪曲中心とが一致するように校正指標１００を設置する。

フロントカメラ１１は、像高誤差算出部７１から指示信号が入力されると、撮像を実行して撮像画像を生成する。フロントカメラ１１は、生成した撮像画像を制御装置３０に出力する。像高誤差算出部７１は、入力された撮像画像を記憶部５０に記憶させて保存する。

次に、像高誤差算出部７１は、入力された撮像画像を解析して、撮像画像に撮像された基準点及び歪曲中心の位置を検出する。像高誤差算出部７１は、検出した各基準点の位置を記憶部５０に記憶させる。

次に、像高誤差算出部７１は、第１算出ステップを実行する。像高誤差算出部７１は、第１算出ステップにおいて、各基準点の像高誤差を算出する。
まず、像高誤差算出部７１は、記憶部５０から各基準点の像高設計値５１を読み出す。像高誤差算出部７１は、読み出した基準点の像高設計値５１を１ピクセル長の設計値で除算し、歪曲中心から基準点までの距離を求める。この距離は、イメージセンサの画素数で表される距離である。１ピクセル長は、イメージセンサの１画素に撮像される距離である。

次に、像高誤差算出部７１は、検出ステップで検出した各基準点及び歪曲中心の位置と、像高設計値５１により求めた歪曲中心から基準点までの距離とを比較して、各基準点の像高誤差を求める。

次に、像高誤差算出部７１は、第２算出ステップを実行する。
像高誤差算出部７１は、第２算出ステップにおいて、基準線上での像高誤差を算出する。まず、像高誤差算出部７１は、第１算出ステップにより算出した像高誤差をｘ軸方向のｘ成分と、ｙ軸方向のｙ成分とに分解する。

第１算出ステップで算出した像高誤差をｋと仮定する。
像高誤差ｋが第１基準線１１１上の基準点の誤差である場合、像高誤差は、（ｋ，０）に分解される。
像高誤差ｋが第２基準線１１２上の基準点の誤差である場合、像高誤差は、（ｋ×２^−１／２，−ｋ×２^−１／２）に分解される。
像高誤差ｋが第３基準線１１３上の基準点の誤差である場合、像高誤差は、（０，−ｋ）に分解される。
像高誤差ｋが第４基準線１１４上の基準点の誤差である場合、像高誤差は、（−ｋ×２^−１／２，−ｋ×２^−１／２）に分解される。
像高誤差ｋが第５基準線１１５上の基準点の誤差である場合、像高誤差は、（−ｋ，０）に分解される。
像高誤差ｋが第６基準線１１６上の基準点の誤差である場合、像高誤差は、（−ｋ×２^−１／２，ｋ×２^−１／２）に分解される。
像高誤差ｋが第７基準線１１７上の基準点の誤差である場合、像高誤差は、（０，ｋ）に分解される。
像高誤差ｋが第８基準線１１８上の基準点の誤差である場合、像高誤差は、（ｋ×２^−１／２，ｋ×２^−１／２）に分解される。

次に、像高誤差算出部７１は、歪曲中心からの距離をｒ、ｒの位置における像高誤差を（ｘ_１，ｙ_１）と仮定し、距離ｒの位置における像高誤差を表す多項式を設定する。像高誤差を算出する対象の基準線が、第３基準線１１３や第７基準線１１７である場合、これらの基準線上には、３つの基準点が設定されている。像高誤差算出部７１は、基準線上に設定された基準点の数が３つである場合、以下に示す３次の多項式を設定する。
ｘ_１＝ａ_１＋ａ_２ｒ＋ａ_３ｒ^２＋ａ_４ｒ^３・・・（１）
ｙ_１＝ｂ_１＋ｂ_２ｒ＋ｂ_３ｒ^２＋ｂ_４ｒ^３・・・（２）
式（１）、（２）において、係数ａ１，ａ２，ａ３，ａ４，ｂ１，ｂ２，ｂ３及びｂ４は、任意の自然数である。

像高誤差算出部７１は、最小二乗法により係数ａ１，ａ２，ａ３，ａ４，ｂ１，ｂ２，ｂ３及びｂ４の値を算出する。すなわち、像高誤差算出部７１は、ｘ_１−ａ_１＋ａ_２ｒ＋ａ_３ｒ^２＋ａ_４ｒ^３、ｙ_１−ｂ_１＋ｂ_２ｒ＋ｂ_３ｒ^２＋ｂ_４ｒ^３の値が最小になる係数ａ１，ａ２，ａ３，ａ４，ｂ１，ｂ２，ｂ３及びｂ４の値を算出する。最小二乗法により以下に示す式（３）及び（４）が成立する。

式（３）及び（４）において、係数ｉは、１≦ｉ≦４の自然数である。
像高誤差算出部７１は、式（３）及び（４）により係数ａ１，ａ２，ａ３，ａ４，ｂ１，ｂ２，ｂ３及びｂ４の値を算出する。まず、像高誤差算出部７１は、式（３）及び（４）に、基準点の像高誤差のｘ成分及びｙ成分の値を代入する。例えば、像高誤差算出部７１は、基準線として第３基準線１１３を選択した場合、半画角が３５°、５０°、７５°における像高誤差のｘ成分である０の値を式（３）に代入し、半画角が３５°、５０°、７５°における像高誤差のｙ成分である−ｋを式（４）に代入して係数ａ１，ａ２，ａ３，ａ４，ｂ１，ｂ２，ｂ３及びｂ４の値を求める。像高誤差算出部７１は、求めた係数ａ１，ａ２，ａ３，ａ４，ｂ１，ｂ２，ｂ３及びｂ４の値を式（１）及び（２）に代入して、距離ｒにおける像高誤差（ｘ_１，ｙ_１）を求める。

また、基準線上の基準点の数が４つ、すなわち、第１基準線１１１、第２基準線１１２、第４基準線１１４、第５基準線１１５、第６基準線１１６及び第８基準線１１８での像高誤差を求める場合、以下に示す４次の多項式を設定する。
ｘ_１＝ａ_１＋ａ_２ｒ＋ａ_３ｒ^２＋ａ_４ｒ^３＋ａ_５ｒ^４・・・（５）
ｙ_１＝ｂ_１＋ｂ_２ｒ＋ｂ_３ｒ^２＋ｂ_４ｒ^３＋ａ_５ｒ^４・・・（６）
式（５）及び（６）において、係数ａ１，ａ２，ａ３，ａ４，ａ５，ｂ１，ｂ２，ｂ３，ｂ４及びｂ５は、任意の自然数である。

像高誤差算出部７１は、最小二乗法を用いて係数ａ１，ａ２，ａ３，ａ４，ｂ１，ｂ２，ｂ３及びｂ４の値を算出する。すなわち、像高誤差算出部７１は、ｘ_１―ａ_１＋ａ_２ｒ＋ａ_３ｒ^２＋ａ_４ｒ^３＋ａ_５ｒ^４、ｙ_１−ｂ_１＋ｂ_２ｒ＋ｂ_３ｒ^２＋ｂ_４ｒ^３＋ａ_５ｒ^４の値が最小になる係数ａ１，ａ２，ａ３，ａ４，ａ５，ｂ１，ｂ２，ｂ３，ｂ４及びｂ５の値を算出する。最小二乗法により以下に示す式（７）及び（８）が成立する。

式（７）及び（８）において、係数ｉは、１≦ｉ≦５の自然数である。
像高誤差算出部７１は、式（７）及び（８）により係数ａ１，ａ２，ａ３，ａ４，ａ５，ｂ１，ｂ２，ｂ３，ｂ４及びｂ５の値を求める。
まず、像高誤差算出部７１は、式（７）及び（８）に、基準点の像高誤差のｘ成分及びｙ成分の値を代入する。例えば、像高誤差算出部７１は、基準線として第１基準線１１１を選択した場合、半画角が３５°、５０°、７５°及び９５°における像高誤差のｘ成分であるｋを式（７）に代入し、半画角が３５°、５０°、７５°及び９５°における像高誤差のｙ成分である０を式（８）に代入して係数ａ１，ａ２，ａ３，ａ４，ａ５，ｂ１，ｂ２，ｂ３，ｂ４及びｂ５の値を求める。像高誤差算出部７１は、求めた係数ａ１，ａ２，ａ３，ａ４，ａ５，ｂ１，ｂ２，ｂ３，ｂ４及びｂ５の値を式（５）及び（６）に代入して、距離ｒにおける像高誤差（ｘ_１，ｙ_１）を求める。

次に、像高誤差算出部７１は、取得ステップを実行する。
まず、像高誤差算出部７１は、像高誤差を算出する対象となる撮像画像の座標を選択する。ここで選択する座標は、予め設定された座標であり、本発明の対象位置に対応する。例えば、像高誤差算出部７１は、ｘ軸方向に８画素、ｙ軸方向に８画素の間隔ごとに像高誤差を算出する座標を選択する。

次に、像高誤差算出部７１は、撮像画像において、選択した座標と、歪曲中心を撮像した画素の座標との距離ｒを求める。撮像画像において、歪曲中心を撮像した画素の座標を（０，０）とした場合、選択した座標（ｘ，ｙ）との距離ｒは、（ｘ^２＋ｙ^２）^１／２となる。

次に、像高誤差算出部７１は、第２算出ステップにより算出した基準線上の像高誤差であって、歪曲中心からの距離が距離ｒの位置の像高誤差を取得する。

図３は、８軸上であって、歪曲中心から距離がｒの位置を示す図である。
第１基準線１１１の水平方向からの角度θをＸ１と表記し、第１基準線１１１上であって歪曲中心からの距離ｒの位置の像高誤差をＹ１とする。Ｘ１は０°であり、Ｙ１は、ｘ，ｙ座標が（ｒ，０）の位置における像高誤差である。第２基準線１１２と第１基準線１１１とのなす角度θをＸ２と表記し、第２基準線１１２上であって歪曲中心からの距離ｒの位置の像高誤差をＹ２とする。Ｘ２は、４５°であり、Ｙ２は、ｘ，ｙ座標が（ｒ×２^−１／２，−ｒ×２^−１／２）の位置における像高誤差である。

第３基準線１１３と第１基準線１１１とのなす角度θをＸ３と表記し、第３基準線１１３上であって歪曲中心からの距離ｒの位置の像高誤差をＹ３とする。Ｘ３は、９０°であり、Ｙ３は、ｘ，ｙ座標が（０，−ｒ）の位置における像高誤差である。
第４基準線１１４と第１基準線１１１とのなす角度θをＸ４と表記し、第４基準線１１４上であって歪曲中心からの距離ｒの位置の像高誤差をＹ４とする。Ｘ４は、１３５°であり、Ｙ４は、ｘ，ｙ座標が（−ｒ×２^−１／２，−ｒ×２^−１／２）の位置における像高誤差である。

第５基準線１１５と第１基準線１１１とのなす角度θをＸ５と表記し、第５基準線１１５上であって歪曲中心からの距離ｒの位置の像高誤差をＹ５とする。Ｘ５は、１８０°であり、Ｙ５は、ｘ，ｙ座標が（−ｒ，０）の位置における像高誤差である。
第６基準線１１６と第１基準線１１１とのなす角度θをＸ６と表記し、第６基準線１１６上であって歪曲中心からの距離ｒの位置の像高誤差をＹ６とする。Ｘ６は、２２５°であり、Ｙ６は、ｘ，ｙ座標が（−ｒ×２^−１／２，ｒ×２^−１／２）の位置における像高誤差である。

第７基準線１１７と第１基準線１１１とのなす角度θをＸ７と表記し、第７基準線１１７上であって歪曲中心からの距離ｒの位置の像高誤差をＹ７とする。Ｘ７は、２７０°であり、Ｙ７は、ｘ，ｙ座標が（０，ｒ）の位置における像高誤差である。
第８基準線１１８と第１基準線１１１とのなす角度θをＸ８と表記し、第８基準線１１８上であって歪曲中心からの距離ｒの位置の像高誤差をＹ８とする。Ｘ７は、３１５°であり、Ｙ８は、ｘ，ｙ座標が（ｒ×２^−１／２，ｒ×２^−１／２）の位置における像高誤差である。

次に、像高誤差算出部７１は、第３算出ステップを実行する。
像高誤差算出部７１は、第３算出ステップにおいて、歪曲中心からの距離が距離ｒの位置の像高誤差を算出する。まず、像高誤差算出部７１は、撮像画像において、歪曲中心が撮像された画素を中心に、半径ｒの円を設定する。像高誤差算出部７１は、設定した円を８本の基準線により８つの領域に区切り、区切った各領域の円の周を表す多項式を設定する。

図４は、半径ｒの円を区切った８つの領域を示す図である。
図４において、第１領域１２１は、第１基準線１１１と第２基準線１１２とによって区切られた領域である。第２領域１２２は、第２基準線１１２と第３基準線１１３とによって区切られた領域である。第３領域１２３は、第３基準線１１３と第４基準線１１４とによって区切られた領域である。第４領域１２４は、第４基準線１１４と第５基準線１１５とによって区切られた領域である。第５領域１２５は、第５基準線１１５と第６基準線１１６とによって区切られた領域である。第６領域１２６は、第６基準線１１６と第７基準線１１７とによって区切られた領域である。第７領域１２７は、第７基準線１１７と第８基準線１１８とによって区切られた領域である。第８領域１２８は、第８基準線１１８と第１基準線１１１とによって区切られた領域である。

像高誤差算出部７１は、第１領域１２１を表す多項式として、以下に示す式（９）を設定する。
Ｙ＝ａ_１Ｘ^３＋ｂ_１Ｘ^２＋ｃ_１Ｘ＋ｄ_１・・・（９）

像高誤差算出部７１は、第２領域１２２を表す多項式として、以下に示す式（１０）を設定する。
Ｙ＝ａ_２Ｘ^３＋ｂ_２Ｘ^２＋ｃ_２Ｘ＋ｄ_２・・・（１０）

像高誤差算出部７１は、第３領域１２３を表す多項式として、以下に示す式（１１）を設定する。
Ｙ＝ａ_３Ｘ^３＋ｂ_３Ｘ＋ｃ_３Ｘ＋ｄ_３・・・（１１）

像高誤差算出部７１は、第４領域１２４を表す多項式として、以下に示す式（１２）を設定する。
Ｙ＝ａ_４Ｘ^３＋ｂ_４Ｘ^２＋ｃ_４Ｘ＋ｄ_４・・・（１２）

像高誤差算出部７１は、第５領域１２５を表す多項式として、以下に示す式（１３）を設定する。
Ｙ＝ａ_５Ｘ^３＋ｂ_５Ｘ^２＋ｃ_５Ｘ＋ｄ_５・・・（１３）

像高誤差算出部７１は、第６領域１２６を表す多項式として、以下に示す式（１４）を設定する。
Ｙ＝ａ_６Ｘ^３＋ｂ_６Ｘ^２＋ｃ_６Ｘ＋ｄ_６・・・（１４）

像高誤差算出部７１は、第７領域１２７を表す多項式として、以下に示す式（１５）を設定する。
Ｙ＝ａ_７Ｘ^３＋ｂ_７Ｘ^２＋ｃ_７Ｘ＋ｄ_７・・・（１５）

像高誤差算出部７１は、第８領域１２８を表す多項式として、以下に示す式（１６）を設定する。
Ｙ＝ａ_８Ｘ^３＋ｂ_８Ｘ^２＋ｃ_８Ｘ＋ｄ_８・・・（１６）

上記の式（９）〜式（１６）に示す係数ａ１，ｂ１，ｃ１，ｄ１，ａ２，ｂ２，ｃ２，ｄ２，ａ３，ｂ３，ｃ３，ｄ３，ａ４，ｂ４，ｃ４，ｄ４，ａ５，ｂ５，ｃ５，ｄ５，ａ６，ｂ６，ｃ６，ｄ６，ａ７，ｂ７，ｃ７，ｄ７，ａ８，ｂ８，ｃ８，ｄ８はそれぞれ任意の自然数である。

次に、像高誤差算出部７１は、式（９）〜式（１６）に示すａ１，ｂ１，ｃ１，ｄ１，ａ２，ｂ２，ｃ２，ｄ２，ａ３，ｂ３，ｃ３，ｄ３，ａ４，ｂ４，ｃ４，ｄ４，ａ５，ｂ５，ｃ５，ｄ５，ａ６，ｂ６，ｃ６，ｄ６，ａ７，ｂ７，ｃ７，ｄ７，ａ８，ｂ８，ｃ８及びｄ８の値を３次スプライン補間により算出する。
一次導関数や二次導関数の連続性等、３次スプライン補間の境界条件により、以下に示す行列式（１７）が成立する。

像高誤差算出部７１は、上記式（１７）に示す行列式に、Ｘ１，Ｙ１，Ｘ２，Ｙ２，Ｘ３，Ｙ３，Ｘ４，Ｙ４，Ｘ５，Ｙ５，Ｘ６，Ｙ６，Ｘ７，Ｙ７，Ｘ８，Ｙ９の値を代入して、係数ａ１〜ａ８，ｂ１〜ｂ８，ｃ１〜ｃ８，ｄ１〜ｄ８の値を求める。

像高誤差算出部７１は、選択した座標（ｘ，ｙ）が含まれる領域を選択し、選択した領域に対応した式に係数ａ〜ｄの値、及び角度θの値を代入して、Ｙの値である像高誤差を算出する。像高誤差算出部７１は、算出した像高誤差を座標（ｘ，ｙ）に対応づけて記憶部５０に記憶させる。
なお、式（１７）を解くことにより、半径ｒの円上の任意の位置の像高誤差が算出可能となる。従って、像高誤差算出部７１は、選択した座標（ｘ，ｙ）の像高誤差だけではなく、異なるθの値を、対応する領域の式（式（９）〜式（１６）のいずれか）に代入し、歪曲中心からの距離がｒの異なる位置の像高誤差を算出してもよい。

次に、図５及び図６に示すフローチャートを参照しながら本実施形態の動作を説明する。
制御装置３０は、まず、像高誤差の算出を指示する操作を受け付けたか否かを判定する（ステップＳ１）。制御装置３０は、像高誤差の算出を指示する操作を受け付けていない場合（ステップＳ１／ＮＯ）、像高誤差の算出は行わず、他の処理があれば、この他の処理を実行する。

制御装置３０は、像高誤差の算出を指示する操作を受け付けた場合（ステップＳ１／ＹＥＳ）、受け付けた操作によって選択されたカメラに、撮像を指示する指示信号を出力する（ステップＳ２）。ここで選択されるカメラは、フロントカメラ１１、リアカメラ１３、左サイドカメラ１５及び右サイドカメラ１７のいずれか１つである。

フロントカメラ１１は、制御装置３０から指示信号が入力されると、校正指標１００を撮像して撮像画像を生成する。フロントカメラ１１は、生成した撮像画像を制御装置３０に出力する。制御装置３０は、指示信号を出力したカメラから撮像画像が入力されたか否かを判定する（ステップＳ３）。制御装置３０は、撮像画像の入力ない場合（ステップＳ３／ＮＯ）、撮像画像が入力されるまで待機する。

制御装置３０は、撮像画像が入力されると（ステップＳ３／ＹＥＳ）、入力された撮像画像を記憶部５０に記憶させる。次に、制御装置３０は、この撮像画像を解析して、撮像画像に撮像された基準点及び歪曲中心の位置を検出する（ステップＳ４）。

次に、制御装置３０は、記憶部５０から像高設計値５１を読み出す（ステップＳ５）。制御装置３０は、読み出した基準点の像高設計値５１を１ピクセル長の設計値で除算し、歪曲中心から基準点までの距離を求める。制御装置３０は、検出した各基準点及び歪曲中心の位置と、像高設計値５１により求めた歪曲中心から基準点までの距離とを比較して、各基準点の像高誤差を求める（ステップＳ６）。

次に、制御装置３０は、基準線上の任意の位置の像高誤差を算出する（ステップＳ７）。制御装置３０は、基準線上に設定された基準点の数が３つである場合、歪曲中心からの距離をｒ、ｒの位置における像高誤差を（ｘ_１，ｙ_１）と仮定し、距離ｒの位置における像高誤差を表す多項式である式（１）及び式（２）を設定する。そして、制御装置３０は、ｘ_１−ａ_１＋ａ_２ｒ＋ａ_３ｒ^２＋ａ_４ｒ^３、ｙ_１−ｂ_１＋ｂ_２ｒ＋ｂ_３ｒ^２＋ｂ_４ｒ^３の値が最小になる係数ａ１，ａ２，ａ３，ａ４，ｂ１，ｂ２，ｂ３及びｂ４の値を最小二乗法により算出する。

また、制御装置３０は、基準線上に設定された基準点の数が３つである場合、歪曲中心からの距離をｒ、ｒの位置における像高誤差を（ｘ_１，ｙ_１）と仮定し、距離ｒの位置における像高誤差を表す多項式である式（５）及び式（６）を設定する。そして、制御装置３０は、ｘ_１―ａ_１＋ａ_２ｒ＋ａ_３ｒ^２＋ａ_４ｒ^３＋ａ_５ｒ^４、ｙ_１−ｂ_１＋ｂ_２ｒ＋ｂ_３ｒ^２＋ｂ_４ｒ^３＋ａ_５ｒ^４の値が最小になる係数ａ１，ａ２，ａ３，ａ４，ａ５，ｂ１，ｂ２，ｂ３，ｂ４及びｂ５の値を最小二乗法により算出する。

次に、制御装置３０は、像高誤差を算出する撮像画像上の座標（ｘ，ｙ）を選択する（ステップＳ８）。制御装置３０は、座標（ｘ，ｙ）を選択すると、選択した座標（ｘ，ｙ）と歪曲中心との距離ｒを算出する（ステップＳ９）。距離ｒは（ｘ^２＋ｙ^２）^１／２により算出される。

次に、制御装置３０は、ステップＳ７で算出した基準線上の像高誤差のうち、歪曲中心からの距離が距離ｒの像高誤差を取得する（ステップＳ１０）。制御装置３０は、取得した像高誤差を用いて、校正指標１００の歪曲中心からの距離が距離ｒの位置における像高誤差を算出する（ステップＳ１１）。

制御装置３０は、距離rに対応する半径rの円を撮像画像に設定する。設定される円の中心は、歪曲中心を撮像した撮像画像の画素に設定される。次に、制御装置３０は、設定した半径ｒの円を８つの軸線によって第１領域１２１〜第８領域１２８の８つの領域に分割する。制御装置３０は、分割した円の各領域を示す多項式を設定する。ここで設定される多項式は、上述した式（９）〜式（１６）に示す多項式である。

次に、制御装置３０は、式（９）〜式（１６に示す係数ａ１，ｂ１，ｃ１，ｄ１，ａ２，ｂ２，ｃ２，ｄ２，ａ３，ｂ３，ｃ３，ｄ３，ａ４，ｂ４，ｃ４，ｄ４，ａ５，ｂ５，ｃ５，ｄ５，ａ６，ｂ６，ｃ６，ｄ６，ａ７，ｂ７，ｃ７，ｄ７，ａ８，ｂ８，ｃ８及びｄ８の値を３次スプライン補間により算出する。一次導関数や二次導関数の連続性等、３次スプライン補間の境界条件により、上述した行列式（１７）が成立する。

制御装置３０は、行列式（１７）に、Ｘ１，Ｙ１，Ｘ２，Ｙ２，Ｘ３，Ｙ３，Ｘ４，Ｙ４，Ｘ５，Ｙ５，Ｘ６，Ｙ６，Ｘ７，Ｙ７，Ｘ８，Ｙ９の値を代入して、係数ａ１〜ａ８，ｂ１〜ｂ８，ｃ１〜ｃ８，ｄ１〜ｄ８の値を求める。制御装置３０は、選択した座標（ｘ，ｙ）が含まれる領域を選択し、選択した領域に対応した式に係数ａ〜ｄの値、及び角度θの値を代入して、Ｙの値である像高誤差を算出する。像高誤差算出部７１は、算出した像高誤差を座標（ｘ，ｙ）に対応づけて記憶部５０に記憶させる（ステップＳ１２）。

次に、制御装置３０は、像高誤差を算出する座標をすべて処理対象に選択して像高誤差を算出したか否かを判定する（ステップＳ１３）。制御装置３０は、予め設定されたすべての座標で像高誤差を算出していない場合（ステップＳ１３／ＮＯ）、ステップＳ８に戻り、次の座標を選択する。また、制御装置３０は、予め設定されたすべての座標で像高誤差を算出した場合（ステップＳ１３／ＹＥＳ）、この処理フローを終了させる。

図６は、撮像部１０から撮像画像が入力されたときの制御装置３０の動作を示すフローチャートである。図６に示すフローチャートを参照しながら撮像画像が入力された場合の制御装置３０の動作について説明する。
制御装置３０は、撮像部１０から撮像画像が入力されたか否かを判定する（ステップＳ２１）。制御装置３０は、撮像画像の入力がない場合（ステップＳ２１／ＮＯ）、撮像画像が入力されるまで待機する。

制御装置３０は、撮像画像が入力されると（ステップＳ２１／ＹＥＳ）、入力された撮像画像を撮像したカメラに対応づけられた像高誤差を記憶部５０から読み出す（ステップＳ２２）。

制御装置３０は、像高誤差を読み出すと、読み出した像高誤差に基づき、バイリニア補間によって、像高誤差が算出されていない撮像画像の他の座標での像高誤差を算出する（ステップＳ２３）。制御装置３０は、他の座標での像高誤差を算出すると、算出した像高誤差、及び記憶部５０から読み出した像高誤差により撮像画像の歪曲収差を補正する（ステップＳ２４）。ステップＳ２４は、本発明の補正ステップに相当する。

次に、制御装置３０は、撮像部１０が備えるすべてのカメラの撮像画像を補正したか否かを判定する（ステップＳ２５）。制御装置３０は、すべてのカメラの撮像画像を補正していない場合（ステップＳ２５／ＮＯ）、ステップＳ２１に戻り、次の撮像画像を入力する。

また、制御装置３０は、すべてのカメラの撮像画像を補正した場合（ステップＳ２５／ＹＥＳ）、補正した撮像画像の座標系を変換する（ステップＳ２６）。例えば、制御装置３０は、例えば、フロントカメラ１１、リアカメラ１３、左サイドカメラ１５及び右サイドカメラ１７の撮像画像を用いて、各カメラの座標系を世界座標系に変換し、変換した撮像画像を用いて俯瞰画像を生成する。

以上説明したように本実施形態の制御装置３０は、検出ステップ、第１算出ステップ、第２算出ステップ、取得ステップ及び第３算出ステップの各ステップを実行する。
検出ステップは、校正指標１００を撮像部１０のカメラで撮像した撮像画像において、複数の基準点が撮像された位置を検出する。
第１算出ステップは、検出した基準点の位置と、複数の基準点の像高の設計値とに基づき、複数の基準点の像高誤差を算出する。
第２算出ステップは、同一の基準線上に位置する複数の基準点の像高誤差に基づいて、基準線上の像高誤差を算出する。
取得ステップは、像高誤差を算出する対象位置の座標を選択し、第２算出ステップにより算出した像高誤差であって、校正指標１００の歪曲中心を撮像した画素と、選択した座標との距離に対応する位置の像高誤差を取得する。
第３算出ステップは、取得ステップにより取得した基準線上の像高誤差に基づき、校正指標１００の歪曲中心を撮像した画素と、選択した座標との距離に対応する位置の像高誤差を算出する。
従って、対象位置を選択することで、撮像画像上の任意の位置の像高誤差を算出することでき、歪曲収差の補正を高精度に行うことができる。

制御装置３０が実行する取得ステップは、撮像画像の位置として、予め設定された設定数ごとの撮像画像の画素を選択する。
また、制御装置３０が実行する第３算出ステップは、予め設定された画素ごとの像高誤差を算出し、算出した像高誤差を記憶部５０に記憶させる。
また、制御装置３０は、補正ステップを実行する。この補正ステップは、取得ステップにより選択されていない撮像画像の他の画素の像高誤差を、第３算出ステップにより算出した像高誤差に基づくバイリニア補間により算出する。さらに、補正ステップは、第３算出ステップにより算出した像高誤差と、バイリニア補間により算出した像高誤差とに基づいて、撮像画像の歪曲収差を補正する。
従って、記憶部５０に記憶させる像高誤差のデータ数を削減することができる。

また、制御装置３０が実行する第２算出ステップは、基準線上の像高誤差を、最小二乗法により算出する。
従って、基準線上の像高誤差を、容易に、かつ精度よく算出することできる。

また、制御装置３０が実行する第３算出ステップは、校正指標の中心を撮像した撮像画像の画素からの距離が、画素と、選択した位置との距離に対応する位置の像高誤差を、スプライン補間により算出する。
従って、像高誤差を、容易に、かつ精度よく算出することができる。

上述した実施形態は、本発明の好適な実施の形態である。但し、本発明は、上述した実施形態に限定されることなく、本発明の要旨を逸脱しない範囲内において種々の変形実施が可能である。
例えば、図１は、本願発明を理解容易にするために、制御装置３０の機能構成を主な処理内容に応じて分類して示した概略図であり、制御装置３０の構成は、処理内容に応じてさらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。また、各構成要素の処理は、１つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。また、各構成要素の処理は、１つのプログラムで実現されてもよいし、複数のプログラムで実現されてもよい。

また、制御装置３０のプロセッサ７０が実行するプログラムは、例えば、通信ネットワークを介して外部のサーバ装置からダウンロードされ、記憶部５０にロードさてプロセッサ７０により実行されるようにしてもよい。また、プロセッサ７０が実行するプログラムは、通信ネットワークを介して、外部のサーバ装置から記憶部５０に直接ロードされ、プロセッサ７０により実行されるようにしてもよい。或いは、制御装置３０接続された記憶媒体から、記憶部５０にロードされるようにしてもよい。

また、図５及び図６に示すフローチャートの処理単位は、制御装置３０による処理の理解を容易にするために、主な処理内容に応じて分割したものである。処理単位の分割の仕方や名称によって、本願発明が制限されることはない。制御装置３０の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできる。また、１つの処理単位がさらに多くの処理を含むように分割することもできる。また、同様の処理結果が得られるのであれば、上記各フローチャートの処理順序も、図示した例に限られるものではない。

また、本発明のプログラムを、コンピュータを用いて実現する場合、このコンピュータに実行させるプログラムを記録媒体、又はこのプログラムを伝送する伝送媒体の態様で構成することも可能である。記録媒体には、磁気的、光学的記録媒体又は半導体メモリーデバイスを用いることができる。具体的には、フレキシブルディスク、ＨＤＤ（Hard Disk Drive）、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ、Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ、光磁気ディスク、フラッシュメモリ、カード型記録媒体等の可搬型、或いは固定式の記録媒体が挙げられる。また、上記記録媒体は、車載装置１が備えるＲＡＭ、ＲＯＭ、ＨＤＤ等の不揮発性記憶装置であってもよい。

１ 車両
５ バス
１０ 撮像部
１１ フロントカメラ
１３ リアカメラ
１５ 左サイドカメラ
１７ 右サイドカメラ
２０ 操作部
３０ 制御装置
４０ 入力Ｉ／Ｆ
５０ 記憶部
５１ 像高設計値
５３ 像高誤差
７０ プロセッサ
７１ 像高誤差算出部
７３ 座標変換部
１１１ 第１基準線
１１２ 第２基準線
１１３ 第３基準線
１１４ 第４基準線
１１５ 第５基準線
１１６ 第６基準線
１１７ 第７基準線
１１８ 第８基準線
１２１ 第１領域
１２２ 第２領域
１２３ 第３領域
１２４ 第４領域
１２５ 第５領域
１２６ 第６領域
１２７ 第７領域
１２８ 第８領域

Claims (5)

1. 複数の基準線と、複数の前記基準線上に位置する複数の基準点とが設定された校正指標をカメラで撮像した撮像画像において、複数の前記基準点が撮像された位置を検出する検出ステップと、
   検出した前記基準点の位置と、複数の前記基準点の像高の設計値とに基づき、複数の前記基準点の像高誤差を算出する第１算出ステップと、
   同一の基準線上に位置する複数の前記基準点の像高誤差に基づいて、前記基準線上の像高誤差を算出する第２算出ステップと、
   像高誤差を算出する撮像画像の位置を選択し、前記第２算出ステップにより算出した像高誤差であって、前記校正指標の中心を撮像した撮像画像の画素からの距離が、前記画素と、選択した前記位置との距離に対応する位置の像高誤差を取得する取得ステップと、
   前記取得ステップにより取得した前記基準線上の像高誤差に基づき、前記校正指標の中心を撮像した撮像画像の画素からの距離が、前記画素と、選択した前記位置との距離に対応する位置の像高誤差を算出する第３算出ステップと、
   を有することを特徴とする歪曲収差補正方法。
2. 前記取得ステップは、前記撮像画像の位置として、予め設定された設定数ごとの撮像画像の画素を選択し、
   前記第３算出ステップは、予め設定された画素ごとの像高誤差を算出し、
   前記取得ステップにより選択されていない前記撮像画像の他の画素の像高誤差を、前記第３算出ステップにより算出した像高誤差に基づくバイリニア補間により算出し、
   前記第３算出ステップにより算出した像高誤差と、前記バイリニア補間により算出した像高誤差とに基づいて、前記撮像画像の歪曲収差を補正する補正ステップを有する、
   ことを特徴とする請求項１記載の歪曲収差補正方法。
3. 前記第２算出ステップは、前記基準線上の像高誤差を、最小二乗法により算出する、ことを特徴とする請求項１又は２記載の歪曲収差補正方法。
4. 前記第３算出ステップは、前記校正指標の中心を撮像した撮像画像の画素からの距離が、前記画素と、選択した前記位置との距離に対応する位置の像高誤差を、スプライン補間により算出する、ことを特徴とする請求項１から３のいずれか一項に記載の歪曲収差補正方法。
5. コンピュータに、
   複数の基準線と、複数の前記基準線上に位置する複数の基準点とが設定された校正指標をカメラで撮像した撮像画像において、複数の前記基準点が撮像された位置を検出する検出手順と、
   検出した前記基準点の位置と、複数の前記基準点の像高の設計値とに基づき、複数の前記基準点の像高誤差を算出する第１算出手順と、
   同一の基準線上に位置する複数の前記基準点の像高誤差に基づいて、前記基準線上の像高誤差を算出する第２算出手順と、
   像高誤差を算出する撮像画像の位置を選択し、前記第２算出手順により算出した像高誤差であって、前記校正指標の中心を撮像した撮像画像の画素からの距離が、前記画素と、選択した前記位置との距離に対応する位置の像高誤差を取得する取得手順と、
   前記取得手順により取得した前記基準線上の像高誤差に基づき、前記校正指標の中心を撮像した撮像画像の画素からの距離が、前記画素と、選択した前記位置との距離に対応する位置の像高誤差を算出する第３算出手順と、
   を実行させることを特徴とするプログラム。

Images