JP2006153768A - 位置検出装置及びその補正方法 - Google Patents

Abstract

【課題】撮像手段の個体差に起因する設計パラメータを容易に補正し、対象物の計測位置を高精度に算出することのできる位置検出装置及びその補正方法を提供する。
【解決手段】実空間位置（Ｘｎ，Ｚｎ）及び（Ｘｎ−Ｄ，Ｚｎ）に配設した第１対象物及び第２対象物を撮像して画像上での位置ｘ１^*及びｘ２^*を算出し、撮像手段の設計パラメータＦを用いて、
ｘ１＝Ｆ・Ｘｎ／Ｚｎ
ｘ２＝Ｆ・（Ｘｎ−Ｄ）／Ｚｎ
として算出される第１対象物及び第２対象物の画像上での設計位置ｘ１及びｘ２と、位置ｘ１^*及びｘ２^*との差分から、設計パラメータＦの映像歪補正値αを、
α・ｘ１ ^* ＝ｘ１
α・ｘ２ ^* ＝ｘ２
の関係に従って算出する。
【選択図】図１０

Description

本発明は、撮像手段により対象物を撮像し前記対象物の計測位置を補正する補正装置に関する。

例えば、車両に２台の撮像手段を搭載し、これらの撮像手段を用いて同一の対象物を撮像し、撮像された対象物の画像間の視差を利用して車両から対象物までの距離を計測し、あるいは、車両に対する対象物の実空間位置を計測し、ドライバに前方の障害物の有無等を報知するようにした車両周辺監視装置が開発されている（特許文献１参照）。

特開２００３−２１６９３７号公報

ここで、対象物の実空間位置を（Ｘｎ，Ｙｎ，Ｚｎ）とすると、各撮像手段により撮像された二次元画像上での対象物の位置（ｘ，ｙ）は、透視変換モデルを仮定して、
ｘ＝Ｆ・Ｘｎ／Ｚｎ …（１）
ｙ＝Ｆ・Ｙｎ／Ｚｎ …（２）
となる。なお、Ｆは、当該撮像手段の焦点距離をｆ、画素ピッチをｐとして、
Ｆ＝ｆ／ｐ …（３）
となるカメラパラメータである。

この場合、撮像手段には固体差があり、通常、実際の焦点距離ｆ及び画素ピッチｐが設計値に対して誤差を有している。従って、この誤差を補正しないと、対象物の正確な実空間位置を算出することができない。

本発明は、前記の課題を解決するためになされたものであって、撮像手段の個体差に起因する設計パラメータを容易に補正し、対象物の計測位置を高精度に算出することのできる補正装置を提供することを目的とする。

本発明の補正装置は、撮像手段により複数の対象物を撮像し、対象物間の距離及び撮像手段から対象物までの距離に基づいて対象物の投影座標を補正する補正係数を算出し、所望の対象物を撮像して得られる投影座標を前記補正係数を用いて補正することにより、対象物の計測位置を高精度に算出する。

また、本発明の補正装置は、撮像手段から距離Ｚｎだけ離間させ、且つ、位置Ｘｎを任意として相互に距離Ｄだけ離間する実空間位置（Ｘｎ，Ｚｎ）及び（Ｘｎ−Ｄ，Ｚｎ）に第１対象物及び第２対象物を配設し、これらの第１対象物及び第２対象物を撮像手段により撮像して画像上での位置ｘ１^*及びｘ２^*を算出する。

次いで、撮像手段の設計パラメータＦを用いて、
ｘ１＝Ｆ・Ｘｎ／Ｚｎ
ｘ２＝Ｆ・（Ｘｎ−Ｄ）／Ｚｎ
として算出される第１対象物及び第２対象物の画像上での位置ｘ１及びｘ２と、位置ｘ１^*及びｘ２^*との差分から、設計パラメータＦの補正係数αを、
ｘ１^*−ｘ１＝（１−α）・ｘ１^*
ｘ２^*−ｘ２＝（１−α）・ｘ２^*
の関係に従って算出する。

このようにして算出された補正係数αにより撮像手段の設計パラメータＦを１／α・Ｆと補正し、撮像された対象物の計測位置を高精度に算出する。

本発明によれば、専用の計測装置を用いることなく、撮像手段の個体差に起因する設計パラメータを容易且つ高精度に補正することができる。そして、補正された設計パラメータを用いて対象物の計測位置を高精度に算出することができる。

以下、本発明に係る補正装置について好適な実施形態を挙げ、添付の図面を参照しながら説明する。

図１に示すように、本実施形態に係るナイトビジョンシステム（車両用周辺監視装置）１０は、車両１２に搭載されたシステムであって、主要な制御部であるＥＣＵ（Electric Control Unit）１４と、左右一対の赤外線カメラ（撮像手段）１６Ｒ、１６Ｌと、検出結果画像を表示するためのＨＵＤ(Head Up Display)１８と、警報音等を発するスピーカ２０と、走行速度を検出する速度センサ２２と、走行時のヨーレートを検出するヨーレートセンサ２４と、日射センサ２６と、ヘッドライトスイッチ２８と、システムを起動又は停止させるメインスイッチ３０と、外部コンピュータシステムとの接続部３２とを有する。ナイトビジョンシステム１０を構成するこれらの機器間の接続には、他のシステムと兼用の車内通信網を用いてもよい。

赤外線カメラ１６Ｒ及び１６Ｌは、バンパ下部における横長グリル孔の右端部及び左端部に並行配置され、左右対称位置でそれぞれ前方を指向し、カメラ間距離（以下、基線長ともいう。）Ｂの間隔で設けられている。赤外線カメラ１６Ｒ及び１６Ｌは遠赤外線を検出することにより高温部ほど高輝度となる赤外線画像を撮像して、それぞれＥＣＵ１４に供給する。

ＨＵＤ１８はインスツルメントパネル上部のドライバ正面位置において前方視界を妨げないように設けられている。ＨＵＤ１８はシステムオフ状態ではインスツルメントパネル内に格納されており、日射センサ２６の情報から夜であると判断し、且つ、ヘッドライトスイッチ２８の情報からヘッドライト（又はフォグライト）が点灯していると判断される状態でメインスイッチ３０をオンにするとポップアップする。ＨＵＤ１８の映像表示部は凹面ミラーで構成され、インスツルメントパネル内部からの映像を反射・投影する。ナイトビジョンシステム１０はメインスイッチ３０の操作に拘わらず、オートライト機能に連動して自動起動させてもよい。ＨＵＤ１８の表示輝度は適当なスイッチ操作によって調整可能としてもよい。

ＥＣＵ１４は、赤外線カメラ１６Ｒ、１６Ｌから得られた２つの赤外線画像に基づいて、両画像の視差から熱源対象物を検出してＨＵＤ１８上で白いシルエットとして映し出す。さらに、熱源対象物の中から歩行者を特定すると、注意喚起のためにスピーカ２０から音を発すると同時に、ＨＵＤ１８上に映し出された歩行者を目立つ色の枠で囲んで強調表示する。この注意喚起機能は、所定の速度域において歩行者の位置に到達するまでの時間を予測し、充分な回避操作が行えるタイミングで注意喚起を行う。

赤外線カメラ１６Ｒ、１６Ｌは、遠方の熱源対象物の位置、距離及び形状を正確に判定するため、製作所における製造時、あるいは、定期点検時等において、後述する調整処理であるエイミングが行われる。

図２に示すように、ＥＣＵ１４は、赤外線カメラ１６Ｒ、１６Ｌにより撮像された赤外線画像をＡ／Ｄ変換してグレースケール画像を生成する画像入力部４０と、閾値に基づいてグレースケール画像から二値化画像を生成する二値化処理部４２と、グレースケール画像及び二値化画像を記憶する画像記憶部４４と、エイミングを行った処理結果であるカメラパラメータをカメラパラメータ記憶部４６に記憶するエイミングモード実行部４８と、速度センサ２２等のセンサ及びカメラパラメータ記憶部４６を参照しながら通常の画像処理を行うとともにＨＵＤ１８及びスピーカ２０を制御する通常モード実行部５０と、接続部３２を介して外部のコンピュータシステムからの指示に基づき、エイミングモードか通常モードのいずれか一方を選択するモード選択部５２とを有する。

なお、通常モード実行部５０は、撮像された対象物の投影座標をカメラパラメータ記憶部４６に記憶されたカメラパラメータである補正係数を用いて補正する補正手段として機能する。

エイミングモード実行部４８は、車両１２を製造する製作所内において外部コンピュータシステムとしてエイミングターゲット制御装置１００（図３参照）を用いてエイミングを行う製作所モード部７０と、サービスエイミング調整装置１２０（図４参照）を用いてサービス工場等でエイミングを行うサービスモード部７２とを有し、これらの外部コンピュータシステムからの指示に基づいて製作所モード部７０又はサービスモード部７２のいずれか一方が選択実行される。

また、エイミングモード実行部４８は、エイミングの開始時に外部コンピュータシステムから所定のパラメータを入力するパラメータ入力部７４と、エイミングに必要な初期設定を行う初期設定部７６と、画像記憶部４４に記憶された左右のグレースケール画像に対してテンプレートマッチングを行うテンプレートマッチング部７８と、赤外線カメラ１６Ｒ、１６Ｌにより撮像して得られた画像信号の輝度を調整するための輝度調整ＬＵＴを設定する輝度調整ＬＵＴ設定部８０と、赤外線カメラ１６Ｒ、１６Ｌの焦点距離、画素ピッチ等の固体差に起因して発生する映像歪みを補正する映像歪補正値（補正係数）を算出する左右カメラ映像歪補正部８２と、赤外線カメラ１６Ｒ、１６Ｌの取付角（パン角、ピッチ角）を算出する左右カメラ取付角算出部８４と、画像から演算範囲を切り出すための基準となる切り出し座標を算出する左右カメラ映像切出座標算出部８６と、赤外線カメラ１６Ｒ、１６Ｌの光軸が平行に設定されていないことに起因する対象物画像の視差に含まれる誤差である視差オフセット値を算出する視差オフセット値算出部８８とを有する。

なお、左右カメラ映像歪補正部８２は、赤外線カメラ１６Ｒ、１６Ｌで撮像された対象物の画像上での位置を算出する画像位置算出手段と、映像歪補正値である補正係数を算出する補正係数算出手段として機能する。

初期設定部７６は、対象物までの距離に応じて用意された６つのテンプレートＴＰ１、ＴＰ２、ＴＰ３、ＴＰ４、ＴＰ５、ＴＰ６（代表的にテンプレートＴＰとも示す。）から１つを選択するテンプレート設定部９４を有する。また、ＥＣＵ１４は、対象物の位置を求めるための透視変換モデルを数式として記憶するモデル記憶部９６を有し、エイミングモード実行部４８及び通常モード実行部５０は該透視変換モデルを用いて被撮像体の位置を算出する。なお、モデル記憶部９６には、対象物が近距離にある場合の近距離用モデルと遠距離にある場合の遠距離用モデルとが記憶されている。

ＥＣＵ１４は、主たる制御部としてのＣＰＵ（Central Processing Unit）と、記憶部としてのＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等を有しており、上記の各機能部は、ＣＰＵがプログラムを読み込み、記憶部等と協動しながらソフトウェア処理を実行することにより実現される。

図３に示すように、エイミングターゲット制御装置１００は、車両１２の位置決め装置１０２と、車両１２が位置決めされた状態で赤外線カメラ１６Ｒ、１６Ｌの前方の所定位置に設けられたゲート１０４と、前記接続部３２を介してＥＣＵ１４と通信を行うとともにゲート１０４を制御する主制御装置１０６とを有する。ゲート１０４は、車幅よりやや広い間隔で設けられた２本の支柱１０８と、左右端を支柱１０８に支持された横長のエイミングターゲット板１１０とを有し、該エイミングターゲット板１１０は、主制御装置１０６の作用下に支柱１０８に沿って昇降可能である。エイミングターゲット板１１０には、熱源である８つのエイミングターゲット１１２ａ〜１１２ｈ（代表的にエイミングターゲット１１２とも示す。）が左から順に水平に配列されている。

左側のエイミングターゲット１１２ａ〜１１２ｄは比較的小さい間隔Ｗで並んでおり左ターゲット群１１４を形成する。同様に、右側のエイミングターゲット１１２ｅ〜１１２ｈは間隔Ｗで並んでおり右ターゲット群１１６を形成する。左ターゲット群１１４の右端であるエイミングターゲット１１２ｄと右ターゲット群１１６の左端であるエイミングターゲット１１２ｅの間隔は基線長Ｂ（Ｗ＜Ｂ）に等しく、エイミングターゲット１１２ｄ及び１１２ｅは、赤外線カメラ１６Ｒ及び１６Ｌの正面位置に配置される。

図４に示すように、サービスエイミング調整装置１２０は、車両１２の位置マーク１２２と、該位置マーク１２２に基づいて車両１２が位置決めされた状態で赤外線カメラ１６Ｒ、１６Ｌの前方所定距離の位置に設けられたヘッドライトテスタ１２４と、前記接続部３２を介してＥＣＵ１４と通信を行う主制御装置１２６とを有する。ヘッドライトテスタ１２４は、レール１２８に沿って車幅方向と並行に移動可能であるとともに、昇降台１３０が昇降可能な構成となっている。昇降台１３０には、ターゲット板１３２が設けられ、該ターゲット板１３２には間隔Ｗ（Ｗ＜Ｂ）で水平に並んだ３つの熱源であるエイミングターゲット１３４ａ〜１３４ｃ（代表的にエイミングターゲット１３４とも示す。）が設けられている。エイミングターゲット１３４は、前記エイミングターゲット１１２と同じもの、あるいは、略同じものを用いることができる。

次に、このように構成されるエイミングターゲット制御装置１００又はサービスエイミング調整装置１２０を用いたナイトビジョンシステム１０のエイミングについて説明する。

エイミングには、製作所内でエイミングターゲット制御装置１００を用いる製作所エイミングモードと、サービスエイミング調整装置１２０を用いるサービスエイミングモードとがある。

製作所エイミングモードでは、位置決め装置１０２により車両１２の位置決めを行うとともに、主制御装置１０６を車両１２の接続部３２に接続しておく。主制御装置１０６は、ＥＣＵ１４に対して、エイミングターゲット制御装置１００を用いた製作所エイミングを実行するように指示を送出する。また、エイミングターゲット１１２ａ〜１１２ｈは、車両１２の種類に応じて赤外線カメラ１６Ｒ及び１６Ｌと同じ高さとなるように調整されている。

サービスエイミングモードでは、位置マーク１２２に各車輪を合わせて車両１２を位置決めし、主制御装置１２６を車両１２の接続部３２に接続しておく。主制御装置１２６は、ＥＣＵ１４に対して、サービスエイミング調整装置１２０を用いたサービスエイミングを実行するように指示を送出する。エイミングターゲット１３４ａ〜１３４ｃは、規定高さとなるように調整されている。

図５〜図９に示す処理は、ＥＣＵ１４において主にエイミングモード実行部４８で実行される処理である。

先ず、図５のステップＳ１において、赤外線カメラ１６Ｒ、１６Ｌからステレオ赤外線画像を入力し、画像入力部４０においてＡ／Ｄ変換してグレースケール画像を得る（ステップＳ２）。このグレースケール画像は、画像記憶部４４に記憶される。また、グレースケール画像は、二値化処理部４２で二値化されて画像記憶部４４に記憶される。

ステップＳ３において、モード選択部５２は、主制御装置１０６又は１２６からの指示に従い、エイミングモード又は通常モードのいずれを実行するのかを判断する。通常モードを実行する場合にはステップＳ５へ移り、エイミングモードを実行する場合にはステップＳ４へ移る。

ステップＳ５の通常モードでは、通常モード実行部５０の作用下に、カメラパラメータ記憶部４６に記憶されたカメラパラメータを参照し、後述するようにＨＵＤ１８及びスピーカ２０を制御して対象物の探索及び必要に応じた注意喚起を行う通常のモードを実行し、この後、ステップＳ１へ戻る。

ステップＳ４においては、モード選択部５２がエイミングターゲット制御装置１００又はサービスエイミング調整装置１２０のいずれの装置を用いるのかを判断し、エイミングターゲット制御装置１００を用いると判断した場合には、ステップＳ６へ移り、製作所モード部７０の作用下に製作所エイミングモードを実行する。また、サービスエイミング調整装置１２０を用いると判断した場合には、ステップＳ３０（図７参照）へ移り、サービスモード部７２の作用下にサービスエイミングモードを実行する。以下、製作所エイミングモード及びサービスエイミングモードを順に説明する。

製作所エイミングモードでは、先ず、ステップＳ６において、赤外線カメラ１６Ｒ、１６Ｌからエイミングターゲット板１１０までの距離Ｚｎを設定する。この場合、距離Ｚｎは固定値である。

ステップＳ７において、テンプレート設定部９４の作用下に、距離Ｚｎに配置されたエイミングターゲット１１２に対応した１つの基準テンプレートをテンプレートＴＰ１〜ＴＰ６から選択する。

ステップＳ８においては、近距離に配設されたエイミングターゲット１１２までの距離に対応した透視変換モデルを用いてエイミングターゲット１１２の位置を算出するため、この透視変換モデルに適応した赤外線カメラ１６Ｒ、１６Ｌの結像距離（焦点距離）を設定する。

ステップＳ９において、前記ステップＳ７で選択したテンプレートＴＰに基づいてテンプレートマッチング処理を行う。すなわち、赤外線カメラ１６Ｒ、１６Ｌにより撮像されたエイミングターゲット１１２のグレースケール画像と、テンプレートＴＰとの相関演算を行い、相関演算の結果が最小となるグレースケール画像の座標を算出して記憶する（ステップＳ１０）。

ステップＳ１１では、取得したグレースケール画像が所定枚数Ｎに達したか否かを確認し、Ｎ枚に達した場合には、ステップＳ１２へ移り、Ｎ枚未満である場合には、ステップＳ１へ戻り、グレースケール画像の取得を継続してターゲット座標の算出記憶処理を繰り返す。

ステップＳ１２において、算出されたＮ組のターゲット座標の平均値を算出する処理を行い、ターゲット座標が正常に算出された場合にはステップＳ１４へ移り、算出されなかった場合にはステップＳ３へ戻るという分岐処理（ステップＳ１３）を行う。

ステップＳ１４において、輝度調整ＬＵＴの設定処理を行う。この処理では、相関演算によるテンプレートマッチングを確実に実行できるよう、例えば、赤外線カメラ１６Ｒ及び１６Ｌにより検出されたエイミングターゲット１１２の輝度信号同士のレベルを比較し、各輝度レベルにおいて、相関演算の基準とする赤外線カメラ１６Ｒからの輝度信号が赤外線カメラ１６Ｌからの輝度信号よりも常に大きくなるように調整する輝度調整ＬＵＴを設定する。該輝度調整ＬＵＴ設定処理が正常に実行された場合にはステップＳ１６へ移る（ステップＳ１５）。

ステップＳ１６において、赤外線カメラ１６Ｒ、１６Ｌの焦点距離及び画素ピッチの個体差に起因して発生する映像歪みを補正する映像歪補正値の算出処理を行う。映像歪補正値の算出処理の詳細については、後述する。映像歪補正値が正常に算出された場合にはステップＳ１８へ移る（ステップＳ１７）。

ステップＳ１８において、左右カメラ取り付け角であるパン角及びピッチ角の算出処理を行い、左右カメラ取り付け角が正常に算出された場合にはステップＳ２０へ移る（ステップＳ１９）。

ステップＳ２０において、赤外線カメラ１６Ｒ、１６Ｌにより撮像された各画像から画像処理に用いられる範囲を切り出す基準とする切り出し座標の算出処理を行い、切り出し座標が正常に算出された場合にはステップＳ２２へ移る（ステップＳ２１）。

ステップＳ２２において、赤外線カメラ１６Ｒ、１６Ｌの光軸が平行に設定されていないことに起因する対象物画像の視差に含まれる誤差である視差オフセット値の算出処理を行う。視差オフセットが正常に算出された場合にはステップＳ２４へ移る（ステップＳ２３）。

ステップＳ２４において、ステップＳ１４、Ｓ１６、Ｓ１８、Ｓ２０及びＳ２２での処理で求められた輝度調整ＬＵＴ、映像歪補正値、パン角及びピッチ角、切り出し座標、視差オフセット値をカメラパラメータ記憶部４６に記憶し、これらのカメラパラメータが正しく記憶された場合には製作所エイミングの処理を終了する。このとき、ＥＣＵ１４は主制御装置１０６に対して製作所エイミングが終了した旨の信号を送出する。この後に通常モードを実行する場合には所定の再起動処理を行えばよい。なお、ステップＳ１７、Ｓ１９、Ｓ２１、Ｓ２３及びＳ２５における各分岐処理において判定結果が否定的であった場合には、ステップＳ１３の分岐処理における否定的な結果時と同様にステップＳ３へ戻ることになる。

次に、サービスエイミングモードの処理について説明する。サービスエイミングモードにおいては、前記の製作所エイミングと同様にステップＳ１〜Ｓ３の処理（図５参照）が実行され、次のステップＳ４からステップＳ３０へ分岐処理が行われ、サービスモード部７２の作用下に図７〜図９に示す処理が実行される。

図７のステップＳ３０において、赤外線カメラ１６Ｒ、１６Ｌからターゲット板１３２までの距離を設定する。この場合、ターゲット板１３２までの距離は、サービスエイミングを行う作業所に設置されたエイミングターゲット１３４の位置によって決定される。この距離は、主制御装置１２６から入力され、ＥＣＵ１４に供給される。

ステップＳ３１において、赤外線カメラ１６Ｒ、１６Ｌの高さＨ（図１参照）を確認して入力する。

ステップＳ３２において、テンプレート設定部９４の作用下に、ステップＳ３０で設定したエイミングターゲット１３４までの距離に対応したテンプレートＴＰ１〜ＴＰ６のうちの１つを選択する。

ステップＳ３３においては、ステップＳ８と同様に、エイミングターゲット１３４までの距離に対応した透視変換モデルに適応した結像距離が設定される。

ステップＳ３４において、ターゲット板１３２の位置確認が行われる。つまり、サービスエイミングモードでは、ターゲット板１３２を中心位置ＰＣ、左位置ＰＬ及び右位置ＰＲ（図４参照）の順に配置してエイミングを行うため、ステップＳ３４が最初に実行されたときには、主制御装置１２６に対してターゲット板１３２を中心位置ＰＣに設定するように確認指示の信号を送出する。この信号を受けた主制御装置１２６では、モニタ画面上に「ターゲットを中心位置ＰＣに配置して、『Ｙ』キーを押してください。」等のメッセージを表示する。調整員はこのメッセージに応じてヘッドライトテスタ１２４を手動又は所定の駆動装置によってレール１２８に沿って移動させ、ターゲット板１３２を中心位置ＰＣに配置する。

ステップＳ３５においては、その時点のターゲット板１３２の位置に応じて分岐処理が行われる。つまり、ターゲット板１３２が中心位置ＰＣに配置されているとき（初回〜３０回目）にはステップＳ３６へ移り、左位置ＰＬに配置されているとき（３１回目〜６０回目）にはステップＳ４１へ移り、右位置ＰＲに配置されているとき（６１回目以降）にはステップＳ４６へ移る。

ステップＳ３６においては、ステップＳ９と同様に、テンプレートマッチング処理を行う。

ステップＳ３７においては、ステップＳ１０と同様に、エイミングターゲット１３４のターゲット座標を算出して記憶する。

ステップＳ３８においては、ステップＳ１１と同様に、取得したグレースケール画像の枚数を確認し、Ｎ枚以上である場合にはステップＳ３９へ移り、Ｎ枚未満である場合にはステップＳ１へ戻る。なお、２回目以降は、ステップＳ３〜Ｓ８及びＳ３０〜Ｓ３５の処理をスキップする。

ステップＳ３９においては、中心位置ＰＣについて、ステップＳ１２と同様に、ターゲット座標の平均値算出処理を行い、ターゲット座標が正常に算出された場合にはステップＳ１へ移り、算出されなかった場合にはステップＳ３へ戻るという分岐処理（ステップＳ４０）を行う。

同様にして、ターゲット板１３２を左位置ＰＬに配置し、図８に示すステップＳ４１〜Ｓ４５が実行される。

また、ターゲット板１３２を右位置ＰＲに配置し、図９に示すステップＳ４６〜Ｓ５０が実行される。

最後のステップＳ５０において、ターゲット座標が正常に算出されたと判断されたときには、ステップＳ１４（図６参照）へ移り、それ以降は製作所エイミングモードと同様の処理が行われ、各カメラパラメータがカメラパラメータ記憶部４６に記憶される。

次に、ステップＳ１６における映像歪補正値の算出処理につき、図１０を用いて詳細に説明する。

赤外線カメラ１６Ｒ又は１６Ｌのレンズ中心Ｏを原点として、２つの対象物Ｔ１、Ｔ２を赤外線カメラ１６Ｒ又は１６Ｌから距離Ｚｎだけ離間させるとともに、相互に距離Ｄだけ離間した実空間位置（Ｘｎ，Ｚｎ）及び（Ｘｎ−Ｄ，Ｚｎ）に配設し、これらの対象物Ｔ１、Ｔ２を赤外線カメラ１６Ｒ又は１６Ｌにより撮像する。なお、対象物Ｔ１、Ｔ２としては、例えば、図３に示すエイミングターゲット１１２から任意の２つを選択することができる。

撮像した対象物Ｔ１、Ｔ２の画像Ｔ１^*、Ｔ２^*のＸ方向の位置ｘ１、ｘ２は、赤外線カメラ１６Ｒ又は１６Ｌに映像歪みがないと仮定した場合、設計焦点距離ｆ及び設計画素ピッチｐから決まる設計パラメータＦ（＝ｆ／ｐ）を用いて、透視変換モデルでは、
ｘ１＝Ｆ・Ｘｎ／Ｚｎ …（４）
ｘ２＝Ｆ・（Ｘｎ−Ｄ）／Ｚｎ …（５）
となる。なお、図１０では、画像Ｔ１^*、Ｔ２^*がレンズの中心Ｏに対して共役な位置にあるものとして示している。

一方、実際の赤外線カメラ１６Ｒ及び１６Ｌは、焦点距離及び画素ピッチに個体差があるため、理論上の位置ｘ１、ｘ２に対して所定の拡大率又は縮小率を掛け合わせた位置として計測される。この拡大率又は縮小率を映像歪補正値αとすると、理論上の位置ｘ１、ｘ２と実際の画像Ｔ１^*、Ｔ２^*の位置ｘ１^*、ｘ２^*との間には、
α・ｘ１^*＝ｘ１ …（６）
α・ｘ２^*＝ｘ２ …（７）
の関係が成立する。

従って、理論上の位置ｘ１、ｘ２に対する実際の画像Ｔ１^*、Ｔ２^*の位置ｘ１^*、ｘ２^*の誤差ｄ１、ｄ２は、（６）、（７）式から、
ｄ１＝ｘ１^*−ｘ１＝（１−α）・ｘ１^* …（８）
ｄ２＝ｘ２^*−ｘ２＝（１−α）・ｘ２^* …（９）
となる。

従って、（４）、（５）、（８）、（９）式から、映像歪補正値αは、
α＝Ｆ・Ｄ／Ｚｎ・（１／（ｘ１^*−ｘ２^*）） …（１０）
として求められる。

この場合、映像歪補正値αは、対象物Ｔ１、Ｔ２のＸ方向の位置Ｘｎを任意として、赤外線カメラ１６Ｒ又は１６Ｌからの距離Ｚｎ、対象物Ｔ１、Ｔ２間の距離Ｄ、設計パラメータＦを用いて容易に算出することができる。そして、算出された映像歪補正値αを用いて設計パラメータＦを１／α・Ｆと補正することにより、対象物の実空間位置を高精度に算出することができる。

なお、上記の説明では、設計パラメータのＸ方向に対する映像歪補正値αを算出するものとして説明したが、Ｙ方向に対する映像歪補正値も同様にして算出することができる。また、赤外線カメラ１６Ｒ、１６Ｌの設計パラメータの誤差が等方的に発生するものとすれば、Ｘ方向及びＹ方向の映像歪補正値を同じ値に設定すればよい。

このようにして算出された赤外線カメラ１６Ｒ、１６Ｌの映像歪補正値αは、カメラパラメータとしてカメラパラメータ記憶部４６に記憶される。

以上のようにして、エイミングモードにより各カメラパラメータが設定された後、このカメラパラメータを用いて通常モードでの処理が行われる。

そこで、通常モードでの対象物の探索処理及び必要に応じた注意喚起処理につき、図１１に示すフローチャートに従って説明する。

赤外線カメラ１６Ｒにより車両１２の前方を基準画像として撮像するとともに、赤外線カメラ１６Ｌにより車両１２の前方を探索画像として撮像し、各画像をグレースケール画像として画像記憶部４４に記憶させるとともに、二値化処理部４２により赤外線カメラ１６Ｒからの画像を二値化画像として画像記憶部４４に記憶させる（ステップＳ１０１、１０２）。

通常モード実行部５０は、赤外線カメラ１６Ｒにより撮像した基準画像の二値化画像から対象物を抽出する（ステップＳ１０３）。次いで、基準画像の対象物に対応する探索画像の対象物を、グレースケール画像同士の相関演算によって探索し、探索された対象物間の画像上での視差を算出して対象物までの距離を求める（ステップＳ１０４）。

この場合、相関演算に先立ち、カメラパラメータである輝度調整ＬＵＴを用いて、赤外線カメラ１６Ｒにより撮像して得られた基準画像の輝度信号が赤外線カメラ１６Ｌにより撮像して得られた探索画像の輝度信号より大きくなるように調整され、調整された各グレースケール画像により相関演算が行われて対象物が確実に探索される。また、基準画像１４６及び探索画像１５２における対象物の座標は、赤外線カメラ１６Ｒ、１６Ｌに対して算出されたカメラパラメータである映像歪係数αを用いて設計パラメータＦを１／α・Ｆと補正し、この補正された設計パラメータＦを（１）、（２）式に適用することで高精度に求められる。さらに、探索された対象物間の視差が、相対パン角に起因するカメラパラメータである視差オフセット値により高精度に補正され、対象物までの距離も高精度に算出される。

次いで、基準画像における対象物の二次元座標をステップＳ１８で算出した赤外線カメラ１６Ｒ、１６Ｌの絶対パン角、絶対ピッチ角により補正し、ステップＳ１０４で算出した距離を含む対象物の実空間における三次元座標である相対位置を算出する（ステップＳ１０５）。

ステップＳ１０５における対象物の実空間三次元座標は、微小時間間隔で繰り返し算出され、対象物の移動ベクトルが算出される（ステップＳ１０６）。この移動ベクトルを用いて、対象物から道路構造物や車両を除外する処理を行い（ステップＳ１０７）、残余の対象物の形状から歩行者の有無を判定する（ステップＳ１０８）。

ステップＳ１０８において、歩行者有りとの判定がなされた場合、赤外線カメラ１６Ｒにより撮像された基準画像をＨＵＤ１８に表示させるとともに、歩行者の画像を強調枠で囲み（ステップＳ１０９）、且つ、スピーカ２０を鳴動させてドライバに注意喚起を行う（ステップＳ１１０）。

なお、本発明は、上述した実施形態に限定されるものではなく、本発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。

本発明の補正装置が適用されるナイトビジョンシステムの構成図である。 図１に示すナイトビジョンシステムを構成するＥＣＵの機能構成ブロック図である。 製作所に設置されるエイミングターゲット制御装置の構成図である。 サービス工場等に設置されるサービスエイミング調整装置の構成図である。 エイミング処理のフローチャートである。 エイミング処理のフローチャートである。 エイミング処理のフローチャートである。 エイミング処理のフローチャートである。 エイミング処理のフローチャートである。 設計パラメータの映像歪補正値の算出処理の説明図である。 通常モードでの対象物探索処理のフローチャートである。

符号の説明

１０…ナイトビジョンシステム １２…車両
１４…ＥＣＵ １６Ｒ、１６Ｌ…赤外線カメラ
１８…ＨＵＤ ２０…スピーカ
４６…カメラパラメータ記憶部 ４８…エイミングモード実行部
５０…通常モード実行部 ５２…モード選択部
７０…製作所モード部 ７２…サービスモード部
７４…パラメータ入力部 ７６…初期設定部
７８…テンプレートマッチング部 ８０…輝度調整ＬＵＴ設定部
８２…左右カメラ映像歪補正部 ８４…左右カメラ取付角算出部
８６…左右カメラ映像切出座標算出部 ８８…視差オフセット値算出部
１００…エイミングターゲット制御装置 １２０…サービスエイミング調整装置

Claims (3)

1. 撮像手段により対象物を撮像し前記対象物の計測位置を補正する補正装置であって、
   複数の対象物を撮像する撮像手段と、
   前記撮像手段により撮像された前記対象物の投影座標を補正する補正係数を算出する補正係数算出手段と、
   前記補正係数算出手段により算出された前記補正係数を用いて、前記撮像手段により撮像された前記対象物の投影座標を補正する補正手段と、
   を備え、前記補正係数算出手段は、前記複数の対象物間の距離と、前記撮像手段から前記複数の対象物までの距離とに基づき、前記補正係数を算出することを特徴とする補正装置。
2. 撮像手段により対象物を撮像し前記対象物の計測位置を補正する補正装置であって、
   前記撮像手段から距離Ｚｎだけ離間させ、且つ、位置Ｘｎを任意として相互に距離Ｄだけ離間する実空間位置（Ｘｎ，Ｚｎ）及び（Ｘｎ−Ｄ，Ｚｎ）に第１対象物及び第２対象物を配設し、前記撮像手段により撮像した前記第１対象物及び前記第２対象物の画像上での位置ｘ１^*及びｘ２^*を算出する画像位置算出手段と、
   前記撮像手段の設計パラメータＦを用いて、
   ｘ１＝Ｆ・Ｘｎ／Ｚｎ
   ｘ２＝Ｆ・（Ｘｎ−Ｄ）／Ｚｎ
   として算出される前記第１対象物及び前記第２対象物の画像上での位置ｘ１及びｘ２と、前記位置ｘ１^*及びｘ２^*との差分から、前記設計パラメータＦの補正係数αを、
   ｘ１^*−ｘ１＝（１−α）・ｘ１^*
   ｘ２^*−ｘ２＝（１−α）・ｘ２^*
   の関係に従って算出する補正係数算出手段と、
   を備え、前記設計パラメータＦを前記補正係数αにより１／α・Ｆと補正し、前記撮像手段により撮像された前記対象物の計測位置を補正することを特徴とする補正装置。
3. 請求項２記載の装置において、
   前記設計パラメータＦは、前記撮像手段の設計焦点距離をｆ、設計画素ピッチをｐとして、
   Ｆ＝ｆ／ｐ
   の関係で設定されることを特徴とする補正装置。

Images