JP2011180022A - ステレオカメラの診断方法、およびステレオカメラの診断装置 - Google Patents

Abstract

【課題】この発明は、車載のステレオカメラの位置ずれについて、処理を単純化し、低い計算コストで、一般的な運転環境下で自動的に異常を検知できるステレオカメラの診断方法、およびステレオカメラの診断装置を実現することを目的とする。
【解決手段】この発明は、ステレオ画像を取得するステレオカメラの診断方法において、カメラ画像から特徴物を検出し、光軸中心を基準として実際に検出された特徴物の検出位置と本来検出されるべき位置との垂直方向のずれに基づいてカメラの角度ずれを検出することを特徴とする。
【選択図】図５

Description

この発明はステレオカメラの診断方法、およびステレオカメラの診断装置に係り、特に、車両に設置されたステレオカメラの角度ずれを簡単な処理により診断して検出することができるステレオカメラの診断方法、およびステレオカメラの診断装置に関する。

車両に搭載される各種車載システムには、歩行者認識、ナイトビジョン、アクティブクルーズコントロール、プリクラッシュセーフティシステム等の、ステレオカメラを用いたシステムがある。ステレオカメラは、適切な方法で車両に設置され、それに対応したキャリブレーションパラメータによって画像処理を行い、ステレオ画像を取得する。
しかし、ステレオカメラは、車両の使用により経年的にカメラ設置位置や角度がずれる可能性がある。衝突事故など強い衝撃や破損が生じた場合も、同様にカメラ設置位置や角度がずれる可能性がある。また、画像処理装置の故障により画像が不適切に変換処理される可能性もある。このような状況において、対象物の視差距離は不正確に算出され、これにより不適切な情報の提供や、不必要な車両の制御が発生し、ドライバーに過度の負担を強いる可能性がある。
このような事態を防ぐため、車載装置に内蔵の、または整備工場などにおける検査装置に含まれるステレオカメラの診断方法が提案されている。

車載ステレオカメラの診断方法としては、特許文献１（特許第４２８５６１８号公報）に開示されるものがある。特許文献１では、正規化した左右カメラ画像からステレオマッチングを取り、マッチングした領域群の列のエピポーラ線からのずれを検出し、カメラ画像平面内の回転と、カメラの垂直方向のずれを算出し、カメラの位置ずれをソフト的に補正する。
特許文献２（特開２００８−３０４２４８号公報）では、信号機を用いて視差により算出された距離と信号機の見た目の大きさから算出される距離とを比較し、ステレオカメラの水平方向のずれを検出する方法が開示されている。
特許文献３（特開平１０−３４１４５８号公報）では、同一の対象物について、自車両がある距離移動した前後でステレオ視を行い、移動した距離から算出される視差の変化量と実際得られた視差の変化量を比較することで、ステレオカメラの水平方向のずれを検出する。

特許第４２８５６１８号公報 特開２００８−３０４２４８号公報 特開平１０−３４１４５８号公報

しかし、前記特許文献１では、ステレオ視により算出される視差距離のずれに関わるカメラ水平方向のずれについては検出、補正を行うことができない。
また、前記特許文献２及び特許文献３は、いずれも、水平方向の位置ずれについて検知できるが、カメラ垂直方向のずれについて検知することができない。

ステレオ視を行うためには、左右のカメラにより取得した画像について平行化処理を行うことが一般的である。この平行化処理では、エピポーラ線が画像上で同一の高さでｕ軸に平行になるよう、左右のカメラ画像に回転並進の座標変換処理を行う。ステレオカメラの位置ずれとは、この回転並進操作のパラメータがずれることに対応する。
厳密なステレオカメラのキャリブレーション（校正）では、すべての自由度について適切なパラメータを求める必要がある。そのためには、専用の道具を使用し、パラメータを十分な精度で決定できるだけのデータを取得しなければならず、そのようなキャリブレーションを車載のステレオカメラでユーザが自由に運転操作している環境で行うことは不可能か、極めて複雑な処理が必要になる。

この発明では、車載のステレオカメラの位置ずれについて、並進操作に影響するカメラの位置ずれは、目視で容易に異常が判別できると考え、処理の対象から外し、経年的に起こりうる比較的微小な角度ずれについてのみ考慮することで、処理を単純化し、低い計算コストで、一般的な運転環境下で自動的に異常を検知できるステレオカメラの診断方法、およびステレオカメラの診断装置を実現することを目的とする。

この発明は、ステレオ画像を取得するステレオカメラの診断方法において、カメラ画像から特徴物を検出し、光軸中心を基準として実際に検出された特徴物の検出位置と本来検出されるべき位置との垂直方向のずれに基づいてカメラの角度ずれを検出することを特徴とする。

この発明のステレオカメラの診断方法は、カメラのｘ軸、ｚ軸周りの回転による角度ずれを検出することができる。

車両に搭載されたステレオカメラの座標系を示す図である。（実施例） 垂直方向位置ずれによる回転角算出を説明する図である。（実施例） 視差ずれによる回転角算出を説明する図である。（実施例） ステレオカメラの診断装置のブロック構成図である。（実施例） カメラのｘ軸、ｚ軸周りの回転ずれを算出する場合の処理を示すフローチャートである。（実施例） カメラのｙ軸周りの回転ずれを算出する場合の処理を示すフローチャートである。（実施例） （Ａ）は赤と青の信号灯検出パターンを示す図、（Ｂ）は青の信号灯検出パターンを示す図である。（実施例） （Ａ）は左カメラのパターン検出を示す図、（Ｂ）は右カメラのパターン検出を示す図である。（実施例） カメラのｘ軸、ｙ軸周りの回転ずれの算出方法を説明する図である。（実施例） カメラのｙ軸、ｚ軸周りの回転ずれの算出方法を説明する図である。（実施例）

以下、図面に基づいて、この発明の実施例を説明する。

図１〜図１０は、この発明の実施例を示すものである。図１において、１は車両、２はステレオカメラである。ステレオカメラ２は、右のカメラ３と左のカメラ４とからなり、車両１の前部に車幅方向に所定距離だけ離して設置されている。ステレオカメラ２の２つのカメラ３・４で撮影された一対のカメラ画像は、各種車載システムに取り込まれてステレオ画像として取得され、被写体の立体像や被写体までの距離情報を得て、歩行者認識等に用いられる。
図１において、ｘ軸は車両１の幅方向（水平方向）、ｙ軸は車両１の垂直方向、ｚ軸は車両１の前後方向（車両１の進行方向）におよそ一致している。ステレオカメラ２は、２つのカメラ３・４を水平面のｘ軸方向に所定距離だけ離して設置している。例えば、カメラ３の垂直方向（ｙ軸方向）のずれとは、カメラ３のｘ軸周りの回転、および、ｙ軸方向の移動を指すものである。また、カメラ３の水平方向（ｘ軸方向）のずれとは、カメラ３のｙ軸周りの回転、および、ｘ軸方向の移動を指すものである。
ステレオカメラ２は、通常ステレオ視を容易に行うため、カメラ３・４を平行に設置するか、撮影したカメラ画像に対して平行化の処理を行う。このようにして得られる画像は、エピポーラ線が画像上で同一の高さで水平軸に平行になっており、左右いずれかの画像の各画素に対応する画素を他方の画像から探索する場合、同じ高さで水平方向に探索するだけでよくなる。経年的もしくは何らかの衝撃によりカメラ３・４の位置がずれた場合、この条件が崩れることになる。
この場合、カメラ３・４の校正（キャリブレーション）を行い、元通りの平行化されたステレオ画像が得られるようにする、もしくは正確な距離測定ができなくなったため、装置が正しく動作しないことをユーザに知らせる必要がある。
ステレオカメラ２の校正は、二つのカメラ座標系間の外部パラメータを求めることで可能になる。一般的には、図１に示した座標系で、ｘ軸、ｙ軸、ｚ軸周りの各回転（Ｒｘ、Ｒｙ、Ｒｚ）と並進（Ｔｘ、Ｔｙ、Ｔｚ）の６つのパラメータを求める。しかし、通常の走行環境下で、これら６つのパラメータ全てを求めてステレオカメラ２の校正を行うことは困難である。

ところで、車両１に搭載したステレオカメラ２で車両周囲環境を認識することを想定した場合、カメラ３・４が各軸方向に並進してずれたことで、距離測定や位置測定に重大な問題が生じたとすると、そのずれの大きさは容易に目視で確認できる程度になる。一方で、各軸（ｘ軸、ｙ軸、ｚ軸）周りの回転によるずれは、目視での確認が難しいほど僅かであっても、距離計測や位置測定に重大な問題を生じさせる程になる。
そこで、この発明では、各軸方向の並進によるずれを無いものとし、各軸周りの回転によるずれの大きさを通常走行環境下で検出する。
ステレオ視においてまず重要なことは、ステレオマッチングがとれることである。カメラ３・４がｘ軸またはｚ軸の周りに回転してずれた場合、図２に示すように、対象物の写る位置がｖ軸方向にずれることになり、ステレオマッチングをとることが困難になると考えられる。
図２において、ｚ軸周りにカメラ３・４が回転した場合を考える。点Ａ（ｕ，ｖ）に写るはずであった対象物が、点Ｂ（ｕ’，ｖ’）に写ったとする。今、カメラ３・４の並進によるずれは無いとしているので、画像回転は、カメラ３・４の光軸（Ｃ（Ｃｘ，Ｃｙ））を中心に起こる。この回転によるｖ軸方向の対象物の移動は、点Ａと点Ｃの間の距離をｒとすると、
△ｖ＝ａｃｏｓθ１
ａ＝ｒｔａｎθ２
一方、ｒｃｏｓθ１＝ｕ−Ｃｘ
従って、
△ｖ＝（ｕ−Ｃｘ）ｔａｎθ２
となる。これは、移動量がＣｘとの差の大きさによって変わることを示している。
また、ｘ軸周りの回転によるずれは、画像全体をｖ軸方向に一定量移動させることに対応する。
以上のことから、カメラ３・４の角度ずれが一定と見なせる期間内において、多数の対象物について画像上のｖ軸方向の移動量△ｖを計測し、（ｕ−Ｃｘ，△ｖ）をプロットしていくと、ある直線状に並ぶことになる。この直線のｙ切片からｘ軸周りの回転量、直線の傾きからｚ軸周りの回転量を知ることができる。

一方、ｕ軸方向の対象物の検出位置は、ステレオ視差に直結し、距離計測の正確さに影響する。誤った距離計測により、障害物や歩行者などとの衝突危険性を正しく判定できず、ステレオカメラ２を用いた装置の信頼性を著しく損なう可能性がある。
図３において、ｚ軸周りにカメラ３・４が回転した場合を考える。点Ａ（ｕ，ｖ）に写るはずであった対象物が、点Ｂ（ｕ’，ｖ’）に写ったとする。今、カメラ３・４の並進によるずれは無いとしているので、画像回転は、カメラ３・４の光軸（Ｃ（Ｃｘ、Ｃｙ））を中心に起こる。ｕ軸方向の対象物の移動量は、対象物について得られる視差の変化量でもある。
即ち、本来得られる視差と実際に得られた視差（ｄｄｉｓｐ）の差が△ｄとなる。本来得られる視差は、対象物の大きさが既知であれば、見た目の大きさから算出することができる（ｄａｐｐ）。
△ｄ＝ｄａｐｐ−ｄｄｉｓｐ
距離ｚにある大きさｌの物体を焦点距離ｆのカメラで撮影した場合、カメラ検出器表面にｘの大きさで写るとすると、
ｚ＝ｆｌ／ｘ
の関係が成り立つ。
ステレオカメラの基線長Ｔのとき、得られる視差は、
ｄａｐｐ＝Ｔｆ／ｚ
＝Ｔｆｘ／ｆｌ
＝Ｔｘ／ｌ
で計算できる。
例えば、カメラ３（右カメラ）について考えると、右方向への移動で視差がプラスとなるので、図３より、
△ｄ＝ａｓｉｎθ１
ａ＝ｒｔａｎθ２
また、ｒｓｉｎθ１＝ｖ−Ｃｙ
従って、
△ｄ＝（ｖ−Ｃｙ）ｔａｎθ２
となる。これは、移動量がＣｙとの差の大きさによって変わることを示している。
また、ｙ軸周りの回転によるずれは、画像全体をｕ軸方向に一定量移動させることに対応する。
以上のことから、カメラ３・４の角度ずれが一定と見なせる期間内において、多数の対象物について画像上のｕ軸方向の移動量△ｄを計測し、（ｖ−Ｃｙ，△ｄ）をプロットしていくと、ある直線状に並ぶことになる。この直線のｙ切片からｙ軸周りの回転量、直線の傾きからｚ軸周りの回転量を知ることができる。

次に、ステレオカメラ２が熱画像を取得するカメラである場合、ステレオカメラ２の診断方法及び診断装置の具体例を説明する。
図４において、５はステレオカメラ２の診断装置である。診断装置５は、車両１に設置したステレオカメラ２と、ステレオカメラ２の２つのカメラ３・４で撮影された各カメラ画像の歪みを補正する歪補正手段６と、各カメラ画像を平行化処理する平行化手段７と、カメラ画像から特徴物を検出する特徴物検出手段８と、カメラ３・４の角度ずれを検出する角度ずれ検出手段９と、角度ずれのデータの更新およびカウントの更新をする更新手段１０とを備えている。
角度ずれ検出手段９は、光軸中心を基準として実際に検出された特徴物の検出位置と本来検出されるべき位置との垂直方向のずれに基づいて、カメラ３・４の角度ずれを検出する。また、角度ずれ検出手段９は、光軸中心を基準として実際に検出された特徴物に対する視差と本来検出されるべき視差とのずれに基づいて、カメラ３・４の角度ずれを検出する。
ステレオカメラ２の診断方法について、赤外線ステレオカメラシステムで、右のカメラ３にずれが生じた場合（右カメラ画像にカメラずれに関する補正を行う場合）の例を、図５・図６により説明する。カメラ３のｘ軸、ｚ軸周りの回転ずれを算出する場合は、図５に示す処理Ａを実行する。加えて、カメラ３のｙ軸周りの回転ずれを算出する場合は、図６に示す処理Ｂも実行する。
カメラ３のｘ軸周りの回転ずれが生じていた場合、ステレオマッチングがうまく取れなくなっている恐れがあるため、まず処理Ａを行い、ｘ軸周りの回転ずれが大きくなければ処理Ｂも実行する、とすることが望ましい。

図５において、処理Ａがスタートすると（Ａ０１）、ステレオカメラ２のカメラ３・４でカメラ画像を取得し（Ａ０２）、予め取得されたキャリブレーションパラメータにより、カメラ画像の歪を補正し（Ａ０３）、ステレオ視を行うため、ステレオキャリブレーションパラメータによりステレオ画像を平行化し（Ａ０４）、左のカメラ４の左カメラ画像から信号灯に相当する円形パターン（パターンＡ）をパターンマッチング法などにより検出（Ａ０５）する。
検出（Ａ０５）においては、図７（Ａ）に示すように、最初に青と赤の２つの信号灯に相当する２つの円が高い輝度をもつパターン（パターンＡ）を用いてパターンマッチングを行い、マッチング率が下限閾値を越えているかを判断する（Ａ０６）。
マッチング率が低く（マッチング率≦下限閾値）、判断（Ａ０６）がＮＯの場合は、図７（Ｂ）に示すように、左のカメラ４の左カメラ画像から青信号灯に相当する一つの円形パターン（パターンＢ）を用いてパターンマッチングを行い（Ａ０７）、検出した位置を図８（Ａ）に示すように（ｕ１，ｖ１）とする。パターン検出では、方向指示つき信号機の方向指示部等を検出しないよう、周辺も含めてパターン検出を行う。
パターンマッチング（Ａ０７）の後、マッチング率が下限閾値を越えているかを判断する（Ａ０８）。この判断（Ａ０８）がＮＯの場合は、処理を終了する（Ａ１３）。マッチング率が下限閾値を越えていて（マッチング率＞下限閾値）、前記判断（Ａ０６）がＹＥＳの場合、また、前記判断（Ａ０８）がＹＥＳの場合は、右のカメラ３の右カメラ画像から信号灯に相当するパターンを検出する（Ａ０９）。探索する領域を次のように限定する。垂直位置は、左のカメラ４で検出したパターンの位置近辺とする。左右位置は、左のカメラ４で検出したパターンの位置より左側とする。検出した位置を、図５（Ｂ）に示す示すように、（ｕ２，ｖ２）とする。
検出したパターンについて、視差による距離を含む３次元位置が計測可能な場合は、信号灯の高さが５ｍを越えているかを判断する（Ａ１０）。この判断（Ａ１０）において、高さが５ｍ以下（Ａ１０：ＮＯ）であれば、車両用信号機ではないと判断して処理を終了する（Ａ１３）。
前記判断（Ａ１０）において、高さが５ｍを越えて（Ａ１０：ＹＥＳ／不明）であれば、対象物の左右位置が光軸中心の左右位置から一定の範囲以内であるか（｜ｕ２−Ｃｘ２｜＜α）を判断する（Ａ１１）。
この判断（Ａ１１）がＹＥＳで、対象物の左右位置が光軸中心の左右位置から一定の範囲以内にある場合（｜ｕ２−Ｃｘ２｜＜α）は、カメラ３のｚ軸周りの回転の影響が小さくなるため、移動量をカメラ３のｘ軸周りの回転によるものとして、検出した高さ方向の位置ずれ（△ｖｘ）と発生カウント値（Ｃｖｘ）のデータを更新して蓄積し（Ａ１２）、処理を終了する（Ａ１３）。
前記判断（Ａ１１）がＮＯで、対象物の左右位置が光軸中心の左右位置から一定の範囲外にある場合（｜ｕ２−Ｃｘ２｜≧α）は、検出した高さ方向の位置ずれ（△ｖ＝ｖ２−ｖ１）に関して、対象物の左右位置（ｕ２）がカメラ光軸中心の左右位置（Ｃｘ２）から左にある場合と右にある場合とで分け、Ｖ＝（ｕ２−Ｃｘ２，△ｖ）の形で記憶する。検出位置がＣｘに対して左（Ｖｌ）と右（Ｖｒ）のケースについて、高さ方向の位置ずれ（Ｖｌｍｅａｎ，Ｖｒｍｅａｎ）とそれぞれの発生カウント値（Ｃｖｌ，Ｃｖｒ）のデータを更新して蓄積し（Ａ１４）、処理を終了する（Ａ１３）。
発生カウント値Ｃｖｘ，Ｃｖｌ，Ｃｖｒが規定数以上に達したら、蓄積したＶｌ，Ｖｒおよび△ｖｘから、カメラ３の垂直方向のずれを求める。

図６において、処理Ｂがスタートすると（Ｂ０１）、ステレオカメラ２のカメラ３・４でカメラ画像を取得し（Ｂ０２）、予め取得されたキャリブレーションパラメータにより、カメラ画像の歪を補正し（Ｂ０３）、ステレオ視を行うため、ステレオキャリブレーションパラメータによりステレオ画像を平行化し（Ｂ０４）、左のカメラ４の左カメラ画像から信号灯に相当する円形パターン（パターンＡ）をパターンマッチング法などにより検出（Ｂ０５）する。
検出（Ｂ０５）においては、図７（Ａ）に示すように、最初に青と赤の２つの信号灯に相当する２つの円が高い輝度をもつパターン（パターンＡ）を用いてパターンマッチングを行い、マッチング率が下限閾値を越えているかを判断する（Ｂ０６）。
マッチング率が低く（マッチング率≦下限閾値）、判断（Ｂ０６）がＮＯの場合は、図７（Ｂ）に示すように、左のカメラ４の左カメラ画像から青信号灯に相当する一つの円形パターン（パターンＢ）を用いてパターンマッチングを行い（Ｂ０７）、検出した位置を図８（Ａ）に示すように（ｕ１，ｖ１）とする。パターン検出では、方向指示つき信号機の方向指示部等を検出しないよう、周辺も含めてパターン検出を行う。
パターンマッチング（Ｂ０７）の後、マッチング率が下限閾値を越えているかを判断する（Ｂ０８）。この判断（Ｂ０８）がＮＯの場合は、処理を終了する（Ｂ１４）。マッチング率が下限閾値を越えていて（マッチング率＞下限閾値）、前記判断（Ｂ０６）がＹＥＳの場合、また、前記判断（Ｂ０８）がＹＥＳの場合は、検出したパターンについて、視差による距離を含む３次元位置が計測可能な場合は、信号灯の高さが５ｍを越えているかを判断する（Ｂ０９）。
この判断（Ｂ０９）において、高さが５ｍ以下（Ｂ０９：ＮＯ／不明）であれば、車両用信号機ではないとして処理を終了する（Ｂ１４）。この判断（Ｂ０９）において、高さが５ｍを越えて（Ｂ０９：ＹＥＳ）であれば、右のカメラ３の右カメラ画像から信号灯に相当するパターンを検出し（Ｂ１０）、パターンの見た目の距離による視差（ｄａｐｐ）を算出する（Ｂ１１）。探索する領域を次のように限定する。垂直位置は、左のカメラ４で検出したパターンの位置近辺とする。左右位置は、左カメラで検出したパターンの位置より左側とする。検出した位置を、図８（Ｂ）に示す示すように、（ｕ２、ｖ２）とする。検出したパターンについて、視差による距離を含む３次元位置が計測不可能な場合は、処理不能により処理を中止する。
前記算出（Ｂ１１）の後に、対象物の上下位置（ｖ２）がＣｙ２から一定の範囲内にあるか（｜ｖ２−Ｃｙ２｜＜α）を判断する（Ｂ１２）。
この判断（Ｂ１２）がＹＥＳで、対象物の上下位置（ｖ２）がＣｙ２から一定の範囲内にある場合（｜ｖ２−Ｃｙ２｜＜α）は、カメラ３のｚ軸周りの回転の影響が小さくなるため、移動量をカメラ３のｙ軸周りの回転によるものとして、検出した視差のずれ（△ｄｙ）と発生カウント値（Ｃｄｙ）のデータを更新して蓄積し（Ｂ１３）、処理を終了する（Ｂ１４）。
前記判断（Ｂ１２）がＮＯで、対象物の上下位置（ｖ２）がＣｙ２から一定の範囲外にある場合（｜ｖ２−Ｃｙ２｜≧α）は、対象物の左右方向の位置ずれ（視差）について、信号機など大きさがおよそ既知とできるとして、見た目の大きさから算出される視差（ｄａｐｐ）と、実際に得られた視差（ｄｄｉｓｐ＝ｄ１−ｄ２，ｄ１＝ｕ１−Ｃｘ１，ｄ２＝ｕ２−Ｃｘ２）のずれ（△ｄ＝ｄａｐｐ−ｄｄｉｓｐ）について、対象物の上下位置（ｖ２）がカメラ光軸高さ（Ｃｙ２）より上にある場合と下にある場合とで分け、Ｄ＝（ｖ２−Ｃｙ２、△ｄ）の形で記憶する。上方向（Ｄｕ）と下方向（Ｄｂ）のケースについて、視差の位置ずれ（Ｄｕｍｅａｎ，Ｄｂｍｅａｎ）のデータとそれぞれの発生カウント値（Ｃｄｕ，Ｃｄｂ）のデータを更新して蓄積し（Ｂ１５）、処理を終了する（Ｂ１４）。
発生カウント値Ｃｄｙ，Ｃｄｕ，Ｃｄｂが規定数以上に達したら、蓄積したＤｕ，Ｄｂ、および△ｄｙから、カメラ３の水平方向のずれを求める。また、Ｖｌ，Ｖｒ、Ｄｕ，Ｄｂから、カメラ３の画面平面内の回転を求める。

カメラ３のｘ軸、ｚ軸周りの回転ずれの算出方法を説明する。
対象となる特徴物の左右位置が光軸中心の左右位置から一定の範囲以内にある場合（｜ｕ２−Ｃｘ２｜＜α）のデータ平均は、カメラ３のｘ軸周りの回転ずれによる画像移動量になる。この場合は、カメラ３のｚ軸周りの回転量を求めることはできない。
図９に示すように、特徴物の左右位置が光軸中心の左右位置から一定の範囲外（｜ｕ２−Ｃｘ２｜≧α）でのデータ、Ｖｌ，Ｖｒの各平均を求め（Ｖｌｍｅａｎ，Ｖｒｍｅａｎ）、原点から引いたＶｌｍｅａｎとＶｒｍｅａｎの先端を通る直線（ｌｉｎｅＡ）のｙ切片（Ｙｘ）がカメラ３のｘ軸周りの回転ずれによる画像移動量になる。また、ｌｉｎｅＡの傾き（θｚ）がカメラ３のｚ軸周りの回転ずれ角になる。
カメラ３のｘ軸周りの回転ずれが僅かであれば、ｌｉｎｅＡは原点付近を通る直線となる。
カメラ３のｘ軸周りの回転ずれの有無について、Ｙｘを算出してその大きさを評価する。

カメラ３のｙ軸、ｚ軸周りの回転ずれの算出方法を説明する。
対象となる特徴物の上下位置（ｖ２）がＣｙ２から一定の範囲内にある場合（｜ｖ２−Ｃｙ２｜＜α）のデータ平均は、カメラ３のｙ軸周りの回転ずれによる画像移動量になる。この場合は、カメラ３のｚ軸周りの回転量を求めることはできない。
図１０に示すように、特徴物の上下位置（ｖ２）がＣｙ２から一定の範囲外にある場合（｜ｖ２−Ｃｙ２｜≧α）のデータ、Ｄｕ，Ｄｂの各平均を求め（Ｄｕｍｅａｎ，Ｄｂｍｅａｎ）、原点から引いたＤｕｍｅａｎとＤｂｍｅａｎの先端を通る直線（ｌｉｎｅＢ）のｙ切片（Ｙｙ）がカメラ３のｙ軸周りの回転ずれによる画像移動量になる。また、ｌｉｎｅＢの傾き（θｚ）がカメラ３のｚ軸周りの回転ずれ角になる。
カメラ３のｙ軸周りの回転ずれが僅かであれば、ｌｉｎｅＢは原点付近を通る直線となる。
カメラのｙ軸周りの回転ずれの有無について、Ｙｙを算出してその大きさを評価する。

カメラ３のｚ軸周りの回転ずれの算出方法を説明する。
前記のように個別にθｚを求めても良いが、Ｖｒｍｅａｎ，ＶｌｍｅａｎからＹｘを引いたものとＤｕｍｅａｎ，ＤｂｍｅａｎからＹｙを引いたものを合わせて平均し、回転角θｚを求めても良い。

このように、ステレオ画像を取得するステレオカメラ２の診断方法においては、カメラ画像から特徴物を検出し、光軸中心を基準として実際に検出された特徴物の検出位置と本来検出されるべき位置との垂直方向のずれに基づいてカメラ３・４の角度ずれを検出することを特徴としている。
これにより、このステレオカメラ２の診断方法は、カメラ３・４のｘ軸、ｚ軸周りの回転による角度ずれを検出することができる。
また、ステレオ画像を取得するステレオカメラ２の診断方法においては、カメラ画像から特徴物を検出し、光軸中心を基準として実際に検出された特徴物に対する視差と本来検出されるべき視差とのずれに基づいてカメラ３・４の角度ずれを検出することを特徴としている。
これにより、このステレオカメラ２の診断方法は、カメラ３・４のｙ軸、ｚ軸周りの回転による角度ずれを検出することができる。
このステレオカメラ２の診断方法の特徴物は、信号機の信号灯とし、信号灯の存在する高さの領域から検出することを特徴としているので、通常の運転状況でステレオカメラ２の角度ずれを検出でき、誤検出を防いでステレオカメラ２の角度ずれを精度良く検出することができる。
さらに、このステレオカメラ２の診断方法は、信号機の信号灯の存在する高さの領域から信号灯を検出するので、信号灯を精度良く検出することができる。その結果、ステレオカメラ２の角度ずれの誤検出を防ぐことができる。
このステレオカメラ２の診断方法の特徴物は、信号機の信号灯とし、予め設定された間隔である二つの円を検出することを特徴としているので、通常の運転状況でステレオカメラ２の角度ずれを検出でき、誤検出を防いでステレオカメラ２の角度ずれを精度良く検出することができる。また、このステレオカメラ２の診断方法は、赤外線カメラにおいて、信号灯を精度良く検出することができる。その結果、ステレオカメラ２の角度ずれの誤検出を防ぐことができる。
さらに、ステレオ画像を取得するステレオカメラ２の診断装置５においては、カメラ画像から特徴物を検出する特徴物検出手段８と、光軸中心を基準として実際に検出された特徴物の検出位置と本来検出されるべき位置との垂直方向のずれに基づいてカメラ３・４の角度ずれを検出する角度ずれ検出手段９を備えている。
これにより、このステレオカメラ２の診断装置５は、カメラ３・４のｘ軸、ｚ軸周りの回転による角度ずれを検出することができる。
さらにまた、ステレオ画像を取得するステレオカメラ２の診断装置５においては、カメラ画像から特徴物を検出する特徴物検出手段８と、光軸中心を基準として実際に検出された特徴物に対する視差と本来検出されるべき視差とのずれに基づいてカメラ３・４の角度ずれを検出する角度ずれ検出手段９を備える。
これにより、このステレオカメラ２の診断装置８は、カメラ３・４のｙ軸、ｚ軸周りの回転による角度ずれを検出することができる。

上記の実施例の処理においては、ステレオカメラ２を利用する車載システムの主目的たる処理を妨げないよう、処理が一定時間行われない時、例えば停車中などに行う。
また、特徴物は、信号灯１つもしくは、複数としている。遠赤外線カメラの場合、信号灯１つもしくは、青と赤の信号灯とする。それぞれに既定の大きさは、信号灯１つの場合、直径２５０ｍｍから３００ｍｍ、３つの信号灯の両端の場合、間隔７６０ｍｍとする。
車両用信号機は、横型と縦型があり、タイプに応じて処理（パターンやパターン探索範囲など）を変更する。
なお、信号機の大きさには、個体によりまたは地域によりばらつきがある。異常を検知した回数をカウントし、既定回数以上となった場合、警告を出しドライバーに故障を知らせる。
信号機の大きさについて、例えば、東京都を除く信号機のサイズは縦４１０ｍｍ、横１２５０ｍｍである。東京都では、縦は同じだが、横１１９０ｍｍである。薄型信号機も同じサイズである。信号灯の大きさは、２５０ｍｍ、３００ｍｍ、４５０ｍｍがある。４５０ｍｍはかなり少ない。２５０ｍｍは東京都に多い。４５０ｍｍのサイズは数が少なく、頻繁に観測することは無いものとして、考慮しないこととする。
信号機の設置位置について、信号機の構造と高さは、道路交通法施行規則の第四条で、「信号機の構造及び燈器の高さの基準は、別表第一のとおりとする。」と定められている。別表第一の図示では、車両用の横型灯器の場合は、地上から高さは五メートル以上離すことになっている。そこで、上述実施例においては、信号灯の高さが５ｍを越えている場合に、処理を進めることとした（図５・図６）。

この発明は、処理を単純化し、ステレオカメラの診断について、低い計算コストで、一般的な運転環境下で自動的に異常を検知できるようにするものであり、ステレオカメラで撮影された一対のカメラ画像取り込んで歩行者認識等に用いる、各種車載システムに適用することができる。

１ 車両
２ ステレオカメラ
３ 右のカメラ
４ 左のカメラ
５ 診断装置
６ 歪補正手段
７ 平行化手段
８ 特徴物検出手段
９ 角度ずれ検出手段
１０ 更新手段

Claims (6)

1. ステレオ画像を取得するステレオカメラの診断方法において、
   カメラ画像から特徴物を検出し、
   光軸中心を基準として実際に検出された特徴物の検出位置と本来検出されるべき位置との垂直方向のずれに基づいてカメラの角度ずれを検出することを特徴とするステレオカメラの診断方法。
2. ステレオ画像を取得するステレオカメラの診断方法において、
   カメラ画像から特徴物を検出し、
   光軸中心を基準として実際に検出された特徴物に対する視差と本来検出されるべき視差とのずれに基づいてカメラの角度ずれを検出することを特徴とするステレオカメラの診断方法。
3. 特徴物は、信号機の信号灯とし、信号灯の存在する高さの領域から検出することを特徴とする請求項１又は請求項２に記載のステレオカメラの診断方法。
4. 特徴物は、信号機の信号灯とし、予め設定された間隔である二つの円を検出することを特徴とする請求項１又は請求項２に記載のステレオカメラの診断方法。
5. ステレオ画像を取得するステレオカメラの診断装置において、
   カメラ画像から特徴物を検出する特徴物検出手段と、
   光軸中心を基準として実際に検出された特徴物の検出位置と本来検出されるべき位置との垂直方向のずれに基づいてカメラの角度ずれを検出する角度ずれ検出手段を備えることを特徴とするステレオカメラの診断装置。
6. ステレオ画像を取得するステレオカメラの診断装置において、
   カメラ画像から特徴物を検出する特徴物検出手段と、
   光軸中心を基準として実際に検出された特徴物に対する視差と本来検出されるべき視差とのずれに基づいてカメラの角度ずれを検出する角度ずれ検出手段を備えることを特徴とするステレオカメラの診断装置。
   
   
   

Images