JP2022512323A - カメラのミスアラインメントを検出するための方法、カメラシステム、コンピュータプログラム製品、およびコンピューター可読媒体 - Google Patents

Abstract

本発明は、車両に固定され、車両の一部を撮像している車両画像領域（１１）と残りの領域（１２）を包含している視野を有しているカメラの画像を処理することにより、カメラのミスアラインメントを検出するための方法であり、ここで、処理の工程では、入力画像内の複数の基準位置（２１）が用いられ、前記基準位置（２１）は基準画像において車両画像領域（１１）の境界に沿った縁の位置として求められ、および、前記処理の工程は、前記入力画像内の基準位置（２１）において、画像勾配の大きさが勾配限界値より上にあるかどうかを各々の基準位置（２１）において確認することによって、前記基準位置（２１）が縁部位置であるかどうかをチェックすることと、勾配限界値に到達していない基準位置（２１）の確認されたサブセットに依存してミスアラインメントの警報を出すことと、を含む。本発明は、また、前記方法を具体化するカメラシステム、コンピュータプログラム製品、およびコンピューター可読媒体に関する。【選択図】図１

Description

本発明は、車両に固定されたカメラの画像処理を使ったカメラのミスアラインメントを検出するための方法、カメラシステム、コンピュータプログラム製品、およびコンピューター可読媒体に関する。

通常、多くのカメラが自動車または車両に（上／中に）取り付けられるが、それらのカメラは予め較正されており、つまり、それらの位置と配向は正確に計算され、および保存されている。それらのカメラを通して見える実環境データの把握は、これらの較正値に大きく左右される。自動車が走行するとともに、衝撃によって、カメラがミスアラインメントされ、そのため再較正が必要となり得る。そのため、自動運転自動車などの車両に取り付けられたカメラ・センサーは、運転中にミスアラインメントされ得る。オンライン較正または再較正の方法は、ミスアラインメントを補正することができるが、これらの方法は時間を消費し、計算上重い演算であるため、カメラのミスアラインメントが検出される時だけ、それらを実行することが望ましい。従って、有能なカメラ・ミスアラインメント検出へのニーズがあり、および、ミスアラインメントの警報を生成することができる迅速かつシンプルな方法へのニーズもある。

既存のミスアラインメント検出方法は、しばしば、ＵＳ２０１３／０３３５５７９Ａ１に記載されたもののように、外部物体を、および／または、自動車に配置された付加的なマーカーを、検出することを含み、ここではそれらの検出された変位はカメラのミスアラインメントを示す。そのような付加的な手段／工程／条件は、先行技術のシステムの複雑さを増加させ、またそれらに誤差を起こしやすくさせ、また特徴検出のために多くの計算能力を必要とする。

ＵＳ７，８７７，１７５Ｂ２は、車両のための撮像システムを開示し、そのシステムは撮像アレイセンサーと制御部を含む。この公知のシステムは、撮像画像において、関心の区画または領域を処理し、および、車両の側面にカメラを設置する間に生じるかもしれないカメラのあらゆるミスアラインメントが適合するように処理を調節する。本明細書によると、カメラまたは撮像センサは、望ましい視野を提供するように望ましい許容範囲内で車両（車両の外部などに）に取り付けられていることを確認するために、カメラは、車両の側面および／または車両のドアの１つの取手または複数の取手を検知する場合があり、および、その制御部は、それらが撮像画像において期待する位置にあることを確認する場合がある。カメラがアラインメントされていない、または望ましい位置に向けられていないと制御部が判定する場合、制御部は、カメラのあらゆるそのようなミスアラインメントをなくすために画像および／または画像処理を調節し得る。例えば、ミスアラインメントの程度が計算され、および、画像処理は、撮像画像における適切な位置に基準構造を配置するように、調節され、または動かされ、および／または回転される場合がある。この公知の解決手段は、複雑な物体検出アルゴリズムの実装を必要とするため、ミスアラインメント警報を生成するシンプルで、ロバストで、信頼可能な方法を提供しない。

ＵＳ９，２９６，３３７Ｂ２は、乗り物のカメラを較正する方法を開示する。本発明の解決手段は、自動車、バンパーの可視の部分を用い、および、ミスアラインメントの検知のためにたった１つの基準点と複雑な画像処理アルゴリズムしか用いない。基準点の検出は、ピクセル強度に基づく反復探索アルゴリズムに基づく。このシステムは、主として背後カメラのために設計されており、および、望ましくない複合的な画像処理方法を必要としており、および、ロバストさの妨げになるいくつかの特別な前提条件を有している。例えば、その公知のシステムは、自動車バンパーの平面線形を利用し；従って、それは自動車の外部の様々な部位に適用可能な一般的解決手段解を提供しない。さらに、わずか１点しか検出しないことは、例えば、汚れが運転中にカメラ上とバンパー上の両方の重要な場所に現われることもあり得るため、結果として信頼可能なシステムをもたらさず、そのことは検出の質を下げるか、または優れた検出を不可能にし得る。

このようにして、本発明は、カメラのミスアラインメントを検出するための、先行技術の解決手段の不利益を可能な限り持たない、方法、カメラシステム、コンピュータプログラム製品、およびコンピューター可読媒体を提供することを目的とする。本発明は、ミスアラインメントを検出するための、および、ミスアラインメントが検出される場合にミスアラインメント警報を生成するための、シンプルな、ロバストな、および信頼できる方法を提供することをさらなる目的とする。

本発明の目的は、請求項１と請求項１８に記載の方法によって、請求項１９に記載のカメラシステムによって、請求項２０に記載のコンピュータプログラム製品によって、および請求項２１に記載のコンピューター可読媒体によって達成される。請求項１と請求項１８に記載の方法の好ましい実施形態は、従属請求項によって決定される。

提案される解決手段は先行技術の解決手段よりもはるかに融通性があり、かつより高速のアプローチを提供する。先験的な知識は、具体的には、車両外部／境界のためにカメラ画像内に現われる縁部の位置が使用される。このようにして、一般的な入力画像において期待される縁部の方向および位置は正確に知られる。

入力画像では、期待する位置のδ距離内の縁部が測定され、および、それらの方向もまたチェックされ得る。縁部の適正な数が存在し、それらが整合する場合、カメラはミスアラインメントされていない。この方法はすべての方向の縁部についてうまく機能し、および、いくつかのチェックポイントは、よりロバストな検出につながるように決定することができる。縁部検出および方向整合は、ＵＳ９，２９６，３３７Ｂ２に記載されていたものよりシンプルで、かつより高速の方法であり、および、特に、ＵＳ２０１３／０３３５５７９Ａ１において使用された特徴検出装置ほど複雑ではない。何（対象物）が縁部の原因となるかをチェックする必要も、縁部の新しい位置を特定する必要もなく、および、いかなるδ位置も計算する必要もない。この方法のシンプルさは、検出中に基準点または特別な対象物を見つける必要がなく、および、それは単に適切な縁部が所定の位置にあるかをチェックするだけである、ということである。

ＵＳ９，２９６，３３７Ｂ２における縁部検出と方向整合は複雑であり、運転中に複数の位置がチェックされる方法を可能にしない。しかしながら、よりシンプルなチェック工程を生み出すことによって、ミスアラインメント検出をシステム資源の非常に限られた部分だけを必要としながら更に信頼できるものにしつつ、複数の位置を連続的に、または定期的にチェックすることができることは認識されてきた。

提案される解決手段は、所望の位置における勾配の大きさをチェックし、縁部基準を満たす位置の限度数よりも少ない場合、警報を出す。そのため、検出された縁部が自動車に属するか、それとも何らかの対象物に属するかどうかをチェックする必要も、自動車の縁部がどこにあるかをチェックする必要もない。本発明の条件は、縁部が望ましい数の位置に存在するかどうか、である。

本発明は、車両の中へ組み込まれたカメラ、つまり、自動運転自動車もまた、自動車のボディの一部を見るという事実を利用する。カメラが工場において較正される時、アライメント情報の中で、好ましくは、カメラ画像の自動車に属する部分と残りの領域を覆う部分とを識別するマスクも作成することができる。このマスクを用いて、自動車ボディの縁部を抽出することができる。

運転中にこのシステムを用いる時、縁部が基準データに基づく場所に存在するかどうかがチェックされる。不適合がある場合、つまり、縁部が存在すべきところに存在しない場合、カメラのミスアラインメント警報が出され、適切なオンライン較正方法が実行され得る。

提案される方法は、先行技術の解決手段の限界を克服する。カメラと自動車以外の追加部品は、何も必要とされない。複雑な画像処理アルゴリズムは必要とされない。当該方法は、自動車ボディがカメラから可視の時、いかなる状況においても機能するように、十分な融通性がある。それはどんな前提条件（例えば、自動車バンパーが水平であること）にも依存しない。

本発明は、図面への参照と共に好ましい典型的な実施形態として以下に記載され、ここで、

典型的な基準画像である。 図１の画像において実行された縁部検出画像処理の結果である。 図２の画像において基準位置の識別のために用いられる典型的な直線部分を示す。 図３において識別した基準位置の線を示す。 変位された縁部位置線を示す。 回転された縁部位置線を示す。 さらなる典型的な基準画像である。 図７の基準画像に基づいて得られたマスク画像である。 図８のマスク画像に基づいて基準位置のために識別された非可動の縁部を示す。

本発明は、車両を、好ましくは、１台以上のカメラを搭載した自律走行車を含むシステムに基づく。簡潔さのために、下記の好ましい実施形態は、主として自動車について記載される。

提案される方法は、自動車ボディと背景は、境界、すなわち縁部によって常に分離されるという事実に基づく。カメラの視野は、自動車ボディと背景の間の縁部のこの情報も包含している。提案される方法の主な工程は下記のとおりである：

自動車の運転中に、入力画像が撮影され、次に、
－ 縁部情報／勾配は、縁部のような勾配が存在するべき所定の位置において計算され、
－ 十分に強い縁部であるかどうか、つまり、勾配が存在するべきところに存在するかどうか、チェックされ、このことは、基準画像上の境界（ボーダー）にあることを意味する：
－ 十分に強い縁部が存在するべき位置に存在する場合、カメラはアラインメントされていると見なされ、
－ そうでなければ、再較正を求めて信号が出される。

縁部検出は極めて高速かつ軽量の演算として実装することができる。さらに、基準画像から先験的に縁部―自動車ボディの境界に対応する―がどこに存在するべきかわかっているため、それらの位置における縁部情報を計算し、それらが存在するかどうかをチェックするだけでよい。アラインメントされている場合、十分な縁部が所望の位置において存在するが、そうでなければ、縁部の強度が十分ではないと判明することになる。示されるとおり、この方法はシンプルな演算を要求し；特徴検出または同様の、計算的に重い演算を必要としない。

このように、本発明は、車両に固定されたカメラの画像の処理によるカメラのミスアラインメントを検出するための方法である。基準位置を決定する典型的な工程は、図１から図４において描写される。

図１の第１の工程として、基準画像（１０）はカメラによって撮影される。カメラは、車両の一部を撮像する車両画像領域（１１）、および残りの領域（１２）を包含している視野を有し、本質的に車両の周囲を撮像している。

縁部検出は、その後、基準画像（１０）において適用され、図２において描写されるように、車両の縁部（１３）が抽出される。縁部検出法は、多くのマニュアルの、半自動化された、または自動化されたアルゴリズム、例えば、ニューラルネットワーク画像処理を応用したものなどが、先行技術から知られており、どんな公知の縁部検出法がこの用途のために用いられてもよい。

自動車ボディのより遠くの縁部が通常それほど厳密でなく、および反射と変位にさらされるため、極端なもの、つまり、境界縁部だけを、維持することが有利である、ということが判明している。さらに、多すぎる基準位置（２１）は、方法をより実用的でないものにする。従って、図３および図４の好ましい工程では、自動車ボディの境界（２０）である極端な縁部は、局在化され、基準位置（２１）の決定のためだけに用いられる。境界（２０）のすべてのピクセルが基準位置（２１）を構成してもよいが、それらのピクセルのサブセットが用いられてもよい。そのために、車両画像領域（１１）が常に画像の周辺にあることはわかっているため、基準画像（１０）内の基準位置（２１）を求める、有利にシンプルな方法は、基準画像（１０）の中央（１５）から始まり外側へと向かう直線部分（１６）に沿って、車両画像領域（１１）の第１の縁部ピクセルを見つけることである。これらのピクセルの位置を特定することによって、基準位置線（２２）は位置特定され：それは潜在的基準位置（２１）によって構成され、それらのすべてまたはいくらかは、さらにカメラのミスアラインメントをチェックするために使用され得る。

好ましくは、それぞれの直線部分（１６）は、どんな基準位置線（２２）でもすべてのピクセルを見つけるために、基準画像（１０）の各々の周辺ピクセル（１７）を基準画像（１０）の中央（１５）に交わらせる。あるいは、隣り合う直線部分（１６）は、基準画像（１０）全体にわたって本質的に等しく間隔を置かれた基準位置（２１）を見つけるために、互いに等しい角をなしてもよい。例えば、車両画像領域（１１）の第１の縁部ピクセルを見つけ、そして、さらなる直線部分（１６）を決定するためにそこに近接するピクセルを用いることなど、直線部分（１６）を用いるさらなる方法も考えられる。

先験的な情報は、好ましくは、車両画像領域の境界（２０）を横断するかもしれない直線部分（１６）に沿ってのみ見つける処理を行なうために用いられ得る。さらにより好ましくは、境界（２０）の、車両ボディの不動の部分に対応する一部分だけが、基準位置（２１）を求めるために用いられる。

このように、本発明の処理工程において、カメラの入力画像内の複数の基準位置（２１）が用いられ、その基準位置（２１）は、基準画像（１０）内の車両画像領域（１１）の境界（２０）に沿って縁部位置として求められる。前記処理工程は、入力画像内の基準位置（２１）において、画像勾配の大きさが所定の勾配限界値より上にあるかどうかを各々の基準位置（２１）において確認することによって、前記基準位置（２１）が縁部位置かどうかをチェックする工程を含む。勾配限界値は、経験的な方法において基準位置（２１）のすべてについて一様に設定してもよく、または、基準画像（１０）内の基準位置（２１）における勾配の大きさの間で最低の勾配の大きさに基づいて選択してもよい。勾配限界値は、この最低の勾配の大きさに対応させてもよく、または、この値の一定の割合として選択してもよい。当業者は、所与の応用の状況に基づいてこの限界を適切に設定する能力がある。

画像勾配は、一般的に知られた用語であり、および、その技術的意味は先行技術においてくまなく説明される。画像勾配は、画像内の明度または色の方向変化である。数学的に、各々の像点における勾配は、水平および垂直方向における導関数によって与えられる成分を持った２Ｄベクトルである。各々の像点では、勾配ベクトルは可能な限り大きな明度変化の方向を指し、および、勾配ベクトルの長さはその方向における変化率に対応する。

画像勾配ベクトルは、一般的には直接近接するピクセルに基づいて計算されるが、実験中に、第２の近傍点に基づいて、または一組の近接するピクセル値によって勾配を計算することが、方向と大きさの両方で、よりノイズに敏感でなく、より正確な結果がもたらされ得ると認識された。

ミスアラインメント検出の最後の工程として、勾配限界値に到達していない基準位置（２１）の確認されたサブセットに依存してミスアラインメントが警報される。この文脈では、用語サブセットは、基準位置（２１）の分画、基準位置（２１）の特定の群、または両方を意味し得る。

図５は、入力画像における変位された縁部位置線（２３）の例を破線で示す。そのような場合では、基準位置（２１）はどれも縁部位置を構成せず、そのため、ミスアラインメント警報が生成されることになる。自動車への応用のための当実験において、勾配限界値が基準位置（２１）の少なくとも３０％において到達していない場合にミスアラインメントを警報することによりロバストなミスアラインメント検出を達成し得ることが分かった。そのような限界値は、検出工程において、ミスアラインメントが生じていない場合に、また同時にアライメントを確認するには十分に大きい、汚れまたは他の障害に対する十分な耐性を可能にする。

図６は、入力画像における回転された縁部位置線（２４）、すなわちカメラの回転タイプのミスアラインメントの例を破線で示す。ある連続する近接した基準位置（２１）のサブセット（３０）において、そのサブセット（３０）内の基準位置（２１）の所定の分画について勾配限界値が到達されている場合、および、連続する近接した基準位置（２１）の少なくとも１組の隣接するサブセット（３１、３１’）において、前記サブセット（３１、３１’）内で基準位置（２１）の所定の分画について勾配限界値が到達されていない場合、付加的に検出され、警報されてもよい。所定の分画は、例えば、それぞれの基準位置（２１）の総数の８０～９０％に設定することができる。回転中心が画像の端にある場合、適合されたサブセット（３０）（または各々）に対して隣接したサブセット（３１、３１’）のうち１つだけが存在する場合がある。

縁部位置検出についてある程度の耐性を提供することは好ましい。従って、基準位置（２１）は各々、入力画像のピクセルであり、および、前記ピクセルのｎピクセル周囲の中で勾配限界値に達することがチェックされており、ここでｎは好ましくは０と２の間であり、および、少なくとも１つのチェックされたピクセルについて勾配限界値が到達されている場合、縁部位置が確認される。０ピクセル周囲とは、基準位置（２１）のピクセルだけがチェックされることを意味し、１ピクセル周囲とは、その８つの直接近接したピクセルもチェックされることを意味し、一方、２ピクセル周囲とは、後者の直接近接したピクセルもチェックされることを意味する。もちろん、他の適切な数もｎのために選択することができる。このように、正確な演算に影響しない小さなミスアラインメントは警報されず、および、不必要な再較正は回避され得る。

画像勾配の前記大きさは、対応する画像勾配ベクトルの長さに基づいて計算される。さらに、画像勾配ベクトルの方向も確認され得る。このための好ましい方法は、限界値と、期待された基準方向にある画像勾配ベクトルの成分とを比較することである。このようにして、画像勾配の大きさは、画像勾配ベクトルのベクトル成分の長さに対応することになり、そのベクトル成分は、所与の基準位置（２１）について基準画像（１０）の中で求められた対応する基準勾配方向に平行である。好ましくは、方向は、最大の絶対的な大きさ（すなわち最長の画像勾配ベクトル）があるピクセルについて計算される。

基準画像（１０）および入力画像は、好ましくはグレイスケール画像であるが、ＲＧＢまたはＲＧＢＡの画像も考慮され、その場合には画像勾配は、画像チャネルの各々について計算され、および、これらの画像勾配の中で最も大きなものが勾配限界値と比較され得る。そのようにして、方法の有効性は、自動車ボディ、および周囲の色から独立され得る。もちろん、他の多重チャネル処理方式も考慮可能であり、例えば、所与の応用に照らして適切な場合、ＲＧＢの画像勾配の平均も、比較のために用いられ得る。

低コントラスト（例えば、より暗い）条件の場合、入力画像のコントラストを増強することが不可欠となり得る。これは各々の入力画像をカメラ画像の積み重ねによって生成することにより行うことができる。積み重ねられるカメラ画像の数（または蓄積の時間枠）は、カメラ画像のコントラストに好ましくは反比例する。適切な計算されるコントラスト値は所謂ＲＭＳ（二乗平均）コントラスト値であり、それは、蓄積される蓄積時間枠または画像の数を求めるために使用され得る。積み重ねによって十分なコントラストを達成する別の方法は、基準画像を特徴づけるコントラスト値に到達するまで、カメラ画像を積み重ねることである。画像の蓄積はまた、ノイズをフィルタリングする効果を有する
。

境界（２０）の幅、すなわち画像における対応する遷移の幅が、ピクセルの幅未満であれば、好ましい。このように、基準位置（２１）は一群のピクセルの代わりに、ピクセル位置になり得る。この目的のために、基準画像（１０）および入力画像のサイズはカメラ画像より小さくすることができ、そして、そのサイズは、境界（２０）の幅がピクセルの幅より小さいことを保証するように選択される。

ガウシアン（Ｇａｕｓｓｉａｎ）フィルタも、ノイズのような極端な値を除去するためにカメラ画像に適用可能であり、それによってより厳密な勾配計算は達成され得る。

付加的な工程として、誤って調整された縁部位置の探索も、勾配限界値に到達していない各々の基準位置（２１）について実施され得る。これらの探索の結果と明らかにされた最も近い縁部位置に基づいて、ミスアラインメントの程度および方向は計算され得る。

図７は、図８のようなマスク画像（４０）が生成され得る元となる、基準画像の別の例（１０’）を示す。マスク画像では、自動車ボディの境界およびカメラのフィッシュアイ特性による円形の縁部は、残りの領域から分離される。

自動車の境界に関しては、自動車のタイヤまたは鏡は運転中に動かされ得るため、それらの部分は基準位置に適していない。マスク情報のために、運転中に同じ位置に終始とどまる縁部だけを包含しているボーダーのマップを作成することは望ましい。従って、鏡に属する境界の部分は、基準位置（２１）の決定から除外される。同じことは円形の縁部に適用され、それらは―カメラ自体に属し、カメラ自体によって生じるため―カメラが動いても、同じに留まり、従って、それらはいかなるミスアラインメント事象も示さない。図９は、非可動の縁部（４１）、すなわち、基準位置（２１）を決定するために使用され得る境界の部分を太線で示す。

較正プロセスでは、チェックされる縁部は容易に手動で、またはあらゆる適切な半自動の、あるいは自動の方法、例えば、ニューラルネットワーク画像処理手段によって、識別され得る。本発明の方法は、上記のように識別されたエッジの組に基づき、より具体的には、前記識別されたエッジの組上の一組の基準位置（２１）に基づく。

カメラのための較正プロセスの間にマスク画像も作成される場合、マスク画像は、自動車、および背景に属するピクセルを識別する。カメラがしっかりと取り付けられれば、マスクは運転の間中、同じままであり続け、必要に応じ、繰り返し又は連続モニタリングなどの、さらなる演算に使用することができる。

従って、本発明は、カメラの初期アライメントに対するミスアラインメントを検出する方法でもあり、ここでカメラは車両に固定され、および車両の一部を撮像する車両画像領域（１１）と残りの領域（１２）とを包含している視野を有し、前記車両画像領域（１１）は前記残りの領域（１２）との境界（２０）を有する。基準画像（１０、１０’）が、最初のアライメントにあるカメラを用いて撮影され、および、画像において、その中のｘおよびｙ座標によって好ましく特定される絶対位置である複数の基準位置（２１）は、基準画像（１０、１０’）において求められる。基準位置（２１）は、基準画像（１０、１０’）内の車両画像領域（１１）の境界（２０）に沿った縁部位置である。ミスアラインメントの検出は、基準画像（１０、１０’）が撮影された後、カメラを用いて撮影された入力画像を処理することによって実行され、前記処理は、
－ カメラを用いて入力画像を撮影する工程と、
－ 入力画像内の基準位置（２１）において、画像勾配の大きさが勾配限界値より上かどうかを各々の基準位置（２１）で確認することによって、前記基準位置（２１）が縁部位置であるかどうかをチェックする工程と、
－ 勾配限界値に到達していない基準位置（２１）の確認されたサブセットに依存してミスアラインメントを警報する工程と、を含む。

本発明のアプローチは、先行技術のものと比較してシンプルであるのみならず、より少ない計算能力しか必要としない。本発明は、オンライン較正が必要とされる時に信号を提供することに関し、その提供の後、オンライン較正は任意の適切な方法において実行され得る。

本発明の方法は、そのような警報のために付加的な対象物、センサ、またはデータの使用を必要としない。基準位置は、自動車ボディの境界に沿った全体的な較正プロセスの間に、好ましくは先験的な情報も同様に考慮に入れることにより、求められる。自動車ボディのエッジに沿う基準位置は、処理過程において使用される唯一の情報である。

特殊な認識技術もまた使われることがない。自動車ボディの縁部がどこにあるかを知ることにより、縁部状の勾配が入力画像の中にあるかどうかをチェックすることで十分となる。特徴点検出、対象物分類などの必要はなく、また、付加的なセンサも必要とされない。

本発明の方法は、小量の計算処理能力しか必要としない。所定の位置にて勾配を閾値で分ける（Ｔｈｒｅｓｈｏｌｄｉｎｇ ｇｒａｄｉｅｎｔｓ）ことは高速でシンプルな方法である。

本発明の解決手段は、検出および較正は一体的処理過程を形成するべきであり、および、自動車の縁部の検出は較正のために同時に使用されるべきであるという、一般的な技術的偏見を克服する。これに反して、本発明の方法は、較正とミスアラインメント検出を分離し、結果として、シンプルな方法において実行し得るシンプルなチェックを備えたはるかに高速の検知をもたらす。このことは、ミスアラインメント検出を十分に１秒以内で可能にし、高速で移動する車両内の命を救うことができる。

本発明の確認プロセスは、再較正変換に従って、所定の基準位置を変換することによる再較正を確認するためにも、また、変換された基準位置において縁部位置検出を行なうためにも、使用され得る。誤って調整された縁部位置の探索も行なわれる場合、コスト関数も縁部位置検出に基づいて作成することができる。コスト関数は、これらの探索結果に基づいて計算されたミスアラインメント値（距離と方向）を用いてもよく、および、それは自動較正の用途のために用いられてもよい。

車両に固定されたカメラを含むカメラシステムは、本発明の手法により操作することができる。カメラのミスアラインメントは、上記の方法によって検出することができる。本発明の方法を具体化するコンピュータプログラム製品およびコンピューター可読媒体も含まれる。

典型的な実施形態がとりわけ示され、かつ記載されているが、これらにおける形態および細部への様々な変更は当業者によって行なわれ得る。そのような変更および他の同等物も、以下の請求項によって包含されることを意図する。

参照符号のリスト
１０ 基準画像
１０’ 基準画像
１１ 車両画像領域
１２ 残りの領域
１３ 縁部
１５ 中央
１６ 直線部分
１７ 周辺ピクセル
２０ 境界
２１ 基準位置
２２ 基準位置線
２３ 変位された縁部位置線
２４ 回転された縁部位置線
３０ サブセット
３１ サブセット
３１’ サブセット
４０ マスク画像
４１ 非可動の縁部

Claims (21)

1. 車両に固定されるとともに前記車両の一部を撮像する車両画像領域（１１）と残りの領域（１２）とを包含している視野を有しているカメラの画像を処理することにより、ミスアラインメントを検出するための方法であって、ここで、処理の工程において、入力画像内の複数の基準位置（２１）が用いられ、前記基準位置（２１）は基準画像（１０、１０’）において車両画像領域（１１）の境界（２０）に沿った縁部の位置として求められ、および、前記処理の工程は、入力画像内の基準位置（２１）において、画像勾配の大きさが勾配限界値より上にあるかどうかを各々の基準位置（２１）で確認することによって、前記基準位置（２１）が縁部位置であるかどうかをチェックすることと、勾配限界値に到達していない基準位置（２１）の確認されたサブセットに依存してミスアラインメントの警報を出すことと、を含む、方法。
2. 基準位置（２１）は各々、入力画像のピクセルであり、および、勾配限界値への到達が前記ピクセルのｎピクセル周囲の中でチェックされており、ここでｎは好ましくは０と２の間であり、および、勾配限界値が少なくとも１つのチェックされたピクセルについて到達している場合、縁部位置が確認されることを特徴とする、請求項１に記載の方法。
3. 画像勾配の大きさは、対応する画像勾配ベクトルの長さに基づいて計算されることを特徴とする、請求項１に記載の方法。
4. 画像勾配の前記大きさは、画像勾配ベクトルのベクトル成分の長さに対応し、前記ベクトル成分は、所与の基準位置（２１）について基準画像（１０、１０’）の中で求められた対応する基準勾配方向に平行であることを特徴とする、請求項３に記載の方法。
5. 基準画像（１０、１０’）および入力画像は、グレイスケール画像であることを特徴とする、請求項１に記載の方法。
6. 基準画像（１０、１０’）および入力画像は、ＲＧＢまたはＲＧＢＡの画像であり、および、チェックの工程において、画像勾配は画像の各々のチャネルについて計算され、および、これらの画像勾配のうち最も大きなものが勾配限界値と比較されることを特徴とする、請求項１に記載の方法。
7. 入力画像は各々、カメラ画像の蓄積によって得られ、蓄積されたカメラ画像の数は、カメラ画像のＲＭＳ（二乗平均）コントラストに反比例することを特徴とする、請求項１に記載の方法。
8. 基準画像（１０、１０’）、と入力画像のサイズはカメラ画像のサイズより小さく、および、前記サイズは、前記境界（２０）の幅がピクセルの幅より小さいことを確実にするように選択されることを特徴とする、請求項１に記載の方法。
9. 前記入力画像がガウシアンフィルタを適用することによりフィルタ処理された画像であることを特徴とする、請求項１に記載の方法。
10. 前記勾配限界値は、基準画像（１０、１０’）内の基準位置（２１）における勾配の大きさの中で最低の勾配の大きさに基づいて選択されることを特徴とする、請求項１に記載の方法。
11. 勾配限界値が基準位置（２１）の少なくとも３０％において到達していない場合にミスアラインメントが警報されることを特徴とする、請求項１に記載の方法。
12. カメラの回転は、
    － 連続する近隣の基準位置（２１）のサブセット（３０）、であって、勾配限界値が前記サブセット（３０）内で基準位置（２１）の所定の分画について到達している、サブセット（３）と、
    － 連続する近隣の基準位置（２１）の隣接したサブセット（３１、３１’）であって、前記サブセット（３１、３１’）内で基準位置（２１）の所定の分画について勾配限界値が到達されていない、サブセット（３１、３１’）と、がある場合に警報されることを特徴とする、請求項１１に記載の方法。
13. ミスアラインメントされた縁部位置の探索は、勾配限界値に到達していない各々の基準位置（２１）について行なわれ、および探索の結果に基づいてミスアラインメントを計算することを特徴とする、請求項１に記載の方法。
14. 基準画像（１０、１０’）内の前記基準位置（２１）は、基準画像（１０、１０’）の中央（１５）から始まり外側へと向かう直線部分（１６）に沿って、車両画像領域（１１）の第１の縁部ピクセルを見つけることによって求められることを特徴とする、請求項１に記載の方法。
15. 直線部分（１６）は、基準画像（１０、１０’）の各々の周辺ピクセル（１７）を基準画像（１０、１０’）の中央（１５）と交わらせ、または、隣り合う直線部分（１６）は、互いに等しい角をなすことを特徴とする、請求項１４に記載の方法。
16. 前記境界（２０）と交差し得る直線部分（１６）のみに沿って見つけることが実行されるために先験的な情報が使用されることを特徴とする、請求項１４に記載の方法。
17. 車両ボディの不動の部分に対応する境界（２０）の部分だけが、基準位置（２１）を求めるために用いられることを特徴とする、請求項１４に記載の方法。
18. 最初のアライメントに対するカメラのミスアラインメントを検出する方法であって、カメラは車両に固定され、および車両の一部を撮像する車両画像領域（１１）と残りの領域（１２）とを包含している視野を有し、前記車両画像領域（１１）は、残りの領域（１２）との境界（２０）を有し、ここで基準画像（１０、１０’）は、最初のアライメントにおいてカメラで撮影され、複数の基準位置（２１）は、前記基準画像（１０、１０’）内で求められ、前記基準位置（２１）は、基準画像（１０、１０’）において車両画像領域（１１）の境界（２０）に沿った縁部位置であり、および、ここでミスアラインメントの検出は、基準画像（１０、１０’）が撮影された後、カメラで撮影された入力画像を処理することによって実行され、前記処理は、
    － カメラで入力画像を撮影する工程と、
    － 入力画像内の個々の基準位置（２１）において、画像勾配の大きさが勾配限界値より上にあるかどうかを各々の基準位置（２１）で確認することによって、前記基準位置（２１）が縁部位置であるかどうかをチェックする工程と、
    － 勾配限界値に到達していない基準位置（２１）の確認されたサブセットに依存してミスアラインメントを警報する工程と、を含む方法。
19. 請求項１から１８のいずれか１つに記載の方法によってカメラのミスアラインメントが検出される、車両に固定されたカメラを含むカメラシステム。
20. プログラムがコンピューターによって実行される時、請求項１から１８のいずれか１つに記載の方法をコンピューターに実行させる命令を含む、コンピュータプログラム製品。
21. コンピューターによって実行される時、コンピューターに請求項１から１８のいずれか１つに記載の方法を実行させる命令を含む、コンピューター可読媒体。

Images