JP2006300890A - 画像処理検査装置及び画像処理検査方法 - Google Patents
画像処理検査装置及び画像処理検査方法 Download PDFInfo
- Publication number
- JP2006300890A JP2006300890A JP2005126804A JP2005126804A JP2006300890A JP 2006300890 A JP2006300890 A JP 2006300890A JP 2005126804 A JP2005126804 A JP 2005126804A JP 2005126804 A JP2005126804 A JP 2005126804A JP 2006300890 A JP2006300890 A JP 2006300890A
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- image
- calibration data
- processing
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】 本発明は、画像処理機能を効率的に検査することができる画像処理検査装置及び画像処理検査方法の提供を目的とする。
【解決手段】 既知のテストパターンと既知のキャリブレーションデータとを用いてステレオECU20内部の画像処理機能の正常動作確認を行うとともに、カメラECU10固有のキャリブレーションデータを用いて既知のテストパターンの画像処理によって得られた処理結果を正解値としてメモリ26に記憶し、記憶後のステレオECU20の次回以降の起動時に、カメラECU10固有のキャリブレーションデータを用いて正解値を記憶する際に使われた既知のテストパターンと同一のパターンの画像処理によって得られた処理結果とメモリ26に記憶されたその正解値とを比較する検査を行うことを特徴とする画像処理検査装置。
【選択図】 図1
【解決手段】 既知のテストパターンと既知のキャリブレーションデータとを用いてステレオECU20内部の画像処理機能の正常動作確認を行うとともに、カメラECU10固有のキャリブレーションデータを用いて既知のテストパターンの画像処理によって得られた処理結果を正解値としてメモリ26に記憶し、記憶後のステレオECU20の次回以降の起動時に、カメラECU10固有のキャリブレーションデータを用いて正解値を記憶する際に使われた既知のテストパターンと同一のパターンの画像処理によって得られた処理結果とメモリ26に記憶されたその正解値とを比較する検査を行うことを特徴とする画像処理検査装置。
【選択図】 図1
Description
本発明は、カメラが撮像したパターンを画像処理するシステムを検査する画像処理検査装置及び画像処理検査方法に関する。
従来から、モニタリング範囲に存在する対象物までの距離データを算出して監視を行い、算出された距離データの信頼性が低下している場合にフェールセーフを実行する監視装置が知られている(例えば、特許文献1参照)。この監視装置は、モニタリング範囲の一部の領域であり、かつ、当該領域内における対象物までの距離に関して特定の傾向を有するような領域を監視領域として設定すると共に、当該監視領域内における距離データの垂直・水平成分の分散値を算出する。そして、その算出された分散値が小さい場合には信頼性が高いと判断され、大きい場合には信頼性が低いと判断される。
特開2001−43496号公報
ところで、画像処理するシステムの起動時に、そのシステムを実現する各構成要素が正常に機能しているか否かを判定して起動する必要があるが、各構成要素の数が多くなり、また、機能が複雑になるにつれて、個別にそれぞれの機能をチェックすると多大な時間を要してしまう。この点、上記の従来技術においても、上述のような複雑なチェック方法を行っているため、同様の問題が生じてしまうおそれがある。
そこで、本発明は、画像処理機能を効率的に検査することができる画像処理検査装置及び画像処理検査方法の提供を目的とする。
上記課題を解決するため、本発明の一局面によれば、
カメラが撮像したパターンを画像処理するシステムを検査する画像処理検査装置において、
前記システムに接続するカメラ固有のキャリブレーションデータを用いて既知のテストパターンが幾何変換され、該幾何変換されたパターンの画像認識によって得られるべき処理結果を正解値として予め記憶する記憶手段を備え、
前記システムの起動時に、前記システムに接続するカメラ固有のキャリブレーションデータを用いて前記既知のテストパターンと同一のパターンが幾何変換され、該幾何変換されたパターンの画像認識によって得られた処理結果と前記記憶手段に記憶された正解値とを比較する検査を行うことを特徴とする画像処理検査装置が提供される。
カメラが撮像したパターンを画像処理するシステムを検査する画像処理検査装置において、
前記システムに接続するカメラ固有のキャリブレーションデータを用いて既知のテストパターンが幾何変換され、該幾何変換されたパターンの画像認識によって得られるべき処理結果を正解値として予め記憶する記憶手段を備え、
前記システムの起動時に、前記システムに接続するカメラ固有のキャリブレーションデータを用いて前記既知のテストパターンと同一のパターンが幾何変換され、該幾何変換されたパターンの画像認識によって得られた処理結果と前記記憶手段に記憶された正解値とを比較する検査を行うことを特徴とする画像処理検査装置が提供される。
この場合、既知のテストパターンを用いることによって検査対象の画像処理システムの処理結果を設計的に事前に想定することは可能であり、この想定された得られるべき処理結果を正解値として予め記憶しておく。そして、そのシステムが起動するたびに処理して得られた同一のテストパターンを用いた処理結果と、その予め記憶された正解値とを比較することによって、カメラとシステムを全体としてスルーでのチェックを行うことができ、チェックの信頼性を確保したまま、チェック時間を低減することができる。
また、本発明のその他の局面によれば、
既知のテストパターンと既知のキャリブレーションデータとを用いてカメラが撮像したパターンを画像処理するシステムの動作判定を行う動作判定手段と、
前記動作判定手段が正常動作と判定した場合に、前記システムに接続するカメラ固有のキャリブレーションデータを用いて既知のテストパターンの画像処理によって得られた処理結果を正解値として記憶する記憶手段とを備え、
前記システムの起動時に、前記システムに接続するカメラ固有のキャリブレーションデータを用いて前記正解値を記憶する際に使われた既知のテストパターンと同一のパターンの画像処理によって得られた処理結果と前記記憶手段に記憶された正解値とを比較する検査を行うことを特徴とする画像処理検査装置が提供される。
既知のテストパターンと既知のキャリブレーションデータとを用いてカメラが撮像したパターンを画像処理するシステムの動作判定を行う動作判定手段と、
前記動作判定手段が正常動作と判定した場合に、前記システムに接続するカメラ固有のキャリブレーションデータを用いて既知のテストパターンの画像処理によって得られた処理結果を正解値として記憶する記憶手段とを備え、
前記システムの起動時に、前記システムに接続するカメラ固有のキャリブレーションデータを用いて前記正解値を記憶する際に使われた既知のテストパターンと同一のパターンの画像処理によって得られた処理結果と前記記憶手段に記憶された正解値とを比較する検査を行うことを特徴とする画像処理検査装置が提供される。
この場合、システムが正常であることを既知のテストパターンと既知のキャリブレーションデータとを用いることで記憶前に保証している。その保証がされた上で、システムに接続するカメラ固有のキャリブレーションデータを用いて既知のテストパターンの画像処理によって得られた処理結果を記憶しているので、その記憶された処理結果の正当性は保証され、その記憶された処理結果は正解値とみなすことができる。その結果、システムが起動するたびに同一のテストパターンを用いた処理結果とその正解値とを比較することによって、カメラとシステムを全体としてスルーでのチェックを行うことができ、チェックの信頼性を確保したまま、チェック時間を低減することができる。
なお、本発明は画像処理検査方法という態様で実現することも可能であり、その方法に係る本発明の一局面によれば、
既知のテストパターンと既知のキャリブレーションデータとを用いてカメラが撮像したパターンを画像処理するシステムの動作判定を行う第1のステップと、
動作判定が正常の場合に、前記システムに接続するカメラ固有のキャリブレーションデータを用いて既知のテストパターンの画像処理によって得られた処理結果を正解値として記憶する第2のステップと、
第2のステップの終了後の前記システムの起動時に、前記システムに接続するカメラ固有のキャリブレーションデータを用いて第2のステップで使われた既知のテストパターンと同一のパターンの画像処理によって得られた処理結果と第2のステップで記憶された正解値とを比較する第3のステップとを有する画像処理検査方法が提供される。
既知のテストパターンと既知のキャリブレーションデータとを用いてカメラが撮像したパターンを画像処理するシステムの動作判定を行う第1のステップと、
動作判定が正常の場合に、前記システムに接続するカメラ固有のキャリブレーションデータを用いて既知のテストパターンの画像処理によって得られた処理結果を正解値として記憶する第2のステップと、
第2のステップの終了後の前記システムの起動時に、前記システムに接続するカメラ固有のキャリブレーションデータを用いて第2のステップで使われた既知のテストパターンと同一のパターンの画像処理によって得られた処理結果と第2のステップで記憶された正解値とを比較する第3のステップとを有する画像処理検査方法が提供される。
本発明によれば、画像処理機能を効率的に検査することができる。
以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。図1は本発明の画像処理検査方法の検査対象となる画像処理システムの一例を示した図である。本画像処理システムは、カメラECU(Electric Control Unit)10とステレオECU20を備える。それぞれのECUは、中央処理演算装置(CPU)、プログラムを記憶するROM、データを一時的に記憶するRAM、入力インターフェース、出力インターフェースなどの複数の回路要素が一ユニットとして構成されたものである。コンピュータとも呼ばれる。なお、本発明の画像処理検査装置は、ステレオECU20内の各構成要素によって成り立ち、その機能が実現される。
カメラECU10は、撮像素子11,12やレンズ15,16といったステレオカメラを構成するカメラモジュール17、カメラCPU13、画像出力部14等を有する。撮像素子11,12は、例えば、CCD(Charge Coupled Device)で構成されている。カメラCPU13は、ステレオECU20からの制御信号に基づいてカメラ側の露出等の制御を行う。カメラCPU13は、出力インターフェースである画像出力部14を介して、撮像素子11,12による撮像画像を画像信号としてステレオECU20に送信する。なお、撮像素子は2個に限らず、それ以上の数を有してもよい。
ステレオECU20は、入力インターフェースである画像入力部21、幾何変換LSI等を有する幾何変換処理部22、画像処理LSI等を有する画像認識処理部23及び各処理部を監督するSV−CPU23を有する。
カメラECU10の画像出力部14から出力された画像信号は、ステレオECU20の入力インターフェースである画像入力部21に送られる。画像出力部14と画像入力部21は、所定のデジタル伝送方式のインターフェースである。
画像信号を受けた画像入力部21は、画像信号の画像データを幾何変換処理部22に送る。幾何変換処理部22は、キャリブレーションデータを用いて、ステレオ演算処理に使用されるカメラモジュール17の撮像画像から、撮像素子11,12やレンズ15,16等によるハード的な内部誤差要因(レンズ歪み、光軸ずれ、焦点距離ずれ及び撮像素子歪み等)の影響を取り除き、エピポーラ線を画像水平線にあわせる周知の処理を行う。幾何変換処理部22は、メモリ25に記憶された幾何変換用のLUT(Look Up Table)に基づき入力画像を変換する。
上記の内部誤差要因が生じてしまうため、カメラモジュール17はキャリブレーションを行ってから工場等から出荷される。したがって、幾何変換処理部22は、どのようなカメラモジュール17を含むカメラECU10が接続されても、このあらかじめ行われているキャリブレーションのデータ(つまり、キャリブレーションデータ)を所定の補正演算式や所定の補正マップに適用することによって(つまり、幾何変換用LUTに基づいて)、上記の内部誤差要因を補正し、適正な幾何変換処理を行うことができるようになる。キャリブレーションデータには、例えば、焦点距離、撮像素子間隔、縦・横の画像サイズ、補正焦点距離、縦方向・横方向の光軸ずれ値、レンズ歪み量(若しくは、レンズ歪み係数)が挙げられる。また、カメラモジュール17の特定ができるように、シリアルナンバーも含めてもよい。
画像認識処理部24は、幾何変換処理部22からの幾何変換された画像データに基づいて画像認識処理を行う。画像認識処理は、例えばステレオ視の技術によって撮像画像から立体物を検出する画像処理プログラムによる処理である。画像処理プログラムや処理すべき画像はメモリ26に記録され、画像認識処理部24は、それらを読み込んで画像認識処理を行う。
画像認識処理は、例えば左右に配置された撮像素子11,12による左右の画像同士で3次元空間中の同一点を対応づけ、三角測量の要領で、その点の3次元位置を求めるものである。その3次元空間中の点の路面からの高さは、撮像素子11,12の路面からの高さによって、算出することが可能である。
また、画像認識処理部24は、撮像素子11,12による撮像画像間の視差を求めることによって撮像対象物までの距離を算出することができる。撮像対象物が前方にある場合、撮像素子11による画像と撮像素子12による画像とを重ね合わせると、撮像対象物が左右横方向にずれる。そして、片方の画像を1画素ずつシフトしながら最も重なり合う位置を求める。このときシフトした画素数をnとする。レンズの焦点距離をf、光軸間の距離をm、画素ピッチをdとすると、撮像対象物までの距離Lは、L=(f・m)/(n・d)という関係式が成立する。この(n・d)を視差という。
SV−CPU23は、各処理部を監督(supervisor)するCPUである。画像認識処理部24が兼ねても可である。SV−CPU23は、画像認識処理部24の画像認識処理結果に基づいてカメラECU10に制御すべき露出等の信号をカメラCPU13に送信する。
このようなカメラECU10やステレオECU20を車両に搭載することによって、路上の障害物等の画像認識情報を利用する制御に使用することが可能である。例えば、SV−CPU23が、車内LANを介して、画像認識処理結果を必要とする他のECUにその結果を送信すればよい。他のECUとは、例えば、衝突回避・衝突軽減システムを制御するECU、車線維持支援システムや車線逸脱警報システムを制御するECU、車間ECU、ブレーキECU等である。
それでは、本発明の画像処理検査方法及び画像処理検査装置の機能について図を参照しながら説明する。図2及び図3は、ステレオECU20が実行する画像処理検査を表すフローチャートである。図4は、カメラECU10とステレオECU20内の構成要素間の検査処理動作の流れを検査処理内容毎に模式的に示した図である。
図2は、キャリブレーションデータをステレオECU20内に記憶する際のフローチャートである。上述したように、ステレオECU20が画像処理を適正に行うことができるように、カメラECU10内のカメラモジュール17のキャリブレーションデータが必要である。そこで、カメラECU10とステレオECU20がはじめて接続されたとき(例えば、工場で組み付けるときやECUを交換するとき)、そのキャリブレーションデータをステレオECU20内に記憶する処理が必要となる。
図2のフローは、画像入力処理の検査(図4(a))、画像認識処理の検査(図4(b))、幾何変換処理の検査(図4(c))、画像認識処理結果の記憶(図4(d))、と進んでいく。なお、図2のフローは、キャリブレーションデータを記憶するときの一度だけの実施である。
[画像入力処理の検査:図4(a)]
まず、ステレオECU20がカメラECU10との接続を検知すると、ステレオECU20はカメラECU10に既知のテストパターンの送信を要求し、その既知のテストパターンを入手する。若しくは、カメラECU10がステレオECU20との接続を検知すると、カメラECU10はステレオECU20に既知のテストパターンを送信する。接続を認識したステレオECU20内の画像認識処理部24は、カメラECU10からの既知のテストパターン入力に対してそれと同じテストパターンを作成する(ステップ10)。若しくは、作成せずに、カメラECU10からの既知のテストパターンと同一のテストパターンをメモリ26に予め記憶しておいてもよい。そして、画像認識処理部24は、それらの既知のテストパターンを取り込み(ステップ12)、両者を比較する(ステップ14)。テストパターンが互いに一致していれば、ステップ16に移行する。一致していなければ、画像入力処理に異常があるとして処理される。
まず、ステレオECU20がカメラECU10との接続を検知すると、ステレオECU20はカメラECU10に既知のテストパターンの送信を要求し、その既知のテストパターンを入手する。若しくは、カメラECU10がステレオECU20との接続を検知すると、カメラECU10はステレオECU20に既知のテストパターンを送信する。接続を認識したステレオECU20内の画像認識処理部24は、カメラECU10からの既知のテストパターン入力に対してそれと同じテストパターンを作成する(ステップ10)。若しくは、作成せずに、カメラECU10からの既知のテストパターンと同一のテストパターンをメモリ26に予め記憶しておいてもよい。そして、画像認識処理部24は、それらの既知のテストパターンを取り込み(ステップ12)、両者を比較する(ステップ14)。テストパターンが互いに一致していれば、ステップ16に移行する。一致していなければ、画像入力処理に異常があるとして処理される。
つまり、画像入力部21の入力処理機能や幾何変換処理部22の1対1(入力される幾何変換前画像=出力される幾何変換後画像)のLUTによる幾何変換機能といった画像入力系機能を、既知のテストパターンを利用することによって一括検査している。
[画像認識処理の検査:図4(b)]
ステップ14で一致した場合(すなわち、入力系機能の検査が正常である場合)、画像認識処理部24は、その入力された既知のテストパターンを使用して画像認識処理を実際に行い(ステップ16)、その画像認識処理によって得られた処理結果とその画像認識処理によって処理結果として得られるべき期待値との一致度合いを確認する(ステップ18)。ここで、期待値は、メモリ26に予め記憶されている。テストパターンが既知のため、画像認識処理部24の処理結果を設計的に事前に想定することは可能であり、この想定された得られるべき処理結果が期待値(設計値)として予め記憶される。ステップ16での処理結果とメモリ26に記憶された期待値が互いに一致していれば、ステップ20に移行する。一致していなければ、画像認識処理に異常があるとして処理される。規定回数に達していなければステップ12に戻り、規定回数になるまで繰り返す(ステップ20)。
ステップ14で一致した場合(すなわち、入力系機能の検査が正常である場合)、画像認識処理部24は、その入力された既知のテストパターンを使用して画像認識処理を実際に行い(ステップ16)、その画像認識処理によって得られた処理結果とその画像認識処理によって処理結果として得られるべき期待値との一致度合いを確認する(ステップ18)。ここで、期待値は、メモリ26に予め記憶されている。テストパターンが既知のため、画像認識処理部24の処理結果を設計的に事前に想定することは可能であり、この想定された得られるべき処理結果が期待値(設計値)として予め記憶される。ステップ16での処理結果とメモリ26に記憶された期待値が互いに一致していれば、ステップ20に移行する。一致していなければ、画像認識処理に異常があるとして処理される。規定回数に達していなければステップ12に戻り、規定回数になるまで繰り返す(ステップ20)。
つまり、画像認識処理部24の画像認識機能(演算器、レジスタ、メモリ等)を、既知のテストパターンを利用することによって一括検査している。
[幾何変換処理の検査:図4(c)]
ステップ18で一致し、ステップ20で規定回数繰り返された場合(すなわち、画像認識処理の検査が正常である場合)、画像認識処理部24は、メモリ25に記憶された既知のキャリブレーションデータを用いて幾何変換処理部22によって幾何変換された既知のテストパターンを取り込み(ステップ22)、その取り込まれた幾何変換された既知のテストパターンの画像認識処理を行う(ステップ24)。ここで、メモリ25に記憶された既知のキャリブレーションデータは、既知なデータであれば、任意のキャリブレーションデータでよい。画像認識処理部24は、その画像認識処理によって得られた処理結果とその画像認識処理によって処理結果として得られるべき期待値との一致度合いを確認する(ステップ26)。この期待値も、メモリ26に予め記憶されている。キャリブレーションデータ及びデスとパターンが既知のため、画像認識処理部24の処理結果を設計的に事前に想定することは可能であり、この想定された得られるべき処理結果が期待値(設計値)として予め記憶される。ステップ24での処理結果とメモリ26に記憶された期待値が互いに一致していれば、ステップ28に移行する。一致していなければ、幾何変換処理に異常があるとして処理される。規定回数に達していなければステップ22に戻り、規定回数になるまで繰り返す(ステップ28)。
ステップ18で一致し、ステップ20で規定回数繰り返された場合(すなわち、画像認識処理の検査が正常である場合)、画像認識処理部24は、メモリ25に記憶された既知のキャリブレーションデータを用いて幾何変換処理部22によって幾何変換された既知のテストパターンを取り込み(ステップ22)、その取り込まれた幾何変換された既知のテストパターンの画像認識処理を行う(ステップ24)。ここで、メモリ25に記憶された既知のキャリブレーションデータは、既知なデータであれば、任意のキャリブレーションデータでよい。画像認識処理部24は、その画像認識処理によって得られた処理結果とその画像認識処理によって処理結果として得られるべき期待値との一致度合いを確認する(ステップ26)。この期待値も、メモリ26に予め記憶されている。キャリブレーションデータ及びデスとパターンが既知のため、画像認識処理部24の処理結果を設計的に事前に想定することは可能であり、この想定された得られるべき処理結果が期待値(設計値)として予め記憶される。ステップ24での処理結果とメモリ26に記憶された期待値が互いに一致していれば、ステップ28に移行する。一致していなければ、幾何変換処理に異常があるとして処理される。規定回数に達していなければステップ22に戻り、規定回数になるまで繰り返す(ステップ28)。
つまり、幾何変換処理部22の任意のLUTによる幾何変換機能を、既知のキャリブレーションデータと既知のテストパターンとを利用することによって一括検査している。幾何変換機能の検査内容に応じて所望のキャリブレーションデータをメモリ25に記憶させておくことによって、図4(a)の画像入力処理の検査で行われた1対1のLUTの検査では確認することができない異常も発見可能になる。
[画像認識処理結果の記憶:図4(d)]
ステップ26で一致し、ステップ28で規定回数繰り返された場合(すなわち、幾何変換処理の検査が正常である場合)、画像認識処理部24は、ステレオECU20に接続するカメラECU10から送信されたカメラECU10固有(カメラモジュール17固有)のキャリブレーションデータをメモリ25に記憶する。画像認識処理部24は、メモリ25に記憶されたそのカメラECU10固有のキャリブレーションデータ用いて幾何変換された既知のテストパターンを取り込み(ステップ30)、その取り込まれた幾何変換された既知のテストパターンの画像認識処理を行う(ステップ32)。今回の画像認識処理が図2のフローにおいて初回であれば(ステップ34;Yes)、その画像認識処理によって得られた初回認識処理結果がメモリ26に記憶されるとともに(ステップ36)、規定回数に達していないとして(ステップ40;No)、ステップ30に戻る。一方、今回の画像認識処理が図2のフローにおいて初回でなければ(ステップ34;No)、画像認識処理部24は、すでにステップ36にて記憶された初回認識処理結果とステップ32の画像認識処理によって得られた処理結果との一致度合いを確認する(ステップ38)。両結果が互いに一致していれば、ステップ40に移行する。一致していなければ、画像認識処理結果の記憶処理に異常があるとして処理される。規定回数に達していなければステップ30に戻り、規定回数になるまで繰り返す(ステップ40)。最終的に規定回数に達した場合、画像認識処理部24は初回認識処理結果を正解値として記憶する(ステップ42)。
ステップ26で一致し、ステップ28で規定回数繰り返された場合(すなわち、幾何変換処理の検査が正常である場合)、画像認識処理部24は、ステレオECU20に接続するカメラECU10から送信されたカメラECU10固有(カメラモジュール17固有)のキャリブレーションデータをメモリ25に記憶する。画像認識処理部24は、メモリ25に記憶されたそのカメラECU10固有のキャリブレーションデータ用いて幾何変換された既知のテストパターンを取り込み(ステップ30)、その取り込まれた幾何変換された既知のテストパターンの画像認識処理を行う(ステップ32)。今回の画像認識処理が図2のフローにおいて初回であれば(ステップ34;Yes)、その画像認識処理によって得られた初回認識処理結果がメモリ26に記憶されるとともに(ステップ36)、規定回数に達していないとして(ステップ40;No)、ステップ30に戻る。一方、今回の画像認識処理が図2のフローにおいて初回でなければ(ステップ34;No)、画像認識処理部24は、すでにステップ36にて記憶された初回認識処理結果とステップ32の画像認識処理によって得られた処理結果との一致度合いを確認する(ステップ38)。両結果が互いに一致していれば、ステップ40に移行する。一致していなければ、画像認識処理結果の記憶処理に異常があるとして処理される。規定回数に達していなければステップ30に戻り、規定回数になるまで繰り返す(ステップ40)。最終的に規定回数に達した場合、画像認識処理部24は初回認識処理結果を正解値として記憶する(ステップ42)。
つまり、ステレオECU20に接続するカメラECU10から送信されたカメラECU10固有(カメラモジュール17固有)のキャリブレーションデータと、既知のテストパターンとを利用することによって、ステレオECU10が次回以降に起動する際に参照する処理結果の正解値を記憶している。そして、この正解値の記憶は、画像入力処理の検査(図4(a))、画像認識処理の検査(図4(b))及び幾何変換処理の検査(図4(c))がいずれも正常と確認された上で行われている。
次に、図3のフローチャートについて説明する。図3は、キャリブレーションデータ記憶後の通常時に起動する際のフローチャートである。図3のフローでは、画像認識処理の検査(図4(e))が行われる。上述の図2のフローは、キャリブレーションデータを記憶するときの一度だけの実施であるが、図3のフローは、キャリブレーションデータを記憶後のステレオECU20の起動時に毎回実施される。
[画像認識処理の検査:図4(e)]
まず、ステレオECU20が起動すると、ステレオECU20は、接続するカメラECU10に既知のテストパターンの送信を要求し、その既知のテストパターンを入手する。その既知のテストパターンを入手したステレオECU20内の画像認識処理部24は、ステレオECU20に接続するカメラECU10固有のキャリブレーションデータをメモリ25から読み出す(図4(d)のときにメモリ25には記憶済み)。画像認識処理部24は、メモリ25から読み出されたそのカメラECU10固有のキャリブレーションデータを用いて幾何変換された既知のテストパターンを取り込み(図3のステップ50)、その取り込まれた幾何変換された既知のテストパターン(正解値を記憶する際に使われた既知のテストパターンと同一のパターン)の画像認識処理を行う(ステップ52)。画像認識処理部24は、その画像認識処理によって得られた処理結果とメモリ26に記憶された正解値との一致度合いを確認する(ステップ54)。それらが互いに一致していれば、ステップ56に移行する。一致していなければ、画像入力処理機能、画像認識処理機能、幾何変換機能のいずれかのステレオECU20の機能に異常があるとして処理される。規定回数に達していなければステップ50に戻り、規定回数になるまで繰り返す(ステップ56)。
まず、ステレオECU20が起動すると、ステレオECU20は、接続するカメラECU10に既知のテストパターンの送信を要求し、その既知のテストパターンを入手する。その既知のテストパターンを入手したステレオECU20内の画像認識処理部24は、ステレオECU20に接続するカメラECU10固有のキャリブレーションデータをメモリ25から読み出す(図4(d)のときにメモリ25には記憶済み)。画像認識処理部24は、メモリ25から読み出されたそのカメラECU10固有のキャリブレーションデータを用いて幾何変換された既知のテストパターンを取り込み(図3のステップ50)、その取り込まれた幾何変換された既知のテストパターン(正解値を記憶する際に使われた既知のテストパターンと同一のパターン)の画像認識処理を行う(ステップ52)。画像認識処理部24は、その画像認識処理によって得られた処理結果とメモリ26に記憶された正解値との一致度合いを確認する(ステップ54)。それらが互いに一致していれば、ステップ56に移行する。一致していなければ、画像入力処理機能、画像認識処理機能、幾何変換機能のいずれかのステレオECU20の機能に異常があるとして処理される。規定回数に達していなければステップ50に戻り、規定回数になるまで繰り返す(ステップ56)。
したがって、図2〜4の上述の説明によれば、ステレオECU20が正常であることを既知のテストパターンと既知のキャリブレーションデータとを用いることで記憶前に保証している。画像入力系の正しさは、カメラECU10から送信されるテストパターンとステレオECU20側に有するテストパターンの一致を確認することによって保証している。画像認識処理の正しさは、処理結果が既知であるテストパターンの処理結果を確認することによって保証している。幾何変換処理の正しさは、画像入力系と画像認識処理が保証された状態で、既知のキャリブレーションデータを用いて幾何変換されたテストパターンの処理結果を確認することによって保証している。これら3つの保証がされた上で、ステレオECU20に接続するカメラ固有のキャリブレーションデータを用いて既知のテストパターンの画像処理によって実際に得られた処理結果を記憶しているので、その記憶された処理結果の正当性は保証され、その記憶された処理結果は正解値とみなすことができる。その結果、ステレオECU20が起動するたびに同一のテストパターンを用いた処理結果とその記憶された正解値とを比較することによって、カメラECU10とステレオECU20を全体としてスルーでのチェックを行うことができ、チェックの信頼性を確保したまま、チェック時間を低減することができる。
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。
上述のキャリブレーションデータを定めるLUTは、上記の幾何変換用のLUTではなく濃度変換用のLUTでもよい。濃度変換は、例えば256階調の輝度で表示される白黒濃淡画像(グレー画像)の2値化閾値を再定義することである。濃度変換により、画像のコントラスト(明暗のメリハリ)を改善したり,特定の輝度範囲を強調して画像中の対象物を際立たせたりすることができる。上述の幾何変換用LUTと同様の検査を濃度変換用LUTに対しても行うことによって、濃度変換機能の検査もすることができる。
10 カメラECU
11,12 撮像素子
13 カメラCPU
14 画像出力部
15,16 レンズ
17 カメラモジュール
18,25,26 メモリ
20 ステレオECU
21 画像入力部
22 画像変換処理部
23 SV−CPU
24 画像認識処理部
11,12 撮像素子
13 カメラCPU
14 画像出力部
15,16 レンズ
17 カメラモジュール
18,25,26 メモリ
20 ステレオECU
21 画像入力部
22 画像変換処理部
23 SV−CPU
24 画像認識処理部
Claims (7)
- カメラが撮像したパターンを画像処理するシステムを検査する画像処理検査装置において、
前記システムに接続するカメラ固有のキャリブレーションデータを用いて既知のテストパターンが幾何変換され、該幾何変換されたパターンの画像認識によって得られるべき処理結果を正解値として予め記憶する記憶手段を備え、
前記システムの起動時に、前記システムに接続するカメラ固有のキャリブレーションデータを用いて前記既知のテストパターンと同一のパターンが幾何変換され、該幾何変換されたパターンの画像認識によって得られた処理結果と前記記憶手段に記憶された正解値とを比較する検査を行うことを特徴とする画像処理検査装置。 - 既知のテストパターンと既知のキャリブレーションデータとを用いてカメラが撮像したパターンを画像処理するシステムの動作判定を行う動作判定手段と、
前記動作判定手段が正常動作と判定した場合に、前記システムに接続するカメラ固有のキャリブレーションデータを用いて既知のテストパターンの画像処理によって得られた処理結果を正解値として記憶する記憶手段とを備え、
前記システムの起動時に、前記システムに接続するカメラ固有のキャリブレーションデータを用いて前記正解値を記憶する際に使われた既知のテストパターンと同一のパターンの画像処理によって得られた処理結果と前記記憶手段に記憶された正解値とを比較する検査を行うことを特徴とする画像処理検査装置。 - 前記動作判定手段は、既知のキャリブレーションデータを用いて既知のテストパターンの画像処理によって得られた処理結果とその画像処理によって処理結果として得られるべき期待値との一致度合いに応じて正常か否かを判定する請求項2記載の画像処理検査装置。
- 前記システムは、キャリブレーションデータを用いてカメラから入力されるパターンを幾何変換する幾何変換処理部と、幾何変換されたパターンを画像認識する画像認識処理部とを有している、請求項2記載の画像処理検査装置。
- 既知のテストパターンと既知のキャリブレーションデータとを用いてカメラが撮像したパターンを画像処理するシステムの動作判定を行う第1のステップと、
動作判定が正常の場合に、前記システムに接続するカメラ固有のキャリブレーションデータを用いて既知のテストパターンの画像処理によって得られた処理結果を正解値として記憶する第2のステップと、
第2のステップの終了後の前記システムの起動時に、前記システムに接続するカメラ固有のキャリブレーションデータを用いて第2のステップで使われた既知のテストパターンと同一のパターンの画像処理によって得られた処理結果と第2のステップで記憶された正解値とを比較する第3のステップとを有する画像処理検査方法。 - 前記システムの動作判定は、既知のキャリブレーションデータを用いて既知のテストパターンの画像処理によって得られた処理結果とその画像処理によって処理結果として得られるべき期待値との一致度合いに応じて正常か否かを判定する、請求項5記載の画像処理検査方法。
- 前記システムは、キャリブレーションデータを用いてカメラから入力されるパターンを幾何変換する幾何変換処理部と、幾何変換されたパターンを画像認識する画像認識処理部とを有している、請求項5記載の画像処理検査方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005126804A JP2006300890A (ja) | 2005-04-25 | 2005-04-25 | 画像処理検査装置及び画像処理検査方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005126804A JP2006300890A (ja) | 2005-04-25 | 2005-04-25 | 画像処理検査装置及び画像処理検査方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006300890A true JP2006300890A (ja) | 2006-11-02 |
Family
ID=37469337
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005126804A Pending JP2006300890A (ja) | 2005-04-25 | 2005-04-25 | 画像処理検査装置及び画像処理検査方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006300890A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008190868A (ja) * | 2007-01-31 | 2008-08-21 | Fuji Heavy Ind Ltd | ステレオ画像処理装置 |
JP2010237193A (ja) * | 2009-03-12 | 2010-10-21 | Omron Corp | キャリブレーション装置および3次元計測のためのパラメータの精度の確認支援方法 |
JP2015076067A (ja) * | 2013-10-11 | 2015-04-20 | 富士機械製造株式会社 | 画像処理システム及び作業用ロボット |
JP2016029792A (ja) * | 2014-07-22 | 2016-03-03 | 株式会社リコー | 撮像装置、撮像装置のエラー確認方法及びプログラム |
JP2016085721A (ja) * | 2014-10-27 | 2016-05-19 | 株式会社デンソー | 画像処理装置 |
JP2020053062A (ja) * | 2015-04-03 | 2020-04-02 | コグネックス・コーポレーション | ホモグラフィの修正 |
JP2020184735A (ja) * | 2019-05-09 | 2020-11-12 | 株式会社デンソー | 検証方法 |
-
2005
- 2005-04-25 JP JP2005126804A patent/JP2006300890A/ja active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008190868A (ja) * | 2007-01-31 | 2008-08-21 | Fuji Heavy Ind Ltd | ステレオ画像処理装置 |
JP2010237193A (ja) * | 2009-03-12 | 2010-10-21 | Omron Corp | キャリブレーション装置および3次元計測のためのパラメータの精度の確認支援方法 |
JP2015076067A (ja) * | 2013-10-11 | 2015-04-20 | 富士機械製造株式会社 | 画像処理システム及び作業用ロボット |
JP2016029792A (ja) * | 2014-07-22 | 2016-03-03 | 株式会社リコー | 撮像装置、撮像装置のエラー確認方法及びプログラム |
JP2016085721A (ja) * | 2014-10-27 | 2016-05-19 | 株式会社デンソー | 画像処理装置 |
JP2020053062A (ja) * | 2015-04-03 | 2020-04-02 | コグネックス・コーポレーション | ホモグラフィの修正 |
JP2020184735A (ja) * | 2019-05-09 | 2020-11-12 | 株式会社デンソー | 検証方法 |
JP7268471B2 (ja) | 2019-05-09 | 2023-05-08 | 株式会社デンソー | 検証方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10701341B2 (en) | Calibration method, calibration device, and computer program product | |
JP6458439B2 (ja) | 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法 | |
CN106233724B (zh) | 确保基于摄影机的安全系统中的成像子系统完整性 | |
US20130259309A1 (en) | Driving support apparatus | |
JP6259132B2 (ja) | 車載用カメラ装置 | |
JP2006300890A (ja) | 画像処理検査装置及び画像処理検査方法 | |
CN108496056B (zh) | 摄像装置 | |
JP2009017020A (ja) | 画像処理装置及び表示画像生成方法 | |
JP2007261463A (ja) | 車載カメラのキャリブレーションシステム | |
JP6970577B2 (ja) | 周辺監視装置および周辺監視方法 | |
JP4539427B2 (ja) | 画像処理装置 | |
JP6221464B2 (ja) | ステレオカメラ装置、移動体制御システム及び移動体、並びにプログラム | |
CN111491156A (zh) | 用于相机校准的方法和装置 | |
JP2009239485A (ja) | 車両用環境認識装置および先行車追従制御システム | |
JP2007139564A (ja) | 障害物検出システム、障害物検出方法及びコンピュータプログラム | |
JP4980089B2 (ja) | ステレオ画像処理装置 | |
JP4797441B2 (ja) | 車両用画像処理装置 | |
JP2006050451A (ja) | 障害物警告システム及び画像処理装置 | |
JP4539400B2 (ja) | ステレオカメラの補正方法、ステレオカメラ補正装置 | |
JP5759709B2 (ja) | 画像認識装置 | |
JP6855254B2 (ja) | 画像処理装置、画像処理システム、及び、画像処理方法 | |
JP6838725B2 (ja) | カメラ装置 | |
KR101030210B1 (ko) | 자동차용 장애물 인식 시스템 및 그 방법 | |
CN111815512A (zh) | 用于检测失真图像中的对象的方法、系统和设备 | |
JP4435525B2 (ja) | ステレオ画像処理装置 |