JP2018200268A - 画像認識装置 - Google Patents

Abstract

【課題】ステレオカメラにおけるステレオカメラキャリブレーションの精度向上が可能な画像認識装置を提供する。【解決手段】第１カメラである左カメラ１１と左カメラ１１と基線長Ｗを隔てて配置される第２カメラである右カメラ１２を備えたステレオカメラ１０と、ステレオカメラ１０のキャリブレーションを既知の距離に配置したキャリブレーションパターンの撮影に基づいて実行するキャリブレーション部２０と、キャリブレーション後における視差により、ステレオカメラ１０からキャリブレーションパターンまでの距離を算出し、この算出された距離と既知の距離との比較に基づいて、基線長Ｗの値を変更する制御部３０と、を有し、制御部３０は、算出された距離の結果に基づいて、キャリブレーションを繰り返して実行する制御を行なうように画像認識装置を構成する。【選択図】図１

Description

本発明は、画像認識装置に関し、特に、ステレオカメラを用いた画像認識装置に関する。

従来の技術として、ステレオカメラを用いた距離測定装置において、ステレオカメラの視差検出誤差の補正精度を高め、距離測定精度を向上させる画像認識装置が知られている（例えば、特許文献１参照）。

この画像認識装置は、２つ１組のカメラからなるステレオカメラの視差検出誤差を補正するための補正値を生成するステレオカメラキャリブレーション装置であって、複数の設計視差値に対応する複数の実視差値毎に、実視差値と水平座標値に対応する実視差値の補正値を生成するように構成されている。すなわち、取り得る複数の設計視差値に応じて、ステレオカメラと補正用被写体との距離を設定し、各距離にて、ステレオカメラで補正用被写体を撮影して、各水平座標値毎の実視差値を検出する。そして、複数の設計視差値毎に、該設計視差値と水平座標値に対応する実視差値を示す実視差測定値テーブルを生成し、該実視差測定値テーブルから、複数の設計視差値に対応する複数の実視差値毎に、該実視差値と水平座標値に対応する視差補正量を示す視差補正テーブルを生成する。これにより、ステレオカメラの視差検出誤差の補正精度を高め、距離測定精度を向上させる画像認識装置が可能になるとされている。

特開２０１４−６１７９号公報

特許文献１の画像認識装置では、視差補正テーブルを参照して被写体までの距離Ｚが計算される。しかし、距離Ｚの計算において、カメラキャリブレーションを１回しか実行しないので、距離算出精度が低下するという問題があった。

したがって、本発明の目的は、ステレオカメラにおけるステレオカメラキャリブレーションの精度向上が可能な画像認識装置を提供することにある。

［１］上記目的を達成するため、第１カメラと前記第１カメラと基線長を隔てて配置される第２カメラを備えたステレオカメラと、前記ステレオカメラのキャリブレーションを既知の距離に配置したキャリブレーションパターンの撮影に基づいて実行するキャリブレーション部と、前記キャリブレーション後における視差により、前記ステレオカメラから前記キャリブレーションパターンまでの距離を算出し、この算出された距離と前記既知の距離との比較に基づいて、前記基線長の値を変更する制御部と、を有し、前記制御部は、前記算出された距離の結果に基づいて、前記キャリブレーションを繰り返して実行する制御を行なうことを特徴とする画像認識装置を提供する。

［２］前記制御部は、前記算出された距離が所定の範囲内となるまで前記キャリブレーションの実行を繰り返して行なうことを特徴とする上記［１］に記載の画像認識装置であってもよい。

［３］また、前記キャリブレーションは、前記ステレオカメラのレンズ歪み補正と前記第１、２カメラ相互の平行化であることを特徴とする上記［１］又は［２］に記載の画像認識装置であってもよい。

本発明の画像認識装置によれば、ステレオカメラにおけるステレオカメラキャリブレーションの精度向上が可能となる。

図１は、本発明の実施の形態に係る画像認識装置のブロック構成図の一例を示している。 図２は、ステレオカメラでキャリブレーションパターンを撮像する場合の構成の一例を示す概略斜視図である。 図３（ａ）は、左カメラによりキャリブレーションパターンを撮像した場合の取得画像であり、図３（ｂ）は、右カメラによりキャリブレーションパターンを撮像した場合の取得画像である。 図４（ａ）は、キャリブレーションによりレンズ歪み補正、平行化補正された左カメラ画像であり、図４（ｂ）は、キャリブレーションによりレンズ歪み補正、平行化補正された右カメラ画像である。 図５は、本発明の実施の形態に係る画像認識装置の動作を示すフローチャートである。

（本発明の実施の形態）
本発明の実施の形態に係る画像認識装置１は、第１カメラである左カメラ１１と左カメラ１１と基線長Ｗを隔てて配置される第２カメラである右カメラ１２を備えたステレオカメラ１０と、ステレオカメラ１０のキャリブレーションを既知の距離Ｌ_０に配置したキャリブレーションパターンの撮影に基づいて実行するキャリブレーション部２０と、キャリブレーション後における視差により、ステレオカメラ１０からキャリブレーションパターンまでの距離Ｌを算出し、この算出された距離Ｌと既知の距離Ｌ_０との比較に基づいて、基線長Ｗの値を変更する制御部３０と、を有し、制御部３０は、算出された距離Ｌの結果に基づいて、キャリブレーションを繰り返して実行する制御を行なうように構成されている。

図１は、本発明の実施の形態に係る画像認識装置のブロック構成図の一例を示している。図１に示すように、画像認識装置１は、撮像手段としてステレオカメラ１０を備えている。

（ステレオカメラ１０）
ステレオカメラ１０は、第１カメラである左カメラ１１と第２カメラである右カメラ１２で構成され、対象物をステレオ撮像するものである。図１に示すように、左カメラ１１と右カメラ１２のカメラ間距離である基線長Ｗだけ隔てて平行に装着されている。左カメラ１１及び右カメラ１２は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの半導体撮像素子を備えている。左カメラ１１及び右カメラ１２の焦点距離はｆである。

左カメラ１１、右カメラ１２は、所定の周期Ｔでほぼ同一対象を撮像して、左フレーム画像Ｓ_Ｌ、右フレーム画像Ｓ_Ｒを画像処理部３へ出力する。この左フレーム画像Ｓ_Ｌ、右フレーム画像Ｓ_Ｒは、左カメラ１１と右カメラ１２のカメラ間距離である基線長Ｗに対応した視差を有する、輝度画像である。

（画像処理部３）
画像処理部３は、画像取得部５、キャリブレーション部２０等から概略構成されている。画像処理部３は、例えば、記憶されたプログラムに従って、取得したデータに演算、加工などを行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などから構成されるマイクロコンピュータである。このＲＯＭには、例えば、画像処理部３が動作するためのプログラム等が格納されている。ＲＡＭは、例えば、複数の画像情報や一時的に演算結果などを格納する記憶領域として用いられる。また画像処理部３は、その内部にクロック信号を生成する手段を有し、このクロック信号に基づいて処理を実行する。

（画像取得部５）
画像取得部５は、左カメラ１１、右カメラ１２をそれぞれ駆動して画像信号を取得することにより、左フレーム画像Ｓ_Ｌ、右フレーム画像Ｓ_Ｒをそれぞれ取得する。

（キャリブレーション部２０）
キャリブレーション部２０は、ステレオカメラ１０から入力された左フレーム画像Ｓ_Ｌ、右フレーム画像Ｓ_Ｒに基づいて、レンズの歪みを補正し、また、左カメラ１１、右カメラ１２相互の平行化を行なう。キャリブレーション部２０は、レンズの歪みを補正する歪み補正部２１、平行化を行なう平行化部２２から構成されている。

（歪み補正部２１の動作）
歪み補正部２１によるレンズの歪み補正は、例えば、一般的に使用されるＺｈａｎｇのカメラキャリブレーション手法により実行可能である。このＺｈａｎｇのカメラキャリブレーション手法は、ＯｐｅｎＣＶ（オープンソースのコンピュータビジョン向けライブラリ）に実装されている公知のキャリブレーション手法である。

ステレオカメラ１０で最低２方向から撮像された画像から特徴点（直線の交点等）を抽出し、画像座標系での特徴点の座標を求める。この特徴点の座標を用いて、カメラの内部パラメータの初期値を求める。この時点では、レンズの歪収差係数はゼロである。内部パラメータは、ｘ方向の焦点距離、ｙ方向の焦点距離、せん断係数（画像の傾き）、ｘ方向の光軸方向からのずれ、ｙ方向の光軸方向からのずれ、である。バンドル調整と呼ばれる公知の非線形最適化処理で、カメラの内部パラメータ、外部パラメータ、歪収差係数を求める。求めた内部パラメータ、歪収差係数を用いて、レンズによる歪みを補正した画像が得られる。

（平行化部２２の動作）
平行化部２２は、レクティフィケーションと呼ばれる手法によって位置合わせを行う。上記説明した手法により求められた外部パラメータ（回転、並進パラメータ）により、例えば、画素毎の変換テーブルを作成し、remap処理により、平行化された画像に補正することができる。

上記説明した歪み補正部２１、平行化部２２によるキャリブレーションにより、カメラレンズの歪みを補正し、また、等価的に光軸を平行化した画像を生成することができる。

（制御部３０）
制御部３０は、算出部３１とキャリブレーション制御部３２とから概略構成されている。制御部３０は、算出部３１において、既知の距離Ｌ_０に配置したキャリブレーションパターンの撮影に基づいて、キャリブレーションパターンの視差ｄを算出し、これに基づいて基線長の算出値Ｗを求める。また、制御部３０は、キャリブレーション制御部３２により、算出された距離Ｌと既知の距離Ｌ_０との比較に基づいて、基線長Ｗの値を変更する制御を実行する。

上記説明した算出部３１、キャリブレーション制御部３２の画像処理、信号処理、演算処理用は、前述の画像処理部３で使用するマイクロコンピュータと共通に使用することが可能である。

（算出部３１）
算出部３１は、既知の距離Ｌ_０に配置したキャリブレーションパターンを撮影した左フレーム画像Ｓ_Ｌ、右フレーム画像Ｓ_Ｒからキャリブレーションにより補正（歪み補正、平行化）した画像を生成し、これに基づいて視差ｄを算出する。視差ｄの算出は、例えば、ステレオマッチング手法(左右カメラでの対応点を探索し視差を算出)として、ブロックマッチングにより行なうことができる。なお、その他の手法として、ダイナミックプログラミング、セミグローバルブロックマッチング、グラフカット等を用いることができる。

（キャリブレーション制御部３２）
キャリブレーション制御部３２は、算出された距離Ｌと既知の距離Ｌ_０との比較に基づいて、基線長Ｗの値を変更してキャリブレーションを繰り返して実行する制御を行なう。キャリブレーション制御部３２は、上記繰り返して実行するキャリブレーション毎に算出された距離Ｌを求める。キャリブレーション制御部３２は、この算出された距離Ｌが所定値内かどうかを判断する。すなわち、算出された距離Ｌが、既知の距離Ｌ_０の許容誤差範囲内であるかどうかを判断する。算出された距離Ｌが所定値内の場合は、動作を終了する。算出された距離Ｌが所定値内ではなく、既知の距離Ｌ_０よりも大きい場合は、基線長Ｗの値を設計値よりも小さい値に変更して、再度キャリブレーションを実行する。また、算出された距離Ｌが所定値内ではなく、既知の距離Ｌ_０よりも小さい場合は、基線長Ｗの値を設計値よりも大きい値に変更して、再度キャリブレーションを実行する。

（画像認識装置１の動作）
図５は、本発明の実施の形態に係る画像認識装置の動作を示すフローチャートである。以下、図５のフローチャートに従って画像認識装置１の動作を説明する。

図２は、ステレオカメラでキャリブレーションパターンを撮像する場合の構成の一例を示す概略斜視図である。図２に示すように、ステレオカメラ１０により、規定距離Ｌ_０に配置されたキャリブレーションパターン１００を２方向から撮影する（Ｓｔｅｐ１）。ステレオカメラ１０、キャリブレーションパターン１００は、ベース２００上に載置されている。キャリブレーションパターン１００は、例えば、チェスパターンである。

キャリブレーション部２０は、キャリブレーションを実行する（Ｓｔｅｐ２）。図３（ａ）は、左カメラによりキャリブレーションパターンを撮像した場合の取得画像であり、図３（ｂ）は、右カメラによりキャリブレーションパターンを撮像した場合の取得画像である。キャリブレーション部２０は、ステレオカメラ１０から入力された左フレーム画像Ｓ_Ｌ、右フレーム画像Ｓ_Ｒに基づいて、上記示したような公知のキャリブレーション手法により、カメラの内部パラメータ、外部パラメータ、歪収差係数を求める。

図４（ａ）は、キャリブレーションによりレンズ歪み補正、平行化補正された左カメラ画像であり、図４（ｂ）は、キャリブレーションによりレンズ歪み補正、平行化補正された右カメラ画像である。キャリブレーション部２０は、上記求められたパラメータ、係数により、レンズによる歪みを補正した画像、また、平行化された画像を生成する。

算出部３１は、キャリブレーションにより補正した画像に基づいて、視差ｄを算出する（Ｓｔｅｐ３）。例えば、ブロックマッチングにより、図４（ａ）、図４（ｂ）から、チェスパターンのずれを、視差ｄ＝Ｘ１−Ｘ２として算出する。

算出部３１は、距離Ｌを算出する（Ｓｔｅｐ４）。ここで、視差＝基線長×カメラの焦点距離／距離である。すなわち、距離Ｌ＝基線長Ｗ×カメラの焦点距離ｆ／視差ｄの式で算出する。

キャリブレーション制御部３２は、上記算出された距離Ｌが所定値内であるかどうかを判定する（Ｓｔｅｐ５）。距離Ｌが所定値内である場合は、動作を終了する（Ｓｔｅｐ５：Ｙｅｓ）。距離Ｌが所定値内でない場合は、Ｓｔｅｐ６へ進む（Ｓｔｅｐ５：Ｎｏ）。

キャリブレーション制御部３２は、算出された距離Ｌが既知の距離Ｌ_０よりも大きいかどうかを判定する（Ｓｔｅｐ６）。算出距離Ｌ＞既知の距離Ｌ_０の場合はＳｔｅｐ７へ進み（Ｓｔｅｐ６：Ｙｅｓ）、算出距離Ｌ＞既知の距離Ｌ_０でない場合はＳｔｅｐ８へ進む（Ｓｔｅｐ６：Ｎｏ）。

キャリブレーション制御部３２は、基線長Ｗを小さい値に変更する（Ｓｔｅｐ７）。例えば、ΔＷを微小調整量として、基線長ＷをＷ−ΔＷに設定する。基線長Ｗを小さい値に変更後、Ｓｔｅｐ２へ戻って、キャリブレーションを繰り返して実行する。

キャリブレーション制御部３２は、基線長Ｗを大きい値に変更する（Ｓｔｅｐ８）。例えば、ΔＷを微小調整量として、基線長ＷをＷ＋ΔＷに設定する。基線長Ｗを大きい値に変更後、Ｓｔｅｐ２へ戻って、キャリブレーションを繰り返して実行する。

上記一連のステップにより、画像認識装置の動作が終了する。この動作は、必要に応じて実行することができ、また、連続して実行することもできる。

（実施の形態の効果）
本発明の実施の形態によれば、以下のような効果を有する。本実施の形態に係る画像認識装置１は、第１カメラである左カメラ１１と左カメラ１１と基線長Ｗを隔てて配置される第２カメラである右カメラ１２を備えたステレオカメラ１０と、ステレオカメラ１０のキャリブレーションを既知の距離Ｌ_０に配置したキャリブレーションパターンの撮影に基づいて実行するキャリブレーション部２０と、キャリブレーション後における視差により、ステレオカメラ１０からキャリブレーションパターンまでの距離Ｌを算出し、この算出された距離Ｌと既知の距離Ｌ_０との比較に基づいて、基線長Ｗの値を変更する制御部３０と、を有し、制御部３０は、算出された距離Ｌの結果に基づいて、キャリブレーションを繰り返して実行する制御を行なうように構成されている。すなわち、ステレオカメラ１０のキャリブレーションにおいて、既知の距離の対象（キャリブレーションパターン）を撮影し正しい距離が算出できる基線長を導出し、この導出した基線長でキャリブレーションを再度行なう。これにより、ステレオカメラにおいて、２つのカメラの位置関係(基線長)が設計値からズレていても、キャリブレーションの平行化の精度が向上し、距離精度が向上する。

以上、本発明のいくつかの実施の形態を説明したが、これらの実施の形態は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。また、これら新規な実施の形態は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更等を行うことができる。また、これら実施の形態の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態は、発明の範囲及び要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…画像認識装置、３…画像処理部、５…画像取得部、１０…ステレオカメラ、１１…左カメラ、１２…右カメラ、２０…キャリブレーション部、２１…歪み補正部、２２…平行化部、２５…誤差検証部、３０…制御部、３１…算出部、３２…キャリブレーション制御部、１００…キャリブレーションパターン、２００…ベース、Ｓ_Ｌ…左フレーム画像、Ｓ_Ｒ…右フレーム画像、ｄ…視差、ｆ…焦点距離、Ｌ_０…既知の距離、Ｌ…距離、Ｗ…基線長

Claims (3)

1. 第１カメラと前記第１カメラと基線長を隔てて配置される第２カメラを備えたステレオカメラと、
   前記ステレオカメラのキャリブレーションを既知の距離に配置したキャリブレーションパターンの撮影に基づいて実行するキャリブレーション部と、
   前記キャリブレーション後における視差により、前記ステレオカメラから前記キャリブレーションパターンまでの距離を算出し、この算出された距離と前記既知の距離との比較に基づいて、前記基線長の値を変更する制御部と、を有し、
   前記制御部は、前記算出された距離の結果に基づいて、前記キャリブレーションを繰り返して実行する制御を行なうことを特徴とする画像認識装置。
2. 前記制御部は、前記算出された距離が所定の範囲内となるまで前記キャリブレーションの実行を繰り返して行なうことを特徴とする請求項１に記載の画像認識装置。
3. 前記キャリブレーションは、前記ステレオカメラのレンズ歪み補正と前記第１、２カメラ相互の平行化であることを特徴とする請求項１又は２に記載の画像認識装置。

Images