JP2020190438A - 計測装置および計測システム - Google Patents

Abstract

【課題】発生した視差誤差の計測精度を向上させることができる計測装置および計測システムを提供する。【解決手段】ステレオカメラにより撮像されたステレオ撮像画像を取得する取得部と、ステレオ撮像画像の各撮像画像からそれぞれ２以上の特徴点を検出する検出部と、検出部により検出された各撮像画像での２つの特徴点間の距離である画像上での特徴点間距離が、ステレオカメラ内の撮像素子の特徴点検出誤差、各撮像画像の視差の視差誤差の計測に対する精度、および視差との関係が所定の式を満たすような画像上での特徴点間距離を用いて視差誤差を計測する第１計測部と、を備える。【選択図】図１３

Description

本発明は、計測装置および計測システムに関する。

近年、ステレオカメラを用いた三次元計測が注目されている。ステレオカメラでは、一方のカメラで撮像された画像中の画素ブロックと相関を有する画素ブロックを他方のカメで撮像された画像において特定し、両画像における相対的なずれ量である視差から三角測量の原理を用いて距離情報を算出する。このようなステレオカメラは、例えば、道路（路面）の凹凸、平坦の度合い、または白線が消えていないか否か等の点検を行うことによる道路上の安全管理に用いられる。このようなステレオカメラにおいて、距離情報について精度を高く算出するためには、一対の画像（ステレオ画像）間には視差以外に位置ずれが存在しないことが求められている。その位置ずれが小さくなるように、調整するのための装置を使用した調整方法が既に知られている。

このような、ステレオカメラのステレオ画像における位置ずれを調整するための技術として、両カメラの基線方向と水平方向とを一致させるようにステレオカメラの位置ずれを検査するため、距離が既知な対象物をステレオカメラで撮像し、その画像のそれぞれ対応する座標のずれ量から校正パラメータを算出する技術が開示されている（特許文献１参照）。

しかしながら、特許文献１に記載された技術では、視差以外の位置ずれ、例えば、視差自体の誤差である視差誤差を調整（校正）するための校正パラメータを算出することができるとしても、視差誤差の計測自体の精度が悪い場合、当該視差誤差を精度よく校正することができないという課題がある。

本発明は、上述の問題点に鑑みてなされたものであって、発生した視差誤差の計測精度を向上させることができる計測装置および計測システムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、ステレオカメラにより撮像されたステレオ撮像画像を取得する取得部と、前記ステレオ撮像画像の各撮像画像からそれぞれ２以上の特徴点を検出する検出部と、前記検出部により検出された前記各撮像画像での２つの特徴点間の距離である画像上での特徴点間距離が、前記ステレオカメラ内の撮像素子の特徴点検出誤差、前記各撮像画像の視差の視差誤差の計測に対する精度、および前記視差との関係が後述する式（９）を満たすような該画像上での特徴点間距離を用いて前記視差誤差を計測する第１計測部と、を備えたことを特徴とする。

本発明によれば、発生した視差誤差の計測精度を向上させることができる。

図１は、ステレオカメラを使用した距離の計測原理を説明するための図である。 図２は、実施形態に係る撮像システムの構成の一例を示す図である。 図３は、特徴点を有する被写体が写り込んだ撮像画像の一例を示す図である。 図４は、写り込ませる被写体の例を示す図である。 図５は、光軸ずれにより発生する各種誤差を説明する図である。 図６は、縦ずれ量を求める方法の一例を示す図である。 図７は、光軸ずれで発生する視差誤差を説明する図である。 図８は、実空間での特徴点間距離と画像上での特徴点間距離との関係を示す図である。 図９は、実施形態に係る撮像システムの概略構成の一例を示す図である。 図１０は、実施形態に係るステレオカメラのハードウェア構成の一例を示す図である。 図１１は、実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。 図１２は、実施形態に係る撮像システムの機能ブロックの構成の一例を示す図である。 図１３は、実施形態に係る情報処理装置の機能ブロックの構成の一例を示す図である。 図１４は、実施形態に係る撮像システムの補正パラメータの導出動作の流れの一例を示すフローチャートである。 図１５は、被写体における特徴点間距離を説明するための図である。 図１６は、特徴点間距離と視差誤差計測の誤差との関係の一例をグラフで示した図である。 図１７は、被写体の複数の特徴点間距離を使用する場合の一例を説明する図である。 図１８は、変形例に係る車両に３台のステレオカメラが搭載された場合の構成の一例を示す図である。

以下に、図面を参照しながら、本発明に係る計測装置および計測システムの実施形態を詳細に説明する。また、以下の実施形態によって本発明が限定されるものではなく、以下の実施形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。

［ステレオカメラの距離の測定原理］
図１は、ステレオカメラを使用した距離の計測原理を説明するための図である。実施形態の説明に先んじて、図１を参照しながら、ステレオカメラを使用した距離の計測原理を説明する。

図１に示すように、ステレオカメラの２つのカメラであるカメラ１０００Ｌ、１０００Ｒは、それぞれ光軸方向がｚ軸方向と平行となるように配置されている。カメラ１０００Ｌの焦点距離をｆ、光学中心をＯ_０、撮像素子の撮像面をＳ_０とする。また、カメラ１０００Ｒの焦点距離をｆ、光学中心をＯ_１、撮像素子の撮像面をＳ_１とする。カメラ１０００Ｌおよびカメラ１０００Ｒは、それぞれの光学中心（Ｏ_０、Ｏ_１）が距離Ｂ（基線長）だけ離れ、かつ、当該光学中心を結ぶ直線がｘ軸に平行となるように配置されている。

カメラ１０００Ｌの光学中心Ｏ_０から光軸方向に距離Ｚだけ離れた位置にある被写体Ａは、直線Ａ−Ｏ_０と撮像面Ｓ_０の交点である点Ｐ_０において像を結ぶ。一方、カメラ１０００Ｒでは、同じ被写体Ａが、直線Ａ−Ｏ_１と撮像面Ｓ_１の交点である点Ｐ_１において像を結ぶ。

ここで、カメラ１０００Ｒの光学中心Ｏ_１を通り、直線Ａ−Ｏ_０と平行な直線と、撮像面Ｓ_１との交点をＰ_０’とする。また、点Ｐ_０’と点Ｐ_１との距離をｄとする。距離ｄは、同じ被写体の像を２台のカメラで撮像した画像上での位置のずれ量（視差）を表す。

そして、三角形Ａ−Ｏ_０−Ｏ_１と、三角形Ｏ_１−Ｐ_０’−Ｐ_１とは相似である。そのため、ｄ＝Ｂ×ｆ／Ｚが成り立つ。したがって、基線長Ｂ、焦点距離ｆおよび視差ｄから、被写体Ａまでの距離Ｚを求めることができる。

ただし、カメラ１０００Ｌまたはカメラ１０００Ｒの光軸のずれ（光軸ずれ）が発生すると、図１に示した理想的な状態が崩れ、正確な距離の計測ができなくなる。この場合、何らかの基準を用いて、一対の画像（ステレオ画像）における光軸ずれにより生じた位置ずれを計測して補正する必要がある。以下の実施形態では、一対の画像上に発生した位置ずれについて補正（校正）を行う動作について説明する。

［実施形態］
（ステレオカメラの配置）
図２は、実施形態に係る撮像システムの構成の一例を示す図である。図２を参照しながら、撮像システムのステレオカメラの配置について説明する。

図２では、実施形態に係る撮像システムが車両１に搭載された状態を車両１の側面から示している。図２において、左端側に向かう方向が、車両１の進行方向とする。すなわち、図２において、車両１の左端側が車両１の前部であり、右端側が車両１の後部である。

本実施形態に係る撮像システムでは、当該撮像システムを搭載する移動体としての車両１の車体後部に撮像装置取付用の取付部２を備える取付部材３を固定し、取付部２にステレオカメラ６を取り付ける。図２に示す例では、取付部２に１台のステレオカメラ６が取り付けられているものとして説明する。また、図２に示すように、ステレオカメラ６の撮像範囲内に入るように、取付部材３に被写体７が固定されている。被写体７は、後述するように、発生した位置ずれ、特に、視差誤差として現れる撮像画像の水平方向（ステレオカメラ６の２つのカメラの並ぶ方向）の横ずれを校正するための物体である。

ステレオカメラ６は、車両１が移動する路面４（計測対象の一例）を撮像する向きに取り付けられている。なお、ステレオカメラ６は、路面４を垂直方向から撮像するように取り付けられることが望ましい。

ステレオカメラ６は、例えば車両１の内部に設置された、情報処理装置の一例であるＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）５により制御される。作業者は、ＰＣ５を操作し、ステレオカメラ６による撮像開始を指示する。撮像開始が指示されると、ＰＣ５は、ステレオカメラ６による撮像を開始する。撮像は、ステレオカメラ６すなわち車両１の移動速度に応じてタイミング制御され、繰り返し実行される。なお、ステレオカメラ６を制御する情報処理装置は、ＰＣ５に限られず、ワークステーション、またはステレオカメラ６の制御に特化した専用装置等であってもよい。

ステレオカメラ６は、路面等の対象物を複数の異なる方向から同時に撮像して２つの撮像画像（以下、「ステレオ撮像画像」と称する場合がある）を得ることにより、対象物の各部分までの距離を示す距離情報を得ることできる。また、この距離情報から、対象物である路面の三次元路面データを作成することもできる。この三次元路面データを解析することによって、路面の道路性状を評価するための指標である舗装の維持管理指数（ＭＣＩ：Ｍａｉｎｔｅｎａｎｃｅ Ｃｏｎｔｒｏｌ Ｉｎｄｅｘ）を求めることができる。ＭＣＩは、舗装の供用性を、ひび割れ率、わだち掘れ量および平坦性という３種類の路面性状値によって定量的に評価するものである。この三次元路面データを解析することで、ＭＣＩを求めるために用いるひび割れ率、わだち掘れ量および平坦性を取得することができる。

具体的には、ステレオカメラ６は、所定の長さである基線長だけ離して設けられた２つのカメラを備え、この２つのカメラで撮像された２枚ペアの撮像画像（ステレオ撮像画像）を出力する。このステレオ撮像画像に含まれる２枚の撮像画像間で対応する点を探索することで、撮像画像中の任意の点に対応する距離を復元することができる。撮像画像の全域について距離を復元し、各画素を距離の値により表したデータを、デプスマップと称する場合がある。すなわち、視差画像は、それぞれ三次元の情報を持つ点の集合からなる三次元点群情報である。

このステレオカメラ６を車両１の後方等、１箇所に下向きに取り付け、路面を撮像できるようにし、計測対象の道路に沿って車両１を移動させる。説明を簡略にするため、測定のために車両１に搭載するステレオカメラ６は、撮像範囲が、道路幅方向の規定の長さをカバーしているとする。

そして、作業者は、例えば、必要な区間の撮像が終了に応じてＰＣ５を操作し撮像終了を指示をする。ＰＣ５は、撮像終了の指示に応じて、ステレオカメラ６による撮像を終了させる。

（被写体の特徴点）
図３は、特徴点を有する被写体が写り込んだ撮像画像の一例を示す図である。図４は、写り込ませる被写体の例を示す図である。図３および図４を参照しながら、車両１に設置された被写体７の特徴点について説明する。

図２で上述したように、被写体７は、ステレオカメラ６の撮像範囲内に入るように、取付部材３に固定されている。例えば、ステレオカメラ６の撮像範囲内に取付部材３の一部が写り込む場合、当該取付部材３の一部に被写体７を固定することが望ましい。したがって、図４に示すように、ステレオカメラ６により撮像された撮像画像Ｉｍには、被写体７が写り込んでいる。また、図４に示すように、被写体７の撮像側の面には、チェッカーバターンが施されており、そのチェッカーパターンの格子点である特徴点ＦＰ１、ＦＰ２が、視差誤差として現れる撮像画像の水平方向の横ずれを校正するために利用される。また、撮像画像Ｉｍのうち、被写体７が写り込んだ部分以外の領域は、路面の道路性状を計測するための計測領域ＭＡとして利用される。したがって、被写体７は、ステレオカメラ６による計測に支障を来さない位置に配置させることが望ましい。

なお、被写体７の撮像側の面に施される特徴点を検出するためのパターンとしては、図３に示したチェッカーパターンに限定されるものではなく、例えば、図４に示すパターンにおいて特徴点を検出するものとしてもよい。図４（ａ）は、図３に示したチェッカーパターンと同様のパターンであり、その格子点を、特徴点（特徴点ＦＰ１１）として利用することができる。図４（ｂ）は、塗り潰しの円形状のパターンであり、例えば、当該円形状の中心を検出することによって、特徴点（特徴点ＦＰ１２）として利用することができる。そして、図４（ｃ）は、塗り潰しの矩形形状の内部に白抜きの矩形形状を配置したパターンである。この場合、例えば、白抜きの矩形形状の中心を検出することによって、特徴点（特徴点ＦＰ１３ａ）として利用することができる。または、塗り潰しの矩形形状の頂点を検出することによって、特徴点（特徴点ＦＰ１３ｂ）として利用することができる。

（光軸ずれによる発生する各種誤差）
図５は、光軸ずれにより発生する各種誤差を説明する図である。図５を参照しながら、光軸ずれにより発生する誤差について説明する。

本実施形態では、各種物理量について図５に示した記号を用いて説明する。なお、実際の被写体７の特徴点ＦＰ１と特徴点ＦＰ２との距離である実空間上の特徴点間距離Ｓ_ｒｅａｌ、ステレオカメラ６の基線長Ｂ（図１参照）、および焦点距離ｆ（図１参照）については、光軸ずれの発生前後で変化しないものとして説明する。

また、光軸ずれの発生が原因ではないが、ステレオカメラ６の撮像タイミングの相違、または、車両１の振動によるステレオカメラ６または被写体７の固定具合の変動により、ステレオカメラ６と被写体７との距離関係が変化する場合も想定される。また、ステレオカメラ６と被写体７との距離関係が不変であることを前提とすると、取付部材３への被写体７の厳密な固定が必要となり実現不可能となる虞もある。したがって、図５（ａ）および図５（ｂ）に示すように、ステレオカメラ６と被写体７との距離関係は変化するものとして説明する。この場合、ステレオカメラ６と被写体７との距離関係が変化する前の距離（すなわち、初期状態の距離）をＺとし、距離関係が変化した後の距離をＺ’とする。それに伴い、視差も変化するので、ステレオカメラ６と被写体７との距離関係が変化する前の視差をｄとし、距離関係が変化した後の視差をｄ’とする。さらに、ステレオカメラ６により撮像された撮像画像上での被写体７の特徴点ＦＰ１と特徴点ＦＰ２との距離（以下、「画像上での特徴点間距離」と称する）も変化するので、ステレオカメラ６と被写体７との距離関係が変化する前の画像上での特徴点間距離をＳ_ｉｍｇとし、距離関係が変化した後の画像上での特徴点間距離をＳ’_ｉｍｇとする。

ステレオカメラ６の各カメラ（単眼カメラ）について光軸ずれが発生すると、被写体の結像位置が理想的な状態から変化する。この場合の視差ｄについての変化量、すなわち視差誤差（横ずれ）をΔｄとする。また、各カメラの撮像素子の特徴点について検出する際の検出誤差をΔＳとする。

（縦ずれ量の計測方法）
図６は、縦ずれ量を求める方法の一例を示す図である。図６を参照しながら、光軸ずれにより発生した縦ずれの変化量（縦ずれ量）を求める方法について説明する。

上述の図５では、光軸ずれの発生により横ずれである視差誤差Δｄが発生することを説明したが、実際には図６に示すように、撮像画像の垂直方向のずれである縦ずれが発生する場合もある。縦ずれが生じた場合のステレオカメラ６によるステレオ撮像画像の一例を、図６に示す。

図６（ａ）に示す撮像画像Ｉｍ１Ｌは、ステレオカメラ６の一方のカメラにより撮像された画像であり、図６（ｂ）に示す撮像画像Ｉｍ１Ｒは、ステレオカメラ６の他方のカメラにより撮像された画像である。ステレオカメラ６により撮像されたステレオ撮像画像について、理想的な状態においては縦ずれはなく、ステレオ撮像画像に写り込んでいる各被写体の距離によらず、縦ずれ量ΔＶｄは０である。そして、光軸ずれに伴い縦ずれが発生した場合、図６に示すように、ステレオ撮像画像において対応する特徴点ＦＰ２１Ｌ、ＦＰ２１Ｒを検出することによって、縦ずれ量ΔＶｄを計測することができる。そして、この縦ずれ量ΔＶｄが０となるように補正パラメータを用いて補正（校正）を行う。なお、縦ずれは距離によらないので、必ずしも、特徴点を撮像画像Ｉｍ１Ｌ、Ｉｍ１Ｒに写り込んでいる被写体７から検出する必要ない。すなわち、図６（ａ）および図６（ｂ）に示すように、計測領域に写り込んでいる他の被写体（路面等）において、左右の撮像画像間で対応（マッチング）がとれた特徴点（例えば、特徴点ＦＰ２１Ｌ、ＦＰ２１Ｒ）を検出することができれば、縦ずれ量ΔＶｄを求めることができる。

また、上述したように光軸ずれによって横ずれである視差誤差が生じるが、当該視差誤差に対する補正を行う前に、先に縦ずれに対する補正を行うことによって、横ずれである視差誤差のみに補正対象を限定することができる。また、縦ずれに対する補正を独立して行う場合、撮像画像の全領域の特徴点を用いることができるため、補正に使用する特徴点数が多くなり、補正の精度を向上させることができる。

（視差誤差の計測方法）
図７は、光軸ずれで発生する視差誤差を説明する図である。図８は、実空間での特徴点間距離と画像上での特徴点間距離との関係を示す図である。図７および図８を参照しながら、光軸ずれにより発生した横ずれである視差誤差を求める方法について説明する。

光軸ずれが発生することによって、ステレオ撮像画像のうち左右それぞれの撮像画像が横方向にシフトするような横ずれが発生し、それにより視差誤差が発生する。このときステレオカメラ６の左右のカメラは、独立したずれ方をするので左右の撮像画像から算出する視差には誤差が発生する。

ここで、光軸ずれが発生してもステレオカメラ６と被写体７との距離が変化しないものとした場合を考える。この場合、光軸ずれによって撮像画像上に写り込んでいる被写体７の特徴点の位置は変化するが、その間隔、すなわち特徴点間距離は維持される。また、光軸ずれに伴う視差誤差が発生する前の状態を示す図７（ａ）に示す撮像画像Ｉｍ２Ｌ上の被写体７の特徴点の位置と、視差誤差が発生した後の状態を示す図７（ｂ）に示す撮像画像Ｉｍ２Ｌ’上の被写体７の特徴点の位置との、横方向のずれである横ずれ量ΔＬｘ_ｔを計測する。同様に、光軸ずれに伴う視差誤差が発生する前の状態を示す図７（ａ）に示す撮像画像Ｉｍ２Ｒ上の被写体７の特徴点の位置と、視差誤差が発生した後の状態を示す図７（ｂ）に示す撮像画像Ｉｍ２Ｒ’上の被写体７の特徴点の位置との、横方向のずれである横ずれ量ΔＲｘ_ｔを計測する。そして、それぞれ計測した横ずれ量ΔＬｘ_ｔ、ΔＲｘ_ｔの和を取ることによって視差誤差Δｄ（＝ΔＬｘ_ｔ＋ΔＲｘ_ｔ）を計測することができる。そして、この視差誤差Δｄが０となるように補正パラメータを用いて補正（校正）を行うことで、視差誤差をキャンセルすることができる。

しかし、実際には、図５で上述したように、光軸ずれのほか、温度変化、振動、または時間経過による変化等によって、ステレオカメラ６と被写体７との距離が変動する可能性がある。この場合、図８に示す画像上での特徴点間距離Ｓ_ｉｍｇについても、ステレオカメラ６と被写体７との距離が変動に従って変化するため、当該画像上での特徴点間距離Ｓ_ｉｍｇを用いて、視差誤差Δｄを計測して当該視差誤差Δｄに対する補正（校正）を行うことはできない。そこで、視差誤差Δｄを計測するために、被写体７の特徴点の実空間上での特徴点間距離Ｓ_ｒｅａｌが不変であることを利用する。

実空間での特徴点間距離Ｓ_ｒｅａｌと、画像上での特徴点間距離Ｓ_ｉｍｇとの関係は、図８に示したものとなる。そのため、実空間での特徴点間距離Ｓ_ｒｅａｌは、下記の式（１）により表される。

ここで、Ｚはステレオカメラ６と被写体７との距離、ｆは焦点距離である。ステレオカメラ６と被写体７との距離Ｚは、ステレオ撮像画像から得られる視差ｄから距離Ｚに換算する下記の式（２）で表される。

上述の式（１）に、式（２）で示される距離Ｚを代入すると、以下の式（３）が得られる。

上述のように、光軸ずれが発生すると視差ｄには視差誤差Δｄとして誤差が含まれることになる。さらに、上述のように、ステレオカメラ６と被写体７との距離関係が変動する可能性もあるので、距離関係が変化した後の視差をｄ’とし、画像上での特徴点間距離をＳ’_ｉｍｇとすると、距離関係が変化した後の実空間での特徴点間距離Ｓ’_ｒｅａｌは、以下の式（４）で表される。

しかし、上述の実空間での特徴点間距離は不変であることから、視差誤差Δｄは、以下の式（５）で算出することができる。

（撮像システムの概略構成）
図９は、実施形態に係る撮像システムの概略構成の一例を示す図である。図９を参照しながら、本実施形態に係る撮像システム１０の概略構成について説明する。

図９に示すように、撮像システム１０は、ステレオカメラ６と、図２のＰＣ５に対応する情報処理装置５０（計測装置の一例）と、を含む。

情報処理装置５０は、所定のタイミングでトリガを生成し、生成したトリガをステレオカメラ６に送る。ステレオカメラ６は、このトリガに応じて撮像を行う。ステレオカメラ６により撮像された各ステレオ撮像画像は、情報処理装置５０に送信される。情報処理装置５０は、ステレオカメラ６から受信した各ステレオ撮像画像をストレージ等に記憶して蓄積する。情報処理装置５０は、蓄積したステレオ撮像画像に対して、光軸ずれにより発生した位置ずれ（縦ずれ、視差誤差）を補正した後、デプスマップ（距離情報）を生成する。

（ステレオカメラのハードウェア構成）
図１０は、実施形態に係るステレオカメラのハードウェア構成の一例を示す図である。図１０を参照しながら、本実施形態に係るステレオカメラ６のハードウェア構成について説明する。

図１０に示すように、ステレオカメラ６は、撮像光学系６００Ｌ、６００Ｒと、撮像素子６０１Ｌ、６０１Ｒと、駆動部６０２Ｌ、６０２Ｒと、信号処理部６０３Ｌ、６０３Ｒと、出力部６０４と、を含む。

撮像光学系６００Ｌは、所定の画角、焦点距離ｆを有する光学系であって、被写体からの光を撮像素子６０１Ｌに投射する。

撮像素子６０１Ｌは、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）を用いた光センサであって、投射された光に応じた信号を出力する。なお、撮像素子６０１Ｌに、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）による光センサを適用してもよい。

駆動部６０２Ｌは、撮像素子６０１Ｌを駆動し、撮像素子６０１Ｌから出力された信号に対してノイズ除去、ゲイン調整等の所定の処理を施して出力する。

信号処理部６０３Ｌは、駆動部６０２Ｌから出力された信号に対してＡ／Ｄ変換を施して、当該信号をディジタル方式の画像信号（撮像画像）に変換する。信号処理部６０３Ｌは、変換した画像信号に対してガンマ補正等所定の画像処理を施して出力する。信号処理部６０３Ｌから出力された撮像画像は、出力部６０４に送られる。

なお、撮像光学系６００Ｒ、撮像素子６０１Ｒ、駆動部６０２Ｒ、および、信号処理部６０３Ｒの動作は、それぞれ上述の撮像光学系６００Ｌ、撮像素子６０１Ｌ、駆動部６０２Ｌ、および、信号処理部６０３Ｌと同様である。

駆動部６０２Ｌ、６０２Ｒは、例えば情報処理装置５０から出力されたトリガが送信される。そして、駆動部６０２Ｌ、６０２Ｒは、受信したトリガのタイミングで、撮像素子６０１Ｌ、６０１Ｒから信号を取り込み、撮像を行う。

ここで、駆動部６０２Ｌ、６０２Ｒは、撮像素子６０１Ｌ、６０１Ｒにおける露光を、一括同時露光方式により行う。この方式は、グローバルシャッタと呼ばれる。これに対して、ローリングシャッタは、画素位置の上から順番（ライン順）に光を取り込んでいく方式であるため、フレーム中の各ラインは、厳密に同じ時刻の被写体を写したものではない。ローリングシャッタ方式の場合、１フレームの撮像信号を取り込んでいる間にカメラまたは被写体が高速に動いてしまうと、被写体の像がライン位置に応じてずれて撮像されてしまう。そのため、本実施形態に係るステレオカメラ６では、グローバルシャッタを用いて、投影幾何的に正しく道路形状が撮像されるようにする。

出力部６０４は、信号処理部６０３Ｌ、６０３Ｒから供給された各フレームの撮像画像を、１組のステレオ撮像画像として出力する。出力部６０４から出力されたステレオ撮像画像は、情報処理装置５０に送られ、蓄積される。

（情報処理装置のハードウェア構成）
図１１は、実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。図１１を参照しながら、本実施形態に係る情報処理装置５０のハードウェア構成について説明する。

図１１に示すように、情報処理装置５０は、それぞれバス５０３０に接続されたＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０００と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５００１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５００２と、グラフィクスＩ／Ｆ（インタフェース）５００３と、ストレージ５００４と、入力デバイス５００５と、データＩ／Ｆ５００６と、通信Ｉ／Ｆ５００７と、を備える。さらに、情報処理装置５０は、それぞれバス５０３０に接続されたカメラＩ／Ｆ５０１０と、センサＩ／Ｆ５０１１と、速度取得部５０２１と、を備える。

ストレージ５００４は、データを不揮発に記憶する記憶媒体である。ストレージ５００４は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等である。ストレージ５００４は、ＣＰＵ５０００が動作するためのプログラムおよびデータを記憶している。

ＣＰＵ５０００は、例えば、ＲＯＭ５００１またはストレージ５００４のうち少なくともいずれかにに予め記憶されたプログラムに従い、ＲＡＭ５００２をワークメモリとして用い、この情報処理装置５０の全体の動作を制御する。

グラフィクスＩ／Ｆ５００３は、ＣＰＵ５０００によりプログラムに従い生成された表示制御信号に基づき、ディスプレイ５０２０が対応可能な表示信号を生成する。ディスプレイ５０２０は、グラフィクスＩ／Ｆ５００３から供給された表示信号に応じた画面を表示する。

入力デバイス５００５は、ユーザ操作を受け付け、受け付けたユーザ操作に応じた制御信号を出力する。入力デバイス５００５としては、マウスもしくはタブレットといったポインティングデバイス、またはキーボード等を適用できる。なお、入力デバイス５００５とディスプレイ５０２０とを一体的に形成し、いわゆるタッチパネル構成としてもよい。

データＩ／Ｆ５００６は、外部の機器との間でデータの送受信を行う。データＩ／Ｆ５００６としては、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）を適用可能である。通信Ｉ／Ｆ５００７は、ＣＰＵ５０００の指示に従い、外部のネットワークに対する通信を制御する。

カメラＩ／Ｆ５０１０は、各ステレオカメラ６に対するインタフェースである。ステレオカメラ６から出力された各ステレオ撮像画像は、カメラＩ／Ｆ５０１０を介して、例えばＣＰＵ５０００に渡される。また、カメラＩ／Ｆ５０１０は、ＣＰＵ５０００の指示に従い上述したトリガを生成し、生成したトリガをステレオカメラ６へ送る。

センサＩ／Ｆ５０１１は、温度または加速度の少なくとも一方を検知する検知センサ５０２５に対するインターフェースである。センサＩ／Ｆ５０１１は、検知センサ５０２５で検知された検知情報（温度情報、加速度情報）を受け取り、例えばＣＰＵ５０００へ送る。検知センサ５０２５は、例えば、ステレオカメラ６が設置された箇所の近傍に設置されるものとすればよい。

速度取得部５０２１は、車両１の速度を示す速度情報を取得する。車両１にステレオカメラ６が取り付けられている場合、速度取得部５０２１が取得する速度情報は、ステレオカメラ６の、被写体（路面）に対する速度を示す。速度取得部５０２１は、例えば、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）の信号を受信する機能を有し、受信したＧＮＳＳによる信号のドップラ効果に基づき車両１の速度を示す速度情報を取得する。なお、これに限らず、速度取得部５０２１は、車両１から直接的に速度情報を取得することもできる。

（撮像システムの機能ブロック構成）
図１２は、実施形態に係る撮像システムの機能ブロックの構成の一例を示す図である。図１２を参照しながら、本実施形態に係る撮像システム１０の機能ブロックの構成および動作について説明する。

図１２に示すように、撮像システム１０は、撮像部１００Ｌ、１００Ｒと、撮像制御部１０１Ｌ、１０１Ｒと、速度取得部１０２と、生成部１０３と、を含む。

撮像部１００Ｌ、１００Ｒは、ステレオカメラ６の左右のそれぞれの単眼カメラに対応する。撮像制御部１０１Ｌ、１０１Ｒは、それぞれ撮像部１００Ｌ、１００Ｒの撮像タイミング、露光、シャッタ速度等の撮像動作を制御する。

速度取得部１０２は、撮像部１００Ｌ、１００Ｒの、被写体（路面４）に対する速度を取得する。速度取得部１０２は、図１１に示す速度取得部５０２１により実現される。

生成部１０３は、速度取得部１０２により取得された速度と、進行方向視野とに基づき、撮像部１００Ｌ、１００Ｒによる撮像を指定するためのトリガ（撮像トリガ）を生成する。生成部１０３は、生成したトリガを、撮像制御部１０１Ｌ、１０１Ｒに送る。撮像制御部１０１Ｌ、１０１Ｒは、生成部１０３から送られたトリガに応じて、撮像部１００Ｌ、１００Ｒに対して撮像動作を実行させる。生成部１０３は、例えば、図１１に示すＣＰＵ５０００によりプログラムが実行されることによって実現される。

（情報処理装置の機能ブロック構成）
図１３は、実施形態に係る情報処理装置の機能ブロックの構成の一例を示す図である。図１３を参照しながら、本実施形態に係る情報処理装置５０の機能ブロックの構成および動作について説明する。

図１３に示すように、情報処理装置５０は、撮像画像取得部５００（取得部）と、撮像制御部５０１と、光軸ずれ検知部５０２（検知部）と、特徴点検出部５０３（検出部）と、マッチング処理部５０４と、縦ずれ計測部５０５（第２計測部）と、横ずれ計測部５０６（第１計測部）と、補正パラメータ算出部５０７（算出部）と、補正部５０８と、距離情報生成部５０９（生成部）と、記憶部５１０と、を有する。

撮像画像取得部５００は、ステレオカメラ６から、ステレオ撮像画像を取得する機能部である。撮像画像取得部５００は、取得したステレオ撮像画像を記憶部５１０へ記憶させる。また、撮像画像取得部５００は、記憶部５１０から、記憶されたステレオ撮像画像を取得する。

撮像制御部５０１は、ステレオカメラ６の撮像動作を制御する機能部である。具体的には、撮像制御部５０１は、例えば、ステレオカメラ６の被写体（路面４）に対する速度を示す速度情報を取得し、取得した速度情報と、予め設定されるステレオカメラ６の画角および高さと、に基づき、ステレオカメラ６の撮像を指示するためのトリガを生成する。撮像制御部５０１は、上述した図１２に示した撮像制御部１０１Ｌ、１０１Ｒ、速度取得部１０２、および生成部１０３に対応する。

光軸ずれ検知部５０２は、光軸ずれの発生を検知する機能部である。ここでは、光軸ずれの発生には、実際にカメラの光軸のずれが発生した状態だけでなく、光軸ずれが発生している可能性が高い状態も含まれる。例えば、光軸ずれ検知部５０２は、検知センサ５０２５から検知される温度（検知情報の一例）の変化量が所定値以上となった場合、振動が原因によるものであれば検知センサ５０２５から検知される加速度（検知情報の一例）が所定の振動状態を示す場合、または、経時劣化に基づくものであれば累積稼動時間が所定時間以上となった場合等に、光軸ずれが発生したことを検知する。

特徴点検出部５０３は、撮像画像取得部５００により取得されたステレオ撮像画像上で、特徴点を検出する機能部である。例えば、特徴点検出部５０３は、ステレオ撮像画像上に写り込んでいる被写体７のチェッカーパターン等のパターンから特徴点を検出したり、計測領域ＭＡから特徴点を検出したりする。この場合、計測領域ＭＡでは、例えば、路面４のアスファルトの粒形または凹凸等が特徴点として検出される。

マッチング処理部５０４は、特徴点検出部５０３により検出されたステレオ撮像画像の双方の撮像画像における特徴点の対応付け（マッチング処理）を行う機能部である。マッチング処理としては、例えば、画像間の類似性を評価するために、比較する画像から領域を切り出し、その領域に対する輝度差の総和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、輝度差の２乗和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、および正規化相互相関（ＺＮＣＣ：Ｚｅｒｏ−ｍｅａｎ Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）等を求めるブロックマッチング法を用いた処理を行うものとすればよい。

縦ずれ計測部５０５は、光軸ずれ等に伴い発生したステレオ撮像画像の双方の撮像画像における縦ずれの量を計測する機能部である。具体的には、縦ずれ計測部５０５は、特徴点検出部５０３により撮像画像の全領域にわたって検出された特徴点を用いて縦ずれ量を計測する。これによって、縦ずれの補正に使用する特徴点数が多くなり、補正の精度を向上させることができる。

横ずれ計測部５０６は、光軸ずれの伴い発生したステレオ撮像画像の双方の撮像画像における横ずれ、すなわち視差誤差Δｄを計測する機能部である。具体的には、横ずれ計測部５０６は、上述の式（５）により視差誤差Δｄを算出する。

補正パラメータ算出部５０７は、縦ずれ計測部５０５により計測された縦ずれ量に基づいて縦ずれ用補正パラメータ（第２補正パラメータ）を算出し、横ずれ計測部５０６により計測された視差誤差Δｄに基づいて横ずれ用補正パラメータ（第１補正パラメータ）を算出する機能部である。例えば、補正パラメータ算出部５０７は、縦ずれ計測部５０５により計測された縦ずれ量を補正する（縦ずれ量を０にする）ための縦ずれ用補正パラメータを回転行列で表し、横ずれ計測部５０６により計測された視差誤差Δｄを補正する（視差誤差Δｄを０にする）ための横ずれ用補正パラメータを画像全体のシフト量で表す。

補正部５０８は、補正パラメータ算出部５０７により算出された縦ずれ用補正パラメータおよび横ずれ用補正パラメータを用いて、光軸ずれ等により発生した縦ずれおよび視差誤差Δｄをそれぞれ解消するための補正を行う機能部である。

距離情報生成部５０９は、補正部５０８により補正されたステレオ撮像画像を用いて、デプスマップ（距離情報）を生成する機能部である。

記憶部５１０は、例えば、ステレオカメラ６から取得されたステレオ撮像画像、および、補正部５０８により補正されたステレオ撮像画像等を記憶する機能部である。記憶部５１０は、図１１に示したＲＡＭ５００２またはストレージ５００４のうち少なくとも一方により実現される。

上述の撮像制御部５０１、光軸ずれ検知部５０２、特徴点検出部５０３、マッチング処理部５０４、縦ずれ計測部５０５、横ずれ計測部５０６、補正パラメータ算出部５０７、補正部５０８および距離情報生成部５０９は、図１１に示すＣＰＵ５０００によりプログラムが実行されることによって実現される。なお、撮像制御部５０１、光軸ずれ検知部５０２、特徴点検出部５０３、マッチング処理部５０４、縦ずれ計測部５０５、横ずれ計測部５０６、補正パラメータ算出部５０７、補正部５０８および距離情報生成部５０９の一部または全部は、ソフトウェアであるプログラムではなく、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェア回路（集積回路）によって実現されてもよい。

なお、図１３に示す情報処理装置５０の撮像画像取得部５００、撮像制御部５０１、光軸ずれ検知部５０２、特徴点検出部５０３、マッチング処理部５０４、縦ずれ計測部５０５、横ずれ計測部５０６、補正パラメータ算出部５０７、補正部５０８、距離情報生成部５０９および記憶部５１０は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図１３に示す情報処理装置５０で独立した機能部として図示した複数の機能部を、１つの機能部として構成してもよい。一方、図１３に示す情報処理装置５０で１つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。

（補正パラメータの導出動作）
図１４は、実施形態に係る撮像システムの補正パラメータの導出動作の流れの一例を示すフローチャートである。図１４を参照しながら、本実施形態に係る撮像システム１０の補正パラメータの導出動作の流れについて説明する。

＜ステップＳ１１＞
撮像システム１０では、車両１の走行中に、情報処理装置５０の入力デバイス５００５を介して、ステレオカメラ６に対する撮像動作の開始操作がなされると、情報処理装置５０の撮像制御部５０１は、ステレオカメラ６に対して撮像動作を開始させる。情報処理装置５０の撮像画像取得部５００は、ステレオカメラ６による撮像動作が開始されると、撮像されたステレオ撮像画像を取得する。そして、ステップＳ１２へ移行する。

＜ステップＳ１２＞
情報処理装置５０の光軸ずれ検知部５０２は、光軸ずれが発生したか否かを検知する。例えば、光軸ずれ検知部５０２は、検知センサ５０２５から検知される温度の変化量が所定値以上となった場合、振動が原因によるものであれば検知センサ５０２５から検知される加速度が所定の振動状態を示す場合、または、経時劣化に基づくものであれば累積稼動時間が所定時間以上となった場合等に、光軸ずれが発生したことを検知する。光軸ずれ検知部５０２により光軸ずれの発生が検知された場合（ステップＳ１２：Ｙｅｓ）、ステップＳ１３へ移行し、光軸ずれの発生が検知されない場合（ステップＳ１２：：Ｎｏ）、ステップＳ１１へ戻る。

＜ステップＳ１３＞
光軸ずれ検知部５０２により光軸ずれが検知された場合、作業者は、後段の画像取得および画像処理を安定して行うために、車両１を停止させる。なお、この場合、必ずしも車両１を完全に停止させる必要はなく、少なくとも車両１を所定の速度以下に減速させた状態にするものとしてもよい。そして、ステップＳ１４へ移行する。

＜ステップＳ１４＞
車両１が停止すると、ステレオカメラ６は路面４に対して画像を撮像し、情報処理装置５０の撮像画像取得部５００は、ステレオカメラ６により撮像されたステレオ撮像画像を取得する。そして、ステップＳ１５へ移行する。

＜ステップＳ１５＞
情報処理装置５０の特徴点検出部５０３は、撮像画像取得部５００により取得されたステレオ撮像画像上で、特徴点を検出する。具体的には、特徴点検出部５０３は、ステレオ撮像画像上に写り込んでいる被写体７のチェッカーパターン等のパターンから特徴点を検出したり、計測領域ＭＡから特徴点を検出する。次に、情報処理装置５０のマッチング処理部５０４は、特徴点検出部５０３により検出されたステレオ撮像画像の双方の撮像画像における特徴点の対応付け（マッチング処理）を行う。マッチング処理の方法については、上述した通りである。

特徴点のマッチング処理が終了した後、まず、縦ずれを補正するために、情報処理装置５０の縦ずれ計測部５０５は、ステレオ撮像画像の双方の撮像画像における縦ずれ量を計測する。この際、ステレオ撮像画像に写り込んでいる領域全体の各被写体の距離によらず、縦ずれ量の理想値は０であるので、縦ずれ計測部５０５は、特徴点検出部５０３により撮像画像の全領域にわたって検出された特徴点を用いて縦ずれ量を計測する。そして、ステップＳ１６へ移行する。

＜ステップＳ１６＞
情報処理装置５０の補正パラメータ算出部５０７は、縦ずれ計測部５０５により計測された縦ずれ量に基づいて、回転行列等で表される縦ずれ用補正パラメータを算出する。そして、情報処理装置５０の補正部５０８は、縦ずれ用補正パラメータを用いて、光軸ずれ等により発生した縦ずれを解消するための補正を行う。このように、後段の視差誤差Δｄに対する補正を行う前に、先に縦ずれに対する補正を行うことによって、横ずれである視差誤差Δｄのみに補正対象を限定することができる。そして、ステップＳ１７へ移行する。

＜ステップＳ１７＞
縦ずれの補正後、情報処理装置５０の横ずれ計測部５０６は、特徴点検出部５０３により検出された被写体７上の特徴点を用いて、光軸ずれの伴い発生したステレオ撮像画像の双方の撮像画像における横ずれ、すなわち視差誤差Δｄを計測する。具体的には、横ずれ計測部５０６は、上述の式（５）により視差誤差Δｄを算出する。そして、ステップＳ１８へ移行する。

＜ステップＳ１８＞
補正パラメータ算出部５０７は、横ずれ計測部５０６により計測された視差誤差Δｄに基づいて、画像全体のシフト量等で表される横ずれ用補正パラメータを算出する。そして、補正部５０８は、横ずれ用補正パラメータを用いて、光軸ずれ等により発生した視差誤差Δｄを解消するための補正を行う。そして、ステップＳ１９へ移行する。

＜ステップＳ１９＞
補正パラメータ算出部５０７は、算出した縦ずれ用補正パラメータおよび横ずれ用補正パラメータを、記憶部５１０に記憶して更新する。以後、撮像画像取得部５００により取得されたステレオ撮像画像は、補正パラメータ算出部５０７により算出した縦ずれ用補正パラメータおよび横ずれ用補正パラメータにより補正されて、デプスマップ（距離情報）が生成される。そして、ステップＳ１１へ戻る。

以上のステップＳ１１〜Ｓ１９の流れによって、補正パラメータの導出動作が行われる。

（視差誤差計測の誤差について）
図１５は、被写体における特徴点間距離を説明するための図である。図１６は、特徴点間距離と視差誤差計測の誤差との関係の一例をグラフで示した図である。図１７は、被写体の複数の特徴点間距離を使用する場合の一例を説明する図である。図１５〜図１７を参照しながら、視差誤差計測の誤差について説明する。

上述のように、光軸ずれが発生すると視差ｄには視差誤差Δｄとして誤差が含まれることになる。また、上述のように、ステレオカメラ６と被写体７との距離関係が変動する可能性もあるので、距離関係が変化した後の視差をｄ’とし、画像上での特徴点間距離をＳ’_ｉｍｇとした場合、視差誤差Δｄは、上述の式（５）により算出され、以下の式（６）として表される。

また、上述の式（１）および式（３）で示したように、図１５に示す被写体７の特徴点ＦＰ１、ＦＰ２間の距離である実空間での特徴点間距離Ｓ_ｒｅａｌは、画像上での特徴点間距離Ｓ_ｉｍｇを用いて算出される。ただし、撮像素子６０１Ｌ、６０１Ｒによる画像の検出には一定の検出誤差が発生し、これを特徴点検出誤差ΔＳと表すものとする。この特徴点検出誤差ΔＳの影響を受けた場合の視差誤差をΔｄ’とすると、視差誤差Δｄ’は、以下の式（７）で表される。

光軸ずれの発生前を基準とするので、光軸ずれ発生後の画像上での特徴点間距離の検出の際には、上述の特徴点検出誤差ΔＳが発生する。この特徴点検出誤差ΔＳの影響により、視差誤差の計測で発生する誤差Ｅ_ｄ（以下、視差誤差計測の誤差Ｅ_ｄと称する）は、以下の式（８）で表される。

上述のように特徴点検出誤差ΔＳは、被写体７の特徴点間距離の大きさによらず一定であるので、式（８）により、画像上の特徴点間距離Ｓ_ｉｍｇを大きくすれば、視差誤差計測の誤差Ｅ_ｄを小さくすることができる。つまり、ステレオカメラ６から所定の位置に被写体７を設置しているので、実空間での特徴点間距離Ｓ_ｒｅａｌを大きくすれば、画像上の特徴点間距離Ｓ_ｉｍｇを大きくすることができる。このように、視差誤差計測の誤差Ｅ_ｄを小さくすることによって、視差誤差Δｄの算出精度が向上し、当該視差誤差Δｄに対して精度よく補正を行うことが可能となる。

また、視差誤差計測について求められる精度をＥ_ｄａとした場合、以下の式（９）を満たす画像上の特徴点間距離Ｓ_ｉｍｇとなるように、被写体７の特徴点間距離を設定することによって、当該精度Ｅ_ｄａが保証されることになる。

図１６には、焦点距離ｆを１６［ｍｍ］、基線長Ｂを１５０［ｍｍ］、路面４からのステレオカメラ６の取り付け位置を２１００［ｍｍ］、特徴点検出誤差ΔＳを０．１［ｐｉｘｅｌ］とした場合の実空間での特徴点間距離Ｓ_ｒｅａｌ［ｍｍ］と視差誤差計測の誤差Ｅ_ｄ［ｐｉｘｅｌ］との関係が示されている。図１６に示すように、実空間での特徴点間距離Ｓ_ｒｅａｌを大きくする、すなわち、画像上の特徴点間距離Ｓ_ｉｍｇを大きくするほど、視差誤差計測の誤差Ｅ_ｄを小さくすることができることが把握される。例えば、道路点検のためにわだち掘れ量の測定を行う場合、視差誤差計測の誤差Ｅ_ｄは、Ｅ_ｄ＜０．１を満足することが望ましい。測定対象の道路を走行可能である車両１にステレオカメラ６を取り付けるので、ステレオカメラ６の取り付け位置は路面４から１８００〜２５００［ｍｍ］ほどの位置になり、このとき測定する道路幅および測定精度を考慮すると、焦点距離ｆが１０〜２０［ｍｍ］、基線長Ｂが１３０〜２００［ｍｍ］のステレオカメラ６を用いることが好ましい。例えば、焦点距離ｆが１６［ｍｍ］、基線長Ｂが１５０［ｍｍ］、ステレオカメラ６の取り付け位置が路面４から２１００［ｍｍ］とした場合、Ｅ_ｄ＜０．１［ｐｉｘｅｌ］を満たせば、すなわち、精度Ｅ_ｄａ＝０．１とした場合に上述の式（９）を満たす画像上の特徴点間距離Ｓ_ｉｍｇとすれば、計測する距離の誤差を１［ｍｍ］以下に抑えることができる。図１６に示すように、視差誤差計測の誤差Ｅ_ｄについてＥ_ｄ＜０．１［ｐｉｘｅｌ］を満たすためには、被写体７の特徴点間距離は、２５０［ｍｍ］以上である必要がある。

また、道路点検のわだち掘れ量の測定性能は真値に対して±３［ｍｍ］以内の精度が要求される。この場合、もともと持っているステレオカメラ６の誤差を考えると、±１［ｍｍ］以内に抑えることが望ましい。

なお、上述の説明では、被写体７上の１の特徴点間距離を用いるものとしたが、これに限定されるものではなく、例えば、図１７に示す複数の特徴点で規定される複数の特徴点間距離（特徴点間距離ＦＰＤ１〜ＦＰＤ３）を用いるものとしてもよい。これによって、ランダムノイズである特徴点検出誤差ΔＳの影響を小さくすることができる。

また、上述の式（９）を満たすような画像上の特徴点間距離Ｓ_ｉｍｇするためには、必ずしも取付部材３に固定された被写体７上の特徴点間距離を用いる必要はなく、例えば、計測領域ＭＡ内で検出された特徴点の特徴点間距離を用いるものとしてもよい。ただし、ステレオカメラ６と被写体７との位置関係が安定しているため、取付部材３に固定された被写体７での特徴点間距離を用いる方が好ましい。

以上のように、本実施形態に係る撮像システム１０では、特徴点検出誤差ΔＳの影響により視差誤差の計測で発生する誤差Ｅ_ｄについて、上述の式（９）を満たすような画像上の特徴点間距離Ｓ_ｉｍｇとなるような特徴点を用いることによって、視差誤差計測の誤差Ｅ_ｄを小さくすることができ、視差誤差Δｄの計測精度を向上させることができる。また、これによって、視差誤差Δｄに対して精度よく補正を行うことが可能となる。また、上述の式（９）を満たすような画像上の特徴点間距離Ｓ_ｉｍｇとなるような特徴点として、例えば、車両１の取付部材３に固定された被写体７上のパターンから検出される特徴点を用いるものとすればよい。

また、本実施形態に係る撮像システム１０では、光軸ずれ等に伴う位置ずれ（縦ずれ、視差誤差）に対して補正を行うために、車両１の取付部材３に固定された被写体７上のパターンから検出される特徴点を用いるものとしている。これによって、車両１とは別体の調整装置等を用いる必要がなくなる。

（変形例）
図１８は、変形例に係る車両に３台のステレオカメラが搭載された場合の構成の一例を示す図である。図１８を参照しながら、本変形例に係る車両１のステレオカメラについて説明する。

上述の実施形態では、撮像システム１０が１のステレオカメラ６を用いた計測動作を行うものとして説明したが、これに限定されるものではない。例えば、撮像システム１０は、図１８（ａ）に示されるように、３台のステレオカメラ６Ｃ、６Ｌ、６Ｒを用いて計測動作を行うものとしてもよい。

図１８（ａ）の例では、ステレオカメラ６Ｌおよび６Ｒの間に、さらにステレオカメラ６Ｃが配置されている。図１８（ｂ）に示すように、ステレオカメラ６Ｃの撮像レンズ６Ｃ_Ｌ、６Ｃ_Ｒによる撮像範囲６０Ｃ_Ｌ、６０Ｃ_Ｒにより、ステレオ撮像範囲６０Ｃが構成される。また、ステレオカメラ６Ｌの撮像レンズ６Ｌ_Ｌ、６Ｌ_Ｒによる撮像範囲６０Ｌ_Ｌ、６０Ｌ_Ｒにより、ステレオ撮像範囲６０Ｌが構成される。さらに、ステレオカメラ６Ｒの撮像レンズ６Ｒ_Ｌ、６Ｒ_Ｒによる撮像範囲６０Ｒ_Ｌ、６０Ｒ_Ｒにより、ステレオ撮像範囲６０Ｒが構成される。ステレオカメラ６Ｌ、６Ｃおよび６Ｒは、それぞれによる各ステレオ撮像範囲６０Ｌ、６０Ｃおよび６０Ｒが車両１の幅方向に所定の重複率で重複するように配置される。

このように、１車線を撮像するために、３台のステレオカメラ６Ｌ、６Ｃおよび６Ｒを用いることで、車線の右側、中央および左側にそれぞれ撮像範囲を設定して撮像が可能となり、高画質（高解像）なステレオ撮像画像を、少ない台数のステレオカメラで撮像可能となる。ここで、特に道路幅は、一般的には、３．５［ｍ］と規定されている。そこで、この道路幅の３．５［ｍ］に対応して、ステレオカメラ６Ｌおよび６Ｒにより車線の道路幅方向の両端を撮像し、ステレオカメラ６Ｃにより中央部を撮像することが考えられる。

なお、上述の実施形態および変形例の各機能は、一または複数の処理回路によって実現することが可能である。ここで、「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上述した各機能を実行するよう設計されたＡＳＩＣ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＦＰＧＡ、ＳｏＣ（Ｓｙｓｔｅｍ ｏｎ ａ ｃｈｉｐ)、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や従来の回路モジュール等のデバイスを含むものとする。

また、上述の実施形態および変形例において、情報処理装置５０の各機能部の少なくともいずれかがプログラムの実行によって実現される場合、そのプログラムは、ＲＯＭ等に予め組み込まれて提供される。また、上述の実施形態および変形例において、情報処理装置５０で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅｃｏｒｄａｂｌｅ）、またはＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、上述の実施形態および変形例において、情報処理装置５０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の実施形態および変形例において、情報処理装置５０で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、上述の実施形態および変形例において、情報処理装置５０で実行されるプログラムは、上述した各機能部のうち少なくともいずれかを含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵが上述の記憶装置からプログラムを読み出して実行することにより、上述の各機能部が主記憶装置上にロードされて生成されるようになっている。

１ 車両
２ 取付部
３ 取付部材
４ 路面
５ ＰＣ
６、６Ｃ、６Ｌ、６Ｒ ステレオカメラ
６Ｃ_Ｌ、６Ｃ_Ｒ、６Ｌ_Ｌ、６Ｌ_Ｒ、６Ｒ_Ｌ、６Ｒ_Ｒ 撮像レンズ
７、７ａ 被写体
１０ 撮像システム
５０ 情報処理装置
６０Ｃ、６０Ｌ、６０Ｒ ステレオ撮像範囲
６０Ｃ_Ｌ、６０Ｃ_Ｒ、６０Ｌ_Ｌ、６０Ｌ_Ｒ、６０Ｒ_Ｌ、６０Ｒ_Ｒ 撮像範囲
１００Ｌ、１００Ｒ 撮像部
１０１Ｌ、１０１Ｒ 撮像制御部
１０２ 速度取得部
１０３ 生成部
５００ 撮像画像取得部
５０１ 撮像制御部
５０２ 光軸ずれ検知部
５０３ 特徴点検出部
５０４ マッチング処理部
５０５ 縦ずれ計測部
５０６ 横ずれ計測部
５０７ 補正パラメータ算出部
５０８ 補正部
５０９ 距離情報生成部
５１０ 記憶部
６００Ｌ、６００Ｒ 撮像光学系
６０１Ｌ、６０１Ｒ 撮像素子
６０２Ｌ、６０２Ｒ 駆動部
６０３Ｌ、６０３Ｒ 信号処理部
６０４ 出力部
１０００Ｌ、１０００Ｒ カメラ
５０００ ＣＰＵ
５００１ ＲＯＭ
５００２ ＲＡＭ
５００３ グラフィクスＩ／Ｆ
５００４ ストレージ
５００５ 入力デバイス
５００６ データＩ／Ｆ
５００７ 通信Ｉ／Ｆ
５０１０ カメラＩ／Ｆ
５０１１ センサＩ／Ｆ
５０２０ ディスプレイ
５０２１ 速度取得部
５０２５ 検知センサ
５０３０ バス

特開２００４−１３２８７０号公報

Claims (14)

1. ステレオカメラにより撮像されたステレオ撮像画像を取得する取得部と、
   前記ステレオ撮像画像の各撮像画像からそれぞれ２以上の特徴点を検出する検出部と、
   前記検出部により検出された前記各撮像画像での２つの特徴点間の距離である画像上での特徴点間距離が、前記ステレオカメラ内の撮像素子の特徴点検出誤差、前記各撮像画像の視差の視差誤差の計測に対する精度、および前記視差との関係が下記の式（１）を満たすような該画像上での特徴点間距離を用いて前記視差誤差を計測する第１計測部と、
   を備えた計測装置。
   

   
2. 前記検出部は、前記ステレオカメラと計測対象との間であって、かつ、該ステレオカメラの撮像範囲に含まれる位置に固定された被写体が写り込んだ前記各撮像画像の該被写体の画像部分から、それぞれ少なくとも２以上の特徴点を検出し、
   前記第１計測部は、前記各撮像画像の該被写体の画像部分の特徴点間の距離を前記画像上での特徴点間距離として、前記視差誤差を計測する請求項１に記載の計測装置。
3. 前記被写体は、チェッカーパターンを有し、
   前記検出部は、前記被写体の画像部分から前記チェッカーパターンの格子点を特徴点として検出する請求項２に記載の計測装置。
4. 前記第１計測部は、前記被写体の画像部分の特徴点で規定される複数の前記画像上での特徴点間距離を用いて、前記視差誤差を計測する請求項２または３に記載の計測装置。
5. 前記第１計測部により計測された前記視差誤差に基づいて、該視差誤差を補正するための第１補正パラメータを算出する算出部と、
   前記第１補正パラメータを用いて、前記視差誤差を補正する補正部と、
   をさらに備えた請求項１〜４のいずれか一項に記載の計測装置。
6. 前記検出部により検出された前記各撮像画像での特徴点を用いて、前記視差の方向に対して垂直な方向の位置ずれである縦ずれの量を計測する第２計測部を、さらに備え、
   前記算出部は、前記第２計測部により計測された前記縦ずれの量に基づいて、該縦ずれを補正するための第２補正パラメータを算出し、
   前記補正部は、前記第２補正パラメータを用いて、前記縦ずれを補正する請求項５に記載の計測装置。
7. 前記検出部は、少なくとも前記各撮像画像の計測領域から特徴点を検出し、
   前記第２計測部は、少なくとも前記検出部により検出された前記計測領域の特徴点を用いて、前記縦ずれの量を計測する請求項６に記載の計測装置。
8. 前記第１計測部は、前記補正部により前記第２補正パラメータを用いて前記各撮像画像についての前記縦ずれが補正された後、前記視差誤差を計測する請求項６または７に記載の計測装置。
9. 前記第１計測部は、前記精度を０．１ピクセルとした場合に前記式（１）を満たすような前記画像上での特徴点間距離を用いて前記視差誤差を計測する請求項１〜８のいずれか一項に記載の計測装置。
10. 前記ステレオカメラの光軸ずれの発生を検知する検知部を、さらに備え、
    前記第１計測部は、前記検知部により前記光軸ずれの発生が検知された場合に前記検出部により検出された特徴点で規定される前記画像上での特徴点間距離を用いて、前記視差誤差を計測する請求項１〜９のいずれか一項に記載の計測装置。
11. 前記検知部は、少なくとも温度または加速度を検知する検知センサからの検知情報に基づいて、前記光軸ずれの発生を検知する請求項１０に記載の計測装置。
12. 前記取得部により取得された前記ステレオ撮像画像を用いて距離情報を生成する生成部を、さらに備え、
    前記生成部は、前記計測装置が移動中に前記ステレオカメラにより撮像された前記ステレオ撮像画像を用いて、前記距離情報を生成する請求項１〜１１のいずれか一項に記載の計測装置。
13. 前記第１計測部は、前記計測装置の移動速度が所定の速度以下となっている場合に前記検出部により検出された特徴点で規定される前記画像上での特徴点間距離を用いて、前記視差誤差を計測する請求項１〜１２のいずれか一項に記載の計測装置。
14. 前記ステレオカメラと、
    請求項１〜１３のいずれか一項に記載の計測装置と、
    を有する計測システム。

Images