JP2004354257A - キャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム - Google Patents
キャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム Download PDFInfo
- Publication number
- JP2004354257A JP2004354257A JP2003153451A JP2003153451A JP2004354257A JP 2004354257 A JP2004354257 A JP 2004354257A JP 2003153451 A JP2003153451 A JP 2003153451A JP 2003153451 A JP2003153451 A JP 2003153451A JP 2004354257 A JP2004354257 A JP 2004354257A
- Authority
- JP
- Japan
- Prior art keywords
- calibration
- unit
- correction
- calibration data
- shift
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】３次元計測等を行うステレオ画像を撮影する撮影装置のキャリブレーションずれを、簡易に定量的に且つ絶対値として補正することが可能なキャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステムを提供することである。
【解決手段】ステレオ画像を撮影する撮影装置のキャリブレーションずれを補正するキャリブレーションずれ補正装置に於いて、撮影装置１１に関するキャリブレーションデータがキャリブレーションデータ記憶装置８に記憶されている。上記撮影装置１１が撮影したステレオ画像から特徴抽出装置５で特徴が抽出される。そして、上記特徴抽出装置５で抽出された特徴に基づいて、上記キャリブレーションデータ記録装置８に記憶されたキャリブレーションデータに関するキャリブレーションずれが、キャリブレーションデータ補正装置１で補正される。
【選択図】 図１
【解決手段】ステレオ画像を撮影する撮影装置のキャリブレーションずれを補正するキャリブレーションずれ補正装置に於いて、撮影装置１１に関するキャリブレーションデータがキャリブレーションデータ記憶装置８に記憶されている。上記撮影装置１１が撮影したステレオ画像から特徴抽出装置５で特徴が抽出される。そして、上記特徴抽出装置５で抽出された特徴に基づいて、上記キャリブレーションデータ記録装置８に記憶されたキャリブレーションデータに関するキャリブレーションずれが、キャリブレーションデータ補正装置１で補正される。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、ステレオ画像を撮影する撮影装置のキャリブレーションずれを補正するキャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステムに関するものである。
【０００２】
【従来の技術】
従来より使用されている画像撮影装置に関わるキャリブレーションに関しては、大きくわけると
▲１▼ステレオ画像を撮影する装置自体に関わるキャリブレーション
▲２▼撮影装置と外部装置間の位置姿勢に関わるキャリブレーション
に相当するものがある。
【０００３】
上記▲１▼に関するキャリブレーションは、いわゆるステレオカメラのキャリブレーションとして一般的に知られているものである。これは、ステレオカメラの撮影特性に関するパラメータである、焦点距離、拡大率、画像中心、レンズディストーション等に代表されるカメラパラメータと、ステレオカメラを構成する少なくとも２台のカメラ間の位置姿勢関係を規定する位置姿勢パラメータに関するキャリブレーションである。こうしたパラメータは、ステレオ撮影装置の内部キャリブレーションパラメータと称される。
【０００４】
また、上記▲２▼に関するキャリブレーションは、ステレオ撮影装置と外部装置間の位置姿勢に関するパラメータに関するキャリブレーションに相当する。より具体的には、例えば、ステレオ撮影装置がある環境に配置されている場合には、ステレオカメラが設置されている環境内での位置姿勢パラメータが、このキャリブレーションで規定すべきパラメータとなる。また、ステレオ撮影装置が車両に装着され、そのステレオカメラで車両前方の障害物の位置関係を計測する場合には、車両の基準となる原点に対して、ステレオ撮影装置がどこに装着してあるかを規定する位置姿勢パラメータがキャリブレーションで規定すべきパラメータとなる。こうしたパラメータは、撮影装置と外部装置間の外部キャリブレーションパラメータと称される。
【０００５】
次に、こうしたキャリブレーションずれに関して説明する。
【０００６】
上記▲１▼のステレオ撮影装置の内部キャリブレーションパラメータに起因するキャリブレーションずれに関して考える。例えば、２台のカメラからステレオ画像を撮影する装置の場合には、（▲１▼−１）各カメラの撮影に関するカメラパラメータのずれに基づくキャリブレーションずれ、（▲１▼−２）２台のカメラ間の位置姿勢を規定するパラメータのずれに基づくキャリブレーションずれ、に分けることができる。
【０００７】
例えば、上記（▲１▼―１）に関するキャリブレーションずれが起こる原因としては、カメラを構成する光学レンズ系の変形、光学レンズ系と撮像素子（ＣＣＤやＣＭＯＳ等）との間の位置ずれ、光学レンズのフォーカス位置のずれ、光学レンズのズームレンズの制御系のずれ等が考えられる。
【０００８】
また、上記（▲１▼−２）に関するキャリブレーションずれが起こる原因としては、２台のカメラ間を固定する機構の位置ずれによる。例えば、２台のカメラを機械的なシャフトで固定している場合には、そのシャフトの経時的変形等がこの例に対応する。また、２台のカメラをねじ止めであるシャフトに装着してある場合には、そのねじの弛み等による位置ずれ等にも起因する。
【０００９】
一方、上記▲２▼のキャリブレーションずれが起こる原因としては、ステレオ撮影装置と外部装置を固定する機械的要素の変形、取り付け治具の変形などが考えられる。例えば、車載カメラにステレオ撮影装置を利用して、この撮影装置をフロントウィンドウとバックミラーの間の取り付け治具を用いて、外部装置である車両に取り付ける場合を考える。この場合、車両の基準位置を車両先端と規定すれば、ステレオ撮影装置の取り付け治具自体の変形、取り付け部材である「ねじ」の弛み等による変形、車両自体の経時的変形、寒冷地等の使用する際の季節的変動に伴う車両や取り付け治具の機械的変形等、各種の機械的変形に伴うキャリブレーションずれを考えることができる。
【００１０】
こうしたキャリブレーションずれの検出或いは補正の従来例を考えると、以下のような技術が提案されている（例えば、特許文献１、非特許文献１及び非特許文献２参照）
上記特許文献１に記載の方式は、ステレオカメラの撮影画像の光学的位置ずれを補正するもので、上記▲２▼の撮影装置と外部装置間の位置姿勢に関わるキャリブレーションに関するキャリブレーションずれを補正する方法が提供されている。より具体的には、２台のカメラのそれぞれの視野に設定した基準マーカの各撮影画像内での初期位置を記憶しており、実際に撮影された画像内での位置ずれから、位置ずれに関わる補正を行うものである。
【００１１】
また、上記非特許文献１に記載の方式は、２台のカメラで撮影された自然特徴点（撮影された画像から任意に選択された特徴点）を利用して、２台のカメラに関わる相対的な位置関係を算出する方法がある。この算出にあたっては、数学的に基本行列を算出するものである。基本的には、カメラ間の距離に関わる推定値は相対的な推定により算出されるものである。またカメラのレンズディストーションは無視できると仮定している。
【００１２】
更に、上記非特許文献２の方式は、一般的なカメラキャリブレーションの方法とステレオカメラへの応用を説明している。具体的には、基準座標系に数多くの既知マーカ（既知特徴点）を配置して、その特徴点の画像内での位置を算出することにより、カメラ（ステレオカメラ）に関する各種パラメータを算出する方法である。従って、この方式により、キャリブレーションパラメータを、全て再算出することが可能である。
【００１３】
【特許文献１】
特開平１１−３２５８９０号公報
【００１４】
【非特許文献１】
徐剛、写真から作る３次元ＣＧ、近代科学社、２００１
【００１５】
【非特許文献２】
Ｊ． Ｗｅｎｇ， ｅｔ ａｌ．， ”Ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ ｗｉｔｈ ｄｉｓｔｏｒｔｉｏｎ ｍｏｄｅｌｓ ａｎｄ ａｃｃｕｒａｃｙ ｅｖａｌｕａｔｉｏｎ， ” ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｖｏｌ． １４， Ｎｏ． １０， Ｏｃｔｏｂｅｒ １９９２， ｐｐ． ９６５−９８０．
【００１６】
【発明が解決しようとする課題】
上記特許文献１の従来例では、撮影装置と外部装置間の位置ずれを検出して、補正する方法を提供するのみであり、撮影装置内部キャリブレーションパラメータに関するキャリブレーションずれの検出や補正には対応できていないという課題を有している。
【００１７】
また、上記非特許文献１の方法で、基本行列を算出してカメラキャリブレーションする方法では、カメラ間の絶対距離としての位置姿勢関係を算出することが不可能であるため、ステレオ撮影装置を、３次元計測装置として使用するには問題がある。
【００１８】
更に、上記非特許文献２の従来例では、カメラキャリブレーションの一般的方法を提供するものであり、元来キャリブレーションずれを目的としたものではない。加えて、キャリブレーションを実行するためには、複数の既知マーカを配置して処理を行わなければならないという課題を有していた。
【００１９】
本発明は、このような課題に鑑みてなされたものであり、その目的とするところは、３次元計測等を行うステレオ画像を撮影する撮影装置のキャリブレーションが、経時変化や衝撃振動などの機械ずれによっても、ステレオ画像を解析することにより、簡易にキャリブレーションずれを定量的に且つ絶対値として補正することが可能なキャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステムを提供することにある。
【００２０】
【課題を解決するための手段】
すなわち請求項１に記載の発明は、ステレオ画像を撮影する撮影装置に係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影装置が撮影したステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを補正するキャリブレーションデータ補正部と、を具備することを特徴とする。
【００２１】
請求項２に記載の発明は、ステレオ画像を撮影する撮影装置に係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影装置が撮影したステレオ画像に対し、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づくレクティフィケーション処理を施すレクティフィケーション処理部と、上記レクティフィケーション処理部によってレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを補正するキャリブレーションデータ補正部と、を具備することを特徴とする。
【００２２】
請求項３に記載の発明は、基準位置を規定するために利用される所定の外部装置と撮影装置との間のキャリブレーションに係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影装置が撮影したステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを補正するキャリブレーションデータ補正部と、を具備することを特徴とする。
【００２３】
請求項４に記載の発明は、基準位置を規定するために利用される所定の外部装置とステレオ画像を撮影する撮影装置との間のキャリブレーションずれを補正するキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影装置が撮影したステレオ画像に対し、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づくレクティフィケーション処理を施すレクティフィケーション処理部と、上記レクティフィケーション処理部が処理したレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを補正するキャリブレーションデータ補正部と、を具備することを特徴とする。
【００２４】
請求項５に記載の発明は、基準位置を規定するために利用される所定の外部装置とステレオ画像を撮影する撮影装置間のキャリブレーションと当該撮影装置本体のキャリブレーションに関わるキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影装置が撮影したステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを補正するキャリブレーションデータ補正部と、を具備することを特徴とする。
【００２５】
請求項６に記載の発明は、基準位置を規定するために利用される所定の外部装置とステレオ画像を撮影する撮影装置間のキャリブレーションと当該撮影装置本体のキャリブレーションに係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影装置が撮影したステレオ画像に対し、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づくレクティフィケーション処理を施すレクティフィケーション処理部と、上記レクティフィケーション処理部によってレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを補正するキャリブレーションデータ補正部と、を具備することを特徴とする。
【００２６】
請求項７に記載の発明は、ステレオ画像を撮影する撮影装置に関わるキャリブレーションのキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影装置が撮影したステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションずれの有無を判定するキャリブレーションずれ判定部と、上記キャリブレーションずれ判定部がずれありと判定した場合には、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを補正するキャリブレーションデータ補正部と、を具備することを特徴とする。
【００２７】
請求項８に記載の発明は、ステレオ画像を撮影する撮影装置のキャリブレーションに係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影装置が撮影したステレオ画像に対し、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づくレクティフィケーション処理を施すレクティフィケーション処理部と、上記レクティフィケーション処理部によってレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出装置が抽出した特徴を表す情報に基づき、キャリブレーションずれの有無を判定するキャリブレーションずれ判定部と、上記キャリブレーションずれ判定部がずれありと判定した場合には、上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを補正するキャリブレーションデータ補正部と、を具備することを特徴とする。
【００２８】
請求項９に記載の発明は、ステレオ画像を撮影する撮影装置に係るキャリブレーションのキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影装置が撮影したステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部が抽出した特徴を表す情報に基づき、キャリブレーションずれの有無判定及びずれの種類を決定するキャリブレーションずれ判定部と、上記キャリブレーションずれ判定部がずれありと判定した場合には、ずれの種類に応じて上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを補正するキャリブレーションデータ補正部と、を具備することを特徴とする。
【００２９】
請求項１０に記載の発明は、ステレオ画像を撮影する撮影装置に係るキャリブレーションのキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影装置が撮影したステレオ画像に対し、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づくレクティフィケーション処理を施すレクティフィケーション処理部と、上記レクティフィケーション処理部によってレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部が抽出した特徴を表す情報に基づき、キャリブレーションずれの有無判定及びずれの種類を決定するキャリブレーションずれ判定部と、上記キャリブレーションずれ判定部がずれありと判定した場合には、ずれの種類に応じて上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを補正するキャリブレーションデータ補正部と、を具備することを特徴とする。
【００３０】
請求項１１に記載の発明は、請求項１乃至１０の何れかに記載のキャリブレーションずれ補正装置に於いて、上記キャリブレーションデータ補正部が判定したキャリブレーションずれ補正結果を呈示するための補正結果呈示部を更に具備することを特徴とする。
【００３１】
請求項１２に記載の発明は、請求項１乃至１０の何れかに記載のキャリブレーションずれ補正装置に於いて、上記撮影装置に係るキャリブレーションと所定の相関を有する情報乃至所定の操作に応じてキャリブレーションずれ補正を行うか否かを判断する状況判断部を更に具備することを特徴とする。
【００３２】
請求項１３に記載の発明は、請求項１乃至１０の何れかに記載のキャリブレーションずれ補正装置に於いて、キャリブレーションデータ保持部は、上記キャリブレーションデータ補正部が補正したキャリブレーションデータを保持するように構成されたことを特徴とする。
【００３３】
請求項１４に記載の発明は、請求項１乃至１０の何れかに記載のキャリブレーションずれ補正装置に於いて、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づき、上記撮影装置により得たステレオ画像に対しディストーション補正処理を施すディストーション補正処理部を更に備えたことを特徴とする。
【００３４】
請求項１５に記載の発明は、請求項１乃至１０の何れかに記載のキャリブレーションずれ補正装置に於いて、上記キャリブレーションデータ補正部が補正したデータの精度に基づいて、上記撮影装置によるステレオ画像の撮影の繰り返しを制御する制御部を更に備えたことを特徴とする。
【００３５】
請求項１６に記載の発明は、請求項１乃至１０の何れかに記載のキャリブレーションずれ補正装置に於いて、上記キャリブレーションデータ補正部が補正処理に使用する特徴の数に応じて、上記撮影装置によるステレオ画像の撮影の繰り返しを制御する制御部を更に備えたことを特徴とする。
【００３６】
請求項１７に記載の発明は、請求項１乃至１０の何れかに記載のキャリブレーションずれ補正装置に於いて、上記特徴抽出部は、上記撮影装置により得たステレオ画像の対応関係にある特徴を複数抽出し、該複数抽出された対応のとれた特徴のうち異常と判定できる特徴は排除して、上記キャリブレーションデータ補正部での補正処理に供するように構成されたことを特徴とする。
【００３７】
請求項１８に記載の発明は、請求項１乃至１０の何れかに記載のキャリブレーションずれ補正装置に於いて、上記特徴抽出部は、上記撮影装置により得たステレオ画像の対応関係にある特徴抽出をする際、上記キャリブレーションデータ保持部が保持するキャリブレーションデータに基づくエピポーラ線の近傍で対応可能な特徴を抽出することを特徴とする。
【００３８】
請求項１９に記載の発明は、請求項１乃至１０の何れかに記載のキャリブレーションずれ補正装置に於いて、上記特徴抽出部は、上記撮影装置により得たステレオ画像の一方の画像内でキャリブレーションずれ検出に有効な特徴を選択する特徴選択部と、選択された特徴に対応する特徴を、他方の画像内から抽出あるいは探索する特徴対応探索部を含んでなることを特徴とする。
【００３９】
請求項２０に記載の発明は、請求項１乃至１０の何れかに記載のキャリブレーションずれ補正装置に於いて、上記キャリブレーションデータ保持部は、相対的な位置関係が既知な複数の特徴のデータを保持するものであり、上記キャリブレーションデータ補正部は、上記特徴抽出部が上記キャリブレーションデータ保持部に保持された特徴に係るデータを用いる場合には、そのデータの表す位置関係の情報に依拠してキャリブレーションデータ補正を行うことを特徴とする。
【００４０】
請求項２１に記載の発明は、請求項１乃至１０の何れかに記載のキャリブレーションずれ補正装置に於いて、上記撮影装置としての、複数の視点による視差を生じる複数の像を得る光学系と単一のカメラ部とを含んでなるステレオアダプタ方式の撮影装置を対象としてキャリブレーションずれ補正を行うことを特徴とする。
【００４１】
請求項２２に記載の発明は、請求項１乃至１０の何れかに記載のキャリブレーションずれ補正装置に於いて、上記撮影装置としての、複数のカメラを含んで構成される撮影システムを対象としてキャリブレーションずれ補正を行うことを特徴とする。
【００４２】
また、請求項２３に記載の発明は、請求項１乃至１０の何れかに記載のキャリブレーションずれ補正装置に於いて、車載型の上記撮影装置に係るキャリブレーションずれを補正するように構成されたことを特徴とする。
【００４３】
請求項２４に記載の発明は、請求項１２に記載のキャリブレーションずれ補正装置に於いて、上記状況判断部は、外部センサの出力に基づいて状況判断を行うことを特徴とする。
【００４４】
請求項２５に記載の発明は、請求項３乃至６の何れかに記載のキャリブレーションずれ補正装置に於いて、上記外部装置として上記撮影装置が装備された車両の特定の形状部分を適用することを特徴とする。
【００４５】
請求項２６に記載の発明は、請求項３乃至６の何れかに記載のキャリブレーションずれ補正装置に於いて、上記外部装置として、車両に装備された上記撮影装置により撮影される車外の既知形状物を適用することを特徴とする。
【００４６】
請求項２７に記載の発明は、請求項１１に記載のキャリブレーションずれ補正装置に於いて、上記補正結果呈示部は、キャリブレーションずれ補正中であることを表すインジケータとして機能し得るように構成されることを特徴とする。
【００４７】
請求項２８に記載の発明は、請求項１１に記載のキャリブレーションずれ補正装置に於いて、上記補正結果呈示部は、キャリブレーションずれ補正により得られたパラメータと、予め記憶されたキャリブレーションパラメータとの差異を表示し得るように構成されたことを特徴とする。
【００４８】
請求項２９に記載の発明は、請求項１１に記載のキャリブレーションずれ補正装置に於いて、上記補正結果呈示部は、キャリブレーションずれ補正にかかわる信頼度を表すステータスを表示し得るように構成されたことを特徴とする。
【００４９】
請求項３０に記載の発明は、請求項１１に記載のキャリブレーションずれ補正装置に於いて、上記補正結果呈示部は、キャリブレーションずれ補正処理がエラーとなった場合に、該エラーに基づくエラーコードを呈示し得るように構成されたことを特徴とする。
【００５０】
請求項３１に記載の発明は、相互に離隔した複数の視点による視差を持った複数の映像を表す映像信号出力を得るようになされた撮像部と、上記撮影部のキャリブレーションずれを補正するキャリブレーションずれ補正部と、上記キャリブレーションずれ補正部の補正出力データを勘案して上記撮像部で得た映像信号出力に依拠して被写体の距離等のデータを算出する演算部と、上記キャリブレーションずれ補正部、演算部、並びに、上記撮像部の出力に関連した所要の表示を行うための表示部と、を含んで構成されたステレオカメラシステムであって、上記キャリブレーションずれ補正部は、上記撮像部に係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影部により得た映像信号出力としてのステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部で抽出された特徴を表す情報に基づき上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを補正するキャリブレーションデータ補正部と、を含んで構成されたものであり、上記表示部は、上記キャリブレーションずれ補正部の補正結果を自己の表示面に表示可能に構成されたものであることを特徴とする。
【００５１】
請求項３２に記載の発明は、相互に離隔した複数の視点による視差を持った複数の映像を表わす映像信号出力を得るようになされた撮像部と、上記撮影部のキャリブレーションずれを補正するキャリブレーションずれ補正部と、上記キャリブレーションずれ補正部の補正出力データを勘案して上記撮像部で得た映像信号出力に依拠して被写体の距離等のデータを算出する演算部と、上記キャリブレーションずれ補正部、演算部、並びに、上記撮像部の出力に関連した所要の表示を行うための表示部と、を含んで構成されたステレオカメラシステムであって、上記キャリブレーションずれ補正部は、上記撮像部に係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影部により得た映像信号出力としてのステレオ画像に対し上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づくレクティフィケーション処理を施すレクティフィケーション処理部と、上記レクティフィケーション処理部によってレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部で抽出された特徴を表す情報に基づき上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを補正するキャリブレーションずれ補正部と、を含んで構成されたものであり、上記表示部は、上記キャリブレーションずれ補正部の補正結果を自己の表示面に表示可能に構成されたものであることを特徴とする。
【００５２】
請求項３３に記載の発明は、相互に離隔した複数の視点による視差を持った複数の映像を表す映像信号出力を得るようになされた撮像部と、上記撮影部と所定の基準位置を規定する外部装置との間のキャリブレーションずれを補正するキャリブレーションずれ補正部と、上記キャリブレーションずれ補正部の補正出力データを勘案して上記撮像部で得た映像信号出力に依拠して被写体の距離等のデータを算出する演算部と、上記キャリブレーションずれ補正部、演算部、並びに、上記撮像部の出力に関連した所要の表示を行うための表示部と、を含んで構成されたステレオカメラシステムであって、上記キャリブレーションずれ補正部は、上記基準位置を規定するために利用される所定の外部装置と上記撮像部間のキャリブレーションに係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影部により得た映像信号出力としてのステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部で抽出された特徴を表わす情報に基づき上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを補正するキャリブレーションずれ補正部と、を含んで構成されたものであり、上記表示部は、上記キャリブレーションずれ補正部の補正結果を自己の表示面に表示可能に構成されたものであることを特徴とする。
【００５３】
請求項３４に記載の発明は、相互に離隔した複数の視点による視差を持った複数の映像を表す映像信号出力を得るようになされた撮像部と、上記撮影部と所定の基準位置を規定する外部装置との間のキャリブレーションずれを補正するキャリブレーションずれ補正部と、上記キャリブレーションずれ補正部の補正出力データを勘案して上記撮像部で得た映像信号出力に依拠して被写体の距離等のデータを算出する演算部と、上記キャリブレーションずれ補正部、演算部、並びに、上記撮像部の出力に関連した所要の表示を行うための表示部と、を含んで構成されたステレオカメラシステムであって、上記キャリブレーションずれ補正部は、上記基準位置を規定するために利用される所定の外部装置と上記撮像部間のキャリブレーションに係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影部により得た映像信号出力としてのステレオ画像に対し上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づくレクティフィケーション処理を施すレクティフィケーション処理部と、上記レクティフィケーション処理部によってレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部で抽出された特徴を表す情報に基づき上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを補正するキャリブレーションずれ補正部と、を含んで構成されたものであり、上記表示部は、上記キャリブレーションずれ補正部の補正結果を自己の表示面に表示可能に構成されたものであることを特徴とする。
【００５４】
請求項３５に記載の発明は、請求項３１乃至３４の何れかに記載のステレオカメラシステムに於いて、上記表示部は、上記キャリブレーションデータ補正部との協働によりキャリブレーションずれ補正に係る処理動作中である旨を表示可能に構成されたものであることを特徴とする。
【００５５】
請求項３６に記載の発明は、請求項３１乃至３４の何れかに記載のステレオカメラシステムに於いて、上記表示部は、上記キャリブレーションデータ補正部との協働によりキャリブレーションずれ補正に係る処理の結果として得られたパラメータと上記キャリブレーションデータ保持部に予め保持されていたパラメータとの差異を表わす情報を表示可能に構成されたものであることを特徴とする。
【００５６】
請求項３７に記載の発明は、請求項３１乃至３４の何れかに記載のステレオカメラシステムに於いて、上記表示部は、上記キャリブレーションデータ補正部との協働により正規のキャリブレーションずれ補正が行われ得なかったときにはその旨を表わすエラーコードを表示可能に構成されたものであることを特徴とする。
【００５７】
そして、請求項３８に記載の発明は、請求項３１乃至３４の何れかに記載のステレオカメラシステムに於いて、上記キャリブレーションずれ補正部は、その特徴抽出部が、上記撮像装置により得たステレオ画像に関する信頼度を弁別するように構成され、該特徴抽出部が上記撮像装置により得たステレオ画像に関する信頼度が不十分であることを弁別したときには、該撮像装置による撮影処理を繰返すように制御する制御部を更に備えたたことを特徴とする。
【００５８】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態について説明する。
【００５９】
本発明を構成する各部は、当該各部の機能を実現する各個の装置としても観念できるものであるため、以下、実施の形態の説明に於いてはこれらを装置と称呼する。尚、キャリブレーションデータ保持部はキャリブレーションに係るデータを記憶、保持するキャリブレーションデータ記憶装置として実現される。
【００６０】
（第１の実施の形態）
初めに、第１の実施の形態として、撮影装置自体の内部キャリブレーションについて説明する。
【００６１】
図１は、本発明に於けるキャリブレーションずれ補正装置の第１の基本構成例を示したブロック図である。具体的には、上述したキャリブレーションずれ補正の課題である「ステレオ画像を撮影する撮影装置の内部キャリブレーションパラメータのずれ補正」を解決する装置である。
【００６２】
図１に於いて、このキャリブレーションずれ補正装置１は、各部の装置に制御信号を送ったり全体のシーケンスを司る制御装置２と、状況判断装置３と、特徴抽出装置５と、キャリブレーションデータ補正装置６と、補正結果呈示装置７と、キャリブレーションデータ記憶装置８とを有して構成されている。
【００６３】
このキャリブレーションずれ補正装置１は、ステレオ画像を撮影し、キャリブレーションずれを補正すべき撮影装置１１を、ここでキャリブレーションずれ補正するための装置である。
【００６４】
上記状況判断装置３は、キャリブレーションずれ補正を行うかどうかを判断するためのものである。上記キャリブレーションデータ記憶装置８は、予め撮影装置１１のキャリブレーションデータを記憶しているものである。
【００６５】
また、上記特徴抽出装置５は、上記撮影装置１１で撮影されたステレオ画像からステレオ画像内で対応する特徴を抽出するためのものである。キャリブレーションデータ補正装置６は、特徴抽出装置５で抽出された特徴とキャリブレーションデータを利用して、キャリブレーションずれを補正するものである。補正結果呈示装置７は、この補正結果を報告するようになっている。
【００６６】
補正結果呈示装置７は、本発明の構成要素たる補正結果呈示部をなすものであるが、この補正結果呈示部は後述する表示装置を表示器として自己の構成要素として保有する形態を採り得るが、該補正結果呈示部は、より一般的に、このような表示器までも自己の部分として保有する態様のものに限られず、キャリブレーションずれ補正装置６による補正結果を表す信号に基づいて、補正結果を呈示するための出力信号乃至データを生成する限りの態様を採る場合もあり得る。
【００６７】
図２は、本発明に於けるキャリブレーションずれ補正装置の第２の基本構成例を示したブロック図である。
【００６８】
図２に於いて、このキャリブレーションずれ補正装置２０は、制御装置２と、状況判断装置３と、特徴抽出装置５と、キャリブレーションデータ補正装置６と、補正結果呈示装置７と、キャリブレーションデータ記憶装置８と、レクティフィケーション処理装置４とを有して構成されている。
【００６９】
上記レクティフィケーション処理装置４は、撮影装置１１で撮影されたステレオ画像をレクティフィケーション処理するためのものである。ここでレクティフィケーション処理されたステレオ画像から、ステレオ画像内で対応する特徴が特徴抽出装置５で抽出される。その他の構成は、上述した図１のキャリブレーションずれ補正装置１と同様の構成であるので説明は省略する。
【００７０】
図１に示される第１の基本構成と、図２に示される第２の基本構成との差異は、ステレオ画像をレクティフィケーション処理するレクティフィケーション処理装置４を含む構成であるか否かである。
【００７１】
尚、キャリブレーションずれ補正装置１及び２０内の各装置は、ハードウェアや回路で構成されたもよいし、コンピュータやデータ処理装置のソフトウェアで処理されてもよい。
【００７２】
ここで、第１の実施の形態の具体的説明をする前に、本発明で重要となるステレオ撮影に関する技術的内容について、その概要を説明する。
【００７３】
［数学的準備とカメラモデル］
先ず、ステレオ画像を利用して撮像装置で画像を撮影すると、その画像は、撮像装置内の撮像素子（例えば、ＣＣＤやＣＭＯＳ等の半導体素子）で画像として結像されると共に画像信号となる。この画像信号は、アナログ或いはデジタル信号であるが、キャリブレーションずれ補正装置内では、デジタル画像データとなる。デジタルデータは２次元配列として表現できるが、もちろん六方細密充填のようなハニカム構造の２次元配列でも良いことは当然である。
【００７４】
撮影装置がアナログ画像を送信する場合には、キャリブレーションずれ補正装置内或いはその装置外にフレームメモリを用意して、その画像をデジタル画像に変換する。キャリブレーションずれ補正装置内で規定される画像について、その画素は、正方或いは長方格子状に定義できると仮定する。
【００７５】
いま、画像の座標を（ｕ，ｖ）等の２次元座標で表現することとする。
【００７６】
先ず、図３に示されるように、ステレオ画像を撮影する撮影装置１１は、左右の２台のカメラ１２ａ、１２ｂとから構成されているとする。そして、左画像を撮影するカメラ１２ａを規定する座標系を左カメラ座標系Ｌ、右画像を撮影する座標系を右カメラ座標系Ｒとする。そして、ステレオ画像として、左カメラ内の画像座標を（ｕＬ ，ｖＬ ）、右カメラ内の画像座標値を（ｕＲ ，ｖＲ ）等で表現するとする。尚、１３ａ、１３ｂは、それぞれ左カメラ画像面、右カメラ画像面とする。
【００７７】
また、撮影装置１１の全体が規定する基準座標系を定義することも可能である。この基準座標系を、例えばＷとする。もちろん、基準座標系として、一方のカメラ座標系ＬまたはＲを採用しても良いことは明白である。
【００７８】
いままでは、撮影装置として２台のカメラによるステレオ撮影により、ステレオ画像を生成するものを考えてきたが、これ以外にステレオ画像を生成する方法もある。例えば、１台のカメラの前にステレオアダプタを装着して、同時に左右画像を１台のＣＣＤ或いはＣＭＯＳなどの撮像素子の中に撮影する方法である（例えば、本件出願人による特開平８−１７１１５１号公報等参照）。
【００７９】
このようなステレオアダプタの場合には、図４に示されるように、左ミラー群１４ａ、右ミラー群１４ｂを有するステレオアダプタで撮影される画像は、あたかも２台の撮像装置で２台のフレームメモリが存在するかの如く、通常のステレオカメラに展開することができる。
【００８０】
本発明に於けるステレオ撮影は、このように２台或いは２台以上の複数のカメラで撮影されるステレオ画像でもよい。或いは、ステレオアダプタを利用して撮影されるステレオ画像でもよい。
【００８１】
次に、撮像装置とフレームメモリの光学的特性をピンホールカメラでモデル化することを考える。
【００８２】
すなわち、左画像に関連するピンホールカメラモデルの座標系を左カメラ座標系Ｌとし、右画像に関連するピンホールカメラモデルの座標系を右カメラ座標系Ｒとする。また左カメラ座標系Ｌ内の点を（ｘＬ，ｙＬ，ｚＬ）、その画像対応点を（ｕＬ，ｖＬ）、右カメラ座標系Ｒ内の点を（ｘＲ，ｙＲ，ｚＲ）、その画像対応点を（ｕＲ，ｖＲ）とすると、図３に示されるカメラ位置ＣＬ，ＣＲを考慮しながら、下記式の如く求める。
【００８３】
【数１】
【００８４】
基準座標系で定義される点Ｐ（ｘ，ｙ，ｚ）の左画像内での位置を（ｕＬ，ｖＬ）、右画像内での位置を（ｕＲ，ｖＲ）とし、左画像で想定される撮像装置とフレームメモリに対応する左カメラ１２ａの基準座標系に於ける位置ＣＬ（左カメラ座標系の原点）と、右画像で想定される撮像装置とフレームメモリに対応する右カメラ１２ｂの基準標系に於ける位置ＣＲ （右カメラ座標系の原点）を考えることができる。このとき、基準座標系Ｗの点Ｐ（ｘ，ｙ，ｚ）から左（ｕＬ，ｖＬ）へ射影される変換式と、同一の点から右（ｕＲ，ｖＲ）へ射影される変換式は、以下のように表すことができる。
【００８５】
【数２】
【００８６】
［ディストーション補正］
一方、撮像装置の光学レンズ等のレンズディストーションが３次元計測に要求精度に対して無視できない場合には、レンズディストーションを含めた光学系を考える必要がある。この場合には、上記式（３）、（４）は、以下に示されるような式（６）、（７）で表現することができる。この式では、レンズディストーションを表現するのにラディアルディストーションとタンジェンシャルディストーションを表したものであるが、もちろんこれ以外のディストーション表現であってもよい。
【００８７】
【数３】
【００８８】
また、ディストーション除去或いはディストーション補正のステップとは、例えば、以下のようにして画像を生成することを意味する。
【００８９】
（左画像のディストーション補正）
【数４】
【００９０】
（右画像のディストーション補正）
【数５】
【００９１】
［内部キャリブレーションパラメータとキャリブレーションずれ問題の定義］
２台のカメラから構成されるステレオ画像を撮影する撮影装置の、左カメラの座標系をＬ、右カメラの座標系をＲとして、これらのカメラの位置関係を考える。座標系Ｌと座標系Ｒの間の座標値の関係は、座標変換（回転行列と並進ベクトル）を利用して、下記のように表現することができる。
【００９２】
【数６】
【００９３】
【数７】
【００９４】
【数８】
【００９５】
【数９】
【００９６】
［外部キャリブレーションパラメータとキャリブレーションずれ問題の定義］
先に説明したように、撮影装置と外部装置間のキャリブレーションも考える必要がある。
【００９７】
この場合には、例えば左カメラ座標系Ｌを撮影装置の基準座標系としてとり、左カメラ座標系と外部装置間の間の位置姿勢関係を規定することがキャリブレーションに相当する。例えば、外部装置の座標系をＯとすると、外部装置座標系Ｏから左カメラ座標系Ｌへの座標変換パラメータを式（１７）のようにすると、式（１８）で表される６個のパラメータにより、その位置姿勢関係を記述することができる。
【００９８】
【数１０】
【００９９】
［内部及び外部キャリブレーションパラメータとキャリブレーションずれ問題の定義］
【数１１】
【０１００】
［ステレオ画像に於けるエピポーラ線拘束］
ステレオ画像を用いて画像計測を行う際には、後にも述べるとおり、左右画像内で対応点探索を行うことが重要になる。この対応点探索に関して重要なのがいわゆるエピポーラ線拘束という概念である。以下、図５（ａ）、（ｂ）を参照して説明する。
【０１０１】
【数１２】
【０１０２】
この直線のことをエピポーラ線と称する。
【０１０３】
ここで重要なのは、ディストーションが画像内で顕著なときには、ディストーション補正或いは除去を、予め行っておかなければならないということである。また、ディストーション補正された正規化画像に於いても同様に、エピポーラ線拘束が成立する。従って、以下では、先ずディストーション補正され、且つ正規化された画像面内で、本発明で考えるエピポーラ線の定義を行う。
【０１０４】
【数１３】
【０１０５】
これが正規化された画像面内でのエピポーラ線（ｅｐｉｐｏｌａｒ ｌｉｎｅ）を表している。
【０１０６】
今までは、正規化された画像面で考えてきたが、ディストーション補正された画像面でも同様にエピポーラ線の方程式を導くことができる。
【０１０７】
【数１４】
【０１０８】
［レクティフィケーション処理］
これまでエピポーラ線拘束を左右画像内の特徴点として考えてきたが、それ以外の方法として、レクティフィケーション（ｒｅｃｔｉｆｉｃａｔｉｏｎ）処理というものが、ステレオ画像処理ではよく用いられる。
【０１０９】
以下に、本発明に於けるレクティフィケーションについて説明する。
【０１１０】
レクティフィケーション処理を行うと、左右の画像内で対応する特徴点どうしが同一水平直線上になるという拘束を導くことができる。言い換えれば、レクティフィケーション処理後の画像では、左画像の同一直線上の特徴点群が、右画像上で同一直線をエピポーラ線として定義できることになる。
【０１１１】
図６は、この様子を表したものである。図６（ａ）はレクティフィケーション前の画像を表しており、（ｂ）はレクティフィケーション後の画像を表している。
【０１１２】
このようなレクティフィケーションを実現するために、図６（ａ）、（ｂ）に示されるように、左右カメラ原画像を、互いに水平になるようにそれぞれ変換する。この際、左カメラ座標系Ｌと右カメラ座標系Ｒの原点ＣＬ ，ＣＲ は移動せずに、カメラ座標系の軸のみを変更することにより、新しい左右の画像面を生成するわけである。
【０１１３】
左カメラ座標系Ｌと右カメラ座標系Ｒを、レクティフィケーションした後の座標系をそれぞれＬＲｅｃｔ ，ＲＲｅｃｔ とする。上述したとおり、ＬとＬＲｅｃｔ 、ＲとＲＲｅｃｔ の原点は一致する。
【０１１４】
これから２個の座標系の座標系間の座標変換を考えるが、その前に基準座標系を左カメラ座標系Ｌととることにする。（基準座標系を他にとっても同様である。）
このとき、レクティフィケーション後の左カメラ座標系ＬＲｅｃｔ と右カメラ座標系ＲＲｅｃｔ を以下のように定義する。
【０１１５】
先ず、左カメラ座標系Ｌの原点から右カメラ座標系Ｒの原点へのベクトルを考える。これは、もちろん基準座標系を基準として測ったものである。
【０１１６】
【数１５】
【０１１７】
このように設定すると、図６或いは図７で示されるように、正規化された画像空間では、左右の対応点が一直線上（エピポーラ線上）に配置されるようになることは自明である。
【０１１８】
【数１６】
【０１１９】
【数１７】
【０１２０】
【数１８】
【０１２１】
右カメラ系でも同様である。いままでは、ディストーション補正を含まないカメラ系で説明してきたが、ディストーション補正を含む実際の場合には、以下のような方法によればよい。
【０１２２】
【数１９】
【０１２３】
［ディストーション除去を含むレクティフィケーションステップ （ＲｅｃＬ及びＲｅｃＲステップ）］
【数２０】
【０１２４】
これまでレクティフィケーション処理の方法として、上記のような説明をしたが、レクティフィケーションの方法はこれに限られるものではない。例えば、Ａｎｄｒｅａ Ｆｕｓｉｅｌｌｏ， ｅｔ ａｌ， “Ａ ｃｏｍｐａｃｔ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｒｅｃｔｉｆｉｃａｔｉｏｎ ｏｆ ｓｔｅｒｅｏ ｐａｉｒｓ，” Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ， ２０００， １２： １６−２２に示されている方法でもよい。
【０１２５】
以上、実施の形態を説明するのに必要となる用語の説明と処理の方法について述べたが、以下に、図２に示されるキャリブレーションずれ補正装置に関して具体的に説明する。
【０１２６】
図８は、本第１の実施の形態に於けるキャリブレーションずれ補正装置の詳細な動作を説明するフローチャートである。尚、本実施の形態に於いては、制御装置２の制御によって動作される。
【０１２７】
また、本実施の形態では、ステレオ撮影装置の内部キャリブレーションパラメータを補正する課題、すなわち、上述した課題１−１または課題１−２を解決する具体的な動作を説明する。
【０１２８】
更に、ここでは図２の構成のキャリブレーションずれ補正装置の方式、すなわちレクティフィケーション処理を含めた処理に関する説明を行うが、図１の構成の方式、すなわちレクティフィケーション処理を行わないキャリブレーションずれ補正装置の場合でも、処理の方法は同様である。
【０１２９】
尚、本実施の形態では、キャリブレーションずれ補正処理に必要な特徴として、以下の２種類の特徴が採用される。
【０１３０】
ａ）既知特徴
ある座標系でその相対的位置が特定されている特徴である。例えば、既知特徴ｉとｊがあるとすれば、それらの特徴間の距離ｄｉｊは、予め既知である等の幾何学的制約が明確であるものをいう。
【０１３１】
その例としては、図９（ａ）に示されるように、車両の場合には、ナンバプレート２２の４つのコーナ等が、その特徴の例である（図９内の既知特徴群Ａ）。また、図９（ｂ）に示されるように、車両のボンネット２３上で形状が変化している点等が別の例である（図９内の既知特徴群Ｂ）。
【０１３２】
この場合には、ボンネット２３上に、そうした特徴ｉ，ｊ間の距離は、車両のＣＡＤモデル等で予め設計値が与えられているものである。また、本件出願人による特開２０００−２２７３０９号公報に記載されているような、複数円形マーカ等でもよい。
【０１３３】
上述の既知特徴を得るための外部装置としては、種々のものを適用可能であるが、撮像部が装備された車両の特定の形状部を適用する例としては、既存のナンバプレートやボンネット上で形状が変化している点等の他、例えば、フロントガラスの一部に相対的な位置が既知なマーカを既知特徴として装着し、その３次元位置を予め計測しておく。そして、それらの全部或いは一部がステレオ撮影装置で撮影できるようにしておく例でもよい。
【０１３４】
図９（ｃ）内に示される既知特徴群Ｃは、フロントガラスの一部に既知特徴である黒丸の既知マーカを配置した様子の例を表したものである。この図９（ｃ）に於いて、既知マーカ群は、左右カメラ内でその全部あるいはその一部が撮影できるように配置されているわけである。また、これらのマーカ群は、図９（ｄ）及び（ｅ）に示されるように、ステレオ左右画像の画像周辺部に写り込むように配置されており、重要な映像となる中心部には写り込まないように設計されている。
【０１３５】
ｂ）自然特徴
自然特徴は、既知特徴とは異なり、ステレオ撮影装置で撮影された画像内から抽出される特徴である。一般的には、Ｎａｔｕｒａｌ Ｆｅａｔｕｒｅｓ （Ｎａｔｕｒａｌ Ｍａｒｋｅｒｓ）等ということで表現されることもある。こうした自然特徴の場合には、その自然特徴間の幾何学的距離等の性質が、予め既知でないものを含むわけである。
【０１３６】
以下、本発明では、これら２種類の特徴を利用しながら、キャリブレーションずれ補正を行う方法について説明する。
【０１３７】
更に、キャリブレーションずれ補正の問題と、一般的なキャリブレーションパラメータ推定問題との差異について説明する。一般的なキャリブレーションパラメータ推定問題では、キャリブレーションに関するパラメータの初期推定値が既知でない場合と考えられ、全てのパラメータを算出する必要があるため、多くの計算量を必要とする場合が多い。しかしながら、キャリブレーションずれ補正の問題では、初期推定値が予め与えられており、その初期推定値からのずれを、少ない計算量、或いは少ない特徴数で補正することに主眼が置かれるわけである。
【０１３８】
図８のフローチャートに於いて、先ず、ステップＳ１にて、状況判断装置３によって、キャリブレーションずれを現時点で補正すべきか否かが判断される。判断の方法としては、以下のようなものがある。
【０１３９】
すなわち、キャリブレーションデータ記憶装置に記憶されたキャリブレーションパラメータが過去に設定された時刻や状態等を判断する。例えば、キャリブレーションずれ補正を定期的に行う場合には、その過去の時刻と現在時刻との差をとり、その差がある閾値より大きければ、キャリブレーションずれを補正すべきか判断する。
【０１４０】
また、その他、自動車等の装着された撮影装置の場合等には、車に装着された走行距離メータ（Ｏｄｏｍｅｔｅｒ）等の値から判断してもよい。
【０１４１】
更に、現在の天候や時間がキャリブレーションずれを補正するのに適しているかを判断するなどということも考えられる。例えば、自動車の車外を監視するための撮影装置の場合には、夜や雨等の悪天候の場合には、キャリブレーションずれ補正を避ける等の判断をする。
【０１４２】
以上のような状況をふまえて、キャリブレーションずれ補正が必要と判断された場合には、その旨が制御装置２に告知される。制御装置２がその告知を受けた場合には、ステップＳ２に移行する。一方、キャリブレーションずれ補正が不必要、或いは不可ならば、本ルーチンが終了する。
【０１４３】
ステップＳ２では、撮影装置１１によりステレオ画像が撮影される。この撮影装置１１で撮影される画像は、上述したように、撮影装置１１が撮影する画像はアナログ画像でもデジタル画像でもかまわない。アナログ画像の際には、その画像がデジタル画像に変換される。
【０１４４】
この撮影装置１１で撮影された画像は、左画像と右画像としてキャリブレーションずれ補正装置２０に送出される。
【０１４５】
図１０は左右原画像を表したものであり、（ａ）は左カメラにより撮影された左原画像であり、（ｂ）は右カメラにより撮影された右原画像である。
【０１４６】
次に、ステップＳ３では、レクティフィケーション処理装置１に於いて、過去に記憶されたキャリブレーションデータがキャリブレーションデータ記憶装置８から受け取られて、レクティフィケーション処理が施される。
【０１４７】
【数２１】
【０１４８】
レクティフィケーション処理に際して、撮影装置１１を構成する左右のカメラのレンズディストーションが顕著である場合には、上述したＲｅｃＬとＲｅｃＲのステップに従って、レンズディストーション補正のアルゴリズムを含めて処理が行われる。尚、レンズディストーションが無視できる際には、ＲｅｃＬとＲｅｃＲの中のディストーション補正の部分を除いて処理が行われるようにすればよい。
【０１４９】
このようにレクティフィケーション処理された画像は、次の特徴抽出装置５へ送出される。
【０１５０】
図１１はレクティフィケーションされた左右の画像を表したもので、（ａ）は左画像、（ｂ）は右画像である。
【０１５１】
次に、ステップＳ４では、上記ステップＳ３でレクティフィケーションされたステレオ画像について、キャリブレーションずれ補正に必要となる特徴が抽出される。この処理は、特徴抽出装置５で行われる。
【０１５２】
特徴抽出装置５は、例えば、図１２に示されるように、特徴選択部５ａと特徴対応探索部５ｂとから構成されている。特徴選択部５ａでは、レクティフィケーションされたステレオ画像から、キャリブレーションずれを補正するのに有効となりそうな画像特徴が、一方の画像から抽出及び選択される。そして、この特徴選択部５ａで選択された特徴に対応する特徴が、上記特徴対応探索部５ｂにて、他方の画像内で探索されて最適な特徴が抽出され、これらの特徴対の集合がデータとして生成される。
【０１５３】
ここで、上記特徴抽出装置５の特徴選択部５ａ及び特徴対応探索部５ｂの詳細を説明する。
【０１５４】
先ず、特徴選択部５ａでは、キャリブレーションずれ補正に必要となる既知特徴が抽出される。特徴選択部５ａでは、レクティフィケーションされたステレオ画像から、キャリブレーションずれを検出するのに必要となる既知特徴が、一方の画像（例えば左画像）から抽出され、その対応する特徴が、右画像から抽出される。
【０１５５】
【数２２】
【０１５６】
次に、同様に自然特徴が抽出される。すなわち、レクティフィケーションされたステレオ画像について、キャリブレーションずれ補正に必要となる自然特徴が抽出される。こうして得られた特徴対のデータは、左右画像レクティフィケーション後の画像座標値として、登録される。
【０１５７】
【数２３】
【０１５８】
ここで、特徴選択部５ａに於ける抽出方法について説明する。
【０１５９】
先ず、既知特徴の抽出方法について説明する。
【０１６０】
既知特徴の抽出方法は、いわゆる画像処理の物体認識問題と等価であり、その手法は各種文献で紹介されている。本発明に於ける既知特徴の場合には、予め形状や幾何学的性質がわかっている特徴を画像内から抽出するものである。その方法としては、例えば、Ｗ． Ｅ． Ｌ． Ｇｒｉｍｓｏｎ， Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ ｂｙ Ｃｏｍｐｕｔｅｒ， ＭＩＴ Ｐｒｅｓｓ， １９９０や、Ａ． Ｋｏｓａｋａ ａｎｄ Ａ． Ｃ． Ｋａｋ， “Ｓｔｅｒｅｏ ｖｉｓｉｏｎ ｆｏｒ ｉｎｄｕｓｔｒｉａｌ ａｐｐｌｉｃａｔｉｏｎｓ，” Ｈａｎｄｂｏｏｋ ｏｆ Ｉｎｄｕｓｔｒｉａｌ Ｒｏｂｏｔｉｃｓ， Ｓｅｃｏｎｄ Ｅｄｉｔｉｏｎ， Ｅｄｉｔｅｄ ｂｙ Ｓ． Ｙ． Ｎｏｆ， Ｊｏｈｎ Ｗｉｌｅｙ ＆ Ｓｏｎｓ， Ｉｎｃ．， １９９９， ｐｐ． ２６９−２９４等にも詳細が記載されている。
【０１６１】
例えば、図９に示されるような、車両に装着されたステレオ撮影装置で、車内外に存在する対象物を特徴とする場合を考える。このような場合には、既知特徴として、前方にある車両のナンバプレート２２の４つのコーナや、自車両のボンネット２３の形状内の特徴や、フロントガラス上に装着されたマーカ等を抽出することになる。
【０１６２】
このような既知特徴を抽出する具体的な方法の一実現手段としては、例えば、Ｒａｈａｒｄｊａ ａｎｄ Ｋｏｓａｋａ のＳｐｅｄｇｅ−ａｎｄ−Ｍｅｄｇｅ法（文献：Ｋ． Ｒａｈａｒｄｊａ ａｎｄ Ａ． Ｋｏｓａｋａ， “Ｖｉｓｉｏｎ−ｂａｓｅｄ ｂｉｎ−ｐｉｃｋｉｎｇ： Ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ ｌｏｃａｌｉｚａｔｉｏｎ ｏｆ ｍｕｌｔｉｐｌｅ ｃｏｍｐｌｅｘ ｏｂｊｅｃｔｓ ｕｓｉｎｇ ｓｉｍｐｌｅ ｖｉｓｕａｌ ｃｕｅｓ，” Ｐｒｏｃｅｅｄｉｎｇ ｏｆ １９９６ ＩＥＥＥ／ＲＳＪ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｓ ａｎｄ Ｓｙｓｔｅｍｓ， Ｏｓａｋａ， Ｊａｐａｎ， Ｎｏｖｅｍｂｅｒ， １９９６．）により、画像を小領域に分割して、その中から関心領域と思われる領域を選択し、関心領域と予め登録された既知特徴間のマッチングを行うことで、正しい既知特徴を抽出する方法がある。
【０１６３】
また、Ｇｒｉｍｓｏｎの文献（Ｗ． Ｅ． Ｌ． Ｇｒｉｍｓｏｎ， Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ ｂｙ Ｃｏｍｐｕｔｅｒ， ＭＩＴ Ｐｒｅｓｓ， １９９０）や、Ｋｏｓａｋａ ａｎｄ Ｋａｋの文献（Ａ． Ｋｏｓａｋａ ａｎｄ Ａ． Ｃ． Ｋａｋ， “Ｓｔｅｒｅｏ ｖｉｓｉｏｎ ｆｏｒ ｉｎｄｕｓｔｒｉａｌ ａｐｐｌｉｃａｔｉｏｎｓ，” Ｈａｎｄｂｏｏｋ ｏｆ Ｉｎｄｕｓｔｒｉａｌ Ｒｏｂｏｔｉｃｓ， Ｓｅｃｏｎｄ Ｅｄｉｔｉｏｎ， Ｅｄｉｔｅｄ ｂｙ Ｓ． Ｙ． Ｎｏｆ， Ｊｏｈｎ Ｗｉｌｅｙ ＆ Ｓｏｎｓ， Ｉｎｃ．， １９９９， ｐｐ． ２６９−２９４）に記載されているように、エッジ成分を抽出した後、そのエッジの形状や曲率などを計算しながら、既知特徴を抽出する方法等がある。本発明では、ここで説明した如何なる方法でもよい。
【０１６４】
図１３は、この抽出結果の一例を表した図である。図１３に於いては、既知特徴として、特徴点から構成され、それぞれの３次元位置関係が既知である既知特徴点群Ａ１と既知特徴点群Ａ２とが抽出され、且つ選択された例である。
【０１６５】
次に、自然特徴の抽出方法について説明する。
【０１６６】
先ず、特徴選択部５ａでは、一方の画像、例えば左画像の中に於いて、キャリブレーションずれ補正に有効となりそうな特徴が選択される。例えば、特徴として、特徴点を候補にする際には、先ずレクティフィケーションされた左画像が、図１４に示されるように、Ｍ×Ｎ個の正方形から成る小ブロックに分割され、その各ブロック内の画像から多くとも１個のコーナポイント等の特徴点が抽出される。
【０１６７】
この方法としては、例えば、参考文献： Ｒ． Ｈａｒａｌｉｃｋ ａｎｄ Ｌ． Ｓｈａｐｉｒｏ， Ｃｏｍｐｕｔｅｒ ａｎｄ Ｒｏｂｏｔ Ｖｉｓｉｏｎ， Ｖｏｌｕｍｅ ＩＩ， ｐｐ． ３３２ ＿ ３３８， Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ， １９９３にあるような Ｉｎｔｅｒｅｓｔ ＯｐｅｒａｔｏｒやＣｏｒｎｅｒ Ｐｏｉｎｔ Ｅｘｔｒａｃｔｉｏｎ法等を利用すればよい。または、各ブロック内でエッジ成分が抽出されて、その強度がある閾値以上のエッジ点をもって特徴点とされてもよい。
【０１６８】
ここで重要なのは、あるブロック内が全く均一な領域のみで構成されている場合には、その領域からは特徴点が選択されない可能性もあるという点である。このようにして選択された特徴点の例が、図１５に示される。この図１５に於いて、○で示された点２５が、このようにして選択された特徴である。
【０１６９】
次に、特徴対応探索部５ｂについて説明する。
【０１７０】
一方の画像から特徴選択部５ａで選択された特徴に関して、他方の画像内で、対応する特徴を抽出するのが特徴対応探索部５ｂの機能である。特徴対応探索部５ｂでは、以下の方法により対応する特徴が探索される。
【０１７１】
ここで、探索範囲の設定について説明する。
【０１７２】
上記ステップＳ３で作成されたレクティフィケーション処理後の画像は、キャリブレーションデータ記憶装置８から過去に記憶されたキャリブレーションデータが使用されたものである。従って、キャリブレーションずれがある場合には、エピポーラ線上に対応点があるとは限らない。故に、対応探索される範囲は、想定される最大のキャリブレーションずれにも適合する対応探索範囲が設定されることがある。実際には、左画像内の特徴（ｕ，ｖ）に対応する右画像内のエピポーラ線の上下にある領域が用意される。
【０１７３】
【数２４】
【０１７４】
次に、エリアベースマッチングによる対応探索について説明する。
【０１７５】
上述した探索範囲の設定により決定された探索領域内で、最適な対応が探索される。最適な対応が探索される方法としては、例えば、文献 Ｊ． Ｗｅｎｇ， ｅｔ ａｌ， Ｍｏｔｉｏｎ ａｎｄ Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｉｍａｇｅ Ｓｅｑｕｅｎｃｅｓ， Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ， ｐｐ． ７ ＿ ６４， １９９３に示される方法等がある。または、左画像内の特徴に近傍の領域を利用して、その領域の画素値に最も類似した画像領域を右画像内の対応探索領域内で探索する方法でもよい。
【０１７６】
【数２５】
【０１７７】
これらの類似度或いは非類似度の値が利用されることで、それぞれマッチングのクオリティ或いは信頼度を考えることができる。例えば、ＳＡＤを考えた場合、そのＳＡＤの値が対応点付近では、ピークの鋭い小さな値を得れば、その対応点の信頼度は高いということができる。このように最適と判断された対応点毎に、その信頼度を考えるわけである。その対応点（ｕ′，ｖ′）が決定される。もちろん信頼度を考慮する場合には、
対応点対応点（ｕ′，ｖ′）： 信頼度が閾値以上
対応点なし ： 信頼度が閾値未満
というようにすることも可能である。このように信頼度を考慮する場合には、もちろん未対応点を有する画素が左画像或いは右画像に存在することになる。
【０１７８】
【数２６】
【０１７９】
このように、対応のとれた右画像内に於ける特徴が、図１７に示される。図１７に於いて、○で示された点２６が、このようにして対応のとれた右画像内の特徴点を表している。
【０１８０】
図８のフローチャートに戻って、ステップＳ５では、特徴抽出装置５にて更に、上記ステップＳ４で登録された特徴対の数や信頼度がチェックされる。このステップで排除される条件は以下の通りである。
【０１８１】
すなわち、１つ目は、登録された特徴の中で、相対的な距離が既知のものが１組もない場合には、キャリブレーションずれ補正ができないとして、再度ステップＳ１に移行して撮影処理等が繰り返される。２つ目は、登録された特徴対の数が、ある所定の数より少ない場合には、撮影されたステレオ画像は不適切であったと判定でき、再度ステップＳ１に移行して撮影処理等が繰り返される。
【０１８２】
この撮影処理の繰り返しは、特徴抽出装置５の出力データに基づいて制御装置２から発せられる制御指令によって行われる。この点は、図１、２、２１、２３、２５及び２８の各構成に於いて同様である。
【０１８３】
一方、上述した排除の条件に該当せず、信頼性のある特徴対が得られたと判断された場合には、特徴対の集合がキャリブレーションデータ補正装置６へ送出される。
【０１８４】
続くステップＳ６では、上記ステップＳ４で抽出された特徴が利用されて、キャリブレーションデータの補正が行われる。これは、キャリブレーションデータ補正装置６にて行われる。ここでは、先ず、キャリブレーションデータを補正するために必要となる数学的記述を行うことから始める。尚、ここでは、自然特徴或いは既知特徴の対応関係が与えられた場合に、どのような拘束条件があるかについて、先ず説明する。
【０１８５】
［自然特徴に関する拘束条件］
【数２７】
【０１８６】
【数２８】
【０１８７】
【数２９】
【０１８８】
【数３０】
【０１８９】
［既知特徴間の拘束条件］
【数３１】
【０１９０】
【数３２】
【０１９１】
以上説明してきた拘束条件が利用されながら、キャリブレーションデータ補正装置６では、キャリブレーションデータが補正される。
【０１９２】
【数３３】
【０１９３】
具体的には、拡張カルマンフィルタが利用される。その詳細は、例えば、文献Ａ． Ｋｏｓａｋａ ａｎｄ Ａ． Ｃ． Ｋａｋ， “Ｆａｓｔ ｖｉｓｉｏｎ−ｇｕｉｄｅｄ ｍｏｂｉｌｅ ｒｏｂｏｔ ｎａｖｉｇａｔｉｏｎ ｕｓｉｎｇ ｍｏｄｅｌ−ｂａｓｅｄ ｒｅａｓｏｎｉｎｇ ａｎｄ ｐｒｅｄｉｃｔｉｏｎ ｏｆ ｕｎｃｅｒｔａｉｎｔｉｅｓ，” Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｇｒａｐｈｉｃｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ ＿ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ， Ｖｏｌ． ５６， Ｎｏ． ３， Ｎｏｖｅｍｂｅｒ， ｐｐ．２７１−３２９， １９９２に説明されているので、ここではその概略だけを説明する。
【０１９４】
【数３４】
【０１９５】
具体的には、以下のようなステップをとる。
【０１９６】
［拡張カルマンフィルタステップ］
【数３５】
【０１９７】
このような更新が、全ての制約式について繰り返し行われるとで、パラメータｐは、徐々に更新され、ｐに関する推定誤差共分散行列が示す個々のパラメータの分散値が小さくなり、ｐの更新をロバストに行うことができる。
【０１９８】
こうした拡張カルマンフィルタの方式を、キャリブレーションずれ補正の方法に具体的に適用すると、以下のようになる：
サブステップＳ−１：
【数３６】
【０１９９】
サブステップＳ―２：
【数３７】
【０２００】
サブステップＳ−３：
【数３８】
【０２０１】
このような方式をとることにより、キャリブレーションパラメータの補正を容易に行うことが可能となる。
【０２０２】
また、上記の方法では、画像内での測定値に異常値や、対応点探索には誤対応がないと仮定したが、実際にはそのような異常値除去や誤対応除去を行うことも重要である。その方法に関しては、例えば、文献 Ａ． Ｋｏｓａｋａ ａｎｄ Ａ． Ｃ． Ｋａｋ， “Ｆａｓｔ ｖｉｓｉｏｎ−ｇｕｉｄｅｄ ｍｏｂｉｌｅ ｒｏｂｏｔ ｎａｖｉｇａｔｉｏｎ ｕｓｉｎｇ ｍｏｄｅｌ−ｂａｓｅｄ ｒｅａｓｏｎｉｎｇ ａｎｄ ｐｒｅｄｉｃｔｉｏｎ ｏｆ ｕｎｃｅｒｔａｉｎｔｉｅｓ，” Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｇｒａｐｈｉｃｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ ＿ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ， Ｖｏｌ． ５６， Ｎｏ． ３， Ｎｏｖｅｍｂｅｒ， ｐｐ．２７１−３２９， １９９２、或いは、Ａ． Ｋｏｓａｋａ ａｎｄ Ａ． Ｃ． Ｋａｋ， “Ｓｔｅｒｅｏ ｖｉｓｉｏｎ ｆｏｒ ｉｎｄｕｓｔｒｉａｌ ａｐｐｌｉｃａｔｉｏｎｓ，” Ｈａｎｄｂｏｏｋ ｏｆ Ｉｎｄｕｓｔｒｉａｌ Ｒｏｂｏｔｉｃｓ， Ｓｅｃｏｎｄ Ｅｄｉｔｉｏｎ， Ｅｄｉｔｅｄ ｂｙ Ｓ． Ｙ． Ｎｏｆ， Ｊｏｈｎ Ｗｉｌｅｙ ＆ Ｓｏｎｓ， Ｉｎｃ．， １９９９， ｐｐ． ２６９−２９４ 等に詳しく説明されているのでここでは詳細を省略する。もちろんそのような方法を利用してもよい。
【０２０３】
【数３９】
【０２０４】
ステップＳ７では、キャリブレーションずれ補正装置２０が算出された信頼度に基づいて、キャリブレーションずれ補正装置で算出された補正パラメータが信頼おけるデータであるか否かが判定される。このデータが信頼できる場合には、ステップＳ８へ移行し、そうでない場合には、上記ステップＳ１に移行してキャリブレーションずれ補正のステップが繰り返される。
【０２０５】
ステップＳ８では、上記ステップＳ７で判定された結果が、補正結果呈示装置７によって呈示される。加えて、更新されたキャリブレーションデータはキャリブレーションデータ記憶装置８に格納される。
【０２０６】
図１８は、補正結果呈示装置７の一例を示した図である。本実施の形態では、補正結果呈示装置７として、表示装置を利用したものであり、より具体的には、ディスプレイやＬＣＤモニタ等で構成されている。もちろんこのディスプレイは、別の用途のディスプレイでもよく、そのディスプレイの画面一部分を利用して、補正結果を表示するものでもよいし、補正結果表示のために、画面表示のモードを切り替えるタイプのものでもよい。
【０２０７】
本発明の実施の形態に於けるこの補正結果表示装置７は、上記制御装置２乃至キャリブレーションデータ補正装置との協働によりキャリブレーションずれ補正に係る処理動作中である旨を表示可能に構成され（すなわち、この旨を表示するインジケータとして機能し）、また、上記ずれ補正に係る処理の結果として得られたパラメータと上記キャリブレーションデータ保持部に予め保持されていたパラメータとの差異を表わす情報を表示可能になされ、更に、上記ずれ補正に係る信頼度を表すステータスを表示可能になされ、更にまた、正規のずれ補正が行われ得なかったときにはその旨を表すエラーコードを表示可能に構成される。
【０２０８】
図１８の表示では、３個のカラムＡ、Ｂ、Ｃを有しており、それぞれのカラムに結果を表示されるようになっている。
【０２０９】
カラムＡの部分は、キャリブレーションずれ補正中にはフラッシュすることになり、補正の結果が得られたときには、カラムＢの部分にずれ量や補正量に関する結果等が表示される。また、カラムＣの部分には、ずれ補正に関わる信頼度が表示される。信頼度（ステータス）に加えて、上述したステップＳ５、Ｓ６で示される途中結果や補正処理に関わるエラーコード等が表示されるようになっている。
【０２１０】
このような方法をとることにより、補正の各種モードや処理結果が、ユーザ或いはステレオ撮影装置等をメンテナンスする作業者等に、効果的に表示することが可能となる。
【０２１１】
その他のずれ補正結果の呈示方法としては、音声のよる呈示、警報アラームや音源による呈示等を考えることができる。
【０２１２】
尚、上述の表示装置は、キャリブレーション補正装置を含んで構成される距離画像処理システム並びに制御装置と機能的に結合されて、キャリブレーション補正装置（その内部のキャリブレーションずれ補正部）や演算部（距離を算出するための機能部）、並びに、上記撮像部（撮像装置）の出力に関連した所要の表示をユーザ（運転者）に認識され得るように行うものであり、上述したように補正結果呈示装置乃至同装置の部分としても機能する。
【０２１３】
図１９は、上述した図８のフローチャートを変形した動作フローチャートである。
【０２１４】
図１９に於いて、図８のフローチャートと異なるのは、ステップＳ１７、Ｓ１８及びＳ１９である。その他のステップＳ１１〜Ｓ１６は、図８のフローチャートに於けるステップＳ１〜Ｓ６と同様であるので、ここでは説明を省略する。
【０２１５】
ステップＳ１７では、先ずキャリブレーションずれの補正パラメータ等の結果が、ユーザや作業員等に呈示される。その後、ステップＳ１８にて、その補正結果が充分信頼おけるか否かが、ユーザや作業員により判断される。その結果に応じて、ステップＳ１９に移行してキャリブレーションデータ記憶装置８に記憶されるか、上記ステップＳ１１に移行して処理が繰り返される。
【０２１６】
以上のような方法により、より高信頼度のキャリブレーションずれ補正を実現することができる。
【０２１７】
尚、上述した方法では、ステップＳ３にてレクティフィケーション処理が行われることが前提とされて説明してきたが、図２０のフローチャートに示されるように、もちろんレクティフィケーション処理を省いて、全体の処理を行うことも可能である。その際には、エピポーラ線拘束は必ずしも水平線にならないということがあり、特徴点の対応探索上、処理量が増えるが、基本構成的には同様の効果が得られることは明白である。
【０２１８】
この図２０のフローチャートに於けるステップＳ２１〜Ｓ２２、２４〜２７は、それぞれ図８のフローチャートに於けるステップＳ１〜Ｓ２、Ｓ５〜Ｓ８と同様であり、ステップＳ２３でステレオ画像から特徴が抽出される動作のみが異なるだけである。従って、ここでの各ステップの動作説明は省略する。
【０２１９】
（第２の実施の形態）
次に、本発明の第２の実施の形態を説明する。
【０２２０】
この第２の実施の形態としては、ステレオ撮影装置と外部装置間の位置姿勢ずれのキャリブレーション補正について説明する。
【０２２１】
上述した第１の実施の形態では、ステレオ撮影装置内部のキャリブレーションパラメータ（課題１−１、課題１−２）の補正について述べた。この第２の実施の形態では、ステレオ撮影装置と外部装置間の位置姿勢ずれ（課題２）のキャリブレーション補正を行う方法について述べる。
【０２２２】
図２１は、本発明の第２の実施の形態に於けるキャリブレーションずれ補正装置の基本構成を示すブロック図である。
【０２２３】
図２１に於いて、ステレオ画像を撮影してキャリブレーションずれを補正すべき撮影装置１１が、キャリブレーションずれ補正装置３０でキャリブレーションずれ補正される。
【０２２４】
キャリブレーションずれ補正装置３０は、図２に示されるキャリブレーションずれ補正装置２０と同様に、制御装置２と、状況判断装置３と、レクティフィケーション処理装置４と、特徴抽出装置５と、キャリブレーションデータ補正装置６と、補正結果呈示装置７と、キャリブレーションデータ記憶装置８とから構成されている。更に、基準位置を規定する外部装置３１が加わっている。すなわち、ステレオ撮影装置の位置姿勢を、外部装置が規定する座標系に基づいて、測定したキャリブレーションデータを補正する方法を表している。
【０２２５】
【数４０】
【０２２６】
尚、キャリブレーションずれ補正装置３０内の各装置は、ハードウェアや回路で構成されたもよいし、コンピュータやデータ処理装置のソフトウェアで処理されてもよい。
【０２２７】
ここで、本第２の実施の形態で利用される特徴について簡単に説明する。
【０２２８】
具体的には、既知特徴のみが扱われる。且つ、その特徴は、外部装置を基準として、その位置が規定されている特徴のみが利用される。例えば、図９に示されるように、車両を外部装置とするときには、車両前方にある既知特徴が利用される。
【０２２９】
【数４１】
【０２３０】
図２２は、本第２の実施の形態に於けるキャリブレーションずれ補正装置の詳細な動作を説明するフローチャートである。尚、本実施の形態に於いては、制御装置２の制御によって動作される。
【０２３１】
基本的なステップは、図８に示される第１の実施の形態のフローチャートと同様である。すなわち、ステップＳ３１〜Ｓ３３、Ｓ３５、Ｓ３７〜Ｓ３８は、上述した図８のフローチャートに於けるステップＳ１〜Ｓ３、Ｓ５、Ｓ７〜Ｓ８と同様であり、ステップＳ３４及びＳ３６が異なっている。従って、以下の説明では、異なるステップのみ説明する。
【０２３２】
ステップＳ３４に於いて、レクティフィケーションされた画像から抽出される特徴は、上述したように既知特徴のみとする。その特徴抽出方法に関しては、上述した第１の実施の形態で詳細に説明したので、ここでは説明は省略する。
【０２３３】
【数４２】
【０２３４】
そして、ステップＳ３６では、キャリブレーションずれの補正が行われる。
【０２３５】
【数４３】
【０２３６】
［ステレオ撮影装置と外部装置間の位置姿勢パラメータに関する拘束条件］
【数４４】
【０２３７】
【数４５】
【０２３８】
【数４６】
【０２３９】
以上のようなステップの処理動作を施すことによって、ステレオ撮影装置と外部装置間の位置姿勢ずれのキャリブレーション補正を行うことができる。
【０２４０】
尚、上述した方法では、ステップＳ３３でレクティフィケーション処理を行うことを前提として説明してきたが、もちろんレクティフィケーション処理を省いて、全体の処理を行うことも可能である。その際には、エピポーラ線拘束は必ずしも水平線にならないということがあり、特徴点の対応探索上、処理量が増えるが、基本構成的には同様の効果が得られることは明白である。
【０２４１】
（第３の実施の形態）
次に、第３の実施の形態として、外部装置と撮影装置間のキャリブレーションと撮影装置自体のキャリブレーションについて説明する。
【０２４２】
第３の実施の形態では、ステレオ撮影装置の内部キャリブレーションパラメータに関するキャリブレーションずれと、外部装置とステレオ撮影装置間の位置姿勢ずれのキャリブレーション補正を行う方法について説明する。
【０２４３】
この第３の実施の形態で利用する特徴としては、上述した第１の実施の形態の場合に含まれる自然特徴と、第２の実施の形態の場合に含まれる既知特徴を含んでいる。
【０２４４】
図２３は、本発明の第３の実施の形態に於けるキャリブレーションずれ補正装置の基本構成例を示したブロック図である。
【０２４５】
図２３に於いて、ステレオ画像を撮影してキャリブレーションずれを補正すべき撮影装置１１が、キャリブレーションずれ補正装置３３でキャリブレーションずれ補正される。
【０２４６】
キャリブレーションずれ補正装置３３は、制御装置２と、状況判断装置３と、レクティフィケーション処理装置４と、特徴抽出装置５と、キャリブレーションデータ補正装置６と、補正結果呈示装置７と、キャリブレーションデータ記憶装置８とから構成されている。すなわち、図２１に示される第２の実施の形態のキャリブレーションずれ補正装置３０と、構成上は同じである。
【０２４７】
ここでキャリブレーションずれ補正装置３３内の各装置は、ハードウェアや回路で構成されたもよいし、コンピュータやデータ処理装置のソフトウェアで処理されてもよい。
【０２４８】
また、図２４は、本発明の第３の実施の形態に於けるキャリブレーションずれ補正装置の動作を説明するフローチャートである。
【０２４９】
基本的なステップは、図２２に示される第２の実施の形態のフローチャートと同様である。すなわち、ステップＳ４１〜Ｓ４３、Ｓ４５、Ｓ４７〜Ｓ４８は、上述した図２２のフローチャートに於けるステップＳ３１〜Ｓ３３、Ｓ３５、Ｓ３７〜Ｓ３８と同様であり、ステップＳ４４及びＳ４６が異なっている。従って、以下の説明では、異なるステップのみ説明する。
【０２５０】
ステップＳ４４では、既知特徴と自然特徴の両方が抽出される。
【０２５１】
そして、ステップＳ４６では、既知特徴と自然特徴の両方が利用されながら、以下の２つのサブステップにより、キャリブレーションパラメータの補正が行われる。
【０２５２】
より具体的には、キャリブレーションデータ補正装置内に於いて、サブステップＣ１として、ステレオ撮影装置の内部キャリブレーションパラメータのキャリブレーションずれが、上述した第１の実施の形態の方法で行われる。また、サブステップＣ２として、上記サブステップＣ１で得られたステレオ内部キャリブレーションパラメータを正しい値として、次に上述した第２の実施の形態で説明した方法により、外部装置とステレオ撮影装置間の位置姿勢ずれのキャリブレーション補正が行われることにより実施される。
【０２５３】
以上のような構成及び処理手順によって、ステレオ撮影装置の内部キャリブレーションパラメータに関するキャリブレーションずれと、外部装置とステレオ撮影装置間の位置姿勢ずれのキャリブレーション補正を行うことが可能になるわけである。
【０２５４】
（第４の実施の形態）
次に、第４の実施の形態として、キャリブレーションずれ検出機能の追加について説明する。
【０２５５】
本第４の実施の形態では、キャリブレーションずれ検出装置を更に導入することで、補正処理をより効率化することを行う。
【０２５６】
図２５は、本発明の第４の実施の形態に於けるキャリブレーションずれ補正装置の基本構成例を示したブロック図である。
【０２５７】
図２５に於いて、ステレオ画像を撮影してキャリブレーションずれを補正すべき撮影装置１１が、キャリブレーションずれ補正装置３５でキャリブレーションずれ補正される。
【０２５８】
キャリブレーションずれ補正装置３５は、制御装置２と、状況判断装置３と、レクティフィケーション処理装置４と、特徴抽出装置５と、キャリブレーションデータ補正装置６と、補正結果呈示装置７と、キャリブレーションデータ記憶装置８と、更にキャリブレーションずれ判定装置３６とを有して構成されている。
【０２５９】
すなわち、上述した第３の実施の形態で説明した図２３の構成の装置に加えて、特徴抽出装置５から抽出された特徴に基づいてキャリブレーションずれの有無判定及びずれ種類を決定するキャリブレーションずれ判定装置３６を備えている。そして、キャリブレーションずれ判定装置３６でずれありと判定された場合に、ずれ種類に基づいてキャリブレーションデータ記録装置８に記憶されたキャリブレーションデータに関するキャリブレーションずれが、キャリブレーションデータ補正装置６で補正される。
【０２６０】
このように、キャリブレーションずれ判定装置３６が付加されることで、キャリブレーションずれ判定及びずれの種類を特定することが可能となる。従って、ずれに特化したキャリブレーションずれの補正をすることが可能となり、無駄な計算処理を省くことが可能となる。
【０２６１】
ここで、キャリブレーションずれ補正装置３５内の各装置は、ハードウェアや回路で構成されたもよいし、コンピュータやデータ処理装置のソフトウェアで処理されてもよい。
【０２６２】
図２６は、本発明の第４の実施の形態に於けるキャリブレーションずれ補正装置の動作を説明するフローチャートである。
【０２６３】
基本的なステップは、図１９に示されるフローチャートと同様である。すなわち、ステップＳ５１〜Ｓ５５、Ｓ５８〜Ｓ６０は、上述した図１９のフローチャートに於けるステップＳ１１〜Ｓ１５、Ｓ１７〜Ｓ１９と同様であり、ステップＳ５６及びＳ５７が異なっている。従って、以下の説明では、異なるステップのみ説明する。
【０２６４】
先ず、ステップＳ５６の処理動作について説明する。
【０２６５】
キャリブレーションずれ検出には、以下の３つの判定がある。
【０２６６】
（判定１）自然特徴或いは既知特徴のエピポーラ線拘束からのずれがあるかどうかを判定する。
【０２６７】
（判定２）キャリブレーションデータ記憶装置に登録された既知特徴間の距離が、ステレオ画像で撮影された既知特徴によって計測された距離と等しいかどうかを判定する。
【０２６８】
（判定３）基準位置を規定する外部装置を基準として、キャリブレーションデータ記憶装置にその３次元位置が登録された既知特徴について、キャリブレーションデータにずれがないと仮定したときに、ステレオ撮影装置が撮影する左右画像の所定位置に、その既知特徴が存在するかを判定する。
【０２６９】
そして、上記の判定結果を、正しいとき○、誤りのとき×とすれば、以下の３つのケースの可能性があることがわかる。
【０２７０】
【数４７】
【０２７１】
もちろん、これらの判定に関しては、ずれ判定に関する計測誤差が多少あることを踏まえて、測定誤差許容範囲を考慮して判定することが重要である。
【０２７２】
次に、上記判定１の方法を説明する。
【０２７３】
特徴抽出装置５で抽出され対応のとれたｎ個の自然特徴或いは既知特徴に関して、事前に得られているキャリブレーションデータに基づいてレクティフィケーションされた特徴対の画像座標値が利用される。すなわち、キャリブレーションデータのずれが全くないとすれば、登録された特徴対は、完全にエピポーラ線拘束を満たしていることになる。逆に言えば、キャリブレーションずれが生じている場合には、このエピポーラ線拘束が満たされていないと判断できる。
【０２７４】
そこで、特徴対全体として、どの程度エピポーラ線拘束が満たされていないかを評価値として、キャリブレーションずれを判定することにする。
【０２７５】
【数４８】
【０２７６】
図２７は、この様子を示したものである。図２７に於いて、各特徴に関して、エピポーラ線からのずれｄｉは、特徴点のエピポーラ線からの画像内距離に対応するわけである。
【０２７７】
また、上記判定方法１で説明した方法で、対応探索の信頼度が高いときには良好な結果が得られる。
【０２７８】
【数４９】
【０２７９】
このような場合には、ノイズ成分と思われる異常値を予め取り除いた後に平均を取る作業により、キャリブレーションずれを判定する方法が有効である。
【０２８０】
【数５０】
【０２８１】
次に、判定２の方法について説明する。
【０２８２】
【数５１】
【０２８３】
もちろん、この計算では、キャリブレーションずれがないと仮定して、キャリブレーションデータ記憶装置８が記憶したキャリブレーションパラメータを利用して計算される。こうして得られた既知特徴の間の距離が算出され、その距離と予めキャリブレーションデータ記憶装置８内の登録された既知特徴点間の距離との間にどの程度の差があるかが、上記式（５９）に基づいて算出される。その差が所定の閾値より小さければ、ずれなしと判断され、大きければ、ずれありと判断される。
【０２８４】
更に、判定３の方法について説明する。
【０２８５】
ステレオ画像内で、先ず既知特徴が利用されて、その既知特徴が画像内であるべき位置にあるかが判定される。
【０２８６】
【数５２】
【０２８７】
【数５３】
【０２８８】
【数５４】
【０２８９】
もちろん、この画像内での位置は、キャリブレーションデータが全て正しいと仮定した場合に成立する式である。従って、上記式（４１）の集合Ｂで表される画像内での位置と、キャリブレーションデータが正しいと仮定した場合の画像位置との差が計算されることにより、キャリブレーションずれが起こっているか否かが判定されるわけである。
【０２９０】
【数５５】
【０２９１】
ここで、閾値ｔｈｒｅｓｈｏｌｄを超えた場合には、少なくともキャリブレーションずれが起こっていることがわかる。また、上述した第１の実施の形態で説明したのと同様に、異常値除去等の処理をこの中に含んでもかまわない。
【０２９２】
【数５６】
【０２９３】
すなわち、上述したサブステップＣ１によってキャリブレーションずれが少なくとも起きているか否かを判定することができる。
【０２９４】
次に、ステップＳ５７の処理動作について説明する。
【０２９５】
キャリブレーションずれ判定装置３６で判定されたずれ有無とずれ分類の結果を踏まえて、キャリブレーションデータ補正装置６にてキャリブレーションずれが補正されるわけである。すなわち、キャリブレーションずれがあると判定された場合には、以下の３つの方法によりキャリブレーションずれ補正を行えばよい。
【０２９６】
【数５７】
【０２９７】
以上のように、キャリブレーションずれ検出装置を更に導入することで、補正処理に関して、補正すべきパラメータを分類したり決定することが可能となるので、より信頼度が高く、効率的な補正処理を行うことが可能である。もちろん、本第４の実施の形態で説明したキャリブレーションずれ検出装置は、上述した第１乃至第３の実施の形態に応用することが可能であると共に、後述する第５或いは第６の実施の形態でも利用することが可能であることは明白である。
【０２９８】
（第５の実施の形態）
次に、本発明の第５の実施の形態として、車載に特化した例について説明する。
【０２９９】
上述した第１乃至第４の実施の形態では、状況判断装置について詳細には説明していないが、この第５の実施の形態では、この状況判断装置の機能を中心に説明する。
【０３００】
図２８は、本発明の第５の実施の形態に於けるキャリブレーションずれ補正装置の基本構成例を示したブロック図である。
【０３０１】
この第５の実施の形態のキャリブレーションずれ補正装置の構成が上述した第１乃至第４の実施の形態と異なるのは、外部センサ３９が、キャリブレーションずれ補正装置３８内の状況判断装置３に、各種のセンサ出力の信号を与えることである。また、必要に応じて、キャリブレーションずれ検出に関わる情報が、キャリブレーションデータ記憶装置８に送出され、その情報が、キャリブレーションデータ記憶装置８に書き込まれる点も異なる。
【０３０２】
尚、この図２８に示される構成の第５の実施の形態に於けるキャリブレーションずれ補正装置３８に関する処理動作は、上述した第１乃至第３の実施の形態で説明したものと同様である。従って、動作フローチャートは、図８、図１９、図２２及び図２４のフローチャートを参照するものとして、ここでの説明は省略する。
【０３０３】
以下の説明では、状況判断装置３の応用として、車両にステレオ撮影装置を装着した場合について説明する。もちろん、本方式は、車両用の車載ステレオ撮影装置に限るものではなく、その他の監視カメラシステム等にも応用が可能であることは明白である。
【０３０４】
状況判断装置に接続される外部センサとしては、走行距離計、時計或いはタイマ、温度センサ、車両傾斜計測センサ或いはジャイロセンサ、車速センサ、エンジン始動センサ、日射センサ、雨滴センサ等がある。そして、状況判断装置３では、以下のような条件で、車載応用に必要な条件に基づいて、キャリブレーションずれの検出が現在必要であるか否かが判定されるわけである。
【０３０５】
【数５８】
【０３０６】
次に、状況判断装置３が、どのようにキャリブレーション検出をすべきか、その状況判断の方法を説明する。
【０３０７】
本装置では、キャリブレーションずれ検出を行う条件として、車両が停止しているときに行う、以前ずれ検出したときから、少なくとも一定時間Ｔを経た後に行う、晴天で昼間に行う、等の条件が成立するときに行う場合について説明する。
【０３０８】
先ず、１つ目の条件を満たすために、車速センサ或いはジャイロセンサ等で、車両が移動していないことが確認される。次いで、２つ目の条件を満たすために、過去にキャリブレーションずれ補正が行われたときの時刻と時計等から算出される現時刻との時間差が算出される。そして、３つ目の条件３に関しては、日射センサや雨滴センサ等が利用されて、条件が満たされるかどうかが判断される。
【０３０９】
このようにして、キャリブレーションずれ補正が実行されると、その結果は補正結果呈示装置７に送出される。そして補正結果は、キャリブレーションデータ記憶装置８に書き込まれる。
【０３１０】
また、車載応用の場合には、既知特徴として、更にいろいろなバリエーションを考えることができる。すなわち、各種道路交通法で大きさや位置が規格が決定しているもの、その他条例等で規格が決定するものについては、その規格に基づく形状を、本キャリブレーションずれ補正装置のための既知特徴として、利用することが可能である。こうした規格が決定しているものとしては、標識、車両に装着されているナンバプレート、横断歩道、白線の距離間隔、等を考えることができる。
【０３１１】
更に、車両に応じて、車両の一部が視野の一部に入っている場合には、その車両の一部を既知な特徴として登録しておき、その特徴間の相対的距離も利用して、キャリブレーション補正を行う。こうした例については、上述した第１の実施の形態で説明したとおりであるので、説明は省略する。
【０３１２】
また、ユーザやメインテナンス作業者が、積極的にキャリブレーションずれ補正を行うことも考えられる。すなわち、ユーザ等が、撮影装置前に大きさや形状が既知なキャリブレーションパターンを呈示し、そのキャリブレーションパターンをステレオ撮影装置で撮影することにより、キャリブレーション補正することも可能である。
【０３１３】
このキャリブレーションパターンとしては、図２９に示されるように、平面の格子状にキャリブレーションパターンが配置されているキャリブレーションボードでもよい。或いは、図３０に示されるように、コーナキューブの３平面の格子状にキャリブレーションパターンが配置されているキャリブレーション治具であってもよい。
【０３１４】
以上のような方法を採用することにより、本キャリブレーションずれ補正装置は、車載等に応用することが可能となる。
【０３１５】
（第６の実施の形態）
次に、本発明の第６の実施の形態として、撮影装置が複数回撮影してその画像を利用する例について説明する。
【０３１６】
上述した実施の形態では、ステレオ画像の撮影に関する回数に関しては、特に特定していないものであった。本第６の実施の形態では、よりロバストで信頼性のおけるキャリブレーションずれ補正装置を提供することを目的として、複数回撮影されたステレオ画像から、より多くの対応のとれた特徴を抽出することにより、キャリブレーションずれ補正装置を構成する例について説明する。
【０３１７】
尚、本第６の実施の形態に於けるキャリブレーションずれ補正装置は、撮影装置により複数回撮影する点が上述した実施の形態と異なるだけであり、その基本構成は同様であるので説明は省略する。
【０３１８】
図３１は、第６の実施の形態のキャリブレーションずれ補正装置によるステレオ画像の様子を表したものであり、（ａ）は時刻１での左画像の例を示した図、（ｂ）は時刻１とは異なる時刻２での左画像の例を示した図である。尚、ここでは、異なる時刻１と時刻２で撮影された二組のステレオ画像（図には、左画像のみ示す）で、既知特徴が複数撮影された場合が示されている。
【０３１９】
図３２は、本第６の実施の形態に於けるキャリブレーションずれ補正装置の処理動作を説明するフローチャートである。
【０３２０】
尚、ステップＳ７１〜Ｓ７５の処理動作は、上述した第１の実施の形態の図８のフローチャートに於けるステップＳ１〜Ｓ５とそれぞれ同様である。
【０３２１】
そして、ステップＳ７６に於いて、例えば既知特徴がこれまで抽出された個数がある一定以上の個数に達しているかが判断される。ここで、その個数が所定の数を以上となっていれば、ステップＳ７７に移行してキャリブレーションずれの判定及び分類が行われる。次いで、ステップＳ７８でキャリブレーションずれの補正処理が行われた後、ステップＳ７９でその判定結果が呈示される。
【０３２２】
一方、上記ステップＳ７６にて所定の数に達していなければ、上記ステップ７１に移行し、再度ステレオ画像が撮影される。もちろん、ここで、撮影する場所や視点を変更しても構わない。
【０３２３】
ステップＳ８０では、算出された信頼度に基づいて、キャリブレーションずれ補正装置で算出された補正パラメータが信頼おけるデータであるか否かが判定される。このデータが信頼できる場合にはステップＳ８１へ移行し、そうでない場合には、上記ステップＳ７１に移行してキャリブレーションずれ補正のステップが繰り返される。一方、ステップＳ８１では、更新されたキャリブレーションデータはキャリブレーションデータ記憶装置８に格納される。
【０３２４】
尚、これらは状況判断装置や制御装置で制御される。ここで、一組のステレオ画像で抽出された既知特徴は、それぞれ別の特徴群として登録され、キャリブレーションずれ補正の処理に関しては、それらの群に応じた処理が行われる。
【０３２５】
図３３は、本第６の実施の形態に於けるキャリブレーションずれ補正装置の別の処理動作を説明するフローチャートである。
【０３２６】
この図３３に示されるフローチャートに於いては、ステップＳ９１〜Ｓ９５、Ｓ９６〜Ｓ９７、Ｓ９９〜１０１の処理動作は、上述した図３２のフローチャートに於けるステップＳ７１〜Ｓ７５、Ｓ７７〜Ｓ７８、Ｓ７９〜Ｓ８１とそれぞれ同様である。従って、異なる処理動作のステップのみ説明する。
【０３２７】
ステップＳ９７にて、キャリブレーションデータ補正装置で、新たに得られる特徴が利用されながら、キャリブレーションデータの補正結果の精度が常に算出される。そして、続くステップＳ９８に於いて、その精度が充分であるか否かが判断される。
【０３２８】
ここで、ずれ補正の精度が充分であると判断された場合には、ステップＳ９９〜Ｓ１０１に移行してキャリブレーションデータ補正装置での処理が終了する。一方、精度が充分でないと判断された場合には、上記ステップＳ９１に移行して、再度ステレオ画像を撮影して、より多くの特徴が抽出されることが繰り返される。
【０３２９】
この方式で、どのようにキャリブレーションデータの補正処理の精度を算出するかは、上述した拡張カルマンフィルタの処理ステップＫ−２−６で計算される補正パラメータの共分散行列Σから得られる各パラメータ要素の分散の値が、どの程度小さくなるかで判定すればよい。この記述は例えばＡ． Ｋｏｓａｋａ ａｎｄ Ａ． Ｃ． Ｋａｋ， “Ｆａｓｔ ｖｉｓｉｏｎ−ｇｕｉｄｅｄ ｍｏｂｉｌｅ ｒｏｂｏｔ ｎａｖｉｇａｔｉｏｎ ｕｓｉｎｇ ｍｏｄｅｌ−ｂａｓｅｄ ｒｅａｓｏｎｉｎｇ ａｎｄ ｐｒｅｄｉｃｔｉｏｎ ｏｆ ｕｎｃｅｒｔａｉｎｔｉｅｓ，” Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｇｒａｐｈｉｃｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ ＿ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ， Ｖｏｌ． ５６， Ｎｏ． ３， Ｎｏｖｅｍｂｅｒ， ｐｐ．２７１−３２９， １９９２に詳しく書かれているので、ここでは詳しく述べない。
【０３３０】
以上のような実施の形態によれば、より多くの特徴を用いてキャリブレーションずれ補正処理を行うことができるので、よりロバストで信頼性のおけるキャリブレーションずれ補正装置を提供することが可能となる。
【０３３１】
【発明の効果】
以上のように本発明によれば、３次元計測等を行うステレオ画像を撮影する撮影装置のキャリブレーションが、経年変化や衝撃振動などの機械ずれによっても、ステレオ画像を解析することにより、簡易にキャリブレーションずれを定量的に且つ絶対値として補正することが可能なキャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステムを提供することができる。
【０３３２】
そして、請求項１に記載の発明によれば、撮影装置の経時変化に伴う光学ずれ、或いは機械ずれがある場合にも、容易に且つロバストにずれの検出を行うことができる。
【０３３３】
請求項２に記載の発明によれば、撮影装置の経時変化に伴う光学ずれ、或いは機械ずれがある場合にも、容易に且つロバストにずれの補正を行うことができる。また、レクティフィケーション処理を行うことで、特徴の対応点探索が容易になり、よりロバストなずれ補正を行うことが可能となる。
【０３３４】
請求項３に記載の発明によれば、撮影装置の経時変化に伴う光学ずれ、或いは機械ずれがある場合にも、容易に且つロバストにずれの検出を行うことができる。
【０３３５】
請求項４に記載の発明によれば、撮影装置の経時変化に伴う光学ずれ、或いは機械ずれがある場合にも、容易に且つロバストにずれの補正を行うことができる。また、レクティフィケーション処理を行うことで、特徴の対応点探索が容易になり、よりロバストなずれ補正を行うことが可能となる。
【０３３６】
請求項５に記載の発明によれば、撮影装置の経時変化に伴う光学ずれ、或いは機械ずれがある場合にも、容易に且つロバストにずれの検出を行うことができる。
【０３３７】
請求項６に記載の発明によれば、撮影装置の経時変化に伴う光学ずれ、或いは機械ずれがある場合にも、容易に且つロバストにずれの補正を行うことができる。また、レクティフィケーション処理を行うことで、特徴の対応点探索が容易になり、よりロバストなずれ補正を行うことが可能となる。
【０３３８】
請求項７に記載の発明によれば、ずれ判定装置を付加することにより、ずれ補正に関わる計算量を減少させたり、ずれ補正すべきパラメータを決定することが可能となるので、よりロバストで信頼性の高いずれ補正が可能となる。
【０３３９】
請求項８に記載の発明によれば、ずれ判定装置を付加することにより、ずれ補正に関わる計算量を減少させたり、ずれ補正すべきパラメータを決定することが可能となるので、よりロバストで信頼性の高いずれ補正が可能となる。
【０３４０】
請求項９に記載の発明によれば、ずれ判定装置を付加することにより、ずれ補正に関わる計算量を減少させたり、ずれ補正すべきパラメータを決定することが可能となるので、よりロバストで信頼性の高いずれ補正が可能となる。
【０３４１】
請求項１０に記載の発明によれば、ずれ判定装置を付加することにより、ずれ補正に関わる計算量を減少させたり、ずれ補正すべきパラメータを決定することが可能となるので、よりロバストで信頼性の高いずれ補正が可能となる。
【０３４２】
請求項１１に記載の発明によれば、キャリブレーションずれが補正された場合には、その内容をユーザは迅速に知ることができるので、ユーザは安心して信頼して、撮影装置を使用することが可能となる。
【０３４３】
請求項１２に記載の発明によれば、キャリブレーションずれ補正を行うかどうかを判定する状況判断装置を導入することで、撮影装置の使用状況や撮影装置の動作状況に応じてキャリブレーションずれ検出を行うかを判断することが可能となり、より信頼のおけるサービスをユーザに提供することができる。また、キャリブレーションずれ検出処理の処理回数を系統的に制御することも可能となり、不要なキャリブレーションずれ検出回数を減少させることも可能となる。
【０３４４】
請求項１３に記載の発明によれば、キャリブレーション補正したデータを再度キャリブレーションデータ記憶装置で記憶することにより、新規データを有効利用することができる。
【０３４５】
請求項１４に記載の発明によれば、撮影装置の光学系に含まれるレンズディストーションの成分をステレオ画像から除去、或いはディストーション補正することにより、より正確なずれ検出が可能となり、装置の信頼性を向上することができる。
【０３４６】
請求項１５に記載の発明によれば、より多くの特徴を用いてキャリブレーションずれ補正処理を行うことができるので、よりロバストで信頼性のおけるキャリブレーションずれ補正装置を提供することが可能となる。
【０３４７】
請求項１６に記載の発明によれば、より多くの特徴を用いてキャリブレーションずれ補正処理を行うことができるので、よりロバストで信頼性のおけるキャリブレーションずれ補正装置を提供することが可能となる。
【０３４８】
請求項１７に記載の発明によれば、ステレオ画像の対応関係にある特徴を複数抽出し利用することで、異常値を排除することが可能となり、信頼性のあるずれ補正が可能となる。
【０３４９】
請求項１８に記載の発明によれば、エピポーラ線拘束を利用することで、特徴点探索を容易にすることができ、対応探索に要する処理時間の短縮、ひいては全体の処理時間を短縮することが可能となる。
【０３５０】
請求項１９に記載の発明によれば、有効な特徴を選択するので、必要最小限の計算で安定的に、且つロバストにキャリブレーションずれ補正を行うことができる。
【０３５１】
請求項２０に記載の発明によれば、予め相対的な位置関係が既知な複数の特徴を利用することで、キャリブレーションデータ補正に於いて、付加的な条件を加えることができるので、よりロバストで信頼性のあるキャリブレーションずれ補正を行うことが可能となる。
【０３５２】
請求項２１に記載の発明によれば、ステレオアダプタでも応用可能になる。
【０３５３】
請求項２２に記載の発明によれば、多眼カメラでも応用可能となる。
【０３５４】
請求項２３に記載の発明によれば、キャリブレーションずれ補正装置を車載等に応用することが可能となる。
【０３５５】
請求項２４に記載の発明によれば、車載用に適用が可能となる。
【０３５６】
請求項２５に記載の発明によれば、車両の形状を表す特徴を抽出するので、より正確なキャリブレーションずれ補正を行うことが可能となる。
【０３５７】
請求項２６に記載の発明によれば、車外の既知形状物を特徴として抽出するので、抽出が容易で、また処理時間を短縮することが可能となる。
【０３５８】
請求項２７に記載の発明によれば、ずれ補正中であることが表示されるので、ユーザは容易にキャリブレーションずれ補正中であることを知ることができる。
【０３５９】
請求項２８に記載の発明によれば、２種類のパラメータの差異が表示されるので、ユーザは容易にずれの内容を知ることができる。
【０３６０】
請求項２９に記載の発明によれば、ずれ補正にかかわる信頼度が表示されるので、ユーザは安心してキャリブレーションずれ補正を行うことができる。
【０３６１】
更に、請求項３０に記載の発明によれば、ずれ補正処理がエラーとなった場合にエラーコードが呈示されるので、ユーザはその原因を容易に確認することができる。
【０３６２】
請求項３１乃至３４に記載の発明によれば、キャリブレーションずれ補正の結果が表示されるので、ユーザは安心してキャリブレーションずれ補正を行うことができる。
【０３６３】
請求項３５に記載の発明によれば、ずれ補正に係る処理動作中であることが表示されるので、ユーザは容易にキャリブレーションずれ補正中であることを知ることができる。
【０３６４】
請求項３６に記載の発明によれば、２種類のパラメータの差異が表示されるので、ユーザは容易にずれの内容を知ることができる。
【０３６５】
請求項３７に記載の発明によれば、ずれ補正に係る処理動作がエラーとなった場合にエラーコードが呈示されるので、ユーザはその原因を容易に確認することができる。
【０３６６】
請求項３８に記載の発明によれば、ずれ検出に関する信頼度が表示されるので、ユーザは安心してキャリブレーションずれ検出を行うことができる。
【図面の簡単な説明】
【図１】本発明に於けるキャリブレーションずれ補正装置の第１の基本構成例を示したブロック図である。
【図２】本発明に於けるキャリブレーションずれ補正装置の第２の基本構成例を示したブロック図である。
【図３】ステレオ画像を撮影する撮影装置のカメラ座標について説明する図である。
【図４】（ａ）はステレオアダプタの視野を示す図、（ｂ）は（ａ）のステレオアダプタの展開図である。
【図５】ステレオ画像に於けるエピポーラ線拘束を説明する図である。
【図６】レクティフィケーション処理を説明するためもので、（ａ）はレクティフィケーション前の画像を表した図、（ｂ）はレクティフィケーション後の画像を表した図である。
【図７】レクティフィケーション処理を説明するための図である。
【図８】本発明の第１の実施の形態に於けるキャリブレーションずれ補正装置の詳細な動作を説明するフローチャートである。
【図９】車両の場合に於ける既知特徴の例を示した図である。
【図１０】左右原画像を表したもので、（ａ）は左カメラにより撮影された左原画像を示した図、（ｂ）は右カメラにより撮影された右原画像を示した図である。
【図１１】レクティフィケーションされた左右の画像を表したもので、（ａ）は左画像を示した図、（ｂ）は右画像を示した図である。
【図１２】特徴抽出装置５の構成例を示したブロック図である。
【図１３】抽出結果の一例を表した図である。
【図１４】レクティフィケーションされた左画像を分割された小ブロックで示した図である。
【図１５】左画像で登録された特徴点の例を示した図である。
【図１６】探索範囲の設定を説明するための図である。
【図１７】右画像で抽出された対応する特徴点の例を示した図である。
【図１８】ずれ結果呈示装置７の一例を表した図である。
【図１９】本発明の第１の実施の形態に於ける別の動作例を説明するフローチャートである。
【図２０】本発明の第１の実施の形態に於ける更に別の動作例を説明するフローチャートである。
【図２１】本発明の第２の実施の形態に於けるキャリブレーションずれ補正装置の基本構成を示すブロック図である。
【図２２】本発明の第２の実施の形態に於けるキャリブレーションずれ補正装置の詳細な動作を説明するフローチャートである。
【図２３】本発明の第３の実施の形態に於けるキャリブレーションずれ補正装置の基本構成例を示したブロック図である。
【図２４】本発明の第３の実施の形態に於けるキャリブレーションずれ補正装置の動作を説明するフローチャートである。
【図２５】本発明の第４の実施の形態に於けるキャリブレーションずれ補正装置の基本構成例を示したブロック図である。
【図２６】本発明の第４の実施の形態に於けるキャリブレーションずれ補正装置の動作を説明するフローチャートである。
【図２７】エピポーラ線からのずれｄｉを説明するための図である。
【図２８】本発明の第５の実施の形態に於けるキャリブレーションずれ補正装置の基本構成例を示したブロック図である。
【図２９】ステレオ撮影装置で撮影されるキャリブレーションパターンの例を示した図である。
【図３０】ステレオ撮影装置で撮影されるキャリブレーションパターンの他の例を示した図である。
【図３１】第６の実施の形態のキャリブレーションずれ補正装置によるステレオ画像の様子を表したものであり、（ａ）は時刻１での左画像の例を示した図、（ｂ）は時刻１とは異なる時刻２での左画像の例を示した図である。
【図３２】本発明の第６の実施の形態に於けるキャリブレーションずれ補正装置の処理動作を説明するフローチャートである。
【図３３】本第６の実施の形態に於けるキャリブレーションずれ補正装置の別の処理動作を説明するフローチャートである。
【符号の説明】
１、２０、３０、３３、３５、３８…キャリブレーションずれ補正装置、２…制御装置、３…状況判断装置、４…レクティフィケーション処理装置、５…特徴抽出装置、５ａ…特徴選択部、５ｂ…特徴対応探索部、６…キャリブレーションデータ補正装置、７…補正結果呈示装置、８…キャリブレーションデータ記憶装置、１１…撮影装置、１２ａ…左カメラ、１２ｂ…右カメラ、３１…基準位置を規定する外部装置、３６…キャリブレーションずれ判定装置、３９…外部センサ。
【発明の属する技術分野】
本発明は、ステレオ画像を撮影する撮影装置のキャリブレーションずれを補正するキャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステムに関するものである。
【０００２】
【従来の技術】
従来より使用されている画像撮影装置に関わるキャリブレーションに関しては、大きくわけると
▲１▼ステレオ画像を撮影する装置自体に関わるキャリブレーション
▲２▼撮影装置と外部装置間の位置姿勢に関わるキャリブレーション
に相当するものがある。
【０００３】
上記▲１▼に関するキャリブレーションは、いわゆるステレオカメラのキャリブレーションとして一般的に知られているものである。これは、ステレオカメラの撮影特性に関するパラメータである、焦点距離、拡大率、画像中心、レンズディストーション等に代表されるカメラパラメータと、ステレオカメラを構成する少なくとも２台のカメラ間の位置姿勢関係を規定する位置姿勢パラメータに関するキャリブレーションである。こうしたパラメータは、ステレオ撮影装置の内部キャリブレーションパラメータと称される。
【０００４】
また、上記▲２▼に関するキャリブレーションは、ステレオ撮影装置と外部装置間の位置姿勢に関するパラメータに関するキャリブレーションに相当する。より具体的には、例えば、ステレオ撮影装置がある環境に配置されている場合には、ステレオカメラが設置されている環境内での位置姿勢パラメータが、このキャリブレーションで規定すべきパラメータとなる。また、ステレオ撮影装置が車両に装着され、そのステレオカメラで車両前方の障害物の位置関係を計測する場合には、車両の基準となる原点に対して、ステレオ撮影装置がどこに装着してあるかを規定する位置姿勢パラメータがキャリブレーションで規定すべきパラメータとなる。こうしたパラメータは、撮影装置と外部装置間の外部キャリブレーションパラメータと称される。
【０００５】
次に、こうしたキャリブレーションずれに関して説明する。
【０００６】
上記▲１▼のステレオ撮影装置の内部キャリブレーションパラメータに起因するキャリブレーションずれに関して考える。例えば、２台のカメラからステレオ画像を撮影する装置の場合には、（▲１▼−１）各カメラの撮影に関するカメラパラメータのずれに基づくキャリブレーションずれ、（▲１▼−２）２台のカメラ間の位置姿勢を規定するパラメータのずれに基づくキャリブレーションずれ、に分けることができる。
【０００７】
例えば、上記（▲１▼―１）に関するキャリブレーションずれが起こる原因としては、カメラを構成する光学レンズ系の変形、光学レンズ系と撮像素子（ＣＣＤやＣＭＯＳ等）との間の位置ずれ、光学レンズのフォーカス位置のずれ、光学レンズのズームレンズの制御系のずれ等が考えられる。
【０００８】
また、上記（▲１▼−２）に関するキャリブレーションずれが起こる原因としては、２台のカメラ間を固定する機構の位置ずれによる。例えば、２台のカメラを機械的なシャフトで固定している場合には、そのシャフトの経時的変形等がこの例に対応する。また、２台のカメラをねじ止めであるシャフトに装着してある場合には、そのねじの弛み等による位置ずれ等にも起因する。
【０００９】
一方、上記▲２▼のキャリブレーションずれが起こる原因としては、ステレオ撮影装置と外部装置を固定する機械的要素の変形、取り付け治具の変形などが考えられる。例えば、車載カメラにステレオ撮影装置を利用して、この撮影装置をフロントウィンドウとバックミラーの間の取り付け治具を用いて、外部装置である車両に取り付ける場合を考える。この場合、車両の基準位置を車両先端と規定すれば、ステレオ撮影装置の取り付け治具自体の変形、取り付け部材である「ねじ」の弛み等による変形、車両自体の経時的変形、寒冷地等の使用する際の季節的変動に伴う車両や取り付け治具の機械的変形等、各種の機械的変形に伴うキャリブレーションずれを考えることができる。
【００１０】
こうしたキャリブレーションずれの検出或いは補正の従来例を考えると、以下のような技術が提案されている（例えば、特許文献１、非特許文献１及び非特許文献２参照）
上記特許文献１に記載の方式は、ステレオカメラの撮影画像の光学的位置ずれを補正するもので、上記▲２▼の撮影装置と外部装置間の位置姿勢に関わるキャリブレーションに関するキャリブレーションずれを補正する方法が提供されている。より具体的には、２台のカメラのそれぞれの視野に設定した基準マーカの各撮影画像内での初期位置を記憶しており、実際に撮影された画像内での位置ずれから、位置ずれに関わる補正を行うものである。
【００１１】
また、上記非特許文献１に記載の方式は、２台のカメラで撮影された自然特徴点（撮影された画像から任意に選択された特徴点）を利用して、２台のカメラに関わる相対的な位置関係を算出する方法がある。この算出にあたっては、数学的に基本行列を算出するものである。基本的には、カメラ間の距離に関わる推定値は相対的な推定により算出されるものである。またカメラのレンズディストーションは無視できると仮定している。
【００１２】
更に、上記非特許文献２の方式は、一般的なカメラキャリブレーションの方法とステレオカメラへの応用を説明している。具体的には、基準座標系に数多くの既知マーカ（既知特徴点）を配置して、その特徴点の画像内での位置を算出することにより、カメラ（ステレオカメラ）に関する各種パラメータを算出する方法である。従って、この方式により、キャリブレーションパラメータを、全て再算出することが可能である。
【００１３】
【特許文献１】
特開平１１−３２５８９０号公報
【００１４】
【非特許文献１】
徐剛、写真から作る３次元ＣＧ、近代科学社、２００１
【００１５】
【非特許文献２】
Ｊ． Ｗｅｎｇ， ｅｔ ａｌ．， ”Ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ ｗｉｔｈ ｄｉｓｔｏｒｔｉｏｎ ｍｏｄｅｌｓ ａｎｄ ａｃｃｕｒａｃｙ ｅｖａｌｕａｔｉｏｎ， ” ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｖｏｌ． １４， Ｎｏ． １０， Ｏｃｔｏｂｅｒ １９９２， ｐｐ． ９６５−９８０．
【００１６】
【発明が解決しようとする課題】
上記特許文献１の従来例では、撮影装置と外部装置間の位置ずれを検出して、補正する方法を提供するのみであり、撮影装置内部キャリブレーションパラメータに関するキャリブレーションずれの検出や補正には対応できていないという課題を有している。
【００１７】
また、上記非特許文献１の方法で、基本行列を算出してカメラキャリブレーションする方法では、カメラ間の絶対距離としての位置姿勢関係を算出することが不可能であるため、ステレオ撮影装置を、３次元計測装置として使用するには問題がある。
【００１８】
更に、上記非特許文献２の従来例では、カメラキャリブレーションの一般的方法を提供するものであり、元来キャリブレーションずれを目的としたものではない。加えて、キャリブレーションを実行するためには、複数の既知マーカを配置して処理を行わなければならないという課題を有していた。
【００１９】
本発明は、このような課題に鑑みてなされたものであり、その目的とするところは、３次元計測等を行うステレオ画像を撮影する撮影装置のキャリブレーションが、経時変化や衝撃振動などの機械ずれによっても、ステレオ画像を解析することにより、簡易にキャリブレーションずれを定量的に且つ絶対値として補正することが可能なキャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステムを提供することにある。
【００２０】
【課題を解決するための手段】
すなわち請求項１に記載の発明は、ステレオ画像を撮影する撮影装置に係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影装置が撮影したステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを補正するキャリブレーションデータ補正部と、を具備することを特徴とする。
【００２１】
請求項２に記載の発明は、ステレオ画像を撮影する撮影装置に係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影装置が撮影したステレオ画像に対し、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づくレクティフィケーション処理を施すレクティフィケーション処理部と、上記レクティフィケーション処理部によってレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを補正するキャリブレーションデータ補正部と、を具備することを特徴とする。
【００２２】
請求項３に記載の発明は、基準位置を規定するために利用される所定の外部装置と撮影装置との間のキャリブレーションに係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影装置が撮影したステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを補正するキャリブレーションデータ補正部と、を具備することを特徴とする。
【００２３】
請求項４に記載の発明は、基準位置を規定するために利用される所定の外部装置とステレオ画像を撮影する撮影装置との間のキャリブレーションずれを補正するキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影装置が撮影したステレオ画像に対し、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づくレクティフィケーション処理を施すレクティフィケーション処理部と、上記レクティフィケーション処理部が処理したレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを補正するキャリブレーションデータ補正部と、を具備することを特徴とする。
【００２４】
請求項５に記載の発明は、基準位置を規定するために利用される所定の外部装置とステレオ画像を撮影する撮影装置間のキャリブレーションと当該撮影装置本体のキャリブレーションに関わるキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影装置が撮影したステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを補正するキャリブレーションデータ補正部と、を具備することを特徴とする。
【００２５】
請求項６に記載の発明は、基準位置を規定するために利用される所定の外部装置とステレオ画像を撮影する撮影装置間のキャリブレーションと当該撮影装置本体のキャリブレーションに係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影装置が撮影したステレオ画像に対し、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づくレクティフィケーション処理を施すレクティフィケーション処理部と、上記レクティフィケーション処理部によってレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを補正するキャリブレーションデータ補正部と、を具備することを特徴とする。
【００２６】
請求項７に記載の発明は、ステレオ画像を撮影する撮影装置に関わるキャリブレーションのキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影装置が撮影したステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションずれの有無を判定するキャリブレーションずれ判定部と、上記キャリブレーションずれ判定部がずれありと判定した場合には、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを補正するキャリブレーションデータ補正部と、を具備することを特徴とする。
【００２７】
請求項８に記載の発明は、ステレオ画像を撮影する撮影装置のキャリブレーションに係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影装置が撮影したステレオ画像に対し、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づくレクティフィケーション処理を施すレクティフィケーション処理部と、上記レクティフィケーション処理部によってレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出装置が抽出した特徴を表す情報に基づき、キャリブレーションずれの有無を判定するキャリブレーションずれ判定部と、上記キャリブレーションずれ判定部がずれありと判定した場合には、上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを補正するキャリブレーションデータ補正部と、を具備することを特徴とする。
【００２８】
請求項９に記載の発明は、ステレオ画像を撮影する撮影装置に係るキャリブレーションのキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影装置が撮影したステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部が抽出した特徴を表す情報に基づき、キャリブレーションずれの有無判定及びずれの種類を決定するキャリブレーションずれ判定部と、上記キャリブレーションずれ判定部がずれありと判定した場合には、ずれの種類に応じて上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを補正するキャリブレーションデータ補正部と、を具備することを特徴とする。
【００２９】
請求項１０に記載の発明は、ステレオ画像を撮影する撮影装置に係るキャリブレーションのキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影装置が撮影したステレオ画像に対し、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づくレクティフィケーション処理を施すレクティフィケーション処理部と、上記レクティフィケーション処理部によってレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部が抽出した特徴を表す情報に基づき、キャリブレーションずれの有無判定及びずれの種類を決定するキャリブレーションずれ判定部と、上記キャリブレーションずれ判定部がずれありと判定した場合には、ずれの種類に応じて上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを補正するキャリブレーションデータ補正部と、を具備することを特徴とする。
【００３０】
請求項１１に記載の発明は、請求項１乃至１０の何れかに記載のキャリブレーションずれ補正装置に於いて、上記キャリブレーションデータ補正部が判定したキャリブレーションずれ補正結果を呈示するための補正結果呈示部を更に具備することを特徴とする。
【００３１】
請求項１２に記載の発明は、請求項１乃至１０の何れかに記載のキャリブレーションずれ補正装置に於いて、上記撮影装置に係るキャリブレーションと所定の相関を有する情報乃至所定の操作に応じてキャリブレーションずれ補正を行うか否かを判断する状況判断部を更に具備することを特徴とする。
【００３２】
請求項１３に記載の発明は、請求項１乃至１０の何れかに記載のキャリブレーションずれ補正装置に於いて、キャリブレーションデータ保持部は、上記キャリブレーションデータ補正部が補正したキャリブレーションデータを保持するように構成されたことを特徴とする。
【００３３】
請求項１４に記載の発明は、請求項１乃至１０の何れかに記載のキャリブレーションずれ補正装置に於いて、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づき、上記撮影装置により得たステレオ画像に対しディストーション補正処理を施すディストーション補正処理部を更に備えたことを特徴とする。
【００３４】
請求項１５に記載の発明は、請求項１乃至１０の何れかに記載のキャリブレーションずれ補正装置に於いて、上記キャリブレーションデータ補正部が補正したデータの精度に基づいて、上記撮影装置によるステレオ画像の撮影の繰り返しを制御する制御部を更に備えたことを特徴とする。
【００３５】
請求項１６に記載の発明は、請求項１乃至１０の何れかに記載のキャリブレーションずれ補正装置に於いて、上記キャリブレーションデータ補正部が補正処理に使用する特徴の数に応じて、上記撮影装置によるステレオ画像の撮影の繰り返しを制御する制御部を更に備えたことを特徴とする。
【００３６】
請求項１７に記載の発明は、請求項１乃至１０の何れかに記載のキャリブレーションずれ補正装置に於いて、上記特徴抽出部は、上記撮影装置により得たステレオ画像の対応関係にある特徴を複数抽出し、該複数抽出された対応のとれた特徴のうち異常と判定できる特徴は排除して、上記キャリブレーションデータ補正部での補正処理に供するように構成されたことを特徴とする。
【００３７】
請求項１８に記載の発明は、請求項１乃至１０の何れかに記載のキャリブレーションずれ補正装置に於いて、上記特徴抽出部は、上記撮影装置により得たステレオ画像の対応関係にある特徴抽出をする際、上記キャリブレーションデータ保持部が保持するキャリブレーションデータに基づくエピポーラ線の近傍で対応可能な特徴を抽出することを特徴とする。
【００３８】
請求項１９に記載の発明は、請求項１乃至１０の何れかに記載のキャリブレーションずれ補正装置に於いて、上記特徴抽出部は、上記撮影装置により得たステレオ画像の一方の画像内でキャリブレーションずれ検出に有効な特徴を選択する特徴選択部と、選択された特徴に対応する特徴を、他方の画像内から抽出あるいは探索する特徴対応探索部を含んでなることを特徴とする。
【００３９】
請求項２０に記載の発明は、請求項１乃至１０の何れかに記載のキャリブレーションずれ補正装置に於いて、上記キャリブレーションデータ保持部は、相対的な位置関係が既知な複数の特徴のデータを保持するものであり、上記キャリブレーションデータ補正部は、上記特徴抽出部が上記キャリブレーションデータ保持部に保持された特徴に係るデータを用いる場合には、そのデータの表す位置関係の情報に依拠してキャリブレーションデータ補正を行うことを特徴とする。
【００４０】
請求項２１に記載の発明は、請求項１乃至１０の何れかに記載のキャリブレーションずれ補正装置に於いて、上記撮影装置としての、複数の視点による視差を生じる複数の像を得る光学系と単一のカメラ部とを含んでなるステレオアダプタ方式の撮影装置を対象としてキャリブレーションずれ補正を行うことを特徴とする。
【００４１】
請求項２２に記載の発明は、請求項１乃至１０の何れかに記載のキャリブレーションずれ補正装置に於いて、上記撮影装置としての、複数のカメラを含んで構成される撮影システムを対象としてキャリブレーションずれ補正を行うことを特徴とする。
【００４２】
また、請求項２３に記載の発明は、請求項１乃至１０の何れかに記載のキャリブレーションずれ補正装置に於いて、車載型の上記撮影装置に係るキャリブレーションずれを補正するように構成されたことを特徴とする。
【００４３】
請求項２４に記載の発明は、請求項１２に記載のキャリブレーションずれ補正装置に於いて、上記状況判断部は、外部センサの出力に基づいて状況判断を行うことを特徴とする。
【００４４】
請求項２５に記載の発明は、請求項３乃至６の何れかに記載のキャリブレーションずれ補正装置に於いて、上記外部装置として上記撮影装置が装備された車両の特定の形状部分を適用することを特徴とする。
【００４５】
請求項２６に記載の発明は、請求項３乃至６の何れかに記載のキャリブレーションずれ補正装置に於いて、上記外部装置として、車両に装備された上記撮影装置により撮影される車外の既知形状物を適用することを特徴とする。
【００４６】
請求項２７に記載の発明は、請求項１１に記載のキャリブレーションずれ補正装置に於いて、上記補正結果呈示部は、キャリブレーションずれ補正中であることを表すインジケータとして機能し得るように構成されることを特徴とする。
【００４７】
請求項２８に記載の発明は、請求項１１に記載のキャリブレーションずれ補正装置に於いて、上記補正結果呈示部は、キャリブレーションずれ補正により得られたパラメータと、予め記憶されたキャリブレーションパラメータとの差異を表示し得るように構成されたことを特徴とする。
【００４８】
請求項２９に記載の発明は、請求項１１に記載のキャリブレーションずれ補正装置に於いて、上記補正結果呈示部は、キャリブレーションずれ補正にかかわる信頼度を表すステータスを表示し得るように構成されたことを特徴とする。
【００４９】
請求項３０に記載の発明は、請求項１１に記載のキャリブレーションずれ補正装置に於いて、上記補正結果呈示部は、キャリブレーションずれ補正処理がエラーとなった場合に、該エラーに基づくエラーコードを呈示し得るように構成されたことを特徴とする。
【００５０】
請求項３１に記載の発明は、相互に離隔した複数の視点による視差を持った複数の映像を表す映像信号出力を得るようになされた撮像部と、上記撮影部のキャリブレーションずれを補正するキャリブレーションずれ補正部と、上記キャリブレーションずれ補正部の補正出力データを勘案して上記撮像部で得た映像信号出力に依拠して被写体の距離等のデータを算出する演算部と、上記キャリブレーションずれ補正部、演算部、並びに、上記撮像部の出力に関連した所要の表示を行うための表示部と、を含んで構成されたステレオカメラシステムであって、上記キャリブレーションずれ補正部は、上記撮像部に係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影部により得た映像信号出力としてのステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部で抽出された特徴を表す情報に基づき上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを補正するキャリブレーションデータ補正部と、を含んで構成されたものであり、上記表示部は、上記キャリブレーションずれ補正部の補正結果を自己の表示面に表示可能に構成されたものであることを特徴とする。
【００５１】
請求項３２に記載の発明は、相互に離隔した複数の視点による視差を持った複数の映像を表わす映像信号出力を得るようになされた撮像部と、上記撮影部のキャリブレーションずれを補正するキャリブレーションずれ補正部と、上記キャリブレーションずれ補正部の補正出力データを勘案して上記撮像部で得た映像信号出力に依拠して被写体の距離等のデータを算出する演算部と、上記キャリブレーションずれ補正部、演算部、並びに、上記撮像部の出力に関連した所要の表示を行うための表示部と、を含んで構成されたステレオカメラシステムであって、上記キャリブレーションずれ補正部は、上記撮像部に係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影部により得た映像信号出力としてのステレオ画像に対し上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づくレクティフィケーション処理を施すレクティフィケーション処理部と、上記レクティフィケーション処理部によってレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部で抽出された特徴を表す情報に基づき上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを補正するキャリブレーションずれ補正部と、を含んで構成されたものであり、上記表示部は、上記キャリブレーションずれ補正部の補正結果を自己の表示面に表示可能に構成されたものであることを特徴とする。
【００５２】
請求項３３に記載の発明は、相互に離隔した複数の視点による視差を持った複数の映像を表す映像信号出力を得るようになされた撮像部と、上記撮影部と所定の基準位置を規定する外部装置との間のキャリブレーションずれを補正するキャリブレーションずれ補正部と、上記キャリブレーションずれ補正部の補正出力データを勘案して上記撮像部で得た映像信号出力に依拠して被写体の距離等のデータを算出する演算部と、上記キャリブレーションずれ補正部、演算部、並びに、上記撮像部の出力に関連した所要の表示を行うための表示部と、を含んで構成されたステレオカメラシステムであって、上記キャリブレーションずれ補正部は、上記基準位置を規定するために利用される所定の外部装置と上記撮像部間のキャリブレーションに係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影部により得た映像信号出力としてのステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部で抽出された特徴を表わす情報に基づき上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを補正するキャリブレーションずれ補正部と、を含んで構成されたものであり、上記表示部は、上記キャリブレーションずれ補正部の補正結果を自己の表示面に表示可能に構成されたものであることを特徴とする。
【００５３】
請求項３４に記載の発明は、相互に離隔した複数の視点による視差を持った複数の映像を表す映像信号出力を得るようになされた撮像部と、上記撮影部と所定の基準位置を規定する外部装置との間のキャリブレーションずれを補正するキャリブレーションずれ補正部と、上記キャリブレーションずれ補正部の補正出力データを勘案して上記撮像部で得た映像信号出力に依拠して被写体の距離等のデータを算出する演算部と、上記キャリブレーションずれ補正部、演算部、並びに、上記撮像部の出力に関連した所要の表示を行うための表示部と、を含んで構成されたステレオカメラシステムであって、上記キャリブレーションずれ補正部は、上記基準位置を規定するために利用される所定の外部装置と上記撮像部間のキャリブレーションに係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影部により得た映像信号出力としてのステレオ画像に対し上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づくレクティフィケーション処理を施すレクティフィケーション処理部と、上記レクティフィケーション処理部によってレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部で抽出された特徴を表す情報に基づき上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを補正するキャリブレーションずれ補正部と、を含んで構成されたものであり、上記表示部は、上記キャリブレーションずれ補正部の補正結果を自己の表示面に表示可能に構成されたものであることを特徴とする。
【００５４】
請求項３５に記載の発明は、請求項３１乃至３４の何れかに記載のステレオカメラシステムに於いて、上記表示部は、上記キャリブレーションデータ補正部との協働によりキャリブレーションずれ補正に係る処理動作中である旨を表示可能に構成されたものであることを特徴とする。
【００５５】
請求項３６に記載の発明は、請求項３１乃至３４の何れかに記載のステレオカメラシステムに於いて、上記表示部は、上記キャリブレーションデータ補正部との協働によりキャリブレーションずれ補正に係る処理の結果として得られたパラメータと上記キャリブレーションデータ保持部に予め保持されていたパラメータとの差異を表わす情報を表示可能に構成されたものであることを特徴とする。
【００５６】
請求項３７に記載の発明は、請求項３１乃至３４の何れかに記載のステレオカメラシステムに於いて、上記表示部は、上記キャリブレーションデータ補正部との協働により正規のキャリブレーションずれ補正が行われ得なかったときにはその旨を表わすエラーコードを表示可能に構成されたものであることを特徴とする。
【００５７】
そして、請求項３８に記載の発明は、請求項３１乃至３４の何れかに記載のステレオカメラシステムに於いて、上記キャリブレーションずれ補正部は、その特徴抽出部が、上記撮像装置により得たステレオ画像に関する信頼度を弁別するように構成され、該特徴抽出部が上記撮像装置により得たステレオ画像に関する信頼度が不十分であることを弁別したときには、該撮像装置による撮影処理を繰返すように制御する制御部を更に備えたたことを特徴とする。
【００５８】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態について説明する。
【００５９】
本発明を構成する各部は、当該各部の機能を実現する各個の装置としても観念できるものであるため、以下、実施の形態の説明に於いてはこれらを装置と称呼する。尚、キャリブレーションデータ保持部はキャリブレーションに係るデータを記憶、保持するキャリブレーションデータ記憶装置として実現される。
【００６０】
（第１の実施の形態）
初めに、第１の実施の形態として、撮影装置自体の内部キャリブレーションについて説明する。
【００６１】
図１は、本発明に於けるキャリブレーションずれ補正装置の第１の基本構成例を示したブロック図である。具体的には、上述したキャリブレーションずれ補正の課題である「ステレオ画像を撮影する撮影装置の内部キャリブレーションパラメータのずれ補正」を解決する装置である。
【００６２】
図１に於いて、このキャリブレーションずれ補正装置１は、各部の装置に制御信号を送ったり全体のシーケンスを司る制御装置２と、状況判断装置３と、特徴抽出装置５と、キャリブレーションデータ補正装置６と、補正結果呈示装置７と、キャリブレーションデータ記憶装置８とを有して構成されている。
【００６３】
このキャリブレーションずれ補正装置１は、ステレオ画像を撮影し、キャリブレーションずれを補正すべき撮影装置１１を、ここでキャリブレーションずれ補正するための装置である。
【００６４】
上記状況判断装置３は、キャリブレーションずれ補正を行うかどうかを判断するためのものである。上記キャリブレーションデータ記憶装置８は、予め撮影装置１１のキャリブレーションデータを記憶しているものである。
【００６５】
また、上記特徴抽出装置５は、上記撮影装置１１で撮影されたステレオ画像からステレオ画像内で対応する特徴を抽出するためのものである。キャリブレーションデータ補正装置６は、特徴抽出装置５で抽出された特徴とキャリブレーションデータを利用して、キャリブレーションずれを補正するものである。補正結果呈示装置７は、この補正結果を報告するようになっている。
【００６６】
補正結果呈示装置７は、本発明の構成要素たる補正結果呈示部をなすものであるが、この補正結果呈示部は後述する表示装置を表示器として自己の構成要素として保有する形態を採り得るが、該補正結果呈示部は、より一般的に、このような表示器までも自己の部分として保有する態様のものに限られず、キャリブレーションずれ補正装置６による補正結果を表す信号に基づいて、補正結果を呈示するための出力信号乃至データを生成する限りの態様を採る場合もあり得る。
【００６７】
図２は、本発明に於けるキャリブレーションずれ補正装置の第２の基本構成例を示したブロック図である。
【００６８】
図２に於いて、このキャリブレーションずれ補正装置２０は、制御装置２と、状況判断装置３と、特徴抽出装置５と、キャリブレーションデータ補正装置６と、補正結果呈示装置７と、キャリブレーションデータ記憶装置８と、レクティフィケーション処理装置４とを有して構成されている。
【００６９】
上記レクティフィケーション処理装置４は、撮影装置１１で撮影されたステレオ画像をレクティフィケーション処理するためのものである。ここでレクティフィケーション処理されたステレオ画像から、ステレオ画像内で対応する特徴が特徴抽出装置５で抽出される。その他の構成は、上述した図１のキャリブレーションずれ補正装置１と同様の構成であるので説明は省略する。
【００７０】
図１に示される第１の基本構成と、図２に示される第２の基本構成との差異は、ステレオ画像をレクティフィケーション処理するレクティフィケーション処理装置４を含む構成であるか否かである。
【００７１】
尚、キャリブレーションずれ補正装置１及び２０内の各装置は、ハードウェアや回路で構成されたもよいし、コンピュータやデータ処理装置のソフトウェアで処理されてもよい。
【００７２】
ここで、第１の実施の形態の具体的説明をする前に、本発明で重要となるステレオ撮影に関する技術的内容について、その概要を説明する。
【００７３】
［数学的準備とカメラモデル］
先ず、ステレオ画像を利用して撮像装置で画像を撮影すると、その画像は、撮像装置内の撮像素子（例えば、ＣＣＤやＣＭＯＳ等の半導体素子）で画像として結像されると共に画像信号となる。この画像信号は、アナログ或いはデジタル信号であるが、キャリブレーションずれ補正装置内では、デジタル画像データとなる。デジタルデータは２次元配列として表現できるが、もちろん六方細密充填のようなハニカム構造の２次元配列でも良いことは当然である。
【００７４】
撮影装置がアナログ画像を送信する場合には、キャリブレーションずれ補正装置内或いはその装置外にフレームメモリを用意して、その画像をデジタル画像に変換する。キャリブレーションずれ補正装置内で規定される画像について、その画素は、正方或いは長方格子状に定義できると仮定する。
【００７５】
いま、画像の座標を（ｕ，ｖ）等の２次元座標で表現することとする。
【００７６】
先ず、図３に示されるように、ステレオ画像を撮影する撮影装置１１は、左右の２台のカメラ１２ａ、１２ｂとから構成されているとする。そして、左画像を撮影するカメラ１２ａを規定する座標系を左カメラ座標系Ｌ、右画像を撮影する座標系を右カメラ座標系Ｒとする。そして、ステレオ画像として、左カメラ内の画像座標を（ｕＬ ，ｖＬ ）、右カメラ内の画像座標値を（ｕＲ ，ｖＲ ）等で表現するとする。尚、１３ａ、１３ｂは、それぞれ左カメラ画像面、右カメラ画像面とする。
【００７７】
また、撮影装置１１の全体が規定する基準座標系を定義することも可能である。この基準座標系を、例えばＷとする。もちろん、基準座標系として、一方のカメラ座標系ＬまたはＲを採用しても良いことは明白である。
【００７８】
いままでは、撮影装置として２台のカメラによるステレオ撮影により、ステレオ画像を生成するものを考えてきたが、これ以外にステレオ画像を生成する方法もある。例えば、１台のカメラの前にステレオアダプタを装着して、同時に左右画像を１台のＣＣＤ或いはＣＭＯＳなどの撮像素子の中に撮影する方法である（例えば、本件出願人による特開平８−１７１１５１号公報等参照）。
【００７９】
このようなステレオアダプタの場合には、図４に示されるように、左ミラー群１４ａ、右ミラー群１４ｂを有するステレオアダプタで撮影される画像は、あたかも２台の撮像装置で２台のフレームメモリが存在するかの如く、通常のステレオカメラに展開することができる。
【００８０】
本発明に於けるステレオ撮影は、このように２台或いは２台以上の複数のカメラで撮影されるステレオ画像でもよい。或いは、ステレオアダプタを利用して撮影されるステレオ画像でもよい。
【００８１】
次に、撮像装置とフレームメモリの光学的特性をピンホールカメラでモデル化することを考える。
【００８２】
すなわち、左画像に関連するピンホールカメラモデルの座標系を左カメラ座標系Ｌとし、右画像に関連するピンホールカメラモデルの座標系を右カメラ座標系Ｒとする。また左カメラ座標系Ｌ内の点を（ｘＬ，ｙＬ，ｚＬ）、その画像対応点を（ｕＬ，ｖＬ）、右カメラ座標系Ｒ内の点を（ｘＲ，ｙＲ，ｚＲ）、その画像対応点を（ｕＲ，ｖＲ）とすると、図３に示されるカメラ位置ＣＬ，ＣＲを考慮しながら、下記式の如く求める。
【００８３】
【数１】
基準座標系で定義される点Ｐ（ｘ，ｙ，ｚ）の左画像内での位置を（ｕＬ，ｖＬ）、右画像内での位置を（ｕＲ，ｖＲ）とし、左画像で想定される撮像装置とフレームメモリに対応する左カメラ１２ａの基準座標系に於ける位置ＣＬ（左カメラ座標系の原点）と、右画像で想定される撮像装置とフレームメモリに対応する右カメラ１２ｂの基準標系に於ける位置ＣＲ （右カメラ座標系の原点）を考えることができる。このとき、基準座標系Ｗの点Ｐ（ｘ，ｙ，ｚ）から左（ｕＬ，ｖＬ）へ射影される変換式と、同一の点から右（ｕＲ，ｖＲ）へ射影される変換式は、以下のように表すことができる。
【００８５】
【数２】
［ディストーション補正］
一方、撮像装置の光学レンズ等のレンズディストーションが３次元計測に要求精度に対して無視できない場合には、レンズディストーションを含めた光学系を考える必要がある。この場合には、上記式（３）、（４）は、以下に示されるような式（６）、（７）で表現することができる。この式では、レンズディストーションを表現するのにラディアルディストーションとタンジェンシャルディストーションを表したものであるが、もちろんこれ以外のディストーション表現であってもよい。
【００８７】
【数３】
また、ディストーション除去或いはディストーション補正のステップとは、例えば、以下のようにして画像を生成することを意味する。
【００８９】
（左画像のディストーション補正）
【数４】
（右画像のディストーション補正）
【数５】
［内部キャリブレーションパラメータとキャリブレーションずれ問題の定義］
２台のカメラから構成されるステレオ画像を撮影する撮影装置の、左カメラの座標系をＬ、右カメラの座標系をＲとして、これらのカメラの位置関係を考える。座標系Ｌと座標系Ｒの間の座標値の関係は、座標変換（回転行列と並進ベクトル）を利用して、下記のように表現することができる。
【００９２】
【数６】
【数７】
【数８】
【数９】
［外部キャリブレーションパラメータとキャリブレーションずれ問題の定義］
先に説明したように、撮影装置と外部装置間のキャリブレーションも考える必要がある。
【００９７】
この場合には、例えば左カメラ座標系Ｌを撮影装置の基準座標系としてとり、左カメラ座標系と外部装置間の間の位置姿勢関係を規定することがキャリブレーションに相当する。例えば、外部装置の座標系をＯとすると、外部装置座標系Ｏから左カメラ座標系Ｌへの座標変換パラメータを式（１７）のようにすると、式（１８）で表される６個のパラメータにより、その位置姿勢関係を記述することができる。
【００９８】
【数１０】
［内部及び外部キャリブレーションパラメータとキャリブレーションずれ問題の定義］
【数１１】
［ステレオ画像に於けるエピポーラ線拘束］
ステレオ画像を用いて画像計測を行う際には、後にも述べるとおり、左右画像内で対応点探索を行うことが重要になる。この対応点探索に関して重要なのがいわゆるエピポーラ線拘束という概念である。以下、図５（ａ）、（ｂ）を参照して説明する。
【０１０１】
【数１２】
この直線のことをエピポーラ線と称する。
【０１０３】
ここで重要なのは、ディストーションが画像内で顕著なときには、ディストーション補正或いは除去を、予め行っておかなければならないということである。また、ディストーション補正された正規化画像に於いても同様に、エピポーラ線拘束が成立する。従って、以下では、先ずディストーション補正され、且つ正規化された画像面内で、本発明で考えるエピポーラ線の定義を行う。
【０１０４】
【数１３】
これが正規化された画像面内でのエピポーラ線（ｅｐｉｐｏｌａｒ ｌｉｎｅ）を表している。
【０１０６】
今までは、正規化された画像面で考えてきたが、ディストーション補正された画像面でも同様にエピポーラ線の方程式を導くことができる。
【０１０７】
【数１４】
［レクティフィケーション処理］
これまでエピポーラ線拘束を左右画像内の特徴点として考えてきたが、それ以外の方法として、レクティフィケーション（ｒｅｃｔｉｆｉｃａｔｉｏｎ）処理というものが、ステレオ画像処理ではよく用いられる。
【０１０９】
以下に、本発明に於けるレクティフィケーションについて説明する。
【０１１０】
レクティフィケーション処理を行うと、左右の画像内で対応する特徴点どうしが同一水平直線上になるという拘束を導くことができる。言い換えれば、レクティフィケーション処理後の画像では、左画像の同一直線上の特徴点群が、右画像上で同一直線をエピポーラ線として定義できることになる。
【０１１１】
図６は、この様子を表したものである。図６（ａ）はレクティフィケーション前の画像を表しており、（ｂ）はレクティフィケーション後の画像を表している。
【０１１２】
このようなレクティフィケーションを実現するために、図６（ａ）、（ｂ）に示されるように、左右カメラ原画像を、互いに水平になるようにそれぞれ変換する。この際、左カメラ座標系Ｌと右カメラ座標系Ｒの原点ＣＬ ，ＣＲ は移動せずに、カメラ座標系の軸のみを変更することにより、新しい左右の画像面を生成するわけである。
【０１１３】
左カメラ座標系Ｌと右カメラ座標系Ｒを、レクティフィケーションした後の座標系をそれぞれＬＲｅｃｔ ，ＲＲｅｃｔ とする。上述したとおり、ＬとＬＲｅｃｔ 、ＲとＲＲｅｃｔ の原点は一致する。
【０１１４】
これから２個の座標系の座標系間の座標変換を考えるが、その前に基準座標系を左カメラ座標系Ｌととることにする。（基準座標系を他にとっても同様である。）
このとき、レクティフィケーション後の左カメラ座標系ＬＲｅｃｔ と右カメラ座標系ＲＲｅｃｔ を以下のように定義する。
【０１１５】
先ず、左カメラ座標系Ｌの原点から右カメラ座標系Ｒの原点へのベクトルを考える。これは、もちろん基準座標系を基準として測ったものである。
【０１１６】
【数１５】
このように設定すると、図６或いは図７で示されるように、正規化された画像空間では、左右の対応点が一直線上（エピポーラ線上）に配置されるようになることは自明である。
【０１１８】
【数１６】
【数１７】
【数１８】
右カメラ系でも同様である。いままでは、ディストーション補正を含まないカメラ系で説明してきたが、ディストーション補正を含む実際の場合には、以下のような方法によればよい。
【０１２２】
【数１９】
［ディストーション除去を含むレクティフィケーションステップ （ＲｅｃＬ及びＲｅｃＲステップ）］
【数２０】
これまでレクティフィケーション処理の方法として、上記のような説明をしたが、レクティフィケーションの方法はこれに限られるものではない。例えば、Ａｎｄｒｅａ Ｆｕｓｉｅｌｌｏ， ｅｔ ａｌ， “Ａ ｃｏｍｐａｃｔ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｒｅｃｔｉｆｉｃａｔｉｏｎ ｏｆ ｓｔｅｒｅｏ ｐａｉｒｓ，” Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ， ２０００， １２： １６−２２に示されている方法でもよい。
【０１２５】
以上、実施の形態を説明するのに必要となる用語の説明と処理の方法について述べたが、以下に、図２に示されるキャリブレーションずれ補正装置に関して具体的に説明する。
【０１２６】
図８は、本第１の実施の形態に於けるキャリブレーションずれ補正装置の詳細な動作を説明するフローチャートである。尚、本実施の形態に於いては、制御装置２の制御によって動作される。
【０１２７】
また、本実施の形態では、ステレオ撮影装置の内部キャリブレーションパラメータを補正する課題、すなわち、上述した課題１−１または課題１−２を解決する具体的な動作を説明する。
【０１２８】
更に、ここでは図２の構成のキャリブレーションずれ補正装置の方式、すなわちレクティフィケーション処理を含めた処理に関する説明を行うが、図１の構成の方式、すなわちレクティフィケーション処理を行わないキャリブレーションずれ補正装置の場合でも、処理の方法は同様である。
【０１２９】
尚、本実施の形態では、キャリブレーションずれ補正処理に必要な特徴として、以下の２種類の特徴が採用される。
【０１３０】
ａ）既知特徴
ある座標系でその相対的位置が特定されている特徴である。例えば、既知特徴ｉとｊがあるとすれば、それらの特徴間の距離ｄｉｊは、予め既知である等の幾何学的制約が明確であるものをいう。
【０１３１】
その例としては、図９（ａ）に示されるように、車両の場合には、ナンバプレート２２の４つのコーナ等が、その特徴の例である（図９内の既知特徴群Ａ）。また、図９（ｂ）に示されるように、車両のボンネット２３上で形状が変化している点等が別の例である（図９内の既知特徴群Ｂ）。
【０１３２】
この場合には、ボンネット２３上に、そうした特徴ｉ，ｊ間の距離は、車両のＣＡＤモデル等で予め設計値が与えられているものである。また、本件出願人による特開２０００−２２７３０９号公報に記載されているような、複数円形マーカ等でもよい。
【０１３３】
上述の既知特徴を得るための外部装置としては、種々のものを適用可能であるが、撮像部が装備された車両の特定の形状部を適用する例としては、既存のナンバプレートやボンネット上で形状が変化している点等の他、例えば、フロントガラスの一部に相対的な位置が既知なマーカを既知特徴として装着し、その３次元位置を予め計測しておく。そして、それらの全部或いは一部がステレオ撮影装置で撮影できるようにしておく例でもよい。
【０１３４】
図９（ｃ）内に示される既知特徴群Ｃは、フロントガラスの一部に既知特徴である黒丸の既知マーカを配置した様子の例を表したものである。この図９（ｃ）に於いて、既知マーカ群は、左右カメラ内でその全部あるいはその一部が撮影できるように配置されているわけである。また、これらのマーカ群は、図９（ｄ）及び（ｅ）に示されるように、ステレオ左右画像の画像周辺部に写り込むように配置されており、重要な映像となる中心部には写り込まないように設計されている。
【０１３５】
ｂ）自然特徴
自然特徴は、既知特徴とは異なり、ステレオ撮影装置で撮影された画像内から抽出される特徴である。一般的には、Ｎａｔｕｒａｌ Ｆｅａｔｕｒｅｓ （Ｎａｔｕｒａｌ Ｍａｒｋｅｒｓ）等ということで表現されることもある。こうした自然特徴の場合には、その自然特徴間の幾何学的距離等の性質が、予め既知でないものを含むわけである。
【０１３６】
以下、本発明では、これら２種類の特徴を利用しながら、キャリブレーションずれ補正を行う方法について説明する。
【０１３７】
更に、キャリブレーションずれ補正の問題と、一般的なキャリブレーションパラメータ推定問題との差異について説明する。一般的なキャリブレーションパラメータ推定問題では、キャリブレーションに関するパラメータの初期推定値が既知でない場合と考えられ、全てのパラメータを算出する必要があるため、多くの計算量を必要とする場合が多い。しかしながら、キャリブレーションずれ補正の問題では、初期推定値が予め与えられており、その初期推定値からのずれを、少ない計算量、或いは少ない特徴数で補正することに主眼が置かれるわけである。
【０１３８】
図８のフローチャートに於いて、先ず、ステップＳ１にて、状況判断装置３によって、キャリブレーションずれを現時点で補正すべきか否かが判断される。判断の方法としては、以下のようなものがある。
【０１３９】
すなわち、キャリブレーションデータ記憶装置に記憶されたキャリブレーションパラメータが過去に設定された時刻や状態等を判断する。例えば、キャリブレーションずれ補正を定期的に行う場合には、その過去の時刻と現在時刻との差をとり、その差がある閾値より大きければ、キャリブレーションずれを補正すべきか判断する。
【０１４０】
また、その他、自動車等の装着された撮影装置の場合等には、車に装着された走行距離メータ（Ｏｄｏｍｅｔｅｒ）等の値から判断してもよい。
【０１４１】
更に、現在の天候や時間がキャリブレーションずれを補正するのに適しているかを判断するなどということも考えられる。例えば、自動車の車外を監視するための撮影装置の場合には、夜や雨等の悪天候の場合には、キャリブレーションずれ補正を避ける等の判断をする。
【０１４２】
以上のような状況をふまえて、キャリブレーションずれ補正が必要と判断された場合には、その旨が制御装置２に告知される。制御装置２がその告知を受けた場合には、ステップＳ２に移行する。一方、キャリブレーションずれ補正が不必要、或いは不可ならば、本ルーチンが終了する。
【０１４３】
ステップＳ２では、撮影装置１１によりステレオ画像が撮影される。この撮影装置１１で撮影される画像は、上述したように、撮影装置１１が撮影する画像はアナログ画像でもデジタル画像でもかまわない。アナログ画像の際には、その画像がデジタル画像に変換される。
【０１４４】
この撮影装置１１で撮影された画像は、左画像と右画像としてキャリブレーションずれ補正装置２０に送出される。
【０１４５】
図１０は左右原画像を表したものであり、（ａ）は左カメラにより撮影された左原画像であり、（ｂ）は右カメラにより撮影された右原画像である。
【０１４６】
次に、ステップＳ３では、レクティフィケーション処理装置１に於いて、過去に記憶されたキャリブレーションデータがキャリブレーションデータ記憶装置８から受け取られて、レクティフィケーション処理が施される。
【０１４７】
【数２１】
レクティフィケーション処理に際して、撮影装置１１を構成する左右のカメラのレンズディストーションが顕著である場合には、上述したＲｅｃＬとＲｅｃＲのステップに従って、レンズディストーション補正のアルゴリズムを含めて処理が行われる。尚、レンズディストーションが無視できる際には、ＲｅｃＬとＲｅｃＲの中のディストーション補正の部分を除いて処理が行われるようにすればよい。
【０１４９】
このようにレクティフィケーション処理された画像は、次の特徴抽出装置５へ送出される。
【０１５０】
図１１はレクティフィケーションされた左右の画像を表したもので、（ａ）は左画像、（ｂ）は右画像である。
【０１５１】
次に、ステップＳ４では、上記ステップＳ３でレクティフィケーションされたステレオ画像について、キャリブレーションずれ補正に必要となる特徴が抽出される。この処理は、特徴抽出装置５で行われる。
【０１５２】
特徴抽出装置５は、例えば、図１２に示されるように、特徴選択部５ａと特徴対応探索部５ｂとから構成されている。特徴選択部５ａでは、レクティフィケーションされたステレオ画像から、キャリブレーションずれを補正するのに有効となりそうな画像特徴が、一方の画像から抽出及び選択される。そして、この特徴選択部５ａで選択された特徴に対応する特徴が、上記特徴対応探索部５ｂにて、他方の画像内で探索されて最適な特徴が抽出され、これらの特徴対の集合がデータとして生成される。
【０１５３】
ここで、上記特徴抽出装置５の特徴選択部５ａ及び特徴対応探索部５ｂの詳細を説明する。
【０１５４】
先ず、特徴選択部５ａでは、キャリブレーションずれ補正に必要となる既知特徴が抽出される。特徴選択部５ａでは、レクティフィケーションされたステレオ画像から、キャリブレーションずれを検出するのに必要となる既知特徴が、一方の画像（例えば左画像）から抽出され、その対応する特徴が、右画像から抽出される。
【０１５５】
【数２２】
次に、同様に自然特徴が抽出される。すなわち、レクティフィケーションされたステレオ画像について、キャリブレーションずれ補正に必要となる自然特徴が抽出される。こうして得られた特徴対のデータは、左右画像レクティフィケーション後の画像座標値として、登録される。
【０１５７】
【数２３】
ここで、特徴選択部５ａに於ける抽出方法について説明する。
【０１５９】
先ず、既知特徴の抽出方法について説明する。
【０１６０】
既知特徴の抽出方法は、いわゆる画像処理の物体認識問題と等価であり、その手法は各種文献で紹介されている。本発明に於ける既知特徴の場合には、予め形状や幾何学的性質がわかっている特徴を画像内から抽出するものである。その方法としては、例えば、Ｗ． Ｅ． Ｌ． Ｇｒｉｍｓｏｎ， Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ ｂｙ Ｃｏｍｐｕｔｅｒ， ＭＩＴ Ｐｒｅｓｓ， １９９０や、Ａ． Ｋｏｓａｋａ ａｎｄ Ａ． Ｃ． Ｋａｋ， “Ｓｔｅｒｅｏ ｖｉｓｉｏｎ ｆｏｒ ｉｎｄｕｓｔｒｉａｌ ａｐｐｌｉｃａｔｉｏｎｓ，” Ｈａｎｄｂｏｏｋ ｏｆ Ｉｎｄｕｓｔｒｉａｌ Ｒｏｂｏｔｉｃｓ， Ｓｅｃｏｎｄ Ｅｄｉｔｉｏｎ， Ｅｄｉｔｅｄ ｂｙ Ｓ． Ｙ． Ｎｏｆ， Ｊｏｈｎ Ｗｉｌｅｙ ＆ Ｓｏｎｓ， Ｉｎｃ．， １９９９， ｐｐ． ２６９−２９４等にも詳細が記載されている。
【０１６１】
例えば、図９に示されるような、車両に装着されたステレオ撮影装置で、車内外に存在する対象物を特徴とする場合を考える。このような場合には、既知特徴として、前方にある車両のナンバプレート２２の４つのコーナや、自車両のボンネット２３の形状内の特徴や、フロントガラス上に装着されたマーカ等を抽出することになる。
【０１６２】
このような既知特徴を抽出する具体的な方法の一実現手段としては、例えば、Ｒａｈａｒｄｊａ ａｎｄ Ｋｏｓａｋａ のＳｐｅｄｇｅ−ａｎｄ−Ｍｅｄｇｅ法（文献：Ｋ． Ｒａｈａｒｄｊａ ａｎｄ Ａ． Ｋｏｓａｋａ， “Ｖｉｓｉｏｎ−ｂａｓｅｄ ｂｉｎ−ｐｉｃｋｉｎｇ： Ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ ｌｏｃａｌｉｚａｔｉｏｎ ｏｆ ｍｕｌｔｉｐｌｅ ｃｏｍｐｌｅｘ ｏｂｊｅｃｔｓ ｕｓｉｎｇ ｓｉｍｐｌｅ ｖｉｓｕａｌ ｃｕｅｓ，” Ｐｒｏｃｅｅｄｉｎｇ ｏｆ １９９６ ＩＥＥＥ／ＲＳＪ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｓ ａｎｄ Ｓｙｓｔｅｍｓ， Ｏｓａｋａ， Ｊａｐａｎ， Ｎｏｖｅｍｂｅｒ， １９９６．）により、画像を小領域に分割して、その中から関心領域と思われる領域を選択し、関心領域と予め登録された既知特徴間のマッチングを行うことで、正しい既知特徴を抽出する方法がある。
【０１６３】
また、Ｇｒｉｍｓｏｎの文献（Ｗ． Ｅ． Ｌ． Ｇｒｉｍｓｏｎ， Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ ｂｙ Ｃｏｍｐｕｔｅｒ， ＭＩＴ Ｐｒｅｓｓ， １９９０）や、Ｋｏｓａｋａ ａｎｄ Ｋａｋの文献（Ａ． Ｋｏｓａｋａ ａｎｄ Ａ． Ｃ． Ｋａｋ， “Ｓｔｅｒｅｏ ｖｉｓｉｏｎ ｆｏｒ ｉｎｄｕｓｔｒｉａｌ ａｐｐｌｉｃａｔｉｏｎｓ，” Ｈａｎｄｂｏｏｋ ｏｆ Ｉｎｄｕｓｔｒｉａｌ Ｒｏｂｏｔｉｃｓ， Ｓｅｃｏｎｄ Ｅｄｉｔｉｏｎ， Ｅｄｉｔｅｄ ｂｙ Ｓ． Ｙ． Ｎｏｆ， Ｊｏｈｎ Ｗｉｌｅｙ ＆ Ｓｏｎｓ， Ｉｎｃ．， １９９９， ｐｐ． ２６９−２９４）に記載されているように、エッジ成分を抽出した後、そのエッジの形状や曲率などを計算しながら、既知特徴を抽出する方法等がある。本発明では、ここで説明した如何なる方法でもよい。
【０１６４】
図１３は、この抽出結果の一例を表した図である。図１３に於いては、既知特徴として、特徴点から構成され、それぞれの３次元位置関係が既知である既知特徴点群Ａ１と既知特徴点群Ａ２とが抽出され、且つ選択された例である。
【０１６５】
次に、自然特徴の抽出方法について説明する。
【０１６６】
先ず、特徴選択部５ａでは、一方の画像、例えば左画像の中に於いて、キャリブレーションずれ補正に有効となりそうな特徴が選択される。例えば、特徴として、特徴点を候補にする際には、先ずレクティフィケーションされた左画像が、図１４に示されるように、Ｍ×Ｎ個の正方形から成る小ブロックに分割され、その各ブロック内の画像から多くとも１個のコーナポイント等の特徴点が抽出される。
【０１６７】
この方法としては、例えば、参考文献： Ｒ． Ｈａｒａｌｉｃｋ ａｎｄ Ｌ． Ｓｈａｐｉｒｏ， Ｃｏｍｐｕｔｅｒ ａｎｄ Ｒｏｂｏｔ Ｖｉｓｉｏｎ， Ｖｏｌｕｍｅ ＩＩ， ｐｐ． ３３２ ＿ ３３８， Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ， １９９３にあるような Ｉｎｔｅｒｅｓｔ ＯｐｅｒａｔｏｒやＣｏｒｎｅｒ Ｐｏｉｎｔ Ｅｘｔｒａｃｔｉｏｎ法等を利用すればよい。または、各ブロック内でエッジ成分が抽出されて、その強度がある閾値以上のエッジ点をもって特徴点とされてもよい。
【０１６８】
ここで重要なのは、あるブロック内が全く均一な領域のみで構成されている場合には、その領域からは特徴点が選択されない可能性もあるという点である。このようにして選択された特徴点の例が、図１５に示される。この図１５に於いて、○で示された点２５が、このようにして選択された特徴である。
【０１６９】
次に、特徴対応探索部５ｂについて説明する。
【０１７０】
一方の画像から特徴選択部５ａで選択された特徴に関して、他方の画像内で、対応する特徴を抽出するのが特徴対応探索部５ｂの機能である。特徴対応探索部５ｂでは、以下の方法により対応する特徴が探索される。
【０１７１】
ここで、探索範囲の設定について説明する。
【０１７２】
上記ステップＳ３で作成されたレクティフィケーション処理後の画像は、キャリブレーションデータ記憶装置８から過去に記憶されたキャリブレーションデータが使用されたものである。従って、キャリブレーションずれがある場合には、エピポーラ線上に対応点があるとは限らない。故に、対応探索される範囲は、想定される最大のキャリブレーションずれにも適合する対応探索範囲が設定されることがある。実際には、左画像内の特徴（ｕ，ｖ）に対応する右画像内のエピポーラ線の上下にある領域が用意される。
【０１７３】
【数２４】
次に、エリアベースマッチングによる対応探索について説明する。
【０１７５】
上述した探索範囲の設定により決定された探索領域内で、最適な対応が探索される。最適な対応が探索される方法としては、例えば、文献 Ｊ． Ｗｅｎｇ， ｅｔ ａｌ， Ｍｏｔｉｏｎ ａｎｄ Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｉｍａｇｅ Ｓｅｑｕｅｎｃｅｓ， Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ， ｐｐ． ７ ＿ ６４， １９９３に示される方法等がある。または、左画像内の特徴に近傍の領域を利用して、その領域の画素値に最も類似した画像領域を右画像内の対応探索領域内で探索する方法でもよい。
【０１７６】
【数２５】
これらの類似度或いは非類似度の値が利用されることで、それぞれマッチングのクオリティ或いは信頼度を考えることができる。例えば、ＳＡＤを考えた場合、そのＳＡＤの値が対応点付近では、ピークの鋭い小さな値を得れば、その対応点の信頼度は高いということができる。このように最適と判断された対応点毎に、その信頼度を考えるわけである。その対応点（ｕ′，ｖ′）が決定される。もちろん信頼度を考慮する場合には、
対応点対応点（ｕ′，ｖ′）： 信頼度が閾値以上
対応点なし ： 信頼度が閾値未満
というようにすることも可能である。このように信頼度を考慮する場合には、もちろん未対応点を有する画素が左画像或いは右画像に存在することになる。
【０１７８】
【数２６】
このように、対応のとれた右画像内に於ける特徴が、図１７に示される。図１７に於いて、○で示された点２６が、このようにして対応のとれた右画像内の特徴点を表している。
【０１８０】
図８のフローチャートに戻って、ステップＳ５では、特徴抽出装置５にて更に、上記ステップＳ４で登録された特徴対の数や信頼度がチェックされる。このステップで排除される条件は以下の通りである。
【０１８１】
すなわち、１つ目は、登録された特徴の中で、相対的な距離が既知のものが１組もない場合には、キャリブレーションずれ補正ができないとして、再度ステップＳ１に移行して撮影処理等が繰り返される。２つ目は、登録された特徴対の数が、ある所定の数より少ない場合には、撮影されたステレオ画像は不適切であったと判定でき、再度ステップＳ１に移行して撮影処理等が繰り返される。
【０１８２】
この撮影処理の繰り返しは、特徴抽出装置５の出力データに基づいて制御装置２から発せられる制御指令によって行われる。この点は、図１、２、２１、２３、２５及び２８の各構成に於いて同様である。
【０１８３】
一方、上述した排除の条件に該当せず、信頼性のある特徴対が得られたと判断された場合には、特徴対の集合がキャリブレーションデータ補正装置６へ送出される。
【０１８４】
続くステップＳ６では、上記ステップＳ４で抽出された特徴が利用されて、キャリブレーションデータの補正が行われる。これは、キャリブレーションデータ補正装置６にて行われる。ここでは、先ず、キャリブレーションデータを補正するために必要となる数学的記述を行うことから始める。尚、ここでは、自然特徴或いは既知特徴の対応関係が与えられた場合に、どのような拘束条件があるかについて、先ず説明する。
【０１８５】
［自然特徴に関する拘束条件］
【数２７】
【数２８】
【数２９】
【数３０】
［既知特徴間の拘束条件］
【数３１】
【数３２】
以上説明してきた拘束条件が利用されながら、キャリブレーションデータ補正装置６では、キャリブレーションデータが補正される。
【０１９２】
【数３３】
具体的には、拡張カルマンフィルタが利用される。その詳細は、例えば、文献Ａ． Ｋｏｓａｋａ ａｎｄ Ａ． Ｃ． Ｋａｋ， “Ｆａｓｔ ｖｉｓｉｏｎ−ｇｕｉｄｅｄ ｍｏｂｉｌｅ ｒｏｂｏｔ ｎａｖｉｇａｔｉｏｎ ｕｓｉｎｇ ｍｏｄｅｌ−ｂａｓｅｄ ｒｅａｓｏｎｉｎｇ ａｎｄ ｐｒｅｄｉｃｔｉｏｎ ｏｆ ｕｎｃｅｒｔａｉｎｔｉｅｓ，” Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｇｒａｐｈｉｃｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ ＿ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ， Ｖｏｌ． ５６， Ｎｏ． ３， Ｎｏｖｅｍｂｅｒ， ｐｐ．２７１−３２９， １９９２に説明されているので、ここではその概略だけを説明する。
【０１９４】
【数３４】
具体的には、以下のようなステップをとる。
【０１９６】
［拡張カルマンフィルタステップ］
【数３５】
このような更新が、全ての制約式について繰り返し行われるとで、パラメータｐは、徐々に更新され、ｐに関する推定誤差共分散行列が示す個々のパラメータの分散値が小さくなり、ｐの更新をロバストに行うことができる。
【０１９８】
こうした拡張カルマンフィルタの方式を、キャリブレーションずれ補正の方法に具体的に適用すると、以下のようになる：
サブステップＳ−１：
【数３６】
サブステップＳ―２：
【数３７】
サブステップＳ−３：
【数３８】
このような方式をとることにより、キャリブレーションパラメータの補正を容易に行うことが可能となる。
【０２０２】
また、上記の方法では、画像内での測定値に異常値や、対応点探索には誤対応がないと仮定したが、実際にはそのような異常値除去や誤対応除去を行うことも重要である。その方法に関しては、例えば、文献 Ａ． Ｋｏｓａｋａ ａｎｄ Ａ． Ｃ． Ｋａｋ， “Ｆａｓｔ ｖｉｓｉｏｎ−ｇｕｉｄｅｄ ｍｏｂｉｌｅ ｒｏｂｏｔ ｎａｖｉｇａｔｉｏｎ ｕｓｉｎｇ ｍｏｄｅｌ−ｂａｓｅｄ ｒｅａｓｏｎｉｎｇ ａｎｄ ｐｒｅｄｉｃｔｉｏｎ ｏｆ ｕｎｃｅｒｔａｉｎｔｉｅｓ，” Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｇｒａｐｈｉｃｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ ＿ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ， Ｖｏｌ． ５６， Ｎｏ． ３， Ｎｏｖｅｍｂｅｒ， ｐｐ．２７１−３２９， １９９２、或いは、Ａ． Ｋｏｓａｋａ ａｎｄ Ａ． Ｃ． Ｋａｋ， “Ｓｔｅｒｅｏ ｖｉｓｉｏｎ ｆｏｒ ｉｎｄｕｓｔｒｉａｌ ａｐｐｌｉｃａｔｉｏｎｓ，” Ｈａｎｄｂｏｏｋ ｏｆ Ｉｎｄｕｓｔｒｉａｌ Ｒｏｂｏｔｉｃｓ， Ｓｅｃｏｎｄ Ｅｄｉｔｉｏｎ， Ｅｄｉｔｅｄ ｂｙ Ｓ． Ｙ． Ｎｏｆ， Ｊｏｈｎ Ｗｉｌｅｙ ＆ Ｓｏｎｓ， Ｉｎｃ．， １９９９， ｐｐ． ２６９−２９４ 等に詳しく説明されているのでここでは詳細を省略する。もちろんそのような方法を利用してもよい。
【０２０３】
【数３９】
ステップＳ７では、キャリブレーションずれ補正装置２０が算出された信頼度に基づいて、キャリブレーションずれ補正装置で算出された補正パラメータが信頼おけるデータであるか否かが判定される。このデータが信頼できる場合には、ステップＳ８へ移行し、そうでない場合には、上記ステップＳ１に移行してキャリブレーションずれ補正のステップが繰り返される。
【０２０５】
ステップＳ８では、上記ステップＳ７で判定された結果が、補正結果呈示装置７によって呈示される。加えて、更新されたキャリブレーションデータはキャリブレーションデータ記憶装置８に格納される。
【０２０６】
図１８は、補正結果呈示装置７の一例を示した図である。本実施の形態では、補正結果呈示装置７として、表示装置を利用したものであり、より具体的には、ディスプレイやＬＣＤモニタ等で構成されている。もちろんこのディスプレイは、別の用途のディスプレイでもよく、そのディスプレイの画面一部分を利用して、補正結果を表示するものでもよいし、補正結果表示のために、画面表示のモードを切り替えるタイプのものでもよい。
【０２０７】
本発明の実施の形態に於けるこの補正結果表示装置７は、上記制御装置２乃至キャリブレーションデータ補正装置との協働によりキャリブレーションずれ補正に係る処理動作中である旨を表示可能に構成され（すなわち、この旨を表示するインジケータとして機能し）、また、上記ずれ補正に係る処理の結果として得られたパラメータと上記キャリブレーションデータ保持部に予め保持されていたパラメータとの差異を表わす情報を表示可能になされ、更に、上記ずれ補正に係る信頼度を表すステータスを表示可能になされ、更にまた、正規のずれ補正が行われ得なかったときにはその旨を表すエラーコードを表示可能に構成される。
【０２０８】
図１８の表示では、３個のカラムＡ、Ｂ、Ｃを有しており、それぞれのカラムに結果を表示されるようになっている。
【０２０９】
カラムＡの部分は、キャリブレーションずれ補正中にはフラッシュすることになり、補正の結果が得られたときには、カラムＢの部分にずれ量や補正量に関する結果等が表示される。また、カラムＣの部分には、ずれ補正に関わる信頼度が表示される。信頼度（ステータス）に加えて、上述したステップＳ５、Ｓ６で示される途中結果や補正処理に関わるエラーコード等が表示されるようになっている。
【０２１０】
このような方法をとることにより、補正の各種モードや処理結果が、ユーザ或いはステレオ撮影装置等をメンテナンスする作業者等に、効果的に表示することが可能となる。
【０２１１】
その他のずれ補正結果の呈示方法としては、音声のよる呈示、警報アラームや音源による呈示等を考えることができる。
【０２１２】
尚、上述の表示装置は、キャリブレーション補正装置を含んで構成される距離画像処理システム並びに制御装置と機能的に結合されて、キャリブレーション補正装置（その内部のキャリブレーションずれ補正部）や演算部（距離を算出するための機能部）、並びに、上記撮像部（撮像装置）の出力に関連した所要の表示をユーザ（運転者）に認識され得るように行うものであり、上述したように補正結果呈示装置乃至同装置の部分としても機能する。
【０２１３】
図１９は、上述した図８のフローチャートを変形した動作フローチャートである。
【０２１４】
図１９に於いて、図８のフローチャートと異なるのは、ステップＳ１７、Ｓ１８及びＳ１９である。その他のステップＳ１１〜Ｓ１６は、図８のフローチャートに於けるステップＳ１〜Ｓ６と同様であるので、ここでは説明を省略する。
【０２１５】
ステップＳ１７では、先ずキャリブレーションずれの補正パラメータ等の結果が、ユーザや作業員等に呈示される。その後、ステップＳ１８にて、その補正結果が充分信頼おけるか否かが、ユーザや作業員により判断される。その結果に応じて、ステップＳ１９に移行してキャリブレーションデータ記憶装置８に記憶されるか、上記ステップＳ１１に移行して処理が繰り返される。
【０２１６】
以上のような方法により、より高信頼度のキャリブレーションずれ補正を実現することができる。
【０２１７】
尚、上述した方法では、ステップＳ３にてレクティフィケーション処理が行われることが前提とされて説明してきたが、図２０のフローチャートに示されるように、もちろんレクティフィケーション処理を省いて、全体の処理を行うことも可能である。その際には、エピポーラ線拘束は必ずしも水平線にならないということがあり、特徴点の対応探索上、処理量が増えるが、基本構成的には同様の効果が得られることは明白である。
【０２１８】
この図２０のフローチャートに於けるステップＳ２１〜Ｓ２２、２４〜２７は、それぞれ図８のフローチャートに於けるステップＳ１〜Ｓ２、Ｓ５〜Ｓ８と同様であり、ステップＳ２３でステレオ画像から特徴が抽出される動作のみが異なるだけである。従って、ここでの各ステップの動作説明は省略する。
【０２１９】
（第２の実施の形態）
次に、本発明の第２の実施の形態を説明する。
【０２２０】
この第２の実施の形態としては、ステレオ撮影装置と外部装置間の位置姿勢ずれのキャリブレーション補正について説明する。
【０２２１】
上述した第１の実施の形態では、ステレオ撮影装置内部のキャリブレーションパラメータ（課題１−１、課題１−２）の補正について述べた。この第２の実施の形態では、ステレオ撮影装置と外部装置間の位置姿勢ずれ（課題２）のキャリブレーション補正を行う方法について述べる。
【０２２２】
図２１は、本発明の第２の実施の形態に於けるキャリブレーションずれ補正装置の基本構成を示すブロック図である。
【０２２３】
図２１に於いて、ステレオ画像を撮影してキャリブレーションずれを補正すべき撮影装置１１が、キャリブレーションずれ補正装置３０でキャリブレーションずれ補正される。
【０２２４】
キャリブレーションずれ補正装置３０は、図２に示されるキャリブレーションずれ補正装置２０と同様に、制御装置２と、状況判断装置３と、レクティフィケーション処理装置４と、特徴抽出装置５と、キャリブレーションデータ補正装置６と、補正結果呈示装置７と、キャリブレーションデータ記憶装置８とから構成されている。更に、基準位置を規定する外部装置３１が加わっている。すなわち、ステレオ撮影装置の位置姿勢を、外部装置が規定する座標系に基づいて、測定したキャリブレーションデータを補正する方法を表している。
【０２２５】
【数４０】
尚、キャリブレーションずれ補正装置３０内の各装置は、ハードウェアや回路で構成されたもよいし、コンピュータやデータ処理装置のソフトウェアで処理されてもよい。
【０２２７】
ここで、本第２の実施の形態で利用される特徴について簡単に説明する。
【０２２８】
具体的には、既知特徴のみが扱われる。且つ、その特徴は、外部装置を基準として、その位置が規定されている特徴のみが利用される。例えば、図９に示されるように、車両を外部装置とするときには、車両前方にある既知特徴が利用される。
【０２２９】
【数４１】
図２２は、本第２の実施の形態に於けるキャリブレーションずれ補正装置の詳細な動作を説明するフローチャートである。尚、本実施の形態に於いては、制御装置２の制御によって動作される。
【０２３１】
基本的なステップは、図８に示される第１の実施の形態のフローチャートと同様である。すなわち、ステップＳ３１〜Ｓ３３、Ｓ３５、Ｓ３７〜Ｓ３８は、上述した図８のフローチャートに於けるステップＳ１〜Ｓ３、Ｓ５、Ｓ７〜Ｓ８と同様であり、ステップＳ３４及びＳ３６が異なっている。従って、以下の説明では、異なるステップのみ説明する。
【０２３２】
ステップＳ３４に於いて、レクティフィケーションされた画像から抽出される特徴は、上述したように既知特徴のみとする。その特徴抽出方法に関しては、上述した第１の実施の形態で詳細に説明したので、ここでは説明は省略する。
【０２３３】
【数４２】
そして、ステップＳ３６では、キャリブレーションずれの補正が行われる。
【０２３５】
【数４３】
［ステレオ撮影装置と外部装置間の位置姿勢パラメータに関する拘束条件］
【数４４】
【数４５】
【数４６】
以上のようなステップの処理動作を施すことによって、ステレオ撮影装置と外部装置間の位置姿勢ずれのキャリブレーション補正を行うことができる。
【０２４０】
尚、上述した方法では、ステップＳ３３でレクティフィケーション処理を行うことを前提として説明してきたが、もちろんレクティフィケーション処理を省いて、全体の処理を行うことも可能である。その際には、エピポーラ線拘束は必ずしも水平線にならないということがあり、特徴点の対応探索上、処理量が増えるが、基本構成的には同様の効果が得られることは明白である。
【０２４１】
（第３の実施の形態）
次に、第３の実施の形態として、外部装置と撮影装置間のキャリブレーションと撮影装置自体のキャリブレーションについて説明する。
【０２４２】
第３の実施の形態では、ステレオ撮影装置の内部キャリブレーションパラメータに関するキャリブレーションずれと、外部装置とステレオ撮影装置間の位置姿勢ずれのキャリブレーション補正を行う方法について説明する。
【０２４３】
この第３の実施の形態で利用する特徴としては、上述した第１の実施の形態の場合に含まれる自然特徴と、第２の実施の形態の場合に含まれる既知特徴を含んでいる。
【０２４４】
図２３は、本発明の第３の実施の形態に於けるキャリブレーションずれ補正装置の基本構成例を示したブロック図である。
【０２４５】
図２３に於いて、ステレオ画像を撮影してキャリブレーションずれを補正すべき撮影装置１１が、キャリブレーションずれ補正装置３３でキャリブレーションずれ補正される。
【０２４６】
キャリブレーションずれ補正装置３３は、制御装置２と、状況判断装置３と、レクティフィケーション処理装置４と、特徴抽出装置５と、キャリブレーションデータ補正装置６と、補正結果呈示装置７と、キャリブレーションデータ記憶装置８とから構成されている。すなわち、図２１に示される第２の実施の形態のキャリブレーションずれ補正装置３０と、構成上は同じである。
【０２４７】
ここでキャリブレーションずれ補正装置３３内の各装置は、ハードウェアや回路で構成されたもよいし、コンピュータやデータ処理装置のソフトウェアで処理されてもよい。
【０２４８】
また、図２４は、本発明の第３の実施の形態に於けるキャリブレーションずれ補正装置の動作を説明するフローチャートである。
【０２４９】
基本的なステップは、図２２に示される第２の実施の形態のフローチャートと同様である。すなわち、ステップＳ４１〜Ｓ４３、Ｓ４５、Ｓ４７〜Ｓ４８は、上述した図２２のフローチャートに於けるステップＳ３１〜Ｓ３３、Ｓ３５、Ｓ３７〜Ｓ３８と同様であり、ステップＳ４４及びＳ４６が異なっている。従って、以下の説明では、異なるステップのみ説明する。
【０２５０】
ステップＳ４４では、既知特徴と自然特徴の両方が抽出される。
【０２５１】
そして、ステップＳ４６では、既知特徴と自然特徴の両方が利用されながら、以下の２つのサブステップにより、キャリブレーションパラメータの補正が行われる。
【０２５２】
より具体的には、キャリブレーションデータ補正装置内に於いて、サブステップＣ１として、ステレオ撮影装置の内部キャリブレーションパラメータのキャリブレーションずれが、上述した第１の実施の形態の方法で行われる。また、サブステップＣ２として、上記サブステップＣ１で得られたステレオ内部キャリブレーションパラメータを正しい値として、次に上述した第２の実施の形態で説明した方法により、外部装置とステレオ撮影装置間の位置姿勢ずれのキャリブレーション補正が行われることにより実施される。
【０２５３】
以上のような構成及び処理手順によって、ステレオ撮影装置の内部キャリブレーションパラメータに関するキャリブレーションずれと、外部装置とステレオ撮影装置間の位置姿勢ずれのキャリブレーション補正を行うことが可能になるわけである。
【０２５４】
（第４の実施の形態）
次に、第４の実施の形態として、キャリブレーションずれ検出機能の追加について説明する。
【０２５５】
本第４の実施の形態では、キャリブレーションずれ検出装置を更に導入することで、補正処理をより効率化することを行う。
【０２５６】
図２５は、本発明の第４の実施の形態に於けるキャリブレーションずれ補正装置の基本構成例を示したブロック図である。
【０２５７】
図２５に於いて、ステレオ画像を撮影してキャリブレーションずれを補正すべき撮影装置１１が、キャリブレーションずれ補正装置３５でキャリブレーションずれ補正される。
【０２５８】
キャリブレーションずれ補正装置３５は、制御装置２と、状況判断装置３と、レクティフィケーション処理装置４と、特徴抽出装置５と、キャリブレーションデータ補正装置６と、補正結果呈示装置７と、キャリブレーションデータ記憶装置８と、更にキャリブレーションずれ判定装置３６とを有して構成されている。
【０２５９】
すなわち、上述した第３の実施の形態で説明した図２３の構成の装置に加えて、特徴抽出装置５から抽出された特徴に基づいてキャリブレーションずれの有無判定及びずれ種類を決定するキャリブレーションずれ判定装置３６を備えている。そして、キャリブレーションずれ判定装置３６でずれありと判定された場合に、ずれ種類に基づいてキャリブレーションデータ記録装置８に記憶されたキャリブレーションデータに関するキャリブレーションずれが、キャリブレーションデータ補正装置６で補正される。
【０２６０】
このように、キャリブレーションずれ判定装置３６が付加されることで、キャリブレーションずれ判定及びずれの種類を特定することが可能となる。従って、ずれに特化したキャリブレーションずれの補正をすることが可能となり、無駄な計算処理を省くことが可能となる。
【０２６１】
ここで、キャリブレーションずれ補正装置３５内の各装置は、ハードウェアや回路で構成されたもよいし、コンピュータやデータ処理装置のソフトウェアで処理されてもよい。
【０２６２】
図２６は、本発明の第４の実施の形態に於けるキャリブレーションずれ補正装置の動作を説明するフローチャートである。
【０２６３】
基本的なステップは、図１９に示されるフローチャートと同様である。すなわち、ステップＳ５１〜Ｓ５５、Ｓ５８〜Ｓ６０は、上述した図１９のフローチャートに於けるステップＳ１１〜Ｓ１５、Ｓ１７〜Ｓ１９と同様であり、ステップＳ５６及びＳ５７が異なっている。従って、以下の説明では、異なるステップのみ説明する。
【０２６４】
先ず、ステップＳ５６の処理動作について説明する。
【０２６５】
キャリブレーションずれ検出には、以下の３つの判定がある。
【０２６６】
（判定１）自然特徴或いは既知特徴のエピポーラ線拘束からのずれがあるかどうかを判定する。
【０２６７】
（判定２）キャリブレーションデータ記憶装置に登録された既知特徴間の距離が、ステレオ画像で撮影された既知特徴によって計測された距離と等しいかどうかを判定する。
【０２６８】
（判定３）基準位置を規定する外部装置を基準として、キャリブレーションデータ記憶装置にその３次元位置が登録された既知特徴について、キャリブレーションデータにずれがないと仮定したときに、ステレオ撮影装置が撮影する左右画像の所定位置に、その既知特徴が存在するかを判定する。
【０２６９】
そして、上記の判定結果を、正しいとき○、誤りのとき×とすれば、以下の３つのケースの可能性があることがわかる。
【０２７０】
【数４７】
もちろん、これらの判定に関しては、ずれ判定に関する計測誤差が多少あることを踏まえて、測定誤差許容範囲を考慮して判定することが重要である。
【０２７２】
次に、上記判定１の方法を説明する。
【０２７３】
特徴抽出装置５で抽出され対応のとれたｎ個の自然特徴或いは既知特徴に関して、事前に得られているキャリブレーションデータに基づいてレクティフィケーションされた特徴対の画像座標値が利用される。すなわち、キャリブレーションデータのずれが全くないとすれば、登録された特徴対は、完全にエピポーラ線拘束を満たしていることになる。逆に言えば、キャリブレーションずれが生じている場合には、このエピポーラ線拘束が満たされていないと判断できる。
【０２７４】
そこで、特徴対全体として、どの程度エピポーラ線拘束が満たされていないかを評価値として、キャリブレーションずれを判定することにする。
【０２７５】
【数４８】
図２７は、この様子を示したものである。図２７に於いて、各特徴に関して、エピポーラ線からのずれｄｉは、特徴点のエピポーラ線からの画像内距離に対応するわけである。
【０２７７】
また、上記判定方法１で説明した方法で、対応探索の信頼度が高いときには良好な結果が得られる。
【０２７８】
【数４９】
このような場合には、ノイズ成分と思われる異常値を予め取り除いた後に平均を取る作業により、キャリブレーションずれを判定する方法が有効である。
【０２８０】
【数５０】
次に、判定２の方法について説明する。
【０２８２】
【数５１】
もちろん、この計算では、キャリブレーションずれがないと仮定して、キャリブレーションデータ記憶装置８が記憶したキャリブレーションパラメータを利用して計算される。こうして得られた既知特徴の間の距離が算出され、その距離と予めキャリブレーションデータ記憶装置８内の登録された既知特徴点間の距離との間にどの程度の差があるかが、上記式（５９）に基づいて算出される。その差が所定の閾値より小さければ、ずれなしと判断され、大きければ、ずれありと判断される。
【０２８４】
更に、判定３の方法について説明する。
【０２８５】
ステレオ画像内で、先ず既知特徴が利用されて、その既知特徴が画像内であるべき位置にあるかが判定される。
【０２８６】
【数５２】
【数５３】
【数５４】
もちろん、この画像内での位置は、キャリブレーションデータが全て正しいと仮定した場合に成立する式である。従って、上記式（４１）の集合Ｂで表される画像内での位置と、キャリブレーションデータが正しいと仮定した場合の画像位置との差が計算されることにより、キャリブレーションずれが起こっているか否かが判定されるわけである。
【０２９０】
【数５５】
ここで、閾値ｔｈｒｅｓｈｏｌｄを超えた場合には、少なくともキャリブレーションずれが起こっていることがわかる。また、上述した第１の実施の形態で説明したのと同様に、異常値除去等の処理をこの中に含んでもかまわない。
【０２９２】
【数５６】
すなわち、上述したサブステップＣ１によってキャリブレーションずれが少なくとも起きているか否かを判定することができる。
【０２９４】
次に、ステップＳ５７の処理動作について説明する。
【０２９５】
キャリブレーションずれ判定装置３６で判定されたずれ有無とずれ分類の結果を踏まえて、キャリブレーションデータ補正装置６にてキャリブレーションずれが補正されるわけである。すなわち、キャリブレーションずれがあると判定された場合には、以下の３つの方法によりキャリブレーションずれ補正を行えばよい。
【０２９６】
【数５７】
以上のように、キャリブレーションずれ検出装置を更に導入することで、補正処理に関して、補正すべきパラメータを分類したり決定することが可能となるので、より信頼度が高く、効率的な補正処理を行うことが可能である。もちろん、本第４の実施の形態で説明したキャリブレーションずれ検出装置は、上述した第１乃至第３の実施の形態に応用することが可能であると共に、後述する第５或いは第６の実施の形態でも利用することが可能であることは明白である。
【０２９８】
（第５の実施の形態）
次に、本発明の第５の実施の形態として、車載に特化した例について説明する。
【０２９９】
上述した第１乃至第４の実施の形態では、状況判断装置について詳細には説明していないが、この第５の実施の形態では、この状況判断装置の機能を中心に説明する。
【０３００】
図２８は、本発明の第５の実施の形態に於けるキャリブレーションずれ補正装置の基本構成例を示したブロック図である。
【０３０１】
この第５の実施の形態のキャリブレーションずれ補正装置の構成が上述した第１乃至第４の実施の形態と異なるのは、外部センサ３９が、キャリブレーションずれ補正装置３８内の状況判断装置３に、各種のセンサ出力の信号を与えることである。また、必要に応じて、キャリブレーションずれ検出に関わる情報が、キャリブレーションデータ記憶装置８に送出され、その情報が、キャリブレーションデータ記憶装置８に書き込まれる点も異なる。
【０３０２】
尚、この図２８に示される構成の第５の実施の形態に於けるキャリブレーションずれ補正装置３８に関する処理動作は、上述した第１乃至第３の実施の形態で説明したものと同様である。従って、動作フローチャートは、図８、図１９、図２２及び図２４のフローチャートを参照するものとして、ここでの説明は省略する。
【０３０３】
以下の説明では、状況判断装置３の応用として、車両にステレオ撮影装置を装着した場合について説明する。もちろん、本方式は、車両用の車載ステレオ撮影装置に限るものではなく、その他の監視カメラシステム等にも応用が可能であることは明白である。
【０３０４】
状況判断装置に接続される外部センサとしては、走行距離計、時計或いはタイマ、温度センサ、車両傾斜計測センサ或いはジャイロセンサ、車速センサ、エンジン始動センサ、日射センサ、雨滴センサ等がある。そして、状況判断装置３では、以下のような条件で、車載応用に必要な条件に基づいて、キャリブレーションずれの検出が現在必要であるか否かが判定されるわけである。
【０３０５】
【数５８】
次に、状況判断装置３が、どのようにキャリブレーション検出をすべきか、その状況判断の方法を説明する。
【０３０７】
本装置では、キャリブレーションずれ検出を行う条件として、車両が停止しているときに行う、以前ずれ検出したときから、少なくとも一定時間Ｔを経た後に行う、晴天で昼間に行う、等の条件が成立するときに行う場合について説明する。
【０３０８】
先ず、１つ目の条件を満たすために、車速センサ或いはジャイロセンサ等で、車両が移動していないことが確認される。次いで、２つ目の条件を満たすために、過去にキャリブレーションずれ補正が行われたときの時刻と時計等から算出される現時刻との時間差が算出される。そして、３つ目の条件３に関しては、日射センサや雨滴センサ等が利用されて、条件が満たされるかどうかが判断される。
【０３０９】
このようにして、キャリブレーションずれ補正が実行されると、その結果は補正結果呈示装置７に送出される。そして補正結果は、キャリブレーションデータ記憶装置８に書き込まれる。
【０３１０】
また、車載応用の場合には、既知特徴として、更にいろいろなバリエーションを考えることができる。すなわち、各種道路交通法で大きさや位置が規格が決定しているもの、その他条例等で規格が決定するものについては、その規格に基づく形状を、本キャリブレーションずれ補正装置のための既知特徴として、利用することが可能である。こうした規格が決定しているものとしては、標識、車両に装着されているナンバプレート、横断歩道、白線の距離間隔、等を考えることができる。
【０３１１】
更に、車両に応じて、車両の一部が視野の一部に入っている場合には、その車両の一部を既知な特徴として登録しておき、その特徴間の相対的距離も利用して、キャリブレーション補正を行う。こうした例については、上述した第１の実施の形態で説明したとおりであるので、説明は省略する。
【０３１２】
また、ユーザやメインテナンス作業者が、積極的にキャリブレーションずれ補正を行うことも考えられる。すなわち、ユーザ等が、撮影装置前に大きさや形状が既知なキャリブレーションパターンを呈示し、そのキャリブレーションパターンをステレオ撮影装置で撮影することにより、キャリブレーション補正することも可能である。
【０３１３】
このキャリブレーションパターンとしては、図２９に示されるように、平面の格子状にキャリブレーションパターンが配置されているキャリブレーションボードでもよい。或いは、図３０に示されるように、コーナキューブの３平面の格子状にキャリブレーションパターンが配置されているキャリブレーション治具であってもよい。
【０３１４】
以上のような方法を採用することにより、本キャリブレーションずれ補正装置は、車載等に応用することが可能となる。
【０３１５】
（第６の実施の形態）
次に、本発明の第６の実施の形態として、撮影装置が複数回撮影してその画像を利用する例について説明する。
【０３１６】
上述した実施の形態では、ステレオ画像の撮影に関する回数に関しては、特に特定していないものであった。本第６の実施の形態では、よりロバストで信頼性のおけるキャリブレーションずれ補正装置を提供することを目的として、複数回撮影されたステレオ画像から、より多くの対応のとれた特徴を抽出することにより、キャリブレーションずれ補正装置を構成する例について説明する。
【０３１７】
尚、本第６の実施の形態に於けるキャリブレーションずれ補正装置は、撮影装置により複数回撮影する点が上述した実施の形態と異なるだけであり、その基本構成は同様であるので説明は省略する。
【０３１８】
図３１は、第６の実施の形態のキャリブレーションずれ補正装置によるステレオ画像の様子を表したものであり、（ａ）は時刻１での左画像の例を示した図、（ｂ）は時刻１とは異なる時刻２での左画像の例を示した図である。尚、ここでは、異なる時刻１と時刻２で撮影された二組のステレオ画像（図には、左画像のみ示す）で、既知特徴が複数撮影された場合が示されている。
【０３１９】
図３２は、本第６の実施の形態に於けるキャリブレーションずれ補正装置の処理動作を説明するフローチャートである。
【０３２０】
尚、ステップＳ７１〜Ｓ７５の処理動作は、上述した第１の実施の形態の図８のフローチャートに於けるステップＳ１〜Ｓ５とそれぞれ同様である。
【０３２１】
そして、ステップＳ７６に於いて、例えば既知特徴がこれまで抽出された個数がある一定以上の個数に達しているかが判断される。ここで、その個数が所定の数を以上となっていれば、ステップＳ７７に移行してキャリブレーションずれの判定及び分類が行われる。次いで、ステップＳ７８でキャリブレーションずれの補正処理が行われた後、ステップＳ７９でその判定結果が呈示される。
【０３２２】
一方、上記ステップＳ７６にて所定の数に達していなければ、上記ステップ７１に移行し、再度ステレオ画像が撮影される。もちろん、ここで、撮影する場所や視点を変更しても構わない。
【０３２３】
ステップＳ８０では、算出された信頼度に基づいて、キャリブレーションずれ補正装置で算出された補正パラメータが信頼おけるデータであるか否かが判定される。このデータが信頼できる場合にはステップＳ８１へ移行し、そうでない場合には、上記ステップＳ７１に移行してキャリブレーションずれ補正のステップが繰り返される。一方、ステップＳ８１では、更新されたキャリブレーションデータはキャリブレーションデータ記憶装置８に格納される。
【０３２４】
尚、これらは状況判断装置や制御装置で制御される。ここで、一組のステレオ画像で抽出された既知特徴は、それぞれ別の特徴群として登録され、キャリブレーションずれ補正の処理に関しては、それらの群に応じた処理が行われる。
【０３２５】
図３３は、本第６の実施の形態に於けるキャリブレーションずれ補正装置の別の処理動作を説明するフローチャートである。
【０３２６】
この図３３に示されるフローチャートに於いては、ステップＳ９１〜Ｓ９５、Ｓ９６〜Ｓ９７、Ｓ９９〜１０１の処理動作は、上述した図３２のフローチャートに於けるステップＳ７１〜Ｓ７５、Ｓ７７〜Ｓ７８、Ｓ７９〜Ｓ８１とそれぞれ同様である。従って、異なる処理動作のステップのみ説明する。
【０３２７】
ステップＳ９７にて、キャリブレーションデータ補正装置で、新たに得られる特徴が利用されながら、キャリブレーションデータの補正結果の精度が常に算出される。そして、続くステップＳ９８に於いて、その精度が充分であるか否かが判断される。
【０３２８】
ここで、ずれ補正の精度が充分であると判断された場合には、ステップＳ９９〜Ｓ１０１に移行してキャリブレーションデータ補正装置での処理が終了する。一方、精度が充分でないと判断された場合には、上記ステップＳ９１に移行して、再度ステレオ画像を撮影して、より多くの特徴が抽出されることが繰り返される。
【０３２９】
この方式で、どのようにキャリブレーションデータの補正処理の精度を算出するかは、上述した拡張カルマンフィルタの処理ステップＫ−２−６で計算される補正パラメータの共分散行列Σから得られる各パラメータ要素の分散の値が、どの程度小さくなるかで判定すればよい。この記述は例えばＡ． Ｋｏｓａｋａ ａｎｄ Ａ． Ｃ． Ｋａｋ， “Ｆａｓｔ ｖｉｓｉｏｎ−ｇｕｉｄｅｄ ｍｏｂｉｌｅ ｒｏｂｏｔ ｎａｖｉｇａｔｉｏｎ ｕｓｉｎｇ ｍｏｄｅｌ−ｂａｓｅｄ ｒｅａｓｏｎｉｎｇ ａｎｄ ｐｒｅｄｉｃｔｉｏｎ ｏｆ ｕｎｃｅｒｔａｉｎｔｉｅｓ，” Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｇｒａｐｈｉｃｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ ＿ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ， Ｖｏｌ． ５６， Ｎｏ． ３， Ｎｏｖｅｍｂｅｒ， ｐｐ．２７１−３２９， １９９２に詳しく書かれているので、ここでは詳しく述べない。
【０３３０】
以上のような実施の形態によれば、より多くの特徴を用いてキャリブレーションずれ補正処理を行うことができるので、よりロバストで信頼性のおけるキャリブレーションずれ補正装置を提供することが可能となる。
【０３３１】
【発明の効果】
以上のように本発明によれば、３次元計測等を行うステレオ画像を撮影する撮影装置のキャリブレーションが、経年変化や衝撃振動などの機械ずれによっても、ステレオ画像を解析することにより、簡易にキャリブレーションずれを定量的に且つ絶対値として補正することが可能なキャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステムを提供することができる。
【０３３２】
そして、請求項１に記載の発明によれば、撮影装置の経時変化に伴う光学ずれ、或いは機械ずれがある場合にも、容易に且つロバストにずれの検出を行うことができる。
【０３３３】
請求項２に記載の発明によれば、撮影装置の経時変化に伴う光学ずれ、或いは機械ずれがある場合にも、容易に且つロバストにずれの補正を行うことができる。また、レクティフィケーション処理を行うことで、特徴の対応点探索が容易になり、よりロバストなずれ補正を行うことが可能となる。
【０３３４】
請求項３に記載の発明によれば、撮影装置の経時変化に伴う光学ずれ、或いは機械ずれがある場合にも、容易に且つロバストにずれの検出を行うことができる。
【０３３５】
請求項４に記載の発明によれば、撮影装置の経時変化に伴う光学ずれ、或いは機械ずれがある場合にも、容易に且つロバストにずれの補正を行うことができる。また、レクティフィケーション処理を行うことで、特徴の対応点探索が容易になり、よりロバストなずれ補正を行うことが可能となる。
【０３３６】
請求項５に記載の発明によれば、撮影装置の経時変化に伴う光学ずれ、或いは機械ずれがある場合にも、容易に且つロバストにずれの検出を行うことができる。
【０３３７】
請求項６に記載の発明によれば、撮影装置の経時変化に伴う光学ずれ、或いは機械ずれがある場合にも、容易に且つロバストにずれの補正を行うことができる。また、レクティフィケーション処理を行うことで、特徴の対応点探索が容易になり、よりロバストなずれ補正を行うことが可能となる。
【０３３８】
請求項７に記載の発明によれば、ずれ判定装置を付加することにより、ずれ補正に関わる計算量を減少させたり、ずれ補正すべきパラメータを決定することが可能となるので、よりロバストで信頼性の高いずれ補正が可能となる。
【０３３９】
請求項８に記載の発明によれば、ずれ判定装置を付加することにより、ずれ補正に関わる計算量を減少させたり、ずれ補正すべきパラメータを決定することが可能となるので、よりロバストで信頼性の高いずれ補正が可能となる。
【０３４０】
請求項９に記載の発明によれば、ずれ判定装置を付加することにより、ずれ補正に関わる計算量を減少させたり、ずれ補正すべきパラメータを決定することが可能となるので、よりロバストで信頼性の高いずれ補正が可能となる。
【０３４１】
請求項１０に記載の発明によれば、ずれ判定装置を付加することにより、ずれ補正に関わる計算量を減少させたり、ずれ補正すべきパラメータを決定することが可能となるので、よりロバストで信頼性の高いずれ補正が可能となる。
【０３４２】
請求項１１に記載の発明によれば、キャリブレーションずれが補正された場合には、その内容をユーザは迅速に知ることができるので、ユーザは安心して信頼して、撮影装置を使用することが可能となる。
【０３４３】
請求項１２に記載の発明によれば、キャリブレーションずれ補正を行うかどうかを判定する状況判断装置を導入することで、撮影装置の使用状況や撮影装置の動作状況に応じてキャリブレーションずれ検出を行うかを判断することが可能となり、より信頼のおけるサービスをユーザに提供することができる。また、キャリブレーションずれ検出処理の処理回数を系統的に制御することも可能となり、不要なキャリブレーションずれ検出回数を減少させることも可能となる。
【０３４４】
請求項１３に記載の発明によれば、キャリブレーション補正したデータを再度キャリブレーションデータ記憶装置で記憶することにより、新規データを有効利用することができる。
【０３４５】
請求項１４に記載の発明によれば、撮影装置の光学系に含まれるレンズディストーションの成分をステレオ画像から除去、或いはディストーション補正することにより、より正確なずれ検出が可能となり、装置の信頼性を向上することができる。
【０３４６】
請求項１５に記載の発明によれば、より多くの特徴を用いてキャリブレーションずれ補正処理を行うことができるので、よりロバストで信頼性のおけるキャリブレーションずれ補正装置を提供することが可能となる。
【０３４７】
請求項１６に記載の発明によれば、より多くの特徴を用いてキャリブレーションずれ補正処理を行うことができるので、よりロバストで信頼性のおけるキャリブレーションずれ補正装置を提供することが可能となる。
【０３４８】
請求項１７に記載の発明によれば、ステレオ画像の対応関係にある特徴を複数抽出し利用することで、異常値を排除することが可能となり、信頼性のあるずれ補正が可能となる。
【０３４９】
請求項１８に記載の発明によれば、エピポーラ線拘束を利用することで、特徴点探索を容易にすることができ、対応探索に要する処理時間の短縮、ひいては全体の処理時間を短縮することが可能となる。
【０３５０】
請求項１９に記載の発明によれば、有効な特徴を選択するので、必要最小限の計算で安定的に、且つロバストにキャリブレーションずれ補正を行うことができる。
【０３５１】
請求項２０に記載の発明によれば、予め相対的な位置関係が既知な複数の特徴を利用することで、キャリブレーションデータ補正に於いて、付加的な条件を加えることができるので、よりロバストで信頼性のあるキャリブレーションずれ補正を行うことが可能となる。
【０３５２】
請求項２１に記載の発明によれば、ステレオアダプタでも応用可能になる。
【０３５３】
請求項２２に記載の発明によれば、多眼カメラでも応用可能となる。
【０３５４】
請求項２３に記載の発明によれば、キャリブレーションずれ補正装置を車載等に応用することが可能となる。
【０３５５】
請求項２４に記載の発明によれば、車載用に適用が可能となる。
【０３５６】
請求項２５に記載の発明によれば、車両の形状を表す特徴を抽出するので、より正確なキャリブレーションずれ補正を行うことが可能となる。
【０３５７】
請求項２６に記載の発明によれば、車外の既知形状物を特徴として抽出するので、抽出が容易で、また処理時間を短縮することが可能となる。
【０３５８】
請求項２７に記載の発明によれば、ずれ補正中であることが表示されるので、ユーザは容易にキャリブレーションずれ補正中であることを知ることができる。
【０３５９】
請求項２８に記載の発明によれば、２種類のパラメータの差異が表示されるので、ユーザは容易にずれの内容を知ることができる。
【０３６０】
請求項２９に記載の発明によれば、ずれ補正にかかわる信頼度が表示されるので、ユーザは安心してキャリブレーションずれ補正を行うことができる。
【０３６１】
更に、請求項３０に記載の発明によれば、ずれ補正処理がエラーとなった場合にエラーコードが呈示されるので、ユーザはその原因を容易に確認することができる。
【０３６２】
請求項３１乃至３４に記載の発明によれば、キャリブレーションずれ補正の結果が表示されるので、ユーザは安心してキャリブレーションずれ補正を行うことができる。
【０３６３】
請求項３５に記載の発明によれば、ずれ補正に係る処理動作中であることが表示されるので、ユーザは容易にキャリブレーションずれ補正中であることを知ることができる。
【０３６４】
請求項３６に記載の発明によれば、２種類のパラメータの差異が表示されるので、ユーザは容易にずれの内容を知ることができる。
【０３６５】
請求項３７に記載の発明によれば、ずれ補正に係る処理動作がエラーとなった場合にエラーコードが呈示されるので、ユーザはその原因を容易に確認することができる。
【０３６６】
請求項３８に記載の発明によれば、ずれ検出に関する信頼度が表示されるので、ユーザは安心してキャリブレーションずれ検出を行うことができる。
【図面の簡単な説明】
【図１】本発明に於けるキャリブレーションずれ補正装置の第１の基本構成例を示したブロック図である。
【図２】本発明に於けるキャリブレーションずれ補正装置の第２の基本構成例を示したブロック図である。
【図３】ステレオ画像を撮影する撮影装置のカメラ座標について説明する図である。
【図４】（ａ）はステレオアダプタの視野を示す図、（ｂ）は（ａ）のステレオアダプタの展開図である。
【図５】ステレオ画像に於けるエピポーラ線拘束を説明する図である。
【図６】レクティフィケーション処理を説明するためもので、（ａ）はレクティフィケーション前の画像を表した図、（ｂ）はレクティフィケーション後の画像を表した図である。
【図７】レクティフィケーション処理を説明するための図である。
【図８】本発明の第１の実施の形態に於けるキャリブレーションずれ補正装置の詳細な動作を説明するフローチャートである。
【図９】車両の場合に於ける既知特徴の例を示した図である。
【図１０】左右原画像を表したもので、（ａ）は左カメラにより撮影された左原画像を示した図、（ｂ）は右カメラにより撮影された右原画像を示した図である。
【図１１】レクティフィケーションされた左右の画像を表したもので、（ａ）は左画像を示した図、（ｂ）は右画像を示した図である。
【図１２】特徴抽出装置５の構成例を示したブロック図である。
【図１３】抽出結果の一例を表した図である。
【図１４】レクティフィケーションされた左画像を分割された小ブロックで示した図である。
【図１５】左画像で登録された特徴点の例を示した図である。
【図１６】探索範囲の設定を説明するための図である。
【図１７】右画像で抽出された対応する特徴点の例を示した図である。
【図１８】ずれ結果呈示装置７の一例を表した図である。
【図１９】本発明の第１の実施の形態に於ける別の動作例を説明するフローチャートである。
【図２０】本発明の第１の実施の形態に於ける更に別の動作例を説明するフローチャートである。
【図２１】本発明の第２の実施の形態に於けるキャリブレーションずれ補正装置の基本構成を示すブロック図である。
【図２２】本発明の第２の実施の形態に於けるキャリブレーションずれ補正装置の詳細な動作を説明するフローチャートである。
【図２３】本発明の第３の実施の形態に於けるキャリブレーションずれ補正装置の基本構成例を示したブロック図である。
【図２４】本発明の第３の実施の形態に於けるキャリブレーションずれ補正装置の動作を説明するフローチャートである。
【図２５】本発明の第４の実施の形態に於けるキャリブレーションずれ補正装置の基本構成例を示したブロック図である。
【図２６】本発明の第４の実施の形態に於けるキャリブレーションずれ補正装置の動作を説明するフローチャートである。
【図２７】エピポーラ線からのずれｄｉを説明するための図である。
【図２８】本発明の第５の実施の形態に於けるキャリブレーションずれ補正装置の基本構成例を示したブロック図である。
【図２９】ステレオ撮影装置で撮影されるキャリブレーションパターンの例を示した図である。
【図３０】ステレオ撮影装置で撮影されるキャリブレーションパターンの他の例を示した図である。
【図３１】第６の実施の形態のキャリブレーションずれ補正装置によるステレオ画像の様子を表したものであり、（ａ）は時刻１での左画像の例を示した図、（ｂ）は時刻１とは異なる時刻２での左画像の例を示した図である。
【図３２】本発明の第６の実施の形態に於けるキャリブレーションずれ補正装置の処理動作を説明するフローチャートである。
【図３３】本第６の実施の形態に於けるキャリブレーションずれ補正装置の別の処理動作を説明するフローチャートである。
【符号の説明】
１、２０、３０、３３、３５、３８…キャリブレーションずれ補正装置、２…制御装置、３…状況判断装置、４…レクティフィケーション処理装置、５…特徴抽出装置、５ａ…特徴選択部、５ｂ…特徴対応探索部、６…キャリブレーションデータ補正装置、７…補正結果呈示装置、８…キャリブレーションデータ記憶装置、１１…撮影装置、１２ａ…左カメラ、１２ｂ…右カメラ、３１…基準位置を規定する外部装置、３６…キャリブレーションずれ判定装置、３９…外部センサ。
Claims (38)
- ステレオ画像を撮影する撮影装置に係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、
上記撮影装置が撮影したステレオ画像から特徴を抽出する特徴抽出部と、
上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを補正するキャリブレーションデータ補正部と、
を具備することを特徴とするキャリブレーションずれ補正装置。 - ステレオ画像を撮影する撮影装置に係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、
上記撮影装置が撮影したステレオ画像に対し、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づくレクティフィケーション処理を施すレクティフィケーション処理部と、
上記レクティフィケーション処理部によってレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、
上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを補正するキャリブレーションデータ補正部と、
を具備することを特徴とするキャリブレーションずれ補正装置。 - 基準位置を規定するために利用される所定の外部装置と撮影装置との間のキャリブレーションに係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、
上記撮影装置が撮影したステレオ画像から特徴を抽出する特徴抽出部と、
上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを補正するキャリブレーションデータ補正部と、
を具備することを特徴とするキャリブレーションずれ補正装置。 - 基準位置を規定するために利用される所定の外部装置とステレオ画像を撮影する撮影装置との間のキャリブレーションずれを補正するキャリブレーションデータを保持するキャリブレーションデータ保持部と、
上記撮影装置が撮影したステレオ画像に対し、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づくレクティフィケーション処理を施すレクティフィケーション処理部と、
上記レクティフィケーション処理部が処理したレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、
上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを補正するキャリブレーションデータ補正部と、
を具備することを特徴とするキャリブレーションずれ補正装置。 - 基準位置を規定するために利用される所定の外部装置とステレオ画像を撮影する撮影装置間のキャリブレーションと当該撮影装置本体のキャリブレーションに関わるキャリブレーションデータを保持するキャリブレーションデータ保持部と、
上記撮影装置が撮影したステレオ画像から特徴を抽出する特徴抽出部と、
上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを補正するキャリブレーションデータ補正部と、
を具備することを特徴とするキャリブレーションずれ補正装置。 - 基準位置を規定するために利用される所定の外部装置とステレオ画像を撮影する撮影装置間のキャリブレーションと当該撮影装置本体のキャリブレーションに係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、
上記撮影装置が撮影したステレオ画像に対し、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づくレクティフィケーション処理を施すレクティフィケーション処理部と、
上記レクティフィケーション処理部によってレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、
上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを補正するキャリブレーションデータ補正部と、
を具備することを特徴とするキャリブレーションずれ補正装置。 - ステレオ画像を撮影する撮影装置に関わるキャリブレーションのキャリブレーションデータを保持するキャリブレーションデータ保持部と、
上記撮影装置が撮影したステレオ画像から特徴を抽出する特徴抽出部と、
上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションずれの有無を判定するキャリブレーションずれ判定部と、
上記キャリブレーションずれ判定部がずれありと判定した場合には、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを補正するキャリブレーションデータ補正部と、
を具備することを特徴とするキャリブレーションずれ補正装置。 - ステレオ画像を撮影する撮影装置のキャリブレーションに係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、
上記撮影装置が撮影したステレオ画像に対し、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づくレクティフィケーション処理を施すレクティフィケーション処理部と、
上記レクティフィケーション処理部によってレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、
上記特徴抽出装置が抽出した特徴を表す情報に基づき、キャリブレーションずれの有無を判定するキャリブレーションずれ判定部と、
上記キャリブレーションずれ判定部がずれありと判定した場合には、上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを補正するキャリブレーションデータ補正部と、
を具備することを特徴とするキャリブレーションずれ補正装置。 - ステレオ画像を撮影する撮影装置に係るキャリブレーションのキャリブレーションデータを保持するキャリブレーションデータ保持部と、
上記撮影装置が撮影したステレオ画像から特徴を抽出する特徴抽出部と、
上記特徴抽出部が抽出した特徴を表す情報に基づき、キャリブレーションずれの有無判定及びずれの種類を決定するキャリブレーションずれ判定部と、
上記キャリブレーションずれ判定部がずれありと判定した場合には、ずれの種類に応じて上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを補正するキャリブレーションデータ補正部と、
を具備することを特徴とするキャリブレーションずれ補正装置。 - ステレオ画像を撮影する撮影装置に係るキャリブレーションのキャリブレーションデータを保持するキャリブレーションデータ保持部と、
上記撮影装置が撮影したステレオ画像に対し、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づくレクティフィケーション処理を施すレクティフィケーション処理部と、
上記レクティフィケーション処理部によってレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、
上記特徴抽出部が抽出した特徴を表す情報に基づき、キャリブレーションずれの有無判定及びずれの種類を決定するキャリブレーションずれ判定部と、
上記キャリブレーションずれ判定部がずれありと判定した場合には、ずれの種類に応じて上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを補正するキャリブレーションデータ補正部と、
を具備することを特徴とするキャリブレーションずれ補正装置。 - 上記キャリブレーションデータ補正部が判定したキャリブレーションずれ補正結果を呈示するための補正結果呈示部を更に具備することを特徴とする請求項１乃至１０の何れかに記載のキャリブレーションずれ補正装置。
- 上記撮影装置に係るキャリブレーションと所定の相関を有する情報乃至所定の操作に応じてキャリブレーションずれ補正を行うか否かを判断する状況判断部を更に具備することを特徴とする請求項１乃至１０の何れかに記載のキャリブレーションずれ補正装置。
- キャリブレーションデータ保持部は、上記キャリブレーションデータ補正部が補正したキャリブレーションデータを保持するように構成されたことを特徴とする請求項１乃至１０の何れかに記載のキャリブレーションずれ補正装置。
- 上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づき、上記撮影装置により得たステレオ画像に対しディストーション補正処理を施すディストーション補正処理部を更に備えたことを特徴とする請求項１乃至１０の何れかに記載のキャリブレーションずれ補正装置。
- 上記キャリブレーションデータ補正部が補正したデータの精度に基づいて、上記撮影装置によるステレオ画像の撮影の繰り返しを制御する制御部を更に備えたことを特徴とする請求項１乃至１０の何れかに記載のキャリブレーションずれ補正装置。
- 上記キャリブレーションデータ補正部が補正処理に使用する特徴の数に応じて、上記撮影装置によるステレオ画像の撮影の繰り返しを制御する制御部を更に備えたことを特徴とする請求項１乃至１０の何れかに記載のキャリブレーションずれ補正装置。
- 上記特徴抽出部は、上記撮影装置により得たステレオ画像の対応関係にある特徴を複数抽出し、該複数抽出された対応のとれた特徴のうち異常と判定できる特徴は排除して、上記キャリブレーションデータ補正部での補正処理に供するように構成されたことを特徴とする請求項１乃至１０の何れかに記載のキャリブレーションずれ補正装置。
- 上記特徴抽出部は、上記撮影装置により得たステレオ画像の対応関係にある特徴抽出をする際、上記キャリブレーションデータ保持部が保持するキャリブレーションデータに基づくエピポーラ線の近傍で対応可能な特徴を抽出することを特徴とする請求項１乃至１０の何れかに記載のキャリブレーションずれ補正装置。
- 上記特徴抽出部は、上記撮影装置により得たステレオ画像の一方の画像内でキャリブレーションずれ検出に有効な特徴を選択する特徴選択部と、選択された特徴に対応する特徴を、他方の画像内から抽出あるいは探索する特徴対応探索部を含んでなることを特徴とする請求項１乃至１０の何れかに記載のキャリブレーションずれ補正装置。
- 上記キャリブレーションデータ保持部は、相対的な位置関係が既知な複数の特徴のデータを保持するものであり、上記キャリブレーションデータ補正部は、上記特徴抽出部が上記キャリブレーションデータ保持部に保持された特徴に係るデータを用いる場合には、そのデータの表す位置関係の情報に依拠してキャリブレーションデータ補正を行うことを特徴とする請求項１乃至１０の何れかに記載のキャリブレーションずれ補正装置。
- 上記撮影装置としての、複数の視点による視差を生じる複数の像を得る光学系と単一のカメラ部とを含んでなるステレオアダプタ方式の撮影装置を対象としてキャリブレーションずれ補正を行うことを特徴とする請求項１乃至１０の何れかに記載のキャリブレーションずれ補正装置。
- 上記撮影装置としての、複数のカメラを含んで構成される撮影システムを対象としてキャリブレーションずれ補正を行うことを特徴とする請求項１乃至１０の何れかに記載のキャリブレーションずれ補正装置。
- 車載型の上記撮影装置に係るキャリブレーションずれを補正するように構成されたことを特徴とする請求項１乃至１０の何れかに記載のキャリブレーションずれ補正装置。
- 上記状況判断部は、外部センサの出力に基づいて状況判断を行うことを特徴とする請求項１２に記載のキャリブレーションずれ補正装置。
- 上記外部装置として上記撮影装置が装備された車両の特定の形状部分を適用することを特徴とする請求項３乃至６の何れかに記載のキャリブレーションずれ補正装置。
- 上記外部装置として、車両に装備された上記撮影装置により撮影される車外の既知形状物を適用することを特徴とする請求項３乃至６の何れかに記載のキャリブレーションずれ補正装置。
- 上記補正結果呈示部は、キャリブレーションずれ補正中であることを表すインジケータとして機能し得るように構成されることを特徴とする請求項１１に記載のキャリブレーションずれ補正装置。
- 上記補正結果呈示部は、キャリブレーションずれ補正により得られたパラメータと、予め記憶されたキャリブレーションパラメータとの差異を表示し得るように構成されたことを特徴とする請求項１１に記載のキャリブレーションずれ補正装置。
- 上記補正結果呈示部は、キャリブレーションずれ補正にかかわる信頼度を表すステータスを表示し得るように構成されたことを特徴とする請求項１１に記載のキャリブレーションずれ補正装置。
- 上記補正結果呈示部は、キャリブレーションずれ補正処理がエラーとなった場合に、該エラーに基づくエラーコードを呈示し得るように構成されたことを特徴とする請求項１１に記載のキャリブレーションずれ補正装置。
- 相互に離隔した複数の視点による視差を持った複数の映像を表す映像信号出力を得るようになされた撮像部と、
上記撮影部のキャリブレーションずれを補正するキャリブレーションずれ補正部と、
上記キャリブレーションずれ補正部の補正出力データを勘案して上記撮像部で得た映像信号出力に依拠して被写体の距離等のデータを算出する演算部と、
上記キャリブレーションずれ補正部、演算部、並びに、上記撮像部の出力に関連した所要の表示を行うための表示部と、
を含んで構成されたステレオカメラシステムであって、
上記キャリブレーションずれ補正部は、
上記撮像部に係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、
上記撮影部により得た映像信号出力としてのステレオ画像から特徴を抽出する特徴抽出部と、
上記特徴抽出部で抽出された特徴を表す情報に基づき上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを補正するキャリブレーションデータ補正部と、
を含んで構成されたものであり、
上記表示部は、
上記キャリブレーションずれ補正部の補正結果を自己の表示面に表示可能に構成されたものであることを特徴とするステレオカメラシステム。 - 相互に離隔した複数の視点による視差を持った複数の映像を表わす映像信号出力を得るようになされた撮像部と、
上記撮影部のキャリブレーションずれを補正するキャリブレーションずれ補正部と、
上記キャリブレーションずれ補正部の補正出力データを勘案して上記撮像部で得た映像信号出力に依拠して被写体の距離等のデータを算出する演算部と、
上記キャリブレーションずれ補正部、演算部、並びに、上記撮像部の出力に関連した所要の表示を行うための表示部と、
を含んで構成されたステレオカメラシステムであって、
上記キャリブレーションずれ補正部は、
上記撮像部に係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、
上記撮影部により得た映像信号出力としてのステレオ画像に対し上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づくレクティフィケーション処理を施すレクティフィケーション処理部と、
上記レクティフィケーション処理部によってレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、
上記特徴抽出部で抽出された特徴を表す情報に基づき上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを補正するキャリブレーションずれ補正部と、
を含んで構成されたものであり、
上記表示部は、
上記キャリブレーションずれ補正部の補正結果を自己の表示面に表示可能に構成されたものであることを特徴とするステレオカメラシステム。 - 相互に離隔した複数の視点による視差を持った複数の映像を表す映像信号出力を得るようになされた撮像部と、
上記撮影部と所定の基準位置を規定する外部装置との間のキャリブレーションずれを補正するキャリブレーションずれ補正部と、
上記キャリブレーションずれ補正部の補正出力データを勘案して上記撮像部で得た映像信号出力に依拠して被写体の距離等のデータを算出する演算部と、
上記キャリブレーションずれ補正部、演算部、並びに、上記撮像部の出力に関連した所要の表示を行うための表示部と、
を含んで構成されたステレオカメラシステムであって、
上記キャリブレーションずれ補正部は、
上記基準位置を規定するために利用される所定の外部装置と上記撮像部間のキャリブレーションに係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、
上記撮影部により得た映像信号出力としてのステレオ画像から特徴を抽出する特徴抽出部と、
上記特徴抽出部で抽出された特徴を表わす情報に基づき上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを補正するキャリブレーションずれ補正部と、
を含んで構成されたものであり、
上記表示部は、
上記キャリブレーションずれ補正部の補正結果を自己の表示面に表示可能に構成されたものであることを特徴とするステレオカメラシステム。 - 相互に離隔した複数の視点による視差を持った複数の映像を表す映像信号出力を得るようになされた撮像部と、
上記撮影部と所定の基準位置を規定する外部装置との間のキャリブレーションずれを補正するキャリブレーションずれ補正部と、
上記キャリブレーションずれ補正部の補正出力データを勘案して上記撮像部で得た映像信号出力に依拠して被写体の距離等のデータを算出する演算部と、
上記キャリブレーションずれ補正部、演算部、並びに、上記撮像部の出力に関連した所要の表示を行うための表示部と、
を含んで構成されたステレオカメラシステムであって、
上記キャリブレーションずれ補正部は、
上記基準位置を規定するために利用される所定の外部装置と上記撮像部間のキャリブレーションに係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、
上記撮影部により得た映像信号出力としてのステレオ画像に対し上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づくレクティフィケーション処理を施すレクティフィケーション処理部と、
上記レクティフィケーション処理部によってレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、
上記特徴抽出部で抽出された特徴を表す情報に基づき上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを補正するキャリブレーションずれ補正部と、
を含んで構成されたものであり、
上記表示部は、
上記キャリブレーションずれ補正部の補正結果を自己の表示面に表示可能に構成されたものであることを特徴とするステレオカメラシステム。 - 上記表示部は、上記キャリブレーションデータ補正部との協働によりキャリブレーションずれ補正に係る処理動作中である旨を表示可能に構成されたものであることを特徴とする請求項３１乃至３４の何れかに記載のステレオカメラシステム。
- 上記表示部は、上記キャリブレーションデータ補正部との協働によりキャリブレーションずれ補正に係る処理の結果として得られたパラメータと上記キャリブレーションデータ保持部に予め保持されていたパラメータとの差異を表わす情報を表示可能に構成されたものであることを特徴とする請求項３１乃至３４の何れかに記載のステレオカメラシステム。
- 上記表示部は、上記キャリブレーションデータ補正部との協働により正規のキャリブレーションずれ補正が行われ得なかったときにはその旨を表わすエラーコードを表示可能に構成されたものであることを特徴とする請求項３１乃至３４の何れかに記載のステレオカメラシステム。
- 上記キャリブレーションずれ補正部は、その特徴抽出部が、上記撮像装置により得たステレオ画像に関する信頼度を弁別するように構成され、該特徴抽出部が上記撮像装置により得たステレオ画像に関する信頼度が不十分であることを弁別したときには、該撮像装置による撮影処理を繰返すように制御する制御部を更に備えたたことを特徴とする請求項３１乃至３４の何れかに記載のステレオカメラシステム。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003153451A JP2004354257A (ja) | 2003-05-29 | 2003-05-29 | キャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム |
| EP04734940A EP1637836A1 (en) | 2003-05-29 | 2004-05-26 | Device and method of supporting stereo camera, device and method of detecting calibration, and stereo camera system |
| PCT/JP2004/007557 WO2004106856A1 (ja) | 2003-05-29 | 2004-05-26 | ステレオカメラ支持装置、ステレオカメラ支持方法及びキャリブレーション検出装置及びキャリブレーション補正装置並びにステレオカメラシステム |
| US11/169,098 US20050237385A1 (en) | 2003-05-29 | 2005-06-28 | Stereo camera supporting apparatus, stereo camera supporting method, calibration detection apparatus, calibration correction apparatus, and stereo camera system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003153451A JP2004354257A (ja) | 2003-05-29 | 2003-05-29 | キャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004354257A true JP2004354257A (ja) | 2004-12-16 |
Family
ID=34048404
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003153451A Pending JP2004354257A (ja) | 2003-05-29 | 2003-05-29 | キャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004354257A (ja) |
Cited By (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004354256A (ja) * | 2003-05-29 | 2004-12-16 | Olympus Corp | キャリブレーションずれ検出装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム |
| JP2007010419A (ja) * | 2005-06-29 | 2007-01-18 | Komatsu Engineering Corp | 対象物の３次元形状検証システム。 |
| JP2007085937A (ja) * | 2005-09-22 | 2007-04-05 | Toyota Motor Corp | 画像測距装置及び方法 |
| JP2007107958A (ja) * | 2005-10-12 | 2007-04-26 | Oura Kosoku Kk | 測定用治具 |
| JP2009258427A (ja) * | 2008-04-17 | 2009-11-05 | Olympus Corp | 内視鏡装置およびプログラム |
| JP2010513907A (ja) * | 2006-12-18 | 2010-04-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | カメラシステムのキャリブレーション |
| JP2010271950A (ja) * | 2009-05-21 | 2010-12-02 | Canon Inc | 情報処理装置及びキャリブレーション処理方法 |
| JP2011027447A (ja) * | 2009-06-30 | 2011-02-10 | Cheng Uei Precision Industry Co Ltd | 光学定位装置及びその定位方法 |
| JP2011071604A (ja) * | 2009-09-24 | 2011-04-07 | Fujifilm Corp | 複眼カメラ及びその制御方法 |
| JP2011086111A (ja) * | 2009-10-15 | 2011-04-28 | Mitsubishi Electric Corp | 撮像装置校正方法及び画像合成装置 |
| CN102073323A (zh) * | 2010-09-29 | 2011-05-25 | 王烈 | 一种全自动跟踪阳光直射方向的太阳能应用方法及其装置 |
| EP2372651A1 (en) | 2010-03-08 | 2011-10-05 | Ricoh Company, Ltd. | Image pickup apparatus and range determination system |
| WO2012043045A1 (ja) * | 2010-09-30 | 2012-04-05 | 日立オートモティブシステムズ株式会社 | 画像処理装置及びそれを用いた撮像装置 |
| JP2012165333A (ja) * | 2011-02-09 | 2012-08-30 | Sony Corp | 撮像装置、および撮像装置制御方法、並びにプログラム |
| JP2012202942A (ja) * | 2011-03-28 | 2012-10-22 | Casio Comput Co Ltd | 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム |
| CN102759347A (zh) * | 2012-01-10 | 2012-10-31 | 广州科易光电技术有限公司 | 一种高铁接触网在线巡检装置、巡检方法以及其构成的高铁接触网检测系统 |
| EP2551819A1 (en) | 2011-07-29 | 2013-01-30 | BI2-Vision Co. | Control system for stereo imaging device |
| JP2013526423A (ja) * | 2010-05-14 | 2013-06-24 | コグネックス・テクノロジー・アンド・インベストメント・コーポレーション | マシンビジョンシステムおよびロボットの間のロバストな較正の装置および方法 |
| JP2013201677A (ja) * | 2012-03-26 | 2013-10-03 | Mitsubishi Electric Corp | 撮像装置校正方法および画像合成装置 |
| US8654195B2 (en) | 2009-11-13 | 2014-02-18 | Fujifilm Corporation | Distance measuring apparatus, distance measuring method, distance measuring program, distance measuring system, and image pickup apparatus |
| EP2732433A2 (en) * | 2011-07-13 | 2014-05-21 | Qualcomm Incorporated | Method and apparatus for calibrating an imaging device |
| JP2014127834A (ja) * | 2012-12-26 | 2014-07-07 | Clarion Co Ltd | 車載カメラ用キャリブレーションシステム |
| JP2014527196A (ja) * | 2011-08-03 | 2014-10-09 | トゥルアリティ， エルエルシー | ステレオフィルムのフレームのズーム設定および／または垂直オフセットを補正する方法、および２つのカメラを有するカメラリグの制御または調整システム |
| WO2015015542A1 (ja) * | 2013-07-29 | 2015-02-05 | 株式会社日立製作所 | 車載ステレオカメラシステム及びそのキャリブレーション方法 |
| US9052585B2 (en) | 2010-07-14 | 2015-06-09 | Bi2-Vision Co. | Control system for stereo imaging device |
| JP2015186026A (ja) * | 2014-03-24 | 2015-10-22 | クラリオン株式会社 | カメラキャリブレーション装置 |
| US9602801B2 (en) | 2011-07-18 | 2017-03-21 | Truality, Llc | Method for smoothing transitions between scenes of a stereo film and controlling or regulating a plurality of 3D cameras |
| KR101752004B1 (ko) * | 2010-12-16 | 2017-07-11 | 엘지이노텍 주식회사 | 입체영상 표시장치 |
| JP2017520316A (ja) * | 2014-07-14 | 2017-07-27 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 介入プロシージャ用のグリッド較正システム |
| WO2018123642A1 (ja) | 2016-12-26 | 2018-07-05 | 日立オートモティブシステムズ株式会社 | ステレオカメラ |
| US10127687B2 (en) | 2014-11-13 | 2018-11-13 | Olympus Corporation | Calibration device, calibration method, optical device, image-capturing device, projection device, measuring system, and measuring method |
| CN109671028A (zh) * | 2018-11-30 | 2019-04-23 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| US10510163B2 (en) | 2017-01-13 | 2019-12-17 | Kabushiki Kaisha Toshiba | Image processing apparatus and image processing method |
| WO2020003497A1 (ja) * | 2018-06-29 | 2020-01-02 | 株式会社小松製作所 | 撮像装置の校正装置、監視装置、作業機械および校正方法 |
| WO2020022056A1 (ja) * | 2018-07-24 | 2020-01-30 | ソニー株式会社 | 情報処理装置および情報処理方法、並びにプログラム |
| WO2020121757A1 (ja) | 2018-12-14 | 2020-06-18 | 日立オートモティブシステムズ株式会社 | 画像処理装置 |
| CN113489964A (zh) * | 2021-07-15 | 2021-10-08 | 中国人民解放军火箭军工程大学 | 一种基于三目视觉的场景深度信息获取系统 |
| US11346663B2 (en) | 2017-09-20 | 2022-05-31 | Hitachi Astemo, Ltd. | Stereo camera |
| CN117455914A (zh) * | 2023-12-25 | 2024-01-26 | 青岛海天成光伏新能源有限公司 | 一种光伏接线盒的生产线智能控制方法及系统 |
-
2003
- 2003-05-29 JP JP2003153451A patent/JP2004354257A/ja active Pending
Cited By (57)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004354256A (ja) * | 2003-05-29 | 2004-12-16 | Olympus Corp | キャリブレーションずれ検出装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム |
| JP2007010419A (ja) * | 2005-06-29 | 2007-01-18 | Komatsu Engineering Corp | 対象物の３次元形状検証システム。 |
| JP2007085937A (ja) * | 2005-09-22 | 2007-04-05 | Toyota Motor Corp | 画像測距装置及び方法 |
| JP2007107958A (ja) * | 2005-10-12 | 2007-04-26 | Oura Kosoku Kk | 測定用治具 |
| JP2010513907A (ja) * | 2006-12-18 | 2010-04-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | カメラシステムのキャリブレーション |
| JP2009258427A (ja) * | 2008-04-17 | 2009-11-05 | Olympus Corp | 内視鏡装置およびプログラム |
| JP2010271950A (ja) * | 2009-05-21 | 2010-12-02 | Canon Inc | 情報処理装置及びキャリブレーション処理方法 |
| JP2011027447A (ja) * | 2009-06-30 | 2011-02-10 | Cheng Uei Precision Industry Co Ltd | 光学定位装置及びその定位方法 |
| US8854432B2 (en) | 2009-09-24 | 2014-10-07 | Fujifilm Corporation | Multi-lens camera and control method |
| JP2011071604A (ja) * | 2009-09-24 | 2011-04-07 | Fujifilm Corp | 複眼カメラ及びその制御方法 |
| JP2011086111A (ja) * | 2009-10-15 | 2011-04-28 | Mitsubishi Electric Corp | 撮像装置校正方法及び画像合成装置 |
| US8654195B2 (en) | 2009-11-13 | 2014-02-18 | Fujifilm Corporation | Distance measuring apparatus, distance measuring method, distance measuring program, distance measuring system, and image pickup apparatus |
| US8593536B2 (en) | 2010-03-08 | 2013-11-26 | Ricoh Company, Ltd. | Image pickup apparatus with calibration function |
| EP2372651A1 (en) | 2010-03-08 | 2011-10-05 | Ricoh Company, Ltd. | Image pickup apparatus and range determination system |
| US11077557B2 (en) | 2010-05-14 | 2021-08-03 | Cognex Corporation | System and method for robust calibration between a machine vision system and a robot |
| US9393694B2 (en) | 2010-05-14 | 2016-07-19 | Cognex Corporation | System and method for robust calibration between a machine vision system and a robot |
| US10421189B2 (en) | 2010-05-14 | 2019-09-24 | Cognex Corporation | System and method for robust calibration between a machine vision system and a robot |
| JP2013526423A (ja) * | 2010-05-14 | 2013-06-24 | コグネックス・テクノロジー・アンド・インベストメント・コーポレーション | マシンビジョンシステムおよびロボットの間のロバストな較正の装置および方法 |
| US9052585B2 (en) | 2010-07-14 | 2015-06-09 | Bi2-Vision Co. | Control system for stereo imaging device |
| CN102073323A (zh) * | 2010-09-29 | 2011-05-25 | 王烈 | 一种全自动跟踪阳光直射方向的太阳能应用方法及其装置 |
| WO2012043045A1 (ja) * | 2010-09-30 | 2012-04-05 | 日立オートモティブシステムズ株式会社 | 画像処理装置及びそれを用いた撮像装置 |
| JP2012075060A (ja) * | 2010-09-30 | 2012-04-12 | Hitachi Automotive Systems Ltd | 画像処理装置及びそれを用いた撮像装置 |
| KR101752004B1 (ko) * | 2010-12-16 | 2017-07-11 | 엘지이노텍 주식회사 | 입체영상 표시장치 |
| JP2012165333A (ja) * | 2011-02-09 | 2012-08-30 | Sony Corp | 撮像装置、および撮像装置制御方法、並びにプログラム |
| JP2012202942A (ja) * | 2011-03-28 | 2012-10-22 | Casio Comput Co Ltd | 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム |
| EP2732433A2 (en) * | 2011-07-13 | 2014-05-21 | Qualcomm Incorporated | Method and apparatus for calibrating an imaging device |
| JP2014521262A (ja) * | 2011-07-13 | 2014-08-25 | クゥアルコム・インコーポレイテッド | 撮像デバイスを較正するための方法および装置 |
| US10165249B2 (en) | 2011-07-18 | 2018-12-25 | Truality, Llc | Method for smoothing transitions between scenes of a stereo film and controlling or regulating a plurality of 3D cameras |
| US9602801B2 (en) | 2011-07-18 | 2017-03-21 | Truality, Llc | Method for smoothing transitions between scenes of a stereo film and controlling or regulating a plurality of 3D cameras |
| EP2551819A1 (en) | 2011-07-29 | 2013-01-30 | BI2-Vision Co. | Control system for stereo imaging device |
| JP2014527196A (ja) * | 2011-08-03 | 2014-10-09 | トゥルアリティ， エルエルシー | ステレオフィルムのフレームのズーム設定および／または垂直オフセットを補正する方法、および２つのカメラを有するカメラリグの制御または調整システム |
| US10356329B2 (en) | 2011-08-03 | 2019-07-16 | Christian Wieland | Method for correcting the zoom setting and/or the vertical offset of frames of a stereo film and control or regulating system of a camera rig having two cameras |
| CN102759347B (zh) * | 2012-01-10 | 2014-09-17 | 广州科易光电技术有限公司 | 一种高铁接触网在线巡检装置、巡检方法以及其检测系统 |
| CN102759347A (zh) * | 2012-01-10 | 2012-10-31 | 广州科易光电技术有限公司 | 一种高铁接触网在线巡检装置、巡检方法以及其构成的高铁接触网检测系统 |
| JP2013201677A (ja) * | 2012-03-26 | 2013-10-03 | Mitsubishi Electric Corp | 撮像装置校正方法および画像合成装置 |
| JP2014127834A (ja) * | 2012-12-26 | 2014-07-07 | Clarion Co Ltd | 車載カメラ用キャリブレーションシステム |
| JP6035620B2 (ja) * | 2013-07-29 | 2016-11-30 | 株式会社日立製作所 | 車載ステレオカメラシステム及びそのキャリブレーション方法 |
| WO2015015542A1 (ja) * | 2013-07-29 | 2015-02-05 | 株式会社日立製作所 | 車載ステレオカメラシステム及びそのキャリブレーション方法 |
| JP2015186026A (ja) * | 2014-03-24 | 2015-10-22 | クラリオン株式会社 | カメラキャリブレーション装置 |
| JP2017520316A (ja) * | 2014-07-14 | 2017-07-27 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 介入プロシージャ用のグリッド較正システム |
| US10127687B2 (en) | 2014-11-13 | 2018-11-13 | Olympus Corporation | Calibration device, calibration method, optical device, image-capturing device, projection device, measuring system, and measuring method |
| WO2018123642A1 (ja) | 2016-12-26 | 2018-07-05 | 日立オートモティブシステムズ株式会社 | ステレオカメラ |
| US10659762B2 (en) | 2016-12-26 | 2020-05-19 | Hitachi Automotive Systems, Ltd. | Stereo camera |
| US10510163B2 (en) | 2017-01-13 | 2019-12-17 | Kabushiki Kaisha Toshiba | Image processing apparatus and image processing method |
| US11346663B2 (en) | 2017-09-20 | 2022-05-31 | Hitachi Astemo, Ltd. | Stereo camera |
| CN112334733A (zh) * | 2018-06-29 | 2021-02-05 | 株式会社小松制作所 | 拍摄装置的校正装置、监视装置、作业机械及校正方法 |
| JPWO2020003497A1 (ja) * | 2018-06-29 | 2021-07-15 | 株式会社小松製作所 | 撮像装置の校正装置、監視装置、作業機械および校正方法 |
| WO2020003497A1 (ja) * | 2018-06-29 | 2020-01-02 | 株式会社小松製作所 | 撮像装置の校正装置、監視装置、作業機械および校正方法 |
| US11508091B2 (en) | 2018-06-29 | 2022-11-22 | Komatsu Ltd. | Calibration device for imaging device, monitoring device, work machine and calibration method |
| JP7203105B2 (ja) | 2018-06-29 | 2023-01-12 | 株式会社小松製作所 | 撮像装置の校正装置、監視装置、作業機械および校正方法 |
| WO2020022056A1 (ja) * | 2018-07-24 | 2020-01-30 | ソニー株式会社 | 情報処理装置および情報処理方法、並びにプログラム |
| CN109671028A (zh) * | 2018-11-30 | 2019-04-23 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| CN109671028B (zh) * | 2018-11-30 | 2023-04-11 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| WO2020121757A1 (ja) | 2018-12-14 | 2020-06-18 | 日立オートモティブシステムズ株式会社 | 画像処理装置 |
| CN113489964A (zh) * | 2021-07-15 | 2021-10-08 | 中国人民解放军火箭军工程大学 | 一种基于三目视觉的场景深度信息获取系统 |
| CN117455914A (zh) * | 2023-12-25 | 2024-01-26 | 青岛海天成光伏新能源有限公司 | 一种光伏接线盒的生产线智能控制方法及系统 |
| CN117455914B (zh) * | 2023-12-25 | 2024-03-15 | 青岛海天成光伏新能源有限公司 | 一种光伏接线盒的生产线智能控制方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004354257A (ja) | キャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム | |
| CN111179358B (zh) | 标定方法、装置、设备及存储介质 | |
| JP4889351B2 (ja) | 画像処理装置及びその処理方法 | |
| JP4406381B2 (ja) | 障害物検出装置及び方法 | |
| JP4919036B2 (ja) | 移動物体認識装置 | |
| EP3430594B1 (en) | Method for motion estimation between two images of an environmental region of a motor vehicle, computing device, driver assistance system as well as motor vehicle | |
| JP2018191275A (ja) | カメラパラメタセット算出方法、カメラパラメタセット算出プログラム及びカメラパラメタセット算出装置 | |
| WO2004106856A1 (ja) | ステレオカメラ支持装置、ステレオカメラ支持方法及びキャリブレーション検出装置及びキャリブレーション補正装置並びにステレオカメラシステム | |
| US7409152B2 (en) | Three-dimensional image processing apparatus, optical axis adjusting method, and optical axis adjustment supporting method | |
| TWI647443B (zh) | 裂縫分析設備及方法 | |
| JP2002024807A (ja) | 物体運動追跡手法及び記録媒体 | |
| JP5439277B2 (ja) | 位置姿勢計測装置及び位置姿勢計測プログラム | |
| KR20140054710A (ko) | 3차원 지도 생성 장치 및 3차원 지도 생성 방법 | |
| JP5539250B2 (ja) | 接近物体検知装置及び接近物体検知方法 | |
| JP6922348B2 (ja) | 情報処理装置、方法、及びプログラム | |
| JP2004354256A (ja) | キャリブレーションずれ検出装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム | |
| JP3008875B2 (ja) | 被写体抽出装置 | |
| JP3842988B2 (ja) | 両眼立体視によって物体の３次元情報を計測する画像処理装置およびその方法又は計測のプログラムを記録した記録媒体 | |
| JP2008026999A (ja) | 障害物検出システム、及び障害物検出方法 | |
| KR102065337B1 (ko) | 비조화비를 이용하여 대상체의 이동 정보를 측정하는 장치 및 방법 | |
| JP4752319B2 (ja) | 画像認識装置及び画像認識方法 | |
| CN111829522A (zh) | 即时定位与地图构建方法、计算机设备以及装置 | |
| EP3629292A1 (en) | Reference point selection for extrinsic parameter calibration | |
| CN114518106B (zh) | 高精度地图垂向要素更新检测方法、系统、介质及设备 | |
| JPH10312463A (ja) | 物体認識方法およびその装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060426 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080422 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080623 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090414 |