JP2004354256A

JP2004354256A - キャリブレーションずれ検出装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム

Info

Publication number: JP2004354256A
Application number: JP2003153450A
Authority: JP
Inventors: Akio Kosaka; 明生小坂; Takashi Miyoshi; 貴史三由; Hidekazu Iwaki; 秀和岩城; Kazuhiko Arai; 和彦荒井
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2003-05-29
Filing date: 2003-05-29
Publication date: 2004-12-16

Abstract

【課題】３次元計測等を行うステレオ画像を撮影する撮影装置のキャリブレーションずれを、簡易に定量的に検出することが可能なキャリブレーションずれ検出装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステムを提供することである。
【解決手段】ステレオ画像を撮影する撮影装置のキャリブレーションずれを検出するキャリブレーションずれ検出装置に於いて、撮影装置１１に関わるキャリブレーションデータがキャリブレーションデータ記憶装置８に記憶されている。上記撮影装置１１が撮影したステレオ画像から特徴抽出装置５によって特徴が抽出される。この特徴抽出装置５で抽出された特徴に基づき、上記キャリブレーションデータ記録装置８に記憶されたキャリブレーションデータに関するキャリブレーションずれが、キャリブレーションずれ判定装置６で判定される。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、ステレオ画像を撮影する撮影装置のキャリブレーションずれを検出するキャリブレーションずれ検出装置及びステレオカメラに関する。更に、本発明は、位置の基準を規定する外部装置とステレオ画像を撮影する撮影装置との間のキャリブレーションずれを検出するキャリブレーションずれ検出装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステムに関するものである。
【０００２】
【従来の技術】
従来より使用されている画像撮影装置に関わるキャリブレーションに関しては、大きくわけると
▲１▼ステレオ画像を撮影する装置自体に関わるキャリブレーション
▲２▼撮影装置と外部装置間の位置姿勢に関わるキャリブレーション
に相当するものがある。
【０００３】
上記▲１▼に関するキャリブレーションは、いわゆるステレオカメラのキャリブレーションとして一般的に知られているものである。これは、ステレオカメラの撮影特性に関するパラメータである、焦点距離、拡大率、画像中心、レンズディストーション等に代表されるカメラパラメータと、ステレオカメラを構成する少なくとも２台のカメラ間の位置姿勢関係を規定する位置姿勢パラメータに関するキャリブレーションである。こうしたパラメータは、ステレオ撮影装置の内部キャリブレーションパラメータと称される。
【０００４】
また、上記▲２▼に関するキャリブレーションは、ステレオ撮影装置と外部装置間の位置姿勢に関するパラメータに関するキャリブレーションに相当する。より具体的には、例えば、ステレオ撮影装置がある環境に配置されている場合には、ステレオカメラが設置されている環境内での位置姿勢パラメータが、このキャリブレーションで規定すべきパラメータとなる。また、ステレオ撮影装置が車両に装着され、そのステレオカメラで車両前方の障害物の位置関係を計測する場合には、車両の基準となる原点に対して、ステレオ撮影装置がどこに装着してあるかを規定する位置姿勢パラメータがキャリブレーションで規定すべきパラメータとなる。こうしたパラメータは、撮影装置と外部装置間の外部キャリブレーションパラメータと称される。
【０００５】
次に、こうしたキャリブレーションずれに関して説明する。
【０００６】
上記▲１▼のステレオ撮影装置の内部キャリブレーションパラメータに起因するキャリブレーションずれに関して考える。例えば、２台のカメラからステレオ画像を撮影する装置の場合には、（▲１▼−１）各カメラの撮影に関するカメラパラメータのずれに基づくキャリブレーションずれ、（▲１▼−２）２台のカメラ間の位置姿勢を規定するパラメータのずれに基づくキャリブレーションずれ、に分けることができる。
【０００７】
例えば、上記（▲１▼―１）に関するキャリブレーションずれが起こる原因としては、カメラを構成する光学レンズ系の変形、光学レンズ系と撮像素子（ＣＣＤやＣＭＯＳ等）との間の位置ずれ、光学レンズのフォーカス位置のずれ、光学レンズのズームレンズの制御系のずれ等が考えられる。
【０００８】
また、上記（▲１▼−２）に関するキャリブレーションずれが起こる原因としては、２台のカメラ間を固定する機構の位置ずれによる。例えば、２台のカメラを機械的なシャフトで固定している場合には、そのシャフトの経時的変形等がこの例に対応する。また、２台のカメラをねじ止めであるシャフトに装着してある場合には、そのねじの弛み等による位置ずれ等にも起因する。
【０００９】
一方、上記▲２▼のキャリブレーションずれが起こる原因としては、ステレオ撮影装置と外部装置を固定する機械的要素の変形、取り付け治具の変形などが考えられる。例えば、車載カメラにステレオ撮影装置を利用して、この撮影装置をフロントウィンドウとバックミラーの間の取り付け治具を用いて、外部装置である車両に取り付ける場合を考える。この場合、車両の基準位置を車両先端と規定すれば、ステレオ撮影装置の取り付け治具自体の変形、取り付け部材である「ねじ」の弛み等による変形、車両自体の経時的変形、寒冷地等の使用する際の季節的変動に伴う車両や取り付け治具の機械的変形等、各種の機械的変形に伴うキャリブレーションずれを考えることができる。
【００１０】
こうしたキャリブレーションずれの検出或いは補正の従来例を考えると、以下のような技術が提案されている（例えば、特許文献１、非特許文献１及び非特許文献参照）
上記特許文献１に記載の方式は、ステレオカメラの撮影画像の光学的位置ずれを補正するもので、上記▲２▼の撮影装置と外部装置間の位置姿勢に関わるキャリブレーションに関するキャリブレーションずれを補正する方法が提供されている。より具体的には、２台のカメラのそれぞれの視野に設定した基準マーカの各撮影画像内での初期位置を記憶しており、実際に撮影された画像内での位置ずれから、位置ずれに関わる補正を行うものである。
【００１１】
また、上記非特許文献１に記載の方式は、２台のカメラで撮影された自然特徴点（撮影された画像から任意に選択された特徴点）を利用して、２台のカメラに関わる相対的な位置関係を算出する方法がある。この算出にあたっては、数学的に基本行列を算出するものである。基本的には、カメラ間の距離に関わる推定値は相対的な推定により算出されるものである。またカメラのレンズディストーションは無視できると仮定している。
【００１２】
更に、上記非特許文献２の方式は、一般的なカメラキャリブレーションの方法とステレオカメラへの応用を説明している。具体的には、基準座標系に数多くの既知特徴点（既知マーカ）を配置して、その特徴点の画像内での位置を算出することにより、カメラ（ステレオカメラ）に関する各種パラメータを算出する方法である。従って、この方式により、キャリブレーションパラメータを、全て再算出することが可能である。
【００１３】
【特許文献１】
特開平１１−３２５８９０号公報
【００１４】
【比特許文献１】
徐剛、写真から作る３次元ＣＧ、近代科学社、２００１
【００１５】
【非特許文献２】
Ｊ．Ｗｅｎｇ，ｅｔａｌ．， ”Ｃａｍｅｒａｃａｌｉｂｒａｔｉｏｎｗｉｔｈｄｉｓｔｏｒｔｉｏｎｍｏｄｅｌｓａｎｄａｃｃｕｒａｃｙｅｖａｌｕａｔｉｏｎ， ” ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．１４，Ｎｏ．１０，Ｏｃｔｏｂｅｒ１９９２，ｐｐ．９６５−９８０．
【００１６】
【発明が解決しようとする課題】
上記特許文献１の従来例では、撮影装置と外部装置間の位置ずれを検出して、補正する方法を提供するのみであり、撮影装置内部キャリブレーションパラメータに関するキャリブレーションずれの検出や補正には対応できていないという課題を有している。
【００１７】
また、上記非特許文献１の方法で、基本行列を算出してカメラキャリブレーションする方法では、カメラ間の絶対距離としての位置姿勢関係を算出することが不可能であるため、ステレオ撮影装置を、３次元計測装置として使用するには問題がある。
【００１８】
更に、上記非特許文献２の従来例では、カメラキャリブレーションの一般的方法を提供するものであり、元来キャリブレーションずれを目的としたものではない。加えて、キャリブレーションを実行するためには、複数の既知マーカを配置して処理を行わなければならないという課題を有していた。
【００１９】
本発明は、このような課題に鑑みてなされたものであり、その目的とするところは、３次元計測等を行うステレオ画像を撮影する撮影装置のキャリブレーションが、経時変化や衝撃振動などの機械ずれによっても、ステレオ画像を解析することにより、簡易にキャリブレーションずれを定量的に検出することが可能なキャリブレーションずれ検出装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステムを提供することにある。
【００２０】
【課題を解決するための手段】
すなわち請求項１に記載の発明は、ステレオ画像を撮影する撮影装置に係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影装置が撮影したステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、を具備することを特徴とする。
【００２１】
請求項２に記載の発明は、ステレオ画像を撮影する撮影装置に係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影装置が撮影したステレオ画像に対し、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づくレクティフィケーション処理を施すレクティフィケーション処理部と、上記レクティフィケーション処理部によってレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、を具備することを特徴とする。
【００２２】
請求項３に記載の発明は、基準位置を規定するために利用される所定の外部装置と撮影装置間のキャリブレーションに係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影装置が撮影したステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、を具備することを特徴とする。
【００２３】
請求項４に記載の発明は、基準位置を規定するために利用される所定の外部装置とステレオ画像を撮影する撮影装置間のキャリブレーションに係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影装置が撮影したステレオ画像に対し、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づくレクティフィケーション処理を施すレクティフィケーション処理部と、上記レクティフィケーション処理部によってレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、を具備することを特徴とする。
【００２４】
請求項５に記載の発明は、ステレオ画像を撮影する撮影装置に係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影装置が撮影したステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、上記キャリブレーションずれ判定部が判定したキャリブレーションずれの有無等の判定結果を呈示するためのずれ結果呈示部と、を具備することを特徴とする。
【００２５】
請求項６に記載の発明は、ステレオ画像を撮影する撮影装置に係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影装置が撮影したステレオ画像に対し、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づくレクティフィケーション処理を施すレクティフィケーション処理装置と、上記レクティフィケーション処理部によってレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、上記キャリブレーションずれ判定部が判定したキャリブレーションずれの有無等の判定結果を呈示するためのずれ結果呈示部と、を具備することを特徴とする。
【００２６】
請求項７に記載の発明は、基準位置を規定するために利用される所定の外部装置とステレオ画像を撮影する撮影装置間のキャリブレーションに係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影装置が撮影したステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、上記キャリブレーションずれ判定部が判定したキャリブレーションずれの有無等の判定結果を呈示するためのずれ結果呈示部と、を具備することを特徴とする。
【００２７】
請求項８に記載の発明は、基準位置を規定するために利用される所定の外部装置とステレオ画像を撮影する撮影装置間のキャリブレーションに係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影装置が撮影したステレオ画像に対し、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づくレクティフィケーション処理を施すレクティフィケーション処理部と、上記レクティフィケーション処理部によってレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、上記キャリブレーションずれ判定部が判定したキャリブレーションずれの有無等の判定結果を呈示するためのずれ結果呈示部と、を具備することを特徴とする。
【００２８】
請求項９に記載の発明は、ステレオ画像を撮影する撮影装置に係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影装置が撮影したステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、上記撮影装置に係るキャリブレーションと所定の相関を有する情報乃至所定の操作に応じてキャリブレーションずれ検出を行うか否かを判断する状況判断部と、を具備することを特徴とする。
【００２９】
請求項１０に記載の発明は、ステレオ画像を撮影する撮影装置に係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影装置が撮影したステレオ画像に対し、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づくレクティフィケーション処理を施すレクティフィケーション処理装置と、上記レクティフィケーション処理部によってレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、上記撮影装置に係るキャリブレーションと所定の相関を有する情報乃至所定の操作に応じてキャリブレーションずれ検出を行うか否かを判断する状況判断部と、を具備することを特徴とする。
【００３０】
請求項１１に記載の発明は、基準位置を規定するために利用される所定の外部装置とステレオ画像を撮影する撮影装置間のキャリブレーションに係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影装置が撮影したステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、上記撮影装置に係るキャリブレーションと所定の相関を有する情報乃至所定の操作に応じてキャリブレーションずれ検出を行うか否かを判断する状況判断部と、を具備することを特徴とする。
【００３１】
請求項１２に記載の発明は、基準位置を規定するために利用される所定の外部装置とステレオ画像を撮影する撮影装置間のキャリブレーションに係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影装置が撮影したステレオ画像に対し、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づくレクティフィケーション処理を施すレクティフィケーション処理部と、上記レクティフィケーション処理部によってレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、上記撮影装置に係るキャリブレーションと所定の相関を有する情報乃至所定の操作に応じてキャリブレーションずれ検出を行うか否かを判断する状況判断部と、を具備することを特徴とする。
【００３２】
請求項１３に記載の発明は、ステレオ画像を撮影する撮影装置に係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影装置が撮影したステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、上記キャリブレーションずれ判定部が判定したキャリブレーションずれの有無等の判定結果を呈示するためのずれ結果呈示部と、上記撮影装置に係るキャリブレーションと所定の相関を有する情報乃至所定の操作に応じてキャリブレーションずれ検出を行うか否かを判断する状況判断部と、を具備することを特徴とする。
【００３３】
請求項１４に記載の発明は、ステレオ画像を撮影する撮影装置に係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影装置が撮影したステレオ画像に対し、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づくレクティフィケーション処理を施すレクティフィケーション処理部と、上記レクティフィケーション処理部によってレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出ぶが抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、上記キャリブレーションずれ判定部が判定したキャリブレーションずれの有無等の判定結果を呈示するためのずれ結果呈示部と、上記撮影装置に係るキャリブレーションと所定の相関を有する情報乃至所定の操作に応じてキャリブレーションずれ検出を行うか否かを判断する状況判断部と、を具備することを特徴とする。
【００３４】
請求項１５に記載の発明は、基準位置を規定するために利用された所定の外部装置とステレオ画像を撮影する撮影装置間のキャリブレーションに係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影装置が撮影したステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、上記キャリブレーションずれ判定部が判定したキャリブレーションずれの有無等の判定結果を呈示するためのずれ結果呈示部と、上記撮影装置に係るキャリブレーションと所定の相関を有する情報乃至所定の操作に応じてキャリブレーションずれ検出を行うか否かを判断する状況判断部と、を具備することを特徴とする。
【００３５】
請求項１６に記載の発明は、基準位置を規定するために利用される所定の外部装置とステレオ画像を撮影するための撮影装置間のキャリブレーションに係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮影装置が撮影したステレオ画像に対し、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づくレクティフィケーション処理を施すレクティフィケーション処理部と、上記レクティフィケーション処理部によってレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部が抽出した特徴に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、上記キャリブレーションずれ判定部が判定したキャリブレーションずれの有無等の判定結果を呈示するためのずれ結果呈示部と、上記撮影装置に係るキャリブレーションと所定の相関を有する情報乃至所定の操作に応じてキャリブレーションずれ検出を行うか否かを判断する状況判断部と、を具備することを特徴とする。
【００３６】
請求項１７に記載の発明は、請求項１乃至１６の何れかに記載のキャリブレーションずれ検出装置に於いて、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づき、上記撮影装置により得たステレオ画像に対しディストーションを補正するディストーション処理を施すディストーション補正処理部を更に具備することを特徴とする。
【００３７】
請求項１８に記載の発明は、請求項１乃至１６の何れかに記載のキャリブレーションずれ検出装置に於いて、上記特徴抽出部は、当該ステレオ画像の対応関係にある特徴を複数抽出するように構成されたことを特徴とする。
【００３８】
請求項１９に記載の発明は、請求項１乃至１６の何れかに記載のキャリブレーションずれ検出装置に於いて、上記特徴抽出部は、上記撮影装置により得たステレオ画像の対応関係にある特徴を複数抽出し、該複数抽出された対応のとれた特徴のうち異常と判定できる特徴は排除して、上記キャリブレーションずれ判定部でのずれ判定に供するように構成されたことを特徴とする。
【００３９】
請求項２０に記載の発明は、請求項１乃至１６の何れかに記載のキャリブレーションずれ検出装置に於いて、上記キャリブレーションずれ判定部は、上記撮影装置により得たステレオ画像の対応関係にある特徴について、上記キャリブレーションデータ保持部が保持するキャリブレーションデータに基づくエピポーラ線拘束を利用してキャリブレーションずれを判定するように構成されたことを特徴とする。
【００４０】
請求項２１に記載の発明は、請求項１乃至１６の何れかに記載のキャリブレーションずれ検出装置に於いて、上記特徴抽出部は、上記撮影装置により得たステレオ画像の一方の画像内でキャリブレーションずれ検出に有効な特徴を選択する特徴選択部と、当該選択された特徴に対応する特徴を他方の画像内から抽出若しくは探索する特徴対応探索部と、を含んでなることを特徴とする。
【００４１】
請求項２２に記載の発明は、請求項１乃至１６の何れかに記載のキャリブレーションずれ検出装置に於いて、上記キャリブレーションデータ保持部は、相対的な位置関係が既知な複数の特徴のデータを保持するものであり、上記キャリブレーションずれ判定部は、上記特徴抽出部が抽出した特徴を表す情報に上記キャリブレーションデータ保持部が保持する上記位置関係を表すデータも利用してキャリブレーションずれ判定を行うものであることを特徴とする。
【００４２】
請求項２３に記載の発明は、請求項１乃至１６の何れかに記載のキャリブレーションずれ検出装置に於いて、上記撮影装置として、複数の視点による視差を生じる複数の像を得る光学系と単一のカメラ部とを有するステレオアダプタ方式の撮影装置に対してそのキャリブレーションずれ検出を行うように構成されたことを特徴とする。
【００４３】
請求項２４に記載の発明は、請求項１乃至１６の何れかに記載のキャリブレーションずれ検出装置に於いて、上記撮影装置としての、複数のカメラを含んでなる撮像システムを対象としてキャリブレーションずれ検出を行うように構成されたものであることを特徴とする。
【００４４】
請求項２５に記載の発明は、請求項１乃至１６の何れかに記載のキャリブレーションずれ検出装置に於いて、車載型の上記撮像装置に係るキャリブレーションずれを検出するように構成されたことを特徴とする。
【００４５】
請求項２６に記載の発明は、請求項９乃至１６の何れかに記載のキャリブレーションずれ検出装置に於いて、上記状況判断部は、外部センサの出力に基づいて状況判断を行うことを特徴とする。
【００４６】
請求項２７に記載の発明は、請求項５、６、７、８、１３、１４、１５若しくは１６の何れかに記載のキャリブレーションずれ検出装置に於いて、上記ずれ結果呈示部は、上記キャリブレーションずれ判定部との協働により、ずれ検出に係る処理動作中である旨を表示可能に構成されたものであることを特徴とする。
【００４７】
請求項２８に記載の発明は、請求項５、６、７、８、１３、１４、１５若しくは１６の何れかに記載のキャリブレーションずれ検出装置に於いて、上記ずれ結果呈示部は、上記キャリブレーションずれ判定部との協働により、ずれ検出に係る処理の結果として得られたパラメータと上記キャリブレーションデータ保持部に予め保持されていたパラメータとの差異を表わす情報を表示可能に構成されたものであることを特徴とする。
【００４８】
請求項２９に記載の発明は、請求項５、６、７、８、１３、１４、１５若しくは１６の何れかに記載のキャリブレーションずれ検出装置に於いて、上記ずれ結果呈示部は、上記キャリブレーションずれ判定部との協働により、正規のずれ検出が行われ得なかったときにはその旨を表わすエラーコードを表示可能に構成されたものであることを特徴とする。
【００４９】
請求項３０に記載の発明は、請求項５、６、７、８、１３、１４、１５若しくは１６の何れかに記載のキャリブレーションずれ検出装置に於いて、上記ずれ結果呈示部は、上記キャリブレーションずれ判定部との協働により、ずれ検出に関する信頼度を表すステータスを表示可能に構成されたものであることを特徴とする。
【００５０】
請求項３１に記載の発明は、請求項１乃至１６の何れかに記載のキャリブレーションずれ検出装置に於いて、上記特徴抽出部は、上記撮影装置により得たステレオ画像に関する信頼度を弁別するように構成され、該特徴抽出部が上記撮影装置により得たステレオ画像に関する信頼度が不十分であることを弁別したときには、該撮影装置による撮影処理を繰り返すように制御する制御が更に設けられることを特徴とする。
【００５１】
また、請求項３２に記載の発明は、相互に離隔した複数の視点による視差を持った複数の映像を表す映像信号出力を得るようになされた撮像部と、上記撮像部のキャリブレーションずれを検出するキャリブレーションずれ検出部と、上記キャリブレーションずれ検出部の検出出力データを勘案して上記撮像部で得た映像信号出力に依拠して被写体の距離等のデータを算出する演算部と、を具備するステレオカメラであって、上記キャリブレーションずれ検出部は、上記撮像部に係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮像部により得た映像信号出力としてのステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部で抽出された特徴を表す情報に基づき上記キャリブレーションデータ記憶部に記憶されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、を有することを特徴とする。
【００５２】
請求項３３に記載の発明は、相互に離隔した複数の視点による視差を持った複数の映像を表す映像信号出力を得るようになされた撮像部と、上記撮像部のキャリブレーションずれを検出するキャリブレーションずれ検出部と、上記キャリブレーションずれ検出部の検出出力データを勘案して上記撮像部で得た映像信号出力に依拠して被写体の距離等のデータを算出する演算部と、を具備するステレオカメラであって、上記キャリブレーションずれ検出部は、上記撮像部に係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮像部が撮像したステレオ画像を、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づいてレクティフィケーション処理するレクティフィケーション処理部と、上記レクティフィケーション処理部が処理したレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部で抽出された特徴を表す情報に基づき上記キャリブレーションデータ記憶部に記憶されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、を有することを特徴とする。
【００５３】
請求項３４に記載の発明は、相互に離隔した複数の視点による視差を持った複数の映像を表す映像信号出力を得るようになされた撮像部と、上記撮像部と所定の基準位置を規定する外部装置との間のキャリブレーションずれを検出するキャリブレーションずれ検出部と、上記キャリブレーションずれ検出部の検出出力を勘案して上記撮像部で得た映像信号出力に依拠して被写体の距離等のデータを算出する演算部と、を具備するステレオカメラであって、上記キャリブレーションずれ検出部は、上記基準位置を規定するために利用される所定の外部装置と上記撮像部の間のキャリブレーションずれに係るキャリブレーションデータを記憶するキャリブレーションデータ記憶部と、上記撮像部により得た映像信号出力としてのステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部で抽出された特徴に基づき上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、を有することを特徴とする。
【００５４】
請求項３５に記載の発明は、相互に離隔した複数の視点による視差を持った複数の映像を表す映像信号出力を得るようになされた撮像部と、上記撮像部と所定の基準位置を規定する外部装置との間のキャリブレーションずれを検出するキャリブレーションずれ検出部と、上記キャリブレーションずれ検出部の検出出力を勘案して上記撮像部で得た映像信号出力に依拠して被写体の距離等のデータを算出する演算部と、を具備するステレオカメラであって、上記キャリブレーションずれ検出部は、上記撮像部に係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮像部が撮像したステレオ画像を、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づいてレクティフィケーション処理するレクティフィケーション処理部と、上記レクティフィケーション処理部によってレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部で抽出された特徴を表す情報に基づき上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、を有することを特徴とする。
【００５５】
請求項３６に記載の発明は、相互に離隔した複数の視点による視差を持った複数の映像を表わす映像信号出力を得るようになされた撮像部と、上記撮像部のキャリブレーションずれを検出するキャリブレーションずれ検出部と、上記キャリブレーションずれ検出部の検出出力データを勘案して上記撮像部で得た映像信号出力に依拠して被写体の距離等のデータを算出する演算部と、上記キャリブレーションずれ検出部、演算部、並びに、上記撮像部の出力に関連した所要の表示を行うための表示部と、を含んで構成されたステレオカメラシステムであって、上記キャリブレーションずれ検出部は、上記撮像部に係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮像部により得た映像信号出力としてのステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部で抽出された特徴を表わす情報に基づき上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、を含んで構成されたものであり、上記表示部は、上記キャリブレーションずれ判定部の判定結果を自己の表示面に表示可能に構成されたものであることを特徴とする。
【００５６】
請求項３７に記載の発明は、相互に離隔した複数の視点による視差を持った複数の映像を表わす映像信号出力を得るようになされた撮像部と、上記撮像部のキャリブレーションずれを検出するキャリブレーションずれ検出部と、上記キャリブレーションずれ検出部の検出出力データを勘案して上記撮像部で得た映像信号出力に依拠して被写体の距離等のデータを算出する演算部と、上記キャリブレーションずれ検出部、演算部、並びに、上記撮像部の出力に関連した所要の表示を行うための表示部と、を含んで構成されたステレオカメラシステムであって、上記キャリブレーションずれ検出部は、上記撮像部に係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮像部により得た映像信号出力としてのステレオ画像に対し上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づくレクティフィケーション処理を施すレクティフィケーション処理部と、上記レクティフィケーション処理部によってレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部で抽出された特徴を表わす情報に基づき上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、を含んで構成されたものであり、上記表示部は、上記キャリブレーションずれ判定部の判定結果を自己の表示面に表示可能に構成されたものであることを特徴とする。
【００５７】
請求項３８に記載の発明は、相互に離隔した複数の視点による視差を持った複数の映像を表わす映像信号出力を得るようになされた撮像部と、上記撮像部と所定の基準位置を規定する外部装置との間のキャリブレーションずれを検出するキャリブレーションずれ検出部と、上記キャリブレーションずれ検出部の検出出力データを勘案して上記撮像部で得た映像信号出力に依拠して被写体の距離等のデータを算出する演算部と、上記キャリブレーションずれ検出部、演算部、並びに、上記撮像部の出力に関連した所要の表示を行うための表示部と、を含んで構成されたステレオカメラシステムであって、上記キャリブレーションずれ検出部は、上記基準位置を規定するために利用される所定の外部装置と上記撮像部間のキャリブレーションに係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮像部により得た映像信号出力としてのステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部で抽出された特徴を表わす情報に基づき上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、を含んで構成されたものであり、上記表示部は、上記キャリブレーションずれ判定部の判定結果を自己の表示面に表示可能に構成されたものであることを特徴とする。
【００５８】
請求項３９に記載の発明は、相互に離隔した複数の視点による視差を持った複数の映像を表わす映像信号出力を得るようになされた撮像部と、上記撮像部と所定の基準位置を規定する外部装置との間のキャリブレーションずれを検出するキャリブレーションずれ検出部と、上記キャリブレーションずれ検出部の検出出力データを勘案して上記撮像部で得た映像信号出力に依拠して被写体の距離等のデータを算出する演算部と、上記キャリブレーションずれ検出部、演算部、並びに、上記撮像部の出力に関連した所要の表示を行うための表示部と、を含んで構成されたステレオカメラシステムであって、上記キャリブレーションずれ検出部は、上記基準位置を規定するために利用される所定の外部装置と上記撮像部間のキャリブレーションに係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、上記撮像部により得た映像信号出力としてのステレオ画像に対し上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づくレクティフィケーション処理を施すレクティフィケーション処理部と、上記レクティフィケーション処理部によってレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、上記特徴抽出部で抽出された特徴を表わす情報に基づき上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、を含んで構成されたものであり、上記表示部は、上記キャリブレーションずれ判定部の判定結果を自己の表示面に表示可能に構成されたものであることを特徴とする。
【００５９】
請求項４０に記載の発明は、請求項３６、３７、３８若しくは３９の何れかに記載のステレオカメラシステムに於いて、上記表示部は、上記キャリブレーションずれ判定部との協働により、ずれ検出に係る処理動作中である旨を表示可能に構成されたものであることを特徴とする。
【００６０】
請求項４１に記載の発明は、請求項３６、３７、３８若しくは３９の何れかに記載のステレオカメラシステムに於いて、上記ずれ結果呈示部は、上記キャリブレーションずれ判定部との協働により、ずれ検出に係る処理の結果として得られたパラメータと上記キャリブレーションデータ保持部に予め保持されていたパラメータとの差異を表わす情報を表示可能に構成されたものであることを特徴とする。
【００６１】
請求項４２に記載の発明は、請求項３６、３７、３８若しくは３９の何れかに記載のステレオカメラシステムに於いて、上記ずれ結果呈示部は、上記キャリブレーションずれ判定部との協働により、正規のずれ検出が行われ得なかったときにはその旨を表わすエラーコードを表示可能に構成されたものであることを特徴とする。
【００６２】
請求項４３に記載の発明は、請求項３６、３７、３８若しくは３９の何れかに記載のステレオカメラシステムに於いて、上記キャリブレーションずれ検出部は、その特徴抽出部が上記撮像部により得たステレオ画像に関する信頼度を弁別するように構成され、該特徴抽出部が上記撮像部により得たステレオ画像に関する信頼度が不十分であることを弁別したときには、該撮像部による撮像処理を繰り返すように制御する制御部を更に具えたことを特徴とする。
【００６３】
請求項４４に記載の発明は、請求項３７若しくは３８に記載のステレオカメラシステムに於いて、上記キャリブレーションずれ検出部は、当該外部装置として、上記撮像部が装備された車両の特定の形状部を適用するものであることを特徴とする。
【００６４】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態について説明する。
【００６５】
尚、本発明を構成する各部は、当該各部の機能を実現する各個の装置としても観念できるものであるため、以下、実施の形態の説明に於いてはこれらを装置と称呼する。尚、キャリブレーションデータ保持部は、キャリブレーションに係るデータを記憶、保持するキャリブレーションデータ記憶装置として実現される。
【００６６】
（第１の実施の形態）
初めに、第１の実施の形態として、撮影装置内部のキャリブレーションずれ検出について説明する。
【００６７】
図１は、本発明の第１の実施の形態に於けるキャリブレーションずれ検出装置の基本構成例を示したブロック図である。本実施の形態では、ステレオ撮影装置に関する内部キャリブレーションパラメータに関するキャリブレーションずれを検出する方法である。
【００６８】
図１に於いて、このキャリブレーションずれ検出装置１は、各部の装置に制御信号を送ったり全体のシーケンスを司る制御装置２と、状況判断装置３と、レクティフィケーション処理装置４と、特徴抽出装置５と、キャリブレーションずれ判定装置６と、ずれ結果呈示装置７と、キャリブレーションデータ記憶装置８とを有して構成されている。
【００６９】
このキャリブレーションずれ検出装置１は、ステレオ画像を撮影し、キャリブレーションずれを検出すべき撮影装置１１を、キャリブレーションずれがあるどうかを検出するための装置である。
【００７０】
上記状況判断装置３は、キャリブレーションずれ検出を行うかどうかを判断するためのものである。上記キャリブレーションデータ記憶装置８は、予め撮影装置１１のキャリブレーションデータを記憶しているものである。
【００７１】
また、上記レクティフィケーション処理装置４は、撮影装置１１で撮影されたステレオ画像をレクティフィケーション処理するためのものである。特徴抽出装置５は、このレクティフィケーション処理装置４でレクティフィケーション処理されたステレオ画像からステレオ画像内で対応する特徴を抽出するためのものである。
【００７２】
キャリブレーションずれ判定装置６は、特徴抽出装置５で抽出された特徴と、キャリブレーションデータ記憶装置に記憶されたキャリブレーションデータを利用して、キャリブレーションずれがあるか否かを判定する。そのずれ判定結果により、ずれ結果呈示装置７が、ずれ結果を報告するようになっている。
【００７３】
ずれ結果呈示装置７は、本発明の構成要素たるずれ結果呈示部をなすものであるが、このずれ結果呈示部は図２５に基づいて後述する表示装置１０８を表示器として自己の構成要素として保有する形態を採り得るが、該ずれ結果呈示部は、より一般的に、このような表示器までも自己の部分として保有する態様のものに限られず、キャリブレーションずれ判定装置６による判定結果を表す信号に基づいて、ずれ結果を呈示するための出力信号乃至データを生成する限りの態様を採る場合もあり得る。
【００７４】
尚、キャリブレーションずれ検出装置１内の各装置は、ハードウェアや回路で構成されたもよいし、コンピュータやデータ処理装置のソフトウェアで処理されてもよい。
【００７５】
ここで、第１の実施の形態の具体的説明をする前に、本発明で重要となるステレオ撮影に関する技術的内容について、その概要を説明する。
【００７６】
［数学的準備とカメラモデル］
先ず、ステレオ画像を利用して撮像装置で画像を撮影すると、その画像は、撮像装置内の撮像素子（例えば、ＣＣＤやＣＭＯＳ等の半導体素子）で画像として結像されると共に画像信号となる。この画像信号は、アナログ或いはデジタル信号であるが、キャリブレーションずれ検出装置内では、デジタル画像データとなる。デジタルデータは２次元配列として表現できるが、もちろん六方細密充填のようなハニカム構造の２次元配列でも良いことは当然である。
【００７７】
撮影装置がアナログ画像を送信する場合には、キャリブレーションずれ検出装置内或いはその装置外にフレームメモリを用意して、その画像をデジタル画像に変換する。キャリブレーションずれ検出装置内で規定される画像について、その画素は、正方或いは長方格子状に定義できると仮定する。
【００７８】
いま、画像の座標を（ｕ，ｖ）等の２次元座標で表現することとする。
【００７９】
先ず、図２に示されるように、ステレオ画像を撮影する撮影装置１１は、左右の２台のカメラ１２ａ、１２ｂとから構成されているとする。そして、左画像を撮影するカメラ１２ａを規定する座標系を左カメラ座標系Ｌ、右画像を撮影する座標系を右カメラ座標系Ｒとする。そして、ステレオ画像として、左カメラ内の画像座標を（ｕ^Ｌ，ｖ^Ｌ）、右カメラ内の画像座標値を（ｕ^Ｒ，ｖ^Ｒ）等で表現するとする。尚、１３ａ、１３ｂは、それぞれ左カメラ画像面、右カメラ画像面とする。
【００８０】
また、撮影装置１１の全体が規定する基準座標系を定義することも可能である。この基準座標系を、例えばＷとする。もちろん、基準座標系として、一方のカメラ座標系ＬまたはＲを採用しても良いことは明白である。
【００８１】
いままでは、撮影装置として２台のカメラによるステレオ撮影により、ステレオ画像を生成するものを考えてきたが、これ以外にステレオ画像を生成する方法もある。例えば、１台のカメラの前にステレオアダプタを装着して、同時に左右画像を１台のＣＣＤ或いはＣＭＯＳなどの撮像素子の中に撮影する方法である（例えば、本件出願人による特開平８−１７１１５１号公報等参照）。
【００８２】
このようなステレオアダプタの場合には、図３に示されるように、左ミラー群１４ａ、右ミラー群１４ｂを有するステレオアダプタで撮影される画像は、あたかも２台の撮像装置で２台のフレームメモリが存在するかの如く、通常のステレオカメラに展開することができる。また、ステレオアダプタの変形例としては、上述した特開平８−１７１１５１号公報にあるように、左右ステレオ画像をＣＣＤ面上で上下分割するように光学的な変形素子を設けるものでもよい。
【００８３】
本発明に於けるステレオ撮影は、このように２台或いは２台以上の複数のカメラで撮影されるステレオ画像でもよい。或いは、ステレオアダプタを利用して撮影されるステレオ画像でもよい。
【００８４】
本発明では、こうしたステレオ画像を撮影する装置の光学系として、光学レンズ系にレンズディストーションがある場合でも可能なような装置構成とする。但し、先ず説明を簡単にするために、光学系にはレンズディストーションがない場合に関する撮像に関する数学的モデル化を行い、続いてより一般化したレンズディストーションを含む場合の取り扱いを行う。
【００８５】
そのために、先ず、撮像装置とフレームメモリの光学的特性をピンホールカメラでモデル化することを考える。
【００８６】
すなわち、左画像に関連するピンホールカメラモデルの座標系を左カメラ座標系Ｌとし、右画像に関連するピンホールカメラモデルの座標系を右カメラ座標系Ｒとする。また左カメラ座標系Ｌ内の点を（ｘ^Ｌ，ｙ^Ｌ，ｚ^Ｌ）、その画像対応点を（ｕ^Ｌ，ｖ^Ｌ）、右カメラ座標系Ｒ内の点を（ｘ^Ｒ，ｙ^Ｒ，ｚ^Ｒ）、その画像対応点を（ｕ^Ｒ，ｖ^Ｒ）とすると、図２に示されるカメラ位置Ｃ_Ｌ，Ｃ_Ｒを考慮しながら、下記式の如く求める。
【００８７】
【数１】

【００８８】
ここで本数学的モデルでは、カメラの横及び縦方向の画像拡大率を持って、カメラの焦点距離に関するパラメータをモデル化しているが、もちろんこれらのパラメータをカメラの焦点距離に関するパラメータのみで記述することは可能である。
【００８９】
基準座標系Ｗで定義される点Ｐ（ｘ，ｙ，ｚ）の左画像内での位置を（ｕ^Ｌ，ｖ^Ｌ）、右画像内での位置を（ｕ^Ｒ，ｖ^Ｒ）とし、左画像で想定される撮像装置とフレームメモリに対応する左カメラ１２ａの基準座標系に於ける位置Ｃ_Ｌ（左カメラ座標系の原点）と、右画像で想定される撮像装置とフレームメモリに対応する右カメラ１２ｂの基準標系に於ける位置Ｃ_Ｒ（右カメラ座標系の原点）を考えることができる。このとき、基準座標系Ｗの点Ｐ（ｘ，ｙ，ｚ）から左（ｕ^Ｌ，ｖ^Ｌ）へ射影される変換式と、同一の点から右（ｕ^Ｒ，ｖ^Ｒ）へ射影される変換式は、以下のように表すことができる。
【００９０】
【数２】

【００９１】
一方基準座標系として例えば左カメラ座標系を採用した場合には、下記式の如くなる。
【００９２】
【数３】

【００９３】
［ディストーション補正］
一方、撮像装置の光学レンズ等のレンズディストーションが３次元計測に要求精度に対して無視できない場合には、レンズディストーションを含めた光学系を考える必要がある。この場合には、上記式（３）、（４）は、以下に示されるような式（７）、（８）で表現することができる。この式では、レンズディストーションを表現するのにラディアルディストーションとタンジェンシャルディストーションを表したものであるが、もちろんこれ以外のディストーション表現であってもよい。
【００９４】
【数４】

【００９５】
またディストーション除去或いはディストーション補正のステップとは、以下のようにして画像を生成することを意味する。
【００９６】
（左画像のディストーション補正）
【数５】

【００９７】
（右画像のディストーション補正）
【数６】

【００９８】
［内部キャリブレーションパラメータとキャリブレーションずれ問題の定義］
２台のカメラから構成されるステレオ画像を撮影する撮影装置の、左カメラの座標系をＬ、右カメラの座標系をＲとして、これらのカメラの位置関係を考える。座標系Ｌと座標系Ｒの間の座標値の関係は、座標変換（回転行列と並進ベクトル）を利用して、下記のように表現することができる。
【００９９】
【数７】

【０１００】
【数８】

【０１０１】
本発明に於いては、この撮影装置の内部キャリブレーションパラメータｐなどをキャリブレーションパラメータとして、キャリブレーションデータ記憶装置に記憶される。キャリブレーションデータとしては、このカメラキャリブレーションパラメータｐは少なくとも含まれていることとする。
【０１０２】
【数９】

【０１０３】
またキャリブレーションずれの検出とは、このように設定されたキャリブレーションパラメータの値が変化したかを検出することである。
【０１０４】
［外部キャリブレーションパラメータとキャリブレーションずれ問題の定義］
先に説明したように、撮影装置と外部装置間のキャリブレーションも考える必要がある。
【０１０５】
この場合には、例えば左カメラ座標系Ｌを撮影装置の基準座標系としてとり、左カメラ座標系と外部装置間の間の位置姿勢関係を規定することがキャリブレーションに相当する。例えば、外部装置の座標系をＯとすると、外部装置座標系Ｏから左カメラ座標系Ｌへの座標変換パラメータを式（１８）のようにすると、式（１９）で表される６個のパラメータにより、その位置姿勢関係を記述することができる。
【０１０６】
【数１０】

【０１０７】
［ステレオ画像におけるエピポーラ線拘束］
ステレオ画像を用いて画像計測を行う際には、後にも述べるとおり、左右画像内で対応点探索を行うことが重要になる。この対応点探索に関して重要なのがいわゆるエピポーラ線拘束という概念である。以下、図４（ａ）、（ｂ）を参照して説明する。
【０１０８】
【数１１】

【０１０９】
この直線のことをエピポーラ線と称する。
【０１１０】
ここで重要なのは、ディストーションが画像内で顕著なときには、ディストーション補正或いは除去を予め行っておかなければならないということである。また、ディストーション補正された正規化画像に於いても、同様にエピポーラ線拘束が成立する。従って、以下では、先ずディストーション補正され、かつ正規化された画像面内で、本発明で考えるエピポーラ線の定義を行う。
【０１１１】
【数１２】

【０１１２】
今までは、正規化された画像面で考えてきたが、ディストーション補正された画像面でも同様にエピポーラ線の方程式を導くことができる。
【０１１３】
【数１３】

【０１１４】
［レクティフィケーション処理］
以上、エピポーラ線拘束を左右画像内の特徴点として考えてきたが、それ以外の方法として、レクティフィケーション（ｒｅｃｔｉｆｉｃａｔｉｏｎ）処理というものが、ステレオ画像処理ではよく用いられる。
【０１１５】
以下に、本発明に於けるレクティフィケーションについて説明する。
【０１１６】
レクティフィケーション処理を行うと、左右の画像内で対応する特徴点どうしが同一水平直線上になるという拘束を導くことができる。言い換えれば、レクティフィケーション処理後の画像では、左画像の同一直線上の特徴点群が、右画像上で同一直線をエピポーラ線として定義できることになる。
【０１１７】
図５は、この様子を表したものである。図５（ａ）はレクティフィケーション前の画像を表しており、（ｂ）はレクティフィケーション後の画像を表している。
【０１１８】
このようなレクティフィケーションを実現するために、図６に示されるように、左右カメラ原画像を、互いに水平になるようにそれぞれ変換する。この際、左カメラ座標系Ｌと右カメラ座標系Ｒの原点Ｃ_Ｌ，Ｃ_Ｒは移動せずに、カメラ座標系の軸のみを変更することにより、新しい左右の画像面を生成するわけである。
【０１１９】
左カメラ座標系Ｌと右カメラ座標系Ｒを、レクティフィケーションした後の座標系をそれぞれＬＲｅｃｔ，ＲＲｅｃｔとする。上述したとおり、ＬとＬＲｅｃｔ、ＲとＲＲｅｃｔの原点は一致する。
【０１２０】
これから２個の座標系の座標系間の座標変換を考えるが、その前に基準座標系を左カメラ座標系Ｌととることにする。（基準座標系を他にとっても同様である。）
このとき、レクティフィケーション後の左カメラ座標系ＬＲｅｃｔと右カメラ座標系ＲＲｅｃｔを以下のように定義する。
【０１２１】
先ず、左カメラ座標系Ｌの原点から右カメラ座標系Ｒの原点へのベクトルを考える。これは、もちろん基準座標系を基準として測ったものである。
【０１２２】
【数１４】

【０１２３】
このように設定すると、図５或いは図６で示されるように、正規化された画像空間では、左右の対応点が一直線上（エピポーラ線上）に配置されるようになることは自明である。
【０１２４】
【数１５】

【０１２５】
【数１６】

【０１２６】
【数１７】

【０１２７】
右カメラ系でも同様である。
【０１２８】
いままでは、ディストーション補正を含まないカメラ系で説明してきたが、ディストーション補正を含む実際の場合には、以下のような方法によればよい。
【０１２９】
【数１８】

【０１３０】
［ディストーション除去を含むレクティフィケーションステップ（ＲｅｃＬ及びＲｅｃＲステップ）］
【数１９】

【０１３１】
これまでレクティフィケーション処理の方法として、上記のような説明をしたが、レクティフィケーションの方法はこれに限られるものではない。例えば、ＡｎｄｒｅａＦｕｓｉｅｌｌｏ，ｅｔａｌ， ”Ａｃｏｍｐａｃｔａｌｇｏｒｉｔｈｍｆｏｒｒｅｃｔｉｆｉｃａｔｉｏｎｏｆｓｔｅｒｅｏｐａｉｒｓ，” ＭａｃｈｉｎｅＶｉｓｉｏｎａｎｄＡｐｐｌｉｃａｔｉｏｎｓ，２０００，１２：１６−２２に示されているような方法でもよい。
【０１３２】
以上、実施の形態を説明するのに必要となる用語の説明と処理の方法について述べたが、以下に、図１に示されるキャリブレーションずれ検出装置に関して具体的に説明する。
【０１３３】
図７は、本第１の実施の形態に於けるキャリブレーションずれ検出装置の詳細な動作を説明するフローチャートである。尚、本実施の形態に於いては、制御装置２の制御によって動作される。
【０１３４】
先ず、ステップＳ１に於いて、状況判断装置３によって、キャリブレーションずれが現時点で検出されるべきか否かが判断される。ここで判断される方法としては、次のようなものがある。
【０１３５】
キャリブレーションデータ記憶装置８に記憶された、キャリブレーションパラメータが過去に設定された時刻や状態等から判断する。例えば、キャリブレーションずれを定期的に行う場合には、その過去の時刻と現在時刻との差をとり、その差がある閾値より大きければ、キャリブレーションずれを検出すべきか否かを判断する。
【０１３６】
その他、自動車等の、装着された撮影装置の場合等には、車に装着された走行距離メータ（Ｏｄｏｍｅｔｅｒ）等の値から判断してもよい。
【０１３７】
また、現在の天候や時間がキャリブレーションずれを検出するのに適しているか否かを判断するなどということも考えられる。例えば、自動車の車外を監視するための撮影装置の場合には、夜や雨等の悪天候の場合に、キャリブレーションずれ検出を避ける等の判断をする。
【０１３８】
以上のような状況をふまえて、キャリブレーションずれ検出が必要か否かが判断される。その結果、キャリブレーション検出が必要と判断された場合には、その旨が制御装置２に告知される。制御装置２がその告知を受けた場合には、ステップＳ２に移行する。一方、キャリブレーションずれ検出が不必要、或いは不可ならば、本ルーチンが終了する。
【０１３９】
ステップＳ２では、撮影装置１１によりステレオ画像が撮影される。この撮影装置１１で撮影される画像は、上述したように、撮影装置１１が撮影する画像はアナログ画像でもデジタル画像でもかまわない。アナログ画像の際には、その画像がデジタル画像に変換される。
【０１４０】
この撮影装置１１で撮影された画像は、左画像と右画像としてキャリブレーションずれ検出装置１に送出される。
【０１４１】
図８は左右原画像を表したものであり、（ａ）は左カメラにより撮影された左原画像であり、（ｂ）は右カメラにより撮影された右原画像である。
【０１４２】
次に、ステップＳ３では、レクティフィケーション処理装置１に於いて、過去に記憶されたキャリブレーションデータがキャリブレーションデータ記憶装置８から受け取られて、レクティフィケーション処理が施される。
【０１４３】
【数２０】

【０１４４】
レクティフィケーション処理に際して、撮影装置１１を構成する左右のカメラのレンズディストーションが顕著である場合には、上述したＲｅｃＬとＲｅｃＲのステップに従って、レンズディストーション補正のアルゴリズムを含めて処理が行われる。尚、レンズディストーションが無視できる際には、ＲｅｃＬとＲｅｃＲの中のディストーション補正の部分を除いて処理が行われるようにすればよい。
【０１４５】
このようにレクティフィケーション処理された画像は、次の特徴抽出装置５へ送出される。
【０１４６】
図９はレクティフィケーションされた左右の画像を表したもので、（ａ）は左画像、（ｂ）は右画像である。
【０１４７】
ステップＳ４では、上記ステップＳ３でレクティフィケーションされたステレオ画像について、キャリブレーションずれ検出に必要となる特徴が抽出される。この処理は、特徴抽出装置５で行われる。
【０１４８】
特徴抽出装置５は、例えば、図１０に示されるように、特徴選択部５ａと特徴対応探索部５ｂとから構成されている。特徴選択部５ａでは、レクティフィケーションされたステレオ画像から、キャリブレーションずれを検出するのに有効となりそうな画像特徴が、一方の画像から抽出及び選択される。そして、この特徴選択部５ａで選択された特徴に対応する特徴が、上記特徴対応探索部５ｂにて、他方の画像内で探索されて最適な特徴が抽出され、これらの特徴対の集合がデータとして生成される。
【０１４９】
こうして得られた特徴対のデータは、左右画像レクティフィケーション後の画像座標値として登録される。
【０１５０】
【数２１】

【０１５１】
ここで、上記特徴抽出装置５の特徴選択部５ａ及び特徴対応探索部５ｂの詳細を説明する。
【０１５２】
先ず、特徴選択部５ａでは、一方の画像、例えば左画像の中に於いて、キャリブレーションずれ検出に有効となりそうな特徴が選択される。例えば、特徴として、特徴点を候補にする際には、先ず、レクティフィケーションされた左画像が、図１１に示されるように、Ｍ×Ｎ個の正方形から成る小ブロックに分割される。そして、その各ブロック内の画像から、多くとも１個のコーナーポイント等の特徴点が抽出される。
【０１５３】
この方法としては、例えば、Ｒ．ＨａｒａｌｉｃｋａｎｄＬ．Ｓｈａｐｉｒｏ，ＣｏｍｐｕｔｅｒａｎｄＲｏｂｏｔＶｉｓｉｏｎ，ＶｏｌｕｍｅＩＩ，ｐｐ．３３２ − ３３８，Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ，１９９３にあるようなＩｎｔｅｒｅｓｔＯｐｅｒａｔｏｒやＣｏｒｎｅｒＰｏｉｎｔＥｘｔｒａｃｔｉｏｎ法等を利用すればよい。または、各ブロック内でエッジ成分が抽出されて、その強度がある閾値以上のエッジ点をもって特徴点としてもよい。
【０１５４】
ここで重要なのは、あるブロック内が全く均一な領域のみで構成されている場合には、その領域からは特徴点が選択されない可能性もあるという点である。このようにして選択された特徴点の例が、図１２に示される。この図１２に於いて、○（白丸）で示された点１５が、このようにして選択された特徴である。
【０１５５】
次に、特徴対応探索部５ｂについて説明する。一方の画像から特徴選択部５ａで選択された特徴に関して、他方の画像内で、対応する特徴を抽出するのが特徴対応探索部５ｂの機能である。この特徴対応探索部５ｂでは、以下の方法により対応する特徴が探索される。
【０１５６】
ここで、探索範囲の設定について説明する。
【０１５７】
上記ステップＳ３で作成されたレクティフィケーション処理後の画像は、キャリブレーションデータ記憶装置８から過去に記憶されたキャリブレーションデータが使用されたものである。従って、キャリブレーションずれがある場合には、エピポーラ線上に対応点があるとは限らない。故に、対応探索される範囲は、想定される最大のキャリブレーションずれにも適合する対応探索範囲が設定されることがある。実際には、左画像内の特徴（ｕ，ｖ）に対応する右画像内のエピポーラ線の上下にある領域が用意される。
【０１５８】
【数２２】

【０１５９】
次に、エリアベースマッチングによる対応探索について説明する。
【０１６０】
上述した探索範囲の設定により決定された探索領域内で、最適な対応が探索される。最適な対応が探索される方法としては、例えば、Ｊ．Ｗｅｎｇ，ｅｔａｌ，ＭｏｔｉｏｎａｎｄＳｔｒｕｃｔｕｒｅｆｒｏｍＩｍａｇｅＳｅｑｕｅｎｃｅｓ，Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ，ｐｐ．７ − ６４，１９９３に示される方法等がある。または、左画像内の特徴に近傍の領域を利用して、その領域の画素値に最も類似した画像領域を右画像内の対応探索領域内で探索する方法でもよい。
【０１６１】
【数２３】

【０１６２】
これらの類似度或いは非類似度の値が利用されることで、それぞれマッチングのクオリティ或いは信頼度を考えることができる。例えば、ＳＡＤを考えた場合、そのＳＡＤの値が対応点付近では、ピークの鋭い小さな値を得れば、その対応点の信頼度は高いということができる。このように最適と判断された対応点毎に、その信頼度を考えるわけである。その対応点（ｕ′，ｖ′）が決定される。もちろん信頼度を考慮する場合には、
対応点対応点（ｕ′，ｖ′）：信頼度が閾値以上
対応点なし：信頼度が閾値未満
というようにすることも可能である。このように信頼度を考慮する場合には、もちろん未対応点を有する画素が左画像或いは右画像に存在することになる。
【０１６３】
【数２４】

【０１６４】
このように、対応のとれた右画像内に於ける特徴が、図１４に示される。図１４に於いて、○（白丸）で示された点１６が、このようにして対応のとれた右画像内の特徴点を表している。
【０１６５】
図７のフローチャートに戻って、ステップＳ５では、特徴抽出装置５にて更に、上記ステップＳ４で登録された特徴対の数や信頼度がチェックされる。ここで、登録された特徴対の数が、ある所定の数より少ない場合には、撮影されたステレオ画像は不適切であったと判断される。従って、上記ステップＳ１に移行して、再度撮影処理等が繰り返される。この撮影処理の繰り返しは、特徴抽出装置５の出力データに基づいて制御装置２から発せられる制御指令によって行われる。この点は、図１、図１７、図２０及び図２４の構成に於いて同様である。
【０１６６】
一方、信頼性のある特徴対が得られたと判断された場合には、特徴対の集合が、キャリブレーションずれ判定装置６へ送出される。
【０１６７】
次いで、ステップＳ６では、キャリブレーションずれ判定装置６での処理が行われる。
【０１６８】
【数２５】

【０１６９】
ここで、キャリブレーションずれ判定方法について説明する。
【０１７０】
キャリブレーションずれ判定方法１として、上記ステップＳ４で登録されたｎ個の特徴に関して、事前に得られているキャリブレーションデータに基づいてレクティフィケーションされた特徴対の画像座標値が利用される。すなわち、キャリブレーションデータのずれが全くないとすれば、登録された特徴対は完全にエピポーラ線拘束を満たしていることになる。逆に言えば、キャリブレーションずれが生じている場合には、このエピポーラ線拘束が満たされていないと判断できる。そこで、特徴対全体として、どの程度エピポーラ線拘束が満たされていないかが評価値として、キャリブレーションずれが判定されることにする。
【０１７１】
【数２６】

【０１７２】
図１５は、こうした様子を示したものである。図１５に於いて、各特徴に関して、エピポーラ線からのずれｄｉは、特徴点のエピポーラ線からの画像内距離に対応するわけである。
【０１７３】
次に、キャリブレーションずれ判定方法２について説明する。
【０１７４】
上記判定方法１で説明した方法で、対応探索の信頼度が高い場合には良好な結果が得られるが、対応探索結果に信頼度が低いものが含まれている可能性がある場合には、下記式（４８）で算出された各特徴の差異の中、ノイズ成分が多く含まれている可能性があると考えられる。
【０１７５】
【数２７】

【０１７６】
このような場合には、ノイズ成分と思われる異常値が予め取り除かれた後に平均が取られる作業により、キャリブレーションずれが判定される方法が有効である。
【０１７７】
【数２８】

【０１７８】
図７のフローチャートに戻って、ステップＳ７では、上記ステップＳ６で判定された結果が、ずれ結果呈示装置７によって呈示される。
【０１７９】
図１６は、ずれ結果呈示装置７の一例を表したものである。本例では、ずれ結果呈示装置７として表示装置１０８（図２５につき後述する）を利用したものであり、より具体的には、ディスプレイやＬＣＤモニタ等で構成されている。もちろん、このディスプレイは、別の用途のディスプレイでもよく、そのディスプレイの画面一部分を利用して、ずれ結果を表示するものでもよいし、ずれ結果表示のために、画面表示のモードを切り替えるタイプのものでもよい。
【０１８０】
本発明の実施の形態に於けるこのずれ結果表示装置７は、上記キャリブレーションずれ判定部との協働によりずれ検出に係る処理動作中である旨を表示可能に構成され、また、ずれ検出に係る処理の結果として得られたパラメータと上記キャリブレーションデータ保持部に予め保持されていたパラメータとの差異を表わす情報を表示可能になされ、更に、正規のずれ検出が行われ得なかったときにはその旨を表わすエラーコードを表示可能に構成される。
【０１８１】
図１６の表示では、３個のカラムＡ、Ｂ、Ｃを有しており、それぞれのカラムに結果が表示されるようになっている。
【０１８２】
カラムＡの部分は、キャリブレーションずれ検出中にはフラッシュすることになり、ずれ検出の結果が得られたときには、カラムＢの部分にずれ量の大きさや判定結果等が表示される。また、カラムＣの部分には、ずれ検出に関わるステータスが表示される。ステータスとしては、上述したステップＳ５で示される途中結果や、ずれ検出に関わるエラーコード等が表示されるようになっている。
【０１８３】
このような方法をとることにより、ずれ検出の各種モードや処理結果が、ユーザや或いはステレオ撮影装置等をメンテナンスする作業者等に、効果的に告知することが可能となる。
【０１８４】
その他のずれ検出結果の呈示方法としては、音声による呈示、警報アラームや音源による呈示等が考えられる。
【０１８５】
（第２の実施の形態）
次に、本発明の第２の実施の形態として、レクティフィケーションを行わないで、ずれ検出する方法について説明する。
【０１８６】
上述した第１の実施の形態では、入力された左及び右画像に関してレクティフィケーション処理を施した後に、エピポーラ線拘束を利用して、特徴がどの程度エピポーラ線拘束を満たしているかを判断材料とすることで、撮影装置の内部キャリブレーションパラメータに関するキャリブレーションずれを検出することを行っていた。
【０１８７】
これに対し、第２の実施の形態では、レクティフィケーション処理を行わずに、撮影装置の内部キャリブレーションパラメータに関するキャリブレーションずれを検出する方法について述べる。
【０１８８】
図１７は、本発明の第２の実施の形態に於けるキャリブレーションずれ検出装置の基本構成例を示したブロック図である。
【０１８９】
尚、以下に述べる実施の形態に於いて、上述した第１の実施の形態と同一の部分には同一の参照番号を付して説明を省略するものとする。
【０１９０】
図１７に於いて、ステレオ画像を撮影してキャリブレーションずれを検出すべき撮影装置１１が、キャリブレーションずれ検出装置２０でキャリブレーションずれがあるかが検出される。
【０１９１】
キャリブレーションずれ検出装置２０は、制御装置２と、状況判断装置３と、特徴抽出装置５と、キャリブレーションずれ判定装置６と、ずれ結果呈示装置７（図１６につき既述）と、キャリブレーションデータ記憶装置８とから構成されている。すなわち、図１に示される構成のキャリブレーションずれ検出装置１から、レクティフィケーション処理装置４を除いた構成となっている。
【０１９２】
ここで、キャリブレーションずれ装置２０内の各装置は、ハードウェアや回路で構成されたもよいし、コンピュータやデータ処理装置のソフトウェアで処理されてもよい。
【０１９３】
次に、図１８のフローチャートを参照して、第２の実施の形態に於けるキャリブレーションずれ検出装置の動作について説明する。
【０１９４】
ステップＳ１１にてキャリブレーションずれが現時点で検出されるべきか否かが判断され、続くステップＳ１２にて撮影装置１１によりステレオ画像が撮影される。これらステップＳ１１及びＳ１２の動作は、上述した図７のフローチャートに於けるステップＳ１及びＳ２と同様であるので、詳細な説明は省略する。
【０１９５】
次いで、ステップＳ１３にて、上記ステップＳ１２で撮影されたステレオ画像について、キャリブレーションずれ検出に必要となる特徴が抽出される。この処理は、特徴抽出装置５で行われる。
【０１９６】
特徴抽出装置５は、上述した第１の実施の形態の場合と同様に、図１０に示されるように、特徴選択部５ａと、特徴対応探索部５ｂとから構成されている。こうして得られた特徴対のデータは、左右画像レクティフィケーション後の画像座標値として、登録される。
【０１９７】
【数２９】

【０１９８】
ここで、第２の実施の形態に於ける上記特徴抽出装置５の画像選択部５ａ及び特徴対応探索部５ｂの詳細を説明する。
【０１９９】
先ず、特徴選択部５ａでは、ステレオ撮影装置１１で撮影された画像に対して、レンズディストーションが著しく顕著な場合にはディストーション補正処理によりディストーション成分が除去される操作が行われる。
【０２００】
次に、一方の画像、例えば左画像の中に於いて、キャリブレーションずれ検出に有効となりそうな特徴が選択される。例えば、特徴として、特徴点を候補にする際には、先ずレクティフィケーションされた左画像が、上述した図１１に示されるように、Ｍ×Ｎ個の正方形から成る小ブロックに分割され、その各ブロック内の画像から多くとも１個のコーナーポイント等の特徴点が抽出される。この方法は、上述した第１の実施の形態の場合と同様である。
【０２０１】
次に、特徴対応探索部５ｂについて説明する。
【０２０２】
一方の画像から特徴選択部５ａで選択された特徴に関して、他方の画像内で、対応する特徴を抽出するのが特徴対応探索部５ｂの機能である。特徴対応探索部５ｂでは、以下の方法により対応する特徴が探索される。
【０２０３】
探索範囲の設定について説明する。
【０２０４】
撮影された画像は、キャリブレーションデータ記憶装置８から過去に記憶されたキャリブレーションデータが使用されたものであるので、キャリブレーションずれがある場合には、エピポーラ線上に対応点があるとは限らない。従って、上述した第１の実施の形態の場合と同様に、対応探索される範囲は、想定される最大のキャリブレーションずれにも適合する対応探索範囲が設定されることがある。実際には、左画像内の特徴（ｕ，ｖ）に対応する右画像内のエピポーラ線の上下にある領域が用意される。
【０２０５】
図１９（ａ）、（ｂ）はこの設定を示したものであり、エピポーラ線の上下方向にある幅２Ｗ_ｖの幅が設けられて、探索が行われることとなる。
【０２０６】
次に、エリアベースマッチングによる対応探索が行われる。
【０２０７】
上記探索範囲の設定により決定された探索領域内で、最適な対応が探索される。最適な対応を探索する方法としては、例えば、Ｊ．Ｗｅｎｇ，ｅｔａｌ，ＭｏｔｉｏｎａｎｄＳｔｒｕｃｔｕｒｅｆｒｏｍＩｍａｇｅＳｅｑｕｅｎｃｅｓ，Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ，ｐｐ．７ − ６４，１９９３に示される方法等がある。または、上述した第１の実施の形態で説明した方法でもよい。
【０２０８】
図１８のフローチャートに戻って、ステップＳ１４では、特徴抽出装置５にて、更に上記ステップＳ１３で登録された特徴対の数や信頼度がチェックされる。登録された特徴対の数が、ある所定の数より少ない場合には、撮影されたステレオ画像は不適切であったと判定される。この場合は上記ステップＳ１１に移行して、撮影処理等が繰り返される。一方、信頼性のある特徴対が得られたと判定された場合には、特徴対の集合が、キャリブレーションずれ判定装置６へ送出される。
【０２０９】
次いで、ステップＳ１５は、キャリブレーションずれ判定装置６によって行われる。
【０２１０】
【数３０】

【０２１１】
ここで、第２の実施の形態に於けるキャリブレーションずれ判定方法について説明する。
【０２１２】
判定方法１として、上記ステップＳ１３で登録されたｎ個の特徴に関して、事前に得られているキャリブレーションデータに基づいてレクティフィケーションされた特徴対の画像座標値が利用される。すなわち、キャリブレーションデータのずれが全くないとすれば、登録された特徴対は完全にエピポーラ線拘束を満たしていることになる。逆に言えば、キャリブレーションずれが生じている場合には、このエピポーラ線拘束が満たされていないと判断できる。そこで、特徴対全体として、どの程度エピポーラ線拘束が満たされていないかを評価値として、キャリブレーションずれを判定することにする。
【０２１３】
【数３１】

【０２１４】
次に、キャリブレーションずれ判定方法２について説明する。
【０２１５】
上述した判定方法１の方法で、対応探索の信頼度が高い場合には良好な結果が得られるが、対応探索結果に信頼度が低いものが含まれている可能性がある場合には、下記（５３）式で算出された各特徴の差異の中、ノイズ成分が多く含まれている可能性があると考えられる。
【０２１６】
【数３２】

【０２１７】
このような場合には、ノイズ成分と思われる異常値が予め取り除かれた後に平均が取られる作業により、キャリブレーションずれが判定される方法が有効である。
【０２１８】
【数３３】

【０２１９】
図１８のフローチャートに戻って、ステップＳ１６では、上述したステップＳ１５で判定された結果が、ずれ結果呈示装置７によって呈示される。表示方法は、上述した第１の実施の形態と同様であるので、ここでは省略する。
【０２２０】
この第２の実施の形態によれば、レクティフィケーション処理にかかる時間を短縮することが可能となる。特に、特徴点数が少なくてよい場合には有効である。
【０２２１】
（第３の実施の形態）
次に、本発明の第３の実施の形態として、撮影装置と外部装置間のキャリブレーションずれについて説明する。
【０２２２】
この第３の実施の形態では、キャリブレーションに於ける基準位置を規定するために利用される所定の外部装置と撮影装置間の位置姿勢ずれは生じているとき、そのキャリブレーションずれが起こっているか否かを検出する装置について説明する。
【０２２３】
図２０は、本発明の第３の実施の形態に於けるキャリブレーションずれ検出装置の基本構成例を示したブロック図である。
【０２２４】
図２０に於いて、ステレオ画像を撮影してキャリブレーションずれを検出すべき撮影装置１１が、キャリブレーションずれ検出装置２２でキャリブレーションずれがあるかが検出される。
【０２２５】
キャリブレーションずれ検出装置２２は、制御装置２と、状況判断装置３と、特徴抽出装置５と、キャリブレーションずれ判定装置６と、ずれ結果呈示装置７と、キャリブレーションデータを保持しているキャリブレーションデータ記憶装置８とから構成されている。すなわち、図１７に示される第２の実施の形態のキャリブレーションずれ検出装置２０と、構成上は同じである。
【０２２６】
ここでキャリブレーションずれ装置２２内の各装置は、ハードウェアや回路で構成されたもよいし、コンピュータやデータ処理装置のソフトウェアで処理されてもよい。
【０２２７】
尚、撮影装置１１と外部装置間の位置姿勢キャリブレーションパラメータに関するキャリブレーションずれを検出するためには、基準位置を規定するために利用される所定の外部装置を基準としてその場所が既知な既知特徴が必要となる。
【０２２８】
【数３４】

【０２２９】
例えば、外部装置である車両にステレオ撮影装置を装着して、車両とステレオ撮影装置間のキャリブレーションずれが起こっているかを検出する場合を考える。また、ステレオ撮影装置は、車両の前方を撮影するために設定されたもので、その撮影には、車両の一部が撮影されているものとする。このような場合には、撮影される車両の一部の形状に関する特徴を既知特徴として登録することが可能である。
【０２３０】
例えば、図２１には、そのような配置の既知特徴が示されている。この際、ステレオ撮影装置は、車両前方のウインドウとバックミラーの間に配置されており、ステレオ撮影装置が撮影する画像の下部に、車両前方のボンネットが撮影されており、そのボンネット２５上に存在するコーナーやエッジ点２６等を登録すればよい。この際、車両に於けるこうした特徴は、車両のＣＡＤモデル等から、その３次元座標が容易に得ることができる。
【０２３１】
上述の特徴を得るための外部装置としては、種々のものを適用可能であるが、撮像部が装備された車両の特定の形状部を適用する例としては、既存のボンネット上のコーナやエッジ点等の他、例えば、フロントガラスの一部に相対的な位置が既知なマーカを既知特徴として予め配置しておき、それらの３次元位置を予め計測しておき、それらの全部或いは一部がステレオ撮影装置で撮影できるようにしておいてもよい。
【０２３２】
図２１（ａ）は撮影される左画像の例を表したものであり、（ｂ）は既知特徴として選択された特徴を黒丸２７で示したものである。
【０２３３】
尚、ここでは３点のみを既知特徴として表したが、この数は少なくとも１個以上あり、且つ複数個あってもかまわない。また特徴として特徴点でなくても曲線であってもかまわない。
【０２３４】
図２１（ｃ）は、フロントガラスの一部に既知特徴である黒丸の既知マーカを配置した様子の例を表したものである。この図に於いて、既知マーカ群は、左右カメラ内でその全部あるいはその一部が撮影できるように配置されているわけである。またこれらのマーカ群は、図２１（ｄ）及び（ｅ）に示されるように、ステレオ左右画像の画像周辺部に写り込むように配置されており、重要な映像となる中心部には写り込まないように設計されている。
【０２３５】
次に、図２２のフローチャートを参照して、第３の実施の形態に於けるキャリブレーションずれ検出装置の動作について説明する。
【０２３６】
ステップＳ２１にてキャリブレーションずれが現時点で検出されるべきか否かが判断され、続くステップＳ２２にて撮影装置１１によりステレオ画像が撮影される。これらステップＳ２１及びＳ２２の動作は、上述した図７のフローチャートに於けるステップＳ１及びＳ２、図１８のフローチャートに於けるステップＳ１１及びＳ１２と同様であるので、詳細な説明は省略する。
【０２３７】
次いで、ステップＳ２３にて、上記ステップＳ２２で撮影されたステレオ画像について、キャリブレーションずれ検出に必要となる既知特徴が抽出される。この処理は、特徴抽出装置５で行われる。特徴抽出装置５では、撮影されたステレオ画像から、キャリブレーションずれを検出するのに必要となる既知特徴とその対応する特徴が、ステレオ画像の中から抽出される。
【０２３８】
【数３５】

【０２３９】
尚、既知特徴を抽出する方法としては、上述した第１の実施の形態で説明したように、画像に関してキャリブレーションずれが起こっていないと仮定した場合に、各特徴が規定するエピポーラ線に対して、その周辺に探索範囲を拡大することで、対応する既知特徴を抽出する方法を採用してもよい。
【０２４０】
また、既知特徴の数が少ない場合には、これに加えて、上述した第１或いは第２の実施の形態で説明したような、画像内で撮影された特徴（これらを自然特徴と称する）が撮影されて、その対応特徴が抽出される。
【０２４１】
【数３６】

【０２４２】
このようにして抽出された特徴の集合Ａ及びＢが、図２３（ａ）、（ｂ）に示される。図２３（ａ）、（ｂ）に於いて、黒丸２９は既知特徴を表し、白丸３０は自然特徴を表している。
【０２４３】
次に、ステップＳ２４に於いて、特徴抽出装置５にて、更に上記ステップＳ２３で登録された特徴対の数や信頼度がチェックされる。登録された特徴対の数が、ある所定の数より少ない場合には、撮影されたステレオ画像は不適切であるとされる。この場合には、上記ステップＳ２１へ移行して、撮影処理等が繰り返される。一方、信頼性のある特徴対が得られたと判定された場合には、特徴対の集合が、キャリブレーションずれ判定装置６へ送出される。
【０２４４】
続くステップＳ２５では、以下のサブステップＳＳ１とＳＳ２とが利用されて、キャリブレーションずれがあるか否かが推定される。すなわち、
１）ステレオ撮影装置の内部キャリブレーションパラメータがキャリブレーションずれを起こしているかを判定する
２）１）が起こっていないとした場合、ステレオ撮影装置と外部装置間の位置姿勢ずれに伴うキャリブレーションずれが起こっているかを判定する
の２種類の判定が、サブステップＳＳ１とＳＳ２により行われるわけである。
【０２４５】
先ず、サブステップＳＳ１について説明する。
【０２４６】
ステレオ画像内で、先ず、既知特徴が利用されて、その既知特徴が画像内であるべき位置にあるか否かが判定される。
【０２４７】
【数３７】

【０２４８】
【数３８】

【０２４９】
もちろんこの画像内での位置は、キャリブレーションデータが全て正しいと仮定した場合に成立する式である。従って、上記式（５５）の集合Ｂで表される画像内での位置と、キャリブレーションデータが正しいと仮定した場合の画像位置との差が計算されることにより、キャリブレーションずれが起こっているか否かが判定できるわけである。
【０２５０】
【数３９】

【０２５１】
すなわち、サブステップＳＳ１によってキャリブレーションずれが少なくとも起きているか否かを判定することができる。
【０２５２】
次に、サブステップＳＳ２について説明する。
【０２５３】
サブステップＳＳ２では、上述したサブステップＳＳ１でキャリブレーションずれが起こっている際に、それが、少なくともステレオ撮影装置の内部キャリブレーションずれに起因するのか、或いはステレオ撮影装置と外部装置間の位置姿勢関係に関するキャリブレーションずれに起因するのかを判断するものである。
【０２５４】
このためには、上記式（５５）集合Ｂと式（５６）集合Ａの何れか一方、或いは両方Ａ及びＢの特徴、上述した第１或いは第２の実施の形態で説明したエピポーラ線拘束が成立しているかどうかを判定基準として、内部キャリブレーションずれが起こっているかどうかを判定するわけである。すなわち、上記式（４７）、（４９）、或いは式（５２）、（５４）で判定すればよい。
【０２５５】
撮影装置の内部に関するキャリブレーションずれがないと判定された場合で、サブステップＳＳ１でキャリブレーションずれがありと判定された場合には、キャリブレーションずれは、ステレオ撮影装置と外部装置間の位置姿勢ずれに基づくキャリブレーションずれであると判定することができる。
【０２５６】
一方、サブステップＳＳ２でもキャリブレーションずれがありと判定された場合には、キャリブレーションずれは、内部キャリブレーションずれがあることが確実であることがわかるわけである。
【０２５７】
図２２のフローチャートに戻って、ステップＳ２６では、上記ステップＳ２５で判定された結果が、ずれ結果呈示装置７によって呈示される。この第３の実施の形態では、複数のキャリブレーションずれの種類を検出できるので、その情報を含めて表示することも可能である。表示方法は、上述した第１の実施の形態と同様であるので、ここでは省略する。
【０２５８】
このように、第３の実施の形態によれば、ステレオ撮影装置と外部装置間の位置姿勢キャリブレーションのずれも検出できることになる。
【０２５９】
（第４の実施の形態）
次に、第４の実施の形態として、撮影装置が複数回撮影してその画像を利用する場合について説明する。
【０２６０】
上述した第１乃至第３の実施の形態では、ステレオ画像装置で撮影する画像は１回であることを想定してきたが、第４の実施の形態では、キャリブレーションずれの検出をより信頼おけるものにするために、ステレオ撮影装置で複数回撮影し、その複数回の撮影から得られる特徴（自然特徴或いは既知特徴）を利用するようにしている。
【０２６１】
本第４の実施の形態では、この方法について説明する。キャリブレーションずれ検出装置の基本構成は、上述した第１乃至第３の実施の形態で表されるものと同様である。
【０２６２】
複数回の撮影に伴い、キャリブレーションずれを検出する方法としては、以下のような２種の方法の何れでもよい。
【０２６３】
第１の方法としては、ステレオ画像装置が複数回撮影して、その複数回の撮影を利用してずれを検出する。この方法では、複数回撮影されたステレオ画像から自然特徴或いは既知特徴を抽出し、それらを式（５５）集合Ｂと式（５６）集合Ａで表される特徴の集合として扱えば、上述した第１乃至第３の実施の形態と同様に全ての処理を扱うことが可能となる。
【０２６４】
第２の方法としては、複数回の撮影のうち第１回目でずれ検出をして、第２回目以降でその検証を行うものである。すなわち、第１回目でずれが検出された場合に限り、本当にずれがあるかどうかを再判定するわけである。第１回目、第２回目以降の処理に関しては、上述した第１乃至第３の実施の形態の場合と同様であるので、その方法の詳細については説明を省略する。
【０２６５】
次に、方法のバリエーションについて説明する。
【０２６６】
以上、ステレオ撮影装置で撮影できるところにある既知特徴を利用してずれ検出する方法について説明したが、この他にも既知特徴を配置するバリエーションを考えることができる。
【０２６７】
すなわち、外部装置を基準としてその位置が既知であるキャリブレーションボードを配置し、そのキャリブレーションボード内にある既知マーカの位置をステレオ撮影装置により撮影することも可能である。この場合には、本第４の実施の形態で説明したように、例えばキャリブレーションずれを検出する作業員が、このキャリブレーションボードを外部装置に相対するように配置して、それを状況判断装置が判断することでキャリブレーションずれ検出処理を行えばよい。
【０２６８】
このように、第４の実施の形態によれば、キャリブレーションずれの検出をよりロバストに信頼性よく行うことができる。
【０２６９】
（第５の実施の形態）
次に、第５の実施の形態として、車載に応用した例について説明する。
【０２７０】
上述した第１乃至第４の実施の形態では、状況判断装置について、詳細な説明は省略していたが、この第５の実施の形態では、この状況判断装置の機能を中心に説明する。
【０２７１】
図２４は、本発明の第５の実施の形態に於けるキャリブレーションずれ検出装置の基本構成例を示したブロック図である。
【０２７２】
この第５の実施の形態が上述した第１乃至第４の実施の形態と異なるのは、外部センサ３３から状況判断装置３に各種のセンサ出力の信号が供給されることである。また、必要に応じて、キャリブレーションずれ検出に関わる情報が、キャリブレーションデータ記憶装置８に送出され、その情報が、キャリブレーションデータ記憶装置８に書き込まれる点も異なっている。その他の構成及び全体の構成に関する処理ステップは、上述した第１乃至第３の実施の形態で説明したものと同様であるので説明は省略する。
【０２７３】
以下、状況判断装置３の応用として、車両にステレオ撮影装置を装着した場合について説明する。もちろん、本方式は車両用の車載ステレオ撮影装置に限るものでは、なく、その他の監視カメラシステム等にも応用が可能であることは明白である。
【０２７４】
状況判断装置３に接続される外部センサ３３としては、次のようなものが考えられる。すなわち、走行距離計、時計或いはタイマ、温度センサ、車両傾斜計測センサ或いはジャイロセンサ、車速センサ、エンジン始動センサ、日射センサ、雨滴センサ等である。
【０２７５】
そして、状況判断装置３は、以下のような条件で、車載応用に必要な条件に基づいて、キャリブレーションずれの検出が現在必要であるか否かを判定するわけである。
【０２７６】
また、キャリブレーションデータ記憶装置８が記憶するキャリブレーションデータとしては、過去にキャリブレーションを行ったときのパラメータｐ，ｅ′や既知特徴のデータ等を含みながら、以下の情報が書き込まれている。すなわち、過去に行ったステレオ撮影装置の内部キャリブレーションパラメータｐ、過去に行ったステレオ撮影装置と外部装置間の位置姿勢キャリブレーションパラメータｅ′、過去に行った既知特徴の３次元位置、過去にキャリブレーションした際の車両走行距離、過去にキャリブレーションした際の日時と時刻、過去にキャリブレーションした際の外部温度、過去にキャリブレーション検出した際の車両走行距離、過去にキャリブレーション検出した際の日時と時刻、過去にキャリブレーション検出した際の外部温度、等である。
【０２７７】
次に、上述した状況判断装置３が、どのようにキャリブレーション検出をすべきか、その状況判断の方法について説明する。
【０２７８】
本装置では、キャリブレーションずれ検出を行う条件として、車両が停止しているときに行う、以前ずれ検出したときから少なくとも一定時間Ｔを経た後に行う、晴天で昼間に行う、等の３つの条件が成立するときに行う場合について説明する。
【０２７９】
先ず、１つ目の条件を満たすために、車速センサ或いはジャイロセンサ等で、車両が移動していないことが確認される。次いで、２つ目の条件を満たすために、過去にキャリブレーションずれ検出を行ったときの時刻と時計等から算出される現時刻との時間差が算出される。３つ目の条件に関しては、日射センサや雨滴センサ等が利用されて、条件が満たされるかどうかが判断される。
【０２８０】
このようにして、キャリブレーションずれ検出が実行されると、その結果はずれ結果呈示装置７に送出される。また、必要に応じて、キャリブレーションずれ検出結果がキャリブレーションデータ記憶装置８に書き込まれる。
【０２８１】
以上のような方法が採用されることにより、本キャリブレーションずれ検出装置は、車載等に応用することが可能となる。
【０２８２】
（第６の実施の形態）
次に、本発明の第６の実施の形態として、キャリブレーションずれ検出装置が適用されたステレオカメラの例について説明する。
【０２８３】
図２５は、本発明の第６の実施の形態に係るキャリブレーションずれ検出装置が適用されたステレオカメラの構成を示すブロック図である。尚、ここでは、ステレオカメラが車両に搭載された例として説明する。
【０２８４】
このステレオカメラは、距離画像入力装置１００と、制御装置１０４と、物体認識装置１０５と、警告装置１０６と、運転装置１０７と、表示装置１０８と、車速センサ１０９と、測距レーダ１１０と、照度センサ１１１と、外部カメラ１１２と、ＧＰＳ（全地球測位システム）１１３と、ＶＩＣＳ（渋滞情報取得装置）１１４及び外部通信装置１１５から構成されている。
【０２８５】
上記距離画像入力装置１００は、被写体１５０を撮影する撮像装置１０２と、この撮像装置１０２の先端に取り付けられるステレオアダプタ１０１とから成るステレオアダプタカメラ１１６と、上記被写体１５０の距離画像を計測する距離画像処理装置１０３と、から構成される。
【０２８６】
上記表示装置１０８は、キャリブレーション装置１３４を含む距離画像処理装置１０３並びに制御装置１０４と機能的に結合されて、キャリブレーション装置１３４（その内部のキャリブレーションずれ検出部）や演算部（距離算出装置１３３）、並びに、上記撮像部（撮像装置１０２）の出力に関連した所要の表示をユーザ（運転者）に認識され得るように行うものであり、図１６につき上述したずれ結果呈示装置乃至同装置の部分としても機能する。
【０２８７】
上記撮像装置１０２は、一般のビデオカメラ、デジタルスティルカメラ等と同様に、撮像光学系１０２Ａと、撮影絞り調整装置（図示せず）と、撮影フォーカス調整装置（図示せず）と、撮影シャッタ速度調整装置（図示せず）と、撮像素子（図示せず）と、感度調整装置（図示せず）とから構成される。更に、この撮像装置１０２には、ステレオアダプタ１０１が装着される。
【０２８８】
このステレオアダプタ１０１は、光路分割装置１０１Ａを有している。この光路分割装置１０１Ａは、撮像装置１０２の撮像光学系１０２Ａの前方に取り付けられるもので、異なる視点からの被写体１５０の像を撮像素子に結像することができるようになっている。このようにして撮像装置１０２で撮影されたステレオ画像は、距離画像処理装置１０３に供給される。
【０２８９】
距離画像処理装置１０３は、フレームメモリ１３１と、レクティフィケーション装置１３２と、距離算出装置１３３と、キャリブレーション装置１３４とを有して構成されている。
【０２９０】
そして、上記撮像装置１０２から供給されたステレオ画像はフレームメモリ１３１に入力され、更にレクティフィケーション装置１３２に供給される。このレクティフィケーション装置１３２からは、距離演算装置１３３に対して、左画像及び右画像を出力が出力される。距離演算装置１３３からは、制御装置１０４を介して物体認識装置１０５に、距離画像出力として３次元距離画像が出力される。
【０２９１】
また、キャリブレーション装置１３４からは、レクティフィケーション装置１３２に対してはレクティフィケーションパラメータが、距離算出装置１３３に対しては距離算出用パラメータが、そして物体認識装置１０５に対しては物体認識用パラメータが、それぞれ出力される。
【０２９２】
尚、このステレオカメラの構成は、本件出願人が特願２００３−４８３２４号として先に提案しているものと略同様である。
【０２９３】
このようにして、車両に搭載されたステレオカメラとしても適用が可能である。
【０２９４】
以上説明した第１乃至第６の実施の形態では、２台のカメラから構成されるステレオ撮影装置に関するキャリブレーションずれを検出するものであったが、これを２台以上のカメラから構成されるステレオ撮影装置（すなわち、多眼ステレオ撮影装置）に応用できることは自明である。すなわち、多眼ステレオ撮影装置を構成するｎ台のカメラについて、その２台毎のペアについて、上述した実施の形態で説明してきた方法を利用することにより、同様にキャリブレーションずれを検出することが可能となる。
【０２９５】
【発明の効果】
以上のように本発明によれば、３次元計測等を行うステレオ画像を撮影する撮影装置のキャリブレーションが、経時変化や衝撃振動などの機械ずれによっても、ステレオ画像を解析することにより、簡易にキャリブレーションずれを定量的に検出することが可能なキャリブレーションずれ検出装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステムを提供することができる。
【０２９６】
そして、請求項１に記載の発明によれば、撮影装置の経時変化に伴う光学ずれ或いは機械ずれがある場合にも、容易に且つロバストにずれの検出を行うことができる。
【０２９７】
請求項２に記載の発明によれば、撮影装置の経時変化に伴う光学ずれ或いは機械ずれがある場合にも、容易に且つロバストにずれの検出を行うことができる。また、レクティフィケーション処理を行うことで、特徴の対応点探索が容易になり、よりロバストなずれ検出を行うことが可能となる。
【０２９８】
請求項３に記載の発明によれば、撮影装置の経時変化に伴う光学ずれ或いは機械ずれがある場合にも、容易に且つロバストにずれの検出を行うことができる。
【０２９９】
請求項４に記載の発明によれば、撮影装置の経時変化に伴う光学ずれ或いは機械ずれがある場合にも、容易に且つロバストにずれの検出を行うことができる。またレクティフィケーション処理を行うことで、特徴の対応点探索が容易になり、よりロバストなずれ検出を行うことが可能となる。
【０３００】
請求項５乃至８に記載の発明によれば、キャリブレーションずれが判定された場合には、その内容をユーザは迅速に知ることができるので、撮影装置の再キャリブレーションやキャリブレーション補正などを迅速に行うことが可能となる。また、キャリブレーションずれがないと判定された場合には、ユーザは安心して信頼して、撮影装置を使用することが可能となる。
【０３０１】
請求項９乃至１６に記載の発明によれば、キャリブレーションずれ検出を行うかどうかを判定する状況判断装置を導入することで、撮影装置の使用状況や撮影装置の動作状況に応じてキャリブレーションずれ検出を行うかを判断することが可能となり、より信頼のおけるサービスをユーザに提供することができる。また、キャリブレーションずれ検出処理の処理回数を系統的に制御することも可能となり、不要なキャリブレーションずれ検出回数を減少させることも可能となる。
【０３０２】
請求項１７に記載の発明によれば、撮影装置の光学系に含まれるレンズディストーションの成分をステレオ画像から除去或いはディストーション補正することにより、より正確なずれ検出が可能となり、装置の信頼性を向上することができる。
【０３０３】
請求項１８に記載の発明によれば、ステレオ画像の対応関係にある特徴を複数抽出し利用することで、キャリブレーションずれを定量化することが可能となり、信頼性のあるずれ検出が可能となる。
【０３０４】
請求項１９に記載の発明によれば、ステレオ画像の対応関係にある特徴を複数抽出し利用することで、キャリブレーションずれを定量化することが可能となり、信頼性のあるずれ検出が可能となる。
【０３０５】
請求項２０に記載の発明によれば、エピポーラ線拘束を利用することで、キャリブレーションずれを定量化することが可能となり、信頼性のあるずれ検出が可能となる。
【０３０６】
請求項２１に記載の発明によれば、有効な特徴を選択するので、必要最小限の計算で安定的に、且つロバストにキャリブレーションずれ検出を行うことができる。
【０３０７】
請求項２２に記載の発明によれば、予め相対的な位置関係が既知な複数の特徴を利用することで、キャリブレーションずれ判定に於いて、付加的な条件を加えることができるので、よりロバストで信頼性のあるキャリブレーションずれ判定を行うことが可能となる。
【０３０８】
請求項２３に記載の発明によれば、ステレオアダプタでも応用が可能となる。
【０３０９】
請求項２４に記載の発明によれば、多眼カメラでも応用が可能となる。
【０３１０】
請求項２５に記載の発明によれば、車載用に応用することが可能となる。
【０３１１】
請求項２６に記載の発明によれば、車両に搭載されたステレオカメラとしても適用が可能となる。
【０３１２】
請求項２７に記載の発明によれば、ずれ検出に係る処理動作中であることが表示されるので、ユーザは容易にキャリブレーションずれ検出中であることを知ることができる。
【０３１３】
請求項２８に記載の発明によれば、２種類のパラメータの差異が表示されるので、ユーザは容易にずれの内容を知ることができる。
【０３１４】
請求項２９に記載の発明によれば、ずれ検出に係る処理動作がエラーとなった場合にエラーコードが呈示されるので、ユーザはその原因を容易に確認することができる。
【０３１５】
請求項３０に記載の発明によれば、ずれ検出に関する信頼度が表示されるので、ユーザは安心してキャリブレーションずれ検出を行うことができる。
【０３１６】
請求項３１に記載の発明によれば、ステレオ画像に関する信頼度が不十分である場合は、撮影処理が繰り返されるので、確実にキャリブレーションずれ検出を行うことができる。
【０３１７】
更に、請求項３２に記載の発明によれば、撮影装置の経時変化に伴う光学ずれ或いは機械ずれがある場合にも、容易に且つロバストにずれの検出を行うことができる。
【０３１８】
請求項３３に記載の発明によれば、撮影装置の経時変化に伴う光学ずれ或いは機械ずれがある場合にも、容易に且つロバストにずれの検出を行うことができる。また、レクティフィケーション処理を行うことで、特徴の対応点探索が容易になり、よりロバストなずれ検出を行うことが可能となる。
【０３１９】
請求項３４に記載の発明によれば、撮影装置の経時変化に伴う光学ずれ或いは機械ずれがある場合にも、容易に且つロバストにずれの検出を行うことができる。
【０３２０】
請求項３５に記載の発明によれば、撮影装置の経時変化に伴う光学ずれ或いは機械ずれがある場合にも、容易に且つロバストにずれの検出を行うことができる。またレクティフィケーション処理を行うことで、特徴の対応点探索が容易になり、よりロバストなずれ検出を行うことが可能となる。
【０３２１】
請求項３６乃至３９に記載の発明によれば、キャリブレーションずれの判定結果が表示されるので、ユーザは安心してキャリブレーションずれ検出を行うことができる。
【０３２２】
請求項４０に記載の発明によれば、ずれ検出に係る処理動作中であることが表示されるので、ユーザは容易にキャリブレーションずれ検出中であることを知ることができる。
【０３２３】
請求項４１に記載の発明によれば、２種類のパラメータの差異が表示されるので、ユーザは容易にずれの内容を知ることができる。
【０３２４】
請求項４２に記載の発明によれば、ずれ検出に係る処理動作がエラーとなった場合にエラーコードが呈示されるので、ユーザはその原因を容易に確認することができる。
【０３２５】
請求項４３に記載の発明によれば、ずれ検出に関する信頼度が表示されるので、ユーザは安心してキャリブレーションずれ検出を行うことができる。
【０３２６】
そして、請求項４４に記載の発明によれば、撮像部が装備された車両の特定の形状部を適用するので、新たに特定の形状部を設けることがない。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に於けるキャリブレーションずれ検出装置の基本構成例を示したブロック図である。
【図２】ステレオ画像を撮影する撮影装置のカメラ座標について説明する図である。
【図３】（ａ）はステレオアダプタの視野を示す図、（ｂ）は（ａ）のステレオアダプタの展開図である。
【図４】ステレオ画像に於けるエピポーラ線拘束を説明する図である。
【図５】レクティフィケーション処理を説明するためもので、（ａ）はレクティフィケーション前の画像を表した図、（ｂ）はレクティフィケーション後の画像を表した図である。。
【図６】レクティフィケーション処理を説明するための図である。
【図７】本発明の第１の実施の形態に於けるキャリブレーションずれ検出装置の詳細な動作を説明するフローチャートである。
【図８】左右原画像を表したもので、（ａ）は左カメラにより撮影された左原画像を示した図、（ｂ）は右カメラにより撮影された右原画像を示した図である。
【図９】レクティフィケーションされた左右の画像を表したもので、（ａ）は左画像を示した図、（ｂ）は右画像を示した図である。
【図１０】特徴抽出装置５の構成例を示したブロック図である。
【図１１】レクティフィケーションされた左画像を分割された小ブロックで示した図である。
【図１２】左画像で登録された特徴点の例を示した図である。
【図１３】探索範囲の設定を説明するための図である。
【図１４】右画像で抽出された対応する特徴点の例を示した図である。
【図１５】キャリブレーションずれ判定方法について説明するための図である。
【図１６】ずれ結果呈示装置７の一例を表した図である。
【図１７】本発明の第２の実施の形態に於けるキャリブレーションずれ検出装置の基本構成例を示したブロック図である。
【図１８】本発明の第２の実施の形態に於けるキャリブレーションずれ検出装置の動作について説明するフローチャートである。
【図１９】探索範囲の設定を説明するための図である。
【図２０】本発明の第３の実施の形態に於けるキャリブレーションずれ検出装置の基本構成例を示したブロック図である。
【図２１】撮影される車両の一部の形状に関する特徴を既知特徴とした配置の例を示したもので、（ａ）は撮影される左画像の例を表した図、（ｂ）は既知特徴として選択された特徴を黒丸２７で示した図、（ｃ）はフロントガラスの一部に既知特徴である黒丸の既知マーカを配置した様子の例を表した図、（ｄ）はマーカ群を表した左画像の例を示した図、（ｅ）はマーカ群を表した右画像の例を示した図である。
【図２２】本発明の第３の実施の形態に於けるキャリブレーションずれ検出装置の動作について説明するフローチャートである。
【図２３】抽出された特徴の集合Ａ及びＢの例を示した図である。
【図２４】本発明の第５の実施の形態に於けるキャリブレーションずれ検出装置の基本構成例を示したブロック図である。
【図２５】本発明の第６の実施の形態に係るキャリブレーションずれ検出装置が適用されたステレオカメラの構成を示すブロック図である。
【符号の説明】
１、２０、２２、３２…キャリブレーションずれ検出装置、２、１０４…制御装置、３…状況判断装置、４…レクティフィケーション処理装置、５…特徴抽出装置、５ａ…特徴選択部、５ｂ…特徴対応探索部、６…キャリブレーションずれ判定装置、７…ずれ結果呈示装置、８…キャリブレーションデータ記憶装置、１１…撮影装置、１２ａ…左カメラ、１２ｂ…右カメラ、３３…外部センサ、１００…距離画像入力装置、１０１…ステレオアダプタ、１０２…撮像装置、１０３…距離画像処理装置、１０５…物体認識装置、１５０…被写体。

Claims

ステレオ画像を撮影する撮影装置に係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、
上記撮影装置が撮影したステレオ画像から特徴を抽出する特徴抽出部と、
上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、
を具備することを特徴とするキャリブレーションずれ検出装置。
ステレオ画像を撮影する撮影装置に係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、
上記撮影装置が撮影したステレオ画像に対し、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づくレクティフィケーション処理を施すレクティフィケーション処理部と、
上記レクティフィケーション処理部によってレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、
上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、
を具備することを特徴とするキャリブレーションずれ検出装置。
基準位置を規定するために利用される所定の外部装置と撮影装置間のキャリブレーションに係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、
上記撮影装置が撮影したステレオ画像から特徴を抽出する特徴抽出部と、
上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、
を具備することを特徴とするキャリブレーションずれ検出装置。
基準位置を規定するために利用される所定の外部装置とステレオ画像を撮影する撮影装置間のキャリブレーションに係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、
上記撮影装置が撮影したステレオ画像に対し、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づくレクティフィケーション処理を施すレクティフィケーション処理部と、
上記レクティフィケーション処理部によってレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、
上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、
を具備することを特徴とするキャリブレーションずれ検出装置。
ステレオ画像を撮影する撮影装置に係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、
上記撮影装置が撮影したステレオ画像から特徴を抽出する特徴抽出部と、
上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、
上記キャリブレーションずれ判定部が判定したキャリブレーションずれの有無等の判定結果を呈示するためのずれ結果呈示部と、
を具備することを特徴とするキャリブレーションずれ検出装置。
ステレオ画像を撮影する撮影装置に係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、
上記撮影装置が撮影したステレオ画像に対し、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づくレクティフィケーション処理を施すレクティフィケーション処理装置と、
上記レクティフィケーション処理部によってレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、
上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、
上記キャリブレーションずれ判定部が判定したキャリブレーションずれの有無等の判定結果を呈示するためのずれ結果呈示部と、
を具備することを特徴とするキャリブレーションずれ検出装置。
基準位置を規定するために利用される所定の外部装置とステレオ画像を撮影する撮影装置間のキャリブレーションに係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、
上記撮影装置が撮影したステレオ画像から特徴を抽出する特徴抽出部と、
上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、
上記キャリブレーションずれ判定部が判定したキャリブレーションずれの有無等の判定結果を呈示するためのずれ結果呈示部と、
を具備することを特徴とするキャリブレーションずれ検出装置。
基準位置を規定するために利用される所定の外部装置とステレオ画像を撮影する撮影装置間のキャリブレーションに係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、
上記撮影装置が撮影したステレオ画像に対し、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づくレクティフィケーション処理を施すレクティフィケーション処理部と、
上記レクティフィケーション処理部によってレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、
上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、
上記キャリブレーションずれ判定部が判定したキャリブレーションずれの有無等の判定結果を呈示するためのずれ結果呈示部と、
を具備することを特徴とするキャリブレーションずれ検出装置。
ステレオ画像を撮影する撮影装置に係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、
上記撮影装置が撮影したステレオ画像から特徴を抽出する特徴抽出部と、
上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、
上記撮影装置に係るキャリブレーションと所定の相関を有する情報乃至所定の操作に応じてキャリブレーションずれ検出を行うか否かを判断する状況判断部と、
を具備することを特徴とするキャリブレーションずれ検出装置。
ステレオ画像を撮影する撮影装置に係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、
上記撮影装置が撮影したステレオ画像に対し、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づくレクティフィケーション処理を施すレクティフィケーション処理装置と、
上記レクティフィケーション処理部によってレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、
上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、
上記撮影装置に係るキャリブレーションと所定の相関を有する情報乃至所定の操作に応じてキャリブレーションずれ検出を行うか否かを判断する状況判断部と、
を具備することを特徴とするキャリブレーションずれ検出装置。
基準位置を規定するために利用される所定の外部装置とステレオ画像を撮影する撮影装置間のキャリブレーションに係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、
上記撮影装置が撮影したステレオ画像から特徴を抽出する特徴抽出部と、
上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、
上記撮影装置に係るキャリブレーションと所定の相関を有する情報乃至所定の操作に応じてキャリブレーションずれ検出を行うか否かを判断する状況判断部と、
を具備することを特徴とするキャリブレーションずれ検出装置。
基準位置を規定するために利用される所定の外部装置とステレオ画像を撮影する撮影装置間のキャリブレーションに係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、
上記撮影装置が撮影したステレオ画像に対し、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づくレクティフィケーション処理を施すレクティフィケーション処理部と、
上記レクティフィケーション処理部によってレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、
上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、
上記撮影装置に係るキャリブレーションと所定の相関を有する情報乃至所定の操作に応じてキャリブレーションずれ検出を行うか否かを判断する状況判断部と、
を具備することを特徴とするキャリブレーションずれ検出装置。
ステレオ画像を撮影する撮影装置に係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、
上記撮影装置が撮影したステレオ画像から特徴を抽出する特徴抽出部と、
上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、
上記キャリブレーションずれ判定部が判定したキャリブレーションずれの有無等の判定結果を呈示するためのずれ結果呈示部と、
上記撮影装置に係るキャリブレーションと所定の相関を有する情報乃至所定の操作に応じてキャリブレーションずれ検出を行うか否かを判断する状況判断部と、
を具備することを特徴とするキャリブレーションずれ検出装置。
ステレオ画像を撮影する撮影装置に係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、
上記撮影装置が撮影したステレオ画像に対し、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づくレクティフィケーション処理を施すレクティフィケーション処理部と、
上記レクティフィケーション処理部によってレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、
上記特徴抽出ぶが抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、
上記キャリブレーションずれ判定部が判定したキャリブレーションずれの有無等の判定結果を呈示するためのずれ結果呈示部と、
上記撮影装置に係るキャリブレーションと所定の相関を有する情報乃至所定の操作に応じてキャリブレーションずれ検出を行うか否かを判断する状況判断部と、
を具備することを特徴とするキャリブレーションずれ検出装置。
基準位置を規定するために利用された所定の外部装置とステレオ画像を撮影する撮影装置間のキャリブレーションに係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、
上記撮影装置が撮影したステレオ画像から特徴を抽出する特徴抽出部と、
上記特徴抽出部が抽出した特徴を表す情報に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、
上記キャリブレーションずれ判定部が判定したキャリブレーションずれの有無等の判定結果を呈示するためのずれ結果呈示部と、
上記撮影装置に係るキャリブレーションと所定の相関を有する情報乃至所定の操作に応じてキャリブレーションずれ検出を行うか否かを判断する状況判断部と、
を具備することを特徴とするキャリブレーションずれ検出装置。
基準位置を規定するために利用される所定の外部装置とステレオ画像を撮影するための撮影装置間のキャリブレーションに係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、
上記撮影装置が撮影したステレオ画像に対し、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づくレクティフィケーション処理を施すレクティフィケーション処理部と、
上記レクティフィケーション処理部によってレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、
上記特徴抽出部が抽出した特徴に基づき、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、
上記キャリブレーションずれ判定部が判定したキャリブレーションずれの有無等の判定結果を呈示するためのずれ結果呈示部と、
上記撮影装置に係るキャリブレーションと所定の相関を有する情報乃至所定の操作に応じてキャリブレーションずれ検出を行うか否かを判断する状況判断部と、
を具備することを特徴とするキャリブレーションずれ検出装置。
上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づき、上記撮影装置により得たステレオ画像に対しディストーションを補正するディストーション処理を施すディストーション補正処理部を更に具備することを特徴とする請求項１乃至１６の何れかに記載のキャリブレーションずれ検出装置。
上記特徴抽出部は、当該ステレオ画像の対応関係にある特徴を複数抽出するように構成されたことを特徴とする請求項１乃至１６の何れかに記載のキャリブレーションずれ検出装置。
上記特徴抽出部は、上記撮影装置により得たステレオ画像の対応関係にある特徴を複数抽出し、該複数抽出された対応のとれた特徴のうち異常と判定できる特徴は排除して、上記キャリブレーションずれ判定部でのずれ判定に供するように構成されたことを特徴とする請求項１乃至１６の何れかに記載のキャリブレーションずれ検出装置。
上記キャリブレーションずれ判定部は、上記撮影装置により得たステレオ画像の対応関係にある特徴について、上記キャリブレーションデータ保持部が保持するキャリブレーションデータに基づくエピポーラ線拘束を利用してキャリブレーションずれを判定するように構成されたことを特徴とする請求項１乃至１６の何れかに記載のキャリブレーションずれ検出装置。
上記特徴抽出部は、上記撮影装置により得たステレオ画像の一方の画像内でキャリブレーションずれ検出に有効な特徴を選択する特徴選択部と、当該選択された特徴に対応する特徴を他方の画像内から抽出若しくは探索する特徴対応探索部と、を含んでなることを特徴とする請求項１乃至１６の何れかに記載のキャリブレーションずれ検出装置。
上記キャリブレーションデータ保持部は、相対的な位置関係が既知な複数の特徴のデータを保持するものであり、上記キャリブレーションずれ判定部は、上記特徴抽出部が抽出した特徴を表す情報に上記キャリブレーションデータ保持部が保持する上記位置関係を表すデータも利用してキャリブレーションずれ判定を行うものであることを特徴とする請求項１乃至１６の何れかに記載のキャリブレーションずれ検出装置。
上記撮影装置として、複数の視点による視差を生じる複数の像を得る光学系と単一のカメラ部とを有するステレオアダプタ方式の撮影装置に対してそのキャリブレーションずれ検出を行うように構成されたことを特徴とする請求項１乃至１６の何れかに記載のキャリブレーションずれ検出装置。
上記撮影装置としての、複数のカメラを含んでなる撮像システムを対象としてキャリブレーションずれ検出を行うように構成されたものであることを特徴とする請求項１乃至１６の何れかに記載のキャリブレーションずれ検出装置。
車載型の上記撮像装置に係るキャリブレーションずれを検出するように構成されたことを特徴とする請求項１乃至１６の何れかに記載のキャリブレーションずれ検出装置。
上記状況判断部は、外部センサの出力に基づいて状況判断を行うことを特徴とする請求項９乃至１６の何れかに記載のキャリブレーションずれ検出装置。
上記ずれ結果呈示部は、上記キャリブレーションずれ判定部との協働により、ずれ検出に係る処理動作中である旨を表示可能に構成されたものであることを特徴とする請求項５、６、７、８、１３、１４、１５若しくは１６の何れかに記載のキャリブレーションずれ検出装置。
上記ずれ結果呈示部は、上記キャリブレーションずれ判定部との協働により、ずれ検出に係る処理の結果として得られたパラメータと上記キャリブレーションデータ保持部に予め保持されていたパラメータとの差異を表わす情報を表示可能に構成されたものであることを特徴とする請求項５、６、７、８、１３、１４、１５若しくは１６の何れかに記載のキャリブレーションずれ検出装置。
上記ずれ結果呈示部は、上記キャリブレーションずれ判定部との協働により、正規のずれ検出が行われ得なかったときにはその旨を表わすエラーコードを表示可能に構成されたものであることを特徴とする請求項５、６、７、８、１３、１４、１５若しくは１６の何れかに記載のキャリブレーションずれ検出装置。
上記ずれ結果呈示部は、上記キャリブレーションずれ判定部との協働により、ずれ検出に関する信頼度を表すステータスを表示可能に構成されたものであることを特徴とする請求項５、６、７、８、１３、１４、１５若しくは１６の何れかに記載のキャリブレーションずれ検出装置。
上記特徴抽出部は、上記撮影装置により得たステレオ画像に関する信頼度を弁別するように構成され、該特徴抽出部が上記撮影装置により得たステレオ画像に関する信頼度が不十分であることを弁別したときには、該撮影装置による撮影処理を繰り返すように制御する制御が更に設けられることを特徴とする請求項１乃至１６の何れかに記載のキャリブレーションずれ検出装置。
相互に離隔した複数の視点による視差を持った複数の映像を表す映像信号出力を得るようになされた撮像部と、
上記撮像部のキャリブレーションずれを検出するキャリブレーションずれ検出部と、
上記キャリブレーションずれ検出部の検出出力データを勘案して上記撮像部で得た映像信号出力に依拠して被写体の距離等のデータを算出する演算部と、
を具備するステレオカメラであって、
上記キャリブレーションずれ検出部は、
上記撮像部に係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、
上記撮像部により得た映像信号出力としてのステレオ画像から特徴を抽出する特徴抽出部と、
上記特徴抽出部で抽出された特徴を表す情報に基づき上記キャリブレーションデータ記憶部に記憶されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、
を有することを特徴とするステレオカメラ。
相互に離隔した複数の視点による視差を持った複数の映像を表す映像信号出力を得るようになされた撮像部と、
上記撮像部のキャリブレーションずれを検出するキャリブレーションずれ検出部と、
上記キャリブレーションずれ検出部の検出出力データを勘案して上記撮像部で得た映像信号出力に依拠して被写体の距離等のデータを算出する演算部と、
を具備するステレオカメラであって、
上記キャリブレーションずれ検出部は、
上記撮像部に係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、
上記撮像部が撮像したステレオ画像を、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づいてレクティフィケーション処理するレクティフィケーション処理部と、
上記レクティフィケーション処理部が処理したレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、
上記特徴抽出部で抽出された特徴を表す情報に基づき上記キャリブレーションデータ記憶部に記憶されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、
を有することを特徴とするステレオカメラ。
相互に離隔した複数の視点による視差を持った複数の映像を表す映像信号出力を得るようになされた撮像部と、
上記撮像部と所定の基準位置を規定する外部装置との間のキャリブレーションずれを検出するキャリブレーションずれ検出部と、
上記キャリブレーションずれ検出部の検出出力を勘案して上記撮像部で得た映像信号出力に依拠して被写体の距離等のデータを算出する演算部と、
を具備するステレオカメラであって、
上記キャリブレーションずれ検出部は、
上記基準位置を規定するために利用される所定の外部装置と上記撮像部の間のキャリブレーションずれに係るキャリブレーションデータを記憶するキャリブレーションデータ記憶部と、
上記撮像部により得た映像信号出力としてのステレオ画像から特徴を抽出する特徴抽出部と、
上記特徴抽出部で抽出された特徴に基づき上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、
を有することを特徴とするステレオカメラ。
相互に離隔した複数の視点による視差を持った複数の映像を表す映像信号出力を得るようになされた撮像部と、
上記撮像部と所定の基準位置を規定する外部装置との間のキャリブレーションずれを検出するキャリブレーションずれ検出部と、
上記キャリブレーションずれ検出部の検出出力を勘案して上記撮像部で得た映像信号出力に依拠して被写体の距離等のデータを算出する演算部と、
を具備するステレオカメラであって、
上記キャリブレーションずれ検出部は、
上記撮像部に係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、
上記撮像部が撮像したステレオ画像を、上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づいてレクティフィケーション処理するレクティフィケーション処理部と、
上記レクティフィケーション処理部によってレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、
上記特徴抽出部で抽出された特徴を表す情報に基づき上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、
を有することを特徴とするステレオカメラ。
相互に離隔した複数の視点による視差を持った複数の映像を表わす映像信号出力を得るようになされた撮像部と、
上記撮像部のキャリブレーションずれを検出するキャリブレーションずれ検出部と、
上記キャリブレーションずれ検出部の検出出力データを勘案して上記撮像部で得た映像信号出力に依拠して被写体の距離等のデータを算出する演算部と、
上記キャリブレーションずれ検出部、演算部、並びに、上記撮像部の出力に関連した所要の表示を行うための表示部と、
を含んで構成されたステレオカメラシステムであって、
上記キャリブレーションずれ検出部は、
上記撮像部に係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、
上記撮像部により得た映像信号出力としてのステレオ画像から特徴を抽出する特徴抽出部と、
上記特徴抽出部で抽出された特徴を表わす情報に基づき上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、
を含んで構成されたものであり、
上記表示部は、
上記キャリブレーションずれ判定部の判定結果を自己の表示面に表示可能に構成されたものであることを特徴とするステレオカメラシステム。
相互に離隔した複数の視点による視差を持った複数の映像を表わす映像信号出力を得るようになされた撮像部と、
上記撮像部のキャリブレーションずれを検出するキャリブレーションずれ検出部と、
上記キャリブレーションずれ検出部の検出出力データを勘案して上記撮像部で得た映像信号出力に依拠して被写体の距離等のデータを算出する演算部と、
上記キャリブレーションずれ検出部、演算部、並びに、上記撮像部の出力に関連した所要の表示を行うための表示部と、
を含んで構成されたステレオカメラシステムであって、
上記キャリブレーションずれ検出部は、
上記撮像部に係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、
上記撮像部により得た映像信号出力としてのステレオ画像に対し上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づくレクティフィケーション処理を施すレクティフィケーション処理部と、
上記レクティフィケーション処理部によってレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、
上記特徴抽出部で抽出された特徴を表わす情報に基づき上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、
を含んで構成されたものであり、
上記表示部は、
上記キャリブレーションずれ判定部の判定結果を自己の表示面に表示可能に構成されたものであることを特徴とするステレオカメラシステム。
相互に離隔した複数の視点による視差を持った複数の映像を表わす映像信号出力を得るようになされた撮像部と、
上記撮像部と所定の基準位置を規定する外部装置との間のキャリブレーションずれを検出するキャリブレーションずれ検出部と、
上記キャリブレーションずれ検出部の検出出力データを勘案して上記撮像部で得た映像信号出力に依拠して被写体の距離等のデータを算出する演算部と、
上記キャリブレーションずれ検出部、演算部、並びに、上記撮像部の出力に関連した所要の表示を行うための表示部と、
を含んで構成されたステレオカメラシステムであって、
上記キャリブレーションずれ検出部は、
上記基準位置を規定するために利用される所定の外部装置と上記撮像部間のキャリブレーションに係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、
上記撮像部により得た映像信号出力としてのステレオ画像から特徴を抽出する特徴抽出部と、
上記特徴抽出部で抽出された特徴を表わす情報に基づき上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、
を含んで構成されたものであり、
上記表示部は、
上記キャリブレーションずれ判定部の判定結果を自己の表示面に表示可能に構成されたものであることを特徴とするステレオカメラシステム。
相互に離隔した複数の視点による視差を持った複数の映像を表わす映像信号出力を得るようになされた撮像部と、
上記撮像部と所定の基準位置を規定する外部装置との間のキャリブレーションずれを検出するキャリブレーションずれ検出部と、
上記キャリブレーションずれ検出部の検出出力データを勘案して上記撮像部で得た映像信号出力に依拠して被写体の距離等のデータを算出する演算部と、
上記キャリブレーションずれ検出部、演算部、並びに、上記撮像部の出力に関連した所要の表示を行うための表示部と、
を含んで構成されたステレオカメラシステムであって、
上記キャリブレーションずれ検出部は、
上記基準位置を規定するために利用される所定の外部装置と上記撮像部間のキャリブレーションに係るキャリブレーションデータを保持するキャリブレーションデータ保持部と、
上記撮像部により得た映像信号出力としてのステレオ画像に対し上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに基づくレクティフィケーション処理を施すレクティフィケーション処理部と、
上記レクティフィケーション処理部によってレクティフィケーションされたステレオ画像から特徴を抽出する特徴抽出部と、
上記特徴抽出部で抽出された特徴を表わす情報に基づき上記キャリブレーションデータ保持部に保持されたキャリブレーションデータに関するキャリブレーションずれを判定するキャリブレーションずれ判定部と、
を含んで構成されたものであり、
上記表示部は、
上記キャリブレーションずれ判定部の判定結果を自己の表示面に表示可能に構成されたものであることを特徴とするステレオカメラシステム。
上記表示部は、上記キャリブレーションずれ判定部との協働により、ずれ検出に係る処理動作中である旨を表示可能に構成されたものであることを特徴とする請求項３６、３７、３８若しくは３９の何れかに記載のステレオカメラシステム。
上記ずれ結果呈示部は、上記キャリブレーションずれ判定部との協働により、ずれ検出に係る処理の結果として得られたパラメータと上記キャリブレーションデータ保持部に予め保持されていたパラメータとの差異を表わす情報を表示可能に構成されたものであることを特徴とする請求項３６、３７、３８若しくは３９の何れかに記載のステレオカメラシステム。
上記ずれ結果呈示部は、上記キャリブレーションずれ判定部との協働により、正規のずれ検出が行われ得なかったときにはその旨を表わすエラーコードを表示可能に構成されたものであることを特徴とする請求項３６、３７、３８若しくは３９の何れかに記載のステレオカメラシステム。
上記キャリブレーションずれ検出部は、その特徴抽出部が上記撮像部により得たステレオ画像に関する信頼度を弁別するように構成され、該特徴抽出部が上記撮像部により得たステレオ画像に関する信頼度が不十分であることを弁別したときには、該撮像部による撮像処理を繰り返すように制御する制御部を更に具えたことを特徴とする請求項３６、３７、３８若しくは３９の何れかに記載のステレオカメラシステム。
上記キャリブレーションずれ検出部は、当該外部装置として、上記撮像部が装備された車両の特定の形状部を適用するものであることを特徴とする請求項３７若しくは３８に記載のステレオカメラシステム。