JP2006253975A - キャリブレーション装置、カメラシステムおよびキャリブレーション方法 - Google Patents

Abstract

【課題】 簡単にかつ正確なクローズアップ画像を得ることができるキャリブレーション装置を提供することを目的とする。
【解決手段】 カメラシステム１は、カメラ２およびサーバ３を備る。カメラ２は、広角カメラ２１およびパンチルトズームカメラ２２を備える。サーバ３は、パンチルトズームカメラ２２で所定角度毎に撮影したクローズアップ画像と、広角カメラ２１で撮影した広角画像をインターフェース３１および３２を介して取得する。次に、サーバ３は、広角画像と単位角度毎（所定角度毎）に取得したクローズアップ画像を用いて、広角カメラ２１の画像歪みを補正する。ユーザは、補正された広角カメラ２１の画像上でクローズアップ画像の位置を指定する。位置ずれ、倍率誤差が抑制されたクローズアップ画像を得ることができる。
【選択図】 図２

Description

本発明は、キャリブレーション装置、カメラシステムおよびキャリブレーション方法に関する。

遠隔ロケーションからのビデオ会議がより一層普及しつつある。インターネット等の通信環境とビデオカメラの発達および利用可能性によって、異なるロケーションに位置しながらも、様々な状況下で、より多くの人が、他の人と対話することが可能である。二つのロケーション間でのビデオ会議では、ロケーションの各々にビデオカメラを設ける。このビデオカメラには、パン／チルト／ズーム（ＰＴＺ）機構が組み込まれている。パンチルトズームカメラは、ユーザへある部分のクローズアップビューを提供する。ビューワ（ｖｉｅｗｅｒ）は、遠隔ロケーションから、パンチルトズームカメラをコントロールすることができる。

このような従来技術として、超広角カメラで遠隔の会議室全体を撮影している画像を元に、クローズアップして観たい部分を遠隔よりパンチルトズームカメラの方向・倍率をグラフィックユーザインターフェースＧＵＩを用いて指示・制御して拡大撮影できる技術が提案されている（特許文献１、特許文献２、特許文献３）。
特開２００４−６４７８４号公報 特開平１１−８８４４号公報 特開２０００−３２３１９号公報

上記従来のカメラシステムにおけるキャリブレーション方法として、さまざまな画面上の位置において２台のカメラの位置合わせを繰り返す手法や、大きな参照板(キャリブレーションボード)を用いてキャリブレーションを行う手法が提案されている。

しかしながら、図１（ａ）の広角カメラで撮影した画像、（ｂ）のパンチルトズームカメラで撮影した画像に示すように、基準となる広角カメラの幾何学的歪（特に周辺部）が大きいために、特に周辺部分のクローズアップを指示した場合、位置合わせおよび倍率合わせが困難であるという問題があった。

そこで、本発明は、上記問題点に鑑みてなされたもので、簡単にかつ正確なクローズアップ画像を得ることができるキャリブレーション装置、カメラシステムおよびキャリブレーション方法を提供することを目的とする。

上記課題を解決するために、本発明は、パンチルトズームカメラで所定角度毎に撮影したクローズアップ画像と、広角カメラで撮影した広角画像を取得する取得手段と、前記広角画像と前記所定角度毎に取得したクローズアップ画像を用いて、前記広角カメラの画像歪みを補正する補正手段とを備えるキャリブレーション装置である。本発明によれば、広角カメラの画像と所定角度毎に取得したクローズアップ画像を用いて、前記広角カメラの画像歪みを補正することにより、正確な位置、倍率のクローズアップ画像を得ることができる。

前記補正手段は、前記広角画像と前記クローズアップ画像の解像度を合わせることを特徴とする。前記補正手段は、前記広角画像と前記クローズアップ画像の特徴点のマッチングを行う手段と、前記広角画像上に前記マッチングした特徴点を重ね合わせてクローズアップ画像フレームを配置する手段と、前記広角画像上に配置されたクローズアップ画像フレームの中心点の座標データを算出してプロットする手段と、前記プロットされた中心点の座標を曲線フィッティングする手段と、前記角度リニアスケールの画像に変換する手段とを含むことを特徴とする。

前記前記クローズアップ画像は、前記パンチルトズームカメラで単位角度毎に取得されることを特徴とする。本発明は、広角カメラと、パンチルトズームカメラと、上記キャリブレーション装置を備えたカメラシステムである。これにより、正確な位置、倍率のクローズアップ画像が得られるカメラシステムを提供できる。

本発明は、パンチルトズームカメラで所定角度毎にクローズアップ画像を撮影する第１撮影ステップと、広角カメラで広角画像を撮影する第２撮影ステップと、前記広角画像と前記所定角度毎に取得したクローズアップ画像を用いて、前記広角カメラの画像歪みを補正する補正ステップとを有するキャリブレーション方法である。本発明によれば、広角カメラの画像と所定角度毎に取得したクローズアップ画像を用いて、前記広角カメラの画像歪みを補正することにより、正確な位置、倍率のクローズアップ画像を得ることができる。

前記補正ステップは、前記広角画像と前記クローズアップ画像の解像度を合わせるステップを含むことを特徴とする。前記補正ステップは、前記広角画像と前記クローズアップ画像の特徴点のマッチングを行うステップと、前記広角画像上に前記マッチングした特徴点を重ね合わせてクローズアップ画像フレームを配置するステップと、前記広角画像上に配置されたクローズアップ画像フレームの中心点の座標データを算出してプロットするステップと、前記プロットされた中心点の座標を曲線フィッティングするステップと、前記角度リニアスケールの画像に変換するステップとを含む。

本発明のキャリブレーション方法は、前記補正ステップで補正された広角カメラの画像上で前記クローズアップ画像の位置を指定するステップをさらに有する。これにより、位置ずれ、倍率誤差が抑制されたクローズアップ画像を得ることができる。前記第１撮影ステップは、前記パンチルトズームカメラで前記クローズアップ画像を単位角度毎に取得することを特徴とする。

本発明によれば、簡単にかつ正確なクローズアップ画像を得ることができるキャリブレーション装置、カメラシステムおよびキャリブレーション方法を提供できる。

以下、本発明を実施するための最良の形態について説明する。図２は、本発明によるカメラシステム１の構成を示す図である。図２に示すように、カメラシステム１は、カメラ２およびサーバ３を備る。カメラ２は、広角カメラ２１およびパンチルトズームカメラ２２を備える。広角カメラ２１は、ビデオフレームをキャプチャする任意のカメラである。複数の広角カメラを用いる場合、キャプチャされたビデオは、つなぎ合わされて、パノラマ画像が生成される。たとえば、二つの広角カメラを用いた場合、約１００度の視界角、画素数１２００×４８０の解像度の画像フレームを生成するために使用され得る。

パンチルトズームカメラ２２は、サーバ３からの制御信号に応答して、パン、チルトおよびズームオペレーションを実行することが可能なカメラである。このようなカメラは、例えば、ソニーＥＶＩ−Ｄ３０ ＰＴＺカメラである。パンチルトズームカメラ２２は、たとえば画素数７６８×４９２の解像度の画像を提供することができ、４．４度の視界まで、ズームされ得る。広角カメラ２１とパンチルトズームカメラ２２は、たとえば互いの近傍に配置され、略同一方向に向けられる。また、広角カメラ２１とパンチルトズームカメラ２２は、共に位置合わせされている。これによって、パンチルトズームカメラ２２を、広角カメラ２１のビュー（視野）から取られたｘ座標とｙ座標に向けることができ。

サーバ３は、カメラシステム１の全体を制御するものであり、単一のサーバであってもよいし、個別のサーバであってもよい。このサーバ３は、ネットワーク４を介して遠隔地と通信を行うことができる。ネットワーク４は、インターネット等を含むワイドエリアネットワーク（ＷＡＮ）又はローカルエリアネットワーク（ＬＡＮ）であってもよい。

サーバ３は、広角カメラ２１とパンチルトズームカメラ２２のキャリブレーションを行うことができる。このサーバ３は、パンチルトズームカメラ２２で所定角度毎に撮影したクローズアップ画像と、広角カメラ２１で撮影した広角画像をインターフェース３１および３２を介して取得する。次に、サーバ３は、広角画像と単位角度毎（所定角度毎）に取得したクローズアップ画像を用いて、広角カメラ２１の画像歪みを補正する。

図３は、マルチリゾリューションビデオフレーム画像を提供するためのグラフィカルインターフェース５０を示す図である。グラフィカルインターフェース５０は、ネットワーク４を介して接続されるパーソナルコンピュータ上でユーザに提供される。グラフィカルインターフェース５０は、ランドスケープウィンドウ５１およびクローズアップウィンドウ５２を有する。ランドスケープウィンドウ５１は、広角カメラ２１で得た環境のオーバービュービデオ画像をユーザに提供するものである。クローズアップウィンドウ５２は、パンチルトズームカメラ２２で撮影したグローズアップ画像をユーザに提供するものである。クローズアップウィンドウ５２に表示されるクローズアップ画像は、ランドスケープウィンドウ５１にディスプレイされた画像の一部に対応している。ここでは、ランドスケープウィンドウ５１は、会議室の画像を表示する。クローズアップウィンドウ５２は、会議室の一部の画像を表示する。クローズアップ画像コンテンツは、マルチリゾリューションビデオシステムによって又はユーザからの入力に基づいて自動的に選択され得る。

白枠で示した、ランドスケープウィンドウ５１のボックス５１１は、クローズアップウィンドウ画像に対応するランドスケープウィンドウ画像の部分を示す。たとえば、ボックス５１１のサイズおよび位置は、ユーザによって提供される入力に対応する。ユーザは、入力デバイスを用いてランドスケープウィンドウ５１の領域を選択することができる。

次に、カメラシステム１の動作について説明する。広角カメラ２１は、画像をキャプチャして、画像データをインターフェース３１を介してサーバ３へ送信する。サーバ３は、広角カメラ２１によってキャプチャされた画像をインターフェース３１を介して受け取ると、この画像をネットワーク４へ送信する。サーバ３は、ユーザおよび自動コントロールユニットから、ネットワーク４を介して、制御信号を受け取る。サーバ３は、制御信号を処理して、制御信号をパンチルトズームカメラ２２へ送る。

サーバ３は、パンチルトズームカメラ２２のパン、チルト、ズームおよび他の機能を指示して、パノラマ画像の領域に関連する画像をキャプチャする。パンチルトズームカメラ２２は、サーバ３から、制御信号を受け取り、画像をキャプチャし、画像データをインターフェース３２を介してサーバ３へ提供する。サーバ３は、ネットワーク４を介して、ユーザおよび自動コントロールユニットにパンチルトズームカメラ２２の画像を提供する。広角カメラ２１およびパンチルトズームカメラ２２によってキャプチャされた画像は、サーバ３内のメモリキャッシュ又は他のメモリソース（図示しない）へ記憶されてもよい。

ユーザおよび自動コントロールユニットは、ネットワーク４を介してビデオ画像を受け取り、ネットワーク４を介して入力を自動コントロールユニットおよびサーバ３へ供給する。カメラシステム１は、広角カメラ２１とパンチルトズームカメラ２２から、ビデオフレーム画像を提供することによって、図３に示したようなマルチリゾリューションビデオをユーザに提供する。

次に、カメラシステム１の位置合わせおよび倍率合わせについて説明する。図４は、カメラシステム１における位置合わせおよび倍率合わせを説明するための図である。図５は、カメラシステム１における位置合わせおよび倍率合わせ時の処理フローチャートである。まず、パンチルトズームカメラ２２で単位角度（所定角度毎）にクローズアップ画像を撮影し、広角カメラ２１で広角画像を撮影する。ステップＳ１で、サーバ３は、図４（ａ）に示すように、パンチルトズームカメラ２２で単位角度毎（Ｘ,Ｙ）に撮影したクローズアップ画像Ｐ１、Ｐ２、・・・、Ｐｎを取得する。また、サーバ３は、広角カメラ２１で撮影した広角画像Ｑを取得する。

ステップＳ２で、サーバ３は、超広角画像Ｑと複数取得したクローズアップ画像Ｐ１、Ｐ２、・・・、Ｐｎの解像度を合わせる。ステップＳ３で、サーバ３は、広角画像Ｑとクローズアップ画像Ｐ１、Ｐ２、・・・、Ｐｎの特徴点の画像マッチングを行う。ステップＳ４で、サーバ３は、図４（ｂ）に示すように、広角画像Ｑ上にマッチングした特徴点を重ね合わせてクローズアップ画像フレームＰＦ１、ＰＦ２、・・・、ＰＦｎを配置する。ステップＳ５で、サーバ３は、広角画像Ｑ上に配置されたクローズアップ画像フレームＰＦ１、ＰＦ２、・・・、ＰＦｎの中心点の座標データを算出してプロットする。ステップＳ６で、サーバ３は、図４（ｃ）に示すように、プロットされた中心点座標を最小二乗法による二次の多項式近似法などにより曲線フィッティングする。

ステップＳ７で、サーバ３は、図４（ｄ）に示すように、アフィン変換処理により、角度リニアスケールの画像に変換し、表示する。

このようにして、広角カメラ２１の画像歪みを、カメラ中心からの角度の大きさに対して、リニアとなるように補正して画面上に表示する（図４（ｄ））。パンチルトズームカメラ２２でクローズアップしたい部分Ｒを、歪補正された画面上のグラフィカルユーザインターフェース５０で指示する。サーバ３は、グラフィカルユーザインターフェース５０により指示された座標データに基づいてパンチルトズームカメラ２２の方向、倍率を制御してパンチルトズームカメラ２２によりクローズアップ画像を取得する。これにより、簡単に、かつ正確な位置・倍率のクローズアップ画像を得ることができる。

以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

従来の問題点を説明するための図である。 本発明によるカメラシステムの構成を示す図である。 マルチリゾリューションビデオフレーム画像を提供するためのインターフェース５０を示す図である。 カメラシステム１における位置合わせおよび倍率合わせを説明するための図である。 カメラシステム１における位置合わせおよび倍率合わせ時の処理フローチャートである。

符号の説明

１ カメラシステム
２ カメラ
２１ 広角カメラ
２２ パンチルトズームカメラ
３ サーバ

Claims (10)

1. パンチルトズームカメラで所定角度毎に撮影したクローズアップ画像と、広角カメラで撮影した広角画像を取得する取得手段と、
   前記広角画像と前記所定角度毎に取得したクローズアップ画像を用いて、前記広角カメラの画像歪みを補正する補正手段と
   を備えることを特徴とするキャリブレーション装置。
2. 前記補正手段は、前記広角画像と前記クローズアップ画像の解像度を合わせることを特徴とする請求項１に記載のキャリブレーション装置。
3. 前記補正手段は、前記広角画像と前記クローズアップ画像の特徴点の画像マッチングを行う手段と、
   前記広角画像上に前記マッチングした特徴点を重ね合わせてクローズアップ画像フレームを配置する手段と、
   前記広角画像上に配置されたクローズアップ画像フレームの中心点の座標データを算出してプロットする手段と、
   前記プロットされた中心点の座標を曲線フィッティングする手段と、
   前記角度リニアスケールの画像に変換する手段とを含むことを特徴とする請求項１に記載のキャリブレーション装置。
4. 前記前記クローズアップ画像は、前記パンチルトズームカメラで単位角度毎に取得されることを特徴とする請求項１に記載のキャリブレーション装置。
5. 広角カメラと、
   パンチルトズームカメラと、
   請求項１から請求項４のいずれか一項に記載のキャリブレーション装置を備えたカメラシステム。
6. パンチルトズームカメラで所定角度毎にクローズアップ画像を撮影する第１撮影ステップと、
   広角カメラで広角画像を撮影する第２撮影ステップと、
   前記広角画像と前記所定角度毎に取得したクローズアップ画像を用いて、前記広角カメラの画像歪みを補正する補正ステップと
   を有することを特徴とするキャリブレーション方法。
7. 前記補正ステップは、前記広角画像と前記クローズアップ画像の解像度を合わせるステップを含むことを特徴とする請求項６に記載のキャリブレーション方法。
8. 前記補正ステップは、
   前記広角画像と前記クローズアップ画像の特徴点のマッチングを行うステップと、
   前記広角画像上に前記マッチングした特徴点を重ね合わせてクローズアップ画像フレームを配置するステップと、
   前記広角画像上に配置されたクローズアップ画像フレームの中心点の座標データを算出してプロットするステップと、
   前記プロットされた中心点の座標を曲線フィッティングするステップと、
   前記角度リニアスケールの画像に変換するステップとを含むことを特徴とする請求項６に記載のキャリブレーション方法。
9. 前記補正ステップで補正された広角カメラの画像上で前記クローズアップ画像の位置を指定するステップをさらに有することを特徴とする請求項６に記載のキャリブレーション方法。
10. 前記第１撮影ステップは、前記パンチルトズームカメラで前記クローズアップ画像を単位角度毎に取得することを特徴とする請求項６に記載のキャリブレーション方法。
    

Images