JP2003141527A - 多視点画像処理システムのキャリブレーション装置及びキャリブレーション方法 - Google Patents

Abstract

(57)【要約】 【課題】 複数の撮影手段からの画像を一つのパノラマ
画像として表示する際に、その画像間で誤差を生じ難く
することができる多視点画像処理システムのキャリブレ
ーション装置及びキャリブレーション方法を提供する。 【解決手段】 全方向画像処理システム１はコンピュー
タシステム２とＳＯＳ３とを備え、ＳＯＳ３は全方向撮
影可能となるように合計６０個のカメラ９を搭載してい
る。画像処理装置５に内蔵された初期値パラメータ算出
部２６は、ワールド座標系におけるＳＯＳ座標の並進パ
ラメータＴ^S、回転パラメータＲ^Sと、ＳＯＳ座標系にお
けるカメラ座標の回転パラメータの初期値を求める。そ
して、位置最適化処理部３０はその初期値を基に反復法
によりワールド座標系におけるＳＯＳ３の並進パラメー
タＴ^S、回転パラメータＲ^Sと、ＳＯＳ座標系におけるカ
メラ９の回転パラメータを同時に最適化する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、多視点画像処理シ
ステムのキャリブレーション装置及びキャリブレーショ
ン方法に関するものである。

【０００２】

【従来の技術】近年、コンピュータにおける画像処理能
力の向上により、複数のカメラから得られる多視点画像
（動画像）を用いて広範囲の環境を同時に取得し、３次
元情報を取得する研究が行われている。このように多視
点画像を用いることで広範囲の画像が高解像度で取得で
き、広い範囲の監視、環境の理解や臨場感を持った仮想
空間の提示など様々な分野での応用に有効である。特
に、複数人が参加するテレビ会議システム、移動ロボッ
トの遠隔操作、防犯システム或いはロボットと人とのイ
ンタラクションなど、適用対象は多岐に亘る。

【０００３】複数のカメラからの多視点画像に基づき３
次元情報を得ることができるシステムとしては、大別す
ると２つに分けられる。一つは、複数のカメラを撮影対
象の周囲に配置し、その撮影環境の外から中心方向の画
像を取得するシステムである。もう一つは、複数のカメ
ラをシステムの中心から外向きに配置し、その周りの環
境の画像を取得するシステムである。

【０００４】

【発明が解決しようとする課題】ところが、これらシス
テムのどちらの場合においても、複数のカメラにより撮
影した画像をパノラマ画像として表示する場合には、各
カメラの位置や姿勢等が異なることから、図２４に示す
画面８０のように各カメラの画像の繋がり部分において
不連続が生じる問題がある。よって、その不連続部分を
なくすために全てのカメラ間の３次元位置や姿勢のキャ
リブレーションを行う必要がある。また、各カメラの画
像間で色（濃淡）も異なるため、各カメラ間で色のキャ
リブレーションを行う必要もある。

【０００５】本発明は前記の問題点に鑑みてなされたも
のであって、その目的は、複数の撮影手段からの画像を
一つのパノラマ画像として表示する際に、その画像間で
誤差を生じ難くすることができる多視点画像処理システ
ムのキャリブレーション装置及びキャリブレーション方
法を提供することにある。

【０００６】

【課題を解決するための手段】前記の目的を達成するた
め請求項１に記載の発明では、複数の撮影手段と、当該
撮影手段により撮影された画像を表示する表示手段とを
備えた多視点画像処理システムのキャリブレーション装
置であって、複数の前記撮影手段により撮影された各画
像を、３６０度全域を映す一つのパノラマ画像として前
記表示手段の画面上に表示させる表示処理手段と、前記
パノラマ画像を前記表示手段に表示する際に、前記各撮
影手段の各画像のうち隣り合う画像間の誤差が全体とし
て最小となるように前記画像の表示条件を最適化する最
適化処理手段とを備えたことを要旨とする。

【０００７】この発明によれば、複数の撮影手段により
撮影された画像が、表示処理手段により３６０度全域を
映す一つのパノラマ画像として画面上に表示される。そ
して、パノラマ画像を表示した際には最適化処理手段に
より画像の表示条件が最適化され、その最適化後の表示
条件を基に各画像が画面上に表示される。従って、複数
の画像を一つのパノラマ画像として表示する際に、隣り
合う画像間の誤差が全体として最小となり、各画像間の
連続性が確保されることから、全体として違和感のない
パノラマ画像となる。

【０００８】請求項２に記載の発明では、請求項１に記
載の発明において、前記最適化処理手段は、前記表示条
件の値を所定量だけ変化させ、その処理を前記誤差が最
小となるまで繰り返す反復法によって前記表示条件を最
適化することを要旨とする。

【０００９】この発明によれば、請求項１に記載の発明
の作用に加え、最適化された表示条件はその表示条件の
値を所定量だけ変化させ、その処理を誤差が最小となる
まで繰り返す反復法により得られる。

【００１０】請求項３に記載の発明では、請求項１又は
２に記載の発明において、前記撮影手段により撮影され
た画像に基づき、撮影対象の３次元座標を算出する３次
元座標算出手段と、前記３次元座標算出手段により求ま
る３次元座標と、前記表示条件としてのパラメータとに
基づき、前記３次元座標の画面上における画面座標を算
出する画面座標算出手段とを備え、前記最適化処理部
は、画像をパノラマ画像として統合する際に、隣り合う
各画像間の位置ずれが全体として最小となるように前記
パラメータを最適化することを要旨とする。

【００１１】この発明によれば、請求項１又は２に記載
の発明の作用に加え、画面座標算出手段は３次元座標算
出手段により求まる３次元座標とパラメータとに基づ
き、３次元座標の画面上における画面座標を算出する。
そして、複数の画像が一つのパノラマ画像として表示さ
れる際に、最適化処理手段は画像間の位置ずれが全体と
して最小となるようにそのパラメータを最適化する。こ
のため、３次元座標の画面上における画面座標は最適化
後のパラメータにより算出され、複数の画像を一つのパ
ノラマ画像として表示した際に全体として画像間の位置
ずれが小さくなる。よって、各画像間が連続して繋がっ
たように見えることから、位置ずれの少ないパノラマ画
像となる。

【００１２】請求項４に記載の発明では、請求項１〜３
のうちいずれか一項に記載の発明において、前記撮影手
段により撮影された画像に基づき、複数の撮影手段の間
で画像が重なり合う部分を共通領域として取得する共通
領域取得手段を備え、前記最適化処理手段は、画像をパ
ノラマ画像として統合する際に、前記共通領域で各画像
間の色むらが全体として最小となるように画像の表示色
を決める前記表示条件としてのカラーヒストグラムを最
適化することを要旨とする。

【００１３】この発明によれば、請求項１〜３のうちい
ずれか一項に記載の発明の作用に加え、複数の撮影手段
の間で画像が重なり合う部分が、共通領域取得手段によ
り共通領域として求められる。そして、複数の画像が一
つのパノラマ画像として表示される際に、最適化処理手
段は共通領域で画像間の色むらが全体として最小となる
ように各画像のカラーヒストグラムを最適化する。この
ため、各画像の表示色は最適化後のカラーヒストグラム
に基づく色となり、複数の画像を一つのパノラマ画像と
して表示した際に全体として画像間の色むらが小さくな
る。よって、各画像間が同じような表示色で見えること
から、色むらの少ないパノラマ画像となる。

【００１４】請求項５に記載の発明では、請求項１〜４
のうちいずれか一項に記載の発明において、前記撮影手
段の姿勢は並進パラメータと回転パラメータとにより決
まり、前記並進パラメータは撮影手段を装置として組み
付ける際の設計パラメータであって、前記最適化処理手
段は、前記回転パラメータを変化させることで前記パラ
メータを最適化することを要旨とする。

【００１５】この発明によれば、請求項１〜４のうちい
ずれか一項に記載の発明の作用に加え、撮影手段の並進
パラメータは撮影手段を装置として組み付ける際に生じ
る誤差であり、その値は非常に小さなものであるため、
撮影手段の並進パラメータに設計パラメータを用いても
許容できる誤差しか生じない。このため、並進パラメー
タに設計パラメータを用いても何ら問題はなく、設計パ
ラメータを用いることで最適化処理の際に変化させる対
象が回転パラメータのみで済む。

【００１６】請求項６に記載の発明では、請求項１〜５
のうちいずれか一項に記載の発明において、前記撮影手
段を少なくとも３個以上搭載するとともにそのうちの一
つが配置関係上の基準位置に位置したユニットを複数有
し、当該ユニットが多面体の基材の各表面に取り付けら
れた撮影システムを備え、前記表示処理手段は、基準位
置に位置する前記撮影手段により撮影された前記ユニッ
トごとの各画像を、一つのパノラマ画像として前記表示
手段の画面上に表示させ、前記最適化処理手段は、前記
ユニット単位で撮影された隣り合う画像間の誤差が全体
として最小となるように前記画像の表示条件を最適化す
ることを要旨とする。

【００１７】この発明によれば、請求項１〜５のうちい
ずれか一項に記載の発明の作用に加え、パノラマ画像は
ユニット単位で撮影された各画像を統合することで生成
され、ユニット単位の画像間において誤差が生じ難くな
る。

【００１８】請求項７に記載の発明では、複数の撮影手
段と、当該撮影手段により撮影された画像を表示する表
示手段とを備えた多視点画像処理システムのキャリブレ
ーション装置に用いられるキャリブレーション方法であ
って、表示処理手段が、複数の前記撮影手段により撮影
された各画像を、３６０度全域を映す一つのパノラマ画
像として前記表示手段の画面上に表示させ、最適化処理
手段が、前記パノラマ画像を前記表示手段に表示する際
に、前記各撮影手段の各画像のうち隣り合う画像間の誤
差が全体として最小となるように前記画像の表示条件を
最適化することを要旨とする。

【００１９】この発明によれば、複数の撮影手段により
撮影された画像が、表示処理手段により３６０度全域を
映す一つのパノラマ画像として画面上に表示される。そ
して、パノラマ画像を表示する際には最適化処理手段に
より画像の表示条件が最適化され、その最適化後の表示
条件を基に各画像が画面上に表示される。従って、複数
の画像を一つのパノラマ画像として表示した際に、隣り
合う画像間の誤差が全体として最小となり、各画像間の
連続性が確保されることから、全体として違和感のない
パノラマ画像となる。

【００２０】

【発明の実施の形態】以下、本発明を具体化した全方向
画像処理システムのキャリブレーション装置及びキャリ
ブレーション方法の一実施形態を図１〜図２１に従って
説明する。

【００２１】図１は、全方向画像処理システムの全体図
である。多視点画像処理システムとしての全方向画像処
理システム１はコンピュータシステム２と、撮影システ
ムとしての全方向ステレオシステム（Stereo Omnidire
cthional System、以下ＳＯＳと記す）３とを備え、こ
れらシステム２，３はケーブル４により相互に接続され
ている。コンピュータシステム２は画像処理装置５、入
力装置６および表示手段としてのディスプレイ７を備
え、このうちの画像処理装置５にＳＯＳ３が接続され
る。

【００２２】ＳＯＳ３はスタンド８により自身で直立
し、そのスタンド８の先端に複数（本例では６０個）の
撮影手段としてのカメラ９を備えている。ＳＯＳ３はこ
れらカメラ９によりＳＯＳ３を中心とした空間全ての方
向（全方向）を撮影可能であり、３次元情報であるステ
レオ画像（距離画像）とカラー画像とを画像データとし
て取得する。そして、画像処理装置５はケーブル４を介
してＳＯＳ３から画像データを入力して画像処理を行
い、ＳＯＳ３によって撮影された画像をディスプレイ７
にカラー付きの全方向画像（パノラマ画像）として表示
させる。

【００２３】図２はＳＯＳ３の分解図であり、図３はＳ
ＯＳ３の部分拡大図である。ＳＯＳ３はスタンド８の先
端に正二十面体の基材１０を有し、正二十面体のときに
は基材１０の表面に正三角形状の平面１１が合計２０個
形成される。各平面１１には一つで３つのカメラ９を有
したユニットとしてのステレオユニット１２が取り付け
られ、ＳＯＳ３の全体としてステレオユニット１２が平
面１１の総数に応じて合計２０個取り付けられる。ステ
レオユニット１２はカメラ９を取着するための略くの字
型形状の支持板１３を有し、この支持板１３が基材１０
に固着される。

【００２４】ステレオユニット１２の３つのカメラ９は
同一平面上に配置されている。また、３つのカメラ９の
うち中央を基準カメラ９ａ、その両側を９ｂ，９ｃ（全
て図３参照）とすると、その基準カメラ９ａおよびカメ
ラ９ｂがなす軸線Ｌ₁と、基準カメラ９ａおよびカメラ
９ｃがなす軸線Ｌ₂とが直行するように３つのカメラ９
ａ〜９ｃが配置されている。各ステレオユニット１２は
基準カメラ９ａが平面１１の重心と一致する位置で、各
ステレオユニット１２のカメラ視界が遮られない状態で
取り付けられる。ディスプレイ７には、３つのカメラ９
ａ〜９ｃのうち基準カメラ９ａにより撮影された映像が
表示される。

【００２５】通常、最低２台のカメラがあれば撮影対象
をステレオ視することが可能であるが、ステレオユニッ
ト１２は基準カメラ９ａおよびカメラ９ｂと、基準カメ
ラ９ａおよびカメラ９ｃとで互いに直行する向きに２つ
のステレオペアをとっている。ところで、１つのステレ
オペアでは見えない点（オクルージョン）が生じ易い
が、３台のカメラ９ａ〜９ｃを用いて２つのステレオペ
アを組ませることにより、一方が撮影不能でも他方で撮
影可能となって撮影不能箇所が軽減される。特に、本例
のステレオユニット１２は各ステレオペアにより水平お
よび垂直方向の撮影が可能となり、撮影不能箇所が生じ
難くなる。

【００２６】また、２つのステレオペアにおいて画像処
理演算結果のよい方の値を採用すれば、精度の高い３次
元情報が得られる。さらに、ステレオユニット１２上の
３つのカメラ９は同一平面上で光軸が平行であり、これ
らカメラ９がなす軸線Ｌ₁と軸線Ｌ₂とが直行する位置関
係であるため、２つのステレオペアにおける対応点検索
が高速に行え、リアルタイムな３次元情報の取得が可能
になる。なお、ＳＯＳ３が正二十面体の場合では各カメ
ラ９の視野角δ（図３参照）を全方向視野のために必要
な値として４１．８１０３度に設定している。

【００２７】図４は、全方向画像処理システム１の電気
的構成図である。全方向画像処理システム１ではディス
プレイ７の画面７ａに正確な３次元画像を表示するため
にキャリブレーションが実行される。このキャリブレー
ションとしては、ステレオユニットごとに行われるステ
レオユニットキャリブレーション、全てのステレオユニ
ット１２の間で行われるユニット間キャリブレーショ
ン、ステレオユニット間の色補正を行うカラーキャリブ
レーションの３つがある。

【００２８】画像処理装置５は、ステレオユニット補正
処理部１４、ユニット間補正処理部１５および色補正処
理部１６を備えている。なお、画像処理装置５はＣＰ
Ｕ、ＲＯＭ、ＲＡＭ、ハードディスク等を備え、各処理
部１４〜１６は画像処理装置５内の制御プログラムに基
づきＣＰＵが駆動することにより機能的に生成されるも
のとする。

【００２９】（１．ステレオユニットキャリブレーショ
ン）まず、ステレオユニットキャリブレーションについ
て説明する。ところで、ステレオユニット１２の各カメ
ラ９にはレンズ歪み、焦点距離、カメラ中心、水平垂直
のスケール比等に特性がある。このため、キャリブレー
ションを行わないと、図５（ａ）に示すように画面が歪
んで見えたり、ピクセル１７が正方でない部分が生じた
り、カメラ中心１８がディスプレイ中心に位置しない等
の不具合が生じたカメラ画像１９がディスプレイ７に出
力される。

【００３０】また、図６（ａ）に示すように基準カメラ
９ａにより撮影されたカメラ画像２０と、カメラ９ｂに
より撮影されたカメラ画像２１と、カメラ９ｃにより撮
影されたカメラ画像２２との間には、アライメントずれ
も生じる。このアライメントずれとは、３つのカメラ９
ａ〜９ｃの間で映像が上下、左右、回転方向に所定量ず
れてしまう現象である。図６（ａ）に示す例では、カメ
ラ画像２０とカメラ画像２１の間で撮影対象が上下方向
にずれている。また、カメラ画像２０とカメラ画像２２
の間では左右方向と回転方向にずれている。

【００３１】ここで、本例のステレオユニット１２では
公知の技法である「Tsaiの手法」（IEEE Journal of Ro
botics and Automation, 3,4 pp.323-344(1987)参照）
を用いて、ステレオユニットキャリブレーションが実施
される。このステレオユニットキャリブレーションはユ
ニット製造時（或いは出荷時）に行われる処理であり、
３つのカメラ９ａ〜９ｃはアルミ製の支持板１３にしっ
かりと固定され、焦点距離も固定となっていることか
ら、キャリブレーションを一度行えば、それ以降に再キ
ャリブレーションを行う必要はない。

【００３２】ステレオユニットキャリブレーションが実
行されると、カメラ９ａ〜９ｃごとの内部パラメータ
（レンズ歪み、焦点距離、カメラ中心、水平垂直のスケ
ール比）と、カメラ９ａ〜９ｃの位置関係を示す位置パ
ラメータとが得られる。これら内部パラメータや位置パ
ラメータからなるキャリブレーションデータは、ステレ
オユニット補正処理部１４のパラメータ記憶部２３に格
納しておく。そして、ステレオユニット補正処理部１４
はキャリブレーションデータに基づきカメラ画像２０〜
２２の補正処理を行い、これらカメラ画像２０〜２２を
アライメントずれが取り除かれた図６（ｂ）に示す状態
に補正する。

【００３３】図６（ｂ）に示すカメラ画像２０〜２２
は、図５（ｂ）に示すように画面の歪みがなく全てのピ
クセル１７も正方であり、カメラ中心１８がディスプレ
イ中心に位置した画像中心からの透視投影画像となって
いる。また、各カメラ画像２０〜２２の間ではアライメ
ントずれが取り除かれ、左右に位置するカメラ画像２
０，２１ではｘ軸を共有した状態となり、上下に位置す
るカメラ画像２０，２２ではｙ軸を共有した状態とな
る。なお、この校正精度は６４０＊４８０の解像度にお
いて最小二乗誤差で０．１〜０．３ピクセルとなってい
る。

【００３４】（２．ユニット間キャリブレーション）次
に、ユニット間キャリブレーションについて説明する。
図４に示すユニット間補正処理部１５はユニット間キャ
リブレーションを実行するものであり、３次元座標算出
手段としての３次元座標算出部２４、空間座標算出部２
５、初期値パラメータ算出部２６および画面座標算出部
２７を備えている。また、初期値パラメータ算出部２６
はカメラ姿勢算出部２８とＳＯＳ姿勢算出部２９を有
し、画面座標算出部２７は位置最適化処理部３０を有し
ている。

【００３５】ここで、画面座標算出部２７は各ステレオ
ユニット１２の基準カメラ９ａから出力された画像を一
つに統合し、そのパノラマ画像をディスプレイ７の画面
７ａに表示させる。なお、３次元座標算出部２４、空間
座標算出部２５、初期値パラメータ算出部２６および位
置最適化処理部３０が最適化処理手段を構成する。ま
た、画面座標算出部２７が表示処理手段及び画面座標算
出手段に相当する。

【００３６】ユニット間キャリブレーションの説明に先
立ち、ＳＯＳ３により撮影された撮影対象の空間上にお
ける３次元座標の算出方法を詳述しておく。図７に示す
ように、各カメラ９ａ〜９ｃの映像をそれぞれカメラ画
像２０〜２２とし、撮影対象となるＧの３次元座標を
（Ｘ，Ｙ，Ｚ）、Ｇのカメラ画像２０上の画面座標Ｇｒ
を（Ｘｒ，Ｙｒ）、Ｇのカメラ画像２１上の画面座標Ｇ
ｌを（Ｘｌ，Ｙｌ）、Ｇのカメラ画像２２上の画面座標
Ｇｔを（Ｘｔ，Ｙｔ）とする。

【００３７】３眼ステレオの場合、３次元座標算出部２
４は垂直に位置するカメラ９ａ，９ｃのステレオペア
と、水平に位置するカメラ９ａ，９ｂのステレオペアと
で別々に演算処理を行い、演算結果のよい方の値を選択
することでＧの３次元座標（Ｘ，Ｙ，Ｚ）を算出する。
垂直ベースラインでは次式(1) 〜(4) を用いて演算結果
（Ｘｖ，Ｙｖ，Ｚｖ）を求め、水平ベースラインでは次
式(5) 〜(8) を用いて演算結果（Ｘｈ，Ｙｈ，Ｚｈ）を
求める。なお、次式においてｆはカメラの焦点距離、ｂ
ｖは垂直ベースライン、ｂｈは水平ベースラインであ
り、全て既知の値である。

【００３８】ａ．垂直ベースライン処理 Ｘｖ＝ｂｖ（Ｘｔ＋Ｘｒ）／２ｄｖ … (1) Ｙｖ＝ｂｖ（Ｙｔ＋Ｙｒ）／２ｄｖ … (2) Ｚｖ＝ｂｖ・ｆ／ｄｖ … (3) ｄｖ＝（Ｙｔ−Ｙｒ） … (4) ｂ．水平ベースライン処理 Ｘｈ＝ｂｈ（Ｘｌ＋Ｘｒ）／２ｄｖ … (5) Ｙｈ＝ｂｈ（Ｙｌ＋Ｙｒ）／２ｄｖ … (6) Ｚｈ＝ｂｈ・ｆ／ｄｈ … (7) ｄｈ＝（Ｘｌ−Ｘｒ） … (8) 両方のベースライン処理の終了後、次式(9) を用いて両
方の演算結果からよい方の値を選択することでＧの３次
元座標（Ｘ，Ｙ，Ｚ）を求める。なお、次式のＳＥＬは
２つのステレオペアのうち、値がよい方のステレオペア
の出力を選択する関数である。 （Ｘ，Ｙ，Ｚ，ｄ）＝ＳＥＬ（（Ｘｖ，Ｙｖ，Ｚｖ，ｄｖ），（Ｘｈ，Ｙｈ，Ｚ ｈ，ｄｈ）） … (9) 一般に、ステレオユニット間キャリブレーションを行う
ためには、３次元形状が既知の校正器具、または３次元
位置が既知なマーカ等を撮影して校正する方法と、大き
さ、位置、姿勢が分からない未知の対象物の画像から校
正を行う方法（セルフ・キャリブレーション）とがあ
る。本例では、前者の校正方法を採用しているが、実空
間の全方向に複数のマーカを精度よく配置することは困
難であるため、大きさと形状が既知の空間に繰り返しパ
ターンを投影し、その画像を取得することでキャリブレ
ーションを行っている。大きさと形状が既知の空間を作
り出すシステムとしては、図８に示す没入型６面ディス
プレイ３１を採用している。

【００３９】図８は、没入型６面ディスプレイのシステ
ム構成図である。没入型６面ディスプレイ３１はプロジ
ェクタ管理装置３２により稼動される６つのプロジェク
タ３３ａ〜３３ｆを備えている。これらプロジェクタ３
３ａ〜３３ｆは立方空間３４の６面を構成する各スクリ
ーン３５に設置され、対向するスクリーン３５に格子３
６（図９（ａ）参照）の映像を投影する。また、立方空
間３４のほぼ中央にはＳＯＳ３が設置されている。な
お、これら６枚のスクリーン３５の配置関係、大きさお
よびプロジェクタ３３ａ〜３３ｆの校正は、全てのスク
リーン３５に投影した格子パターン画像を用いて正確に
キャリブレーションが行われている。

【００４０】ＳＯＳ３はスクリーン３５に投影された格
子３６の映像を撮影し、ステレオユニット１２ごとに図
９（ａ）に示す格子パターン画像３７取得する。そし
て、空間座標算出部２５はＳＯＳ３からステレオユニッ
ト１２ごとに格子パターン画像３７を入力し、この画像
３７を用いて図９（ｂ）に示す直線抽出処理を行ってス
テレオユニット１２ごとに格子点３６ａの座標を算出す
る。一方、３次元座標算出部２４は格子点３６ａの座標
を基に、完全な３次元の仮想空間、つまりワールド座標
系の空間を算出する。なお、格子点座標と３次元座標と
の対応付けは人がマニュアル操作で行うものとする。

【００４１】ところで、ワールド座標系にカメラ座標を
関連付けるためには、ステレオユニットキャリブレーシ
ョンと、ユニット間キャリブレーションを行う必要があ
る。しかし、前節でステレオユニットキャリブレーショ
ンによりステレオユニット１２上のカメラ９ａ〜９ｃの
キャリブレーションが正確に行われているため、ここで
はワールド座標系における基準カメラ９ａの外部パラメ
ータ（並進パラメータ、回転パラメータ）を求めればよ
い。並進パラメータと回転パラメータはともにｘ，ｙ，
ｚ方向のパラメータ値をとることから、ＳＯＳ３の全体
では１２０（＝６×２０）個の外部パラメータを算出す
る必要がある。

【００４２】各ステレオユニット１２の３つのカメラ９
ａ〜９ｃは支持板１３に固く固定され、ＳＯＳ３の中心
から基準カメラ９ａまでの位置のずれは少ない。また、
３次元の画像統合においては並進パラメータのずれによ
る影響よりも、回転パラメータのずれによる影響の方が
大きい。そのため、ワールド座標系におけるＳＯＳ３の
中心座標（以下、ＳＯＳ座標と記す）と、ＳＯＳ座標を
基準としたＳＯＳ座標系におけるステレオユニット１２
（基準カメラ９ａ）の回転とを求めることで、カメラ座
標のワールド座標系への関連付けを行える。これによ
り、本例では求めるパラメータがＳＯＳ座標の並進パラ
メータ３個、回転パラメータの３個と、基準カメラ９ａ
の回転パラメータ６０個（＝３×２０）との合計６６個
となる。

【００４３】また、［ ］^Ｔを転置行列とした場合、基
準カメラ９ａから得られた２次元画像上の点（つまり画
面座標）ｍ_i＝［ｒ，ｓ］^Ｔ（ｉ＝１，２，…，２０）
と、ワールド座標系における点（つまり３次元座標）Ｇ
＝［ｘ，ｙ，ｚ］^Ｔとの間には次式(10)の関係が成り立
つ。なお、次式においては係数パラメータ、λはスケー
ルである。なお、係数パラメータＰ_iは表示条件及びパ
ラメータを構成する。

【００４４】

【数１】

【００４５】ここで、ワールド座標系におけるＳＯＳ座
標の並進パラメータをＴ^S、回転パラメータＲ^Sとし、Ｓ
ＯＳ座標系における各基準カメラ９ａの並進パラメー
タ、回転パラメータをそれぞれＴ_i ^C，Ｒ_i ^C（ｉ＝１，
２，…，２０）とすると、Ｐ_iは３×４の射影カメラ行
列で次式(11)により表現される。

【００４６】

【数２】

【００４７】但し、ワールド座標系におけるカメラ座標
の並進パラメータ、回転パラメータをそれぞれＴ_i，Ｒ_i
としたとき、Ｔ_i，Ｒ_iは次式(12)，(13)の関係が成り立
つ。

【００４８】

【数３】

【００４９】

【数４】

【００５０】ここで、行列Ａ_iはカメラ９ａ〜９ｃの内
部パラメータのみで構成される行列であり、既知の値で
ある。また、ＳＯＳ座標系におけるカメラ座標の並進パ
ラメータＴ_i ^Cは設計パラメータを用いるため、既知の値
である。よって、求めるパラメータはワールド座標系に
おけるＳＯＳ座標の並進パラメータＴ^S、回転パラメー
タＲ^S、ＳＯＳ座標系におけるカメラ座標の回転パラメ
ータＲ_i ^Cの合計６６個となる。そのため、ユニット間キ
ャリブレーションとしては式(10)と式(11)により線形解
法を用いて６６個のパラメータの初期値を求め、この初
期値に基づき６６個のパラメータを最適化していく。

【００５１】以下に詳述すると、パラメータの初期値を
求める最初の手順として、初期値パラメータ算出部２６
は式(10)を用いてｍ_iとＧから各基準カメラ９ａの係数
パラメータＰ_iを算出する。Ｐ_iの算出後、カメラ姿勢算
出部２８は式(11)を用いてワールド座標系におけるカメ
ラ座標の並進パラメータＴ_iと回転パラメータＲ_iとを算
出する。これにより、各基準カメラ９ａのワールド座標
系における姿勢が求まる。しかし、このままでは誤差の
影響により回転パラメータＲ_iが回転行列とならないた
め、カメラ姿勢算出部２８は特異値分解を用いて回転パ
ラメータＲ_iを正規直列化して回転行列にする。即ち、
回転パラメータＲ_iを特異値分解によりＵ，Ｗ，Ｖに分
解し、このうちのＷを単位行列に置き直す。そして、再
びＲ_i＝ＵＷＶで合成することによって回転パラメータ
Ｒ_iが回転行列として求められる。

【００５２】これにより、例えば図１０示すように形式
的にＳＯＳ３の平面１１を６つ表わした場合では、ワー
ルド座標におけるカメラ座標の並進パラメータＴ₁〜Ｔ₆
と回転パラメータＲ₁〜Ｒ₆が算出される。なお、同図に
おいてＸ_W，Ｙ_W，Ｚ_Wはワールド座標系の座標軸とし、
Ｘ_S，Ｙ_S，Ｚ_SはＳＯＳ座標系の座標軸としている。ま
た、同図では６つの平面１１のみ図示しているが、正十
二面体である本例のＳＯＳ３では２０個のステレオユニ
ット１２の各々で同様の処理が行われる。

【００５３】続いて、ＳＯＳ姿勢算出部２９はＳＯＳ３
の対称性を用いて、各基準カメラ９ａの並進パラメータ
Ｔ_iと回転パラメータＲ_iの平均値をとり、ワールド座標
系におけるＳＯＳ座標の並進パラメータＴ^S、回転パラ
メータＲ^S（ともに図１０参照）を算出する。これによ
り、ＳＯＳ３のワールド座標系における姿勢が求まり、
このときに求まる並進パラメータＴ^S、回転パラメータ
Ｒ^Sが初期値として設定される。

【００５４】また、カメラ姿勢算出部２８はワールド座
標系におけるカメラ座標の回転パラメータＲ_iと、ワー
ルド座標系におけるＳＯＳ座標の回転パラメータＲ^Sと
から式(12)を用い、ＳＯＳ座標系におけるカメラ座標の
回転パラメータＲ_i ^Cを算出する。図１０に示す場合にお
いては回転パラメータＲ₁ ^C〜Ｒ₆ ^Cが算出されるが、実際
にはこの場合も同様の処理がＳＯＳ３の全てのステレオ
ユニット１２で行われる。これにより、各基準カメラ９
ａのＳＯＳ座標における姿勢が求まり、このときに求ま
る回転パラメータＲ_i ^Cが初期値として設定される。

【００５５】以上のように、ワールド座標系におけるＳ
ＯＳ座標の並進パラメータＴ^S、回転パラメータＲ^Sと、
ＳＯＳ座標系におけるカメラ座標の回転パラメータＲ_i ^C
の初期値が求まると、基準カメラ９ａの画面座標ｍ_iと
３次元座標Ｇとの間の整合性がとれるように、並進パラ
メータＴ^S、回転パラメータＲ^S、回転パラメータＲ _i ^Cの
６６個を同時に最適化していく。

【００５６】その最適化処理として、画面座標算出部２
７は初期値として算出した各パラメータＴ^S，Ｒ^S，Ｒ_i ^C
（ｉ＝１，２，…，２０）に基づき、ワールド座標系に
おけるＳＯＳ３の回転角θ_j ^S（ｊ＝ｘ，ｙ，ｚ）と、ワ
ールド座標系における基準カメラ９ａの回転角θ
^C _i,j（ｉ＝１，２，…，２０、ｊ＝ｘ，ｙ，ｚ）とを初
期値として算出する。なお、回転角θ_j ^S，θ^C _i,jは全て
のステレオユニット１２ごとで同時に算出され、このう
ち回転角θ^C _i,jは各基準カメラ９ａごとに算出される。

【００５７】そして、位置最適化処理部３０は初期値と
して算出された回転角θ_j ^S，θ^C _i,jを基に、６６個の並
進パラメータＴ^S、回転パラメータＲ^S、回転パラメータ
Ｒ_i ^C、つまり係数パラメータＰ_iを最適化する。例え
ば、図１２に示すようにカメラ画像３８にカメラ画像３
９が合わせ込まれるとした場合、位置最適化処理部３０
は初期値とした回転角θ_j ^S，θ^C _i,jを基に係数パラメー
タＰ_iを推定し、その推定したＰ_iを用いてＧを投影した
カメラ画像３９上の画面座標ｍ₂を算出する。

【００５８】そして、位置最適化処理部３０は基準とな
る側のカメラ画像３８上の画面座標ｍ₁と画面座標ｍ₂と
の間の差ｅ_i,j、言い換えると後述する差δｍ_iを算出す
る。なお、この差δｍ_iの算出はカメラ画像が隣り合っ
ている全ての箇所において行われる。続いて、位置最適
化処理部３０は差δｍ_iの合計値ｅが最小となるよう
に、反復法により並進パラメータＴ^S、回転パラメータ
Ｒ^S、回転パラメータＲ_i ^Cを変化させて係数パラメータ
Ｐ_iを最適化する。これにより、差δｍ_iの合計値ｅが最
小となったときの係数パラメータＰ_iが好適な値として
算出される。

【００５９】この係数パラメータＰ_iの最適化は、計算
式により表現すると次式(14)〜(22)によって実行され
る。なお、ｉはカメラ番号（１〜２０）である。式(17)
〜(19)は、これらのパラメータＰ_iに順番を付したもの
である。式(20)では各カメラ９ａにより取得した画面座
標ｍ_iと、推定したパラメータＰ_ｉを用いて算出された
ワールド座標系の画面座標マウントｍ_iとの間の誤差が
算出される。また、式(20)〜(22)に示す計算式は６６個
のパラメータを同時に繰り返して調整する計算方法であ
る。

【００６０】

【数５】

【００６１】

【数６】

【００６２】

【数７】

【００６３】

【数８】

【００６４】

【数９】

【００６５】

【数１０】

【００６６】

【数１１】

【００６７】

【数１２】

【００６８】

【数１３】

【００６９】位置最適化処理部３０は式(14)〜(22)に基
づき、係数パラメータＰ_iの最適化を差δｍ_iの合計値ｅ
が最小のＰ_iとなるまで繰り返し実行する。そして、画
面座標算出部２７は最適化処理により求まった係数パラ
メータＰ_iを用いて３次元座標Ｇをカメラ画像に投影
し、この結果としてディスプレイ７の画面７ａ上に図１
３（ａ）に示すパノラマ画像４０が表示される。また、
図１３（ｂ）に示すパノラマ画像４１は２０個全てのス
テレオユニット１２によりできる画像である。従って、
複数のカメラ画像を一つのパノラマ画像４０，４１とし
て表示した際に、画像間の位置ずれが小さくなり、各画
像が繋がる部分が連続した滑らかな状態となる。

【００７０】次に、ユニット間キャリブレーションを行
うときにユニット間補正処理部１５により実行される手
順を図１４に示すフローチャートに従って説明する。ま
ず、ステップ（以下、単にＳと記す）１００では、ワー
ルド座標系におけるカメラ９の姿勢を算出する。即ち、
式(10)を用いてワールド座標系におけるカメラ座標の並
進パラメータＴ_iと回転パラメータＲ_iとを算出すること
により、各基準カメラ９ａのワールド座標系における姿
勢が求まる。また、このとき求めた並進パラメータ
Ｔ_i、回転パラメータＲ_iが初期値として設定される。

【００７１】Ｓ１１０では、ワールド座標系におけるＳ
ＯＳ３の姿勢を算出する。即ち、各基準カメラ９ａの並
進パラメータＴ_iと回転パラメータＲ_iの平均値をとり、
ワールド座標系におけるＳＯＳ座標の並進パラメータＴ
^S、回転パラメータＲ^S（ともに図１０参照）を算出する
ことにより、ＳＯＳ３のワールド座標系における姿勢が
求まる。また、このとき求めた並進パラメータＴ^S、回
転パラメータＲ^Sが初期値として設定される。

【００７２】Ｓ１２０では、ワールド座標系におけるＳ
ＯＳ３の回転角θ_j ^Sを算出する。即ち、初期値として算
出した各パラメータＴ^S，Ｒ^S，Ｒ_i ^C（ｉ＝１，２，…，
２０）に基づき回転角θ_j ^Sが算出され、このときの回転
角θ_j ^Sの値が初期値として設定される。

【００７３】Ｓ１３０では、ＳＯＳ座標系におけるカメ
ラ９の回転角θ^C _i,jを算出する。即ち、初期値として算
出した各パラメータＴ^S，Ｒ^S，Ｒ_i ^C（ｉ＝１，２，…，
２０）に基づき回転角θ^C _i,jが算出され、このときの回
転角θ^C _i,jの値が初期値として設定される。

【００７４】Ｓ１４０では、初期値として算出された回
転角θ_j ^S，θ^C _i,jに基づき、３次元座標を投影したカメ
ラ画像上の画面座標ｍ_iを算出する。即ち、初期値とし
て算出した並進パラメータＴ^S、回転角θ_j ^S，θ^C _i,jを
基に係数パラメータＰ_iを推定し、その推定した係数パ
ラメータＰ_iを用いて３次元座標を投影することでワー
ルド座標系における画面座標マウントｍ_iが算出され
る。

【００７５】Ｓ１５０では、推定した係数パラメータＰ
_iで算出されたワールド座標系における画面座標マウン
トｍ_iと、取得したカメラ画像による画面座標ｍ_iとの差
δｍ _iを算出し、その合計値ｅを算出する。

【００７６】Ｓ１６０では、並進パラメータＴ^S、回転
角θ_j ^S，θ^C _i,j（ｉ＝ｘ，ｙ，ｚ）を変化させる。即
ち、式(20)〜(22)を用いて並進パラメータＴ^S、回転角
θ_j ^S，θ^C _i,jに微小変動を加え、係数パラメータＰ_iを
変化させる。

【００７７】Ｓ１７０では、変化後の新しい係数パラメ
ータＰ_iを用いてワールド座標系における画面座標マウ
ントｍ_iを算出する。Ｓ１８０では、変化後の新しい係
数パラメータＰ_iに対して、その係数パラメータＰ_iで算
出されたワールド座標系における画面座標マウントｍ_i
と、取得したカメラ画像による画面座標ｍ_iとの差δｍ_i
を算出し、その合計値ｅを算出する。

【００７８】Ｓ１９０では、合計値ｅが前回の値を超え
たか否かが判断される。この判断処理後、前回の値を超
えない場合にはＳ１５０に戻って再びＳ１５０以降の処
理を繰り返し、前回の値を超える場合にはこのルーチン
を終了する。これにより、合計値ｅが最小となるまで最
適化が繰り返し実行され、合計値ｅが最小となると全体
のパノラマ画像において各カメラ画像間の位置ずれが最
も小さい状態となる。

【００７９】（３．カラーキャリブレーション）カメラ
の特性として、各カメラごとでは映像が明る過ぎたり、
暗過ぎたりするなど個々で色が異なる。また、ＳＯＳ３
を用いた画像処理システム１ではＳＯＳ３の中心から４
００（ｍｍ）以上の領域に関して画像の重なりがある。
よって、この隣り合うカメラから得られる共通な領域の
カラーヒストグラムを互いに一致させるようにカラーキ
ャリブレーションを行い、２０個の基準カメラ９ａのう
ちで色の基準として指定されたカメラ画像の色に近づく
ように他のカメラ画像の色を相対的に合わせ込んでい
く。

【００８０】図４に示す色補正処理部１６はカラーキャ
リブレーションを行うためのものであり、共通領域取得
手段としての共通領域算出部４２と最適化処理手段とし
ての色最適化処理部４３とを備えている。まず、共通領
域算出部４２は基準カメラ９ａを中心とし、それと隣り
合う基準カメラ９ａの画像を、前節のユニット間キャリ
ブレーションで求めたキャリブレーションデータ（外部
パラメータ）を用いて基準カメラ９ａの方向の画像に投
影する。このとき、ＳＯＳ３の中心から画像平面までの
距離を１．５（ｍ）と設定している。

【００８１】そして、共通領域算出部４２は基準カメラ
９ａの画像とそれに隣り合う基準カメラ９ａの投影画像
との積により、これらカメラ間の共通領域Ｒの画像を取
得する。なお、ＳＯＳ３が正二十面体の場合では２０個
の共通領域Ｒを取得する。共通領域Ｒが求まると、色最
適化処理部４３は共通領域Ｒの部分で互いのカメラ画像
の色が同じとなるように、補正対象側のカラーヒストグ
ラム（以下、単にヒストグラムと記す）を変化させて表
示条件としてのルックアップテーブルＬ_Tを最適化す
る。

【００８２】これにより、２０個の基準カメラ９ａのう
ち色の基準として指定されたカメラ画像に他のカメラ画
像の色が近づき、２０個の基準カメラ９ａの間で相対的
な色のばらつきが少なくなる。なお、ヒストグラムとは
図１５に示すように横軸を濃淡レベル、縦軸をピクセル
数とした色の明るさと暗さを表わすグラフである。ま
た、ルックアップテーブルＬ_Tとは図１６に示すように
ヒストグラムをテーブルとして表したものである。

【００８３】以下に詳述すると、図１７に示すように２
０個ある基準カメラのうちｉ番目を基準カメラ４４、そ
の基準カメラ４４と隣り合うものを基準カメラ４５〜４
７とする。また、ｉ番目の基準カメラ４４により撮影さ
れた画像をカメラ画像Ｉ_iとし、基準カメラ４５〜４７
により撮影されるとともに画像Ｉ_iの画像平面に投影さ
れた３つの画像をカメラ画像Ｉ_ij（ｊ＝１，２，３）と
する。さらに、画像Ｉ _iと画像Ｉ_ijとの共通領域におい
て、画像Ｉ_i側からみた共通領域を領域Ｒ_i,ij、画像Ｉ
_ij側からみた共通領域を領域Ｒ_ij,jとする。このとき、
色最適化処理部４３は領域Ｒ_i,ijの正規化ヒストグラム
Ｓ_i＝∪_j=1,2,3Ｒ_i,ijと、領域Ｒ_ij,jの正規化ヒストグ
ラムＳ_S＝∪_j=1,2,3Ｒ_ij,jとが一致するように、ＲＧＢ
各色のルックアップテーブルＬ_Tを反復的に変化させて
最適化する。

【００８４】その最適化の手順を具体的に説明すると、
例えば図１８に示すように基準となるカメラ画像Ｉ
₁と、それに対して隣り合うカメラ画像Ｉ₁₁，Ｉ₁₂，Ｉ
₁₃との共通領域において、基準となるカメラ画像Ｉ₁側
の共通領域を領域Ｒ_1,11，Ｒ_1,12，Ｒ_1,13とし、隣り合
うカメラ画像Ｉ₁₁，Ｉ₁₂，Ｉ₁₃側の共通領域を領域Ｒ
_11,1，Ｒ_12,1，Ｒ_13,1とする。このとき、色最適化処理
部４３は領域Ｒ_11,1，Ｒ_12,1，Ｒ_13,1の各正規化ヒスト
グラムＳ_Sが、領域Ｒ_1,11，Ｒ_1,12，Ｒ_1,13のそれぞれ
の正規化ヒストグラムＳ_iに近づくように、領域
Ｒ_11,1，Ｒ_12,1，Ｒ_13,1のルックアップテーブルＬ_Tを
調整する。

【００８５】このルックアップテーブルＬ_Tの調整とし
ては、補正される側のカメラ画像を図１９（ａ）に示す
ヒストグラム、図１９（ｂ）に示すルックアップテーブ
ルＬ _Tとした場合、目標とする側のカメラ画像との間で
共通領域の部分で正規化ヒストグラムが一致するよう
に、ルックアップテーブルＬ_Tにおける各濃淡レベルの
ピクセル数を１つずつ変化させることにより行う。な
お、図１９に示す場合では濃淡レベル４を最大レベルと
しているが、実際はＲＧＢの各色ごとに０〜２５５階調
の濃淡レベルとなっている。

【００８６】そして、色の濃度を薄くする補正が実行さ
れる場合には、最上位レベルとなった濃淡レベルのピク
セルを最下位レベルに加算することにより行われる。例
えば、図１９に示すルックアップテーブルＬ_Tを補正す
る場合、濃淡レベル４のピクセルを濃淡レベル１に移動
して、図２０（ａ）に示すルックアップテーブルＬ_Tに
補正する。なお、色の濃度を濃くする補正を実行する場
合には、最下位レベルとなった濃淡レベルのピクセルを
最上位レベルに加算することにより行われる。

【００８７】色最適化処理部４３は、このルックアップ
テーブルＬ_Tの調整を各領域Ｒ_11,1，Ｒ_12,1，Ｒ_13,1の
それぞれで１段階ずつ実行する。これら領域の調整処理
後、続いて色最適化処理部４３は補正されたカメラ画像
Ｉ₁₁，Ｉ₁₂，Ｉ₁₃と隣り合うカメラ画像のルックアップ
テーブルＬ_Tに関して補正を行う。例えば図１８に示す
場合、色最適化処理部４３は同図に示すカメラ画像Ｉ₁₂
を調整基準となるカメラ画像Ｉ₂とし、カメラ画像Ｉ₂と
その隣り合うカメラ画像Ｉ₂₁，Ｉ₂₂との間の共通領域で
正規化ヒストグラムＳが一致するように、カメラ画像Ｉ
₂₁，Ｉ₂₂のルックアップテーブルＬ_Tを同様の手順で調
整する。

【００８８】また、色最適化処理部４３は同図における
カメラ画像Ｉ₁₃を調整基準となるカメラ画像Ｉ₃とし、
そのカメラ画像Ｉ₃とその隣り合うカメラ画像Ｉ₃₁，Ｉ
₃₂との間の共通領域で正規化ヒストグラムＳが一致する
ように、カメラ画像Ｉ₃₁，Ｉ₃₂のルックアップテーブル
Ｌ_Tを同様の手順で調整する。そして、色最適化処理部
４３はこのルックアップテーブルＬ_Tの調整を、全ての
共通領域Ｒで順次行っていく。

【００８９】全ての共通領域Ｒでルックアップテーブル
Ｌ_Tの調整が行われると、色最適化処理部４３は共通領
域における２つのカメラ画像間の正規化ヒストグラムＳ
の差ΔＳ（＝Ｓ_i−Ｓ_S）を、各共通領域ごとに算出す
る。ＳＯＳ３が正二十面体の場合には、合計２０個の差
ΔＳが算出される。そして、色最適化処理部４３は２０
個の差ΔＳの平均値Ｓave.を算出し、その値が前回の平
均値Ｓavを超えるか否かを判断する。色最適化処理部は
ΔＳの平均値Ｓave.が前回の値を越えるまでこのルック
アップテーブルＬ_Tの調整を反復的に繰り返し実行し、
ルックアップテーブルＬ_Tを最適化する。

【００９０】例えば、図２０（ａ）に示す場合において
色の濃度を薄くする補正が実行される場合には、最上位
レベルとなった濃淡レベルのピクセルを最下位レベルの
濃淡レベルのピクセルに順次加算される。つまり、図２
０（ａ）に示すルックアップテーブルＬ_Tを補正する場
合、濃淡レベル４のピクセルを濃淡レベル１に移動して
図２０（ｂ）に示す状態に補正する。続いて、濃淡レベ
ル４のピクセルが「０」になると濃淡レベル３のピクセ
ルを濃淡レベル１に移動して図２０（ｃ）に示す状態に
補正され、差ΔＳの平均値Ｓave.が前回の平均値Ｓave.
を超えるまでこの処理が繰り返し実行される。

【００９１】このルックアップテーブルＬ_Tの調整は、
計算式により表現するとＲＧＢの各色ごとで次式(23)，
(24)によって実行される。なお、Ｃ_i ⁿ(ｖ)はｎ回目の調
整後の画像Ｉ_iに対するＲＧＢの各色ごとのルックアッ
プテーブルＬ_T、ｖはＲＧＢにおける明るさのインデッ
クスである。また、Ｆ( )はヒストグラムの累積であ
り、αは調整パラメータである。

【００９２】

【数１４】

【００９３】

【数１５】

【００９４】色最適化処理部４３はＣ_i ⁰(ｖ)＝ｖとＣ_S ⁰
(ｕ)＝ｕを初期値として、式(23)を繰り返すことにより
ルックアップテーブルＬ_Tを作成する。そして、色最適
化処理部４３はこのルックアップテーブルＬ_Tを用いて
カメラ画像の更新を行い、各カメラ画像の共通領域でヒ
ストグラムの分布を合わせ込んでいく。従って、色の基
準として指定されたカメラ画像に他のカメラ画像が合わ
せ込まれることになり、各カメラ画像の間で色むらが小
さく抑えられ、全体としてほぼ同一色（同一濃淡）で表
示される。

【００９５】次に、カラーキャリブレーションを行うと
きに色補正処理部１６により実行される手順を図２１に
示すフローチャートに従って説明する。Ｓ２００では、
隣り合うカメラ同士におけるカメラ画像の共通な領域Ｒ
_i,ij，Ｒ_ij,jを取得する。本例では、ＳＯＳ３が２０個
の基準カメラ９ａを備えることから２０箇所の共通領域
Ｒが求まり、その各共通領域Ｒにおいて画像Ｉ_i側の領
域Ｒ_i,ij、画像Ｉ_ij側の領域Ｒ_ij,jとを求める。

【００９６】Ｓ２１０では、ルックアップテーブルＬ_T
を変化する。即ち、２０個のカメラ画像のうち最適とす
るものを指定しておき、領域Ｒ_ij,jのカメラ画像Ｉ_ijが
領域Ｒ_i,ijのカメラ画像Ｉ_iに近づくように、全ての共
通領域Ｒにおいて１段階だけヒストグラムが変えられ
る。

【００９７】Ｓ２２０では、正規化ヒストグラムＳ_S，
Ｓ_iを算出する。即ち、領域Ｒ_i,ijのカメラ画像Ｉ_iの正
規化ヒストグラムＳ_iと、領域Ｒ_ij,jのカメラ画像Ｉ_ij
の正規化ヒストグラムＳ_Sとが、全ての共通領域Ｒにお
いて算出される。

【００９８】Ｓ２３０では、各共通領域Ｒごとに正規化
ヒストグラムＳ_S，Ｓ_iの誤差ΔＳを算出する。本例で
は、ＳＯＳ３が正二十面体であることから２０個の誤差
ΔＳが算出される。

【００９９】Ｓ２４０では、誤差ΔＳの平均値Ｓave.を
算出する。本例では、２０個の誤差ΔＳの平均値Ｓave.
が算出される。Ｓ２５０では、今回算出した平均値Ｓav
e.が前回算出した平均値Ｓave.を超えたか否かを判断す
る。この判断処理後、超えない場合にはＳ２１０に戻っ
て再びＳ２１０以降の処理を繰り返し、越える場合には
このルーチンを終了する。なお、ルックアップテーブル
Ｌ_Tの調整が一回目のときは無条件にＳ２１０に戻るも
のとする。これにより、パノラマ画像４０，４１におい
て各カメラ画像間の色むらが最も小さい状態となる。

【０１００】従って、この実施形態では以下のような効
果を得ることができる。 （１）ユニット間キャリブレーションを行うことによっ
て、外部パラメータ（本例では並進パラメータＴ^S、回
転パラメータＲ^S、回転パラメータＲ_i ^C）を幾何学的拘
束により用いて最適化し、その結果得られる最適化され
た係数パラメータＰ_iにより画面７ａ上の画面座標ｍ_iを
算出している。従って、複数のカメラ画像を一つのパノ
ラマ画像４０，４１として表示した際に、画像間の位置
ずれを小さくすることができ、各画像が繋がる部分を連
続した滑らかな状態にすることができる。

【０１０１】（２）カラーキャリブレーションを行うこ
とによって、２０個のカメラ画像間の共通領域Ｒにおい
て、領域Ｒ_ij,jの正規化ヒストグラムＳ_Sが領域Ｒ_i,ij
の正規化ヒストグラムＳ_iに近づくようにルックアップ
テーブルＬ_Tが調整される。従って、色の基準として指
定されたカメラ画像に他のカメラ画像が合わせ込まれる
ことになり、パノラマ画像として表示した際に各カメラ
画像の間で色むらを小さく抑えることができ、パノラマ
画像４０，４１を全体としてほぼ同一色（同一濃淡）で
表示することができる。

【０１０２】（３）各カメラ９の並進パラメータＴ_i ^Cは
カメラ９を正二十面体の各平面１１にマウントするとき
に生じる誤差であり、その誤差は非常に小さい。このた
め、それによって生じる画素の位置ずれ（画像誤差）は
サブピクセル範囲内で無視できる程度であるので、各カ
メラ９の並進パラメータＴ_i ^Cに設計パラメータを用いて
も無視できる程度の誤差しか生じない。よって、並進パ
ラメータＴ_i ^Cに設計パラメータを用いることにより、推
定するパラメータ数を１２６個から６６個に減らすこと
ができる。また、カメラ９に関しては最適化処理の際に
変化させる対象が回転パラメータＲ_i ^Cだけで済み、係数
パラメータＰ_iを安定的に推定することができる。

【０１０３】なお、実施形態は前記に限定されず、例え
ば、次の態様に変更してもよい。 ・ ＳＯＳ３は基材１０が正二十面体であることに限ら
ず、例えば正十二面体、正八面体、正六面体、正四面体
等を用いてもよい。これらの場合、カメラ９はそれぞれ
３６個、２４個、１８個、１２個となり、全方向撮影可
能とするために視野角δはそれぞれ６３．４３４９度、
７０．５２８８度、９０度、１０９．４７１２度以上に
設定しておく必要がある。

【０１０４】・ ステレオユニット間キャリブレーショ
ンやカラーキャリブレーションの際に用いる最適化の方
法は反復法に限定されない。即ち、パラメータやルック
アップテーブルＬ_Tが最適化できるものであれば、その
方法は特に限定されない。

【０１０５】・ ＳＯＳ３の基材１０は正二十面体等の
正多面体であることに限定されない。例えば、図２２
（ａ）に示すように基材１０は多角柱でもよく、その側
面にステレオユニット１２を取り付けてもよい。また、
図２２（ｂ）に示すように基材１０は上下方向に多角錘
台を重ねた形状にしてもよい。

【０１０６】・ ステレオユニット１２が有するカメラ
９の個数は３個に限定されず、例えば図２３に示すよう
に合計５個のカメラ９を搭載してもよい。この場合に
は、中央の一つを基準カメラ９ａとし、他の４個のカメ
ラ９が基準カメラ９ａから同一距離に、かつ互いに同一
間隔となるように配置することが好ましい。

【０１０７】・ ＳＯＳ３に搭載されたカメラ９は、可
視光を撮影する構造のものに限定されない。例えばカメ
ラ９を赤外線や放射線等を撮影可能の構造のものとし、
それにより得られた映像を基にしてキャリブレーション
を行うようにしてもよい。

【０１０８】・ 全方向画像処理システム１（画像処理
装置５）は、装置一つでユニット間キャリブレーション
とカラーキャリブレーションの両方が実施できるものに
限定されない。即ち、２つのキャリブレーションのうち
一方が実施できるものであればよい。

【０１０９】前記実施形態及び別例から把握できる技術
的思想について、以下にその効果とともに記載する。 （１）請求項７において、前記最適化処理手段は、前記
表示条件の値を所定量だけ変化させ、その処理を前記誤
差が最小となるまで繰り返す反復法によって前記表示条
件を最適化する。この場合、請求項２と同様の効果が得
られる。

【０１１０】（２）請求項７及び前記技術的思想（１）
において、３次元座標算出手段が、前記撮影手段により
撮影された画像に基づき、撮影対象の３次元座標を算出
し、画面座標算出手段が、前記３次元座標算出手段によ
り求まる３次元座標と、前記表示条件としてのパラメー
タとに基づき、前記３次元座標の画面上における画面座
標を算出し、前記最適化処理部は、画像をパノラマ画像
として統合する際に、隣り合う各画像間の位置ずれが全
体として最小となるように前記パラメータを最適化す
る。この場合、請求項３と同様の効果が得られる。

【０１１１】（３）請求項７及び前記技術的思想
（１），（２）において、共通領域取得手段が、前記撮
影手段により撮影された画像に基づき、複数の撮影手段
の間で画像が重なり合う部分を共通領域として取得し、
前記最適化処理手段は、画像をパノラマ画像として統合
する際に、前記共通領域で各画像間の色むらが全体とし
て最小となるように画像の表示色を決める前記表示条件
としてのカラーヒストグラムを最適化する。この場合、
請求項４と同様の効果が得られる。

【０１１２】（４）請求項７、前記技術的思想（１）〜
（３）において、前記撮影手段の姿勢は並進パラメータ
と回転パラメータとにより決まり、前記並進パラメータ
は撮影手段を装置として組み付ける際の設計パラメータ
であって、前記最適化処理手段は、前記回転パラメータ
を変化させることで前記パラメータを最適化する。この
場合、請求項５と同様の効果が得られる。

【０１１３】（５）請求項７、前記技術的思想（１）〜
（４）において、前記多視点画像処理システムは、前記
撮影手段を少なくとも３個以上搭載するとともにそのう
ちの一つが配置関係上の基準位置に位置したユニットを
複数有し、当該ユニットが多面体の基材の各表面に取り
付けられた撮影システムを備え、前記表示処理手段は、
基準位置に位置する前記撮影手段により撮影された前記
ユニットごとの各画像を、一つのパノラマ画像として前
記表示手段の画面上に表示させ、前記最適化処理手段
は、前記ユニット単位で撮影された隣り合う画像間の誤
差が全体として最小となるように前記画像の表示条件を
最適化する。この場合、請求項６と同様の効果が得られ
る。

【０１１４】

【発明の効果】以上詳述したように本発明によれば、複
数の撮影手段からの画像を一つのパノラマ画像として表
示する際に、その画像間で誤差を生じ難くすることがで
きる。

【図面の簡単な説明】

【図１】 一実施形態における全方向画像処理システム
の全体図。

【図２】 ＳＯＳの分解図。

【図３】 ＳＯＳの部分拡大図。

【図４】 全方向画像処理システムの電気的構成図。

【図５】 （ａ）はステレオユニットキャリブレーショ
ン前のカメラ画像、（ｂ）は同キャリブレーション後の
カメラ画像。

【図６】 （ａ）はステレオユニットキャリブレーショ
ン前の一つのステレオユニットからのカメラ画像、
（ｂ）は同キャリブレーション後のカメラ画像。

【図７】 ３次元座標の算出方法の説明図。

【図８】 没入型６面ディスプレイのシステム構成図。

【図９】 （ａ）は格子パターン画像を取得した際のカ
メラ画像の表示図、（ｂ）は直線抽出結果を示す表示
図。

【図１０】 ワールド座標系における回転角を示す座標
図。

【図１１】 各パラメータの関係を示す座標図。

【図１２】 ディスプレイの画面図。

【図１３】 （ａ）パノラマ画像の一部を表示したディ
スプレイの画面図、（ｂ）はパノラマ画像の全体図。

【図１４】 ユニット間キャリブレーション時に実行さ
れるフローチャート。

【図１５】 カメラ画像のヒストグラム。

【図１６】 同じくカメラ画像のルックアップテーブ
ル。

【図１７】 ＳＯＳの要部拡大図。

【図１８】 カラーキャリブレーションの説明図。

【図１９】 （ａ）はヒストグラムの一例、（ｂ）はそ
のルックアップテーブル。

【図２０】 （ａ）〜（ｃ）はルックアップテーブルの
変化を示す説明図。

【図２１】 カラーキャリブレーション時に実行される
フローチャート。

【図２２】 （ａ），（ｂ）は別例における基材の斜視
図。

【図２３】 別例におけるステレオユニットの平面図。

【図２４】 従来におけるパノラマ画像の一部を表示し
た画面図。

【符号の説明】

１…多視点画像処理システムとしての全方向画像処理シ
ステム、３…撮影システムとしてのＳＯＳ、７…表示手
段としてのディスプレイ、７ａ…画面、９…撮影手段と
してのカメラ、１０…基材、１１…表面としての平面、
１２…ユニットとしてのステレオユニット、２４…最適
化処理手段及び３次元座標算出手段を構成する３次元座
標算出部、２５…最適化処理手段を構成する空間座標算
出部、２６…最適化処理手段を構成する初期値パラメー
タ算出部、２７…表示処理手段及び画面座標算出手段を
構成する画面座標算出部、３０…最適化処理手段を構成
する位置最適化処理部、４０，４１…パノラマ画像、４
２…共通領域取得手段としての共通領域算出部、４３…
最適化処理手段を構成する色最適化処理部、Ｐ_i…表示
条件及びパラメータとしての係数パラメータ、Ｓ…カラ
ーヒストグラム（ヒストグラム）、Ｇ…３次元座標、ｍ
_i…画面座標。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/225 Ｈ０４Ｎ 5/225 Ｄ 7/18 7/18 Ｖ (72)発明者 棚橋 英樹 岐阜県大垣市加賀野４丁目１番地の７ 財 団法人 ソフトピアジャパン 内 (72)発明者 佐藤 淳 愛知県名古屋市昭和区御器所町 名古屋工 業大学 内 (72)発明者 王 彩華 岐阜県大垣市加賀野４丁目１番地の７ 財 団法人 ソフトピアジャパン 内 (72)発明者 丹羽 義典 岐阜県大垣市加賀野４丁目１番地の７ 財 団法人 ソフトピアジャパン 内 (72)発明者 山本 和彦 岐阜県岐阜市柳戸１番１ 岐阜大学 内 Ｆターム(参考） 5B057 BA13 CA01 CA08 CA13 CA16 CB01 CB08 CB13 CB16 CD01 CE10 CE11 CE16 CH07 DB03 DB06 DB09 DC23 5C022 AB61 AB68 AC78 5C054 AA01 CA04 EA01 EA05 EC07 ED07 ED11 FD02 FE11 FF02 HA25 5L096 AA02 AA06 AA09 CA05 FA37 FA69

Claims (7)

【特許請求の範囲】
1. 【請求項１】 複数の撮影手段と、当該撮影手段により
   撮影された画像を表示する表示手段とを備えた多視点画
   像処理システムのキャリブレーション装置であって、 複数の前記撮影手段により撮影された各画像を、３６０
   度全域を映す一つのパノラマ画像として前記表示手段の
   画面上に表示させる表示処理手段と、 前記パノラマ画像を前記表示手段に表示する際に、前記
   各撮影手段の各画像のうち隣り合う画像間の誤差が全体
   として最小となるように前記画像の表示条件を最適化す
   る最適化処理手段とを備えたことを特徴とする多視点画
   像処理システムのキャリブレーション装置。
2. 【請求項２】 前記最適化処理手段は、前記表示条件の
   値を所定量だけ変化させ、その処理を前記誤差が最小と
   なるまで繰り返す反復法によって前記表示条件を最適化
   することを特徴とする請求項１に記載の多視点画像処理
   システムのキャリブレーション装置。
3. 【請求項３】 前記撮影手段により撮影された画像に基
   づき、撮影対象の３次元座標を算出する３次元座標算出
   手段と、 前記３次元座標算出手段により求まる３次元座標と、前
   記表示条件としてのパラメータとに基づき、前記３次元
   座標の画面上における画面座標を算出する画面座標算出
   手段とを備え、 前記最適化処理部は、画像をパノラマ画像として統合す
   る際に、隣り合う各画像間の位置ずれが全体として最小
   となるように前記パラメータを最適化することを特徴と
   する請求項１又は２に記載の多視点画像処理システムの
   キャリブレーション装置。
4. 【請求項４】 前記撮影手段により撮影された画像に基
   づき、複数の撮影手段の間で画像が重なり合う部分を共
   通領域として取得する共通領域取得手段を備え、 前記最適化処理手段は、画像をパノラマ画像として統合
   する際に、前記共通領域で各画像間の色むらが全体とし
   て最小となるように画像の表示色を決める前記表示条件
   としてのカラーヒストグラムを最適化することを特徴と
   する請求項１〜３のうちいずれか一項に記載の多視点画
   像処理システムのキャリブレーション装置。
5. 【請求項５】 前記撮影手段の姿勢は並進パラメータと
   回転パラメータとにより決まり、前記並進パラメータは
   撮影手段を装置として組み付ける際の設計パラメータで
   あって、 前記最適化処理手段は、前記回転パラメータを変化させ
   ることで前記パラメータを最適化することを特徴とする
   請求項１〜４のうちいずれか一項に記載の多視点画像処
   理システムのキャリブレーション装置。
6. 【請求項６】 前記撮影手段を少なくとも３個以上搭載
   するとともにそのうちの一つが配置関係上の基準位置に
   位置したユニットを複数有し、当該ユニットが多面体の
   基材の各表面に取り付けられた撮影システムを備え、 前記表示処理手段は、基準位置に位置する前記撮影手段
   により撮影された前記ユニットごとの各画像を、一つの
   パノラマ画像として前記表示手段の画面上に表示させ、 前記最適化処理手段は、前記ユニット単位で撮影された
   隣り合う画像間の誤差が全体として最小となるように前
   記画像の表示条件を最適化することを特徴とする請求項
   １〜５のうちいずれか一項に記載の多視点画像処理シス
   テムのキャリブレーション装置。
7. 【請求項７】 複数の撮影手段と、当該撮影手段により
   撮影された画像を表示する表示手段とを備えた多視点画
   像処理システムのキャリブレーション装置に用いられる
   キャリブレーション方法であって、 表示処理手段が、複数の前記撮影手段により撮影された
   各画像を、３６０度全域を映す一つのパノラマ画像とし
   て前記表示手段の画面上に表示させ、 最適化処理手段が、前記パノラマ画像を前記表示手段に
   表示する際に、前記各撮影手段の各画像のうち隣り合う
   画像間の誤差が全体として最小となるように前記画像の
   表示条件を最適化することを特徴とするキャリブレーシ
   ョン方法。