JP2003179800A - 多視点画像生成装置、画像処理装置、および方法、並びにコンピュータ・プログラム - Google Patents

Abstract

(57)【要約】 【課題】 複数視点位置からの画像データに基づくカメ
ラキャリブレーション、画像処理により、カメラ切り換
え時の画像のスムーズな変化を可能とする装置および方
法を提供する。 【解決手段】 ボール等の球体を被写体とし、多視点画
像を撮影するカメラの撮影画像に基づいて円の中心、直
径を求め、求めた値に基づいて、各カメラの位置・姿
勢、ズームの調整、あるいは、画像処理を実行する。多
視点画像を撮影するカメラの撮影画像に基づく円の中心
の算出には、複数の濃淡値（輝度値）等高線に基づいて
設定される複数の中心Ｃｋを、複数の方向フィルタを用
いて算出することにより、正確な位置を求めることが可
能となる。本発明の構成により、撮影後の映像について
のカメラ切り換え処理を行なった場合において、切り換
え時の被写体のぶれ等、表示態様の突然の変化が発生す
ることのない良好な画像が提供可能となる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、多視点画像生成装
置、画像処理装置、および方法、並びにコンピュータ・
プログラムに関する。さらに詳細には、異なる位置に配
置した複数のカメラで被写体を撮影して多視点画像を生
成する際のカメラキャリブレーションまたは画像処理に
適用可能な多視点画像生成装置、画像処理装置、および
方法、並びにコンピュータ・プログラムに関する。

【０００２】

【従来の技術】近年、パノラマ、全天球画像など、視点
を様々に移動可能とした画像データの利用が盛んになり
つつある。例えば、ＤＶＤ、ＣＤ等の記憶媒体に複数の
視点位置、視線方向からある被写体を撮影した画像を蓄
積し、蓄積画像をＣＲＴ、液晶表示装置等に表示する際
に、ユーザがコントローラの操作によって、自由な位置
に視点を移動させて、被写体の像を観察するシステムが
実現されている。また、インターネット等の通信システ
ムを介して複数の視点位置、視線方向からある被写体を
撮影した画像を配信し、ユーザがＰＣ等のマウス操作に
より、好みの視点位置、視線方向からの画像をディスプ
レイに表示するシステム等が構築されている。

【０００３】コンピュータの処理能力の向上や多様な映
像メディア再生機器の発展に伴って、以前困難とされた
膨大なポリゴンデータや映像データ（コンテンツ）の処
理が可能となり、視点の異なる複数台カメラで撮影され
た実世界（対象）の映像データをコンピュータや映像機
器等により処理し、ユーザーの要望に応じた任意視点の
映像を実時間に生成し提示することができるようになっ
てきている。

【０００４】コンピュータ上の処理によって複数の視点
で撮影された画像から任意視点映像を生成し、提示する
ためには、（１）全てのカメラが同一の領域（注目対
象）を見えていること、（２）各カメラ間の位置関係等
が得られることが必要である。これまでは、各カメラの
位置・姿勢を固定し、各カメラ間の位置関係等が予め求
められ、撮影対象が常に全てのカメラ観測視野内にある
といった制約条件で多視点映像を撮影し、任意視点映像
生成・表現が可能となるシステムが検討されていた。例
えば、このようなシステムを紹介した文献としては、
（1）T.Kanade, P.W.Rander, P.J.Narayanan: Virtuali
zed Reality - Constructing Virtual Worlds from Rea
l Scenes, IEEE Multimadia, Vol.4, No.1, 1997.（2）
H.Saito, T.Kanade: Shape Reconstruction in Project
ive Grid Space from Large Number of Images, Procee
ding of IEEE Conference on Computer Vision and Pat
tern Recognition(CVPR'99), pp.49-54, 1999.（3）北
原,大田,斎藤,秋道,尾野,金出：大規模空間における多
視点映像の撮影と自由視点映像生成、3D Image Confere
nce 2000, pp.25-28, 2000.がある。

【０００５】また、注目人物の動きをマスタカメラで追
跡し、その時のマスタカメラの動的パラメータ（位置・
姿勢等の変化値）を自動的に検出し、それらのパラメー
タを他のカメラに伝えることによって、全カメラの位置
・姿勢を同期的に動かしながら、注目人物を追従し撮影
することが可能となる多視点映像生成・表現システムが
提案されている。このような技術は、例えば、（4）R.
T.Collins and T.Kanade: Multi-camera Tracking and
Visualization for Surveillance and Sports,The Four
th International Workshop on Cooperative Distribut
ed Vision, pp.27-55, Mar. 22-24, 2001.に記載されて
いる。

【０００６】上述したように、様々な多視点映像生成・
表現システムがすでに提案されて実現しているが、複数
台のカメラで撮影された映像では、カメラ間の位置・姿
勢の違いやレンズの倍率のばらつき等が避けられないの
で、視点を変えながら生成された多視点映像を観賞する
場合に、１台のカメラを用いて一定の軌跡上での異なる
視点で撮影した多視点映像に比べて、カメラ映像間のシ
ーンの切り替え際、被写体のぶれ、倍率の突然の変化
等、切り換え処理に伴う映像変化により違和感を感ずる
ことがある。

【０００７】

【発明が解決しようとする課題】本発明は、上記問題点
に鑑みてなされたものであり、視点の異なる複数台カメ
ラで撮影した映像を用いて、よりリアルな多視点画像生
成・表現を行うために、カメラキャリブレーションツー
ルを用いて、全てのカメラが実空間のある対象を注目し
ているようなカメラ設定方法、及び、観測画像からカメ
ラ間の位置・姿勢・レンズ倍率などのパラメータを推定
し、それらのパラメータを用いて各カメラがあたかも３
次元空間のある対象を仮想的に注目しているようにキャ
リブレーション、あるいは画像補正を行うことを可能と
する多視点画像生成装置、画像処理装置、および方法、
並びにコンピュータ・プログラムを提供する。

【０００８】具体的には、実空間のある位置に画像上の
識別可能なマーカー（例えば、ボール等）を置き、その
ボールを各カメラにより観測しながら、該ボールの位置
・大きさを抽出する。また、そのボールが各カメラ画像
において所定大きさと所定位置（例えば、画像上の中心
位置）になるようにカメラ設定を行うシステムおよび方
法を提供する。

【０００９】また、設定時の各カメラ間の位置・姿勢・
ズームが違っても、各カメラにより観測されたボール画
像から画像処理手法によって、ボールの位置（例えば、
ボール中心）と大きさ（例えば、ボールの直径）等のパ
ラメータを推定し、それらの推定結果を用いて各カメラ
映像の位置・姿勢・ズームを補正して、全てのカメラは
あたかも３次元空間のある対象を仮想的に注目している
ようなカメラ補正技術を提供するものである。

【００１０】本発明によれば、簡易なキャリブレーショ
ンにより多視点画像を生成する複数のカメラ設定を容易
に実行でき、視点の連続性を維持させてぶれのない多視
点画像の生成が可能となり、連続的な倍率変化も可能と
した多視点画像生成処理・表示処理を実現することがで
きる。

【００１１】

【課題を解決するための手段】本発明の第１の側面は、
複数視点からの画像を撮影する複数カメラによって構成
される多視点画像生成装置であり、被写体を撮影した各
カメラの撮影画像における被写体中心位置と各カメラの
撮影画像の特定座標位置との中心位置差異データ、およ
び前記被写体の輪郭データの少なくともいずれかを求め
る画像解析手段と、前記画像解析手段の解析した前記中
心位置差異データまたは前記輪郭データに基づいて、前
記多視点画像生成装置を構成する各カメラの位置または
姿勢制御情報またはズーム制御情報を生成する制御情報
生成手段と、を有することを特徴とする多視点画像生成
装置にある。

【００１２】さらに、本発明の多視点画像生成装置の一
実施態様において、前記被写体は、球体形状であり、前
記画像解析手段は、各カメラの撮影画像における前記球
体形状に相当する円の中心位置と各カメラの撮影画像の
中心位置との差異に基づいて前記中心位置差異データを
算出する構成を有することを特徴とする。

【００１３】さらに、本発明の多視点画像生成装置の一
実施態様において、前記被写体は、球体形状であり、前
記画像解析手段は、各カメラの撮影画像における前記球
体形状に相当する円の中心位置と各カメラの撮影画像の
中心位置との差異に基づいて前記中心位置差異データを
算出する構成であり、前記球体形状に相当する円の輪郭
に相当する形状を、画像の濃淡値解析により取得した最
大濃淡値（輝度値）を持つトレース領域を濃淡値等高線
として設定するとともに、該最大濃淡値（輝度値）等高
線領域内部において１以上の濃淡値等高線を設定し、設
定された複数の濃淡値等高線に対応する複数の中心位置
に基づいて、前記球体形状に相当する円の中心位置を算
出する構成を有することを特徴とする。

【００１４】さらに、本発明の多視点画像生成装置の一
実施態様において、前記画像解析手段は、Ｋ本の濃淡値
（輝度値）等高線の各中心Ｃｋを、複数（Ｎ個）の異な
る方向フィルタを用いて設定されるＮ個の中心位置ｃ１
〜ｃＮに基づいて次式によって算出し、Ｃｋ＝（ｃ１＋
ｃ２＋……＋ｃＮ）／Ｎ、（ただし、ｋ＝１，２，…
…，Ｋであり、Ｋは濃淡値（輝度値）等高線の数であ
る）、さらに、前記球体形状に相当する円の中心位置
を、次式、Ｃ＝（λ１Ｃ１＋λ２Ｃ２＋……＋λＫＣ
Ｋ）、（ただし、λｋは信頼度係数であり、濃淡値（輝
度値）が高い等高線の順で、設定した重み係数であり、
Σλｋ＝１である）、に基づいて算出する構成であるこ
とを特徴とする。

【００１５】さらに、本発明の多視点画像生成装置の一
実施態様において、前記画像解析手段は、最大濃淡値
（輝度値）を持つ等高線について、複数（Ｎ個）の異な
る方向フィルタを用いて設定されるＮ個の直径データｄ
１〜ｄＮに基づく式、Ｄ＝（ｄ１＋ｄ２＋……＋ｄＮ）
／Ｎ、によって、撮影画像における前記球体形状に相当
する画像の輪郭データとしての直径を算出する構成であ
ることを特徴とする。

【００１６】さらに、本発明の第２の側面は、複数視点
からの画像を撮影する複数カメラによって構成される多
視点画像撮影装置によって取得した画像の処理を実行す
る画像処理装置であり、被写体を撮影した各カメラの撮
影画像における被写体中心位置と各カメラの撮影画像の
特定座標位置との中心位置差異データ、および前記被写
体の輪郭データの少なくともいずれかを求める画像解析
手段と、前記画像解析手段の解析した前記中心位置差異
データまたは前記輪郭データに基づいて、前記多視点画
像生成装置を構成する各カメラの撮影画像の補正処理を
実行する画像処理部と、を有することを特徴とする画像
処理装置にある。

【００１７】さらに、本発明の画像処理装置の一実施態
様において、前記被写体は、球体形状であり、前記画像
解析手段は、各カメラの撮影画像における前記球体形状
に相当する円の中心位置と各カメラの撮影画像の中心位
置との差異に基づいて前記中心位置差異データを算出す
る構成を有することを特徴とする。

【００１８】さらに、本発明の画像処理装置の一実施態
様において、前記被写体は、球体形状であり、前記画像
解析手段は、各カメラの撮影画像における前記球体形状
に相当する円の中心位置と各カメラの撮影画像の中心位
置との差異に基づいて前記中心位置差異データを算出す
る構成であり、前記球体形状に相当する円の輪郭に相当
する形状を、画像の濃淡値解析により取得した最大濃淡
値（輝度値）を持つトレース領域を濃淡値等高線として
設定するとともに、該最大濃淡値（輝度値）等高線領域
内部において１以上の濃淡値等高線を設定し、設定され
た複数の濃淡値等高線に対応する複数の中心位置に基づ
いて、前記球体形状に相当する円の中心位置を算出する
構成を有することを特徴とする。

【００１９】さらに、本発明の画像処理装置の一実施態
様において、前記画像解析手段は、Ｋ本の濃淡値（輝度
値）等高線の各中心Ｃｋを、複数（Ｎ個）の異なる方向
フィルタを用いて設定されるＮ個の中心位置ｃ１〜ｃＮ
に基づいて次式によって算出し、Ｃｋ＝（ｃ１＋ｃ２＋
……＋ｃＮ）／Ｎ、（ただし、ｋ＝１，２，……，Ｋで
あり、Ｋは濃淡値（輝度値）等高線の数である）、さら
に、前記球体形状に相当する円の中心位置を、次式、Ｃ
＝（λ１Ｃ１＋λ２Ｃ２＋……＋λＫＣＫ）、（ただ
し、λｋは信頼度係数であり、濃淡値（輝度値）が高い
等高線の順で、設定した重み係数であり、Σλｋ＝１で
ある）、に基づいて算出する構成であることを特徴とす
る。

【００２０】さらに、本発明の画像処理装置の一実施態
様において、前記画像解析手段は、最大濃淡値（輝度
値）を持つ等高線について、複数（Ｎ個）の異なる方向
フィルタを用いて設定されるＮ個の直径データｄ１〜ｄ
Ｎに基づく式、Ｄ＝（ｄ１＋ｄ２＋……＋ｄＮ）／Ｎ、
によって、撮影画像における前記球体形状に相当する画
像の輪郭データとしての直径を算出する構成であること
を特徴とする。

【００２１】さらに、本発明の画像処理装置の一実施態
様において、前記画像解析手段は、多視点画像撮影手段
を構成する複数カメラから選択された基準カメラの撮影
画像における輪郭データとしての直径値と、画像補正対
象となる他の参照カメラの取得した撮影画像における輪
郭データの直径値との直径比較データを取得し、前記画
像処理部は、前記直径比較データに基づいて、前記参照
カメラの取得画像の画素位置変更処理を実行する構成で
あることを特徴とする。

【００２２】さらに、本発明の画像処理装置の一実施態
様において、前記画像処理部は、前記直径比較データに
基づく、前記参照カメラの取得画像の画素位置変更処理
において、位置変更後の画素値を変更前の画素位置の近
傍画素値に基づく線形補正によって決定する処理を実行
する構成を有することを特徴とする。

【００２３】さらに、本発明の第３の側面は、複数視点
からの画像を撮影する複数カメラによって構成される多
視点画像生成装置において実行する多視点画像生成方法
であり、被写体を撮影した各カメラの撮影画像における
被写体中心位置と各カメラの撮影画像の特定座標位置と
の中心位置差異データ、および前記被写体の輪郭データ
の少なくともいずれかを求める画像解析ステップと、前
記画像解析ステップにおいて解析した前記中心位置差異
データまたは前記輪郭データに基づいて、前記多視点画
像生成装置を構成する各カメラの位置または姿勢制御情
報またはズーム制御情報を生成する制御情報生成ステッ
プと、を有することを特徴とする多視点画像生成方法に
ある。

【００２４】さらに、本発明の多視点画像生成方法の一
実施態様において、前記被写体は、球体形状であり、前
記画像解析ステップは、各カメラの撮影画像における前
記球体形状に相当する円の中心位置と各カメラの撮影画
像の中心位置との差異に基づいて前記中心位置差異デー
タを算出するステップを含むことを特徴とする。

【００２５】さらに、本発明の多視点画像生成方法の一
実施態様において、前記被写体は、球体形状であり、前
記画像解析ステップは、各カメラの撮影画像における前
記球体形状に相当する円の中心位置と各カメラの撮影画
像の中心位置との差異に基づいて前記中心位置差異デー
タを算出するステップを含み、前記球体形状に相当する
円の輪郭に相当する形状を、画像の濃淡値解析により取
得した最大濃淡値（輝度値）を持つトレース領域を濃淡
値等高線として設定するとともに、該最大濃淡値（輝度
値）等高線領域内部において１以上の濃淡値等高線を設
定し、設定された複数の濃淡値等高線に対応する複数の
中心位置に基づいて、前記球体形状に相当する円の中心
位置を算出することを特徴とする。

【００２６】さらに、本発明の多視点画像生成方法の一
実施態様において、前記画像解析ステップは、Ｋ本の濃
淡値（輝度値）等高線の各中心Ｃｋを、複数（Ｎ個）の
異なる方向フィルタを用いて設定されるＮ個の中心位置
ｃ１〜ｃＮに基づいて次式によって算出し、Ｃｋ＝（ｃ
１＋ｃ２＋……＋ｃＮ）／Ｎ、（ただし、ｋ＝１，２，
……，Ｋであり、Ｋは濃淡値（輝度値）等高線の数であ
る）、さらに、前記球体形状に相当する円の中心位置
を、次式、Ｃ＝（λ１Ｃ１＋λ２Ｃ２＋……＋λＫＣ
Ｋ）、（ただし、λｋは信頼度係数であり、濃淡値（輝
度値）が高い等高線の順で、設定した重み係数であり、
Σλｋ＝１である）、に基づいて算出することを特徴と
する。

【００２７】さらに、本発明の多視点画像生成方法の一
実施態様において、前記画像解析ステップは、最大濃淡
値（輝度値）を持つ等高線について、複数（Ｎ個）の異
なる方向フィルタを用いて設定されるＮ個の直径データ
ｄ１〜ｄＮに基づく式、Ｄ＝（ｄ１＋ｄ２＋……＋ｄ
Ｎ）／Ｎ、によって、撮影画像における前記球体形状に
相当する画像の輪郭データとしての直径を算出すること
を特徴とする。

【００２８】さらに、本発明の第４の側面は、複数視点
からの画像を撮影する複数カメラによって構成される多
視点画像撮影装置によって取得した画像の処理を実行す
る画像処理方法であり、被写体を撮影した各カメラの撮
影画像における被写体中心位置と各カメラの撮影画像の
特定座標位置との中心位置差異データ、および前記被写
体の輪郭データの少なくともいずれかを求める画像解析
ステップと、前記画像解析ステップの解析した前記中心
位置差異データまたは前記輪郭データに基づいて、前記
多視点画像生成装置を構成する各カメラの撮影画像の補
正処理を実行する画像処理ステップと、を有することを
特徴とする画像処理方法にある。

【００２９】さらに、本発明の画像処理方法の一実施態
様において、前記被写体は、球体形状であり、前記画像
解析ステップは、各カメラの撮影画像における前記球体
形状に相当する円の中心位置と各カメラの撮影画像の中
心位置との差異に基づいて前記中心位置差異データを算
出することを特徴とする。

【００３０】さらに、本発明の画像処理方法の一実施態
様において、前記被写体は、球体形状であり、前記画像
解析ステップは、各カメラの撮影画像における前記球体
形状に相当する円の中心位置と各カメラの撮影画像の中
心位置との差異に基づいて前記中心位置差異データを算
出するステップを含み、前記球体形状に相当する円の輪
郭に相当する形状を、画像の濃淡値解析により取得した
最大濃淡値（輝度値）を持つトレース領域を濃淡値等高
線として設定するとともに、該最大濃淡値（輝度値）等
高線領域内部において１以上の濃淡値等高線を設定し、
設定された複数の濃淡値等高線に対応する複数の中心位
置に基づいて、前記球体形状に相当する円の中心位置を
算出することを特徴とする。

【００３１】さらに、本発明の画像処理方法の一実施態
様において、前記画像解析ステップは、Ｋ本の濃淡値
（輝度値）等高線の各中心Ｃｋを、複数（Ｎ個）の異な
る方向フィルタを用いて設定されるＮ個の中心位置ｃ１
〜ｃＮに基づいて次式によって算出し、Ｃｋ＝（ｃ１＋
ｃ２＋……＋ｃＮ）／Ｎ、（ただし、ｋ＝１，２，…
…，Ｋであり、Ｋは濃淡値（輝度値）等高線の数であ
る）、さらに、前記球体形状に相当する円の中心位置
を、次式、Ｃ＝（λ１Ｃ１＋λ２Ｃ２＋……＋λＫＣ
Ｋ）、（ただし、λｋは信頼度係数であり、濃淡値（輝
度値）が高い等高線の順で、設定した重み係数であり、
Σλｋ＝１である）、に基づいて算出することを特徴と
する。

【００３２】さらに、本発明の画像処理方法の一実施態
様において、前記画像解析ステップは、最大濃淡値（輝
度値）を持つ等高線について、複数（Ｎ個）の異なる方
向フィルタを用いて設定されるＮ個の直径データｄ１〜
ｄＮに基づく式、Ｄ＝（ｄ１＋ｄ２＋……＋ｄＮ）／
Ｎ、によって、撮影画像における前記球体形状に相当す
る画像の輪郭データとしての直径を算出することを特徴
とする。

【００３３】さらに、本発明の画像処理方法の一実施態
様において、前記画像解析ステップは、多視点画像撮影
ステップを構成する複数カメラから選択された基準カメ
ラの撮影画像における輪郭データとしての直径値と、画
像補正対象となる他の参照カメラの取得した撮影画像に
おける輪郭データの直径値との直径比較データを取得
し、前記画像処理ステップは、前記直径比較データに基
づいて、前記参照カメラの取得画像の画素位置変更処理
を実行することを特徴とする。

【００３４】さらに、本発明の画像処理方法の一実施態
様において、前記画像処理ステップは、前記直径比較デ
ータに基づく、前記参照カメラの取得画像の画素位置変
更処理において、位置変更後の画素値を変更前の画素位
置の近傍画素値に基づく線形補正によって決定する処理
を実行することを特徴とする。

【００３５】さらに、本発明の第５の側面は、複数視点
からの画像を撮影する複数カメラによって構成される多
視点画像生成装置における多視点画像生成処理を実行す
るコンピュータ・プログラムであって、被写体を撮影し
た各カメラの撮影画像における被写体中心位置と各カメ
ラの撮影画像の特定座標位置との中心位置差異データ、
および前記被写体の輪郭データの少なくともいずれかを
求める画像解析ステップと、前記画像解析ステップにお
いて解析した前記中心位置差異データまたは前記輪郭デ
ータに基づいて、前記多視点画像生成装置を構成する各
カメラの位置または姿勢制御情報またはズーム制御情報
を生成する制御情報生成ステップと、を具備することを
特徴とするコンピュータ・プログラムにある。

【００３６】さらに、本発明の第６の側面は、複数視点
からの画像を撮影する複数カメラによって構成される多
視点画像撮影装置によって取得した画像処理を実行する
コンピュータ・プログラムであって、被写体を撮影した
各カメラの撮影画像における被写体中心位置と各カメラ
の撮影画像の特定座標位置との中心位置差異データ、お
よび前記被写体の輪郭データの少なくともいずれかを求
める画像解析ステップと、前記画像解析ステップの解析
した前記中心位置差異データまたは前記輪郭データに基
づいて、前記多視点画像生成装置を構成する各カメラの
撮影画像の補正処理を実行する画像処理ステップと、を
具備することを特徴とするコンピュータ・プログラムに
ある。

【００３７】なお、本発明のコンピュータ・プログラム
は、例えば、様々なプログラム・コードを実行可能な汎
用コンピュータ・システムに対して、コンピュータ可読
な形式で提供する記憶媒体、通信媒体、例えば、ＣＤや
ＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークな
どの通信媒体によって提供可能なコンピュータ・プログ
ラムである。このようなプログラムをコンピュータ可読
な形式で提供することにより、コンピュータ・システム
上でプログラムに応じた処理が実現される。

【００３８】本発明のさらに他の目的、特徴や利点は、
後述する本発明の実施例や添付する図面に基づく、より
詳細な説明によって明らかになるであろう。なお、本明
細書においてシステムとは、複数の装置の論理的集合構
成であり、各構成の装置が同一筐体内にあるものには限
らない。

【００３９】

【発明の実施の形態】以下、本発明の多視点画像生成装
置、画像処理装置、および方法について、図面を参照し
ながら詳細に説明する。

【００４０】［本発明の概要］まず、本発明の概略につ
いて、その目的とともに説明する。本発明の多視点画像
生成装置、および画像処理装置は、視点の異なる複数台
のカメラによる多視点画像撮影処理、あるいは表示処理
において、全てのカメラの観測視野を一定または連続的
な倍率変化を行なう構成として、カメラの切り換え時に
おいてもスムーズな画像移行を可能とするものである。
すなわちカメラの観測視野が、複数の異なるカメラ間で
同じ領域となるように設定することを可能としたり、あ
るいは、連続するカメラ切り換えを実行した場合でも視
野領域が規則的に変わり、あたかも１台のカメラでズー
ムインまたはズームアウトしているような表示を可能と
する。

【００４１】すなわち複数のカメラ映像を切り換えてい
るにもかかわらず、１台のカメラが実空間のある対象を
空間中の視線の軌跡にそって移動して注視しているよう
な映像を提供可能な多視点映像を撮影する複数のカメラ
設定あるいは画像処理を行なうものである。

【００４２】図を参照して説明する。図1は、複数のカ
メラが実空間のある点または線を注視しているようなカ
メラ設定例を示す。図１（ａ）は、複数のカメラ１１１
〜１１５が、実空間のある被写体として注目対象の点１
０１を撮影している構成の上面図であり、（ｂ）はその
側面図である。図１（ｃ）は、複数のカメラ１３１〜１
３５が、実空間のある被写体として注目対象の線１２１
を撮影している構成の上面図であり、（ｄ）はその側面
図である。

【００４３】図１における構成において、各カメラの視
野領域は焦点距離（レンズ長またはズーム倍率に相当す
る）や注目対象までの距離などの調整によって変えるこ
とができる。本発明のシステムは、図１のような多視点
画像を撮影するカメラの視野領域の調整を効率的にかつ
正確に実行することを可能とする。

【００４４】また、図２は、複数のカメラが実空間のあ
る点を注視している時のカメラ視野の実施例を示す。

【００４５】図２（ａ）は、複数のカメラ２１１〜２１
５が、が実空間のある被写体として注目対象の点２０１
を撮影している構成の上面図であり、各カメラの下部に
示す矩形領域が各カメラの撮影している視野領域２２１
〜２２５に相当する。（ａ）の構成では、各カメラの下
部に示す視野領域２２１〜２２５は等しい大きさであ
り、等しい視野領域の画像を撮影している例である。図
２（ｂ）は、複数のカメラ２４１〜２４５が、実空間の
ある被写体として注目対象の点２３１を撮影している構
成の上面図であり、各カメラの下部に示す矩形領域が各
カメラの撮影している視野領域２５１〜２５５に相当す
る。（ｂ）の構成では、各カメラの下部に示す視野領域
２５１〜２５５は等しい大きさではなく、左から右のカ
メラ方向に従って、視野領域が連続的に変化する画像を
撮影している例である。これは、カメラのズームイン、
ズームアウト処理に相当する。

【００４６】本発明のシステムは、図２（ａ）のような
多視点画像を撮影するカメラの視野領域を一致させて、
カメラ間の切り換えを行なってもぶれを発生させること
がなく、また、図２（ｂ）のようなのカメラ間で連続的
に視野領域を変化させることで、あたかも１台のカメラ
が移動しながらズームイン、ズームアウト処理を行なっ
ているような画像を提供可能とする。

【００４７】具体的には、実空間のある位置に画像上の
識別可能なマーカー、例えば、ボール等の球体を設置
し、そのボールを各カメラにより観測しながら、ボール
の位置・大きさを抽出し、また、そのボールが各カメラ
画像において所定大きさと所定位置、例えば、各カメラ
の撮影画像上の中心位置になるようにカメラ設定を行
う。

【００４８】また、設定時の各カメラ間の位置・姿勢・
ズームが違っても、各カメラにより観測されたボール画
像から画像処理手法によって、ボールの位置、例えば、
ボール中心と大きさ、例えば、ボールの直径等のパラメ
ータを推定し、それらの推定結果を用いて各カメラ映像
の位置・姿勢・ズームを補正して、全てのカメラはあた
かも３次元空間のある対象を仮想的に注目しているよう
なカメラ補正技術を提供する。

【００４９】［本発明の具体的構成］図３には、異なる
視点で設置された複数台のカメラによる多視点画像撮影
システムの構成図を示す。同期的に作動するＮ台の複数
のカメラ３１１（１）〜（ｎ）によって撮影された被写
体３０１の映像を、Ａ／Ｄ変換部３２１（１）〜（ｎ）
を通してデジタルデータに変換した後、メモリ３２２
（１）〜（ｎ）にそれぞれの撮影データを記憶保存し、
ＣＰＵ等の演算処理ユニットを持つ例えばＰＣによって
構成可能な多視点映像生成・表示処理部３２３による画
像処理、例えば、複数のカメラの画像を連結して多視点
画像を生成する映像オーサリング処理等によって多視点
画像を生成し、画像モニター上で再生し表示する。

【００５０】図３に示すようなシステムにおいて、複数
のカメラ３１１（１）〜（ｎ）によって撮影された多視
点画像をそのまま再生すると、各カメラ間の位置・ズー
ムのばらつきによって、多視点画像を観賞する際、違和
感を感ずることになる。この具体例を図４を参照して説
明する。

【００５１】図４には、多視点画像撮影システムによっ
て撮影された映像の一例を示す。図３のシステムにおい
て、撮影された画像が、それぞれＣａｍ１画像〜Ｃａｍ
Ｎ画像であるとき、これらの画像は、同一被写体におけ
る同一時のフレーム画像である。これらの画像を重ね合
わせた画像が画像４０１である。画像４０１には、同一
被写体である画像がそれぞれのカメラ画像でずれがある
画像として示されている。この画像フレームは同一時間
の各かめらの撮影画像であるが、例えば時系列的にカメ
ラ切り換えをね行なって動画像を観察しようとしても、
各カメラ切り換え時に突然被写体がずれた位置に移動す
るなど不自然な表示がなされることになる。

【００５２】このように、多視点映像撮影システムにお
いて、複数のカメラで撮影して、それらの映像から任意
視点映像を生成して、視点を変えながら注目対象画像を
モニター上で観賞する時、極めて不自然な映像となって
しまう。その原因は、視点を変える各カメラで撮影した
画像フレーム間の位置・ズームなどの違いによるもので
ある。

【００５３】そこで、本発明の構成では、多視点画像再
生時の不自然さを軽減するために、実空間のある位置に
画像上の識別可能なマーカー（例えば、ボール）を置
き、まず基準となるカメラ（例えば、１番目のカメラ）
で観測された画像からボールの位置と大きさを検出し、
そのボールが画像上の所定位置（例えば、画像中心）と
大きさになるように、基準カメラの位置・姿勢・レンズ
長を決める。そして、各カメラによる観測画像からボー
ルの位置と大きさを検出し、そのボールが画像上の所定
位置（例えば、画像中心）と大きさになるように、各カ
メラの位置・姿勢・ズームを調整する処理を実行する。

【００５４】図５には、カメラ間の位置・ズームを調整
して、各カメラの注目点と視野領域（距離）が同じとな
るようにカメラ設定を行う一例を示す。被写体は球形形
状を持つボール５０１とし、これを異なる視点位置に配
置された多視点画像を撮影する複数のカメラ５１１
（１）〜（ｎ）で撮影する。各カメラ５１１（１）〜
（ｎ）で撮影された画像は、先に図４を参照して説明し
たように被写体のずれを発生させている。

【００５５】例えばカメラ５１１（１）で撮影した画像
５３１と、カメラ５１１（ｎ）で撮影した画像５３２に
示すように、被写体であるボールの位置、例えば中心位
置が個々の撮影画像、すなわち画像５３１と画像５３２
とでは異なって撮影されている。これは、カメラ５１１
（１）とカメラ５１１（ｎ）の位置や、ズーム調整が不
完全であることに起因する。

【００５６】そこで、カメラ調整としてのキャリブレー
ション処理として、被写体であるボール５０１を各カメ
ラ５１１（１）〜（ｎ）で撮影し、それぞれの撮影画像
において、画像中心にボールが位置するように設定し、
また、ボールの撮影画像の大きさが予め設定された領域
内、例えば、正方形領域や円形領域などに入るように、
各カメラの位置・姿勢・焦点距離（レンズ長）の調整を
実行する。この調整は手動で行なってもよいし、撮影画
像に基づく制御情報をカメラの位置制御ズーム調整を実
行するカメラ制御手段に出力して自動的に行う構成とし
てもよい。

【００５７】図６に多視点画像を撮影するカメラの位置
・姿勢・焦点距離（レンズ長）の調整を自動実行するシ
ステム、および、カメラの位置・姿勢・焦点距離（レン
ズ長）の調整のなされていない多視点画像を撮影するカ
メラの取得画像を画像処理として補正する画像処理装置
の２つの構成を併せ持つシステム構成図を示す。

【００５８】カメラ６０１から、例えばボールを被写体
として撮影した画像は、画像メモリ６０２に格納され、
画像解析部６０３が画像メモリ６０２に格納された画像
を解析し、撮影画像における画像中心からのボールの中
心位置のずれ量、また、ボールの撮影画像の大きさと予
め設定された領域との差を算出する。

【００５９】算出データは、制御情報生成部６０４に出
力され、制御情報生成部６０４において、画像中心にボ
ールが位置し、かつボールの撮影画像の大きさが予め設
定された領域に一致するためのカメラ６０１の位置・姿
勢・焦点距離（レンズ長）の調整パラメータを生成し、
生成パラメータをそれぞれカメラ位置・姿勢制御部６０
５、カメラズーム制御部６０６に出力する。カメラ位置
・姿勢制御部６０５、カメラズーム制御部６０６は、そ
れぞれ入力パラメータに基づいて、カメラ６０１の位置
・姿勢、およびズーム調整を実行する。

【００６０】一方、カメラの位置・姿勢・焦点距離（レ
ンズ長）の調整のなされていない多視点画像を撮影する
カメラの取得画像を画像処理として補正する画像処理装
置として機能させる場合は、画像解析部６０３が画像メ
モリ６０２に格納された画像を解析し、撮影画像におけ
る画像中心からのボールの中心位置のずれ量、また、ボ
ールの撮影画像の大きさと予め設定された領域との差を
算出する。算出データは、画像処理部６１１に出力さ
れ、画像処理部６１１において、画像中心にボールが位
置し、かつボールの撮影画像の大きさが予め設定された
領域に一致させるように、画像処理を実行し、処理後の
画像を出力部６１２において出力する。

【００６１】なお、図６には１つのカメラ６０１に対し
ての調整を実行するキャリブレーション装置または画像
処理装置として示してあるが、複数のカメラからの撮影
情報を図６の画像メモリ６０２に区分して格納し、各画
像についての解析を画像解析部６０３において実行し、
複数のカメラについての位置・姿勢・焦点距離（レンズ
長）の調整処理を実行する構成としてもよい。

【００６２】次に、図７以下を参照して、画像解析処
理、画像解析処理に基づく制御情報生成処理（キャリブ
レーション情報生成処理）、および画像解析処理に基づ
く画像処理の詳細について説明する。

【００６３】まず、画像解析処理として実行する多視点
画像撮影システムを構成するカメラで撮影したボールの
中心位置と大きさを推定するアルゴリズムを説明する。
従来の撮影画像における位置推定手法には、例えば二値
化画像処理などを用いて画像中の注目領域の外接円を推
定する手法がある。これらの手法は例えば、(5)喜多：
同心円特徴に基づく形状の記述と類似度測定、電子情報
通信学会論文誌, J75-D2:1557-1564, 1992.、(6)呉,鈴
木,赤塚：時系列画像からの細胞活動における突出顆粒
の検出と解析、医療情報学, Vol.17, No.1, pp.1-10, 1
997.に示されている。しかしながら、二値化画像処理を
基本とする手法は、推定精度が必ず良いとは言えない。

【００６４】本発明のシステムでは、被写体として設定
したボールの背後に無地テクスチャの板を置いて、各カ
メラによってボール画像を観測する。図７（ａ）に示す
画像がキャリブレーションを行なうカメラによって撮影
された画像を示している。この撮影画像上のボール７０
１領域だけをマウスにより選択し領域７０２を設定し、
画像前処理として、垂直線分７０３を除去するフィルタ
処理を行う。

【００６５】その後、エッジ検出処理によって画像内の
ボールを示す円のエッジ領域７０４を検出する。エッジ
領域７０４検出は、画素値の濃淡値（輝度値）分布の微
分処理によって求められる。エッジ領域７０４を示す図
が図７（ｂ）である。次に、画像の中心位置を座標
（０，０）と設定し、水平方向をＸ軸、垂直方向をＹ軸
とし、水平方向（Ｉｘ）、または垂直方向（Ｉｙ）のエ
ッジ画像の濃淡値（輝度値）分布７０５，７０６を求め
る。

【００６６】水平方向（Ｉｘ）輝度分布７０５の最大
値：Ｉｘ＿ｍａｘ、または垂直方向（Ｉｙ）の濃淡値
（輝度値）分布７０６の最大値：Ｉｙ＿ｍａｘを検出し
て、エッジのトレースを行う（図７（ｃ）参照）。その
最大濃淡値（輝度値）を持つエッジ、Ｉｘ＿ｍａｘまた
はＩｙ＿ｍａｘの中心をボールを示す円の仮の中心：ｃ
１とし、する。Ｉｘ＿ｍａｘまたはＩｙ＿ｍａｘの距離
をボールを示す円の仮の直径：ｄ１とする。

【００６７】次に、最大濃淡値（輝度値）を持つエッジ
（Ｉｘ＿ｍａｘまたはＩｙ＿ｍａｘ）の内側領域におい
て、輝度値が予め設定された閾値より大きければ、エッ
ジのトレース処理を行い、図７（c）に示すような複数
の濃淡値（輝度値）等高線７０７を得る。濃淡値（輝度
値）等高線の数をＫ本とする。

【００６８】Ｋ本の濃淡値（輝度値）等高線７０７各々
の中心としてＫ個の中心：Ｃｋ（１≦ｋ≦Ｋ）を求め
る。図７（ｄ）に示すＮ方向フィルタ（この例では、Ｎ
＝３２）を用いて、Ｋ本の濃淡値（輝度値）等高線の各
中心Ｃｋを次式によって推定する。

【００６９】

【数１】 Ｃｋ＝（ｃ１＋ｃ２＋……＋ｃＮ）／Ｎ……（式１）

【００７０】ここで、ｋ＝１，２，……，Ｋは濃淡値
（輝度値）等高線の数（エッジ幅に相当）であり、上記
式によってＫ本の濃淡値（輝度値）等高線各々について
のＫ個の中心：Ｃｋ（１≦ｋ≦Ｋ）データが算出され
る。

【００７１】また、ボールを示す円の仮の直径（大き
さ）：Ｄを次式によって推定する。Ｉｘ＿ｍａｘまたは
Ｉｙ＿ｍａｘの最大濃淡値（輝度値）を持つエッジにつ
いて、図７（ｄ）に示すＮ方向フィルタ（この例では、
Ｎ＝３２）を用いて、Ｎ個の直径（ｄ１〜ｄＮ）を求
め、下式によって直径：Ｄを算出する。

【００７２】

【数２】 Ｄ＝（ｄ１＋ｄ２＋……＋ｄＮ）／Ｎ……（式２）

【００７３】図７（ｅ）には、Ｋ個の各等高線の中心：
Ｃｋ（１≦ｋ≦Ｋ）７０８と大きさ（直径）：Ｄ７０９
の推定結果を示した。

【００７４】次に、これらＫ本の濃淡値（輝度値）等高
線各々についてのＫ個の中心：Ｃｋ（１≦ｋ≦Ｋ）デー
タに基づいて、円の中心Ｃが下式により推定される。

【００７５】

【数３】 Ｃ＝（λ１Ｃ１＋λ２Ｃ２＋……＋λＫＣＫ）……（式３） ただし、Σλｋ＝１ （Ｋは濃淡値（輝度値）等高線
数）

【００７６】なお、上記式において、λｋは信頼度係数
であり、濃淡値（輝度値）が高い等高線の順で、重み係
数を決める。図７（ｆ）には本手法による円の中心７１
０および直径７１１の推定結果を示した。このようにし
て１つのカメラの撮影画像におけるキャリブレーション
時の被写体としてのボールの中心７１０、および直径が
求められ、画像中心位置、すなわち画像中心の座標（Ｘ
＿Ｓｉｚｅ／２，Ｙ＿Ｓｉｚｅ／２）からのずれが算出
される。なお、画像サイズは、横：Ｘ＿Ｓｉｚｅ、縦：
Ｙ＿Ｓｉｚｅとする。

【００７７】上述のように複数の濃淡値（輝度値）等高
線を用いて画像解析を行なう理由について説明する。

【００７８】理想的な照明光、例えば、真正面からの平
行光を被写体としてのボールに照射して画像を撮影した
場合、カメラによる観測画像上では図８（ａ）のように
ほぼ真円に近い形で撮影画像上におけるボール８０１を
観測できる。

【００７９】しかしならが、カメラと照明光の位置を考
えると、このような照明光の配置、すなわち真正面から
の平行光を照射する設定は容易ではない。実際には照明
光の照射方向の偏りなどによって、観測されたボールの
投影像に、位置ずれが発生したり周辺部の輝度値変化、
例えば影などの影響での輝度値変化が生じ、例えば図８
（ｂ），（ｃ）のように真の位置８０２からずれた位置
に画像としてのボール８０３，８０４が表示されること
がある。このような場合、画像二値化や輪郭トレースな
どといった方法では、その円心と大きさを精度良く推定
することが容易ではない。

【００８０】図８（ｄ）は、図８（ａ）の直線Ｌに沿っ
た画像濃淡値（輝度値）分布とその微分値として算出さ
れるエッジ画像濃淡値分布図を示している。図８（ｅ）
は、実線部が、図８（ｂ）の直線Ｌに沿った画像濃淡値
（輝度値）分布８３１とその微分値として算出されるエ
ッジ画像濃淡値分布８３２を示す図、点線部が図８
（ａ）の場合の対応図、すなわち（ｄ）と同様の画像濃
淡値（輝度値）分布８２１と画像濃淡値分布８２２の各
ラインを示している。図８（ｆ）は、実線部が、図８
（ｃ）の直線Ｌに沿った画像濃淡値（輝度値）分布８４
１とその微分値として算出されるエッジ画像濃淡値分布
８４２を示す図、点線部が図８（ａ）の場合の対応図、
すなわち（ｄ）と同様の画像濃淡値（輝度値）分布８２
１と画像濃淡値分布８２２の各ラインを示している。

【００８１】図８（ａ）の直線Ｌに沿った画像濃淡値
（輝度値）分布とその微分値として算出されるエッジ画
像濃淡値分布図である図８（ｄ）に基づいて、エッジ画
像の局所最大値を検出することによって、正しい円の中
心８２３を検出できるが、図８（ｂ），（Ｃ）の画像に
基づいて求められる画像濃淡値（輝度値）分布とエッジ
画像濃淡値分布図からは、エッジ画像の局所最大値を検
出できても円の中心を正しく推定することが困難であ
る。

【００８２】図８（ｄ），（ｅ）に示すエッジ画像に基
づいて求められる円の中心は、それぞれ図に示す中心８
３３，８４３となり、図（ｄ）に基づいて求められる円
の中心８２３とずれが発生する。

【００８３】そこで、本実施例では、エッジ画像の局所
最大値だけではく、ある閾値以上のエッジ領域の一部に
対する濃淡値の等高線を抽出し、それらの等高線の中心
をそれぞれ算出し、統計的な処理を用いて、円の中心位
置をより精度良く推定する。

【００８４】図９を参照して、観測画像から濃淡値（輝
度値）等高線を抽出し、ボールを撮影した画像のボール
を示す円の中心位置を求めるアルゴリズムを説明する

【００８５】図９（ａ）,（ｂ）は、図８（ｂ）に相当
するカメラ撮影画像に基づいて生成される円のＬ線上の
濃淡値（輝度値）分布、およびエッジ画像濃淡分布図で
ある。図８（ｅ）に示した濃淡値（輝度値）分布、およ
びエッジ画像濃淡分布図と同じである。この分布図のみ
からは、前述したように、円の中心は、真の円の中心８
２３からずれて算出されてしまう。すなわち、図９
（ｃ）は、エッジ画像のＬ線上の局所最大値により推定
された円の中心Ｃ１であり、その結果から推定された円
心が真の円の中心８２３から大きくずれることが分か
る。

【００８６】本発明では、このようなずれの補正を行な
うため、さらに、図９（ｄ）、（ｅ）、（ｆ）に示すよ
うに、エッジ画像９１０のＬ線上の局所最大値の内側に
おけるある濃淡値（輝度値）等高線を求め、それぞれの
濃淡値（輝度値）等高線に基づいて算出した円の中心を
適用した。図９（ｄ）は、閾値Ｔ２として設定した濃淡
値（輝度値）等高線によって算出した円の中心Ｃ２、図
９（ｅ）は、閾値Ｔ３として設定した濃淡値（輝度値）
等高線によって算出した円の中心Ｃ３、図９（ｆ）は、
閾値ＴＫとして設定した濃淡値（輝度値）等高線によっ
て算出した円の中心ＣＫを示している。

【００８７】これら、各濃淡値（輝度値）等高線毎の中
心Ｃｋ（１≦ｋ≦Ｋ）は等高線数Ｋに対応して算出され
る。これらの複数の濃淡値（輝度値）等高線の中心Ｃｋ
に基づいて、前述した式３により、円の中心位置を推定
し、円の位置ずれを補正し、真の円中心位置をより精度
よく推定することが可能となる。

【００８８】上述のずれ量算出処理により求められた値
に基づいて、撮影画像の中心（Ｘ＿Ｓｉｚｅ／２，Ｙ＿
Ｓｉｚｅ／２）に撮影されたボール中心が位置するよう
に撮影カメラ位置・姿勢の制御が実行される。なお、画
像サイズは、横：Ｘ＿Ｓｉｚｅ、縦：Ｙ＿Ｓｉｚｅとす
る。

【００８９】なお、上述の処理は、多視点画像を撮影す
るカメラのキャリブレーション処理として実行し、多視
点画像を撮影することで、カメラ間画像切り換え時の被
写体のぶれのない映像を提示する効果をもたらすが、上
述のキャリブレーションを行なわずに多少のずれのある
カメラ配置で多視点画像データを取得した後、上記のア
ルゴリズムに従って、各カメラの撮影画像の補正処理を
実行することも可能であり、上記アルゴリズムに従った
補正処理を行なうことで、カメラ間画像切り換え時の被
写体のぶれのない映像を提示することが可能となる。

【００９０】図１０に、実空間にあるボールを各カメラ
で観測保存し、上述した濃淡値（輝度値）等高線を用い
た処理によって、各カメラ画像上のボール中心位置
（ｘ，ｙ）とボールの大きさｄ（直径）とを補正パラメ
ータとして推定し、それらの補正用パラメータを用いて
多視点画像補正を行う一例を示す。

【００９１】図１０において、被写体は球形形状を持つ
ボール１００１とし、これを異なる視点位置に配置され
た多視点画像を撮影する複数のカメラ１０１１（１）〜
（ｎ）で撮影する。各カメラ１０１１（１）〜（ｎ）で
撮影された画像は、被写体のずれを発生させている。

【００９２】例えばカメラ１０１１（１）で撮影した画
像１０３１と、カメラ１０１１（ｎ）で撮影した画像１
０３２に示すように、被写体であるボールの位置、例え
ば中心位置が個々の撮影画像、すなわち画像１０３１と
画像１０３２とでは異なって撮影されている。これは、
カメラ１０１１（１）とカメラ１０１１（ｎ）の位置
や、ズーム調整が不完全であることに起因する。

【００９３】そこで、カメラ調整としてのキャリブレー
ション処理として、被写体であるボール１００１を各カ
メラ１０１１（１）〜（ｎ）で撮影し、ステップＳ１１
−１〜ｎにおいて、それぞれのカメラ１０１１（１）〜
（ｎ）の撮影画像において、上述した濃淡値（輝度値）
等高線を用いた処理によって、各カメラ画像上のボール
中心位置（ｘｎ，ｙｎ）とボールの大きさｄとしての半
径ｒｎ（直径でもよい）とを算出する。ただし、１≦ｎ
≦Ｎであり、Ｎはカメラ数である。算出した補正用パラ
メータは、ステップＳ１２−１〜ｎにおいて、それぞれ
記憶手段に格納され、撮影画像の補正処理の際に用いら
れる。

【００９４】なお、これらのパラメータは、必要に応じ
て各カメラの位置・姿勢制御部、ズーム制御部に出力
し、パラメータに基づく位置・姿勢制御、およびズーム
制御を実行してもよい。

【００９５】次に、上述したパラメータに基づいて、多
視点画像を撮影するカメラ位置の補正を、行なう場合の
具体例について説明する。この補正処理により、多視点
画像を撮影する全てのカメラが３次元空間における同一
な対象を仮想的に注視しているように設定される。各カ
メラの位置・姿勢のばらつきを補正する方法を図１１を
参照して説明する。図１１は被写体１１００のずれのな
い画像を撮影する基準カメラ１１０１とし、被写体１１
００のずれのある画像を撮影するカメラを参照カメラ１
１０２として、ずれのある画像を撮影する参照カメラ１
１０２の補正処理の例を示している。

【００９６】補正処理の態様には、仮想的なカメラ回転
による画像変換を用いる補正処理（図１１（ａ））と仮
想的なカメラ平行移動による画像変換を用いる補正処理
（図１１（ｂ））の２つの態様があり、いずれかの補正
処理方法を選択して適用可能である。

【００９７】実際に、各カメラを設定する際、全てのカ
メラは、ほぼ同じ注目対象を見ているように設定されて
いるので、各カメラで撮影された画像上の位置ずれは数
画素から十数画素以内に抑えることが可能である。従っ
て、下式に示す式を満足するようにカメラの平行移動
（図１１（ｂ））あるいは方向修正（図１１（ａ）のθ
ｘ）を行なうことで、多視点画像を撮影する各カメラ位
置の補正処理としてのキャリブレーションが可能とな
る。

【００９８】

【数４】

【００９９】上記式において、（ｘ，ｙ）は、各カメラ
のおける補正前の画像座標であり、（Ｘ，Ｙ）は補正後
画像の座標である。（Δｘ，Δｙ）はずれ量に相当す
る。

【０１００】これらのずれ量を解消する位置に各カメラ
の位置、あるいは方向を修正することにより、ずれ量が
解消されキャリブレーション後は、撮影対象としてのボ
ールの撮影画像の中心が、撮影画像領域の中心位置に設
定される。なお、上記（式４）において、ずれ量（Δ
ｘ，Δｙ）と、カメラの撮影画像領域サイズとの関係
は、以下の（式５），（式６）に示す対応となる。

【０１０１】

【数５】 Δｘ＝Ｃｘ−Ｘ＿Ｓｉｚｅ／２……（式５） Δｙ＝Ｃｙ−Ｙ＿Ｓｉｚｅ／２……（式６）

【０１０２】ここで、Ｃｘは円の中心Ｃ（ｘ，ｙ）のｘ
座標であり、Ｃｙは円の中心Ｃ（ｘ，ｙ）のｙ座標であ
り、Ｘ＿ＳｉｚｅとＹ＿Ｓｉｚｅは、撮影画像の横（Ｘ
軸）と縦（Ｙ軸）の画素数（大きさ）である。

【０１０３】さらに、Ｚ軸、すなわち、カメラと被写体
（ボール）とを結ぶ軸回りの回転を補正するために、上
述の（式４）で得られた結果（Ｘ，Ｙ）に対して、下式
の変換を実行する。

【０１０４】

【数６】

【０１０５】図１２は、前述の補正用パラメータを用い
て、仮想的なカメラの移動及びＺ軸回りのカメラ回転に
よって、カメラ間の位置・姿勢を補正する一例を示した
図である。キャリブレーション対象となる多視点画像を
撮影するカメラで観測した画像を図１２（ａ）とする。

【０１０６】図１２（ａ）の撮影画像の画像２値化処
理、フィルタ処理などによって、撮影画像における元の
円の画像中心１２０１を通る直線１２０３を検出する。
さらに、上述の濃淡値（輝度値）等高線を適用した中心
算出処理によって求められた中心１２０２を通るＹ軸方
向の線１２０４と直線１２０３とのなす角γをＺ軸回り
の回転角：γとして例えば三角法計算によって求め、角
度：γの回転をＺ軸回りに実行させることで、画像補正
またはカメラ位置補正が行われ、図１２（ｂ）の補正撮
影画像を取得できる。これらの処理により、カメラの位
置、姿勢制御が実行される。

【０１０７】次に、多視点画像を撮影する各カメラのズ
ーム補正処理について説明する。カメラの設定位置（距
離）やレンズ（ズーム倍率）等のばらつきによって、３
次元空間上の同一対象に対して各カメラ観測画像上での
大きさが違っても、後処理によってその違いを補正する
ことが可能である。

【０１０８】次に、上述したパラメータに基づいて、多
視点画像を撮影するカメラのズーム補正処理を行なう場
合の具体例について説明する。カメラの設定位置（距
離）やレンズ（ズーム倍率）等のばらつきによって、３
次元空間上の同一対象に対して各カメラ観測画像上での
大きさが違う場合に、以下に説明する補正を実行するこ
とにより、多視点画像を撮影する複数カメラ間のカメラ
切り換えを行なった場合でも被写体の大きさを不変とし
たり、あるいはスムーズなズーム変化を示すように設定
することができる。なお、本処理も多視点画像を撮影す
る各カメラのズーム設定処理として適用可能であるのみ
ならず、本処理を適用したズーム設定を行なっていない
多視点画像を撮影する複数カメラからの撮影画像につい
ての後処理として実行する画像補正処理として適用する
ことも可能である。

【０１０９】多視点画像を撮影する各カメラのズーム設
定処理は、例えば図１３に示すように、被写体１３００
の基準となる大きさの画像を撮影する基準カメラ１３０
１とし、ズーム設定処理を行なうキャリブレーション対
象となる参照カメラ１３０２とした場合、以下に説明す
る処理によって算出されるパラメータに基づいて、参照
カメラ１３０２の位置を被写体１３００から遠ざける
（参照カメラ１３０２のズームが大である場合）と、参
照カメラ１３０２の位置を被写体１３００に近づける
（参照カメラ１３０２のズームが小である場合）との処
理を示している。このような物理的なカメラの移動を行
なわず、参照かめらの焦点調整、ズーム調整を行なって
もよい。

【０１１０】前述のカメラ位置、姿勢制御と同様、三次
元空間におけるボールを被写体として設定し、異なる方
向からの撮影カメラにより撮影した画像に基づいて、カ
メラの設定位置（距離）やレンズの焦点距離（レンズ
長、ズーム倍率）を調整する。

【０１１１】カメラ距離や、レンズの焦点距離（レンズ
長、ズーム倍率）の調整パラメータは、前述の濃淡値
（輝度値）等高線を用いた処理によって取得されるボー
ルの大きさｄとしての直径ｄｎ（または半径ｒｎ）であ
り、ボールの大きさを推定し、それをカメラ倍率補正の
パラメータとして用いる。

【０１１２】上述の濃淡値（輝度値）等高線を用いた処
理によって取得される直径ｄとカメラズーム補正は、以
下のアルゴリズムに従って実行される。

【０１１３】多視点画像を撮影する複数のカメラ群の１
つのカメラを基準カメラとして設定し、このカメラをカ
メラ１とする。前述の例と同様、被写体を球形のボール
として設定し、多視点画像を撮影する複数のカメラ群で
撮影し、基準カメラ１の撮影画像から算出された円の直
径を基準直径ｄ１とする。

【０１１４】その他のキャリブレーション対象となるカ
メラ：カメラ２〜カメラＮの撮影画像から、前述の濃淡
値（輝度値）等高線を用いた処理によって取得された直
径をｄｉ（ｉ＝１，２，……，Ｎ）とする。

【０１１５】基準カメラに対する、キャリブレーション
対象となるカメラ：カメラ２〜カメラＮのズーム倍率の
違いＺｉを以下の式に基づいて算出する。

【０１１６】

【数７】Ｚｉ＝ｄｉ／ｄ１……（式８）

【０１１７】上述の（式８）によって算出される値：Ｚ
ｉを用いて、各キャリブレーション対象カメラのカメラ
距離や、レンズの焦点距離（レンズ長、ズーム倍率）の
調整が可能となる。

【０１１８】また、上述のアルゴリズムに基づくズーム
調整を実行していない多視点画像撮影システムにおいて
撮影された複数カメラからの撮影画像についての画像補
正処理として実行する場合の処理アルゴリズムを図１４
を参照して説明する。

【０１１９】図１４は、ズーム補正前の画像における画
像の画素位置１４０１を上述の（式８）によって算出さ
れる値：Ｚを用いて、画素位置１４０２に変更すること
で、補正前の画像ｒｇｂ（ｉ，ｊ）から補正後の画像Ｒ
ＧＢ（ｉ’，ｊ’）を求めた例を示した図である。

【０１２０】補正処理後の画像上の画素位置（ｉ’，
ｊ’）と補正処理前の画像上の画素位置（ｍ，ｎ）との
関係は、上述の（式８）によって算出される値：Ｚを用
いた次の関係式（式９）によって定義付けされる。

【０１２１】

【数８】 z²・（（i‐X_Size/2)²+(j-Y_Size/2)²） ＝（m‐X_Size/2)²+(n-Y_Size/2)²……（式９）

【０１２２】上記（式９）において、Ｘ＿ＳｉｚｅとＹ
＿Ｓｉｚｅは、撮影画像の横（Ｘ軸）と縦（Ｙ軸）の画
素数（大きさ）である。

【０１２３】上記式に基づいて、ズーム補正に基づく変
換後の画素位置が決定される。さらに、その決定された
位置における画素の値は、以下に示す（式１０）によっ
て求める。補正前の画像の画素値をｒｇｂ（ｉ，ｊ）と
すると、補正後の画像の画素値ＲＧＢ（ｉ’，ｊ’）は
下式のような画素値線形補正法により求めることができ
る。

【０１２４】

【数９】 ＲＧＢ（ｉ’，ｊ’）＝（１−ｋｘ）（１−ｋｙ）・ｒｇｂ（ｉ，ｊ）＋ｋｘ ・ｋｙ・ｒｇｂ（ｉ＋１，ｊ＋１）＋（１−ｋｘ）・ｋｙ・ｒｇｂ（ｉ，ｊ＋１ ）＋ｋｘ・（１−ｋｙ）・ｒｇｂ（ｉ＋１，ｊ） ……（式１０） ここで、ｋｘ＝ｍ−ｉ，ｋｙ＝ｎ−ｊである。

【０１２５】上記（式１０）におけるｒｇｎ（ｉ，
ｊ），ｒｇｎ（ｉ＋１，ｊ），ｒｇｎ（ｉ，ｊ＋１），
ｒｇｎ（ｉ＋１，ｊ＋１）は、変換前の画素位置（ｍ，
ｎ）を囲む最も近い４連接画素のＲＧＢ値を示す。ま
た、（ｍ，ｎ）と（ｉ，ｊ）との関係は以下の（式１
１）に示す関係となる。

【０１２６】

【数１０】

【０１２７】上記アルゴリズムに従って、ズーム補正処
理に対応する画像処理が実行され、ズーム補正に基づく
画素位置変換、および画素値設定が実行される。

【０１２８】これらの画像処理により、ズーム調整を実
行していない多視点画像撮影システムにおいて撮影され
た複数カメラからの撮影画像についての画像補正が可能
となり、画像のカメラ切り換え時における被写体画像の
大きさの変わらない固定ズーム画像、あるいはスムーズ
なズームインまたはズームアウト画像の提示が可能とな
る。

【０１２９】図１５は、各カメラ設定は正確に行われて
いない多視点画像撮影システムにおいて各カメラが取得
した画像に対して、上述の濃淡値（輝度値）等高線を用
いた処理によって取得した等高線各々についてのＫ個の
中心：Ｃｋ（１≦ｋ≦Ｋ）データ、およびＫ個の直径ｄ
ｋ（１≦ｋ≦Ｋ）データに基づいて、円の中心位置、直
径データを求め、これらのデータをパラメータとして画
像の補正処理を実行した多視点画像の例である。

【０１３０】図１５（ａ）は、上記アルゴリズムに従っ
たカメラ位置・姿勢およびズーム調整のなされていない
多視点画像撮影システムによって撮影された５台のカメ
ラ（Ｃａｍ１〜Ｃａｍ５）の撮影画像を示すものであ
り、各カメラの撮影画像の被写体（人物）の位置、大き
さがばらばらであるが、上記アルゴリズムに従った画像
補正処理としての位置ずれ、ズーム補正を行なった図１
５（ｂ）の５台のカメラ（Ｃａｍ１〜Ｃａｍ５）の補正
画像では、被写体（人物）の位置、大きさが統一され、
例えば動画とした場合のカメラ間切り換えを行なっても
違和感のない映像が提供可能となる。

【０１３１】なお、図１５の例は、各カメラ設定は正確
に行われていない多視点画像撮影システムにおいて各カ
メラが取得した画像に対する本発明の濃淡値（輝度値）
等高線を用いたアルゴリズムを適用した画像補正処理に
よって取得した画像であるが、本発明の濃淡値（輝度
値）等高線を用いたアルゴリズムを適用して多視点画像
撮影システムを構成する各カメラの位置・姿勢、ズーム
調整を行なうことで、撮影後の画像補正を行なうことな
く、図１５（ｂ）と同様、被写体の位置、大きさが統一
され、例えば動画とした場合のカメラ間切り換えを行な
っても違和感のない映像が提供可能となる。

【０１３２】次に、図１６を参照して、本発明の多視点
画像撮影システムおよび画像処理装置の処理手順につい
てまとめて説明する。各ステップについて説明する。

【０１３３】ステップＳ１０１では、多視点画像撮影シ
ステムを構成するＮ台のカメラの札有為画像を取得す
る。ここでは、上述したように、ボールのような球体形
状の物体を被写体として異なる視点からの撮影画像をそ
れぞれのカメラで取得する。

【０１３４】ステップＳ１０２では、各カメラの取得画
像からエッジを検出する。これは、先に図７（ｂ）を参
照して説明した処理によって実行される。

【０１３５】次に、ステップＳ１０３では、エッジ領域
内の最大濃淡値を検出する。先に図７（ｃ）を参照して
説明したＩｘ＿ｍａｘ値等である。次に、ステップＳ１
０４では、輪郭トレースによる濃淡値（輝度値）等高線
を最大濃淡値トレース領域の内側領域に例えばＫ本設定
する。

【０１３６】次にステップＳ１０５において、Ｎ方向フ
ィルタ処理（ｅｘ．Ｎ＝３２）により最大濃淡値トレー
ス領域においてＮ個の直径データを求め、これらのＮ個
の直径データｄ１〜ｄＮに基づいて直径データ：Ｄを求
める（式２参照）。

【０１３７】さらに、ステップＳ１０６において、ステ
ップＳ１０４において設定したＫ本の濃淡値（輝度値）
等高線のそれぞれについてのＫ個の中心を求める。な
お、１つの濃淡値（輝度値）等高線の中心データは、Ｎ
方向フィルタについてのＮ個の中心位置に基づいて設定
され、その後、Ｋ本の濃淡値（輝度値）等高線のそれぞ
れについて求めたＫ個の中心に基づいて、最終的な円の
中心：Ｃが決定される（式１、式３参照）。

【０１３８】ステップＳ１０７では、算出した円の直
径：Ｄ、および円の中心：Ｃに基づいて、カメラの位置
・姿勢、ズームの調整によるキャリブレーションを実行
するか、あるいは画像処理を実行する。

【０１３９】これらの処理により、多視点画像を撮影す
るカメラの撮影画像に基づいて各カメラの位置・姿勢、
ズームの調整を正確に実行でき、撮影後の映像について
のカメラ切り換え処理を行なった場合において、切り換
え時の被写体のぶれ等、表示態様の突然の変化が発生す
ることのない良好な画像が提供可能となり、また、多視
点画像を撮影するカメラについての位置・姿勢、ズーム
の調整を正確に実行していない場合であっても、各カメ
ラの取得画像に基づいて、画像処理を実行することによ
り、撮影画像に基づいて各カメラの位置・姿勢、ズーム
の画像上での補正処理が可能となり、画像処理された映
像についてのカメラ切り換え処理を行なった場合におい
て、切り換え時の被写体のぶれ等、表示態様の突然の変
化が発生することのない良好な画像が提供可能となる。

【０１４０】なお、上述の実施例では、各種パラメータ
を算出する際の被写体としてボールを設定したが、必ず
しもボールでなくてもよく、球体形状のものであれば構
わない。また２次元方向のみを考慮する場合には、円柱
状の形状を被写体等を用いることも可能であり、用途に
応じて他の形状の被写体を用いることが可能である。

【０１４１】以上、特定の実施例を参照しながら、本発
明について詳解してきた。しかしながら、本発明の要旨
を逸脱しない範囲で当業者が該実施例の修正や代用を成
し得ることは自明である。すなわち、例示という形態で
本発明を開示してきたのであり、限定的に解釈されるべ
きではない。本発明の要旨を判断するためには、冒頭に
記載した特許請求の範囲の欄を参酌すべきである。

【０１４２】なお、明細書中において説明した一連の処
理はハードウェア、またはソフトウェア、あるいは両者
の複合構成によって実行することが可能である。ソフト
ウェアによる処理を実行する場合は、処理シーケンスを
記録したプログラムを、専用のハードウェアに組み込ま
れたコンピュータ内のメモリにインストールして実行さ
せるか、あるいは、各種処理が実行可能な汎用コンピュ
ータにプログラムをインストールして実行させることが
可能である。

【０１４３】例えば、プログラムは記録媒体としてのハ
ードディスクやＲＯＭ（Read OnlyMemory)に予め記録し
ておくことができる。あるいは、プログラムはフレキシ
ブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only
Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Dig
ital Versatile Disc)、磁気ディスク、半導体メモリな
どのリムーバブル記録媒体に、一時的あるいは永続的に
格納（記録）しておくことができる。このようなリムー
バブル記録媒体は、いわゆるパッケージソフトウエアと
して提供することができる。

【０１４４】なお、プログラムは、上述したようなリム
ーバブル記録媒体からコンピュータにインストールする
他、ダウンロードサイトから、コンピュータに無線転送
したり、ＬＡＮ(Local Area Network)、インターネット
といったネットワークを介して、コンピュータに有線で
転送し、コンピュータでは、そのようにして転送されて
くるプログラムを受信し、内蔵するハードディスク等の
記録媒体にインストールすることができる。

【０１４５】なお、明細書に記載された各種の処理は、
記載に従って時系列に実行されるのみならず、処理を実
行する装置の処理能力あるいは必要に応じて並列的にあ
るいは個別に実行されてもよい。また、本明細書におい
てシステムとは、複数の装置の論理的集合構成であり、
各構成の装置が同一筐体内にあるものには限らない。

【０１４６】

【発明の効果】以上説明してきたように、本発明の構成
によれば、多視点画像を撮影するカメラの撮影画像に基
づいて各カメラの位置・姿勢、ズームの調整を正確に実
行でき、撮影後の映像についてのカメラ切り換え処理を
行なった場合において、切り換え時の被写体のぶれ等、
表示態様の突然の変化が発生することのない良好な画像
が提供可能となる。

【０１４７】また、本発明の構成によれば、多視点画像
を撮影するカメラについての位置・姿勢、ズームの調整
を正確に実行していない場合であっても、各カメラの取
得画像に基づいて、画像処理を実行することにより、撮
影画像に基づいて各カメラの位置・姿勢、ズームの画像
上での補正処理が可能となり、画像処理された映像につ
いてのカメラ切り換え処理を行なった場合において、切
り換え時の被写体のぶれ等、表示態様の突然の変化が発
生することのない良好な画像が提供可能となる。

【０１４８】本発明の構成によれば、多視点画像撮影シ
ステムにおける各カメラ設定においては、実空間に置か
れた画像上識別可能なマーカー（例えば、ボール等）を
各カメラにより観測しながら、そのボールの中心位置・
大きさを高速で精度良く抽出することによって、全ての
カメラが実空間のある対象を注視しているようなカメラ
設定・調整を容易に行うことが可能となり、また、カメ
ラ設定時の位置・姿勢・ズームなどの違いがあったとし
ても、画像補正の後処理によって、全てのカメラがあた
かも三次元空間のある対象を注目しているように、仮想
的なカメラ移動・回転を行うことが可能となった。

【図面の簡単な説明】

【図１】多視点画像撮影システムの構成例を示す図であ
る。

【図２】多視点画像撮影システムにおけるズーム処理に
ついて説明する図である。

【図３】多視点画像撮影システムの構成例を示す図であ
る。

【図４】多視点画像撮影システムの問題点について説明
する図である。

【図５】本発明の構成を持つシステムの処理について説
明する図である。

【図６】本発明のキャリブレーションおよび画像処理の
アルゴリズムについて説明する図である。

【図７】本発明のキャリブレーションおよび画像処理に
おける被写体中心の算出アルゴリズムについて説明する
図である。

【図８】本発明のキャリブレーションおよび画像処理に
おける被写体中心の算出アルゴリズムについて説明する
図である。

【図９】本発明のキャリブレーションおよび画像処理に
おける被写体中心の算出アルゴリズムについて説明する
図である。

【図１０】本発明の構成を適用した処理について説明す
る図である。

【図１１】本発明の構成を適用したカメラ位置・姿勢制
御処理について説明する図である。

【図１２】本発明のキャリブレーションおよび画像処理
におけるZ軸回りの回転補正アルゴリズムについて説明
する図である。

【図１３】本発明の構成を適用したズーム調整時のカメ
ラ位置・姿勢制御処理について説明する図である。

【図１４】本発明の処理構成を適用したズーム調整処理
について説明する図である。

【図１５】本発明の処理構成を適用した画像の例につい
て説明する図である。

【図１６】本発明の処理を説明するフロー図である。

【符号の説明】

１０１ 被写体 １１１〜１１５ カメラ １２１ 被写体 １３１〜１３５ カメラ ２０１ 被写体 ２１１〜２１５ カメラ ２２１〜２２５ 視野領域 ２３１ 被写体 ２４１〜２４５ カメラ ２５１〜２５５ 視野領域 ３０１ 被写体 ３１１ カメラ ３２１ Ａ／Ｄ変換部 ３２２ メモリ ３２３ 多視点映像生成・表示処理部 ５０１ 被写体 ５１１ カメラ ５３１，５３２ 撮影画像 ５４１，５４２ 補正画像 ６０１ カメラ ６０２ 画像メモリ ６０３ カメラ画像解析部 ６０４ 制御情報生成部 ６０５ カメラ位置・姿勢制御部 ６０６ カメラズーム制御部 ６１１ 画像処理部 ６１２ 出力部 １１００ 被写体 １１０１ 基準カメラ １１０２ 参照カメラ １３００ 被写体 １３０１ 基準カメラ １３０２ 参照カメラ

フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｅ Ｕ (72)発明者 横山 敦 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 林 和慶 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 2F065 AA03 AA26 AA52 FF04 JJ03 JJ05 JJ07 QQ31 UU05 5B057 AA20 BA02 BA17 BA19 DA07 DB03 DB09 DC16 DC22 DC30 DC32 DC36 5C022 AA01 AB61 AB62 AB66 AB68 5C054 FC12 FC14 FD02 FD07 FE21 HA17 5L096 AA06 AA09 BA08 CA05 DA02 FA06 FA62 FA69 GA08

Claims (26)

【特許請求の範囲】
1. 【請求項１】複数視点からの画像を撮影する複数カメラ
   によって構成される多視点画像生成装置であり、 被写体を撮影した各カメラの撮影画像における被写体中
   心位置と各カメラの撮影画像の特定座標位置との中心位
   置差異データ、および前記被写体の輪郭データの少なく
   ともいずれかを求める画像解析手段と、 前記画像解析手段の解析した前記中心位置差異データま
   たは前記輪郭データに基づいて、前記多視点画像生成装
   置を構成する各カメラの位置または姿勢制御情報または
   ズーム制御情報を生成する制御情報生成手段と、を有す
   ることを特徴とする多視点画像生成装置。
2. 【請求項２】前記被写体は、球体形状であり、 前記画像解析手段は、 各カメラの撮影画像における前記球体形状に相当する円
   の中心位置と各カメラの撮影画像の中心位置との差異に
   基づいて前記中心位置差異データを算出する構成を有す
   ることを特徴とする請求項１に記載の多視点画像生成装
   置。
3. 【請求項３】前記被写体は、球体形状であり、 前記画像解析手段は、 各カメラの撮影画像における前記球体形状に相当する円
   の中心位置と各カメラの撮影画像の中心位置との差異に
   基づいて前記中心位置差異データを算出する構成であ
   り、 前記球体形状に相当する円の輪郭に相当する形状を、画
   像の濃淡値解析により取得した最大濃淡値（輝度値）を
   持つトレース領域を濃淡値等高線として設定するととも
   に、該最大濃淡値（輝度値）等高線領域内部において１
   以上の濃淡値等高線を設定し、設定された複数の濃淡値
   等高線に対応する複数の中心位置に基づいて、前記球体
   形状に相当する円の中心位置を算出する構成を有するこ
   とを特徴とする請求項１に記載の多視点画像生成装置。
4. 【請求項４】前記画像解析手段は、 Ｋ本の濃淡値（輝度値）等高線の各中心Ｃｋを、複数
   （Ｎ個）の異なる方向フィルタを用いて設定されるＮ個
   の中心位置ｃ１〜ｃＮに基づいて次式によって算出し、 Ｃｋ＝（ｃ１＋ｃ２＋……＋ｃＮ）／Ｎ、（ただし、ｋ
   ＝１，２，……，Ｋであり、Ｋは濃淡値（輝度値）等高
   線の数である）、 さらに、前記球体形状に相当する円の中心位置を、次
   式、Ｃ＝（λ１Ｃ１＋λ２Ｃ２＋……＋λＫＣＫ）、
   （ただし、λｋは信頼度係数であり、濃淡値（輝度値）
   が高い等高線の順で、設定した重み係数であり、Σλｋ
   ＝１である）、 に基づいて算出する構成であることを特徴とする請求項
   ３に記載の多視点画像生成装置。
5. 【請求項５】前記画像解析手段は、 最大濃淡値（輝度値）を持つ等高線について、複数（Ｎ
   個）の異なる方向フィルタを用いて設定されるＮ個の直
   径データｄ１〜ｄＮに基づく式、 Ｄ＝（ｄ１＋ｄ２＋……＋ｄＮ）／Ｎ、 によって、撮影画像における前記球体形状に相当する画
   像の輪郭データとしての直径を算出する構成であること
   を特徴とする請求項３に記載の多視点画像生成装置。
6. 【請求項６】複数視点からの画像を撮影する複数カメラ
   によって構成される多視点画像撮影装置によって取得し
   た画像の処理を実行する画像処理装置であり、 被写体を撮影した各カメラの撮影画像における被写体中
   心位置と各カメラの撮影画像の特定座標位置との中心位
   置差異データ、および前記被写体の輪郭データの少なく
   ともいずれかを求める画像解析手段と、 前記画像解析手段の解析した前記中心位置差異データま
   たは前記輪郭データに基づいて、前記多視点画像生成装
   置を構成する各カメラの撮影画像の補正処理を実行する
   画像処理部と、 を有することを特徴とする画像処理装置。
7. 【請求項７】前記被写体は、球体形状であり、 前記画像解析手段は、 各カメラの撮影画像における前記球体形状に相当する円
   の中心位置と各カメラの撮影画像の中心位置との差異に
   基づいて前記中心位置差異データを算出する構成を有す
   ることを特徴とする請求項６に記載の画像処理装置。
8. 【請求項８】前記被写体は、球体形状であり、 前記画像解析手段は、 各カメラの撮影画像における前記球体形状に相当する円
   の中心位置と各カメラの撮影画像の中心位置との差異に
   基づいて前記中心位置差異データを算出する構成であ
   り、 前記球体形状に相当する円の輪郭に相当する形状を、画
   像の濃淡値解析により取得した最大濃淡値（輝度値）を
   持つトレース領域を濃淡値等高線として設定するととも
   に、該最大濃淡値（輝度値）等高線領域内部において１
   以上の濃淡値等高線を設定し、設定された複数の濃淡値
   等高線に対応する複数の中心位置に基づいて、前記球体
   形状に相当する円の中心位置を算出する構成を有するこ
   とを特徴とする請求項６に記載の画像処理装置。
9. 【請求項９】前記画像解析手段は、 Ｋ本の濃淡値（輝度値）等高線の各中心Ｃｋを、複数
   （Ｎ個）の異なる方向フィルタを用いて設定されるＮ個
   の中心位置ｃ１〜ｃＮに基づいて次式によって算出し、 Ｃｋ＝（ｃ１＋ｃ２＋……＋ｃＮ）／Ｎ、（ただし、ｋ
   ＝１，２，……，Ｋであり、Ｋは濃淡値（輝度値）等高
   線の数である）、 さらに、前記球体形状に相当する円の中心位置を、次
   式、 Ｃ＝（λ１Ｃ１＋λ２Ｃ２＋……＋λＫＣＫ）、（ただ
   し、λｋは信頼度係数であり、濃淡値（輝度値）が高い
   等高線の順で、設定した重み係数であり、Σλｋ＝１で
   ある）、 に基づいて算出する構成であることを特徴とする請求項
   ８に記載の画像処理装置。
10. 【請求項１０】前記画像解析手段は、 最大濃淡値（輝度値）を持つ等高線について、複数（Ｎ
    個）の異なる方向フィルタを用いて設定されるＮ個の直
    径データｄ１〜ｄＮに基づく式、 Ｄ＝（ｄ１＋ｄ２＋……＋ｄＮ）／Ｎ、 によって、撮影画像における前記球体形状に相当する画
    像の輪郭データとしての直径を算出する構成であること
    を特徴とする請求項８に記載の画像処理装置。
11. 【請求項１１】前記画像解析手段は、 多視点画像撮影手段を構成する複数カメラから選択され
    た基準カメラの撮影画像における輪郭データとしての直
    径値と、画像補正対象となる他の参照カメラの取得した
    撮影画像における輪郭データの直径値との直径比較デー
    タを取得し、 前記画像処理部は、 前記直径比較データに基づいて、前記参照カメラの取得
    画像の画素位置変更処理を実行する構成であることを特
    徴とする請求項１０に記載の画像処理装置。
12. 【請求項１２】前記画像処理部は、 前記直径比較データに基づく、前記参照カメラの取得画
    像の画素位置変更処理において、位置変更後の画素値を
    変更前の画素位置の近傍画素値に基づく線形補正によっ
    て決定する処理を実行する構成を有することを特徴とす
    る請求項１１に記載の画像処理装置。
13. 【請求項１３】複数視点からの画像を撮影する複数カメ
    ラによって構成される多視点画像生成装置において実行
    する多視点画像生成方法であり、 被写体を撮影した各カメラの撮影画像における被写体中
    心位置と各カメラの撮影画像の特定座標位置との中心位
    置差異データ、および前記被写体の輪郭データの少なく
    ともいずれかを求める画像解析ステップと、 前記画像解析ステップにおいて解析した前記中心位置差
    異データまたは前記輪郭データに基づいて、前記多視点
    画像生成装置を構成する各カメラの位置または姿勢制御
    情報またはズーム制御情報を生成する制御情報生成ステ
    ップと、を有することを特徴とする多視点画像生成方
    法。
14. 【請求項１４】前記被写体は、球体形状であり、 前記画像解析ステップは、 各カメラの撮影画像における前記球体形状に相当する円
    の中心位置と各カメラの撮影画像の中心位置との差異に
    基づいて前記中心位置差異データを算出するステップを
    含むことを特徴とする請求項１３に記載の多視点画像生
    成方法。
15. 【請求項１５】前記被写体は、球体形状であり、 前記画像解析ステップは、 各カメラの撮影画像における前記球体形状に相当する円
    の中心位置と各カメラの撮影画像の中心位置との差異に
    基づいて前記中心位置差異データを算出するステップを
    含み、 前記球体形状に相当する円の輪郭に相当する形状を、画
    像の濃淡値解析により取得した最大濃淡値（輝度値）を
    持つトレース領域を濃淡値等高線として設定するととも
    に、該最大濃淡値（輝度値）等高線領域内部において１
    以上の濃淡値等高線を設定し、設定された複数の濃淡値
    等高線に対応する複数の中心位置に基づいて、前記球体
    形状に相当する円の中心位置を算出することを特徴とす
    る請求項１３に記載の多視点画像生成方法。
16. 【請求項１６】前記画像解析ステップは、 Ｋ本の濃淡値（輝度値）等高線の各中心Ｃｋを、複数
    （Ｎ個）の異なる方向フィルタを用いて設定されるＮ個
    の中心位置ｃ１〜ｃＮに基づいて次式によって算出し、 Ｃｋ＝（ｃ１＋ｃ２＋……＋ｃＮ）／Ｎ、（ただし、ｋ
    ＝１，２，……，Ｋであり、Ｋは濃淡値（輝度値）等高
    線の数である）、 さらに、前記球体形状に相当する円の中心位置を、次
    式、 Ｃ＝（λ１Ｃ１＋λ２Ｃ２＋……＋λＫＣＫ）、（ただ
    し、λｋは信頼度係数であり、濃淡値（輝度値）が高い
    等高線の順で、設定した重み係数であり、Σλｋ＝１で
    ある）、 に基づいて算出することを特徴とする請求項１５に記載
    の多視点画像生成方法。
17. 【請求項１７】前記画像解析ステップは、 最大濃淡値（輝度値）を持つ等高線について、複数（Ｎ
    個）の異なる方向フィルタを用いて設定されるＮ個の直
    径データｄ１〜ｄＮに基づく式、 Ｄ＝（ｄ１＋ｄ２＋……＋ｄＮ）／Ｎ、 によって、撮影画像における前記球体形状に相当する画
    像の輪郭データとしての直径を算出することを特徴とす
    る請求項１５に記載の多視点画像生成方法。
18. 【請求項１８】複数視点からの画像を撮影する複数カメ
    ラによって構成される多視点画像撮影装置によって取得
    した画像の処理を実行する画像処理方法であり、 被写体を撮影した各カメラの撮影画像における被写体中
    心位置と各カメラの撮影画像の特定座標位置との中心位
    置差異データ、および前記被写体の輪郭データの少なく
    ともいずれかを求める画像解析ステップと、 前記画像解析ステップの解析した前記中心位置差異デー
    タまたは前記輪郭データに基づいて、前記多視点画像生
    成装置を構成する各カメラの撮影画像の補正処理を実行
    する画像処理ステップと、 を有することを特徴とする画像処理方法。
19. 【請求項１９】前記被写体は、球体形状であり、 前記画像解析ステップは、 各カメラの撮影画像における前記球体形状に相当する円
    の中心位置と各カメラの撮影画像の中心位置との差異に
    基づいて前記中心位置差異データを算出することを特徴
    とする請求項１８に記載の画像処理方法。
20. 【請求項２０】前記被写体は、球体形状であり、 前記画像解析ステップは、 各カメラの撮影画像における前記球体形状に相当する円
    の中心位置と各カメラの撮影画像の中心位置との差異に
    基づいて前記中心位置差異データを算出するステップを
    含み、 前記球体形状に相当する円の輪郭に相当する形状を、画
    像の濃淡値解析により取得した最大濃淡値（輝度値）を
    持つトレース領域を濃淡値等高線として設定するととも
    に、該最大濃淡値（輝度値）等高線領域内部において１
    以上の濃淡値等高線を設定し、設定された複数の濃淡値
    等高線に対応する複数の中心位置に基づいて、前記球体
    形状に相当する円の中心位置を算出することを特徴とす
    る請求項１８に記載の画像処理方法。
21. 【請求項２１】前記画像解析ステップは、 Ｋ本の濃淡値（輝度値）等高線の各中心Ｃｋを、複数
    （Ｎ個）の異なる方向フィルタを用いて設定されるＮ個
    の中心位置ｃ１〜ｃＮに基づいて次式によって算出し、 Ｃｋ＝（ｃ１＋ｃ２＋……＋ｃＮ）／Ｎ、（ただし、ｋ
    ＝１，２，……，Ｋであり、Ｋは濃淡値（輝度値）等高
    線の数である）、 さらに、前記球体形状に相当する円の中心位置を、次
    式、 Ｃ＝（λ１Ｃ１＋λ２Ｃ２＋……＋λＫＣＫ）、（ただ
    し、λｋは信頼度係数であり、濃淡値（輝度値）が高い
    等高線の順で、設定した重み係数であり、Σλｋ＝１で
    ある）、 に基づいて算出することを特徴とする請求項２０に記載
    の画像処理方法。
22. 【請求項２２】前記画像解析ステップは、 最大濃淡値（輝度値）を持つ等高線について、複数（Ｎ
    個）の異なる方向フィルタを用いて設定されるＮ個の直
    径データｄ１〜ｄＮに基づく式、 Ｄ＝（ｄ１＋ｄ２＋……＋ｄＮ）／Ｎ、 によって、撮影画像における前記球体形状に相当する画
    像の輪郭データとしての直径を算出することを特徴とす
    る請求項２０に記載の画像処理方法。
23. 【請求項２３】前記画像解析ステップは、 多視点画像撮影ステップを構成する複数カメラから選択
    された基準カメラの撮影画像における輪郭データとして
    の直径値と、画像補正対象となる他の参照カメラの取得
    した撮影画像における輪郭データの直径値との直径比較
    データを取得し、 前記画像処理ステップは、 前記直径比較データに基づいて、前記参照カメラの取得
    画像の画素位置変更処理を実行することを特徴とする請
    求項２２に記載の画像処理方法。
24. 【請求項２４】前記画像処理ステップは、 前記直径比較データに基づく、前記参照カメラの取得画
    像の画素位置変更処理において、位置変更後の画素値を
    変更前の画素位置の近傍画素値に基づく線形補正によっ
    て決定する処理を実行することを特徴とする請求項２３
    に記載の画像処理方法。
25. 【請求項２５】複数視点からの画像を撮影する複数カメ
    ラによって構成される多視点画像生成装置における多視
    点画像生成処理を実行するコンピュータ・プログラムで
    あって、 被写体を撮影した各カメラの撮影画像における被写体中
    心位置と各カメラの撮影画像の特定座標位置との中心位
    置差異データ、および前記被写体の輪郭データの少なく
    ともいずれかを求める画像解析ステップと、 前記画像解析ステップにおいて解析した前記中心位置差
    異データまたは前記輪郭データに基づいて、前記多視点
    画像生成装置を構成する各カメラの位置または姿勢制御
    情報またはズーム制御情報を生成する制御情報生成ステ
    ップと、 を具備することを特徴とするコンピュータ・プログラ
    ム。
26. 【請求項２６】複数視点からの画像を撮影する複数カメ
    ラによって構成される多視点画像撮影装置によって取得
    した画像処理を実行するコンピュータ・プログラムであ
    って、 被写体を撮影した各カメラの撮影画像における被写体中
    心位置と各カメラの撮影画像の特定座標位置との中心位
    置差異データ、および前記被写体の輪郭データの少なく
    ともいずれかを求める画像解析ステップと、 前記画像解析ステップの解析した前記中心位置差異デー
    タまたは前記輪郭データに基づいて、前記多視点画像生
    成装置を構成する各カメラの撮影画像の補正処理を実行
    する画像処理ステップと、 を具備することを特徴とするコンピュータ・プログラ
    ム。