JP3971691B2 - 仮想視点画像生成方法及び仮想視点画像生成装置、ならびに仮想視点画像生成プログラム及び記録媒体 - Google Patents
仮想視点画像生成方法及び仮想視点画像生成装置、ならびに仮想視点画像生成プログラム及び記録媒体 Download PDFInfo
- Publication number
- JP3971691B2 JP3971691B2 JP2002318343A JP2002318343A JP3971691B2 JP 3971691 B2 JP3971691 B2 JP 3971691B2 JP 2002318343 A JP2002318343 A JP 2002318343A JP 2002318343 A JP2002318343 A JP 2002318343A JP 3971691 B2 JP3971691 B2 JP 3971691B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- virtual viewpoint
- depth information
- subject
- projection plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、仮想画像生成方法及び仮想画像生成装置、ならびに記録媒体に関し、特に、複数のカメラで撮影した被写体の画像を用いて、実際にはカメラがない視点位置（仮想視点位置）から前記被写体を見たときの画像（仮想視点画像）を生成する方法に適用して有効な技術に関するものである。
【０００２】
【従来の技術】
従来、コンピュータグラフィックス（Computer Graphics）やバーチャルリアリティ（Virtual Reality）技術により、被写体の周辺に設置したカメラで撮影した画像を用いて、実際にはカメラのない視点位置（以下、仮想視点位置と称する）から前記被写体を見たときの画像（以下、仮想視点画像と称する）を生成し、観察することができる。
また、近年は、前記ＣＧや前記ＶＲ技術が発達しており、より写実的な前記仮想視点画像を生成できるようになってきている。
【０００３】
前記仮想視点画像を生成する方法としては、大きく分けて幾何ベースと画像ベースの２種類がある。
前記幾何ベースの仮想視点画像生成方法は、前記被写体の幾何学的なモデルを取得した後に、前記モデルをポリゴンやボクセルと呼ばれる基本図形の集まりとして表現し、透視投影や正射影などの２次元変換を行い、仮想視点画像を生成する。
【０００４】
また、前記幾何学的なモデルを取得する方法としては、例えば、多視点画像間の対応する領域をマッチングして、三角測量の原理でその距離を求める方法（ステレオ法）がある（例えば、非特許文献１参照。）。
また、前記幾何学的なモデルを取得する方法には、前記ステレオ法の他にも、例えば、被写体の輪郭をもとに、空間中で前記被写体が占める領域を求める方法（Shape from Silhouette 法）と呼ばれる方法もある（例えば、非特許文献２参照。）。
また、その他にも、例えば、前記ステレオ法と前記 Shape from Silhouette 法を組み合わせた方法などがある（例えば、非特許文献３参照。）。
【０００５】
前記幾何学的なモデルを取得する方法は、コンピュータビジョン（Computer Vision）の分野では、Shape from X として数多くの研究がされている。
しかしながら、前記幾何ベースによる仮想視点画像生成方法は、画像処理自体が難しい、あるいはノイズに対して脆弱であるといった、コンピュータビジョンによるアプローチでは避けられない本質的な問題を持つ。そのため、画像生成処理に時間がかかるとともに、生成される仮想視点画像の品質（精度）が悪いという問題がある。
【０００６】
前記幾何ベースによる方法のうち、特に、前記ステレオ法では、画像間の対応関係を、画素ごとに検出するのは、本質的に困難な課題である（例えば、非特許文献４参照）。そのため、前記ステレオ法では、通常、いくつかの画素を集めたものに対してパターンマッチングを行うので、水平方向及び垂直方向の分解能が低く、不十分になる。
【０００７】
一方、前記画像ベースの仮想視点画像生成方法は、コンピュータグラフィックスの分野から生まれた方法であり、カメラにより多数の視点位置から撮影した画像をもとにして仮想生成画像を生成するが、明示的には被写体のモデルを求めず、２次元画像処理により生成する（例えば、非特許文献５、非特許文献６、非特許文献７参照。）。
【０００８】
前記画像ベースによる方法は、イメージベースドレンダリング（Image-Based Rendering）と呼ばれ、極めて単純な処理であるにもかかわらず、生成される画像は、写真のような写実性を持つ。
【０００９】
しかしながら、前記画像ベースによる方法は、前記幾何ベースによる方法と比べて、要求される多視点画像の視点位置の密度が高いので、結果としてデータ量が多くなる。そのため、静止している被写体に対して少しずつカメラを動かし、いったん多視点画像データをメモリや外部記憶装置上に記憶した後、前記多視点画像データを参照して、仮想視点画像を生成するという処理手順になる。
【００１０】
前記処理手順に沿った方法の場合、いったん前記多視点画像データを記憶した状態であれば、前記仮想視点画像を生成するのに要する時間は短くなるが、前記多視点画像データを記憶するまでの処理（オフライン処理）に時間がかかる。
【００１１】
以上のようなことから、前記画像ベースによる方法は、コミュニケーションなどの実時間性が要求される用途には不向きであり、主に、静止物体の鑑賞などに用いられている。
【００１２】
そこで、近年、前記被写体のモデルを取得する処理はしないものの、およそ被写体のある位置に平面という幾何構造を想定し、そこに多数のカメラからの画像のうち仮想視点位置に応じて部分画像を適切に投影して必要となるカメラの密度を小さくする方法が提案されている（例えば、非特許文献８参照。）。
【００１３】
前記カメラの密度を小さくする方法では、前記多視点画像データに要求される視点の密度は、実際にカメラを並べることができるほど現実的となり、多視点画像データを記憶するまでの時間を短縮することができる。そのため、前記被写体の画像の撮影から仮想視点画像の生成までの処理時間が短縮し、実時間での処理が可能となる。
【００１４】
なお、前記カメラの密度を小さくする方法では、多くの場合、被写体の実際の形状と、仮定した平面の形状が異なる。そのため、被写体上のある点が仮定した平面の位置から外れている場合、仮想視点画像上に写像された被写体の点は誤差を含む。
【００１５】
しかしながら、前記被写体の各点の誤差が、仮想視点画像に要求される精度よりも小さい場合は、実質的には問題にならない。このとき、前記仮想視点画像に要求される精度は、一般的に、前記仮想視点画像における１画素程度であり、１画素以内の誤差であれば問題にならない。
【００１６】
またこのとき、前記被写体の各点の誤差の最大値が、許容される範囲内に収まることが保証されるためには、前記被写体の各点が存在できる位置は、仮定した平面の前後の限られた領域となる。前記仮定した平面の前後は、被写体（画像）の奥行きに相当する。
【００１７】
前記奥行きの範囲の長さ（距離）は、等価被写界深度と呼ばれ、カメラの間隔との間にはトレードオフの関係がある。しかしながら、現実的にカメラを並べることができる間隔においては、前記等価被写界深度が不足しがちであり、被写体が人物の場合などは動作範囲が限定されるという欠点があった。そのため、前記カメラの密度を小さくする方法も、十分に実用的な方法であるとは言い難かった。
【００１８】
また、前記幾何ベースや前記画像ベースなどの仮想視点画像生成方法の進展が進む一方で、距離計測技術も進展が進んでいる。前記距離計測技術の分野では、対象物の情報を受動的にセンシングするだけでなく、対象物に参照光を照射してその結果を計測といった能動的なセンシングを行うアクティブ法と呼ばれる距離計測方法が提案されている。前記アクティブ法を用いた距離計測方法の代表例には、飛行時間法（time-of-flight method）に基づいた計測方法がある。
【００１９】
前記飛行時間法に基づいた距離計測方法は、参照光を計測対象に照射したときに、前記参照光が前記計測対象で反射して戻ってくるまでに要する時間から、前記計測対象までの距離を算出する方法である。
【００２０】
前記飛行時間法に基づいた距離計測を行う場合、以前は、計測対象の各点に対して参照光の照射と反射光の検出を行っていたので、計測対象全体の距離計測を行うには、前記計測対象全体で走査をしなければならなかった。そのため、計測対象が大きくなると、計測時間が長くなり、実時間での計測が困難であった。
【００２１】
しかしながら、近年の電子素子の発達により、前記計測対象上の複数の点を一度に計測することが可能になり、指定した計測地点からの対象物の奥行き情報を実時間のレベルで得ることが可能になった（例えば、特許文献１、非特許文献９、非特許文献１０参照。）。
【００２２】
また、前記距離計測方法には、前記飛行時間法に基づいた方法のほかに、光切断法と呼ばれる方法に基づいた計測方法がある。前記光切断法に基づいた計測方法も、近年、実時間での処理が可能になっている（例えば、非特許文献１１参照。）。
【００２３】
前記飛行時間法や前記光切断法に基づいた距離計測を行う距離計測装置は、水平方向及び垂直方向の分解能が高く、画素単位で計測対象の奥行き情報を求めることができる。
【００２４】
しかしながら、前記距離計測装置を用いた場合でも、奥行き方向の分解能はまだ十分とはいえず、被写体（計測対象）のモデルを生成できるほどの精度（性能）はないので、そのまま幾何ベースの仮想視点画像生成方法に適用することが難しい。
【００２５】
【非特許文献１】
Takeo Kanade et al.:"Virtualized Reality:Constructing Virtual Worlds from Real Scenes," IEEE MultiMedia, Vol.4, No.1, pp.34-47, 1997
【非特許文献２】
Wojciech Matusik et al.:"Image-Based Visual Hulls," SIGGRAPH2000 Conference Proceedings, pp.369-374, 2000
【非特許文献３】
片山美和ほか:多視点ハイビジョンカメラによる任意視点映像生成システムの試作, 2002年電子情報通信学会総合大会予稿集, p.160, 2002
【非特許文献４】
奥富正敏:「ステレオがなぜ難しいか」, 日本ロボット学会誌, Vol.16, No.6, pp.39-43, 1998
【非特許文献５】
Marc Levoy and Pat Hanrahan:"Light Field Rendering," SIGGRAPH'96 Conference Proceedings, pp.34-41, 1996
【非特許文献６】
Steven J. Gortler et al.:"The Lumigraph," SIGGRAPH'96 Conference Proceedings, pp.43-54, 1996
【非特許文献７】
片山昭宏ほか:「多視点画像の補間・再構成による視点追従型立体画像表示法」, 電子情報通信学会誌, Vol.J79-DII, No.5, pp.803-811, 1996
【非特許文献８】
國田豊ほか:「多眼カメラを用いた任意視点人物像の実時間生成システム」, 電子情報通信学会誌, Vol.J84-DII, No.1, pp.129-138, 2001
【非特許文献９】
G. J. Iddan and G. Yahav;"3D Imaging in the Studio(and Elesewhere...)," Proceedings of SPIE, Vol.4298, pp.48-55, 2001
【非特許文献１０】
河北真宏ほか:「三次元撮像装置 Axi-Vision Camera の開発」, ３次元画像コンファレンス'99, pp.151-156, 1999
【非特許文献１１】
S. Yoshikawa et al.:"A 48kframes/s CMOS Image Sensor for Real-time 3-D Sensing and Motion Detection," ISSCC Digest of Technical Papers, pp.94-95, 2001
【特許文献１】
米国特許第６３２３９４２号明細書
【００２６】
【発明が解決しようとする課題】
前記従来の技術で説明したように、前記仮想視点画像を生成するときに、例えば、生成する仮想視点画像の精度を高くしようとすると、画像を生成するために必要な処理時間が長くなるので、実時間レベルで仮想視点画像を生成することが難しいという問題があった。
また、逆に、実時間レベルで仮想視点画像を生成させようとすると、前記仮想視点画像を生成するために必要な処理時間は短くなるが、生成した仮想視点画像の精度が低くなるという問題があった。
【００２７】
本発明の目的は、複数のカメラで撮影した被写体の画像を用いて、仮想視点位置から前記被写体を見たときの仮想視点画像を生成する仮想視点画像生成方法及び装置において、生成する仮想視点画像の精度を保ち、かつ、仮想視点画像の生成にかかる処理時間を短くする（高速にする）ことが可能な技術を提供することにある。
【００２８】
本発明の他の目的は、前記仮想視点画像生成方法をコンピュータに実行させる仮想視点画像生成プログラム、及び前記仮想視点画像生成プログラムが記録された記録媒体を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかになるであろう。
【００２９】
【課題を解決するための手段】
本願において開示される発明のうち、代表的なものの概要を説明すれば、以下のとおりである。
【００３０】
第１の発明は、複数のカメラのそれぞれで撮影した複数枚の被写体の画像（以下、被写体画像と称する）を用いて、あらかじめ指定した視点位置（以下、仮想視点位置と称する）から見た前記被写体の画像（以下、仮想視点画像と称する）を生成する仮想視点画像生成方法であって、前記被写体の奥行き情報を取得する第１ステップと、複数の透明な画像投影面の配置、数、形状を設定する第２ステップと、前記各被写体画像の座標と前記画像投影面の座標との対応関係を決定する第３ステップと、前記被写体の奥行き情報に基づいて、前記複数の画像投影面のそれぞれに対して、画像を貼り付け可能な領域（以下、投影面部分領域と称する）を決定する第４ステップと、前記仮想視点位置に基づいて、前記被写体画像から、前記被写体画像のうち指定した画像投影面上の画像生成に用いる領域（以下、カメラ部分領域と称する）を決定し、前記カメラ部分領域の画像を抽出する第５ステップと、前記第５ステップで抽出した画像の座標を、前記第３ステップで決定した前記対応関係に基づいて、前記指定した画像投影面上の座標に変換する第６ステップと、前記第６ステップで座標変換をした画像のうち、前記投影面部分領域と重なる部分を、前記画像投影面に貼り付ける第７ステップと、すべての被写体画像について、前記第５ステップ、前記第６ステップ、前記第７ステップを繰り返し行う第８ステップと、前記第２ステップで設定したすべての画像投影面に対して、前記第５ステップ、前記第６ステップ、前記第７ステップ、前記第８ステップを繰り返し行う第９ステップと、前記画像が貼り付けられた前記画像投影面からなる３次元的な画像を、前記仮想視点位置から２次元化（レンダリング）して、前記仮想視点画像を生成する第１０ステップとを備え、前記第２ステップは、前記仮想視点画像の精度、及び前記仮想視点位置または前記仮想視点の移動範囲に応じて、前記画像投影面の配置、数、形状を設定する仮想視点画像生成方法である。
【００３１】
前記第１の発明によれば、従来の画像ベースの仮想視点画像生成方法と同様に、シンプルな画像貼り付け（テクスチャマッピング）処理により、短時間（高速）で仮想視点画像を生成することができる。
【００３２】
また、前記投影画像を貼り付ける画像投影面を複数枚設定し、実際に被写体が存在する位置に近い画像投影面に前記投影画像を貼り付けることができるので、前記被写体上の各点の実際の位置と、前記画像投影面に貼り付けられる前記投影画像上の位置のずれを小さくし、生成した仮想視点画像上の誤差を小さく抑えることができる。またこのとき、前記仮想視点画像における誤差が許容範囲内に収まるための前記被写体の奥行き範囲は、従来の画像投影面が１面の場合よりも広くすることができるので、前記被写体が複数の投影面にわたる広い奥行き範囲にあっても、前記仮想視点画像の誤差を許容範囲内に収めることができる。
【００３３】
また、前記仮想視点画像における誤差の大きさは、前記画像投影面の構成、すなわち前記画像投影面の配置、数、形状と前記仮想視点位置に依存し、前記画像投影面の構成を精緻にするほど、生成される仮想視点画像の誤差が小さくなる。しかしながら、前記画像投影面の構成は、前記仮想視点画像に要求されている精度以上に、前記仮想視点画像の誤差を小さくなるようにする必要はない。
【００３４】
そこで、前記第１の発明のように、前記画像投影面の構成を、前記仮想視点画像で要求される精度を満たすように、前記仮想視点位置または移動範囲に応じて自動的に設定する。このとき、前記画像投影面の構成の精緻さは、前記仮想視点画像で要求される精度を満たす程度に制限されるので、画像生成にかかる処理時間も制限される。そのため、余計な計算による負荷を軽減させることができ、高速（短時間）で仮想視点画像を生成することができる。
【００３５】
第２の発明は、前記第１の発明において、前記第１ステップは、前記仮想視点位置または移動範囲、及び前記仮想視点画像で許容される誤差に応じて、前記被写体の奥行き情報の分解能及び計測範囲を決定する仮想視点画像生成方法である。
【００３６】
前記第２の発明によれば、前記奥行き情報の計測は、画像投影面を構成するために必要な分解能と計測範囲に制限することができ、計測時間を短縮できるとともに、前記奥行き情報の信頼性を向上させることができる。
【００３７】
前記奥行き情報を計測する方法として、例えば、能動型の距離計測方法を用いる場合、前記奥行き情報の分解能と計測範囲の決定要因は、主に、参照光の符号化方式による。そのため、被写体や前記被写体の周囲の状態の影響を受けにくく、計測時間の短縮、及び前記奥行き情報の信頼性の向上を実現することができる。
【００３８】
第３の発明は、前記第１の発明または前記第２の発明において、前記第４ステップは、前記仮想視点位置に応じて、前記投影面部分領域を決定する仮想視点画像生成方法である。
【００３９】
前記第３の発明によれば、前記仮想視点位置に応じて、前記投影面部分領域を随時変化させることで、前記仮想視点位置が移動したときに、隣り合う画像投影面の投影面部分領域の隙間から、前記投影画像のない領域が露見することを防げ、生成した仮想視点画像の劣化を抑制することができる。
【００４０】
第４の発明は、前記第１の発明及び前記第２の発明、ならびに前記第３の発明において、前記第１ステップは、複数の地点から前記被写体の奥行き情報を取得し、前記第４ステップは、前記複数の地点から取得した複数の奥行き情報のうち、前記仮想視点位置に応じた奥行き情報を選択して用いる仮想視点画像生成方法である。
【００４１】
前記第４の発明によれば、複数の地点から取得した複数の奥行き情報から１つの奥行き情報を選択することで、前記被写体の形状に起因する奥行き情報の欠損を生じにくくすることができる。そのため、生成する仮想視点画像の劣化を防ぐことができ、画像の品質を高くすることができる。
【００４２】
第５の発明は、前記第１の発明及び前記第２の発明、ならびに前記第３の発明において、前記第１ステップは、複数の地点から前記被写体の奥行き情報を取得し、前記第４ステップは、前記複数の地点から取得した複数の奥行き情報を統合して用いる仮想視点画像生成方法である。
【００４３】
前記第５の発明によれば、特定の計測地点からは奥行き情報が取得できない領域の奥行き情報を、他の計測地点から取得した奥行き情報で補うことができる。そのため、前記第４の発明と同様に、奥行き情報の欠損を防ぐことができ、生成する仮想視点画像の劣化を防ぐことができる。
【００４４】
第６の発明は、複数のカメラのそれぞれで撮影した複数枚の被写体の画像（以下、被写体画像と称する）を用いて、あらかじめ指定した視点位置（以下、仮想視点位置と称する）から見た前記被写体の画像（以下、仮想視点画像と称する）を生成する仮想視点画像生成装置であって、前記複数枚の被写体の画像を取得する被写体画像取得手段と、前記被写体の奥行き情報を取得する奥行き情報取得手段と、複数の透明な画像投影面の配置、数、形状を設定する画像投影面設定手段と、前記各被写体画像の座標と前記画像投影面の座標との対応関係を決定する対応関係決定手段と、前記被写体の奥行き情報に基づいて、前記複数の画像投影面のそれぞれに対して、画像を貼り付け可能な領域（以下、投影面部分領域と称する）を決定する投影面部分領域決定手段と、前記仮想視点位置に基づいて、前記被写体画像のうち、指定した画像投影面上の画像生成に用いる領域（以下、カメラ部分領域と称する）を決定し、前記カメラ部分領域の画像を抽出するカメラ部分領域抽出手段と、前記抽出した画像の座標を、前記対応関係決定手段で決定した前記対応関係に基づいて、前記指定した画像投影面上の座標に変換する座標変換手段と、前記座標変換手段で座標変換をした画像のうち、前記指定した画像投影面の投影面部分領域と重なる部分を、前記画像投影面に貼り付ける投影用画像貼り付け手段と、すべての被写体画像について、前記カメラ部分領域抽出手段、前記座標変換手段、前記投影用画像貼り付け手段を繰り返し行ったか判定する第１判定手段と、すべての画像投影面に対して、前記カメラ部分領域抽出手段、前記座標変換手段、前記投影用画像貼り付け手段、前記第１判定手段を繰り返し行ったか判定する第２判定手段と、前記投影画像が貼り付けられた前記画像投影面からなる３次元的な画像を、前記仮想視点位置から２次元化（レンダリング）して、前記仮想視点画像を生成するレンダリング手段とを備え、前記画像投影面設定手段は、前記仮想視点画像の精度、及び前記仮想視点位置または前記仮想視点の移動範囲に応じて、前記画像投影面の配置、数、形状を設定する手段である仮想視点画像生成装置である。
【００４５】
前記第６の発明は、前記第１の発明である仮想視点画像生成方法を実現するための装置であり、前記各手段を備える仮想視点画像生成装置を用いることで、生成する仮想視点画像の精度を保ち、かつ、高速（短時間）で画像処理を行うことができる。
【００４６】
第７の発明は、前記第６の発明において、前記奥行き情報取得手段は、複数の計測地点から計測した奥行き情報を取得し、前記投影面部分領域決定手段は、複数の計測地点から計測した奥行き情報の中から、前記仮想視点位置に応じた奥行き情報を選択する奥行き情報選択手段を備える仮想視点画像生成装置である。
【００４７】
前記第７の発明によれば、前記第４の発明を実現するための奥行き情報選択手段を備えるので、奥行き情報の欠損を防ぐことができる。そのため、高品質の仮想視点画像を生成することができる。
【００４８】
第８の発明は、前記第６の発明において、前記奥行き情報取得手段は、複数の計測地点から計測した奥行き情報を取得し、前記投影面部分領域決定手段は、前記複数の計測地点から計測した奥行き情報を統合する奥行き情報統合手段を備える仮想視点画像生成装置である。
【００４９】
前記第８の発明によれば、前記第５の発明を実現するための奥行き情報統合手段を備えるので、奥行き情報の欠損を生じにくくすることができる。そのため、高品質の仮想視点画像を生成することができる。
【００５０】
第９の発明は、複数のカメラのそれぞれで撮影した複数枚の被写体の画像（以下、被写体画像と称する）を用いて、あらかじめ指定した視点位置（以下、仮想視点位置と称する）から見た前記被写体の画像（以下、仮想視点画像と称する）を生成させる仮想視点画像生成方法をコンピュータに実行させる仮想視点画像生成プログラムであって、前記仮想視点画像生成プログラムは、前記被写体の奥行き情報を取得させる手順１と、前記仮想視点画像の精度、及び前記仮想視点位置または前記仮想視点の移動範囲に応じて、複数の透明な画像投影面の配置、数、形状を設定させる手順２と、前記各被写体画像の座標と前記画像投影面の座標との対応関係を決定させる手順３と、前記被写体の奥行き情報に基づいて、前記複数の画像投影面のそれぞれに対して、画像を貼り付け可能な領域（以下、投影面部分領域と称する）を決定させる手順４と、前記仮想視点位置に基づいて、前記被写体画像から、前記被写体画像のうち指定した画像投影面上の画像生成に用いる領域（以下、カメラ部分領域と称する）を決定させ、前記カメラ部分領域の画像を抽出させる手順５と、前記手順５で抽出した画像の座標を、前記手順３で決定した前記対応関係に基づいて、前記指定した画像投影面上の座標に変換させる手順６と、前記手順６で座標変換をした画像のうち、前記投影面部分領域と重なる部分を、前記画像投影面に貼り付けさせる手順７と、すべての被写体画像について、前記手順５、前記手順６、前記手順７を繰り返し行わせる手順８と、前記手順２で設定したすべての画像投影面に対して、前記手順５、前記手順６、前記手順７、前記手順８を繰り返し行わせる手順９と、前記画像が貼り付けられた前記画像投影面からなる３次元的な画像を、前記仮想視点位置から２次元化（レンダリング）させて、前記仮想視点画像を生成させる手順１０とをコンピュータに実行させる仮想視点画像生成プログラムである。
【００５１】
第１０の発明は、前記第９の発明において、前記手順１は、前記仮想視点位置または移動範囲、及び前記仮想視点画像で許容される誤差に応じて、前記被写体の奥行き情報の分解能及び計測範囲を決定させる仮想視点画像生成プログラムである。
【００５２】
第１１の発明は、前記第９の発明または第１０の発明において、前記手順４は、
前記仮想視点位置に応じて、前記投影面部分領域を決定させる仮想視点画像生成プログラムである。
【００５３】
第１２の発明は、前記第９の発明乃至第１１の発明のいずれかにおいて、前記手順１は、複数の地点から前記被写体の奥行き情報を取得させ、前記手順４は、前記複数の地点から取得した複数の奥行き情報のうち、前記仮想視点位置に応じた奥行き情報を選択させる仮想視点画像生成プログラムである。
【００５４】
第１３の発明は、前記第９の発明乃至第１１の発明において、前記手順１は、複数の地点から前記被写体の奥行き情報を取得させ、前記手順４は、前記複数の地点から取得した複数の奥行き情報を統合させる仮想視点画像生成プログラムである。
【００５５】
前記第９の発明乃至前記第１３の発明は、前記第１の発明乃至前記第５の発明である仮想視点画像生成方法を、コンピュータに実行させることができるプログラムであり、専用の装置を用いることなく、仮想視点画像を生成させることができる。
【００５６】
第１４の発明は、前記第９の発明乃至第１３の発明のいずれか１つの仮想視点画像生成プログラムが記録された記録媒体である。
前記第１４の発明によれば、専用の装置を用いることなく、前記仮想視点画像を容易に生成させることができる。
【００５７】
以下、本発明について、図面を参照して実施の形態（実施例）とともに詳細に説明する。
なお、実施例を説明するための全図において、同一機能を有するものは、同一符号を付け、その繰り返しの説明は省略する。
【００５８】
【発明の実施の形態】
（実施例１）
図１及び図２は、本発明による実施例１の仮想画像生成装置の概略構成を示す模式図であり、図１は仮想画像生成装置全体の構成を示すブロック図、図２は図１の部分画像抽出貼り付け手段の構成を示すブロック図である。
【００５９】
図１において、１は仮想視点画像生成装置、１０１は被写体画像取得手段、１０２は奥行き情報取得手段、１０３は画像投影面設定手段、１０４は対応関係決定手段、１０５は部分画像抽出貼り付け手段、１０６はレンダリング手段、２はカメラ、３は被写体、４は奥行き情報計測手段、５は視点位置入力手段、６は表示手段である。また、図２において、１０５ａは初期化手段、１０５ｂは投影面部分領域決定手段、１０５ｃはカメラ部分領域抽出手段、１０５ｄは座標変換手段、１０５ｅは投影用画像貼り付け手段、１０５ｆは第１判定手段、１０５ｇは第２判定手段である。
【００６０】
本実施例１の仮想画像生成装置１は、図１に示すように、複数のカメラ２で撮影した被写体３の画像を取得する被写体画像取得手段１０１と、奥行き情報計測手段４を用いて計測した前記被写体３の奥行き情報を取得する奥行き情報取得手段１０２と、複数の透明な画像投影面の配置、数、形状を設定する画像投影面設定手段１０３と、前記各被写体画像の座標と前記画像投影面の座標との対応関係を決定する対応関係決定手段１０４と、前記被写体画像取得手段１０１で取得した被写体画像、前記奥行き情報取得手段１０２で取得した奥行き情報、前記対応関係決定手段１０４で決定した対応関係を用いて、前記被写体画像を部分的に抽出し、前記画像投影面設定手段１０３で設定した画像投影面上に貼り付ける部分画像抽出貼り付け手段１０５と、前記部分画像抽出貼り付け手段１０５で画像を貼り付けた画像投影面を、視点位置入力手段５から入力した仮想視点位置でレンダリング（２次元化）するレンダリング手段１０６とにより構成されている。
【００６１】
また、前記部分画像抽出貼り付け手段１０５は、図２に示すように、初期化手段１０５ａと、前記被写体３の奥行き情報に基づいて、前記複数の画像投影面のそれぞれに対して、画像を貼り付け可能な領域（以下、投影面部分領域と称する）を決定する投影面部分領域決定手段１０５ｂと、前記仮想視点位置に基づいて、前記被写体画像から、前記被写体画像のうち指定した画像投影面上の画像生成に用いる領域（以下、カメラ部分領域と称する）を決定し、前記カメラ部分領域の画像を抽出するカメラ部分領域抽出手段１０５ｃと、前記カメラ部分領域の画像の座標を、前記対応関係決定手段１０４で決定した前記対応関係に基づいて、前記画像投影面上の座標に変換する座標変換手段１０５ｄと、前記座標変換手段１０５ｄで座標変換をした画像のうち、前記指定した画像投影面の投影面部分領域と重なる部分を、前記画像投影面に貼り付ける投影用画像貼り付け手段１０５ｅと、すべての被写体画像について、前記カメラ部分領域抽出手段１０５ｃ、前記座標変換手段１０５ｄ、前記投影用画像貼り付け手段１０５ｅを繰り返し行ったか判定する第１判定手段１０５ｆと、すべての画像投影面に対して、前記カメラ部分領域抽出手段１０５ｃ、前記座標変換手段１０５ｄ、前記投影用画像貼り付け手段１０５ｅ、前記第１判定手段１０５ｆを繰り返し行ったか判定する第２判定手段１０５ｇとを備える。
【００６２】
このとき、前記画像投影面設定手段１０３は、生成する仮想視点画像の精度、及び前記仮想視点位置または前記仮想視点の移動範囲に応じて、前記画像投影面の配置、数、形状を設定する。
【００６３】
また、前記カメラ２は、例えば、図１に示したように、光軸が被写体３の方向を向くように配置する。このとき、前記複数のカメラ２で撮影した各画像、すなわち、さまざまな方向から撮影した前記被写体３の画像は、前記仮想視点画像生成装置１に設けられた前記被写体画像取得手段１０１に転送される。
【００６４】
また、前記奥行き情報計測手段４は、例えば、Time of Flight 法を用いる能動的計測器などの奥行き計測器である。前記奥行き情報計測手段４で計測した前記被写体３の奥行き情報は、前記仮想視点画像生成装置１に設けられた前記奥行き情報保存手段１０２に転送される。
【００６５】
また、前記仮想視点画像生成装置１は、例えば、コンピュータであり、前記仮想視点画像を生成するために設けられた各手段は、例えば、あらかじめ定められたプログラムに沿って実行されるものとする。
【００６６】
また、前記仮想視点位置は、例えば、キーボードやマウスなどの視点位置入力手段５を用いて入力する。また、前記仮想視点画像生成装置１で生成させた仮想視点画像は、ＣＲＴや液晶ディスプレイなどの表示手段６に表示される。このとき、前記視点位置入力手段５や前記表示手段６は、前記仮想視点画像生成装置１の近傍にあってもよいし、遠隔地に設置して、ネットワーク回線等で接続されたものであってもよい。
【００６７】
本実施例１の仮想視点画像生成装置１を用いて仮想視点画像を生成するときには、まず、被写体画像取得手段１０１において、前記複数台のカメラ２で撮影した前記被写体３の画像を取得する。このとき、例えば、Ｎ台のカメラ２で前記被写体３の画像を撮影したとすると、前記被写体画像取得手段１０１は、Ｎ枚の被写体画像ＣＰｉ（ｉ＝１，２，…，Ｎ）を取得する。
【００６８】
またこのとき、前記複数台のカメラ２の配置は、図１に示したような、各カメラ２の光軸が前記被写体３の方向を向く配置でなくてもかまわない。すなわち、前記カメラ２は、例えば、前記被写体３が置かれた点を中心とした円の円周上に、前記被写体３を囲むように配置してもよい。また、前記カメラ２は、図１に示したような、円弧状の配列に限らず、例えば、１列（線状）に配置してもよいし、２次元格子状に配置してもよい。
【００６９】
また、前記被写体３が時間とともに移動する物体（動物体）であるときには、前記被写体３の動きに合わせて、定期的な間隔で前記被写体３を撮影し、前記被写体画像取得手段１０１に転送する。
【００７０】
また、前記奥行き情報計測手段４は、例えば、前記複数台のカメラ２が設置された状態で、前記被写体３全体の奥行き情報を取得できるような場所に配置する。このとき、前記奥行き情報計測手段４で計測した情報を前記奥行き情報取得手段１０２に転送するが、前記奥行き情報取得手段１０２で取得する奥行き情報は、前記被写体３の完全な３次元形状を表す情報である必要はなく、一般にデプスマップと呼ばれる２次元座標に対して奥行き値を持つ情報であればよい。
【００７１】
また、前記奥行き情報計測手段４は、図１に示したように、１つであってもよいし、複数台設置して、様々な角度から前記被写体１の奥行き情報を取得してもよい。
【００７２】
また、前記奥行き情報計測手段４としては、前記被写体３の２次元画像及び奥行き情報の両方を取得できる計測器を用いることもできる。この場合、前記複数台のカメラ２のうちのいくつかに替えて、前記計測器を用いることもできる。
【００７３】
また、前記被写体３が動物体であるときには、例えば、前記カメラ２で画像を撮影するときと同じように、定期的な間隔で前記被写体３の奥行き情報を計測し、前記奥行き情報取得手段１０２に転送する。
【００７４】
また、前記被写体画像ＣＰｉ、及び前記被写体３の奥行き情報を用いて仮想視点画像を生成するときには、前記画像投影面設定手段１０３、前記対応関係決定手段１０４、部分画像抽出貼り付け手段１０５、前記レンダリング手段１０６の各手段による画像処理を行う。以下、前記各手段を用いた画像処理による仮想視点画像の生成方法について説明する。
【００７５】
図３は、本実施例１の仮想視点画像生成装置を用いた仮想視点画像生成方法を説明するための模式図であり、仮想視点画像生成装置内で行う画像処理のフローチャートである。
【００７６】
前記仮想視点画像生成装置１を用いて画像処理を行うときには、まず、図３に示すように、前記仮想視点画像生成装置１内の空間に、複数の透明な画像投影面Ｌｊ（ｊ＝１，２，…，Ｍ）を設定する（ステップ７０１）。前記画像投影面Ｌｊを設定するステップ７０１は、前記仮想視点画像生成装置１に設けられた画像投影面設定手段１０３で行う。
【００７７】
このとき、前記画像投影面Ｌｊは透明であるため、画像を何も投影しない状態、すなわち、画像を貼り付けていない状態では、レンダリングに影響を与えない。そのため、後方にある画像投影面に画像を貼り付けたとき、前方にある画像投影面の、前記後方の画像投影面の前記画像が貼り付けられた領域に、画像が貼り付けられていなければ、前記後方の画像投影面に貼り付けられた画像が透けて見える。
【００７８】
また、前記画像投影面Ｌｊの配置、数、形状は、仮想視点位置に応じて、生成する仮想視点画像で要求される精度を満たすように、仮想視点位置に応じて最適かつ自動的に設定される。このときの、前記画像投影面Ｌｊの設定方法の詳細については、後で説明する。
【００７９】
次に、図３に示すように、前記各被写体画像ＣＰｉの座標と前記各画像投影面Ｌｊの座標との対応関係Ｔｉｊを決定する（ステップ７０２）。前記対応関係Ｔｉｊを決定するステップ７０２は、前記仮想視点画像生成装置１に設けられた対応関係決定手段１０４で行う。
【００８０】
前記対応関係Ｔｉｊは、前記被写体画像ＣＰｉのすべての点（画素）の対応関係を決めてもよいし、前記被写体画像ＣＰｉ上の代表的な点（画素）の対応関係だけを決めておき、その他の点は決定した対応関係に基づいて補完するようにしてもよい。
【００８１】
また、前記被写体画像ＣＰｉが、理想的な透視変換とみなせるならば、前記対応関係Ｔｉｊを透視変換行列とすることも可能である。また、実測値に基づいたデータを用いることで、前記被写体画像ＣＰｉ上に現れるレンズの歪曲収差を補正して、前記画像投影面Ｌｊ上に投影することができる。
【００８２】
次に、図３に示すように、前記被写体画像ＣＰｉの変数ｉと前記画像投影面Ｌｊの変数ｊのそれぞれを初期化して、ｉ＝１、ｊ＝１とする（ステップ７０３）。前記変数ｉ，ｊの初期化は、前記部分画像抽出貼り付け手段１０５に設けた初期化手段１０５ａで行う。
【００８３】
次に、図３に示すように、前記奥行き情報取得手段１０２で取得した奥行き情報に基づいて、前記画像投影面Ｌｊ上の投影面部分領域Ｓｊを決定する（ステップ７０４）。前記投影面部分領域Ｓｊを決定するステップ７０４は、前記部分画像抽出貼り付け手段１０５に設けられた投影面部分領域決定手段１０５ｂで行う。
【００８４】
このとき、前記投影面部分領域Ｓｊは、仮想視点画像を生成するために、前記被写体画像ＣＰｉの一部を貼り付ける領域である。このときの、前記投影面部分領域Ｓｊの決定方法の詳細については、後で説明する。
また、本実施例１では、前記奥行き情報は、図１に示したように、１つの奥行き情報計測手段４で計測した１種類の奥行き情報を用いることにする。
【００８５】
次に、図３に示すように、指定した被写体画像ＣＰｉ（例えば、第１被写体画像ＣＰ１）のうち、指定した画像投影面Ｌｊ（例えば、第１画像投影面Ｌ１）上の画像生成に用いるカメラ部分領域Ｒｉｊを決定して抽出する（ステップ７０５）。前記カメラ部分領域Ｒｉｊを抽出するステップ７０５は、前記部分画像抽出貼り付け手段１０５に設けられたカメラ部分領域抽出手段１０５ｃで行う。
【００８６】
このとき、前記カメラ部分領域Ｒｉｊは、生成する仮想視点画像に生じる誤差が最小となるように、仮想視点位置に応じて決定する。このときの、前記カメラ部分領域Ｒｉｊの決定方法の詳細については、後で説明する。
【００８７】
次に、図３に示すように、前記カメラ部分領域Ｒｉｊの各点（画素）の座標を、前記対応関係Ｔｉｊで変換する（ステップ７０６）。前記座標を変換するステップ７０６は、前記カメラ部分領域抽出手段１０５に設けられた座標変換手段１０５ｄで行う。
このとき、前記カメラ部分領域Ｒｉｊの画像は、前記画像投影面Ｌｊでは、領域Ｕｉｊの画像となる。
【００８８】
次に、図３に示すように、前記領域Ｕｉｊの画像のうち、前記ステップ７０４で決定した前記投影面部分領域Ｓｊと重なった部分を、前記画像投影面Ｌｊに貼り付ける（ステップ７０７）。前記画像を画像投影面Ｌｊに貼り付けるステップ７０７は、部分画像抽出貼り付け手段１０５に設けられた投影用画像貼り付け手段１０５ｅで行う。
【００８９】
次に、前記被写体画像ＣＰｉの変数ｉを更新（ステップ７０８）し、すべての被写体画像に対して、前記ステップ７０５、前記ステップ７０６、前記ステップ７０７の処理を行ったか判定する（ステップ７０９）。前記ステップ７０８及び前記ステップ７０９は、部分画像抽出貼り付け手段１０５に設けられた第１判定手段１０５ｆで行う。
【００９０】
このとき、すべての被写体画像について前記ステップ７０５から前記ステップ７０７までの処理が済んでいれば、次のステップに進み、未処理の被写体画像があれば、前記カメラ部分領域Ｒｉｊを決定するステップ７０５に戻り、前記未処理の被写体画像について前記ステップ７０５から前記ステップ７０７を行う。
【００９１】
次に、前記画像投影面Ｌｊの変数ｊを更新（ステップ７１０）し、すべての画像投影面に対して、前記ステップ７０５、前記ステップ７０６、前記ステップ７０７、前記ステップ７０８の処理を行ったか判定する（ステップ７１１）。前記ステップ７１０及び前記ステップ７１１は、前記部分画像抽出貼り付け手段１０５に設けられた第２判定手段１０５ｇで行う。
【００９２】
このとき、すべての画像投影面について前記ステップ７０５から前記ステップ７０９までの処理が済んでいれば次のステップに進み、未処理の画像投影面があれば、前記投影面部分領域Ｓｊを決定するステップ７０４に戻り、前記未処理の画像投影面について前記ステップ７０４から前記ステップ７０９までを行う。
【００９３】
次に、図３に示すように、前記画像を貼り付けた画像投影面群を、前記仮想視点位置から２次元化（レンダリング）して仮想視点画像を生成する（ステップ７１２）。前記レンダリングをするステップ７１２は、前記仮想視点画像生成装置１に設けられたレンダリング手段１０６で行う。
【００９４】
以上の手順により、前記視点位置入力手段５を用いて入力した仮想視点位置から前記被写体３を見たときの仮想視点画像が生成され、生成された前記仮想視点画像は、前記表示手段６に表示される。このとき、前記表示手段６は、前記仮想視点画像生成装置１に直接接続されたＣＲＴなどのモニタであってもよいし、例えば、ネットワークを介して遠隔地に設置されたコンピュータあるいはモニタに送信してもよい。また、図示は省略するが、前記手順で生成した仮想視点画像を、ハードディスクや半導体メモリなどの外部記録装置に記録（保存）してもよい。
【００９５】
本実施例１の仮想視点画像の生成方法では、前記画像投影面Ｌｊは、前記被写体画像ＣＰｉから抽出した部分画像を貼り付けるスクリーンの役割をする。また、前記画像投影面Ｌｊは、初期設定では透明であり、前記部分画像を貼り付けた部分が不透明になるようにしているので、仮想視点位置から見て後方（遠方）にある画像投影面の画像が適切に透視もしくは遮蔽される。
【００９６】
また、仮想視点画像の精度を向上させるためには、前記画像投影面Ｌｊの配置間隔を細かくしていくとともに、実際の被写体の形状に近づけていけばよいが、そうすることで処理時間が長くなる。そのため、前記仮想視点画像に要求されている精度に合わせて前記画像投影面Ｌｊの構成を設定することで、無駄な画像処理を行わないようにすることができ、精度が高い仮想視点画像を高速（短時間）で生成することができる。
【００９７】
また、前記ステップ７０５で決定する前記カメラ部分領域ｉｊは、前記各カメラ２で撮影した被写体画像ＣＰｉのうち、前記画像投影面Ｌｊごとに限定された領域であり、同じ被写体画像ＣＰｉ（例えば第１被写体画像ＣＰ１）、同じ画像投影面Ｌｊ（例えば、第１画像投影面Ｌ１）であっても、仮想視点位置を変えると前記カメラ部分領域Ｒｉｊは変化する。そのため、前記仮想視点位置に基づいて、適切なカメラ部分領域Ｒｉｊを決定することにより、前記画像投影面Ｌｊ上に、適切な前記部分画像を貼り付けることができ、生成する仮想視点画像の精度を保証することができる。
【００９８】
なお、前記画像投影面Ｌｊには、前記カメラ部分領域Ｒｉｊに含まれるすべての部分画像を貼り付けるわけではなく、前記対応関係Ｔｉｊにより座標変換をしたときに、前記投影面部分領域Ｓｊに含まれる部分のみが貼り付けられる。
また、前記投影面部分領域Ｓｊは、奥行き情報取得手段１０２で取得した奥行き情報に基づいて決定する。
【００９９】
前記被写体画像ＣＰｉの各点は、実際にその点が存在する位置の近傍にある画像投影面に貼り付けた場合、画像を生成するときの誤差が小さくなり、仮想視点画像の精度が高くなる。逆に、実際にその点が存在する位置から離れた画像投影面に貼り付けられた場合、画像を生成するときの誤差が大きくなり、仮想視点画像の精度が低くなる。
【０１００】
すなわち、前記画像投影面のうち、実際に被写体が存在する位置の近傍のみを、前記投影面部分領域Ｓｊとすることにより、画像を生成するときの誤差を小さくすることができる。
【０１０１】
以下、前記ステップ７０１で設定する前記画像投影面Ｌｊの設定方法、前記ステップ７０４で決定する投影面部分領域Ｓｊの決定方法、前記ステップ７０５で決定するカメラ部分領域Ｒｉｊの決定方法のそれぞれについての、具体的な方法の一例を説明する。
【０１０２】
なお、説明を簡単にするために、まず、前記カメラ部分領域Ｒｉｊの決定方法について説明し、続けて、前記画像投影面Ｌｊの設定方法、及び前記投影面部分領域Ｓｊの設定方法について説明する。
【０１０３】
図４乃至図６は、本実施例１における仮想視点画像の生成方法を説明するための模式図であり、図４はカメラの配置と画像投影面の配列の例を示す図、図５（ａ）及び図５（ｂ）はボロノイ領域について説明するための図、図６はカメラ部分領域の決定方法を説明するための図である。
【０１０４】
前記カメラ部分領域Ｒｉｊを決定する方法は、前記カメラ２の配置や、仮想視点位置、生成する仮想視点画像の精度などにより、いくつかの方法が考えられる。本実施例1では、生成する仮想視点画像の精度を保証しやすい決定方法の一例として、ボロノイ領域を利用した決定方法について説明する。
【０１０５】
また、本実施例１では、前記カメラ部分領域Ｒｉｊを決定するにあたって、前記被写体画像ＣＰｉ（ｉ＝１，２，…，Ｎ）は、例えば、図４に示すように、ある平面（カメラ設置面）８上に、等間隔εで２次元格子状に並べられたＮ台のカメラ２で撮影したとする。また、前記奥行き情報計測手段（図示しない）は前記カメラ２と干渉しないような位置に配置されているとする。また、仮想視点位置Ｐは図４に示したよう、カメラ設置面８から距離ＺＰだけ離れた位置に設定し、前記画像投影面Ｌｊは、図４に示したように、前記カメラ２を設置した面（カメラ設置面）と平行な平面になるように設定したとする。
【０１０６】
また、前記ボロノイ領域は、例えば、図５（ａ）に示すように、ある空間内にいくつかの点（母点）９が与えられたときに、最近傍則によって、その空間を背反な部分空間に分割した領域のことである。すなわち、前記Ｎ台のカメラ２を２次元格子状に並べたときには、前記母点９も２次元格子状に並んでいることになるので、前記ボロノイ領域Ｖｉは、図５（ｂ）に示すように、正方形の領域になる。
【０１０７】
以上のような条件のもとで、例えば、図６に示すように、前記カメラ設置面からの距離ｌｊにある画像投影面Ｌｊに対して、前記被写体画像ＣＰｉの部分画像を貼り付けるときのカメラ部分領域Ｒｉｊの決定する場合、まず、前記カメラ設置面８上で、Ｎ台の前記各カメラ２の設置位置を母点とするボロノイ領域Ｖｉ（ｉ＝１，２，…，Ｎ）を求める。
【０１０８】
次に、図６に示すように、前記仮想視点位置Ｐを中心とした透視投影により、前記ボロノイ領域Ｖｉを、前記画像投影面Ｌｊに投影する。
そして、前記対応関係Ｔｉｊを用いて前記被写体画像ＣＰｉを前記画像投影面Ｌｊに投影したときに、前記被写体画像の全域１０のうち、前記画像投影面Ｌｊに投影されたボロノイ領域Ｗｉｊと重なる（一致する）領域を前記カメラ部分領域Ｒｉｊに決定する。
【０１０９】
図７は、本実施例１の仮想視点画像の生成方法を説明するための模式図であり、画像投影面の設定方法の一例を示す図である。
本実施例１の画像生成方法を用いて、前記被写体画像ＣＰｉから前記カメラ部分領域Ｒｉｊの画像を抽出し、前記画像投影面Ｌｊに貼り付ける場合、例えば、カメラ設置面８から実際の被写体３上の点までの距離と、前記カメラ設置面８から前記画像投影面Ｌｊ上の距離とが異なると、生成した画像上に誤差が生じる。そこで、前記仮想視点画像で要求される精度を満たすために許容される誤差の最大値をδとする。
【０１１０】
このとき、前記カメラ設置面８から距離ｌの位置にある被写体３上の点が、前記画像投影面Ｌｊに貼り付けられているとすると、前記距離ｌが、下記数式１、数式２、数式３で表される条件を満たしていれば、前記距離ｌの位置にある被写体上の点と画像投影面Ｌｊ上の点の誤差が最大値δよりも小さいことが保証される。
【０１１１】
【数１】
【０１１２】
【数２】
【０１１３】
【数３】
【０１１４】
前記数式１において、ｆｌｊ及びｂｌｊは画像投影面Ｌｊに貼り付けられる点の最小値及び最大値で、カメラ設置面からの距離ｌがｆｌｊからｂｌｊまでの間である点は、前記画像投影面Ｌｊに貼り付けられる。
【０１１５】
また、前記数式２及び数式３において、ＺＰはカメラ設置面から仮想視点位置までの距離、ｆはカメラの焦点距離、εはカメラの設置間隔、δは許容される誤差の最大値である。またこのとき、前記仮想視点の位置は、前記カメラ設置面８を基準として、前記画像投影面Ｌｊが設けられた方向とは逆の方向にあるとする。また、被写体画像ＣＰｉと前記画像投影面Ｌｊの間の写像は透視投影とする。
【０１１６】
すなわち、ある画像投影面（例えば、第１画像投影面Ｌ１）に関して考えると、前記第１画像投影面Ｌ１上に貼り付けられた画像（点）のうち、実際の被写体上の点が、前記数式１によって与えられる奥行き範囲内に存在する場合は、画像投影面Ｌ１上での位置の誤差を最大値δよりも小さくすることができる。そのため、前記各画像投影面Ｌｊに対して、前記数式１の条件を設定し、前記被写体３が存在する奥行き範囲全体をカバーするように配置することで、仮想視点画像を一定の誤差の範囲内で生成することができる。
【０１１７】
前記ｆｌｊ及びｂｌｊ、ならびにカメラ設置面８から画像投影面Ｌｊまでの距離ｌｊを設定するときは、まず、例えば、図７に示すように、奥行き情報の最小値ｌminをｆｌ１とする。このとき、前記数式２から第１画像投影面Ｌ１の距離ｌ１が決定する。また、前記第１画像投影面Ｌ１の距離ｌ１が決まると、前記数式３からｂｌ１が決まる。
【０１１８】
次の画像投影面（第２画像投影面Ｌ２）に関しては、図７に示したように、ｆｌ２＝ｂｌ１とし、前記数式２及び前記数式３を用いて前記第２画像投影面Ｌ２の距離ｌ２、及びｂｌ２を決める。
【０１１９】
以下、逐次的にｆｌｊ＋１＝ｂｌｊとして計算を繰り返し、ｂｌｊが被写体３の奥行き情報の最大値ｌmaxよりも大きくなるか、無限大になるまで画像投影面を設定していく。
【０１２０】
前記被写体の奥行き情報の最小値ｌmin、及び最大値ｌmaxは、前記奥行き情報取得手段１０２で取得した奥行き情報を用いる代わりに、例えば、あらかじめ被写体３が移動する奥行き範囲を想定しておき、その情報を用いてもよい。
【０１２１】
また、前記画像投影面Ｌｊの設定方法では、仮想視点位置が更新されるたびに設定処理を行ってもよいし、あらかじめ仮想視点位置が移動する範囲を限定しておき、その限定された範囲内で、許容される誤差の最大値δがもっとも厳しい（小さい）場合に基づいて設定してもよい。
【０１２２】
図８乃至図１１は、本実施例１の仮想視点画像の生成方法を説明するための模式図であり、図８及び図９はそれぞれ投影面部分領域の決定方法の一例を示す図であり、図１０及び図１１は投影面部分領域の他の決定方法を示す図である。
【０１２３】
本実施例１の仮想視点画像生成方法では、前記数式１、前記数式２、前記数式３を満たすように前記画像投影面Ｌｊを設定することにより、被写体上の任意の点は、前記画像投影面ごとに生じる生成画像上の奥行き方向の誤差を、一定の範囲内に収めることができる。しかしながら、実際に画像を生成したときに、誤差を一定の範囲内に収めるためには、前記被写体上のある点を撮影した画像が、適切な画像投影面、すなわち、その点の距離が許容される奥行き範囲に属するような画像投影面に貼り付けなくてはならない。
【０１２４】
前記ステップ７０４で決定する投影面部分領域Ｓｊには、前記被写体上の各点を、適切な画像投影面に貼り付けるために必要となる。すなわち、前記投影面部分領域Ｓｊは、奥行き情報を取得した前記被写体３上の点のうち、前記数式１で与えられる前記画像投影面Ｌｊの許容奥行き範囲にある点を、何らかの方法で前記画像投影面Ｌｊ上に写像したときに得られる領域である。
【０１２５】
前記被写体３上の点の写像には、さまざまな形態が考えられるが、例えば、奥行き計測地点からの透視投影変換を用いることができる。
このとき、前記投影面部分領域Ｓｊは、例えば、前記数式１の関係を利用し、図８に示すように、前記被写体３の点のうち、前記カメラ設置面からの距離がｆｌｊからｂｌｊの中にある点を、奥行き計測地点Ｆから前記画像投影面Ｌｊに投影したときに得られる領域とする。
【０１２６】
同様に、前記投影面部分領域Ｓｊ＋１は、図９に示すように、前記カメラ設置面からの距離がｆｌｊ＋１（＝ｂｌｊ）からｂｌｊ＋１の中にある点を、奥行き計測地点Ｆから前記画像投影面Ｌｊ＋１に投影したときに得られる領域とする。また、前記投影面部分領域Ｓｊを決定するときには、前記数式１の関係を用いる代わりに、下記数式４を用いることもできる。
【０１２７】
【数４】
【０１２８】
前記数式４の関係を用いて前記投影面部分領域Ｓｊを決定した場合、例えば、ある画像投影面Ｌｊ＋１の投影面部分領域Ｓｊ＋１には、図１０に示すように、前記画像投影面Ｌｊ＋１の前方にある画像投影面Ｌｊの投影面部分領域とするべき領域も含まれる。そのため、前記ある画像投影面Ｌｊ＋１には、図１１に示すように、本来貼り付けるべき部分画像のほかに、前方の画像投影面に貼り付けられている部分画像も貼り付けられる。しかしながら、前記画像投影面Ｌｊ＋１に貼り付けられた余分な部分画像のうち、前方の画像投影面Ｌｊに貼り付けられている部分画像と重なった領域は、仮想視点位置からレンダリングするときには見えない。
【０１２９】
前記数式１の関係を用いて前記画像投影面Ｌｊを決定するときには、例えば、投影面部分領域Ｓｊの境界と投影面部分領域Ｓｊ＋１の境界線が一致せずに、隣り合う画像投影面の隙間に画像の欠損ができることがある。そこで、例えば、前記数式４の関係を用いて前記画像投影面Ｓｊを決定することで、画像の欠損を防ぎ、仮想生成画像の品質を向上させることができる。
【０１３０】
以上説明したように、本実施例１の仮想視点画像生成装置１を用いた仮想視点画像生成方法によれば、生成する画像の精度に応じて複数の画像投影面Ｌｊを設定し、前記複数の画像投影面のそれぞれに、前記被写体画像ＣＰｉの中から適切な条件で抽出した部分画像を貼り付けることにより、仮想視点画像の精度、特に奥行き方向の精度をよくすることができる。
【０１３１】
また、前記複数の画像投影面Ｌｊを設定するときに、前記数式１、前記数式２、前記数式３の条件を満たすようにすると、無駄な処理を省き、要求された精度の仮想視点画像を効率よく生成することができる。そのため、被写体３が大きい、あるいは形状が複雑な場合、もしくは前記被写体３が時間とともに移動する場合でも、仮想視点画像を高速（短時間）で生成することができる。
【０１３２】
なお、本実施例１で説明した、前記画像投影面Ｌｊの設定方法、前記投影面部分領域Ｓｊの決定方法、前記カメラ部分領域Ｒｉｊの決定方法は、それぞれの一例であり、例えば、前記被写体３の形状や時間変化、あるいは被写体画像ＣＰｉの撮影条件などに応じて、適宜変更することが可能である。
【０１３３】
また、本実施例１では、前記仮想視点画像生成装置１としてコンピュータを用い、前記仮想視点画像生成装置１に、図３に示したような手順のプログラムを実行させて仮想生成画像を生成する方法について説明したが、このときのプログラムは、記録媒体に記録してもよいし、ネットワーク回線を通して提供してもよい。
【０１３４】
（実施例２）
図１２及び図１３は、本発明による実施例２の仮想視点画像生成方法を説明するための模式図であり、図１２（ａ）及び図１２（ｂ）は奥行き情報計測手段の概略構成を示す図、図１３は前記奥行き情報計測手段を用いた奥行き情報の計測方法を説明するための図である。
【０１３５】
図１２（ａ）及び図１２（ｂ）において、４０１は参照光照射手段、４０２は撮像手段、４０２ａは撮像面、４０２ｂは光学系調節手段、４０２ｃはゲート、４０３は制御手段である。
【０１３６】
本実施例２では、前記実施例１で説明した方法で仮想視点画像を生成するときに用いる、前記被写体３の奥行き情報の計測方法の一例として、飛行時間法（time-of-flight method）を用いた計測方法について説明する。なお、本実施例２の仮想視点画像生成装置の全体的な構成は、前記実施例１で説明した仮想視点画像生成装置１と同様であるため、詳細な説明は省略する。
【０１３７】
前記飛行時間法を用いて、前記被写体３の奥行き情報を計測する奥行き情報計測手段４は、例えば、図１２（ａ）に示すように、前記被写体３に参照光を照射する参照光照射手段４０１と、前記被写体３で反射した参照光を検出する撮像手段４０２と、前記参照光照射手段４０１及び前記撮像手段４０２を制御する制御手段４０３とにより構成される。また、前記撮像手段４０２は、例えば、図１２（ｂ）に示すように、前記被写体３で反射した参照光を受ける撮像面４０２ａと、前記参照光を前記撮像面４０２ａで結像させるための光学系調節手段４０２ｂと、ゲート４０２ｃにより構成されている。このとき、前記参照光照射手段４０１の光源には、例えば、レーザや発光ダイオードなどを用いる。また、前記ゲート４０２ｃには、例えば、イメージインテンシファイアを用いる。
【０１３８】
また、前記ゲート４０２ｃは、例えば、前記制御手段４０３により開閉のタイミングが電子的に制御されており、前記ゲート４０２ｃが開いているときだけ、前記被写体３で反射した参照光が前記撮像面４０２ａに到達して結像する。そのため、前記ゲート４０２ｃの開閉のタイミングと前記参照光を照射するタイミングを制御することで、前記参照光が照射されてから、前記被写体３の表面で反射し、前記撮像面４０２ａで結像（撮影）されるまでの時間を間接的に計測することができ、前記撮像面４０２ａ上の画素ごとに、奥行き情報を取得することができる。
【０１３９】
前記参照光を照射するタイミングと前記ゲートの開閉のタイミングは、一般に、図１３に示すように、時刻ｔ＝０にパルス状の参照光を照射したときに、その後、時刻ｔ１から時刻ｔ２までの間だけ前記ゲート４０２ｃが開かれるように制御される。
【０１４０】
このとき、光速をｃで表すと、時刻ｔ１までに参照光が進む距離はｃ・ｔ１、時刻ｔ２までに参照光が進む距離はｃ・ｔ２である。そのため、時刻ｔ＝０に照射した参照光を、前記被写体３の表面で反射した後、前記時刻ｔ１から時刻ｔ２の間に前記撮像手段４０２に到達させるには、前記光源（参照光照射手段４０１）と前記被写体の距離ｌｌが下記数式５を満たさなければならない。
【０１４１】
【数５】
【０１４２】
逆に言えば、前記被写体３の表面上の各点のうち、前記参照光照射手段４０１からの距離ｌｌが前記数式５を満たしている点で反射した参照光だけが、前記ゲート４０２ｃを通過して撮像面４０２ａに到達する。すなわち、前記撮像面４０２ａには、前記被写体のうち、参照光照射手段４０１から距離ｌｌの点のみが結像する。そのため、前記時刻ｔ１及び時刻ｔ２の設定を適宜変更することで、前記被写体３の表面上の各点における、前記参照光照射手段４０１から前記被写体３までの距離を得ることができ、その距離に基づいて前記被写体３の奥行き情報を得ることができる。
【０１４３】
ただし、１回の行程で前記撮像面に到達する参照光の光量は微量であり、ノイズと分離して検出できるほどの光量ではない。そのため、同じ設定で複数回の行程を行い、多重露光して光量の総和を十分に大きくする。
【０１４４】
そして、前記時刻ｔ１及び前記時刻ｔ２の設定を逐次的に変更し、それぞれの設定において計測することで、前記被写体の表面上のすべての点の距離を得る。このとき、前記奥行き情報の分解能（精度）は、前記時刻ｔ１及び前記時刻ｔ２を変更する間隔により決まり、間隔を小さくすれば分解能は高くなる。また、前記奥行き情報の計測範囲は、前記時刻ｔ１及び時刻ｔ２を変化させる範囲により決まる。
【０１４５】
しかしながら、分解能を高くし、計測範囲を広くしようとすると、光量の総和を十分な大きさにする場合には、計測にかかる時間が長くなってしまう。逆に、計測にかかる時間を短くしようとすると、光量の総和が小さくなり、奥行き情報の信頼性が低下する。そのため、前記奥行き情報の分解能と計測範囲は、仮想視点画像を生成する上で要求される性能（精度）に応じて、設定することが好ましい。前記奥行き情報の分解能と計測範囲に要求される精度は、前記実施例１で説明したような、画像投影面の設定により規定することができる。
【０１４６】
このとき、前記ゲートの開閉のタイミング、すなわち、前記時刻ｔ１及び前記時刻ｔ２を、下記数式６及び数式７のように設定すると、前記数式５で表される計測範囲が、前記数式１で表される前記画像投影面Ｌｊがカバーする範囲と一致する。そのため、前記画像投影面で得られたパターンに基づいて、前記実施例１で説明した投影面部分領域Ｓｊを決定することができる。
【０１４７】
【数６】
【０１４８】
【数７】
【０１４９】
なお、前記参照光は、前記カメラ２で撮影する被写体画像ＣＰｉに影響を与えないようにする必要があるので、波長帯域や照射時間を調節しなければならない。そのため、例えば、前記参照光として赤外領域の波長の光を用い、前記カメラ２に赤外光カットフィルタを設けて前記参照光が入射するのを防ぐ。また、例えば、参照光を断続的に照射し、参照光を照射している時間は前記カメラ２のシャッターを閉じておき、前記参照光を照射していない時間に前記カメラ２で前記被写体画像ＣＰｉを撮影する。
【０１５０】
以上説明したように、本実施例２の奥行き情報の計測方法によれば、仮想視点画像を生成する上で要求される精度に適した分解能及び計測範囲の奥行き情報を効率よく計測することができる。すなわち、本実施例２で説明した方法で前記奥行き情報を計測するときに、前記数式６及び前記数式７に示したような条件を与えることで、計測データの処理の無駄を省け、データ処理にかかる時間を短縮することができる。
【０１５１】
また、本実施例２の奥行き情報の計測方法を用いることで、前記被写体３の奥行き情報の信頼性が向上する。そのため、前記実施例１で説明したような方法で仮想視点画像を生成したときに、前記仮想視点画像の精度を保証することができる。
【０１５２】
また、本実施例２の奥行き情報の計測方法では、参照光の符号化、すなわち、前記光源から被写体までの距離に応じた参照光の分離は、パルス波を照射した時刻とゲートの開閉のタイミングを用いて行ったが、これに限らず、参照光の照射を強度や周波数で変調することも可能である。また、前記参照光の符号化は、本実施例２で説明した方法に限らず、他の方法を用いることもでき、同様の効果を得ることができる。すなわち、奥行き情報を計測する状況に応じて、参照光を符号化する方法を変えることで、要求される分解能及び計測範囲の奥行き情報を効率よく計測することができる。
【０１５３】
また、本実施例２では、飛行時間法（time-of-flight method）を用いた計測方法について説明したが、他の能動的計測法を用いて計測することもできる。
また、前記奥行き情報の計測には、前記能動的計測法に限らず、ステレオ法やレンズ焦点法などの受動的計測法を用いることもできる。前記受動的計測法を用いる場合も、本実施例２で説明したように、仮想視点画像を生成する上で要求される性能（精度）に応じて、前記奥行き情報の分解能や計測範囲を設定することで、信頼性の高い奥行き情報を効率よく計測することができる。
【０１５４】
（実施例３）
図１４乃至図１６は、本発明による実施例３の仮想視点画像生成方法を説明するための模式図であり、図１４は投影面部分領域の決定方法を説明するためのフローチャート、図１５は前記実施例１で説明した方法で投影面部分領域を決定したときの図、図１６は本実施例３で説明する方法で投影面部分領域を決定したときの図である。
【０１５５】
本実施例３の仮想視点画像の全体的な生成方法は、前記実施例１で説明した生成方法と同様であるので、詳細な説明は省略する。
本実施例３の仮想視点画像の生成方法と、前記実施例１で説明した生成方法とで異なるのは、前記投影面部分領域Ｓｊを決定する方法である。本実施例３では、前記投影面部分領域Ｓｊを決定するために、図１４に示すように、奥行き計測地点における奥行き情報を３次元空間上に投射するステップ７０４ａと、仮想視点位置Ｐにおける奥行き情報を取得するステップ７０４ｂと、投影面部分領域を決定するステップ７０４ｃの各ステップを設ける。
【０１５６】
前記実施例１では、図１５に示すように、前記奥行き計測地点Ｆからの透視投影を行って、画像投影面Ｌｊの投影面部分領域Ｓｊや、画像投影面Ｌｊ＋１の投影面部分領域Ｓｊ＋１を決定している。このとき、前記仮想視点位置Ｐと前記奥行き計測地点Ｆのずれが大きいと、前記仮想視点位置から前記画像投影面を見た時に、画像投影面Ｌｊの投影面部分領域Ｓｊと、画像投影面Ｌｊ＋１の投影面部分領域Ｓｊ＋１の間に画像が存在しない領域が生じ、仮想視点画像の品質が低下する。
【０１５７】
そこで、本実施例３の投影面部分領域決定方法のように、まず、前記奥行き計測地点Ｆにおける奥行き情報を３次元空間上に投射（ステップ７０４ａ）し、仮想視点位置Ｐにおける奥行き情報を取得（ステップ７０４ｂ）すると、図１６に示したように、前記仮想視点位置Ｐからの透視投影により投影面部分領域Ｓｊを決定することができる（ステップ７０４ｃ）。そのため、投影面部分領域に隙間が生じるのを防ぐことができる。
【０１５８】
以上説明したように、本実施例３の仮想視点画像生成方法によれば、任意の計測地点Ｆから取得した奥行き情報を、仮想視点位置Ｐから取得した奥行き情報にすることにより、仮想視点画像の品質の低下を防ぐことができる。
また、前記投影面部分領域を決定するときには、前記実施例１で説明したように、前記数式１の関係を用いて透視投影してもよいし、前記数式４の関係を用いて透視投影してもよい。
【０１５９】
（実施例４）
図１７乃至図１９は、本発明による実施例４の仮想視点画像生成方法を説明するための模式図であり、図１７及び図１９は奥行き計測地点の決定方法を説明するための模式図であり、図１８は投影面部分領域を決定するために用いる奥行き情報の選択方法を説明するためのフローチャートである。
【０１６０】
本実施例４の仮想視点画像の全体的な生成方法は、前記実施例１で説明した方法と同様であるため、詳細な説明は省略する。
本実施例４の仮想視点画像の生成方法において、前記実施例１で説明した方法と異なるのは、前記投影面部分領域を決定するための奥行き情報の計測方法である。
【０１６１】
前記実施例１では、１つの計測地点から取得した奥行き情報を用いて前記投影面部分領域Ｓｊを決定している。しかしながら、計測地点が１点の場合、被写体の形状によっては、例えば、前記計測地点からでは計測できない領域が出てくる。前記奥行き情報を計測できない、すなわち取得できない領域があると、その部分は投影面部分領域に含まれない。そのため、設定した仮想視点の位置によっては、生成した仮想視点画像に欠損が生じ、品質が低下する。
【０１６２】
そのような問題を解決するために、本実施例４では、例えば、図１７に示すように、２つの計測地点Ｆ１，Ｆ２のそれぞれから、前記被写体３の奥行き情報を計測して取得する。そして、仮想視点位置Ｐに応じて、２つの奥行き情報のうち、画像の欠損が少ない奥行き情報を選択し、その奥行き情報を用いて投影面部分領域を決定する。なお、図１７では、計測地点が２つの例を示しているが、これに限らず、３つ以上の計測地点から奥行き情報を取得し、その中から最適な奥行き情報を決定してもよい。
【０１６３】
前記複数の奥行き情報の中の一つを選択する場合は、まず、図１８に示すように、複数の計測地点から複数の奥行き情報を計測（ステップ７０４ｄ）しておき後、仮想視点位置Ｐの情報を取得する（ステップ７０４ｅ）。前記仮想視点位置Ｐの情報は、前記実施例１で説明したような入力手段５から入力される。
【０１６４】
次に、複数の計測地点の中から、前記仮想視点位置からの画像生成に最適な計測地点Ｆ＊を選択する（ステップ７０４ｆ）。
次に、前記選択した計測地点から計測した奥行き情報を投影面部分領域決定手段に送る（ステップ７０４ｇ）。
このとき、最適な計測地点Ｆ＊は、一般に、前記仮想視点位置に最も近い計測地点を選択すると、生成した画像の劣化も小さくなるが、場合によっては、画質が低下することもある。
【０１６５】
例えば、図１７に示したように、２つの計測地点Ｆ１，Ｆ２から奥行き情報を取得したときに、仮想視点位置Ｐから一番近いのは計測地点Ｆ１である。しかしながら、計測地点Ｆ１から計測した奥行き情報では、前記仮想視点位置Ｐから見える被写体表面上であって、かつ、前記計測地点Ｆ１からは計測できない領域３Ａが多い。そのため、前記計測地点Ｆ１から取得した奥行き情報を用いて仮想視点画像を生成すると画質が低下する。一方、計測地点Ｆ２は、前記仮想視点位置Ｐとの距離は大きくなるが、図１９に示すように、前記仮想視点位置Ｐから見える領域と前記計測地点Ｆ２からは計測できない領域３Ａの重なりが少ない。そのため、この場合には、前記計測地点Ｆ１の奥行き情報よりも、計測地点Ｆ２から取得した奥行き情報を用いたほうが好ましいと考えられる。すなわち、選択する計測位置は、仮想視点位置との距離だけでなく、被写体の形状なども考慮する必要がある。
【０１６６】
図２０は、本実施例４の奥行き情報の選択方法を説明するための模式図であり、ジャンプエッジを説明するための図である。
前記複数の計測地点から取得した奥行き情報の中から、最適な奥行き情報を選択する方法としては、ジャンプエッジと呼ばれる奥行き情報の不連続箇所が最も小さくなる計測地点を選択する方法がある。
【０１６７】
前記奥行き情報を取得するときに、例えば、図２０に示すように、ある計測地点Ｆｋから、２つの物体３０１，３０２からなる被写体の奥行き情報を計測し、取得したとする。このとき、前記計測地点Ｆｋからは、図２０に示したように、前記物体３０１，３０２の領域３Ｂの奥行き情報を取得することができる。
【０１６８】
ここで、前記計測地点Ｆｋから取得した奥行き情報を用いて、図２０に示したような仮想視点位置Ｐからの仮想視点画像を生成しようとすると、奥行き情報が不連続な箇所１１が生じる。この奥行き情報が不連続な箇所１１は、ジャンプエッジと呼ぶ。
【０１６９】
最適な奥行き情報を取得するには、各計測地点で取得した奥行き情報に関して、前記ジャンプエッジ１１の仮想視点位置Ｐを頂点とした立体角１３を求める。前記立体角は、例えば、前記仮想視点位置Ｐを頂点とし、前記ジャンプエッジ１１を底面とした錐体を考え、前記頂点Ｐを中心とする半径１の球を作り、前記錐体が切り取る球の表面部分の面積の大きさとして求める。またこのとき、前記ジャンプエッジ１１が複数箇所にわかれている場合は、それぞれの立体角を求め、その総和をとる。
【０１７０】
そして、前記各計測地点に関するジャンプエッジ１１の立体角１３もしくはその総和の値が最も小さい地点をＦ＊として選択する。
またこのとき、前記立体角１３の替わりに、前記仮想視点位置Ｐにおける透視投影変換像におけるジャンプエッジ１１の面積の総和によって選択することも可能である。
【０１７１】
前記透視投影変換は、図３に示したレンダリングを行うステップ７１２で用いる透視投影変換と一致させると、ジャンプエッジの透視投影変換像が実際にレンダリングした時の画像の欠損領域と一致する。そのため、生成画像の画質に即した評価基準となる。
【０１７２】
図２１は、本実施例４の奥行き情報の選択方法を説明するための模式図であり、他の選択方法を説明するためのフローチャートである。
前記奥行き情報を計測する計測地点を複数にした場合、図１８に示したように、全ての計測地点において奥行き情報を取得しておき、仮想視点位置Ｐに応じて、用いる奥行き情報を選択する方法のほかに、仮想視点位置Ｐに応じて、前記奥行き情報を計測する地点を決定する方法もある。
【０１７３】
前記仮想視点位置Ｐを先に決める場合には、図２１に示すように、まず、仮想視点Ｐを取得（ステップ７０４ｈ）し、前記仮想視点位置Ｐに応じた奥行き計測地点Ｆ＊を選択する（ステップ７０４ｉ）。その後、選択した計測地点Ｆ＊のみで奥行き情報を計測（ステップ７０４ｊ）し、そこで得られた奥行き情報から前記投影面部分領域Ｓｊを決定する（ステップ７０４ｋ）。
【０１７４】
前記仮想視点位置Ｐに応じて計測地点を選択する方法は、前記奥行き情報計測手段４として、参照光を照射する能動的計測法を用いる場合において有効であり、複数の計測地点から照射される参照光が、お互いの計測に影響を与える情況を回避することができる。
【０１７５】
なお、前記奥行き情報の計測地点Ｆ＊は、前記奥行き情報計測手段４で決定してもよいし、前記仮想視点画像生成装置１（奥行き情報取得手段１０２）で決定してもよい。
【０１７６】
以上説明したように、本実施例４の仮想視点画像の生成方法によれば、複数の奥行き計測情報を計測する地点から、前記仮想視点位置Ｐに応じた計測地点Ｆ＊を選択し、その計測地点Ｆ＊からの奥行き情報を用いて前記投影面部分領域Ｓｊを決定することで、前記仮想視点画像の精度をよくすることができる。
【０１７７】
なお、本実施例４では、図１７に示したように、計測地点が２つの例を示しているが、これに限らず、３つ以上の計測地点から奥行き情報を取得し、その中から最適な奥行き情報を決定してもよい。
【０１７８】
（実施例５）
図２２は、本発明による実施例５の仮想視点画像生成方法を説明するための模式図であり、投影面部分領域の決定方法を説明するためのフローチャートである。
【０１７９】
本実施例５の仮想視点画像の生成に用いる仮想視点画像生成装置は、前記実施例１で説明した装置と同様の構成であるため、詳細な説明は省略する。
また、本実施例５の仮想視点画像生成方法では、前記実施例４で説明したように、複数の計測地点から取得した奥行き情報を用いて投影面部分領域を決定するが、前記実施例４で説明した方法と異なり、全ての計測地点から取得した奥行き情報を統合して用いる。
【０１８０】
本実施例５の仮想視点画像生成方法における前記投影面部分領域を決定する手順は、図２２に示すように、まず、複数の計測地点から取得した奥行き情報を３次元空間上に投影する（ステップ７０４ｌ）。このとき、全ての計測地点からの奥行き情報を投影することも可能であるし、仮想視点位置Ｐの近傍の奥行き計測地点をいくつか選択して、それらの奥行き情報のみを投影することも可能である。
【０１８１】
次に、前記３次元空間中に投影した奥行き情報のうち、複数の計測地点から計測された領域、すなわち重複する情報があれば、それらを統合して整合性をとる（ステップ７０４ｍ）。前記重複する情報を統合するには、例えば、特開２０００−２１５３１１号公報に記載された方法を用いることができる。
【０１８２】
次に、前記統合するステップ７０４ｍで得られた３次元空間中の被写体のデータに仮想視点位置Ｐを投影中心とした透視投影変換をすることで、仮想視点位置Ｐからの奥行き情報の形に変換する（ステップ７０４ｎ）。
【０１８３】
その後、前記ステップ７０４ｎで得られた、前記仮想視点位置Ｐからの奥行き情報に、前記数式１もしくは前記数式４を当てはめることで、投影面部分領域Ｓｊを決定する（ステップ７０４ｐ）。
【０１８４】
以上説明したように、本実施例５の仮想視点画像生成方法によれば、複数の計測地点から取得した奥行き情報を統合することにより、前記実施例４で説明したようなジャンプエッジを防ぐことができる。そのため、前記実施例４で説明した投影面部分領域決定方法を用いた仮想視点画像生成方法に比べて、生成画像の欠損が少なく、品質の高い画像を得ることができる。
【０１８５】
以上、本発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において、種々変更可能であることはもちろんである。
【０１８６】
【発明の効果】
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば、以下の通りである。
（１）複数のカメラで撮影した被写体の画像を用いて、仮想視点位置から前記被写体を見たときの仮想視点画像を生成する仮想視点画像生成方法及び装置において、生成する仮想視点画像の精度を保ち、かつ、仮想視点画像の生成にかかる処理時間を短くする（高速にする）ことができる。
（２）前記仮想視点画像生成方法をコンピュータに実行させる仮想視点画像生成プログラム、及び前記仮想視点画像生成プログラムを記録した記録媒体を得ることができる。
【図面の簡単な説明】
【図１】本発明による実施例１の仮想視点画像生成装置の概略構成を示す模式図であり、仮想視点画像生成装置全体の構成を示すブロック図である。
【図２】本発明による実施例１の仮想視点画像生成装置の概略構成を示す模式図であり、図１の部分画像抽出貼り付け手段の構成を示すブロック図である。
【図３】本実施例１の仮想視点画像生成装置を用いた仮想視点画像生成方法を説明するための模式図であり、仮想視点画像生成装置内で行う画像処理のフローチャートである。
【図４】本実施例１における仮想視点画像の生成方法を説明するための模式図であり、カメラの配置と画像投影面の配列の例を示す図である。
【図５】本実施例１における仮想視点画像の生成方法を説明するための模式図であり、図５（ａ）及び図５（ｂ）はボロノイ領域について説明するための図である。
【図６】本実施例１における仮想視点画像の生成方法を説明するための模式図であり、カメラ部分領域の決定方法を説明するための図である。
【図７】本実施例１の仮想視点画像の生成方法を説明するための模式図であり、画像投影面の設定方法の一例を示す図である。
【図８】本実施例１の仮想視点画像の生成方法を説明するための模式図であり、投影面部分領域の決定方法の一例を示す図である。
【図９】本実施例１の仮想視点画像の生成方法を説明するための模式図であり、投影面部分領域の決定方法の一例を示す図である。
【図１０】本実施例１の仮想視点画像の生成方法を説明するための模式図であり、投影面部分領域の他の決定方法の一例を示す図である。
【図１１】本実施例１の仮想視点画像の生成方法を説明するための模式図であり、投影面部分領域の他の決定方法の一例を示す図である。
【図１２】本発明による実施例２の仮想視点画像生成方法を説明するための模式図であり、図１２（ａ）及び図１２（ｂ）は奥行き情報計測手段の概略構成を示す図である。
【図１３】本発明による実施例２の仮想視点画像生成方法を説明するための模式図であり、奥行き情報の計測方法を説明するための図である。
【図１４】本発明による実施例３の仮想視点画像生成方法を説明するための模式図であり、投影面部分領域の決定方法を説明するためのフローチャートである。
【図１５】本発明による実施例３の仮想視点画像生成方法を説明するための模式図であり、前記実施例１で説明した方法で投影面部分領域を決定したときの図である。
【図１６】本発明による実施例３の仮想視点画像生成方法を説明するための模式図であり、本実施例３で説明する方法で投影面部分領域を決定したときの図である。
【図１７】本発明による実施例４の仮想視点画像生成方法を説明するための模式図であり、奥行き計測地点の決定方法を説明するための模式図である。
【図１８】本発明による実施例４の仮想視点画像生成方法を説明するための模式図であり、投影面部分領域を決定するために用いる奥行き情報の選択方法を説明するためのフローチャートである。
【図１９】本発明による実施例４の仮想視点画像生成方法を説明するための模式図であり、奥行き計測地点の決定方法を説明するための模式図である。
【図２０】本実施例４の奥行き情報の選択方法を説明するための模式図であり、ジャンプエッジを説明するための模式図である。
【図２１】本実施例４の奥行き情報の選択方法を説明するための模式図であり、他の選択方法を説明するためのフローチャートである。
【図２２】本発明による実施例５の仮想視点画像生成方法を説明するための模式図であり、投影面部分領域の決定方法を説明するためのフローチャートである。
【符号の説明】
１…仮想視点画像生成装置、１０１…被写体画像取得手段、１０２…奥行き情報取得手段、１０３…画像投影面設定手段、１０４…対応関係決定手段、１０５…部分画像抽出貼り付け手段、１０５ａ…初期化手段、１０５ｂ…投影面部分領域決定手段、１０５ｃ…カメラ部分領域抽出手段、１０５ｄ…座標変換手段、１０５ｅ…投影用画像貼り付け手段、１０５ｆ…第１判定手段、１０５ｇ…第２判定手段、１０６…レンダリング手段、２…カメラ、３…被写体、４…奥行き情報計測手段、４０１…参照光照射手段、４０２…撮像手段、４０２ａ…撮像面、４０２ｂ…光学系調節手段、４０２ｃ…ゲート、５…視点位置入力手段、６…表示手段、８…カメラ設置面、Ｐ…仮想視点位置、Ｆ…奥行き情報計測地点。
【発明の属する技術分野】
本発明は、仮想画像生成方法及び仮想画像生成装置、ならびに記録媒体に関し、特に、複数のカメラで撮影した被写体の画像を用いて、実際にはカメラがない視点位置（仮想視点位置）から前記被写体を見たときの画像（仮想視点画像）を生成する方法に適用して有効な技術に関するものである。
【０００２】
【従来の技術】
従来、コンピュータグラフィックス（Computer Graphics）やバーチャルリアリティ（Virtual Reality）技術により、被写体の周辺に設置したカメラで撮影した画像を用いて、実際にはカメラのない視点位置（以下、仮想視点位置と称する）から前記被写体を見たときの画像（以下、仮想視点画像と称する）を生成し、観察することができる。
また、近年は、前記ＣＧや前記ＶＲ技術が発達しており、より写実的な前記仮想視点画像を生成できるようになってきている。
【０００３】
前記仮想視点画像を生成する方法としては、大きく分けて幾何ベースと画像ベースの２種類がある。
前記幾何ベースの仮想視点画像生成方法は、前記被写体の幾何学的なモデルを取得した後に、前記モデルをポリゴンやボクセルと呼ばれる基本図形の集まりとして表現し、透視投影や正射影などの２次元変換を行い、仮想視点画像を生成する。
【０００４】
また、前記幾何学的なモデルを取得する方法としては、例えば、多視点画像間の対応する領域をマッチングして、三角測量の原理でその距離を求める方法（ステレオ法）がある（例えば、非特許文献１参照。）。
また、前記幾何学的なモデルを取得する方法には、前記ステレオ法の他にも、例えば、被写体の輪郭をもとに、空間中で前記被写体が占める領域を求める方法（Shape from Silhouette 法）と呼ばれる方法もある（例えば、非特許文献２参照。）。
また、その他にも、例えば、前記ステレオ法と前記 Shape from Silhouette 法を組み合わせた方法などがある（例えば、非特許文献３参照。）。
【０００５】
前記幾何学的なモデルを取得する方法は、コンピュータビジョン（Computer Vision）の分野では、Shape from X として数多くの研究がされている。
しかしながら、前記幾何ベースによる仮想視点画像生成方法は、画像処理自体が難しい、あるいはノイズに対して脆弱であるといった、コンピュータビジョンによるアプローチでは避けられない本質的な問題を持つ。そのため、画像生成処理に時間がかかるとともに、生成される仮想視点画像の品質（精度）が悪いという問題がある。
【０００６】
前記幾何ベースによる方法のうち、特に、前記ステレオ法では、画像間の対応関係を、画素ごとに検出するのは、本質的に困難な課題である（例えば、非特許文献４参照）。そのため、前記ステレオ法では、通常、いくつかの画素を集めたものに対してパターンマッチングを行うので、水平方向及び垂直方向の分解能が低く、不十分になる。
【０００７】
一方、前記画像ベースの仮想視点画像生成方法は、コンピュータグラフィックスの分野から生まれた方法であり、カメラにより多数の視点位置から撮影した画像をもとにして仮想生成画像を生成するが、明示的には被写体のモデルを求めず、２次元画像処理により生成する（例えば、非特許文献５、非特許文献６、非特許文献７参照。）。
【０００８】
前記画像ベースによる方法は、イメージベースドレンダリング（Image-Based Rendering）と呼ばれ、極めて単純な処理であるにもかかわらず、生成される画像は、写真のような写実性を持つ。
【０００９】
しかしながら、前記画像ベースによる方法は、前記幾何ベースによる方法と比べて、要求される多視点画像の視点位置の密度が高いので、結果としてデータ量が多くなる。そのため、静止している被写体に対して少しずつカメラを動かし、いったん多視点画像データをメモリや外部記憶装置上に記憶した後、前記多視点画像データを参照して、仮想視点画像を生成するという処理手順になる。
【００１０】
前記処理手順に沿った方法の場合、いったん前記多視点画像データを記憶した状態であれば、前記仮想視点画像を生成するのに要する時間は短くなるが、前記多視点画像データを記憶するまでの処理（オフライン処理）に時間がかかる。
【００１１】
以上のようなことから、前記画像ベースによる方法は、コミュニケーションなどの実時間性が要求される用途には不向きであり、主に、静止物体の鑑賞などに用いられている。
【００１２】
そこで、近年、前記被写体のモデルを取得する処理はしないものの、およそ被写体のある位置に平面という幾何構造を想定し、そこに多数のカメラからの画像のうち仮想視点位置に応じて部分画像を適切に投影して必要となるカメラの密度を小さくする方法が提案されている（例えば、非特許文献８参照。）。
【００１３】
前記カメラの密度を小さくする方法では、前記多視点画像データに要求される視点の密度は、実際にカメラを並べることができるほど現実的となり、多視点画像データを記憶するまでの時間を短縮することができる。そのため、前記被写体の画像の撮影から仮想視点画像の生成までの処理時間が短縮し、実時間での処理が可能となる。
【００１４】
なお、前記カメラの密度を小さくする方法では、多くの場合、被写体の実際の形状と、仮定した平面の形状が異なる。そのため、被写体上のある点が仮定した平面の位置から外れている場合、仮想視点画像上に写像された被写体の点は誤差を含む。
【００１５】
しかしながら、前記被写体の各点の誤差が、仮想視点画像に要求される精度よりも小さい場合は、実質的には問題にならない。このとき、前記仮想視点画像に要求される精度は、一般的に、前記仮想視点画像における１画素程度であり、１画素以内の誤差であれば問題にならない。
【００１６】
またこのとき、前記被写体の各点の誤差の最大値が、許容される範囲内に収まることが保証されるためには、前記被写体の各点が存在できる位置は、仮定した平面の前後の限られた領域となる。前記仮定した平面の前後は、被写体（画像）の奥行きに相当する。
【００１７】
前記奥行きの範囲の長さ（距離）は、等価被写界深度と呼ばれ、カメラの間隔との間にはトレードオフの関係がある。しかしながら、現実的にカメラを並べることができる間隔においては、前記等価被写界深度が不足しがちであり、被写体が人物の場合などは動作範囲が限定されるという欠点があった。そのため、前記カメラの密度を小さくする方法も、十分に実用的な方法であるとは言い難かった。
【００１８】
また、前記幾何ベースや前記画像ベースなどの仮想視点画像生成方法の進展が進む一方で、距離計測技術も進展が進んでいる。前記距離計測技術の分野では、対象物の情報を受動的にセンシングするだけでなく、対象物に参照光を照射してその結果を計測といった能動的なセンシングを行うアクティブ法と呼ばれる距離計測方法が提案されている。前記アクティブ法を用いた距離計測方法の代表例には、飛行時間法（time-of-flight method）に基づいた計測方法がある。
【００１９】
前記飛行時間法に基づいた距離計測方法は、参照光を計測対象に照射したときに、前記参照光が前記計測対象で反射して戻ってくるまでに要する時間から、前記計測対象までの距離を算出する方法である。
【００２０】
前記飛行時間法に基づいた距離計測を行う場合、以前は、計測対象の各点に対して参照光の照射と反射光の検出を行っていたので、計測対象全体の距離計測を行うには、前記計測対象全体で走査をしなければならなかった。そのため、計測対象が大きくなると、計測時間が長くなり、実時間での計測が困難であった。
【００２１】
しかしながら、近年の電子素子の発達により、前記計測対象上の複数の点を一度に計測することが可能になり、指定した計測地点からの対象物の奥行き情報を実時間のレベルで得ることが可能になった（例えば、特許文献１、非特許文献９、非特許文献１０参照。）。
【００２２】
また、前記距離計測方法には、前記飛行時間法に基づいた方法のほかに、光切断法と呼ばれる方法に基づいた計測方法がある。前記光切断法に基づいた計測方法も、近年、実時間での処理が可能になっている（例えば、非特許文献１１参照。）。
【００２３】
前記飛行時間法や前記光切断法に基づいた距離計測を行う距離計測装置は、水平方向及び垂直方向の分解能が高く、画素単位で計測対象の奥行き情報を求めることができる。
【００２４】
しかしながら、前記距離計測装置を用いた場合でも、奥行き方向の分解能はまだ十分とはいえず、被写体（計測対象）のモデルを生成できるほどの精度（性能）はないので、そのまま幾何ベースの仮想視点画像生成方法に適用することが難しい。
【００２５】
【非特許文献１】
Takeo Kanade et al.:"Virtualized Reality:Constructing Virtual Worlds from Real Scenes," IEEE MultiMedia, Vol.4, No.1, pp.34-47, 1997
【非特許文献２】
Wojciech Matusik et al.:"Image-Based Visual Hulls," SIGGRAPH2000 Conference Proceedings, pp.369-374, 2000
【非特許文献３】
片山美和ほか:多視点ハイビジョンカメラによる任意視点映像生成システムの試作, 2002年電子情報通信学会総合大会予稿集, p.160, 2002
【非特許文献４】
奥富正敏:「ステレオがなぜ難しいか」, 日本ロボット学会誌, Vol.16, No.6, pp.39-43, 1998
【非特許文献５】
Marc Levoy and Pat Hanrahan:"Light Field Rendering," SIGGRAPH'96 Conference Proceedings, pp.34-41, 1996
【非特許文献６】
Steven J. Gortler et al.:"The Lumigraph," SIGGRAPH'96 Conference Proceedings, pp.43-54, 1996
【非特許文献７】
片山昭宏ほか:「多視点画像の補間・再構成による視点追従型立体画像表示法」, 電子情報通信学会誌, Vol.J79-DII, No.5, pp.803-811, 1996
【非特許文献８】
國田豊ほか:「多眼カメラを用いた任意視点人物像の実時間生成システム」, 電子情報通信学会誌, Vol.J84-DII, No.1, pp.129-138, 2001
【非特許文献９】
G. J. Iddan and G. Yahav;"3D Imaging in the Studio(and Elesewhere...)," Proceedings of SPIE, Vol.4298, pp.48-55, 2001
【非特許文献１０】
河北真宏ほか:「三次元撮像装置 Axi-Vision Camera の開発」, ３次元画像コンファレンス'99, pp.151-156, 1999
【非特許文献１１】
S. Yoshikawa et al.:"A 48kframes/s CMOS Image Sensor for Real-time 3-D Sensing and Motion Detection," ISSCC Digest of Technical Papers, pp.94-95, 2001
【特許文献１】
米国特許第６３２３９４２号明細書
【００２６】
【発明が解決しようとする課題】
前記従来の技術で説明したように、前記仮想視点画像を生成するときに、例えば、生成する仮想視点画像の精度を高くしようとすると、画像を生成するために必要な処理時間が長くなるので、実時間レベルで仮想視点画像を生成することが難しいという問題があった。
また、逆に、実時間レベルで仮想視点画像を生成させようとすると、前記仮想視点画像を生成するために必要な処理時間は短くなるが、生成した仮想視点画像の精度が低くなるという問題があった。
【００２７】
本発明の目的は、複数のカメラで撮影した被写体の画像を用いて、仮想視点位置から前記被写体を見たときの仮想視点画像を生成する仮想視点画像生成方法及び装置において、生成する仮想視点画像の精度を保ち、かつ、仮想視点画像の生成にかかる処理時間を短くする（高速にする）ことが可能な技術を提供することにある。
【００２８】
本発明の他の目的は、前記仮想視点画像生成方法をコンピュータに実行させる仮想視点画像生成プログラム、及び前記仮想視点画像生成プログラムが記録された記録媒体を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかになるであろう。
【００２９】
【課題を解決するための手段】
本願において開示される発明のうち、代表的なものの概要を説明すれば、以下のとおりである。
【００３０】
第１の発明は、複数のカメラのそれぞれで撮影した複数枚の被写体の画像（以下、被写体画像と称する）を用いて、あらかじめ指定した視点位置（以下、仮想視点位置と称する）から見た前記被写体の画像（以下、仮想視点画像と称する）を生成する仮想視点画像生成方法であって、前記被写体の奥行き情報を取得する第１ステップと、複数の透明な画像投影面の配置、数、形状を設定する第２ステップと、前記各被写体画像の座標と前記画像投影面の座標との対応関係を決定する第３ステップと、前記被写体の奥行き情報に基づいて、前記複数の画像投影面のそれぞれに対して、画像を貼り付け可能な領域（以下、投影面部分領域と称する）を決定する第４ステップと、前記仮想視点位置に基づいて、前記被写体画像から、前記被写体画像のうち指定した画像投影面上の画像生成に用いる領域（以下、カメラ部分領域と称する）を決定し、前記カメラ部分領域の画像を抽出する第５ステップと、前記第５ステップで抽出した画像の座標を、前記第３ステップで決定した前記対応関係に基づいて、前記指定した画像投影面上の座標に変換する第６ステップと、前記第６ステップで座標変換をした画像のうち、前記投影面部分領域と重なる部分を、前記画像投影面に貼り付ける第７ステップと、すべての被写体画像について、前記第５ステップ、前記第６ステップ、前記第７ステップを繰り返し行う第８ステップと、前記第２ステップで設定したすべての画像投影面に対して、前記第５ステップ、前記第６ステップ、前記第７ステップ、前記第８ステップを繰り返し行う第９ステップと、前記画像が貼り付けられた前記画像投影面からなる３次元的な画像を、前記仮想視点位置から２次元化（レンダリング）して、前記仮想視点画像を生成する第１０ステップとを備え、前記第２ステップは、前記仮想視点画像の精度、及び前記仮想視点位置または前記仮想視点の移動範囲に応じて、前記画像投影面の配置、数、形状を設定する仮想視点画像生成方法である。
【００３１】
前記第１の発明によれば、従来の画像ベースの仮想視点画像生成方法と同様に、シンプルな画像貼り付け（テクスチャマッピング）処理により、短時間（高速）で仮想視点画像を生成することができる。
【００３２】
また、前記投影画像を貼り付ける画像投影面を複数枚設定し、実際に被写体が存在する位置に近い画像投影面に前記投影画像を貼り付けることができるので、前記被写体上の各点の実際の位置と、前記画像投影面に貼り付けられる前記投影画像上の位置のずれを小さくし、生成した仮想視点画像上の誤差を小さく抑えることができる。またこのとき、前記仮想視点画像における誤差が許容範囲内に収まるための前記被写体の奥行き範囲は、従来の画像投影面が１面の場合よりも広くすることができるので、前記被写体が複数の投影面にわたる広い奥行き範囲にあっても、前記仮想視点画像の誤差を許容範囲内に収めることができる。
【００３３】
また、前記仮想視点画像における誤差の大きさは、前記画像投影面の構成、すなわち前記画像投影面の配置、数、形状と前記仮想視点位置に依存し、前記画像投影面の構成を精緻にするほど、生成される仮想視点画像の誤差が小さくなる。しかしながら、前記画像投影面の構成は、前記仮想視点画像に要求されている精度以上に、前記仮想視点画像の誤差を小さくなるようにする必要はない。
【００３４】
そこで、前記第１の発明のように、前記画像投影面の構成を、前記仮想視点画像で要求される精度を満たすように、前記仮想視点位置または移動範囲に応じて自動的に設定する。このとき、前記画像投影面の構成の精緻さは、前記仮想視点画像で要求される精度を満たす程度に制限されるので、画像生成にかかる処理時間も制限される。そのため、余計な計算による負荷を軽減させることができ、高速（短時間）で仮想視点画像を生成することができる。
【００３５】
第２の発明は、前記第１の発明において、前記第１ステップは、前記仮想視点位置または移動範囲、及び前記仮想視点画像で許容される誤差に応じて、前記被写体の奥行き情報の分解能及び計測範囲を決定する仮想視点画像生成方法である。
【００３６】
前記第２の発明によれば、前記奥行き情報の計測は、画像投影面を構成するために必要な分解能と計測範囲に制限することができ、計測時間を短縮できるとともに、前記奥行き情報の信頼性を向上させることができる。
【００３７】
前記奥行き情報を計測する方法として、例えば、能動型の距離計測方法を用いる場合、前記奥行き情報の分解能と計測範囲の決定要因は、主に、参照光の符号化方式による。そのため、被写体や前記被写体の周囲の状態の影響を受けにくく、計測時間の短縮、及び前記奥行き情報の信頼性の向上を実現することができる。
【００３８】
第３の発明は、前記第１の発明または前記第２の発明において、前記第４ステップは、前記仮想視点位置に応じて、前記投影面部分領域を決定する仮想視点画像生成方法である。
【００３９】
前記第３の発明によれば、前記仮想視点位置に応じて、前記投影面部分領域を随時変化させることで、前記仮想視点位置が移動したときに、隣り合う画像投影面の投影面部分領域の隙間から、前記投影画像のない領域が露見することを防げ、生成した仮想視点画像の劣化を抑制することができる。
【００４０】
第４の発明は、前記第１の発明及び前記第２の発明、ならびに前記第３の発明において、前記第１ステップは、複数の地点から前記被写体の奥行き情報を取得し、前記第４ステップは、前記複数の地点から取得した複数の奥行き情報のうち、前記仮想視点位置に応じた奥行き情報を選択して用いる仮想視点画像生成方法である。
【００４１】
前記第４の発明によれば、複数の地点から取得した複数の奥行き情報から１つの奥行き情報を選択することで、前記被写体の形状に起因する奥行き情報の欠損を生じにくくすることができる。そのため、生成する仮想視点画像の劣化を防ぐことができ、画像の品質を高くすることができる。
【００４２】
第５の発明は、前記第１の発明及び前記第２の発明、ならびに前記第３の発明において、前記第１ステップは、複数の地点から前記被写体の奥行き情報を取得し、前記第４ステップは、前記複数の地点から取得した複数の奥行き情報を統合して用いる仮想視点画像生成方法である。
【００４３】
前記第５の発明によれば、特定の計測地点からは奥行き情報が取得できない領域の奥行き情報を、他の計測地点から取得した奥行き情報で補うことができる。そのため、前記第４の発明と同様に、奥行き情報の欠損を防ぐことができ、生成する仮想視点画像の劣化を防ぐことができる。
【００４４】
第６の発明は、複数のカメラのそれぞれで撮影した複数枚の被写体の画像（以下、被写体画像と称する）を用いて、あらかじめ指定した視点位置（以下、仮想視点位置と称する）から見た前記被写体の画像（以下、仮想視点画像と称する）を生成する仮想視点画像生成装置であって、前記複数枚の被写体の画像を取得する被写体画像取得手段と、前記被写体の奥行き情報を取得する奥行き情報取得手段と、複数の透明な画像投影面の配置、数、形状を設定する画像投影面設定手段と、前記各被写体画像の座標と前記画像投影面の座標との対応関係を決定する対応関係決定手段と、前記被写体の奥行き情報に基づいて、前記複数の画像投影面のそれぞれに対して、画像を貼り付け可能な領域（以下、投影面部分領域と称する）を決定する投影面部分領域決定手段と、前記仮想視点位置に基づいて、前記被写体画像のうち、指定した画像投影面上の画像生成に用いる領域（以下、カメラ部分領域と称する）を決定し、前記カメラ部分領域の画像を抽出するカメラ部分領域抽出手段と、前記抽出した画像の座標を、前記対応関係決定手段で決定した前記対応関係に基づいて、前記指定した画像投影面上の座標に変換する座標変換手段と、前記座標変換手段で座標変換をした画像のうち、前記指定した画像投影面の投影面部分領域と重なる部分を、前記画像投影面に貼り付ける投影用画像貼り付け手段と、すべての被写体画像について、前記カメラ部分領域抽出手段、前記座標変換手段、前記投影用画像貼り付け手段を繰り返し行ったか判定する第１判定手段と、すべての画像投影面に対して、前記カメラ部分領域抽出手段、前記座標変換手段、前記投影用画像貼り付け手段、前記第１判定手段を繰り返し行ったか判定する第２判定手段と、前記投影画像が貼り付けられた前記画像投影面からなる３次元的な画像を、前記仮想視点位置から２次元化（レンダリング）して、前記仮想視点画像を生成するレンダリング手段とを備え、前記画像投影面設定手段は、前記仮想視点画像の精度、及び前記仮想視点位置または前記仮想視点の移動範囲に応じて、前記画像投影面の配置、数、形状を設定する手段である仮想視点画像生成装置である。
【００４５】
前記第６の発明は、前記第１の発明である仮想視点画像生成方法を実現するための装置であり、前記各手段を備える仮想視点画像生成装置を用いることで、生成する仮想視点画像の精度を保ち、かつ、高速（短時間）で画像処理を行うことができる。
【００４６】
第７の発明は、前記第６の発明において、前記奥行き情報取得手段は、複数の計測地点から計測した奥行き情報を取得し、前記投影面部分領域決定手段は、複数の計測地点から計測した奥行き情報の中から、前記仮想視点位置に応じた奥行き情報を選択する奥行き情報選択手段を備える仮想視点画像生成装置である。
【００４７】
前記第７の発明によれば、前記第４の発明を実現するための奥行き情報選択手段を備えるので、奥行き情報の欠損を防ぐことができる。そのため、高品質の仮想視点画像を生成することができる。
【００４８】
第８の発明は、前記第６の発明において、前記奥行き情報取得手段は、複数の計測地点から計測した奥行き情報を取得し、前記投影面部分領域決定手段は、前記複数の計測地点から計測した奥行き情報を統合する奥行き情報統合手段を備える仮想視点画像生成装置である。
【００４９】
前記第８の発明によれば、前記第５の発明を実現するための奥行き情報統合手段を備えるので、奥行き情報の欠損を生じにくくすることができる。そのため、高品質の仮想視点画像を生成することができる。
【００５０】
第９の発明は、複数のカメラのそれぞれで撮影した複数枚の被写体の画像（以下、被写体画像と称する）を用いて、あらかじめ指定した視点位置（以下、仮想視点位置と称する）から見た前記被写体の画像（以下、仮想視点画像と称する）を生成させる仮想視点画像生成方法をコンピュータに実行させる仮想視点画像生成プログラムであって、前記仮想視点画像生成プログラムは、前記被写体の奥行き情報を取得させる手順１と、前記仮想視点画像の精度、及び前記仮想視点位置または前記仮想視点の移動範囲に応じて、複数の透明な画像投影面の配置、数、形状を設定させる手順２と、前記各被写体画像の座標と前記画像投影面の座標との対応関係を決定させる手順３と、前記被写体の奥行き情報に基づいて、前記複数の画像投影面のそれぞれに対して、画像を貼り付け可能な領域（以下、投影面部分領域と称する）を決定させる手順４と、前記仮想視点位置に基づいて、前記被写体画像から、前記被写体画像のうち指定した画像投影面上の画像生成に用いる領域（以下、カメラ部分領域と称する）を決定させ、前記カメラ部分領域の画像を抽出させる手順５と、前記手順５で抽出した画像の座標を、前記手順３で決定した前記対応関係に基づいて、前記指定した画像投影面上の座標に変換させる手順６と、前記手順６で座標変換をした画像のうち、前記投影面部分領域と重なる部分を、前記画像投影面に貼り付けさせる手順７と、すべての被写体画像について、前記手順５、前記手順６、前記手順７を繰り返し行わせる手順８と、前記手順２で設定したすべての画像投影面に対して、前記手順５、前記手順６、前記手順７、前記手順８を繰り返し行わせる手順９と、前記画像が貼り付けられた前記画像投影面からなる３次元的な画像を、前記仮想視点位置から２次元化（レンダリング）させて、前記仮想視点画像を生成させる手順１０とをコンピュータに実行させる仮想視点画像生成プログラムである。
【００５１】
第１０の発明は、前記第９の発明において、前記手順１は、前記仮想視点位置または移動範囲、及び前記仮想視点画像で許容される誤差に応じて、前記被写体の奥行き情報の分解能及び計測範囲を決定させる仮想視点画像生成プログラムである。
【００５２】
第１１の発明は、前記第９の発明または第１０の発明において、前記手順４は、
前記仮想視点位置に応じて、前記投影面部分領域を決定させる仮想視点画像生成プログラムである。
【００５３】
第１２の発明は、前記第９の発明乃至第１１の発明のいずれかにおいて、前記手順１は、複数の地点から前記被写体の奥行き情報を取得させ、前記手順４は、前記複数の地点から取得した複数の奥行き情報のうち、前記仮想視点位置に応じた奥行き情報を選択させる仮想視点画像生成プログラムである。
【００５４】
第１３の発明は、前記第９の発明乃至第１１の発明において、前記手順１は、複数の地点から前記被写体の奥行き情報を取得させ、前記手順４は、前記複数の地点から取得した複数の奥行き情報を統合させる仮想視点画像生成プログラムである。
【００５５】
前記第９の発明乃至前記第１３の発明は、前記第１の発明乃至前記第５の発明である仮想視点画像生成方法を、コンピュータに実行させることができるプログラムであり、専用の装置を用いることなく、仮想視点画像を生成させることができる。
【００５６】
第１４の発明は、前記第９の発明乃至第１３の発明のいずれか１つの仮想視点画像生成プログラムが記録された記録媒体である。
前記第１４の発明によれば、専用の装置を用いることなく、前記仮想視点画像を容易に生成させることができる。
【００５７】
以下、本発明について、図面を参照して実施の形態（実施例）とともに詳細に説明する。
なお、実施例を説明するための全図において、同一機能を有するものは、同一符号を付け、その繰り返しの説明は省略する。
【００５８】
【発明の実施の形態】
（実施例１）
図１及び図２は、本発明による実施例１の仮想画像生成装置の概略構成を示す模式図であり、図１は仮想画像生成装置全体の構成を示すブロック図、図２は図１の部分画像抽出貼り付け手段の構成を示すブロック図である。
【００５９】
図１において、１は仮想視点画像生成装置、１０１は被写体画像取得手段、１０２は奥行き情報取得手段、１０３は画像投影面設定手段、１０４は対応関係決定手段、１０５は部分画像抽出貼り付け手段、１０６はレンダリング手段、２はカメラ、３は被写体、４は奥行き情報計測手段、５は視点位置入力手段、６は表示手段である。また、図２において、１０５ａは初期化手段、１０５ｂは投影面部分領域決定手段、１０５ｃはカメラ部分領域抽出手段、１０５ｄは座標変換手段、１０５ｅは投影用画像貼り付け手段、１０５ｆは第１判定手段、１０５ｇは第２判定手段である。
【００６０】
本実施例１の仮想画像生成装置１は、図１に示すように、複数のカメラ２で撮影した被写体３の画像を取得する被写体画像取得手段１０１と、奥行き情報計測手段４を用いて計測した前記被写体３の奥行き情報を取得する奥行き情報取得手段１０２と、複数の透明な画像投影面の配置、数、形状を設定する画像投影面設定手段１０３と、前記各被写体画像の座標と前記画像投影面の座標との対応関係を決定する対応関係決定手段１０４と、前記被写体画像取得手段１０１で取得した被写体画像、前記奥行き情報取得手段１０２で取得した奥行き情報、前記対応関係決定手段１０４で決定した対応関係を用いて、前記被写体画像を部分的に抽出し、前記画像投影面設定手段１０３で設定した画像投影面上に貼り付ける部分画像抽出貼り付け手段１０５と、前記部分画像抽出貼り付け手段１０５で画像を貼り付けた画像投影面を、視点位置入力手段５から入力した仮想視点位置でレンダリング（２次元化）するレンダリング手段１０６とにより構成されている。
【００６１】
また、前記部分画像抽出貼り付け手段１０５は、図２に示すように、初期化手段１０５ａと、前記被写体３の奥行き情報に基づいて、前記複数の画像投影面のそれぞれに対して、画像を貼り付け可能な領域（以下、投影面部分領域と称する）を決定する投影面部分領域決定手段１０５ｂと、前記仮想視点位置に基づいて、前記被写体画像から、前記被写体画像のうち指定した画像投影面上の画像生成に用いる領域（以下、カメラ部分領域と称する）を決定し、前記カメラ部分領域の画像を抽出するカメラ部分領域抽出手段１０５ｃと、前記カメラ部分領域の画像の座標を、前記対応関係決定手段１０４で決定した前記対応関係に基づいて、前記画像投影面上の座標に変換する座標変換手段１０５ｄと、前記座標変換手段１０５ｄで座標変換をした画像のうち、前記指定した画像投影面の投影面部分領域と重なる部分を、前記画像投影面に貼り付ける投影用画像貼り付け手段１０５ｅと、すべての被写体画像について、前記カメラ部分領域抽出手段１０５ｃ、前記座標変換手段１０５ｄ、前記投影用画像貼り付け手段１０５ｅを繰り返し行ったか判定する第１判定手段１０５ｆと、すべての画像投影面に対して、前記カメラ部分領域抽出手段１０５ｃ、前記座標変換手段１０５ｄ、前記投影用画像貼り付け手段１０５ｅ、前記第１判定手段１０５ｆを繰り返し行ったか判定する第２判定手段１０５ｇとを備える。
【００６２】
このとき、前記画像投影面設定手段１０３は、生成する仮想視点画像の精度、及び前記仮想視点位置または前記仮想視点の移動範囲に応じて、前記画像投影面の配置、数、形状を設定する。
【００６３】
また、前記カメラ２は、例えば、図１に示したように、光軸が被写体３の方向を向くように配置する。このとき、前記複数のカメラ２で撮影した各画像、すなわち、さまざまな方向から撮影した前記被写体３の画像は、前記仮想視点画像生成装置１に設けられた前記被写体画像取得手段１０１に転送される。
【００６４】
また、前記奥行き情報計測手段４は、例えば、Time of Flight 法を用いる能動的計測器などの奥行き計測器である。前記奥行き情報計測手段４で計測した前記被写体３の奥行き情報は、前記仮想視点画像生成装置１に設けられた前記奥行き情報保存手段１０２に転送される。
【００６５】
また、前記仮想視点画像生成装置１は、例えば、コンピュータであり、前記仮想視点画像を生成するために設けられた各手段は、例えば、あらかじめ定められたプログラムに沿って実行されるものとする。
【００６６】
また、前記仮想視点位置は、例えば、キーボードやマウスなどの視点位置入力手段５を用いて入力する。また、前記仮想視点画像生成装置１で生成させた仮想視点画像は、ＣＲＴや液晶ディスプレイなどの表示手段６に表示される。このとき、前記視点位置入力手段５や前記表示手段６は、前記仮想視点画像生成装置１の近傍にあってもよいし、遠隔地に設置して、ネットワーク回線等で接続されたものであってもよい。
【００６７】
本実施例１の仮想視点画像生成装置１を用いて仮想視点画像を生成するときには、まず、被写体画像取得手段１０１において、前記複数台のカメラ２で撮影した前記被写体３の画像を取得する。このとき、例えば、Ｎ台のカメラ２で前記被写体３の画像を撮影したとすると、前記被写体画像取得手段１０１は、Ｎ枚の被写体画像ＣＰｉ（ｉ＝１，２，…，Ｎ）を取得する。
【００６８】
またこのとき、前記複数台のカメラ２の配置は、図１に示したような、各カメラ２の光軸が前記被写体３の方向を向く配置でなくてもかまわない。すなわち、前記カメラ２は、例えば、前記被写体３が置かれた点を中心とした円の円周上に、前記被写体３を囲むように配置してもよい。また、前記カメラ２は、図１に示したような、円弧状の配列に限らず、例えば、１列（線状）に配置してもよいし、２次元格子状に配置してもよい。
【００６９】
また、前記被写体３が時間とともに移動する物体（動物体）であるときには、前記被写体３の動きに合わせて、定期的な間隔で前記被写体３を撮影し、前記被写体画像取得手段１０１に転送する。
【００７０】
また、前記奥行き情報計測手段４は、例えば、前記複数台のカメラ２が設置された状態で、前記被写体３全体の奥行き情報を取得できるような場所に配置する。このとき、前記奥行き情報計測手段４で計測した情報を前記奥行き情報取得手段１０２に転送するが、前記奥行き情報取得手段１０２で取得する奥行き情報は、前記被写体３の完全な３次元形状を表す情報である必要はなく、一般にデプスマップと呼ばれる２次元座標に対して奥行き値を持つ情報であればよい。
【００７１】
また、前記奥行き情報計測手段４は、図１に示したように、１つであってもよいし、複数台設置して、様々な角度から前記被写体１の奥行き情報を取得してもよい。
【００７２】
また、前記奥行き情報計測手段４としては、前記被写体３の２次元画像及び奥行き情報の両方を取得できる計測器を用いることもできる。この場合、前記複数台のカメラ２のうちのいくつかに替えて、前記計測器を用いることもできる。
【００７３】
また、前記被写体３が動物体であるときには、例えば、前記カメラ２で画像を撮影するときと同じように、定期的な間隔で前記被写体３の奥行き情報を計測し、前記奥行き情報取得手段１０２に転送する。
【００７４】
また、前記被写体画像ＣＰｉ、及び前記被写体３の奥行き情報を用いて仮想視点画像を生成するときには、前記画像投影面設定手段１０３、前記対応関係決定手段１０４、部分画像抽出貼り付け手段１０５、前記レンダリング手段１０６の各手段による画像処理を行う。以下、前記各手段を用いた画像処理による仮想視点画像の生成方法について説明する。
【００７５】
図３は、本実施例１の仮想視点画像生成装置を用いた仮想視点画像生成方法を説明するための模式図であり、仮想視点画像生成装置内で行う画像処理のフローチャートである。
【００７６】
前記仮想視点画像生成装置１を用いて画像処理を行うときには、まず、図３に示すように、前記仮想視点画像生成装置１内の空間に、複数の透明な画像投影面Ｌｊ（ｊ＝１，２，…，Ｍ）を設定する（ステップ７０１）。前記画像投影面Ｌｊを設定するステップ７０１は、前記仮想視点画像生成装置１に設けられた画像投影面設定手段１０３で行う。
【００７７】
このとき、前記画像投影面Ｌｊは透明であるため、画像を何も投影しない状態、すなわち、画像を貼り付けていない状態では、レンダリングに影響を与えない。そのため、後方にある画像投影面に画像を貼り付けたとき、前方にある画像投影面の、前記後方の画像投影面の前記画像が貼り付けられた領域に、画像が貼り付けられていなければ、前記後方の画像投影面に貼り付けられた画像が透けて見える。
【００７８】
また、前記画像投影面Ｌｊの配置、数、形状は、仮想視点位置に応じて、生成する仮想視点画像で要求される精度を満たすように、仮想視点位置に応じて最適かつ自動的に設定される。このときの、前記画像投影面Ｌｊの設定方法の詳細については、後で説明する。
【００７９】
次に、図３に示すように、前記各被写体画像ＣＰｉの座標と前記各画像投影面Ｌｊの座標との対応関係Ｔｉｊを決定する（ステップ７０２）。前記対応関係Ｔｉｊを決定するステップ７０２は、前記仮想視点画像生成装置１に設けられた対応関係決定手段１０４で行う。
【００８０】
前記対応関係Ｔｉｊは、前記被写体画像ＣＰｉのすべての点（画素）の対応関係を決めてもよいし、前記被写体画像ＣＰｉ上の代表的な点（画素）の対応関係だけを決めておき、その他の点は決定した対応関係に基づいて補完するようにしてもよい。
【００８１】
また、前記被写体画像ＣＰｉが、理想的な透視変換とみなせるならば、前記対応関係Ｔｉｊを透視変換行列とすることも可能である。また、実測値に基づいたデータを用いることで、前記被写体画像ＣＰｉ上に現れるレンズの歪曲収差を補正して、前記画像投影面Ｌｊ上に投影することができる。
【００８２】
次に、図３に示すように、前記被写体画像ＣＰｉの変数ｉと前記画像投影面Ｌｊの変数ｊのそれぞれを初期化して、ｉ＝１、ｊ＝１とする（ステップ７０３）。前記変数ｉ，ｊの初期化は、前記部分画像抽出貼り付け手段１０５に設けた初期化手段１０５ａで行う。
【００８３】
次に、図３に示すように、前記奥行き情報取得手段１０２で取得した奥行き情報に基づいて、前記画像投影面Ｌｊ上の投影面部分領域Ｓｊを決定する（ステップ７０４）。前記投影面部分領域Ｓｊを決定するステップ７０４は、前記部分画像抽出貼り付け手段１０５に設けられた投影面部分領域決定手段１０５ｂで行う。
【００８４】
このとき、前記投影面部分領域Ｓｊは、仮想視点画像を生成するために、前記被写体画像ＣＰｉの一部を貼り付ける領域である。このときの、前記投影面部分領域Ｓｊの決定方法の詳細については、後で説明する。
また、本実施例１では、前記奥行き情報は、図１に示したように、１つの奥行き情報計測手段４で計測した１種類の奥行き情報を用いることにする。
【００８５】
次に、図３に示すように、指定した被写体画像ＣＰｉ（例えば、第１被写体画像ＣＰ１）のうち、指定した画像投影面Ｌｊ（例えば、第１画像投影面Ｌ１）上の画像生成に用いるカメラ部分領域Ｒｉｊを決定して抽出する（ステップ７０５）。前記カメラ部分領域Ｒｉｊを抽出するステップ７０５は、前記部分画像抽出貼り付け手段１０５に設けられたカメラ部分領域抽出手段１０５ｃで行う。
【００８６】
このとき、前記カメラ部分領域Ｒｉｊは、生成する仮想視点画像に生じる誤差が最小となるように、仮想視点位置に応じて決定する。このときの、前記カメラ部分領域Ｒｉｊの決定方法の詳細については、後で説明する。
【００８７】
次に、図３に示すように、前記カメラ部分領域Ｒｉｊの各点（画素）の座標を、前記対応関係Ｔｉｊで変換する（ステップ７０６）。前記座標を変換するステップ７０６は、前記カメラ部分領域抽出手段１０５に設けられた座標変換手段１０５ｄで行う。
このとき、前記カメラ部分領域Ｒｉｊの画像は、前記画像投影面Ｌｊでは、領域Ｕｉｊの画像となる。
【００８８】
次に、図３に示すように、前記領域Ｕｉｊの画像のうち、前記ステップ７０４で決定した前記投影面部分領域Ｓｊと重なった部分を、前記画像投影面Ｌｊに貼り付ける（ステップ７０７）。前記画像を画像投影面Ｌｊに貼り付けるステップ７０７は、部分画像抽出貼り付け手段１０５に設けられた投影用画像貼り付け手段１０５ｅで行う。
【００８９】
次に、前記被写体画像ＣＰｉの変数ｉを更新（ステップ７０８）し、すべての被写体画像に対して、前記ステップ７０５、前記ステップ７０６、前記ステップ７０７の処理を行ったか判定する（ステップ７０９）。前記ステップ７０８及び前記ステップ７０９は、部分画像抽出貼り付け手段１０５に設けられた第１判定手段１０５ｆで行う。
【００９０】
このとき、すべての被写体画像について前記ステップ７０５から前記ステップ７０７までの処理が済んでいれば、次のステップに進み、未処理の被写体画像があれば、前記カメラ部分領域Ｒｉｊを決定するステップ７０５に戻り、前記未処理の被写体画像について前記ステップ７０５から前記ステップ７０７を行う。
【００９１】
次に、前記画像投影面Ｌｊの変数ｊを更新（ステップ７１０）し、すべての画像投影面に対して、前記ステップ７０５、前記ステップ７０６、前記ステップ７０７、前記ステップ７０８の処理を行ったか判定する（ステップ７１１）。前記ステップ７１０及び前記ステップ７１１は、前記部分画像抽出貼り付け手段１０５に設けられた第２判定手段１０５ｇで行う。
【００９２】
このとき、すべての画像投影面について前記ステップ７０５から前記ステップ７０９までの処理が済んでいれば次のステップに進み、未処理の画像投影面があれば、前記投影面部分領域Ｓｊを決定するステップ７０４に戻り、前記未処理の画像投影面について前記ステップ７０４から前記ステップ７０９までを行う。
【００９３】
次に、図３に示すように、前記画像を貼り付けた画像投影面群を、前記仮想視点位置から２次元化（レンダリング）して仮想視点画像を生成する（ステップ７１２）。前記レンダリングをするステップ７１２は、前記仮想視点画像生成装置１に設けられたレンダリング手段１０６で行う。
【００９４】
以上の手順により、前記視点位置入力手段５を用いて入力した仮想視点位置から前記被写体３を見たときの仮想視点画像が生成され、生成された前記仮想視点画像は、前記表示手段６に表示される。このとき、前記表示手段６は、前記仮想視点画像生成装置１に直接接続されたＣＲＴなどのモニタであってもよいし、例えば、ネットワークを介して遠隔地に設置されたコンピュータあるいはモニタに送信してもよい。また、図示は省略するが、前記手順で生成した仮想視点画像を、ハードディスクや半導体メモリなどの外部記録装置に記録（保存）してもよい。
【００９５】
本実施例１の仮想視点画像の生成方法では、前記画像投影面Ｌｊは、前記被写体画像ＣＰｉから抽出した部分画像を貼り付けるスクリーンの役割をする。また、前記画像投影面Ｌｊは、初期設定では透明であり、前記部分画像を貼り付けた部分が不透明になるようにしているので、仮想視点位置から見て後方（遠方）にある画像投影面の画像が適切に透視もしくは遮蔽される。
【００９６】
また、仮想視点画像の精度を向上させるためには、前記画像投影面Ｌｊの配置間隔を細かくしていくとともに、実際の被写体の形状に近づけていけばよいが、そうすることで処理時間が長くなる。そのため、前記仮想視点画像に要求されている精度に合わせて前記画像投影面Ｌｊの構成を設定することで、無駄な画像処理を行わないようにすることができ、精度が高い仮想視点画像を高速（短時間）で生成することができる。
【００９７】
また、前記ステップ７０５で決定する前記カメラ部分領域ｉｊは、前記各カメラ２で撮影した被写体画像ＣＰｉのうち、前記画像投影面Ｌｊごとに限定された領域であり、同じ被写体画像ＣＰｉ（例えば第１被写体画像ＣＰ１）、同じ画像投影面Ｌｊ（例えば、第１画像投影面Ｌ１）であっても、仮想視点位置を変えると前記カメラ部分領域Ｒｉｊは変化する。そのため、前記仮想視点位置に基づいて、適切なカメラ部分領域Ｒｉｊを決定することにより、前記画像投影面Ｌｊ上に、適切な前記部分画像を貼り付けることができ、生成する仮想視点画像の精度を保証することができる。
【００９８】
なお、前記画像投影面Ｌｊには、前記カメラ部分領域Ｒｉｊに含まれるすべての部分画像を貼り付けるわけではなく、前記対応関係Ｔｉｊにより座標変換をしたときに、前記投影面部分領域Ｓｊに含まれる部分のみが貼り付けられる。
また、前記投影面部分領域Ｓｊは、奥行き情報取得手段１０２で取得した奥行き情報に基づいて決定する。
【００９９】
前記被写体画像ＣＰｉの各点は、実際にその点が存在する位置の近傍にある画像投影面に貼り付けた場合、画像を生成するときの誤差が小さくなり、仮想視点画像の精度が高くなる。逆に、実際にその点が存在する位置から離れた画像投影面に貼り付けられた場合、画像を生成するときの誤差が大きくなり、仮想視点画像の精度が低くなる。
【０１００】
すなわち、前記画像投影面のうち、実際に被写体が存在する位置の近傍のみを、前記投影面部分領域Ｓｊとすることにより、画像を生成するときの誤差を小さくすることができる。
【０１０１】
以下、前記ステップ７０１で設定する前記画像投影面Ｌｊの設定方法、前記ステップ７０４で決定する投影面部分領域Ｓｊの決定方法、前記ステップ７０５で決定するカメラ部分領域Ｒｉｊの決定方法のそれぞれについての、具体的な方法の一例を説明する。
【０１０２】
なお、説明を簡単にするために、まず、前記カメラ部分領域Ｒｉｊの決定方法について説明し、続けて、前記画像投影面Ｌｊの設定方法、及び前記投影面部分領域Ｓｊの設定方法について説明する。
【０１０３】
図４乃至図６は、本実施例１における仮想視点画像の生成方法を説明するための模式図であり、図４はカメラの配置と画像投影面の配列の例を示す図、図５（ａ）及び図５（ｂ）はボロノイ領域について説明するための図、図６はカメラ部分領域の決定方法を説明するための図である。
【０１０４】
前記カメラ部分領域Ｒｉｊを決定する方法は、前記カメラ２の配置や、仮想視点位置、生成する仮想視点画像の精度などにより、いくつかの方法が考えられる。本実施例1では、生成する仮想視点画像の精度を保証しやすい決定方法の一例として、ボロノイ領域を利用した決定方法について説明する。
【０１０５】
また、本実施例１では、前記カメラ部分領域Ｒｉｊを決定するにあたって、前記被写体画像ＣＰｉ（ｉ＝１，２，…，Ｎ）は、例えば、図４に示すように、ある平面（カメラ設置面）８上に、等間隔εで２次元格子状に並べられたＮ台のカメラ２で撮影したとする。また、前記奥行き情報計測手段（図示しない）は前記カメラ２と干渉しないような位置に配置されているとする。また、仮想視点位置Ｐは図４に示したよう、カメラ設置面８から距離ＺＰだけ離れた位置に設定し、前記画像投影面Ｌｊは、図４に示したように、前記カメラ２を設置した面（カメラ設置面）と平行な平面になるように設定したとする。
【０１０６】
また、前記ボロノイ領域は、例えば、図５（ａ）に示すように、ある空間内にいくつかの点（母点）９が与えられたときに、最近傍則によって、その空間を背反な部分空間に分割した領域のことである。すなわち、前記Ｎ台のカメラ２を２次元格子状に並べたときには、前記母点９も２次元格子状に並んでいることになるので、前記ボロノイ領域Ｖｉは、図５（ｂ）に示すように、正方形の領域になる。
【０１０７】
以上のような条件のもとで、例えば、図６に示すように、前記カメラ設置面からの距離ｌｊにある画像投影面Ｌｊに対して、前記被写体画像ＣＰｉの部分画像を貼り付けるときのカメラ部分領域Ｒｉｊの決定する場合、まず、前記カメラ設置面８上で、Ｎ台の前記各カメラ２の設置位置を母点とするボロノイ領域Ｖｉ（ｉ＝１，２，…，Ｎ）を求める。
【０１０８】
次に、図６に示すように、前記仮想視点位置Ｐを中心とした透視投影により、前記ボロノイ領域Ｖｉを、前記画像投影面Ｌｊに投影する。
そして、前記対応関係Ｔｉｊを用いて前記被写体画像ＣＰｉを前記画像投影面Ｌｊに投影したときに、前記被写体画像の全域１０のうち、前記画像投影面Ｌｊに投影されたボロノイ領域Ｗｉｊと重なる（一致する）領域を前記カメラ部分領域Ｒｉｊに決定する。
【０１０９】
図７は、本実施例１の仮想視点画像の生成方法を説明するための模式図であり、画像投影面の設定方法の一例を示す図である。
本実施例１の画像生成方法を用いて、前記被写体画像ＣＰｉから前記カメラ部分領域Ｒｉｊの画像を抽出し、前記画像投影面Ｌｊに貼り付ける場合、例えば、カメラ設置面８から実際の被写体３上の点までの距離と、前記カメラ設置面８から前記画像投影面Ｌｊ上の距離とが異なると、生成した画像上に誤差が生じる。そこで、前記仮想視点画像で要求される精度を満たすために許容される誤差の最大値をδとする。
【０１１０】
このとき、前記カメラ設置面８から距離ｌの位置にある被写体３上の点が、前記画像投影面Ｌｊに貼り付けられているとすると、前記距離ｌが、下記数式１、数式２、数式３で表される条件を満たしていれば、前記距離ｌの位置にある被写体上の点と画像投影面Ｌｊ上の点の誤差が最大値δよりも小さいことが保証される。
【０１１１】
【数１】
【数２】
【数３】
前記数式１において、ｆｌｊ及びｂｌｊは画像投影面Ｌｊに貼り付けられる点の最小値及び最大値で、カメラ設置面からの距離ｌがｆｌｊからｂｌｊまでの間である点は、前記画像投影面Ｌｊに貼り付けられる。
【０１１５】
また、前記数式２及び数式３において、ＺＰはカメラ設置面から仮想視点位置までの距離、ｆはカメラの焦点距離、εはカメラの設置間隔、δは許容される誤差の最大値である。またこのとき、前記仮想視点の位置は、前記カメラ設置面８を基準として、前記画像投影面Ｌｊが設けられた方向とは逆の方向にあるとする。また、被写体画像ＣＰｉと前記画像投影面Ｌｊの間の写像は透視投影とする。
【０１１６】
すなわち、ある画像投影面（例えば、第１画像投影面Ｌ１）に関して考えると、前記第１画像投影面Ｌ１上に貼り付けられた画像（点）のうち、実際の被写体上の点が、前記数式１によって与えられる奥行き範囲内に存在する場合は、画像投影面Ｌ１上での位置の誤差を最大値δよりも小さくすることができる。そのため、前記各画像投影面Ｌｊに対して、前記数式１の条件を設定し、前記被写体３が存在する奥行き範囲全体をカバーするように配置することで、仮想視点画像を一定の誤差の範囲内で生成することができる。
【０１１７】
前記ｆｌｊ及びｂｌｊ、ならびにカメラ設置面８から画像投影面Ｌｊまでの距離ｌｊを設定するときは、まず、例えば、図７に示すように、奥行き情報の最小値ｌminをｆｌ１とする。このとき、前記数式２から第１画像投影面Ｌ１の距離ｌ１が決定する。また、前記第１画像投影面Ｌ１の距離ｌ１が決まると、前記数式３からｂｌ１が決まる。
【０１１８】
次の画像投影面（第２画像投影面Ｌ２）に関しては、図７に示したように、ｆｌ２＝ｂｌ１とし、前記数式２及び前記数式３を用いて前記第２画像投影面Ｌ２の距離ｌ２、及びｂｌ２を決める。
【０１１９】
以下、逐次的にｆｌｊ＋１＝ｂｌｊとして計算を繰り返し、ｂｌｊが被写体３の奥行き情報の最大値ｌmaxよりも大きくなるか、無限大になるまで画像投影面を設定していく。
【０１２０】
前記被写体の奥行き情報の最小値ｌmin、及び最大値ｌmaxは、前記奥行き情報取得手段１０２で取得した奥行き情報を用いる代わりに、例えば、あらかじめ被写体３が移動する奥行き範囲を想定しておき、その情報を用いてもよい。
【０１２１】
また、前記画像投影面Ｌｊの設定方法では、仮想視点位置が更新されるたびに設定処理を行ってもよいし、あらかじめ仮想視点位置が移動する範囲を限定しておき、その限定された範囲内で、許容される誤差の最大値δがもっとも厳しい（小さい）場合に基づいて設定してもよい。
【０１２２】
図８乃至図１１は、本実施例１の仮想視点画像の生成方法を説明するための模式図であり、図８及び図９はそれぞれ投影面部分領域の決定方法の一例を示す図であり、図１０及び図１１は投影面部分領域の他の決定方法を示す図である。
【０１２３】
本実施例１の仮想視点画像生成方法では、前記数式１、前記数式２、前記数式３を満たすように前記画像投影面Ｌｊを設定することにより、被写体上の任意の点は、前記画像投影面ごとに生じる生成画像上の奥行き方向の誤差を、一定の範囲内に収めることができる。しかしながら、実際に画像を生成したときに、誤差を一定の範囲内に収めるためには、前記被写体上のある点を撮影した画像が、適切な画像投影面、すなわち、その点の距離が許容される奥行き範囲に属するような画像投影面に貼り付けなくてはならない。
【０１２４】
前記ステップ７０４で決定する投影面部分領域Ｓｊには、前記被写体上の各点を、適切な画像投影面に貼り付けるために必要となる。すなわち、前記投影面部分領域Ｓｊは、奥行き情報を取得した前記被写体３上の点のうち、前記数式１で与えられる前記画像投影面Ｌｊの許容奥行き範囲にある点を、何らかの方法で前記画像投影面Ｌｊ上に写像したときに得られる領域である。
【０１２５】
前記被写体３上の点の写像には、さまざまな形態が考えられるが、例えば、奥行き計測地点からの透視投影変換を用いることができる。
このとき、前記投影面部分領域Ｓｊは、例えば、前記数式１の関係を利用し、図８に示すように、前記被写体３の点のうち、前記カメラ設置面からの距離がｆｌｊからｂｌｊの中にある点を、奥行き計測地点Ｆから前記画像投影面Ｌｊに投影したときに得られる領域とする。
【０１２６】
同様に、前記投影面部分領域Ｓｊ＋１は、図９に示すように、前記カメラ設置面からの距離がｆｌｊ＋１（＝ｂｌｊ）からｂｌｊ＋１の中にある点を、奥行き計測地点Ｆから前記画像投影面Ｌｊ＋１に投影したときに得られる領域とする。また、前記投影面部分領域Ｓｊを決定するときには、前記数式１の関係を用いる代わりに、下記数式４を用いることもできる。
【０１２７】
【数４】
前記数式４の関係を用いて前記投影面部分領域Ｓｊを決定した場合、例えば、ある画像投影面Ｌｊ＋１の投影面部分領域Ｓｊ＋１には、図１０に示すように、前記画像投影面Ｌｊ＋１の前方にある画像投影面Ｌｊの投影面部分領域とするべき領域も含まれる。そのため、前記ある画像投影面Ｌｊ＋１には、図１１に示すように、本来貼り付けるべき部分画像のほかに、前方の画像投影面に貼り付けられている部分画像も貼り付けられる。しかしながら、前記画像投影面Ｌｊ＋１に貼り付けられた余分な部分画像のうち、前方の画像投影面Ｌｊに貼り付けられている部分画像と重なった領域は、仮想視点位置からレンダリングするときには見えない。
【０１２９】
前記数式１の関係を用いて前記画像投影面Ｌｊを決定するときには、例えば、投影面部分領域Ｓｊの境界と投影面部分領域Ｓｊ＋１の境界線が一致せずに、隣り合う画像投影面の隙間に画像の欠損ができることがある。そこで、例えば、前記数式４の関係を用いて前記画像投影面Ｓｊを決定することで、画像の欠損を防ぎ、仮想生成画像の品質を向上させることができる。
【０１３０】
以上説明したように、本実施例１の仮想視点画像生成装置１を用いた仮想視点画像生成方法によれば、生成する画像の精度に応じて複数の画像投影面Ｌｊを設定し、前記複数の画像投影面のそれぞれに、前記被写体画像ＣＰｉの中から適切な条件で抽出した部分画像を貼り付けることにより、仮想視点画像の精度、特に奥行き方向の精度をよくすることができる。
【０１３１】
また、前記複数の画像投影面Ｌｊを設定するときに、前記数式１、前記数式２、前記数式３の条件を満たすようにすると、無駄な処理を省き、要求された精度の仮想視点画像を効率よく生成することができる。そのため、被写体３が大きい、あるいは形状が複雑な場合、もしくは前記被写体３が時間とともに移動する場合でも、仮想視点画像を高速（短時間）で生成することができる。
【０１３２】
なお、本実施例１で説明した、前記画像投影面Ｌｊの設定方法、前記投影面部分領域Ｓｊの決定方法、前記カメラ部分領域Ｒｉｊの決定方法は、それぞれの一例であり、例えば、前記被写体３の形状や時間変化、あるいは被写体画像ＣＰｉの撮影条件などに応じて、適宜変更することが可能である。
【０１３３】
また、本実施例１では、前記仮想視点画像生成装置１としてコンピュータを用い、前記仮想視点画像生成装置１に、図３に示したような手順のプログラムを実行させて仮想生成画像を生成する方法について説明したが、このときのプログラムは、記録媒体に記録してもよいし、ネットワーク回線を通して提供してもよい。
【０１３４】
（実施例２）
図１２及び図１３は、本発明による実施例２の仮想視点画像生成方法を説明するための模式図であり、図１２（ａ）及び図１２（ｂ）は奥行き情報計測手段の概略構成を示す図、図１３は前記奥行き情報計測手段を用いた奥行き情報の計測方法を説明するための図である。
【０１３５】
図１２（ａ）及び図１２（ｂ）において、４０１は参照光照射手段、４０２は撮像手段、４０２ａは撮像面、４０２ｂは光学系調節手段、４０２ｃはゲート、４０３は制御手段である。
【０１３６】
本実施例２では、前記実施例１で説明した方法で仮想視点画像を生成するときに用いる、前記被写体３の奥行き情報の計測方法の一例として、飛行時間法（time-of-flight method）を用いた計測方法について説明する。なお、本実施例２の仮想視点画像生成装置の全体的な構成は、前記実施例１で説明した仮想視点画像生成装置１と同様であるため、詳細な説明は省略する。
【０１３７】
前記飛行時間法を用いて、前記被写体３の奥行き情報を計測する奥行き情報計測手段４は、例えば、図１２（ａ）に示すように、前記被写体３に参照光を照射する参照光照射手段４０１と、前記被写体３で反射した参照光を検出する撮像手段４０２と、前記参照光照射手段４０１及び前記撮像手段４０２を制御する制御手段４０３とにより構成される。また、前記撮像手段４０２は、例えば、図１２（ｂ）に示すように、前記被写体３で反射した参照光を受ける撮像面４０２ａと、前記参照光を前記撮像面４０２ａで結像させるための光学系調節手段４０２ｂと、ゲート４０２ｃにより構成されている。このとき、前記参照光照射手段４０１の光源には、例えば、レーザや発光ダイオードなどを用いる。また、前記ゲート４０２ｃには、例えば、イメージインテンシファイアを用いる。
【０１３８】
また、前記ゲート４０２ｃは、例えば、前記制御手段４０３により開閉のタイミングが電子的に制御されており、前記ゲート４０２ｃが開いているときだけ、前記被写体３で反射した参照光が前記撮像面４０２ａに到達して結像する。そのため、前記ゲート４０２ｃの開閉のタイミングと前記参照光を照射するタイミングを制御することで、前記参照光が照射されてから、前記被写体３の表面で反射し、前記撮像面４０２ａで結像（撮影）されるまでの時間を間接的に計測することができ、前記撮像面４０２ａ上の画素ごとに、奥行き情報を取得することができる。
【０１３９】
前記参照光を照射するタイミングと前記ゲートの開閉のタイミングは、一般に、図１３に示すように、時刻ｔ＝０にパルス状の参照光を照射したときに、その後、時刻ｔ１から時刻ｔ２までの間だけ前記ゲート４０２ｃが開かれるように制御される。
【０１４０】
このとき、光速をｃで表すと、時刻ｔ１までに参照光が進む距離はｃ・ｔ１、時刻ｔ２までに参照光が進む距離はｃ・ｔ２である。そのため、時刻ｔ＝０に照射した参照光を、前記被写体３の表面で反射した後、前記時刻ｔ１から時刻ｔ２の間に前記撮像手段４０２に到達させるには、前記光源（参照光照射手段４０１）と前記被写体の距離ｌｌが下記数式５を満たさなければならない。
【０１４１】
【数５】
逆に言えば、前記被写体３の表面上の各点のうち、前記参照光照射手段４０１からの距離ｌｌが前記数式５を満たしている点で反射した参照光だけが、前記ゲート４０２ｃを通過して撮像面４０２ａに到達する。すなわち、前記撮像面４０２ａには、前記被写体のうち、参照光照射手段４０１から距離ｌｌの点のみが結像する。そのため、前記時刻ｔ１及び時刻ｔ２の設定を適宜変更することで、前記被写体３の表面上の各点における、前記参照光照射手段４０１から前記被写体３までの距離を得ることができ、その距離に基づいて前記被写体３の奥行き情報を得ることができる。
【０１４３】
ただし、１回の行程で前記撮像面に到達する参照光の光量は微量であり、ノイズと分離して検出できるほどの光量ではない。そのため、同じ設定で複数回の行程を行い、多重露光して光量の総和を十分に大きくする。
【０１４４】
そして、前記時刻ｔ１及び前記時刻ｔ２の設定を逐次的に変更し、それぞれの設定において計測することで、前記被写体の表面上のすべての点の距離を得る。このとき、前記奥行き情報の分解能（精度）は、前記時刻ｔ１及び前記時刻ｔ２を変更する間隔により決まり、間隔を小さくすれば分解能は高くなる。また、前記奥行き情報の計測範囲は、前記時刻ｔ１及び時刻ｔ２を変化させる範囲により決まる。
【０１４５】
しかしながら、分解能を高くし、計測範囲を広くしようとすると、光量の総和を十分な大きさにする場合には、計測にかかる時間が長くなってしまう。逆に、計測にかかる時間を短くしようとすると、光量の総和が小さくなり、奥行き情報の信頼性が低下する。そのため、前記奥行き情報の分解能と計測範囲は、仮想視点画像を生成する上で要求される性能（精度）に応じて、設定することが好ましい。前記奥行き情報の分解能と計測範囲に要求される精度は、前記実施例１で説明したような、画像投影面の設定により規定することができる。
【０１４６】
このとき、前記ゲートの開閉のタイミング、すなわち、前記時刻ｔ１及び前記時刻ｔ２を、下記数式６及び数式７のように設定すると、前記数式５で表される計測範囲が、前記数式１で表される前記画像投影面Ｌｊがカバーする範囲と一致する。そのため、前記画像投影面で得られたパターンに基づいて、前記実施例１で説明した投影面部分領域Ｓｊを決定することができる。
【０１４７】
【数６】
【数７】
なお、前記参照光は、前記カメラ２で撮影する被写体画像ＣＰｉに影響を与えないようにする必要があるので、波長帯域や照射時間を調節しなければならない。そのため、例えば、前記参照光として赤外領域の波長の光を用い、前記カメラ２に赤外光カットフィルタを設けて前記参照光が入射するのを防ぐ。また、例えば、参照光を断続的に照射し、参照光を照射している時間は前記カメラ２のシャッターを閉じておき、前記参照光を照射していない時間に前記カメラ２で前記被写体画像ＣＰｉを撮影する。
【０１５０】
以上説明したように、本実施例２の奥行き情報の計測方法によれば、仮想視点画像を生成する上で要求される精度に適した分解能及び計測範囲の奥行き情報を効率よく計測することができる。すなわち、本実施例２で説明した方法で前記奥行き情報を計測するときに、前記数式６及び前記数式７に示したような条件を与えることで、計測データの処理の無駄を省け、データ処理にかかる時間を短縮することができる。
【０１５１】
また、本実施例２の奥行き情報の計測方法を用いることで、前記被写体３の奥行き情報の信頼性が向上する。そのため、前記実施例１で説明したような方法で仮想視点画像を生成したときに、前記仮想視点画像の精度を保証することができる。
【０１５２】
また、本実施例２の奥行き情報の計測方法では、参照光の符号化、すなわち、前記光源から被写体までの距離に応じた参照光の分離は、パルス波を照射した時刻とゲートの開閉のタイミングを用いて行ったが、これに限らず、参照光の照射を強度や周波数で変調することも可能である。また、前記参照光の符号化は、本実施例２で説明した方法に限らず、他の方法を用いることもでき、同様の効果を得ることができる。すなわち、奥行き情報を計測する状況に応じて、参照光を符号化する方法を変えることで、要求される分解能及び計測範囲の奥行き情報を効率よく計測することができる。
【０１５３】
また、本実施例２では、飛行時間法（time-of-flight method）を用いた計測方法について説明したが、他の能動的計測法を用いて計測することもできる。
また、前記奥行き情報の計測には、前記能動的計測法に限らず、ステレオ法やレンズ焦点法などの受動的計測法を用いることもできる。前記受動的計測法を用いる場合も、本実施例２で説明したように、仮想視点画像を生成する上で要求される性能（精度）に応じて、前記奥行き情報の分解能や計測範囲を設定することで、信頼性の高い奥行き情報を効率よく計測することができる。
【０１５４】
（実施例３）
図１４乃至図１６は、本発明による実施例３の仮想視点画像生成方法を説明するための模式図であり、図１４は投影面部分領域の決定方法を説明するためのフローチャート、図１５は前記実施例１で説明した方法で投影面部分領域を決定したときの図、図１６は本実施例３で説明する方法で投影面部分領域を決定したときの図である。
【０１５５】
本実施例３の仮想視点画像の全体的な生成方法は、前記実施例１で説明した生成方法と同様であるので、詳細な説明は省略する。
本実施例３の仮想視点画像の生成方法と、前記実施例１で説明した生成方法とで異なるのは、前記投影面部分領域Ｓｊを決定する方法である。本実施例３では、前記投影面部分領域Ｓｊを決定するために、図１４に示すように、奥行き計測地点における奥行き情報を３次元空間上に投射するステップ７０４ａと、仮想視点位置Ｐにおける奥行き情報を取得するステップ７０４ｂと、投影面部分領域を決定するステップ７０４ｃの各ステップを設ける。
【０１５６】
前記実施例１では、図１５に示すように、前記奥行き計測地点Ｆからの透視投影を行って、画像投影面Ｌｊの投影面部分領域Ｓｊや、画像投影面Ｌｊ＋１の投影面部分領域Ｓｊ＋１を決定している。このとき、前記仮想視点位置Ｐと前記奥行き計測地点Ｆのずれが大きいと、前記仮想視点位置から前記画像投影面を見た時に、画像投影面Ｌｊの投影面部分領域Ｓｊと、画像投影面Ｌｊ＋１の投影面部分領域Ｓｊ＋１の間に画像が存在しない領域が生じ、仮想視点画像の品質が低下する。
【０１５７】
そこで、本実施例３の投影面部分領域決定方法のように、まず、前記奥行き計測地点Ｆにおける奥行き情報を３次元空間上に投射（ステップ７０４ａ）し、仮想視点位置Ｐにおける奥行き情報を取得（ステップ７０４ｂ）すると、図１６に示したように、前記仮想視点位置Ｐからの透視投影により投影面部分領域Ｓｊを決定することができる（ステップ７０４ｃ）。そのため、投影面部分領域に隙間が生じるのを防ぐことができる。
【０１５８】
以上説明したように、本実施例３の仮想視点画像生成方法によれば、任意の計測地点Ｆから取得した奥行き情報を、仮想視点位置Ｐから取得した奥行き情報にすることにより、仮想視点画像の品質の低下を防ぐことができる。
また、前記投影面部分領域を決定するときには、前記実施例１で説明したように、前記数式１の関係を用いて透視投影してもよいし、前記数式４の関係を用いて透視投影してもよい。
【０１５９】
（実施例４）
図１７乃至図１９は、本発明による実施例４の仮想視点画像生成方法を説明するための模式図であり、図１７及び図１９は奥行き計測地点の決定方法を説明するための模式図であり、図１８は投影面部分領域を決定するために用いる奥行き情報の選択方法を説明するためのフローチャートである。
【０１６０】
本実施例４の仮想視点画像の全体的な生成方法は、前記実施例１で説明した方法と同様であるため、詳細な説明は省略する。
本実施例４の仮想視点画像の生成方法において、前記実施例１で説明した方法と異なるのは、前記投影面部分領域を決定するための奥行き情報の計測方法である。
【０１６１】
前記実施例１では、１つの計測地点から取得した奥行き情報を用いて前記投影面部分領域Ｓｊを決定している。しかしながら、計測地点が１点の場合、被写体の形状によっては、例えば、前記計測地点からでは計測できない領域が出てくる。前記奥行き情報を計測できない、すなわち取得できない領域があると、その部分は投影面部分領域に含まれない。そのため、設定した仮想視点の位置によっては、生成した仮想視点画像に欠損が生じ、品質が低下する。
【０１６２】
そのような問題を解決するために、本実施例４では、例えば、図１７に示すように、２つの計測地点Ｆ１，Ｆ２のそれぞれから、前記被写体３の奥行き情報を計測して取得する。そして、仮想視点位置Ｐに応じて、２つの奥行き情報のうち、画像の欠損が少ない奥行き情報を選択し、その奥行き情報を用いて投影面部分領域を決定する。なお、図１７では、計測地点が２つの例を示しているが、これに限らず、３つ以上の計測地点から奥行き情報を取得し、その中から最適な奥行き情報を決定してもよい。
【０１６３】
前記複数の奥行き情報の中の一つを選択する場合は、まず、図１８に示すように、複数の計測地点から複数の奥行き情報を計測（ステップ７０４ｄ）しておき後、仮想視点位置Ｐの情報を取得する（ステップ７０４ｅ）。前記仮想視点位置Ｐの情報は、前記実施例１で説明したような入力手段５から入力される。
【０１６４】
次に、複数の計測地点の中から、前記仮想視点位置からの画像生成に最適な計測地点Ｆ＊を選択する（ステップ７０４ｆ）。
次に、前記選択した計測地点から計測した奥行き情報を投影面部分領域決定手段に送る（ステップ７０４ｇ）。
このとき、最適な計測地点Ｆ＊は、一般に、前記仮想視点位置に最も近い計測地点を選択すると、生成した画像の劣化も小さくなるが、場合によっては、画質が低下することもある。
【０１６５】
例えば、図１７に示したように、２つの計測地点Ｆ１，Ｆ２から奥行き情報を取得したときに、仮想視点位置Ｐから一番近いのは計測地点Ｆ１である。しかしながら、計測地点Ｆ１から計測した奥行き情報では、前記仮想視点位置Ｐから見える被写体表面上であって、かつ、前記計測地点Ｆ１からは計測できない領域３Ａが多い。そのため、前記計測地点Ｆ１から取得した奥行き情報を用いて仮想視点画像を生成すると画質が低下する。一方、計測地点Ｆ２は、前記仮想視点位置Ｐとの距離は大きくなるが、図１９に示すように、前記仮想視点位置Ｐから見える領域と前記計測地点Ｆ２からは計測できない領域３Ａの重なりが少ない。そのため、この場合には、前記計測地点Ｆ１の奥行き情報よりも、計測地点Ｆ２から取得した奥行き情報を用いたほうが好ましいと考えられる。すなわち、選択する計測位置は、仮想視点位置との距離だけでなく、被写体の形状なども考慮する必要がある。
【０１６６】
図２０は、本実施例４の奥行き情報の選択方法を説明するための模式図であり、ジャンプエッジを説明するための図である。
前記複数の計測地点から取得した奥行き情報の中から、最適な奥行き情報を選択する方法としては、ジャンプエッジと呼ばれる奥行き情報の不連続箇所が最も小さくなる計測地点を選択する方法がある。
【０１６７】
前記奥行き情報を取得するときに、例えば、図２０に示すように、ある計測地点Ｆｋから、２つの物体３０１，３０２からなる被写体の奥行き情報を計測し、取得したとする。このとき、前記計測地点Ｆｋからは、図２０に示したように、前記物体３０１，３０２の領域３Ｂの奥行き情報を取得することができる。
【０１６８】
ここで、前記計測地点Ｆｋから取得した奥行き情報を用いて、図２０に示したような仮想視点位置Ｐからの仮想視点画像を生成しようとすると、奥行き情報が不連続な箇所１１が生じる。この奥行き情報が不連続な箇所１１は、ジャンプエッジと呼ぶ。
【０１６９】
最適な奥行き情報を取得するには、各計測地点で取得した奥行き情報に関して、前記ジャンプエッジ１１の仮想視点位置Ｐを頂点とした立体角１３を求める。前記立体角は、例えば、前記仮想視点位置Ｐを頂点とし、前記ジャンプエッジ１１を底面とした錐体を考え、前記頂点Ｐを中心とする半径１の球を作り、前記錐体が切り取る球の表面部分の面積の大きさとして求める。またこのとき、前記ジャンプエッジ１１が複数箇所にわかれている場合は、それぞれの立体角を求め、その総和をとる。
【０１７０】
そして、前記各計測地点に関するジャンプエッジ１１の立体角１３もしくはその総和の値が最も小さい地点をＦ＊として選択する。
またこのとき、前記立体角１３の替わりに、前記仮想視点位置Ｐにおける透視投影変換像におけるジャンプエッジ１１の面積の総和によって選択することも可能である。
【０１７１】
前記透視投影変換は、図３に示したレンダリングを行うステップ７１２で用いる透視投影変換と一致させると、ジャンプエッジの透視投影変換像が実際にレンダリングした時の画像の欠損領域と一致する。そのため、生成画像の画質に即した評価基準となる。
【０１７２】
図２１は、本実施例４の奥行き情報の選択方法を説明するための模式図であり、他の選択方法を説明するためのフローチャートである。
前記奥行き情報を計測する計測地点を複数にした場合、図１８に示したように、全ての計測地点において奥行き情報を取得しておき、仮想視点位置Ｐに応じて、用いる奥行き情報を選択する方法のほかに、仮想視点位置Ｐに応じて、前記奥行き情報を計測する地点を決定する方法もある。
【０１７３】
前記仮想視点位置Ｐを先に決める場合には、図２１に示すように、まず、仮想視点Ｐを取得（ステップ７０４ｈ）し、前記仮想視点位置Ｐに応じた奥行き計測地点Ｆ＊を選択する（ステップ７０４ｉ）。その後、選択した計測地点Ｆ＊のみで奥行き情報を計測（ステップ７０４ｊ）し、そこで得られた奥行き情報から前記投影面部分領域Ｓｊを決定する（ステップ７０４ｋ）。
【０１７４】
前記仮想視点位置Ｐに応じて計測地点を選択する方法は、前記奥行き情報計測手段４として、参照光を照射する能動的計測法を用いる場合において有効であり、複数の計測地点から照射される参照光が、お互いの計測に影響を与える情況を回避することができる。
【０１７５】
なお、前記奥行き情報の計測地点Ｆ＊は、前記奥行き情報計測手段４で決定してもよいし、前記仮想視点画像生成装置１（奥行き情報取得手段１０２）で決定してもよい。
【０１７６】
以上説明したように、本実施例４の仮想視点画像の生成方法によれば、複数の奥行き計測情報を計測する地点から、前記仮想視点位置Ｐに応じた計測地点Ｆ＊を選択し、その計測地点Ｆ＊からの奥行き情報を用いて前記投影面部分領域Ｓｊを決定することで、前記仮想視点画像の精度をよくすることができる。
【０１７７】
なお、本実施例４では、図１７に示したように、計測地点が２つの例を示しているが、これに限らず、３つ以上の計測地点から奥行き情報を取得し、その中から最適な奥行き情報を決定してもよい。
【０１７８】
（実施例５）
図２２は、本発明による実施例５の仮想視点画像生成方法を説明するための模式図であり、投影面部分領域の決定方法を説明するためのフローチャートである。
【０１７９】
本実施例５の仮想視点画像の生成に用いる仮想視点画像生成装置は、前記実施例１で説明した装置と同様の構成であるため、詳細な説明は省略する。
また、本実施例５の仮想視点画像生成方法では、前記実施例４で説明したように、複数の計測地点から取得した奥行き情報を用いて投影面部分領域を決定するが、前記実施例４で説明した方法と異なり、全ての計測地点から取得した奥行き情報を統合して用いる。
【０１８０】
本実施例５の仮想視点画像生成方法における前記投影面部分領域を決定する手順は、図２２に示すように、まず、複数の計測地点から取得した奥行き情報を３次元空間上に投影する（ステップ７０４ｌ）。このとき、全ての計測地点からの奥行き情報を投影することも可能であるし、仮想視点位置Ｐの近傍の奥行き計測地点をいくつか選択して、それらの奥行き情報のみを投影することも可能である。
【０１８１】
次に、前記３次元空間中に投影した奥行き情報のうち、複数の計測地点から計測された領域、すなわち重複する情報があれば、それらを統合して整合性をとる（ステップ７０４ｍ）。前記重複する情報を統合するには、例えば、特開２０００−２１５３１１号公報に記載された方法を用いることができる。
【０１８２】
次に、前記統合するステップ７０４ｍで得られた３次元空間中の被写体のデータに仮想視点位置Ｐを投影中心とした透視投影変換をすることで、仮想視点位置Ｐからの奥行き情報の形に変換する（ステップ７０４ｎ）。
【０１８３】
その後、前記ステップ７０４ｎで得られた、前記仮想視点位置Ｐからの奥行き情報に、前記数式１もしくは前記数式４を当てはめることで、投影面部分領域Ｓｊを決定する（ステップ７０４ｐ）。
【０１８４】
以上説明したように、本実施例５の仮想視点画像生成方法によれば、複数の計測地点から取得した奥行き情報を統合することにより、前記実施例４で説明したようなジャンプエッジを防ぐことができる。そのため、前記実施例４で説明した投影面部分領域決定方法を用いた仮想視点画像生成方法に比べて、生成画像の欠損が少なく、品質の高い画像を得ることができる。
【０１８５】
以上、本発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において、種々変更可能であることはもちろんである。
【０１８６】
【発明の効果】
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば、以下の通りである。
（１）複数のカメラで撮影した被写体の画像を用いて、仮想視点位置から前記被写体を見たときの仮想視点画像を生成する仮想視点画像生成方法及び装置において、生成する仮想視点画像の精度を保ち、かつ、仮想視点画像の生成にかかる処理時間を短くする（高速にする）ことができる。
（２）前記仮想視点画像生成方法をコンピュータに実行させる仮想視点画像生成プログラム、及び前記仮想視点画像生成プログラムを記録した記録媒体を得ることができる。
【図面の簡単な説明】
【図１】本発明による実施例１の仮想視点画像生成装置の概略構成を示す模式図であり、仮想視点画像生成装置全体の構成を示すブロック図である。
【図２】本発明による実施例１の仮想視点画像生成装置の概略構成を示す模式図であり、図１の部分画像抽出貼り付け手段の構成を示すブロック図である。
【図３】本実施例１の仮想視点画像生成装置を用いた仮想視点画像生成方法を説明するための模式図であり、仮想視点画像生成装置内で行う画像処理のフローチャートである。
【図４】本実施例１における仮想視点画像の生成方法を説明するための模式図であり、カメラの配置と画像投影面の配列の例を示す図である。
【図５】本実施例１における仮想視点画像の生成方法を説明するための模式図であり、図５（ａ）及び図５（ｂ）はボロノイ領域について説明するための図である。
【図６】本実施例１における仮想視点画像の生成方法を説明するための模式図であり、カメラ部分領域の決定方法を説明するための図である。
【図７】本実施例１の仮想視点画像の生成方法を説明するための模式図であり、画像投影面の設定方法の一例を示す図である。
【図８】本実施例１の仮想視点画像の生成方法を説明するための模式図であり、投影面部分領域の決定方法の一例を示す図である。
【図９】本実施例１の仮想視点画像の生成方法を説明するための模式図であり、投影面部分領域の決定方法の一例を示す図である。
【図１０】本実施例１の仮想視点画像の生成方法を説明するための模式図であり、投影面部分領域の他の決定方法の一例を示す図である。
【図１１】本実施例１の仮想視点画像の生成方法を説明するための模式図であり、投影面部分領域の他の決定方法の一例を示す図である。
【図１２】本発明による実施例２の仮想視点画像生成方法を説明するための模式図であり、図１２（ａ）及び図１２（ｂ）は奥行き情報計測手段の概略構成を示す図である。
【図１３】本発明による実施例２の仮想視点画像生成方法を説明するための模式図であり、奥行き情報の計測方法を説明するための図である。
【図１４】本発明による実施例３の仮想視点画像生成方法を説明するための模式図であり、投影面部分領域の決定方法を説明するためのフローチャートである。
【図１５】本発明による実施例３の仮想視点画像生成方法を説明するための模式図であり、前記実施例１で説明した方法で投影面部分領域を決定したときの図である。
【図１６】本発明による実施例３の仮想視点画像生成方法を説明するための模式図であり、本実施例３で説明する方法で投影面部分領域を決定したときの図である。
【図１７】本発明による実施例４の仮想視点画像生成方法を説明するための模式図であり、奥行き計測地点の決定方法を説明するための模式図である。
【図１８】本発明による実施例４の仮想視点画像生成方法を説明するための模式図であり、投影面部分領域を決定するために用いる奥行き情報の選択方法を説明するためのフローチャートである。
【図１９】本発明による実施例４の仮想視点画像生成方法を説明するための模式図であり、奥行き計測地点の決定方法を説明するための模式図である。
【図２０】本実施例４の奥行き情報の選択方法を説明するための模式図であり、ジャンプエッジを説明するための模式図である。
【図２１】本実施例４の奥行き情報の選択方法を説明するための模式図であり、他の選択方法を説明するためのフローチャートである。
【図２２】本発明による実施例５の仮想視点画像生成方法を説明するための模式図であり、投影面部分領域の決定方法を説明するためのフローチャートである。
【符号の説明】
１…仮想視点画像生成装置、１０１…被写体画像取得手段、１０２…奥行き情報取得手段、１０３…画像投影面設定手段、１０４…対応関係決定手段、１０５…部分画像抽出貼り付け手段、１０５ａ…初期化手段、１０５ｂ…投影面部分領域決定手段、１０５ｃ…カメラ部分領域抽出手段、１０５ｄ…座標変換手段、１０５ｅ…投影用画像貼り付け手段、１０５ｆ…第１判定手段、１０５ｇ…第２判定手段、１０６…レンダリング手段、２…カメラ、３…被写体、４…奥行き情報計測手段、４０１…参照光照射手段、４０２…撮像手段、４０２ａ…撮像面、４０２ｂ…光学系調節手段、４０２ｃ…ゲート、５…視点位置入力手段、６…表示手段、８…カメラ設置面、Ｐ…仮想視点位置、Ｆ…奥行き情報計測地点。
Claims (14)
- 複数のカメラのそれぞれで撮影した複数枚の被写体の画像（以下、被写体画像と称する）を用いて、あらかじめ指定した視点位置（以下、仮想視点位置と称する）から見た前記被写体の画像（以下、仮想視点画像と称する）を生成する仮想視点画像生成方法であって、
前記被写体の奥行き情報を取得する第１ステップと、
複数の透明な画像投影面の配置、数、形状を設定する第２ステップと、
前記各被写体画像の座標と前記画像投影面の座標との対応関係を決定する第３ステップと、
前記被写体の奥行き情報に基づいて、前記複数の画像投影面のそれぞれに対して、画像を貼り付け可能な領域（以下、投影面部分領域と称する）を決定する第４ステップと、
前記仮想視点位置に基づいて、前記被写体画像から、前記被写体画像のうち指定した画像投影面上の画像生成に用いる領域（以下、カメラ部分領域と称する）を決定し、前記カメラ部分領域の画像を抽出する第５ステップと、
前記第５ステップで抽出した画像の座標を、前記第３ステップで決定した前記対応関係に基づいて、前記指定した画像投影面上の座標に変換する第６ステップと、
前記第６ステップで座標変換をした画像のうち、前記投影面部分領域と重なる部分を、前記画像投影面に貼り付ける第７ステップと、
すべての被写体画像について、前記第５ステップ、前記第６ステップ、前記第７ステップを繰り返し行う第８ステップと、
前記第２ステップで設定したすべての画像投影面に対して、前記第５ステップ、
前記第６ステップ、前記第７ステップ、前記第８ステップを繰り返し行う第９ステップと、
前記画像が貼り付けられた前記画像投影面からなる３次元的な画像を、前記仮想視点位置から２次元化（レンダリング）して、前記仮想視点画像を生成する第１０ステップとを備え、
前記第２ステップは、
前記仮想視点画像の精度、及び前記仮想視点位置または前記仮想視点の移動範囲に応じて、前記画像投影面の配置、数、形状を設定することを特徴とする仮想視点画像生成方法。 - 前記第１ステップは、
前記仮想視点位置または移動範囲、及び前記仮想視点画像で許容される誤差に応じて、前記被写体の奥行き情報の分解能及び計測範囲を決定することを特徴とする請求項１に記載の仮想視点画像生成方法。 - 前記第４ステップは、
前記仮想視点位置に応じて、前記投影面部分領域を決定することを特徴とする請求項１または請求項２に記載の仮想視点画像生成方法。 - 前記第１ステップは、
複数の地点から前記被写体の奥行き情報を取得し、
前記第４ステップは、
前記複数の地点から取得した複数の奥行き情報のうち、前記仮想視点位置に応じた奥行き情報を選択して用いることを特徴とする請求項１乃至請求項３のいずれか１項に記載の仮想視点画像生成方法。 - 前記第１ステップは、
複数の地点から前記被写体の奥行き情報を取得し、
前記第４ステップは、
前記複数の地点から取得した複数の奥行き情報を統合して用いることを特徴とする請求項１乃至請求項３のいずれか１項に記載の仮想視点画像生成方法。 - 複数のカメラのそれぞれで撮影した複数枚の被写体の画像（以下、被写体画像と称する）を用いて、あらかじめ指定した視点位置（以下、仮想視点位置と称する）から見た前記被写体の画像（以下、仮想視点画像と称する）を生成する仮想視点画像生成装置であって、
前記複数枚の被写体の画像を取得する被写体画像取得手段と、
前記被写体の奥行き情報を取得する奥行き情報取得手段と、
複数の透明な画像投影面の配置、数、形状を設定する画像投影面設定手段と、
前記各被写体画像の座標と前記画像投影面の座標との対応関係を決定する対応関係決定手段と、
前記被写体の奥行き情報に基づいて、前記複数の画像投影面のそれぞれに対して、画像を貼り付け可能な領域（以下、投影面部分領域と称する）を決定する投影面部分領域決定手段と、
前記仮想視点位置に基づいて、前記被写体画像のうち、指定した画像投影面上の画像生成に用いる領域（以下、カメラ部分領域と称する）を決定し、前記カメラ部分領域の画像を抽出するカメラ部分領域抽出手段と、
前記抽出した画像の座標を、前記対応関係決定手段で決定した前記対応関係に基づいて、前記指定した画像投影面上の座標に変換する座標変換手段と、
前記座標変換手段で座標変換をした画像のうち、前記指定した画像投影面の投影面部分領域と重なる部分を、前記画像投影面に貼り付ける投影用画像貼り付け手段と、
すべての被写体画像について、前記カメラ部分領域抽出手段、前記座標変換手段、前記投影用画像貼り付け手段を繰り返し行ったか判定する第１判定手段と、
すべての画像投影面に対して、前記カメラ部分領域抽出手段、前記座標変換手段、前記投影用画像貼り付け手段、前記第１判定手段を繰り返し行ったか判定する第２判定手段と、
前記投影画像が貼り付けられた前記画像投影面からなる３次元的な画像を、前記仮想視点位置から２次元化（レンダリング）して、前記仮想視点画像を生成するレンダリング手段とを備え、
前記画像投影面設定手段は、
前記仮想視点画像の精度、及び前記仮想視点位置または前記仮想視点の移動範囲に応じて、前記画像投影面の配置、数、形状を設定する手段であることを特徴とする仮想視点画像生成装置。 - 前記奥行き情報取得手段は、複数の計測地点から計測した奥行き情報を取得し、
前記投影面部分領域決定手段は、複数の計測地点から計測した奥行き情報の中から、前記仮想視点位置に応じた奥行き情報を選択する奥行き情報選択手段を備えることを特徴とする請求項６に記載の仮想視点画像生成装置。 - 前記奥行き情報取得手段は、複数の計測地点から計測した奥行き情報を取得し、
前記投影面部分領域決定手段は、前記複数の計測地点から計測した奥行き情報を統合する奥行き情報統合手段を備えることを特徴とする請求項６に記載の仮想視点画像生成装置。 - 複数のカメラのそれぞれで撮影した複数枚の被写体の画像（以下、被写体画像と称する）を用いて、あらかじめ指定した視点位置（以下、仮想視点位置と称する）から見た前記被写体の画像（以下、仮想視点画像と称する）を生成させる仮想視点画像生成方法をコンピュータに実行させる仮想視点画像生成プログラムであって、
前記仮想視点画像生成プログラムは、前記被写体の奥行き情報を取得させる手順１と、
前記仮想視点画像の精度、及び前記仮想視点位置または前記仮想視点の移動範囲に応じて、複数の透明な画像投影面の配置、数、形状を設定させる手順２と、
前記各被写体画像の座標と前記画像投影面の座標との対応関係を決定させる手順３と、
前記被写体の奥行き情報に基づいて、前記複数の画像投影面のそれぞれに対して、画像を貼り付け可能な領域（以下、投影面部分領域と称する）を決定させる手順４と、
前記仮想視点位置に基づいて、前記被写体画像から、前記被写体画像のうち指定した画像投影面上の画像生成に用いる領域（以下、カメラ部分領域と称する）を決定させ、前記カメラ部分領域の画像を抽出させる手順５と、
前記手順５で抽出した画像の座標を、前記手順３で決定した前記対応関係に基づいて、前記指定した画像投影面上の座標に変換させる手順６と、
前記手順６で座標変換をした画像のうち、前記投影面部分領域と重なる部分を、前記画像投影面に貼り付けさせる手順７と、
すべての被写体画像について、前記手順５、前記手順６、前記手順７を繰り返し行わせる手順８と、
前記手順２で設定したすべての画像投影面に対して、前記手順５、前記手順６、前記手順７、前記手順８を繰り返し行わせる手順９と、
前記画像が貼り付けられた前記画像投影面からなる３次元的な画像を、前記仮想視点位置から２次元化（レンダリング）させて、前記仮想視点画像を生成させる手順１０とをコンピュータに実行させることを特徴とする仮想視点画像生成プログラム。 - 前記手順１は、
前記仮想視点位置または移動範囲、及び前記仮想視点画像で許容される誤差に応じて、前記被写体の奥行き情報の分解能及び計測範囲を決定させることを特徴とする請求項９に記載の仮想視点画像生成プログラム。 - 前記手順４は、
前記仮想視点位置に応じて、前記投影面部分領域を決定させることを特徴とする請求項９または請求項１０に記載の仮想視点画像生成プログラム。 - 前記手順１は、
複数の地点から前記被写体の奥行き情報を取得させ、
前記手順４は、
前記複数の地点から取得した複数の奥行き情報のうち、前記仮想視点位置に応じた奥行き情報を選択させることを特徴とする請求項９乃至請求項１１のいずれか１項に記載の仮想視点画像生成プログラム。 - 前記手順１は、
複数の地点から前記被写体の奥行き情報を取得させ、
前記手順４は、
前記複数の地点から取得した複数の奥行き情報を統合させることを特徴とする請求項９乃至請求項１１のいずれか１項に記載の仮想視点画像生成プログラム。 - 前記請求項９乃至請求項１３のいずれか１項に記載の仮想視点画像生成プログラムが記録された記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002318343A JP3971691B2 (ja) | 2002-10-31 | 2002-10-31 | 仮想視点画像生成方法及び仮想視点画像生成装置、ならびに仮想視点画像生成プログラム及び記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002318343A JP3971691B2 (ja) | 2002-10-31 | 2002-10-31 | 仮想視点画像生成方法及び仮想視点画像生成装置、ならびに仮想視点画像生成プログラム及び記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004152133A JP2004152133A (ja) | 2004-05-27 |
| JP3971691B2 true JP3971691B2 (ja) | 2007-09-05 |
Family
ID=32461496
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002318343A Expired - Fee Related JP3971691B2 (ja) | 2002-10-31 | 2002-10-31 | 仮想視点画像生成方法及び仮想視点画像生成装置、ならびに仮想視点画像生成プログラム及び記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3971691B2 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4586447B2 (ja) * | 2004-07-23 | 2010-11-24 | ソニー株式会社 | 画像処理装置及び方法、プログラム |
| JP4617965B2 (ja) * | 2005-03-31 | 2011-01-26 | ソニー株式会社 | 画像処理方法、その装置およびプログラム |
| JP4838275B2 (ja) * | 2008-03-03 | 2011-12-14 | 日本電信電話株式会社 | 距離情報符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体 |
| MY155378A (en) * | 2008-07-24 | 2015-10-15 | Koninkl Philips Electronics Nv | Versatile 3-d picture format |
| CN102110307B (zh) * | 2010-12-28 | 2014-04-30 | 北京东方艾迪普科技发展有限公司 | 一种三维场景中实时信息游走的实现方法 |
| KR101930235B1 (ko) | 2012-05-15 | 2018-12-18 | 삼성전자 주식회사 | 디지털 이미지 안정화 방법, 장치 및 시스템 |
| JP5531282B2 (ja) * | 2012-06-18 | 2014-06-25 | 日本電信電話株式会社 | 多視点画像符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体 |
| JP6181549B2 (ja) * | 2013-12-25 | 2017-08-16 | 日本電信電話株式会社 | 画像生成方法、画像生成装置及び画像生成プログラム |
| JP6365153B2 (ja) | 2014-09-10 | 2018-08-01 | 株式会社ソシオネクスト | 画像符号化方法および画像符号化装置 |
| JP6586730B2 (ja) * | 2015-02-04 | 2019-10-09 | 凸版印刷株式会社 | 画像処理システム、視線計測システム、画像処理方法、視線計測方法及びプログラム |
| US10708577B2 (en) * | 2015-12-16 | 2020-07-07 | Facebook Technologies, Llc | Range-gated depth camera assembly |
| JP6672417B2 (ja) * | 2018-10-10 | 2020-03-25 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理方法及びプログラム |
| CN114097248B (zh) * | 2019-12-30 | 2023-03-28 | 华为技术有限公司 | 一种视频流处理方法、装置、设备及介质 |
| JP7347240B2 (ja) | 2020-01-29 | 2023-09-20 | 株式会社大林組 | エレクター |
| CN114125304B (zh) * | 2021-11-30 | 2024-04-30 | 维沃移动通信有限公司 | 拍摄方法及其装置 |
-
2002
- 2002-10-31 JP JP2002318343A patent/JP3971691B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004152133A (ja) | 2004-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7080613B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP3971691B2 (ja) | 仮想視点画像生成方法及び仮想視点画像生成装置、ならびに仮想視点画像生成プログラム及び記録媒体 | |
| WO2021140886A1 (ja) | 三次元モデル生成方法、情報処理装置およびプログラム | |
| US8860712B2 (en) | System and method for processing video images | |
| JP3593466B2 (ja) | 仮想視点画像生成方法およびその装置 | |
| US9317970B2 (en) | Coupled reconstruction of hair and skin | |
| Dal Mutto et al. | A probabilistic approach to tof and stereo data fusion | |
| US20080259073A1 (en) | System and method for processing video images | |
| US20160044240A1 (en) | Method for Generating a Panoramic Image | |
| KR20180003535A (ko) | 라이더 스테레오 융합 실사 3d 모델 가상 현실 비디오 | |
| WO2008112804A2 (en) | System and method for processing video images for camera recreation using point clouds | |
| KR101181199B1 (ko) | 배경 지형 장면의 입체 이미지 생성 방법, 시스템 및 이를 위한 기록매체 | |
| Lindner et al. | Sub-pixel data fusion and edge-enhanced distance refinement for 2d/3d images | |
| KR20120045269A (ko) | 3ｄ 메쉬 모델링 및 에볼루션에 기반한 홀로그램 생성 방법 및 장치 | |
| US7280685B2 (en) | Object segmentation from images acquired by handheld cameras | |
| Sankoh et al. | Robust billboard-based, free-viewpoint video synthesis algorithm to overcome occlusions under challenging outdoor sport scenes | |
| Garro et al. | A novel interpolation scheme for range data with side information | |
| Bartczak et al. | Integration of a time-of-flight camera into a mixed reality system for handling dynamic scenes, moving viewpoints and occlusions in real-time | |
| Tao et al. | LiDAR-NeRF: Novel lidar view synthesis via neural radiance fields | |
| GB2458305A (en) | Providing a volumetric representation of an object | |
| Xiao et al. | From Images to Video: View Morphing of Three Images. | |
| CN108961378A (zh) | 一种多目点云三维重建方法、装置及其设备 | |
| Yao et al. | Real-time virtual view synthesis using light field | |
| Chang et al. | Arbitrary view generation for three-dimensional scenes from uncalibrated video cameras | |
| Schiller et al. | Increasing realism and supporting content planning for dynamic scenes in a mixed reality system incorporating a time-of-flight camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050124 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070605 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070608 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100615 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110615 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120615 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |