JP2011233141A

JP2011233141A - 自由視点画像伝送のためのサーバ装置、プログラム及び自由視点画像伝送方法

Info

Publication number: JP2011233141A
Application number: JP2011067455A
Authority: JP
Inventors: Akio Ishikawa; 彰夫石川; Shigeyuki Sakasawa; 茂之酒澤
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2010-04-05
Filing date: 2011-03-25
Publication date: 2011-11-17

Abstract

【課題】クライアント装置に送信データ量を少なくすることができ、かつ、送信データの判定のための処理負荷が軽い、自由視点映像伝送システム用のサーバ装置を提供する。
【解決手段】サーバ装置は、被写体のモデル情報を保持するモデル情報保持手段と、１つの被写体をそれぞれ異なる視点から表している該被写体に対応する複数の事前画像を、各被写体それぞれについて保持している事前画像保持手段と、モデル情報に基づき指定された視点から見た画像内の被写体を判定する被写体判定手段と、前記判定した被写体それぞれについて、対応する２枚又は３枚の事前画像を選択する送信画像選択手段とを備えており、前記事前画像の選択は、前指定された視点の位置と、各事前画像の法線の方向に基づき行う。
【選択図】図８

Description

本発明は、任意の視点から見た画像を生成する自由視点画像生成技術に関する。

複数のカメラで撮影した動画像に基づき、任意の視点から見た動画像を再現する自由視点画像生成技術について様々な提案がなされている。（例えば、特許文献１及び非特許文献１、参照。）。

上記、従来技術における方法は、イメージ・ベースド・レンダリングと呼ばれるものであり、複数のカメラで撮影した画像から光線空間の構築及び被写体の３次元幾何モデル情報の生成を行い、光線空間及びモデル情報に基づき、任意の位置から見たときの画像を補間処理により生成するものである。ここで、光線空間を構築するとは、ある面を通過する光線を適当な座標軸を使用して表し（例えば、非特許文献２、参照。）、この座標空間の座標として表現される光線と、この光線により生じる画像の画素値を対応付けることを言う。なお、座標空間の総ての座標に対して画素値のデータをあらかじめ用意しておくことは現実的ではなく、通常は、アプリケーション等に応じて決定される適当な数の座標についてのみ画素値のデータを用意しておく。また、モデル情報とは被写体の占める空間領域をボクセルやポリゴンメッシュ等で表したものである。

また、複数のカメラで撮影した動画像に基づいて生成したデータをサーバ装置からクライアント装置に送信し、そのデータに基づきクライアント装置において自由視点映像を生成する技術について様々な提案がなされている。（例えば、非特許文献３、参照。）。

特開２００８−１５７５６号公報

石川彰夫、他、"ウォークスルーを実現するための自由視点映像合成方式"、電子情報通信学会論文誌Ｄ、Ｖｏｌ．Ｊ９２−Ｄ、Ｎｏ．６、ｐｐ．８５４−８６７、２００９年６月苗村健、他、"光線情報の正投影表現に基づく３次元空間の記述"、映像情報メディア学会論文誌、５１、１２、ｐｐ．２０８２−２０８９、１９９７年１２月大田友一，北原格，亀田能成，古山孝好，"ネットワークによるライブ配信とインタラクティブ提示が可能な自由視点映像方式"，画像電子学会誌，ｖｏｌ．３６，ｎｏ．５，ｐｐ．８１４−８２０，２００７．

自由視点画像伝送システムにおいては、画像情報及びモデル情報を保持するサーバ装置を設置し、サーバ装置は、クライアント装置から視点情報を受信した場合、当該視点情報で示される視点から見た画像を生成するために必要な情報を当該クライアント装置に送信することになる。

ここで、サーバ装置において、クライアント装置から指定された視点から見た画像を生成し、生成した画像をクライアント装置に送信する構成とすると、クライアント装置は、単に、サーバ装置から受信する動画像を再生するのみで良く、クライアント装置を自由視点画像伝送システムに対応させるための変更は少なくて済むことになる。しかしながら、この構成において、サーバ装置は複数のクライアント装置が指定する複数の視点から見た画像を同時に生成する必要があり、サーバ装置の負荷が大きくなりすぎるという問題がある。

したがって、サーバ装置は、クライアント装置から指定された視点から見た画像を生成するために必要な情報を選択して、選択した情報に対応するデータをクライアント装置に送信し、クライアント装置において、受信データに基づき当該視点から見た画像を生成して表示することが、自由視点画像伝送システムを実現するために必要となる。このとき、サーバ装置からクライアント装置に送信するデータ量はできるだけ少ないことが望ましく、さらに、サーバ装置において、クライアント装置に送信する情報を判定するための処理負荷も極力軽いものであることが望ましい。

したがって、本発明は、クライアント装置に送信するデータ量を少なくすることができ、かつ、送信するデータの判定のための処理負荷が軽い自由視点画像伝送システムで使用するサーバ装置、該サーバ装置としてコンピュータを機能させるプログラム及び自由視点画像伝送方法を提供することを目的とする。

本発明におけるサーバ装置によれば、
被写体のモデル情報を保持するモデル情報保持手段と、１つの被写体をそれぞれ異なる視点から表している該被写体に対応する複数の事前画像を、各被写体それぞれについて保持する事前画像保持手段と、モデル情報に基づき指定された視点から見た画像に含まれる被写体を判定する被写体判定手段と、前記判定した被写体それぞれについて、対応する２枚又は３枚の事前画像を選択する画像選択手段とを備えており、前記事前画像の選択は、前記指定された視点の位置と、各事前画像の法線に基づき行うことを特徴とする。

本発明のサーバ装置における他の実施形態によれば、
前記画像選択手段が選択する被写体の事前画像は、該被写体の視点側の面を表している事前画像であって、その法線と、前記視点から前記被写体を取り囲む曲面に引いた各接線との角度差が最も小さいものであることも好ましい。

また、本発明のサーバ装置における他の実施形態によれば、
前記画像選択手段が選択する被写体の事前画像は、該被写体の視点側の面を表している事前画像であって、その法線と、前記視点から前記被写体を包含する曲面に引いた２つ又は３つの接線それぞれとの角度差が最も小さいものであり、２つの接線の場合、各接線は前記曲面の中心を挟んで互いに反対側であり、３つの接線の場合、各接線と前記曲面の各接点は、略正三角形の頂点になることも好ましい。

また、本発明のサーバ装置における他の実施形態によれば、
前記角度差は、前記視点から接点に向かう方向を基準とした前記被写体とは逆方向への角度差であることも好ましい。

また、本発明のサーバ装置における他の実施形態によれば、
前記送信画像選択手段が選択する２つ又は３つの事前画像は、その法線方向の単位ベクトルと、視点から被写体を包含する曲面の中心に向かう単位ベクトルとの外積間の内積が所定値以下となる事前画像であり、事前画像の法線方向は、該事前画像が記録する光線の方向とは逆方向であることも好ましい。

本発明におけるサーバ装置によれば、被写体のモデル情報を保持するモデル情報保持手段と、１つの被写体をそれぞれ異なる視点から表している該被写体に対応する複数の事前画像を、各被写体それぞれについて保持する事前画像保持手段と、事前画像中の被写体が写っている領域の各画素において法線ベクトルを算出し記録した法線マップ保持手段と、事前画像中の被写体が写っている領域の各画素においてオクルージョンが発生しない方向を円錐で近似した最適円錐を算出し記録した最適円錐マップ保持手段と、モデル情報に基づき指定された視点から見た画像に含まれる被写体を判定する被写体判定手段と、前記判定した被写体それぞれについて、対応する１枚以上の事前画像を選択する画像選択手段と、を備えており、前記事前画像の選択は、前記指定された視点の位置と、前記記録された法線マップと、前記記録された最適円錐マップに基づき行うことを特徴とする。

また、本発明のサーバ装置における他の実施形態によれば、
前記画像選択手段が選択する被写体の事前画像は、該事前画像中の被写体が写っている領域の全ての画素が、前記指定された視点に対して陰面であるかオクルージョンが発生していないかのどちらかであることも好ましい。

また、本発明のサーバ装置における他の実施形態によれば、
前記画像選択手段が選択する事前画像は、１枚で該事前画像中の被写体が写っている領域において、陰面である領域以外にオクルージョンが発生している領域が存在していない場合は、該事前画像１枚のみを選択し、１枚では陰面である領域以外にオクルージョンが発生している領域が存在したとしても、他の事前画像では該領域においてオクルージョンが発生していない場合は、前記事前画像と該当事前画像の２枚を選択し、同様に、複数枚の事前画像において、被写体が写っている領域の全ての画素が、いずれか１枚以上の事前画像でオクルージョンが発生していない場合は、これらの事前画像を選択することも好ましい。

また、本発明のサーバ装置における他の実施形態によれば、
前記画像選択手段の陰面であることの判定は、被写体上の各点から視点に向かう単位ベクトルと該点での法線ベクトルとの内積が負であることから判定することも好ましい。

また、本発明のサーバ装置における他の実施形態によれば、
前記画像選択手段のオクルージョンが発生していないことの判定は、被写体上の各点から視点に向かう単位ベクトルと該点での最適円錐の中心軸を表わすベクトルとの内積の大きさから該単位ベクトルが最適円錐に含まれているか否かで判定することも好ましい。

さらに、本発明のサーバ装置における他の実施形態によれば、
前記事前画像は、正射影画像であることも好ましい。

本発明におけるプログラムによれば、
前記サーバ装置としてコンピュータを機能させることを特徴とする。

本発明における自由視点画像伝送方法によれば、
被写体のモデル情報及び１つの被写体をそれぞれ異なる視点から表している該被写体に対応する複数の事前画像を、各被写体それぞれについて保持しているサーバ装置と、クライアント装置とを含むシステムにおける自由視点画像伝送方法であって、クライアント装置がサーバ装置に視点情報を送信するステップと、サーバ装置が、モデル情報に基づき、クライアント装置から受信する視点情報で指定される視点から見た画像内の被写体を判定するステップと、サーバ装置が、保持している事前画像から、前記判定した被写体に対応する２枚又は３枚の事前画像を選択するステップと、サーバ装置が、前記選択した事前画像及び前記モデル情報をクライアント装置に送信するステップとを備えており、前記被写体に対応する事前画像の選択は、前指定された視点の位置と、各事前画像の法線に基づき行うことを特徴とする。

本発明における自由視点画像伝送方法によれば、
被写体のモデル情報及び１つの被写体をそれぞれ異なる視点から表している該被写体に対応する複数の事前画像と、事前画像中の被写体が写っている領域の各画素において法線ベクトルを算出し記録した法線マップと、事前画像中の被写体が写っている領域の各画素においてオクルージョンが発生しない方向を円錐で近似した最適円錐を算出し記録した最適円錐マップとを、各被写体それぞれについて保持しているサーバ装置と、クライアント装置とを含むシステムにおける自由視点映像伝送方法であって、クライアント装置がサーバ装置に視点情報を送信するステップと、サーバ装置が、モデル情報に基づき、クライアント装置から受信する視点情報で指定される視点から見た画像内の被写体を判定するステップと、サーバ装置が、保持している事前画像から、前記判定した被写体に対応する１枚以上の事前画像を選択するステップと、サーバ装置が、前記選択した事前画像及び前記モデル情報をクライアント装置に送信するステップとを備えており、前記被写体に対応する事前画像の選択は、前指定された視点の位置と、前記記録された法線マップと、前記記録された最適円錐マップに基づき行うことを特徴とする。

被写体のモデル情報及び１つの被写体をそれぞれ異なる視点から表している該被写体に対応する複数の事前画像を、各被写体それぞれについて用意しておき、クライアント装置に対して送信すべき事前画像を、事前画像の法線及び視点に基づき、被写体当たり２枚又は３枚選択する、または、事前画像の法線マップ及び最適コーンマップに基づき、被写体当たり１枚以上選択する。法線に基づく事前画像の選択および法線マップ及び最適コーンマップに基づく事前画像の選択は、簡易に行うことができ、多数のクライアント装置に対して同時にサービス提供を行う場合であっても、その処理負荷は許容範囲内に抑えることが可能になる。また、サーバ装置からクライアント装置に送信するデータ量も少なくすることができる。

本発明による自由視点画像伝送システムのシステム構成図である。被写体を示す図である。正射影画像を示す図である。本発明によるサーバ装置があらかじめ保持する事前画像を説明する図である。被写体判定部での処理を説明する図である。送信画像選択部での処理を説明する図である。送信画像選択部での処理を説明する図である。本発明によるサーバ装置の概略的な構成図である。自己オクルージョンに対する処理を説明する図である。本発明の他の実施形態を説明する図である。本発明の第２の形態によるサーバ装置の概略的な構成図である。法線マップ保持部が保持する法線マップを説明する図である。最適円錐マップ保持部が保持する最適円錐マップを説明する図である。送信画像選択部における図１３の被写体２６に対する事前画像の判定を説明する図である。送信画像選択部における図１３の被写体２５に対する事前画像の判定を説明する図である。

本発明を実施するための形態について、以下では図面を用いて詳細に説明する。図１は、本発明による自由視点画像伝送システムのシステム構成図であり、図１に示す様に、自由視点画像伝送システムはサーバ装置１とクライアント装置２を含んでいる。

本発明による自由視点画像伝送システムにおいて、クライアント装置２は、利用者から入力される視点を示す視点情報をネットワーク経由でサーバ装置１に送信し、サーバ装置１は、当該視点に基づき、事前に用意した光線情報の一部の集合である事前画像情報と、モデル情報をクライアント装置２に送信し、クライアント装置２は、サーバ装置１から受信するモデル情報及び事前画像情報に基づき、当該視点から見た動画像を生成して表示する。なお、視点とは、位置及び方向で特定され、本実施形態において、視点の高さはあらかじめ定められた固定的な値とし、視点の方向は水平面内にあるものとする。

図８は、本発明によるサーバ装置の概略的な構成図である。図８に示す様に、サーバ装置１は、受信部１１と、被写体判定部１２と、送信画像選択部１３と、データ送信部１４と、モデル情報保持部１５と、事前画像保持部１６とを備えている。

モデル情報保持部１５はモデル情報を、事前画像保持部１６は、複数の事前画像を保持している。これら、モデル情報及び複数の事前画像は、例えば、図２に示す様に、被写体２０、２１及び２２を取り囲む様に、複数のカメラを円１０上に配置し、各カメラを円１０の中心に向けて撮影した画像に基づき特許文献１、非特許文献１又はその他の公知の方法にてあらかじめ生成したものである。

なお、本発明において、あらかじめ作成する事前画像は、各被写体に対応させたものとし、１つの被写体に対して、その周囲を取り囲む様に複数毎の事前画像を作成しておく。図３及び図４は、事前画像保持部１６が保持する事前画像を説明する図であり、共に、被写体及び画像を上から見た状態を示している。つまり、図３の符号３０と、図４の被写体２０を取り囲む線は、実際には平面である。図４においては、被写体２０に対して、その周囲を取り囲む様に１６枚の事前画像を生成している。なお、図３に示す様に、各事前画像３０は、各画素に対応する被写体からの光線（図４における点線の矢印）が互いに平行であり、かつ、画面に垂直である正射影画像とする。

受信部１１は、クライアント装置２から視点情報を受信して、当該視点情報が示す視点を被写体判定部１２に出力する。被写体判定部１２は、モデル情報と、入力された視点と、あらかじめ定められている画角に基づき、指定された視点から見た画像に含まれる被写体を判定して送信画像選択部１３に通知する。具体的には、例えば、図５に示す様に、符号３１の視点が指定され、画角が線３２と３３の間の範囲である場合、被写体２０及び被写体２１が、この画角内に含まれるため、被写体判定部１２は、被写体２０及び被写体２１を送信画像選択部１３に通知する。

送信画像選択部１３は、被写体判定部１２から通知された被写体それぞれについて、クライアント装置２に送信する２つの事前画像を判定して、判定した事前画像をデータ送信部１４に通知する。図６は、送信画像選択部１３における図５の被写体２０に対する事前画像の判定を説明する図である。まず、送信画像選択部１３は、モデル情報に基づき被写体２０を取り囲む曲面、図６においては楕円筒面４０を求め、さらに、水平面内において、視点３１を通過し、楕円筒面４０に接する２つの接線４１及び４２を求める。なお、被写体を包含する楕円筒面４０を先に求めるのは、被写体を挟み込む２つの接線の最も角度差の大きなものの判定を簡易に行うためであり、被写体を包含する面を求めることは必須ではない。なお、楕円筒面４０は、被写体を包含する最も小さい大きさとすることが好ましい。

続いて、送信画像選択部１３は、各接線４１及び４２に垂直であり、視点と被写体間にあって被写体の視点側の面を表している事前画像５１及び５２を、事前画像保持部１６が保持しているか否かを判定し、保持している場合には、事前画像５１及び５２をクライアント装置２に送信する画像として決定して、これらをデータ送信部１４に通知する。つまり、視点から楕円筒面４０に向かう方向を接線の方向とし、事前画像の法線の方向を、事前画像が記録している光線とは反対の方向とすると、法線の方向が、接線の方向と一致する事前画像をクライアント装置２に送信する画像に決定する。

なお、法線の方向が接線の方向に一致する事前画像が無い場合、送信画像選択部１３は、被写体２０の視点３１側の面を表す事前画像であって、その法線の方向と、接線の方向との角度差が最小の事前画像をクライアント装置２に送信する画像に決定する。なお、単に角度差だけで判定するのではなく、接線の方向を基準にして、被写体２０とは逆方向、つまり、楕円筒面４０から離れる方向への角度の一番小さいものを選択することが望ましい。この様子を図７に示す。

図７は、接線４１と、法線方向が一致する事前画像５１が無い場合であり、事前画像保持部１６は、事前画像５３及び５４を保持しているものとする。なお、図７において符号６３は、事前画像５３の法線方向であり、符号６４は、事前画像５４の法線方向である。単純に角度差だけで判定する形態において、送信画像選択部１３は、その法線方向と接線方向の角度差が小さい事前画像５３を選択するが、接線方向を基準とした、被写体とは逆方向に向かう角度の角度差で判定する形態において、送信画像選択部１３は、事前画像５４を選択することになる。

最後にデータ送信部１４は、送信画像選択部１３から通知される各被写体に対する２枚の事前画像とモデル情報をクライアント装置２に送信する。

本発明は、被写体の視点側にある面を表している事前画像のうち、視点から被写体に引いた接線に垂直な事前画像、垂直な事前画像が無い場合には、角度差の少ない事前画像を、１つの被写体当たり２枚、クライアント装置２に送信する。クライアント装置２は、この２枚の画像から、指定された視点３１から見た画像内において当該被写体を表現するために必要な光線情報の総てを、内挿補間により生成することができる。したがって、クライアント装置２は、モデル情報に基づき被写体の前後関係を判定することで、視点３１から見た画像を容易に生成できることになる。また、サーバ装置１においては、被写体への接線方向と、事前画像の法線方向との角度差を調べるだけで、送信すべき情報を判定することができ、多数のクライアント装置に対して同時にサービス提供を行う場合であっても、その処理負荷は許容範囲内に抑えることが可能になる。

なお、被写体の形状が複雑なものである場合、被写体の一部が、当該被写体の一部を遮蔽する自己オクルージョン状態が発生する可能性がある。図９は、自己オクルージョン状態を説明する図である。図９は、被写体を上部から見た図であり、符号２３及び２４は、ある被写体の一部であり、それぞれ、下側において接続しているものとする。この状態においてクライアント装置２に送信する事前画像５５及び５６からは、符号６０で示される範囲の光線情報を作成することができない。したがって、本発明によるサーバ装置１は、あらかじめモデル情報に基づき、自己オクルージョンが発生する被写体表面を判定し、自己オクルージョンが発生する各表面の光線情報を、あらかじめ、図示しない自己オクルージョン光線情報保持部に保存しておき、送信する事前画像からは生成できない光線情報が存在する場合には、この部分の光線情報については、個別にクライアント装置２に送信する。

なお、上述した実施形態においては、視点の高さを固定の値とし、方向については水平面内に制限していたが、以下に、その様な制限がない実施形態について説明する。なお、本実施形態におけるサーバ装置１の構成は、図８と同じであり、以下、上述した実施形態との相違点のみを説明する。

本実施形態においては、図２に示す様に、円１０上に設置され、円１０の中心を向けたカメラのみならず、被写体２０、２１及び２２を見下ろす位置や見上げる位置に設置され、上側や下側から被写体を撮影するカメラも用いて被写体を撮影し、これらカメラが撮影した画像に基づき、各被写体それぞれに対して、図４に示す、被写体からの水平方向の光線を記録する事前画像のみならず、被写体からの垂直方向の光線を記録する事前画像や、被写体からの斜め方向の光線を記録する事前画像を生成して、事前画像保持部１６に保存しておく。

送信画像選択部１３は、モデル情報に基づき被写体２０を包含する曲面、例えば、図１０に示す球面８０を求める。上述した実施形態においては、水平面内における接線を求めていたが、本実施形態においては水平面内との制限がないため、指定された視点７１を通過して球面８０と接する線は、その集合が図１０に示す円錐８１となる様に無数に存在する。したがって、これら無数の線から２又は３本の接線を選択し、これら接線にほぼ垂直な事前画像をクライアント装置２に送信することになる。

以下に、接線の選択方法について説明する。なお、以下の説明において、ｎを視点７１から球８０の中心に向かう単位ベクトルとし、ａ１を選択する第１番目の接線方向の単位ベクトルとし、ａ２を選択する第２番目の接線方向の単位ベクトルとする。この場合、ａ１とｎの外積ベクトルａ１×ｎ＝ｂ１と、ａ２とｎの外積ベクトルａ２×ｎ＝ｂ２との内積、つまり、ｂ１・ｂ２が所定の値以下となる接線の組を選択する。例えば、所定の値を−１とすると、選択される事前画像は、球８０の中心を挟んで反対側にあることになる。ここで、選択する２つの事前画像に許容する角度の最小値をθとすると、前記所定の値をｃｏｓθとすることで、２つの事前画像の角度差を所定値θ以上とすることができる。なお、接線に垂直な事前画像が存在しない場合は、上述した実施形態と同じく最も角度差が小さい事前画像を選択する。

なお、あらかじめ作成されている事前画像の枚数が少ない等の制限により、選択する２つの事前画像の角度差を許容する最小値θ以上とすることができない場合には、例えば、３つの接線を選択して、各接線に垂直な画像、又は、垂直な画像と最も角度差が小さい事前画像を送信する。３つの接線の選択方法は、上述した２つの接線の選択方法と同じく、接線方向の単位ベクトルと、視点から球８０といった閉曲面の中心に向かう単位ベクトルｎとの外積ベクトルをそれぞれ求め、それら２つの内積がそれぞれ所定値以下となる様に３つの接線を選択する。なお、各接線と球面８１との接点を結ぶ３つの線の差が所定値以下となる様に、つまり、３つの接点が略正三角形の頂点、理想的には正三角形の頂点となる様に接点を選択する形態であっても良い。

また、接線を選択するのではなく、直接、事前画像を選択することも可能である。つまり、ｎを視点７１から球８０の中心に向かう単位ベクトルとし、ｃ１を選択する第１の事前画像の法線方向の単位ベクトルとし、ｃ２を選択する第２の事前画像の法線方向の単位ベクトルとし、ｃ３を選択する第３の事前画像の法線方向の単位ベクトルとし、ｃ１とｎの外積ベクトルをｃ１×ｎ＝ｄ１とし、ｃ２とｎの外積ベクトルをｃ２×ｎ＝ｄ２とし、ｃ３とｎの外積ベクトルをｃ３×ｎ＝ｄ３とする。なお、事前画像の法線の方向は、各事前画像が記録している光線とは逆の方向である。この場合、送信画像選択部１３は、ｄ１とｄ２の内積と、ｄ１とｄ３の内積と、ｄ２とｄ３の内積が所定値以内となる３つの事前画像をクライアント装置２に送信するものと決定する。また、内積が所定値以内となる２つの事前画像をクライアント装置２に送信する形態であっても良い。

さらに、上述した実施形態においては、画角はあらかじめ決められているものとしたが、画角を、クライアント装置が指定する形態であっても良い。つまり、クライアント装置が、視点情報に加えて画角情報をサーバ装置１に送信し、サーバ装置１の被写体判定部１２は、視点情報及び画角情報に基づき指定された視点から見た画像に含まれる被写体を判定する形態であっても良い。

本発明を実施するための第２の形態について、以下に詳細に説明する。本形態による自由視点映像伝送システムは、上記の形態と同様に、サーバ装置１とクライアント装置２を含んでいる。

本発明による自由視点映像伝送システムにおいて、クライアント装置２は、利用者から入力される視点を示す視点情報をネットワーク経由でサーバ装置１に送信し、サーバ装置１は、当該視点に基づき、事前に用意した画像情報の一部の集合である事前画像情報と、モデル情報をクライアント装置２に送信し、クライアント装置２は、サーバ装置１から受信するモデル情報及び事前画像情報に基づき、当該視点から見た動画像を生成して表示する。

図１１は、本発明の第２の形態によるサーバ装置の概略的な構成図である。図１１に示す様に、サーバ装置は、受信部１１と、被写体判定部１２と、送信画像選択部１３と、データ送信部１４と、モデル情報保持部１５と、事前画像保持部１６と、法線マップ保持部１７と、最適円錐マップ保持部１８とを備えている。

モデル情報保持部１５はモデル情報を、事前画像保持部１６は複数の事前画像を、法線マップ保持部１７は法線マップを、最適円錐マップ保持部１８は最適円錐マップを保持している。これら、モデル情報及び複数の事前画像及び法線マップ及び最適円錐マップは、例えば、図２に示す様に、被写体２０、２１及び２２を取り囲む様に、複数のカメラを円１０上に配置し、各カメラを円１０の中心に向けて撮影した画像に基づき特許文献１、非特許文献１又はその他の公知の方法にてあらかじめ生成したものである。

なお、本発明において、あらかじめ作成する事前画像及び法線マップ及び最適円錐マップは、各被写体に対応させたものとし、１つの被写体に対して、その周囲を取り囲む様に複数毎の事前画像を作成しておく。上記実施形態と同様に、各事前画像は、各画素に対応する被写体からの光線が互いに平行であり、かつ、画面に垂直である正射影画像とする。

図１２は、法線マップ保持部が保持する法線マップを説明する図であり、被写体を上から見た状態を示している。法線マップ保持部１７は、事前画像中の被写体が写っている領域の各画素において法線ベクトルを算出し記録した法線マップを保持している。法線ベクトルは、図１２の被写体２５および２６から延びる各被写体表面と垂直なベクトルである。

図１３は、最適円錐マップ保持部が保持する最適円錐マップを説明する図であり、被写体を上から見た状態を示している。最適円錐マップ保持部１８は、事前画像中の被写体が写っている領域の各画素においてオクルージョンが発生しない方向を円錐で近似した最適円錐を算出し記録した最適円錐マップを保持している。最適円錐は、法線ベクトルと同様に事前画像中の被写体が写っている領域の各画素において算出される。例えば、最適円錐２５１は、線２５２と線２５３の間に視点があった場合、オクルージョンが発生しないことを示している。なお、図１３で被写体２５、２６上に描かれた最適円錐２５１以外の円錐は、単なる例であり、実際の最適円錐とは異なる。例えば、図１３の被写体２５では、最適円錐２５４において、オクルージョンが発生しない方向は、１８０°になるため、円錐の頂角は１８０°になる。また図１３の被写体２６では、オクルージョンが発生しない方向は、１８０°より大きくになるため、円錐の頂角は１８０°より大きくなる。

送信画像選択部１３は、被写体判定部１２から通知された被写体それぞれについて、クライアント装置２に送信する１枚以上の事前画像を判定して、判定した事前画像をデータ送信部１４に通知する。図１４は、送信画像選択部１３における図１３の被写体２６に対する事前画像の判定を説明する図である。図１５は、送信画像選択部１３における図１３の被写体２５に対する事前画像の判定を説明する図である。送信画像選択部１３は、事前画像の中から被写体が写っている領域の全ての画素が、視点に対して陰面であるかオクルージョンが発生していないかのどちらかである事前画像を選択する。

まず、送信画像選択部１３は、１枚で該事前画像中の被写体が写っている領域において、陰面である領域以外にオクルージョンが発生している領域が存在していない場合は、該事前画像１枚のみを選択する。ここで、陰面であることの判定は、被写体上の各点から視点に向かう単位ベクトル（以下、視線ベクトル）と該点での法線ベクトルとの内積が負であることから判定する。例えば、図１４において、事前画像３０で被写体２６が写っている領域は、図中で点が打たれている領域である。該領域内の画素２６１では、法線ベクトルと視線ベクトルの内積は、正であり、画素２６１は、陰面でない、つまり視点から見える画素であることが分かる。また、該領域内の画素２６２では、法線ベクトルと視線ベクトルの内積は、負であり、画素２６２は、陰面である、つまり視点から見える画素であることが分かる。

次に、オクルージョンが発生していないことの判定は、視線ベクトルと被写体の各点での最適円錐の中心軸を表わすベクトルとの内積の大きさから、視線ベクトルと中心軸を表わすベクトル間の角度を計算して、その角が最適円錐の頂角に含まれているか否かで判定する。例えば、画素２６１では、視線ベクトルと最適円錐の中心軸を表わすベクトルとの内積から、視線ベクトルが最適円錐内に含まれることが分かるため、画素２６１はオクルージョンが発生していないことが分かる。画素２６２では、視線ベクトルと最適円錐の中心軸を表わすベクトルとの内積から、視線ベクトルが最適円錐内に含まれないことが分かるため、画素２６２はオクルージョンが発生していることが分かる。

図１４の被写体２６では、陰面である領域以外にオクルージョンが発生している領域が存在していないため、事前画像３０が１枚のみ選択される。

次に、１枚では陰面である領域以外にオクルージョンが発生している領域が存在してしまっていても、他の事前画像では該領域においてオクルージョンが発生していない場合は、前記事前画像と該当事前画像の２枚を選択する。例えば、図１５の画素２５５は、法線ベクトルと視線ベクトルの内積は、正であり、画素２６１は、陰面でない。しかしながら、視点７１の視線ベクトルは、画素２５５での事前画像５１の最適円錐２５６内に含まれていないため、オクルージョンが発生していることが分かる。一方、視点７１の視線ベクトルは、画素２５５での事前画像５２の最適円錐２５７内に含まれているため、オクルージョンが発生していないことが分かる。このため、事前画像５１と５２の２枚選択される。

同様に、複数枚の事前画像において、被写体が写っている領域の全ての画素が、いずれか１枚以上の事前画像でオクルージョンが発生していない場合は、これらの事前画像を選択する。

最後にデータ送信部１４は、送信画像選択部１３から通知される各被写体に対する１枚以上の事前画像とモデル情報をクライアント装置２に送信する。

本実施形態では、被写体に対して、法線マップおよび最適円錐マップを事前に計算して置く必要がある。しかしながら、被写体２６のような被写体の場合、事前画像が１枚だけで済み、クライアント装置２に送信するデータ量をさらに削減することができる。

また、最初の実施形態では、法線の方向が接線の方向に一致する事前画像が無い場合、楕円筒面から離れる方向への角度の一番小さい事前画像を選択していた。しかしこの場合、楕円筒面が被写体を包含する最も小さい大きさでない等の理由により、この選択が最適なものでない可能性がある。つまり、図７において、事前画像５４が選択されたが、楕円筒面４０が実際より大きく、実際の楕円筒面では法線方向６３が入らない場合がある。この場合は、最適な事前画像は事前画像５３になる。本実施形態では、このような選択をすることなく、最適な事前画像を選択することができる。

なお、本発明によるサーバ装置１は、コンピュータを図８および図１１の各部として機能させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。さらに、本発明は、ハードウェア及びソフトウェアの組合せによっても実現可能である。

また、以上述べた実施形態は全て本発明を例示的に示すものであって限定的に示すものではなく、本発明は他の種々の変形態様および変更態様で実施することができる。従って本発明の範囲は特許請求の範囲およびその均等範囲によってのみ規定されるものである。

１サーバ装置
２クライアント装置
１１受信部
１２被写体判定部
１３送信画像選択部
１４データ送信部
１５モデル情報保持部
１６事前画像保持部
１７法線マップ保持部
１８最適円錐マップ保持部
２０、２１、２２、２３、２４、２５、２６被写体
３０、５１、５２、５５、５６、８２、８３事前画像
３１、７１視点
３２、３３視野の範囲を示す線
４０楕円筒面
４１、４２接線
６０自己オクルージョン範囲
６３、６４法線方向
８０球面
８１円錐
２５１、２５４、２５６、２５７最適円錐
２５２、２５３視野の範囲を示す線
２５５、２６１、２６２画素

Claims

被写体のモデル情報を保持するモデル情報保持手段と、
１つの被写体をそれぞれ異なる視点から表している該被写体に対応する複数の事前画像を、各被写体それぞれについて保持する事前画像保持手段と、
モデル情報に基づき指定された視点から見た画像に含まれる被写体を判定する被写体判定手段と、
前記判定した被写体それぞれについて、対応する２枚又は３枚の事前画像を選択する画像選択手段と、
を備えており、
前記事前画像の選択は、前記指定された視点の位置と、各事前画像の法線に基づき行う、
サーバ装置。
前記画像選択手段が選択する被写体の事前画像は、該被写体の視点側の面を表している事前画像であって、その法線と、前記視点から前記被写体を取り囲む曲面に引いた各接線との角度差が最も小さいものである、
請求項１に記載のサーバ装置。
前記画像選択手段が選択する被写体の事前画像は、該被写体の視点側の面を表している事前画像であって、その法線と、前記視点から前記被写体を包含する曲面に引いた２つ又は３つの接線それぞれとの角度差が最も小さいものであり、
２つの接線の場合、各接線は前記曲面の中心を挟んで互いに反対側であり、
３つの接線の場合、各接線と前記曲面の各接点は、略正三角形の頂点になる、
請求項１に記載のサーバ装置。
前記角度差は、前記視点から接点に向かう方向を基準とした前記被写体とは逆方向への角度差である、
請求項２又は３に記載のサーバ装置。
前記送信画像選択手段が選択する２つ又は３つの事前画像は、その法線方向の単位ベクトルと、視点から被写体を包含する曲面の中心に向かう単位ベクトルとの外積間の内積が所定値以下となる事前画像であり、
事前画像の法線方向は、該事前画像が記録する光線の方向とは逆方向である、
請求項１に記載のサーバ装置。
被写体のモデル情報を保持するモデル情報保持手段と、
１つの被写体をそれぞれ異なる視点から表している該被写体に対応する複数の事前画像を、各被写体それぞれについて保持する事前画像保持手段と、
事前画像中の被写体が写っている領域の各画素において法線ベクトルを算出し記録した法線マップ保持手段と、
事前画像中の被写体が写っている領域の各画素においてオクルージョンが発生しない方向を円錐で近似した最適円錐を算出し記録した最適円錐マップ保持手段と、
モデル情報に基づき指定された視点から見た画像に含まれる被写体を判定する被写体判定手段と、
前記判定した被写体それぞれについて、対応する１枚以上の事前画像を選択する画像選択手段と、
を備えており、
前記事前画像の選択は、前記指定された視点の位置と、前記記録された法線マップと、前記記録された最適円錐マップに基づき行う、
サーバ装置。
前記画像選択手段が選択する被写体の事前画像は、該事前画像中の被写体が写っている領域の全ての画素が、前記指定された視点に対して陰面であるかオクルージョンが発生していないかのどちらかである、
請求項６に記載のサーバ装置。
前記画像選択手段が選択する事前画像は、
１枚で該事前画像中の被写体が写っている領域において、陰面である領域以外にオクルージョンが発生している領域が存在していない場合は、該事前画像１枚のみを選択し、
１枚では陰面である領域以外にオクルージョンが発生している領域が存在したとしても、他の事前画像では該領域においてオクルージョンが発生していない場合は、前記事前画像と該当事前画像の２枚を選択し、
同様に、複数枚の事前画像において、被写体が写っている領域の全ての画素が、いずれか１枚以上の事前画像でオクルージョンが発生していない場合は、これらの事前画像を選択する
請求項６又は７に記載のサーバ装置。
前記画像選択手段の陰面であることの判定は、被写体上の各点から視点に向かう単位ベクトルと該点での法線ベクトルとの内積が負であることから判定する、
請求項６から８のいずれか１項に記載のサーバ装置。
前記画像選択手段のオクルージョンが発生していないことの判定は、被写体上の各点から視点に向かう単位ベクトルと該点での最適円錐の中心軸を表わすベクトルとの内積の大きさから該単位ベクトルが最適円錐に含まれているか否かで判定する、
請求項６から８のいずれか１項に記載のサーバ装置。
前記事前画像は、正射影画像である、
請求項１から１０のいずれか１項に記載のサーバ装置。
請求項１から１１のいずれか１項に記載のサーバ装置としてコンピュータを機能させるプログラム。
被写体のモデル情報及び１つの被写体をそれぞれ異なる視点から表している該被写体に対応する複数の事前画像を、各被写体それぞれについて保持しているサーバ装置と、クライアント装置とを含むシステムにおける自由視点画像伝送方法であって、
クライアント装置がサーバ装置に視点情報を送信するステップと、
サーバ装置が、モデル情報に基づき、クライアント装置から受信する視点情報で指定される視点から見た画像内の被写体を判定するステップと、
サーバ装置が、保持している事前画像から、前記判定した被写体に対応する２枚又は３枚の事前画像を選択するステップと、
サーバ装置が、前記選択した事前画像及び前記モデル情報をクライアント装置に送信するステップと、
を備えており、
前記被写体に対応する事前画像の選択は、前指定された視点の位置と、各事前画像の法線に基づき行う、
自由視点画像伝送方法。
被写体のモデル情報及び１つの被写体をそれぞれ異なる視点から表している該被写体に対応する複数の事前画像と、事前画像中の被写体が写っている領域の各画素において法線ベクトルを算出し記録した法線マップと、事前画像中の被写体が写っている領域の各画素においてオクルージョンが発生しない方向を円錐で近似した最適円錐を算出し記録した最適円錐マップとを、各被写体それぞれについて保持しているサーバ装置と、クライアント装置とを含むシステムにおける自由視点映像伝送方法であって、
クライアント装置がサーバ装置に視点情報を送信するステップと、
サーバ装置が、モデル情報に基づき、クライアント装置から受信する視点情報で指定される視点から見た画像内の被写体を判定するステップと、
サーバ装置が、保持している事前画像から、前記判定した被写体に対応する１枚以上の事前画像を選択するステップと、
サーバ装置が、前記選択した事前画像及び前記モデル情報をクライアント装置に送信するステップと、
を備えており、
前記被写体に対応する事前画像の選択は、前指定された視点の位置と、前記記録された法線マップと、前記記録された最適円錐マップに基づき行う、
自由視点映像伝送方法。