JP2020086700A - 画像処理装置、画像処理方法、プログラム、及び、表示装置 - Google Patents

Abstract

【課題】見やすい画像を提供する。【解決手段】画像処理システムは、複数の視点から撮影された複数の視点画像から生成される複数の3Dモデルのうちの１つ以上の3Dモデルにエフェクト処理を行い、所定の視点からエフェクト処理後の複数の3Dモデルを見た2D画像を生成する。本技術は、例えば、自由視点画像を表示する場合等に適用することができる。【選択図】図１

Description

本技術は、画像処理装置、画像処理方法、プログラム、及び、表示装置に関し、特に、例えば、見やすい画像を提供することができるようにする画像処理装置、画像処理方法、プログラム、及び、表示装置に関する。

複数の時刻に撮影された被写体（像）が映るストロボ画像を生成する方法が提案されている（例えば、特許文献１を参照）。ストロボ画像には、複数の時刻の被写体が映るので、被写体の動きや軌跡を、容易に把握することができる。

特開2007-259477号公報

例えば、特に、長時間のフレーム（系列）に映る被写体を対象に、ストロボ画像を生成する場合、ストロボ画像が見にくい画像になることがある。

本技術は、このような状況に鑑みてなされたものであり、見やすい画像、例えば、見やすいストロボ画像等を提供することができるようにするものである。

本技術の画像処理装置、又は、プログラムは、複数の視点から撮影された複数の視点画像から生成される複数の3Dモデルのうちの１つ以上の3Dモデルにエフェクト処理を行うエフェクト処理部と、所定の視点から前記エフェクト処理後の前記複数の3Dモデルを見た2D画像を生成する生成部とを備える画像処理装置、又は、そのような画像処理装置としてコンピュータを機能させるためのプログラムである。

本技術の画像処理方法は、複数の視点から撮影された複数の視点画像から生成される複数の3Dモデルのうちの１つ以上の3Dモデルにエフェクト処理を行うことと、所定の視点から前記エフェクト処理後の前記複数の3Dモデルを見た2D画像を生成することとを含む画像処理方法である。

本技術の画像処理装置、画像処理方法、及び、プログラムにおいては、複数の視点から撮影された複数の視点画像から生成される複数の3Dモデルのうちの１つ以上の3Dモデルにエフェクト処理が行われ、所定の視点から前記エフェクト処理後の前記複数の3Dモデルを見た2D画像が生成される。

本技術の表示装置は、複数の視点から撮影された複数の視点画像から生成される複数の3Dモデルのうちの１つ以上の3Dモデルにエフェクト処理を行い、所定の視点から前記エフェクト処理後の前記複数の3Dモデルを見た2D画像を生成することにより得られる前記2D画像を受信する受信部と、前記2D画像を表示する表示部とを備える表示装置である。

本技術の表示装置においては、複数の視点から撮影された複数の視点画像から生成される複数の3Dモデルのうちの１つ以上の3Dモデルにエフェクト処理を行い、所定の視点から前記エフェクト処理後の前記複数の3Dモデルを見た2D画像を生成することにより得られる前記2D画像が受信されて表示される。

なお、画像処理装置や表示装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。 画像処理システムが行う、自由視点画像を表示する自由視点画像表示処理の例を説明するフローチャートである。 不自然な自由視点画像の例を示す図である。 自然な自由視点画像の例を示す図である。 ストロボ区間のフレームを、所定のフレーム数ごとに、生成フレームに選択して生成されるストロボ画像の例を示す図である。 撮影部１１で得られる複数の視点の視点画像の例を模式的に示す図である。 ストロボ画像生成部１３での被写体の動きの判定の第１の判定方法を説明する図である。 ストロボ画像生成部１３での被写体の動きの判定の第１の判定方法を説明する図である。 ストロボ画像生成部１３での被写体の動きの判定の第２の判定方法を説明する図である。 ストロボ画像生成部１３での被写体の動きの判定の第３の判定方法を説明する図である。 ストロボ画像生成部１３での生成フレームの選択の例を説明する図である。 複数の生成フレームに映る被写体の3Dモデルを、本来の位置からずらして配置することにより生成されたストロボ画像の例を示す図である。 ストロボ画像において、エフェクト処理部１４でのエフェクト処理の対象となる3Dモデルを説明する図である。 エフェクト処理の具体例を説明する図である。 エフェクトモード1のエフェクト処理の例を示す図である。 ２つの被写体の3Dモデルが映るストロボ画像の例を示す図である。 エフェクトモード1のエフェクト処理の他の例を示す図である。 エフェクトモード2のエフェクト処理の例を示す図である。 エフェクトモード3のエフェクト処理の例を示す図である。 エフェクトモード4のエフェクト処理の例を示す図である。 エフェクトモード5のエフェクト処理の例を示す図である。 エフェクトモード6のエフェクト処理の例を示す図である。 エフェクトモード7ないし9のエフェクト処理の例を示す図である。 エフェクトモード10のエフェクト処理の例を示す図である。 画像処理システムを適用した伝送システムの構成例を示すブロック図である。 送信装置１０１の処理の例を説明するフローチャートである。 受信装置１０２の処理の例を説明するフローチャートである。 画像処理システムを適用した伝送システムの他の構成例を示すブロック図である。 送信装置１０１の処理の第１の例を説明するフローチャートである。 受信装置１０２の処理の第１の例を説明するフローチャートである。 送信装置１０１の処理の第２の例を説明するフローチャートである。 受信装置１０２の処理の第２の例を説明するフローチャートである。 本技術を適用した画像処理システムの他の一実施の形態の構成例を示すブロック図である。 自由視点画像を表示する自由視点画像表示処理の例を説明するフローチャートである。 画像処理システムを適用した伝送システムの構成例を示すブロック図である。 3Dモデルのサイズを変更するエフェクト処理を説明する図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

＜本技術を適用した画像処理システム＞

図１は、本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。

図１の画像処理システムでは、実写の画像から、仮想的な視点（仮想視点）から３次元空間の被写体を見たときの見え方が再現された自由視点画像を生成することができる自由視点データが生成される。そして、その自由視点データから、仮想視点から被写体を見たときの自由視点画像が生成されて表示される。

図１の画像処理システムは、撮影部１１、自由視点データ生成部１２、ストロボ画像生成部１３、エフェクト処理部１４、自由視点画像生成部１５、及び、表示部１６を有する。

撮影部１１は、少なくとも複数のカメラで構成され、複数の視点から、被写体を撮影する。例えば、撮影部１１を構成する複数のカメラは、被写体を囲むように配置され、各カメラは、そのカメラが配置された位置としての視点から、被写体を撮影する。各カメラにより、そのカメラの位置から撮影された2D(Dimensional)画像、すなわち、複数の視点から撮影された2D画像である複数の視点の視点画像（動画）は、フレーム単位で、撮影部１１から自由視点データ生成部１２に供給される。

ここで、撮影部１１には、複数のカメラの他、複数の測距装置を設けることができる。測距装置は、カメラと同一の位置（視点）に配置することもできるし、カメラと異なる位置に配置することもできる。測距装置は、その測距装置が配置された位置（視点）から、被写体までの距離を測定し、その距離に関する情報であるデプスを画素値とする2D画像であるデプス画像を生成する。デプス画像は、撮影部１１から自由視点データ生成部１２に供給される。

なお、撮影部１１に、測距装置が設けられていない場合には、複数の視点の視点画像のうちの２視点の視点画像を用いて、三角測量の原理により、被写体までの距離を測定し、デプス画像を生成することができる。

自由視点データ生成部１２は、撮影部１１からの複数の視点の視点画像とデプス画像とから、3D画像の自由視点データを、フレーム単位で生成する。

ここで、自由視点データとは、自由視点画像を生成することができる3D画像のデータである。自由視点データとしては、例えば、撮影部１１からの複数の視点の視点画像とデプス画像とのセットを、そのまま採用することができる。また、自由視点データとしては、その他、例えば、3Dモデル（や背景画像等を含む3Dデータ）や、複数の視点の2D画像とデプス画像とのセットを採用することができる。

自由視点データとして、撮影部１１からの複数の視点の視点画像とデプス画像とのセットを採用する場合、自由視点データ生成部１２は、撮影部１１からの複数の視点の視点画像とデプス画像とのセットを、自由視点データとして、ストロボ画像生成部１３に供給する。

自由視点データとして、3Dモデルを採用する場合、自由視点データ生成部１２は、撮影部１１からの複数の視点の視点画像と、その複数の視点のデプス画像とを用いて、Visual Hull等によりモデリングを行って、視点画像に映る被写体の3Dモデルを生成し、その3Dモデル（を含む3Dデータ）を、自由視点データとして、ストロボ画像生成部１３に供給する。なお、撮影部１１からのデプス画像の視点が、撮影部１１からの視点画像の視点と異なる場合、自由視点データ生成部１２は、撮影部１１からの複数の視点のデプス画像を用いて、撮影部１１からの視点画像の視点のデプス画像を生成する。

自由視点データとして、複数の視点の2D画像とデプス画像とのセットを採用する場合、自由視点データ生成部１２は、上述したように、視点画像に映る被写体の3Dモデルを生成し、その3Dモデルを、複数の視点（撮影部１１を構成するカメラと同一の視点でも良いし、異なる視点でも良い）から見た2D画像とデプス画像とのセットを生成する。そして、自由視点データ生成部１２は、3Dモデルから生成した複数の視点の2D画像とデプス画像とのセットを、自由視点データとして、ストロボ画像生成部１３に供給する。

以下では、説明を簡単にするため、特に断らない限り、自由視点データとして、3Dモデル（を含む3Dデータ）を採用することとする。

なお、自由視点データとしては、3Dモデルよりも、その3Dモデルから生成された複数の視点の2D画像とデプス画像とのセットを採用することにより、自由視点データのデータ量を少なくすることができる。3Dモデルから複数の視点の2D画像とデプス画像とのセットを生成して伝送する技術については、本出願人が先に提案した国際公開2017/082076号に記載されている。3Dモデルから複数の視点の2D画像とデプス画像とのセットを生成する場合、その複数の視点の2D画像とデプス画像とのセットは、例えば、MVCD（Multiview and depth video coding）や、AVC(Advanced Video Coding)、HEVC(High Efficiency Video Coding)等の2D画像を対象とする符号化方式により符号化することができる。

ここで、3Dモデル（の表現形式）には、大きく分けて、View Independentと呼ばれるモデル（以下、VIモデルともいう）と、View Dependentと呼ばれるモデル（以下、VDモデルともいう）とがある。

VDモデルは、３次元の形状の情報である3D形状モデルと、テクスチャとなる画像の情報とが別になっている3Dモデルである。VDモデルでは、3D形状モデルに、テクスチャとなる画像がマッピング（テクスチャマッピング）されることにより、色が付される。VDモデルによれば、（仮想）視点によって異なるVDモデルとしての被写体の表面の反射の具合等を表現することができる。

VIモデルは、3D形状モデルの構成要素としてのポリゴンや点が、色の情報を有している3Dモデルである。VIモデルとしては、例えば、色付きのポイントクラウドや、3D形状モデルと、3D形状モデルの色の情報としてのUVマップとのセットがある。VIモデルによれば、どの（仮想）視点から見ても、ポリゴンや点が有する色が観測される。

ストロボ画像生成部１３は、自由視点データ生成部１２からの3D画像の自由視点データとしての3Dモデルを用い、複数の時刻（フレーム）の同一の被写体の3Dモデルが映る（配置された）3D画像のストロボ画像の自由視点データを生成し、エフェクト処理部１４に供給する。

ここで、ストロボ画像とは、複数の時刻に撮影された１つ以上の同一の被写体（像）が映る画像である。2D画像に映る被写体が映るストロボ画像を、2Dストロボ画像ともいい、被写体の3Dモデルが映る3D画像のストロボ画像を、3Dストロボ画像ともいう。ストロボ画像生成部１３は、3Dストロボ画像を生成する。ここでは、3D画像とは、3次元の広がりを持つ画像、すなわち、横及び縦の他、奥行にも広がりを持った画像を意味する。

なお、自由視点データが、複数の視点の視点画像及びデプス画像、又は、複数の視点の2D画像及びデプス画像である場合、ストロボ画像の生成では、その生成に用いる複数のフレームそれぞれごとにモデリングを行って、複数のフレームに映る被写体の3Dモデルを個別に生成することができる。そして、複数のフレームそれぞれの3Dモデルを背景画像（としての３次元空間）に合成することにより、ストロボ画像を生成することができる。又は、複数のフレームに映る被写体のシルエット画像を合成し、その合成により得られる合成シルエット画像を用いてモデリングを行って、複数のフレームそれぞれに映る被写体の3Dモデルを合成した、いわば合成3Dモデルを生成することができる。そして、その合成3Dモデルを背景画像に合成することにより、ストロボ画像を生成することができる。

エフェクト処理部１４は、ストロボ画像生成部１３から自由視点データが供給されるストロボ画像に映る3Dモデルにエフェクト処理を行い、そのエフェクト処理後のストロボ画像の自由視点データを、自由視点画像生成部１５に供給する。

ここで、画像処理システムでは、ユーザの操作に応じて、仮想視点が設定され、エフェクト処理部１４及び自由視点画像生成部１５、その他の必要なブロックに供給される。エフェクト処理部１４は、ストロボ画像に映る複数の時刻（フレーム）の3Dモデルのうちの、所定の時刻の3Dモデル、例えば、最新の仮想視点が設定された時刻の3Dモデルを基準3Dモデルとして、基準3Dモデルより過去及び未来のうちの一方又は両方の3Dモデルにエフェクト処理を行うことができる。基準3Dモデルとしては、最新の仮想視点が設定された時刻の3Dモデルの他、ユーザが指定した3Dモデル等を採用することができる。

なお、エフェクト処理部１４は、例えば、ユーザの操作等に応じて、エフェクト処理を行わずに、ストロボ画像生成部１２１からの自由視点データを、自由視点画像生成部１５に供給することができる。また、ストロボ画像生成部１３は、例えば、ユーザの操作等に応じて、ストロボ画像を生成せずに、自由視点データ生成部１２からの自由視点データを、エフェクト処理部１４に供給することができる。ストロボ画像生成部１３において、ストロボ画像が生成されない場合、エフェクト処理部１４は、エフェクト処理を行わずに、ストロボ画像生成部１２１からの自由視点データを、自由視点画像生成部１５に供給する。

自由視点画像生成部１５は、エフェクト処理部１４からの自由視点データを用いて、例えば、3Dモデルにエフェクト処理が行われたストロボ画像に映る３次元空間を仮想視点から見た2D画像（ここでは、左目用の2D画像及び右目用の2D画像のセットを含む）等の、撮影部１１で撮影された３次元空間を仮想視点から見た2D画像（のデータ）を、自由視点画像（のデータ）として生成し、表示部１６に供給する。

表示部１６は、例えば、2Dのヘッドマウントディスプレイや、2Dのモニタ、3Dのヘッドマウントディスプレイ、3Dのモニタ等で構成され、自由視点画像生成部１５からの自由視点画像を表示する。3Dのヘッドマウントディスプレイやモニタは、例えば、左目用の2D画像及び右目用の2D画像を表示することにより立体視を実現する表示装置である。

なお、画像処理システムは、例えば、クライアントとクラウドサーバ等とで構成されるサーバクライアントシステムで構成することができる。この場合、クラウドサーバには、自由視点データ生成部１２ないし自由視点画像生成部１５のうちの一部又は全部を設けることができる。クライアントには、自由視点データ生成部１２ないし自由視点画像生成部１５のうちの残りと、表示部１６とを設けることができる。撮影部１１は、任意の場所に配置し、撮影部１１が出力する視点画像等は、自由視点データ生成部１２に伝送することができる。

以上のように構成される画像処理システムによれば、例えば、サッカーや、ラグビー、野球、レスリング、ボクシング、柔道、ゴルフ、テニス、体操等の各種のスポーツを、視点画像として撮影し、特定の選手等の所定の被写体の3Dモデルが映るストロボ画像を生成することができる。この場合、特定の選手の3Dモデルが映るストロボ画像は、その特定の選手の運動の解析等のスポーツ解析に用いることができる。

図２は、図１の画像処理システムが行う、自由視点画像を表示する自由視点画像表示処理の例を説明するフローチャートである。

自由視点画像表示処理では、ステップＳ１１において、撮影部１１は、複数の視点から、被写体を撮影し、複数の視点の視点画像及びデプス画像をフレーム単位で得る。撮影部１１は、複数の視点の視点画像及びデプス画像を、自由視点データ生成部１２に供給し、処理は、ステップＳ１１からステップＳ１２に進む。

ステップＳ１２では、自由視点データ生成部１２は、撮影部１１からの複数の視点の視点画像及びデプス画像等を用いて、視点画像に映る被写体のモデリングを行い、自由視点データとしての、例えば、被写体の3Dモデル等を、フレーム単位で生成する。自由視点データ生成部１２は、自由視点データとしての被写体の3Dモデル（及び背景画像を含む3Dデータ）を、ストロボ画像生成部１３に供給して、処理は、ステップＳ１３に進む。

ステップＳ１３では、ストロボ画像生成部１３は、自由視点データ生成部１２からの自由視点データとしての3Dモデルとなった被写体の動きを判定し、処理は、ステップＳ１４に進む。

ステップＳ１４では、ストロボ画像生成部１３は、ストロボ画像を生成するかどうかを判定する。

ここで、ステップＳ１４での、ストロボ画像を生成するかどうかの判定は、例えば、ステップＳ１３で判定された被写体の動きに応じて行われる。被写体に動きがない場合、動きがない複数の時刻の被写体の3Dモデルが映るストロボ画像は、ほぼ同じ位置に、複数の時刻の被写体の3Dモデルが映り、見にくいストロボ画像となることがある。そこで、ステップＳ１４では、被写体の動きがない場合には、ストロボ画像を生成しないと判定し、被写体の動きがある場合には、ストロボ画像を生成すると判定することができる。

なお、ステップＳ１４での、ストロボ画像を生成するかどうかの判定は、その他、例えば、ユーザの操作に応じて行うことができる。

ステップＳ１４において、ストロボ画像を生成しないと判定された場合、ストロボ画像生成部１３及びエフェクト処理部１４は、処理を行わずに、自由視点データを、自由視点画像生成部１５に供給する。そして、処理は、ステップＳ１４から、ステップＳ１５ないしＳ１８をスキップして、ステップＳ１９に進む。

この場合、ステップＳ１９では、自由視点画像生成部１５は、エフェクト処理部１４からの自由視点データを用いて、仮想視点から自由視点データとしての3Dモデルを見た2D画像を、自由視点画像として生成する。そして、自由視点画像生成部１５は、自由視点画像を、表示部１６に供給して、処理は、ステップＳ１９からステップＳ２０に進む。

ステップＳ２０では、表示部１６は、自由視点画像生成部１５からの自由視点画像が表示される。この場合、表示部１６では、仮想視点から見た被写体の3Dモデルが映る画像が表示される。

一方、ステップＳ１４において、ストロボ画像を生成すると判定された場合、処理は、ステップＳ１５に進む。

ステップＳ１５では、ストロボ画像生成部１３は、自由視点データ生成部１２から供給される3Dモデルのフレームの中で、ストロボ画像の生成に用いるフレーム（以下、生成フレームともいう）を選択し、処理は、ステップＳ１６に進む。

ここで、ストロボ画像の生成にあたっては、ユーザの操作等に応じて、3Dモデルとなる被写体が映る視点画像のフレームの系列について、ストロボ画像に映り得る被写体の先頭のフレーム（時刻）と終わりのフレームとが設定される。ストロボ画像に映り得る被写体の先頭のフレームから終わりのフレームまでの区間を、ストロボ区間ということとすると、ストロボ区間の全フレームを生成フレームとして、ストロボ画像の生成に用いると、ストロボ画像には、ストロボ区間のフレーム数と同一の数の、同一の被写体の3Dモデルが重なって映り、見にくい画像となることがある。

そこで、ストロボ画像生成部１３は、ストロボ区間のフレームから、幾つかのフレームを生成フレームとして選択し、その生成フレーム（に映る被写体の3Dモデル）を用いて、ストロボ画像（の自由視点データ）を生成する。

ストロボ画像生成部１３は、例えば、ストロボ区間のフレームから、3Dモデルの干渉度が閾値以下となるフレームを、生成フレームとして選択することができる。すなわち、ストロボ画像生成部１３は、ストロボ区間のフレームに被写体が映る３次元空間での、その被写体の3Dモデルの重なり具合を表す干渉度を算出する。干渉度は、例えば、３次元空間において、任意の２フレームの3Dモデルが完全に重なる場合を100％とするとともに、まったく重ならない場合を0％として算出される。そして、ストロボ画像生成部１３は、干渉度が0ないし10%等の所定の閾値以下のフレームを、生成フレームとして選択する。以上のように、ストロボ区間のフレームから、3Dモデルの干渉度が閾値以下となるフレームを、生成フレームとして選択し、その生成フレームの3Dモデルが映るストロボ画像を生成することにより、ストロボ画像において、3Dモデルが重なって映り、見にくい画像となることを抑制することができる。

なお、生成フレームの選択では、その他、例えば、単純に、ストロボ区間のフレームを、所定のフレーム数ごとに選択することができる。

ステップＳ１６では、ストロボ画像生成部１３は、ストロボ区間のフレームから選択された複数の生成フレームの3Dモデルが、その3Dモデルの被写体が映る３次元空間としての背景画像に映るストロボ画像を生成する。そして、ストロボ画像生成部１３は、ストロボ画像を、エフェクト処理部１４に供給し、処理は、ステップＳ１６からステップＳ１７に進む。ここで、複数の生成フレームに、１つの被写体だけが映る場合には、ストロボ画像生成部１３は、その１つの被写体の3Dモデルが映るストロボ画像を生成する。また、複数の生成フレームに、複数の被写体が映る場合には、ストロボ画像生成部１３は、その複数の被写体それぞれの3Dモデルが映るストロボ画像を生成することができる。但し、複数の生成フレームに、複数の被写体が映る場合には、ストロボ画像生成部１３は、複数の生成フレームに映る複数の被写体のうちの、例えば、ユーザによって指定された１つ又は２つ以上の被写体の3Dモデルが映るストロボ画像を生成することができる。

ステップＳ１７では、エフェクト処理部１４は、ストロボ画像生成部１３からのストロボ画像の3Dモデル（ストロボ画像に映る3Dモデル）に、エフェクト処理を行うかどうかを判定する。ステップＳ１７での、ストロボ画像を生成するかどうかの判定は、例えば、ユーザの操作に応じて行うことができる。

ステップＳ１７において、エフェクト処理を行わないと判定された場合、エフェクト処理部１４は、エフェクト処理を行わずに、ストロボ画像生成部１３からのストロボ画像を、自由視点画像生成部１５に供給する。そして、処理は、ステップＳ１７から、ステップＳ１８をスキップして、ステップＳ１９に進む。

この場合、ステップＳ１９では、自由視点画像生成部１５は、エフェクト処理部１４からのストロボ画像を仮想視点から見た2D画像を、自由視点画像として生成する。そして、自由視点画像生成部１５は、自由視点画像を、表示部１６に供給して、処理は、ステップＳ１９からステップＳ２０に進む。

ステップＳ２０では、表示部１６は、自由視点画像生成部１５からの自由視点画像が表示される。この場合、表示部１６では、仮想視点から見た複数の生成フレームの被写体の3Dモデルが映る2D画像（3Dストロボ画像を仮想視点から見た2D画像）が表示される。

一方、ステップＳ１７において、エフェクト処理を行うと判定された場合、処理は、ステップＳ１８に進む。

ステップＳ１８では、エフェクト処理部１４は、ストロボ画像生成部１３からのストロボ画像に映る複数の時刻（生成フレーム）の3Dモデルのうちの、最新の仮想視点が設定された時刻の基準3Dモデルより過去及び未来のうちの一方又は両方の3Dモデルにエフェクト処理を行う。そして、エフェクト処理部１４は、エフェクト処理後の（3Dモデルが映る）ストロボ画像を、自由視点画像生成部１５に供給して、処理は、ステップＳ１８からステップＳ１９に進む。

この場合、ステップＳ１９では、自由視点画像生成部１５は、エフェクト処理部１４からのエフェクト処理後のストロボ画像を仮想視点から見た2D画像を、自由視点画像として生成する。そして、自由視点画像生成部１５は、自由視点画像を、表示部１６に供給して、処理は、ステップＳ１９からステップＳ２０に進む。

ステップＳ２０では、表示部１６は、自由視点画像生成部１５からの自由視点画像が表示される。この場合、表示部１６では、仮想視点から見た複数の生成フレームの被写体の3Dモデルが映り、かつ、その3Dモデルの幾つかにエフェクトがかかった2D画像（エフェクト処理が行われた3Dストロボ画像を仮想視点から見た2D画像）が表示される。

以上のように、3Dモデルにエフェクト処理を行うことにより、見やすい画像を提供することができる。特に、例えば、ストロボ画像に映る、複数の時刻の同一の被写体の3Dモデルの一部、又は、全部のそれぞれにエフェクト処理を行うことにより、見やすいストロボ画像を提供することができる。なお、ここでは、説明を分かりやすくするために、(3D)ストロボ画像を生成し、その後、ストロボ画像に映る3Dモデルにエフェクト処理を行うこととしたが、ストロボ画像の生成と、そのストロボ画像に映る3Dモデルに対するエフェクト処理とは、並列的に、又は、適宜順番を前後して行うことができる。例えば、画像処理システムでは、3Dモデルに対するエフェクト処理を行った後に、そのエフェクト処理後の3Dモデルが映るストロボ画像を生成することができる。

＜ストロボ画像の生成＞

図３は、不自然な自由視点画像の例を示す図である。

図３は、手前側から奥側に被写体としてのボールが転がっている様子を撮影した視点画像のフレームのうちの５フレームを生成フレームとして用いて生成された(3D)ストロボ画像から生成された自由視点画像の例を示している。

図３では、５フレームの生成フレームに映るボールの3Dモデルが、時間的に後の3Dモデルを優先するように配置（描画）されている。そのため、時間的に後の（ボールの）3Dモデルが、奥側に位置するのにもかかわらず、時間的に前の手前側の3Dモデルを隠すように配置されている。その結果、図３の自由視点画像は、不自然な画像になっている。

図４は、自然な自由視点画像の例を示す図である。

図４は、手前側から奥側に被写体としてのボールが転がっている様子を撮影した視点画像のフレームのうちの５フレームを生成フレームとして用いて生成された(3D)ストロボ画像から生成された自由視点画像の例を示している。

図４では、５フレームの生成フレームに映るボールの3Dモデルが、手前側の3Dモデルを優先するように配置されている。そのため、手前側の3Dモデルが奥側の3Dモデルを隠すように、すなわち、手前側の3Dモデルが優先的に映るように配置されている。その結果、自由視点画像は、自然な画像になっている。

ストロボ画像生成部１３は、3Dモデルをデプス（奥行）を用いて、以上のような、自由視点画像において手前側の3Dモデルが優先的に映るストロボ画像を生成する。

図５は、ストロボ区間のフレームを、所定のフレーム数ごとに、生成フレームに選択して生成されるストロボ画像の例を示す図である。

図５は、手前側から奥側に被写体としてのボールが転がっている様子を撮影した視点画像のフレームのうちの８フレームを生成フレームとして用いて生成されたストロボ画像の例を示している。

ストロボ区間のフレームを、所定のフレーム数ごとに、生成フレームに選択し、その生成フレームを用いてストロボ画像を生成する場合、被写体の移動速度が変化すると、ストロボ画像に映る被写体の3Dモデルの間隔が変化する。例えば、図５に示すように、被写体の移動速度が、ある一定速度から低下すると、3Dモデルの間隔が狭くなり、3Dモデルどうしの重なり具合が大きくなって、見にくいストロボ画像になることがある。

図２で説明したように、ストロボ区間のフレームのうちの、3Dモデルの干渉度が閾値以下となるフレームを、生成フレームとして選択することにより、被写体の移動速度の変化によって被写体の3Dモデルの間隔が狭くなり、ストロボ画像が見にくくなることを抑制することができる。

なお、ストロボ区間のフレームのうちの、3Dモデルの干渉度が閾値以下となるフレームを、生成フレームとして選択するか、又は、所定のフレーム数ごとのフレームを、生成フレームとして選択するかは、例えば、ユーザの操作に応じて設定することができる。

＜視点画像＞

図６は、撮影部１１で得られる複数の視点の視点画像の例を模式的に示す図である。

図６では、撮影部１１は、６台のカメラで構成され、その６台のカメラが、被写体としての人物を取り囲むように配置されている。カメラは、被写体の周囲や天井に配置することができる。６台のカメラそれぞれは、被写体を同期して撮影し、その撮影の結果得られる2D画像を、カメラの位置を視点vp#iとする視点画像として出力する。視点vp#iは、撮影部１１を構成する６台のカメラのうちのｉ番目のカメラの位置である。

図６では、６台のカメラから出力される６視点vp1ないしvp6の視点画像の８フレーム（時刻）が示されている。

自由視点データ生成部１２では、例えば、以上のような６視点vp1ないしvp6の視点画像（のフレーム）の他、例えば、その６視点vp1ないしvp6のデプス画像、及び、撮影部１１を構成する６台のカメラのカメラパラメータを用いて、視点画像に映る被写体の3Dモデルが生成される。

すなわち、自由視点データ生成部１２は、例えば、視点vp#iの視点画像の前景背景差分を用いて、視点vp#iの視点画像に映る被写体のシルエット画像を求める。そして、自由視点データ生成部１２は、視点vp#iのシルエット画像、視点vp#iの視点画像及びデプス画像、並びに、カメラパラメータを用い、Visual Hull等により、視点画像に映る被写体のモデリングを行い、その被写体の3Dモデルを生成する。

ここで、撮影部１１を構成する６台のカメラのカメラパラメータは、カメラの焦点距離や、カメラどうしの位置関係、カメラの姿勢、カメラが有するレンズの歪み等の情報を含む。

また、シルエット画像を求めるための前景背景差分は、視点vp#iの視点画像の背景と、視点vp#iの視点画像との差分をとることにより求めることができる。視点vp#iの視点画像の背景は、被写体が存在しない状態で３次元空間を撮影することや、被写体の位置が異なる視点vp#iの視点画像の複数フレームを用いることにより生成することができる。

＜被写体の動きの判定＞

図７及び図８は、ストロボ画像生成部１３での被写体の動きの判定の第１の判定方法を説明する図である。

図７は、第１の判定方法において、被写体の動きがあると判定される場合を示している。図８は、第１の判定方法において、被写体の動きがないと判定される場合を示している。

図７及び図８では、被写体としてのスケータが、スケートリンク内を滑っている。

撮影部１１が、複数のカメラの他、測距装置としての、例えば、TOF(Time Of Fright)センサやLiDAR(Light Detection and Ranging)センサ等のアクティブセンサを有する場合には、そのアクティブセンサで測定（測距）された被写体までの距離d#jに応じて、被写体の動きを判定することができる。距離d#jは、複数のアクティブセンサのうちのｊ番目のアクティブセンサで測定された被写体までの距離を表す。

図７及び図８では、４台のアクティブセンサがスケートリンクの周囲に設けられている。被写体の動きの判定では、ストロボ画像生成部１３は、４台のアクティブセンサが時刻（フレーム）tに測定した距離d1, d2, d3, d4と、時刻tとは異なる、例えば、時刻tの後の時刻t'に測定した距離d1, d2, d3, d4とを比較する。

そして、図７に示すように、距離d1ないしd4のうちの１つ以上の距離が、時刻tと時刻t'とで、所定の閾値以上異なる（変化している）場合、ストロボ画像生成部１３は、被写体の動きがあると判定する。

一方、図８に示すように、距離d1ないしd4のいずれもが、時刻tと時刻t'とで、所定の閾値以上異ならない場合、ストロボ画像生成部１３は、被写体の動きがないと判定する。

ここで、図７及び図８では、４台のアクティブセンサが設けられているが、アクティブセンサは、４台以外の複数台であっても良いし、１台であっても良い。

図９は、ストロボ画像生成部１３での被写体の動きの判定の第２の判定方法を説明する図である。

第２の判定方法は、撮影部１１が、アクティブセンサを有しない場合の被写体の動きを判定する方法の１つである。

第２の判定方法では、ストロボ画像生成部１３は、撮影部１１を構成するいずれかのカメラで撮影された視点画像の、例えば、ストロボ区間等の所定の区間のフレームを、数フレームだけ残すように間引く。さらに、ストロボ画像生成部１３は、フレームの間引きを行った結果残った数フレームを、被写体の動きの判定に用いる判定フレームとして、判定フレームのシルエット画像を生成する。図９では、５フレームを判定フレームとして、シルエット画像が生成されている。

ストロボ画像生成部１３は、複数の判定フレームのうちの任意の２フレームの判定フレームのシルエット画像の重なりを検出する。そして、例えば、２フレームの判定フレームの任意の１以上の組み合わせにおいて、シルエット画像に重なりがない場合、ストロボ画像生成部１３は、被写体の動きがあると判定する。

一方、例えば、２フレームの判定フレームのすべての組み合わせにおいて、シルエット画像に重なりがある場合、ストロボ画像生成部１３は、被写体の動きがないと判定する。

図９のＡは、複数の判定フレームのうちの任意の２フレームのすべての組み合わせにおいて、シルエット画像に重なりがない場合を示している。図９のＢは、複数の判定フレームのうちの任意の２フレームのすべての組み合わせにおいて、シルエット画像に重なりがある場合を示している。

図９のＡに示すように、シルエット画像に重なりがない場合、被写体の動きがあると判定され、図９のＢに示すように、シルエット画像に重なりがある場合、被写体の動きがないと判定される。

図１０は、ストロボ画像生成部１３での被写体の動きの判定の第３の判定方法を説明する図である。

第３の判定方法は、撮影部１１が、アクティブセンサを有しない場合の被写体の動きを判定する方法の他の１つである。

撮影部１１（のカメラ）において、視点画像が、透視投影で撮影されるとすると、視点画像において、奥側の被写体は小さいサイズで映り、手前側の被写体は大きいサイズで映る。したがって、例えば、被写体が手前側から奥側に移動している場合、その被写体のシルエット画像のサイズは、図１０に示すように、被写体が奥側に移動するほど小さくなる。

第３の判定方法では、ストロボ画像生成部１３は、複数の判定フレームに映る被写体のシルエット画像のサイズを検出する。そして、例えば、２フレームの判定フレームの任意の１以上の組み合わせにおいて、シルエット画像のサイズの変化が閾値以上である場合、ストロボ画像生成部１３は、被写体の動きがあると判定する。

一方、例えば、２フレームの判定フレームのすべての組み合わせにおいて、シルエット画像のサイズの変化が閾値以上でない場合、ストロボ画像生成部１３は、被写体の動きがないと判定する。

なお、第１ないし第３の判定方法によれば、被写体の3Dモデルを生成する前に、被写体の動きを判定することができる。被写体の動きの判定は、その他、例えば、デプス画像を生成した後や、ポイントクラウドやポリゴン等の3Dモデルを生成した後に、そのデプス画像や、3Dモデルの３次元空間内の位置に関する位置情報を用いて行うことができる。

また、被写体が人である場合には、視点画像から、顔検出等に用いられる人の顔の特徴点を検出し、ストロボ区間等の所定の区間のフレームに亘る特徴点の位置に応じて、被写体の動きを判定することができる。

さらに、被写体の動きベクトルを検出し、その動きベクトルに応じて、被写体の動きを判定することができる。

また、撮影部１１で撮影される複数の視点の視点画像のうちの一部の視点の視点画像、例えば、３０台のカメラで撮影された３０視点の視点画像のうちの、４台のカメラで撮影された４視点の視点画像を用い、視点画像に映る被写体について、いわば簡易的な3Dモデルを生成し、その3Dモデル（の位置）を用いて、被写体の動きを判定することができる。

さらに、画像処理システムにおいて、視点画像に映る１又は複数の被写体を囲むバンディングボックスが設定される場合には、ストロボ区間等の所定の区間のフレームに亘るバンディングボックスの位置に応じて、被写体の動きを判定することができる。

＜生成フレームの選択＞

図１１は、ストロボ画像生成部１３での生成フレームの選択の例を説明する図である。

図２で説明したように、ストロボ画像（から生成される自由視点画像）が、3Dモデルが重なって見にくい画像となることを抑制するため、ストロボ画像生成部１３は、ストロボ区間のフレームから、3Dモデルの干渉度が閾値以下となるフレームを、生成フレームとして選択し、その生成フレームの3Dモデルが映るストロボ画像を生成することができる。

図１１のＡは、閾値として0%が設定された場合の、スケータがスケートリンク内を滑っている様子のストロボ画像を示している。図１１のＡでは、閾値が0%であるため、ストロボ画像において、各時刻（生成フレーム）の被写体の3Dモデルは、重なりを有しない。

図１１のＢは、閾値として0%より大の小さい値（例えば、10%等）が設定された場合の、スケータがスケートリンク内を滑っている様子のストロボ画像を示している。図１１のＢでは、閾値が0%より大の値であるため、ストロボ画像において、各時刻の被写体の3Dモデルのうちの一部の3Dモデルは、隣の3Dモデルと多少の重なりを有している。

ここで、図１の画像処理システムは、自由視点データを送信側から受信側に伝送し、受信側において、ストロボ画像を生成して表示する伝送システムに適用することができる。この場合、送信側から受信側に、ストロボ画像での3Dモデルどうしの重なりである干渉を表す干渉フラグを送信することができる。そして、受信側では、干渉フラグに応じて、干渉（重なり）を有する3Dモデルが映るストロボ画像、又は、干渉を有しない3Dモデルが映るストロボ画像を生成することができる。干渉フラグとしては、例えば、干渉の有無を表す１ビットのフラグや、干渉度の閾値を採用することができる。

なお、画像処理システムでは、被写体の動きがない（と判定された）場合でも、ユーザの操作に応じて、ストロボ画像を生成することができる。被写体の動きがない場合、ストロボ区間のフレームに映る被写体の3Dモデルの干渉度は、どのフレームであっても大きくなって閾値以下にならないことがある。そこで、被写体の動きがない場合に、ストロボ画像を生成するときには、ストロボ区間のフレームから、所定のフレーム数ごとの（複数の）フレームを、生成フレームとして選択することができる。

但し、この場合、複数の生成フレームに映る被写体の3Dモデルをそのまま配置したストロボ画像は、3Dモデルが大きく重なって見にくい画像となる。

そこで、被写体の動きがない場合に、ストロボ画像を生成するときには、ストロボ画像生成部１３において、複数の生成フレームに映る被写体（複数の時刻の被写体）の3Dモデルを、本来の位置（被写体の３次元空間内の位置）に配置するのではなく、干渉度が閾値以下となるように、本来の位置からずらして配置することができる。

図１２は、複数の生成フレームに映る被写体の3Dモデルを、本来の位置からずらして配置することにより生成されたストロボ画像の例を示す図である。

図１２では、被写体としてのスケータが、スケートリンクの中央でスピンを行っている様子を示しており、被写体としてのスケータは、ほとんど移動していない。

この場合、ストロボ画像生成部１３は、3Dモデルの干渉度が閾値以下となるように、複数の生成フレームに映る被写体の3Dモデル（複数の時刻の3Dモデル）を、本来の位置からずらして配置し、ストロボ画像を生成することができる。

図１２では、複数の生成フレームに映る被写体の3Dモデルが（生成フレームの）時刻順に円形状に配置されたストロボ画像や、直線状に配置されたストロボ画像が生成されている。

以上のように、ストロボ画像の生成において、3Dモデルの干渉度が閾値以下となるように、複数の生成フレームに映る被写体の3Dモデルを、本来の位置からずらして配置することにより、3Dモデルどうしが大きく重なり合って、ストロボ画像が見にくい画像になることを抑制することができる。

＜エフェクト処理の対象となる3Dモデル＞

図１３は、ストロボ画像において、エフェクト処理部１４でのエフェクト処理の対象となる3Dモデルを説明する図である。

エフェクト処理部１４は、ストロボ画像において、ストロボ区間のフレームから選択された複数の時刻としての複数の生成フレームの3Dモデルのうちの、最新の仮想視点が設定された時刻の基準3Dモデルより過去及び未来のうちの一方又は両方の3Dモデルにエフェクト処理を行うことができる。

エフェクト処理を行う対象の3Dモデルである対象モデルは、基準3Dモデルに対する時間方向（過去方向及び未来方向）を表すエフェクト方向と、基準3Dモデルからの離れ具合を表すエフェクト距離とで特定される。

エフェクト方向としては、過去方向past、未来方向future、又は、過去方向past及び未来方向futureの両方を設定することができる。

エフェクト方向として、過去方向pastが設定された場合、基準3Dモデルから、過去方向の3Dモデルに、エフェクト処理が行われる。エフェクト方向として、未来方向futureが設定された場合、基準3Dモデルから、未来方向の3Dモデルに、エフェクト処理が行われる。エフェクト方向として、過去方向past及び未来方向futureが設定された場合、基準3Dモデルから、過去方向の3Dモデルと未来方向の3Dモデルとに、エフェクト処理が行われる。

エフェクト距離は、基準3Dモデルからの3Dモデルのモデル数number、距離distance、又は、時間timeで指定することができる。

モデル数numberによれば、ストロボ画像に映る3Dモデル、すなわち、ストロボ画像の生成に用いられる生成フレームに映る3Dモデルのうちの、基準3Dモデルから、モデル数number以上離れた3Dモデルを、対象モデルとして指定することができる。

距離distanceによれば、ストロボ画像に映る3Dモデルのうちの、基準3Dモデルから、距離distance以上離れた3Dモデルを、対象モデルとして指定することができる。

時間timeによれば、ストロボ画像に映る3Dモデルのうちの、基準3Dモデルから、時間time以上離れた3Dモデルを、対象モデルとして指定することができる。

エフェクト処理部１４は、ストロボ画像において、基準3Dモデルから、モデル数number、距離distance、又は、時間time以上だけ、過去方向、未来方向、又は、過去と未来との両方向に離れた3Dモデルを対象モデルとして、エフェクト処理を行う。

以下では、説明を簡単にするため、特に断らない限り、エフェクト処理は、基準3Dモデルから過去方向の3Dモデルに行うこととする。

ここで、ストロボ区間が長く、多数のフレームが生成フレームとして選択される場合、ストロボ画像は、多数の3Dモデルを用いて生成される。

多数の3Dモデルを用いて生成されるストロボ画像は、見にくい画像になることがある。

例えば、多数の3Dモデルを用いて生成されるストロボ画像では、そのストロボ画像に映る所定の被写体の3Dモデルのうちの、基準3Dモデルから一定時間以上前の時刻の3Dモデルが、時間的に後行する（未来の）3Dモデルや、他の被写体の3Dモデルの（視聴の）妨げになることがある。

また、多数の3Dモデルを用いて生成されるストロボ画像では、被写体が同じような軌跡を描くように移動する場合、例えば、被写体が、鉄棒で、いわゆる大車輪（後方車輪又は前方車輪）を行っている場合、時間的に先行する（過去の）3Dモデルと、時間的に後行する3Dモデルとが、同じような軌跡を描くため、時間経過が分かりにくくなることがある。

さらに、多数の3Dモデルを用いて生成されるストロボ画像では、3Dモデルのデータ量が大になり、ストロボ画像（から生成される自由視点画像）を表示するのに要する処理量が大になる。

エフェクト処理部１４は、ストロボ画像に映る3Dモデルにエフェクト処理を行うことで、見やすいストロボ画像を提供し、また、ストロボ画像のデータ量や、ストロボ画像の表示に要する処理量を削減する。

＜エフェクト処理の具体例＞

図１４は、エフェクト処理の具体例を説明する図である。

図１４では、エフェクト処理として、エフェクトモード0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10で表されるエフェクト処理がある。エフェクトモード1ないし10については、図１３で説明したエフェクト方向及びエフェクト距離を設定することができる。

なお、エフェクト方向が設定されていない場合、エフェクト方向としては、デフォルトで、例えば、過去方向pastが設定されることとして、エフェクト処理が行われる。

エフェクト距離は、図１３で説明したように、基準3Dモデルからの3Dモデルのモデル数number、距離distance、又は、時間timeで指定される。例えば、エフェクト方向が過去方向pastに設定され、エフェクト距離が、モデル数number=1に設定されている場合、基準3Dモデルから、モデル数number=1以上だけ、過去方向に離れた3Dモデルを対象モデルとして、エフェクトモードが表すエフェクト処理が行われる。

エフェクトモード0は、エフェクト処理を行わないこと表す。

エフェクトモード1は、3Dモデルを透明にするエフェクト処理を表す。エフェクトモード1のエフェクト処理では、対象モデルを、すべて同一の透明度の透明にすることもできるし、徐々に透明にすること、すなわち、基準3Dモデルから時間的又は距離的に離れた3Dモデル（対象モデル）ほど、透明度の高い透明にすることもできる。3Dモデルを、どのように透明にするかは、例えば、エフェクトモード1に付随するパラメータを定義し、そのパラメータによって指定することができる。なお、透明度を100％とする場合には、対象モデルは完全に透明になり、この場合、エフェクトモード1のエフェクト処理の結果は、実質的に、後述するエフェクトモード4と同様になる。

エフェクトモード2は、3Dモデルを、徐々に消滅させるエフェクト処理を表す。

エフェクトモード3は、3Dモデルのテクスチャ数（テクスチャとして使用する2D画像の数）を減らすエフェクト処理を表す。エフェクトモード3のエフェクト処理では、対象モデルのテクスチャ数を、すべて同一の数に減らすこともできるし、徐々に減らすこと、すなわち、基準3Dモデルから時間的又は距離的に離れた3Dモデルほど、テクスチャ数を減らすこともできる。3Dモデルのテクスチャ数をどのように減らすかは、例えば、エフェクトモード3に付随するパラメータを定義し、そのパラメータによって指定することができる。

なお、エフェクトモード3のエフェクト処理については、テクスチャマッピングが行われる3Dモデル、すなわち、VDモデルが対象となり、テクスチャマッピングが行われないVIモデルは対象とならない。

エフェクトモード4は、3Dモデルを消去するエフェクト処理を表す。

エフェクトモード5は、3Dモデルの輝度及び彩度の少なくとも一方を小さくするエフェクト処理を表す。エフェクトモード5のエフェクト処理では、対象モデルの輝度及び彩度を、すべて同一の割合だけ小さくすることもできるし、徐々に小さくすること、すなわち、基準3Dモデルから時間的又は距離的に離れた3Dモデルほど、輝度及び彩度を小さくする割合をより大きくすることもできる。3Dモデルの輝度及び彩度をどのように小さくするかや、輝度及び彩度のいずれを小さくするかは、例えば、エフェクトモード5に付随するパラメータを定義し、そのパラメータによって指定することができる。

エフェクトモード6は、ストロボ画像に映る3Dモデルの数を制限するエフェクト処理を表す。エフェクトモード6のエフェクト処理では、ストロボ画像に映る3Dモデルが、生成フレームの3Dモデルのうちの、対象モデル以外の3Dモデルだけに制限される。

エフェクトモード7は、3Dモデルをローポリゴンにするエフェクト処理、すなわち、3Dモデルのメッシュ数（ポリゴン数）を減らすエフェクト処理を表す。エフェクトモード7のエフェクト処理では、対象モデルのメッシュ数を、すべて同一の数に減らすこともできるし、徐々に減らすこと、すなわち、基準3Dモデルから時間的又は距離的に離れた3Dモデルほど、メッシュ数を減らすこともできる。3Dモデルのメッシュ数をどのように減らすかは、例えば、エフェクトモード7に付随するパラメータを定義し、そのパラメータによって指定することができる。

なお、エフェクトモード7のエフェクト処理については、ポリゴンで構成される3Dモデルが対象となり、ポリゴンで構成されない3Dモデル、すなわち、例えば、ワイヤーフレームは対象とならない。

エフェクトモード8及び9は、3Dモデルの表現形式を変更するエフェクト処理を表す。

すなわち、エフェクトモード8は、ポリゴンで構成される3Dモデルを、ワイヤフレームに変更するエフェクト処理を表す。

エフェクトモード9は、3Dモデルの表現形式をView DependentからView Independentに変更するエフェクト処理、すなわち、VDモデルをVIモデル（例えば、ポイントクラウド）に変更するエフェクト処理を表す。

エフェクトモード10は、3Dモデルを消去し、3Dモデルがあった形跡を残すエフェクト処理を表す。

エフェクトモード1ないし10については、エフェクト方向及びエフェクト距離を設定することができるが、必要に応じて、デフォルトのエフェクト方向及びエフェクト距離を定義しておくことができる。

例えば、エフェクトモード1ないし10のデフォルトのエフェクト方向としては、過去方向pastを定義しておくことができる。

また、例えば、エフェクトモード1のデフォルトのエフェクト距離としては、モデル数number=1を定義しておくことができる。

この場合、エフェクトモード1のエフェクト方向及びエフェクト距離が設定されていなければ、基準3Dモデルから過去方向に１モデル以上離れた3Dモデル、すなわち、基準3Dモデルの過去方向の次の3Dモデル以前の3Dモデルを対象モデルとして、エフェクトモード1のエフェクト処理が行われる。

さらに、例えば、エフェクトモード4のデフォルトのエフェクト距離としては、距離distance=5[m]を定義しておくことができる。

この場合、エフェクトモード4のエフェクト方向及びエフェクト距離が設定されていなければ、基準3Dモデルから過去方向に5m以上離れた3Dモデルを対象モデルとして、エフェクトモード4のエフェクト処理が行われる。

また、例えば、エフェクトモード5のデフォルトのエフェクト距離としては、時間time=10[sec]を定義しておくことができる。

この場合、エフェクトモード5のエフェクト方向及びエフェクト距離が設定されていなければ、基準3Dモデルから過去方向に10秒以上離れた3Dモデルを対象モデルとして、エフェクトモード5のエフェクト処理が行われる。

さらに、例えば、エフェクトモード7のデフォルトのエフェクト距離としては、モデル数number=3を定義しておくことができる。

この場合、エフェクトモード7のエフェクト方向及びエフェクト距離が設定されていなければ、基準3Dモデルから過去方向に３モデル以上離れた3Dモデル、すなわち、基準3Dモデルの過去方向の３番目の3Dモデル以前の3Dモデルを対象モデルとして、エフェクトモード7のエフェクト処理が行われる。

なお、エフェクト処理部１４が行うエフェクト処理については、複数のエフェクトモードを設定することができる。例えば、エフェクト処理について、エフェクトモード1及び3が設定された場合、3Dモデルを透明にし、かつ、テクスチャ数を減らすエフェクト処理が行われる。

ここで、図１の画像処理システムは、自由視点データを送信側から受信側に伝送し、受信側において、ストロボ画像を生成して表示する伝送システムに適用することができる。この場合、送信側から受信側に、エフェクトモードと、必要なエフェクト方向及びエフェクト距離とを、エフェクト処理に関するエフェクトフラグ（エフェクト情報）として送信することができる。そして、受信側では、エフェクトフラグとしてのエフェクトモード、エフェクト方向、及び、エフェクト距離に従って、エフェクト処理を行うことができる。

図１５は、エフェクトモード1のエフェクト処理の例を示す図である。

図１５は、直線状に移動する被写体の3Dモデルが映るストロボ画像の例を示している。図１５では、ストロボ画像には、５フレームの生成フレームの3Dモデルが映り、最新の時刻の3Dモデル（時刻が最も後の生成フレームの3Dモデル）が基準3Dモデルになっている。そして、ストロボ画像に映る3Dモデルに、エフェクトモード1のエフェクト処理が行われ、基準3Dモデルより過去の3Dモデルが、徐々に透明になっている。

したがって、エフェクトモード1のエフェクト処理が行われたストロボ画像によれば、ユーザは、時間経過を直感的に認識することができる。さらに、ストロボ画像のデータ量を削減することができる。また、時間的に先行する（過去の）3Dモデルが、時間的に後行する（未来の）3Dモデルの妨げ（邪魔）になることを抑制し、見やすいストロボ画像を提供することができる。

図１６は、２つの被写体の3Dモデルが映るストロボ画像の例を示す図である。

図１６では、２つの被写体A及びBの複数の時刻（生成フレーム）の3Dモデルが、ストロボ画像に映っている。そして、被写体Aの3Dモデルについては、図１５の場合と同様に、エフェクトモード1のエフェクト処理が行われ、基準3Dモデルより過去の3Dモデルが、徐々に透明になっている。

図１６において、被写体Bは、被写体Aの移動の軌跡に交差するように移動している。そのため、被写体Bの3Dモデルは、被写体Aの基準3Dモデルより過去の3Dモデルと重なることがある。

しかしながら、被写体Aの基準3Dモデルより過去の3Dモデルは、徐々に透明になっているため、被写体Bの3Dモデルが、被写体Aの基準3Dモデルより過去の3Dモデルと重なっても、その過去の3Dモデルが、被写体Bの3Dモデルの妨げになることを抑制することができる。

なお、図１６では、被写体Aの3Dモデルのみに、エフェクト処理が行われ、被写体Bの3Dモデルには、エフェクト処理が行われていないが、エフェクト処理は、被写体Aの3Dモデル及び被写体Bの3Dモデルの両方に行うことが可能である。

図１７は、エフェクトモード1のエフェクト処理の他の例を示す図である。

図１７は、円形状に移動する被写体の3Dモデルが映るストロボ画像の例を示している。図１７では、ストロボ画像に映る3Dモデルに、エフェクトモード1のエフェクト処理が行われ、基準3Dモデルより過去の3Dモデルが、徐々に透明になっている。

ここで、被写体が、円形状に、同じような軌跡を周回する場合、その被写体の3Dモデルが映るストロボ画像においては、例えば、１周目の3Dモデルと、２周目の3Dモデルとが映ることがある。エフェクト処理を行わない場合、ストロボ画像に映る１周目の3Dモデルと、２周目の3Dモデルとは、区別することが困難であり、ストロボ画像は、見にくい画像となる。

エフェクトモード1のエフェクト処理を行う場合には、例えば、最新の時刻の3Dモデルが基準3Dモデルであれば、ストロボ画像に映る3Dモデルは、基準3Dモデルから離れるほど透明になる。したがって、ユーザが１周目の3Dモデルと２周目の3Dモデルとを、容易に区別することができるような、見やすいストロボ画像を提供することができる。

また、エフェクトモード1のエフェクト処理によれば、同じような軌跡を周回する被写体の3Dモデルが映るストロボ画像において、最新の周回の3Dモデルが、過去の周回の3Dモデルに入り込む（ジャックインする）ように、被写体（の3Dモデル）が表現される。したがって、ユーザが、最新の周回時の被写体と過去の周回時の被写体とを、容易に比較することができるFVV(Free View video)を提供することができる。

なお、被写体が、同じような軌跡を周回する場合としては、例えば、被写体としての陸上選手がトラックを周回する場合や、被写体としての自動車やバイクがサーキットを周回する場合、被写体としての体操選手が鉄棒を中心に回転する場合等がある。

ここで、仮想視点は、任意の位置に設定することができるので、被写体を俯瞰するような位置の他、被写体の位置に設定することができる。仮想視点を、被写体を俯瞰するような位置に設定した場合、ユーザは、いわば第三者の立場で、被写体（の3Dモデル）を視聴することができる。仮想視点を、被写体の位置（一人称視点）に設定した場合、ユーザは、被写体の立場で、エフェクト処理により透明になった過去の被写体（の3Dモデル）を、その被写体を追いかけるような形で視聴することができる。

図１８は、エフェクトモード2のエフェクト処理の例を示す図である。

図１８は、直線状に移動する被写体の3Dモデルが映るストロボ画像の例を示している。図１８では、ストロボ画像には、５フレームの生成フレームの3Dモデルが映り、最新の時刻の3Dモデルが基準3Dモデルになっている。そして、ストロボ画像に映る3Dモデルに、エフェクトモード2のエフェクト処理が行われ、基準3Dモデルより過去の3Dモデルが、徐々に（ふわっと）消滅している。

したがって、エフェクトモード2のエフェクト処理が行われたストロボ画像によれば、ユーザは、時間経過を直感的に認識することができる。さらに、ストロボ画像のデータ量を削減することができる。また、時間的に先行する3Dモデルが、時間的に後行する3Dモデルの妨げになることを抑制し、見やすいストロボ画像を提供することができる。

なお、3Dモデルがポリゴンで構成される場合、3Dモデルを徐々に消滅させるエフェクトモード2のエフェクト処理は、例えば、基準3Dモデルから離れた3Dモデルほど、ポリゴン数を少なくすることにより行うことができる。また、3Dモデルを徐々に消滅させるエフェクトモード2のエフェクト処理は、例えば、基準3Dモデルから離れた3Dモデルほど、ポリゴン数を少なくし、元のポリゴン数から所定の割合のポリゴン数になった3Dモデルについては、ポイントクラウドに変更し、基準3Dモデルから離れた3Dモデルほど、ポイント数（ポイントクラウドのポイントの数）を少なくすることにより行うことができる。さらに、3Dモデルを徐々に消滅させるエフェクトモード2のエフェクト処理は、例えば、3Dモデルを、ポイントクラウドに変更し、基準3Dモデルから離れた3Dモデルほど、ポイント数を少なくすることにより行うことができる。

3Dモデルがポイントクラウドで構成される場合、3Dモデルを徐々に消滅させるエフェクトモード2のエフェクト処理は、基準3Dモデルから離れた3Dモデルほど、ポイント数を少なくすることにより行うことができる。

以上のようなエフェクトモード2のエフェクト処理によれば、基準3Dモデルから離れた3Dモデルは、霧のように、疎らな粒子（パーティクル）の集まりとして表現される。

図１９は、エフェクトモード3のエフェクト処理の例を示す図である。

図１９は、直線状に移動する被写体の3Dモデルが映るストロボ画像の例を示している。図１９では、ストロボ画像には、５フレームの生成フレームの3Dモデルが映り、最新の時刻の3Dモデルが基準3Dモデルになっている。そして、ストロボ画像に映る3Dモデルに、エフェクトモード3のエフェクト処理が行われ、基準3Dモデルより過去の3Dモデルのテクスチャ数が徐々に減っている。

したがって、エフェクトモード3のエフェクト処理が行われたストロボ画像によれば、3Dモデルのテクスチャの質は低下するが、ストロボ画像のデータ量、及び、ストロボ画像を表示するのに要する処理量を削減することができる。

なお、エフェクトモード3のエフェクト処理において、基準3Dモデルから離れた3Dモデルほど、テクスチャ数を減らす場合、テクスチャ数を減らす割合としては、例えば、100%を、ストロボ画像に映る3Dモデルの数で除算した値を採用することができる。この場合、５フレームの生成フレームの3Dモデルが映るストロボ画像については、テクスチャ数を減らす割合は、20%=100/5になる。したがって、ストロボ画像に映る基準3Dモデルが、例えば、１０視点の視点画像でテクスチャマッピングされる場合、基準3Dモデルの過去方向の１番目の3Dモデルは、基準3Dモデルのテクスチャマッピングについての１０視点から20%だけ減った８視点の視点画像でテクスチャマッピングされる。基準3Dモデルの過去方向の２番目の3Dモデルは、過去方向の１番目の3Dモデルのテクスチャマッピングについての８視点から20%だけ減った６視点の視点画像でテクスチャマッピングされる。以下、同様に、基準3Dモデルの過去方向の３番目の3Dモデルは、過去方向の２番目の3Dモデルのテクスチャマッピングについての６視点から20%だけ減った４視点の視点画像でテクスチャマッピングされ、基準3Dモデルの過去方向の４番目の3Dモデルは、過去方向の３番目の3Dモデルのテクスチャマッピングについての４視点から20%だけ減った２視点の視点画像でテクスチャマッピングされる。

図２０は、エフェクトモード4のエフェクト処理の例を示す図である。

図２０は、直線状に移動する被写体の3Dモデルが映るストロボ画像の例を示している。図２０では、ストロボ画像には、５フレームの生成フレームの3Dモデルが映り、最新の時刻の3Dモデルが基準3Dモデルになっている。そして、ストロボ画像に映る3Dモデルに、エフェクトモード4のエフェクト処理が行われ、基準3Dモデルより過去の3Dモデルのうちの、例えば、基準3Dモデルから４番目の3Dモデルを対象モデルとして、対象モデルが表示されてから一定時間経過後に消去されている。

したがって、エフェクトモード4のエフェクト処理が行われたストロボ画像によれば、ストロボ画像のデータ量、及び、ストロボ画像を表示するのに要する処理量を削減することができる。

なお、エフェクトモード4のエフェクト処理において、対象モデルを表示してから消去するまでの一定時間は、例えば、エフェクトモード4に付随するパラメータを定義し、そのパラメータによって指定することができる。

また、エフェクトモード4のエフェクト処理では、対象モデルを、一定時間経過後に消去する他、ストロボ画像に映る3Dモデルが一定数になった場合に、対象モデルを消去することができる。対象モデルを消去するときの3Dモデルの一定数は、例えば、上述の一定時間と同様に、エフェクトモード4に付随するパラメータによって指定することができる。

図２１は、エフェクトモード5のエフェクト処理の例を示す図である。

図２１は、直線状に移動する被写体の3Dモデルが映るストロボ画像の例を示している。図２１では、ストロボ画像には、５フレームの生成フレームの3Dモデルが映り、最新の時刻の3Dモデルが基準3Dモデルになっている。そして、ストロボ画像に映る3Dモデルに、エフェクトモード5のエフェクト処理が行われ、基準3Dモデルより過去の3Dモデルの輝度や彩度が徐々に小さくなっている。

したがって、エフェクトモード5のエフェクト処理が行われたストロボ画像によれば、ストロボ画像のデータ量、及び、ストロボ画像を表示するのに要する処理量を削減することができる。

なお、エフェクトモード5のエフェクト処理において、基準3Dモデルから離れた3Dモデルほど、輝度や彩度を小さくする場合、輝度や彩度を小さくする割合としては、例えば、エフェクトモード3の場合と同様の割合を採用することができる。すなわち、輝度や彩度を小さくする割合としては、100%を、ストロボ画像に映る3Dモデルの数で除算した値を採用することができる。この場合、５フレームの生成フレームの3Dモデルが映るストロボ画像については、輝度や彩度を小さくする割合は、20%=100/5になり、基準3Dモデルより過去の3Dモデルの輝度や彩度は、基準3Dモデルから１モデル離れるごとに、20%ずつ小さくされる。

また、3Dモデルの輝度や彩度は、基準3Dモデルから１モデル離れるごとに小さくする他、基準3Dモデルから一定時間だけ離れるごとに小さくすることができる。

図２２は、エフェクトモード6のエフェクト処理の例を示す図である。

図２２は、直線状に移動する被写体の3Dモデルが映るストロボ画像の例を示している。図２２では、ストロボ画像には、５フレームの生成フレームの3Dモデルが映り、最新の時刻の3Dモデルの１モデル前の3Dモデルが基準3Dモデルになっている。そして、ストロボ画像に映る3Dモデルに、エフェクトモード6のエフェクト処理が行われ、ストロボ画像に映る3Dモデルが、基準3Dモデルを含む３モデル、すなわち、基準3Dモデルと、基準3Dモデルの過去方向に隣接する２個の3Dモデルとに制限されている。

したがって、エフェクトモード6のエフェクト処理が行われたストロボ画像によれば、ストロボ画像のデータ量を削減することができる。また、例えば、時間的に先行する3Dモデルが、時間的に後行する3Dモデルの妨げになることを抑制し、見やすいストロボ画像を提供することができる。

図２３は、エフェクトモード7ないし9のエフェクト処理の例を示す図である。

図２３は、直線状に移動する被写体の3Dモデルが映るストロボ画像の例を示している。図２３では、ストロボ画像には、５フレームの生成フレームの3Dモデルが映り、最新の時刻の3Dモデルが基準3Dモデルになっている。そして、ストロボ画像に映る3Dモデルに、エフェクトモード7ないし9のいずれかのエフェクト処理が行われている。

すなわち、図２３のＡは、ストロボ画像に映る3Dモデルに、エフェクトモード7のエフェクト処理が行われ、ポリゴンで構成される3Dモデルのメッシュ数（ポリゴン数）が減っている様子を示している。

図２３のＢは、ストロボ画像に映る3Dモデルに、エフェクトモード8のエフェクト処理が行われ、ポリゴンで構成される3Dモデルがワイヤーフレームに変更されている様子を示している。

なお、エフェクトモード9のエフェクト処理では、ストロボ画像に映るVDモデルである3Dモデルが、ポイントクラウド等のVIモデルに変更されるが、その図示は省略する。

エフェクトモード7ないし9のエフェクト処理が行われたストロボ画像によれば、ストロボ画像のデータ量を削減することができる。また、例えば、時間的に先行する3Dモデルが、時間的に後行する3Dモデルの妨げになることを抑制し、見やすいストロボ画像を提供することができる。

なお、データ量をより削減することが要求される場合には、例えば、エフェクトモード9のエフェクト処理では、3Dモデルを、ポイントクラウドに変更した後、形状の質は低下するが、ポイントクラウドのポイント数を削減することや、ポイントが有する色の情報を削除することができる。ポイントクラウド以外のVIモデルについても、同様である。

図２４は、エフェクトモード10のエフェクト処理の例を示す図である。

図２４は、直線状に移動する被写体の3Dモデルが映るストロボ画像の例を示している。図２４では、ストロボ画像には、５フレームの生成フレームの3Dモデルが映り、最新の時刻の3Dモデルが基準3Dモデルになっている。そして、ストロボ画像に映る3Dモデルに、エフェクトモード10のエフェクト処理が行われ、基準3Dモデルより過去の3Dモデルのうちの、基準3Dモデルから３番目と４番目との3Dモデルが消去され、3Dモデルがあった形跡としての影が残されている。

したがって、エフェクトモード10のエフェクト処理が行われたストロボ画像によれば、ユーザは、時間経過を直感的に認識することができる。さらに、ストロボ画像のデータ量を削減することができる。また、時間的に先行する（過去の）3Dモデルが、時間的に後行する（未来の）3Dモデルの妨げ（邪魔）になることを抑制し、見やすいストロボ画像を提供することができる。

なお、3Dモデルの形跡としては、影の他、例えば、3Dモデルがあった位置を表す点や、3Dモデルの動きの軌跡を表す線等を採用することができる。

また、エフェクトモード10のエフェクト処理において、3Dモデルの形跡は、３次元空間における3Dモデルの位置を記憶しておき、その位置に応じて、影等を描画することにより残すことができる。

＜伝送システム＞

図２５は、図１の画像処理システムを適用した伝送システムの構成例を示すブロック図である。

図２５において、伝送システムは、送信装置１０１と受信装置１０２とを有する。伝送システムでは、自由視点データが、送信装置１０１から受信装置１０２に送信（伝送）される。そして、受信装置１０２において、送信装置１０１からの自由視点データを用いて、ストロボ画像が生成されて表示される。

送信装置１０１は、撮影部１１１、自由視点データ生成部１１２、画像処理部１１３、符号化部１１４、及び、送信部１１５を有する。

撮影部１１１は、図１の撮影部１１と同様に構成され、複数の視点から被写体を撮影し、複数の視点の視点画像を、自由視点データ生成部１１２に供給する。

自由視点データ生成部１１２は、図１の自由視点データ生成部１２と同様に、例えば、撮影部１１１からの複数の視点の視点画像を用いて、自由視点データを生成し、画像処理部１１３に供給する。

画像処理部１１３は、ストロボ画像生成部１２１及びエフェクト処理部１２２を有し、自由視点データ生成部１１２からの自由視点データを用い、必要に応じて、撮影部１１１で撮影された視点画像の複数の時刻（フレーム）に映る被写体の3Dモデルが映るストロボ画像(3Dストロボ画像）を生成し、そのストロボ画像にエフェクト処理を行う。

ストロボ画像生成部１２１は、図１のストロボ画像生成部１３と同様に、自由視点データ生成部１２からの自由視点データを用い、複数の時刻の3Dモデルが映るストロボ画像を生成し、そのストロボ画像の自由視点データを、エフェクト処理部１２２に供給する。

エフェクト処理部１２２は、図１のエフェクト処理部１４と同様に、ストロボ画像生成部１２１から自由視点データが供給されるストロボ画像に映る3Dモデルにエフェクト処理を行い、そのエフェクト処理後のストロボ画像の自由視点データを、符号化部１１４に供給する。

なお、画像処理部１１３では、例えば、ユーザの操作等に応じて、エフェクト処理部１２２でのエフェクト処理を行わずに、ストロボ画像生成部１２１からの自由視点データを、符号化部１１４に供給することができる。さらに、画像処理部１１３では、例えば、ユーザの操作等に応じて、ストロボ画像生成部１２１でのストロボ画像の生成、及び、エフェクト処理部１２２でのエフェクト処理を行わずに、自由視点データ生成部１１２からの自由視点データを、符号化部１１４に供給することができる。また、画像処理部１１３では、ストロボ画像の生成と、エフェクト処理とを並列的に行うこと、すなわち、自由視点データから、3Dモデルにエフェクト処理を行ったエフェクト処理後の(3D)ストロボ画像を生成することができる。

符号化部１１４は、画像処理部１１３（のエフェクト処理部１２２）から供給される自由視点データを所定の符号化方式で符号化し、符号化により得られる符号化データを、送信部１１５に供給する。

送信部１１５は、有線通信又は無線通信により、符号化部１１４からの符号化データを送信する。

受信装置１０２は、受信部１３１、復号部１３２、自由視点画像生成部１３３、及び、表示部１３４を有する。

受信部１３１は、送信装置１０１（の送信部１１５）から送信されてくる符号化データを受信し、復号部１３２に供給する。

復号部１３２は、受信部１３１からの符号化データを、符号化部１１４の符号化方式に従って、自由視点データに復号し、自由視点画像生成部１３３に供給する。

自由視点画像生成部１３３は、図１の自由視点画像生成部１５と同様に、復号部１３２からの自由視点データを用いて、例えば、3Dモデルにエフェクト処理が行われたストロボ画像に映る３次元空間を受信装置１０２のユーザの操作等に応じて設定された仮想視点から見た2D画像等の、撮影部１１１で撮影された３次元空間を仮想視点から見た2D画像を、自由視点画像として生成し、表示部１３４に供給する。

表示部１３４は、図１の表示部１６と同様に、2Dのヘッドマウントディスプレイや、2Dのモニタ、3Dのヘッドマウントディスプレイ、3Dのモニタ等で構成され、自由視点画像生成部１３３からの自由視点画像を表示する。

図２６は、図２５の送信装置１０１の処理の例を説明するフローチャートである。

ステップＳ１１１において、送信装置１０１の撮影部１１１は、複数の視点から被写体を撮影し、その撮影により得られる複数の視点の視点画像を、自由視点データ生成部１１２に供給して、処理は、ステップＳ１１２に進む。

ステップＳ１１２では、自由視点データ生成部１１２は、例えば、撮影部１１１からの複数の視点の視点画像を用いて、自由視点データを生成する。

例えば、自由視点データ生成部１１２は、撮影部１１１からの複数の視点の視点画像を用いて、Visual Hull等により、視点画像に映る被写体の3Dモデルを生成することにより、その3Dモデル（や背景画像等を含む3Dデータ）を、自由視点データとして生成することができる。3Dモデルは、例えば、3D形状モデルと、テクスチャとなる複数の視点の視点画像とを有するVDモデルであっても良いし、例えば、色付きのポイントクラウドや、3D形状モデルと、3D形状モデルの色の情報としてのUVマップとのセット等のVIモデルであっても良い。

また、例えば、自由視点データ生成部１１２は、複数の視点の視点画像を用いて生成した、視点画像に映る被写体の3Dモデルを、複数の視点（視点画像の視点と一致する視点でも良いし、異なる視点でも良い）から見た2D画像及びデプス画像に変換することにより、その複数の視点の2D画像及びデプス画像を、自由視点データとして生成することができる。なお、3Dモデルを、複数の視点の2D画像及びデプス画像に変換する処理は、自由視点データ生成部１１２で行う他、例えば、符号化部１１４で、自由視点データを符号化する前に行うことができる。

自由視点データ生成部１１２は、自由視点データを、画像処理部１１３のストロボ画像生成部１２１に供給し、処理は、ステップＳ１１２からステップＳ１１３に進む。

ステップＳ１１３では、ストロボ画像生成部１２１は、ストロボ画像を生成するかどうかを判定する。

ここで、ステップＳ１１３での、ストロボ画像を生成するかどうかの判定は、例えば、図２のステップＳ１４と同様に、被写体の動きに応じて行うことができる。また、ステップＳ１１３での、ストロボ画像を生成するかどうかの判定は、例えば、送信装置１０１のユーザの操作に応じて行うことができる。

ステップＳ１１３において、ストロボ画像を生成しないと判定された場合、ストロボ画像生成部１２１及びエフェクト処理部１２２は、処理を行わずに、自由視点データを、符号化部１１４に供給する。そして、処理は、ステップＳ１１３から、ステップＳ１１４ないしＳ１１７をスキップして、ステップＳ１１８に進む。

また、ステップＳ１１３において、ストロボ画像を生成すると判定された場合、処理は、ステップＳ１１４に進む。

ステップＳ１１４では、ストロボ画像生成部１２１は、自由視点データ生成部１１２からの自由視点データを用いて、ストロボ画像を生成する。

すなわち、ストロボ画像生成部１２１は、自由視点データ生成部１１２からの自由視点データのフレームの中から、複数の生成フレームを選択する。さらに、ストロボ画像生成部１２１は、複数の生成フレームに映る被写体の3Dモデル（複数の時刻の3Dモデル）が映るストロボ画像を生成する。

ストロボ画像生成部１２１は、ストロボ画像の自由視点データを、エフェクト処理部１２２に供給し、処理は、ステップＳ１１４からステップＳ１１５に進む。

ステップＳ１１５では、エフェクト処理部１２２は、ストロボ画像生成部１２１から自由視点データが供給されるストロボ画像の3Dモデルに、エフェクト処理を行うかどうかを判定する。ステップＳ１１５での、ストロボ画像を生成するかどうかの判定は、例えば、送信装置１０１のユーザの操作等に応じて行うことができる。

ステップＳ１１５において、エフェクト処理を行わないと判定された場合、エフェクト処理部１２２は、エフェクト処理を行わずに、ストロボ画像生成部１２１からのストロボ画像の自由視点データを、符号化部１１４に供給する。そして、処理は、ステップＳ１１５から、ステップＳ１１６及びＳ１１７をスキップして、ステップＳ１１８に進む。

また、ステップＳ１１５において、エフェクト処理を行うと判定された場合、処理は、ステップＳ１１６に進む。

ステップＳ１１６では、エフェクト処理部１２２は、例えば、送信装置１０１のユーザの操作等に応じてエフェクトフラグ（図１４）、すなわち、エフェクトモード、エフェクト方向、及び、エフェクト距離を設定し、処理は、ステップＳ１１７に進む。

ステップＳ１１７では、エフェクト処理部１２２は、エフェクトフラグに従い、ストロボ画像生成部１２１から自由視点データが供給されたストロボ画像に映る複数の時刻（生成フレーム）の3Dモデルにエフェクト処理を行う。

例えば、エフェクトモードがエフェクトモード1に、エフェクト方向がpastに、エフェクト距離が時間time=10に、それぞれ設定されている場合、エフェクト処理部１２２は、ストロボ画像において、基準3Dモデルから過去方向に10秒以上離れた3Dモデルを透明にするエフェクト処理を行う。

そして、エフェクト処理部１２２は、エフェクト処理後のストロボ画像の自由視点データを、符号化部１１４に供給して、処理は、ステップＳ１１７からステップＳ１１８に進む。

ステップＳ１１８では、符号化部１１４は、エフェクト処理部１２２からの自由視点データを符号化し、その符号化により得られる符号化データを、送信部１１５に供給して、処理は、ステップＳ１１９に進む。

ステップＳ１１９では、送信部１１５は、符号化部１１４からの符号化データを送信し、処理は終了する。

以上のように、送信装置１０１では、送信装置１０１のユーザの操作等に応じて設定されたエフェクトフラグに従って、エフェクト処理が行われる。したがって、送信装置１０１のユーザは、エフェクトフラグの設定によって、ストロボ画像に映る被写体の3Dモデルに、所望のエフェクトをかけることができる。

図２７は、図２５の受信装置１０２の処理の例を説明するフローチャートである。

ステップＳ１３１において、受信装置１０２の受信部１３１は、送信装置１０１の送信部１１５から送信されてくる符号化データを受信し、復号部１３２に供給して、処理は、ステップＳ１３２に進む。

ステップＳ１３２では、復号部１３２は、受信部１３１からの符号化データを復号し、その復号により得られる自由視点データを、自由視点画像生成部１３３に供給して、処理は、ステップＳ１３３に進む。ここで、復号部１３２は、復号により得られる自由視点データが、複数の視点の2D画像及びデプス画像である場合、その複数の視点の2D画像及びデプス画像を、3Dモデルに変換し、その3Dモデル（を含む3Dデータ）を、自由視点データとして、自由視点画像生成部１３３に供給することができる。

ステップＳ１３３では、自由視点画像生成部１３３は、復号部１３２からの自由視点データを用いて、送信装置１０１の撮影部１１１で撮影された３次元空間を受信装置１０２のユーザの操作等に応じて設定された仮想視点から見た2D画像を、自由視点画像として生成する。すなわち、自由視点画像生成部１３３は、例えば、3Dモデルにエフェクト処理が行われたストロボ画像に映る３次元空間を仮想視点から見た2D画像を、自由視点画像として生成する。そして、自由視点画像生成部１３３は、自由視点画像（のデータ）を、表示部１３４に供給し、処理は、ステップＳ１３３からステップＳ１３４に進む。

ステップＳ１３４では、表示部１３４は、自由視点画像生成部１３３からの自由視点画像を表示し、処理は終了する。

以上のように、受信装置１０２では、送信装置１０１からの符号化データを復号することにより得られる自由視点データを用いて生成された自由視点画像が表示される。したがって、送信装置１０１において、ストロボ画像が生成され、そのストロボ画像に映る被写体にエフェクト処理が行われている場合には、受信装置１０２のユーザは、エフェクトがかけられた3Dモデルが映るストロボ画像（から生成された自由視点画像）を視聴することができる。

図２８は、図１の画像処理システムを適用した伝送システムの他の構成例を示すブロック図である。

なお、図中、図２５の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

図２８において、伝送システムは、送信装置１０１と受信装置１０２とを有する。送信装置１０１は、撮影部１１１、自由視点データ生成部１１２、符号化部１１４、及び、送信部１１５を有する。受信装置１０２は、受信部１３１、復号部１３２、自由視点画像生成部１３３、表示部１３４、及び、画像処理部１４１を有する。

したがって、図２８の伝送システムは、送信装置１０１と受信装置１０２とを有する点、送信装置１０１が、撮影部１１１、自由視点データ生成部１１２、符号化部１１４、及び、送信部１１５を有する点、並びに、受信装置１０２が、受信部１３１、復号部１３２、自由視点画像生成部１３３、及び、表示部１３４を有する点で、図２５の場合と共通する。

但し、図２８の伝送システムは、送信装置１０１が画像処理部１１３を有していない点、及び、受信装置１０２が画像処理部１４１を新たに有する点で、図２５の場合と相違する。

画像処理部１４１は、ストロボ画像生成部１５１及びエフェクト処理部１５２を有する。画像処理部１４１には、復号部１３２から自由視点データが供給される。画像処理部１４１は、復号部１３２からの自由視点データを用い、必要に応じて、撮影部１１１で撮影された視点画像の複数の時刻（フレーム）に映る被写体の3Dモデルが映るストロボ画像を生成し、そのストロボ画像にエフェクト処理を行う。

すなわち、ストロボ画像生成部１５１は、図２５のストロボ画像生成部１２１と同様に、復号部１３２からの自由視点データを用い、複数の時刻の3Dモデルが映るストロボ画像を生成し、そのストロボ画像の自由視点データを、エフェクト処理部１５２に供給する。

エフェクト処理部１５２は、図２５のエフェクト処理部１２２と同様に、ストロボ画像生成部１５１から自由視点データが供給されるストロボ画像に映る3Dモデルにエフェクト処理を行い、そのエフェクト処理後のストロボ画像の自由視点データを、自由視点画像生成部１３３に供給する。

なお、画像処理部１４１では、例えば、ユーザの操作等に応じて、エフェクト処理部１５２でのエフェクト処理を行わずに、ストロボ画像生成部１５１からの自由視点データを、自由視点画像生成部１３３に供給することができる。さらに、画像処理部１４１では、例えば、ユーザの操作等に応じて、ストロボ画像生成部１５１でのストロボ画像の生成、及び、エフェクト処理部１５２でのエフェクト処理を行わずに、復号部１３２からの自由視点データを、自由視点画像生成部１３３に供給することができる。また、画像処理部１４１では、ストロボ画像の生成と、エフェクト処理とを並列的に行うこと、すなわち、自由視点データから、3Dモデルにエフェクト処理を行ったエフェクト処理後の(3D)ストロボ画像を生成することができる。

図２９は、図２８の送信装置１０１の処理の第１の例を説明するフローチャートである。

ステップＳ１５１及びＳ１５２において、図２６のステップＳ１１１及びＳ１１２とそれぞれ同様の処理が行われる。これにより、自由視点データ生成部１１２で生成された自由視点データが、符号化部１１４に供給され、処理は、ステップＳ１５２からステップＳ１５３に進む。

ステップＳ１５３では、符号化部１１４は、例えば、送信装置１０１のユーザの操作等に応じてエフェクトフラグ（図１４）、すなわち、エフェクトモード、エフェクト方向、及び、エフェクト距離を設定し、処理は、ステップＳ１５４に進む。

ステップＳ１５４では、符号化部１１４は、自由視点データ生成部１１２からの自由視点データを符号化し、エフェクトフラグを含む符号化データを生成する。そして、符号化部１１４は、符号化データを、送信部１１５に供給して、処理は、ステップＳ１５４からステップＳ１５５に進む。

ステップＳ１５５では、送信部１１５は、符号化部１１４からの符号化データを送信し、処理は終了する。

以上のように、送信装置１０１では、送信装置１０１のユーザの操作等に応じて設定されたエフェクトフラグを含む符号化データを生成して送信することができる。

図３０は、図２８の受信装置１０２の処理の第１の例を説明するフローチャートである。

ステップＳ１６１において、受信装置１０２の受信部１３１は、送信装置１０１の送信部１１５から送信されてくる符号化データを受信し、復号部１３２に供給して、処理は、ステップＳ１３２に進む。

ステップＳ１６２では、復号部１３２は、受信部１３１からの符号化データを復号し、その復号により得られる自由視点データ及びエフェクトフラグを、画像処理部１４１に供給して、処理は、ステップＳ１６３に進む。

ステップＳ１６３では、画像処理部１４１のストロボ画像生成部１５１は、ストロボ画像を生成するかどうかを判定する。

ここで、ステップＳ１６３での、ストロボ画像を生成するかどうかの判定は、例えば、受信装置１０２のユーザの操作に応じて行うことができる。

ステップＳ１６３において、ストロボ画像を生成しないと判定された場合、ストロボ画像生成部１５１及びエフェクト処理部１５２は、処理を行わずに、自由視点データを、自由視点画像生成部１３３に供給する。そして、処理は、ステップＳ１６３から、ステップＳ１６４ないしＳ１６６をスキップして、ステップＳ１６７に進む。

また、ステップＳ１６３において、ストロボ画像を生成すると判定された場合、処理は、ステップＳ１６４に進む。

ステップＳ１６４では、ストロボ画像生成部１５１は、復号部１３２から画像処理部１４１に供給される自由視点データを用いて、ストロボ画像を生成する。

すなわち、ストロボ画像生成部１５１は、復号部１３２からの自由視点データのフレームの中から、複数の生成フレームを選択する。さらに、ストロボ画像生成部１５１は、複数の生成フレームに映る被写体の3Dモデル（複数の時刻の3Dモデル）が映るストロボ画像を生成する。

ストロボ画像生成部１５１は、ストロボ画像の自由視点データを、エフェクト処理部１５２に供給し、処理は、ステップＳ１６４からステップＳ１６５に進む。

ステップＳ１６５では、エフェクト処理部１５２は、ストロボ画像生成部１５１から自由視点データが供給されるストロボ画像の3Dモデルに、エフェクト処理を行うかどうかを判定する。ステップＳ１６５での、ストロボ画像を生成するかどうかの判定は、例えば、受信装置１０２のユーザの操作等に応じて行うことができる。

ステップＳ１６５において、エフェクト処理を行わないと判定された場合、エフェクト処理部１５２は、エフェクト処理を行わずに、ストロボ画像生成部１５１からのストロボ画像の自由視点データを、自由視点画像生成部１３３に供給する。そして、処理は、ステップＳ１６５から、ステップＳ１６６をスキップして、ステップＳ１６７に進む。

また、ステップＳ１６５において、エフェクト処理を行うと判定された場合、処理は、ステップＳ１６６に進む。

ステップＳ１６６では、エフェクト処理部１５２は、復号部１３２から画像処理部１４１に供給されるエフェクトフラグに従い、ストロボ画像生成部１５１から自由視点データが供給されたストロボ画像に映る複数の時刻（生成フレーム）の3Dモデルにエフェクト処理を行う。

例えば、エフェクトモードがエフェクトモード1に、エフェクト方向がpastに、エフェクト距離が時間time=10に、それぞれ設定されている場合、エフェクト処理部１５２は、ストロボ画像において、基準3Dモデルから過去方向に10秒以上離れた3Dモデルを透明にするエフェクト処理を行う。

そして、エフェクト処理部１５２は、エフェクト処理後のストロボ画像の自由視点データを、自由視点画像生成部１３３に供給して、処理は、ステップＳ１６６からステップＳ１６７に進む。

ステップＳ１６７では、自由視点画像生成部１３３は、画像処理部１４１（のエフェクト処理部１５２）からの自由視点データを用いて、送信装置１０１の撮影部１１１で撮影された３次元空間を受信装置１０２のユーザの操作等に応じて設定された仮想視点から見た2D画像を、自由視点画像として生成する。すなわち、自由視点画像生成部１３３は、例えば、3Dモデルにエフェクト処理が行われたストロボ画像に映る３次元空間を仮想視点から見た2D画像を、自由視点画像として生成する。そして、自由視点画像生成部１３３は、自由視点画像（のデータ）を、表示部１３４に供給し、処理は、ステップＳ１６７からステップＳ１６８に進む。

ステップＳ１６８では、表示部１３４は、自由視点画像生成部１３３からの自由視点画像を表示し、処理は終了する。

以上の処理により、受信装置１０２では、送信装置１０１のユーザの操作に応じて設定されたエフェクトフラグに従ってエフェクト処理が行われた3Dモデルが映るストロボ画像を表示することができる。

図３１は、図２８の送信装置１０１の処理の第２の例を説明するフローチャートである。

ステップＳ１８１及びＳ１８２において、図２９のステップＳ１５１及びＳ１５２とそれぞれ同様の処理が行われる。これにより、自由視点データ生成部１１２で生成された自由視点データが、符号化部１１４に供給され、処理は、ステップＳ１８２からステップＳ１８３に進む。

ステップＳ１８３では、符号化部１１４は、自由視点データ生成部１１２からの自由視点データを符号化し、符号化データを生成する。そして、符号化部１１４は、符号化データを、送信部１１５に供給して、処理は、ステップＳ１８３からステップＳ１８４に進む。

ステップＳ１８４では、送信部１１５は、符号化部１１４からの符号化データを送信し、処理は終了する。

以上のように、図３１では、図２９の場合と異なり、送信装置１０１において、エフェクトフラグを含まない符号化データが生成されて送信される。

図３２は、図２８の受信装置１０２の処理の第２の例を説明するフローチャートである。

ステップＳ１９１において、受信装置１０２の受信部１３１は、送信装置１０１の送信部１１５から送信されてくる符号化データを受信し、復号部１３２に供給して、処理は、ステップＳ１３２に進む。

ステップＳ１９２では、復号部１３２は、受信部１３１からの符号化データを復号し、その復号により得られる自由視点データを、画像処理部１４１に供給して、処理は、ステップＳ１９３に進む。

ステップＳ１９３ないしＳ１９５では、図３０のステップＳ１６３ないしＳ１６５とそれぞれ同様の処理が行われる。

そして、ステップＳ１９５において、エフェクト処理を行わないと判定された場合、エフェクト処理部１５２は、エフェクト処理を行わずに、ストロボ画像生成部１５１からのストロボ画像の自由視点データを、自由視点画像生成部１３３に供給する。そして、処理は、ステップＳ１９５から、ステップＳ１９６及びＳ１９７をスキップして、ステップＳ１９８に進む。

また、ステップＳ１９５において、エフェクト処理を行うと判定された場合、処理は、ステップＳ１９６に進む。

ステップＳ１９６では、エフェクト処理部１５２は、例えば、受信装置１０２のユーザの操作等に応じてエフェクトフラグ（図１４）、すなわち、エフェクトモード、エフェクト方向、及び、エフェクト距離を設定し、処理は、ステップＳ１９７に進む。

ここで、受信装置１０２のユーザが、エフェクトフラグとしてのエフェクトモード、エフェクト方向、及び、エフェクト距離それぞれを個別に設定するように操作を行うことは、ユーザに煩わしさを感じさせることがある。そこで、エフェクト処理部１５２では、エフェクトフラグとしてのエフェクトモード、エフェクト方向、及び、エフェクト距離について、複数の組み合わせをエフェクト用のフィルタとして用意しておき、ステップＳ１９６では、受信装置１０２のユーザに、複数のエフェクト用のフィルタから、所望のフィルタを選択してもらい、その所望のフィルタを、エフェクトフラグとしてのエフェクトモード、エフェクト方向、及び、エフェクト距離として設定することができる。

ステップＳ１９７では、エフェクト処理部１５２は、受信装置１０２のユーザの操作に応じて設定されたエフェクトフラグに従い、ストロボ画像生成部１５１から自由視点データが供給されたストロボ画像に映る複数の時刻（生成フレーム）の3Dモデルにエフェクト処理を行う。

そして、エフェクト処理部１５２は、エフェクト処理後のストロボ画像の自由視点データを、自由視点画像生成部１３３に供給して、処理は、ステップＳ１９７からステップＳ１９８に進む。

ステップＳ１９８及びＳ１９９では、図３０のステップＳ１６７及びＳ１６８とそれぞれ同様の処理が行われ、処理は終了する。

以上の処理により、受信装置１０２では、受信装置１０２のユーザの操作に応じて設定されたエフェクトフラグに従ってエフェクト処理が行われた3Dモデルが映るストロボ画像を表示することができる。

＜本技術を適用した画像処理システム＞

図３３は、本技術を適用した画像処理システムの他の一実施の形態の構成例を示すブロック図である。

なお、図中、図１の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

図３３において、画像処理システムは、撮影部１１、自由視点データ生成部１２、エフェクト処理部１４、自由視点画像生成部１５、及び、表示部１６を有する。

したがって、図３３の画像処理システムは、撮影部１１、自由視点データ生成部１２、エフェクト処理部１４、自由視点画像生成部１５、及び、表示部１６を有する点で、図１の場合と共通する。但し、図３３の画像処理システムは、ストロボ画像生成部３３を有していない点で、図１の場合と相違する。

以上のように、図３３の画像処理システムは、ストロボ画像生成部３３を有しないので、エフェクト処理部１４には、自由視点データ生成部１２から3D画像の自由視点データが供給される。

そして、エフェクト処理部１４は、自由視点データ生成部１２から自由視点データが供給される3D画像に映る被写体の3Dモデルにエフェクト処理を行う。

例えば、エフェクト処理部１４は、自由視点データ生成部１２から自由視点データが供給される3D画像に複数の被写体が映る場合、その複数の被写体のうちの１以上の被写体の3Dモデルそれぞれにエフェクト処理を行うことができる。

したがって、エフェクト処理部１４では、例えば、自由視点データ生成部１２からエフェクト処理部１４に自由視点データが供給される3D画像が、サッカーの試合のコンテンツの画像である場合に、その3D画像に映る複数の被写体としての、例えば、複数のサッカー選手や、ボールとそのボールの近くにいる１人以上のサッカー選手等の3Dモデルにエフェクト処理を行うことができる。

以上のように、エフェクト処理部１４では、ストロボ画像以外の任意の3D画像に映る複数の被写体の3Dモデルのうちの１つ又は２つ以上の3Dモデル（3D画像に映る複数の被写体の3Dモデルの全部を含む）を対象に、エフェクト処理を行うことができる。

図３４は、図３３の画像処理システムが行う、自由視点画像を表示する自由視点画像表示処理の例を説明するフローチャートである。

自由視点画像表示処理では、ステップＳ２１１及びＳ２１２において、図２のステップＳ１１及びＳ１２とそれぞれ同様の処理が行われ、これにより、自由視点データ生成部１２では、3D画像のフレーム単位の自由視点データとしての、例えば、被写体の3Dモデル（及び背景画像を含む3Dデータ）が生成される。3D画像の（フレーム単位の）自由視点データは、自由視点データ生成部１２からエフェクト処理部１４に供給され、処理は、ステップＳ２１２からステップＳ２１３に進む。

ステップＳ２１３では、エフェクト処理部１４は、自由視点データ生成部１２から自由視点データが供給された3D画像に映る3Dモデルに、エフェクト処理を行うかどうかを判定する。ステップＳ２１７での、ストロボ画像を生成するかどうかの判定は、例えば、ユーザの操作に応じて行うことができる。

ステップＳ２１３において、エフェクト処理を行わないと判定された場合、エフェクト処理部１４は、エフェクト処理を行わずに、自由視点データ生成部１２からの3D画像の自由視点データを、自由視点画像生成部１５に供給する。そして、処理は、ステップＳ２１３から、ステップＳ２１４をスキップして、ステップＳ２１５に進む。

この場合、ステップＳ２１５では、自由視点画像生成部１５は、エフェクト処理部１４からの3D画像（の自由視点データ）を仮想視点から見た2D画像を、自由視点画像として生成する。そして、自由視点画像生成部１５は、自由視点画像を、表示部１６に供給して、処理は、ステップＳ２１５からステップＳ２１６に進む。

ステップＳ２１６では、表示部１６は、自由視点画像生成部１５からの自由視点画像が表示される。この場合、表示部１６では、仮想視点から見た被写体の3Dモデルが映る2D画像（3D画像を仮想視点から見た2D画像）が表示される。

一方、ステップＳ２１３において、エフェクト処理を行うと判定された場合、処理は、ステップＳ２１４に進む。

ステップＳ２１４では、エフェクト処理部１４は、自由視点データ生成部１２から自由視点データが供給された3D画像に映る被写体の3Dモデルにエフェクト処理を行う。

ここで、エフェクト処理部１４は、3D画像に、１つの被写体が映る場合、その１つの被写体の3Dモデルにエフェクト処理を行う。また、エフェクト処理部１４は、3D画像に、複数の被写体が映る場合、その複数の被写体の3Dモデルから、１以上の被写体の3Dモデルを選択し、その１以上の被写体の3Dモデルそれぞれにエフェクト処理を行うことができる。エフェクト処理を行う3Dモデルは、例えば、ユーザの操作等に応じて選択することができる。

エフェクト処理部１４は、エフェクト処理後の3Dモデルが映る3D画像を、自由視点画像生成部１５に供給して、処理は、ステップＳ２１４からステップＳ２１５に進む。

この場合、ステップＳ２１５では、自由視点画像生成部１５は、エフェクト処理部１４からのエフェクト処理後の3Dモデルが映る3D画像を仮想視点から見た2D画像を、自由視点画像として生成する。そして、自由視点画像生成部１５は、自由視点画像を、表示部１６に供給して、処理は、ステップＳ２１５からステップＳ２１６に進む。

ステップＳ２１６では、表示部１６は、自由視点画像生成部１５からの自由視点画像が表示される。この場合、表示部１６では、仮想視点から見た１以上の被写体の3Dモデルにエフェクトがかかった2D画像（エフェクト処理が行われた2D画像）が表示される。

以上のように、ストロボ画像以外の3D画像に映る複数の被写体の3Dモデルのうちの１以上の3Dモデルにエフェクト処理を行うことによっても、見やすい画像を提供することができる。例えば、上述したように、3D画像が、サッカーの試合のコンテンツの画像である場合に、その3D画像に映る複数の被写体としての、例えば、ゴールに絡んだ複数のサッカー選手や、ボールとそのボールの近くにいる１人以上のサッカー選手、ボールとパスを出したサッカー選手とパスを受けたサッカー選手等の3Dモデルにエフェクトがかかった画像を提供することができる。
＜伝送システム＞

図３５は、図３３の画像処理システムを適用した伝送システムの構成例を示すブロック図である。

なお、図中、図２５の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

図３５において、伝送システムは、送信装置１０１と受信装置１０２とを有する。送信装置１０１は、撮影部１１１、自由視点データ生成部１１２、画像処理部１１３、符号化部１１４、送信部１１５、及び、自由視点画像生成部２１１を有する。画像処理部１１３は、エフェクト処理部１２２を有する。受信装置１０２は、受信部１３１、復号部１３２、及び、表示部１３４を有する。

したがって、図３５の伝送システムは、送信装置１０１と受信装置１０２とを有する点、送信装置１０１が、撮影部１１１、自由視点データ生成部１１２、画像処理部１１３、符号化部１１４、及び、送信部１１５を有する点、並びに、受信装置１０２が、受信部１３１、復号部１３２、及び、表示部１３４を有する点で、図２５の場合と共通する。

但し、図２８の伝送システムは、送信装置１０１の画像処理部１１３が、ストロボ画像生成部１２１を有していない点、送信装置１０１が、自由視点画像生成部２１１を新たに有する点、及び、受信装置１０２が、自由視点画像生成部１３３を有しない点で、図２５の場合と相違する。

送信装置１０１では、撮影部１１１、自由視点データ生成部１１２、画像処理部１１３のエフェクト処理部１２２、及び、自由視点画像生成部２１１が、図３３の撮影部１１、自由視点データ生成部１２、エフェクト処理部１４、及び、自由視点画像生成部１５とそれぞれ同様の処理を行う。

これにより、自習視点画像生成部２１１から符号化部１１４には、仮想視点から見た被写体の3Dモデルにエフェクトがかかった2D画像又はエフェクトがかかっていない2D画像が、自由視点画像として供給される。

符号化部１１４は、画像処理部１１３のエフェクト処理部１２２から供給される自由視点画像を所定の符号化方式で符号化し、符号化により得られる符号化データを、送信部１１５に供給する。送信部１１５は、有線通信又は無線通信により、符号化部１１４からの符号化データを送信する。

受信装置１０２（表示装置）では、受信部１３１が送信装置１０１（の送信部１１５）から送信されてくる符号化データを受信し、復号部１３２に供給する。

復号部１３２は、受信部１３１からの符号化データを自由視点画像に復号し、表示部１３４に供給する。表示部１３４は、復号部１３２からの自由視点画像を表示する。

受信装置１０２のユーザは、例えば、受信装置１０２を操作すること等により、仮想視点を指定することができる。受信装置１０２は、ユーザが指定した仮想視点を送信装置１０１に送信することができる。送信装置１０１では、自由視点画像生成部２１１が、受信装置１０２からの仮想視点に応じて、その仮想視点から見た2D画像としての自由視点画像を生成することができる。

＜エフェクト処理のバリエーション＞

エフェクト処理部１４（並びにエフェクト処理部１２２及び１５２）が行うエフェクト処理としては、図１４に示したエフェクトモード1ないし10のエフェクト処理以外の様々なエフェクト処理を採用することができる。

例えば、3Dモデルのサイズを変更する処理や、3Dモデルのテクスチャ（テクスチャマテリアル）を変更する処理、3Dモデルのテクスチャを削除する処理等を、エフェクト処理部１４が行うエフェクト処理として採用することができる。さらに、例えば、3Dモデルの形状（3D形状モデル）をぼかす処理や、3Dモデルの色を変更する処理等を、エフェクト処理部１４が行うエフェクト処理として採用することができる。これらのエフェクト処理についても、図１４に示したエフェクトモード1ないし10のエフェクト処理と同様に、エフェクト方向及びエフェクト距離並びに必要なパラメータを設定することができる。

図３６は、3Dモデルのサイズを変更するエフェクト処理を説明する図である。

3Dモデルのサイズを変更するエフェクト処理では、例えば、3Dモデルの重心等の所定の点を基準として、その3Dモデルのサイズを縮小又は拡大することができる。

ここで、サイズの変更前の3Dモデルが面に接する場合に、3Dモデルの重心を基準として、その3Dモデルのサイズを縮小又は拡大するだけでは、サイズの変更後の3Dモデルが、面から離れて空中に浮いたような状態になることや、面の中にめり込んだ状態になる。

すなわち、図３６は、例えば、サッカーのグランドを転がるサッカーボールの3Dモデルが映る(3D)ストロボ画像を示している。

エフェクト処理において、サッカーボールの3Dモデルの重心を基準として、3Dモデルのサイズを縮小するエフェクト処理を行った場合、図３６に示すように、サッカーボールの3Dモデルが、グランドから宙に浮かんだ状態となり、エフェクト処理後のストロボ画像が不自然な画像となる。

なお、エフェクト処理において、サッカーボールの3Dモデルの重心を基準として、3Dモデルのサイズを拡大するエフェクト処理を行った場合には、サッカーボールの3Dモデルが、グランドにめり込んだ状態となり、やはり、エフェクト処理後のストロボ画像が不自然な画像となる。

そこで、エフェクト処理部１４は、3Dモデルのサイズを変更するエフェクト処理を行う場合において、サイズの変更前の3Dモデルが面に接するときには、図３６に示すように、サイズの変更後の3Dモデルが面に接するように、サイズの変更後の3Dモデルを移動することができる。

これにより、エフェクト処理後のストロボ画像が不自然な画像となることを防止することができる。

（サイズの変更前の）3Dモデルが面に接する場合としては、上述のように、サッカーボールの3Dモデルがグランド等の地面に接する場合の他、3Dモデルが、床面やテーブルの天板に接する場合、壁や天井に接する場合等がある。

サイズの変更後の3Dモデルの移動は、サイズの変更前の3Dモデルが接する面に対して垂直方向に行われる。また、3Dモデルのサイズがs倍にされた場合、サイズの変更後の3Dモデルの重心と面との距離が、サイズの変更前のs倍になるように、サイズの変更後の3Dモデルが移動される。

＜本技術を適用したコンピュータの説明＞

次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

図３７は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。

プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク９０５やROM９０３に予め記録しておくことができる。

あるいはまた、プログラムは、ドライブ９０９によって駆動されるリムーバブル記録媒体９１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体９１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体９１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。

なお、プログラムは、上述したようなリムーバブル記録媒体９１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク９０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。

コンピュータは、CPU(Central Processing Unit)９０２を内蔵しており、CPU９０２には、バス９０１を介して、入出力インタフェース９１０が接続されている。

CPU９０２は、入出力インタフェース９１０を介して、ユーザによって、入力部９０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)９０３に格納されているプログラムを実行する。あるいは、CPU９０２は、ハードディスク９０５に格納されたプログラムを、RAM(Random Access Memory)９０４にロードして実行する。

これにより、CPU９０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU９０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース９１０を介して、出力部９０６から出力、あるいは、通信部９０８から送信、さらには、ハードディスク９０５に記録等させる。

なお、入力部９０７は、キーボードや、マウス、マイク等で構成される。また、出力部９０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

なお、本技術は、以下の構成をとることができる。

＜１＞
複数の視点から撮影された複数の視点画像から生成される複数の3Dモデルのうちの１つ以上の3Dモデルにエフェクト処理を行うエフェクト処理部と、
所定の視点から前記エフェクト処理後の前記複数の3Dモデルを見た2D画像を生成する生成部と
を備える画像処理装置。
＜２＞
前記エフェクト処理部は、前記複数の3Dモデルのうちの所定の3Dモデルを透明にする前記エフェクト処理を行う
＜１＞に記載の画像処理装置。
＜３＞
前記エフェクト処理部は、前記複数の視点画像から生成される複数の時刻の所定の被写体の3Dモデルに前記エフェクト処理を行う
＜１＞又は＜２＞に記載の画像処理装置。
＜４＞
前記エフェクト処理部は、前記複数の時刻の所定の被写体の3Dモデルのうちの１つの基準モデルからの3Dモデルの数、距離、又は、時間で指定される前記所定の被写体の3Dモデルに前記エフェクト処理を行う
＜３＞に記載の画像処理装置。
＜５＞
前記エフェクト処理部は、複数のエフェクト処理から、前記3Dモデルに行う前記エフェクト処理を設定する
＜１＞ないし＜４＞のいずれかに記載の画像処理装置。
＜６＞
前記2D画像を表示する表示部をさらに備える
＜１＞ないし＜５＞のいずれかに記載の画像処理装置。
＜７＞
前記3Dモデルは、View Independentである
＜１＞ないし＜６＞のいずれかに記載の画像処理装置。
＜８＞
前記エフェクト処理部は、
前記3Dモデルのサイズを変更する前記エフェクト処理を行い、
前記サイズの変更前の前記3Dモデルが面に接する場合、前記サイズの変更後の前記3Dモデルが前記面に接するように、前記3Dモデルを移動する
＜１＞に記載の画像処理装置。
＜９＞
複数の視点から撮影された複数の視点画像から生成される複数の3Dモデルのうちの１つ以上の3Dモデルにエフェクト処理を行うことと、
所定の視点から前記エフェクト処理後の前記複数の3Dモデルを見た2D画像を生成することと
を含む画像処理方法。
＜１０＞
複数の視点から撮影された複数の視点画像から生成される複数の3Dモデルのそれぞれにエフェクト処理を行うエフェクト処理部と、
所定の視点から前記エフェクト処理後の前記複数の3Dモデルを見た2D画像を生成する生成部と
して、コンピュータを機能させるためのプログラム。
＜１１＞
複数の視点から撮影された複数の視点画像から生成される複数の3Dモデルのうちの１つ以上の3Dモデルにエフェクト処理を行い、
所定の視点から前記エフェクト処理後の前記複数の3Dモデルを見た2D画像を生成する
ことにより得られる前記2D画像を受信する受信部と、
前記2D画像を表示する表示部と
を備える表示装置。

＜Ａ１＞
被写体が映る複数の視点の視点画像から生成される複数の時刻の被写体の3Dモデルが映るストロボ画像を生成するストロボ画像生成部と、
前記ストロボ画像に映る前記3Dモデルにエフェクト処理を行うエフェクト処理部と
を備える画像処理装置。
＜Ａ２＞
前記ストロボ画像生成部は、手前側の3Dモデルが優先的に映るように、前記ストロボ画像を生成する
＜Ａ１＞に記載の画像処理装置。
＜Ａ３＞
前記エフェクト処理部は、前記3Dモデルを透明にする前記エフェクト処理を行う
＜Ａ１＞又は＜Ａ２＞に記載の画像処理装置。
＜Ａ４＞
前記エフェクト処理部は、前記3Dモデルを徐々に消滅させる前記エフェクト処理を行う
＜Ａ１＞又は＜Ａ２＞に記載の画像処理装置。
＜Ａ５＞
前記エフェクト処理部は、前記3Dモデルのテクスチャ数を減らす前記エフェクト処理を行う
＜Ａ１＞又は＜Ａ２＞に記載の画像処理装置。
＜Ａ６＞
前記エフェクト処理部は、前記3Dモデルを消去する前記エフェクト処理を行う
＜Ａ１＞又は＜Ａ２＞に記載の画像処理装置。
＜Ａ７＞
前記エフェクト処理部は、前記3Dモデルの輝度又は彩度を小さくする前記エフェクト処理を行う
＜Ａ１＞又は＜Ａ２＞に記載の画像処理装置。
＜Ａ８＞
前記エフェクト処理部は、前記ストロボ画像に映る3Dモデルの数を制限する前記エフェクト処理を行う
＜Ａ１＞又は＜Ａ２＞に記載の画像処理装置。
＜Ａ９＞
前記エフェクト処理部は、前記3Dモデルのメッシュ数を減らす前記エフェクト処理を行う
＜Ａ１＞又は＜Ａ２＞に記載の画像処理装置。
＜Ａ１０＞
前記エフェクト処理部は、前記3Dモデルの表現形式を変更する前記エフェクト処理を行う
＜Ａ１＞又は＜Ａ２＞に記載の画像処理装置。
＜Ａ１１＞
前記エフェクト処理部は、ポリゴンで構成される前記3Dモデルを、ワイヤフレームに変更する前記エフェクト処理を行う
＜Ａ１０＞に記載の画像処理装置。
＜Ａ１２＞
前記エフェクト処理部は、前記3Dモデルの表現形式をView DependentからView Independentに変更する前記エフェクト処理を行う
＜Ａ１０＞に記載の画像処理装置。
＜Ａ１３＞
前記エフェクト処理部は、前記3Dモデルを消去し、前記3Dモデルがあった形跡を残す前記エフェクト処理を行う
＜Ａ１＞又は＜Ａ２＞に記載の画像処理装置。
＜Ａ１４＞
前記エフェクト処理部は、前記ストロボ画像に映る前記3Dモデルのうちの、最新の仮想視点が設定された時刻の基準3Dモデルより過去又は未来の前記3Dモデルに前記エフェクト処理を行う
＜Ａ１＞ないし＜Ａ１３＞のいずれかに記載の画像処理装置。
＜Ａ１５＞
前記エフェクト処理部は、前記ストロボ画像に映る前記3Dモデルのうちの、最新の仮想視点が設定された時刻の基準3Dモデルから所定のモデル数以上離れた前記3Dモデルに前記エフェクト処理を行う
＜Ａ１＞ないし＜Ａ１４＞のいずれかに記載の画像処理装置。
＜Ａ１６＞
前記エフェクト処理部は、前記ストロボ画像に映る前記3Dモデルのうちの、最新の仮想視点が設定された時刻の基準3Dモデルから所定の距離以上離れた前記3Dモデルに前記エフェクト処理を行う
＜Ａ１＞ないし＜Ａ１４＞のいずれかに記載の画像処理装置。
＜Ａ１７＞
前記エフェクト処理部は、前記ストロボ画像に映る前記3Dモデルのうちの、最新の仮想視点が設定された時刻の基準3Dモデルから所定の時間以上離れた時刻の前記3Dモデルに前記エフェクト処理を行う
＜Ａ１＞ないし＜Ａ１４＞のいずれかに記載の画像処理装置。
＜Ａ１８＞
被写体が映る複数の視点の視点画像から生成される複数の時刻の被写体の3Dモデルが映るストロボ画像を生成することと、
前記ストロボ画像に映る前記3Dモデルにエフェクト処理を行うことと
を含む画像処理方法。
＜Ａ１９＞
被写体が映る複数の視点の視点画像から生成される複数の時刻の被写体の3Dモデルが映るストロボ画像を生成するストロボ画像生成部と、
前記ストロボ画像に映る前記3Dモデルにエフェクト処理を行うエフェクト処理部と
して、コンピュータを機能させるためのプログラム。
＜Ａ２０＞
被写体が映る複数の視点の視点画像から生成される複数の時刻の被写体の3Dモデルが映るストロボ画像の前記3Dモデルに行うエフェクト処理に関するエフェクトフラグを送信する送信部
を有する送信装置と、
前記エフェクトフラグを受信する受信部と、
前記ストロボ画像を生成するストロボ画像生成部と、
前記エフェクトフラグに従って、前記ストロボ画像に映る前記3Dモデルに前記エフェクト処理を行うエフェクト処理部と
を有する受信装置と
を備える伝送システム。

＜Ｂ１＞
被写体が映る複数の視点の視点画像から生成される複数の時刻の被写体の3Dモデルが映るストロボ画像に映る前記3Dモデルにエフェクト処理を行ったエフェクト処理後のストロボ画像を生成する
画像処理装置。

１１ 撮影部， １２ 自由視点データ生成部， １３ ストロボ画像生成部， １４ エフェクト処理部， １５ 自由視点画像生成部， １６ 表示部， １０１ 送信装置， １０２ 受信装置， １１１ 撮影部， １１２ 自由視点データ生成部， １１３ 画像処理部， １１４ 符号化部， １１５ 送信部， １３１ 受信部， １３２ 復号部， １３３ 自由視点画像生成部， １３４ 表示部， １４１ 画像処理部， １５１ ストロボ画像生成部， １５２ エフェクト処理部， ９０１ バス， ９０２ CPU， ９０３ ROM， ９０４ RAM， ９０５ ハードディスク， ９０６ 出力部， ９０７ 入力部， ９０８ 通信部， ９０９ ドライブ， ９１０ 入出力インタフェース， ９１１ リムーバブル記録媒体

Claims (11)

1. 複数の視点から撮影された複数の視点画像から生成される複数の3Dモデルのうちの１つ以上の3Dモデルにエフェクト処理を行うエフェクト処理部と、
   所定の視点から前記エフェクト処理後の前記複数の3Dモデルを見た2D画像を生成する生成部と
   を備える画像処理装置。
2. 前記エフェクト処理部は、前記複数の3Dモデルのうちの所定の3Dモデルを透明にする前記エフェクト処理を行う
   請求項１に記載の画像処理装置。
3. 前記エフェクト処理部は、前記複数の視点画像から生成される複数の時刻の所定の被写体の3Dモデルに前記エフェクト処理を行う
   請求項１に記載の画像処理装置。
4. 前記エフェクト処理部は、前記複数の時刻の所定の被写体の3Dモデルのうちの１つの基準モデルからの3Dモデルの数、距離、又は、時間で指定される前記所定の被写体の3Dモデルに前記エフェクト処理を行う
   請求項３に記載の画像処理装置。
5. 前記エフェクト処理部は、複数のエフェクト処理から、前記3Dモデルに行う前記エフェクト処理を設定する
   請求項１に記載の画像処理装置。
6. 前記2D画像を表示する表示部をさらに備える
   請求項１に記載の画像処理装置。
7. 前記3Dモデルは、View Independentである
   請求項１に記載の画像処理装置。
8. 前記エフェクト処理部は、
   前記3Dモデルのサイズを変更する前記エフェクト処理を行い、
   前記サイズの変更前の前記3Dモデルが面に接する場合、前記サイズの変更後の前記3Dモデルが前記面に接するように、前記3Dモデルを移動する
   請求項１に記載の画像処理装置。
9. 複数の視点から撮影された複数の視点画像から生成される複数の3Dモデルのうちの１つ以上の3Dモデルにエフェクト処理を行うことと、
   所定の視点から前記エフェクト処理後の前記複数の3Dモデルを見た2D画像を生成することと
   を含む画像処理方法。
10. 複数の視点から撮影された複数の視点画像から生成される複数の3Dモデルのうちの１つ以上の3Dモデルにエフェクト処理を行うエフェクト処理部と、
    所定の視点から前記エフェクト処理後の前記複数の3Dモデルを見た2D画像を生成する生成部と
    して、コンピュータを機能させるためのプログラム。
11. 複数の視点から撮影された複数の視点画像から生成される複数の3Dモデルのうちの１つ以上の3Dモデルにエフェクト処理を行い、
    所定の視点から前記エフェクト処理後の前記複数の3Dモデルを見た2D画像を生成する
    ことにより得られる前記2D画像を受信する受信部と、
    前記2D画像を表示する表示部と
    を備える表示装置。

Images