JP2014032443A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】自由視点映像の詳細な位置にアノテーションを付与すること。
【解決手段】本願に係る画像処理装置は、視点位置が異なる複数の画像データに基づいて、任意の視点位置に対応する自由視点画像を生成する画像生成手段と、前記画像生成手段によって生成された自由視点画像に対して、説明情報を設定する操作、及び、当該説明情報を設定する設定座標を指定する操作を受け付ける受付手段と、前記受付手段によって受け付けられた前記自由視点画像の設定座標に対応する前記複数の画像データの座標に前記説明情報を付与する付与手段と、前記画像生成手段によって生成された新たな自由視点画像とともに、前記説明情報が付与されている前記複数の画像データの座標に対応する当該新たな自由視点画像の領域に前記説明情報を表示制御する表示制御手段と、を有する。
【選択図】図２

Description

本発明の実施形態は、画像処理装置、画像処理方法及び画像処理プログラムに関する。

従来、自由視点映像と呼ばれる技術が知られている。自由視点映像とは、視点位置の異なる複数台の撮像装置（例えば、カメラ）から得られた映像に基づいて、自由な視点位置から見た映像を生成する技術である。近年では、このような自由視点映像に対してボックス型のマーカーにより所定位置を指定することにより、かかる所定位置にアノテーションを付与する技術が提案されている（特許文献１を参照）。

特開２００６−２１１５３１号公報 特開２００１−１１８０１５号公報

しかしながら、上記の従来技術では、自由視点映像の詳細な位置にアノテーションを付与することが困難であった。具体的には、上記の従来技術では、自由視点映像の所定位置をボックス型のマーカーにより指定するので、直方体の空間でしかアノテーションの領域を指定することができなかった。例えば、自由視点映像に人が描出されている場合に、手のひらと手の甲を区別して指定することが困難であった。

本願の開示する技術は、上記に鑑みてなされたものであって、自由視点映像の詳細な位置にアノテーションを付与することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

実施形態に係る画像処理装置は、視点位置が異なる複数の画像データに基づいて、任意の視点位置に対応する自由視点画像を生成する画像生成手段と、前記画像生成手段によって生成された自由視点画像に対して、説明情報を設定する操作、及び、当該説明情報を設定する設定座標を指定する操作を受け付ける受付手段と、前記受付手段によって受け付けられた前記自由視点画像の設定座標に対応する前記複数の画像データの座標に前記説明情報を付与する付与手段と、前記画像生成手段によって生成された新たな自由視点画像とともに、前記説明情報が付与されている前記複数の画像データの座標に対応する当該新たな自由視点画像の領域に前記説明情報を表示制御する表示制御手段と、を備えることを特徴とする。

実施形態に係る画像処理装置、画像処理方法及び画像処理プログラムは、自由視点映像の詳細な位置にアノテーションを付与することができるという効果を奏する。

図１は、実施形態に係る画像配信システムの構成例を示す図である。 図２は、実施形態に係る画像処理装置による画像処理の一例を説明するための図である。 図３は、実施形態に係る画像処理装置の構成例を示す図である。 図４は、実施形態にかかる映像データを説明するための図である。 図５は、実施形態に係る自由視点映像記憶部の一例を示す図である。 図６は、実施形態に係るアノテーションバッファの一例を示す図である。 図７は、実施形態に係るアノテーション記憶部の一例を示す図である。 図８は、実施形態に係る画像処理装置によるアノテーション付与処理の一例を示す図である。 図９は、実施形態に係る付与部による付与処理の一例を説明するための図である。 図１０は、実施形態に係る付与部による付与処理の一例を説明するための図である。 図１１は、実施形態に係る付与部による付与処理の一例を説明するための図である。 図１２は、実施形態に係る画像処理装置によるアノテーション付与処理手順を示すフローチャートである。 図１３は、実施形態に係る画像処理装置によるアノテーション表示処理手順を示すフローチャートである。 図１４は、変形例に係るアノテーションバッファの一例を示す図である。

以下に、本願に係る画像処理装置、画像処理方法及び画像処理プログラムの実施形態を図面に基づいて詳細に説明する。なお、この実施形態により本願に係る画像処理装置、画像処理方法及び画像処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

〔１．画像配信システムの構成〕
まず、図１を用いて、実施形態に係る画像配信システムについて説明する。図１は、実施形態に係る画像配信システムの構成例を示す図である。図１に例示するように、実施形態に係る画像配信システム１には、管理者装置１０と、端末装置２０_１〜２０_ｍと、画像処理装置１００とが含まれる。管理者装置１０、端末装置２０_１〜２０_ｍ及び画像処理装置１００は、ネットワーク３０を介して互いに通信可能に接続される。

管理者装置１０は、画像処理装置１００のユーザ（管理者等）によって利用される情報処理装置である。例えば、管理者装置１０は、パーソナルコンピュータ（Personal Computer）、携帯電話機、ＰＤＡ（Personal Digital Assistant）等に該当する。なお、画像配信システム１には、複数台の管理者装置１０が含まれてもよい。

端末装置２０_１〜２０_ｍは、画像処理装置１００によって提供される自由視点映像を閲覧するユーザによって利用される情報処理装置である。例えば、端末装置２０_１〜２０_ｍは、パーソナルコンピュータ、携帯電話機、ＰＤＡ等に該当する。なお、以下では、端末装置２０_１〜２０_ｍを区別する必要がない場合には、これらを総称して「端末装置２０」と表記する場合がある。

画像処理装置１００は、自由視点映像を配信するサーバ装置である。例えば、画像処理装置１００は、管理者装置１０や端末装置２０_１〜２０_ｍから任意の視点位置を受け付けた場合に、かかる視点位置から見たような自由視点映像を配信する。これにより、管理者装置１０や端末装置２０_１〜２０_ｍのユーザは、画像処理装置１００によって配信される映像の視点位置を自由に変更することができる。

また、画像処理装置１００は、管理者装置１０のユーザから受け付けたアノテーションを自由視点映像に付与し、アノテーション付きの自由視点映像を端末装置２０に配信する。

なお、詳細については後述するが、実施形態に係るアノテーションとは、所定のデータに関する説明情報や注釈情報等を示し、「アノテーションが指し示す場所（領域）」、「アノテーションＩＤ」、「アノテーション内容」及び「アノテーション属性」によって形成される。

〔２．画像表示処理〕
次に、図２を用いて、上述した画像処理装置１００による画像処理について説明する。図２は、実施形態に係る画像処理装置１００による画像処理の一例を説明するための図である。

図２に示した例において、画像処理装置１００は、異なる視点位置に配置された複数の撮像装置（例えば、カメラ）によって被写体Ｐが撮像されることで生成された複数の映像データを保持する。すなわち、画像処理装置１００は、被写体Ｐを撮像する位置（又は角度）が異なる撮像装置の台数分の映像データを保持する。このような映像データは、複数のフレーム（画像データ）によって構成される。

画像処理装置１００は、各撮像装置に対応する複数の映像データに基づいて、各時刻に対応する自由視点画像を生成することで、各時刻に対応する自由視点画像によって構成される自由視点映像を生成する。図２では、所定時刻に対応する自由視点画像に着目して、画像処理装置１００による処理について説明する。また、図２に示した例では、各映像データに含まれる所定時刻のフレームがフレームｆ_１〜ｆ_ｎであるものとする。

まず、画像処理装置１００は、フレームｆ_１〜ｆ_ｎに基づいて、任意視点位置の自由視点画像Ｇ１１を生成する（ステップＳ１１）。例えば、画像処理装置１００は、管理者装置１０のユーザによって指定された視点位置から見たような自由視点画像Ｇ１１を生成する。

そして、画像処理装置１００は、自由視点画像Ｇ１１を管理者装置１０に配信する。これにより、管理者装置１０は、自由視点画像Ｇ１１をディスプレイ等の表示部に表示する。そして、画像処理装置１００は、自由視点画像Ｇ１１にアノテーションの設定位置を指定する操作を受け付ける。

例えば、管理者装置１０のユーザは、マウス等によってアノテーションの設定位置を指定する。また、例えば、管理者装置１０の表示部がタッチパネルである場合には、ユーザは、表示部に触れることでアノテーションの設定位置を指定する。このとき、ユーザは、マウスや指をドラッグするドローイング操作を行うことにより、アノテーションを設定する設定領域を指定することができる。

そして、画像処理装置１００は、アノテーションの設定位置（設定領域）が指定された場合に、アノテーション内容等を入力するための入力欄を表示する。これにより、管理者装置１０のユーザは、かかる入力欄にアノテーション内容等を入力する。

そして、管理者装置１０は、ユーザにより指定されたアノテーションの設定位置に対応する自由視点画像Ｇ１１の座標（以下、アノテーション設定座標と表記する）と、アノテーション設定座標に入力されたアノテーション内容等を画像処理装置１００に送信する。

そして、画像処理装置１００は、管理者装置１０から受け付けたアノテーション内容等をフレームｆ_１〜ｆ_ｎに付与する（ステップＳ１２）。具体的には、画像処理装置１００は、アノテーション設定座標に対応するフレームｆ_１〜ｆ_ｎ上の座標にアノテーション内容を付与する。

例えば、図２に示した例において、ユーザが自由視点画像Ｇ１１に描出されているメガネを指定した上で、かかるメガネの商品名や販売店をアノテーション内容として入力したものとする。この場合、画像処理装置１００は、フレームｆ_１〜ｆ_ｎの各々についてメガネが描出されている座標を特定し、特定した各々の座標にメガネの商品名や販売店をアノテーション内容として付与する。図２に示した例では、画像処理装置１００は、フレームｆ_１にアノテーション内容ａ_１を付与し、同様に、フレームｆ_２〜ｆ_ｎの各々にアノテーション内容ａ_１を付与している。

そして、画像処理装置１００は、端末装置２０からアクセスされることにより、フレームｆ_１〜ｆ_ｎに基づいて新たな自由視点画像Ｇ１２を生成するものとする。ここでは、端末装置２０のユーザにより自由視点画像Ｇ１１と異なる視点位置が指定されたものとする。すなわち、画像処理装置１００は、自由視点画像Ｇ１１と視点位置が異なる自由視点画像Ｇ１２を生成する。

かかる場合に、画像処理装置１００は、自由視点画像Ｇ１２とともにアノテーション内容等を端末装置２０に配信することにより、端末装置２０に自由視点画像Ｇ１２及びアノテーションを表示させる（ステップＳ１３）。具体的には、画像処理装置１００は、アノテーション内容ａ_１が付与されているフレームｆ_１〜ｆ_ｎの座標に対応する自由視点画像Ｇ１２の座標に、かかるアノテーション内容ａ_１を表示させる。図２に示した例では、画像処理装置１００は、自由視点画像Ｇ１２に描出されているメガネを指し示す吹き出しに「商品名：黒メガネ」や「販売店：眼鏡東京」といったアノテーション内容を表示させる。

このように、実施形態に係る画像処理装置１００は、自由視点画像に対してアノテーション設定座標を受け付け、かかるアノテーション設定座標に対応するフレームｆ_１〜ｆ_ｎの座標にアノテーションを付与する。これにより、画像処理装置１００は、ボックス型のマーカーによりアノテーションの位置を受け付ける場合と比較して、自由視点映像の詳細な位置にアノテーションを付与することを可能にする。

また、画像処理装置１００は、自由視点画像の生成元となった視点位置の異なるフレームｆ_１〜ｆ_ｎにアノテーションを付与するので、新たな自由視点画像を生成する場合にも正確な位置にアノテーションを表示させることができる。

〔３．画像処理装置の構成〕
次に、図３を用いて、上述した画像処理装置１００の構成について説明する。図３は、実施形態に係る画像処理装置１００の構成例を示す図である。図３に示すように、実施形態に係る画像処理装置１００は、ＩＦ（interface）部１１０と、映像記憶部１２０と、説明情報記憶部１３０と、制御部１４０とを有する。なお、画像処理装置１００は、画像処理装置１００の管理者等から各種操作を受け付ける入力部や、各種情報を表示するための表示部を有してもよい。

ＩＦ部１１０は、ネットワーク３０を介して、管理者装置１０や端末装置２０との間で、自由視点画像等の各種データを送受信する。例えば、ＩＦ部１１０は、ＮＩＣ（Network Interface Card）等によって実現される。

映像記憶部１２０は、自由視点映像に関する各種情報を記憶し、自由視点映像記憶部１２１と、自由視点画像記憶部１２２とを有する。かかる映像記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、又は、ハードディスク、光ディスク等によって実現される。

自由視点映像記憶部１２１は、被写体に対して異なる視点位置又は角度から撮像されることで生成された映像データを視点位置又は角度毎に記憶する。なお、以下では、視点位置と表記する場合には、被写体に対する視点位置だけでなく、被写体に対する角度を含むものとする。

ここで、図４を用いて、自由視点映像記憶部１２１に記憶される映像データについて説明する。図４は、実施形態にかかる映像データを説明するための図である。図４に示した例では、撮像空間Ｅ１の周囲に撮像装置Ｃ１１〜Ｃ１８が略等間隔で配置される。撮像空間Ｅ１は、撮像装置Ｃ１１〜Ｃ１８によって撮像される３次元空間を示す。ここの例では、撮像空間Ｅ１の中に被写体Ｐが存在するので、撮像装置Ｃ１１〜Ｃ１８の各々は、撮像空間Ｅ１を撮像することにより、被写体Ｐの映像データを生成する。

なお、図４に示した例では、仮想的な撮像装置である仮想撮像装置ＶＣ１１を図示したが、かかる仮想撮像装置ＶＣ１１は、管理者装置１０や端末装置２０のユーザ等によって指定され得る任意の視点位置の一例に該当する。

自由視点映像記憶部１２１は、図４に示した撮像装置Ｃ１１〜Ｃ１８によって生成された映像データを記憶するものとする。ここで、図５に、実施形態に係る自由視点映像記憶部１２１の一例を示す。図５に示すように、自由視点映像記憶部１２１は、「視点位置」、「映像データ」といった項目を有する。

「視点位置」は、撮像空間Ｅ１に対する視点位置及び角度を示し、撮像装置Ｃ１１〜Ｃ１８の設置位置や、撮像装置Ｃ１１〜Ｃ１８の設置角度に該当する。言い換えれば、「視点位置」は、撮像装置Ｃ１１〜Ｃ１８が撮像空間Ｅ１を撮像する方向を示す。図５では、自由視点映像記憶部１２１の「視点位置」に、撮像装置Ｃ１１〜Ｃ１８に付した参照符号「Ｃ１１」〜「Ｃ１８」が記憶される例を示している。

「映像データ」は、撮像装置Ｃ１１〜Ｃ１８のいずれかによって生成された映像データを示す。かかる「映像データ」には、映像データを構成する複数のフレームが記憶される。

例えば、図５では、自由視点映像記憶部１２１が撮像装置Ｃ１１によって撮像された映像データＭ１１を記憶し、かかる映像データＭ１１がフレームｆ１１_１〜ｆ１１_ｎによって構成されていることを示している。

図３の説明に戻って、自由視点画像記憶部１２２は、後述するレンダリング部１４３によって生成される自由視点画像を記憶する。かかる自由視点画像は、３次元情報が反映された２次元画像に該当する。

説明情報記憶部１３０は、アノテーションに関する各種情報を記憶し、アノテーションバッファ１３１と、アノテーション記憶部１３２を有する。かかる説明情報記憶部１３０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、又は、ハードディスク、光ディスク等によって実現される。

アノテーションバッファ１３１は、アノテーションを識別するためのアノテーションＩＤを記憶する。具体的には、アノテーションバッファ１３１は、自由視点映像記憶部１２１に記憶されているフレーム毎に用意される。そして、１個のアノテーションバッファ１３１は、フレーム内の各画素の位置毎に、アノテーションＩＤが記憶可能なバッファ領域を有する。

ここで、図６に、実施形態に係るアノテーションバッファ１３１の一例を示す。図６では、図５に示した映像データＭ１１を構成するフレームｆ１１_１に対応するアノテーションバッファＡ１１_１の一例を示す。なお、図６では、説明を簡単にするために、フレームｆ１１_１が「４×４」の画素ｐ１〜ｐ１６により構成される例を示している。

図６に示すように、アノテーションバッファＡ１１_１は、フレームｆ１１_１と同サイズである「４×４」のバッファ領域を有する。そして、図６に示した例では、アノテーションバッファＡ１１_１は、フレームｆ１１_１の画素ｐ１及びｐ２に対応する位置にアノテーションＩＤ「ａ１１」を記憶し、フレームｆ１１_１の画素ｐ１５及びｐ１６に対応する位置にアノテーションＩＤ「ａ１２」を記憶する。アノテーションバッファ１３１は、このようなアノテーションバッファＡ１１_１を図５に記憶されているフレーム毎に有する。

アノテーション記憶部１３２は、アノテーションに関する各種情報を記憶する。図７に、実施形態に係るアノテーション記憶部１３２の一例を示す。図７に示すように、アノテーション記憶部１３２は、「アノテーションＩＤ」、「アノテーション内容」、「アノテーション属性」といった項目を有する。

「アノテーションＩＤ」は、アノテーションバッファ１３１に記憶されるアノテーションＩＤに対応する。「アノテーション内容」は、アノテーションの内容を示し、例えば図２に示した自由視点画像Ｇ１２とともに表示される情報に該当する。「アノテーション属性」は、「アノテーション内容」の属性を示す。

例えば、図７では、アノテーションＩＤ「ａ１１」のアノテーション内容が「１１１１１」であり、かかるアノテーション内容がＪＡＮ（Japanese Article Number）コードであることを示している。また、例えば、図７では、アノテーションＩＤ「ａ１２」のアノテーション内容が「黒メガネ」であり、かかるアノテーション内容が商品名であることを示している。

図３の説明に戻って、制御部１４０は、画像処理装置１００による処理を制御する。かかる制御部１４０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、図示しない記憶装置に記憶されているプログラム（画像処理プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。

図３に示すように、制御部１４０は、モデル生成部１４１と、テクスチャリング部１４２と、レンダリング部１４３と、表示制御部１４４と、受付部１４５と、付与部１４６とを有する。

モデル生成部１４１は、視点位置が異なる複数のフレームに基づいて３次元のポリゴンモデルを生成する。テクスチャリング部１４２は、モデル生成部１４１によって生成されたポリゴンモデルに対してテクスチャリングを行う。レンダリング部１４３は、テクスチャリング部１４２によってテクスチャリングが行われたポリゴンモデルをレンダリングすることにより自由視点画像を生成する。表示制御部１４４は、レンダリング部１４３によって生成された自由視点画像を配信することにより、配信先に自由視点画像を表示させる。受付部１４５は、アノテーションの設定を受け付ける。付与部１４６は、受付部１４５によって受け付けられたアノテーションを各フレームに付与する。

以下、制御部１４０が有する各処理部について、（１）アノテーション付与処理と、（２）アノテーション表示処理とに分けて説明する。なお、以下では、図４に示した撮像装置Ｃ１１〜Ｃ１８の視点位置（撮像空間Ｅ１を撮像する方向）を単に「視点位置Ｃ１１〜Ｃ１８」と表記する場合がある。例えば、視点位置Ｃ１１は、撮像装置Ｃ１１〜Ｃ１８による撮像空間Ｅ１の撮像方向に該当する。

（１）アノテーション付与処理
図８を用いて、画像処理装置１００によるアノテーション付与処理について説明する。図８は、実施形態に係る画像処理装置１００によるアノテーション付与処理の一例を示す図である。図８では、管理者装置１０のユーザから受け付けたアノテーションを自由視点映像に付与する例を説明する。なお、以下では、画像処理装置１００が、自由視点映像を生成する技術として、ＳｆＳ（Shape-From Silhouette）法を用いる例について説明する。ただし、画像処理装置１００は、ＳｆＳ法に限られず、ＰＭＶＳ（Patch-based Multi-view Stereo）法等を用いて自由視点映像を生成してもよい。

まず、前提として、制御部１４０は、それぞれの撮像装置Ｃ１１〜Ｃ１８について、撮像装置Ｃ１１〜Ｃ１８の視点位置（撮像空間Ｅ１を撮像する方向）と撮像空間Ｅ１とを対応付ける射影変換行列Ｐ_１１〜Ｐ_１８を保持する。また、制御部１４０は、実際に存在する撮像装置Ｃ１１〜Ｃ１８の視点位置だけでなく、ユーザによって指定され得る仮想視点位置（図４に示した仮想撮像装置ＶＣ１１の視点位置等）と撮像空間Ｅ１とを対応付ける射影変換行列についても保持する。このような射影変換行列は予め計算されており、制御部１４０に与えられているものとする。

図８に示した例において、モデル生成部１４１は、自由視点映像を構成する所定時刻の自由視点画像を生成する場合に、自由視点映像記憶部１２１に記憶されている各視点位置に対応する映像データのうち、所定時刻に対応するフレームを取得する。例えば、自由視点映像記憶部１２１が図５に例示した映像データを記憶しているものとする。かかる場合に、モデル生成部１４１は、視点位置Ｃ１１に対応する所定時刻ｔのフレームｆ１１_ｔを取得する。同様に、モデル生成部１４１は、視点位置Ｃ１２〜Ｃ１８に対応する所定時刻ｔのフレームｆ１２_ｔ〜ｆ１８_ｔを取得する。

続いて、モデル生成部１４１は、セグメンテーションを行うことにより、フレームｆ１１_ｔ〜ｆ１８_ｔの各々について、被写体Ｐが存在する被写体領域を抽出する。図８に示した例の場合、モデル生成部１４１は、フレームｆ１１_ｔから被写体領域Ｓ１１_ｔを抽出し、フレームｆ１２_ｔから被写体領域Ｓ１２_ｔを抽出し、フレームｆ１８_ｔから被写体領域Ｓ１８_ｔを抽出している。

続いて、モデル生成部１４１は、撮像空間Ｅ１が複数のボクセルによって形成されているものとして、撮像装置Ｃ１１〜Ｃ１８に対応する射影変換行列Ｐ_１１〜Ｐ_１８のそれぞれと、撮像空間Ｅ１における各ボクセルの３次元座標とを乗算する。これにより、モデル生成部１４１は、各ボクセルが射影されるフレームｆ１１_ｔ〜ｆ１８_ｔ上の２次元座標を得る。

そして、モデル生成部１４１は、各ボクセルが射影されるフレームｆ１１_ｔ〜ｆ１８_ｔ上の２次元座標が上記の被写体領域内である否かを判定する。モデル生成部１４１は、このような判定処理を撮像装置Ｃ１１〜Ｃ１８について行う。そして、モデル生成部１４１は、所定数以上のフレームにおいて被写体領域内に位置するボクセルを被写体領域のボクセルとして抽出する。一方、モデル生成部１４１は、所定数以上のフレームにおいて被写体領域内に位置しないボクセルについては、被写体領域のボクセルとして抽出しない。

一例を挙げて説明する。ここでは、撮像空間Ｅ１が１２５個のボクセルＶ１〜Ｖ１２５によって形成されているものとする。かかる場合に、モデル生成部１４１は、撮像装置Ｃ１１に対応する射影変換行列Ｐ_１１と、ボクセルＶ１の撮像空間Ｅ１における３次元座標とを乗算する。これにより、モデル生成部１４１は、ボクセルＶ１が射影されるフレームｆ１１_ｔ上の２次元座標位置を取得し、かかる２次元座標位置がフレームｆ１１_ｔの被写体領域Ｓ１１_ｔ内であるか否かを判定する。

さらに、モデル生成部１４１は、射影変換行列Ｐ_１２とボクセルＶ１の３次元座標とを乗算することにより、ボクセルＶ１が射影されるフレームｆ１２_ｔ上の２次元座標位置が被写体領域Ｓ１２_ｔ内であるか否かを判定する。同様にして、モデル生成部１４１は、射影変換行列Ｐ_１３〜Ｐ_１８を用いて、ボクセルＶ１が射影されるフレームｆ１３_ｔ〜ｆ１８_ｔ上の２次元座標位置が被写体領域Ｓ１３_ｔ〜Ｓ１８_ｔ内であるか否かを判定する。

そして、モデル生成部１４１は、上記の判定処理の結果、被写体領域Ｓ１１_ｔ〜Ｓ１８_ｔ内であると判定したフレーム数が所定数以上（例えば、全フレームである「８個」以上）である場合に、ボクセルＶ１を被写体領域内のボクセルとして抽出する。一方、モデル生成部１４１は、被写体領域Ｓ１１_ｔ〜Ｓ１８_ｔ内であると判定されたフレーム数が所定数以上でない場合に、ボクセルＶ１を被写体領域内のボクセルとして抽出しない。このようにして、モデル生成部１４１は、ボクセルＶ１〜Ｖ１２５の各々について被写体領域Ｓ１１_ｔ〜Ｓ１８_ｔ内であるか否かを判定することにより、ボクセルＶ１〜Ｖ１２５から被写体領域内のボクセルを抽出する。

そして、モデル生成部１４１は、上記のように抽出した被写体領域のボクセル群について、マーチンキューブ法等を用いてポリゴンモデル化する。図８に示した例では、モデル生成部１４１は、ポリゴンモデルＰＭ_ｔを生成する。このようなポリゴンモデルＰＭ_ｔは、多角形（例えば、三角形や四角形）のポリゴンの組み合わせによって表現される。図８の例では、ポリゴンモデルＰＭ_ｔは、三角形のポリゴンの組み合わせによって表現されているものとする。このようなポリゴンモデルＰＭ_ｔは、各ポリゴンにおける３個の頂点の３次元座標の集合Ｖによって表される。

図８の例では、ポリゴンモデルＰＭ_ｔが三角形のポリゴンＰＧ_１〜ＰＧ_Ｓの組み合わせによって表現されているものとする。すなわち、ポリゴンモデルＰＭ_ｔは、ポリゴンＰＧ_１における３個の頂点の３次元座標（Ｘ_１１，Ｙ_１１，Ｚ_１１）、（Ｘ_１２，Ｙ_１２，Ｚ_１２）及び（Ｘ_１３，Ｙ_１３，Ｚ_１３）と、ポリゴンＰＧ_２における３個の頂点の３次元座標（Ｘ_２１，Ｙ_２１，Ｚ_２１）、（Ｘ_２２，Ｙ_２２，Ｚ_２２）及び（Ｘ_２３，Ｙ_２３，Ｚ_２３）と、・・・、ポリゴンＰＧ_Ｓにおける３個の頂点の３次元座標（Ｘ_Ｓ１，Ｙ_Ｓ１，Ｚ_Ｓ１）、（Ｘ_Ｓ２，Ｙ_Ｓ２，Ｚ_Ｓ２）及び（Ｘ_Ｓ３，Ｙ_Ｓ３，Ｚ_Ｓ３）とを含む集合Ｖによって表される。

続いて、テクスチャリング部１４２は、ポリゴンモデルＰＭ_ｔに対してテクスチャリングを行う。具体的には、テクスチャリング部１４２は、ポリゴンモデルＰＭ_ｔを形成する各ポリゴンに色や質感を与えるために、各ポリゴンに対応するテクスチャをフレームｆ１１_ｔ〜ｆ１８_ｔから取得する。すなわち、テクスチャリング部１４２は、フレームｆ１１_ｔ〜ｆ１８_ｔからテクスチャ（表示情報の一例に相当）を取得する取得部として動作する。

より具体的に説明すると、テクスチャリング部１４２は、まず、後述するレンダリング部１４３によってポリゴンモデルＰＭ_ｔがレンダリングされる際の視点位置に基づいて、テクスチャを取得するフレームｆ１１_ｔ〜ｆ１８_ｔを決定する。このような視点位置は、管理者装置１０のユーザによって指定される。例えば、テクスチャリング部１４２は、視点位置Ｃ１１が指定されている場合には、テクスチャの取得先をフレームｆ１１_ｔに決定し、視点位置Ｃ１２が指定されている場合には、テクスチャの取得先をフレームｆ１２_ｔに決定する。また、例えば、テクスチャリング部１４２は、仮想視点位置ＶＣ１１が指定されている場合には、テクスチャの取得先をフレームｆ１１_ｔ及びｆ１８_ｔに決定する。

そして、テクスチャリング部１４２は、このようにして決定した視点位置に対応する射影変換行列を用いて、ポリゴンモデルＰＭ_ｔを構成するポリゴン毎に、かかるポリゴンが射影されるフレーム上の２次元座標を特定する。そして、テクスチャリング部１４２は、特定した２次元座標をテクスチャ座標として、かかるテクスチャ座標におけるフレームの画素値などを各ポリゴンにマッピングする。

例えば、ポリゴンモデルＰＭ_ｔが視点位置Ｃ１１によりレンダリングされ、テクスチャリング部１４２が、テクスチャの取得先をフレームｆ１１_ｔに決定したものとする。かかる場合に、テクスチャリング部１４２は、視点位置Ｃ１１に対応する射影変換行列Ｐ_１１と、ポリゴンＰＧ_１における各頂点の３次元座標とを乗算することにより、ポリゴンＰＧ_１が射影されるフレームｆ１１_ｔの領域を特定する。そして、テクスチャリング部１４２は、特定したフレームｆ１１_ｔの領域における画素値をポリゴンＰＧ_１にマッピングすることによりテクスチャリングを行う。テクスチャリング部１４２は、ポリゴンＰＧ_２〜ＰＧ_Ｓについても同様の処理を行うことによりテクスチャリングを行う。

また、例えば、ポリゴンモデルＰＭ_ｔが仮想視点位置ＶＣ１１によりレンダリングされ、テクスチャリング部１４２が、テクスチャの取得先をフレームｆ１１_ｔ及びｆ１８_ｔに決定したものとする。かかる場合に、テクスチャリング部１４２は、１個のポリゴンについて、フレームｆ１１_ｔ及びｆ１８_ｔから画素値を取得することになる。この場合、テクスチャリング部１４２は、フレームｆ１１_ｔ及びｆ１８_ｔから取得した双方の画素値が同一である場合には、取得した画素値をポリゴンにマッピングする。一方、テクスチャリング部１４２は、フレームｆ１１_ｔ及びｆ１８_ｔから取得した画素値が異なる場合には、一方の画素値をポリゴンにマッピングしてもよいし、仮想視点位置ＶＣ１１と視点位置が近いフレームから取得した画素値をポリゴンにマッピングしてもよいし、重要度などから重み付けを行って画素値を合成した上で（アルファブレンド）、合成後の画素値をポリゴンにマッピングしてもよい。

レンダリング部１４３は、ユーザによって指定された視点位置に対応する射影変換行列を用いて、テクスチャリング部１４２によってテクスチャリングされたポリゴンモデルＰＭ_ｔをレンダリングすることにより自由視点画像を生成する。図８に示した例では、ユーザによって視点位置Ｃ１１が指定されたものとする。かかる場合に、レンダリング部１４３は、視点位置Ｃ１１に対応する射影変換行列Ｐ_１１を用いて、ポリゴンモデルＰＭ_ｔをレンダリングすることにより、ポリゴンモデルＰＭ_ｔが射影された２次元の自由視点画像Ｇ１１_ｔを生成する。レンダリング部１４３は、このように生成した自由視点画像Ｇ１１_ｔを自由視点画像記憶部１２２に格納する。このように、レンダリング部１４３は、自由視点画像を生成する画像生成部として動作する。

表示制御部１４４は、自由視点画像記憶部１２２に記憶されている自由視点画像Ｇ１１_ｔを管理者装置１０に表示させる。具体的には、表示制御部１４４は、自由視点画像Ｇ１１_ｔを管理者装置１０に配信する。これにより、管理者装置１０は、ブラウザ等を介して、自由視点画像Ｇ１１_ｔをディスプレイ等の表示部に表示する。

受付部１４５は、自由視点画像Ｇ１１_ｔに対して、アノテーション内容及びアノテーション属性とともに、かかるアノテーション内容等を設定する自由視点画像Ｇ１１_ｔ上のアノテーション設定座標を指定する操作を管理者装置１０から受け付ける。具体的には、管理者装置１０は、表示部に表示されている自由視点画像Ｇ１１_ｔに対してアノテーションを設定する操作が行われた場合に、アノテーション設定座標、アノテーション内容及びアノテーション属性を画像処理装置１００に送信する。

図８に示した例では、自由視点画像Ｇ１１_ｔに描出されているメガネの領域Ｒ１にアノテーションを設定する操作が行われたものとする。すなわち、受付部１４５は、自由視点画像Ｇ１１_ｔのうちメガネが描出されている座標群をアノテーション設定座標として受け付ける。

付与部１４６は、受付部１４５によって受け付けられたアノテーション内容及びアノテーション属性を説明情報記憶部１３０に格納する。具体的には、付与部１４６は、受付部１４５によってアノテーション内容等が受け付けられた場合に、新たなアノテーションＩＤを払い出す。続いて、付与部１４６は、受付部１４５によって受け付けられた自由視点画像Ｇ１１_ｔ上のアノテーション設定座標に対応するフレームｆ１１_ｔ〜ｆ１８_ｔの座標を特定し、特定した座標に対応するアノテーションバッファ１３１に新たなアノテーションＩＤを格納する。そして、付与部１４６は、かかる新たなアノテーションＩＤに対応付けて、受付部１４５によって受け付けられたアノテーション内容及びアノテーション属性をアノテーション記憶部１３２に格納する。

ここで、図９及び図１０を用いて、付与部１４６による処理について説明する。図９及び図１０は、実施形態に係る付与部１４６による付与処理の一例を説明するための図である。

まず、付与部１４６は、ポリゴンモデルＰＭ_ｔを形成するポリゴンＰＧ_１〜ＰＧ_Ｓのうち、自由視点画像Ｇ１１_ｔ上のアノテーション設定座標に対応するポリゴンを抽出する。具体的には、付与部１４６は、レンダリング部１４３によって自由視点画像Ｇ１１_ｔの生成時に用いられた射影変換行列の逆行列とアノテーション設定座標とを乗算することにより、かかるアノテーション設定座標を通過する直線を得る。

例えば、図９に示した例において、付与部１４６は、射影変換行列Ｐ_１１の逆行列Ｐ_１１ ^−１と、自由視点画像Ｇ１１_ｔ上のアノテーション設定座標Ｑ１_ｔとを乗算することにより、アノテーション設定座標Ｑ１_ｔを通過する直線Ｌ１_ｔを得る。そして、付与部１４６は、かかる直線Ｌ１_ｔが通過するポリゴンのうち、視点位置Ｃ１１に最も近いポリゴンをアノテーションが付与されたポリゴンとして抽出する。付与部１４６は、全てのアノテーション設定座標について同様の処理を行うことにより、アノテーションが付与されたポリゴン群ＰＡを抽出する。

なお、視点位置Ｃ１１に最も近いポリゴンを抽出する理由は、ユーザが自由視点画像Ｇ１１_ｔに対してアノテーションを指定する位置は、ユーザが閲覧可能なポリゴンに該当するからである。すなわち、付与部１４６は、視点位置Ｃ１１に最も近いポリゴンを抽出することにより、ユーザが閲覧したポリゴンを抽出することとなり、結果として、ユーザがアノテーションを設定したポリゴンを抽出することができる。

続いて、付与部１４６は、ポリゴン群ＰＡに含まれるポリゴン毎に、かかるポリゴンをテクスチャリングする際に用いられる可能性のあるフレームｆ１１_ｔ〜ｆ１８_ｔを特定する。そして、付与部１４６は、特定したフレームに対応する射影変換行列を用いて、かかるポリゴンが射影されるフレーム上の２次元座標を求める。そして、付与部１４６は、特定したフレームに対応するアノテーションバッファ１３１のうち、かかる２次元座標に対応する位置にアノテーションＩＤを格納する。

例えば、図８に示した例のように、メガネの領域にアノテーションが設定されたものとする。そして、かかるメガネが見える視点位置が視点位置Ｃ１１〜Ｃ１４及びＣ１５〜Ｃ１８であるものとする。この場合、付与部１４６は、メガネのポリゴンにテクスチャリングを行う際に、フレームｆ１１_ｔ〜ｆ１４_ｔ及びｆ１５_ｔ〜ｆ１８_ｔからテクスチャを取得する可能性があるので、これらのフレームｆ１１_ｔ〜ｆ１４_ｔ及びｆ１５_ｔ〜ｆ１８_ｔを特定する。

そして、付与部１４６は、ポリゴン群ＰＡの各ポリゴンについて、射影変換行列Ｐ_１１を用いて、かかるポリゴンがフレームｆ１１_ｔに射影される２次元座標を取得する。そして、付与部１４６は、フレームｆ１１_ｔに対応するアノテーションバッファ１３１のうち、取得した２次元座標が示す位置にアノテーションＩＤを格納する。付与部１４６は、このような処理を、上記において特定したフレームｆ１１_ｔ〜ｆ１４_ｔ及びｆ１５_ｔ〜ｆ１８_ｔについて行う。

この点について、図１０に示した例を用いて説明する。図１０に示した例では、ポリゴン群ＰＡに含まれるポリゴンＰＡ_１にアノテーションＩＤ「ａ１１」が払い出され、ポリゴン群ＰＡに含まれるポリゴンＰＡ_２にアノテーションＩＤ「ａ１２」が払い出されたものとする。また、ポリゴンＰＡ_１は、フレームｆ１１_ｔの画素ｐ１３_１ｔ及びｐ１４_１ｔに射影されるものとする。また、ポリゴンＰＡ_２は、フレームｆ１１_ｔの画素ｐ６_１ｔ及びｐ７_１ｔに射影されるものとする。かかる場合に、付与部１４６は、フレームｆ１１_ｔに対応するアノテーションバッファＡ１１_ｔのうち、画素ｐ１３_１ｔ及びｐ１４_１ｔに対応する位置にアノテーションＩＤ「ａ１１」を格納し、画素ｐ６_１ｔ及びｐ７_１ｔに対応する位置にアノテーションＩＤ「ａ１２」を格納する。

また、フレームｆ１２_ｔの画素ｐ６_２ｔ、ｐ７_２ｔ及びｐ８_２ｔにポリゴンＰＡ_２が射影され、フレームｆ１８_ｔの画素ｐ５_８ｔ、ｐ６_８ｔ及びｐ７_８ｔにポリゴンＰＡ_２が射影されるものとする。かかる場合に、付与部１４６は、フレームｆ１２_ｔに対応するアノテーションバッファＡ１２_ｔのうち、画素ｐ６_２ｔ、ｐ７_２ｔ及びｐ８_２ｔに対応する位置にアノテーションＩＤ「ａ１２」を格納し、フレームｆ１８_ｔに対応するアノテーションバッファＡ１８_ｔのうち、画素ｐ５_８ｔ、ｐ６_８ｔ及びｐ７_８ｔに対応する位置にアノテーションＩＤ「ａ１２」を格納する。また、図１０では図示することを省略したが、付与部１４６は、フレームｆ１３_ｔ及びｆ１５_ｔ〜ｆ１７_ｔに対応するアノテーションバッファ１３１についても、同様にしてアノテーションＩＤを格納する。

続いて、付与部１４６は、時刻ｔに対応するフレームｆ１１_ｔ〜ｆ１４_ｔ及びｆ１５_ｔ〜ｆ１８_ｔだけでなく、時刻ｔ以外の他の時刻におけるフレームにもアノテーションＩＤを付与する。具体的には、付与部１４６は、各視点位置に対応する映像データ毎に、アノテーションＩＤを付与したフレームの領域を初期トラッキング対象（追跡対象）として、他の時刻におけるフレームのうち初期トラッキング対象に対応する領域をトラッキングし、トラッキングした領域にアノテーションＩＤを付与する。付与部１４６は、かかるトラッキングをアノテーションＩＤ毎に行う。なお、付与部１４６は、トラッキング手法として、例えば、パーティクルフィルターやＴＬＤ（Tracking Learning Detection）等を用いる。

この点について、図１１を用いて説明する。図１１は、実施形態に係る付与部１４６による付与処理の一例を説明するための図である。図１１では、図１０に示したフレームｆ１１_ｔを例に挙げて説明する。

図１１に示した例において、付与部１４６は、アノテーションＩＤ「ａ１１」に対応する画素ｐ１３_１ｔ及びｐ１４_１ｔを初期トラッキング対象として、トラッキングを行う。このとき、フレームｆ１１_ｔの次のフレームｆ１１_ｔ＋１において、トラッキング対象が画素ｐ１４_１ｔ＋１及びｐ１５_１ｔ＋１に移動したものとする。かかる場合に、付与部１４６は、フレームｆ１１_ｔ＋１に対応するアノテーションバッファＡ１１_ｔ＋１のうち、画素ｐ１４_１ｔ＋１及びｐ１５_１ｔ＋１に対応する位置にアノテーションＩＤ「ａ１１」を格納する。

さらに、図１１に示した例において、付与部１４６は、アノテーションＩＤ「ａ１２」に対応する画素ｐ６_１ｔ及びｐ７_１ｔを初期トラッキング対象として、トラッキングを行う。このとき、フレームｆ１１_ｔ＋１において、トラッキング対象が画素ｐ７_１ｔ＋１及びｐ８_１ｔ＋１に移動したものとする。かかる場合に、付与部１４６は、フレームｆ１１_ｔ＋１に対応するアノテーションバッファＡ１１_ｔ＋１のうち、画素ｐ７_１ｔ＋１及びｐ８_１ｔ＋１に対応する位置にアノテーションＩＤ「ａ１２」を格納する。

また、図１１では図示することを省略したが、付与部１４６は、フレームｆ１１_ｔ＋１以降のフレーム（ｆ１１_ｔ＋２など）についても、トラッキングを行うことによりアノテーションＩＤを付与する。また、付与部１４６は、フレームｆ１１_ｔ以降のフレームだけでなく、フレームｆ１１_ｔよりも時間的に前のフレーム（フレームｆ１１_ｔ−１など）についても、トラッキングを行うことによりアノテーションＩＤを付与してもよい。

このようにして、実施形態に係る画像処理装置１００は、自由視点映像を構成する自由視点画像に対してアノテーションを設定する操作を受け付け、受け付けたアノテーションを自由視点画像の生成元となったフレームに付与する。

なお、上述してきたモデル生成部１４１、テクスチャリング部１４２、レンダリング部１４３及び表示制御部１４４は、時刻が経過するたびに、かかる時刻に対応する各フレームを用いて、上述した処理を繰り返し行う。これにより、管理者装置１０は、時間経過とともに異なる自由視点画像を順次表示することにより、自由視点映像を表示することができる。

また、画像処理装置１００は、管理者装置１０から再生時刻を受け付けた場合に、かかる再生時刻以降の自由視点画像を生成して、生成した自由視点画像を管理者装置１０に順次配信する。また、画像処理装置１００は、自由視点映像を巻き戻し操作や、自由視点映像を早送り操作等を管理者装置１０から受け付けた場合には、かかる操作に対応する自由視点画像を管理者装置１０に順次配信する。また、画像処理装置１００は、ユーザによって視点位置が変更された場合には、かかる視点位置からレンダリング処理を行うことで、ユーザに指定された視点位置から見たような自由視点画像を管理者装置１０に順次配信する。

また、管理者装置１０は、画像処理装置１００から受信済みの自由視点画像を順次表示するだけでなく、停止操作や巻き戻し操作や早送り操作等に対応する表示処理を行うこともできる。すなわち、管理者装置１０のユーザは、自由視点映像を停止させた状態で、アノテーションを付与することができる。

（２）アノテーション表示処理
次に、画像処理装置１００によるアノテーション表示処理について説明する。以下では、画像処理装置１００が端末装置２０に自由視点映像を配信する例について説明する。

まず、モデル生成部１４１は、上述した処理と同様に、ポリゴンモデルを生成する。続いて、テクスチャリング部１４２は、上述した処理と同様に、ポリゴンモデルに対してテクスチャリングを行う。ここで、テクスチャリング部１４２は、ポリゴンモデルＰＭ_ｔを形成する各ポリゴンに対応するテクスチャをフレームから取得する際に、アノテーションＩＤについてもアノテーションバッファ１３１から取得する。そして、テクスチャリング部１４２は、テクスチャをポリゴンにマッピングする際に、かかるポリゴンにアノテーションＩＤを対応付ける。

例えば、テクスチャリング部１４２が、図１０に示したフレームｆ１１_ｔからテクスチャを取得するものとする。このとき、テクスチャリング部１４２は、フレームｆ１１_ｔの画素ｐ６_１ｔ及びｐ７_１ｔを取得する場合に、アノテーションバッファＡ１１_ｔから画素ｐ６_１ｔ及びｐ７_１ｔに対応するアノテーションＩＤ「ａ１２」を取得する。そして、テクスチャリング部１４２は、画素ｐ６_１ｔ及びｐ７_１ｔをポリゴンにマッピングする場合に、かかるポリゴンにアノテーションＩＤ「ａ１２」を対応付けておく。

続いて、レンダリング部１４３は、ポリゴンモデルをレンダリングすることにより自由視点画像を生成する。このとき、レンダリング部１４３は、アノテーションＩＤが対応付けられているポリゴンに対応する自由視点画像の座標（以下、アノテーション表示座標と表記する）を特定する。

続いて、表示制御部１４４は、ポリゴンに対応付けられているアノテーションＩＤをキーにして、アノテーション記憶部１３２からアノテーション内容及びアノテーション属性を取得する。そして、表示制御部１４４は、レンダリング部１４３によって生成された自由視点映像に、アノテーション記憶部１３２から取得したアノテーション内容（及びアノテーション属性）を重畳する。

このとき、表示制御部１４４は、アノテーション表示座標毎にアノテーション内容等を重畳させるのではなく、アノテーション表示座標の領域毎にアノテーション内容等を重畳させる。例えば、表示制御部１４４は、自由視点画像のうち、アノテーションＩＤが同一であり、かつ、アノテーション表示座標が隣り合う座標群をアノテーション領域として特定する。そして、表示制御部１４４は、アノテーション領域毎に、かかるアノテーションＩＤに対応するアノテーション内容等を重畳させる。

また、表示制御部１４４は、図２に示した例のように、アノテーション表示座標を指し示す吹き出しにアノテーション内容（及びアノテーション属性）を表示させてもよい。例えば、表示制御部１４４は、ポリゴンモデルの重心（例えば、全ポリゴン座標の平均）からアノテーション領域の重心を通る線分を延長した先に、アノテーション領域の重心を指し示し、かつ、アノテーション内容（及びアノテーション属性）が描出された吹き出しを重畳させる。

そして、表示制御部１４４は、アノテーションが重畳された自由視点画像を端末装置２０に配信する。表示制御部１４４は、時刻が経過するたびに、かかる時刻に対応する自由視点画像を順次配信する。これにより、端末装置２０は、アノテーションが重畳された自由視点映像を表示することができる。

なお、端末装置２０のユーザは、画像処理装置１００から配信される自由視点映像の視点位置を変更することができる。このとき、表示制御部１４４は、上述したアノテーション内容等が記述された吹き出しの表示位置を固定にしてもよいし、視点位置の変更に伴って吹き出しの表示位置を変更させてもよい。

例えば、表示制御部１４４は、被写体が回転された場合には、被写体と同様にアノテーション内容等が記述された吹き出しを回転させてもよい。また、例えば、表示制御部１４４は、いわゆるビルボーディングのように、視点位置に対して正対するように吹き出しを表示させてもよい。この場合、表示制御部１４４は、端末装置２０の表示画面に常に正対するように、アノテーション内容等が記述された吹き出しを表示する。また、例えば、表示制御部１４４は、アノテーション内容等が記述された吹き出しについては、直交３軸のうち１軸のみを固定にして表示させてもよい。また、表示制御部１４４は、被写体とは別に、ユーザが吹き出しの向きを変更できるようにしてもよい。

〔４．アノテーション付与処理手順〕
次に、図１２を用いて、実施形態に係る画像処理装置１００によるアノテーション付与処理の手順について説明する。図１２は、実施形態に係る画像処理装置１００によるアノテーション付与処理手順を示すフローチャートである。なお、図１２では、画像処理装置１００によって、管理者装置１０に対して自由視点映像が配信されているものとする。

図１２に示すように、画像処理装置１００の受付部１４５は、管理者装置１０から、自由視点画像に対するアノテーションの設定操作を受け付けたか否かを判定する（ステップＳ１０１）。このとき、受付部１４５は、アノテーションの設定操作を受け付けた場合には（ステップＳ１０１；Ｙｅｓ）、アノテーション設定座標、アノテーション内容及びアノテーション属性を管理者装置１０から受信する。

続いて、付与部１４６は、受付部１４５によって受け付けられたアノテーションに対して、アノテーションＩＤを払い出す（ステップＳ１０２）。続いて、付与部１４６は、図９を用いて説明したように、自由視点画像の生成時にレンダリング部１４３によって用いられた射影変換行列を用いて、アノテーション設定座標に対応するポリゴン群ＰＡを抽出する（ステップＳ１０３）。

続いて、付与部１４６は、ポリゴン群ＰＡのテクスチャリング時に用いられる可能性のあるフレームを特定する（ステップＳ１０４）。続いて、特定したフレーム毎に、付与部１４６は、ポリゴン群ＰＡが射影されるフレーム上の２次元座標を求める（ステップＳ１０５）。続いて、付与部１４６は、かかるフレームに対応するアノテーションバッファ１３１のうち、ステップＳ１０４で求めた２次元座標に対応する位置にアノテーションＩＤを格納する（ステップＳ１０６）。

そして、付与部１４６は、アノテーションＩＤに対応付けて、受付部１４５によって受け付けられたアノテーション内容及びアノテーション属性をアノテーション記憶部１３２に格納する（ステップＳ１０７）。

〔５．アノテーション表示処理手順〕
次に、図１３を用いて、実施形態に係る画像処理装置１００によるアノテーション表示処理の手順について説明する。図１３は、実施形態に係る画像処理装置１００によるアノテーション表示処理手順を示すフローチャートである。

図１３に示すように、画像処理装置１００の制御部１４０は、端末装置２０から自由視点映像の取得要求を受け付けたか否かを判定する（ステップＳ２０１）。このとき、自由視点映像の取得要求を受け付けた場合に（ステップＳ２０１；Ｙｅｓ）、モデル生成部１４１は、図８を用いて説明したように、自由視点映像記憶部１２１に記憶されている各視点位置に対応するフレームに基づいて、ポリゴンモデルを生成する（ステップＳ２０２）。

続いて、テクスチャリング部１４２は、モデル生成部１４１によって生成されたポリゴンモデルに含まれるポリゴン毎に、かかるポリゴンに対応するテクスチャを各フレームから取得してテクスチャリングを行う（ステップＳ２０３）。このとき、テクスチャリング部１４２は、テクスチャを取得したフレームに対応するアノテーションバッファ１３１から、アノテーションＩＤを取得する（ステップＳ２０４）。そして、テクスチャリング部１４２は、テクスチャリングを行ったポリゴンに対してアノテーションＩＤを対応付ける。

続いて、レンダリング部１４３は、ポリゴンモデルをレンダリングすることにより自由視点画像を生成する（ステップＳ２０５）。このとき、レンダリング部１４３は、アノテーションＩＤが対応付けられているポリゴンが射影される自由視点画像上のアノテーション表示座標を特定する。

続いて、表示制御部１４４は、自由視点画像上のアノテーション表示座標に、アノテーション内容（及びアノテーション属性）を重畳する（ステップＳ２０６）。そして、表示制御部１４４は、アノテーションが重畳された自由視点画像を端末装置２０に配信する（ステップＳ２０７）。

続いて、制御部１４０は、ステップＳ２０１において要求された自由視点映像を構成する全ての自由視点画像を配信したか否かを判定する（ステップＳ２０８）。そして、制御部１４０は、全ての自由視点画像を配信していない場合には（ステップＳ２０８；Ｎｏ）、ステップＳ２０２に戻り、自由視点映像を構成する次の自由視点画像（フレーム）を配信する処理を行う。一方、制御部１４０は、全ての自由視点画像を配信している場合には（ステップＳ２０８；Ｙｅｓ）、処理を終了する。

〔６．実施形態の効果〕
上述してきたように、実施形態に係る画像処理装置１００は、レンダリング部１４３（画像生成部の一例に相当）と、表示制御部１４４と、受付部１４５と、付与部１４６とを有する。レンダリング部１４３は、視点位置が異なる複数のフレーム（画像データの一例に相当）に基づいて、任意の視点位置に対応する自由視点画像を生成する。受付部１４５は、レンダリング部１４３によって生成された自由視点画像に対して、アノテーション（説明情報の一例に相当）を設定する操作、及び、アノテーションを設定する設定座標を指定する操作を受け付ける。付与部１４６は、受付部１４５によって受け付けられた自由視点画像の設定座標に対応する複数のフレームの座標にアノテーションを付与する。表示制御部１４４は、レンダリング部１４３によって生成された新たな自由視点画像とともに、アノテーションが付与されている複数のフレームの座標に対応する新たな自由視点画像の領域にアノテーションを表示制御する。

これにより、実施形態に係る画像処理装置１００は、ボックス型のマーカーによりアノテーションの位置を受け付ける場合と比較して、自由視点映像の詳細な位置にアノテーションを付与することを可能にする。また、画像処理装置１００は、自由視点画像の生成元となった視点位置の異なるフレームｆ_１〜ｆ_ｎにアノテーションを付与するので、新たな自由視点画像を生成する場合にも正確な位置にアノテーションを表示させることができる。

また、実施形態に係る画像処理装置１００は、モデル生成部１４１と、テクスチャリング部１４２（取得部の一例に相当）とを有する。モデル生成部１４１は、複数のフレームに基づいてポリゴンモデル（３次元モデルの一例に相当）を生成する。テクスチャリング部１４２は、モデル生成部１４１によって生成されたポリゴンモデルにおける所定の領域毎に、かかる所定の領域に対応するテクスチャ（表示情報の一例に相当）と、かかる所定の領域に対応するアノテーションとを複数のフレームから取得する。また、レンダリング部１４３は、テクスチャリング部１４２によって取得されたテクスチャが適用されたポリゴンモデルから自由視点画像を生成する。また、表示制御部１４４は、テクスチャリング部１４２によって取得されたアノテーションを新たな自由視点画像に表示制御する。

これにより、実施形態に係る画像処理装置１００は、テクスチャリングを行うとともに、アノテーションを取得することができるので、効率的に自由視点映像を生成することができる。

また、実施形態に係る画像処理装置１００において、レンダリング部１４３は、複数のフレームとして、視点位置が異なる複数の映像データに含まれる所定時刻に対応する複数のフレームに基づいて自由視点画像を生成する。また、付与部１４６は、視点位置毎に、アノテーションを付与した画像データの説明領域を初期トラッキング対象（追跡対象の一例に相当）として、他の時刻の画像データについて説明領域に対応する領域をトラッキングし、トラッキングした領域にアノテーションを付与する。

これにより、実施形態に係る画像処理装置１００は、自由視点映像を構成する所定の自由視点画像（フレーム）にアノテーションを設定する操作がされた場合に、他の時刻に対応する自由視点画像の生成元となるフレーム群にもアノテーションを付与することができる。

また、実施形態に係る画像処理装置１００において、表示制御部１４４は、自由視点映像の視点位置と正対するようにアノテーションを表示する。または、表示制御部１４４は、自由視点映像における視点位置の変更とともにアノテーションの表示方向を変更する。

これにより、実施形態に係る画像処理装置１００は、ユーザに閲覧しやすい態様によってアノテーションを表示することができるので、ユーザビリティの向上を図ることができる。

〔７．変形例〕
上述してきた実施形態に係る画像処理装置１００は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下に、上記の画像処理装置１００の他の実施形態について説明する。

〔７−１．複数のアノテーションＩＤ〕
上述した（２）アノテーション表示処理において、テクスチャリング部１４２は、複数のフレームからテクスチャを取得する場合がある。例えば、レンダリング部１４３によってレンダリングされる際の視点位置が図４に示した仮想視点位置ＶＣ１１である場合には、テクスチャリング部１４２は、フレームｆ１１_ｔ及びｆ１８_ｔからテクスチャを取得する。この場合、テクスチャリング部１４２は、同一のポリゴンについて、アノテーションバッファＡ１１_ｔ及びＡ１８_ｔから異なるアノテーションＩＤを取得する可能性がある。

このような場合には、テクスチャリング部１４２は、仮想視点位置ＶＣ１１と視点位置が近いフレームに対応するアノテーションバッファからアノテーションＩＤを取得してもよい。例えば、仮想視点位置ＶＣ１１が、視点位置Ｃ１１よりも視点位置Ｃ１８に近い場合には、テクスチャリング部１４２は、フレームｆ１８_ｔに対応するアノテーションバッファＡ１８_ｔから異なるアノテーションＩＤを取得してもよい。

また、上記例において、テクスチャリング部１４２は、アノテーションバッファＡ１１_ｔ及びＡ１８_ｔのそれぞれからアノテーションＩＤを取得してもよい。この場合、テクスチャリング部１４２は、テクスチャをポリゴンにマッピングする際に、かかるポリゴンに双方のアノテーションＩＤを対応付ける。そして、表示制御部１４４は、同一のアノテーション領域に全てのアノテーション内容等を表示させる。

また、上記例において、テクスチャリング部１４２は、アノテーションバッファＡ１１_ｔ及びＡ１８_ｔに格納されているアノテーションＩＤがトラッキングにより付与されている場合には、ユーザがアノテーションを指定したフレームから近いフレームに対応するアノテーションバッファからアノテーションＩＤを取得してもよい。

一例を挙げて説明すると、例えば、ユーザが自由視点画像Ｇ１１_ｔ−１にアノテーションを設定し、かかる自由視点画像Ｇ１１_ｔ−１の生成元となったフレームｆ１１_ｔ−１にアノテーションが付与されたものとする。そして、付与部１４６が、トラッキングを行うことにより、フレームｆ１１_ｔ−１の次のフレームｆ１１_ｔに対応するアノテーションバッファＡ１１_ｔにアノテーションＩＤを格納したものとする。また、ユーザが自由視点画像Ｇ１８_ｔ−１０にアノテーションを設定し、かかる自由視点画像Ｇ１８_ｔ−１０に対応するフレームｆ１８_ｔ−１０に対してアノテーションが付与されたものとする。そして、付与部１４６が、トラッキングを行うことにより、フレームｆ１８_ｔ−１０の１０個先のフレームｆ１８_ｔに対応するアノテーションバッファＡ１８_ｔにアノテーションＩＤを格納したものとする。この例では、ユーザが実際にアノテーションを設定したフレームから近いフレームに対応するアノテーションバッファは、アノテーションバッファＡ１１_ｔである。このため、テクスチャリング部１４２は、アノテーションバッファＡ１１_ｔ及びＡ１８_ｔのうち、アノテーションバッファＡ１１_ｔからアノテーションＩＤを取得する。

このようにアノテーションＩＤを取得する理由は、多数のフレームを跨ぐほどトラッキングの精度が落ちる可能性があるからである。すなわち、上記例において、付与部１４６は、フレームｆ１１_ｔ−１を初期トラッキング対象とした場合に、次のフレームｆ１１_ｔを高精度にトラッキングする可能性が高い。しかし、付与部１４６は、フレームｆ１８_ｔ−１０を初期トラッキング対象とした場合には、フレームｆ１８_ｔ−９、フレームｆ１８_ｔ−８、・・・、フレームｆ１８_ｔと順にトラッキングを行うので、いずれかのフレーム間においてトラッキング精度が劣化する可能性がある。このようなことから、テクスチャリング部１４２は、トラッキング精度が高いと想定されるフレームｆ１１_ｔに対応するアノテーションバッファＡ１１_ｔからアノテーションＩＤを取得することにより、正しいアノテーションＩＤを取得する可能性を高めることができる。

また、上記例において、付与部１４６は、トラッキング処理を行う場合に、トラッキング精度（尤度）を保持しておいてもよい。そして、テクスチャリング部１４２は、かかるトラッキング精度（尤度）に基づいて、アノテーションＩＤを取得するアノテーションバッファを決定してもよい。

例えば、上記例において、付与部１４６が、フレームｆ１１_ｔ−１を初期トラッキング対象として次のフレームｆ１１_ｔをトラッキングした場合に、かかるトラッキング精度（尤度）として「０．５」を算出したものとする。また、付与部１４６が、フレームｆ１８_ｔ−１０を初期トラッキング対象としてフレームｆ１８_ｔ−９〜ｆ１８_ｔを順にトラッキングした場合に、それぞれのトラッキング精度（尤度）として「０．９５」を算出したものとする。この例の場合、フレームｆ１１_ｔ−１とフレームｆ１１_ｔとの間におけるトラッキング精度（尤度）よりも、フレームｆ１８_ｔ−１０とフレームｆ１８_ｔとの間におけるトラッキング精度（尤度）の方が高い。かかる場合には、テクスチャリング部１４２は、フレームｆ１８_ｔに対応するアノテーションバッファＡ１８_ｔからアノテーションＩＤを取得する。これにより、テクスチャリング部１４２は、正しいアノテーションＩＤを取得する可能性を高めることができる。

〔７−２．アノテーションＩＤの保持〕
また、上記例では、図６や図１０等に示したように、フレーム内の画素毎に１個のアノテーションＩＤを付与する例を示した。しかし、フレーム内の画素毎に複数のアノテーションＩＤを付与できてもよい。例えば、アノテーションバッファ１３１は、所定の区切り文字（「；」や「、」など）を用いて、１画素に対して、複数のアノテーションＩＤを保持してよい。図６に示した例では、アノテーションバッファＡ１１_１は、画素ｐ１に対応するアノテーションＩＤ「ａ１１；ａ１２」を保持してもよい。

また、アノテーションバッファ１３１は、フレーム毎、かつ、アノテーションＩＤ毎に、かかるフレームと同サイズのバッファ領域を有してもよい。この点について図１４を用いて説明する。図１４は、変形例に係るアノテーションバッファ１３１の一例を示す図である。

図１４に示した例では、フレームｆ１１_１に対応するアノテーションバッファ１３１として、アノテーションバッファＡ１１_１１、Ａ１１_１２、Ａ１１_１３が用意されている。アノテーションバッファＡ１１_１１は、アノテーションＩＤ「ａ１１」用のバッファであり、アノテーションバッファＡ１１_１２は、アノテーションＩＤ「ａ１２」用のバッファであり、アノテーションバッファＡ１１_１３は、アノテーションＩＤ「ａ１３」用のバッファである。

図１４に示した例では、アノテーションバッファに「１」が格納されている場合には、対応する画素にアノテーションＩＤが設定されていることを示し、アノテーションバッファに「０」が格納されている場合には、対応する画素にアノテーションＩＤが設定されていないことを示す。例えば、フレームｆ１１_１の画素ｐ１には、アノテーションＩＤ「ａ１１」及び「ａ１２」が設定されており、アノテーションＩＤ「ａ１３」が設定されていないことを示す。また、例えば、フレームｆ１１_１の画素ｐ１５には、アノテーションＩＤ「ａ１１」及び「ａ１３」が設定されており、アノテーションＩＤ「ａ１２」が設定されていないことを示す。このように、アノテーションバッファ１３１は、アノテーションＩＤ毎にフレームと同サイズのバッファ領域を有することにより、同一画素に対して複数のアノテーションＩＤを保持することができる。

〔７−３．アノテーションの追加設定〕
また、上記実施形態では、（１）アノテーション付与処理において説明したように、画像処理装置１００が、管理者装置１０のユーザから、自由視点画像に対するアノテーションの設定操作を受け付ける例を示した。ここで、画像処理装置１００は、管理者装置１０のユーザによってアノテーションが付与された場合、端末装置２０に配信する自由視点画像と同様に、アノテーション付きの自由視点画像を管理者装置１０に配信してもよい。これにより、管理者装置１０のユーザは、自由視点映像を確認することで所望の位置に所望のアノテーションが設定されているか確認することができる。また、管理者装置１０のユーザは、所望の位置に所望のアノテーションが設定されていない場合には、アノテーションを追加で設定したり、設定済みのアノテーションを削除したりすることができる。

また、画像処理装置１００は、管理者装置１０に対しては、自由視点画像ではなく、自由視点画像の生成元となる複数のフレームを配信してもよい。例えば、図８に示した例において、画像処理装置１００は、自由視点画像Ｇ１１_ｔではなく、フレームｆ１１_ｔ〜ｆ１８_ｔの全て又は一部を管理者装置１０に配信してもよい。そして、画像処理装置１００は、フレームｆ１１_ｔ〜ｆ１８_ｔの全て又は一部に対してアノテーションの設定を受け付けてもよい。

ここで、フレームｆ１１_ｔに対してアノテーションの設定を受け付けた場合について、画像処理装置１００による処理について説明する。付与部１４６は、フレームｆ１１_ｔの所定座標（以下、アノテーション座標と表記する）にアノテーションが設定された場合に、アノテーションバッファＡ１１_ｔのうちアノテーション座標に対応する位置にアノテーションＩＤを格納する。さらに、付与部１４６は、フレームｆ１１_ｔに対応する射影変換行列の逆行列とアノテーション座標を乗算することにより、かかるアノテーション座標を通過する直線を得る。そして、付与部１４６は、かかる直線が通過するポリゴンのうち、フレームｆ１１_ｔの視点位置Ｃ１１に最も近いポリゴンをアノテーションが付与されたポリゴンとして抽出する。付与部１４６は、全てのアノテーション座標について同様の処理を行うことにより、アノテーションが付与されたポリゴン群ＰＡを抽出する。以降、付与部１４６は、上記（１）アノテーション付与処理において説明した処理と同様にして、ポリゴン群ＰＡをテクスチャリングする際に用いられる可能性のあるフレームに対応するアノテーションバッファにアノテーションＩＤを格納する。

〔７−４．広告表示〕
また、上記実施形態では、自由視点映像にアノテーションを表示する例を示したが、かかる自由視点映像は、例えば、ウェブページの一部分に表示される場合がある。ここで、画像処理装置１００は、自由視点映像に表示されているアノテーションに対応する広告コンテンツをウェブページの広告枠に表示してもよい。例えば、自由視点映像にメガネのアノテーションが表示されている場合に、画像処理装置１００は、ウェブページの広告枠にメガネの広告コンテンツを表示させてもよい。

〔７−５．自由視点画像の生成手法〕
また、上記実施形態では、ポリゴンモデルを生成するＳｆＳ法やＰＭＶＳ法を例に挙げて説明したが、上述してきた画像処理装置１００は、ポリゴンモデルを生成しないＩＢＶＨ（Image-Based Visual Hull）法等を用いる場合にも適用することができる。ここで、ＩＢＶＨ法を用いる場合における画像処理装置１００による処理ついて簡単に説明する。なお、以下では、画像処理装置１００が、モデル生成部１４１、テクスチャリング部１４２及びレンダリング部１４３の代わりに「取得部」及び「画像生成部」を有するものとして説明する。

まず、画像処理装置１００の取得部は、自由視点画像を生成する場合に、自由視点画像における座標位置毎に、かかる画素にマッピングするための画素値（表示情報の一例に相当）を自由視点映像記憶部１２１に記憶されている各フレームから取得する。かかる取得処理は、上述したテクスチャリング部１４２によるテクスチャリングと類似しており、射影変換行列を用いることで実現できる。そして、画像生成部は、取得部によって取得された画素値を前述の座標位置にマッピングすることにより、自由視点画像を生成する。そして、画像処理装置１００の付与部１４６は、自由視点画像に対するアノテーションの設定操作が行われた場合に、かかる自由視点画像の生成元となったフレームにアノテーションを付与する。かかる付与処理についても、上述した付与部１４６による処理と類似しており、射影変換行列を用いることで実現できる。そして、画像処理装置１００の取得部は、端末装置２０等に自由視点画像を配信する場合には、自由視点画像にマッピングするための画素値を各フレームから取得する際に、かかるフレームに対応するアノテーションバッファからアノテーションＩＤについても取得する。そして、画像生成部は、自由視点画像に、かかるアノテーションＩＤに対応するアノテーション内容等を重畳させる。このように、画像処理装置１００は、モデル生成部１４１やテクスチャリング部１４２やレンダリング部１４３を有さずに、ポリゴンモデルを生成しない場合であっても、アノテーション付与処理やアノテーション表示処理を実行することができる。

〔７−６．システム構成〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

例えば、図２、図５〜図７、図１０、図１１、図１４等に示した各種情報は、図示した情報に限られない。また、例えば、図２、図４、図８、図９等に示した各種画像に描出されている被写体や、ポリゴンモデルは、模式的に示した例であって、図示したものに限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

例えば、上記実施形態では、画像処理装置１００がサーバ装置である例を示したが、画像処理装置１００は、スタンドアロンで動作する情報処理装置であってもよい。かかる場合には、画像処理装置１００は、ユーザから各種操作を受け付ける入力部や、各種情報を表示するための表示部を有する。

〔７−７．その他〕
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

また、上述した画像処理装置１００は、複数のサーバコンピュータで実現してもよく、また、機能によっては外部のプラットフォーム等をＡＰＩ（Application Programming Interface）やネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。

また、特許請求の範囲に記載した「手段」は、「部（section、module、unit）」や「回路」などに読み替えることができる。例えば、画像生成手段は、画像生成部や画像生成回路に読み替えることができる。

１ 画像配信システム
１００ 画像処理装置
１２０ 映像記憶部
１２１ 自由視点映像記憶部
１２２ 自由視点画像記憶部
１３０ 説明情報記憶部
１３１ アノテーションバッファ
１３２ アノテーション記憶部
１４０ 制御部
１４１ モデル生成部
１４２ テクスチャリング部
１４３ レンダリング部
１４４ 表示制御部
１４５ 受付部
１４６ 付与部

Claims (11)

1. 視点位置が異なる複数の画像データに基づいて、任意の視点位置に対応する自由視点画像を生成する画像生成手段と、
   前記画像生成手段によって生成された自由視点画像に対して、説明情報を設定する操作、及び、当該説明情報を設定する設定座標を指定する操作を受け付ける受付手段と、
   前記受付手段によって受け付けられた前記自由視点画像の設定座標に対応する前記複数の画像データの座標に前記説明情報を付与する付与手段と、
   前記画像生成手段によって生成された新たな自由視点画像とともに、前記説明情報が付与されている前記複数の画像データの座標に対応する当該新たな自由視点画像の領域に前記説明情報を表示制御する表示制御手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記複数の画像データに基づいて３次元モデルを生成するモデル生成手段と、
   前記モデル生成手段によって生成された３次元モデルにおける所定の領域毎に、当該所定の領域に対応する表示情報と、当該所定の領域に対応する説明情報とを前記複数の画像データから取得する取得手段と、をさらに備え、
   前記画像生成手段は、
   前記取得手段によって取得された表示情報が適用された３次元モデルから自由視点画像を生成し、
   前記表示制御手段は、
   前記取得手段によって取得された説明情報を前記新たな自由視点画像に表示制御する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記新たな自由視点画像の所定位置毎に、当該所定位置に対応する表示情報と、当該所定位置に対応する説明情報とを前記複数の画像データから取得する取得手段、をさらに備え、
   前記画像生成手段は、
   前記取得手段によって取得された表示情報を前記所定位置に配置することにより前記新たな自由視点画像を生成し、
   前記表示制御手段は、
   前記取得手段によって取得された説明情報を前記新たな自由視点画像に表示制御する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記画像生成手段は、
   前記複数の画像データとして、視点位置が異なる複数の映像データに含まれる所定時刻に対応する複数の画像データに基づいて自由視点画像を生成し、
   前記付与手段は、
   前記視点位置毎に、前記説明情報を付与した画像データの説明領域を追跡対象として、前記所定時刻と異なる時刻の画像データについて前記説明領域に対応する領域を追跡し、追跡した領域に当該説明情報を付与する
   ことを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
5. 前記付与手段は、
   前記視点位置毎に、前記説明領域を追跡する処理の精度を示す追跡精度を算出し、
   前記表示制御手段は、
   前記新たな自由視点画像の同一座標に対応する複数の説明情報が異なる画像データに付与されている場合に、当該異なる画像データのうち前記追跡精度の高い画像データに付与されている説明情報を表示制御する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記表示制御手段は、
   前記新たな自由視点画像の同一座標に対応する複数の説明情報が異なる画像データに付与されている場合に、当該異なる画像データのうち、当該新たな自由視点画像の視点位置に最も近い視点位置の画像データに付与されている説明情報を表示制御する
   ことを特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
7. 前記受付手段は、
   前記複数の画像データのうち、所定の視点位置に対応する画像データに対して、前記説明情報とともに当該説明情報を設定する座標を指定する操作を受け付け、
   前記付与手段は、
   前記受付手段によって受け付けられた前記画像データの座標に前記説明情報を付与する ことを特徴とする請求項１〜６のいずれか一つに記載の画像処理装置。
8. 前記表示制御手段は、
   前記自由視点画像の視点位置が変更された場合に、変更後の視点位置と正対するように前記説明情報を表示制御する
   ことを特徴とする請求項１〜７のいずれか一つに記載の画像処理装置。
9. 前記表示制御手段は、
   前記自由視点画像の視点位置が変更された場合に、当該自由視点画像とともに前記説明情報の表示方向を変更する
   ことを特徴とする請求項１〜８のいずれか一つに記載の画像処理装置。
10. 画像処理装置が実行する画像処理方法であって、
    視点位置が異なる複数の画像データに基づいて、任意の視点位置に対応する自由視点画像を生成する画像生成工程と、
    前記画像生成工程によって生成された自由視点画像に対して、説明情報を設定する操作、及び、当該説明情報を設定する設定座標を指定する操作を受け付ける受付工程と、
    前記受付工程によって受け付けられた前記自由視点画像の設定座標に対応する前記複数の画像データの座標に前記説明情報を付与する付与工程と、
    前記画像生成工程によって生成された新たな自由視点画像とともに、前記説明情報が付与されている前記複数の画像データの座標に対応する当該新たな自由視点画像の領域に前記説明情報を表示制御する表示制御工程と、
    を含んだことを特徴とする画像処理方法。
11. 視点位置が異なる複数の画像データに基づいて、任意の視点位置に対応する自由視点画像を生成する画像生成手順と、
    前記画像生成手順によって生成された自由視点画像に対して、説明情報を設定する操作、及び、当該説明情報を設定する設定座標を指定する操作を受け付ける受付手順と、
    前記受付手順によって受け付けられた前記自由視点画像の設定座標に対応する前記複数の画像データの座標に前記説明情報を付与する付与手順と、
    前記画像生成手順によって生成された新たな自由視点画像とともに、前記説明情報が付与されている前記複数の画像データの座標に対応する当該新たな自由視点画像の領域に前記説明情報を表示制御する表示制御手順と、
    をコンピュータに実行させることを特徴とする画像処理プログラム。

Images