JP2021064920A - 画像提示プログラム、画像提示方法及び画像提示装置 - Google Patents

Abstract

【課題】自習時に第１の被写体及び第２の被写体の比較が容易な提示を実現すること。【解決手段】画像提示プログラムは、第１の被写体及び第２の被写体ごとに所定のレッスンが行われる３次元空間上の位置、大きさ及び向きを取得し、第１の被写体の３次元空間上の位置、大きさ及び向きに基づいて基準とする向きおよび大きさで第１の被写体の画像が生成される第１の仮想カメラの位置を設定すると共に、第２の被写体の３次元空間上の位置、大きさおよび向きに基づいて基準とする向きおよび大きさで第２の被写体の画像が生成される第２の仮想カメラの位置を設定し、３次元空間を撮像する複数のカメラにより同一時刻に撮像された複数の画像を用いて、第１の仮想カメラの位置に対応する第１の被写体の画像を生成すると共に、第２の仮想カメラの位置に対応する第２の被写体の画像を生成し、第１の被写体の画像および第２の被写体の画像を提示する、処理をコンピュータに実行させる。【選択図】図４

Description

本発明は、画像提示プログラム、画像提示方法及び画像提示装置に関する。

ダンスやスポーツ、体操などの各種のスタジオレッスンが知られている。例えば、スタジオレッスンでは、１人の先生につき複数の生徒が付き、スタジオで同じ内容のレッスンを一斉に行うグループレッスンが採用されることがある。

ところが、スタジオレッスンには、時間的余裕および経済的余裕が十分になければ、高頻度に通うことが困難である場合がある。このようにレッスンの頻度が低頻度になりやすい上、グループレッスンでは、１人の先生が受け持つ生徒の数が多いので、個々の生徒への指導が行き届かないことも多い。これらの要因が重なって、生徒の技量がなかなか上達しにくい側面があるので、レッスンの継続が困難である生徒も多く、生徒の定着率が下がる要因となっている。

このことから、欠席時のレッスン内容を閲覧したり、さらには技能の習得に有効な映像閲覧が可能な映像配信システムが提案されている。例えば、映像配信システムでは、ダンスクラスのレッスン空間において第１の被写体（例えばインストラクター）を撮影する第１カメラと、同じレッスン空間で第２の被写体（例えば生徒全体）を撮影する第２カメラとを設置する。そして、第１カメラの撮影映像である第１の映像コンテンツおよび第２カメラの撮影映像である第２の映像コンテンツの各々を、クラス及び日時に関する同一の属性情報を関連づけて保存する。その上で、外部端末（ユーザ端末）から受け付けた閲覧要求のユーザ情報に対応する属性情報が関連付けられた第１の映像コンテンツおよび第２の映像コンテンツのうち、外部端末からの指定情報で指定された映像コンテンツを外部端末に配信する。

特開２０１０−１６６３２２号公報 特開２０１４−１８３５６０号公報 特開２０１８−５５６４４号公報 特開２０１４−４０４５号公報

しかしながら、上記の技術では、第１の被写体及び第２の被写体が異なる向き及び／又は大きさで映る映像コンテンツが配信されるので、第１の被写体及び第２の被写体の比較が困難である。

すなわち、上記の映像配信システムでは、第１カメラにより撮影される第１の被写体の向き及び大きさと、第２カメラにより撮影される第２の被写体の向き及び大きさとが異なる。このため、第１の被写体及び第２の被写体の互いの向き及び大きさが異なる第１の映像コンテンツ及び第２の映像コンテンツが表示されたとしても、第１の被写体及び第２の被写体の姿勢や動作などの差分を確認することは困難である。このような差分が確認できなければ、改善のポイントが把握できないので、課外での自習に有効活用することも困難である。

１つの側面では、本発明は、自習時に第１の被写体及び第２の被写体の比較が容易な提示を実現できる画像提示プログラム、画像提示方法及び画像提示装置を提供することを目的とする。

一態様では、画像提示プログラムは、第１の被写体及び第２の被写体ごとに所定のレッスンが行われる３次元空間上の位置、大きさ及び向きを取得し、前記第１の被写体の３次元空間上の位置、大きさ及び向きに基づいて基準とする向きおよび大きさで前記第１の被写体の画像が生成される第１の仮想カメラの位置を設定すると共に、前記第２の被写体の３次元空間上の位置、大きさおよび向きに基づいて前記基準とする向きおよび大きさで前記第２の被写体の画像が生成される第２の仮想カメラの位置を設定し、前記３次元空間を撮像する複数のカメラにより同一時刻に撮像された複数の画像を用いて、前記第１の仮想カメラの位置に対応する第１の被写体の画像を生成すると共に、前記第２の仮想カメラの位置に対応する第２の被写体の画像を生成し、前記第１の被写体の画像および前記第２の被写体の画像を提示する、処理をコンピュータに実行させる。

自習時に第１の被写体及び第２の被写体の比較が容易な提示を実現できる。

図１は、実施例１に係るシステムの構成例を示す図である。 図２Ａは、カメラの配置パターンの一例を示す図である。 図２Ｂは、カメラの配置パターンの一例を示す図である。 図２Ｃは、カメラの配置パターンの一例を示す図である。 図３Ａは、画像の一例を示す図である。 図３Ｂは、Ｖｉｓｕａｌ Ｈｕｌｌの一例を示す図である。 図３Ｃは、レンダリングの一例を示す図である。 図４は、生徒端末の表示画面の一例を示す図である。 図５は、実施例１に係る画像提示装置の機能的構成の一例を示すブロック図である。 図６は、実施例１に係る３次元形状の算出処理の手順を示すフローチャートである。 図７は、実施例１に係る画像提示処理の制御シーケンスを示す図である。 図８は、実施例１に係る画像生成処理の手順を示すフローチャートである。 図９は、実施例２に係る画像提示装置の機能的構成の一例を示す図である。 図１０は、生徒端末の表示画面の一例を示す図である。 図１１Ａは、コメントデータの一例を示す図である。 図１１Ｂは、コメントデータの一例を示す図である。 図１２は、生徒端末の表示画面の一例を示す図である。 図１３は、ハードウェア構成の一例を示す図である。

以下に添付図面を参照して本願に係る画像提示プログラム、画像提示方法及び画像提示装置について説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

［レッスンの一例］
以下、レッスンのあくまで一例として、ダンスレッスンを例に挙げるが、ヨガやピラティスなどの体操のレッスンであってもよいし、ゴルフやテニスなどのスポーツのレッスンであってもかまわない。さらに、ダンスレッスンには、１人の先生につき複数の生徒が付き、スタジオで同じ内容のレッスンを一斉に行うグループレッスンが採用される場合を例示する。

ここで言う「先生」及び「生徒」は、レッスンにおける役割を識別するラベルに過ぎない。すなわち、上記の「先生」とは、レッスンにおいて教える側の者を総称するラベルであり、例えば、インストラクタやコーチ、これらに類する呼称などもその範疇に含まれ得る。また、上記の「生徒」とは、レッスンにおいて教わる側の者を総称するラベルであり、例えば、受講者やこれに類する呼称などもその範疇に含まれ得る。

［レッスンの現状］
スタジオレッスンには、時間的余裕および経済的余裕が十分になければ、高頻度に通うことが困難である。このようにレッスンの頻度が低頻度になりやすい上、グループレッスンでは、１人の先生が受け持つ生徒の数が多いので、個々の生徒への指導が行き届かないことも多い。これらの要因が重なって、生徒の技量がなかなか上達しにくい側面があるので、レッスンの継続が困難である生徒も多く、生徒の定着率が下がる要因となっている。

ダンスレッスンの場合、初心者には難しいプログラムであるが、インストラクタ等の先生の指導が行き届かず、生徒の技量がなかなかうまくなれない。例えば、インストラクタの指示に疑問点や不明点がある場合であっても、他の生徒を前にしてレッスンの最中にインストラクタへの質問を行うハードルは高い。さらに、ダンスの技量をスコア等の数値によって評価することは困難であるので、生徒が自分の上達具合を実感するのが難しい。

このようなことから、ダンスレッスンの教室通いが続かない要因を次のように整理できる。

（１）インストラクタは全員を見られない＝指導が行き届かない
（２）分からないことだらけで、置いてけぼりになりやすい
（３）その場でインストラクタに聞く勇気は無い

これら（１）〜（３）の要因によって、「どうすれば良いか分からない、不安だらけで楽しくない」といった心理状態に陥りやすくなる。

（イ）初心者コースのはずが既にハイレベル
（ロ）基礎が不十分なうちにいきなり振り付け中心のレッスンになる
（ハ）週１回の低頻度のレッスンでは絶対的に練習時間が足りない

上記（ロ）を補足すれば、ダンスレッスンのプログラムがはじまりの挨拶、ウォーミングアップ、基礎練習、振り付け練習、終わりの挨拶といったスケジュールが定められていたとしても、振り付け練習によってその他の練習時間が圧迫される場合がある。

これら（イ）〜（ハ）の要因によって、「通ってもうまくならない、うまくなっていることを実感できない」といった心理状態に陥りやすくなる。これらの心理状態が相まって、生徒の定着率が下がる要因となっている。このことから、ダンスの上達を早め、レッスンを継続できるソリューションが求められている。

［従来技術］
このような現状においてレッスン中の映像を提供する技術が提案されている。例えば、欠席時のレッスン内容を閲覧したり、さらには技能の習得に有効な映像閲覧が可能な映像配信システムが提案されている。映像配信システムでは、ダンスクラスのレッスン空間において第１の被写体（例えばインストラクター）を撮影する第１カメラと、同じレッスン空間で第２の被写体（例えば生徒全体）を撮影する第２カメラとを設置する。そして、第１カメラの撮影映像である第１の映像コンテンツおよび第２カメラの撮影映像である第２の映像コンテンツの各々を、クラス及び日時に関する同一の属性情報を関連づけて保存する。その上で、外部端末（ユーザ端末）から受け付けた閲覧要求のユーザ情報に対応する属性情報が関連付けられた第１の映像コンテンツおよび第２の映像コンテンツのうち、外部端末からの指定情報で指定された映像コンテンツを外部端末に配信する。

［課題の一側面］
しかしながら、上記の技術では、第１の被写体及び第２の被写体が異なる向き及び／又は大きさで映る映像コンテンツが配信されるので、第１の被写体及び第２の被写体の比較が困難である。

すなわち、上記の映像配信システムでは、第１カメラにより撮影される第１の被写体の向き及び大きさと、第２カメラにより撮影される第２の被写体の向き及び大きさとが異なる。このため、第１の被写体及び第２の被写体の互いの向き及び大きさが異なる第１の映像コンテンツ及び第２の映像コンテンツが表示されたとしても、第１の被写体及び第２の被写体の姿勢や動作などの差分を確認することは困難である。このような差分が確認できなければ、改善のポイントが把握できないので、課外での自習に有効活用することも困難である。

［課題解決のアプローチの一側面］
そこで、本実施例では、同時刻に複数のカメラで撮像される第１の被写体の第１画像と第２の被写体の第２画像を基準の方向および大きさに統一する補正を行い、補正後の第１画像と補正後の第２画像を提示する画像提示サービスを提供する。このような画像提示サービスの実現には、１つの側面として、視点が異なる複数のカメラが撮像する複数のカメラ画像を組み合わせることにより、任意の視点から３次元の被写体が観測される仮想視点の画像を生成する自由視点映像の技術が活用される。

このような画像提示サービスを提供するシステムの一例を示す。図１は、実施例１に係るシステムの構成例を示す図である。図１に示すように、システム１には、カメラ５Ａ〜５Ｄと、画像提示装置１０と、生徒端末３０Ａ〜３０Ｃとが含まれ得る。なお、図１には、あくまで一例として、２人の生徒３Ｓ１及び３Ｓ２を例示したが、生徒の数は図示の例に限定されず、任意の数の生徒がレッスンを受けることとしてもかまわない。

以下では、カメラ５Ａ〜５Ｄのことを「カメラ５」と記載すると共に、生徒端末３０Ａ〜３０Ｃのことを「生徒端末３０」と記載する場合がある。なお、図１には、あくまで一例として、４つのカメラ５及び３つの生徒端末３０を図示したが、任意の数のカメラ５及び任意の数の生徒端末３０がシステム１に含まれることとしてもかまわない。

カメラ５は、画像提示装置１０に接続される。また、画像提示装置１０及び生徒端末３０の間は、所定のネットワークＮＷを介して接続される。例えば、ネットワークＮＷは、有線または無線を問わず、インターネット、ＬＡＮ（Local Area Network）やＶＰＮ（Virtual Private Network）などの任意の種類の通信網により構築することができる。あくまで一例として、図１には、画像提示装置１０がネットワークＮＷを経由して自由視点映像を提示する場合を例示するが、画像提示装置１０及び生徒端末３０の間で必ずしも双方向に通信が行われずともかまわない。例えば、ネットワークＮＷを経由せず、自由視点映像が放送波を介して画像提示装置１０から生徒端末３０へ提供されることとしてもかまわない。

カメラ５は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を搭載する撮像装置の一例である。

例えば、複数のカメラ５の撮影範囲が組み合わさることにより自由視点映像の生成対象とするスタジオＳＴの３次元空間の全域が複数のカメラ５の撮影範囲に収まる配置で各カメラ５が設置される。さらに、２つ以上のカメラ５により撮像されたカメラ画像から３次元空間上に存在する被写体３の３次元形状を算出する側面から、各カメラ５は、他のカメラ５との間で撮影範囲の一部が重複する状態で配置することができる。このような配置の下、複数のカメラ５がフレームごとに同期して撮像することにより、異なる視点ごとに同一のタイミングで撮像された複数の画像、すなわち多視点のカメラ画像がフレーム単位で得られる。なお、当然のことながら、各カメラ５が画像を撮像するフレームレートも同一のフレームレートに統一される。

図２Ａ〜図２Ｃは、カメラ５の配置パターンの一例を示す図である。図２Ａ〜図２Ｃには、あくまで一例として、直方体状に形成されたスタジオＳＴが例示されている。さらに、図２Ａ〜図２Ｃには、第１の被写体の一例として、先生３Ｔが例示されると共に、第２の被写体の一例として、生徒３Ｓ１及び生徒３Ｓ２が例示されている。図２Ａ〜図２Ｃに示すスタジオＳＴでは、先生３Ｔと生徒３Ｓ１及び生徒３Ｓ２とがスタジオＳＴの前方に設置されたミラーＭに向ってダンスを行うことで、ミラーＭに写る像を確認しながらレッスンを行う例が示されている。

例えば、図２Ａには、スタジオＳＴの前方上部の２つのコーナーにカメラ５Ａ及びカメラ５Ｂの２つのカメラが配置された例が示されている。また、図２Ｂには、図２Ａに示されたカメラ５Ａ及びカメラ５Ｂに加えて、スタジオＳＴの前方下部の２つのコーナーにカメラ５Ｃ及びカメラ５Ｄの２つのカメラがさらに配置された例が示されている。さらに、図２Ｃには、図２Ｃに示されたカメラ５Ａ〜５Ｄに加えて、スタジオＳＴの後方上部および後方下部の４つのコーナーにカメラ５Ｅ〜５Ｈの４つのカメラがさらに配置された例が示されている。

これら３つのカメラ５の配置パターンの例で言えば、カメラ５の台数は、多いものから順に、図２Ｃに示された配置パターン、図２Ｂに示された配置パターン、図２Ａに示された配置パターンとなる。このため、コストの一面から言えば、コストが低いものから順に、図２Ａに示された配置パターン、図２Ｂに示された配置パターン、図２Ｃに示された配置パターンとなる。また、自由視点映像の画質の一面から言えば、画質が高いものから順に、図２Ｃに示された配置パターン、図２Ｂに示された配置パターン、図２Ａに示された配置パターンとなる。このように例示された３つのカメラ５の配置パターン、あるいはその他のカメラ５の配置パターンの中から、コスト、画質あるいはその他の観点に基づいて１つの配置パターンを選択することができる。

画像提示装置１０は、上記の画像提示サービスを提供するコンピュータの一例である。

一実施形態として、画像提示装置１０は、パッケージソフトウェア又はオンラインソフトウェアとして、上記の画像提示サービスを実現する画像提示プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、画像提示装置１０は、上記の画像提示サービスを提供するＷｅｂサーバとして実装することとしてもよいし、アウトソーシングによって上記の画像提示サービスを提供するクラウドとして実装することとしてもかまわない。

生徒端末３０は、上記の画像提示サービスの提供を受けるコンピュータの一例である。

一実施形態として、上記の画像提示サービスの提供を受けるユーザの一例である生徒３Ｓ１や３Ｓ２により使用される任意のコンピュータが生徒端末３０に対応する。例えば、生徒端末３０には、スマートフォンや携帯電話機に代表される携帯端末装置などが該当しうる。このような携帯端末装置の他、生徒端末３０は、パーソナルコンピュータやワークステーションなどのデスクトップ型のコンピュータ、あるいはラックトップ型のコンピュータであってかまわない。

［自由視点映像］
上記の画像提示サービスに活用する自由視点映像の技術について説明する。例えば、自由視点映像は、（１）前景背景分離、（２）３次元形状の算出、（３）レンダリングの３つの処理を実行することによって生成される。

（１）前景背景分離
上記の「前景背景分離」とは、各視点に対応するカメラ画像ごとに当該カメラ画像から前景と背景とを分離する処理を指す。ここで言う「前景」とは、スタジオＳＴの３次元空間に存在する物体の中でも先生３Ｔや生徒３Ｓ１及び３Ｓ２などの被写体に対応する一方で、「背景」とは、被写体の背後に存在する光景に対応する。この前景背景分離は、同一のフレームのカメラ画像ごとに並列して実行することもできれば、所定数ずつ順番に実行することもできる。

図３Ａは、画像の一例を示す図である。図３Ａには、ある視点ｐ１に対応するカメラ画像２００が示されると共に、視点ｐ１のカメラ画像２００から生成されたシルエット画像２１０が示されている。前景背景分離には、あくまで一例として、いわゆる背景差分をカメラ画像２００に適用したり、あるいはカメラ画像２００に２次元のグラフカットを適用したりする。これら背景差分やグラフカットを含む任意のアルゴリズムが適用されることによって、各画素が画素値を持つカメラ画像２００から各画素に前景または背景の２値のラベルが割り当てられたシルエット画像２１０が生成される。このシルエット画像２１０では、図３Ａに示すように、カメラ画像２００に含まれる被写体３のシルエットおよび背景が分離される。

（２）３次元形状の算出
上記の「３次元形状の算出」には、一例として、Ｖｉｓｕａｌ−Ｈｕｌｌという技術が用いられる。Ｖｉｓｕａｌ Ｈｕｌｌでは、カメラ５の光学中心とシルエット画像上のシルエットとを結んでできるＣｏｎｅ（視体積）が生成された上で、Ｃｏｎｅ同士が重なる３次元空間上の領域が被写体３の３次元形状として算出される。

図３Ｂは、Ｖｉｓｕａｌ Ｈｕｌｌの一例を示す図である。図３Ｂには、カメラ５Ａ〜５Ｃの３つのカメラ５のシルエット画像２１０Ａ〜２１０ＣがＶｉｓｕａｌ Ｈｕｌｌの算出に用いられる場合が示されている。図３Ｂに示すように、カメラ５Ａ〜５Ｃの各視点に対応するシルエット画像２１０Ａ〜２１０ＣごとにシルエットＳＡ〜ＳＣが３次元空間に投影される。すなわち、シルエットＳＡが投影された場合、カメラ５Ａの光学中心およびシルエット画像２１０Ａ上のシルエットＳＡを結ぶ視体積ＣＡが得られる。さらに、シルエットＳＢが投影された場合、カメラ５Ｂの光学中心およびシルエット画像２１０Ｂ上のシルエットＳＢを結ぶ視体積ＣＢが得られる。さらに、シルエットＳＣが投影された場合、カメラ５Ｃの光学中心およびシルエット画像２１０Ｃ上のシルエットＳＣを結ぶ視体積ＣＣが得られる。これら視体積ＣＡ〜ＣＣが重複するＶｉｓｕａｌ Ｈｕｌｌ領域、すなわち図３Ｂに示す黒の塗り潰しの３次元モデルが被写体３の３次元形状として算出される。

（３）レンダリング
上記の「レンダリング」とは、仮想視点に対応するカメラ画像、いわゆる自由視点映像を多視点のカメラ画像を用いて生成する処理を指す。ここで言う「仮想視点」とは、仮想カメラに与えられる視点を指し、例えば、仮想カメラがスタジオＳＴの３次元空間上に配置される位置や姿勢などによって表される。例えば、仮想視点の位置は、カメラ５が配置される位置に限定されず、スタジオＳＴの３次元空間内の任意の位置であってよく、画像提示装置１０によるシステム設定又は生徒端末３０によるユーザ設定により指定される。

図３Ｃは、レンダリングの一例を示す図である。図３Ｃには、仮想カメラＶｃの位置がカメラ５Ｂおよびカメラ５Ｃの間に設定される場合が示されている。図３Ｃに示すように、仮想カメラＶｃに対応するカメラ画像の画素ごとに、仮想カメラＶｃの光学中心および画素を通る直線と、３次元形状が算出された３次元モデルとの交点の３次元空間上の位置が求められる（Ｓ１）。続いて、カメラ５の位置や姿勢などの外部パラメータ及びカメラ５の画角やレンズの歪みなどの内部パラメータが設定されたカメラパラメータにしたがって、上記の交点が各視点に対応するカメラ画像に投影される。ここでは、一例として、仮想カメラＶｃからの距離が近い所定数のカメラ５のカメラ画像、すなわちカメラ５ＢおよびカメラＣの２つのカメラ画像２００Ｂおよび２００Ｃに上記の交点が投影される（Ｓ２Ｂ及びＳ２Ｃ）。これにより、仮想カメラＶｃの画素に対応するカメラ５Ｂの画素およびカメラ５Ｃの画素が特定される。

その後、カメラ５Ｂにより撮像されたカメラ画像のうち仮想カメラＶｃの画素に対応するカメラ５Ｂの画素が有する画素値と、カメラ５Ｃにより撮像されたカメラ画像のうちカメラ５Ｃの画素が有する画素値とが参照される（Ｓ３Ｂ及びＳ３Ｃ）。例えば、仮想カメラＶｃの画素に対応するカメラ５Ｂの画素の画素値と、仮想カメラＶｃの画素に対応するカメラ５Ｃの画素の画素値との統計値、例えば相加平均または仮想カメラＶｃとの距離を用いる加重平均などが仮想カメラＶｃの画素の画素値として決定される。

このように仮想カメラＶｃの画素ごとに画素値を決定することで、仮想視点に対応する自由視点映像がレンダリングされる。なお、ここでは、複数のカメラ５のカメラ画像を用いて自由視点映像がレンダリングされる場合を例示したが、仮想カメラＶｃとの距離が最も近い最寄りのカメラ５のカメラ画像に絞って自由視点映像のレンダリングに用いることもできる。

［画像提示サービスの提供例］
あくまで一例として、画像提示装置１０は、カメラ５にレッスンの動画を撮像させる。例えば、スタジオＳＴで行われるレッスンの時間割りが登録されたスケジュール情報にしたがってレッスンの開始から終了までカメラ５ごとにスタジオＳＴで行われるレッスンの動画を撮像させる。このようにカメラ５ごとに撮像されたレッスンの動画の同一時刻のフレームに対応するカメラ画像ごとに（１）前景背景分離が行われる。これにより、第１の被写体の一例である先生のシルエットおよび第２の被写体の一例である生徒のシルエットを含むシルエット画像がカメラ５ごとに得られる。さらに、同一時刻のフレームごとに各シルエット画像を用いて（２）３次元形状の算出が行われる。これにより、同一時刻のフレームごとに先生および生徒の３次元空間上の位置、大きさ及び向きが算出された上で保存される。

このように各フレームにおける先生および生徒の３次元空間上の位置、大きさ及び向きが保存された状況の下、画像提示装置１０は、生徒端末３０から画像提示のリクエストを受け付けることができる。

あくまで一例として、生徒端末３０から画像提示装置１０へリクエストが行われる場合、上記の画像提示サービスのアカウントへのログインを受け付けた後に、ログイン認証に成功した生徒端末３０から画像提示の対象とするレッスンの識別情報の指定を受け付ける。このレッスンの識別情報により、カメラ５が撮像するレッスンの動画のうち画像提示の対象とする動画を識別できると共に、当該レッスンで指導を行う先生を識別できる。さらに、上記の画像提示サービスのアカウントへのログインにより、レッスンに参加する生徒のうち画像提示の対象とする生徒を識別できる。

その後、画像提示装置１０は、各カメラ５で撮像されたレッスンの動画に含まれる同一時刻のフレームごとに、次のような処理を行う。例えば、画像提示装置１０は、画像提示の対象とする先生の３次元空間上の位置、大きさ及び向きに基づいて画像提示の対象とする先生が基準とする向きおよび大きさでレンダリングされる先生用の仮想カメラの位置を設定する。さらに、画像提示装置１０は、画像提示の対象とする生徒の３次元空間上の位置、大きさ及び向きに基づいて画像提示の対象とする生徒が基準とする向きおよび基準とする大きさでレンダリングされる生徒用の仮想カメラの位置を設定する。

そして、画像提示装置１０は、同一時刻のフレームごとに、次のような処理を行う。例えば、画像提示装置１０は、先生用の仮想カメラの位置に基づいて画像提示の対象とする先生の画像をレンダリングする。さらに、画像提示装置１０は、生徒用の仮想カメラの位置に基づいて画像提示の対象とする生徒の画像をレンダリングする。その上で、画像提示装置１０は、同一時刻のフレームごとにレンダリングされた先生の画像および生徒の画像を生徒端末３０へ提示する。

図４は、生徒端末３０の表示画面の一例を示す図である。図４には、カメラ５Ａにより撮像されたレッスンの動画のうちあるフレームにおけるカメラ画像２００Ａが示されている。さらに、図４には、レッスンに参加する２人の生徒のうち生徒３Ｓ２のアカウントのログイン認証が成功した生徒端末３０に対し、上記の画像提示サービスにより提示される先生３Ｔの画像および生徒３Ｓ２の画像が示されている。

図４に示すように、カメラ画像２００Ａでは、生徒３Ｓ１および生徒３Ｓ２が映るサイズよりも先生３Ｔが映るサイズの方が大きい。図４には、カメラ５Ａが撮像するカメラ画像２００Ａのみを図示したが、スタジオＳＴにおける先生３Ｔの立ち位置と、生徒３Ｓ１および生徒３Ｓ２の立ち位置とは前後方向にずれているので、異なる視点のカメラ５であっても両者は異なる大きさで映る。このように、カメラ画像２００Ａやその他の視点のカメラ画像が提示されたとしても、先生３Ｔおよび生徒３Ｓ２の間で大きさが異なるので、先生３Ｔおよび生徒３Ｓ２の姿勢や動作などの差分が確認しづらい。

また、カメラ画像２００Ａでは、先生３Ｔが映る向きと、生徒３Ｓ２が映る向きとが異なる。図４には、カメラ５Ａが撮像するカメラ画像２００Ａのみを図示したが、異なる視点のカメラ５であっても両者は異なる向きで映る。このように、カメラ画像２００Ａやその他の視点のカメラ画像が提示されたとしても、先生３Ｔおよび生徒３Ｓ２の間で向きが異なるので、先生３Ｔおよび生徒３Ｓ２の姿勢や動作などの差分が確認しづらい。

さらに、カメラ画像２００Ａには、先生３Ｔや生徒３Ｓ２の他、生徒３Ｓ２のアカウントと無関係な他の生徒、すなわち生徒３Ｓ１も含まれる。このように他の生徒が混じったカメラ画像２００Ａやその他の視点のカメラ画像が提示されるのは、プライバシー侵害や個人情報の保護の観点から好ましくない。さらに、図４の例では、２名の生徒を例示したが、生徒数が増加するほど自分を見つけるのが困難となり、さらに、他の生徒に隠れて自分の視認性が低下する可能性が高くなる。

一方、本実施例に係る画像提示サービスを通じて生徒端末３０に提示される先生３Ｔの画像３１および生徒３Ｓ２の画像３２によれば、先生３Ｔおよび生徒３Ｓ２の向きがいずれも正面に統一される。さらに、先生３Ｔおよび生徒３Ｓ２の大きさがいずれも同程度のサイズに統一される。このように、先生３Ｔおよび生徒３Ｓ２が同一の向きおよび同一の大きさで提示されるので、先生３Ｔおよび生徒３Ｓ２の姿勢や動作などの差分が確認しやすい。それ故、ダンスの改善のポイントを把握できる可能性が高まる。例えば、図４に示す例で言えば、先生３Ｔの右足の高さと、生徒３Ｓ２の右足の高さとの違いが確認しやすくなるので、右足を上げすぎないという改善ポイントを把握できる。

したがって、本実施例に係る画像提示装置１０によれば、自習時に第１の被写体及び第２の被写体の比較が容易な提示を実現することが可能になる。この結果、課外での自習の支援を実現できる。さらに、本実施例に係る画像提示装置１０によれば、上記の画像提示サービスの提供を受ける生徒以外の他の生徒が混じった画像の提示を抑制できる。このため、プライバシー侵害を抑制し、また、個人情報の保護のコンプライアンスを遵守できる。さらに、生徒数が増加しても自分を見つける手間を不要化すると共に、他の生徒に隠れて自分の視認性が低下する事態も抑制できる。

［画像提示装置１０の構成］
図５は、実施例１に係る画像提示装置１０の機能的構成の一例を示すブロック図である。図５に示すように、画像提示装置１０は、通信インタフェイス１１と、記憶部１３と、制御部１５とを有する。なお、図５には、上記の画像提示サービスに関連する機能部が抜粋して示されているに過ぎず、図示以外の機能部、例えば既存のコンピュータがデフォルトまたはオプションで装備する機能部が画像提示装置１０に備わることを妨げない。

通信インタフェイス１１は、他の装置、例えばカメラ５や生徒端末３０との間で通信制御を行うインタフェイスである。

あくまで一例として、通信インタフェイス１１には、ＬＡＮカードなどのネットワークインタフェイスカードを採用することができる。例えば、通信インタフェイス１１は、各カメラ５へ動画の撮像開始指示や撮像終了指示を通知したり、また、各カメラ５からレッスンの動画を受信したりする。また、通信インタフェイス１１は、生徒端末３０から画像提示のリクエストを受け付けたり、また、第１の被写体の画像及び第２の被写体の画像を含む自習用の動画を端末装置３０へ配信したりする。

記憶部１３は、制御部１５で実行されるＯＳ（Operating System）を始め、上記の画像提示プログラムなどの各種プログラムに用いられるデータを記憶するハードウェアに対応する。

一実施形態として、記憶部１３は、画像提示装置１０における補助記憶装置に対応する。例えば、ＨＤＤ（Hard Disk Drive）、光ディスクやＳＳＤ（Solid State Drive）などが補助記憶装置に対応する。この他、ＥＰＲＯＭ（Erasable Programmable Read Only Memory)などのフラッシュメモリも補助記憶装置に対応し得る。

記憶部１３は、制御部１５で実行されるプログラムに用いられるデータの一例として、動画データ１３Ａと、３次元形状データ１３Ｂとを記憶する。これら動画データ１３Ａ及び３次元形状データ１３Ｂ以外にも、記憶部１３は、各種のデータを記憶することができる。例えば、記憶部１３は、レッスンごとに開始日時及び終了日時の時間割や先生及び生徒などの参加者の識別情報が対応付けられたレッスン情報の他、先生や生徒のアカウント情報を記憶することができる。これら先生及び生徒のアカウント情報には、先生や生徒の顔画像をさらに関連付けて保存することもできる。この他、記憶部１３は、カメラ５の位置や向きなどの外部パラメータ及びカメラ５の画角やレンズの歪みなどの内部パラメータを含むカメラパラメータなども記憶することができる。なお、動画データ１３Ａ及び３次元形状データ１３Ｂの説明は、各データの登録または参照が行われる制御部１５の説明と合わせて行うこととする。

制御部１５は、画像提示装置１０の全体制御を行う処理部である。

一実施形態として、制御部１５は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などのハードウェアプロセッサにより実装することができる。ここでは、プロセッサの一例として、ＣＰＵやＭＰＵを例示したが、汎用型および特化型を問わず、任意のプロセッサにより実装することができる。この他、制御部１５は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによって実現されることとしてもかまわない。

制御部１５は、図示しない主記憶装置として実装されるＤＲＡＭ（Dynamic Random Access Memory）などのＲＡＭのワークエリア上に、上記の画像提示プログラムを展開することにより、下記の処理部を仮想的に実現する。なお、ここでは、上記の画像提示サービスに対応する機能がパッケージ化された画像提示プログラムが実行される例を挙げたが、これに限定されない。例えば、上記の画像提示サービスが提供する機能のうちの一部の機能、例えばレッスンの動画から３次元形状を算出するまでの機能や生徒端末３０からのリクエストに従って第１の被写体の画像及び第２の被写体の画像を提示する機能などをモジュール化することもできる。この場合、各機能に対応するプログラムモジュールの実行主体は異なる事業者のコンピュータであってもかまわない。

制御部１５は、図５に示すように、取得部１５Ａと、分離部１５Ｂと、算出部１５Ｃと、受付部１５Ｄと、設定部１５Ｅと、生成部１５Ｆと、提示部１５Ｇとを有する。

取得部１５Ａは、レッスンの動画を取得する処理部である。

一実施形態として、取得部１５Ａは、スタジオＳＴで行われるレッスンの時間割りが登録されたスケジュール情報（不図示）を参照して、各カメラ５に動画をレッスン単位で撮像させる。例えば、取得部１５Ａは、スケジュール情報に含まれるレッスンのいずれかの開始時間になると、各カメラ５にレッスンの動画の撮像開始指示を通知する。その後、取得部１５Ａは、上記のレッスンの終了時間になると、各カメラ５にレッスンの動画の撮像終了指示を通知する。これによって、レッスンの開始から終了までの動画がカメラ５ごとに取得される。このようにカメラ５ごとに取得されたレッスンの動画は、動画データ１３Ａとして記憶部１３に保存される。この際、レッスンの動画に含まれる各フレームの画像には、色調を補正する色補正やカメラ５の内部パラメータを用いたレンズの歪み補正などが行われることとしてもかまわない。

以下では、あくまで一例として、分離部１５Ｂによる前景背景分離がシングルスレッドで実行される例を挙げて説明するが、これに限定されない。例えば、カメラ５の視点ごとに、分離部１５Ｂによる前景背景分離がマルチスレッドで並列処理されることとしてもかまわない。このようにマルチスレッドで並列処理される場合、分離部１５Ｂは、カメラ５の視点の数に対応するスレッド数まで並列して動作させることができる。

分離部１５Ｂは、前景背景分離を行う処理部である。

一実施形態として、分離部１５Ｂは、取得部１５Ａにより取得されるレッスンの動画の同一時刻のフレームに対応するカメラ画像ごとに、いわゆる背景差分により前景に対応するシルエットを抽出する。例えば、時系列に取得されるカメラ画像のうち、前景が観測されない可能性が高いフレームの画像を背景画像として保存しておく。例えば、背景画像には、所定のフレーム数にわたってフレーム間の差分が検出されなかったフレームの画像などを用いることができる。このような背景画像が保存された下で、分離部１５Ｂは、最新のフレームに対応するカメラ画像と背景画像との間で画素値の差が所定の閾値以上であるか否かにより、前景または背景のラベルを画素ごとに割り当てる。これによって、画素ごとに前景または背景のラベルが割り当てられたシルエット画像が得られる。なお、ここでは、一例として、背景差分により前景背景分離が行われる例を挙げたが、２次元または３次元のグラフカットにより前景背景分離を行うこととしてもかまわない。

算出部１５Ｃは、３次元形状を算出する処理部である。

一実施形態として、算出部１５Ｃは、レッスンの動画における同一時刻のフレームごとに、分離部１５Ｂにより各カメラ５の視点ごとに生成されたシルエット画像を用いて、シルエット画像に含まれる各シルエットの３次元形状を算出することができる。この３次元形状の算出には、図３Ｂを用いて上述したＶｉｓｕａｌ−Ｈｕｌｌを適用することができる。Ｖｉｓｕａｌ Ｈｕｌｌでは、カメラ５の光学中心とシルエット画像上のシルエットとを結んでできるＣｏｎｅが生成された上で、Ｃｏｎｅ同士が重なる３次元空間上の領域が前景に対応する被写体３の３次元形状として算出される。例えば、図３Ｂに示すように、算出部１５Ｃは、カメラ５Ａ〜５Ｃの各視点に対応するシルエット画像２１０Ａ〜２１０ＣごとにシルエットＳＡ〜ＳＣを３次元空間に投影する。例えば、シルエットＳＡが投影された場合、カメラ５Ａの光学中心およびシルエット画像２１０Ａ上のシルエットＳＡを結ぶ視体積ＣＡが得られる。さらに、シルエットＳＢが投影された場合、カメラ５Ｂの光学中心およびシルエット画像２１０Ｂ上のシルエットＳＢを結ぶ視体積ＣＢが得られる。さらに、シルエットＳＣが投影された場合、カメラ５Ｃの光学中心およびシルエット画像２１０Ｃ上のシルエットＳＣを結ぶ視体積ＣＣが得られる。これら視体積ＣＡ〜ＣＣが重複するＶｉｓｕａｌ Ｈｕｌｌ領域、すなわち図３Ｂに示す黒の塗り潰しの３次元形状が被写体３の３次元モデルとして得られる。

このように３次元形状が算出された上で、算出部１５Ｃは、シルエット画像のシルエットに対応する被写体ごとに３次元形状の共通座標系の被写体の位置、例えばスタジオＳＴの３次元空間上の被写体の位置を算出する。さらに、算出部１５Ｃは、被写体ごとにスタジオＳＴの３次元空間における被写体の大きさ及び向きを算出する。例えば、被写体の大きさとして、被写体の身長などを算出することができる。また、被写体の向きとして、被写体の顔や胴体の正面が向いている方向などを算出することができる。その上で、算出部１５Ｃは、各被写体の顔画像と、当該レッスンの参加者に対応する先生の顔画像及び各生徒の顔画像とを照合することにより、各被写体に対応する先生の識別情報または生徒の識別情報を特定する。その後、算出部１５Ｃは、各フレームから抽出された各被写体の位置、大きさ、向き、及び、先生の識別情報または生徒の識別情報が当該レッスンの識別情報に対応付けられた３次元形状データ１３Ｂを記憶部１３に保存する。

受付部１５Ｄは、生徒端末３０から画像提示のリクエストを受け付ける処理部である。

一実施形態として、受付部１５Ｄは、上記の画像提示サービスのアカウントのログイン認証に成功した生徒端末３０から画像提示の対象とするレッスンの識別情報の指定を画像提示のリクエストとして受け付ける。続いて、受付部１５Ｄは、上記の画像提示のリクエストで指定を受け付けたレッスンの識別情報から、記憶部１３に保存された動画データ１３Ａに含まれるレッスンの動画のうち画像提示のリクエストに対応するレッスンの動画を特定する。さらに、受付部１５Ｄは、上記の画像提示のリクエストで指定を受け付けたレッスンの識別情報から当該レッスンで指導を行う先生を第１の被写体として特定する。さらに、受付部１５Ｄは、上記の画像提示のリクエストを行うアカウントから、当該レッスンに参加する生徒のうち画像提示のリクエストに対応する生徒を第２の被写体として特定する。

設定部１５Ｅは、第１の被写体及び第２の被写体ごとに仮想カメラの位置を設定する処理部である。なお、設定部１５Ｅは、取得部の一例にも対応する。

一実施形態として、設定部１５Ｅは、画像提示のリクエストに対応するレッスンの動画に含まれるフレームごとに、次のような処理を行う。例えば、設定部１５Ｅは、画像提示のリクエストに対応するレッスンの動画に含まれるフレームを１つ選択する。続いて、設定部１５Ｅは、第１の被写体および第２の被写体ごとに、記憶部１３に記憶された３次元形状データ１３Ｂのうち選択中のフレームに対応する位置、大きさおよび向きを取得する。その上で、設定部１５Ｅは、第１の被写体の３次元空間上の位置、大きさおよび向きに基づいて第１の被写体が基準とする向きおよび基準とする大きさでレンダリングされる第１の被写体用の仮想カメラの位置を設定すると共に、第２の被写体の３次元空間上の位置、大きさおよび向きに基づいて第２の被写体が基準とする向きおよび基準とする大きさでレンダリングされる第２の被写体用の仮想カメラの位置を設定する。例えば、基準とする向きの一例として、顔の真正面を採用することができる。また、基準とする大きさの一例として、身長に関する所定値、例えばシルエットの高さ方向のピクセル数の所定値を採用することができる。ここで挙げる基準の「向き」や「大きさ」は、あくまで一例に過ぎず、生徒端末３０から基準の「向き」及び「大きさ」のユーザ設定を受け付けることができるのは言うまでもない。

生成部１５Ｆは、第１の被写体の画像および第２の被写体の画像を生成する処理部である。

一実施形態として、生成部１５Ｆは、画像提示のリクエストに対応するレッスンの動画に含まれるフレームごとに、次のような処理を行う。すなわち、生成部１５Ｆは、図３Ｃを用いて説明した通り、第１の被写体用の仮想カメラの位置に対応する第１の被写体の自由視点映像をレンダリングすると共に、第２の被写体用の仮想カメラの位置に対応する第２の被写体の自由視点映像をレンダリングする。このとき、第１の被写体の画像および第２の被写体の画像として、第１の被写体のシルエットに対応する形状の第１の被写体の画像および第２の被写体のシルエットに対応する形状の第２の被写体の画像を生成することもできれば、第１の被写体および第２の被写体に加えてこれらの背景の一部を含めた矩形状又は楕円状の第１の被写体の画像及び第２の被写体の画像を生成することもできる。

提示部１５Ｇは、第１の被写体の画像および第２の被写体の画像を提示する処理部である。

一実施形態として、提示部１５Ｇは、生成部１５Ｆによりレッスンの動画のフレームごとに生成された第１の被写体の動画および第２の被写体の動画が所定のレイアウトで埋め込まれた動画再生用画面を生徒端末３０へ提示する。例えば、動画再生用画面には、第１の被写体の動画の再生領域および第２の被写体の動画の再生領域を左右に並べて配置することができる。このような動画再生用画面が提示された生徒端末３０では、第１の被写体の動画および第２の被写体の動画のフレームを同期して再生を行うことができる。

［処理の流れ］
次に、本実施例に係る画像提示装置１０の処理の流れについて説明する。ここでは、画像提示装置１０により実行される（１）３次元形状の算出処理を説明した後に、画像提示装置１０及び生徒端末３０間で行われる（２）画像提示処理の制御シーケンス、画像提示処理のサブフローとして行われる（３）画像生成処理について説明する。

（１）３次元形状の算出処理
図６は、実施例１に係る３次元形状の算出処理の手順を示すフローチャートである。この処理は、あくまで一例として、取得部１５Ａによりレッスンの動画が取得された場合にレッスンの動画における同一時刻のフレームごとに行われる。

図６に示すように、分離部１５Ｂは、取得部１５Ａにより取得されるレッスンの動画の同一時刻のフレームに対応するカメラ画像ごとに、背景差分等により前景に対応するシルエットを抽出することにより、シルエット画像を生成する（ステップＳ１０１）。

続いて、算出部１５Ｃは、ステップＳ１０１でカメラ画像ごとに生成されたシルエット画像を用いて、シルエット画像に含まれる各シルエットの３次元形状を算出する（ステップＳ１０２）。

そして、算出部１５Ｃは、ステップＳ１０１で生成されたシルエット画像のシルエットに対応する被写体ごとに３次元形状の共通座標系の被写体の位置、例えばスタジオＳＴの３次元空間上の被写体の位置を算出する（ステップＳ１０３）。さらに、算出部１５Ｃは、被写体ごとにスタジオＳＴの３次元空間における被写体の大きさ及び向きを算出する（ステップＳ１０４及びステップＳ１０５）。

その上で、算出部１５Ｃは、各被写体の顔画像と、当該レッスンの参加者に対応する先生の顔画像及び各生徒の顔画像とを照合することにより、各被写体に対応する先生の識別情報または生徒の識別情報を特定する（ステップＳ１０６）。

その後、算出部１５Ｃは、フレームごとに当該フレームから抽出された各被写体の位置、大きさ、向き、及び、先生の識別情報または生徒の識別情報が対応付けられた３次元形状データ１３Ｂを記憶部１３に保存し（ステップＳ１０７）、処理を終了する。

（２）画像提示処理の制御シーケンス
図７は、実施例１に係る画像提示処理の制御シーケンスを示す図である。図７に示すように、上記の画像提示サービスのアカウントのログイン認証に成功した生徒端末３０は、画像提示の対象とするレッスンの識別情報の指定を受け付ける（ステップＳ２０１）。そして、生徒端末３０は、画像提示のリクエストを画像提示装置１０へ通知する（ステップＳ２０２）。

一方、画像提示装置１０は、生徒端末３０から画像提示の対象とするレッスンの識別情報の指定を画像提示のリクエストとして受け付ける（ステップＳ２０３）。そして、画像提示装置１０は、第１の被写体が基準とする向きおよび基準とする大きさでレンダリングされた第１の被写体の画像および第２の被写体が基準とする向きおよび基準とする大きさでレンダリングされた第２の被写体の画像をレッスンの動画のフレームごとに生成する「画像生成処理」を実行する（ステップＳ２０４）。

その後、画像提示装置１０は、ステップＳ２０４でレッスンの動画のフレームごとに生成された第１の被写体の動画および第２の被写体の動画が所定のレイアウトで埋め込まれた動画再生用画面を生徒端末３０へ提示する（ステップＳ２０５）。そして、動画再生用画面が提示された生徒端末３０では、第１の被写体の動画および第２の被写体の動画のフレームを同期して再生する（ステップＳ２０６）。

（３）画像生成処理
図８は、実施例１に係る画像生成処理の手順を示すフローチャートである。この処理は、図７に示されたステップＳ２０４の処理に対応する。図８に示すように、受付部１５Ｄは、ステップＳ２０１で指定を受け付けたレッスンの識別情報から、記憶部１３に保存された動画データ１３Ａに含まれるレッスンの動画のうち画像提示のリクエストに対応するレッスンの動画を特定する（ステップＳ３０１）。

さらに、受付部１５Ｄは、ステップＳ２０１で指定を受け付けたレッスンの識別情報から当該レッスンで指導を行う先生を第１の被写体として特定する（ステップＳ３０２）。さらに、受付部１５Ｄは、ステップＳ２０２で画像提示のリクエストを行うアカウントから、当該レッスンに参加する生徒のうち画像提示のリクエストに対応する生徒を第２の被写体として特定する（ステップＳ３０３）。

続いて、設定部１５Ｅは、ステップＳ３０１で特定されたレッスンの動画に含まれるフレームを１つ選択する（ステップＳ３０４）。そして、設定部１５Ｅは、第１の被写体および第２の被写体ごとに、記憶部１３に記憶された３次元形状データ１３ＢのうちステップＳ３０４で選択されたフレームに対応する位置、大きさおよび向きを取得する（ステップＳ３０５）。

その上で、設定部１５Ｅは、第１の被写体の３次元空間上の位置、大きさおよび向きに基づいて第１の被写体が基準とする向きおよび基準とする大きさでレンダリングされる第１の被写体用の仮想カメラの位置を設定すると共に、第２の被写体の３次元空間上の位置、大きさおよび向きに基づいて第２の被写体が基準とする向きおよび基準とする大きさでレンダリングされる第２の被写体用の仮想カメラの位置を設定する（ステップＳ３０６）。

その後、生成部１５Ｆは、ステップＳ３０６で設定された第１の被写体用の仮想カメラの位置に対応する第１の被写体の自由視点映像をレンダリングすると共に、ステップＳ３０６で設定された第２の被写体用の仮想カメラの位置に対応する第２の被写体の自由視点映像をレンダリングする（ステップＳ３０７）。

そして、ステップＳ３０１で特定されたレッスンの動画に含まれる全てのフレームが選択されるまで（ステップＳ３０８Ｎｏ）、上記のステップＳ３０４から上記のステップＳ３０７までの処理が繰り返し実行される。その後、ステップＳ３０１で特定されたレッスンの動画に含まれる全てのフレームが選択された場合（ステップＳ３０８Ｙｅｓ）、処理を終了する。

［効果の一側面］
上述してきたように、本実施例に係る画像提示装置１０によれば、自習時に第１の被写体及び第２の被写体の比較が容易な提示を実現することが可能である。この結果、課外での自習の支援を実現できる。さらに、本実施例に係る画像提示装置１０によれば、上記の画像提示サービスの提供を受ける生徒以外の他の生徒が混じった画像の提示を抑制できる。このため、プライバシー侵害を抑制し、また、個人情報の保護のコンプライアンスを遵守できる。さらに、生徒数が増加しても自分を見つける手間を不要化すると共に、他の生徒に隠れて自分の視認性が低下する事態も抑制できる。

さて、本実施例では、上記の実施例１で説明した画像提示サービスに加えて、先生および生徒間のコミュニケーション機能を提供する例を説明する。

図９は、実施例２に係る画像提示装置２０の機能的構成の一例を示す図である。図９に示すシステム２には、図５に示された生徒端末３０に加えて、先生３Ｔにより使用される先生端末５０がさらに含まれ得る。この先生端末５０は、ネットワークＮＷを介して画像提示装置２０へ接続され得る。

なお、図９には、画像提示装置２０に追加される機能部を中心に図示を行う側面から、画像提示装置１０が有する機能部のうち提示部１５Ｇ以外の機能部の図示を省略しているが、図示を省略しただけに過ぎない。すなわち、図９に示す画像提示装置２０にも、図５に示された画像提示装置１０と同様、取得部１５Ａ、分離部１５Ｂ、算出部１５Ｃ、受付部１５Ｄ、設定部１５Ｅ及び生成部１５Ｄなどの機能部も含まれることとして以下の説明を行う。

図９に示すように、画像提示装置２０は、図５に示す画像提示装置１０に比べて、質問受付部２５Ａ、質問通知部２５Ｂ、回答受付部２５Ｃおよび回答通知部２５Ｄを制御部２５がさらに有する点で異なる。さらに、画像提示装置２０は、画像提示装置１０に比べて、生徒端末３０上のコメント表示に用いる生徒用のコメントデータ２４Ａ及び教師端末５０上のコメント表示に用いるコメントデータ２４Ｂを含むコメントデータ２４が記憶部２３に記憶される点で異なる。

質問受付部２５Ａは、生徒端末３０から質問に関するコメントを受け付ける処理部である。以下、質問に関するコメントのことを「質問コメント」と記載する場合がある。

一実施形態として、質問受付部２５Ａは、第１の被写体の動画および第２の被写体の動画の再生時に質問コメントの投稿を受け付けることができる。図１０は、生徒端末の表示画面の一例を示す図である。図１０には、あくまで一例として、生徒端末３０で先生３Ｔの画像３１および生徒３Ｓ２の画像３２が再生中であるタイミングで質問コメントｃ１「足を上げるとふらつくんですが」の投稿を受け付けた例が示されている。

このように動画の再生時に質問コメントの投稿を受け付けた場合、質問受付部２５Ａは、質問コメントが投稿された時点で生徒端末３０に再生中である第１の被写体の画像および第２の被写体の画像のフレームに質問コメントを関連付けることができる。

例えば、質問受付部２５Ａは、動画の再生時に質問コメントの投稿を受け付けた場合、記憶部２３に記憶されたコメントデータ２４のうち生徒用のコメントデータ２４Ａに当該質問コメントに関する新規のエントリを追加する。このように生徒用のコメントデータ２４Ａに新規のエントリが追加された後、質問コメントは、生徒端末５０のコメント表示に反映される。

図１１Ａは、コメントデータ２４の一例を示す図である。図１１Ａには、３名の生徒分の生徒用のコメントデータ２４Ａが列挙して示されている。図１１Ａに示すように、生徒用のコメントデータ２４Ａには、生徒ＩＤ（IDentification）、レッスンＩＤ、日付ラベル、時刻ラベル、質問コメントおよび回答コメントが対応付けられたデータを採用できる。ここで言う「生徒ＩＤ」は、生徒の識別情報の一例であり、例えば、「生徒ＩＤ」のフィールドには、質問コメントの投稿を行う生徒の生徒ＩＤが登録される。また、「レッスンＩＤ」は、レッスンの識別情報の一例であり、例えば、「レッスンＩＤ」のフィールドには、投稿時に表示されている動画のレッスンＩＤが登録される。さらに、「日付ラベル」のフィールドには、質問コメントの投稿を受け付けた日付が登録される。さらに、「時刻ラベル」のフィールドには、投稿時に表示されている動画のフレームの再生時刻が登録される。さらに、「質問コメント」のフィールドには、生徒端末３０からの質問コメントのテキストが登録される。さらに、「回答コメント」のフィールドには、先生端末５０からの回答コメントのテキストが登録される。なお、質問コメントが登録された時点では、回答コメントは未入力であるので、「回答」のフィールドには、ブランク、ＮＵＬＬ値、あるいは未回答を示す文字列やフラグなどが登録される。

例えば、図１０に示す質問コメントｃ１の投稿を受け付けた場合、質問受付部２５Ａは、図１１Ａの上から１番目に示された新規のエントリを生徒用のコメントデータ２４Ａに追加する。すなわち、生徒ＩＤ「ＮＹ」、レッスンＩＤ「ＣｌａｓｓＡ」、日付ラベル「２０１９／１／１７」、時刻ラベル「５分１５秒」及び質問コメント「足を上げるとふらつくんですが」が対応付けられた新規のエントリが生徒用のコメントデータ２４Ａに追加される。

このように生徒用のコメントデータ２４Ａに新規のエントリが追加された後、質問受付部２５Ａは、記憶部２３に記憶されたコメントデータ２４のうち先生用のコメントデータ２４Ｂをさらに更新する。例えば、質問受付部２５Ａは、当該新規のエントリを先生用のコメントデータ２４Ｂに追加する。そして、質問受付部２５Ａは、先生用のコメントデータ２４Ｂに含まれる旧エントリのうち当該新規のエントリの時刻ラベルから所定の期間、例えば前後５秒間以内である旧エントリを切り取った上で当該新規のエントリに隣接する位置に先に切り取った旧エントリを挿入する。これによって、新規のエントリの時刻ラベルと類似する時刻ラベルを持つ旧エントリを当該新規のエントリとグループ化することができる。

図１１Ｂは、コメントデータ２４の一例を示す図である。図１１Ｂには、レッスンＩＤ「ＣｌａｓｓＡ」に関するエントリが抜粋して示されている。図１１Ｂに示すように、生徒ＩＤ「ＮＹ」、レッスンＩＤ「ＣｌａｓｓＡ」、日付ラベル「２０１９／１／１７」、時刻ラベル「５分１５秒」及び質問コメント「足を上げるとふらつくんですが」が対応付けられた新規のエントリが最上段に追加される。さらに、新規エントリの時刻ラベル「５分１５秒」から前後５秒間以内である時刻ラベル「５分１３秒」の旧エントリ及び時刻ラベル「５分１７秒」の旧エントリが切り取られた上で新規のエントリの直下に挿入される。

質問通知部２５Ｂは、生徒端末３０からの質問コメントを先生端末５０へ通知する処理部である。

一実施形態として、質問通知部２５Ｂは、先生用のコメントデータ２４Ｂに新規のエントリが追加された場合、当該新規のエントリに関する質問コメントを先生端末５０へ通知する。この際、質問通知部２５Ｂは、当該新規のエントリとグループ化された旧エントリの質問コメント及び回答コメントをさらに先生端末５０へ通知することができる。例えば、先生用のコメントデータ２４Ｂに質問コメントｃ１「足を上げるとふらつくんですが」に関する新規のエントリが追加された場合、質問コメントｃ１「足を上げるとふらつくんですが」が先生端末５０へ通知される。さらに、時刻ラベル「５分１３秒」の旧エントリの質問コメント「バランスが取りにくいのですが。」及び回答コメント「右足を少し高く上げすぎているので挙げてバランスを取りやすくして」がさらに通知される。加えて、時刻ラベル「５分１７秒」の旧エントリの質問コメント「足はどの位の高さに上げればよいですか？」及び回答コメント「膝からかかとまでは床に水平になる程度でいいです。」がさらに通知される。

このように、新規のエントリの時刻ラベルと類似する時刻ラベルを持つ旧エントリの質問コメントは、新規のエントリの質問コメントとの間で質問の内容が類似する可能性が高い。このため、旧エントリの回答コメントをコピーして新規のエントリの回答コメントを投稿したり、あるいは旧エントリの回答コメントにアレンジを加えて新規のエントリの回答コメントを投稿したりといったことが可能になる。この結果、先生による回答コメントの作成労力を削減することができる。

回答受付部２５Ｃは、先生端末５０からの回答コメントを受け付ける処理部である。

一実施形態として、回答受付部２５Ｃは、新規の質問コメントに対する回答コメントの入力を受け付ける。例えば、回答受付部２５Ｃは、回答コメントのテキストの入力を未入力の状態から受け付けることができる。この他、回答受付部２５Ｃは、新規の質問コメントへの回答の参考として生徒端末５０に表示される旧エントリの回答コメントをコピーする操作を受け付けたり、コピー後にテキストを編集する操作を受け付けたりすることができる。

あくまで一例として、図１０に示された質問コメントｃ１「足を上げるとふらつくんですが」への回答コメントが行われる場合を例に挙げる。この場合、図１０に示された質問コメントｃ１「足を上げるとふらつくんですが」と、図１１Ｂに示された旧エントリの質問コメント「バランスが取りにくいのですが。」との間で質問の内容が類似する。このため、質問コメントｃ１への回答の参考として先生端末５０に表示された旧エントリの回答コメント「右足を少し高く上げすぎているので挙げてバランスを取りやすくして」をコピーすることにより、回答コメントの投稿を受け付けることもできる。

このように回答コメントの投稿を受け付けた場合、回答受付部２５Ｃは、当該投稿を受け付けた回答コメントを生徒用のコメントデータ２４Ａ及び先生用のコメントデータ２４Ｂに登録する。このように先生用のコメントデータ２４Ｂに回答コメントが登録された後、回答コメントは、先生端末５０のコメント表示に反映される。

回答通知部２５Ｄは、先生端末５０からの回答コメントを生徒端末３０へ通知する処理部である。

一実施形態として、回答通知部２５Ｄは、生徒用のコメントデータ２４Ａに回答コメントが登録された場合、当該回答コメントを生徒端末３０へ通知する。例えば、図１０に示された質問コメントｃ１への回答コメント「右足を少し高く上げすぎているので挙げてバランスを取りやすくして」が生徒用のコメントデータ２４Ａに登録された場合、生徒端末３０には、回答コメントｃ２「右足を少し高く上げすぎているので挙げてバランスを取りやすくして」の表示が反映される。

［効果の一側面］
上述してきたように、本実施例に係る画像提示装置２０によれば、先生および生徒間のコミュニケーション機能を提供することが可能である。

さらに、本実施例に係る画像提示装置２０は、動画の再生時に生徒端末３０から新規の質問コメントの投稿を受け付けた場合、新規の質問コメントが投稿されたタイミングで再生中である画像のフレームの再生時刻と類似する再生時刻に投稿が行われていた質問コメント及び回答コメントを新規の質問コメントと共に先生端末５０に表示させる。このため、本実施例に係る画像提示装置２０によれば、先生による回答コメントの作成労力を削減することが可能である。

なお、上記の実施例２では、あくまで一例として、新規の質問コメント、例えば回答コメントが未入力である質問コメントを優先して先生端末５０に表示させる例を挙げたが、必ずしも新規の質問コメントを優先して表示せずともかまわない。例えば、再生時刻の時間差が所定の閾値以内である質問コメント同士をグループ化し、グループごとに当該グループに含まれる質問コメントの数が多いグループから順に先生端末５０に表示させることもできる。

さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。

［履歴との比較］
例えば、第１の被写体の画像および第２の被写体の画像を表示する際、過去に行われたレッスンにおける第２の被写体の画像をさらに並べて表示させることもできる。あくまで一例として、ダンスレッスンで行われる発表会等では、特定の楽曲のダンスレッスンが繰り返して行われることがある。この場合、同一の楽曲で行われるダンスが時系列に並べて表示させることで、生徒に自身の上達具合を実感させることが可能になる。

このように、実施時期が異なる複数のレッスンに関する第２の被写体の画像を提示する場合、複数のレッスンの間でプログラムの進行が必ずしも同一である訳ではないが、ダンスが行われる楽曲そのものは共通する。このため、複数のレッスンの動画ごとに同一の楽曲が再生される区間に絞って第２の被写体の画像を生成することにより、両者の比較が可能となる。すなわち、楽曲の長さは、複数のレッスンの間で同一であるので、各レッスンで楽曲の再生が開始されるタイミングを検出することができれば、２つ以上のレッスンごとに第２の被写体の画像の生成および提示を実現できる。

このように楽曲の再生が開始されるタイミングの検出方法の一例として、レッスンの動画として映像と共に記録される音声のデータの中から音声認識により楽曲の再生開始のタイミングを検出することができる。また、先生が発生する特定のキーワード、例えば楽曲の再生開始のかけ声となるワードが検出されたタイミングを楽曲の再生開始のタイミングとして検出することができる。例えば、同一の生徒が参加するレッスンの動画ごとに所定の楽曲に関する再生開始のタイミングを検出し、レッスンの動画ごとに当該楽曲が再生される楽曲再生区間を抽出する。その上で、レッスンの動画ごとに抽出された楽曲再生区間に図７に示されたステップＳ２０４の処理を実行することにより、第１の被写体の画像および第２の被写体の画像とともに過去のレッスンにおける第２の被写体の画像を並べて提示することができる。この場合、第１の被写体の画像が生成されるレッスンは必ずしも最新のレッスンでなくともかまわない。

図１２は、生徒端末の表示画面の一例を示す図である。図１２には、２０１８年７月１５日のレッスンおよび２０１８年１月１２日のレッスンにおける生徒の画像が並べて表示される例が示されている。図１２に示すように、２０１８年７月１５日のレッスンの動画から生成された先生３Ｔの画像３１および生徒３Ｓ２の画像３４と共に、２０１８年１月１２日のレッスンの動画から生成された生徒３Ｓ２の画像３３が生徒端末３０に表示されている。このとき、生徒３Ｓ２の属性情報の変化も合わせて表示させることができる。例えば、図１２の例で言えば、生徒３Ｓ２の２０１８年１月１２日時点の体重と、２０１８年７月１５日時点の体重とがさらに表示されている。このような表示によって、生徒３Ｓ２の上達具合や健康促進の効果などを実感させることができる。

［分散および統合］
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されておらずともよい。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、取得部１５Ａ、分離部１５Ｂ、算出部１５Ｃ、受付部１５Ｄ、設定部１５Ｅ、生成部１５Ｆまたは提示部１５Ｇを画像提示装置１０の外部装置としてネットワーク経由で接続するようにしてもよい。また、取得部１５Ａ、分離部１５Ｂ、算出部１５Ｃ、受付部１５Ｄ、設定部１５Ｅ、生成部１５Ｆまたは提示部１５Ｇを別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記の画像提示装置１０の機能を実現するようにしてもよい。

［画像提示プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１３を用いて、上記の実施例と同様の機能を有する画像提示プログラムを実行するコンピュータの一例について説明する。

図１３は、実施例１及び実施例２に係る画像提示プログラムを実行するコンピュータのハードウェア構成例を示す図である。図１３に示すように、コンピュータ１００は、操作部１１０ａと、スピーカ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０〜１８０の各部はバス１４０を介して接続される。

ＨＤＤ１７０には、図１３に示すように、上記の実施例１で示した取得部１５Ａ、分離部１５Ｂ、算出部１５Ｃ、受付部１５Ｄ、設定部１５Ｅ、生成部１５Ｆ及び提示部１５Ｇと同様の機能を発揮する画像提示プログラム１７０ａが記憶される。この画像提示プログラム１７０ａは、図５に示した取得部１５Ａ、分離部１５Ｂ、算出部１５Ｃ、受付部１５Ｄ、設定部１５Ｅ、生成部１５Ｆ及び提示部１５Ｇの各構成要素と同様、統合又は分離してもかまわない。すなわち、ＨＤＤ１７０には、必ずしも上記の実施例１で示した全てのデータが格納されずともよく、処理に用いるデータがＨＤＤ１７０に格納されればよい。

このような環境の下、ＣＰＵ１５０は、ＨＤＤ１７０から画像提示プログラム１７０ａを読み出した上でＲＡＭ１８０へ展開する。この結果、画像提示プログラム１７０ａは、図１３に示すように、画像提示プロセス１８０ａとして機能する。この画像提示プロセス１８０ａは、ＲＡＭ１８０が有する記憶領域のうち画像提示プロセス１８０ａに割り当てられた領域にＨＤＤ１７０から読み出した各種データを展開し、この展開した各種データを用いて各種の処理を実行する。例えば、画像提示プロセス１８０ａが実行する処理の一例として、図６〜図８に示す処理などが含まれる。なお、ＣＰＵ１５０では、必ずしも上記の実施例１で示した全ての処理部が動作せずともよく、実行対象とする処理に対応する処理部が仮想的に実現されればよい。

なお、上記の画像提示プログラム１７０ａは、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶されておらずともかまわない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に画像提示プログラム１７０ａを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から画像提示プログラム１７０ａを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに画像提示プログラム１７０ａを記憶させておき、コンピュータ１００がこれらから画像提示プログラム１７０ａを取得して実行するようにしてもよい。

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）第１の被写体及び第２の被写体ごとに所定のレッスンが行われる３次元空間上の位置、大きさ及び向きを取得し、
前記第１の被写体の３次元空間上の位置、大きさ及び向きに基づいて基準とする向きおよび大きさで前記第１の被写体の画像が生成される第１の仮想カメラの位置を設定すると共に、前記第２の被写体の３次元空間上の位置、大きさおよび向きに基づいて前記基準とする向きおよび大きさで前記第２の被写体の画像が生成される第２の仮想カメラの位置を設定し、
前記３次元空間を撮像する複数のカメラにより同一時刻に撮像された複数の画像を用いて、前記第１の仮想カメラの位置に対応する第１の被写体の画像を生成すると共に、前記第２の仮想カメラの位置に対応する第２の被写体の画像を生成し、
前記第１の被写体の画像および前記第２の被写体の画像を提示する、
処理をコンピュータに実行させる画像提示プログラム。

（付記２）前記複数の画像ごとに前記第１の被写体及び前記第２の被写体に対応するシルエットを分離し、
前記複数の画像ごとに分離された前記シルエットに基づいて前記第１の被写体及び前記第２の被写体の３次元空間上の位置、大きさ及び向きを算出する処理を前記コンピュータにさらに実行させる付記１に記載の画像提示プログラム。

（付記３）前記第１の被写体の画像および前記第２の被写体の画像が提示された端末から質問コメントを受け付けた場合、前記質問コメントが投稿された時点で前記端末に提示中である第１の被写体の画像および第２の被写体の画像のフレームの再生時刻に前記質問コメントを関連付ける処理を前記コンピュータにさらに実行させることを特徴とする付記１に記載の画像提示プログラム。

（付記４）第１の質問コメントが投稿された時点で提示中である第１の被写体の画像および第２の被写体の画像のフレームの再生時刻と類似する再生時刻に投稿が行われていた第２の質問コメント及び前記第２の質問コメントに対する回答コメントを前記第１の質問コメントと共に通知する処理を前記コンピュータにさらに実行させることを特徴とする付記３に記載の画像提示プログラム。

（付記５）前記再生時刻の時間差が所定の閾値以内である質問コメント同士をグループ化し、グループに含まれる質問コメントの数が多いグループから順に提示する処理を前記コンピュータにさらに実行させることを特徴とする付記３に記載の画像提示プログラム。

（付記６）前記取得する処理は、複数のレッスンにおける前記第２の被写体の３次元空間上の位置、大きさ及び向きを取得し、
前記設定する処理は、前記複数のレッスンごとに前記第２の仮想カメラの位置を設定し、
前記生成する処理は、前記複数のレッスンごとに前記第２の被写体の画像を生成することを特徴とする付記１に記載の画像提示プログラム。

（付記７）前記提示する処理は、前記第１の被写体の画像および前記第２の被写体の画像を同一の大きさ、または同じ向きで左右に並べて提示することを特徴とする付記１に記載の画像提示プログラム。

（付記８）第１の被写体及び第２の被写体ごとに所定のレッスンが行われる３次元空間上の位置、大きさ及び向きを取得し、
前記第１の被写体の３次元空間上の位置、大きさ及び向きに基づいて基準とする向きおよび大きさで前記第１の被写体の画像が生成される第１の仮想カメラの位置を設定すると共に、前記第２の被写体の３次元空間上の位置、大きさおよび向きに基づいて前記基準とする向きおよび大きさで前記第２の被写体の画像が生成される第２の仮想カメラの位置を設定し、
前記３次元空間を撮像する複数のカメラにより同一時刻に撮像された複数の画像を用いて、前記第１の仮想カメラの位置に対応する第１の被写体の画像を生成すると共に、前記第２の仮想カメラの位置に対応する第２の被写体の画像を生成し、
前記第１の被写体の画像および前記第２の被写体の画像を提示する、
処理をコンピュータが実行する画像提示方法。

（付記９）前記複数の画像ごとに前記第１の被写体及び前記第２の被写体に対応するシルエットを分離し、
前記複数の画像ごとに分離された前記シルエットに基づいて前記第１の被写体及び前記第２の被写体の３次元空間上の位置、大きさ及び向きを算出する処理を前記コンピュータがさらに実行する付記８に記載の画像提示方法。

（付記１０）前記第１の被写体の画像および前記第２の被写体の画像が提示された端末から質問コメントを受け付けた場合、前記質問コメントが投稿された時点で前記端末に提示中である第１の被写体の画像および第２の被写体の画像のフレームの再生時刻に前記質問コメントを関連付ける処理を前記コンピュータがさらに実行することを特徴とする付記８に記載の画像提示方法。

（付記１１）第１の質問コメントが投稿された時点で提示中である第１の被写体の画像および第２の被写体の画像のフレームの再生時刻と類似する再生時刻に投稿が行われていた第２の質問コメント及び前記第２の質問コメントに対する回答コメントを前記第１の質問コメントと共に通知する処理を前記コンピュータがさらに実行することを特徴とする付記１０に記載の画像提示方法。

（付記１２）前記再生時刻の時間差が所定の閾値以内である質問コメント同士をグループ化し、グループに含まれる質問コメントの数が多いグループから順に提示する処理を前記コンピュータがさらに実行することを特徴とする付記１０に記載の画像提示方法。

（付記１３）前記取得する処理は、複数のレッスンにおける前記第２の被写体の３次元空間上の位置、大きさ及び向きを取得し、
前記設定する処理は、前記複数のレッスンごとに前記第２の仮想カメラの位置を設定し、
前記生成する処理は、前記複数のレッスンごとに前記第２の被写体の画像を生成することを特徴とする付記８に記載の画像提示方法。

（付記１４）前記提示する処理は、前記第１の被写体の画像および前記第２の被写体の画像を同一の大きさ、または同じ向きで左右に並べて提示することを特徴とする付記８に記載の画像提示方法。

（付記１５）第１の被写体及び第２の被写体ごとに所定のレッスンが行われる３次元空間上の位置、大きさ及び向きを取得する取得部と、
前記第１の被写体の３次元空間上の位置、大きさ及び向きに基づいて基準とする向きおよび大きさで前記第１の被写体の画像が生成される第１の仮想カメラの位置を設定すると共に、前記第２の被写体の３次元空間上の位置、大きさおよび向きに基づいて前記基準とする向きおよび大きさで前記第２の被写体の画像が生成される第２の仮想カメラの位置を設定する設定部と、
前記３次元空間を撮像する複数のカメラにより同一時刻に撮像された複数の画像を用いて、前記第１の仮想カメラの位置に対応する第１の被写体の画像を生成すると共に、前記第２の仮想カメラの位置に対応する第２の被写体の画像を生成する生成部と、
前記第１の被写体の画像および前記第２の被写体の画像を提示する提示部と、
を有する画像提示装置。

（付記１６）前記複数の画像ごとに前記第１の被写体及び前記第２の被写体に対応するシルエットを分離する分離部と、
前記複数の画像ごとに分離された前記シルエットに基づいて前記第１の被写体及び前記第２の被写体の３次元空間上の位置、大きさ及び向きを算出する算出部とをさらに有する付記１５に記載の画像提示装置。

（付記１７）前記第１の被写体の画像および前記第２の被写体の画像が提示された端末から質問コメントを受け付けた場合、前記質問コメントが投稿された時点で前記端末に提示中である第１の被写体の画像および第２の被写体の画像のフレームの再生時刻に前記質問コメントを関連付ける質問受付部をさらに有することを特徴とする付記１５に記載の画像提示装置。

（付記１８）第１の質問コメントが投稿された時点で提示中である第１の被写体の画像および第２の被写体の画像のフレームの再生時刻と類似する再生時刻に投稿が行われていた第２の質問コメント及び前記第２の質問コメントに対する回答コメントを前記第１の質問コメントと共に通知する回答通知部をさらに有することを特徴とする付記１７に記載の画像提示装置。

（付記１９）前記再生時刻の時間差が所定の閾値以内である質問コメント同士をグループ化し、グループに含まれる質問コメントの数が多いグループから順に提示する質問通知部をさらに有することを特徴とする付記１７に記載の画像提示装置。

（付記２０）前記取得部は、複数のレッスンにおける前記第２の被写体の３次元空間上の位置、大きさ及び向きを取得し、
前記設定部は、前記複数のレッスンごとに前記第２の仮想カメラの位置を設定し、
前記生成部は、前記複数のレッスンごとに前記第２の被写体の画像を生成することを特徴とする付記１５に記載の画像提示装置。

１ システム
３ 被写体
３Ｔ 先生
３Ｓ２，３Ｓ２ 生徒
５Ａ，５Ｂ，５Ｃ，５Ｄ カメラ
１０ 画像提示装置
１１ 通信インタフェイス
１３ 記憶部
１３Ａ 動画データ
１３Ｂ ３次元形状データ
１５ 制御部
１５Ａ 取得部
１５Ｂ 分離部
１５Ｃ 算出部
１５Ｄ 受付部
１５Ｅ 設定部
１５Ｆ 生成部
１５Ｇ 提示部
３０Ａ，３０Ｂ，３０Ｃ 生徒端末

Claims (7)

1. 第１の被写体及び第２の被写体ごとに所定のレッスンが行われる３次元空間上の位置、大きさ及び向きを取得し、
   前記第１の被写体の３次元空間上の位置、大きさ及び向きに基づいて基準とする向きおよび大きさで前記第１の被写体の画像が生成される第１の仮想カメラの位置を設定すると共に、前記第２の被写体の３次元空間上の位置、大きさおよび向きに基づいて前記基準とする向きおよび大きさで前記第２の被写体の画像が生成される第２の仮想カメラの位置を設定し、
   前記３次元空間を撮像する複数のカメラにより同一時刻に撮像された複数の画像を用いて、前記第１の仮想カメラの位置に対応する第１の被写体の画像を生成すると共に、前記第２の仮想カメラの位置に対応する第２の被写体の画像を生成し、
   前記第１の被写体の画像および前記第２の被写体の画像を提示する、
   処理をコンピュータに実行させる画像提示プログラム。
2. 前記複数の画像ごとに前記第１の被写体及び前記第２の被写体に対応するシルエットを分離し、
   前記複数の画像ごとに分離された前記シルエットに基づいて前記第１の被写体及び前記第２の被写体の３次元空間上の位置、大きさ及び向きを算出する処理を前記コンピュータにさらに実行させる請求項１に記載の画像提示プログラム。
3. 前記第１の被写体の画像および前記第２の被写体の画像が提示された端末から質問コメントを受け付けた場合、前記質問コメントが投稿された時点で前記端末に提示中である第１の被写体の画像および第２の被写体の画像のフレームの再生時刻に前記質問コメントを関連付ける処理を前記コンピュータにさらに実行させることを特徴とする請求項１または２に記載の画像提示プログラム。
4. 第１の質問コメントが投稿された時点で提示中である第１の被写体の画像および第２の被写体の画像のフレームの再生時刻と類似する再生時刻に投稿が行われていた第２の質問コメント及び前記第２の質問コメントに対する回答コメントを前記第１の質問コメントと共に通知する処理を前記コンピュータにさらに実行させることを特徴とする請求項３に記載の画像提示プログラム。
5. 前記再生時刻の時間差が所定の閾値以内である質問コメント同士をグループ化し、グループに含まれる質問コメントの数が多いグループから順に提示する処理を前記コンピュータにさらに実行させることを特徴とする請求項３に記載の画像提示プログラム。
6. 第１の被写体及び第２の被写体ごとに所定のレッスンが行われる３次元空間上の位置、大きさ及び向きを取得し、
   前記第１の被写体の３次元空間上の位置、大きさ及び向きに基づいて基準とする向きおよび大きさで前記第１の被写体の画像が生成される第１の仮想カメラの位置を設定すると共に、前記第２の被写体の３次元空間上の位置、大きさおよび向きに基づいて前記基準とする向きおよび大きさで前記第２の被写体の画像が生成される第２の仮想カメラの位置を設定し、
   前記３次元空間を撮像する複数のカメラにより同一時刻に撮像された複数の画像を用いて、前記第１の仮想カメラの位置に対応する第１の被写体の画像を生成すると共に、前記第２の仮想カメラの位置に対応する第２の被写体の画像を生成し、
   前記第１の被写体の画像および前記第２の被写体の画像を提示する、
   処理をコンピュータが実行する画像提示方法。
7. 第１の被写体及び第２の被写体ごとに所定のレッスンが行われる３次元空間上の位置、大きさ及び向きを取得する取得部と、
   前記第１の被写体の３次元空間上の位置、大きさ及び向きに基づいて基準とする向きおよび大きさで前記第１の被写体の画像が生成される第１の仮想カメラの位置を設定すると共に、前記第２の被写体の３次元空間上の位置、大きさおよび向きに基づいて前記基準とする向きおよび大きさで前記第２の被写体の画像が生成される第２の仮想カメラの位置を設定する設定部と、
   前記３次元空間を撮像する複数のカメラにより同一時刻に撮像された複数の画像を用いて、前記第１の仮想カメラの位置に対応する第１の被写体の画像を生成すると共に、前記第２の仮想カメラの位置に対応する第２の被写体の画像を生成する生成部と、
   前記第１の被写体の画像および前記第２の被写体の画像を提示する提示部と、
   を有する画像提示装置。

Images