JP2021135951A - 配信システム、動画生成装置、および動画生成方法 - Google Patents

Abstract

【課題】配信動画に映りこんだ商品を容易に購入可能とする。【解決手段】配信サーバ１と視聴者端末７を備える配信システムである。配信サーバ１は、動画を配信するとともに、動画内に映った商品の表示位置に商品を購入可能な販売サイトへのリンクを付与したリンク情報を配信する配信部１１を有する。視聴者端末７は、動画とリンク情報を受信し、動画を画面に表示する表示部７１と、動画を表示する画面に対する選択操作を検出する操作検出部７３と、選択操作を検出した操作位置に販売サイトへのリンクが付与されている場合、販売サイトを表示部７１に表示させる制御部７２を有する。【選択図】図２

Description

本発明は、配信システム、視聴装置、動画生成装置、情報処理方法、および動画生成方法に関する。

近年、個人による動画の配信が非常に盛んである。動画に広告を挿入したり、動画内で商品を紹介したりすることで、動画の配信者が報酬を得られるシステムも提案されている（特許文献１および特許文献２）。

特許６３０５６１４号公報 特開２０１８−２６１５２号公報

特許文献１の技術は、配信動画内の空いた領域に広告を表示するシステムである。視聴者が広告に興味を持ったとしても、視聴者自身で広告の商品を検索し、商品の販売サイトに到達しなければならない。

特許文献２の技術は、配信者が紹介する商品を選択し、配信動画の周囲に紹介した商品の購入ページへのリンクを配置するシステムである。視聴者は、動画を見ながら、容易に商品の購入を行うことができる。しかしながら、紹介されている商品に興味がない場合、視聴者は動画そのものを見ないことが多い。

一方で、視聴者が配信動画を見たときに、配信動画内に映る商品に興味を持つことがある。例えば、配信者の着ている服や配信者の部屋の隅に映るぬいぐるみなどに興味を持つことがある。その場合、視聴者自身でその商品を検索したり、コメント欄などで配信者に尋ねたりする必要がある。視聴者と配信者の双方にとって煩わしく、商品の購入に結びつきにくい。

また、仮想空間でコンピュータグラフィックスキャラクタ（アバター）を操作し、仮想空間を撮影した動画の配信も盛んである。仮想空間内で現実世界の商品を紹介したいという要望もあるが、仮想空間内に現実世界の商品を配置することは容易ではない。例えば、商品を仮想空間内で紹介する際、商品の３次元モデルを作成して仮想空間内に配置することが考えられる。しかしながら、３次元モデルの作成に精通していない配信者にとって、現実世界の商品をリアルに再現した３次元モデルの作成は容易ではない。また、リアルな３次元モデルの作成には時間やコストがかかるので、商品を買ってきた当日に、商品に対する熱が冷めないうちに商品の３次元モデルを作成して紹介することは難しいという問題があった。

本発明は、上記に鑑みてなされたものであり、配信動画に映りこんだ商品を容易に購入可能とすることを目的とする。

本発明の一態様の配信システムは、配信サーバと視聴装置を備える配信システムであって、前記配信サーバは、動画を配信するとともに、前記動画内に映った３Ｄオブジェクトである商品の表示位置に前記商品を購入可能な販売サイトへのリンクを付与したリンク情報を、前記動画から独立した情報として配信する配信部を有し、前記視聴装置は、前記動画と前記リンク情報を受信し、前記動画を画面に表示する表示部と、前記動画を表示する画面に対する選択操作を検出する操作検出部と、前記選択操作を検出した操作位置に前記販売サイトへのリンクが付与されている場合、前記販売サイトを前記表示部に表示させる制御部を有する。

本発明の一態様の動画生成装置は、仮想空間を撮影した動画を生成する動画生成装置であって、実際の商品を複数方向から撮影した多視点画像を入力し、複数の撮影角度のそれぞれに対応する商品画像で構成された商品画像群を生成する生成部と、前記商品画像を貼り付けた商品オブジェクトを前記仮想空間に配置する配置部と、前記商品オブジェクトを配置した仮想空間を仮想カメラで撮影して動画を生成するとともに、前記動画内に映った前記商品オブジェクトの表示位置に前記商品を購入可能な販売サイトへのリンクを付与したリンク情報を生成するレンダリング部を有し、前記レンダリング部は、前記仮想カメラで前記商品オブジェクトを撮影する撮影角度に応じて前記商品画像群から商品画像を選択して前記商品オブジェクトに貼り付ける。

本発明によれば、配信動画に映りこんだ商品を容易に購入可能とすることができる。

図１は、第１の実施形態の動画配信システムの全体構成の一例を示す図である。 図２は、配信サーバの構成の一例を示す図である。 図３は、リンク付き動画の一例を示す図である。 図４は、配信者端末の構成の一例を示す図である。 図５は、視聴者端末の構成の一例を示す図である。 図６は、販売サイトの一例を示す図である。 図７は、動画配信システムの処理の流れを示すシーケンス図である。 図８は、視聴者端末の処理の流れを示すフローチャートである。 図９は、第２の実施形態の配信者端末の構成の一例を示す図である。 図１０は、商品を撮影する様子を示す図である。 図１１は、複数の撮影角度の商品画像の一例を示す図である。 図１２は、仮想空間を撮影した動画の一例を示す図である。

以下、本発明の実施の形態について図面を用いて説明する。

［第１の実施形態］
図１を参照し、第１の実施形態の動画配信システムの全体構成の一例について説明する。本実施形態の動画配信システムは、動画を視聴するためのシステムであり、視聴者は、動画内に映った商品を画面上でタッチまたはクリックすると、その商品を購入可能な販売サイトにアクセスできる。なお、配信がなされる動画は、３Ｄ（three-dimension）コンテンツを構成する動画とすることは好適であり、その場合、動画内に映った商品は拡張現実（ＡＲ）技術で実写映像に合成した３Ｄオブジェクトとして実現することができる。

本実施形態の動画配信システムは、配信サーバ１、販売サーバ３、配信者端末５、および視聴者端末７を備える。配信サーバ１、販売サーバ３、配信者端末５、および視聴者端末７は、ネットワークに接続されている。配信サーバ１は、配信者端末５から動画を受信し、視聴者端末７へ配信する。販売サーバ３は、商品を購入できるＷｅｂサイトを視聴者端末７へ提供する。販売サーバ３で商品を販売する事業者は、配信サーバ１を運用する事業者と異なっていてもよい。図１では、各装置を１台ずつ示しているが、これに限定するものではなく、多数の装置が存在してもよい。

配信サーバ１は配信者端末５から動画を受信し、動画内に映る商品を購入可能な販売サイトへのリンクが付与されたリンク付き動画を配信する。ここで、配信サーバ１は、配信を行う動画から独立したデータとして、上記販売サイトへのリンク情報を配信することができる。そのように構成すれば、動画を最初に製作する配信者は、動画にあらかじめリンク情報を埋め込む作業を行う必要がなく、配信サーバ１において、人手であるいはＡＩを利用するなどして自動で、動画に映っている商品を認識したうえでその商品を販売している販売サイトへのリンク情報を生成し、動画からは独立した情報としてリンク情報を視聴者端末７へ配信することが可能となる。配信者端末５は、録画制作した動画ばかりではなく、現在、生放送中の動画を配信サーバ１へ送信し、配信サーバ１において上記の方法により、適切なリンク情報を生成して、動画からは独立したデータとして、視聴者端末７へ配信することが可能となる。なお、上記のようにリンク情報を生成することにより、リンク情報は動画の個々のフレームデータに埋め込まれるのではなく、複数のフレーム画像にわたって共通するリンク情報を用いることもできる。視聴者端末７は、視聴者が動画内の商品をタッチまたはクリックしたことを検知すると、その商品の表示位置にあらかじめ付与されていたリンク情報を用いて販売サーバ３にアクセスして、その商品を購入可能な販売サイトを表示する。

次に、動画配信システムの備える各装置について説明する。

図２ないし図４を参照し、配信サーバ１と配信者端末５について説明する。図２に示す配信サーバ１は、配信部１１とリンク設定部１２を備える。

配信部１１は、配信者端末５から受信した動画にリンクを付与したリンク付き動画を視聴者端末７に配信する。リンク付き動画は、動画とともに販売サイトへのリンクを取得するためのリンク情報が配信される動画であり、動画を表示している画面上で商品をタッチまたはクリックしたときに、その商品を購入可能な販売サイトへのリンクを取得できる。例えば、リンク情報は、動画の各フレームについて、フレーム内での商品の表示位置に対応させたリンク領域を設定し、リンク領域に販売サイトへのリンクを付与したものである。視聴者による商品の選択操作に応じてリンクを取得できるものであれば、リンク情報の形式は問わない。

図３に、リンク付き動画の一例を示す。図３の例では、動画１００内の、マグカップ、ぬいぐるみ、キャップ、およびＴシャツのそれぞれの表示位置に対応させてリンク領域１１０Ａ〜１１０Ｄが設定され、リンク領域１１０Ａ〜１１０Ｄのそれぞれに販売サイトへのリンクが付与されている。視聴者は、動画１００に設定されたリンク領域１１０Ａ〜１１０Ｄ内をタッチまたはクリックすることで、タッチまたはクリックした位置に対応する商品を購入可能な販売サイトを訪問できる。例えば、ぬいぐるみは実写映像に合成した３Ｄオブジェクトであってもよい。ぬいぐるみの３Ｄモデルは販売サイトから取得できてもよい。配信者は、紹介したい商品の３Ｄモデルとリンクを販売サイトから取得し、実写映像に合成する。

配信部１１は、リンク付き動画に対応していない端末に対しては動画のみを配信し、リンク付き動画に対応する視聴者端末７に対しては動画とリンク情報を配信してもよい。配信部１１は、動画内に商品が映っているときのみリンク情報を配信してもよい。

配信部１１は、配信者端末５から受信した動画を蓄積しておき、視聴者端末７からの求めに応じて動画を配信してもよいし、配信者端末５から受信したライブ映像をリアルタイムに配信してもよい。

リンク設定部１２は、配信者端末５から商品リンク情報を受信し、動画と商品リンク情報とを対応付ける。例えば、リンク設定部１２は、商品が映っているときの動画の再生時間、フレーム内での商品の表示位置、および商品を購入可能な販売サイトへのリンクを含む商品リンク情報を配信者端末５から受信し、動画の各フレームに対して、リンク領域とリンクを付与する。リンクには、配信者を特定するための情報を付与しておき、視聴者が動画から販売サイトに訪れて商品を購入したことに対する報酬が配信者に支払われてもよい。

リンク設定部１２は、動画内に映る商品の表示位置にリンク領域を追従させてもよい。

配信者端末５は、配信者が動画を配信サーバ１へ送信するために用いる端末である。例えば、カメラで撮影した動画を編集し、配信者端末５は編集した動画を配信サーバ１に送信する。配信者端末５にカメラを接続し、カメラで撮影したライブ映像を配信サーバ１に送信してもよい。配信者端末５として、パーソナルコンピュータや携帯端末を用いることができる。

また、配信者端末５は、画面内での商品の表示位置および販売サイトへのリンクを含む商品リンク情報を配信サーバ１に送信する。配信者端末５は、動画と商品リンク情報を別々に送信せずに、動画に商品リンク情報を付与したリンク付き動画を配信サーバ１へ送信してもよい。

ここで、商品リンク情報の作成方法の一例について説明する。配信者は、配信者端末５を操作し、動画を一時停止して静止画を表示させたうえでリンク領域を静止画上で設定し、商品の画面内での表示位置（例えば、画面左上を原点としたときのリンク領域の座標とリンク領域の大きさ）を入力するとともに、販売サイトへのリンクを入力する。配信者端末５は、入力されたリンク領域と販売サイトへのリンクから商品リンク情報を作成する。商品リンク情報は、商品が映っている期間を示す動画の再生時間を含んでもよい。配信者がフレームごとにリンク領域を設定してもよいが、配信者端末５がリンク領域を画面内での商品の移動に追従させてもよい。具体的には、配信者端末５は、リンク領域が設定された商品をフレームごとに検出し、検出枠に合わせてリンク領域を移動または変形させる。配信者が身につけているキャップおよびＴシャツのリンク領域１１０Ｃ，１１０Ｄは、配信者の顔を認識し、画面上の顔の表示位置からの相対的な位置にリンク領域を設定してもよい。前述したように、リンク設定部１２が、商品の移動にリンク領域を追従させてもよい。

あるいは、図４に示すように、配信者端末５が商品検出部５２および商品情報蓄積部５３を備えて、商品検出部５２が動画を解析して動画内に映っている商品を自動で検出し、商品リンク情報を生成してもよい。図４に示す配信者端末５は、動画送信部５１、商品検出部５２、および商品情報蓄積部５３を備える。

動画送信部５１は、動画を配信サーバ１へ送信する。

商品検出部５２は、動画の各フレームから商品を検出し、画面内での商品の表示位置と販売サイトへのリンクを含む商品リンク情報を生成し、配信サーバ１へ送信する。ＡＲ技術を用いて３Ｄオブジェクトを合成した場合は、３Ｄオブジェクトを合成した位置を表示位置とする。

商品情報蓄積部５３は、動画から検出する対象の商品の情報を格納する。商品の情報は、例えば、商品を画像認識で検出するための認識モデルと販売サイトへのリンクを含む。

配信者は、動画内に映っている商品を配信者端末５に入力してもよい。この場合、商品検出部５２は、入力された商品のみを動画内から検出すればよい。商品にマーカーを貼り付けておき、商品の検出精度を上げてもよい。

なお、配信サーバ１または図示していない装置が、商品検出部５２と商品情報蓄積部５３を備え、配信者端末５から受信した動画を解析して商品リンク情報を生成してもよい。

また、配信者以外の視聴者または販売サイトを提供する事業者が、動画に対する商品リンク情報を生成してもよい。例えば、ある配信者が配信サーバ１にアップロードした動画に対して、その動画内に映っている商品を販売している事業者が商品リンク情報を生成して配信サーバ１に送信する。配信サーバ１は、商品リンク情報を受信すると、商品リンク情報に基づいて動画にリンクを付与する。動画へのリンクの付与は、配信者の承認後に行われてもよい。これにより、無関係なリンクが動画に付与されることを抑止できる。

図５および図６を参照し、視聴者端末７について説明する。視聴者端末７は、配信サーバ１からリンク付き動画を受信し、視聴者に提示する。視聴者が画面上を操作して商品を選択したときは、その商品を販売する販売サーバ３にアクセスし、販売サイトを表示する。

視聴者端末７は、表示部７１、制御部７２、および操作検出部７３を備える。

表示部７１は、配信サーバ１からリンク付き動画を受信し、表示部７１の備える画面に動画を表示する。リンク領域１１０Ａ〜１１０Ｄは画面上に表示しない。なお、視聴者端末７の設定でリンク領域１１０Ａ〜１１０Ｄを表示するようにできてもよい。

操作検出部７３は、視聴者が動画を表示する画面に対して行った選択操作を検出する。例えば、表示部７１がタッチパネルを備える場合、操作検出部７３は視聴者がタッチした画面上の位置を検出する。操作検出部７３は、画面上に表示されるポインタの位置を検出してもよい。例えば、入力デバイスとしてマウスが接続されている場合、操作検出部７３は、マウスでクリック操作が行われたときのポインタの画面上の位置を検出する。

なお、操作検出部７３は、動画を表示する動画表示領域内での商品の選択操作を検出するものであり、動画表示領域外に配置された操作ボタンなどに対する操作は検出しない。動画の一時停止、早送り、巻き戻しなどの動画に関する操作は、表示部７１が検出して制御する。動画表示領域内に操作ボタンが配置されている場合は、操作ボタンに対する操作が優先されてよい。

制御部７２は、選択操作を検出した時点のフレームに設定されたリンク領域を取得し、選択操作を検出した画面上の操作位置を含むリンク領域が存在するか否かを判定する。操作位置を含むリンク領域が存在する場合、制御部７２は、そのリンク領域に対応付けられたリンクを取得し、リンクの示す販売サイトを表示部７１に表示させる。図６に、販売サイトの一例を示す。図６は、図３で示した画面上でマグカップをタップした後に表示される販売サイトである。マグカップが表示された位置にリンク領域１１０Ａが設定されており、リンク領域１１０Ａには、図６に示す販売サイトへのリンクが対応付けられている。

図７を参照し、動画配信システムの処理の流れについて説明する。

ステップＳ１１にて、配信者端末５は、動画を配信サーバ１へ送信し、ステップＳ１２にて、商品リンク情報を配信サーバ１へ送信する。

ステップＳ１３にて、配信サーバ１は、動画と商品リンク情報からリンク付き動画を生成する。

ステップＳ１４にて、配信サーバ１は、視聴者端末７から動画の配信要求を受信すると、ステップＳ１５にて、配信サーバ１は、要求された動画を視聴者端末７に配信する。このとき配信する動画は、ステップＳ１３で生成したリンク付き動画である。以降、視聴者端末７は配信サーバ１から受信した動画をユーザの視聴に供する。

ステップＳ１６にて、視聴者端末７は、視聴者の画面に対する操作を検出すると、操作位置がリンク領域であれば、そのリンク領域に対応するリンクを取得する。

ステップＳ１７にて、視聴者端末７は、ステップＳ１６で取得したリンク先にアクセスして、販売サイトを表示する。

視聴者が視聴者端末７を操作して購入の意思を示すと、ステップＳ１８にて、視聴者端末７は、販売サーバ３へ商品購入要求を送信する。

ステップＳ１９にて、販売サーバ３は、商品の購入処理を実行する。

図８を参照し、視聴者端末７の処理の流れについて説明する。

ステップＳ３１にて、表示部７１は、リンク付き動画の受信を開始して動画を表示する。表示部７１は、ストリーミング再生またはダウンロード再生のいずれで動画を表示してもよい。

ステップＳ３２にて、操作検出部７３は、視聴者による画面への操作を検出する。操作検出部７３は、動画の再生中、操作の検出を継続する。

画面への操作を検出すると、ステップＳ３３にて、制御部７２は、操作位置にリンク領域が設定されているか否かを判定する。例えば、制御部７２は、操作検出部７３が操作を検出した時の動画のフレームに設定されているリンク領域について操作位置を含むか否か判定する。操作位置がリンク領域外の場合、ステップＳ３２に戻り、表示部７１と操作検出部７３は、動画の再生処理と操作の検出処理を続ける。

操作位置にリンク領域が設定されている場合、ステップＳ３４にて、制御部７２は、リンク領域に対応するリンクの示す販売サイトへアクセスする。例えば、制御部７２は、リンク先を示したダイアログを表示し、視聴者から販売サイトへのアクセスの承認を得てから、表示部７１に販売サイトを表示させる。視聴者が動画視聴用の専用アプリケーションを利用していたときは、リンク先の販売サイトを表示するためのアプリケーションを起動して販売サイトを表示させてもよい。視聴者がブラウザで動画を視聴していたときは、新しいタブで販売サイトを表示してもよい。

あるいは、制御部７２は、動画の視聴を中断させずに、リンク領域に対応するリンクを記憶しておき、動画の視聴後に、リンクの示す販売サイトへアクセスしてもよい。制御部７２は、視聴者の画面への操作に対して、リンクを保存したことを表示したり、音を出力したりしてもよい。動画を最後まで再生した後、制御部７２は、表示部７１にリンクの示す販売サイトを表示させる。動画の視聴中に複数のリンクを記憶した場合、動画を最後まで再生した後、表示部７１がリンクの一覧を表示し、視聴者にリンクを選択させてもよい。このとき、表示部７１は、視聴者が操作したタイミングのフレームを表示し、選択した商品を確認させてもよい。

販売サーバ３へアクセスして販売サイトを表示した後、ステップＳ３５にて、視聴者端末７は、販売サーバ３において商品を購入する。視聴者端末７と販売サーバ３との間の商品購入処理は、一般的なネットショッピングと同じである。

以上説明したように、本実施形態の動画配信システムは配信サーバ１と視聴者端末７を備え、配信サーバ１は、動画内の商品に販売サイトへのリンクを付与したリンク付き動画を配信し、視聴者端末７は、リンク付き動画を画面に表示するとともに、画面に対する選択操作を検出する。選択操作を検出した操作位置にリンクが付与されている場合、視聴者端末７は、動画内の商品を販売する販売サイトへアクセスし、販売サイトを表示する。これにより、視聴者は、視聴中の動画に映りこんだ商品を容易に購入できる。

［第２の実施形態］
第２の実施形態は、配信者が仮想空間内の配信者アバターを操作し、仮想空間内を撮影した動画を配信する点が第１の実施形態と異なる。仮想空間内には、商品を撮影した商品画像を貼り付けた商品オブジェクトが配置される。第１の実施形態と同様に、視聴者は動画内の商品オブジェクトを選択することで商品の販売サイトへ容易にアクセスできる。

図９を参照し、配信者端末５の構成について説明する。図９に示す配信者端末５は、レンダリング部５５、配置部５６、生成部５７、および蓄積部５８を備える。配信者端末５には、配信者が装着するヘッドマウントディスプレイ（ＨＭＤ）６１と配信者が操作するコントローラ６２が接続される。

レンダリング部５５は、配信者の動きを配信者アバターに反映する機能、仮想空間をレンダリングする機能、および動画内に映った商品オブジェクトの商品リンク情報を生成する機能を備える。

レンダリング部５５は、ＨＭＤ６１の動きおよびコントローラ６２による操作に応じて配信者アバターを制御する。配信者は、仮想空間内に配置された配信者アバターを制御して、仮想空間内を撮影した動画を生成する。

レンダリング部５５は、ＨＭＤ６１に表示するための映像および配信動画をレンダリングする。ＨＭＤ６１に表示するための映像は、ＨＭＤ６１の動きに応じた仮想カメラで撮影した仮想空間をレンダリングした映像であり、配信者が見る映像である。配信動画は、配信サーバ１へ送信される動画である。配信用仮想カメラは、仮想空間内の所定の位置に配置される。例えば、配信用仮想カメラは、仮想空間内の配信者アバターや商品オブジェクトを撮影するように配置される。配信用仮想カメラは、複数台配置されてもよいし、配置位置および撮影方向を変更できてもよい。なお、ＨＭＤ６１を用いずに、スマートフォンのフロントカメラで配信者の顔を撮影し、配信者アバターに配信者の動きを反映してもよい。

配信用仮想カメラの撮影範囲内に商品オブジェクトが存在する場合、レンダリング部５５は、画像内での商品オブジェクトの表示位置を求めてリンク領域を設定し、リンク領域に販売サイトへのリンクを付与して商品リンク情報を生成する。

レンダリング部５５は、配信動画と商品リンク情報を配信サーバ１へ送信する。

なお、配信サーバ１または視聴者端末７が仮想空間をレンダリングしてもよい。例えば、配信サーバ１が仮想空間をレンダリングする場合、配信サーバ１はレンダリングに必要な仮想空間の情報を保持しておき、配信者端末５からアバターのモーションデータおよび配信用仮想カメラの位置と方向を受信し、アバターの姿勢と配信用仮想カメラを制御して仮想空間をレンダリングする。配信サーバ１は、レンダリング部５５と同様に、画像内の商品オブジェクトの商品リンク情報も生成する。視聴者端末７がレンダリングする場合も同様である。

生成部５７は、実際の商品を複数方向から撮影した多視点画像を入力し、多視点画像それぞれにおける商品の向きに応じて撮影角度を求め、複数の撮影角度のそれぞれについて商品画像を作成した商品画像群を生成する。撮影角度は、ある撮影方向を基準として、基準に対する水平面上での角度である。例えば、商品の正面を０度とし、多視点画像それぞれに映った商品の角度に応じて、反時計回りに＋５度、＋８度というように撮影角度を設定する。生成部５７は、多視点画像のそれぞれから商品が存在する領域のみを抜き出し、商品画像のそれぞれに映る商品の大きさが均一となるように加工して商品画像を生成する。

多視点画像は、例えば図１０に示すように、実物のイス２００をカメラ２１０の位置を変えて複数方向から撮影した画像である。カメラ２１０を固定し、イス２００を水平面上で回転させて、イス２００を複数方向から撮影してもよい。イス２００の背景をグリーンバックまたはブルーバックにすると、商品画像としてイス２００だけを容易に抜き出すことができる。生成部５７は、イス２００の周囲をカメラ２１０で撮影した動画を入力し、動画から切り出したフレームを多視点画像として商品画像群を生成してもよい。動画のフレームと物体の撮影方向とを結びつけておき、視点の移動は動画の再生フレームをジャンプさせて実現できる。生成部５７は、商品の全周囲を撮影した多視点画像でなく、所定範囲の角度から撮影した多視点画像から商品画像群を生成してもよい。この場合、配信用仮想カメラの移動できる範囲を制限してもよい。例えば、商品の前方向からの商品画像しかない場合、配信用仮想カメラは商品オブジェクトの後ろに回り込むことができないように制限する。

図１１（ａ）〜（ｃ）は、商品画像群の一例である。生成部５７は、図１１（ａ）〜（ｃ）に示す商品画像のそれぞれに、撮影角度を付与する。

生成部５７は、多視点画像とともに、商品を購入することができるＷｅｂサイトへのリンクの情報を入力し、生成した商品画像群とリンクの情報を対応付けておく。

なお、多視点画像および商品画像群は静止画に限らなくてもよい。例えば、複数のカメラを配置して多視点映像を撮影し、Ｍｕｌｔｉ−ｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＭＶＣ）と呼ばれる符号化方式で符号化した符号化データを商品画像群として用いてもよい。ＭＶＣはカメラ間で差分をとって圧縮するので圧縮効率が高く、符号化データから所望の視点映像の符号化データだけを取り出すことができる。

配信者端末５が生成部５７を備えると、配信者は、商品を複数方向から撮影するだけで、仮想空間内に商品オブジェクトを配置するための商品画像群を容易に作成できる。３次元モデルで表現した商品オブジェクトに比べると、商品画像を貼り付けた商品オブジェクトは仮想空間内で粗く見えるかもしれないが、簡易な作業で、実際の商品（商品オブジェクト）を仮想空間内に持ち込むことができる。

なお、商品を販売する事業者から商品画像群が得られてもよい。商品画像群のそれぞれの商品画像は動画であってもよい。

配置部５６は、商品画像を貼り付けた商品オブジェクトを仮想空間内に配置する。例えば、配置部５６は、板状の商品オブジェクトを配置し、商品画像群の中から選択した商品画像をオブジェクトに貼り付ける。商品オブジェクトは立方体または直方体でもよいし、球であってもよい。

レンダリング部５５が商品オブジェクトをレンダリングするときは、配信用仮想カメラに対して正面を向くように商品オブジェクトを水平面上で回転させ、撮影角度（商品オブジェクトの回転角）に応じた商品画像を選択し、商品オブジェクトに貼り付ける。撮影角度がピッタリの商品画像がないときは、撮影角度が近い商品画像を歪ませたり、幾何学的な変形を施したりするなどの加工を施してもよいし、複数視点の画像とＡＩを用いて新たな視点の商品画像を生成してもよい。ＭＶＣを用いると自由視点の映像を取得できる。

配信用仮想カメラの移動範囲は、商品画像群に付与された撮影角度に応じて制限する。例えば、商品画像群が−４５度から４５度までの撮影角度が付与された商品画像を含む場合、配信用仮想カメラの移動範囲も商品オブジェクトの正面に対して−４５度から４５度までの範囲に制限する。商品オブジェクトが不自然に映らないように、配信用仮想カメラの仮想空間の上下方向の動きを制限するとよい。

蓄積部５８は、仮想空間をレンダリングするために必要なオブジェクトの配置データ、モデルデータ、テクスチャデータなどを含む仮想空間情報を保持する。本実施形態では、仮想空間情報は、商品オブジェクトの配置データと商品画像群を含む。また、蓄積部５８は、商品オブジェクトに対応する販売サイトへのリンクを保持する。

図１２に、仮想空間を撮影した動画の一例を示す。図１２の例では、仮想空間を撮影した動画３００内に、商品オブジェクト３１０と配信者アバター３２０が映っている。商品オブジェクト３１０には、図１１（ａ）の商品画像が貼り付けられている。配信用仮想カメラを左に動かし、商品オブジェクト３１０の撮影角度が変化すると、レンダリング部５５は、商品オブジェクト３１０に貼り付ける商品画像を図１１（ａ）から図１１（ｂ）に変更する。

動画作成後の動画配信システムの処理は第１実施形態と同様である。視聴者が画面上で商品オブジェクト３１０をタッチまたはクリックすると、イス２００を購入可能な販売サイトへアクセスできる。

商品オブジェクトを撮影する撮影角度によってリンク先を変化させてもよい。例えば、サングラスをかけ、ヘッドホンを装着している人を映した商品オブジェクトを配置した場合、商品オブジェクトを正面から撮影した映像ではリンク先をサングラスの販売サイトとし、商品オブジェクトを横方向から撮影した映像では、リンク先をヘッドホンの販売サイトに変更する。リンク情報では、撮影角度ごとにリンクを付与しておく。商品画像群の含む商品画像のそれぞれに個別のリンク情報を付与してもよいし、動画の各フレームに個別のリンク情報を付与してもよい。

なお、視聴者端末７がＨＭＤを接続し、ＶＲ機能を備えて、視聴者が商品オブジェクトを配置した仮想空間内を自由に移動できてもよい。この場合も、視聴者の視点に応じて商品オブジェクトに貼り付ける商品画像を変更する。商品画像群に撮影角度の制限があるときは、仮想空間内での視聴者の移動を制限する。視聴者が仮想空間で商品オブジェクトに対して何らかの操作を行ったときに、その商品を購入可能な販売サイトにアクセスできるようにしてもよい。仮想空間内に商品オブジェクトを並べ、視聴者が自由に訪問できるようにして、ショールームのようにしてもよい。

視聴者（別の配信者）は、視聴中の番組の仮想空間から商品オブジェクトを取得できてもよい。例えば、配信者Ａと配信者Ｂのそれぞれが別々の仮想空間で番組を配信しているとする。配信者Ａの仮想空間内には商品オブジェクトが配置されている。配信者Ｂは自身の仮想空間内に配置したモニタオブジェクトに配信者Ａの番組を映して視聴している。配信者Ｂがモニタオブジェクトの表示画面上で商品オブジェクトを選択すると、配信者Ｂの操作する配信者端末５は、商品オブジェクトを表示するための商品画像群と商品オブジェクトに付与された商品リンク情報を配信サーバ１または配信者Ａの配信者端末５から取得し、配信者Ｂの仮想空間内にその商品オブジェクトを配置する。配信者Ｂは配信者Ａの仮想空間に突入して、商品オブジェクトと商品リンク情報を取得できてもよい。配信者Ｂの番組の視聴者は、配信者Ｂの仮想空間に配置された商品オブジェクトを選択すると、その商品を購入可能な販売サイトにアクセスできる。配信者Ｂの仮想空間に配置された商品オブジェクトの商品リンク情報には、配信者Ａと配信者Ｂの両方を特定する情報を含めておき、視聴者が商品を購入したことに対する報酬は、配信者Ａおよび配信者Ｂの両方に支払われてもよい。

本発明の実施形態に係るシステムを上記のように構成することで得られる効果は、例えば次の点である。

配信者（放送者）が自分の番組の中で、自分の好きな、あるいは紹介をしたい商品やグッズを紹介したい場合は頻繁に起こりうることであり、その場合、視聴者から視認しやすくするためには商品等の実写画像を用いることが望ましい。しかしＶＲ空間中にその商品の実写画像を取り込んで表示させるためには、３Ｄ画像データとしてその商品等のデータをあらかじめ用意しなければならず、これは配信者にとって容易ではない。一方、他の配信者の中には、上記の配信者Ａのようにたまたま、配信者Ｂのお気に入りの商品の３Ｄ画像を制作して表示をしている場合があるので、配信者Ｂとしては、配信者Ａが予め制作した商品等の画像を流用できれば好都合である。

このように配信者Ａが予め制作した商品等の画像は、全周から視認が可能なようにデータが作成されておらず視認可能な角度が、例えば背面のデータがそもそも存在しないなど、一定の範囲に限られる場合もあるので、その場合、この商品等の画像を利用した配信者Ｂの配信画像においても、その視認確度の制限を踏襲して、視聴者が視認可能な角度範囲に制限を設けるようにしてもよい。

以上説明したように、本実施形態の動画配信システムは、配信サーバ１、配信者端末５、および視聴者端末７を備える。配信サーバ１は、仮想空間を撮影した動画に、動画内の商品オブジェクトに販売サイトへのリンクを付与したリンク付き動画を配信する。視聴者端末７は、リンク付き動画を画面に表示するとともに、商品オブジェクトが選択されると、その商品を購入可能な販売サイトへアクセスする。配信者端末５は、実際の商品を複数の視点から撮影した多視点画像を入力し、複数の撮影角度のそれぞれについて商品画像を作成した商品画像群を生成し、商品画像を貼り付けた商品オブジェクトを仮想空間に配置し、仮想空間を仮想カメラで撮影して動画を生成するとともに、動画内に映った商品オブジェクトの表示位置に販売サイトへのリンクを付与したリンク情報を生成する。動画を生成する際、配信者端末５は、商品オブジェクトを撮影する撮影角度に応じて商品画像群から撮影角度に応じた商品画像を選択して商品オブジェクトに貼り付ける。これにより、配信者は、現実世界の商品を商品オブジェクトとして容易に仮想空間内に持ち込むことができ、商品オブジェクトに販売サイトへのリンクを付与することで、視聴者に商品の購入を促すことができる。

なお、第２の実施形態の商品オブジェクトを第１の実施形態の３Ｄオブジェクトとして用いてもよい。

配信サーバ１、配信者端末５、および視聴者端末７が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは配信サーバ１、配信者端末５、および視聴者端末７が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。

１…配信サーバ
１１…配信部
１２…リンク設定部
３…販売サーバ
５…配信者端末
５１…動画送信部
５２…商品検出部
５３…商品情報蓄積部
５５…レンダリング部
５６…配置部
５７…生成部
５８…蓄積部
６１…ＨＭＤ
６２…コントローラ
７…視聴者端末
７１…表示部
７２…制御部
７３…操作検出部

本発明の一態様の配信システムは、動画生成装置と配信サーバと視聴装置を備える配信システムであって、前記動画生成装置は、実際の商品を複数方向から撮影した多視点画像を入力し、複数の撮影角度のそれぞれに対応する商品画像で構成された商品画像群を生成する生成部と、前記商品画像群から選択した商品画像を貼り付けた商品オブジェクトを仮想空間に配置する配置部と、前記商品オブジェクトを配置した仮想空間を仮想カメラで撮影して動画を前記配信サーバへ送信するとともに、前記動画内に映った前記商品オブジェクトの表示位置に前記商品を購入可能な販売サイトへのリンクを付与したリンク情報を前記配信サーバへ送信するレンダリング部を有し、前記レンダリング部は、前記仮想カメラで前記商品オブジェクトを撮影する撮影角度に応じて前記商品画像群から商品画像を選択して前記商品オブジェクトに貼り付け、前記仮想カメラの移動範囲は前記商品画像群を構成する商品画像の撮影角度に応じて制限されており、前記配信サーバは、動画を配信するとともに、前記動画内に映った前記商品オブジェクトの表示位置に前記商品を購入可能な販売サイトへのリンクを付与したリンク情報を、前記動画から独立した情報として配信する配信部を有し、前記視聴装置は、前記動画と前記リンク情報を受信し、前記動画を画面に表示する表示部と、前記動画を表示する画面に対する選択操作を検出する操作検出部と、前記選択操作を検出した操作位置に前記販売サイトへのリンクが付与されている場合、前記販売サイトを前記表示部に表示させる制御部を有する。

本発明の一態様の動画生成装置は、仮想空間を撮影した動画を生成する動画生成装置であって、実際の商品を複数方向から撮影した多視点画像を入力し、複数の撮影角度のそれぞれに対応する商品画像で構成された商品画像群を生成する生成部と、前記商品画像群から選択した商品画像を貼り付けた商品オブジェクトを前記仮想空間に配置する配置部と、前記商品オブジェクトを配置した仮想空間を仮想カメラで撮影して動画を生成するとともに、前記動画内に映った前記商品オブジェクトの表示位置に前記商品を購入可能な販売サイトへのリンクを付与したリンク情報を生成するレンダリング部を有し、前記レンダリング部は、前記仮想カメラで前記商品オブジェクトを撮影する撮影角度に応じて前記商品画像群から商品画像を選択して前記商品オブジェクトに貼り付け、前記仮想カメラの移動範囲は前記商品画像群を構成する商品画像の撮影角度に応じて制限される。

Claims (10)

1. 配信サーバと視聴装置を備える配信システムであって、
   前記配信サーバは、
   動画を配信するとともに、前記動画内に映った３Ｄオブジェクトである商品の表示位置に前記商品を購入可能な販売サイトへのリンクを付与したリンク情報を、前記動画から独立した情報として配信する配信部を有し、
   前記視聴装置は、
   前記動画と前記リンク情報を受信し、前記動画を画面に表示する表示部と、
   前記動画を表示する画面に対する選択操作を検出する操作検出部と、
   前記選択操作を検出した操作位置に前記販売サイトへのリンクが付与されている場合、前記販売サイトを前記表示部に表示させる制御部を有する
   配信システム。
2. 請求項１に記載の配信システムであって、
   前記動画は仮想空間を撮影した動画であり、前記動画内に映った商品は、実際の商品を撮影した商品画像を貼り付けた商品オブジェクトである
   配信システム。
3. 請求項２に記載の配信システムであって、
   前記動画を前記配信サーバへ送信する動画生成装置を備え、
   前記動画生成装置は、
   前記実際の商品を複数方向から撮影した多視点画像を入力し、複数の撮影角度のそれぞれに対応する商品画像で構成された商品画像群を生成する生成部と、
   前記商品オブジェクトを配置した仮想空間を仮想カメラで撮影して動画を前記配信サーバへ送信するとともに、前記動画内に映った前記商品オブジェクトの表示位置に前記販売サイトへのリンクを付与した前記リンク情報を前記配信サーバへ送信するレンダリング部を有し、
   前記レンダリング部は、前記仮想カメラで前記商品オブジェクトを撮影する撮影角度に応じて前記商品画像群から商品画像を選択して前記商品オブジェクトに貼り付ける
   配信システム。
4. 請求項１ないし３のいずれかに記載の配信システムであって、
   前記リンク情報は、前記販売サイトを提供する事業者または前記動画を視聴した視聴者が前記配信サーバへ送信した
   配信システム。
5. 動画を視聴するための視聴装置であって、
   動画と前記動画内に映った商品の表示位置に前記商品を購入可能な販売サイトへのリンクを付与したリンク情報を受信し、前記動画を画面に表示する表示部と、
   前記動画を表示する画面に対する選択操作を検出する操作検出部と、
   前記選択操作を検出した操作位置に前記販売サイトへのリンクが付与されている場合、前記販売サイトを前記表示部に表示させる制御部を有する
   視聴装置。
6. 請求項５に記載の視聴装置であって、
   前記制御部は、前記動画の再生終了後に、前記販売サイトを前記表示部に表示させる
   視聴装置。
7. 仮想空間を撮影した動画を生成する動画生成装置であって、
   実際の商品を複数方向から撮影した多視点画像を入力し、複数の撮影角度のそれぞれに対応する商品画像で構成された商品画像群を生成する生成部と、
   前記商品画像を貼り付けた商品オブジェクトを前記仮想空間に配置する配置部と、
   前記商品オブジェクトを配置した仮想空間を仮想カメラで撮影して動画を生成するとともに、前記動画内に映った前記商品オブジェクトの表示位置に前記商品を購入可能な販売サイトへのリンクを付与したリンク情報を生成するレンダリング部を有し、
   前記レンダリング部は、前記仮想カメラで前記商品オブジェクトを撮影する撮影角度に応じて前記商品画像群から商品画像を選択して前記商品オブジェクトに貼り付ける
   動画生成装置。
8. 請求項７に記載の動画生成装置であって、
   前記仮想カメラの移動範囲は前記商品画像群を構成する商品画像の撮影角度に応じて制限される
   動画生成装置。
9. 動画を視聴するための視聴装置による情報処理方法であって、
   動画と前記動画内に映った商品の表示位置に前記商品を購入可能な販売サイトへのリンクを付与したリンク情報を受信し、前記動画を画面に表示するステップと、
   前記動画を表示する画面に対する選択操作を検出するステップと、
   前記選択操作を検出した操作位置に前記販売サイトへのリンクが付与されている場合、前記販売サイトを表示するステップを有する情報処理方法。
10. 仮想空間を撮影した動画を生成する動画生成装置による動画生成方法であって、
    実際の商品を複数方向から撮影した多視点画像を入力し、複数の撮影角度のそれぞれについて商品画像を作成した商品画像群を生成するステップと、
    前記商品画像を貼り付けた商品オブジェクトを前記仮想空間に配置するステップと、
    前記商品オブジェクトを配置した仮想空間を仮想カメラで撮影して動画を生成するとともに、前記動画内に映った前記商品オブジェクトの表示位置に前記商品を購入可能な販売サイトへのリンクを付与したリンク情報を生成するステップを有し、
    前記仮想カメラで前記商品オブジェクトを撮影する撮影角度に応じて前記商品画像群から商品画像を選択して前記商品オブジェクトに貼り付ける
    動画生成方法。

Images