JP2023166836A - 多視点画像管理装置 - Google Patents

Abstract

【課題】所定の多視点画像情報について所定の編集目的を指定するだけで、自動的に出力された編集ディレクション情報を用いて様々な編集目的に応じた多視点画像情報を編集することができる多視点画像装置を提供する。【解決手段】多視点画像管理装置２は、編集ユーザが使用する編集ユーザ端末３から、所定の多視点画像情報に関する所定の編集目的情報を受け付ける編集目的情報受付手段３１と、所定の編集目的情報に基づいて、所定の多視点画像情報の編集に使用可能な、少なくとも所定の多視点画像情報に関する視点ディレクション情報を含む編集ディレクション情報を出力する編集ディレクション情報出力手段３２と、を備える。【選択図】図３

Description

本発明は、多視点画像管理装置に関する。

特許文献１には、自由視点データ（多視点画像）の再生編集作業を容易に行うことができる装置が開示されている。

国際公開第２０２０／１４９１４６号

しかしながら、所定の多視点画像情報について所定の編集目的を指定するだけで、自動的に出力された編集ディレクション情報を用いて様々な編集目的に応じた多視点画像情報を編集することができる仕組みは提案されていない。

また、所定の多視点画像情報について所定の再生条件を指定するだけで、自動的に行われる配信条件設定により様々な再生条件に応じた多視点画像情報を再生することができる仕組みは提案されていない。

本発明は、このような状況に鑑みてなされたものであり、所定の多視点画像情報について所定の編集目的を指定するだけで、自動的に出力された編集ディレクション情報を用いて様々な編集目的に応じた多視点画像情報を編集することができる多視点画像管理装置、又は、所定の多視点画像情報について所定の再生条件を指定するだけで、自動的に行われる配信条件設定により様々な再生条件に応じた多視点画像情報を再生することができる多視点画像管理装置を提供することを目的とする。

（１）本発明は、編集ユーザが使用する編集ユーザ端末（例えば、後述する編集ユーザ端末３）から、所定の多視点画像情報に関する所定の編集目的情報を受け付ける編集目的情報受付手段（例えば、後述する編集目的情報受付手段３１）と、前記所定の編集目的情報に基づいて、前記所定の多視点画像情報の編集に使用可能な、少なくとも前記所定の多視点画像情報に関する視点ディレクション情報を含む編集ディレクション情報を出力する編集ディレクション情報出力手段（例えば、後述する編集ディレクション情報出力手段３２）と、を備える多視点画像管理装置（例えば、後述する多視点画像管理装置２）である。

本発明によれば、編集ユーザは、所定の多視点画像情報について所定の編集目的を指定するだけで、自動的に出力される編集ディレクション情報を用いて様々な編集目的に応じた多視点画像情報を編集することができる。

（２）本発明はまた、前記編集ディレクション情報は、前記所定の多視点画像情報に併せて再生する音声情報に関する音声ディレクション情報をさらに含む上記（１）に記載の多視点画像管理装置である。

本発明によれば、編集ユーザは、自動的に出力される音声ディレクション情報を用いて、多視点画像情報に合わせて様々な編集目的に応じた音声情報を編集することができる。

（３）本発明はまた、再生ユーザが使用する再生ユーザ端末（例えば、後述する再生ユーザ端末４）から、所定の多視点画像情報に関する所定の再生条件情報を受け付ける再生条件情報受付手段（例えば、後述する再生条件情報受付手段３３）と、前記所定の再生条件情報に基づいて、少なくとも前記所定の多視点画像情報に関する視点ディレクション情報を含む配信条件設定を行う配信条件設定手段（例えば、後述する配信条件設定手段３４）と、を備える多視点画像管理装置（例えば、後述する多視点画像管理装置２）である。

本発明によれば、再生ユーザは、所定の多視点画像情報について所定の再生条件を指定するだけで、自動的に行われる配信条件設定により様々な再生条件に応じた多視点画像情報を再生することができる。

（４）本発明はまた、前記配信条件設定は、前記所定の多視点画像情報に併せて再生する音声情報に関する音声ディレクション情報をさらに含む上記（３）に記載の多視点画像管理装置である。

本発明によれば、再生ユーザは、自動的に行われる配信条件設定により、多視点画像情報に合わせて様々な再生条件に応じた音声情報を再生することができる。

（５）本発明はまた、前記多視点画像情報は、特定被写体の情報を含み、前記多視点画像管理装置は、再生ユーザ毎の前記配信条件設定の実績情報を記憶する実績情報記憶手段（例えば、後述する実績情報ＤＢ４６）から前記実績情報を取得する実績情報取得手段（例えば、後述する実績情報取得手段３５）と、前記実績情報に基づいて、前記特定被写体の評価情報を出力する被写体評価情報出力手段（例えば、後述する被写体評価情報出力手段３６）と、をさらに備える上記（３）又は（４）に記載の多視点画像管理装置である。

本発明によれば、再生ユーザによる配信条件設定に基づいて、特定被写体の評価を行うことができる。

（６）本発明はまた、特定の編集ユーザによる編集ディレクションがされた特定の多視点画像情報を、特定の再生ユーザが使用する前記再生ユーザ端末からの要求に応じて、特定の再生ユーザとは別の再生ユーザが使用する前記再生ユーザ端末に再配信する再配信手段（例えば、後述する再配信手段３７）をさらに備える上記（３）又は（４）に記載の多視点画像管理装置である。

本発明によれば、特定の再生ユーザによる再配信により特定の多視点画像情報を多重的に拡散することができる。

本発明によれば、所定の多視点画像情報について所定の編集目的を指定するだけで、自動的に出力された編集ディレクション情報を用いて様々な編集目的に応じた多視点画像情報を編集でき、又は、所定の多視点画像情報について所定の再生条件を指定するだけで、自動的に行われる配信条件設定により様々な再生条件に応じた多視点画像情報を再生することができる。

本発明の実施形態に係る多視点画像管理装置を含むネットワークシステムの構成図である。 多視点画像管理装置のハードウェア構成を示すブロック図である。 多視点画像管理装置の機能的構成を示す機能ブロック図である。 多視点画像管理装置が編集ユーザ端末から所定の編集目的情報として（１）ダイジェストの情報を受け付けた場合の処理を説明する図であり、ポイントを指定する状況を示す。 多視点画像管理装置が編集ユーザ端末から所定の編集目的情報として（１）ダイジェストの情報を受け付けた場合の処理を説明する図であり、フレーム動画作成機能を示す。 多視点画像管理装置が編集ユーザ端末から所定の編集目的情報として（２）特定被写体指定及び（３）特定シーン指定のいずれかの情報を受け付けた場合の処理を説明する図である。 多視点画像管理装置が編集ユーザ端末から所定の編集目的情報として（４）複数多視点画像のシンクロ／重ね合わせ指定の情報を受け付けた場合の処理を説明する図である。 多視点画像管理装置が編集ユーザ端末から所定の編集目的情報として（５）再生ユーザによる視点ディレクション有効化指定の情報を受け付けた場合の処理を説明する図である。 編集ユーザ端末における映像編集画面のレイアウトを示す図である。 再生ユーザ端末における映像再生画面のレイアウトを示す図である。

以下、図面を参照して、本発明の実施形態に係る多視点画像管理装置２を含むネットワークシステム１について詳細に説明する。

まず、図１を用いて、多視点画像管理装置２を含むネットワークシステム１の構成について説明する。図１は、多視点画像管理装置２を含むネットワークシステム１の構成図である。

図１に示すように、ネットワークシステム１は、多視点画像（multi-viewpoint image）に関する多視点画像情報を管理するシステムであり、編集ユーザ端末３による多視点画像の編集、及び再生ユーザ端末４による多視点画像の再生を実現する。多視点画像とは、多数の位置に配置された撮影装置が多数の視点から同一の被写体を撮影した画像のことであり、視聴者は、好みの視点の画像を選択しながら当該画像を見ることができる。多視点画像情報には、特定被写体の情報を含む。

具体的に、ネットワークシステム１は、多視点画像管理装置２と、複数の編集ユーザ端末３と、複数の再生ユーザ端末４と、管理者端末５と、を備える。

多視点画像管理装置２は、管理者又はその委託業者が管理するサーバである。この多視点画像管理装置２は、インターネットに接続されており、編集ユーザ端末３、再生ユーザ端末４及び管理者端末５の各々との間で通信を行う。これにより、多視点画像管理装置２は、編集ユーザ端末３、再生ユーザ端末４及び管理者端末５の各々への情報の入力、並びに編集ユーザ端末３、再生ユーザ端末４及び管理者端末５の各々が出力した情報を受信することが可能となる。

編集ユーザ端末３は、編集ユーザ（例えば、YouTuber、タレント等）が使用する端末であり、パソコン、タブレット、スマートフォン等の一般的な通信端末である。この編集ユーザ端末３は、多視点画像の編集に用いられる。また、編集ユーザ端末３は、インターネットに接続されており、多視点画像管理装置２との間で通信を行う。これにより、編集ユーザ端末３は、多視点画像管理装置２への情報の入力、及び多視点画像管理装置２が出力した情報の受信が可能となる。

再生ユーザ端末４は、再生ユーザ（例えば、視聴者等）が使用する端末であり、パソコン、タブレット、スマートフォン等の一般的な通信端末である。この再生ユーザ端末４は、多視点画像の再生に用いられる。また、再生ユーザ端末４は、インターネットに接続されており、多視点画像管理装置２との間で通信を行う。これにより、再生ユーザ端末４は、多視点画像管理装置２への情報の入力、及び多視点画像管理装置２が出力した情報の受信が可能となる。

管理者端末５は、管理者が使用する端末であり、パソコン、タブレット、スマートフォン等の一般的な通信端末である。この管理者端末５は、インターネットに接続されており、多視点画像管理装置２との間で通信を行う。これにより、管理者端末５は、多視点画像管理装置２への情報の入力、及び多視点画像管理装置２が出力した情報の受信が可能となる。

次に、図２を用いて、多視点画像管理装置２のハードウェア構成について説明する。図２は、多視点画像管理装置２のハードウェア構成を示すブロック図である。

図２に示すように、多視点画像管理装置２は、ＣＰＵ（Central Processing Unit）１１と、ＲＯＭ（Read Only Memory）１２と、ＲＡＭ（Random Access Memory）１３と、バス１４と、入出力インターフェース１５と、出力部１６と、入力部１７と、記憶部１８と、通信部１９と、ドライブ２０と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１８からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上で必要なデータ等が適宜記憶される。ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。

入出力インターフェース１５には、出力部１６、入力部１７、記憶部１８、通信部１９及びドライブ２０が接続されている。出力部１６は、ディスプレイやスピーカ、プリンタ等で構成され、音声データ及びテキストデータ等の出力情報を出力する。出力部１６が例えばプリンタ等であれば、出力情報を印刷することもできる。入力部１７は、キーボードやマウス等で構成され、各種情報を入力する。記憶部１８は、ハードディスクやＤＲＡＭ（Dynamic Random Access Memory）等で構成され、各種データを記憶する。通信部１９は、インターネットを介して他の対象（例えば、図１の編集ユーザ端末３、再生ユーザ端末４等）との間で相互に通信を行う。

ドライブ２０には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等によりなる、リムーバブルメディア２１が適宜装着される。ドライブ２０によってリムーバブルメディア２１から読み出されたプログラムは、必要に応じて記憶部１８にインストールされる。また、リムーバブルメディア２１は、記憶部１８に記憶されている各種データも、記憶部１８と同様に記憶することができる。

なお、図示はしないが、編集ユーザ端末３、再生ユーザ端末４及び管理者端末５は、図２に示す多視点画像管理装置２の構成と同様のハードウェア構造を有するため、その説明を省略する。

次に、図３を用いて、多視点画像管理装置２の機能的構成について説明する。図３は、多視点画像管理装置２の機能的構成を示す機能ブロック図である。

図３に示すように、多視点画像管理装置２のＣＰＵ１１においては、編集目的情報受付手段３１と、編集ディレクション情報出力手段３２と、再生条件情報受付手段３３と、配信条件設定手段３４と、実績情報取得手段３５と、被写体評価情報出力手段３６と、再配信手段３７と、が機能する。

多視点画像管理装置２の記憶部１８の一領域には、編集目的情報ＤＢ４１と、多視点画像情報ＤＢ４２と、編集ディレクション情報ＤＢ４３と、再生条件情報ＤＢ４４と、配信条件設定情報ＤＢ４５と、実績情報ＤＢ（実績情報記憶手段）４６と、が設けられている。

編集目的情報受付手段３１は、編集ユーザ端末３から、所定の多視点画像情報に関する所定の編集目的（editing objective）情報を受け付ける。この編集目的情報受付手段３１は、編集ユーザ端末３から受け付けた編集目的情報を編集目的情報ＤＢ４１に入力する。

編集目的情報は、例えば、（１）ダイジェスト、（２）特定被写体指定、（３）特定シーン指定、（４）複数多視点画像のシンクロ／重ね合わせ指定、（５）再生ユーザによる視点ディレクション有効化指定（再生ユーザが自身の再生ユーザ端末４で、所定範囲で自由に視点ディレクションできるようにする指定）等の各々の情報である。

編集ディレクション情報出力手段３２は、所定の編集目的情報に基づいて、所定の多視点画像情報の編集（editing）に使用可能な、少なくとも所定の多視点画像情報に関する視点ディレクション（viewpoint direction）情報（例えば、視点選択に関する情報）を含む編集ディレクション（editing direction）情報を編集ユーザ端末３に出力する。編集ディレクション情報は、所定の多視点画像情報に併せて再生する音声情報に関する音声ディレクション（audio direction）情報をさらに含む。具体的に、編集ディレクション情報出力手段３２は、編集目的情報受付手段３１が編集目的情報ＤＢ４１に入力した所定の編集目的情報に基づいて、編集ディレクション情報ＤＢ４３にアクセスすると共に、編集ディレクション情報ＤＢ４３を経由して多視点画像情報ＤＢ４２にアクセスして、編集ディレクション情報を編集ユーザ端末３に出力する。

編集ディレクション情報は、例えば、（１）ハイライトシーン抽出、（２ａ）特定被写体自動追尾、（２ｂ）特定被写体クロースアップ、（２ｃ）特定被写体センタリング、（３）特定シーン同時多視点画像抽出、（４）複数多視点画像のシンクロ／重ね合わせ、（５）再生ユーザによる視点ディレクション有効化等の各々の情報である。

再生条件情報受付手段３３は、再生ユーザ端末４から、所定の多視点画像情報に関する所定の再生条件（playback condition）情報を受け付ける。この再生条件情報受付手段３３は、再生ユーザ端末４から受け付けた再生条件情報を再生条件情報ＤＢ４４に入力する。

再生条件情報は、例えば、（１）ライブ配信（一定時間内の追いかけ配信も含む）／録画配信指定、（２）サンプル画像作成指定、（３）特定被写体追尾指定、（４）複数多視点画像のシンクロ／重ね合わせ指定、（５）再生ユーザによる視点ディレクション有効化指定（再生ユーザが自身の再生ユーザ端末４で、所定範囲で自由に視点ディレクションできるようにする指定）等の各々の情報である。

配信条件設定手段３４は、再生条件情報受付手段３３が再生条件情報ＤＢ４４に入力した所定の再生条件情報に基づいて、少なくとも所定の多視点画像情報に関する視点ディレクション情報（例えば、視点選択に関する情報）を含む配信条件設定（delivery condition settings）を行う。配信条件設定は、所定の多視点画像情報に併せて再生する音声情報に関する音声ディレクション情報をさらに含む。配信条件設定手段３４が行った配信条件設定は、配信条件設定情報ＤＢ４５に記憶されると共に、再生ユーザ毎の実績情報として実績情報ＤＢ４６に記憶される。

配信条件設定は、例えば、（１ａ）視点選択に基づくストリーミング配信（ライブ配信指定の場合）、（１ｂ）同一括配信（録画配信指定の場合）、（２）同サンプルリスト＋本体ストリーミング配信／本体一括配信（再生ユーザの再生環境により判断）、（３ａ）特定被写体自動追尾、（３ｂ）特定被写体クロースアップ、（３ｃ）特定被写体センタリング、（４）複数多視点画像のシンクロ／重ね合わせ、（５）再生ユーザによる視点ディレクション有効化等の各々の設定である。

実績情報取得手段３５は、再生ユーザ毎の配信条件設定の実績情報を記憶する実績情報ＤＢ４６から（例えば、特定被写体指定、特定被写体クロースアップ等の）実績情報を取得する。この実績情報取得手段３５は、実績情報ＤＢ４６から取得した実績情報を被写体評価情報出力手段３６に入力する。

被写体評価情報出力手段３６は、実績情報取得手段３５が実績情報ＤＢ４６から取得した実績情報に基づいて、特定被写体の評価情報を管理者端末５に出力する。

再配信手段３７は、特定の編集ユーザ（例えば、YouTuber、タレント等）による編集ディレクションがされた特定の多視点画像情報を、特定の再生ユーザ（例えば、インフルエンサー、YouTuberやタレントのファン等）が使用する再生ユーザ端末４からの要求に応じて、特定の再生ユーザとは別の再生ユーザが使用する再生ユーザ端末４に再配信する。

編集目的情報ＤＢ４１は、編集目的情報受付手段３１が編集ユーザ端末３から受け付けた所定の多視点画像情報に関する所定の編集目的情報を記憶する。編集目的情報ＤＢ４１に記憶されている編集目的情報は、編集ディレクション情報出力手段３２に取得される。

多視点画像情報ＤＢ４２は、所定の多視点画像情報を記憶する。多視点画像情報ＤＢ４２に記憶されている多視点画像情報は、編集ディレクション情報出力手段３２、配信条件設定手段３４、被写体評価情報出力手段３６及び再配信手段３７に取得される。

編集ディレクション情報ＤＢ４３は、所定の多視点画像情報の編集に使用可能な、少なくとも所定の多視点画像情報に関する視点ディレクション情報を含む編集ディレクション情報を記憶する。編集ディレクション情報は、所定の多視点画像情報に併せて再生する音声情報に関する音声ディレクション情報をさらに含む。

再生条件情報ＤＢ４４は、再生条件情報受付手段３３が再生ユーザ端末４から受け付けた所定の多視点画像情報に関する所定の再生条件情報を記憶する。再生条件情報ＤＢ４４に記憶されている再生条件情報は、配信条件設定手段３４及び被写体評価情報出力手段３６に取得される。

配信条件設定情報ＤＢ４５は、配信条件設定手段３４が設定した配信条件設定に関する情報を記憶する。配信条件設定情報ＤＢ４５に記憶されている配信条件設定に関する情報は、再配信手段３７に取得される。

実績情報ＤＢ４６は、配信条件設定手段３４が設定した配信条件設定に関する情報を、再生ユーザ毎の（例えば、特定被写体指定、特定被写体クロースアップ等の）実績情報として記憶する。実績情報ＤＢ４６に記憶されている実績情報は、被写体評価情報出力手段３６に取得される。

次に、図４Ａ及び図４Ｂを用いて、多視点画像管理装置２が編集ユーザ端末３から所定の編集目的情報として（１）ダイジェストの情報を受け付けた場合の処理について説明する。図４Ａは、（１）ダイジェストの情報を受け付けた場合の処理を説明する図であり、ポイントを指定する状況を示す。図４Ｂは、（１）ダイジェストの情報を受け付けた場合の処理を説明する図であり、フレーム動画作成機能を示す。なお、図４Ａ及び図４Ｂは、時間的に連続する複数のフレームを上から下に並べて表示している。

多視点画像管理装置２が編集ユーザ端末３から所定の編集目的情報として（１）ダイジェストの情報を受け付けた場合、編集ディレクション情報出力手段３２が編集ディレクション情報として（１）ハイライトシーン抽出の情報を編集ユーザ端末３に出力する。

図４Ａに示すように、編集ユーザ端末３において、複数のシーンからポイントとなるシーンを指定する。あるいは、多視点画像管理装置２は、シーンＡＩ（人工知能）を使って、複数のシーンからポイントとなるシーン（例えば、野球の試合の画像であれば、各カメラが撮像したボールのインパクト、ボールの速度、角度、各マイクが収音した打球音、観衆の声援等様々な情報に基づいて）を抽出する。その後、編集ユーザ端末３において、指定し又は抽出したシーンの前後の秒数（例えば、５秒、１０秒、１５秒、２０秒、３０秒、４５秒、６０秒）を選択する。この秒数についても、当該シーンＡＩに基づいて野球の試合の画像であれば、各カメラが撮像したホームランの打球がスタンドに入るまで、各マイクが収音した観衆の声援が一定レベル以下となるまで等様々な情報に基づいて設定してもよい。その後、多視点画像管理装置２において、ハイライトシーン抽出（ダイジェスト生成）が行われる。その後、図４Ｂに示すように、編集ユーザ端末３において、生成されたマルチ動画から３６０°回したいシーンを選択する。ここで、「３６０°回す」とは、当該多視点画像の再生の際に一時的に時間の経過を停止して（例えば、野球の試合の画像であれば、スタジアムの周縁部に水平方向に複数設置したカメラやマイクが検出したホームランの打球のインパクトの瞬間で時間の経過を停止して）、多視点画像における視点を隣り合うカメラからの静止画像を連続的に切り替えて再生させることで、視聴者にその瞬間をスタジアムの周縁部を水平方向に一周して見せることを意味する。その後、編集ユーザ端末３において回す時のラグ（例えば、１／３０秒、１／１５秒、１／１０秒、１／５秒、１／２秒、１／１秒）、すなわち動画にするフレームレートを選ぶ。なお、これらのシーンの選択及びラグについても、シーンＡＩが各カメラが撮像した画像等に基づいて自動的に設定してもよい。

次に、図５を用いて、多視点画像管理装置２が編集ユーザ端末３から所定の編集目的情報として（２）特定被写体指定及び（３）特定シーン指定のいずれかの情報を受け付けた場合の処理について説明する。図５は、多視点画像管理装置２が編集ユーザ端末３から所定の編集目的情報として（２）特定被写体指定及び（３）特定シーン指定のいずれかの情報を受け付けた場合の処理について説明する図である。なお、図５は、複数のカメラについて、時間的に連続する複数のフレームを左から右に並べて表示している。

多視点画像管理装置２が編集ユーザ端末３から所定の編集目的情報として（２）特定被写体指定の情報を受け付けた場合、編集ディレクション情報出力手段３２が編集ディレクション情報として（２ａ）特定被写体自動追尾、（２ｂ）特定被写体クロースアップ及び（２ｃ）特定被写体センタリングのいずれかの情報を編集ユーザ端末３に出力する。

多視点画像管理装置２が編集ユーザ端末３から所定の編集目的情報として（３）特定シーン指定の情報を受け付けた場合、編集ディレクション情報出力手段３２が編集ディレクション情報として（３）特定シーン同時多視点画像抽出の情報を編集ユーザ端末３に出力する。

多視点画像管理装置２は、ＡＩ（人工知能）を使った物体（例えば、顔、ボール、ユニフォームのＮｏ．）認識を行う。その後、多視点画像管理装置２は、認識した物体が画面内で大きく写っている動画を自動選択する。その後、図５に示すように、多視点画像管理装置２は、自動選択した動画を自動抽出する。例えば、サッカーの動画の場合、多視点画像管理装置２は、特定の選手（例えば背番号１０の選手）とボールの双方が写っている動画を優先して抽出する。なお、多視点画像管理装置２は、抽出時間に関するリコメンドの情報を編集ユーザ端末３に出力し、編集ユーザ端末３において抽出時間を（例えば、短く）設定できる。

次に、図６を用いて、多視点画像管理装置２が編集ユーザ端末３から所定の編集目的情報として（４）複数多視点画像のシンクロ／重ね合わせ指定の情報を受け付けた場合の処理について説明する。図６は、多視点画像管理装置２が編集ユーザ端末３から所定の編集目的情報として（４）複数多視点画像のシンクロ／重ね合わせ指定の情報を受け付けた場合の処理を説明する図である。なお、図６は、複数のカメラについて、時間的に連続する複数のフレームを左から右に並べて表示している。

多視点画像管理装置２が編集ユーザ端末３から所定の編集目的情報として（４）複数多視点画像のシンクロ／重ね合わせ指定の情報を受け付けた場合、編集ディレクション情報出力手段３２が編集ディレクション情報として（４）複数多視点画像のシンクロ／重ね合わせの情報を編集ユーザ端末３に出力する。

図６に示すように、編集ユーザ端末３において、シンクロ／重ね合わせを行う２つのシーンを選び、また、２つのシーンの各々のＦｒｏｍ－Ｔｏを指定する。その後、編集ユーザ端末３において、２つのシーンについて「並べる（シンクロ）」及び「重ねる（重ね合わせ）」のいずれかを選ぶ。例えば、ゴルフのインストラクターと生徒が同一のカメラ設定で撮像した特定のショットの画像（図示しない）の場合、「並べる（シンクロ）」とは、当該インストラクターと生徒の当該ショットの多視点画像について、ボールのインパクトの瞬間が同時に並べて再生されるように設定し、視聴者にその前後画像を同じ視点から対比して見せることをいう。一方、「重ね合わせ」とは、当該複数の多視点画像を同一の画面に（必要に応じて画像を半透明にして）重ね合わせて再生されるように設定し、視聴者に当該重ね合わせた画面で見せることをいう。その後、編集ユーザ端末３において、揃える時間軸について「リアルタイム」及び「範囲」のいずれかを選ぶ。ここで、揃える時間軸が「リアルタイム」の場合、例えば当該ゴルフのインストラクターと生徒の画像であれば、上記の「並べる（シンクロ）」や「重ね合わせ」をボールのインパクトの瞬間が同時になるように設定して夫々の再生スピードを特に変更せず生データのままとする。一方、揃える時間軸が「範囲」の場合、基準（等倍速再生）となる動画をどちらか選択し、他方は、スロー再生もしくはｎ倍速再生される。すなわち、シーンの軸から前後に、前と後で再生レートを変える。例えば、ゴルフのインパクトに合わせて前後の再生部分をずらす。なお、ＡＩにより、例えば当該ゴルフのインストラクターと生徒の画像の例であれば、それぞれが当該ショットのスイングを開始した時間とスイングを終了した時間をそれぞれのカメラが撮像した画像に基づいて自動的に検出して「範囲」を設定してもよい。その後、編集ユーザ端末３において、同じタイムフレームで３６０°回すフレームを選ぶ（フレーム動画作成機能）。ここで「３６０°回す」とは、前述の通りの意味であるので説明は省略する。

次に、図７を用いて、多視点画像管理装置２が編集ユーザ端末３から所定の編集目的情報として（５）再生ユーザによる視点ディレクション有効化指定の情報を受け付けた場合の処理について説明する。

多視点画像管理装置２が編集ユーザ端末３から所定の編集目的として（５）再生ユーザによる視点ディレクション有効化指定の情報を受け付けた場合、編集ディレクション情報出力手段３２が編集ディレクション情報として（５）再生ユーザによる視点ディレクション有効化の情報を編集ユーザ端末３に出力する。

多視点画像管理装置２は、編集ユーザ端末３の操作（例えば、図７参照）を記録し、テンプレート化する（ディレクション機能）。すなわち、多視点画像管理装置２は、編集ユーザ端末３の操作に基づいて、動画を作成すると共にテンプレートを生成する。具体的には、例えば、タレント等が、自らが見てほしいと考えた編集方針に基づいて編集ユーザ端末３を操作して自らの多視点画像の編集方法を記録したものをテンプレートとして記録し、当該多視点画像と共に当該テンプレートをファンに配信することが想定される。ＳＮＳでは、１つの動画に対して複数個（ｎ個）のテンプレートがリンクされる。多視点画像管理装置２は、動画の評価とテンプレートの評価を別に管理する。このことにより、当該タレントとファンの例であれば、タレントが配信したテンプレートのうち、どのテンプレートがファンの評価が高かったのかが記録される。このような各テンプレートの評価情報は、特定の被写体を撮像した当該多視点画像を用いた動画配信による広告料の分配等に活用することができる。ディレクションの構成要素としては、カメラ選択（画像選択）、回すフレーム速度（例えば、１フレーム）、画像再生スピード、範囲を連続再生（例えば、スイング（１．５秒）を複数のカメラで再生）等がある。ここで「回す」とは、前述の「３６０°回す」について説明した内容に準ずるものである。

次に、図８を用いて、編集ユーザ端末３における映像編集の操作について説明する。図８は、編集ユーザ端末３における映像編集画面のレイアウトを示す図である。なお、編集ユーザ端末３におけるマルチトラック編集画面のレイアウトは、編集ユーザ端末３における映像編集画面のレイアウトと同じである。

図８に示すように、編集ユーザ端末３におけるディスプレイ（図示省略）は、複数のカメラについて、横軸を時間軸として、時間的に連続する複数のフレームを左から右に並べて表示する。上述した（１）ダイジェスト（ハイライト抽出）については、手動の場合は、時間軸を操作すると共に、Ｆｒｏｍ－Ｔｏ（例えば、０：１０：１５→０：１０：４２）又は中心点を操作する。また、再生スピードも設定できる。例えば、０：１０：４２で３６０°回すカメラ順を指定する。ここで「３６０°回す」とは、前述の通りの意味であるので説明は省略する。この時、静止画を切り替えるタイミング（例えば、０．１秒）を指定する。多視点画像管理装置２は、YouTube（登録商標）用の通常動画生成出力機能と、専用プレイヤー用の定義ファイル（ＪＳＯＮ形式）を作成する。専用プレイヤー用の定義ファイルは、タイトル（例えば、ホームランシーン（１）等）付が可能である。ここで、

次に、図９を用いて、再生ユーザ端末４における映像再生の操作について説明する。図９は、再生ユーザ端末４における映像再生画面のレイアウトを示す図である。

図９に示すように、再生ユーザ端末４におけるディスプレイ（図示省略）は、映像を表示する領域の下方にプルダウンメニューを表示する。プルダウンメニューには、上述した専用プレイヤー用の定義ファイルのタイトル（例えば、ホームランシーン（１）、ホームランシーン（２）、サイクルヒットまとめ等）が一覧で表示される。タイトルが選択されることで、選択されたタイトルの映像が自動再生される。

次に、上述した（２ｂ）特定被写体クロースアップについて説明する。多視点画像管理装置２は、動画内の認証要素（顔、数字（背番号など）等）を既存のＡＩ（人工知能）で抽出する。その後、多視点画像管理装置２は、タイムフレーム単位で、認証要素とその大きさを記録する。その後、多視点画像管理装置２は、リストアップされた情報をマージする。例えば、多視点画像管理装置２は、顔と背番号を一致させる（紐づける）。その後、多視点画像管理装置２は、マージした情報をスコアリングして、クロースアップやセンタリングの基礎データにする。

次に、音声について説明する。音声についても、カメラと同数のトラック数まで構成することが可能であり、カメラの切り替えのタイミングで音声も切り替える。

次に、操作記録モードについて説明する。再生ユーザ端末４における操作記録モードでは、再生ユーザのスクリプトが作成でき、ＳＮＳで共有できる。

次に、広告モデルについて説明する。ビッグデータを活用して、自由視点動画で広告を配信することで、再生回数、カメラ位置、ズーム、一時停止の情報を広告主へ展開できる。例えば、有名ディレクター等とタイアップすることで、同一動画でも何回でも再生される可能性が増え、広告の価値の向上が見込まれる。特定のカメラ（画像）のみにＱＲコード（登録商標）やクーポンコード等を入れることで、エンゲージを高めることができる。THE FIRST TAKE等とコラボして、グループの場合にカメラとマイクを連動させることができる（音声切り替え機能）。オリコン（登録商標）等と協力して、動画再生数ランキングとディレクションランキングという新しいランキングを作ることができる。YouTuberよりも簡単にディレクション機能を使って、新しい配信マーケットを作ることができる。

なお、多視点画像管理装置２によれば、「動画、音声、字幕」を作ることができ、また、配信できる。例えば、カラオケで、パート分けをカメラで実現することができる。具体的に、字幕を複数用意して、カメラで切り替える。

次に、編集ツールについて説明する。Adobe（登録商標）Premiereなどのプラグインで３６０°対応が可能になる。

上述の他、多視点画像管理装置２は、再生ユーザの画像を分割して、例えば、１６台×２＝３２台分のデータを配信する。これにより、ゴルフ等の比較映像を再生ユーザ側で作成する（操作して選択する）ことができる。３２台（＝１６台×２）の配信データから、左右同時に操作できる。例えば、最初Ａ（一方）を全面に表示し、途中Ａ、Ｂ（双方）を二分割で表示し、最後Ｂ（他方）を全面に表示する。そして、この操作を記録できる。

このような多視点画像管理装置２によれば、編集ユーザは、所定の多視点画像情報について所定の編集目的を指定するだけで、自動的に出力される編集ディレクション情報を用いて様々な編集目的に応じた多視点画像情報を編集することができる。

また、多視点画像管理装置２によれば、編集ユーザは、自動的に出力される音声ディレクション情報を用いて、多視点画像情報に合わせて様々な編集目的に応じた音声情報を編集することができる。

また、多視点画像管理装置２によれば、再生ユーザは、所定の多視点画像情報について所定の再生条件を指定するだけで、自動的に行われる配信条件設定により様々な再生条件に応じた多視点画像情報を再生することができる。

また、多視点画像管理装置２によれば、再生ユーザは、自動的に行われる配信条件設定により、多視点画像情報に合わせて様々な再生条件に応じた音声情報を再生することができる。

また、多視点画像管理装置２によれば、再生ユーザによる配信条件設定に基づいて、特定被写体の評価を行うことができる。

また、多視点画像管理装置２によれば、特定の再生ユーザによる再配信により特定の多視点画像情報を多重的に拡散することができる。

本発明は、上記実施形態に限定されるものではなく、種々の変更及び変形が可能である。

１ ネットワークシステム
２ 多視点画像管理装置
３ 編集ユーザ端末
４ 再生ユーザ端末
５ 管理者端末
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ バス
１５ 入出力インターフェース
１６ 出力部
１７ 入力部
１８ 記憶部
１９ 通信部
２０ ドライブ
２１ リムーバブルメディア
３１ 編集目的情報受付手段
３２ 編集ディレクション情報出力手段
３３ 再生条件情報受付手段
３４ 配信条件設定手段
３５ 実績情報取得手段
３６ 被写体評価情報出力手段
３７ 再配信手段
４１ 編集目的情報ＤＢ
４２ 多視点画像情報ＤＢ
４３ 編集ディレクション情報ＤＢ
４４ 再生条件情報ＤＢ
４５ 配信条件設定情報ＤＢ
４６ 実績情報ＤＢ

Claims (6)

1. 編集ユーザが使用する編集ユーザ端末から、所定の多視点画像情報に関する所定の編集目的情報を受け付ける編集目的情報受付手段と、
   前記所定の編集目的情報に基づいて、前記所定の多視点画像情報の編集に使用可能な、少なくとも前記所定の多視点画像情報に関する視点ディレクション情報を含む編集ディレクション情報を出力する編集ディレクション情報出力手段と、を備える
   多視点画像管理装置。
2. 前記編集ディレクション情報は、前記所定の多視点画像情報に併せて再生する音声情報に関する音声ディレクション情報をさらに含む
   請求項１に記載の多視点画像管理装置。
3. 再生ユーザが使用する再生ユーザ端末から、所定の多視点画像情報に関する所定の再生条件情報を受け付ける再生条件情報受付手段と、
   前記所定の再生条件情報に基づいて、少なくとも前記所定の多視点画像情報に関する視点ディレクション情報を含む配信条件設定を行う配信条件設定手段と、を備える
   多視点画像管理装置。
4. 前記配信条件設定は、前記所定の多視点画像情報に併せて再生する音声情報に関する音声ディレクション情報をさらに含む
   請求項３に記載の多視点画像管理装置。
5. 前記多視点画像情報は、特定被写体の情報を含み、
   前記多視点画像管理装置は、
   再生ユーザ毎の前記配信条件設定の実績情報を記憶する実績情報記憶手段から前記実績情報を取得する実績情報取得手段と、
   前記実績情報に基づいて、前記特定被写体の評価情報を出力する被写体評価情報出力手段と、をさらに備える
   請求項３又は４に記載の多視点画像管理装置。
6. 特定の編集ユーザによる編集ディレクションがされた特定の多視点画像情報を、特定の再生ユーザが使用する前記再生ユーザ端末からの要求に応じて、特定の再生ユーザとは別の再生ユーザが使用する前記再生ユーザ端末に再配信する再配信手段をさらに備える
   請求項３又は４に記載の多視点画像管理装置。

Images