JP2023177060A - 再生装置及び方法、システム、プログラム及び記憶媒体 - Google Patents

Abstract

【課題】 編集された動画のハイライトシーンを視聴する際に、ハイライトシーンに関連する同じ動画の一部を容易に視聴可能とすること。【解決手段】 動画を編集して配信する外部装置と通信する通信手段と、表示手段と、制御手段と、を有し、制御手段は、動画から予め決められた特徴に基づいて抽出された１以上の部分動画を示すリストを、通信手段を介して受信して、表示手段に表示し、表示されたリストのうち、選択された部分動画を通信手段を介して受信して、表示手段で再生し、選択された部分動画の再生終了時に、動画のうち、当該部分動画に関連し、かつ、異なる部分の動画である関連動画を視聴するか否かを問い合わせる選択肢を表示手段に表示し、関連動画を視聴することが選択された場合に、前関連動画を通信手段を介して受信して、表示手段で再生するように制御する。【選択図】 図５

Description

本発明は再生装置及び方法、システム、プログラム及び記憶媒体に関し、特に、再生コンテンツの再生制御に関する。

近年、カメラにより撮影した動画をＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）を用いて解析し、その結果に基づいて動画に含まれるハイライトシーンを自動的に切り出して配信するシステムがある。このシステムを、例えば、撮影したサッカー等のスポーツ映像に用いた場合、シュートやドリブル等の特有のプレイイベントや、特定のプレイヤーを特定し、特定したプレイイベントやプレイヤーが映るシーンを切り出して編集した動画を配信することができる。

上述したようなシステムでは、撮影した動画中に現れる特定のイベントや人物等の検出をクラウド上のサーバにて行う。具体的には、サーバが保持する予め学習済みの推論モデルを用い、推論した結果に基づいて動画を部分的に切り出す、といった編集を行う。編集されたシーンは、撮影した動画におけるハイライトシーンとして配信され、ユーザはタブレット端末やスマートフォン等の情報端末にて視聴することができる。

視聴に際して、ユーザは、タブレット端末等の情報端末にてウェブブラウザ等のアプリケーションを操作することで、ＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）等の通信プロトコルに基づいてハイライトシーンの動画を要求する。

また、ユーザに所望のハイライトシーンの動画を情報端末上で選択させるために、複数のサムネイル画像をユーザへ提示する方法がとられることがある。その場合、情報端末でユーザがサムネイル画像を選択することで所望のハイライトシーンの動画をサーバに要求すると、選択されたサムネイル画像に紐づけられたハイライトシーンの動画のストリーミング再生が開始される。

サムネイル画像を選択して、紐づけられた動画を視聴する方法については様々な先行技術があり、特許文献１では、サムネイル画像を選択することで、予めクラウド上のサーバで保持している編集・生成されたコンテンツを先頭から再生する方法が開示されている。

特開２０１５－３２９０６号公報

しかしながら、上述するようにＡＩが推論した結果に基づいて切り出された部分動画を再生する場合、ハイライトシーンとして適しているとは言えない範囲で切り出される場合が考えられ、ユーザが期待するシーンまで再生できない、といた事態が予想される。例えば、学習済モデルによる推論精度が不十分である場合に、例えば、サッカーのシュートシーンの切り出しにおいて、ゴールしたか否かを示すシーンの手前でＡＩが推論した結果に基づく動画の切り出しが終了してしまう、といったことが起こり得る。そのようなことが起きた場合、編集後の部分動画では、決定的シーンを視聴することができない。

特許文献１においては、サムネイル画像を選択することで、予めサーバで保持されているコンテンツを要求し、コンテンツの先頭から再生を開始することが可能である。しかしながら、上述した課題に示すような、切り出されたハイライトシーンの動画を視聴中に望ましくないタイミングで止まってしまった際に、切り出されたハイライトシーンの続きを視聴する方法や、続きの視聴を促す、または要求する方法は示されていない。

本発明は上記問題点を鑑みてなされたものであり、編集された動画のハイライトシーンを視聴する際に、ハイライトシーンに関連する同じ動画の一部を容易に視聴可能とすることを目的とする。

上記目的を達成するために、本発明の再生装置は、動画を編集して配信する外部装置と通信する通信手段と、表示手段と、前記通信手段および前記表示手段を制御する制御手段と、を有し、前記制御手段は、動画から予め決められた特徴に基づいて抽出された１以上の部分動画を示すリストを、前記外部装置から前記通信手段を介して受信して、前記表示手段に表示し、表示された前記リストのうち、選択された部分動画を前記外部装置から前記通信手段を介して受信して、前記表示手段で再生し、前記選択された部分動画の再生終了時に、前記動画のうち、当該部分動画に関連し、かつ、当該部分動画と異なる部分の動画である関連動画を視聴するか否かを問い合わせる選択肢を前記表示手段に表示し、前記関連動画を視聴することが選択された場合に、前記関連動画を前記外部装置から前記通信手段を介して受信して、前記表示手段で再生するように制御する。

本発明によれば、編集された動画のハイライトシーンを視聴する際に、ハイライトシーンに関連する同じ動画の一部を容易に視聴可能とすることができる。

本発明の実施形態におけるタブレット端末の主要な構成を示すブロック図。 実施形態におけるサーバの主要な構成を示すブロック図。 実施形態においてサーバがハイライトシーンのプレイリストを生成する動作を示すフローチャート。 実施形態における生成したハイライトシーンの情報を示すテーブルデータの一例を示す図。 第１の実施形態におけるタブレット端末の動作を示すフローチャート。 第１の実施形態におけるサーバのデータ配信動作を示すフローチャート。 第１の実施形態におけるサムネイル画像を提示した画面の一例を示す図。 第１の実施形態における視聴継続の問い合わせ提示のユーザーインターフェイスの一例を示す図。 第２の実施形態におけるタブレット端末の動作を示すフローチャート。 第２の実施形態におけるサーバのデータ配信動作を示すフローチャート。 第２の実施形態における視聴継続の問い合わせ及び他のハイライトシーンの提示のユーザーインターフェイスの一例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

＜第１の実施形態＞
本実施形態では、再生装置としてタブレット端末を、配信装置としてサーバを例に取り、それぞれを接続した形態を例に説明する。以下の説明において、タブレット端末とサーバの主要な構成及び、基本的な動作について説明し、続いてタブレット端末とサーバによる本発明の特徴的な協働動作について説明する。

■タブレット端末１００の主要な構成の説明
図１は、本実施形態におけるタブレット端末１００の主要な機能構成を示すブロック図である。
図１において、制御部１０１は、タブレット端末１００の各構成を制御する。制御部１０１は、タブレット端末１００の各構成に接続されており、各構成への制御指示や、ＲＡＭ１０３やＲＯＭ１０４等の記録媒体に対するデータの読み出しや書き込みを行う。

通信部１０２は、イントラネット及びインターネットに接続し、動画データ、画像データ、動画ファイル等の各種の情報データのファイル、その他の命令信号を送受信する。
ＲＡＭ１０３は、ＲＯＭ１０４に格納されているプログラムの展開用途や、表示画像のフレームメモリとして使用されたり、その他の情報の一時的な保持等に使用される。
ＲＯＭ１０４は、プログラムデータ、画像データ、ユーザ設定データ等の各種データを保存する内蔵メモリであり、半導体メモリ等で構成される。

操作部１０５は、各種ボタンやタッチパネル等により構成され、ユーザによる電源オン指示やスリープ状態遷移指示等の各種指示を受け付ける。
表示部１０６は、動画データや各種情報等の表示に用いられる。また、その前面には光を透過するタッチパネルが設けられ、表示部１０６の表示に応じてユーザが操作することで、タブレット端末１００への指示を入力することができる。
表示制御部１０７は、制御部１０１がＲＯＭ１０４等から読み出した画像データや、通信部１０２を介して取得した動画を表示部１０６にて表示するよう駆動する。

デコーダ１０８は、ＲＯＭ１０４等から読み出した動画データや通信部１０２を介して取得した動画データを、該データの圧縮方式に基づいて伸長する。
スピーカー１０９は、供給される音声信号を振動に変換し、振動板を通じて鳴動させる。

バッテリ１１０は、電源部１１１へ電力供給を行う。電源入力部１１２は、外部からの交流電力を受け入れ、所定の電圧に整流して電源部１１１に供給する。電源部１１１は、タブレット端末１００内の各構成への電力供給を制御する。

■サーバ２００の主要な構成の説明
図２は、本実施形態におけるサーバ２００の主要な構成を示すブロック図である。
図２において、制御部２０１は、サーバ２００の各構成を制御する。制御部２０１は、サーバ２００の各構成に接続されており、各構成へ制御指示や、データのやり取り等のアクセスを制御する。

通信部２０２は、イントラネット及びインターネットに接続し、動画データ、画像データ、動画ファイル等の各種の情報データのファイル、その他の命令信号を送受信する。
ＲＡＭ２０３は、ＨＤＤ２０４に格納されているプログラムの展開用途や、表示画像のフレームメモリとして使用されたり、その他の情報の一次的な保持等に使用される。
ＨＤＤ２０４は、プログラムデータ、画像データ、ユーザ設定データ等の各種データを保存するディスク形態の記録装置である。

動画処理部２０５は、通信部２０２を介して取得した動画データを所定の形式にエンコードする。また、動画処理部２０５は、動画データから各フレームの特徴を抽出する推論部２５５を含み、予め動画処理部２０５内に保持している学習済モデルを用いて、動画データに含まれる特徴を抽出する。

電源部２０６は、サーバ２００内の各構成への電力供給を制御する。電源入力部２０７は、外部からの交流電力を受け入れ、所定の電圧に整流して電源部２０６に供給する。

■タブレット端末１００の基本的な動作の説明
次に、本実施形態におけるタブレット端末１００の基本的な動作について説明する。タブレット端末１００の動作は、基本的に、制御部１０１が、ＲＯＭ１０４に記憶されたプログラムに基づいて、各構成を制御することにより実現されるものである。また、タブレット端末１００の動作は、ユーザが操作部１０５を介して電源オンを指示した時点をスタートとし、以降、操作部１０５を介してスリープ状態への遷移、スリープ状態からの復帰を経て、電源オフの指示により電源がオフされるまで続けられる。

操作部１０５を介してユーザがタブレット端末１００の電源オンを指示すると、制御部１０１は、バッテリ１１０や電源入力部１１２から供給される電力を元に、電源部１１１を通じてタブレット端末１００の各部へ電力を供給する。そして、制御部１０１は、ＲＯＭ１０４からプログラムを読み出し、該プログラムに基づき各部が動作可能な状態となるよう各部へ指示する。続いて、制御部１０１は、予めＲＯＭ１０４に記録されている画像データを読み出し、表示制御部１０７へ表示部１０６に表示を行うよう指示する。ここで表示する画像データは、タブレット端末１００が定常状態で表示する、所謂デスクトップ画面に相当する画像データである。指示を受けた表示制御部１０７は、上述した画像データに基づいて表示部１０６を制御し、タブレット端末１００起動後の画像が表示部１０６に表示された定常状態に遷移する。

その後、一定期間ユーザの操作が無い場合、制御部１０１へタイムアウトを報せる割り込みが発生する。それを受けて、制御部１０１はスリープ状態に遷移するために、表示制御部１０７に対して表示を停止するよう指示を出す。表示制御部１０７は、制御部１０１からの指示を受けると、表示部１０６の表示を停止するよう制御し、スリープ状態へ遷移する。また、スリープ状態において、タッチパネルを含む操作部１０５への操作や、不図示のジャイロセンサ等により所定の振動等を検出すると、上述した定常状態に復帰する。

続いて、タブレット端末１００をユーザが操作することでウェブブラウザアプリケーションを起動し、タブレット端末１００にて各種情報や静止画、動画データを受信して表示、再生する基本動作について説明する。

ユーザは、表示部１０６上の表示に従ってタッチパネルを操作することで、ＲＯＭ１０４に格納されているウェブブラウザアプリケーションの起動や、起動後の操作を行うことができる。例えば、デスクトップ画面に表示されているウェブブラウザアプリケーションを示すアイコンをタッチ操作することで起動する方法等が挙げられる。制御部１０１は、タッチパネルへのタッチ操作を受信し、ユーザ操作された位置情報や操作種別、及び表示部１０６上の表示内容に基づいて、ＲＯＭ１０４からウェブブラウザアプリケーションプログラムを読み出す。

続いて、制御部１０１は、アプリケーションの動作に係る各部を初期化し、表示に必要なデータであるＨＴＭＬ（Ｈｙｐｅｒ Ｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）データ要求を、ＨＴＴＰに基づいて通信部１０２を介して送信する。

制御部１０１は、通信部１０２を介してＨＴＭＬデータを受信すると、該ＨＴＭＬデータをＲＡＭ１０３へ書き出し、含まれる文書データや画像データの配置等を計算し、その結果を表示するように、表示制御部１０７への指示を出力する。表示制御部１０７は、制御部１０１からの指示に基づいて、表示部１０６を制御する。なお、ＨＴＭＬデータに含まれる文書データの解析や画像データの配置は、所謂ＨＴＭＬレンダリングプログラムに基づいて行われるものであり、予めＲＯＭ１０４に記憶されている。

ここまでの処理により、例えば動画の再生を促す表示を行うため、対象動画を示すサムネイル画像を受信して表示することで、ユーザに対して、再生対象を提示することが可能となる。

その後、ユーザにより、或るサムネイル画像がタッチパネルの操作により選択されると、制御部１０１は選択されたサムネイル画像に対応する動画データの要求を、通信部１０２を介して送信する。そして、要求した動画データを通信部１０２を介して受信すると、制御部１０１は、受信した動画データを再生可能なデータへ変換するため、デコーダ１０８へ復号するように指示する。デコーダ１０８が、復号したデータをＲＡＭ１０３へ書き出すと、制御部１０１は、復号されたデータに基づいて表示部１０６への表示を行うように表示制御部１０７に指示する。これにより、表示部１０６において動画の再生が行われる。

■サーバ２００におけるハイライトシーンのプレイリストを生成する動作の説明
次に、サーバ２００がハイライトシーンのプレイリストを生成するための基本的な動作について説明する。サーバ２００の動作は、基本的に、制御部２０１が、ＨＤＤ２０４に記憶されたプログラムに基づいて、各構成を制御することにより実現されるものである。

サーバ２００の動作は、ユーザが操作部（不図示）を介して電源オンを指示した時点をスタートとし、以降、操作部を介してスリープ状態への遷移や復帰を経て、操作部または通信部２０２を介して受け付ける電源オフの指示により電源がオフされるまで続けられる。

操作部を介してユーザがサーバ２００の電源オンを指示すると、制御部２０１は、電源入力部２０７から供給される電力を元に、電源部２０６を通じてサーバ２００の各部へ電力を供給する。そして、制御部２０１は、ＨＤＤ２０４からプログラムを読み出し、該プログラムに基づき各部が動作可能な状態となるよう各部へ指示することで、サーバ２００は定常状態に遷移する。

続いて、サーバ２００において、ユーザからアップロードされた動画データを配信するためのエンコード動作、及び動画データに対して学習済みモデルを用いた推論により抽出した特徴を動画データと紐づける動作について、図３のフローチャートを参照して説明する。なお、これらの動作は、アップロードされた動画を自動的に配信用に符号化するサービスとして提供されているものとし、一連の動作は所定のプログラムに従って自動的に実行される。

サーバ２００の制御部２０１は、通信部２０２を介してユーザがアップロードした動画データを受信すると、Ｓ３０１にて、制御部２０１は、動画処理部２０５に受信した動画データを符号化するよう指示する。本実施形態においては、動画処理部２０５による符号化では、後述する配信動作においてＨＬＳ（Ｈｔｔｐ Ｌｉｖｅ Ｓｔｒｅａｍｉｎｇ）方式に基づいて配信するためのパッケージ化処理を行うものとする。具体的には、動画処理部２０５は、動画データをＨ．２６５、音声をＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）で符号化する。更に、ＭＰ４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ｐｈａｓｅ４）コンテナとして成型し、ＭＰＥＧ２－ＴＳ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ｐｈａｓｅ２－Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）にパッケージ化する。この時、動画処理部２０５は、パッケージ化した動画データと紐づけてサムネイル画像をＨＤＤ２０４へ書き出しておくものとする。

続けて、Ｓ３０２にて、動画処理部２０５は、パッケージ化されたコンテンツをさらに予め決められた時間単位で区切られたセグメントファイルに分割し、分割したファイルの再生順序等を記述したマニフェストファイルを生成してＨＤＤ２０４へ書き出す。

さらに、Ｓ３０３にて、動画処理部２０５は、推論部２５５に対し、通信部２０２を介して受信した動画データ内に予め決められた特徴が含まれるか推論するよう指示を出す。推論部２５５は、指示を受け付けると、動画データの各フレーム画像を学習済モデルに入力し、特徴量をＲＡＭ２０３へ書き出す。ここで特徴量とは、例えば、フレーム画像内に存在する予め決められた人物や、その人物が起こすイベント、特にスポーツにおいては予め決められたプレイ動作等に相当する、所謂ハイライトシーンの検出結果と推論スコアを合わせたものである。

動画処理部２０５は、全フレーム画像に対して上述する推論処理を実行すると、処理が完了した旨を制御部２０１へ通知する。制御部２０１は、通知を受信するとＲＡＭ２０３から上述した特徴量に関する情報を読み出し、予め決められた人物、イベントの有無の判断と、それらに与えられた推論スコアが予め決められた閾値を超えているか否かを判断する。

Ｓ３０４において、制御部２０１は、判断の結果に基づいて、動画データにおいてどの区間にいずれの人物やイベント等が含まれるかを示す情報をテーブルとしてＨＤＤ２０４へ書き出す。

図４は、ハイライトシーン（部分動画）の情報を示すテーブルデータの一例を示す図である。図４において、４０１は、検出されたハイライトシーンの区間に付与されたハイライトＩＤであり、ハイライトシーンの動画区間を示す後述する情報に付与される。４０２は、ハイライトシーンの開始時刻を示す情報、４０３は、ハイライトシーンの終了時刻を示す情報である。４０４は、フレーム画像から判断された予め決められた人物やその人物の顔を示す情報を示し、ここでは、予め所定の顔・人物情報に対して割り振られたＩＤを保持しており、フレーム画像に含まれる人物やその人物の顔を示す情報がここで記録される。４０５は、フレーム画像から判断されたイベントを示す情報であり、ここでは、予め所定のイベントに対して割り振られたＩＤを保持しており、各フレーム画像または複数のフレーム画像に跨って含まれるイベントを示す情報がここで記録される。

続いて、Ｓ３０５にて、制御部２０１は、上述したテーブルの開始時刻４０２及び終了時刻４０３を参照して、ＨＤＤ２０４に書き出したセグメントファイルから当該区間に含まれるセグメントファイルを判定する。そして、それらを再生順に列挙したマニフェストファイルをＨＤＤ２０４へ書き出す。この処理を、制御部２０１は、各ハイライトＩＤ４０１に対して実行し、各ハイライトＩＤ４０１に対応するマニフェストファイルを順次ＨＤＤ２０４へ書き出す。また、各ハイライトシーンの動画の、例えば１枚目のフレーム画像からサムネイル画像を生成して、マニフェストファイルに紐づけてＨＤＤ２０４に書き出しておく。なお、サムネイル画像を生成するタイミングとしては、マニフェストファイルをＨＤＤ２０４へ書き出す際に行っても良いし、後述するようにサムネイル画像を要求された際に行っても構わない。

さらに、制御部１０１は、書き出した各マニフェストファイルに記述された最後に再生されるセグメントファイルの続きに相当する、所定区間のセグメントファイルを記述したマニフェストファイルをＨＤＤ２０４へ書き出す。これは、後述するタブレット端末１００によりハイライトシーンの再生後に、その続きを再生する際に利用するものである。当該ファイルをタブレット端末１００が参照することで、制御部２０１は、書き出したマニフェストファイル内の最後に再生したセグメントファイルの続きに相当するセグメントファイルから所定区間を列挙したマニフェストファイルをＨＤＤ２０４へ書き出す。なお、所定区間は、一律に定めた総再生実時間に相当する区間や、ハイライトシーンに応じて変化させた区間等、様々な区間とすることが可能であるが、いずれかの区間に限定されるものではない。

なお、ユーザがアップロードした動画データに対する推論処理とエンコード処理の順序は上述に限ることなく、逆の順序で実行した後に、上述するテーブルデータを作製しても良い。

以上の処理により、ハイライトシーンを抽出したマニフェストファイル、即ちプレイリストファイルが生成される。

なお、サーバ２００は、生成したデータの要求を受け付けるためのウェブサーバ機能も備えており、通信部２０２を介して、ＨＴＴＰ／ＨＴＴＰＳで送られてくる要求に基づいて、各種情報、画像データ、動画データ等を送信することができる。

■ハイライトシーンの再生
次に、図５及び図６を参照して、第１の実施形態における、サーバ２００で生成されたハイライトシーンをタブレット端末１００にて再生する処理について説明する。

図５は、タブレット端末１００における動作の流れを示すフローチャートである。ここでは、ユーザが予めサーバ２００に動画をアップロードし、その動画から生成されたハイライトシーンを再生するために、タブレット端末１００にてウェブブラウザを起動し、サーバ２００へアクセスした際の動作を示している。

まず、Ｓ５０１にて、制御部１０１は、通信部１０２を介してサーバ２００へハイライトシーンのサムネイル画像（１以上の部分動画を示すリスト）を要求する。その後、制御部１０１は、通信部１０２を介してサムネイル画像データを受信し、受信したサムネイル画像データをＲＡＭ１０３へ書き出し、表示制御部１０７へ書き出したサムネイル画像データを表示部１０６にて表示するよう指示する。

図７は、タブレット端末１００の表示部１０６に表示されたサムネイル画像の一例を示す図である。ここでは、サムネイル画像を４枚要求し、表示している様子を示している。なお、サムネイル画像の表示の仕方や要求するサムネイル画像の枚数はこれに限られるものではなく、例えば、ユーザがサーバ２００にアップロードした動画から生成されたハイライトシーン全てに対応するサムネイル画像であっても良い。

サムネイル画像を表示した後、Ｓ５０２にて制御部１０１は、操作部１０５により、表示部１０６に表示されたサムネイル画像のいずれかが選択されるのを待つ。サムネイル画像が選択されるとＳ５０３へ遷移し、制御部１０１は、選択されたサムネイル画像に対応するマニフェストファイルの要求を、通信部１０２を介して送信する。

そして、Ｓ５０４乃至Ｓ５０５において、マニフェストファイルに記述されているハイライトシーンを構成するセグメントファイルを順次再生する。
まずＳ５０４にて、制御部１０１は、通信部１０２を介して受信し、ＲＡＭ１０３に書き出されたマニフェストファイルを読み出し、記述されている再生順序に基づいて、セグメントファイルの要求を通信部１０２を介して送信する。

Ｓ５０５にて、制御部１０１は、通信部１０２を介して受信し、ＲＡＭ１０３に書き出されたセグメントファイルを復号するように、デコーダ１０８に指示を出す。デコーダ１０８による復号が完了すると、制御部１０１は、表示制御部１０７に対して復号した動画データに基づいて表示部１０６へ表示するよう指示を出す。

マニフェストファイルに記述されているセグメントファイルをすべて再生すると、Ｓ５０６へ遷移する。そして、制御部１０１は、再生の継続（関連動画の再生）を問い合わるＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示するよう表示制御部１０７へ指示を出し、表示部１０６に表示する。図８は、再生されたセグメントファイルの最後のフレーム画像と、再生の継続を問い合わる選択肢の一例を示す図であり、視聴を継続する視聴継続ボタン８００と、視聴を終了する終了ボタン８０１を示している。

そして、Ｓ５０７において、制御部１０１は、再生の継続を問い合わるＵＩに対する、ユーザの入力を待つ。
ユーザが視聴継続ボタン８００へのタッチ動作を行うと、制御部１０１は表示部１０６を介して指示を受け付け、Ｓ５０８へ遷移する。一方、ユーザが終了ボタン８０１へのタッチ動作を行うと、Ｓ５０１へ遷移し、再度サーバ２００に対してハイライトシーンのサムネイル画像の要求を、通信部１０２を介して送信する。

Ｓ５０８では、制御部１０１は、通信部１０２を介してＳ５０４乃至Ｓ５０５で再生したセグメントファイルの続きに相当するセグメントファイル群を記述したマニフェストファイルの要求を送信する。

次に、Ｓ５０９乃至Ｓ５１０にてマニフェストファイルに記述されている、ハイライトシーンの動画を構成するセグメントファイルを順次再生する。
まず、Ｓ５０９にて、制御部１０１は、通信部１０２を介して受信し、ＲＡＭ１０３に書き出されたマニフェストファイルを読み出し、記述されている再生順序に基づいて、セグメントファイルの要求を通信部１０２を介して送信する。

Ｓ５１０にて、制御部１０１は、通信部１０２を介して受信し、ＲＡＭ１０３に書き出されたセグメントファイルを復号するように、デコーダ１０８に指示を出す。続いて、デコーダ１０８による復号が完了すると、制御部１０１は、表示制御部１０７に対して復号した動画データに基づいて表示部１０６へ表示するよう指示を出す。

マニフェストファイルに記述されているセグメントファイルをすべて再生すると、Ｓ５１１へ遷移する。そして、制御部１０１は、再生されたセグメントファイルの最後のフレーム画像上に、図８に示す終了ボタン８０１を表示するよう表示制御部１０７へ指示を出し、表示部１０６に表示して、Ｓ５１２に遷移する。

Ｓ５１２において、ユーザが終了ボタン８０１へのタッチ動作を行うと、制御部１０１はＳ５０１へ遷移し、再度サーバ２００へハイライトシーンのサムネイルの要求を、通信部１０２を介して送信する。

一方、Ｓ５１２にて、ユーザがサムネイル画面に戻らず、例えばウェブブラウザを閉じる指示等を、操作部１０５を介して指示すると、制御部１０１は該指示に基づいて処理を終了する。

なお、上述した例では、Ｓ５１１において、終了ボタン８０１のみを表示する場合について説明したが、視聴継続ボタン８００を表示しても良い。その場合、視聴継続ボタン８００が選択されると、Ｓ５０８に戻って、再生されたセグメントファイルの続きに相当するセグメントファイル群を記載したマニフェストファイルの要求を送信し、再生する処理を行う。

続いて、上述したタブレット端末１００の動作に対応した、サーバ２００の動作について説明する。図６は、サーバ２００における動作の流れを示すフローチャートである。
Ｓ６０１にて、制御部２０１は、通信部２０２を介して受信する要求を待つ。通信部２０２を介して要求を受信すると、Ｓ６０２において、制御部２０１は、受信した要求がハイライトシーンのサムネイル画像の要求であるかどうかを判断する。受信した要求がハイライトシーンのサムネイル画像の要求であると判断すると、Ｓ６０３へ遷移し、制御部２０１は、対応するサムネイル画像をＨＤＤ２０４から読み出し、通信部２０２を介して送信する。

Ｓ６０２において、受信した要求がハイライトシーンのサムネイル画像の要求で無いと判断すると、制御部２０１は、Ｓ６０４において、受信した要求がマニフェストファイルの要求であるかどうかを判断する。受信した要求がマニフェストファイルの要求であると判断すると、Ｓ６０５へ遷移し、制御部２０１は、対応するマニフェストファイルをＨＤＤ２０４から読み出し、通信部２０２を介して送信する。

Ｓ６０４において、受信した要求がマニフェストファイルの要求で無いと判断すると、制御部２０１は、Ｓ６０６において受信した要求がセグメントファイルの要求であるかどうかを判断する。受信した要求がセグメントファイルの要求であると判断すると、Ｓ６０７へ遷移し、制御部２０１は、対応するセグメントファイルをＨＤＤ２０４から読み出し、通信部２０２を介して送信する。

Ｓ６０６において、受信した要求がセグメントファイルの要求で無いと判断すると、制御部２０１は、Ｓ６０１に戻って、次の要求を待つ。

このように、セグメントファイルは、Ｓ６０５にてタブレット端末１００に送信したマニフェストファイルに記述した内容に基づいて要求されることが想定されるが、通信部２０２にて要求を受信するごとに、制御部２０１はＳ６０７を実行する。

また、図５のＳ５０７においてハイライトシーンの続きの動画の視聴が選択され、対応するマニフェストファイルを、通信部２０２を介して要求された時は、制御部２０１はＳ６０５を実行し、マニフェストファイルを送信する。

以上のように、タブレット端末１００は、指定されたハイライトシーンの再生終了時に、続きの動画を視聴するか否かを問い合わせる。その結果に応じてその続きを要求することで、予めＡＩの推論により生成されたハイライトシーン以外の区間の動画を視聴することが可能となる。

なお、本実施形態ではハイライトシーンの続きの動画を視聴するか否かを問い合わせる実施の形態について説明したが、問い合わせる対象はこの方法に限ることはない。例えば、ハイライトシーンの開始位置より前に相当する動画（関連動画）のマニフェストファイルをサーバ２００にて予め生成しておき、その動画の視聴を問い合わせても良い。さらに、ハイライトシーンの開始位置より前に相当する動画の視聴については、再生終了時に提示する以外、ハイライトシーンの再生途中に視聴を問い合わせても良い。

なお、本実施形態においては、ハイライトシーンの再生に際し、ＨＬＳ方式を採用したが、本発明はこの方式に限られるものでは無い。例えば、ＭＰＥＧ－ＤＡＳＨ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ－Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ Ｈｔｔｐ）、ＲＴＳＰ（Ｒｅａｌ Ｔｉｍｅ Ｓｔｒｅａｍｉｎｇ Ｐｒｏｔｏｃｏｌ）、ＲＴＭＰ（Ｒｅａｌ Ｔｉｍｅ Ｍｅｓｓａｇｉｎｇ Ｐｒｏｔｏｃｏｌ）等、ストリーミング再生が可能なプロトコルであれば何れを適用することも可能である。

なお、本実施形態において扱ったハイライトシーンの動画は、単一のカメラにより撮影されたコンテンツ以外にも適用することが可能である。例えば、複数のカメラにより撮影されたコンテンツを合成することで生成する自由視点映像技術によるコンテンツ等、ハイライトシーンの再生に好適なコンテンツであれば、本実施形態に示す視聴に係る動作を適用しても良い。

また、ハイライトシーンの続きの動画を視聴した後に、ハイライトシーンとハイライトシーンの続きの動画とを、続けて視聴するかどうかを問い合わせるようにしても良い。これにより、途中で動画が途切れることなく、視聴することができる。その場合、タブレット端末１００は、取得済みのマニフェストファイルに記述されたセグメントファイルの要求を、通信部１０２を介してサーバ２００に送信し、サーバ２００は、通信部２０２を介して要求されたセグメントファイルをタブレット端末１００に送信する。

または、タブレット端末１００内で、復号済みの動画データを保持可能である場合には、保持してある復号済みの動画データを再生しても良い。

上記の通り第１の実施形態によれば、ハイライトシーンを視聴する際に、ハイライトシーンに続く動画を視聴可能とすることができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。

第１の実施形態では、ハイライトシーンの再生が終了した時に、続きを視聴するか否かを問い合わせ、その結果に基づいて、ハイライトシーン以外の区間の動画を視聴する方法について説明した。これに対し、第２の実施形態では、ハイライトシーンの再生が終了した時に、続きを視聴するか否かの問い合わせに加えて、再生が終了したハイライトシーン周辺のハイライトシーンの視聴の選択肢を提示する方法について説明する。なお、本実施形態におけるタブレット端末１００及びサーバ２００の構成は、第１の実施形態で図１及び図２を参照して説明したものと同様であるため、ここでは説明を省略する。また、以下の説明では、第１の実施形態と異なる、タブレット端末１００及びサーバ２００の動作について主に説明し、第１の実施形態と同様の動作については適宜省略する。

図９は、タブレット端末１００の動作を示すフローチャートである。なお、Ｓ５０１乃至Ｓ５０５の処理は、第１の実施形態の図５におけるＳ５０１乃至Ｓ５０５と同様であるため、同じ参照番号を付して説明を省略する。

Ｓ５０１乃至Ｓ５０５にてハイライト動画の再生が終了すると、Ｓ９０６へ遷移し、制御部１０１は再生が終了したハイライト動画に関連するハイライト動画のサムネイル画像の要求を、通信部２０２を介して送信する。

通信部２０２を介して、再生が終了したハイライト動画に関連するハイライト動画のサムネイル画像を受信すると、Ｓ９０７にて、制御部１０１は、再生の継続の問い合わせと、関連するハイライト動画の視聴を提示するＵＩを表示するよう、表示制御部１０７へ指示する。

図１１は、Ｓ９０７で表示されるＵＩの一例を示す図であり、図８で示した視聴継続ボタン８００と終了ボタン８０１に加えて、サーバ２００から受信した関連するハイライト動画（関連動画）のサムネイル画像１１０２乃至１１０４が表示される。

ここで、Ｓ９０８にて、視聴継続ボタン８００及びサムネイル画像１１０２乃至１１０４の何れかが選択されると、Ｓ９０９へ遷移する。Ｓ９０９において、制御部１０１は、Ｓ５０４乃至Ｓ５０５で再生したセグメントファイルの続きに相当するセグメントファイル群、または、選択されたサムネイル画像に基づくマニフェストファイルの要求を、通信部１０２を介して送信する。

以降、Ｓ５０９乃至Ｓ５１１の処理は、第１の実施形態の図５におけるＳ５０９乃至Ｓ５１１の処理と同様であるため、同じステップ番号を付して説明を省略する。

続いてサーバ２００の動作について説明する。
図１０はサーバ２００の動作フローを示す図である。Ｓ１００１乃至Ｓ１００３は、図９における、Ｓ９０６の関連するハイライト動画のサムネイル画像の要求に応じた処理である。

Ｓ１００１にて、制御部２０１は、通信部２０２を介して、関連するサムネイル画像の要求を待ち受ける。

制御部２０１は通信部２０２を介して関連するサムネイル画像の要求を受信したと判断すると、Ｓ１００２へ遷移し、制御部２０１は、ハイライト動画に係るテーブルデータをＨＤＤ２０４から読み出し、関連する動画を判断する。

ここで判断の例として、例えば、図４に示す各ハイライト動画に関する情報のうち、開始時刻４０２または終了時刻４０３が、それまで再生していたハイライト動画に近しい其れを制御部２０１が判断、選択し、タブレット端末１００に送信する方法が挙げられる。

その他、顔・人物ＩＤ４０４またはイベントＩＤ４０５が、それまで再生していたハイライト動画の其れと一致する対象を制御部２０１が判断、選択し、タブレット端末１００に送信しても良い。

さらに、上述の顔・人物ＩＤやイベントＩＤに限らず、スポーツであればＡＩに推論可能な対象であればよく、例えばプレイヤの背番号や、チーム種別、プレイやの役割・ポジション等、或るルールに則って関連性を判断できる要素であれば何れでも良い。

Ｓ１００２にて、制御部２０１が、それまで再生していたハイライト動画に関連するハイライト動画を判断して選択すると、Ｓ１００３へ遷移し、制御部２０１は、通信部２０２を介して判断したハイライト動画のサムネイル画像を送信する。

以上のように、ハイライト動画の再生終了時に、視聴継続を促す他、関連するハイライト動画の視聴を提示することで、ユーザが望むシーンを視聴することが可能となる。

＜他の実施形態＞
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

＜まとめ＞
本実施形態の開示は、以下の構成を含む。

（構成１）
動画を編集して配信する外部装置と通信する通信手段と、
表示手段と、
前記通信手段および前記表示手段を制御する制御手段と、を有し、
前記制御手段は、
動画から予め決められた特徴に基づいて抽出された１以上の部分動画を示すリストを、前記外部装置から前記通信手段を介して受信して、前記表示手段に表示し、
表示された前記リストのうち、選択された部分動画を前記外部装置から前記通信手段を介して受信して、前記表示手段で再生し、
前記選択された部分動画の再生終了時に、前記動画のうち、当該部分動画に関連し、かつ、当該部分動画と異なる部分の動画である関連動画を視聴するか否かを問い合わせる選択肢を前記表示手段に表示し、
前記関連動画を視聴することが選択された場合に、前記関連動画を前記外部装置から前記通信手段を介して受信して、前記表示手段で再生する
ように制御することを特徴とする再生装置。

（構成２）
前記関連動画は、前記選択された部分動画の続きの動画、前記選択された部分動画の前の部分の動画、または、前記１以上の部分動画のうち、前記選択された部分動画に関連する部分動画であることを特徴とする構成１に記載の再生装置。

（構成３）
前記制御手段は、前記選択肢のうち、前記選択された部分動画の前の部分の動画の視聴の問い合わせの選択肢を、前記選択された部分動画の再生途中に前記表示手段に表示するように制御することを特徴とする構成２に記載の再生装置。

（構成４）
前記選択された部分動画の続きの動画、及び、前記選択された部分動画の前の部分の動画は、予め決められた長さの動画であることを特徴とする構成２または３に記載の再生装置。

（構成５）
前記制御手段は、更に、
前記続きの動画の再生終了時に、更に続きの動画を視聴するか否かを問い合わせる選択肢を前記表示手段に表示し、
前記更に続きの動画を視聴することが選択された場合に、前記更に続きの動画を前記通信手段を介して受信して、前記表示手段で再生する
ように制御することを特徴とする構成２乃至４のいずれかに記載の再生装置。

（構成６）
前記制御手段は、更に、
前記続きの動画の再生終了時に、前記選択された部分動画と、前記続きの動画とを続けて再生するか否かを問い合わせる選択肢を前記表示手段に表示し、
続けて再生することが選択された場合に、前記選択された部分動画と、前記続きの動画とを続けて前記表示手段で再生する
ように制御することを特徴とする構成２乃至５のいずれかに記載の再生装置。

（構成７）
前記１以上の部分動画は、前記動画に対して推論モデルを用いた推論を行うことにより抽出された部分動画であることを特徴とする構成１乃至６のいずれかに記載の再生装置。

（構成８）
前記リストは、前記１以上の部分動画それぞれのサムネイル画像であることを特徴とする構成１乃至７のいずれかに記載の再生装置。

（構成９）
構成１乃至８のいずれかに記載の再生装置と、
サーバと、を含むシステムであって、
前記サーバが、
入力された前記動画から、予め決められた特徴に基づいて前記１以上の部分動画を抽出する抽出手段と、
前記再生装置からの要求に応じて、前記再生装置に、前記１以上の部分動画を示すリストと、前記１以上の部分動画のうち、前記再生装置から要求された部分動画を送信する通信手段と、を有し、
前記再生装置から、前記関連動画が要求された場合に、前記関連動画を前記通信手段を介して送信する
ことを特徴とするシステム。

（構成１０）
前記抽出手段は、推論モデルを用いた推論を行って、前記１以上の部分動画を抽出することを特徴とする構成９に記載のシステム。

（構成１１）
動画から予め決められた特徴に基づいて抽出された１以上の部分動画を示すリストを、外部装置から通信手段を介して受信して、表示手段で再生する工程と、
表示された前記リストのうち、選択された部分動画を前記外部装置から前記通信手段を介して受信して、前記表示手段で再生する工程と、
前記選択された部分動画の再生終了時に、前記動画のうち、当該部分動画に関連し、かつ、当該部分動画と異なる部分の動画である関連動画を視聴するか否かを問い合わせる選択肢を前記表示手段に表示する工程と、
前記関連動画を視聴することが選択された場合に、前記関連動画を前記外部装置から前記通信手段を介して受信して、前記表示手段で再生する工程と
を有することを特徴とする再生方法。

（構成１２）
コンピュータを、構成１乃至８のいずれかに記載の再生装置の各手段として機能させるためのプログラム。

（構成１３）
構成１２に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために構成を添付する。

１００：タブレット端末、１０１：制御部、１０２：通信部、１０３：ＲＡＭ、１０５：操作部、１０６：表示部、１０７：表示制御部、１０８：デコーダ、２００：サーバ、２０１：制御部、２０２：通信部、２０３：ＲＡＭ、２０４：ＨＤＤ、２０５：動画処理部、２５５：推論部

Claims (13)

1. 動画を編集して配信する外部装置と通信する通信手段と、
   表示手段と、
   前記通信手段および前記表示手段を制御する制御手段と、を有し、
   前記制御手段は、
   動画から予め決められた特徴に基づいて抽出された１以上の部分動画を示すリストを、前記外部装置から前記通信手段を介して受信して、前記表示手段に表示し、
   表示された前記リストのうち、選択された部分動画を前記外部装置から前記通信手段を介して受信して、前記表示手段で再生し、
   前記選択された部分動画の再生終了時に、前記動画のうち、当該部分動画に関連し、かつ、当該部分動画と異なる部分の動画である関連動画を視聴するか否かを問い合わせる選択肢を前記表示手段に表示し、
   前記関連動画を視聴することが選択された場合に、前記関連動画を前記外部装置から前記通信手段を介して受信して、前記表示手段で再生する
   ように制御することを特徴とする再生装置。
2. 前記関連動画は、前記選択された部分動画の続きの動画、前記選択された部分動画の前の部分の動画、または、前記１以上の部分動画のうち、前記選択された部分動画に関連する部分動画であることを特徴とする請求項１に記載の再生装置。
3. 前記制御手段は、前記選択肢のうち、前記選択された部分動画の前の部分の動画の視聴の問い合わせの選択肢を、前記選択された部分動画の再生途中に前記表示手段に表示するように制御することを特徴とする請求項２に記載の再生装置。
4. 前記選択された部分動画の続きの動画、及び、前記選択された部分動画の前の部分の動画は、予め決められた長さの動画であることを特徴とする請求項２に記載の再生装置。
5. 前記制御手段は、更に、
   前記続きの動画の再生終了時に、更に続きの動画を視聴するか否かを問い合わせる選択肢を前記表示手段に表示し、
   前記更に続きの動画を視聴することが選択された場合に、前記更に続きの動画を前記通信手段を介して受信して、前記表示手段で再生する
   ように制御することを特徴とする請求項２に記載の再生装置。
6. 前記制御手段は、更に、
   前記続きの動画の再生終了時に、前記選択された部分動画と、前記続きの動画とを続けて再生するか否かを問い合わせる選択肢を前記表示手段に表示し、
   続けて再生することが選択された場合に、前記選択された部分動画と、前記続きの動画とを続けて前記表示手段で再生する
   ように制御することを特徴とする請求項２に記載の再生装置。
7. 前記１以上の部分動画は、前記動画に対して推論モデルを用いた推論を行うことにより抽出された部分動画であることを特徴とする請求項１に記載の再生装置。
8. 前記リストは、前記１以上の部分動画それぞれのサムネイル画像であることを特徴とする請求項１に記載の再生装置。
9. 請求項１乃至８のいずれか１項に記載の再生装置と、
   サーバと、を含むシステムであって、
   前記サーバが、
   入力された前記動画から、予め決められた特徴に基づいて前記１以上の部分動画を抽出する抽出手段と、
   前記再生装置からの要求に応じて、前記再生装置に、前記１以上の部分動画を示すリストと、前記１以上の部分動画のうち、前記再生装置から要求された部分動画を送信する通信手段と、を有し、
   前記再生装置から、前記関連動画が要求された場合に、前記関連動画を前記通信手段を介して送信する
   ことを特徴とするシステム。
10. 前記抽出手段は、推論モデルを用いた推論を行って、前記１以上の部分動画を抽出することを特徴とする請求項９に記載のシステム。
11. 動画から予め決められた特徴に基づいて抽出された１以上の部分動画を示すリストを、外部装置から通信手段を介して受信して、表示手段で再生する工程と、
    表示された前記リストのうち、選択された部分動画を前記外部装置から前記通信手段を介して受信して、前記表示手段で再生する工程と、
    前記選択された部分動画の再生終了時に、前記動画のうち、当該部分動画に関連し、かつ、当該部分動画と異なる部分の動画である関連動画を視聴するか否かを問い合わせる選択肢を前記表示手段に表示する工程と、
    前記関連動画を視聴することが選択された場合に、前記関連動画を前記外部装置から前記通信手段を介して受信して、前記表示手段で再生する工程と
    を有することを特徴とする再生方法。
12. コンピュータを、請求項１乃至８のいずれか１項に記載の再生装置の各手段として機能させるためのプログラム。
13. 請求項１２に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images