JP2019029801A - 再生装置、再生装置の制御方法、及び、プログラム - Google Patents

再生装置、再生装置の制御方法、及び、プログラム Download PDF

Info

Publication number
JP2019029801A
JP2019029801A JP2017146797A JP2017146797A JP2019029801A JP 2019029801 A JP2019029801 A JP 2019029801A JP 2017146797 A JP2017146797 A JP 2017146797A JP 2017146797 A JP2017146797 A JP 2017146797A JP 2019029801 A JP2019029801 A JP 2019029801A
Authority
JP
Japan
Prior art keywords
segment
content
display
playback
segment data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017146797A
Other languages
English (en)
Other versions
JP2019029801A5 (ja
JP6869135B2 (ja
Inventor
理枝子 塚越
Rieko Tsukakoshi
理枝子 塚越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017146797A priority Critical patent/JP6869135B2/ja
Priority to US16/040,693 priority patent/US10674188B2/en
Publication of JP2019029801A publication Critical patent/JP2019029801A/ja
Publication of JP2019029801A5 publication Critical patent/JP2019029801A5/ja
Application granted granted Critical
Publication of JP6869135B2 publication Critical patent/JP6869135B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • H04N21/4586Content update operation triggered locally, e.g. by comparing the version of software modules in a DVB carousel to the version stored locally
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • H04N21/4825End-user interface for program selection using a list of items to be played back in a given order, e.g. playlists
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6582Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/858Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】 ストリーミング再生において、コンテンツデータを欠落なく再生することを可能とする。【解決手段】外部装置と通信する通信手段と、表示手段と、前記外部装置から前記再生装置に送信されるコンテンツに関するコンテンツ情報を保持する保持手段と、制御手段とを備え、前記コンテンツは複数のセグメントからなり、前記コンテンツ情報は、前記複数のセグメントのうち、どのセグメントが前記表示手段による表示が完了したかを特定するためのセグメント情報を含み、前記制御手段は前記コンテンツ情報に基づき、前記複数のセグメントのうち前記表示手段による表示が完了していないセグメントを前記外部装置から受信するように前記通信手段を制御する。【選択図】 図1

Description

本発明は、再生装置、再生装置の制御方法、及び、プログラムに関する。
ストリーミングとは、カメラやスマートフォン、テレビなどの再生装置が、インターネットなどの通信を介してサーバなどの外部装置から動画や音声などのコンテンツデータを受信しながら同時に再生する技術である。
装置間でデータを送受信する際に発生する可能性があるデータの遅延や欠落に関しては、コンテンツデータの用途に応じたデータを決定し取得することにより解決する技術が知られている(特許文献1)。また、コンテンツのストリーミング再生を一時中断し、再び同一コンテンツを継続して視聴を可能とするために、視聴情報をファイルで管理することによりデータの欠落なく視聴することを可能とする技術が知られている(特許文献2)。
特開2015−119334号公報 特開2005−318250号公報
送信側であるサーバなどの外部装置において、コンテンツに関する情報を管理するためのコンテンツ情報(以下、「プレイリスト」という)を用いることにより、送信するコンテンツデータの欠落を防ぐ技術や停止場面からの再視聴を可能とする技術は知られている。
上記特許文献1に記載の発明では、コンテンツを分割して得られるセグメントデータを再生装置へ送信完了した時にプレイリストを更新するように制御する。しかし、再生装置への送信が完了したセグメントデータが常に再生装置側で全て表示されるとは限らない。そのため、プレイリストで管理するセグメント(再生装置に送信済みのセグメント)の情報と再生装置において再生済みのセグメントデータとが整合しない状況が発生し得る。
また、特許文献2に記載の発明では、コンテンツの再生をユーザの意図に基づき一時中断する時にのみプレイリストを更新するように制御する。この場合、データ受信不良の環境下においてユーザの意図しない停止が発生した際に、プレイリストで管理しているセグメントの情報と再生装置において再生済みのセグメントデータとが整合しない状況が発生し得る。
このように、従来の提案手法では、再生装置に送信済みのセグメントの情報と再生装置が再生済みのセグメントデータとが整合しない状況が発生し、その後にコンテンツの再生を再開すると、セグメントデータの欠落が発生してしまう虞がある。
そこで、本発明は、ストリーミング再生において、コンテンツデータを欠落なく再生することを可能とするための技術を提供する。
上記課題を解決するための本発明は、再生装置であって、
外部装置と通信する通信手段と、
表示手段と、
前記外部装置から前記再生装置に送信されるコンテンツに関するコンテンツ情報を保持する保持手段と、
制御手段とを備え、
前記コンテンツは複数のセグメントからなり、前記コンテンツ情報は、前記複数のセグメントのうち、どのセグメントが前記表示手段による表示が完了したかを特定するためのセグメント情報を含み、
前記制御手段は
前記コンテンツ情報に基づき、前記複数のセグメントのうち前記表示手段による表示が完了していないセグメントを前記外部装置から受信するように前記通信手段を制御することを特徴とする。
本発明によれば、ストリーミング再生において、コンテンツデータを欠落なく再生することが可能となる。
発明の実施形態に対応するシステム構成の一例を示す図と、発明の実施形態に対応する再生装置100の構成の一例を示す図。 発明の実施形態1に対応するストリーミング再生時の再生装置100と情報処理装置200との間の通信及び各装置における処理を示すシーケンス図。 発明の実施形態に対応する、プレイリストのデータ構成の一例を示す図。 発明の実施形態1に対応するストリーミング再生再開時の再生装置100と情報処理装置200との間の通信及び各装置における処理を示すシーケンス図。 発明の実施形態2に対応するストリーミング再生再開時の再生装置100と情報処理装置200との間の通信及び各装置における処理を示すシーケンス図。
以下、発明を実施するための形態について詳細に説明する。以下に説明する実施形態は、発明を実施するための一例であり、発明の実施形態は以下に説明する例に限定されるものではない。
[実施形態1]
図1(A)は、発明の実施形態に対応する再生システムの構成例を示す図である。本実施形態において、再生システム10は、再生装置100と、当該再生装置100と通信する外部装置であるところの情報処理装置200とを有する。再生装置100は、例えばデジタルカメラやスマートフォンなどの装置として構成することができるが、それらに限られない。また情報処理装置200は、例えばコンテンツサーバ等の、再生装置100に動画、音声等のコンテンツを提供する装置であるが、その例に限られない。再生装置100と、情報処理装置200との間の通信は、例えばインターネットを介して行うことができる。
再生システム10において、再生装置100と情報処理装置200との間では、プレイリスト、セグメントデータ、及び制御情報を送受信する。プレイリストとは、動画、音声などのコンテンツに関する情報を有する管理データであり、情報処理装置200側がコンテンツ毎に管理して、再生装置100がコンテンツの再生を行なおうとする場合に提供される。より詳細なデータ構成等については、図3を参照して後述する。
セグメントデータとは、1つのコンテンツが所定の時間単位(例えば、数秒、或いは、2秒程度)に複数のセグメントに分割されたデータであり、1つのコンテンツをストリーミングする場合、1つのコンテンツデータに基づき複数のセグメントデータが生成される。保存済みのコンテンツをストリーミングする場合、情報処理装置200は保存済みのコンテンツを分割し、複数のセグメントを生成する。また、例えばリアルタイムに撮影されているコンテンツをストリーミングする場合、情報処理装置200は、撮影が進行し所定量の撮影データが記録されるたびに順次セグメントを生成していく。各セグメントには、セグメントを一意に識別するためのセグメント識別情報が割り当てられている。図1(A)では、簡単のためにセグメントデータ1、セグメントデータ2と示しているが、各セグメントを一意に識別可能であればどのような形態であってもよい。識別情報として、URLなどのアドレスなど、所定の通信プロトコルにて各セグメントにアクセスするための情報を用いることもできる。セグメントデータは、再生装置100からの要求に従って情報処理装置200から順次送信され、再生装置100において順次再生されることで、ストリーミングが実現される。制御情報とは、通信の相手方機器への制御コマンド(単に、コマンドとも言う。)である。
次に、図1(B)を参照して本実施形態に係る再生装置100の構成を説明する。図1(B)に示す再生装置100は、例えばパーソナルコンピュータ、携帯電話、スマートフォン、PDA、タブレット端末、携帯型メディアプレーヤなどの任意の情報処理端末或いは表示装置として実現することができる。
CPU101は、再生装置100全体の動作を制御する。DRAM102は、CPU101が動作する際に一時的にデータなどを保持することが可能なメモリである。フラッシュメモリ103は、本実施形態に対応する処理を実行するためのプログラムを含む、CPU101が実行するプログラムが格納されている。プレイリスト保持部104は、情報処理装置200から受信したプレイリストを保持するメモリである。
プレイリスト制御部105はプレイリスト保持部104へのプレイリストの書込み及び読出しの制御、及び、プレイリストの解析を行う。セグメントデータ保持部106は、情報処理装置200から受信したセグメントデータを保持するメモリである。セグメントデータ制御部107は、セグメントデータ保持部106へのセグメントデータの書込み及び読出しの制御を行う。復号処理部108は、受信したセグメントデータの復号処理を行う。表示部109は復号処理部108にて復号処理されたセグメントデータを表示するLCD等の表示装置である。操作部110は、再生装置100に対するユーザの操作を受付けるための機構であって、例えば、ボタン、タッチパネル、ダイヤルなどの各種操作部材を含む。通信部111は、情報処理装置200との通信を行う。制御バス112はCPU101が各ブロックを制御する機能を有する。
なお、図1(B)においては、プレイリスト制御部105、セグメントデータ制御部107をCPU101とは独立の構成として記載しているが、CPU101がこれらの制御部として動作してもよい。また、同様に、プレイリスト保持部104及びセグメントデータ保持部106を、フラッシュメモリ103とは独立の構成として記載しているが、フラッシュメモリ103の一部として構成してもよい。逆に、複数のハードウェアが処理を分担・協働して行うことで、再生装置100における1つの手段として機能するようにしてもよい。その他、再生装置100における構成は専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをCPU等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。
また、本実施形態に対応する情報処理装置200も、図1(B)に示す再生装置100と同等の構成とすることができる。以下、情報処理装置200における各構成要素について説明する場合は、200番台の参照番号を割り当てることにする。例えば、情報処理装置200のCPUについて言及する場合は、CPU201という。
次に、ストリーミング再生時の再生システム10における各装置の動作について、図2を参照して説明する。図2は、本実施形態に係る、ストリーミング再生時の再生装置100と情報処理装置200との間の通信及び各装置における処理を示すシーケンス図である。図2のシーケンス図では、再生されるコンテンツは2つ以上のセグメントで構成されており、かつ、初めて再生される場合を想定している。
CPU101は、S201において操作部110を介したユーザ入力に基づき電源投入要求を受けると、再生装置100の動作モードをライブストリーミングモードに遷移させる。ライブストリーミングモードとは、再生装置100が情報処理装置200からコンテンツをセグメントデータ単位に受信しながら同時に表示部109に表示再生する動作モードである。続くS202において、CPU101は、通信部111を介して情報処理装置200へ接続依頼の制御情報を送信する。続くS202においてCPU101は、通信部111を介して情報処理装置200からプレイリストアクセス許可の制御情報を受信する。これにより、再生装置100と、情報処理装置200とが通信可能状態となり、以降、再生装置100と情報処理装置200における通信は、通信部111を介して行われる。
S204では、CPU101は、操作部110を介したユーザ入力に基づきライブストリーミングの開始要求を受ける。続くS205においてCPU101は、コンテンツ情報としてのプレイリストを取得するために、通信部111を介して情報処理装置200に対しプレイリストを要求する制御情報を送信する。プレイリストには、再生装置100においてコンテンツを再生するために必要な情報が登録されている。プレイリストの詳細については図3を参照して後述する。情報処理装置200は、再生装置100からの当該プレイリスト要求に応じて、再生装置100にプレイリストを送信する。
続くS206において、CPU101は、情報処理装置200が送信したプレイリストを通信部111を介して受信すると、プレイリスト制御部105を制御して当該プレイリストをプレイリスト保持部104に保持させる。続くS207においてCPU101は、プレイリスト制御部105を制御して、プレイリスト保持部104が保持するプレイリストを解析する。当該解析においては、再生を開始する際の先頭のセグメントを特定し、CPU101へ通知する。このときプレイリスト制御部105は、先頭のセグメントを特定するための識別情報をCPU101に通知する。ここで特定されたセグメントを、本実施形態では「セグメント1」と呼び、これ以降の説明を行う。
続くS208では、CPU101は、通信部111を制御して、セグメント1のデータ(「セグメントデータ1」という)を要求する制御情報を情報処理装置200に送信する。セグメントデータ1の指定は、プレイリストに含まれるURLに基づき行われる。当該URLは、再生装置100から情報処理装置200に対してセグメントデータ1を指定する情報として利用され、情報処理装置200は、指定されたURLに割り当てられたセグメントデータ1を再生装置へ送信する。
続くS209において、CPU101は情報処理装置200が送信したセグメントデータ1を通信部111を介して受信すると、セグメントデータ制御部107を制御して、セグメントデータ保持部106に保持させる。セグメントデータ1は、所定の符号化方式に従い符号化されているため、再生装置100で表示するためには対応する復号方式に従って復号する必要がある。そこで、続くS210において、CPU101は、復号処理部108を制御して、セグメントデータ制御部107が保持するセグメントデータ1の復号処理を実行する。復号されたセグメントデータ1は、再びセグメントデータ保持部106に保持される。
S210においてセグメントデータ1の復号処理を実行している間、CPU101はセグメント1に続くセグメント2のデータ(セグメントデータ2)を取得すべく、S211において通信部111を介して情報処理装置200へセグメントデータ2を要求する制御情報を送信する。セグメントデータ2の指定方法もセグメントデータ1と同様、プレイリストにおいてセグメントデータ2に割り当てられたURLを利用して行う。
続くS212において、CPU101は情報処理装置200が送信したセグメントデータ2を通信部111を介して受信すると、セグメントデータ制御部107を制御して、セグメントデータ保持部106に保持させる。続くS213において、CPU101は、復号処理部108を制御して、セグメントデータ保持部106が保持するセグメントデータ2の復号処理を実行する。当該セグメントデータ2の復号処理は、セグメントデータ1の復号処理終了後、次の表示に備えて続けて実行される。復号されたセグメントデータ2は、S214において再びセグメントデータ保持部106に保持される。これにより、セグメントデータ1の表示が完了した後、直ちにセグメントデータ2の再生を開始することができる。
一方、S215では、CPU101は、セグメントデータ制御部107を制御してS210において復号したセグメントデータ1をセグメントデータ保持部106から読み出し、表示部109に供給してセグメントデータ1を画面表示する。セグメントデータ1の表示が全て終了(表示が完了)すると、S216においてCPU101は通信部111を制御して、情報処理装置200に対し、セグメントデータ1の表示完了の制御情報を送信する。情報処理装置200は、セグメントデータ1の表示完了の制御情報を再生装置100から受信すると、S217において、情報処理装置200のCPU201が、プレイリスト制御部205を制御してプレイリストの内容を更新し、プレイリスト保持部204に保持する。これにより、再生装置100における再生状況と、情報処理装置200に保持されているプレイリストとの間で同期を取ることができる。
なお、セグメントデータ1の表示タイミングは、セグメントデータ1の複合処理後すぐでもよいし、セグメントデータ保持部106にバッファ領域を設け、その領域にある程度(例えばセグメント3つ分)セグメントデータが蓄積されたタイミングで表示してもよい。特に通信速度が遅い場合は、セグメントデータ1の表示完了時点でセグメントデータ2の受信や復号が完了しておらず、再生が途切れてしまう可能性がある。このような場合にはバッファ領域を設け、再生装置100側に一定のセグメントデータを蓄積してから再生を行うことが有効になる。バッファを用いると再生の開始が遅延するため再生のリアルタイム性は損なわれるが、一方で再生の途切れを軽減できるという利点がある。
なお、図2のシーケンス図では、プレイリストの更新は情報処理装置200側でのみ行ったが、再生装置100がローカルに保持するプレイリストの内容も表示完了通知の送信する際に併せて更新してもよい。
ここで、本実施形態に対応するコンテンツ情報であるプレイリストについて説明する。図3は、プレイリストのデータ構成の一例を示す図である。プレイリストは情報処理装置200において、通信する再生装置を保有しているユーザ毎に、さらに再生装置で再生されるコンテンツ毎に生成される。従って、同一コンテンツであっても、接続するユーザ毎に異なるプレイリストが生成され、ユーザ単位にコンテンツの再生状況を管理することができる。また、同一ユーザについても、コンテンツ単位にその再生状況を管理することができる。
プレイリストは、コンテンツを再生するユーザを特定するためのユーザ情報301を登録する。なお、ユーザが使用する端末毎の端末識別情報を登録してもよい。その場合、ユーザ単位よりも更に詳細に、端末単位でコンテンツの再生状況を管理することが可能になる。また、当該コンテンツの符号化方式についての情報を符号化方式302として登録している。図3の例では、符号化方式はMPEG−4である。当該符号化方式302は、再生装置100の復号処理部108において復号処理を実行する際の復号方式の決定のために参照される。
プレイリストはさらに、再生装置100において表示完了済みのセグメントを特定するためのセグメント情報として、表示完了セグメント番号303を登録する。表示完了セグメント番号303には、例えば、表示完了済みのセグメントの識別情報を登録することができる。表示完了セグメント番号303の初期値は「0」であり、表示完了セグメント番号303が初期値の場合には、表示完了済みのセグメントが存在していないこととなる。これは当該コンテンツを初めて再生する場合に相当する。よって、この場合はコンテンツを構成する複数のセグメントのうち一番先頭のセグメント(セグメント1)が表示対象に選択される。また、前述のS217では、セグメントデータ1の表示完了に応じて表示完了セグメント番号303が「1」に更新される。
プレイリストにはさらに、各セグメントを再生装置100が取得するために必要な、URL情報が登録される。図3では、セグメントデータ1と、セグメントデータ2のURL304、305が登録されている例を示しているが、これらに限らずコンテンツに含まれる全てのセグメントデータのURLが登録される。URLは、対応するセグメントデータを特定して情報処理装置200にセグメントデータの提供を要求する際に利用される。
このようにしてプレイリストを構成することにより、再生装置100は、プレイリストに登録されている表示完了セグメント番号303に従い、未再生のセグメントデータのうちの先頭のセグメントデータを特定し、当該セグメントデータのURLを用いて情報処理装置200にセグメントデータの送信を要求することができる。
なお、プレイリストの別の例としては、再生装置100側から表示完了の通知を受けた場合に、情報処理装置200のCPU201がプレイリストを更新し、当該通知を受けたセグメントの情報をプレイリストから削除することが考えられる。つまり図3の例で言えば、情報処理装置200は表示完了しているセグメントデータ1のURL304をプレイリストから削除し、セグメントデータ1のURL305のみを記述するということになる。このようにすることで、再生装置100はプレイリストに記載の順番通りにセグメントデータを要求すれば、表示が完了していないセグメントデータを順次取得できることになる。
次に、ストリーミング再生が一旦停止された後のストリーミング再生再開時の再生システム10における各装置の動作について、図4を参照して説明する。図4は、本実施形態に係る、ストリーミング再生再開時の再生装置100と情報処理装置200との間の通信及び各装置における処理を示すシーケンス図である。図4のシーケンス図では、前述の図2で示した、再生装置100が表示部109によりセグメントデータ1の表示を完了したS215以降のシーケンスについて説明する。
再生装置100でのセグメントデータ1の表示が全て終了すると、CPU101はS401において、通信部111を介して情報処理装置200に対し、セグメントデータ1の表示完了を通知する制御情報を送信する。情報処理装置200は表示完了通知を受信すると、S402にてプレイリストの表示完了セグメント番号303の内容を更新する。図3で示した例では、表示完了セグメント番号303は初期値「0」を有しているので、これがセグメントデータ1に対応する値「1」に更新される。ここで、S401とS402とは、それぞれ前述図3のS216とS217とに対応する。
これ以降セグメントデータ2、3・・・とセグメントの再生順序に従って情報処理装置200からセグメント単位に受信したセグメントデータが順に復号され、再生されることによりストリーミング処理が進行していく。しかし、本実施形態では、このように実行されているストリーミングの途中に再生処理が中断してしまう場合の再生の再開処理について説明する。ここでは、一例としてセグメントデータ2の表示中に電源遮断することにより再生表示が中断される場合を説明する。但し、再生が中断される要因は電源遮断に限定されない。
図2のS213、S214に示す通り、直前のセグメントデータ1の再生が終了する時点においては、既にセグメントデータ2の復号処理が完了し、復号結果が保存されている状態である。よって、セグメントデータ1の再生終了と同時に、直ちにセグメントデータ2の再生を開始することができる。CPU101は、S403において、セグメントデータ制御部107を制御して、再生対象の復号済みのセグメントデータ2をセグメントデータ保持部106から読み出して表示部109に表示する。
CPU101は、S404において、セグメントデータ2の表示途中に操作部110を介したユーザ入力に基づき電源遮断要求を受け付ける。当該電源遮断要求に応じて、CPU101は、再生装置100の電源を落として再生装置100の動作を停止させる。これにより、S405に示すようにセグメントデータ2の表示が中断されるので、セグメントデータ2は最後まで表示されない。このとき、セグメントデータ2の表示は完了していないので、S401で送信されたような表示完了通知が再生装置100から情報処理装置200に送信されることはない。よって、情報処理装置200側でも、S402においてプレイリストを更新した後、プレイリストの更新を行うことはない。このとき情報処理装置200が管理するプレイリストの表示完了セグメント番号303は、セグメントデータ1を示したままとなっている。
その後、CPU101は、S406において操作部110を介したユーザ入力に基づき電源投入要求を受ける。CPU101は、電源投入要求に応じて、再生装置100をライブストリーミングモードで再び起動する。その後の再生装置100が情報処理装置200からプレイリストを受信するまでのシーケンスであるS407からS411までの処理は、図2で示したS202からS206までの処理と同様であるため、ここでは説明を省略する。
S412において、CPU101は、プレイリスト制御部105を制御して、プレイリスト保持部104が保持するプレイリストを解析する。当該解析においては、再生を開始する先頭のセグメントを特定し、CPU101へ通知する。プレイリスト制御部105は、再生再開時の先頭のセグメントを特定するための識別情報をCPU101に通知する。このときプレイリストの表示完了セグメント番号303は、S402で更新された結果としてセグメントデータ1を示している。ここで、電源遮断などで再生中断により表示が完了しなかったセグメントは、表示完了セグメント番号303が示す表示が完了しているセグメントの直後のセグメントとみなすことができる。そして、当該表示完了済みのセグメントの次のセグメントからストリーミングを再開すれば、再生中断時のセグメントからストリーミングを再開することができる。そこで、プレイリスト制御部105は、表示を開始するセグメント番号として「2」と特定する。
これを受けて続くS413では、CPU101は、通信部111を制御して、セグメントデータ2を要求する制御情報を情報処理装置200に送信する。セグメントデータ2の指定は、上述の通りプレイリストに含まれるURLに基づき行われる。これ以降のセグメントデータ2の受信、復号処理及びセグメントデータ2の表示の各処理については、図2のS209、S210及びS215における処理と同様であるためここでは説明を省略する。
以上のように、本実施形態に対応する再生システム10は、再生装置100と情報処理装置200とが、セグメントデータの表示が完了する度にプレイリストを更新するように動作する。これにより、表示を最後に完了したセグメントデータをプレイリストにより特定することが可能となる。よって、装置の電源遮断等によりストリーミングが強制的に終了されるような場合であっても、表示途中で完了していないセグメントデータから、コンテンツデータの欠落なくストリーミング再生を再開することが可能となる。
[実施形態2]
上記の実施形態1では、再生装置100側でのセグメントデータの再生完了に応じて通知される表示完了通知に基づき情報処理装置200側でプレイリストを更新していた。これに対し、本実施形態では再生装置100側でセグメントデータの再生を完了すると、再生装置100側でプレイリストを更新し、更新後のプレイリストを情報処理装置200に送信する。情報処理装置200側では、受信した更新済みのプレイリストにより、保持している更新前のプレイリストを上書きする。
本実施形態に係る再生システム10の構成、及び、再生装置100及び情報処理装置200の構成はそれぞれ図1(A)及び図1(B)に示したものと同様であるため、ここでは説明を省略する。以下、本実施形態に対応する再生システム10における各装置の動作について図5を参照して説明する。図5は、本実施形態に係る、ストリーミング再生時の再生装置100と情報処理装置200との間の通信及び各装置における処理を示すシーケンス図である。
図5において、S501からS514は、前述の図2で示したS201からS214までと同様であるためここでは説明を省略する。
S515では、CPU101は、セグメントデータ制御部107を制御して、S510にて復号されたセグメントデータ1を表示部109に表示する。セグメントデータ1の表示が全て終了すると、S516においてCPU101はプレイリスト制御部105を制御して、プレイリスト保持部104が保持するプレイリストを更新する。具体的に、表示完了セグメント番号303を、初期値「0」からセグメントデータ1を示す値「1」に更新する。続くS517では、CPU101は通信部111を介して情報処理装置200へ更新後のプレイリストを送信する。S518において、情報処理装置200のCPU201が、プレイリスト制御部205を制御してプレイリスト保持部204に保持しているプレイリストを、受信した更新済みのプレイリストにより上書きして書き換える。
以上の本実施形態に対応する再生システム10でも、再生装置100と情報処理装置200とが、セグメントデータの再生が完了する度にプレイリストを更新するように動作する。これにより、実施形態1と同様、ストリーミングが強制的に終了されるような場合であっても、表示途中となっていたセグメントデータから、コンテンツデータの欠落なくストリーミング再生を再開することが可能となる。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
10:再生システム、100:再生装置、200:情報処理装置

Claims (8)

  1. 再生装置であって、
    外部装置と通信する通信手段と、
    表示手段と、
    前記外部装置から前記再生装置に送信されるコンテンツに関するコンテンツ情報を保持する保持手段と、
    制御手段と
    を備え、
    前記コンテンツは複数のセグメントからなり、前記コンテンツ情報は、前記複数のセグメントのうち、どのセグメントが前記表示手段による表示が完了したかを特定するためのセグメント情報を含み、
    前記制御手段は
    前記コンテンツ情報に基づき、前記複数のセグメントのうち前記表示手段による表示が完了していないセグメントを、前記外部装置から受信するように前記通信手段を制御することを特徴とする再生装置。
  2. 前記制御手段は、前記表示手段により1つのセグメントの表示が完了するたびに、前記通信手段を制御して前記外部装置に表示が完了したセグメントに関する完了通知を送信することを特徴とする請求項1に記載の再生装置。
  3. 前記コンテンツの表示を行う場合に、前記制御手段は前記通信手段を制御して前記外部装置から前記コンテンツ情報を受信し、
    前記表示を行おうとするコンテンツについて、前記制御手段が前記通信手段を制御して前記完了通知を前記外部装置に送信していた場合、受信した前記コンテンツ情報に含まれる前記セグメント情報は前記完了通知に基づき更新されていることを特徴とする請求項2に記載の再生装置。
  4. 前記制御手段は、前記表示手段による1つのセグメントの表示が完了するたびに、前記コンテンツ情報に含まれる前記セグメント情報を更新し、前記通信手段を制御して更新した前記コンテンツ情報を前記外部装置に送信することを特徴とする請求項1に記載の再生装置。
  5. 前記コンテンツの表示を行う場合に、前記制御手段は前記通信手段を制御して前記外部装置から前記コンテンツ情報を受信し、
    前記制御手段が前記通信手段を制御して前記更新したコンテンツ情報を前記外部装置に送信していた場合、前記通信手段が受信するコンテンツ情報は、前記更新したコンテンツ情報であることを特徴とする請求項4に記載の再生装置。
  6. 前記セグメント情報は、前記表示手段による表示が最後に完了したセグメントを識別する情報を含むことを特徴とする請求項1から5のいずれか1項に記載の再生装置。
  7. 外部装置と通信する通信手段と、
    表示手段と、
    前記外部装置から再生装置に送信されるコンテンツに関するコンテンツ情報を保持する保持手段と、
    制御手段と
    を備える再生装置の制御方法であって、
    前記コンテンツは複数のセグメントからなり、前記コンテンツ情報は、前記複数のセグメントのうち、どのセグメントが前記表示手段による表示が完了したかを特定するためのセグメント情報を含み、
    前記制御手段が、前記コンテンツ情報に基づき、前記複数のセグメントのうち前記表示手段による表示が完了していないセグメントを前記外部装置から受信するように前記通信手段を制御する工程を含むことを特徴とする再生装置の制御方法。
  8. コンピュータを請求項1から6のいずれか1項に記載の再生装置の制御手段として機能させるためのプログラム。
JP2017146797A 2017-07-28 2017-07-28 再生装置、再生装置の制御方法、及び、プログラム Active JP6869135B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017146797A JP6869135B2 (ja) 2017-07-28 2017-07-28 再生装置、再生装置の制御方法、及び、プログラム
US16/040,693 US10674188B2 (en) 2017-07-28 2018-07-20 Playback apparatus, method of controlling playback apparatus, playback method and server apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017146797A JP6869135B2 (ja) 2017-07-28 2017-07-28 再生装置、再生装置の制御方法、及び、プログラム

Publications (3)

Publication Number Publication Date
JP2019029801A true JP2019029801A (ja) 2019-02-21
JP2019029801A5 JP2019029801A5 (ja) 2020-08-27
JP6869135B2 JP6869135B2 (ja) 2021-05-12

Family

ID=65138290

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017146797A Active JP6869135B2 (ja) 2017-07-28 2017-07-28 再生装置、再生装置の制御方法、及び、プログラム

Country Status (2)

Country Link
US (1) US10674188B2 (ja)
JP (1) JP6869135B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11973813B2 (en) 2014-10-15 2024-04-30 Benjamin Nowak Systems and methods for multiple device control and content curation
CA2964509A1 (en) * 2014-10-15 2016-04-21 Benjamin NOWAK Multiple view-point content capture and composition
US10362075B2 (en) 2015-10-14 2019-07-23 Benjamin Nowak Presenting content captured by a plurality of electronic devices

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005318250A (ja) * 2004-04-28 2005-11-10 Nippon Telegr & Teleph Corp <Ntt> ライブコンテンツ視聴継続システム、方法、装置、及びプログラム
US20130067328A1 (en) * 2011-09-08 2013-03-14 Michael Jason Salyards Graphical user interface to facilitate managing media operations
JP2014131171A (ja) * 2012-12-28 2014-07-10 Canon Inc 送信装置、受信装置、送信方法、受信方法、及び、プログラム
US20150172758A1 (en) * 2013-12-18 2015-06-18 Canon Kabushiki Kaisha Information processing device and method of controlling information processing device
US9082092B1 (en) * 2012-10-01 2015-07-14 Google Inc. Interactive digital media items with multiple storylines
JP2017055379A (ja) * 2015-09-08 2017-03-16 船井電機株式会社 情報機器および配信装置
JP2017098703A (ja) * 2015-11-20 2017-06-01 日本放送協会 受信装置、マニフェスト更新方法、及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030093790A1 (en) * 2000-03-28 2003-05-15 Logan James D. Audio and video program recording, editing and playback systems using metadata
CA2672735A1 (en) * 2006-12-13 2008-06-19 Quickplay Media Inc. Mobile media platform
WO2012154152A1 (en) * 2011-05-06 2012-11-15 Google Inc. Apparatus and method for rendering video with retransmission delay

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005318250A (ja) * 2004-04-28 2005-11-10 Nippon Telegr & Teleph Corp <Ntt> ライブコンテンツ視聴継続システム、方法、装置、及びプログラム
US20130067328A1 (en) * 2011-09-08 2013-03-14 Michael Jason Salyards Graphical user interface to facilitate managing media operations
US9082092B1 (en) * 2012-10-01 2015-07-14 Google Inc. Interactive digital media items with multiple storylines
JP2014131171A (ja) * 2012-12-28 2014-07-10 Canon Inc 送信装置、受信装置、送信方法、受信方法、及び、プログラム
US20150172758A1 (en) * 2013-12-18 2015-06-18 Canon Kabushiki Kaisha Information processing device and method of controlling information processing device
JP2015119334A (ja) * 2013-12-18 2015-06-25 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2017055379A (ja) * 2015-09-08 2017-03-16 船井電機株式会社 情報機器および配信装置
JP2017098703A (ja) * 2015-11-20 2017-06-01 日本放送協会 受信装置、マニフェスト更新方法、及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DOOYEOL YUN ET AL.: "Dynamic segment duration control for live streaming over HTTP", 2016 INTERNATIONAL CONFERENCE ON INFORMATION NETWORKING (ICOIN), JPN6021009009, 13 January 2016 (2016-01-13), US, pages 206 - 210, XP032877414, ISSN: 0004465306, DOI: 10.1109/ICOIN.2016.7427115 *
WIM VAN LANCKER ET AL.: "HTTP adaptive streaming with Media Fragment URIs", 2011 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO, JPN6021009011, 11 July 2011 (2011-07-11), US, pages 1 - 6, XP031964825, ISSN: 0004465307, DOI: 10.1109/ICME.2011.6012149 *

Also Published As

Publication number Publication date
JP6869135B2 (ja) 2021-05-12
US20190037251A1 (en) 2019-01-31
US10674188B2 (en) 2020-06-02

Similar Documents

Publication Publication Date Title
KR101926018B1 (ko) 동영상 녹화 방법 및 시스템
US10194189B1 (en) Playback of content using multiple devices
CN108566561B (zh) 视频播放方法、装置及存储介质
RU2628108C2 (ru) Способ обеспечения выбора эпизода видеоматериала и устройство для этого
CN111277869B (zh) 视频播放方法、装置、设备和存储介质
US10929460B2 (en) Method and apparatus for storing resource and electronic device
KR101942211B1 (ko) 공유된 장치 및 개인용 장치를 이용한 개인맞춤화된 사용자 기능의 협력적 제공
CN111225171B (zh) 一种视频录制方法、装置、终端设备及计算机存储介质
US20130235215A1 (en) Image capture device and computer program
US11356739B2 (en) Video playback method, terminal apparatus, and storage medium
JP6869135B2 (ja) 再生装置、再生装置の制御方法、及び、プログラム
WO2019114330A1 (zh) 一种视频播放方法、装置和终端设备
CN106658103A (zh) 一种分享视频流数据的方法、源设备及电子设备
US10277652B2 (en) Transmission apparatus, transmission method, and program
KR20160041398A (ko) 컨텐츠 처리 장치 및 그의 컨텐츠 처리 방법
CN111201798B (zh) 服务器以及计算机可读存储介质
JP6504453B2 (ja) 画像送信装置、画像送信方法及びプログラム
KR100834543B1 (ko) 실시간 프리젠테이션 파일 공유 방법 및 장치
JP2016091436A (ja) 通信装置、通信方法、及び、プログラム
WO2015131700A1 (zh) 文件存储方法及装置
US20150341678A1 (en) Video supply apparatus, video obtaining apparatus, control methods thereof, and video supply system
CN112933611A (zh) 云游戏进度分享方法、装置和电子设备
EP3780625A1 (en) Recorded data processing method and relevant device
JP2007049634A (ja) 再生装置及び再生方法
JP2019054505A (ja) 映像監視方法およびサーバならびに映像監視システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200710

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200710

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210302

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210413

R151 Written notification of patent or utility model registration

Ref document number: 6869135

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151