JP2016009925A - データ処理装置、データ処理方法、及びプログラム - Google Patents

データ処理装置、データ処理方法、及びプログラム Download PDF

Info

Publication number
JP2016009925A
JP2016009925A JP2014128353A JP2014128353A JP2016009925A JP 2016009925 A JP2016009925 A JP 2016009925A JP 2014128353 A JP2014128353 A JP 2014128353A JP 2014128353 A JP2014128353 A JP 2014128353A JP 2016009925 A JP2016009925 A JP 2016009925A
Authority
JP
Japan
Prior art keywords
data
image
segment
playlist
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014128353A
Other languages
English (en)
Other versions
JP2016009925A5 (ja
JP6541309B2 (ja
Inventor
祐樹 藤森
Yuki Fujimori
祐樹 藤森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014128353A priority Critical patent/JP6541309B2/ja
Priority to PCT/JP2015/063447 priority patent/WO2015198725A1/ja
Publication of JP2016009925A publication Critical patent/JP2016009925A/ja
Priority to US15/385,535 priority patent/US10911809B2/en
Publication of JP2016009925A5 publication Critical patent/JP2016009925A5/ja
Application granted granted Critical
Publication of JP6541309B2 publication Critical patent/JP6541309B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4825—End-user interface for program selection using a list of items to be played back in a given order, e.g. playlists
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】 プレイリストを用いた画像の送受信を行う場合に、送信装置から配信される画像データのうち、受信する領域の画像を受信装置が選択できるようにする。
【解決手段】 送信装置１０１は、画像を複数の画像領域に分割する。また送信装置１０１は、前記画像のうち第１のオブジェクトの位置に対応する１又は複数の画像領域を特定する。次に、送信装置１０１は、特定した１又は複数の画像領域に対応するセグメントを生成すると共に、当該セグメントへアクセスするためのＵＲＬが記載されたプレイリストを生成する。次に、送信装置１０１は、受信装置１０２からの要求に応じてプレイリストを送信し、その後、プレイリストに含まれるＵＲＬに対するアクセスがあると、当該ＵＲＬを格納先とするセグメントのデータを受信装置１０２に送信する。
【選択図】 図１

Description

本発明は、データ処理装置、データ処理方法、及びプログラムに関し、特に、プレイリストを用いて画像の送受信を行う技術に関する。
近年、音声データや映像データ等により構成されるストリーミング形式のコンテンツをユーザにリアルタイムに配信する配信システムが提供されている。このような配信システムにより、ユーザは、自身の端末装置を介して、ライブ映像等の所望のコンテンツをリアルタイムで楽しむことができる。
スマートフォンやタブレットのような端末装置の普及により、様々な端末装置を介して、いつでもどこでもストリーミング形式のコンテンツを楽しみたいという要求が高まっている。この要求を実現するために端末装置の能力や端末装置が置かれる通信状況に応じて、端末装置が取得するストリームを動的に変更する技術（ＭＰＥＧ−ＤＡＳＨ、Ｈｔｔｐ Ｌｉｖｅ Ｓｔｒｅａｍｉｎｇ等）が注目されている。
かかる技術では、映像データを時間単位のセグメントに分割する。そして、セグメントの格納先を示すＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｃｅ Ｌｏｃａｔｏｒ）をプレイリストと呼ばれるファイルに記述する。
このプレイリストには、各セグメントに対応する各ＵＲＬを記述することができる。受信装置は、プレイリストを取得し、当該プレイリストに記述されている情報（ＵＲＬ）を用いて所望の映像データ（セグメント）を取得する（特許文献１を参照）。
特許文献１では、送信装置と受信装置が次のような処理を行う技術が開示されている。
送信装置は、セグメントのデータを受信装置が受信するために必要なアドレス情報を各セグメントのデータに対応づける。アドレス情報として、例えばＵＲＩ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｉｄｅｎｔｉｆｉｅｒ）が各セグメントデータに対応付けられる。そして、送信装置は、複数のセグメントのデータにそれぞれ対応付けられた複数のアドレス情報を含むメタデータ（プレイリスト）を、受信装置からの要求に応じて受信装置に送信する。受信装置は、受信したプレイリストに含まれるアドレス情報に基づいてセグメントのデータの送信を要求し、送信装置からセグメントのデータを受信する。
特表２０１２−５１４２７６号公報
特許文献１に記載の技術では、映像データを時間単位で分割して生成される複数のセグメントのうち所望のセグメントを受信装置が選択して受信することができる。しかし、映像データに含まれる画像を空間的に分割して生成される複数のセグメントのうち所望のセグメントを受信装置が選択して受信することについて考慮されていなかった。
すなわち従来、プレイリストを用いた画像の送受信を行う場合に、送信装置から配信される画像データのうち、受信装置が選択した領域の画像データの送受信を行うための仕組みについて提案されていなかった。
本発明は、以上の課題に鑑みてなされたものであり、プレイリストを用いた画像の送受信を行う場合に、送信装置から配信される画像データのうち、受信する領域の画像を受信装置が選択できるようにすることを目的とする。
本発明のデータ処理装置は、画像を複数の画像領域に分割する分割手段と、前記画像における第１のオブジェクトの位置に対応する１又は複数の前記画像領域に応じたデータを生成する第１生成手段と、前記第１生成手段により生成された前記データを外部装置が取得するために用いられる取得情報含むプレイリストを生成する第２生成手段と、前記プレイリストを前記外部装置に送信し、前記外部装置が前記プレイリストに含まれる前記取得情報を用いて要求した前記データを前記外部装置に送信する通信手段とを有することを特徴とする。
本発明によれば、プレイリストを用いた画像の送受信を行う場合に、送信装置から配信される画像データのうち、受信する領域の画像を受信装置が選択できるようにすることができる。
通信システムの全体構成を示す図である。 送信装置の機能構成を示す図である。 オブジェクトを含む画像領域を判定する方法を説明する図である。 プレイリストの第１の例を示す図である。 プレイリストの第２の例を示す図である。 プレイリストの第３の例を示す図である。 映像データを表示するユーザインターフェースを示す図である。 セグメントを概念的に示す図である。 セグメントの具体例を示す図である。 セグメントの生成方法を説明する図である。 第１生成部の詳細な機能構成を示す図である。 送信装置の動作を説明するフローチャートである。 受信装置の動作を説明するフローチャートである。
以下に、図面を参照しながら、本発明の一実施形態を詳細に説明する。
図１は、通信システムの全体構成の一例を示す図である。
送信装置１０１は、ネットワーク１０３を介して、受信装置１０２と相互に接続される。尚、送信装置１０１および受信装置１０２はそれぞれ複数存在してもよい。
送信装置１０１の具体例として、カメラ装置、ビデオカメラ装置、スマートフォン装置、ＰＣ装置、携帯電話等のデータ処理装置が挙げられる。しかしながら、後述の機能構成を有するものであれば、送信装置１０１はこれらのデータ処理装置に限定されない。
受信装置１０２は、コンテンツの再生・表示機能と、通信機能と、ユーザからの入力を受け付ける機能とを有する。受信装置１０２の具体例として、スマートフォン装置、ＰＣ装置、テレビ、携帯電話等のデータ処理装置が挙げられる。しかしながら、前述の機能を備えるものであれば、受信装置１０２はこれらのデータ処理装置に限定されない。
ネットワーク１０３は、ホームネットワークとしての有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）または無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）である。尚、ネットワーク１０３は、これらに限られない。ネットワーク１０３は、例えば、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、アドホックネットワーク、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚｉｇｂｅｅ（登録商標）、ＵＷＢ等でもよい。
図２は、送信装置１０１の機能構成の一例を示す図である。
撮像部２０１は、被写体を撮像する。本実施形態では、撮像部２０１は、動画像を撮像することも、静止画像を撮像することもできるものとする。尚、撮像部２０１は、送信装置１０１の外部にあってもよい。この場合、送信装置１０１は、外部の撮像部２０１で撮像された映像データを取得する。
分割部２０２は、映像データに含まれる１画面の領域を複数の画像領域に分割する。そして分割部２０２は、分割した画像領域毎に映像データの符号化を行う。映像データの符号化方式は、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）のように、映像データを複数の画像領域に分割することが可能な方式であればよい。
本実施形態では、分割部２０２は、映像データに含まれる１画面のデータから、階層構造を持つ複数のデータを生成する。本実施形態では、分割部２０２は、１画面のデータに基づいて、ベースレイヤのデータと、エンハンスメントレイヤのデータを生成する。
ここで、ベースレイヤのデータとは、受信装置１０２が１画面の画像を再生するための基礎となるデータである。例えば、ベースレイヤのデータは、送信装置１０１から受信装置１０２に送信される画像データのうち、最も画質の低い（例えば、解像度が最も低い）画像のデータである。
エンハンスメントレイヤのデータとは、ベースレイヤのデータのみを再生した場合よりも、画質の高い（例えば、解像度が高い）画像を受信装置１０２が再生するために用いられるデータである。受信装置１０２は、ベースレイヤのデータと共にエンハンスメントレイヤのデータを取得して再生することにより、ベースレイヤのデータのみを再生した場合よりも画質の高い画像を再生することができる。
本実施形態において、受信装置１０２は、エンハンスメントレイヤのデータを、１画面の一部の領域毎に取得することができる。この一部の領域は、分割部２０２が１画面を分割した画像領域に対応する。受信装置１０２は、１画面のうち着目領域（以下、ＲＯＩ：Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）に対応する画像領域のエンハンスメントレイヤのデータを取得することにより、ＲＯＩの画質が他の領域の画質よりも高い画像データを生成することができる。
本実施形態では、１画面について１つのベースレイヤのデータと、１つのエンハンスメントレイヤのデータを生成する場合について説明するがこれに限らない。例えば、１つのベースレイヤのデータと、複数のエンハンスメントレイヤのデータを生成することとしてもよい。
検出部２０３は、映像データ中に映るＲＯＩ（着目領域）となり得るオブジェクトの検出を行う。検出部２０３は、映像データに映る複数のオブジェクトを同時に検出することが可能であり、且つ、映像データに映るオブジェクトの位置情報（座標と大きさ）を検出することが可能であるものとする。
尚、検出部２０３は、送信装置１０１の外部にあってよい。この場合、送信装置１０１は、外部の検出部２０３で検出されたオブジェクトの位置情報を取得する。
判定部２０４は、検出部２０３で検出されたオブジェクトの位置情報を用いて、分割部２０２で分割された画像領域が、オブジェクトの含まれる画像領域であるか否かを判定する。
第１生成部２０５は、判定部２０４でオブジェクトが含まれると判定された画像領域毎および全体の映像データのセグメントを生成する。本実施形態に係る送信装置１０１は、映像データに含まれる１画面（画像）を空間的に（領域毎に）分割して、セグメントを生成する。
本実施形態において第１生成部２０５は、ベースレイヤのデータに基づいて１つのセグメントを生成する。また本実施形態において第１生成部２０５は、エンハンスメントレイヤの一部又は全体のデータに基づいて１又は複数のセグメントを生成する。 第１生成部２０５は、さらに生成したセグメントに識別子を対応付ける。
第２生成部２０６は、映像データが得られた各時刻のそれぞれにおけるプレイリストを生成する。プレイリストには、映像データのそれぞれについて第１生成部２０５で作成されたセグメントを外部装置が取得するために用いられる取得情報が、当該セグメントに含まれるオブジェクトの識別子と相互に関連付けられて記憶される。この取得情報は例えば、第１生成部２０５で作成されたセグメントの格納先を示す資源識別子（例えば、ＵＲＩやＵＲＬ）である。この資源識別子は、外部装置である受信装置１０２が所望のセグメントを取得するために用いられるものであればよい。プレイリストに記載された資源識別子が示す記憶領域に必ずしもセグメントが格納されていなくてもよい。例えばプレイリストに記載された資源識別子が示す第１の記憶領域から、セグメントを格納する第２の記憶領域にリンクが張られており、受信情報１０２が資源識別子を用いて第１の記憶領域にアクセスすると第２の領域に移動してセグメントデータを取得できるようにしてもよい。
保持部２０８は、第１生成部２０５が生成したセグメントのデータを保持する。また、保持部２０８は、第２生成部２０６が生成したプレイリストを保持する。保持部は例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等とすることができる。あるいは、外部記録装置としてもよい。
通信部２０７は、受信装置１０２からの要求に応じて、第２生成部２０６で生成された保持部２０８に保持されたプレイリストを、ネットワーク１０３を介して受信装置１０２に送信する。また、通信部２０７は、第１生成部２０５で生成された保持部２０８に保持されたセグメントを、受信装置１０２からの要求に応じて、ネットワーク１０３を介して受信装置１０２に送信する。本実施形態では、通信部２０７は、第１生成部２０５で生成されたセグメントのデータのストリーミング配信を行うものとする。
図３は、オブジェクトを含む画像領域を判定する方法の一例を説明する図である。
図３を参照しながら、検出部２０３、判定部２０４および第１生成部２０５の処理の一例を説明する。
本実施形態では、第１生成部１０２が１画面のデータについて、ベースレイヤのデータ、及び、エンハンスメントレイヤのデータを生成する場合について説明する。
図３（ａ）は、ベースレイヤのデータの一例を示す図である。本実施形態において、第１生成部２０５は、ベースレイヤ全体の領域のデータに対応するセグメント３０１を生成する。本実施形態において、第１生成部２０５は、セグメント３０１に識別子１を対応付ける。
図３（ｂ）は、エンハンスメントレイヤのデータの一例を示す図である。本実施形態では、第１生成部２０５は、エンハンスメントレイヤ全体の領域のデータに対応するセグメント３０２を生成する。本実施形態において、第１生成部２０５は、セグメント３０２に識別子５を対応付ける。
また第１生成部２０５は、エンハンスメントレイヤのデータのうち、第１のオブジェクトを含む領域のデータに対応するセグメント３０３を生成する。セグメント３０３は、１画面の画像における第１のオブジェクトの位置に対応する１又は複数の画像領域に応じたデータである。本実施形態において、第１生成部２０５は、セグメント３０３に識別子２を対応付ける。
また第１生成部２０５は、エンハンスメントレイヤのデータのうち、第２のオブジェクトを含む領域のデータに対応するセグメント３０４を生成する。セグメント３０４は、１画面の画像における第２のオブジェクトの位置に対応する１又は複数の画像領域に応じたデータである。本実施形態において、第１生成部２０５は、セグメント３０４に識別子３を対応付ける。
さらに第１生成部２０５は、エンハンスメントレイヤのデータのうち、第３のオブジェクトを含む領域のデータに対応するセグメント３０５を生成する。セグメント３０５は、１画面の画像における第３のオブジェクトの位置に対応する１又は複数の画像領域に応じたデータである。本実施形態において、第１生成部２０５は、セグメント３０５に識別子４を対応付ける。
セグメント３０２は検出部２０３で検出されたオブジェクトを示す情報と、分割部２０２で分割された画像領域の分割位置を示す情報とが付加されたセグメントである。図３（ｂ）に示す例では、セグメント３０２は、１画面に含まれるオブジェクトの検出位置の情報を含む。さらに図３（ｂ）の例では、セグメント３０２は、分割部２０２がエンハンスメントレイヤを複数の領域に分割した各画像領域の１画面上の位置を示す情報を含む。受信装置１０２は、送信装置１０１からセグメント３０２のデータを受信することにより、例えば、当該オブジェクトを囲む実線の矩形を表示すると共に、分割部２０２で分割された画像領域を点線で表示することができる。
図３（ａ）及び（ｂ）に示す例では、検出部２０３は、３つのオブジェクトを検出する。そして、図３（ｂ）に示すように、判定部２０４は、分割部２０２で分割された各画像領域に、オブジェクトが含まれるか否かを判定する。判定部２０４は、分割部２０２で分割された画像領域のうち、オブジェクトが含まれる画像領域を特定する。図３（ａ）、図３（ｂ）に示す例では、１つのオブジェクトが含まれる画像領域が特定される。
そして第１生成部２０５は、判定部２０４の判定結果に基づいて、セグメントを生成する。図３（ｂ）の例では、第１生成部２０５は、第１のオブジェクト（図３（ｂ）の太陽のオブジェクト）を含む４つの画像領域のデータをセグメント３０３のデータとする。また第１生成部２０５は、第２のオブジェクト（図３（ｂ）の顔のオブジェクト）を含む１つの画像領域のデータをセグメント３０４のデータとする。さらに第１生成部２０５は、第３のオブジェクト（図３（ｂ）の星のオブジェクト）を含む２つの画像領域をセグメント３０５のデータ。
以上のように本実施形態では、５種類のセグメント３０１〜３０５を生成する場合を例に挙げて説明する。セグメント３０１は、複数の画像領域に分割しない画像領域全体を映す映像である。セグメント３０２は、映像データ中のＲＯＩの候補となるオブジェクトをユーザに示すための映像であり、オブジェクトと画像領域の分割位置とが示された画像領域全体の映像である。これらのセグメント３０１、３０２は必ずしも必要ではない。しかしながら、セグメント３０１、３０２の何れか一方を初めに受信装置１０２において表示することで、着目したいオブジェクトをユーザに容易に選択させることができる。このことについては、図７を参照しながら、後に詳述する。
図４、図５、及び、図６は、第２生成部２０６で生成されるプレイリストの一例を示す図である。
本実施形態では、ＭＰＥＧ−ＤＡＳＨで規定されるＭＰＤ（Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ）と呼ばれるプレイリストの記述方法に従ってプレイリストが生成される場合を例に挙げて説明する。ただし、プレイリストの記述方法は、ＭＰＤに限定されず、ＨＴＴＰ Ｌｉｖｅｓｔｒｅａｍｉｎｇにおけるプレイリストの記述方法等、ＭＰＤと同等の機能を有する記述方法でもよい。また、図４、図５、図６に示した記述以外の内容がＭＰＤに記述されてもよい。
図４に示すプレイリスト４０１は、ＭＰＤの記述例である。セグメント３０１〜３０５のデータに対応するＵＲＬは、それぞれＲｅｐｒｅｓｅｎｔａｔｉｏｎ要素のＢａｓｅＵＲＬ要素に記述される。これにより、Ｐｅｒｉｏｄで定められる期間内のセグメントのデータの配信が可能になる。
図４に示すように、第２生成部２０６は、各セグメントの識別子と、各セグメントの格納先を示す資源識別子とを相互に関連付けた状態でプレイリスト４０１に記載する。例えば、セグメント３０３の識別子<Representation id = 3>と、当該セグメント３０３のデータの格納先であるＢａｓｅＵＲＬ<Base URL>ObjectA.mp4</Base URL>とが相互に関連付けられる。
図４に示す記述方法では、受信装置１０２は、Ｐｅｒｉｏｄで定められる期間が過ぎると、再度、ＭＰＤで記述されたプレイリストを取得し、次の期間内のセグメントのデータを取得する必要がある。
図５に示すプレイリスト５０１は、ＭＰＥＧ−ＤＡＳＨで規定されるＳｅｇｍｅｎｔＴｅｍｐｌａｔｅという機構を用いたＭＰＤの記述例である。図５に示すプレイリスト５０１の記述方法は、図４に示すプレイリスト４０１の記述方法に比べ、ＭＰＤの更新の回数を減らすことができる。
プレイリスト５０１では、ＳｅｇｍｅｎｔＴｅｍｐｌａｔｅ要素のｍｅｄｉａ属性により、各セグメント３０１〜３０５の格納先を示すＵＲＬのテンプレートを宣言することができる。
テンプレート中の＄Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ＄を各Ｒｅｐｒｅｓｅｎｔａｔｉｏｎのｉｄ属性に置き替えることで、プレイリスト４０１のようにＲｅｐｒｅｓｅｎｔａｔｉｏｎ毎にＵＲＬを逐一記述することなく、ＵＲＬを指定することができる。
さらに、＄Ｎｕｍｂｅｒ＄を１、２、３とインクリメントすることで、受信装置１０２は、時間軸方向に変化する各セグメント３０１〜３０５へのアクセスを、ＭＰＤの更新を行うことなく実現することができる。ただし、図５に示す記述方法では、検出部２０３で検出されたオブジェクトの数が増えた場合に対応できない。例えば、検出部２０３が、４つ目のオブジェクトを映像データから検出したとする。この場合、受信装置１０２は、プレイリスト５０１に記述された情報からでは４つ目のオブジェクトをＲＯＩとするセグメントにアクセスするためのＵＲＬを取得することができない。したがって、再度、ＭＰＤで記述されたプレイリストを更新する必要が生じる。
図６に示すプレイリスト６０１は、ＭＰＥＧ−ＤＡＳＨの規定に対して、＄ＯｂｊｅｃｔＩＤ＄というテンプレートが導入されたＭＰＤの記述例である。
プレイリスト６０１では、＄ＯｂｊｅｃｔＩＤ＄をオブジェクトの識別番号に置き換えることにより、映像データに映り込むオブジェクトの数が増えた際に、ＯｂｊｅｃｔＩＤが１、２、３とインクリメントされる。これにより、受信装置１０２は、ＭＰＤで記述されたプレイリスト６０１を新たに取得することなく、各オブジェクトをＲＯＩとするセグメントへのアクセスが可能になる。
図６に示すプレイリスト６０１を用いると、途中で映像データ内から外れたオブジェクトをＲＯＩとするセグメントのデータのＵＲＬへのアクセスが受信装置１０２からあった場合、送信装置１０１は、次の処理を行うことができる。まず、送信装置１０１は、当該オブジェクトが存在しないことを示す応答を受信装置１０２に返信することができる。また、送信装置１０１は、セグメント３０１又は３０２のデータを、途中で映像データ内から外れたオブジェクトをＲＯＩとするセグメントのデータの代わりに受信装置１０２に送信することができる。セグメント３０１又は３０２のデータを受信装置１０２に送信し、受信装置１０２がセグメント３０１又は３０２のデータを表示することで、ユーザに対して、次のＲＯＩの指定を促すことができる。
図７は、受信装置１０２で受信された映像データを表示するユーザインターフェースの一例を示す図である。受信装置１０２は、図７に示すユーザインターフェースを有するものとする。
画面７０１には、ＭＰＤのＵＲＬの入力欄７０２と、ボタン７０３とが表示される。ユーザは、入力欄７０２に対してＭＰＤのＵＲＬを入力した後に、ボタン７０３を押下する。そうすると、受信装置１０２は、入力欄７０２に入力されたＵＲＬに対して、ＭＰＤで記述されたプレイリストを取得しにいく。
尚、プレイリストの格納先を示すＵＲＬは、送信装置１０１から受信装置１０２に予め送信してもよい。また、プレイリストの格納先を示すＵＲＬを受信装置１０２がデフォルトで記憶していてもよい。
受信装置１０２は、ＭＰＤで記述されたプレイリストを取得すると、プレイリストに記載されたセグメントのうち所望のセグメントを選択する。そして、受信装置１０２は、選択したセグメントの格納先であるＵＲＬにアクセスして、当該セグメントのデータを取得し、当該セグメントのデータを画面７０４に表示する。
例えば、受信装置１０２は、画像領域全体のセグメント３０１のデータと、セグメント３０３のデータを取得する。そして、受信装置１０２は、取得したセグメントのデータをデコードすることで、画像領域全体のセグメント３０１のデータに、セグメント３０３のデータが重畳された映像を画面７０４内に描画する。これにより、セグメント３０３のデータが表示される領域（図８の領域１、２、５、６）が他の領域よりも高画質で表示される。
領域７０５には、プレイリストに記述されているＲｅｐｒｅｓｅｎｔａｔｉｏｎの数（分母）と、現在取得しているセグメントのＲｅｐｒｅｓｅｎｔａｔｉｏｎ番号（分子）とが表示される。ユーザがボタン７０６、７０７を押下すると、それぞれＲｅｐｒｅｓｅｎｔａｔｉｏｎ番号が増減する。受信装置１０２は、増減後のＲｅｐｒｅｓｅｎｔａｔｉｏｎ番号に対応するセグメントの格納先を示すＵＲＬをプレイリストから特定して、当該セグメントの格納先にアクセスする。そして、受信装置１０２は、当該セグメントのデータを取得して画面７０４に表示する。
例えば、受信装置１０２は、画像領域全体のセグメント３０１と、セグメント３０３を取得して表示していたとする。ユーザは、この状態から、注目領域を、セグメント３０４を含む領域１１（図８を参照）に切り替える指示を行うために、ボタン７０６、７０７を押下して、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ番号「４」を指定する。ここで、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ番号は、図４等に示すＲｅｐｒｅｓｅｎｔａｔｉｏｎ ｉｄに対応するものである。そうすると、受信装置１０２は、セグメント３０４のＢａｓｅＵＲＬにアクセスして、セグメント３０４のデータを取得する。そして、受信装置１０２は、画像領域全体のセグメント３０１のデータに、セグメント３０４のデータが重畳された映像を画面７０４に表示する。このとき、切り替え前のセグメント３０３のデータは、画像領域全体のセグメント３０１のデータに重畳されない。以上のようにして、セグメント３０４のデータが表示される領域（図８の領域１１）が他の領域よりも高画質で表示される。
本実施形態では、以上のようにすることによって、ユーザは、自身が着目したいオブジェクトを切り替えることができる。
図８は、第１生成部２０５で生成されるセグメントの一例を概念的に示す図である。
図８に示す例では、分割部２０２は、映像８０８を１６個の画像領域に分割するものとする。
映像８０１〜８０３は、時刻ｉ、ｊ、ｋにおける映像である。時刻ｉ、ｊ、ｋの順に時刻が進むものとする。時刻が進むに伴い、映像中のオブジェクト８０４が含まれる画像領域は、画像領域８０５→画像領域８０６→画像領域８０７に遷移するとする。時刻ｉ以前の時刻では、オブジェクト８０４が含まれる画像領域は、映像８０８に示す領域１、２、５、６である。また、時刻ｉ〜ｊでは、オブジェクト８０４が含まれる画像領域は、領域１、２、５、６、９、１０である。さらに、時刻ｊ〜ｋでは、オブジェクト８０４が含まれる画像領域は、領域５、６、９、１０である。
それぞれの時刻ｉ、ｊ、ｋにおいて、オブジェクト８０４に対するセグメントのデータの取得が受信装置１０２より要求された場合、送信装置１０１は、それぞれの時刻に対応する前述した画像領域のセグメントのデータを送信する必要がある。
図９は、第１生成部２０５で生成されるセグメントの具体例を示す図である。
本実施形態では、セグメントのファイルフォーマットが、ＭＰＥＧ−ＤＡＳＨで標準採用されているＩＳＯＢＭＦＦである場合を例に挙げて説明する。ただし、セグメントのファイルフォーマットは、ＩＳＯＢＭＦＦに限定されるものではなく、ＭＰＥＧ２ＴＳ、ＷｅｂＭ等でもよい。また、ＭＰＥＧ−ＤＡＳＨでは、ＩＳＯＢＭＦＦを使用したセグメントの生成方法が複数提案されているが、本実施形態では、ＩｎｉｔｉａｌｉｚａｔｉｏｎセグメントとＭｅｄｉａセグメントとを別々のファイルとして生成する方法を例に挙げて説明する。尚、ＩＳＯＢＭＦＦを使用したセグメントの生成方法は、この方法に限定されるものではなく、ＭＰＥＧ−ＤＡＳＨで規定されている他の方法でもよい。
セグメントは、Ｉｎｉｔｉａｌｉｚａｔｉｏｎセグメント９０１と、Ｍｅｄｉａセグメント９０７とを有する。
Ｉｎｉｔｉａｌｉｚａｔｉｏｎセグメント９０１は、その後のＭｅｄｉａセグメント９０７をデコードする際に必要となる共通の初期化情報が格納されたｍｏｏｖボックスを含むセグメントである。
ｔｒａｋボックス９０２〜９０５は、各画像領域の映像データのメタ情報を含む。
ｔｒａｋボックス９０６は、各トラックに共通する情報として、パラメータセットの情報と各トラックの依存関係の情報とを含む。各トラックに共通の情報をｔｒａｋボックス９０６に集約することで、各トラックに同じ情報を冗長に格納することを避けることができる。
Ｍｅｄｉａセグメント９０７は、図８における時刻ｉ以前のオブジェクト８０４が含まれるセグメントに対応する。ｍｏｏｆボックス９０８には、映像データのヘッダ情報が格納される。
ｔｒａｆボックス９０９、９１０、９１１、９１２内の情報により、それぞれ、図８の映像８０８に示す領域１、２、５、６の映像データが含まれていることが示される。図８の映像８０８に示す領域１、２、５、６の映像データは、それぞれｍｄａｔボックス９１３内のｃｈｕｎｋトラック９１４、９１５、９１６、９１７に格納される。
図１０は、オブジェクト８０４の含まれる画像領域が切り替わる際のセグメントの生成方法の一例を説明する図である。
前述したように時刻ｉ以前では、オブジェクト８０４は、領域１、２、５、６からなる画像領域８０５に含まれる。したがって、Ｍｅｄｉａセグメント１００１には、それぞれの領域１、２、５、６のデータが含まれる。時刻ｉの前後で、オブジェクト８０４の含まれる画像領域は、領域１、２、５、６、９、１０からなる画像領域８０６に切り替わる。このとき、Ｍｅｄｉａセグメント１００２のように、セグメントの途中にｍｏｏｆボックスを挿入することで、ｍｄａｔボックス内のデータの構成を切り替えることが可能である。このようにすることで各Ｍｅｄｉａセグメント１００１〜１００３は、ほぼ同じセグメント長を保ちながら、途中で画像領域の構成を切り替えることができる。尚、Ｍｅｄｉａセグメント１００２のようにせず、ｍｏｏｆボックスの部分でＭｅｄｉａセグメントを分割してもよい。
図１１は、第１生成部２０５の詳細な機能構成の一例を示す図である。
分割部２０２で分割された各画像領域の映像データは、第１バッファ１１０１にバッファリングされる。また、判定部２０４から出力される画像領域であって、オブジェクトの含まれる画像領域の情報は、第２バッファ１１０２にバッファリングされる。
第１バッファ１１０１および第２バッファ１１０２にバッファリングされる期間は、セグメントを配信することを可能とする期間と一致し、ＭＰＥＧ−ＤＡＳＨではＴｉｍｅＳｈｉｆｔＢｕｆｆｅｒＤｅｐｔｈ属性で決定される。
第３生成部１１０３は、通信部２０７から入力される要求から、どのオブジェクトのどの時刻の映像データが要求されているのかを判定する。
第３生成部１１０３は、前記判定したオブジェクトが、前記判定した時刻において、どの画像領域に存在するのかを、第２バッファ１１０２にバッファリングされた情報から特定する。そして、第３生成部１１０３は、前記判定した時刻において前記判定したオブジェクトが存在する画像領域の映像データを第１バッファ１１０１より取得する。
第３生成部１１０３は、前記取得した映像データと、当該映像データの画像領域の情報と、当該映像データの時刻の情報と、を用いて、図１０に示すＭｅｄｉａセグメントを生成する。このようにすることで、送信装置１０１は、受信装置１０２から、映像データ内に映る特定のオブジェクトの取得が要求された場合に、要求されたオブジェクトについてのＭｅｄｉａセグメントを作成すれば良い。したがって、送信装置１０１の負荷を低減できる。尚、必ずしも、受信装置１０２からの要求に応じてＭｅｄｉａセグメントをその都度作成しなくてもよい。例えば、送信装置１０１は、映像内に映る全てのオブジェクトについてのＭｅｄｉａセグメントを、受信装置１０２から要求を受ける前に生成してもよい。
以上のように本実施形態では、送信装置１０１は、画像を複数の画像領域に分割する。また送信装置１０１は、前記画像のうち第１のオブジェクトの位置に対応する１又は複数の画像領域を特定する。次に、送信装置１０１は、特定した１又は複数の画像領域に対応するセグメントを生成すると共に、当該セグメントへアクセスするためのＵＲＬが記載されたプレイリストを生成する。次に、送信装置１０１は、受信装置１０２からの要求に応じてプレイリストを送信し、その後、プレイリストに含まれるＵＲＬに対するアクセスがあると、当該ＵＲＬを格納先とするセグメントのデータを受信装置１０２に送信する。
したがって、受信装置１０２は、プレイリストを取得し、取得したプレイリスト内のＵＲＬからセグメントのデータを取得することができる。よって、ユーザが選択した映像データ中の着目領域（ＲＯＩ）の映像を、受信装置で特別な処理をすることなく効率的に表示することができる。
また、本実施形態では、画像領域全体のセグメントと、オブジェクトと映像データの分割位置とを示す画像領域全体のセグメントと、当該セグメントへアクセスするためのＵＲＬをプレイリストに含める。したがって、前述した画像領域ごとのセグメントのデータを表示する前に、画像領域全体のセグメントのデータを表示することで、ＲＯＩをユーザに容易に選択させることが可能になる。また、受信装置１０２から要求のあったオブジェクトが映像データに含まれない場合に、画像領域全体のセグメントのデータを表示することで、ＲＯＩの再選択をユーザに容易に行わせることができる。
次に、図１２を用いて、本実施形態にかかる送信装置１０１の動作の一例について説明する。送信装置１０１がプロセッサ及びメモリを内蔵する形態では、図１２に示した処理は、図１２に示される手順を保持部２０８に格納されたプログラムをメモリに展開して実行することにより実現される。あるいは、図１２に示す処理の一部又は全体をハードウェアが行うこととしてもよい。
分割部２０２は、撮像部２０１から取得した映像データに含まれる画像に基づいて、ベースレイヤのデータを生成する（Ｓ１２０１）。
また分割部２０２は、撮像部２０１から取得した映像データに含まれる画像に基づいて、エンハンスメントレイヤのデータを生成する（Ｓ１２０２）。ステップＳ１２０１の処理とステップＳ１２０２の処理の順序特に限定せず、順序を入れ替えてもよい。
次に分割部２０２は、生成したエンハンスメントレイヤを複数の画像領域に分割する。
例えば分割部２０２は、図８の８０８に示したように、エンハンスメントレイヤのデータを画像領域１〜１６に分割する（Ｓ１２０３）。
次に第１生成部２０５は、ベースレイヤのデータに対応するセグメント３０１を生成する（Ｓ１２０４）。
次に第１生成部２０５は、エンハンスメントレイヤ全体に対応するセグメント３０２を生成する（Ｓ１２０５）。
次に第１生成部２０５は、エンハンスメントレイヤの各画像領域のセグメント３０３〜３０５を生成する（Ｓ１２０６）。
次に保持部２０８は、第１生成部２０５が生成したセグメント３０１〜３０５のデータを保持する（Ｓ１２０７）。
次に第２生成部２０６は、保持部２０８に保持されているセグメント３０１〜３０５の格納先を記載したプレイリストを生成する（Ｓ１２０８）。
次に通信部２０７は、受信装置１０２から、プレイリスト要求を受信する（Ｓ１２０９）。次に通信部２０７は、受信したプレイリスト要求に応答して、第２生成部が生成したプレイリストを受信装置１０２へ送信する（Ｓ１２１０）。
次に通信部２０７は、プレイリストに記載された複数のセグメントのうち、受信装置１０２が選択したセグメントの受信要求を、受信装置１０２から受信する（Ｓ１２１１）。
次に通信部２０７は、受信装置１０２からのセグメントの受信要求に応答して、要求されたセグメントのデータを保持部２０８から読み出して、受信装置１０２に送信する（Ｓ１２１２）。
以上の処理により、送信装置１０１は受信装置１０２に対して映像データを送信することができる。
次に、図１３を用いて、本実施形態にかかる受信装置１０２の動作の一例について説明する。受信装置１０２がプロセッサ及びメモリを内蔵する形態では、図１３に示した処理は、図１３に示される手順を受信装置１０２の保持部に格納されたプログラムをメモリに展開して実行することにより実現される。あるいは、図１３に示す処理の一部又は全体をハードウェアが行うこととしてもよい。
受信装置１０２の通信部は、送信装置１０２に対してプレイリストの送信を要求する（Ｓ１３０１）。次に受信装置１０２の通信部は、送信装置１０１からプレイリストを受信する（Ｓ１３０２）。
次に受信装置１０２は、プレイリストに格納先が記載されたセグメントのうち、所望のセグメントを選択する（Ｓ１３０３）。セグメントの選択は受信装置１０２に対するユーザ操作に基づいて選択することができる。あるいは、受信装置１０２に予め設定された選択基準に基づいてセグメントを選択することとしてもよい。
次に受信装置１０２は、要求したセグメントのデータを送信装置１０１から受信する（Ｓ１３０５）。
次に受信装置１０２は、受信したセグメントデータを再生して、受信装置１０２の表示部に表示させる（Ｓ１３０６）。
次に受信装置１０２は、送信装置１０１から受信するセグメントの切り替え指示があったか否かを判定する（Ｓ１３０７）。切り替え指示は、例えば、図７に示したボタン７０６又は７０７をユーザが操作することによって、受信装置１０２に入力される。
切り替え指示が無い場合（Ｓ１３０７においてＮＯの場合）、ステップＳ１３０６の処理に戻る。一方切り替え指示が入力された場合、受信装置１０２は切り替え指示に応じて新たに選択されたセグメントのデータを送信装置１０１に対して要求する（Ｓ１３０８）。続いて受信装置１０２は、新たなセグメント要求に応じて送信装置１０１から送信されたセグメントデータを受信し、再生して表示部に表示させる（Ｓ１３０９）。
次に受信装置１０２は、送信装置１０１から送信されるデータの再生を終了するかを判定する（Ｓ１３１０）。データの再生を続ける場合（Ｓ１３１０においてＮＯの場合）、ステップＳ１３０７の処理に戻る。一方、データの再生を終了する場合（Ｓ１２１０においてＹＥＳの場合）は再生処理を終了する。
このようにして、受信装置１０２は、送信装置１０１が保持するセグメントデータのうち、所望のセグメントデータを選択して受信することができる。
本実施形態では、通信部２０７は、第１生成部２０５で生成されたセグメントのデータのストリーミング配信を行う場合を例に挙げて説明した。しかしながら、必ずしも、動画像のストリーミング配信を行わなくてもよい。例えば、送信装置１０１が過去に生成または記録した動画像データを、受信装置１０２が必要なときに取得する際に、本実施形態で説明した手法を適用することができる。
また、配信の対象は、動画像に限られず、静止画像であってもよい。例えば、静止画像全体へのアクセスを可能とするＵＲＬが記載されたプレイリストと、静止画像の特定の１つのオブジェクトが含まれる画像領域へのアクセスを可能とするＵＲＬが記載されたプレイリストを生成して送信してもよい。
尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
１０１：送信装置、１０２：受信装置、１０３：ネットワーク

Claims (12)

  1. 画像を複数の画像領域に分割する分割手段と、
    前記画像における第１のオブジェクトの位置に対応する１又は複数の前記画像領域に応じたデータを生成する第１生成手段と、
    前記第１生成手段により生成された前記データを外部装置が取得するために用いられる取得情報を含むプレイリストを生成する第２生成手段と、
    前記プレイリストを前記外部装置に送信し、前記外部装置が前記プレイリストに含まれる前記取得情報を用いて要求した前記データを前記外部装置に送信する通信手段とを有することを特徴とするデータ処理装置。
  2. 前記プレイリストには、前記取得情報と、当該取得情報を用いて取得される前記データの識別子とが相互に関連付けられて記憶されることを特徴とする請求項１に記載のデータ処理装置。
  3. 前記第１生成手段は、前記複数の画像領域全体のデータと、前記複数の画像領域全体のデータに、前記複数の画像領域のうち前記画像における前記第１のオブジェクトの位置に対応する１又は複数の前記画像領域を示す情報が付加されたデータと、の少なくとも何れか一方をさらに生成することを特徴とする請求項１または２に記載のデータ処理装置。
  4. 前記画像を含む動画像のデータを保持する保持手段を有し、
    前記通信手段は、前記外部装置が用いる前記取得情報に対応する第１のオブジェクトが、前記保持手段に保持された動画像データに含まれない場合に、前記複数の画像領域全体のデータと、前記複数の画像領域全体のデータに、前記複数の画像領域のうち第２のオブジェクトが含まれる画像領域を示す情報が付加されたデータと、の何れかを送信することを特徴とする請求項３に記載のデータ処理装置。
  5. 前記第１生成手段は、
    前記分割手段により分割された前記複数の画像領域ごとに当該画像領域のデータを格納する第１バッファと、
    前記第１のオブジェクトが含まれる画像領域の情報を格納する第２バッファと、
    前記第１バッファと前記第２バッファの情報から、前記プレイリストに含まれる前記取得情報を用いて取得される前記データを生成する第３生成手段と、を更に有することを特徴とする請求項１〜４の何れか１項に記載のデータ処理装置。
  6. 前記画像に含まれるオブジェクトを検出する検出手段を更に有し、
    前記第１生成手段は、前記複数の画像領域から、前記検出手段により検出された前記オブジェクトごとに、当該オブジェクトが含まれる画像領域を特定し、特定した画像領域のデータを生成することを特徴とする請求項１〜５の何れか１項に記載のデータ処理装置。
  7. 画像を複数の画像領域に分割する分割工程と、
    前記画像における第１のオブジェクトの位置に対応する１又は複数の前記画像領域に応じたデータを生成する第１生成工程と、
    前記第１生成工程により生成された前記データを外部装置が取得するために用いられる取得情報を含むプレイリストを生成する第２生成工程と、
    前記プレイリストを前記外部装置に送信する第１の送信工程と、
    前記第１の送信工程において送信した前記プレイリストに含まれる前記取得情報を用いて前記外部装置が要求した前記データを前記外部装置に送信する第２の送信工程とを有することを特徴とするデータ処理方法。
  8. 前記プレイリストには、前記取得情報と、当該取得情報を用いて取得される前記データの識別子とが相互に関連付けられて記憶されることを特徴とする請求項７に記載のデータ処理方法。
  9. 前記第１生成工程は、前記複数の画像領域全体のデータと、前記複数の画像領域全体のデータに、前記複数の画像領域のうち前記画像における前記第１のオブジェクトの位置に対応する１又は複数の前記画像領域を示す情報が付加されたデータと、の少なくとも何れか一方をさらに生成することを特徴とする請求項７または８に記載のデータ処理方法。
  10. 前記画像を含む動画像のデータを保持手段に保持する保持工程を有し、
    前記第２の送信工程は、前記外部装置が用いる前記取得情報に対応する第１のオブジェクトが、前記保持手段に保持された動画像データに含まれない場合に、前記複数の画像領域全体のデータと、前記複数の画像領域全体のデータに、前記複数の画像領域のうち第２のオブジェクトが含まれる画像領域を示す情報が付加されたデータと、の何れかを送信することを特徴とする請求項９に記載のデータ処理方法。
  11. 前記第１生成工程は、
    前記分割工程により分割された前記複数の画像領域ごとに当該画像領域のデータを格納する第１バッファと、前記第１のオブジェクトが含まれる画像領域の情報を格納する第２バッファの情報から、前記プレイリストに含まれる前記取得情報を用いて取得される前記データを生成することを特徴とする請求項７〜１０の何れか１項に記載のデータ処理方法。
  12. 請求項１〜６の何れか１項に記載のデータ処理装置の各手段としてコンピュータを機能させることを特徴とするプログラム。
JP2014128353A 2014-06-23 2014-06-23 送信装置、送信方法、及びプログラム Active JP6541309B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014128353A JP6541309B2 (ja) 2014-06-23 2014-06-23 送信装置、送信方法、及びプログラム
PCT/JP2015/063447 WO2015198725A1 (ja) 2014-06-23 2015-05-11 通信装置、通信方法、及びプログラム
US15/385,535 US10911809B2 (en) 2014-06-23 2016-12-20 Communication apparatus, communication method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014128353A JP6541309B2 (ja) 2014-06-23 2014-06-23 送信装置、送信方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP2016009925A true JP2016009925A (ja) 2016-01-18
JP2016009925A5 JP2016009925A5 (ja) 2017-08-03
JP6541309B2 JP6541309B2 (ja) 2019-07-10

Family

ID=54937824

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014128353A Active JP6541309B2 (ja) 2014-06-23 2014-06-23 送信装置、送信方法、及びプログラム

Country Status (3)

Country Link
US (1) US10911809B2 (ja)
JP (1) JP6541309B2 (ja)
WO (1) WO2015198725A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017139628A (ja) * 2016-02-03 2017-08-10 キヤノン株式会社 通信装置、通信システム、通信制御方法およびコンピュータプログラム
WO2018043134A1 (ja) * 2016-08-30 2018-03-08 ソニー株式会社 配信装置、配信方法、受信装置、受信方法、プログラム、およびコンテンツ配信システム
JP2021500764A (ja) * 2017-08-29 2021-01-07 Ｌｉｎｅ株式会社 映像通話の映像品質向上
WO2021100524A1 (ja) 2019-11-22 2021-05-27 キヤノン株式会社 データ処理装置およびその制御方法、プログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102076531B1 (ko) * 2015-10-27 2020-02-12 한국전자통신연구원 멀티 센서 기반 위치 추적 시스템 및 방법
KR102618049B1 (ko) * 2016-02-02 2023-12-27 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 비디오 스트리밍의 관심 장면 섹션 및 영역 처리
WO2021009597A1 (en) * 2019-07-12 2021-01-21 Carrier Corporation A system and a method for streaming videos by creating object urls at client

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014057131A1 (en) * 2012-10-12 2014-04-17 Canon Kabushiki Kaisha Method and corresponding device for streaming video data
WO2015060349A1 (ja) * 2013-10-22 2015-04-30 シャープ株式会社 表示制御装置、配信装置、表示制御方法、および表示制御システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6357042B2 (en) * 1998-09-16 2002-03-12 Anand Srinivasan Method and apparatus for multiplexing separately-authored metadata for insertion into a video data stream
EP1089214A3 (en) * 1999-09-30 2005-01-26 Matsushita Electric Industrial Co., Ltd. Apparatus and method for image recognition
SE517626C3 (sv) * 2001-04-12 2002-09-04 Cellavision Ab Förfarande vid mikroskopering för att söka av och positionera ett objekt, där bilder tas och sammanfogas i samma bildkoordinatsystem för att noggrant kunna ställa in mikroskopbordet
US20060277457A1 (en) * 2005-06-07 2006-12-07 Salkind Carole T Method and apparatus for integrating video into web logging
US20080320036A1 (en) * 2007-06-22 2008-12-25 Winter Gentle E Automatic data collection
KR101485458B1 (ko) * 2007-07-02 2015-01-26 삼성전자주식회사 개체 정보를 포함하는 화상 파일 생성 방법 및 장치
BRPI0923917B1 (pt) 2008-12-31 2021-05-25 Apple Inc Método implementado por máquina, meio de armazenamento não transitório legível por máquina, aparelho, e sistema de processamento de dados para transmissão contínua em tempo real ou próximo ao tempo real
US8345749B2 (en) * 2009-08-31 2013-01-01 IAD Gesellschaft für Informatik, Automatisierung und Datenverarbeitung mbH Method and system for transcoding regions of interests in video surveillance
KR101781717B1 (ko) * 2011-06-08 2017-10-23 코닌클리즈케 케이피엔 엔.브이. 공간적으로-세그먼트된 콘텐츠 전달
US9712891B2 (en) * 2011-11-01 2017-07-18 Nokia Technologies Oy Method and apparatus for selecting an access method for delivery of media
GB2505912B (en) * 2012-09-14 2015-10-07 Canon Kk Method and device for generating a description file, and corresponding streaming method
CN104956645B (zh) * 2013-01-16 2018-04-27 华为技术有限公司 自适应流中的url参数插入和添加
KR20150000030A (ko) * 2013-06-20 2015-01-02 삼성전자주식회사 컨텐츠 공유 서비스

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014057131A1 (en) * 2012-10-12 2014-04-17 Canon Kabushiki Kaisha Method and corresponding device for streaming video data
JP2016500948A (ja) * 2012-10-12 2016-01-14 キヤノン株式会社 ビデオデータをストリーミングするための方法および対応するデバイス
WO2015060349A1 (ja) * 2013-10-22 2015-04-30 シャープ株式会社 表示制御装置、配信装置、表示制御方法、および表示制御システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ADITYA MAVLANKAR ET AL.: "An interactive region-of-interest video streaming system for online lecture viewing", PROCEEDINGS OF 2010 IEEE 18TH INTERNATIONAL PACKET VIDEO WORKSHOP, JPN6015031123, December 2010 (2010-12-01), pages 64 - 71, XP031899005, ISSN: 0003916245, DOI: 10.1109/PV.2010.5706821 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017139628A (ja) * 2016-02-03 2017-08-10 キヤノン株式会社 通信装置、通信システム、通信制御方法およびコンピュータプログラム
KR20180105690A (ko) * 2016-02-03 2018-09-28 캐논 가부시끼가이샤 통신 장치, 통신 제어 방법, 및 컴퓨터 프로그램
KR102087533B1 (ko) * 2016-02-03 2020-03-10 캐논 가부시끼가이샤 통신 장치, 통신 제어 방법, 및 컴퓨터 프로그램
WO2018043134A1 (ja) * 2016-08-30 2018-03-08 ソニー株式会社 配信装置、配信方法、受信装置、受信方法、プログラム、およびコンテンツ配信システム
JPWO2018043134A1 (ja) * 2016-08-30 2019-06-24 ソニー株式会社 配信装置、配信方法、受信装置、受信方法、プログラム、およびコンテンツ配信システム
US10750243B2 (en) 2016-08-30 2020-08-18 Sony Corporation Distribution device, distribution method, reception device, reception method, program, and content distribution system
US11252478B2 (en) 2016-08-30 2022-02-15 Sony Corporation Distribution device, distribution method, reception device, reception method, program, and content distribution system
JP2021500764A (ja) * 2017-08-29 2021-01-07 Ｌｉｎｅ株式会社 映像通話の映像品質向上
US11223662B2 (en) 2017-08-29 2022-01-11 Line Corporation Method, system, and non-transitory computer readable record medium for enhancing video quality of video call
WO2021100524A1 (ja) 2019-11-22 2021-05-27 キヤノン株式会社 データ処理装置およびその制御方法、プログラム
EP4064061A4 (en) * 2019-11-22 2023-11-15 Canon Kabushiki Kaisha DATA PROCESSING DEVICE, CONTROL METHOD THEREOF AND PROGRAM

Also Published As

Publication number Publication date
WO2015198725A1 (ja) 2015-12-30
JP6541309B2 (ja) 2019-07-10
US20170105034A1 (en) 2017-04-13
US10911809B2 (en) 2021-02-02

Similar Documents

Publication Publication Date Title
JP6541309B2 (ja) 送信装置、送信方法、及びプログラム
US11683540B2 (en) Method and apparatus for spatial enhanced adaptive bitrate live streaming for 360 degree video playback
KR102384489B1 (ko) 정보 처리 장치, 정보 제공 장치, 제어 방법, 및 컴퓨터 판독가능 저장 매체
JP6624958B2 (ja) 通信装置、通信システム、通信制御方法およびコンピュータプログラム
KR102133207B1 (ko) 통신장치, 통신 제어방법 및 통신 시스템
US10904515B2 (en) File generation apparatus and file generation method as well as reproduction apparatus and reproduction method
US10945000B2 (en) File generation apparatus and file generation method as well as reproduction apparatus and reproduction method
JP7396267B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2015050572A (ja) 情報処理装置、プログラム及び情報処理方法
US20220150552A1 (en) Information processing apparatus, information processing method, reproduction processing device, and reproduction processing method
US9420316B2 (en) Control apparatus, reproduction control method, and recording medium
WO2019187434A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2018045674A (ja) 情報処理装置及びその制御方法、コンピュータプログラム
JP7236914B2 (ja) 受信装置、配信サーバ及び受信プログラム
JP2021083057A (ja) データ処理装置およびその制御方法、プログラム
JP6669402B2 (ja) 通信装置、システム、情報処理方法及びプログラム
JP2021033354A (ja) 通信装置およびその制御方法
WO2018146996A1 (ja) 通信装置、方法、及びプログラム
JP2021064822A (ja) 通信装置、通信装置の制御方法およびプログラム
KR20200000815A (ko) 송신장치, 송신방법, 수신장치, 수신방법, 및, 비일시적인 컴퓨터 판독가능한 기억매체
US20220337800A1 (en) Systems and methods of server-side dynamic adaptation for viewport-dependent media processing
US20230007314A1 (en) System and method of server-side dynamic spatial and temporal adaptations for media processing and streaming
JP2021002811A (ja) 配信サーバ、配信方法及びプログラム
JP2015049641A (ja) 情報処理装置、プログラム及び通信システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170616

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180717

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190213

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190611

R151 Written notification of patent or utility model registration

Ref document number: 6541309

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151