JP2017120983A - 送信装置、情報処理方法及びプログラム - Google Patents
送信装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP2017120983A JP2017120983A JP2015256575A JP2015256575A JP2017120983A JP 2017120983 A JP2017120983 A JP 2017120983A JP 2015256575 A JP2015256575 A JP 2015256575A JP 2015256575 A JP2015256575 A JP 2015256575A JP 2017120983 A JP2017120983 A JP 2017120983A
- Authority
- JP
- Japan
- Prior art keywords
- still image
- playlist
- transmission
- acquiring
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/70—Media network packetisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
- H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
Abstract
【解決手段】映像データの複数の映像領域ごとのセグメントのそれぞれを取得するための複数の識別子と映像領域全体の静止画を取得するための識別子とを含むプレイリストを生成するプレイリスト生成手段と、受信装置からのプレイリストの取得要求に応じて、プレイリストを受信装置に送信する第1の送信手段と、映像領域全体の静止画を受信装置に送信する第2の送信手段と、を有することによって課題を解決する。
【選択図】図3
Description
また、スマートフォンやタブレットのような端末の普及により、様々な端末装置でいつでもどこでもストリーミングコンテンツを楽しみたいという需要が高まって来ている。この要求を実現するために端末装置の能力や端末装置が置かれる通信状況に応じて、動的に取得するストリームを変更する技術としてMPEG−DASH(Dynamic Adaptive Streaming over Http)が注目されている。
MPEG−DASHでは、映像データを細かい時間単位のセグメントに分割し、セグメントを取得するためのURL(Uniform Resource Locator)をプレイリストと呼ばれるファイルに記述する。受信装置はこのプレイリストを取得し、プレイリストに記述されている情報を用いて所望の映像データを取得する。プレイリスト中に複数のバージョンの映像データセグメントに対するURLを記載することで、受信装置が自身の能力や通信環境に応じて、最適なバージョンの映像データセグメントを取得することができる。
また、MPEG−DASHでは、近年の映像データの高解像度化や映像再生端末としてのスマートフォンの普及を踏まえ、以下の技術が検討されている。即ち、映像データ内の着目領域(Region Of Interest,以下ROIと記す)の映像データを切り出して配信する拡張技術である。この拡張技術は、映像データをタイル状に符号化し、配信するタイルを適宜選択することで実現するものである。
例えば、既存のCDN(Content Delivery Network)はこの様なタイル状に符号化された映像データを扱うようには構成されていない。そのため、特許文献1では、プレイリストにタイルの位置情報とタイムスタンプ情報、及び解像度情報等を記載することで、既存のCDNを利用してROIの映像データ配信を実現する方法が提案されている。
本発明は上記の問題点に鑑みてなされたものであり、その目的は、広範囲の映像領域の画像をより早く取得できるようにすることである。
図1は、通信システムのシステム構成の一例を示す図である。送信装置100は、ネットワーク300を介して、受信装置200と接続される。なお、送信装置100、受信装置200は、それぞれ複数存在してもよい。
送信装置100は、より具体的な例としては、カメラ装置、ビデオカメラ装置、スマートフォン装置、PC装置、携帯電話等が挙げられるが、後述の機能構成を満たすものであれば、前術の例に限定されない。
受信装置200は、コンテンツの再生・表示機能、通信機能、及びユーザからの入力を受け付ける機能を備える。受信装置200のより具体的な例は、スマートフォン装置、PC装置、テレビ、携帯電話等が挙げられるが、前述の機能を備えるものであればこれに限定されない。
ネットワーク300は、例えば有線LAN(Local Area Network)や無線LAN(Wireless LAN)が挙げられる。しかし、これに限らず、ネットワーク300は、インターネットや3G/4G/LTE等のWAN(Wide Area Network)、アドホックネットワーク、Bluetooth(登録商標)等でもよい。
映像データ取得部101は、符号化前の映像データを取得する。映像領域分割部102は、取得した映像データを、設定された解像度で領域分割する。セグメント生成部104は、映像領域分割部102から取得した領域分割された映像データを符号化してセグメントを生成する。また、セグメント生成部104は、映像データ取得部101から取得した映像データは分割せずにそのまま符号化することで映像領域全体のセグメントを生成する。静止画生成部103は、設定された周期、或いは受信装置200からの要求時、又はプレイリスト生成部105から通知されるプレイリスト生成のタイミングで映像データの最新のフレームを静止画として符号化する。
領域分割して符号化する方式としてはHEVC(High Efficiency Video Codec)やJPEG2000のように映像或いは画像を領域分割して符号化可能なものであるとよい。また、静止画の符号化方式は、JPEG、JPEG2000、WebP等の静止画フォーマットの他、H.264やVC1、HEVC等のフレーム間予測を用いた動画用の符号化方法におけるIフレーム(Intra−coded Frame)でもよい。なお、Iフレームはフレーム間予測を用いずに符号化されるフレームであるため、単独で復号可能であることから静止画と同様に扱うことが可能である。
次にプレイリスト生成部105は、静止画生成部103で作成された静止画及びセグメント生成部104で作成されたセグメントへのアクセスを可能とするURLを記載したプレイリストを生成する。通信部106は、受信装置200からの要求に応じて、生成されたプレイリスト、セグメント、及び静止画を、ネットワーク300を介して受信装置200に送信する。URLは、識別子の一例である。本実施形態ではURLを例に説明を行っているが、これに限定されるものではなく、例えば、URN(Uniform Resourcde Name)やURI(Uniform Resource Identifier)等であってもよい。
図4においてFullImage.jpg301とFullView.mp4 302とは、映像領域全体を各々静止画と動画との形式で符号化したデータである。静止画は静止画生成部103で生成され、動画はセグメント生成部104で生成されるセグメントである。これらの映像領域を縦横2等分に分割して生成されたセグメントが、ROI1.mp4 303〜ROI4.mp4 306である。ここで、領域分割はもっと細かく分割されてもよく、また分割は等分でなくてもよい。また、図4のように領域分割して生成されたセグメントを以降、ROIセグメントと記す。
図5は、MPEG−DASHで規格策定中のROI部分のストリーミングに対応したプレイリストであり、本実施形態では情報401の静止画に関する情報を追加拡張している。図5の情報401と情報402とは各々映像領域全体の静止画と動画とに関する情報を示している。符号化方式やフォーマット等の情報の他に、SupplementalPropertyの部分には解像度と空間の位置情報とが記載されている。更にRoleの部分に記載されている"main"は映像領域分割の基となる全体映像であることを示すものである。図5の例では情報401と情報402とは共に解像度1920x1080の全体映像であり、各々静止画(JPEG)と動画(HEVC)とのデータであることを示している。
また図5の情報403は、図4で説明したROIセグメントに関する情報を示しており、各々解像度960x540の動画(HEVC)であり、図4に示すように1920x1080の全体映像を縦横2分割した部分に位置することを示している。なお、Roleの部分に記載されている"alternate"は全体映像の一部であることを示している。
受信装置200は、図5に示すプレイリストから映像領域全体の静止画や各ROIセグメントを取得する場合、BaseURLに記載されたURLを用いて送信装置100に要求する。
図6において、まず受信装置200は、プレイリストの取得要求を送信装置100に送信する(SQ501)。送信装置100は、プレイリストの取得要求に応じてプレイリストを受信装置200に送信する(SQ502)。SQ502の処理は、第1の送信の処理の一例である。プレイリストには、図5を用いて説明した通り映像領域全体の静止画を取得するためのURLが記載されている。受信装置200は、ユーザによる入力装置等を介したURLの指定操作を検知すると、映像領域全体の静止画の取得を要求する(SQ503)。送信装置100は、要求に応じて映像領域全体の静止画を受信装置200に送信する(SQ504)。SQ504の処理は、第2の送信の処理の一例である。
受信装置200を操作するユーザは、取得した静止画を再生処理して視認することで、次にどの領域のROIセグメントを取得するか判断し、受信装置200を操作し、送信装置100に所望のROIセグメントの取得を要求する(SQ505)。送信装置100は、要求に応じて指定されたROIセグメントを受信装置200に送信する(SQ506)。
従来、映像領域全体の映像を把握するためには、受信装置200は、図5の情報402に示す様な映像領域全体のセグメントを取得して再生処理しなければならなかった。そのため、セグメント生成やネットワークの伝送時間、更に受信装置200でのバッファリング時間がかかるため、ROIセグメントを素早く決定することが困難であった。しかし本実施形態では、送信装置100は、JPEG等の映像領域全体の静止画を1枚だけ送信して受信装置200に再生処理を行わせればよい。そのため、映像領域全体のセグメントを取得する従来技術に比べて迅速に映像領域全体を把握することができるので、ROIセグメントの決定を素早く行うことができ、更に通信するデータ量も削減することができる。
図8は、複数解像度の静止画に対応したプレイリストの一例を示す図である。図8において、情報701、702、703は映像領域全体の静止画を、異なる解像度で提供することを示しており、各々1920x1080、1280x720、960x540の解像度であることを示している。
例えば、映像領域全体の様子を視認する際に高解像度の画像が必要ない場合は、より解像度が低い方がデータ量や処理負荷を削減することができる。したがって、受信装置200は、必要最小限の解像度である情報703の静止画を取得すればよい。
また、取得するROIセグメントを決定するために映像データの視聴開始時に静止画を取得するケースの他に、ROIセグメントを視聴中に、他の領域の様子を確認するために、定期的或いは不定期に映像領域全体の静止画を取得する用途が考えられる。この様な用途でも、例えばネットワークのリソース使用状況や受信装置200の処理負荷に合わせて適切な解像度の静止画を適切なタイミングで取得することで、リソース消費や処理負荷の点で効率を上げることが可能となる。
なお、図8では、プレイリストの一部を示している。
これにより、受信装置200を操作するユーザは、送信装置100からクリッカブルマップ化した静止画を取得した後、静止画を視認することで取得するROIを決定する。そして、マウスクリックやタッチで選択することで容易に所望のROIセグメントの取得を要求することができる。
本発明は、前述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100 送信装置
200 受信装置
Claims (9)
- 映像データの複数の映像領域ごとのセグメントのそれぞれを取得するための複数の識別子と前記複数の映像領域を含む広範囲領域の静止画を取得するための識別子とを含むプレイリストを生成するプレイリスト生成手段と、
受信装置からのプレイリストの取得要求に応じて、前記プレイリストを前記受信装置に送信する第1の送信手段と、
前記広範囲領域の静止画を前記受信装置に送信する第2の送信手段と、
を有する送信装置。 - 前記第2の送信手段は、前記広範囲領域の静止画を取得するための識別子が選択されたことによる前記受信装置からの前記広範囲領域の静止画の取得要求に応じて、前記広範囲領域の静止画を前記受信装置に送信する請求項1記載の送信装置。
- 前記第2の送信手段は、前記第1の送信手段により前記プレイリストが前記受信装置に送信された場合、前記広範囲領域の静止画を前記受信装置に送信する請求項1記載の送信装置。
- 前記映像データの複数の映像領域ごとのセグメントを生成するセグメント生成手段と、
前記複数の映像領域を含む広範囲領域の静止画を生成する静止画生成手段と、
を更に有し、
前記プレイリスト生成手段は、前記セグメント生成手段により生成された前記映像データの複数の映像領域ごとのセグメントのそれぞれを取得するための複数の識別子と、前記静止画生成手段により生成された前記広範囲領域の静止画を取得するための識別子と、を含むプレイリストを生成する請求項1乃至3何れか1項記載の送信装置。 - 前記静止画生成手段は、複数の解像度の広範囲領域の静止画を生成し、
前記プレイリスト生成手段は、前記セグメントのそれぞれを取得するための複数の識別子と、前記複数の解像度の広範囲領域の静止画のそれぞれを取得するための複数の識別子と、を含むプレイリストを生成する請求項4記載の送信装置。 - 前記静止画生成手段は、前記セグメントのそれぞれを取得するための複数の識別子を含む前記広範囲領域の静止画を生成する請求項4又は5記載の送信装置。
- 前記識別子は、URL(Uniform Resource Locator)である請求項1乃至6何れか1項記載の送信装置。
- 送信装置が実行する情報処理方法であって、
映像データの複数の映像領域ごとのセグメントのそれぞれを取得するための複数の識別子と前記複数の映像領域を含む広範囲領域の静止画を取得するための識別子とを含むプレイリストを生成するプレイリスト生成工程と、
受信装置からのプレイリストの取得要求に応じて、前記プレイリストを前記受信装置に送信する第1の送信工程と、
前記広範囲領域の静止画を前記受信装置に送信する第2の送信工程と、
を含む情報処理方法。 - コンピュータを、請求項1乃至7何れか1項記載の送信装置の各手段として機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015256575A JP6587539B2 (ja) | 2015-12-28 | 2015-12-28 | 送信装置、情報処理方法及びプログラム |
US15/386,601 US11290511B2 (en) | 2015-12-28 | 2016-12-21 | Providing apparatus, data providing method, and storage medium |
US16/403,155 US20190260817A1 (en) | 2015-12-28 | 2019-05-03 | Providing apparatus, data providing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015256575A JP6587539B2 (ja) | 2015-12-28 | 2015-12-28 | 送信装置、情報処理方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017120983A true JP2017120983A (ja) | 2017-07-06 |
JP2017120983A5 JP2017120983A5 (ja) | 2019-01-10 |
JP6587539B2 JP6587539B2 (ja) | 2019-10-09 |
Family
ID=59088057
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015256575A Active JP6587539B2 (ja) | 2015-12-28 | 2015-12-28 | 送信装置、情報処理方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (2) | US11290511B2 (ja) |
JP (1) | JP6587539B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110856042B (zh) * | 2019-11-18 | 2022-02-11 | 腾讯科技(深圳)有限公司 | 视频播放方法、装置、计算机可读存储介质和计算机设备 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2001253563A1 (en) * | 2000-04-18 | 2001-10-30 | Rtimage Inc. | System and method for the lossless progressive streaming of images over a communication network |
US20070024706A1 (en) * | 2005-08-01 | 2007-02-01 | Brannon Robert H Jr | Systems and methods for providing high-resolution regions-of-interest |
WO2010033642A2 (en) * | 2008-09-16 | 2010-03-25 | Realnetworks, Inc. | Systems and methods for video/multimedia rendering, composition, and user-interactivity |
US8606848B2 (en) * | 2009-09-10 | 2013-12-10 | Opentv, Inc. | Method and system for sharing digital media content |
US8621000B2 (en) * | 2011-03-23 | 2013-12-31 | Verizon Patent And Licensing Inc. | Region of interest streaming |
KR20140016357A (ko) | 2011-06-08 | 2014-02-07 | 코닌클리즈케 케이피엔 엔.브이. | 공간적으로-세그먼트된 콘텐츠 전달 |
US20140052770A1 (en) | 2012-08-14 | 2014-02-20 | Packetvideo Corporation | System and method for managing media content using a dynamic playlist |
GB2505912B (en) * | 2012-09-14 | 2015-10-07 | Canon Kk | Method and device for generating a description file, and corresponding streaming method |
TWI620435B (zh) * | 2012-09-18 | 2018-04-01 | Vid衡器股份有限公司 | 使用圖塊及圖塊組的感興趣區域視訊編碼的方法及裝置 |
CN104904225B (zh) * | 2012-10-12 | 2019-05-07 | 佳能株式会社 | 用于对视频数据进行流传输的方法和相应装置 |
GB2513140B (en) * | 2013-04-16 | 2016-05-04 | Canon Kk | Methods, devices, and computer programs for streaming partitioned timed media data |
GB2513303B (en) * | 2013-04-16 | 2017-06-07 | Canon Kk | Method and device for partitioning an image |
EP3162074A1 (en) * | 2014-06-27 | 2017-05-03 | Koninklijke KPN N.V. | Determining a region of interest on the basis of a hevc-tiled video stream |
-
2015
- 2015-12-28 JP JP2015256575A patent/JP6587539B2/ja active Active
-
2016
- 2016-12-21 US US15/386,601 patent/US11290511B2/en active Active
-
2019
- 2019-05-03 US US16/403,155 patent/US20190260817A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
JP6587539B2 (ja) | 2019-10-09 |
US20170187779A1 (en) | 2017-06-29 |
US20190260817A1 (en) | 2019-08-22 |
US11290511B2 (en) | 2022-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230179837A1 (en) | Network Video Streaming with Trick Play Based on Separate Trick Play Files | |
US10187668B2 (en) | Method, system and server for live streaming audio-video file | |
JP5619908B2 (ja) | 符号化ビデオ・データのストリーミング | |
JP6624958B2 (ja) | 通信装置、通信システム、通信制御方法およびコンピュータプログラム | |
US20150208103A1 (en) | System and Method for Enabling User Control of Live Video Stream(s) | |
US20140297804A1 (en) | Control of multimedia content streaming through client-server interactions | |
US11202110B2 (en) | Information processing apparatus, control method of the same, and storage medium | |
WO2014193996A2 (en) | Network video streaming with trick play based on separate trick play files | |
US10911809B2 (en) | Communication apparatus, communication method, and program | |
JP2007208458A (ja) | 通信システム、通信端末および通信方法 | |
KR102133207B1 (ko) | 통신장치, 통신 제어방법 및 통신 시스템 | |
CA3057894C (en) | Video compression using down-sampling patterns in two phases | |
JP5734699B2 (ja) | 配信映像の超解像化装置 | |
US10015395B2 (en) | Communication system, communication apparatus, communication method and program | |
US9571790B2 (en) | Reception apparatus, reception method, and program thereof, image capturing apparatus, image capturing method, and program thereof, and transmission apparatus, transmission method, and program thereof | |
WO2020006632A1 (en) | Tile stream selection for mobile bandwidth optimization | |
JP6587539B2 (ja) | 送信装置、情報処理方法及びプログラム | |
US9596282B2 (en) | Delivery managing device, terminal, and delivery managing method | |
WO2016002494A1 (ja) | 情報処理装置および方法 | |
Kammachi‐Sreedhar et al. | Omnidirectional video delivery with decoder instance reduction | |
JP2018113568A (ja) | 送信装置、送信方法、およびプログラム | |
US20180262790A1 (en) | Systems and methods for adaptive streaming using jpeg 2000 | |
JP6387623B2 (ja) | 配信制御システム | |
JP6375638B2 (ja) | 配信制御システム、配信システム、配信制御方法、及びプログラム | |
JP2019161251A (ja) | 画像配信装置、方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181121 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181121 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190410 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190514 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190711 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190813 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190910 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6587539 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |