CN108605149A - 通信装置、通信控制方法和计算机程序 - Google Patents

通信装置、通信控制方法和计算机程序 Download PDF

Info

Publication number
CN108605149A
CN108605149A CN201780009846.3A CN201780009846A CN108605149A CN 108605149 A CN108605149 A CN 108605149A CN 201780009846 A CN201780009846 A CN 201780009846A CN 108605149 A CN108605149 A CN 108605149A
Authority
CN
China
Prior art keywords
unit
metadata clips
video
playlist
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780009846.3A
Other languages
English (en)
Inventor
藤森祐树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN108605149A publication Critical patent/CN108605149A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

一种通信装置包括：识别单元，其被构造为识别在视频图像内具有对象的对象区域；生成单元，其被构造为生成包括与由识别单元识别的一个或更多个对象区域相对应的一个或更多个对象的一个标识符或多个标识符的元数据片段；发送单元，其被构造为将由生成单元生成的元数据片段发送到其他通信装置；以及供应单元，其被构造为将与在所述其他通信装置接收元数据片段中所选择的对象相对应的对象区域的视频片段供应给所述其他通信装置。

Description

通信装置、通信控制方法和计算机程序
技术领域
本发明涉及通信装置、通信控制方法和计算机程序，尤其涉及视频数据流技术。
背景技术
近年来，已经提供了分发系统，其流式传输诸如音频数据和视频数据的内容。这种分发系统通过用户携带的终端装置向用户提供实时享受所请求的内容，例如直播视频。随着诸如智能电话和平板型PC的终端的广泛普及，越来越需要使用各种终端装置来随时随地欣赏流媒体内容。为了满足这种需求，用于根据用户的终端装置的能力或通信状态动态地改变要获取的流的技术(例如MPEG-DASH和Http Live Streaming)已引起注意。“ISO-IEC23009-1”提供了“基于HTTP的动态自适应流传输(DASH)”技术。“draft-pantos-http-live-streaming-16”提供了“Http Live Streaming”技术。
根据这些技术，视频数据以时间单位划分为细节片段，并且在称为播放列表的文件中描述用于获取片段之一的URL(统一资源定位符)。接收装置被配置为通过使用播放列表中描述的信息来获取这样的播放列表并获取期望的视频数据。
这里，在播放列表中描述了多个版本的视频数据片段的URL。因此，接收装置可以从播放列表中选择最佳版本的视频数据，并根据接收装置的能力和通信环境获取所选择的视频数据片段。
PTL 1公开了一种技术，用于通过应用与描述URL的播放列表相关的技术来分发关于用户在视频数据中注重的区域的视频数据，接收装置可以从该URL获取相应的视频数据片段。视频数据中的注重区域(focused region)被称为关注的区域(Region Of Interest)(以下称为“ROI”)。更具体地，根据PTL 1，可以将视频数据预先划分为瓦片形区域，并且可以分发整个视频的数据和示出用户在整个视频的数据中注重的对象的ROI的数据。
因为要分发的视频数据中所示的对象的数量和位置可能以时间序列的方式改变，所以难以在分发视频数据之前预先指定包括目标对象的区域作为ROI。
引用列表
专利文献
[PTL 1]
英国专利GB2505912B
发明内容
本发明的一个方面提供了一种通信装置，所述通信装置包括：识别单元，其被构造为识别在视频图像内具有对象的对象区域；生成单元，其被构造为生成包括与由识别单元识别的一个或更多个对象区域相对应的一个或更多个对象的一个标识符或多个标识符的元数据片段；发送单元，其被构造为将由生成单元生成的元数据片段发送到其他通信装置；以及供应单元，其被构造为将与在所述其他通信装置接收元数据片段中所选择的对象相对应的对象区域的视频片段供应给所述其他通信装置。
根据下面参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
附图说明
[图1]图1是示出根据实施例的图像分发系统的构造图。
[图2]图2是示出根据实施例的发送装置的功能构造的框图。
[图3]图3是示出根据实施例的接收装置的功能构造的框图。
[图4A]图4A示出了根据实施例的要显示的视频图像的具体示例。
[图4B]图4B示出了根据实施例的要显示的视频图像的具体示例。
[图5]图5示出了根据实施例的播放列表的具体示例。
[图6]图6示出了根据实施例的播放列表的具体示例。
[图7]图7示出了根据实施例的元数据的具体示例。
[图8]图8示出了根据实施例的元数据的具体示例。
[图9]图9示出了根据实施例的播放列表的具体示例。
[图10]图10示出了根据实施例的由发送装置进行的处理的具体示例。
[图11]图11示出了根据实施例的由接收装置进行的处理的具体示例。
[图12]图12示出了根据实施例的由接收装置进行的处理的具体示例。
[图13A]图13A示出了用户界面单元的具体显示示例。
[图13B]图13B示出了用户界面单元的具体显示示例。
[图14]图14是示出发送装置与接收装置之间的通信的序列图。
[图15]图15是示出发送装置与接收装置之间的通信的序列图。
[图16]图16示出了根据实施例的单元的硬件构造的示例。
具体实施方式
下面将参照附图详细地描述本发明的实施例。下面将描述的实施例是用于实施本发明的示例，并且应该根据应用本发明的装置的构造并根据应用本发明的条件进行修改或改变。并不意味着本发明限于以下实施例。
在根据实施例的通信系统中，视频数据发送装置通过信息播放列表通知接收装置，通过该播放列表可以识别作为视频数据中的注重区域(ROI)的候选的对象(例如，作为坐标信息的位置信息和尺寸信息)。接收装置提示用户从ROI候选中选择目标ROI，将所选择的ROI中的对象通过其识别的信息发送到发送装置，并使发送装置分发包括所选择的ROI的视频片段。能够识别对象的信息可以是例如能够基于对象的名称或ID绝对地识别对象的信息，或者可以是能够相对地识别对象的信息，例如，列表中的第三项。如果使用的坐标信息可以是关于能够通过其识别对象的对象的绝对坐标的信息，或者可以是关于对象在画面或视频图像上的相对位置的信息。
实施例的系统的整体构造
图1示出了根据实施例的分发视频数据的通信系统的整体构造。根据本实施例的发送装置101(通信装置)通过网络103连接到接收装置102(通信装置)。虽然图1仅示出了一个发送装置101和一个接收装置102，但是通信系统可以包括多个发送装置101和多个接收装置102。
发送装置101是被构造为根据本实施例分发视频数据的发送装置。发送装置101具体可以是例如照相机装置、摄像机装置、智能电话装置、PC装置或蜂窝电话，其满足将在下面描述的其功能构造的要求，并且可以不限于以下示例装置。
接收装置102是被构造为根据本实施例接收视频数据的接收装置。接收装置102具体可以是例如智能电话装置、PC装置、电视、或蜂窝电话，其满足将在下面描述的其功能构造的要求，并且可以不限于以下示例装置。
网络103是可用于根据本实施例分发视频数据的网络，并且可以是能够发送视频数据的任何网络。例如，可以使用有线LAN(局域网)或无线LAN(无线LAN)。例如，网络103可以是但不限于LTE(长期演进)或3G WAN(广域网)。可选地，网络103可以是PAN(个人区域网络)，例如蓝牙(注册商标)或Zigbee(注册商标)。
发送装置101的功能构造
图2示出了根据本实施例的发送装置101的功能构造。根据本实施例的发送装置101包括摄像单元201、视频区域划分单元202、对象识别单元203、视频区域识别单元204、片段生成单元205、播放列表生成单元206和通信单元207。
摄像单元201被构造为拍摄图像并输出视频数据。视频区域划分单元202被构造为对由摄像单元201拍摄的视频数据进行区域划分并对它们进行编码。结果，视频区域划分单元202输出区域划分并编码的视频数据。视频区域划分单元202具有在区域划分之前对整个视频数据进行编码的功能。虽然图2示出了摄像单元201配设在发送装置101内，但是摄像单元201可以配设在发送装置101的外部，并且可以将视频数据提供给发送装置101。将描述数据由HEVC(高效视频编码)编码的示例。然而，本发明的实施例不限于此。例如，可以替代地使用诸如H.264、MPEG2(运动图像专家组阶段2)等的任何编码方法。
在由视频区域划分单元202编码的视频数据中，对象识别单元203识别视频数据中所示的ROI候选的可能对象。要由对象识别单元203执行的对象识别方法是这样一种方法，通过该方法可以同时识别视频数据中所示的多个对象，并且输出视频数据中的各个对象的位置信息(坐标信息和尺寸)作为识别结果。对象识别单元203可以配设在发送装置101的外部。外部配设的对象识别单元203可以从发送装置101接收编码的视频数据，并且可以将作为对视频数据中的对象进行识别的结果的位置信息(坐标信息和尺寸)发送给发送装置101。
视频区域识别单元204可以使用作为对由对象识别单元203识别的对象进行识别的结果的位置信息(坐标信息和尺寸)，来从作为视频区域划分单元202进行的划分的结果的视频区域识别，包括对象的视频区域(在下文中，称为“对象区域”)。
片段生成单元205被构造为生成视频片段和元数据片段。视频片段是包括由视频区域识别单元204识别的视频区域(对象区域)和整个视频数据的数据。片段生成单元205可以生成包括对象区域的视频片段作为视频片段。
另一方面，元数据片段是包括关于播放列表的属性信息和对象的视频中的坐标信息的数据。关于播放列表的属性信息可以包括例如关于对象数量和视频数据带的信息。元数据片段可以被称为坐标片段，因为它包括坐标信息。
元数据片段可包括关于对象的位置信息。如上所述，位置信息可以包括关于视频数据中的对象的坐标信息和对象的尺寸。如果信息涉及对象的位置，则可以应用任何信息，并且，例如，该任何信息可以包括关于对象的轮廓线的信息，关于对象的顶点的坐标信息，或者关于对象的方向的信息。如上所述，元数据片段中的坐标信息可以是绝对坐标或相对坐标。
根据本实施例的视频片段可以具有诸如ISOBMFF(基本媒体文件格式)的文件格式。然而，不限于此，文件格式可以是诸如MPEG2TS(MPEG2传输流)的格式。
播放列表生成单元206(第三生成单元)生成描述URL的播放列表(其将被称为“资源标识符”或“访问标识符”)，其能够访问由片段生成单元205生成的视频片段或元数据片段。根据本实施例，URL(资源标识符)用作用于访问视频片段的标识符。然而，其他标识符或链接信息可以用于访问视频片段。
通信单元207被构造为响应于来自接收装置102的请求，通过网络103将所生成的播放列表和片段(视频片段和元数据片段)发送到接收装置102。
标识符可以是在MPEG-DASH中定义的MPD(媒体呈现描述)作为播放列表格式。根据本实施例，使用MPD作为示例。然而，如果其具有等同于MPD的功能，则可以使用诸如“http直播流”中的播放列表描述方法的任何格式。
接收装置的功能构造
图3是根据本实施例的接收装置102的功能构造。
根据本实施例的接收装置102包括显示单元301、解码单元302、片段分析单元303、播放列表分析单元304、获取片段确定单元305和通信单元306。接收装置102还包括用户界面单元307和获取对象确定单元308。
显示单元301被构造为显示由解码单元302解码的视频片段，并且基于元数据片段显示由片段分析单元303分析的元数据。显示单元301可根据需要在视频片段内显示ROI。解码单元302被构造为对从片段分析单元303输出的视频比特流进行解码，并供应给显示单元301并使显示单元301显示解码的视频片段。
片段分析单元303被构造为分析从通信单元306输出的视频片段和元数据片段。片段分析单元303将通过分析视频片段而获取的视频比特流输出到解码单元302。片段分析单元303分析元数据片段以获取关于对象的坐标信息和关于播放列表的属性信息。关于对象的获取坐标信息被输出到显示单元301和获取对象确定单元308。另一方面，所获取的关于播放列表的属性信息被输出到播放列表分析单元304。
播放列表分析单元304被构造为分析从通信单元306输出的播放列表。播放列表分析单元304还被构造为通过使用关于从元数据片段(该元数据片段从片段分析单元303输出)获取的播放列表的属性信息来部分地更新播放列表。
获取对象确定单元308被构造为基于从用户界面单元307通知的用户输入和关于从片段分析单元303输出的对象的坐标信息，确定要获取其视频的对象作为用户所注重的ROI。
获取的片段确定单元305基于由获取对象确定单元308确定的对象和从用户界面单元307输出的用户输入，确定包括ROI中的对象的要获取的视频片段及针对视频片段的获取定时。关于要获取的确定的片段的信息和获取定时被输出到通信单元306。
通信单元306被构造为通过网络103向发送装置101请求播放列表和片段(视频片段和元数据片段)，并接收播放列表和片段(视频片段和元数据片段)。如上所述，播放列表可以是包括URL的数据，该URL是视频片段的访问标识符。可选地，播放列表可以是包括URL的数据，该URL是元数据片段(坐标片段)的访问标识符。
用户界面单元307被构造为接收用户输入并将所选对象作为ROI通知给获取对象确定单元308。根据本实施例，用户界面单元307可以是触摸面板。然而，不限于此，用户界面单元307可以是鼠标、键盘、音频输入或其他类型的输入。
要显示的视频图像的具体示例
图4A和图4B示出了根据本实施例要显示的视频图像的具体示例。图4A示出了对其进行区域划分之前的整个视频图像401。图4B示出了整个视频图像401如何经历区域划分。
图4B示出虚线，各个虚线表示划分后的视频图像402中的划分区域之间的边界。根据本实施例，假设识别出对象406a、407a和408a，它们分别存在于整个视频图像401中的由框406、407和408定义的三个区域中。应该注意，对象的数量不限于三个，而是可以等于或高于零。
在包括对象的区域被估计为ROI并且ROI的视频数据将仅由接收装置102显示的情况下，包括ROI对象的划分区域403、404和405可以仅从发送装置101获取。
在要在接收装置102中显示对象406a的ROI的情况下，可以获取并且直接显示与划分区域403相对应的视频片段。可选地，可以从划分区域403中提取ROI中的对象部分409并且可以显示该对象部分409。
播放列表的具体示例
参照图5和图6，将描述根据本实施例的播放列表的具体示例。图5和图6分别示出了播放列表501和510，它们是基于MPEG-DASH中定义的MPD格式的实际描述示例。根据本实施例，例如，应用MPD格式。然而，本发明的实施例不限于此，而是可以应用在HLS(HTTP直播流)或其他播放列表中定义的等同播放列表。播放列表501和510中的各个是播放列表示例，该播放列表示例使得能够以两种类型的比特率将流分发到多个对象。应当注意，尽管在本实施例中比特率的类型的数量是两个，但是本发明的实施例不限于此。可以应用三种或更多种类型的比特率。提供了一种方法，其使用如模板502中的符号“$”来模拟图5中的MPD格式的播放列表内的字符串。
本实施例提出了动态模板，该模板是该方法的扩展。动态模板是通过包括在关联元数据流中的值来替换播放列表501或510内的部分属性信息的机制，使得可以动态地更新播放列表中的属性信息(视频片段信息)。
因此，可以关联播放列表中的视频片段和元数据片段(坐标片段)。
根据本实施例，图5示出了动态模板503至505，图6示出了动态模板511至514。
根据本实施例，符号“！”放在动态模板中值可以被替换的部分周围。然而，本发明的实施例不限于该符号，并且可以使用其他符号。动态模板(例如503至505)可以由元数据流内定义的值动态替换。例如，动态模板503中的“！ObjectID！”可以通过使用表示关联元数据流的表示508内的信息来更新。根据本实施例的播放列表生成单元206(第三生成单元)生成具有可以基于元数据片段的信息更新的内容的播放列表。
可以以下面的方式识别用于更新动态模板(例如503到505)的表示(例如508)。例如，表示由播放列表501中的AssociationID(下文中称为“AID”)和AssoiciationType(下文称为“AType”)标识。AID＝'Rm'和AType＝'dtpl'被描述为表示506和507的表示属性。这可以表达作为动态模板与表示508中的元数据流的关系(具有ID'Rm')。Atype信息是关于视频片段与元数据片段(坐标片段)之间的关系的信息。这可以将元数据流(元数据片段集)与视频片段相关联。
根据本实施例，dtpl'被给出为表示动态模板的AType。然而，本发明的实施例不限于此，而是可以使用其他字符串作为指示动态模板的AType。
接下来，将参照播放列表501描述使用动态模板的具体方法。在播放列表501中，周围具有符号“！”的“！ObjectID！”和“！ObjectBW！”属性用表示ID'Rm'指示的表示更新(下文称为“表示Rm”)。例如，可以通过基于关于模板509的信息和关于BaseURL的信息将其请求到<BaseURL>/Rm-t.mp 4的URL来获取时间t处的表示Rm。
图7和图8示出了响应于该请求而获取的流内的元数据示例。根据本实施例，图7和图8示出了元数据描述示例。然而，本发明的实施例不限于此，而是可以使用诸如XML(可扩展标记语言)和二进制XML的其他格式来进行描述。元数据可以用诸如JSON(JavaScript(注册商标)Object Notation)的数据描述语言来描述。
首先，将描述图7中的元数据515。元数据515中对行516的描述描述了存在ObjectID＝1，ObjectID＝2和ObjectID＝3的三个ObjectID。这意味着在时间t处的视频中的三个对象被识别并被定义为ROI候选。根据本实施例，ObjectID＝0表示分割之前的整个视频图像。因此，可以在不需要向元数据515添加描述的情况下分发整个视频图像。可选地，可以在播放列表501内单独描述示出整个视频图像的流作为其他自适应集，而不使用动态模板。
例如，行517描述了存在两种类型的流带宽，其具有由ObjectID＝1指示的对象作为ROI，从中可以理解，行517具有两种类型的值。这些值(带宽)可用于将播放列表中的动态模板503到505中的“！ObjectID！”和动态模板504和505中的“！ObjectBW！”更新到时间t处的值。例如，对应于时间t处的ObjectID＝1的ROI中的视频流可以通过向其请求<BaseURL>/1/1_low(or mid)/t.mp 4的URL来获取。当时的带宽对于1_low为1000000，对于1_mid为2000000。尽管仅根据本实施例描述了特定时间t处的信息，但是可以在一个元数据片段内描述多次的信息。在这种情况下，例如，可以使用“$Number$”代替“$Time$”作为要在模板502和509中使用的参数。
通过以上述方式使用元数据片段515，可以更新时间t处的对象的数量和具有作为ROI的对象的流的带宽。因此，可以在不更新播放列表本身的情况下获取ROI的视频流。
然而，仅从图7中的元数据515，哪个ObjectID对应于画面内的哪个对象。因此，在本实施例中，对象的画面内的坐标信息被添加为如图8所示的元数据518中的元数据。参照图8，通过如在行519中一样使用w作为对象的宽度和h作为对象的高度来描述坐标信息，其中，画面内的左上端是原点，x是时间t处的对象的水平位置，y是垂直位置，W是整个画面的宽度，并且H是高度。因此，各个对象的ObjectID可以与接收装置102中的画面内的对象相关联。
该值可用于处理在图9中的播放列表520中的动态模板521中指示的“urn:mpeg:dash:srd:2014”方案中定义的属性值作为动态模板，并且可以使用元数据流更新动态模板。
应当注意，如图6所示，所有元数据可能不必分发在一个元数据流中，但是可以被分成多个元数据轨道用于分发。在图6中的播放列表510中，第一元数据流可以在与图8中所示的行519相对应的对象的画面内存储坐标信息。然后，在图6中的播放列表510中的第二元数据流可以存储关于与图7中所示的行516和517相对应的要使用的对象的数量和带宽的信息。
由于该描述，接收装置102可以选择性地获取目标对象的坐标信息。在这种情况下，元数据流与要用于动态模板解决方案的视频流之间的关系可以通过使用dtpl'作为AType来表示，如上面的示例一样。换句话说，描述用于动态模板解决方案的关系的信息是用AType定义的信息。
另一方面，元数据流与包括坐标信息的视频流之间的关系可以通过使用'rois'作为AType来表示，如图6中的播放列表510中那样。结果，接收装置102可以掌握视频流与元数据流之间的关系。尽管这里使用“rois”来指示元数据流与包括坐标信息的视频流之间的关系，但是本发明的实施例不限于此。可以使用其他字符串作为指示坐标信息的AType。
发送装置101中的处理
接下来，参照图10，将描述根据本实施例的发送装置101要执行的处理。
如图10所示，要由发送装置101执行的处理可以主要被构造为两种类型的任务。一种类型的任务是用于处理播放列表或片段数据的任务600，而另一种类型的任务是用于处理从接收装置102发送的请求的任务602。任务构造是根据本实施例的发送装置101的处理构造的示例，但是可以执行单一类型的任务或许多类型的任务。
任务600包括记录区域划分视频604、生成播放列表606、识别对象608、记录元数据610、片段数据611和片段视频612的处理。
图2中的视频区域划分单元202将由摄像单元201获取的视频数据编码成可区域划分的形式，并记录它们以执行记录区域划分视频604。与记录区域划分视频604并行或基本上同时，播放列表生成单元206执行生成播放列表606。通过进行处理，任务600生成如图5、图6和图9所示的播放列表501,510和520。
接下来，对象识别单元203获取视频数据内的对象的数量及其对应的坐标信息，以执行识别对象608。此外，视频区域识别单元204根据包括对象的视频区域的数量计算包括对象的视频数据的带宽，并将信息记录在发送装置101中的记录设备中以执行记录元数据610。
片段生成单元205将这样记录的元数据(例如515和518)分割为mp4片段以执行片段数据611。根据本实施例，视频数据被分割为例如mp4片段。然而，视频数据可以被分割为MPEG2TS。不限于此，可以通过任何编码方法对片段进行编码。mp4表示在MPEG-4第14节中提供的文件格式，它是运动图像压缩编码标准。
片段处理单元205与任务600内的处理的执行并行地或随后地连续执行片段视频612。更具体地，片段生成单元205将区域划分视频数据作为单独的轨道存储在不同的mp 4片段(或MPEG2TS)中，以执行片段视频612。
另一方面，任务602包括发送播放列表614、发送元数据片段616、解析objectID618、基于对象的重新分割622和发送视频624的处理。
图2中的通信单元207一直监视来自接收装置102的播放列表请求，并且响应于播放列表请求，将由生成播放列表606生成的播放列表发送到接收装置102以执行发送播放列表614。以相同的方式，通信单元207一直监视来自接收装置102的分割请求，并且响应于元数据分割请求，将由片段数据611记录的元数据片段发送到接收装置102。因此，通信单元207执行包括在任务602中的发送元数据片段616。
通信单元207一直监视来自接收装置102的分割请求。响应于视频片段请求，请求解析objectID 618以分析所请求的视频片段对应于哪个对象。
基于对象的重新分割622生成视频片段，从该视频片段提取与包括所请求的对象的视频区域相对应的轨道。
生成的视频片段(包括ROI的视频片段)通过通信单元207发送到接收装置102。发送处理对应于发送视频624。
这里，响应于对象从画面消失后请求的对象的视频片段和元数据片段的请求，将错误通知给接收装置102。可选地，可以发送整个视频图像而不是视频片段。
接收装置102中的处理
将参照图11和图12描述根据本实施例的接收装置102要进行的处理。接收装置102中的处理主要包括图11和图12中所示的两个任务。一个任务630是用于处理播放列表和片段数据的任务，如图11所示。另一个任务670是用于处理来自用户界面单元307的请求的任务，如图12所示。任务的构造是根据本实施例的接收装置102要进行的处理的构造例，并且可以通过单个任务来实现，或者可以通过许多类型的任务来实现。
首先，将描述图11中所示的任务630。
在请求播放列表632中，接收装置102中的通信单元306将播放列表请求发送到发送装置101。在分析播放列表634中，通信单元306接收从发送装置101发送的播放列表，并且播放列表分析单元304分析接收到的播放列表。
在确定动态模板的存在636中，播放列表分析单元304确定在接收到的播放列表中是否存在任何动态模板。可以通过搜索所接收到的播放列表中的特定字符串来进行对动态模板的存在的确定。根据本实施例，如上所述，符号“！”放入动态模板部分周围。通过搜索该部分的存在，可以确定动态模板的存在。如果确定结果不是动态模板，则处理移至标准DASH656，其中可以进行标准DASH中的MPD分析处理。如果确定结果是存在动态模板，则处理移至确定动态模板的解决方案的存在638。
在确定动态模板的解决方案的存在638中，播放列表分析单元304确定是否存在用于求解动态模板的任何方法。根据本实施例，如上所述，获取基于AType'dtpl'关联的元数据流，以通过使用所获取的元数据流来求解动态模板。这里，如果没有关联的元数据流，则确定不可能解决动态模板。然后，处理移至清除播放列表640。如果存在关联的元数据流，则确定存在用于求解动态模板的方法。然后处理移至请求元数据片段642。在请求元数据片段642中，通信单元306将对元数据片段的请求发送到发送装置101。
在清除播放列表640中，播放列表分析单元304从播放列表中去除与动态模板相关联的部分。之后，处理移至标准DASH 656，其中，进行用于在标准DASH中进行MPD分析的处理。
在分析元数据644中，通信单元306接收元数据片段并分析所接收的元数据片段。
在选择模板参数648中，片段分析单元303使用关于在分析元数据644中分析的元数据片段的信息来选择元数据片段中的值以用作模板中的值(参数)。下面将参照图13A和图13B描述用于选择模板参数的具体方法。
在更新模板650中，播放列表分析单元304使用在选择模板参数648中选择的模板参数来更新播放列表内的动态模板。换句话说，片段分析单元303分析所接收的元数据片段(坐标片段)并确定要在播放列表中更新哪个模板参数。然后，播放列表分析单元304基于如何关于由片段分析单元303确定的元数据片段(坐标片段)更新播放列表来更新播放列表。
在请求视频片段652中，获取片段确定单元305使用播放列表的更新信息来确定视频片段，并将所确定的视频片段作为与用户选择的ROI相对应的视频片段请求到发送装置101。
在解码和重构654中，通信单元306根据请求接收视频片段，并且片段分析单元303从接收到的视频片段中提取比特流。在解码和重构654中，解码单元302对提取的比特流进行解码，并且显示单元301显示解码的比特流。在这种情况下，片段分析单元303可以将对象的数量和坐标信息，通过分析元数据644中的元数据分析处理获取的带信息输出到显示单元301，并且显示单元301可以根据需要显示接收到的信息。
接下来，处理返回到请求元数据片段642，并反复进行处理中的操作。在此之后反复进行包括该处理的图11中的流程图所示的任务，直到视频流结束。
接下来，将描述图12中的流程图中所示的任务670。
在等待用户输入672中，用户界面单元307执行用于等待用户输入的处理。在确定用户输入的存在674中，用户界面单元307确定是否存在任何用户输入。如果没有用户输入，则处理返回到等待用户输入672，其中，再次进行相应的操作。如果存在用户输入，则处理移至分析用户输入676。在分析用户输入676中，用户界面单元307分析用户输入。在反映用户输入678中，用户界面单元307将分析结果反映到接收装置102中的内部处理。
将参照图13A和图13B描述特定用户输入和反映示例。
模板参数选择方法和用户界面
将参照图13A和图13B描述模板参数选择方法和具体用户界面示例。图13A和图13B是示出作为根据本实施例的接收装置102中的用户界面单元307的一个具体示例的触摸板的外观的说明图。图13A和图13B示出了根据本实施例的用户界面单元307的一个具体示例。然而，用户界面单元307不限于此，只要用户界面单元307具有与其等同的功能即可。
图13A示出了在对象选择之前用户界面单元307上的一个显示画面701。图13B示出了在选择对象之后用户界面单元307上的显示画面706。图13A和图13B示出了输入框区域702和加载按钮703，在输入框区域702中可以输入用于播放列表的URL，按下加载按钮703用于向输入框区域702中输入的URL发出获取播放列表的请求。
在确定用户输入的存在674中，如果用户界面单元307检测到对加载按钮703的按下，则分析用户输入676中的用户界面单元307分析用户输入。在反映用户输入678中，用户界面单元307反映分析的结果，并且将对播放列表的请求输入到接收装置102中的内部处理。结果，开始在图11中所示的任务中的请求播放列表632。
在用户在输入框区域702中输入URL的情况下，用户界面单元307显示URL的(候选)列表并且可以提示从显示的(候选)列表中选择目标URL。为了固定URL，可以在输入框区域702中以固定方式显示由用户预先设置(固定)的URL。为了请求仅获取预定URL，用户界面单元307可以不显示输入框区域702。
图13A示出了用于显示视频图像的框704，图13B示出了用于显示视频图像的框707。图13A和图13B示出了可用于设置与用户请求观看的视频图像相对应的时间的滑动条708。用户可以操作滑动条708以选择要观看的整个流的哪个部分。
如果用户界面单元307在分析用户输入676中检测到滑动条708上的操作，则反映用户输入678中的用户界面单元307将操作发送到获取片段确定单元305。结果，在请求视频片段652中，获取片段确定单元305更新所请求的视频片段的时间以反映关于与用户请求观看的视频图像相对应的时间的信息。
已经描述了，在选择模板参数648中，片段分析单元303选择要使用的模板的值(参数)，替代地可以选择参数来表示整个视频图像。在视频的回放开始时，显示整个视频图像而不限制区域，使得用户可以容易地选择用户画面内的对象。在这种情况下，例如，在第一选择模板参数648中，片段分析单元303可以在元数据515中选择用ObjectID＝0指定的信息。
在不使用动态模板将整个视频图像的流描述为其他AdaptationSet的情况下，最初可以简单地获取该其他AdaptationSet。在此时的接收装置102中的处理中，片段分析单元303可以如上所述提取元数据518中的诸如行519的对象的坐标信息，并将提取的坐标信息供应给显示单元301。由于该处理，用户界面单元307可以使显示单元301将对象的坐标信息显示为框710,711和712。
如图13A中的显示示例701所示，显示单元301可以在视频图像上显示具有相同时间信息的视频数据和元数据。利用这样的显示构造，显示单元301可以向用户呈现整个视频图像和包括在整个视频图像中的对象的坐标信息。
在示出由显示单元301呈现给用户的显示示例701的视频图像之后，用户可以在用户界面单元307上选择要注重的对象。因此，如显示示例706所示，可以显示仅示出要注重的对象的视频图像。
例如，在图13A中，选择框710中示出的对象作为用户要注重的对象的情况下，显示包括所选对象的视频图像，如图13B所示。
根据用户选择对象的方法，用户界面单元307可以检测例如由用户操作的触摸输入或鼠标输入，并确定在框710内给出按压。由于在这样的确定中，用户界面单元307可以确定选择了具有与框(例如，710)相对应的ObjectID的对象。根据本实施例，用户给出的触摸输入或鼠标输入是具体的用户输入示例。然而，不限于此，可以通过使用键盘给出输入，或者可以给出音频输入。
如果分析用户输入676中的用户界面单元307检测到对象的选择，则反映用户输入678中的用户界面单元307执行用于反映关于所选对象的信息的处理。根据反映，选择模板参数648中的片段分析单元303确定要选择的参数。例如，在框710内进行通过用户输入的按下的情况下，用户界面单元307获取框704内的框710的相对坐标信息。然后，用户界面单元307将所获取的坐标信息发送给获取对象确定单元308。
获取对象确定单元308可以根据相对坐标信息与ObjectID之间的对应关系及其从由片段分析单元303分析的元数据获取的对应坐标，推导出与在画面上选择的对象相对应的ObjectID。获取对象确定单元308将关于推导的ObjectID的信息供应给获取片段确定单元305。通过该处理，与接收装置102中的处理类似，获取片段确定单元305可以更新动态模板并确定要获取的视频片段。对象选择之后的画面可以如显示示例706那样仅显示所选对象。在这种情况下，要获取的视频数据可以是像划分区域403那样的四个划分区域的组合。所有划分区域403可以被显示，或者，可以显示作为通过使用对象的坐标信息进行裁剪的结果的剪切区域409。
可能存在显示示例701的整个视频图像被显示以从对象选择操作之后的画面显示状态返回到可选择其他对象的状态的情况。在这种情况下，用户可以通过进行用户输入来按压框707内的任意点，或者可以提供可用于返回到整个视频图像的单独按钮以提示用户按压它。为了使用户返回到整个视频图像的显示，可以在选择模板参数648中选择ObjectID＝0以返回到初始状态。
变形例
作为变形例，为了提示用户最初选择要注重的对象，在框704内显示视频之前的接收装置102可以在要由用户观看的视频片段内显示初始帧作为静止图像。可以由接收装置102中的显示单元301执行显示。在这种情况下，通信单元306可以仅从发送装置101获取包括预计要被用户观看的初始帧的视频片段作为要获取的视频片段。通信单元306可以仅从发送装置101获取与预计要被用户观看的初始帧的时间相对应的元数据片段。以与根据本实施例的方法相同的方式，当提示用户进行选择时，可以向发送装置101请求包括所选对象的视频图像。
序列图
参照图14和图15中所示的序列图，将描述根据本实施例的要在发送装置101与接收装置102之间进行的发送和接收的具体示例。
在图12中的分析用户输入676中，用户界面单元307检测用于请求播放列表的用户输入。然后，在反映用户输入678中，用户界面单元307将输入请求反映到接收装置102中的处理，并且开始如图14所示的序列。
在M1中，接收装置102将播放列表请求发送到发送装置101。该处理对应于请求播放列表632中的处理。在M2中，发送装置101将在生成播放列表606中生成的播放列表发送到接收装置102作为播放列表响应，即对播放列表请求的响应。这里，在发送装置101内未完成生成播放列表606并且尚未准备好发送播放列表的情况下，M2中的发送装置101中的通信单元207可能返回错误。
在M3中，接收装置102通过使用接收到的播放列表来进行播放列表分析。这对应于分析播放列表634、确定动态模板的存在636、确定动态模板的解决方案的存在638以及清除播放列表640中的处理。在M4中，接收装置102根据M3中的播放列表分析的结果发送与对应于预计要被用户观看的图像的时间相对应的元数据片段请求。这对应于请求元数据片段642中的处理。
在M5中，发送装置101发送在片段数据611中生成的元数据片段作为元数据片段响应。在M5中，在发送装置101内未完成片段数据611并且尚未准备好发送元数据片段的情况下，发送装置101中的通信单元207可能返回错误。
在M6中，接收装置102可以通过使用接收到的元数据片段来进行元数据分析和模板更新。这对应于分析元数据644、选择模板参数648和更新模板650中的处理。在M7中，接收装置102根据元数据分析和模板更新的结果将与预计要被用户观看的对象和时间相对应的视频片段请求(视频片段分发请求)发送到发送装置101。这对应于请求视频片段652中的处理。
在M8中，发送装置101将在片段视频612中生成的视频片段作为视频片段响应发送到接收装置102。这里，在发送装置101内未完成片段视频612并且尚未准备好发送视频片段的情况下，M2中的发送装置101中的通信单元207可能返回错误。在M9中，接收装置102通过使用接收的视频片段对视频图像进行解码和重构。这对应于解码和重构654中的处理。
在L1中，反复进行从M4到M9的处理。
图15是示出根据模板参数选择方法并且根据本实施例的用户界面单元307的操作的序列图。因为图15中从M1到M8的处理与图14中从M1到M8的处理相同，所以将省略任何重复的描述。图15中的M9中的解码和重构处理与图14中的M9中的处理的不同之处在于，进行对一帧的解码以显示所得到的静止图像。
在M10中，接收装置102中的用户选择对象。在M11中，接收装置102根据用户选择的对象将视频片段请求发送到发送装置101。该处理对应于选择模板参数648、更新模板650和请求视频片段652中的处理。
因为M12和M13中的处理分别与图12中的M8和M9中的处理相同，所以将省略任何重复的描述。
在循环处理L3中反复进行从M11到M13的处理，直到接收到改变所选对象或观看时间的请求。响应于改变所选对象的请求或观看时间T，循环处理L3结束，并且处理返回到循环处理L2。换句话说，处理再次从M4开始并在循环处理L3中反复进行。
根据本实施例，响应于由用户界面单元307接收的用户输入，可以发生改变所选对象或观看时间的请求，如上所述。可选地，当关注的对象从画面消失时可以响应于从发送装置101发送的错误信息而发生请求，或者可以通过接收整个视频图像来触发该请求。
硬件构造例
图16示出了包括前述实施例的单元的计算机810的构造例。例如，图2中所示的发送装置101可以由计算机810构造。图3中所示的接收装置102的部件可以由计算机810构造。
例如，CPU 811可以执行存储在ROM 812、RAM 813和外部存储器814中的程序，以实现前述实施例的部件。ROM 812和RAM 813能够保存由CPU执行的程序和数据。例如，RAM 813可以保持播放列表501和元数据515。
外部存储器814可以由例如硬盘、光盘或半导体存储设备构造，并且可以存储例如视频片段。摄像单元815可以构造摄像单元201。
输入单元816可以构造用户界面单元307。输入单元816可以由键盘和触摸面板构造，或者可以由诸如鼠标和开关等的指示设备构造。
显示单元817可以构造图3中的显示单元301，但是可以由任何其他显示设备构造。通信I/F 818可以是用于外部通信的接口，并且可以构造图2中的通信单元207和图3中的通信单元306。计算机810的这些部件经由总线819彼此连接。
利用前述实施例的构造，可以有效地执行与要在视频数据中分发的关注的区域的分发相关的处理。
其它实施例
还可以通过读出并执行记录在存储介质(也可更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能，和/或包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由系统或装置的计算机例如读出并执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或更多个的功能，并且/或者控制一个或更多个电路以执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质被提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)TM)、闪存装置以及存储卡等中的一个或更多个。
虽然针对示例性实施例描述了本发明，但是，应该理解，本发明不限于公开的示例性实施例。下述权利要求的范围应当被赋予最宽的解释，以便涵盖所有这类修改以及等同的结构和功能。
本申请要求于2016年2月3日提交的日本专利申请第2016-019295号的权益，在此通过引用将其全部并入本文。

Claims (17)

1.一种通信装置，包括：
识别单元，其被构造为识别在视频图像内具有对象的对象区域；
生成单元，其被构造为生成元数据片段，所述元数据片段包括与由识别单元识别的一个或更多个对象区域相对应的一个或更多个对象的一个标识符或多个标识符；
发送单元，其被构造为将由生成单元生成的元数据片段发送到其他通信装置；以及
供应单元，其被构造为将与在接收元数据片段的所述其他通信装置中所选择的对象相对应的对象区域的视频片段供应给所述其他通信装置。
2.根据权利要求1所述的通信装置，其中，元数据片段包括第一识别信息和第二识别信息，该第一识别信息能够被所述其他通信装置用来请求具有从视频图像检测到的第一对象的第一对象区域的视频片段，该第二识别信息能够被所述其他通信装置用来请求具有第二对象的第二对象区域的视频片段。
3.根据权利要求2所述的通信装置，其中，元数据片段包括能够被所述其他通信装置用来请求第一质量的第一对象区域的视频数据的第一识别信息和能够被所述其他通信装置用来请求第二质量的第一对象区域的视频片段的第三识别信息。
4.根据权利要求1所述的通信装置，还包括：
划分单元，其被构造为将视频图像划分为多个划分区域，
其中，识别单元通过将由划分单元进行的划分而得到的划分区域中的各个划分区域处理作为一个单位来识别对象区域。
5.根据权利要求2所述的通信装置，其中，元数据片段包括关于第一对象在视频图像内的位置的第一位置信息和关于第二对象在视频图像内的位置的第二位置信息。
6.根据权利要求2所述的通信装置，其中，元数据片段包括关于视频图像内的第一对象的尺寸的第一尺寸信息和关于视频图像内的第二对象的尺寸的第二尺寸信息。
7.根据权利要求1所述的通信装置，其中，
发送单元还将播放列表发送到所述其他通信装置，所述播放列表包括能够被所述其他通信装置用来请求元数据片段的资源标识符；并且
发送单元响应于来自接收到播放列表的所述其他通信装置的请求，将元数据片段发送到所述其他通信装置。
8.根据权利要求7所述的通信装置，其中，生成单元生成元数据片段和播放列表，使得能够通过使用播放列表中描述的资源标识符和基于在所述其他通信装置中选择的对象的标识符的识别信息的组合来请求与该对象相对应的对象区域的视频片段。
9.根据权利要求1所述的通信装置，其中，元数据片段包括能够被所述其他通信装置用来请求视频图像的完整视频的识别信息。
10.根据权利要求9所述的通信装置，其中，
资源标识符是统一资源定位符(URL)。
11.一种通信装置，包括：
接收单元，其被构造为接收元数据片段，所述元数据片段包括视频图像内的一个或更多个对象的一个标识符或多个标识符；
显示控制单元，其被构造为使显示设备基于由接收单元接收到的元数据片段显示关于所述一个或更多个对象的信息；
选择单元，其被构造为响应于接收到针对显示关于所述一个或更多个对象的信息的显示设备的指令，从所述一个或更多个对象中选择一个或更多个对象；以及
请求单元，其被构造为请求与具有由选择单元选择的所述一个或更多个对象的部分区域相对应的视频片段。
12.根据权利要求11所述的通信装置，其中，
接收单元还接收视频图像；并且
显示控制单元使显示图像显示视频图像和描述视频图像内的所述一个或更多个对象的一个位置或多个位置的信息。
13.根据权利要求11所述的通信装置，其中，
接收单元通过使用资源标识符接收，描述视频片段与元数据片段之间关系的播放列表；并且
请求单元基于播放列表中描述的资源标识符请求与具有所选择的一个对象或多个对象的部分区域相对应的视频片段。
14.一种通信装置的控制方法，所述控制方法包括：
识别在视频图像内具有对象的对象区域；
生成元数据片段，所述元数据片段包括与通过上述识别而识别出的一个或更多个对象区域相对应的一个或更多个对象的一个标识符或多个标识符；
将通过上述生成而生成的元数据片段发送到其他通信装置；以及
将与在接收元数据片段的所述其他通信装置中所选择的对象相对应的对象区域的视频片段供应给所述其他通信装置。
15.一种程序，用于使计算机执行方法，该方法包括：
识别在视频图像内具有对象的对象区域；
生成元数据片段，所述元数据片段包括与通过上述识别而识别的一个或更多个对象区域相对应的一个或更多个对象的一个标识符或多个标识符；
将通过上述生成而生成的元数据片段发送到其他通信装置；以及
将与在接收元数据片段的所述其他通信装置中所选择的对象相对应的对象区域的视频片段供应给所述其他通信装置。
16.一种通信装置的控制方法，所述控制方法包括：
接收元数据片段，所述元数据片段包括视频图像内的一个或更多个对象的一个标识符或多个标识符；
使显示设备基于通过上述接收而接收到的元数据片段显示关于所述一个或更多个对象的信息；
响应于接收到针对显示关于所述一个或更多个对象的信息的显示设备的指令，从所述一个或更多个对象中选择一个或更多个对象；以及
请求与具有通过上述选择而选择的所述一个或更多个对象的部分区域相对应的视频片段。
17.一种程序，用于使计算机执行方法，该方法包括：
接收元数据片段，所述元数据片段包括视频图像内的一个或更多个对象的一个标识符或多个标识符；
使显示设备基于通过上述接收而接收到的元数据片段显示关于所述一个或更多个对象的信息；
响应于接收到针对显示关于所述一个或更多个对象的信息的显示设备的指令，从所述一个或更多个对象中选择一个或更多个对象；以及
请求与具有通过上述选择而选择的所述一个或更多个对象的部分区域相对应的视频片段。
CN201780009846.3A 2016-02-03 2017-01-26 通信装置、通信控制方法和计算机程序 Pending CN108605149A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-019295 2016-02-03
JP2016019295A JP6624958B2 (ja) 2016-02-03 2016-02-03 通信装置、通信システム、通信制御方法およびコンピュータプログラム
PCT/JP2017/002656 WO2017135133A1 (en) 2016-02-03 2017-01-26 Communication apparatus, communication control method, and computer program

Publications (1)

Publication Number Publication Date
CN108605149A true CN108605149A (zh) 2018-09-28

Family

ID=58044119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780009846.3A Pending CN108605149A (zh) 2016-02-03 2017-01-26 通信装置、通信控制方法和计算机程序

Country Status (6)

Country Link
US (2) US20190045269A1 (zh)
EP (1) EP3412030A1 (zh)
JP (1) JP6624958B2 (zh)
KR (1) KR102087533B1 (zh)
CN (1) CN108605149A (zh)
WO (1) WO2017135133A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111698519A (zh) * 2019-03-15 2020-09-22 夏普株式会社 图像解码装置以及图像编码装置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6843655B2 (ja) * 2017-03-09 2021-03-17 キヤノン株式会社 送信装置、受信装置、情報処理方法及びプログラム
CN108366303A (zh) * 2018-01-25 2018-08-03 努比亚技术有限公司 一种视频播放方法、移动终端及计算机可读存储介质
WO2019176590A1 (ja) * 2018-03-15 2019-09-19 ソニー株式会社 情報処理装置、情報処理装置およびプログラム
CN108449623B (zh) * 2018-03-27 2021-07-27 卓米私人有限公司 抓取物体的控制方法、服务器和目标客户端
JP7304508B2 (ja) * 2019-02-19 2023-07-07 株式会社シンクアウト 情報処理システムおよび情報処理プログラム
CN113574903B (zh) 2019-03-14 2023-07-28 诺基亚技术有限公司 针对媒体内容中的后期绑定的方法和装置
US10715871B1 (en) 2019-03-27 2020-07-14 Verizon Patent And Licensing, Inc. Determining an end screen time for displaying an end screen user interface
JP7280495B2 (ja) * 2019-04-01 2023-05-24 日本電信電話株式会社 情報処理システム、コンテンツ生成装置、コンテンツ提示装置、コンテンツ生成方法、コンテンツ提示方法およびプログラム
US10547915B1 (en) * 2019-07-19 2020-01-28 Look At Me, Inc. System and method for optimizing playlist information for ultra low latency live streaming
JP7442302B2 (ja) * 2019-11-22 2024-03-04 キヤノン株式会社 データ処理装置およびその制御方法、プログラム
CN112437318A (zh) * 2020-11-09 2021-03-02 北京达佳互联信息技术有限公司 一种内容显示方法、装置、系统及存储介质
US11902625B2 (en) * 2021-06-29 2024-02-13 Rovi Guides, Inc. Systems and methods for providing focused content
EP4287058B1 (en) * 2022-05-31 2024-04-10 Axis AB A device and a method for signing a metadata frame corresponding to an image frame of a sequence of image frames

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140082054A1 (en) * 2012-09-14 2014-03-20 Canon Kabushiki Kaisha Method and device for generating a description file, and corresponding streaming method
US20140307775A1 (en) * 2013-04-16 2014-10-16 Canon Kabushiki Kaisha Method and device for partitioning an image
CN104782147A (zh) * 2012-10-24 2015-07-15 华为技术有限公司 通信接收器
CN104904225A (zh) * 2012-10-12 2015-09-09 佳能株式会社 用于对视频数据进行流传输的方法和相应装置
CN105191303A (zh) * 2014-02-21 2015-12-23 华为技术有限公司 处理视频的方法、终端和服务器
WO2015198725A1 (ja) * 2014-06-23 2015-12-30 キヤノン株式会社 通信装置、通信方法、及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003111050A (ja) * 2001-09-27 2003-04-11 Olympus Optical Co Ltd 映像配信サーバ及び映像受信クライアントシステム
US8832753B2 (en) * 2008-01-16 2014-09-09 Apple Inc. Filtering and tailoring multimedia content based on observed user behavior
US8621000B2 (en) * 2011-03-23 2013-12-31 Verizon Patent And Licensing Inc. Region of interest streaming
KR20140092211A (ko) * 2013-01-15 2014-07-23 삼성전자주식회사 미디어 컨텐츠 재생 중에 가상 카메라 기능을 수행하는 방법 및 장치
CN104956645B (zh) * 2013-01-16 2018-04-27 华为技术有限公司 自适应流中的url参数插入和添加
CN105122828B (zh) * 2013-04-19 2019-05-10 索尼公司 信息处理装置、内容请求方法以及计算机程序
KR101879519B1 (ko) * 2013-07-29 2018-07-17 코닌클리즈케 케이피엔 엔.브이. 타일 비디오 스트림을 클라이언트에게 제공하는 방법
EP3062522A4 (en) * 2013-10-22 2017-07-05 Sharp Kabushiki Kaisha Display control device, delivery device, display control method, and display control system
US10397666B2 (en) * 2014-06-27 2019-08-27 Koninklijke Kpn N.V. Determining a region of interest on the basis of a HEVC-tiled video stream
JP6324238B2 (ja) * 2014-06-30 2018-05-16 キヤノン株式会社 動画再生装置、動画再生方法及びそのプログラム、動画配信装置、動画配信方法及びそのプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140082054A1 (en) * 2012-09-14 2014-03-20 Canon Kabushiki Kaisha Method and device for generating a description file, and corresponding streaming method
CN104904225A (zh) * 2012-10-12 2015-09-09 佳能株式会社 用于对视频数据进行流传输的方法和相应装置
CN104782147A (zh) * 2012-10-24 2015-07-15 华为技术有限公司 通信接收器
US20140307775A1 (en) * 2013-04-16 2014-10-16 Canon Kabushiki Kaisha Method and device for partitioning an image
CN105191303A (zh) * 2014-02-21 2015-12-23 华为技术有限公司 处理视频的方法、终端和服务器
WO2015198725A1 (ja) * 2014-06-23 2015-12-30 キヤノン株式会社 通信装置、通信方法、及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111698519A (zh) * 2019-03-15 2020-09-22 夏普株式会社 图像解码装置以及图像编码装置

Also Published As

Publication number Publication date
EP3412030A1 (en) 2018-12-12
JP6624958B2 (ja) 2019-12-25
US20190045269A1 (en) 2019-02-07
KR20180105690A (ko) 2018-09-28
JP2017139628A (ja) 2017-08-10
WO2017135133A1 (en) 2017-08-10
KR102087533B1 (ko) 2020-03-10
US20210136455A1 (en) 2021-05-06

Similar Documents

Publication Publication Date Title
CN108605149A (zh) 通信装置、通信控制方法和计算机程序
CN107534796B (zh) 视频处理系统和数字视频分发系统
CN110574387B (zh) 使用机器学习推荐直播流内容
Li et al. Fundamentals of multimedia
US8271553B2 (en) Encoding method and apparatus and decoding method and apparatus
US11350184B2 (en) Providing advanced playback and control functionality to video client
CN108833938A (zh) 用于选取视频封面的方法和设备
CN110192392B (zh) 用于推导复合轨的方法和装置
KR102133207B1 (ko) 통신장치, 통신 제어방법 및 통신 시스템
KR20130118820A (ko) 증강현실 서비스를 위한 미디어 파일의 제공 방법 및 장치
CN109062930A (zh) 一种基于二维码标识视频的方法、装置及系统
US20230164369A1 (en) Event progress detection in media items
CN114051160A (zh) 视频展示方法及装置
CN114173154A (zh) 视频处理方法及系统
CN111869225B (zh) 信息处理装置、信息处理方法及非暂时性计算机可读存储介质
CN104995661B (zh) 用于视觉搜索的直方图映射的基于上下文的编码的方法
CN114731463A (zh) 数据处理设备及其控制方法和程序
CN110140357A (zh) 用于播放代用广告的电子装置及其控制方法
CN111837401B (zh) 信息处理设备、信息处理方法
CN108234065B (zh) 增强现实内容传输方法和系统
WO2024018166A1 (en) Computer-implemented methods of blurring a digital image; computer terminals and computer program products
CN114584806A (zh) 视频源文件的处理方法、视频播放方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180928