CN109845274A - 发送设备、发送方法、接收设备和接收方法 - Google Patents

发送设备、发送方法、接收设备和接收方法 Download PDF

Info

Publication number
CN109845274A
CN109845274A CN201780063699.8A CN201780063699A CN109845274A CN 109845274 A CN109845274 A CN 109845274A CN 201780063699 A CN201780063699 A CN 201780063699A CN 109845274 A CN109845274 A CN 109845274A
Authority
CN
China
Prior art keywords
image
information
viewing angle
wide viewing
target point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780063699.8A
Other languages
English (en)
Other versions
CN109845274B (zh
Inventor
塚越郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN109845274A publication Critical patent/CN109845274A/zh
Application granted granted Critical
Publication of CN109845274B publication Critical patent/CN109845274B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明使得能够在接收器之间一致显示宽视角图像内的给定部分图像。根据本发明，发送具有规定格式并包括通过对宽视角图像的动态图像数据进行编码而获得的视频流的容器。关于宽视角图像内设置的目标点的信息插入到视频流中。例如，关于目标点的信息包括关于与水平轴的角度和椭圆相对于参考点的相对半径的信息，该参考点设置在宽视角图像的矩形区域内存在的椭圆的有效图像区域上。此外，例如，当宽视角图像的矩形区域被设置为有效图像区域时，关于目标点的信息包括关于来自成为矩形区域内的参考点的二维相对位置的信息。

Description

发送设备、发送方法、接收设备和接收方法
技术领域
本技术涉及一种发送设备、一种发送方法、一种接收设备和一种接收方法。更具体地，该技术涉及一种发送设备，该发送设备通过对宽视角图像的视频数据进行编码来获得视频流，并发送由此获得的视频流。
背景技术
通过使用支持宽视角的反射镜和透镜拍摄宽视角图像。例如，专利文献1包括对被视为宽视角图像的全向图像的引用。
在发送宽视角图像的视频数据的情况下，图像的要显示的部分随着数据被转换以在接收侧显示的方式而变化。结果，在期望一致地在接收器的侧面上显示宽视角图像中的固定部分的情况下，还没有实现这种显示的方法。
现有技术文献
专利文献
专利文献1：日本专利公开号2009-200939
发明内容
[技术问题]
本技术的一个目的是允许一致地在接收器侧显示宽视角图像中的预定部分。
[问题的解决方案]
根据本技术的一个概念，提供了一种发送设备，包括：发送部，被配置为发送预定格式的容器，该容器包括通过对宽视角图像的视频数据进行编码而获得的视频流；和信息插入部，被配置为将关于设置在宽视角图像中的目标点的信息插入到视频流中。
根据本技术，发送部发送预定格式的容器，该容器包括通过对宽视角图像的视频数据进行编码而获得的视频流。信息插入部将关于设置在宽视角图像中的目标点的信息插入到视频流中。例如，信息插入部可以以对应于与所有图像的编码数据的方式或者以仅对应于GOP的前导图像的编码数据的方式插入关于目标点的信息。在另一示例中，信息插入部可以进一步将关于宽视角图像的矩形区域中的椭圆有效图像区域的信息和关于设置在椭圆有效图像区域中的参考点的信息插入到视频流中。
例如，所述关于目标点的信息包括关于从设置在宽视角图像的矩形区域中的椭圆有效图像区域中的参考点绘制的相对椭圆半径以及关于半径相对于水平轴的角度的信息。在另一示例中，所述关于目标点的信息可以将宽视角图像的矩形区域设置为有效图像区域，并且可以包括关于相对于矩形区域中的参考点的二维相对位置的信息。在这种情况下，参考点可以处于矩形区域的左上角。同样在这种情况下，所述参考点可以是设置在矩形区域中的椭圆有效图像区域中的参考点。
因此，根据本技术，以插入到通过对宽视角图像的视频数据进行编码而获得的视频流中的方式，发送关于设置在宽视角图像中的目标点的信息。以这种方式使用关于目标点的信息，使得可以在接收器侧的宽视角图像中一致地显示预定的部分图像。
根据本技术的另一概念，提供了一种接收设备，包括：接收部，被配置为接收预定格式的容器，该容器包括通过对宽视角图像的视频数据进行编码而获得的视频流。关于将设置在宽视角图像中的目标点的信息插入到视频流中。所述接收设备还包括：处理部，被配置为处理通过解码视频流而获得的宽视角图像的视频数据，以便通过使用关于目标点的信息来显示对应于宽视角图像中的目标点的部分区域的图像。
根据本技术，接收部接收预定格式的容器，该容器包括通过对宽视角图像的视频数据进行编码而获得的视频流。将关于设置在宽视角图像中的目标点的信息插入到视频流中。处理部处理通过解码视频流而获得的宽视角图像的视频数据，以便通过使用关于目标点的信息来显示对应于宽视角图像中的目标点的部分区域的图像。
因此，根据本技术，处理通过解码视频流而获得的宽视角图像的视频数据，以便通过使用插入视频流中的关于宽视角图像中设置的目标点的信息来显示对应于宽视角图像中的目标点的部分区域的图像。这使得可以在接收器侧在宽视角图像中一致地显示预定的部分图像。
在根据本技术的另一示例中，可以提供显示控制部，以显示用户界面屏幕，用于选择多个目标点中的任何一个。所述处理部可以使用关于基于所述用户界面屏幕选择的目标点的信息。这允许用户容易地选择要显示的部分区域的图像。
[发明的有益效果]
本技术使得能够一致地在接收器侧显示宽视角图像中的预定部分图像。应当注意，上述有益效果并不限制本公开。通过阅读本公开，进一步的优点将变得显而易见。
附图说明
[图1]是描述作为本技术的一个实施例的发送/接收系统的典型配置的框图；
[图2]是描述发送设备的典型配置的框图；
[图3]是解释关于在宽视角图像的矩形区域中的椭圆有效图像区域中设置的参考点(RP)的信息的示意图；
[图4]是解释关于在宽视角图像的矩形区域中的椭圆有效图像区域的信息的示意图；
[图5]是解释关于在宽视角图像中设置的目标点(Tp)的信息(类型1)的示意图；
[图6]是解释关于在宽视角图像中设置的另一目标点(Tp)的信息(类型2)的示意图；
[图7]是描述在宽视角图像中设置的目标点(TP)的示例的示意图；
[图8]描述了解释在将关于在宽视角图像中设置的目标点(TP)的信息插入到通过编码宽视角图像的视频数据而获得的视频流中的情况下由接收侧执行的处理的示意图；
[图9]是解释在宽视角图像的矩形区域中存在两个椭圆有效图像区域并且目标点(TP)由类型1信息指定的示例的示意图；
[图10]是解释在宽视角图像的矩形区域中存在两个椭圆有效图像区域并且目标点(TP)由类型2信息指定的示例的示意图；
[图11]是描述在宽视角图像中设置的目标点(TP)的示例的示意图；
[图12]描述了解释在将关于在宽视角图像中设置的目标点(TP)的信息插入到通过编码宽视角图像的视频数据而获得的视频流中的情况下由接收侧执行的处理的示意图；
[图13]是描述在编码方法是HEVC的情况下GOP的前导接入单元的示意图；
[图14]是描述目标点指示SEI消息的结构示例的表格图(1/2)；
[图15]是描述目标点指示SEI消息的结构示例的另一表格图(2/2)；
[图16]是描述关于目标点指示SEI消息的结构示例的基本信息的细节的表格图；
[图17]是描述接收设备的典型配置的框图；
[图18]是描述典型UI屏幕的示意图。
具体实施方式
下面描述用于实现本技术的实施例(称为实施例)。在以下标题下给出该描述：
1.实施例
2.可替代的示例
1.实施例
发送/接收系统
图1描述了作为本技术的一个实施例的发送/接收系统10的典型配置。发送/接收系统10包括发送设备100和接收设备200。
发送设备100通过广播波发送用作容器的发送流TS。发送流TS包括通过对宽视角图像(例如，全向图像)的视频数据进行编码而获得的视频流。关于用于控制宽视角图像中的显示区域的命令的信息插入到该视频流中。关于宽视角图像中设置的目标点的信息插入到视频流中。
以与所有图像的编码数据相对应的方式插入或者以仅与GOP(图像组)的前导图像的编码数据相对应的方式插入关于目标点的信息。该实施例还具有插入发送流ST中的以下信息项：关于宽视角图像的矩形区域中的椭圆有效图像区域的信息以及关于在椭圆有效图像区域中设置的参考点的信息。
例如，目标点信息包括关于从宽视角图像的矩形区域中的椭圆有效图像区域(包括圆)中设置的参考点绘制的相对椭圆半径以及关于半径相对于水平轴的角度的信息。在另一示例中，目标点信息将宽视角图像的矩形区域设置为有效图像区域，并且包括关于相对于在矩形区域中用作参考点的二维相对位置的信息。在这种情况下，用作参考点例如是矩形区域的左上角或矩形区域中椭圆有效图像区域中设置的参考点。
接收设备200接收通过广播波从发送设备100发送的上述发送流TS。如上所述，发送流TS包括通过对宽视角图像的视频数据进行编码而获得的视频流。将关于宽视角图像中设置的目标点的信息插入到该视频流中。
接收设备200通过基于关于用于控制宽视角图像中的显示区域的命令的信息处理通过解码视频流而获得的宽视角图像的视频数据来获得显示图像数据。在命令使得宽视角图像中的多个区域被呈现为选择显示区域的候选的情况下，接收设备200显示用于允许选择多个区域中的一个的用户界面屏幕，并且获得基于用户界面屏幕选择的区域的显示图像数据。因此，用户很容易选择显示区域。
发送设备的配置
图2描述了发送设备100的典型配置。发送设备100包括控制部101、用户操作部101a、显示部101b、宽视角相机102、解码的图像缓冲器(dpb)103、视频编码器104、编码的图像缓冲器(cpb)105、TS格式化器106和发送部107。
控制部101具有CPU(中央处理单元)，该CPU控制运行中的发送设备100的部件。控制部101与构成用户界面的用户操作部101a和显示部101b连接。用户操作部101a使用户能够执行各种输入操作。例如，用户操作部101a允许用户执行在显示部101b上显示的宽视角图像中设置目标点的操作。在另一示例中，用户操作部101a允许用户执行操作，以设置用于控制宽视角图像中的显示区域的命令，即，在这种情况下用于选择确定显示区域的目标点的命令。
宽视角相机102通过捕获目标对象来获得宽视角图像(例如，全向图像)的视频数据VD。如上所述，当要在宽视角图像中设置目标点时，由宽视角相机102获得的宽视角图像的视频数据VD经由控制部101发送到显示部101b，使得显示部101b显示宽视角图像。例如，视频编码器104通过解码的图像缓冲器103接收宽视角图像的视频数据VD的输入，并且通过AVC或HEVC对输入的视频数据VD进行编码，以获得视频流。
此时，如上所述，视频编码器104将关于由操作用户操作部101a的用户设置的目标点的信息插入到视频流中。此处的目标点数至少为1。视频编码器104还将关于宽视角图像的矩形区域中的椭圆有效图像区域的信息以及关于在椭圆有效图像区域中设置的参考点(RP)的信息插入视频流中。视频编码器104以与所有图像的编码数据相对应的方式或者以仅与GOP的前导图像的编码数据相对应的方式插入这些信息项。
下面将解释这些信息中的每一项。首先参考图3解释关于参考点(RP)的信息。设置在宽视角图像的矩形区域中的椭圆有效图像区域中的参考点(RP)表示用作参考的位置，例如，椭圆的中心。在图3中，椭圆有效图像区域存在于宽视角图像的矩形区域中，参考点(RP)设置在有效图像区域中。参考点(RP)的位置由该点距用作原点的矩形左上角的水平距离和垂直距离相对于整个矩形的水平大小和垂直大小的比指定，每个为1(rh％、rv％)。
顺便提及，将位置表示为一系列相对位置，提供了允许与视频分辨率无关的精确位置指定的优点，只要位置是精确预定的。在预先识别视频分辨率的情况下，可以替代地使用像素计数来表示所有位置而不是表示相对位置。
接下来参考图4解释关于椭圆有效图像区域的信息。在这种情况下，椭圆(包括圆)在外矩形内的外形位置如下定义：从基准点(RP)到矩形上特定位置的线段由相对于水平轴的角度θ表示。然后，从参考点(RP)到具有圆或椭圆的交点的线段相对于整个线段的长度之比表示为角度θ的百分比。例如，从水平轴沿角度θ的方向绘制图4中的线段OP。如果线段OP的长度假设为1，则线段OQ表示为比r。
诸如图4所示的椭圆表示为穿过四个点A至D的轨迹，每个点由角度和百分比(θ，r)表示。然后，如下获得椭圆有效图像区域：
A：(0，OA/OS)
B：(90，1(OB/OT＝1))
C：(180，OC/OU)
D：(270，1(OD/OW＝1))
顺便提一下，角度OA、OB、OC和OD不一定要相隔90°。这些元素都可以根据需要指定为相对于水平轴的角度。
接下来，解释关于目标点(TP)的信息。首先参考图5描述类型1信息。在类型1信息的情况下，目标点(TP)由在宽视角图像的矩形区域中的椭圆有效图像区域中设置的参考点(RP)的相对椭圆半径dr和相对于水平轴的角度φ(TP(φ，dr))表示。在此处，角度φ以相对于基准点(RP)处的水平线角度0的逆时针角度表示。相对半径dr表示为相对于直到角度φ处的有效图像区域的端点的距离(相当于半径)1的比。
接下来参考图6解释类型2信息。在类型2信息的情况下，宽视角图像的矩形区域被设置为有效图像区域，并且目标点(TP)由从矩形区域中的参考点开始计数的相对于被视为1的整个矩形的二维相对位置来表示。使用类型2信息是一种有效的方法，其中，有效图像区域不包含在椭圆范围内。
在用作参考的点是矩形区域的左上角的情况下，提供目标点(TP)作为(tx，ty)。当用作参考的点与参考点(RP)(作为RP(rh，rv))重合时，提供目标点(TP)，作为(tx-rh，ty-rv)。在这种情况下，水平位于参考点右侧的目标点(TP)取正值，水平位于参考点左侧的TP取负值。垂直位于参考点下方的目标点(TP)取正值，垂直位于参考点上方的TP取负值。
图7描述了在宽视角图像中设置的目标点(TP)的示例。这是一个示例，其中，每个目标点(TP)由从参考点(RP)绘制的相对椭圆半径dr和相对于水平轴的角度φ来指定。目标点TP1至TP6具有从参考点(RP)绘制的相同的相对椭圆半径dr(作为dr1)。与目标点TP1至TP6不同，目标点TP7具有从参考点(RP)绘制的相对椭圆半径dr(作为dr2)。
图8中的子图(a)描述了通过全景扩展图7所示的宽视角图像而获得的图像。图8中的子图(b)表示全景展开图像中的目标点TP1至TP7的位置。每个目标点由目标ID识别。如图8中的子图(c)所示，通过从由其目标ID识别的目标点中选择期望的目标点，接收侧可以显示与期望的目标点相对应的部分区域，用于图像显示。在这种情况下，以所选择的目标点位于显示中心的方式执行显示。在显示之后，用户可以根据需要执行移动显示区域的操作。
在上述示例中，宽视角图像的矩形区域中仅存在一个椭圆有效图像区域。然而，具有在宽视角图像的矩形区域中存在多个椭圆有效图像区域的情况。在这种情况下，关于参考点(RP)、椭圆有效图像区域和目标点(TP)的信息仍可被认为与上述示例一样适用。
图9描述了宽视角图像的矩形区域中存在两个椭圆有效图像区域的示例。在该示例中，目标点(TP)由类型1信息指定。参考点(RP)设置在每个椭圆有效图像区域中。每个参考点(RP)的位置由该点距用作原点的矩形左上角的水平距离和垂直距离相对于整个矩形的水平大小和垂直大小的比指定，每个比被视为1。在所示的示例中，设置在左侧椭圆有效图像区域中的参考点(RP1)的位置由(rh1％，rv1％)指定，设置在右侧椭圆有效图像区域中的参考点(RP2)的位置由(rh2％，rv2％)指定。
虽然此处没有详细描述，但是每个椭圆有效图像区域都是由轨迹上的四个点按照其角度和百分比来定义的，如上面的示例所示。在宽视角图像的矩形区域中找到的每个目标点(TP)由从TP所属的椭圆的有效图像区域中设置的参考点(RP)绘制的相对椭圆半径dr以及相对于水平轴的角度φ表示。在所示的示例中，目标点(TP1)由从左侧椭圆有效图像区域中设置的参考点(RP1)绘制的相对椭圆半径dr1和相对于水平轴的角度φ1表示。目标点(TP2)由从右侧椭圆有效图像区域中设置的参考点(RP2)绘制的相对椭圆半径dr2和相对于水平轴的角度φ2表示。
图10描述了一个示例，其中，在宽视角图像的矩形区域中有两个椭圆有效图像区域，并且其中，目标点(TP)由类型2信息指定。参考点(RP)设置在每个椭圆有效图像区域中。每个参考点(RP)的位置由该点距用作原点的矩形左上角的水平距离和垂直距离相对于整个矩形的水平大小和垂直大小的比指定，每个比被视为1。在所示的示例中，设置在左侧椭圆有效图像区域中的参考点(RP1)的位置由(rh1％，rv1％)指定，设置在右侧椭圆有效图像区域中的参考点(RP2)的位置由(rh2％，rv2％)指定。
虽然此处没有详细描述，但是每个椭圆有效图像区域都是由轨迹上的四个点按照其角度和百分比来定义的，如上面的示例所示。宽视角图像的矩形区域被设置为有效图像区域，并且每个目标点(TP)由从矩形区域中的参考点开始计数的相对于被视为1的整个矩形的二维相对位置来表示。
在所示的示例中，在用作参考点是矩形区域的左上角的情况下，目标点(TP1)由(tx1，ty1)表示，目标点(TP2)由(tx2，ty2)表示。在用作参考点与参考点(RP)一致的情况下，目标点(TP1)被认为属于左侧的椭圆有效图像区域，由(tx1-rh1，ty1-rv1)表示，目标点(TP2)被认为属于右侧的椭圆有效图像区域，由(tx2-rh2，ty2-rv2)表示。在这种情况下，水平位于用作参考点的右侧的目标点(TP)取正值。水平位于参考点的左侧的目标点(TP)取负值。垂直位于参考点下方的目标点(TP)取正值。垂直位于参考点上方的目标点(TP)取负值。
图11描述了在宽视角图像中设置目标点(TP)的示例。这是一个示例，其中，每个目标点(TP)由从宽视角图像的矩形区域中的参考点开始计数的相对于被视为1的整个矩形的二维相对位置来表示。目标点TP11设置在左侧的椭圆有效图像区域中。此外，目标点TP12和TP13设置在右侧的椭圆有效图像区域中。
图12中的子图(a)描述了通过全景扩展图11中所示的宽视角图像而获得的图像。图12中的子图(b)表示全景展开图像中的目标点TP11至TP13的位置。每个目标点由目标ID识别。如图12中的子图(c)所示，通过从由其目标ID识别的目标点中选择期望的目标点，接收侧可以选择对应于期望的目标点的部分区域，用于图像显示。在这种情况下，以目标点位于显示中心的方式执行显示。在显示之后，用户可以根据需要执行移动显示区域的操作。
返回图2，视频编码器104具体地将新定义的目标点指示SEI消息(Target_point_indication SEI消息)插入到接入单元(AU)的部分“SEI”中，以包括元信息，例如，关于参考点(RP)、椭圆有效图像区域和目标点(TP)的信息。视频编码器104将目标点指示SEI消息插入所有接入单元或仅插入GOP的前导接入单元。
图13描述了编码方法为HEVC时适用的GOP(图像组)的前导接入单元。在HEVC编码方法的情况下，用于解码的SEI消息组“Prefix_SEI”设置在编码图像数据的单元的“片”之前，用于显示的SEI消息组“Suffix_SEI”设置在该片之后。例如，目标点指示SEI消息设置为SEI消息组“Suffix_SEI”。
图14和图15描述了目标点指示SEI消息的结构示例(语法)。图16描述了关于目标点指示SEI消息的结构示例的基本信息(语义)的细节。8位字段“byte_length”表示SEI消息之后的使用字节数的信息大小。
8位字段“pointing_type”表示指定目标点坐标位置的方法的类型。例如，类型“0×01”表示极坐标(类型1)，类型“0×02”表示正交坐标(类型2)。8位字段“number_of_active_area”表示编码区域(即，宽视角图像的矩形区域)中的椭圆有效图像区域的数量。后续字段重复的次数与该字段中指定的次数一样多。
8位字段“area_id”表示用于识别椭圆有效图像区域的识别信息。16位字段“rp_position_h”表示参考点(rp)的水平位置，使用距图像的左上角的图像内相对距离。16位字段“rp_position_v”表示参考点(rp)的垂直位置，使用距图像的左上角的图像内相对距离。16位字段“degree_h”表示椭圆长轴相对于水平轴倾斜的程度。16位字段“degree_v”表示椭圆短轴相对于水平轴倾斜的程度。
16位字段“h_boundary_r”表示从参考点(RP)到椭圆长轴的右边缘边界的距离(由“degree_h”表示)，使用该轴与其到编码目标矩形的交点的延长线的距离之比。16位字段“h_boundary_l”表示从参考点(RP)到椭圆长轴的左边缘边界的距离(由“degree_h”表示)，使用该轴与其到编码目标矩形的交点的延长线的距离之比。
16位字段“v_boundary_t”表示从参考点(RP)到椭圆短轴的顶边边界的距离(由“degree_v”表示)，使用该轴与其到编码目标矩形的交点的延长线的距离之比。16位字段“v_boundary_b”表示从参考点(RP)到椭圆短轴的底边边界的距离(由“degree_v”表示)，使用该轴与其到编码目标矩形的交点的延长线的距离之比。
当“pointing_type”为“0×01”时，存在以下字段：8位字段“target_id”表示用于识别目标点的识别信息。例如，“0”表示俯视整个宽视角的视图。除了“0”之外的任何东西都表示一个单独的视图。16位字段“direction_degree”表示相对于水平轴的角度φ。16位字段“distance_ratio”表示距参考点(PR)的相对半径dr。
当“pointing_type”为“0×01”时，存在以下字段：8位字段“target_id”表示用于识别目标点的识别信息。例如，“0”表示俯视整个宽视角的视图。除了“0”之外的任何东西都表示一个单独的视图。16位字段“relative_h_position”表示相对于用作参考点的相对水平位置。16位字段“relative_v_position”表示相对于用作参考点的相对垂直位置。
返回图2，编码的图像缓冲器(cpb)105暂时存储由视频编码器104生成的视频流。TS格式化器106读取存储在编码的图像缓冲器105中的视频流，将视频流转换成PES包，将PES包转换成发送包，并将包多路复用成发送流TS，以形成多路复用流。发送部107通过广播波上或通过网络以分组的形式将TS格式化器106获得的发送流TS发送到接收设备200。
下面简要解释图2所示的发送设备100的工作原理。由宽视角相机102获得的宽视角图像的视频数据VD经由解码的图像缓冲器(dpb)103提供给视频编码器104。视频编码器104通过AVC或HEVC对视频数据VD进行编码，以获得视频流(编码流)。
此外，视频编码器104在视频流中插入例如关于由用户操作在宽视角图像中设置的目标点的信息、关于宽视角图像的矩形区域中的椭圆有效图像区域的信息、以及关于在椭圆有效图像区域中设置的参考点(RP)的信息。这些信息项以对应于所有图像的编码数据的方式插入，或者以仅对应于GOP中的前导图像的编码数据的方式插入。
具体地，视频编码器104将以下消息插入接入单元(AU)的部分“SEI”中：新定义为包括元信息(例如，关于椭圆有效图像区域和目标点(TP)的信息)的目标点指示SEI消息以及新定义为包括命令信息的目标选择命令SEI消息(参见图13、14和15)。
由视频编码器104生成的视频流暂时存储在编码的图像缓冲器(cpb)105中。TS格式化器106读取存储在编码的图像缓冲器105中的编码流，将编码流转换成PES包，将PES包转换成发送包，并将包多路复用成发送流TS，以形成多路复用流。
TS格式化器106获得的发送流TS发送到发送部107。发送部107通过广播波或通过网络以分组的形式将TS格式化器106获得的发送流TS发送到接收设备200。
接收设备的配置
图17描述了接收设备200的典型配置。接收设备200包括控制部(中央处理单元)201、用户操作部201a、接收部202、TS分析部分203、编码的图像缓冲器(cpb)204、视频解码器205、解码的图像缓冲器(dpb)206、转换器/选择器207、组合部208和显示部209。
控制部201包括CPU(中央处理单元)，其控制运行中的接收设备200的部件。控制部201与构成用户界面的用户操作部201a连接。用户可以对用户操作部201a执行各种输入操作。例如，在接收器侧可以选择性地显示目标区域的情况下，可以通过用户操作部201a指定目标ID来选择性地改变显示图像。
接收部202接收通过广播波或通过网络以分组的形式从发送设备100发送的发送流TS。TS分析部分203从发送流TS中提取由宽视角图像的视频数据VD构成的视频流，并将提取的视频流发送到编码的图像缓冲器(cpb)204。
视频解码器205在由图像的DTS(解码时间戳)提供的解码时间，读取并解码存储在编码的图像缓冲器204中的每个图像的编码图像数据。每个图像的解码图像数据暂时存储到解码的图像缓冲器206中。从解码的图像缓冲器206中，在由图像的PTS(呈现时间戳)提供的时间，读取每个图像的图像数据。这提供了宽视角图像的视频数据VD，将视频数据VD发送到转换器/选择器207。
此外，视频解码器205提取参数集和插入视频流中的SEI消息，并将提取的信息发送到控制部201。如上所述，提取的信息包括插入所有接入单元中或仅插入GOP的前导接入单元中的目标点指示SEI消息(参见图14和15)。
目标点指示SEI消息包括元信息，例如，关于在宽视角图像中设置的目标点(TP)的信息、关于在宽视角图像的矩形区域中的椭圆有效图像区域的信息、以及关于在椭圆有效图像区域中设置的参考点(RP)的信息。如上所述，目标选择命令SEI消息包括关于用于控制选择在接收侧的目标点的命令的信息。控制部201识别关于所有接入单元或仅GOP中的前导接入单元的这些信息项。
转换器/选择器207通过对由解码的图像缓冲器206获得的宽视角图像的视频数据VD执行全景扩展的图像处理来获得全景显示的图像数据。基于宽视角图像的矩形区域中的关于椭圆有效图像区域的信息和例如关于在椭圆区域中设置的参考点(RP)的信息，来执行全景扩展的图像处理，从控制部201中提供该信息。
此外，转换器/选择器207基于来自控制部201的关于目标点(TP)的信息，生成缩略图的数据，指示宽视角图像的内容以及宽视角图像中与目标点(TP)相对应的那些部分区域的图像的内容。转换器/选择器207将这些缩略图的生成数据发送到控制部201。
当用户选择显示图像时，控制部201基于从转换器/选择器207发送的缩略图数据，生成UI显示信号，用于与目标ID相关联地显示宽视角图像的缩略图和对应于目标点的那些部分区域的图像的缩略图。图18描述了典型的UI屏幕。该示例对应于图7中设置的目标点(TP)的示例。用UI屏幕呈现时，用户可以通过用户操作部201a指定目标ID来选择期望的图像，作为显示图像。
控制部201向转换器/选择器207发送指定目标ID的信息。在目标ID未被用户操作指定的状态下，控制部201向转换器/选择器207发送关于预定目标ID的信息，例如，“0”或除“0”之外的最小值。
转换器/选择器207生成用于显示对应于指定目标ID的图像的显示图像数据。例如，在指定目标ID为“0”的情况下，转换器/选择器207根据需要对宽视角图像的图像数据执行诸如像素位置转换和分辨率转换等处理，以生成用于显示宽视角图像的显示图像数据。在另一示例中，在目标ID不是“0”的情况下，转换器/选择器207从全景显示的图像数据中选择性地提取图像数据，用于显示对应于由目标ID指定的目标点的部分区域的图像，以生成显示图像数据。
组合部208组合由转换器/选择器207生成的显示视频信号和由控制部201生成的UI显示信号，并将组合信号发送到显示部209。显示部209包括例如LCD(液晶显示器)或有机EL(电致发光)面板。或者，显示部209可以是连接到接收设备200的外部装置。
在控制部201不生成UI显示信号的状态下，显示部209显示由转换器/选择器207生成的显示视频信号的图像。在控制部201生成UI显示信号的状态下，显示部209显示基于UI显示信号的UI屏幕或与UI显示信号的UI屏幕重叠的显示视频信号的图像。
在转换器/选择器207选择性地从全景显示的图像数据中提取图像数据，用于显示与由目标ID指定的目标点相对应的部分区域的图像，并且显示部区域的图像的状态下，可以通过用户操作部201a的操作向上、向下、向右或向左滚动显示图像。在这种情况下，转换器/选择器207根据用户的操作连续地改变从全景显示的图像数据中提取的区域。
下面简要解释图17所示的接收设备200的工作原理。接收部202接收通过广播波或通过网络以分组的形式从发送设备100发送的发送流TS。发送流TS提供给TS分析部分203。TS分析部分203从发送流TS中提取表示宽视角图像的视频数据VD的视频流，并将提取的视频流发送到编码的图像缓冲器204。
视频解码器205在由图像的DTS(解码时间戳)提供的解码时间，读取并解码存储在编码的图像缓冲器204中的每个图像的编码图像数据。每个图像的解码图像数据暂时存储到解码的图像缓冲器206中。从解码的图像缓冲器206中，在由图像的PTS(呈现时间戳)提供的时间，读取每个图像的图像数据。这提供了宽视角图像的视频数据VD，将视频数据VD发送到转换器/选择器207。
此外，视频解码器205提取参数集和插入视频流中的SEI消息，并将提取的信息发送到控制部201。提取的信息包括目标点指示SEI消息。控制部201相对于所有接入单元或仅GOP中的前导接入单元，识别关于宽视角图像中设置的目标点(TP)的信息、关于宽视角图像的矩形区域中的椭圆有效图像区域的信息以及关于椭圆有效图像区域中设置的参考点(RP)的信息。
转换器/选择器207通过对宽视角图像的视频数据VD执行全景扩展的图像处理来获得用于全景显示的图像数据。
此外，转换器/选择器207生成指示宽视角图像内容的缩略图数据，并且基于来自控制部201的关于目标点(TP)的信息，生成指示对应于目标点(TP)的宽视角图像中的那些部分区域的图像的内容的缩略图数据。转换器/选择器207将缩略图数据发送到控制部201。
当用户选择显示图像时，控制部201基于从转换器/选择器207发送的缩略图数据，生成UI显示信号，用于与目标ID相关联地显示宽视角图像的缩略图和对应于目标点的部分区域的图像的缩略图。UI显示信号经由组合部208提供给显示部209。这使得显示部209显示UI屏幕(参见图18)。通过UI屏幕呈现时，用户可以通过用户操作部201a指定目标ID来选择期望的图像，作为显示图像。
控制部201向转换器/选择器207发送指定目标ID的信息。在目标ID未被用户操作指定的状态下，控制部201向转换器/选择器207发送关于预定目标ID的信息，例如，“0”或除“0”之外的最小值。
转换器/选择器207生成用于显示对应于指定目标ID的图像的显示图像数据。例如，在指定目标ID为“0”的情况下，转换器/选择器207根据需要对宽视角图像的图像数据执行诸如像素位置转换和分辨率转换等处理，以生成用于显示宽视角图像的显示图像数据。在另一示例中，在指定的目标ID不是“0”的情况下，转换器/选择器207从全景显示的图像数据中选择性地提取图像数据，用于显示与由目标ID指定的目标点相对应的部分区域的图像，以生成显示图像数据。
由转换器/选择器207生成的显示图像数据经由组合部208提供给显示部209。这使得显示部209基于显示图像数据来显示图像(即，宽视角图像或者与宽视角图像中的目标点相对应的部分区域的图像)。在显示该图像的状态下，使显示部209显示UI屏幕。基于UI屏幕，通过用户操作部201a指定不同的目标ID，来选择性地改变显示区域。
在显示与宽视角图像中的目标点相对应的部分区域的图像的状态下，通过用户操作部201a的操作，显示图像向上、向下、向右或向左滚动。在这种情况下，转换器/选择器207根据用户的操作连续地改变从全景显示的图像数据中提取的区域。
在图1所示的发送/接收系统10中，如上所述，发送设备100发送通过对宽视角图像的视频数据进行编码而获得的视频流，并且在该视频流中插入关于在宽视角图像中设置的目标点(TP)的信息。因此，使用关于目标点(TP)的信息，使得可以在接收器侧的宽视角图像中一致地显示预定的部分图像。
同样在图1中的发送/接收系统10中，当用户选择显示图像时，接收设备200显示UI屏幕，该UI屏幕将目标ID与对应于目标点的部分区域的图像的缩略图相关联。因此，用户容易选择性地改变显示图像。
2.可替代的示例
虽然上述实施例已经被描述为包括发送设备100和接收设备200的发送/接收系统10，但是这并不限制可以应用本技术的发送/接收系统。例如，接收设备200可以由经由数字界面(例如，HDMI(高清晰度多媒体界面))互连的机顶盒和显示器代替。需要注意的是，“HDMI”是注册商标。
还使用示例解释了上述实施例的容器是发送流(MPEG-2TS)。然而，本技术也可以应用于被配置为使用诸如因特网之类的网络分配给接收终端的系统。在基于互联网分发的许多情况下，使用ISOBMFF(或MP4)或其他格式的容器分发数据。即，适用于本技术的容器是多种多样的，包括数字广播标准中采用的发送流(MPEG-2TS)和用于互联网分发的各种格式(包括ISOBMFF(或MP4))的容器。
当实现时，可以优选地如下配置本技术：
(1)一种发送设备，包括：
发送部，被配置为发送预定格式的容器，容器包括通过对宽视角图像的视频数据进行编码而获得的视频流；和
信息插入部，被配置为将关于设置在宽视角图像中的目标点的信息插入到视频流中。
(2)根据(1)所述的发送设备，其中，关于目标点的信息包括：关于从设置在宽视角图像的矩形区域中的椭圆有效图像区域中的参考点绘制的相对椭圆半径的信息，以及关于半径相对于水平轴的角度的信息。
(3)根据(1)所述的发送设备，其中，关于目标点的信息将宽视角图像的矩形区域设置为有效图像区域，并且关于目标点的信息包括关于相对于矩形区域中的参考点的二维相对位置的信息。
(4)根据(3)所述的发送设备，其中，参考点处于矩形区域的左上角。
(5)根据(3)所述的发送设备，其中，参考点是设置在矩形区域中的椭圆有效图像区域中的参考点。
(6)根据(1)至(5)中任一项所述的发送设备，其中，信息插入部还将有关宽视角图像的矩形区域中的椭圆有效图像区域的信息和关于设置在椭圆有效图像区域中的参考点的信息插入到视频流中。
(7)根据(1)至(6)中任一项所述的发送设备，其中，信息插入部以对应于所有图像的编码数据的方式或者以仅对应于GOP的前导图像的编码数据的方式插入关于目标点的信息。
(8)一种发送方法，包括以下步骤：
使发送部发送预定格式的容器，容器包括通过对宽视角图像的视频数据进行编码而获得的视频流；并且
使信息插入部将关于设置在宽视角图像中的目标点的信息插入到视频流中。
(9)一种接收设备，包括：接收部，被配置为接收预定格式的容器，容器包括通过对宽视角图像的视频数据进行编码而获得的视频流；
其中，将关于设置在宽视角图像中的目标点的信息插入到视频流中；
接收设备还包括：处理部，被配置为处理通过解码视频流而获得的宽视角图像的视频数据，以便通过使用关于目标点的信息来显示对应于宽视角图像中的目标点的部分区域的图像。
(10)根据(9)所述的接收设备，还包括：
显示控制部，被配置为显示用户界面屏幕，用户界面屏幕用于从多个目标点中选择任一个目标点；
其中，处理部使用关于基于用户界面屏幕而选择的目标点的信息。
(11)一种接收方法，包括以下步骤：使接收部接收预定格式的容器，容器包括通过对宽视角图像的视频数据进行编码而获得的视频流；
其中，将关于设置在宽视角图像中的目标点的信息插入到视频流中；
接收方法还包括以下步骤：使处理部处理通过解码视频流而获得的宽视角图像的视频数据，以便通过使用关于目标点的信息来显示对应于宽视角图像中的目标点的部分区域的图像。
本技术的主要特征在于，以插入到通过对宽视角图像的视频数据进行编码而获得的视频流中的方式，发送关于宽视角图像中设置的目标点(TP)的信息。这使得可以在接收器侧的宽视角图像中一致地显示预定的部分图像。
[附图标记列表]
10...发送/接收系统，100...发送设备，101...控制部，101a...用户操作部，101b...显示部，102...宽视角相机，103...解码的图像缓冲器，104...视频编码器，105...编码的图像缓冲器，106...TS格式化器，107...发送部，200...接收设备，201...控制部，201a...用户操作部，202...接收部，203...TS分析部分，204...编码的图像缓冲器，205...视频解码器，206...解码的图像缓冲器，207...转换器/选择器，208...组合部，209...显示部。

Claims (11)

1.一种发送设备，包括：
发送部，被配置为发送预定格式的容器，所述容器包括通过对宽视角图像的视频数据进行编码而获得的视频流；和
信息插入部，被配置为将关于设置在所述宽视角图像中的目标点的信息插入到所述视频流中。
2.根据权利要求1所述的发送设备，其中，关于所述目标点的信息包括：关于从设置在所述宽视角图像的矩形区域中的椭圆有效图像区域中的参考点绘制的相对椭圆半径的信息，以及关于半径相对于水平轴的角度的信息。
3.根据权利要求1所述的发送设备，其中，关于所述目标点的信息将所述宽视角图像的矩形区域设置为有效图像区域，并且关于所述目标点的信息包括关于相对于矩形区域中的参考点的二维相对位置的信息。
4.根据权利要求3所述的发送设备，其中，所述参考点处于所述矩形区域的左上角。
5.根据权利要求3所述的发送设备，其中，所述参考点是设置在所述矩形区域中的椭圆有效图像区域中的参考点。
6.根据权利要求1所述的发送设备，其中，所述信息插入部还将有关所述宽视角图像的矩形区域中的椭圆有效图像区域的信息和关于设置在所述椭圆有效图像区域中的参考点的信息插入到所述视频流中。
7.根据权利要求1所述的发送设备，其中，所述信息插入部以对应于所有图像的编码数据的方式或者以仅对应于GOP的前导图像的编码数据的方式插入关于所述目标点的信息。
8.一种发送方法，包括以下步骤：
使发送部发送预定格式的容器，所述容器包括通过对宽视角图像的视频数据进行编码而获得的视频流；并且
使信息插入部将关于设置在所述宽视角图像中的目标点的信息插入到所述视频流中。
9.一种接收设备，包括：
接收部，被配置为接收预定格式的容器，所述容器包括通过对宽视角图像的视频数据进行编码而获得的视频流；
其中，将关于设置在所述宽视角图像中的目标点的信息插入到所述视频流中；并且
所述接收设备还包括：
处理部，被配置为处理通过解码所述视频流而获得的所述宽视角图像的视频数据，以便通过使用关于所述目标点的信息来显示对应于所述宽视角图像中的所述目标点的部分区域的图像。
10.根据权利要求9所述的接收设备，还包括：
显示控制部，被配置为显示用户界面屏幕，所述用户界面屏幕用于从多个所述目标点中选择任一个目标点；
其中，所述处理部使用关于基于所述用户界面屏幕而选择的所述目标点的信息。
11.一种接收方法，包括以下步骤：使接收部接收预定格式的容器，所述容器包括通过对宽视角图像的视频数据进行编码而获得的视频流；
其中，将关于设置在所述宽视角图像中的目标点的信息插入到所述视频流中；
所述接收方法还包括以下步骤：使处理部处理通过解码所述视频流而获得的所述宽视角图像的视频数据，以便通过使用关于所述目标点的信息来显示对应于所述宽视角图像中的所述目标点的部分区域的图像。
CN201780063699.8A 2016-10-25 2017-10-18 发送设备、发送方法、接收设备和接收方法 Expired - Fee Related CN109845274B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-208350 2016-10-25
JP2016208350 2016-10-25
PCT/JP2017/037764 WO2018079388A1 (ja) 2016-10-25 2017-10-18 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
CN109845274A true CN109845274A (zh) 2019-06-04
CN109845274B CN109845274B (zh) 2021-10-12

Family

ID=62024910

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780063699.8A Expired - Fee Related CN109845274B (zh) 2016-10-25 2017-10-18 发送设备、发送方法、接收设备和接收方法

Country Status (4)

Country Link
EP (1) EP3534611A1 (zh)
JP (1) JP6969572B2 (zh)
CN (1) CN109845274B (zh)
WO (1) WO2018079388A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018079389A1 (ja) * 2016-10-26 2018-05-03 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1554036A (zh) * 2001-07-20 2004-12-08 6115187���ô�˾ 通过矩形形状的图像传感器拍摄全景图像的方法
CN1732690A (zh) * 2002-12-31 2006-02-08 英国电讯有限公司 视频流传输
EP2230836A1 (en) * 2009-03-18 2010-09-22 Samsung Electronics Co., Ltd. Method for Creating Panorama
US20110234640A1 (en) * 2010-03-29 2011-09-29 Sony Corporation Imaging apparatus, image processing apparatus, image processing method, and program
US20140071232A1 (en) * 2011-11-11 2014-03-13 Sony Corporation Image data transmission device, image data transmission method, and image data reception device
US20140245367A1 (en) * 2012-08-10 2014-08-28 Panasonic Corporation Method for providing a video, transmitting device, and receiving device
WO2015197815A1 (en) * 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Determining a region of interest on the basis of a hevc-tiled video stream
WO2016002657A1 (ja) * 2014-07-03 2016-01-07 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
CN105264904A (zh) * 2013-06-19 2016-01-20 Lg电子株式会社 信号发送和接收装置及其控制方法
WO2016056411A1 (ja) * 2014-10-10 2016-04-14 ソニー株式会社 符号化装置および方法、再生装置および方法、並びにプログラム
US20160191798A1 (en) * 2014-12-26 2016-06-30 Kt Corporation Panoramic view customization
CN105843541A (zh) * 2016-03-22 2016-08-10 乐视网信息技术（北京）股份有限公司 全景视频中的目标追踪显示方法和装置
CN106031180A (zh) * 2014-02-18 2016-10-12 Lg电子株式会社 收发用于全景服务的广播信号的方法和设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2530751A (en) * 2014-09-30 2016-04-06 Sony Corp Video data encoding and decoding
GB201502205D0 (en) * 2015-02-10 2015-03-25 Canon Kabushiki Kaisha And Telecom Paris Tech Image data encapsulation

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1554036A (zh) * 2001-07-20 2004-12-08 6115187���ô�˾ 通过矩形形状的图像传感器拍摄全景图像的方法
CN1732690A (zh) * 2002-12-31 2006-02-08 英国电讯有限公司 视频流传输
EP2230836A1 (en) * 2009-03-18 2010-09-22 Samsung Electronics Co., Ltd. Method for Creating Panorama
US20110234640A1 (en) * 2010-03-29 2011-09-29 Sony Corporation Imaging apparatus, image processing apparatus, image processing method, and program
US20140071232A1 (en) * 2011-11-11 2014-03-13 Sony Corporation Image data transmission device, image data transmission method, and image data reception device
US20140245367A1 (en) * 2012-08-10 2014-08-28 Panasonic Corporation Method for providing a video, transmitting device, and receiving device
CN105264904A (zh) * 2013-06-19 2016-01-20 Lg电子株式会社 信号发送和接收装置及其控制方法
CN106031180A (zh) * 2014-02-18 2016-10-12 Lg电子株式会社 收发用于全景服务的广播信号的方法和设备
WO2015197815A1 (en) * 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Determining a region of interest on the basis of a hevc-tiled video stream
WO2016002657A1 (ja) * 2014-07-03 2016-01-07 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
WO2016056411A1 (ja) * 2014-10-10 2016-04-14 ソニー株式会社 符号化装置および方法、再生装置および方法、並びにプログラム
US20160191798A1 (en) * 2014-12-26 2016-06-30 Kt Corporation Panoramic view customization
CN105843541A (zh) * 2016-03-22 2016-08-10 乐视网信息技术（北京）股份有限公司 全景视频中的目标追踪显示方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAMIDREZA HOUSHIAR等: ""Panorama based point cloud reduction and registration"", 《2013 16TH INTERNATIONAL CONFERENCE ON ADVANCED ROBOTICS (ICAR)》 *
何鼎乾: ""全景图像获取和显示技术研究"", 《中国优秀硕士学位论文全文数据库》 *

Also Published As

Publication number Publication date
WO2018079388A1 (ja) 2018-05-03
EP3534611A4 (en) 2019-09-04
JPWO2018079388A1 (ja) 2019-09-12
JP6969572B2 (ja) 2021-11-24
EP3534611A1 (en) 2019-09-04
CN109845274B (zh) 2021-10-12

Similar Documents

Publication Publication Date Title
US11049323B2 (en) Method and apparatus for deriving VR projection, packing, ROI and viewport related tracks in ISOBMFF and supporting viewport roll signaling
CN104584562B (zh) 发送设备、发送方法、接收设备和接收方法
RU2633385C2 (ru) Передающее устройство, способ передачи, приемное устройство, способ приема и способ отображения приема
US10575062B2 (en) Reception apparatus, reception method, transmission apparatus, and transmission method
EP3591977B1 (en) Transmitting apparatus, transmitting method, receiving apparatus, and receiving method
US10848837B2 (en) Device and method for processing high-definition 360-degree VR image
EP3739889A1 (en) Transmission device, transmission method, reception device and reception method
US11800162B2 (en) Transmission device, transmission method, reception device, and reception method
CN109845274A (zh) 发送设备、发送方法、接收设备和接收方法
JP2024015131A (ja) 送信装置、送信方法、受信装置および受信方法
CN108184101B (zh) 处理视频的设备和方法
US20170188034A1 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
CN109565612B (zh) 发送装置、发送方法、接收装置和接收方法
EP3534612B1 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
US20180146219A1 (en) Transmission apparatus, transmission method, image processing apparatus, image processing method, reception apparatus, and reception method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211012