CN110115037A - 球面投影运动估计/补偿和模式决策 - Google Patents

球面投影运动估计/补偿和模式决策 Download PDF

Info

Publication number
CN110115037A
CN110115037A CN201780079476.0A CN201780079476A CN110115037A CN 110115037 A CN110115037 A CN 110115037A CN 201780079476 A CN201780079476 A CN 201780079476A CN 110115037 A CN110115037 A CN 110115037A
Authority
CN
China
Prior art keywords
block
pixels
data
picture
spherical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780079476.0A
Other languages
English (en)
Other versions
CN110115037B (zh
Inventor
J·H·金
周小松
张大忠
袁航
翟杰夫
C·Y·钟
H-J·吴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Computer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Computer Inc filed Critical Apple Computer Inc
Priority to CN202310282812.9A priority Critical patent/CN116248875A/zh
Publication of CN110115037A publication Critical patent/CN110115037A/zh
Application granted granted Critical
Publication of CN110115037B publication Critical patent/CN110115037B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/547—Motion estimation performed in a transform domain

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了基于由要编码的输入画面和作为预测候选项的基准画面的球面域投影所作的预测来预测性地对视频数据进行编码的技术。可生成输入画面和候选基准画面的球面投影。然后，可对要编码的像素块的球面域表示与基准画面的球面域表示之间的匹配执行搜索。在匹配时，可确定像素块的球面域表示与球面域表示中的基准画面的匹配部分之间的偏移。可以将球面域偏移变换为输入画面的源域表示中的运动矢量，并且可参考基准画面的匹配部分的源域表示来预测性地对像素块进行编码。

Description

球面投影运动估计/补偿和模式决策
背景技术
本公开涉及360°视频的编码以实现带宽压缩，具体地讲，涉及使用被设计成处理二维视频数据的压缩算法处理360°视频的技术。
术语“360°视频”是指同时记录在相机的多个方向上(有时在所有方向上)的视图的视频记录。可使用全向相机或相机集合来捕获360°视频，该相机或相机集合从不同但重叠的视场捕获图像数据并且其输出被拼接在一起。可以向360°视频的观看者赋予在回放期间对查看方向的控制，这样允许观看者在视频的视场内导航。
尽管360°视频从三维空间捕获图像信息，但视频数据本身通常由二维格式的图像数据表示。图像数据由布置在两个维度中预先确定的空间位置(例如，x,y位置)处的像素阵列表示。并且，尽管在视场内不同深度处的对象将表示在尺寸不仅对应于对象的物理尺寸而且还与其和相机的距离相对应的图像数据中，但表示对象的像素数据不会按深度改变像素位置。
三维空间的二维表示可导致视场中不同位置的图像数据失真。例如，三维空间中的直线可能在二维图像数据中不会表现为直线。此外，当不同对象在360°图像的视场之内移动时，它们的尺寸和形状可能变得失真。这些变化对操作此类图像数据的处理系统构成挑战。
例如，失真可能在视频编码中引起问题。视频编码器通常通过利用图像数据中的空间和时间冗余来减小图像信号的带宽。然而，由于可能在帧到帧之间产生的失真，对三维图像的二维表示进行操作的视频编码器并不总是检测到此类冗余。当此类视频编码器未能检测到内容中的冗余时，它们常常生成带宽效率不像其能够实现的那样高的图像数据的编码表示。
因此，本发明人认为本领域需要更好地识别三维图像内容的二维表示(诸如360°视频)中的冗余的视频编码系统。
附图说明
图1示出了用于交换360°视频的系统。
图2是根据本公开的一个实施方案的编码系统的功能框图。
图3示出了在本公开的一个实施方案中可针对球面投影执行的示例性变换。
图4示出了在本公开的另一个实施方案中可针对球面投影执行的示例性变换。
图5示出了根据本公开的一个实施方案的编码方法。
图6示出了可由本公开的一个实施方案执行的示例性球面投影。
图7是根据本公开的一个实施方案的编码系统的功能框图。
图8是根据本公开的一个实施方案的解码系统的功能框图。
图9示出了根据本公开的一个实施方案的编码方法。
图10示出了可由本公开的另一个实施方案执行的示例性球面投影。
图11示出了可由本公开的另一个实施方案执行的示例性球面投影。
图12是根据本公开的另一个实施方案的解码系统的功能框图。
图13是根据本公开的另一个实施方案的解码系统的功能框图。
具体实施方式
本公开的实施方案提供了基于由要编码的输入画面和作为预测候选者的基准画面的球面域投影所作的预测来预测性地对视频数据进行编码的技术。可生成输入画面和候选基准画面的球面投影。然后，可对要编码的像素块的球面域表示与基准画面的球面域表示之间的匹配进行搜索。在匹配时，可确定像素块的球面域表示与球面域表示中的基准画面的匹配部分之间的偏移。可以将球面域偏移变换为输入画面的源域表示中的运动矢量，并且可参考基准画面的匹配部分的源域表示来预测性地对像素块进行编码。
图1示出了可采用本公开的实施方案的系统100。系统100可以包括经由网络130互连的至少两个终端110-120。第一终端110可具有捕获360°视频的相机系统112。终端110还可包括编码系统和传输系统(未示出)，以将360°视频的编码表示传输到第二终端120，在该第二终端处可消费编码表示。例如，第二终端120可在本地显示器上显示360°视频，它可执行视频编辑程序以修改360°视频，或可将360°整合到应用(例如，虚拟现实程序)中，可存在于头戴式显示器(例如，虚拟现实应用)中，或者可存储360°视频以供之后使用。
图1示出了适合从第一终端110向第二终端120单向传输360°视频的部件。在一些应用中，可能适合提供视频数据的双向交换，在这种情况下，第二终端120可包括其自身的相机系统、视频编码器和发射器(未示出)，并且第一终端100可包括其自身的接收器和显示器(也未示出)。如果希望双向交换360°视频，则可复制下文论述的技术以生成一对独立的360°视频单向交换。在其他应用中，允许在一个方向(例如，从第一终端110到第二终端120)传输360°视频并且在反向方向上传输“平坦”视频(例如，来自受限视场的视频)。
在图1中，第二终端120被示为计算机显示器，但本公开的原理不受此限制。本公开的实施方案可应用于膝上型计算机、平板电脑、智能电话、服务器、媒体播放器、虚拟现实头戴式显示器、增强现实显示器、全息图显示器和/或专用视频会议设备。网络130代表在终端110-120之间输送经编码的视频数据的任意数量的网络，包括例如有线通信网络和/或无线通信网络。通信网络130可在电路交换信道和/或分组交换信道中交换数据。代表性网络包括电信网、局域网、广域网和/或互联网。出于本论述的目的，除非下文作出解释，否则网络130的架构和拓扑结构对本公开的操作是无关紧要的。
图2是根据本公开的一个实施方案的编码系统200的功能框图。系统200可包括相机系统210、图像处理系统220、视频编码器230、视频解码器240、基准画面存储库250、预测器260和一对球面变换单元270、280。相机系统210可生成将局部环境表示为所谓“360°图像”的图像数据，该图像数据包含围绕相机系统210在所有方向上延伸的视场的图像数据。图像处理系统220可根据需要转换来自相机系统210的图像数据以适应视频编码器230的要求。视频编码器230通常可通过利用图像数据中的空间和/或时间冗余来生成其输入图像数据的编码表示。视频编码器230可输出输入数据的编码表示，该编码表示在传输和/或存储时比输入数据消耗更少的带宽。
视频解码器240可反转由视频编码器230执行的编码操作，以从经编码的视频数据获得重建画面。通常，视频编码器230所应用的编码过程是有损过程，这导致重建画面在与原始画面比较时具有各种误差。视频解码器240可重建被指定为“基准画面”的选定编码画面的画面，并将经解码的基准画面存储在基准画面存储库250中。在不存在传输误差的情况下，解码的基准画面将复制解码器(图2中未示出)所获得的经解码的基准画面。
预测器260可在编码新输入画面时为其选择预测基准。对于被编码输入画面的每个部分(为了方便起见称为“像素块”)，预测器260可选择编码模式并识别基准画面中可充当被编码像素块的预测基准搜索的一部分。编码模式可为帧内编码模式，在这种情况下，可从被编码画面的先前编码(和解码)部分绘制预测基准。另选地，编码模式可以是帧间编码模式，在这种情况下，可从另一先前编码和解码的画面绘制预测基准。在一个实施方案中，预测器260可搜索对已被变换为球面投影表示的输入画面和基准画面进行操作的被编码画面的预测基准。球面变换单元270、280可将输入画面和基准画面变换为球面投影表示。
当标识出适当的预测基准时，预测器260可在视频编码器230接受的表示中向视频编码器230提供预测数据。通常，存储在基准画面存储库中的一个或多个基准画面将为视频编码器所接受的格式。
如所指出的，由视频编码器230输出的编码视频数据在传输和/或存储时应消耗小于输入数据的带宽。编码系统200可将编码视频数据输出到输出设备290，诸如发射器(未示出)，该发射器可跨通信网络130(图1)或存储设备(也未示出)诸如电子存储介质、磁性存储介质和/或光学存储介质传输编码视频数据。
图3示出了在第一实施方案中可由图2的球面变换单元270、280执行的示例性变换。在此实施方案中，相机系统110(图2)可执行360°捕获操作310并输出具有M×N个像素的尺寸的等长矩形画面320。等长矩形画面320可代表被沿着将圆柱形视场划分成数据的二维阵列的切片312分割的360°视场。在等长矩形画面320中，切片312任一侧的像素代表相邻图像内容，即使它们出现在等长矩形画面320的不同边缘上。
球面变换单元270可根据诸如以下的变换，将等长矩形画面320之内的位置(x,y)处的像素数据变换为沿球面投影330的位置
θ＝x+θ0和 (方程1)
其中 (方程2)
θ和分别代表球面投影330中某个位置的经度和纬度，θ0、代表球面投影330的原点，并且x和y代表等长矩形画面320中源数据的水平坐标和垂直坐标。
当应用该变换时，球面变换单元270可变换沿等长矩形画面320的预先确定的行的每个像素位置，以在球面投影330中的赤道纬度处具有唯一的位置。在此类区域中，球面投影330中的每个位置可被分配以来自等长矩形画面320的对应位置的像素值。在其他位置处，特别是朝向球面投影330的极，球面投影单元270可将若干源位置从等长矩形画面320映射到球面投影330中的公共位置。在此类情况下，球面投影单元270可以从等长矩形画面320中的对应像素值的混合(例如，通过对等长矩形画面320的对应位置处的像素值求平均值)来导出针对球面投影330中的位置的像素值。
图4示出了在另一个实施方案中可由图2的球面变换单元270、280执行的示例性变换。在此实施方案中，相机系统110(图2)可执行360°捕获操作410并输出具有M×N个像素的尺寸的画面420，其中根据立方体地图布置图像内容。图像捕获410可在预先确定的数量的方向(通常为六个)中的每个中捕获图像数据，这些方向根据立方体地图布局被拼接在一起。在图4示出的实施例中，可根据相应视图之间的图像内容的“接缝”捕获并在立方体地图画面420之内布置对应于左视图411、前视图412、右视图413、后视图414、顶视图415和底视图416的六个子图像。因此，如图4所示，与来自顶部图像、左图像、右图像和底部图像中的每一者的像素相邻的来自前图像的像素表示分别与相邻子图像的内容相邻的图像内容。类似地，来自彼此相邻的右图像和后图像的像素表示相邻图像内容。此外，来自后图像的终端边缘422的内容与来自左图像的相对终端边缘424的内容相邻。立方体地图画面420也可具有不属于任何图像的区域426.1-426.4。
球面变换单元270可根据从立方体地图中每个子图像导出的变换将立方体地图画面420之内位置(x,y)处的像素数据变换为沿球面投影330的位置图4示出了叠加于要产生的球面投影430上的图像捕获410的六个面411-416。图像捕获的每个子图像对应于球面投影430的表面的预先确定的角区域。因此，正面412的图像数据可被投影到球面投影的表面上的预先确定的部分，左、右、后、顶部和底部子图像的图像数据可以被投影到球面投影的表面的对应部分上。
在具有正方形子图像的立方体地图中(即，子图像411-416的高度和宽度相等)，每个子图像投影到投影表面的90°×90°区域。因此，基于形式为和θ＝gk(x,y)的正弦投影将子图像的每个位置x,y映射到球面投影430上的θ,位置，其中x,y代表顶部、底部、前、右、左、右距立方体面k的中心的位移，θ,代表球面中的角度偏差。
当应用该变换时，立方体地图画面420中的一些像素位置可映射到球面投影430中的唯一位置。在此类区域中，球面投影430中的每个位置可被分配以来自立方体地图画面420的对应位置的像素值。在其他位置处，特别是朝向相应子图像的边缘，球面投影单元270可将图像数据从立方体地图画面420中的若干源位置映射到球面投影430中的公共位置。在此类情况下，球面投影单元270可以从立方体地图画面420中的对应像素值的混合(例如，通过对立方体地图画面420的对应位置处的像素值加权平均)来导出针对球面投影430中的位置的像素值。
本公开的技术可应用于其他类型的图像捕获技术。例如，可采用基于截棱锥、四面体、八面体、十二面体和二十面体的图像捕获技术。从其获得的图像可通过类似技术映射到球面投影。
返回图2，预测器260可使用通过球面投影获得的图像数据来执行预测搜索。因此，球面变换单元270可将由成像系统捕获的图像数据变换为球面投影，并且第二球面变换单元280可将候选基准画面变换为其他球面投影。预测器260可搜索要由球面域内的视频编码器230使用的预测基准数据。一旦标识出适当的预测匹配，预测器260就可以视频编码器230接受的格式从基准画面存储库250提供预测数据(即，无需将其变换为球面投影)。
图5示出了根据本公开的一个实施方案的编码方法500。方法500可对逐个像素块操作，从而对要编码的新输入画面进行编码。方法500可通过将输入像素块的数据变换为球面表示(框510)来开始。方法500还可将候选基准画面变换为球面表示(框520)。然后，方法500可从变换像素块数据与变换基准画面数据之间的比较来执行预测搜索(框530)。当找到适当的预测基准时，方法500可使用匹配的基准画面数据(为方便起见称为“基准块”)作为预测的基础，对输入像素块进行差分编码(框540)。通常，该差分编码包括由来自输入像素块数据的预测块数据的逐个像素减法(框542)以及对由此获得的像素残差的变换、量化和熵编码(框544)来计算像素残差。就这一点而言，方法500可遵循由主流编码规范定义的编码协议，诸如ITU H.265(也称为“HEVC”)、H.264(也称为“AVC”)或先前的编码规范。这些规范定义了用于定义像素块，定义预测基准的搜索窗口以及用于参考基准块执行对像素块的差分编码的协议。方法500还可将运动矢量的球面域表示变换为编码器域表示，该编码器域表示由视频编码规范使用(框546)。方法500可输出编码像素残差、运动矢量和与预测相关联的其他元数据(通常为编码模式指示符和基准画面ID)(框548)。
可执行预测搜索(框530)以最大化带宽节省并最小化信息损失。方法500可执行操作以估计何时找到合适的预测基准。在一个实施方案中，对于每个输入像素块而言，该方法500可围绕相对于所变换输入像素块的多个候选旋转来旋转基准帧的球面投影(框532)。在进行每个候选旋转时，该方法可估计在使用候选旋转时会获得的预测残差(框534)。可通过球面投影输入像素块与旋转的候选基准帧与输入像素块的位置对齐的部分之间逐个像素的比较来执行这些计算。通常，当比较生成具有高量值和高方差的像素残差时，与生成具有较低量值和较低方差的像素残差的其他候选像素块的比较相比，将导致编码效率降低。方法500还可估计在使用候选基准块时会出现的编码失真(框536)。可通过基于预测要应用于输入像素块的量化参数水平来估计像素残差的损失，再次在球面投影域中操作，来执行这些计算。一旦获得考虑中的所有候选基准块的估计，方法500即可选择使总编码成本最小化的基准像素块(框538)。
例如，当基准帧旋转角度α,β,γ时，参考与输入像素块的位置对齐的候选“基准块”BLKα,β,γ的输入像素块的编码成本J可被给出为：
J＝Bits(BLKα,β,γ)+k*DIST(BLKα,β,γ)，其中 (方程3)
Bits(BLKα,β,γ)表示估计参考基准块BLKα,β,γ对输入像素块进行编码所需的位数，并且DIST(BLKα,β,γ)表示参考基准块BLKα,β,γ对输入像素块进行编码会获得的失真，k可以是操作者所选择的标量以平衡这些因素的贡献。如所解释的，可以执行方法500以选择使值J最小化的基准像素块。
图6象征性示出了根据图5的实施方案，输入帧610的球面保护与基准帧620的球面投影之间的预测操作。如所论述的，输入帧的二维表示可被解析为待编码的多个像素块。这些像素块可在输入帧610的球面投影中具有对应的投影，如图6所示。块的尺寸和形状可根据它们在球面投影中的位置而变化。例如，在二维表示中，朝向图像的顶部边缘和底部边缘定位的像素块可投影成输入帧610的球面投影中三角形的形状，并且将朝向球面投影的极区定位。沿着二维表示中部的行定位的像素块可投影成大致呈矩形的形状，并且将朝向球面投影的赤道区域定位。来自二维表示的映射到赤道区域与极区之间的中间位置的像素块可具有大致呈梯形的形状。可根据图5的方法500来考虑像素块到球面投影的所有此类表示，即使它们的形状在像素块之间有所变化。
图6还示出了基准帧620的球面投影的示例性旋转。此处，基准帧620的球面投影的轴线622被示出为从其初始位置旋转角度α,β,γ。在对输入帧的像素块614、616进行编码时，图5的方法500可在输入帧的球面投影中的像素与基准帧620的球面投影中的共处一地的基准块(分别示为块624、626)中的像素之间进行逐个像素的比较。在此，再次地，基准块在基准画面620的球面投影中的不同位置处在尺寸和形状上可变化。
在为输入像素块选择预测基准时，可将对应于所选择的预测基准的旋转角度α,β,γ转换成基准画面的二维空间中的运动矢量。该运动矢量可作为输入像素块的编码视频数据的一部分被传输。
用于许多编码协议诸如HEVC和AVC的运动矢量被限于描述在输入帧和基准帧的二维域中的空间位移(例如，在x和y方向上)。可能发生的是，给定预测搜索的旋转角度α,β,γ映射至二维域中的空间位置，该空间位置既在x和y方向上移位，又相对于源像素块旋转。在一个实施方案中，如果期望将本公开的原理用于此类视频编码器，可使用由从球面域向二维域转换运动矢量获得的x和y位移唯一标识的预测基准来对输入像素块进行编码。换句话讲，如果球面域中的旋转角度α,β,γ变换为Δx、Δy和λ形式的运动矢量(其中λ表示像素块在二维空间中的旋转)，视频编码器可以使用由Δx,Δy形式的运动矢量选择的预测基准来执行预测，其中忽略了λ。然而，在可以例如以Δx,Δy,λ格式或α,β,γ格式完整表示用于预测的运动矢量的情况下，预计可实现更好的性能；在下文中论述这些另选的实施方案。
许多编码应用在比基准画面的单个像素小的粒度下执行运动估计。例如，在HEVC和H.264协议中，视频编码器在四分之一像素和/或半像素增量下执行运动估计。在一个实施方案中，视频编码器可执行空间内插以开发足以在这些较小粒度下执行运动估计的图像数据。例如，视频编码器可执行内插以找到以更精细旋转角度与源像素匹配的基准像素。这样，球面投影的旋转数据可包含足够的信息以执行诸如此类粒度的预测搜索。
前述过程也可应用于帧内编码。当要对输入像素块进行编码时，可参考像素块所在的相同帧的先前编码的图像数据对其进行编码。因此，参考图6，在对像素块616进行编码之前，若干其他像素块(包括块614)的编码数据将被编码并传输到解码器。编码器和解码器都将具有那些像素块的解码数据，这些解码数据可用作像素块616的预测源。根据一个实施方案，视频编码器可通过按α、β、γ的各种排列旋转编码图像数据以基于帧内编码来识别预测基准，从而搜索当前帧的先前编码和解码的图像数据之内的适当预测数据。另外，2D中的帧内预测方向可反映在610的球体中，因为块616被改变为楔形形状。例如，2D帧中预测的竖直方向可在610中用内插进行相应地映射。视频编码器可根据方程3的技术来估计候选预测基准的编码成本J。
图7是根据本公开的一个实施方案的编码系统700的功能框图。系统700可包括像素块编码器710、像素块解码器720、回路滤波器系统730、基准画面存储库740、一对球面变换单元750、760、预测器770、控制器780和语法单元790。像素块编码器和解码器710、720和预测器770可迭代地在画面的各个像素块上操作。预测器770可预测在新呈现的输入像素块的编码期间使用的数据。像素块编码器710可通过预测编码技术对新像素块进行编码，并将编码像素块数据呈现给语法单元790。像素块解码器720可解码经编码像素块数据，由此产生解码像素块数据。回路滤波器730可以对从由像素块解码器720获得的经解码像素块组合的经解码画面执行各种滤波操作。经滤波画面可以被存储在基准画面存储库740中，其中其可以被用作稍后接收的像素块的预测的源。语法单元790可组合来自符合管理编码协议的编码像素块数据的数据流。
像素块编码器710可包括减法器712、变换单元714、量化器716和熵编码器718。像素块编码器710可以在减法器712处接受输入数据的像素块。减法器712可接收来自预测器770的预测像素块，并由此生成表示输入像素块与预测像素块之间的差值的像素残差阵列。变换单元714可以对从减法器712输出的样本数据应用变换，以将数据从像素域转换到变换系数域。量化器716可对由变换单元714输出的变换系数执行量化。量化器716可为均匀或非均匀量化器。熵编码器718可通过例如通过可变长度码字对输出进行编码来减小系数量化器的输出带宽。
变换单元714可以在控制器780所确定的多种变换模式中操作。例如，变换单元714可以应用离散余弦变换(DCT)、离散正弦变换(DST)、Walsh-Hadamard变换、Haar变换、Daubechies小波变换等。在一个实施方案中，控制器780可以选择变换单元715要应用的编码模式M，可以相应地配置变换单元715，并且可以显式地或隐式地在编码视频数据中发信号通知编码模式M。
量化器716可以根据控制器780所提供的量化参数QP来操作。在一个实施方案中，量化参数QP可以作为多值量化参数被应用于变换系数，多值量化参数例如在变换域像素块内的不同系数位置上可以改变。因此，量化参数QP可以被提供成量化参数阵列。
像素块解码器720可以反转像素块编码器710的编码操作。例如，像素块解码器720可以包括去量化器722、逆变换单元724和加法器726。像素块解码器720可从量化器716的输出获取其输入数据。尽管允许，像素块解码器720不必执行熵编码数据的熵解码，因为熵编码是无损事件。去量化器722可反转像素块编码器710的量化器716的操作。去量化器722可执行如解码信号QP所指定的均匀或非均匀去量化。类似地，逆变换单元724可以反转变换单元714的操作。去量化器722和逆变换单元724可以使用与像素块编码器710中其对应部件相同的量化参数QP和变换模式M。量化操作可能将在各个方面截断数据，并且因此，在与被呈现给像素块编码器710中的量化器716的数据相比时，去量化器722所恢复的数据可能将具有编码误差。
加法器726可以反转减法器712所执行的操作。它可以接收与减法器712在生成残差信号中所使用相同的来自预测器770的预测像素块。加法器726可以将预测像素块添加到逆变换单元724所输出的重建残差值，并且可以输出重建的像素块数据。
回路滤波器730可对所恢复的像素块数据执行各种滤波操作。例如，回路滤波器730可以包括解块滤波器732和样本自适应偏移(“SAO”)滤波器733。解块滤波器732可以对重建的像素块之间接缝处的数据进行滤波，以减少由于编码而产生的像素块之间的不连续。SAO滤波器可例如基于边缘方向/形状和/或像素/颜色分量水平，根据SAO“类型”将偏移添加到像素值。回路滤波器730可根据由控制器780选择的参数来操作。
基准画面存储库740可以存储经滤波的像素数据以供在其他像素块的后续预测中使用。使不同类型的预测数据可供预测器770使用以用于不同预测模式。例如，对于输入像素块，帧内预测从输入像素块所位于的相同画面的经解码数据获取预测基准。因此，基准画面存储库740可以存储在编码时每个画面的经解码像素块数据。对于相同的输入像素块，帧间预测可以从被指定为基准画面的先前编码和解码的画面获取预测基准。因此，基准画面存储库740可以存储这些经解码的基准画面。
球面变换单元750、760可执行图像数据到球面投影表示的变换。第一球面变换单元750可对来自基准画面存储库的候选预测基准数据执行其变换，而无论用于帧内预测还是帧间预测。在将输入视频数据呈现到像素块编码器710时，第二球面变换单元760可对输入视频数据执行其变换。球面变换单元750、760可分别将它们变换的数据输出到预测器770。
如所论述的，预测器770可以将预测数据提供给像素块编码器710以在生成残差中使用。预测器770可以包括帧间预测器772、帧内预测器773和模式决策单元774。帧间预测器772可以接收表示要编码的新像素块的球面投影像素块数据，并且可以对于来自一个或多个基准画面的像素块数据从存储库740搜索基准画面数据的球面投影，以用于对输入像素块进行编码。帧间预测器772可以支持多种预测模式，诸如P模式编码和B模式编码。帧间预测器772可以选择帧间预测模式以及提供与被编码的输入像素块最接近匹配的候选预测基准数据的标识。帧间预测器772可以生成预测基准元数据，诸如运动矢量，以标识哪些基准画面的哪个(哪些)部分被选择作为输入像素块的预测源。
帧内预测器773可以支持帧内(I)模式编码。帧内预测器773可以从来自与被编码像素块相同的画面的球面投影像素块数据中进行搜索，这提供与球面投影输入像素块的最接近匹配。帧内预测器773也可以生成预测基准指示符以标识画面的哪个部分被选择作为输入像素块的预测源。
模式决策单元774可以选择要应用于输入像素块的最终编码模式。通常，如上所述，在给定目标比特率的情况下，模式决策单元774选择在解码视频时将实现最低失真的预测模式。当编码模式被选择为满足编码系统700所遵循的其他策略，诸如满足特定信道行为、或支持随机接入或数据刷新策略时，可能出现例外。在模式决策选择最终编码模式时，模式决策单元774可以将来自存储库740的非球面投影的基准块输出给像素块编码器和解码器710、720，并且可以向控制器780提供所选择的预测模式的标识以及对应于所选择模式的预测基准指示符。
控制器780可以控制编码系统700的整个操作。控制器780可以基于输入像素块的分析以及还有外部约束(诸如编码比特率目标和其他操作参数)来选择像素块编码器710和预测器770的操作参数。与本论述相关，在选择量化参数QP、均匀或非均匀量化器的使用、和/或变换模式M时，可以将那些参数提供给语法单元790，该语法单元可以将表示那些参数的数据包括在系统700所输出的经编码视频数据的数据流中。
在操作期间，控制器780可以在图像数据的不同粒度，要么以每个像素块为基础要么在更大粒度(例如，每画面、每切片、每个最大编码单元(“LCU”)或另一区域)，来修改量化器716和变换单元715的操作参数。在一个实施方案中，量化参数可以在经编码的画面内以每像素为基础进行修改。
另外，如所论述的，控制器780可以控制回路滤波器730和预测单元770的操作。对于预测单元770，此类控制可包括模式选择(λ，待测模式，搜索窗口，失真策略等)，并且对于回路滤波器730，包括选择滤波器参数，重新排序参数，加权预测等。
图8是根据本公开的一个实施方案的解码系统800的功能框图。解码系统800可包括语法单元810、像素块解码器820、回路滤波器830、基准画面存储库840、预测器850和控制器860。语法单元810可以接收经编码的视频数据流，并且可以将经编码的数据解析成其组成部分。表示编码参数的数据可被提供给控制器860，而表示编码残差的数据(图2的像素块编码器210输出的数据)可被提供给像素块解码器820。像素块解码器820可反转由像素块编码器提供的编码操作(图2)。回路滤波器830可过滤重建的像素块数据。重建的像素块数据可组合成用于显示的画面并且从解码系统800输出作为输出视频。画面也可以被存储在预测缓冲器840中以用于在预测操作中使用。预测器850可以向像素块解码器820提供预测数据，预测数据由经编码的视频数据流中接收的编码数据确定。
像素块解码器820可包括熵解码器822、去量化器824、逆变换单元826和加法器828。熵解码器822可执行熵解码以反转由熵编码器718执行的过程(图8)。去量化器824可反转像素块编码器710的量化器716的操作(图7)。类似地，逆变换单元826可以反转变换单元714的操作(图7)。它们可以使用在经编码的视频数据流中提供的量化参数QP和变换模式M。由于量化可能要截断数据，因此去量化器824所恢复的数据在与被呈现给像素块编码器210中其对应量化器716的输入数据(图2)进行比较时可能将具有编码误差。
加法器828可反转减法器712所执行的操作(图7)。它可以接收来自预测器850的预测像素块，该预测像素块由经编码的视频数据流中的预测基准所确定。加法器828可以将预测像素块添加到逆变换单元826所输出的重建残差值，并且可以输出重建的像素块数据。
回路滤波器830可以对重建的像素块数据执行各种滤波操作。如图所示，回路滤波器830可以包括解块滤波器832和SAO滤波器834。解块滤波器832可以对重建的像素块之间接缝处的数据进行滤波，以减少由于编码而产生的像素块之间的不连续。SAO滤波器834可以根据SAO类型，例如基于边缘方向/形状和/或像素电平对像素值添加偏移。也可以按类似的方式使用其他类型的回路滤波器。解块滤波器832和SAO滤波器834的操作理想地将模拟编码系统700中其对应部分的操作(图7)。因此，在不存在传输误差或其他异常的情况下，从解码系统800的回路滤波器830获得的经解码画面将与从编码系统700的回路滤波器730获得的经解码画面(图7)相同；这样，编码系统700和解码系统800应在它们各自的基准画面存储库740、840中存储同一组基准画面。
基准画面存储库840可以存储经滤波的像素数据以供在其他像素块的后续预测中使用。基准画面存储库840可以存储在被编码时每个画面的经解码的像素块数据以供在帧内预测中使用。基准画面存储库840也可以存储经解码的基准画面。
如所论述的，预测器850可向像素块解码器820提供预测数据。预测器850可以提供由经编码的视频数据流中所提供的预测基准指示符确定的所预测的像素块数据。
控制器860可以控制编码系统800的整个操作。控制器860可以基于在经编码的视频数据流中接收的参数来设定像素块解码器820和预测器850的操作参数。与本论述相关，这些操作参数可以包括去量化器824的量化参数QP和逆变换单元815的变换模式M。如所论述的，所接收的参数可以按照图像数据的各种粒度被设定，例如，以每像素块为基础、以每画面为基础、以每切片为基础、以每LCU为基础、或者基于为输入图像定义的其他类型的区域。
在一个实施方案中，编码器在编码期间使用球面变换来选择预测基准不需要解码器使用此类变换。在图2和图7所示的实施方案中，编码器200、700可参考球面投影输入数据和基准数据执行预测搜索，但差分视频编码230、710本身可使用非球面投影数据来执行。通过这种方式，可将本公开的实施方案与不执行球面投影的解码器合作使用。
图9示出了根据本公开的一个实施方案的编码方法900。方法900可对逐个像素块操作，从而对要编码的新输入画面进行编码。方法900可通过将输入像素块的数据变换为球面表示(框910)来开始。方法900还可将候选基准画面数据变换为球面表示(框920)。然后，方法900可从变换像素块数据与变换基准画面数据之间的比较来执行预测搜索(框930)。当找到适当的预测基准时，方法900可使用匹配的基准块作为预测的基础，对输入像素块进行差分编码(框940)。通常，该差分编码包括由来自输入像素块数据的预测块数据的逐个像素减法(框942)以及对由此获得的像素残差的变换、量化和熵编码(框944)来计算像素残差。方法900可用α,β,γ格式表示运动矢量数据(框946)，其中α、β和γ分别表示球面投影基准画面从其初始轴线的旋转(图6)。方法900可输出运动矢量以及编码的残差和预测的其他元数据(通常为编码模式指示符、基准画面ID)(框948)。
在另一个实施方案中，方法900可相对于为基准画面估计的全局旋转值而差异地表示α,β,γ格式。在此类实施方案中，方法900可估计基准画面与输入画面之间的全局旋转差(框940)。例如，方法900可执行输入画面610(图6)的球面投影与基准画面620的球面投影之间的总体比较。该方法可生成第一旋转参数，称为“全局旋转”，其反映输入画面610与基准画面620之间检测到的旋转。可将全局旋转编码为第一矢量α,β,γ。在各个球面投影像素块614、616的编码期间，基准画面可被进一步旋转，以试图找到比仅使用全局旋转值选择基准块时获得的编码成本更低的编码成本J的旋转。如果标识出此类旋转，则可相对于格式为Δa、Δβ和Δγ的全局旋转矢量α,β,γ而对像素块614、616的运动矢量进行差分编码。在一个实施方案中，全局矢量可包括在语法元素中的编码视频数据中，语法元素以高于编码像素块数据的级别出现，例如在画面标题或切片标头中。并且，当参考多个基准画面对单个输入画面进行编码时，此类标头可包括用于标识基准画面(例如，通过画面ID)的字段和应用于它们中的每一个的全局旋转矢量α,β,γ。
图9的编码方法900可由视频编码器，诸如图7所示的视频编码器来执行。然而，在该实施方案中，当预测器770向控制器780输出球面域运动矢量时，控制器不需要将运动矢量转换为编码器域表示。控制器780可执行对输入画面与基准画面(未示出输入)之间的旋转差的估计，并且可如上所述推导适当的运动矢量表示。控制器780还可向通道输出其估计的旋转差。
类似地，解码可由视频解码器，诸如图8所示的视频解码器执行。然而，在该实施方案中，控制器860可执行转换操作以将运动矢量从其差分表示(ΔMV)转换为绝对表示(MV)，并且进一步将运动矢量的绝对表示从球面域表示转换为编码器域表示。然后，预测器850可从基准画面存储库840检索适当的基准块并将它们提供给像素块解码器820。
在另一个实施方案中，球面投影可将可变半径分配给来自输入画面或基准画面的图像内容的部分。此类可变半径可适应导致图像内容在输入画面与基准画面之间调整大小的对象运动或相机移动。例如，当对象朝向或远离相机移动时，相机视场之内的对象尺寸可相应地增大或减小。类似地，当相机移动时，一些对象变得靠近相机，在这种情况下，使得它们的尺寸增大，并且其他物体变得远离相机，在这种情况下它们的尺寸减小。在任一种情况下，视频编码器可通过球面投影之间的不同半径来补偿此类变化。
图10示出了示例性使用情况，其中待编码的输入画面1010被变换为具有半径R的球体上的球面投影1012。输入画面1010可使用基准画面1020作为预测基准而被预测性地编码，该预测基准具有其自身的球面投影1022。为方便起见，图10仅示出了用于输入画面和基准画面的球面投影的一部分。在图10中，基准画面的球面投影也被示出为具有半径R。在一个实施方案中，视频编码器可根据在其中的对象间检测到的相对尺寸差异来改变输入画面和基准画面的球面投影1012、1022的半径，以便检测它们之间的相关性。当发现相关性时，视频编码器可导出球面投影1012、1022中的半径的相对比率(示出为RI/RP)，其反映两个投影1012、1022中的图像内容的元素之间的大小调整。通过这种方式，可改变画面中的一个(在这里，为基准画面1020)的球面投影(示出为投影1024)以适应交替的半径RP。然后，可将调整大小比率RI/RP连同从先前实施方案导出的运动矢量的其他分量映射到基准画面，这会标识基准画面中可以被调整大小并用作预测输入画面1010中像素块1014的依据的基准块1026。
可以对被编码的每个像素块或在其他编码粒度重新执行球面投影之间的半径变化。因此，如果需要，视频编码器可逐个画面地、逐个图块地或逐个切片地改变基准画面球面投影的半径。
在另一个实施方案中，球面投影可分配被分配给来自输入画面和/或基准画面的图像内容的球面投影的原点的可变空间位置。此类可变原点可适应导致图像内容在输入画面与基准画面之间调整大小的对象运动或相机移动。如所论述的，当相机移动时，一些对象变得靠近相机，在这种情况下，它们的尺寸增大，并且其他物体变得远离相机，在这种情况下它们的尺寸减小。在这种情况下，视频编码器可通过向球面投影的原点分配不同的位置来补偿此类变化。
图11示出了示例性使用情况，其中待编码的输入画面1110被变换为具有半径R的球体上的球面投影1112。输入画面1110可使用基准画面1120作为预测基准而被预测性地编码，该预测基准具有其自身的球面投影1122。为方便起见，图11仅示出了用于输入画面和基准画面的球面投影的一部分。在图11中，基准画面的球面投影也被示出为具有半径R。在一个实施方案中，视频编码器可根据在其中的对象间检测到的相对尺寸差异来改变输入画面和基准画面的球面投影1112、1122的半径R的原点位置，以便检测它们之间的相关性。当发现相关性时，视频编码器可导出球面投影1112、1122之间的相对偏移量，其被示为Δx,Δy,Δz，反映了两个投影1112、1122之间的移位。然后，可将原点偏移Δx,Δy,Δz连同从先前实施方案导出的运动矢量的其他分量映射到基准画面，这会标识基准画面中可以被调整大小并用作预测输入画面1110中像素块1114的依据的基准块1124。
可以对被编码的每个像素块或在其他编码粒度重新执行球面投影之间的原点偏移Δx,Δy,Δz的变化。因此，如果需要，视频编码器可逐个画面地、逐个图块地或逐个切片地改变基准画面球面投影的原点偏移。
在另一个实施方案中，可组合图9、图10和图11的技术以为视频编码器和解码器提供多种自由度，以识别输入画面和基准画面的球面投影之间的差异。因此，视频编码器可提供运动矢量，运动矢量反映例如相对于全局旋转矢量的偏移(其可由角矢量α,β,γ表示)、径向比率RI/RP和/或原点偏移Δx,Δy,Δz来表示。
图12是根据本公开的另一个实施方案的解码系统1200的功能框图。在图12的实施方案中，解码系统1200可在球面投影的域中操作，如图3-图4、图6和图10-图11中象征性所示，直到要从解码系统1200输出解码图像数据。解码图像数据可在要从解码系统1200输出时被转换到二维域。
解码系统1200可包括语法单元1210、像素块解码器1220、回路滤波器1230、基准画面存储库1240、预测器1250、控制器1260、逆球面变换单元1270和逆球面变换单元1280。语法单元1210可以接收经编码的视频数据流，并且可以将经编码的数据解析成其组成部分。表示编码参数的数据可被提供给控制器1260，而表示编码残差的数据(图2的像素块编码器210输出的数据)可被提供给像素块解码器1220。像素块解码器1220可反转由像素块编码器提供的编码操作(图2)。回路滤波器1230可过滤重建的像素块数据。重建的像素块数据可组合成用于显示的画面并且从解码系统1200输出作为输出视频。画面也可以被存储在预测缓冲器1240中以用于在预测操作中使用。预测器1250可以向像素块解码器1220提供预测数据，预测数据由经编码的视频数据流中接收的编码数据确定。球面变换单元1270可将数据从基准画面存储库1240变换到球面域，并且将变换后的数据提供给预测器1250。逆球面变换单元1280可将预测数据从球面域变换回到像素块编码器1220的域，并可将变换后的数据提供给其中的加法器1228。
像素块解码器1220可包括熵解码器1222、去量化器1224、逆变换单元1226和加法器12212。熵解码器1222可执行熵解码以反转由熵编码器7112执行的过程(图12)。去量化器1224可反转像素块编码器710的量化器716的操作(图7)。类似地，逆变换单元1226可以反转变换单元714的操作(图7)。它们可以使用在经编码的视频数据流中提供的量化参数QP和变换模式M。由于量化可能要截断数据，因此去量化器1224所恢复的数据在与被呈现给像素块编码器210中其对应量化器716的输入数据(图2)进行比较时可能将具有编码误差。
加法器1228可反转减法器712所执行的操作(图7)。它可以接收来自预测器1250的预测像素块，该预测像素块由经编码的视频数据流中的预测基准所确定。加法器1228可以将预测像素块添加到逆变换单元1226所输出的重建残差值，并且可以输出重建的像素块数据。
回路滤波器1230可以对重建的像素块数据执行各种滤波操作。如图所示，回路滤波器1230可以包括解块滤波器1232和SAO滤波器1234。解块滤波器1232可以对重建的像素块之间接缝处的数据进行滤波，以减少由于编码而产生的像素块之间的不连续。SAO滤波器1234可以根据SAO类型，例如基于边缘方向/形状和/或像素电平对像素值添加偏移。也可以按类似的方式使用其他类型的回路滤波器。解块滤波器1232和SAO滤波器1234的操作理想地将模拟编码系统700中其对应部分的操作(图7)。因此，在不存在传输误差或其他异常的情况下，从解码系统1200的回路滤波器1230获得的经解码画面将与从编码系统700的回路滤波器730获得的经解码画面(图7)相同；这样，编码系统700和解码系统1200应在它们各自的基准画面存储库740、1240中存储同一组基准画面。
基准画面存储库1240可以存储经滤波的像素数据以供在其他像素块的后续预测中使用。基准画面存储库1240可以存储在被编码时每个画面的经解码的像素块数据以供在帧内预测中使用。基准画面存储库1240也可以存储经解码的基准画面。
如所论述的，预测器1250可向像素块解码器1220提供预测数据。预测器1250可以提供由经编码的视频数据流中所提供的预测基准指示符确定的所预测的像素块数据。
控制器1260可以控制编码系统1200的整个操作。控制器1260可以基于在经编码的视频数据流中接收的参数来设定像素块解码器1220和预测器1250的操作参数。与本论述相关，这些操作参数可以包括去量化器1224的量化参数QP和逆变换单元1215的变换模式M。如所论述的，所接收的参数可以按照图像数据的各种粒度被设定，例如，以每像素块为基础、以每画面为基础、以每切片为基础、以每LCU为基础、或者基于为输入图像定义的其他类型的区域。
在图12的实施方案中，像素块解码器1220、回路滤波器1230和基准画面存储库1240可对二维域中的图像数据进行操作。不过，预测器1250可根据上文参考图6、图10和/或图11所述的技术对标识基准块的运动矢量进行操作，这样可通过旋转矢量(α,β,γ)、投影半径的比率(Ri/Rp)和/或球面投影的原点之间的偏移(Δx,Δy,Δz)来识别基准像素块。作为响应，预测器1250可从基准画面存储库1240检索基准画面，并且球面变换1270可将检索到的画面变换到球面域。预测器1250可根据所接收的运动矢量(例如，通过根据旋转矢量(α,β,γ)旋转基准画面的球面投影，通过根据投影半径的比率(Ri/Rp)调整基准画面的球面投影大小，和/或通过根据原点偏移(Δx,Δy,Δz)移位基准画面的球面投影的原点)将基准画面的球面投影与输入像素块对齐。在这种处理之后，与正被解码的编码像素块的位置对齐的基准画面的一部分可作为基准块被输出到加法器1228。
逆球面逆变换单元1280可将基准块的数据变换到二维域。逆变换单元可反转相对于上文段落29至段落36所述的操作。变换的基准块可作为预测块输出到像素块解码器1220的加法器1228。
图13是根据本公开的另一个实施方案的解码系统1300的功能框图。在图13的实施方案中，解码系统1300可在球面投影的域中操作，如图3-图4、图6和图10-图11中象征性所示，直到要从解码系统1300输出解码图像数据。解码图像数据可在要从解码系统1300输出时被转换到二维域。
解码系统1300可包括语法单元1310、像素块解码器1320、回路滤波器1330、基准画面存储库1340、预测器1350、控制器1360和逆球面变换单元1370。语法单元1310可以接收经编码的视频数据流，并且可以将经编码的数据解析成其组成部分。表示编码参数的数据可被提供给控制器1360，而表示编码残差的数据(图2的像素块编码器210输出的数据)可被提供给像素块解码器1320。像素块解码器1320可反转由像素块编码器提供的编码操作(图2)。回路滤波器1330可过滤重建的像素块数据。重建的像素块数据可组合成用于显示的画面并且从解码系统1300输出作为输出视频。画面也可以被存储在预测缓冲器1340中以用于在预测操作中使用。预测器1350可以向像素块解码器1320提供预测数据，预测数据由经编码的视频数据流中接收的编码数据确定。
像素块解码器1320可包括熵解码器1322、去量化器1324、逆变换单元1326和加法器13213。熵解码器1322可执行熵解码以反转由熵编码器7113执行的过程(图13)。去量化器1324可反转像素块编码器710的量化器716的操作(图7)。类似地，逆变换单元1326可以反转变换单元714的操作(图7)。它们可以使用在经编码的视频数据流中提供的量化参数QP和变换模式M。由于量化可能要截断数据，因此去量化器1324所恢复的数据在与被呈现给像素块编码器210中其对应量化器716的输入数据(图2)进行比较时可能将具有编码误差。
加法器1328可反转减法器713所执行的操作(图7)。它可以接收来自预测器1350的预测像素块，该预测像素块由经编码的视频数据流中的预测基准所确定。加法器1328可以将预测像素块添加到逆变换单元1326所输出的重建残差值，并且可以输出重建的像素块数据。
回路滤波器1330可以对重建的像素块数据执行各种滤波操作。如图所示，回路滤波器1330可以包括解块滤波器1332和SAO滤波器1334。解块滤波器1332可以对重建的像素块之间接缝处的数据进行滤波，以减少由于编码而产生的像素块之间的不连续。SAO滤波器1334可以根据SAO类型，例如基于边缘方向/形状和/或像素电平对像素值添加偏移。也可以按类似的方式使用其他类型的回路滤波器。解块滤波器1332和SAO滤波器1334的操作理想地将模拟编码系统700中其对应部分的操作(图7)。因此，在不存在传输误差或其他异常的情况下，从解码系统1300的回路滤波器1330获得的经解码画面将与从编码系统700的回路滤波器730获得的经解码画面(图7)相同；这样，编码系统700和解码系统1300应在它们各自的基准画面存储库740、1340中存储同一组基准画面。
基准画面存储库1340可以存储经滤波的像素数据以供在其他像素块的后续预测中使用。基准画面存储库1340可以存储在被编码时每个画面的经解码的像素块数据以供在帧内预测中使用。基准画面存储库1340也可以存储经解码的基准画面。
如所论述的，预测器1350可向像素块解码器1320提供预测数据。预测器1350可以提供由经编码的视频数据流中所提供的预测基准指示符确定的所预测的像素块数据。
控制器1360可以控制编码系统1300的整个操作。控制器1360可以基于在经编码的视频数据流中接收的参数来设定像素块解码器1320和预测器1350的操作参数。与本论述相关，这些操作参数可以包括去量化器1324的量化参数QP和逆变换单元1315的变换模式M。如所论述的，所接收的参数可以按照图像数据的各种粒度被设定，例如，以每像素块为基础、以每画面为基础、以每切片为基础、以每LCU为基础、或者基于为输入图像定义的其他类型的区域。
如图所示，像素块解码器1320、回路滤波器1330、基准画面存储库1340、预测器1350和控制器1360可对球面投影域中的图像数据进行操作。因此，解码系统1300可对大小和形状不同的编码像素块进行解码，如图6所示。预测器1350可根据上文参考图6、图10和/或图11所述的技术对标识基准块的运动矢量进行操作，这样可通过旋转矢量(α,β,γ)、投影半径的比率(Ri/Rp)和/或球面投影的原点之间的偏移(Δx,Δy,Δz)来识别基准像素块。作为响应，预测器1350可从基准画面存储库检索基准像素块并根据所接收的运动矢量(例如，通过根据旋转矢量(α,β,γ)旋转基准画面的球面投影，通过根据投影半径的比率(Ri/Rp)调整基准画面的球面投影大小，和/或通过根据原点偏移(Δx,Δy,Δz)移位基准画面的球面投影的原点)将它们与输入像素块对齐。在这种处理之后，与正被解码的编码像素块的位置对齐的基准画面的一部分可作为基准块被输出到加法器1328。
逆球面变换单元1370可将从回路滤波器1330输出的重建图像变换到输出域。通常，输出域将是二维域，这使得重建的图像适合显示在显示设备上或供消耗此类数据的应用程序使用。逆变换单元可反转相对于上文所述的操作。在一个实施方案中，当将重建的图像输出到处理球面域中的图形数据的应用时，可省略逆球面变换1370。
前述实施方案描述了对从相机系统获得的360°视频进行操作的视频编码和解码过程，但本公开的原理不受此限制。本文所述的技术可应用于360°视频，而与生成此类视频所用的技术无关。例如，360°视频可用于诸如视频游戏和三维渲染应用的计算机应用中。因此，根据需要，360°视频可代表计算机生成的虚拟世界模型或表示人类编写的内容的计算机渲染视频数据。本公开的原理还可应用于增强现实系统，其中相机生成的图像数据和计算机生成的图形数据被合并成经编码的360°视频画面。就这一点而言，360°视频的来源对于本论述是无关紧要的。
在一个实施方案中，视频编码器和解码器可交换信令以识别球面投影的参数。在一个此类实施方案中，此类信令可根据以下语法进行。
视频编码器和解码器可交换投影格式字段，该字段标识由编码器域中的视频编码器使用的投影格式的类型。例如，投影格式字段可包含可采用以下值的投影格式id值：
表1
例如，可在诸如H.265的编码协议的序列参数集中提供投影格式字段。
视频编码器和解码器可交换其他信令，诸如use_rotation_estimation字段和rotation_estimation_mode字段。use_rotation_estimate可指示例如是否执行如框840(图8)所述的旋转估计。rotation_estimation_mode字段可标识旋转估计的参数，诸如：
表2
可在编码协议之内以不同水平的编码粒度发信号通知use_rotation_estimation和rotation_estimation_mode字段。例如，可以在编码期间在像素块水平下发信号通知use_rotation_estimation字段，而可以在例如序列参数集或画面参数集中在更高水平的粒度下发信号通知rotation_estimation_mode字段。也可发生相反的情况；在编码期间可以在序列参数集水平下发信号通知use_rotation_estimation字段，而可以在例如像素块水平在更低水平的粒度下发信号通知rotation_estimation_mode字段。此外，可以根据需要，从画面到画面或从像素块到像素块地预测性地对use_rotation_estimation字段和rotation_estimation_mode字段进行编码。此外，可执行参数数据的上下文自适应二进制算术编码(CABAC)。
类似地，视频编码器和解码器可交换可能发信号通知所执行的全局旋转估计的类型的其他信令，诸如global_rotation_estimation_mode字段。global_rotation_estimation_mode字段可标识全局旋转估计的参数，诸如：
可以方便地在序列参数集、画面参数集或切片分段标头中发信号通知global_rotation_estimation_mode字段。
前述论述已在视频编码器和解码器的上下文中描述了本公开各实施方案的操作。这些部件常常作为电子设备来提供。视频解码器和/或控制器可以被嵌入在集成电路中，诸如专用集成电路、现场可编程门阵列和/或数字信号处理器。另选地，它们可以被嵌入到在相机设备、个人计算机、笔记本电脑、平板电脑、智能电话或计算机服务器上执行的计算机程序中。此类计算机程序通常存储在物理存储介质诸如电子、磁性和/或基于光学的存储设备中，在那里它们被读取到处理器并且被执行。解码器常常被封装在消费电子设备中，诸如智能电话、平板电脑、游戏系统、DVD播放器、便携式媒体播放器等；并且，它们也可以被封装在消费软件应用中，诸如视频游戏、媒体播放器、媒体编辑器等。并且，当然，这些部件可被提供作为根据需要在专用硬件部件和经编程的通用处理器上分配功能的混合系统。
已经出于例示和描述的目的呈现了前面的描述。它们并非是穷举性的并且并非将本公开的实施方案限制到所公开的精确形式。鉴于上面的教导内容，修改和变型是可能的，或者可从实践与本公开一致的实施方案获取修改和变型。除非本文另有描述，可采用任何组合来实施任何方法。

Claims (33)

1.一种视频编码方法，包括：
为了对输入画面进行编码，在球面域中生成所述输入画面的图像数据的投影，
对于所述输入画面中的多个像素块：
搜索所述像素块的球面域表示与候选基准画面数据的球面域表示之间的匹配；
在匹配时，确定所述像素块的所述球面域表示与所述球面域表示中的基准画面的匹配部分之间的偏移；
将所述球面域偏移变换为所述输入画面的源域表示中的运动矢量，以及
参考所述基准画面的所述匹配部分的源域表示，预测性地对所述像素块的源域表示的所述像素块进行编码。
2.根据权利要求1所述的方法，其中所述搜索包括搜索最佳模式，以在最小球面域误差和源域比特率方面优化发送所述像素块的源域表示的总成本。
3.根据权利要求1所述的方法，还包括，输出所述像素块的编码数据，以源域运动矢量作为所述输入画面的编码数据。
4.根据权利要求1所述的方法，还包括，输出所述像素块的编码数据，以球面域偏移作为所述输入画面的编码数据。
5.根据权利要求4所述的方法，还包括，在匹配时：
确定所述输入画面的球面域表示与所述基准画面的球面域表示之间的旋转偏移，以及
输出标识所述旋转偏移的数据，其中
相对于所述旋转偏移以不同方式表示所输出的球面域偏移。
6.根据权利要求1所述的方法，其中，对于至少一个像素块，所述搜索包括估计所述像素块的所述球面域表示与所述基准画面的所述匹配部分的所述球面域表示之间的相对半径比率，以及输出标识所述相对半径比率的数据作为所述相应输入像素块的编码数据。
7.根据权利要求1所述的方法，其中，对于至少一个像素块，所述搜索包括估计所述像素块的所述球面域表示的原点与所述基准画面的所述匹配部分的所述球面域表示的原点之间的相对偏移，以及输出标识所述相对偏移的数据作为所述相应输入像素块的编码数据。
8.根据权利要求1所述的方法，其中所述搜索包括：
针对来自所述基准画面的多个候选块，估计参考每个相应候选块对所述输入像素块编码所需的位数，以及
根据需要基于所估计的所述位数之间的相对差异从所述候选块中选择匹配的候选块。
9.根据权利要求1所述的方法，其中所述搜索包括：
针对来自所述基准画面的多个候选块，估计参考每个相应候选块通过对所述输入像素块编码可生成的失真量，以及
基于针对所述候选块中的每个候选块所估计的所述失真量之间的相对差异来选择匹配的候选块。
10.根据权利要求1所述的方法，其中所述输入画面是其源域表示中的等长矩形画面。
11.根据权利要求1所述的方法，其中所述输入画面是其源域表示中的立方体地图画面。
12.根据权利要求1所述的方法，其中所述输入画面是其源域表示中基于截棱锥的图像、基于四面体的图像、基于八面体的图像、基于十二面体的图像和基于二十面体的图像中的一者。
13.一种视频编码器，包括：
像素块编码器，所述像素块编码器具有用于输入数据的像素块和基准像素块的输入，
基准画面存储库，所述基准画面存储库存储多个基准画面的数据，
一对球面变换单元，即具有用于所述输入像素块的输入的第一球面变换单元，以及具有用于基准画面数据的输入的第二球面变换单元，
预测器，所述预测器具有耦接到来自所述第一球面变换单元和所述第二球面变换单元的输出的输入，
其中，响应于由所述预测器从所述输入像素块的球面域投影和候选预测基准数据进行的预测选择，将来自所述基准画面存储库的预测块输入到所述像素块编码器。
14.根据权利要求13所述的视频编码器，其中所述视频编码器输出所述像素块的编码数据，以源域运动矢量作为所述输入画面的编码数据。
15.根据权利要求13所述的视频编码器，其中所述视频编码器输出所述像素块的编码数据，以球面域偏移作为所述输入画面的编码数据。
16.根据权利要求15所述的视频编码器，还包括控制器，所述控制器：
确定所述输入画面的球面域表示与所述基准画面的球面域表示之间的旋转偏移，以及
输出标识所述旋转偏移的数据，其中
相对于所述旋转偏移以不同方式表示所输出的球面域偏移。
17.根据权利要求13所述的视频编码器，还包括控制器，所述控制器估计所述像素块的所述球面域表示与所述基准画面的所述匹配部分的所述球面域表示之间的相对半径比率，并输出标识所述相对半径比率的数据作为所述相应输入像素块的编码数据。
18.根据权利要求13所述的视频编码器，还包括控制器，所述控制器估计所述像素块的所述球面域表示的原点与所述基准画面的所述匹配部分的所述球面域表示的原点之间的相对偏移，并输出标识所述相对偏移的数据作为所述相应输入像素块的编码数据。
19.根据权利要求13所述的视频编码器，其中所述预测器：
针对来自所述基准画面的多个候选块，估计参考每个相应候选块对所述输入像素块编码所需的位数，以及
根据需要基于所估计的所述位数之间的相对差异从所述候选块中选择匹配的候选块。
20.根据权利要求13所述的视频编码器，其中所述预测器：
针对来自所述基准画面的多个候选块，估计参考每个相应候选块通过对所述输入像素块编码可生成的失真量，以及
基于针对所述候选块中的每个候选块所估计的所述失真量之间的相对差异来选择匹配的候选块。
21.根据权利要求13所述的视频编码器，其中所述输入画面是其源域表示中的等长矩形画面。
22.根据权利要求13所述的视频编码器，其中所述输入画面是其源域表示中的立方体地图画面。
23.存储程序指令的计算机可读介质，所述程序指令在由处理设备执行时使得所述设备：
为了对输入画面进行编码，在球面域中生成所述输入画面的图像数据的投影，
对于所述输入画面中的多个像素块：
搜索所述像素块的球面域表示与所述基准画面的球面域表示之间的匹配；
在匹配时，确定所述像素块的所述球面域表示与所述球面域表示中的所述基准画面的匹配部分之间的偏移；
将所述球面域偏移变换为所述输入画面的源域表示中的运动矢量，以及
参考所述基准画面的所述匹配部分的源域表示，预测性地对所述像素块的源域表示的所述像素块进行编码。
24.根据权利要求23所述的介质，还包括，在匹配时：
确定所述输入画面的球面域表示与所述基准画面的球面域表示之间的旋转偏移，
输出标识所述旋转偏移的数据，以及
输出所述像素块的编码数据，以球面域偏移作为所述输入画面的编码数据，其中相对于所述旋转偏移，以不同方式表示所述球面域偏移。
25.根据权利要求23所述的介质，其中，对于至少一个像素块，所述搜索包括估计所述像素块的所述球面域表示与所述基准画面的所述匹配部分的所述球面域表示之间的相对半径比率，以及输出标识所述相对半径比率的数据作为所述相应输入像素块的编码数据。
26.根据权利要求23所述的介质，其中，对于至少一个像素块，所述搜索包括估计所述像素块的所述球面域表示的原点与所述基准画面的所述匹配部分的所述球面域表示的原点之间的相对偏移，以及输出标识所述相对偏移的数据作为所述相应输入像素块的编码数据。
27.一种视频解码器，所述视频解码器包括：
像素块解码器，所述像素块解码器具有用于编码图像数据的输入和用于重建像素块的输出；
基准画面存储库，所述基准画面存储库用于存储由所述编码视频数据表示的帧的重建像素块所组合的重建基准画面；
预测器，响应于所述编码图像数据中包括的运动矢量数据，基于在球面域中对基准画面的操控向所述像素块解码器提供基准块数据。
28.根据权利要求30所述的视频解码器，其中所述像素块解码器、所述基准画面存储库和所述预测器在球面域表示中的图像数据中操作。
29.根据权利要求30所述的视频解码器，其中所述像素块解码器和所述基准画面存储库和所述预测器操作二维域表示中的图像数据，并且所述预测器对来自所述基准画面存储库的数据的球面域投影进行操作。
30.根据权利要求30所述的视频解码器，还包括变换单元，所述变换单元用于将重建图像从所述球面域表示变换为二维域表示。
31.根据权利要求30所述的视频解码器，其中所述运动矢量包括所述编码画面的球面域表示与由所述运动矢量标识的基准画面的球面域表示之间的旋转偏移的标识，并且所述预测器根据所述旋转偏移对齐所述基准画面和所述编码画面。
32.根据权利要求30所述的视频解码器，其中编码画面的运动矢量数据包括所述编码画面的球面域表示与由所述运动矢量标识的基准画面的球面域表示之间的半径比率的标识，并且所述预测器根据所述比率对齐所述基准画面的所述球面域表示与所述编码画面的所述球面域表示。
33.根据权利要求30所述的视频解码器，其中所述运动矢量包括所述编码画面的球面域表示的原点与由所述运动矢量标识的基准画面的球面域表示的原点之间的偏移的标识，并且所述预测器根据所述偏移对齐所述基准画面和所述编码画面的所述原点。
CN201780079476.0A 2016-12-23 2017-09-14 球面投影运动估计/补偿和模式决策 Active CN110115037B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310282812.9A CN116248875A (zh) 2016-12-23 2017-09-14 球面投影运动估计/补偿和模式决策

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/390,202 US10999602B2 (en) 2016-12-23 2016-12-23 Sphere projected motion estimation/compensation and mode decision
US15/390,202 2016-12-23
PCT/US2017/051542 WO2018118159A1 (en) 2016-12-23 2017-09-14 Sphere projected motion estimation/compensation and mode decision

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310282812.9A Division CN116248875A (zh) 2016-12-23 2017-09-14 球面投影运动估计/补偿和模式决策

Publications (2)

Publication Number Publication Date
CN110115037A true CN110115037A (zh) 2019-08-09
CN110115037B CN110115037B (zh) 2023-03-28

Family

ID=59982492

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780079476.0A Active CN110115037B (zh) 2016-12-23 2017-09-14 球面投影运动估计/补偿和模式决策
CN202310282812.9A Pending CN116248875A (zh) 2016-12-23 2017-09-14 球面投影运动估计/补偿和模式决策

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310282812.9A Pending CN116248875A (zh) 2016-12-23 2017-09-14 球面投影运动估计/补偿和模式决策

Country Status (3)

Country Link
US (2) US10999602B2 (zh)
CN (2) CN110115037B (zh)
WO (1) WO2018118159A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10339627B2 (en) * 2016-10-10 2019-07-02 Gopro, Inc. Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
JP2019057903A (ja) * 2016-12-28 2019-04-11 株式会社リコー 画像処理装置、撮影システム、画像処理方法、及びプログラム
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US20180242016A1 (en) * 2017-02-21 2018-08-23 Intel Corporation Deblock filtering for 360 video
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US10904508B2 (en) * 2017-03-15 2021-01-26 Avago Technologies International Sales Pte. Limited 360 degree video with combined projection format
US10506255B2 (en) * 2017-04-01 2019-12-10 Intel Corporation MV/mode prediction, ROI-based transmit, metadata capture, and format detection for 360 video
WO2018199792A1 (en) * 2017-04-26 2018-11-01 Huawei Technologies Co., Ltd Apparatuses and methods for encoding and decoding a panoramic video signal
US10467775B1 (en) * 2017-05-03 2019-11-05 Amazon Technologies, Inc. Identifying pixel locations using a transformation function
CN110612553B (zh) * 2017-05-09 2024-04-09 皇家Kpn公司 对球面视频数据进行编码
CN109246410B (zh) * 2017-05-31 2021-04-02 江苏慧光电子科技有限公司 全息影像的成像方法和数据生成方法及装置
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US11049219B2 (en) 2017-06-06 2021-06-29 Gopro, Inc. Methods and apparatus for multi-encoder processing of high resolution content
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
US10523913B2 (en) 2017-06-30 2019-12-31 Apple Inc. Packed image format for multi-directional video
US10728551B2 (en) * 2017-11-09 2020-07-28 Gopro, Inc. Methods and apparatus for block-based layout for non-rectangular regions between non-contiguous imaging regions
CN110771165A (zh) * 2018-08-01 2020-02-07 深圳市大疆创新科技有限公司 图像处理方法和设备
US11228781B2 (en) 2019-06-26 2022-01-18 Gopro, Inc. Methods and apparatus for maximizing codec bandwidth in video applications
US11481863B2 (en) 2019-10-23 2022-10-25 Gopro, Inc. Methods and apparatus for hardware accelerated image processing for spherical projections
CN111050168B (zh) * 2019-12-27 2021-07-13 浙江大华技术股份有限公司 仿射预测方法及其相关装置
US11924467B2 (en) * 2021-11-16 2024-03-05 Google Llc Mapping-aware coding tools for 360 degree videos

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1688165A (zh) * 2005-06-09 2005-10-26 上海交通大学 基于对象的纹理快速运动估值的方法
CN101771878A (zh) * 2010-01-14 2010-07-07 广西大学 面向全景视频编码的自适应选择全局运动估计方法
US20160112704A1 (en) * 2014-10-20 2016-04-21 Google Inc. Continuous prediction domain
CN105915907A (zh) * 2016-06-07 2016-08-31 北京圣威特科技有限公司 全景图的压缩和解压方法、装置及系统
CN105959702A (zh) * 2016-05-30 2016-09-21 北京奇艺世纪科技有限公司 一种球面视频编码方法和装置
CN106162139A (zh) * 2016-08-04 2016-11-23 微鲸科技有限公司 编码方法、视频输出装置、解码方法、以及视频播放装置

Family Cites Families (499)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2191917A (en) 1986-06-16 1987-12-23 Ibm A multiple window display system
US5448687A (en) 1988-09-13 1995-09-05 Computer Design, Inc. Computer-assisted design system for flattening a three-dimensional surface and for wrapping a flat shape to a three-dimensional surface
DE69115762T2 (de) 1990-06-19 1996-06-13 Fujitsu Ltd Verfahren und Einrichtung zur Anzeigesteuerung von Mehrfenstern
US5185667A (en) 1991-05-13 1993-02-09 Telerobotics International, Inc. Omniview motionless camera orientation system
US5313306A (en) 1991-05-13 1994-05-17 Telerobotics International, Inc. Omniview motionless camera endoscopy system
US7382399B1 (en) 1991-05-13 2008-06-03 Sony Coporation Omniview motionless camera orientation system
US5359363A (en) 1991-05-13 1994-10-25 Telerobotics International, Inc. Omniview motionless camera surveillance system
US5990941A (en) 1991-05-13 1999-11-23 Interactive Pictures Corporation Method and apparatus for the interactive display of any portion of a spherical image
US5262777A (en) 1991-11-16 1993-11-16 Sri International Device for generating multidimensional input signals to a computer
US5787207A (en) 1991-12-30 1998-07-28 Golin; Stuart J. Method and apparatus for minimizing blockiness in reconstructed images
US5684937A (en) 1992-12-14 1997-11-04 Oxaal; Ford Method and apparatus for performing perspective transformation on visible stimuli
US5537155A (en) 1994-04-29 1996-07-16 Motorola, Inc. Method for estimating motion in a video sequence
JP3248186B2 (ja) 1994-08-31 2002-01-21 ソニー株式会社 静止画像システム
US5715016A (en) 1995-04-05 1998-02-03 Graphic Communication Laboratories Motion estimation method and apparatus for calculating a motion vector
US5689800A (en) 1995-06-23 1997-11-18 Intel Corporation Video feedback for reducing data rate or increasing quality in a video processing system
US6031540A (en) 1995-11-02 2000-02-29 Imove Inc. Method and apparatus for simulating movement in multidimensional space with polygonal projections from subhemispherical imagery
JP3994445B2 (ja) 1995-12-05 2007-10-17 ソニー株式会社 動きベクトル検出装置及び動きベクトル検出方法
JP2798035B2 (ja) 1996-01-17 1998-09-17 日本電気株式会社 適応動きベクトル補間による動き補償フレーム間予測方法
US5903270A (en) 1997-04-15 1999-05-11 Modacad, Inc. Method and apparatus for mapping a two-dimensional texture onto a three-dimensional surface
US6331869B1 (en) 1998-08-07 2001-12-18 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
US6459451B2 (en) 1996-06-24 2002-10-01 Be Here Corporation Method and apparatus for a panoramic camera to capture a 360 degree image
US6043837A (en) 1997-05-08 2000-03-28 Be Here Corporation Method and apparatus for electronically distributing images from a panoptic camera system
JPH10327415A (ja) 1997-05-22 1998-12-08 Mitsubishi Electric Corp 動きベクトル検出装置
US6993201B1 (en) 1997-07-08 2006-01-31 At&T Corp. Generalized scalability for video coder based on video objects
JPH11119303A (ja) 1997-10-20 1999-04-30 Fujitsu Ltd 監視システム及び監視方法
KR100269125B1 (ko) 1997-10-25 2000-10-16 윤덕용 양자화효과감소를위한영상데이터후처리방법및장치
US6144890A (en) 1997-10-31 2000-11-07 Lear Corporation Computerized method and system for designing an upholstered part
JPH11308574A (ja) 1998-04-22 1999-11-05 Sony Corp 走査線数変換装置及び方法
US6535643B1 (en) 1998-11-03 2003-03-18 Lg Electronics Inc. Method for recovering compressed motion picture for eliminating blocking artifacts and ring effects and apparatus therefor
US6204854B1 (en) 1998-12-04 2001-03-20 France Telecom Method and system for encoding rotations and normals in 3D generated scenes
US6850565B2 (en) 1998-12-18 2005-02-01 Intel Corporation Real time bit rate control system
US6222883B1 (en) 1999-01-28 2001-04-24 International Business Machines Corporation Video encoding motion estimation employing partitioned and reassembled search window
US6690374B2 (en) 1999-05-12 2004-02-10 Imove, Inc. Security camera system for tracking moving objects in both forward and reverse directions
US7050085B1 (en) 2000-10-26 2006-05-23 Imove, Inc. System and method for camera calibration
JP2001008232A (ja) 1999-06-25 2001-01-12 Matsushita Electric Ind Co Ltd 全方位映像出力方法と装置
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6769131B1 (en) 1999-11-18 2004-07-27 Canon Kabushiki Kaisha Image processing apparatus and method, image distribution system and storage medium
FR2802002B1 (fr) 1999-12-02 2002-03-01 Ge Medical Syst Sa Procede de recalage automatique d'images tridimensionnelles
JP2001189902A (ja) 1999-12-28 2001-07-10 Nec Corp ヘッドマウンテッドディスプレイ制御方法及びヘッドマウンテッドディスプレイ装置
US7259760B1 (en) 2000-02-16 2007-08-21 Be Here Corporation Polygonal curvature mapping to increase texture efficiency
US6559853B1 (en) 2000-02-16 2003-05-06 Enroute, Inc. Environment map creation using texture projections with polygonal curved surfaces
GB2363019B (en) 2000-04-07 2004-02-25 Discreet Logic Inc Processing image data
US6973130B1 (en) 2000-04-25 2005-12-06 Wee Susie J Compressed video signal including information for independently coded regions
US7149549B1 (en) 2000-10-26 2006-12-12 Ortiz Luis M Providing multiple perspectives for a venue activity through an electronic hand held device
US7095905B1 (en) 2000-09-08 2006-08-22 Adobe Systems Incorporated Merging images to form a panoramic image
US20020080878A1 (en) 2000-10-12 2002-06-27 Webcast Technologies, Inc. Video apparatus and method for digital video enhancement
US7742073B1 (en) 2000-11-01 2010-06-22 Koninklijke Philips Electronics N.V. Method and apparatus for tracking an object of interest using a camera associated with a hand-held processing device
US7327787B1 (en) 2000-11-20 2008-02-05 Intel Corporation Method and apparatus for motion estimation
US6952286B2 (en) 2000-12-07 2005-10-04 Eastman Kodak Company Doubleprint photofinishing service with the second print having subject content-based modifications
US7003061B2 (en) 2000-12-21 2006-02-21 Adobe Systems Incorporated Image extraction from complex scenes in digital video
US8253754B2 (en) 2001-01-16 2012-08-28 Microsoft Corporation Sampling-efficient mapping of images
GB0101371D0 (en) 2001-01-19 2001-03-07 Virtual Mirrors Ltd Production and visualisation of garments
WO2002080521A2 (en) 2001-03-30 2002-10-10 Digeo, Inc. System and method for a software steerable web camera with multiple image subset capture
US6756990B2 (en) 2001-04-03 2004-06-29 Be Here Corporation Image filtering on 3D objects using 2D manifolds
US7006707B2 (en) 2001-05-03 2006-02-28 Adobe Systems Incorporated Projecting images onto a surface
JP4446663B2 (ja) 2001-05-11 2010-04-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 医療レポートを作成する方法、システム及びコンピュータプログラム
JP4584575B2 (ja) 2001-07-06 2010-11-24 クゥアルコム・インコーポレイテッド ３ｄ画像に表示される３ｄサーフェイスとインタラクトする画像処理方法
AU2002324771A1 (en) 2001-08-25 2003-03-10 Eyesee360, Inc. Method and apparatus for encoding photogrraphic images
WO2003027766A2 (en) 2001-09-27 2003-04-03 Eyesee360, Inc. System and method for panoramic imaging
US7039113B2 (en) 2001-10-16 2006-05-02 Koninklijke Philips Electronics N.V. Selective decoding of enhanced video stream
US7161599B2 (en) 2001-10-18 2007-01-09 Microsoft Corporation Multiple-level graphics processing system and method
JP2003141562A (ja) 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
US20030099294A1 (en) 2001-11-27 2003-05-29 Limin Wang Picture level adaptive frame/field coding for digital video content
JP4082021B2 (ja) 2001-11-29 2008-04-30 コニカミノルタホールディングス株式会社 テクスチャ画像生成プログラム、テクスチャ画像データ及びデータ処理装置
CN101448162B (zh) 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
US7782357B2 (en) 2002-06-21 2010-08-24 Microsoft Corporation Minimizing dead zones in panoramic images
US20040022322A1 (en) 2002-07-19 2004-02-05 Meetrix Corporation Assigning prioritization during encode of independently compressed objects
US6925123B2 (en) 2002-08-06 2005-08-02 Motorola, Inc. Method and apparatus for performing high quality fast predictive motion search
US7023921B2 (en) 2002-08-06 2006-04-04 Motorola, Inc. Method and apparatus for determining block match quality
US20040032906A1 (en) 2002-08-19 2004-02-19 Lillig Thomas M. Foreground segmentation for digital video
US20040056900A1 (en) 2002-09-23 2004-03-25 Blume Leo R System and method for window priority rendering
SE0203908D0 (sv) 2002-12-30 2002-12-30 Abb Research Ltd An augmented reality system and method
US7385995B2 (en) 2003-01-13 2008-06-10 Brooktree Broadband Holding, Inc. System and method for dynamic bandwidth allocation on PONs
US8027473B2 (en) 2003-01-13 2011-09-27 Conexant Systems, Inc. System and method for improved data protection in PONs
WO2004086748A2 (en) 2003-03-20 2004-10-07 Covi Technologies Inc. Systems and methods for multi-resolution image processing
US8065614B2 (en) 2003-04-09 2011-11-22 Ati Technologies, Inc. System for displaying video and method thereof
RU2225035C1 (ru) 2003-04-21 2004-02-27 Общество с ограниченной ответственностью "Р.Т.С.-Сервис" Способ кодирования координат перемещающегося на экране вычислительного устройства видеоизображения, устройство для декодирования визуального объекта, закодированного этим способом, и система, предназначенная для визуализации активного видео с помощью этого устройства
TW594594B (en) 2003-05-16 2004-06-21 Ind Tech Res Inst A multilevel texture processing method for mapping multiple images onto 3D models
US20050013498A1 (en) 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US7212206B2 (en) 2003-08-20 2007-05-01 Sony Computer Entertainment Inc. Method and apparatus for self shadowing and self interreflection light capture
US7719978B2 (en) 2003-09-12 2010-05-18 Newsouth Innovations Pty Limited Method for transmitting data over lossy packet-based communication networks
US20050069682A1 (en) 2003-09-30 2005-03-31 Tan Tseng Custom 3-D Milled Object with Vacuum-Molded 2-D Printout Created from a 3-D Camera
US7433535B2 (en) 2003-09-30 2008-10-07 Hewlett-Packard Development Company, L.P. Enhancing text-like edges in digital images
KR100657261B1 (ko) 2003-12-10 2006-12-14 삼성전자주식회사 적응적 움직임 보상 보간 방법 및 장치
US20050204113A1 (en) 2004-03-09 2005-09-15 International Business Machines Corp. Method, system and storage medium for dynamically selecting a page management policy for a memory controller
US7496141B2 (en) 2004-04-29 2009-02-24 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7400679B2 (en) 2004-04-29 2008-07-15 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US20050286777A1 (en) 2004-06-27 2005-12-29 Roger Kumar Encoding and decoding images
US8442311B1 (en) 2005-06-30 2013-05-14 Teradici Corporation Apparatus and method for encoding an image generated in part by graphical commands
US7929800B2 (en) 2007-02-06 2011-04-19 Meadow William D Methods and apparatus for generating a continuum of image data
US8194093B2 (en) 2004-09-15 2012-06-05 Onlive, Inc. Apparatus and method for capturing the expression of a performer
US20060055706A1 (en) 2004-09-15 2006-03-16 Perlman Stephen G Apparatus and method for capturing the motion of a performer
US7660245B1 (en) 2004-09-16 2010-02-09 Qualcomm Incorporated FEC architecture for streaming services including symbol-based operations and packet tagging
US20070291143A1 (en) 2004-09-24 2007-12-20 Koninklijke Philips Electronics, N.V. System And Method For The Production Of Composite Images Comprising Or Using One Or More Cameras For Providing Overlapping Images
EP1797723A1 (en) 2004-10-05 2007-06-20 Vectormax Corporation A video compression system
US20060132482A1 (en) 2004-11-12 2006-06-22 Oh Byong M Method for inter-scene transitions
US7620261B2 (en) 2004-11-23 2009-11-17 Stmicroelectronics Asia Pacific Pte. Ltd. Edge adaptive filtering system for reducing artifacts and method
US7432936B2 (en) 2004-12-02 2008-10-07 Avid Technology, Inc. Texture data anti-aliasing method and apparatus
US7792385B2 (en) 2005-01-25 2010-09-07 Globalfoundries Inc. Scratch pad for storing intermediate loop filter data
US8576924B2 (en) 2005-01-25 2013-11-05 Advanced Micro Devices, Inc. Piecewise processing of overlap smoothing and in-loop deblocking
US8693537B2 (en) 2005-03-01 2014-04-08 Qualcomm Incorporated Region-of-interest coding with background skipping for video telephony
JP4708819B2 (ja) 2005-03-14 2011-06-22 キヤノン株式会社 画像処理装置、方法、コンピュータプログラム及び記憶媒体
US20060282855A1 (en) 2005-05-05 2006-12-14 Digital Display Innovations, Llc Multiple remote display system
US7755667B2 (en) 2005-05-17 2010-07-13 Eastman Kodak Company Image sequence stabilization method and camera having dual path image sequence stabilization
US8045615B2 (en) 2005-05-25 2011-10-25 Qualcomm Incorporated Deblock filtering techniques for video coding according to multiple video standards
WO2007002146A2 (en) 2005-06-22 2007-01-04 The Research Foundation Of State University Of New York System and method for computer aided polyp detection
US20070024705A1 (en) 2005-08-01 2007-02-01 Richter Roger K Systems and methods for video stream selection
US20070064120A1 (en) 2005-09-16 2007-03-22 Richard Didow Chroma-key event photography
US9258519B2 (en) 2005-09-27 2016-02-09 Qualcomm Incorporated Encoder assisted frame rate up conversion using various motion models
MX2008004760A (es) 2005-10-12 2008-11-13 Thomson Licensing Region de codificacion de video h .264 escalable de interes.
US7956929B2 (en) 2005-10-31 2011-06-07 Broadcom Corporation Video background subtractor system
GB0600141D0 (en) 2006-01-05 2006-02-15 British Broadcasting Corp Scalable coding of video signals
US7415356B1 (en) 2006-02-03 2008-08-19 Zillow, Inc. Techniques for accurately synchronizing portions of an aerial image with composited visual information
WO2007093780A2 (en) 2006-02-13 2007-08-23 Snell & Wilcox Limited Method and apparatus for modifying a moving image sequence
US8279928B2 (en) 2006-05-09 2012-10-02 Canon Kabushiki Kaisha Image encoding apparatus and encoding method, image decoding apparatus and decoding method
US8223842B2 (en) 2006-05-24 2012-07-17 Panasonic Corporation Dynamic image decoding device
EP2041976A4 (en) 2006-07-12 2012-06-20 Nokia Corp SIGNALING OF SCALABILITY INFORMATION FROM THE INTERESTING REGION IN MEDIA FILES
US8446509B2 (en) 2006-08-09 2013-05-21 Tenebraex Corporation Methods of creating a virtual window
US7643662B2 (en) 2006-08-15 2010-01-05 General Electric Company System and method for flattened anatomy for interactive segmentation and measurement
US7693349B2 (en) 2006-08-15 2010-04-06 General Electric Company Systems and methods for interactive image registration
WO2008039371A2 (en) 2006-09-22 2008-04-03 Objectvideo, Inc. Video background replacement system
JP4931055B2 (ja) 2006-11-22 2012-05-16 ソニー株式会社 画像処理装置及び画像処理方法
US8462109B2 (en) 2007-01-05 2013-06-11 Invensense, Inc. Controlling and accessing content using motion processing on mobile devices
US8630512B2 (en) 2007-01-25 2014-01-14 Skyfire Labs, Inc. Dynamic client-server video tiling streaming
JP4682990B2 (ja) 2007-02-06 2011-05-11 日本ビクター株式会社 カメラ画像圧縮処理装置及び圧縮処理方法
KR100866230B1 (ko) 2007-04-12 2008-10-30 삼성전자주식회사 파노라마 사진 촬영 방법
KR101328950B1 (ko) 2007-04-24 2013-11-13 엘지전자 주식회사 화상 디스플레이 방법 및 이를 구현할 수 있는 화상통신용단말기
AU2007202789B9 (en) 2007-06-15 2011-08-18 Canon Kabushiki Kaisha High-fidelity motion summarisation method
JPWO2009001793A1 (ja) 2007-06-26 2010-08-26 株式会社東芝 画像符号化と画像復号化の方法及び装置
KR100882011B1 (ko) 2007-07-29 2009-02-04 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치
JP2009042811A (ja) 2007-08-06 2009-02-26 Univ Of Tokyo ３次元形状展開装置、３次元形状展開方法、および３次元形状展開用プログラム
KR101946376B1 (ko) 2007-10-16 2019-02-11 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US8638327B2 (en) 2007-11-14 2014-01-28 Microsoft Corporation Tiled projections for planar processing of round earth data
KR100914846B1 (ko) 2007-12-15 2009-09-02 한국전자통신연구원 2차원 환경에서 3차원 모델의 텍스쳐 맵 제작 방법 및시스템
US8170367B2 (en) 2008-01-28 2012-05-01 Vistaprint Technologies Limited Representing flat designs to be printed on curves of a 3-dimensional product
CA2714362A1 (en) 2008-01-29 2009-08-06 Enforcement Video, Llc Omnidirectional camera for use in police car event recording
US8269765B2 (en) 2008-02-28 2012-09-18 Autodesk, Inc. System and method for removing seam artifacts
US9305389B2 (en) 2008-02-28 2016-04-05 Autodesk, Inc. Reducing seam artifacts when applying a texture to a three-dimensional (3D) model
US8217956B1 (en) 2008-02-29 2012-07-10 Adobe Systems Incorporated Method and apparatus for rendering spherical panoramas
US20090262838A1 (en) 2008-04-21 2009-10-22 Qualcomm Incorporated Method and apparatus for encoding transmission data blocks for enhanced switching performance
KR20090129926A (ko) 2008-06-13 2009-12-17 삼성전자주식회사 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
KR101595344B1 (ko) 2008-08-01 2016-02-18 엘지전자 주식회사 디스플레이 모듈 및 이를 구비한 휴대 단말기
US8804821B2 (en) 2008-09-26 2014-08-12 Microsoft Corporation Adaptive video processing of an interactive environment
US20100079605A1 (en) 2008-09-29 2010-04-01 William Marsh Rice University Sensor-Assisted Motion Estimation for Efficient Video Encoding
US9596485B2 (en) 2008-10-27 2017-03-14 Sk Telecom Co., Ltd. Motion picture encoding/decoding apparatus, adaptive deblocking filtering apparatus and filtering method for same, and recording medium
KR101315456B1 (ko) 2008-11-05 2013-10-04 삼성전자주식회사 화상형성장치와 연결된 호스트장치, 이를 포함하는 화상형성시스템 및 화상형성장치의 배경화면 변경방법
WO2010057170A1 (en) 2008-11-17 2010-05-20 Cernium Corporation Analytics-modulated coding of surveillance video
US8295360B1 (en) 2008-12-23 2012-10-23 Elemental Technologies, Inc. Method of efficiently implementing a MPEG-4 AVC deblocking filter on an array of parallel processors
US20100316129A1 (en) 2009-03-27 2010-12-16 Vixs Systems, Inc. Scaled motion search section with downscaling filter and method for use therewith
US8364561B2 (en) 2009-05-26 2013-01-29 Embodee Corp. Garment digitization system and method
US20130124156A1 (en) 2009-05-26 2013-05-16 Embodee Corp Footwear digitization system and method
US20100329362A1 (en) 2009-06-30 2010-12-30 Samsung Electronics Co., Ltd. Video encoding and decoding apparatus and method using adaptive in-loop filter
US20100329361A1 (en) 2009-06-30 2010-12-30 Samsung Electronics Co., Ltd. Apparatus and method for in-loop filtering of image data and apparatus for encoding/decoding image data using the same
KR100988872B1 (ko) 2009-07-08 2010-10-20 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 복합 영상을 얻는 방법과 그 영상 시스템 및 하드웨어적으로 영상처리를 하는 이미지 센서
US9300969B2 (en) 2009-09-09 2016-03-29 Apple Inc. Video storage
JP5357685B2 (ja) 2009-09-28 2013-12-04 株式会社ソニー・コンピュータエンタテインメント ３次元オブジェクト処理装置、３次元オブジェクト処理方法、プログラム、及び情報記憶媒体
US20110128350A1 (en) 2009-11-30 2011-06-02 Motorola, Inc. Method and apparatus for choosing a desired field of view from a wide-angle image or video
US20110142306A1 (en) 2009-12-16 2011-06-16 Vivek Nair Method and system for generating a medical image
US9762795B2 (en) 2013-09-04 2017-09-12 Gyeongil Kweon Method and apparatus for obtaining rectilinear images using rotationally symmetric wide-angle lens
CN102763136B (zh) 2010-02-11 2015-04-01 诺基亚公司 用于提供多线程视频解码的方法和设备
CN102812706B (zh) 2010-03-16 2016-11-02 汤姆逊许可证公司 用于视频编码和解码的隐式自适应运动向量预测值选择的方法和装置
US20110235706A1 (en) 2010-03-25 2011-09-29 Texas Instruments Incorporated Region of interest (roi) video encoding
US8660174B2 (en) 2010-06-15 2014-02-25 Mediatek Inc. Apparatus and method of adaptive offset for video coding
US9094658B2 (en) 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
US8730267B2 (en) 2010-06-21 2014-05-20 Celsia, Llc Viewpoint change on a display device based on movement of the device
WO2012010220A2 (en) 2010-07-19 2012-01-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Filling disocclusions in a virtual view
US8762890B2 (en) 2010-07-27 2014-06-24 Telcordia Technologies, Inc. System and method for interactive projection and playback of relevant media segments onto the facets of three-dimensional shapes
WO2012040721A2 (en) 2010-09-24 2012-03-29 The Research Foundation Of State University Of New York Registration of scanned objects obtained from different orientations
US8913666B2 (en) 2010-10-01 2014-12-16 Qualcomm Incorporated Entropy coding coefficients using a joint context model
CA2812242A1 (en) 2010-10-01 2012-04-05 General Instrument Corporation Coding and decoding utilizing picture boundary padding in flexible partitioning
RU2010144450A (ru) 2010-10-29 2012-05-10 ЭлЭсАй Корпорейшн (US) Оценка движения для видео транскодера
US9007432B2 (en) 2010-12-16 2015-04-14 The Massachusetts Institute Of Technology Imaging systems and methods for immersive surveillance
JP5631229B2 (ja) 2011-01-31 2014-11-26 キヤノン株式会社 撮像装置、その制御方法及びプログラム
US9288476B2 (en) 2011-02-17 2016-03-15 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
US9282321B2 (en) 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
EP2678944B1 (en) 2011-02-25 2019-11-06 BlackBerry Limited Methods and devices for data compression using offset-based adaptive reconstruction levels
US9288501B2 (en) 2011-03-08 2016-03-15 Qualcomm Incorporated Motion vector predictors (MVPs) for bi-predictive inter mode in video coding
US8907968B2 (en) 2011-03-31 2014-12-09 Panasonic Corporation Image rendering device, image rendering method, and image rendering program for rendering stereoscopic panoramic images
US9071484B1 (en) 2011-04-05 2015-06-30 Elemental Technologies, Inc. Feedback optimized video coding parameters
US9360991B2 (en) 2011-04-11 2016-06-07 Microsoft Technology Licensing, Llc Three-dimensional icons for organizing, invoking, and using applications
US9143795B2 (en) 2011-04-11 2015-09-22 Texas Instruments Incorporated Parallel motion estimation in video coding
US9247266B2 (en) 2011-04-18 2016-01-26 Texas Instruments Incorporated Temporal motion data candidate derivation in video coding
US20160286119A1 (en) 2011-04-18 2016-09-29 360fly, Inc. Mobile Device-Mountable Panoramic Camera System and Method of Displaying Images Captured Therefrom
US9288500B2 (en) 2011-05-12 2016-03-15 Texas Instruments Incorporated Luma-based chroma intra-prediction for video coding
US8730930B2 (en) 2011-05-31 2014-05-20 Broadcom Corporation Polling using B-ACK for occasional back-channel traffic in VoWIFI applications
US9866859B2 (en) 2011-06-14 2018-01-09 Texas Instruments Incorporated Inter-prediction candidate index coding independent of inter-prediction candidate list construction in video coding
US8964008B2 (en) 2011-06-17 2015-02-24 Microsoft Technology Licensing, Llc Volumetric video presentation
US8484391B2 (en) 2011-06-20 2013-07-09 Intel Corporation Configurable buffer allocation for multi-format video processing
US10484693B2 (en) 2011-06-22 2019-11-19 Texas Instruments Incorporated Method and apparatus for sample adaptive offset parameter estimation for image and video coding
US9153031B2 (en) 2011-06-22 2015-10-06 Microsoft Technology Licensing, Llc Modifying video regions using mobile device input
KR101756843B1 (ko) 2011-06-28 2017-07-11 삼성전자주식회사 휘도 성분 영상을 이용한 색차 성분 영상의 예측 방법 및 예측 장치
US20130003858A1 (en) 2011-06-30 2013-01-03 Vivienne Sze Simplified Context Selection For Entropy Coding of Transform Coefficient Syntax Elements
WO2013006986A1 (en) 2011-07-12 2013-01-17 Intel Corporation Luma-based chroma intra prediction
US11245912B2 (en) 2011-07-12 2022-02-08 Texas Instruments Incorporated Fast motion estimation for hierarchical coding structures
US8890863B1 (en) 2011-08-12 2014-11-18 Google Inc. Automatic method for photo texturing geolocated 3-D models from geolocated imagery
US8682091B2 (en) 2011-08-18 2014-03-25 International Business Machines Corporation Real-time image compression
US8804816B2 (en) 2011-08-30 2014-08-12 Microsoft Corporation Video encoding enhancements
US20130051467A1 (en) 2011-08-31 2013-02-28 Apple Inc. Hybrid inter/intra prediction in video coding systems
PL3306921T3 (pl) 2011-09-09 2021-05-04 Sun Patent Trust Wykorzystanie decyzji o niskim stopniu złożoności do filtrowania deblokującego
US8988446B2 (en) 2011-10-07 2015-03-24 Zynga Inc. 2D animation from a 3D mesh
US8913656B2 (en) 2011-10-14 2014-12-16 Mediatek Inc. Method and apparatus for in-loop filtering
IN2014CN02602A (zh) 2011-10-19 2015-08-07 Panasonic Corp
US9510020B2 (en) 2011-10-20 2016-11-29 Qualcomm Incorporated Intra pulse code modulation (IPCM) and lossless coding mode deblocking for video coding
US8504941B2 (en) 2011-10-31 2013-08-06 Utc Fire & Security Corporation Digital image magnification user interface
US9253482B2 (en) 2011-11-08 2016-02-02 Texas Insturments Incorporated Method and apparatus for sample adaptive offset without sign coding
US20130128986A1 (en) 2011-11-23 2013-05-23 Mediatek Inc. Method and Apparatus of Slice Boundary Padding for Loop Filtering
KR20130058584A (ko) 2011-11-25 2013-06-04 삼성전자주식회사 복호화기의 버퍼 관리를 위한 영상 부호화 방법 및 장치, 그 영상 복호화 방법 및 장치
US9723223B1 (en) 2011-12-02 2017-08-01 Amazon Technologies, Inc. Apparatus and method for panoramic video hosting with directional audio
US9838687B1 (en) 2011-12-02 2017-12-05 Amazon Technologies, Inc. Apparatus and method for panoramic video hosting with reduced bandwidth streaming
US9516225B2 (en) 2011-12-02 2016-12-06 Amazon Technologies, Inc. Apparatus and method for panoramic video hosting
US9404764B2 (en) 2011-12-30 2016-08-02 Here Global B.V. Path side imagery
WO2013102293A1 (en) 2012-01-04 2013-07-11 Mediatek Singapore Pte. Ltd. Improvements of luma-based chroma intra prediction
US9332259B2 (en) 2012-01-18 2016-05-03 Qualcomm Incorporated Indication of use of wavefront parallel processing in video coding
US9729870B2 (en) 2012-01-31 2017-08-08 Apple Inc. Video coding efficiency with camera metadata
BR112013027865B1 (pt) 2012-02-03 2023-03-21 Hfi Innovation Inc Método e aparelho de processamento de filtro em loop para pixels de fronteira através de uma fronteira de bloco
US9423994B2 (en) 2012-02-22 2016-08-23 Citrix Systems, Inc. Hierarchical display
US11263823B2 (en) 2012-02-24 2022-03-01 Matterport, Inc. Employing three-dimensional (3D) data predicted from two-dimensional (2D) images using neural networks for 3D modeling applications and other applications
US9094681B1 (en) 2012-02-28 2015-07-28 Google Inc. Adaptive segmentation
JP6222576B2 (ja) 2012-03-21 2017-11-01 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、および画像符号化復号装置
US20130251028A1 (en) 2012-03-22 2013-09-26 The Hong Kong University Of Science And Technology Video encoding and decoding with channel prediction and error correction capability
JPWO2013150838A1 (ja) 2012-04-05 2015-12-17 ソニー株式会社 画像処理装置及び画像処理方法
US10721487B2 (en) 2012-04-17 2020-07-21 Texas Instruments Incorporated Converting a bi-predicted merging candidate in a merging candidate list for a prediction unit of a picture
US9591312B2 (en) 2012-04-17 2017-03-07 Texas Instruments Incorporated Memory bandwidth reduction for motion compensation in video coding
US9451163B2 (en) 2012-05-11 2016-09-20 Qualcomm Incorporated Motion sensor assisted rate control for video encoding
US9256961B2 (en) 2012-06-28 2016-02-09 Here Global B.V. Alternate viewpoint image enhancement
US9467653B2 (en) 2012-06-29 2016-10-11 Avaya Inc. System and method for aggressive downstream bandwidth conservation based on user inactivity
CN108683911B (zh) 2012-07-02 2021-02-02 太阳专利托管公司 图像解码方法及图像解码装置
US9264710B2 (en) 2012-07-06 2016-02-16 Texas Instruments Incorporated Method and system for video picture intra-prediction estimation
GB2505912B (en) 2012-09-14 2015-10-07 Canon Kk Method and device for generating a description file, and corresponding streaming method
US9898829B2 (en) 2012-09-18 2018-02-20 Hanwha Techwin Co., Ltd. Monitoring apparatus and system using 3D information of images and monitoring method using the same
US8880563B2 (en) 2012-09-21 2014-11-04 Adobe Systems Incorporated Image search by query object segmentation
IN2015DN02130A (zh) 2012-09-27 2015-08-14 Dolby Lab Licensing Corp
US8989508B2 (en) 2012-09-28 2015-03-24 Sharp Kabushiki Kaisha Electronic device for signaling a sub-picture buffer parameter
US20140368669A1 (en) 2012-10-04 2014-12-18 Google Inc. Gpu-accelerated background replacement
WO2014078068A1 (en) 2012-11-13 2014-05-22 Intel Corporation Content adaptive transform coding for next generation video
US9253503B2 (en) 2012-12-18 2016-02-02 Xerox Corporation Computationally efficient motion estimation with learning capabilities for video compression in transportation and regularized environments
JP6044328B2 (ja) 2012-12-26 2016-12-14 株式会社リコー 画像処理システム、画像処理方法およびプログラム
US9639635B2 (en) 2013-01-02 2017-05-02 Embodee Corp Footwear digitization system and method
US20150358633A1 (en) 2013-01-17 2015-12-10 Samsung Electronics Co., Ltd. Method for encoding video for decoder setting and device therefor, and method for decoding video on basis of decoder setting and device therefor
US20140218356A1 (en) 2013-02-06 2014-08-07 Joshua D.I. Distler Method and apparatus for scaling images
CN104020935A (zh) 2013-02-28 2014-09-03 国际商业机器公司 用于控制显示屏上的显示对象的方法和装置
US9398302B2 (en) 2013-03-08 2016-07-19 Mediatek Inc. Image encoding method and apparatus with rate control by selecting target bit budget from pre-defined candidate bit budgets and related image decoding method and apparatus
CN105580369B (zh) 2013-03-11 2019-04-26 杜比实验室特许公司 使用分层编码对多格式高动态范围视频进行编解码的方法、装置及系统
JP2014176034A (ja) 2013-03-12 2014-09-22 Ricoh Co Ltd 映像伝送装置
US10127636B2 (en) 2013-09-27 2018-11-13 Kofax, Inc. Content-based detection and three dimensional geometric reconstruction of objects in image and video data
US9013536B2 (en) 2013-03-13 2015-04-21 Futurewei Technologies, Inc. Augmented video calls on mobile devices
US9007404B2 (en) 2013-03-15 2015-04-14 Legend3D, Inc. Tilt-based look around effect image enhancement method
US10205962B2 (en) 2013-03-15 2019-02-12 Raymond Zenkich System and method for non-uniform video coding
US9854252B2 (en) 2013-05-20 2017-12-26 Texas Instruments Incorporated Method and apparatus of HEVC de-blocking filter
US10015515B2 (en) 2013-06-21 2018-07-03 Qualcomm Incorporated Intra prediction from a predictive block
AU2013206597A1 (en) 2013-06-28 2015-01-22 Canon Kabushiki Kaisha Depth constrained superpixel-based depth map refinement
EP3021586A4 (en) 2013-07-07 2016-12-07 Wilus Inst Standards & Technology Inc METHOD AND APPARATUS FOR PROCESSING VIDEO SIGNAL
US9055186B2 (en) 2013-07-23 2015-06-09 Personify, Inc Systems and methods for integrating user personas with content during video conferencing
JP6091371B2 (ja) 2013-07-29 2017-03-08 ローランドディー．ジー．株式会社 スライスデータ作成装置、スライスデータ作成方法、プログラムおよびコンピューター読み取り可能な記録媒体
EP3331231A1 (en) 2013-08-28 2018-06-06 Ricoh Company Ltd. Image processing apparatus, image processing method, and imaging system
US20150089348A1 (en) 2013-09-23 2015-03-26 Yahoo! Inc. System and method for web page background image delivery
US9819941B2 (en) 2013-10-10 2017-11-14 Qualcomm Incorporated Signaling for sub-decoded picture buffer (sub-DPB) based DPB operations in video coding
US10089737B2 (en) 2013-11-27 2018-10-02 Children's National Medical Center 3D corrected imaging
CN104683801B (zh) 2013-11-29 2018-06-05 华为技术有限公司 图像压缩方法和装置
US9781356B1 (en) 2013-12-16 2017-10-03 Amazon Technologies, Inc. Panoramic video viewer
US9414016B2 (en) 2013-12-31 2016-08-09 Personify, Inc. System and methods for persona identification using combined probability maps
EP3092806A4 (en) 2014-01-07 2017-08-23 Nokia Technologies Oy Method and apparatus for video coding and decoding
US9883197B2 (en) 2014-01-09 2018-01-30 Qualcomm Incorporated Intra prediction of chroma blocks using the same vector
US20150215631A1 (en) 2014-01-23 2015-07-30 Broadcom Corporation Parallel Coding with Overlapped Tiles
KR102149448B1 (ko) 2014-02-21 2020-08-28 삼성전자주식회사 이미지를 처리하기 위한 전자 장치 및 방법
JP2015170994A (ja) 2014-03-07 2015-09-28 ソニー株式会社 画像処理装置および方法、画像符号化装置および方法、並びに、画像復号装置および方法
WO2015138979A2 (en) 2014-03-14 2015-09-17 Sharp Laboratories Of America, Inc. Dpb capacity limits
GB2524249B (en) 2014-03-17 2021-01-20 Sony Interactive Entertainment Inc Image Processing
US20150264404A1 (en) 2014-03-17 2015-09-17 Nokia Technologies Oy Method and apparatus for video coding and decoding
US9756354B2 (en) 2014-03-17 2017-09-05 Qualcomm Incorporated Block vector predictor for intra block copying
US10477232B2 (en) 2014-03-21 2019-11-12 Qualcomm Incorporated Search region determination for intra block copy in video coding
US20150279121A1 (en) 2014-03-27 2015-10-01 Knockout Concepts, Llc Active Point Cloud Modeling
GB2526263B (en) 2014-05-08 2019-02-06 Sony Interactive Entertainment Europe Ltd Image capture method and apparatus
US9986154B2 (en) 2014-05-21 2018-05-29 Here Global B.V. Developing a panoramic image
US10104397B2 (en) 2014-05-28 2018-10-16 Mediatek Inc. Video processing apparatus for storing partial reconstructed pixel data in storage device for use in intra prediction and related video processing method
CN106416239B (zh) 2014-05-29 2019-04-09 奈克斯特Vr股份有限公司 用于交付内容和/或回放内容的方法和装置
US20150346812A1 (en) 2014-05-29 2015-12-03 Nextvr Inc. Methods and apparatus for receiving content and/or playing back content
WO2015191466A1 (en) 2014-06-09 2015-12-17 GroupeSTAHL Apparatuses and methods of interacting with 2d design documents and 3d models and generating production textures for wrapping artwork around portions of 3d objects
JP6401309B2 (ja) 2014-06-19 2018-10-10 ヴィド スケール インコーポレイテッド ３次元ベースのカラーマッピングでのモデルパラメータ最適化のためのシステムおよび方法
US9930341B2 (en) 2014-06-20 2018-03-27 Qualcomm Incorporated Block vector coding for intra block copying
US10694192B2 (en) 2014-06-27 2020-06-23 Koninklijke Kpn N.V. HEVC-tiled video streaming
US10204658B2 (en) 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
CN104156947B (zh) 2014-07-23 2018-03-16 小米科技有限责任公司 图像分割方法、装置及设备
WO2016015623A1 (en) 2014-07-28 2016-02-04 Mediatek Inc. Portable device with adaptive panoramic image processor
JP6642432B2 (ja) 2014-07-31 2020-02-05 ソニー株式会社 情報処理装置及び情報処理方法、並びに画像表示システム
WO2016038970A1 (ja) 2014-09-08 2016-03-17 富士フイルム株式会社 撮像制御装置、撮像制御方法、カメラシステム及びプログラム
GB2520822B (en) 2014-10-10 2016-01-13 Aveva Solutions Ltd Image rendering of laser scan data
US9917877B2 (en) 2014-10-20 2018-03-13 Google Llc Streaming the visible parts of a spherical video
KR102309281B1 (ko) 2014-11-07 2021-10-08 삼성전자주식회사 오브젝트를 표시하는 방향 기반 전자 장치 및 방법
US10104361B2 (en) 2014-11-14 2018-10-16 Samsung Electronics Co., Ltd. Coding of 360 degree videos using region adaptive smoothing
US10237559B2 (en) 2014-11-20 2019-03-19 Getgo, Inc. Layer-based video decoding
EP3029937B1 (en) 2014-12-03 2016-11-16 Axis AB Method and encoder for video encoding of a sequence of frames
US9866815B2 (en) 2015-01-05 2018-01-09 Qualcomm Incorporated 3D object segmentation
CN104539962B (zh) 2015-01-20 2017-12-01 北京工业大学 一种融合视觉感知特征的可分层视频编码方法
US10070130B2 (en) 2015-01-30 2018-09-04 Qualcomm Incorporated Flexible partitioning of prediction units
JP5846549B1 (ja) 2015-02-06 2016-01-20 株式会社リコー 画像処理システム、画像処理方法、プログラム、撮像システム、画像生成装置、画像生成方法およびプログラム
JP2018511971A (ja) 2015-02-17 2018-04-26 ネクストブイアール・インコーポレイテッド 解像度低下画像を生成および使用するならびに／またはそのような画像を再生デバイスまたはコンテンツ配布デバイスに通信するための方法および装置
US10362290B2 (en) 2015-02-17 2019-07-23 Nextvr Inc. Methods and apparatus for processing content based on viewing information and/or communicating content
US20180048890A1 (en) 2015-03-02 2018-02-15 Lg Electronics Inc. Method and device for encoding and decoding video signal by using improved prediction filter
CN107409232B (zh) 2015-03-05 2020-06-09 索尼公司 图像处理设备和图像处理方法
WO2016140082A1 (ja) 2015-03-05 2016-09-09 ソニー株式会社 画像処理装置および画像処理方法
CN107409233B (zh) 2015-03-05 2020-04-14 索尼公司 图像处理装置和图像处理方法
JP5920507B1 (ja) 2015-03-10 2016-05-18 株式会社リコー 画像処理システム、画像処理方法およびプログラム
US9232189B2 (en) 2015-03-18 2016-01-05 Avatar Merger Sub Ii, Llc. Background modification in video conferencing
US9754413B1 (en) 2015-03-26 2017-09-05 Google Inc. Method and system for navigating in panoramic images using voxel maps
KR102013403B1 (ko) * 2015-05-27 2019-08-22 구글 엘엘씨 구면 영상 스트리밍
US10038887B2 (en) 2015-05-27 2018-07-31 Google Llc Capture and render of panoramic virtual reality content
US20160353146A1 (en) 2015-05-27 2016-12-01 Google Inc. Method and apparatus to reduce spherical video bandwidth to user headset
US9866752B2 (en) 2015-06-02 2018-01-09 Qualcomm Incorporated Systems and methods for producing a combined view from fisheye cameras
GB2538998A (en) 2015-06-03 2016-12-07 Nokia Technologies Oy A method, an apparatus, a computer program for video coding
CN115086652A (zh) 2015-06-05 2022-09-20 杜比实验室特许公司 图像编码和解码方法和图像解码设备
WO2016195460A1 (ko) 2015-06-05 2016-12-08 한양대학교 산학협력단 화면 내 예측에 대한 부호화/복호화 방법 및 장치
US10681371B2 (en) 2015-06-07 2020-06-09 Lg Electronics Inc. Method and device for performing deblocking filtering
US10448015B2 (en) 2015-06-16 2019-10-15 Lg Electronics Inc. Method and device for performing adaptive filtering according to block boundary
JP6642573B2 (ja) 2015-06-24 2020-02-05 ソニー株式会社 符号化装置、復号装置及び伝送制御方法
JP6677098B2 (ja) 2015-07-01 2020-04-08 株式会社リコー 全天球動画の撮影システム、及びプログラム
CN113810691A (zh) 2015-07-08 2021-12-17 交互数字麦迪逊专利控股公司 用于使用交叉平面滤波的增强色度编码的方法和装置
CN108141593B (zh) 2015-07-31 2022-05-03 港大科桥有限公司 用于针对深度视频的高效帧内编码的基于深度不连续的方法
US20170038942A1 (en) 2015-08-07 2017-02-09 Vrideo Playback initialization tool for panoramic videos
US9277122B1 (en) 2015-08-13 2016-03-01 Legend3D, Inc. System and method for removing camera rotation from a panoramic video
US20170054907A1 (en) 2015-08-21 2017-02-23 Yoshito NISHIHARA Safety equipment, image communication system, method for controlling light emission, and non-transitory recording medium
US9967577B2 (en) 2015-08-31 2018-05-08 Microsoft Technology Licensing, Llc Acceleration interface for video decoding
CN108141600A (zh) 2015-09-01 2018-06-08 瑞典爱立信有限公司 变换块的空间改进
US10491711B2 (en) 2015-09-10 2019-11-26 EEVO, Inc. Adaptive streaming of virtual reality data
US9781350B2 (en) 2015-09-28 2017-10-03 Qualcomm Incorporated Systems and methods for performing automatic zoom
US20170104927A1 (en) 2015-10-07 2017-04-13 Little Star Media, Inc. Systems, methods and software programs for 360 degree video distribution platforms
US20170026659A1 (en) 2015-10-13 2017-01-26 Mediatek Inc. Partial Decoding For Arbitrary View Angle And Line Buffer Reduction For Virtual Reality Video
US10152825B2 (en) 2015-10-16 2018-12-11 Fyusion, Inc. Augmenting multi-view image data with synthetic objects using IMU and image data
GB2543766B (en) 2015-10-26 2018-02-14 Advanced Risc Mach Ltd Graphics processing systems
US10277858B2 (en) 2015-10-29 2019-04-30 Microsoft Technology Licensing, Llc Tracking object of interest in an omnidirectional video
US9948893B2 (en) 2015-11-18 2018-04-17 Avaya Inc. Background replacement based on attribute of remote user or endpoint
US11412209B2 (en) 2015-11-20 2022-08-09 Electronics And Telecommunications Research Institute Method and device for encoding/decoding image using geometrically modified picture
EP3383039A4 (en) 2015-11-23 2019-04-17 Electronics and Telecommunications Research Institute METHOD FOR MULTIPLE VIEW POINT VIDEO ENCODING / DECODING
WO2017116952A1 (en) * 2015-12-29 2017-07-06 Dolby Laboratories Licensing Corporation Viewport independent image coding and rendering
US20170200315A1 (en) 2016-01-07 2017-07-13 Brendan Lockhart Live stereoscopic panoramic virtual reality streaming system
US10282814B2 (en) 2016-01-07 2019-05-07 Mediatek Inc. Method and apparatus of image formation and compression of cubic images for 360 degree panorama display
US20170214937A1 (en) 2016-01-22 2017-07-27 Mediatek Inc. Apparatus of Inter Prediction for Spherical Images and Cubic Images
CN109121466B (zh) 2016-01-22 2022-09-02 北京达佳互联信息技术有限公司 全向视频编码和流传输
US9992502B2 (en) 2016-01-29 2018-06-05 Gopro, Inc. Apparatus and methods for video compression using multi-resolution scalable coding
JP6665558B2 (ja) 2016-01-29 2020-03-13 株式会社リコー 画像管理システム、画像管理方法、画像通信システム及びプログラム
US10728546B2 (en) 2016-02-05 2020-07-28 Apple Inc. Sample adaptive offset systems and methods
US20170230668A1 (en) 2016-02-05 2017-08-10 Mediatek Inc. Method and Apparatus of Mode Information Reference for 360-Degree VR Video
US10509954B2 (en) 2016-02-10 2019-12-17 Intel Corporation Method and system of image segmentation refinement for image processing
US10147224B2 (en) 2016-02-16 2018-12-04 Samsung Electronics Co., Ltd. Method and apparatus for generating omni media texture mapping metadata
US9743060B1 (en) 2016-02-22 2017-08-22 Gopro, Inc. System and method for presenting and viewing a spherical video segment
US10334224B2 (en) 2016-02-19 2019-06-25 Alcacruz Inc. Systems and method for GPU based virtual reality video streaming server
US10484621B2 (en) 2016-02-29 2019-11-19 Gopro, Inc. Systems and methods for compressing video content
US20170272758A1 (en) 2016-03-16 2017-09-21 Mediatek Inc. Video encoding method and apparatus using independent partition coding and associated video decoding method and apparatus
US10319071B2 (en) * 2016-03-23 2019-06-11 Qualcomm Incorporated Truncated square pyramid geometry and frame packing structure for representing virtual reality video content
FI20165256L (fi) 2016-03-24 2017-09-25 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen
CN108886580A (zh) 2016-03-29 2018-11-23 索尼公司 信息处理装置、成像装置、图像再现装置、方法和程序
US9990775B2 (en) 2016-03-31 2018-06-05 Verizon Patent And Licensing Inc. Methods and systems for point-to-multipoint delivery of independently-controllable interactive media content
US10275928B2 (en) 2016-04-05 2019-04-30 Qualcomm Incorporated Dual fisheye image stitching for spherical image content
US10645362B2 (en) 2016-04-11 2020-05-05 Gopro, Inc. Systems, methods and apparatus for compressing video content
US10834419B2 (en) 2016-04-13 2020-11-10 Qualcomm Incorporated Conformance constraint for collocated reference index in video coding
US9940697B2 (en) 2016-04-15 2018-04-10 Gopro, Inc. Systems and methods for combined pipeline processing of panoramic images
US20170302714A1 (en) 2016-04-15 2017-10-19 Diplloid Inc. Methods and systems for conversion, playback and tagging and streaming of spherical images and video
US10685542B2 (en) 2016-04-26 2020-06-16 Sensormatic Electronics, LLC System and method for monitoring a premises based on parsed codec data
KR20170124814A (ko) 2016-05-03 2017-11-13 삼성전자주식회사 영상 표시 장치 및 그 동작 방법
KR20170124811A (ko) 2016-05-03 2017-11-13 삼성전자주식회사 영상 표시 장치 및 그 동작방법
US10764576B2 (en) 2016-05-04 2020-09-01 Microsoft Technology Licensing, Llc Intra-picture prediction using non-adjacent reference lines of sample values
US10249019B2 (en) 2016-05-06 2019-04-02 Mediatek Inc. Method and apparatus for mapping omnidirectional image to a layout output format
US10602191B2 (en) 2016-05-13 2020-03-24 Gopro, Inc. Apparatus and methods for video compression
WO2017195650A1 (ja) 2016-05-13 2017-11-16 ソニー株式会社 生成装置および生成方法、並びに、再生装置および再生方法
GB2550372B (en) 2016-05-17 2022-01-19 Nctech Ltd Imaging system having multiple imaging sensors and an associated method of operation
US10848668B2 (en) 2016-05-19 2020-11-24 Avago Technologies International Sales Pte. Limited 360 degree video recording and playback with object tracking
US11019257B2 (en) 2016-05-19 2021-05-25 Avago Technologies International Sales Pte. Limited 360 degree video capture and playback
US10681326B2 (en) 2016-05-19 2020-06-09 AVAGO TECHNOLOGlES INTERNATIONAL SALES PTE. LIMITED 360 degree video system with coordinate compression
US10582201B2 (en) 2016-05-19 2020-03-03 Qualcomm Incorporated Most-interested region in an image
US10979691B2 (en) 2016-05-20 2021-04-13 Qualcomm Incorporated Circular fisheye video in virtual reality
US10565463B2 (en) 2016-05-24 2020-02-18 Qualcomm Incorporated Advanced signaling of a most-interested region in an image
US9639935B1 (en) 2016-05-25 2017-05-02 Gopro, Inc. Apparatus and methods for camera alignment model calibration
US20170353737A1 (en) 2016-06-07 2017-12-07 Mediatek Inc. Method and Apparatus of Boundary Padding for VR Video Processing
US11025933B2 (en) 2016-06-09 2021-06-01 Apple Inc. Dynamic video configurations
US10368067B2 (en) 2016-06-15 2019-07-30 Mediatek Inc. Method and apparatus for selective filtering of cubic-face frames
US10269092B2 (en) 2016-06-17 2019-04-23 Nec Corporation Image processing device, image processing method, and storage medium
JP6780315B2 (ja) 2016-06-22 2020-11-04 カシオ計算機株式会社 投影装置、投影システム、投影方法及びプログラム
US10277914B2 (en) 2016-06-23 2019-04-30 Qualcomm Incorporated Measuring spherical image quality metrics based on user field of view
US10297086B2 (en) 2016-07-04 2019-05-21 Liquid Cinema Inc. System and method for processing digital video
US10460501B2 (en) 2016-07-04 2019-10-29 Liquid Cinema Inc., Canada System and method for processing digital video
KR20230051319A (ko) 2016-07-08 2023-04-17 브이아이디 스케일, 인크. 지오메트리 투영을 이용한 360도 비디오 코딩
US20180018807A1 (en) 2016-07-15 2018-01-18 Aspeed Technology Inc. Method and apparatus for generating panoramic image with texture mapping
US10375371B2 (en) 2016-07-15 2019-08-06 Mediatek Inc. Method and apparatus for filtering 360-degree video boundaries
US20180020238A1 (en) 2016-07-15 2018-01-18 Mediatek Inc. Method and apparatus for video coding
US10277886B2 (en) 2016-07-19 2019-04-30 Gopro, Inc. Mapping of spherical image data into rectangular faces for transport and decoding across networks
US10339688B2 (en) 2016-07-28 2019-07-02 Cyberlink Corp. Systems and methods for rendering effects in 360 video
US10055882B2 (en) 2016-08-15 2018-08-21 Aquifi, Inc. System and method for three-dimensional scanning and for capturing a bidirectional reflectance distribution function
KR102567002B1 (ko) 2016-08-16 2023-08-14 삼성전자주식회사 영상 표시 장치 및 그 동작방법
KR102437742B1 (ko) 2016-08-21 2022-08-29 엘지전자 주식회사 영상 부호화/복호화 방법 및 이를 위한 장치
US20180054613A1 (en) 2016-08-22 2018-02-22 Mediatek Inc. Video encoding method and apparatus with in-loop filtering process not applied to reconstructed blocks located at image content discontinuity edge and associated video decoding method and apparatus
KR102264028B1 (ko) 2016-08-25 2021-06-11 엘지전자 주식회사 전방향 비디오를 전송하는 방법, 전방향 비디오를 수신하는 방법, 전방향 비디오 전송 장치, 전방향 비디오 수신 장치
JP6657475B2 (ja) 2016-08-25 2020-03-04 エルジー エレクトロニクス インコーポレイティド 全方位ビデオを伝送する方法、全方位ビデオを受信する方法、全方位ビデオの伝送装置及び全方位ビデオの受信装置
US11153594B2 (en) 2016-08-29 2021-10-19 Apple Inc. Multidimensional quantization techniques for video coding/decoding systems
US20180075576A1 (en) 2016-09-09 2018-03-15 Mediatek Inc. Packing projected omnidirectional videos
KR20180028782A (ko) 2016-09-09 2018-03-19 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102545195B1 (ko) 2016-09-12 2023-06-19 삼성전자주식회사 가상 현실 시스템에서 컨텐트 전송 및 재생 방법 및 장치
KR102560029B1 (ko) 2016-09-12 2023-07-26 삼성전자주식회사 가상 현실 콘텐트를 송수신하는 방법 및 장치
KR20180029315A (ko) 2016-09-12 2018-03-21 삼성전자주식회사 가상 현실 컨텐트의 영상을 투영하기 위한 영상 처리 방법 및 장치
US10313686B2 (en) 2016-09-20 2019-06-04 Gopro, Inc. Apparatus and methods for compressing video content using adaptive projection selection
US20180091812A1 (en) 2016-09-23 2018-03-29 Apple Inc. Video compression system providing selection of deblocking filters parameters based on bit-depth of video data
CN107888928B (zh) * 2016-09-30 2020-02-14 华为技术有限公司 运动补偿预测方法和设备
EP3975559A1 (en) 2016-10-04 2022-03-30 B1 Institute of Image Technology, Inc. Image data encoding/decoding method and apparatus
US20180098090A1 (en) 2016-10-04 2018-04-05 Mediatek Inc. Method and Apparatus for Rearranging VR Video Format and Constrained Encoding Parameters
CN110024390A (zh) 2016-10-04 2019-07-16 金起佰 图像数据编码/解码方法和装置
US20190253624A1 (en) 2017-07-17 2019-08-15 Ki Baek Kim Image data encoding/decoding method and apparatus
KR20180037575A (ko) 2016-10-04 2018-04-12 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN115767106B (zh) 2016-10-04 2023-10-10 有限公司B1影像技术研究所 图像编码/解码方法和计算机可读记录介质
US20190238888A1 (en) 2017-07-17 2019-08-01 Ki Baek Kim Image data encoding/decoding method and apparatus
US10339627B2 (en) 2016-10-10 2019-07-02 Gopro, Inc. Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image
US10652284B2 (en) 2016-10-12 2020-05-12 Samsung Electronics Co., Ltd. Method and apparatus for session control support for field of view virtual reality streaming
US20180109810A1 (en) 2016-10-17 2018-04-19 Mediatek Inc. Method and Apparatus for Reference Picture Generation and Management in 3D Video Compression
US10432856B2 (en) * 2016-10-27 2019-10-01 Mediatek Inc. Method and apparatus of video compression for pre-stitched panoramic contents
US20180130264A1 (en) 2016-11-04 2018-05-10 Arnoovo Inc. Virtual reality editor
KR20180051288A (ko) 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
KR102633595B1 (ko) 2016-11-21 2024-02-05 삼성전자주식회사 디스플레이장치 및 그 제어방법
CN108111851B (zh) 2016-11-25 2020-12-22 华为技术有限公司 一种去块滤波方法及终端
CN116320494A (zh) 2016-11-28 2023-06-23 韩国电子通信研究院 用于滤波的方法和装置
KR20180060236A (ko) 2016-11-28 2018-06-07 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
US10244200B2 (en) 2016-11-29 2019-03-26 Microsoft Technology Licensing, Llc View-dependent operations during playback of panoramic video
US20180167634A1 (en) 2016-12-09 2018-06-14 Nokia Technologies Oy Method and an apparatus and a computer program product for video encoding and decoding
EP3334164B1 (en) 2016-12-09 2019-08-21 Nokia Technologies Oy A method and an apparatus and a computer program product for video encoding and decoding
US9996945B1 (en) 2016-12-12 2018-06-12 Fyusion, Inc. Live augmented reality guides
US10620441B2 (en) 2016-12-14 2020-04-14 Qualcomm Incorporated Viewport-aware quality metric for 360-degree video
KR20180071012A (ko) 2016-12-19 2018-06-27 삼성전자주식회사 전자 장치 및 전자 장치 제어 방법
US20180176468A1 (en) 2016-12-19 2018-06-21 Qualcomm Incorporated Preferred rendering of signalled regions-of-interest or viewports in virtual reality video
US10242714B2 (en) 2016-12-19 2019-03-26 Microsoft Technology Licensing, Llc Interface for application-specified playback of panoramic video
JP2018107500A (ja) 2016-12-22 2018-07-05 キヤノン株式会社 符号化装置、符号化方法及びプログラム、復号装置、復号方法及びプログラム
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US20180184101A1 (en) 2016-12-23 2018-06-28 Apple Inc. Coding Mode Selection For Predictive Video Coder/Decoder Systems In Low-Latency Communication Environments
US10277897B1 (en) 2017-01-03 2019-04-30 Google Llc Signaling in-loop restoration filters for video coding
US20180192074A1 (en) 2017-01-03 2018-07-05 Mediatek Inc. Video processing method for processing projection-based frame with 360-degree content represented by projection faces packed in 360-degree virtual reality projection layout
JP6756269B2 (ja) 2017-01-05 2020-09-16 株式会社リコー 通信端末、画像通信システム、通信方法、及びプログラム
US10536721B2 (en) 2017-01-09 2020-01-14 Qualcomm Incorporated Restricted scheme design for video
US10313664B2 (en) 2017-01-11 2019-06-04 Qualcomm Incorporated Adjusting field of view of truncated square pyramid projection for 360-degree video
US10104288B2 (en) 2017-02-08 2018-10-16 Aspeed Technology Inc. Method and apparatus for generating panoramic image with stitching process
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US20180242016A1 (en) 2017-02-21 2018-08-23 Intel Corporation Deblock filtering for 360 video
WO2018156243A1 (en) 2017-02-22 2018-08-30 Twitter, Inc. Transcoding video
US20180240276A1 (en) 2017-02-23 2018-08-23 Vid Scale, Inc. Methods and apparatus for personalized virtual reality media interface design
CN108470379B (zh) 2017-02-23 2021-12-07 株式会社理光 三维图像融合方法和装置
CN108513119A (zh) 2017-02-27 2018-09-07 阿里巴巴集团控股有限公司 图像的映射、处理方法、装置和机器可读介质
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11172208B2 (en) 2017-02-28 2021-11-09 Nokia Technologies Oy Method and apparatus for improving the visual quality of viewport-based omnidirectional video streaming
CN108537721B (zh) 2017-03-02 2021-09-07 株式会社理光 全景图像的处理方法、装置及电子设备
KR101808327B1 (ko) 2017-03-08 2017-12-13 광운대학교 산학협력단 영상 코덱에서 패딩을 이용한 영상 부/복호화 방법 및 장치
US10681271B2 (en) 2017-03-15 2020-06-09 Ricoh Company, Ltd. Image processing apparatus, image capturing system, image processing method, and recording medium
US10643301B2 (en) 2017-03-20 2020-05-05 Qualcomm Incorporated Adaptive perturbed cube map projection
US10957044B2 (en) 2017-03-22 2021-03-23 Qualcomm Incorporated Sphere pole projections for efficient compression of 360-degree video
US11284076B2 (en) 2017-03-22 2022-03-22 Electronics And Telecommunications Research Institute Block form-based prediction method and device
CN117395394A (zh) 2017-03-22 2024-01-12 韩国电子通信研究院 使用参考块的预测方法和装置
US10839480B2 (en) 2017-03-22 2020-11-17 Qualcomm Incorporated Sphere equator projection for efficient compression of 360-degree video
US11532128B2 (en) 2017-03-23 2022-12-20 Qualcomm Incorporated Advanced signaling of regions of interest in omnidirectional visual media
WO2018178507A1 (en) 2017-03-27 2018-10-04 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US10506255B2 (en) 2017-04-01 2019-12-10 Intel Corporation MV/mode prediction, ROI-based transmit, metadata capture, and format detection for 360 video
TWI832814B (zh) 2017-04-06 2024-02-21 美商松下電器（美國）知識產權公司 解碼裝置及編碼裝置
US10587800B2 (en) 2017-04-10 2020-03-10 Intel Corporation Technology to encode 360 degree video content
KR20200005539A (ko) 2017-04-11 2020-01-15 브이아이디 스케일, 인크. 면 연속성을 사용하는 360 도 비디오 코딩
US10567768B2 (en) 2017-04-14 2020-02-18 Apple Inc. Techniques for calculation of quantization matrices in video coding
WO2018194273A1 (en) 2017-04-21 2018-10-25 Samsung Electronics Co., Ltd. Image display apparatus and method
WO2018199701A1 (en) 2017-04-28 2018-11-01 Samsung Electronics Co., Ltd. Method for providing content and apparatus therefor
US10957009B2 (en) 2017-05-04 2021-03-23 Electronics And Telecommunications Research Institute Image processing apparatus and method
US10375375B2 (en) 2017-05-15 2019-08-06 Lg Electronics Inc. Method of providing fixed region information or offset region information for subtitle in virtual reality system and device for controlling the same
JP6919334B2 (ja) 2017-05-26 2021-08-18 株式会社リコー 画像処理装置、画像処理方法、プログラム
US10200687B2 (en) 2017-06-02 2019-02-05 Apple Inc. Sample adaptive offset for high dynamic range (HDR) video compression
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10199074B2 (en) 2017-06-02 2019-02-05 Apple Inc. Techniques for selecting frames for decode in media player
US10873763B2 (en) 2017-06-02 2020-12-22 Apple Inc. Video compression techniques for high dynamic range data
US10212456B2 (en) 2017-06-02 2019-02-19 Apple Inc. Deblocking filter for high dynamic range (HDR) video
US10321109B1 (en) 2017-06-13 2019-06-11 Vulcan Inc. Large volume video data transfer over limited capacity bus
US10778993B2 (en) 2017-06-23 2020-09-15 Mediatek Inc. Methods and apparatus for deriving composite tracks with track grouping
EP3422724B1 (en) 2017-06-26 2024-05-01 Nokia Technologies Oy An apparatus, a method and a computer program for omnidirectional video
US10848761B2 (en) 2017-06-29 2020-11-24 Qualcomm Incorporated Reducing seam artifacts in 360-degree video
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
US10523913B2 (en) 2017-06-30 2019-12-31 Apple Inc. Packed image format for multi-directional video
CA3105474A1 (en) 2017-07-03 2019-01-10 Industry-University Cooperation Foundation Hanyang University Method and device for decoding image by using partition unit including additional region
US10484682B2 (en) 2017-07-03 2019-11-19 Qualcomm Incorporated Reference picture derivation and motion compensation for 360-degree video coding
WO2019009448A1 (ko) 2017-07-06 2019-01-10 삼성전자 주식회사 영상을 부호화 또는 복호화하는 방법 및 장치
JP6721631B2 (ja) 2017-07-07 2020-07-15 ノキア テクノロジーズ オーユー ビデオの符号化・復号の方法、装置、およびコンピュータプログラムプロダクト
US10701263B2 (en) 2017-07-18 2020-06-30 Ricoh Company, Ltd. Browsing system, image distribution apparatus, and image distribution method
US20190045212A1 (en) 2017-08-07 2019-02-07 The Regents Of The University Of California METHOD AND APPARATUS FOR PREDICTIVE CODING OF 360º VIDEO
CN108520232B (zh) 2017-08-16 2020-07-24 威盛电子股份有限公司 立体环景影片产生方法及装置
EP3451670A1 (en) 2017-08-28 2019-03-06 Thomson Licensing Method and apparatus for filtering with mode-aware deep learning
US10623744B2 (en) 2017-10-04 2020-04-14 Apple Inc. Scene based rate control for video compression and video streaming
US10102611B1 (en) 2017-10-16 2018-10-16 Xplorit Llc Interconnected 360 video virtual travel
JP7031228B2 (ja) 2017-10-26 2022-03-08 株式会社リコー プログラム、画像表示方法、画像表示システム、情報処理装置
US10574997B2 (en) 2017-10-27 2020-02-25 Apple Inc. Noise level control in video coding
US10334222B2 (en) 2017-11-20 2019-06-25 Adobe Inc. Focus-based video loop switching
US10652578B2 (en) 2018-02-05 2020-05-12 Apple Inc. Processing of multi-directional images in spatially-ordered video coding applications
US11212438B2 (en) 2018-02-14 2021-12-28 Qualcomm Incorporated Loop filter padding for 360-degree video coding
US10771781B2 (en) 2018-03-12 2020-09-08 Electronics And Telecommunications Research Institute Method and apparatus for deriving intra prediction mode
KR20190107944A (ko) 2018-03-13 2019-09-23 삼성전자주식회사 복원 영상에 대한 필터링을 수행하는 영상 처리 장치 및 이의 필터링 방법
US10559121B1 (en) 2018-03-16 2020-02-11 Amazon Technologies, Inc. Infrared reflectivity determinations for augmented reality rendering
US10986371B2 (en) 2018-03-22 2021-04-20 Mediatek Inc. Sample adaptive offset filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
US10573060B1 (en) 2018-06-14 2020-02-25 Kilburn Live, Llc Controller binding in virtual domes
US20190387251A1 (en) 2018-06-19 2019-12-19 Mediatek Inc. Methods and Apparatuses of Video Processing with Overlapped Block Motion Compensation in Video Coding Systems
US11765349B2 (en) 2018-08-31 2023-09-19 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries
US11094088B2 (en) 2018-08-31 2021-08-17 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries in video coding
KR102154407B1 (ko) 2018-11-15 2020-09-09 한국전자기술연구원 타일 기반 스트리밍을 위한 모션 제한 av1 영상 부호화 방법 및 장치
US20200213570A1 (en) 2019-01-02 2020-07-02 Mediatek Inc. Method for processing projection-based frame that includes at least one projection face and at least one padding region packed in 360-degree virtual reality projection layout

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1688165A (zh) * 2005-06-09 2005-10-26 上海交通大学 基于对象的纹理快速运动估值的方法
CN101771878A (zh) * 2010-01-14 2010-07-07 广西大学 面向全景视频编码的自适应选择全局运动估计方法
US20160112704A1 (en) * 2014-10-20 2016-04-21 Google Inc. Continuous prediction domain
CN105959702A (zh) * 2016-05-30 2016-09-21 北京奇艺世纪科技有限公司 一种球面视频编码方法和装置
CN105915907A (zh) * 2016-06-07 2016-08-31 北京圣威特科技有限公司 全景图的压缩和解压方法、装置及系统
CN106162139A (zh) * 2016-08-04 2016-11-23 微鲸科技有限公司 编码方法、视频输出装置、解码方法、以及视频播放装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
IVANA TOSIC ET AL: "MULTIRESOLUTION MOTION ESTIMATION FOR OMNIDIRECTIONAL IMAGES", 《2005 13TH EUROPEAN SIGNAL PROCESSING CONFERENCE，IEEE》 *

Also Published As

Publication number Publication date
CN110115037B (zh) 2023-03-28
US10999602B2 (en) 2021-05-04
US20210321133A1 (en) 2021-10-14
WO2018118159A1 (en) 2018-06-28
US11818394B2 (en) 2023-11-14
CN116248875A (zh) 2023-06-09
US20180184121A1 (en) 2018-06-28

Similar Documents

Publication Publication Date Title
CN110115037A (zh) 球面投影运动估计/补偿和模式决策
US10992919B2 (en) Packed image format for multi-directional video
Han et al. A technical overview of AV1
CN110313181B (zh) 用于多视图视频的视频编码技术
TWI678915B (zh) 一種視訊編解碼的方法及裝置
US11539979B2 (en) Method and apparatus of encoding/decoding image data based on tree structure-based block division
CN109792517A (zh) 用于编码和解码大视场视频的方法和装置
CN110268716A (zh) 由球面投影处理等量矩形对象数据以补偿畸变
CN108476322A (zh) 用于球面图像和立方体图像的帧间预测的装置
US20190005709A1 (en) Techniques for Correction of Visual Artifacts in Multi-View Images
CN110121065A (zh) 空间排序视频编码应用中的多向图像处理
Wang et al. Spherical coordinates transform-based motion model for panoramic video coding
US20090051679A1 (en) Local motion estimation using four-corner transforms
WO2021162724A1 (en) Intra prediction for image and video compression
US11910054B2 (en) Method and apparatus for decoding a 3D video
Jiang Cubic-panorama image dataset compression for image-based virtual environment navigation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant