CN110268716B - 由球面投影处理等量矩形对象数据以补偿畸变 - Google Patents

由球面投影处理等量矩形对象数据以补偿畸变 Download PDF

Info

Publication number
CN110268716B
CN110268716B CN201880009683.3A CN201880009683A CN110268716B CN 110268716 B CN110268716 B CN 110268716B CN 201880009683 A CN201880009683 A CN 201880009683A CN 110268716 B CN110268716 B CN 110268716B
Authority
CN
China
Prior art keywords
pixel block
reference picture
content
block
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880009683.3A
Other languages
English (en)
Other versions
CN110268716A (zh
Inventor
J·H·金
C·Y·钟
张大忠
袁航
H-J·吴
翟杰夫
周小松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN110268716A publication Critical patent/CN110268716A/zh
Application granted granted Critical
Publication of CN110268716B publication Critical patent/CN110268716B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/547—Motion estimation performed in a transform domain

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

多向图像数据通常包含图像内容的畸变，这种畸变在由被设计用于处理传统的“平面”图像内容的视频编码器处理时引起问题。本公开的实施方案提供了使用此类编码器对多向图像数据进行编码的技术。对于有待编码的帧中的每个像素块，编码器可基于相应地输入像素块的位置与搜索窗口内的基准画面的一部分之间的位移来转换搜索窗口内的关于输入像素块的位置的基准画面数据。该编码器可在经转换的基准画面数据其间执行预测搜索，以识别输入像素块与经转换的基准画面的一部分之间的匹配，并且当匹配被识别时，该编码器可相对于经转换的基准画面的匹配部分对输入像素块进行差分编码。该转换可通过多向格式来抵消施加于基准画面数据的图像内容的畸变，该多向格式将所述内容与输入画面的图像内容对齐。该技术适用于帧内编码和帧间编码两者。

Description

由球面投影处理等量矩形对象数据以补偿畸变
背景技术
本公开涉及用于全方位多向图像和视频的编码技术。
一些现代成像应用程序从相机的多个方向捕获图像数据。一些相机在图像捕获期间枢转，这允许相机在扩大相机的有效视场的角度扫描中捕获图像数据。一些其他相机具有多个成像系统，其在若干不同视场中捕获图像数据。在任一种情况下，可创建表示从这些多个视图捕获的图像数据的合并或“拼接”的聚合图像。
许多现代编码应用程序并非设计用于处理此类全方位或多方向的图像内容。此类编码应用程序是基于假设图像内的图像数据是“平面的”或从单个视场捕获而设计的。因此，编码应用程序不考虑图像畸变，而图像畸变在处理这些其中包含畸变的全方位或多方向图像时可能出现。这些畸变可导致普通视频编码器无法识别图像内容中的冗余，从而导致编码效率低下。
因此，本发明人认为本领域需要可处理全方位和多方向图像内容并限制畸变的编码技术。
附图说明
图1示出了可采用本公开的实施方案的系统。
图2是根据本公开的一个实施方案的编码系统的功能框图。
图3示出了可与本公开的实施方案一起使用的图像源。
图4示出了通过多向成像捕获的示例性等量矩形投影图像。
图5对在球面图像中可能出现的畸变效应进行建模。
图6为示出示例性等量矩形帧中的示例性对象的畸变的曲线图。
图7示出了根据本公开的一个实施方案的编码方法。
图8示出了根据本公开的一个实施方案的编码方法。
图9示出了根据图8的方法可应用于参考帧数据的转换。
图10是根据本公开的一个实施方案的编码系统的功能框图。
图11是根据本公开的一个实施方案的解码系统的功能框图。
图12示出了适合与本公开的实施方案一起使用的计算机系统。
具体实施方式
本公开的实施方案提供用于编码球面图像和视频的技术。对于有待编码的帧中的每个像素块，编码器可基于相应地输入像素块的位置与搜索窗口内的基准画面的一部分之间的位移来转换搜索窗口内的关于输入像素块的位置的基准画面数据。编码器可在经转换的基准画面数据其间执行预测搜索，以识别输入像素块与经转换的基准画面的一部分之间的匹配，并且当匹配被识别时，编码器可相对于经转换的基准画面的匹配部分对输入像素块进行差分编码。该转换可通过球面投影格式来抵消施加于基准画面数据的图像内容的畸变，该球面投影格式将内容与输入画面的图像内容对齐。
图1示出了可采用本公开的实施方案的系统100。系统100可以包括经由网络130互连的至少两个终端110-120。第一终端110可具有生成多方向且全方位视频的图像源。终端110还可包括编码系统和传输系统(未示出)，以将多方向视频的编码表示传输到第二终端120，在该第二终端处可消耗编码表示。例如，第二终端120可在本地显示器上显示球面视频，其可执行视频编辑程序以修改球面视频，或者可将球面视频整合到应用程序(例如，虚拟现实程序)中，可存在于头戴式显示器(例如，虚拟现实应用程序)中，或者可存储球面视频以供之后使用。
图1示出了适合从第一终端110向第二终端120单向传输球面视频的部件。在一些应用中，可能适合提供视频数据的双向交换，在这种情况下，第二终端120可包括其自身的图像源、视频编码器和发射器(未示出)，并且第一终端110可包括其自身的接收器和显示器(也未示出)。如果希望双向交换球面视频，则可复制下文论述的技术以生成一对独立的球面视频单向交换。在其他应用中，应当允许在一个方向(例如，从第一终端110到第二终端120)传输球面视频并且在相反方向上传输“平面”视频(例如，来自有限视场的视频)。
在图1中，第二终端120被示为计算机显示器，但本公开的原理不受此限制。本公开的实施方案可应用于膝上型计算机、平板电脑、智能电话、服务器、媒体播放器、虚拟现实头戴式显示器、增强现实显示器、全息图显示器和/或专用视频会议设备。网络130代表在终端110-120其间输送经编码的视频数据的任意数量的网络，包括例如有线通信网络和/或无线通信网络。通信网络130可在电路交换信道和/或分组交换信道中交换数据。代表性网络包括电信网、局域网、广域网和/或互联网。出于本论述的目的，除非下文作出解释，否则网络130的架构和拓扑结构对本公开的操作是无关紧要的。
图2是根据本公开的一个实施方案的编码系统200的功能框图。系统200可包括图像源210、图像处理系统220、视频编码器230、视频解码器240、基准画面存储库250、预测器260和任选地一对球面转换单元270、280。图像源210可生成作为多方向图像的图像数据，该图像数据包含在多个方向上围绕基准点延伸的视场的图像数据。图像处理系统220可根据需要转换来自图像源210的图像数据以适应视频编码器230的要求。视频编码器230通常可通过利用图像数据中的空间和/或时间冗余来生成其输入图像数据的编码表示。视频编码器230可输出输入数据的编码表示，该编码表示在传输和/或存储时比输入数据消耗更少的带宽。
视频解码器240可反转由视频编码器230执行的编码操作，以从经编码的视频数据获得重建画面。通常，视频编码器230所应用的编码过程是有损过程，这导致重建画面在与原始画面比较时具有各种误差。视频解码器240可重建被指定为“基准画面”的选定编码画面的画面，并将经解码的基准画面存储在基准画面存储库250中。在不存在传输误差的情况下，解码的基准画面将复制解码器(图2中未示出)所获得的经解码的基准画面。
预测器260可在编码新输入画面时为其选择预测基准。对于被编码输入画面的每个部分(为了方便起见称为“像素块”)，预测器260可选择编码模式并识别基准画面中可充当被编码的像素块的预测基准搜索的一部分。编码模式可为帧内编码模式，在这种情况下，可从被编码画面的先前编码(和解码)部分绘制预测基准。另选地，编码模式可以是帧间编码模式，在这种情况下，可从另一先前编码和解码的画面绘制预测基准。
在一个实施方案中，预测器260可搜索对已被转换为球面投影表示的输入画面和基准画面进行操作的被编码画面的预测基准。球面转换单元270、280可将输入画面和基准画面转换为球面投影表示。
当适当的预测基准被识别时，预测器260可将预测数据提供至视频编码器230。视频编码器230可相对于由预测器260提供的预测数据而对输入视频数据进行差分编码。通常，对逐个像素块操作预测操作和差分编码。预测残差表示输入像素块和预测像素块之间的像素级差值，其可经受进一步的编码操作以进一步减小带宽。
如所指出的，由视频编码器230输出的编码视频数据在传输和/或存储时应当消耗小于输入数据的带宽。编码系统200可将编码视频数据输出到输出设备290，诸如发射器(未示出)，该发射器可跨通信网络130(图1)或存储设备(也未示出)诸如电子存储介质、磁性存储介质和/或光学存储介质传输编码视频数据。
图3示出了可与本公开的实施方案一起使用的图像源310、340。第一图像源可以是相机310，如图3(a)所示，其具有沿轴线枢转的单个图像传感器(未示出)。在操作期间，相机310可在其沿预定角距离(优选地，完整的360度)枢转时捕获图像内容，并将所捕获的图像内容合并到360°图像中。捕获操作可产生具有预定尺寸M×N像素的等量矩形图像320。等量矩形画面320可表示沿着将圆柱形视场划分成二维数据阵列的切片322被分割的多向视场320。在等量矩形画面320中，图像320任一边缘322、324上的像素代表相邻图像内容，即使它们出现在等量矩形画面320的不同边缘上。
任选地，等量矩形图像320可被转换为球面投影。球面转换单元270可根据诸如以下的转换，将等量矩形画面320之内的位置(x,y)处的像素数据转换为沿球面投影320的位置
Figure BDA0002152191470000042
θ＝x+θ0，和   (公式1.)
Figure BDA0002152191470000041
其中   (公式2.)
θ和
Figure BDA0002152191470000051
分别代表球面投影330中某个位置的经度和纬度，θ0、
Figure BDA0002152191470000052
代表球面投影330的原点，并且x和y代表等量矩形画面320中源数据的水平坐标和垂直坐标。
当应用该转换时，球面转换单元270可转换沿等量矩形画面320的预先确定的行的每个像素位置，以在球面投影330中的赤道纬度处具有唯一的位置。在此类区域中，来自等量矩形画面320的对应位置的像素值可被分配给球面投影330中的每个位置。在其他位置处，特别是朝向球面投影330的极，球面投影单元270可将若干源位置从等量矩形画面320映射到球面投影330中的公共位置。在此类情况下，球面投影单元270可以从等量矩形画面320中的对应像素值的混合(例如，通过对等量矩形画面320的对应位置处的像素值求平均值)来导出针对球面投影330中的位置的像素值。
图3(b)示出了另一种类型的图像源全向相机340的图像捕获操作。在此实施方案中，相机系统340可执行多向捕获操作并输出具有M×N个像素的尺寸的立方体地图画面360，其中根据立方体地图捕获350布置图像内容。图像捕获可在预先确定数量的方向(通常为六个)中的每个方向上捕获图像数据，这些方向根据立方体地图布局被拼接在一起。在图3示出的示例中，可根据相应视图之间的图像内容的“接缝”捕获、拼接并在多向画面360内布置对应于左视图361、前视图362、右视图363、后视图364、顶视图365和底视图366的六个子图像。因此，如图3所示，与来自顶部图像、左图像、右图像和底部图像中的每一者的像素相邻的来自前图像的像素表示分别与相邻子图像的内容相邻的图像内容。类似地，来自彼此相邻的右图像和后图像的像素表示相邻图像内容。此外，来自后图像的终端边缘368的内容与来自左图像的相对终端边缘369的内容相邻。立方体地图画面360也可具有不属于任何图像的区域367.1-367.4。
任选地，立方体地图图像360可被转换为球面投影330。球面转换单元270可根据从立方体地图中每个子图像导出的转换将立方体地图画面360之内位置(x,y)处的像素数据转换为沿球面投影330的位置
Figure BDA0002152191470000053
图3示出了叠加于要产生的球面投影330上的图像捕获360的六个面361-366。图像捕获的每个子图像对应于球面投影330的表面的预先确定的角区域。因此，正面362的图像数据可被投影到球面投影的表面上的预先确定的部分，左、右、后、顶部和底部子图像的图像数据可以被投影到球面投影330的表面的对应部分上。
在具有正方形子图像的立方体地图中(即，子图像361-366的高度和宽度相等)，每个子图像投影到投影表面的90°x 90°区域。因此，基于形式为
Figure BDA0002152191470000061
和θ＝gk(x,y)的正弦投影函数将子图像的每个位置x,y映射到球面投影330上的θ、
Figure BDA0002152191470000062
位置，其中x、y代表顶部、底部、前、右、左、右距立方体面k的中心的位移，θ、
Figure BDA0002152191470000063
代表球面中的角度偏差。
当应用该转换时，立方体地图画面360中的一些像素位置可映射到球面投影330中的唯一位置。在此类区域中，来自立方体地图画面360的对应位置的像素值可被分配给球面投影330中的每个位置。在其他位置处，特别是朝向相应子图像的边缘，球面投影单元270可将图像数据从立方体地图画面360中的若干源位置映射到球面投影430中的公共位置。在此类情况下，球面投影单元270可以从立方体地图画面360中的对应像素值的混合(例如，通过对立方体地图画面360的对应位置处的像素值加权平均)来导出针对球面投影430中的位置的像素值。
图3(c)示出了另一种类型的图像源具有一对鱼眼镜头的相机370的图像捕获操作。在该实施方案中，每个镜头系统在表示相对的“半壳”的不同的180°视场中捕获数据。相机370可根据从每个镜头系统生成的图像的拼接来生成图像380。鱼眼镜头通常基于对象在每个半壳视场内的位置而引起畸变。在一个实施方案中，可将多向图像380转换为球面投影330。
本公开的技术可应用于其他类型的图像捕获技术。例如，可采用基于截棱锥、四面体、八面体、十二面体和二十面体的图像捕获技术。从其获得的图像可通过类似技术映射到球面投影。
图像源不必包括相机。在其他实施方案中，图像源210(图2)可为生成360°图像数据的计算机应用程序。例如，游戏应用程序可在三维空间对虚拟世界进行建模并基于合成内容生成球面图像。当然，球面图像可同时包含天然内容(由相机生成的内容)和已被计算机应用程序合并在一起的合成内容(计算机图形内容)。
多向成像系统通常生成包含图像内容的空间畸变的图像数据。图4示出了由多向成像系统捕获的示例性等量矩形图像。除其他之外，该图像示出了两个对象Obj1和Obj2，它们各自具有相同的尺寸。当被多向成像系统捕获时，基于其在等量矩形图像中的位置，两个对象看起来具有不同的尺寸。例如，对象Obj1位于相当靠近中心轴线410、420的位置，因此表现出比对象Obj2低的畸变程度。即使如此，对象Obj1的边缘比该对象的更靠近水平轴线410的部分更大程度地表现出畸变(直线的弯曲)。对象Obj2比对象Obj1的任何部分从水平轴410移位得更多，因此同时造成该对象的高度(其为图4的图示中的对象Obj1的高度的约32％)以及对象Obj1的水平图像分量的弯曲度的畸变。
图5对在球面图像投影中可能出现的畸变效应进行建模。在二维“平面”视频中，对象的横向运动由平面图像传感器捕获，这使得移动对象的尺寸保持一致。当此类图像数据投影到球面表面上时，对象运动可引起图像数据的失真。考虑图5所示的示例，其中具有长度l的对象510从对象的运动平面520的中心处的位置移动到远离中心距离y的另一个位置。出于讨论的目的，可以假设对象510位于与球面投影的中心相距公共距离d处。
数学上，畸变可建模如下：
Figure BDA0002152191470000071
Figure BDA0002152191470000072
Figure BDA0002152191470000073
Figure BDA0002152191470000074
因此，当对象从投影视场的中心y0移动距离y时，球面投影中对象长度l的比率可给出为：
Figure BDA0002152191470000075
以更简单的术语来表述，对象的表观长度根据其与投影中心的位移而变化。
图6为示出示例性等量矩形帧中的示例性对象的畸变的曲线图。此处，等量矩形图像的大小为3,820像素乘1,920像素。因此，在球面投影中，球体中的每个角度单位可取为π/1920弧度并且长度l为单个像素的高度，等于1。距离d可取为1/tan(π/1920)。图6示出了当y从0变为960时长度l的畸变。
如图4所示，图6中和公式(1)-(5)中所述的畸变可在多个维度中同时发生。因此，当对象410在竖直方向上相对于等量矩形源图像移动时，可在竖直方向上产生畸变。当对象在水平方向上相对于等量矩形源图像移动时，可在水平方向上产生附加畸变。因此，以上公式(1)-(5)可应用于水平方向X上的横向运动，如：
Figure BDA0002152191470000081
Figure BDA0002152191470000082
Figure BDA0002152191470000083
Figure BDA0002152191470000084
因此，当对象从投影视场的中心x0移动距离x时，球面投影中对象宽度w的比率可给出为：
Figure BDA0002152191470000085
根据本公开的一个实施方案，当对象被投影到球面域表示或等量矩形表示时，终端可对图像数据中可能出现的畸变进行建模，然后使用该模型来校正球面域或等量矩形表示中的数据以抵消畸变。
以较高水平，本公开的实施方案对候选参考帧数据执行转换以反转在多图像中发生的畸变。例如，返回图4，如果对象Obj2的图像数据存在于参考帧中，则对象Obj2的图像数据可用作出现在需编码的输入帧中的对象Obj1的适当预测基准。这两个对象具有相同的图像内容，并且在成像过程中不产生畸变的情况下具有相同的尺寸。本公开的实施方案根据公式(5)和(10)中所识别的关系来转换基准画面数据，以生成可提供对被编码的图像数据的更好拟合的转换后的基准画面数据。
图7示出了根据本公开的一个实施方案的编码方法700。方法700可对逐个像素块操作，从而对需编码的新输入画面进行编码。方法700可通过输入像素块数据和被转换用于抵消成像畸变的基准画面数据之间的比较来执行预测搜索(框710)。当找到适当的预测基准时，方法700可使用经转换的基准画面数据(为方便起见称为“基准块”)作为预测的基础，对输入像素块进行差分编码(框720)。通常，该差分编码包括根据来自输入像素块数据的预测块数据的逐个像素减法计算像素残差(框722)以及对由此获得的像素残差的转换、量化和熵编码(框724)。就这一点而言，方法700可遵循由主流编码规范定义的编码协议，诸如ITU H.265(也称为“HEVC”)、H.264(也称为“AVC”)或先前的编码规范。这些规范定义了用于定义像素块，定义预测基准的搜索窗口以及用于参考基准块执行对像素块的差分编码的协议。方法700还可将运动矢量的球面域表示转换为编码器域表示，该编码器域表示由视频编码规范使用(框726)。方法700可输出编码像素残差、运动矢量和与预测相关联的其他元数据(通常为编码模式指示符和基准画面ID)(框728)。
预测搜索(框710)可包括基准画面数据的转换以反转成像引起的畸变。对于在预测搜索的搜索窗口中可用的每个候选运动矢量，方法700可基于由来自输入像素块的运动矢量表示的空间位移来转换参考帧(框712)。方法700还可估计在使用候选运动矢量时应当获得的预测残差(框714)。这些计算可通过输入像素块与对应于运动矢量的经转换的参考帧之间的逐个像素比较来执行。通常，当比较生成具有高幅值和高方差的像素残差时，表明与生成具有较低幅值和较低方差的像素残差的其他基准块的比较相比，编码效率降低。方法700还可估计在使用经转换的基准块时应当出现的编码畸变(框716)。可通过基于预测以应用于输入像素块的量化参数水平来估计像素残差的损失来执行这些计算。一旦获得考虑中的所有候选运动矢量的估计，方法700就可选择使总编码成本最小化的运动矢量(框718)。
例如，参考基于运动矢量mv生成的候选“基准块”BLKmv的输入像素块的编码成本J可给出为：
J＝Bits(BLKmv)+k*DIST(BLKmv)，其中   (11)
Bits(BLKmv)表示参考基准块BLKmv对输入像素块进行编码所需的估计位数，并且DIST(BLKmv)表示参考基准块BLKmv对输入像素块进行编码应当获得的畸变，k可以是操作者所选择的标量以平衡这些因素的贡献。如所解释的，可执行方法700以选择使值J最小化的运动矢量。
在一个实施方案中，可执行转换以反转由公式(5)和(10)表示的畸变。
图7的实施方案涉及针对所考虑的每个候选运动矢量的参考帧数据的一个转换。在其他实施方案中，可执行参考帧预处理，这可节省处理资源。
图8示出了根据本公开的一个实施方案的编码方法800。方法800可对逐个像素块操作，从而对需编码的新输入画面进行编码。方法800可通过输入像素块数据和被转换用于抵消成像畸变的基准画面数据之间的比较来执行预测搜索(框810)。当找到适当的预测基准时，方法800可使用经转换的基准画面数据(同样，为方便起见称为“基准块”)作为预测的基础，对输入像素块进行差分编码(框820)。通常，该差分编码包括根据来自输入像素块数据的预测块数据的逐个像素减法计算像素残差(框822)以及对由此获得的像素残差的转换、量化和熵编码(框824)。就这一点而言，方法800可遵循由主流编码规范定义的编码协议，诸如ITU H.265(也称为“HEVC”)、H.264(也称为“AVC”)或先前的编码规范。这些规范定义了用于定义像素块，定义预测基准的搜索窗口以及用于参考基准块执行对像素块的差分编码的协议。方法800还可将运动矢量的球面域表示转换为编码器域表示，该编码器域表示由视频编码规范使用(框826)。方法800可输出编码像素残差、运动矢量和与预测相关联的其他元数据(通常为编码模式指示符和基准画面ID)(框828)。
在一个实施方案中，可执行预测搜索(框810)以使带宽节省和信息损失与处理资源成本平衡。对于每个候选运动矢量mv，方法800首先可沿竖直方向y相对于输入像素块转换基准画面(框811)。该转换基本上基于基准画面数据从被编码的输入像素块的竖直位移来在预测搜索的搜索窗口内转换基准画面数据。然后，对于搜索窗口的每个候选x值，方法800可估计在使用运动矢量时应当出现的预测残差(框812)，并且可进一步估计所产生的畸变(框813)。然后，方法800可沿水平方向x相对于输入像素块转换基准画面(框814)。该转换基本上基于基准画面数据从被编码的输入像素块的水平位移来在预测搜索的搜索窗口内转换基准画面数据。对于搜索窗口的每个候选y值，方法800可估计在使用运动矢量时应当出现的预测残差(框815)，并且可进一步估计所产生的畸变(框816)。一旦获得考虑中的所有候选运动矢量的估计，方法800就可选择使总编码成本最小化的运动矢量(框818)。
如所指出的那样，在框811和框814中执行的转换本质上导致使基准图像数据与输入像素块按行(框811)和按列(框814)对齐的转换。这些转换的结果可重新用于对其他输入像素块进行编码，所述其他输入像素块也按行或按列分别与输入像素块对齐。换句话讲，采用图8的方法800的系统可根据框811执行单个转换以估计公共行中所有输入像素块的编码成本和畸变。换句话讲，采用图8的方法800的系统可根据框814执行单个转换以估计公共列中所有输入像素块的编码成本和畸变。因此，方法800的操作预期比图7的方法700的操作节省处理资源。
图9示出了根据图8的方法800可应用于参考帧数据的转换。图9(a)示出了有待编码的示例性输入像素块PBi,j和参考帧数据900之间的关系。输入像素块PBi,j具有限定搜索窗口SW的位置i、j，编码器可根据该位置选择用作像素块PBi,j的预测基础的参考帧数据900。在编码期间，方法800可在搜索窗口SW内测试候选运动矢量mv1、mv2等以确定在基准画面中是否可找到适当的基准块。
图9(b)示出了可根据框811执行的参考帧数据的示例性转换。如图所示，参考帧数据可基于被编码的像素块PBi,j和参考帧数据之间的竖直位移进行转换。在图9所示的示例中，该转换本质上基于竖直位移来拉伸参考帧内容。拉伸程度随着输入像素块的位移的增加而增大。该方法可测试经拉伸的参考帧数据910内而不是源参考帧数据900内的候选运动矢量。如图4所示，对象Obj2的拉伸数据可比对象Obj2的源数据提供用于对象Obj1更好的预测源。
在其他使用案例中，不需要拉伸图像数据。例如，在图4中的对象Obj2的图像内容的编码期间，参考帧可包含在与对象Obj1对应的位置处的对象的内容。在这种情况下，来自参考帧的图像数据可在空间上压缩以提供与对象Obj2的适当预测匹配。因此，拉伸的类型无论是扩展还是压缩，均可基于被编码的像素块PBi,j与参考帧数据之间的位移以及被编码的像素块PBi,j的位置来确定。
如图9(b)中所示，方法800可执行参考帧数据910的单一转换，该单一转换用于对公共行中的所有像素块PB0,j-PBmax,j进行预测搜索。因此，相比于图7的方法700，预期图8的方法800节省了处理资源。
图9(c)示出了可根据框814执行的参考帧数据的示例性转换。如图所示，参考帧数据900可基于被编码的像素块PBi,j和参考帧数据之间的水平位移进行转换。在图9(c)所示的示例中，该转换本质上基于水平位移来拉伸参考帧内容。拉伸程度随着输入像素块的位移的增加而增大。该方法可测试经拉伸的参考帧数据920内而不是源参考帧数据900内的候选运动矢量。
在所有情况下，都不需要拉伸图像数据。如图9(b)的示例一样，拉伸的类型无论是扩展还是压缩，均可基于被编码的像素块PBi,j与参考帧数据之间的位移以及被编码的像素块PBi,j的位置来确定。
如图9(c)中所示，方法800可执行参考帧数据910的单一转换，该单一转换用于对公共行中的所有像素块PBi,0-PBi,max进行预测搜索。同样，相比于图7的方法700，预期图8的方法800节省了处理资源。
可通过预测是否将执行基于运动矢量的编码来采用方法700和/或800的进一步节省资源。例如，基于周围的操作环境，可估计对于给定帧或帧内容的一部分，将不使用帧间预测。在这种情况下，可省略预测搜索710和/或810。在另一个实施方案中，周围的操作环境可指示沿输入数据的行或沿列的运动的可能性较高。此类指示可来源于提供图像数据的设备所提供的运动传感器数据，或来源于对图像内容其间的运动进行帧间分析。在这种情况下，可执行方法800以省略用于行运动的框814-816的操作或省略用于列运动的框811-813的操作。另选地，方法800可沿估计的运动方向执行转换，无需对齐到图像数据的行或列(例如，对角矢量)。
在其他实施方案中，编码器可选择要在其上执行转换的帧区域的子集。编码器可识别在无需对其应用转换的每个区域和其他区域之前的、要对其应用转换的内容的区域。此类区域可例如基于对帧内容的分析来选择，以识别帧内容中的可能是观察者所关注的区域的对象(例如，脸部、身体或其他预定内容)。此类区域可基于对图像数据中的前景内容进行识别的帧内容的分析来选择，所述帧内容可为所关注的指定区域。此外，可基于由显示设备120(图1)所报告的显示活动来选择此类区域；例如，如果编码器接收到来自显示器120的指示仅等量图像的一部分呈现在显示器120上的通信，则编码器可确定在所呈现的部分上施加此类转换并放弃对未呈现的其他区域进行基于转换的搜索。在另一个实施方案中，可指定具有特别高运动的区域用于编码而无需此类转换；通常，高运动区域中的编码损失对于人类观察者而言不像低运动区域中的编码损失那样可察觉。
在另一个实施方案中，可执行转换以考虑全局相机运动。编码器可从运动传感器290(图2)接收数据或执行图像分析，所述图像分析指示相机在图像捕获期间正在移动。图像处理器220可对参考帧执行图像转换操作，以使参考帧数据在空间上与相机系统210(图2)在运动期间输出的帧对齐。
本公开的原理应用于用于帧内编码技术以及帧间编码技术的预测基准数据。帧间编码利用帧之间的图像数据中的时间冗余，而帧内编码利用单个帧内的空间冗余。因此，可参考输入像素块所在的相同帧的先前编码的数据对输入像素块进行编码。通常，视频编码器以预定顺序(例如，光栅扫描顺序)逐个像素块地对输入帧进行编码。因此，当对帧内的中间点处的输入像素块进行编码时，编码器将以编码顺序对输入像素块之前的其他像素块的图像数据进行编码。在对中间像素块的数据进行解码时，之前像素块的解码数据对编码器和解码器均是可用的，因此之前像素块可用作预测基准。
在此类实施方案中，用于帧内编码的预测搜索操作可在输入像素块和已根据公式(5)和(10)转换的预测基准数据(相同帧的先前编码像素块)之间根据输入像素块和预测基准数据内的候选预测块之间的位移来执行。因此，本公开的技术还可用于帧内编码。
图10是根据本公开的一个实施方案的编码系统1000的功能框图。系统1000可包括像素块编码器1010、像素块解码器1020、回路滤波器系统1030、基准画面存储库1040、转换单元1050、预测器1060、控制器1070和语法单元1080。像素块编码器和解码器1010、1020和预测器1060可迭代地在画面的各个像素块上操作。预测器1060可预测在新呈现的输入像素块的编码期间使用的数据。像素块编码器1010可通过预测编码技术对新像素块进行编码，并将编码像素块数据呈现给语法单元1080。像素块解码器1020可解码经编码像素块数据，由此产生解码像素块数据。回路滤波器1030可以对从由像素块解码器1020获得的经解码像素块组合的经解码画面执行各种滤波操作。经滤波画面可以被存储在基准画面存储库1040中，其中经滤波画面可以被用作稍后接收的像素块的预测的源。语法单元1080可组合来自符合管理编码协议的编码像素块数据的数据流。
像素块编码器1010可包括减法器1012、转换单元1014、量化器1016和熵编码器1018。像素块编码器1010可以在减法器1012处接受输入数据的像素块。减法器1012可接收来自预测器1060的预测像素块，并由此生成表示输入像素块与预测像素块之间的差值的像素残差阵列。转换单元1014可以对从减法器1012输出的样本数据应用转换，以将数据从像素域转换到转换系数域。量化器1016可对由转换单元1014输出的转换系数执行量化。量化器1016可为均匀或非均匀量化器。熵编码器1018可通过例如通过可变长度码字对输出进行编码来减小系数量化器的输出带宽。
转换单元1014可以在控制器1070所确定的多种转换模式中操作。例如，转换单元1014可以应用离散余弦转换(DCT)、离散正弦转换(DST)、Walsh-Hadamard转换、Haar转换、Daubechies小波转换等。在一个实施方案中，控制器1070可以选择转换单元1015要应用的编码模式M，可以相应地配置转换单元1015，并且可以显式地或隐式地在编码视频数据中发信号通知编码模式M。
量化器1016可以根据控制器1070所提供的量化参数QP来操作。在一个实施方案中，量化参数QP可以作为多值量化参数被应用于转换系数，多值量化参数例如在转换域像素块内的不同系数位置上可以改变。因此，量化参数QP可以被提供成量化参数阵列。
像素块解码器1020可以反转像素块编码器1010的编码操作。例如，像素块解码器1020可以包括去量化器1022、逆转换单元1024和加法器1026。像素块解码器1020可从量化器1016的输出获取其输入数据。尽管允许，像素块解码器1020也不必执行熵编码数据的熵解码，因为熵编码是无损事件。去量化器1022可反转像素块编码器1010的量化器1016的操作。去量化器1022可执行如解码信号QP所指定的均匀或非均匀去量化。类似地，逆转换单元1024可以反转转换单元1014的操作。去量化器1022和逆转换单元1024可以使用与像素块编码器1010中其对应部件相同的量化参数QP和转换模式M。量化操作可能将在各个方面截断数据，并且因此，在与被呈现给像素块编码器1010中的量化器1016的数据相比时，去量化器1022所恢复的数据可能将具有编码误差。
加法器1026可以反转减法器1012所执行的操作。它可以接收与减法器1012在生成残差信号中所使用相同的来自预测器1060的预测像素块。加法器1026可以将预测像素块添加到逆转换单元1024所输出的重建残差值，并且可以输出重建的像素块数据。
回路滤波器1030可对所恢复的像素块数据执行各种滤波操作。例如，回路滤波器1030可以包括解块滤波器1032和样本自适应偏移(“SAO”)滤波器1033。解块滤波器1032可以对重建的像素块之间接缝处的数据进行滤波，以减少由于编码而产生的像素块之间的不连续。SAO滤波器可例如基于边缘方向/形状和/或像素/颜色分量水平，根据SAO“类型”将偏移添加到像素值。回路滤波器1030可根据由控制器1070选择的参数来操作。
基准画面存储库1040可以存储经滤波的像素数据以供在其他像素块的后续预测中使用。使不同类型的预测数据可供预测器1060使用以用于不同预测模式。例如，对于输入像素块，帧内预测从输入像素块所位于的相同画面的经解码数据获取预测基准。因此，基准画面存储库1040可以存储在编码时每个画面的经解码像素块数据。对于相同的输入像素块，帧间预测可以从被指定为基准画面的先前编码和解码的画面获取预测基准。因此，基准画面存储库1040可以存储这些经解码的基准画面。
转换单元1050可执行如上述实施方案中所论述的基准画面数据的转换。因此，基于输入像素块与搜索窗口中的关于输入像素块的基准画面数据之间的位移，转换单元1050可生成经转换的基准画面数据。转换单元1050可将转换的基准画面数据输出到预测器1060。
如所论述的，预测器1060可以将预测数据提供给像素块编码器1010以用于生成残差。预测器1060可以包括帧间预测器1062、帧内预测器1063和模式决策单元1064。帧间预测器1062可以接收表示要编码的新像素块的球面投影像素块数据，并且可以对于来自一个或多个基准画面的像素块数据从存储库1040搜索基准画面数据的球面投影，以用于对输入像素块进行编码。帧间预测器1062可以支持多种预测模式，诸如P模式编码和B模式编码。帧间预测器1062可以选择帧间预测模式以及提供与被编码的输入像素块最接近匹配的候选预测基准数据的标识。帧间预测器1062可以生成预测基准元数据，诸如运动矢量，以标识哪些基准画面的哪个(哪些)部分被选择作为输入像素块的预测源。
帧内预测器1063可以支持帧内(I)模式编码。帧内预测器1063可以从来自与被编码像素块相同的画面的球面投影像素块数据其间进行搜索，这提供与球面投影输入像素块的最接近匹配。帧内预测器1063也可以生成预测基准指示符以标识画面的哪个部分被选择作为输入像素块的预测源。
模式决策单元1064可以选择要应用于输入像素块的最终编码模式。通常，如上所述，在给定目标比特率的情况下，模式决策单元1064选择在解码视频时将实现最低失真的预测模式。当编码模式被选择为满足编码系统1000所遵循的其他策略，诸如满足特定信道行为、或支持随机接入或数据刷新策略时，可能出现例外。在模式决策选择最终编码模式时，模式决策单元1064可以将来自存储库1040的非球面投影的基准块输出给像素块编码器和解码器1010、1020，并且可以向控制器1070提供所选择的预测模式的标识以及对应于所选择模式的预测基准指示符。
控制器1070可以控制编码系统1000的整个操作。控制器1070可以基于输入像素块的分析以及还有外部约束(诸如编码比特率目标和其他操作参数)来选择像素块编码器1010和预测器1060的操作参数。与本论述相关，在选择量化参数QP、均匀或非均匀量化器的使用、和/或转换模式M时，可以将那些参数提供给语法单元1080，该语法单元可以将表示那些参数的数据包括在系统1000所输出的经编码视频数据的数据流中。
在操作期间，控制器1070可以在图像数据的不同粒度，要么以每个像素块为基础、要么在更大粒度(例如，每个画面、每个切片、每个最大编码单元(“LCU”)或另一区域)，来修改量化器1016和转换单元1015的操作参数。在一个实施方案中，量化参数可以在经编码的画面内以每像素为基础进行修改。
另外，如所论述的，控制器1070可以控制回路滤波器1030和预测单元1060的操作。对于预测单元1060，此类控制可包括模式选择(λ、待测模式、搜索窗口、失真策略等)，并且对于回路滤波器1030，包括选择滤波器参数、重新排序参数、加权预测等。
在一个实施方案中，预测器1060可使用球面投影中的输入像素块数据和参考像素块数据来执行预测搜索。此类预测技术的操作在于2016年12月23日提交且转让给本申请的受让人的美国专利申请15/390,202中有所描述。在此类实施方案中，编码器1000可包括球面转换单元1090，其在输入到预测器1060之前将输入像素块数据转换为球面域。在输入到预测器1060之前，转换单元1050还可将基准画面数据转换成球面域(除了执行上文所述的转换之外)。
图11是根据本公开的一个实施方案的解码系统1100的功能框图。解码系统1100可包括语法单元1110、像素块解码器1120、回路滤波器1130、基准画面存储库1140、转换单元1150、预测器1160和控制器1170。语法单元1110可以接收经编码的视频数据流，并且可以将经编码的数据解析成其组成部分。表示编码参数的数据可被提供给控制器1170，而表示编码残差的数据(图10的像素块编码器1010输出的数据)可被提供给像素块解码器1120。像素块解码器1120可反转由像素块编码器1010(图10)提供的编码操作。回路滤波器1130可过滤重建的像素块数据。重建的像素块数据可组合成用于显示的画面并且从解码系统1100输出作为输出视频。画面也可以被存储在预测缓冲器1140中以用于在预测操作中使用。转换单元1150可执行由编码像素块数据中所包含的运动矢量识别的基准画面数据的转换，如上述讨论中所述。预测器1160可以向像素块解码器1120提供预测数据，预测数据由经编码的视频数据流中接收的编码数据确定。
像素块解码器1120可包括熵解码器1122、去量化器1124、逆转换单元1126和加法器1128。熵解码器1122可执行熵解码以反转由熵编码器1018(图10)执行的过程。去量化器1124可反转像素块编码器1010的量化器1016(图10)的操作。类似地，逆转换单元1126可以反转转换单元1014(图10)的操作。它们可以使用在经编码的视频数据流中提供的量化参数QP和转换模式M。由于量化可能要截断数据，因此去量化器1124所恢复的数据在与被呈现给像素块编码器1010中其对应量化器1016(图10)的输入数据进行比较时可能将具有编码误差。
加法器1128可反转减法器1011(图10)所执行的操作。它可以接收来自预测器1160的预测像素块，该预测像素块由经编码的视频数据流中的预测基准所确定。加法器1128可以将预测像素块添加到逆转换单元1126所输出的重建残差值，并且可以输出重建的像素块数据。
回路滤波器1130可以对重建的像素块数据执行各种滤波操作。如图所示，回路滤波器1130可以包括解块滤波器1132和SAO滤波器1134。解块滤波器1132可以对重建的像素块之间接缝处的数据进行滤波，以减少由于编码而产生的像素块之间的不连续。SAO滤波器1134可以根据SAO类型，例如基于边缘方向/形状和/或像素水平对像素值添加偏移。也可以按类似的方式使用其他类型的回路滤波器。解块滤波器1132和SAO滤波器1134的操作理想地应当模拟编码系统1000(图10)中其对应部分的操作。因此，在不存在传输误差或其他异常的情况下，从解码系统1100的回路滤波器1130获得的经解码画面应当与从编码系统1000的回路滤波器1030获得的经解码画面(图10)相同；这样，编码系统1000和解码系统1100应当在它们各自的基准画面存储库1040、1140中存储同一组基准画面。
基准画面存储库1140可以存储经滤波的像素数据以供在其他像素块的后续预测中使用。基准画面存储库1140可以存储在被编码时每个画面的经解码的像素块数据以供在帧内预测中使用。基准画面存储库1140也可以存储经解码的基准画面。
转换单元1150可执行如上述实施方案中所论述的基准画面数据的转换。在解码器1100中，转换单元1150足以执行由编码视频数据中所包含的运动矢量所识别的基准画面的转换。运动矢量可向解码器1100识别基准画面内的位置，编码器1000(图10)从该位置得到基准块。解码器的转换单元1150可使用运动矢量并基于被解码的像素块和基准块来执行基准画面数据的相同转换，以生成经转换的基准块数据。
如所讨论的，预测器1160可以将经转换的基准块数据提供给像素块解码器1120。预测器1160可以提供由经编码的视频数据流中所提供的预测基准指示符确定的所预测的像素块数据。
控制器1170可以控制编码系统1100的整体操作。控制器1170可以基于在经编码的视频数据流中接收的参数来设定像素块解码器1120和预测器1160的操作参数。与本论述相关，这些操作参数可以包括去量化器1124的量化参数QP和逆转换单元1115的转换模式M。如所论述的，所接收的参数可以按照图像数据的各种粒度被设定，例如，以每像素块为基础、以每画面为基础、以每切片为基础、以每LCU为基础、或者基于为输入图像定义的其他类型的区域。
在实施过程中，编码器和解码器可交换信令以识别所执行的编码操作的参数。信令通常是参考编码协议来执行的，所述编码协议诸如HEVC、AVC和相关协议，其定义用于此类参数通信的语法元素。在一个实施方案中，前述实施方案的技术可与HEVC编码协议相结合，该编码协议将称为“reference_correction_id”的新参数添加到序列参数数据集，诸如通过以下方式：
Figure BDA0002152191470000191
在一个实施方案中，the reference_correction_id可取值如下：
Figure BDA0002152191470000192
         
Figure BDA0002152191470000201
其中：
reference_correction_id＝0表明未执行特殊处理，
reference_correction_id＝1表明仅执行水平畸变校正；
reference_correction_id＝2表明仅执行竖直畸变校正；
reference_correction_id＝3表明首先执行水平畸变校正，然后对不同行中的每个块执行竖直校正。
reference_correction_id＝4表明首先执行竖直畸变校正，然后对不同列中的每个块进行水平校正。
reference_correction_id＝5表明在预测搜索期间对每个基准候选应用逐块转换。
当然，可以根据所需的不同语法对编码参数发出信号。
前述论述已在视频编码器和解码器的上下文中描述了本公开各实施方案的操作。这些部件常常作为电子设备来提供。视频解码器和/或控制器可以被嵌入在集成电路中，诸如专用集成电路、现场可编程门阵列和/或数字信号处理器。另选地，它们可以被嵌入到在相机设备、个人计算机、笔记本电脑、平板电脑、智能电话或计算机服务器上执行的计算机程序中。此类计算机程序通常存储在物理存储介质诸如电子存储设备、磁性存储设备和/或基于光学的存储设备中，在那里它们被读取到处理器并且被执行。解码器常常被封装在消费电子设备中，诸如智能电话、平板电脑、游戏系统、DVD播放器、便携式媒体播放器等；并且，它们也可以被封装在消费软件应用程序中，诸如视频游戏、媒体播放器、媒体编辑器等。并且，当然，这些部件可以被提供作为根据需要在专用硬件部件和经编程的通用处理器上分配功能的混合系统。
例如，本文所述的技术可由计算机系统的中央处理器执行。图12示出了可执行此类技术的示例性计算机系统1200。计算机系统1200可包括彼此连通地提供的中央处理器1210、一个或多个相机1220、存储器1230和收发器1240。相机1220可执行图像捕获，并且可将捕获的图像数据存储在存储器1230中。可选地，设备还可根据需要包括接收器部件，诸如编码器1250和显示器1260。
中央处理器1210可读取并执行存储在存储器1230中的各种程序指令，该程序指令定义系统1200的操作系统1212和各种应用1214.1-1214.N。程序指令可根据本文所述的技术执行编码模式控制。在执行那些程序指令时，中央处理器1210可从存储器1230读取由相机1220或应用程序1214.1-1214.N创建的图像数据，这些图像数据可被编码用于传输。中央处理器1210可执行根据图6的原理操作的程序。另选地，系统1200可具有作为独立处理系统和/或集成电路提供的专用编码器1250。
如图所示，存储器1230可存储程序指令，该程序指令当被执行时使得处理器执行上文所述的技术。存储器1230可在基于电子存储介质、磁性存储介质和/或光学的存储介质上存储程序指令。
收发器1240可表示通信系统以对传输单元进行传输并从网络(未示出)接收确认消息。在中央处理器1210操作基于软件的视频编码器的实施方案中，收发器1240可将表示确认消息的状态的数据放置到存储器1230中由处理器1210检索。在系统1200具有专用编码器的实施方案中，收发器1240可与编码器1250交换状态信息。
已经出于例示和描述的目的呈现了前面的描述。它们并非是穷举性的并且并非将本公开的实施方案限制到所公开的精确形式。鉴于上面的教导内容，修改和变型是可能的，或者可从实践与本公开一致的实施方案获取修改和变型。除非本文另有描述，可采用任何组合来实施任何方法。

Claims (29)

1.一种用于对包含多向图像内容的输入像素块进行编码的方法，所述方法包括：
对于在具有等量矩形格式的基准画面内基于第一方向的球面域转换，
通过搜索窗口内的内容元素的球面域转换来转换所述搜索窗口内的所述基准画面的内容，其中所述内容元素中的每个根据所述输入像素块的位置与所述搜索窗口内的内容元素的位置之间的沿所述第一方向的位移被转换；
沿与所述球面域转换所基于的所述第一方向垂直的方向并且在经球面域转换的基准画面的内容内执行预测搜索，以识别所述输入像素块与经转换的基准画面的内容的匹配部分之间的匹配；并且
当匹配被识别时，相对于所述匹配部分，对所述输入像素块进行差分编码。
2.根据权利要求1所述的方法，其中对于所述搜索窗口中的每个候选运动矢量，所述转换包括转换由所述候选运动矢量从所述基准画面所识别的基准块。
3.根据权利要求1所述的方法，其中对于包括所述输入像素块的像素块行，所述转换包括沿列竖直地转换搜索窗口内的关于所述像素块行的所述基准画面的内容，并且其中所述经转换的基准画面的内容用于在所述行中的其他像素块的预测搜索。
4.根据权利要求1所述的方法，其中对于包括所述输入像素块的像素块列，所述转换包括沿行水平地转换搜索窗口内的关于像素块列的所述基准画面的内容，并且其中所述经转换的基准画面的内容用于在所述列中的其他像素块的预测搜索。
5.根据权利要求1所述的方法，其中所述转换包括沿针对帧所识别的运动方向来转换搜索窗口内的所述基准画面的内容，所述帧包括所述输入像素块。
6.根据权利要求1所述的方法，其中所述编码为帧内编码，并且所述基准画面包括相同帧的先前编码数据的经解码数据，所述输入像素块位于所述相同帧中。
7.根据权利要求1所述的方法，其中所述编码为帧间编码，并且所述基准画面包括在对帧编码之前编码的另一帧的经解码数据，所述输入像素块位于所述帧中。
8.根据权利要求1所述的方法，其中所述多向图像内容由具有鱼眼镜头的多视角相机生成。
9.根据权利要求1所述的方法，其中所述多向图像内容由全向相机生成。
10.根据权利要求1所述的方法，其中所述多向图像内容由计算机应用程序生成。
11.根据权利要求1所述的方法，其中所述编码包括：
计算表示所述输入像素块的像素与所述经转换的基准画面的所述匹配部分之间的差值的预测残差；
将所述预测残差转换成转换系数；
对所述转换系数进行量化；以及
对经量化的所述系数进行熵编码。
12.根据权利要求1所述的方法，还包括用所述输入像素块的经编码数据传输参数，所述参数识别在所述基准画面上执行的转换的类型。
13.根据权利要求1所述的方法，还包括
分别通过以下操作对多个输入像素块进行编码：
估计有待应用于每个相应像素块的预测模式；以及
当所估计的所述预测模式是帧间编码模式时，对所述相应像素块执行所述转换、所述预测搜索和所述编码；并且
当所估计的所述预测模式是帧内编码模式时，省略所述相应像素块的所述转换、所述预测搜索和所述编码。
14.根据权利要求1所述的方法，还包括：
估计所述输入像素块所属的帧的全局运动，
其中所述转换包括相对于所述输入像素块的帧在空间上对齐所述基准画面。
15.一种计算机可读存储介质，具有存储在其上的程序指令，所述程序指令在由处理设备执行时使得所述设备对包含多向图像内容的输入像素块进行编码，包括：
对于在具有等量矩形格式的基准画面内基于第一方向的球面域转换，
通过搜索窗口内的内容元素的球面域转换来转换所述搜索窗口内的所述基准画面的内容，其中所述内容元素中的每个根据所述输入像素块的位置与所述搜索窗口内的内容元素的位置之间的沿所述第一方向的位移被转换；
沿与所述球面域转换所基于的所述第一方向垂直的方向并且在经球面域转换的基准画面的内容内执行预测搜索，以识别所述输入像素块与经转换的基准画面的内容的匹配部分之间的匹配；并且
当匹配被识别时，相对于所述匹配部分，对所述输入像素块进行差分编码。
16.根据权利要求15所述的介质，其中对于所述搜索窗口中的每个候选运动矢量，所述转换包括转换由所述候选运动矢量从所述基准画面所识别的基准块。
17.根据权利要求15所述的介质，其中对于包括所述输入像素块的像素块行，所述转换包括沿列竖直地转换搜索窗口内的关于所述像素块行的所述基准画面的内容，并且其中所述经转换的基准画面的内容用于在所述行中的其他像素块的预测搜索。
18.根据权利要求15所述的介质，其中对于包括所述输入像素块的像素块列，所述转换包括沿行水平地转换搜索窗口内的关于像素块列的所述基准画面的内容，并且其中所述经转换的基准画面的内容用于在所述列中的其他像素块的预测搜索。
19.根据权利要求15所述的介质，其中所述多向图像内容由具有鱼眼镜头的多向相机生成。
20.根据权利要求15所述的介质，其中所述多向图像内容由全向相机生成。
21.根据权利要求15所述的介质，其中所述多向图像内容由计算机应用程序生成。
22.根据权利要求15所述的介质，其中所述编码包括：
计算表示所述输入像素块的像素与所述经转换的基准画面的所述匹配部分之间的差值的预测残差；
将所述预测残差转换成转换系数；
对所述转换系数进行量化；以及
对经量化的所述系数进行熵编码。
23.根据权利要求15所述的介质，其中所述程序指令使得所述设备用所述输入像素块的经编码数据传输参数，所述参数识别在所述基准画面上执行的转换的类型。
24.一种视频编码器，包括：
像素块编码器；
像素块解码器，所述像素块解码器具有耦接到所述像素块编码器的输出的输入；
基准画面存储库，所述基准画面存储库用于以基于第一方向的等量矩形格式存储来自所述像素块解码器的像素块输出的基准画面；
转换单元，所述转换单元用于在搜索窗口内的关于输入像素块的位置转换来自所述基准画面存储库的基准画面内容，其中所述转换通过基于所述等量矩形格式的所述第一方向的球面域转换而进行并且转换所述搜索窗口内的内容元素，其中所述内容元素中的每个根据所述输入像素块的位置与所述搜索窗口内的内容元素的位置之间的沿所述等量矩形格式的所述第一方向的位移被转换；和
运动预测器，用于通过沿与所述球面域转换所基于的所述第一方向垂直的方向并且在经球面域转换的基准画面的内容内的搜索，预测所述输入像素块。
25.根据权利要求24所述的编码器，其中对于所述搜索窗口中的每个候选运动矢量，所述转换单元转换由所述候选运动矢量从所述基准画面所识别的基准块。
26.根据权利要求24所述的编码器，其中对于包括所述输入像素块的像素块行，所述转换单元沿列竖直地转换搜索窗口内的关于所述像素块行的所述基准画面的内容，并且其中所述运动预测器使用经转换的基准画面的内容用于在所述行中的其他像素块的预测搜索。
27.根据权利要求24所述的编码器，其中对于包括所述输入像素块的像素块列，所述转换单元沿行水平地转换搜索窗口内的关于像素块列的所述基准画面的内容，并且其中所述运动预测器使用经转换的所述基准画面的内容用于在所述列中的其他像素块的预测搜索。
28.一种对经编码像素块进行解码的方法，所述方法包括：
从具有基于第一方向的等量矩形格式的基准画面中，转换由所述经编码像素块的数据中提供的运动矢量所识别的所述基准块，所述转换通过基于所述等量矩形格式的所述第一方向的球面域转换而进行，其中所述基准块根据所述编码像素块的位置与所述基准块的位置之间的沿所述第一方向的位移被转换，并且其中所述运动矢量指示沿与所述球面域转换所基于的所述第一方向垂直的方向的搜索的结果，
使用所述经编码像素块的其他数据，相对于经转换的基准块对所述经编码像素块进行差分解码。
29.根据权利要求28所述的方法，所述转换根据所述经编码像素块的所述其他数据中识别的转换的类型来执行。
CN201880009683.3A 2017-02-15 2018-02-06 由球面投影处理等量矩形对象数据以补偿畸变 Active CN110268716B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/433,505 2017-02-15
US15/433,505 US11259046B2 (en) 2017-02-15 2017-02-15 Processing of equirectangular object data to compensate for distortion by spherical projections
PCT/US2018/017124 WO2018151978A1 (en) 2017-02-15 2018-02-06 Processing of equirectangular object data to compensate for distortion by spherical projections

Publications (2)

Publication Number Publication Date
CN110268716A CN110268716A (zh) 2019-09-20
CN110268716B true CN110268716B (zh) 2023-04-28

Family

ID=61257111

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880009683.3A Active CN110268716B (zh) 2017-02-15 2018-02-06 由球面投影处理等量矩形对象数据以补偿畸变

Country Status (6)

Country Link
US (1) US11259046B2 (zh)
EP (1) EP3566451B1 (zh)
JP (1) JP6899443B2 (zh)
KR (1) KR102254986B1 (zh)
CN (1) CN110268716B (zh)
WO (1) WO2018151978A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
WO2019197339A1 (en) * 2018-04-09 2019-10-17 Nokia Technologies Oy Method and apparatus for remote provisioning of protection policies in an edge node based on signaling between edge nodes

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008259059A (ja) * 2007-04-06 2008-10-23 Tokyo Univ Of Science 動画像復号装置、方法及びプログラム、並びに、動画像符号化装置、方法及びプログラム
US9544597B1 (en) * 2013-02-11 2017-01-10 Google Inc. Hybrid transform in video encoding and decoding

Family Cites Families (532)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2191917A (en) 1986-06-16 1987-12-23 Ibm A multiple window display system
US5448687A (en) 1988-09-13 1995-09-05 Computer Design, Inc. Computer-assisted design system for flattening a three-dimensional surface and for wrapping a flat shape to a three-dimensional surface
DE69115762T2 (de) 1990-06-19 1996-06-13 Fujitsu Ltd Verfahren und Einrichtung zur Anzeigesteuerung von Mehrfenstern
US5185667A (en) 1991-05-13 1993-02-09 Telerobotics International, Inc. Omniview motionless camera orientation system
US5313306A (en) 1991-05-13 1994-05-17 Telerobotics International, Inc. Omniview motionless camera endoscopy system
US7382399B1 (en) 1991-05-13 2008-06-03 Sony Coporation Omniview motionless camera orientation system
US5990941A (en) 1991-05-13 1999-11-23 Interactive Pictures Corporation Method and apparatus for the interactive display of any portion of a spherical image
US5359363A (en) 1991-05-13 1994-10-25 Telerobotics International, Inc. Omniview motionless camera surveillance system
US5262777A (en) 1991-11-16 1993-11-16 Sri International Device for generating multidimensional input signals to a computer
US5787207A (en) 1991-12-30 1998-07-28 Golin; Stuart J. Method and apparatus for minimizing blockiness in reconstructed images
US5684937A (en) 1992-12-14 1997-11-04 Oxaal; Ford Method and apparatus for performing perspective transformation on visible stimuli
US5537155A (en) 1994-04-29 1996-07-16 Motorola, Inc. Method for estimating motion in a video sequence
CN100469126C (zh) 1994-08-31 2009-03-11 索尼公司 图像再生方法以及管理方法
US5715016A (en) 1995-04-05 1998-02-03 Graphic Communication Laboratories Motion estimation method and apparatus for calculating a motion vector
US5689800A (en) 1995-06-23 1997-11-18 Intel Corporation Video feedback for reducing data rate or increasing quality in a video processing system
US6031540A (en) 1995-11-02 2000-02-29 Imove Inc. Method and apparatus for simulating movement in multidimensional space with polygonal projections from subhemispherical imagery
JP3994445B2 (ja) 1995-12-05 2007-10-17 ソニー株式会社 動きベクトル検出装置及び動きベクトル検出方法
JP2798035B2 (ja) 1996-01-17 1998-09-17 日本電気株式会社 適応動きベクトル補間による動き補償フレーム間予測方法
US5903270A (en) 1997-04-15 1999-05-11 Modacad, Inc. Method and apparatus for mapping a two-dimensional texture onto a three-dimensional surface
US6331869B1 (en) 1998-08-07 2001-12-18 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
US6459451B2 (en) 1996-06-24 2002-10-01 Be Here Corporation Method and apparatus for a panoramic camera to capture a 360 degree image
US6043837A (en) 1997-05-08 2000-03-28 Be Here Corporation Method and apparatus for electronically distributing images from a panoptic camera system
JPH10327415A (ja) 1997-05-22 1998-12-08 Mitsubishi Electric Corp 動きベクトル検出装置
US6993201B1 (en) 1997-07-08 2006-01-31 At&T Corp. Generalized scalability for video coder based on video objects
JPH11119303A (ja) 1997-10-20 1999-04-30 Fujitsu Ltd 監視システム及び監視方法
KR100269125B1 (ko) 1997-10-25 2000-10-16 윤덕용 양자화효과감소를위한영상데이터후처리방법및장치
US6144890A (en) 1997-10-31 2000-11-07 Lear Corporation Computerized method and system for designing an upholstered part
JPH11308574A (ja) 1998-04-22 1999-11-05 Sony Corp 走査線数変換装置及び方法
US6535643B1 (en) 1998-11-03 2003-03-18 Lg Electronics Inc. Method for recovering compressed motion picture for eliminating blocking artifacts and ring effects and apparatus therefor
US6204854B1 (en) 1998-12-04 2001-03-20 France Telecom Method and system for encoding rotations and normals in 3D generated scenes
US6850565B2 (en) 1998-12-18 2005-02-01 Intel Corporation Real time bit rate control system
US6222883B1 (en) 1999-01-28 2001-04-24 International Business Machines Corporation Video encoding motion estimation employing partitioned and reassembled search window
US7050085B1 (en) 2000-10-26 2006-05-23 Imove, Inc. System and method for camera calibration
US6690374B2 (en) 1999-05-12 2004-02-10 Imove, Inc. Security camera system for tracking moving objects in both forward and reverse directions
JP2001008232A (ja) 1999-06-25 2001-01-12 Matsushita Electric Ind Co Ltd 全方位映像出力方法と装置
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6769131B1 (en) 1999-11-18 2004-07-27 Canon Kabushiki Kaisha Image processing apparatus and method, image distribution system and storage medium
FR2802002B1 (fr) 1999-12-02 2002-03-01 Ge Medical Syst Sa Procede de recalage automatique d'images tridimensionnelles
JP2001189902A (ja) 1999-12-28 2001-07-10 Nec Corp ヘッドマウンテッドディスプレイ制御方法及びヘッドマウンテッドディスプレイ装置
US6559853B1 (en) 2000-02-16 2003-05-06 Enroute, Inc. Environment map creation using texture projections with polygonal curved surfaces
US7259760B1 (en) 2000-02-16 2007-08-21 Be Here Corporation Polygonal curvature mapping to increase texture efficiency
GB2363019B (en) 2000-04-07 2004-02-25 Discreet Logic Inc Processing image data
US6973130B1 (en) 2000-04-25 2005-12-06 Wee Susie J Compressed video signal including information for independently coded regions
US7149549B1 (en) 2000-10-26 2006-12-12 Ortiz Luis M Providing multiple perspectives for a venue activity through an electronic hand held device
US7095905B1 (en) 2000-09-08 2006-08-22 Adobe Systems Incorporated Merging images to form a panoramic image
US20020080878A1 (en) 2000-10-12 2002-06-27 Webcast Technologies, Inc. Video apparatus and method for digital video enhancement
US7742073B1 (en) 2000-11-01 2010-06-22 Koninklijke Philips Electronics N.V. Method and apparatus for tracking an object of interest using a camera associated with a hand-held processing device
US7327787B1 (en) 2000-11-20 2008-02-05 Intel Corporation Method and apparatus for motion estimation
US6952286B2 (en) 2000-12-07 2005-10-04 Eastman Kodak Company Doubleprint photofinishing service with the second print having subject content-based modifications
US7003061B2 (en) 2000-12-21 2006-02-21 Adobe Systems Incorporated Image extraction from complex scenes in digital video
US8253754B2 (en) 2001-01-16 2012-08-28 Microsoft Corporation Sampling-efficient mapping of images
GB0101371D0 (en) 2001-01-19 2001-03-07 Virtual Mirrors Ltd Production and visualisation of garments
WO2002080521A2 (en) 2001-03-30 2002-10-10 Digeo, Inc. System and method for a software steerable web camera with multiple image subset capture
US6756990B2 (en) 2001-04-03 2004-06-29 Be Here Corporation Image filtering on 3D objects using 2D manifolds
US7006707B2 (en) 2001-05-03 2006-02-28 Adobe Systems Incorporated Projecting images onto a surface
WO2002093495A1 (en) 2001-05-11 2002-11-21 Koninklijke Philips Electronics N.V. Method, system and computer program for producing a medical report
JP4584575B2 (ja) 2001-07-06 2010-11-24 クゥアルコム・インコーポレイテッド ３ｄ画像に表示される３ｄサーフェイスとインタラクトする画像処理方法
WO2003019471A2 (en) 2001-08-25 2003-03-06 Eyesee360,Inc. Method and apparatus for encoding photogrraphic images
AU2002334705A1 (en) 2001-09-27 2003-04-07 Eyesee360, Inc. System and method for panoramic imaging
US7039113B2 (en) 2001-10-16 2006-05-02 Koninklijke Philips Electronics N.V. Selective decoding of enhanced video stream
US7161599B2 (en) 2001-10-18 2007-01-09 Microsoft Corporation Multiple-level graphics processing system and method
JP2003141562A (ja) 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
US20030099294A1 (en) 2001-11-27 2003-05-29 Limin Wang Picture level adaptive frame/field coding for digital video content
JP4082021B2 (ja) 2001-11-29 2008-04-30 コニカミノルタホールディングス株式会社 テクスチャ画像生成プログラム、テクスチャ画像データ及びデータ処理装置
CN101448162B (zh) 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
US7782357B2 (en) 2002-06-21 2010-08-24 Microsoft Corporation Minimizing dead zones in panoramic images
US20040022322A1 (en) 2002-07-19 2004-02-05 Meetrix Corporation Assigning prioritization during encode of independently compressed objects
US7023921B2 (en) 2002-08-06 2006-04-04 Motorola, Inc. Method and apparatus for determining block match quality
US6925123B2 (en) 2002-08-06 2005-08-02 Motorola, Inc. Method and apparatus for performing high quality fast predictive motion search
US20040032906A1 (en) 2002-08-19 2004-02-19 Lillig Thomas M. Foreground segmentation for digital video
US20040056900A1 (en) 2002-09-23 2004-03-25 Blume Leo R System and method for window priority rendering
SE0203908D0 (sv) 2002-12-30 2002-12-30 Abb Research Ltd An augmented reality system and method
US7385995B2 (en) 2003-01-13 2008-06-10 Brooktree Broadband Holding, Inc. System and method for dynamic bandwidth allocation on PONs
US8027473B2 (en) 2003-01-13 2011-09-27 Conexant Systems, Inc. System and method for improved data protection in PONs
EP1627524A4 (en) 2003-03-20 2009-05-27 Ge Security Inc SYSTEMS AND METHODS FOR PROCESSING IMAGES OF MULTIPLE RESOLUTIONS
US8065614B2 (en) 2003-04-09 2011-11-22 Ati Technologies, Inc. System for displaying video and method thereof
RU2225035C1 (ru) 2003-04-21 2004-02-27 Общество с ограниченной ответственностью "Р.Т.С.-Сервис" Способ кодирования координат перемещающегося на экране вычислительного устройства видеоизображения, устройство для декодирования визуального объекта, закодированного этим способом, и система, предназначенная для визуализации активного видео с помощью этого устройства
TW594594B (en) 2003-05-16 2004-06-21 Ind Tech Res Inst A multilevel texture processing method for mapping multiple images onto 3D models
US20050013498A1 (en) 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US7212206B2 (en) 2003-08-20 2007-05-01 Sony Computer Entertainment Inc. Method and apparatus for self shadowing and self interreflection light capture
WO2005027430A1 (en) 2003-09-12 2005-03-24 Unisearch Limited Method for transmitting data over lossy packet-based communication networks
US7433535B2 (en) 2003-09-30 2008-10-07 Hewlett-Packard Development Company, L.P. Enhancing text-like edges in digital images
US20050069682A1 (en) 2003-09-30 2005-03-31 Tan Tseng Custom 3-D Milled Object with Vacuum-Molded 2-D Printout Created from a 3-D Camera
JP2005159824A (ja) 2003-11-27 2005-06-16 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラム，画像復号プログラムおよびそれらの記録媒体
KR100657261B1 (ko) 2003-12-10 2006-12-14 삼성전자주식회사 적응적 움직임 보상 보간 방법 및 장치
US20050204113A1 (en) 2004-03-09 2005-09-15 International Business Machines Corp. Method, system and storage medium for dynamically selecting a page management policy for a memory controller
EP1589763A2 (en) * 2004-04-20 2005-10-26 Sony Corporation Image processing apparatus, method and program
US7496141B2 (en) 2004-04-29 2009-02-24 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7400679B2 (en) 2004-04-29 2008-07-15 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US20050286777A1 (en) * 2004-06-27 2005-12-29 Roger Kumar Encoding and decoding images
US8442311B1 (en) 2005-06-30 2013-05-14 Teradici Corporation Apparatus and method for encoding an image generated in part by graphical commands
US7929800B2 (en) 2007-02-06 2011-04-19 Meadow William D Methods and apparatus for generating a continuum of image data
US8194093B2 (en) 2004-09-15 2012-06-05 Onlive, Inc. Apparatus and method for capturing the expression of a performer
US20060055706A1 (en) 2004-09-15 2006-03-16 Perlman Stephen G Apparatus and method for capturing the motion of a performer
US7660245B1 (en) 2004-09-16 2010-02-09 Qualcomm Incorporated FEC architecture for streaming services including symbol-based operations and packet tagging
KR20070063561A (ko) 2004-09-24 2007-06-19 코닌클리케 필립스 일렉트로닉스 엔.브이. 중첩 이미지들을 제공하는 하나 이상의 카메라들을포함하거나 이용한 합성 이미지들의 생성을 위한 시스템 및방법
BRPI0516309B1 (pt) 2004-10-05 2019-07-02 Vectormax Corporation Sistema de vídeo de compressão
JP2008520052A (ja) 2004-11-12 2008-06-12 モク３， インコーポレイテッド シーン間遷移のための方法
US7620261B2 (en) 2004-11-23 2009-11-17 Stmicroelectronics Asia Pacific Pte. Ltd. Edge adaptive filtering system for reducing artifacts and method
US7432936B2 (en) 2004-12-02 2008-10-07 Avid Technology, Inc. Texture data anti-aliasing method and apparatus
US7792385B2 (en) 2005-01-25 2010-09-07 Globalfoundries Inc. Scratch pad for storing intermediate loop filter data
US8576924B2 (en) 2005-01-25 2013-11-05 Advanced Micro Devices, Inc. Piecewise processing of overlap smoothing and in-loop deblocking
US8693537B2 (en) 2005-03-01 2014-04-08 Qualcomm Incorporated Region-of-interest coding with background skipping for video telephony
JP4708819B2 (ja) 2005-03-14 2011-06-22 キヤノン株式会社 画像処理装置、方法、コンピュータプログラム及び記憶媒体
US20060282855A1 (en) 2005-05-05 2006-12-14 Digital Display Innovations, Llc Multiple remote display system
US7755667B2 (en) 2005-05-17 2010-07-13 Eastman Kodak Company Image sequence stabilization method and camera having dual path image sequence stabilization
US8045615B2 (en) 2005-05-25 2011-10-25 Qualcomm Incorporated Deblock filtering techniques for video coding according to multiple video standards
EP1895901A2 (en) 2005-06-22 2008-03-12 The Research Foundation of State University of New York System and method for computer aided polyp detection
US20070024705A1 (en) 2005-08-01 2007-02-01 Richter Roger K Systems and methods for video stream selection
US20070064120A1 (en) 2005-09-16 2007-03-22 Richard Didow Chroma-key event photography
US9258519B2 (en) 2005-09-27 2016-02-09 Qualcomm Incorporated Encoder assisted frame rate up conversion using various motion models
US8270496B2 (en) 2005-10-12 2012-09-18 Thomson Licensing Region of interest H.264 scalable video coding
US7956929B2 (en) 2005-10-31 2011-06-07 Broadcom Corporation Video background subtractor system
GB0600141D0 (en) 2006-01-05 2006-02-15 British Broadcasting Corp Scalable coding of video signals
US7415356B1 (en) 2006-02-03 2008-08-19 Zillow, Inc. Techniques for accurately synchronizing portions of an aerial image with composited visual information
US8442318B2 (en) 2006-02-13 2013-05-14 Snell Limited Method and apparatus for modifying a moving image sequence
US8279928B2 (en) 2006-05-09 2012-10-02 Canon Kabushiki Kaisha Image encoding apparatus and encoding method, image decoding apparatus and decoding method
CN101455088B (zh) 2006-05-24 2011-05-11 松下电器产业株式会社 运动图像解码装置
CN101507281B (zh) 2006-07-12 2013-06-05 诺基亚公司 媒体文件中的兴趣区域可缩放性信息的信号发送
US8446509B2 (en) 2006-08-09 2013-05-21 Tenebraex Corporation Methods of creating a virtual window
US7643662B2 (en) 2006-08-15 2010-01-05 General Electric Company System and method for flattened anatomy for interactive segmentation and measurement
US7693349B2 (en) 2006-08-15 2010-04-06 General Electric Company Systems and methods for interactive image registration
WO2008039371A2 (en) 2006-09-22 2008-04-03 Objectvideo, Inc. Video background replacement system
JP4931055B2 (ja) 2006-11-22 2012-05-16 ソニー株式会社 画像処理装置及び画像処理方法
US8462109B2 (en) 2007-01-05 2013-06-11 Invensense, Inc. Controlling and accessing content using motion processing on mobile devices
US8630512B2 (en) 2007-01-25 2014-01-14 Skyfire Labs, Inc. Dynamic client-server video tiling streaming
JP4682990B2 (ja) 2007-02-06 2011-05-11 日本ビクター株式会社 カメラ画像圧縮処理装置及び圧縮処理方法
KR100866230B1 (ko) 2007-04-12 2008-10-30 삼성전자주식회사 파노라마 사진 촬영 방법
KR101328950B1 (ko) 2007-04-24 2013-11-13 엘지전자 주식회사 화상 디스플레이 방법 및 이를 구현할 수 있는 화상통신용단말기
AU2007202789B9 (en) 2007-06-15 2011-08-18 Canon Kabushiki Kaisha High-fidelity motion summarisation method
WO2009001793A1 (ja) 2007-06-26 2008-12-31 Kabushiki Kaisha Toshiba 画像符号化と画像復号化の方法及び装置
KR100882011B1 (ko) 2007-07-29 2009-02-04 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치
JP2009042811A (ja) 2007-08-06 2009-02-26 Univ Of Tokyo ３次元形状展開装置、３次元形状展開方法、および３次元形状展開用プログラム
KR101946376B1 (ko) 2007-10-16 2019-02-11 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US8638327B2 (en) 2007-11-14 2014-01-28 Microsoft Corporation Tiled projections for planar processing of round earth data
KR100914846B1 (ko) 2007-12-15 2009-09-02 한국전자통신연구원 2차원 환경에서 3차원 모델의 텍스쳐 맵 제작 방법 및시스템
US8170367B2 (en) 2008-01-28 2012-05-01 Vistaprint Technologies Limited Representing flat designs to be printed on curves of a 3-dimensional product
CA2714362A1 (en) 2008-01-29 2009-08-06 Enforcement Video, Llc Omnidirectional camera for use in police car event recording
US8269765B2 (en) 2008-02-28 2012-09-18 Autodesk, Inc. System and method for removing seam artifacts
US9305389B2 (en) 2008-02-28 2016-04-05 Autodesk, Inc. Reducing seam artifacts when applying a texture to a three-dimensional (3D) model
US8217956B1 (en) 2008-02-29 2012-07-10 Adobe Systems Incorporated Method and apparatus for rendering spherical panoramas
US20090262838A1 (en) 2008-04-21 2009-10-22 Qualcomm Incorporated Method and apparatus for encoding transmission data blocks for enhanced switching performance
KR20090129926A (ko) 2008-06-13 2009-12-17 삼성전자주식회사 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
KR101595344B1 (ko) 2008-08-01 2016-02-18 엘지전자 주식회사 디스플레이 모듈 및 이를 구비한 휴대 단말기
US8804821B2 (en) 2008-09-26 2014-08-12 Microsoft Corporation Adaptive video processing of an interactive environment
US20100079605A1 (en) 2008-09-29 2010-04-01 William Marsh Rice University Sensor-Assisted Motion Estimation for Efficient Video Encoding
WO2010050699A2 (ko) 2008-10-27 2010-05-06 에스케이텔레콤 주식회사 동영상 부호화/복호화 장치, 이를 위한 적응적 디블록킹 필터링 장치와 필터링 방법, 및 기록 매체
KR101315456B1 (ko) 2008-11-05 2013-10-04 삼성전자주식회사 화상형성장치와 연결된 호스트장치, 이를 포함하는 화상형성시스템 및 화상형성장치의 배경화면 변경방법
US9215467B2 (en) 2008-11-17 2015-12-15 Checkvideo Llc Analytics-modulated coding of surveillance video
US8295360B1 (en) 2008-12-23 2012-10-23 Elemental Technologies, Inc. Method of efficiently implementing a MPEG-4 AVC deblocking filter on an array of parallel processors
US20100316129A1 (en) 2009-03-27 2010-12-16 Vixs Systems, Inc. Scaled motion search section with downscaling filter and method for use therewith
US8364561B2 (en) 2009-05-26 2013-01-29 Embodee Corp. Garment digitization system and method
US20130124156A1 (en) 2009-05-26 2013-05-16 Embodee Corp Footwear digitization system and method
US20100329361A1 (en) 2009-06-30 2010-12-30 Samsung Electronics Co., Ltd. Apparatus and method for in-loop filtering of image data and apparatus for encoding/decoding image data using the same
US20100329362A1 (en) 2009-06-30 2010-12-30 Samsung Electronics Co., Ltd. Video encoding and decoding apparatus and method using adaptive in-loop filter
KR100988872B1 (ko) 2009-07-08 2010-10-20 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 복합 영상을 얻는 방법과 그 영상 시스템 및 하드웨어적으로 영상처리를 하는 이미지 센서
US9300969B2 (en) 2009-09-09 2016-03-29 Apple Inc. Video storage
JP5357685B2 (ja) 2009-09-28 2013-12-04 株式会社ソニー・コンピュータエンタテインメント ３次元オブジェクト処理装置、３次元オブジェクト処理方法、プログラム、及び情報記憶媒体
US20110128350A1 (en) 2009-11-30 2011-06-02 Motorola, Inc. Method and apparatus for choosing a desired field of view from a wide-angle image or video
US20110142306A1 (en) 2009-12-16 2011-06-16 Vivek Nair Method and system for generating a medical image
US9762795B2 (en) 2013-09-04 2017-09-12 Gyeongil Kweon Method and apparatus for obtaining rectilinear images using rotationally symmetric wide-angle lens
WO2011098664A1 (en) 2010-02-11 2011-08-18 Nokia Corporation Method and apparatus for providing multi-threaded video decoding
KR101952606B1 (ko) 2010-03-16 2019-02-27 톰슨 라이센싱 비디오 인코딩 및 디코딩을 위한 암시적인 적응 움직임 벡터 예측자 선택을 위한 방법 및 장치
US20110235706A1 (en) 2010-03-25 2011-09-29 Texas Instruments Incorporated Region of interest (roi) video encoding
US9094658B2 (en) 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
US8660174B2 (en) 2010-06-15 2014-02-25 Mediatek Inc. Apparatus and method of adaptive offset for video coding
US8730267B2 (en) 2010-06-21 2014-05-20 Celsia, Llc Viewpoint change on a display device based on movement of the device
EP2596475B1 (en) 2010-07-19 2019-01-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Filling disocclusions in a virtual view
WO2012015889A1 (en) 2010-07-27 2012-02-02 Telcordia Technologies, Inc. Interactive projection and playback of relevant media segments onto facets of three-dimensional shapes
US20130170726A1 (en) 2010-09-24 2013-07-04 The Research Foundation Of State University Of New York Registration of scanned objects obtained from different orientations
US8902988B2 (en) 2010-10-01 2014-12-02 Qualcomm Incorporated Zero-out of high frequency coefficients and entropy coding retained coefficients using a joint context model
US20120082216A1 (en) 2010-10-01 2012-04-05 General Instrument Corporation Coding and decoding utilizing picture boundary padding in flexible partitioning
RU2010144450A (ru) 2010-10-29 2012-05-10 ЭлЭсАй Корпорейшн (US) Оценка движения для видео транскодера
US9007432B2 (en) 2010-12-16 2015-04-14 The Massachusetts Institute Of Technology Imaging systems and methods for immersive surveillance
JP5631229B2 (ja) 2011-01-31 2014-11-26 キヤノン株式会社 撮像装置、その制御方法及びプログラム
US9282321B2 (en) 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
US9288476B2 (en) 2011-02-17 2016-03-15 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
US8780972B2 (en) 2011-02-25 2014-07-15 Blackberry Limited Methods and devices for data compression using offset-based adaptive reconstruction levels
US9288501B2 (en) 2011-03-08 2016-03-15 Qualcomm Incorporated Motion vector predictors (MVPs) for bi-predictive inter mode in video coding
US8907968B2 (en) 2011-03-31 2014-12-09 Panasonic Corporation Image rendering device, image rendering method, and image rendering program for rendering stereoscopic panoramic images
US9071484B1 (en) 2011-04-05 2015-06-30 Elemental Technologies, Inc. Feedback optimized video coding parameters
US9360991B2 (en) 2011-04-11 2016-06-07 Microsoft Technology Licensing, Llc Three-dimensional icons for organizing, invoking, and using applications
US9143795B2 (en) 2011-04-11 2015-09-22 Texas Instruments Incorporated Parallel motion estimation in video coding
US20160286119A1 (en) 2011-04-18 2016-09-29 360fly, Inc. Mobile Device-Mountable Panoramic Camera System and Method of Displaying Images Captured Therefrom
US9247266B2 (en) 2011-04-18 2016-01-26 Texas Instruments Incorporated Temporal motion data candidate derivation in video coding
US9288500B2 (en) 2011-05-12 2016-03-15 Texas Instruments Incorporated Luma-based chroma intra-prediction for video coding
US20120309321A1 (en) 2011-05-31 2012-12-06 Broadcom Corporation Synchronized calibration for wireless communication devices
US9866859B2 (en) 2011-06-14 2018-01-09 Texas Instruments Incorporated Inter-prediction candidate index coding independent of inter-prediction candidate list construction in video coding
US8964008B2 (en) 2011-06-17 2015-02-24 Microsoft Technology Licensing, Llc Volumetric video presentation
US8484391B2 (en) 2011-06-20 2013-07-09 Intel Corporation Configurable buffer allocation for multi-format video processing
US9153031B2 (en) 2011-06-22 2015-10-06 Microsoft Technology Licensing, Llc Modifying video regions using mobile device input
US10484693B2 (en) 2011-06-22 2019-11-19 Texas Instruments Incorporated Method and apparatus for sample adaptive offset parameter estimation for image and video coding
EP2725794A4 (en) 2011-06-28 2015-03-04 Samsung Electronics Co Ltd METHOD AND DEVICE FOR PREDICTING THE CHROMINANCE COMPONENT OF AN IMAGE FROM THE LUMINANCE COMPONENT
US20130003858A1 (en) 2011-06-30 2013-01-03 Vivienne Sze Simplified Context Selection For Entropy Coding of Transform Coefficient Syntax Elements
JP2014525176A (ja) 2011-07-12 2014-09-25 インテル コーポレイション 輝度に基づく色度イントラ予測
US11245912B2 (en) 2011-07-12 2022-02-08 Texas Instruments Incorporated Fast motion estimation for hierarchical coding structures
US8890863B1 (en) 2011-08-12 2014-11-18 Google Inc. Automatic method for photo texturing geolocated 3-D models from geolocated imagery
US8682091B2 (en) 2011-08-18 2014-03-25 International Business Machines Corporation Real-time image compression
US8804816B2 (en) 2011-08-30 2014-08-12 Microsoft Corporation Video encoding enhancements
US20130051467A1 (en) 2011-08-31 2013-02-28 Apple Inc. Hybrid inter/intra prediction in video coding systems
MX2014002529A (es) 2011-09-09 2014-05-13 Panasonic Corp Decisiones de filtro de desbloqueo complejas bajas.
US8988446B2 (en) 2011-10-07 2015-03-24 Zynga Inc. 2D animation from a 3D mesh
US8913656B2 (en) 2011-10-14 2014-12-16 Mediatek Inc. Method and apparatus for in-loop filtering
IN2014CN02602A (zh) 2011-10-19 2015-08-07 Panasonic Corp
US9510020B2 (en) 2011-10-20 2016-11-29 Qualcomm Incorporated Intra pulse code modulation (IPCM) and lossless coding mode deblocking for video coding
US8504941B2 (en) 2011-10-31 2013-08-06 Utc Fire & Security Corporation Digital image magnification user interface
US9253482B2 (en) 2011-11-08 2016-02-02 Texas Insturments Incorporated Method and apparatus for sample adaptive offset without sign coding
US20130128986A1 (en) 2011-11-23 2013-05-23 Mediatek Inc. Method and Apparatus of Slice Boundary Padding for Loop Filtering
KR20130058584A (ko) 2011-11-25 2013-06-04 삼성전자주식회사 복호화기의 버퍼 관리를 위한 영상 부호화 방법 및 장치, 그 영상 복호화 방법 및 장치
US9723223B1 (en) 2011-12-02 2017-08-01 Amazon Technologies, Inc. Apparatus and method for panoramic video hosting with directional audio
US20130141526A1 (en) 2011-12-02 2013-06-06 Stealth HD Corp. Apparatus and Method for Video Image Stitching
US9838687B1 (en) 2011-12-02 2017-12-05 Amazon Technologies, Inc. Apparatus and method for panoramic video hosting with reduced bandwidth streaming
US9404764B2 (en) 2011-12-30 2016-08-02 Here Global B.V. Path side imagery
WO2013102293A1 (en) 2012-01-04 2013-07-11 Mediatek Singapore Pte. Ltd. Improvements of luma-based chroma intra prediction
US9332259B2 (en) 2012-01-18 2016-05-03 Qualcomm Incorporated Indication of use of wavefront parallel processing in video coding
US9729870B2 (en) 2012-01-31 2017-08-08 Apple Inc. Video coding efficiency with camera metadata
US9967563B2 (en) 2012-02-03 2018-05-08 Hfi Innovation Inc. Method and apparatus for loop filtering cross tile or slice boundaries
US9423994B2 (en) 2012-02-22 2016-08-23 Citrix Systems, Inc. Hierarchical display
US11164394B2 (en) 2012-02-24 2021-11-02 Matterport, Inc. Employing three-dimensional (3D) data predicted from two-dimensional (2D) images using neural networks for 3D modeling applications and other applications
US9094681B1 (en) 2012-02-28 2015-07-28 Google Inc. Adaptive segmentation
WO2013140722A1 (ja) 2012-03-21 2013-09-26 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、および画像符号化復号装置
US20130251028A1 (en) 2012-03-22 2013-09-26 The Hong Kong University Of Science And Technology Video encoding and decoding with channel prediction and error correction capability
JPWO2013150838A1 (ja) 2012-04-05 2015-12-17 ソニー株式会社 画像処理装置及び画像処理方法
US10721487B2 (en) 2012-04-17 2020-07-21 Texas Instruments Incorporated Converting a bi-predicted merging candidate in a merging candidate list for a prediction unit of a picture
US9591312B2 (en) 2012-04-17 2017-03-07 Texas Instruments Incorporated Memory bandwidth reduction for motion compensation in video coding
US9451163B2 (en) 2012-05-11 2016-09-20 Qualcomm Incorporated Motion sensor assisted rate control for video encoding
US9256961B2 (en) 2012-06-28 2016-02-09 Here Global B.V. Alternate viewpoint image enhancement
US9467653B2 (en) 2012-06-29 2016-10-11 Avaya Inc. System and method for aggressive downstream bandwidth conservation based on user inactivity
CA2876567C (en) 2012-07-02 2020-03-24 Semih Esenlik Image coding and decoding of slice boundaries wherein loop filtering of top and left slice boundaries is controlled by a boundary control flag
US9264710B2 (en) 2012-07-06 2016-02-16 Texas Instruments Incorporated Method and system for video picture intra-prediction estimation
GB2505912B (en) 2012-09-14 2015-10-07 Canon Kk Method and device for generating a description file, and corresponding streaming method
US9898829B2 (en) 2012-09-18 2018-02-20 Hanwha Techwin Co., Ltd. Monitoring apparatus and system using 3D information of images and monitoring method using the same
US8880563B2 (en) 2012-09-21 2014-11-04 Adobe Systems Incorporated Image search by query object segmentation
UA111797C2 (uk) 2012-09-27 2016-06-10 Долбі Лабораторіс Лайсензін Корпорейшн Обробка міжрівневого еталонного зображення для масштабованості стандартів кодування
US8989508B2 (en) 2012-09-28 2015-03-24 Sharp Kabushiki Kaisha Electronic device for signaling a sub-picture buffer parameter
US20140368669A1 (en) 2012-10-04 2014-12-18 Google Inc. Gpu-accelerated background replacement
US9819965B2 (en) * 2012-11-13 2017-11-14 Intel Corporation Content adaptive transform coding for next generation video
US9253503B2 (en) 2012-12-18 2016-02-02 Xerox Corporation Computationally efficient motion estimation with learning capabilities for video compression in transportation and regularized environments
JP6044328B2 (ja) 2012-12-26 2016-12-14 株式会社リコー 画像処理システム、画像処理方法およびプログラム
US9639635B2 (en) 2013-01-02 2017-05-02 Embodee Corp Footwear digitization system and method
KR102284110B1 (ko) 2013-01-17 2021-07-30 삼성전자주식회사 디코더 설정을 위한 비디오 부호화 방법 및 그 장치, 디코더 설정에 기초한 비디오 복호화 방법 및 그 장치
US20140218356A1 (en) 2013-02-06 2014-08-07 Joshua D.I. Distler Method and apparatus for scaling images
CN104020935A (zh) 2013-02-28 2014-09-03 国际商业机器公司 用于控制显示屏上的显示对象的方法和装置
US9398302B2 (en) 2013-03-08 2016-07-19 Mediatek Inc. Image encoding method and apparatus with rate control by selecting target bit budget from pre-defined candidate bit budgets and related image decoding method and apparatus
CN105580369B (zh) 2013-03-11 2019-04-26 杜比实验室特许公司 使用分层编码对多格式高动态范围视频进行编解码的方法、装置及系统
JP2014176034A (ja) 2013-03-12 2014-09-22 Ricoh Co Ltd 映像伝送装置
US10127636B2 (en) 2013-09-27 2018-11-13 Kofax, Inc. Content-based detection and three dimensional geometric reconstruction of objects in image and video data
US9013536B2 (en) 2013-03-13 2015-04-21 Futurewei Technologies, Inc. Augmented video calls on mobile devices
US9007404B2 (en) 2013-03-15 2015-04-14 Legend3D, Inc. Tilt-based look around effect image enhancement method
WO2014146079A1 (en) 2013-03-15 2014-09-18 Zenkich Raymond System and method for non-uniform video coding
US9854252B2 (en) 2013-05-20 2017-12-26 Texas Instruments Incorporated Method and apparatus of HEVC de-blocking filter
US10015515B2 (en) 2013-06-21 2018-07-03 Qualcomm Incorporated Intra prediction from a predictive block
AU2013206597A1 (en) 2013-06-28 2015-01-22 Canon Kabushiki Kaisha Depth constrained superpixel-based depth map refinement
EP3021586A4 (en) 2013-07-07 2016-12-07 Wilus Inst Standards & Technology Inc METHOD AND APPARATUS FOR PROCESSING VIDEO SIGNAL
US9055186B2 (en) 2013-07-23 2015-06-09 Personify, Inc Systems and methods for integrating user personas with content during video conferencing
JP6091371B2 (ja) 2013-07-29 2017-03-08 ローランドディー．ジー．株式会社 スライスデータ作成装置、スライスデータ作成方法、プログラムおよびコンピューター読み取り可能な記録媒体
WO2015030221A1 (en) 2013-08-28 2015-03-05 Ricoh Company, Ltd. Image processing apparatus, image processing method, and imaging system
JP2015050661A (ja) * 2013-09-02 2015-03-16 キヤノン株式会社 符号化装置、符号化装置の制御方法、及び、コンピュータプログラム
US20150089348A1 (en) 2013-09-23 2015-03-26 Yahoo! Inc. System and method for web page background image delivery
US9819941B2 (en) 2013-10-10 2017-11-14 Qualcomm Incorporated Signaling for sub-decoded picture buffer (sub-DPB) based DPB operations in video coding
CA2931529C (en) 2013-11-27 2022-08-23 Children's National Medical Center 3d corrected imaging
CN104683801B (zh) 2013-11-29 2018-06-05 华为技术有限公司 图像压缩方法和装置
US10015527B1 (en) 2013-12-16 2018-07-03 Amazon Technologies, Inc. Panoramic video distribution and viewing
US9414016B2 (en) 2013-12-31 2016-08-09 Personify, Inc. System and methods for persona identification using combined probability maps
US10368097B2 (en) 2014-01-07 2019-07-30 Nokia Technologies Oy Apparatus, a method and a computer program product for coding and decoding chroma components of texture pictures for sample prediction of depth pictures
CN106105220B (zh) 2014-01-07 2019-07-05 诺基亚技术有限公司 用于视频编码和解码的方法和装置
US9883197B2 (en) 2014-01-09 2018-01-30 Qualcomm Incorporated Intra prediction of chroma blocks using the same vector
US20150215631A1 (en) 2014-01-23 2015-07-30 Broadcom Corporation Parallel Coding with Overlapped Tiles
KR102149448B1 (ko) 2014-02-21 2020-08-28 삼성전자주식회사 이미지를 처리하기 위한 전자 장치 및 방법
JP2015170994A (ja) 2014-03-07 2015-09-28 ソニー株式会社 画像処理装置および方法、画像符号化装置および方法、並びに、画像復号装置および方法
US10250895B2 (en) 2014-03-14 2019-04-02 Sharp Kabushiki Kaisha DPB capacity limits
US9756354B2 (en) 2014-03-17 2017-09-05 Qualcomm Incorporated Block vector predictor for intra block copying
GB2524249B (en) 2014-03-17 2021-01-20 Sony Interactive Entertainment Inc Image Processing
US20150264404A1 (en) 2014-03-17 2015-09-17 Nokia Technologies Oy Method and apparatus for video coding and decoding
US10477232B2 (en) 2014-03-21 2019-11-12 Qualcomm Incorporated Search region determination for intra block copy in video coding
US9841277B2 (en) 2014-03-27 2017-12-12 Knockout Concepts, Llc Graphical feedback during 3D scanning operations for obtaining optimal scan resolution
GB2526263B (en) 2014-05-08 2019-02-06 Sony Interactive Entertainment Europe Ltd Image capture method and apparatus
US9986154B2 (en) 2014-05-21 2018-05-29 Here Global B.V. Developing a panoramic image
US10104397B2 (en) 2014-05-28 2018-10-16 Mediatek Inc. Video processing apparatus for storing partial reconstructed pixel data in storage device for use in intra prediction and related video processing method
KR102407283B1 (ko) 2014-05-29 2022-06-10 네버마인드 캐피탈 엘엘씨 콘텐트를 전달 및/또는 콘텐트를 재생하기 위한 방법들 및 장치
US20150346812A1 (en) * 2014-05-29 2015-12-03 Nextvr Inc. Methods and apparatus for receiving content and/or playing back content
WO2015191466A1 (en) 2014-06-09 2015-12-17 GroupeSTAHL Apparatuses and methods of interacting with 2d design documents and 3d models and generating production textures for wrapping artwork around portions of 3d objects
RU2017101574A (ru) 2014-06-19 2018-07-19 Вид Скейл, Инк. Системы и способы для оптимизации параметра модели в основанном на трехмерном представлении отображении цветов
US9930341B2 (en) 2014-06-20 2018-03-27 Qualcomm Incorporated Block vector coding for intra block copying
WO2015197818A1 (en) 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Hevc-tiled video streaming
US10204658B2 (en) 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
CN104156947B (zh) 2014-07-23 2018-03-16 小米科技有限责任公司 图像分割方法、装置及设备
US10187569B2 (en) 2014-07-28 2019-01-22 Mediatek Inc. Portable device capable of generating panoramic file
CN106664393A (zh) 2014-07-31 2017-05-10 索尼公司 信息处理装置、信息处理方法以及图像显示系统
WO2016038970A1 (ja) 2014-09-08 2016-03-17 富士フイルム株式会社 撮像制御装置、撮像制御方法、カメラシステム及びプログラム
GB2520822B (en) 2014-10-10 2016-01-13 Aveva Solutions Ltd Image rendering of laser scan data
US9917877B2 (en) 2014-10-20 2018-03-13 Google Llc Streaming the visible parts of a spherical video
US9918082B2 (en) 2014-10-20 2018-03-13 Google Llc Continuous prediction domain
US20160112713A1 (en) 2014-10-20 2016-04-21 Google Inc. Mapping spherical image to 2d representations
KR102309281B1 (ko) 2014-11-07 2021-10-08 삼성전자주식회사 오브젝트를 표시하는 방향 기반 전자 장치 및 방법
US10104361B2 (en) * 2014-11-14 2018-10-16 Samsung Electronics Co., Ltd. Coding of 360 degree videos using region adaptive smoothing
US10237559B2 (en) 2014-11-20 2019-03-19 Getgo, Inc. Layer-based video decoding
EP3029937B1 (en) 2014-12-03 2016-11-16 Axis AB Method and encoder for video encoding of a sequence of frames
US9866815B2 (en) 2015-01-05 2018-01-09 Qualcomm Incorporated 3D object segmentation
CN104539962B (zh) 2015-01-20 2017-12-01 北京工业大学 一种融合视觉感知特征的可分层视频编码方法
US10070130B2 (en) 2015-01-30 2018-09-04 Qualcomm Incorporated Flexible partitioning of prediction units
JP5846549B1 (ja) 2015-02-06 2016-01-20 株式会社リコー 画像処理システム、画像処理方法、プログラム、撮像システム、画像生成装置、画像生成方法およびプログラム
US10362290B2 (en) 2015-02-17 2019-07-23 Nextvr Inc. Methods and apparatus for processing content based on viewing information and/or communicating content
KR102493754B1 (ko) 2015-02-17 2023-02-01 네버마인드 캐피탈 엘엘씨 감축된 해상도 이미지들을 생성 및 이용하고 및/또는 재생 또는 컨텐트 분배 디바이스에 이러한 이미지들을 통신하기 위한 방법들 및 장치
US20180048890A1 (en) 2015-03-02 2018-02-15 Lg Electronics Inc. Method and device for encoding and decoding video signal by using improved prediction filter
CN107409233B (zh) 2015-03-05 2020-04-14 索尼公司 图像处理装置和图像处理方法
EP3267688A4 (en) 2015-03-05 2018-08-01 Sony Corporation Image processing device and image processing method
JP6685995B2 (ja) 2015-03-05 2020-04-22 ソニー株式会社 画像処理装置および画像処理方法
JP5920507B1 (ja) 2015-03-10 2016-05-18 株式会社リコー 画像処理システム、画像処理方法およびプログラム
US9232189B2 (en) 2015-03-18 2016-01-05 Avatar Merger Sub Ii, Llc. Background modification in video conferencing
US9754413B1 (en) 2015-03-26 2017-09-05 Google Inc. Method and system for navigating in panoramic images using voxel maps
JP6491957B2 (ja) 2015-05-25 2019-03-27 京セラ株式会社 電子機器および画像処理方法
US20160353146A1 (en) 2015-05-27 2016-12-01 Google Inc. Method and apparatus to reduce spherical video bandwidth to user headset
DE112016002377T5 (de) 2015-05-27 2018-02-08 Google Llc Streamen von sphärischem video
US10038887B2 (en) 2015-05-27 2018-07-31 Google Llc Capture and render of panoramic virtual reality content
US9866752B2 (en) 2015-06-02 2018-01-09 Qualcomm Incorporated Systems and methods for producing a combined view from fisheye cameras
GB2538998A (en) 2015-06-03 2016-12-07 Nokia Technologies Oy A method, an apparatus, a computer program for video coding
CN115002458A (zh) 2015-06-05 2022-09-02 杜比实验室特许公司 图像编码和解码方法和图像解码设备
CN115134591A (zh) 2015-06-05 2022-09-30 杜比实验室特许公司 图像编解码方法、比特流存储方法
WO2016200115A1 (ko) 2015-06-07 2016-12-15 엘지전자(주) 디블록킹 필터링을 수행하는 방법 및 장치
US10448015B2 (en) 2015-06-16 2019-10-15 Lg Electronics Inc. Method and device for performing adaptive filtering according to block boundary
US10609419B2 (en) 2015-06-24 2020-03-31 Sony Corporation Encoding apparatus, decoding apparatus and transmission control method
JP6677098B2 (ja) 2015-07-01 2020-04-08 株式会社リコー 全天球動画の撮影システム、及びプログラム
KR102291835B1 (ko) 2015-07-08 2021-08-23 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 교차 평면 필터링을 이용한 향상된 크로마 코딩
CN108141593B (zh) 2015-07-31 2022-05-03 港大科桥有限公司 用于针对深度视频的高效帧内编码的基于深度不连续的方法
US20170038942A1 (en) 2015-08-07 2017-02-09 Vrideo Playback initialization tool for panoramic videos
US9277122B1 (en) 2015-08-13 2016-03-01 Legend3D, Inc. System and method for removing camera rotation from a panoramic video
US20170054907A1 (en) 2015-08-21 2017-02-23 Yoshito NISHIHARA Safety equipment, image communication system, method for controlling light emission, and non-transitory recording medium
US9967577B2 (en) 2015-08-31 2018-05-08 Microsoft Technology Licensing, Llc Acceleration interface for video decoding
MX2018002209A (es) 2015-09-01 2018-03-23 Ericsson Telefon Ab L M Mejora espacial de bloques de transformacion.
US10491711B2 (en) 2015-09-10 2019-11-26 EEVO, Inc. Adaptive streaming of virtual reality data
US9781350B2 (en) 2015-09-28 2017-10-03 Qualcomm Incorporated Systems and methods for performing automatic zoom
US20170104927A1 (en) 2015-10-07 2017-04-13 Little Star Media, Inc. Systems, methods and software programs for 360 degree video distribution platforms
US20170026659A1 (en) 2015-10-13 2017-01-26 Mediatek Inc. Partial Decoding For Arbitrary View Angle And Line Buffer Reduction For Virtual Reality Video
US10152825B2 (en) 2015-10-16 2018-12-11 Fyusion, Inc. Augmenting multi-view image data with synthetic objects using IMU and image data
GB2543766B (en) 2015-10-26 2018-02-14 Advanced Risc Mach Ltd Graphics processing systems
US10277858B2 (en) 2015-10-29 2019-04-30 Microsoft Technology Licensing, Llc Tracking object of interest in an omnidirectional video
US9948893B2 (en) 2015-11-18 2018-04-17 Avaya Inc. Background replacement based on attribute of remote user or endpoint
US11412209B2 (en) 2015-11-20 2022-08-09 Electronics And Telecommunications Research Institute Method and device for encoding/decoding image using geometrically modified picture
JP6937302B2 (ja) * 2015-11-23 2021-09-29 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートＥｌｅｃｔｒｏｎｉｃｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ 多視点ビデオの符号化／復号化方法
WO2017116952A1 (en) 2015-12-29 2017-07-06 Dolby Laboratories Licensing Corporation Viewport independent image coding and rendering
US20170200315A1 (en) 2016-01-07 2017-07-13 Brendan Lockhart Live stereoscopic panoramic virtual reality streaming system
US10282814B2 (en) 2016-01-07 2019-05-07 Mediatek Inc. Method and apparatus of image formation and compression of cubic images for 360 degree panorama display
US20170214937A1 (en) 2016-01-22 2017-07-27 Mediatek Inc. Apparatus of Inter Prediction for Spherical Images and Cubic Images
CN109121466B (zh) 2016-01-22 2022-09-02 北京达佳互联信息技术有限公司 全向视频编码和流传输
JP6665558B2 (ja) 2016-01-29 2020-03-13 株式会社リコー 画像管理システム、画像管理方法、画像通信システム及びプログラム
US9992502B2 (en) 2016-01-29 2018-06-05 Gopro, Inc. Apparatus and methods for video compression using multi-resolution scalable coding
US20170230668A1 (en) * 2016-02-05 2017-08-10 Mediatek Inc. Method and Apparatus of Mode Information Reference for 360-Degree VR Video
US10728546B2 (en) 2016-02-05 2020-07-28 Apple Inc. Sample adaptive offset systems and methods
US10509954B2 (en) 2016-02-10 2019-12-17 Intel Corporation Method and system of image segmentation refinement for image processing
US10147224B2 (en) 2016-02-16 2018-12-04 Samsung Electronics Co., Ltd. Method and apparatus for generating omni media texture mapping metadata
US9743060B1 (en) 2016-02-22 2017-08-22 Gopro, Inc. System and method for presenting and viewing a spherical video segment
US10334224B2 (en) 2016-02-19 2019-06-25 Alcacruz Inc. Systems and method for GPU based virtual reality video streaming server
US10484621B2 (en) 2016-02-29 2019-11-19 Gopro, Inc. Systems and methods for compressing video content
US20170272758A1 (en) 2016-03-16 2017-09-21 Mediatek Inc. Video encoding method and apparatus using independent partition coding and associated video decoding method and apparatus
US10319071B2 (en) * 2016-03-23 2019-06-11 Qualcomm Incorporated Truncated square pyramid geometry and frame packing structure for representing virtual reality video content
FI20165256L (fi) 2016-03-24 2017-09-25 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen
CN108886580A (zh) 2016-03-29 2018-11-23 索尼公司 信息处理装置、成像装置、图像再现装置、方法和程序
US9990775B2 (en) 2016-03-31 2018-06-05 Verizon Patent And Licensing Inc. Methods and systems for point-to-multipoint delivery of independently-controllable interactive media content
US10275928B2 (en) 2016-04-05 2019-04-30 Qualcomm Incorporated Dual fisheye image stitching for spherical image content
US10645362B2 (en) 2016-04-11 2020-05-05 Gopro, Inc. Systems, methods and apparatus for compressing video content
US10834419B2 (en) 2016-04-13 2020-11-10 Qualcomm Incorporated Conformance constraint for collocated reference index in video coding
US20170302714A1 (en) 2016-04-15 2017-10-19 Diplloid Inc. Methods and systems for conversion, playback and tagging and streaming of spherical images and video
US9940697B2 (en) 2016-04-15 2018-04-10 Gopro, Inc. Systems and methods for combined pipeline processing of panoramic images
US10685542B2 (en) 2016-04-26 2020-06-16 Sensormatic Electronics, LLC System and method for monitoring a premises based on parsed codec data
KR20170124811A (ko) 2016-05-03 2017-11-13 삼성전자주식회사 영상 표시 장치 및 그 동작방법
KR20170124814A (ko) 2016-05-03 2017-11-13 삼성전자주식회사 영상 표시 장치 및 그 동작 방법
CN109076241B (zh) 2016-05-04 2023-06-23 微软技术许可有限责任公司 利用样本值的非相邻参考线进行帧内图片预测
US10249019B2 (en) 2016-05-06 2019-04-02 Mediatek Inc. Method and apparatus for mapping omnidirectional image to a layout output format
US10602191B2 (en) 2016-05-13 2020-03-24 Gopro, Inc. Apparatus and methods for video compression
JP6977720B2 (ja) 2016-05-13 2021-12-08 ソニーグループ株式会社 生成装置および生成方法、並びに、再生装置および再生方法
GB2550372B (en) 2016-05-17 2022-01-19 Nctech Ltd Imaging system having multiple imaging sensors and an associated method of operation
US10582201B2 (en) 2016-05-19 2020-03-03 Qualcomm Incorporated Most-interested region in an image
US11019257B2 (en) 2016-05-19 2021-05-25 Avago Technologies International Sales Pte. Limited 360 degree video capture and playback
US10681326B2 (en) 2016-05-19 2020-06-09 AVAGO TECHNOLOGlES INTERNATIONAL SALES PTE. LIMITED 360 degree video system with coordinate compression
US10848668B2 (en) 2016-05-19 2020-11-24 Avago Technologies International Sales Pte. Limited 360 degree video recording and playback with object tracking
US10979691B2 (en) 2016-05-20 2021-04-13 Qualcomm Incorporated Circular fisheye video in virtual reality
US10565463B2 (en) 2016-05-24 2020-02-18 Qualcomm Incorporated Advanced signaling of a most-interested region in an image
US9639935B1 (en) 2016-05-25 2017-05-02 Gopro, Inc. Apparatus and methods for camera alignment model calibration
US20170353737A1 (en) 2016-06-07 2017-12-07 Mediatek Inc. Method and Apparatus of Boundary Padding for VR Video Processing
US11025933B2 (en) 2016-06-09 2021-06-01 Apple Inc. Dynamic video configurations
US10368067B2 (en) 2016-06-15 2019-07-30 Mediatek Inc. Method and apparatus for selective filtering of cubic-face frames
JP6330987B2 (ja) 2016-06-17 2018-05-30 日本電気株式会社 画像処理装置、画像処理方法、及び記憶媒体
JP6780315B2 (ja) 2016-06-22 2020-11-04 カシオ計算機株式会社 投影装置、投影システム、投影方法及びプログラム
US10277914B2 (en) 2016-06-23 2019-04-30 Qualcomm Incorporated Measuring spherical image quality metrics based on user field of view
US10264282B2 (en) 2016-06-27 2019-04-16 Mediatek Inc. Method and apparatus of inter coding for VR video using virtual reference frames
US10297086B2 (en) 2016-07-04 2019-05-21 Liquid Cinema Inc. System and method for processing digital video
US10460501B2 (en) 2016-07-04 2019-10-29 Liquid Cinema Inc., Canada System and method for processing digital video
JP6983862B2 (ja) 2016-07-08 2021-12-17 ヴィド スケール インコーポレイテッド ジオメトリ投影を使用する３６０度ビデオ符号化
US20180018807A1 (en) 2016-07-15 2018-01-18 Aspeed Technology Inc. Method and apparatus for generating panoramic image with texture mapping
US10375371B2 (en) 2016-07-15 2019-08-06 Mediatek Inc. Method and apparatus for filtering 360-degree video boundaries
US20180020238A1 (en) 2016-07-15 2018-01-18 Mediatek Inc. Method and apparatus for video coding
US10148939B2 (en) 2016-07-19 2018-12-04 Gopro, Inc. Mapping of spherical image data into rectangular faces for transport and decoding across networks
US10339688B2 (en) 2016-07-28 2019-07-02 Cyberlink Corp. Systems and methods for rendering effects in 360 video
US10055882B2 (en) 2016-08-15 2018-08-21 Aquifi, Inc. System and method for three-dimensional scanning and for capturing a bidirectional reflectance distribution function
KR102567002B1 (ko) 2016-08-16 2023-08-14 삼성전자주식회사 영상 표시 장치 및 그 동작방법
EP3503556B1 (en) 2016-08-21 2024-05-01 LG Electronics Inc. Image coding/decoding method and apparatus therefor
US20180054613A1 (en) 2016-08-22 2018-02-22 Mediatek Inc. Video encoding method and apparatus with in-loop filtering process not applied to reconstructed blocks located at image content discontinuity edge and associated video decoding method and apparatus
KR102273199B1 (ko) 2016-08-23 2021-07-02 에스지 디제이아이 테크놀러지 코., 엘티디 곡선 뷰 비디오 인코딩/디코딩에서 효율성 향상을 위한 시스템 및 방법
EP3503546A4 (en) 2016-08-25 2020-01-22 LG Electronics Inc. -1- METHOD FOR SENDING AN OMNIDIRECTIONAL VIDEO, METHOD FOR RECEIVING AN OMNIDIRECTIONAL VIDEO, DEVICE FOR SENDING AN OMNIDIRECTIONAL VIDEO, AND DEVICE FOR RECEIVING AN OMNIDIRECTIONAL VIDEO
WO2018038523A1 (ko) 2016-08-25 2018-03-01 엘지전자 주식회사 전방향 비디오를 전송하는 방법, 전방향 비디오를 수신하는 방법, 전방향 비디오 전송 장치, 전방향 비디오 수신 장치
US11153594B2 (en) 2016-08-29 2021-10-19 Apple Inc. Multidimensional quantization techniques for video coding/decoding systems
CN109644279B (zh) 2016-09-02 2023-09-22 Vid拓展公司 用于用信号通知360度视频信息的方法和系统
KR20180028782A (ko) 2016-09-09 2018-03-19 삼성전자주식회사 전자 장치 및 그 제어 방법
US20180075576A1 (en) 2016-09-09 2018-03-15 Mediatek Inc. Packing projected omnidirectional videos
KR20180029315A (ko) 2016-09-12 2018-03-21 삼성전자주식회사 가상 현실 컨텐트의 영상을 투영하기 위한 영상 처리 방법 및 장치
KR102545195B1 (ko) 2016-09-12 2023-06-19 삼성전자주식회사 가상 현실 시스템에서 컨텐트 전송 및 재생 방법 및 장치
KR102560029B1 (ko) 2016-09-12 2023-07-26 삼성전자주식회사 가상 현실 콘텐트를 송수신하는 방법 및 장치
US10313686B2 (en) 2016-09-20 2019-06-04 Gopro, Inc. Apparatus and methods for compressing video content using adaptive projection selection
US20180091812A1 (en) 2016-09-23 2018-03-29 Apple Inc. Video compression system providing selection of deblocking filters parameters based on bit-depth of video data
AU2016424515B2 (en) 2016-09-30 2022-06-16 Huawei Technologies Co., Ltd. Apparatuses, methods, and computer-readable medium for encoding and decoding a video signal
CN107888928B (zh) * 2016-09-30 2020-02-14 华为技术有限公司 运动补偿预测方法和设备
US20180098090A1 (en) 2016-10-04 2018-04-05 Mediatek Inc. Method and Apparatus for Rearranging VR Video Format and Constrained Encoding Parameters
KR20240051314A (ko) 2016-10-04 2024-04-19 주식회사 비원영상기술연구소 영상 데이터 부호화/복호화 방법 및 장치
US20190238888A1 (en) 2017-07-17 2019-08-01 Ki Baek Kim Image data encoding/decoding method and apparatus
CN117176949A (zh) 2016-10-04 2023-12-05 有限公司B1影像技术研究所 图像编码/解码方法、记录介质和传输比特流的方法
KR20230026551A (ko) 2016-10-04 2023-02-24 주식회사 비원영상기술연구소 영상 데이터 부호화/복호화 방법 및 장치
US11202063B2 (en) 2016-10-04 2021-12-14 Electronics And Telecommunications Research Institute Method and device for encoding/decoding image, and recording medium storing bit stream
US20190253624A1 (en) 2017-07-17 2019-08-15 Ki Baek Kim Image data encoding/decoding method and apparatus
CN109691095B (zh) 2016-10-07 2021-10-15 联发科技股份有限公司 生成基于投影的帧的方法以及装置
US10339627B2 (en) 2016-10-10 2019-07-02 Gopro, Inc. Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image
US10652284B2 (en) 2016-10-12 2020-05-12 Samsung Electronics Co., Ltd. Method and apparatus for session control support for field of view virtual reality streaming
US20180109810A1 (en) 2016-10-17 2018-04-19 Mediatek Inc. Method and Apparatus for Reference Picture Generation and Management in 3D Video Compression
KR20180042098A (ko) 2016-10-17 2018-04-25 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법
KR102498598B1 (ko) 2016-10-18 2023-02-14 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
US10432856B2 (en) * 2016-10-27 2019-10-01 Mediatek Inc. Method and apparatus of video compression for pre-stitched panoramic contents
US20180130264A1 (en) 2016-11-04 2018-05-10 Arnoovo Inc. Virtual reality editor
KR20180051288A (ko) 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
KR102633595B1 (ko) 2016-11-21 2024-02-05 삼성전자주식회사 디스플레이장치 및 그 제어방법
CN108111851B (zh) 2016-11-25 2020-12-22 华为技术有限公司 一种去块滤波方法及终端
KR20180060236A (ko) 2016-11-28 2018-06-07 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
US11503286B2 (en) 2016-11-28 2022-11-15 Electronics And Telecommunications Research Institute Method and device for filtering
US10244200B2 (en) 2016-11-29 2019-03-26 Microsoft Technology Licensing, Llc View-dependent operations during playback of panoramic video
US20180167634A1 (en) 2016-12-09 2018-06-14 Nokia Technologies Oy Method and an apparatus and a computer program product for video encoding and decoding
EP3334164B1 (en) 2016-12-09 2019-08-21 Nokia Technologies Oy A method and an apparatus and a computer program product for video encoding and decoding
US9996945B1 (en) 2016-12-12 2018-06-12 Fyusion, Inc. Live augmented reality guides
US10620441B2 (en) 2016-12-14 2020-04-14 Qualcomm Incorporated Viewport-aware quality metric for 360-degree video
US20180176468A1 (en) 2016-12-19 2018-06-21 Qualcomm Incorporated Preferred rendering of signalled regions-of-interest or viewports in virtual reality video
KR20180071012A (ko) 2016-12-19 2018-06-27 삼성전자주식회사 전자 장치 및 전자 장치 제어 방법
US10242714B2 (en) 2016-12-19 2019-03-26 Microsoft Technology Licensing, Llc Interface for application-specified playback of panoramic video
JP2018107500A (ja) 2016-12-22 2018-07-05 キヤノン株式会社 符号化装置、符号化方法及びプログラム、復号装置、復号方法及びプログラム
US20180184101A1 (en) 2016-12-23 2018-06-28 Apple Inc. Coding Mode Selection For Predictive Video Coder/Decoder Systems In Low-Latency Communication Environments
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US20180192074A1 (en) 2017-01-03 2018-07-05 Mediatek Inc. Video processing method for processing projection-based frame with 360-degree content represented by projection faces packed in 360-degree virtual reality projection layout
US10277897B1 (en) 2017-01-03 2019-04-30 Google Llc Signaling in-loop restoration filters for video coding
JP6756269B2 (ja) 2017-01-05 2020-09-16 株式会社リコー 通信端末、画像通信システム、通信方法、及びプログラム
US10536721B2 (en) 2017-01-09 2020-01-14 Qualcomm Incorporated Restricted scheme design for video
US10313664B2 (en) 2017-01-11 2019-06-04 Qualcomm Incorporated Adjusting field of view of truncated square pyramid projection for 360-degree video
US10104288B2 (en) 2017-02-08 2018-10-16 Aspeed Technology Inc. Method and apparatus for generating panoramic image with stitching process
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US20180242016A1 (en) 2017-02-21 2018-08-23 Intel Corporation Deblock filtering for 360 video
WO2018156243A1 (en) 2017-02-22 2018-08-30 Twitter, Inc. Transcoding video
CN108470379B (zh) 2017-02-23 2021-12-07 株式会社理光 三维图像融合方法和装置
US20180240276A1 (en) 2017-02-23 2018-08-23 Vid Scale, Inc. Methods and apparatus for personalized virtual reality media interface design
CN108513119A (zh) 2017-02-27 2018-09-07 阿里巴巴集团控股有限公司 图像的映射、处理方法、装置和机器可读介质
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11172208B2 (en) 2017-02-28 2021-11-09 Nokia Technologies Oy Method and apparatus for improving the visual quality of viewport-based omnidirectional video streaming
CN108537721B (zh) 2017-03-02 2021-09-07 株式会社理光 全景图像的处理方法、装置及电子设备
KR101808327B1 (ko) 2017-03-08 2017-12-13 광운대학교 산학협력단 영상 코덱에서 패딩을 이용한 영상 부/복호화 방법 및 장치
US11004173B2 (en) 2017-03-13 2021-05-11 Mediatek Inc. Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout
US11057643B2 (en) 2017-03-13 2021-07-06 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout
CN108632589A (zh) 2017-03-15 2018-10-09 株式会社理光 信息处理装置、摄像系统以及记录介质
US10915986B2 (en) 2017-03-20 2021-02-09 Qualcomm Incorporated Adaptive perturbed cube map projection
US10839480B2 (en) 2017-03-22 2020-11-17 Qualcomm Incorporated Sphere equator projection for efficient compression of 360-degree video
KR20180107761A (ko) 2017-03-22 2018-10-02 한국전자통신연구원 참조 블록을 사용하는 예측 방법 및 장치
US11284076B2 (en) 2017-03-22 2022-03-22 Electronics And Telecommunications Research Institute Block form-based prediction method and device
US10957044B2 (en) 2017-03-22 2021-03-23 Qualcomm Incorporated Sphere pole projections for efficient compression of 360-degree video
US10593012B2 (en) 2017-03-22 2020-03-17 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame with 360-degree content represented in projection faces packed in segmented sphere projection layout
US11532128B2 (en) 2017-03-23 2022-12-20 Qualcomm Incorporated Advanced signaling of regions of interest in omnidirectional visual media
WO2018178507A1 (en) 2017-03-27 2018-10-04 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
EP3586315B1 (en) 2017-03-28 2024-06-26 Samsung Electronics Co., Ltd. Method and apparatus for displaying image based on user motion information
US10506255B2 (en) 2017-04-01 2019-12-10 Intel Corporation MV/mode prediction, ROI-based transmit, metadata capture, and format detection for 360 video
TWI832814B (zh) 2017-04-06 2024-02-21 美商松下電器（美國）知識產權公司 解碼裝置及編碼裝置
US10587800B2 (en) 2017-04-10 2020-03-10 Intel Corporation Technology to encode 360 degree video content
KR20200005539A (ko) 2017-04-11 2020-01-15 브이아이디 스케일, 인크. 면 연속성을 사용하는 360 도 비디오 코딩
US10567768B2 (en) 2017-04-14 2020-02-18 Apple Inc. Techniques for calculation of quantization matrices in video coding
WO2018194273A1 (en) 2017-04-21 2018-10-25 Samsung Electronics Co., Ltd. Image display apparatus and method
US20200074587A1 (en) 2017-04-27 2020-03-05 Mediatek Inc. Method and Apparatus for Mapping Virtual-Reality Image to a Segmented Sphere Projection Format
WO2018199701A1 (en) 2017-04-28 2018-11-01 Samsung Electronics Co., Ltd. Method for providing content and apparatus therefor
US10957009B2 (en) 2017-05-04 2021-03-23 Electronics And Telecommunications Research Institute Image processing apparatus and method
US10375375B2 (en) 2017-05-15 2019-08-06 Lg Electronics Inc. Method of providing fixed region information or offset region information for subtitle in virtual reality system and device for controlling the same
JP6919334B2 (ja) 2017-05-26 2021-08-18 株式会社リコー 画像処理装置、画像処理方法、プログラム
US10199074B2 (en) 2017-06-02 2019-02-05 Apple Inc. Techniques for selecting frames for decode in media player
US10873763B2 (en) 2017-06-02 2020-12-22 Apple Inc. Video compression techniques for high dynamic range data
US10200687B2 (en) 2017-06-02 2019-02-05 Apple Inc. Sample adaptive offset for high dynamic range (HDR) video compression
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10212456B2 (en) 2017-06-02 2019-02-19 Apple Inc. Deblocking filter for high dynamic range (HDR) video
US10321109B1 (en) 2017-06-13 2019-06-11 Vulcan Inc. Large volume video data transfer over limited capacity bus
US10778993B2 (en) 2017-06-23 2020-09-15 Mediatek Inc. Methods and apparatus for deriving composite tracks with track grouping
EP3422724B1 (en) 2017-06-26 2024-05-01 Nokia Technologies Oy An apparatus, a method and a computer program for omnidirectional video
US11032545B2 (en) 2017-06-29 2021-06-08 Qualcomm Incorporated Reducing seam artifacts in 360-degree video
US10523913B2 (en) 2017-06-30 2019-12-31 Apple Inc. Packed image format for multi-directional video
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
GB2563944B (en) 2017-06-30 2021-11-03 Canon Kk 360-Degree video encoding with block-based extension of the boundary of projected parts
US10484682B2 (en) 2017-07-03 2019-11-19 Qualcomm Incorporated Reference picture derivation and motion compensation for 360-degree video coding
CN116248866A (zh) 2017-07-03 2023-06-09 汉阳大学校产学协力团 利用包含追加区域的分割单位的影像解码方法以及装置
US20200267385A1 (en) 2017-07-06 2020-08-20 Kaonmedia Co., Ltd. Method for processing synchronised image, and apparatus therefor
WO2019009448A1 (ko) 2017-07-06 2019-01-10 삼성전자 주식회사 영상을 부호화 또는 복호화하는 방법 및 장치
JP6721631B2 (ja) 2017-07-07 2020-07-15 ノキア テクノロジーズ オーユー ビデオの符号化・復号の方法、装置、およびコンピュータプログラムプロダクト
US10701263B2 (en) 2017-07-18 2020-06-30 Ricoh Company, Ltd. Browsing system, image distribution apparatus, and image distribution method
US10614609B2 (en) 2017-07-19 2020-04-07 Mediatek Inc. Method and apparatus for reduction of artifacts at discontinuous boundaries in coded virtual-reality images
KR102468596B1 (ko) 2017-07-31 2022-11-21 에스케이텔레콤 주식회사 360 영상을 부호화 또는 복호화하기 위한 방법 및 장치
US20190045212A1 (en) 2017-08-07 2019-02-07 The Regents Of The University Of California METHOD AND APPARATUS FOR PREDICTIVE CODING OF 360º VIDEO
CN108520232B (zh) 2017-08-16 2020-07-24 威盛电子股份有限公司 立体环景影片产生方法及装置
WO2019034131A1 (en) 2017-08-18 2019-02-21 Mediatek Inc. METHOD AND APPARATUS FOR REDUCING ARTIFACTS IN A PROJECTION-BASED FRAME
EP3451670A1 (en) 2017-08-28 2019-03-06 Thomson Licensing Method and apparatus for filtering with mode-aware deep learning
US11418816B2 (en) 2017-09-20 2022-08-16 Vid Scale, Inc. Handling face discontinuities in 360-degree video coding
US10623744B2 (en) 2017-10-04 2020-04-14 Apple Inc. Scene based rate control for video compression and video streaming
US10102611B1 (en) 2017-10-16 2018-10-16 Xplorit Llc Interconnected 360 video virtual travel
JP7031228B2 (ja) 2017-10-26 2022-03-08 株式会社リコー プログラム、画像表示方法、画像表示システム、情報処理装置
US10574997B2 (en) 2017-10-27 2020-02-25 Apple Inc. Noise level control in video coding
US10334222B2 (en) 2017-11-20 2019-06-25 Adobe Inc. Focus-based video loop switching
US10652578B2 (en) 2018-02-05 2020-05-12 Apple Inc. Processing of multi-directional images in spatially-ordered video coding applications
US10721465B2 (en) 2018-02-14 2020-07-21 Qualcomm Incorporated Motion compensation for cubemap packed frames
US11212438B2 (en) 2018-02-14 2021-12-28 Qualcomm Incorporated Loop filter padding for 360-degree video coding
WO2019166107A1 (en) 2018-03-02 2019-09-06 Huawei Technologies Co., Ltd. Apparatus and method for picture coding with selective loop-filtering
US11069026B2 (en) 2018-03-02 2021-07-20 Mediatek Inc. Method for processing projection-based frame that includes projection faces packed in cube-based projection layout with padding
US20190281273A1 (en) 2018-03-08 2019-09-12 Mediatek Inc. Adaptive loop filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
US10771781B2 (en) 2018-03-12 2020-09-08 Electronics And Telecommunications Research Institute Method and apparatus for deriving intra prediction mode
KR20190107944A (ko) 2018-03-13 2019-09-23 삼성전자주식회사 복원 영상에 대한 필터링을 수행하는 영상 처리 장치 및 이의 필터링 방법
US10559121B1 (en) 2018-03-16 2020-02-11 Amazon Technologies, Inc. Infrared reflectivity determinations for augmented reality rendering
US10986371B2 (en) 2018-03-22 2021-04-20 Mediatek Inc. Sample adaptive offset filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
TWI709107B (zh) 2018-05-21 2020-11-01 國立清華大學 影像特徵提取方法及包含其顯著物體預測方法
US10848768B2 (en) 2018-06-08 2020-11-24 Sony Interactive Entertainment Inc. Fast region of interest coding using multi-segment resampling
US10573060B1 (en) 2018-06-14 2020-02-25 Kilburn Live, Llc Controller binding in virtual domes
US20190387251A1 (en) 2018-06-19 2019-12-19 Mediatek Inc. Methods and Apparatuses of Video Processing with Overlapped Block Motion Compensation in Video Coding Systems
US11765349B2 (en) 2018-08-31 2023-09-19 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries
US11094088B2 (en) 2018-08-31 2021-08-17 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries in video coding
US20200153885A1 (en) 2018-10-01 2020-05-14 Lg Electronics Inc. Apparatus for transmitting point cloud data, a method for transmitting point cloud data, an apparatus for receiving point cloud data and/or a method for receiving point cloud data
KR102154407B1 (ko) 2018-11-15 2020-09-09 한국전자기술연구원 타일 기반 스트리밍을 위한 모션 제한 av1 영상 부호화 방법 및 장치
US20200213570A1 (en) 2019-01-02 2020-07-02 Mediatek Inc. Method for processing projection-based frame that includes at least one projection face and at least one padding region packed in 360-degree virtual reality projection layout
US11659206B2 (en) 2019-07-02 2023-05-23 Mediatek Inc. Video encoding method with syntax element signaling of guard band configuration of projection-based frame and associated video decoding method and apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008259059A (ja) * 2007-04-06 2008-10-23 Tokyo Univ Of Science 動画像復号装置、方法及びプログラム、並びに、動画像符号化装置、方法及びプログラム
US9544597B1 (en) * 2013-02-11 2017-01-10 Google Inc. Hybrid transform in video encoding and decoding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Ivana Tosic ; Iva Bogdanova ; Pascal Frossard ; Pierre Vandergheyns.Multiresolution motion estimation for omnidirectional images.《2005 13th European Signal Processing Conference》.2005, *

Also Published As

Publication number Publication date
US11259046B2 (en) 2022-02-22
CN110268716A (zh) 2019-09-20
WO2018151978A1 (en) 2018-08-23
JP2020507998A (ja) 2020-03-12
KR102254986B1 (ko) 2021-05-24
US20180234700A1 (en) 2018-08-16
KR20190104053A (ko) 2019-09-05
JP6899443B2 (ja) 2021-07-07
EP3566451B1 (en) 2023-04-05
EP3566451A1 (en) 2019-11-13

Similar Documents

Publication Publication Date Title
CN110115037B (zh) 球面投影运动估计/补偿和模式决策
CN110268716B (zh) 由球面投影处理等量矩形对象数据以补偿畸变
KR102359820B1 (ko) 멀티뷰 비디오를 위한 비디오 코딩 기법
US10992919B2 (en) Packed image format for multi-directional video
US20200029092A1 (en) Method and apparatus for encoding and decoding a large field of view video
US11184641B2 (en) Coding spherical video data
US20190005709A1 (en) Techniques for Correction of Visual Artifacts in Multi-View Images
US10652578B2 (en) Processing of multi-directional images in spatially-ordered video coding applications
US11218725B2 (en) Method for encoding video using effective differential motion vector transmission method in omnidirectional camera, and method and device
WO2024081872A1 (en) Method, apparatus, and medium for video processing
WO2023287417A1 (en) Warped motion compensation with explicitly signaled extended rotations
Gao Designs of application-specific multiview/3D video coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant