CN113519165A - 生成图像信号的装置和方法 - Google Patents

生成图像信号的装置和方法 Download PDF

Info

Publication number
CN113519165A
CN113519165A CN202080018165.5A CN202080018165A CN113519165A CN 113519165 A CN113519165 A CN 113519165A CN 202080018165 A CN202080018165 A CN 202080018165A CN 113519165 A CN113519165 A CN 113519165A
Authority
CN
China
Prior art keywords
image
images
candidate
pixels
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080018165.5A
Other languages
English (en)
Inventor
B·克龙
B·W·D·范格斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN113519165A publication Critical patent/CN113519165A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种根据场景的多幅图像生成图像信号的方法执行根据一组(先前)被包括图像生成(505)针对一组候选图像的预测图像的迭代。响应于预测质量而从一组候选图像选择(509)一组选定的图像。针对每幅选定的图像，像素的子集响应于针对图像的像素的像素预测质量而被确定(511)，并且对应于选定的图像的一组部分图像通过选择(511)像素的子集来生成(513)。从候选组删除选定的图像，并且部分图像被添加到被包括组。所述方法可以提供表示场景的图像数据的低复杂性和低资源选择。

Description

生成图像信号的装置和方法
技术领域
本发明涉及一种用于生成图像信号的装置和方法，并且特别地但非专有地涉及包括针对相同场景的多幅图像的图像信号的生成和/或处理。
背景技术
图像和视频应用的种类和范围近年来已经实质上随着利用和消耗视频的新服务和方式被连续开发和引入而增加。
例如，日益流行的一个服务是以观察者能够主动地并且动态地与系统交互以改变绘制的参数这样的方式提供图像序列。许多应用中的非常吸引人的特征是能够改变观察者的有效查看位置和查看方向，诸如例如允许观察者在呈现的场景中移动和“环视”。
这样的特征可以特别地允许虚拟现实体验被提供给用户。这可以允许用户在虚拟环境中例如(相对)自由地到处移动并且动态地改变他的位置并且他在看何处。通常，这样的虚拟现实应用基于场景的三维模型，其中，模型动态地评价以提供特定请求视图。该方法从例如用于计算机和控制台的游戏应用(诸如在第一人称射击的类别中)众所周知。
还期望的是，特别地针对虚拟现实应用，呈现的图像是三维图像。实际上，为了优化观察者的沉浸，用户将呈现的场景体验为三维场景通常是优选的。实际上，虚拟现实体验应当优选地允许用户选择他/她自己的位置、相机视点和相对于虚拟世界的时刻。
大量的虚拟现实应用是固有地有限的，其中，其基于场景的预定模型的存在并且通常基于虚拟世界的人工模型，诸如例如用于游戏应用。
然而，能够提供允许用户体验现实世界捕获的虚拟现实体验是期望的。这样的应用包括例如允许用户自由改变现实世界场景的表示中的位置和视图方向的应用。然而，在许多情况下支持这样的自由的要求难以满足，诸如特别地在现实世界场景也是动态改变并且特别地实时场景的情况下。例如，提供足够的数据以允许用户自由移动和改变对应于例如体育赛事的实况实时广播的场景的视图方向通常是不实际或不可行的。因此，用户具有移动和/或视图方向的有限自由度的应用和体验正受到增加的兴趣。例如，体育赛事可以是其中用户可以在180°范围内自由旋转他的头部但是仅将他的头部旋转相对小量的广播。这样的有限移动可以基本上降低对于需要提供的数据的要求。
MAUGEY THOMAS等人已经在：“Reference View Selection in DI BR-BasedMultiview Coding”(IEEE TRANSACTIONS ON IMAGE PROCESSING,IEEE SERVICE CENTER,PISCATAWAY,NJ,US，第25卷，第4号，2016年4月1日(2016-04-01)，第1808-1819页，XP011602607”)中公开一种用于多视图编码系统中的参考视图的最佳选择的算法。描述了增强现实、3D场景中的交互式导航、多视图视频和其他新兴多媒体应用要求大图像组，因此与常规视频服务相比较更大的数据量和增加的资源。多视图系统中的图像数目的显著增加导致数据表示和数据传输中的新的富挑战性的问题以提供资源受限环境上的高质量的体验。为了减少数据的大小，最近已经提出了不同的多视图视频压缩策略。它们中的大多数使用用于在数据集中存在高相关性时估计其他图像的参考或关键视图的概念。基于测量视图之间的相似性的度量，执行用于定位参考视图的优化，使得视图重建的失真和编码速率成本最小化。
对于允许针对场景的不同视点的图像的局部绘制的大多数应用的关键问题是如何表示这样的场景，并且特别地如何有效地生成、分布和处理表示现实世界场景的数据，使得终端用户设备被提供有足够的数据以本地生成现实世界并且常常实时场景的视图图像。生成现实世界场景的模型通常是不可行或不实际的，并且特别地当服务正支持动态改变的场景(诸如实时事件)时更是如此。
在许多系统中，场景可以由已经由适合的捕获装置(诸如相机)捕获的图像表示。例如，相机可以以给定配置布置，诸如排成一行，其中，每个相机从给定捕获姿态捕获场景。来自不同位置的图像可以提供场景的不同部分的表示。例如，背景对象可能由来自一些捕获位置但是不来自其他捕获位置的前景对象遮挡，并且因此与背景对象有关的信息可能存在于一些捕获图像中但不在其他捕获图像中。
在许多实际系统中，捕获的图像可以由深度信息补充，诸如z值或差异值被提供用于相关联的深度图中的每个像素。这样的图像+深度表示可以被认为是3D图像。使用为一系列视点提供的图像+深度信息可以具有许多应用并且针对许多场景提供允许视图图像的局部生成的场景的有利表示。图像+深度信息可以被发送到绘制设备，该绘制设备可以针对用户的当前视图位置和视图方向动态地生成视图图像。
然而，鉴于在许多实施例中包括来自不同捕获位置的多幅图像的场景的图像表示可以提供期望的性能和操作，其倾向于还要求高数据速率以将图像表示发送到绘制设备。实际上，直接分布所有捕获的视图图像常常是不可行的，因为像素速率并且因此数据速率太高得多。直接发送所有图像也是浪费的，因为器包括发送大量的冗余数据。例如，前景对象的前面可以从多个捕获位置可见，并且因此针对对象的视觉信息将被包括在要发送的多幅捕获图像中。
然而，如何降低要求的数据速率的问题是难以解决的复杂问题。已经提出识别和省略一些冗余数据，并且然后在没有该冗余数据的情况下生成图像信号。然而，鉴于这可能降低数据速率，如何具体实现这一点使得尽可能优化图像质量、数据速率、复杂度、资源要求等是困难的挑战。
因此，经改进的方法将是有利的。特别地，一种用于通过来自不同视图的图像生成和/或处理表示场景的图像信号的方法将是有利的，其允许改进的操作、增加的灵活性、改进的虚拟现实体验、降低的数据速率、增加的效率、促进的分布、降低的复杂性、促进的实施方式、增加的图像质量和/或改进的性能和/或操作。
发明内容
因此，本发明试图优选地单独地或以任何组合减轻、缓解或者消除上文所提到的缺点中的一个或多个。
根据本发明的第一方面，提供了一种生成图像信号的方法，所述方法包括：接收包括场景的多幅图像的一组候选图像，所述一组候选图像中的至少一些图像用于所述场景的不同视图姿态；选择所述一组候选图像中的至少一幅图像并且初始化一组被包括图像以包括所述至少一幅图像；迭代地执行以下步骤：根据所述一组被包括图像中的图像来生成针对所述一组候选图像中的图像的预测图像；确定针对所述一组候选图像中的每幅图像的预测质量量度，针对所述一组候选图像中的第一图像的所述预测质量量度指示所述第一图像与针对所述第一图像中的第一预测图像之间的差异；响应于预测质量而从所述一组候选图像中选择一组选定的图像；针对所述一组选定的图像中的每幅图像，响应于针对所述图像的像素的像素预测质量而确定所述像素的子集；生成对应于所述一组选定的图像的一组部分图像，针对所述一组选定的图像中的给定图像的所述部分图像仅包括针对所述给定图像的像素的所述子集的像素；将所述一组部分图像包括在所述一组被包括图像中；并且从所述一组候选图像中移除所述一组选定的图像；生成包括所述一组被包括图像中的所述图像的图像数据的图像信号。
本发明可以提供一种场景的经改进的表示。在许多实施例中，可以提供场景的更有效表示，例如，允许给定质量由降低的数据速率实现。
在许多实施例中，方法可以提供具有适合于针对不同视图位置/姿态的视图图像的灵活、高效和高性能局部生成的场景的表示的经改进的图像信号。在许多实施例中，其可以允许经改进的感知的图像质量和/或降低的数据速率。
在许多实施例和场景中，所述方法可以允许图像信号的特别高效和/或低复杂性生成。
所述图像可以是包括深度信息的3D图像，诸如特别地2D图像或具有相关联的深度图像/图的纹理图。响应于所述预测质量而从所述一组候选图像选择所述一组选定的图像可以包括选择所述一组候选图像的具有最低预测质量量度的图像以包括在所述一组选定的图像中。
根据本发明的任选特征，确定针对所述第一图像的所述预测质量包括：确定所述第一图像的多个像素，针对所述多个像素，针对所述第一图像和所述第一预测图像的对应像素的像素值满足相似性准则；响应于所述多个像素的性质而确定针对所述第一图像的所述预测质量。
在许多实施例中，这可以提供特别有利的方法。
根据本发明的任选特征，所述性质是像素数目，并且所述预测质量是所述多个像素中的所述像素数目的单调递增函数。
根据本发明的任选特征，确定像素的所述子集包括根据所述第一图像中未被包括在针对所述图像的所述多个像素中的像素来确定针对所述第一图像的像素的子集。
根据本发明的任选特征，确定针对所述一组选定的图像中的第一选定的图像的像素的所述子集包括：针对不包括所述一组选定的图像的所述一组候选图像的至少一幅候选图像：针对所述至少一幅候选图像的像素，确定误差改变，所述误差改变指示所述至少一幅候选图像的像素与预测像素之间的差异针对以下项的改变：基于所述一组被包括图像和所述第一选定的图像对所述像素的预测相对于仅基于所述一组被包括图像对所述像素的预测；并且生成针对所述第一选定的图像的误差改变图像，所述误差改变图像包括通过从所述至少一幅候选图像的视图姿态到所述第一选定的图像的视图姿态的视图姿态移位根据所述至少一幅候选图像的误差改变确定的像素值；并且响应于所述误差改变图像而选择像素的所述子集。
在许多实施例中，这可以提供特别有利的方法。其可以特别提供一种用于基于像素的包括可以多么好地改进其他图像的预测来为部分图像选择像素的高效方法。
响应于误差改变图像而选择像素的子集可以例如通过选择误差改变值指示高于阈值的改进的像素。
根据本发明的任选特征，确定针对所述第一选定的图像的像素的所述子集包括：确定针对所述一组候选图像中的多幅候选图像的误差改变，并且通过针对所述第一选定的图像的相同像素组合根据不同候选图像确定的误差改变值来生成所述误差改变图像。
这可以通过有效考虑多幅候选图像的预测可以如何通过包括特定像素改进来提供改进的性能。
根据本发明的任选特征，生成针对所述一组候选图像中的预测图像包括针对所述一组候选图像中的第一候选图像执行以下操作：为所述一组被包括图像中的所述图像中的每幅图像提供所述第一候选图像的中间预测图像；并且通过组合所述中间预测图像来生成所述第一预测图像。
在许多实施例中，这可以允许更高效的预测操作。
根据本发明的任选特征，所述迭代还包括：存储中间预测图像；并且其中，提供中间预测图像包括：检索针对所述一组被包括图像中中间预测图像已经在先前迭代中被生成和存储的图像的存储的中间预测图像；并且预测针对所述一组参考图像中没有中间预测图像已经在先前迭代中被存储的任何图像的中间预测图像。
在许多实施例中，这可以提供高效的操作。所述方法可以允许增量预测，从而基本上减少必要的预测操作量。
根据本发明的任选特征，所述组合是加权组合，并且针对像素的权重取决于所述像素的深度。
根据本发明的任选特征，所述迭代在最低预测质量超过阈值时停止。
在其他实施例中，所述迭代可以例如在所述一组候选图像为空时停止。
根据本发明的任选特征，选定的图像的子集包括在至少一次迭代中的多个选定的图像。
根据本发明的任选特征，所述图像是视频序列的帧，并且所述方法包括使用针对多个帧的所述一组被包括图像的布置。
在许多实施例中，这可以提供经改进的时间一致性。
根据本发明的任选特征，所述方法还包括：生成对应于像素的所述子集的掩模，并且响应于将空间滤波器应用于所述掩模而修改像素的子集。
根据本发明的另一方面，提供了一种用于生成图像信号的装置，所述装置包括：接收器，其用于接收包括场景的多幅图像的一组候选图像，所述一组候选图像中的至少一些图像用于所述场景的不同视图姿态；参考选择器，其用于选择所述一组候选图像中的至少一幅图像并且初始化一组被包括图像以包括所述至少一幅图像；迭代器，其用于迭代地执行以下步骤：根据所述一组被包括图像中的图像来生成针对所述一组候选图像中的图像的预测图像；确定针对所述一组候选图像中的每幅图像的预测质量量度，针对所述一组候选图像中的第一图像的所述预测质量量度指示所述第一图像与针对所述第一图像中的第一预测图像之间的差异；响应于预测质量而从所述一组候选图像中选择一组选定的图像；针对所述一组选定的图像中的每幅图像，响应于针对所述图像的像素的像素预测质量而确定所述像素的子集；生成对应于所述一组选定的图像的一组部分图像，针对所述一组选定的图像中的给定图像的所述部分图像仅包括针对所述给定图像的像素的所述子集的像素；将所述一组部分图像包括在所述一组被包括图像中；并且从所述一组候选图像中移除所述一组选定的图像；输出电路，其用于生成包括所述一组被包括图像中的所述图像的图像数据的图像信号。
本发明的这些和其他方面、特征和优点将根据在下文中所描述的(一个或多个)实施例而显而易见并且参考在下文中所描述的(一个或多个)实施例得到阐述。
附图说明
将仅通过范例参考附图描述本发明的实施例，其中：
图1图示了用于提供虚拟现实体验的布置的范例；
图2图示了根据本发明的一些实施例的图像信号发射器的元件的范例；
图3图示了根据本发明的一些实施例的图像信号接收器的元件的范例；
图4图示了根据本发明的一些实施例的用于图像信号发射器的迭代器的元件的范例；并且
图5图示了根据本发明的一些实施例的用于生成用于图像信号的图像数据的方法的范例。
具体实施方式
允许用户在虚拟世界中四处移动的虚拟体验正变得日益流行并且服务被开发以满足这样的需求。然而，高效虚拟现实服务的提供是非常具挑战性的，特别地如果体验是基于现实世界环境的捕获而不是完全虚拟生成的人工世界。
在许多虚拟现实应用中，确定反映场景中的虚拟观察者的姿态的观察者姿态输入。虚拟现实装置/系统/应用然后生成与对应于观察者姿态的观察者的场景的视图和视点相对应的一幅或多幅图像。
通常，虚拟现实应用以针对左和右眼的分离的视图图像的形式生成三维输出。这些可以然后通过适合的装置呈现给用户，诸如通常VR耳机的个体左和右眼显示器。在其他实施例中，所述图像可以例如呈现在自动立体显示器上(在这种情况下，可以针对观察者姿态生成较大数目的视图图像)，或者实际上，在一些实施例中，可以生成仅单幅二维图像(例如使用常规二维显示器)。
观察者姿态输入可以在不同应用中以不同方式确定。在许多实施例中，可以直接地跟踪用户的物理移动。例如，调查用户区域的相机可以检测并且跟踪用户的头部(或甚至眼睛)。在许多实施例中，用户可以穿戴可以由外部和/或内部装置跟踪的VR耳机。例如，耳机可以包括提供关于耳机并且因此头部的移动和旋转的信息的加速度计和陀螺仪。在一些范例中，VR耳机可以传输信号或包括使得外部传感器能够确定VR耳机的移动的(例如视觉)标识符。
在一些系统中，观察者姿态可以由手动装置提供，例如通过用户手动控制操纵杆或类似手动输入部。例如，用户可以通过利用一只手控制第一模拟操纵杆并且通过利用另一只手手动移动第二模拟操纵杆手动控制虚拟观察者看的方向，在场景中手动四处移动虚拟观察者。
在一些应用中，手动和自动方法的组合可以被用于生成输入观察者姿态。例如，耳机可以跟踪头部的取向，并且场景中的观察者的移动/位置可以由使用操纵杆的用户控制。
图像的生成基于虚拟世界/环境/场景的适合表示。在一些应用中，全三维模型可以被提供用于场景，并且来自特定观察者姿态的场景的视图可以通过评价该模型来确定。在其他系统中，场景可以由对应于从不同捕获姿态捕获的视图的图像数据表示，并且特别地可以由具有相关联的深度的多幅源图像表示，其中，每幅图像表示来自不同视点的场景。在这样的方法中，针对除(一个或多个)捕获姿态外的姿态的视图图像可以通过三维图像处理生成，诸如特别地使用视图移位算法。在其中场景由针对分立视点/位置/姿态存储的视图数据描述/引用的系统中，这些也可以被称为锚定视点/位置/姿态。通常，当现实世界环境已经通过捕获来自不同点/位置/姿态的图像来捕获时，这些捕获点/位置/姿态也是参考/锚定点/位置/姿态。
因此，典型的VR应用提供(至少)对应于针对当前观察者姿态的场景的视点的图像，其中，图像动态地更新以反映观察者姿态的改变，并且其中，图像基于表示虚拟场景/环境/世界的数据来生成。
在领域中，术语放置和姿态被用作用于位置和/或方向/取向的公用术语。例如对象、相机、头部或者视图的位置和方向/取向的组合可以被称为姿态或者放置。因此，放置或者姿态指示可以包括六个值/分量/自由度，其中，每个值/分量通常描述对应的对象的位置/定位或取向/方向的个体性质。当然，在许多情况下，放置或姿态可以利用更少的分量考虑或表示，例如如果一个或多个分量被认为是固定或不相关的(例如如果所有对象被认为在相同高度处并且具有水平取向，四个分量可以提供对象的姿态的全部表示)。在以下中，术语姿态被用于是指可以由一到六个值(对应于最大可能自由度)表示的位置和/或取向。
许多VR应用基于具有最大自由度的姿态，即，导致总共六个自由度的位置和取向中的每个的三个自由度。因此姿态可以由表示六个自由度的六个值的集合或向量表示，并且因此姿态向量可以提供三维位置和/或三维方向指示。然而，将意识到在其他实施例中，姿态可以由更少值表示。
姿态可以是取向和位置中的至少一个。姿态值可以指示取向值和位置值中的至少一个。
基于为观察者提供最大自由度的系统或实体通常被称为具有6个自由度(6DoF)。许多系统和实体仅提供取向或者位置并且这些通常被称为具有3自由度(3DoF)。
在一些系统中，VR应用可以通过例如从远程设备/服务器接收场景数据(独立于针对本地观察者的特定观察者姿态)的独立设备本地提供给观察者并且然后本地生成针对本地观察者的特定当前视图的视图图像。因此，在许多应用中，特别地对于广播服务，源可以以独立于观察者姿态的场景的图像(包括视频)表示的形式发送场景数据。例如，可以接收包括多幅捕获视图图像和相关联的深度图的图像表示。个体客户端可以然后本地合成对应于当前观察者姿态的视图图像。
引起特定兴趣的特定应用是支持有限量的移动之处，使得所呈现的视图被更新以跟随对应于仅进行小头部移动和头部旋转的基本上静态的观察者的小移动和旋转。例如，坐下的观察者可以转动他的头部并且将其稍微移动，其中，呈现的视图/图像适于跟随这些姿态改变。这样的方法可以提供高度并且沉浸式例如视频体验。例如，查看体育赛事的观察者可以感觉他存在于竞技场中的特定地点处。
这样的有限自由度应用具有提供经改进的体验同时不要求来自许多不同位置的场景的准确表示从而基本上降低捕获要求的优点。类似地，可以基本上降低需要提供给绘制器的数据量。实际上，在许多情形中，仅针对单个视点的图像并且通常深度数据需要被提供，其中，本地绘制器能够从此生成期望的视图。为了支持头部旋转，通常期望的是，来自视点的大面积视图由所提供的数据表示，并且优选地居中在视点上的视图球体的全部表面由所提供的图像和深度数据覆盖。
方法可以特别地高度适合于其中数据需要通过有限带宽的通信信道从源传递到目的地的应用，诸如例如用于广播或客户端服务器应用。
图1图示了其中远程VR客户端设备101与VR服务器103(例如经由网络105，诸如因特网)联络的VR系统的这样的范例。服务器103可以被布置为同时支持潜在地大量的客户端设备101。
VR服务器103可以例如通过传输针对多个视点的图像数据和深度支持广播体验，其中，客户端设备然后被布置为处理该信息以本地合成对应于当前姿态的视图图像。
为了提供有效分布，期望的是，数据速率针对给定图像质量被保持尽可能低，并且因此可以特别地包括试图减少生成的冗余数据量。
图2图示了用于生成包括来自不同视图姿态(锚定姿态)的场景的多幅图像的表示的图像信号的装置的范例。装置也将被称为图像信号发射器200。图像信号发射器200可以例如被包括在图1的VR服务器103中。
图3图示了用于基于包括场景的多幅图像的表示的接收到的图像信号绘制视图图像的装置的范例。装置可以特别地接收由图2的装置生成的数据信号并且前进到处理其以便绘制针对特定视图姿态的图像。图3的装置也将被称为图像信号接收器300。图像信号接收器300可以例如被包括在图1的客户端设备101中。
图像信号发射器200包括图像源接收器201，其被布置为接收场景的多幅源图像。源图像可以表示来自不同捕获姿态的场景的视图。例如，源图像可以包括来自一行等距捕获姿态的图像。
在许多实施例中，源图像可以是包括具有相关联的深度信息的2D图像的3D图像。2D图像可以特别地是针对来自对应捕获姿态的场景的视口的视图图像，并且2D图像可以伴随有包括针对2D图像的图像中的每个的深度值的深度图像或图。2D图像可以是纹理图。
深度值可以例如是例如由z坐标指示的差异值或距离值。在一些实施例中，源图像可以是具有相关联的3D网格的纹理图的形式的3D图像。在一些实施例中，这样的纹理图和网格表示可以在由图像信号发射器200进一步处理之前由图像源接收器转换成图像加上深度表示。
因此，图像源接收器201接收表征和表示来自不同姿态的场景的多幅源图像。这样一组源图像将允许视图图像使用诸如如技术人员将已知的视图移位的算法针对其他姿态生成。因此，图像信号发射器200被布置为生成包括针对源图像的图像数据并且将该数据传输到远程设备用于本地绘制的图像信号。然而，直接传输所有源图像将要求不可行地高数据速率并且将包括大量的冗余信息。
图像信号发射器200被布置为通过生成其中冗余信息已经移除的部分图像降低数据速率。部分图像随后组合并且编码以生成图像信号。
图像源接收器201耦合到像素选择器203，其被布置为从源图像生成图像集合，其中，该组图像中的至少一幅是部分图像。像素选择器203可以通过选择源图像中的像素的子集以包括在图像信号中通过生成源图像之一或通常大部分(或甚至全部)的部分版本来生成一组部分图像。部分图像也将被称为修剪图像，并且要生成其部分图像的图像的像素的子集的选择也将被称为修剪图像。
因此，像素选择器203的输出可以是对应于源图像的一组修剪或部分图像，但是其中，图像之一或几乎大多数是对应源图像的部分版本。像素选择器203试图选择像素的该子集以包括在部分图像中，使得所生成的一组部分图像的总体冗余度降低或优选地最小化。所生成的部分图像也可以包括尚未修剪的一幅或多幅原始源图像。
像素选择器203耦合到图像生成器205，其被馈送一组部分图像。图像生成器205被布置为将部分图像组合为组合图像，其中，每幅图像可以表示部分图像中的一幅或多幅。特别地，组合图像可以包括起源于多幅部分图像的像素。例如，来自一幅部分图像的像素可以插入到另一部分图像的未使用区域中。图像生成器205可以被看作将部分图像打包成更密集打包的组合图像。
图像生成器205生成更少但更小的稀疏图像。该组组合图像被馈送到编码器207，其前进到执行图像的编码。由于图像生成器205已经减少要传输的图像的数目，因而通常实现更高效的编码。另外，将部分图像打包成组合图像可以通常执行，使得产生的图像高度适合于编码。
方法的特定优点在于，通过部分图像的场景的表示以允许常规图像和视频编码方法由编码器207执行的方式实现。例如，在许多实施例中，可以使用编码格式，诸如高效率视频编码(HEVC)，也称为H.265和MPEG-HPart 2，或由联合视频探索小组(JVET)开发的通用视频编码(VVC)。
因此，图2的图像信号发射器200可以提供用于生成表示来自一系列视图姿态的场景的有效图像信号的有效方法。
图像信号被传输到图像信号接收器300，其包括解码器301，解码器301被布置为接收图像信号并且对其进行解码以生成被馈送到编码器207的一组组合图像。因此，解码器301可以被布置为根据由解码器207使用的标准执行解码，诸如例如通过执行HEVC或VVC解码。
将意识到，图像信号发射器200和图像信号接收器300还包括用于传递图像信号的要求的功能，包括用于对信号进行编码、调制、传输、接收等图像的功能。将意识到，这样的功能将取决于个体实施例的偏好和要求并且这样的技术将为本领域技术人员所知并且因此为了清晰和简洁起见在本文中将不进一步讨论。
解码器301耦合到图像检索器303，其被布置为从接收到的组合图像检索部分图像。因此，图像检索器303可以执行图像生成器205的逆函数以便将组合图像的像素分成个体部分图像。因此，鉴于组合图像通常包括对应于多个不同视点或姿态的像素，生成部分图像，使得每幅图像包括起源于仅一幅源图像并且因此对应于仅一个视图姿态的像素。
在许多实施例中，图像信号还包括一幅或多幅完整源图像并且因此图像检索器303的输出提供对应于源图像并且因此表示来自一系列视图姿态的场景的一组图像，其中，图像中的一幅或多幅仅是部分图像。然而，来自给定部分图像的缺失部分通常对应于从来自图像检索器303的一组输出图像中的其他图像可用的冗余信息。
图像被馈送到第一绘制器305，其被布置为基于接收到的一组部分图像(和任何全部图像)来生成新视图图像。这些图像对应于原始源图像。将意识到，可以使用用于绘制对应于给定观察者姿态的视图图像的任何适合的算法。例如，第一绘制器305可以被布置为首先基于接收到的全源图像来生成视图图像。由于改变的视点，这可以通常导致起因于遮挡的多个孔。这样的孔可以然后使用来自部分图像的数据填充。将意识到，技术人员将知道用于基于来自其他视点的图像合成视图用于特定目的的许多不同算法和方法，并且任何适合的算法可以由第一绘制器305实施。
在一些实施例中，图像信号接收器300可以包括第二绘制器307，其被布置为直接从接收到的组合图像合成视图图像。在许多实施例中，图像信号接收器300将包括第一绘制器305和图像接收器303，或第二绘制器307。将意识到，第二绘制器307可以使用用于绘制针对给定观察者姿态的视图图像的任何适合的方法。
第一和第二绘制器可以使用相同的合成方法和参数，其可以是有利的，因为其可以增加预测的值。
基于部分图像的方法(诸如图2和图3的方法)的特别关键的问题在于，部分图像如何生成并且如何选择哪些像素以包括在部分图像中。图4图示了像素选择器203的可能实施方式的元件的范例，其在许多实施例和场景中可以提供来自一组源图像的一组部分图像的特别有利并且有效的生成。图5图示了图像信号发射器200的操作的方法的范例，其中，特别强调图4的像素选择器203的操作。然而，将意识到，图4和图5的方法可以适用于除图2和图3的图像信号发射器200和图像信号接收器300之外的其他实施例。
像素选择器203的方法特别地基于输入源图像的迭代处理。生成一组候选图像，其包括尚未处理的图像(并且其被初始化包括所有源图像)。该过程然后迭代进行以选择候选图像中的一幅或多幅，并且在已修剪之后将它们添加到一组被包括图像。因此，候选图像迭代地选择、修剪并且然后移动到次级识别符。该方法可以提供选择如何修剪图像的有效方式，并且特别地这样做的顺序，以便提供选定的一组修剪或部分图像，其可以提供用于在本地生成视图图像中使用的场景的更准确和完整的表示。
如前所述，图像源接收器201接收一组图像，该组图像包括场景的多幅图像，并且其中，至少一些并且通常所有这些用于场景的不同视图姿态。图像可以特别地是包括2D图像/纹理图和相关联的深度图的3D图像。
像素选择器203包括输入接收器401，其执行步骤501，其中，其从图像源接收器201接收一组源图像。因此，输入接收器401接收一组源图像，其通常是针对一系列视图姿态的纹理图和深度图。输入接收器401发起一组候选图像(为简洁起见，该组也将简称为候选组)。
输入接收器401耦合到执行步骤503的参考选择器403，其中，一组被包括图像通过选择候选图像中的一幅或多幅并将其(它们)包括在一组被包括图像中来初始化。一组被包括图像包括图像数据被包括在由图像信号发射器200生成的图像信号中的候选图像中的图像(通常部分图像)。在步骤503中，一组被包括图像通过通常选择一幅候选图像作为被包括图像来初始化。
选定的图像通常包括作为全图像，并且因此包括(一幅或多幅)选定的图像的所有像素。选定的图像可以通常提供比任何其他被包括图像更多的场景信息(因为这些将通常是部分图像)并且可以被认为是通过远程绘制器的图像合成的初始参考图像以及用于选择其他被包括图并且用于确定对应候选图像的哪些像素应当被选择用于部分图像的参考。
将意识到，不同方法和准则被用于选择针对一组被包括图像的初始参考图像。在一些实施例中，参考选择器403可以简单地选择对应于最中心图像的候选图像。在其他实施例中，参考图像可以基于相关联的深度图的分析来选择。例如，为了选择包括尽可能多的背景的图像，可以选择具有最大数目的具有高于给定阈值的深度的像素的候选图像。
在一些实施例中，(一幅或多幅)参考图像可以例如基于不同候选图像的视口的视口相似性。例如，可以计算视口相似性，例如通过从一个视图(即，一个源图像/捕获姿态)采样一组像素并将它们投影到另一视图，并且然后确定该合成图像与原始图像之间的相似性。可以通过在相反的方向上重复该过程使度量对称。
作为相似性量度的范例，可以确定合成像素值和原始像素值之间的差异，并且这可以跨图像/视口被平均。作为另一范例，可以对误差低于给定阈值的像素数目进行计数，并且可以将这样像素的数目用作相似性量度。
可以针对所有其他候选图像对给定候选图像执行该过程，并且可以将相似性量度组合为用于候选图像的一个单个相似性量度。该过程还可以针对所有(或一些)候选图像重复，并且最终候选图像可以被选择为具有总体最高相似性量度的图像。
因此，参考图像可以被选择为允许其他候选图像的最好平均预测/视图合成的图像。
选择器403耦合到迭代器405，其被布置为迭代地扩大一组被包括图像以包括候选图像的部分版本。在每次迭代中，候选图像的子集并且通常之一被选择用于包括在一组被包括图像中。针对每个选定的候选图像，部分图像被生成并且添加到一组被包括图像，并且选定的候选图像从一组候选图像移除。
在一些实施例中，迭代器405继续迭代该过程，直到所有候选图像已经被选择。在其他实施例中，迭代过程可以潜在地在所有候选图像已经被选择之前停止。
迭代过程可能导致候选图像被选择的次序取决于图像的特性而变化。由于部分图像取决于先前选定的图像(并且已经包括在一组被包括图像中的部分图像)，不同次序可能导致不同的部分图像。迭代过程试图以导致生成部分图像的次序来选择候选图像，这可能降低数据速率，并且特别适合于编码器207的有效图像编码。在许多实施例中，迭代过程可以试图降低包括在部分图像中的像素数目。
迭代在步骤505中开始，其中，迭代器405从一组被包括图像中的图像生成针对一组候选图像中的图像的预测图像。来自一组被包括图像的第一被包括图像的一组候选图像的第一候选图像的预测图像可以是通过视图合成从第一被包括图像生成的第一候选图像的视图姿态的图像。由于第一被包括图像和第一候选图像对应于不同视图姿态的源图像，视图合成包括视图姿态移位，并且通常视图位置移位。视图合成可以是视图移位图像合成。因此来自第一被包括图像的第一候选图像的预测图像可以是反映来自候选图像的视图姿态的视口可以如何从第一被包括图像预测/估计的图像。
从第二图像预测第一图像可以特别地是基于第二图像(及其视图姿态)在第一图像的视图姿态处的图像的视图合成。因此，从第二图像预测第一图像的预测操作可以是第二图像从与此相关联的视图姿态到第一图像的视图姿态的视图姿态移位。
将意识到，在不同实施例中可以使用用于视图合成和预测的不同方法和算法。在许多实施例中，可以使用视图合成/预测算法，其作为输入采取合成图像要针对其被生成的合成视图姿态，以及其中每幅与不同视图姿态相关联的多幅输入图像。视图合成算法可以然后基于可通常包括纹理图和深度两者的输入图像来生成针对该视图姿态的合成图像。
多个这样的算法是已知的，并且可以使用任何合适的算法而不减损本发明。作为这样的方法的范例，可以首先针对每幅输入图像生成中间合成/预测图像。这可以例如通过首先基于图像的深度图来生成针对输入图像的网格来实现。网格可以然后基于几何计算从输入图像的视图姿态弯曲/移位到合成视图姿态。产生的网格的顶点可以然后投影到中间合成/预测图像上并且纹理图可以覆盖该图像。这样的过程可以例如使用从例如标准图形管线已知的顶点处理和片段着色器实现。
以这种方式，可以针对输入图像中的每幅生成针对合成视图姿态的中间合成/预测图像(从此仅中间预测图像)。
中间预测图像可以然后组合在一起，例如通过加权组合/求和或通过选择组合。例如，在一些实施例中，针对合成视图姿态的合成/预测图像的每个像素可以通过从中间预测图像选择向前最远的像素生成，或者像素可以通过针对所有中间预测图像的对应像素值的加权求和来生成，其中，针对给定中间预测图像的权重取决于针对该像素确定的深度。组合操作也被称为混合操作。
在步骤505中，迭代器405可以因此前进到基于一组被包括图像中的图像(即，针对已经被包括图像中的每幅)生成针对第一候选图像的预测图像。预测可以因此(通常除了第一次迭代之外)基于其一些图像是部分图像的多幅图像。
视图合成器可以例如前进到通过将此视图移位到第一候选图像的示图姿态生成针对每幅被包括图像的中间图像。其可以然后通过混合这些中间预测图像生成针对第一候选图像的预测图像。由于图像中的一些是包括针对仅像素的子集的图像数据的部分图像，针对至少一些像素的混合/组合将仅包括来自中间预测图像的子集的像素(即，中间预测图像也可以是部分图像)。
因此，针对第一候选图像，第一预测图像基于被包括图像而生成，即，基于已经在一组被包括图像中的图像。因此，该预测图像可以反映第一候选图像可以多么好地从已经被选择为图像信号的部分的图像数据预测。
可以针对所有候选图像重复过程，并且因此可以针对每幅候选图像生成预测图像，并且因此步骤505基于已经选择的被包括图像来生成针对每幅候选图像的预测图像。
迭代器405然后在步骤507中继续，其中，针对候选图像中的每幅确定预测质量，其中，针对给定候选图像的预测质量量度是指示候选图像与针对候选图像的预测图像之间的差异的量度。
因此，预测质量量度是增加值可以指示来自一组(已经)被包括图像的候选图像的预测的经改进的质量的量度。预测质量量度可以通过直接比较预测图像和候选图像来确定。例如，预测质量量度可以被确定为候选图像和预测图像的对应(相同位置)像素值之间的平均或累积误差。作为另一范例，预测质量可以被确定为候选图像与预测图像的像素值之间的差异超过阈值的像素数目。将意识到，在其他实施例中可以使用其他预测质量量度。
因此，在步骤507结束时，为每幅候选图像确定预测质量量度，其反映根据一组被包括图像中的图像对候选图像的预测质量。
步骤507跟随有步骤509，其中，迭代器405前进到响应于预测质量而从一组候选图像选择一组选定的图像。迭代器405可以特别地选择预定数目的候选图像作为具有最低预测质量量度的候选图像，即，选择由已经被包括图像最差地预测的预定数目的候选图像。
迭代器405然后前进到确定然后从一组候选图像移动的(一幅或多幅)选定的图像的修剪或部分图像。在许多实施例中，在每次迭代中仅选择单幅候选图像，并且为了清楚和简洁起见，以下描述将集中于该方法，但是将意识到，对被选择的单幅候选图像的引用可以扩展到包括选择的多幅图像的子集。
步骤509跟随有步骤511，其中，迭代器405生成对应于选定的图像的部分图像，其中，部分图像仅包括选定的图像的像素的子集。
特别地，迭代器405可以前进到选择选择的候选图像的像素的子集。将意识到，不同方法和算法可以被用于选择哪些像素要包括在子集中并且哪些像素不包括。像素的子集响应于像素预测质量而选择，并且特别地可以确定针对每个像素的像素预测质量的量度或指示。像素预测质量量度可以指示通常从其他被包括图像可以多么好地预测像素，和/或可以指示其他图像的预测的改进可以通过将像素包括在子集中来实现。迭代器405可以基于像素预测质量量度是否满足准则来选择从子集包括或排除的像素。
在许多实施例中，像素的选择可以基于预测图像和选定的图像的像素值之间的差异。例如，如果候选图像中的预测值和实际值之间的差异超过阈值，则像素可以被包括在子集中，并且否则其可以不被包括。
如还将在下文描述的，在一些实施例中，可以使用更复杂得多的方法，包括评估可以如何通过在部分图像中包括像素来改进其他图像的预测。
在一些实施例中，可以响应于确定预测图像中的第一像素的预测值与候选图像中的像素的值之间的差异的量度超过阈值而针对子集选择候选图像的第一像素。
在一些实施例中，可以针对每个像素确定预测改进量度，其指示通过将像素包括在预测中而对其他候选图像的(一个或多个)像素的预测的改进。子集可以然后响应于预测改进度量而被选择，例如，通过选择预测改进度量高于阈值的像素。
因此，针对仅包括针对像素的子集的图像数据的候选图像生成部分图像。部分图像可以通过丢弃候选图像中的像素的余子集生成。丢弃像素可以通过不包括部分图像中的像素值的信息，并且例如将对应的像素值设置为固定值(例如零)或与候选图像中的像素值无关的值。丢弃像素的方法是不将它们包括在由图像生成器205生成的组合图像中。部分图像的生成可以特别地被认为是对应于修剪掩模的生成，该修剪掩模可以将候选图像与仅包括未被掩模遮挡的像素的部分图像交叠。
步骤511跟随有步骤513，其中，部分图像(在选择超过一个候选图像的情况下，或多幅部分图像)被添加到一组被包括图像。步骤513跟随有步骤515，其中，(一幅或多幅)选定的图像从一组候选图像移除。
因此，迭代可以特别地评价一组被包括图像以找到一幅或多幅图像，然后在修剪以生成部分图像之后将其移动到一组被包括图像。
步骤515跟随有步骤517，其中，评价是否应当执行另外的迭代。如果这样的话，则过程返回步骤505并且发起新迭代。否则，步骤517跟随有步骤519，其中，图像信号由图像生成器205和编码器207生成以包括一组被包括图像。
如先前所提到的，在一些实施例中，迭代可以执行直到一组候选图像为空，即，直到所有候选图像已经选择。
在其他实施例中，方法可以前进直到所有剩余候选图像的预测误差低于给定阈值。在这种情况下，可以认为可以足够准确地预测所有视图，并且不需要另外的图像数据。在这样的实施例中，可以在确定预测质量量度的步骤505之后做出是否执行另一迭代的决定。如果最低预测质量量度高于给定阈值，则迭代可以特别地停止。
(一幅或多幅)候选图像和部分图像中包括的像素的子集的选择通过考虑与其他图像、特别地已经被包括的图像的关系并响应于对选择的预测影响的考虑来执行。
方法已经发现倾向于导致高度适于编码和传输的一组被包括图像。方法已经被发现基本上降低针对给定期望图像质量的数据速率。同时，迭代方法允许具有低计算要求的特别有效并且低复杂性实施方式。
在一些实施例中，可以通过选择和计算预测误差低于给定阈值的像素数目通过完成如所提到地确定步骤507中的预测质量量度。
特别地，迭代器405可以确定第一候选图像的多个像素，针对其，第一候选图像和针对候选图像的预测图像的对应像素的像素值满足相似性准则。因此，可以确定足够好预测像素，并且针对第一候选图像的预测质量量度可以响应于多个像素的性质而确定，例如作为多个像素中的像素数目的单调递增函数。因此，预测质量量度可以针对已经足够好预测的增加数目的像素增加。
因此，方法基于选择满足相似性准则的像素的子集。在一些实施例中，在步骤513中确定的像素的子集可以基于在步骤507中确定的子集来确定。
特别地，可以从未包括在满足相似性要求的多个像素中的候选图像的像素生成部分图像中包括的像素的子集。因此，相同考虑、准则和方法可以被用于确定用于选择候选图像的预测质量量度并且用于生成用于该图像的子集/修剪掩模。这不仅在许多实施例中可以降低复杂性和计算资源使用，因为相同的操作用于两个目的，而且在许多实施例中可以提供改进的选择，因为该选择直接涉及将包括在图像信号中的图像数据量作为选择的结果。
例如，图像信号发射器200可以前进到针对候选图像中的每幅生成修剪掩模，从而将候选图像分为满足相似性准则的像素的第一子集和不满足相似性准则的第二子集。第一子集中的像素数目可以被确定并且用作预测质量量度。特别地，具有最低预测质量量度的候选图像对应于第一子集中的最低像素数目和第二子集中的最高像素数目。部分图像然后通过仅包括第二子集的像素并且丢弃第一子集的像素生成，例如通过将其像素值设定为固定值(例如，为0)。
在一些实施例中，在步骤511中，图像信号发射器200可以通过考虑对将起因于包括个体像素的剩余候选图像的预测改进/误差改变(即，预测像素值与正确值之间的误差改变)选择针对部分图像的像素。特别地，图像信号发射器200可以通过将第一像素包括在预测过程中针对选定的图像中的给定第一像素确定对其他候选图像的像素的预测质量改进。然后，如果该预测质量改进高于阈值，则第一像素被包括在生成的部分图像中。
预测质量改进可以特别地通过以下过程确定。
针对来自一组被包括图像和选定的图像的每幅剩余候选图像生成第一预测，即，通过进一步考虑在步骤509中选择的图像针对候选图像生成预测。因此，与步骤505中的预测相反，步骤513针对每幅候选图像生成新预测，其也基于在步骤509中选择的图像。例如，针对第一剩余候选图像，迭代器405基于来自先前迭代的一组被包括图像中的所有图像和来自该迭代的选定的图像来生成预测图像。
对于该第一剩余候选图像的像素，迭代器405然后前进到确定误差改变，该误差改变指示像素值与基于一组被包括图像加上选定的图像确定的预测值相对于仅基于一组被包括图像确定的预测值之间的差异的改变。
因此，对于第一剩余候选图像的每个像素，可以针对包括选定的图像的预测确定第一预测误差，并且可以针对不包括选定的图像的预测确定第二预测误差，即，对应于先前在步骤505中做出的预测。这些之间的差异反映了通过在预测中包括选定的图像实现的预测改进。对于Yuv颜色表示，误差改变(通过包括选定的图像)可以例如针对每个像素被确定为：
i.平方差cond＝(Yref–Ycond)2+(Uref–Ucond)2+(Vref–Vcond)2
ii.Δ平方差＝平方差之前–平方差之后
其中，索引cond指代预测图像，索引ref指代原始候选图像，并且索引之前和之后分别指代针对不考虑选定的图像的预测和考虑预测图像的预测的预测误差。
因此，针对第一剩余候选图像的每个像素确定误差改变。这可以形成候选误差改变图像，其然后从第一剩余候选图像的视图姿态视图移位到选定的图像的视图姿态。作为结果，选择的误差改变图像由从第一剩余候选图像的视图姿态到选定的图像的视图姿态的视图姿态移位来确定，其中，像素值通过将选定的图像的该像素包括在第一剩余候选图像的预测中反映了在预测候选图像中发生的预测误差的改变。因此，确定通过在选定的图像的部分图像中包括个体像素对该第一剩余候选图像的预测的益处的直接量度。
因此，迭代器405可以前进到选择误差改变图像指示误差将降低超过给定阈值的所有像素。
然而，在许多实施例中，针对部分图像的像素的选择不仅基于考虑一幅剩余候选图像，而且基于考虑多个并且通常所有这些。在许多实施例中，可以针对所有剩余候选图像生成移位到选定的图像的视图姿态的误差改变图像。
在一些实施例中，然后可以单独考虑这些，例如，通过在部分图像中包括像素，如果生成的误差改变图像中的任何指示可以实现高于给定阈值的改进。然而，在许多实施例中，可以通过组合针对选定的图像的相同像素的不同候选图像确定的误差改变值来生成组合误差改变图像。作为简单范例，不同候选图像的误差改变值可以简单地加在一起或在已经移位到选定的图像的视图姿态之后被平均。迭代器405可以然后前进到选择组合误差改变值指示部分图像中的高于给定阈值的误差降低的选定的图像的像素，即，选择了提供对剩余候选图像的最大总体预测改进的像素。
在许多实施例中，组合误差改变图像可以包括针对选定的图像自身生成的误差改变图像。实际上，在该阶段处，选定的图像仅被预测(未完全包括)，因此当在组合误差改变图像中计算时也可以有利地包括选定的图像，从而指示对选定的图像本身实现的预测改进。例如，可以在部分图像中包括像素，因为其针对选定的图像本身需要，但是针对任何剩余候选图像不需要。
如先前所描述的，在许多实施例中，执行的预测/视图合成(特别地在步骤505中)可以通过针对一组被包括图像中的每个图像生成第一候选图像的单独中间预测图像来执行，即，一个中间图像可以针对每个候选图像和包括图像对生成。这些中间预测图像然后组合/混合为用于第一候选图像的单个预测图像。
在许多实施例中，可以使用合成器，其被布置为执行所有这些操作并且其可以简单地作为输入被提供有一组被包括图像(和相关联的视图姿态)和合成/预测图像要被生成的视图姿态。其可以根据这些输入针对给定候选图像生成合成/预测图像。合成器可以被实施为积分函数和算法，诸如软件子例程、函数或对象，其不允许访问中间结果或操作。因此，中间图像的生成和混合可能对于其他功能、过程或操作不可访问。在使用这样的合成器的实施例中，因此，例如步骤505中的预测可以要求在每次迭代中，使用所有被包括图像针对所有候选图像执行完全合成。
然而，在一些实施例中，可以使用允许访问中间预测图像和混合的合成器。例如，如果合成功能被开发用于实施图5的方法的目的，则情况可以是这样。
在这样的实施例中，迭代器405还可以被布置为存储在一次迭代中生成的中间图像并且检索在后续迭代中已经存储的中间图像。
因此，在这样的实施例中，如果一幅这样的图像是可用的，则中间预测图像可以被提供用于通过检索在先前迭代中已经生成和存储的图像来混合，并且如果从先前迭代没有存储这样的图像，则仅通过视图移位生成新中间预测图像。因此，如果中间预测图像先前已经生成，则这被重复使用，并且对于该候选和被包括图像对不需要新的视图移位操作。
在图5的方法中，基于在每次迭代中逐渐增长/扩大的一组被包括图像针对候选图像预测新图像。因此，在每次迭代中，针对给定剩余候选图像的新预测的生成基于与在先前迭代中相同的被包括图像加上由先前迭代包括的任何图像来执行。因此，对于除了先前迭代中选择的图像之外的所有图像，已经生成并且存储中间预测图像。因此，新中间预测图像仅针对在先前迭代中包括的图像生成，并且在许多实施例中，仅一幅新中间预测图像需要针对每幅剩余候选图像生成(例如，替换旧中间预测图像，因为其不再需要)。
因此，方法高度服从增量预测方法并且因此可以被用于提供具有所要求的处理的非常显著降低的非常高效的实施方式。
将意识到，在不同实施例中，可以使用用于混合中间预测图像的像素的不同方法，并且特别地不同函数和参数可以被用于生成权重。
在许多实施例中，混合可以是其中针对给定像素的权重取决于与像素相关联的深度的加权组合。例如，混合可以是选择混合，其中，对给定像素位置的中间预测图像中的所有像素的深度进行比较并且选择具有最远向深度值的中间预测图像的像素。在许多实施例中，可以使用基于权重的不同像素的更逐渐的加权。例如，可以常常使用深度与权重之间的指数关系。
在其他实施例中，可以备选地或额外地考虑其他参数。例如，可以考虑多少拉伸(底层基元的几何失真)被要求执行视图移位，并且权重可以减少要求的基元的更多拉伸和几何失真。
在许多实施例中，在每次迭代中仅单幅图像被选择用于包括在一组被包括图像中。然而，在一些实施例中，选定的图像的子集可以有利地在每次迭代中包括多幅图像并且因此可以在每次迭代中将多幅图像移动到一组被包括图像。
这在一些情形中可以稍微增加数据速率，但是在一些实施例中可以基本上降低计算要求并且特别地要执行的全方法所需的预测的数目。其可以特别地在不能使用增量预测的实施例中提供实质上减少的计算资源使用，例如，因为不存在访问中间预测图像或混合操作。
在许多实施例中，针对部分图像的像素的选择可以包括例如基于像素预测性质确定的初始子集的一些处理。这样的处理可以特别地考虑像素的空间性质或关系。
作为特定范例，迭代器405可以生成对应于像素的子集的掩模，例如，可以生成二进制图像，其对于每个值指示这是否要被包括在部分图像中。作为另一范例，可以生成反映像素预测质量值的图像(例如，组合误差改变图像)。这样的图像可以是软掩模，因为其反映了在部分图像中包括该值的可能性或益处，并且因此连同阈值一起表示部分图像中包括的像素。
不是直接使用如最初生成的这样的掩模，迭代器405可以被布置为首先处理掩模。特别地，空间滤波器，并且通常空间低通滤波器可以应用于掩模。因此，掩模的改变可能导致针对部分图像选择的像素的子集的修改。
这样的过滤可以对于避免部分图像中的非常薄结构非常有用。可以应用的空间滤波器的范例是具有小内核的盒模糊。
在一些实施例中，处理的图像可以是视频序列的帧。在这样的情况下，针对一个帧确定的一组被包括图像的次序可以应用在多个帧中。例如，对于帧内编码帧，所描述的方法可以被用于生成顺序的一组被包括图像。然后可以将相同的图像布置/次序/序列用于所有帧间编码帧，直到下一个帧内编码帧。因此，在一些实施例中，方法可以仅针对帧内执行并且在该操作中确定的布置可以被重新用于所有后续帧内。
修剪掩模可以重新用于一些帧，例如通过以较低的帧速率生成修剪掩模，或在存在低图像运动的指示的情况下重新使用修剪掩模。备选地，可以使用针对帧内编码帧确定的布置针对所有帧间编码帧生成修剪掩模。
在场景改变时更新布置可能是特别有利的，但是这样的事件通常也将触发额外的帧内帧，其随后可能使得新布置确定。
这样的方法可以提供跨帧的经改进的一致性。总体数据速率或质量下降可能比如果将方法应用于每个帧更高，但是通常这将是实现更一致的视觉结果的期望折衷，因为时间变化往往对观察者高度可见。
将意识到，为了清晰以上描述已经参考不同的功能电路、单元和处理器描述本发明的实施例。然而，将显而易见，在不脱离本发明的情况下，可以使用不同的功能电路、单元或者处理器之间的功能性的任何适合的分布。例如，被图示为由分离的处理器或者控制器执行的功能性可以由相同处理器或者控制器执行。因此，对特定功能单元或者电路的参考仅将被看作对用于提供所描述的功能性而不是指示严格逻辑或者物理结构或者组织的适合的装置的参考。
本发明可以以任何适合的形式实施，包括硬件、软件、固件或者这些的任何组合。本发明可以任选地至少部分地被实施为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件。本发明的实施例的元件和部件可以以任何适合的方式物理地、功能地和逻辑地实施。实际上，功能可以被实施在单个单元中、在多个单元中或者作为其他功能单元的部分。这样一来，本发明可以被实施在单个单元中或者可以物理地并且功能地分布在不同的单元、电路和处理器之间。
尽管本发明已经结合一些实施例描述，但是其不旨在限于本文阐述的特定形式。相反，本发明的范围仅由附图限制。此外，尽管特征可能看起来结合特定实施例描述，但是本领域的技术人员将认识到，所描述的实施例的各种特征可以根据本发明组合。在权利要求中，术语包括不排除其他元件或者步骤的存在。
此外，尽管个体地列出，但是多个装置、元件、电路或方法步骤可以通过例如单个电路、单元或者处理器实施。此外，尽管个体特征可以被包括在不同的权利要求中，但是这些可以可能地有利地组合，并且不同的权利要求中的包括不隐含特征的组合不是可行和/或有利的。而且，一个类别的权利要求中的特征的包括不隐含该类别的限制，而是相反指示特征同样地酌情适用于其他权利要求类别。此外，权利要求中的特征的次序不隐含特征必须在其中工作的任何特定次序并且特别地方法权利要求中的个体步骤的次序不隐含步骤必须以该次序执行。相反，步骤可以以任何适合的次序执行。另外，单数参考不排除多个。因此，对“一”、“一个”、“第一”、“第二”等的参考不排除多个。权利要求中的附图标记仅被提供为澄清范例，不应当被解释为以任何方式限制权利要求的范围。
本发明可以通常被概括为一种生成图像信号的方法，所述方法包括：
接收(501)包括场景的多幅图像的一组候选图像，所述一组候选图像中的至少一些图像用于所述场景的不同视图姿态；
选择(503)所述一组候选图像中的至少一幅图像并且初始化一组被包括图像以包括所述至少一幅图像；
迭代地执行以下步骤：
根据所述一组被包括图像中的图像来生成(505)针对所述一组候选图像中的图像的预测图像；
确定(507)针对所述一组候选图像中的每幅图像的预测质量量度，针对所述一组候选图像中的第一图像的所述预测质量量度指示所述第一图像与针对所述第一图像中的第一预测图像之间的差异；
响应于预测质量而从所述一组候选图像中选择(509)一组选定的图像；
针对所述一组选定的图像中的每幅图像，响应于针对所述图像的像素的像素预测质量而确定(511)所述像素的子集；
生成(513)对应于所述一组选定的图像的一组部分图像，针对所述一组选定的图像中的给定图像的所述部分图像仅包括针对所述给定图像的像素的所述子集的像素；
将所述一组部分图像包括(515)在所述一组被包括图像中；并且
从所述一组候选图像中移除(515)所述一组选定的图像；
生成(519)包括所述一组被包括图像中的所述图像的图像数据的图像信号。
该方法还可以如随附的权利要求2-13定义地定义。
本发明通常还可以被概括为一种计算机程序产品，其包括计算机程序代码模块，所述计算机程序代码模块适于当所述程序在计算机上运行时执行生成图像信号的任何上文列出的概括方法的所有步骤。
本发明通常甚至还可以被概括为一种用于生成图像信号的装置，所述装置包括：
接收器(401)，其用于接收(501)包括场景的多幅图像的一组候选图像，所述一组候选图像中的至少一些图像用于所述场景的不同视图姿态；
参考选择器(403)，其用于选择(503)所述一组候选图像中的至少一幅图像并且初始化一组被包括图像以包括所述至少一幅图像；
迭代器(405)，其用于迭代地执行以下步骤：
根据所述一组被包括图像中的图像来生成(505)针对所述一组候选图像中的图像的预测图像；
确定(507)针对所述一组候选图像中的每幅图像的预测质量量度，针对所述一组候选图像中的第一图像的所述预测质量量度指示所述第一图像与针对所述第一图像中的第一预测图像之间的差异；
响应于预测质量而从所述一组候选图像中选择(509)一组选定的图像；
针对所述一组选定的图像中的每幅图像，响应于针对所述图像的像素的像素预测质量而确定(511)所述像素的子集；
生成(513)对应于所述一组选定的图像的一组部分图像，针对所述一组选定的图像中的给定图像的所述部分图像仅包括针对所述给定图像的像素的所述子集的像素；
将所述一组部分图像包括(515)在所述一组被包括图像中；并且
从所述一组候选图像中移除(515)所述一组选定的图像；
输出电路(205、207)，其用于生成(519)包括所述一组被包括图像中的所述图像的图像数据的图像信号。
本发明可以特别地如随附的权利要求1-15中定义地概括。

Claims (15)

1.一种生成图像信号的方法，所述方法包括：
接收(501)包括场景的多幅图像的一组候选图像，所述一组候选图像中的至少一些图像用于所述场景的不同视图姿态；
选择(503)所述一组候选图像中的至少一幅图像并且初始化一组被包括图像以包括所述至少一幅图像；
迭代地执行以下步骤：
根据所述一组被包括图像中的图像来生成(505)针对所述一组候选图像中的图像的预测图像；
确定(507)针对所述一组候选图像中的每幅图像的预测质量量度，针对所述一组候选图像中的第一图像的所述预测质量量度指示所述第一图像与针对所述第一图像中的第一预测图像之间的差异；
响应于预测质量而从所述一组候选图像中选择(509)一组选定的图像，由此，所述选定的图像具有关于已经被包括在所述一组选定的图像中的图像的最低预测质量量度；
针对所述一组选定的图像中的每幅图像，响应于针对所述图像的像素的像素预测质量而确定(511)所述像素的子集；
生成(513)对应于所述一组选定的图像的一组部分图像，针对所述一组选定的图像中的给定图像的所述部分图像仅包括针对所述给定图像的像素的所述子集的像素；
将所述一组部分图像包括(515)在所述一组被包括图像中；并且
从所述一组候选图像中移除(515)所述一组选定的图像；
生成(519)包括所述一组被包括图像中的所述图像的图像数据的图像信号。
2.根据权利要求1所述的方法，其中，确定(507)针对所述第一图像的所述预测质量包括：
确定所述第一图像的多个像素，针对所述多个像素，针对所述第一图像和所述第一预测图像的对应像素的像素值满足相似性准则；
响应于所述多个像素的性质而确定针对所述第一图像的所述预测质量。
3.根据权利要求2所述的方法，其中，所述性质是像素数目，并且所述预测质量是所述多个像素中的所述像素数目的单调递增函数。
4.根据权利要求3所述的方法，其中，确定(511)像素的所述子集包括根据所述第一图像中未被包括在针对所述图像的所述多个像素中的像素来确定针对所述第一图像的像素的子集。
5.根据任一项前述权利要求所述的方法，其中，确定(511)针对所述一组选定的图像中的第一选定的图像的像素的所述子集包括：
针对不包括所述一组选定的图像的所述一组候选图像的至少一幅候选图像：
针对所述至少一幅候选图像的像素，确定误差改变，所述误差改变指示所述至少一幅候选图像的像素与预测像素之间的差异针对以下项的改变：基于所述一组被包括图像和所述第一选定的图像对所述像素的预测相对于仅基于所述一组被包括图像对所述像素的预测；并且
生成针对所述第一选定的图像的误差改变图像，所述误差改变图像包括通过从所述至少一幅候选图像的视图姿态到所述第一选定的图像的视图姿态的视图姿态移位根据所述至少一幅候选图像的误差改变确定的像素值；并且
响应于所述误差改变图像而选择像素的所述子集。
6.根据权利要求5所述的方法，其中，确定针对所述第一选定的图像的像素的所述子集包括：确定针对所述一组候选图像中的多幅候选图像的误差改变，并且通过针对所述第一选定的图像的相同像素组合根据不同候选图像确定的误差改变值来生成所述误差改变图像。
7.根据任一项前述权利要求所述的方法，其中，生成(505)针对所述一组候选图像中的预测图像包括针对所述一组候选图像中的第一候选图像执行以下操作：
为所述一组被包括图像中的所述图像中的每幅图像提供所述第一候选图像的中间预测图像；并且
通过组合所述中间预测图像来生成所述第一预测图像。
8.根据权利要求7所述的方法，其中，所述迭代还包括：
存储中间预测图像；并且
其中，提供中间预测图像包括：检索针对所述一组被包括图像中中间预测图像已经在先前迭代中被生成和存储的图像的存储的中间预测图像；并且预测针对所述一组参考图像中没有中间预测图像已经在先前迭代中被存储的任何图像的中间预测图像。
9.根据权利要求7或8所述的方法，其中，所述组合是加权组合，并且针对像素的权重取决于所述像素的深度。
10.根据任一项前述权利要求所述的方法，其中，所述迭代在最低预测质量超过阈值时停止。
11.根据任一项前述权利要求所述的方法，其中，选定的图像的所述子集包括在至少一次迭代中的多幅选定的图像。
12.根据任一项前述权利要求所述的方法，其中，所述图像是视频序列的帧，并且所述方法包括使用针对多个帧的所述一组被包括图像的布置。
13.根据任一项前述权利要求所述的方法，还包括：生成对应于像素的所述子集的掩模，并且响应于将空间滤波器应用于所述掩模而修改像素的子集。
14.一种用于生成图像信号的装置，所述装置包括：
接收器(401)，其用于接收(501)包括场景的多幅图像的一组候选图像，所述一组候选图像中的至少一些图像用于所述场景的不同视图姿态；
参考选择器(403)，其用于选择(503)所述一组候选图像中的至少一幅图像并且初始化一组被包括图像以包括所述至少一幅图像；
迭代器(405)，其用于迭代地执行以下步骤：
根据所述一组被包括图像中的图像来生成(505)针对所述一组候选图像中的图像的预测图像；
确定(507)针对所述一组候选图像中的每幅图像的预测质量量度，针对所述一组候选图像中的第一图像的所述预测质量量度指示所述第一图像与针对所述第一图像中的第一预测图像之间的差异；
响应于预测质量而从所述一组候选图像中选择(509)一组选定的图像，由此，所述选定的图像具有关于已经被包括在所述一组选定的图像中的图像的最低预测质量量度；
针对所述一组选定的图像中的每幅图像，响应于针对所述图像的像素的像素预测质量而确定(511)所述像素的子集；
生成(513)对应于所述一组选定的图像的一组部分图像，针对所述一组选定的图像中的给定图像的所述部分图像仅包括针对所述给定图像的像素的所述子集的像素；
将所述一组部分图像包括(515)在所述一组被包括图像中；并且
从所述一组候选图像中移除(515)所述一组选定的图像；
输出电路(205、207)，其用于生成(519)包括所述一组被包括图像中的所述图像的图像数据的图像信号。
15.一种包括计算机程序代码模块的计算机程序产品，所述计算机程序代码模块包括适于当所述程序在计算机上运行时执行根据权利要求1-13中的任一项所述的所有步骤。
CN202080018165.5A 2019-03-01 2020-02-12 生成图像信号的装置和方法 Pending CN113519165A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19160414.9 2019-03-01
EP19160414.9A EP3703378A1 (en) 2019-03-01 2019-03-01 Apparatus and method of generating an image signal
PCT/EP2020/053509 WO2020177990A1 (en) 2019-03-01 2020-02-12 Apparatus and method of generating an image signal

Publications (1)

Publication Number Publication Date
CN113519165A true CN113519165A (zh) 2021-10-19

Family

ID=65686712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080018165.5A Pending CN113519165A (zh) 2019-03-01 2020-02-12 生成图像信号的装置和方法

Country Status (10)

Country Link
US (1) US11856223B2 (zh)
EP (2) EP3703378A1 (zh)
JP (1) JP7326457B2 (zh)
KR (1) KR20210132712A (zh)
CN (1) CN113519165A (zh)
BR (1) BR112021016995A2 (zh)
ES (1) ES2928951T3 (zh)
PL (1) PL3932081T3 (zh)
TW (1) TW202042539A (zh)
WO (1) WO2020177990A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113938602B (zh) * 2021-09-08 2022-08-02 荣耀终端有限公司 图像处理方法、电子设备、芯片及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4703350A (en) * 1985-06-03 1987-10-27 Picturetel Corporation Method and apparatus for efficiently communicating image sequences
CN103181171A (zh) * 2010-11-04 2013-06-26 皇家飞利浦电子股份有限公司 深度指示图的产生
WO2018058090A1 (en) * 2016-09-26 2018-03-29 University Of Florida Research Foundation Incorporated Method for no-reference image quality assessment
EP3441788A1 (en) * 2017-08-08 2019-02-13 Koninklijke Philips N.V. Apparatus and method for generating a representation of a scene

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6807231B1 (en) * 1997-09-12 2004-10-19 8×8, Inc. Multi-hypothesis motion-compensated video image predictor
US10264281B2 (en) 2012-07-02 2019-04-16 Hfi Innovation Inc. Method and apparatus of inter-view candidate derivation in 3D video coding
JP2014082540A (ja) 2012-10-12 2014-05-08 National Institute Of Information & Communication Technology 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラム、および装置、ならびに、互いに類似した情報を含む複数画像を表現するデータ構造
JP5947977B2 (ja) 2013-04-11 2016-07-06 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
JP6250805B2 (ja) 2013-07-19 2017-12-20 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 深度ベース・ブロック・パーティショニングを使用して、テクスチャブロックを符号化および復号するための方法ならびに装置
JP6430542B2 (ja) * 2014-06-16 2018-11-28 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ３ｄ−ｈｅｖｃにおける簡略化シフティングマージ候補およびマージリスト導出
EP3509308A1 (en) * 2018-01-05 2019-07-10 Koninklijke Philips N.V. Apparatus and method for generating an image data bitstream

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4703350A (en) * 1985-06-03 1987-10-27 Picturetel Corporation Method and apparatus for efficiently communicating image sequences
CN103181171A (zh) * 2010-11-04 2013-06-26 皇家飞利浦电子股份有限公司 深度指示图的产生
US20130222377A1 (en) * 2010-11-04 2013-08-29 Koninklijke Philips Electronics N.V. Generation of depth indication maps
WO2018058090A1 (en) * 2016-09-26 2018-03-29 University Of Florida Research Foundation Incorporated Method for no-reference image quality assessment
EP3441788A1 (en) * 2017-08-08 2019-02-13 Koninklijke Philips N.V. Apparatus and method for generating a representation of a scene

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MAUGEY THOMAS ET AL: ""Reference View Selection in DIBR-Based Multiview Coding"", IEEE TRANSACTIONS ON IMAGE PROCESSING, vol. 25, no. 4, XP011602607, DOI: 10.1109/TIP.2016.2530303 *

Also Published As

Publication number Publication date
WO2020177990A1 (en) 2020-09-10
EP3932081B1 (en) 2022-08-31
KR20210132712A (ko) 2021-11-04
JP2022521701A (ja) 2022-04-12
JP7326457B2 (ja) 2023-08-15
US20220167013A1 (en) 2022-05-26
BR112021016995A2 (pt) 2021-11-30
ES2928951T3 (es) 2022-11-23
US11856223B2 (en) 2023-12-26
EP3932081A1 (en) 2022-01-05
TW202042539A (zh) 2020-11-16
PL3932081T3 (pl) 2023-01-16
EP3703378A1 (en) 2020-09-02

Similar Documents

Publication Publication Date Title
US20130101017A1 (en) Providing of encoded video applications in a network environment
CN110999285B (zh) 基于纹理图与网格的3d图像信息的处理
KR102641527B1 (ko) 이미지 합성
CN111602403B (zh) 用于生成图像数据比特流的装置和方法
JP7480163B2 (ja) 画像の奥行きマップの処理
CN112753224B (zh) 用于生成并且绘制视频流的装置和方法
EP3932081B1 (en) Apparatus and method of generating an image signal
CN114897681A (zh) 基于实时虚拟视角插值的多用户自由视角视频方法及系统
JP7471314B2 (ja) 画像信号を生成する装置及び方法
JP7493496B2 (ja) 画像合成
CN113614776A (zh) 表示场景的图像信号

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination