CN115918061A - 用于高动态范围视频的图片元数据 - Google Patents
用于高动态范围视频的图片元数据 Download PDFInfo
- Publication number
- CN115918061A CN115918061A CN202180050498.0A CN202180050498A CN115918061A CN 115918061 A CN115918061 A CN 115918061A CN 202180050498 A CN202180050498 A CN 202180050498A CN 115918061 A CN115918061 A CN 115918061A
- Authority
- CN
- China
- Prior art keywords
- image
- metadata
- display
- input image
- dynamic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 76
- 238000013507 mapping Methods 0.000 claims abstract description 19
- 238000005457 optimization Methods 0.000 claims abstract description 10
- 230000033001 locomotion Effects 0.000 claims description 8
- 238000009877 rendering Methods 0.000 claims description 5
- 238000012897 Levenberg–Marquardt algorithm Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 238000003860 storage Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 abstract description 14
- 238000007726 management method Methods 0.000 description 11
- 238000004519 manufacturing process Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 241000023320 Luma <angiosperm> Species 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000001303 quality assessment method Methods 0.000 description 2
- 238000013442 quality metrics Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/10—Intensity circuits
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6058—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut
- H04N1/6063—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut dependent on the contents of the image to be reproduced
- H04N1/6066—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut dependent on the contents of the image to be reproduced dependent on the gamut of the image to be reproduced
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
- G09G2320/0276—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping for the purpose of adaptation to the characteristics of a display device, i.e. gamma correction
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/06—Colour space transformation
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Image Processing (AREA)
- Television Systems (AREA)
Abstract
呈现了用于生成动态图片元数据的方法和系统。在给定在母版显示器上生成的输入图片、与母版显示器不同的目标显示器的特性以及输入图片的一组初始动态元数据的情况下，执行以下迭代算法：根据显示管理过程和图像元数据将输入图像映射到用于目标显示器的映射图像，根据视觉外观匹配指标将输入图像与映射图像进行比较，并使用优化技术更新图像元数据，直到根据视觉外观匹配指标的输入图像与映射图像之间的可见性差异值低于阈值。
Description
相关申请的交叉引用
本申请要求2020年8月17日提交的美国临时申请号63/066,663和2020年8月17日提交的欧洲专利申请号20191269.8的优先权，其中每个申请特此通过引用以其全文并入。
技术领域
本发明总体上涉及图像。更具体地，本发明的实施例涉及生成静止图像和视频序列的动态元数据。
背景技术
如本文所使用的，术语“动态范围(DR)”可以涉及人类视觉系统(HVS)感知图像中的强度(例如，光亮度(luminance)、亮度(luma))范围的能力，所述强度范围例如是从最暗的灰色(黑色)到最亮的白色(高光)。从这个意义上说，DR与“参考场景的(scene-referred)”强度有关。DR还可以涉及显示设备充分或近似渲染特定阔度(breadth)的强度范围的能力。从这个意义上说，DR与“参考显示的(display-referred)”强度有关。除非在本文的描述中的任何一点明确指定特定的意义具有特定的意思，否则应该推断为所述术语可以在任一意义上例如可互换地使用。
如本文所使用的，术语“高动态范围(HDR)”涉及跨越人类视觉系统(HVS)的14到15个数量级的DR阔度。实际上，相对于HDR，人类可以同时感知强度范围广泛阔度的DR可能会被稍微截短。如本文所使用的，术语“视觉动态范围(VDR)或增强动态范围(EDR)”可以单独地或可互换地与这种DR相关：所述DR可在场景或图像内由包括眼运动的人类视觉系统(HVS)感知，允许场景或图像上的一些光适性变化。如本文所使用的，VDR可以涉及跨越5到6个数量级的DR。因此，虽然相对于真实场景参考的HDR，可能稍微窄一些，但VDR或EDR可以代表宽DR阔度并且也可以被称为HDR。
实际上，图像包括一个或多个颜色分量(例如，亮度Y以及色度Cb和Cr)，其中，每个颜色分量由每像素n位的精度表示(例如，n＝8)。例如，使用伽马光亮度编码，其中n≤8的图像(例如，彩色24比特JPEG图像)被认为是标准动态范围的图像，而其中n≥10的图像可以被认为是增强动态范围的图像。HDR图像还可以使用高精度(例如，16位)浮点格式来存储和分布，如由工业光魔公司(Industrial Light and Magic)开发的OpenEXR文档格式。
大多数消费者桌面显示器目前支持200到300cd/m2或尼特的光亮度。大多数消费类HDTV的范围从300到500尼特，其中，新型号达到1000尼特(cd/m2)。因此，这样的传统显示器代表了与HDR相关的较低动态范围(LDR)，也被称为标准动态范围(SDR)。随着HDR内容的可用性由于捕获设备(例如，相机)和HDR显示器(例如，杜比实验室的PRM-4200专业参考监视器)二者的发展而增加，HDR内容可以被颜色分级并被显示在支持更高动态范围(例如，从1,000尼特到5,000尼特或更高)的HDR显示器上。
如本文所使用的，术语“元数据”涉及作为经编码比特流或序列的一部分传输并且辅助解码器渲染经解码图像的任何辅助信息。这种元数据可以包括但不限于如本文描述的颜色空间或色域信息、参考显示器参数和辅助信号参数。元数据可以被表征为“静态的”或“动态的”。静态元数据的示例包括与母版显示器相关的参数，比如母版制作视频内容中使用的显示器的基色、白点和光亮度范围(参考文献[1])。动态元数据的示例包括图片帧的最小、平均和最大光亮度或RGB值、修整处理(trim-pass)数据或解码器用于在目标显示器上显示比特流的色调映射参数(参考文献[2])。正如本发明人在此所理解的，为了改进现有和未来的显示方案，需要用于生成用于视频序列(尤其是但不限于用于HDR视频)的图片元数据的改进技术。
在本节中描述的方法是可以采用的方法，但不一定是先前已经设想到或采用过的方法。因此，除非另有指示，否则不应该认为本节中描述的任何方法仅凭其纳入本节就可被视为现有技术。类似地，除非另有指示，否则关于一种或多种方法所认定的问题不应该基于本节而认为在任何现有技术中被认定。
附图说明
在附图中以举例而非限制的方式来图示本发明的实施例，并且其中类似的附图标记指代类似的要素，并且在附图中：
图1描绘了视频传输流水线的示例过程；以及
图2描绘了根据本发明实施例的用于生成动态图片元数据的示例过程流程。
具体实施方式
描述了用于生成动态图片元数据的方法和系统。在以下说明中，出于解释的目的，阐述了许多具体细节以便提供对本发明的透彻理解。然而，明显的是，可以在没有这些具体细节的情况下实践本发明。在其他情形中，为了避免不必要地遮蔽、模糊或混淆本发明，没有详尽地描述众所周知的结构和设备。
概述
本文描述的示例实施例涉及用于生成动态元数据的方法和系统。处理器接收在母版显示器上进行母版处理的第一动态范围(例如，HDR或SDR)的视频图片序列、以及初始动态图像元数据，其中，所述图片元数据包括用于使得能够在可能与母版显示器不同的目标显示器上显示视频图片的语法参数。
所述处理器：
a)应用显示映射过程以将输入图像映射到第二动态范围中的映射图像，其中，所述显示映射过程考虑了所述动态图像元数据和所述目标显示器的显示特性；
b)使用外观匹配指标将所述输入图像与所述映射图像进行比较以生成可见性差异值；以及
如果所述可见性差异值大于阈值，则：
c)对所述动态图像元数据应用元数据优化方法以降低所述可见性差异值，并生成更新的图像元数据；
d)用所述更新的图像元数据替代所述动态图像元数据；以及
返回步骤a进行另一个元数据更新迭代，直到达到终止标准；
否则生成包括所述输入图像和所述动态图像元数据的输出。
用于高动态范围视频的元数据
信号的视频编解码
图1描绘了传统视频传输流水线(100)的示例过程，所述传统视频传输流水线示出了从视频捕获到视频内容显示的各个阶段。使用图像生成块(105)来捕获或生成视频帧(102)序列。视频帧(102)可以被(例如，由数码相机)数字地捕获或者由计算机(例如，使用计算机动画)生成以提供视频数据(107)。可替代地，视频帧(102)可以由胶片相机捕获在胶片上。胶片被转换为数字格式以提供视频数据(107)。在制作阶段(110)，对视频数据(107)进行编辑以提供视频制作流(112)。
制作流(112)的视频数据然后在块(115)处被提供给处理器以进行后期制作编辑。块(115)的后期制作编辑可以包括调节或修改图像的特定区中的颜色或明亮度，以根据视频创作者的创作意图来增强图像质量或实现图像的特定外观。这有时被称为“颜色调整(color timing)”或“颜色分级(color grading)”。它还可以包括帧/图片速率重新采样。可以在块(115)处执行其他编辑(例如，场景选择和排序、图像裁剪、添加计算机生成的视觉特效、可变帧速率排序等)以产生用于发行的作品的最终版本(117)。在后期制作编辑(115)期间，在参考显示器或母版显示器(125)上观看视频图像。
在后期制作(115)之后，可以将最终作品(117)的视频数据传输到编码块(120)，以便向下游传输到如电视机、机顶盒、电影院等解码和回放设备。在一些实施例中，编码块(120)可以包括如由ATSC、DVB、DVD、蓝光和其他传输格式定义的那些音频编码器和视频编码器，以生成编码比特流(122)。在接收器中，编码比特流(122)由解码单元(130)解码，以生成表示信号(117)的相同或接近近似版本的已解码信号(132)。接收器可以附接到目标显示器(140)，所述目标显示器可以具有与参考显示器(125)完全不同的特性。在这种情况下，显示管理块(135)可以用于通过生成显示映射信号(137)来将已解码信号(132)的动态范围或帧速率映射到目标显示器(140)的特性。
在给定生态系统100的情况下，包括了图片元数据以指导图像处理流水线各个阶段的信号处理，尤其是显示管理过程(135)的信号处理。例如而非限制性地，如参考文献[2]中所述，使用杜比视界高动态范围流水线的术语，图片元数据可以包括以下一个或多个参数。
L1元数据，其可以包括像min、mid和max之类的量，它们分别表示代表源视频数据122的一个或多个场景的最小(“碎片(crush)”)亮度值、中间调(“mid”)亮度值和最大(“上限(clip)”)光亮度值或RGB值。
L2元数据，其提供和/或描述关于视频特性调整的信息，这些调整是由导演、颜色分级者、视频专业人员等在制作工作室中借助具有参考动态范围的参考显示器125进行的。
L3元数据，其提供和/或描述关于视频特性调整的信息，这些调整是由导演、颜色分级者、视频专业人员等在制作工作室中借助具有不同于参考显示器125的参考动态范围的第二参考动态范围的第二参考显示器(如目标显示器140)进行的。L3元数据可以包括例如相对于L1元数据的偏移量或调整，比如作为分别与(L1)的量min、mid和max的偏移量的Δmin、Δmid和Δmax。
L4元数据，其提供或描述关于全局调光操作的信息。L4元数据可以由编码器在预处理期间计算，并且可以使用RGB基色来计算。在一个示例中，L4元数据可以包括逐帧地指示显示面板的全局背光明亮度水平的数据。
其他生成的元数据(如L11元数据)可以提供或描述要用于识别视频数据源的信息，如电影内容、计算机游戏内容、体育内容等。这种元数据可以进一步提供或描述预期的图片设置，如预期的白点、锐度等。
通常，这种元数据以多种方式生成，包括：
a.手动地，根据内容指定预设值(例如，L11中的“游戏(game)”)
b.自动地，通过逐帧分析输入视频并基于图像的明亮度和颜色的统计数据来计算元数据(例如，LI的min、mid、max值)
c.半手动地或半自动地，例如，通过在一个或多个显示器上观察结果的同时调整元数据值(例如，“修整处理”L2元数据)
当解码器接收到内容132时，在给定目标显示器140的情况下，所述内容通过显示管理过程135进行处理，所述显示管理过程调整由传入元数据指定的图像特性以实现在目标显示器上的经优化渲染。显示管理过程的示例可以在参考文献[3-5]中找到，并且可以包括各种图像处理操作，包括：
·预处理和后处理颜色变换(例如，YCbCr或RGB到ICtCp)
·图像缩放
·色调映射
·饱和度控制
·颜色体积映射
·修整处理控制；以及
·环境光调整
示例实施例改进了动态图片元数据的生成以改进显示渲染过程。本文描述的实施例主要适用于生成元数据的自动化方法，但也可适用于半手动或半自动方法，例如，以调整修整处理元数据。
图2描绘了根据实施例的用于生成动态图片元数据的示例过程(200)。如图2所描绘的，在给定输入图像或图像序列205的情况下，步骤210基于已知的手动、自动或半自动元数据生成技术来生成一组初始元数据。接下来，在步骤215中，在给定目标显示器、输入图像(205)和相关联元数据(例如，来自步骤210的初始元数据或来自步骤235的更新的元数据(237))的情况下，将显示管理过程(优选地类似于将由下游解码器使用的显示管理过程)应用于输入图像以生成映射图像(217)。接下来，在步骤220中，使用适当的外观匹配指标或视觉差异质量指标将原始图像(205)与映射图像(217)进行比较。这里的目标是根据模拟的人类观察者来模拟原始图像和映射图像的相互比较。通常，该指标返回的误差越小，预测的视觉差异就越小，并且匹配就越好。非限制性地，这种视觉质量指标的示例包括视频多方法评价融合指标(VMAF)(参考文献[6])、结构相似性指数度量(SSIM)(参考文献[7])和HDR视觉差异预测器(HDR-VDP)(参考文献[8])。
由于被比较的两个图像可能具有不同的颜色体积(例如，动态范围和色域)以及不同的分辨率或帧速率，合适的图像质量指标应该不管这些差异如何都能够预测这两个图像之间的外观匹配。
在步骤230中，需要决定迭代过程是否需要终止。例如，如果匹配差异低于某个阈值或者如果已经达到最大时间量或迭代次数，则该过程可以终止。如果做出终止决定，则输出最终元数据(240)，否则，可以在步骤235中生成更新的元数据(237)。
在给定特定的图像质量指标的情况下，元数据更新步骤(237)可以使用任何已知的优化技术来实施，比如梯度下降、莱文贝格-马夸特算法等。将元数据优化方法应用于动态图像元数据以降低可见性差异值并生成更新图像元数据意味着动态图像元数据被替换为具有降低的可见性差异值的更新图像元数据。识别降低可见性差异值的更新元数据是一种元数据优化方法。可见性差异值是通过使用外观匹配指标将输入图像与映射图像进行比较而生成的。
在实施例中，对于一些元数据类型(如L2)，可以为各种目标显示器计算不同的元数据。在这种场景下，可以针对每个目标显示器重复上述过程，并且去往不同显示环境的比特流可以包括不同的元数据集。
在另一个实施例中，映射图像(217)可以通过目标显示器的附加建模操作进行进一步处理，包括功率限制操作、全局调光、图像增强等，以产生修改后的映射图像，所述修改后的映射图像然后可以代替映射图像(217)用于与输入图像的比较步骤(步骤220)中。该过程产生的元数据考虑了目标显示器中的特定显示操作，这些操作不仅仅是显示管理过程的一部分。
在另一个实施例中，生成的映射图像(217)可以渲染在显示设备(例如，目标显示器)上。示出在显示设备上的图像然后可以由校准的数码相机捕获以产生校准的捕获图像，所述校准的捕获图像然后可以代替映射图像(217)用于与输入图像的比较步骤(步骤220)中。该过程产生的元数据被优化以保留参考显示器与目标显示器的显示特性之间的外观，否则这可能很难通过单独的显示管理过程或修改后的映射图像来模拟。
在另一个实施例中，所述输出通过网络传输到在主系统外部的辅助系统，所述主系统用于生成所述输出。所述辅助系统可以包括显示器，使用输入图像和动态图像元数据在所述显示器上渲染图像。辅助系统的显示器与目标显示器相比可以具有相同或不同的显示特性。提供输入图像和动态图像元数据作为输出的可能优势是该输出可以发送到各种各样的显示器。取决于实际的显示器，解码器于是可以决定如何将优化的元数据应用于输入图像。
这些参考文献中的每一篇都通过引用以其全文并入本文。
参考文献
[1]“Mastering display color volume metadata supporting high luminanceand wide color gamut images[母版制作支持高光亮度和广色域图像的显示颜色体积元数据]”，SMPTE ST 2086:2014，电影电视工程师协会，2014年
[2]A.K.A.Choudhuryd等人“Tone curve optimization method and associatedvideo[色调曲线优化方法和相关视频]”，于2018年9月5日提交的PCT申请PCT/US2018/049585，已作为WO 2019/050972(2019年3月14日)公开。
[3]R.Atkins，“Display management for high dynamic range video[用于高动态范围视频的显示管理]”，美国专利9,961,237。
[4]J.A.Pytlarz等人，“Ambient light-adaptive display management[环境光自适应显示管理]”，美国专利申请公开2019/0304379，2019年10月3日。
[5]R.Atkins等人，“Display management for high dynamic range images[用于高动态范围图像的显示管理]”，于2020年4月16日提交的PCT申请PCT/US2020/028552。
[6]R.Rassool，“VMAF reproducibility:Validating a perceptual practicalvideo quality metric[VMAF再现性：验证感知实用视频质量指标]”2017年IEEE宽带多媒体系统和广播(BMSB)国际研讨会.IEEE，2017年。
[7]Z.Wang等人，“Image quality assessment:from error visibility tostructural similarity[图像质量评估：从错误可见性到结构相似性]”，IEEE图像处理汇刊，13.4(2004):600-612。
[8]R.Mantiuk等人，“HDR-VDP-2:A calibrated visual metric for visibilityand quality predictions in all luminance conditions[HDR-VDP-2：在所有光亮度条件下用于可见性和质量预测的校准视觉指标]”，ACM图形汇刊(TOG)30.4(2011):1-14。
示例计算机系统实施方式
本发明的实施例可以利用计算机系统、以电子电路和部件来配置的系统、集成电路(IC)设备(如微控制器、现场可编程门阵列(FPGA)或另一个可配置或可编程逻辑器件(PLD)、离散时间或数字信号处理器(DSP)、专用IC(ASIC))和/或包括这样的系统、设备或部件中的一个或多个的装置来实施。计算机和/或IC可以执行、控制或实行与生成动态图片元数据相关的指令，如本文所述的那些指令。计算机和/或IC可以计算与本文描述的生成动态图片元数据相关的各种参数或值中的任何参数或值。图像和视频实施例可以以硬件、软件、固件及其各种组合来实施。
本发明的某些实施方式包括执行软件指令的计算机处理器，这些软件指令使处理器执行本发明的方法。例如，显示器、编码器、机顶盒、转码器等中的一个或多个处理器可以通过执行所述处理器可访问的程序存储器中的软件指令来实施与如上所述的生成动态图片元数据相关的方法。还可以以程序产品的形式提供本发明。程序产品可以包括携带一组计算机可读信号的任何有形和非暂态介质，该组计算机可读信号包括指令，所述指令当由数据处理器执行时使数据处理器执行本发明的方法。根据本发明的程序产品可以采用各种形式中的任何一种。程序产品可以包括例如物理介质，如包括软盘、硬盘驱动器的磁性数据存储介质、包括CD ROM、DVD的光学数据存储介质、包括ROM、闪速RAM的电子数据存储介质等。程序产品上的计算机可读信号可以可选地被压缩或加密。
在上面提到部件(例如，软件模块、处理器、组件、设备、电路等)的情况下，除非另有指明，否则对所述部件的引用(包括对“装置”的引用)都应该被解释为包括执行所描述部件的功能的任何部件为所述部件的等同物(例如，功能上等同的)，包括在结构上不等同于执行在本发明的所图示示例实施例中的功能的所公开结构的部件。
等同物、扩展、替代方案和杂项
因此，描述了与生成动态图片元数据相关的示例实施例。在前述说明书中，已经参考可以根据实施方式而变化的许多具体细节描述了本发明的实施例。因此，指明本发明以及申请人的发明意图的唯一且排他性指示是根据本申请以具体形式发布的权利要求组，其中，这样的权利要求发布包括任何后续修正。本文中针对这样的权利要求中包含的术语明确阐述的任何定义应该支配如在权利要求中使用的这样的术语的含义。因此，权利要求中未明确引用的限制、要素、性质、特征、优点或属性不应该以任何方式限制这样的权利要求的范围。因此，应当从说明性而非限制性意义上看待本说明书和附图。
可以从以下枚举的示例实施例(EEE)中理解本发明的各个方面：
1.一种利用处理器生成动态图片元数据的方法，所述方法包括：
接收第一动态范围中的输入图像和动态图像元数据，其中，所述输入图像在母版显示器上进行母版处理；
a)应用显示映射过程以将所述输入图像映射到第二动态范围中的映射图像，其中，所述显示映射过程考虑了所述动态图像元数据和与所述母版制作显示器不同的目标显示器的显示特性；
b)使用外观匹配指标将所述输入图像与所述映射图像进行比较以生成可见性差异值；以及
如果所述可见性差异值大于阈值，则：
c)对所述动态图像元数据应用元数据优化方法以降低所述可见性差异值，并生成更新的图像元数据；
d)用所述更新的图像元数据替代所述动态图像元数据；以及
返回步骤a进行另一个元数据更新迭代，直到达到终止标准；
否则生成包括所述输入图像和所述动态图像元数据的输出。
2.如EEE 1所述的方法，其中，所述第一动态范围是高动态范围，并且所述第二动态范围是标准动态范围。
3.如EEE 1或2所述的方法，其中，所述终止标准包括将元数据更新迭代的总次数限制为小于最大迭代计数。
4.如EEE 1至3中任一项所述的方法，其中，所述外观匹配指标包括视频多方法评价融合指标(VMAF)、结构相似性指数度量(SSIM)和HDR-视觉差异预测器(HDR-VDP)之一。
5.如前述EEE中任一项所述的方法，其中，所述元数据优化方法包括梯度下降法或莱文贝格-马夸特算法之一。
6.如前述EEE中任一项所述的方法，其中，所述输入图像的动态图像元数据包括基于所述输入图像中的像素值统计数据的元数据参数。
7.如EEE 1至5中任一项所述的方法，其中，所述输入图像的动态图像元数据包括在所述目标显示器上观察所述输入图像时计算的调整后的元数据参数。
8.如前述EEE中任一项所述的方法，进一步包括：
在步骤a之后，将所述目标显示器的附加建模操作应用于所述映射图像以生成修改后的映射图像；并且在步骤b中，
使用所述外观匹配指标将所述输入图像与所述修改后的映射图像进行比较以生成所述可见性差异值。
9.如EEE 8所述的方法，其中，所述附加建模操作包括所述目标显示器的功率限制、全局调光或图像增强操作。
10.如EEE 1至7中任一项所述的方法，进一步包括：
在步骤a之后，在所述目标显示器上渲染所述映射图像以生成渲染图像，并用相机捕获所述渲染图像以生成捕获图像；并且在步骤b中，
使用所述外观匹配指标将所述输入图像与所述捕获图像进行比较以生成所述可见性差异值。
11.一种装置，包括处理器并且被配置为执行如EEE 1至10中所述的方法中的任一种方法。
12.一种非暂态计算机可读存储介质，具有存储于其上的计算机可执行指令，所述指令用于利用一个或多个处理器来执行根据EEE 1至10中任一项所述的方法。
Claims (15)
1.一种利用处理器生成动态图片元数据的方法，所述方法包括：
接收第一动态范围中的输入图像和动态图像元数据，其中，所述输入图像在母版显示器上进行母版处理；
a)应用显示映射过程以将所述输入图像映射到第二动态范围中的映射图像，其中，所述显示映射过程考虑了所述动态图像元数据和与所述母版显示器不同的目标显示器的显示特性；
b)使用外观匹配指标将所述输入图像与所述映射图像进行比较以生成可见性差异值；以及
如果所述可见性差异值大于阈值，则：
c)对所述动态图像元数据应用元数据优化方法以降低所述可见性差异值，并生成更新的图像元数据；
d)用所述更新的图像元数据替代所述动态图像元数据；以及
返回步骤a进行另一个元数据更新迭代，直到达到终止标准；
否则生成包括所述输入图像和所述动态图像元数据的输出。
2.如权利要求1所述的方法，其中，所述输出通过网络传输到在主系统外部的辅助系统，所述主系统用于生成所述输出。
3.如权利要求2所述的方法，其中，所述辅助系统包括显示器，使用所述输入图像和所述动态图像元数据在所述显示器上渲染图像。
4.如权利要求3所述的方法，其中，所述辅助系统的显示器与所述目标显示器相比具有相同或不同的显示特性。
5.如权利要求1至4中任一项所述的方法，其中，所述第一动态范围是高动态范围，并且所述第二动态范围是标准动态范围。
6.如权利要求1至5中任一项所述的方法，其中，所述终止标准包括将元数据更新迭代的总次数限制为小于最大迭代计数。
7.如权利要求1至6中任一项所述的方法，其中，所述外观匹配指标包括视频多方法评价融合指标(VMAF)、结构相似性指数度量(SSIM)和HDR-视觉差异预测器(HDR-VDP)之一。
8.如前述权利要求中任一项所述的方法，其中，所述元数据优化方法包括梯度下降法或莱文贝格-马夸特算法之一。
9.如前述权利要求中任一项所述的方法，其中，所述输入图像的动态图像元数据包括基于所述输入图像中的像素值统计数据的元数据参数。
10.如权利要求1至8中任一项所述的方法，其中，所述输入图像的动态图像元数据包括在所述目标显示器上观察所述输入图像时计算的调整后的元数据参数。
11.如前述权利要求中任一项所述的方法，进一步包括：
在步骤a之后，将所述目标显示器的附加建模操作应用于所述映射图像以生成修改后的映射图像；并且在步骤b中，
使用所述外观匹配指标将所述输入图像与所述修改后的映射图像进行比较以生成所述可见性差异值。
12.如权利要求11所述的方法，其中，所述附加建模操作包括所述目标显示器的功率限制、全局调光或图像增强操作。
13.如权利要求1至10中任一项所述的方法，进一步包括：
在步骤a之后，在所述目标显示器上渲染所述映射图像以生成渲染图像，并用相机捕获所述渲染图像以生成捕获图像；并且在步骤b中，
使用所述外观匹配指标将所述输入图像与所述捕获图像进行比较以生成所述可见性差异值。
14.一种装置，包括处理器并且被配置为执行如权利要求1至13中任一项所述的方法。
15.一种非暂态计算机可读存储介质，具有存储于其上的计算机可执行指令，所述指令用于利用一个或多个处理器来执行根据权利要求1至13中任一项所述的方法。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202063066663P | 2020-08-17 | 2020-08-17 | |
| US63/066,663 | 2020-08-17 | ||
| EP20191269.8 | 2020-08-17 | ||
| EP20191269 | 2020-08-17 | ||
| PCT/US2021/044580 WO2022039930A1 (en) | 2020-08-17 | 2021-08-05 | Picture metadata for high dynamic range video |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115918061A true CN115918061A (zh) | 2023-04-04 |
Family
ID=77431433
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180050498.0A Pending CN115918061A (zh) | 2020-08-17 | 2021-08-05 | 用于高动态范围视频的图片元数据 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11792532B2 (zh) |
| EP (1) | EP4197190A1 (zh) |
| JP (1) | JP2023537939A (zh) |
| CN (1) | CN115918061A (zh) |
| WO (1) | WO2022039930A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024107472A1 (en) * | 2022-11-16 | 2024-05-23 | Dolby Laboratories Licensing Corporation | Estimating metadata for images having absent metadata or unusable form of metadata |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5874988A (en) * | 1996-07-08 | 1999-02-23 | Da Vinci Systems, Inc. | System and methods for automated color correction |
| US20130027615A1 (en) * | 2010-04-19 | 2013-01-31 | Dolby Laboratories Licensing Corporation | Quality Assessment of High Dynamic Range, Visual Dynamic Range and Wide Color Gamut Image and Video |
| US20140002737A1 (en) * | 2011-03-17 | 2014-01-02 | Dolby Laboratories Licensing Corporation | Generating Alternative Versions of Image Content Using Histograms |
| US20150003749A1 (en) * | 2013-06-28 | 2015-01-01 | Samsung Electronics Co., Ltd. | Image processing device and image processing method |
| US20170116963A1 (en) * | 2015-10-22 | 2017-04-27 | Dolby Laboratories Licensing Corporation | Ambient-Light-Corrected Display Management for High Dynamic Range Images |
| US20180020224A1 (en) * | 2015-03-20 | 2018-01-18 | Dolby Laboratories Licensing Corporation | Signal reshaping approximation |
| CN111095931A (zh) * | 2017-09-06 | 2020-05-01 | 杜比实验室特许公司 | 色调曲线优化方法以及相关联的视频编码器和视频解码器 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8330768B2 (en) * | 2007-07-27 | 2012-12-11 | Sharp Laboratories Of America, Inc. | Apparatus and method for rendering high dynamic range images for standard dynamic range display |
| EP2498499B1 (en) | 2011-03-08 | 2018-04-18 | Dolby Laboratories Licensing Corporation | Interpolation of color gamut for display on target display |
| WO2015073377A1 (en) | 2013-11-13 | 2015-05-21 | Dolby Laboratories Licensing Corporation | Workflow for content creation and guided display management of edr video |
| EP3248367B1 (en) | 2015-01-19 | 2018-08-29 | Dolby Laboratories Licensing Corporation | Display management for high dynamic range video |
| US10249263B2 (en) | 2015-06-05 | 2019-04-02 | Apple Inc. | Rendering and displaying high dynamic range content |
| CN108521859B (zh) | 2015-11-24 | 2020-09-22 | 皇家飞利浦有限公司 | 用于处理多个hdr图像源的装置和方法 |
| JP6871945B2 (ja) | 2015-12-21 | 2021-05-19 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 特定のディスプレイのための高ダイナミックレンジ画像の最適化 |
| US9984446B2 (en) | 2015-12-26 | 2018-05-29 | Intel Corporation | Video tone mapping for converting high dynamic range (HDR) content to standard dynamic range (SDR) content |
| CN109983530B (zh) | 2016-12-22 | 2022-03-18 | 杜比实验室特许公司 | 环境光自适应显示管理 |
| CN110447051B (zh) | 2017-03-20 | 2023-10-31 | 杜比实验室特许公司 | 在感知上保持参考场景的对比度和色度 |
| EP3451677A1 (en) | 2017-09-05 | 2019-03-06 | Koninklijke Philips N.V. | Graphics-safe hdr image luminance re-grading |
| EP3853810B1 (en) | 2018-09-19 | 2023-10-25 | Dolby Laboratories Licensing Corporation | Automatic display management metadata generation for gaming and/or sdr+ contents |
| CN113728624B (zh) | 2019-04-23 | 2023-11-14 | 杜比实验室特许公司 | 高动态范围图像的显示管理 |
-
2021
- 2021-08-05 US US18/041,903 patent/US11792532B2/en active Active
- 2021-08-05 EP EP21758559.5A patent/EP4197190A1/en active Pending
- 2021-08-05 JP JP2023509433A patent/JP2023537939A/ja active Pending
- 2021-08-05 CN CN202180050498.0A patent/CN115918061A/zh active Pending
- 2021-08-05 WO PCT/US2021/044580 patent/WO2022039930A1/en unknown
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5874988A (en) * | 1996-07-08 | 1999-02-23 | Da Vinci Systems, Inc. | System and methods for automated color correction |
| US20130027615A1 (en) * | 2010-04-19 | 2013-01-31 | Dolby Laboratories Licensing Corporation | Quality Assessment of High Dynamic Range, Visual Dynamic Range and Wide Color Gamut Image and Video |
| US20140002737A1 (en) * | 2011-03-17 | 2014-01-02 | Dolby Laboratories Licensing Corporation | Generating Alternative Versions of Image Content Using Histograms |
| US20150003749A1 (en) * | 2013-06-28 | 2015-01-01 | Samsung Electronics Co., Ltd. | Image processing device and image processing method |
| US20180020224A1 (en) * | 2015-03-20 | 2018-01-18 | Dolby Laboratories Licensing Corporation | Signal reshaping approximation |
| US20170116963A1 (en) * | 2015-10-22 | 2017-04-27 | Dolby Laboratories Licensing Corporation | Ambient-Light-Corrected Display Management for High Dynamic Range Images |
| CN111095931A (zh) * | 2017-09-06 | 2020-05-01 | 杜比实验室特许公司 | 色调曲线优化方法以及相关联的视频编码器和视频解码器 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022039930A1 (en) | 2022-02-24 |
| JP2023537939A (ja) | 2023-09-06 |
| US11792532B2 (en) | 2023-10-17 |
| US20230239579A1 (en) | 2023-07-27 |
| EP4197190A1 (en) | 2023-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109155853B (zh) | 用于高动态范围图像的色度整形 | |
| CN107409213B (zh) | 用于高动态范围图像的内容自适应感知量化器 | |
| US20240007678A1 (en) | Signal reshaping and coding for hdr and wide color gamut signals | |
| US10062333B2 (en) | Backlight control and display mapping for high dynamic range images | |
| US10645403B2 (en) | Chroma reshaping for high dynamic range images | |
| CN110050292B (zh) | 用于调整高动态范围图像的视频处理曲线的系统和方法 | |
| CN111095931B (zh) | 色调曲线优化方法以及相关联的视频编码器和视频解码器 | |
| CN110178374B (zh) | 用于对高动态范围视频进行编码的基于段的整形 | |
| CN110192223B (zh) | 高动态范围图像的显示映射 | |
| KR102653767B1 (ko) | 하이 다이내믹 레인지를 위한 비디오 콘텐츠 타입 메타데이터 | |
| US20170214916A1 (en) | Content-adaptive reshaping for high dynamic range images | |
| KR102287095B1 (ko) | 전력-제한 디스플레이 상에서의 하이 다이나믹 레인지 이미지를 위한 디스플레이 매핑 | |
| US11792532B2 (en) | Picture metadata for high dynamic range video | |
| US20230230617A1 (en) | Computing dynamic metadata for editing hdr content | |
| CN116261854A (zh) | 用于hdr视频的基于云的编码的修整处理校正 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |