CN113748426A - 实时馈送中的内容感知的pq范围分析仪和色调映射 - Google Patents

实时馈送中的内容感知的pq范围分析仪和色调映射 Download PDF

Info

Publication number
CN113748426A
CN113748426A CN202080031250.5A CN202080031250A CN113748426A CN 113748426 A CN113748426 A CN 113748426A CN 202080031250 A CN202080031250 A CN 202080031250A CN 113748426 A CN113748426 A CN 113748426A
Authority
CN
China
Prior art keywords
image
image processing
luminance
content type
dynamic range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080031250.5A
Other languages
English (en)
Other versions
CN113748426B (zh
Inventor
A·赞迪法尔
J·E·克伦肖
C·M·瓦斯科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN113748426A publication Critical patent/CN113748426A/zh
Application granted granted Critical
Publication of CN113748426B publication Critical patent/CN113748426B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0238—Improving the black level
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/066—Adjustment of display parameters for control of contrast
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/06—Colour space transformation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Image Processing (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

一种图像处理系统包括：输入端，其被配置为接收图像信号，该图像信号包括图像数据的多个帧；以及处理器，其被配置为基于所述多个帧中的至少一个帧来自动地确定图像分类、以及基于图像分类来动态地生成映射元数据。处理器包括：确定电路系统，其被配置为确定图像信号的内容类型；分割电路系统，其被配置为基于内容类型将图像数据分割成多个特征项区域；提取电路系统，其被配置为提取所述多个特征项区域中的相应各个特征项区域的至少一个图像方面值。

Description

实时馈送中的内容感知的PQ范围分析仪和色调映射
相关申请的交叉引用
本申请要求2019年4月25日提交的美国临时专利申请序列号62/838,518和2019年4月25日提交的EP专利申请序列号19171057.3的优先权，这些专利申请中的每一个通过引用以其整体并入本文中。
技术领域
本申请总体上涉及图像。更具体地，本申请涉及对实时馈送的PQ范围分析和色调映射方面的内容感知。
背景技术
如本文中所使用的，术语“动态范围”可与人类视觉系统感知图像中的强度(例如，辉度(luminance)、亮度(luma)等)范围的能力有关；例如，该范围从最暗的黑色(“暗色”)到最亮的白色(“高光”)。从这个意义上来说，动态范围与“场景参考(scene-referred)”强度有关。动态范围还可与显示装置充分地或适当地渲染特定广度(breadth)的强度范围的能力有关。从这个意义上来说，动态范围指代“显示参考(display-referenced)”强度。除非特定的意义在本文中的描述中的任何地方被明确指定为具有特定的含义，否则应推断该术语可在任一种意义上(例如，可互换地)使用。
如本文中所使用的，术语“高动态范围”(HDR)与横跨人类视觉系统的约14-15个数量级的动态范围广度有关。在实践中，动态范围相对于HDR可能相对地被截短，在该动态范围上，人类可同时感知到强度范围内的广泛广度。如本文中所使用的，术语“扩展动态范围”(EDR)或“视觉动态范围”(VDR)可单独地或可互换地与同时可由人类视觉系统感知的动态范围有关。如本文中所使用的，EDR可与横跨五到六个数量级的动态范围有关。因此，虽然EDR相对于真实的场景参考HDR可能在某种程度上较窄，但是EDR却表示宽的动态范围广度，并且也可被称为HDR。
在实践中，图像包括一个或多个颜色分量(例如，亮度Y以及色度Cb和Cr)，其中，每个颜色分量由每像素n位(例如，n＝8)的精度表示。使用线性辉度编码，其中n<8的图像(例如，彩色24位JPEG图像)被认为是标准动态范围的图像，而其中n>8的图像可被认为是增强动态范围的图像。EDR和HDR图像也可使用高精度(例如，16位)浮点格式(诸如，由Industrial Light and Magic开发的OpenEXR文件格式)来存储和分布。
大多数消费者台式显示器支持200到300cd/m2(“尼特”)的辉度。大多数消费者高清晰度电视(“HDTV”)的范围为300到1000尼特。相对于HDR或EDR，这种显示器因此代表低动态范围(LDR)，也被称为标准动态范围(SDR)。随着EDR内容的可用性由于捕获设备(例如，相机)和EDR显示器(例如，来自杜比实验室的PRM-4200专业参考监视器)两者的发展而增长，EDR内容可被进行颜色分级并显示在支持较高动态范围(例如，从1000尼特到5000尼特或更大)的EDR显示器上。
如本文中所使用的，术语“显示管理”包括但不限于将第一动态范围(例如，1000尼特)的输入视频信号映射到第二动态范围(例如，500尼特)的显示器所需的处理(例如，色调和色域映射)。
本节中所描述的方法是可被实行的方法，但不一定是先前已设想过的或实行过的方法。因此，除非另有指示，否则不应仅由于本节中所描述的任何方法被包括在本节中就假定该方法有资格作为现有技术。类似地，除非另有指示，否则关于一种或多种方法识别出的问题不应基于本节就被假定为已在任何现有技术中被认识到。
发明内容
本公开的各个方面涉及用于图像处理的电路、系统和方法，包括对实时馈送的PQ范围分析和色调映射方面的内容感知。
在本公开的一个示例性方面中，提供了一种图像处理系统，其包括：输入端，其被配置为接收图像信号，该图像信号包括图像数据的多个帧；以及处理器，其被配置为基于所述多个帧中的至少一个帧来自动地确定图像分类、以及基于图像分类来动态地生成映射元数据，其中，该处理器包括：确定电路系统，其被配置为确定图像信号的内容类型；分割电路系统，其被配置为基于内容类型将图像数据分割成多个特征项区域；以及提取电路系统，其被配置为提取所述多个特征项区域中的相应各个特征项区域的至少一个图像方面值。
在本公开的另一个示例性方面中，提供了一种图像处理方法，其包括：接收图像信号，该图像信号包括图像数据的多个帧；基于所述多个帧中的至少一个帧来自动地确定图像分类，包括：确定图像信号的内容类型、基于内容类型将图像数据分割成多个空间区域、以及提取所述多个空间区域中的相应各个空间区域的至少一个图像方面值；以及基于图像分类来生成映射元数据的多个帧，其中，映射元数据的所述多个帧中的相应各个帧对应于图像数据的所述多个帧中的相应各个帧。
在本公开的又一示例性方面中，提供了一种存储指令的非暂时性计算机可读介质，这些指令在由图像处理系统的处理器执行时引起图像处理系统执行包括以下各者的操作：接收图像信号，该图像信号包括图像数据的多个帧；基于所述多个帧中的至少一个帧来自动地确定图像分类，包括：确定图像信号的内容类型、基于内容类型将图像数据分割成多个空间区域、以及提取所述多个空间区域中的相应各个空间区域的至少一个图像方面值；以及在逐帧的基础上基于图像分类来动态地生成映射元数据。
以这种方式，本公开的各个方面至少在图像处理的技术领域以及图像捕获、编码和广播的相关技术领域方面提供改进。
附图说明
参考附图，在以下描述中更充分地公开了本公开的各个方面的这些和其他更详细和具体的特征，在附图中：
图1图示了根据本公开的各个方面的源场景和各种渲染后的场景；
图2图示了根据本公开的各个方面的示例性广播工作流的框图；
图3图示了根据本公开的各个方面的示例性处理单元的框图；
图4图示了根据本公开的各个方面的示例性处理方法的过程流；
图5图示了根据本公开的各个方面的示例性分类方法的过程流；
图6图示了根据本公开的各个方面的示例性场景；
图7图示了根据本公开的各个方面的另一个示例性场景；以及
图8图示了根据本公开的各个方面的另一个示例性场景。
具体实施方式
在以下描述中，阐述了众多细节，诸如电路配置、波形时序、电路操作等，以便提供对本公开的一个或多个方面的理解。对于本领域技术人员来说将显而易见的是，这些具体细节仅仅是示例性的，且并不旨在限制本申请的范围。
本公开可以以包括硬件或电路在内的各种形式体现，硬件或电路由以下各者来控制：计算机实施的方法、计算机程序产品、计算机系统和网络、用户接口和应用程序编程接口；以及硬件实施的方法、信号处理电路、存储器阵列、专用集成电路、现场可编程门阵列等。前述发明内容仅旨在给出本公开的各个方面的一般思想，并且不以任何方式限制本公开的范围。
本文中描述了视频捕获、分析和编码。在以下描述中，阐述了众多细节，诸如电路配置、时序、电路操作等，以便提供对本公开的一个或多个方面的理解。对于本领域技术人员来说将显而易见的是，这些具体细节仅仅是示例性的，且并不旨在限制本申请的范围。例如，在一些情况下，可在没有这些细节的情况下实践本公开的各个方面。在其他情况下，可能并未以详尽的细节描述众所周知的结构和装置，以便避免不必要地遮挡、模糊或混淆本发明。
概述
本文中所描述的示例涉及图像处理，包括在视频流的实时广播期间生成元数据。本文中所描述的一些示例可与“杜比视界”架构一起使用。用于消费者应用的杜比视界是一种端到端的技术套件，其使得能够创建和分发掌握有高动态范围和宽色域的内容。杜比视界显示管理通过使用一系列算法将信号映射到任何杜比视界消费者类电视来匹配给定电视(其可能只能够显示SDR图像)的能力。在SDR显示器上显示HDR内容时，HDR图像被映射到显示器的相对减小的动态范围。
图1图示了从源场景到各种渲染后的场景的映射的示例。如图1中所图示的，HDR图像101将源场景描绘为带有暗色(例如，在HDR图像101的左下和左上中的区域)和高光(例如，在HDR图像101的中上和右上中的区域)两者。当映射HDR图像101以在SDR显示器上忠实地显示高光时，可创建曝光不足的图像102作为渲染后的场景。在曝光不足的图像102中，准确地再现了高光，但在对应于暗色的区域中细节被减少或丢失。相反地，当映射HDR图像101以在SDR显示器上忠实地显示暗色时，可创建曝光过度的图像103作为渲染后的场景。在曝光过度的图像103中，现在准确地再现了暗色，但对应于高光的区域可能看起来褪色。为了呈现既不是曝光不足也不是曝光过度的转换后的图像，可利用元数据(即，与图像数据有关的数据)来确定HDR图像101的哪些特征应被视为图像的焦点区域。
图2图示了广播工作流系统200的示例，该广播工作流系统包括视频捕获、制作和后期制作以及实时分发。视频捕获可由一个或多个相机组(camera bank)210完成，每个相机组包括一个或多个相机211。各个相机组210可位于不同的物理位置处以捕获不同的视频内容。例如，如果广播工作流系统200用于实时体育广播，则第一相机组210可被定位成捕获体育赛事本身的视频，第二相机组210可被定位成捕获广播间的视频，第三相机组210可被定位成捕获演播室中分析师的视频等。每个相机组210可包括任何数量的相机211。单独的相机211可能够捕获HDR视频数据或SDR视频数据。由给定相机211捕获的视频数据传递通过对应的贡献链路(contribution link)212以供进一步处理。
如图2中所图示的，传递通过贡献链路212的视频数据在对应的输入转换器220处被接收。在视频数据为HDR视频数据的情况下，输入转换器220可执行HDR到HDR的转换；例如，从混合对数型伽玛(HLG)或SLog-3 HDR到感知量化器(PQ)HDR的转换，例如，如在Rec.ITU-R BT.2100-1(06/2017)(“Image parameter values for high dynamic rangetelevision for use in production and international programme exchange”)中所描述的。
在视频数据是SDR视频数据的情况下，输入转换器220可执行SDR到HDR的转换。虽然图2图示了用于每条贡献链路212的输入转换器220，但在实践中可能存在更少的输入转换器220。例如，在视频数据是使用PQ的HDR视频数据的情况下，可能不发生转换，且因此可能不提供输入转换器220。在任一情况下，视频数据均被提供给制作切换台221。
制作切换台221从每个相机211接收视频数据并提供几个输出，这些输出包括：广播流222，其可对应于从相机211中的选定一个接收到的视频数据；到质量控制(QC)单元223的输出；到映射单元224的输出，该映射单元可进而提供到具有SDR能力的QC单元223的输出；到播出服务器225的输出；以及文件摄取(file ingest)226以供存储。来自文件摄取226的数据可在后期制作单元227中经受进一步处理且随后被提供给播出服务器225。可存储在播出服务器225中的视频数据可被利用来供稍后回放，诸如例如用于即时重放或中场休息/幕间休息分析。播出服务器225的输出可包括SDR视频数据(在这种情况下，转换可经由另一个输入转换器220来执行)、HDR视频数据或两者。
为进行实时分发，在路由器230处接收广播流222和/或来自播出服务器225的数据。路由器230提供几个输出，这些输出包括：到QC单元223的一个或多个输出(HDR和/或SDR)；一个或多个HDR分发流231，每个HDR分发流均为到相应的广播编码器232；一个或多个SDR分发流237(例如，SDR同播)；以及到映射单元238的HDR和/或SDR输出。相应的广播编码器232包括HDR处理单元(HPU)233，该HPU接收HDR分发流231、执行各种分析(如下文将更详细描述)、以及输出HDR视频馈送234和元数据馈送235。HDR视频馈送234和元数据馈送235被提供给编码单元236以进行编码和广播。SDR分发流237(如果存在)可直接输出到编码单元236而不生成元数据馈送235。
HDR处理
图3图示了根据本公开的各个方面的示例性图像处理系统。具体地，图3图示了HPU300，其可为图2中所图示的HPU 233的示例。HPU 300包括输入/输出(I/O)单元310、存储器320、通信单元330、用户接口(UI)340和处理器350。HPU 300的各种元件经由总线360彼此通信。I/O单元接收输入数据311，所述输入数据可为图2中所图示的HDR分发流231的示例，并且I/O单元输出视频馈送312和元数据馈送313，所述视频馈送和元数据馈送可为分别在图2中所图示的HDR视频馈送234和元数据馈送235的示例。处理器350包括确定单元351、分割单元352和提取单元353，下文将更详细描述以上各者中的每一者。
HPU 300的各个部件可被实施为硬件、软件、固件或其组合。例如，各种单元可被实施为电路或电路系统，可被实施为存储器中的软件模块或处理器中的算法等，包括电路系统和软件模块的组合。
I/O单元310可包括用于经由导线、光纤、无线通信协议或其组合来输入或输出数据的一个或多个端口。存储器320可为易失性存储器单元或非易失性存储器单元，包括但不限于只读存储器(ROM)或随机存取存储器(RAM)，诸如硬盘、快闪存储装置等。通信单元330可包括用于经由导线、光纤、无线通信协议或其组合从HPU 300的外部接收控制信号或其他通信的电路系统。UI 340可包括用于从本地用户接收指令和/或与本地用户通信的装置或端口，诸如鼠标、键盘、触摸屏接口、显示器、图形UI(GUI)等。
HPU 300的各种部件(包括但不限于处理器350)可用计算机系统、被配置在电子电路系统和部件中的系统、以及集成电路(IC)装置来实施，IC装置诸如为微控制器、中央处理单元(CPU)、图形处理单元(GPU)、现场可编程门阵列(FPGA)、另一个可配置或可编程逻辑装置(PLD)、离散时间或数字信号处理器(DSP)、专用IC(ASIC)等。在一个示例中，确定单元351、分割单元352和提取单元353可被实施为处理器350内的电路系统。在另一个示例中，确定单元351、分割单元352和提取单元353可被实施为处理器350内的软件模块。确定单元351、分割单元352和提取单元353中的各者(Various ones of)可彼此共享电路部件、算法和/或子例程。
在图4-5中图示了由HPU 300实施的图像处理方法的示例。在步骤S401中，HPU300接收图像信号；例如，经由I/O单元310。该图像信号包括图像数据的多个帧，并且可对应于实时视频馈送。在步骤S401中，HPU 300基于图像信号中包括的图像数据的所述多个帧中的至少一个帧来自动地确定图像分类。该确定可包括一系列子过程，如图5中所图示的。例如，在步骤S501处，HPU 300确定图像信号的内容类型，在步骤S502处，HPU 300基于所确定的内容类型将图像数据分割成多个特征项区域，并且在步骤S503处，HPU 300提取所述多个特征项区域中的相应各个特征项区域的至少一个图像方面值。图像分类可由处理器350执行，使得步骤S501的内容类型确定可由确定单元351执行，步骤S502的图像数据分割可由分割单元352执行，并且步骤S503的图像方面值提取可由提取单元353执行。如技术人员可以清楚地理解和了解的，图像分类可通常涉及但不限于将图像分配(例如，通过标记或分割)到若干个(例如，预定义的)类别中和/或将单个图像分配到若干个区域中(例如，基于图像内的内容)。特别地，取决于各种实施方式和/或要求，可使用任何合适的方式基于任何合适的标准和/或条件来执行这种分配或分类。例如，可基于从相应图像确定的内容类型来实现分配或分类。因此，在本公开中，该一系列子过程/子例程S501-S503可被共同参见并统称为图像分类过程/算法，或简称为图像分类。基于图像分类，在步骤S403(见图4)处，HPU 300生成映射元数据以供输出；例如，经由I/O单元310。
映射元数据的生成和使用
将参考图6-8来更详细地描述这些方法，图6-8图示了示例性场景。具体地，图6-8图示了图像数据的各个帧的示例，其可为HDR分发流232和/或输入数据311的帧。图6图示了帧600，其中内容类型是沙滩排球。图7图示了帧700，其中内容类型是板球。图8图示了帧800，其中内容类型是足球(英式足球)。虽然图6-8的内容类型涉及实时体育，但本公开不限于此。例如，内容类型可为实时体育、电影、新闻节目、自然场景等。
在接收到图像数据的一帧(或多帧)时，诸如帧600、700或800，图像处理系统确定图像分类。这可为图4中所图示的步骤S402的一个示例，并且可由图3中所图示的HPU 300执行。在确定图像分类时，图像处理系统确定内容类型，这可为图5中所图示的步骤S501的一个示例。
可通过分析图像帧的各个区域并确定一个或多个置信区域来确定内容类型。例如，图像处理系统可分析图像帧600并确定具有相对米色的大的部分是置信区域601，并且该置信区域601很可能对应于沙子。图像处理系统可进一步确定图像帧600的顶部部分包括置信区域602，并且置信区域602很可能对应于脸部。类似地，图像处理系统可分析图像帧700并确定大的绿色部分是置信区域701，并且该置信区域701很可能对应于草。图像处理系统还可区分相同颜色的不同色度。例如，如图8中所图示的，图像处理系统可分析图像帧800并确定左部分包括一个置信区域801并且右部分包括另一个置信区域802。虽然图像处理系统可确定置信区域801和802两者都很可能对应于草，但图像处理系统可区分置信区域801的附有阴影的草和置信区域802的有阳光照射的草。虽然图6-8将相应的置信区域图示为圆形，但在实践中置信区域可为椭圆形、矩形或任何其他形状。
基于置信区域，图像处理系统可生成潜在内容类型的有排名或没有排名的列表。例如，在图6中，图像处理系统可确定图像帧600显示沙滩排球的机会为85％，图像帧600显示沙滩足球的机会为12％，图像帧显示沙滩网球的机会为4％，等。这种确定可基于图像数据的单个帧、图像数据的一系列连续帧、或图像数据的一系列非连续帧(例如，每四帧)。可在整个广播中重复执行该确定，诸如每十个帧、每三十秒等。
一旦已确定内容类型，图像处理系统就将图像数据分割成一个或多个特征项区域。这可为图5中所图示的步骤S502的一个示例。分割可基于内容类型本身；例如，图像处理系统可确定图像数据中要进行搜索和分割所针对的有序的一组优先项目。在图6中所图示的沙滩排球示例中，图像处理系统可首先针对沙子特征项区域进行搜索和分割，然后基于紧密接近的多个脸部的存在针对人群特征项区域进行搜索和分割，等等。在图7中所图示的板球示例中，类似地，图像处理系统可首先针对草地特征项区域进行搜索和分割，然后基于球衣颜色针对第一小组的成员进行搜索和分割，等等。分割也可基于颜色或色调；例如，在图8中所图示的足球示例中，图像处理系统可针对附有阴影的草特征项区域、有阳光照射的草特征项区域等等进行搜索和分割。图8明确地图示了分割，其中图像帧800被分割成第一特征项区域810(有阳光照射的草)和第二特征项区域820(附有阴影的草)。分割可基于图像数据的单个帧、图像数据的一系列连续帧、或图像数据的一系列非连续帧(例如，每四帧)。可在整个广播中重复执行该分割，诸如每十个帧、每三十秒等。在本公开的一些方面中，分割比内容类型确定更频繁地发生。例如，图像处理系统可每五秒确定内容类型，而图像处理系统可每半秒分割图像数据。
从分割后的特征项区域中，图像处理系统可提取特征项区域中的相应各个特征项区域的至少一个图像方面值。这可为图5中所图示的步骤S503的一个示例。图像方面值可与相应的特征项区域的辉度信息有关(但不限于此)。例如，图像方面值可包括但不限于辉度最大值、辉度最小值、辉度中点、辉度平均值、辉度方差等。图像方面值可在视觉上或在存储器中表示为直方图。可基于图像内容(例如，像素值、亮度值、色度值、Y值、Cb/Cr值、RGB值等)、场景、增益/偏移/幂(gain/offset/power)等来导出图像方面值的分布。在本公开的一些方面中，每次发生分割的时候，发生提取。
可自动地执行由图像处理系统实施的一个或多个例程和子例程。例如，HPU 300可利用机器学习算法，诸如深度学习。如本文中所使用的，深度学习指代一类机器学习算法，其使用非线性处理单元的多个层的级联来进行特征提取和/或变换。每个连续层可使用前一层的输出作为输入。深度学习可以有监督(例如，分类)和/或无监督(例如，模式分析)的方式学习。深度学习可用于学习分别对应于不同抽象层次的多层次表示，使得这些层次形成概念的层次结构。这种技术的示例包括D.Tran等人的著作(“Learning spatiotemporalfeatures with 3d convolutional networks”，IEEE国际计算机视觉会议(ICCV)，2015年，第4489-4497页)以及K.Zhang等人的著作(“Joint face detection and alignment usingmultitask cascaded convolutional networks”，IEEE信号处理快报23.10，2016年，第1499-1503页)。
可使用图像分类的结果来动态地生成映射元数据，诸如图2中所图示的元数据馈送235和/或图3中所图示的元数据馈送313，所述结果包括所确定的内容类型、特征项区域和/或图像方面值中的一者或多者。如技术人员将了解的，可取决于各种实施方式和/或要求使用任何合适的方式来生成映射元数据。例如，可基于如上文图示的所确定的内容类型、特征项区域和/或图像方面值中的一些或全部来执行映射元数据的生成。此外，映射元数据可随着输入信号的处理而动态地生成。也就是说，在接收到输入图像/视频信号(例如，来自实时馈送)时，动态地生成映射元数据可与图像分类过程一起进行(或换句话说，与内容类型、特征项区域和/或图像方面值的确定一起进行)，由此改善图像/视频在再现时的质量、准确性和效率，而同时减少甚至避免不必要或不期望的延迟(例如，在实时广播期间)。广义上讲，可以这种方式生成映射元数据，使得实现或促进了从输入信号到输出信号的转换(例如，映射)。例如，输入信号和输出信号可具有不同的动态范围。在这种情况下，转换可涉及将第一动态范围的数据(在输入信号中)转换到第二动态范围的数据(在输出信号中)。换句话说，可生成元数据以便(实现/促进)图像数据从第一动态范围到第二动态范围(该第二动态范围可高于或低于第一动态范围)的转换。如技术人员将了解的，转换可包括但不限于色调和/或色域映射。映射元数据可包括在下游的图像处理中使用的几个分量或参数。作为示例而非限制，本公开(特别是其图像分类)可将实时流辨识为足球比赛。然后，本公开可决定或选择对象优先级列表作为草区域和(人)脸部。随后，它可以列表上逐对象的方式计算那些区域内的HDR PQ配置文件(profile)特征(例如，平均值、方差等等)。之后，可使用这种特征来确定合适的色调映射曲线。映射的典型情况将是HDR馈送的范围为从0.001尼特到1000尼特的情况，并且要求有可能映射到从0.005尼特到100尼特的SDR。此外，可根据BT.1886标准对SDR进行编码。另外，要求还可规定，(人)脸部应在最大SDR代码值的约70％，并且草应在最大SDR代码值的18％。这常常可据称为是70％IRE和18％IRE，其中IRE指代无线电工程师协会(建立电视操作规程的前专业组织)。现在，在(足球比赛的)本示例中，假设在HDR信号中，本公开发现脸部可被着色到200尼特，且草可处于40尼特。然后，可以驱动优化算法来选择色调映射算法的参数，使得HDR中处于200尼特的像素将被映射到SDR信号的70％，且HDR中处于40尼特的像素将被映射到SDR信号的18％。对于本领域技术人员来说应明显的是，可针对最大HDR像素值和最小HDR像素值加上附加约束，使得它们也被映射到SDR信号中的合适级别。如图8中所图示的，可在显示点(例如，最终用户拥有的商业电视)处使用映射元数据以显示忠实地再现整个图像(包括暗色和亮光两者)的渲染后的图像帧830。在本公开被实施在杜比视界架构中的一个特定示例中，映射元数据可包括L1参数、L2/L8参数、L3参数、L4参数、L11参数等。
L1元数据提供或描述关于源图像、源场景等中的辉度值分布的信息。如上所述，可基于图像内容(例如，像素值、亮度值、色度值、Y值、Cb/Cr值、RGB值等)、场景等来导出图像方面值的分布。L1元数据可包括图像数据中表示最小(“挤压(crush)”)、中间色调(“中间(mid)”)和最大(“剪辑(clip)”)辉度值(代表一个或多个场景)的量。
L2元数据提供或描述关于源自或追溯到由导演、调色师、视频专业人士等做出的调整的视频特性调整的信息。L2元数据可至少部分地基于在制作和/或后期制作中执行的处理，诸如由图2中所图示的输入转换器220、制作切换台221、QC单元223、播出服务器225、文件摄取226和/或后期制作227执行的处理。L8元数据类似于L2元数据，且在一些情况下可等同于L2元数据(例如，取决于相应的色调曲线)。L2和L8元数据可被称为“修剪”参数，并且可指示图像数据的增益/偏移/幂或与其有关。L2元数据可对应于带有特定的参考动态范围的第一参考显示。
L3元数据提供或描述关于源自或追溯到由导演、调色师、视频专业人士等做出的调整的视频特性调整的信息。与L2元数据相比，L3元数据可对应于带有与第一参考显示的参考动态范围不同的参考动态范围的第二参考显示。L3元数据可包括例如从L1元数据进行的偏移或调整，包括对挤压、中间和/或剪辑辉度值进行的偏移或调整。
L4元数据提供或描述关于全局调光(global dimming)操作的信息。L4元数据可在预处理期间由编码器计算，并且可使用RGB原色计算。在一个示例中，L4元数据可包括在每帧基础上规定显示面板的全局背光亮度级别的数据。其他所生成的元数据(诸如，L11元数据)可提供或描述要用于识别视频数据的来源的信息，诸如电影内容、计算机游戏内容、体育内容等。这种元数据可进一步提供或描述预期的图片设置，诸如预期的白点、锐度等。
合起来看，映射元数据可包括用于从第一动态范围转换到与第一动态范围不同的第二动态范围的转换数据。在本公开的一些方面中，第一动态范围可高于第二动态范围(例如，从HDR到SDR的转换)。在本公开的其他方面中，第二动态范围可高于第一动态范围(例如，从SDR到HDR的转换)。参考图1，可利用映射元数据来避免分别如图像102和103中的曝光过度或曝光不足。例如，映射元数据可与图像数据本身一起进行编码以供由终端用户拥有的商业电视用于色调映射。
等同物、扩展、替代物和杂项
关于本文中所描述的过程、系统、方法、启发式算法等，应理解，虽然这种过程等的步骤已被描述为根据某个有序序列发生，但是这种过程可在所描述的步骤以不同于本文中所描述的顺序的顺序执行的情况下实践。进一步应理解，某些步骤可同时执行，可添加其他步骤，或者可省略本文中所描述的某些步骤。换句话说，本文中对过程的描述是出于图示某些实施例的目的而提供的，并且决不应被解释为以便限制权利要求。
权利要求中使用的所有术语都旨在给予其最广泛的合理构造以及如由熟知本文中所描述的技术的人员所理解的其普通含义，除非明确地指示与本文中所做的含义相反。特别地，单数冠词(诸如，“一(a)”、“该(the)”、“所述(said)”等的使用应被解读为陈述一个或多个所指示的要素，除非权利要求陈述了相反的明确限制。
因此描述了与视频捕获、分析和广播有关的示例方面。在前述说明书中，已参考众多具体细节描述了本发明的各方面，这些具体细节可随实施方式的不同而变化。因此，本发明是什么以及申请人意在让什么成为本发明的唯一和排他性指标是从本申请发布的一组权利要求、这种权利要求发布的具体形式，包括任何后续更正。本文中针对这种权利要求中包含的术语所明确陈述的任何定义都应支配如在权利要求中所使用的这种术语的含义。因此，权利要求中未明确陈述的限制、要素、性质、特征、优点或属性都不应以任何方式限制这种权利要求的范围。因此，说明书和附图将被认为是图示性的，而不是限制性的。
本公开的各种示例可采用以下枚举的示例性实施例(EEE)中的任何一个或多个，这些示例性实施例不是权利要求：
EEE1一种图像处理系统，其包括：输入端，其被配置为接收图像信号，该图像信号包括图像数据的多个帧；以及处理器，其被配置为基于所述多个帧中的至少一个帧来自动地确定图像分类、以及基于图像分类来动态地生成映射元数据，其中，该处理器包括：确定电路系统，其被配置为确定图像信号的内容类型；分割电路系统，其被配置为基于内容类型将图像数据分割成多个特征项区域；以及提取电路系统，其被配置为提取所述多个特征项区域中的相应各个特征项区域的至少一个图像方面值。
EEE2根据EEE1所述的图像处理系统，其中，所述至少一个图像方面值包括选自以下各者中的至少一者：辉度最大值、辉度最小值、辉度中点、辉度平均值、或辉度方差。
EEE3根据EEE1或EEE2所述的图像处理系统，其中，图像信号是实时视频馈送。
EEE4根据EEE1至EEE3中任一项所述的图像处理系统，其进一步包括编码器，该编码器被配置为对图像信号和映射元数据进行编码。
EEE5根据EEE1至EEE4中任一项所述的图像处理系统，其中，映射元数据包括用于从第一动态范围转换到与第一动态范围不同的第二动态范围的转换数据。
EEE6根据EEE5所述的图像处理系统，其中，第一动态范围高于第二动态范围。
EEE7一种图像处理方法，其包括：接收图像信号，该图像信号包括图像数据的多个帧；基于所述多个帧中的至少一个帧来自动地确定图像分类，包括：确定图像信号的内容类型、基于内容类型将图像数据分割成多个空间区域、以及提取所述多个空间区域中的相应各个空间区域的至少一个图像方面值；以及基于图像分类来生成映射元数据的多个帧，其中，映射元数据的所述多个帧中的相应各个帧对应于图像数据的所述多个帧中的相应各个帧。
EEE8根据EEE7所述的图像处理方法，其中，所述至少一个图像方面值包括选自以下各者中的至少一者：辉度最大值、辉度最小值、辉度中点、辉度平均值、或辉度方差。
EEE9根据EEE7或EEE8所述的图像处理方法，其中，相应的特征项区域指示选自以下各者中的至少一者：风景区域、阴影区域、天空区域、脸部检测区域、或人群区域。
EEE10根据EEE7或EEE9中任一项所述的图像处理方法，其中，图像信号是实时视频馈送。
EEE11根据EEE7至EEE10中任一项所述的图像处理方法，其进一步包括：将图像信号和映射元数据编码为经压缩的输出信号。
EEE12根据EEE7至EEE11中任一项所述的图像处理方法，其中，映射元数据包括用于从第一动态范围转换到与第一动态范围不同的第二动态范围的转换数据。
EEE13根据EEE12所述的图像处理方法，其中，第一动态范围高于第二动态范围。
EEE14一种存储指令的非暂时性计算机可读介质，这些指令在由图像处理系统的处理器执行时引起图像处理系统执行包括以下各者的操作：接收图像信号，该图像信号包括图像数据的多个帧；基于所述多个帧中的至少一个帧来自动地确定图像分类，包括：确定图像信号的内容类型、基于内容类型将图像数据分割成多个空间区域、以及提取所述多个空间区域中的相应各个空间区域的至少一个图像方面值；以及在逐帧的基础上基于图像分类来动态地生成映射元数据。
EEE15根据EEE14所述的非暂时性计算机可读介质，其中，所述至少一个图像方面值包括选自以下各者中的至少一者：辉度最大值、辉度最小值、辉度中点、辉度平均值、或辉度方差。
EEE16根据EEE14或EEE15所述的非暂时性计算机可读介质，其中，相应的特征项区域指示选自以下各者中的至少一者：风景区域、阴影区域、天空区域、脸部检测区域、或人群区域。
EEE17根据EEE14至EEE16中任一项所述的非暂时性计算机可读介质，其中，图像信号是实时视频馈送。
EEE18根据EEE14至EEE17中任一项所述的非暂时性计算机可读介质，其进一步包括对图像信号和映射元数据进行编码。
EEE19根据EEE14至EEE18中任一项所述的非暂时性计算机可读介质，其中，映射元数据包括用于在HDR信号和SDR信号之间进行转换的转换数据。
EEE20根据EEE19所述的非暂时性计算机可读介质，其中，映射元数据包括用于从HDR信号转换到SDR信号的转换数据。

Claims (30)

1.一种图像处理系统，其包括：
输入端，其被配置为接收图像信号，所述图像信号包括图像数据的多个帧；以及
处理器，其被配置为基于所述多个帧中的至少一个帧来自动地确定图像分类、以及基于所述图像分类来动态地生成映射元数据，
其中，所述处理器包括：
确定电路系统，其被配置为确定所述图像信号的内容类型；
分割电路系统，其被配置为基于所述内容类型将所述图像数据分割成多个特征项区域；以及
提取电路系统，其被配置为提取所述多个特征项区域中的相应各个特征项区域的至少一个图像方面值。
2.根据权利要求1所述的图像处理系统，其中，所述确定电路系统被配置为通过分析所述帧的区域并确定一个或多个置信区域来确定所述内容类型。
3.根据权利要求2所述的图像处理系统，其中，对所述内容类型的确定涉及：基于所述一个或多个置信区域来生成潜在内容类型的有排名或没有排名的列表。
4.根据权利要求1至3中任一项所述的图像处理系统，其中，对所述图像数据的分割涉及：基于所确定的内容类型来确定所述图像数据中要进行搜索和分割所针对的有序的一组优先项目。
5.根据权利要求1至4中任一项所述的图像处理系统，其中，所述至少一个图像方面值包括选自以下各者中的至少一者：辉度最大值、辉度最小值、辉度中点、辉度平均值、或辉度方差。
6.根据权利要求1至5中任一项所述的图像处理系统，其中，相应的特征项区域指示选自以下各者中的至少一者：风景区域、阴影区域、天空区域、脸部检测区域、或人群区域。
7.根据权利要求1至6中任一项所述的图像处理系统，其中，所述图像信号是实时视频馈送。
8.根据权利要求1至7中任一项所述的图像处理系统，其进一步包括编码器，所述编码器被配置为对所述图像信号和所述映射元数据进行编码。
9.根据权利要求1至8中任一项所述的图像处理系统，其中，所述映射元数据包括用于从第一动态范围转换到与所述第一动态范围不同的第二动态范围的转换数据。
10.根据权利要求9所述的图像处理系统，其中，所述第一动态范围高于所述第二动态范围。
11.一种图像处理方法，其包括：
接收图像信号，所述图像信号包括图像数据的多个帧；
基于所述多个帧中的至少一个帧来自动地确定图像分类，包括：
确定所述图像信号的内容类型，
基于所述内容类型将所述图像数据分割成多个空间区域，以及
提取所述多个空间区域中的相应各个空间区域的至少一个图像方面值；以及
基于所述图像分类来生成映射元数据的多个帧，其中，所述映射元数据的多个帧中的相应各个帧对应于所述图像数据的多个帧中的相应各个帧。
12.根据权利要求11所述的图像处理方法，其中，所述内容类型通过分析所述帧的区域并确定一个或多个置信区域来确定。
13.根据权利要求12所述的图像处理方法，其中，对所述内容类型的确定涉及基于所述一个或多个置信区域来生成潜在内容类型的有排名或没有排名的列表。
14.根据权利要求11至13中任一项所述的图像处理方法，其中，对所述图像数据的分割涉及：基于所确定的内容类型来确定所述图像数据中要进行搜索和分割所针对的有序的一组优先项目。
15.根据权利要求11至14中任一项所述的图像处理方法，其中，所述至少一个图像方面值包括选自以下各者中的至少一者：辉度最大值、辉度最小值、辉度中点、辉度平均值、或辉度方差。
16.根据权利要求11至15中任一项所述的图像处理方法，其中，相应的特征项区域指示选自以下各者中的至少一者：风景区域、阴影区域、天空区域、脸部检测区域、或人群区域。
17.根据权利要求11至16中任一项所述的图像处理方法，其中，所述图像信号是实时视频馈送。
18.根据权利要求11至17中任一项所述的图像处理方法，其进一步包括：将所述图像信号和所述映射元数据编码为经压缩的输出信号。
19.根据权利要求11至18中任一项所述的图像处理方法，其中，所述映射元数据包括用于从第一动态范围转换到与所述第一动态范围不同的第二动态范围的转换数据。
20.根据权利要求19所述的图像处理方法，其中，所述第一动态范围高于所述第二动态范围。
21.一种存储指令的非暂时性计算机可读介质，所述指令在由图像处理系统的处理器执行时引起所述图像处理系统执行包括以下各者的操作：
接收图像信号，所述图像信号包括图像数据的多个帧；
基于所述多个帧中的至少一个帧来自动地确定图像分类，包括：
确定所述图像信号的内容类型，
基于所述内容类型将所述图像数据分割成多个空间区域，以及
提取所述多个空间区域中的相应各个空间区域的至少一个图像方面值；以及
在逐帧的基础上基于所述图像分类来动态地生成映射元数据。
22.根据权利要求21所述的非暂时性计算机可读介质，其中，所述内容类型通过分析所述帧的区域并确定一个或多个置信区域来确定。
23.根据权利要求22所述的非暂时性计算机可读介质，其中，对所述内容类型的确定涉及基于所述一个或多个置信区域来生成潜在内容类型的有排名或没有排名的列表。
24.根据权利要求21至23中任一项所述的非暂时性计算机可读介质，其中，对所述图像数据的分割涉及：基于所确定的内容类型来确定所述图像数据中要进行搜索和分割所针对的有序的一组优先项目。
25.根据权利要求21至24中任一项所述的非暂时性计算机可读介质，其中，所述至少一个图像方面值包括选自以下各者中的至少一者：辉度最大值、辉度最小值、辉度中点、辉度平均值、或辉度方差。
26.根据权利要求21至25中任一项所述的非暂时性计算机可读介质，其中，相应的特征项区域指示选自以下各者中的至少一者：风景区域、阴影区域、天空区域、脸部检测区域、或人群区域。
27.根据权利要求21至26中任一项所述的非暂时性计算机可读介质，其中，所述图像信号是实时视频馈送。
28.根据权利要求21至27中任一项所述的非暂时性计算机可读介质，其进一步包括对所述图像信号和所述映射元数据进行编码。
29.根据权利要求21至28中任一项所述的非暂时性计算机可读介质，其中，所述映射元数据包括用于在HDR信号和SDR信号之间进行转换的转换数据。
30.根据权利要求29所述的非暂时性计算机可读介质，其中，所述映射元数据包括用于从所述HDR信号转换到所述SDR信号的转换数据。
CN202080031250.5A 2019-04-25 2020-04-20 实时馈送中的内容感知的pq范围分析仪和色调映射 Active CN113748426B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962838518P 2019-04-25 2019-04-25
EP19171057.3 2019-04-25
US62/838,518 2019-04-25
EP19171057 2019-04-25
PCT/US2020/029023 WO2020219401A1 (en) 2019-04-25 2020-04-20 Content-aware pq range analyzer and tone mapping in live feeds

Publications (2)

Publication Number Publication Date
CN113748426A true CN113748426A (zh) 2021-12-03
CN113748426B CN113748426B (zh) 2023-06-09

Family

ID=70482932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080031250.5A Active CN113748426B (zh) 2019-04-25 2020-04-20 实时馈送中的内容感知的pq范围分析仪和色调映射

Country Status (6)

Country Link
US (1) US12050830B2 (zh)
EP (1) EP3959646B1 (zh)
JP (1) JP7092952B2 (zh)
CN (1) CN113748426B (zh)
ES (1) ES2945657T3 (zh)
WO (1) WO2020219401A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11612812B1 (en) * 2021-06-29 2023-03-28 Amazon Technologies, Inc. Video game streaming with dynamic range conversion
US11666823B1 (en) 2021-06-29 2023-06-06 Amazon Technologies, Inc. Video game streaming with dynamic range conversion
US11617946B1 (en) 2021-06-29 2023-04-04 Amazon Technologies, Inc. Video game streaming with dynamic range conversion
WO2024064054A1 (en) * 2022-09-23 2024-03-28 Apple Inc. Method and device for generating metadata estimations based on metadata subdivisions

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130148029A1 (en) * 2010-08-25 2013-06-13 Dolby Laboratories Licensing Corporation Extending Image Dynamic Range
US20130259375A1 (en) * 2008-02-15 2013-10-03 Heather Dunlop Systems and Methods for Semantically Classifying and Extracting Shots in Video
CN107211076A (zh) * 2015-01-19 2017-09-26 杜比实验室特许公司 高动态范围视频的显示管理
CN108141599A (zh) * 2015-09-23 2018-06-08 杜比实验室特许公司 在视频编解码器中保留纹理/噪声一致性

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4556319B2 (ja) * 2000-10-27 2010-10-06 ソニー株式会社 画像処理装置および方法、並びに記録媒体
US9111146B2 (en) 2008-02-15 2015-08-18 Tivo Inc. Systems and methods for semantically classifying and normalizing shots in video
US8346009B2 (en) * 2009-06-29 2013-01-01 Thomson Licensing Automatic exposure estimation for HDR images based on image statistics
CN102473295B (zh) * 2009-06-29 2016-05-04 汤姆森特许公司 基于区的色调映射
KR101787788B1 (ko) * 2010-02-19 2017-10-18 톰슨 라이센싱 높은 동적 범위 비디오 톤 맵핑을 위한 파라미터 보간
EP2719187A4 (en) 2011-06-07 2015-03-11 In Situ Media Corp SYSTEM AND METHOD FOR IDENTIFYING AND MODIFYING IMAGES IN A DIGITAL VIDEO
CN103024300B (zh) * 2012-12-25 2015-11-25 华为技术有限公司 一种高动态范围图像显示方法及装置
JP6416135B2 (ja) * 2013-03-15 2018-10-31 ベンタナ メディカル システムズ， インコーポレイテッド スペクトル・アンミキシング
US9852499B2 (en) 2013-12-13 2017-12-26 Konica Minolta Laboratory U.S.A., Inc. Automatic selection of optimum algorithms for high dynamic range image processing based on scene classification
WO2015130796A1 (en) * 2014-02-25 2015-09-03 Apple Inc. Adaptive video processing
WO2016087589A1 (en) * 2014-12-03 2016-06-09 Ventana Medical Systems, Inc. Methods, systems, and apparatuses for quantitative analysis of heterogeneous biomarker distribution
AU2014277652A1 (en) 2014-12-15 2016-06-30 Canon Kabushiki Kaisha Method of image enhancement based on perception of balance of image features
US9436876B1 (en) 2014-12-19 2016-09-06 Amazon Technologies, Inc. Video segmentation techniques
US9794540B2 (en) 2015-04-17 2017-10-17 Google Inc. Hardware-based convolutional color correction in digital images
US9681182B2 (en) * 2015-11-02 2017-06-13 Disney Enterprises, Inc. Real-time transmission of dynamic range tags in a video broadcast
US10593028B2 (en) * 2015-12-03 2020-03-17 Samsung Electronics Co., Ltd. Method and apparatus for view-dependent tone mapping of virtual reality images
US9836819B1 (en) 2015-12-30 2017-12-05 Google Llc Systems and methods for selective retention and editing of images captured by mobile image capture device
US10242449B2 (en) * 2017-01-04 2019-03-26 Cisco Technology, Inc. Automated generation of pre-labeled training data
US20180295375A1 (en) 2017-04-05 2018-10-11 Lyrical Labs Video Compression Technology, LLC Video processing and encoding
US10643358B2 (en) 2017-04-24 2020-05-05 Intel Corporation HDR enhancement with temporal multiplex
BR112019022447A2 (pt) * 2017-04-27 2020-06-09 Bober Miroslaw sistema e método para análise de imagem funduscópica automatizada
US10685236B2 (en) * 2018-07-05 2020-06-16 Adobe Inc. Multi-model techniques to generate video metadata

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130259375A1 (en) * 2008-02-15 2013-10-03 Heather Dunlop Systems and Methods for Semantically Classifying and Extracting Shots in Video
US20130148029A1 (en) * 2010-08-25 2013-06-13 Dolby Laboratories Licensing Corporation Extending Image Dynamic Range
CN107211076A (zh) * 2015-01-19 2017-09-26 杜比实验室特许公司 高动态范围视频的显示管理
CN108141599A (zh) * 2015-09-23 2018-06-08 杜比实验室特许公司 在视频编解码器中保留纹理/噪声一致性

Also Published As

Publication number Publication date
JP7092952B2 (ja) 2022-06-28
CN113748426B (zh) 2023-06-09
US12050830B2 (en) 2024-07-30
US20220180635A1 (en) 2022-06-09
WO2020219401A1 (en) 2020-10-29
JP2022524651A (ja) 2022-05-09
EP3959646A1 (en) 2022-03-02
EP3959646B1 (en) 2023-04-19
ES2945657T3 (es) 2023-07-05

Similar Documents

Publication Publication Date Title
CN113748426B (zh) 实时馈送中的内容感知的pq范围分析仪和色调映射
US11183143B2 (en) Transitioning between video priority and graphics priority
US10056042B2 (en) Metadata filtering for display mapping for high dynamic range images
KR101954851B1 (ko) 메타데이터 기반 영상 처리 방법 및 장치
US9679366B2 (en) Guided color grading for extended dynamic range
US10607324B2 (en) Image highlight detection and rendering
KR101985880B1 (ko) 디스플레이 장치 및 이의 제어 방법
KR20120107429A (ko) 구역 기반의 톤 매핑
KR20070090224A (ko) 전자 색 이미지 채도 처리 방법
US20070242898A1 (en) Image processing apparatus, image processing method, and image processing program
Sazzad et al. Establishment of an efficient color model from existing models for better gamma encoding in image processing
CA2690987C (en) Method and apparatus for chroma key production
JP5084615B2 (ja) 画像表示装置
US8456577B2 (en) Method and apparatus for chroma key production
Qian et al. A local tone mapping operator for high dynamic range images
CN118505739A (zh) 图像处理方法、装置和图像处理设备
US20190349578A1 (en) Image component delineation in a video test and measurement instrument
CN117876280A (zh) 视频帧图像增强方法、系统及存储介质
CN116309096A (zh) 一种信号灯图像校正方法、装置、电子设备及存储介质
CN115690650A (zh) 视频处理方法、视频处理装置、电子设备和存储介质
TW202147845A (zh) 運算用以編輯高動態範圍內容之動態後設資料
CN118154448A (zh) 图像处理方法、装置、终端设备、系统和可读存储介质
CN118175433A (zh) 一种基于同一视频画面内不同场景isp自动调优的方法
GB2575162A (en) Image component delineation in a video test and measurement instrument
Qian et al. A new technique to reproduced High-Dynamic-Range images for Low-Dynamic-Range display

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant