CN109756777B - 处理影像序列的多种格式的传送端、接收端及方法 - Google Patents

处理影像序列的多种格式的传送端、接收端及方法 Download PDF

Info

Publication number
CN109756777B
CN109756777B CN201811296468.4A CN201811296468A CN109756777B CN 109756777 B CN109756777 B CN 109756777B CN 201811296468 A CN201811296468 A CN 201811296468A CN 109756777 B CN109756777 B CN 109756777B
Authority
CN
China
Prior art keywords
dynamic range
format
image sequence
high dynamic
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811296468.4A
Other languages
English (en)
Other versions
CN109756777A (zh
Inventor
刘凌志
刘理
王晶
陈伍军
何晴西
浦炜
曾伟民
蔡志宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Realtek Semiconductor Corp
Original Assignee
Realtek Semiconductor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Realtek Semiconductor Corp filed Critical Realtek Semiconductor Corp
Publication of CN109756777A publication Critical patent/CN109756777A/zh
Application granted granted Critical
Publication of CN109756777B publication Critical patent/CN109756777B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种传送端以及一种接收端，所述传送端用于处理一影像序列的多种格式，包含有：一预处理模块，用来接收一影像序列的一第一格式，以根据该影像序列的该第一格式及该影像序列的一第二格式，产生该影像序列的该第二格式的元数据；以及一编码器，耦接于该预处理模块，用来在一位元流中传送该影像序列的该第一格式及该元数据到一接收器。

Description

处理影像序列的多种格式的传送端、接收端及方法
技术领域
本发明涉及一种用于通信系统的装置及方法，特别涉及一种处理一影像序列(video sequence)的多种格式(format)的装置及方法。
背景技术
由于多媒体服务的丰富性及发展，通过通信网络，大量的多媒体内容被传送。举例来说，当影像序列根据相同的影像来源被产生时，传送端可以传送影像序列到接收端。直接传送影像序列会消耗大量的频宽及功率。因此，有效率地传送影像序列为一亟待解决的问题。
发明内容
本发明提供了一种方法及其通信装置，用来处理一影像序列(video sequence)的多种格式(format)，以解决上述问题。
本发明公开一种传送端，用于处理一影像序列的多种格式，包含有：一预处理模块，用来接收一影像序列的一第一格式，以根据该影像序列的该第一格式及该影像序列的一第二格式，产生该影像序列的该第二格式的元数据；以及一编码器，耦接于该预处理模块，用来在一位元流中传送该影像序列的该第一格式及该元数据到一接收器。
本发明还公开一种接收端，用于处理一影像序列的多种格式，包含有：一解码器(decoder)，用来从一传送端接收包含有一影像序列的一第一格式及该影像序列的一第二格式的元数据的一位元流(bit stream)；以及一后处理模块(postprocessing module)，耦接于该解码器，用来根据该元数据及该影像序列的该第一格式，产生该影像序列的该第二格式。
附图说明
图1为本发明实施例具有可直接观看特征的基本影像的一端到端系统。
图2为本发明实施例一传送端。
图3为本发明实施例一传送端。
图4为本发明实施例一接收端。
图5为本发明实施例一传送端。
图6为本发明实施例一传送端。
图7为本发明实施例一接收端。
图8为本发明实施例一传送端。
图9为本发明实施例一接收端。
图10为本发明实施例一高动态范围产生器。
图11为本发明实施例一标准动态范围产生器。
图12为本发明实施例一标准动态范围产生器。
图13为本发明实施例基本影像色彩空间的划分的示意图。
符号说明
Figure BDA0001851303000000021
Figure BDA0001851303000000031
Figure BDA0001851303000000041
具体实施方式
图1为本发明实施例具有可直接观看特征的基本影像的一端到端系统(end-to-end system)10。端到端系统10包含有传送端TX及接收端RX。详细来说，传送端TX包含有基本影像序列100、预处理模块(preprocessing module)110、基本影像序列的额外格式(format)112、元数据(metadata)120及编码器(encoder)130。接收端RX包含有解码器(decoder)140、基本影像序列150、元数据152、后处理模块(postprocessing module)160及基本影像序列的额外格式170。预处理模块110接收基本影像序列100，以及处理基本影像序列100及基本影像序列的额外格式112以产生元数据120。元数据120包含有额外信息(additional information)(例如补充(supplementary)信息)，其用于根据基本影像序列100及元数据120产生基本影像序列的额外格式112。接着，在位元流180(bit stream)中，传送端TX压缩及传送基本影像序列100及元数据120到接收端RX。
在接收端RX接收位元流180后，解码器140解码位元流180，以产生基本影像序列150及元数据152。若基本影像序列150被请求/订阅(subscribe)，接收端RX可简单重放(playback)(或播放(play))基本影像序列150(例如以常规方式)。若基本影像序列的额外格式170被请求/订阅，根据基本影像序列150及元数据152，后处理模块160产生基本影像序列的额外格式170。也就是说，根据元数据152，后处理模块160映射(map)基本影像序列150到基本影像序列的额外格式170。接着，接收端RX重放(或播放)基本影像序列的额外格式170。
需注意的是，基本影像序列150可(例如略微)不同于基本影像序列100，例如因为有损压缩或位元流180经过的不完美通道。元数据152可(例如略微)不同于元数据120，例如因为位元流180经过的不完美通道。也就是说，基本影像序列150及元数据152未被完美地重建。在一实施例中，基本影像序列150及元数据152可分别相同于基本影像序列100及元数据120。
根据前述，本发明提供一种用于传送两种或更多种基本影像序列的格式的单层多应用兼容解决方案。由于元数据152提供基本影像序列150及基本影像序列的额外格式170间的关系，避免了多余的(redundant)影像信息的传送。因此，可减少传送端TX的功率及频宽的消耗。
根据应用，基本影像序列100及基本影像序列的额外格式170可以是但不限于以下组合中一者：标准动态范围(standard dynamic range，SDR)/高动态范围(high dynamicrange，HDR)、高动态范围/标准动态范围或不同格式的高动态范围。
需注意的是，位元流180可被本领域的解码器140无缝地(seamlessly)处理。因此，不需要对现有系统进行任何修改，以解码及播放接收的内容。当需要基本影像序列的额外格式170时，后处理模块160处理基本影像序列150及元数据152，以重建基本影像序列的额外格式170。因此，单层方法(one-layer approach)不仅能够支持影像序列的多种格式，还能够与传统装置兼容。
本发明提供用于在位元流180中传送基本影像序列100及基本影像序列的额外格式112的映射机制。映射机制映射基本影像序列100到基本影像序列的额外格式112(例如相同内容的影像序列的额外支持格式)，以及产生用于传送序列的元数据120。元数据120陈述基本影像序列100及基本影像序列的额外格式112间的关系，以及元数据120在解码器140中用于重建基本影像序列的额外格式170。
本发明至少包含有优于现有技术的以下优点：
(1)映射高动态范围到标准动态范围的一种新恒定亮度(constant luminance)方法。取代分别在R、G、B分量中执行高动态范围到标准动态范围转换(HDR to SDRconversion)，本发明直接获得(例如计算)恒定亮度，映射恒定亮度到标准动态范围，以及使用恒定亮度以决定色度值(value of chromaticity)。
(2)三维查找表(3D lookup table)用于产生元数据，其用于映射基本影像序列到基本影像序列的额外格式。
(3)虽然分别推导出亮度及色度，本发明证明这些参数可在RGB维度中一起被推导，可因此自然地保持(maintain)转换后的白点及三原色。
(4)完整的标准动态范围产生过程在1/4分辨率维度中被执行，以及计算复杂性显著降低。
(5)本发明可以实现至少以下三个应用：编码器130传送标准动态范围内容及高动态范围内容的元数据，以及解码器140及后处理模块160产生标准动态范围内容及高动态范围内容；编码器130传送高动态范围内容及标准动态范围内容的元数据，以及解码器140及后处理模块160产生高动态范围内容及标准动态范围内容；以及编码器130传送高动态范围内容及高动态范围内容的另一种格式的元数据，以及解码器140及后处理模块160产生两种格式的高动态范围内容。在以下段落中说明这些应用。
第一应用包含有传送标准动态范围影像序列作为基本视频序列及高动态范围影像序列的元数据。如今，大多数电视只能播放标准动态范围内容，而新兴的高动态范围电视需要引人注目的高动态范围影像内容。在此应用中，编码器130传送标准动态范围影像序列以及在元数据中传送高动态范围相关信息。在解码器140，通过使用当前的标准动态范围接收器而不对标准动态范围接收器进行任何修改，对标准动态范围影像序列进行解码及播放。若高动态范围播放被支持/请求，通过使用标准动态范围影像序列及元数据，高动态范围影像序列可被重建。
图2为本发明实施例一传送端TX1。传送端TX1可用于实现图1中的传送端TX(预处理模块110及/或编码器130)。传送端TX1包含有对高动态范围信号200(例如RGB信号)执行不同信号处理函数的模块。高动态范围信号200可为具有转换曲线(transform curve)的高动态范围来源，以及可由影像获取(capturing)装置或编辑(editing)装置产生。通过使用逆(inverse)转换曲线函数210处理高动态范围信号200，以及产生结果信号210a(例如线性信号)并将结果信号210a提供到标准动态范围产生器220及高动态范围产生器230。标准动态范围产生器220处理结果信号210a，以产生标准动态范围YUV信号220a。高动态范围产生器230包含有新转换曲线函数232、颜色空间转换函数234及降取样(downsampling)函数236，以及处理结果信号210a以产生高动态范围YUV信号230a(例如格式4:2:0)。三维查找表240用于根据标准动态范围YUV信号220a及高动态范围YUV信号230a产生元数据240a。通过陈述标准动态范围YUV信号220a及高动态范围YUV信号230a间的关系，元数据240a提供额外信息。接着，传送端TX1可在位元流中传送标准动态范围YUV信号220a及元数据240a，例如到接收端RX。
图3为本发明实施例一传送端TX2。传送端TX2可用于实现图1中的传送端TX(预处理模块110及/或编码器130)。传送端TX2包含有对高动态范围YUV信号300执行不同信号处理函数的模块。标准动态范围产生器310处理高动态范围YUV信号300，以产生标准动态范围YUV信号310a。三维查找表320用于根据标准动态范围YUV信号310a及高动态范围YUV信号300，产生元数据320a。通过陈述标准动态范围YUV信号310a及高动态范围YUV信号300间的关系，元数据320a提供额外信息。接着，传送端TX2可在位元流中传送标准动态范围YUV信号310a及元数据320a，例如到接收端RX。
图4为本发明实施例一接收端RX1。接收端RX1可用于实现图1中的接收端RX(解码器140及/或后处理模块160)。接收端RX1包含有对位元流400执行不同信号处理函数的模块。影像解码器410(例如语音影像编码标准(audio video coding standard，AVS)解码器)处理位元流400，以产生标准动态范围YUV信号410a(例如格式4:2:0)及元数据410b。三维查找表420用于根据标准动态范围YUV信号410a及元数据410b，产生高动态范围YUV信号420a(例如格式4:2:0)。接着，接收端RX1可播放高动态范围YUV信号420a。
第二应用包含有传送高动态范围影像序列作为基本视频序列及标准动态范围影像序列的元数据。在高动态范围内容及高动态范围播放器成为主流后，大多数电视支持高动态范围。如此一来，影像传送的需求改变。在此应用中，编码器130传送高动态范围影像序列以及在元数据中传送标准动态范围相关信息。在解码器140，通过使用当前的高动态范围接收器而不对高动态范围接收器进行任何修改，对高动态范围影像序列进行解码及播放。若标准动态范围播放被需要，通过使用高动态范围影像序列及元数据，标准动态范围影像序列可被重建。
图5为本发明实施例一传送端TX3。传送端TX3可用于实现图1中的传送端TX(预处理模块110及/或编码器130)。传送端TX3包含有对高动态范围信号500(例如RGB信号)执行不同信号处理函数的模块。高动态范围信号500可为具有转换曲线的高动态范围来源，以及可由影像获取装置或编辑装置产生。通过使用逆转换曲线函数510处理高动态范围信号500，以及产生结果信号510a(例如线性信号)并将结果信号510a提供到标准动态范围产生器520及高动态范围产生器530。标准动态范围产生器520处理结果信号510a，以产生标准动态范围YUV信号520a。高动态范围产生器530包含有新转换曲线函数532、颜色空间转换函数534及降取样函数536，以及处理结果信号510a以产生高动态范围YUV信号530a(例如格式4:2:0)。三维查找表540用于根据标准动态范围YUV信号520a及高动态范围YUV信号530a产生元数据540a。通过陈述标准动态范围YUV信号520a及高动态范围YUV信号530a间的关系，元数据540a提供额外信息。接着，传送端TX3可在位元流中传送高动态范围YUV信号530a及元数据540a，例如到接收端RX。
图6为本发明实施例一传送端TX4。传送端TX4可用于实现图1中的传送端TX(预处理模块110及/或编码器130)。传送端TX4包含有对高动态范围YUV信号600执行不同信号处理函数的模块。标准动态范围产生器610处理高动态范围YUV信号600，以产生标准动态范围YUV信号610a。三维查找表620用于根据标准动态范围YUV信号610a及高动态范围YUV信号600，产生元数据620a。通过陈述标准动态范围YUV信号610a及高动态范围YUV信号600间的关系，元数据620a提供额外信息。接着，传送端TX4可在位元流中传送高动态范围YUV信号600及元数据620a，例如到接收端RX。
图7为本发明实施例一接收端RX2。接收端RX2可用于实现图1中的接收端RX(解码器140及/或后处理模块160)。接收端RX2包含有对位元流700执行不同信号处理函数的模块。影像解码器710(例如语音影像编码标准解码器)处理位元流700，以产生高动态范围YUV信号710a(例如格式4:2:0)及元数据710b。三维查找表720用于根据高动态范围YUV信号710a及元数据710b，产生标准动态范围YUV信号720a(例如格式4:2:0)。接着，接收端RX2可播放高动态范围YUV信号720a。
第三应用包含有传送高动态范围影像序列的第一格式作为基本视频序列及高动态范围影像序列的第二格式。对比度(contrast)是电视画面好看的重要因素之一，其为高动态范围电视的关键部分。峰值亮度(peak brightness)是指电视的亮度，以“尼特(nit)”为单位进行测量。高动态范围电视达到的峰值亮度可能不同。举例来说，电视可具有400尼特的峰值亮度，而另一台电视可具有1000尼特的峰值亮度。
由于电视的峰值亮度可不同，期望高动态范围内容的峰值亮度可与高动态范围电视的峰值亮度匹配(match)，以获得最佳显示结果。为了实践此目的，高动态范围影像序列的一格式作为基本视频序列被传送，以及三维查找表映射高动态范围影像序列的格式到元数据中的高动态范围影像序列的另一格式。支持的高动态范围影像序列的格式可为以下任一组合：两个不同尼特的高动态范围影像序列、混合Log-Gamma高动态范围(hybrid Log-Gamma HDR，HLG HDR)/感知量化器高动态范围(Perceptual Quantizer HDR，PQ HDR)及感知量化器高动态范围/混合Log-Gamma高动态范围。
图8为本发明实施例一传送端TX5。传送端TX5可用于实现图1中的传送端TX(预处理模块110及/或编码器130)。传送端TX5包含有对原始数据800(raw data)执行不同信号处理函数的模块。原始数据800可由影像获取装置或编辑装置产生。传送端TX5处理原始数据800，以产生高动态范围YUV信号810(例如格式高动态范围混合Log-Gamma)及高动态范围YUV信号820(例如格式高动态范围感知量化器)。高动态范围YUV信号810及820的格式(例如亮度、峰值亮度等)不同。三维查找表830用于根据高动态范围YUV信号810及820产生元数据830a。通过陈述高动态范围YUV信号810及820间的关系，元数据830a提供额外信息。接着，传送端TX5可在位元流中传送高动态范围YUV信号820及元数据830a，例如到接收端RX。
图9为本发明实施例一接收端RX3。接收端RX3可用于实现图1中的接收端RX(解码器140及/或后处理模块160)。接收端RX3包含有对位元流900执行不同信号处理函数的模块。影像解码器910(例如语音影像编码标准解码器)处理位元流900，以产生高动态范围YUV信号910a(例如格式高动态范围感知量化器)及元数据910b。三维查找表920用于根据高动态范围YUV信号910a及元数据910b，产生高动态范围YUV信号920a(例如格式高动态范围混合Log-Gamma)。接着，接收端RX3可播放高动态范围YUV信号920a。
若高动态范围原始数据从影像获取装置直接被接收，高动态范围原始数据需被转换成与一般编码器兼容的高动态范围YUV 4:2:0格式。在本发明中，高动态范围10标准中的程序被采用。
图10为本发明实施例一高动态范围产生器1000。高动态范围产生器1000可用于实现任一上述的高动态范围产生器，或用于产生高动态范围信号或高动态范围影像序列，但不限于此。高动态范围产生器1000包含有对高动态范围来源(HDR source)1002执行不同信号处理函数的模块。通过使用曲线转换1004，高动态范围来源1002被处理，以及结果信号1004a被产生及被提供到R'G'B'到Y'CbCr转换1006。因此，结果信号1006a被产生及被提供到10位元量化器1008，以及量化信号1008a被产生。量化信号1008a被4:4:4到4:2:0转换1010处理(即降取样)，以及高动态范围YUV信号1012被产生。
两个标准动态范围产生方法如下：第一个标准动态范围产生方法包含有根据由影像获取装置或编辑装置产生的高动态范围信号，产生标准动态范围信号。第二个标准动态范围产生方法包含有根据准备好用于编码/传送的高动态范围信号，产生标准动态范围信号。
图11为本发明实施例一标准动态范围产生器1100。标准动态范围产生器1100可用于实现任一上述的标准动态范围产生器，或用于产生标准动态范围信号或标准动态范围影像序列，但不限于此。标准动态范围产生器1100包含有对线性RGB信号1102执行不同信号处理函数的模块。通过使用亮度调整(Luma adjustment)1104，线性RGB信号1102被处理，以产生调整信号1104a。亮度调整值Y可基于R、G、B分量值被计算，以及根据以下方程式进一步被调整：
k＝Y(1-gamma)/gamma (式1)
其中gamma是系统输入(input)。在R、G、B分量值乘以亮度调整值k后，通过标准动态范围产生曲线1106，进一步塑形(shape)R、G、B分量值，以产生结果信号1106a。根据国际电信联盟(International Telecommunication Union，ITU)1886标准、国际电信联盟709标准或混合Log-Gamma标准，动态范围产生曲线1106可被选择。接着，对结果信号1106a执行颜色空间转换1108，以产生转换信号1108a。转换信号1108a被10位元量化器1110处理，以产生量化信号1110a。对量化信号1110a执行降取样1112，以产生标准动态范围YUV信号1114。
图12为本发明实施例一标准动态范围产生器1200。标准动态范围产生器1200可用于实现任一上述的标准动态范围产生器，或用于产生标准动态范围信号或标准动态范围影像序列，但不限于此。标准动态范围产生器1200包含有对高动态范围信号1202执行不同信号处理函数的模块。高动态范围信号1202可为具有转换曲线的高动态范围YUV信号，高动态范围YUV信号准备好用于编码/传送。通过使用自动参数计算1204(auto parametercalculation)，高动态范围信号1202被处理，以产生用于调整最终标准动态范围内容的质量的映射曲线参数f。高动态范围信号1202的亮度分量(例如信号Y)被高动态范围到标准动态范围(HDR to SDR)函数1206(即亮度映射)处理，以产生标准动态范围信号1206a。高动态范围信号1202的色度(chroma)分量(例如信号CbCr)被降取样函数1208处理，以及接着通过高动态范围到标准动态范围函数1210(即色度映射)，与高动态范围信号1202的亮度分量被处理，以产生标准动态范围信号1210a。接着，根据标准动态范围信号1206a及标准动态范围信号1210a，标准动态范围YUV信号1212(例如格式4:2:0)被获得。也就是说，高动态范围信号1202的亮度分量及色度分量分别从高动态范围到标准动态范围被映射到标准动态范围YUV信号1212。在一实施例中，以1/4像素分辨率执行色度转换。本实施例的一主要优点是低实现复杂度，因为不需要全分辨率颜色空间转换。
根据图12所示的第二个标准动态范围产生方法，标准动态范围中的亮度可被产生，如下所示。给定具有转换曲线及Y0的YUV 4:2:0信号，经典映射函数可用于映射每个亮度样本到Yt，其中Yt被量化为Ys，Ys是其标准动态范围值，范围在0及(2N-1)之间。经典映射函数可根据以下方程式被执行：
Figure BDA0001851303000000121
Figure BDA0001851303000000122
其中P是最大亮度。f是用于控制经典映射函数的曲率(curvature)的参数，以及基于输入高动态范围的平均亮度值Lmean。f根据以下方程式被计算：
f＝a*Lmean*Lmean+b*Lmean+c (式4)
其中a＝0.00001、b＝0.0001、c＝0.3。可基于实验结果导出a、b及c的数值。根据上述方程式，高动态范围到标准动态范围程序基本上是从[0,P]到[0,1]的Y0的非线性归一化(non-linear normalization)。
标准动态范围中的色度可被产生，如下所示。给定1/4分辨率的RGB信号，其线性亮度Y0及色度U0及V0可被计算如下：
Figure BDA0001851303000000123
除了Y0及Ys的分辨率是前一步骤的1/4之外，高动态范围到标准动态范围程序中的亮度与前一步骤中的亮度相同。给定Ys及Y0的比率，根据以下方程式，1/4分辨率的RGB信号被重新调整为RsGsBs信号，其中RsGsBs信号是RGB维度中的RGB信号。
Figure BDA0001851303000000124
根据以下方程式，根据RsGsBs信号，CbCr信号被计算：
Figure BDA0001851303000000125
因为高动态范围到标准动态范围转换的目的是再现(reproduce)高动态范围维度中的线性光到标准动态范围范围(SDR range)，非线性函数用来从线性高动态范围维度中映射一数值到标准动态范围范围。先转换RGB到非线性高动态范围维度不是必需的，因为高动态范围到标准动态范围转换的目标不是保存感知细节。
以下提出一组用于预处理的步骤(例如预处理模块110)：
步骤1：原始颜色空间中的Y、U、V像素(pixel)值乘以k，其中E'＝E*k，E可为Y、U或V。
步骤2：分割原始颜色空间为4x2x2立方体。
步骤3：收集每个立方体中的像素值及对应的像素位置。
步骤4：根据步骤3中获得的像素位置，收集目标色彩空间像素值。
步骤5：基于三维查找表计算每个立方体中的Y、U、V颜色映射系数。
步骤6：在位元流中传送Y、U、V颜色映射系数。
在一实施例中，步骤5被实现如下所示。传送端TX仅传送基本影像序列及元数据。为了在接收端RX重建基本影像序列的额外格式，基本影像序列的额外格式与基本影像序列间的映射方法，即三维查找表，被提出。
三维查找表的主要概念是基于基本影像序列以矩阵预测或映射基本影像序列的额外格式。
设YB、UB及VB为基本影像序列，以及设YE、UE及VE为基本影像序列的额外格式。它们的关系可根据以下三维映射方程式来陈述：
Figure BDA0001851303000000131
其中k是max(YE_max/YB_max,1)，其用来缩小a、b、c及d的数值的范围，以获得更好的传输效率。根据以下最小均方(least mean square，LMS)方法，映射系数可被获得：
Figure BDA0001851303000000132
Figure BDA0001851303000000141
为了减少映射误差，基本影像序列的颜色空间进一步被划分为多个小立方体，如图13所示。图13为本发明实施例基本影像色彩空间的划分的示意图。对于每个立方体，相应的系数群被计算，以及分别作为元数据被传送。
以下提出一组用于后处理的步骤(例如后处理模块160)：
步骤7：解码Y、U、V颜色映射系数。
步骤8：原始颜色空间中的Y、U、V像素值乘以k，其中E'＝E*k。
步骤9：基于三维查找表计算目标色彩空间像素值。
本领域具通常知识者当可依本发明的精神加以结合、修饰及/或变化以上所述的实施例，而不限于此。前述的传送端、接收端、陈述、步骤、函数、模块及/或流程(包含建议步骤)可通过装置实现，装置可为硬件、软件、固件(为硬件装置与电脑指令与数据的结合，且电脑指令与数据属于硬件装置上的只读软件)、电子系统、或上述装置的组合。
硬件的实施例可包含有模拟电路、数字电路及/或混合电路。举例来说，硬件可包含有特定应用集成电路(application-specific integrated circuit(s)，
ASIC(s))、场域可程序化门阵列(field programmable gate array(s)，FPGA(s))、可程序化逻辑装置(programmable logic device(s))、耦合硬件元件(coupledhardware components)、或上述装置的组合。在一实施例中，硬件包含有通用处理器(general-purpose processor(s))、微处理器(microprocessor(s))、控制器(controller(s))、数字信号处理器(digital signal processor(s)，DSP(s))、或上述装置的组合。
软件的实施例可包含有程序代码的集合、指令的集合及/或函数的集合，其可被保留(例如存储)在存储单元，例如电脑可读取介质(computer-readable medium)中。电脑可读取介质可包含有用户识别模块(Subscriber Identity Module，SIM)、只读式存储器(Read-Only Memory，ROM)、快闪存储器(flash memory)、随机存取存储器(Random-AccessMemory，RAM)、CD-ROM/DVD-ROM/BD-ROM、磁带(magnetic tape)、硬盘(hard disk)、光学数据存储装置(optical data storage device)、非易失性存储装置(non-volatile storagedevice)、或上述装置的组合。电脑可读取介质(例如存储单元)可在内部(例如集成(integrate))或外部(例如分离(separate))耦合到至少一处理器。包含有一个或多个模块的至少一个处理器可(例如被配置为)执行电脑可读取介质中的软件。程序代码的集合、指令的集合及/或函数的集合可使至少一处理器、模块、硬件及/或电子系统执行相关步骤。
综上所述，本发明提供了一种处理一影像序列的多种格式的装置及方法。因此，避免了多余的影像信息的传送。结果，减少传送端的功率及频宽的消耗。
以上所述仅为本发明的优选实施例，凡依本发明权利要求所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (6)

1.一种传送端，用于处理一影像序列的多种格式，包含有：
一预处理模块，用来接收一影像序列的一第一格式，以根据该影像序列的该第一格式及该影像序列的一第二格式，产生该影像序列的该第二格式的元数据；以及
一编码器，耦接于该预处理模块，用来在一位元流中传送该影像序列的该第一格式及该元数据到一接收器；
其中，该影像序列的该第一格式是高动态范围，以及该影像序列的该第二格式是标准动态范围；
该预处理模块，还用来将高动态范围信号的亮度进行映射，获得标准动态范围信号的亮度，并根据所述标准动态范围信号的亮度与所述高动态范围信号的亮度的比率将高动态范围信号的色度映射到标准动态范围信号的色度，以产生标准动态范围信号；
该预处理模块，还用来根据该影像序列的该第一格式、该影像序列的该第二格式及一三维查找表，产生该影像序列的该第二格式的该元数据，该元数据包括映射系数；
其中，将该影像序列的该第一格式表示为YB、UB及VB，将该影像序列的该第二格式表示为YE、UE及VE，该三维查找表由以下关系表示：
Figure FDA0003176454060000011
其中，k为max(YE_max/YB_max，1)，
Figure FDA0003176454060000012
为该映射系数，该映射系数根据以下最小均方方法被获得：
Figure FDA0003176454060000021
2.如权利要求1所述的传送端，其中该影像序列的该第一格式由一影像获取装置或一编辑装置产生。
3.如权利要求1所述的传送端，其中通过陈述该影像序列的该第一格式及该影像序列的该第二格式间的一关系，该元数据提供额外信息。
4.一种接收端，用于处理一影像序列的多种格式，包含有：
一解码器，用来从如权利要求1-3任一项所述的传送端接收包含有一影像序列的一第一格式及该影像序列的一第二格式的元数据的一位元流；以及
一后处理模块，耦接于该解码器，用来根据该元数据及该影像序列的该第一格式，产生该影像序列的该第二格式。
5.如权利要求4所述的接收端，其中该影像序列的该第一格式由一影像获取装置或一编辑装置产生。
6.如权利要求4所述的接收端，其中根据该元数据、该影像序列的该第一格式及一三维查找表，该后处理模块产生该影像序列的该第二格式。
CN201811296468.4A 2017-11-01 2018-11-01 处理影像序列的多种格式的传送端、接收端及方法 Active CN109756777B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762579902P 2017-11-01 2017-11-01
US62/579,902 2017-11-01
US16/172,900 US10972767B2 (en) 2017-11-01 2018-10-29 Device and method of handling multiple formats of a video sequence
US16/172,900 2018-10-29

Publications (2)

Publication Number Publication Date
CN109756777A CN109756777A (zh) 2019-05-14
CN109756777B true CN109756777B (zh) 2021-10-12

Family

ID=66245758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811296468.4A Active CN109756777B (zh) 2017-11-01 2018-11-01 处理影像序列的多种格式的传送端、接收端及方法

Country Status (2)

Country Link
US (1) US10972767B2 (zh)
CN (1) CN109756777B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11405582B2 (en) * 2019-06-28 2022-08-02 Meta Platforms, Inc. Preprocessing of high-dynamic-range video using a hybrid lookup table scheme
CN112468793B (zh) * 2020-11-24 2022-06-10 深圳创维－Rgb电子有限公司 Oled屏的色彩调节方法、装置以及计算机可读存储介质
US11606605B1 (en) 2021-09-30 2023-03-14 Samsung Electronics Co., Ltd. Standard dynamic range (SDR) / hybrid log-gamma (HLG) with high dynamic range (HDR) 10+

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102959957A (zh) * 2010-07-06 2013-03-06 皇家飞利浦电子股份有限公司 在多视图视频编码中从低动态范围图像生成高动态范围图像
CN104054338A (zh) * 2011-03-10 2014-09-17 杜比实验室特许公司 位深和颜色可伸缩视频编码
CN104969259A (zh) * 2012-11-16 2015-10-07 汤姆逊许可公司 处理高动态范围图像
CN106062816A (zh) * 2014-02-26 2016-10-26 汤姆逊许可公司 用于对hdr图像进行编码和解码的方法和装置
EP3099073A1 (en) * 2015-05-27 2016-11-30 Thomson Licensing Method and device of encoding/decoding a hdr and a sdr picture in/from a scalable bitstream
CN107211152A (zh) * 2015-01-30 2017-09-26 汤姆逊许可公司 用于对高动态范围（hdr）视频进行编码和解码的方法和装置
WO2017190995A1 (en) * 2016-05-04 2017-11-09 Thomson Licensing Method and apparatus for encoding/decoding a scalar integer into a parameter representative of a pivot points of a piece-wise linear function.

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100309975A1 (en) * 2009-06-05 2010-12-09 Apple Inc. Image acquisition and transcoding system
US9338389B2 (en) * 2011-10-20 2016-05-10 Dolby Laboratories Licensing Corporation Method and system for video equalization
WO2015007505A1 (en) * 2013-07-18 2015-01-22 Koninklijke Philips N.V. Methods and apparatuses for creating code mapping functions for encoding an hdr image, and methods and apparatuses for use of such encoded images
WO2015130793A1 (en) * 2014-02-25 2015-09-03 Apple Inc. Backward-compatible apparatus and method for providing video with both standard and high dynamic range
JP6330507B2 (ja) * 2014-06-19 2018-05-30 ソニー株式会社 画像処理装置及び画像処理方法
WO2015193113A1 (en) * 2014-06-20 2015-12-23 Thomson Licensing Method and device for signaling in a bitstream a picture/video format of an ldr picture and a picture/video format of a decoded hdr picture obtained from said ldr picture and an illumination picture.
EP2958075A1 (en) * 2014-06-20 2015-12-23 Thomson Licensing Method and apparatus for dynamic range expansion of LDR video sequence
CN110708439A (zh) * 2014-06-26 2020-01-17 松下知识产权经营株式会社 显示装置及数据输出方法
WO2016027423A1 (ja) * 2014-08-19 2016-02-25 パナソニックＩｐマネジメント株式会社 伝送方法、再生方法及び再生装置
KR102489757B1 (ko) * 2015-03-05 2023-01-18 소니그룹주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
EP3354032A1 (en) * 2015-09-21 2018-08-01 VID SCALE, Inc. Inverse reshaping for high dynamic range video coding
WO2017053852A1 (en) * 2015-09-23 2017-03-30 Arris Enterprises Llc System for reshaping and coding high dynamic range and wide color gamut sequences
CN106878694B (zh) * 2015-12-10 2018-12-18 瑞昱半导体股份有限公司 高动态范围信号处理系统与方法
WO2018086099A1 (zh) * 2016-11-14 2018-05-17 深圳市大疆创新科技有限公司 图像处理方法、装置、设备及视频图传系统
EP3396936A1 (en) * 2017-04-27 2018-10-31 Thomson Licensing Method and device for color gamut mapping

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102959957A (zh) * 2010-07-06 2013-03-06 皇家飞利浦电子股份有限公司 在多视图视频编码中从低动态范围图像生成高动态范围图像
CN104054338A (zh) * 2011-03-10 2014-09-17 杜比实验室特许公司 位深和颜色可伸缩视频编码
CN104969259A (zh) * 2012-11-16 2015-10-07 汤姆逊许可公司 处理高动态范围图像
CN106062816A (zh) * 2014-02-26 2016-10-26 汤姆逊许可公司 用于对hdr图像进行编码和解码的方法和装置
CN107211152A (zh) * 2015-01-30 2017-09-26 汤姆逊许可公司 用于对高动态范围（hdr）视频进行编码和解码的方法和装置
EP3099073A1 (en) * 2015-05-27 2016-11-30 Thomson Licensing Method and device of encoding/decoding a hdr and a sdr picture in/from a scalable bitstream
WO2017190995A1 (en) * 2016-05-04 2017-11-09 Thomson Licensing Method and apparatus for encoding/decoding a scalar integer into a parameter representative of a pivot points of a piece-wise linear function.

Also Published As

Publication number Publication date
US10972767B2 (en) 2021-04-06
US20190132617A1 (en) 2019-05-02
CN109756777A (zh) 2019-05-14

Similar Documents

Publication Publication Date Title
US12028542B2 (en) High dynamic range adaptation operations at a video decoder
JP6530554B2 (ja) 高ダイナミックレンジおよび広色域シーケンスのコーディングにおけるカラーボリューム変換
US9781417B2 (en) High dynamic range, backwards-compatible, digital cinema
CN111316625B (zh) 用于从第一图像生成第二图像的方法和设备
RU2737507C2 (ru) Способ и устройство для кодирования изображения высокого динамического диапазона, соответствующий способ декодирования и устройство декодирования
CN110574376B (zh) 用于解码高动态范围图像的方法和设备
CN110785989B (zh) 用于色域映射的方法和设备
CN110603806B (zh) 用于色域映射的方法和设备
CN109756777B (zh) 处理影像序列的多种格式的传送端、接收端及方法
CN110521198B (zh) 用于重构hdr图像的方法和设备
CN110741623B (zh) 用于色域映射的方法和设备
CN111434114A (zh) 处理图像
US11785193B2 (en) Processing an image
KR20170037608A (ko) 이미지 데이터를 프로세싱하기 위한 방법 및 장치
US11722704B2 (en) Decoding an image
CN112425168B (zh) 编码图像的方法和装置
EP3099073A1 (en) Method and device of encoding/decoding a hdr and a sdr picture in/from a scalable bitstream

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant