CN108027964A - 用于通过白色突出增强图像的方法和装置 - Google Patents

用于通过白色突出增强图像的方法和装置 Download PDF

Info

Publication number
CN108027964A
CN108027964A CN201680054804.7A CN201680054804A CN108027964A CN 108027964 A CN108027964 A CN 108027964A CN 201680054804 A CN201680054804 A CN 201680054804A CN 108027964 A CN108027964 A CN 108027964A
Authority
CN
China
Prior art keywords
image
shade
color
described image
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680054804.7A
Other languages
English (en)
Inventor
A.萨克塞纳
H.纳贾夫-扎德
M.布达加维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN108027964A publication Critical patent/CN108027964A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6002—Corrections within particular colour systems
    • H04N1/6005—Corrections within particular colour systems with luminance or chrominance signals, e.g. LC1C2, HSL or YUV

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

一种电子设备包括显示器和至少一个处理器。处理器被配置为获取图像和与图像相关的元数据。处理器还被配置为基于与图像相关的元数据来识别待增强的图像的至少一部分。处理器还被配置为通过增加图像的所述至少一部分的强度来生成增强图像。处理器还被配置为将增强图像输出到显示器。

Description

用于通过白色突出增强图像的方法和装置
技术领域
本公开一般地涉及图像增强。更具体地，本公开涉及用于通过白色突出(whitepop-out)增强图像的方法和装置。
背景技术
当前，新的高动态范围(HDR)相机和显示器变得重要。HDR相机可以捕捉低强度至高强度，诸如从0.01尼特到大约10,000尼特。虽然工作室主要制作HDR内容，但是由于HDR相机和显示器的高成本，其尚未触及普通消费者。
此外，大部分内容是标准动态范围(SDR)。虽然存在许多用于逆色调映射的算法以将SDR内容转换为用于在HDR显示器上显示的HDR，但是大多数消费者仍然具有SDR显示器。还预期到，与SDR显示器相比HDR显示器在长时间内将是相当昂贵的，并且普通消费者将仅使用SDR显示器。
发明内容
技术问题
需要对SDR内容进行后处理，以在SDR显示器上同样产生HDR效果。解决方案
本公开提供了用于通过白色突出进行图像增强的方法和装置。
在第一实施例中，一种电子设备包括显示器和至少一个处理器。处理器被配置为获取图像和与图像相关的元数据。处理器还被配置为基于与图像相关的元数据来识别待增强的图像的至少一部分。处理器还被配置为通过增加图像的所述至少一部分的强度来生成增强图像，以产生增强SDR图像。处理器还被配置为将增强SDR输出到显示器。
在第二实施例中，一种方法提供图像增强。该方法包括获取图像和与图像相关的元数据。该方法还包括基于与图像相关的元数据来识别待增强的图像的至少一部分。该方法还包括通过增加图像的所述至少一部分的强度来生成增强图像。该方法还包括显示增强图像。
从以下附图、描述和权利要求中，对于本领域技术人员而言，其他技术特征将是显而易见的。
在进行下面的详细描述之前，阐述本专利文件中使用的某些词语和短语的定义会是有利的。术语“耦合”及其派生词是指两个或更多个元件之间的任何直接或间接通信，无论这些元件是否彼此物理接触。术语“发送”、“接收”和“通信”及其派生词涵盖直接和间接通信二者。术语“包括(include)”和“包括(comprise)”及其派生词表示包括但不受限制。术语“或”是包含性的，表示和/或。短语“与…相关联”及其派生词表示包括、包括在…内、与…互连、包含、包含在…内、连接至或与…连接、耦合至或与…耦合、与…可通信、与…协作、交织、并置、接近于、绑定至或与…绑定、具有、具有…的性质、对…或与…具有关系等。术语“控制器”表示控制至少一个操作的任何设备、系统或其部分。这样的控制器可以以硬件、硬件与软件的组合、和/或固件来实现。与任何具体控制器相关联的功能可以是集中式的或分布式的，无论本地还是远程。短语“…中的至少一个”在与项目列表一起使用时表示可以使用列出项目中的一个或多个的不同组合，并且可以仅需要列表中的一项。例如，“A、B和C中的至少一个”包括以下组合中的任一种：A、B、C、A和B、A和C、B和C、以及A和B和C。
而且，下面描述的各种功能可以由一个或多个计算机程序来实现或支持，这些计算机程序中的每一个由计算机可读程序代码形成并体现在计算机可读介质中。术语“应用”和“程序”是指适于以适合的计算机可读程序代码实现的一个或多个计算机程序、软件组件、指令集、过程、功能、对象、类、实例、相关数据或其中的一部分。短语“计算机可读程序代码”包括任何类型的计算机代码，包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够被计算机访问的任何类型的介质，诸如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、光盘(CD)、数字视频盘(DVD)或任何其他类型的存储器。“非暂态”计算机可读介质排除传输暂时性电信号或其他信号的有线、无线、光学或其他通信链路。非暂态计算机可读介质包括数据可以被永久存储的介质、以及数据可以被存储并且以后被覆写的介质，诸如可重写光盘或可擦除存储器设备。
在本专利文件全文中提供了其他某些词语和短语的定义。本领域普通技术人员应当理解，在许多情况下(即使不是在大多数情况下)，这样的定义适用于这样定义的词语和短语的先前和将来的使用。
发明的有利效果
本公开提供了对SDR内容的后处理以在SDR显示器上产生HDR效果。
附图说明
为了更完整地理解本公开及其优点，现在参考以下结合附图进行的描述，在附图中：
图1示出根据本公开的示例无线网络；
图2示出根据本公开的示例eNodeB(eNB)；
图3示出根据本公开的示例用户设备(UE)；
图4示出根据本公开的实施例的用于处理图像的示例系统；
图5示出根据本公开的实施例的待增强的示例图像；
图6示出根据本公开的实施例的用于增强的示例遮罩；
图7A和图7B示出根据本公开的实施例的用于增强部分的示例图表；
图8示出根据本公开的实施例的用于后处理的图像增强的示例过程；
图9示出根据本公开的实施例的用于输入和输出亮度特性的示例图表；以及
图10示出根据本公开的实施例的使用HDR图像来处理SDR图像的示例系统。
具体实施方式
下面讨论的图1至图10以及用于描述本专利文件中的本公开的原理的各种实施例仅通过说明的方式，而不应以任何方式解释为限制本公开的范围。本领域技术人员将理解，本公开的原理可以在任何适当布置的无线通信系统中实现。
图1示出根据本公开的示例无线网络100。图1中所示的无线网络100的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用无线网络100的其他实施例。
如图1所示，无线网络100包括eNodeB(eNB)101、eNB 102和eNB 103。eNB 101与eNB102和eNB 103通信。eNB 101还与至少一个互联网协议(IP)网络130(诸如互联网、专有IP网络或其他数据网络)通信。
eNB 102为eNB 102的覆盖区域120内的第一多个用户设备(UE)提供至网络130的无线宽带接入。第一多个UE包括：UE 111，其可以位于小型企业(SB)中；UE 112，其可以位于企业(E)中；UE 113，其可以位于WiFi热点(HS)中；UE 114，其可以位于第一住宅(R)中；UE115，其可以位于第二住宅(R)中；以及UE 116，其可以是移动设备(M)，如蜂窝电话、无线膝上型计算机、无线PDA等。eNB 103为eNB 103的覆盖区域125内的第二多个UE提供至网络130的无线宽带接入。第二多个UE包括UE 115和UE 116。在一些实施例中，eNB 101-103中的一个或多个可以使用5G、LTE、LTE-A、WiMAX、WiFi或其他无线通信技术彼此通信，并且与UE111-116通信。
取决于网络类型，可以使用其他公知的术语，诸如“基站”或“接入点”，来替代“eNodeB”或“eNB”。为了方便起见，在本专利文件中使用术语“eNodeB”和“eNB”来指代提供至远程终端的无线接入的网络基础设施组件。而且，取决于网络类型，可以使用其他公知的术语，诸如“移动台”、“订户站”、“远程终端”、“无线终端”、“电视机”、“电子设备”或“用户设备”，来替代“用户设备”或“UE”。为了方便起见，在本专利文件中使用术语“用户设备”和“UE”来指代电视机、显示器、监视器或其他这种有线或无线设备。UE可以与另一个UE(诸如移动设备或其他电视机)通信。
虚线示出了覆盖区域120和125的大致范围，仅为了说明和解释的目的，覆盖区域120和125被示出为大致圆形。应当清楚地理解，取决于eNB的配置以及与自然和人为障碍相关联的无线电环境的变化，与eNB相关联的覆盖区域(诸如覆盖区域120和125)可以具有其他形状，包括不规则形状。
本公开的一个或多个实施例提供了对SDR内容执行后处理以在SDR显示器上产生HDR效果的方法和装置。在一个示例中，SDR图像的白色部分被增强以具有更明亮(或更接近纯白色)的性质。如本文所使用的，本公开的一个或多个实施例提及SDR或HDR图像。然而，本公开的不同实施例也可以用于视频。当本文提到图像时，无论是SDR还是HDR，本公开的不同实施例可以指代针对给定帧速率(每单位时间的图片数量)的视频内的帧。
虽然图1示出了无线网络100的一个示例，但是可以对图1进行各种改变。例如，无线网络100可以以任何适当的布置包括任意数量的eNB和任意数量的UE。而且，eNB 101可以与任意数量的UE直接通信，并且向这些UE提供至网络130的无线宽带接入。类似地，每个eNB102-103可以与网络130直接通信，并且向UE提供至网络130的直接无线宽带接入。此外，eNB101、102和/或103可以提供至(诸如，外部电话网络或其他类型的数据网络)其他或附加外部网络的接入。
图2示出根据本公开的示例eNB 102。图2中所示的eNB 102的实施例仅用于说明，并且图1的eNB 101和103可以具有相同或相似的配置。然而，eNB具有各种各样的配置，并且图2不将本公开的范围限制于eNB的任何特定实现。
如图2所示，eNB 102包括多个天线205a-205n、多个RF收发器210a-210n、发送(TX)处理电路215和接收(RX)处理电路220。eNB 102还包括控制器/处理器225、存储器230以及回程或网络接口235。
RF收发器210a-210n从天线205a-205n接收输入RF信号，诸如由网络100中的UE发送的信号。RF收发器210a-210n对输入RF信号进行下变频以生成IF或基带信号。IF或基带信号被发送到RX处理电路220，RX处理电路220通过对基带或IF信号滤波、解码和/或数字化来生成经处理的基带信号。RX处理电路220将经处理的基带信号发送到控制器/处理器225以供进一步处理。
TX处理电路215从控制器/处理器225接收模拟或数字数据(诸如语音数据、网页数据、电子邮件或交互式视频游戏数据)。TX处理电路215对输出基带数据编码、复用和/或数字化以生成经处理的基带或IF信号。RF收发器210a-210n从TX处理电路215接收输出的经处理的基带或IF信号，并将基带或IF信号上变频为经由天线205a-205n发送的RF信号。
控制器/处理器225可以包括控制eNB 102的整体操作的一个或多个处理器或其他处理设备。例如，控制器/处理器225可以控制由RF收发器210a-210n、RX处理电路220和TX处理电路215根据公知的原理进行的正向信道信号的接收和反向信道信号的发送。控制器/处理器225也可以支持附加功能，诸如更高级的无线通信功能。例如，控制器/处理器225可以支持波束成形或定向路由(directional routing)操作，其中来自多个天线205a-205n的输出信号被不同地加权以有效地将输出信号转向期望的方向。在eNB 102中可以由控制器/处理器225支持各种其他功能中的任何一种。在一些实施例中，控制器/处理器225包括至少一个微处理器或微控制器。
控制器/处理器225还能够运行驻留在存储器230中的程序和其他进程，诸如基本OS。控制器/处理器225可以根据运行中进程的需要将数据移入或移出存储器230。
控制器/处理器225还耦合到回程或网络接口235。回程或网络接口235允许eNB102通过回程连接或通过网络与其他设备或系统通信。接口235可以支持通过任何适当的有线或无线连接的通信。例如，当eNB 102被实现为蜂窝通信系统(诸如，支持5G、LTE或LTE-A的蜂窝通信系统)的一部分时，接口235可以允许eNB 102通过有线或无线回程连接与其他eNB通信。当eNB 102被实现为接入点时，接口235可以允许eNB 102通过有线或无线局域网或通过至更大型网络(诸如因特网)的有线或无线连接进行通信。接口235包括支持通过有线或无线连接进行通信的任何适当的结构，诸如以太网或RF收发器或接收器。
存储器230耦合到控制器/处理器225。存储器230的一部分可以包括RAM，并且存储器230的另一部分可以包括快闪存储器或其他ROM。
虽然图2示出了eNB 102的一个示例，但是可以对图2进行各种改变。例如，eNB 102可以包括图2中示出的任意数量的每个组件。作为一个具体示例，接入点可以包括多个接口235，并且控制器/处理器225可以支持路由功能以在不同网络地址之间路由数据。作为另一个具体示例，尽管示出为包括TX处理电路215的单个实例和RX处理电路220的单个实例，但是eNB 102可以包括每一个的多个实例(诸如，每个RF收发器有一个)。而且，图2中的各种组件可以被组合，进一步细分或省略，并且可以根据特定的需要添加额外的组件。
图3示出根据本公开的示例UE 116。图3中示出的UE 116的实施例仅用于说明，并且图1的UE 111-115可以具有相同或相似的配置。然而，UE具有各种各样的配置，并且图3不将本公开的范围限制于UE的任何特定实现。在本公开的一个或多个实施例中，UE 116或UE111-115中的任一个可以是电视机。
如图3所示，UE 116包括天线305、射频(RF)收发器310、发送(TX)处理电路315、麦克风320和接收(RX)处理电路325。UE 116还包括扬声器330、主处理器340、输入/输出(I/O)接口(IF)345、键区350、显示器355和存储器360。存储器360包括基本操作系统(OS)程序361和一个或多个应用362。
RF收发器310或接收器从天线305接收由网络100的eNB发送的输入RF信号。RF收发器310或接收器对输入RF信号进行下变频以生成中频(IF)或基带信号。IF或基带信号被发送到RX处理电路325，RX处理电路325通过对基带或IF信号滤波、解码和/或数字化来生成经处理的基带信号。RX处理电路325将经处理的基带信号发送到扬声器330(例如用于语音数据)或发送到主处理器340用于进一步处理(例如用于网页浏览数据)。
TX处理电路315接收来自麦克风320的模拟或数字语音数据或来自主处理器340的其他输出基带数据(诸如网页数据、电子邮件或交互式视频游戏数据)。TX处理电路315对输出基带数据编码、复用和/或数字化以生成经处理的基带或IF信号。RF收发器310从TX处理电路315接收输出的经处理的基带或IF信号，并将基带或IF信号上变频为经由天线305发送的RF信号。
主处理器340可以包括一个或多个处理器或其他处理设备，并且运行存储在存储器360中的基本OS程序361，以便控制UE 116的整体操作。例如，主处理器340可以控制由RF收发器310、RX处理电路325和TX处理电路315根据公知的原理进行的正向信道信号的接收和反向信道信号的发送。在一些实施例中，主处理器340包括至少一个微处理器或微控制器。
主处理器340还能够运行驻留在存储器360中的其他进程和程序。主处理器340可以根据运行中进程的需要将数据移入或移出存储器360。在一些实施例中，主处理器340被配置为基于OS程序361或者响应于从eNB或操作者接收的信号来运行应用362。主处理器340还耦合到I/O接口345，I/O接口345向UE 116提供连接到其他设备(诸如，膝上型计算机和手持式计算机)的能力。I/O接口345是这些附件与主处理器340之间的通信路径。
主处理器340还耦合到键区350和显示单元355。UE 116的操作者可以使用键区350将数据录入到UE 116中。显示器355可以是液晶显示器、或能够呈现文本和/或(诸如来自网站的)至少受限图形的其他显示器。在一个实施例中，键区350也可以是触摸屏。触摸屏可以包括触摸面板、(数字)笔传感器、按键或超声输入设备。触摸屏可以例如在电容方案、压敏方案、红外方案或超声方案之中的至少一个方案中识别触摸输入。触摸屏还可以包括控制电路。在电容方案中，触摸屏可以识别触摸或接近。
存储器360耦合到主处理器340。存储器360的一部分可以包括随机存取存储器(RAM)，并且存储器360的另一部分可以包括快闪存储器或其他只读存储器(ROM)。
虽然图3示出了UE 116的一个示例，但是可以对图3进行各种改变。例如，图3中的各种组件可以被组合、进一步细分或者省略，并且可以根据特定的需要添加额外的组件。作为一个具体示例，主处理器340可以被划分为多个处理器，诸如一个或多个中央处理单元(CPU)和一个或多个图形处理单元(GPU)。而且，虽然图3示出配置为移动电话或智能电话的UE 116，但是UE可以被配置为作为其他类型的移动或固定设备进行操作。在另一个示例实施例中，当UE 116是电视机时，UE 116可以不包括收发器、键区或麦克风。UE 116可以包括接收器或解码器，而没有发送器或编码器。
图4示出根据本公开的实施例的用于处理图像402的示例系统400。图4中所示的系统400的实施例仅用于说明，系统400具有各种各样的配置，并且图4不将本公开的范围限制为用于处理图像的系统的任何特定实现。
在本公开的一个实施例中，系统400包括检测模块404和后处理模块406。检测模块404和后处理模块406可以被实现为处理器的一部分或由处理器实现，该处理器例如为图3所示的主处理器340。图像402可以是标准动态范围(SDR)图像。在其他实施例中，可以使用其他类型的图像，诸如高动态范围(HDR)图像。
检测模块404可以检测图像402的相关部分，这些相关部分会是期望增强的。例如，在一个实施例中，检测模块404可以从图像402中仅识别白色部分。由后处理模块404增强这些白色部分和围绕白色部分的部分。增强可以是增加图像402的相关部分的亮度(尼特)。
在该示例实施例中，白色部分是相关部分。可以通过预定值来识别相关部分。例如，可以通过亮度来识别相关部分。在该示例中，图像402中的具有大于阈值水平的亮度的部分可以被识别为相关部分。检测模块404可以将这样的相关部分与图像402的其他部分分割开。在其他示例中，检测模块404可以识别具有小于阈值水平的亮度的部分。在其他实施例中，检测模块404可以识别与阈值水平相比较的色度的部分。当识别用于增强的部分时，检测模块404可以使用色度、亮度或两者的部分。检测模块404可以使用不同的遮罩(mask)来识别图像402的相关部分。
后处理模块406可以通过将增强因子应用于相关部分来增强图像402的相关部分。例如，在白色部分被识别为相关部分的图像中，后处理模块可以使用增强因子来增强白色部分。
图5示出根据本公开的实施例的待增强的示例图像500。图5中示出的图像500的实施例仅用于说明，图像500具有各种各样的配置，并且图5不将本公开的范围限制为用于处理图像的系统的任何特定实现。
在本公开的一个实施例中，图像500包括相关部分502和不相关部分504。图像500是在检测模块(例如像图4所示的检测模块404)识别相关部分之前的图像。在一个示例中，图像500可以是SDR图像。
图6示出了根据本公开的实施例的用于增强的示例遮罩600。图6中所示的遮罩600的实施例仅用于说明，遮罩600具有各种各样的配置，并且图6不将本公开的范围限制为用于处理图像的系统的任何特定实现。
在本公开的一个实施例中，遮罩600包括相关部分602和不相关部分604。遮罩600是在检测模块(例如像图4所示的检测模块404)识别相关部分之后的图像的遮罩。在不同示例中，遮罩600可以是HDR图像或SDR图像的遮罩。
在一个示例实施例中，检测模块可以使用YCbCr颜色空间来检测接近白色的相关部分602。在该示例中，图像已经从RGB转换为YCbCr。在不同的实施例中，检测模块可以使用RGB和LAB颜色空间中的图像。在YCbCr空间中，检测模块可以通过使用以下等式来识别待增强的图像(遮罩)的部分。
Y、Cb、Cr的遮罩和来自所有分量的最终总遮罩可以被分别称为maskY、maskCb、maskCr和masko。这些遮罩中的每一个是大小为W×H的阵列，其中W是原始输入图像(诸如图5所示的图像502)的宽度，并且H是输入图像的高度。输入图像可以是HDR或SDR图像。
亮度(Y)遮罩：
如果Y>YThrMax，则maskY＝1
如果Y<YThrMin，则maskY＝0
否则，maskY＝(Y-YThrMin)/(YThrMax-YThrMin)
Cb遮罩：
如果Cb<＝CbThrMin-CbGuard，则maskCb＝0
如果CbThrMin-CbGuard<Cb<CbThrMin，则maskCb＝1-((CbThrMin-Cb)/CbGuard)
如果CbThrMin<＝Cb<＝CbThrMax，则maskCb＝1
如果CbThrMax<＝Cb<＝CbThrMax+CbGuard，则maskCb＝1-((Cb-CbThrMax)/CbGuard)
如果CbThrMax+CbGuard<＝Cb，则maskCb＝0
Cr遮罩：
如果Cr<＝CrThrMin-CrGuard，则maskCr＝0
如果CrThrMin-CrGuard<Cr<CrThrMin，则maskCr＝1-((CrThrMin-Cr)/CrGuard)
如果CrThrMin<＝Cr<＝CrThrMax，则maskCr＝1
如果CrThrMax<＝Cr<＝CrThrMax+CrGuard，则maskCr＝1-((Cr-CrThrMax)/CrGuard)
如果CrThrMax+CrGuard<＝Cr，则maskCr＝0
总遮罩mo：
mo＝maskY.*maskCb.*maskCr
在以上表达式中，为了记法简单，从每个遮罩中省略了像素位置(i,j)(例如，使用Y来替代Y(i,j))。ThrMax和ThrMin表示针对每个遮罩定义软遮罩的最大阈值和最小阈值。Guard表示针对每个遮罩定义软遮罩的保护带。
图7A和图7B示出根据本公开的实施例的用于增强部分的示例图表700和702。图7A和7B中所示的图表700和702的实施例仅用于说明。图表700和702具有各种各样的配置，并且图7A和图7B不将本公开的范围限制为用于处理图像的系统的任何特定实现。
在本公开的实施例中，图表700示出了对应于masky值的亮度Yin值。图表702示出了对应于maskcb值的亮度Cbin值。即使仅示出了用于导出针对Y和Cb的遮罩的图表，但是Cr的图表可以与Cb类似。在该示例中，针对Y的图表700中的遮罩是软的非二进制遮罩，这是由于硬遮罩可能在图像的遮罩边界处引起伪像。在不同的实施例中，检测模块也可以使用硬遮罩。在许多图像中，跨越边缘的变化是渐变的，所以在这些情况下软遮罩将是有益的。
对于Cb(与对于Cr类似)，CbThrMin、CbThrMax、CbGuard定义了Cb空间中软遮罩的阈值和保护带的长度。在该示例实施例中，图表700和702要求：YThrMax＝200；YThrMin＝150；CbThrMin＝CrThrMin＝118；CbThrMax＝CrThrMax＝138；以及CbGuard＝CrGuard＝20。这些值增强白色附近的部分，这是因为纯白色在YCbCr空间中被表示为(255,128,128)。在不同的实施例中，对于遮罩，检测模块可以使用不同的值和阈值。
在该示例中，遮罩是具有在0和1之间的实数值像素值的灰度图片。遮罩中的较亮部分(更接近1)描绘了要由后处理增强模块增强的部分，而较暗部分(更接近0)保持未受影响(untouched)。
图8示出了根据本公开的实施例的用于后处理的图像增强的示例过程800。图8中示出的过程800的实施例仅用于说明，过程800具有各种各样的配置，并且图8不将本公开的范围限制为用于处理图像的系统的任何特定实现。
在该示例实施例中，过程800示出增强红色(Red)。其他两种颜色蓝色(Blue)和绿色(Green)也以类似的方式增强。尽管本文所示的遮罩针对YCbCr空间(或者在其他颜色空间中)，但是在一些实施例中，可以在{R,G,B}颜色空间中执行增强以避免任何颜色偏移，如果使用YCbCr进行增强，则会发生上述颜色偏移。
在块802处，后处理模块可以使用以下等式针对具有输入亮度Yin的每个像素计算加强因子(BF)：
BF＝Yout/Yin (2)
在A至255的范围中的亮度像素被加强。B＝255-A；并且α(通常α>＝1)是加强强度。
在一个示例实施例中，计算加强因子对图像的下述部分提供增强：图像的这些部分比图像的其他部分在图像中亮度更大。具有更大亮度的部分接近白色，并且该增强允许这些部分看起来更白。一个实施例避免针对Cb和Cr计算BF，这是由于这些BF可能导致图像中的不希望的颜色变化。
等式2仅是用于以更高亮度加强(增强)较白部分的等式的一个示例。在不同的实施例中，也可以设计不同的等式。在等式1中，参数α可以由调色师或终端用户控制，并管理(govern)白色增强的程度。在其他实施例中，α可以是预设的。
在块804处，将针对像素的输入Rin、Gin或Bin乘以在块802处获得的加强因子，以获得每个像素的中间增强色彩(enhanced chromatics)。每个像素的中间增强色彩被表示为：
R1＝*Rin
G1＝*Gin
B1＝*Bin
在块806处，将每个像素的中间增强色彩R1、G1或B1乘以遮罩mo以产生遮罩的增强输入。在块808处，将原始像素值Rin、Gin或Bin乘以遮罩mo以产生遮罩的输入。在块810处，将块806和808的结果如下求和：
R2＝o*1(1o)Rin
G2＝o*1(1o)Gin
B2＝o*B1(1mo)Bin
在块812处，针对RGB空间中由于加强而可能已超过255的所有值，如下对增强像素R2、G2或B2进行限幅(clip)：
Rout＝min(R2,255
Gout＝min(G2,255
Bout＝min(B2,255
在一个示例实施例中，由于8位SDR显示，所以使用R、G、B的范围为从0到255。在其他实施例中，可以使用其他范围。
图9示出根据本公开的实施例的用于输入和输出亮度特性的示例图表900。图9所示的图表900的实施例仅用于说明。图表900具有各种各样的配置，并且图9不将本公开的范围限制为用于处理图像的系统的任何特定实现。
在本公开的实施例中，图表900示出了对应于亮度Yin输出的亮度Yin输入。使用等式1和2，图8提供了A＝150且α＝1.4的曲线的示例。在该示例中，Yin＝200被增强到大约212。
本公开的一个或多个实施例提供自动α参数调整(tuning)。加强强度参数α可以由调色师或用户选择以决定图像中白色增强的程度。将其设置为非常高的值(例如10)可能会使大多数的通常图像中的许多区域朝向白色变饱和(saturate)。为了自动选择α，处理器可以被配置为执行以下三个步骤。
1)决定用于允许任何通道中的图像中的最大数量的像素变饱和的阈值t。在一个示例中，原始图像中的在加强之前饱和到255的像素被忽略并且不与阈值进行比较。在其他示例中，其他像素组可以与阈值进行比较。
2)利用α＝1作为初始化并且利用αMax作为α的最大可能值，处理器可以以步长(例如步长为0.1)使α递增，直到在所有三个颜色空间中饱和的像素数量小于t的时间点，并且α<＝αMax。
3)处理器被配置为输出图像。
本公开的一个或多个实施例在其他颜色空间中提供遮罩生成。本公开中描述的实施例在YCbCr颜色空间中生成了用于Cb和Cr的遮罩。替代地，可以基于LAB颜色空间的a和b分量来生成遮罩。对于a和b分量中的每一个，可以与用于Cb和Cr的遮罩类似地设计类似梯形的遮罩。中心可以位于“0”，并且阈值aThrMin、aThrMax(以及针对b类似地)可以被选择为“5”，并且aGuard(和bGuard)的保护带被选择为“10”。这些值仅用于说明，可以使用其他值。
图10示出根据本公开的实施例的使用HDR图像1002来处理SDR图像1004的示例系统1000。图10中所示的系统1000的实施例仅用于说明，系统1000具有各种各样的配置，并且图10不将本公开的范围限制为用于处理图像的系统的任何特定实现。
本公开的一个或多个实施例利用HDR图像1002的HDR信息来检测图像的相关部分并使用这些部分来增强SDR图像。在该示例中，通过对HDR图像1002进行色调映射1006来产生SDR图像1004。当除了SDR图像1004之外HDR图像1002也可用时，白色或接近白色区域的检测与SDR空间相比在HDR空间将是更准确的。由于色调映射(从HDR到SDR的转换)，对于所有像素都有一些信息丢失。一个或多个实施例在HDR图像空间中提供检测遮罩，然后使用该遮罩来执行SDR图像中的增强。
在本公开的实施例中，系统1000包括检测模块1008和后处理模块1010。检测模块1008和后处理模块1010可以被实现为处理器的一部分或由处理器实现，诸如，该处理器例如为图3中所示的主处理器340。检测模块1008识别HDR图像1002的用于增强的相关部分以形成具有关于HDR图像的相关部分的信息的元数据。后处理模块使用由检测模块1008提供的关于HDR图像1002的相关部分的元数据来增强图像1004的SDR版本上的那些相关部分。
在HDR图像1002中，在较高亮度值处(例如，在4000尼特处)，人眼对比敏感度函数(CSF)将能够区别相比之下较少的对比度细节。当使用线性色调映射时，或者使用未被感知设计的色调映射功能来将HDR图像1002色调映射到SDR图像1004，在SDR图像1004中眼睛的对比敏感度在色调映射之后将会更大(例如，大约200尼特)。在增强(加强)期间，与色调映射后的SDR图像1004相比，增强SDR图像的白色区域中的对比度水平会降低，这是由于在原始HDR图像1002中，对比度对人眼较不可见。
来自HDR图像1002的元数据可以用于找出应当提供与HDR图像1002中相同的CSF的增强SDR图像的最小Ymin,out亮度值。在一个示例中，最大亮度值可以达到255(在8位RGB图像中)。加强参数α可以被计算为：
其中Ymin,out是使用CSF函数获得的。
本申请中的描述不应被解读为暗示任何特定的元素、步骤或功能是必须包含在权利要求范围内的必要元素。专利的主题的范围仅由权利要求限定。而且，权利要求不旨在援引35U.S.C.§112(f)，除非“用于...的装置(means for)”的确切词语后跟随以分词。

Claims (15)

1.一种非易失性存储设备，包括：
显示器；以及
至少一个处理器，操作地耦合到显示器，并被配置为：
获取图像和与所述图像相关的元数据；
基于与所述图像相关的元数据来识别待增强的所述图像的至少一部分；
通过增加所述图像的所述至少一部分的强度来生成增强图像；以及
将所述增强图像输出到显示器。
2.根据权利要求1所述的电子设备，其中，所述图像是通过将HDR(高动态范围)图像转换为与SDR(标准动态范围)图像对应的图像来获取的。
3.根据权利要求1所述的电子设备，其中，所述图像的所述至少一部分的强度包括所述图像的所述至少一部分的亮度水平或色度水平中的一个或多个。
4.根据权利要求1所述的电子设备，其中，所述元数据包括所述图像的亮度遮罩或色度遮罩中的一个或多个。
5.根据权利要求1所述的电子设备，其中，所述至少一个处理器还被配置为：基于所述图像的所述至少一部分的每个像素的亮度水平来确定加强因子。
6.根据权利要求5所述的电子设备，其中，所述至少一个处理器还被配置为：通过将所述加强因子应用于所述图像的每个像素的一个或多个颜色色彩，生成所述图像的每个像素的中间颜色色彩。
7.根据权利要求6所述的电子设备，其中，所述至少一个处理器还被配置为：
通过将亮度遮罩或色度遮罩中的一个或多个应用于所述图像的每个像素的所述一个或多个颜色色彩，生成遮罩的输入；
通过将亮度遮罩或色度遮罩中的一个或多个的逆应用于所述图像的每个像素的中间颜色色彩，生成遮罩的增强颜色输入；以及
通过将遮罩的颜色输入和遮罩的增强颜色输入相加来生成增强颜色色彩。
8.根据权利要求7所述的电子设备，其中，所述至少一个处理器还被配置为：将高于预定值的增强颜色色彩中的至少一个调整为所述预定值。
9.一种用于图像增强的电子设备的方法，包括：
获取图像和与所述图像相关的元数据；
基于与所述图像相关的元数据来识别待增强的所述图像的至少一部分；
通过增加所述图像的所述至少一部分的强度来生成增强图像；以及
显示所述增强图像。
10.根据权利要求9所述的方法，其中，所述图像是通过将HDR(高动态范围)图像转换为与SDR(标准动态范围)图像对应的图像来获取的。
11.根据权利要求9所述的方法，其中，所述图像的所述至少一部分的强度包括所述图像的所述至少一部分的亮度水平或色度水平中的一个或多个。
12.如权利要求9所述的方法，其中，所述元数据包括所述图像的亮度遮罩或色度遮罩中的一个或多个。
13.根据权利要求9所述的方法，还包括：
基于所述图像的所述至少一部分的每个像素的亮度水平来确定加强因子。
14.根据权利要求13所述的方法，还包括：
通过将所述加强因子应用于所述图像的每个像素的一个或多个颜色色彩，生成图像的每个像素的中间颜色色彩。
15.根据权利要求14所述的方法，还包括：
通过将亮度遮罩或色度遮罩中的一个或多个应用于图像的每个像素的所述一个或多个颜色色彩，生成遮罩的输入；
通过将亮度遮罩或色度遮罩中的一个或多个的逆应用于图像的每个像素的中间颜色色彩，生成遮罩的增强颜色输入；以及
通过将遮罩的颜色输入和遮罩的增强颜色输入相加来生成增强颜色色彩。
CN201680054804.7A 2015-09-22 2016-09-22 用于通过白色突出增强图像的方法和装置 Pending CN108027964A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562222054P 2015-09-22 2015-09-22
US62/222,054 2015-09-22
US15/001,040 2016-01-19
US15/001,040 US9767543B2 (en) 2015-09-22 2016-01-19 Method and apparatus for enhancing images via white pop-out
PCT/KR2016/010565 WO2017052215A1 (en) 2015-09-22 2016-09-22 Method and apparatus for enhancing images via white pop-out

Publications (1)

Publication Number Publication Date
CN108027964A true CN108027964A (zh) 2018-05-11

Family

ID=58282681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680054804.7A Pending CN108027964A (zh) 2015-09-22 2016-09-22 用于通过白色突出增强图像的方法和装置

Country Status (5)

Country Link
US (1) US9767543B2 (zh)
EP (1) EP3353741A4 (zh)
KR (1) KR20180045056A (zh)
CN (1) CN108027964A (zh)
WO (1) WO2017052215A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3312798A1 (en) * 2016-10-20 2018-04-25 Thomson Licensing Method and device for inverse tone mapping
US10402952B2 (en) * 2017-06-02 2019-09-03 Apple Inc. Perceptual tone mapping of SDR images for an HDR display
US10546554B2 (en) * 2018-03-26 2020-01-28 Dell Products, Lp System and method for adaptive tone mapping for high dynamic ratio digital images

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101159062A (zh) * 2007-08-21 2008-04-09 北京航空航天大学 一种基于相关系数的自适应图像增强方法
US20120176399A1 (en) * 2004-04-15 2012-07-12 Whitehead Lorne A Methods and systems for converting images from low dynamic range to high dynamic range
CN102693532A (zh) * 2011-02-25 2012-09-26 微软公司 图像阴影和高光的自动局部调整
US20130077860A1 (en) * 2011-09-22 2013-03-28 Himax Imaging Limited Image signal processor and method for image enhancement
CN103365356A (zh) * 2012-03-21 2013-10-23 三星电子株式会社 在电子设备上进行显示的方法和装置
CN104091309A (zh) * 2014-06-19 2014-10-08 华南理工大学 一种平板x射线图像的均衡显示方法及系统
CN104112264A (zh) * 2014-07-15 2014-10-22 东南大学 一种基于局部方差图像增强的优化方法
US20140341468A1 (en) * 2010-01-27 2014-11-20 Adobe Systems Incorporated Methods and Apparatus for Tone Mapping High Dynamic Range Images

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101366596B1 (ko) * 2007-08-03 2014-03-14 삼성전자주식회사 이차원 정지 화상에 대해 몰입감을 생성하는 방법 및시스템 그리고 상기 몰입감 생성을 위한 팩터 조절 방법,이미지 콘텐트 분석 방법 및 스케일링 파라미터 예측 방법
MX2013012976A (es) 2011-05-10 2013-12-06 Koninkl Philips Nv Generacion y procesamiento de señal de imagen de intervalo dinamico alto.
EP2748792B1 (en) * 2012-08-08 2016-12-21 Dolby Laboratories Licensing Corporation Image processing for hdr images
JP6202330B2 (ja) 2013-10-15 2017-09-27 ソニー株式会社 復号装置および復号方法、並びに符号化装置および符号化方法
US9973723B2 (en) 2014-02-24 2018-05-15 Apple Inc. User interface and graphics composition with high dynamic range video
JP2015170905A (ja) 2014-03-05 2015-09-28 ソニー株式会社 画像処理装置及び画像処理方法、並びに画像表示装置
US9911179B2 (en) * 2014-07-18 2018-03-06 Dolby Laboratories Licensing Corporation Image decontouring in high dynamic range video processing
US9501855B2 (en) * 2014-09-11 2016-11-22 Sony Corporation Image processing apparatus and image processing method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120176399A1 (en) * 2004-04-15 2012-07-12 Whitehead Lorne A Methods and systems for converting images from low dynamic range to high dynamic range
CN101159062A (zh) * 2007-08-21 2008-04-09 北京航空航天大学 一种基于相关系数的自适应图像增强方法
US20140341468A1 (en) * 2010-01-27 2014-11-20 Adobe Systems Incorporated Methods and Apparatus for Tone Mapping High Dynamic Range Images
CN102693532A (zh) * 2011-02-25 2012-09-26 微软公司 图像阴影和高光的自动局部调整
US20130077860A1 (en) * 2011-09-22 2013-03-28 Himax Imaging Limited Image signal processor and method for image enhancement
CN103365356A (zh) * 2012-03-21 2013-10-23 三星电子株式会社 在电子设备上进行显示的方法和装置
CN104091309A (zh) * 2014-06-19 2014-10-08 华南理工大学 一种平板x射线图像的均衡显示方法及系统
CN104112264A (zh) * 2014-07-15 2014-10-22 东南大学 一种基于局部方差图像增强的优化方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RADU CIPRIAN BILCU、MARKKU VEHVILAINEN: "Constrained Unsharp Masking for Image Enhancement", 《IMAGE AND SIGNAL PROCESSING》 *
庞志勇 等: "一种改进的低成本自适应双三次插值算法及VLSI实现", 《自动化学报》 *

Also Published As

Publication number Publication date
EP3353741A1 (en) 2018-08-01
US20170084011A1 (en) 2017-03-23
US9767543B2 (en) 2017-09-19
WO2017052215A1 (en) 2017-03-30
EP3353741A4 (en) 2018-10-10
KR20180045056A (ko) 2018-05-03

Similar Documents

Publication Publication Date Title
US10497097B2 (en) Image processing method and device, computer readable storage medium and electronic device
US9224365B2 (en) Method and apparatus for reducing interference and mobile terminal
KR102553273B1 (ko) 가상 현실 이미지들의 이미지 개선을 위한 방법 및 장치
CN108605097A (zh) 光学成像方法及其装置
CN105991982B (zh) 用于成像系统的颜色匹配
JP6453357B2 (ja) 拡張現実環境における仮想オブジェクトの現実的な色の作成
KR101586954B1 (ko) 디지털 영상에서의 컬러 아티팩트 감소 기법
US9177367B2 (en) Image processing apparatus and image processing method
CN108605151A (zh) 用于创建、流式传输和渲染hdr图像的方法和装置
CN108027964A (zh) 用于通过白色突出增强图像的方法和装置
CN107705247B (zh) 一种图像饱和度的调整方法、终端及存储介质
EP3732670B1 (en) Mobile terminal adjusting image quality of display, and method of operating the same
CN102484675A (zh) 灰度调整装置、图像显示装置、电视接收机、程序及记录程序的计算机可读记录媒体
US20060182364A1 (en) System and method for sharpening vector-valued digital images
CN105095903A (zh) 电子设备及图像处理方法
CN106020846A (zh) 桌面工具显示方法及装置
JP2014053651A (ja) 画像処理装置、画像処理方法、およびプログラム
US20150365689A1 (en) Image processing apparatus and method
US20150326839A1 (en) Electronic device having projector and color correction method thereof
US20140267359A1 (en) Screen control method and electronic device therefor
US10455125B2 (en) Image processing method and device
KR20150099143A (ko) 영상 데이터를 디스플레이하기 위한 영상 처리 장치, 디스플레이 장치, 영상 처리 시스템 및 방법
CN116847088B (zh) 图像处理方法、处理设备及存储介质
JP7032637B2 (ja) ネットワークマップを表示するコンピュータプログラム、および、無線ｌａｎ装置
US9407938B2 (en) Method for processing image and electronic device for the method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180511

WD01 Invention patent application deemed withdrawn after publication