CN107545547A - 逆色调映射方法 - Google Patents

逆色调映射方法 Download PDF

Info

Publication number
CN107545547A
CN107545547A CN201710504190.4A CN201710504190A CN107545547A CN 107545547 A CN107545547 A CN 107545547A CN 201710504190 A CN201710504190 A CN 201710504190A CN 107545547 A CN107545547 A CN 107545547A
Authority
CN
China
Prior art keywords
contrast ratio
image
ratio image
low contrast
itm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710504190.4A
Other languages
English (en)
Other versions
CN107545547B (zh
Inventor
金容佑
金相延
河雨石
金纹哲
金大恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea Advanced Institute of Science and Technology KAIST
LX Semicon Co Ltd
Original Assignee
Korea Advanced Institute of Science and Technology KAIST
Silicon Works Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korea Advanced Institute of Science and Technology KAIST, Silicon Works Co Ltd filed Critical Korea Advanced Institute of Science and Technology KAIST
Publication of CN107545547A publication Critical patent/CN107545547A/zh
Application granted granted Critical
Publication of CN107545547B publication Critical patent/CN107545547B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种逆色调映射方法，将低对比率图像分离成子层图像、根据每个子层图像的特性将每个子层图像分类成若干类别并学习表示所述低对比率图像与每个类别的高对比率图像之间的关系的变换矩阵。另外，本发明提供一种将输入低对比率图像分离成子层图像、选择对应于每个子层图像的类别并应用所学习变换矩阵以产生高对比率图像的技术。

Description

逆色调映射方法
相关申请的交叉引用
本申请案要求2016年6月28日递交的韩国专利申请案第10-2016-0080971号的优先权，所述申请案在此如同完全阐述一般出于所有目的而以引用的方式并入本文中。
技术领域
本发明涉及逆色调映射方法。
背景技术
在将低对比率图像转换成高对比率图像的过程中，照惯例，已对完整图像同等地应用扩展像素值的动态范围的一个功能，已划分屏幕区域因而进一步扩展明亮部分的动态范围，或已创建并使用确定相应位置的所需扩展范围的扩展图。
此类常规方法仅仅用于恰当地扩展低对比率图像的像素值的动态范围，因此不能有效地重建属于高对比率图像类别(即，不属于低对比率图像类别)的图像的详细信息(详细纹理、详细对比度变化等)。
由于低对比率图像呈以下状态：其中针对图像的详细信息的像素值的大部分对比度分量由于对比率相比于高对比率图像的对比率有限而损失，因此有必要通过在将低对比率图像转换成高对比率图像的过程中恢复损失的对比度分量来改善图像质量。
发明内容
在此背景下，本发明的方面将提供一种具有恢复图像的详细信息的高能力的逆映射技术。
本发明的另一方面将提供一种将低对比率图像分离成子层图像、根据每个子层图像的特性将每个子层图像分类成若干类别并学习表示所述低对比率图像与每个类别的高对比率图像之间的关系的变换矩阵的技术。另外，本发明的又一方面将提供一种将输入低对比率图像分离成子层图像、选择对应于每个子层图像的类别并应用所学习变换矩阵以产生高对比率图像的技术。
根据本发明的一个方面，提供一种将低对比率图像转换成高对比率图像的逆色调映射方法，所述方法包含：使用至少一个分离滤波器将低对比率图像分离成多个子层低对比率图像；将每个子层低对比率图像划分成多个分块；确定每个分块的图像类别；以及根据针对每个图像类别所学习的变换矩阵将每个分块转换成对应高对比率图像分块从而产生高对比率图像。
根据本发明的另一方面，提供一种将低对比率图像转换成高对比率图像的逆色调映射方法，所述方法包含：将测试高对比率图像转换成测试低对比率图像；将所述测试高对比率图像分离成多个子层测试高对比率图像，并将所述测试低对比率图像分离成多个子层测试低对比率图像；将每个子层测试高对比率图像划分成多个测试高对比率图像分块，并将每个子层测试低对比率图像划分成多个测试低对比率图像分块；确定每个测试低对比率图像分块的图像类别；使用对应于每个图像类别的所述测试低对比率图像分块和对应于所述测试低对比率图像分块的所述测试高对比率图像分块来学习每个图像类别的变换矩阵；以及使用所述所学习变换矩阵将所述输入低对比率图像转换成所述高对比率图像。
根据本发明的又一方面，提供一种将低对比率图像转换成高对比率图像的逆色调映射方法，所述方法包含：使用分离滤波器将低对比率图像分离成基础层低对比率图像和详细层低对比率图像；将所述详细层低对比率图像划分成多个分块；确定每个分块的图像类别；根据针对每个图像类别所学习的变换矩阵将每个分块转换成高对比率图像分块从而产生详细层高对比率图像；以及使用所述详细层高对比率图像来产生高对比率图像。
如上文所描述，根据本发明，在将低对比率图像转换成高对比率图像的过程中，获得提高恢复图像的详细信息的能力的效果。
附图说明
通过以下结合附图进行的详细描述可以更加清楚地了解本发明的上述以及其它目的、特征和优点，其中：
图1是示出实施例可应用于的显示设备的方块图。
图2是示出根据本发明的实施例的逆色调映射方法的流程图。
图3是示出图像分离成多个子层图像的状况的第一例示性视图。
图4是示出图像分离成多个子层图像的状况的第二例示性视图。
图5和图6是示出界定分块的改变类型的实例的视图。
图7是示出根据本发明的实施例的变换矩阵学习方法的流程图。
图8是示出将图像分离成基础层和详细层的实例的视图。
图9是用于解释另一逆色调映射方法的第一实例的视图。
图10是用于解释另一逆色调映射方法的第二实例的视图。
图11是用于解释另一逆色调映射方法的第三实例的视图。
图12是示出通过将图像分离成基础层和详细层来执行逆色调映射的方法的流程图。
附图标号说明
100：显示设备；
110：图像处理装置；
120：数据驱动电路；
130：栅极驱动电路；
140：定时控制器；
150：显示面板；
DCS：数据控制信号；
DL：数据线；
GCS：栅极控制信号；
GL：栅极线；
L、L1、L2、L3：亮度；
mr1、mr2、mr3、mr4、mr5：行群组；
mc1、mc2、mc3、mc4、mc5：列群组；
N1、N2、N3、Nn、N2-1、N2-2、N2-m：节点；
P：像素；
RGB：图像数据；
S200、S202、S204、S206、S702、S704、S706、S70R、S710、S1202、S1204、S1206、S1208、S1210、S1212：操作。
具体实施方式
下文将参考附图来详细描述本发明的实施例。在对每个图中的元件添加元件标号时，尽管在不同图中示出，也会以相同元件标号(如果可能)指示相同元件。此外，在本发明的以下描述中，当确定并入本文中的已知功能和配置的详细描述可能使本发明的主题相当不清楚时，将省略所述详细描述。
此外，在描述本发明的组件时，可能在本文中使用例如第一、第二、A、B、(a)、(b)等术语。这些术语仅仅用以区分一个结构元件与其它结构元件，并且对应结构元件的特性、次序、顺序等不受所述术语限制。应注意，如果在说明书中描述一个组件“连接”、“耦合”或“接合”到另一组件，那么第三组件可以“连接”、“耦合”和“接合”于第一组件与第二组件之间，但第一组件可以直接连接、耦合或接合到第二组件。
图1是示出实施例可应用于的显示设备的方块图。
参看图1，显示设备100可包含图像处理装置110、数据驱动电路120、栅极驱动电路130、定时控制器140、显示面板150等。
多个数据线DL和多个栅极线GL可布置于显示面板150上，且多个像素P可布置于显示面板150上。
栅极驱动电路130可将开启电压或断开电压的栅极驱动信号供应到栅极线GL。当开启电压的栅极驱动信号供应到像素P时，对应像素P连接到数据线DL。当断开电压的栅极驱动信号供应到像素P时，释放对应像素P与数据线DL之间的连接。
数据驱动电路120将数据电压供应到数据线DL。根据栅极驱动信号将供应到数据线DL的数据电压供应到像素P。
定时控制器140可将控制信号供应到栅极驱动电路130和数据驱动电路120。举例来说，定时控制器140可将致使扫描开始的栅极控制信号GCS传输到栅极驱动电路120。接下来，定时控制器140可将图像数据RGB输出到数据驱动电路120。另外，定时控制器140还可传输数据控制信号DCS，所述信号控制数据驱动电路120以将数据电压供应到每个像素P。
图像处理装置110可产生图像数据RGB并将所产生的图像数据RGB传输到定时控制器140。图像处理装置110可将低对比率图像转换成高对比率图像以产生图像数据RGB。
图2是示出根据本发明的实施例的逆色调映射方法的流程图。
参看图2，在操作S200中，图像处理装置可通过学习步骤学习每个图像类别的变换矩阵M。所学习变换矩阵M用以将输入低对比率图像转换成高对比率图像。
在操作S202中，图像处理装置可将输入低对比率图像分离成子层。图像处理装置可使用分离滤波器来分离图像。图像可由分离滤波器分离成多个子层图像。
在操作S204中，图像处理装置可确定分离成子层的低对比率图像的图像类别。通过针对每个图像类别以不同方式转换图像，图像处理装置可解决在对完整图像应用同一功能时已发生的常见问题，即，恢复详细信息的能力较低的问题。
在操作S206中，图像处理装置可通过应用针对每个图像类别所学习的变换矩阵M来将低对比率图像转换成高对比率图像。
同时，在逆色调映射中，图像处理装置将图像分离成多个子层并单独地转换每个子层，借此提高转换的准确性。
图3是示出图像分离成多个子层图像的状况的第一例示性视图。
参看图3，图像处理装置可将图像分离成多个子层图像。
图像处理装置可使用分离滤波器将图像分离成多个子层图像。
可将双向滤波器、使用总变差能量的分解滤波器、小波滤波器、伽柏滤波器和高斯滤波器用作分离滤波器。
图像处理装置可使用分离滤波器将图像分离成N(其中N是2或更大的自然数)个子层图像。另外，图像处理装置可通过超过两次使用分离滤波器来将子层图像分离成多个层。
举例来说，图像处理装置可使用分离滤波器在深度级1处产生N个子层图像，并通过将分离滤波器再次应用到深度级1的子层图像而在深度级2处产生M(其中M是2或更大的自然数)个子层图像。
图像处理装置可分离图像，直到显示终端节点图像为止。
图4是示出图像分离成多个子层图像的状况的第二例示性视图。
参看图4，图像可由分离滤波器分离成多个子层图像。
图像可由分离滤波器在深度级1处分离成N节点(N1、N2、N3...Nn)图像。分离滤波器在深度级1处未进一步分离的终端节点(N1和N3)图像可被直接确定为子层图像。此外，分离滤波器可进一步应用于可另外由分离滤波器分离的剩余图像。举例来说，第二节点(N2)图像可由分离滤波器在深度级2处再次分离成M节点(N2-1、N2-2、...、N2-m)图像。通过这个过程，图像可分离成不再由分离滤波器分离的终端节点图像。
图像处理装置可使用至少一个分离滤波器将低对比率图像分离成多个子层低对比率图像，且可将每个子层低对比率图像分离成多个分块。
图像处理装置可在子层低对比率图像的分块的单元中执行逆色调映射。
图像处理装置可将子层低对比率图像分离成具有均匀大小的多个分块。均匀大小可意味着显示设备上显示的屏幕尺寸相同，且包含于每个分块中的像素的数目相同。
图像处理装置可确定每个分块的图像类别并通过应用针对每个图像类别所学习的变换矩阵来产生高对比率图像。
可由以下因素中的至少一个或多个因素确定每个分块的图像类别：使用每个分块图像的亮度、对比度、纹理复杂度、边缘方向、边缘强度、色彩分量、纹理图案、频率和微分算子的图像信号改变信息、使用高斯函数的图像信号改变信息，以及使用拉普拉斯函数的图像信号改变信息。
举例来说，图像处理装置可根据每个分块图像的亮度和每个分块图像的改变类型而确定每个分块的图像类别。
图像处理装置可计算包含于每个分块中的像素的平均亮度，并根据平均亮度将分块分类成L(其中L是2或更大的自然数)个亮度群组。
图像处理装置可掌握包含于每个分块中的像素的改变类型，并根据改变类型对每个分块进行分类。
图5和图6是示出界定分块的改变类型的实例的视图。
参看图5和图6，多个像素P可包含于分块中。图像处理装置可通过将像素P划分成多个群组并比较参考群组与每个群组的平均亮度来对每个分块的图像类别进行分类。
参看图5，图像处理装置可在水平方向上对像素P进行分组，并基于中间行群组而使用其它行群组的相对亮度来对每个分块的图像类别进行分类。图像处理装置可显示所有行群组，其方式使得第一行群组mr1在第一行群组mr1的平均亮度低于中间行群组mr3的平均亮度时表示为0，且在第一行群组mr1的平均亮度高于中间行群组mr3的平均亮度时表示为1。因此，可根据这种表示而对分块的图像类别进行分类。当图像处理装置将分块分组成如图5中所示出的五个行群组时，图像类别分类成16(16＝2^(5-1))种类别。
参看图6，图像处理装置可在垂直方向上对像素P进行分组，并基于中间列群组而使用其它列群组的相对亮度来对每个分块的图像类别进行分类。图像处理装置可显示所有列群组，其方式使得第一列群组mcl在第一列群组mc1的平均亮度低于中间列群组mc3的平均亮度时表示为0，且在第一列群组mcl的平均亮度高于中间列群组mc3的平均亮度时表示为1。因此，可根据这种表示而对分块的图像类别进行分类。当图像处理装置将分块分组成如图6中所示出的五个列群组时，图像类别分类成16(16＝2^(5-1))种类别。
当群组的数目一般化成Q(其中Q是2或更大的自然数)时，图像处理装置可将每个分块的像素划分成Q个群组并比较参考群组的平均亮度与每个群组的平均亮度，以使得所有群组可表示为0或1。这时，根据实施例，0或1可仅显示于所有群组当中排除参考群组的剩余群组中。当图像处理装置以这种方式表示所有群组时，图像类别可分类成2^(Q-1)种类别。
当确定每个分块的图像类别时，图像处理装置可根据针对每个图像类别所学习的变换矩阵将每个分块转换成高对比率图像分块从而产生高对比率图像。在此处，可基于预定图像而通过学习获得每个图像类别的变换矩阵。
图7是示出根据本发明的实施例的变换矩阵学习方法的流程图。
参看图7，在操作S702中，图像处理装置可接收将用于变换矩阵学习的测试高对比率图像并将所述测试高对比率图像转换成测试低对比率图像。
接下来，在操作S704中，图像处理装置可将测试高对比率图像和测试低对比率图像分别分离成多个子层测试高对比率图像和多个子层测试低对比率图像。这时，图像处理装置可使用相同分离滤波器将测试高对比率图像和测试低对比率图像分离成子层图像。另外，图像处理装置可使用分离滤波器以使得子层图像形成为相同节点图像。举例来说，当图像处理装置将测试高对比率图像分离成具有深度级1的N个子层图像时，有可能将测试低对比率图像分离成具有深度级1的N个子层图像。
在操作S706中，图像处理装置可将所分离子层图像划分成分块单元。具体地说，图像处理装置可将每个子层测试高对比率图像划分成多个测试高对比率图像分块。接下来，图像处理装置可将每个子层测试低对比率图像划分成多个测试低对比率图像分块。
接下来，在操作S708中，图像处理装置可确定每个测试低对比率图像分块的图像类别。基于低对比率图像而确定图像类别。
在操作S710中，当确定了每个测试低对比率图像分块的图像类别时，针对每个图像类别学习变换矩阵。图像处理装置可学习变换矩阵，使得通过将变换矩阵应用于测试低对比率图像分块所产生的高对比率图像分块和测试高对比率图像分块之间的差异最小化。
[方程式1]
在此处，Mi指示用于将第i群组的低对比率图像分块变换成高对比率图像分块的变换矩阵。
Yi h指示构成属于第i群组的高对比率图像分块的矩阵。
Yi l指示构成属于第i群组的低对比率图像分块的矩阵。
M指示用于将低对比率图像分块变换成高对比率图像分块的矩阵。
λ指示拉格朗日乘数。
可针对每个群组，例如，针对每1280个群组，学习变换矩阵Mi。
所学习变换矩阵应用于输入低对比率图像，且用以产生高对比率图像。
Yi h＝MiYi l
同时，图像处理装置可将所学习变换矩阵仅应用于一些子层低对比率图像，而不可将所学习变换矩阵应用于所有子层低对比率图像，如上文所描述。
举例来说，图像处理装置可将低对比率图像分离成基础层的低对比率图像和详细层的低对比率图像，且上文所描述的所学习变换矩阵可应用于详细层的低对比率图像。图像处理装置可将使用全局模型的逆色调映射方法、使用分类模型的逆色调映射方法和使用扩展图的逆色调映射方法中的一者应用于基础层的低对比率图像。
图像处理装置可通过合成由不同逆色调映射方法变换的子层高对比率图像来产生高对比率图像。
图8是示出将图像分离成基础层和详细层的实例的视图。
参看图8，图像处理装置可将图像分离成基础层图像和子层图像。具体地说，图像处理装置可使用分离滤波器将低对比率图像分离成基础层的低对比率图像和详细层的低对比率图像。
深度级1的所分离子层图像可由分离滤波器再次分离。这时，基础层图像可分离成基础层的基础层图像和基础层的详细层图像，且详细层图像可分离成详细层的基础层图像和详细层的详细层图像。
图像处理装置可通过将所学习变换矩阵应用于子层图像而将分离成深度级1的详细层图像的子层图像(例如，详细层的基础层图像和详细层的详细层图像)转换成高对比率图像。图像处理装置可将不同逆色调映射方法应用于分离成深度级1的基础层图像的子层图像，例如，基础层的基础层图像和基础层的详细层图像。
图9是用于解释另一逆色调映射方法的第一实例的视图。
图像处理装置可使用如图9的图形中所示出的伽玛曲线来转换每个像素的对比度。举例来说，当伽玛设定为2.2时，图像处理装置可将其对比度对应于L的像素的亮度转换成L1。作为另一实例，当伽玛设定为0.45时，图像处理装置可将其对比度对应于L的像素的亮度转换成L3。
这个方法可被称作使用全局模型的逆色调映射方法。使用全局模型的逆色调映射方法是对图像的所有像素同等地应用某一函数(规则)的方法。
在方程式2中示出函数的实例。
[方程式2]
在此处，L′指示计算出的高对比率图像的亮度。
K指示输出高对比率显示设备的亮度强度的最大值。
L指示输入低对比率图像的亮度和归一化成[0，1]的值。
Lmax和Lmin是输入低对比率图像的亮度最大值和最小值。
γ指示确定缩放的非线性的因数。
图10是用于解释另一逆色调映射方法的第二实例的视图。
如图10中所示出，图像处理装置可区分亮区与暗区，并对每个区应用不同函数。图10中所示出的方法是低对比率图像中的极亮区或包含光源的区的像素值改变范围比其它区的像素值改变范围扩展更多的方法。这个方法也被称为使用分类模型的逆色调映射方法，且所述使用分类模型的逆色调映射方法是在假设以下情况而应用的逆色调映射方法：在实际场景中更亮的区由于低对比率图像的限制而显示得不够亮。
图11是用于解释另一逆色调映射方法的第三实例的视图。
图像处理装置可通过分析如图11中所示出的图像产生指示图像的每个像素的动态范围的扩展程度的扩展图。接下来，图像处理装置可根据所述扩展图扩展低对比率图像的像素值从而产生高对比率图像。
参看图11，图像处理装置可通过将像素值大于图像中的具体值的一部分设定为1且将像素值为所述具体值或更小值的一部分设定为0来创建初始扩展图。接下来，图像处理装置可将高斯模糊应用于扩展图以创建平稳亮度增强步骤的扩展图。接下来，图像处理装置可进一步考虑输入图像的边缘信息以使得扩展图不干扰边缘。
图12是示出通过将图像分离成基础层和详细层来执行逆色调映射的方法的流程图。
参看图12，在操作S1202中，图像处理装置可使用分离滤波器将低对比率图像分离成基础层的低对比率图像和详细层的低对比率图像。此时，图像处理装置可将图像分离成多个深度级。举例来说，图像处理装置可超过两次使用分离滤波器来分离多个深度级的基础层的低对比率图像与详细层的低对比率图像。
在操作S1204中，图像处理装置可将详细层的低对比率图像划分成多个分块。
接下来，在操作S1206中，图像处理装置可确定每个分块的图像类别。
在操作S1208中，当确定了每个分块的图像类别时，图像处理装置可根据针对每个图像类别所学习的变换矩阵将每个分块转换成高对比率图像分块从而产生详细层的高对比率图像。
接下来，在操作S1210中，图像处理装置可将使用全局模型的逆色调映射方法、使用分类模型的逆色调映射方法和使用扩展图的逆色调映射方法中的一者应用于基础层的低对比率图像从而产生基础层的高对比率图像。
当分离多个深度级的基础层的低对比率图像与详细层的低对比率图像时，图像处理装置可将相同逆色调映射方法应用于每个深度级的基础层的低对比率图像从而产生基础层的高对比率图像。
接下来，在操作S1212中，图像处理装置可通过合成基础层的高对比率图像与详细层的高对比率图像来产生高对比率图像。
根据上文所描述的实施例，可使用学习低对比率图像与高对比率图像之间的对应关系的变换矩阵来执行逆色调映射，借此提高恢复详细信息的能力。
此外，由于例如“包含”、“包括”和“具有”等术语意指可能存在一个或多个对应组件(除非特定地描述为相反情形)，因此其应解释为可包含一个或多个其它组件。为技术、科学或其它术语的所有术语与所属领域的技术人员所理解的含义一致，除非有相反定义。如词典中所见的常用术语应在相关技术写作的上下文中加以解释，不应过于理想化，也不应脱离实际，除非本发明明确地如此界定。
虽然为了说明性目的描述了本发明的优选实施例，但是所属领域的技术人员将理解，在不脱离如所附权利要求书所公开的本发明的范围和精神的情况下，各种修改、添加与替换是可能的。因此，本发明中所公开的实施例希望说明本发明的技术理念的范围，且本发明的范围不受所述实施例限制。应基于所附权利要求而解释本发明的范围，其解释方式使得包含在等效于权利要求的范围内的所有技术理念属于本发明。

Claims (15)

1.一种将低对比率图像转换成高对比率图像的逆色调映射方法，其特征在于，所述方法包括：
使用至少一个分离滤波器将所述低对比率图像分离成多个子层低对比率图像；
将每个子层低对比率图像划分成多个分块；
确定每个分块的图像类别；以及
根据针对每个图像类别所学习的变换矩阵将每个分块转换成对应高对比率图像分块从而产生所述高对比率图像。
2.根据权利要求1所述的逆色调映射方法，其中以超过两次使用所述分离滤波器的方式产生所述多个子层低对比率图像中的至少一个子层低对比率图像。
3.根据权利要求1所述的逆色调映射方法，其中所述子层低对比率图像中的每一者是不再由所述分离滤波器分离的终端节点图像。
4.根据权利要求1所述的逆色调映射方法，其中所述分离滤波器是双向滤波器、使用总变差能量的分解滤波器、小波滤波器、伽柏滤波器和高斯滤波器中的一种。
5.根据权利要求1所述的逆色调映射方法，其中由以下因素中的至少一个或多个因素确定每个分块的所述图像类别：使用每个分块图像的亮度、对比度、纹理复杂度、边缘方向、边缘强度、色彩分量、纹理图案、频率和微分算子的图像信号改变信息、使用高斯函数的图像信号改变信息，以及使用拉普拉斯函数的图像信号改变信息。
6.根据权利要求1所述的逆色调映射方法，其中所述确定所述图像类别包含使用每个分块中包含的像素的平均亮度来确定所述图像类别。
7.根据权利要求6所述的逆色调映射方法，其中所述确定所述图像类别包含通过将每个分块的像素划分成多个群组并比较参考群组与每个群组的平均亮度来确定所述图像类别。
8.根据权利要求7所述的逆色调映射方法，其中在所述确定所述图像类别的过程中，显示排除所述参考群组的所有群组，其方式使得每个分块的所述像素被划分成Q个群组，Q是2或更大的自然数，且比较所述参考群组与每个群组的平均亮度以使得所述每个群组表示为0或1，并将所述图像类别分类成2∧(Q-1)种类别。
9.根据权利要求7所述的逆色调映射方法，其中所述确定所述图像类别包含将每个分块的所述像素划分成多个行群组和多个列群组。
10.一种将低对比率图像转换成高对比率图像的逆色调映射方法，其特征在于，所述方法包括：
将测试高对比率图像转换成测试低对比率图像；
将所述测试高对比率图像分离成多个子层测试高对比率图像，并将所述测试低对比率图像分离成多个子层测试低对比率图像；
将每个子层测试高对比率图像划分成多个测试高对比率图像分块，并将每个子层测试低对比率图像划分成多个测试低对比率图像分块；
确定每个测试低对比率图像分块的图像类别；
使用对应于每个图像类别的所述测试低对比率图像分块和对应于所述测试低对比率图像分块的所述测试高对比率图像分块来学习每个图像类别的变换矩阵；以及
使用所学习的所述变换矩阵将输入的所述低对比率图像转换成所述高对比率图像。
11.根据权利要求10所述的逆色调映射方法，其中通过相同分离滤波器将所述测试高对比率图像与所述测试低对比率图像分离成子层。
12.根据权利要求10所述的逆色调映射方法，其中通过以下方程式学习所述变换矩阵，
<mrow> <msub> <mi>M</mi> <mi>i</mi> </msub> <mo>=</mo> <mi>argmin</mi> <mo>{</mo> <mo>|</mo> <mo>|</mo> <msubsup> <mi>Y</mi> <mi>i</mi> <mi>h</mi> </msubsup> <mo>-</mo> <msubsup> <mi>MY</mi> <mi>i</mi> <mi>l</mi> </msubsup> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&amp;lambda;</mi> <mo>|</mo> <mo>|</mo> <mi>M</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>}</mo> <mo>,</mo> <mi>M</mi> <mo>&amp;Element;</mo> <msup> <mi>R</mi> <mrow> <mi>D</mi> <mo>&amp;times;</mo> <mi>D</mi> </mrow> </msup> </mrow>
<mrow> <msub> <mi>M</mi> <mi>i</mi> </msub> <mo>=</mo> <msubsup> <mi>Y</mi> <mi>i</mi> <mi>h</mi> </msubsup> <msubsup> <mi>Y</mi> <mi>i</mi> <msup> <mi>l</mi> <mi>T</mi> </msup> </msubsup> <msup> <mrow> <mo>(</mo> <msubsup> <mi>Y</mi> <mi>i</mi> <mi>l</mi> </msubsup> <msubsup> <mi>Y</mi> <mi>i</mi> <msup> <mi>l</mi> <mi>T</mi> </msup> </msubsup> <mo>+</mo> <mi>&amp;lambda;</mi> <mi>I</mi> <mo>)</mo> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mo>,</mo> <mi>i</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mn>...</mn> <mo>,</mo> <mn>1280</mn> </mrow>
其中Mi指示用于将第i群组的低对比率图像分块变换成高对比率图像分块的变换矩阵，Yi h指示构成属于所述第i群组的高对比率图像分块的矩阵，Yi l指示构成属于所述第i群组的低对比率图像分块的矩阵，M指示用于将低对比率图像分块变换成高对比率图像分块的矩阵，且λ指示拉格朗日乘数。
13.一种将低对比率图像转换成高对比率图像的逆色调映射方法，其特征在于，所述方法包括：
使用分离滤波器将所述低对比率图像分离成基础层低对比率图像和详细层低对比率图像；
将所述详细层低对比率图像划分成多个分块；
确定每个分块的图像类别；
根据针对每个图像类别所学习的变换矩阵将每个分块转换成高对比率图像分块从而产生详细层高对比率图像；以及
使用所述详细层高对比率图像来产生所述高对比率图像。
14.根据权利要求13所述的逆色调映射方法，其进一步包括：
通过将使用全局模型的逆色调映射方法、使用分类模型的逆色调映射方法和使用扩展图的逆色调映射方法中的一者应用于所述基础层低对比率图像来产生基础层高对比率图像，
其中所述产生所述高对比率图像包含通过合成所述基础层高对比率图像与所述详细层高对比率图像来产生所述高对比率图像。
15.根据权利要求14所述的逆色调映射方法，其中，在将所述低对比率图像分离成所述基础层低对比率图像和所述详细层低对比率图像的所述过程中，以超过两次使用所述分离滤波器的方式针对多个深度级分离所述基础层低对比率图像与所述详细层低对比率图像，且
所述产生所述基础层高对比率图像包含通过将相同逆色调映射方法应用于每个深度级的所述基础层低对比率图像来产生所述基础层高对比率图像。
CN201710504190.4A 2016-06-28 2017-06-27 逆色调映射方法 Active CN107545547B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20160080971 2016-06-28
KR10-2016-0080971 2016-06-28

Publications (2)

Publication Number Publication Date
CN107545547A true CN107545547A (zh) 2018-01-05
CN107545547B CN107545547B (zh) 2023-07-07

Family

ID=60677003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710504190.4A Active CN107545547B (zh) 2016-06-28 2017-06-27 逆色调映射方法

Country Status (3)

Country Link
US (1) US10664961B2 (zh)
KR (1) KR102552747B1 (zh)
CN (1) CN107545547B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020248294A1 (zh) * 2019-06-10 2020-12-17 北京大学深圳研究生院 一种逆色调映射方法、装置及电子设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015162519A1 (en) * 2014-04-23 2015-10-29 Koninklijke Philips N.V. Restoration of low contrast structure in de-noise image data
US20220201295A1 (en) * 2020-12-21 2022-06-23 Electronics And Telecommunications Research Institute Method, apparatus and storage medium for image encoding/decoding using prediction

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070160285A1 (en) * 2002-05-01 2007-07-12 Jay Stephen Gondek Method and apparatus for associating image enhancement with color
CN102341825A (zh) * 2009-03-03 2012-02-01 微软公司 图像的多模式色调映射
CN102696220A (zh) * 2009-10-08 2012-09-26 国际商业机器公司 将数字图像从低动态范围图像转换为高动态范围图像的方法与系统
US20120257824A1 (en) * 2011-04-08 2012-10-11 Industry-University Cooperation Foundation Sogang University Image processing method and apparatus
US20130169760A1 (en) * 2012-01-04 2013-07-04 Lloyd Watts Image Enhancement Methods And Systems
CN103327323A (zh) * 2012-03-14 2013-09-25 杜比实验室特许公司 高比特深度视频到低比特深度显示器的高效色调映射
WO2015096955A1 (en) * 2013-12-27 2015-07-02 Thomson Licensing Method for inverse tone mapping of an image

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100261214B1 (ko) * 1997-02-27 2000-07-01 윤종용 영상처리 시스템의 콘트라스트 확장장치에서 히스토그램 등화방법 및 장치
US6360022B1 (en) * 1997-04-04 2002-03-19 Sarnoff Corporation Method and apparatus for assessing the visibility of differences between two signal sequences
US6175425B1 (en) * 1998-01-15 2001-01-16 Oak Technology, Inc. Document imaging system for autodiscrimination of text and images
US20020172431A1 (en) * 2001-03-07 2002-11-21 Atkins C. Brian Digital image appearance enhancement and compressibility improvement method and system
US20030026495A1 (en) * 2001-03-07 2003-02-06 Gondek Jay Stephen Parameterized sharpening and smoothing method and apparatus
US8254674B2 (en) * 2004-10-28 2012-08-28 DigitalOptics Corporation Europe Limited Analyzing partial face regions for red-eye detection in acquired digital images
US7317815B2 (en) * 2003-06-26 2008-01-08 Fotonation Vision Limited Digital image processing composition using face detection information
US20100053367A1 (en) * 2003-08-05 2010-03-04 Fotonation Ireland Limited Partial face tracker for red-eye filter method and apparatus
US7310445B2 (en) * 2003-11-26 2007-12-18 International Business Machines Corporation Classification of image blocks by region contrast significance and uses therefor in selective image enhancement in video and image coding
US7433513B2 (en) * 2005-01-07 2008-10-07 Hewlett-Packard Development Company, L.P. Scaling an array of luminace values
TWI344623B (en) * 2007-04-13 2011-07-01 Primax Electronics Ltd Method for text and graphic separation and text enhancement
US8355595B2 (en) * 2007-05-15 2013-01-15 Xerox Corporation Contrast enhancement methods and apparatuses
US8526728B2 (en) * 2010-12-21 2013-09-03 Microsoft Corporation Establishing clusters of user preferences for image enhancement
US9324133B2 (en) * 2012-01-04 2016-04-26 Sharp Laboratories Of America, Inc. Image content enhancement using a dictionary technique
US20140072242A1 (en) * 2012-09-10 2014-03-13 Hao Wei Method for increasing image resolution
US9152888B2 (en) * 2012-09-13 2015-10-06 Los Alamos National Security, Llc System and method for automated object detection in an image
KR20150093993A (ko) * 2014-02-10 2015-08-19 한국전자통신연구원 초해상도 영상 복원 방법 및 장치
US9734558B2 (en) * 2014-03-20 2017-08-15 Mitsubishi Electric Research Laboratories, Inc. Method for generating high-resolution images using regression patterns
US9811882B2 (en) * 2014-09-30 2017-11-07 Electronics And Telecommunications Research Institute Method and apparatus for processing super resolution image using adaptive preprocessing filtering and/or postprocessing filtering
KR102293344B1 (ko) * 2014-10-31 2021-08-26 삼성디스플레이 주식회사 표시 장치
WO2017096178A1 (en) * 2015-12-05 2017-06-08 Indiana University Research And Technology Corporation Systems and methods for image processing

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070160285A1 (en) * 2002-05-01 2007-07-12 Jay Stephen Gondek Method and apparatus for associating image enhancement with color
CN102341825A (zh) * 2009-03-03 2012-02-01 微软公司 图像的多模式色调映射
CN102696220A (zh) * 2009-10-08 2012-09-26 国际商业机器公司 将数字图像从低动态范围图像转换为高动态范围图像的方法与系统
US20120257824A1 (en) * 2011-04-08 2012-10-11 Industry-University Cooperation Foundation Sogang University Image processing method and apparatus
US20130169760A1 (en) * 2012-01-04 2013-07-04 Lloyd Watts Image Enhancement Methods And Systems
CN103327323A (zh) * 2012-03-14 2013-09-25 杜比实验室特许公司 高比特深度视频到低比特深度显示器的高效色调映射
WO2015096955A1 (en) * 2013-12-27 2015-07-02 Thomson Licensing Method for inverse tone mapping of an image

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
方华猛等: "基于主成分分析和引导滤波的色调映射算法", 《光电子？激光》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020248294A1 (zh) * 2019-06-10 2020-12-17 北京大学深圳研究生院 一种逆色调映射方法、装置及电子设备
US11783459B2 (en) 2019-06-10 2023-10-10 Peking University Shenzhen Graduate School Method and device of inverse tone mapping and electronic device

Also Published As

Publication number Publication date
US20170372461A1 (en) 2017-12-28
US10664961B2 (en) 2020-05-26
KR20180002475A (ko) 2018-01-08
CN107545547B (zh) 2023-07-07
KR102552747B1 (ko) 2023-07-11

Similar Documents

Publication Publication Date Title
CN104123926B (zh) 伽马补偿方法及使用该伽马补偿方法的显示装置
CN104981861B (zh) 信号转换装置和方法
CN105139395B (zh) 基于小波池化卷积神经网络的sar图像分割方法
CN101394573B (zh) 一种基于特征匹配的全景图生成方法及系统
CN110277058A (zh) 有机发光显示面板的亮度补偿方法及其装置
CN107545547A (zh) 逆色调映射方法
US10462337B2 (en) Liquid crystal display device and image processing method for same
CN101494033A (zh) 液晶显示器及其调光控制方法
CN108630165A (zh) 一种液晶显示面板的控制电路及液晶显示面板
CN113823234B (zh) 一种RGB Mini-LED场序背光控制系统及方法
CN108154502A (zh) 一种基于卷积神经网络的通孔焊点识别方法
CN103093444A (zh) 基于自相似性和结构信息约束的图像超分辨重建方法
WO2019127671A1 (zh) 获取液晶显示器的过驱动查找表的方法
CN104036468B (zh) 基于预放大非负邻域嵌入的单帧图像超分辨重建方法
CN106325485A (zh) 一种手势检测识别方法及系统
CN113823235A (zh) 一种Mini-LED背光分区控制系统及方法
CN111882489A (zh) 用于水下图像同时增强的超分辨率图形恢复方法
CN110378208A (zh) 一种基于深度残差网络的行为识别方法
CN108428435B (zh) 一种子像素渲染的验证显示方法
CN112991371B (zh) 一种基于着色溢出约束的图像自动着色方法及系统
CN110379370B (zh) 一种基于阈值比较的RGB-Delta型显示面板子像素渲染方法
CN108389181A (zh) 一种基于深度学习和法向图的零件缺陷检测和定位方法
CN109920018A (zh) 基于神经网络的黑白照片色彩恢复方法、装置及存储介质
CN110033035A (zh) 一种基于强化学习的aoi缺陷分类方法及装置
CN105761292A (zh) 一种基于颜色转移和修正的图像着色方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant