CN111295688A - 图像处理设备、用于处理图像的方法和计算机可读记录介质 - Google Patents

图像处理设备、用于处理图像的方法和计算机可读记录介质 Download PDF

Info

Publication number
CN111295688A
CN111295688A CN201880070734.3A CN201880070734A CN111295688A CN 111295688 A CN111295688 A CN 111295688A CN 201880070734 A CN201880070734 A CN 201880070734A CN 111295688 A CN111295688 A CN 111295688A
Authority
CN
China
Prior art keywords
image
pixel
chromaticity
pixel group
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880070734.3A
Other languages
English (en)
Inventor
金荣杰
李宰成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111295688A publication Critical patent/CN111295688A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

提供了一种图像处理设备。根据示例性实施例的图像处理设备包括存储器和处理器，处理器被配置为通过使用存储器中存储的具有不同亮度的多个图像来获得高动态范围(HDR)图像，并且针对获得的HDR图像对包括至少一个像素的每个像素组的色度进行校正。其中，处理器被配置为针对每个像素组在所述多个图像中识别将被用于色度校正的图像，并且通过使用识别出的图像来对每个像素组的色度进行校正。

Description

图像处理设备、用于处理图像的方法和计算机可读记录介质
技术领域
与本文公开的内容一致的装置和方法涉及图像处理设备、用于图像处理的方法和计算机可读记录介质，并且更具体地，涉及用于生成高质量的HDR图像的图像处理设备、用于图像处理的方法和计算机可读介质。
背景技术
随着图像技术的发展，已经开发了一种用于获得具有超出可由数字相机生成的对比度的限制的更宽对比度范围的高动态范围(HDR)图像的技术。
近来，随着数字相机市场已经从数字静态相机(DSC)转移到智能电话，并且数字相机的动态范围因镜头和图像传感器的物理限制而已经变窄，更强大的HDR图像技术已经被强烈需求。
另外，当对不同亮度的图像进行合成以生成HDR图像时，在亮度快速变化的边界处发生不兼容。为了解决该问题而进行边界区域的融合，但是当通过使用亮度差大的图像来合成图像时，出现在亮度差大的边界区域中发生颜色扩散的问题。
发明内容
技术问题
因此，需要一种用于最小化HDR图像合成中的不期望的颜色模糊的技术。
技术方案
示例性实施例的一方面涉及提供一种用于对HDR图像的颜色模糊进行校正的图像处理设备、图像处理方法和计算机可读记录介质。
根据示例性实施例，提供了一种图像处理设备，包括：存储器；和处理器，被配置为通过使用存储器中存储的具有不同亮度的多个图像来获得高动态范围(HDR)图像，并且针对获得的HDR图像对包括至少一个像素的每个像素组的色度进行校正，其中，所述处理器被配置为针对每个像素组在所述多个图像中识别将被用于色度校正的图像，并且通过使用识别出的图像来对每个像素组的色度进行校正。
所述处理器还可被配置为：将所述多个图像的与像素组相应的每个区域的亮度和所述像素组的亮度之间的差最小的图像识别为将被用于所述像素组的色度校正的图像。
所述处理器还可被配置为：基于所述多个图像的与像素组相应的每个区域的亮度和所述像素组的亮度之间的差等于或大于预定值，将通过对所述多个图像中具有小亮度差的前两个图像的色度进行融合而获得的图像识别为用于所述像素组的色度校正的图像。
所述处理器还可被配置为：基于像素对构成像素组的至少一个像素的色度进行校正。
所述处理器还可被配置为：通过使用像素组中包括的像素的色度和识别出的图像的与所述像素相应的像素的色度之间的差来计算融合比率，并且通过以计算出的融合比率对所述像素的色度和识别出的图像的像素的色度进行融合来对所述像素组的色度进行校正。
所述处理器还可被配置为：基于像素组中包括的像素的色度和识别出的图像的与所述像素相应的像素的色度之间的差等于或大于预定值，对所述像素组的色度进行校正。
所述处理器还可被配置为：按照预定像素间隔获得像素组中包括的像素的色度和识别出的图像的与所述像素相应的像素的色度之间的差，并且对所述像素组中与获得的色度差等于或大于预定值的像素相邻的预定数量的像素的色度进行校正。
所述处理器还可被配置为：缩小像素组和识别出的图像的与所述像素组相应的区域各自的尺寸，获得与各个缩小后的区域相应的位置处的像素的色度差，并且对所述像素组的与获得的色度差等于或大于预定值的像素相应的区域的色度进行校正。
所述处理器还可被配置为：基于原始图像被接收到，通过使用原始图像来获得具有不同亮度的多个图像，并将获得的多个图像存储在存储器中。
所述处理器还可被配置为：保持像素组的亮度并且对所述像素组的色度进行校正。
根据示例性实施例，提供了一种用于图像处理的方法，所述方法包括：通过使用具有不同亮度的多个图像来生成高动态范围(HDR)图像，在所述多个图像中确定将被用于针对获得的HDR图像对包括至少一个像素的每个像素组进行色度校正的图像，并且通过使用识别出的图像来对每个像素组的色度进行校正。
所述确定的步骤可包括：将所述多个图像的与像素组相应的每个区域的亮度和所述像素组的亮度之间的差最小的图像确定为将被用于所述像素组的色度校正的图像。
所述确定的步骤可包括：基于所述多个图像的与像素组相应的每个区域的亮度和所述像素组的亮度之间的差等于或大于预定值，使用通过对所述多个图像中具有小亮度差的前两个图像的色度进行融合而获得的图像作为将被用于所述像素组的色度校正的图像。
所述校正的步骤可包括：基于像素对构成像素组的至少一个像素的色度进行校正。
所述校正的步骤可包括：基于像素组中包括的像素的色度和识别出的图像的与所述像素相应的像素的色度之间的差来计算融合比率，并且通过以获得的融合比率对所述像素的色度和识别出的图像的像素的色度进行融合来对所述像素组的色度进行校正。
所述校正的步骤可包括：基于像素组中包括的像素的色度和识别出的图像的与所述像素相应的像素的色度之间的差等于或大于预定值，对所述像素组的色度进行校正。
所述校正的步骤可包括：按照预定像素间隔确定像素组中包括的像素的色度和识别出的图像的与所述像素相应的像素的色度之间的差，并且对所述像素组中与获得的色度差等于或大于预定值的像素相邻的预定数量的像素的色度进行校正。
所述校正的步骤可包括：缩小像素组和识别出的图像的与所述像素组相应的区域各自的尺寸，确定在与各个缩小后的区域相应的位置处的像素的色度差，并且对所述像素组的与获得的色度差等于或大于预定值的像素相应的区域的色度进行校正。
所述校正的步骤可包括：保持像素组的亮度并且对所述像素组的色度进行校正。
根据示例性实施例，提供了一种具有用于执行图像处理方法的程序的计算机可读记录介质，其中，所述图像处理方法包括：通过使用具有不同亮度的多个图像来生成高动态范围(HDR)图像；在所述多个图像中确定将被用于针对获得的HDR图像对包括至少一个像素的每个像素组进行色度校正的图像；并且通过使用识别出的图像对每个像素组的色度进行校正。
附图说明
图1是用于解释根据本公开的实施例的图像处理系统的示图；
图2是用于解释根据本公开的实施例的图像处理设备的示意性配置的框图；
图3是用于解释根据本公开的实施例的图像处理设备的详细配置的框图；
图4是用于解释根据本公开的实施例的图像处理过程的框图；
图5是用于解释根据本公开的实施例的用于确定执行色度校正的区域的操作的示图；
图6是用于解释根据本公开的另一实施例的确定将执行颜色校正的区域的操作的示图；以及
图7是用于解释根据本公开的实施例的图像处理方法的流程图。
具体实施方式
将简要描述本说明书中使用的术语，并且将详细描述本公开。
本说明书中使用的所有术语(包括技术术语和科学术语)具有与本领域技术人员通常理解的相同的含义。然而，这些术语可根据本领域技术人员的意图、法律或技术解释以及新技术的出现而变化。另外，一些术语由申请人任意选择。这些术语可以以本文定义的含义来解释，并且除非另有说明，否则可基于本说明书的全部内容和本领域的公知技术知识来解释。
本发明不限于以下公开的实施例，并且可以以各种形式实施，并且本发明的范围不限于以下实施例。另外，从权利要求及其等同物的含义和范围导出的所有改变或修改应当被解释为包括在本公开的范围内。在以下描述中，可省略公知但与本公开的要旨无关的配置。
诸如“第一”、“第二”等的术语可用于描述各种元件，但元件不应受这些术语限制。所述术语仅用于将一个元件与其它元件区分开。
只要单数表达在上下文中没有不同的用意，则单数表达还包括复数含义。在本说明书中，诸如“包括”和“具有”的术语应当被解释为指定在说明书中存在这样的特征、数字、操作、元件、组件或其组合，而不排除添加其他特征、数字、操作、元件、组件或其组合中的一个或更多个的存在或可能性。
在示例性实施例中，“模块”、“单元”或“部件”执行至少一个功能或操作，并且可被实现为诸如处理器或集成电路的硬件、由处理器执行的软件或其组合。另外，除了应当以特定硬件实现的“模块”、“单元”或“部件”之外，多个“模块”、多个“单元”或多个“部件”可被集成到至少一个模块或芯片中，并且可被实现为至少一个处理器。
在下文中，将参照附图详细描述本公开的实施例，使得本领域技术人员能够容易地实施本发明。然而，本公开可以以多种不同的形式实施，并且不限于本文描述的实施例。为了在附图中清楚地示出本公开，为了清楚起见，省略了对完全理解本公开不是必需的一些元件，并且在整个说明书中相同的附图标记表示相同的元件。
在下文中，将参照附图更详细地描述本公开。
图1是用于解释根据本公开的实施例的图像处理系统的示图。
参照图1，根据本公开的实施例的图像处理系统1000可包括第一图像处理设备100-1和第二图像处理设备100-2。
具体地，第一图像处理设备100-1和第二图像处理设备100-2的动态范围可以是不同的。动态范围是指数字图像的最亮部分和最暗部分之间的对比率，并且可根据对比率的级别由低动态范围(LDR)、标准动态范围(SDR)、高动态范围(HDR)来定义。
图1示出了在第二图像处理设备100-2上显示由作为相机的第一图像处理设备100-1生成的图像的情况。然而，本公开不限于此，而是两个图像处理设备都可以是相机或显示设备，或者可包括能够进行图像处理的服务器。可选地，图像处理设备可包括能够进行图像处理的所有类型的设备，例如，移动装置(诸如PC、智能电话、机顶盒等)。
当第一图像处理设备100-1的动态范围比第二图像处理设备100-2的动态范围窄时，HDR图像用于在具有较宽动态范围的第二图像处理设备100-2上显示由第一图像处理设备100-1获得的低动态范围(LDR)图像和标准动态范围(SDR)图像。
当第一图像处理设备100-2的动态范围比第二图像处理设备100-2的动态范围宽时，可获得HDR图像，使得由第一图像处理设备100-1获得的图像的详细对比度被显示在具有窄动态范围的第二图像处理设备100-2上。
第一图像处理设备100-1可生成HDR图像并将HDR图像发送到第二图像处理设备100-2，或者第二图像处理设备100-2可从第一图像处理设备100-1接收图像并生成HDR图像。可选地，尽管未示出，但是诸如服务器的附加外部装置可通过使用从第一图像处理设备100-1接收到的图像来生成HDR图像，并且将生成的HDR图像发送到第二图像处理设备100-2。
图2是用于解释根据本公开的实施例的图像处理设备的示意性配置的框图。
参照图2，根据本公开的实施例的图像处理设备100可包括存储器110和处理器120。
存储器110可存储图像处理设备100的操作所必需的各种程序和数据。具体地，存储器110可存储具有不同亮度的多个图像。可连续地捕获多个图像或可通过使用单个图像生成多个图像。
可由图像处理设备100或外部装置连续捕获多个图像。可选地，可通过使用由图像处理设备100或外部装置捕获的单个原始图像来生成多个图像。多个图像可由捕获或接收原始图像的图像处理设备100生成，或者由外部装置生成并被发送到图像处理设备100。
处理器120可通过使用原始图像(即LDR图像或SDR图像)来生成HDR图像。处理器120可通过使用单个原始图像来生成HDR图像，或者通过对基于单个原始图像生成的具有不同亮度的多个图像进行合成来生成HDR图像。可选地，处理器120可通过对连续捕获的具有不同亮度的多个图像进行合成来生成HDR图像。用于通过使用信号图像或多个图像来生成HDR图像的方法可属于现有技术，因此将省略其详细描述。
处理器120可对生成的HDR图像执行色度校正。处理器120可针对生成的HDR图像中包括的每个像素组执行色度校正。像素组可包括至少一个像素。色度是指像素的除了颜色亮度之外的颜色属性，其表示像素的颜色、饱和度、色差等。处理器120可将生成的HDR图像划分为像素组尺寸，并且针对每个划分区域执行用于色度校正的图像确定和色度校正。
处理器120可根据图像的特性控制像素组的形状和像素的数量。处理器120可通过在输入图像中的边缘数量多的高频区域的情况下通过使像素组中具有少量像素以减小像素组的尺寸并且在边缘数量少的低频区域的情况下通过使像素组中具有大量的像素而增大像素组的尺寸来实现精细校正，从而降低计算量。
处理器120可针对生成的HDR图像的每个像素组选择用于色度校正的图像。处理器120可针对每个像素组在用于生成HDR图像的具有不同亮度的多个图像中选择将被用于色度校正的图像。
处理器120可将多个图像中与像素组相应的区域的亮度与该像素组的亮度进行比较，并且在所述多个图像中选择与该像素组相应的区域的亮度和该像素组的亮度之间的差最小的图像作为用于色度校正的图像。与像素组相应的区域是指在多个图像中的每个图像中与生成的HDR图像的像素组的位置相应的区域。另外，最小亮度差指差的绝对值最小。这是因为亮度和色度在颜色空间中不是独立的，因而具有最小亮度差的图像被选择为将被用于色度校正的图像，从而使由于颜色模糊校正引起的差最小化。
当像素组中包括多个像素时，处理器120可将多个像素的亮度的平均值进行比较，或者将像素组中的多个像素中具有最多数量的最小亮度差的像素的图像识别为将被用于色度校正的图像。用于基于亮度选择用于色度校正的图像的方法可变化。
如上所述，已经使用具有最小亮度差的图像作为将被用于色度校正的图像，但是在实现中，可应用各种方法，诸如选择在相应位置处具有最大色度差的图像作为将被用于色度校正的图像。
当生成的HDR图像的像素组的亮度和多个图像的与像素组相应的每个区域的亮度之间的差等于或大于预定值时，处理器120可将通过对多个图像进行融合而获得的图像识别为将被用于对像素组进行色度校正的图像。术语“融合”是指改变为相应位置处的像素值之间的值。
例如，如果通过使用高曝光图像、基本图像和低曝光图像来生成HDR图像，并且生成的HDR像素组的亮度是高曝光图像和基本图像的与像素组相应的各个区域的亮度之间的一半的值，则处理器120可将通过对作为具有相似亮度的前两个图像的高曝光图像和基本图像的色度进行融合而获得的图像确定为将被用于色度校正的图像。处理器120可考虑像素组的亮度与高曝光图像和基本图像的亮度的相似程度来确定融合比率。
当像素组中包括的像素的色度和确定的图像中与该像素相应的像素的色度之间的差等于或大于预定值时，可对该像素和包括该像素的像素组执行色度校正。当像素组中包括的像素的色度和确定的图像中与该像素相应的像素的色度之间的色度差小于预定值时，可不对该像素执行色度校正。
处理器120可基于像素对构成像素组的至少一个像素进行色度校正。
处理器120可确定像素组中包括的所有像素之间的色度差，并基于确定的色度差对像素的色度进行校正。例如，处理器120可确定像素组中包括的像素和与确定的图像相应的区域中包括的像素的颜色差，并且基于颜色差对像素组中包括的像素执行颜色和饱和度校正。
处理器120可以以预定比率缩小像素组和确定的区域的与像素组相应的区域，并且确定与各个缩小后的区域相应的像素的色度差。处理器120可仅对缩小之前的像素组中的区域中包括的如下所述的像素执行色度校正：所述像素与缩小后的区域中确定的色度差等于或大于预定值的像素相应。将参照图5进行其详细描述。
处理器120可按照预定的像素间隔确定像素组中包括的像素的色度和确定的图像的与该像素相应的像素的色度之间的差，并且仅对确定的色度差等于或大于预定值的像素和与其相邻的像素执行色度校正。将参照图6进行其详细描述。
如上所述，可通过仅针对一些像素校正色度差而不针对像素组中包括的所有像素校正色度差来减少用于运算的资源。
处理器120可通过使用融合比率来对像素组中包括的像素的色度进行校正，其中，融合比率是通过使用像素组中包括的像素的色度和确定的图像的与该像素相应的像素的色度之间的差来计算的。
处理器120可按照以下等式(1)通过使用像素组中包括的像素的色度和确定的图像的与该像素相应的像素的色度之间的差来计算融合比率。
Figure BDA0002473028770000091
其中，α是用于进行颜色校正的融合比率，β是用于进行饱和度校正的融合比率，i和j是像素的位置，HFs是像素组的像素的颜色值，HRef是确定的图像的像素的颜色值，K和T是存储器110中存储的任意设置值。α和β的范围在0和1之间。
处理器120可按照以下等式(2)通过使用基于等式(1)计算的融合比率来对像素的色度(颜色和饱和度)进行校正。
Figure BDA0002473028770000092
其中，SFs是像素组的像素的饱和度值，SRef是确定的图像的像素的饱和度值，VFs是像素组的像素的亮度值，VRef是确定的图像的像素的亮度值。
参照等式2，随着像素组中包括的像素的色度和确定的图像的与该像素相应的像素的色度之间的差增加，确定的图像的颜色和饱和度之间的比率可增加。
处理器120可按照以上等式(2)在保持像素组中包括的像素的亮度的同时对像素组的色度进行校正。
在以上描述中，已经基于HSV颜色空间描述了像素值。在实现中，本公开可被应用于基于Lab颜色空间和YCbCr颜色空间的值。如果像在RGB颜色空间中一样亮度值未被分离，则可通过转换到亮度值被分离的颜色空间(诸如HSV、Lab和YCbCr颜色空间)来应用本公开。
根据本公开的各种实施例，当通过广泛地增加动态范围来生成HDR图像时，可获得色彩丰富的图像同时抑制颜色模糊。
图3是用于解释根据本公开的实施例的图像处理设备的详细配置的框图。
参照图3，图像处理设备100可包括存储器110、处理器120、通信接口130、显示器140、按钮150、视频处理器160和捕获单元170。存储器110和处理器120与图2中所示的配置相同。因此，将省略冗余的描述。
处理器120可包括RAM 121、ROM 122、CPU 123、图形处理单元(GPU)124和总线125。RAM 121、ROM 122、CPU 123、图形处理单元(GPU)124等可经由总线125彼此连接。
CPU 123可访问存储器110并且通过使用存储器110中存储的操作系统(O/S)来执行启动。CPU 123可通过使用存储器110中存储的各种程序、内容、数据等来执行各种操作。
用于系统启动的命令集等可被存储在ROM122中。当开启命令被输入并且被供电时，CPU 123可根据ROM122中存储的命令将存储器110中存储的O/S复制到RAM121，运行O/S并且执行系统引导。当系统启动完成时，CPU 123可将存储器110中存储的各种程序复制到RAM121，运行被复制到RAM 121的程序并且执行各种操作。
当图像处理设备100的启动完成时，GPU 124可在显示器140上显示UI。具体地，GPU124可通过使用计算单元(未示出)和渲染单元(未示出)来生成包括各种对象(诸如图标、图像、文本等)的屏幕。计算单元可根据屏幕的布局来计算属性值(诸如对象的坐标值、形状、尺寸、颜色等)。渲染单元可基于由计算单元计算的属性值生成包括对象的各种布局的屏幕。由渲染单元生成的屏幕(或用户界面窗口)可被提供给显示器140并且被显示在主显示区域和子显示区域中。
通信接口130可被配置为根据各种类型的通信方法执行与各种类型的外部装置的通信。通信接口130可从外部装置接收LDR图像或SDR图像，并且将由处理器120生成或校正的HDR图像发送到外部装置(诸如附加显示设备)。通信接口130可从外部装置接收具有不同亮度的多个图像。
通信接口130可使用例如天线、电缆或端口以有线方式接收图像，或者经由例如Wi-Fi、蓝牙等以无线方式接收图像。在实现中，图像处理设备100可接收用户在图像处理设备100中设置的存储器110中存储的多个图像中选择的图像并对图像进行处理。
当图像处理设备100以无线方式执行通信时，通信接口130可包括Wi-Fi芯片、蓝牙芯片、无线通信芯片和NFC芯片。具体地，Wi-Fi芯片和蓝牙芯片可分别使用WiFi方法和蓝牙方法执行通信。当使用Wi-Fi芯片或蓝牙芯片时，可收发各种连通性信息(诸如SSID和会话密钥)，可基于连通性信息建立通信连接，并且可收发各种信息。通信芯片可指根据各种通信标准(诸如IEEE、ZigBee、第三代(3G)、第三代合作伙伴计划(3GPP)、长期演进(LTE)等)执行通信的芯片。NFC芯片可指按照使用各种RF-ID频带(诸如135kHz、13.56MHz、433MHz、860至960MHz、2.45GHz等)中的13.56MHz频带的近场通信(NFC)方法运行的芯片。
显示器140可显示由处理器120生成或校正的HDR图像。显示器140可用各种类型的显示器(诸如液晶显示器(LCD)、有机发光二极管(OLED)或等离子体显示面板(PDP)等)来实现。显示器140可包括以a-si TFT、低温多晶硅(LTPS)TFT、有机TFT(OTFT)等形式实施的驱动电路、背光单元等。显示器140可被实施为柔性显示器。
已经描述了在相同配置中执行显示功能和手势检测功能，但是可在不同配置中执行显示功能和手势检测功能。另外，根据各种实施例，显示器140可不被设置在图像处理设备100中。
按钮150可以是形成在图像处理设备100的主体的任意区域(诸如前表面部分、侧表面部分和后表面部分等)中的各种类型的按钮(诸如机械按钮、触摸板、轮等)。
视频处理器160可被配置为处理通过通信接口130接收的内容、或者存储器110中存储的内容中包括的视频数据。视频处理器160可执行视频数据的各种图像处理，诸如解码、缩放、噪声过滤、帧率转换、分辨率转换等。
捕获单元170可被配置为在用户的控制下捕获停止图像或视频。捕获单元170可捕获用于生成HDR图像的至少一个图像。
捕获单元170可包括镜头、图像传感器等。另外，捕获单元170可包括多个相机，诸如前表面相机、后表面相机等。根据本公开的各种实施例，捕获单元170可不被设置在图像处理设备100中。
虽然在图3中未示出，但是根据实施例，还可包括用于与各种外部端子连接的各种外部输入端口(诸如在图像处理设备100中可通过其连接USB连接器的USB端口、头戴式耳机、鼠标、LAN等)、用于接收和处理数字多媒体广播(DMB)信号的DMB芯片、以及各种传感器。
图4是用于解释根据本公开的实施例的图像处理过程的框图。
参照图4，图像处理设备可通过使用具有不同亮度的多个图像410来生成HDR图像420。多个图像410可包括高曝光图像、基本图像和低曝光图像。图4示出通过使用多个图像410来生成HDR图像420，但是在实现中，可通过使用单个图像来生成HDR图像，并且可应用任何类型的HDR图像生成方法。
图像处理设备可选择多个图像410中的一个图像作为参考图像430。参考图像430是指将被用于对生成的HDR图像420的色度进行校正的图像。
具体地，图像处理设备可选择具有作为HDR图像420的一部分的像素组的亮度和相应于该像素组的区域的亮度之间的最小亮度差的图像作为参考图像430。当作为HDR图像420的一部分的像素组的亮度和相应于该像素组的每个区域的亮度之间的差等于或大于预定值时，处理器120可将具有最小亮度差的前两个图像确定为参考图像430。
图像处理设备可基于参考图像430的与像素组相应的区域的色度和HDR图像420的像素组的色度之间的差来计算融合比率440。
图像处理设备可生成通过使用计算出的融合比率440基于H(颜色)融合450和S(饱和度)融合460对色度进行校正而获得的结果图像480。图像处理设备可生成通过根据计算的融合比率440对HDR图像420和参考图像430的颜色和饱和度进行融合来对色度进行校正而获得的结果图像480。已经关于图2详细描述了融合比率440的计算操作和色度校正操作，并且将省略冗余的描述。
图像处理设备可在通过色度校正生成图像结果图像480的过程中保持470亮度(V)。换句话说，图像处理设备可保持生成的HDR图像420的亮度。
在以上描述中，基于HSV颜色空间描述了像素值。在实现中，本公开可被应用于基于Lab颜色空间和YCbCr颜色空间的值。具体地，当使用Lab颜色空间时，图像处理设备可通过在保持L值的同时对值a和b进行融合来执行校正。当使用YCbCr颜色空间时，图像处理设备可通过在保持Y值的同时对Cb和Cr值进行融合来执行校正。
如果亮度值如在RGB颜色空间中那样未被分离，则可通过转换成亮度值可分离的HSV、Lab和YCbCr颜色空间来应用本公开的技术。
图5是用于解释根据本公开的实施例的用于确定执行色度校正的区域的操作的示图。图5示出通过缩小像素组的尺寸来确定用于执行色度校正的像素从而降低计算量的示例。
参照图5A，生成的HDR图像的像素组510可以是9×9的形式。然而，本公开不限于示例实施例，并且像素组可以是多边形而不是正方形的形式。
如图5B所示，图像处理设备可通过以1/3的比率缩小HDR图像的像素组510来生成缩小为3×3形式的像素组520。虽然未示出，但是图像处理设备可在被确定为将被用于对像素组510进行色度校正的图像的参考图像中以1/3的比率缩小与像素组510相应的区域。然而，在实现中，像素组的形式、尺寸、缩小比率等不限于图5，而是根据情况而改变。
图像处理设备可确定缩小后的像素组520和与参考图像的缩小后的区域相应的像素之间的色度差。例如，如图5B所示，当缩小后的像素组520的位置(2，3)处的像素521的色度差等于或大于预定值时，如图5C所示，图像处理设备可对像素组510中的与缩小后的像素组520的位置(2，3)处的像素521相应的区域522中包括的像素执行色度校正。
通过不对是否已对像素组中包括的所有像素执行了色度校正进行确定，可减少用于校正HDR图像的资源。
图6是用于解释根据本公开的另一实施例的确定用于执行颜色校正的区域的操作的示图。图6示出了通过以预定像素间隔确定像素组中包括的像素的色度差来降低用于色度校正的计算量的示例。
参照图6，图像处理设备可将生成的HDR图像的像素组610生成为21×16形式。然而，本公开不限于示例实施例，并且像素组可以是多边形而不是方形的形式。
图像处理设备可计算参考图像和HDR图像的像素组610中包括的多个像素中预定间隔为n的像素611之间的色度差。参照图6，预定间隔可包括行方向上的5(五)个像素以及列方向上的5(五)个像素，但在实现中不限于此。
当在具有预定间隔的像素611中存在与参考图像的色度差等于或大于预定值的像素612时，图像处理设备可对色度差等于或大于预定值的像素612以及预定数量的相邻像素613执行色度校正。图像处理设备可计算关于预定数量k的相邻像素613的按像素的色度差，并基于计算的色度差对色度进行校正。参照图5，在7×7区域中，预定数量的相邻像素可以是48个，该区域在其中心处包括色度差等于或大于预定值的像素612，但是在实现中，相邻区域的尺寸和形状不限于此。
可通过不对是否未对像素组中包括的所有像素执行色度校正进行确定来减少用于校正HDR图像的资源。
图7是用于解释根据本公开的实施例的图像处理方法的流程图。
参照图7，在步骤S710，图像处理设备可生成HDR图像。图像处理设备可通过使用单个图像或多个图像来生成HDR图像。可应用现有技术中的任何类型的HDR图像生成方法。
在步骤S720，图像处理设备可按像素组确定将被用于色度校正的图像。用于色度校正的图像可被称为参考图像。
图像处理图像可在具有不同亮度的多个图像中确定针对生成的HDR图像的每个像素组的参考图像。多个图像可以是用于生成HDR图像的多个图像，或者可通过控制用于生成HDR图像的单个图像的亮度来生成多个图像。
图像处理设备可将多个图像中的与像素组具有最小亮度差的图像确定为参考图像，并且当亮度差等于或大于预定值时，将通过具有小亮度差的前两个图像进行融合而获得的图像确定为参考图像。
在步骤S730，图像处理设备可对像素组的色度进行校正。图像处理设备可通过使用针对HDR图像的每个像素组确定的参考图像来对像素组的色度进行校正。图像处理设备可通过使用参考图像的与HDR图像的像素组相应的区域的色度和HDR图像的该像素组的色度之间的差来计算融合比率。另外，图像处理设备可通过使用计算出的融合比率来对像素组的色度进行校正。
图像处理设备可针对像素组中包括的所有像素计算用于色度校正的色度差，或者如图5和图6所示，图像处理设备可执行用于针对部分区域计算用于色度校正的色度差的操作。
根据本公开的各种实施例，可在通过大幅地增大动态范围来生成HDR图像时获得色彩丰富的图像，同时抑制颜色模糊。
上述各种实施例也可使用软件、硬件或它们的组合在由计算机或类似装置可读取的记录介质中实现。根据硬件实现，本公开中描述的实施例可使用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器和用于执行其他功能的电子单元中的至少一个来实现。在一些情况下，本文描述的实施例可由处理器120本身实现。在通过硬件的实现中，诸如本文描述的过程和功能的实施例可在单独的软件模块中实现。软件模块中的每个可执行本文描述的功能和操作中的一个或更多个。
另外，根据本公开的各种实施例的图像处理方法可被存储在非暂时性可读介质中。此类非暂时性可读介质可被用于各种装置中。
非暂时性计算机可读存储介质是指半永久地存储数据而不是非常短时间地存储数据(诸如寄存器、高速缓存和存储器)并且可由设备读取的介质。具体地，上述各种应用或程序可被存储在非暂时性计算机可读介质(诸如压缩盘(CD)、数字通用盘(DVD)、硬盘、蓝光盘、通用串行总线(USB)记忆棒、存储卡和只读存储器(ROM))中，并且可被提供。
尽管已经示出和描述了示例性实施例，但是本领域技术人员将理解，在不脱离本公开的原理和精神的情况下，可对这些示例性实施例进行改变。因此，本发明的范围不被解释为限于所描述的示例性实施例，而是由所附权利要求及其等同物限定。

Claims (15)

1.一种图像处理设备，包括：
存储器；和
处理器，被配置为通过使用存储器中存储的具有不同亮度的多个图像来获得高动态范围(HDR)图像，并且针对获得的HDR图像对包括至少一个像素的每个像素组的色度进行校正，
其中，所述处理器被配置为针对每个像素组在所述多个图像中识别将被用于色度校正的图像，并且通过使用识别出的图像来针对每个像素组的色度进行校正。
2.根据权利要求1所述的图像处理设备，其中，所述处理器还被配置为：将所述多个图像的与像素组相应的每个区域的亮度和所述像素组的亮度之间的差最小的图像识别为将被用于所述像素组的色度校正的图像。
3.根据权利要求1所述的图像处理设备，其中，所述处理器还被配置为：基于所述多个图像的与像素组相应的每个区域的亮度和所述像素组的亮度之间的差等于或大于预定值，将通过对所述多个图像中具有小亮度差的前两个图像的色度进行融合而获得的图像识别为用于所述像素组的色度校正的图像。
4.根据权利要求1所述的图像处理设备，其中，所述处理器还被配置为：基于像素对构成像素组的至少一个像素的色度进行校正。
5.根据权利要求1所述的图像处理设备，其中，所述处理器还被配置为：通过使用像素组中包括的像素的色度和识别出的图像的与所述像素相应的像素的色度之间的差来获得融合比率，并且通过以获得的融合比率对所述像素的色度和识别出的图像的像素的色度进行融合来对所述像素组的色度进行校正。
6.根据权利要求1所述的图像处理设备，其中，所述处理器还被配置为：基于像素组中包括的像素的色度和识别出的图像的与所述像素相应的像素的色度之间的差等于或大于预定值，对所述像素组的色度进行校正。
7.根据权利要求6所述的图像处理设备，其中，所述处理器还被配置为：按照预定像素间隔获得像素组中包括的像素的色度和识别出的图像的与所述像素相应的像素的色度之间的差，并且对所述像素组中与获得的色度差等于或大于预定值的像素相邻的预定数量的像素的色度进行校正。
8.根据权利要求6所述的图像处理设备，其中，所述处理器还被配置为：缩小所述像素组和识别出的图像的与所述像素组相应的区域各自的尺寸，获得与各个缩小后的区域相应的位置处的像素的色度差，并且对所述像素组的与获得的色度差等于或大于预定值的像素相应的区域的色度进行校正。
9.根据权利要求1所述的图像处理设备，其中，所述处理器还被配置为：基于原始图像被接收到，通过使用原始图像来获得具有不同亮度的多个图像，并将获得的多个图像存储在存储器中。
10.根据权利要求1所述的图像处理设备，其中，所述处理器还被配置为：保持像素组的亮度并对像素组的色度进行校正。
11.一种用于图像处理的方法，所述方法包括：
通过使用具有不同亮度的多个图像来获得高动态范围(HDR)图像；
在所述多个图像中识别将被用于针对获得的HDR图像对包括至少一个像素的每个像素组进行色度校正的图像；并且
通过使用获得的图像来对每个像素组的色度进行校正。
12.根据权利要求11所述的方法，其中，所述识别的步骤包括：将所述多个图像的与像素组相应的每个区域的亮度和所述像素组的亮度之间的差最小的图像识别为将被用于所述像素组的色度校正的图像。
13.根据权利要求11所述的方法，其中，所述识别的步骤包括：基于所述多个图像的与像素组相应的每个区域的亮度和所述像素组的亮度之间的差等于或大于预定值，使用通过对所述多个图像中具有小亮度差的前两个图像的色度进行融合而获得的图像作为将被用于所述像素组的色度校正的图像。
14.根据权利要求11所述的方法，其中，所述校正的步骤包括：基于像素对构成像素组的至少一个像素的色度进行校正。
15.根据权利要求11所述的方法，其中，所述校正的步骤包括：基于像素组中包括的像素的色度和识别出的图像的与所述像素相应的像素的色度之间的差来获得融合比率，并且通过以获得的融合比率对所述像素的色度和识别出的图像的像素的色度进行融合来对所述像素组的色度进行校正。
CN201880070734.3A 2017-10-31 2018-10-05 图像处理设备、用于处理图像的方法和计算机可读记录介质 Pending CN111295688A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020170143942A KR102408344B1 (ko) 2017-10-31 2017-10-31 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
KR10-2017-0143942 2017-10-31
PCT/KR2018/011772 WO2019088476A1 (en) 2017-10-31 2018-10-05 Image processing apparatus, method for processing image and computer-readable recording medium

Publications (1)

Publication Number Publication Date
CN111295688A true CN111295688A (zh) 2020-06-16

Family

ID=66244055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880070734.3A Pending CN111295688A (zh) 2017-10-31 2018-10-05 图像处理设备、用于处理图像的方法和计算机可读记录介质

Country Status (5)

Country Link
US (1) US10643316B2 (zh)
EP (1) EP3665644B1 (zh)
KR (1) KR102408344B1 (zh)
CN (1) CN111295688A (zh)
WO (1) WO2019088476A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115804080A (zh) * 2020-07-13 2023-03-14 高通股份有限公司 弱光条件下捕获的被颜色着色像素的校正

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200020090A1 (en) * 2019-07-31 2020-01-16 Intel Corporation 3D Moving Object Point Cloud Refinement Using Temporal Inconsistencies
US11418766B2 (en) 2019-12-17 2022-08-16 Samsung Electronics Co., Ltd. Apparatus and method for chroma processing for multi-frame fusion
WO2021125490A1 (ko) * 2019-12-17 2021-06-24 삼성전자 주식회사 Hdr 영상을 생성하는 전자 장치 및 그 동작 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8014445B2 (en) 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
ITVA20060082A1 (it) 2006-12-22 2008-06-23 St Microelectronics Srl "metodo di trattamento di un'immagine digitale per ridurre eventuali effetti di color bleeding"
US20090033755A1 (en) * 2007-08-03 2009-02-05 Tandent Vision Science, Inc. Image acquisition and processing engine for computer vision
US9036042B2 (en) 2011-04-15 2015-05-19 Dolby Laboratories Licensing Corporation Encoding, decoding, and representing high dynamic range images
KR101699919B1 (ko) 2011-07-28 2017-01-26 삼성전자주식회사 다중 노출 퓨전 기반에서 고스트 흐림을 제거한 ｈｄｒ 영상 생성 장치 및 방법
JP2013066142A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US8866876B2 (en) * 2011-12-07 2014-10-21 Futurewei Technologies, Inc. Color correction for multiple video objects in telepresence applications
JP5843599B2 (ja) 2011-12-19 2016-01-13 キヤノン株式会社 画像処理装置および撮像装置並びにその方法
US10382674B2 (en) 2013-04-15 2019-08-13 Qualcomm Incorporated Reference image selection for motion ghost filtering
KR101468433B1 (ko) 2014-05-16 2014-12-10 중앙대학교 산학협력단 결합된 색상 채널 변환 맵을 이용한 다이나믹 레인지 확장 장치 및 방법
US9626760B2 (en) 2014-10-30 2017-04-18 PathPartner Technology Consulting Pvt. Ltd. System and method to align and merge differently exposed digital images to create a HDR (High Dynamic Range) image
JP2016208118A (ja) 2015-04-16 2016-12-08 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US10097805B2 (en) * 2015-10-13 2018-10-09 Apple Inc. Multi-image color refinement with application to disparity estimation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115804080A (zh) * 2020-07-13 2023-03-14 高通股份有限公司 弱光条件下捕获的被颜色着色像素的校正

Also Published As

Publication number Publication date
EP3665644A4 (en) 2020-11-04
WO2019088476A1 (en) 2019-05-09
US20190130543A1 (en) 2019-05-02
EP3665644A1 (en) 2020-06-17
US10643316B2 (en) 2020-05-05
KR102408344B1 (ko) 2022-06-14
KR20190048753A (ko) 2019-05-09
EP3665644B1 (en) 2023-05-10

Similar Documents

Publication Publication Date Title
CN106251800B (zh) 用于增强可见度的显示系统及其方法
US10643316B2 (en) Image processing apparatus, method for processing image and computer-readable recording medium
KR102349384B1 (ko) 투명 디스플레이 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
US20160180558A1 (en) Display apparatus and controlling method
KR101773354B1 (ko) Rgbw 동적 컬러 충실도 제어
KR102259693B1 (ko) 투명 디스플레이 장치 및 그의 디스플레이 방법
US10170079B2 (en) Display apparatus and display panel driving method thereof
US10650784B2 (en) Display device, television receiver, display method, and recording medium
CN108141576B (zh) 显示装置及其控制方法
US20140313366A1 (en) Method of processing image and electronic device and system supporting the same
CN111095350A (zh) 图像处理设备、用于处理图像的方法和计算机可读记录介质
US10868968B2 (en) Display apparatus and control method thereof
EP3664445A1 (en) Image processing method and device therefor
US9576337B2 (en) Image processing apparatus and control method thereof
KR102558290B1 (ko) 전자 장치 및 그 제어 방법
US10121265B2 (en) Image processing device and method to calculate luminosity of an environmental light of an image
US11336905B2 (en) Storing index information for pixel combinations with similarity to a pixel to replace the pixel information
US11315223B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
US20190180427A1 (en) Display apparatus and method of controlling the same
US11961206B2 (en) Image generation using non-linear scaling and tone-mapping based on cubic spline curves
CN115623120A (zh) 叠屏显示设备和图像显示清晰度的调整方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination