CN113691785B - 局部色调映射电路、图像感测装置及其操作方法 - Google Patents

局部色调映射电路、图像感测装置及其操作方法 Download PDF

Info

Publication number
CN113691785B
CN113691785B CN202110191211.8A CN202110191211A CN113691785B CN 113691785 B CN113691785 B CN 113691785B CN 202110191211 A CN202110191211 A CN 202110191211A CN 113691785 B CN113691785 B CN 113691785B
Authority
CN
China
Prior art keywords
pixel data
local tone
value
tone mapping
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110191211.8A
Other languages
English (en)
Other versions
CN113691785A (zh
Inventor
闵昌基
金镇寿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Hynix Inc
Original Assignee
SK Hynix Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SK Hynix Inc filed Critical SK Hynix Inc
Publication of CN113691785A publication Critical patent/CN113691785A/zh
Application granted granted Critical
Publication of CN113691785B publication Critical patent/CN113691785B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了局部色调映射电路、图像感测装置及其操作方法。局部色调映射电路可以包括：平均值计算电路，其适于计算从包括多个像素的像素阵列输出的像素数据当中的中央像素数据与中央像素数据的相邻像素数据之间的差的绝对值的平均值；范围计算电路，其适于计算中央像素数据与相邻像素数据之间的差的绝对值中的最大值和最小值之间的范围；以及局部色调映射强度调整电路，其适于基于由范围计算电路计算出的最大值和最小值之间的范围和由平均值计算电路计算出的平均值根据中央像素与中央像素的相邻像素当中的边缘像素之间的距离来不同地分配权重值，并根据所分配的权重值来调整局部色调映射强度。

Description

局部色调映射电路、图像感测装置及其操作方法
技术领域
本发明的各种实施方式总地涉及半导体装置。具体地，各种实施方式涉及局部色调(local tone)映射电路、图像感测装置及其操作方法。
背景技术
近来，计算机环境范例已转移到无处不在的计算，这使得计算机系统几乎能够随时随地使用。结果，诸如移动电话、数码相机、笔记本计算机等的便携式电子装置的使用已经迅速增加。
近来，由于显示装置的快速发展，已经加速了诸如相机和便携式摄像机之类的具有图像传感器的图像拍摄装置的开发。图像拍摄装置可以拍摄图像并将拍摄的图像记录在记录介质中，并且同时可以在任何时间再现图像。因此，随着图像拍摄装置的用户数量增加，对图像拍摄装置中更多功能的需求也增加。具体地，除了图像拍摄装置的紧凑尺寸、减轻的重量和更低的功耗之外，还期望对于高性能和多功能的更多功能。
发明内容
本发明的实施方式涉及能够减少失真现象的局部色调映射电路、图像感测装置及其操作方法。失真现象可以是例如在局部色调映射操作中可能发生的光晕伪影。该操作可以使用从包括多个像素的像素阵列输出的像素数据当中的中央像素数据与中央像素数据的相邻像素数据之间的差的绝对值的平均值。
在实施方式中，局部色调映射电路可以包括：平均值计算电路，其适于计算从包括多个像素的像素阵列输出的像素数据当中像素阵列的相应内核(kernel)中的中央像素数据与中央像素数据的相邻像素数据之间的差的绝对值的平均值；范围计算电路，其适于计算绝对值中的最大值和最小值之间的范围；以及局部色调映射强度调整电路，其适于基于范围和平均值，根据中央像素与中央像素的相邻像素当中的边缘像素之间的距离，为像素数据分配权重值，并根据所分配的权重值调整局部色调映射强度。
局部色调映射强度调整电路可以根据中央像素与边缘像素之间的距离基于设定阈值来设置权重值。
权重值是通过下式计算的：
Figure BDA0002945217600000021
其中，“dweight”表示根据中央像素和边缘像素之间的距离的权重值，“dif_aver”表示中央像素数据和相邻像素数据之间的差的绝对值的平均值，“dif_max”表示中央像素数据和相邻像素数据之间的差的绝对值的最大值，并且“dif_min”表示中央像素数据和相邻像素数据之间的差的绝对值的最小值。
当范围大于设定值并且平均值小于设定值时，局部色调映射强度调整电路可以减小局部色调映射强度。
当范围小于设定值并且平均值大于设定值时，局部色调映射强度调整电路可以增大局部色调映射强度。
在另一实施方式中，图像感测装置可以包括：图像传感器，其包括具有多个像素的像素阵列；图像信号处理器，其适于处理图像传感器的输出信号；以及局部色调映射电路，其包括：平均值计算电路，其适于计算从像素阵列输出的像素数据当中的中央像素数据与中央像素数据的相邻像素数据之间的差的绝对值的平均值；范围计算电路，其适于计算绝对值中的最大值和最小值之间的范围；以及局部色调映射强度调整电路，其适于基于范围和平均值，根据中央像素与中央像素的相邻像素当中的边缘像素之间的距离，为像素数据分配权重值，并根据所分配的权重值调整局部色调映射强度。
局部色调映射强度调整电路可以根据中央像素与边缘像素之间的距离基于设定阈值来设置权重值。
局部色调映射强度调整电路可以通过下式来计算权重值，
Figure BDA0002945217600000022
其中，“dweight”表示根据中央像素和边缘像素之间的距离的权重值，“dif_aver”表示中央像素数据和相邻像素数据之间的差的绝对值的平均值，“dif_max”表示中央像素数据和相邻像素数据之间的差的绝对值的最大值，并且“dif_min”表示中央像素数据和相邻像素数据之间的差的绝对值的最小值。
当范围大于设定值并且平均值小于设定值时，局部色调映射强度调整电路可以减小局部色调映射强度。
当范围小于设定值并且平均值大于设定值时，局部色调映射强度调整电路可以增大局部色调映射强度。
在另一实施方式中，感测装置的操作方法可以包括以下步骤：计算从包括多个像素的像素阵列输出的像素数据当中的中央像素数据与中央像素数据的相邻像素数据之间的差的绝对值的平均值；计算绝对值中的最大值和最小值之间的范围；基于范围和平均值，根据中央像素与中央像素的相邻像素当中的边缘像素之间的距离，为像素数据分配权重值；以及根据所分配的权重值来调整局部色调映射强度。
分配权重值的步骤可以包括：根据中央像素与边缘像素之间的距离，基于设定阈值来设置权重值。
权重值是通过下式计算的：
Figure BDA0002945217600000031
其中，“dweight”表示根据中央像素和边缘像素之间的距离的权重值，“dif_aver”表示中央像素数据和相邻像素数据之间的差的绝对值的平均值，“dif_max”表示中央像素数据和相邻像素数据之间的差的绝对值的最大值，并且“dif_min”表示中央像素数据和相邻像素数据之间的差的绝对值的最小值。
调整局部色调映射强度的步骤可以包括：当范围大于设定值并且平均值小于设定值时，减小局部色调映射强度。
调整局部色调映射强度的步骤可以包括：当范围小于设定值并且平均值大于设定值时，增大局部色调映射强度。
在另一实施方式中，图像感测装置可以包括：图像传感器，其包括具有多个像素的像素阵列；以及局部色调映射电路，该局部色调映射电路适于：从像素阵列接收像素数据，该像素数据包括设定内核中的多个像素项；计算多个像素项当中的中央像素项和与中央像素项相邻的每个相邻像素项之间的差的绝对值；基于绝对值中的最大值和最小值之间的范围和绝对值的平均值，为中央像素项分配权重值；以及根据权重值调整中央像素项的局部色调映射强度。
通过以下附图和详细描述，本发明的领域的普通技术人员将理解本发明的这些和其它特征和优点。
附图说明
本文的描述参考了附图，其中，贯穿若干视图，相似的附图标记指代相似的部件。
图1是例示根据本发明的实施方式的采用局部色调映射电路的图像感测装置的框图。
图2是例示根据本发明的实施方式的采用局部色调映射电路的图像感测装置的框图。
图3是例示根据本发明的实施方式的局部色调映射电路的框图。
图4是例示图3所示的局部色调映射电路中的5×5像素尺寸的内核的图。
图5是例示根据本发明的实施方式的图像感测装置的操作的流程图。
图6是例示根据本发明的实施方式的被配置为实现图像感测装置的系统的框图。
具体实施方式
下面参照附图更详细地描述本发明的各种示例。本发明可以以其它实施方式、形式和及其变型来实现，并且不应被解释为限于本文阐述的实施方式。而是，提供了所描述的实施方式，使得本发明是透彻和完整的，并且将本发明充分传达给本发明所属领域的技术人员。贯穿说明书，对“一实施方式”、“另一实施方式”等的引用并非必须意味着仅一个实施方式，并且对任何这样的短语的不同引用并非必须指代相同的实施方式。
将理解的是，尽管在本文中可以使用术语“第一”、“第二”、“第三”等来标识各种元件，但是这些元件不受这些术语的限制。这些术语用于将一个元件与否则具有相同或相似名称的另一元件区分开。因此，在一个实例中的第一元件可以在另一实例中被称为第二元件或第三元件，而没有指示元件本身的任何改变。
附图不一定按比例绘制，并且在一些情况下，比例可能已经夸大以清楚地示出实施方式的特征。当元件被称为连接或联接到另一元件时，应当理解，前者可以直接连接或联接到后者，或者经由一个或更多个中间元件电连接或联接到后者。除非上下文另有指示，否则无论两个元件是直接还是间接地连接/联接，两个元件之间的通信可以是有线的或者无线的。另外，还将理解的是，当元件被称为在两个元件“之间”时，该元件可以是两个元件之间的唯一元件，或者也可以存在一个或更多个中间元件。
本文所使用的术语仅出于描述特定实施方式的目的，并非旨在限制本发明。
如本文所使用的，单数形式旨在包括复数形式，反之亦然，除非上下文另外明确指出。除非另外指定或者从上下文可以清楚地理解为单数形式，否则在本申请和所附权利要求书中使用的冠词“一(a)”和“一(an)”通常应被解释为“一个或更多个”。
还将理解的是，当在本说明书中使用时，术语“包括”、“包括的”、“包含”和“包含的”指定存在所提及的元件，并且不排除存在或添加一个或更多个其它元件。如本文所使用的，术语“和/或”包括相关联的所列项目中的一个或更多个的任何和所有组合。
除非另有定义，否则本文所用的包括技术术语和科学术语在内的所有术语具有与本发明所属领域的普通技术人员通常所理解的含义相同的含义。还将理解的是，除非本文明确地如此定义，否则诸如在常用词典中定义的那些术语应被解释为具有与它们在相关技术和本发明的上下文中的含义一致的含义，而不是在理想化或过分形式化的意义上来解释术语。
在下面的描述中，阐述了许多具体细节以便提供对本发明的透彻理解。可以在没有一些或所有这些具体细节的情况下实践本发明。在其它情况下，没有详细描述公知的过程结构和/或过程，以免不必要地模糊本发明。
还应注意，在一些情况下，如相关领域的技术人员显而易见的，除非另外特别指出，否则结合一个实施方式描述的特征或元件可以单独使用或与另一实施方式的其它特征或元件组合使用。
参照附图详细描述本发明的实施方式。
图1是例示根据本发明的实施方式的图像感测装置10的框图。
参照图1，图像感测装置10可以包括图像传感器100和图像信号处理器(ISP)400。
图像感测装置10可以在诸如个人计算机(PC)或移动计算装置之类的可以接收和处理图像数据的任何合适的电子装置中实现。
更具体地，图像感测装置10可以被实现在膝上型计算机、移动电话、智能电话、平板、个人数字助理(PDA)、企业数字助理(EDA)、数码照相机、数码摄像机、便携式多媒体播放器(PMP)、移动互联网装置(MID)、可穿戴计算机、物联网(IoT)或万物互联(IoE)中。
图像传感器100可以包括像素阵列200和局部色调映射电路300。
像素阵列200可以包括多个像素。在本文中，像素可以表示像素数据，并且可以具有RGB数据格式、YUV数据格式或YCbCr数据格式。然而，注意，本发明不限于上述数据格式。
局部色调映射电路300可以计算从像素阵列200输出的像素数据当中的中央像素数据和相邻像素数据之间的差的绝对值的平均值。此外，局部色调映射电路300可以计算中央像素数据和相邻像素数据之间的差的绝对值中的最大值和最小值之间的范围，并且基于根据中央像素与中央像素的相邻像素当中的边缘像素之间的距离而分配的权重值来调整局部色调映射强度。
局部色调映射电路300可以如图3至图5所示地实现。
稍后将参照图3至图5详细描述局部色调映射电路300的详细配置和操作。
图像信号处理器400可以在集成电路、片上系统(SoC)或移动应用处理器中实现。图像信号处理器400可以处理图像传感器100的输出信号。也就是说，图像信号处理器400可以接收并处理从图像传感器100的局部色调映射电路300输出的图像输出信号。
更具体地，图像信号处理器400可以从与像素数据相对应的拜耳(Bayer)图案生成RGB图像数据。例如，图像信号处理器400可以处理拜耳图案，以使得在显示器中显示图像数据，并且可以向接口传送经处理的图像数据。
在实施方式中，图像传感器100和图像信号处理器400中的每个可以被实现为多芯片封装件(MCP)。在另一实施方式中，图像传感器100和图像信号处理器400可以被实现为单个芯片。
图2是例示根据本发明的实施方式的图像感测装置10的框图。
参照图2，图像感测装置10可以包括图像传感器100和图像信号处理器(ISP)400。图像信号处理器400可以包括局部色调映射电路300。
可以如图3至图5所示地实现局部色调映射电路300。
除了不是在图像传感器100内部而是在图像信号处理器400中实现局部色调映射电路300之外，图2中所示的图像感测装置10的结构和操作可以与图1所示的图像感测装置10的结构和操作基本上相同。因此，可以省略图2的图像传感器装置10的详细描述。
在下文中，参照图3至图5描述局部色调映射电路300。
图3是例示根据本发明的实施方式的局部色调映射电路300的框图。图4是例示图3所示的局部色调映射电路300中的5×5像素尺寸的内核的图。图5是例示根据本发明的实施方式的图像感测装置的操作的流程图。
参照图3，局部色调映射电路300可以包括平均值计算电路310、范围计算电路320和局部色调映射强度调整电路330。
平均值计算电路310可以计算从包括多个像素的像素阵列输出的像素数据当中的中央像素数据Pcenter(例如，图4的P33)与中央像素数据相邻的相邻像素数据(例如，图4中除P33之外的P11至P55)之间的差的绝对值的平均值。
在本文中，可以根据式1计算中央像素数据Pcenter与相邻像素数据P11至P55之间的差的绝对值的平均值。
[式1]
Figure BDA0002945217600000071
其中，“dif_aver”表示中央像素数据和相邻像素数据之间的差的绝对值的平均值，“N”表示内核尺寸，“abs(Pcenter-Px，y)”表示中央像素数据和相邻像素数据之一之间的差的绝对值，“Pcenter”表示位于具有(n×n)的尺寸的内核的中央像素的像素数据，并且“Px，y”表示在具有(n×n)的尺寸的内核中坐标为(x，y)的像素数据。
在本发明的实施方式中，“N”可以为“5”，并且“Px，y”表示与具有(n×n)的尺寸的内核中的P11至P55相对应的像素数据。
范围计算电路320可以计算中央像素数据Pcenter与相邻像素数据P11至P55之间的差的绝对值的最大值与最小值之间的范围。
在本文中，可以根据式2计算中央像素数据Pcenter与相邻像素数据P11至P55之间的差的绝对值的最大值与最小值之间的范围。
[式2]
dif_max＝max(abs(Pcenter-Px，y))
dif_min＝min(abs(Pcenter-Px，y))，
其中，“dif_max”表示中央像素数据与相邻像素数据之间的差的绝对值的最大值，“dif_min”表示中央像素数据与相邻像素数据之间的差的绝对值的最小值，“abs(Pcenter-Px，y)”表示中央像素数据和相邻像素数据之间的差的绝对值，“Pcenter”表示位于具有(n×n)的尺寸的内核的中央像素中的像素数据并且“Px，y”表示具有(n×n)的尺寸的内核中坐标为(x，y)的像素数据。
局部色调映射强度调整电路330可以基于由范围计算电路320计算出的最大值和最小值之间的范围以及由平均值计算电路310计算出的平均值，根据相应内核中的中央像素和中央像素的相邻像素当中的边缘像素之间的距离，为像素数据不同地分配权重值。此外，局部色调映射强度调整电路330可以根据分配的权重值来调整局部色调映射强度。
在本文中，可以根据式3计算所分配的权重值。
[式3]
Figure BDA0002945217600000081
其中，“dweight”表示根据内核中的中央像素与中央像素的相邻像素当中的边缘像素之间的距离的权重值，“dif_aver”表示中央像素数据与相邻像素数据之间的差的绝对值的平均值，“dif_max”表示中央像素数据与相邻像素数据之间的差的绝对值的最大值，并且“dif_min”表示中央像素数据和相邻像素数据之间的差的绝对值的最小值。
此外，局部色调映射强度调整电路330可以根据中央像素与中央像素的相邻像素当中的边缘像素之间的距离，基于预定阈值为像素数据设置权重值。
当中央像素数据Pcenter与相邻像素数据P11至P55之间的差的绝对值的最大值与最小值之间的范围大于预定值并且中央像素数据Pcenter与相邻像素数据P11至P55之间的差的绝对值的平均值小于预定值时，局部色调映射强度调整电路330可以减小局部色调映射强度。在本文中，可以确定边缘像素和相应像素彼此相对远离地布置。如果减小局部色调映射强度，则可以减小边缘像素图像数据对低频的影响。
当中央像素数据Pcenter与相邻像素数据P11至P55之间的差的绝对值的最大值与最小值之间的范围小于预定值并且中央像素数据Pcenter和相邻像素数据P11至P55之间的差的绝对值的平均值大于预定值时，局部色调映射强度调整电路330可以增大局部色调映射强度。在本文中，可以确定边缘像素和相邻像素数据P11至P55彼此相对靠近地布置。因此，可以防止诸如光晕伪影之类的失真现象广泛散布。
在下文中，将参照图5描述根据本发明的实施方式的图像感测装置的操作。图5是例示根据本发明的实施方式的图像感测装置(例如，图1和图2中的图像感测装置10)的操作的流程图。
参照图5，根据本发明的另一实施方式的图像感测装置的操作可以包括平均值计算操作S1000、范围计算操作S2000、权重值分配操作S3000和局部色调映射强度调整操作S4000。
在操作S1000中，可以计算从包括多个像素的像素阵列输出的像素数据当中的中央像素数据Pcenter与中央像素数据Pcenter的相邻像素数据P11至P55之间的差的绝对值的平均值。
在本文中，可以根据式1计算中央像素数据Pcenter与相邻像素数据P11至P55之间的差的绝对值的平均值。
在操作S2000中，可以计算中央像素数据Pcenter与相邻像素数据P11至P55之间的差的绝对值的最大值与最小值之间的范围。
在本文中，可以根据式2计算中央像素数据Pcenter与相邻像素数据P11至P55之间的差的绝对值的最大值与最小值之间的范围。
在操作S3000中，可以基于在操作S2000中计算出的最大值和最小值之间的范围以及在操作S1000中计算出的平均值来不同地分配根据中央像素和边缘像素之间的距离的权重值。
在本文中，可以根据式3分配根据中央像素与边缘像素之间的距离的权重值。
在操作S4000，可以根据不同地分配的权重值来调整局部色调映射强度。
当中央像素数据与相邻像素数据之间的差的绝对值的最大值与最小值之间的范围大于设定值并且中央像素数据和相邻像素数据之间的差的绝对值的平均值小于设定值时，可以减小局部色调映射强度。
当中央像素数据与相邻像素数据之间的差的绝对值的最大值与最小值之间的范围小于设定值并且中央像素数据和相邻像素数据之间的差的绝对值的平均值大于预定值时，可以增大局部色调映射强度。
在下文中，参照图6详细描述根据本发明的实施方式的被配置为实现图像感测装置的系统。
图6例示了根据本发明的实施方式的被配置为实现图像感测装置的系统。
在各种实施方式中，图6的系统可以是各种类型的计算装置中的任何一种，各种类型的计算装置包括但不限于：个人计算机系统、台式计算机、膝上型计算机或笔记本计算机、大型计算机系统、手持式计算装置、蜂窝电话、智能电话、移动电话、工作站、网络计算机、消费者装置、应用服务器、储存装置、智能显示器、诸如交换机、调制解调器、路由器等的外围装置、或者普通的任何类型的计算装置。根据实施方式，图6的系统可以表示片上系统(SoC)。SoC 1000的电路可以集成到单个半导体基板上以作为集成电路“芯片”。在一些实施方式中，电路可以在系统中的两个或更多个分立芯片上实现。SoC 1000将用作本文的示例。
在所例示的实施方式中，SoC 1000的电路包括中央处理单元(CPU)复合体1020、片上外围电路1040A-1040B(更简单地，“外设”)、存储器控制器(MC)1030、通信结构(communication fabric)1010和图像信号处理器400。SoC 1000还可以联接到诸如存储器1800和图像传感器100之类的附加电路。电路1020、1030、1040A-1040B和400可以全部联接到通信结构1010。存储器控制器1030可以联接到存储器1800，并且外设1040B可以联接到外部接口1900。另外，图像信号处理器400可以联接到图像传感器100。
外设1040A-1040B可以是SoC 1000中的附加硬件功能的任何集合。例如，外设1040A-1040B可以包括被配置为在一个或更多个显示装置上显示视频数据的显示控制器、图形处理单元(GPU)、视频编码器/解码器、定标器、旋转器、混合器(blender)等。
在一些实施方式中，图像信号处理器400可以是被配置为处理来自图像传感器100(或其它图像传感器)的图像捕获数据的另一视频外设的一部分。图像信号处理器400和图像传感器100可以被配置为实现图1至图5所示的图像传感器400和图像传感器100。
外设1040A-1040B还可以包括诸如麦克风、扬声器、到麦克风和扬声器的接口、音频处理器、数字信号处理器、混频器之类的音频外设。外设1040A-1040B(例如，外设1040B)可以包括用于至SoC 1000的外部的各种接口1900的外围接口控制器，各种接口包括诸如通用串行总线(USB)、包括PCI-快速(PCIe)的外围电路互连(PCI)、串行和并行端口等的接口。外设1040A-1040B还可以包括诸如媒体访问控制器(MAC)之类的联网外设。通常，根据各种实施方式，可以包括任何硬件套件。
CPU复合体1020可以包括用作SoC 1000的CPU的一个或更多个处理器(P)1024。处理器1024可以执行系统的诸如操作系统之类的主控制软件。通常，由CPU执行的软件可以控制系统的其它电路以实现系统的期望功能。处理器1024还可以执行诸如应用程序之类的其它软件。应用程序可以提供用户功能，并且可以依赖于操作系统来进行下层装置控制。因此，处理器1024也可以被称为应用处理器。CPU复合体1020可以进一步包括诸如L2缓存1022和/或到系统的其它电路的接口(例如，到通信结构1010的接口)之类的其它硬件。
通常，处理器可以包括被配置为执行在由处理器实现的指令集架构中定义的指令的任何电路和/或微代码。响应于执行指令而由处理器操作的指令和数据通常可以存储在存储器1800中，尽管也可以定义一些指令以用于对外设的直接处理器访问。处理器可以涵盖与其它电路一起在集成电路上实现为片上系统(SOC 1000)或者以其它集成水平实现的处理器核心。处理器还可以涵盖分立的微处理器、集成到多芯片模块实现中的处理器核心和/或微处理器、实现为多个集成电路的处理器等。
存储器控制器1030通常可以包括用于从SoC 1000的其它电路接收存储器操作以及用于访问存储器1800以完成存储器操作的电路。存储器控制器1030可以被配置为访问任何类型的存储器1800。例如，存储器1800可以是静态随机存取存储器(SRAM)或诸如包括双倍数据速率(DDR、DDR2、DDR3等)DRAM的同步DRAM(SDRAM)之类的动态RAM(DRAM)。可以支持低功耗/移动版本的DDR DRAM(例如，LPDDR、mDDR等)。存储器控制器1030可以包括用于存储器操作的队列，以对操作进行排序(并且可能重新排序)并将操作呈现给存储器1800。存储器控制器1030还可以包括数据缓冲器，以存储等待写入存储器的写入数据和等待返回到存储器操作的源的读取数据。在一些实施方式中，存储器控制器1030可以包括存储器缓存，以存储最近访问的存储器数据。例如，在SoC实现中，存储器缓存可以通过避免从存储器1800重新访问数据(如果它被预期很快再次被访问)来减少SoC中的功耗。在一些情况下，与诸如仅用于一些电路的L2缓存1022或处理器1024中的缓存之类的专用缓存不同，存储器缓存也可以称为系统缓存。附加地，在一些实施方式中，系统缓存不必位于存储器控制器1030内。
在实施方式中，存储器1800可以以芯片叠层或封装体叠层构造与SoC 1000封装在一起。也可以使用SoC 1000和存储器1800的多芯片模块构造。这样的构造(就数据可观察性而言)可以比至系统中的其它电路(例如，至端点)的传输相对更安全。因此，受保护的数据可以未加密地驻留在存储器1800中，而受保护的数据可以被加密以在SoC 1000和外部端点之间交换。
通信结构1010可以是用于在SoC 1000的电路之间进行通信的任何通信互连和协议。通信结构1010可以是基于总线的，包括共享总线构造、交叉开关构造以及具有桥的分级总线。通信结构1010也可以是基于分组的，并且可以是具有桥的分级结构、交叉开关、点对点或其它互连。
注意，SoC 1000的电路的数量(以及CPU复合体1020内的子电路的数量)可以随实施方式而变化。每个电路/子电路可以比图6中所示的数量更多或更少。
在一些实施方式中，本文描述的方法可以由计算机程序产品或软件来实现。在一些实施方式中，非暂时性计算机可读存储介质可以在其上存储有指令，指令可以用于对计算机系统(或其它电子装置)进行编程以执行本文所述的一些或全部技术。计算机可读存储介质可以包括用于以机器(例如，计算机)可读的形式(例如，软件、处理应用)存储信息的任何机制。机器可读介质可以包括但不限于磁性存储介质(例如，软盘)；光存储介质(例如，CD-ROM)；磁-光存储介质；只读存储器(ROM)；随机存取存储器(RAM)；可擦除可编程存储器(例如，EPROM和EEPROM)；闪存或适合存储程序指令的电子的或其它类型的介质。另外，可以使用光学、声学或其它形式的传播信号(例如，载波、红外信号、数字信号等)来通信程序指令。
如上所述，根据本发明的实施方式的局部色调映射电路、图像感测装置及其操作方法可以使用从包括多个像素的像素阵列输出的像素数据当中的中央像素数据与中央像素数据的相邻像素数据之间的差的绝对值的平均值来减少在局部色调映射操作中出现的诸如光晕伪影之类的失真现象。
虽然本发明例示并描述了特定的实施方式，但是本领域技术人员在本发明的教导下显而易见的是，在不脱离如所附权利要求限定的本发明的精神和范围的情况下，可以进行各种变型和修改。本发明可以在所有这些变型和修改落入权利要求的范围内的程度上涵盖所有这些变型和修改。
相关申请的交叉引用
本专利申请要求于2020年5月18日提交的韩国专利申请No.10-2020-0059164的优先权，其全部内容通过引用合并于此。

Claims (16)

1.一种局部色调映射电路，该局部色调映射电路包括：
平均值计算电路，所述平均值计算电路被配置用于计算从包括多个像素的像素阵列输出的像素数据当中的像素阵列的相应内核中的中央像素数据与所述中央像素数据的相邻像素数据之间的差的绝对值的平均值；
范围计算电路，所述范围计算电路被配置用于计算所述绝对值中的最大值和最小值之间的范围；以及
局部色调映射强度调整电路，所述局部色调映射强度调整电路被配置用于基于所述范围和所述平均值根据中央像素与所述中央像素的相邻像素当中的边缘像素之间的距离来为所述像素数据分配权重值，并且根据所分配的权重值来调整局部色调映射强度。
2.根据权利要求1所述的局部色调映射电路，其中，所述局部色调映射强度调整电路根据所述中央像素与所述边缘像素之间的所述距离基于设定阈值来设置所述权重值。
3.根据权利要求2所述的局部色调映射电路，其中，所述权重值是通过下式计算的：
Figure FDA0002945217590000011
其中，“dweight”表示根据所述中央像素和所述边缘像素之间的距离的权重值，“dif_aver”表示所述中央像素数据和所述相邻像素数据之间的差的绝对值的所述平均值，“dif_max”表示所述中央像素数据和所述相邻像素数据之间的差的绝对值的所述最大值，并且“dif_min”表示所述中央像素数据和所述相邻像素数据之间的差的绝对值的所述最小值。
4.根据权利要求1所述的局部色调映射电路，其中，当所述范围大于设定值并且所述平均值小于所述设定值时，所述局部色调映射强度调整电路减小所述局部色调映射强度。
5.根据权利要求1所述的局部色调映射电路，其中，当所述范围小于设定值并且所述平均值大于所述设定值时，所述局部色调映射强度调整电路增大所述局部色调映射强度。
6.一种图像感测装置，该图像感测装置包括：
图像传感器，所述图像传感器包括具有多个像素的像素阵列；
图像信号处理器，所述图像信号处理器被配置用于处理所述图像传感器的输出信号；以及
局部色调映射电路，所述局部色调映射电路包括：
平均值计算电路，所述平均值计算电路被配置用于计算从所述像素阵列输出的像素数据当中的中央像素数据与所述中央像素数据的相邻像素数据之间的差的绝对值的平均值；
范围计算电路，所述范围计算电路被配置用于计算所述绝对值中的最大值和最小值之间的范围；以及
局部色调映射强度调整电路，所述局部色调映射强度调整电路被配置用于基于所述范围和所述平均值根据中央像素与所述中央像素的相邻像素当中的边缘像素之间的距离来为所述像素数据分配权重值，并且根据所分配的权重值来调整局部色调映射强度。
7.根据权利要求6所述的图像感测装置，其中，所述局部色调映射强度调整电路根据所述中央像素与所述边缘像素之间的所述距离基于设定阈值来设置所述权重值。
8.根据权利要求7所述的图像感测装置，其中，所述权重值是通过下式计算的：
Figure FDA0002945217590000021
其中，“dweight”表示根据所述中央像素和所述边缘像素之间的距离的权重值，“dif_aver”表示所述中央像素数据和所述相邻像素数据之间的差的绝对值的所述平均值，“dif_max”表示所述中央像素数据和所述相邻像素数据之间的差的绝对值的所述最大值，并且“dif_min”表示所述中央像素数据和所述相邻像素数据之间的差的绝对值的所述最小值。
9.根据权利要求6所述的图像感测装置，其中，当所述范围大于设定值并且所述平均值小于所述设定值时，所述局部色调映射强度调整电路减小所述局部色调映射强度。
10.根据权利要求6所述的图像感测装置，其中，当所述范围小于设定值并且所述平均值大于所述设定值时，所述局部色调映射强度调整电路增大所述局部色调映射强度。
11.一种图像感测装置的操作方法，该操作方法包括以下步骤：
计算从包括多个像素的像素阵列输出的像素数据当中的中央像素数据与所述中央像素数据的相邻像素数据之间的差的绝对值的平均值；
计算所述绝对值中的最大值和最小值之间的范围；
基于所述范围和所述平均值根据中央像素与所述中央像素的所述相邻像素当中的边缘像素之间的距离来为像素数据分配权重值；以及
根据所分配的权重值来调整局部色调映射强度。
12.根据权利要求11所述的操作方法，其中，分配所述权重值的步骤包括：根据所述中央像素与所述边缘像素之间的距离基于设定阈值来设置所述权重值。
13.根据权利要求12所述的操作方法，其中，所述权重值是通过下式计算的：
Figure FDA0002945217590000031
其中，“dweight”表示根据所述中央像素和所述边缘像素之间的距离的权重值，“dif_aver”表示所述中央像素数据和所述相邻像素数据之间的差的绝对值的所述平均值，“dif_max”表示所述中央像素数据和所述相邻像素数据之间的差的绝对值的所述最大值，并且“dif_min”表示所述中央像素数据和所述相邻像素数据之间的差的绝对值的所述最小值。
14.根据权利要求11所述的操作方法，其中，调整所述局部色调映射强度的步骤包括：当所述范围大于设定值并且所述平均值小于所述设定值时，减小所述局部色调映射强度。
15.根据权利要求11所述的操作方法，其中，调整所述局部色调映射强度的步骤包括：当所述范围小于设定值并且所述平均值大于所述设定值时，增大所述局部色调映射强度。
16.一种图像感测装置，该图像感测装置包括：
图像传感器，所述图像传感器包括具有多个像素的像素阵列；以及
局部色调映射电路，所述局部色调映射电路被配置用于：
从所述像素阵列接收像素数据，所述像素数据包括在设定内核中的多个像素项；
计算所述多个像素项当中的中央像素项和与所述中央像素项相邻的每个相邻像素项之间的差的绝对值；
基于所述绝对值中的最大值和最小值之间的范围和所述绝对值的平均值来为所述中央像素项分配权重值；以及
根据所述权重值来调整所述中央像素项的局部色调映射强度。
CN202110191211.8A 2020-05-18 2021-02-20 局部色调映射电路、图像感测装置及其操作方法 Active CN113691785B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200059164A KR20210142398A (ko) 2020-05-18 2020-05-18 로컬 톤 맵핑 회로, 이미지 센싱 장치 및 그 동작방법
KR10-2020-0059164 2020-05-18

Publications (2)

Publication Number Publication Date
CN113691785A CN113691785A (zh) 2021-11-23
CN113691785B true CN113691785B (zh) 2023-07-04

Family

ID=78512144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110191211.8A Active CN113691785B (zh) 2020-05-18 2021-02-20 局部色调映射电路、图像感测装置及其操作方法

Country Status (3)

Country Link
US (1) US11457162B2 (zh)
KR (1) KR20210142398A (zh)
CN (1) CN113691785B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4068196A1 (en) * 2021-03-30 2022-10-05 Beijing Xiaomi Mobile Software Co., Ltd. High dynamic range tone mapping

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547301A (zh) * 2010-09-30 2012-07-04 苹果公司 使用图像信号处理器处理图像数据的系统和方法
CN102567976A (zh) * 2010-12-31 2012-07-11 微软公司 非常大的航拍图像拼接的色调映射
EP3121787A1 (en) * 2015-07-23 2017-01-25 Thomson Licensing A method and device for tone-mapping a picture by using a parametric tone-adjustment function
CN107409210A (zh) * 2015-01-30 2017-11-28 汤姆逊许可公司 匹配不同动态范围的彩色图片之间的色彩的方法和设备
CN108053381A (zh) * 2017-12-22 2018-05-18 深圳创维－Rgb电子有限公司 动态色调映射方法、移动终端及计算机可读存储介质
CN110246470A (zh) * 2018-03-08 2019-09-17 三星显示有限公司 执行图像自适应色调映射的方法和采用该方法的显示装置
CN110570370A (zh) * 2019-08-26 2019-12-13 Oppo广东移动通信有限公司 图像信息的处理方法、装置、存储介质及电子设备
JP2020003998A (ja) * 2018-06-27 2020-01-09 株式会社メガチップス トーンマッピング回路およびトーンマッピング方法
JP2020017079A (ja) * 2018-07-25 2020-01-30 株式会社朋栄 トーンマッピング処理及びトーンマッピングパラメータの自動調整更新によるｈｄｒ映像変換方法及びその装置
CN110867172A (zh) * 2019-11-19 2020-03-06 苹果公司 动态控制标准动态范围和高动态范围内容的电子设备

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8218625B2 (en) * 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
US7822285B2 (en) * 2004-05-20 2010-10-26 Omnivision Technologies, Inc. Methods and systems for locally adaptive image processing filters
US11308589B2 (en) * 2018-05-03 2022-04-19 Canon Virginia, Inc. Devices, systems, and methods for enhancing images
US8150204B2 (en) * 2007-03-23 2012-04-03 Mitsubishi Electric Corporation Noise reducer for video signals
WO2008136629A1 (en) * 2007-05-03 2008-11-13 Mtekvision Co., Ltd. Image brightness controlling apparatus and method thereof
US8363131B2 (en) * 2009-01-15 2013-01-29 Aptina Imaging Corporation Apparatus and method for local contrast enhanced tone mapping
KR20110125154A (ko) 2010-05-12 2011-11-18 삼성전자주식회사 이미지 촬영 장치의 밝기를 자동으로 조절하는 장치 및 방법
JP5991486B2 (ja) * 2010-08-04 2016-09-14 日本電気株式会社 画像処理方法、画像処理装置及び画像処理プログラム
US8538148B2 (en) * 2010-09-24 2013-09-17 Intel Corporation Brightness enhancement method, system and apparatus for low power architectures
US9332239B2 (en) * 2012-05-31 2016-05-03 Apple Inc. Systems and methods for RGB image processing
US9105078B2 (en) * 2012-05-31 2015-08-11 Apple Inc. Systems and methods for local tone mapping
US10255888B2 (en) * 2012-12-05 2019-04-09 Texas Instruments Incorporated Merging multiple exposures to generate a high dynamic range image
US8958658B1 (en) 2013-09-10 2015-02-17 Apple Inc. Image tone adjustment using local tone curve computation
US9961236B2 (en) * 2016-06-13 2018-05-01 Gopro, Inc. 3D color mapping and tuning in an image processing pipeline
US10304167B2 (en) * 2016-07-11 2019-05-28 Micro Usa, Inc. Spatially adaptive tone mapping operator
US10701404B2 (en) * 2016-08-30 2020-06-30 Dolby Laboratories Licensing Corporation Real-time reshaping of single-layer backwards-compatible codec
US10229484B2 (en) * 2016-11-30 2019-03-12 Stmicroelectronics (Grenoble 2) Sas Tone mapping method
US10706812B2 (en) * 2018-05-30 2020-07-07 Ati Technologies Ulc Source-side tone mapping based on native color gamut and brightness of display
EP3872749A1 (en) * 2020-02-25 2021-09-01 STMicroelectronics (Research & Development) Limited Local tone mapping for hdr video

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547301A (zh) * 2010-09-30 2012-07-04 苹果公司 使用图像信号处理器处理图像数据的系统和方法
CN102567976A (zh) * 2010-12-31 2012-07-11 微软公司 非常大的航拍图像拼接的色调映射
CN107409210A (zh) * 2015-01-30 2017-11-28 汤姆逊许可公司 匹配不同动态范围的彩色图片之间的色彩的方法和设备
EP3121787A1 (en) * 2015-07-23 2017-01-25 Thomson Licensing A method and device for tone-mapping a picture by using a parametric tone-adjustment function
CN108053381A (zh) * 2017-12-22 2018-05-18 深圳创维－Rgb电子有限公司 动态色调映射方法、移动终端及计算机可读存储介质
CN110246470A (zh) * 2018-03-08 2019-09-17 三星显示有限公司 执行图像自适应色调映射的方法和采用该方法的显示装置
JP2020003998A (ja) * 2018-06-27 2020-01-09 株式会社メガチップス トーンマッピング回路およびトーンマッピング方法
JP2020017079A (ja) * 2018-07-25 2020-01-30 株式会社朋栄 トーンマッピング処理及びトーンマッピングパラメータの自動調整更新によるｈｄｒ映像変換方法及びその装置
CN110570370A (zh) * 2019-08-26 2019-12-13 Oppo广东移动通信有限公司 图像信息的处理方法、装置、存储介质及电子设备
CN110867172A (zh) * 2019-11-19 2020-03-06 苹果公司 动态控制标准动态范围和高动态范围内容的电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GPU-accelerated local tone-mapping for high dynamic range images;Qiyuan Tiant等;《2012 19th IEEE International Conference on Image Processing， 30 September 2012 - 03 October 2012，Orlando, FL, USA》;第377-380页 *
一种基于图像细节保持的空间色域映射算法框架;朱明等;《北京理工大学学报》;第40卷(第3期);第290-297页 *

Also Published As

Publication number Publication date
US11457162B2 (en) 2022-09-27
CN113691785A (zh) 2021-11-23
US20210360178A1 (en) 2021-11-18
KR20210142398A (ko) 2021-11-25

Similar Documents

Publication Publication Date Title
US11750783B2 (en) Demosaic operation circuit, image sensing device and operation method of the same
CN113691785B (zh) 局部色调映射电路、图像感测装置及其操作方法
US20220180472A1 (en) Application processor including reconfigurable scaler and devices including the processor
TW201523558A (zh) 顯示驅動器積體電路（ｉｃ）、其操作方法以及包含上述的裝置
KR20140117692A (ko) 프레임의 활성 영역들만을 페칭하기 위한 사용자 인터페이스 유닛
US11394880B2 (en) Edge-based sharpness strength control circuit, image sensing device and operation method of the same
WO2019196634A1 (zh) 数据处理方法及装置
CN113691749B (zh) 网格增益计算电路、图像感测装置及其操作方法
US20080263287A1 (en) Multi-port memory device and communication system having the same
KR20200141338A (ko) 이미지 신호 프로세서, 상기 이미지 신호 프로세서의 동작 방법 및 상기 이미지 신호 프로세서를 포함하는 이미지 처리 시스템
US20230280932A1 (en) Data read/write method and hybrid memory
CN113766118B (zh) 智能合并电路、图像感测装置及其操作方法
WO2022161053A1 (zh) 一种显示参数调节的方法及大屏设备
CN115150604B (zh) 色调映射电路、图像感测装置及其操作方法
US8856459B1 (en) Matrix for numerical comparison
US20170140501A1 (en) Method of operating virtual address generator and method of operating system including the same
GB2396058A (en) PCI and AGP slot placement on a motherboard
US20220365218A1 (en) Tof sensor, image sensing device and operation method thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant