CN115150604B - 色调映射电路、图像感测装置及其操作方法 - Google Patents

色调映射电路、图像感测装置及其操作方法 Download PDF

Info

Publication number
CN115150604B
CN115150604B CN202111633179.0A CN202111633179A CN115150604B CN 115150604 B CN115150604 B CN 115150604B CN 202111633179 A CN202111633179 A CN 202111633179A CN 115150604 B CN115150604 B CN 115150604B
Authority
CN
China
Prior art keywords
corrected color
image
tone mapping
color image
pixel data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111633179.0A
Other languages
English (en)
Other versions
CN115150604A (zh
Inventor
闵昌基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Hynix Inc
Original Assignee
SK Hynix Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SK Hynix Inc filed Critical SK Hynix Inc
Publication of CN115150604A publication Critical patent/CN115150604A/zh
Application granted granted Critical
Publication of CN115150604B publication Critical patent/CN115150604B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种色调映射电路、图像感测装置及其操作方法。色调映射电路包括：色调映射单元，适用于通过校正与从像素阵列提供的像素数据相对应的输入图像来生成经校正的彩色图像；以及噪声去除单元，适用于基于输入图像和经校正的彩色图像计算输入图像的偏差，并从经校正的彩色图像中去除噪声从而生成新的输出图像。

Description

色调映射电路、图像感测装置及其操作方法
相关申请的交叉引用
本申请要求于2021年3月31日提交的编号为10-2021-0041954的韩国专利申请的优先权，其全部内容通过引用合并于此。
技术领域
本发明的各个实施例涉及半导体设计技术，更具体地，涉及一种色调映射电路、图像感测装置及其操作方法。
背景技术
最近，计算机环境的范式正在转变为泛在计算，这允许用户随时随地访问计算机系统。范式转变迅速增加了诸如移动电话、数码相机和膝上型计算机等的便携式电子设备的使用。
特别地，随着成像装置的快速发展，图像拍摄设备(诸如配备有图像传感器的照相机和摄像机等)的发展正在加速。由于图像拍摄设备不仅能够捕捉图像并将它们记录在记录介质中，而且能够随时再现图像，因此用户数量正在迅速增加。这也逐渐提高了用户对性能和功能的需求，并且正在追求伴随小型化、轻量化、低功耗的高性能和多功能。
高动态范围(HDR)图像是包括各种灰度变化(从最暗区域到最亮区域的变化)的图像。HDR图像包含大量信息，并且为了有效处理HDR图像需要对彩色图像进行色彩校正。
发明内容
本发明的实施例旨在提供一种色调映射电路、图像感测装置及驱动其的方法，用于通过处理以保留输入图像的偏差来有效地抑制或去除经色彩校正的图像的噪声。
本发明实施例所要解决的技术问题不限于上述技术问题，并且本发明所属领域的普通技术人员将从下面的描述中清楚地理解其他未提及的技术问题。
根据本发明的一个实施例，一种色调映射电路包括：色调映射组件，适用于通过校正从像素阵列提供的表示输入图像的像素数据来生成经校正的彩色图像；以及噪声去除组件，适用于基于所述输入图像和所述经校正的彩色图像，计算所述输入图像的偏差并并从所述经校正的彩色图像中去除噪声，从而生成输出图像。
根据本发明的另一实施例，一种色调映射电路包括：第一色调映射组件，适用于通过校正从像素阵列提供的表示输入图像的像素数据来生成经初步校正的彩色图像；以及第二色调映射组件，适用于通过基于所述输入图像和所述经初步校正的彩色图像对所述经初步校正的彩色图像进行二次校正来生成经二次校正的彩色图像。
根据本发明的又一实施例，一种图像感测装置包括：图像传感器，具有多个像素；以及图像信号处理器，适用于处理所述图像传感器的输出信号，其中所述图像传感器和所述图像信号处理器中之一包括色调映射电路，并且其中所述色调映射电路包括：色调映射组件，适用于通过校正从所述多个像素提供的表示输入图像的像素数据来生成经校正的彩色图像；以及噪声去除组件，适用于基于所述输入图像和所述经校正的彩色图像，计算所述输入图像的偏差并从所述经校正的彩色图像中去除噪声，从而生成输出图像。
所述噪声去除组件可以通过计算所述像素数据的平均值来计算所述偏差，其中所述噪声去除组件还适用于计算所述经校正的彩色图像的平均值，并且其中所述噪声去除组件通过将所述输入图像的偏差与所述经校正的彩色图像的平均值相加来从所述经校正的图像中去除所述噪声。
所述噪声去除组件可以通过从所述像素数据的每一项(each piece of thepixel data)中减去所述像素数据的平均值来计算所述输入图像的偏差。
根据本发明的再一实施例，一种图像感测装置包括：图像传感器，具有多个像素；以及图像信号处理器，适用于处理所述图像传感器的输出信号，其中所述图像传感器和所述图像信号处理器中之一包括色调映射电路，并且其中所述色调映射电路包括：第一色调映射组件，适用于通过校正从所述多个像素提供的表示输入图像的像素数据来生成经初步校正的彩色图像；第二色调映射组件，适用于通过基于所述输入图像和所述经初步校正的彩色图像对所述经初步校正的彩色图像进行二次校正来生成经二次校正的彩色图像。
所述第二色调映射组件可以通过从所述经初步校正的彩色图像中去除噪声来对所述经初步校正的图像进行二次校正。
所述第二色调映射组件可以进一步适用于：计算所述像素数据的平均值，计算所述输入图像的偏差，以及计算所述经初步校正的彩色图像的平均值，并且其中，所述第二色调映射电路通过将所述输入图像的偏差与所述经初步校正的彩色图像的平均值相加来生成所述经二次校正的彩色图像。
所述第二色调映射组件可以通过从所述像素数据的每一项中减去所述像素数据的平均值来计算所述输入图像的偏差。
根据本发明的再一实施例，一种用于驱动图像感测装置的方法包括：基于权重矩阵和从像素阵列提供的表示输入图像的像素数据来生成经校正的彩色图像；以及通过基于所述输入图像和所述经校正的彩色图像从所述经校正的彩色图像中去除噪声来生成输出图像。
根据本发明的再一实施例，一种图像感测装置的驱动方法包括：基于权重矩阵和像素数据的初始阵列生成像素数据的经校正的阵列；计算相应的初始阵列和经校正的阵列的平均值；通过从所述初始阵列内的相应数据项(data pieces)中减去所述初始阵列的平均值来生成所述初始阵列的偏差阵列；以及通过将所述经校正的阵列的平均值与所述偏差阵列相加来生成输出的像素数据阵列。
附图说明
图1是示出根据本发明一个实施例的色调映射电路的框图。
图2示出了根据本发明一个实施例的图1中所示的色调映射电路的操作。
图3是示出根据本发明另一实施例的色调映射电路的框图。
图4是示出根据本发明实施例的图像感测装置的框图。
图5是示出根据本发明另一实施例的图像感测装置的框图。
图6是描述根据本发明另一实施例的图像感测装置的操作的流程图。
图7是示出应用了根据本发明实施例的图像感测装置的系统的实施例的框图。
具体实施方式
下面将参考附图更详细地描述本发明的各种实施例。然而，本发明可以以不同的形式实施并且不应被解释为限于本文阐述的实施例。确切的讲，提供这些实施例是为了使本公开彻底和完整，并将本发明的范围充分传达给本领域技术人员。贯穿本公开，在本发明的各个附图和实施例中，类似的附图标记指代类似的部分。
应注意的是，对“一个实施例”的引用并不一定意味着仅一个实施例，并且不同的对“一个实施例”的引用也不一定是指相同的实施例。
应当理解，当一个元件被称为“耦接”或“连接”到另一元件时，这可以意指这两者直接耦接或利用介于其间的另一电路电连接到彼此。其他描述元件之间关系的表述，诸如“在……之间”、“直接在……之间”、“相邻”或“直接相邻”应以同样的方式解释。
本文中使用的术语仅是为了描述特定实施例的目的，并不旨在进行限制。在本公开中，单数形式也旨在包括复数形式，除非上下文另有明确指示。还应理解的是，当在本说明书中使用时，术语“包括”、“包含”、“具有”等指定了所述特征、数量、步骤、操作、元件、组件和/或它们的组合的存在，但不排除存在或添加一个或更多个其他特征、数量、步骤、操作、元件、组件和/或它们的组合。
在下文中，参考图1和图2，描述了根据本发明的一个实施例的色调映射电路。图1是示出根据本发明的一个实施例的色调映射电路的框图，并且图2示出了根据本发明的一个实施例的图1中所示的色调映射电路的操作。
图1所示的色调映射电路300可以包括色调映射组件310和噪声去除组件320。色调映射组件310和噪声去除组件320包括对于它们各自的操作和功能必需的所有电路、系统、软件、固件和器件。在本发明的一个实施例中，将以5×5的像素数据为例并进行说明。
色调映射组件310可以通过校正与从像素阵列提供的像素数据R5×5、G5×5和B5×5相对应的输入图像来生成经校正的彩色图像R'5×5、G'5×5和B'5×5。
在此，如图2所示，分别地，色调映射组件310可以通过使用权重矩阵来校正红色像素R5×5、绿色像素G5×5和蓝色像素B5×5的输入图像，从而生成经校正的彩色图像R'5×5、G'5×5和B'5×5。
噪声去除组件320可以基于输入图像R5×5、G5×5和B5×5以及经校正的彩色图像R'5×5、G'5×5和B'5×5，通过保留输入图像R5×5、G5×5和B5×5的偏差Var_R5×5、Var_G5×5和Var_B5×5并从经校正的彩色图像R'5×5、G'5×5和B'5×5中去除噪声，来生成输出图像New R5×5、New G5×5和New B5×5。
这里，像素数据R5×5、G5×5和B5×5(即，输入图像)的偏差Var_R5×5、Var_G5×5和Var_B5×5可以通过从像素数据R5×5、G5×5和B5×5中减去像素数据R5×5、G5×5和B5×5的平均值R_mean5×5、G_mean5×5和B_mean5×5来计算。例如，像素数据R5×5、G5×5和B5×5内的中心像素数据R13、G13和B13的偏差Var_R13、Var_G13和Var_B13可以通过从中心像素数据R13、G13和B13中减去像素数据R5×5、G5×5和B5×5的平均值R_mean5×5、G_mean5×5和B_mean5×5来计算。这样，可以通过逐像素方法计算出像素数据R5×5、G5×5和B5×5的偏差Var_R5×5、Var_G5×5和Var_B5×5。
具体而言，噪声去除组件320可以计算从像素阵列输入的像素数据R5×5、G5×5和B5×5的平均值R_mean5×5、G_mean5×5和B_mean5×5，并计算输入图像R5×5、G5×5和B5×5的偏差Var_R5×5、Var_G5×5和Var_B5×5。随后，可以根据由色调映射组件310校正的经校正的彩色图像R'5×5、G'5×5和B'5×5计算出平均值R'_mean5×5、G'_mean5×5和B'_mean5×5，并且通过从经校正的图像R'5×5、G'5×5和B'5×5中去除噪声而获得的新的输出图像New R5×5、New G5×5和New B5×5可以通过将输入图像R5×5、G5×5和B5×5的偏差Var_R5×5、Var_G5×5和Var_B5×5与经校正的彩色图像R'5×5、G'5×5和B'5×5的平均值R'_mean5×5、G'_mean5×5和B'_mean5×5相加来产生。
此外，根据本发明的另一实施例，噪声去除组件320可以将输入图像R5×5、G5×5和B5×5的偏差Var_R5×5、Var_G5×5和Var_B5×5与经校正的彩色图像R'5×5、G'5×5和B'5×5的偏差Var_R'5×5、Var_G'5×5和Var_B'5×5进行比较，并且仅当经校正的彩色图像R'5×5、G'5×5和B'5×5的偏差Var_R'5×5、Var_G'5×5和Var_B'5×5小于输入图像R5×5、G5×5和B5×5的偏差Var_R5×5、Var_G5×5和Var_B5×5时，它才可以通过将输入图像R5×5、G5×5和B5×5的偏差Var_R5×5、Var_G5×5和Var_B5×5与经校正的彩色图像R'5×5、G'5×5和B'5×5的平均值R'_mean5×5、G'_mean5×5和B'_mean5×5相加来生成通过从经校正的图像R'5×5、G'5×5和B'5×5中去除噪声而获得的输出图像New R5×5、New G5×5和New B5×5。即，当经校正的彩色图像R'5×5、G'5×5和B'5×5的偏差Var_R'5×5、Var_G'5×5和Var_B'5×5大于输入图像R5×5、G5×5和B5×5的偏差Var_R5×5、Var_G5×5和Var_B5×5时，不可以生成输出图像New R5×5、New G5×5和New B5×5。
在下文中，将参考图3描述根据本发明另一实施例的色调映射电路500，图3为根据本发明另一实施例的色调映射电路500的框图。
图3中示出的根据本发明的另一个实施例的色调映射电路500可以包括第一色调映射组件510和第二色调映射组件520。在本发明实施例中，将以5×5像素数据为例并进行描述。第一色调映射组件510和第二色调映射组件520包括对于它们各自的操作和功能必需的所有电路、系统、软件、固件和设备。
第一色调映射组件510可以通过校正与从像素阵列提供的像素数据相对应的输入图像R5×5、G5×5和B5×5来生成经初步校正的彩色图像R'5×5、G'5×5和B'5×5。
在此，如图2所示，第一色调映射组件510可以通过使用权重矩阵来校正输入图像R5×5、G5×5和B5×5的红色像素R5×5、绿色像素G5×5和蓝色像素B5×5，以生成经初步校正的彩色图像R'5×5、G'5×5和B'5×5。
第二色调映射组件520可以基于输入图像R5×5、G5×5和B5×5以及经初步校正的彩色图像R'5×5、G'5×5和B'5×5，对经初步校正的彩色图像R'5×5、G'5×5和B'5×5进行二次校正，从而生成经二次校正的彩色图像New R5×5、New G5×5和New B5×5。
这里，经二次校正的彩色图像New R5×5、New G5×5和New B5×5可以通过从经初步校正的彩色图像R'5×5、G'5×5和B'5×5中去除噪声来获得并且可以被输出。
此外，像素数据R5×5、G5×5和B5×5(即，输入图像)的偏差Var_R5×5、Var_G5×5和Var_B5×5可以通过从像素数据R5×5、G5×5和B5×5中减去像素数据R5×5、G5×5和B5×5的平均值R_mean5×5、G_mean5×5和B_mean5×5来计算。例如，输入图像R5×5、G5×5和B5×5内的中心像素数据R13、G13和B13的偏差Var_R13、Var_G13和Var_B13可以通过从中心像素数据R13、G13和B13中减去像素数据R5×5、G5×5和B5×5的平均值R'_mean5×5、G'_mean5×5和B'_mean5×5来计算。这样，可以通过逐像素方法计算出像素数据R5×5、G5×5和B5×5的偏差Var_R5×5、Var_G5×5和Var_B5×5。
具体而言，第二色调映射组件520可以计算像素数据R5×5、G5×5和B5×5的平均值R_mean5×5、G_mean5×5和B_mean5×5，并计算输入图像R5×5、G5×5和B5×5的偏差Var_R5×5、Var_G5×5和Var_B5×5。然后，它可以计算由第一色调映射组件510校正的经初步校正的彩色图像R'5×5、G'5×5和B'5×5的平均值R'_mean5×5、G'_mean5×5和B'_mean5×5，并通过将输入图像R5×5、G5×5和B5×5的偏差Var_R5×5、Var_G5×5和Var_B5×5与经初步校正的彩色图像R'5×5、G'5×5和B'5×5的平均值R'_mean5×5、G'_mean5×5和B'_mean5×5相加来生成经二次校正的彩色图像NewR5×5、New G5×5和New B5×5。
此外，根据本发明的另一实施例，第二色调映射组件520可以将输入图像R5×5、G5×5和B5×5的偏差Var_R5×5、Var_G5×5和Var_B5×5与经校正的彩色图像R'5×5、G'5×5和B'5×5的偏差Var_R'5×5、Var_G'5×5、和Var_B'5×5进行比较，并且可以仅在经校正的彩色图像R'5×5、G'5×5和B'5×5的偏差Var_R'5×5、Var_G'5×5和Var_B'5×5小于输入图像R5×5、G5×5和B5×5的偏差Var_R5×5、Var_G5×5和Var_B5×5时通过将输入图像R5×5、G5×5和B5×5的偏差Var_R5×5、Var_G5×5和Var_B5×5与经校正的彩色图像R'5×5、G'5×5和B'5×5的平均值R'_mean5×5、G'_mean5×5和B'_mean5×5相加来生成通过从经校正的图像R'5×5、G'5×5和B'5×5中去除噪声而获得的输出图像New R5×5、New G5×5和New B5×5。即，当经校正的彩色图像R'5×5、G'5×5和B'5×5的偏差Var_R'5×5、Var_G'5×5和Var_B'5×5大于输入图像R5×5、G5×5和B5×5的偏差Var_R5×5、Var_G5×5和Var_B5×5时，不可以生成输出图像New R5×5、New G5×5和New B5×5。
在下文中，参考图4，将描述根据本发明的实施例的图像感测装置。图4是示出根据本发明的实施例的图像感测装置的框图。
参考图4，图像感测装置10可以包括图像传感器100和图像信号处理器(ISP)400。
图像感测装置10可以被实现为个人计算机(PC)或可移动的计算装置。图像感测装置可以包括膝上型计算机、移动电话、智能电话、平板PC、个人数字助理(PDA)、企业数字助理(EDA)、数码相机、数码摄像机、便携式多媒体播放器(PMP)、移动互联网设备(MID)、可穿戴计算机、物联网(IoT)设备或万物互联(IoE)设备。
图4所示的图像传感器100可以包括像素阵列200以及色调映射电路300或500。
像素阵列200可以包括多个像素。这里，像素可以指像素数据，并且可以具有RGB数据格式、YUV数据格式或YCbCr数据格式，但是本发明的构思和精神不限于此。
色调映射电路300或500可以基于输入图像和通过校正从具有多个像素的像素阵列200输入的图像所获得的经校正的彩色图像，在保留输入图像的偏差时从经校正的彩色图像中去除噪声。
因为图4所示的色调映射电路300或500的结构和操作与图1至图3所示的色调映射电路300或500的结构和操作相同，所以将省略其详细描述。
作为处理器的实施例，图像信号处理器400可以被实现为集成电路、片上系统(SoC)或移动AP。图像信号处理器400可以处理图像传感器100的输出信号。图像信号处理器400可以接收并处理从设置在图像传感器100中的色调映射电路300输出的图像输出信号。
具体而言，图像信号处理器400可以通过处理与像素数据相对应的拜耳图案BAYER来产生RGB图像数据。例如，图像信号处理器400可以处理拜耳图案BAYER，使得图像数据IDATA可以显示在显示器上，并且将经处理的图像数据传送到接口。
根据一个实施例，图像传感器100和图像信号处理器400中的每一个可以被实现为芯片，并且可以被实现为单个封装体，例如，多芯片封装体(MCP)。根据本发明的另一实施例，图像传感器100和图像信号处理器400可以被实现为单个芯片。
下文中，参考图5，将描述根据本发明另一实施例的图像感测装置。图5为根据本发明另一实施例的图像感测装置10的框图。
参考图5，图像感测装置10可以包括图像传感器100和图像信号处理器(ISP)400。
除了色调映射电路300或500未被实现在图像传感器100中而是被实现在图像信号处理器400中之外，图5所示的图像感测装置10的结构和操作与图4所示的图像感测装置10基本相同或相似，因此将省略对其的详细描述。
在下文中，参考图6，将描述根据本发明的一个实施例的用于操作图像感测装置的方法。图6是描述根据本发明另一实施例的图像感测装置的操作的流程图。
参考图6，根据本发明的实施例的图像感测装置的操作可以包括：生成经校正的彩色图像R'N×N、G'N×N和B'N×N(S610)，并且通过从经校正的彩色图像R'N×N、G'N×N和B'N×N中去除噪声来生成输出图像New RN×N、New GN×N和New BN×N(S620)。
在操作S610中，可以通过对于从像素阵列提供的与输入图像RN×N、GN×N和BN×N相对应的每个像素数据使用权重矩阵来生成色调映射图像R'N×N、G'N×N和B'N×N。
在操作S620中，可以通过基于输入图像RN×N、GN×N和BN×N以及经校正的彩色图像R'N×N、G'N×N和B'N×N从经校正的彩色图像R'N×N、G'N×N和B'N×N中去除噪声来生成输出图像NewRN×N、New GN×N和New BN×N。
为了更详细地描述操作S620，操作S620可以包括：计算像素数据RN×N、GN×N和BN×N的平均值R_meanN×N、G_meanN×N和B_meanN×N(S622)，计算输入图像RN×N、GN×N和BN×N的偏差Var_RN×N、Var_GN×N和Var_BN×N(S624)，计算经校正的彩色图像R'N×N、G'N×N和B'N×N的平均值R'_meanN×N、G'_meanN×N和B'_meanN×N(S626)，以及去除经校正的彩色图像R'N×N、G'N×N和B'N×N的噪声(S628)。
在操作S622中，可以计算从像素阵列输入的像素数据RN×N、GN×N和BN×N的平均值R_meanN×N、G_meanN×N和B_meanN×N。
在操作S624中，可以通过从像素数据RN×N、GN×N和BN×N中减去像素数据RN×N、GN×N和BN×N的平均值R_meanN×N、G_meanN×N和B_meanN×N来计算输入图像RN×N、GN×N和BN×N的偏差Var_RN×N、Var_GN×N和Var_BN×N。
在操作S626中，可以计算经校正的彩色图像R'N×N、G'N×N和B'N×N的平均值R'_meanN×N、G'_meanN×N和B'_meanN×N。
在操作S628中，可以通过将偏差Var_RN×N、Var_GN×N和Var_BN×N与经校正的彩色图像R'N×N、G'N×N和B'N×N的平均值R'_meanN×N、G'_meanN×N和B'_meanN×N相加来输出通过从经校正的彩色图像R'N×N、G'N×N和B'N×N中去除噪声而获得的输出图像New RN×N、New GN×N和NewBN×N。
在下文中，参考图7，将描述应用了根据本发明的实施例的图像感测装置的系统的实施例。图7是示出应用了根据本发明的实施例的图像感测装置的系统的实施例的框图。
图7所示的系统可以是个人计算机系统、台式计算机、膝上型计算机、大型计算机系统、手持计算设备、蜂窝电话、智能电话、移动电话、工作站、网络计算机、消费者设备、应用服务器、储存设备、智能显示器、诸如交换机、调制解调器、路由器等的外围设备以及一般类型的计算设备中之一，但本发明不限于此，并且图7所示的系统可以是多种类型的计算设备中之一。
图7所示的系统可以表示片上系统(SOC)。顾名思义，SOC 1000的组件可以被集成在单个半导体衬底上，例如集成电路“芯片”。根据本发明的一些实施例，所述组件可以被实现在系统中的两个或多个单独的芯片上。这里，将使用SOC 1000作为示例。
根据本发明的一个实施例，SOC 1000的组件可以包括中央处理单元组(CPUcomplex)1020、片上外围设备组件1040A和1040B(其可以被简称为“外围设备”)、存储器控制器(MC)1030、图像信号处理器400和通信框架1010。
SOC 1000还可以耦接到附加组件，诸如存储器1800和图像传感器100。所有组件1020、1030、1040A和1040B以及400都可以耦接到通信框架1010。存储器控制器1030可以在被使用时耦接到存储器1800，并且外围设备1040B可以在被使用时耦接到外部接口1900。
在本发明的一个实施例中，CPU组1020可以包括一个或更多个处理器1024和二级高速缓存L2 1022。外围设备1040A和1040B可以是包括在SOC 1000中的一组附加硬件功能。例如，外围设备1040A和1040B可以包括被形成为在一个或更多个显示设备上显示视频数据的显示控制器、图形处理单元(GPU)、视频编码器/解码器、缩放器、旋转器、混合器(blender)等。
图像信号处理器400可以处理来自图像传感器100(或另一图像传感器)的图像捕获数据。至于图像信号处理器400和图像传感器100的结构和操作，可以参考图1至图6所示的图像信号处理器400和图像传感器100的结构和操作。
外围设备还可以包括音频外围设备，诸如麦克风、扬声器、与麦克风和扬声器的接口、音频处理器、数字信号处理器、混音器等。外围设备可以包括外围设备接口控制器(例如，外围设备1040B)，其用于SOC 1000外部的各种接口1900，所述接口包括通用串行总线(USB)、包括快速PCI(PCIe)的外围组件互连(PCI)以及串行和并行端口等。外围设备还可以包括网络外围设备，例如媒体访问控制器(MAC)。
CPU组1020可以包括用作SOC 1000的CPU的一个或更多个CPU处理器。系统的CPU可以包括执行系统(例如操作系统)的主控制软件的处理器。一般而言，CPU在操作期间执行的软件可以控制系统的其他组件以实现系统的预定功能。处理器还可以执行其他软件，例如应用程序。应用程序可以为用户提供功能，并且可以依赖操作系统进行低级设备控制。因此，该处理器也可以被称为应用处理器。
CPU组1020还可以包括其他硬件，例如L2高速缓存1022和/或用于系统其他组件的接口(例如，用于通信框架1010的接口)。
通常，处理器可以包括被形成以执行在由处理器实现的命令集架构(command setarchitecture)中定义的命令的任意电路和/或微代码。尽管由处理器执行的命令和数据通常可以响应于命令的执行被储存在存储器1800中，但是也可以定义预定命令以用于引导处理器对外围设备的直接访问。处理器可以包括在集成电路上实现的处理器核以及其他组件，如片上系统(SOC 1000)或其他级别的集成。处理器还可以包括单独的微处理器，集成在处理器核和/或多芯片模块实施方式中的微处理器，以及被实现为多个集成电路的处理器等。
存储器控制器1030可以包括通常从SOC 1000的其他组件接收存储器操作命令并且对存储器1800进行存取以完成存储器操作的电路。存储器控制器1030可以被形成以对任意类型的存储器1800进行存取。例如，存储器1800可以是静态随机存取存储器(SRAM)或同步动态随机存取存储器(SDRAM)，其包括诸如双倍数据速率DRAM(DDR、DDR2、DDR3等)之类的DRAM。可以支持DDR DRAM的低功率/可移动版本(例如，LPDDR、mDDR等)。存储器控制器1030可以包括用于存储器操作的队列，该队列对存储器1800引导(以及可能是重新引导)并呈现操作。存储器控制器1030可以进一步包括数据缓冲器，该数据缓冲器储存等待被写入存储器的写入数据和等待返回到存储器操作的源中的读取数据。
根据本发明的一些实施例，存储器控制器1030可以包括存储器高速缓存，该存储器高速缓存对最近存取的存储器数据进行储存。在SOC的实施方式中，存储器高速缓存可以通过在预计存储器很快被再次存取时避免再次从存储器1800中存取数据来降低SOC中的功率比。在一些情况下，存储器高速缓存可以被称为系统高速缓存，例如仅支持预定组件的独享高速缓存，例如处理器1024的L2高速缓存1022。根据本发明的一些实施例，系统高速缓存可以不必位于存储器控制器1030的内部。
根据本发明的实施例，存储器1800可以以芯片上芯片或封装上封装的形式与SOC1000一起封装。也可以使用SOC 1000与存储器1800的多芯片模块结构。
因此，在保护数据可以被未加密地储存在存储器1800中时，保护数据可以被加密以在SOC 1000与外部端点之间交换。
通信框架1010可以是用于SOC 1000的组件之间的通信的任意通信互连和协议。通信框架1010可以基于总线，所述总线包括层次总线，其具有共享总线元件、交叉交换元件(cross bar element)和桥接器。通信框架1010也可以基于数据分组并且它可以是具有桥接器、交叉交换、点对点连接或其他互连的层。
本说明书中描述的方法可以通过计算机编程产品或软件来实现。根据本发明的一些实施例，非暂时性计算机可读储存介质可以对计算机系统(或其他电子设备)进行编程并且可以储存命令，所述命令可以用于执行本文描述的一些或全部技术。计算机可读储存介质可以包括用于以机器(例如计算机)可读的形式(例如软件和处理应用)储存信息的任意机构。机器可读介质可以包括磁性储存介质(例如，软盘)；光学储存介质(例如，CD-ROM)；磁光储存介质；只读存储器(ROM)；随机存取存储器(RAM)；可擦除和可编程存储器(例如，EPROM和EEPROM)；闪存；以及适用于储存电或程序命令的其他类型的介质，但本发明的构思和精神不限于此。此外，可以通过使用光、声音或其他形式的传播信号(例如，载波、红外信号、数字信号等)来传达程序命令。
计算机系统1000可以包括一个或更多个模块，例如处理器单元1020(可能是多个处理器、单线程处理器、多线程处理器、多核处理器等)，其可以存在于同一计算机系统的存储器1800中所储存的程序命令中，或者可以存在于与计算机系统1000相似或不同的系统的存储器中所储存的程序命令中，以执行色调映射电路。
根据本发明的实施例，根据本发明的实施例的色调映射电路、图像感测装置及其操作方法能够基于通过校正输入图像所获得的经校正的彩色图像和输入图像，在保留输入图像的偏差时，从经校正的彩色图像中去除噪声。
在本发明的实施例中可以获得的效果不限于上述效果，根据后续的说明，本发明所属领域的普通技术人员将清楚地理解未提及的其他效果。
虽然已经针对具体实施例描述了本发明，但是对于本领域技术人员来说显而易见的是，在不脱离以下权利要求所定义的本发明的精神和范围的情况下可以进行各种改变和修改。此外，实施例可以组合以形成另外的实施例。

Claims (11)

1.一种色调映射电路，包括：
色调映射组件，适用于通过校正从像素阵列提供的表示输入图像的像素数据来生成经校正的彩色图像；和
噪声去除组件，适用于：基于所述输入图像和所述经校正的彩色图像，计算所述输入图像的偏差并从所述经校正的彩色图像中去除噪声，从而生成输出图像，
其中所述噪声去除组件通过计算所述像素数据的平均值来计算所述偏差，
其中所述噪声去除组件还适用于计算所述经校正的彩色图像的平均值，以及
其中所述噪声去除组件通过将所述输入图像的偏差与所述经校正的彩色图像的平均值相加来从所述经校正的彩色图像中去除所述噪声。
2.如权利要求1所述的色调映射电路，其中，所述色调映射组件通过基于权重矩阵对所述像素数据内的红色像素数据、蓝色像素数据和绿色像素数据进行校正来生成所述经校正的彩色图像。
3.如权利要求1所述的色调映射电路，其中，所述噪声去除组件通过从所述像素数据的每一项中减去所述像素数据的平均值来计算所述输入图像的偏差。
4.如权利要求1所述的色调映射电路，
其中，所述噪声去除组件还适用于：
计算所述经校正的彩色图像的偏差，以及
将所述输入图像的偏差与所述经校正的彩色图像的偏差相互比较，并且
其中，当所述经校正的彩色图像的偏差小于所述输入图像的偏差时，所述噪声去除组件生成所述输出图像。
5.一种色调映射电路，包括：
第一色调映射组件，适用于通过校正从像素阵列提供的表示输入图像的像素数据来生成经初步校正的彩色图像；和
第二色调映射组件，适用于通过基于所述输入图像和所述经初步校正的彩色图像对所述经初步校正的彩色图像进行二次校正来生成经二次校正的彩色图像，
其中，所述第二色调映射组件还适用于：
通过计算所述像素数据的平均值来计算所述输入图像的偏差，以及
计算所述经初步校正的彩色图像的平均值，以及
其中，所述第二色调映射组件通过将所述输入图像的偏差与所述经初步校正的彩色图像的平均值相加来生成所述经二次校正的彩色图像。
6.如权利要求5所述的色调映射电路，其中，所述第一色调映射组件通过基于权重矩阵对所述输入图像内的红色像素数据、蓝色像素数据和绿色像素数据进行校正来生成所述经初步校正的彩色图像。
7.如权利要求5所述的色调映射电路，其中，所述第二色调映射组件通过从所述经初步校正的彩色图像中去除噪声来对所述经初步校正的图像进行二次校正。
8.如权利要求5所述的色调映射电路，其中，所述第二色调映射组件通过从所述像素数据的每一项中减去所述像素数据的平均值来计算所述输入图像的偏差。
9.如权利要求5所述的色调映射电路，
其中，所述第二色调映射组件还适用于：
计算所述经初步校正的彩色图像的偏差，以及
将所述输入图像的偏差与所述经初步校正的彩色图像的偏差相互比较，并且
其中，当所述经初步校正的彩色图像的偏差小于所述输入图像的偏差时，所述第二色调映射组件生成所述经二次校正的彩色图像。
10.一种用于驱动图像感测装置的方法，包括：
基于权重矩阵和从像素阵列提供的表示输入图像的像素数据来生成经校正的彩色图像；以及
通过基于所述输入图像和所述经校正的彩色图像从所述经校正的彩色图像中去除噪声来生成输出图像，
其中所述生成输出图像包括：
计算所述像素数据的平均值；
通过从所述像素数据的每一项中减去所述像素数据的平均值来计算所述输入图像的偏差；
计算所述经校正的彩色图像的平均值；以及
通过将所述输入图像的偏差与所述经校正的彩色图像的平均值相加来从所述经校正的彩色图像中去除所述噪声。
11.一种色调映射电路的操作方法，所述操作方法包括：
基于权重矩阵和像素数据的初始阵列来生成像素数据的经校正的阵列；
计算相应的所述初始阵列和所述经校正的阵列的平均值；
通过从所述初始阵列内的相应的数据项中减去所述初始阵列的平均值来生成所述初始阵列的偏差阵列；以及
通过将所述经校正的阵列的平均值与所述偏差阵列相加来生成像素数据的输出阵列。
CN202111633179.0A 2021-03-31 2021-12-29 色调映射电路、图像感测装置及其操作方法 Active CN115150604B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210041954A KR20220135801A (ko) 2021-03-31 2021-03-31 컬러 보정 회로, 이미징 센싱 장치 및 그 동작방법
KR10-2021-0041954 2021-03-31

Publications (2)

Publication Number Publication Date
CN115150604A CN115150604A (zh) 2022-10-04
CN115150604B true CN115150604B (zh) 2024-04-19

Family

ID=83404945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111633179.0A Active CN115150604B (zh) 2021-03-31 2021-12-29 色调映射电路、图像感测装置及其操作方法

Country Status (3)

Country Link
US (1) US20220318955A1 (zh)
KR (1) KR20220135801A (zh)
CN (1) CN115150604B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103533261A (zh) * 2012-06-29 2014-01-22 三星电子株式会社 去噪设备、系统和方法
CN204498282U (zh) * 2013-11-21 2015-07-22 半导体元件工业有限责任公司 具有可见光感光像素和红外光感光像素的成像系统
CN106507066A (zh) * 2016-11-22 2017-03-15 深圳艾科创新微电子有限公司 抑制图像伪彩色的方法、装置
CN110378846A (zh) * 2019-06-28 2019-10-25 北京字节跳动网络技术有限公司 一种处理图像磨皮的方法、装置、介质和电子设备
CN111226256A (zh) * 2017-11-09 2020-06-02 深圳市大疆创新科技有限公司 用于图像动态范围调整的系统和方法
CN111355941A (zh) * 2020-04-01 2020-06-30 深圳市菲森科技有限公司 图像颜色实时校正方法、装置和系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7082218B2 (en) * 2001-07-27 2006-07-25 Hewlett-Packard Development Company, L.P. Color correction of images
BR112015020009B1 (pt) * 2013-02-21 2023-02-07 Dolby Laboratories Licensing Corporation Gerenciamento de exibição para vídeo de alta gama dinâmica
US20160277721A1 (en) * 2015-03-17 2016-09-22 Stmicroelectronics (Grenoble 2) Sas Color filtered area processing method for improving image processing

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103533261A (zh) * 2012-06-29 2014-01-22 三星电子株式会社 去噪设备、系统和方法
CN204498282U (zh) * 2013-11-21 2015-07-22 半导体元件工业有限责任公司 具有可见光感光像素和红外光感光像素的成像系统
CN106507066A (zh) * 2016-11-22 2017-03-15 深圳艾科创新微电子有限公司 抑制图像伪彩色的方法、装置
CN111226256A (zh) * 2017-11-09 2020-06-02 深圳市大疆创新科技有限公司 用于图像动态范围调整的系统和方法
CN110378846A (zh) * 2019-06-28 2019-10-25 北京字节跳动网络技术有限公司 一种处理图像磨皮的方法、装置、介质和电子设备
CN111355941A (zh) * 2020-04-01 2020-06-30 深圳市菲森科技有限公司 图像颜色实时校正方法、装置和系统

Also Published As

Publication number Publication date
US20220318955A1 (en) 2022-10-06
CN115150604A (zh) 2022-10-04
KR20220135801A (ko) 2022-10-07

Similar Documents

Publication Publication Date Title
TWI700633B (zh) 影像訊號處理器以及包括其之裝置
TWI686700B (zh) 應用程式處理器、單晶片系統以及操作影像處理系統的方法
US8798386B2 (en) Method and system for processing image data on a per tile basis in an image sensor pipeline
US11750783B2 (en) Demosaic operation circuit, image sensing device and operation method of the same
KR20140117692A (ko) 프레임의 활성 영역들만을 페칭하기 위한 사용자 인터페이스 유닛
WO2021168837A1 (zh) 一种数据处理装置及方法
CN115150604B (zh) 色调映射电路、图像感测装置及其操作方法
US11538142B2 (en) Image signal processor, operating method thereof, and image processing system including the image signal processor
KR20170049191A (ko) 이미지 처리 장치 및 이미지 처리 방법
US11394880B2 (en) Edge-based sharpness strength control circuit, image sensing device and operation method of the same
US11451752B2 (en) Grid gain calculation circuit, image sensing device and operation method of the same
CN113691785B (zh) 局部色调映射电路、图像感测装置及其操作方法
CN113766118B (zh) 智能合并电路、图像感测装置及其操作方法
US9087393B2 (en) Network display support in an integrated circuit
US11647308B2 (en) Analog-to-digital converting circuit, image sensing device and operation method thereof
US20220365218A1 (en) Tof sensor, image sensing device and operation method thereof
CN113747045B (zh) 多媒体处理芯片、电路板及电子设备
TW202246978A (zh) 流再處理系統晶片以及流再處理系統
US20170177294A1 (en) Dynamic audio codec enumeration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant