CN113949850B - 去马赛克操作电路、图像感测装置及其操作方法 - Google Patents

去马赛克操作电路、图像感测装置及其操作方法 Download PDF

Info

Publication number
CN113949850B
CN113949850B CN202110200736.3A CN202110200736A CN113949850B CN 113949850 B CN113949850 B CN 113949850B CN 202110200736 A CN202110200736 A CN 202110200736A CN 113949850 B CN113949850 B CN 113949850B
Authority
CN
China
Prior art keywords
pixel
value
white
chromaticity
white pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110200736.3A
Other languages
English (en)
Other versions
CN113949850A (zh
Inventor
车受蓝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Hynix Inc
Original Assignee
SK Hynix Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SK Hynix Inc filed Critical SK Hynix Inc
Publication of CN113949850A publication Critical patent/CN113949850A/zh
Application granted granted Critical
Publication of CN113949850B publication Critical patent/CN113949850B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本公开提供一种去马赛克操作电路、图像感测装置及其操作方法。去马赛克操作电路包括：白色像素值估计电路，其适用于使用从具有多个像素的像素阵列提供的源像素数据获取RGB通道平均值和白色像素的针对每个方向的方向梯度值，并且基于RGB通道平均值和白色像素的针对每个方向的方向梯度值估计白色像素值；微调电路，其适用于通过基于根据中心像素和相邻的白色像素的梯度而不同地分配的权重值经由不同的滤波器去除噪声来微调所估计的白色像素值；色度估计电路，其适用于通过基于源像素数据和经调整的白色像素值计算色度阵列来估计针对每个通道的色度；以及颜色校正电路，其适用于基于经微调的白色像素值和针对每个通道的色度来校正颜色。

Description

去马赛克操作电路、图像感测装置及其操作方法
技术领域
本发明的各种实施方式总体上涉及一种半导体装置。具体地，各种实施方式涉及去马赛克(demosaic)操作电路、图像感测装置及其操作方法。
背景技术
近来，计算机环境范例已经改变为无处不在的计算，这使得计算机系统几乎可以随时随地使用。结果，诸如移动电话、数码相机和笔记本计算机等便携式电子装置的使用已经迅速增加。
近来，由于显示装置的快速发展，加速了具有诸如照相机和便携式摄像机的图像传感器的图像拍摄装置的发展。图像拍摄装置可以拍摄图像并将所拍摄的图像记录在记录介质中，并且可以随时再现图像。因此，由于增加了图像拍摄装置的使用，因此也增加了对图像拍摄装置中更多功能的需求。具体地，除了紧凑的尺寸、减轻的重量和更低的功耗之外，期望具有更高性能的功能以及多功能的图像拍摄装置。
发明内容
本公开的实施方式针对一种去马赛克操作电路、图像感测装置及其操作方法，其能够对具有RGBW图案的源像素数据当中具有50％的白色像素数据的图像图案执行去马赛克操作。
在一个实施方式中，去马赛克操作电路包括：白色像素值估计电路，其适用于使用从具有多个像素的像素阵列提供的源像素数据获取RGB通道平均值和白色像素的针对每个方向的方向梯度值，并且基于RGB通道平均值和白色像素的针对每个方向的方向梯度值估计白色像素值；微调电路，其适用于通过基于根据中心像素和相邻的白色像素的梯度而不同地分配的权重值经由不同的滤波器去除噪声来微调所估计的白色像素值；色度估计电路，其适用于通过基于源像素数据和经调整的白色像素值计算色度阵列来估计每个通道的色度；以及颜色校正电路，所述颜色校正电路适用于基于经微调的白色像素值和针对每个通道的所述色度来校正颜色。
白色像素值估计电路可以包括：白色像素值计算电路，其适用于基于从像素阵列提供的源像素数据当中的白色像素之间的像素值差的绝对值和具有不同颜色的像素之间的像素值差的绝对值计算白色像素的方向梯度值；RGB通道平均值计算电路，其适用于基于从像素阵列提供的源像素数据当中的中心像素的位置来计算RGB通道平均值；以及白色像素值估计器，其适用于基于RGB通道平均值和白色像素的针对每个方向的方向梯度值来估计白色像素值。
当中心像素是绿色像素、红色像素或蓝色像素时，白色像素值估计电路可以使用水平方向滤波器和垂直方向滤波器来估计与中心像素相对应的白色像素值。
当中心像素是绿色像素、红色像素或蓝色像素时，微调电路可以基于所估计的白色像素值的梯度值来微调白色像素值。
色度估计电路可以通过从源像素数据中减去经微调的白色像素值来计算色度阵列。
色度估计电路可以根据针对每个通道与色度阵列当中的中心像素的色度值的色度相似度来分配色度权重，并且基于所分配的色度权重来估计针对每个通道的色度。
色度估计电路可以根据下式估计针对每个通道的色度：
其中，表示位于中心的红色像素的估计色度，/>表示位于中心的绿色像素的估计色度，/>表示位于中心的蓝色像素的估计色度，wgt表示权重，(i，j)表示红色像素、绿色像素和蓝色像素的位置。
颜色校正电路可以根据下式校正颜色：
fcsgain＝DYgain×Edgegain×Colorgain
Rest＝Gout+fcsgain×(Rout-Gout)
Best＝Bout+fcsgain×(Bout-Gout)
其中，fcsgain表示误差颜色校正增益，Dygain表示白色像素增益，Edgegain表示边缘增益，Colorgain表示颜色增益，Rout表示位于中心像素中的红色像素的估计色度与经微调的白色像素值之和，Gout表示位于中心像素中的绿色像素的估计色度与经微调的白色像素值之和，Bout表示位于中心像素中的蓝色像素的估计色度与经微调的白色像素值之和，Rest表示红色像素的校正颜色，Gest代表绿色像素的校正颜色，并且Best表示蓝色像素的校正颜色。
在另一实施方式中，图像感测装置可以包括：图像传感器，其包括具有多个像素的像素阵列；图像信号处理器，其适用于处理图像传感器的输出信号；以及马赛克操作电路，其中，马赛克操作电路包括：白色像素值估计电路，其适用于使用从像素阵列提供的源像素数据获取RGB通道平均值和白色像素的针对每个方向的方向梯度值，并且基于RGB通道平均值和白色像素的针对每个方向的方向梯度值估计白色像素值；微调电路，其适用于通过基于根据中心像素和相邻白色像素的梯度而不同地分配的权重值经由不同的滤波器去除噪声来微调所估计的白色像素值；色度估计电路，其适用于通过基于源像素数据和经调整的白色像素值计算色度阵列来估计针对每个通道的色度；以及颜色校正电路，其适用于基于经微调的白色像素值和针对每个通道的色度来校正颜色。
白色像素值估计电路可以包括：白色像素值计算电路，其适用于基于从像素阵列提供的源像素数据中的白色像素之间的像素值差的绝对值和具有不同颜色的像素之间的像素值差的绝对值来计算白色像素的方向梯度值；RGB通道平均值计算电路，其适用于基于从像素阵列提供的源像素数据中的中心像素的位置来计算RGB通道平均值；以及白色像素值估计器，其适用于基于RGB通道平均值和白色像素的针对每个方向的方向梯度值来估计白色像素值。
当中心像素是绿色像素、红色像素或蓝色像素时，白色像素值估计器使用水平方向滤波器和垂直方向滤波器来估计与中心像素相对应的白色像素值。
当中心像素是绿色像素、红色像素或蓝色像素时，微调电路可以基于所估计的白色像素的梯度值来微调白色像素值。
色度估计电路可以通过从源像素数据中减去经微调的白色像素值来计算色度阵列。
色度估计电路可以根据针对每个通道与色度阵列当中的中心像素的色度值的色度相似度来分配色度权重，并且基于所分配的色度权重来估计针对每个通道的色度。
在另一实施方式中，一种图像感测装置的操作方法可以包括以下步骤：使用从具有多个像素的像素阵列提供的源像素数据来获取RGB通道平均值和白色像素的针对每个方向的方向梯度值，并且基于RGB通道平均值和白色像素的针对每个方向的方向梯度值来估计白色像素值；通过基于根据中心像素和相邻白色像素的梯度而不同地分配的权重值经由不同的滤波器去除噪声来微调所估计的白色像素值；通过基于源像素数据和经调整的白色像素值计算色度阵列来估计针对每个通道的色度；以及基于针对每个通道的色度和经微调的白色像素值来校正颜色。
估计白色像素值的步骤可以包括以下步骤：基于从像素阵列提供的源像素数据当中的白色像素之间的像素值差的绝对值和具有不同颜色的像素之间的像素值差的绝对值来计算白色像素的方向梯度值；基于从像素阵列提供的源像素数据当中的中心像素的位置来计算RGB通道平均值；以及基于RGB通道平均值和白色像素的针对每个方向的方向梯度值来估计白色像素值。
当中心像素是绿色像素、红色像素或蓝色像素时，估计白色像素值的步骤可以使用水平方向滤波器和垂直方向滤波器来估计与中心像素相对应的白色像素值。
当中心像素是绿色像素、红色像素或蓝色像素时，微调所估计的白色像素值的步骤可以基于所估计的白色像素值的梯度值来微调白色像素值。
估计针对每个通道的色度的步骤可以通过从源像素数据中减去经微调的白色像素值来计算色度阵列。
估计针对每个通道的色度的步骤可以根据针对每个通道与色度阵列当中的中心像素的色度值的色度相似度来分配色度权重，并且基于所分配的色度权重估计针对每个通道的色度。
在另一实施方式中，一种存储可执行指令的非暂时性计算机可读存储介质，该可执行指令在由图像感测装置执行时使图像感测装置执行以下操作：使用从具有多个像素的像素阵列提供的源像素数据获取RGB通道平均值和白色像素的针对每个方向的方向梯度值，并且基于RGB通道平均值和白色像素的针对每个方向的方向梯度值来估计白色像素值；通过基于根据中心像素和相邻白色像素的梯度而不同地分配的权重值经由不同的滤波器去除噪声来微调所估计的白色像素值；通过基于源像素数据和经调整的白色像素值计算色度阵列来估计针对每个通道的色度；并且基于经微调的白色像素值和针对每个通道的色度校正颜色。
通过以下附图和详细描述，本发明的普通技术人员将理解本发明的这些以及其它特征和优点。
附图说明
本文中的描述参考了附图，其中，贯穿若干附图，相似的附图标记指代相似的部件。
图1是示出根据本公开的一个实施方式的去马赛克操作电路的框图。
图2是示出基于具有不同颜色的像素之间的像素值差来计算针对每个方向的白色像素值的图。
图3是示出基于白色像素之间的像素值差来计算针对每个方向的白色像素值的图。
图4是示出设置在中心的红色像素的估计的白色像素值的图。
图5是示出了白色像素值的微调的图。
图6是示出色度阵列的估计的图。
图7是示出白色像素增益、边缘增益和颜色增益的曲线图。
图8是示出根据本公开的另一实施方式的采用去马赛克操作电路的图像感测装置的框图。
图9是示出根据本公开的另一实施方式的采用去马赛克操作电路的图像感测装置的框图。
图10是示出根据本公开的另一实施方式的图像感测装置的操作的流程图。
图11是示出根据本公开的另一实施方式的被配置为实现图像感测装置的系统的框图。
具体实施方式
下面参照附图更详细地描述本发明的各种示例。本发明可以以其它实施方式、形式及其变体来实现，并且不应被解释为限于在本文中阐述的实施方式。相反，提供所描述的实施方式是为了使本公开透彻和完整，并将本发明充分传达给本发明所属领域的技术人员。在整个说明书中，提及“一个实施方式”或“另一实施方式”等不一定意味着仅一个实施方式，并且对任何这样的短语的不同引用不一定指同一个实施方式。
将理解，尽管在本文中可能使用术语“第一”、“第二”和“第三”等来标识各种元件，但是这些元件不受这些术语的限制。这些术语用于将否则会具有相同或相似名称的一个元件与另一个元件区分开。因此，在一个示例中的第一元件可以在另一示例中被称为第二元件或第三元件，而不指示元件本身的任何改变。
附图不一定是按比例绘制的，并且在某些情况下，可能已经放大了比例，以便于清楚地说明实施方式的特征。当一个元件被称为连接或联接到另一元件时，应当理解，前者可以直接连接或联接到后者，或者经由一个或更多个中间元件电连接或联接到后者。除非上下文另有说明，否则两个元件(无论是直接还是间接连接/联接)之间的通信可以是有线的也可以是无线的。另外，还将理解的是，当元件被称为在两个元件之间时，该元件可以是这两个元件之间的唯一元件，或者也可以存在一个或更多个中间元件。
本文所使用的术语仅出于描述特定实施方式的目的，并不旨在限制本发明。
如本文所使用的，除非上下文另外明确指出，否则单数形式旨在包括复数形式，反之亦然。除非另外说明，或者从上下文可以清楚地理解为涉及单数形式，否则在本申请和所附权利要求中使用的冠词“一”和“一个”通常应当被解释为意指“一个或更多个”。
将进一步理解的是，当在本说明书中使用时，术语“包含”、“具有”、“包括”和“含有”指定存在所述元件，并且不排除一个或更多个其它元件的存在或添加。如本文所使用的，术语“和/或”包括一个或更多个相关联的所列项目的任何和所有组合。
除非另有定义，否则本文所用的包括技术术语和科学术语在内的所有术语具有与本发明所属领域的普通技术人员通常所理解的含义相同的含义。还将理解的是，术语(例如，常用词典中定义的术语)应被解释为具有与其在本发明和相关领域的背景下的含义一致的含义，并且不应以理想化或过于正式的意义进行解释，除非在本文中明确如此定义。
在下面的描述中，阐述了许多具体细节以便于提供对本发明的透彻理解。可以在没有一些或所有这些具体细节的情况下实践本发明。在其它情况下，没有详细描述公知的过程结构和/或过程，以免不必要地使本发明变得模糊。
还应注意，在某些情况下，如对相关领域的技术人员显而易见的那样，除非另外特别指出，否则结合一个实施方式描述的特征或元件可以单独使用或与另一实施方式的其它特征或元件组合使用。
参照附图详细描述本公开的方式。
在下文中，参照图1至图7描述去马赛克操作电路。
图1是示出根据本公开的实施方式的去马赛克操作电路的框图。图2是示出基于具有不同颜色的像素之间的像素值差来计算针对每个方向的白色像素值(white pixelvalue)的图。图3是示出基于白色像素之间的像素值差来计算针对每个方向的白色像素值的图。图4是示出设置在中心的红色像素的估计的白色像素值的图。图5是示出白色像素值的微调的图。图6是示出色度阵列(chroma array)的估计的图。图7是示出白色像素增益、边缘增益和颜色增益的曲线图。
参照图1，去马赛克操作电路300可以包括白色像素值估计电路310、微调电路320、色度估计电路330和颜色校正电路340。
白色像素值估计电路310可以使用从具有多个像素的像素阵列提供的源像素数据(source pixel data)来获取RGB通道平均值(RGB channel average value)和白色像素的针对每个方向的方向梯度值，并且基于RGB通道平均值和白色像素的针对每个方向的方向梯度值来估计白色像素值。
白色像素值估计电路310可以包括白色像素值计算电路312、RGB通道平均值计算电路314和白色像素值估计器316。
白色像素值计算电路312可以基于从像素阵列提供的源像素数据当中的白色像素之间的像素值差的绝对值和具有不同颜色的像素之间的像素值差的绝对值来计算白色像素的针对每个方向的方向梯度值。
参照图2，可以如式1所示使用具有不同颜色的像素之间的像素值差来计算白色像素的针对每个方向的方向梯度值。
[式1]
其中，表示从中心像素P33起沿向东方向具有不同颜色的像素之间的像素值差之和，/>表示从中心像素P33起沿向西方向具有不同颜色的像素之间的像素值差之和，表示从中心像素P33起沿水平方向的像素之间的像素值差之和，/>表示从中心像素P33起沿垂直方向的像素之间的像素值差之和，/>表示第一估计的白色像素值，并且ΔE表示白色像素在向东方向上的梯度值。
另外，可以使用与式1相同的关系式来计算白色像素在向西方向上的梯度值、白色像素在向南方向上的梯度值和白色像素在向北方向的梯度值。
参照图3，使用式2表示使用白色像素之间的像素值差的白色像素的针对每个方向的方向梯度值。
[式2]
其中，ΔE表示白色像素在向东方向上的梯度值。另外，可以使用与式2相同的关系式来计算白色像素在向西方向上的梯度值、白色像素在向南方向上的梯度值和白色像素在向北方向上的梯度值。
RGB通道平均值计算电路314可以基于从像素阵列提供的源像素数据当中的中心像素的位置来计算RGB通道平均值。
白色像素值估计器316可以基于RGB通道平均值和白色像素的针对每个方向的方向梯度值来估计白色像素值。
可以如式3中所示来计算在水平方向上的估计的白色像素值。
[式3]
其中，ΔE表示白色像素在向东方向上的梯度值，ΔW表示白色像素在向西方向上的梯度值，表示从像素P34起沿向西方向的白色像素值，/>表示从像素P32起沿向东方向的白色像素值，并且/>表示从中心像素P33起在水平方向上的估计的白色像素值。
在垂直方向上的估计的白色像素值可以如式4中所示来计算。
[式4]
其中，ΔN表示白色像素在向北方向上的梯度值，ΔS表示白色像素在向南方向上的梯度值，表示从像素P43起沿向南方向的白色像素值，/>表示从像素P23起沿向北向的白色像素值，并且/>表示从中心像素P33起在垂直方向上的所估计的白色像素值。
另外，可以如式5中所示计算水平/垂直方向上的估计的白色像素值。
[式5]
其中，表示从像素P34起沿向西方向的白色像素值，/>表示从像素P32起沿向东方向的白色像素值，/>表示从像素P43起沿向南方向的白色像素值，/>表示从像素P23起沿向北方向的白色像素值，ΔE表示白色像素在向东方向上的梯度值，ΔW表示白色像素在西方向上的梯度值，ΔN表示白色像素在向北方向上的梯度值，ΔS表示白色像素在向南方向上的梯度值，并且/>表示从中心像素P33起在水平/垂直方向上的估计的白色像素值。
微调电路320可以通过基于根据中心像素和相邻白色像素的梯度而不同地分配的权重值经由不同的滤波器(filter)从估计的白色像素值中去除噪声来微调估计的白色像素值。
例如，参照图4，可以微调位于7×7像素阵列的中心的红色像素R33的估计的白色像素值Wc。
此外，当中心像素P33是蓝色像素或绿色像素时，可以通过使用估计的白色像素值经由水平滤波器、垂直滤波器或水平/垂直滤波器去除噪声来微调所估计的白色像素值。
参照图5，如果通过将预定权重(α)与白色像素在向东方向上的梯度值和白色像素在向西方向上的梯度值之和相乘而获得的值小于白色像素在向南方向上的梯度值和白色像素在向北方向上的梯度值之和，则估计的白色像素值可以通过经由水平滤波器去除噪声来进行微调。
另外，如果通过将预定权重(α)与白色像素在向东方向上的梯度值和白色像素在向西方向上的梯度值之和相乘而获得的值大于白色像素在向南方向上的梯度值和白色像素在向北方向上的梯度值之和，则所估计的白色像素值可以通过经由垂直滤波器去除噪声来进行微调。
另外，如果通过将预定权重(α)与白色像素在向东方向上的梯度值和白色像素在向西方向上的梯度值之和相乘而获得的值与白色像素在向南方向上的梯度值和白色像素在向北方向上梯度值之和相同，所估计的白色像素值可以通过经由水平/垂直滤波器去除噪声来进行微调。
色度估计电路330可以通过基于源像素数据和经调整的白色像素值计算色度阵列来估计针对每个通道的色度。
更具体地，参照图6，色度估计电路330可以通过从拜耳(Bayer)图案的源像素数据中减去经调整的白色像素值来计算色度阵列。色度估计电路330可以根据针对每个通道与色度阵列当中的中心像素的色度值的色度相似度(chroma similarity)来分配色度权重(chroma weight)，并基于所分配的色度权重来估计针对每个通道的色度。
针对每个通道的色度可以如式6中所示地进行估计。
[式6]
其中，表示位于中心像素中的红色像素的估计色度，/>表示位于中心像素的绿色像素的估计色度，/>表示位于中心像素的蓝色像素的估计色度，wgt表示权重值，(i，j)表示红色像素、绿色像素和蓝色像素的位置。
颜色校正电路340可以基于微调电路320的经微调的白色像素值和色度估计电路330的红色像素、绿色像素和蓝色像素的估计色度来校正颜色。
参照图7，可以使用白色像素增益DYgain、边缘增益Edgegain和颜色增益Colorgain优化颜色校正。也就是说，可以如式7中所示来计算颜色校正。
[式7]
fcsgain＝DYgain×Edgegain×Colorgain
Rest＝Gout+fcsgain×(Rout-Gout)
Best＝Bout+fcsgain×(Bout-Gout)
其中，fcsgain表示误差颜色校正增益，Dygain表示白色像素增益，Colorgain表示颜色增益，Rout表示位于中心的红色像素的估计的色度值与经微调的白色像素值之和，Gout表示位于中心的绿色像素的估计的色度值与经微调的白色像素值之和，Bout表示位于中心的蓝色像素的估计的色度值与经微调的白色像素值之和，Rest表示红色像素的经校正的颜色，Gest代表绿色像素的经校正的颜色，并且Best表示蓝色像素的经校正的颜色。
图8是示出根据本公开的实施方式的图像感测装置10的框图。
参照图8，图像感测装置10可以包括图像传感器100和图像信号处理器(ISP)400。
图像感测装置10可以在诸如可以接收和处理图像数据的个人计算机(PC)或移动计算装置的任何合适的电子装置中实现。
更具体地，图像感测装置10可以在膝上型计算机、移动电话、智能电话、平板电脑、个人数字助理(PDA)、企业数字助理(EDA)、数码相机、数码摄像机、便携式多媒体播放器(PMP)、移动互联网装置(MID)或者可穿戴计算机中实现，或者被实现为物联网(IoT)网络中的对象或作为万物互联(IoE)网络中的对象。
图像传感器100可以包括像素阵列200和去马赛克操作电路300。
像素阵列200可以包括多个像素。在本文中，每个像素可以表示像素数据，并且具有RGB数据格式、YUV数据格式、YCbCr数据格式或任何其它与本文的教导一致的数据格式。
去马赛克操作电路300可以执行具有50％的白色像素的RGBW图案的去马赛克操作。
去马赛克操作电路300可以如图1至图7所示地实现。
参照图1至图7详细描述去马赛克操作电路300的详细配置和操作。
图像信号处理器400可以在集成电路、片上系统(SoC)或移动应用处理器中实现。图像信号处理器400可以处理图像传感器100的输出信号。也就是说，图像信号处理器400可以接收并处理从图像传感器100的去马赛克操作电路300输出的图像输出信号。
更具体地，图像信号处理器400可以从与像素数据相对应的拜耳图案生成RGB图像数据。例如，图像信号处理器400可以处理拜耳图案，以使得图像数据被显示在显示器中，并且可以将经处理的图像数据传送到接口以传送到另一组件或装置。
在一个实施方式中，图像传感器100和图像信号处理器400中的每一个可以被实现为多芯片封装(MCP)。在另一实施方式中，图像传感器100和图像信号处理器400可以被实现为单个芯片。
图9是示出根据本公开的实施方式的图像感测装置10的框图。
参照图9，图像感测装置10可以包括图像传感器100和图像信号处理器(ISP)400。图像信号处理器400可以包括去马赛克操作电路300。
去马赛克操作电路300可以如图1至图7所示地实现。
除了去马赛克操作电路300是在图像信号处理器400中而不是在图像传感器100中实现的之外，图9所示的图像感测装置10的结构和操作与图8所示的图像感测装置10的结构和操作基本相同。因此，省略了对图9的图像感测装置10的详细描述。
在下文中，参照图10描述根据本公开的一个实施方式的图像感测装置的操作。图10是示出根据本公开的一个实施方式的图像感测装置(例如，图8和图9中的图像感测装置10)的操作的流程图。
参照图10，图像感测装置的操作可以包括白色像素值的估计S1000、所估计的白色像素值的微调S1100、针对每个通道的色度估计S1200和颜色校正S1300。
在操作S1000处，可以使用从具有多个像素的像素阵列提供的源像素数据获取RGB通道平均值和白色像素的针对每个方向的方向梯度值。可以基于RGB通道平均值和白色像素的针对每个方向的方向梯度值来估计白色像素值。
更具体地，白色像素值的估计S1000可以包括白色像素的针对每个方向的梯度值的计算操作S1010、RGB通道平均值的计算操作S1020和白色像素值的估计操作S1030。
在操作S1010处，可以基于从像素阵列提供的源像素数据当中的白色像素之间的像素值差的绝对值和具有不同颜色的像素之间的像素值差的绝对值来计算白色像素的针对每个方向的方向梯度。
在操作S1020处，可以根据从像素阵列提供的源像素数据当中的中心像素的位置来计算RGB通道平均值。
在操作S1030处，可以基于RGB通道平均值和白色像素的针对每个方向的方向梯度值来估计白色像素值。
在本文中，当中心像素是绿色像素、红色像素或蓝色像素时，可以使用水平方向滤波器和垂直方向滤波器来估计与中心像素相对应的白色像素值。
在操作S1100处，可以通过基于根据中心像素和相邻白色像素的梯度而不同地分配的权重值经由不同的滤波器从估计的白色像素值中去除噪声来微调估计的白色像素值。
在操作S1200处，可以通过基于源像素数据和经微调的白色像素值计算色度阵列来估计针对每个通道的色度。
在本文中，可以通过从源像素数据中减去经微调的白色像素值来计算色度阵列。
此外，可以根据针对每个通道与色度阵列中的中心像素的色度值的色度相似度来分配色度权重，并且可以根据所分配的色度权重来估计针对每个通道的色度。
在下文中，参照图11详细描述被配置为实现根据本公开的实施方式的图像感测装置的系统。
图11示出了被配置为实现根据本公开的实施方式的图像感测装置的系统。
在各个实施方式中，图11的系统可以是各种类型的计算装置中的任何一种，各种类型的计算装置包括但不限于个人计算机系统、台式计算机、膝上型计算机或笔记本计算机、大型计算机系统、手持式计算装置、蜂窝电话、智能手机、移动电话、工作站、网络计算机、消费类装置、应用服务器、存储装置、智能显示器、诸如交换机、调制解调器、路由器等的外围装置或者总而言之任何类型的计算装置。根据一个实施方式，图11的系统可以表示片上系统(SoC)。SoC 1000的电路可以被集成到单个半导体基板上作为集成电路(即，“芯片”)。在一些实施方式中，电路可以在系统中的两个或更多个分立芯片上实现。SoC 1000将在本文中用作示例。
在所示的实施方式中，SoC 1000的电路包括中央处理单元(CPU)综合体(complex)1020、片上外围电路1040A-1040B(“外围设备(peripheral)”)、存储器控制器(MC)1030、通信结构1010和图像信号处理器400。SoC 1000还可以联接到诸如存储器1800和图像传感器100的附加电路。电路1020、1030、1040A-1040B和400可以全部联接到通信结构1010。存储器控制器1030可以联接到存储器1800，并且外围设备1040B可以联接到外部接口1900。另外，图像信号处理器400可以联接到图像传感器100。
外围设备1040A-1040B可以是SoC 1000中的任何一组附加硬件功能。例如，外围设备1040A-1040B可以包括被配置为在一个更或多个显示装置上显示视频数据的显示控制器、图形处理单元(GPU)、视频编码器/解码器、缩放器、旋转器和混合器等。
在一些实施方式中，图像信号处理器400可以是被配置为处理来自图像传感器100(或其它图像传感器)的图像捕获数据的另一视频外围设备的一部分。图像信号处理器400和图像传感器100可以被配置为实现图1至图10所示的图像信号处理器400和图像传感器100。
外围设备1040A-1040B还可以包括诸如麦克风、扬声器、麦克风和扬声器的接口、音频处理器、数字信号处理器和混频器等的音频外围设备。外围设备1040A-1040B(例如，外围设备1040B)可以包括用于SoC 1000外部的包括通用串行总线(USB)、包括PCI Express(PCIe)的外围电路互连(PCI)、串行和并行端口等的接口的各种接口1900的外围接口控制器。外围设备1040A-1040B还可以包括诸如媒体访问控制器(MAC)之类的联网外围设备。总而言之，根据各个实施方式，可以包括任何一组硬件。
CPU综合体1020可以包括用作SoC 1000的CPU的一个或更多个处理器(P)1024。处理器1024可以执行诸如操作系统的系统的主控制软件。一般地，由CPU执行的软件可以控制系统的其它电路以实现系统的期望功能。处理器1024还可以执行诸如应用程序的其它软件。应用程序可以提供用户功能，并且可以依赖操作系统来进行更低级别的装置控制。因此，处理器1024也可以被称为应用处理器。CPU综合体1020还可以包括诸如L2高速缓存1022和/或到系统的其它电路的接口(例如，到通信结构1010的接口)的其它硬件。
一般地，处理器可以包括被配置为执行以由处理器实现的指令集架构定义的指令的任何电路和/或微代码。响应于执行指令而由处理器操作的指令和数据通常可以存储在存储器1800中，尽管也可以将某些指令定义为使处理器直接访问外围设备。处理器可以包括在集成电路上实现的处理器核心，以及作为片上系统(SoC 1000)或其它集成级别实现的其它电路。处理器还可包括分立的微处理器、集成到多芯片模块实现中的处理器核心和/或微处理器、实现为多个集成电路的处理器等。
存储器控制器1030通常可以包括用于从SoC 1000的其它电路接收存储器操作并且用于访问存储器1800以完成存储器操作的电路。存储器控制器1030可以被配置为访问任何类型的存储器1800。例如，存储器1800可以是静态随机存取存储器(SRAM)或包括双倍数据速率(DDR，DDR2，DDR3等)DRAM的诸如同步DRAM(SDRAM)的动态RAM(DRAM)。可以支持低功耗/移动版本的DDR DRAM(例如，LPDDR和mDDR等)。存储器控制器1030可以包括用于存储器操作，用于对操作进行排序(并且可能重新排序)并将操作呈现给存储器1800的队列。存储器控制器1030还可以包括数据缓冲器，以存储等待写入存储器的写入数据和等待返回到存储器操作的源的读取数据。在一些实施方式中，存储器控制器1030可以包括存储器高速缓存以存储最近访问的存储器数据。例如，在SoC实现中，如果期望很快再次访问数据，则存储器高速缓存可以通过避免从存储器1800重新访问数据来减少SoC中的功耗。在一些情况下，与仅用于特定电路的诸如L2高速缓存1022或处理器1024中的高速缓存的专用高速缓存相反，存储器高速缓存也可以称为系统高速缓存。另外，在一些实施方式中，系统高速缓存可以位于存储器控制器1030的外部。
在一个实施方式中，存储器1800可以与SoC 1000封装在芯片上芯片(chip-on-chip)或封装上封装(package-on-package)的配置中。也可以使用SoC 1000和存储器1800的多芯片模块配置。这种配置(就数据可观察性(data observability)而言)可能比到系统中其它电路的传输(例如，到端点)相对更安全。因此，受保护的数据可以未加密地驻留在存储器1800中，而受保护的数据可以被加密以在SoC 1000和外部端点之间交换。
通信结构(communication fabric)1010可以是用于在SoC 1000的电路之间进行通信的任何通信互连和协议。通信结构1010可以是基于总线的，包括共享总线配置、交叉条(cross bar)配置以及具有桥部的分层总线。通信结构1010也可以是基于分组的，并且可以是具有桥部的分层结构、交叉条、点对点或其他互连。
注意，SoC 1000的电路数量(以及CPU综合体1020内的子电路数量)在不同的实施方式中可以变化。可以具有比图11所示的数量更多或更少电路/子电路。
在一些实施方式中，本文描述的方法可以由计算机程序产品或软件来实现。在一些实施方式中，非暂时性计算机可读存储介质可以在其上存储可以用于对计算机系统(或其他电子装置)进行编程以执行本文描述的一些或全部技术的指令。计算机可读存储介质可以包括用于以机器(例如，计算机)可读的形式(例如，软件、处理应用)存储信息的任何机制。机器可读介质可以包括但不限于磁性存储介质(例如，软盘)；光学存储介质(例如，CD-ROM)；磁光存储介质；只读存储器(ROM)；随机存取存储器(RAM)；可擦除可编程存储器(例如，EPROM和EEPROM)；闪存存储器；电子或其他适合存储程序指令的介质。另外，可以使用光学、声学或其他形式的传播信号(例如，载波、红外信号、数字信号等)来传递程序指令。
如上所述，根据本公开的实施方式的去马赛克操作电路、图像感测装置及其操作方法可以对具有RGBW图案的源像素数据当中的具有50％的白色像素数据的图像图案执行去马赛克操作。
尽管本公开示出并描述了具体的实施方式，但是根据本公开，对于本领域技术人员而言显而易见的是，在不脱离如所附权利要求书所限定的本发明的精神和范围的情况下，可以进行各种改变和修改。本发明包括所有这样的改变和修改，只要这些改变和修改落入权利要求的范围之内。
相关申请的交叉引用
本专利申请要求于2020年7月17日提交的韩国专利申请第10-2020-0088976号的优先权，其全部内容通过引用合并于此。

Claims (20)

1.一种去马赛克操作电路，该去马赛克操作电路包括：
白色像素值估计电路，所述白色像素值估计电路被设置为使用从具有多个像素的像素阵列提供的源像素数据获取RGB通道平均值和白色像素的针对每个方向的方向梯度值，并且基于所述RGB通道平均值和所述白色像素的针对每个方向的所述方向梯度值估计白色像素值；
微调电路，所述微调电路被设置为通过基于根据中心像素和相邻的白色像素的梯度而不同地分配的权重值经由不同的滤波器去除噪声来微调所估计的白色像素值；
色度估计电路，所述色度估计电路被设置为通过基于所述源像素数据和经微调的白色像素值计算色度阵列来估计针对每个通道的色度；以及
颜色校正电路，所述颜色校正电路被设置为基于所述经微调的白色像素值和针对每个通道的所述色度来校正颜色。
2.根据权利要求1所述的去马赛克操作电路，其中，所述白色像素值估计电路包括：
白色像素值计算电路，所述白色像素值计算电路被设置为基于从所述像素阵列提供的所述源像素数据当中的所述白色像素之间的像素值差的绝对值和具有不同颜色的像素之间的像素值差的绝对值来计算所述白色像素的所述方向梯度值；
RGB通
道平均值计算电路，所述RGB通道平均值计算电路被设置为基于从所述像素阵列提供的所述源像素数据当中的中心像素的位置来计算RGB通道平均值；以及
白色像素值估计器，所述白色像素值估计器被设置为基于所述RGB通道平均值和所述白色像素的针对每个方向的所述方向梯度值来估计所述白色像素值。
3.根据权利要求2所述的去马赛克操作电路，其中，当所述中心像素是绿色像素、红色像素或蓝色像素时，所述白色像素值估计器使用水平方向滤波器和垂直方向滤波器来估计与所述中心像素相对应的所述白色像素值。
4.根据权利要求3所述的去马赛克操作电路，其中，当所述中心像素是所述绿色像素、所述红色像素或所述蓝色像素时，所述微调电路基于所估计的白色像素值的梯度值来微调所述白色像素值。
5.根据权利要求1所述的去马赛克操作电路，其中，所述色度估计电路通过从所述源像素数据中减去所述经微调的白色像素值来计算所述色度阵列。
6.根据权利要求5所述的去马赛克操作电路，其中，所述色度估计电路根据针对每个通道与所述色度阵列当中的所述中心像素的色度值的色度相似度来分配色度权重，并且基于所分配的色度权重来估计针对每个通道的所述色度。
7.根据权利要求6所述的去马赛克操作电路，其中，所述色度估计电路根据下式估计针对每个通道的所述色度：
其中，表示位于中心的红色像素的估计色度，/>表示位于中心的绿色像素的估计色度，/>表示位于中心的蓝色像素的估计色度，wgt表示权重，(i，j)表示所述红色像素、所述绿色像素和所述蓝色像素的位置。
8.根据权利要求7所述的去马赛克操作电路，其中，所述颜色校正电路根据下式校正所述颜色：
fcsgain＝DYgain×Edgegain×Colorgain
Rest＝Gout+fcsgain×(Rout-Gout)
Best＝Bout+fcsgain×(Bout-Gout)
其中，fcsgain表示误差颜色校正增益，Dygain表示白色像素增益，Edgegain表示边缘增益，Colorgain表示颜色增益，Rout表示位于所述中心像素中的所述红色像素的所述估计色度与所述经微调的白色像素值之和，Gout表示位于所述中心像素中的所述绿色像素的所述估计色度与所述经微调的白色像素值之和，Bout表示位于所述中心像素中的所述蓝色像素的所述估计色度与所述经微调的白色像素值之和，Rest表示所述红色像素的校正颜色，Gest表示所述绿色像素的校正颜色，并且Best表示所述蓝色像素的校正颜色。
9.一种图像感测装置，该图像感测装置包括：
图像传感器，所述图像传感器包括具有多个像素的像素阵列；
图像信号处理器，所述图像信号处理器被设置为处理所述图像传感器的输出信号；以及
马赛克操作电路，
其中，所述马赛克操作电路包括：
白色像素值估计电路，所述白色像素值估计电路被设置为使用从所述像素阵列提供的源像素数据获取RGB通道平均值和白色像素的针对每个方向的方向梯度值，并且基于所述RGB通道平均值和所述白色像素的针对每个方向的所述方向梯度值估计白色像素值；
微调电路，所述微调电路被设置为通过基于根据中心像素和相邻白色像素的梯度而不同地分配的权重值经由不同的滤波器去除噪声来微调所估计的白色像素值；
色度估计电路，所述色度估计电路被设置为通过基于所述源像素数据和经微调的白色像素值计算色度阵列来估计针对每个通道的色度；以及
颜色校正电路，所述颜色校正电路被设置为基于所述经微调的白色像素值和所述针对每个通道的色度来校正颜色。
10.根据权利要求9所述的图像感测装置，其中，所述白色像素值估计电路包括：
白色像素值计算电路，所述白色像素值计算电路被设置为基于从所述像素阵列提供的所述源像素数据当中的所述白色像素之间的像素值差的绝对值和具有不同颜色的像素之间的像素值差的绝对值计算所述白色像素的所述方向梯度值；
RGB通道平均值计算电路，所述RGB通道平均值计算电路被设置为基于从所述像素阵列提供的所述源像素数据当中的中心像素的位置来计算所述RGB通道平均值；以及
白色像素值估计器，所述白色像素值估计器被设置为基于所述RGB通道平均值和所述白色像素的针对每个方向的所述方向梯度值来估计所述白色像素值。
11.根据权利要求10所述的图像感测装置，其中，当所述中心像素是绿色像素、红色像素或蓝色像素时，所述白色像素值估计器使用水平方向滤波器和垂直方向滤波器来估计与所述中心像素相对应的所述白色像素值。
12.根据权利要求11所述的图像感测装置，其中，当所述中心像素是所述绿色像素、所述红色像素或所述蓝色像素时，所述微调电路基于所估计的白色像素值的梯度值来微调所述白色像素值。
13.根据权利要求9所述的图像感测装置，其中，所述色度估计电路通过从所述源像素数据中减去所述经微调的白色像素值来计算所述色度阵列。
14.根据权利要求13所述的图像感测装置，其中，所述色度估计电路根据针对每个通道与所述色度阵列当中的所述中心像素的色度值的色度相似度来分配色度权重，并且基于所分配的色度权重来估计针对每个通道的所述色度。
15.一种图像感测装置的操作方法，该操作方法包括以下步骤：
使用从具有多个像素的像素阵列提供的源像素数据来获取RGB通道平均值和白色像素的针对每个方向的方向梯度值，并且基于所述RGB通道平均值和所述白色像素的针对每个方向的所述方向梯度值来估计白色像素值；
通过基于根据中心像素和相邻白色像素的梯度而不同地分配的权重值经由不同的滤波器去除噪声来微调所估计的白色像素值；
通过基于所述源像素数据和经微调的白色像素值计算色度阵列来估计针对每个通道的色度；以及
基于所述经微调的白色像素值和针对每个通道的所述色度来校正颜色。
16.根据权利要求15所述的操作方法，其中，估计所述白色像素值的步骤包括以下步骤：
基于从所述像素阵列提供的所述源像素数据当中的所述白色像素之间的像素值差的绝对值和具有不同颜色的像素之间的像素值差的绝对值来计算所述白色像素的所述方向梯度值；
基于从所述像素阵列提供的所述源像素数据当中的中心像素的位置来计算RGB通道平均值；以及
基于所述RGB通道平均值和所述白色像素的针对每个方向的所述方向梯度值来估计所述白色像素值。
17.根据权利要求16所述的操作方法，其中，当所述中心像素是绿色像素、红色像素或蓝色像素时，估计所述白色像素值的步骤使用水平方向滤波器和垂直方向滤波器来估计与所述中心像素相对应的所述白色像素值。
18.根据权利要求17所述的操作方法，其中，当所述中心像素是所述绿色像素、所述红色像素或所述蓝色像素时，微调所估计的白色像素值的步骤基于所估计的白色像素值的梯度值来微调所述白色像素值。
19.根据权利要求18所述的操作方法，其中，估计针对每个通道的色度的步骤通过从所述源像素数据中减去经微调的白色像素值来计算所述色度阵列。
20.根据权利要求19所述的操作方法，其中，估计针对每个通道的色度的步骤根据针对每个通道与所述色度阵列当中的中心像素的色度值的色度相似度来分配色度权重，并且基于所分配的色度权重估计针对每个通道的所述色度。
CN202110200736.3A 2020-07-17 2021-02-23 去马赛克操作电路、图像感测装置及其操作方法 Active CN113949850B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0088976 2020-07-17
KR1020200088976A KR20220010285A (ko) 2020-07-17 2020-07-17 디모자익 동작 회로, 이미지 센싱 장치 및 그 동작방법

Publications (2)

Publication Number Publication Date
CN113949850A CN113949850A (zh) 2022-01-18
CN113949850B true CN113949850B (zh) 2023-08-01

Family

ID=79293616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110200736.3A Active CN113949850B (zh) 2020-07-17 2021-02-23 去马赛克操作电路、图像感测装置及其操作方法

Country Status (4)

Country Link
US (1) US11750783B2 (zh)
JP (1) JP2022019550A (zh)
KR (1) KR20220010285A (zh)
CN (1) CN113949850B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230046816A (ko) 2021-09-30 2023-04-06 에스케이하이닉스 주식회사 이미지 센싱 장치
CN115442573B (zh) * 2022-08-23 2024-05-07 深圳市汇顶科技股份有限公司 图像处理方法、装置和电子设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7333678B1 (en) * 2003-05-20 2008-02-19 Micronas Usa, Inc. Edge adaptive demosaic system and method
CN101399996A (zh) * 2007-09-27 2009-04-01 比亚迪股份有限公司 一种彩色滤镜阵列插值方法
JP2009290795A (ja) * 2008-05-30 2009-12-10 Sharp Corp 画像処理装置、画像処理方法、画像処理プログラム、記録媒体、および電子情報機器
JP2010021908A (ja) * 2008-07-14 2010-01-28 Sony Corp 画像処理装置、画像処理方法および画像処理プログラム
CN102640499A (zh) * 2009-10-20 2012-08-15 苹果公司 用加权的梯度对图像数据去马赛克的系统和方法
CN102663719A (zh) * 2012-03-19 2012-09-12 西安电子科技大学 基于非局部均值的Bayer型CFA图像去马赛克方法
CN103841388A (zh) * 2014-03-04 2014-06-04 华为技术有限公司 一种去马赛克的方法及装置
CN105430357A (zh) * 2015-11-26 2016-03-23 上海富瀚微电子股份有限公司 图像传感器的去马赛克方法及装置
CN105993169A (zh) * 2014-09-15 2016-10-05 深圳市大疆创新科技有限公司 用于图像去马赛克的系统及方法
CN108171668A (zh) * 2017-12-29 2018-06-15 南京邮电大学盐城大数据研究院有限公司 一种基于定向加权插值的cfa图像去马赛克方法
CN108288254A (zh) * 2017-01-09 2018-07-17 三星电子株式会社 用于图像去噪的系统和方法
KR20190036253A (ko) * 2017-09-27 2019-04-04 인천대학교 산학협력단 그라디언트 기반 rgbw cfa 디모자킹 장치 및 방법

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5323233A (en) 1990-07-31 1994-06-21 Canon Kabushiki Kaisha Image signal processing apparatus having a color filter with offset luminance filter elements
JP4059686B2 (ja) * 2002-02-08 2008-03-12 富士通株式会社 白点故障補完回路及びこの白点故障補完回路を用いたイメージセンサ
US7525584B2 (en) 2004-01-05 2009-04-28 Lifesize Communications, Inc. Fast edge directed demosaicing
US7554696B2 (en) * 2004-02-26 2009-06-30 Sharp Laboratories Of America, Inc. Dot-gain reduction method for multi-level halftoning
JP4290193B2 (ja) 2006-12-26 2009-07-01 三洋電機株式会社 画像処理装置
US20080253652A1 (en) 2007-04-10 2008-10-16 Aricent Inc. Method of demosaicing a digital mosaiced image
JP2009044367A (ja) 2007-08-08 2009-02-26 Fujifilm Corp 撮影方法及び撮影装置
US7825965B2 (en) * 2007-09-07 2010-11-02 Seiko Epson Corporation Method and apparatus for interpolating missing colors in a color filter array
JP5326943B2 (ja) * 2009-08-31 2013-10-30 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US8891866B2 (en) * 2011-08-31 2014-11-18 Sony Corporation Image processing apparatus, image processing method, and program
EP2800381A4 (en) 2011-12-28 2015-05-20 Fujifilm Corp IMAGE PROCESSING DEVICE AND METHOD, AND IMAGING DEVICE
CN104067611B (zh) 2012-01-24 2016-08-24 索尼公司 图像处理设备、图像处理方法及图像处理装置
US9191635B2 (en) * 2012-03-19 2015-11-17 Semiconductor Components Industries, Llc Imaging systems with clear filter pixels
JP6362333B2 (ja) 2013-02-14 2018-07-25 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US9224782B2 (en) * 2013-04-19 2015-12-29 Semiconductor Components Industries, Llc Imaging systems with reference pixels for image flare mitigation
WO2016152414A1 (ja) 2015-03-26 2016-09-29 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US10148926B2 (en) 2015-12-07 2018-12-04 Samsung Electronics Co., Ltd. Imaging apparatus and image processing method of thereof
JP6758859B2 (ja) 2016-03-01 2020-09-23 キヤノン株式会社 撮像装置、撮像システム、および画像処理方法
US10638060B2 (en) 2016-06-28 2020-04-28 Intel Corporation Color correction of RGBIR sensor stream based on resolution recovery of RGB and IR channels
US10984504B2 (en) 2019-06-26 2021-04-20 Intel Corporation Advanced demosaicing with angle compensation and defective pixel correction

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7333678B1 (en) * 2003-05-20 2008-02-19 Micronas Usa, Inc. Edge adaptive demosaic system and method
CN101399996A (zh) * 2007-09-27 2009-04-01 比亚迪股份有限公司 一种彩色滤镜阵列插值方法
JP2009290795A (ja) * 2008-05-30 2009-12-10 Sharp Corp 画像処理装置、画像処理方法、画像処理プログラム、記録媒体、および電子情報機器
JP2010021908A (ja) * 2008-07-14 2010-01-28 Sony Corp 画像処理装置、画像処理方法および画像処理プログラム
CN102640499A (zh) * 2009-10-20 2012-08-15 苹果公司 用加权的梯度对图像数据去马赛克的系统和方法
CN102663719A (zh) * 2012-03-19 2012-09-12 西安电子科技大学 基于非局部均值的Bayer型CFA图像去马赛克方法
CN103841388A (zh) * 2014-03-04 2014-06-04 华为技术有限公司 一种去马赛克的方法及装置
CN105993169A (zh) * 2014-09-15 2016-10-05 深圳市大疆创新科技有限公司 用于图像去马赛克的系统及方法
CN105430357A (zh) * 2015-11-26 2016-03-23 上海富瀚微电子股份有限公司 图像传感器的去马赛克方法及装置
CN108288254A (zh) * 2017-01-09 2018-07-17 三星电子株式会社 用于图像去噪的系统和方法
KR20190036253A (ko) * 2017-09-27 2019-04-04 인천대학교 산학협력단 그라디언트 기반 rgbw cfa 디모자킹 장치 및 방법
CN108171668A (zh) * 2017-12-29 2018-06-15 南京邮电大学盐城大数据研究院有限公司 一种基于定向加权插值的cfa图像去马赛克方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Novel Adaptive Weighted Color Interpolation Algorithm for Single Sensor Digital Camera Images;Krishnan Nallaperumal等;《International Conference on Computational Intelligence and Multimedia Applications (ICCIMA 2007)》;第477-481页 *
非bayer格式图像传感器去马赛克方法;董鹏宇;《集成电路应用》;全文 *
非局部相似性去马赛克算法;王国刚;朱秀昌;干宗良;崔子冠;;信号处理(第04期);全文 *

Also Published As

Publication number Publication date
CN113949850A (zh) 2022-01-18
JP2022019550A (ja) 2022-01-27
KR20220010285A (ko) 2022-01-25
US11750783B2 (en) 2023-09-05
US20220021857A1 (en) 2022-01-20

Similar Documents

Publication Publication Date Title
KR102163424B1 (ko) 인터리빙된 채널 데이터를 위한 구성가능한 컨볼루션 엔진
CN113949850B (zh) 去马赛克操作电路、图像感测装置及其操作方法
CN110574025B (zh) 用于合并交错通道数据的卷积引擎
US10467496B2 (en) Temporal filtering of independent color channels in image data
TWI568257B (zh) 用於串流中捲動快門補償之系統、方法、非暫時性電腦可讀儲存媒體
US10440299B2 (en) Correcting pixel defects based on defect history in an image processing pipeline
US20170064227A1 (en) Pixel defect preprocessing in an image signal processor
US20160227160A1 (en) Image signal processor and devices including the same
WO2017035440A1 (en) Multi-rate processing for image data in an image processing pipeline
US8452926B2 (en) Memory sharing arrangement
US9990695B2 (en) Edge sensing measure for raw image processing
US8798386B2 (en) Method and system for processing image data on a per tile basis in an image sensor pipeline
US20110279702A1 (en) Method and System for Providing a Programmable and Flexible Image Sensor Pipeline for Multiple Input Patterns
US11394880B2 (en) Edge-based sharpness strength control circuit, image sensing device and operation method of the same
US11457162B2 (en) Local tone mapping circuit, image sensing device and operation method of the same
US11451752B2 (en) Grid gain calculation circuit, image sensing device and operation method of the same
CN115150604B (zh) 色调映射电路、图像感测装置及其操作方法
US20160037058A1 (en) Providing frame delay using a temporal filter
US8804009B2 (en) Multimedia information appliance
US11196946B1 (en) Smart binning circuit, image sensing device and operation method of the same
WO2024031579A1 (zh) 图像降噪方法、装置及芯片

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant