CN116489322A - 图像信号处理器和包括其的图像处理装置 - Google Patents

图像信号处理器和包括其的图像处理装置 Download PDF

Info

Publication number
CN116489322A
CN116489322A CN202211348888.9A CN202211348888A CN116489322A CN 116489322 A CN116489322 A CN 116489322A CN 202211348888 A CN202211348888 A CN 202211348888A CN 116489322 A CN116489322 A CN 116489322A
Authority
CN
China
Prior art keywords
value
response
generate
image data
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211348888.9A
Other languages
English (en)
Inventor
金一道
金必洙
李东禹
任娜悧
崔东范
崔钟声
林石焕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN116489322A publication Critical patent/CN116489322A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/85—Camera processing pipelines; Components thereof for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本公开提供了一种图像信号处理器和包括其的图像处理装置。一种图像处理装置包括：图像传感器，所述图像传感器包括按非拜耳图案布置的像素并且被配置为响应于由所述像素生成的电信号而生成非拜耳图案图像数据；以及图像信号处理器，所述图像信号处理器被配置为确定指示所述像素当中的目标像素的颜色的索引值并且响应于所述索引值而直接地处理所述非拜耳图案图像数据。

Description

图像信号处理器和包括其的图像处理装置
相关申请的交叉引用
本申请要求于2022年1月14日在韩国知识产权局提交的韩国专利申请No.10-2022-0006159的优先权，其主题通过引用整体并入本文。
技术领域
本发明构思一般地涉及图像信号处理器，并且更具体地，涉及能够处理具有非拜耳图案(non-Bayer pattern)的图像数据(以下为“非拜耳图案图像数据”)而不用将非拜耳图案图像数据转换成具有拜耳图案的图像数据(以下为“拜耳图案图像数据”)的图像信号处理器。
背景技术
图像传感器可以包括电荷耦合器件(CCD)图像传感器、互补金属氧化物半导体(CMOS)图像传感器(CIS)等。CMOS图像传感器可以包括利用组成光电转换元件来将接收到的电磁能(以下为“入射光”)转换成对应的电信号的像素。CMOS图像传感器利用由每个像素生成的电信号来获得与捕获的图像相关联的信息。在这方面，像素已按拜耳图案或诸如四方(tetra)图案或诺娜(Nona)图案的非拜耳图案布置。
发明内容
本发明构思的某些实施例提供能够直接地处理非拜耳图案图像数据而不用预先要求将非拜耳图案图像数据转换成拜耳图案图像数据的图像信号处理器。本发明构思的其他实施例提供直接地处理非拜耳图案图像数据而不用预先要求将非拜耳图案图像数据转换成拜耳图案图像数据的方法。
根据本发明构思的实施例，一种图像信号处理器可以包括：颜色位置控制器，所述颜色位置控制器被配置为响应于非拜耳图案图像数据中的目标像素的像素坐标和指示用于提供所述非拜耳图案图像数据的图像传感器的模式值的第一值，确定指示所述目标像素的颜色的索引值；拜耳域处理块，所述拜耳域处理块被配置为响应于所述索引值而处理所述非拜耳图案图像数据，生成并提供3通道数据；以及RGB/YUV域处理块，所述RGB/YUV域处理块被配置为响应于由所述拜耳域处理块提供的所述3通道数据，提供3通道像素数据。
根据本发明构思的实施例，一种图像处理装置可以包括：图像传感器，所述图像传感器包括按非拜耳图案布置的像素并且被配置为响应于由所述像素生成的电信号而生成非拜耳图案图像数据；以及图像信号处理器，所述图像信号处理器被配置为确定指示所述像素当中的目标像素的颜色的索引值并且响应于所述索引值而直接地处理所述非拜耳图案图像数据。
根据本发明构思的实施例，一种处理图像数据的方法可以包括：从图像传感器接收非拜耳图案图像数据；接收指示所述图像传感器的模式的第一值；响应于非拜耳图案图像数据中的目标像素的像素坐标和所述第一值，确定指示所述目标像素的颜色的索引值；以及将所述索引值提供给所述图像信号处理器的拜耳域处理块。
附图说明
结合附图，可以更好地理解本发明的益处、优点和特征，以及本发明构思的制作和使用，其中：
图1是示出了根据本发明构思的实施例的图像处理装置的框图；
图2是在一个示例中进一步示出了图1的图像传感器的框图；
图3和图4是示出了图2的像素组的示例的相应电路图；
图5是在一个示例中进一步示出了图1的图像信号处理器的框图；
图6是在一个示例中进一步示出了图5的颜色位置控制器的框图；
图7和图8是不同地示出了图6的颜色位置控制器的操作的相应概念图；
图9是示出了根据本发明构思的实施例的图像信号处理器的操作的流程图；以及
图10是示出了根据本发明构思的实施例的系统的框图。
具体实施方式
在整个书面描述和附图中，相似的附图标记和标签用于表示相似或类似的元件、部件、特征和/或方法步骤。这里，可以将某些部件和特征称为“单元”、“模块”、“块”等。可以在软件、固件和/或硬件中不同地实现功能单元、模块和/或块。在这方面，可以将软件实现为机器代码、固件、嵌入式代码和/或应用代码。可以将硬件实现为电气电路、电子电路、处理器、计算机、集成电路、集成电路核心、各种传感器、微机电系统(MEMS)、无源元件和/或有源元件。
此时应当注意，常规的图像信号处理器在对拜耳图案图像数据执行各种处理之前将从图像传感器接收到的非拜耳图像数据例行地转换成拜耳图案图像数据。在这方面，例如，常规的图像信号处理器可以依照拜耳图案图像数据的各部分来生成3通道图像数据。遗憾的是，在将非拜耳图案图像数据转换成拜耳图案图像数据期间图像数据可能丢失。将非拜耳图案图像数据转换成拜耳图案图像数据消耗相当多的时间和电力。因此，一种能够防止由于将非拜耳图案图像数据转换成拜耳图案图像数据而导致的图像数据丢失的处理图像数据的装置和/或方法，被认为是所期望的。
以下，可以将本发明构思的实施例理解为“直接(地)处理”非拜耳图案图像数据，与通过将非拜耳图案图像数据转换成拜耳图案图像数据来间接地处理非拜耳图案图像数据的比较的、常规的示例相反。
进一步注意，图像信号处理器经常依照像素的颜色(以下为“像素颜色”)执行各种处理。因此，能够在直接处理非拜耳图案图像数据期间实时地确定像素颜色的处理的部件和/或方法也被认为是所期望的。
图1是示出了根据本发明构思的实施例并且包括图像传感器100和图像信号处理器200的图像处理装置10的框图。
图像传感器100可以响应于接收到的入射光(例如，如通过聚焦透镜接收的至少部分地在可见光谱中的电磁能)，生成图像数据(IDAT)。图像传感器100可以包括像素阵列，该像素阵列包括多个像素，每个像素分别能够将入射光转换成电信号。在一些实施例中，图像传感器100可以包括按非拜耳图案布置的像素。
在一些实施例中，图像传感器100可以包括CMOS图像传感器、CCD图像传感器或其他类型的图像传感器。例如，图像传感器100可以通过对从像素阵列接收到的信号执行相关双采样(CDS)来提供图像数据IDAT。
在一些实施例中，图像处理装置10可以包括多个图像传感器，其中各种图像传感器可以执行相同或不同的功能，可以展示出相同或不同的性能分布，和/或可以依照相同或不同的特性来定义。这里，至少一个图像传感器可以包括按拜耳图案布置并且提供拜耳图案图像数据的像素，然而另一个图像传感器可以包括按非拜耳图案布置并且提供非拜耳图案图像数据的像素。
图像信号处理器200可以处理由图像传感器100提供的图像数据IDAT以生成对应的像素数据(PDAT)。在这方面，图像信号处理器200可以对图像数据IDAT执行“附加处理”，其可以包括例如以下各项中的至少一项：黑色电平控制、坏像素校正、透镜阴影校正、白平衡和颜色校正。
在一些实施例中，图像信号处理器200可以用于将由图像传感器100提供的非拜耳图案图像数据IDAT转换成拜耳图案图像数据(以下可以将此转换过程称为“重新马赛克(remosaic)处理”)。并且此后，图像信号处理器200可以对所得的拜耳图案图像数据执行附加处理。然后，紧跟附加处理之后，图像信号处理器200可以通过对拜耳图案图像数据执行基于插值的去马赛克(demosaic)处理来生成3通道红色-绿色-蓝色(或“RGB”)数据(例如，假定使用RGB颜色模型)。
然而，如以上所指出的，在重新马赛克和去马赛克处理期间图像数据可能丢失，并且可能不必要地花费宝贵的时间、计算周期和/或电力。
在认识这些潜在缺点后，根据本发明构思的实施例的处理图像数据的图像处理系统、图像信号处理器和方法不是必须执行非拜耳图案图像数据IDAT的重新马赛克处理。为此，图1的图像信号处理器200可以包括能够确定用于从图像传感器100接收到的图像数据IDAT的像素颜色的颜色位置控制器210。
图2是在一个示例中进一步示出了图1的图像传感器100的框图。这里，图像传感器100可以包括像素阵列110、行驱动器120、斜坡信号生成器130、模数转换块(以下为“ADC块”)140、定时控制器150和缓冲器160。
像素阵列110可以包括例如按行和列的矩阵布置的像素PX。每一个像素PX可以包括光电转换元件。因此，每一个像素PX可以利用光电转换元件来感测入射光并且可以将所感测到的入射光转换成电信号(以下为“像素信号”)。这里，例如，光电转换元件可以包括光电二极管、光电晶体管、光电门和钉扎光电二极管(pinned photo diode)中的至少一个。
像素阵列110可以进一步将许多像素PX布置成相应的单元像素组(UPG)。在这方面，术语“单元像素组”(或UPG)可以表示相似的颜色图案按其进行重复的最小单元大小的像素组。例如，在像素阵列110包括按拜耳图案布置的像素的情况下，单元像素组UPG可以包括两个绿色像素、一个红色像素和一个蓝色像素。或者，例如，在像素阵列110包括按四方图案布置的像素的情况下，单元像素组UPG可以包括8个绿色像素、4个红色像素和4个蓝色像素，如图3所示。或者，例如，在像素阵列110包括按诺娜(Nona)图案布置的像素的情况下，单元像素组UPG可以包括18个绿色像素、9个红色像素和9个蓝色像素，如图4所示。
包括在单元像素组UPG中的像素PX(或单元像素组UPG的像素PX)可以共享至少一个浮置扩散区域，并且共享同一浮置扩散区域的像素PX可以连接到同一列线。例如，在像素组PG的像素PX共享一个浮置扩散区域的情况下，每个单元像素组UPG的像素PX可以连接到一条列线(例如，CL1)。或者，在像素组PG的像素PX共享不止一个浮置扩散区域的情况下，单元像素组UPG的像素PX可以连接到不止一条列线。
像素组PG可以包括提供与相同颜色相关的信息的相似类型的像素PX。例如，单元像素组UPG可以包括将红色光谱的入射光转换成电信号的红色像素“R”、将绿色光谱的入射光转换成电信号的绿色像素“Gr/Gb”、或将蓝色光谱的入射光转换成电信号的蓝色像素“B”。为此，可以在单元像素组UPG上方设置一个或更多个滤色器以实现多滤色器阵列(multi-CFA)。
行驱动器120可以用于选择并驱动像素阵列110的行。行驱动器120可以用于对由定时控制器150提供的地址信号和/或控制信号进行译码，并且可以生成用于选择并驱动像素阵列110的所选行的控制信号。这里，控制信号可以不同地包括像素选择信号、浮置扩散区域复位信号、列选择信号等。
在定时控制器150的控制下，斜坡信号生成器130可以用于生成斜坡信号。例如，斜坡信号生成器130可以响应于诸如斜坡使能信号、模式信号等的控制信号而操作。当斜坡使能信号被激活时，斜坡信号生成器130可以生成具有依照模式信号而设置的斜率的斜坡信号。
ADC块140可以用于将由像素阵列110提供的模拟信号(例如，像素信号)转换成对应的数字信号(或数字数据)。在一些实施例中，ADC块140可以包括多个ADC(例如，ADC 140_1至140_n)，其中每一个ADC包括比较器COMP和计数器CNT。这里，比较器COMP可以用于将通过与比较器COMP连接的列线(即，CL1至CLn之一)提供的像素信号与斜坡信号进行比较以便生成比较结果。在一些实施例中，比较器COMP可以依照相关双采样(CDS)技术操作以便从像素信号获得复位信号和图像信号并且提取复位信号与图像信号之间的差作为有效信号分量。
计数器CNT可以用于对相应的比较器COMP的输出信号的脉冲进行计数。例如，计数器CNT可以响应于由定时控制器150生成的各种控制信号而运行，所述各种控制信号诸如计数器时钟信号、用于控制计数器CNT的复位的计数器复位信号、以及用于对计数器CNT的内部位进行反转的反转信号。计数器CNT可以响应于计数器时钟信号而对比较结果信号进行计数并且可以提供与计数结果相对应的数字信号。
计数器CNT可以包括向上/向下计数器、逐位(bit-wise)反转计数器等。逐位反转计数器的操作可以类似于向上/向下计数器的操作。例如，逐位反转计数器可以执行仅执行向上计数的功能以及在接收到特定信号时转换计数器的所有内部位以获得1的补码的功能。逐位反转计数器可以执行复位计数，然后可以将复位计数的结果反转成1的补码，即负值。
定时控制器150可以用于生成用于控制行驱动器120、斜坡信号生成器130和/或ADC块140(例如，计数器CNT)的操作和/或定时的控制信号和/或时钟信号。
缓冲器160可以包括存储器MEM组162和至少一个感测放大器SA。存储器组162中的每一个存储器MEM可以用于存储由对应的ADC提供的数字信号。感测放大器SA可以感测并放大存储在存储器MEM中的数字信号。感测放大器SA可以提供经放大的数字信号作为图像数据IDAT。例如，图像数据IDAT可以包括关于对象的颜色的信息和关于对象的相位的信息。
图3是在一个示例中进一步示出了图2的示例性像素组(例如，第一像素组PG1)的电路图。这里，第一单元像素组PG1被假定为包括按四方图案布置的16个像素。也就是说，图3的单元像素组UPG可以包括包含有第一像素组PG1的多个像素组，其中第一像素组PG1的像素被假定为共享相同的浮置扩散区域(例如，第一浮置扩散区域FD1)。
在这方面，第一像素组PG1的第一像素可以包括光电转换元件PD1、转移晶体管TG1、双转换晶体管DCT、复位晶体管RT、驱动晶体管DT和选择晶体管ST。第一像素组PG1的剩余像素可以具有类似的配置。第一像素组PG1的像素可以共享双转换晶体管DCT、复位晶体管RT、驱动晶体管DT和选择晶体管ST。
转移晶体管TG1至TG4可以用于将由光电转换元件PD1至PD4生成的电荷选择性地转移到第一浮置扩散区域FD1。例如，当转移晶体管TG1由从行驱动器120(参考图2)接收到的转移信号VTG1导通时，来自光电转换元件PD1的电荷可以累积在第一浮置扩散区域FD1中。转移晶体管TG2至TG4的操作可以类似于转移晶体管TG1的操作。因此，来自光电转换元件PD2至PD4的电荷可以累积在第一浮置扩散区域FD1中。这里，转移晶体管TG1至TG4的第一端可以分别与光电转换元件PD1至PD4连接，并且其第二端可以与第一浮置扩散区域FD1共同地连接。
因此，第一浮置扩散区域FD1可以累积由光电转换元件PD1至PD4中的至少一个提供的电荷。在一些实施例中，第一浮置扩散区域FD1的电容被理解为第一电容CFD1。第一浮置扩散区域FD1可以与作为源极跟随器放大器操作的驱动晶体管DT的栅极端子连接。结果，可以产生与第一浮置扩散区域FD1的累积电荷相对应的电压电位。
复位晶体管RT可以被复位信号VRST选择性地导通并且可以向第一浮置扩散区域FD1提供复位电压(例如，电源电压VDD)。结果，第一浮置扩散区域FD1中的累积电荷可以传到电源电压VDD的端子，从而复位第一浮置扩散区域FD1的电压。
驱动晶体管DT可以用于放大由第一浮置扩散区域FD1显示出的电位的变化并且可以生成与放大的结果相对应的电压(即，像素信号PIX)。选择晶体管ST可以由选择信号VSEL驱动并且可以选择以行为单位读取的像素。随着选择晶体管ST被导通，可以通过列线CL来提供像素信号PIX。
在通常(或正常工作)的环境中，因为第一浮置扩散区域FD1不容易饱和，所以不需要增加第一浮置扩散区域FD1的电容(即CFD1)。然而，在高照度环境中，第一浮置扩散区域FD1可能很容易饱和。因此，为了防止这种饱和，可以导通双转换晶体管DCT，使得第一浮置扩散区域FD1和第二浮置扩散区域FD2电连接。因此，可以将浮置扩散区域FD1和FD2的电容扩大为第一电容CFD1和第二电容CFD2之和。
图4是在另一示例中示出了图2的第一像素组PG1的电路图。然而，假定单元像素组UPG包括按诺娜图案布置的36个像素。
单元像素组UPG可以包括各自包括相同颜色的像素的多个像素组，并且多个像素组中的第一像素组PG1的像素可以共享相同的浮置扩散区域(即，FD1)。
来自图3的第一像素组PG1的像素当中的具有相同颜色的相邻像素可以共享一个浮置扩散区域，然而来自图4的第一像素组PG1的像素当中的具有相同颜色的相邻像素可以共享多个浮置扩散区域。另外，第二浮置扩散区域FD2可以通过连接线IL1与相邻像素组(未示出)的浮置扩散区域电连接。在这种情况下，可以进一步扩大第一浮置扩散区域FD1的电容。在这方面，除了上述区分之外，图4的像素组的结构和操作基本上类似于图3的像素组的结构和操作。
图5是在一个示例中进一步示出了图1的图像信号处理器200的框图。
这里，图像信号处理器200可以包括颜色位置控制器210、拜耳域处理块220和RGB/YUV域处理块230。(这里，术语“YUV”用于表示RGB颜色模型的替代颜色模型，其中‘Y’是亮度分量，‘U’是蓝色投影分量并且‘V’是红色投影分量)。拜耳域处理块220可以进一步包括黑色电平控制块221、坏像素校正块222、透镜阴影校正块223、统计处理块224、白平衡块225和去马赛克块226。
拜耳域处理块220可以处理与1通道相关联的数据或“1通道数据”。在这方面，术语“1通道数据”表示与一种颜色(例如，R、G或B)相关联的像素数据。也就是说，拜耳域处理块220的部件可以处理与“R”、“G”或“B”相关联的数据，并且最终可以生成3通道数据(即，RGB数据)作为去马赛克块226的处理结果。此外在这方面，术语“3通道数据”表示与三种颜色(例如，R、G和B)相关联的像素数据。因此，可以将拜耳域处理块220理解为1通道域处理块。
黑色电平控制块221可以校正由于诸如热、读出等的各种因素而在图像数据中发生的噪声的值。
坏像素校正块222可以利用来自先前已被确定为坏像素的像素附近(或周围)的像素的图像数据来计算与坏像素相关联的图像数据。
透镜阴影校正块223可以根据透镜的位置来校正亮度差。
统计处理块224可以处理各种统计，包括与在自动聚焦、自动曝光和自动白平衡功能的执行中必要的(或有用的)的各种统计的偏差。
去马赛克块226可以使用与目标像素相关联的数据(即，R、G和B数据中的至少一个)(例如，与目标像素周围的“R”像素相关联的数据、与“G”像素相关联的数据和/或与“B”像素相关联的数据)来生成3通道RGB数据。
RGB/YUV域处理块230可以执行与由拜耳域处理块220提供的3通道数据相关的各种处理。例如，RGB/YUV域处理块230可以执行颜色校正、伽玛校正、去噪、锐化等。可以将RGB/YUV域处理块230理解为与对3通道数据执行的各种处理相关的3通道域处理块。
这里，应当注意，通过前面的描述暗示的操作的处理次序以及各种功能的指定可以通过根据本发明构思的实施例的设计而变化。例如，归属于拜耳域处理块220的一个或更多个操作可以替代地由RGB/YUV域处理块230执行。
由拜耳域处理块220执行的操作可以取决于由拜耳域处理块220接收到的图像数据IDAT的颜色。例如，可以利用透镜阴影校正来校正根据透镜位置的亮度值差，并且要乘以图像数据IDAT的对应分量(即，亮度值)的值可以取决于像素颜色而变化。与透镜阴影校正块223一样，由块221、223、224、225和226执行的处理操作还可以取决于图像数据IDAT的颜色。为此，可以向拜耳域处理块220提供如由颜色位置控制器210提供的指示输入图像数据IDAT的颜色的信息(以下为“颜色信息”)。
在这方面参考图2和图5，颜色位置控制器210可以计算指示接收到的图像数据IDAT与颜色相关联的值。例如，图像数据IDAT可以包括像素阵列110的像素PX当中的对应像素的坐标(以下为“像素坐标”)，并且颜色位置控制器210可以计算索引值(CC)，该索引值CC指示了由包括在图像数据IDAT中的像素坐标所指示的像素的当前颜色。这里，拜耳域处理块220的部件可以响应于索引值CC，利用适于每种颜色的各种值来执行对应操作。
在一些实施例中，可以将索引值CC与拜耳域处理块220的至少一个部件的处理结果一起提供给下一个块。例如，黑色电平控制块221可以使用索引值CC来校正黑色电平并且将所得的校正结果以及索引值CC提供给坏像素校正块222。或者，颜色位置控制器210可以将索引值CC提供给所选的拜耳域处理块220的部件。
图6是在一个示例中示出了图5的颜色位置控制器210的框图，并且图7是示出了图6的颜色位置控制器210的操作的概念图。
这里，颜色位置控制器210可以包括选择器211、水平计数器212、垂直计数器213、第一计算器214、第二计算器215、第三计算器216、第四计算器217和颜色映射器218。
参考图1、图2、图5、图6和图7，选择器211可以从图像传感器100接收模式值，并且可以确定与接收到的模式值相对应的值。例如，模式值“1”可以指示图像传感器100包括具有拜耳图案的像素，模式值“2”可以指示图像传感器100包括具有四方图案的像素，模式值“3”可以指示图像传感器100包括具有诺娜图案的像素，而模式值“4”可以指示单元像素组UPG包括32个绿色像素、16个红色像素和16个蓝色像素。
因此，在一些实施例中，可以将图7的概念图理解为与能够处理从包括按四方图案布置的像素的图像传感器100提供的图像数据的图像信号处理器200相关联。此后，可以将选择器211假定为选择模式值“2”。
或者，在其他实施例中，图像信号处理器200可以专用于关于特定类型的图像传感器100使用，并且颜色位置控制器210可以省略选择器211。例如，在仅关于基于四方图案的图像传感器使用图像信号处理器200的情况下，可以固定为模式值“2”，并且模式值“2”可以用在第一计算和第二计算中，如以下在一些附加细节中描述的。
水平计数器212可以对与图像数据IDAT相关联的像素的坐标的行进行计数，而垂直计数器213可以对与图像数据IDAT相关联的像素的坐标的列进行计数。例如，在像素阵列包括m乘n像素的矩阵的情况下，水平计数器212的第一计数值可以是“0”，水平计数器212的最后计数值可以是“m-1”，垂直计数器213的第一计数值可以是“0”，垂直计数器213的最后计数值可以是“n-1”。例如，假设在图像信号处理器200的处理下，目标像素被设置在第18行和第28列处，水平计数器212的计数值可以是“17”，而垂直计数器213的计数值可以是“27”。
第一计算器214可以对水平计数器212的计数值和由选择器211选择的值(即，2)执行第一计算。第二计算器215可以对垂直计数器213的计数值和由选择器211选择的值执行第二计算。在此，第一计算可以是指当将被除数除以除数时获得商的计算。第一计算器214可以生成通过将水平计数器212的计数值HC除以所选值“S”而获得的商，作为第一计算中的计算结果HC1，并且第二计算器215可以生成通过将垂直计数器213的计数值VC除以所选值“S”而获得的商，作为第一计算中的计算结果VC1。
例如，如图7所示的，在其中在图像信号处理器200的处理下的目标像素被设置在第18行和第28列处的情况下，计数值HC和计数值VC分别可以是“17”和“27”。第一计算器214的计算结果HC1可以是“8”，并且第二计算器215的计算结果VC1可以是“13”。
第三计算器216可以对计算结果HC1和特定值(即，2)执行第二计算。第四计算器217可以对计算结果VC1和特定值(即，2)执行第二计算。这里，第二计算可以是指在将被除数除以除数时获得余数的计算。第三计算器216可以生成通过将计算结果HC1除以特定值(即，2)而获得的余数作为第二计算中的计算结果HC2，并且第四计算器217可以生成通过将计算结果VC1除以特定值(即，2)而获得的余数作为第二计算中的计算结果VC2。例如，在图7的实施例中，计算结果HC2的值可以是“0”，并且计数值VC2的值可以是“1”。
颜色映射器218可以通过利用计算结果HC2和VC2来确定指示目标像素的颜色的索引值CC。例如，当计算结果HC2和VC2是(0,0)或(1,1)时，目标像素可以是绿色像素；当计算结果HC2和VC2是(0,1)时，目标像素可以是红色像素；当计算结果HC2和VC2是(1,0)时，目标像素可以是蓝色像素。例如，在图7的实施例中，因为计算结果HC2和VC2是(0,1)，所以可以将目标像素确定为红色像素。颜色映射器218可以向拜耳域处理块220生成指示目标像素的颜色的索引值CC。
这里，根据前述示例，应领会，可以以相当直接了当的方式确定要由图像信号处理器200处理的特定像素是否是具有特定颜色的像素。也就是说，由图像信号处理器200执行并且依照颜色类型需要不同处理的操作可以非常简单地并且在不用花费过多资源的情况下进行。附加地，可以防止潜在地由于将非拜耳图案图像数据转换为拜耳图案图像数据的不必要转换而导致的数据丢失，并且可以改进整体图像质量。
图8是示出了图6的颜色位置控制器210的操作的另一概念图。然而，这里，图8的实施例被描述为其中图像信号处理器200处理从图像传感器100接收到的具有按诺娜图案布置的像素的图像数据的示例。
因此，在一些实施例中，在由图像信号处理器200处理下的目标像素设置在第5行和第8列处的情况下，水平计数器212的计数值可以是“4”，并且垂直计数器213的计数值可以是“7”。
第一计算器214可以对水平计数器212的计数值(即，4)和如由选择器211所选择的模式值“3”执行第一计算，并且可以生成“1”作为计算结果HC1。第二计算器215可以对垂直计数器213的计数值(即，7)和由选择器211所选择的模式值(即，3)执行第一计算，并且可以生成“2”作为计算结果VC1。
第三计算器216可以对第一计算器214的计算结果HC1(即，1)执行第二计算，并且可以生成“1”作为计算结果HC2。第四计算器217可以对第二计算器215的计算结果VC1(即，2)执行第二计算，并且可以生成“0”作为计算结果VC2。
最后，响应于计算结果HC2和VC2是(0,1)，颜色映射器218可以确定目标像素是红色像素。颜色映射器218可以向拜耳域处理块220生成指示目标像素的颜色的索引值CC。
图9是示出了根据本发明构思的实施例的图像信号处理器的操作的流程图。
参考图1、图2、图5、图6、图7、图8和图9，图像信号处理器200可以接收像素数据(S110)。例如，像素数据可以由具有拜耳图案、四方图案或诺娜图案的图像传感器100提供(S110)。
图像信号处理器200可以从外部源(例如，应用处理器)接收与图像传感器的类型相关联的模式值(S120)。这里，在一些实施例中，可以依照各种类型的图像传感器之一和适当的模式值来使用图像信号处理器200。或者，可以仅依照特定类型的图像传感器和固定模式值来使用图像信号处理器200。在一些实施例中，与从外部源接收模式值相反，图像信号处理器200可以响应于存储在与图像信号处理器200相关联的寄存器或存储器中的模式值而运行。
第一计算器214和第二计算器215可以对与目标像素相关联的像素坐标和模式值执行第一计算(S130)。例如，第一计算的结果可以是通过将目标像素的坐标除以模式值而获得的商。第一计算器214和第二计算器215可以分别提供第一计算结果HC1和第一计算结果VC1。
第三计算器216和第四计算器217可以对计算结果HC1和VC1以及模式值执行第二计算(S140)。例如，第二计算的结果可以是通过将计算结果HC1和VC1中的每一个除以模式值而获得的余数。第三计算器216和第四计算器217可以分别生成第二计算结果HC2和第二计算结果VC2。
颜色映射器218可以响应于第二计算结果HC2和VC2而确定指示目标像素的颜色的索引值(S150)。
与前面的示例一致，对与拜耳图案相关联或与非拜耳图案相关联的像素是否是特定颜色的像素的确定可以使用2位索引值来容易地确定。此后，拜耳域处理块220可以执行与索引值相关的各种附加处理，使得可以校正适合于特定像素颜色的值。
图10是示出了根据本发明构思的实施例的系统1000的框图。图10的系统1000可以是诸如移动电话、智能电话、平板个人计算机(PC)、可穿戴装置、健康保健装置或物联网(IoT)装置的移动系统。然而，图10的系统1000不限于移动系统。例如，可以将系统1000实现为个人计算机、膝上型计算机、服务器、媒体播放器或诸如导航系统的汽车装置。
参考图10，系统1000可以包括主处理器1100、存储器1200a和1200b、以及存储装置1300a和1300b，并且还可以包括图像捕获装置1410、用户输入装置1420、传感器1430、通信装置1440、显示器1450、扬声器1460、供电装置1470和连接接口1480中的一个或更多个。
主处理器1100可以控制系统1000的整体操作以及系统1000内的其他部件的操作。主处理器1100可以利用通用处理器、专用处理器或应用处理器来实现。例如，主处理器1100可以给图像捕获装置1410提供与特定类型的图像传感器相关联的模式值。
主处理器1100可以包括一个或更多个CPU核心1110，并且还可以包括用于控制存储器1200a和1200b和/或存储装置1300a和1300b的控制器1120。在一些实施例中，主处理器1100还可以包括作为用于诸如人工智能(AI)数据计算的高速数据计算的专用电路的加速器1130。加速器1130可以包括图形处理单元(GPU)、神经处理单元(NPU)和/或数据处理单元(DPU)并且可以用物理上独立于主处理器1100的任何其他部件的单独芯片来实现。
在一些实施例中，由图像信号处理器200执行的操作中的一些操作可以使用主处理器1100来执行。例如，由RGB/YUV域处理块230执行的操作中的至少一些操作可以利用主处理器1100来执行。或者，由RGB/YUV域处理块230执行的操作和由拜耳域处理块220执行的操作中的至少一些操作可以利用主处理器1100来执行。
可以将存储器1200a和1200b用作系统1000的主存储器。存储器1200a和1200b可以包括诸如同步随机存取存储器(RAM)(SRAM)和/或动态RAM(DRAM)的易失性存储器，和/或诸如闪速存储器、相变RAM(PRAM)和/或电阻式RAM(RRAM)的非易失性存储器。可以在与主处理器1100相同的封装件内实现存储器1200a和1200b。
存储装置1300a和1300b可以用作不管是否向其供应电力都存储数据的非易失性存储装置，并且可以在容量方面比存储器1200a和1200b高。存储装置1300a可以包括存储控制器1310a和在存储控制器1310a的控制下存储数据的非易失性存储器1320a，并且存储装置1300b可以包括存储控制器1310b和在存储控制器1310b的控制下存储数据的非易失性存储器1320b。非易失性存储器1320a和1320b中的每一个非易失性存储器可以包括二维(2D)结构的闪速存储器或三维结构的V-NAND闪速存储器或者可以包括不同种类的非易失性存储器，诸如PRAM和/或RRAM。
存储装置1300a和1300b可以在与主处理器1100物理上分开的状态下被包括在系统1000中或者可以与主处理器1100被实现在同一封装件内。而且，可以以固态驱动器(SSD)或存储卡的形式实现存储装置1300a和1300b以便通过诸如要稍后描述的连接接口1480的接口与系统1000的任何其他部件可移除地连接。存储装置1300a和1300b可以包括被应用了诸如通用闪存存储(UFS)、嵌入式多媒体卡(eMMC)或非易失性存储器快速(NVMe)等的标准的装置，但不限于此。
图像捕获装置1410可以捕获静止图像或视频。图像捕获装置1410可以包括上述图像处理装置10。因此，图像捕获装置1410可以包括各种类型的图像传感器和至少一个图像信号处理器。图像捕获装置1410可以从主处理器1100接收与图像传感器的类型相关联的模式值，并且该模式值可以用于确定目标像素的颜色。
用户输入装置1420可以接收如由系统1000的用户使用触摸板、键区、键盘、鼠标和/或麦克风所输入的各种类型的数据。
传感器1430可以检测能够从系统1000的外部获得的各种类型的物理量并且可以将所检测到的物理量转换为电信号。传感器1430可以包括温度传感器、压力传感器、照度传感器、位置传感器、加速度传感器、生物传感器和/或陀螺仪传感器。
通信装置1440可以按照各种通信协议向系统1000的外部装置发送信号并且从系统1000的外部装置接收信号。可以将通信装置1440实现为包括天线、收发器和/或调制解调器。
显示器1450和扬声器1460可以用作向系统1000的用户提供视觉信息和/或听觉信息的输出装置。
供电装置1470可以适当地转换从嵌入在系统1000中的电池(未图示)和/或外部电源供应的电力以便被供应给系统1000的每个部件。
连接接口1480可以提供系统1000与外部装置之间的连接，所述外部装置与系统1000连接并且与系统1000交换数据。连接接口1480可以用诸如以下各项的各种接口来实现：高级技术附件(ATA)接口、串行ATA(SATA)接口、外部SATA(e-SATA)接口、小型计算机小型接口(SCSI)接口、串行附连SCSI(SAS)接口、外围部件互连(PCI)接口、PCI快速(PCIe)接口、NVM快速(NVMe)接口、IEEE 1394接口、通用串行总线(USB)接口、安全数字(SD)卡接口、多媒体卡(MMC)接口、嵌入式多媒体卡(eMCC)接口、通用闪存存储(UFS)接口、嵌入式通用闪存存储(eUFS)接口和紧凑闪存(CF)卡接口。
在以上实施例中，使用块来引用根据本发明构思的实施例的部件。块可以用诸如以下各项的各种硬件装置来实现：集成电路、专用IC(ASIC)、现场可编程门阵列(FPGA)和复杂可编程逻辑器件(CPLD)、在硬件装置中驱动的固件、诸如应用的软件、或硬件装置和软件的组合。另外，块可以包括用集成电路中的半导体元件实现的电路，或作为知识产权(IP)注册的电路。
根据本发明构思的实施例，因为图像信号处理器可以直接地处理具有非拜耳图案的图像数据而不用将非拜耳图案图像数据转换成拜耳图案图像数据，所以可以防止数据的由于这种转换而导致的潜在数据丢失以及相关时间、电力和系统资源的花费。
虽然已经参考本发明构思的实施例描述了本发明构思，但是对本领域的普通技术人员而言将显而易见的是，在不脱离如以下权利要求中阐述的本发明构思的范围的情况下，可以对其做出各种改变和修改。

Claims (20)

1.一种图像信号处理器，所述图像信号处理器包括：
颜色位置控制器，所述颜色位置控制器被配置为响应于非拜耳图案图像数据中的目标像素的像素坐标和指示提供非拜耳图案图像数据的图像传感器的模式值的第一值，确定指示所述目标像素的颜色的索引值；
拜耳域处理块，所述拜耳域处理块被配置为响应于所述索引值而处理所述非拜耳图案图像数据，生成并提供3通道数据；以及
RGB/YUV域处理块，所述RGB/YUV域处理块被配置为响应于由所述拜耳域处理块提供的所述3通道数据，提供3通道像素数据。
2.根据权利要求1所述的图像信号处理器，其中所述颜色位置控制器被进一步配置为：
对所述像素坐标和所述第一值进行第一计算以生成第一计算结果；
对所述第一计算结果和第二值执行第二计算以生成第二计算结果；以及
响应于所述第二计算结果，确定指示所述目标像素的颜色的所述索引值。
3.根据权利要求2所述的图像信号处理器，其中所述第一计算包括通过除法运算来获得商的计算，并且所述第二计算包括通过除法运算来获得余数的计算。
4.根据权利要求3所述的图像信号处理器，其中所述第二值是2。
5.根据权利要求1所述的图像信号处理器，其中所述颜色位置控制器包括：
选择器，所述选择器被配置为选择所述第一值；
水平计数器，所述水平计数器被配置为对所述像素坐标的行进行计数并且生成第一计数值；
垂直计数器，所述垂直计数器被配置为对所述像素坐标的列进行计数并且生成第二计数值；
第一计算器，所述第一计算器被配置为生成通过将所述第一计数值除以所述第一值而获得的商作为第一计算值；
第二计算器，所述第二计算器被配置为生成通过将所述第二计数值除以所述第一值而获得的商作为第二计算值；
第三计算器，所述第三计算器被配置为生成通过将所述第一计算值除以第二值而获得的余数作为第三计算值；
第四计算器，所述第四计算器被配置为生成通过将所述第二计算值除以所述第二值而获得的余数作为第四计算值；以及
颜色映射器，所述颜色映射器被配置为响应于所述第三计算值和所述第四计算值而确定由指示所述目标像素的颜色的所述索引值。
6.根据权利要求5所述的图像信号处理器，其中所述第二值是2。
7.根据权利要求1所述的图像信号处理器，其中所述拜耳域处理块包括：
去马赛克块，所述去马赛克块被配置为响应于所述非拜耳图案图像数据，生成所述3通道数据。
8.根据权利要求7所述的图像信号处理器，其中所述拜耳域处理块还包括以下块中的至少一者：
黑色电平控制块，所述黑色电平控制块被配置为响应于所述索引值，校正所述非拜耳图案图像数据的噪声值；
坏像素校正块，所述坏像素校正块被配置为响应于所述索引值，计算所述非拜耳图案图像数据当中的与坏像素相对应的图像数据；以及
透镜阴影校正块，所述透镜阴影校正块被配置为响应于所述索引值，根据透镜的位置来校正亮度差。
9.根据权利要求1所述的图像信号处理器，其中所述RGB/YUV域处理块被进一步配置为针对由所述拜耳域处理块提供的所述3通道数据执行颜色校正、伽玛校正、去噪和锐化中的至少一种。
10.根据权利要求1所述的图像信号处理器，其中所述非拜耳图案是四方图案或诺娜图案。
11.一种图像处理装置，所述图像处理装置包括：
图像传感器，所述图像传感器包括按非拜耳图案布置的像素并且被配置为响应于由所述像素生成的电信号而生成非拜耳图案图像数据；以及
图像信号处理器，所述图像信号处理器被配置为确定指示所述像素当中的目标像素的颜色的索引值并且响应于所述索引值直接地处理所述非拜耳图案图像数据。
12.根据权利要求11所述的图像处理装置，其中所述图像信号处理器包括：
颜色位置控制器，所述颜色位置控制器被配置为响应于所述目标像素的像素坐标和指示所述图像传感器的模式值的第一值而生成第一计算结果，响应于所述第一计算结果和第二值而生成第二计算结果，并且响应于所述第二计算结果而确定所述索引值；
拜耳域处理块，所述拜耳域处理块被配置为响应于所述索引值而处理所述非拜耳图案图像数据，生成并提供3通道数据；以及
RGB/YUV域处理块，所述RGB/YUV域处理块被配置为响应于由所述拜耳域处理块提供的所述3通道数据而输出3通道像素数据。
13.根据权利要求12所述的图像处理装置，其中所述颜色位置控制器还包括：
选择器，所述选择器被配置为选择所述第一值；
水平计数器，所述水平计数器被配置为对所述像素坐标的行进行计数并且生成第一计数值；
垂直计数器，所述垂直计数器被配置为对所述像素坐标的列进行计数并且生成第二计数值；
第一计算器，所述第一计算器被配置为生成通过将所述第一计数值除以所述第一值而获得的商作为第一计算值；
第二计算器，所述第二计算器被配置为生成通过将所述第二计数值除以所述第一值而获得的商作为第二计算值；
第三计算器，所述第三计算器被配置为生成通过将所述第一计算值除以第二值而获得的余数作为第三计算值；
第四计算器，所述第四计算器被配置为生成通过将所述第二计算值除以所述第二值而获得的余数作为第四计算值；以及
颜色映射器，所述颜色映射器被配置为响应于所述第三计算值和所述第四计算值而确定指示所述目标像素的颜色的所述索引值。
14.根据权利要求13所述的图像处理装置，其中所述第二值是2。
15.根据权利要求12所述的图像处理装置，其中所述拜耳域处理块包括以下块中的至少一者：
黑色电平控制块，所述黑色电平控制块被配置为响应于所述索引值，校正所述非拜耳图案图像数据的噪声值；
坏像素校正块，所述坏像素校正块被配置为响应于所述索引值，计算所述非拜耳图案图像数据当中的与坏像素相对应的图像数据；
透镜阴影校正块，所述透镜阴影校正块被配置为响应于所述索引值，根据透镜的位置来校正亮度差；以及
去马赛克块，所述去马赛克块被配置为响应于所述非拜耳图案图像数据，生成所述3通道数据。
16.一种在图像信号处理器中处理图像数据的方法，所述方法包括：
从图像传感器接收非拜耳图案图像数据；
接收指示所述图像传感器的模式的第一值；
响应于非拜耳图案图像数据中的目标像素的像素坐标和所述第一值，确定指示所述目标像素的颜色的索引值；以及
将所述索引值提供给所述图像信号处理器的拜耳域处理块。
17.根据权利要求16所述的方法，其中确定所述索引值包括：
对所述像素坐标和所述第一值执行第一计算以生成第一计算结果；
对所述第一计算结果和第二值执行第二计算以生成第二计算结果；以及
响应于所述第二计算结果，确定所述索引值。
18.根据权利要求16所述的方法，其中确定所述索引值包括：
对所述像素坐标的行进行计数以生成第一计数值；
对所述像素坐标的列进行计数以生成第二计数值；
生成通过将所述第一计数值除以所述第一值而获得的商，作为第一计算值；
生成通过将所述第二计数值除以所述第一值而获得的商，作为第二计算值；
生成通过将所述第一计算值除以第二值而获得的余数，作为第三计算值；
生成通过将所述第二计算值除以所述第二值而获得的余数，作为第四计算值；以及
响应于所述第三计算值和所述第四计算值，确定所述索引值。
19.根据权利要求16所述的方法，还包括以下各项中的至少一项：
响应于所述索引值，校正所述非拜耳图案图像数据的噪声值；
计算所述非拜耳图案图像数据当中的与坏像素相对应的图像数据；以及
响应于所述索引值，根据透镜的位置来校正亮度差。
20.根据权利要求16所述的方法，其中所述非拜耳图案是四方图案或诺娜图案。
CN202211348888.9A 2022-01-14 2022-10-31 图像信号处理器和包括其的图像处理装置 Pending CN116489322A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0006159 2022-01-14
KR1020220006159A KR20230110080A (ko) 2022-01-14 2022-01-14 논-베이어 패턴의 이미지 데이터를 처리하는 이미지 신호 프로세서 및 이를 포함하는 이미지 처리 장치

Publications (1)

Publication Number Publication Date
CN116489322A true CN116489322A (zh) 2023-07-25

Family

ID=87161453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211348888.9A Pending CN116489322A (zh) 2022-01-14 2022-10-31 图像信号处理器和包括其的图像处理装置

Country Status (4)

Country Link
US (1) US20230231979A1 (zh)
KR (1) KR20230110080A (zh)
CN (1) CN116489322A (zh)
TW (1) TW202345093A (zh)

Also Published As

Publication number Publication date
KR20230110080A (ko) 2023-07-21
US20230231979A1 (en) 2023-07-20
TW202345093A (zh) 2023-11-16

Similar Documents

Publication Publication Date Title
KR102009978B1 (ko) 이미지 센서, 이를 포함하는 이미지 처리 시스템 및 상기 이미지 처리 시스템의 동작 방법
KR102573304B1 (ko) 이미지 센서, 픽셀 어레이 및 그 동작 방법
US11323638B2 (en) Method of correcting dynamic vision sensor (DVS) events and image sensor performing the same
CN105681697A (zh) 用于改善行码区的非线性的图像传感器及包括其的装置
US20140146210A1 (en) Solid state imaging devices and methods using single slope adc with adjustable slope ramp signal
JP6037170B2 (ja) 固体撮像装置およびその信号処理方法、並びに電子機器
US9350920B2 (en) Image generating apparatus and method
US11190716B2 (en) Image processing system, image sensor, and method for driving image sensor
US11503229B2 (en) Image sensor and imaging device including the same
US9357142B2 (en) Image sensor and image processing system including subpixels having a transfer circuit, comparator and counter for outputting the count value as the subpixel signal
US11924565B2 (en) Image sensor and method of monitoring the same
US20210051284A1 (en) Imaging systems and methods for performing analog domain regional pixel level feature extraction
CN116489322A (zh) 图像信号处理器和包括其的图像处理装置
KR20160070975A (ko) 커플링-프리 읽기를 수행할 수 있는 이미지 센서와 이를 포함하는 장치
CN110611773B (zh) 图像传感器及其操作方法
US20240292120A1 (en) Image sensor
US9749555B2 (en) Arithmetic memory with horizontal binning capabilities for imaging systems
US20240107188A1 (en) Vision sensor and image processing device including the same
US20240273901A1 (en) Vision sensor, event signal processing method thereof, and image processing device including the same
US20240323559A1 (en) Image sensor and operating method thereof
US20230098566A1 (en) Photoelectric conversion device having signal in response to incidence of photon, imaging device, control method, and storage medium
KR20240133226A (ko) 이미지 센서
CN117641099A (zh) 相机模块、其操作方法和包括其的电子设备
CN118175442A (zh) 图像传感器和图像传感器的操作方法
KR20240126282A (ko) 비전 센서, 이의 이벤트 신호 처리 방법 및 이를 포함하는 이미지 처리 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication