CN112153311B - 图像信号处理器和包括图像信号处理器的图像传感器 - Google Patents

图像信号处理器和包括图像信号处理器的图像传感器 Download PDF

Info

Publication number
CN112153311B
CN112153311B CN202010349880.9A CN202010349880A CN112153311B CN 112153311 B CN112153311 B CN 112153311B CN 202010349880 A CN202010349880 A CN 202010349880A CN 112153311 B CN112153311 B CN 112153311B
Authority
CN
China
Prior art keywords
image
training data
data
pattern
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010349880.9A
Other languages
English (en)
Other versions
CN112153311A (zh
Inventor
辛德夏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN112153311A publication Critical patent/CN112153311A/zh
Application granted granted Critical
Publication of CN112153311B publication Critical patent/CN112153311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/677—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction for reducing the column or line fixed pattern noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

公开了一种图像信号处理器和包括图像信号处理器的图像传感器。一种图像传感器包括：像素阵列，被配置为将接收到的光学信号转换成电信号；读出电路，被配置为将所述电信号转换成图像数据并输出所述图像数据；以及图像信号处理器，被配置为基于根据所述图像数据的噪声水平从第一训练数据和第二训练数据中选择的训练数据，对所述图像数据执行基于深度学习的图像处理。

Description

图像信号处理器和包括图像信号处理器的图像传感器
相关申请的交叉引用
本申请要求于2019年6月11日向韩国知识产权局提交的韩国专利申请No.10-2019-0068811的权益，其全部公开内容通过引用合并于此。
技术领域
本公开涉及图像信号处理，并且更具体地，涉及利用深度学习技术的图像信号处理器和包括该图像信号处理器的图像传感器。
背景技术
深度学习是人工智能的一门学科，其中在计算机系统中使用算法和统计模型来训练神经网络执行任务而无需使用人工指令。训练后的神经网络根据来自输入数据的信息做出决策。深度学习系统可以用于语音识别、金融系统和图像处理。
数字相机使用图像传感器捕获图像，并使用图像信号处理器处理所捕获的图像。图像信号处理器对图像输出特征执行诸如图像锐化、降噪和色彩控制的任务。随着图像传感器的像素数量增加，图像处理速度和准确性变得更加重要。
在许多情况下，当在图像处理中使用深度学习时，未考虑图像传感器的输出特征。因此，在本领域中需要一种考虑图像传感器的输出的深度学习系统，以进行高效图像处理。
发明内容
本公开涉及一种使用反映图像传感器的输出特征的深度学习技术的图像信号处理器，以及包括该图像信号处理器的图像传感器。
根据本发明构思的一方面，提供了一种图像传感器，包括：像素阵列，被配置为将接收到的光学信号转换成电信号；读出电路，被配置为将所述电信号转换成图像数据并输出所述图像数据；以及图像信号处理器，被配置为基于根据所述图像数据的噪声水平从第一训练数据和第二训练数据中选择的训练数据，对所述图像数据执行基于深度学习的图像处理。
根据本发明构思的另一方面，提供了一种图像传感器，包括：感测核，被配置为基于接收到的光学信号生成具有第一图案的图像数据或具有第二图案的图像数据；存储器，存储对应于所述第一图案的第一训练数据和对应于所述第二图案的第二训练数据；以及图像信号处理器，被配置为基于根据从所述感测核提供所述图像数据的图案从所述第一训练数据和所述第二训练数据中选择的训练数据，对所述图像数据执行基于深度学习的图像处理。
根据本发明构思的另一方面，提供了一种图像信号处理器，包括：处理逻辑，被配置为对从图像传感器输出的图像数据执行基于深度学习的图像处理；以及模式确定器，被配置为向所述处理逻辑提供基于所述图像数据的噪声水平从第一训练数据和第二训练数据中选择的训练数据，所述第一训练数据和所述第二训练数据是分别通过基于第一图案和第二图案的图像数据的训练确定的。
根据本发明构思的另一方面，描述了一种图像处理方法。所述方法可以包括：基于设置信息在图像传感器接收光；基于接收到的所述光生成图像输出；基于所述设置信息估计噪声水平；基于所估计的噪声水平从多个训练数据集合中选择训练数据；以及基于所选择的训练数据对所述图像输出执行深度学习处理，以产生修改后的图像输出。
在一些实施例中，所述方法还包括识别所述图像传感器的一个或更多个不良像素；以及基于识别的所述一个或多个不良像素调整所选择的训练数据。在一些实施例中，多个训练数据集合中的每个训练数据集合被存储在单独的存储器组件中。在一些实施例中，深度学习处理包括所述图像输出的颜色坐标变化、亮度调整、清晰度调整和对比度调整中的至少一种。
附图说明
通过以下结合附图的详细描述，将更清楚地理解本发明构思的实施例，其中：
图1是根据本发明构思的实施例的图像传感器的框图；
图2示出了根据本发明构思的实施例的应用于图像信号处理器的深度神经网络的结构的示例；
图3是图1的图像传感器的感测核的框图；
图4A示出了根据本发明构思的实施例的图像传感器中提供的像素阵列的示例，图4B和图4C是在图4A的像素阵列中彼此靠近布置的两个像素的结构图；
图5示出了根据本发明构思的实施例的根据图像传感器的操作模式的图像数据的数据图案(data pattern)；
图6是根据本发明构思的实施例的图像信号处理器的框图；
图7是根据本发明构思的实施例的操作图像信号处理器的方法的框图；
图8A和图8B是根据本发明构思的实施例的图像信号处理器的框图；
图9是根据本发明构思的实施例的操作图像信号处理器的方法的流程图；
图10A和图10B是根据本发明构思的实施例的图9的模式确定方法的流程图；
图11是根据本发明构思的实施例的图像传感器的框图；
图12是根据本发明构思的实施例的图像传感器的框图；
图13是根据本发明构思的实施例的操作图像信号处理器的方法的流程图；
图14是根据本发明构思的实施例的图像处理设备的框图；
图15是根据本发明构思的实施例的图像处理设备的框图；以及
图16是根据本发明构思的实施例的包括图像传感器的电子设备的框图。
具体实施方式
本公开提供了一种深度学习系统，其中反映了多个传感器输出模式中的每种输出模式的特性的多个权重集合被存储在存储器中，并且处理逻辑根据输出模式选择性地读取权重集合并执行基于深度学习的图像处理。
另外，噪声水平估计器基于诸如模拟增益、曝光时间等的感测设置信息来估计图像数据的噪声水平，并且基于该噪声水平来选择模式(输出模式)。可以以硬件来实现执行基于深度学习的图像处理的逻辑电路。
像素阵列可以以图案实现，并且可以根据多种输出模式输出不同类型的图像数据。权重集合可以通过基于输出模式的训练来确定。可以存储不良像素(bad pixel)信息以防止不良像素影响图像处理，并且将与不良像素对应的权重设置为零值。
在下文中，参照附图详细描述本发明构思的实施例。
图1是根据本发明构思的实施例的图像传感器100的框图。
图像传感器100可以将通过光学透镜LS输入的对象的光学信号转换成图像数据。图像传感器100可以安装在具有图像或光学感测功能的电子设备中。例如，图像传感器100可以安装在诸如数码照相机、数字摄像机、智能电话、可穿戴设备、物联网(IoT)设备、平板个人计算机(PC)、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航设备等的电子设备中。此外，图像传感器100可以安装在可以被设置为车辆、家具、制造设施、门或各种测量仪器的一部分的电子设备中。
参照图1，图像传感器100可以包括像素阵列110、读出电路120和图像信号处理器130。图像信号处理器130可以包括基于深度学习的处理逻辑131。在实施例中，像素阵列110、读出电路120和图像信号处理器130可以由单个半导体芯片或半导体模块实现。在实施例中，像素阵列110和读出电路120可以由单个半导体芯片实现。图像信号处理器130可以由另一单个半导体芯片实现。
像素阵列110可以由光电转换元件实现。电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)是光电转换元件的示例，但不限于此。像素阵列110可以包括用于将接收到的光学信号(光)转换成电信号的多个像素，并且可以以矩阵来布置像素。每个像素可以包括光感测器件。例如，光感测器件可以包括光电二极管、光电晶体管、光电门或钉扎光电二极管(pinned photodiodes)。
读出电路120可以将从像素阵列110接收的电信号转换成图像数据。读出电路120可以放大电信号并且对放大后的电信号执行模数转换。由读出电路120产生的图像数据可以包括与像素阵列110的每个像素对应的像素数据。读出电路120可以与像素阵列110构成感测核。
图像信号处理器130可以对从读出电路120输出的图像数据执行基于深度学习的图像处理。例如，图像信号处理器130可以对图像数据执行诸如不良像素校正或噪声去除的图像处理。
图像信号处理器130可以输出经过图像处理的图像数据。经过图像处理的图像数据可以被提供给外部处理器200，例如安装有图像传感器100的电子设备的主处理器或图形处理器。由读出电路120生成和输出的图像数据可以被称为第一图像数据IDT1。从图像信号处理器130输出的图像数据可以被称为第二图像数据IDT2。
图像信号处理器130可以包括基于深度学习的处理逻辑131。在实施例中，处理逻辑131可以以硬件实现。然而，本公开不限于此，并且处理逻辑131可以通过软件或者硬件和软件的组合来实现。处理逻辑131可以根据图像传感器100的操作模式或第一图像数据IDT1的噪声水平，基于从第一训练数据TD1和第二训练数据TD2中选择的训练数据，对第一图像数据IDT1执行基于深度学习的图像处理。
在实施例中，读出电路120可以根据图像传感器100的操作模式来改变第一图像数据IDT1的数据图案。例如，当图像传感器100以第一模式操作时，读出电路120可以生成具有第一图案(pattern)的第一图像数据IDT1。当图像传感器100以第二模式操作时，读出电路120可以生成具有第二图案的第一图像数据IDT1。可以通过基于具有第一图案的第一图像数据IDT1的训练来收集第一训练数据TD1。可以通过基于具有第二图案的第一图像数据IDT1的训练来收集第二训练数据TD2。
因此，当图像传感器100在第一模式下操作时，读出电路120可以输出具有第一图案的第一图像数据IDT1。另外，处理逻辑131可以基于第一训练数据TD1对具有第一图案的第一图像数据IDT1执行基于深度学习的图像处理。此外，当图像传感器100在第二模式下操作时，读出电路120可以输出具有第二图案的第一图像数据IDT1。另外，处理逻辑131可以基于第二训练数据TD2对具有第二图案的第一图像数据IDT1执行基于深度学习的图像处理。
可以根据用户的设置来确定图像传感器100的操作模式。例如，用户可以使用安装有图像传感器100的电子设备来确定设置，或者可以在图像传感器100感测对象的光学信号时确定感测设置。可以基于感测环境来安装图像传感器100。在实施例中，图像信号处理器130可以包括关于像素阵列110中的不良像素的信息。在图像处理期间，可以基于不良像素信息来调整处理逻辑131使用的训练数据。第一训练数据TD1或第二训练数据TD2可以是训练数据的示例。处理逻辑131可以基于调整后的训练数据执行基于深度学习的图像处理。在实施例中，图像信号处理器130可以基于调整后的训练数据来更新训练数据。例如，当使用第一训练数据TD1时，图像信号处理器130可以基于不良像素信息来调整第一训练数据TD1。另外，处理逻辑131可以基于调整后的第一训练数据来执行图像处理。第一训练数据TD1可以被更新为调整后的数据。
图2示出了根据本发明构思的实施例的应用于图像信号处理器的深度神经网络DNN的结构的示例。
参照图2，深度神经网络DNN可以包括被顺序处理的多个层L1至L4。虽然图2示出了深度神经网络DNN包括四个层，但是本公开不限于此，并且层数可以变化。
深度神经网络DNN可以包括输入层、输出层和至少一个隐藏层。在图2中，第一层L1可以包括输入层，第四层L4可以包括输出层，第二层L2和第三层L3可以包括隐藏层。在第一层L1、第二层L2、第三层L3和第四层L4中，可以包括卷积层、池化层(pooling layer)或零填充层。
深度神经网络DNN可以基于输入数据(例如，x1和x2)通过第一层L1、第二层L2、第三层L3和第四层L4来执行操作，并根据操作的结果生成输出数据(例如y3)。
第一层L1、第二层L2、第三层L3和第四层L4可以包括至少一个处理节点ND(或称为神经元)。每个处理节点ND的输入和输出可以分别称为输入激活和输出激活。诸如x1、x2、y11、y12、y13、y21、y22和y3的激活可以由各个权重(如w11至w32)和激活函数(如f11至f3)确定。相邻层的处理节点ND可以彼此完全连接或者可以共享权重。
在第一层L1、第二层L2、第三层L3和第四层L4中，处理节点ND可以由图1的处理逻辑131和权重来实现。表示层之间的网络的权重(如w11至w32)可以被实现为训练数据，例如，第一训练数据TD1和第二训练数据TD2。
如上所述，根据本发明构思的实施例，图像信号处理器130可以例如基于第一图像数据IDT1的图案选择性地向处理逻辑131提供训练数据。例如，图像信号处理器130可以根据第一图像数据IDT1的第一图案和第二图案，选择性地向处理逻辑131提供第一训练数据TD1和第二训练数据TD2。因此，可以实现具有各种结构的深度神经网络DNN。可以根据第一图像数据IDT1的图案来自适应地采用具有各种结构的深度神经网络DNN，而无需重新设计处理逻辑131。此外，可以不需要实现至少两个逻辑来反映第一训练数据TD1和第二训练数据TD2，因而可以减少布局处理逻辑131的区域。
图3是图1的图像传感器100的感测核101的框图。
参照图3，感测核101可以包括像素阵列110和读出电路120。读出电路120可以包括行驱动器121、斜坡信号发生器122、模数转换器(ADC)123、缓冲器124、控制寄存器125和定时发生器126。
像素阵列110可以通过信号线电连接到行驱动器121和ADC 123。
行驱动器121可以在定时发生器126的控制下以行为单位操作像素阵列110。行驱动器121可以对行控制信号(诸如，地址信号)进行译码，并响应于译码后的行控制信号，从形成像素阵列110的多条行线中选择至少一条行线。定时发生器126可以产生地址信号。像素阵列110可以根据行驱动器121提供的行选择信号，将来自所选择的行的像素信号输出到ADC 123。
ADC 123可以将像素信号与由斜坡信号发生器122提供的斜坡信号进行比较，以产生结果信号，并将结果信号转换为数字信号。通过计数结果信号的数目，将结果信号转换成数字信号。ADC 123可以将转换后的数字信号作为原始图像数据输出到缓冲器124。ADC 123可以包括用于放大像素信号的放大器、比较器和计数器。
控制寄存器125可以存储读出电路120的元件(例如，行驱动器121、斜坡信号发生器122、ADC 123、缓冲器124和定时发生器126)的各种设置值(寄存器值)。另外，控制寄存器125可以基于设置值来控制元件的操作。可以经由来自诸如图1的外部处理器200的包括设置值的控制信号CONS来接收设置值。
定时发生器126可以在控制寄存器125的控制下控制行驱动器121、ADC 123和斜坡信号发生器122的操作定时。
缓冲器124可以临时存储从ADC 123输出的原始图像数据，然后将原始图像数据作为第一图像数据IDT1输出到图1的图像信号处理器130。
图4A示出根据本发明构思的实施例的设置在图像传感器中的像素阵列110a的示例，图4B和图4C是在图4A的像素阵列110a中彼此靠近布置的两个像素的结构图。
参照图4A，像素阵列110a可以具有四拜耳图案(Quad-Bayer pattern)的结构。布置为2×2(2行2列)的四个像素PX可以包括相同颜色的滤色器。因此，像素阵列110a可以包括2×2个绿色像素G、2×2个红色像素R、2×2个蓝色像素B和2×2个绿色像素G的4×4个像素。
参照图4B，第一像素PX1和第二像素PX2可以彼此靠近布置。第一像素PX1可以包括第一微透镜ML1、第一滤色器CF1和诸如光电二极管的第一光接收元件PD1。第二像素PX2可以包括第二微透镜ML2、第二滤色器CF2和第二光接收元件PD2。第一滤色器CF1和第二滤色器CF2可以用于相同的颜色。
在实施例中，如图4C所示，第一像素PX1和第二像素PX2可以共享微透镜ML。
图5示出了根据本发明构思的实施例的根据图像传感器100的操作模式的图像数据的数据图案。
参照图5，像素阵列110a中的4×4个像素可以包括第一绿色像素G1至第四绿色像素G4、第一红色像素R1至第四红色像素R4、第一蓝色像素B1至第四蓝色像素B4以及第五绿色像素G5至第八绿色像素G8。
在第一操作模式MD1下，第一图像数据IDT1可包括与第一绿色像素G1至第四绿色像素G4、第一红色像素R1至第四红色像素R4、第一蓝色像素B1至第四蓝色像素B4以及第五绿色像素G5至第八绿色像素G8中的每个像素对应的像素数据。图1的读出电路120可以输出四拜耳图案的第一图像数据IDT1。
在第二操作模式MD2下，第一图像数据IDT1可以包括与第一绿色像素Ga、红色像素R、蓝色像素B和第二绿色像素Gb对应的像素数据。与第一绿色像素Ga对应的像素数据可以表示像素阵列110a的第一绿色像素G1至第四绿色像素G4的感测信号的和值，与红色像素R对应的像素数据可以表示第一红色像素R1至第四红色像素R4的感测信号的和值，与蓝色像素B对应的像素数据可以表示第一蓝色像素B1至第四蓝色像素B4的感测信号的和值，与第二绿色像素Gb对应的像素数据可以表示第五绿色像素G5至第八绿色像素G8的感测信号的和值。
换句话说，在第二操作模式MD2下，可以输出包括相同滤色器的相邻像素的感测信号的和值作为像素数据。可以获得大像素效应，因而第一图像数据IDT1的信噪比(SNR)和亮度会增加。这样，在第二操作模式MD2下，图1的读出电路120可以输出具有拜耳图案的第一图像数据IDT1。
当在低照度环境中感测到对象的光学信号时，捕获图像的质量可能劣化。如上所述，当图像传感器100在第二操作模式MD2下操作时，由于大像素效应，第一图像数据IDT1的亮度可以增加并且噪声可以降低，因而可以提高捕获图像的质量。
在实施例中，第一操作模式MD1可以包括捕获模式，而第二操作模式MD2可以包括预览或视频模式。在捕获模式下，当读出电路120输出具有四拜耳图案的第一图像数据IDT1时，可以保持第一图像数据IDT1的高分辨率。在预览或视频模式下，由于读出电路120通过对感测信号求和来生成具有拜耳图案的第一图像数据IDT1，因此可以确保高SNR和高帧率。
图6是根据本发明构思的实施例的图像信号处理器130的框图。
参照图6，图像信号处理器130可以包括处理逻辑131和模式确定器132。
处理逻辑131可以包括包含在深度神经网络(图2的深度神经网络DNN)的多个层中的节点。处理逻辑131可以基于训练数据对第一图像数据IDT1执行基于深度学习的图像处理。
模式确定器132可以确定图像传感器100的操作模式，并向处理逻辑131提供第一训练数据TDl和第二训练数据TD2中的与所确定的操作模式对应的训练数据。
在实施例中，模式确定器132可以以硬件实现。然而，本公开不限于此，并且模式确定器132可以以包括模式确定算法的固件或软件来实现，并且当包括在图像信号处理器130中的处理器(诸如，微处理器或CPU)执行模式确定算法时，可以执行模式确定器132的功能。
第一训练数据TD1和第二训练数据TD2分别可以包括第一模式的权重Wmd1和第二模式的权重Wmd2。如上所述，第一模式的权重Wmd1可以包括通过基于具有第一图案的第一图像数据IDT1的训练而收集的深度神经网络的权重，第二模式的权重Wmd2可以包括通过基于具有第二图案的第一图像数据IDT1的训练而收集的深度神经网络的权重。
第一训练数据TD1和第二训练数据TD2可以存储在存储器中，例如，分别存储在第一存储器(MEM1)141和第二存储器(MEM2)142中。第一存储器141和第二存储器142可以由易失性存储器(诸如，动态随机存取存储器(DRAM)或静态RAM(SRAM))，或非易失性存储器(诸如，相变RAM(PRAM)、电阻RAM(ReRAM)或NAND闪存)来实现。第一存储器141和第二存储器142可以设置在图像传感器100或图像信号处理器130中，或者可以设置在与图像传感器100分开的单独的半导体芯片中。第一存储器141和第二存储器142可以包括单独的半导体存储器件，或者可以是一个半导体存储器件中的不同的存储区域。
模式确定器132可以基于所确定的操作模式来访问第一存储器141或第二存储器142，读出与该操作模式对应的训练数据，并将读取到的训练数据提供给处理逻辑131。
在实施例中，模式确定器132可以基于设置信号(例如，在图像传感器100外部接收的用户设置信号)来确定操作模式。在实施例中，模式确定器132可以基于图像传感器100的感测设置信息(例如，设置在读出电路120中的感测电路的模拟增益或像素阵列110的曝光时间)来确定操作模式。
因此，根据本公开的实施例，包括图像传感器100的电子设备可以基于设置信息在图像传感器100接收光，基于接收到的光生成图像输出(例如，使用读出电路120生成图像输出)，基于设置信息估计噪声水平，基于估计的噪声水平从多个训练数据集合中选择训练数据，并基于所选择的训练数据对图像输出执行深度学习处理(例如，使用处理逻辑131执行深度学习处理)。
在一些实施例中，设备识别图像传感器的一个或更多个不良像素，并且基于识别的一个或更多个不良像素来调整所选择的训练集。在一些实施例中，多个训练集中的每个训练集被存储在单独的存储器组件(例如，第一存储器141和第二存储器142)中。
在一些示例中，可以基于图像输出和训练数据实时地训练深度神经网络。在其他示例中，训练数据表示先前已在不同设备上确定的训练参数，并且参数由处理逻辑用于形成神经网络。
图7是根据本发明构思的实施例的操作图像信号处理器的方法的框图。
参照图7，模式确定器132可以接收模式确定信号MDS，并基于模式确定信号MDS确定操作模式。在实施例中，模式确定信号MDS可以包括用户设置信号。在实施例中，模式确定信号MDS可以包括由安装有图像传感器的电子设备中的内部操作生成的信号。
在实施例中，模式确定信号MDS可以被提供给感测核101，诸如图1的读出电路120。读出电路120可以调整感测设置。基于模式确定信号MDS，感测设置可以是曝光时间、模拟增益、斜坡信号的倾斜度或图像数据的帧速率，但不限于此。
例如，当模式确定信号MDS处于第一电平(诸如，逻辑高)时，读出电路120可以在第一模式下操作并且输出具有第一图案的第一图像数据IDT1。模式确定器132可以基于第一电平的模式确定信号MDS确定第一模式，并将第一训练数据TD1提供给处理逻辑131。处理逻辑131可以基于第一训练数据TD1对具有第一图案的第一图像数据IDT1执行图像处理。
当模式确定信号MDS处于第二电平(例如，逻辑低)时，读出电路120可以在第二模式下操作。然后，模式确定信号MDS可以输出具有第二图案的第一图像数据IDT1。模式确定器132可以基于第二电平的模式确定信号MDS来确定第二模式，并将第二训练数据TD2提供给处理逻辑131。处理逻辑131可以基于第二训练数据TD2对具有第二图案的第一图像数据IDT1执行图像处理。
图8A和图8B是根据本发明构思的实施例的图像信号处理器的框图。
参照图8A，图像信号处理器130a可以包括处理逻辑131和模式确定器132a。模式确定器132a可以包括噪声水平估计器31和选择器32a。
噪声水平估计器31可以基于感测设置信息SSIF来估计第一图像数据IDT1的噪声水平，并且可以基于估计的噪声水平来确定操作模式。例如，感测设置信息SSIF可以包括图3的ADC 123的模拟增益或曝光时间。感测设置信息SSIF可以由感测核101提供。另外，当图1的外部处理器200控制感测设置时，可以从外部处理器接收感测设置信息SSIF。
例如，当图1的图像传感器100在低照度环境中感测到对象的光学信号时，曝光时间可以设置为相对长。噪声水平估计器31可以估计随着曝光时间被设置为更长第一图像数据IDT1的噪声水平更高。
例如，当感测核101的像素阵列110(参见图1)具有四拜耳图案结构并且曝光时间被设置为相对长时，图1的读出电路120可以根据图5的第二操作模式MD2输出具有拜耳图案的第一图像数据IDT1。当曝光时间被设置为相对短时，读出电路120可以根据图5的第一操作模式MD1输出具有四拜耳图案的第一图像数据IDT1。
噪声水平估计器31可以基于估计的噪声水平来确定操作模式。例如，当估计的噪声水平等于或小于第一参考值时，噪声水平估计器31可以将操作模式确定为第一模式。另外，当估计的噪声水平超过第一参考值时，噪声水平估计器31可以将操作模式确定为第二模式。
选择器32a可以基于由噪声水平估计器31确定的操作模式来选择第一训练数据TDl和第二训练数据TD2之一，并且将所选择的训练数据提供给处理逻辑131。
参照图8B，图像信号处理器130b可以包括处理逻辑131和模式确定器132b。另外，模式确定器132b可以包括噪声水平估计器31和选择器32b。图8B的图像信号处理器130b的结构和操作类似于图8A的图像信号处理器130a的结构和操作。因此，下面主要描述它们之间的不同之处。
在图8B中，第一训练数据TD1至第三训练数据TD3之一可以被提供给处理逻辑131。例如，第一训练数据TD1可以包括基于具有第一图案的第一图像数据IDT1训练的权重Wmd1。第二训练数据TD2可以包括基于具有第二图案的第一图像数据IDT1训练的权重Wmd2。第三训练数据TD3可以包括基于具有第三图案的第一图像数据IDT1训练的权重Wmd3。
噪声水平估计器31可以基于感测设置信息SSIF来估计第一图像数据IDT1的噪声水平，并且可以基于估计的噪声水平来确定操作模式。噪声水平估计器31可以基于估计的噪声水平来确定第一操作模式至第三操作模式中的一种操作模式。
第一训练数据TD1、第二训练数据TD2和第三训练数据TD3可以分别存储在第一存储器至第三存储器141、142和143中。另外，选择器32b可以基于由噪声水平估计器31确定的操作模式来选择第一训练数据TD1至第三训练数据TD3之一，并将所选择的训练数据提供给处理逻辑131。
图9是根据本发明构思的实施例的操作图像信号处理器的方法的流程图。图9的操作方法可以在以上参照图6至图8B描述的图像信号处理器130、130a和130b中执行。因此，参照图6至图8B给出的描述可以应用于图9的实施例。
参照图9，图像信号处理器130可以确定图像传感器的操作模式(S110)。例如，图6的模式确定器132可以基于在图像传感器100外部接收的设置信号或图像传感器100的感测设置信息来确定操作模式。
图像信号处理器130可以基于操作模式选择训练数据(S120)。例如，模式确定器132可以基于所确定的操作模式选择第一训练数据TD1和第二训练数据TD2之一或者第一训练数据至第三训练数据TD1、TD2和TD3之一。
图像信号处理器130，具体地，图6的处理逻辑131，可以基于所选择的训练数据对第一图像数据执行基于深度学习的图像处理(S130)。
图10A和图10B是根据本发明构思的实施例的图9的模式确定方法的流程图。图10A的操作方法可以由图8A的图像信号处理器130a执行，图10B的操作方法可以由图8B的图像信号处理器130b执行。
参照图10A，噪声水平估计器31可以接收感测设置信息(S11)。噪声水平估计器31可以基于感测设置信息来估计第一图像数据的噪声水平(S12)。噪声水平估计器31可以将估计的噪声水平与参考值进行比较(S13)。当估计的噪声水平等于或小于参考值时，噪声水平估计器31可以将操作模式确定为第一模式(S14)。当估计的噪声水平超过参考值时，噪声水平估计器31可以将操作模式确定为第二模式(S15)。
参照图10B，噪声水平估计器31可以接收感测设置信息(S21)。噪声水平估计器31可以基于感测设置信息来估计第一图像数据的噪声水平(S22)。噪声水平估计器31可以将估计的噪声水平与第一参考值进行比较(S23)。当估计的噪声水平等于或小于第一参考值时，噪声水平估计器31可以将操作模式确定为第一模式(S24)。
当估计的噪声水平超过第一参考值时，噪声水平估计器31可以将估计的噪声水平与第二参考值进行比较(S25)。当估计的噪声水平等于或小于第二参考值时，噪声水平估计器31可以将操作模式确定为第二模式(S26)。当所估计的噪声水平超过第二参考值时，噪声水平估计器31还可以将操作模式确定为第三模式(S27)。
图11是根据本发明构思的实施例的图像传感器100c的框图。
参照图11，图像传感器100c可以包括第一像素阵列110-1、第一读出电路120-1、第二像素阵列110-2、第二读出电路120-2以及图像信号处理器130c。在实施例中，图像传感器100c可以包括第一存储器141和第二存储器142。
第一像素阵列110-1和第二像素阵列110-2可以具有同构或异构图案结构。例如，第一像素阵列110-1可以具有拜耳图案结构，第二像素阵列110-2可以具有四拜耳图案结构。
第一读出电路120-1可以基于图像数据生成从第一像素阵列110-1输出的感测信号。第二读出电路120-2可以基于图像数据生成从第二像素阵列110-2输出的感测信号。
图像信号处理器130c可以包括处理逻辑131、第一选择器134和第二选择器133。
第一选择器134可以响应于选择信号SEL从第一读出电路120-1和第二读出电路120-2之一接收图像数据，并且将图像数据作为第一图像数据IDT1提供给处理逻辑131。
第二选择器133可以响应于选择信号SEL选择第一训练数据TD1和第二训练数据TD2之一，并且将所选择的训练数据提供给处理逻辑131。在这种状态下，第一训练数据TD1可以包括通过基于第一像素阵列110-1的图案结构的训练而确定的权重Wmd1。第二训练数据TD2可以包括通过基于第二像素阵列110-2的图案结构的训练而确定的权重Wmd2。
例如，第一选择器134可以响应于第一电平(例如，逻辑高)的选择信号SEL，将从第一读出电路120-1接收的图像数据作为第一图像数据IDT1提供给处理逻辑131。第二选择器133可以响应于第一电平的选择信号SEL将第一训练数据TD1提供给处理逻辑131。
处理逻辑131可以对第一图像数据IDTl执行基于深度学习的图像处理。可以通过使用权重Wmd2，基于第一像素阵列110-1的感测信号来产生基于深度学习的图像处理。权重Wmd2可以是通过基于第一像素阵列110-1的图像结构的训练而确定的。
图12是根据本发明构思的实施例的图像传感器100d的框图。
参照图12，图像传感器100d可以包括感测核101、图像信号处理器130d、第一存储器141、第二存储器142和第三存储器(MEM3)150。感测核101可以包括像素阵列和读出电路。在实施例中，第一存储器141、第二存储器142和第三存储器150可以由图像传感器100d外部的单独的半导体集成电路来实现。
图像信号处理器130d可以包括处理逻辑131d和模式确定器132。模式确定器132可以确定图像传感器100d的操作模式，并基于操作模式选择分别存储在第一存储器141和第二存储器142中的第一训练数据TD1和第二训练数据TD2之一，并将所选择的训练数据提供给处理逻辑131d。
处理逻辑131d可以基于接收到的训练数据对第一图像数据IDTl执行基于深度学习的图像处理。处理逻辑131d可以基于训练数据调整不良像素信息IF_BP。例如，处理逻辑131d可以将在训练数据中包括的权重当中的与不良像素有关的权重设置为零值。处理逻辑131d可以基于调整后的训练数据执行基于深度学习的图像处理。
不良像素信息IF_BP可以包括不良像素在像素阵列上的位置。可以在图像传感器100d的制造过程(晶片级)中检测不良像素信息IF_BP。另外，不良像素信息IF_BP可以存储在第三存储器150中。不良像素信息IF_BP也可以在图像传感器100d的操作期间被定期地或不定期地检测以被存储在第三存储器150中或被更新。
第三存储器150可以由非易失性存储器(例如，一次性可编程存储器(OTP)、NAND闪存、ReRAM或PRAM)实现。第三存储器150可以设置在图像传感器100d中，或者由与图像传感器100d分开的单独的半导体集成电路来实现。
在实施例中，处理逻辑131d可以将调整后的训练数据存储在存储器(例如，第一存储器141或第二存储器142)中，以更新训练数据。例如，当第一训练数据TD1被提供给处理逻辑131d时，处理逻辑131d可以基于不良像素信息IF_BP将在第一训练数据TD1中包括的权重当中的与不良像素有关的权重设置为零值。因此，可以调整第一训练数据TD1。处理逻辑131d可以通过将调整后的第一训练数据存储在第一存储器141中来更新第一训练数据TD1。然后，直到不良像素信息IF_BP被更新，可以基于不良像素信息IF_BP来使用更新后的第一训练数据TD1。
图13是根据本发明构思的实施例的操作图像信号处理器的方法的流程图。图13示出了图12的图像信号处理器130d的操作方法。因此，参照图12呈现的描述可以应用于本实施例。
参照图13，模式确定器132可以确定图像传感器100d的操作模式(S210)。模式确定器132可以基于所确定的操作模式来选择训练数据(S220)。例如，模式确定器132可以基于操作模式选择第一训练数据TD1和第二训练数据TD2之一。模式确定器132可以将所选择的训练数据提供给处理逻辑131d。
处理逻辑131d(或可以添加的另一逻辑电路)可以设置在所选择的训练数据中包括的权重当中的与不良像素对应的权重(S230)。因此，可以调整训练数据。
处理逻辑131d可以基于调整后的训练数据对第一图像数据IDT1执行基于深度学习的图像处理(S240)。
具有不良像素的图像数据可能会在基于深度学习的图像处理期间引起错误。为了防止错误，在用于确定权重的训练期间，当包括关于不良像素的信息时，由于各种情况，可能难以确定训练集合。
在以上参考图12和图13描述的本实施例中，可以在确定权重期间防止由于不良像素导致的错误的产生。当权重被应用到处理逻辑131d时，可以通过将与不良像素有关的权重设置为零值来防止由于不良像素导致的错误的产生。另外，通过使用不良像素信息IF_BP，能够防止由于不良像素导致的错误的产生。此外，不良像素信息IF_BP可以在权重应用操作中使用，而不是在训练操作中使用。因此，可以简化训练操作中的训练设置。
图14是根据本发明构思的实施例的图像处理设备1000的框图。
参照图14，图像处理设备1000(或摄像设备)可以包括图像传感器1100、图像信号处理器(ISP)1200和应用处理器1300。图像传感器1100可以包括像素阵列和读出电路，并将未处理的图像数据(原始图像数据)输出为第一图像数据IDT1。
以上参照图1至图13描述的图像信号处理器可以应用于图像信号处理器1200。图像信号处理器1200可以对第一图像数据IDT1执行基于深度学习的图像处理。图像信号处理器1200可以存储与第一图像数据IDT1的各种输出图案对应的预定权重集合。另外，图像信号处理器1200可以基于第一图像数据IDT1的输出图案通过使用权重集合之一来执行基于深度学习的图像处理。此外，图像信号处理器1200可以基于不良像素信息将权重当中的与不良像素对应的权重设置为零值，从而消除由于不良像素引起的误差。图像信号处理器1200可以提供经过图像处理的图像数据。例如，第二图像数据IDT2可以被提供给应用处理器1300。
应用处理器1300可以基于接收到的第二图像数据IDT2执行附加操作。在实施例中，应用处理器1300可以包括用于执行比图像信号处理器1200更高级别的图像处理的图像处理电路。另外，图像处理电路可以对第二图像数据IDT2执行图像处理。例如，图像处理电路可以改变第二图像数据IDT2的数据格式或调整第二图像数据IDT2的大小。
图15是根据本发明构思的实施例的图像处理设备2000的框图。
参照图15，图像处理设备2000可以包括图像传感器2100和应用处理器2200。
应用处理器2200可以包括第一图像信号处理器(ISP1)2210和第二图像信号处理器(ISP2)2220。第二图像信号处理器2220可以执行比第一图像信号处理器2210更高级别的图像处理。图像信号处理器2210可以执行诸如不良像素校正或噪声去除的图像处理。第二图像信号处理器2220可以执行诸如图像数据的颜色坐标改变、亮度调整、清晰度调整或对比度调整的图像处理。
以上参照图1至图13描述的图像信号处理器可以应用于第一图像信号处理器2210。第一图像信号处理器2210可以从图像传感器2100接收第一图像数据IDT1，并且可以对第一图像数据IDT1执行基于深度学习的图像处理。在这种状态下，第一图像数据IDT1可以包括未处理的图像数据(原始图像数据)。第一图像信号处理器2210可以存储与第一图像数据IDT1的各种输出图案对应的预定权重集合。第一图像信号处理器2210还可以基于第一图像数据IDT1的输出图案通过使用权重集合之一来执行基于深度学习的图像处理。此外，第一图像信号处理器2210可以基于不良像素信息将权重当中的与不良像素对应的权重设置为零值，从而消除由于不良像素引起的误差。
图16是根据本发明构思的实施例的包括图像传感器3200的电子设备3000的框图。图16的电子设备3000可以包括便携式终端。
参照图16，电子设备3000可以包括主处理器3100、图像传感器3200、显示设备3600、工作存储器3300、存储装置3400、用户接口3700和无线收发器3500。
主处理器3100可以控制电子设备3000的整体操作，并且可以由用于驱动应用程序或操作系统的片上系统(SoC)来实现。主处理器3100可以将由图像传感器3200提供的图像数据提供给显示设备3600，或者将图像数据存储在存储装置3400中。在实施例中，主处理器3100可以包括图像处理电路，并对从图像传感器3200接收到的图像数据执行诸如图像质量调整或数据格式改变的图像处理。
参照图1、图11和图12描述的图像传感器100、100c和100d可以用作图像传感器3200。图像传感器3200可以存储各种训练数据。例如，图像传感器3200可以存储、选择与图像数据的图案对应的权重集合，并基于该权重集合执行基于深度学习的图像处理。权重集合可以对应于所生成的图像数据的各种图案。此外，图像传感器3200可以存储关于不良像素的信息，并且可以将权重集合的权重当中的与不良像素对应的权重设置为零值，从而防止由于不良像素而产生错误。图像传感器3200可以包括深度学习图像信号处理器3210，以上参照图1至图13描述的图像信号处理器可以应用于深度学习图像信号处理器3210。
工作存储器3300可以由诸如DRAM或SRAM的易失性存储器或诸如FeRAM、RRAM或PRAM的非易失性存储器来实现。工作存储器3300可以存储由主处理器3100处理或执行的程序和/或数据。
存储装置3400可以由诸如NAND闪存或电阻式存储器的非易失性存储器件来实现。例如，存储装置3400可以被提供为诸如MMC、eMMC、SD或微型SD的存储卡。存储装置3400可以存储由图像传感器3200提供的图像数据。
用户接口3700可以由能够接收用户输入的各种设备(例如，键盘、某种键板、触摸面板、指纹传感器或麦克风)来实现。用户接口3700可以接收用户输入，并将与接收到的用户输入对应的信号提供给主处理器3100。
无线收发器3500可以包括收发器3510、调制解调器3520和天线3530。
如上所述，在附图和说明书中公开了实施例。尽管已经参考使用特定术语的优选实施例具体示出和描述了本公开，但是应当仅以描述性的意义考虑实施例和术语，而不是出于限制的目的。因此，本领域普通技术人员将理解，可以在不脱离由所附权利要求限定的本公开的精神和范围的情况下，在形式和细节上对其进行各种改变。

Claims (25)

1.一种图像传感器，包括：
像素阵列，被配置为将接收到的光学信号转换成电信号；
读出电路，被配置为基于所述图像传感器的操作模式，将所述电信号转换成具有第一数据图案的图像数据或具有第二数据图案的图像数据，并输出所述图像数据；以及
图像信号处理器，被配置为基于所述图像数据的数据图案和噪声水平从第一训练数据和第二训练数据中选择训练数据，以及基于所选择的训练数据对所述图像数据执行基于深度学习的图像处理，其中，所述第一训练数据包括基于所述第一数据图案训练的第一权重，并且所述第二训练数据包括基于所述第二数据图案训练的第二权重。
2.根据权利要求1所述的图像传感器，还包括：
存储所述第一训练数据的第一存储器；以及
存储所述第二训练数据的第二存储器。
3.根据权利要求1所述的图像传感器，其中，所述图像信号处理器包括：
基于深度神经网络模型实现的处理逻辑；
噪声水平估计器，被配置为估计所述图像数据的噪声水平并基于估计的所述噪声水平确定所述操作模式；以及
选择器，被配置为基于所述操作模式选择所述第一训练数据和所述第二训练数据之一，并将所选择的训练数据提供给所述处理逻辑。
4.根据权利要求3所述的图像传感器，其中，所述噪声水平估计器基于感测设置信息估计所述噪声水平，并通过比较所述噪声水平与参考值来确定所述操作模式。
5.根据权利要求4所述的图像传感器，其中，所述感测设置信息包括所述读出电路的模拟增益和曝光时间中的至少一者。
6.根据权利要求1所述的图像传感器，其中，所述图像传感器存储关于所述像素阵列的多个像素中的不良像素的信息。
7.根据权利要求6所述的图像传感器，其中，所述图像信号处理器通过将所选择的训练数据的权重中的与所述不良像素对应的权重设置成零值，调整所选择的训练数据，并基于调整后的所述训练数据执行所述基于深度学习的图像处理。
8.根据权利要求7所述的图像传感器，其中，所述图像信号处理器基于调整后的所述训练数据更新所选择的训练数据。
9.根据权利要求1所述的图像传感器，其中，所述像素阵列包括四拜耳图案结构，并且
所述图像数据具有对应于所述四拜耳图案结构的所述第一数据图案或者对应于拜耳图案结构的所述第二数据图案。
10.根据权利要求9所述的图像传感器，其中，所述第一训练数据对应于所述第一数据图案，并且所述第二训练数据对应于所述第二数据图案。
11.一种图像传感器，包括：
感测核，被配置为基于所述图像传感器的操作模式，基于接收到的光学信号生成具有第一图案的图像数据或具有第二图案的图像数据；
存储器，存储对应于所述第一图案的第一训练数据和对应于所述第二图案的第二训练数据，其中，所述第一训练数据包括基于所述第一图案训练的第一权重，并且所述第二训练数据包括基于所述第二图案训练的第二权重；以及
图像信号处理器，被配置为基于从所述感测核提供的所述图像数据的图案和噪声水平从所述第一训练数据和所述第二训练数据中选择训练数据，以及基于所选择的训练数据对所述图像数据执行基于深度学习的图像处理。
12.根据权利要求11所述的图像传感器，其中，所述感测核包括：
像素阵列，被配置为将所述光学信号转换成电信号；以及
读出电路，被配置为基于所述操作模式将所述电信号转换成具有所述第一图案的所述图像数据或具有所述第二图案的所述图像数据。
13.根据权利要求12所述的图像传感器，其中，所述图像信号处理器基于接收到的模式设置信号或感测设置信息确定所述图像数据的图案。
14.根据权利要求12所述的图像传感器，其中，所述图像信号处理器基于关于所述像素阵列的多个像素中的不良像素的信息，将与所述不良像素对应的权重设置成零值，并执行所述基于深度学习的图像处理。
15.根据权利要求11所述的图像传感器，其中，所述感测核包括：
第一像素阵列和第二像素阵列，均被配置为将接收到的光学信号转换成电信号；
第一读出电路，被配置为将从所述第一像素阵列接收的电信号转换成图像数据；以及
第二读出电路，被配置为将从所述第二像素阵列接收的电信号转换成图像数据。
16.根据权利要求15所述的图像传感器，其中，所述第一像素阵列的图案结构与所述第二像素阵列的图案结构彼此不同。
17.根据权利要求15所述的图像传感器，其中，所述第一训练数据是通过基于与所述第一像素阵列的图案结构对应的图像数据的训练确定的，所述第二训练数据是通过基于与所述第二像素阵列的图案结构对应的图像数据的训练确定的。
18.一种图像信号处理器，包括：
处理逻辑，被配置为对从图像传感器输出的图像数据执行基于深度学习的图像处理；以及
模式确定器，被配置为向所述处理逻辑提供基于所述图像数据的数据图案和噪声水平从第一训练数据和第二训练数据中选择的训练数据，所述第一训练数据和所述第二训练数据是分别通过基于具有第一图案和第二图案的图像数据的训练确定的，其中，所述第一训练数据包括基于所述第一图案训练的第一权重，并且所述第二训练数据包括基于所述第二图案训练的第二权重。
19.根据权利要求18所述的图像信号处理器，其中，所述模式确定器基于感测设置信息估计所述噪声水平并基于所述噪声水平选择所述训练数据。
20.根据权利要求18所述的图像信号处理器，还包括存储所述第一训练数据和所述第二训练数据的存储器。
21.根据权利要求18所述的图像信号处理器，其中，所述处理逻辑包括与深度神经网络的多个层的节点对应的电路。
22.根据权利要求18所述的图像信号处理器，其中，所述处理逻辑基于不良像素信息，将在接收到的训练数据中包括的权重当中的与不良像素对应的权重设置成零值。
23.一种图像处理方法，所述方法包括：
基于设置信息在图像传感器接收光；
基于所述图像传感器的操作模式，基于接收到的所述光生成具有第一数据图案的图像输出或具有第二数据图案的图像输出；
基于所述设置信息估计噪声水平；
基于所述图像输出的数据图案和所估计的噪声水平从多个训练数据集合中选择第一训练数据或第二训练数据，其中，所述第一训练数据包括基于所述第一数据图案训练的第一权重，并且所述第二训练数据包括基于所述第二数据图案训练的第二权重；以及
基于所选择的所述第一训练数据或所述第二训练数据对所述图像输出执行深度学习处理，以产生修改后的图像输出。
24.根据权利要求23所述的方法，还包括：
识别所述图像传感器的一个或更多个不良像素；以及
基于识别出所述一个或更多个不良像素调整所选择的训练数据。
25.根据权利要求23所述的方法，其中，所述多个训练数据集合中的每个训练数据集合存储在单独的存储组件中。
CN202010349880.9A 2019-06-11 2020-04-28 图像信号处理器和包括图像信号处理器的图像传感器 Active CN112153311B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190068811A KR20200141813A (ko) 2019-06-11 2019-06-11 이미지 신호 프로세서, 및 상기 이미지 신호 프로세서를 포함하는 이미지 센서
KR10-2019-0068811 2019-06-11

Publications (2)

Publication Number Publication Date
CN112153311A CN112153311A (zh) 2020-12-29
CN112153311B true CN112153311B (zh) 2024-09-10

Family

ID=73744670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010349880.9A Active CN112153311B (zh) 2019-06-11 2020-04-28 图像信号处理器和包括图像信号处理器的图像传感器

Country Status (3)

Country Link
US (2) US11528471B2 (zh)
KR (1) KR20200141813A (zh)
CN (1) CN112153311B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220147412A (ko) 2021-04-27 2022-11-03 삼성전자주식회사 이미지 센서 모듈, 이미지 처리 시스템 및 이미지 센서 모듈의 동작 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9344690B2 (en) * 2014-01-24 2016-05-17 Microsoft Technology Licensing, Llc Image demosaicing

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3488729B2 (ja) 1993-09-10 2004-01-19 富士ゼロックス株式会社 カラー画像処理方法および装置
JP4375448B2 (ja) * 2007-06-26 2009-12-02 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
US20090027504A1 (en) * 2007-07-25 2009-01-29 Suk Hwan Lim System and method for calibrating a camera
US8164660B2 (en) 2008-10-28 2012-04-24 Omnivision Technologies, Inc. Single row based defective pixel correction
KR20110029217A (ko) * 2009-09-15 2011-03-23 삼성전자주식회사 내부 변환을 통하여 ｒｇｂ베이어 신호를 출력하는 이미지 센서와 이를 포함하는 이미지 처리 장치
JP2012244449A (ja) 2011-05-20 2012-12-10 Sony Corp 画像処理装置および画像処理方法、学習装置および学習方法、プログラム、並びに記録媒体
WO2014005123A1 (en) 2012-06-28 2014-01-03 Pelican Imaging Corporation Systems and methods for detecting defective camera arrays, optic arrays, and sensors
US9967481B2 (en) 2013-03-13 2018-05-08 Intel Corporation Techniques for image sensor pixel correction
US9392166B2 (en) 2013-10-30 2016-07-12 Samsung Electronics Co., Ltd. Super-resolution in processing images such as from multi-layer sensors
KR102105409B1 (ko) * 2013-12-09 2020-05-29 삼성전자주식회사 이종의 아날로그-디지털 컨버터를 포함하는 이미지 센서
US10140573B2 (en) 2014-03-03 2018-11-27 Qualcomm Incorporated Neural network adaptation to current computational resources
US20150334371A1 (en) * 2014-05-19 2015-11-19 Rockwell Automation Technologies, Inc. Optical safety monitoring with selective pixel array analysis
KR20150146308A (ko) * 2014-06-23 2015-12-31 삼성전자주식회사 이미지 센서 및 이미지 센서의 동작 방법
US9978013B2 (en) * 2014-07-16 2018-05-22 Deep Learning Analytics, LLC Systems and methods for recognizing objects in radar imagery
US9514525B2 (en) * 2014-07-31 2016-12-06 Apple Inc. Temporal filtering for image data using spatial filtering and noise history
US9225889B1 (en) * 2014-08-18 2015-12-29 Entropix, Inc. Photographic image acquisition device and method
KR102195407B1 (ko) * 2015-03-16 2020-12-29 삼성전자주식회사 이미지 신호 프로세서와 이를 포함하는 장치들
US20160328642A1 (en) 2015-05-06 2016-11-10 Indiana University Research And Technology Corporation Sensor signal processing using an analog neural network
US10225511B1 (en) 2015-12-30 2019-03-05 Google Llc Low power framework for controlling image sensor mode in a mobile image capture device
US20180024248A1 (en) 2016-07-20 2018-01-25 Honeywell International Inc. Systems and methods for nequick modeling using neural networks
US10929945B2 (en) 2017-07-28 2021-02-23 Google Llc Image capture devices featuring intelligent use of lightweight hardware-generated statistics
US10657425B2 (en) * 2018-03-09 2020-05-19 Ricoh Company, Ltd. Deep learning architectures for the classification of objects captured with a light-field camera
US10949951B2 (en) * 2018-08-23 2021-03-16 General Electric Company Patient-specific deep learning image denoising methods and systems

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9344690B2 (en) * 2014-01-24 2016-05-17 Microsoft Technology Licensing, Llc Image demosaicing

Also Published As

Publication number Publication date
US11528471B2 (en) 2022-12-13
US20230105329A1 (en) 2023-04-06
KR20200141813A (ko) 2020-12-21
US20200396442A1 (en) 2020-12-17
CN112153311A (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
US8160381B2 (en) Method and apparatus for image noise reduction using noise models
US10089548B2 (en) Image recognition device and image recognition method
EP3706042B1 (en) Image processing method, image processing apparatus, program, image processing system, and manufacturing method of learnt model
US20210014435A1 (en) Method of correcting dynamic vision sensor (dvs) events and image sensor performing the same
US11082625B2 (en) Imaging systems for generating HDR images and operating methods thereof
US11838651B2 (en) Image processing apparatus including neural network processor and method of operating the same
US20230105329A1 (en) Image signal processor and image sensor including the image signal processor
JP2020039113A (ja) 撮像装置、撮像システム、および撮像装置の駆動方法
CN113747066A (zh) 图像校正方法、装置、电子设备及计算机可读存储介质
JP6700732B2 (ja) ピクセルイメージに含まれる不良画素の処理方法とその方法を用いたイメージセンサー及びアプリケーションプロセッサ
US20220385841A1 (en) Image sensor including image signal processor and operating method of the image sensor
US20220329768A1 (en) Image sensing device and operating method thereof
CN117795974A (zh) 支持图像数据去模糊的电子装置和方法
KR100723208B1 (ko) 디지탈 카메라용 이미지 처리 장치 및 방법
US20240292120A1 (en) Image sensor
US20240323559A1 (en) Image sensor and operating method thereof
CN109429021B (zh) 用于生成高动态范围图像的高动态范围成像设备和方法
US20240196111A1 (en) Image sensor and operating method of image sensor
JP7571173B2 (ja) 撮像装置、撮像装置の制御方法、及びプログラム
US12008789B2 (en) Image sensing device and method of operating the same
US20230262328A1 (en) Image processing system and operating method thereof
JP6765953B2 (ja) 撮像装置及びその制御方法
KR100801057B1 (ko) 컬러 보정 블럭을 구비하는 ｃｍｏｓ 이미지 센서 및 그이미지 센싱 방법
CN118175442A (zh) 图像传感器和图像传感器的操作方法
KR20220161124A (ko) 이미지 신호 프로세서를 포함하는 이미지 센서 및 이의 동작 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant