CN114630010A - 图像感测装置及图像处理装置 - Google Patents

图像感测装置及图像处理装置 Download PDF

Info

Publication number
CN114630010A
CN114630010A CN202111074052.XA CN202111074052A CN114630010A CN 114630010 A CN114630010 A CN 114630010A CN 202111074052 A CN202111074052 A CN 202111074052A CN 114630010 A CN114630010 A CN 114630010A
Authority
CN
China
Prior art keywords
image
images
learning
module
exposure time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111074052.XA
Other languages
English (en)
Inventor
金童翼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Hynix Inc
Original Assignee
SK Hynix Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SK Hynix Inc filed Critical SK Hynix Inc
Publication of CN114630010A publication Critical patent/CN114630010A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本公开提供图像感测装置及图像处理装置。所述图像感测装置包括：采样模块，所述采样模块适于基于单帧时间内生成的单个图像，针对每种颜色生成具有不同曝光时间的多个图像；校正模块，所述校正模块适于使用一套学习算法，基于所述多个图像学习所述单个图像的校正参数，并通过从所述多个图像去除所述校正参数生成多个校正图像；以及图像处理模块，所述图像处理模块适于基于所述多个校正图像生成对应于所述单个图像的高动态范围图像。

Description

图像感测装置及图像处理装置
技术领域
本公开的各种实施方式涉及一种半导体设计技术，更具体地说涉及一种图像感测装置。
背景技术
图像感测装置是利用半导体对光发生反应的特性来捕获图像的装置。图像感测装置通常分类为电荷耦合装置(CCD)图像感测装置和互补金属氧化物半导体(CMOS)图像感测装置。近来，CMOS图像感测装置被广泛使用，因为CMOS图像感测装置可以允许在单个集成电路(IC)上直接实施模拟和数字控制电路两者。
发明内容
本公开的各种实施方式涉及一种可以基于深度学习生成高动态范围图像的图像感测装置。
根据本公开的实施方式，一种图像感测装置可以包括：采样模块，所述采样模块适于基于单帧时间内生成的单个图像，针对每种颜色生成具有不同曝光时间的多个图像；校正模块，所述校正模块适于使用一套学习算法，基于所述多个图像学习所述单个图像的校正参数，并通过从所述多个图像去除所述校正参数生成多个校正图像；以及图像处理模块，所述图像处理模块适于基于所述多个校正图像生成对应于所述单个图像的高动态范围图像。
所述校正参数可以包括噪声成分和重影成分。
所述校正模块可以包括：去噪声模块，所述去噪声模块适于使用第一学习算法基于所述多个图像学习所述多个图像中的每一者的噪声成分，并通过从所述多个图像中的每一者去除所述噪声成分而生成多个去噪声图像；计算模块，所述计算模块适于基于所述多个去噪声图像和每种颜色的权重生成多个灰度图像；以及去重影模块，所述去重影模块适于使用第二学习算法，基于所述多个灰度图像学习所述多个灰度图像中的每一者的重影成分，并通过从所述多个灰度图像中的每一者去除所述重影成分生成所述多个校正图像。
根据本公开的实施方式，一种图像感测装置可以包括：图像传感器，所述图像传感器包括像素阵列，所述像素阵列具有以四边形图案排列并根据每个图案的不同曝光时间进行控制的颜色过滤器，并且适于在单帧时间内生成对应于所述四边形图案的单个图像；以及图像处理器，所述图像处理器适于基于所述单个图像以及一套学习算法针对每种颜色学习校正参数，并基于所述校正参数生成具有Bayer图案的高动态范围图像。
所述校正参数可以包括噪声成分和重影成分。
所述单个图像可以具有四边形图案，并且所述高动态范围图像可以具有Bayer图案。
根据本公开的实施方式，一种图像处理装置可以包括：采样模块，所述采样模块适于接收四边形图案图像，并根据颜色通道对所述四边形图案图像进行采样以生成多个通道图像；去噪声模块，所述去噪声模块适于生成多个去噪通道图像，每个去噪声通道图像均通过使用本身的和另一个通道的一对图像进行学习而生成，所述另一个通道与相对较高的曝光时间相关联；去重影模块，所述去重影模块适于生成多个去重影通道图像，每个去重影通道图像均通过使用本身的和另一个选择通道的一对图像进行学习而生成，所述另一个选择通道与最低曝光时间相关联；以及图像处理模块，所述图像处理模块适于基于所述多个去重影通道图像生成具有Bayer图案的输出图像。
附图说明
图1是示出根据本公开的实施方式的图像感测装置的框图。
图2是示出包括在图1中所示的图像传感器中的像素阵列的实施例的图。
图3是示出图1中所示的图像处理器的框图。
图4是示出图3中所示的采样模块的框图。
图5是示出图3中所示的校正模块的框图。
图6是示出图5中所示的去噪声模块的框图。
图7是示出图5中所示的去重影模块的框图。
图8是示出图3中所示的图像处理模块的框图。
图9至图12是示出图1中所示的图像感测装置的操作的图。
具体实施方式
下面参照附图描述本公开的各种实施方式，以便详细描述本公开，从而使本公开所属领域的普通技术人员可以容易实施本公开的技术精神。
可以理解的是，当一个元件被称为“连接到”或“联接到”另一个元件时，该元件可以直接连接到或联接到另一个元件，或者与另一个元件电连接或联接，其间插设有一个或多个元件。此外，还要理解的是，本说明书中使用的术语“包含”和“包括”并不排除存在一个或多个其它元件，而可以另外包括或具有一个或多个其它元件，另有提及除外。在整个说明书的描述中，一些部件被以单数形式描述，但本公开并不限于此，而且要理解的是这些部件可以形成为多个。
图1是示出根据本公开的实施方式的图像感测装置10的框图。
参照图1，图像感测装置10可以包括图像传感器100和图像处理器200。
图像传感器100可以在单帧时间内生成单个图像SIMG。例如，图像传感器100可以包括具有以四边形图案布置的颜色过滤器的像素阵列，并且生成对应于四边形图案的单个图像SIMG。
图像处理器200可以使用与深度学习相关的学习算法，基于单个图像SIMG生成具有高动态范围的图像(下文中称为“HDR图像”)HDRIMG。例如，图像处理器200可以使用学习算法基于单个图像SIMG学习每种颜色的校正参数，并基于校正参数生成具有Bayer图案的HDR图像HDRIMG。校正参数可以包括噪声成分和重影成分。
图2是示出包括在图1中所示的图像传感器100中的像素阵列的实施例的示意图。
参照图2，像素阵列可以包括根据四边形图案布置的多个像素。四边形图案表示具有同一颜色过滤器的像素以2×2单元排列的图案。例如，在第一行和第二行以及第一列和第二列中以2×2单元排列的第一像素可以各自具有绿色过滤器，在第一行和第二行以及第三列和第四列中以2×2单元排列的第二像素可以各自具有红色过滤器，在第三行和第四行以及第一列和第二列中以2×2单元排列的第三像素可以各自具有蓝色过滤器，并且在第三行和第四行以及第三列和第四列中以2×2单元排列的第四像素可以各自具有绿色过滤器。
可以根据每个四边形图案的不同曝光时间来控制像素阵列。例如，在第一像素中，布置在左上方的像素可以根据第一曝光时间L被控制，并且生成与在第一曝光时间L期间积累的电荷对应的图像值。此外，布置在右上方的像素可以根据第二曝光时间MH被控制，并且生成与在第二曝光时间MH期间积累的电荷对应的图像值。此外，布置在左下方的像素可以根据第三曝光时间ML被控制，并且生成与在第三曝光时间ML期间积累的电荷对应的图像值。此外，布置在右下方的像素可以根据第四曝光时间S被控制，并且生成与在第四曝光时间S期间积累的电荷对应的图像值。第一曝光时间L可以是第一至第四曝光时间L、MH、ML和S中最长的曝光时间。第二曝光时间MH可以比第一曝光时间L短。第三曝光时间ML可以比第二曝光时间MH短。第四曝光时间S可以是第一至第四曝光时间L、MH、ML和S中最短的曝光时间。可以根据第一至第四曝光时间L、MH、ML和S以与第一像素相同的方式控制第二至第四像素。
图3是示出图1中所示的图像处理器200的框图。
参照图3，图像处理器200可以包括采样模块210、校正模块220和图像处理模块230。
采样模块210可以基于在单帧时间内生成的单个图像SIMG，针对每种颜色分别生成对应于第一至第四曝光时间L、MH、ML和S的第一至第四图像I1S、I2S、I3S和I4S。
校正模块220可以使用学习算法，基于第一至第四图像I1S、I2S、I3S和I4S学习单个图像SIMG的校正参数。另外，校正模块220可以通过从第一至第四图像I1S、I2S、I3S和I4S去除校正参数分别生成第一至第四校正图像J1S、J2S、J3S和J4S。
图像处理模块230可以基于第一至第四校正图像J1S、J2S、J3S和J4S生成对应于单个图像SIMG的HDR图像HDRIMG。
图4是示出图3中所示的采样模块210的框图。
参照图4，采样模块210可以包括第一采样模块211和第二采样模块213。
第一采样模块211可以针对每个曝光时间对包括在单个图像SIMG中的图像值进行采样，并且生成第一至第四采样图像A1S、A2S、A3S和A4S。
第二采样模块213可以针对每种颜色，对第一至第四采样图像A1S、A2S、A3S和A4S中包括的图像值进行采样，并且生成第一至第四图像I1S、I2S、I3S和I4S。
图5是示出图3中所示的校正模块220的框图。
参照图5，校正模块220可以包括去噪声模块221、计算模块223和去重影模块225。
去噪声模块221可以使用第一学习算法基于第一至第四图像I1S、I2S、I3S和I4S，学习第一至第四图像I1S、I2S、I3S和I4S的第一至第四噪声成分。第一学习算法可以是使用U-Net模型、VGGnet模型和Resnet模型之一的算法。去噪声模块221可以通过从第一至第四图像I1S、I2S、I3S和I4S中分别去除第一至第四噪声成分而生成第一至第四去噪声图像B1S、B2S、B3S和B4S。
计算模块223可以基于第一至第四去噪声图像B1S、B2S、B3S和B4S以及为每种颜色预设的权重生成第一至第四灰度图像C1、C2、C3和C4。例如，计算模块223可以基于第一去噪声图像B1S和对应于第一绿色的权重生成第一灰度图像C1。此外，计算模块223可以基于第二去噪声图像B2S和对应于红色的权重生成第二灰度图像C2。此外，计算模块223可以基于第三去噪声图像B3S和对应于蓝色的权重，生成第三灰度图像C3。此外，计算模块223可以基于第四去噪声图像B4S和对应于第二绿色的权重，生成第四灰度图像C4。对应于第一绿色的权重和对应于第二绿色的权重可以取决于设计而相同或不同。
去重影模块225可以使用第二学习算法基于第一至第四灰度图像C1、C2、C3和C4以及第一至第四去噪声图像B1S、B2S、B3S和B4S学习第一至第四灰度图像的重影成分。第二学习算法可以是使用U-Net模型、VGGnet模型和Resnet模型之一的算法。去重影模块225可以通过从第一至第四灰度图像C1、C2、C3和C4分别去除第一至第四重影成分来生成第一至第四校正图像J1S、J2S、J3S和J4S。
图6是示出图5中所示的去噪声模块221的框图。
参照图6，去噪声模块221可以包括第一学习模块2211、第二学习模块2213和第三学习模块2215。
第一学习模块2211可以基于第一图像I1S和第二图像I2S，生成对应于第二图像I2S的第二去噪声图像B2S。第一学习模块2211可以通过使用第一图像I1S作为标签并使用第二图像I2S作为输入数据来学习对应于各第二图像I2S的第二噪声成分。第一学习模块2211可以在学习第二噪声成分时，生成并使用对应于第一图像I1S的第一饱和度图。例如，第一学习模块2211可以基于第一图像I1S生成第一饱和度图，基于第一饱和度图识别包括在第一图像I1S中的图像值中的饱和图像值，并且在学习第二噪声成分时排除包括在第二图像I2S中的图像值中的与饱和图像值对应的图像值。第一学习模块2211可以在学习第二噪声成分之前，基于第一曝光率来缩放第二图像I2S。例如，根据以下等式1计算第一曝光率：
等式1
Figure BDA0003261438580000061
其中，“ER1”表示第一曝光率，“VL”表示包括在每个第一图像I1s中的图像值，并且“VMH”表示包括在每个第二图像I2S中的图像值。
第二学习模块2213可以基于第二图像I2S和第三图像I3S，生成对应于第三图像I3S的第三去噪声图像B3S。第二学习模块2213可以通过使用第二图像I2S作为标签并使用第三图像I3S作为输入数据来学习对应于各第三图像I3S的第三噪声成分。第二学习模块2213可以在学习第三噪声成分时，生成并使用对应于第二图像I2S的第二饱和度图。例如，第二学习模块2213可以基于第二图像I2S生成第二饱和度图，基于第二饱和度图识别包括在第二图像I2S中的图像值中的饱和图像值，并且在学习第三噪声成分时排除包括在第三图像I3S中的图像值中的与饱和图像值对应的图像值。第二学习模块2213可以在学习第三噪声成分之前，基于第二曝光率来缩放第三图像I3S。例如，根据以下等式2计算第二曝光率：
等式2
Figure BDA0003261438580000062
在此，“ER2”表示第二曝光率，“VMH”表示包括在每个第二图像I2S中的图像值，并且“VML”表示包括在每个第三图像I3S中的图像值。
第三学习模块2215可以基于第三图像I3S和第四图像I4S，生成对应于第四图像I4S的第四去噪声图像B4S。第三学习模块2215可以通过使用第三图像I3S作为标签并使用第四图像I4S作为输入数据来学习对应于各第四图像I4S的第四噪声成分。第三学习模块2215可以在学习第四噪声成分时，生成并使用对应于第三图像I3S的第三饱和度图。例如，第三学习模块2215可以基于第三图像I3S生成第三饱和度图，基于第三饱和度图识别包括在第三图像I3S中的图像值中的饱和图像值，并且在学习第四噪声成分时排除包括在第四图像I4S中的图像值中的与饱和图像值对应的图像值。第三学习模块2215可以在学习第四噪声成分之前，基于第三曝光率来缩放第四图像I4S。例如，根据以下等式3计算第三曝光率：
等式3
Figure BDA0003261438580000071
在此，“ER3”表示第三曝光率，“VML”表示包括在每个第三图像I3s中的图像值，并且“VS”表示包括在每个第四图像I4S中的图像值。
去噪声模块221可以生成(即，输出)第一图像I1S作为第一去噪声图像B1S。在这种情况下，去噪声模块221不需要学习第一噪声成分。
图7是示出图5中所示的去重影模块225的框图。
参照图7，去重影模块225可以包括第四学习模块2251、第一生成模块2252、第五学习模块2253、第二生成模块2254、第六学习模块2255、第三生成模块2256和第四生成模块2257。
第四学习模块2251可以基于具有第四曝光时间S的第四灰度图像C4和具有第一曝光时间L的第一灰度图像C1，生成对应于第一灰度图像C1的第一校正灰度图像D1。第四学习模块2251可以通过使用第四灰度图像C4作为标签并使用第一灰度图像C1作为输入数据来学习第一灰度图像C1的第一重影成分。第四学习模块2251可以在学习第一灰度图像C1的第一重影成分时，生成并使用对应于第一灰度图像C1的第四饱和度图。例如，第四学习模块2251可以基于第一灰度图像C1生成第四饱和度图，并且在学习第一重影成分时，基于第四饱和度图，排除第一灰度图像C1中包括的图像值中的饱和图像值。第四学习模块2251可以在学习第一重影成分之前，基于第四曝光率来缩放第一灰度图像C1。根据以下等式4计算第四曝光率：
等式4
Figure BDA0003261438580000072
其中，“ER4”表示第四曝光率，“GVL”表示包括在第一灰度图像C1中的图像值，并且“GVS”表示包括在第四灰度图像C4中的图像值。
第一生成模块2252可以基于第一校正灰度图像D1、第一灰度图像C1和第一去噪声图像B1S，生成针对每种颜色具有第一曝光时间L的第一校正图像J1S。例如，第一校正图像J1S可以包括均对应于第一绿色并且具有第一曝光时间L的图像。此外，第一校正图像J1S可以包括均对应于红色并且具有第一曝光时间L的图像。此外，第一校正图像J1S可以包括均对应于蓝色并且具有第一曝光时间L的图像以及均对应于第二绿色并且具有第一曝光时间L的图像。例如，第一生成模块2252可以根据以下等式5生成第一校正图像J1S：
等式5
J1S＝B1S*(D1/C1)
第五学习模块2253可以基于具有第四曝光时间S的第四灰度图像C4和具有第二曝光时间MH的第二灰度图像C2，生成对应于第二灰度图像C2的第二校正灰度图像D2。第五学习模块2253可以通过使用第四灰度图像C4作为标签并使用第二灰度图像C2作为输入数据来学习第二灰度图像C2的第二重影成分。第五学习模块2253可以在学习第二灰度图像C2的第二重影成分时，生成并使用对应于第二灰度图像C2的第五饱和度图。例如，第五学习模块2253可以基于第二灰度图像C2生成第五饱和度图，并且在学习第二重影成分时，基于第五饱和度图，排除包括在第二灰度图像C2中的图像值中的饱和图像值。第五学习模块2253可以在学习第二重影成分之前，基于第五曝光率缩放第二灰度图像C2。根据以下等式6计算第五曝光率：
等式6
Figure BDA0003261438580000081
其中，“ER5”表示第五曝光率，“GVMH”表示包括在第二灰度图像C2中的图像值，并且“GVS”表示包括在第四灰度图像C4中的图像值。
第二生成模块2254可以基于第二校正灰度图像D2、第二灰度图像C2和第二去噪声图像B2S，生成针对每种颜色具有第二曝光时间MH的第二校正图像J2S。例如，第二校正图像J2S可以包括均对应于第一绿色并具有第二曝光时间MH的图像。此外，第二校正图像J2S可以包括均对应于红色并具有第二曝光时间MH的图像。此外，第二校正图像J2S可以包括均对应于蓝色并具有第二曝光时间MH的图像。此外，第二校正图像J2S可以包括均对应于第二绿色并且均具有第二曝光时间MH的图像。例如，第二生成模块2254可以根据以下等式7生成第二校正图像J2S：
等式7
J2S＝B2S*(D2/C2)
第六学习模块2255可以基于具有第四曝光时间S的第四灰度图像C4和具有第三曝光时间ML的第三灰度图像C3，生成对应于第三灰度图像C3的第三校正灰度图像D3。第六学习模块2255可以通过使用第四灰度图像C4作为标签并使用第三灰度图像C3作为输入数据来学习第三灰度图像C3的第三重影成分。第六学习模块2255可以在学习第三灰度图像C3的第三重影成分时，生成并使用对应于第三灰度图像C3的第六饱和度图。例如，第六学习模块2255在学习第三重影成分时，可以基于第六饱和度图，排除第三灰度图像C3中包括的图像值中的饱和图像值。第六学习模块2255可以在学习第三重影成分之前，基于第六曝光率来缩放第三灰度图像C3。根据以下等式8计算第六曝光率：
等式8
Figure BDA0003261438580000091
其中，“ER6”表示第六曝光率，“GVML”表示包括在第三灰度图像C3中的图像值，并且“GVS”表示包括在第四灰度图像C4中的图像值。
第三生成模块2256可以基于第三校正灰度图像D3、第三灰度图像C3和第三去噪声图像B3S，生成针对每种颜色具有第三曝光时间ML的第三校正图像J3S。例如，第三校正图像J3S可以包括均对应第一绿色并具有第三曝光时间ML的图像。此外，第三校正图像J3S可以包括均对应红色并具有第三曝光时间ML的图像。此外，第三校正图像J3S可以包括均对应蓝色并具有第三曝光时间ML的图像。此外，第三校正图像J3S可以包括均对应第二绿色并且均具有第三曝光时间ML的图像。例如，第三生成模块2256可以根据以下等式9生成第三校正图像J3S：
等式9：
J3S＝B3S*(D3/C3)
第四生成模块2257可以基于第四灰度图像C4和第四去噪声图像B4s，生成针对每种颜色具有第四曝光时间S的第四校正图像J4S。例如，第四校正图像J4s可以包括均对应于第一绿色并具有第四曝光时间S的图像。此外，第四校正图像J4s可以包括均对应于红色并具有第四曝光时间S的图像。此外，第四校正图像J4s可以包括均对应于蓝色并且具有第四曝光时间S的图像。此外，第四校正图像J4S可以包括均对应第二绿色并且均具有第四曝光时间S的图像。例如，第四生成模块2257可以根据以下等式10生成第四校正图像J4S：
等式10
J4S＝B4S*(D4/C4)
去重影模块225可以使用第四灰度图像C4作为第四校正灰度图像。在这种情况下，去重影模块225不需要学习第四重影成分。
图8是示出图3中所示的图像处理模块230的框图。
参照图8，图像处理模块230可以包括融合模块231和色调映射模块233。
融合模块231可以通过综合每种颜色的第一至第四校正图像J1S、J2S、J3S和J4S来生成单个融合图像FIMG。例如，单个融合图像FIMG可以具有Bayer图案。
色调映射模块233可以基于单个融合图像FIMG生成HDR图像HDRIMG。
下文中，参考图9至图12描述根据本公开的实施方式的图像感测装置10的操作，该图像感测装置具有上述配置。作为实施例，本实施方式描述由图像传感器100生成的对应于8×8像素的单个图像SIMG。
图9是示出图3和图4中所示的采样模块210的操作的图。
参照图9，第一采样模块211可以针对每个曝光时间对单个图像SIMG中包括的图像值进行采样，并且生成第一至第四采样图像A1S、A2S、A3S和A4S。例如，第一采样模块211可以通过对单个图像SIMG中包括的图像值中的根据第一曝光时间L控制的像素的图像值进行采样来生成第一采样图像A1S。此外，第一采样模块211可以通过对单个图像SIMG中包括的图像值中的根据第二曝光时间MH控制的像素的图像值进行采样来生成第二采样图像A2S。此外，第一采样模块211可以通过对单个图像SIMG中包括的图像值中的根据第三曝光时间ML控制的像素的图像值进行采样来生成第三采样图像A3S。此外，第一采样模块211可以通过对单个图像SIMG中包括的图像值中的根据第四曝光时间S控制的像素的图像值进行采样来生成第四采样图像A4S。
第二采样模块213可以针对每种颜色，对第一至第四采样图像A1S、A2S、A3S和A4S中包括的图像值进行采样，并生成第一至第四图像I1S、I2S、I3S和I4S。例如，第二采样模块213可以通过对第一采样图像A1S中包括的图像值中的对应于第一绿色的图像值进行采样、对第一采样图像A1S中包括的图像值中的对应于红色的图像值进行采样、对第一采样图像A1S中包括的图像值中的对应于蓝色的图像值进行采样以及对第一采样图像A1S中包括的图像值中的对应于第二绿色的图像值进行采样来生成第一图像I1S。第二采样模块213可以以与生成第一图像I1S的方法相同的方式生成第二至第四图像I2S、I3S和I4S。
例如，第一图像I1S可以包括这样的图像，所述图像包括根据第一曝光时间L控制的像素的图像值中的与第一绿色对应的图像值。此外，第一图像I1S可以包括这样的图像，所述图像包括根据第一曝光时间L控制的像素的图像值中的与红色对应的图像值。此外，第一图像I1S可以包括这样的图像，所述图像包括根据第一曝光时间L控制的像素的图像值中的由具有蓝色过滤器的像素生成的图像值。此外，第一图像I1S可以包括这样的图像，所述图像包括根据第一曝光时间L控制的像素的图像值中的与第二绿色对应的图像值。第二图像I2S可以包括这样的图像，所述图像包括根据第二曝光时间MH控制的像素的图像值中的与第一绿色对应的图像值。此外，第二图像I2S可以包括这样的图像，所述图像包括根据第二曝光时间MH控制的像素的图像值中的与红色对应的图像值。此外，第二图像I2S可以包括这样的图像，所述图像包括根据第二曝光时间MH控制的像素的图像值中的由具有蓝色过滤器的像素生成的图像值。此外，第二图像I2S可以包括这样的图像，所述图像包括根据第二曝光时间MH控制的像素的图像值中的与第二绿色对应的图像值。第三图像I3S可以包括这样的图像，所述图像包括根据第三曝光时间ML控制的像素的图像值中的与第一绿色对应的图像值。此外，第三图像I3S可以包括这样的图像，所述图像包括根据第三曝光时间ML控制的像素的图像值中的与红色对应的图像值。此外，第三图像I3S可以包括这样的图像，所述图像包括根据第三曝光时间ML控制的像素的图像值中的由具有蓝色过滤器的像素生成的图像值。此外，第三图像I3S可以包括这样的图像，所述图像包括根据第三曝光时间ML控制的像素的图像值中的与第二绿色对应的图像值。第四图像I4S可以包括这样的图像，所述图像包括根据第四曝光时间S控制的像素的图像值中的与第一绿色对应的图像值。此外，第四图像I4S可以包括这样的图像，所述图像包括在根据第四曝光时间S控制的像素的图像值中的与红色对应的图像值。此外，第四图像I4S可以包括这样的图像，所述图像包括根据第四曝光时间S控制的像素的图像值中的由具有蓝色过滤器的像素生成的图像值。此外，第四图像I4S可以包括这样的图像，所述图像包括在根据第四曝光时间S控制的像素的图像值中的与第二绿色对应的图像值。
图10是示出图5和图6中所示的去噪声模块221的操作的图。
参照图10，去噪声模块221可以生成分别对应于第一至第四图像I1S、I2S、I3S和I4S的第一至第四去噪声图像B1S、B2S、B3S和B4S。在这种情况下，第一图像I1S可以被输出为第一去噪声图像B1S。
第一至第三学习模块2211、2213和2215可以基于具有深度学习网络结构的第一学习算法，分别学习单个图像SIMG的第二至第四噪声成分。另外，第一至第三学习模块2211、2213和2215可以分别生成被去除第二至第四噪声成分的第二至第四去噪声图像B2S、B3S和B4S。
第一学习模块2211可以通过使用具有相对较长的曝光时间的第一图像I1S中的每一者作为标签并使用具有相对较短的曝光时间的第二图像I2S中的每一者作为输入数据来学习对应于各第二图像I2S的第二噪声成分。在这种情况下，第一学习模块2211可以基于第一图像I1S生成第一饱和度图LSM。第一学习模块2211可以基于第一饱和度图LSM识别第一图像I1S中包括的图像值中的饱和图像值，并且在学习第二噪声成分时，排除第二图像I2S中包括的图像值中的与饱和图像值对应的图像值。第一学习模块2211可以在学习第二噪声成分之前，基于第一曝光率来缩放第二图像I2S。
第二学习模块2213可以通过使用具有相对较长的曝光时间的第二图像I2S中的每一者作为标签并使用具有相对较短的曝光时间的第三图像I3S中的每一者作为输入数据来学习与各第三图像I3S对应的第三噪声成分。在这种情况下，第二学习模块2213可以基于第二图像I2S生成第二饱和度图MHSM。第二学习模块2213可以基于第二饱和度图MHSM识别第二图像I2S中包括的图像值中的饱和图像值，并且在学习第三噪声成分时，排除包括在第三图像I3S中的图像值中的与饱和图像值对应的图像值。第二学习模块2213可以在学习第三噪声成分之前，基于第二曝光率来缩放第三图像I3S。
第三学习模块2215可以通过使用具有相对较长的曝光时间的第三图像I3S中的每一者作为标签并使用具有相对较短的曝光时间的第四图像I4S中的每一者作为输入数据来学习与各第四图像I4S对应的第四噪声成分。在这种情况下，第三学习模块2215可以基于第三图像I3S生成第三饱和度图MLSM。第三学习模块2215可以基于第三饱和度图MLSM识别第三图像I3S中包括的图像值中的饱和图像值，并在学习第四噪声成分时排除包括在第四图像I4S中的图像值中与饱和图像值对应的图像值。第三学习模块2215可以在学习第四噪声成分之前，基于第三曝光率来缩放第四图像I4S。
可以看到，第一至第三学习模块2211、2213和2215分别使用由采样模块210生成的第一至第三图像I1S、I2S和I3S作为标签。即，去噪声模块221通过无监督学习方法学习第二至第四噪声成分。
此外，第一至第三学习模块2211、2213和2215可以分别共享学习第二至第四噪声成分时所需的每种颜色的权重W1。例如，权重W1可以对于每种颜色具有固定值。
图11是示出图5和图7中所示的去重影模块225的操作的图。
参照图11，去重影模块225可以基于第一至第四灰度图像C1、C2、C3和C4以及第一至第四去噪声图像B1S、B2S、B3S和B4S生成第一至第四校正图像J1S、J2S、J3S和J4S。
第四至第六学习模块2251、2253和2255可以基于具有深度学习网络结构的第二学习算法分别学习第一至第三重影成分，并且基于第一至第三重影成分生成第一至第三校正图像J1S、J2S和J3S。
第四学习模块2251可以通过使用具有最短曝光时间的第四灰度图像C4作为标签，并使用具有相对较长的曝光时间的第一灰度图像C1作为输入数据来学习与第一灰度图像C1对应的第一重影成分。在这种情况下，第四学习模块2251可以基于第一灰度图像C1生成第四饱和度图GLSM。第四学习模块2251可以在学习第一重影成分时，基于第四饱和度图GLSM，排除第一灰度图像C1中包括的图像值中的饱和图像值。第四学习模块2251可以在学习第一重影成分之前，基于第四曝光率来缩放第一灰度图像C1。
第五学习模块2253可以通过使用具有最短曝光时间的第四灰度图像C4作为标签，并使用具有相对较长的曝光时间的第二灰度图像C2作为输入数据，学习与第二灰度图像C2对应的第二重影成分。在这种情况下，第五学习模块2253可以基于第二灰度图像C2生成第五饱和度图GMHSM。第五学习模块2253可以在学习第二重影成分时，基于第五饱和度图GMHSM，排除第二灰度图像C2中包括的图像值中的饱和图像值。第五学习模块2253可以在学习第二重影成分之前，基于第五曝光率来缩放第二灰度图像C2。
第六学习模块2255可以通过使用具有最短曝光时间的第四灰度图像C4作为标签，并使用具有相对较长的曝光时间的第三灰度图像C3作为输入数据，学习对应于第三灰度图像C3的第三重影成分。在这种情况下，第六学习模块2255可以基于第三灰度图像C3生成第六饱和度图GMLSM。第六学习模块2255可以在学习第三重影成分时，基于第六饱和度图GMLSM，排除第三灰度图像C3中包括的图像值中的饱和图像值。第六学习模块2255可以在学习第三重影成分之前，基于第六曝光率来缩放第三灰度图像C3。
可以看出，第四至第六学习模块2251、2253和2255中的每一者均使用计算模块223生成的第四灰度图像C4作为标签。即，去重影模块225通过无监督学习方法学习第一至第三重影成分。
此外，第四至第六学习模块2251、2253和2255可以分别共享学习第一至第三重影成分时所需的权重W3。例如，权重W3可以具有固定值。
第一至第四生成模块2252、2254、2256和2257可以基于预定算法Y2Bayer分别生成第一至第四校正图像J1S、J2S、J3S和J4S。预定算法Y2Bayer可以是以上“等式5”、“等式7”、“等式9”或“等式10”。
第一生成模块2252可以根据以上等式5，基于第一校正灰度图像D1、第一灰度图像C1和第一去噪声图像B1S生成第一校正图像J1S。
第二生成模块2254可以根据以上等式7，基于第二校正灰度图像D2、第二灰度图像C2和第二去噪声图像B2S生成第二校正图像J2S。
第三生成模块2256可以根据以上等式9，基于第三校正灰度图像D3、第三灰度图像C3和第三去噪声图像B3S生成第三校正图像J3S。
第四生成模块2257可以根据以上等式10，基于第四校正灰度图像D4、第四灰度图像C4和第四去噪声图像B4S生成第四校正图像J4S。
图12是示出图8中所示的融合模块231的操作的图。
参照图12，融合模块231可以通过将第一至第四校正图像J1S、J2S、J3S和J4S中具有相同颜色并布置在相同位置的第一至第四图像值进行综合来生成对应于单个图像SIMG的融合图像FIMG。例如，融合模块231可以通过将包括在第一校正图像J1S中的图像值中的与第一绿色对应的一个图像值、包括在第二校正图像J2S中的图像值中的与第一绿色对应的一个图像值、包括在第三校正图像J3S中的图像值中的与第一绿色对应的一个图像值以及包括在第四校正图像J4S中的图像值中的与第一绿色对应的一个图像值进行综合，来生成融合图像FIMG中包括的图像值中的与第一绿色对应的一个图像值。融合模块231可以生成具有4×4尺寸并且与具有8×8尺寸的单个图像SIMG对应的融合图像FIMG。
根据本公开的一个实施方式，在综合图像时，可以使用深度学习网络学习并去除噪声成分和重影成分。
根据本公开的实施方式，可以基于深度学习生成高动态范围图像，从而去除生成高动态范围图像时发生的信噪比下降和运动伪影。
根据本公开的实施方式，一种图像处理装置可以包括：采样模块，所述采样模块适于接收四边形图案图像，并根据颜色通道对所述四边形图案图像进行采样以生成多个通道图像；去噪声模块，所述去噪声模块适于生成多个去噪通道图像，每个去噪声通道图像均通过使用本身的和另一个通道的一对图像进行学习而生成，所述另一个通道与相对较高的曝光时间相关联；去重影模块，所述去重影模块适于生成多个去重影通道图像，每个去重影通道图像均通过使用本身的和另一个选择通道的一对图像进行学习而生成，所述另一个选择通道与最低曝光时间相关联；以及图像处理模块，所述图像处理模块适于基于所述多个去重影通道图像生成具有Bayer图案的输出图像。
虽然已经关于具体的实施方式说明和描述了本公开，但所公开的实施方式是为描述而提供的，而不意图限制。此外，应当指出，正如本领域的技术人员根据本公开将认识到的，本公开可以通过落入所附权利要求范围内的替代、变更和变型以各种方式实现。
相关申请的交叉引用
本申请要求对2020年12月14日提交的韩国专利申请10-2020-0174188的优先权，该申请的全部公开内容通过引用纳入本文中。

Claims (20)

1.一种图像感测装置，所述图像感测装置包括：
采样模块，所述采样模块基于单帧时间内生成的单个图像，针对每种颜色生成具有不同曝光时间的多个图像；
校正模块，所述校正模块使用一套学习算法基于所述多个图像学习所述单个图像的校正参数，并通过从所述多个图像去除所述校正参数生成多个校正图像；以及
图像处理模块，所述图像处理模块基于所述多个校正图像生成对应于所述单个图像的高动态范围图像。
2.根据权利要求1所述的图像感测装置，其中，所述校正参数包括噪声成分和重影成分。
3.根据权利要求1所述的图像感测装置，其中，所述校正模块包括：
去噪声模块，所述去噪声模块使用第一学习算法基于所述多个图像学习所述多个图像中的每一者的噪声成分，并通过从所述多个图像中的每一者去除所述噪声成分而生成多个去噪声图像；
计算模块，所述计算模块基于所述多个去噪声图像和每种颜色的权重生成多个灰度图像；以及
去重影模块，所述去重影模块使用第二学习算法基于所述多个灰度图像学习所述多个灰度图像中的每一者的重影成分，并通过从所述多个灰度图像中的每一者去除所述重影成分生成所述多个校正图像。
4.根据权利要求3所述的图像感测装置，其中，所述去噪声模块生成针对每种颜色均具有第一曝光时间的多个第一图像作为多个第一去噪声图像，并且所述去噪声模块包括：
第一学习模块，所述第一学习模块基于所述多个第一图像和针对每种颜色均具有第二曝光时间的多个第二图像，生成对应于所述多个第二图像的多个第二去噪声图像；
第二学习模块，所述第二学习模块基于所述多个第二图像和针对每种颜色均具有第三曝光时间的多个第三图像，生成对应于所述多个第三图像的多个第三去噪声图像；以及
第三学习模块，所述第三学习模块基于所述多个第三图像和针对每种颜色均具有第四曝光时间的多个第四图像，生成对应于所述多个第四图像的多个第四去噪声图像。
5.根据权利要求4所述的图像感测装置，其中，所述第一学习模块通过使用所述多个第一图像中的每一者作为标签并使用所述多个第二图像中的每一者作为输入数据来学习所述多个第二图像中的每一者的噪声成分，
所述第二学习模块通过使用所述多个第二图像中的每一者作为标签并使用所述多个第三图像中的每一者作为输入数据来学习所述多个第三图像中的每一者的噪声成分，并且
所述第三学习模块通过使用所述多个第三图像中的每一者作为标签并使用所述多个第四图像中的每一者作为输入数据来学习所述多个第四图像中的每一者的噪声成分。
6.根据权利要求5所述的图像感测装置，其中，所述第一学习模块在学习所述多个第二图像中的每一者的所述噪声成分时，生成并使用与所述多个第一图像对应的第一饱和度图，
所述第二学习模块在学习所述多个第三图像中的每一者的所述噪声成分时，生成并使用与所述多个第二图像对应的第二饱和度图，并且
所述第三学习模块在学习所述多个第四图像中的每一者的所述噪声成分时，生成并使用与所述多个第三图像对应的第三饱和度图。
7.根据权利要求4所述的图像感测装置，其中，所述第一学习模块在学习所述多个第二图像中的每一者的噪声成分之前，基于第一曝光率缩放所述多个第二图像，
所述第二学习模块在学习所述多个第三图像中的每一者的噪声成分之前，基于第二曝光率缩放所述多个第三图像，并且
所述第三学习模块在学习所述多个第四图像中的每一者的噪声成分之前，基于第三曝光率缩放所述多个第四图像。
8.根据权利要求4所述的图像感测装置，其中，在所述第一曝光时间至所述第四曝光时间中，所述第一曝光时间是最长曝光时间，所述第二曝光时间比所述第一曝光时间短，所述第三曝光时间比所述第二曝光时间短，并且所述第四曝光时间是最短曝光时间。
9.根据权利要求4所述的图像感测装置，其中，所述第一学习模块至所述第三学习模块共享用于学习相应噪声成分的每种颜色的权重。
10.根据权利要求3所述的图像感测装置，其中，所述去噪声模块包括：
第四学习模块，所述第四学习模块基于具有第四曝光时间的第四灰度图像以及具有第一曝光时间的第一灰度图像，生成对应于所述第一灰度图像的第一校正灰度图像；
第一生成模块，所述第一生成模块基于所述第一校正灰度图像，生成针对每种颜色具有所述第一曝光时间的多个第一校正图像；
第五学习模块，所述第五学习模块基于所述第四灰度图像以及具有第二曝光时间的第二灰度图像，生成对应于所述第二灰度图像的第二校正灰度图像；
第二生成模块，所述第二生成模块基于所述第二校正灰度图像，生成针对每种颜色具有所述第二曝光时间的多个第二校正图像；
第六学习模块，所述第六学习模块基于所述第四灰度图像以及具有第三曝光时间的第三灰度图像，生成对应于所述第三灰度图像的第三校正灰度图像；
第三生成模块，所述第三生成模块基于所述第三校正灰度图像，生成针对每种颜色具有所述第三曝光时间的多个第三校正图像；以及
第四生成模块，所述第四生成模块基于所述第四灰度图像，生成针对每种颜色具有所述第四曝光时间的多个第四校正图像。
11.根据权利要求10所述的图像感测装置，其中，所述第四学习模块通过使用所述第四灰度图像作为标签并使用所述第一灰度图像作为输入数据来学习所述第一灰度图像的重影成分，
所述第五学习模块通过使用所述第四灰度图像作为标签并使用所述第二灰度图像作为输入数据来学习所述第二灰度图像的重影成分，并且
所述第六学习模块通过使用所述第四灰度图像作为标签并使用所述第三灰度图像作为输入数据来学习所述第三灰度图像的重影成分。
12.根据权利要求11所述的图像感测装置，其中，所述第四学习模块在学习所述第一灰度图像的所述重影成分时，生成并使用与所述第一灰度图像对应的第四饱和度图，
所述第五学习模块在学习所述第二灰度图像的所述重影成分时，生成并使用与所述第二灰度图像对应的第五饱和度图，并且
所述第六学习模块在学习所述第三灰度图像的所述重影成分时，生成并使用与所述第三灰度图像对应的第六饱和度图。
13.根据权利要求10所述的图像感测装置，其中，所述第四学习模块在学习所述第一灰度图像的重影成分之前，基于第四曝光率对所述第一灰度图像进行缩放，
所述第五学习模块在学习所述第二灰度图像的重影成分之前，基于第五曝光率对所述第二灰度图像进行缩放，并且
所述第六学习模块在学习所述第三灰度图像的重影成分之前，基于第六曝光率对所述第三灰度图像进行缩放。
14.根据权利要求10所述的图像感测装置，其中，在所述第一曝光时间至所述第四曝光时间中，所述第一曝光时间是最长曝光时间，所述第二曝光时间比所述第一曝光时间短，所述第三曝光时间比所述第二曝光时间短，并且所述第四曝光时间是最短曝光时间。
15.根据权利要求10所述的图像感测装置，其中，所述第四学习模块至所述第六学习模块共享用于学习相应重影成分的每种颜色的权重。
16.根据权利要求1所述的图像感测装置，其中，所述采样模块包括：
第一采样模块，所述第一采样模块针对每个曝光时间对包括在所述单个图像中的图像值进行采样，并生成多个采样图像；以及
第二采样模块，所述第二采样模块针对每种颜色对包括在所述多个采样图像中的图像值进行采样，并生成所述多个图像。
17.根据权利要求1所述的图像感测装置，其中，所述图像处理模块包括：
融合模块，所述融合模块通过综合每种颜色的所述多个校正图像来生成单个融合图像；以及
色调映射模块，所述色调映射模块基于所述单个融合图像生成所述高动态范围图像。
18.一种图像感测装置，所述图像感测装置包括：
图像传感器，所述图像传感器包括像素阵列，所述像素阵列具有以四边形图案排列并根据每个图案的不同曝光时间进行控制的颜色过滤器，并且在单帧时间内生成对应于所述四边形图案的单个图像；以及
图像处理器，所述图像处理器基于所述单个图像针以及一套学习算法对每种颜色学习校正参数，并基于所述校正参数生成具有Bayer图案的高动态范围图像。
19.根据权利要求18所述的图像感测装置，其中，所述校正参数包括噪声成分和重影成分。
20.一种图像处理装置，所述图像处理装置包括：
采样模块，所述采样模块接收四边形图案图像，并根据颜色通道对所述四边形图案图像进行采样以生成多个通道图像；
去噪声模块，所述去噪声模块生成多个去噪声通道图像，每个去噪声通道图像均通过使用本身的和另一个通道的一对图像进行学习而生成，所述另一个通道与相对较高的曝光时间相关联；
去重影模块，所述去重影模块生成多个去重影通道图像，每个去重影通道图像均通过使用本身的和另一个选择通道的一对图像进行学习而生成，所述另一个选择通道与最低曝光时间相关联；以及
图像处理模块，所述图像处理模块基于所述多个去重影通道图像生成具有Bayer图案的输出图像。
CN202111074052.XA 2020-12-14 2021-09-14 图像感测装置及图像处理装置 Pending CN114630010A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200174188A KR20220084578A (ko) 2020-12-14 2020-12-14 이미지 센싱 장치
KR10-2020-0174188 2020-12-14

Publications (1)

Publication Number Publication Date
CN114630010A true CN114630010A (zh) 2022-06-14

Family

ID=80855534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111074052.XA Pending CN114630010A (zh) 2020-12-14 2021-09-14 图像感测装置及图像处理装置

Country Status (4)

Country Link
US (1) US11290655B1 (zh)
JP (1) JP2022094319A (zh)
KR (1) KR20220084578A (zh)
CN (1) CN114630010A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI803424B (zh) * 2022-09-08 2023-05-21 大陸商廣州印芯半導體技術有限公司 動態影像產生方法及其動態影像感測器

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009010691A (ja) * 2007-06-28 2009-01-15 Seiko Epson Corp 撮像装置、撮像方法、画像処理装置、画像処理プログラム及び画像処理方法
US20100310190A1 (en) * 2009-06-09 2010-12-09 Aptina Imaging Corporation Systems and methods for noise reduction in high dynamic range imaging
TW201121336A (en) * 2009-12-08 2011-06-16 Univ Nat Taiwan Normal Method for correcting high dynamic range synthetic images
CN102769756A (zh) * 2011-05-02 2012-11-07 索尼公司 图像处理设备、图像处理方法和程序
US20120287294A1 (en) * 2011-05-13 2012-11-15 Sony Corporation Image processing apparatus, image pickup apparatus, image processing method, and program
CN102970549A (zh) * 2012-09-20 2013-03-13 华为技术有限公司 图像处理方法及装置
JP2013066145A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2013258596A (ja) * 2012-06-13 2013-12-26 Denso Corp 撮像装置
CN104301638A (zh) * 2013-07-16 2015-01-21 聚晶半导体股份有限公司 坏像素处理方法与图像处理装置
JP2015019293A (ja) * 2013-07-11 2015-01-29 ソニー株式会社 固体撮像装置および方法、並びに、電子機器
CN104349018A (zh) * 2013-08-07 2015-02-11 索尼公司 图像处理设备、图像处理方法和电子设备
JP2015142342A (ja) * 2014-01-30 2015-08-03 オリンパス株式会社 撮像装置、画像生成方法及び画像生成プログラム
KR20150118213A (ko) * 2014-04-11 2015-10-22 에스케이하이닉스 주식회사 이미지 센싱 장치
JP2016001807A (ja) * 2014-06-11 2016-01-07 オリンパス株式会社 画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラム
CN109005364A (zh) * 2018-08-13 2018-12-14 Oppo广东移动通信有限公司 成像控制方法、装置、电子设备以及计算机可读存储介质
JP2018207413A (ja) * 2017-06-09 2018-12-27 キヤノン株式会社 撮像装置
CN111479071A (zh) * 2020-04-03 2020-07-31 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和可读存储介质
US20200285901A1 (en) * 2019-03-05 2020-09-10 Canon Kabushiki Kaisha Image processing method, image processing apparatus, storage medium, image processing system, and manufacturing method of learnt model
CN111711755A (zh) * 2020-06-28 2020-09-25 Oppo广东移动通信有限公司 图像处理方法及装置、终端和计算机可读存储介质
CN111835941A (zh) * 2019-04-18 2020-10-27 北京小米移动软件有限公司 图像生成方法及装置、电子设备、计算机可读存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8345144B1 (en) * 2009-07-15 2013-01-01 Adobe Systems Incorporated Methods and apparatus for rich image capture with focused plenoptic cameras
KR102145201B1 (ko) 2013-08-12 2020-08-18 삼성전자주식회사 이미지의 동적 범위 향상을 위한 방법 및 장치
JP6968797B2 (ja) * 2016-07-28 2021-11-17 ソニーセミコンダクタソリューションズ株式会社 撮像素子
US10708525B2 (en) * 2018-08-27 2020-07-07 Qualcomm Incorporated Systems and methods for processing low light images
CN112906429A (zh) * 2019-11-19 2021-06-04 英业达科技有限公司 图文影像辨识系统及方法
US11544041B2 (en) * 2019-11-22 2023-01-03 Aetna Inc. Next generation digitized modeling system and methods
FI129608B (en) * 2020-01-08 2022-05-31 Nokia Technologies Oy MACHINE LEARNING SIGNAL DETECTION AND RECONSTRUCTION OF LOW RESOLUTION SAMPLES

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009010691A (ja) * 2007-06-28 2009-01-15 Seiko Epson Corp 撮像装置、撮像方法、画像処理装置、画像処理プログラム及び画像処理方法
US20100310190A1 (en) * 2009-06-09 2010-12-09 Aptina Imaging Corporation Systems and methods for noise reduction in high dynamic range imaging
TW201121336A (en) * 2009-12-08 2011-06-16 Univ Nat Taiwan Normal Method for correcting high dynamic range synthetic images
CN102769756A (zh) * 2011-05-02 2012-11-07 索尼公司 图像处理设备、图像处理方法和程序
US20120287294A1 (en) * 2011-05-13 2012-11-15 Sony Corporation Image processing apparatus, image pickup apparatus, image processing method, and program
JP2013066145A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2013258596A (ja) * 2012-06-13 2013-12-26 Denso Corp 撮像装置
CN102970549A (zh) * 2012-09-20 2013-03-13 华为技术有限公司 图像处理方法及装置
JP2015019293A (ja) * 2013-07-11 2015-01-29 ソニー株式会社 固体撮像装置および方法、並びに、電子機器
CN104301638A (zh) * 2013-07-16 2015-01-21 聚晶半导体股份有限公司 坏像素处理方法与图像处理装置
CN104349018A (zh) * 2013-08-07 2015-02-11 索尼公司 图像处理设备、图像处理方法和电子设备
JP2015142342A (ja) * 2014-01-30 2015-08-03 オリンパス株式会社 撮像装置、画像生成方法及び画像生成プログラム
KR20150118213A (ko) * 2014-04-11 2015-10-22 에스케이하이닉스 주식회사 이미지 센싱 장치
JP2016001807A (ja) * 2014-06-11 2016-01-07 オリンパス株式会社 画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラム
JP2018207413A (ja) * 2017-06-09 2018-12-27 キヤノン株式会社 撮像装置
CN109005364A (zh) * 2018-08-13 2018-12-14 Oppo广东移动通信有限公司 成像控制方法、装置、电子设备以及计算机可读存储介质
US20200285901A1 (en) * 2019-03-05 2020-09-10 Canon Kabushiki Kaisha Image processing method, image processing apparatus, storage medium, image processing system, and manufacturing method of learnt model
CN111835941A (zh) * 2019-04-18 2020-10-27 北京小米移动软件有限公司 图像生成方法及装置、电子设备、计算机可读存储介质
CN111479071A (zh) * 2020-04-03 2020-07-31 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN111711755A (zh) * 2020-06-28 2020-09-25 Oppo广东移动通信有限公司 图像处理方法及装置、终端和计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
焦淑云: "基于合成的高动态范围图像获取算法研究", 《中国优秀硕士学位论文全文数据库（电子期刊）信息科技辑》, 15 February 2016 (2016-02-15) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI803424B (zh) * 2022-09-08 2023-05-21 大陸商廣州印芯半導體技術有限公司 動態影像產生方法及其動態影像感測器

Also Published As

Publication number Publication date
KR20220084578A (ko) 2022-06-21
US11290655B1 (en) 2022-03-29
JP2022094319A (ja) 2022-06-24

Similar Documents

Publication Publication Date Title
US8310567B2 (en) Methods of modeling an integrated noise in an image sensor and methods of reducing noise using the same
CN108650497B (zh) 具有透明滤波器像素的成像系统
US11625815B2 (en) Image processor and method
CN102077572A (zh) 用于在成像系统中防止运动模糊和重影的方法及装置
US9007488B2 (en) Systems and methods for generating interpolated high-dynamic-range images
US20140176760A1 (en) Image Processing Apparatus, Image Processing Method, and Imaging Apparatus
WO2006026307A2 (en) Apparatus and method for processing images
US7796806B2 (en) Removing singlet and couplet defects from images
US20190199948A1 (en) Joint dictionary generation method for image processing, interlace-based high dynamic range imaging apparatus using joint dictionaries and image processing method of the same
JP2020113809A (ja) 固体撮像素子およびその信号処理方法、並びに電子機器
WO2020210472A1 (en) High-dynamic-range image generation with pre-combination denoising
CN112702490A (zh) 电子设备的控制方法、电子设备及存储介质
CN112703728B (zh) 用于处理数字图像的方法、装置和系统
CN114630010A (zh) 图像感测装置及图像处理装置
US6667766B2 (en) Method of removing noise from image signal
CN104106259B (zh) 图像处理设备和图像处理方法
KR20190064882A (ko) 딥러닝 기반 차량용 영상 처리 방법
KR20190100833A (ko) Hdr 이미지 생성 장치
US20220210351A1 (en) Image sensing device and operating method thereof
US11967042B2 (en) Data pre-processing for low-light images
CN114331893A (zh) 一种获取图像噪声的方法、介质和电子设备
KR100708932B1 (ko) 영상 처리장치 및 그 방법
US8339481B2 (en) Image restoration devices adapted to remove artifacts from a restored image and associated image restoration methods
CN104301584B (zh) 图像处理系统
US20240040268A1 (en) Rgb-ir pixel pattern conversion via conversion engine

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination