CN109005392B - 一种去马赛克方法及其电路 - Google Patents

一种去马赛克方法及其电路 Download PDF

Info

Publication number
CN109005392B
CN109005392B CN201810576585.XA CN201810576585A CN109005392B CN 109005392 B CN109005392 B CN 109005392B CN 201810576585 A CN201810576585 A CN 201810576585A CN 109005392 B CN109005392 B CN 109005392B
Authority
CN
China
Prior art keywords
image
color
quarter
demosaicing
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810576585.XA
Other languages
English (en)
Other versions
CN109005392A (zh
Inventor
陈奕臣
张靖莹
林奕宪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN109005392A publication Critical patent/CN109005392A/zh
Application granted granted Critical
Publication of CN109005392B publication Critical patent/CN109005392B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明提供一种去马赛克方法，用于对影像去马赛克。上述影像包含有多单元马赛克图样，其中该多单元马赛克图样包含有第一四等分、第二四等分、第三四等分、以及第四四等分。各该四等分包含多个单元，每个单元具有一像素值。该方法包含下列步骤：接收影像；对该影像执行影像分割处理，产生四个拜耳平面影像；对各该耳平面影像执行四分之一分辨率去马赛克处理，从而在每个色彩通道上产生一个四分之一分辨率影像；以及对该四个拜耳平面影像的该四分之一分辨率影像，在每个色彩信道上执行影像合并处理，以在每个色彩通道上产生第一全分辨率影像。

Description

一种去马赛克方法及其电路
技术领域
本发明的所公开实施例涉及图像处理方法及电路，并且特别是关于图像的去马赛克方法及其电路。
背景技术
数字相机常使用CCD(Charge Coupled Device)或CMOS(Complementary MetalOxide Semiconductor)影像传感器来撷取影像，且影像传感器表面则被覆盖一层彩色滤光阵列(color filter array,CFA)。请参阅图1，图1为拜耳图样示例。图1所示的彩色滤光阵列包含一组频谱滤色器，该组频谱滤色器以交错的方式排列，藉此可让相对应的传感器单元分别对入射影像的三原色(红、蓝、绿)进行取样。这种取样而得的影像被称为CFA取样影像，因为频谱滤色器以交错的方式排列，所以该CFA取样影像以马赛克的彩色排列方式呈现。为了从CFA取样影像得到全彩影像(full-color image)，通常需要对CFA取样影像进行影像重建(image reconstruction)，亦即去马赛克处理。
随着技术的演进，影像传感器的分辨率已经越来越高。因此，彩色滤光阵列的尺寸与设计已经不再局限于拜耳图样(Bayer pattern)，并且可以运用多单元彩色滤光阵列(multi-cell CFA)，例如4-单元彩色滤光阵列(4-cell CFA)，其中每个2x2阵列(因此称为4-单元)滤出具有相同的颜色的影像；9-单元彩色滤光阵列(9-cell CFA)，其中每个3x3阵列(因此称为9-单元)滤出具有相同的颜色的影像；以及16-单元彩色滤光阵列(16-cellCFA)，其中每个4x4阵列(因此称为16-单元)滤出具有相同的颜色的影像。
为了还原多单元彩色滤光阵列(multi-cell CFA)的高分辨率影像，需要一个去马赛克的方法用来对多单元彩色滤光阵列产生的CFA取样影像进行去马赛克处理，以产生高分辨率影像。
发明内容
有鉴于此，本发明提供一种去马赛克处理方法及其电路。
依据本发明的实施方式的一种去马赛克方法，用于对影像去马赛克，该影像包含有多单元马赛克图样(multi-cell mosaic pattern)，其中该多单元马赛克图样包含有第一四等分(first quarter)、第二四等分(second quarter)、第三四等分(third quarter)、以及第四四等分(fourth quarter)，各该四等分包含多个单元(cell)，每个单元具有一像素值，该方法包含下列步骤：接收影像；对该影像执行影像分割处理，产生四个拜耳平面影像(Bayer plane images)；对各该耳平面影像执行四分之一分辨率去马赛克处理(quarter-resolution demosaicking process)，从而在每个色彩通道上产生一个四分之一分辨率影像(quarter-resolution image)；以及对该四个拜耳平面影像的该四分之一分辨率影像，在每个色彩信道上执行影像合并处理，以在每个色彩通道上产生第一全分辨率影像(full resolution image)。
依据本发明的另一实施方式的一种去马赛克电路，用于处理一影像，该影像包含有多单元马赛克图样，其中该多单元马赛克图样包含有第一四等分、第二四等分、第三四等分、以及第四四等分，每个四等分包含多个单元，每个单元具有一像素值，该去马赛克电路包含初始去马赛克电路。该初始去马赛克电路被配置成：接收影像；对该影像执行影像分割处理，产生四个拜耳平面影像；对各该耳平面影像执行四分之一分辨率去马赛克处理，从而在每个色彩通道上产生一个四分之一分辨率影像；以及对该四个拜耳平面影像的该四分之一分辨率影像，在每个色彩通道上执行影像合并处理，以在每个色彩通道上产生第一全分辨率影像。
此外，依据本发明的又一实施方式的一种去马赛克电路，用于处理影像，该影像包含有多单元马赛克图样，其中该多单元马赛克图样包含有第一四等分、第二四等分、第三四等分、以及第四四等分，每个四等分包含多个单元，每个单元具有一像素值，该去马赛克电路包含初始去马赛克电路以及影像级联电路。该初始去马赛克电路被配置成：接收影像；对该影像执行影像分割处理，产生四个拜耳平面影像；对各该耳平面影像执行四分之一分辨率去马赛克处理，从而在每个色彩通道上产生一个四分之一分辨率影像；以及对该四个拜耳平面影像的该四分之一分辨率影像，在每个色彩通道上执行影像合并处理，以在每个色彩通道上产生第一全分辨率影像。该影像级联电路被配置为在每一个色彩通道对该第一全分辨率影像进行影像级联处理，以产生第二全分辨率影像。其中该影像级联处理包含一个或多个第二色彩再取样方法以及一个或多个第二去马赛克方法，并且各该第二色彩再取样方法对应于一个该第二去马赛克方法。其中，该影像级联处理执行一个或多个迭代处理，并且各该迭代处理包含一个该第二色彩再取样方法以及一个对应的该第二去马赛克方法。
本发明的去马赛克处理方法及其电路，可以在复原影像时提高影像的分辨率。
附图说明
通过阅读下面详细的说明书以及结合下面附图的示例，本发明可以被更充分理解，其中：
图1为一拜耳图样示例；
图2A为根据本发明一实施例的4-单元彩色滤光阵列(4-cell color filterarray)；
图2B为根据本发明一实施例的9-单元彩色滤光阵列(9-cell color filterarray)；
图2C为根据本发明一实施例的16-单元彩色滤光阵列(16-cell color filterarray)；
图3为根据本发明一实施例的影像装置的方块图；
图4A为根据本发明一实施例的去马赛克方法流程图；
图4B为根据本发明一实施例的去马赛克方法流程图；
图5为根据本发明一实施例的初始去马赛克步骤的方法流程图；
图6A-1与图6A-2为根据本发明一实施例的初始去马赛克流程；
图6B-1与图6B-2为根据本发明另一实施例的初始去马赛克流程；
图7A～图7D为根据本发明一实施例的影像使用GBRG拜耳图样的示意图；
图8A为GBRG拜耳图样(GBRG Bayer pattern)示例；
图8B为Yamanaka图样(Yamanaka pattern)示例；
图8C-1～图8C-16为根据本发明一实施例的影像使用Yamanaka图样的示意图；
图9A为Lukac图样(Lukac pattern)示例；以及
图9B-1～图9B-16为根据本发明一实施例的影像使用Lukac图样的示意图。
具体实施方式
在说明书及权利要求书当中使用了某些词汇来称呼特定的元件。本领域的技术人员应可理解，硬件制造商可能会用不同的名词来称呼同一个元件。本说明书及权利要求书并不以名称的差异来作为区分元件的方式，而是以元件在功能上的差异来作为区分的准则。在通篇说明书及权利要求书当中所提及的"包含"是开放式的用语，故应解释成"包含但不限定于"。
本发明揭露了一种用于多单元影像传感器(multi-cell image sensor)的去马赛克方法及/或其电路。该多单元影像传感器可以是4-单元彩色滤光阵列(4-cell CFA)、9-单元彩色滤光阵列(9-cell CFA)、或是16-单元彩色滤光阵列(16-cell CFA)等等。为了简洁的表述，本说明书采用具有4-单元彩色滤光阵列的影像传感器作为一个例子来说明本发明。图2A为根据本发明一实施例的4-单元彩色滤光阵列(4-cell color filter array)。该4-单元彩色滤光阵列可以重复的排布在彩色影像传感器上，从而撷取马赛克影像。如图2A所示，该4-单元彩色滤光阵列200包含16个像素例如4个红色像素、4个蓝色像素、以及16个绿色像素。具体地，在该4-单元彩色滤光阵列200左上角的四等分(quarter)(亦即2x2阵列)、右上角的四等分、左下角的四等分、以及右下角的四等分，分别包含四个绿色像素(图2中标示为G)、四个蓝色像素(图2中标示为B)、四个红色像素(图2中标示为R)、以及四个绿色像素。该4-单元彩色滤光阵列200左上角的四等分、右上角的四等分、左下角的四等分、以及右下角的四等分可以被统称为拜耳图样。或者该4-单元彩色滤光阵列200也可以被称为四拜耳图样(quad Bayer pattern)。图2B为根据本发明一实施例的9-单元彩色滤光阵列(9-cell color filter array)210，该9-单元彩色滤光阵列210可以重复的排布在彩色影像传感器上，从而撷取马赛克影像。如图2B所示，该9-单元彩色滤光阵列210包含36像素例如9个红色像素、9个蓝色像素、以及18个绿色像素。图2C为根据本发明一实施例的16-单元彩色滤光阵列(16-cell color filter array)220，该16-单元彩色滤光阵列220可以重复的排布在彩色影像传感器上，从而撷取马赛克影像。如图2C所示，该16-单元彩色滤光阵列220包含64像素例如16个红色像素、16个蓝色像素、以及32个绿色像素。
传统上对4-单元彩色滤光阵列产生的马赛克影像的去马赛克方法系以对各该四等分的四个像素降采样(down sample)为一个像素。例如，在各该左上四等分、右上四等分、左下四等分、及右下四等分的四个像素被降采样(down sampled)成一个像素，举例来说对各该四等分中的四个像素值取平均值而得出该降采样的像素值。这些降采样的像素值形成拜耳图样。结果传统的对该拜耳图样的去马赛克技术可以用来在每个色彩通道(colorchannel)得到低分辨率影像，接着对该低分辨率影像进行上采样(up sampling)以得到全分辨率影像(full-resolution image)。然而，这样的传统技术会牺牲影像的分辨率，不适用于高动态范围成像(High Dynamic Range,HDR)的应用。
因此，本发明提供一种去马赛克方法，用来从多单元马赛克影像中复原各个色彩通道(例如R、G、B通道)的该全分辨率影像，该多单元马赛克影像系利用4-单元彩色滤光阵列200或其他多单元彩色滤光阵列产生。
图3为根据本发明一实施例的影像装置的方块图。该影像装置300包含彩色影像传感器310以及去马赛克电路320。该彩色影像传感器310可包含传感器阵列(sensor array)311以及滤光阵列(filter array)312。该传感器阵列311包含安排成二维形式的多个光电组件3110。该光电组件311可以是CCD传感器或CMOS传感器。
在某些实施例中，该彩色影像传感器310更进一步包含模拟-数字转换器(analog-to-digital converters,ADCs)，例如该彩色影像传感器310输出仿真信号，该仿真-数字转换器则将该仿真信号转换为数字信号。
该滤光阵列312包含安排成二维形式的多个滤色器(color filter)3120。该光电组件3110以及该滤色器3120具有一对一的对应方式。该滤色器3120具有绿色滤色器用以自入射光中滤出绿色光、红色滤色器用以自入射光中滤出红色光、蓝色滤色器用以自入射光中滤出蓝色光。在一实施例中，该滤色器3120具有多个4x4阵列安排成例如类似于图2A的彩色滤光阵列200，于是可以从该彩色影像传感器310得到马赛克影像。
该去马赛克电路320可以是图像处理过程的一部分，以及该去马赛克电路320被配置成对该马赛克影像进行去马赛克处理用以复原出各色彩信道的该全分辨率影像。在一实施例中，该去马赛克电路320可以用集成电路(IC)来实现，或者是用等效的数字逻辑电路来实现。在其他实施例中，该去马赛克电路320也可以用数字讯号处理器(digital signalprocessor,DSP)、影像信号处理器(image signal processor,ISP)、或通用处理器(general-purpose processor)来实现，但本发明不以此为限。
图4A为根据本发明一实施例的去马赛克方法流程图。图4A的去马赛克流程方法例如是为了具有4-单元彩色滤光阵列的彩色影像传感器310而设计。该去马赛克流程方法包含四个步骤：初始去马赛克处理(initial demosaicking stage)410、平行影像后处理(parallel image post-processing stage)415、影像迭加处理(image-blending stage)440、以及影像级联处理(image-cascading stage)450。该平行影像后处理处理415进一步包含色彩再取样处理(color-resampling stage)420以及色彩重建处理(color-reconstruction stage)430。上述的各个处理包含410,415,420,430,440及450可以由去马赛克电路320中的一块数字电路来执行。
在该初始去马赛克处理410中，将从该彩色影像传感器310接收的彩色影像进行去马赛克处理以在每个色彩通道中产生全分辨率影像。例如，该初始去马赛克处理410包含影像分割处理(image-dividing process)、四分之一分辨率去马赛克处理(quarter-resolution demosaicking process)、以及影像合并处理(image-combining process)，详细的实施方式将叙述于图5及其说明。
该平行影像后处理415包含多个影像后处理(image post processes)，各该影像后处理以平行执行的方式对这些全分辨率影像执行后处理。而该影像后处理的数量则以Xi表示，其中i＝0,1,…,N并且i为整数其代表第i个影像后处理。更进一步，每个影像后处理接包含色彩再取样处理(color-resampling stage)420用来执行色彩再取样处理，以及色彩重建处理(color-reconstruction stage)430用来执行色彩重建处理。
在该色彩再取样处理420中，对各该色彩通道中的全分辨率影像执行该色彩再取样处理以产生一个或多个色彩再取样影像(color-resampled images)。该色彩再取样影像是具有马赛克图样的色彩再取样影像。换言之，对色彩再取样影像中的每个像素而言，该色彩再取样处理从该全分辨率影像的RGB色彩通道中取样出像素的色彩值以产生该具有马赛克图样的色彩再取样影像。在一实施例中，该具有马赛克图样的色彩再取样影像可以包含拜耳图样或其他马赛克图样，例如美国专利号第4,054,906号的Yamanaka图样；"ColorFilter Arrays:Design and Performance Analysis,"IEEE Transactions on ConsumerElectronics,vol.51,no.4,pp.1260-1267,Nov.2005.中揭露的Lukac图样、Verticalstripe图样、diagonal stripe图样、modified Bayer图样、pseudo-random图样；定义于"Aperceptually based design methodology for color filter arrays,"IEEEInt.Con.Acoustics,Speech,and Signal Processing(ICASSP'04),vol.3,pp.473-476,May 2004.的HVS-based图样；以及在“Fujifilm X-Trans sensor technology,”中提及的Fujifilm X-trans图样。在另一实施例中，该具有马赛克图样的色彩再取样影像可以包含上述各个图样的旋转结果(例如旋转90度、旋转180度、或旋转-90度)。
在该色彩重建处理430中，对这些色彩再取样影像执行色彩重建处理以产生于各该色彩信道上的全分辨率去马赛克影像。换言之，该色彩重建处理基本上即是执行去马赛克处理以得到在各该色彩信道上的全分辨率去马赛克影像。该色彩重建处理的数量与色彩再取样处理的数量相同，并且该色彩重建处理与色彩再取样处理具有一对一的对应关系。
特别是，完成各该色彩再取样处理之后即紧接着进行相对应的色彩重建处理。设Xi及Xj分别表示第i个及第j个色彩再取样处理(i及j系为从1到N的正整数)，Xi及Xj可以运用相同的图样类型但是采取不同的取样方式，例如RGGB拜耳图样以及GRBG拜耳图样。此外，Xi及Xj可以运用相同的取样方式但是其后紧接着的色彩重建处理430则采取不同的去马赛克方法。
值得注意的是，这些不同的色彩再取样处理420与对应的该色彩重建处理430的配对可以被平行地执行。
该影像合并处理440中，对各该色彩信道上的该全分辨率去马赛克影像执行影像混合处理(image-blending process)以得到混合影像(fused image)。例如，该混合影像系用各该色彩通道上的N个去马赛克的影像计算而得。
举例来说，于一加权平均算法中，设N个由处理415产生的RGB影像标示为J1,J2,…,JN，并且设相关的权重为w1,w2,…,wN，该混合影像(fused image)J则可藉由下述计算公式计算而得：
Figure BDA0001687369610000091
在该影像级联处理450中，级联迭代处理被执行，各该迭代处理皆包含色彩再取样处理及色彩重建处理。设Yj(j＝1,2,...,M)代表第j个迭代处理。这些迭代处理的色彩再取样处理及色彩重建处理是以序列的方式逐步执行。例如，第一色彩再取样处理紧接着第一色彩重建处理(亦即第一全分辨率去马赛克处理)。该第一色彩再取样处理与第一全分辨率去马赛克处理合并起来称为第一次迭带处理Y1。接着，对第一次迭带处理产出的全分辨率影像进行第二色彩再取样处理与第二全分辨率去马赛克处理，该第二色彩再取样处理与第二全分辨率去马赛克处理合称第二次迭带处理Y2。直到第M个迭带处理YM完成后，得出在各该色彩信道上的全分辨率影像。
在一实施例中，在该影像级联处理450中第Yj个影像级联处理中的该色彩再取样处理及该色彩重建处理可以采用与处理420与处理430相同或相似的处理方式。在另一实施例中，在该影像级联处理50中第Yj个影像级联处理中的该色彩再取样处理及该色彩重建处理可以采用与处理420与处理430不同的处理方式。此外，在该影像后处理处理415中的影像后处理处理数量N也可以不等于该影像级联处理450中的迭代处理数量M。
值得注意的是，上述的数量N及M在前述的实施例中都不是0。但是在另一实施例中，N及M等于0，因此图4A中的处理415～450可被忽略。又一实施例中，M等于0而N不等于0，因此，处理440及450被忽略。
图4B为根据本发明一实施例的去马赛克方法流程图。图4B所示的去马赛克流程与图4A的去马赛克流程相似，其不同处在于图4B中处理450比处理420及430更早被执行。
图5为根据本发明一实施例的初始去马赛克处理(initial demosaicking stage)410的方法流程图。在初始去马赛克处理410中，对输入影像进行初始去马赛克处理以于各该色彩通道上产生全分辨率影像，例如，该初始去马赛克处理包含影像分割处理(image-dividing process)411、四分之一分辨率去马赛克处理(quarter-resolutiondemosaicking process)412、以及影像合并处理(image-combining process)413。
在该影像分割处理411中，对该输入的影像(马赛克影像)进行分割处理以得到多个拜耳平面影像(Bayer plane images)。为了方便说明，本实施例以该输入影像具有4-单元马赛克图样为例进行说明。因此，在该影像分割处理411中，对该输入的影像进行分割处理，会得到四个拜耳平面影像。
在四分之一分辨率去马赛克处理412中，对各该拜耳平面影像执行该四分之一分辨率去马赛克处理412，从而在每个色彩通道上产生一个四分之一分辨率影像。
在该影像合并处理413中，对该四个拜耳平面影像的该四分之一分辨率影像，在每个色彩信道上执行影像合并处理，以于每个色彩通道上产生一第一全分辨率影像。
图6A为根据本发明一实施例的一初始去马赛克流程。请参阅图6A，该输入影像具有多个4-单元马赛克图样(4-cell mosaic pattern)600。为了方便说明图6A仅显示该输入影像的一部分，仅包含该输入影像的一个4-单元马赛克图样600，本领域技术人员可以了解该4-单元马赛克图样600是重复的呈现在整张输入影像中。4-单元马赛克图样600包含有第一四等分610、第二四等分620、第三四等分630、以及第四四等分640，各该四等分610、620、630、及640包含四个单元，每个单元具有一像素值。其中第一四等分610中的该单元的该像素值位于绿色通道(在图6-1中标示为G)；第二四等分620中的该单元的该像素值位于蓝色通道(在图6-1中标示为B)；该第三四等分630中的该单元的该像素值位于红色通道(在图6-1中标示为R)；该第四四等分640中的该单元的该像素值位于该绿色通道。该影像分割处理将各该四等分610、620、630、及640中的四个像素值分开摆放成如图6A-2的四个拜耳平面影像650、660、670、及680。
如图6A-1所示，每个四等分610～640中的左上角的单元611、621、631、及641被取出形成拜耳平面影像650，并且像素611、621、631、及641于拜耳平面影像650的相对位置与这些像素位于这些四等分610～640中的位置相同。相似地，在四等分610～640中的其他像素单元(例如612-614、622-624、632-634、及642-644)也被对应的取出形成拜耳平面影像660、670、及680。
四分之一分辨率去马赛克处理412对这些拜耳平面影像650、660、670、及680进行去马赛克以在各个色彩通道上产生一个四分之一分辨率影像，例如对拜耳平面影像650去马赛克处理之后在蓝色信道上产生四分之一分辨率影像651、在绿色通道上产生四分之一分辨率影像652、以及在红色通道上产生四分之一分辨率影像653。相似地，对拜耳平面影像660、670、及680去马赛克处理之后产生四分之一分辨率影像661～663、671～673、以及681-683。
值得注意的是，在一实施例中，这些四分之一分辨率去马赛克处理之后在每个色彩通道上所获得的四分之一分辨率影像仅具有全分辨率影像的四分之一大小。在该影像合并处理中，这些相同色彩通道上的四分之一分辨率影像被合并成为全分辨率影像。特别的是，该影像合并处理所产生的该全分辨率影像中的像素值为被影像分割处理所选择的位于原输入影像的相同位置的像素值。例如，拜耳平面影像650的像素值皆选自各该四等分610～640的左上角的像素值，因此在去马赛克处理后，拜耳平面影像650的像素值会被放置于全分辨率影像691、692、及693中每个2x2四等分中的左上角。相似地，拜耳平面影像660的像素值皆选自各该四等分610～640的右上角的像素值，因此在去马赛克处理后，拜耳平面影像660的像素值会被放置于全分辨率影像691、692、及693中每个2x2四等分中的右上角；拜耳平面影像670的像素值皆选自各该四等分610～640的左下角的像素值，因此在去马赛克处理后，拜耳平面影像670的像素值会被放置于全分辨率影像691、692、及693中每个2x2四等分中的左下角；拜耳平面影像680的像素值皆选自各该四等分610～640的右下角的像素值，因此在去马赛克处理后，拜耳平面影像680的像素值会被放置于全分辨率影像691、692、及693中每个2x2四等分中的右下角。
图6B为根据本发明另一实施例的初始去马赛克流程。因为拜耳图样包含2个绿色像素、一个蓝色像素以及一个红色像素，在影像分割处理时也可以选自不同的位置的像素值来产生拜耳平面影像650、660、670、及680。如图6B所示，拜耳平面影像650的左上角像素值可以选自该第一四等分610中的右下角的绿色像素614、拜耳平面影像650的右上角像素值可以选自该第二四等分620中的左上角的蓝色像素621、拜耳平面影像650的左下角像素值可以选自该第三四等分630中的左下角的红色像素633、以及拜耳平面影像650的右下角像素值可以选自该第四四等分640中的右下角的绿色像素641。此外，如图6B所示的选取方法可以用来产生拜耳平面影像660、670、及680。
图6B的去马赛克方法与图6A的相似。该影像合并处理所产生的该全分辨率影像中的像素值为被影像分割处理所选择的位于原输入影像的相同位置的像素值，例如拜耳平面影像650的像素值选自原始输入影像的像素值614、621、633、及641。
图6A的实施例中，该影像分割处理411可以被归结成下列概念：分割该4-单元马赛克影像产生四个拜耳平面影像，藉此该第k个拜耳平面影像的G、B、R、G像素值是从相对应的4-单元马赛克影像第k个象限分别选取而来。此外，图6B的实施例中，该第k个拜耳平面影像的G、B、R、G像素值是从相对应的4-单元马赛克影像的特定象限(designated quadrant)分别选取而来。
关于四分之一分辨率去马赛克处理412，其目标是从拜耳平面影像还原(recover)缺少的红色、绿色、及蓝色像素值，请参阅以下的详细说明。
步骤S412：对给定平面的像素p而言，假设其缺少的两个色彩通道为r及s，其中r及s属于{R,G,B}。将以像素p为中心的3x3矩阵表示为Up。并且标示该像素p缺少的色彩通道的像素值为p(r)及p(s)。
步骤S4122：产生屏蔽矩阵(mask matrix)Vp(r)，藉此屏蔽矩阵Vp(r)的元素值若为1时表示Up的相对位置为r-通道像素值，反之若为0时则不是。同样的，产生屏蔽矩阵Vp(s)，藉此屏蔽矩阵Vp(s)的元素值若为1时表示Up的相对位置为s-通道像素值，反之若为0时则不是。
步骤S4123：定义W为下面列示的公式(2)。并用下列各式计算Wp(r),Wp(s),以及缺少的色彩通道p(r),p(s)，其中运算符号*代表Hadamard乘积(亦即矩阵乘积)。W,Wp(r),及Wp(s)分别描述于下。注意，于(4-1)及(4-2)式，(˙)i,j表示矩阵(˙)在i-th行及j-th列的指标。
Figure BDA0001687369610000131
Wp(r)＝W*Vp(r) (3-1)
Wp(s)＝W*Vp(s) (3-2)
p(r)＝∑(Up*Wp(r))i,j/∑(Wp(r))i,j (4-1)
p(s)＝∑(Up*Wp(s))i,j/∑(Wp(s))i,j (4-2)
图7A～图7D为根据本发明一实施例的影像使用GBRG拜耳图样的示意图。例如，如果Up为图7A左上角的3x3区块，该缺少的彩色通道为r＝R以及s＝B，Vp(r)及Vp(s)可被表示为：
Figure BDA0001687369610000141
Figure BDA0001687369610000142
同理，如果Up为图7B右上角的3x3区块，该缺少的彩色通道为r＝R及s＝G，Vp(r)及Vp(s)可被表示为：
Figure BDA0001687369610000143
Figure BDA0001687369610000144
如果Up为图7C左下角的3x3区块，该缺少的彩色通道为r＝R及s＝B，Vp(r)及Vp(s)可被表示为：
Figure BDA0001687369610000145
Figure BDA0001687369610000146
如果Up为图7D右下角的3x3区块，该缺少的彩色通道为r＝R及s＝B，Vp(r)及Vp(s)可被表示为：
Figure BDA0001687369610000151
Figure BDA0001687369610000152
步骤S4124：为各个像素重复步骤S4122及S4123。
图8A为GBRG拜耳图样示例。图8B为Yamanaka图样示例。于本实施例中，为了方便说明，设定N为2以及M为1，也就是二个不同的色彩再取样方法X1及X2被应用于色彩再取样处理420，以及色彩再取样方法Y1应用于色彩重建处理450。
假设X1为第一色彩再取样方法，在色彩再取样处理420中运用GBRG拜耳图样，而X2为第二色彩再取样方法，在色彩再取样处理420中运用Yamanaka图样。对应于该第一色彩再取样方法X1的去马赛克处理可以参阅图7A～图7D的实施例。
图8C-1～图8C-16为根据本发明一实施例的影像使用Yamanaka图样的示意图。用于使用Yamanaka图样的色彩再取样影像的去马赛克公式与使用GBRG拜耳图样的公式相似，例如公式(2)～(4)。如图8C-1～图8C-4所示的第一型图样，Up的中心是位于使用X2色彩再取样方法产生的色彩再取样影像800的绿色像素之中。用于缺少红色及蓝色的第一型图样的屏蔽矩阵Vp(r)可以表示为下列方程式：
Figure BDA0001687369610000153
Figure BDA0001687369610000154
如图8C-5～图8C-8所示的第二型图样，Up的中心也位于使用X2色彩再取样方法产生的色彩再取样影像800的绿色像素之中。然而，蓝色和红色像素在的安排位置与第一型稍有不同。用于缺少红色及蓝色的第二型图样的该屏蔽矩阵Vp(r)可以表示为下列方程式：
Figure BDA0001687369610000161
Figure BDA0001687369610000162
如图8C-9～图8C-12所示的第三型图样，Up的中心位于使用X2色彩再取样方法产生的色彩再取样影像800的红色像素之中。用于缺少绿色及蓝色的第三型图样的该屏蔽矩阵Vp(r)可以表示为下列方程式：
Figure BDA0001687369610000163
Figure BDA0001687369610000164
如图8C-13～图8C-16所示的第四型图样，Up的中心位于使用X2色彩再取样方法产生的色彩再取样影像800的蓝色像素之中。用于缺少绿色及红色的第四型图样的该屏蔽矩阵Vp(r)可以表示为下列方程式：
Figure BDA0001687369610000165
Figure BDA0001687369610000166
图9A为Lukac图样(Lukac pattern)示例。假设在影像级联处理450中使用的第一色彩再取样作方法为Y1，在本实施例中的第一色彩再取样作方法Y1使用了图9A所示的Lukac图样。
图9B-1～图9B-16为根据本发明一实施例的影像使用Lukac图样的示意图。用于使用Lukac图样的色彩再取样影像的去马赛克公式与使用GBRG拜耳图样的公式相似，例如公式(2)～(4)。如图9B-1～图9B-4所示的第一型图样，Up的中心位于使用X2色彩再取样方法产生的色彩再取样影像800的绿色像素之中。用于缺少红色及蓝色的第一型图样的该屏蔽矩阵Vp(r)可以表示为下列方程式：
Figure BDA0001687369610000171
Figure BDA0001687369610000172
如图9B-5～图9B-8所示的第二型图样，Up的中心也位于使用X2色彩再取样方法产生的色彩再取样影像800的绿色像素之中。然而，蓝色和红色像素在的安排位置与第一型稍有不同。用于缺少红色及蓝色的第二型图样的该屏蔽矩阵Vp(r)可以表示为下列方程式：
Figure BDA0001687369610000173
Figure BDA0001687369610000174
如图9B-9～图9B-12所示的第三型图样，Up的中心位于使用X2色彩再取样方法产生的色彩再取样影像800的红色像素之中。用于缺少绿色及蓝色的第三型图样的该屏蔽矩阵Vp(r)可以表示为下列方程式：
Figure BDA0001687369610000175
Figure BDA0001687369610000181
如图9B-13～图9B-16所示的第四型图样，Up的中心位于使用X2色彩再取样方法产生的色彩再取样影像800的蓝色像素之中。用于缺少绿色及红色的第四型图样的该屏蔽矩阵Vp(r)可以表示为下列方程式：
Figure BDA0001687369610000182
Figure BDA0001687369610000183
值得注意的是，前述各实施例的色彩再取样方法X1、X2及Y1以及屏蔽矩阵为用于演示如何实现处理420、430、及450的一个例子，本发明并不以此为限。
据此，本发明提供了用于多单元影像传感器的去马赛克方法及电路。该去马赛克方法也许可以采用现成的或未来新发展的色彩再取样处理以及去马赛克算法来从马赛克影像中还原(recover)出具有较佳质量的原始影像。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (18)

1.一种去马赛克方法，用于对影像去马赛克，该影像包含有多单元马赛克图样，其中该多单元马赛克图样包含有第一四等分、第二四等分、第三四等分、以及第四四等分，各该四等分包含多个单元，每个单元具有一像素值，该方法包含下列步骤：
接收影像；
对该影像执行影像分割处理，产生四个拜耳平面影像；
对各该拜耳平面影像执行四分之一分辨率去马赛克处理，从而在每个色彩通道上产生一个四分之一分辨率影像；
对该四个拜耳平面影像的该四分之一分辨率影像，在每个色彩信道上执行影像合并处理，以在每个色彩通道上产生第一全分辨率影像；
对该第一全分辨率影像的每一个色彩通道执行色彩再取样处理，以得到一个或多个色彩再取样影像；以及
对该一个或多个色彩再取样影像执行一色彩重建处理，以在每一个色彩通道得到一个或多个第二全分辨率影像。
2.如权利要求1中所述的去马赛克方法，其特征在于，该第一四等分中的该单元的该像素值位于第一色彩通道，该第二四等分中的该单元的该像素值位于第二色彩通道，该第三四等分中的该单元的该像素值位于第三色彩通道，该第四四等分中的该单元的该像素值位于该第一色彩信道，在该影像分割处理中：
第K个拜耳平面影像的第一彩色像素值、第二彩色像素值、第三彩色像素值、以及第四彩色像素值分别选自该影像的该第K个四等分的第K个象限，其中K为1～4的整数。
3.如权利要求1中所述的去马赛克方法，其特征在于，该第一四等分中的该单元的该像素值位于第一色彩通道，该第二四等分中的该单元的该像素值位于第二色彩通道，该第三四等分中的该单元的该像素值位于第三色彩通道，该第四四等分中的该单元的该像素值位于该第一色彩信道，在该影像分割处理中：
第K个拜耳平面影像的第一彩色像素值、第二彩色像素值、第三彩色像素值、以及第四彩色像素值分别选自该影像的该第K个四等分的特定象限，其中K为1～4的整数。
4.如权利要求1中所述的去马赛克方法，其特征在于，在该四分之一分辨率去马赛克处理中，第一3x3屏蔽以及第二3x3屏蔽被用来对该拜耳平面影像进行插值运算，用以运算出相对于该第一3x3屏蔽及该第二3x3屏蔽的中心位置的缺少的色彩元素。
5.如权利要求1中所述的去马赛克方法，其特征在于，该第一全分辨率影像中的像素值为被该影像分割处理所选择的位于原输入影像的相同位置的像素值。
6.如权利要求1中所述的去马赛克方法，其特征在于，该色彩再取样处理包含一个或多个平行执行的第一色彩再取样方法，以及该色彩重建处理包含一个或多个对应于该第一色彩再取样方法的第一去马赛克方法。
7.如权利要求1中所述的去马赛克方法，其特征在于，更进一步包含：
对该一个或多个第二全分辨率影像在每一个色彩信道执行影像混合处理，以在每一个色彩信道产生混合全分辨率影像；其中加权平均法被用来产生该混合全分辨率影像。
8.如权利要求7中所述的去马赛克方法，其特征在于，更进一步包含：
在每一个色彩通道对该混合全分辨率影像进行影像级联处理，以产生第三全分辨率影像；
其中该影像级联处理包含一个或多个第二色彩再取样方法以及一个或多个第二去马赛克方法，并且各该第二色彩再取样方法对应于一个该第二去马赛克方法；
其中，该影像级联处理执行一个或多个迭代处理，并且各该迭代处理包含一个该第二色彩再取样方法以及一个对应的该第二去马赛克方法。
9.一种去马赛克电路，用于处理一影像，该影像包含有多单元马赛克图样，其中该多单元马赛克图样包含有第一四等分、第二四等分、第三四等分、以及第四四等分，每个四等分包含多个单元，每个单元具有一像素值，该去马赛克电路包含：
初始去马赛克电路，该初始去马赛克电路被配置成：
接收影像；
对该影像执行影像分割处理，产生四个拜耳平面影像；
对各该耳平面影像执行一四分之一分辨率去马赛克处理，从而在每个色彩通道上产生一个四分之一分辨率影像；
对该四个拜耳平面影像的该四分之一分辨率影像，在每个色彩通道上执行影像合并处理，以在每个色彩通道上产生第一全分辨率影像；
色彩再取样电路，该色彩再取样电路被配置为对该第一全分辨率影像的每一个色彩通道执行色彩再取样处理，以得到一个或多个色彩再取样影像；以及
色彩重建电路，该色彩重建电路被配置为对该一个或多个色彩再取样影像执行色彩重建处理，以在每一个色彩通道得到一个或多个第二全分辨率影像。
10.如权利要求9中所述的去马赛克电路，其特征在于，该第一四等分中的该单元的该像素值位于绿色通道，该第二四等分中的该单元的该像素值位于蓝色通道，该第三四等分中的该单元的该像素值位于红色通道，该第四四等分中的该单元的该像素值位于该绿色信道，在该影像分割处理中：
第K个拜耳平面影像的第一绿色像素值、蓝色像素值、红色像素值、以及第二绿色像素值分别选自该影像的该第K个四等分的第K个象限，其中K为1～4的整数。
11.根据权利要求9所述的去马赛克电路，其特征在于，该第一四等分中的该单元的该像素值位于绿色通道，该第二四等分中的该单元的该像素值位于蓝色通道，该第三四等分中的该单元的该像素值位于红色通道，该第四四等分中的该单元的该像素值位于该绿色信道，在该影像分割处理中：
第K个拜耳平面影像的第一绿色像素值、蓝色像素值、红色像素值、以及第二绿色像素值分别选自该影像的该第K个四等分的特定象限，其中K为1～4的整数。
12.根据权利要求9所述的去马赛克电路，其特征在于，在该四分之一分辨率去马赛克处理中，第一3x3屏蔽以及第二3x3屏蔽被用来对该拜耳平面影像进行插值运算，用以运算出相对于该第一3x3屏蔽及该第二3x3屏蔽的中心位置的缺少的色彩元素。
13.根据权利要求9所述的去马赛克电路，其特征在于，该初始去马赛克电路进一步被配置成在各个色彩通道产生该第一全分辨率影像，其中该第一全分辨率影像中的像素值为被影像分割处理所选择的位于原输入影像的相同位置的像素值。
14.根据权利要求9所述的去马赛克电路，其特征在于，该色彩再取样处理包含一个或多个平行执行的第一色彩再取样方法，以及该色彩重建处理包含一个或多个对应于该第一色彩再取样方法的第一去马赛克方法。
15.根据权利要求9所述的去马赛克电路，其特征在于，更进一步包含：
影像混合电路，该影像混合电路被配置为对该一个或多个第二全分辨率影像于每一个色彩信道执行影像混合处理，以在每一个色彩通道产生混合全分辨率影像；
其中加权平均法被用来产生该混合全分辨率影像。
16.根据权利要求15所述的去马赛克电路，其特征在于，更进一步包含：
影像级联电路，该影像级联电路被配置为在每一个色彩通道对该混合全分辨率影像进行影像级联处理，以产生第三全分辨率影像；
其中该影像级联处理包含一个或多个第二色彩再取样方法以及一个或多个第二去马赛克方法，并且各该第二色彩再取样方法对应于一个该第二去马赛克方法；
其中，该影像级联处理执行一个或多个迭代处理，并且各该迭代处理包含一个该第二色彩再取样方法以及一个对应的该第二去马赛克方法。
17.一种去马赛克电路，用于处理影像，该影像包含有多单元马赛克图样，其中该多单元马赛克图样包含有第一四等分、第二四等分、第三四等分、以及第四四等分，每个四等分包含多个单元，每个单元具有一像素值，该去马赛克电路包含：
初始去马赛克电路，该初始去马赛克电路被配置成：
接收影像；
对该影像执行影像分割处理，产生四个拜耳平面影像；
对各该耳平面影像执行四分之一分辨率去马赛克处理，从而在每个色彩通道上产生一个四分之一分辨率影像；以及
对该四个拜耳平面影像的该四分之一分辨率影像，在每个色彩通道上执行影像合并处理，以在每个色彩通道上产生第一全分辨率影像；以及
影像级联电路，该影像级联电路被配置为在每一个色彩通道对该第一全分辨率影像进行影像级联处理，以产生第二全分辨率影像；
其中该影像级联处理包含一个或多个第二色彩再取样方法以及一个或多个第二去马赛克方法，并且各该第二色彩再取样方法对应于一个该第二去马赛克方法；
其中，该影像级联处理执行一个或多个迭代处理，并且各该迭代处理包含一个该第二色彩再取样方法以及一个对应的该第二去马赛克方法。
18.根据权利要求17所述的去马赛克电路，更进一步包含：
色彩再取样电路，该色彩再取样电路被配置为对该第二全分辨率影像的每一个色彩通道执行色彩再取样处理，以得到一个或多个色彩再取样影像；
色彩重建电路，该色彩重建电路被配置为对该一个或多个色彩再取样影像执行色彩重建处理，以在每一个色彩通道得到一个或多个第三全分辨率影像；以及
影像混合电路，该影像混合电路被配置为对该一个或多个第三全分辨率影像于每一个色彩信道执行影像混合处理，以在每一个色彩通道产生混合全分辨率影像。
CN201810576585.XA 2017-06-07 2018-06-06 一种去马赛克方法及其电路 Active CN109005392B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762516144P 2017-06-07 2017-06-07
US62/516,144 2017-06-07

Publications (2)

Publication Number Publication Date
CN109005392A CN109005392A (zh) 2018-12-14
CN109005392B true CN109005392B (zh) 2021-01-12

Family

ID=64562409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810576585.XA Active CN109005392B (zh) 2017-06-07 2018-06-06 一种去马赛克方法及其电路

Country Status (2)

Country Link
US (1) US20180357750A1 (zh)
CN (1) CN109005392B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
CN106507080B (zh) * 2016-11-29 2018-07-17 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN106507068B (zh) * 2016-11-29 2018-05-04 广东欧珀移动通信有限公司 图像处理方法及装置、控制方法及装置、成像及电子装置
CN106412592B (zh) * 2016-11-29 2018-07-06 广东欧珀移动通信有限公司 图像处理方法、图像处理装置、成像装置及电子装置
KR102594038B1 (ko) * 2018-01-15 2023-10-26 에스케이하이닉스 주식회사 이미지 센싱 장치
JP6596760B1 (ja) * 2018-08-28 2019-10-30 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 画像処理装置、撮像装置、画像処理方法、及びプログラム
CN110876014B (zh) * 2018-08-31 2022-04-08 北京小米移动软件有限公司 图像处理方法及装置、电子设备及存储介质
KR102663537B1 (ko) 2019-01-31 2024-05-08 삼성전자 주식회사 전자 장치 및 이미지 처리 방법
US10853928B2 (en) * 2019-03-29 2020-12-01 Apple Inc. Image fusion processing module
KR102625261B1 (ko) 2019-10-21 2024-01-12 삼성전자주식회사 이미지 장치
TWI715269B (zh) * 2019-10-28 2021-01-01 瑞昱半導體股份有限公司 影像處理方法及相關的影像處理電路
CN112752009B (zh) * 2019-10-29 2023-06-09 中兴通讯股份有限公司 图像处理方法、模块、可读存储介质和图像传感器
CN112788310B (zh) * 2019-11-05 2022-11-01 瑞昱半导体股份有限公司 影像处理方法及相关的影像处理电路
CN113572980B (zh) * 2020-04-28 2022-10-11 华为技术有限公司 拍照方法、装置、终端设备及存储介质
US11836889B2 (en) * 2021-02-10 2023-12-05 Apple Inc. Dual-mode image fusion architecture
KR20220166013A (ko) * 2021-06-09 2022-12-16 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그 동작 방법
JP2023010159A (ja) * 2021-07-09 2023-01-20 株式会社ソシオネクスト 画像処理装置および画像処理方法
KR20230014551A (ko) * 2021-07-21 2023-01-30 삼성전자주식회사 이미지 센서, 이미지 처리 장치 및 이미지 처리 방법
US11350048B1 (en) * 2021-07-25 2022-05-31 Shenzhen GOODIX Technology Co., Ltd. Luminance-adaptive processing of hexa-deca RGBW color filter arrays in CMOS image sensors
KR20230047839A (ko) 2021-10-01 2023-04-10 삼성전자주식회사 영상 정보 손실을 감소하는 픽셀 어레이 및 이를 포함하는 이미지 센서
WO2023155999A1 (en) 2022-02-18 2023-08-24 Dream Chip Technologies Gmbh Method and image processor unit for processing raw image data
CN114679542B (zh) * 2022-03-25 2024-04-16 三星半导体(中国)研究开发有限公司 图像处理方法和电子装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8014597B1 (en) * 2006-03-22 2011-09-06 Woodman Labs Method for efficient compression and decoding of single sensor color image data

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7646910B1 (en) * 2006-04-19 2010-01-12 Ambarella, Inc. Digital video camera non-integer-ratio Bayer domain scaler
KR100827242B1 (ko) * 2006-06-26 2008-05-07 삼성전기주식회사 이미지 복원 방법 및 장치
US8218068B2 (en) * 2009-04-01 2012-07-10 Omnivision Technologies, Inc. Exposing pixel groups in producing digital images
US8929682B2 (en) * 2011-04-28 2015-01-06 Hewlett-Packard Development Company, L.P. Calibrating image sensors
US9710959B2 (en) * 2013-09-27 2017-07-18 Intel Corporation Compressed 3D graphics rendering exploiting psychovisual properties
US9219870B1 (en) * 2014-07-31 2015-12-22 Apple Inc. Sensor data rescaler for image signal processing
US10375368B2 (en) * 2016-06-30 2019-08-06 Apple Inc. Image data conversion

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8014597B1 (en) * 2006-03-22 2011-09-06 Woodman Labs Method for efficient compression and decoding of single sensor color image data

Also Published As

Publication number Publication date
US20180357750A1 (en) 2018-12-13
CN109005392A (zh) 2018-12-14

Similar Documents

Publication Publication Date Title
CN109005392B (zh) 一种去马赛克方法及其电路
JP6096243B2 (ja) 画像データの処理方法およびシステム
CN112911252B (zh) 多孔径成像系统
EP1675408B1 (en) Drive method for solid-state imaging device, solid-state imaging device, and imaging apparatus
CN111757006B (zh) 图像获取方法、摄像头组件及移动终端
KR101990540B1 (ko) 이미지 프로세싱 방법, 그 이미지 신호 프로세서 및 이를 포함하는 이미지 센싱 시스템
US6252577B1 (en) Efficient methodology for scaling and transferring images
US8494260B2 (en) Image processing device, image processing method, program, and imaging device
US6133953A (en) Color camera having a single imaging element and capable of restricting unwanted false color signal
JP2010183357A (ja) 固体撮像素子、カメラシステムおよび固体撮像素子の駆動方法
US20100128039A1 (en) Image data processing method, image sensor, and integrated circuit
US10855959B2 (en) Image sensing device
EP2685725A1 (en) Imaging device and imaging program
JP2008042907A (ja) 画質が向上するイメージセンサ及びこれを用いたイメージ感知方法
US8749656B2 (en) Apparatus and method for image decimation for image sensors
JP2009100150A (ja) 画像処理装置及び画像処理方法、画像処理プログラム
WO2015083502A1 (ja) 画像処理装置、該方法および該プログラム
JP6069857B2 (ja) 撮像装置
CN114080795A (zh) 图像传感器和电子设备
US20130038772A1 (en) Image processing apparatus and image processing method
WO2015083499A1 (ja) 画像処理装置、該方法および該プログラム
JP6065395B2 (ja) 撮像装置
CN117712129A (zh) 图像传感器、图像处理系统及其操作方法
TWI617198B (zh) 具有透明濾波器像素之成像系統
CN107256533B (zh) 处理镶嵌图像的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant