CN106791503A - 图像处理方法与装置 - Google Patents

图像处理方法与装置 Download PDF

Info

Publication number
CN106791503A
CN106791503A CN201610387585.6A CN201610387585A CN106791503A CN 106791503 A CN106791503 A CN 106791503A CN 201610387585 A CN201610387585 A CN 201610387585A CN 106791503 A CN106791503 A CN 106791503A
Authority
CN
China
Prior art keywords
pixel
value
image processing
data
object pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610387585.6A
Other languages
English (en)
Other versions
CN106791503B (zh
Inventor
林俊宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NUEVA IMAGING
Original Assignee
NUEVA IMAGING
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NUEVA IMAGING filed Critical NUEVA IMAGING
Publication of CN106791503A publication Critical patent/CN106791503A/zh
Application granted granted Critical
Publication of CN106791503B publication Critical patent/CN106791503B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明为一种图像处理方法与装置,用以对一目标像素进行图像处理。本文提出的图像处理方法先接收一上部图像并对该目标像素进行图像处理,接着再接收一下部图像并对该目标像素进行图像处理。在本文中,上部图像包含了一第一像素数据行,储存于一第一缓冲器、一第二像素数据行,储存于一第二缓冲器,以及一第三像素数据行,为一图像处理电路目前所读取。当图像处理电路将第三像素数据行中的所有像素都处理完后,将校正后的第三像素数据行存回第一缓冲器以进行下部图像的处理。

Description

图像处理方法与装置
技术领域
本发明为一种图像处理方法,特别是一种消除图像噪声的方法。
先前技术
当图像感测器感测图像时,图像感测器内部电路所造成的噪声,或是图像感测器内部的缺陷像素,对于图像感测器输出的图像品质有很大的影响。因此,如何处理图像感测器输出的感测数据,以消除噪声与缺陷像素带来的不利影响就成了一个重要的课题。
发明内容
在一实施例中,本发明提供一种图像处理方法,包括下列步骤:接收一上部图像数据;对一目标像素以及该上部图像数据中的多个第一参考像素进行运算以求得一第一比例值;根据该第一比例值与一扩散系数函数值函数求得一第一扩散系数;根据该目标像素、所述多个第一参考像素以及该第一扩散系数以求得该目标像素的一第一像素值;接收一下部图像数据;对该目标像素以及该下部图像数据中的多个第二参考像素进行运算以求得一第二比例值,其中此时的该目标像素的像素值为第一像素值;根据该第二比例值与该扩散系数函数值函数求得一第二扩散系数;以及根据该目标像素、所述多个第二参考像素以及该第二扩散系数以求得该目标像素的一第二像素值。
在另一实施例中,本发明提供一种图像处理方法,包括下列步骤:读取一目标像素所在的一第n行像素数据,一第(n-1)行像素数据以及一第(n-2)行像素数据;根据该目标像素与多个第一参考像素计算该目标像素的一第一校正后数据值以及判断该目标像素是否可能为一缺陷像素;当目标像素可能为缺陷像素时,读取该目标像素所在的该第n行像素数据,一第(n+1)行像素数据以及一第(n+2)行像素数据;根据该第n行像素数据,该第(n+1)行像素数据以及该第(n+2)行像素数据判断该目标像素是否可能为缺陷像素;以及当该目标像素确定为缺陷像素时,对该目标像素进行一缺陷像素补偿过程。
在另一实施例中,本发明提供一种图像处理装置,包括一上部图像处理装置以及一下部图像处理装置。上部图像处理装置,接收一上部图像数据以针对一目标像素进行图像处理以产生该目标像素的一第一像素值,其中位于该上部图像数据中的该目标像素的像素值为一初始像素值。下部图像处理装置,接收一下部图像数据以针对该目标像素进行图像处理以产生该目标像素的一第二像素值。若该上部图像处理装置判断该目标像素不是一可能的缺陷像素时,位于该下部图像数据的该目标像素的像素值为该第一像素值。
若该上部图像处理装置判断该目标像素为可能的缺陷像素时,该下部图像处理装置先接收该下部图像数据并根据该下部图像数据确认该目标像素是否为缺陷像素,其中该下部图像数据中的该目标像素的像素值为该初始像素值。
附图说明
图1为针对一像素进行图像处理的像素数据示意图。
图2A与图2B为通过一图像处理电路进行本发明的图像处理方法的示意图。
图3为扩散系数函数值函数的一实施例的示意图。
图4为针对一绿色像素进行图像处理的像素数据示意图。
图5为根据本发明的一图像感测模块的一实施例的示意图。
图6为根据本发明的一实施例的图像处理方法的流程图。
图7为根据本发明的一实施例的图像处理方法的流程图。
图8为根据本发明的一图像处理装置的一实施例的示意图。
图9A与图9B为根据本发明的一图像处理装置的另一实施例的示意图。
具体实施方式
图1为针对一像素进行图像处理的像素数据示意图。在图1中,像素R4是要进行图像处理,如噪声消除,因此需要像素R4前后的4条像素行来进行处理。因此,需要至少4个行缓冲器Line buffer 1~4来储存像素行的数据。而图上的current line表示目前被图像处理电路所读取到的像素行,而不需额外的行缓冲器来储存。
因为图像感测器的分辨率越来越高,使得每一行的像素数据越来越大,因此所须要的行缓冲器的存储器空间也就越来越大。因此本案公开一种图像感测器以及一种图像处理方法,只需要2个行缓冲器即可提供图像处理电路进行缺陷像素检测与补偿,以及图像降噪处理。
为更清楚说明本发明的动作,请参考图2A与图2B。图2A与图2B为通过一图像处理电路进行本发明的图像处理方法的示意图。图2A与图2B中的图像数据以图1中所述的图像数据为例,并以像素R4说明。图2A为第一时间点时,第一行缓冲器21、第二行缓冲器22以及图像处理电路目前所读取到的图像数据23,也就是图1中的上半部的图像数据。图像处理方法的步骤如下:
步骤一:
根据目标像素R4的相临同颜色的像素得到相临像素的平均值。像素平均值计算公式如下:
其中ωk指的是一取样窗口内的像素,取样窗口的大小可根据图像处理过程或是使用者自订,如图1中的图像数据即为一窗口所决定。
步骤二:
接着,利用目标像素R4的像素值与相临的像素的像素值,计算一像素差异值δ:
δi=P-Ii (式二)
其中P为目标像素R4的像素值,Ii为取样窗口内具有相同颜色的参考像素的像素值,如像素R0。在图2A中,与目标像素R4相同颜色的参考像素有R0、R1、R2、R3以及R5,其中R5在本实施例的计算中不列入计算,而是在进行下半部图像处理时才做为参考像素。在另一实施例中,参考像素R3以及R5可以同时在上半部图像处理与下半部图像处理中作为参考像素。
在另一实施例中,像素差异值δ的计算方法如下:
δi=(P-Ii)2
上述两种不同像素差异值计算方法都可以应用在本发明中。
步骤三:
接着,根据求得的像素平均值与像素差异值计算一比例值DMR(delta-meanratio):
要注意的是,步骤三中,是会针对相同颜色的相临像素分别计算,并求得个别的比例值。
步骤四:
接着,根据求得的比例值,参考一扩散系数函数值函数,以求得参考像素对应目标像素的一系数Ki。扩散系数函数值函数的一例子如图3所示。在图3中,X轴是式三求得的比例值的绝对值,Y轴是扩散系数值。若是式三求得的比例值的绝对值越大,表示取样窗口内的图像复杂度高,因此扩散系数值低。若是式三求得的比例值的绝对值越小,表示取样窗口内的图像复杂度低,因此扩散系数值高。此外,在本实施例中,每一个参考像素对目标像素R4的扩散系数并不相同。从另一个角度来看,扩散系数可以视为是参考像素与目标像素R4的一关联性。若关联性越大,则参考像素对于目标像素R4的一校正或补偿的权重值就越高。若关联性越小,则参考像素对于目标像素R4的一校正或补偿的权重值就越小。
步骤五:
通过式一至式三,校正或补偿后目标像素R4的像素值P′如下:
在将图像数据23中的所有像素都处理后,将新产生的图像数据23储存在第一行缓冲器21,并将图1的行缓冲器Line buffer 4中的图像数据储存在第二行缓冲器22,且图像处理电路读取目前的图像数据行,如图1的current line的图像数据。接着,图像处理电路根据参考像素R5、R6、R7以及R8对目标像素R4执行前述的步骤一至五,以完成对目标像素R4的图像处理。
上述的图像处理方法对于红色像素、绿色像素或蓝色像素都适用,但对于绿色像素(包括Gb与Gr),则需额外考虑所带来的图像串扰的问题。请参考图4。图4为针对一绿色像素进行图像处理的像素数据示意图。如前所述,图像处理的方法分为上半部图像处理与下半部图像处理。图像处理电路先根据参考像素G0、G1、G2、G3、Gi以及Gj对目标像素G4执行前述的步骤一至五,以完成对目标像素G4的上半部图像处理。接着,处理电路先根据参考像素G5、G6、G7、G8、Gm以及Gn对目标像素G4执行前述的步骤一至五,以完成对目标像素G4的下半部图像处理。
在另一实施例中,图像处理电路根据参考像素Gi以及Gj对目标像素G4进行上部图像的串扰消除过程。接着,图像处理电路根据参考像素Gm以及Gn对目标像素G4进行下部图像的串扰消除过程。
一般的图像处理方法包括了像素缺陷检测与补偿、图像降噪处理以及图像串扰消除,而习知的技术则必需分开通过不同的电路处理,或是在不同的时间。这不仅造成前述的行缓冲器的数量增加,而且彼此的数据无法共用而效率不佳。然而,本案前述方法可改善习知的缺点。
请参考图5。图5为根据本发明的一图像感测模块的一实施例的示意图。图像感测模块包括一图像感测器51、一降噪电路52以及一缺陷像素检测/补偿电路53。在本实施例中,图像感测模块还包括一评估电路,设置于降噪电路52或缺陷像素检测/补偿电路53内,用以接收图像感测器51处理的原始数据,并执行前述步骤一至三。评估电路先针对一目标像素以及一取样窗口内的上半部图像的多个参考像素计算一第一像素差异值,并计算一第一比例值。接着,评估电路判断该第一比例值的绝对值是否大于一缺陷临界值(defectthreshold)。若无,则评估电路将第一像素差异值与第一比例值提供给降噪电路52以进行步骤三至五的降噪过程。
若该第一比例值的绝对值大于缺陷临界值,则表示该目标像素可能为一缺陷像素。评估电路会通知降噪电路52暂时不对该目标像素进行步骤三至五的降噪过程。评估电路此时还判断该比例值的正负。若该第一比例值为正,则该目标像素可能为缺陷像素的亮点。若该第一比例值为负,则该目标像素可能为缺陷像素的暗点。
接着,评估电路针对一目标像素以及取样窗口内的下半部图像的多个参考像素计算一第二像素差异值,并计算一第二比例值。评估电路接着判断该第二比例值的绝对值是否大于缺陷临界值。若无,则表示该像素并非缺陷像素,且降噪电路52会根据第一比例值与第二比例值进行步骤三至五的降噪过程。
若该第二比例值的绝对值大于缺陷临界值,则评估电路判断第二比例值的正负。若第二比例值与第一比例值同为正或同为负,则该目标像素确定为缺陷像素,评估电路将计算得到的参数值传送给缺陷像素检测/补偿电路53以进行缺陷像素补偿过程。若第二比例值与第一比例值并没有同为正或同为负,则该目标像素不是缺陷像素,且降噪电路52会根据第一比例值与第二比例值进行步骤三至五的降噪过程。
虽然缺陷像素检测/补偿电路53的命名隐含缺陷像素检测,然实质上缺陷像素检测系由评估电路所进行。当评估电路位于降噪电路52内时,则缺陷像素检测/补偿电路53仅针对降噪电路52检测到的缺陷像素进行缺陷像素补偿过程。若评估电路位于缺陷像素检测/补偿电路53内,则当评估电路判断该目标像素不是缺陷像素时,评估电路将所求得的多个参考数值提供给降噪电路52以进行降噪过程。
更进一步来说,当评估电路位于降噪电路52内且评估电路判断该目标像素可能为缺陷像素时,此时降噪电路52可能已经完成步骤三至五的降噪过程。因此降噪电路52并不会如前述步骤五的动作,将处理完的图像数据储存到第一行缓冲器中,而是让评估电路先进行下半部图像的处理,以确认目标像素是否为缺陷像素。若目标像素不是缺陷像素,则降噪电路52会完成目标像素的降噪处理。如果确认目标像素为缺陷像素,则降噪电路52会放弃原本处理的结果,且由缺陷像素检测/补偿电路53对该目标像素进行缺陷补偿。
在另一实施例中,若该目标像素在上半部图像处理的过程中,并没有被判断为可能的缺陷像素,则下半部的图像处理的过程中,就不需要对目标像素是否可能为缺陷像素的部分进行运算。
图6为根据本发明的一实施例的图像处理方法的流程图。本实施例的图像处理方法由一图像感测器模块内的一图像处理电路所执行。该图像处理电路接收一图像感测器感测到的一初始图像数据并处理以输出一图像数据给其他的装置。在一实施例中,图像处理电路可由图5中的降噪电路52、缺陷像素检测/补偿电路53以及评估电路所实现。
在步骤S601中,图像处理电路接收对应一目标像素的上半部图像数据。
在步骤S602中,图像处理电路根据上半部图像数据中对应该目标相素的多个参考像素以及该目标像素计算一平均像素值,如前述式一。接着图像处理电路利用目标像素的像素值与所述多个参考像素的像素值,计算一像素差异值,如前述式二。接着,图像处理电路根据求得的像素平均值与像素差异值计算一比例值DMR(delta-mean ratio),如前述式三。
在步骤S603中,图像处理电路根据求得的比例值与一扩散系数函数值函数求得一扩散系数。
在步骤S604中,图像处理电路根据求得的扩散系数与所述多个参考像素的像素值,对该目标像素进行扩散运算,以求得该目标像素修正后的像素值。
在步骤S605中,图像处理电路对该目标像素进行一缺陷像素检测。在一实施例中,图像处理电路可根据步骤S602中计算到的像素差异值,判断该目标像素是否为缺陷像素。
在步骤S606中,若该目标像素为缺陷像素,则执行步骤S608。若该目标像素不是缺陷像素,则执行步骤S607。
在步骤S607中,图像处理电路将目标像素修正后的像素值存回一行缓冲器。在一实施例中,图像处理电路会等到目标像素所在的像素行的所有像素都校正完后再将校正后的数据存回行缓冲器。
在步骤S608中,图像处理电路储存关于该目标像素的缺陷信息。该缺陷信息可能为暗点或亮点。
在步骤S609中,图像处理电路判断该目标像素是否为该像素行的最后一个像素。如果是,则结束上半部图像处理。如果不是,则对该目标像素的下一个像素进行前述的动作。
在步骤S611中,图像处理电路接收对应一目标像素的下半部图像数据。
在步骤S612中,图像处理电路根据下半部图像数据中对应该目标相素的多个参考像素以及该目标像素计算一平均像素值,如前述式一。接着图像处理电路利用目标像素的像素值与所述多个参考像素的像素值,计算一像素差异值,如前述式二。接着,图像处理电路根据求得的像素平均值与像素差异值计算一比例值DMR(delta-mean ratio),如前述式三。
在步骤S613中,图像处理电路根据求得的比例值与一扩散系数函数值函数求得一扩散系数。
在步骤S614中,图像处理电路根据求得的扩散系数与所述多个参考像素的像素值,对该目标像素进行扩散运算,以求得该目标像素修正后的像素值。
在步骤S615中,图像处理电路对该目标像素进行一缺陷像素检测。在一实施例中,图像处理电路可根据步骤S602中计算到的像素差异值,判断该目标像素是否为缺陷像素。
在步骤S616中,图像处理电路根据步骤S608中储存的缺陷信息,以及下半部图像的缺陷像素判断结果,判断目标像素是否为缺陷像素。若该目标像素为缺陷像素,则执行步骤S618。若该目标像素不是缺陷像素,则执行步骤S617。
在步骤S617中,图像处理电路将目标像素修正后的像素值存回一行缓冲器。在一实施例中,图像处理电路会等到目标像素所在的像素行的所有像素都校正完后再将校正后的数据存回行缓冲器。
在步骤S618中,图像处理电路对该目标像素进行一缺陷像素校正过程。
在步骤S619中,图像处理电路判断该目标像素是否为该像素行的最后一个像素。如果是,则结束该目标像素的图像处理。如果不是,则对该目标像素的下一个像素进行前述的动作。
图7为根据本发明的一实施例的图像处理方法的流程图。本实施例的图像处理方法系由一图像感测器模块内的一图像处理电路所执行。该图像处理电路接收一图像感测器感测到的一初始图像数据并处理以输出一图像数据给其他的装置。在一实施例中,图像处理电路可由图5中的降噪电路52、缺陷像素检测/补偿电路53以及评估电路所实现。
在步骤S701中,图像处理电路读取目标像素所在的第n行像素数据,第(n-1)行像素数据以及第(n-2)行像素数据,其中第(n-2)行像素数据储存在一第一行缓冲器,第(n-1)行像素数据储存在一第二行缓冲器。
在步骤S702中,图像处理电路根据上半部图像数据中对应该目标相素的多个参考像素以及该目标像素计算一平均像素值,如前述式一。接着图像处理电路利用目标像素的像素值与所述多个参考像素的像素值,计算一像素差异值,如前述式二。
在步骤S703中,图像处理电路根据求得的像素平均值与像素差异值计算一比例值DMR(delta-mean ratio),如前述式三。接着图像处理电路根据求得的比例值与一扩散系数函数值函数求得一扩散系数。
在步骤S704中,图像处理电路根据比例值DMR或该像素差异值判断该目标像素是否为缺陷像素。若图像处理电路判断该目标像素为缺陷像素,执行步骤S707。若图像处理电路判断该目标像素不是缺陷像素,执行步骤S705。
在步骤S707中,图像处理电路读取目标像素所在的第n行像素数据,第(n+1)行像素数据以及第(n+2)行像素数据。要注意的是,如果该目标像素不是缺陷像素,则此时第n行像素数据是自步骤S706所述的第一行缓冲器中取得。如果该目标像素是缺陷像素,则此时第n行像素数据为步骤701中所读取到的数据。
在步骤S708中,图像处理电路根据下半部图像数据中对应该目标相素的多个参考像素以及该目标像素计算一平均像素值,如前述式一。接着图像处理电路利用目标像素的像素值与所述多个参考像素的像素值,计算一像素差异值,如前述式二。接着,图像处理电路根据求得的像素平均值与像素差异值计算一比例值DMR(delta-mean ratio),如前述式三。
在步骤S709中,图像处理电路根据该像素差异值判断该目标像素是否为缺陷像素。若图像处理电路判断该目标像素为缺陷像素,且在步骤S709中判断的缺陷像素类型与在步骤S707中判断的缺陷像素类型相同时,则该目标像素的确是缺陷像素。图像处理电路接着执行步骤S710,以对该目标像素进行一缺陷像素补偿过程。
如果步骤S709中,图像处理电路判断该目标像素不是缺陷像素,则流程回到步骤S705中。在步骤S705中,图像处理电路根据求得的扩散系数与所述多个参考像素的像素值,对该目标像素进行扩散运算,以求得该目标像素修正后的像素值。接着,在步骤S706中,图像处理电路将根据上半部图像数据处理完的第n行像素数据存回第一行缓冲器,接着执行步骤S707。
要注意的是,如果在步骤S704,图像处理电路判断该目标像素为缺陷像素,而在步骤S709中图像处理电路判断该目标像素不是缺陷像素,则在一实施例中,在步骤S706被执行完毕后可以直接执行步骤S711以及后续的步骤。
在步骤S711中,图像处理电路根据步骤S708中求得的比例值DMR以及与一扩散系数函数值函数求得一扩散系数。
在步骤S712中,图像处理电路根据求得的扩散系数与所述多个参考像素的像素值,对该目标像素进行扩散运算,以求得该目标像素修正后的像素值。
在步骤S713中,图像处理电路将根据下半部图像处理完的第n行像素数据存回第一行缓冲器。
图8为根据本发明的一图像处理装置的一实施例的示意图。本实施例中的图像处理装置可能为一图像处理模块内的电路,或是外接图像处理模块的电路。在本实施例中,单元一词为一通常技术用语,其可能由一电路所实现或是一控制器执行一软件所实现。在另一实施例中,多个单元可能由单一电路所实现。
图像处理装置包括上部图像像素均值计算单元801、上部图像像素差异值计算单元802、DMR计算单元803、缺陷像素检测单元804、扩散系数对照单元805、扩散运算单元806、复用器807、下部图像像素均值计算单元808、下部图像像素差异值计算单元809、DMR计算单元810、缺陷像素检测单元811、扩散系数对照单元812、扩散运算单元813、缺陷像素补偿单元814以及复用器815。
从另一个角度来看,上部图像像素差异值计算单元802、DMR计算单元803、缺陷像素检测单元804、扩散系数对照单元805以及扩散运算单元806可视为一上部图像处理装置。而下部图像像素均值计算单元808、下部图像像素差异值计算单元809、DMR计算单元810、缺陷像素检测单元811、扩散系数对照单元812、扩散运算单元813以及缺陷像素检测单元814可视为一下部图像处理装置。
关于上部图像处理装置的动作以及处理的图像数据可参考图2A的图像数据,以及图6的步骤S601至S607。关于下部图像处理装置的动作以及处理的图像数据可参考图2B的图像数据,以及图6的步骤S611至S617。
要注意的是,如果上部图像处理装置并未检测到该目标像素可能为一缺陷像素时,下部图像处理装置处理的部分图像数据,如图2B的图像数据中的第一行缓冲器21储存的图像数据,是与上部图像处理装置接收到的图像数据相同,如图2A的图像数据23。如果上部图像处理装置并未检测到该目标像素可能为一缺陷像素时,下部图像处理装置处理的部分图像数据,如图2B的图像数据中的第一行缓冲器21储存的图像数据,是上部图像处理装置的处理结果。
上部图像像素均值计算单元801接收对应一目标像素的一上部图像数据,并根据该目标像素以及据上半部图像数据中对应该目标相素的多个参考像素计算一第一平均像素值,如前述式一。上部图像像素差异值计算单元802根据目标像素的像素值与所述多个参考像素的像素值,计算一第一像素差异值,如前述式二。DMR计算单元803根据求得的像素平均值与像素差异值计算一第一比例值DMR(delta-mean ratio),如前述式三。
扩散系数对照单元805具有一扩散系数函数值函数,接收该第一比例值DMR以求得一扩散系数。扩散运算单元806根据求得的扩散系数与所述多个参考像素的像素值,对该目标像素进行扩散运算,以求得该目标像素修正后的像素值。
缺陷像素检测单元804则根据第一像素差异值或第一比例值DMR判断该目标像素是否为一缺陷像素,并将判断结果传送给复用器807。复用器807则根据判断结果决定将扩散运算单元806的处理结果或是将目标像素传送给扩散运算单元813及缺陷像素补偿单元814。
下部图像像素均值计算单元808接收对应一目标像素的一下部图像数据,并根据该目标像素以及据上半部图像数据中对应该目标相素的多个参考像素计算一第二平均像素值,如前述式一。下部图像像素差异值计算单元809根据目标像素的像素值与所述多个参考像素的像素值,计算一第二像素差异值,如前述式二。DMR计算单元810根据求得的像素平均值与像素差异值计算一第二比例值DMR(delta-mean ratio),如前述式三。
扩散系数对照单元812具有一扩散系数函数值函数,接收该第二比例值DMR以求得一扩散系数。在本实施例中,扩散系数对照单元805与扩散系数对照单元812具有相同的扩散系数函数值函数。在另一实施例中,扩散系数对照单元805与扩散系数对照单元812可合并为一扩散系数对照单元。
扩散运算单元813根据扩散系数对照单元812求得的扩散系数与所述多个参考像素的像素值,对该目标像素进行扩散运算,以求得该目标像素修正后的像素值。
缺陷像素检测单元811则根据第二像素差异值或第二比例值DMR判断该目标像素是否为一缺陷像素。缺陷像素检测单元811还判断其判断结果是否与缺陷像素检测单元804对该目标像素的缺陷像素类型判断相同。如果缺陷像素检测单元811与缺陷像素检测单元804对该目标像素的缺陷像素类型判断相同,则缺陷像素补偿单元814对该目标像素进行缺陷像素补偿过程。此外,缺陷像素检测单元811输出一选择信号给复用器815,并使复用器815选择输出扩散运算单元813的运算结果或是缺陷像素补偿单元814的补偿结果。
图9A与图9B为根据本发明的一图像处理装置的另一实施例的示意图。与图8的图像处理装置差异在于上部图像串扰消除单元916以及下部图像串扰消除单元917。在另一实施例中,上部图像串扰消除单元916以及下部图像串扰消除单元917可以合并为一图像串扰消除单元。
上部图像串扰消除单元916以及下部图像串扰消除单元917主要是要消除绿色像素Gb与Gr所产生的串扰结果。请一同参考图4的图像数据示意图。像素差异值计算单元9161计算目标像素G4与参考像素Gi与Gj的一第三像素差异值。DMR计算单元根据上部图像像素均值计算单元901求得的第一平均像素值与像素差异值计算单元9161求得的第三像素差异值计算一第三比例值DMR。扩散系数对照单元9163具有一扩散系数函数值函数,接收该第三比例值DMR以求得一扩散系数,并将该扩散系数提供给扩散运算单元906,对该目标像素进行扩散运算,以求得该目标像素修正后的像素值。
像素差异值计算单元9171计算目标像素G4与参考像素Gm与Gn的一第四像素差异值。DMR计算单元根据下部图像像素均值计算单元908求得的第二平均像素值与像素差异值计算单元9171求得的第四像素差异值计算一第四比例值DMR。扩散系数对照单元9173具有一扩散系数函数值函数,接收该第四比例值DMR以求得一扩散系数,并将该扩散系数提供给扩散运算单元913,对该目标像素进行扩散运算,以求得该目标像素修正后的像素值。
在本实施例中,扩散运算单元906根据扩散系数对照单元905与9163输出的扩散系数,以及对应的参考像素,对该目标像素进行扩散运算,以求得该目标像素的像素值。扩散运算单元913根据扩散系数对照单元912与9173输出的扩散系数,以及对应的参考像素,对该目标像素进行扩散运算,以求得该目标像素的像素值。至于本实施例的其他元件动作请参考图8的说明,在此不赘述。
惟以上所述者,仅为本发明的较佳实施例而已,当不能以此限定本发明实施的范围,即大凡依本发明申请专利范围及发明说明内容所作的简单的等效变化与修饰,皆仍属本发明专利涵盖的范围内。另外本发明的任一实施例或申请专利范围不须达成本发明所公开的全部目的或优点或特点。此外,摘要部分和标题仅是用来辅助专利文件检索之用,并非用来限制本发明的权利范围。
【符号说明】
21~第一行缓冲器; 22~第二行缓冲器;
23~目前的图像数据; 51~图像感测器;
52~降噪电路; 53~缺陷像素检测/补偿电路;
801~上部图像像素均值计算单元; 802~上部图像像素差异值计算单元;
803~DMR计算单元; 804~缺陷像素检测单元;
805~扩散系数对照单元; 806~扩散运算单元;
807~复用器; 808~下部图像像素均值计算单元;
809~下部图像像素差异值计算单元; 810~DMR计算单元;
811~缺陷像素检测单元; 812~扩散系数对照单元;
813~扩散运算单元; 814~缺陷像素补偿单元;
815~复用器; 901~上部图像像素均值计算单元;
902~上部图像像素差异值计算单元; 903~DMR计算单元;
904~缺陷像素检测单元; 905~扩散系数对照单元;
906~扩散运算单元; 907~复用器;
908~下部图像像素均值计算单元; 909~下部图像像素差异值计算单元;
910~DMR计算单元; 911~缺陷像素检测单元;
912~扩散系数对照单元; 913~扩散运算单元;
914~缺陷像素检测单元; 915~复用器;
916~上部图像串扰消除单元; 917~下部图像串扰消除单元;
9161~像素差异值计算单元; 9162~DMR计算单元;
9163~扩散系数对照单元; 9171~像素差异值计算单元;
9172~DMR计算单元; 9173~扩散系数对照单元。

Claims (15)

1.一种图像处理方法,包括:
接收一上部图像数据;
对一目标像素以及该上部图像数据中的多个第一参考像素进行运算以求得一第一比例值;
根据该第一比例值与一扩散系数函数值函数求得一第一扩散系数;
根据该目标像素、所述多个第一参考像素以及该第一扩散系数以求得该目标像素的一第一像素值;
接收一下部图像数据;
对该目标像素以及该下部图像数据中的多个第二参考像素进行运算以求得一第二比例值,其中此时的该目标像素的像素值为第一像素值;
根据该第二比例值与该扩散系数函数值函数求得一第二扩散系数;以及
根据该目标像素、所述多个第二参考像素以及该第二扩散系数以求得该目标像素的一第二像素值。
2.根据权利要求1所述的图像处理方法,其中该第一比例值系根据下列步骤所产生:
根据该目标像素与所述多个第一参考像素产生一第一像素平均值;
根据该目标像素与所述多个第一参考像素产生一第一像素差异值;以及
根据该第一像素平均值与该第一像素差异值产生该第一比例值。
3.根据权利要求1所述的图像处理方法,其中该第二比例值系根据下列步骤所产生:
根据该目标像素与所述多个第二参考像素产生一第二像素平均值;
根据该目标像素与所述多个第二参考像素产生一第二像素差异值;以及
根据该第二像素平均值与该第二像素差异值产生该第二比例值。
4.根据权利要求1所述的图像处理方法,还包括:
根据该第一比例值或/且该第二比例值判断该目标像素是否为一缺陷像素。
5.根据权利要求4所述的图像处理方法,其中当该目标像素为缺陷像素时,
对该目标像素进行一缺陷像素补偿过程。
6.根据权利要求1所述的图像处理方法,其中当该目标像素为绿色像素时,
对该目标像素进行一图像串扰消除过程。
7.一种图像处理方法,包括:
读取一目标像素所在的一第n行像素数据,一第(n-1)行像素数据以及一第(n-2)行像素数据;
根据该目标像素与多个第一参考像素计算该目标像素的一第一校正后数据值以及判断该目标像素是否可能为一缺陷像素;
当目标像素可能为缺陷像素时,读取该目标像素所在的该第n行像素数据,一第(n+1)行像素数据以及一第(n+2)行像素数据;
根据该第n行像素数据,该第(n+1)行像素数据以及该第(n+2)行像素数据判断该目标像素是否可能为缺陷像素;以及
当该目标像素确定为缺陷像素时,对该目标像素进行一缺陷像素补偿过程。
8.根据权利要求7所述的图像处理方法,其中当该目标像素确定不是缺陷像素时,根据该目标像素、该第n行像素数据,该第(n+1)行像素数据以及该第(n+2)行像素数据计算该目标像素的一第二校正后数据值,其中此时第n行像素数据中的该目标像素的像素值为该第一校正后数据值。
9.根据权利要求7所述的图像处理方法,其中还包括:
根据位于该第n行像素数据,该第(n-1)行像素数据以及该第(n-2)行像素数据的多个第一参考像素产生一第一像素平均值;
根据该目标像素与所述多个第一参考像素产生一第一像素差异值;
根据该第一像素平均值与该第一像素差异值产生该第一比例值;
根据该第一比例值与一扩散系数函数值函数求得一第一扩散系数;以及
根据该目标像素、所述多个第一参考像素以及该第一扩散系数以求得该第一校正后数据值。
10.根据权利要求7所述的图像处理方法,其中还包括:
根据位于该第n行像素数据,该第(n+1)行像素数据以及该第(n+2)行像素数据的多个第二参考像素产生一第二像素平均值,其中此时第n行像素数据中的该目标像素的像素值为该第一校正后数据值;
根据该目标像素与所述多个第二参考像素产生一第二像素差异值;
根据该第二像素平均值与该第二像素差异值产生该第二比例值;
根据该第二比例值与一扩散系数函数值函数求得一第二扩散系数;以及
根据该目标像素、所述多个第二参考像素以及该第二扩散系数以求得该第二校正后数据值。
11.一种图像处理装置,包括:
一上部图像处理装置,接收一上部图像数据以针对一目标像素进行图像处理以产生该目标像素的一第一像素值,其中位于该上部图像数据中的该目标像素的像素值为一初始像素值;以及
一下部图像处理装置,接收一下部图像数据以针对该目标像素进行图像处理以产生该目标像素的一第二像素值,其中
若该上部图像处理装置判断该目标像素不是一可能的缺陷像素时,位于该下部图像数据的该目标像素的像素值为该第一像素值;
若该上部图像处理装置判断该目标像素为可能的缺陷像素时,该下部图像处理装置先接收该下部图像数据并根据该下部图像数据确认该目标像素是否为缺陷像素,其中该下部图像数据中的该目标像素的像素值为该初始像素值。
12.根据权利要求11所述的图像处理装置,其中该上部图像处理装置还包括一串扰消除单元,且当该目标像素为绿色素时,该串扰消除单元根据该上部图像数据中的多个绿色参考像素进行一串扰消除过程。
13.根据权利要求11所述的图像处理装置,其中该下部图像处理装置还包括一串扰消除单元,且当该目标像素为绿色素时,该串扰消除单元根据该下部图像数据中的多个绿色参考像素进行一串扰消除过程。
14.根据权利要求11所述的图像处理装置,其中该上部图像处理装置执行下列步骤以得到该第一像素值:
对该目标像素以及该上部图像数据中的多个第一参考像素进行运算以求得一第一比例值;
根据该第一比例值与一扩散系数函数值函数求得一第一扩散系数;
根据该目标像素、所述多个第一参考像素以及该第一扩散系数以求得该目标像素的该第一像素值。
15.根据权利要求11所述的图像处理装置,其中该下部图像处理装置执行下列步骤以得到该第二像素值:
对该目标像素以及该下部图像数据中的多个第二参考像素进行运算以求得一第二比例值,其中此时的该目标像素的像素值为第一像素值;
根据该第二比例值与该扩散系数函数值函数求得一第二扩散系数;以及
根据该目标像素、所述多个第二参考像素以及该第二扩散系数以求得该目标像素的该第二像素值。
CN201610387585.6A 2015-11-19 2016-06-02 图像处理方法 Active CN106791503B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW104138201A TWI558211B (zh) 2015-11-19 2015-11-19 影像處理方法與裝置
TW104138201 2015-11-19

Publications (2)

Publication Number Publication Date
CN106791503A true CN106791503A (zh) 2017-05-31
CN106791503B CN106791503B (zh) 2020-01-03

Family

ID=57851610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610387585.6A Active CN106791503B (zh) 2015-11-19 2016-06-02 图像处理方法

Country Status (3)

Country Link
US (1) US10319077B2 (zh)
CN (1) CN106791503B (zh)
TW (1) TWI558211B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017055308A (ja) 2015-09-10 2017-03-16 キヤノン株式会社 撮像装置及びその制御方法
JP2017055309A (ja) * 2015-09-10 2017-03-16 キヤノン株式会社 撮像装置及びその制御方法
TWI558211B (zh) * 2015-11-19 2016-11-11 晶相光電股份有限公司 影像處理方法與裝置
US11448503B2 (en) * 2019-06-12 2022-09-20 Microsoft Technology Licensing, Llc Correction for pixel-to-pixel signal diffusion
TWI753410B (zh) * 2020-04-24 2022-01-21 晶相光電股份有限公司 影像感測系統以及缺陷感光元件偵測以及修正方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200814737A (en) * 2006-09-12 2008-03-16 Winbond Electronics Corp Method for compensating pixel of image
CN102640489A (zh) * 2009-10-20 2012-08-15 苹果公司 用于检测和校正图像传感器中的缺陷像素的系统和方法
US20130114894A1 (en) * 2010-02-26 2013-05-09 Vikas Yadav Blending of Exposure-Bracketed Images Using Weight Distribution Functions
CN103106893A (zh) * 2011-11-11 2013-05-15 三菱电机株式会社 图像处理装置、图像处理方法以及图像显示装置
WO2014034242A1 (ja) * 2012-08-28 2014-03-06 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
CN104285436A (zh) * 2012-06-14 2015-01-14 奥林巴斯映像株式会社 摄像装置和摄像装置的控制方法
CN104519274A (zh) * 2013-09-27 2015-04-15 奥林巴斯株式会社 图像处理装置和图像处理方法
CN104580949A (zh) * 2013-10-09 2015-04-29 奥林巴斯株式会社 图像处理装置和图像处理方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100421987B1 (ko) * 2001-12-06 2004-03-11 삼성전자주식회사 오차확산 처리방법
JP3943981B2 (ja) * 2002-04-10 2007-07-11 キヤノン株式会社 画像処理装置及び方法
KR100547159B1 (ko) * 2003-12-02 2006-01-26 삼성전자주식회사 Cmykrgbw 큐빅 공간에서의 면적비를 이용한오차확산 방법 및 장치
TWI315634B (en) * 2005-11-30 2009-10-01 Sony Taiwan Ltd Low cost dynamic defect correction method and device
CN102696068A (zh) * 2010-01-08 2012-09-26 夏普株式会社 显示装置和显示装置的驱动方法
JP5641822B2 (ja) * 2010-08-25 2014-12-17 キヤノン株式会社 画像処理装置およびその方法
US8891866B2 (en) * 2011-08-31 2014-11-18 Sony Corporation Image processing apparatus, image processing method, and program
US8873821B2 (en) * 2012-03-20 2014-10-28 Paul Reed Smith Guitars Limited Partnership Scoring and adjusting pixels based on neighborhood relationships for revealing data in images
JP2014022801A (ja) * 2012-07-13 2014-02-03 Sony Corp 情報処理装置、情報処理方法、および情報処理プログラム
TWI520565B (zh) * 2013-12-03 2016-02-01 恆景科技股份有限公司 圖像處理方法以及圖像處理裝置
TWI542217B (zh) * 2014-03-12 2016-07-11 瑞昱半導體股份有限公司 像素值校正裝置與方法
US9600700B1 (en) * 2015-08-31 2017-03-21 Pixart Imaging Inc. Portable electronic device and operation method thereof
TWI558211B (zh) * 2015-11-19 2016-11-11 晶相光電股份有限公司 影像處理方法與裝置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200814737A (en) * 2006-09-12 2008-03-16 Winbond Electronics Corp Method for compensating pixel of image
CN102640489A (zh) * 2009-10-20 2012-08-15 苹果公司 用于检测和校正图像传感器中的缺陷像素的系统和方法
US20130114894A1 (en) * 2010-02-26 2013-05-09 Vikas Yadav Blending of Exposure-Bracketed Images Using Weight Distribution Functions
CN103106893A (zh) * 2011-11-11 2013-05-15 三菱电机株式会社 图像处理装置、图像处理方法以及图像显示装置
CN104285436A (zh) * 2012-06-14 2015-01-14 奥林巴斯映像株式会社 摄像装置和摄像装置的控制方法
WO2014034242A1 (ja) * 2012-08-28 2014-03-06 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
CN104519274A (zh) * 2013-09-27 2015-04-15 奥林巴斯株式会社 图像处理装置和图像处理方法
CN104580949A (zh) * 2013-10-09 2015-04-29 奥林巴斯株式会社 图像处理装置和图像处理方法

Also Published As

Publication number Publication date
US10319077B2 (en) 2019-06-11
US20170148141A1 (en) 2017-05-25
TWI558211B (zh) 2016-11-11
TW201720133A (zh) 2017-06-01
CN106791503B (zh) 2020-01-03

Similar Documents

Publication Publication Date Title
CN106791503A (zh) 图像处理方法与装置
JP2023545565A (ja) 画像検出方法、モデルトレーニング方法、画像検出装置、トレーニング装置、機器及びプログラム
CN101079956B (zh) 图像处理装置及图像处理方法
JP6046927B2 (ja) 画像処理装置及びその制御方法
US10580122B2 (en) Method and system for image enhancement
CN113239875B (zh) 人脸特征的获取方法、系统、装置及计算机可读存储介质
US8929651B2 (en) System and method for the repair of anomalies in images
WO2016002068A1 (ja) 画像拡大装置、画像拡大方法、及び監視カメラ、並びにプログラム及び記録媒体
JP6567381B2 (ja) 演算装置、方法及びプログラム
CN113538223A (zh) 噪声图像生成方法、装置、电子设备及存储介质
CN112102192A (zh) 一种图像白平衡方法
CN103679645A (zh) 信号处理装置、信号处理方法、输出装置、输出方法及程序
US20110158530A1 (en) Information processing apparatus, verification apparatus, and methods of controlling the same
CN114049536A (zh) 一种虚拟样本生成方法、装置、存储介质及电子设备
CN112488984A (zh) 缺陷图片生成网络的获得方法、装置和缺陷图片生成方法
CN112085668B (zh) 一种基于区域自适应自监督学习的图像色调映射的方法
KR100513273B1 (ko) 동영상 신호의 실시간 밝기 제어 장치 및 방법
CN111126566B (zh) 基于gan模型的异常家具布局数据检测方法
CN111985471A (zh) 一种车牌定位方法、装置及存储介质
JP6835407B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN111222558A (zh) 图像处理方法及存储介质
CN112052727B (zh) 一种基于大数据的人像识别分析系统及方法
CN110062151B (zh) 平滑图像生成装置、异常判定装置、平滑图像生成方法
CN103310410A (zh) 影像放大装置及影像放大方法
CN110519602A (zh) 用于数据流传输的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant