CN104883519A - 图像处理装置及图像处理装置的控制方法 - Google Patents

图像处理装置及图像处理装置的控制方法 Download PDF

Info

Publication number
CN104883519A
CN104883519A CN201510085503.8A CN201510085503A CN104883519A CN 104883519 A CN104883519 A CN 104883519A CN 201510085503 A CN201510085503 A CN 201510085503A CN 104883519 A CN104883519 A CN 104883519A
Authority
CN
China
Prior art keywords
pixel
line
value
area
correlative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510085503.8A
Other languages
English (en)
Other versions
CN104883519B (zh
Inventor
古谷浩平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN104883519A publication Critical patent/CN104883519A/zh
Application granted granted Critical
Publication of CN104883519B publication Critical patent/CN104883519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本发明公开一种图像处理装置及图像处理装置的控制方法。从存在于被设置为通过与校正目标像素对应的像素的关注线上的多个像素而生成图像的第一区域。生成多个第二区域，各个第二区域都是基于存在于被设置为不通过所述校正目标像素的至少一条参照线上的多个像素的位置。利用基于各个第二区域与第一区域的相关量而确定的各个所述至少一条参照线上的像素的值而校正与校正目标像素对应的像素的值。

Description

图像处理装置及图像处理装置的控制方法
技术领域
本发明涉及一种图像处理装置和图像处理装置的控制方法，尤其涉及一种校正缺陷像素的技术。
背景技术
诸如数字照相机等摄像装置使用诸如CMOS传感器等图像传感器来拍摄图像。通常，由于图像传感器中配设了大量像素，因此其中存在缺陷像素。作为校正此类缺陷像素的值的技术，已知一种将从存在于缺陷像素的周边的一个或多个非缺陷像素的一个或多个值中估计的像素值用作缺陷像素位置处的像素值的方法。在本说明书的下文中，获取在像素为非缺陷的情况下应该被获取的缺陷位置处的像素值将被称为缺陷像素校正。
例如，日本特开平11-220661号公报公开了一种方法，在该方法中，参照与缺陷像素颜色相同的周边像素的值，将缺陷像素附近的被摄体的形状分类为任何预定图案，并通过使用对应于已分类的图案的周边像素及方法来校正缺陷像素。日本特开2005-175547号公报公开了一种方法，在缺陷像素附近的被摄体的空间频率高时使用邻接像素来检测缺陷像素的校正中将要使用的像素的参照方向，从而实现比使用与缺陷像素颜色相同的像素的情况更精确的插值。
然而，利用上述专利文献中公开的传统技术可以对具有预定的特定的角度的被摄体精确地校正缺陷像素，但在被摄体具有不同的角度的情况下存在发生错误校正的情况。例如，考虑到被摄体具有如图13A中示出的接近水平的角度(这里大约是27度)的情况。在图13A中，以粗框表示传统技术中的缺陷像素的校正中使用的像素的参照区域。假定缺陷像素位置处的像素值是图13B中示出的值(0)，利用参照区域内与缺陷像素颜色相同的像素的值(30或40)不能适当地校正缺陷像素。
通过扩展参照区域能够提高在参照区域内发现适合于缺陷像素校正的像素值的可能性。然而，例如，如果由于缺陷像素而使具有图13C所示的重复图案的被摄体的像素值变为如图13D所示，则存在不能够基于两点间的差正确地检测被摄体的角度的情况。
发明内容
本发明提供一种即使是包含缺陷像素的被摄体不具有特定角度时也能够实现恰当校正缺陷像素的图像处理装置及该图像处理装置的控制方法。
根据本发明的一方面，提供一种图像处理装置，所述图像处理装置包括：用于获取图像的获取单元；用于基于校正目标像素的位置而设置所述图像的第一区域的第一设置单元，所述第一区域包括在被设置为通过所述校正目标像素的关注线上的多个像素；用于设置所述图像的多个第二区域的第二设置单元，各个所述第二区域都基于在被设置为不通过所述校正目标像素的至少一条参照线上存在的多个像素的位置；用于计算各个所述第二区域与所述第一区域的相关量的相关性计算单元；以及通过利用基于所述相关量确定的、各个所述至少一条参照线上的像素的值而计算用来校正与所述校正目标像素对应的像素的值的校正值，并利用所述校正值来校正与所述校正目标像素对应的像素的值的校正单元。
根据本发明的另一方面，提供了一种用于控制图像处理装置的方法，所述方法包括：用于获取图像的获取步骤；用于基于校正目标像素的位置而设置所述图像的第一区域的第一设置步骤，所述第一区域包括在被设置为通过所述校正目标像素的关注线上的多个像素；用于设置所述图像的多个第二区域的第二设置步骤，各个所述第二区域都基于在被设置为不通过所述校正目标像素的至少一条参照线上存在的多个像素的位置；用于计算各个所述第二区域与所述第一区域的相关量的相关性计算步骤；以及通过利用基于所述相关量而确定的、各个所述至少一条参照线上的像素的值而计算用来校正与所述校正目标像素对应的像素的值的校正值，并利用所述校正值而校正与所述校正目标像素对应的像素的值的校正步骤。
根据以下参照附图对实施例的详细描述，本发明的其他特征将变得清楚。
附图说明
图1A和图1B是根据本发明的实施例的摄像装置和信息处理装置的框图。
图2是示出实施例中的图像传感器中的示例性像素阵列的图。
图3是示出第一实施例中的缺陷像素校正处理的流程图。
图4是第一实施例中的相关量计算处理的示意图。
图5A至图5C示出了实施例中的相关量计算处理的具体例子。
图6是示出第二实施例中的参照线的设置的示意图。
图7是例示第三实施例的示意图。
图8A和图8B是例示第四实施例的示意图。
图9是示出第四实施例中缺陷像素校正的概要的示意图。
图10是示出第四实施例中缺陷像素校正处理的流程图。
图11A至图11D是示出第四实施例中用于合成校正值的示例性方法的图。
图12A和图12B是例示第四实施例中用于合成校正值的方法的图。
图13A至图13D是示出利用传统技术很难处理的被摄体条件的例子的图。
具体实施方式
将根据附图详细描述本发明的实施例。下文描述的本发明的各实施例能够被独立地实施，或者在必要时或从各个实施例的要素或特征的组合在单个实施中是有益的时，作为多个实施例或其特征的组合来实施。
请注意，尽管以下实施例将描述本发明应用于摄像装置的示例，但诸如与摄影和摄影图像的记录相关的功能等摄像装置所独有的配置不是根据本发明的图像处理装置所必需的。可以在任何能够获取通过摄影获取的图像数据以及用于此摄影中的图像传感器中的缺陷像素的相关信息的电子设备中实施本发明。“摄像装置”并不限于诸如数字照相机等主要功能为摄影的装置，而是指任何具有摄影功能的电子设备。
第一实施例
图1A是示出作为根据本发明实施例的示例性图像处理装置的摄像装置(或图像处理装置)100的示例性功能配置的框图。
摄像装置100是诸如数字照相机或数字摄像机等拍摄被摄体并获取表示被摄体的图像的数据(图像数据)的装置。光学系统101具有透镜、快门及光圈，并在CPU 103的控制下在图像传感器102上形成被摄体的光学图像。可以是诸如CCD或CMOS图像传感器的图像传感器102在各像素处对形成的被摄体的光学图像执行光电转换，并将其转换为模拟图像信号。CPU 103将模拟图像信号转换为数字图像信号(图像数据)，并将其应用于诸如白平衡调整和色插值处理等所谓的显影处理及编码处理。CPU 103通过执行程序并控制各功能块来实现摄像装置100的各种功能。请注意，被描述为作为软件由CPU 103实现的功能中的至少一些功能可以通过硬件(即离散电路、ASIC、可编程逻辑器件等)来实现。
例如，一次存储设备104是诸如RAM等易失性存储设备，并被用作诸如CPU 103的工作区域等临时数据存储区域。例如，二次存储设备105是诸如EEPROM等非易失性存储设备，并存储用于控制摄像装置100的程序(固件)、CPU 103执行的程序、各种设置信息等。
例如，存储介质106(半导体存储卡)将通过摄影获取的图像数据存储为预定格式的数据文件。例如，存储介质106可以从摄像装置100移除，并可以与诸如个人电脑等具有访问存储介质106的功能的其他设备一起使用。换言之，摄像装置100仅需要具有访问存储介质106的功能并能够从/向存储介质106中读出/写入数据。
例如，显示单元107用于在摄影时显示取景器图像、显示拍摄的图像或从存储介质106读出的图像以及显示用于交互操作的用户界面。例如，操作单元108具有诸如按钮、开关、操纵杆以及触摸面板等输入器件，且使用户能够针对摄像装置100给出各种指令并配置其设置。请注意，操作单元108中还包括实现诸如语音输入或视线输入等不需要物理操作的输入方法的配置。
通信装置109使摄像装置100能够向/从外部设备发送/接收控制命令和数据。将要用于与外部设备通信的协议并无特别限定，其可以是例如PTP(图片传输协议)。请注意，例如，通信装置109可以使用USB(通用串行总线)电缆等通过有线连接与外部设备通信，或者可以使用无线LAN等通过无线连接与外部设备通信。通信装置109可以直接与外部设备相连接，或者可以经由服务器或经由诸如互联网等网络来连接。
在图2中，2a部分示出了本实施例中图像传感器102中的示例性像素阵列。图像传感器102包含具有原色拜耳阵列的颜色滤波器。具体地说，其包含具有由两个水平像素×两个垂直像素的四个像素构成的重复单位的阵列。在重复单位中，左上方的像素是红色(R)像素、右上方和左下方是绿色(G)像素，右下方像素是蓝色(B)像素。尽管2a部分示出了缺陷像素位于中心的非常少的一部分像素，但是其他部分也具有相同的阵列。请注意，尽管图像传感器具有“缺陷像素”，但是图像传感器中的像素与通过摄影获得的图像的像素是对应关系，因此在以下描述中将对应于缺陷像素的图像中的像素称为“缺陷像素”。另外，缺陷像素可以被称作校正目标像素。
接下来，将描述本实施例中缺陷像素校正操作的概要。这里如图2中的2a部分中所示出，假定R像素是缺陷像素。首先，当获取了2a部分示出的图像时，从通过缺陷像素的线(关注线)提取包括将要成为校正目标的缺陷像素并表示此线的特征的多个像素，并生成由提取的像素构成的2b部分所示的特征像素序列。这里示出了关注线为水平线、提取与缺陷像素位于相同水平坐标上且与缺陷像素颜色相同的像素从而生成特征像素序列的示例。请注意，尽管这里给出了提取缺陷像素及位于关注线上的缺陷像素的前面和后面且与缺陷像素颜色相同的两个像素来作为特征像素的示例的描述，但是提取特征像素的方法并不限于此。
接下来，从与关注线平行的另一条线(参照线)上存在的像素中提取表示此线的特征的多个像素，并生成由提取的像素构成的2c部分所示的特征像素序列。这里，示出了在关注线上方两个像素处设置参照线、从参照线上的像素中提取与缺陷像素颜色相同的像素以生成特征像素序列的示例。由于如稍后描述的那样计算相关量，因此从参照线提取的特征像素的数量比从关注线提取的特征像素的数量更大。
请注意，在本实施例中，将参照线设置为使与缺陷像素颜色相同的像素存在于线上。因此，在诸如由拜耳阵列中的R像素和B像素等两个像素构成重复单位的情况下，将参照线设置为使其与关注线的距离是重复单位的倍数(2n[像素]，其中n是等于或大于1的整数)。
2d部分中示出了从关注线和参照线生成的特征像素序列的各像素值以及从特征像素序列的像素值生成的波形的例子。在这样从关注线和参照线上的特征像素序列生成两个波形后，针对多个相对位置(偏移量)获得相关量，从而获得两个波形间的相关性最高的偏移量和方向。
例如，如2e部分所示，假定由于关注线上的特征像素序列的波形偏移+2(即，在向右方向上两个像素)，其与参照线上的特征像素序列的波形的相关性变为最高。由于特征像素序列由拜耳阵列中相同颜色的像素所构成，因此偏移量(+2)×2与原始像素阵列中像素坐标的差异相对应。因此，如2f部分所示，发现参照线上与缺陷像素最相关的像素位于水平坐标上距缺陷像素+4的位置处(即，在向右方向上距缺陷像素4个像素)。
因此，例如，在最简单的方法中，可以通过将与缺陷像素最相关的像素的值用作缺陷像素的值来校正缺陷像素。
接下来，将通过图3中示出的流程图来描述如何利用图1A中示出的摄像装置100实现本实施例的上述缺陷像素校正。
首先，在步骤S301中，CPU 103获得作为处理目标的图像数据。这里，图像数据可以通过摄影而获得，或可以通过读出存储介质106中记录的图像数据而获得。或者，可以经由通信装置109从外部设备获得。请注意，这里获得的图像数据处于缺陷像素还未被校正的状态，例如是RAW图像数据。
CPU 103在例如一次存储设备104中加载获得的图像数据。然后CPU103扫描图像数据的各像素，同时针对根据步骤S302中的确定是缺陷像素的关注像素应用步骤S302至S307中的处理。请注意，尽管在步骤S302中确定图像数据的各关注像素是否为图3的示例中的缺陷像素，但可以使用缺陷像素的位置信息对缺陷像素依次执行步骤S303至S307中的处理。
例如，缺陷像素的信息可以是在制造摄像装置100时存储在二次存储设备105中的缺陷像素信息。另外，例如，可以从诸如在启动摄像装置100时等特定条件下拍摄的图像中检测出图像传感器102中的缺陷像素，其位置信息可以存储在二次存储设备105中。此时，可以利用通过随后的检测处理所获得的缺陷像素信息而更新制造时存储的信息。可以将缺陷像素信息记录为图像数据的附加信息。
现在将描述针对根据上述确定是缺陷像素的像素所执行的步骤S303及随后的步骤中的处理。在步骤S303中，CPU 103生成关注线上的特征像素序列(第一像素序列)。例如，如利用图2中的2b部分所描述的，此步骤可以是用于提取与缺陷像素存在于相同水平坐标上的与缺陷像素具有相同颜色的像素并生成特征像素序列的处理。请注意，如其他实施例中所描述的，可以使用其他方法执行特征像素的提取。
接下来，在步骤S304中，CPU 103生成参照线上的特征像素序列(第二像素序列)。这里同样地，如利用图2中2c部分所描述，此步骤可以是例如用于提取位于被设置为关注线上方两个像素的参照线上的与缺陷像素具有相同颜色的像素并生成特征像素序列的处理。
在步骤S305中，为了确定适合缺陷像素校正所参照的像素值，在改变从关注线和参照线生成的特征像素序列的相对位置的同时，CPU 103检测相关性最大的偏移量。
以下将利用图4来描述步骤S305中相关量计算处理的具体示例。
在该实施例中，在关注线上的特征像素序列和与关注线上的特征像素序列具有相同数量的像素的参照线上的特征像素序列的部分(参照线中的区域)之间计算相关量。每当序列间的偏移量改变，则利用参照线上的特征像素序列的不同区域计算针对该偏移量的相关量。因此，参照线上的特征像素序列可以被视为包括多个像素区域。
图4示意性示出了在相对于关注线上的特征像素序列而将参照线上的特征像素序列偏移X个像素(X是整数，其为正时表示向右的方向、其为负时表示向左的方向)时计算相关量的示例。CPU 103合计各偏移量(相对的位置)中通过各箭头所连接的像素值之间的异。例如，假定被计算相关性的像素的数量是2W+1(W是正整数)，关注线上的特征像素序列的指数i(参见图4)处的像素值是Ti，以及参照线上的特征像素序列的指数i处的像素值是Ri。此时，通过以下等式计算偏移量X时的相关量Sx。
换言之，相关量Sx越小代表相关性越高。请注意，在目前所述的方法中，从关注线提取包括缺陷像素的特征像素以生成特征像素序列。为此，缺陷像素的值(T0)不可以用于计算相关值。因此，例如仅当i＝0时获得将要加到等式(1)中的相关量为0的相关量Sx。
可以从针对预定范围内的多个偏移量而计算出的相关值Sx中获得最小相关值Sx的偏移量X中确定用于校正缺陷像素的参照像素的位置。例如，如果在偏移量X＝+2时相关量Sx是最小值，则确定与缺陷像素具有相同颜色的像素中位于缺陷像素向右两个像素位置处的像素(即，位于参照线上从缺陷像素向右四个像素位置处)是参照像素。
图5A是示出步骤S305中相关量计算处理的具体示例的流程图。首先，在步骤S1701中，CPU 103利用用作开始系数的-W替代X，此后，在步骤S1702中，初始化最小相关量Smin及最小相关量时的偏移量Xmin。此后，CPU 103执行步骤S1703至S1706中的处理，同时在步骤S1705中递增X。
在步骤S1703中，CPU 103确定在这个时间点计算出的相关量Sx是否小于最小相关量Smin，如果Sx＜Smin则处理进入到步骤S1704，而如果Sx≥Smin则处理进入到步骤S1705。请注意，当是第一次计算相关量Sx时(这里是X＝-W的情况下)，CPU 103推进处理进入步骤S1704。
在步骤S1704中，CPU 103利用当前的相关量Sx更新最小相关量Smin。同样利用X的当前值更新对应于最小相关量Smin的偏移量Wmin。然后，在步骤S1705中，CPU 103递增X，而在步骤S1706中，CPU 103确定是否已对全部偏移范围执行了处理。如果已对全部偏移范围执行了处理则CPU 103结束处理，而如果还存在未经过处理的数据则将处理返回到步骤S1703。利用上述处理，可以获得偏移范围内的最小相关量Smin以及可以用来获得最小相关量的偏移量Wmin。
请注意，图5A中示出的用于相关量计算处理的方法仅是示例，可以使用任何可以获得相似结果的其他方法。例如，不是必须从最小值而递增偏移量X，可以以任何顺序改变值，只要可以计算出对应于各偏移量的相关值即可。另外，可以存储对应于各偏移量的所有相关值，并且可以最后选择对应于最小相关值的偏移量。
在这样基于特征像素序列的相关量而确定参照像素的位置后，CPU103在步骤S306中计算相关量。在最简单的情况下，校正值可以是参照像素的值，但可以使用其他方法计算校正值。例如，可以使用从参照像素的值及参照像素的周边像素的值中计算出的诸如颜色差等特征量来校正缺陷像素。
在步骤S306中计算出校正值后，在步骤S307中，CPU 103使用校正值校正缺陷像素。此后，在步骤S308中，CPU 103确定是否已完成像素扫描，并重复执行步骤S302至S307直到扫描完成。
请注意，尽管本实施例描述了在水平方向上设置关注线和参照线的示例，但对于关注线和参照线所设置的角度并无限制，可以在诸如垂直方向或倾斜方向等任何方向上设置关注线和参照线。
尽管本实施例将参照线设置在通过缺陷像素的关注线上方两个像素处，但可以以其他距离或在其他方向上设置参照线。例如，可以在关注线下方两个像素处设置参照线，或可以分别在关注线上方及下方两个像素处来设置参照线，或可以将从各参照线上确定的参照像素中计算出的校正值取平均值。这样，通过在与关注线正交的方向(垂直方向)上设置多个参照线以及利用各参照线上计算出的校正值，可以执行也反映垂直方向上的信号水平的变化的精确插值。与在关注线的一侧设置多个参照线的情况相比，在关注线两侧都设置参照线时可以在关注线附近设置许多参照线并可以执行精确插值。
此外，尽管本实施例描述了拜耳阵列中的R像素是缺陷像素的示例性情况，但即使缺陷像素是B像素或G像素，本发明也同样适用。
如上文所述，根据本实施例，基于包括缺陷像素的关注线与参照线之间的相关量确定参照像素。因此，不管被摄体的形状如何都可以确定适合于缺陷像素校正的参照像素。此外，在扩大参照区域的同时可以减少错误校正的负面影响。
第二实施例
第一实施例描述了缺陷像素是诸如拜耳阵列中的R像素或B像素等在颜色滤波器的各重复单位中出现一次的颜色的像素的情况下的校正方法。本实施例涉及缺陷像素是诸如拜耳阵列中的G像素等出现在各像素线的像素的情况下的校正方法。
在拜耳阵列中的R像素或B像素是缺陷像素的情况下，由于重复单位由两个像素构成，因此与缺陷像素具有相同颜色的像素不存在于邻接的像素线中，而位于与缺陷像素分开至少两个像素的位置处，从而在与关注线分开两个像素的像素线上设置参照线。然而，例如，如果G像素是如图6的6a部分中的缺陷像素，则与缺陷像素具有相同颜色的像素存在于邻接的像素线上。因此，如图6的6c部分所示，可以在与关注线平行且与其分开一个像素的像素线上设置参照线。
因此，如果可以在邻接的像素线上设置参照线，那么由于关注线和参照线间的距离更短，因此可以比在分开两个像素的像素线上设置参照线的情况更为精确地计算出相关量。然而，由于在拜耳阵列中邻接的像素线上的G像素的坐标彼此偏移一个像素，因此在利用使特征像素序列间的相关性为最高(即，相关值Sx为最小)的偏移量X而获得参照像素位置时，需要考虑此偏移。
例如，如果如图6中的6b部分和6c部分所示而生成特征像素序列，则与偏移量为0的缺陷像素相对应的像素是参照线上水平坐标比缺陷像素小(即，缺陷像素的左方)一个像素的像素。因此，如果获得了偏移量X，则确定参照线上水平坐标从缺陷像素偏移(X×2-1)的像素是参照像素。例如，如果在偏移量X＝2时相关为最高，则如图6的6d部分所示，确定参照线上与缺陷像素的水平坐标分开(2×2-1)＝+3个像素的像素(即，从缺陷像素向右分开三个像素的像素)是参照像素。
根据本实施例，在与缺陷像素具有相同颜色的像素存在于邻接的像素线上时，可以更加精确地校正缺陷像素。请注意，可以将缺陷像素的颜色与缺陷像素的位置信息相关联地存储，或者可以使用与位置信息分开地存储的信息来计算缺陷像素的颜色。请注意，例如，摄影中使用的图像传感器中设置的颜色滤波器的颜色排列图案的信息可以存储于二次存储设备105中，或可以从图像数据的附加信息中获得。因此，可以配置为根据颜色滤波器的颜色排列图案和缺陷像素的颜色而有选择地执行第一实施例和本实施例。
第三实施例
第一实施例和第二实施例描述了在缺陷像素是孤立的情况下的校正方法。本实施例将描述在相同颜色的缺陷像素连续存在的情况下的校正方法。由于制造的公差或经年劣化出现这样的缺陷像素，并且如图7的7a部分中所示，在图像传感器中配置用于焦点检测的像素的情况下也出现这样的缺陷像素。由于焦点检测像素生成用于执行相位差检测方法中的焦点检测的信号，因此它们的光接收的范围比普通像素更窄，或者其中未设置颜色滤波器，因此所获得的像素值与普通像素的像素值不同。因此，如图7的7b部分所示，需要考虑到这些焦点检测像素将是连续的相同颜色的缺陷像素而执行校正。
假设如上述实施例中关注线在水平方向上，那么不可以使用第一实施例中描述的利用缺陷像素和存在于关注线上的与缺陷像素具有相同颜色的像素而生成特征像素序列的方法。
在本实施例中，使用与上述实施例不同的方法生成关注线和参照线上的特征像素序列。具体地说，在图3中的步骤S303中用于生成关注线上的特征像素序列的处理中，如图7的7c部分中那样，CPU 103提取与缺陷像素的颜色“不同”的与缺陷像素处于相同的水平坐标的像素作为特征像素。这里，由于使用拜耳阵列颜色滤波器且缺陷像素是R像素，因此从关注线提取出G像素以生成特征像素序列。
另外，由于缺陷像素是R像素，因此如第一实施例中那样，CPU 103在分开(此处为在上方)构成颜色滤波器的重复单位的两个像素的位置处来设置参照线。然后，在步骤S304中，与7d部分(图7)所示的关注线一样，CPU 103提取参照线上与缺陷像素颜色“不同”的像素作为特征像素以生成特征像素序列。与关注线一样，由于参照线上的颜色滤波器的颜色排列与关注线的相同，因此从参照线提取相同的G像素以生成特征像素序列。
在检测出特征像素序列间的相关量为最小的偏移量后，通过将位于与缺陷像素分开该偏移量的位置处的像素用作参照像素而执行校正。由于在将缺陷像素的位置视为偏移量0时确定了参照像素，因此参照像素是与缺陷像素具有相同颜色的像素。
请注意，在诸如拜耳阵列中的G像素等存在于邻接的像素线上的颜色的像素连续为缺陷像素的情况下，将参照线设置为使关注线和参照线上的特征像素序列由相同颜色的像素构成。
另外，例如，尽管如本实施例中那样使用与缺陷像素颜色不同的像素的值生成特征像素序列，但也可以使用包括邻接像素的多个像素的平均像素值。
如上文所述，同样，在本实施例中，可以实现与上述实施例中相同的效果。
请注意，尽管这里描述了在相同颜色的缺陷像素连续存在时使用与缺陷像素颜色不同的像素执行的校正，但在校正孤立的缺陷像素的情况下也可以执行与本实施例中相同的校正。例如，可以将第一实施例配置为提取关注线和参照线上的G像素作为特征像素。
第四实施例
上述实施例已描述了从设置在与关注线在垂直方向上分开颜色滤波器的一个重复单位的像素线上的或与关注线邻接的像素线上的参照线获得参照像素的情况。换言之，即为关注线和参照线在水平方向上显著相关的情况。
然而，在图8A中示出的具有接近水平的角度的重复图案的被摄体的情况下，与关注线在垂直方向上分开颜色滤波器的一个重复单位的像素线或与关注线邻接的像素线并不显著相关。请注意，尽管图8A示出了如第三实施例中那样连续存在缺陷像素的情况，但在孤立的缺陷像素的情况下可能发生同样的问题。
这样，在使用具有接近水平的角度的被摄体中所包含的关注线以及未包含在该被摄体中的参照线的情况下，即使通过在水平方向上偏移特征像素序列而获得了相关量，但是除非偏移量在相当大的范围内变化，否则不太可能确定适当的参照像素。如果使用不适当的参照像素校正缺陷像素，则会发生错误的校正，从而出现与原始像素值大为不同的像素值。尤其是，在具有重复形状的被摄体中重复发生错误校正，并且生成了被摄体原本不具有的重复图案。
如图8A中所示，在缺陷像素包含在具有接近水平的角度的重复形状的被摄体中的情况下，通过扩大垂直搜索区域而不是扩大水平搜索区域更容易找到适当的参照像素(具有与缺陷像素相同或相近的值的像素)。然而，如图8B中所示出，如果仅在垂直方向上扩大搜索区域，则关注线和参照线间的距离增加，因此存在特征像素序列间的相关量的精确度降低的情况。例如，此类情况包括在与缺陷像素在垂直方向上分开四个像素的位置处的像素中出现与缺陷像素中的被摄体不同的被摄体的情况。在这种情况下，可能由于参照不同的被摄体的像素值而对缺陷像素执行错误校正。本实施例提供一种在垂直方向上扩展参照区域的同时能够抑制错误校正的校正方法。
图9是示意性示出本实施例中的缺陷像素校正的概要的图。处理1001和1002表示以与第三实施例中相同的方式利用与关注线的距离不同的参照线A和B确定参照像素的处理。在处理1001中，将关注线上方两个像素处的像素线设置为参照线A，而在处理1002中，将关注线上方四个像素处的像素线设置为参照线B。最终校正值是利用各参照线上确定的参照像素而获得的，并用于缺陷像素的校正。
图10是示出本实施例中的处理的流程的流程图，与图3中相同的处理被赋予相同的附图标记。从图3与图10的比较可以清楚看出，第三实施例(第一实施例，缺陷像素是孤立的情况)中的处理是分别在参照线A和B上执行的，且所获得的校正值被合成以获得缺陷像素的校正值。
本实施例的特征在于在步骤S1110中将针对各个不同的参照线计算出的校正值进行合成。在步骤S1110中，CPU 103将从参照线A计算出的校正值Qa与从参照线B计算出的校正值Qb进行合成。这里，假设合成率是α(0≤α≤1)，那么通过以下等式计算最终校正值Q。
Q＝α×Qa+(1-α)×Qb   (2)
接下来，将描述三个使用不同评价标准的示例作为确定合成率α的方法。
首先，将描述根据最小相关量确定合成率α。在这种情况下，根据参照线A上的最小相关量Sa与参照线B上的最小相关量Sb间的差大小、利用步骤S305A和步骤S305B的相关量计算处理中获得的相关量而确定合成率α。假设最小相关量间的差为Ssub，则
Ssub＝Sa-Sb   (3)
图11A中示出了最小相关量的差Ssub与合成率α之间的示例性关系。如上文所述，由于随着相关量变小则两个特征像素序列间的相关更高，因此随着相关量的差Ssub变小则使得从参照线A计算出的校正值Qa的比率(合成率α)更大。另外，相关量的差Ssub越大，则使得合成率α更小，而使得从参照线B计算出的校正值Qb的比率(1-α)更大。
第二，将描述根据关于关注像素的方向检测结果而确定合成率α。由于本实施例对具有接近水平角度的重复形状的被摄体尤为有效，因此利用例如缺陷像素周边的被摄体的方向的检测结果而确定合成率α。尽管对于方向检测方法并无限制，但是作为示例性的简单方法，如图11B中所示，假定邻接缺陷像素的像素值为GR、GU、GL及GD，则可以计算出水平度H如下。
H＝|GU-GD|-|GL-GR|   (4)
水平度H的较大值表示水平方向的被摄体的可能性较高。由于该水平度H是从缺陷像素的邻接像素的值中获得的，因此较大的水平度H表示缺陷像素存在于接近水平角度的被摄体的边缘部分中的可能性较高。因此，在水平度H大的情况下，可以认为与关注线分开更多的参照线更为可信。
因此，如图11C中所示，水平度H越小，则使从更靠近的参照线A计算出的校正值Qa的比率(合成率α)更大；而水平度H越大，则使合成率α更小且使从更远的参照线B计算出的校正值Qb的比率(1-α)更大。
第三，将描述根据关注线和参照线之间的数据倾斜的差异而确定合成率α。例如，在被摄体如图12A所示的情况下，由于透镜像差特性等的影响，存在图12A中的区域X与区域B的光学特征彼此相似而区域X与区域A的光学特征不同的情况。
例如，在从关注线、参照线A及参照线B生成的特征像素序列具有图12B中所示的像素值的情况下，通过等式(1)计算的参照线A上的特征像素序列的相关量Sx较小。然而，存在如上文所述的、参照线A通过的区域A与关注线通过的区域X具有不同的光学特征的情况，而在这种情况下，可以使用利用参照线B所获得的校正值。
例如，可以基于诸如连接各条线上的特征像素序列的两端处的像素值的线的倾斜的差异大小等特征像素序列间的像素值的变化倾向的差异而确定光学特征是否不同。例如，在图12B的示例中，连接具有相似光学特征的关注线和参照线B上的各特征像素序列的两端处的像素值的线具有相似的倾斜。另一方面，连接具有不同的光学特性的参照线A上的特征像素序列的两端处的像素值的线的倾斜为负，且与针对关注线而获得的倾斜大为不同。可以通过例如以下等式来计算表示关注线与各参照线之间在特征像素序列的像素值的变化倾向上的这种差异的指数G。
G＝(T□W□TW)□(R□W+X□RW+X)   (5)
由于指数G表示连接特征像素序列的两端处的像素值的线的倾斜差异，因此较小值表示参照线和关注线的特征像素序列的像素值以类似的方式变化。可以根据关于关注线和参照线A所获得的指数Ga与关于关注线和参照线B所获得的指数Gb之间的差Gsub＝Ga-Gb而确定合成率α。具体地，如图11D中所示，Gsub的值越小，则使从参照线A计算出的校正值Qa的比率(合成率α)更大；而Gsub的值越大，则使合成率α更小而使从参照线B计算出的校正值Qb的比率(1-α)更大。
注意，在考虑到各条线上的特征像素序列的像素值的变化倾向时，可以通过获得微分值的差而计算相关量。在这种情况下，从以下等式(6)中获得相关量。
请注意，图11A、11C及11D中示出的合成率α的值与各评价标准的值之间的关系仅是示例，可以基于其它关系而确定合成率α。还可以基于与上述三种评价标准不同的评价标准来确定合成率α。另外，可以选择基于多个不同的评价标准所确定的合成率中的一个，或者可以使用这些合成率的加权平均数。在上述情况下，可以根据从图像中获得的被摄体的特征量等而确定选择或权重。
尽管已描述了使用两个参照线的情况，但也可以使用三个或更多个参照线。参照线不仅可以被设置在关注线的上方，也可以设置在关注线的下方。
如上文所述，根据本实施例，设置了与关注线的距离不同的多个参照线，并从关于各参照线所获得的校正值中获得最终校正值。因此，与从一个参照线中确定参照像素的情况相比，可以针对多个被摄体获得适当的参照像素或校正值，且可以更适当地校正缺陷像素。
特别是，即使被摄体具有接近关注线的方向的方向上的边缘或者具有重复图案，也可以抑制错误校正，并可以提高缺陷像素校正的精确度。
第五实施例
接下来将描述本发明的第五实施例。第一实施例利用图5A描述了用于获得相关量Sx最小的偏移量X的示例性方法。在图5A的处理中，如果在偏移范围内获得的相关量Sx不变，则永不满足步骤S1703中的条件(除了最初计算相关量Sx的情况)，从而作为结果获得的Xmin是初始值(-W)。在这种情况下，尽管无论偏移量如何都计算出相同的相关量，但参照偏移范围内离缺陷像素最远位置处的像素来校正缺陷像素。
例如，如图5B所示，假设存在具有相似G值而不同R值的被摄体A和B、出现被摄体A的R像素是缺陷像素的情况。另外，假设此时使用如第三实施例中描述的提取关注线上与缺陷像素的颜色不同的像素作为特征像素的方法。在图5B中示出的水平区域为参照区域的情况下，被摄体A和B的G值相同，因此各偏移量X的相关量Sx相同。因此，如果执行了图5A中的处理，则参照图5B中的左上的像素计算校正值，在参照线上该像素离缺陷像素最远。然而，由于被摄体B出现在该像素中且其R值与被摄体A的R值不同，因此缺陷像素校正的精确度降低。本实施例涉及可以减少上述问题的校正方法。
具体地，用于检测相关量Sx最小的偏移量的处理(图3中的S305)与第一实施例(及第三实施例)不同。图5C是示出本实施例中的相关量计算处理的具体示例的流程图。与图5A中相同的处理被赋予相同的附图标记，这里将省略重复描述。
在完成步骤S1702中的变量的初始化之后，在步骤S1710中，CPU103确定当前偏移量X是等于或小于0还是为正数。如果偏移量X等于或小于0，则CPU 103将处理推进至步骤S1711，而如果偏移量X是正数，则CPU 103将处理推进至步骤S1712。
在步骤S1711中，CPU 103确定当前相关值Sx是否小于或等于最小相关量Smin。如果当前相关值Sx小于或等于最小相关量Smin，则CPU103将处理推进至步骤S1704，而如果当前相关值Sx大于最小相关量Smin，则CPU 103将处理推进至步骤S1705。请注意，如果X是初始值(＝-X)，则CPU 103将处理推进至步骤S1704。如果根据步骤S1711中的确定处理当前相关值Sx等于最小相关量Smin，则更新对应于最小相关量Smin的偏移量Xmin。
另一方面，在步骤S1712中，CPU 103确定当前相关值Sx是否小于最小相关量Smin。如果当前相关值Sx小于最小相关量Smin，则CPU 103将处理推进至步骤S1704，而如果当前相关值Sx大于或等于最小相关量Smin，则CPU 103将处理推进至步骤S1705。如果根据步骤S1712中的确定处理当前相关值Sx等于最小相关量Smin，则不更新对应于最小相关量Smin的偏移量Xmin。
因此，如果在整个偏移范围中获得相同的相关值Sx，则在偏移量为负数或0时更新对应于最小相关量Smin的偏移量Xmin，而在偏移量位于正数范围内时不更新对应于最小相关量Smin的偏移量Xmin。因此，在相关量计算处理中获得的偏移量Xmin为0。如上文所述，根据本实施例，如果存在多个获得最小相关量Smin的偏移量，则检测出具有最小绝对值的偏移量。
偏移量的绝对值越低，缺陷像素与用于校正该缺陷像素的参照像素间的距离越短，因此可以利用本实施例中的相关量计算处理、通过参照高度相关且位于可能范围内最接近缺陷像素的位置处的像素而计算校正值。
请注意，图5C中示出的相关量计算处理的方法仅是示例，可以使用获得类似结果的任何其他方法。例如，不是必须从最小值增加偏移量X，可以以任何顺序改变值，只要可以计算出对应于各偏移量的相关值即可。另外，可以存储获得最小相关值的所有偏移量，并且可以选择参照线上相应像素位置最接近缺陷像素的偏移量。
如上文所述，根据本实施例，如果对多个偏移量获得了相同的相关量，则计算相关量从而存储多个偏移量中具有最小绝对值的偏移量。因此，例如，如果在整个偏移范围中获得相同的相关量，则检测出偏移量0为对应于最小相关值的偏移量，并可以参照离缺陷像素的距离短的像素而执行校正。
其他实施例
尽管上文描述了本发明的实施例，但本发明并限于这些实施例，可以在权利要求限定的范围内以各种方式对本发明进行修改或改变。
尽管上述实施例仅描述了在水平方向上设置关注线的情况，但也可以在其他方向上设置关注线。例如，如果检测到被摄体的边缘存在于缺陷像素的附近，则可以在适合被摄体特征的方向上设置关注线，例如在与该边缘相交的方向上设置关注线。
可以根据摄像条件或特征分析结果而有选择地使用或组合上述实施例中的一些实施例。
尽管上述实施例描述了对利用配置有具有原色拜耳阵列的颜色滤波器的图像传感器所拍摄的图像的校正，但同样也可以对利用配置有具有其他类型的重复图案的颜色滤波器的图像传感器所拍摄的图像进行校正。
图1B是示出了充当根据实施例的其他图像处理装置示例的信息处理装置200的示例性功能配置的框图。在图1B中，显示单元201被用来显示摄影图像或显示用于交互操作的用户界面。包括例如键盘、鼠标、触摸板等的操作单元202使用户能对信息处理装置200发出各种指令并配置其设置。CPU 203通过执行OS和应用程序并控制各功能块而实现根据上述实施例的缺陷像素校正处理。
一次存储设备204是诸如RAM等易失性存储设备，并被用作诸如CPU 103的工作区域等临时数据存储区域。二次存储设备205是诸如硬盘驱动器、SSD或EEPROM等非易失性存储设备，存储OS、固件、应用程序、各种设置信息等。
通信装置206使信息处理装置200能够向/从外部设备传输/接收控制命令和数据。请注意，例如，通信装置206可以使用USB(通用串行总线)电缆等通过有线连接而与外部设备通信，或者可以使用无线LAN等通过无线连接而与外部设备通信。通信装置206可以直接与外部设备相连接，或者可以经由服务器或经由诸如互联网等网络来连接。
通信装置206也可以包括访问诸如摄像装置100的存储介质106等可拆除记录介质的功能。通过将从摄像装置拆除的记录介质附装到通信装置206上，可以将图像数据从记录介质加载到信息处理装置200中。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然参照示例性实施例描述了本发明，但是应当理解，本发明并不限于所公开的示例性实施例。应当对下列权利要求的范围赋予最宽的解释，以使其涵盖所有这些变型例以及等同的结构及功能。

Claims (13)

1.一种图像处理装置，所述图像处理装置包括：
用于获取图像的获取单元；
用于基于校正目标像素的位置而设置所述图像的第一区域的第一设置单元，所述第一区域包括在被设置为通过所述校正目标像素的关注线上的多个像素；
用于设置所述图像的多个第二区域的第二设置单元，各个所述第二区域都基于在被设置为不通过所述校正目标像素的至少一条参照线上存在的多个像素的位置；
用于计算各个所述第二区域与所述第一区域的相关量的相关性计算单元；以及
通过利用基于所述相关量确定的、各个所述至少一条参照线上的像素的值而计算用来校正与所述校正目标像素对应的像素的值的校正值，并利用所述校正值来校正与所述校正目标像素对应的像素的值的校正单元。
2.根据权利要求1所述的图像处理装置，其中，所述校正目标像素是与生成所述图像的图像传感器中的缺陷像素相对应的像素。
3.根据权利要求1所述的图像处理装置，其中，所述校正单元利用针对各个所述至少一条参照线基于所述多个第二区域中的、获得与所述第一区域相关性最高的所述多个第二区域中的一个所指定的各个所述至少一条参照线上的像素的值而计算所述校正值。
4.根据权利要求1所述的图像处理装置，其中，如果存在获得与所述第一区域最高相关性的多个第二区域，则所述校正单元利用由所述多个第二区域指定的参照线上的多个像素中距离与所述校正目标像素相对应的像素的距离最短的像素的值而计算所述校正值。
5.根据权利要求1至4中的任一项所述的图像处理装置，其中，所述第一设置单元提取与对应于所述校正目标像素的所述像素颜色相同的像素并设置所述第一区域，以及，所述第二设置单元提取与所述第一设置单元提取的所述像素颜色相同的像素并设置所述多个第二区域。
6.根据权利要求1至4中的任一项所述的图像处理装置，其中，所述第一设置单元提取与对应于所述校正目标像素的所述像素颜色不同的像素并设置所述第一区域，以及，所述第二设置单元提取与所述第一设置单元提取的所述像素颜色相同的像素并设置所述多个第二区域。
7.根据权利要求1至4中的任一项所述的图像处理装置，其中，所述第二设置单元针对离所述关注线距离不同的多个参照线中的各个而设置所述多个第二区域。
8.根据权利要求7所述的图像处理装置，其中，所述校正单元利用存在于所述多个参照线的各个上的像素的值而计算多个校正值、合成所述多个校正值并计算最终校正值。
9.根据权利要求8所述的图像处理装置，其中，所述校正单元合成所述多个校正值，从而使得利用基于所述各个第二区域与所述第一区域的相关量中表示较高相关性的相关量所确定的像素值而获得的校正值的比率较大。
10.根据权利要求8所述的图像处理装置，其中，所述校正单元合成所述多个校正值，从而使得出现在对应于所述校正目标像素的所述像素中的被摄体的方向越接近所述关注线的方向，则利用基于关于从离所述关注线距离较大的所述参照线生成的第二区域所计算出的相关量而确定的像素值所获得的校正值的比率越大。
11.根据权利要求8所述的图像处理装置，其中，所述校正单元合成所述多个校正值，从而使得利用基于所述各个第二区域与所述第一区域的所述相关量中像素值的变化倾向与所述第一区域的像素值的变化倾向的差别较小的第二区域的相关量而确定的像素值所获得的校正值的比率较大。
12.根据权利要求1至4中的任一项所述的图像处理装置，其中，各个所述至少一条参照线与所述关注线间的距离等于在生成所述图像的图像传感器中配设的颜色滤波器的重复单位的倍数。
13.一种用于控制图像处理装置的方法，所述方法包括：
用于获取图像的获取步骤；
用于基于校正目标像素的位置而设置所述图像的第一区域的第一设置步骤，所述第一区域包括在被设置为通过所述校正目标像素的关注线上的多个像素；
用于设置所述图像的多个第二区域的第二设置步骤，各个所述第二区域都基于在被设置为不通过所述校正目标像素的至少一条参照线上存在的多个像素的位置；
用于计算各个所述第二区域与所述第一区域的相关量的相关性计算步骤；以及
通过利用基于所述相关量而确定的、各个所述至少一条参照线上的像素的值而计算用来校正与所述校正目标像素对应的像素的值的校正值，并利用所述校正值而校正与所述校正目标像素对应的像素的值的校正步骤。
CN201510085503.8A 2014-02-27 2015-02-17 图像处理装置及图像处理装置的控制方法 Active CN104883519B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-037319 2014-02-27
JP2014037319A JP6045523B2 (ja) 2014-02-27 2014-02-27 画像処理装置およびその制御方法

Publications (2)

Publication Number Publication Date
CN104883519A true CN104883519A (zh) 2015-09-02
CN104883519B CN104883519B (zh) 2018-10-16

Family

ID=53782643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510085503.8A Active CN104883519B (zh) 2014-02-27 2015-02-17 图像处理装置及图像处理装置的控制方法

Country Status (8)

Country Link
US (1) US9693000B2 (zh)
JP (1) JP6045523B2 (zh)
KR (1) KR101783229B1 (zh)
CN (1) CN104883519B (zh)
BR (1) BR102015004240A2 (zh)
DE (1) DE102015102772B4 (zh)
GB (1) GB2524644B (zh)
RU (1) RU2603357C2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108347548A (zh) * 2017-01-25 2018-07-31 佳能株式会社 图像处理装置及其控制方法
CN109827971A (zh) * 2019-03-19 2019-05-31 湖州灵粮生态农业有限公司 一种无损检测水果表面缺陷的方法
CN113284147A (zh) * 2021-07-23 2021-08-20 常州市新创智能科技有限公司 一种基于黄色异物疵点的异物检测方法和系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6217606B2 (ja) * 2014-11-26 2017-10-25 コニカミノルタ株式会社 発光装置及び画像形成装置
JP2017055308A (ja) * 2015-09-10 2017-03-16 キヤノン株式会社 撮像装置及びその制御方法
JP2017055309A (ja) 2015-09-10 2017-03-16 キヤノン株式会社 撮像装置及びその制御方法
US10923516B2 (en) * 2018-03-22 2021-02-16 Ricoh Company, Ltd. Image capturing device, image capturing method, image processing device, image processing method, and storage medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10126795A (ja) * 1996-10-11 1998-05-15 Nikon Corp カラー撮像素子の欠陥補正装置
JP2005293361A (ja) * 2004-04-01 2005-10-20 Matsushita Electric Ind Co Ltd 画像処理装置
CN102469275A (zh) * 2010-11-02 2012-05-23 慧荣科技股份有限公司 用来进行坏像素补偿的方法与用来进行坏像素补偿的装置
JP2014027373A (ja) * 2012-07-24 2014-02-06 Olympus Corp 画像処理装置、画像処理方法及び画像処理プログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SU1385327A1 (ru) 1986-06-25 1988-03-30 Предприятие П/Я А-3325 Устройство управлени замещением дефектных элементов изображени
JPH07103281B2 (ja) 1987-09-17 1995-11-08 東燃化学株式会社 熱可塑性樹脂組成物
JP4115574B2 (ja) 1998-02-02 2008-07-09 オリンパス株式会社 撮像装置
JP2003078821A (ja) * 2001-08-31 2003-03-14 Hitachi Kokusai Electric Inc 撮像装置
JP3938120B2 (ja) 2003-09-17 2007-06-27 ノーリツ鋼機株式会社 画像処理装置、方法、及びプログラム
JP2005175547A (ja) 2003-12-05 2005-06-30 Canon Inc 傷補正回路
EP1594308A1 (en) * 2004-05-07 2005-11-09 Dialog Semiconductor GmbH Single line Bayer filter RGB bad pixel correction
JP4998069B2 (ja) * 2007-04-25 2012-08-15 ソニー株式会社 補間処理装置、撮像装置、及び、補間処理方法
JP5311916B2 (ja) * 2008-07-31 2013-10-09 株式会社エルモ社 撮像装置
US8208044B2 (en) * 2008-09-18 2012-06-26 Qualcomm Incorporated Bad pixel cluster detection
JP5230388B2 (ja) 2008-12-10 2013-07-10 キヤノン株式会社 焦点検出装置及びその制御方法
JP2011097542A (ja) * 2009-11-02 2011-05-12 Sony Corp 画素欠陥検出補正装置、撮像装置、画像欠陥検出補正方法、およびプログラム
RU2412554C1 (ru) 2010-01-25 2011-02-20 Учреждение Российской академии наук Институт физики полупроводников им. А.В. Ржанова Сибирского отделения РАН (ИФП СО РАН) Способ компенсации дефектных фоточувствительных элементов многоэлементного фотоприемника
JP5697353B2 (ja) * 2010-03-26 2015-04-08 キヤノン株式会社 画像処理装置、画像処理装置の制御方法及びプログラム
TWI407801B (zh) * 2010-08-11 2013-09-01 Silicon Motion Inc 用來進行壞像素補償之方法與用來進行壞像素補償之裝置
JP2013168793A (ja) * 2012-02-15 2013-08-29 Toshiba Corp 画像処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10126795A (ja) * 1996-10-11 1998-05-15 Nikon Corp カラー撮像素子の欠陥補正装置
JP2005293361A (ja) * 2004-04-01 2005-10-20 Matsushita Electric Ind Co Ltd 画像処理装置
CN102469275A (zh) * 2010-11-02 2012-05-23 慧荣科技股份有限公司 用来进行坏像素补偿的方法与用来进行坏像素补偿的装置
JP2014027373A (ja) * 2012-07-24 2014-02-06 Olympus Corp 画像処理装置、画像処理方法及び画像処理プログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108347548A (zh) * 2017-01-25 2018-07-31 佳能株式会社 图像处理装置及其控制方法
US10706340B2 (en) 2017-01-25 2020-07-07 Canon Kabushiki Kaisha Image processing apparatus and method for controlling the same with character attribute indicating that pixel is pixel of a character
CN108347548B (zh) * 2017-01-25 2020-12-15 佳能株式会社 图像处理装置及其控制方法
CN109827971A (zh) * 2019-03-19 2019-05-31 湖州灵粮生态农业有限公司 一种无损检测水果表面缺陷的方法
CN113284147A (zh) * 2021-07-23 2021-08-20 常州市新创智能科技有限公司 一种基于黄色异物疵点的异物检测方法和系统

Also Published As

Publication number Publication date
KR20150101952A (ko) 2015-09-04
DE102015102772B4 (de) 2021-12-23
DE102015102772A1 (de) 2015-08-27
JP6045523B2 (ja) 2016-12-14
US9693000B2 (en) 2017-06-27
US20150244956A1 (en) 2015-08-27
GB201502238D0 (en) 2015-03-25
CN104883519B (zh) 2018-10-16
GB2524644B (en) 2016-10-05
RU2603357C2 (ru) 2016-11-27
GB2524644A (en) 2015-09-30
RU2015106670A (ru) 2016-09-20
KR101783229B1 (ko) 2017-09-29
BR102015004240A2 (pt) 2016-03-15
JP2015162816A (ja) 2015-09-07

Similar Documents

Publication Publication Date Title
CN104883519A (zh) 图像处理装置及图像处理装置的控制方法
US11546576B2 (en) Systems and methods for dynamic calibration of array cameras
US10013764B2 (en) Local adaptive histogram equalization
CN102227746B (zh) 立体图像处理装置、方法和立体成像设备
CN107077725A (zh) 数据处理装置、成像装置和数据处理方法
CN104883520A (zh) 图像处理装置和图像处理装置的控制方法
EP3093822B1 (en) Displaying a target object imaged in a moving picture
CN110288511B (zh) 基于双相机图像的最小化误差拼接方法、装置、电子设备
JP7024736B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2015086537A1 (en) Method for building a set of color correspondences from a set of feature correspondences in a set of corresponding images
US20170024846A1 (en) Systems and methods for selecting an image transform
KR101053464B1 (ko) 광각 카메라의 광학정보 획득 장치, 광각영상 보정 장치 및 그 방법
JP5239991B2 (ja) 画像処理装置、及び画像処理システム
US8985470B2 (en) Code pattern having cross-shaped positioning pattern and image processing device for processing the same
JP7496564B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
CN117409085A (zh) 多目摄像头的标定方法、装置及电子设备
EP3001381A1 (en) Method for building a set of color correspondences from a set of feature correspondences in a set of corresponding images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant