CN105049820B - 图像处理设备、摄像设备和图像处理方法 - Google Patents

图像处理设备、摄像设备和图像处理方法 Download PDF

Info

Publication number
CN105049820B
CN105049820B CN201510204878.1A CN201510204878A CN105049820B CN 105049820 B CN105049820 B CN 105049820B CN 201510204878 A CN201510204878 A CN 201510204878A CN 105049820 B CN105049820 B CN 105049820B
Authority
CN
China
Prior art keywords
evaluation
estimate
pixel
directions
concerned pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510204878.1A
Other languages
English (en)
Other versions
CN105049820A (zh
Inventor
山中阳平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN105049820A publication Critical patent/CN105049820A/zh
Application granted granted Critical
Publication of CN105049820B publication Critical patent/CN105049820B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

提供至少一种图像处理设备、摄像设备和图像处理方法。所述图像处理设备允许对彩色图像信号高精度地进行去马赛克处理。所述至少一种图像处理设备对于马赛克图像信号进行多个规定方向中各方向上的插值处理，并且对于经过了所述插值处理的图像信号的多个像素中的各个，获取表示水平方向和垂直方向各方向上的相关性的评价值。如果满足预定条件，则基于周边像素的评价值校正至少一个关注像素的评价值，其中，所述预定条件包括所述至少一个关注像素是孤立点这一条件。然后，基于校正后的评价值，输出对所述至少一个关注像素进行插值之后的图像信号。

Description

图像处理设备、摄像设备和图像处理方法
技术领域
本发明涉及图像处理，尤其涉及一种用于通过对彩色图像信号中各像素丢失的颜色信号进行插值来进行去马赛克的技术。
背景技术
过去，已将具有如图17所示的Bayer(拜耳)模式的颜色滤波器应用于诸如CCD和CMOS传感器等的单板摄像装置。在这种情况下，这类颜色滤波器通常可以是用于三原色-红色、绿色和蓝色、或者三补色-青色、品红色和黄色的滤波器。
然而，由于通过使用Bayer模式可以获取与各像素中的一种颜色相对应的信号，因而进行用于对各像素中丢失的其它两种颜色的颜色信号进行去马赛克(插值)的处理。过去已知有许多去马赛克方法，并且基本的去马赛克方法可以包括例如双线性插值和双三次插值。
尽管通过双线性插值或者双三次插值，从包含许多低频成分的图像可以获取良好的插值结果，但是在包含高频成分的图像中，可能发生实际被摄体中不存在的、被称为伪分辨率和伪色(颜色摩尔纹)的线和颜色。这类伪分辨率和伪色可能是由于通过使用与被摄体图像原本所具有的边缘方向不同的方向上的像素进行去马赛克而发生的。
因此，提出了一种通过使用沿被摄体图像原本所具有的边缘方向的像素进行去马赛克，可以有效抑制伪分辨率和伪色的发生的方法。这类使用沿边缘方向的像素的去马赛克方法大体可被分成两种方法。日本特开2008-035470号提出了一种方法，该方法包括通过使用周围像素来识别边缘方向、以及进行沿边缘的插值，而不进行跨边缘的插值。
日本特开2008-035470号公开第二种插值方法，该插值方法包括首先在各方向上进行插值以生成数个类型的插值结果，然后判断和选择对于插值所使用的哪一方向可以提供适当结果。可以基于表示作为包括所要进行插值的像素的周边像素的相邻一致性或者均匀性的周边相似性的评价值，判断插值方向的适当性。可以确定具有高一致性的方向，并且可以选择该方向作为边缘方向。
然而，日本特开2008-035470号所述方法未能提供表示分辨率极限附近的一致性或者均匀性的适当评价值，其中，在分辨率极限附近，图像传感器的像素间距和被摄体的细小部分的间距接近或者一致。因此，可能不能选择适当插值方向，并且因此可能发生伪分辨率。
发明内容
本发明的一个以上的实施例的一个方面，提供至少一种图像处理设备，其包括：插值单元，用于对摄像装置所生成的马赛克图像信号进行多个规定方向中的各方向上的插值处理，其中，所述摄像装置针对各像素输出与多个颜色滤波器的颜色中的一种颜色相对应的图像信号；评价单元，用于针对经过了所述插值单元的所述插值处理的图像信号的各像素，获取表示所述多个规定方向的各方向上的相关性的评价值；以及输出单元，用于在至少一个关注像素满足预定条件的情况下，基于所述至少一个关注像素的周边像素的评价值，校正所述至少一个关注像素的评价值，并且基于校正后的评价值输出对所述至少一个关注像素进行插值之后的图像信号，其中，所述预定条件包括所述至少一个关注像素是孤立点这一条件。
本发明的一个以上的实施例的一个方面，提供一种摄像设备，其包括：摄像装置，用于针对各像素输出与多个颜色滤波器的颜色中的一种颜色相对应的图像信号；插值单元，用于对所述摄像装置所生成的马赛克图像信号进行多个规定方向中的各方向上的插值处理；评价单元，用于针对经过了所述插值单元的所述插值处理的图像信号的各像素，获取表示所述多个规定方向的各方向上的相关性的评价值；以及输出单元，用于在至少一个关注像素满足预定条件的情况下，基于所述至少一个关注像素的周边像素的评价值，校正所述至少一个关注像素的评价值，并且基于校正后的评价值输出对所述至少一个关注像素进行插值之后的图像信号，其中，所述预定条件包括所述至少一个关注像素是孤立点这一条件。
本发明的一个以上的实施例的一个方面，提供一种图像处理方法，其包括以下步骤：对摄像装置所生成的马赛克图像信号进行多个规定方向中的各方向上的插值处理，其中，所述摄像装置针对各像素输出与多个颜色滤波器的颜色中的一种颜色相对应的图像信号；针对经过了所述插值处理的图像信号的各像素，获取表示所述多个规定方向的各方向上的相关性的评价值；以及在至少一个关注像素满足预定条件的情况下，基于所述至少一个关注像素的周边像素的评价值，校正所述至少一个关注像素的评价值，并且基于校正后的评价值输出对所述至少一个关注像素进行插值之后的图像信号，其中，所述预定条件包括所述至少一个关注像素是孤立点这一条件。
根据本发明的其它方面，这里说明一种以上的图像处理设备、一种以上的摄像设备、一种以上的图像处理方法、一个以上的程序和一种以上的存储介质。通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
图1是示出至少根据第一和第二实施例的摄像设备的示意性结构的框图。
图2是示出至少根据第一和第二实施例的摄像设备种的去马赛克单元的结构的框图。
图3是示出图2中去马赛克单元中的H方向插值单元的至少一个实施例和V方向插值单元的至少一个实施例的结构的框图。
图4是示出用于说明用于各方向的插值处理的Bayer模式的像素配置结构的图。
图5是示出评价值计算处理的至少一个实施例的流程图。
图6是示出用于说明评价值计算处理的至少一个实施例的3×3像素区域的图。
图7是示出在关注像素具有H方向评价值－V方向评价值>0的关系的情况下的孤立点判断处理的实施例的流程图。
图8是示出在关注像素具有H方向评价值－V方向评价值<0的情况下的孤立点判断处理的实施例的流程图。
图9是示出根据第一典型实施例处理具有H方向评价值的像素的相关性判断处理的实施例的流程图。
图10是用于说明处理具有H方向评价值的像素的相关性判断处理的实施例的图。
图11是示出孤立点校正处理的实施例的流程图。
图12是用于说明孤立点校正处理的实施例中的校正的例子的图。
图13是示出图像生成处理的实施例的流程图。
图14是示出根据第二典型实施例处理具有H方向评价值的像素的相关性判断处理的实施例的流程图。
图15是示出根据第二典型实施例处理具有V方向评价值的像素的相关性判断处理的实施例的流程图。
图16示出模板映射示例。
图17示出Bayer模式的像素配置结构。
具体实施方式
参考附图详细说明本发明的典型实施例。
第一典型实施例
图1是示出根据本发明第一典型实施例的图像处理设备的示意性结构的框图。在下面的说明中，图像处理设备可以是诸如数字照相机和数字摄像机等的摄像设备。
反映被摄体或者物体的光学图像(被摄体图像或者物体图像)通过摄像镜头101形成在摄像装置102上，并且进行光电转换。
摄像装置102被配置为包括普通三原色滤波器的单板摄像装置。三原色滤波器用于分别具有约650nm、550nm和450nm的透射主波长带的R(红色)、G(绿色)和B(蓝色)，并且可以生成与三原色中的各波长带相对应的颜色层。
单板彩色摄像装置具有与多种颜色相对应的颜色滤波器。如图17所示，这些颜色滤波器可以对于各像素在空间上配置。在各像素中，通过具有如图17所示的结构的颜色滤波器，仅可以获取单个颜色层上的光强度。因此，摄像装置102输出马赛克图像信号，即，各像素中的三原色中的两种颜色丢失的图像信号。模拟-数字(A/D)转换单元103将作为来自摄像装置102的模拟电压所输出的马赛克图像信号转换成彩色数字图像数据。
白平衡单元104进行白平衡处理。更具体地，对各R、G和B应用增益，从而使得被认为是白色的区域中的R、G和B可以一致。
去马赛克单元105对各像素中的三原色内丢失的两种颜色的彩色马赛克图像数据进行插值，以生成所有像素中具有所有R、G、B彩色图像数据的彩色图像。
各像素中的彩色图像数据可以经过矩阵变换单元106的矩阵变换处理，并且可以经过伽马转换单元107的伽马校正处理。结果，生成基本彩色图像数据。
颜色调整单元108进行用于提高基本彩色图像数据的图像表现或者质量的处理。例如，颜色调整单元108可以进行诸如降噪、颜色饱和度强调、色相校正、边缘增强等的颜色调整处理。压缩单元109通过诸如转变成JPEG格式的方法来压缩颜色调整后的彩色图像数据，以降低记录时的数据大小。
包括摄像装置102到压缩单元109的装置所进行的这些处理操作由控制单元111通过总线113进行控制。对于该控制，控制单元111可以根据需要使用存储器112。通过压缩单元109所压缩的数字图像数据可以在控制单元111的控制下通过记录或者存储单元110记录或者存储在诸如闪存等的记录介质或者存储介质中。
接着参考图2，说明去马赛克单元105的去马赛克处理。去马赛克单元105首先通过对一个关注像素(或者至少一个关注像素，例如，当对于多个像素中的各像素(作为各迭代处理中的关注像素)进行处理时，可以处理至少一个关注像素或者多个关注像素)使用其周围像素或者周边像素，在多个规定方向上进行插值处理，然后进行方向选择，使得生成作为对于各像素的插值处理结果的R、G、B三原色的彩色图像信号(例如，可以逐像素迭代进行插值)。
更具体地，H方向插值单元202和V方向插值单元203对输入的Bayer图像数据201在水平(H)方向和垂直(V)方向上丢失的颜色的像素数据进行插值，以生成各像素的H方向和V方向上的R、G、B图像数据。接着，H方向方差计算单元204和V方向方差计算单元205根据在各像素的水平方向和垂直方向上的插值之后的各像素的R、G、B图像数据，计算各像素各自的方差。
评价值计算单元206根据水平方向和垂直方向的方差，计算各方向的评价值。基于来自评价值计算单元206的输出结果，孤立点判断单元207对于各像素进行评价值的孤立点判断。在孤立点判断之后，相关性判断单元208进行评价值的相关性判断处理，并且孤立点校正单元209通过使用评价值的孤立点判断和相关性判断的结果来校正孤立点。
图像生成单元210将水平方向的最终评价值和垂直方向的最终评价值进行比较，并且从水平方向和垂直方向中选择具有较高评价值的方向。然后，图像生成单元210基于对于所选择的方向上的插值处理后的R、G、B图像数据，生成最终的插值图像数据，并且输出插值后的RGB图像数据211作为去马赛克数据。
参考图3，说明通过H方向插值单元202的至少一个实施例和V方向插值单元203的至少一个实施例对于相应方向所进行的插值处理。如图3所示，H方向插值单元202具有H方向G插值单元202a和H方向RB插值单元202b，并且V方向插值单元203具有V方向G插值单元203a和V方向RB插值单元203b。在H方向插值单元202中，H方向G插值单元202a首先对高频带中的G信号(数据)进行插值，并且H方向RB插值单元202b接着对R、B数据进行插值。另外，在V方向插值单元203中，V方向G插值单元203a首先对高频带中的G数据进行插值，并且V方向RB插值单元203b接着对R、B数据进行插值。结果，H方向插值单元202生成H方向RGB图像数据202c，并且V方向插值单元203生成V方向RGB图像数据203c。
接着参考图4，说明具体插值方法。对于G颜色的插值，当关注像素是与G颜色滤波器(或者，G滤波器颜色)相关联的像素时，直接输出所述像素的G数据(下面示出的公式(1))。为了对与R颜色滤波器(或者，R滤波器颜色)相关联的像素和/或者与B颜色滤波器(或者，B滤波器颜色)相关联的像素的G颜色进行插值，对于H方向和V方向分别使用公式(2)和公式(3)来计算相应的插值数据。为了方便，公式(1)、(2)和(3)中的G33、G34、G43、G44对应于图4所示的像素代码或者符号(在下面的说明中进一步进行说明)。例如，G33表示图4中具有R33数据的像素(例如，像素R33)中的插值之后的G数据，并且G44表示图4中具有B44数据的像素(例如，像素B44)中的插值之后的G数据，等等。
对于R颜色(或者，R数据)的插值，当关注像素是与R颜色滤波器(或者，R滤波器颜色)相关联的像素时，直接输出像素的R数据(下面示出的公式(4))。对于与G颜色滤波器(或者，G滤波器颜色)相关联的像素的R颜色(或者，R数据)的插值，通过使用下面示出的公式(5)来计算插值数据。对于与B颜色滤波器(或者，B滤波器颜色)相关联的像素的R颜色(或者，R数据)的插值，通过使用下面的公式(6)来计算插值数据。对于R颜色(或者，R数据)的插值，在H方向和V方向使用相同公式。
对于B颜色(或者，B数据)的插值，使用与对于R颜色(或者，R数据)的插值相同或者相似的方案或者方法。
R33＝R33 (4)
R44＝((R33-G33)+(R35-G35)+(R53-G53)+(R55-G55))/4+G44 (6)
接着参考图5的流程图，说明评价值计算处理的实施例。
图2中的H方向方差计算单元204将通过对各像素中丢失的颜色进行插值所获取的图3中的H方向RGB图像数据202c，转换成预定颜色空间的颜色信号(值)(S501)。根据本实施例，为了计算作为表示均匀性的程度的色差的方差，使用G、R-G和B-G颜色空间。在这种情况下，代替G、R-G和B-G颜色空间，可以使用L*a*b*均匀颜色空间。然而，向L*a*b*值的转换处理，可能涉及大量计算，因而代替L*，可以使用G信号，并且代替a*和b*，可以使用R-G、B-G作为色差信号。
接着，H方向方差计算单元204计算G、R-G和B-G信号各自的方差(S502)。这里，对于该计算，使用以关注像素为中心的3×3区域中的像素。尽管根据本实施例，使用3×3区域中的像素，但是可以使用诸如5×5或者7×7区域等的、具有不同大小的区域中的像素。然而，本发明的实施例不局限于此。代替通过使用包括关注像素和邻接的8个像素的总共9个像素来计算方差，可以使用如图6所示的在H方向上排列的三个像素h11～h13、三个像素h21～h23和三个像素h31～h33中各自的三个像素。假定G的三个方差是σG1 2、σG2 2和σG3 2，并且将它们中的最高方差值σGh 2定义为G的方差值。对于R-G信号和B-G信号可以进行与G信号的方差的计算相同的处理，以获取R-G方差值σR-Gh 2和B-G方差值σB-Gh 2。
与H方向一样，V方向方差计算单元205使用在V方向上排列的三个像素h11～h31、三个像素h12～h32和三个像素h13～h33中各自的三个像素，来获取G方差值σGv 2、R-G方差值σR-Gv 2和B-G方差值σB-Gv 2(S504～S506)。
评价值计算单元206计算各方向的评价值。通过使用下面的公式(7)计算H方向上的方差(S507)。与H方向一样，V方向方差计算单元205通过使用公式(8)，计算V方向上的方差。
σh 2＝σGh 2+σR-Gh 2+σB-Gh 2 (7)
σv 2＝σGv 2+σR-Gv 2+σB-Gv 2 (8)
H方向方差计算单元204和评价值计算单元206对图3中H方向上与RGB图像数据202c相关联的所有像素，进行S501～S503的处理。V方向方差计算单元205和评价值计算单元206对图3中V方向上与RGB图像数据203c相关联的所有像素，进行S504～S506的处理。
接着，评价值计算单元206通过使用下面的公式(9)，计算H方向和V方向的评价值。
这里，Ch和Cv表示基于方差的评价值。A是正的常数。
通过进行上述处理，对于各像素计算评价值Ch或者Cv，并且作为结果，生成具有这些评价值的二维平面。
接着参考图7的流程图，说明孤立点判断处理的实施例。
孤立点判断单元207基于通过评价值计算单元206所计算出的各方向上的评价值，判断评价值的孤立点。下面，说明在关注像素满足关系：H方向评价值－V方向评价值>0的情况下的孤立点判断处理。孤立点判断单元207对于关注像素和周边像素中的各个，计算H方向评价值－V方向评价值(S701)。通过使用以关注像素为中心的3×3区域中的像素来进行该计算。尽管根据本实施例，使用3×3区域，但是本发明的实施例不局限于此。例如，可以使用5×5或者7×7区域中的像素。根据该计算结果，如果关注像素满足关系：H方向评价值－V方向评价值>0，则在关注像素的周边的像素中，计数具有关系：H方向评价值－V方向评价值<0的像素的数量(S702)。将计数的数量定义为Vnum，并且判断Vnum是否等于或者高于预定阈值(S703)。结果，如果Vnum等于或者高于预定阈值，则判断为关注像素是孤立点(S704)。孤立点判断单元207对所有像素进行S701～S704的处理。如图8所示，如果关注像素满足关系：H方向评价值－V方向评价值<0，则孤立点判断单元207计数周边像素中满足关系：H方向评价值－V方向评价值>0的像素的数量(S801～S803)。如果该计数结果Hnum等于或者高于预定阈值，则将关注像素判断为孤立点(S804)。
接着参考图9的流程图，说明相关性判断处理的实施例。在进行了孤立点判断处理之后，相关性判断单元208基于各方向的评价值，进行评价值的相关性判断处理。
如图10所示，相关性判断单元208在水平方向上扫描关注像素和周边像素，并且对于各像素，计算H方向评价值－V方向评价值(例如，当对于多个像素，扫描各像素(作为扫描的各迭代中的关注像素)时，可以扫描至少一个关注像素或者多个关注像素)(S901)。尽管根据本实施例，使用水平方向上的五个像素，但是本发明的实施例不局限于此。可以使用七个或者九个像素。根据该计算结果，计数满足关系：H方向评价值－V方向评价值>0的连续像素的数量(S902)。将计数数量定义为Hfnum，并且判断Hfnum是否等于或者高于预定阈值(S903)。作为结果，如果Hfnum等于或者高于预定阈值，则确定在水平方向上与关注像素具有相关性(S904)。
尽管根据本实施例，通过计数连续正像素值的数量来判断相关性，但是，如果所计算出的评价值的方差等于或者低于预定阈值，也可以确定相关性。相关性判断单元208对于所有像素进行S901～S904的处理。
相关性判断单元208类似地在垂直方向上扫描关注像素和周边像素，并且对于各像素，计算H方向评价值－V方向评价值(S905)。根据该计算结果，计数满足关系：H方向评价值－V方向评价值>0的连续像素的数量(S906)。将计数数量定义为Vfnum，并且判断Vfnum是否等于或者高于预定阈值(S907)。作为结果，如果Vfnum等于或者高于预定阈值，则确定在垂直方向上与关注像素具有相关性(S908)。相关性判断单元208对于所有像素进行S905～S908的处理。尽管根据本实施例，判断在水平方向和垂直方向的各方向上的相关性，但是可以判断在对角线方向上的相关性。
相关性判断单元208相互替换通过S901、S902、S905和S906的处理所获取的H方向评价值和V方向评价值，并且对于所有像素进行图9所示的处理。
接着参考图11的流程图，说明孤立点校正处理的实施例。
孤立点校正单元209使用各方向上的评价值的孤立点判断和相关性判断的结果来校正孤立点。
孤立点校正单元209首先判断关注像素是否被孤立点判断单元207确定为孤立点、以及是否未被相关性判断单元208判断为具有相关性(S1101)。作为结果，如果满足，则孤立点校正单元209获取周边像素中未被孤立点判断单元207确定为孤立点的像素的评价值的中央值，并且将所获取的中央值当作为关注像素的评价值(S1102)。图12示出评价值计算的例子。在该例子中，通过使用未被判断为孤立点的像素h11、h12、h21、h23和h33的评价值，获取关注像素h22的像素的评价值。由于评价值是h11＝1、h12＝2、h21＝3、h23＝4和h33＝5，因而中央值为3。尽管根据本实施例，将中央值当作为校正结果，但是可以使用平均值或者加权滤波处理。与H方向评价值一样，孤立点校正单元209对于所有像素的V方向评价值进行与S1101～S1102相同的处理。
然后，图像生成单元210基于通过孤立点校正单元209所计算出的评价值，选择水平方向插值和垂直方向插值中的一个。从而，图像生成单元210生成所有像素的包含R、G、B颜色成分的图像数据的最终的RGB插值图像数据，并且输出该数据作为插值RGB图像数据211(去马赛克数据)。
接着参考图13，说明用于生成插值图像的更具体方法的实施例。
图像生成单元210首先对于所有像素，比较对于H方向的插值的评价值Ch和对于V方向的插值的评价值Cv，从而判断是否满足关系：评价值Ch>评价值Cv(S1301)。作为结果，如果满足关系：评价值Ch>评价值Cv，则图像生成单元210选择与H方向的插值有关的R、G、B插值数据(S1302)，并且输出它们作为插值RGB图像数据211。如果不满足关系：评价值Ch>评价值Cv，则接着判断是否满足关系：评价值Cv>评价值Ch(S1303)。作为结果，如果满足关系：评价值Cv>评价值Ch，则图像生成单元210选择与V方向的插值有关的R、G、B插值数据(S1304)，并且输出它们作为插值RGB图像数据211。另一方面，如果不满足关系：评价值Cv>评价值Ch，图像生成单元210计算与H方向和V方向的插值有关的R、G、B插值数据对于R、G、B颜色各自的平均值(S1305)，并且输出该计算结果作为插值RGB图像数据211。
根据本实施例，是基于H方向评价值和V方向评价值的大小进行的判断，并且选择以及输出以下数据中的一个作为插值RGB图像数据：H方向插值的插值数据、V方向插值的插值数据、以及H方向插值和V方向插值的平均值。然而，本发明的实施例不局限于此。例如，可以判断H方向评价值和V方向评价值之间的差是否等于或者高于阈值。更具体地，如果满足关系：评价值Ch－评价值Cv>阈值A，则可以选择H方向插值的插值数据。如果满足关系：评价值Cv－评价值Ch>阈值A，则可以选择V方向插值的插值数据。在这种情况下，除这两个条件以外，还可以输出基于H方向评价值和V方向评价值的加权加法的计算结果，作为插值RGB图像数据。
根据第一典型实施例，使用关注像素周围的周边像素的评价值之间的相关性来确定发生伪分辨率的部分。如果评价值之间不存在相关性，则通过使用所述关注像素周围的周边像素来校正关注像素的评价值。因而，可以更适当地校正由评价值的错误计算所导致的伪分辨率。
第二典型实施例
根据第一典型实施例，在相关性判断单元208中，在包括关注像素的周边像素中，基于判断各方向上的评价值之间的大小关系是否连续来判断相关性。另一方面，根据第二典型实施例，对于相关性判断，使用预先准备的模板映射。
下面将以与第一典型实施例的不同为重点说明本发明的第二典型实施例。
由于根据本典型实施例的摄像设备和去马赛克单元的信号单元的至少一个实施例的结构与参考图1和2所述的第一典型实施例中的相同，因而省略对该各单元的说明。除相关性判断处理以外，根据第二典型实施例的处理流程与第一典型实施例的相同。
参考图14的流程图，说明根据本典型实施例的相关性判断处理。在孤立点判断处理之后，相关性判断单元208基于各方向的评价值进行评价值的相关性判断处理。相关性判断单元208首先对于包括关注像素的周边像素中的各像素，计算H方向评价值－V方向评价值(S1401)。接着，根据该计算结果，判断是否满足关系：H方向评价值－V方向评价值>0(S1402)。根据本典型实施例，使用5×5区域。然而，还可以使用3×3或者7×7区域(或者其它不同大小的区域)。当然，本发明的实施例不局限于此。
作为结果，如果满足关系：H方向评价值－V方向评价值>0，则相关性判断单元208将H方向像素确定为扫描像素，并且定义hdet＝1(S1403)。另一方面，如果满足关系：H方向评价值－V方向评价值≤0，则相关性判断单元208在不将H方向像素确定为扫描像素的情况下，定义hdet＝0(S1404)。相关性判断单元208使用像素的值hdet和预先存储在存储器112中的预定模板映射，判断在5×5区域(或者，不同大小的区域)中的值是否与模板映射的数据相一致(S1405)。图16示出表示模板映射的数据的四个例子。根据本实施例，对于模板映射，使用水平方向、垂直方向和两种类型的对角方向。然而，本发明的实施例不局限于此。当然，可以在一个以上的实施例中使用模板映射，而不在方向上和数量上限制模板映射。作为结果，如果图16所示的模板映射中的一个与像素值相一致，则判断为针对关注像素的评价值具有相关性(S1406)。
相关性判断单元208对所有像素进行S1401～S1406的处理。类似于H方向评价值，相关性判断单元208对于具有V方向评价值的所有像素，进行与S1401～S1406相同的处理(图15中的S1501～S1506)。
由于以后的处理与第一典型实施例的相同，因而省略说明。这样，根据第二典型实施例，使用预先所准备的模板映射进行相关性判断。如果评价值之间不存在相关性，则使用关注像素的周边像素来校正关注像素的评价值。因此，如第一典型实施例一样，可以适当校正由评价值的错误计算所导致的伪分辨率。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (12)

1.一种图像处理设备，其特征在于，包括：
插值单元，用于对摄像装置所生成的马赛克图像信号进行多个规定方向中的各方向上的插值处理，其中，所述摄像装置针对各像素输出与多个颜色滤波器的颜色中的一种颜色相对应的图像信号；
评价单元，用于针对经过了所述插值单元的所述插值处理的图像信号的各像素，获取表示所述多个规定方向的各方向上的相关性的评价值；以及
输出单元，用于在至少一个关注像素满足预定条件的情况下，基于所述至少一个关注像素的周边像素的评价值，校正所述至少一个关注像素的评价值，并且基于校正后的评价值输出对所述至少一个关注像素进行插值之后的图像信号，
其中，所述预定条件包括所述至少一个关注像素是孤立点这一条件。
2.根据权利要求1所述的图像处理设备，其中，还包括孤立点判断单元，所述孤立点判断单元用于判断所述至少一个关注像素是否是孤立点。
3.根据权利要求2所述的图像处理设备，其中，
在判断为所述至少一个关注像素的评价值和所述周边像素的评价值之间的相关性低、或者不存在相关性的情况下，所述孤立点判断单元判断为所述至少一个关注像素是孤立点。
4.根据权利要求2所述的图像处理设备，其中，
所述孤立点判断单元比较所述规定方向的各方向上的评价值的大小，并且在所述至少一个关注像素在第一规定方向上的评价值高于在第二规定方向上的评价值、并且所述周边像素中阈值以上数量的像素在所述第二规定方向上的评价值高于在所述第一规定方向上的评价值的情况下，判断为所述至少一个关注像素是孤立点。
5.根据权利要求1所述的图像处理设备，其中，
所述预定条件还包括以下条件：所述至少一个关注像素的评价值和所述周边像素的评价值在所述多个规定方向的所有方向上都不存在相关性。
6.根据权利要求5所述的图像处理设备，其中，还包括相关性判断单元，所述相关性判断单元用于判断所述至少一个关注像素的评价值和所述周边像素的评价值在所述多个规定方向中的一个方向上是否存在相关性。
7.根据权利要求6所述的图像处理设备，其中，
在所述多个规定方向中的一个方向上，在第一规定方向上的评价值高于在第二规定方向上的评价值的连续像素的数量在阈值以上的情况下，所述相关性判断单元判断为在所述多个规定方向的所述一个方向上存在相关性。
8.根据权利要求2所述的图像处理设备，其中，
在所述至少一个关注像素满足所述预定条件的情况下，所述输出单元基于所述周边像素中未被所述孤立点判断单元判断为孤立点的像素的评价值，校正所述至少一个关注像素的评价值。
9.根据权利要求8所述的图像处理设备，其中，
所述输出单元通过使用所述周边像素中未被所述孤立点判断单元判断为孤立点的像素的评价值的中央值或者平均值，校正所述至少一个关注像素的评价值。
10.根据权利要求1所述的图像处理设备，其中，
所述输出单元比较所述至少一个关注像素在所述多个规定方向上的评价值，并且输出经过了所述插值单元在所述多个规定方向上的所述插值处理的图像信号中的、经过了评价值较高的规定方向上的所述插值处理的图像信号。
11.一种摄像设备，其特征在于，包括：
摄像装置，用于针对各像素输出与多个颜色滤波器的颜色中的一种颜色相对应的图像信号；
插值单元，用于对所述摄像装置所生成的马赛克图像信号进行多个规定方向中的各方向上的插值处理；
评价单元，用于针对经过了所述插值单元的所述插值处理的图像信号的各像素，获取表示所述多个规定方向的各方向上的相关性的评价值；以及
输出单元，用于在至少一个关注像素满足预定条件的情况下，基于所述至少一个关注像素的周边像素的评价值，校正所述至少一个关注像素的评价值，并且基于校正后的评价值输出对所述至少一个关注像素进行插值之后的图像信号，
其中，所述预定条件包括所述至少一个关注像素是孤立点这一条件。
12.一种图像处理方法，其特征在于，包括以下步骤：
对摄像装置所生成的马赛克图像信号进行多个规定方向中的各方向上的插值处理，其中，所述摄像装置针对各像素输出与多个颜色滤波器的颜色中的一种颜色相对应的图像信号；
针对经过了所述插值处理的图像信号的各像素，获取表示所述多个规定方向的各方向上的相关性的评价值；以及
在至少一个关注像素满足预定条件的情况下，基于所述至少一个关注像素的周边像素的评价值，校正所述至少一个关注像素的评价值，并且基于校正后的评价值输出对所述至少一个关注像素进行插值之后的图像信号，
其中，所述预定条件包括所述至少一个关注像素是孤立点这一条件。
CN201510204878.1A 2014-04-25 2015-04-27 图像处理设备、摄像设备和图像处理方法 Active CN105049820B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-091958 2014-04-25
JP2014091958A JP6415094B2 (ja) 2014-04-25 2014-04-25 画像処理装置、撮像装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
CN105049820A CN105049820A (zh) 2015-11-11
CN105049820B true CN105049820B (zh) 2017-05-10

Family

ID=54335239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510204878.1A Active CN105049820B (zh) 2014-04-25 2015-04-27 图像处理设备、摄像设备和图像处理方法

Country Status (4)

Country Link
US (1) US9530185B2 (zh)
JP (1) JP6415094B2 (zh)
KR (1) KR101810393B1 (zh)
CN (1) CN105049820B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6870993B2 (ja) * 2017-01-20 2021-05-12 キヤノンメディカルシステムズ株式会社 画像処理装置及びｘ線診断装置
US20210185285A1 (en) * 2018-09-18 2021-06-17 Zhejiang Uniview Technologies Co., Ltd. Image processing method and apparatus, electronic device, and readable storage medium
CN115239724B (zh) * 2022-09-22 2022-11-22 鹰驾科技（深圳）有限公司 一种360度全景环视拼接图像分析评价方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1289310A2 (en) * 2001-08-27 2003-03-05 Agilent Technologies, Inc. Method and system for adaptive demosaicing
CN101336438A (zh) * 2005-12-29 2008-12-31 美光科技公司 使用边缘检测和修正项在彩色滤光片阵列中提供彩色内插的方法及设备
CN101480057A (zh) * 2006-06-29 2009-07-08 奥林巴斯株式会社 图像处理装置、图像处理程序、图像处理方法
CN101902548A (zh) * 2009-05-27 2010-12-01 索尼公司 图像处理设备、成像设备及图像处理方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5886745A (en) * 1994-12-09 1999-03-23 Matsushita Electric Industrial Co., Ltd. Progressive scanning conversion apparatus
JP4599672B2 (ja) * 1999-12-21 2010-12-15 株式会社ニコン 補間処理装置および補間処理プログラムを記録した記録媒体
JP3717863B2 (ja) * 2002-03-27 2005-11-16 三洋電機株式会社 画像補間方法
JP4894594B2 (ja) * 2007-04-05 2012-03-14 ソニー株式会社 画像処理装置
JP5574615B2 (ja) 2009-04-20 2014-08-20 キヤノン株式会社 画像処理装置、その制御方法、及びプログラム
JP5269718B2 (ja) 2009-08-18 2013-08-21 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
JP2012104901A (ja) * 2010-11-08 2012-05-31 Canon Inc 撮像装置
JP5899684B2 (ja) * 2011-07-11 2016-04-06 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP6415093B2 (ja) 2014-04-25 2018-10-31 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1289310A2 (en) * 2001-08-27 2003-03-05 Agilent Technologies, Inc. Method and system for adaptive demosaicing
CN101336438A (zh) * 2005-12-29 2008-12-31 美光科技公司 使用边缘检测和修正项在彩色滤光片阵列中提供彩色内插的方法及设备
CN101480057A (zh) * 2006-06-29 2009-07-08 奥林巴斯株式会社 图像处理装置、图像处理程序、图像处理方法
CN101902548A (zh) * 2009-05-27 2010-12-01 索尼公司 图像处理设备、成像设备及图像处理方法

Also Published As

Publication number Publication date
CN105049820A (zh) 2015-11-11
US9530185B2 (en) 2016-12-27
KR20150123723A (ko) 2015-11-04
KR101810393B1 (ko) 2017-12-19
JP2015211347A (ja) 2015-11-24
US20150310588A1 (en) 2015-10-29
JP6415094B2 (ja) 2018-10-31

Similar Documents

Publication Publication Date Title
US8605164B2 (en) Image processing apparatus, control method therefor, and storage medium
CN1812592B (zh) 用于处理滤色器阵列的图像数据的方法和设备
US8666153B2 (en) Image input apparatus
JP5672776B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US20160050354A1 (en) High Dynamic Range Array Camera
CN110246087B (zh) 参考多通道的多分辨率去除图像色度噪声的系统和方法
EP1439715A1 (en) Weighted gradient based colour interpolation for colour filter array
CN109146982A (zh) 原始图像处理系统及方法
CN101854462B (zh) 图像处理设备、图像处理方法和计算机程序
CN108122201A (zh) 一种拜耳插值拉链效应去除方法
CN105049820B (zh) 图像处理设备、摄像设备和图像处理方法
CN108307162B (zh) 高效灵活的色彩处理器
KR101923957B1 (ko) 감도 개선을 위한 영상 처리 장치 및 방법
US10783608B2 (en) Method for processing signals from a matrix for taking colour images, and corresponding sensor
CN105046631A (zh) 图像处理设备和图像处理方法
CN103259960B (zh) 数据的插值方法及装置、图像输出方法及装置
US7885488B2 (en) Image processing apparatus, method and medium
Yamaguchi et al. Image demosaicking via chrominance images with parallel convolutional neural networks
CN101489142B (zh) 数字影像的彩色插补方法
US8068145B1 (en) Method, systems, and computer program product for demosaicing images
JP4495355B2 (ja) 画像補間装置
JP4666786B2 (ja) 画像補間装置
CN117274060A (zh) 一种无监督的端到端去马赛克方法及系统
Thakur et al. A new edge adaptive and directionally weighted color interpolation algorithm of digital camera images
Adams et al. Single capture image fusion

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant