CN112313934B - 像素插值装置、像素插值方法、图像处理装置和记录介质 - Google Patents

像素插值装置、像素插值方法、图像处理装置和记录介质 Download PDF

Info

Publication number
CN112313934B
CN112313934B CN201880094839.2A CN201880094839A CN112313934B CN 112313934 B CN112313934 B CN 112313934B CN 201880094839 A CN201880094839 A CN 201880094839A CN 112313934 B CN112313934 B CN 112313934B
Authority
CN
China
Prior art keywords
interpolation
pixel
value
missing
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880094839.2A
Other languages
English (en)
Other versions
CN112313934A (zh
Inventor
青木透
菅野美树
浅村麻纱子
丰田善隆
栗原康平
铃木大祐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN112313934A publication Critical patent/CN112313934A/zh
Application granted granted Critical
Publication of CN112313934B publication Critical patent/CN112313934B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/401—Compensating positionally unequal response of the pick-up or reproducing head
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/19—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
    • H04N1/191—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a one-dimensional array, or a combination of one-dimensional arrays, or a substantially one-dimensional array, e.g. an array of staggered elements
    • H04N1/192—Simultaneously or substantially simultaneously scanning picture elements on one main scanning line
    • H04N1/193—Simultaneously or substantially simultaneously scanning picture elements on one main scanning line using electrically scanned linear arrays, e.g. linear CCD arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

具有通过平均维持插值运算进行插值的第1组插值运算部、以及进行平均维持插值运算以外的插值运算的第2组插值运算部，插值运算部分别对丢失像素进行插值运算来计算插值候选值(M(h))，并且将丢失像素附近的像素作为测试像素来计算测试插值值(M(t))。判定部(4)根据测试插值的结果选择多个插值运算部中的任意插值运算部。输出部(5)选择并输出多个插值候选值(M(h))中的、从由判定部(4)选择出的插值运算部输出的插值候选值。能够进行插值以使插值后的像素不会看起来不自然，而且，需要的存储容量和数据处理量较少即可。

Description

像素插值装置、像素插值方法、图像处理装置和记录介质
技术领域
本发明涉及像素插值装置、像素插值方法、图像处理装置和记录介质。
背景技术
利用一维摄像部(行传感器)读取读取对象物(原稿)而生成与原稿对应的图像数据的图像读取装置已经实用化。作为行传感器，广泛使用分别具有在其长度方向沿着直线排列的多个光电转换元件的连结多个传感器芯片而成的部件。
传感器芯片是通过半导体制造技术制造的，因此，传感器芯片上的光电转换元件之间的间隔较小。与此相对，行传感器是通过连结多个传感器芯片并将其固定于基板的方法等制造的，因此，位于被连结的传感器芯片的相邻端部的光电转换元件之间的间隔较大。在利用这种行传感器读取原稿而取得图像数据的情况下，在被连结的传感器芯片的相邻端部之间的位置处无法得到像素值。针对这种像素，需要对像素值进行插值。
此外，由于传感器芯片内的光电转换元件的不良情况、存在于光电转换元件和原稿的光路中的本来应该透明的部件的污垢等，有时通过光电转换元件中的读取而得到的像素信号的像素值不正确或可靠性低。针对这种像素值也需要插值。
将不存在光电转换元件的位置的像素、以及由于像素值不正确或像素值的可靠性低等理由而需要插值的像素称作像素值丢失的像素或简称作丢失像素。
为了进行丢失像素的插值，已提出各种插值方法。在专利文献1中，示出在判定为丢失像素位于像素值周期性地变化的图像区域内的情况下，在丢失像素的插值中使用图案匹配法。
现有技术文献
专利文献
专利文献1：日本特许第5699621号(第0037～0068段、图2)
发明内容
发明要解决的课题
在专利文献1记载的方法中，需要按照像素值的每个变化周期预先准备最佳的图案。当图案的数量较少时，计算出丢失像素看起来不自然的像素值。另一方面，当图案的数量增大时，存在需要的存储容量或数据处理量增加这样的问题。
用于解决课题的手段
本发明的像素插值装置具有：多个插值运算部，它们分别根据构成输入图像的像素的像素值对该输入图像中的丢失像素的像素值进行插值；判定部；以及输出部，所述多个插值运算部分别对所述丢失像素的像素值进行插值，输出插值后的像素值作为插值候选值，将所述丢失像素附近的多个非丢失像素作为测试像素，对所述测试像素各自的像素值进行插值，输出插值后的像素值作为该测试像素的测试插值值，利用与所述丢失像素的插值相同的插值运算方法进行所述测试像素的插值，所述多个插值运算部包含第1组插值运算部和第2组插值运算部，所述第1组插值运算部通过平均维持插值运算进行插值，在所述第1组插值运算部相互之间，被参照的像素的数量彼此不同，所述第2组插值运算部通过与所述平均维持插值运算不同的插值运算进行插值，在所述第2组插值运算部相互之间，插值运算方法和被参照的像素的数量中的至少一方彼此不同，所述判定部根据与各丢失像素附近的多个测试像素分别有关的所述测试插值值与该测试像素的像素值的差分绝对值，计算与各插值运算部有关的误差指标值，根据计算出的误差指标值选择所述多个插值运算部中的任意插值运算部，所述输出部选择并输出针对各丢失像素从所述多个插值运算部输出的插值候选值中的、从由所述判定部选择出的插值运算部输出的插值候选值。
发明效果
根据本发明，能够进行插值以使插值后的像素不会看起来不自然，而且，需要的存储容量和数据处理量较少即可。
附图说明
图1是示出本发明的实施方式1的像素插值装置的概略结构的功能框图。
图2是示出紧贴图像传感器的概要的图。
图3是详细示出构成图2的紧贴图像传感器的传感器芯片之间的连结部分的图。
图4是示出图1所示的平均维持插值运算部的插值中参照的像素的图。
图5是示出图1所示的平均维持插值运算部的结构例的功能框图。
图6是示出实施方式2中使用的平均维持插值运算部的插值中参照的像素的图。
图7是示出实施方式2中使用的平均维持插值运算部的结构例的功能框图。
图8是示出本发明的实施方式3的像素插值装置的概略结构的功能框图。
图9是示出图8所示的平均维持插值运算部的插值中参照的像素的图。
图10是示出图8所示的平均维持插值运算部的结构例的功能框图。
图11是示出本发明的实施方式4的图像处理装置的概略结构的功能框图。
具体实施方式
实施方式1
图1是示出本发明的实施方式1的像素插值装置1的概略结构的功能框图。
像素插值装置1对供给到输入端子1a的图像数据Di表示的图像中的丢失像素的像素值进行插值。
例如，由具有图2所示的紧贴图像传感器900的摄像部读取读取对象物(原稿)，由此得到图像数据Di。
图2所示的紧贴图像传感器900是在基板904上沿着直线并列地彼此连结多个传感器芯片902而构成的。紧贴图像传感器900的长度方向为主扫描方向。
图3更加详细地示出相邻的传感器芯片902相互之间的连结部分。
如图所示，传感器芯片902分别具有多个光电转换元件906。
在各传感器芯片902内，多个光电转换元件906以一定的间隔da配置于直线上。另一方面，位于被连结的2个传感器芯片902的相邻端部的光电转换元件彼此分开距离db。一般而言，距离db无法小到间隔da的程度。
该情况下，优选以db为da的2倍的方式配置传感器芯片。这是为了在传感器芯片相互之间丢失一个像素也能够进行插值处理，能够得到高品质的插值结果。下面，对这种情况进行说明。
但是，db也可以不是da的2倍，还能够进行与da和db的比率对应的插值。
此外，以下说明的插值处理不限于传感器芯片之间的、不存在光电转换元件的位置的像素的插值，还能够应用于即使存在通过传感器芯片内的光电转换元件中的读取而得到的像素信号，该像素值也不正确或可靠性低时的插值。作为产生这种不正确的像素值或可靠性低的像素值的理由，存在光电转换元件的不良情况、存在于光路中的本来应该透明的部件的污垢等。
关于以下的说明中的“丢失像素”，不仅意味着不存在光电转换元件的位置的像素，还意味着由于像素值不正确或像素值的可靠性低等理由而需要插值的像素。另一方面，将存在像素值且不需要插值的像素称作非丢失像素。
由紧贴图像传感器900进行一次摄像，由此得到表示1行图像的摄像信号Ai，对摄像信号Ai进行A/D转换，由此得到图像数据Di。
使原稿相对于紧贴图像传感器900在副扫描方向上移动，由此依次得到多行图像数据Di。
下面，将图像数据Di表示的图像称作输入图像，利用相同的标号Di表示。进而，将图像数据Di表示的像素值称作原像素值，利用相同的标号Di表示。其他图像和像素值也是同样的。
像素插值装置1能够通过处理电路实现。处理电路可以由专用硬件构成，也可以由软件构成，还可以由硬件与软件的组合来构成。在由软件构成的情况下，像素插值装置由具有CPU(Central Processing Unit：中央处理单元)的微计算机、DSP(Digital SignalProcessor：数字信号处理器)等构成。
像素插值装置1具有数据存储部2、多个插值运算部11-1～11-N、21-1～21-M、判定部4、输出部5和插值数据插入部6。
数据存储部2存储图像数据Di。
数据存储部2中存储的图像数据Di被读出，被供给到多个插值运算部11-1～11-N、21-1～21-M、判定部4和插值数据插入部6。
多个插值运算部11-1～11-N、21-1～21-M分别对输入图像Di中的丢失像素的像素值进行插值，将插值后的像素值(插值值)作为丢失像素的插值候选值P(h)供给到输出部5，并且，将丢失像素附近(邻近)的多个非丢失像素作为测试像素，对该测试像素各自的像素值进行插值，将插值后的像素值(插值值)作为该测试像素的测试插值值P(t)供给到判定部4。
将测试像素的插值称作测试插值。假设测试像素的像素值不明来进行测试插值。
在各丢失像素的插值中参照该丢失像素周边的像素。
在各测试像素的插值(测试插值)中参照该测试像素周边的像素。
各测试像素的测试插值中参照的周边的像素相对于该测试像素的相对位置，与各丢失像素的插值中参照的周边的像素相对于该丢失像素的相对位置相同。
测试插值中使用的插值运算方法与丢失像素的插值中使用的插值运算方法相同。
将各丢失像素附近的多个非丢失像素作为测试像素进行的测试插值有时称作与该丢失像素有关的测试插值。
多个插值运算部11-1～11-N、21-1～21-M包含第1组插值运算部11-1～11-N和第2组插值运算部21-1～21-M。
第1组插值运算部11-1～11-N由第1～第N平均维持插值运算部11-1～11-N构成。N是2以上的整数。
第1～第N平均维持插值运算部11-1～11-N通过平均维持插值运算进行插值。
在第1～第N平均维持插值运算部11-1～11-N相互之间，插值中参照的像素的数量彼此不同。
下面，对平均维持插值运算部11-1～11-N的动作进行说明。最初，说明进行丢失像素的插值时的动作。
图4是示出输入图像Di的一部分的图，示出一个平均维持插值运算部11-1～11-N即第n平均维持插值运算部11-n(n为1～N中的任意一方)的插值中参照的像素的位置。设输入图像Di中的丢失像素MP的位置预先已知。〇表示非丢失像素，×表示丢失像素MP。
标号MS和NA分别表示由多个相连续的像素构成的像素列。像素列MS包含丢失像素MP，像素列NA不包含丢失像素MP。将像素列MS称作丢失部，将像素列NA称作非丢失部。根据以下的说明可知，在插值中参照丢失部MS和非丢失部NA的像素。构成丢失部MS的像素的数量和构成非丢失部NA的像素的数量彼此相等。利用k表示该数量。在图示的例子中，k为3。
k作为参数而预先设定于各平均维持插值运算部。
在多个平均维持插值运算部11-1～11-N中设定有值彼此不同的参数k，其结果是，在平均维持插值运算部11-1～11-N之间，插值中参照的像素的数量彼此不同。
平均维持插值运算部11-n对丢失像素MP的像素值进行插值，以使丢失部MS的像素的像素值的平均值与非丢失部NA的像素的像素值的平均值相等。即，确定上述插值值P，以使丢失部MS中的丢失像素MP以外的像素的像素值和丢失像素MP的插值值P的平均值与非丢失部NA的像素的像素值的平均值相等。
图5是示出平均维持插值运算部11-n的结构例的功能框图。
平均维持插值运算部11-n具有丢失部加法部101、非丢失部加法部102和减法部103。
从数据存储部2读出的图像数据Di被输入到丢失部加法部101和非丢失部加法部102。
丢失部加法部101求出丢失部MS中包含的k个像素中的丢失像素MP以外的像素的像素值之和，作为丢失部合计MQ进行输出。
非丢失部加法部102求出非丢失部NA中包含的k个像素的像素值之和，作为非丢失部合计SA进行输出。
减法部103从非丢失部合计SA减去丢失部合计MQ。
作为减法的结果而得到的差分值被用作丢失像素MP的插值值P。
当利用数学式表示以上的处理时，如下所述。
P＝SA-MQ (1)
通过进行以上的处理，确定从减法部103输出的插值值P，以使丢失部MS的像素的像素值的平均值与非丢失部NA的像素的像素值的平均值相等。
下面，对其理由进行说明。
丢失部MS的像素的像素值的平均值MSav为
MSav＝(MQ+P)/k (2)
非丢失部NA的像素的像素值的平均值NAav为
NAav＝SA/k (3)
为了使MSav和NAav相等，以满足下述式的方式确定插值值P即可。
(MQ+P)/k＝SA/k (4)
通过对式(4)进行变形，得到式(1)。
因此，如果通过上述式(1)表示的处理来确定插值值P，则丢失部MS的像素的像素值的平均值与非丢失部NA的像素的像素值的平均值相等。
各平均维持插值运算部11-n中针对各丢失像素计算出的插值值P作为插值候选值P(h)被供给到输出部5。
平均维持插值运算部11-1～11-N能够在图像的边缘部分和像素值周期性地变化的图像部分高精度地进行插值。关于像素值周期性地变化的图像部分，能够高精度地插值的像素值的变化周期(因此是空间频率)根据插值中参照的像素的数量而变化。因此，根据期望高精度地进行插值的像素值的变化周期的范围(换言之为空间频率的范围)，确定平均维持插值运算部11-1～11-N在插值中参照的像素的数量。
图5所示的平均维持插值运算部11-n还用于测试插值。
利用平均维持插值运算部11-n进行测试插值时的动作与进行上述丢失像素MP的插值(计算插值候选值P(h))时的动作相同。但是，在测试插值时，将各测试像素视为丢失像素进行插值运算，输出计算出的像素值P作为测试插值值P(t)。
第2组插值运算部21-1～21-M由第1～第M插值运算部21-1～21-M构成。M是2以上的整数。
第1～第M插值运算部21-1～21-M利用与上述平均维持插值运算不同的插值运算方法进行插值。
在第1～第M插值运算部21-1～21-M相互之间，插值中使用的插值运算方法和插值中参照的像素的数量中的至少一方彼此不同。
作为第1～第M插值运算部21-1～21-M进行的插值运算的例子，存在线性插值运算、双三次插值运算和兰索斯插值运算。
第1～第M插值运算部21-1～21-M也与第1～第N平均维持插值运算部11-1～11-N同样，不仅计算各丢失像素的插值候选值P(h)并将其供给到输出部5，还针对该丢失像素附近的多个非丢失像素分别计算测试插值值P(t)并将其供给到判定部4。
不仅从插值运算部11-1～11-N和21-1～21-M向判定部4供给测试插值值P(t)，还从数据存储部2向判定部4输入测试像素的像素值(原像素值)Di。
判定部4根据从插值运算部11-1～11-N和21-1～21-M输入的测试插值值P(t)以及从数据存储部2输入的原像素值Di进行评价，计算表示评价结果的误差指标值。针对各个插值运算部，按照每个丢失像素进行评价。
例如，对与各丢失像素有关的测试插值的结果进行累计，由此求出与各插值运算部有关的误差指标值。例如，针对该丢失像素附近的全部测试像素，对该插值运算部针对各丢失像素附近的多个测试像素分别计算出的测试插值值P(t)与该测试像素的原像素值Di的差分绝对值进行累计，由此求出与各插值运算部有关的误差指标值。
例如，上述误差指标值也可以是上述差分绝对值的与全部测试像素有关的累积值除以测试像素的数量而得到的值，即上述差分绝对值的平均值(差分平均值)。
在计算出测试插值值P(t)的测试像素的数量在全部插值运算部相互之间相等的情况下，上述误差指标值也可以是上述差分绝对值的与全部测试像素有关的累积值(差分累积值)。
上述误差指标值表示各丢失像素附近的各插值运算部的适合性即各插值运算部的插值运算的精度，该误差指标值越小，则能够视为精度越高(误差的程度越小)。
插值运算部11-1～11-N和21-1～21-M分别按照每个丢失像素计算上述误差指标值。
判定部4针对各丢失像素确定上述误差指标值最小的插值运算部，将表示确定的插值运算部的信号(选择信号)HS输出到输出部5。
如上所述，插值运算部11-1～11-N和21-1～21-M针对各丢失像素计算出的插值值P作为插值候选值P(h)被输入到输出部5。
输出部5从插值运算部11-1～11-N和21-1～21-M的输出(插值候选值)P(h)中选择来自判定部4的选择信号HS表示的插值运算部的输出，作为丢失像素的插值值HV进行输出。
插值数据插入部6接受从数据存储部2读出的图像数据Di，并且接受从输出部5输出的插值值HV，作为输入图像Di中的各丢失像素的像素值，插入与从输出部5输出的该丢失像素有关的插值值HV，由此，生成并输出被填充有丢失像素的像素值的图像数据Du。
图像数据Du针对丢失像素具有插值值HV，针对非丢失像素具有原像素值Di。即，针对丢失像素，图像数据Du表示的像素值Du与插值值HV相同，针对非丢失像素，图像数据Du表示的像素值Du与原像素值Di相同。
通过如上所述构成像素插值装置，能够选择与该丢失像素附近的测试像素有关的测试插值值最接近原像素值Di的插值运算，作为丢失像素的插值运算。因此，能够根据图像(丢失像素附近的图像部分)的特征，使用最佳的插值运算结果进行像素插值。
如上所述，平均维持插值运算部11-1～11-N能够在图像的边缘部分和像素值周期性地变化的图像部分高精度地进行插值。而且，关于像素值周期性地变化的图像部分，根据像素值变化的周期，选择多个平均维持插值运算部中的最佳的平均维持插值运算部。另一方面，除了图像的边缘部分和像素值周期性地变化的图像部分以外，与平均维持插值运算部相比，其他插值运算部中的任意一方的插值有时成为高精度，该情况下，选择平均维持插值运算部以外的、插值为更高精度的插值运算部。因此，在本实施方式的像素插值装置中，根据图像的特征选择最佳的插值运算部。
此外，通过包含平均维持插值作为插值运算，能够高精度地再现以高频率周期性地变化的图像部分和边缘部分。
实施方式2
实施方式2的像素插值装置1的整体结构如图1所示。
在实施方式2中，平均维持插值运算部11-1～11-N各自的处理内容与实施方式1不同。
即，在实施方式1中，各平均维持插值运算部11-n在插值中参照的丢失部的像素的数量和非丢失部的像素的数量相同，但是，在实施方式2中，非丢失部的像素的数量比丢失部的像素的数量多。
图6是示出输入图像Di的一部分的图，示出本实施方式中的平均维持插值运算部11-n的插值中参照的像素的位置。
与图4同样，设输入图像Di中的丢失像素MP的位置预先已知。〇表示非丢失像素，×表示丢失像素MP。
与图4同样，丢失部MS和非丢失部NA是由多个像素构成的像素列，丢失部MS包含丢失像素MP，非丢失部NA不包含丢失像素MP。
与图4不同，构成非丢失部NA的像素的数量kb比构成丢失部MS的像素的数量ka多。
在图示的例子中，ka＝3，kb＝6。
ka和kb作为参数而预先设定于各平均维持插值运算部。
在多个平均维持插值运算部11-1～11-N中，参数ka和kb中的至少一方的值彼此不同。
根据参数ka、kb的值决定插值中参照的像素的数量。因此，多个平均维持插值运算部11-1～11-N在插值中参照的像素的数量彼此不同。
与实施方式1同样，平均维持插值运算部11-n对丢失像素MP的像素值P进行插值，以使丢失部MS的像素的像素值的平均值与非丢失部NA的像素的像素值的平均值相等。
图7是示出实施方式2中使用的平均维持插值运算部11-n的结构例的功能框图。
图7的平均维持插值运算部11-n与图5的平均维持插值运算部11-n大致相同。不同之处在于附加有乘法部104。
乘法部104对非丢失部加法部102的输出SA乘以参数比ka/kb。
减法部103从乘法部104的输出(SA·ka/kb)减去丢失部加法部101的输出MQ。
作为减法的结果而得到的差分值被用作丢失像素MP的插值值P。
当利用数学式表示以上的处理时，如下所述。
P＝SA·ka/kb-MQ (5)
通过进行以上的处理，确定从减法部103输出的插值值P，以使丢失部MS的像素的像素值的平均值与非丢失部NA的像素的像素值的平均值相等。
针对丢失像素MP计算出的插值值P作为插值候选值P(h)被供给到输出部5。
与丢失像素的插值同样地进行测试插值，插值值P作为测试插值值P(t)被供给到判定部4。
另外，在图6中，非丢失部由连续的多个像素构成，但是，也可以利用不连续的多个像素构成非丢失部。例如，也可以利用位于丢失像素MP的一侧(图中为左侧)的多个相连续的像素和位于丢失像素MP的另一侧(图中为右侧)的多个相连续的像素构成非丢失部。
通过使平均维持插值运算部11-1～11-N成为上述这种结构，非丢失部的像素的像素数变多，与实施方式1的方法相比，丢失像素的插值值更加自然。
实施方式3
实施方式3的像素插值装置1c的概略结构如图8所示。
图8所示的像素插值装置1c与图1的像素插值装置1大致相同，但是，以下方面不同。
即，代替图1的平均维持插值运算部11-1～11-N而设置有平均维持插值运算部13-1～13-N。
第1～第N平均维持插值运算部13-1～13-N均进行平均维持插值运算，但是，插值中参照的像素的数量彼此不同。
第1～第N平均维持插值运算部13-1～13-N中的每一个即第n平均维持插值运算部13-n与实施方式1的第n平均维持插值运算部11-n相同，但是，插值中参照的像素的配置不同，进而，具有计算位于丢失像素的一侧的多个非丢失像素的像素值之和与位于另一侧的多个非丢失像素的像素值之和的差分的功能。
下面，与实施方式1、2的平均维持插值运算部11-1～11-N进行比较来说明实施方式3的平均维持插值运算部13-1～13-N的动作。最初，对丢失像素的插值进行说明。
图9是示出输入图像Di的一部分的图，示出本实施方式中的平均维持插值运算部13-n的插值中参照的像素的位置。
与图4和图6同样，设输入图像Di中的丢失像素MP的位置预先已知。〇表示非丢失像素，×表示丢失像素MP。
与图6同样，丢失部MS是由ka个像素构成的像素列，丢失部MS包含丢失像素MP。
与图4和图6不同，非丢失部NA被分成位于丢失像素MP的一侧的第1部分NL以及位于丢失像素MP的另一侧的第2部分NR。
下面，将第1部分NL称作左侧部，将第2部分NR称作右侧部。
左侧部NL和右侧部NR分别是由多个像素构成的像素列，均不包含丢失像素MP。
左侧部NL和右侧部NR由彼此相同数量的像素构成，形成为以丢失像素MP为中心对称。
例如，分别构成左侧部NL和右侧部NR的像素的数量kc与构成丢失部MS的像素的数量ka相同。
在图示的例子中，ka＝kc＝3。
因此，构成由左侧部NL和右侧部NR构成的非丢失部NA的像素的数量kb是kc的2倍。
ka和kc作为参数而预先设定于各平均维持插值运算部。
在第1～第N平均维持插值运算部13-1～13-N中，参数ka和kc中的至少一方的值彼此不同。因此，插值中参照的像素的数量不同。
另外，也可以代替ka和kc，而将ka和kb作为参数而预先设定于各平均维持插值运算部。
与实施方式1、2的第n平均维持插值运算部11-n同样，第n平均维持插值运算部13-n对丢失像素MP的像素值进行插值，以使丢失部MS的像素的像素值的平均值与非丢失部NA的像素的像素值的平均值相等。但是，非丢失部NA包含左侧部NL和右侧部NR。
图10是示出平均维持插值运算部13-n的结构例的功能框图。
图10的平均维持插值运算部13-n具有丢失部加法部101、左侧部加法部105、右侧部加法部106、合计计算部107、乘法部104、减法部103和差分计算部108。
丢失部加法部101求出丢失部MS中包含的ka个像素中的丢失像素MP以外的像素的像素值之和，作为丢失部合计MQ进行输出。
左侧部加法部105求出左侧部NL中包含的kc个像素的像素值之和，作为左侧部分和SL进行输出。
右侧部加法部106求出右侧部NR中包含的kc个像素的像素值之和，作为右侧部分和SR进行输出。
合计计算部107对左侧部分和SL和右侧部分和SR进行相加，将相加结果作为非丢失部合计SA进行输出。
利用左侧部加法部105、右侧部加法部106和合计计算部107构成非丢失部加法部102c。
乘法部104对非丢失部加法部102c的输出SA乘以参数比ka/kb。
减法部103从乘法部104的输出(SA·ka/kb)减去丢失部加法部101的输出MQ。
作为减法的结果而得到的差分值被用作丢失像素MP的插值值P。
当利用数学式表示以上的处理时，如下所述。
P＝(SL+SR)·ka/kb-MQ (6)
通过进行以上的处理，从减法部103输出根据部分和SL、SR以及丢失部合计MQ以丢失部MS的像素的像素值的平均值与非丢失部NA的像素的像素值的平均值相等的方式确定的丢失像素MP的插值值P。
针对丢失像素MP计算出的插值值P作为插值候选值P(h)被供给到输出部5。
差分计算部108计算左侧部加法部105的输出(左侧部分和)SL与右侧部加法部106的输出(右侧部分和)SR的差分绝对值。计算出的差分绝对值作为左右差分值DLR被送到判定部4c。
针对各丢失像素计算出的左右差分值DLR表示位于该丢失像素左侧的左侧部(位于一侧的第1部分)的像素的像素值之和与位于该丢失像素右侧的右侧部(位于另一侧的第2部分)的像素的像素值之和的差分。
与上述同样地进行测试插值值的运算。即，与平均维持插值运算部11-n同样，各平均维持插值运算部13-n将丢失像素附近的多个非丢失像素作为测试像素，针对该测试像素分别进行插值运算，计算插值值P，将计算出的插值值P作为测试插值值P(t)供给到判定部4c。
但是，针对测试像素，不进行左右差分值DLR的计算。
插值运算部21-1～21-M的动作与实施方式1相同。
判定部4c根据从平均维持插值运算部13-1～13-N和插值运算部21-1～21-M供给的测试插值值P(t)计算误差指标值这点与实施方式1、2相同。
实施方式3的判定部4c与实施方式1和实施方式2的判定部4的不同之处在于，误差指标值最小的插值运算部是平均维持插值运算部13-1～13-N中的任意一方时的动作。
上述这种情况下，判定部4c判定与判断为误差指标值最小的平均维持插值运算部对应的左右差分值DLR是否大于预定的阈值DLRth，在该左右差分值DLR大于阈值DLRth的情况下，判定部4c选择插值运算部21-1～21-M中的预先指定的插值运算部，将选择结果通知给输出部5。
预先指定的插值运算部例如使用与丢失像素接近的像素例如相邻的像素进行插值运算。作为插值运算，例如使用线性插值运算或双三次插值运算。在进行线性插值运算的情况下，求出与丢失像素相邻的一对非丢失像素的平均值。在进行双三次插值运算的情况下，使用与丢失像素相邻的一对非丢失像素和与该一对非丢失像素相邻的像素(与该一对非丢失像素中的任意一方相邻且位于与丢失像素相反一侧的像素)作为参照像素。
在丢失像素的左侧和右侧，像素值之差较大的情况下，在平均维持插值中有时计算出不自然的像素值。因此，在本实施方式中，通过使用适合于这种情况的插值运算方法，得到更加自然的像素值。
在上述实施方式中，在多个平均维持插值运算部13-1～13-N中分别求出左右差分值，判定由多个平均维持插值运算部13-1～13-N中的根据误差指标值选择出的平均维持插值运算部求出的左右差分值是否大于阈值。
取而代之，也可以由多个平均维持插值运算部13-1～13-N中的任意一方求出左右差分值，判定求出的左右差分值是否大于阈值。
此外，也可以由第2组插值运算部21-1～21-M中的任意一方求出左右差分值，判定求出的左右差分值是否大于阈值。
进而，也可以由多个插值运算部中的2个以上的插值运算部求出左右差分值，根据求出的2个以上的左右差分值求出差分指标值，判定求出的差分指标值是否大于阈值。
总之，由多个插值运算部(13-1～13-N、21-1～21-M)中的一个以上的插值运算部求出左右差分值，判定求出的左右差分值或根据左右差分值计算出的差分指标值是否大于阈值即可。
在以上的实施方式3中，关于像素的位置、非丢失部的位置，使用“左”、“右”这样的表达，但是，这是为了简便，总之意味着丢失像素的一侧、另一侧。
即，判定部在第1部分NL的像素值之和与第2部分NR的像素值之和的差分绝对值或根据该差分绝对值确定的差分指标值大于预定的阈值的情况下，选择第2组插值运算部中的预先指定的插值运算部即可。
在实施方式1～3中，从数据存储部2输出的图像数据可以表示图像的亮度，也可以表示颜色成分。换言之，像素插值装置中作为处理对象的像素值可以是亮度值，也可以是颜色成分值。
在图像是彩色图像的情况下，按照每个颜色成分值设置实施方式1～3中说明的像素插值装置即可。
接着，将具有与3个以上的颜色成分值分别对应地设置的3个以上的像素插值装置且对色差成分值进行限制处理的图像处理装置作为实施方式4进行说明。
实施方式4
图11是示出本发明的实施方式4的图像处理装置的概略结构的功能框图。
图11所示的图像处理装置具有R像素插值装置201、G像素插值装置202、B像素插值装置203、亮度色差计算部205、色差计算部206、限制值决定部207、限制处理部208和颜色成分复原部209。
R像素插值装置201、G像素插值装置202和B像素插值装置203分别具有与实施方式1、2或3的像素插值装置相同的结构。在实施方式1、2或3的像素插值装置中，输入图像数据Di，输出图像数据Du，但是，本实施方式的R像素插值装置201、G像素插值装置202、B像素插值装置203分别输入R图像数据Ri、G图像数据Gi、B图像数据Bi，输出R图像数据Ru、G图像数据Gu、B图像数据Bu。
例如，由包含分别对R、G、B的光(波长成分)具有感光度的光电转换元件的摄像部读取原稿，由此得到R图像数据Ri、G图像数据Gi、B图像数据Bi。对R、G、B的光具有感光度的光电转换元件例如是具有使R、G、B的光透过的滤色器的光电转换元件。
R像素插值装置201对被输入的R图像数据Ri表示的图像中的丢失像素的像素值(R成分值)进行插值。即，根据R图像数据Ri表示的原像素值(R成分值)Ri决定丢失像素的插值值，输出填充有插值值作为丢失像素的R成分值的图像数据Ru。
针对丢失像素，图像数据Ru表示的R成分值Ru与插值值相同，针对非丢失像素，图像数据Ru表示的R成分值Ru与原像素值(被输入的R成分值)Ri相同。
G像素插值装置202对被输入的G图像数据Gi表示的图像中的丢失像素的像素值(G成分值)进行插值。即，根据G图像数据Gi表示的原像素值(G成分值)Gi决定丢失像素的插值值，输出填充有插值值作为丢失像素的G成分值的图像数据Gu。
针对丢失像素，图像数据Gu表示的G成分值Gu与插值值相同，针对非丢失像素，图像数据Gu表示的G成分值Gu与原像素值(被输入的G成分值)Gi相同。
B像素插值装置203对被输入的B图像数据Bi表示的图像中的丢失像素的像素值(B成分值)进行插值。即，根据B图像数据Bi表示的原像素值(B成分值)Bi决定丢失像素的插值值，输出填充有插值值作为丢失像素的B成分值的图像数据Bu。
针对丢失像素，图像数据Bu表示的B成分值Bu与插值值相同，针对非丢失像素，图像数据Bu表示的B成分值Bu与原像素值(被输入的B成分值)Bi相同。
由R像素插值装置201、G像素插值装置202和B像素插值装置203分别进行的像素插值例如与由实施方式1、2、3中的任意一个像素插值装置进行的像素插值相同。但是，也可以使像素插值装置中包含的插值运算部的数量、各插值运算部的插值中使用的插值运算方法和插值中参照的像素的数量按照每个颜色成分而不同。由此，能够按照每个颜色成分，根据该颜色成分的图像的特征进行更加适当的插值。
亮度色差计算部205将图像数据Ru、Gu、Bu中的与相同像素有关的R成分值Ru、G成分值Gu、B成分值Bu转换成亮度值Yu和色差成分值Cbu、Cru，输出通过转换而得到的亮度值Yu和色差成分值Cbu、Cru。
在转换中使用公知的转换式。例如在颜色成分值由8比特表示的情况下，使用以下的式。
Yu＝0.257·Ru+0.504·Gu+0.098·Bu+16
Cbu＝-0.148·Ru-0.291·Gu+0.439·Bu+128
Cru＝0.439·Ru-0.368·Gu-0.071·Bu+128
色差计算部206将图像数据Ri、Gi、Bi中的与相同像素有关的R成分值Ri、G成分值Gi和B成分值Bi转换成色差成分值Cbi、Cri，输出通过转换而得到的色差成分值Cbi、Cri。在向色差成分值Cbi、Cri的转换中，能够利用从RGB到YCbCr的公知的转换式。但是，由于不使用Y(亮度值)，因此不需要计算。例如，在颜色成分值由8比特表示的情况下，使用以下的式。
Cbi＝-0.148·Ri-0.291·Gi+0.439·Bi+128
Cri＝0.439·Ri-0.368·Gi-0.071·Bi+128
在限制值决定部207中，将输入图像的预定范围内的像素指定为为了计算限制值而参照的像素(限制值计算参照像素)，针对限制值计算参照像素，根据通过色差计算部206中的转换而得到的Cb成分值和Cr成分值决定限制值。
限制值决定部207例如针对各丢失像素决定限制值。该情况下，上述预定范围是由该丢失像素周边的像素构成的范围。
丢失像素周边例如是指与丢失像素之间的距离为预定的值以下的范围。
作为限制值，例如，针对Cb成分和Cr成分分别决定上侧限制值和下侧限制值。
例如，限制值计算参照像素的色差成分值Cbi中的最大值或接近最大值的值被决定为Cb成分上侧限制值Cbmax，限制值计算参照像素的色差成分值Cbi中的最小值或接近最小值的值被决定为Cb成分下侧限制值Cbmin，限制值计算参照像素的色差成分值Cri中的最大值或接近最大值的值被决定为Cr成分上侧限制值Crmax，限制值计算参照像素的色差成分值Cri中的最小值或接近最小值的值被决定为Cr成分下侧限制值Crmin。
“接近最大值的值”例如是按照从大到小的顺序排列色差成分值时预定顺位的色差成分值具有的值。可以根据限制值计算参照像素的数量来确定预定的顺位。例如，可以确定为限制值计算参照像素中的、与相当于预定比例的数量相等的值。
同样，“接近最小值的值”例如是按照从小到大的顺序排列色差成分值时预定顺位的色差成分值具有的值。可以根据限制值计算参照像素的数量来确定预定的顺位。
在限制处理部208中，将由限制值决定部207决定的上侧限制值和下侧限制值分别作为上限和下限，对色差成分值Cbu、Cru进行限制处理，输出限制处理后的色差成分值Cbe、Cre。
颜色成分复原部209进行从限制处理部208输出的色差成分值Cbe、Cre和从亮度色差计算部205输出的亮度值Yu到颜色成分值的转换，输出转换后的R、G、B成分值Ro、Go、Bo。
在转换中，能够使用公知的转换式。例如，在Yu、Cbe、Cre由8比特表示的情况下，能够使用以下的式。
Ro＝1.164·(Yu-16)+1.596·(Cre-128)
Go＝1.164·(Yu-16)-0.391·(Cbe-128)-0.813·(Cre-128)
Bo＝1.164·(Yu-16)+2.018·(Cbe-128)
如上所述，对通过从GB到CbCr的转换而生成的Cb成分值和Cr成分值进行限制处理，但是，也可以对通过向YPbPr的转换而生成的Pb成分值和Pr成分值进行限制处理。此外，也可以对通过向YUV的转换而生成的U成分值和V成分值进行限制处理。
总之，对通过向亮度成分和色差成分的转换而生成的色差成分进行限制处理即可。
由此，不对亮度进行变更，也能够抑制伪色的产生。
在上述例子中，作为限制值，包含上侧限制值和下侧限制值，但是，也可以仅是上侧限制值和下侧限制值中的一方。
通过如上所述构成像素插值装置，独立地实施R、G、B的每个颜色成分的插值运算，能够抑制彩色图像中的丢失像素部分产生的伪色。此外，能够抑制彩色图像中的插值像素不自然。
如上所述，设本发明为像素插值装置和图像处理装置进行了说明。由上述像素插值装置实施的像素插值方法和由上述图像处理装置实施的图像处理方法也构成本发明的一部分。
此外，用于使计算机执行上述像素插值装置或像素插值方法中的处理的程序、以及用于使计算机执行上述图像处理装置或图像处理方法中的处理的程序也构成本发明的一部分。
进而，记录有上述程序的计算机能读取的记录介质也构成本发明的一部分。
标号说明
1、1c：像素插值装置；2：数据存储部；4、4c：判定部；5：输出部；6：插值数据插入部；11-1～11-N、13-1～13-N：平均维持插值运算部；21-1～21-M：插值运算部；101：丢失部加法部；102：非丢失部加法部；103：减法部；104：乘法部；105：左侧部加法部；106：右侧部加法部；107：合计计算部；108：差分计算部；201：R像素插值装置；202：G像素插值装置；203：B像素插值装置；205：亮度色差计算部；206：色差计算部；207：限制值决定部；208：限制处理部；209：颜色成分复原部。

Claims (19)

1.一种像素插值装置，该像素插值装置具有：
多个插值运算部；
判定部；以及
输出部，
所述多个插值运算部中的每个插值运算部根据构成输入图像的像素的像素值对所述输入图像中的各丢失像素的像素值进行插值，输出插值后的像素值作为插值候选值，将所述丢失像素附近的多个非丢失像素作为测试像素，对所述测试像素各自的像素值进行插值，输出插值后的像素值作为该测试像素的测试插值的值，
利用与所述丢失像素的插值相同的插值运算方法进行所述测试像素的插值，
所述多个插值运算部包含第1组插值运算部和第2组插值运算部，
所述第1组插值运算部通过平均维持插值运算进行插值，
在所述第1组插值运算部相互之间，被参照的像素的数量彼此不同，
所述第2组插值运算部通过与所述平均维持插值运算不同的插值运算进行插值，
在所述第2组插值运算部相互之间，插值运算方法和被参照的像素的数量中的至少一方彼此不同，
所述判定部根据与各丢失像素附近的多个测试像素分别有关的所述测试插值的值与该测试像素的像素值的差分绝对值，计算与所述每个插值运算部有关的误差指标值，根据计算出的误差指标值选择所述多个插值运算部中的任意插值运算部，
所述输出部选择并输出针对各丢失像素从所述多个插值运算部输出的插值候选值中的、从由所述判定部选择出的插值运算部输出的插值候选值。
2.根据权利要求1所述的像素插值装置，其特征在于，
在所述平均维持插值运算中，对所述丢失像素的像素值进行插值，使得由包含所述丢失像素的多个像素构成的丢失部的像素的像素值的平均值与由不包含所述丢失像素的多个像素构成的非丢失部的像素的像素值的平均值相等。
3.根据权利要求2所述的像素插值装置，其特征在于，
所述丢失部的像素的数量与所述非丢失部的像素的数量彼此相等。
4.根据权利要求3所述的像素插值装置，其特征在于，
在所述平均维持插值运算中，
求出所述丢失部中的所述丢失像素以外的像素的像素值之和作为丢失部合计，
求出所述非丢失部的像素的像素值之和作为非丢失部合计，
计算所述非丢失部合计减去所述丢失部合计而得到的差分值作为所述丢失像素的像素值。
5.根据权利要求2所述的像素插值装置，其特征在于，
所述非丢失部的像素的数量比所述丢失部的像素的数量多。
6.根据权利要求5所述的像素插值装置，其特征在于，
在所述平均维持插值运算中，
求出所述丢失部中的所述丢失像素以外的像素的像素值之和作为丢失部合计，
求出所述非丢失部的像素的像素值之和作为非丢失部合计，
计算所述丢失部的像素的数量与所述非丢失部的像素的数量之比与所述非丢失部合计之积减去所述丢失部合计而得到的差分值作为所述丢失像素的像素值。
7.根据权利要求2所述的像素插值装置，其中，
多个所述平均维持插值运算中的至少一个平均维持插值运算的插值中参照的所述非丢失部由位于所述丢失像素的一侧的第1部分和位于所述丢失像素的另一侧的第2部分构成，
在所述第1部分的像素的像素值之和与所述第2部分的像素的像素值之和的差分绝对值或根据该差分绝对值确定的差分指标值大于预定的阈值的情况下，所述判定部选择所述第2组插值运算部中的预先指定的插值运算部。
8.根据权利要求7所述的像素插值装置，其中，
所述预先指定的插值运算部进行线性插值运算或双三次插值运算。
9.根据权利要求8所述的像素插值装置，其中，
参照与丢失像素相邻的非丢失像素进行所述线性插值运算。
10.根据权利要求8所述的像素插值装置，其中，
参照与丢失像素相邻的非丢失像素和与该非丢失像素相邻且位于与所述丢失像素相反的一侧的非丢失像素进行所述双三次插值运算。
11.一种图像处理装置，其中，
所述图像处理装置具有：
3个以上的像素插值装置，它们分别与颜色成分值对应地设置，分别进行对应的颜色成分值的插值，所述像素插值装置分别是权利要求1～10中的任意一项所述的像素插值装置，将对应的颜色成分值作为像素值进行插值；所述输入图像是由3个以上的颜色成分值表示的彩色图像；
亮度色差计算部，其将从所述3个以上的像素插值装置输出的颜色成分值转换成亮度值以及第1色差成分值和第2色差成分值；
色差计算部，其将所述输入图像的颜色成分值转换成第1色差成分值和第2色差成分值；
限制值决定部，其根据通过所述色差计算部中的转换而得到的所述第1色差成分值和第2色差成分值决定至少一个限制值；
限制处理部，其利用由所述限制值决定部决定的所述至少一个限制值限制通过所述亮度色差计算部中的转换而得到的所述第1色差成分值和第2色差成分值；以及
颜色成分值复原部，其将由所述限制处理部限制后的所述第1色差成分值和第2色差成分值以及通过所述亮度色差计算部中的转换而得到的所述亮度值转换成颜色成分值。
12.根据权利要求11所述的图像处理装置，其特征在于，
由所述限制值决定部决定的所述至少一个限制值包含上侧限制值和下侧限制值。
13.根据权利要求11所述的图像处理装置，其特征在于，
所述限制值决定部根据针对所述输入图像的预定范围内的像素通过所述色差计算部中的转换而得到的所述第1色差成分值和第2色差成分值，决定所述至少一个限制值。
14.根据权利要求12所述的图像处理装置，其特征在于，
所述限制值决定部根据针对所述输入图像的预定范围内的像素通过所述色差计算部中的转换而得到的所述第1色差成分值和第2色差成分值，决定所述至少一个限制值。
15.根据权利要求13所述的图像处理装置，其特征在于，
所述预定范围是由各丢失像素周边的像素构成的范围。
16.根据权利要求14所述的图像处理装置，其特征在于，
所述预定范围是由各丢失像素周边的像素构成的范围。
17.根据权利要求11～16中的任意一项所述的图像处理装置，其特征在于，
通过所述亮度色差计算部中的转换而得到的所述第1色差成分值和通过所述色差计算部中的转换而得到的所述第1色差成分值是Cb成分值，
通过所述亮度色差计算部中的转换而得到的所述第2色差成分值和通过所述色差计算部中的转换而得到的所述第2色差成分值是Cr成分值。
18.一种像素插值方法，该像素插值方法具有以下步骤：
多个插值运算步骤；
判定步骤；以及
输出步骤，
在所述多个插值运算步骤中的每个插值运算步骤，根据构成输入图像的像素的像素值对所述输入图像中的各丢失像素的像素值进行插值，输出插值后的像素值作为插值候选值，将所述丢失像素附近的多个非丢失像素作为测试像素，对所述测试像素各自的像素值进行插值，输出插值后的像素值作为该测试像素的测试插值的值，
利用与所述丢失像素的插值相同的插值运算方法进行所述测试像素的插值，
所述多个插值运算步骤包含第1组插值运算步骤和第2组插值运算步骤，
所述第1组插值运算步骤通过平均维持插值运算进行插值，
在所述第1组插值运算步骤相互之间，被参照的像素的数量彼此不同，
所述第2组插值运算步骤通过与所述平均维持插值运算不同的插值运算进行插值，
在所述第2组插值运算步骤相互之间，插值运算方法和被参照的像素的数量中的至少一方彼此不同，
在所述判定步骤中，根据与各丢失像素附近的多个测试像素分别有关的所述测试插值的值与该测试像素的像素值的差分绝对值，计算与所述每个插值运算步骤有关的误差指标值，根据计算出的误差指标值选择所述多个插值运算步骤中的任意插值运算步骤，
在所述输出步骤中，选择并输出针对各丢失像素从所述多个插值运算步骤输出的插值候选值中的、从通过所述判定步骤选择出的插值运算步骤输出的插值候选值。
19.一种计算机能读取的记录介质，该记录介质记录有使计算机执行权利要求18所述的像素插值方法中的处理的程序。
CN201880094839.2A 2018-06-27 2018-06-27 像素插值装置、像素插值方法、图像处理装置和记录介质 Active CN112313934B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/024444 WO2020003422A1 (ja) 2018-06-27 2018-06-27 画素補間装置及び画素補間方法、並びに画像処理装置、並びにプログラム及び記録媒体

Publications (2)

Publication Number Publication Date
CN112313934A CN112313934A (zh) 2021-02-02
CN112313934B true CN112313934B (zh) 2022-05-31

Family

ID=68986778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880094839.2A Active CN112313934B (zh) 2018-06-27 2018-06-27 像素插值装置、像素插值方法、图像处理装置和记录介质

Country Status (5)

Country Link
US (1) US11748852B2 (zh)
JP (1) JP6932260B2 (zh)
CN (1) CN112313934B (zh)
DE (1) DE112018007771T5 (zh)
WO (1) WO2020003422A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002051143A1 (fr) * 2000-12-14 2002-06-27 Matsushita Electric Industrial Co., Ltd. Dispositif d'interpolation de lignes de balayage
CN1879126A (zh) * 2003-11-10 2006-12-13 三菱电机株式会社 平均维持插值运算电路、像素插值电路、平均维持插值运算方法及像素插值方法
CN1918896A (zh) * 2004-02-20 2007-02-21 三菱电机株式会社 图像读取装置和信号处理方法
CN101690153A (zh) * 2007-06-25 2010-03-31 三菱电机株式会社 图像插值装置和方法、以及图像读取装置
CN102685367A (zh) * 2011-01-26 2012-09-19 株式会社理光 图像处理装置与像素插值方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7379105B1 (en) * 2002-06-18 2008-05-27 Pixim, Inc. Multi-standard video image capture device using a single CMOS image sensor
US7015961B2 (en) * 2002-08-16 2006-03-21 Ramakrishna Kakarala Digital image system and method for combining demosaicing and bad pixel correction
JP4610930B2 (ja) * 2003-06-05 2011-01-12 オリンパス株式会社 画像処理装置、画像処理プログラム
JP3767593B2 (ja) * 2003-10-07 2006-04-19 三菱電機株式会社 画素補間回路及び画素補間方法
US7502505B2 (en) * 2004-03-15 2009-03-10 Microsoft Corporation High-quality gradient-corrected linear interpolation for demosaicing of color images
KR20070030223A (ko) * 2004-06-23 2007-03-15 코닌클리케 필립스 일렉트로닉스 엔.브이. 픽셀 보간
JP4326435B2 (ja) * 2004-09-09 2009-09-09 三菱電機株式会社 画像読取装置及び信号処理方法
JP5049460B2 (ja) * 2004-11-09 2012-10-17 イーストマン コダック カンパニー カラー撮像画像データの補間方法およびプログラム
US20070070243A1 (en) * 2005-09-28 2007-03-29 Ali Corporation Adaptive vertical temporal flitering method of de-interlacing
JP4199784B2 (ja) * 2006-07-06 2008-12-17 三菱電機株式会社 画素補間回路、画像読取装置、および画素補間方法
US8559762B2 (en) * 2007-12-28 2013-10-15 Nikon Corporation Image processing method and apparatus for interpolating defective pixels
JP5269718B2 (ja) * 2009-08-18 2013-08-21 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
JP5515552B2 (ja) 2009-09-17 2014-06-11 コニカミノルタ株式会社 画素補間装置、画素補間方法および画像読取装置
JP5590911B2 (ja) * 2010-02-17 2014-09-17 三菱電機株式会社 画像読取装置及び方法
JP5513978B2 (ja) * 2010-05-14 2014-06-04 パナソニック株式会社 撮像装置、集積回路および画像処理方法
JP5699621B2 (ja) 2011-01-19 2015-04-15 株式会社リコー 画像処理装置、画素補間方法およびプログラム
JP2015222895A (ja) * 2014-05-23 2015-12-10 株式会社沖データ 画像補間装置、画像補間プログラム及び画像読取装置
US9990695B2 (en) * 2015-03-27 2018-06-05 Intel Corporation Edge sensing measure for raw image processing
US9582853B1 (en) * 2015-08-03 2017-02-28 Intel Corporation Method and system of demosaicing bayer-type image data for image processing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002051143A1 (fr) * 2000-12-14 2002-06-27 Matsushita Electric Industrial Co., Ltd. Dispositif d'interpolation de lignes de balayage
CN1879126A (zh) * 2003-11-10 2006-12-13 三菱电机株式会社 平均维持插值运算电路、像素插值电路、平均维持插值运算方法及像素插值方法
CN1918896A (zh) * 2004-02-20 2007-02-21 三菱电机株式会社 图像读取装置和信号处理方法
CN101690153A (zh) * 2007-06-25 2010-03-31 三菱电机株式会社 图像插值装置和方法、以及图像读取装置
CN102685367A (zh) * 2011-01-26 2012-09-19 株式会社理光 图像处理装置与像素插值方法

Also Published As

Publication number Publication date
DE112018007771T5 (de) 2021-04-22
US20210272241A1 (en) 2021-09-02
JPWO2020003422A1 (ja) 2021-03-11
WO2020003422A1 (ja) 2020-01-02
JP6932260B2 (ja) 2021-09-08
CN112313934A (zh) 2021-02-02
US11748852B2 (en) 2023-09-05

Similar Documents

Publication Publication Date Title
JP4840468B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US8131067B2 (en) Image processing apparatus, image processing method, and computer-readable media for attaining image processing
KR100755601B1 (ko) 화소 신호 처리 장치 및 화소 신호 처리 방법
US7499089B2 (en) Color interpolation method in bayer array
US10326908B2 (en) Image reading apparatus and image reading method
EP1622393A1 (en) Color interpolation using data dependent triangulation
KR20120081018A (ko) 화상 처리 장치 및 화상 처리 방법, 및 프로그램
US11468543B1 (en) Neural-network for raw low-light image enhancement
JP3253125B2 (ja) カラー画像読取り補正装置
KR100768619B1 (ko) 화소 신호 처리 장치 및 방법
US20220414827A1 (en) Training apparatus, training method, and medium
JP2014200009A (ja) 画像処理装置および方法、並びにプログラム
CN112313934B (zh) 像素插值装置、像素插值方法、图像处理装置和记录介质
JP2014042176A (ja) 画像処理装置および方法、プログラム、並びに、固体撮像装置
KR20150123738A (ko) 화상처리장치 및 화상처리방법
JP3905708B2 (ja) 画像補間装置
US7719575B2 (en) Pixel signal processing apparatus and pixel signal processing method
JP7414455B2 (ja) 焦点検出装置及び方法、及び撮像装置
KR100996797B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 화상 처리를 달성하는프로그램
JP6552248B2 (ja) 画像処理装置及び方法、撮像装置、並びにプログラム
JP4732153B2 (ja) 画素補間方法及び装置、画像読取装置
JP2002218482A (ja) 画像補間装置
JP4334152B2 (ja) 画像補間装置
JP6559020B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2015222895A (ja) 画像補間装置、画像補間プログラム及び画像読取装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant