CN1723690A - 像素插值电路、像素插值方法及图像读取装置 - Google Patents
像素插值电路、像素插值方法及图像读取装置 Download PDFInfo
- Publication number
- CN1723690A CN1723690A CN200480001923.3A CN200480001923A CN1723690A CN 1723690 A CN1723690 A CN 1723690A CN 200480001923 A CN200480001923 A CN 200480001923A CN 1723690 A CN1723690 A CN 1723690A
- Authority
- CN
- China
- Prior art keywords
- interpolation
- data
- pixel
- circuit
- mentioned
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000010586 diagram Methods 0.000 description 11
- 238000000205 computational method Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- 241001269238 Data Species 0.000 description 3
- 238000011157 data evaluation Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/10—Selection of transformation methods according to the characteristics of the input images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/401—Compensating positionally unequal response of the pick-up or reproducing head
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
- H04N2209/046—Colour interpolation to calculate the missing colour values
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
本发明的目的在于提供能够针对具有多种形状的图像进行插值处理而不会产生插值误差的像素插值电路和像素插值方法。为了达成上述目的,本发明的像素插值电路和像素插值方法使用互不相同的多个插值运算方法算出位于插值像素附近的像素的试验插值数据,根据上述试验插值数据和实际像素数据之间的差,选择上述插值运算方法中的任意一种,利用所选择的插值运算方法算出插值像素数据。
Description
技术领域
本发明涉及在使用了图像传感器的图像读取装置中所使用的图像处理,特别涉及对所读取的数字图像进行插值的插值像素数据生成方法。
背景技术
在使用了图像传感器的图像读取装置中,进行对丢失的像素进行插值的像素插值处理。像素插值处理有例如根据与丢失像素相邻的像素数据的平均值求出插值像素数据的方法,和利用最小平方法求出与丢失像素相邻的像素数据的回归直线,并根据该回归线求出插值像素数据的方法等。另外,还有如下述专利文献1所述,根据与丢失像素相邻的4个像素数据求出4次式的曲线,根据该4次式算出插值像素数据(参照专利文献1)。
专利文献1:特开2003-101724号公报(第5~6页,图3~图5)
如上所述,像素插值处理具有各种各样的方法,但由于以往的像素插值电路使用固定的方法来进行像素插值处理,所以存在实际像素和插值像素之间的差(插值误差)变大的问题。即,由于不考虑图像的特征而使用固定的方法来进行像素插值处理,所以存在的问题是:形成轮廓部分那样的图像的区域中的插值误差变大,图像质量劣化。
发明内容
本发明就是为了解决上述问题而提出的,其目的在于提供能够对具有多种形状的图像进行插值处理而不产生插值误差的像素插值电路和像素插值方法。
本发明是一种像素插值电路,其根据构成原图像的像素数据,生成对该原图像进行插值的插值像素数据,其特征在于,具有:
多个插值运算单元,其使用互不相同的插值运算方法算出对上述原图像进行插值的插值像素的插值候选数据和位于该插值像素附近的多个像素的试验插值数据;
判定单元,其根据上述试验插值数据和实际像素数据之间的差,选择上述插值运算单元中的任意一个;
输出电路,其输出由所选择的上述插值运算单元算出的上述插值候选数据作为对上述原图像进行插值的插值像素数据。
另外,本发明是一种插值方法,根据构成原图像的像素数据,生成对该原图像进行插值的插值像素数据,具有以下步骤:
使用互不相同的插值运算方法算出对上述原图像进行插值的插值像素的插值候选数据和位于该插值像素附近的多个像素的试验插值数据;
根据上述试验插值数据和实际像素数据之间的差,选择上述插值运算方法中的任意一种;
输出由所选择的上述插值运算方法算出的上述插值候选数据作为对上述原图像进行插值的插值像素数据。
本发明的像素插值电路和像素插值方法利用互不相同的插值运算方法算出位于插值像素附近的多个像素的试验插值数据,根据上述试验插值数据和实际像素数据之间的差,选择上述插值运算方法中的任意一种,从而可以准确地算出插值像素数据。
附图说明
图1是表示本发明的像素插值电路的结构的方框图。
图2是表示像素插值运算的步骤的流程图。
图3是表示试验像素的一例的示意图。
图4是表示判定数据的计算步骤的流程图。
图5是表示试验像素和判定数据之间的对应关系的图。
图6是表示评价数据的计算步骤的流程图。
图7是表示插值运算电路和评价数据之间的对应关系的图。
图8是表示本发明的像素插值电路的结构的方框图。
图9是表示原图像数据和输入图像数据的一例的图。
图10是用于对插值运算进行说明的图。
图11是用于对左右平均插值运算电路的试验插值数据和插值候选数据的计算方法进行说明的图。
图12是用于对右斜平均插值运算电路的试验插值数据和插值候选数据的计算方法进行说明的图。
图13是表示判定数据M1和M2的值的图。
图14是表示评价数据S1和S2的值的图。
图15是表示本发明的像素插值电路的结构的方框图。
图16是表示原图像数据和输入图像数据的一例的图。
图17是用于对左斜平均插值运算电路的试验插值数据和插值候选数据的计算方法进行说明的图。
图18是表示判定数据M1~M4的值的图。
图19是表示评价数据S1~S3的值的图。
图20是表示判定数据M1和M2的值的图。
图21是表示评价数据S1~S3的值的图。
符号说明
1管理电路、2判定电路、3输出电路、4插值运算部、4a第1插值运算电路、4b第2插值运算电路、4n第n插值运算电路、5左右平均插值运算电路、6右斜平均插值运算电路、7左斜平均插值运算电路
具体实施方式
图1是表示本发明的像素插值电路的结构的方框图。图1所示的像素插值电路具有管理电路1、判定电路2、输出电路3和插值运算部4。插值运算部4由分别利用不同方法进行插值运算的第1~n插值运算电路4a~4n构成(n为大于等于2的整数)。表示复印机等图像读取装置所读取的图像的图像数据DI被分别输入给管理电路1、判定电路2、插值运算部4和输出电路3。输入到插值运算部4中的图像数据DI被分别输入给第1~n插值运算电路。
图2是表示图1所示的像素插值电路的处理步骤的流程图。
首先,在第1插值运算电路4a中,对位于图像数据DI中包含的丢失像素的周边的各个像素T1~Tm(下面,称为试验像素)进行试验插值运算,算出试验插值数据TD1[T1]~TD1[Tm](St1)。
图3是表示丢失像素和试验像素的一例的示意图。在图3中,×表示丢失像素,○表示实际存在的像素(非丢失像素)。L是成为插值运算的对象的丢失像素,位于丢失像素L的周围的T1~Tm(m=2×k)非丢失像素被作为试验像素来使用。图3(a)表示将在丢失像素L的左右两侧水平方向上排列的非丢失像素T1~Tm作为试验像素来使用的例子,图3(b)是将在丢失像素L的左右两侧的2维方向上排列的非丢失像素作为试验像素来使用。
试验插值运算是通过将试验像素T1~Tm分别假定为丢失的像素,算出对各试验像素进行插值的插值像素数据来进行的。例如,试验像素T1的试验插值数据TD1[T1]是通过根据试验像素T1附近的非丢失像素来算出该像素的插值图像数据而求出的。
第1插值运算电路4a所算出的试验插值数据TD1[T1]~TD1[Tm]被送往判定电路2(图1中,用TD1表示)。判定电路2算出表示试验插值数据TD1[T1]~TD1[Tm]和试验像素T1~Tm的值DI[T1]~DI[Tm]之间的误差的判定数据M1[T1]~M1[Tm](St2)。判定数据M1[T1]~M1[Tm]被送往管理电路1。
当针对最后的试验像素Tm算出了试验插值数据TD1[Tm]和判定数据M1[Tm]时(St3),第1插值运算电路4a对丢失像素L进行插值运算,算出插值候选数据D1(St4)。插值候选数据D被送往输出电路3。
在第2~n插值运算电路4b~4n中也同样地实施上述St1~St4的处理。即,在第2~n插值运算电路4b~4n中算出试验插值数据TD2[T1]~TD2[Tm],…~…TDn[T1]~TDn[Tm],并送往判定电路2(在图1中,用TD2~TDn表示)。判定电路2算出针对这些试验插值数据的判定数据M2[T1]~M2[Tm],…~…Mn[T1]~Mn[Tm]。然后,在第2~n插值运算电路4b~4n中针对丢失像素L算出插值候选数据D2~Dn,并送往输出电路3。
图4是表示St2中的判定数据计算步骤的详细流程图。
判定电路2算出试验插值数据TD1[T1]~TD1[Tm]和试验像素T1~Tm的值DI[T1]~DI[Tm]之间的差的绝对值(St21),将算出的绝对值作为判定数据M1[T1]~M1[Tm]而输出(St22)。即,根据下面的公式(1)算出判定数据M1[T1]~M1[Tm]。
M1[T1]=|TD1[T1]-DI[T1]|
~ 公式(1)
M1[Tm]=|TD1[Tm]-DI[Tm]|
判定电路2也对由第2~n插值运算电路4b~4n算出的试验插值数据TD2[T1]~TD2[Tm],…~…TDn[T1]~TDn[Tm]实施St21和St22的处理,算出判定数据M2[T1]~M2[Tm],…~…Mn[T1]~Mn[Tm]。
图5是表示由判定电路2算出的全部判定数据的表格。如图5所示,利用第1~n插值运算电路4a~4n,针对n×m个试验插值数据分别算出判定数据,其中这n×m个试验插值数据是针对试验像素T1~Tm而算出的。
接着,在管理电路1中,进行判定数据M1[T1]~M1[Tm],…~…Mn[T1]~Mn[Tm]的评价(St6)。
图6是表示St6的判定数据评价步骤的详细流程图。
管理电路1首先通过算出判定数据M1[T1]~M1[Tm]的总和,求出针对第1插值运算电路4a的评价数据S1(S61)。
管理电路1对第2~n插值运算电路4b~4n也同样地算出评价数据S2~Sn(St62)。
评价数据S1的计算方法利用下面的公式(2)来表示。
S1=M1[T1]+M1[T2]+…+M1[Tm]
~ 公式(2)
Sn=Mn[T1]+Mn[T2]+…+Mn[Tm]
图7表示插值运算电路和评价数据S1~Sn的对应关系。
接着,选择所算出的评价数据S1~Sn中的最小的评价数据Sx(St63),确定与该评价数据Sx对应的插值运算电路4x(St64)。由于试验插值数据和实际图像数据之间的误差越小则评价数据越小,所以评价数据为最小的插值运算电路4x被认为插值正确性最高,即插值误差最小。管理电路2向输出电路3发送用于选择由插值运算电路4x算出的插值候选数据Dx的选择信号C(St65)。
输出电路3根据选择信号C选择插值候选数据Dx,作为插值数据DO输出(St7)。
对全部的丢失像素进行上述St1~St7的处理,算出插值像素数据DO(St8)。
图8是表示插值运算部4的结构的具体例的方框图。图8所示的像素插值电路的插值运算部4由左右平均插值运算电路5和右斜平均插值运算电路6构成。
图10是用于对左右平均插值运算电路5和右斜平均插值运算电路6中的插值运算方法进行说明的图。在图10中,L表示成为插值运算的对象的丢失像素,A~B表示位于丢失像素L的附近的像素。
左右平均插值运算电路5算出位于丢失像素L的左右的像素B和E的平均值XL,右斜平均插值运算电路6算出位于丢失像素L的右上和左下的像素D和C的平均值。当将像素A~F的数据值(灰度值)设为XA~XF时,利用下面的公式(3)、(4)分别表示由左右平均插值运算电路5和右斜平均插值运算电路6算出的平均值XL。
XL=(XB+XE)/2 …公式(3)
XL=(XC+XD)/2 …公式(4)
图9是表示输入给插值运算电路的图像数据的一例的示意图。在图9中,○和●表示非丢失像素,×表示丢失像素。图9(a)表示原图像,图9(b)表示在利用复印机等读取图9(a)的图像时,由LL表示的部分的像素丢失了的状态,该丢失部分LL中的原图像表示右斜方向的轮廓。并且,各像素的灰度值用8比特(0~255)数据表示,○表示灰度值为255的像素,●表示灰度值为0的像素。
下面,说明图9(b)所示的丢失像素L的插值像素数据的计算步骤。这里如图9(b)所示,假设将丢失像素L的左右各2个像素T1~T4作为试验像素来使用。
左右平均插值运算电路5利用公式(3)算出图9(b)所示的试验像素T1~T4的试验插值数据TD1[T1]~TD1[T4]。
图11是用于对左右平均插值运算电路5的试验插值数据和插值候选数据的计算方法进行说明的图。
如图11(a)所示,通过算出试验像素T1的左右的像素T1B和T1E的平均值来求出试验像素T1的试验插值数据TD1[T1]。
如图11(b)所示,通过算出试验像素T2的左右的像素T2B和T2E的平均值来求出试验像素T2的试验插值数据TD1[T2]。
如图11(c)所示,通过算出试验像素T3的左右的像素T3B和T3E的平均值来求出试验像素T3的试验插值数据TD1[T3]。
如图11(d)所示,通过算出试验像素T4的左右的像素T4B和T4E的平均值来求出试验像素T4的试验插值数据TD1[T4]。
从而,按下面所示算出试验插值数据TD1[T1]~TD1[T4]。
TD1[T1]=(T1B+T1E)/2=(255+255)/2=255
TD1[T2]=(T2B+T2E)/2=(255+0)/2=127.5
TD1[T3]=(T3B+T3E)/2=(255+0)/2=127.5
TD1[T4]=(T4B+T4E)/2=(0+0)/2=0
对于插值候选数据D1,如图11(e)所示,使用丢失像素L的左右的像素LB和LE按下面所示来算出。
D1=(LB+LE)/2=(255+0)/2=127.5
判定电路2通过算出试验插值数据TD1[T1]~TD1[T4]和试验像素T1~T4的值DI[T1]~DI[T4]之间的差的绝对值,来求出判定数据M1[T1]~M1[T4]。
按下面所示来算出判定数据M1[T1]~M1[T4]。
M1[T1]=|TD1[T1]-DI[T1]|=|255-255|=0
M1[T2]=|TD1[T2]-DI[T2]|=|127.5-255|=127.5
M1[T3]=|TD1[T3]-DI[T3]|=|127.5-0|=127.5
M1[T4]=|TD1[T4]-DI[T4]|=|0-0|=0
另外,右斜平均插值运算电路6使用公式(4)求出图9(b)所示的试验像素T1~T4的试验插值数据TD1[T1]~TD1[T4]。
图12是用于对右斜平均插值运算电路6的试验插值数据和插值候选数据的计算方法进行说明的图。
如图12(a)所示,通过算出试验像素T1的右上和左下的像素T1D和T1C的平均值来求出试验像素T1的试验插值数据TD2[T1]。
如图12(b)所示,通过算出试验像素T2的右上和左下的像素T2D和T2C的平均值来求出试验像素T2的试验插值数据TD2[T2]。
如图12(c)所示,通过算出试验像素T3的右上和左下的像素T3D和T3C的平均值来求出试验像素T3的试验插值数据TD2[T3]。
如图12(d)所示,通过算出试验像素T4的右上和左下的像素T4D和T4C的平均值来求出试验像素T4的试验插值数据TD2[T4]。
从而,按下面所示算出试验插值数据TD2[T1]~TD2[T4]。
TD2[T1]=(T1C+T1D)/2=(255+255)/2=255
TD2[T2]=(T2C+T2D)/2=(255+0)/2=127.5
TD2[T3]=(T3C+T3D)/2=(0+0)/2=0
TD2[T4]=(T4C+T4D)/2=(0+0)/2=0
对于插值候选数据D2,如图12(e)所示,使用丢失像素L的右上和左下的像素LD和LC按下面所示来算出。
D2=(LC+LD)/2=(0+0)/2=0
判定电路2通过算出试验插值数据TD2[T1]~TD2[T4]和试验像素T1~T4的值DI[T1]~DI[T4]之间的差的绝对值,来求出判定数据M2[T1]~M2[T4]。
按下面所示来算出判定数据M2[T1]~M2[T4]。
M2[T1]=|TD2[T1]-DI[T1]|=|255-255|=0
M2[T2]=|TD2[T2]-DI[T2]|=|127.5-255|=127.5
M2[T3]=|TD2[T3]-DI[T3]|=|0-0|=0
M2[T4]=|TD2[T4]-DI[T4]|=|0-0|=0
图13表示如上算出的试验像素T1~T4的判定数据M1和M2的值。
管理电路1对判定数据M1[T1]~M1[T4]进行加法运算,算出评价左右平均插值运算电路5的插值正确性的评价数据S1。
评价数据S1为:
S1=M1[T1]+M1[T2]+M1[T3]+M1[T4]
=0+127.5+127.5+0=255。
同样,管理电路1对判定数据M2[T1]~M2[T4]进行加法运算,算出评价右斜平均插值运算电路6的插值正确性的评价数据S2。
评价数据S2为:
S2=M2[T1]+M2[T2]+M2[T3]+M2[T4]
=0+127.5+0+0=127.5。
图14表示左右平均插值运算电路5的评价数据S1和右斜平均插值运算电路6的评价数据S2的值。如图14所示,右斜平均插值运算电路6的评价数据S2为最小。如前面所述,试验插值数据和实际图像数据之间的误差越小则评价数据越小。如图9(a)所示,由于原图像数据表示右斜方向的轮廓,所以右斜平均插值运算是插值正确性高的运算方法。图14所示的评价数据也同样地表示右斜平均插值运算电路6的插值正确性高。
管理电路1选择最小的评价数据S2,确定与其对应的右斜平均插值运算电路6。然后,向输出电路3发送用于选择由右斜平均插值运算电路6所算出的插值像素L的插值候选数据D2的选择信号C。
输出电路3根据选择信号C,将右斜平均插值运算电路6所输出的插值候选数据D2=0作为插值像素数据DO=0输出。
如图9(a)所示,原图像中的丢失像素L的数据值为0。因此,可以看出,与左右平均插值运算电路5所算出的插值候选数据D1=127.5相比,右斜平均插值运算电路6所算出的插值候选数据D2=0的插值误差更小。
如上所述,通过根据试验插值运算的结果来选择利用不同的插值运算方法算出的插值候选数据,可以根据插值像素附近的轮廓和原图像的特征等使用最佳的插值运算方法,准确地算出插值像素数据。
实施方式2
图15是表示插值运算部4的另一结构的方框图。图15所示的像素插值电路的插值运算部4由左右平均插值运算电路5、右斜平均插值运算电路6和左斜平均插值运算电路7构成。左右平均插值运算电路5、右斜平均插值运算电路6和图8所示的相同,利用前面所述的方法进行试验插值数据和插值候选数据的计算。
左斜平均插值运算电路7算出位于成为插值运算的对象的像素的左上和右下的像素的平均值。即,在图10中,算出位于像素L的左上的像素A和F的平均值XL。当将像素A和F的数据值(灰度值)设为XA~XF时,利用下面的公式(5)来表示由左斜平均插值运算电路7算出的平均值XL。
XL=(XA+XF)/2 …公式(5)
图16是表示输入给插值运算电路的图像数据DI的另一例的示意图。在图16中,○和●表示非丢失像素,×表示丢失像素。图16(a)表示原图像,图16(b)表示在利用复印机等读取图16(a)的图像时,由LL表示的部分的像素丢失了的状态,该丢失部分LL中的原图像表示左斜方向的轮廓。并且,各像素的灰度值用8比特(0~255)数据表示,○表示灰度值为255的像素,●表示灰度值为0的像素。
下面,说明图16(b)所示的丢失像素L的插值像素数据的计算步骤。这里如图16(b)所示,假设将丢失像素L的左右各2个像素T1~T4作为试验像素来使用。
左斜平均插值运算电路7利用公式(5)算出图16(b)所示的试验像素T1~T4的试验插值数据TD3[T1]~TD3[T4]。
图17是用于对左斜平均插值运算电路7中的试验插值数据和插值候选数据的计算方法进行说明的图。
如图17(a)所示,通过算出试验像素T1的左上和右下的像素T1A和T1F的平均值来求出试验像素T1的试验插值数据TD3[T1]。
如图17(b)所示,通过算出试验像素T2的左上和右下的像素T2A和T2F的平均值来求出试验像素T2的试验插值数据TD3[T2]。
如图17(c)所示,通过算出试验像素T3的左上和右下的像素T3A和T3F的平均值来求出试验像素T3的试验插值数据TD3[T3]。
如图17(d)所示,通过算出试验像素T4的左上和右下的像素T4A和T4F的平均值来求出试验像素T4的试验插值数据TD3[T4]。
从而,按下面所示算出试验插值数据TD3[T1]~TD3[T4]。
TD3[T1]=(T1A+T1F)/2=(255+255)/2=255
TD3[T2]=(T2A+T2F)/2=(255+0)/2=127.5
TD3[T3]=(T3A+T3F)/2=(0+0)/2=0
TD3[T4]=(T4A+T4F)/2=(0+0)/2=0
对于插值候选数据D3,如图17(e)所示,使用丢失像素L的右上和左下的像素LA和LF按下面所示来算出。
D3=(LA+LF)/2=(0+0)/2=0
判定电路2通过算出试验插值数据TD3[T1]~TD2[T4]和试验像素T1~T4的值DI[T1]~DI[T4]之间的差的绝对值,来求出判定数据M3[T1]~M2[T4]。
按下面所示来算出判定数据M3[T1]~M2[T4]。
M3[T1]=|TD1[T1]-DI[T1]|=|255-255|=0
M3[T2]=|TD3[T2]-DI[T2]|=|127.5-255|=127.5
M3[T3]=|TD3[T3]-DI[T3]|=|0-0|=0
M3[T4]=|TD3[T4]-DI[T4]|=|0-0|=0
同样,左右平均插值运算电路5和右斜平均插值运算电路6分别算出插值候选数据D1、D2,和试验插值数据TD1[T1]~TD1[T4]、TD2[T1]~TD2[T4],判定电路2根据这些试验插值数据算出判定数据M1[T1]~M1[T4]、M2[T1]~M2[T4]。另外,由于之前已经对左右平均插值运算电路5和右斜平均插值运算电路6中的处理进行了说明,所以这里省略详细说明。
并且,由左右平均插值运算电路5算出的插值候选数据为D1=127.5,由右斜平均插值运算电路6算出的插值候选数据为D2=127.5。
图18表示所算出的试验像素T1~T4的判定数据M1、M2、M3的值。
管理电路1对判定数据M1[T1]~M1[T4]进行加法运算,算出评价左右平均插值运算电路5的插值正确性的评价数据S1。
评价数据S1为:
S1=M1[T1]+M1[T2]+M1[T3]+M1[T4]
=0+127.5+127.5+0=255。
同样,管理电路1对判定数据M2[T1]~M2[T4]进行加法运算,算出评价右斜平均插值运算电路6的插值正确性的评价数据S2。
评价数据S2为:
S2=M2[T1]+M2[T2]+M2[T3]+M2[T4]
=127.5+127.5+127.5+0=382.5。
同样,管理电路1对判定数据M3[T1]~M3[T4]进行加法运算,算出评价左斜平均插值运算电路7的插值正确性的评价数据S3。
评价数据S3为:
S3=M3[T1]+M3[T2]+M3[T3]+M3[T4]
=0+127.5+0+0=127.5。
图19是表示左右平均插值运算电路5、右斜平均插值运算电路6和左斜平均插值运算电路7的评价数据S1、S2、S3的值的图。如图19所示,左斜平均插值运算电路7的评价数据S3为最小。如前面所述,试验插值数据和实际图像数据之间的误差越小则评价数据越小。由于图16(a)所示的原图像数据表示右斜方向的轮廓,所以左斜平均插值运算是插值正确性高的运算方法。图19所示的评价数据也同样地表示左斜平均插值运算电路7的插值正确性高。
管理电路1选择最小的评价数据S3,确定与其对应的左斜平均插值运算电路7。然后,向输出电路3发送用于选择左斜平均插值运算电路7所算出的插值候选数据D3的选择信号C。
输出电路3根据选择信号C,将左斜平均插值运算电路7所输出的插值候选数据D3=0作为插值像素数据DO=0输出。
如图16(a)所示,原图像中的丢失像素L的数据值为0。因此,可以看出,与左右平均插值运算电路5和右斜平均插值运算电路6所算出的插值候选数据D1=127.5、D2=127.5相比,左斜平均插值运算电路7所算出的插值候选数据D3=0的插值误差更小。
这样,通过进一步设置左斜平均插值运算电路7,在输入了具有左斜方向的轮廓的图像的情况下,也能够进行准确的插值处理。即,可以对包含有方向不同的轮廓的图像进行最佳的插值运算处理。
并且,本发明的像素插值电路不仅可以对图9(a)和图16(a)所示的丢失像素进行插值,也可以在增加原图像的像素数量时使用。
另外,在插值运算电路部4中,也可以使用左右平均插值运算、右斜平均插值运算、左斜平均插值运算以外的方法来算出插值候选数据。例如,可以使用如下的方法等:使用最小平方法求出与插值像素相邻的像素的回归直线,并根据该回归直线求出插值像素数据的方法;根据与插值像素相邻的4个像素的数据求出4次曲线,并根据该4次曲线求出插值像素数据的方法。这里,由于可以在不对电路整体的结构作很大改变的情况下在本发明的像素插值电路中追加和变更插值运算部4的插值运算电路,所以除了左右平均插值运算电路5、右斜平均插值电路6和左斜平均插值电路7之外,还可以追加其他的插值运算电路。
实施方式3
在构成插值运算部4的插值运算电路的数量增加的情况下,要在判定电路2中处理的判定数据的量增加,但是通过使用规定的阈值对判定数据的值进行二值化、或三值化,可以削减数据量,简化处理。
作为一例,说明对判定数据的值进行三值化处理的方法。
判定处理电路2将第1插值运算电路4a所算出的试验插值数据TD1[T1]和试验像素T1的数据值DI[T1]之间的差的绝对值与预先设定的2个阈值TH1、TH2(0≤TH1<TH2)进行比较,在上述绝对值小于阈值TH1的情况下将判定数据M1[1]设为-1,在大于等于阈值TH1且小于阈值T2的情况下设为0,在大于等于阈值T2的情况下设为1。
即,
0≤|TD1[T1]-DI[T1]|<TH1的情况下,
M1[T1]=-1
TH1≤|TD1[T1]-DI[T1]|<TH2的情况下,
M1[T1]=0
TH2≤|TD1[T1]-DI[T1]|的情况下,
M1[T1]=1。
判定电路2同样地算出试验像素T2~Tm的判定数据M1[T2]~M1[Tm]。
即,
0≤|TD1[T2]-DI[T2]|<TH1的情况下,
M1[T2]=-1
TH1≤|TD1[T2]-DI[T2]|<TH2的情况下,
M1[T2]=0
TH2≤|TD1[T2]-DI[T2]|的情况下,
M1[T2]=1
~
0≤|TD1[Tm]-DI[Tm]|<TH1的情况下,
M1[Tm]=-1
TH1≤|TD1[Tm]-DI[Tm]|<TH2的情况下,
M1[Tm]=0
TH2≤|TD1[Tm]-DI[Tm]|的情况下,
M1[Tm]=1。
根据以上所算出的判定数据M1[T1]~M1[Tm],利用-1、0、1这3个值来表示各试验像素的试验插值数据的误差的大小,在误差小的情况下,判定数据为-1。
判定电路2对于由第2~n插值运算电路4b~4n算出的试验插值数据TD2[T1]~TD2[Tm],…~…TDn[T1]~TDn[Tm]也同样,算出三值化后的判定数据MD2[T1]~MD2[Tm],…~…MDn[T1]~MDn[Tm]。
下面,说明在图8所示的像素插值电路中,对由左右平均插值运算电路5和右斜平均插值运算电路6算出的判定数据进行三值化的情况。这里,假设要求图9(b)所示的图像的丢失像素L的插值像素数据,阈值分别设为TH1=50、TH2=100。
如实施方式1中计算的那样,由左右平均插值运算电路5算出的试验插值数据TD1[T1]~TD1[T4]和试验像素T1~T4的数据值DI[T1]~DI[T4]之间的差的绝对值为:
|TD1[T1]-DI[T1]|=|255-255|=0
|TD1[T2]-DI[T2]|=|127.5-255|=127.5
|TD1[T3]-DI[T3]|=|127.5-0|=127.5
|TD1[T4]-DI[T4]|=|0-0|=0。
将这些绝对值与阈值TH1=50、TH2=100进行比较,其大小关系为:
|TD1[T1]-DI[T1]|<TH1
TH2≤|TD1[T2]-DI[T2]|
TH2≤|TD1[T3]-DI[T3]|
|TD1[T4]-DI[T4]|<TH1。
因此,由左右平均插值运算电路5算出的判定数据分别为:
M1[T1]=-1
M1[T2]=1
M1[T3]=1
M1[T4]=-1。
另外,由右斜平均插值运算电路6算出的试验插值数据TD1[T1]~TD1[T4]和试验像素T1~T4的数据值DI[T1]~DI[T4]之间的差的绝对值为:
|TD2[T1]-DI[T1]|=|255-255|=0
|TD2[T2]-DI[T2]|=|127.5-255|=127.5
|TD2[T3]-DI[T3]|=0-0|=127.5
|TD2[T4]-DI[T4]|=|0-0|=0。
当将这些绝对值与阈值TH1=50、TH2=100进行比较时,其大小关系为:
|TD2[T1]-DI[T1]|<TH1
TH2≤|TD2[T2]-DI[T2]|
|TD2[T3]-DI[T3]|<TH1
|TD2[T4]-DI[T4]|<TH1。
因此,由右斜平均插值运算电路6算出的判定数据分别为:
M2[T1]=-1
M2[T2]=1
M2[T3]=-1
M2[T4]=-1。
图20是表示试验像素T1~T4的判定数据M1、M2的值的图。
管理电路1对三值化后的判定数据M1[T1]~M1[T4]进行加法运算,算出左右平均插值运算电路5的评价数据S1。评价数据S1为:
S1=M1[T1]+M1[T2]+M1[T3]+M1[T4]
=(-1)+1+1+(-1)=0。
同样,管理电路1对判定数据M2[T1]~M2[T4]进行加法运算,算出右斜平均插值运算电路6的评价数据S2。评价数据S2为:
S2=M2[T1]+M2[T2]+M2[T3]+M2[T4]
=(-1)+1+(-1)+(-1)=-2。
图21是表示左右平均插值运算电路5的评价数据S1和右斜平均插值运算电路6的评价数据S2的值的图。如图21所示,右斜平均插值运算电路6的评价数据S2为最小。如前面所述,试验插值数据和实际图像数据之间的误差越小则评价数据越小。由于图9(a)所示的原图像数据表示右斜方向的轮廓,所以右斜平均插值运算是插值正确性高的运算方法。如14所示的评价数据也同样,S2为最小,表示右斜平均插值运算电路6的插值正确性高。因此,即使在对判定数据进行三值化的情况下,也能够正确地选择插值运算方法。
在上述说明中,使用2个阈值对判定数据进行了三值化,但可以通过设定1个阈值,对判定数据进行二值化来进一步地削减数据量。另外,通过削减判定数据的量化位数也可以获得同样的效果。
并且,本发明的像素插值电路可以由硬件和软件的任意一种来构成,另外,也可以使两者适当地混合而构成。
Claims (7)
1.一种像素插值电路,其根据构成原图像的像素数据,生成对该原图像进行插值的插值像素数据,其特征在于,具有:
多个插值运算单元,其使用互不相同的插值运算方法算出对上述原图像进行插值的插值像素的插值候选数据和位于该插值像素附近的多个像素的试验插值数据;
判定单元,其根据上述试验插值数据和实际像素数据之间的差,选择上述插值运算电路中的任意一个;
输出电路,其输出利用所选择的上述插值运算电路算出的上述插值候选数据作为对上述丢失像素进行插值的插值像素数据。
2.根据权利要求1所述的像素插值电路,其特征在于,上述判定电路算出由上述插值运算电路算出的上述试验插值数据和实际像素数据之间的差的绝对值的总和,并向上述输出电路发送用于指定由该总和为最小的上述插值运算电路算出的上述插值候选数据的选择信号。
3.根据权利要求2所述的像素插值电路,其特征在于,上述判定电路算出使用规定的阈值将上述试验插值数据和实际像素数据之间的差的绝对值进行二值化或三值化后的值的总和。
4.一种像素插值方法,根据构成原图像的像素数据,生成对该原图像进行插值的插值像素数据,其特征在于,具有以下步骤:
使用互不相同的插值运算方法算出对上述原图像进行插值的插值像素的插值候选数据和位于该插值像素附近的多个像素的试验插值数据;
根据上述试验插值数据和实际像素数据之间的差,选择上述插值运算方法中的任意一种;
输出由所选择的插值运算方法算出的上述插值候选数据作为对上述原图像进行插值的插值像素数据。
5.根据权利要求4所述的像素插值方法,其特征在于,算出上述试验插值数据和实际像素数据之间的差的绝对值的总和,选择该总和为最小的上述插值运算方法。
6.根据权利要求5所述的像素插值方法,其特征在于,算出使用规定的阈值对上述试验插值数据和实际像素数据之间的差的绝对值进行二值化或三值化后的值的总和。
7.一种图像读取装置,其特征在于,具有权利要求1~3中的任一项所述的像素插值电路。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP347944/2003 | 2003-10-07 | ||
JP2003347944A JP3767593B2 (ja) | 2003-10-07 | 2003-10-07 | 画素補間回路及び画素補間方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1723690A true CN1723690A (zh) | 2006-01-18 |
CN100334873C CN100334873C (zh) | 2007-08-29 |
Family
ID=34430942
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2004800019233A Expired - Fee Related CN100334873C (zh) | 2003-10-07 | 2004-06-30 | 像素插值电路、像素插值方法及图像读取装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20060050990A1 (zh) |
EP (1) | EP1672907A4 (zh) |
JP (1) | JP3767593B2 (zh) |
CN (1) | CN100334873C (zh) |
TW (1) | TWI257588B (zh) |
WO (1) | WO2005036868A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101888468B (zh) * | 2009-05-12 | 2012-09-19 | 东芝设计与制造株式会社 | 图像内插装置以及图像内插方法 |
CN102694956A (zh) * | 2011-01-21 | 2012-09-26 | 株式会社理光 | 图像处理装置及像素插值方法 |
US8320715B2 (en) | 2007-06-25 | 2012-11-27 | Mitsubishi Electric Corporation | Device and method for interpolating image, and image scanner |
CN106464970A (zh) * | 2014-05-09 | 2017-02-22 | 日立麦克赛尔株式会社 | 影像再现装置、显示装置和发送装置 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4775221B2 (ja) * | 2006-10-02 | 2011-09-21 | コニカミノルタホールディングス株式会社 | 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム |
JP4900025B2 (ja) * | 2007-05-08 | 2012-03-21 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
US8559762B2 (en) * | 2007-12-28 | 2013-10-15 | Nikon Corporation | Image processing method and apparatus for interpolating defective pixels |
JP2010061565A (ja) | 2008-09-05 | 2010-03-18 | Konica Minolta Business Technologies Inc | 画素補間装置、画素補間方法および画像読取装置 |
EP2242019B1 (en) * | 2009-04-15 | 2016-01-13 | Mitsubishi Electric R&D Centre Europe B.V. | Image region interpolation |
US9064190B2 (en) | 2010-08-09 | 2015-06-23 | Board Of Regents Of The University Of Texas System | Estimating pixel values in digital image processing |
JP6932260B2 (ja) | 2018-06-27 | 2021-09-08 | 三菱電機株式会社 | 画素補間装置及び画素補間方法、並びに画像処理装置、並びにプログラム及び記録媒体 |
KR102132690B1 (ko) * | 2019-01-30 | 2020-07-13 | 인천대학교 산학협력단 | 초고해상도 영상 복원 시스템 |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63122385A (ja) * | 1986-11-11 | 1988-05-26 | Nec Corp | 画像信号帯域圧縮方式 |
US5430811A (en) * | 1991-12-25 | 1995-07-04 | Matsushita Electric Industrial Co., Ltd. | Method for interpolating missing pixels and an apparatus employing the method |
US5418714A (en) * | 1993-04-08 | 1995-05-23 | Eyesys Laboratories, Inc. | Method and apparatus for variable block size interpolative coding of images |
JP3125124B2 (ja) * | 1994-06-06 | 2001-01-15 | 松下電器産業株式会社 | 欠陥画素傷補正回路 |
JPH08321944A (ja) * | 1995-05-25 | 1996-12-03 | Kokusai Electric Co Ltd | 画像データ補間方法 |
US5917963A (en) * | 1995-09-21 | 1999-06-29 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
KR970049856A (ko) * | 1995-12-30 | 1997-07-29 | 김광호 | 복수개의 라이센서를 갖는 화상독취 장치에서 센서간 거리 보정 방법 및 회로 |
MY117289A (en) * | 1996-01-17 | 2004-06-30 | Sharp Kk | Image data interpolating apparatus |
JP3706189B2 (ja) * | 1996-03-15 | 2005-10-12 | 富士写真フイルム株式会社 | 画像データの補間処理方法およびその方法を使用した装置 |
JP3503372B2 (ja) * | 1996-11-26 | 2004-03-02 | ミノルタ株式会社 | 画素補間装置及びその画素補間方法 |
US6075926A (en) * | 1997-04-21 | 2000-06-13 | Hewlett-Packard Company | Computerized method for improving data resolution |
US6002812A (en) * | 1997-07-10 | 1999-12-14 | Samsung Electronics Co., Ltd. | Interpolation method for binary image |
US6563538B1 (en) * | 1997-09-26 | 2003-05-13 | Nikon Corporation | Interpolation device, process and recording medium on which interpolation processing program is recorded |
JPH11122626A (ja) * | 1997-10-17 | 1999-04-30 | Nikon Corp | 画像処理方法及び装置並びに画像処理プログラムを記録した記録媒体 |
JP4066484B2 (ja) * | 1997-12-08 | 2008-03-26 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにカメラ |
EP1001353A1 (en) * | 1998-11-10 | 2000-05-17 | Sony Corporation | Interpolation apparatus and methods and image display apparatus |
JP2001024883A (ja) * | 1999-07-07 | 2001-01-26 | Fuji Photo Film Co Ltd | 画像処理装置、画像処理装置の制御方法、及び記録媒体 |
JP3644874B2 (ja) * | 1999-07-15 | 2005-05-11 | シャープ株式会社 | 画像補間装置 |
WO2001011879A1 (fr) * | 1999-08-05 | 2001-02-15 | Sanyo Electric Co., Ltd. | Procédé d'interpolation d'images |
JP2001307079A (ja) * | 2000-04-26 | 2001-11-02 | Seiko Epson Corp | 画像処理装置、画像処理方法および記録媒体 |
JP2002027325A (ja) * | 2000-07-04 | 2002-01-25 | Victor Co Of Japan Ltd | 不良画素補正装置及び方法 |
JP2002165092A (ja) * | 2000-11-24 | 2002-06-07 | Canon Inc | 画像処理装置及び画像処理方法 |
US6900836B2 (en) * | 2001-02-19 | 2005-05-31 | Eastman Kodak Company | Correcting defects in a digital image caused by a pre-existing defect in a pixel of an image sensor |
JP2003078821A (ja) * | 2001-08-31 | 2003-03-14 | Hitachi Kokusai Electric Inc | 撮像装置 |
US7245326B2 (en) * | 2001-11-19 | 2007-07-17 | Matsushita Electric Industrial Co. Ltd. | Method of edge based interpolation |
KR100400018B1 (ko) * | 2001-12-29 | 2003-09-29 | 삼성전자주식회사 | 톱니파 제거 장치 및 방법 |
US7136541B2 (en) * | 2002-10-18 | 2006-11-14 | Sony Corporation | Method of performing sub-pixel based edge-directed image interpolation |
US7242819B2 (en) * | 2002-12-13 | 2007-07-10 | Trident Microsystems, Inc. | Method and system for advanced edge-adaptive interpolation for interlace-to-progressive conversion |
-
2003
- 2003-10-07 JP JP2003347944A patent/JP3767593B2/ja not_active Expired - Lifetime
-
2004
- 2004-06-30 WO PCT/JP2004/009179 patent/WO2005036868A1/ja active Application Filing
- 2004-06-30 US US10/541,611 patent/US20060050990A1/en not_active Abandoned
- 2004-06-30 EP EP04746648A patent/EP1672907A4/en not_active Withdrawn
- 2004-06-30 CN CNB2004800019233A patent/CN100334873C/zh not_active Expired - Fee Related
- 2004-07-06 TW TW093120190A patent/TWI257588B/zh not_active IP Right Cessation
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8320715B2 (en) | 2007-06-25 | 2012-11-27 | Mitsubishi Electric Corporation | Device and method for interpolating image, and image scanner |
CN101888468B (zh) * | 2009-05-12 | 2012-09-19 | 东芝设计与制造株式会社 | 图像内插装置以及图像内插方法 |
CN102694956A (zh) * | 2011-01-21 | 2012-09-26 | 株式会社理光 | 图像处理装置及像素插值方法 |
CN102694956B (zh) * | 2011-01-21 | 2014-12-10 | 株式会社理光 | 图像处理装置及像素插值方法 |
US9129410B2 (en) | 2011-01-21 | 2015-09-08 | Ricoh Company, Ltd. | Image processing apparatus and pixel interpolation method |
CN106464970A (zh) * | 2014-05-09 | 2017-02-22 | 日立麦克赛尔株式会社 | 影像再现装置、显示装置和发送装置 |
CN106464970B (zh) * | 2014-05-09 | 2019-11-19 | 麦克赛尔株式会社 | 影像再现装置、显示装置和发送装置 |
Also Published As
Publication number | Publication date |
---|---|
TWI257588B (en) | 2006-07-01 |
TW200513983A (en) | 2005-04-16 |
EP1672907A1 (en) | 2006-06-21 |
WO2005036868A1 (ja) | 2005-04-21 |
CN100334873C (zh) | 2007-08-29 |
JP2005117291A (ja) | 2005-04-28 |
US20060050990A1 (en) | 2006-03-09 |
EP1672907A4 (en) | 2007-04-25 |
JP3767593B2 (ja) | 2006-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1122420C (zh) | 图象译码装置 | |
CN1253790C (zh) | 指令调度方法和指令调度设备 | |
CN1678021A (zh) | 图像处理设备和方法、记录媒体和程序 | |
CN1531711A (zh) | 由数字图象计算转换图象的方法和系统 | |
CN1190963C (zh) | 数据处理装置和方法,学习装置和方法 | |
CN1684492A (zh) | 图像词典作成装置、编码装置、图像词典作成方法 | |
CN1723690A (zh) | 像素插值电路、像素插值方法及图像读取装置 | |
CN1645360A (zh) | 信号处理方法、信号处理程序、记录介质及信号处理装置 | |
CN101052990A (zh) | 图像放大装置及程序 | |
CN1636516A (zh) | 散射测量方法、散射校正方法、和x射线ct设备 | |
CN1835548A (zh) | 解码装置、解码方法及其程序产品 | |
CN1196261C (zh) | 滤波器及获得滤波器系数的方法 | |
CN101064774A (zh) | 图像拾取装置、图像拾取方法以及程序 | |
CN1543742A (zh) | 运动检测装置、图像处理系统、运动检测方法、程序及记录介质 | |
CN1577250A (zh) | 用于实现2的幂的浮点估计的系统与方法 | |
CN1306807C (zh) | 数据转换装置及方法、学习设备及方法 | |
CN1278561C (zh) | 编码设备 | |
CN1702466A (zh) | 记录了蓄电元件的等效电路模型的记录介质、导出程序 | |
CN1115054C (zh) | 图像信号编码、解码装置及方法 | |
CN101046867A (zh) | 工作流决定方法以及工作流决定系统 | |
CN1627742A (zh) | 解调装置和方法、解调装置的集成电路 | |
CN101039406A (zh) | 图像处理装置和方法、以及程序 | |
CN1825422A (zh) | 图像显示装置及其修正值制成方法和程序以及记录媒体 | |
CN1215529A (zh) | 图像编码装置和图像编码方法及图像解码装置和图像解码方法以及记录媒体 | |
CN1306456C (zh) | 图像处理方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20070829 Termination date: 20210630 |
|
CF01 | Termination of patent right due to non-payment of annual fee |