CN1304617A - 插值处理装置及记录插值处理程序的记录媒体 - Google Patents

插值处理装置及记录插值处理程序的记录媒体 Download PDF

Info

Publication number
CN1304617A
CN1304617A CN99806919A CN99806919A CN1304617A CN 1304617 A CN1304617 A CN 1304617A CN 99806919 A CN99806919 A CN 99806919A CN 99806919 A CN99806919 A CN 99806919A CN 1304617 A CN1304617 A CN 1304617A
Authority
CN
China
Prior art keywords
similarity
interpolation
component
color information
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN99806919A
Other languages
English (en)
Inventor
石贺健一
歌川健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of CN1304617A publication Critical patent/CN1304617A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种插值处理装置,对由摄像单元生成的图像进行计算与各个空格子点的第1颜色成分的颜色信息相当的插值量的插值处理,该摄像单元由输出空间频率最高的第1颜色成分的颜色信息的格子点和不输出第1颜色成分的颜色信息而输出空间频率比第1颜色成分低的第2颜色成分或第3颜色成分的颜色信息的多个空格子点2维排列而形成,包括:相似度计算装置,利用第1颜色成分至第3颜色成分的3种颜色的颜色信息,计算作为插值处理的对象的每个插值对象空格子点的多个方向的相似度;相似性判定装置,根据相似度计算装置计算出的多个方向的相似度,判定每个插值对象空格子点的相似性强的方向;插值量计算装置,根据相似性判定装置的判断结果,计算每个插值对象空格子点的插值量。

Description

插值处理装置及记录插值处理程序的记录媒体
本申请是以日本专利申请平成10年第151278号(平成10年6月1日申请)、日本专利申请平成10年第277166号(平成10年9月30日申请)、日本专利申请平成11年第145473号(平成11年5月25日申请)为基础，在这里将其内容引用作为本发明的参考。
                技术领域
本发明涉及一种的插值处理装置，对由摄像单元生成的图像进行计算与各个空格子点的第1颜色成分的颜色信息相当的插值量的插值处理，该摄像单元由输出空间频率最高的第1颜色成分的颜色信息的格子点、和不输出第1颜色成分的颜色信息而输出空间频率比第1颜色成分低的第2颜色成分或第3颜色成分的颜色信息的多个空格子点2维排列而形成，并涉及用于记录在计算机中进行该插值处理的插值处理程序的记录媒体。
                背景技术
电子静止图像摄像机(electronic still camera)中有一种是在生成彩色图像的图像信号时利用单一的摄像单元。这种摄像单元如图22A所示，例如由RGB(红色、绿色、蓝色)的3种颜色的排列而形成。在这里以绿色为例(G)，可以认为摄像单元如图22B所示，由生成绿色的像素的格子点和不生成绿色的像素的空格子点而构成。
在这样的电子静止图像摄像机中，为了得到空格子点的绿色的颜色信息，需要进行插值处理。在以往，在这种插值处理方法中，有一种是对作为插值处理的对象的空格子点(以下称为插值对象空格子点)的空间的相似性强的方向进行判断，利用与该方向相邻的格子点的颜色信息来计算插值量。
在美国专利第5,629,734号说明书和美国专利第5,652,621号说明书中，公开了一种在进行相似性强的方向的判定时所使用的用来计算多个方向的相似程度的技术。
例如，在以插值对象空格子点为中心，颜色信息按照“A1.G2.A3.G4.A5”的方式配置的情况下(其中A1.A3.A5表示与插值对象空格子点颜色相同的颜色信息，G2.G4表示格子点的颜色信息)，对于输出G2的格子点和输出G4的格子点所处方向的插值对象空格子点的相似度C，根据美国专利第5,629,734号说明书中公开的技术中的下述公式C-1来计算，及根据美国专利第5,652,621号说明书中公开的技术中的下述公式C-2来计算。
C=｜-A1+2A3-A5｜+｜G2-G4｜…公式C-1
C=｜-A1+2A3-A5｜+｜G2-G4｜
+｜-G2+2(A3+bias)-G4｜…公式C-2
其中，在公式C-2中，bias为满足下述公式C-3的值，
bias=(bias’+A1-G1)/2  …公式C-3
bias’是计算A1的相似度时的bias,G1是通过A1的插值处理得到的插值量。
                  发明的公开
在美国专利第5,629,734号说明书所公开的技术中，将每个像素的相同颜色的颜色信息相比较的结果(以下称为相同颜色相似度成分：相当于公式C-1的｜-A1+2A3-A5｜和｜G2-G4｜)相加，作为插值对象空格子点的相似度。因此，在美国专利第5,629,734号说明书公开的技术中，对于变化的程度比相同颜色的颜色信息所配置的间隔(相当于像素的间隔的2倍)还要小的图像(空间频率高的图像)，由于不能准确地计算相似度，所以无法高精度地进行相似性方向强的判定，产生伪色的可能性较大。
另一方面，在美国专利第5,652,621号说明书公开的技术中，由于通过包括有相同颜色系相似度成分(相当于公式C-2的｜-A1+2A3-A5｜和｜G2-G4｜)、及对相互相邻的像素的颜色信息进行比较的结果(以下称为不同颜色系相似度成分：公式C-2的｜-G2+2(A3+bias)-G4｜)的公式C-2来计算相似度，可以降低在上述空间频率高的图像产生伪色的可能性。
但是，在美国专利第5,652,621号说明书公开的技术中，作为不同颜色系相似度成分，由于只使用在同一直线上配置的2种颜色的颜色信息(插值对象空格子点和相同颜色的颜色信息及格子点的颜色信息)进行比较的结果，对于例如自然画的边界部分那样色调变化的部分(3种颜色的颜色信息的比例变化的图像)，不能准确地计算相似度，而即使准确地计算出了相同颜色系相似度成分，不同颜色系相似度成分的影响比相同颜色系相似度成分的影响更强地显现出来，使正确地判定相似性强的方向变得不可能，产生伪色的可能性很大。
即，在上述各美国专利说明书公开的技术中，空间频率高的部分的图像和色调变化的部分的图像所构成的图像作为插值处理的对象时，不能正确地计算双方的部分图像的相似度，一方的部分图像产生的伪色很显眼，可能使图像整体的协调失去平衡。
在美国专利第5,652,621号说明书公开的技术中，由于不同颜色系相似度成分利用G1(A1的插值量)和bias’(A1的bjas)来计算，一旦计算出错误的相似度成分，该错误影响到以后计算的相似度成分，使产生伪色的范围扩大。
即，在美国专利第5,652,621号说明书公开的技术中，最坏的情况是，由于进行插值处理，反而使图像劣化。
因此，本发明的目的是提供一种正确地判定插值对象空格子点的相似性强的方向，并能高精度地计算插值量的插值处理装置。并且提供一种记录插值处理程序的记录媒体，该插值处理程序能正确地判定插值对象空格子点的相似性强的方向，能高精度地计算插值量。
权项1的本发明的插值处理装置包括：相似度计算装置(相当于图1的相似度计算部20)，利用上述第1颜色成分至上述第3颜色成分的3种颜色的颜色信息，计算对多个方向的相似度；相似性判定装置(相当于图1的相似度计算部21)，根据相似度计算装置计算出的多个方向的相似度，判定每个插值对象空格子点的相似性强的方向；插值量计算装置(相当于图1的插值量计算部22)，根据相似性判定装置的判断结果，计算每个上述插值对象空格子点的插值量。
在权项2的本发明的插值处理装置中，相似度计算装置根据从插值对象空格子点和从位于该插值对象空格子点附近的格子点和空格子点输出的第1颜色成分至第3颜色信息，计算在多个方向上的“使用第1颜色成分的颜色信息和上述第2颜色成分的颜色信息的相似度成分”和“使用第1颜色成分的颜色信息和第3颜色成分的颜色信息的相似度成分”的2种相似度成分，根据这2种相似度成分计算相似度。
在权项3的本发明的插值处理装置中，相似度计算装置根据从插值对象空
格子点和从位于该插值对象空格子点附近的格子点和空格子点输出的第1颜色成分至第3颜色信息，计算在多个方向上的将
(a)“使用第1颜色成分的颜色信息和第2颜色成分的颜色信息的相似度成分”和“使用第1颜色成分的颜色信息和第3颜色成分的颜色信息的相似度成分”的2种相似度成分；和
(b)“只使用第1颜色成分的颜色信息的相似度成分”和“只使用第2颜色成分的颜色信息的相似度成分”和“只使用第3颜色成分的颜色信息的相似度成分”中的至少一种相似度成分
合在一起的3种以上的相似度成分，根据该3种以上的相似度成分计算上述相似度。
权项4的本发明的插值处理装置中包括：相似度计算装置(相当于图1的相似度计算部20)，按照下述方式计算作为插值处理的对象的每个插值对象空格子点在多个方向上的相似度；相似性判定装置(相当于图1的相似度计算部21)，根据相似度计算装置计算出的多个方向的相似度，判定上述每个插值对象空格子点的相似性强的方向；插值量计算装置(相当于图1的插值量计算部22)，根据相似性判定装置的判断结果，计算每个插值对象空格子点的插值量；
相似度计算装置根据从插值对象空格子点和从位于该插值对象
空格子点附近的格子点和空格子点输出的第1颜色成分至第3颜色信息，计算在上述多个方向的将下述(a)、(b)合在一起的2种以上的相似度成分，
(a)“使用输出与插值对象空格子点的颜色成分不同的颜色成分的空格子点的颜色信息、和第1颜色成分的颜色信息的相似度成分”；
(b)“只使用第1颜色成分的颜色信息的相似度成分”和“只使用第2颜色成分的颜色信息的相似度成分”和“只使用第3颜色成分的颜色信息的相似度成分”中的至少一种相似度成分，
根据该2种以上的相似度成分计算上述相似度。
权项5的本发明的插值处理装置包括：相似度计算装置(相当于图1的相似度计算部20)，按照下述方式计算作为插值处理的对象的每个插值对象空格子点在多个方向上的相似度；相似性判定装置(相当于图1的相似度计算部21)，根据相似度计算装置计算出的多个方向的相似度，判定每个插值对象空格子点的相似性强的方向；插值量计算装置(相当于图1的插值量计算部22)，根据相似性判定装置的判断结果，计算每个插值对象空格子点的插值量；相似度计算装置根据从插值对象空格子点和从位于该插值对象空格子点附近的格子点和空格子点输出的第1颜色成分至第3颜色信息，计算在多个方向的将下述(a)、(b)合在一起的2种以上的相似度成分，
(a)“使用插值对象空格子点的颜色信息和第1颜色成分的颜色信息的相似度成分”，和
(b)“只使用第1颜色成分的颜色信息的相似度成分”和“只使用第2颜色成分的颜色信息的相似度成分”和“只使用上述第3颜色成分的颜色信息的相似度成分”中的至少一种相似度成分，
根据该2种以上的相似度成分计算相似度，
根据a1｜G1-A2｜+a2｜G3-A2｜计算“使用了上述插值对象空格子点的颜色信息和上述第1颜色成分的颜色信息的相似度成分”，其中，G1、G3是夹持插值对象空格子点的位于同一直线的2个格子点的颜色信息，A2是上述插值对象空格子点的颜色信息，a1、a2是常数，a1、a2中的至少一个不为0。
权项6的在本发明的插值处理装置中，相似度计算装置通过将对多个方向计算出的多个种类的相似度成分在每个相同方向上加权相加来进行组合，来计算插值对象空格子点的多个方向的相似度。
权项7的本发明的插值处理装置包括：相似度计算装置(相当于图1的相似度计算部20)，根据从作为插值处理的对象的插值对象空格子点和从位于该插值对象空格子点附近的格子点和空格子点输出的第1颜色成分至第3颜色信息，计算作为每个插值对象空格子点的多个方向的相似度的、下述种类中至少2种的相似度，即“使用上述第1颜色成分的颜色信息和上述第2颜色成分的颜色信息的相似度成分”和“使用上述第1颜色成分的颜色信息和上述第3颜色成分的颜色信息的相似度成分”和“只使用第1颜色成分的颜色信息的相似度成分”和“只使用第2颜色成分的颜色信息的相似度成分”和“只使用第3颜色成分的颜色信息的相似度成分”中的至少2种相似度；相似性判定装置(相当于图1的相似度判断部21)，在相似度计算装置对每个插值对象空格子点计算出的多个方向的多个种类的相似度中，在各个方向比较同一种类的相似度的大小，确定各个种类的相似性强的方向，根据某个方向占据了多数，判定与插值对象空格子点相似性强的方向；插值量计算装置(相当于图1的插值量计算部22)，根据相似性判定装置的判断结果，计算每个插值对象空格子点的插值量。
权项8的本发明的插值处理装置包括：相似度计算装置(相当于图14的相似度计算部31)，根据从作为插值处理的对象的插值对象空格子点和从位于该插值对象空格子点附近的格子点和空格子点输出的颜色信息，计算作为每个插值对象空格子点的多个方向的相似度的、下述2种相似度成分中的至少一种相似度成分，即“使用插值对象空格子点的颜色信息和第1颜色成分的颜色信息的相似度成分”和“只使用第1颜色成分的颜色信息的相似度成分”中的至少1种相似度，根据该至少一种相似度成分，计算上述每个插值对象空格子点的多个方向上的相似度；相似性判定装置(相当于图14的插值量计算部32)，根据相似度计算装置计算出的多个方向的相似度，判定每个插值对象空格子点的相似性强的方向；插值量计算装置(相当于图14的插值量计算部32)，根据相似性判定装置的判断结果，计算每个插值对象空格子点的插值量，相似度计算装置提取插值对象空格子点的周边部分的图像的特征，在2个种类的相似度成分中，计算根据该特征确定的1个种类的相似度成分，将该1个种类的相似度成分作为相似度，或计算2个种类的相似度，根据该特征改变该2个种类的相似度成分的加权比例并进行加权相加，算出相似度。
权项9的本发明的插值处理装置包括：相似度计算装置(相当于图14的相似度计算部31)，根据从作为插值处理的对象的插值对象空格子点和从位于该插值对象空格子点附近的格子点和空格子点输出的颜色信息，计算作为每个插值对象空格子点的多个方向的相似度的、下述2种相似度成分中的至少1种相似度成分，即“使用插值对象空格子点的颜色信息和第1颜色成分的颜色信息的相似度成分”和“只使用第1颜色成分的颜色信息的相似度成分”中的至少1种相似度成分，根据该至少一种相似度成分，计算每个插值对象空格子点的多个方向上的相似度；相似性判定装置(图14的插值量计算部32)，根据相似度计算装置计算出的多个方向的相似度，判定与插值对象空格子点相似性强的方向；插值量计算装置(图14的插值量计算部32)，根据相似性判定装置的判断结果，计算每个插值对象空格子点的插值量；接口装置(相当于图14的接口部18)，接收第1指示或第2指示，其中，第1指示表示计算2个种类的相似度成分中任一种的相似度成分，第2指示表示在对该2个种类的相似度成分进行加权相加运算时的加权系数，相似度计算装置在接口装置接收第1指示时，计算对应于第1指示的1个种类的相似度成分，作为相似度；在接口装置接收第2指示时，根据第2指示将2个种类的相似度成分加权相加，计算相似度。
权项10的本发明的插值处理装置是在权项8的装置中，相似度计算装置在下述情况下，即在插值对象空格子点相互垂直的2个方向中，位于第1方向的多个格子点的颜色信息非常相似，位于第2方向的多个格子点的颜色信息非常相似，且位于第1方向的格子点的颜色信息和位于第2方向的格子点的颜色信息相差很大的情况下，计算“使用插值对象空格子点的颜色信息和第1颜色成分的颜色信息的相似度”。
权项11的本发明的插值处理装置是在权项1到10的任一装置中，相似度计算装置计算包括位于插值对象空格子点的附近的空格子点的相似度成分的值，作为插值对象空格子点的相似度。
权项12的本发明的插值处理装置是一在权项1到6、8、11的任一装置中，相似性判定装置在进行相似性强的方向的判定时，判定各个方向间的相似度的差异是否超过预定的阈值，对于该差异未超过该阈值的方向，判定相似性的程度相同。
权项13的本发明的插值处理装置是在权项1到12的任一装置中，插值量计算装置在相似性判定装置判定多个方向中，在某个方向的相似性强度突出时，以及将位于突出方向的2个格子点的颜色信息的值的平均值作为插值量，判定对多个方向的相似性均衡时，通过计算位于某个方向的2个格子点的颜色信息的值的平均值以外的方法来确定插值量。
权项14的本发明的记录媒体包括：相似度计算步骤(相当于图4的S2～S3)，利用第1颜色成分至第3颜色成分的3种颜色的颜色信息，计算作为插值处理的对象的每个插值对象空格子点的多个方向的相似度；相似性判定步骤(相当于图4的S4)，根据相似度计步骤计算出的多个方向的相似度，判定每个插值对象空格子点的相似性强的方向；插值量计算步骤(相当于图4的S5)，根据相似性判定步骤的判断结果，计算每个插值对象空格子点的插值量。
权项15的本发明的记录媒体包括：相似度计算步骤(相当于图4S2～S3)，按照下述方式计算作为插值处理的对象的每个插值对象空格子点在多个方向上的相似度；相似性判定步骤(相当于图4S4)，根据相似度计算步骤计算出的多个方向的相似度，判定每个插值对象空格子点的相似性强的方向；插值量计算步骤(相当于图4S5)，根据相似性判定步骤的判断结果，计算每个插值对象空格子点的插值量；相似度计算步骤根据从插值对象空格子点和从位于该插值对象空格子点附近的格子点和空格子点输出的第1颜色成分至第3颜色信息，计算在多个方向的将下述(a)、(b)合在一起的2种以上的相似度成分，
(a)“使用输出与上述插值对象空格子点的颜色成分不同的颜色成分的空格子点的颜色信息、和上述第1颜色成分的颜色信息的相似度成分”；
(b)“只使用上述第1颜色成分的颜色信息的相似度成分”和“只使用上述第2颜色成分的颜色信息的相似度成分”和“只使用上述第3颜色成分的颜色信息的相似度成分”中的至少一种相似度成分，根据该2种以上的相似度成分计算上述相似度。
权项16的本发明的记录媒体包括：相似度计算步骤(相当于图4S2～S3)，按照下述方式计算作为插值处理的对象的每个插值对象空格子点在多个方向上的相似度；相似性判定步骤(相当于图4S4)，根据相似度计算步骤计算出的多个方向的相似度，判定每个插值对象空格子点的相似性强的方向；插值量计算步骤(相当于图4S5)，根据相似性判定步骤的判断结果，计算每个插值对象空格子点的插值量；相似度计算步骤根据从插值对象空格子点和从位于该插值对象空格子点附近的格子点和空格子点输出的第1颜色成分至第3颜色信息，计算在多个方向的将下述(a)、(b)合在一起的2种以上的相似度成分，
(a)“使用插值对象空格子点的颜色信息和第1颜色成分的颜色信息的相似度成分”，和
(b)“只使用第1颜色成分的颜色信息的相似度成分”和“只使用第2颜色成分的颜色信息的相似度成分”和“只使用第3颜色成分的颜色信息的相似度成分”中的至少一种相似度成分，根据该2种以上的相似度成分计算上述相似度，根据a1｜G1-A2｜+a2｜G3-A2｜计算“使用了插值对象空格子点的颜色信息和第1颜色成分的颜色信息的相似度成分”，其中，
G1、G3是夹持上述插值对象空格子点的位于同一直线的2个格子点的颜色信息，A2是插值对象空格子点的颜色信息，a1、a2是常数，a1、a2中的至少一个不为0。
权项17的本发明的记录媒体包括：相似度计算步骤(相当于图13S2～S101)，根据从作为插值处理的对象的插值对象空格子点和从位于该插值对象空格子点附近的格子点和空格子点输出的第1颜色成分至第3颜色信息，计算作为每个插值对象空格子点的多个方向的相似度的、下述种类中至少2种的相似度，即“使用第1颜色成分的颜色信息和第2颜色成分的颜色信息的相似度成分”和“使用第1颜色成分的颜色信息和第3颜色成分的颜色信息的相似度成分”和“只使用第1颜色成分的颜色信息的相似度成分”和“只使用第2颜色成分的颜色信息的相似度成分”和“只使用第3颜色成分的颜色信息的相似度成分”中的至少2种相似度；相似性判定步骤(相当于图13S102～S103)，在相似度计算步骤对每个插值对象空格子点计算出的多个方向的多个种类的相似度中，在各个方向比较同一种类的上述相似度的大小，确定各个种类的相似性强的方向，根据某个方向占据了多数，判定与插值对象空格子点相似性强的方向；插值量计算步骤(相当于图13S102～S103)，根据相似性判定步骤的判断结果，计算每个插值对象空格子点的插值量。
权项18的本发明的记录媒体包括：相似度计算步骤(相当于图15S5或S6，或者相当于图18的S5～S6)，根据从作为插值处理的对象的插值对象空格子点和从位于该插值对象空格子点附近的格子点和空格子点输出的颜色信息，计算作为每个插值对象空格子点的多个方向的相似度的、下述2种相似度成分中的至少一种相似度成分，即“使用插值对象空格子点的颜色信息和第1颜色成分的颜色信息的相似度成分”和“只使用上述第1颜色成分的颜色信息的相似度成分”中的至少1种相似度，根据该至少一种相似度成分，计算每个插值对象空格子点的多个方向上的相似度；相似性判定步骤(相当于图15S7或S8，或者相当于图18的S7)，根据相似度计算步骤计算出的多个方向的相似度，判定每个插值对象空格子点的相似性强的方向；插值量计算步骤(相当于图15S9～S11，或者相当于图18的S7)，根据相似性判定步骤的判断结果，计算每个插值对象空格子点的插值量，相似度计算步骤提取插值对象空格子点的周边部分的图像的特征，在2个种类的相似度成分中，计算根据该特征确定的1个种类的相似度成分，将该1个种类的相似度成分作为相似度，或计算2个种类的相似度，根据该特征改变该2个种类的相似度成分的加权比例并进行加权相加，算出相似度。
权项19的本发明的记录媒体，包括：相似度计算步骤(相当于图17S3～S4或S8～S9，或者相当于图19的S5～S6)，根据从作为插值处理的对象的插值对象空格子点和从位于该插值对象空格子点附近的格子点和空格子点输出的颜色信息，计算作为每个插值对象空格子点的多个方向的相似度的、下述2种相似度成分中的至少1种相似度成分，即“使用插值对象空格子点的颜色信息和第1颜色成分的颜色信息的相似度成分”和“只使用第1颜色成分的颜色信息的相似度成分”中的至少1种相似度成分，根据该至少一种相似度成分，计算对每个插值对象空格子点的多个方向的相似度；相似性判定步骤(相当于图17S5或S10，或者相当于图19的S7)，根据相似度计算步骤计算出的多个方向的相似度，判定与插值对象空格子点相似性强的方向；插值量计算步骤(相当于图17S5或S10，或者相当于图19的S7)，根据相似性判定步骤的判断结果，计算每个插值对象空格子点的插值量；接口步骤(相当于图17S1或图19S1)，接收第1指示或第2指示，其中，第1指示表示计算2个种类的相似度成分中任一种的相似度成分，第2指示表示在对该2个种类的相似度成分进行加权相加运算时的加权系数，
相似度计算步骤在接口步骤接收第1指示时，计算对应于第1指示的1个种类的相似度成分，作为相似度；在接口步骤接收第2指示时，根据第2指示将2个种类的相似度成分加权相加，计算相似度。
当插值对象空格子点输出第2颜色成分的颜色信息时，本发明的权项2及3、权项7及17的“使用第1颜色成分的颜色信息和第2颜色成分的颜色信息的相似度成分”与后述的第1相似度成分(Ct(1)(i,j)、Cy(1)(i,j))对应，权项5及16的“使用插值对象空格子点的颜色信息和第1颜色成分的颜色信息的相似度成分”与后述的(Ct(1)(i,j)、Cy(1)(i,j))中的至少包括Ct(1-1)(i,j)的值的Ct(1)(i,j)、和至少包括Cy(1-1)(i,j)的值的Cy(1)(i,j)。
当插值对象空格子点输出第2颜色成分的颜色信息时，本发明的权项2及3的“使用第1颜色成分的颜色信息和第3颜色成分的颜色信息的相似度成分”、本发明权项4及15的“使用输出与插值对象空格子点的颜色成分不同颜色成分的空格子点的颜色信息、和第1颜色成分的颜色信息的相似度成分”、及权项7及17的“使用了第1色成分和第3色成分的相似度“与后述的第2相似度成分(Ct(2)(i,j)、Cy(2)(i,j))对应。
当插值对象空格子点输出第2颜色成分的颜色信息时，权项3、4、5、15、16及7、17的本发明的“只使用第1颜色成分的颜色信息的相似度成分”与后述的第3相似度成分(Ct(3)(i,j)、Cy(3)(i,j))对应。
当插值对象空格子点输出第2颜色成分的颜色信息时，权项3、4、5、15、16及7、17的本发明的“只使用第3颜色成分的颜色信息的相似度成分”与后述的第4相似度成分(Ct(4)(i,j)、Cy(4)(i,j))对应。
当插值对象空格子点输出第2颜色成分的颜色信息时，权项3、4、5、15及16和7、17的本发明的“只使用第2颜色成分的颜色信息的相似度成分”与后述的第5相似度成分(Ct(5)(i,j)、Cy(5)(i,j))对应。
权项8、9、18、19的本发明的“只使用第1颜色成分的颜色信息的相似度成分”与后述的C1(i,j)、C2(i,j))对应。
权项8到10、18及19的本发明的“使用插值对象空格子点的颜色信息和第1颜色成分的颜色信息的相似度成分”与后述的D1(i,j)、D2(i,j))对应。
根据权项11的本发明计算出的相似度与根据后述的公式t1-3、t2-2、t3-2、t4-2、t5-2计算出的各个相似度成分所构成的相似度、及与根据公式15、16、23、24计算出的值构成的相似度相对应。
如上所述，根据权项1到19的本发明，可以高精度地进行插值处理。
特别是，在权项1到3及14的本发明中，由于对多个方向计算相似度，所以即使是色调变化的图像(3色的颜色信息比例改变的图像)，能够正确地判定相似性。在本发明中，由于作为3种颜色的颜色信息，是使用插值对象空格子点的颜色信息和与插值对象空格子点相邻的格子点和空格子点的颜色信息，能够计算相似度，所以即使是空间频率高的图像，可以正确地判定相似性。因此，根据本发明，即使在需要进行插值处理的图像中，混合有“色调变化的部分”和“空间频率高的部分”，也可以保持图像整体的和谐，可以高精度地进行插值处理。
在权项4及15的本发明中，由于在计算相似度时使用的是输出与插值对象空格子点不同的颜色成分的空格子点的颜色信息，因此对于用现有的插值处理产生伪色的图像，可以正确地判定相似性，提高插值处理的精度。
在权项5及16的本发明中，由于在计算相似度时未使用其它的空格子点的插值量，所以即使万一经过插值处理产生了伪色，也不会扩大伪色的产生范围，与现有技术相比，能够提高插值处理的精度。
在权项8及18的本发明中，根据插值对象空格子点的周边部分的图像的特征，通过改变相似度的计算方法，可以保持图像整体的和谐，高精度地进行插值处理。另外，在本发明中，由于可以根据插值对象空格子点的周边部分的图像的特征确定将2种相似度成分加权相加时的加权系数，所以可以保持图像整体的和谐，高精度地进行插值处理。
在权项9及19的本发明中，由于可以根据外部的指示，确定将2种相似度成分中的某一个相似度成分作为相似度，并确定将2种相似度成分加权相加时的加权系数，所以能够提高插值处理的精度。
在权项11的本发明中，由于考虑到了在插值对象空格子点和周边部分间相似性强的方向的连续性，并能计算出插值对象空格子点的相似度，所以能够提高插值处理的精度。
根据权项12的本发明，由于能够降低由噪声等产生的相似性的错误判定，所以能够提高插值处理的精度。
附图的简单说明
图1是与第1实施例至第6实施例对应的电子静止图像摄像机的功能框图。
图2是格子点的颜色信息和空格子点的插值量的示意图。
图3是电子静止图像摄像机的动作流程图。
图4是第1实施例至第5实施例的插值处理的动作流程图。
图5A～图5F是计算第1相似度成分至第5相似度成分时使用的颜色信息的示意图。
图6A、B是图像的例子的示意图。
图7是相对第1相似度成分至第5相似度成分的伪色降低效果的概念示意图。
图8A、B是计算纵方向的相似度成分时使用的周边的颜色信息的例子的示意图(1)。
图9A、B是计算纵方向的相似度成分时使用的周边的颜色信息的例子的示意图(2)。
图10是计算纵方向的相似度成分时使用的周边的颜色信息的例子的示意图(1)。
图11A～C是计算黑白乃奎斯特条纹的相似度成分的说明图。
图12A～C是计算青色的纵条带的相似度成分的说明图。
图13是第6实施例的插值处理的动作流程图。
图14是对应于第7实施例至第10实施例的电子静止图像摄像机的功能框图。
图15是第7实施例的插值处理的动作流程图。
图16是f(x)的图形形状的示意图。
图17是第8实施例的插值处理的动作流程图。
图18是第9实施例的插值处理的动作流程图。
图19是第10实施例的插值处理的动作流程图。
图20是第11实施例的功能框图。
图21是第11实施例的动作流程图。
图22A、B是摄像单元的示意图。
以下根据附图详细说明本发明的实施例。
对于实施例，用本发明的插值处理装置所应用的电子静止图像摄像机进行说明。在后述的各实施例中，设输出绿色的像素为格子点，而输出红色或蓝色的像素为与绿色相关的空格子点。即后述的各实施例的插值处理与计算这些空格子点的绿色的颜色信息相当的插值量的处理相当。而且在后述的各实施例中，计算纵方向的相似度和横方向的相似度，作为进行插值处理时利用的多个方向的相似度。
图1是对应于第1实施例至第6实施的电子静止图像摄像机的功能框图。
在图1中，控制部10与摄影光学系统11、OLPF(光学低通过滤器)12、摄像单元13、A/D变换部14、图像缓冲存储器15、灰度变换部16、图像处理部17和接口部18连接。
图像处理部17具有插值处理部19，插值处理部19由相似度计算部20、相似性判定部21和插值量计算部22构成。
摄影光学系统11取得的光学图像被OLPF12滤光，送给摄像单元13。
在本发明中，以黑白乃奎斯特条纹(参照图6A)等图像不消灭程度的采用不太强的OLPF为前提，也可以不设置OLPF12，将摄影光学系11取得的光学图像直接给予摄像单元13。
摄像单元13的输出与A/D变换部14连接，A/D变换部14的输出与图像缓冲存储器15连接。灰度变换部16的输出和图像处理部17的输出与图像缓冲存储器15连接。
在后述的各实施例中，作为摄像单元13，采用的是图22A所示RGB的3色的彩色过滤器成对(pair)排列构成的摄像单元，图像缓冲存储器15由与这3种颜色对应的3个区域构成。
与图像缓冲存储器15内的绿色对应的区域，由以下区域构成：将A/D变换部14生成的绿色的图像数据或灰度变换部16灰度变换的(log化或γ变换等)绿色的图像数据作为格子点的颜色信息存储的区域；和将由后述的插值处理得到的绿色的图像数据作为空格子点的插值量存储的区域。
为了使以后的说明变得简单，摄像单元13的各像素的位置用“以右方向为正的横轴X”和“以下方向为正的纵轴Y”构成的坐标系来表示。格子点的颜色信息用G(x,y)表示，空格子点的插值量用G’(x,y)表示。
图2是表示这种格子点的颜色信息和空格子点的插值量的图。
在该图中，X-max表示X成分的最大值，Y-max表示Y成分的最大值。在后述的各实施例中，插值对象空格子点的坐标用(i,j)表示。
图3是电子静止图像摄像机的动作流程图。
图4是第1实施例至第5实施例的插值处理的动作流程图。
图5A～5F是在的1实施例至第5实施例中，在计算第1相似度至第5相似度成分(多种类的相似度成分)时采用的颜色信息的图。
在图5A～5F中，RB表示“R或B”，BR表示“B或R”。即RB为R时，BR是B，RB是B时，BR是R。
在这里，为了使第1实施例至第5实施例的说明变得简单，说明由相似度计算部20计算的第1相似度成分至第5相似度成分(多种类的相似度成分)的计算方法。以下将空格子点和格子点的颜色信息与各坐标对应，用RB(i,j)、G(i,j-1)等来表示。
首先，根据图5A所示颜色信息，由下述的公式t1和公式y1计算插值对象空格子点的纵方向的第1相似度成分Ct(1)(i,j)和横方向的第1相似度成分Cy(1)(i,j)。
Ct(1)(i,j)=a1 (1)Ct(1-1)(i,j)+a2 (1)Ct(1-2)(i,j)…公式t1
Cy(1)(i,j)=b1 (1)Cy(1-1)(i,j)+b2 (1)Cy(1-2)(i,j)…公式y1
其中，在公式t1或y1中，a1 (1)、a2 (1)、b1 (1)、b2 (1)是满足a1 (1)+a2 (1)=b1 (1)+b2 (1)=1的0～1的常数，通常是满足a1 (1)=b1 (1),a2 (1)=b2 (1)的值。在后述的各实施例中，建议a1 (1)=b1 (1)=1,a2 (1)=b2 (1)=0。另外，也可以是a1 (1)=b1 (1)=0,a2 (1)=b2 (1)=1或a1 (1)=b1 (1)=a2 (1)=b2 (1)=1/2。
在公式t1或y1中，Ct(1-1)(i,j)和Cy(1-1)(i,j)是满足下述公式的值。
Ct(1-1)(i,j)=t(1-1)｜G(i,j-1)-RB(i,j)｜
        +(1-t(1-1))｜G(i,j+1)-RB(i,j)｜
Cy(1-1)(i,j)=y(1-1)｜G(i-1,j)-RB(i,j)｜
        +(1-y(1-1))｜G(i+1,j)-RB(i,j)｜
其中，t(1-1)和y(1-1)是0～1的常数。
例如，当设t(1-1)=y(1-1)=1/2时，
Ct(1-1)(i,j)=(｜G(i,j-1)-RB(i,j)｜+｜G(i,j+1)-RB(i,j)｜)/2
Cy(1-1)(i,j)=(｜G(i-1,j)-RB(i,j)｜+｜G(i+1,j)-RB(i,j)｜)/2
在公式t1或y1中，Ct(1-2)(i,j)和Cy(1-2)(i,j)是满足下述公式的值Ct(1-2)(i,j)=｜(u(1-2)G(i,j-1)+(1-u(1-2))G(i,j+1))
              -RB(i,j)｜Cy(1-2)(i,j)=｜(v(1-2)G(i-1,j)+(1-v(1-2))G(i+1,j))
              -RB(i,j)｜
其中，u(1-2)和v(1-2)是0～1的常数。
例如，当设u(1-2)=v(1-2)=1/2时，Ct(1-2)(i,j)=｜(G(i,j-1)+G(i,j+1))/2-RB(i,j)｜Cy(1-2)(i,j)=｜(G(i-1,j)+G(i+1,j))/2-RB(i,j)｜
纵方向的第1相似度成分Ct(1)(i,j)和横方向的第1相似度成分Cy(1)(i,j)在根据图5B所示颜色信息来代替图5A的情况下，也可以由下述的公式t1-2和公式y1-2来计算。
Ct(1)(i,j)=a1 (1)Ct(1-1)(i,j)+a2 (1)Ct(1-2)(i,j)+
        a3 (1)Ct(1-3)(i,j)…公式t1-2
Cy(1)(i,j)=b1 (1)Cy(1-1)(i,j)+b2 (1)Cy(1-2)(i,j)+
        b3 (1)Cy(1-3)(i,j)…公式y1-2
其中，在公式t1-2和y1-2中，a1 (1)、a2 (1)、a3 (1)、b1 (1)、b2 (1)、b3 (1)是满足a1 (1)+a2 (1)+a3 (1)+b1 (1)=b2 (1)+b3 (1)=1的0～1的常数，通常是满足a1 (1)=b1 (1),a2 (1)=b2 (1),a3 (1)=b3 (1)的值。
在公式t1-2或y1-2中，Ct(1-1)(i,j)、Cy(1-1)(i,j)、Ct(1-2)(i,j)和Cy(1-2)(i,j)与公式t1和公式y1同样地计算。
Ct(1-3)(i,j)=t(1-3)｜G(i,j-1)-RB(i,j-2)｜
          +(1-t(1-3))｜G(i,j+1)-RB(i,j+2)｜
Cy(1-3)(i,j)=y(1-3)｜G(i-1,j)-RB(i-2,j)｜
        +(1-y(1-3))｜G(i+1,j)-RB(i+2,j)｜
其中，t(1-3)和y(1-3)是0～1的常数。
下面根据图5C所示颜色信息，由下述的公式t2和公式y2计算插值对象空格子点的纵方向的第2相似度成分Ct(2)(i,j)和横方向的第2相似度成分Cy(2)(i,j)。Ct(2)(i,j)=a1 (2)Ct(2-1)(i,j)+a2 (2)Ct(2-2)(i,j)…公式t2Cy(2)(i,j)=b1 (2)Cy(2-1)(i,j)+b2 (2)Cy(2-2)(i,j)…公式y2
其中，在公式t2或y2中，a1 (2)、a2 (2)、b1 (2)、b2 (2)是满足a1 (2)+a2 (2)=b1 (2)+b2 (2)=1的0～1的常数，通常是满足a1 (2)=b1 (2),a2 (2)=b2 (2)的值。在后述的各实施例中，建议a1 (2)=b1 (2)=1,a2 (2)=b2 (2)=0。另外，也可以是a1 (2)=b1 (2)=0,a2 (2)=b2 (2)=1或a1 (2)=b1 (2)=a2 (2)=b2 (2)=1/2。
在公式t2或y2中，Ct(2-1)(i,j)和Cy(2-1)(i,j)是满足下述公式的值。
Ct(2-1)(i,j)=t1 (2-1)｜BR(i-1,j-1)-G(i-1,j)｜
             +t2 (2-1)｜BR(i-1,j+1)-G(i-1,j)｜
             +t3 (2-1)｜BR(i+1,j-1)-G(i+1,j)｜
             +t4 (2-1)｜BR(i+1,j+1)-G(i+1,j)｜
Cy(2-1)(i,j)=y1 (2-1)｜BR(i-1,j-1)-G(i,j-1)｜
             +y2 (2-1)｜BR(i+1,j-1)-G(i,j-1)｜
             +y3 (2-1)｜BR(i-1,j+1)-G(i,j+1)｜
            +y4 (2-1)｜BR(i+1,j+1)-G(i,j+1)｜
其中，t1 (2-1)、t2 (2-1)、t3 (2-1)、t4 (2-1)、y1 (2-1)、y2 (2-1)、y3 (2-1)、y4 (2-1)是满足t1 (2-1)+t2 (2-1)+t3 (2-1)+t4 (2-1)=y1 (2-1)+y2 (2-1)+y3 (2-1)+y4 (2- 1)=1的0～1的常数。
例如，当设t1 (2-1)=t2 (2-1)=t3 (2-1)=t4 (2-1)=y1 (2-1)=y2 (2-1)=y3 (2-1)=y4 (2 -1)=1/4时，
Ct(2-1)(i,j)=(｜BR(i-1,j-1)-G(i-1,j)｜
        +｜BR(i-1,j+1)-G(i-1,j)｜
       +｜BR(i+1,j-1)-G(i+1,j)｜
       +｜BR(i+1,j+1)-G(i+1,j)1)/4
Cy(2-1)(i,j)=(｜BR(i-1,j-1)-G(i,j-1)｜
     +｜BR(i+1,j-1)-G(i,j-1)｜
     +｜BR(i-1,j+1)-G(i,j+1)｜
     +｜BR(i+1,j+1)-G(i,j+1)｜)/4
在公式t2和y2中，Ct(2-2)(i,j)和Cy(2-2)(i,j)是满足下述公式的值。
Ct(2-2)(i,j)=t(2-2)｜(u1 (2-2)RB(i-1,j-1)
     +(1-u1 (2-2))BR(i-1,j+1)-G(i-1,j)｜
+(1-t(2-2))｜(u2 (2-2)RB(i+1,j-1)
     +(1-u2 (2-2))BR(i+1,j+1)-G(i+1,j)｜
Cy(2-2)(i,j)=y(2-2)｜(v1 (2-2)RB(i-1,j-1)
    +(1-v1 (2-2))BR(i+1,j-1)-G(i,j-1)｜
+(1-y(2-2))｜(v2 (2-2)RB(i-1,j+1)
    +(1-v2 (2-2))BR(i+i,j+1)-G(i,j+1)｜
其中，t(2-2)、y(2-2)、u1 (2-2)、u2 (2-2)、v1 (2-2)、v2 (2-2)是0～1的常数。
例如，当设t(2-2)=y(2-2)=u1 (2-2)=u2 (2-2)=v1 (2-2)==1/2时，
Ct(2-2)(i,j)=(｜(BR(i-1,j-1)+BR(i-1,j+1))/2-G(i-1,j)｜
      +｜BR(i+1,j-1)+BR(i+1,j+1))/2-G(i+1,j)｜)/2
Cy(2-2)(i,j)=(｜(BR(i-1,j-1)+BR(i+1,j-1))/2-G(i,j-1)｜
     +｜RB(i-1,j+1)+BR(i+1,j+1))/2-G(i,j+1)｜)/2
接着，根据图5D所示颜色信息，由下述的公式t3和公式y3计算插值对象空格子点的纵方向的第3相似度成分Ct(3)(i,j)和横方向的第3相似度成分Cy(3)(i,j)。
Ct(3)(i,j)=｜G(i,j-1)-G(i,j+1)｜…公式t3
Cy(3)(i,j)=｜G(i-1,j)-G(i+1,j)｜…公式y3
接着，根据图5E所示颜色信息，由下述的公式t4和公式y4计算插值对象空格子点的纵方向的第4相似度成分Ct(4)(i,j)和横方向的第4相似度成分Cy(4)(i,j)。
Ct(4)(i,j)=t(4)｜BR(i-1,j-1)-BR(i-1,j+1)｜
     +(1-t(4))｜BR(i+1,j-1)-B R(i+1,j+1)｜…公式t4Cy(4)(i,j)=y(4)｜BR(i-1,j-1)-BR(i+1,j-1)｜
    +(1-y(4))｜BR(i-1,j+1)-BR(i+1,j+1)｜…公式y4
其中，在公式t4或y4中，t(4)、y(4)是0～1的常数。例如，当设t(4)=y(4)=1/2时，
Ct(4)(i,j)=(｜BR(i-1,j-1)-BR(i-1,j+1)｜
    +｜BR(i+1,j-1)-BR(i+1,j+1)｜)/2
Cy(4)(i,j)=(｜BR(i-1,j-1)-BR(i+1,j-1)｜
    +｜BR(i-1,j+1)-BR(i+1,j+1)｜)/2
接着，根据图5F所示颜色信息，由下述的公式t5和公式y5计算插值对象空格子点的纵方向的第5相似度成分Ct(5)(i,j)和横方向的第5相似度成分Cy(5)(i,j)。
Ct(5)(i,j)=a1 (5)Ct(5-1)(i,j)+a2 (5)Ct(5-2)(i,j)…公式t5
Cy(5)(i,j)=b1 (5)Cy(5-1)(i,j)+b2 (5)Cy(5-2)(i,j)…公式y5
其中，在公式t5和y5中，a1 (5)、a2 (5)、b1 (5)、b2 (5)是满足a1 (5)+a2 (5)=b1 (5)+b2 (5)=1的0～1的常数，通常是满足a1 (5)=b1 (1)，a2 (5)=b2 (5)的值。在后述的各实施例中，建议a1 (5)=b1 (5)=1,a2 (5)=b2 (5)=0。另外，也可以是a1 (5)=b1 (5)=0,a2 (5)=b2 (5)=1或a1 (5)=b1 (5)=a2 (5)=b2 (5)=1/2。在公式t5或y5中，Ct(5-1)(i,j)和Cy(5-1)(i,j)是满足下述公式的值。
Ct(5-1)(i,j)=t(5-1)｜RB(i,j-2)-RB(i,j)｜
   +(1-t(5-1))｜RB(j,j+2)-RB(i,j)｜
Cy(5-1)(i,j)=y(5-1)｜RB(i-2,j)-RB(i,j)｜
   +(1-y(5-1))｜RB(i+2,j )-RB(i,j)｜
其中，t(5-1)和y(5-1)是0～1的常数。
例如，当设t(5-1)=y(5-1)=1/2时，
Ct(5-1)(i,j)=(｜RB(i,j-2)-RB(i,j)｜
   +｜RB(i,j+2)-RB(i,j)｜)/2
Cy(5-1)(i,j)=(｜RB(i-2,j)-RB(i,j)｜
   +｜RB(i+2,j)-RB(i,j)｜)/2
在公式t5和y5中，Ct(5-2)(i,j)和Cy(5-2)(i,j)是满足下述公式的值。
Ct(5-2)(i,j)=｜(u(5-2)RB(i,j-2)+(1-u(5-2))RB(i,j+2))
    -RB(i,j)｜
Cy(5-2)(i,j)=｜(v(5-2)RB(i-2,j)+(1-v(5-2))RB(i-2,j))
    -RB(i,j)｜
其中，u(5-2)、v(5-2)是0～1的常数。
例如，当设u(5-2)=v(5-2)=1/2时，
Ct(5-2)(i,j)=｜(RB(i,j-2)+RB(i,j+2))/2-RB(i,j)｜
Cy(5-2)(i,j)=｜(RB(i-2,j)+RB(i-2,j))/2-RB(i,j)｜
但是，通过实验可知，第1相似度成分适用于图6A所示黑白乃奎斯特条纹(一个像素间隔的白和黑的纵条形的图像)、图6B所示从中心以放射状伸展的白和黑的条纹图像(以下称为黑白西门子星)、和文字的相似性的强弱的判断。
而且通过实验可知，第2相似度成分虽然比第1相似度成分效果差一些，但对黑白乃奎斯特条纹和黑白西门子星及文字的相似性的强弱的判断是有效的，对于人物和树叶等自然画的边界部分的相似性的强弱的判断也在一定程度上有效。
由于第3相似度成分至第5相似度成分利用相同颜色的颜色信息来计算，所以对于对于人物和树叶等自然画的边界部分的相似性的强弱的判断有效，对不同种类的图像的边界部分的相似性的强弱判断也有效。
所以，对于单独利用各个种类的相似度成分(第1相似度至第5相似度成分)进行插值处理时的伪色降低的效果，从概念上来说图7这样的关系成立。
在图7中，“不同颜色系相似度成分的伪色降低效果”表示利用不同颜色的颜色信息算出的相似度成分所得到的伪色降低效果，“相同颜色相似度成分的伪色降低效果”表示利用相同颜色的颜色信息算出的相似度成分所得到的伪色降低效果。
在图5D、5E、5F中，“插值对象空格子点与靠近插值对象空格子点的格子点(以下称为“接近格子点”)的距离”，比“插值对象空格子点、输出与插值对象空格子点相同颜色的颜色信息的空格子点间的距离”或“插值对象空格子点、输出和插值对象空格子点不同颜色的颜色信息的空格子点的距离”都要近。
即，接近格子点的位置成为相对插值对象空格子点最近的地方，利用接近格子点算出的第3相似度成分，与第4相似度成分及第5相似度成分相比，“相同颜色系相似度成分的伪色降低效果”大。
为此，第3相似度成分至第5相似度成分的“相同颜色系相似度成分的伪色降低效果”具有图7所示的差异。
在后述的各实施例中，利用了图5所示颜色信息来计算各个种类的相似度成分(第1相似度成分至第5相似度成分)，而各个种类的相似度成分可以是利用图8至图10所示的空格子点和格子点的颜色信息，作如下替换(以下省略横方向的各个种类的相似度成分的计算方法)。
例如纵方向的第1相似度成分Ct(1)(i,j)也可以利用图8A所示颜色信息，用下式代替上述公式t1来进行计算。Ct(1)(i,j)=a1 (1)(m1 (1)·Ct(1-1)(i,j)
   +m2 (1)·Ct(1-1)(i-1,j-1)
    +m3 (1)·Ct(1-1)(i+1,j-1)
    +m4 (1)·Ct(1-1)(i-1,j+1)
    +m3 (1)·Ct(1-1)(i+1,j+1))+a2 (1)(n1 (1)·Ct(1-2)(i,j)
    +n3 (1)·Ct(1-2)(i-1,j-1)
    +n3 (1)·Ct(1-2)(i+1,j-1)
    +n4 (1)·Ct(1-2)(i-1,j+1)
    +n5 (1)·Ct(1-2)(i+1,j+1))…公式t1-3
其中，a1 (1)、a2 (1)中的至少一个是非0的值，m1 (1)是满足0＜m1 (1)≤1的常数，m2 (1)、m3 (1)、m4 (1)、m5 (1)是满足m1 (1)+m2 (1)+m3 (1)+m4 (1)+m5 (1)=1的0～1的常数，n1 (1)是满足0＜n1 (1)≤1的常数，n2 (1)、n3 (1)、n4 (1)、n5 (1)是满足n1 (1)+n2 (1)+n3 (1)+n4 (1)+n5 (1)=1的0～1的常数。在这里，在计算Ct(1-1)(i,j)、Ct(1-1)(i-1,j-1)、Ct(1-1)(i+1,j-1)、Ct(1- 1)(i-1,j+1)、Ct(1-1)(i+1,j+1)时，作为各项内的系数u(1-1)可以采用不同的值，在计算Ct(1-2)(i,j)、Ct(1-2)(i-1,j-1)、Ct(1-2)(i+1,j-1)、Ct(1-2)(i-1,j+1)、Ct(1-2)(i+1,j+1)时，作为各项内的系数u(1-2)可以采用不同的值。
另外，纵方向的第2相似度成分Ct(2)(i,j)也可以利用图8B所示颜色信息，用下式代替上述公式t2来进行计算。Ct(2)(i,j)=a1 (2)(m1 (2)·Ct(2-1)(i,j)
                    +m2 (2)·Ct(2-1)(i-1,j-1)
                    +m3 (2)·Ct(2-1)(i+1,j-1)
                    +m4 (2)·Ct(2-1)(i-1,j+1)
                    +m5 (2)·Ct(2-1)(i+1,j+1))
           +a2 (2)(n1 (2)·Ct(2-2)(i,j)
                    +n2 (2)·Ct(2-2)(i-1,j-1)
                    +n3 (2)·Ct(2-2)(i+1,j-1)
    +n4 (2)·Ct(2-2)(i-1,j+1)
    +n5 (2)·Ct(2-2)(i+1,j+1))…公式t2-2
其中，m1 (2)是满足0＜m1 (2)≤1的常数，m2 (2)、m3 (2)、m4 (2)、m5 (2)是满足m1 (2)+m2 (2)+m3 (2)+m4 (2)+m5 (2)=1的0～1的常数，n1 (2)是满足0＜n1 (2)≤1的常数，n2 (2)、n3 (2)、n4 (2)、n5 (2)是满足n1 (2)+n2 (2)+n3 (2)+n4 (2)+n5 (2)=1的0～1的常数。在这里，在计算Ct(2-1)(i,j)、Ct(2-1)(i-1,j-1)、Ct(2-1)(i+1,j-1)、Ct(2-1)(i-1,j+1)、Ct(2-1)(i+1,j+1)时，作为各项内的系数u(2-1)可以采用不同的值，在计算Ct(2-2)(i,j)、Ct(2-2)(i-1,j-1)、Ct(2-2)(i+1,j-1)、Ct(2-2)(i-1,j+1)、Ct(2-2)(i+1,j+1)时，作为各项内的系数t(2-2)可以采用不同的值。
另外，纵方向的第3相似度成分Ct(3)(i,j)也可以利用图9A所示颜色信息，将由上述公式t3计算出的值(Ct(3)(i,j)～Ct(3)(I+1,j+1)代入下式的右边来计算。
Ct(3)(i,j)=m1 (3)Ct(3)(i,j)
      +m2 (3)Ct(3)(i-1,j-1)
      +m3 (3)Ct(3)(i+1,j-1)
      +m4 (3)Ct(3)(i-1,j+1)
      +m5 (3)Ct(3)(i+1,j+1)…公式t3-2
其中，m1 (3)是满足0＜m1 (3)≤1的常数，m2 (3)、m3 (3)、m4 (3)、m5 (3)是满足m1 (3)+m2 (3)+m3 (3)+m4 (3)+m5 (3)=1的0～1的常数。
另外，纵方向的第4相似度成分Ct(4)(i,j)也可以利用图9B所示颜色信息，将由上述公式t4计算出的值(Ct(4)(i,j)～Ct(4)(I+1,j+1)代入下式的右边来计算。
Ct(4)(i,j)=m1 (4)Ct(4)(i,j)
    +m2 (4)Ct(4)(i-1,j-1)
    +m3 (4)Ct(4)(i+1,j-1)
    +m4 (4)Ct(4)(i-1,j+1)
    +m5 (4)Ct(4)(i+1,j+1)…公式t4-2
其中，m1 (4)是满足0＜m1 (4)≤1的常数，m2 (4)、m3 (4)、m4 (4)、m5 (4)是满足m1 (4)+m2 (4)+m3 (4)+m4 (4)+m5 (4)=1的0～1的常数。在这里，在计算Ct(4-1)(i,j)、Ct(4-1)(i-1,j-1)、Ct(4-1)(i+1,j-1)、Ct(4-1)(i-1,j+1)、Ct(4-1)(i+1,j+1)时，作为各项内的系数t(4)可以采用不同的值，
另外，纵方向的第5相似度成分Ct(5)(i,j)也可以利用图10(5)所示颜色信息，用下式代替上述公式t5来进行计算。
Ct(5)(i,j)=a1 (5)(m1 (5)·Ct(5-1)(i,j)
    +m2 (5)·Ct(5-1)(i-1,j-1)
    +m3 (5)·Ct(5-1)(i+1,j-1)
    +m4 (5)·Ct(5-1)(i-1,j+1)
    +m5 (5)·Ct(5-1)(i+1,j+1))
    +a2 (5)(n1 (5)·Ct(5-2)(i,j)
    +n2 (5)·Ct(5-2)(i-1,j-1)
    +n3 (5)·Ct(5-2)(i+1,j-1)
    +n4 (5)·Ct(5-2)(i-1,j+1)
    +n5 (5)·Ct(5-2)(i+1,j+1))…公式t5-2
其中，m1 (5)是满足0＜m1 (5)≤1的常数，m2 (5)、m3 (5)、m4 (5)、m5 (5)是满足m1 (5)+m2 (5)+m3 (5)+m4 (5)+m5 (5)=1的0～1的常数，n1 (5)是满足0＜n1 (5)≤1的常数，n2 (5)、n3 (5)、n4 (5)、n5 (5)是满足n1 (5)+n2 (5)+n3 (5)+n4 (5)+n5 (5)=1的0～1的常数。在这里，在计算Ct(5-1)(i,j)、Ct(5-1)(i-1,j-1)、Ct(5-1)(i+1,j-1)、Ct(5-1)(i-1,j+1)、Ct(5-1)(i+1,j+1)时，作为各项内的系数u(5-1)可以采用不同的值，在计算Ct(5-2)(i,j)、Ct(5-2)(i-1,j-1)、Ct(5-2)(i+1,j-1)、Ct(5-2)(i-1,j+1)、Ct(5-2)(i+1,j+1)时，作为各项内的系数t(5-2)可以采用不同的值。
各个种类的相似度成分(第1相似度成分至第5相似度成分)是利用差分的绝对值来计算，但这样的相似度也可以通过例如绝对值的要素的平方等各要素的幂的计算来计算。
在这里，为了使第1实施例至第5实施例的说明变得简单，举出黑白乃奎斯特条纹的各个种类的相似度成分(第1相似度成分至第5相似度成分)的计算结果的例子、和青色纵带的各个种类的相似度成分(第1相似度成分至第5相似度成分)的计算结果的例子。
首先，将作为黑白乃奎斯特条纹的原图像的图11A所示颜色信息的值(R,G,B)与各个像素相对应，在将图11B的颜色信息的值存储在图像缓冲存储器15的情况下，黑白乃奎斯特条纹的各个种类的相似度成分(第1相似度成分至第5相似度成分)的计算结果用图11C表示。
然后，将作为青色的纵条状的原图像的图12A所示颜色信息的值(R,G,B)与各个像素相对应，在将图12B的颜色信息的值存储在图像缓冲存储器15的情况下，对于青色的纵条状的各个种类的相似度成分(第1相似度成分至第5相似度成分)的计算结果用图12C表示。
其中，在图11C和图12C中，纵方向的第1相似度成分Ct(1)(i,j)和横方向的第1相似度成分Cy(1)(i,j)是在公式t1和公式y1中，使a1 (1)=b1 (1)=1、a2 (1)=b2 (1)=0时的计算结果；纵方向的第2相似度成分Ct(2)(i,j)和横方向的第2相似度成分Cy(2)(i,j)是在公式t2和公式y2中，使a1 (2)=b1 (2)=1、a2 (2)=b2 (2)=0时的计算结果；纵方向的第3相似度成分Ct(3)(i,j)和横方向的第3相似度成分Cy(3)(i,j)是在公式t3和公式y3中的计算结果；纵方向的第4相似度成分Ct(4)(i,j)和横方向的第4相似度成分Cy(4)(i,j)是在公式t4和公式y4中，使t(4)=y(4)=1/2时的计算结果；纵方向的第5相似度成分Ct(5)(i,j)和横方向的第5相似度成分Cy(5)(i,j)是在公式t5和公式y5中，使a1 (5)=b1 (5)=1、a2 (5)=b2 (5)=0时的计算结果。
在图11C和图12C的各个相似度成分的计算结果中，各方向(纵方向和横方向)的计算结果相差很大的情况表示接近“0”的方向的相似性强。
因此，根据图11C可知，第1相似度成分和第2相似度成分对于判定黑白乃奎斯特条纹的相似性的强弱有效。
根据图12C可知，第2相似度成分至第4相似度成分对于判定青色的纵条状的相似性的强弱有效。
第1实施例
以下参照图1至图5说明第1实施例的动作。
在主电源导通的状态下，在摄像单元13中，通过摄影光学系统11和OLP12得到的光学像在光电变换面(未图示)成像，经过光电变换生成信号电荷。摄像单元13扫描这样生成的信号电荷，生成图像信号，送给A/D变换部14。
A/D变换部14将送来的图像信号进行A/D变换，生成图像数据(图3S1)。在第1实施例和后述的各实施例中，图像数据相当于与摄像单元13的各像素对应的颜色信息。
这样生成的图像数据被分为RGB的3种颜色，存储在与各个颜色对应的图像缓冲存储器15内的区域(图3S2)。绿色的图像数据(格子点的颜色信息)如如图2所示，与上述坐标系所示坐标相对应并被存储。
上述处理(图像数据的生成和存储)通过控制部10的时钟控制而反复进行。
控制部10通过接口部18判断设在电子静止图像摄像机的盒体上的快门(release button)(未图示)是否按下。
当控制部10通过这样的判断得知按钮未被按下时，通过上述时钟控制指示反复进行图像数据的生成(图3S1)和存储(图3S2)的处理。
当控制部10得知按钮被按下时，指示图像处理部17内的插值处理部19进行后述的插值处理(图3S4)。
即，在第1实施例和后述的各实施例中，当快门被按下时，存储在图像缓冲存储器15中的图像数据成为插值处理的对象。
也可以将由灰度变换部16从图像缓冲存储器15读出图像数据进行灰度变换(log化和γ变换等)后，将再次存储在图像缓冲存储器15的图像数据作为插值处理的对象。
在显示进行插值处理的图像时，也可以不对快门被按下时被摄像的图像而对通常被摄像的图像进行插值处理并进行显示。而且，图像数据的生成(图3S1)和存储(图3S2)的处理如果是在插值处理前进行，则可以在快门被按下后进行。
这样实行了插值处理的图像数据(空格子点的插值量)被存储在图像缓冲存储器15内预定的区域(图3S5)。
接着参照图4说明第1实施例的插值处理的动作。
当插值处理部19被控制部10指示进行插值处理时，选择作为插值处理的对象的插值对象空格子点(图4S1)。
例如，在图2中，对于任意的坐标(x,y)[x+y=奇数]成立时，该坐标与空格子点对应。因此，在第1实施例和后述的各实施例中，将对应于各像素的坐标从(1,1)到(X-max,Y-max)按照顺序检索，使X成分和Y成分的和成为奇数的坐标为空格子点。
在图2中，当对于任意的坐标(x,y)[x+y=奇数]成立时，通过判断x是偶数还是奇数，可以识别从该坐标的像素输出的颜色。例如当[x+y=奇数且x=偶数]成立的像素的输出为红色时，则[x+y=奇数且x=奇数]成立的像素的输出为蓝色。
当插值处理部19选择上述的插值对象空格子点时，从图像缓冲存储器15读取图5A(或图5B)、图5C、图5D所示颜色信息。即插值处理部19从图像缓冲存储器15读取计算插值对象空格子点的相似度时所需的颜色信息(图452)。这样读出的颜色信息被提供给相似度计算部20。
相似度计算部20利用从插值处理部19供给的颜色信息，计算纵方向的相似度成分Ct(i,j)和横方向的相似度成分Cy(i,j)(图4S3)。
即相似度计算部20利用从插值处理部19供给的颜色信息，根据上述公式t1(或公式t1-2)、公式y1(或公式y1-2)、公式t2、公式y2、公式t3和公式y3，  计算纵方向的第1相似度成分Ct(1)(i,j)、横方向的第1相似度成分Cy(1)(i,j)、纵方向的第2相似度成分Ct(2)(i,j)和横方向的第2相似度成分Cy(2)(i,j)、纵方向的第3相似度成分Ct(3)(i,j)和横方向的第3相似度成分Cy(3)(i,j)，根据下述的公式1和2计算纵方向的相似度成分Ct(i,j)和横方向的相似度成分Cy(i,j)。
Ct(i,j)=α1Ct(1)(i,j)+β1Ct(2)(i,j)+γ1Ct(3)(i,j)…公式1
Cy(i,j)=α2Cy(1)(i,j)+β2Cy(2)(i,j)+γ2Cy(3)(i,j)…公式2
其中，α1、α2、β1、β2、γ1、γ2是正值，是各项的加权系数。在这里，附加上α1=α2=α、β1=β2=β、γ1=γ2=γ,α∶β∶γ=1∶1∶1的条件。而根据颜色信息将纵方向的相似度成分Ct(i,j)和横方向的相似度成分Cy(i,j)归一化时，也可以附加上α+β+γ=1的条件。
相似度判断部21根据这样计算出的纵方向的相似度成分Ct(i,j)和横方向的相似度成分Cy(i,j)，判断相似性强的方向(图4S4)。
例如，对于采用任意的值T(在这里采用“0”)，当
｜Ct(i,j)-Cy(i,j)｜＞T  Ct(i,j)＜Cy(i,j)
成立时，相似性判断部21判断纵方向的相似性强，当
｜Ct(i,j)-Cy(i,j)｜＞T  Ct(i,j)＞Cy(i,j)
成立时，判断横方向的相似性强，当
｜Ct(i,j)-Cy(i,j)1≤T
成立时，判断2个方向的相似性程度相同。
相似性判断部21对于后述的第7实施例的公式28所示x，当“x＞1”成立时，判断纵方向的相似性强；当“x＜-1”成立时，判断横方向的相似性强；当“-1≤x≤1”成立时，判断2个方向的相似性程度相同。
当插值量计算部22判断出相似性强的方向时，利用与判定为相似性强的方向相邻的格子点的颜色信息计算插值对象空格子点的插值量(图4S5)。
例如当插值量计算部22判定纵方向的相似性强时，利用
G’(i,j)={G(i,j-1)+G(i,j+1)}/2
计算插值对象空格子点的插值量G’(i,j)；当判定横方向的相似性强时，利用
G’(i,j)={G(i-1,j)+G(i+1,j)}/2
计算插值对象空格子点的插值量G’(i,j)；当判定2个方向的相似性程度相同时，利用
G’(i,j)={G(i,j-1)+G(i,j+1)+G(i-1,j)+G(i+1,j)}/4
或G’(i,j)=median{G(i,j-1),G(i,j+1),G(i-1,j),G(i+1,j)}
计算插值对象空格子点的插值量G’(i,j)；
其中，median{}表示计算多个要素的中值的函数，当要素的数量为偶数时，取中央的2个要素的平均值。
另外，插值量计算部22根据后述的第7实施例的公式28所示x判断相似性强的方向时，也可以与第7实施例同样地(图15S7～S11)，计算插值对象空格子点的插值量。
当插值对象空格子点的插值量被计算出时，插值处理部19判断所有的空格子点的插值处理是否完了(图4S6)。
例如，这样的判断在检索与上述各像素对应的坐标的过程中，等效于，对于任意的坐标(i,j)判断“i＞X-max-3”和“j＞Y-max-3”是否成立。
对于图像的端部这样的本发明的插值处理不适用的部分，可以将图像的端部弯折，生成假想的图像(公知技术)，利用这样生成的图像进行插值处理。
插值处理部19通过这样的判断，在得知所有的空格子点的插值处理完了之前，反复进行上述处理(图4S1以后的处理)。
如上所述，在第1实施例中，通过计算相对纵方向和横方向的第1相似度成分、第2相似度成分和第3相似度成分，并将这3种相似度成分加权相加，来计算插值对象空格子点的相似度。
为此，即使在例如图11C所示的、在只根据第3相似度成分的计算结果不能进行相似性强的方向的判断的情况下，通过有效利用第1相似度成分和第2相似度成分的计算结果，可以高精度地计算插值对象空格子点的相似度。另外，即使在例如图12C所示的、在只根据第1相似度成分的计算结果判断的相似性强的方向出现错误的情况下，通过第2相似度成分和第3相似度成分的计算结果，可以高精度地计算插值对象空格子点的相似度。
在第1实施例中，可以得到图7所示“不同颜色系相似度成分的伪色降低效果”和“相同颜色系相似度成分的伪色降低效果”的良好平衡。
因此，在第1实施例中，不但可以得到黑白乃奎斯特条纹那样的空间频率高的图像，而且可以减少自然画等多个种类的图像产生的伪色。即根据第1实施例，可以确实地提高插值处理的精度。
在第1实施例中，在公式1和公式2中，附加了α1=α2=α、β1=β2=β、γ1=γ2=γ,α∶β∶γ=1∶1∶1的条件，如果第1相似度成分至第3相似度成分以相同的比例被加权相加，则α1、α2、β1、β2、γ1、γ2为任何值都可以。
在第1实施例中，将利用图5A(或5B)、图5C、图5D所示颜色信息计算出的3个种类的相似度成分加权相加，来计算纵方向的相似度Ct(i,j)和横方向的相似度Cy(i,j)，但纵方向的相似度Ct(i,j)和横方向的相似度Cy(i,j)也可以将利用图5A(或5B)、图5C所示颜色信息、图5D～5F中的任一个所示颜色信息计算出的3个种类的相似度成分加权相加来计算。
第2实施例
以下说明第2实施例的动作。
第2实施例的特征为纵方向的相似度Ct(i,j)和横方向的相似度Cy(i,j)的计算方法(与图4S2和S3相当)，对于其它的动作，由于与第1实施例相同，故省略说明。即在这里说明与图4S2和S3相当的动作。
插值处理部19读取图5A(或5B)、5C所示颜色信息(与图4S2相当)，送给相似度计算部20。
相似度计算部20利用送来的颜色信息，根据上述公式t1(或公式t1-2)、公式y1(或公式y1-2)、公式t2和y2，计算纵方向的第1相似度成分Ct(1)(i,j)、横方向的第1相似度成分Cy(1)(i,j)、纵方向的第2相似度成分Ct(2)(i,j)和横方向的第2相似度成分Cy(2)(i,j)，根据下述的公式3和4计算纵方向的相似度成分Ct(i,j)和横方向的相似度成分Cy(i,j)(与图4S3相当)。
Ct(i,j)=α1Ct(1)(i,j)+β1Ct(2)(i,j)…公式3
Cy(i,j)=α2Cy(1)(i,j)+β2Cy(2){i,j)…公式4
其中，α1、α2、β1、β2是正值，是各项的加权系数。在这里，附加上α1=α2=α、β1=β2=β,α∶β=1∶1的条件。而根据颜色信息将纵方向的相似度成分Ct(i,j)和横方向的相似度成分Cy(i,j)归一化时，也可以附加上α+β=1的条件。
即在第2实施例中，通过计算对于纵方向和横方向的第1相似度成分和第2相似度成分，并将这2种相似度成分加权相加，来计算插值对象空格子点的相似度。
为此，对于例如黑白乃奎斯特条纹，如图11C所示，通过有效利用第1相似度成分和第2相似度成分的计算结果，可以高精度地计算插值对象空格子点的相似度。
根据第2实施例，可以得到图7所示“不同颜色系相似度成分的伪色降低效果”。
因此，在第2实施例中，不但可以降低黑白乃奎斯特条纹这种空间频率高的图像所产生的伪色，而且通过第2相似度成分得到图7所示“相同颜色系相似度成分的伪色降低效果”，因此效果虽然比第1实施例差一些，但可以减少自然画等多个种类的图像产生的伪色。即根据第2实施例，可以确实地提高插值处理的精度。
在第2实施例中，在公式3和公式4中，附加了α1=α2=α、β1=β2=β,α∶β=1∶1的条件，如果第1相似度成分至第3相似度成分以相同的比例被加权相加，则α1、α2、β1、β2为任何值都可以。
第3实施例
以下说明第3实施例的动作。
第3实施例的特征为纵方向的相似度Ct(i,j)和横方向的相似度Cy(i,j)的计算方法(与图4S2和S3相当)，对于其它的动作，由于与第1实施例相同，故省略说明。即在这里说明与图4S2和S3相当的动作。
插值处理部19读取图5C、5D所示颜色信息(与图4S2相当)，送给相似度计算部20。
相似度计算部20利用送来的颜色信息，根据上述公式t2、公式y2、公式t3和y3，计算纵方向的第2相似度成分Ct(2)(i,j)、横方向的第2相似度成分Cy(2)(i,j)、纵方向的第3相似度成分Ct(3)(i,j)和横方向的第3相似度成分Cy(3)(i,j)，根据下述的公式5和6计算纵方向的相似度成分Ct(i,j)和横方向的相似度成分Cy(i,j)(与图4S3相当)。
Ct(i,j)=β1Ct(2)(i,j)+γ1Ct(3)(i,j)…公式5
Cy(i,j)=β2Cy(2)(i,j)+γ2Cy(3)(i,j)…公式6
其中，β1、β2、γ1、γ2是正值，是各项的加权系数。在这里，附加上β1=β2=β、γ1=γ2=γ,β∶γ=1∶1的条件。而根据颜色信息对纵方向的相似度成分Ct(i,j)和横方向的相似度成分Cy(i,j)进行归一化时，也可以附加上β+γ=1的条件。
即在第3实施例中，通过计算相对纵方向和横方向的第2相似度成分和第3相似度成分，并将这2种相似度成分加权相加，来计算插值对象空格子点的相似度。
因此，对于例如青色的纵条纹，如图12C所示，通过第2相似度成分和第3相似度成分的计算结果，可以高精度地计算插值对象空格子点的相似度。
根据第3实施例，可以得到图7所示“相同颜色系相似度成分的伪色降低效果”。
因此，根据第3实施例，不但可以减少自然画等多种图像的伪色的发生，而且通过第2相似度成分得到图7所示“不同颜色系相似度成分的伪色降低效果”，因此效果虽然比第1实施例差一些，但可以减少黑白乃奎斯特条纹这种空间频率高的图像所产生的伪色。即根据第3实施例，可以确实地提高插值处理的精度。
在第3实施例中，在公式5和公式6中，附加了β1=β2=β、γ1=γ2=γ,β∶γ=1∶1的条件，如果第2相似度成分至第3相似度成分以相同的比例被加权相加，则β1、β2、γ1、γ2为任何值都可以。
在第3实施例中，将利用图5C、图5D所示颜色信息计算出的2个种类的相似度成分加权相加，来计算纵方向的相似度Ct(i,j)和横方向的相似度Cy(i,j)，但纵方向的相似度Ct(i,j)和横方向的相似度Cy(i,j)也可以将利用图5C所示颜色信息、图5D～5F中至少一个所示颜色信息计算出的2个种类的相似度成分加权相加来计算。
第4实施例
以下说明第4实施例的动作。
第4实施例的特征为纵方向的相似度Ct(i,j)和横方向的相似度Cy(i,j)的计算方法(与图4S2和S3相当)，对于其它的动作，由于与第1实施例相同，故省略说明。即在这里说明与图4S2和S3相当的动作。
插值处理部19读取图5A(或5B)、5D所示颜色信息(与图4S2相当)，送给相似度计算部20。
相似度计算部20利用送来的颜色信息，根据a1 (1)≠0成立的状态的公式t1(或公式t1-2)、b1 (1)≠0成立的状态公式y1(或公式y1-2)、公式t3和y3，计算纵方向的第1相似度成分Ct(1)(i,j)、横方向的第1相似度成分Cy(1)(i,j)、纵方向的第3相似度成分Ct(3)(i,j)和横方向的第3相似度成分Cy(3)(i,j)，根据下述的公式7和8计算纵方向的相似度成分Ct(i,j)和横方向的相似度成分Cy(i,j)(与图4S3相当)。
Ct(i,j)=α1Ct(1)(i,j)+γ1Cr(3)(i,j)…公式7
Cy(i,j)=α2Cy(1)(i,j)+γ2Cy(3)(i,j)…公式8
其中，α1、α2、γ1、γ2是正值，是各项的加权系数。在这里，附加上α1=α2=α、γ1=γ2=γ,α∶γ=1∶1的条件。而根据颜色信息将纵方向的相似度成分Ct(i,j)和横方向的相似度成分Cy(i,j)归一化时，也可以附加上α+γ=1的条件。
即在第4实施例中，根据a1 (1)≠0成立的状态的公式t1(或公式t1-2)来计算纵方向的第1相似度成分Ct(i,j)，因此纵方向的相似度Ct(i,j)包括
Ct(1-1)(i,j)=t(1-1)｜G(i,j-1)-RB(i,j)｜
    +(1-t(1-1))｜G(i,j+1)-RB(i,j)｜
而根据b1 (1)≠0成立的状态公式y1(或公式y1-2)计算横方向的第1相似度成分Cy(1)(i,j)，因此横方向的相似度Cy(1)(i,j)包括
Cy(1-1)(i,j)=y(1-1)｜G(i-1,j)-RB(i,j)｜
    +(1-y(1-1))｜G(i+1,j)-RB(i,j)｜
其中，t(1-1)和y(1-1)是0～1的常数。
因此，在第4实施例中，可以解决美国专利第5,652,621的“伪色发生范围扩大的问题”，能够高精度地计算插值对象空格子点的相似度。
在第4实施例中，可以得到图7所示“不同颜色系相似度成分的伪色降低效果”和“相同颜色系相似度成分的伪色降低效果”。
因此，在第4实施例中，虽然效果比第1实施例差一些，但可以减少黑白乃奎斯特条纹那样的空间频率高的图像和自然画等多种图像的伪色的产生。即根据第4实施例，可以确实地提高插值处理的精度。
在第4实施例中，在公式7和公式8中，附加了α1=α2=α、γ1=γ2=γ,α∶γ=1∶1的条件，如果第1相似度成分至第3相似度成分以相同的比率被加权相加，则α1、α2、γ1、γ2为任何值都可以。
在第4实施例中，将利用图5A(或图5B)、图5D所示颜色信息计算出的2个种类的相似度成分加权相加，来计算纵方向的相似度Ct(i,j)和横方向的相似度Cy(i,j)，但纵方向的相似度Ct(i,j)和横方向的相似度Cy(i,j)也可以将利用图5A(或5B)所示颜色信息、图5D～5F中至少一个所示颜色信息计算出的2个种类的相似度成分加权相加来计算。
第5实施例
以下说明第5实施例的动作。
第5实施例的特征为纵方向的相似度Ct(i,j)和横方向的相似度Cy(i,j)的计算方法(与图4S2和S3相当)，对于其它的动作，由于与第1实施例相同，故省略说明。即在这里说明与图4S2和S3相当的动作。
插值处理部19读取图5A(或5B)、5C、5D、5E、5F所示颜色信息(与图4S2相当)，送给相似度计算部20。
相似度计算部20利用送来的颜色信息，根据上述公式t1(或公式t1-2)、公式y1(或公式y1-2)、公式t2和y2、公式t3、公式y3、公式t4、公式y4、公式t5和公式y5，计算纵方向的第1相似度成分Ct(1)(i,j)、横方向的第1相似度成分Cy(1)(i,j)、纵方向的第2相似度成分Ct(2)(i,j)和横方向的第2相似度成分Cy(2)(i,j)、纵方向的第3相似度成分Ct(3)(i,j)和横方向的第3相似度成分Cy(3)(i,j)、纵方向的第4相似度成分Ct(4)(i,j)和横方向的第4相似度成分Cy(4)(i,j)、纵方向的第5相似度成分Ct(5)(i,j)和横方向的第5相似度成分Cy(5)(i,j)，根据下述的公式9和10计算纵方向的相似度成分Ct(i,j)和横方向的相似度成分Cy(i,j)(与图4S3相当)。
Ct(i,j)=α1Ct(1)(i,j)+β1Ct(2)(i,j)+γ1Ct(3)(i,j)
      +δ1Ct(4)(i,j)+ε1Ct(5)(i,j)…公式9
Cy(i,j)=α2Cy(1)(i,j)+β2Cy(2)(i,j)+γ2Cy(3)(i,j)
      +δ2Cy(4)(i,j)+ε2Cy(5)(i,j)…公式10
其中，α1、α2、β1、β2、γ1、γ2、δ1、δ2、ε1、ε2是正值，是各项的加权系数。在这里，附加上α1=α2=α、β1=β2=β、γ1=γ2=γ,δ1=δ2=δ、ε1=ε2=ε、α∶β∶γ∶δ∶ε=4∶4∶2∶1∶1的条件。而根据颜色信息将纵方向的相似度成分Ct(i,j)和横方向的相似度成分Cy(i,j)归一化时，也可以附加上α+β+γ+δ+ε=1的条件。
如上所述，在第5实施例中，通过计算相对纵方向和横方向的第1相似度成分至第5相似度成分，并将这5种相似度成分加权相加，来计算插值对象空格子点的相似度。
因此，例如在第5实施例中，如图11C所示，在只根据第3相似度成分至第5相似度成分的计算结果，即使不能进行相似性强的方向的判断的情况下，通过有效利用第1相似度成分和第2相似度成分的计算结果，可以高精度地计算插值对象空格子点的相似度。另外，如图12C所示，在只根据第1相似度成分的计算结果，即使对相似性强的方向的判断错误的情况下，通过利用第2相似度成分和第4相似度成分的计算结果，可以高精度地计算插值对象空格子点的相似度。
在图12C所示相同颜色系相似度成分中，虽然由于青色中不含有红色成分，无法查出第5相似度成分的方向性，但通过有效地利用第3相似度成分和第4相似度成分的计算结果，可以高精度地计算插值对象空格子点的相似度。
但是，在公式9和公式10中附加的条件(α1=α2=α、β1=β2=β、γ1=γ2=γ,δ1=δ2=δ、ε1=ε2=ε、α∶β∶γ∶δ∶ε=4∶4∶2∶1∶1)是同时满足“α∶β∶(γ∶δ∶ε)=1∶1∶1”和“γ∶δ∶ε=2∶1∶1”的条件。
在这里，“α∶β∶(γ∶δ∶ε)=1∶1∶1”说明图7所示“不同颜色系相似度成分的伪色降低效果”和“相同颜色系相似度成分的伪色降低效果”与第1实施例具有相同的比例，可以得到良好的平衡效果。
而“γ∶δ∶ε=2∶1∶1”意味着第3相似度成分比第4相似度成分和第5相似度成分的“相同颜色系相似度成分的伪色降低效果”大。
因此在第5实施例中，不但能减少黑白乃奎斯特条纹这样的空间频率高的图像产生的伪色，而且能够减少自然画等多个种类的图像产生的伪色。即根据第5实施例，可以确实地提高插值处理的精度。
由于在第5实施例中计算出了在第1实施例中未计算出的第4相似度成分和第5相似度成分，因此即使对于某种颜色成分不存在的图像，因为通过第3相似度成分至第5相似度成分相互配合计算出相同颜色系成分，所以即使通过第1实施例，也能提高计算插值对象空格子点的插值量。
但是，在第5实施例中，与第1实施例同样地，对于任意的值T，当｜Ct(i,j)-Cy(i,j)｜＞T成立时，可以判断相似性强的方向。
在这里，在公式9和公式10中，当使α1=α2=α、β1=β2=β、γ1=γ2=γ,δ1=δ2=δ、ε1=ε2=ε时，
｜Ct(i,j)-Cy(j,j)｜=α｜Ct(1)(i,j)-Cy(1)(i,j)｜+
                    β｜Ct(2)(i,j)-Cy(2)(i,j)｜+
                    γ｜Ct(3)(i,j)-Cy(3)(i,j)｜+
                    δ｜Ct(4)(i,j)-Cy(4)(i,j)｜+
                    ε｜Ct(5)(i,j)-Cy(5)(i,j)｜
因此，例如图11C的第3相似度成分至第5相似度成分那样在纵方向和横方向的计算结果都为“0”的情况下，和图12C的第1相似度成分那样在纵方向和横方向的计算结果均衡的情况下，即使加权系数是很大的值，也不会对｜Ct(i,j)-Cy(i,j)｜的值产生大的影响。
即在第5实施例中，即使在计算不适用于插值对象空格子点的插值处理的相似度成分(例如图11C的第3相似度成分至第5相似度成分)，并加权计算适用于插值对象空格子点的插值处理的相似度成分(例如图11C的第1相似度成分和第2相似度成分)的情况下，只有适用于插值对象空格子点的插值处理的相似度成分有效发生作用，能够进行高精度的插值处理。
在第5实施例中，通过将利用图5A(或5B)、5C、5D、5E、5F所示颜色信息计算出的5种相似度成分进行加权计算，来计算纵方向的相似度Ct(i,j)和横方向的相似度Cy(i,j)，但纵方向的相似度Ct(i,j)和横方向的相似度Cy(i,j)也可以通过将利用图5A(或5B)、5C、5D所示颜色信息，和5E、5F的任一个颜色信息计算出的4种相似度成分进行加权计算，来进行计算。
第6实施例
图13是第6实施例的插值处理的动作流程图。
在图13中，对于进行与图4所示动作流程图相同的处理的步骤，赋予与图4相同的步骤编号，在这里省略其说明。
图4所示动作流程图和图13所示动作流程图的不同之处，是将图4的S3、S4替换成图13的S101～103。
以下说明第6实施例的插值处理的动作，在这里，以图13的S101～S103的处理为中心进行说明。
插值处理部19读出图5A(图5B)、5C、5D、5E、5F所示颜色信息(图13S2)，送给相似度计算部20。
相似度计算部20利用读出的颜色信息，计算多个种类的相似度(图13S101)，送给相似性判断部21。
在第6实施例中，作为多个种类的相似度，计算上述第1相似度成分至第5相似度成分。即相似度计算部20根据上述公式t1(或t1-2)、公式y1(或y1-2)、公式t2、y2、公式t3、y3公式t4、y4公式t5和y5，计算对应于各相似度成分的第1相似度至第5相似度。
当多个种类的相似度被送来时，相似性判断部21判断各个种类的相似度的相似性强的方向(图13S102)。
在这里，为了使以后的说明简单，用第k的相似度(k∶1,…5)表示第1相似度至第5相似度，用Ct(k)(i,j)表示纵方向的第k相似度，用Cy(k)(i,j)表示横方向的第k相似度，作为表示各种类的相似性强的方向的值，  用D(k)(k∶1,…,5)来表示。其中对于D(k)，当纵方向的相似性强时被设定为“-1”，当横方向的相似性强时被设定为“1”，当2个方向的相似性程度相同时，被设定为“0”。
例如，相似性判断部21当
Ct(k)(i,j)＜Cy(k)(i,j)
成立时，判断纵方向的相似性强，将“-1”代入D(k),
当Ct(k)(i,j)=Cy(k)(i,j)
成立时，将“0”代入D(k),
当Ct(k)(i,j)＞Cy(k)(i,j)
成立时，判断横方向的相似性强，将“1”代入D(k),
接着，相似性判断部21通过这种方式判断各种类的相似性强的方向，对该判断结果进行加权，再进行择多判定(以下称为“加权择多判定”)，从而判定插值对象空格子点的相似性强的方向(图13S103)。
即相似性判断部21当“判定纵方向的相似性强的种类”比“判定横方向的相似性强的种类”多时，判定纵方向的相似性强；而当“判定横方向的相似性强的种类”比“判定纵方向的相似性强的种类”多时，判定横方向的相似性强。
例如，相似性判断部21根据以下的公式11计算用于进行这种判定的评定值D(i,j)。
D(i,j)=αD(1)(i,J)+βD(2)(i,j)+γD(3)(i,j)+
    δD(4)(i,j)+εD(5)(i,j)…公式11
其中，α、β、γ、δ、ε是正值，是各项的加权系数。在这里，在第5实施例中，是满足α∶β∶γ∶δ∶ε=4∶4∶2∶1∶1的值。而在第1实施例至第4实施例中，α、β、γ、δ、ε是满足α∶β∶γ∶δ∶ε=1∶1∶1∶0∶0、1∶1∶0∶0∶0、0∶1∶1∶0∶0、1∶0∶1∶0∶0的值。
相似性判断部21对于这样计算出的评定值D(i,j)，
当D(i,j)＜0成立时，判定纵方向的相似性强；
D(i,j)＞0成立时，判定横方向的相似性强；
D(i,j)=0成立时，判定2个方向的相似性的程度相同。
如上所述，在第6实施例中，对纵方向和横方向计算第1相似度至第5相似度，判定各种类的相似性强的方向，根据对该判断结果进行加权择多判定，判定插值对象空格子点的相似性强的方向。
因此在第6实施例中，在公式11中，在使α∶β∶γ∶δ∶ε=4∶4∶2∶1∶1的情况下，与第5实施例同样地，不但能减少黑白乃奎斯特条纹这样的空间频率高的图像产生的伪色，而且能够减少自然画等多个种类的图像产生的伪色。即根据第6实施例，可以确实地提高插值处理的精度。
在第6实施例中，例举了5个种类的相似度(第1相似度至第5相似度)的计算的例子，但在通过加权择多判定来判定插值对象空格子点的相似性强的方向的插值处理方法中，如果能够计算第1相似度至第5相似度中的至少2个相似度，则可以计算任意的相似度。
例如，在通过加权择多判定来判定插值对象空格子点的相似性强的方向的插值处理中，作为将要计算的相似度的组合，可以有“第1相似度和第2相似度(在第2实施例中)”、“第2相似度和第3相似度(在第3实施例中)”、“第1相似度和第3相似度(在第4实施例中)”、“第1相似度、第2相似度和第3相似度(在第1实施例中)”等。
这些伪色降低效果可以达到第1实施例至第4实施例的伪色降低效果。
第7实施例
图14是对应于第7实施例至第10实施例的电子静止图像摄像机的功能框图。
在图14中，对于功能与图1所示功能框图相同的部分，赋予相同的符号，并省略其结构的说明。
图14与图1的结构的不同之处在于，图14的插值处理部30、相似度计算部31和插值量计算部32，代替了图1的插值处理部19、相似度计算部20、相似性判断部21和插值量计算部22。
图14的电子静止图像摄像机除了图3S4(进行插值处理的步骤)，与图1的电子静止图像摄像机进行相同的动作。
图15是第7实施例的插值处理的动作流程图。
以下参照图14和图15说明第7实施例的动作。第7实施例的特征在于插值处理的方法，对于其它的动作，因为与第1实施例相同，因此在这里以插值处理的动作为中心进行说明。
首先，插值处理部30与第1实施例同样地选择插值对象空格子点(图15S1)、从图像缓冲存储器15读取插值对象空格子点的颜色信息RB(i,j)和与插值对象空格子点相邻的格子点的颜色信息G(i,j-1)、G(i,j+1)、G(i-1,j)、G(i+1,j)(图15S2)。
这种从图像缓冲存储器15读取的插值对象空格子点的颜色信息RB(i,j)、和与插值对象空格子点相邻的格子点的颜色信息G(i,j-1)、G(i,j+1)、G(i-1,j)、G(i+1,j)被送给相似度计算部31。
相似度计算部31利用这种送来的格子点的颜色信息G(i,j-1)、G(i,j+1)、G(i-1,j)、G(i+1,j)，根据下述公式计算表示插值对象空格子点的周边部分的图像的特征的值Q(以下称为“部分图像特征值Q”)(图15S3)。
Q=Q1-θ×Q2…公式12
其中，在公式12中，
Q1=｜(G(i,j-1)+G(i,j+1))-(G(i-1,j)+G(i+1,j))｜…公式13
Q2=(C1(i,j)+C2(i,j))…公式14
θ是预先确定的常数。
C1(i,j)=Ct(3)(i,j)
      +t1·Ct(3)(i-1,j-1)
      +t2·Ct(3)(i-1,j+1)
      +t3·Ct(3)(i+1,j-1)
      +t4·Ct(3)(i+1,j+1)…公式15
C2(i,j)=Cy(3)(i,j)
      +y1·Cy(3)(i-1,j-1)
      +y2·Cy(3)(i-1,j+1)
      +y3·Cy(3)(i+1,j-1)
      +y4·Cy(3)(i+1,j+1)…公式16
在公式15中，
Ct(3){i,j)=｜G(i,j-1)-G(i,j+1)｜
                …公式17(与t3相同)
t1、t2、t3和t4是预先确定的常数(包括全部为0的情况)
在公式16中，
Cy(3)(i,j)=｜G(i-1,j)-G(i+1,j)｜
              …公式18(与y3相同)
y1、y2、y3和y4是预先确定的常数(包括全部为0的情况)
即部分图像特征值Q在“G(i,j-1)+G(i,j+1)”和“G(i-1,j)+G(i+1,j)”的差(Q1)大的情况下，说明对于与插值对象空格子点的纵方向相邻的格子点的颜色信息的和、及与横方向相邻的格子点的颜色信息的和相差很大。
当C1(i,j)与C2(i,j)的和(Q2)很小时，说明在插值对象空格子点的周边，纵方向的颜色信息的倾斜及横方向的颜色信息的倾斜都很小。
相似度计算部31当根据上述公式计算出部分图像特征值Q时，根据部分图像特征值Q，判定“Q≤Qth”是否成立(图15S4)。
Qth是预定的阈值，当部分图像特征值Q超过阈值Qth时(Q1大而Q2小的情况)，则说明插值对象空格子点的周边部分的图像是黑白乃奎斯特条纹的可能性很高。
当Q≤Qth成立时，相似度计算部31利用已经读出的格子点的颜色信息G(i,j-1)、G(i,j+1)、G(i-1,j)和G(i+1,j)，根据下述公式计算纵方向的相似度Ct(i,j)和横方向的相似度Cy(i,j)(图15S5)。
Ct(i,j)=C1(i,j)…公式19
Cy(i,j)=C2(i,j)…公式20
其中，C1(i,j)和C2(i,j)是根据公式15～公式18计算出的值。
另一方面，当Q≤Qth不成立(Q＞Qth)时，相似度计算部31利用已经读出的格子点的颜色信息G(i,j-1)、G(i,j+1)、G(i-1,j)和G(i+1,j)，根据下述公式计算纵方向的相似度Ct(i,j)和横方向的相似度Cy(i,j)(图15S6)。
Ct(i,j)=D1(i,j)…公式21
Cy(i,j)=D2(i,j)…公式22
其中，在公式21中，
D1(i,j)=Ct(1-4)(i,j)
        +u1·Ct(1-4)(i-1,j-1)
        +u2·Ct(1-4)(i-1,j+1)
        +u3·Ct(1-4)(i+1,j-1)
        +u4·Ct(1-4)(i+1,j+1)…公式23
在公式11中，
D2(i,j)=Cy(1-4)(i,j)
    +v1·Cy(1-4)(i-1,j-1)
    +v2·Cy(1-4)(i-1,j+1)
    +v3·Cy(1-4)(i+1,j-1)
    +v4·Cy(1-4)(i+1,j+1)…公式24
在公式23中，
Ct(1-4)(i,j)=t｜RB(i,j)-G(i,j-1)｜
    +(1-t)｜RB(i,j)-G(i,j+1)｜…公式25a
或
Ct(1-4)(i,j)=｜t·G(i,j-1)
    +(1-t)·G(i,j+1)-RB(i,j)｜…公式25b
u1、u2、u3、u4和t是预定的常数。在公式24中，
Cy(1-4)(i,j)=y｜RB(i,j)-G(i-1,j)｜
    +(1-y)｜RB(i,j)-G(i+1,j)｜…公式26a
或
Cy(1-4)(i,j)=｜y·G(i-1,j)
    +(1-y)·G(i+1,j)-RB(i,j)｜…公式26b
v1、v2、v3、v4和y是预定的常数。
即相似度计算部31在计算纵方向的相似度Ct(i,j)和横方向的相似度Cy(i,j)时，可以根据部分图像特征值Q的大小决定是否采用插值对象空格子点的颜色信息RB(i,j)。
相似度计算部31将这样计算出的纵方向的相似度Ct(i,j)和横方向的相似度Cy(i,j)送给插值量计算部32。
当纵方向的相似度Ct(i,j)和横方向的相似度Cy(i,j))被送来时，插值量计算部32利用已通过插值处理部30送来的格子点的颜色信息G(i,j-1)、G(i,j+1)、G(i-1,j)、G(i+1,j)，根据公式27计算插值对象空格子点的插值量G’(i,j)。
G’(i,j)={(G(i,j-1)+G(i,j+1))·(1+f(x))
    +(G(i-1,j)+G(i+1,j))·(1-f(x))}/4…公式27
其中，
x=(Cy(i,j)-Ct(i,j))
/{(Cy(i,j)+Ct(i,j))·T1+T0 }…公式28
当-1≤x≤1时，f(x)=x
x＞1时，f(x)=1
x＜-1时，f(x)=-1
在这里，T1是满足-1≤T≤1的常数，在将颜色信息表示为“从0至255”的数值(8比特)的情况下，T0是“从0至100”的常数，而且T0和T1不同时为0。例如，作为T0和T1的组合(t1,t0)，可以有(0.3,0)、(0.5,10)、(0.7,0)、(0.3,40)、(0.5,40)、(0.7,40)。
这样，插值量计算部32将根据公式28得到的x的值作为插值对象空格子点的相似性的评定值，根据该评定值计算插值对象空格子点的插值量。在这里，“x＞0”成立时说明纵方向的相似性比横方向的相似性强；当“x＜0”成立时，说明横方向的相似性比纵方向的相似性强。
f(x)的图形为图16所示的形状。
对于公式27，当“x＞1”成立时，由于“f(x)=1”，G’(i,j)=(G(i,j-1)+G(i,j+1))/2
当“x＜-1”成立时，由于“f(x)=-1”，公式27等同于
G’(i,j)=(G(i-1,j)+G(i+1,j))/2
即，插值量计算部32根据判定“x＞1”是否成立来判定插值对象空格子点的纵方向的相似性的强度突出(图15S7)，根据判定“x＜-1”是否成立判定插值对象空格子点的横方向的相似性的强度是否突出(图15S8)。
插值量计算部32当插值对象空格子点的纵方向的相似性的强度突出时，将与纵方向相邻的2个格子点的颜色信息的平均值作为插值对象空格子点的插值量(图15S9)；当插值对象空格子点的横方向的相似性的强度突出时，将与横方向相邻的2个格子点的颜色信息的平均值作为插值对象空格子点的插值量(图15S10)。
当-1≤x≤1时，公式27等同于
G’(i,j)=((G(i,j-1)+G(i,j+1))/2}·{(1+x)/2}
    +{(G(i-1,j)+G(i+1,j))/2}·{(1-x)/2}
在这里，“G(i,j-1)+G(i,j+1)/2”是与纵方向相邻的2个格子点的颜色信息的平均值，“(1+x)/2”相当于与纵方向的相似度对应的加权系数。而“G(i-1,j)+G(i+1,j)/2”是与横方向相邻的2个格子点的颜色信息的平均值，“(1-x)/2”相当于与横方向的相似度对应的加权系数。
即，当插值量计算部32得知任何方向的相似性的强度都不突出时，对于与插值对象空格子点的纵方向相邻的2个格子点的颜色信息的平均值和与横方向相邻的2个格子点的颜色信息的平均值，根据各个方向的相似性的评定值进行加权相加计算，从而算出插值对象空格子点的插值量(图15S11)。
插值处理部30还判定所有的空格子点的插值处理是否结束(图15S12)。根据这种判定，一直到得知所有的空格子点的插值处理结束为止，反复进行上述处理(图15S1以后的处理)。
如上所述，在第7实施例中，在插值对象空格子点的周边部分的图像限于为黑白乃奎斯特条纹这样的图像(与插值对象空格子点的纵方向相邻的的2个格子点的颜色信息非常相似，与插值对象空格子点的纵方向相邻的的2个格子点的颜色信息非常相似，且与插值对象空格子点的纵方向相邻的的2个格子点的颜色信息和与插值对象空格子点的横方向相邻的的2个格子点的颜色信息差异较大的图像)的情况下，在计算纵方向的相似度和横方向的相似度时，可以确实地反映该插值对象空格子点的颜色信息。
因此，即使对于根据现有的插值处理误判定两个方向的相似性为均衡的图像(实际情况是一个方向的相似性的强度突出的图像)，可以通过第7实施例高精度地计算相似度。
在第7实施例中，在插值对象空格子点的周边部分的图像是没有利用插值对象空格子点的颜色信息来计算相似度的图像的情况下，可以只利用与插值对象空格子点相邻的格子点的颜色信息计算相似度。
即根据第7实施例，由于能够根据插值对象空格子点的周边部分的图像的特征正确地计算相似度，所以可以确实地提高插值处理的精度。
在这里说明识别图像的特征的方法。在本发明中，识别图像的特征的目的是识别“异常变化剧烈的部分”，在上述说明中，“Q＞Qth”成立的部分相当于“异常变化剧烈的部分”。关于识别这种图像的特征的方法，可以有各种方法，在这里举几个例子。
在上述公式13中，Q1是与下述平均值的差的绝对值相当的值，即与插值对象空格子点的纵方向相邻的2个格子点的颜色信息的平均值、和与插值对象空格子点的横方向相邻的2个格子点的颜色信息的平均值的差的绝对值(的2倍)相当的值。因此，Q1大的部分表示为黑白乃奎斯特条纹的可能性高，能够只通过Q1来识别“异常变化剧烈的部分”。
即，可以不判定“Q＞Qth”是否成立，而通过判定“Q1＞Qth1；Q1th是常数”是否成立，来识别“异常变化剧烈的部分”。
在第7实施例中，通过判定“Q＞Qth”是否成立，来识别Q1大和Q2小的部分，但也可以不判定“Q＞Qth”是否成立，而通过判定“Q1＞Qth1且Q2＜Q2th；Q1th、＜Q2th是常数”
是否成立，来进行判定。
对于“Q=Q1-θ*Q2＞Qth”，也和“Q1＞Qth1且Q2＜Q2th”为同样的判定。
如上所述，当C1(i,j)与C2(i,j)的和(Q2)很小时，表示在插值对象空格子点的周边，纵方向的颜色信息的倾斜和横方向的颜色信息的倾斜都很小。在这种情况下，作为插值处理的对象的部分，很可能是没有变化、完全为平坦的部分、或者是黑白乃奎斯特条纹的部分。
对于完全平坦的部分，即使利用与纵方向相邻的格子点的颜色信息的平均来进行插值处理，或利用与横方向相邻的格子点的颜色信息的平均来进行插值处理，插值处理的结果都不会产生大的差异。
因此，通过判定C1(i,j)和C2(i,j)都很小，对识别包括完全平坦的部分的“异常变化剧烈的部分”不会产生影响。
即判定“C1(i,j)＜C1th且C2(i,j)＜C2th；C1th和C2th是常数”是否成立，来代替判定“Q＞Qth”是否成立是很有效的。
由于“Q2=C1(i,j)+C2(i,j)”，也可以用判定“C2＜Q2th2，Q2th2是常数”是否成立来替代判定“Q＞Qth”是否成立。
这样，对于识别图像的特征的方法，可以有各种各样的方法，只要能够识别“异常变化剧烈的部分”，则无论使用哪种公式都可以。
在第7实施例中，f(x)为图16所示形状，但当纵方向的相似性和横方向的相似性中的任一方的相似性的强度突出时，如果能够将与相似性的强度突出相邻的的2个格子点的颜色信息的平均值作为插值对象空格子点的插值量，则f(x)可以是任意的函数。
在第7实施例中，在计算插值量时计算f(x)的值，但也可以例如在插值量计算部32内设置查阅(lookup)表，存储预先算出的f(x)的值，通过与插值对象空格子点的纵方向的相似度Ct(i,j)和横方向的相似度Cy(i,j)相对应，并参照查阅表，来取得f(x)的值。
为了避免计算x时使用除法，在计算出相当于分母的值之后，可以参照表将该值替换为相当于“1/分母”的值，用乘法运算计算x，也可以采用通过参照表，将分子的绝对值和分母取对数后相减，比较其与预定值的大小的方法(此时，符号另外判别)。
在第7实施例中，根据x的值判定相似性的强度突出的方向，但当例如纵方向的相似度Ct(i,j)在阈值Th以下，而横方向的相似度Cy(i,j)超过阈值Th时，判定纵方向的相似性的强度突出；当横方向的相似度Cy(i,j)在阈值Th以下，而纵方向的相似度Ct(i,j)超过阈值Th时，判定横方向的相似性的强度突出。
在第7实施例中，当纵方向的相似度Ct(i,j)和横方向的相似度Cy(i,j)均衡时，根据与各相似度对应的加权系数计算插值对象空格子点的插值量G’(i,j)，但也可以根据
G’(i,j)={G(i,j-1)+G(i,j+1)+G(i-1,j)+G(i+1,j)}/4
或G’(i,j)=median{G(i,j-1),G(i,j+1),G(i-1,j),G(i+1,j)}
来进行计算。
其中，median{}表示计算多个要素的中值的函数，在要素的个数为偶数时，取中央的2个要素的平均值。
第8实施例
图17是第8实施例的插值处理的动作流程图。
以下参照图17说明第8实施例的插值处理。
在与第8实施例对应的电子静止图像摄像机的盒体上，设有“模式切换开关”，由操作者选择“黑白图像摄影模式”或“彩色图像摄影模式”。例如，在对写有黑色的文字的白板(white board)等被视为无彩色的被摄影对象进行摄影时，操作者通过“模式切换开关”选择“黑白图像摄影模式”，按下“快门(release button)”。在第8实施例中，表示“模式切换开关”的状态的信息(以下称为“模式信息”)通过接口部18通知给控制部10。
即，在第8实施例中，当控制部10得知快门被按下时，向图像处理部17内的插值处理部19通知“模式信息”，并指示进行插值处理。
当插值处理部30被控制部10指示进行插值处理时，根据“模式信息”判定是否选择了“黑白图像摄影模式”(图17S1)。
当插值处理部30根据这种判定得知选择了“黑白图像摄影模式”时，反复进行图17S2～S6的处理。当得知未选择“黑白图像摄影模式”时，反复进行图17S7～S11的处理。
首先说明在得知选择了“黑白图像摄影模式”时的处理。
插值处理部30与第1实施例同样地选择插值对象空格子点(图17S2)，从图像缓冲存储器15读取插值对象空格子点的颜色信息RB(i,j)和与插值对象空格子点相邻的格子点的颜色信息G(i,j-1)、G(i,j+1)、G(i-1,j)、G(i+1,j)(图17S3)，送给相似度计算部31。
相似度计算部31利用这种送来的颜色信息，根据下述公式计算
纵方向的相似度Ct(i,j)和横方向的相似度Cy(i,j)。
Ct(i,j)=D1(i,j)与公式21相同
Cy(i,j)=D2(i,j)与公式22相同
其中，D1(i,j)和D2(i,j)是根据第7实施例的公式23～公式26计算出的值。
即，相似度计算部31利用插值对象空格子点的颜色信息RB(i,j)
和与插值对象空格子点相邻的格子点的颜色信息G(i,j-1)、G(i,j+1)、G(i-1,j)、G(i+1,j)，计算纵方向的相似度Ct(i,j)和横方向的相似度Cy(i,j)(图17S4)。
相似度计算部31将这样计算出的纵方向的相似度Ct(i,j)和横方向的相似度Cy(i,j)送给插值量计算部21。
当纵方向的相似度Ct(i,j)和横方向的相似度Cy(i,j)被送来时，插值量计算部32与第7实施例同样地计算插值量(图17S5：相当于图15S7～S11)。
当插值量计算部32计算出插值量时，插值处理部30判定所有的空格子点的插值处理是否结束(图17S6)。根据这种判定，直到得知所有的空格子点的插值处理结束为止，反复进行上述处理(图17S2以后的处理)。
以下说明当得知“黑白图像摄影模式”未被选择(选择“彩色图像摄影模式”)时的处理。
插值处理部30与图17S2同样地选择插值对象空格子点(图17S7)、从图像缓冲存储器15读取与插值对象空格子点相邻的格子点的颜色信息G(i,j-1)、G(i,j+1)、G(i-1,j)、G(i+1,j)(图17S8)，送给相似度计算部31。
相似度计算部31利用这种送来的颜色信息，根据下述公式计算
纵方向的相似度Ct(i,j)和横方向的相似度Cy(i,j)。
Ct(i,j)=C1(i,j)与公式19相同
Cy(i,j)=C2(i,j)与公式20相同
其中，C1(i,j)和C2(i,j)是与第7实施例(公式15～公式18)
同样计算出的值。
即，相似度计算部31利用与插值对象空格子点相邻的格子点的颜色信息G(i,j-1)、G(i,j+1)、G(i-1,j)、G(i+1,j)，计算纵方向的相似度Ct(i,j)和横方向的相似度Cy(i,j)(图17S9)。
相似度计算部31将这样计算出的纵方向的相似度Ct(i,j)和横方向的相似度Cy(i,j)送给插值量计算部32。
当纵方向的相似度Ct(i,j)和横方向的相似度Cy(i,j)被送来时，插值量计算部32与第7实施例同样地计算插值量(图17S9：相当于图15S7～S11)。
当插值量计算部32计算出插值量时，插值处理部30判定所有的空格子点的插值处理是否结束(图17S6)。根据这种判定，直到得知所有的空格子点的插值处理结束为止，反复进行上述处理(图17S7以后的处理)。
如上所述，在第8实施例中，在限于需要进行插值处理的图像是无颜色的图像的情况下，可以在纵方向的相似度和横方向的相似度确实反映空格子点的颜色信息。
因此，由于能够准确地计算被视为无颜色的图像的相似度，所以可以确实地提高插值处理的精度。
第9实施例
图18是第9实施例的插值处理的动作流程图。
以下参照图18说明第9实施例的插值处理的动作。
插值处理部30与第1实施例同样地选择插值对象空格子点(图17S1)、从图像缓冲存储器15读取插值对象空格子点的颜色信息RB(i,j)和与插值对象空格子点相邻的格子点的颜色信息G(i,j-1)、G(i,j+1)、G(i-1,j)、G(i+1,j)(图17S2)，送给相似度计算部31。
相似度计算部31利用这种送来的格子点的颜色信息G(i,j-1)、G(i,j+1)、G(i-1,j)、G(i+1,j)，与第7实施例(公式12～14)同样地计算部分图像特征值Q(图17S3)。
相似度计算部31利用根据上述公式15～18计算出C1(i,j)和C2(i,j)，及根据上述公式23～26计算D1(i,j)和D2(i,j)，并根据已计算出的部分图像特征值Q，根据下述公式计算纵方向的相似度Ct(i,j)和横方向的相似度Cy(i,j)。
当Q≤Qth成立时，
Ct(i,j)=A2·C1(i,j)+(1-A2)·D1(i,j)
Cy(i,j)=B2·C2(i,j)+(1-B2)·D2(i,j)
当Q＞Qth成立时，
Ct(i,j)=A1·C1(i,j)+(1-A1)·D1(i,j)
Cy(i,j)=B1·C2(i,j)+(1-B1)·D2(i,j)
其中，Qth是预定的阈值。
0≤A1＜A2≤1  0≤B1＜B2≤1
即当Q≤Qth成立时，相似度计算部31将C1(i,j)和C2(i,j)的加权系数加大(与Q＞Qth成立时相比)，计算计算纵方向的相似度Ct(i,j)和横方向的相似度Cy(i,j)(图17S5)。
当Q＞Qth成立时，相似度计算部31将D1(i,j)和D2(i,j)的加权系数加大(Q≤Qth与成立时相比)，计算计算纵方向的相似度Ct(i,j)和横方向的相似度Cy(i,j)(图17S6)，送给插值量计算部32。
D1(i,j)和D2(i,j)是利用插值对象空格子点的颜色信息RB(i,j)和格子点的颜色信息G(i,j-1)、G(i,j+1)、G(i-1,j)、G(i+1,j)，计算出的相似度。因此，对纵方向的相似度Ct(i,j)和横方向的相似度Cy(i,j)的插值对象空格子点的颜色信息RB(i,j)的加权在Q＞Qth成立时比Q≤Qth成立时大。
当纵方向的相似度Ct(i,j)和横方向的相似度Cy(i,j)被送来时，插值量计算部32与第7实施例同样地计算插值量(图17S7：相当于图14S7～S11)。
当插值量计算部32计算出插值量时，插值处理部30判定所有的空格子点的插值处理是否结束(图17S8)。根据这种判定，直到得知所有的空格子点的插值处理结束为止，反复进行上述处理(图17S1以后的处理)。
如上所述，在第9实施例中，可以根据部分图像特征值Q调节相对于纵方向的相似度和横方向的相似度的插值对象空格子点的颜色信息的加权。
当然，识别图像的特征的条件不限于Q，可以如第7实施例所述的那样，使用各种各样的条件。
因此，根据第9实施例，由于能够根据插值对象空格子点的周边部分的图像的特征正确地计算相似度，所以可以确实地提高插值处理的精度。
第10实施例
图19是第10实施例的插值处理的动作流程图。
以下参照图19说明第8实施例的插值处理。
在与第10实施例对应的电子静止图像摄像机的盒体上，与第8实施例同样地，设有“模式切换开关”，由操作者选择“黑白图像摄影模式”或“彩色图像摄影模式”。表示“模式切换开关”的状态的信息(以下称为“模式信息”)通过接口部18通知给控制部10。
即，在第10实施例中，当控制部10得知快门被按下时，向图像处理部17内的插值处理部30通知“模式信息”，并指示进行插值处理。
当插值处理部30被控制部10指示进行插值处理时，根据“模式信息”判定是否选择了“黑白图像摄影模式”(图19S1)。将该判定结果通知相似度计算部31。
相似度计算部31根据上述判定结果，将计算纵方向的相似度Ct(i,j)和横方向的相似度时Cy(i,j)使用的加权系数按如下进行设定。
在第10实施例中，设计算纵方向的相似度Ct(i,j)时的C1(i,j)的加权系数为A，设D1(i,j)的加权系数为(1-A)。设计算横方向的相似度Cy(i,j)时的C2(i,j)的加权系数为B，设D2(i,j)的加权系数为(1-B)。
相似度计算部31在“黑白图像摄影模式”被选择时，设
A=A1
B=B1
当未选择“黑白图像摄影模式”时(选择了“彩色图像摄影模式”时)，设
A=A2
B=B2
其中0≤A1＜A2≤1  0≤B1＜B2≤1
即当“黑白图像摄影模式”被选择时，相似度计算部20使D1(i,j)和D2(i,j)的加权系数(与“彩色图像摄影模式”被选择时相比)为较大的值(图19S2)。
另一方面，当“彩色图像摄影模式”被选择时，相似度计算部20使C1(i,j)和C2(i,j)的加权系数(与“黑白图像摄影模式”被选择时相比)为较大的值(图19S3)。
当计算纵方向的相似度Ct(i,j)和横方向的相似度Cy(i,j)时
使用的加权系数被设定时，插值处理部30选择与第1实施例相同的插值对象空格子点(图19S4)，读出插值对象空格子点的颜色信息RB(i,j)和与插值对象空格子点相邻的格子点的颜色信息G(i,j-1)、G(i,j+1)、G(i-1,j)、G(i+1,j)(图19S5)送给相似度计算部31。
相似度计算部31利用这种送来的颜色信息，与第7实施例(公式15～公式18，公式23～公式26)同样地计算C1(i,j)、E1(i,j)、C2(i,j)和E1(i,j)。
相似度计算部31根据上述加权系数A将C1(i,j)和E1(i,j)加权相加，计算出纵方向的相似度Ct(i,j)，并根据上述加权系数B将C2(i,j)和E2(i,j)加权相加，计算出横方向的相似度Cy(i,j)(图19S6)。
即相似度计算部31根据下述公式计算纵方向的相似度Ct(i,j)和横方向的相似度Cy(i,j)。
Ct(i,j)=A·C1(i,j)+(1-A)·E1(i,j)
Cy(i,j)=B·C2(i,j)+(1-B)·E2(i,j)
相似度计算部31将这样计算出的纵方向的相似度Ct(i,j)和横方向的相似度Cy(i,j)送给插值量计算部32。
D1(i,j)和D2(i,j)利用插值对象空格子点的颜色信息RB(i,j)和与插值对象空格子点相邻的格子点的颜色信息G(i,j-1)、G(i,j+1)、G(i-1,j)、G(i+1,j)来计算。因此，对纵方向的相似度Ct(i,j)和横方向的相似度Cy(i,j)的插值对象空格子点的颜色信息RB(i,j)的加权，当“黑白图像摄影模式”被选择(A和B的值小时)时比“彩色图像摄影模式”被选择(A和B的值大时)时的值大。
当纵方向的相似度Ct(i,j)和横方向的相似度Cy(i,j)被送来时，插值量计算部32与第7实施例同样地计算插值量(图19S7：相当于图14S7～S11)。
当插值量计算部32计算出插值量时，插值处理部30判定所有的空格子点的插值处理是否结束(图19S8)。根据这种判定，直到得知所有的空格子点的插值处理结束为止，反复进行上述处理(图19S4以后的处理)。
如上所述，在第10实施例中，在限于需要进行插值处理的图像是无颜色的图像的情况下，可以使对纵方向的相似度Ct(i,j)和横方向的相似度Cy(i,j)的插值对象空格子点的颜色信息RB(i,j)的加权变大。
因此，根据第10实施例，由于能够准确地计算被视为无颜色的图像的相似度，所以可以确实地提高插值处理的精度。
第11实施例
图20是第11的实施例的功能框图。
第11实施例采用“记录插值处理程序的记录媒体”，相当于用个人计算机进行插值处理。
在图20中，对于功能与图1和图14所示功能框图相同的部分，赋予同一符号表示，并省略结构的说明。
图20所示电子静止图像摄像机50与图1和图14的结构的不同点在于，用控制部51和图像处理部52来代替控制部10和图像处理部17，以及设有与控制部51和图像处理部52的输出连接的存储器卡驱动器53。
在图20中，个人计算机60具有CPU61、存储器卡驱动器62和图像存储器63。
CPU61与存储器卡驱动器62和图像存储器63连接。存储器卡驱动器62的输出与CPU61和图像存储器63连接，CPU61的输出与存储器卡驱动器62及图像存储器63连接，图像存储器63的输出与存储器卡驱动器62和CPU61连接。
存储在CD-ROM64中的插值处理程序被预先安装在CPU61中。
图21是第11实施例的动作流程图。
以下参照图20和图21说明第11实施例动作。
首先说明电子静止图像摄像机60的动作。
电子静止图像摄像机60内的摄像单元13与上述各实施例同样地生成信号电荷，而且，摄像单元13扫描这样生成的信号电荷，生成图像信号，送给A/D变换部14。
A/D变换部14将送来的图像信号进行A/D变换，生成图像数据(图21S1)。这样生成的图像数据被暂时存储在图像缓冲存储器15内(图21S2)。
灰度变换部16也可以对存储在图像缓冲存储器15中的图像数据进行灰度变换(log化和γ变换等)。
上述处理(图像数据的生成和存储)由控制部51根据时钟控制反复进行。
控制部51通过接口部18判断设在电子静止图像摄像机50的盒体上的快门(未图示)是否被按下(图21S3)。
当控制部51通过这样的判断得知快门未被按下时，上述时钟控制指示反复进行图像数据的生成(图3S1)和存储(图3S2)的处理。
另一方面，当控制部51得知快门被按下时，指示图像处理部52和存储器卡驱动器53将存放在图像缓冲存储器15中的图像数据存储在存储器卡54中(图21S4)。
图像处理部52对存储在图像缓冲存储器15中的图像数据进行解决摄像单元13固有的问题(例如暗电平等)的调节(在这里不进行插值处理)，送给存储器卡驱动器53。
存储器卡驱动器53将图像数据以图像文件的形式存储在存储器卡54中，并设置位于图像文件的标题部的“插值请求标记”(表示图像数据需要进行插值处理的标记)。
在电子静止图像摄像机50的盒体上设有“黑白图像摄影模式”和“彩色图像摄影模式”的“模式切换开关”时，控制部51通过接口部18取得表示快门被按下时的“模式切换开关”的状态的信息。
控制部51将取得的“模式信息”通过存储器卡驱动器53存储在图像文件的标题部。
下面说明个人计算机60的动作。
在个人计算机60中，当安装上记录有图像文件的存储器卡54时，CPU61通过存储器卡驱动器62读出图像文件的标题部(图21S5)。
CPU61当读出图像文件的标题部时，判定“插值请求标记”是否存在(图21S6)。
一旦当CPU61根据此判定得知“插值请求标记”存在，则通过存储器卡驱动器62读出图像数据，存储在图像存储器63中(图21S7)。
CPU61对存储在图像存储器63的图像数据进行插值处理(图21S8)。
CPU61进行的插值处理在上述各实施例中图1和图14的图像处理部17进行的插值处理相同，因此在此省略说明。
CPU61在进行与第8实施例和第10实施例同样的插值处理时，从图像文件的标题部读出上述“模式信息”，判定是否选择了“黑白图像摄影模式”。
CPU61在插值处理结束时，将进行了插值处理的图像数据通过存储器卡驱动器62再次存储在存储器卡54(图21S9)。也可以由操作者通过个人计算机60的输入装置60(例如键盘等)选择是否将进行了插值处理的图像数据存储在存储器卡54中。
即在第11实施例中，可以由个人计算机60可靠地进行与上述各实施例相同的插值处理。
因此，根据第11实施例，由于能够与上述各实施例同样地计算相似度，所以可以可靠地提高插值处理的精度。
在第11实施例中，个人计算机60是通过存储器卡54得到需要进行插值处理的图像数据，但对于这种取得图像数据的方法，可以采用任何的方法。
例如，当将本发明用于具有通信手段的个人计算机时，能够对通过该通信手段得到的图像数据进行插值处理。

Claims (19)

1．一种插值处理装置，对由摄像单元生成的图像进行计算与各个空格子点的第1颜色成分的颜色信息相当的插值量的插值处理，该摄像单元由输出空间频率最高的第1颜色成分的颜色信息的格子点和不输出第1颜色成分的颜色信息而输出空间频率比第1颜色成分低的第2颜色成分或第3颜色成分的颜色信息的多个空格子点2维排列而形成，其特征在于，包括：
相似度计算装置，利用上述第1颜色成分至上述第3颜色成分的
3种颜色的颜色信息，计算作为插值处理的对象的每个插值对象空格子点的多个方向的相似度；
相似性判定装置，根据上述相似度计算装置计算出的多个方向的相似度，判定上述每个插值对象空格子点的相似性强的方向；
插值量计算装置，根据上述相似性判定装置的判断结果，计算每个上述插值对象空格子点的插值量。
2．根据权利要求1记载的插值处理装置，其特征在于，
上述相似度计算装置根据从上述插值对象空格子点和从位于该
插值对象空格子点附近的格子点和空格子点输出的上述第1颜色成分至上述第3颜色信息，计算在上述多个方向上的“使用上述第1颜色成分的颜色信息和上述第2颜色成分的颜色信息的相似度成分”和“使用上述第1颜色成分的颜色信息和上述第3颜色成分的颜色信息的相似度成分”的2种相似度成分，根据这2种相似度成分计算上述相似度。
3．根据权利要求1记载的插值处理装置，其特征在于，
上述相似度计算装置根据从上述插值对象空格子点和从位于该
插值对象空格子点附近的格子点和空格子点输出的上述第1颜色成分至上述第3颜色信息，计算在上述多个方向上的将
(a)“使用上述第1颜色成分的颜色信息和上述第2颜色成分的颜色信息的相似度成分”和“使用上述第1颜色成分的颜色信息和上述第3颜色成分的颜色信息的相似度成分”的2种相似度成分；和
(b)“只使用上述第1颜色成分的颜色信息的相似度成分”和“只使用上述第2颜色成分的颜色信息的相似度成分”和“只使用上述第3颜色成分的颜色信息的相似度成分”中的至少一种相似度成分合在一起的3种以上的相似度成分，根据该3种以上的相似度成分计算上述相似度。
4．一种插值处理装置，对由摄像单元生成的图像进行计算与各个空格子点的第1颜色成分的颜色信息相当的插值量的插值处理，该摄像单元由输出空间频率最高的第1颜色成分的颜色信息的格子点、和不输出第1颜色成分的颜色信息而输出空间频率比第1颜色成分低的第2颜色成分或第3颜色成分的颜色信息的多个空格子点2维排列而形成，其特征在于，包括：
相似度计算装置，按照下述方式计算作为插值处理的对象的每个插值对象空格子点在多个方向上的相似度；
相似性判定装置，根据上述相似度计算装置计算出的多个方向的相似度，判定上述每个插值对象空格子点的相似性强的方向；
插值量计算装置，根据上述相似性判定装置的判断结果，计算每个上述插值对象空格子点的插值量；
上述相似度计算装置根据从上述插值对象空格子点和从位于该
插值对象空格子点附近的格子点和空格子点输出的上述第1颜色成分至上述第3颜色信息，计算在上述多个方向的将下述(a)、(b)合在一起的2种以上的相似度成分，
(a)“使用输出与上述插值对象空格子点的颜色成分不同的颜色成分的空格子点的颜色信息、和上述第1颜色成分的颜色信息的相似度成分”；
(b)“只使用上述第1颜色成分的颜色信息的相似度成分”和“只使用上述第2颜色成分的颜色信息的相似度成分”和“只使用上述第3颜色成分的颜色信息的相似度成分”中的至少一种相似度成分，
根据该2种以上的相似度成分计算上述相似度。
5．一种插值处理装置，对由摄像单元生成的图像进行计算与各个空格子点的第1颜色成分的颜色信息相当的插值量的插值处理，该摄像单元由输出空间频率最高的第1颜色成分的颜色信息的格子点、和不输出第1颜色成分的颜色信息而输出空间频率比第1颜色成分低的第2颜色成分或第3颜色成分的颜色信息的多个空格子点2维排列而构成，其特征在于，包括：
相似度计算装置，按照下述方式计算作为插值处理的对象的每个插值对象空格子点在多个方向上的相似度；
相似性判定装置，根据上述相似度计算装置计算出的多个方向的相似度，判定上述每个插值对象空格子点的相似性强的方向；
插值量计算装置，根据上述相似性判定装置的判断结果，计算每个上述插值对象空格子点的插值量；
上述相似度计算装置根据从上述插值对象空格子点和从位于该
插值对象空格子点附近的格子点和空格子点输出的上述第1颜色成分至上述第3颜色信息，计算在上述多个方向的将下述(a)、(b)合在一起的2种以上的相似度成分，
(a)“使用上述插值对象空格子点的颜色信息和上述第1颜色成分的颜色信息的相似度成分”，和
(b)“只使用上述第1颜色成分的颜色信息的相似度成分”和“只使用上述第2颜色成分的颜色信息的相似度成分”和“只使用上述第3颜色成分的颜色信息的相似度成分”中的至少一种相似度成分，
根据该2种以上的相似度成分计算上述相似度，
根据a1｜G1-A2｜+a2｜G3-A2｜计算“使用了上述插值对象空格子点的颜色信息和上述第1颜色成分的颜色信息的相似度成分”，其中，
G1、G3是夹持上述插值对象空格子点的位于同一直线的2个格子点的颜色信息，A2是上述插值对象空格子点的颜色信息，a1、a2是常数，a1、a2中的至少一个不为0。
6．根据权利要求2至5的任一项所述的插值处理装置，其特征在于，上述相似度计算装置通过将对上述多个方向计算出的多个种类的相似度成分在每个相同方向上加权相加来进行组合，来计算上述插值对象空格子点的多个方向的相似度。
7．一种插值处理装置，对由摄像单元生成的图像进行计算与各个空格子点的第1颜色成分的颜色信息相当的插值量的插值处理，该摄像单元由输出空间频率最高的第1颜色成分的颜色信息的格子点、和不输出第1颜色成分的颜色信息而输出空间频率比第1颜色成分低的第2颜色成分或第3颜色成分的颜色信息的多个空格子点2维排列而构成，其特征在于，包括：
相似度计算装置，根据从作为插值处理的对象的插值对象空格子点和从位于该插值对象空格子点附近的格子点和空格子点输出的上述第1颜色成分至上述第3颜色信息，计算作为上述每个插值对象空格子点的多个方向的相似度的、下述种类中至少2种的相似度，即“使用上述第1颜色成分的颜色信息和上述第2颜色成分的颜色信息的相似度成分”和“使用上述第1颜色成分的颜色信息和上述第3颜色成分的颜色信息的相似度成分”和“只使用上述第1颜色成分的颜色信息的相似度成分”和“只使用上述第2颜色成分的颜色信息的相似度成分”和“只使用上述第3颜色成分的颜色信息的相似度成分”中的至少2种相似度；
相似性判定装置，在上述相似度计算装置对上述每个插值对象空格子点计算出的多个方向的多个种类的上述相似度中，在各个方向比较同一种类的上述相似度的大小，确定各个种类的相似性强的方向，根据某个方向占据了多数，判定与上述插值对象空格子点相似性强的方向；
插值量计算装置，根据上述相似性判定装置的判断结果，计算上述每个插值对象空格子点的插值量。
8．一种插值处理装置，对由摄像单元生成的图像进行计算与各个空格子点的第1颜色成分的颜色信息相当的插值量的插值处理，该摄像单元由输出空间频率最高的第1颜色成分的颜色信息的格子点、和不输出第1颜色成分的颜色信息而输出空间频率比第1颜色成分低的第2颜色成分或第3颜色成分的颜色信息的多个空格子点2维排列而构成，其特征在于，包括：
相似度计算装置，根据从作为插值处理的对象的插值对象空格子点和从位于该插值对象空格子点附近的格子点和空格子点输出的颜色信息，计算作为上述每个插值对象空格子点的多个方向的相似度的、下述2种相似度成分中的至少一种相似度成分，即“使用上述插值对象空格子点的颜色信息和上述第1颜色成分的颜色信息的相似度成分”和“只使用上述第1颜色成分的颜色信息的相似度成分”中的至少1种相似度，根据该至少一种相似度成分，计算上述每个插值对象空格子点的多个方向上的相似度；
相似性判定装置，根据上述相似度计算装置计算出的多个方向的相似度，判定上述每个插值对象空格子点的相似性强的方向；
插值量计算装置，根据上述相似性判定装置的判断结果，计算上述每个插值对象空格子点的插值量，
上述相似度计算装置提取上述插值对象空格子点的周边部分的图像的特征，在上述2个种类的相似度成分中，计算根据该特征确定的1个种类的相似度成分，将该1个种类的相似度成分作为上述相似度，或计算上述2个种类的相似度，根据该特征改变该2个种类的相似度成分的加权比例并进行加权相加，算出上述相似度。
9．一种插值处理装置，对由摄像单元生成的图像进行计算与各个空格子点的第1颜色成分的颜色信息相当的插值量的插值处理，该摄像单元由输出空间频率最高的第1颜色成分的颜色信息的格子点、和不输出第1颜色成分的颜色信息而输出空间频率比第1颜色成分低的第2颜色成分或第3颜色成分的颜色信息的多个空格子点2维排列而构成，其特征在于，包括：
相似度计算装置，根据从作为插值处理的对象的插值对象空格子点和从位于该插值对象空格子点附近的格子点和空格子点输出的颜色信息，计算作为上述每个插值对象空格子点的多个方向的相似度的、下述2种相似度成分中的至少1种相似度成分，即“使用上述插值对象空格子点的颜色信息和上述第1颜色成分的颜色信息的相似度成分”和“只使用上述第1颜色成分的颜色信息的相似度成分”中的至少1种相似度成分，根据该至少一种相似度成分，计算上述每个插值对象空格子点的多个方向上的相似度；
相似性判定装置，根据上述相似度计算装置计算出的多个方向的相似度，判定与上述插值对象空格子点相似性强的方向；
插值量计算装置，根据上述相似性判定装置的判断结果，计算上述每个插值对象空格子点的插值量；
接口装置，接收第1指示或第2指示，其中，第1指示表示计算上述2个种类的相似度成分中任一种的相似度成分，第2指示表示在对该2个种类的相似度成分进行加权相加运算时的加权系数，
上述相似度计算装置在上述接口装置接收第1指示时，计算对应于第1指示的1个种类的相似度成分，作为上述相似度；在上述接口装置接收第2指示时，根据第2指示将上述2个种类的相似度成分加权相加，计算上述相似度。
10．根据权利要求8所述的插值处理装置，其特征在于，上述相似度计算装置在下述情况下，即在插值对象空格子点相互垂直的2个方向中，位于第1方向的多个格子点的颜色信息非常相似，位于第2方向的多个格子点的颜色信息非常相似，且位于第1方向的格子点的颜色信息和位于第2方向的格子点的颜色信息相差很大的情况下，计算“使用插值对象空格子点的颜色信息和第1颜色成分的颜色信息的相似度”。
11．根据权利要求1至10的任一项所述的插值处理装置，其特征在于，上述相似度计算装置计算包括位于插值对象空格子点的附近的空格子点的相似度成分的值，作为插值对象空格子点的相似度。
12．根据权利要求1至6,8至11的任一项所述的插值处理装置，其特征在于，上述相似性判定装置在进行相似性强的方向的判定时，判定各个方向间的相似度的差异是否超过预定的阈值，对于该差异未超过该阈值的方向，判定相似性的程度相同。
13．根据权利要求1至12的任一项所述的插值处理装置，其特征在于，上述插值量计算装置在上述相似性判定装置判定上述多个方向中，在某个方向的相似性强度突出时，以及将位于突出方向的2个格子点的颜色信息的值的平均值作为插值量，判定对多个方向的相似性均衡时，通过计算位于某个方向的2个格子点的颜色信息的值的平均值以外的方法来确定插值量。
14．一种记录媒体，用于记录在计算机中运行的插值处理程序，
该插值处理是对由摄像单元生成的图像进行计算与各个空格子点的第1颜色成分的颜色信息相当的插值量的插值处理，该摄像单元由输出空间频率最高的第1颜色成分的颜色信息的格子点和不输出第1颜色成分的颜色信息而输出空间频率比第1颜色成分低的第2颜色成分或第3颜色成分的颜色信息的多个空格子点2维排列而形成，其特征在于，包括：
相似度计算步骤，利用上述第1颜色成分至上述第3颜色成分的3种颜色的颜色信息，计算作为插值处理的对象的每个插值对象空格子点的多个方向的相似度；
相似性判定步骤，根据上述相似度计步骤计算出的多个方向的相似度，判定上述每个插值对象空格子点的相似性强的方向；
插值量计算步骤，根据上述相似性判定步骤的判断结果，计算每个上述插值对象空格子点的插值量。
15．一种记录媒体，用于记录在计算机中运行的插值处理程序，
该插值处理是对由摄像单元生成的图像进行计算与各个空格子点的第1颜色成分的颜色信息相当的插值量的插值处理，该摄像单元由输出空间频率最高的第1颜色成分的颜色信息的格子点和不输出第1颜色成分的颜色信息而输出空间频率比第1颜色成分低的第2颜色成分或第3颜色成分的颜色信息的多个空格子点2维排列而形成，其特征在于，包括：
相似度计算步骤，按照下述方式计算作为插值处理的对象的每个插值对象空格子点在多个方向上的相似度；
相似性判定步骤，根据上述相似度计算步骤计算出的多个方向的相似度，判定上述每个插值对象空格子点的相似性强的方向；
插值量计算步骤，根据上述相似性判定步骤的判断结果，计算每个上述插值对象空格子点的插值量；
上述相似度计算步骤根据从上述插值对象空格子点和从位于该
插值对象空格子点附近的格子点和空格子点输出的上述第1颜色成分至上述第3颜色信息，计算在上述多个方向的将下述(a)、(b)合在一起的2种以上的相似度成分，
(a)“使用输出与上述插值对象空格子点的颜色成分不同的颜色成分的空格子点的颜色信息、和上述第1颜色成分的颜色信息的相似度成分”；
(b)“只使用上述第1颜色成分的颜色信息的相似度成分”和“只使用上述第2颜色成分的颜色信息的相似度成分”和“只使用上述第3颜色成分的颜色信息的相似度成分”中的至少一种相似度成分，
根据该2种以上的相似度成分计算上述相似度。
16．一种记录媒体，用于记录在计算机中运行的插值处理程序，
该插值处理是对由摄像单元生成的图像进行计算与各个空格子点的第1颜色成分的颜色信息相当的插值量的插值处理，该摄像单元由输出空间频率最高的第1颜色成分的颜色信息的格子点和不输出第1颜色成分的颜色信息而输出空间频率比第1颜色成分低的第2颜色成分或第3颜色成分的颜色信息的多个空格子点2维排列而形成，其特征在于，包括：
相似度计算步骤，按照下述方式计算作为插值处理的对象的每个插值对象空格子点在多个方向上的相似度；
相似性判定步骤，根据上述相似度计算步骤计算出的多个方向的相似度，判定上述每个插值对象空格子点的相似性强的方向；
插值量计算步骤，根据上述相似性判定步骤的判断结果，计算每个上述插值对象空格子点的插值量；
上述相似度计算步骤根据从上述插值对象空格子点和从位于该
插值对象空格子点附近的格子点和空格子点输出的上述第1颜色成分至上述第3颜色信息，计算在上述多个方向的将下述(a)、(b)合在一起的2种以上的相似度成分，
(a)“使用上述插值对象空格子点的颜色信息和上述第1颜色成分的颜色信息的相似度成分”，和
(b)“只使用上述第1颜色成分的颜色信息的相似度成分”和“只使用上述第2颜色成分的颜色信息的相似度成分”和“只使用上述第3颜色成分的颜色信息的相似度成分”中的至少一种相似度成分，
根据该2种以上的相似度成分计算上述相似度，
根据a1｜G1-A2｜+a2｜G3-A2｜计算“使用了上述插值对象空格子点的颜色信息和上述第1颜色成分的颜色信息的相似度成分”，其中，
G1、G3是夹持上述插值对象空格子点的位于同一直线的2个格子点的颜色信息，A2是上述插值对象空格子点的颜色信息，a1、a2是常数，a1、a2中的至少一个不为0。
17．一种记录媒体，用于记录在计算机中运行的插值处理程序，
该插值处理是对由摄像单元生成的图像进行计算与各个空格子点的第1颜色成分的颜色信息相当的插值量的插值处理，该摄像单元由输出空间频率最高的第1颜色成分的颜色信息的格子点和不输出第1颜色成分的颜色信息而输出空间频率比第1颜色成分低的第2颜色成分或第3颜色成分的颜色信息的多个空格子点2维排列而形成，其特征在于，包括：
相似度计算步骤，根据从作为插值处理的对象的插值对象空格子点和从位于该插值对象空格子点附近的格子点和空格子点输出的上述第1颜色成分至上述第3颜色信息，计算作为上述每个插值对象空格子点的多个方向的相似度的、下述种类中至少2种的相似度，即“使用上述第1颜色成分的颜色信息和上述第2颜色成分的颜色信息的相似度成分”和“使用上述第1颜色成分的颜色信息和上述第3颜色成分的颜色信息的相似度成分”和“只使用上述第1颜色成分的颜色信息的相似度成分”和“只使用上述第2颜色成分的颜色信息的相似度成分”和“只使用上述第3颜色成分的颜色信息的相似度成分”中的至少2种相似度；
相似性判定步骤，在上述相似度计算步骤对上述每个插值对象空格子点计算出的多个方向的多个种类的上述相似度中，在各个方向比较同一种类的上述相似度的大小，确定各个种类的相似性强的方向，根据某个方向占据了多数，判定与上述插值对象空格子点相似性强的方向；
插值量计算步骤，根据上述相似性判定步骤的判断结果，计算上述每个插值对象空格子点的插值量。
18．一种记录媒体，用于记录在计算机中运行的插值处理程序，
该插值处理是对由摄像单元生成的图像进行计算与各个空格子点的第1颜色成分的颜色信息相当的插值量的插值处理，该摄像单元由输出空间频率最高的第1颜色成分的颜色信息的格子点和不输出第1颜色成分的颜色信息而输出空间频率比第1颜色成分低的第2颜色成分或第3颜色成分的颜色信息的多个空格子点2维排列而形成，其特征在于，包括：
相似度计算步骤，根据从作为插值处理的对象的插值对象空格子点和从位于该插值对象空格子点附近的格子点和空格子点输出的颜色信息，计算作为上述每个插值对象空格子点的多个方向的相似度的、下述2种相似度成分中的至少一种相似度成分，即“使用上述插值对象空格子点的颜色信息和上述第1颜色成分的颜色信息的相似度成分”和“只使用上述第1颜色成分的颜色信息的相似度成分”中的至少1种相似度，根据该至少一种相似度成分，计算上述每个插值对象空格子点的多个方向上的相似度；
相似性判定步骤，根据上述相似度计算步骤计算出的多个方向的相似度，判定上述每个插值对象空格子点的相似性强的方向；
插值量计算步骤，根据上述相似性判定步骤的判断结果，计算上述每个插值对象空格子点的插值量，
上述相似度计算步骤提取上述插值对象空格子点的周边部分的图像的特征，在上述2个种类的相似度成分中，计算根据该特征确定的1个种类的相似度成分，将该1个种类的相似度成分作为上述相似度，或计算上述2个种类的相似度，根据该特征改变该2个种类的相似度成分的加权比例并进行加权相加，算出上述相似度。
19．一种记录媒体，用于记录在计算机中运行的插值处理程序，
该插值处理是对由摄像单元生成的图像进行计算与各个空格子点的第1颜色成分的颜色信息相当的插值量的插值处理，该摄像单元由输出空间频率最高的第1颜色成分的颜色信息的格子点和不输出第1颜色成分的颜色信息而输出空间频率比第1颜色成分低的第2颜色成分或第3颜色成分的颜色信息的多个空格子点2维排列而形成，其特征在于，包括：
相似度计算步骤，根据从作为插值处理的对象的插值对象空格子点和从位于该插值对象空格子点附近的格子点和空格子点输出的颜色信息，计算作为上述每个插值对象空格子点的多个方向的相似度的、下述2种相似度成分中的至少1种相似度成分，即“使用上述插值对象空格子点的颜色信息和上述第1颜色成分的颜色信息的相似度成分”和“只使用上述第1颜色成分的颜色信息的相似度成分”中的至少1种相似度成分，根据该至少一种相似度成分，计算对上述每个插值对象空格子点的多个方向的相似度；
接口步骤，接收第1指示或第2指示，其中，第1指示表示计算上述2个种类的相似度成分中任一种的相似度成分，第2指示表示在对该2个种类的相似度成分进行加权相加运算时的加权系数，
上述相似度计算步骤在上述接口步骤接收第1指示时，计算对应于第1指示的1个种类的相似度成分，作为上述相似度；在上述接口步骤接收第2指示时，根据第2指示将上述2个种类的相似度成分加权相加，计算上述相似度。
CN99806919A 1998-06-01 1999-05-31 插值处理装置及记录插值处理程序的记录媒体 Pending CN1304617A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP151278/1998 1998-06-01
JP15127898 1998-06-01
JP27716698 1998-09-30
JP277166/1998 1998-09-30
JP14547399A JP4292625B2 (ja) 1998-06-01 1999-05-25 補間処理装置および補間処理プログラムを記録した記録媒体
JP145473/1999 1999-05-25

Publications (1)

Publication Number Publication Date
CN1304617A true CN1304617A (zh) 2001-07-18

Family

ID=27318994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN99806919A Pending CN1304617A (zh) 1998-06-01 1999-05-31 插值处理装置及记录插值处理程序的记录媒体

Country Status (5)

Country Link
EP (1) EP1109411A4 (zh)
JP (1) JP4292625B2 (zh)
KR (1) KR20010043961A (zh)
CN (1) CN1304617A (zh)
WO (1) WO1999063761A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100505891C (zh) * 2002-06-28 2009-06-24 诺基亚公司 信息终端
CN101151907B (zh) * 2005-02-04 2013-02-13 高通股份有限公司 一种自适应颜色内插的方法和设备
CN104670085A (zh) * 2013-11-29 2015-06-03 现代摩比斯株式会社 车道脱离警报系统

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3985679B2 (ja) 2001-01-25 2007-10-03 株式会社ニコン 画像処理方法、画像処理プログラム、画像処理装置
US6940061B2 (en) * 2002-02-27 2005-09-06 Agilent Technologies, Inc. Two-color photo-detector and methods for demosaicing a two-color photo-detector array
KR100506086B1 (ko) 2002-12-26 2005-08-03 삼성전자주식회사 영상의 재현 품질 향상 장치 및 그 방법
JP5049460B2 (ja) * 2004-11-09 2012-10-17 イーストマン コダック カンパニー カラー撮像画像データの補間方法およびプログラム
KR100721338B1 (ko) 2004-12-30 2007-05-28 엘지전자 주식회사 디지털 촬영장치의 색상 보간법
US7456881B2 (en) 2006-01-12 2008-11-25 Aptina Imaging Corporation Method and apparatus for producing Bayer color mosaic interpolation for imagers
JP4497233B2 (ja) * 2007-07-30 2010-07-07 カシオ計算機株式会社 画素補間回路、およびプログラム
US8009935B2 (en) 2007-07-30 2011-08-30 Casio Computer Co., Ltd. Pixel interpolation circuit, pixel interpolation method, and recording medium
KR101327790B1 (ko) * 2007-08-24 2013-11-11 삼성전자주식회사 영상 보간 방법 및 장치
DE102008063970B4 (de) * 2008-12-19 2012-07-12 Lfk-Lenkflugkörpersysteme Gmbh Verfahren zur Interpolation von Farbwerten an Bildpunkten eines Bildsensors
FR3136926B1 (fr) * 2022-06-20 2024-07-19 Pixii Sas Appareil photo couleur et monochrome

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5382976A (en) * 1993-06-30 1995-01-17 Eastman Kodak Company Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients
JP2931520B2 (ja) * 1993-08-31 1999-08-09 三洋電機株式会社 単板式カラービデオカメラの色分離回路
US5629734A (en) * 1995-03-17 1997-05-13 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US5506619A (en) * 1995-03-17 1996-04-09 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US5652621A (en) * 1996-02-23 1997-07-29 Eastman Kodak Company Adaptive color plane interpolation in single sensor color electronic camera
US5805217A (en) * 1996-06-14 1998-09-08 Iterated Systems, Inc. Method and system for interpolating missing picture elements in a single color component array obtained from a single color sensor
JP3663777B2 (ja) * 1996-10-02 2005-06-22 松下電器産業株式会社 色信号補間方法
JPH10294948A (ja) * 1997-04-18 1998-11-04 Nec Corp 画像処理方法および画像処理プログラム記録媒体
US6563537B1 (en) * 1997-07-31 2003-05-13 Fuji Photo Film Co., Ltd. Image signal interpolation
JP3946866B2 (ja) * 1997-07-31 2007-07-18 富士フイルム株式会社 画像信号処理装置及びプログラムを記録した媒体
JP4066484B2 (ja) * 1997-12-08 2008-03-26 ソニー株式会社 画像処理装置および画像処理方法、並びにカメラ

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100505891C (zh) * 2002-06-28 2009-06-24 诺基亚公司 信息终端
CN101151907B (zh) * 2005-02-04 2013-02-13 高通股份有限公司 一种自适应颜色内插的方法和设备
CN104670085A (zh) * 2013-11-29 2015-06-03 现代摩比斯株式会社 车道脱离警报系统
CN104670085B (zh) * 2013-11-29 2018-03-06 现代摩比斯株式会社 车道脱离警报系统

Also Published As

Publication number Publication date
JP2000175208A (ja) 2000-06-23
EP1109411A1 (en) 2001-06-20
EP1109411A4 (en) 2006-02-15
WO1999063761A1 (fr) 1999-12-09
JP4292625B2 (ja) 2009-07-08
KR20010043961A (ko) 2001-05-25

Similar Documents

Publication Publication Date Title
CN1136516C (zh) 图案抽取装置和方法
CN1158854C (zh) 图像处理装置和图像处理方法
CN1488225A (zh) 图像处理方法、图像处理程序、图像处理装置
CN1213592C (zh) 采用自适应二值化的图象处理方法和设备
CN1207896C (zh) 图象数据的压缩和恢复方法
CN1249617C (zh) 图像补正装置，图像补正方法，及图像形成装置
CN1196319C (zh) 图象解码装置和图象解码方法
CN1324873C (zh) 边界检测方法、图像处理设备和复印机
CN1805531A (zh) 图像处理装置及方法、记录介质、以及程序
CN1806448A (zh) 图像处理方法、图像处理程序以及图像处理器
CN1922630A (zh) 图象处理装置、图象处理系统、图象处理方法、图象处理程序及集成电路装置
CN1304617A (zh) 插值处理装置及记录插值处理程序的记录媒体
CN1286575A (zh) 噪声检测方法、噪声检测装置及图象编码装置
CN1774031A (zh) 图像处理装置及图像处理方法、以及计算机程序
CN1809116A (zh) 图像处理装置、方法、图像形成装置、图像读取处理装置
CN1649384A (zh) 图像处理设备、图像处理程序、及存储介质
CN101079949A (zh) 图像处理设备和方法、记录介质以及程序
CN1596547A (zh) 移动图像编码设备、移动图像解码设备、移动图像编码方法、移动图像解码方法、程序和存储程序的计算机可读记录媒介
CN1961338A (zh) 图像处理设备和方法、记录介质以及程序
CN1645241A (zh) 摄影装置、图像处理装置、摄影装置的图像处理方法
CN1812479A (zh) 图像处理装置、方法和输出装置、摄像装置、程序和介质
CN1919604A (zh) 印刷装置、印刷方法及图象处理装置、图象处理方法
CN1957370A (zh) 从照相机获取的图片中提取原始数据的方法
CN1738397A (zh) 投影设备以及投影设备的监视方法
CN1211133A (zh) 图像处理装置和图像处理方法及图像读取装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication