CN102789630B - 图像处理设备、图像处理方法和学习设备 - Google Patents

图像处理设备、图像处理方法和学习设备 Download PDF

Info

Publication number
CN102789630B
CN102789630B CN201210144916.5A CN201210144916A CN102789630B CN 102789630 B CN102789630 B CN 102789630B CN 201210144916 A CN201210144916 A CN 201210144916A CN 102789630 B CN102789630 B CN 102789630B
Authority
CN
China
Prior art keywords
pixel
image
color component
concerned
bayer array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210144916.5A
Other languages
English (en)
Other versions
CN102789630A (zh
Inventor
千田圭祐
宫井岳志
高桥纪晃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102789630A publication Critical patent/CN102789630A/zh
Application granted granted Critical
Publication of CN102789630B publication Critical patent/CN102789630B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本发明公开了图像处理设备、图像处理方法、程序、存储介质和学习设备。预测计算单元借助学习的预测系数和预测抽头的计算，为每个颜色分量计算关注像素的像素值，然后输出包括每个颜色分量的关注像素的像素值的输出图像。例如，本技术可应用于图像处理设备。

Description

图像处理设备、图像处理方法和学习设备
技术领域
本技术涉及图像处理设备、图像处理方法、程序、存储介质和学习设备，更具体地说，涉及能够高精度地生成从Bayer阵列的图像放大的彩色图像的图像处理设备、图像处理方法、程序、存储介质和学习设备。
背景技术
过去，存在为了便于小型化，只包括一个成像元件，比如电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器的成像设备。在该成像设备中，不同的滤色器通常用于成像元件的各个像素，从而从各个像素获得诸如红色、绿色和蓝色(RGB)之类多种颜色中的任意之一的信号。例如，按照这种方式，利用成像元件获得的图像变成图1中图解说明的彩色阵列的图像。下面，图1的彩色阵列被称为“Bayer阵列”。
一般，利用称为去马赛克处理的插值处理，把用成像元件获得的Bayer阵列的图像转换成其中每个像素具有诸如RGB之类多种颜色分量中的任意之一的像素值的彩色图像。
作为生成从Bayer阵列的图像放大的彩色图像的方法，一种方法是利用去马赛克处理，从Bayer阵列的图像生成彩色图像，然后对彩色图像进行放大处理(例如，参见日本专利申请公开No.2006-54576)。
图2是图解说明利用以上的方法，生成放大的彩色图像的图像处理设备的结构的方框图。
图2的图像处理设备10包括成像元件11、去马赛克处理单元12和放大处理单元13。
图像处理设备10的成像元件11把不同的滤色器用于相应的像 素。成像元件11为每个像素，获得来自被摄物体的光的R分量、G分量和B分量任意之一的模拟信号，对模拟信号进行模-数(AD)转换，从而生成Bayer阵列的图像。成像元件11把生成的Bayer阵列的图像提供给去马赛克处理单元12。
去马赛克处理单元12对从成像元件11供给的Bayer阵列的图像进行去马赛克处理，生成具有各个像素的R分量、G分量和B分量的像素值的彩色图像(下面称为“RGB图像”)。随后，去马赛克处理单元12把生成的RGB图像提供给放大处理单元13。
放大处理单元13根据从外部输入的水平方向和垂直方向的放大率，对从去马赛克处理单元12供给的RGB图像进行放大处理，然后输出放大的RGB图像，作为输出图像。
作为以任意倍率放大RGB图像的方法，存在一种利用类别分类自适应处理的方法(例如，参见日本专利No.4441860)。类别分类自适应处理指的是把处理后的图像中的关注像素(它是所关注的像素)分类到预定类别，然后通过线性组合对应于该类别，通过学习获得的预测系数，和对应于关注像素的未处理图像的像素值，预测关注像素的像素值的处理。
发明内容
例如，当类别分类自适应处理被用作图1的图像处理设备10中的去马赛克处理和放大处理时，诸如存在于Bayer阵列的图像中的细线部分之类的信息可能因去马赛克处理而丢失，从而输出图像的精度降低。
具体地说，当诸如细线部分之类的信息因去马赛克处理而丢失，从而RGB图像具有平坦部分时，对放大处理单元13来说，很难识别RGB图像的平坦部分是本来存在的平坦部分，还是因细线部分的丢失而引起的平坦部分。从而，即使当诸如细线部分之类的信息已因去马赛克处理而丢失时，放大处理单元13仍然类似于其中诸如细线部分之类的信息未被丢失的RGB图像，对从去马赛克处理单元12供给的 RGB图像进行放大处理。因此，输出图像变成与通过平滑未经过去马赛克处理的Bayer阵列的图像而获得的图像对应的图像，从而，输出图像的精度降低。
类似地，甚至当由于去马赛克处理，生成不存在于Bayer阵列的图像中的颜色的边缘等时，输出图像的精度被降低。
鉴于上面所述，做出了本技术，理想的是高精度地生成从Bayer阵列的图像放大的彩色图像。
按照本技术的一个实施例，提供一种图像处理设备，包括预测计算单元，所述预测计算单元借助通过利用与包括以第一放大率放大的Bayer阵列的图像的像素的多个预定颜色分量的像素值的彩色图像对应的教师图像，和对应于Bayer阵列的图像的学生图像，进行关于教师图像的各个像素的各个颜色分量的预测系数和预测抽头的计算，为每个颜色分量计算关注像素的像素值，并输出包括每个颜色分量的关注像素的像素值的预定彩色图像，所述关注像素是与以第二放大率放大的Bayer阵列的预定图像对应的预定彩色图像中的所关注的像素，所述预测系数是通过求解表示所述教师图像的各个像素的像素值、对应于该像素并以第一放大率放大的学生图像的像素的像素值、和预测系数之间的关系的公式而学习的，所述预测抽头包括以第二放大率放大的Bayer阵列的预定图像的像素的像素值，并且对应于关注像素。
按照本技术的第一方面的图像处理方法、程序和记录在存储介质中的程序对应于按照本技术的第一方面的图像处理设备。
按照本实施例，在图像处理设备，借助利用与包括以第一放大率放大的Bayer阵列的图像的像素的多个预定颜色分量的像素值的彩色图像对应的教师图像，和对应于Bayer阵列的图像的学生图像，关于教师图像的各个像素的各个颜色分量，和作为教师图像的每个像素在学生图像中的位置与最接近该位置的学生图像的像素的位置之间的距离的每个像素间距离的预测系数和预测抽头的计算，能够为每个颜色分量计算关注像素的像素值，并输出包括每个颜色分量的关注像素的像素值的预定彩色图像，所述关注像素是与以第二放大率放大的 Bayer阵列的预定图像对应的预定彩色图像中的所关注的像素，所述预测系数是通过求解表示所述教师图像的各个像素的像素值、对应于该像素的学生图像的像素的像素值、和预测系数之间的关系的公式学习的预测系数之中的，对应于关注像素间距离的预测系数，所述关注像素间距离是Bayer阵列的预定图像中的关注像素的位置和最接近关注像素的像素(它是Bayer阵列的预定图像的最接近该位置的像素)的位置之间的距离，所述预测抽头包括Bayer阵列的预定图像的像素的像素值，并且对应于关注像素。
按照本发明的另一个实施例，提供一种学习设备，所述学习设备包括学习单元，所述学习单元通过利用预测抽头和关注像素的像素值，关于教师图像的各个像素的各个颜色分量和各个像素间距离，求解表示教师图像的各个像素的像素值、对应像素的预测抽头和预测系数之间的关系的公式，计算每个颜色分量和每个像素间距离的预测系数，所述像素间距离是教师图像的各个像素在学生图像中的位置和最接近该位置的学生图像的各个像素的位置之间的距离，所述预测抽头包括与关注像素对应的像素的像素值，所述关注像素是教师图像中的所关注的像素，所述教师图像是包括用于预测系数的学习，并且对应于Bayer阵列的预定图像的学生图像之中，以第二放大率放大的学生图像的各个像素的多个颜色分量的像素值的彩色图像，所述预测系数用于把Bayer阵列的预定图像转换成包括以第一放大率放大的Bayer阵列的预定图像的各个像素的多个颜色分量的像素值的预定彩色图像。
按照本技术的第二方面的学习方法、程序和记录在存储介质中的程序对应于按照本技术的第二方面的学习设备。
按照本实施例，通过利用预测抽头和关注像素的像素值，关于教师图像的各个像素的各个颜色分量，求解表示教师图像的各个像素的像素值、该像素的预测抽头和预测系数之间的关系的公式，能够计算每个颜色分量的预测系数，所述预测抽头包括与关注像素对应的像素的像素值，所述关注像素是教师图像中的所关注的像素，所述教师图像是与通过在对应图像中，根据第二放大率，放大学生图像而获得的 图像对应的彩色图像，所述学生图像用于预测系数的学习，并且对应于Bayer阵列的预定图像，所述预测系数用于把Bayer阵列的预定图像转换成包括以第一放大率放大的Bayer阵列的预定图像的各个像素的多个颜色分量的像素值的预定彩色图像。
按照本实施例的另一个实施例，提供一种图像处理设备，包括预测计算单元，所述预测计算单元借助利用与包括以第一放大率放大的Bayer阵列的图像的像素的多个预定颜色分量的像素值的彩色图像对应的教师图像，和对应于Bayer阵列的图像的学生图像，关于教师图像的各个像素的各个颜色分量和各个像素间距离的预测系数和预测抽头的计算，为每个颜色分量计算关注像素的像素值，并输出包括每个颜色分量的关注像素的像素值的预定彩色图像，所述像素间距离是教师图像的各个像素在学生图像中的位置与最接近该位置的学生图像的像素的位置之间的距离，所述关注像素是与以第二放大率放大的Bayer阵列的预定图像对应的预定彩色图像中的所关注的像素，所述预测系数是通过求解表示所述教师图像的各个像素的像素值、对应于该像素的学生图像的像素的像素值、和预测系数之间的关系的公式学习的预测系数之中的，对应于关注像素间距离的预测系数，所述关注像素间距离是Bayer阵列的预定图像中的关注像素的位置和最接近关注像素的像素(它是Bayer阵列的预定图像的最接近该位置的像素)的位置之间的距离，所述预测抽头包括Bayer阵列的预定图像的像素的像素值，并且对应于关注像素。
按照本实施例，借助利用与包括以第一放大率放大的Bayer阵列的图像的像素的多个预定颜色分量的像素值的彩色图像对应的教师图像，和对应于Bayer阵列的图像的学生图像，关于教师图像的各个像素的各个颜色分量和各个像素间距离的预测系数和预测抽头的计算，能够为每个颜色分量计算关注像素的像素值，并输出包括每个颜色分量的关注像素的像素值的预定彩色图像，所述像素间距离是教师图像的各个像素在学生图像中的位置与最接近该位置的学生图像的像素的位置之间的距离，所述关注像素是与以第二放大率放大的Bayer阵列 的预定图像对应的预定彩色图像中的所关注的像素，所述预测系数是通过求解表示所述教师图像的各个像素的像素值、对应于该像素的学生图像的像素的像素值、和预测系数之间的关系的公式学习的预测系数之中的，对应于关注像素间距离的预测系数，所述关注像素间距离是Bayer阵列的预定图像中的关注像素的位置和最接近关注像素的像素(它是Bayer阵列的预定图像的最接近该位置的像素)的位置之间的距离，所述预测抽头包括Bayer阵列的预定图像的像素的像素值，并且对应于关注像素。
按照本实施例，学习设备包括学习单元，所述学习单元利用预测抽头和关注像素的像素值，关于教师图像的各个像素的各个颜色分量，求解表示教师图像的各个像素的像素值、该像素的预测抽头和预测系数之间的关系的公式，计算每个颜色分量的预测系数，所述预测抽头包括与关注像素对应的像素的像素值，所述关注像素是教师图像中的所关注的像素，所述教师图像是与通过在对应图像中，根据第二放大率，放大学生图像而获得的图像对应的彩色图像，所述学生图像用于预测系数的学习，并且对应于Bayer阵列的预定图像，所述预测系数用于把Bayer阵列的预定图像转换成包括以第一放大率放大的Bayer阵列的预定图像的各个像素的多个颜色分量的像素值的预定彩色图像。
按照本技术的另一个实施例，通过利用预测抽头和关注像素的像素值，关于教师图像的各个像素的各个颜色分量，求解表示教师图像的各个像素的像素值、该像素的预测抽头和预测系数之间的关系的公式，能够计算每个颜色分量的预测系数，所述预测抽头包括与关注像素对应的像素的像素值，所述关注像素是教师图像中的所关注的像素，所述教师图像是与通过在对应图像中，根据第二放大率，放大学生图像而获得的图像对应的彩色图像，所述学生图像用于预测系数的学习，并且对应于Bayer阵列的预定图像，所述预测系数用于把Bayer阵列的预定图像转换成包括以第一放大率放大的Bayer阵列的预定图像的各个像素的多个颜色分量的像素值的预定彩色图像。
按照本技术的第一和第三方面，能够高精度地生成从Bayer阵列的图像放大的彩色图像。
此外，按照本技术的第二和第四方面，能够学习用于高精度地生成从Bayer阵列的图像放大的彩色图像的预测系数。
附图说明
图1是图解说明Bayer阵列的例子的示图；
图2是图解说明图像处理设备的例证结构的方框图；
图3是图解说明按照本技术的第一实施例的图像处理设备的例证结构的方框图；
图4是图解说明放大处理单元的详细例证结构的方框图；
图5是图解说明放大预测处理单元的详细例证结构的方框图；
图6是图解说明输出图像的像素的位置的第一示图；
图7图解说明图5的放大预测处理单元中的类别抽头的抽头结构的例子的示图；
图8是图解说明图5的放大预测处理单元中的预测抽头的抽头结构的例子的示图；
图9是图解说明与用图5中图示的插值单元插值的类别抽头对应的位置的示图；
图10是说明放大处理单元的图像处理的流程图；
图11是图解说明学习图5的放大预测处理单元中的预测系数的学习设备的例证结构的方框图；
图12是说明图11的学习设备的学习处理的流程图；
图13A和13B是图解说明输出图像的例子的示图；
图14是图解说明按照本技术的第二实施例的图像处理设备的放大预测处理单元的例证结构的方框图；
图15是图解说明输出图像的像素的位置的第二示图；
图16是图解说明图14的放大预测处理单元中的类别抽头的抽头结构的例子的示图；
图17是图解说明图14的放大预测处理单元中的预测抽头的抽头结构的例子的示图；
图18是说明中心像素的位置的示图；
图19是图解说明包括在图14的放大预测处理单元中的放大处理单元的图像处理的流程图；
图20是图解说明学习图14的放大预测处理单元中的预测系数的学习设备的例证结构的方框图；
图21是说明图20的学习设备的学习处理的流程图；
图22是图解说明按照一个实施例的计算机的例证结构的示图。
具体实施方式
下面参考附图，详细说明本公开的优选实施例。注意在说明书和附图中，功能和结构基本相同的构成元件用相同的附图标记表示，这些构成元件的重复说明被省略。
<第一实施例>
[图像处理设备的例证结构]
图3是图解说明按照本技术的第一实施例的图像处理设备的例证结构的方框图。
在图3中，和图2中相同的组件用相同的附图标记表示。将适当地省略所述相同组件的冗余说明。
图3的图像处理设备30的结构和图2的结构的主要不同之处在于代替去马赛克处理单元12和放大处理单元13，设置了放大处理单元31。图像处理设备30利用类别分类自适应处理，直接生成从Bayer阵列的图像放大的RGB图像。
具体地说，图像处理设备30的放大处理单元31根据用户(未示出)等从外部输入的水平方向和垂直方向的放大率，放大利用成像元件11生成的Bayer阵列的图像。
水平方向和垂直方向的放大率可以彼此相同或不同。水平方向和垂直方向的放大率可以是整数或分数。
放大处理单元31对Bayer阵列的放大图像进行类别分类自适应处理，从而生成RGB图像。放大处理单元31输出生成的RGB图像，作为输出图像。
[放大处理单元的例证结构]
图4是图解说明在图3中图示的放大处理单元31的详细例证结构的方框图。
图4的放大处理单元31包括缺陷像素校正单元51、箝位处理单元52、白平衡单元53和放大预测处理单元54。
放大处理单元31的缺陷像素校正单元51、箝位处理单元52和白平衡单元53对Bayer阵列的图像进行预处理，以便提高输出图像的质量。
具体地说，放大处理单元31的缺陷像素校正单元51从供给自图3的成像元件11的Bayer阵列的图像中，检测成像元件11中的缺陷像素的像素值。成像元件11中的缺陷像素指的是不论由于什么原因，对入射光没有反应的元件，或者电荷始终蓄积在其中的元件。缺陷像素校正单元51利用周围的非缺陷像素的像素值，校正成像元件11中的缺陷像素的检测像素值，然后把Bayer阵列的校正图像提供给箝位处理单元52。
箝位处理单元52对从缺陷像素校正单元51供给的Bayer阵列的校正图像进行箝位。具体地说，为了防止负值被删除，成像元件11沿着正向移动模拟信号的信号值，随后进行AD转换。从而，箝位处理单元52对Bayer阵列的校正图像进行箝位，以致在AD转换时的移动部分能够被取消。箝位处理单元52把Bayer阵列的箝位图像提供给白平衡单元53。
白平衡单元53通过校正从箝位处理单元52供给的Bayer阵列的图像的颜色分量的增益，调整白平衡。白平衡单元53把白平衡已被调整的Bayer阵列的图像提供给放大预测处理单元54。
放大预测处理单元54根据从外部输入的水平方向和垂直方向的放大率，放大从白平衡单元53供给的Bayer阵列的图像。随后，放大 预测处理单元54对Bayer阵列的放大图像进行类别分类自适应处理，从而生成RGB图像。放大预测处理单元54输出生成的RGB图像，作为输出图像。
[放大预测处理单元的详细例证结构]
图5是图解说明在图4中图示的放大预测处理单元54的详细例证结构的方框图。
图5的放大预测处理单元54包括插值单元71、预测抽头获取单元72、类别抽头获取单元73、类别号生成单元74、系数生成单元75和预测计算单元76。
放大预测处理单元54的插值单元71起放大处理单元的作用，根据从外部输入的水平方向和垂直方向的放大率，确定待预测的输出图像的各个像素在从图4的白平衡单元53供给的Bayer阵列的图像中的位置。插值单元71顺序把输出图像的各个像素设定为关注像素。插值单元71确定Bayer阵列的图像中的，与用于预测关注像素的像素值的一个或多个像素值(下面称为“预测抽头”)对应的位置。具体地说，插值单元71把对于Bayer阵列的图像中，在与输出图像中的关注像素的位置相同的位置，在空间上具有预定位置关系的位置确定为对应于预测抽头的位置。
插值单元71对Bayer阵列的图像进行预定插值处理，插入存在于对应于预测抽头的位置的各个颜色分量的像素值。插值单元71把通过插值而获得的每个颜色分量的预测抽头提供给预测抽头获取单元72。
插值单元71确定Bayer阵列的图像中，与用于进行类别分类的一个或多个像素值(下面称为“类别抽头”)对应的位置，所述类别分类用于把关注像素分类到一个或多个类别中的任意一个类别。具体地说，插值单元71把对于Bayer阵列的图像中，在与输出图像中的关注像素的位置相同的位置，在空间上具有预定位置关系的位置确定为对应于类别抽头的位置。
插值单元71对Bayer阵列的图像进行预定插值处理，插入存在 于对应于类别抽头的位置的各个颜色分量的像素值。插值单元71把通过插值而获得的每个颜色分量的类别抽头提供给类别抽头获取单元73。
例如，利用双三次技术的插值处理、线性插值处理等可用作插值单元71中的插值处理。预测抽头和类别抽头可以具有相同的抽头结构或者不同的抽头结构。不过，与放大率无关，预测抽头和类别抽头的抽头结构是不变的。
预测抽头获取单元72获得从插值单元71供给的每个颜色分量的预测抽头，然后把获得的预测抽头提供给预测计算单元76。
类别抽头获取单元73获得从插值单元71供给的每个颜色分量的类别抽头，然后把获得的类别抽头提供给类别号生成单元74。
类别号生成单元74起类别分类单元的作用，根据从类别抽头获取单元73供给的每个颜色分量的类别抽头，为每个颜色分量，对关注像素进行类别分类。类别号生成单元74生成与作为结果获得的类别对应的类别号，然后把生成的类别号提供给系数生成单元75。
例如，利用自适应动态范围编码(ADRC)的方法可被用作进行类别分类的方法。
当利用ADRC的方法被用作进行类别分类的方法时，构成类别抽头的像素值经历ADRC处理，然后按照作为结果获得的再量化码，确定关注像素的类别号。
具体地说，作为ADRC处理，进行依据以下的公式(1)，用指定的比特数P均匀分割类别抽头的最大值MAX和最小值MIN之间的值，随后再量化分割结果的处理。
qi=[(ki-MIN+0.5)*2^p/DR] …(1)
在公式(1)中，[]意味[]中的数值的在小数点之后的数字被舍位。此外，ki表示类别抽头的第i个像素值，qi表示类别抽头的第i个像素值的再量化码。另外，DR表示动态范围，为“MAX-MIN+1”。
随后，利用如上所述获得的再量化码qi，如以下公式(2)中那样计算关注像素的类别号class。
[数学式1]
class = &Sigma; i = 1 n q i ( 2 p ) i - 1 &CenterDot; &CenterDot; &CenterDot; ( 2 )
在公式(2)中，n表示构成类别抽头的像素值的数目。
除了利用ADRC的方法之外，利用通过应用诸如离散余弦变换(DCT)、向量量化(VQ)、或差分脉冲码调制(DPCM)之类数据压缩技术而压缩的数据的数量作为类别号的方法也可用作进行类别分类的方法。
系数生成单元75保存利用后面参考图11和12说明的学习而获得的每个颜色分量和类别的预测系数。系数生成单元75读取保存的预测系数之中，与从类别号生成单元74供给的每个颜色分量的类别号对应的类别的预测系数，然后把读取的预测系数提供给预测计算单元76。
预测计算单元76利用从预测抽头获取单元72供给的每个颜色分量的预测抽头，和从系数生成单元75供给的每个颜色分量预测系数，对每个颜色分量，进行计算关注像素的像素值的真值的预测值的预定预测计算。从而，预测计算单元76生成关注像素的每个颜色分量的像素值的预测值，作为输出图像的关注像素的每个颜色分量的像素值，然后输出生成的像素值。
[输出图像的每个像素的位置的例子]
图6是图解说明当水平方向和垂直方向的放大率为2倍时，输出图像的各个像素的位置的示图。
在图6中，白色圆点代表输入插值单元71的Bayer阵列的图像的像素的位置，黑色圆点代表输出图像的像素的位置。
如图6中图解所示，当水平方向和垂直方向的放大率为2倍时，输出图像的各个像素的位置之间的水平方向间隔为输入插值单元71的Bayer阵列的图像的各个像素的位置之间的水平方向间隔的一半(1/2)。此外，输出图像的各个像素的位置之间的垂直方向间隔为输入插值单元71的Bayer阵列的图像的各个像素的位置之间的垂直方向间隔的一半(1/2)。
[类别抽头的抽头结构的例子]
图7是图解说明类别抽头的抽头结构的例子的示图。类别抽头可具有和图7中图解说明的结构不同的抽头结构。
在图7中，x标记代表和输出图像中的关注像素的位置相同的Bayer阵列的图像中的位置(下面称为“关注像素对应位置”)。在图7中，环形标记代表与关注像素的类别抽头对应的Bayer阵列的图像中的位置。
在图7的例子中，与以关注像素对应位置为中心，分别沿着水平方向和垂直方向，间隔Bayer阵列的图像的像素单元排列5个像素值的总共9个位置对应的像素值被视为类别抽头。
这种情况下，对应于类别抽头的位置等同于以从外部输入的水平方向和垂直方向的放大率放大的Bayer阵列的图像的各个像素任意之一的位置。即，类别抽头包括以从外部输入的水平方向和垂直方向的放大率放大的Bayer阵列的图像中的9个像素值。此外，关注像素对应位置和对应于类别抽头的位置之间的关系是不变的，与从外部输入的水平方向和垂直方向的放大率无关。
[预测抽头的抽头结构的例子]
图8是图解说明预测抽头的抽头结构的例子的示图。预测抽头可以具有和图8中图解说明的结构不同的抽头结构。
在图8中，x标记代表关注像素对应位置。在图8中，环形标记代表与关注像素的预测抽头对应的Bayer阵列的图像中的位置。
在图8的例子中，与总共13个位置对应的像素值被视为预测抽头，所述13个位置包括以关注像素对应位置为中心，分别沿着水平方向和垂直方向，间隔Bayer阵列的图像的像素单元排列5个像素值的总共9个位置，和分别在所述9个位置之中，位于关注像素对应位置的左右两侧的两个相邻位置的上下方，间隔Bayer阵列的图像的像素单元排列1个像素值的总共4个位置。即，与构成预测抽头的像素值对应的位置被排列成菱形。
这种情况下，对应于预测抽头的位置等同于以从外部输入的水平 方向和垂直方向的放大率放大的Bayer阵列的图像的任意一个像素的位置。即，类别抽头包括以从外部输入的水平方向和垂直方向的放大率放大的Bayer阵列的图像中的13个像素值。此外，关注像素对应位置和对应于预测抽头的位置之间的关系是不变的，与从外部输入的水平方向和垂直方向的放大率无关。
[利用插值单元的插值的说明]
图9是图解说明与利用图5的插值单元71插值的类别抽头对应的位置的示图。
在图9中，x标记代表关注像素对应位置。此外，在图9中，白色圆点代表输入插值单元71的Bayer阵列的图像的各个像素的位置，而黑色圆点代表输出图像的各个像素的位置。此外，在图9的例子中，水平方向和垂直方向的放大率为2倍，类别抽头具有在图7中图示的结构。
如图9中图解所示，例如，插值单元71插入与以关注像素对应位置为中心，分别沿着水平方向和垂直方向，间隔Bayer阵列的图像的像素单元排列5个像素值的总共9个位置对应的像素值，作为类别抽头。即，在图9中，插入在用虚线圆环绕的黑色圆点表示的各个位置的像素值，作为类别抽头。
利用Bayer阵列的图像的各个颜色分量的像素值之中，在对应于构成类别抽头的各个像素值的位置的周边位置的像素值，对每个颜色分量进行类别抽头的插值。例如，利用在图9中，用环绕以虚线圆的黑色圆点表示的9个位置的周边位置的R分量的像素值，插入R分量的类别抽头，所述R分量的类别抽头用于生成在图9的关注像素对应位置的关注像素的R分量的像素值。
[预测计算的说明]
下面说明图5的预测计算单元76中的预测计算，和用于预测计算的预测系数的学习。
例如，当线性一阶预测计算被用作预定预测计算时，利用以下的线性一阶公式，获得输出图像的每个像素的每个颜色分量的像素值：
[数学式2]
y = &Sigma; i = 1 n W i x i &CenterDot; &CenterDot; &CenterDot; ( 3 )
在公式(3)中，xi代表构成关于像素值y的预测抽头的像素值之中的第i个像素值，Wi代表被乘以第i个像素值的第i个预测系数。此外，n代表构成预测抽头的像素值的数目。
此外，当yk′代表第k个样本的输出图像的像素的各个颜色分量的像素值的预测值时，该预测值yk′用以下的公式(4)表示。
yk′=W1×xk1+W2×xk2+…+Wn×xkn …(4)
在公式(4)中，xki代表构成关于预测值yk′的真值的预测抽头的像素值之中的第i个像素值，Wi代表被乘以第i个像素值的第i个预测系数。此外，n代表构成预测抽头的像素值的数目。
此外，当yk代表预测值yk′的真值时，预测误差ek用以下的公式(5)表示。
ek=yk-{W1×xk1+W2×xk2+…+Wn×xkn} …(5)
在公式(5)中，xki代表构成关于预测值yk′的真值的预测抽头的像素值之中的第i个像素值，Wi代表被乘以第i个像素值的第i个预测系数。此外，n代表构成预测抽头的像素值的数目。
对真值yk的预测来说，使公式(5)的预测误差ek变为0的预测系数Wi最佳，不过当用于学习的样本的数目小于n时，预测系数Wi不被唯一地确定。
在这方面，例如，当最小二乘法被用作代表预测系数Wi为最佳的规范时，通过使用以下的公式(6)表示的平方误差之和E最小化，能够获得最佳的预测系数Wi。
[数学式3]
E = &Sigma; k = 1 m e k 2 &CenterDot; &CenterDot; &CenterDot; ( 6 )
公式(6)的平方误差之和E的最小值由使利用预测系数Wi微分和E而获得的值变为0的Wi给出，如以下的公式(7)中所示。
[数学式4]
&PartialD; E &PartialD; W i = &Sigma; k = 1 m 2 ( &PartialD; e k &PartialD; W i ) e k = &Sigma; k = 1 m 2 &times; k i &CenterDot; e k = 0 &CenterDot; &CenterDot; &CenterDot; ( 7 )
当如以下的公式(8)和(9)中所示，定义Xji和Yi时，如在以下的公式(10)中所示，可用行列式的形式表示公式(7)。
[数学式5]
X ji = &Sigma; k = 1 m X ki &times; X kj &CenterDot; &CenterDot; &CenterDot; ( 8 )
[数学式6]
Y i = &Sigma; k = 1 m X ki &times; y k &CenterDot; &CenterDot; &CenterDot; ( 9 )
[数学式7]
X 11 X 12 &CenterDot; &CenterDot; &CenterDot; X 1 n X 21 X 22 &CenterDot; &CenterDot; &CenterDot; X 2 n &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; X n 1 X n 2 &CenterDot; &CenterDot; &CenterDot; X nn W 1 W 2 &CenterDot; &CenterDot; &CenterDot; W n = Y 1 Y 2 &CenterDot; &CenterDot; &CenterDot; Y n &CenterDot; &CenterDot; &CenterDot; ( 10 )
在公式(8)-(10)中，xki代表构成关于预测值yk′的真值的预测抽头的像素值之中的第i个像素值，Wi代表被乘以第i个像素值的第i个预测系数。此外，n代表构成预测抽头的像素值的数目，m代表用于学习的样本的数目。
例如，通过利用诸如扫除法(Gauss-Jordan的消去法)之类的一般矩阵解法，公式(10)的正规方程能够获得关于预测系数Wi的解。
结果，通过解公式(10)的正规方程，求出每个类别和颜色分量，能够进行每个类别和颜色分量的最佳预测系数Wi的学习。
利用二阶以上的高阶公式，而不是在公式(3)中例示的线性一阶公式，可以获得像素值y。
[图像处理设备的处理的说明]
图10是说明图4的放大处理单元31的图像处理的流程图。例如，当从成像元件11供给Bayer阵列的图像时，开始图像处理。
参见图10，在步骤S11，放大处理单元31的缺陷像素校正单元 51从供给自图3的成像元件11的Bayer阵列的图像中，检测成像元件11中的缺陷像素的像素值。
在步骤S12，缺陷像素校正单元51利用周边的非缺陷像素的像素值，校正在步骤S11中检测到的成像元件11中的缺陷像素的检测像素值，然后把校正的Bayer阵列的图像提供给箝位处理单元52。
在步骤S13，箝位处理单元52对从缺陷像素校正单元51供给的Bayer阵列的校正图像进行箝位。箝位处理单元52把Bayer阵列的箝位图像提供给白平衡单元53。
在步骤S14，白平衡单元53通过校正从箝位处理单元52供给的Bayer阵列的箝位图像的颜色分量的增益，调整白平衡。白平衡单元53把白平衡已被调整的Bayer阵列的图像提供给放大预测处理单元54。
在步骤S15，放大预测处理单元54的插值单元71(图5)根据从外部输入的水平方向和垂直方向的放大率，确定待预测的输出图像的像素的数目，把输出图像的像素之中，还未被设定为关注像素的像素确定为关注像素。
在步骤S16，插值单元71确定从图4的白平衡单元53供给的Bayer阵列的图像中，与关注像素的预测抽头对应的位置。
在步骤S17，插值单元71对Bayer阵列的图像进行预定插值处理，插入存在于与预测抽头对应的各个位置的颜色分量的像素值，作为预测抽头。通过预测抽头获取单元72，插值单元71把每个颜色分量的预测抽头提供给预测计算单元76。
在步骤S18，插值单元71确定Bayer阵列的图像中，与关注像素的类别抽头对应的位置。
在步骤S19，插值单元71对从白平衡单元53供给的Bayer阵列的图像进行预定插值处理，插入存在于与类别抽头对应的各个位置的颜色分量的像素值，作为类别抽头。通过类别抽头获取单元73，插值单元71把每个颜色分量的类别抽头提供给类别号生成单元74。
在步骤S20，类别号生成单元74根据从类别抽头获取单元73供 给的各个颜色分量的类别抽头，为每个颜色分量，对关注像素进行类别分类，生成与作为结果获得的类别对应的类别号，然后把生成的类别号提供给系数生成单元75。
在步骤S21，系数生成单元75读取保存的每个类别和颜色分量的预测系数之中的，与从类别号生成单元74供给的每个颜色分量的类别号对应的类别的预测系数，然后把读取的预测系数提供给预测计算单元76。
在步骤S22，预测计算单元76利用从预测抽头获取单元72供给的每个颜色分量的预测抽头，和从系数生成单元75供给的每个颜色分量的预测系数，关于每个颜色分量进行公式(3)的计算，作为预定的预测计算。从而，预测计算单元76生成关注像素的各个颜色分量的像素值的预测值，作为输出图像的关注像素的各个颜色分量的像素值，然后输出生成的像素值。
在步骤S23，插值单元71确定输出图像的所有像素是否都已被设定为关注像素。当在步骤S23中确定输出图像的所有像素并未都已被设定为关注像素时，处理返回步骤S15，重复步骤S15-步骤S23的处理，直到输出图像的所有像素都被设定为关注像素为止。
不过，当在步骤S23中确定输出图像的所有像素都已被设定为关注像素时，处理结束。
如上所述，图像处理设备30通过根据从外部输入的放大率，放大Bayer阵列的图像，生成关注像素的各个颜色分量的预测抽头，然后通过利用预测抽头和预测系数，关于每个颜色分量进行预定的预测计算，计算关注像素的各个颜色分量的像素值。即，图像处理设备30直接从Bayer阵列的图像，生成输出图像。从而，与现有技术的通过两次处理，生成输出图像的图像处理设备10相比，能够高精度地生成输出图像，因为没有利用可能改变细线部分、颜色的边缘等的第一处理结果，生成输出图像。
此外，与现有技术的图像处理设备10相比，能够避免输出图像的精度的降低，因为不必临时保存第一处理结果。
具体地说，在现有技术的图像处理设备10中，由于输出图像是通过两次处理生成的，因此必须把用于通过第二次处理，生成输出图像的一个像素的RGB图像(它是第一次处理的结果)按像素蓄积在存储器(未示出)中。由于存储器的容量实际上有限，因此可能需要减少作为第一次处理的结果的RGB图像的每个像素的像素值的比特数，从而在这种情况下，输出图像的精度降低。另一方面，图像处理设备30直接从Bayer阵列的图像，生成输出图像，从而不需要保存处理的中间结果。因而，能够防止输出图像的精度的降低。
另外，由于用于进行类别分类自适应处理的部件的数目为1，因此与现有技术的包括进行用于去马赛克处理的类别分类自适应处理的部件，和进行用于放大处理的类别分类自适应处理的部件的图像处理设备10相比，图像处理设备30能够减小电路尺寸。
[学习设备的例证结构]
图11是图解说明学习保存在图5的系数生成单元75中的预测系数Wi的学习设备100的例证结构的方框图。
图11的学习设备100包括教师图像存储单元101、缩小处理单元102、间除（thinning，或称为稀疏化）处理单元103、插值单元104、预测抽头获取单元105、类别抽头获取单元106、类别号生成单元107、加法单元108和预测系数计算单元109。
教师图像作为用于预测系数Wi的学习的学习图像，被输入学习设备100。这里，由图5的放大预测处理单元54生成的理想输出图像（即，分辨率和输出图像相同的高精度RGB图像）被用作教师图像。
教师图像存储单元101保存教师图像。教师图像存储单元101把保存的教师图像分成均包括多个像素的多个块，并顺序把每个块设定为关注块。教师图像存储单元101把关注块的各个颜色分量的像素值提供给加法单元108。
缩小处理单元102按水平方向和垂直方向的预定缩小率，在水平方向和垂直方向缩小教师图像，然后把缩小的教师图像提供给间除处理单元103。
间除处理单元103按照Bayer阵列，间除从缩小处理单元102供给的缩小的教师图像的颜色分量的像素值之中的预定颜色分量的像素值，从而生成Bayer阵列的图像。间除处理单元103对生成的Bayer阵列的图像，进行与包含在成像元件11中的光学低通滤波器(未示出)的处理对应的滤波器处理。从而，能够生成用由成像元件11生成的Bayer阵列的图像近似的Bayer阵列的图像。间除处理单元103把经过滤波器处理的Bayer阵列的图像作为对应于教师图像的学生图像，提供给插值单元104。
插值单元104起放大处理单元的作用，根据缩小处理单元102中的水平方向和垂直方向的放大率，确定关注块的各个像素在从间除处理单元103供给的学生图像中的位置。随后，插值单元104把关注块的每个像素设定为关注像素，并且类似于图5的插值单元71，确定与关注像素的预测抽头对应的位置，和与类别抽头对应的位置。插值单元104对学生图像进行与插值单元71中的插值处理相同的插值处理，从而插入关注块的各个颜色分量的预测抽头和类别抽头。随后，插值单元104把关注块的各个像素的各个颜色分量的预测抽头提供给预测抽头获取单元105，并把类别抽头提供给类别抽头获取单元106。
预测抽头获取单元105获得从插值单元104供给的关注块的各个像素的各个颜色分量的预测抽头，然后把获得的预测抽头提供给加法单元108。
类别抽头获取单元106获得从插值单元104供给的关注块的各个像素的各个颜色分量的类别抽头，然后把获得的类别抽头提供给类别号生成单元107。
类似于图5的类别号生成单元74，类别号生成单元107根据从类别抽头获取单元106供给的关注块的各个像素的各个颜色分量的类别抽头，为每种颜色分量，对关注块的各个像素进行类别分类。类别号生成单元107生成与作为结果获得的关注块的各个像素的类别对应的类别号，然后把类别号提供给加法单元108。
加法单元108为来自类别号生成单元107的关注块的类别号的每 个类别和颜色分量，相加来自教师图像存储单元101的关注块的各个颜色分量的像素值和来自预测抽头获取单元105的关注块的各个颜色分量的预测抽头。
具体地说，通过利用xki和xkj(i,j=1,2,……,n)作为关注块的各个像素的预测抽头的各个像素的像素值，加法单元108为每个类别和颜色分量计算在公式(10)的左侧的矩阵中的Xij。
加法单元108把关注块的各个像素的各个颜色分量的像素值设定为yk，然后利用像素值xki，为每个类别和颜色分量计算在公式(10)的右侧的矩阵中的Yi。
随后，加法单元108把通过利用所有教师图像的所有各个块作为关注块，进行加法处理而生成的每个类别和颜色分量的公式(10)的正规方程提供给预测系数计算单元109。
预测系数计算单元109起学习单元的作用，通过求解从加法单元108供给的每个类别和颜色分量的正规方程，为每个类别和颜色分量计算最佳预测系数Wi，然后输出计算的最佳预测系数Wi。每个类别和颜色分量的最佳预测系数Wi被保存在图5的系数生成单元75中。
[学习设备的处理的说明]
图12是说明图11的学习设备100的学习处理的流程图。例如，当开始教师图像的输入时，开始学习处理。
参见图12，在步骤S41，学习设备100的缩小处理单元102按水平方向和垂直方向的预定缩小率，在水平方向和垂直方向缩小教师图像，然后把缩小的教师图像提供给间除处理单元103。
在步骤S42，间除处理单元103按照Bayer阵列，间除从缩小处理单元102供给的缩小的教师图像的颜色分量的像素值之中的预定颜色分量的像素值，从而生成Bayer阵列的图像。此外，间除处理单元103对生成的Bayer阵列的图像，进行与包含在成像元件11中的光学低通滤波器(未示出)的处理对应的滤波器处理。间除处理单元103把经过滤波器处理的Bayer阵列的图像作为对应于教师图像的学生图像，提供给插值单元104。
在步骤S43，教师图像存储单元101保存输入的教师图像，把保存的教师图像分割成均包括多个像素的多个块，然后把各个块之中的还未被设定为关注块的块确定为关注块。
在步骤S44，教师图像存储单元101读取保存的关注块的各个颜色分量的像素值，然后把读取的像素值提供给加法单元108。
在步骤S45，插值单元104确定从间除处理单元103供给的学生图像中，与关注块的各个像素的预测抽头对应的位置。
在步骤S46，插值单元104对学生图像进行与插值单元71中的插值处理相同的插值处理，从而插入关注块的各个颜色分量的预测抽头和类别抽头。随后，通过预测抽头获取单元105，插值单元104把关注块的各个像素的各个颜色分量的预测抽头提供给加法单元108。
在步骤S47，插值单元104确定学生图像中，与关注块的各个像素的类别抽头对应的位置。
在步骤S48，插值单元104对学生图像进行与插值单元71中的插值处理相同的插值处理，从而插入关注块的各个颜色分量的类别抽头。随后，通过类别抽头获取单元106，插值单元104把关注块的各个像素的各个颜色分量的类别抽头提供给类别号生成单元107。
在步骤S49，类似于图5的类别号生成单元74，类别号生成单元107根据从类别抽头获取单元106供给的关注块的各个像素的各个颜色分量的类别抽头，为每种颜色分量，对关注块的各个像素进行类别分类。类别号生成单元107生成与作为结果获得的关注块的各个像素的类别对应的类别号，然后把类别号提供给加法单元108。
在步骤S50，加法单元108为来自类别号生成单元107的关注块的类别号的每个类别和颜色分量，相加来自教师图像存储单元101的关注块的各个颜色分量的像素值和来自预测抽头获取单元105的关注块的各个颜色分量的预测抽头。
在步骤S51，加法单元108判定教师图像的所有块是否都已被设定为关注块。当在步骤S51中，判定教师图像的所有块并未都已被设定为关注块时，处理返回步骤S43，重复步骤S43-S51的处理，直到 所有块都被设定为关注块为止。
不过，当在步骤S51中判定教师图像的所有块都已被设定为关注块时，处理进入步骤S52。在步骤S52，加法单元108判定教师图像的输入是否已结束，即，判定是否不再有任何新的教师图像被输入学习设备100中。
当在步骤S52中判定教师图像的输入还未结束时，即，当判定新的教师图像被输入学习设备100中时，处理返回步骤S41，然后重复步骤S41-S52的处理，直到不再输入新的教师图像为止。
不过，当在步骤S52中判定教师图像的输入已结束时，即，当判定不再向学习设备100输入新的教师图像时，加法单元108把通过在步骤S50中进行加法处理而生成的每个类别和颜色分量的公式(10)的正规方程，提供给预测系数计算单元109。
随后，在步骤S53，预测系数计算单元109求解从加法单元108供给的每个类别和颜色分量的公式(10)的正规方程之中，预定类别的各个颜色分量的公式(10)的正规方程。结果，预测系数计算单元109计算预定类别的各个颜色分量的最佳预测系数Wi，然后输出计算的最佳预测系数Wi。
在步骤S54，预测系数计算单元109判定是否求解了所有类别的各个颜色分量的公式(10)的正规方程。当在步骤S54中判定还未为所有类别，求解各个颜色分量的公式(10)的正规方程时，处理返回步骤S53，预测系数计算单元109求解还未被求解的类别的各个颜色分量的公式(10)的正规方程，随后进行步骤S54的处理。
不过，当在步骤S54中判定求解了所有类别的各个颜色分量的公式(10)的正规方程时，结束处理。
如上所述，学习设备100通过根据水平方向和垂直方向的预定放大率，放大与输入图5的放大预测处理单元54的Bayer阵列的图像对应的学生图像，生成与输出图像对应的教师图像的关注块的各个像素的各个颜色分量的预测抽头。随后，学习设备100通过利用关注块的各个像素的像素值和预测抽头，求解每个颜色分量的正规方程，获得 预测系数。结果，学习设备100能够学习用于高精度地生成图5的放大预测处理单元54中的输出图像的预测系数。
此外，任意值可被用作缩小处理单元102中的水平方向和垂直方向的缩小率。
此外，在上面的说明中，放大处理单元31从Bayer阵列的整个图像生成输出图像，如图13A中图解所示。不过，放大处理单元31可从Bayer阵列的图像的预定范围(图13B中用虚线环绕的范围)，生成输出图像，如图13B中图解所示。即，放大处理单元31可拉近Bayer阵列的图像，而不放大Bayer阵列的图像。这种情况下，输出图像变成与其中用成像元件11生成的Bayer阵列的图像的预定范围被放大到输出图像的整个尺寸的Bayer阵列的图像对应的RGB图像。例如，预定范围可由用户等从外部输入。
此外，在上面的说明中，为每个颜色分量插入类别抽头和预测抽头。不过，可以插入为所有颜色分量所共有的类别抽头和预测抽头。不过，为每个颜色分量，获得预测系数。
在第一实施例中，类别抽头由用插值单元71插入的Bayer阵列的图像的像素值，或者用插入单元104插入的学生图像的像素值构成。不过，类别抽头可由Bayer阵列的未插值图像的像素值，或者未插值学生图像的像素值构成。
此外，在第一实施例中，图5的插值单元71为每个关注像素，进行预定插值处理，从而生成各个颜色分量的预测抽头和类别抽头。不过，插值单元71可被配置成通过为每个颜色分量进行插值处理，放大Bayer阵列的整个图像，随后从各个颜色分量的Bayer阵列的放大图像中，提取各个颜色分量的预测抽头和类别抽头。此外，插值单元71可被配置成利用插值处理，放大Bayer阵列的整个图像，随后从Bayer阵列的放大图像中，提取为所有颜色分量所共有的预测抽头和类别抽头。在这些情况下，图11的插值单元104进行和图5的插值单元71相同的处理。
<第二实施例>
[图像处理设备的例证结构]
除了放大预测处理单元54的结构之外，按照本技术的第二实施例的图像处理设备的结构与图3的图像处理设备30相同，从而将关于放大预测处理单元54的结构进行说明。
图14是图解说明按照本技术的第二实施例的图像处理设备的放大预测处理单元54的例证结构的方框图。
在图14中图示的各个组件之中，和图5中图示的组件相同的组件用相同的附图标记表示，其冗余说明将被酌情省略。
图14的放大预测处理单元54的结构和图5中的结构的主要不同之处在于新设置了关注像素位置确定单元131，并且分别代替预测抽头获取单元72、类别抽头获取单元73和系数生成单元75，设置了预测抽头获取单元132、类别抽头获取单元133和系数生成单元134。图14的放大预测处理单元54在不对Bayer阵列的图像进行预定插值处理的情况下，生成输出图像。
具体地说，放大预测处理单元54的关注像素位置确定单元131根据从外部输入的水平方向和垂直方向的放大率，确定待预测的输出图像的各个像素在从图4的白平衡单元53供给的Bayer阵列的图像中的位置。关注像素位置确定单元131顺序把输出图像的各个像素设定为关注像素。关注像素位置确定单元131把关注像素在Bayer阵列的图像中的位置设定为关注像素位置，然后把该关注像素位置提供给预测抽头获取单元132和类别抽头获取单元133。
预测抽头获取单元132根据从关注像素位置确定单元131供给的关注像素位置，从供给自白平衡单元53的Bayer阵列的图像中获得预测抽头。具体地说，预测抽头获取单元132把Bayer阵列的图像的最接近关注像素位置的像素设定为中心像素，然后获得关于所述中心像素，在空间上具有预定位置关系的Bayer阵列的图像的像素的像素值，作为预测抽头。预测抽头获取单元132把预测抽头提供给预测计算单元76。
类别抽头获取单元133根据从关注像素位置确定单元131供给的 关注像素位置，从供给自白平衡单元53的Bayer阵列的图像中获得类别抽头。具体地说，类别抽头获取单元133把Bayer阵列的图像的最接近关注像素位置的像素设定为中心像素(最接近关注像素的像素)，然后获得关于所述中心像素，在空间上具有预定位置关系的Bayer阵列的图像的像素的像素值，作为类别抽头。类别抽头获取单元133把类别抽头提供给类别号生成单元74。
系数生成单元134保存与利用后面参考图20和21说明的学习获得的关注像素的颜色分量、类别、中心像素的颜色分量、和关注像素与中心像素之间的距离相应的预测系数。此时，系数生成单元134不原样保存预测系数。即，系数生成单元134通过在保存预测系数之前，应用诸如DCT、VQ或DPCM之类的数据压缩技术，或者利用多项式近似，减少信息的数量。从而，当读取预测系数时，系数生成单元134恢复原始的预测系数。
系数生成单元134读取保存的预测系数之中，与从类别号生成单元74供给的类别号的类别、中心像素的颜色分量、和关注像素与中心像素之间的距离对应的关注像素的每个颜色分量的预测系数。随后，系数生成单元134把读取的关注像素的每个颜色分量的预测系数提供给预测计算单元76。
[输出图像的每个像素的位置的例子]
图15是图解说明当水平方向和垂直方向的放大率为3倍时，输出图像的每个像素的位置的示图。
在图15中，白色圆点代表Bayer阵列的图像的像素的位置，黑色圆点代表输出图像的像素的位置。
如图15中图解所示，当水平方向和垂直方向的放大率为3倍时，输出图像的各个像素的位置之间的水平方向间隔为输入图14的放大预测处理单元54的Bayer阵列的图像的各个像素的位置之间的水平方向间隔的1/3。此外，输出图像的各个像素的位置之间的垂直方向间隔为输入放大预测处理单元54的Bayer阵列的图像的各个像素的位置之间的垂直方向间隔的1/3。
[类别抽头的抽头结构的例子]
图16是图解说明图14的类别抽头获取单元133获得的类别抽头的抽头结构的例子的示图。类别抽头可具有和图16中图解说明的结构不同的抽头结构。
在图16中，虚线圆代表中心像素。在图16中，实线圆代表与关注像素的类别抽头对应的Bayer阵列的图像的像素。
在图16的例子中，以中心像素为中心，分别沿着水平方向和垂直方向排列5个像素的Bayer阵列的图像的像素的总共9个像素值被视为类别抽头。
[预测抽头的抽头结构的例子]
图17是图解说明由图14的预测抽头获取单元132获得的预测抽头的抽头结构的例子的示图。预测抽头可具有和图17中图解说明的结构不同的抽头结构。
在图17中，虚线圆代表中心像素。此外，在图17中，实线圆代表与关注像素的预测抽头对应的Bayer阵列的图像的像素。
在图17的例子中，总共13个像素的像素值被视为预测抽头，所述13个像素包括以中心像素为中心，分别沿着水平方向和垂直方向排列5个像素的Bayer阵列的图像的总共9个像素，和分别在所述9个像素之中，位于中心像素的左右两侧的两个相邻像素的上下方，排列1个像素的Bayer阵列的图像的总共4个像素。即，与构成预测抽头的像素值对应的像素被排列成菱形。
[中心像素的位置的说明]
图18是说明中心像素的位置的示图。
在图18中，虚线圆标记代表中心像素的位置，x标记代表Bayer阵列图像中的关注像素的位置。此外，在图18中，白色圆点代表Bayer阵列的图像的像素的位置，黑色圆点代表输出图像的像素的位置。此外，在图18的例子中，水平方向和垂直方向的放大率为3倍。
如图18中图解所示，中心像素的位置是与关注像素在Bayer阵列的图像上的位置最接近的Bayer阵列的图像的像素的位置。从而， 中心像素和关注像素之间的水平方向距离的绝对值的最大值为Bayer阵列的图像的像素之间的水平方向间隔的一半(1/2)。类似地，中心像素和关注像素之间的垂直方向距离的绝对值的最大值为Bayer阵列的图像的像素之间的垂直方向间隔的一半(1/2)。
[图像处理设备的处理的说明]
图19是说明按照第二实施例的图像处理设备3的放大处理单元31的图像处理的流程图。例如，当从成像元件11供给Bayer阵列的图像时，开始该图像处理。
参见图19，步骤S71-S74的处理与图10的步骤S11-S14的处理相同，从而其说明将被省略。
在步骤S75，放大预测处理单元54的关注像素位置确定单元131(图14)根据从外部输入的水平方向和垂直方向的放大率，确定待预测的输出图像的像素的数目，然后把输出图像的各个像素之中，还未被设定为关注像素的像素设定为关注像素。
在步骤S76，关注像素位置确定单元131根据从外部输入的水平方向和垂直方向的放大率，确定关注像素位置，然后把确定的关注像素位置提供给预测抽头获取单元132和类别抽头获取单元133。
在步骤S77，预测抽头获取单元132根据从关注像素位置确定单元131供给的关注像素位置，从供给自白平衡单元53的Bayer阵列的图像中，获得预测抽头。随后，预测抽头获取单元132把预测抽头提供给预测计算单元76。
在步骤S78，类别抽头获取单元133根据从关注像素位置确定单元131供给的关注像素位置，从供给自白平衡单元53的Bayer阵列的图像中，获得类别抽头。随后，类别抽头获取单元133把类别抽头提供给类别号生成单元74。
在步骤S79，类别号生成单元74根据从类别抽头获取单元133供给的类别抽头，对关注像素进行类别分类，生成与作为结果获得的类别对应的类别号，然后把类别号提供给系数生成单元134。
在步骤S80，系数生成单元134读取保存的预测系数之中，与从 类别号生成单元74供给的类别号的类别、中心像素的颜色分量、和关注像素与中心像素之间的距离对应的关注像素的每个颜色分量的预测系数。随后，系数生成单元134把读取的关注像素的各个颜色分量的预测系数提供给预测计算单元76。
在步骤S81，预测计算单元76利用从预测抽头获取单元132供给的预测抽头，和从系数生成单元134供给的关注像素的每个颜色分量的预测系数，为关注像素的每个颜色分量，进行公式(3)的计算，作为预定的预测计算。从而，预测计算单元76生成关注像素的各个颜色分量的像素值的预测值，作为输出图像的关注像素的各个颜色分量的像素值，然后输出生成的像素值。
在步骤S82，关注像素位置确定单元131判定输出图像的所有像素是否都已被设定为关注像素。当在步骤S82中判定输出图像的所有像素尚未都被设定为关注像素时，处理返回步骤S75，然后重复步骤S75-S82的处理，直到输出图像的所有像素都被设定为关注像素为止。
不过，当在步骤S82中判定输出图像的所有像素都已被设定为关注像素时，结束处理。
如上所述，包括在图14的放大预测处理单元54中的图像处理设备30利用包括与Bayer阵列的中心像素对应的像素的像素值的预测抽头，和对应于关注像素与中心像素之间的距离的关注像素的每个颜色分量的预测系数，进行预定的预测计算，从而获得关注像素的各个颜色分量的像素值。即，包括在图14的放大预测处理单元54中的图像处理设备30直接从Bayer阵列的图像生成输出图像。从而，与现有技术的通过两次处理，生成输出图像的图像处理设备10相比，能够高精度地生成输出图像，因为没有利用其中细线部分、颜色的边缘等可能改变的第一处理结果，生成输出图像。
此外，与现有技术的图像处理设备10相比，能够防止输出图像的精度降低，因为不必临时保存第一次的处理结果。另外，由于用于进行类别分类自适应处理的部件的数目为1，因此与现有技术的包括进行用于去马赛克处理的类别分类自适应处理的部件，和进行用于放 大处理的类别分类自适应处理的部件的图像处理设备10相比，包括在图14的放大预测处理单元54中的图像处理设备30能够减小电路尺寸。
此外，图14的放大预测处理单元54保存关注像素和中心像素之间的每个距离的预测系数，而不是每个放大率的预测系数。从而，与当保存每个放大率的预测系数时相比，保存预测系数所必需的存储容量较小。例如，当放大率为2倍或4倍时的关注像素和中心像素之间的距离的种类包含在当放大率为8倍时的关注像素和中心像素之间的距离的种类中。从而，在保存当放大率为8倍时的预测系数的时候，图14的放大预测处理单元54不必保存当放大率为2倍或4倍时的预测系数。
此外，图14的放大预测处理单元54不需要进行插值处理，从而与图5的放大预测处理单元54相比，能够降低吞吐量。
[学习设备的例证结构]
图20是图解说明学习保存在图14的系数生成单元134中的预测系数Wi的学习设备150的例证结构的方框图。
在图20中图解说明的各个组件中，和图11中图示的组件相同的组件用相同的附图标记表示，其冗余说明将被酌情省略。
图20的学习设备150的结构和图11的结构的主要不同之处在于新设置了关注像素位置确定单元151，并且分别代替预测抽头获取单元105、类别抽头获取单元106和加法单元108，设置了预测抽头获取单元152、类别抽头获取单元153和加法单元154。学习设备150学习关注像素的颜色分量，中心像素的颜色分量，中心像素与关注像素之间的距离，和关注像素的每个类别的预测系数。
具体地说，关注像素位置确定单元151把关注块的每个像素设定为关注像素，把关注像素在学生图像上的位置确定为关注像素位置，然后把关注像素位置提供给预测抽头获取单元152和类别抽头获取单元153。
预测抽头获取单元152根据从关注像素位置确定单元151供给的 关注块的各个关注像素位置，从利用间除处理单元103生成的学生图像获得关注块的预测抽头。具体地说，预测抽头获取单元152把学生图像的最接近关注像素位置的像素设定为在每个关注像素位置的中心像素，然后获得关于该中心像素，在空间上具有预定位置关系的学生图像的像素的像素值，作为预测抽头。预测抽头获取单元152把关注块的预测抽头提供给加法单元154。
类别抽头获取单元153根据从关注像素位置确定单元151供给的关注块的各个关注像素位置，从间除处理单元103生成的学生图像中，获得关注块的类别抽头。具体地说，类别抽头获取单元153把学生图像的最接近关注像素位置的像素设定为在每个关注像素位置的中心像素，然后获得关于该中心像素，在空间上具有预定位置关系的学生图像的像素的像素值，作为类别抽头。类别抽头获取单元153把关注块的类别抽头提供给类别号生成单元107。
加法单元154为来自类别号生成单元107的关注块的每个像素的类别号的每个类别、该像素的每个颜色分量、对应于该像素的中心像素的每个颜色分量、和该像素与中心像素之间的每个距离，相加来自教师图像存储单元101的关注块的各个颜色分量的像素值和来自预测抽头获取单元152的关注块的预测抽头。
随后，加法单元154把通过利用所有教师图像的所有各个块作为关注块，进行加法处理而生成的教师图像的像素的每个类别、对应于该像素的中心像素的每个颜色分量、和该像素与中心像素之间的每个距离的公式(10)的正规方程提供给预测系数计算单元109。
[学习设备的处理的说明]
图21是说明图20的学习设备150的学习处理的流程图。例如，当开始教师图像的输入时，开始该学习处理。
图21的步骤S101-S104的处理和图12的步骤S41-S44的处理相同，于是其说明被省略。
在步骤S105，关注像素位置确定单元151把关注块的每个像素设定为关注像素，把关注像素在学生图像上的位置确定为关注像素位 置，然后把关注像素位置提供给预测抽头获取单元152和类别抽头获取单元153。
在步骤S106，预测抽头获取单元152根据从关注像素位置确定单元151供给的关注块的各个关注像素位置，从利用间除处理单元103生成的学生图像获得关注块的预测抽头。随后，预测抽头获取单元152把关注块的预测抽头提供给加法单元154。
在步骤S107，类别抽头获取单元153根据从关注像素位置确定单元151供给的关注块的各个关注像素位置，从间除处理单元103生成的学生图像中，获得关注块的类别抽头。随后，类别抽头获取单元153把关注块的类别抽头提供给类别号生成单元107。
在步骤S108，类似于图14的类别号生成单元74，类别号生成单元107根据从类别抽头获取单元153供给的关注块的类别抽头，对关注块的各个像素进行类别分类。类别号生成单元107生成与作为结果获得的关注块的各个像素的类别对应的类别号，然后把类别号提供给加法单元154。
在步骤S109，加法单元154为来自类别号生成单元107的关注块的每个像素的类别号的每个类别、该像素的每个颜色分量、对应于该像素的中心像素的每个颜色分量、和该像素与中心像素之间的每个距离，相加来自教师图像存储单元101的关注块的各个颜色分量的像素值和来自预测抽头获取单元152的关注块的预测抽头。
步骤S110和S111的处理与步骤S51和S52的处理相同。当在步骤S111中判定教师图像的输入已结束时，加法单元154把通过在步骤S109中进行加法处理而生成的教师图像的像素的每个类别、该像素的每个颜色分量、对应于该像素的中心像素的每个颜色分量、和该像素与中心像素之间的每个距离的公式(10)的正规方程提供给预测系数计算单元109。
随后，在步骤S112，预测系数计算单元109求解从加法单元154供给的公式(10)的正规方程之中，预定类别的教师图像的像素的每个颜色分量，对应于该像素的中心像素的每个颜色分量，和该像素与中 心像素之间的每个距离的公式(10)的正规方程。结果，预测系数计算单元109获得预定类别的教师图像的像素的每个颜色分量，对应于该像素的中心像素的每个颜色分量，和该像素与中心像素之间的每个距离的最佳预测系数Wi，然后输出最佳预测系数Wi。
在步骤S113，预测系数计算单元109判定是否求解了所有类别的教师图像的像素的每个颜色分量，对应于该像素的中心像素的每个颜色分量，和该像素与中心像素之间的每个距离的公式(10)的正规方程。
当在步骤S113中判定尚未求解所有类别的教师图像的像素的每个颜色分量，对应于该像素的中心像素的每个颜色分量，和该像素与中心像素之间的每个距离的公式(10)的正规方程时，处理返回步骤S112。随后，预测系数计算单元109求解尚未被求解类别的教师图像的像素的每个颜色分量，对应于该像素的中心像素的每个颜色分量，和该像素与中心像素之间的每个距离的公式(10)的正规方程，然后处理进入步骤S113。
不过，当在步骤S113中判定已求解所有类别的教师图像的像素的每个颜色分量，对应于该像素的中心像素的每个颜色分量，和该像素与中心像素之间的每个距离的公式(10)的正规方程时，结束处理。
如上所述，通过利用对应于输出图像的教师图像的每个像素的像素值，和包括与输入图14的放大预测处理单元54的Bayer阵列的图像对应的学生图像的像素值的预测抽头，解正规方程，求出教师图像的像素的每个颜色分量和该像素与中心像素之间的每个距离，学习设备150获得预测系数。结果，学习设备150能够学习用于高精度地生成图14的放大预测处理单元54中的输出图像的预测系数。
此外，在学习设备100(150)中，对每个关注块进行加法处理，不过，可利用教师图像的每个像素作为关注像素，对每个关注像素进行加法处理。
图5或14的放大预测处理单元54可以生成Bayer阵列的放大图像，而不是放大的RGB图像，作为输出图像。在这种情况下，按照 Bayer阵列，确定关注像素的颜色分量，只预测颜色分量的像素值。此外，输出图像的各个颜色分量的阵列可以是与从成像元件11输入的Bayer阵列的图像相同或不同的Bayer阵列。此外，输出图像的各个颜色分量的阵列可由用户从外部指定。
此外，在上面的说明中，成像元件11生成Bayer阵列的图像，不过，成像元件11生成的图像的各个颜色分量的阵列可以不是Bayer阵列。
此外，在上面的说明中，输出图像是RGB图像，不过，输出图像可以是除RGB图像外的彩色图像。换句话说，输出图像的颜色分量并不局限于R分量、G分量和B分量。
[按照本技术的计算机的说明]
上面说明的一系列处理可用硬件或软件执行。当用软件执行所述一系列处理时，构成所述软件的程序被安装在通用计算机等中。
图22图解说明其中安装执行上述一系列处理的程序的计算机的例证结构。
所述程序可预先记录在起内置于计算机中的存储介质作用的存储单元208或只读存储器(ROM)202中。
另一方面，程序可被保存(记录)在可拆卸介质211中。可以所谓的套装软件的形式，提供可拆卸介质211。可拆卸介质211的例子包括软盘、光盘只读存储器(CD-ROM)、磁光(MO)盘、数字通用光盘(DVD)、磁盘和半导体存储器。
此外，可通过驱动器210，从可拆卸介质211把程序安装在计算机中。此外，可通过通信网络或广播网络，把程序下载到计算机，随后安装在内置存储单元208中。换句话说，例如，可通过用于数字卫星广播的卫星，无线地把程序从下载站点传送给计算机，或者可通过诸如局域网(LAN)或因特网之类的网络，有线地把程序传送给计算机。
计算机中包括中央处理器(CPU)201，I/O接口205通过总线204连接到CPU 201。
当用户操作输入单元206，从而通过I/O接口205输入指令时， CPU 201响应所述指令，执行保存在ROM 202中的程序。另一方面，CPU 201可把保存在存储单元208中的程序载入随机存取存储器(RAM)203中，随后执行载入的程序。
这样，CPU 201执行与上述流程图相应的处理，或者由上述方框图的结构执行的处理。随后，CPU 201根据需要，通过I/O接口205，从输出单元207输出处理结果，或者从通信单元209传送处理结果。
输入单元206由键盘、鼠标、麦克风等构成。输出单元207由液晶显示器(LCD)、扬声器等构成。
在本公开中，计算机按照程序执行的处理不一定必须按照在流程图中所述顺序，时序地进行。换句话说，计算机按照程序执行的处理还包括并行地或者单独执行的处理(例如，并行处理或者利用对象的处理)。
此外，程序可由单一计算机(处理器)处理，或者可由多个计算机分布式处理。此外，程序可被传送给远程计算机，随后被执行。
本领域的技术人员应明白，根据设计要求和其它因素，可以产生各种修改、组合、子组合和变更，只要它们在所附的权利要求或其等同物的范围之内。
另外，还可如下构成本技术。
(1)一种图像处理设备，包括：
预测计算单元，所述预测计算单元借助利用与包括以第一放大率放大的Bayer阵列的图像的像素的多个预定颜色分量的像素值的彩色图像对应的教师图像，和对应于Bayer阵列的图像的学生图像，关于教师图像的各个像素的各个颜色分量的预测系数和预测抽头的计算，为每个颜色分量计算关注像素的像素值，并输出包括每个颜色分量的关注像素的像素值的预定彩色图像，所述关注像素是与以第二放大率放大的Bayer阵列的预定图像对应的预定彩色图像中的所关注的像素，所述预测系数是通过求解代表所述教师图像的各个像素的像素值，对应于该像素，并以第一放大率放大的学生图像的像素的像素值，和预测系数之间的关系的公式学习的，所述预测抽头对应于关注像素， 包括以第二放大率放大的Bayer阵列的预定图像的像素的像素值。
(2)按照(1)所述的图像处理设备，还包括
根据第二放大率，放大Bayer阵列的预定图像的放大处理单元，
其中预测计算单元借助各个颜色分量的预测系数和预测抽头的计算，为各个颜色分量计算关注像素的像素值，所述预测抽头对应于关注像素，包括用放大处理单元以第二放大率放大的Bayer阵列的预定图像的像素。
(3)按照(2)所述的图像处理设备，其中
放大处理单元根据第二放大率，为每个关注像素，放大Bayer阵列的预定图像的一部分，从而生成预测抽头。
(4)按照(2)或(3)所述的图像处理设备，
其中放大处理单元通过根据第二放大率，为每个颜色分量，插入对应颜色分量的Bayer阵列的预定图像的像素值，进行放大，和
预测计算单元借助每个颜色分量的预测系数和预测抽头的每个颜色分量的计算，为每个颜色分量计算关注像素的像素值，所述预测抽头对应于关注像素，包括用放大处理单元为每个颜色分量放大的Bayer阵列的预定图像的像素的像素值。
(5)按照(1)-(4)任意之一所述的图像处理设备，还包括
预测抽头获取单元，所述预测抽头获取单元获得对应于关注像素，以第二放大率放大的Bayer阵列的预定图像的像素的像素值，作为预测抽头，
其中预测计算单元借助每个颜色分量的预测系数，和预测抽头获取单元获得的预测抽头，为每个颜色分量计算关注像素的像素值。
(6)按照(1)所述的图像处理设备，还包括
类别抽头获取单元，所述类别抽头获取单元获得对应于关注像素，以第二放大率放大的Bayer阵列的预定图像的像素的像素值，作为类别抽头，所述类别抽头用于进行把关注像素分类到多个类别任意之一的类别分类；
类别分类单元，所述类别分类单元根据类别抽头获取单元获得的 类别抽头，对关注像素进行类别分类，
其中为每个类别和教师图像的各个像素的颜色分量，学习预测系数，和
预测计算单元借助与通过类别分类单元的类别分类而获得的关注像素的类别对应的每个颜色分量的预测系数和预测抽头的计算，为每个颜色分量计算关注像素的像素值。
(7)按照(6)所述的图像处理设备，还包括
放大处理单元，所述放大处理单元根据第二放大率，为每个关注像素，放大Bayer阵列的预定图像的一部分，从而生成预测抽头和类别抽头；和
预测抽头获取单元，所述预测抽头获取单元获得利用放大处理单元生成的预测抽头，
其中类别抽头获取单元获得利用放大处理单元生成的类别抽头。
(8)按照(6)所述的图像处理设备，还包括：
放大处理单元，所述放大处理单元根据第二放大率，为每个颜色分量，插入对应颜色分量的Bayer阵列的预定图像的像素值，进行放大；和
预测抽头获取单元，所述预测抽头获取单元获得对应于关注像素，由放大处理单元为每个颜色分量放大的Bayer阵列的预定图像的像素的像素值，作为对应颜色分量的预测抽头，
其中类别抽头获取单元获得对应于关注像素，由放大处理单元为每个颜色分量放大的Bayer阵列的预定图像的像素的像素值，作为对应颜色分量的类别抽头，
类别分类单元根据类别抽头获取单元获得的每个颜色分量的类别抽头，为每个颜色分量，对关注像素进行类别分类，和
预测计算单元借助与通过类别分类单元的类别分类而获得的关注像素的每个颜色分量的类别对应的预测系数，和预测抽头获取单元获得的每个颜色分量的预测抽头的计算，为每个颜色分量计算关注像素的像素值。
(9)一种图像处理方法，包括：
在图像处理设备，借助利用与包括以第一放大率放大的Bayer阵列的图像的像素的多个预定颜色分量的像素值的彩色图像对应的教师图像，和对应于Bayer阵列的图像的学生图像，关于教师图像的各个像素的各个颜色分量的预测系数和预测抽头的计算，计算关注像素的像素值，并输出包括每个颜色分量的关注像素的像素值的预定彩色图像，所述关注像素是与以第二放大率放大的Bayer阵列的预定图像对应的预定彩色图像中的所关注的像素，所述预测系数是通过求解表示所述教师图像的各个像素的像素值，对应于该像素，并以第一放大率放大的学生图像的像素的像素值，和预测系数之间的关系的公式学习的，所述预测抽头对应于关注像素，包括以第二放大率放大的Bayer阵列的预定图像的像素的像素值。
(10)一种使计算机执行下述步骤的程序：
借助利用与包括以第一放大率放大的Bayer阵列的图像的像素的多个预定颜色分量的像素值的彩色图像对应的教师图像，和对应于Bayer阵列的图像的学生图像，关于教师图像的各个像素的各个颜色分量的预测系数和预测抽头的计算，计算关注像素的像素值，并输出包括每个颜色分量的关注像素的像素值的预定彩色图像，所述关注像素是与以第二放大率放大的Bayer阵列的预定图像对应的预定彩色图像中的所关注的像素，所述预测系数是通过求解表示所述教师图像的各个像素的像素值，对应于该像素，并以第一放大率放大的学生图像的像素的像素值，和预测系数之间的关系的公式学习的，所述预测抽头对应于关注像素，包括以第二放大率放大的Bayer阵列的预定图像的像素的像素值。
(11)一种记录如在(10)中所述的程序的存储介质。
(12)一种学习设备，包括：
学习单元，所述学习单元通过利用预测抽头和关注像素的像素值，关于教师图像的各个像素的各个颜色分量，求解表示教师图像的各个像素的像素值，该像素的预测抽头和预测系数之间的关系的公式， 计算每个颜色分量的预测系数，所述预测抽头包括与关注像素对应的像素的像素值，所述关注像素是教师图像中的所关注的像素，所述教师图像是与通过在对应图像中，根据第二放大率，放大学生图像而获得的图像对应的彩色图像，所述学生图像用于预测系数的学习，并且对应于Bayer阵列的预定图像，所述预测系数用于把Bayer阵列的预定图像，转换成包括以第一放大率放大的Bayer阵列的预定图像的各个像素的多个颜色分量的像素值的预定彩色图像。
(13)一种图像处理设备，包括：
预测计算单元，所述预测计算单元借助利用与包括以第一放大率放大的Bayer阵列的图像的像素的多个预定颜色分量的像素值的彩色图像对应的教师图像，和对应于Bayer阵列的图像的学生图像，关于教师图像的各个像素的各个颜色分量和各个像素间距离的预测系数和预测抽头的计算，为每个颜色分量计算关注像素的像素值，并输出包括每个颜色分量的关注像素的像素值的预定彩色图像，所述像素间距离是教师图像的各个像素在学生图像中的位置与最接近该位置的学生图像的像素的位置之间的距离，所述关注像素是与以第二放大率放大的Bayer阵列的预定图像对应的预定彩色图像中的所关注的像素，所述预测系数是通过求解表示所述教师图像的各个像素的像素值，对应于该像素的学生图像的像素的像素值，和预测系数之间的关系的公式学习的预测系数之中的，对应于关注像素间距离的预测系数，所述关注像素间距离是Bayer阵列的预定图像中的关注像素的位置和最接近关注像素的像素，即，Bayer阵列的预定图像的最接近该位置的像素的位置之间的距离，所述预测抽头包括Bayer阵列的预定图像的像素的像素值，并且对应于关注像素。
(14)按照(13)所述的图像处理设备，
其中为教师图像的每个像素的每个颜色分量，每个像素间距离，和与教师图像的每个像素在学生图像中的位置最接近的学生图像的像素的每个颜色分量，学习预测系数，和
预测计算单元借助预测系数中，与关注像素间距离和最接近关注 像素的像素的颜色分量对应的预测系数和预测抽头的计算，为每个颜色分量计算关注像素的像素值。
(15)按照(13)或(14)所述的图像处理设备，还包括：
类别抽头获取单元，所述类别抽头获取单元获得与最接近关注像素的像素对应的Bayer阵列的预定图像的像素的像素值，作为用于进行把关注像素分类到多个类别任意之一的类别分别的预测抽头；和
根据类别抽头获取单元获得的类别抽头，对关注像素进行类别分类的类别分类单元，
其中为每个类别，教师图像的每个像素的每个颜色分量，和每个像素间距离，学习预测系数，和
预测计算单元借助预测系数之中，与通过类别分类单元的类别分类而获得的关注像素的类别和关注像素间距离对应的预测系数，和预测抽头的计算，为每个颜色分量计算关注像素的像素值。
(16)一种图像处理方法，包括：
在图像处理设备，借助利用与包括以第一放大率放大的Bayer阵列的图像的像素的多个预定颜色分量的像素值的彩色图像对应的教师图像，和对应于Bayer阵列的图像的学生图像，关于教师图像的各个像素的各个颜色分量和各个像素间距离的预测系数和预测抽头的计算，为每个颜色分量计算关注像素的像素值，并输出包括每个颜色分量的关注像素的像素值的预定彩色图像，所述像素间距离是教师图像的各个像素在学生图像中的位置与最接近该位置的学生图像的像素的位置之间的距离，所述关注像素是与以第二放大率放大的Bayer阵列的预定图像对应的预定彩色图像中的所关注的像素，所述预测系数是通过求解表示所述教师图像的各个像素的像素值，对应于该像素的学生图像的像素的像素值，和预测系数之间的关系的公式学习的预测系数之中的，对应于关注像素间距离的预测系数，所述关注像素间距离是Bayer阵列的预定图像中的关注像素的位置和最接近关注像素的像素，即，Bayer阵列的预定图像的最接近该位置的像素的位置之间的距离，所述预测抽头包括Bayer阵列的预定图像的像素的像素值，并 且对应于关注像素。
(17)一种使计算机执行下述步骤的程序：
借助利用与包括以第一放大率放大的Bayer阵列的图像的像素的多个预定颜色分量的像素值的彩色图像对应的教师图像，和对应于Bayer阵列的图像的学生图像，关于教师图像的各个像素的各个颜色分量和各个像素间距离的预测系数和预测抽头的计算，为每个颜色分量计算关注像素的像素值，并输出包括每个颜色分量的关注像素的像素值的预定彩色图像，所述像素间距离是教师图像的各个像素在学生图像中的位置与最接近该位置的学生图像的像素的位置之间的距离，所述关注像素是与以第二放大率放大的Bayer阵列的预定图像对应的预定彩色图像中的所关注的像素，所述预测系数是通过求解表示所述教师图像的各个像素的像素值，对应于该像素的学生图像的像素的像素值，和预测系数之间的关系的公式学习的预测系数之中的，对应于关注像素间距离的预测系数，所述关注像素间距离是Bayer阵列的预定图像中的关注像素的位置和最接近关注像素的像素，即，Bayer阵列的预定图像的最接近该位置的像素的位置之间的距离，所述预测抽头包括Bayer阵列的预定图像的像素的像素值，并且对应于关注像素。
(18)一种记录在(17)中所述的程序的存储介质。
(19)一种学习设备，包括：
学习单元，所述学习单元所述学习单元利用预测抽头和关注像素的像素值，关于教师图像的各个像素的各个颜色分量和各个像素间距离，求解表示教师图像的各个像素的像素值，对应像素的预测抽头和预测系数之间的关系的公式，计算每个颜色分量和每个像素间距离的预测系数，所述像素间距离是教师图像的各个像素在学生图像中的位置和最接近该位置的学生图像的各个像素的位置之间的距离，所述预测抽头包括与关注像素对应的像素的像素值，所述关注像素是教师图像中的所关注的像素，所述教师图像是包括用于预测系数的学习，并且对应于Bayer阵列的预定图像的学生图像之中，以第二放大率放大的学生图像的各个像素的多个颜色分量的像素值的彩色图像，所述预 测系数用于把Bayer阵列的预定图像，转换成包括以第一放大率放大的Bayer阵列的预定图像的各个像素的多个颜色分量的像素值的预定彩色图像。
本领域的技术人员应明白，根据设计要求和其它因素，可以产生各种修改、组合、子组合和变更，只要它们在所附的权利要求或其等同物的范围之内。
本公开包含与在2011年5月20日向日本专利局提交的日本优先权专利申请JP2011-113058中公开的主题相关的主题，该专利申请的整个内容在此引为参考。

Claims (17)

1.一种图像处理设备，包括：
预测计算单元，所述预测计算单元通过利用与包括以第一放大率放大的Bayer阵列的图像的像素的多个预定颜色分量的像素值的彩色图像对应的教师图像、和对应于Bayer阵列的图像的学生图像，计算教师图像的各个像素的各个颜色分量的预测系数和预测抽头，为每个颜色分量计算关注像素的像素值，并输出包括每个颜色分量的关注像素的像素值的预定彩色图像，所述关注像素是与以第二放大率放大的Bayer阵列的预定图像对应的预定彩色图像中的所关注的像素，所述预测系数是通过求解表示所述教师图像的各个像素的像素值、对应于该像素并以第一放大率放大的学生图像的像素的像素值、和预测系数之间的关系的公式而学习的，所述预测抽头由对应于关注像素的、以第二放大率放大的Bayer阵列的预定图像的像素的像素值构成。
2.按照权利要求1所述的图像处理设备，还包括
根据第二放大率放大Bayer阵列的预定图像的放大处理单元，
其中预测计算单元通过计算各个颜色分量的预测系数和预测抽头，为各个颜色分量计算关注像素的像素值，所述预测抽头由对应于关注像素的、用放大处理单元以第二放大率放大的Bayer阵列的预定图像的像素的像素值构成。
3.按照权利要求2所述的图像处理设备，其中
放大处理单元根据第二放大率，为每个关注像素，放大Bayer阵列的预定图像的一部分，从而生成预测抽头。
4.按照权利要求2所述的图像处理设备，
其中放大处理单元通过根据第二放大率，为每个颜色分量，对对应颜色分量的Bayer阵列的预定图像的像素值进行插值，来进行放大，和
预测计算单元通过计算每个颜色分量的预测系数和预测抽头的每个颜色分量，为每个颜色分量计算关注像素的像素值，所述预测抽头由对应于关注像素的、用放大处理单元为每个颜色分量放大的Bayer阵列的预定图像的像素的像素值构成。
5.按照权利要求1所述的图像处理设备，还包括
预测抽头获取单元，所述预测抽头获取单元获得对应于关注像素，以第二放大率放大的Bayer阵列的预定图像的像素的像素值，作为预测抽头，
其中预测计算单元通过计算每个颜色分量的预测系数和预测抽头获取单元获得的预测抽头，为每个颜色分量计算关注像素的像素值。
6.按照权利要求1所述的图像处理设备，还包括：
类别抽头获取单元，所述类别抽头获取单元获得对应于关注像素的、以第二放大率放大的Bayer阵列的预定图像的像素的像素值，作为类别抽头，所述类别抽头用于进行把关注像素分类到多个类别任意之一的类别分类；
类别分类单元，所述类别分类单元根据类别抽头获取单元获得的类别抽头，对关注像素进行类别分类，
其中为每个类别和教师图像的各个像素的颜色分量，学习预测系数，和
预测计算单元通过计算与通过类别分类单元的类别分类而获得的关注像素的类别对应的每个颜色分量的预测系数以及预测抽头，为每个颜色分量计算关注像素的像素值。
7.按照权利要求6所述的图像处理设备，还包括：
放大处理单元，所述放大处理单元根据第二放大率，为每个关注像素，放大Bayer阵列的预定图像的一部分，从而生成预测抽头和类别抽头；和
预测抽头获取单元，所述预测抽头获取单元获得利用放大处理单元生成的预测抽头，
其中类别抽头获取单元获得利用放大处理单元生成的类别抽头。
8.按照权利要求6所述的图像处理设备，还包括：
放大处理单元，所述放大处理单元通过根据第二放大率为每个颜色分量对对应颜色分量的Bayer阵列的预定图像的像素值进行插值，来进行放大；和
预测抽头获取单元，所述预测抽头获取单元获得对应于关注像素的、由放大处理单元为每个颜色分量放大的Bayer阵列的预定图像的像素的像素值，作为对应颜色分量的预测抽头，
其中类别抽头获取单元获得对应于关注像素的、由放大处理单元为每个颜色分量放大的Bayer阵列的预定图像的像素的像素值，作为对应颜色分量的类别抽头，
类别分类单元根据类别抽头获取单元获得的每个颜色分量的类别抽头，为每个颜色分量，对关注像素进行类别分类，和
预测计算单元通过计算与通过类别分类单元的类别分类而获得的关注像素的每个颜色分量的类别对应的预测系数以及预测抽头获取单元获得的每个颜色分量的预测抽头，为每个颜色分量计算关注像素的像素值。
9.按照权利要求2所述的图像处理设备，
其中，所述放大处理单元存储关注像素与中心像素之间的每个距离的预测系数，而不是存储每个放大率的预测系数，所述中心像素是Bayer阵列的图像的最接近关注像素的位置的像素。
10.一种图像处理方法，包括：
在图像处理设备处，通过利用与包括以第一放大率放大的Bayer阵列的图像的像素的多个预定颜色分量的像素值的彩色图像对应的教师图像，和对应于Bayer阵列的图像的学生图像，计算关于教师图像的各个像素的各个颜色分量的预测系数和预测抽头，来计算关注像素的像素值，并输出包括每个颜色分量的关注像素的像素值的预定彩色图像，所述关注像素是与以第二放大率放大的Bayer阵列的预定图像对应的预定彩色图像中的所关注的像素，所述预测系数是通过求解表示所述教师图像的各个像素的像素值、对应于该像素并以第一放大率放大的学生图像的像素的像素值、和预测系数之间的关系的公式而学习的，所述预测抽头由对应于关注像素的、包括以第二放大率放大的Bayer阵列的预定图像的像素的像素值构成。
11.一种学习设备，包括：
学习单元，所述学习单元通过利用预测抽头和关注像素的像素值，关于教师图像的各个像素的各个颜色分量，求解表示教师图像的各个像素的像素值、该像素的预测抽头以及预测系数之间的关系的公式，计算每个颜色分量的预测系数，所述关注像素是教师图像中的所关注的像素，所述教师图像是与通过在对应图像中根据第二放大率放大学生图像而获得的图像对应的彩色图像，所述学生图像用于预测系数的学习，并且对应于Bayer阵列的预定图像，所述预测系数用于把Bayer阵列的预定图像转换成包括以第一放大率放大的Bayer阵列的预定图像的各个像素的多个颜色分量的像素值的预定彩色图像，
其中所述预测抽头由对应于关注像素的、以第二放大率放大的Bayer阵列的预定图像的像素的像素值构成。
12.一种图像处理设备，包括：
预测计算单元，所述预测计算单元通过利用与包括以第一放大率放大的Bayer阵列的图像的像素的多个预定颜色分量的像素值的彩色图像对应的教师图像，和对应于Bayer阵列的图像的学生图像，计算关于教师图像的各个像素的各个颜色分量和各个像素间距离的预测系数和预测抽头，来为每个颜色分量计算关注像素的像素值，并输出包括每个颜色分量的关注像素的像素值的预定彩色图像，所述像素间距离是教师图像的各个像素在学生图像中的位置与学生图像的最接近该位置的像素的位置之间的距离，所述关注像素是与以第二放大率放大的Bayer阵列的预定图像对应的预定彩色图像中的所关注的像素，所述预测系数是通过求解表示所述教师图像的各个像素的像素值、对应于该像素的学生图像的像素的像素值、以及预测系数之间的关系的公式而学习的预测系数之中的对应于关注像素间距离的预测系数，所述关注像素间距离是Bayer阵列的预定图像中的关注像素的位置和最接近关注像素的像素的位置之间的距离，所述最接近关注像素的像素是Bayer阵列的预定图像的最接近所述关注像素的位置的像素，所述预测抽头由对应于所述关注像素的、Bayer阵列的预定图像的像素的像素值构成。
13.按照权利要求12所述的图像处理设备，
其中为教师图像的每个像素的每个颜色分量、每个像素间距离、和与教师图像的每个像素在学生图像中的位置最接近的学生图像的像素的每个颜色分量，学习预测系数，和
预测计算单元通过计算预测抽头和预测系数中的、与所述关注像素间距离和最接近所述关注像素的像素的颜色分量对应的预测系数，来为每个颜色分量计算所述关注像素的像素值。
14.按照权利要求12所述的图像处理设备，还包括：
类别抽头获取单元，所述类别抽头获取单元获得与最接近所述关注像素的像素对应的Bayer阵列的预定图像的像素的像素值，作为用于进行把关注像素分类到多个类别任意之一的类别分类的预测抽头；和
类别分类单元，所述类别分类单元根据类别抽头获取单元获得的类别抽头，对关注像素进行类别分类，
其中为每个类别、教师图像的每个像素的每个颜色分量、和每个像素间距离，学习预测系数，以及
预测计算单元通过计算预测抽头和预测系数之中的、与通过类别分类单元的类别分类而获得的关注像素的类别和关注像素间距离对应的预测系数，为每个颜色分量计算关注像素的像素值。
15.按照权利要求12所述的图像处理设备，还包括：
根据第二放大率放大Bayer阵列的预定图像的放大处理单元，
其中，所述放大处理单元存储关注像素与中心像素之间的每个距离的预测系数，而不是存储每个放大率的预测系数，所述中心像素是Bayer阵列的图像的最接近关注像素的位置的像素。
16.一种图像处理方法，包括：
在图像处理设备处，通过利用与包括以第一放大率放大的Bayer阵列的图像的像素的多个预定颜色分量的像素值的彩色图像对应的教师图像、和对应于Bayer阵列的图像的学生图像，计算关于教师图像的各个像素的各个颜色分量和各个像素间距离的预测系数和预测抽头，为每个颜色分量计算关注像素的像素值，并输出包括每个颜色分量的关注像素的像素值的预定彩色图像，所述像素间距离是教师图像的各个像素在学生图像中的位置与学生图像的最接近该位置的像素的位置之间的距离，所述关注像素是与以第二放大率放大的Bayer阵列的预定图像对应的预定彩色图像中的所关注的像素，所述预测系数是通过求解表示所述教师图像的各个像素的像素值、对应于该像素的学生图像的像素的像素值、和预测系数之间的关系的公式而学习的预测系数之中的对应于关注像素间距离的预测系数，所述关注像素间距离是Bayer阵列的预定图像中的关注像素的位置和最接近关注像素的像素的位置之间的距离，所述最接近关注像素的像素是Bayer阵列的预定图像的最接近所述关注像素的位置的像素，所述预测抽头由对应于所述关注像素的、Bayer阵列的预定图像的像素的像素值构成。
17.一种学习设备，包括：
学习单元，所述学习单元通过利用预测抽头和关注像素的像素值，关于教师图像的各个像素的各个颜色分量和各个像素间距离，求解表示教师图像的各个像素的像素值、对应像素的预测抽头以及预测系数之间的关系的公式，来计算每个颜色分量和每个像素间距离的预测系数，所述像素间距离是教师图像的各个像素在学生图像中的位置和学生图像的最接近该位置的各个像素的位置之间的距离，所述预测抽头由与关注像素对应的像素的像素值构成，所述关注像素是教师图像中的所关注的像素，所述教师图像是包括用于预测系数的学习并且对应于Bayer阵列的预定图像的学生图像之中的、以第二放大率放大的学生图像的各个像素的多个颜色分量的像素值的彩色图像，所述预测系数用于把Bayer阵列的预定图像转换成包括以第一放大率放大的Bayer阵列的预定图像的各个像素的多个颜色分量的像素值的预定彩色图像。
CN201210144916.5A 2011-05-20 2012-05-11 图像处理设备、图像处理方法和学习设备 Expired - Fee Related CN102789630B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011-113058 2011-05-20
JP2011113058 2011-05-20
JP2011-253531 2011-11-21
JP2011253531A JP2013009293A (ja) 2011-05-20 2011-11-21 画像処理装置、画像処理方法、プログラム、および記録媒体、並びに学習装置

Publications (2)

Publication Number Publication Date
CN102789630A CN102789630A (zh) 2012-11-21
CN102789630B true CN102789630B (zh) 2017-01-18

Family

ID=46085331

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210144916.5A Expired - Fee Related CN102789630B (zh) 2011-05-20 2012-05-11 图像处理设备、图像处理方法和学习设备

Country Status (4)

Country Link
US (1) US20120294513A1 (zh)
EP (1) EP2525325B1 (zh)
JP (1) JP2013009293A (zh)
CN (1) CN102789630B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014200009A (ja) * 2013-03-29 2014-10-23 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2014200008A (ja) * 2013-03-29 2014-10-23 ソニー株式会社 画像処理装置および方法、並びにプログラム
CN104143176A (zh) * 2013-05-10 2014-11-12 富士通株式会社 图像放大方法和装置
US9716889B2 (en) 2014-12-09 2017-07-25 Sony Corporation Intra and inter-color prediction for Bayer image coding
WO2019082232A1 (ja) 2017-10-23 2019-05-02 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理方法及びプログラム
JP6930418B2 (ja) * 2017-12-26 2021-09-01 株式会社Ｊｖｃケンウッド 画像切り出し装置及び方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005269395A (ja) * 2004-03-19 2005-09-29 Sony Corp 情報信号の処理装置および処理方法、並びにプログラムおよびそれを記録した媒体
CN101690172A (zh) * 2007-07-19 2010-03-31 索尼株式会社 图像处理设备、图像处理方法以及程序

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5946044A (en) * 1995-06-30 1999-08-31 Sony Corporation Image signal converting method and image signal converting apparatus
US5912708A (en) * 1996-12-26 1999-06-15 Sony Corporation Picture signal encoding device, picture signal encoding method, picture signal decoding device, picture signal decoding method, and recording medium
EP1073279A4 (en) * 1999-02-19 2006-04-05 Sony Corp PICTURE SIGNAL PROCESSOR, PICTURE SIGNAL PROCESSING METHOD, LEARNING DEVICE, LERMETHOID AND RECORDING MEDIUM
US6678405B1 (en) * 1999-06-08 2004-01-13 Sony Corporation Data processing apparatus, data processing method, learning apparatus, learning method, and medium
AUPQ289099A0 (en) * 1999-09-16 1999-10-07 Silverbrook Research Pty Ltd Method and apparatus for manipulating a bayer image
JP4362895B2 (ja) * 1999-06-21 2009-11-11 ソニー株式会社 データ処理装置およびデータ処理方法、並びに記録媒体
US6987539B2 (en) * 2000-02-24 2006-01-17 Sony Corporation Image signal conversion apparatus, method and display for image signal conversion based on selected pixel data
CN100477779C (zh) * 2000-02-29 2009-04-08 索尼公司 数据处理设备和方法
JP2001318745A (ja) * 2000-05-11 2001-11-16 Sony Corp データ処理装置およびデータ処理方法、並びに記録媒体
JP4596197B2 (ja) * 2000-08-02 2010-12-08 ソニー株式会社 ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体
JP4691812B2 (ja) * 2001-03-29 2011-06-01 ソニー株式会社 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法
EP1871106A3 (en) * 2002-01-30 2009-12-09 Sony Corporation Coefficient seed data or coefficient data production device used in image display apparatus
CN1152619C (zh) * 2002-04-26 2004-06-09 常德卷烟厂 一种复烤片烟烟包真空降温的方法
JP3922543B2 (ja) * 2002-06-05 2007-05-30 ソニー株式会社 撮像装置、および画像表示装置
EP1439715A1 (en) * 2003-01-16 2004-07-21 Dialog Semiconductor GmbH Weighted gradient based colour interpolation for colour filter array
WO2004068862A1 (ja) * 2003-01-31 2004-08-12 The Circle For The Promotion Of Science And Engineering 高解像度カラー画像生成方法,高解像度カラー画像生成装置及び高解像度カラー画像生成プログラム
US7595819B2 (en) * 2003-07-31 2009-09-29 Sony Corporation Signal processing device and signal processing method, program, and recording medium
JP4238678B2 (ja) * 2003-09-08 2009-03-18 ソニー株式会社 受信装置および受信方法、記録媒体、並びにプログラム
JP2006054576A (ja) 2004-08-10 2006-02-23 Canon Inc 画像処理装置及び方法及びプログラム及び記憶媒体
JP5151075B2 (ja) * 2005-06-21 2013-02-27 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
JP4983093B2 (ja) * 2006-05-15 2012-07-25 ソニー株式会社 撮像装置および方法
JP2009239888A (ja) * 2008-03-05 2009-10-15 Sony Corp データ処理装置、データ処理方法、及び、プログラム
JP2011113058A (ja) 2009-11-30 2011-06-09 Sanyo Electric Co Ltd カメラ
JP5743142B2 (ja) * 2011-03-29 2015-07-01 ソニー株式会社 画像理装置および方法、並びにプログラム
JP2012244449A (ja) * 2011-05-20 2012-12-10 Sony Corp 画像処理装置および画像処理方法、学習装置および学習方法、プログラム、並びに記録媒体
JP2014042176A (ja) * 2012-08-23 2014-03-06 Sony Corp 画像処理装置および方法、プログラム、並びに、固体撮像装置
JP2014200008A (ja) * 2013-03-29 2014-10-23 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2014200001A (ja) * 2013-03-29 2014-10-23 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2014200009A (ja) * 2013-03-29 2014-10-23 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2014200000A (ja) * 2013-03-29 2014-10-23 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2014194706A (ja) * 2013-03-29 2014-10-09 Sony Corp 画像処理装置、画像処理方法、及び、プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005269395A (ja) * 2004-03-19 2005-09-29 Sony Corp 情報信号の処理装置および処理方法、並びにプログラムおよびそれを記録した媒体
CN101690172A (zh) * 2007-07-19 2010-03-31 索尼株式会社 图像处理设备、图像处理方法以及程序

Also Published As

Publication number Publication date
EP2525325B1 (en) 2017-07-12
CN102789630A (zh) 2012-11-21
EP2525325A2 (en) 2012-11-21
EP2525325A3 (en) 2013-01-23
US20120294513A1 (en) 2012-11-22
JP2013009293A (ja) 2013-01-10

Similar Documents

Publication Publication Date Title
CN102789630B (zh) 图像处理设备、图像处理方法和学习设备
CN100574372C (zh) 信息处理装置和方法、学习装置和方法
CN108830813B (zh) 一种基于知识蒸馏的图像超分辨率增强方法
CN103238335B (zh) 图像处理装置和图像处理方法
CN105432069B (zh) 图像处理装置、摄像装置、图像处理方法及程序
CN102907103A (zh) 图像处理设备、图像处理方法和程序
CN105847772B (zh) 具有透明滤波器像素的成像系统
US9626760B2 (en) System and method to align and merge differently exposed digital images to create a HDR (High Dynamic Range) image
CN102420995B (zh) 自动化raw图像处理方法和装置及处理设备
CN103379343A (zh) 图像处理装置、图像处理方法和程序
CN111127331B (zh) 基于像素级全局噪声估计编解码网络的图像去噪方法
CN107949850A (zh) 检测图像数据中的关键点
US20210097649A1 (en) Convolutional neural network processor, image processing method and electronic device
CN102790885A (zh) 图像处理设备和图像处理方法、学习设备和学习方法
CN108806638B (zh) 一种图像的显示方法及其装置
CN101742340A (zh) 图像的优化编辑方法及装置
CN110225232A (zh) 图像处理装置
CN110290370A (zh) 图像处理方法及装置
CN103067671A (zh) 一种显示图像的方法及装置
CN102055882A (zh) 图像处理装置、图像形成装置及图像处理方法
CN112926607A (zh) 基于卷积神经网络的双支网络图像隐写框架及方法
CN101534375B (zh) 用于校正色差的方法
JP2014042176A (ja) 画像処理装置および方法、プログラム、並びに、固体撮像装置
CN114612347B (zh) 一种多模块级联的水下图像增强方法
Choudhury et al. Combining quality metrics for improved hdr image quality assessment

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170118

Termination date: 20210511