CN100521741C - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN100521741C
CN100521741C CNB2007100003029A CN200710000302A CN100521741C CN 100521741 C CN100521741 C CN 100521741C CN B2007100003029 A CNB2007100003029 A CN B2007100003029A CN 200710000302 A CN200710000302 A CN 200710000302A CN 100521741 C CN100521741 C CN 100521741C
Authority
CN
China
Prior art keywords
signal
display
image
format
picture signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2007100003029A
Other languages
English (en)
Other versions
CN1997111A (zh
Inventor
近藤哲二郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1997111A publication Critical patent/CN1997111A/zh
Application granted granted Critical
Publication of CN100521741C publication Critical patent/CN100521741C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01R—ELECTRICALLY-CONDUCTIVE CONNECTIONS; STRUCTURAL ASSOCIATIONS OF A PLURALITY OF MUTUALLY-INSULATED ELECTRICAL CONNECTING ELEMENTS; COUPLING DEVICES; CURRENT COLLECTORS
    • H01R13/00—Details of coupling devices of the kinds covered by groups H01R12/70 or H01R24/00 - H01R33/00
    • H01R13/648—Protective earth or shield arrangements on coupling devices, e.g. anti-static shielding  
    • H01R13/658—High frequency shielding arrangements, e.g. against EMI [Electro-Magnetic Interference] or EMP [Electro-Magnetic Pulse]
    • H01R13/6581—Shield structure
    • H01R13/6585—Shielding material individually surrounding or interposed between mutually spaced contacts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/04—Diagnosis, testing or measuring for television systems or their details for receivers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/30—Picture reproducers using solid-state colour display devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0145—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Television Systems (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本发明提供一种图像处理装置和图像处理方法，使由多个装置构成的系统的性能提高。控制部决定对来自对物体进行拍摄的照相机的摄影图像信号实施的图像处理。信号格式获取部获取摄影图像信号的信号格式，显示格式获取部获取显示格式，该显示格式用于在显示器中显示通过对摄影图像信号实施由控制部决定的图像处理而得到的图像。图像处理部根据摄影图像信号的信号格式、用于在显示器中显示图像的显示格式、和由控制部决定的图像处理，进行不同的处理，由此对摄影图像信号实施由控制部决定的图像处理。本发明例如可以适用于由照相机和显示通过该照相机得到的图像的显示装置构成的图像处理系统等。

Description

图像处理装置和图像处理方法
技术领域
本发明涉及一种图像处理装置和图像处理方法，涉及可以使由多个装置构成的系统的性能最大化的图像处理装置和图像处理方法。
背景技术
例如，进行节目的发送接收的播放系统由多个装置构成，这些装置包括拍摄图像的照相机(数字照相机)、发送照相机输出的图像信号的发送装置、接收来自发送装置的图像信号的接收装置、显示与接收装置接收的图像信号对应的图像的显示装置。
这样，在由多个装置构成的系统中，在各个装置之间彼此进行信号传递。例如，在播放系统中，图像信号被从照相机发送给发送装置，并由发送装置接收。而且，图像信号被从发送装置发送给接收装置，并由接收装置接收。进而，图像信号被从接收装置发送给显示装置，并由显示装置接收。
在构成播放系统的各个装置之间，按照上面所述进行图像信号的传递。这样，为了可以在各个装置之间进行图像信号的传递，以及为了在把构成播放系统的照相机、发送装置、接收装置或显示装置更换为其他的照相机、发送装置、接收装置或显示装置时，也能够在各个装置之间进行图像信号的传递，关于图像信号，其格式被规格化或标准化。
作为图像信号的格式，例如有被称为D1的格式(Y:Cb:Cr为4:2:2的格式)。例如，在具有可以进行D1格式的图像信号的输入输出的接口的各个装置之间，无论在哪种装置彼此之间，都能够传递图像信号。
另一方面，在照相机、发送装置、接收装置、显示装置中，在各个装置中进行固有的处理。
即，在照相机例如是具有一个成像器(一个CCD(ChargeCouple Device：电荷耦合器件)、CMOS(Complementary MetalOxide Semiconductor：互补金属氧化物半导体)成像器等光电转换元件)的单板式照相机的情况下，考虑到人的视觉特性，例如采用拜耳排列(ベイヤ配列)的滤色器。在采用了拜耳排列的滤色器的情况下，能够从成像器获得RGB(Red、Green、Blue：红、绿、蓝)中G成分较多、R成分和B成分较少的、对应拜耳排列的格式(以下适当称为拜耳格式)的图像信号。在拜耳格式的图像信号中，作为一个像素的像素值，只有R、G、B中任一种颜色成分、没有其他两种颜色成分，所以在单板式照相机中，对于各个像素对其他两种颜色成分进行插值，进行求出作为一个像素的像素值具有R、G、B全部三种颜色成分的图像信号的处理。
另外，在发送装置中，例如为了实现所谓黑白播放和彩色播放的共存，进行把与亮度信号和颜色信号不同的成分信号转换为在亮度信号上叠加了颜色信号的混合信号的处理。
并且，在接收装置中，例如以混合信号为对象进行所谓Y/C分离处理，混合信号被转换为成分信号。
并且，在显示装置中，例如以显示图像的显示器的显示格式，进行排列RGB的成分信号R、G、B的处理，由此显示图像。此外，作为在显示器中显示图像的显示格式即R、G、B的排列，例如有条纹状排列、马赛克排列、德尔塔(デルタ)排列等。
另外，条纹状排列等固定的显示格式的彩色液晶显示器例如在专利文献1中被公开(特别是第0014段)。
专利文献1日本专利特开平10-301537号公报
发明内容
发明要解决的问题
构成播放系统的照相机、发送装置、接收装置、显示装置，例如如上面所述，只要具有能够进行D1格式等的被规格化或被标准化了的信号格式的图像信号的输入输出接口，就不会不能进行图像信号的传递。但是，即使使用具有这种接口的多个装置构成系统，也未必能够使该系统的性能最大化。
另外，在构成系统的各个装置中进行各种处理，但是该处理不是考虑了系统整体的性能来进行的。即，例如在构成播放系统的照相机中，进行把作为一个像素的像素值只具有R、G、B中任一种颜色成分的拜耳格式的图像信号，转换为作为一个像素的像素值具有R、G、B中全部三种颜色成分的图像信号(以下适当称为RGB图像信号)的处理，虽然该处理影响到照相机自身的性能，但是未必会影响播放系统整体性能的提高。
也就是说，在照相机中，把拜耳格式的图像信号转换为RGB图像信号的处理只要是所谓高功能的处理，即，例如只要能够通过该处理获得分辨率和S/N(Signal to Noise ratio：信号噪声比)较高的RGB图像信号，就可以说照相机自身的性能良好。
另一方面，在播放系统中，最终是在显示装置上显示图像，用户视听该图像。因此，例如，如果视听显示在显示装置上的图像的用户感觉该图像是高像质的图像，则可以说播放系统的整体性能良好。
但是，即使照相机自身是高性能，即，例如即使照相机能够输出分辨率和S/N较高的RGB图像信号，在其后由发送装置、接收装置和显示装置进行处理的播放系统中，用户感觉为高像质的图像也未必能够最终显示在显示装置上。
有可能反而是在照相机中不将拜耳格式的图像信号转换为RGB图像信号而是直接输出并在后级的发送装置、接收装置或显示装置中处理拜耳格式的图像信号的情况下，更能够将用户感觉为高像质的图像显示在显示装置上。
本发明就是鉴于上述情况而提出的，可以提高由多个装置构成的系统的性能，最好使系统的性能最大化。
用于解决问题的方法
本发明的第一侧面的图像处理装置，在处理图像的图像处理装置中，具有：显示格式获取单元，获取在显示图像的显示单元中显示图像的显示格式；摄影图像信号获取单元，获取来自对物体进行拍摄的摄影单元的图像信号即摄影图像信号；以及信号转换单元，根据使下述信号格式和下述显示格式相对应的对应关系信息，把第1信号格式的所述摄影图像信号转换为与在所述显示格式获取单元中获取的显示格式对应的信号格式即第2信号格式的图像信号，所述信号格式是成为下述图像转换处理的对象的图像信号的信号格式，所述图像转换处理把图像信号转换为比对应于所述图像信号的图像更高像质的图像的高像质图像信号，所述显示格式是显示与通过所述图像转换处理得到的所述高像质图像信号对应的图像的显示格式。
本发明的第一侧面的图像处理方法或程序，是处理图像的图像处理方法、或使计算机执行处理图像的图像处理的程序，包括以下步骤：获取在显示图像的显示单元中显示图像的显示格式；获取来自对物体进行拍摄的摄影单元的图像信号即摄影图像信号；以及根据使下述信号格式和下述显示格式相对应的对应关系信息，把第1信号格式的所述摄影图像信号转换为与所获取的显示格式对应的信号格式即第2信号格式的图像信号，所述信号格式是成为下述图像转换处理的对象的图像信号的信号格式，所述图像转换处理把图像信号转换为比对应于所述图像信号的图像更高像质的图像的高像质图像信号，所述显示格式是显示与通过所述图像转换处理获得的所述高像质图像信号对应的图像的显示格式。
在以上那样的第一侧面的图像处理装置、图像处理方法或程序中，能够获取在显示图像的显示单元中显示图像的显示格式，并且获取来自对物体进行拍摄的摄影单元的图像信号即摄影图像信号。并且，根据使下述信号格式和下述显示格式相对应的对应关系信息，第1信号格式的所述摄影图像信号被转换为与所获取的显示格式对应的信号格式即第2信号格式的图像信号，所述信号格式是成为下述图像转换处理的对象的图像信号的信号格式，所述图像转换处理把图像信号转换为比对应于所述图像信号的图像更高像质的图像的高像质图像信号，所述显示格式是显示与通过所述图像转换处理获得的所述高像质图像信号对应的图像的显示格式。
本发明的第二侧面的图像处理装置，在处理图像的图像处理装置中，具有：图像处理决定单元，决定对来自对物体进行拍摄的摄影单元的图像信号即摄影图像信号实施的图像处理；信号格式获取单元，获取所述摄影图像信号的信号格式；显示格式获取单元，获取显示格式，该显示格式用于在显示单元中显示通过对所述摄影图像信号实施由所述图像处理决定单元决定的图像处理而得到的图像；以及图像处理单元，根据所述摄影图像信号的信号格式、用于在所述显示单元中显示图像的显示格式、和由所述图像处理决定单元决定的图像处理，进行不同的处理，由此对所述摄影图像信号实施由所述图像处理决定单元决定的图像处理。
本发明的第二侧面的图像处理方法或程序，是处理图像的图像处理方法或使计算机执行的程序，包括以下步骤：决定对来自对物体进行拍摄的摄影单元的图像信号即摄影图像信号实施的图像处理；获取所述摄影图像信号的信号格式；获取显示格式，该显示格式用于在显示单元中显示通过对所述摄影图像信号实施所决定的图像处理而得到的图像；以及根据所述摄影图像信号的信号格式、在所述显示单元中显示图像的显示格式和所决定的图像处理，进行不同的处理，由此对所述摄影图像信号实施所决定的图像处理。
在以上所述的第二侧面的图像处理装置、图像处理方法或程序中，决定对来自对物体进行拍摄的摄影单元的图像信号即摄影图像信号实施的图像处理。另外，获取所述摄影图像信号的信号格式，并且获取显示格式，该显示格式用于在显示单元中显示通过对所述摄影图像信号实施所决定的图像处理而得到的图像。而且，根据所述摄影图像信号的信号格式、在所述显示单元中显示图像的显示格式和所决定的图像处理，进行不同的处理，由此对所述摄影图像信号实施所决定的图像处理。
根据本发明的第一和第二侧面，可以提高系统的性能。
附图说明
图1是表示进行图像处理的图像处理系统的第1结构示例的方框图。
图2是表示显示装置2的结构示例的方框图。
图3是说明显示装置2的处理的流程图。
图4是表示图像转换部11的结构示例的方框图。
图5是说明图像转换部11的处理的流程图。
图6是表示显示格式的示例图。
图7是表示以条纹状格式为基础变形的显示格式的示例图。
图8是表示以拜耳格式为基础变形的信号格式的示例图。
图9是表示学习最佳的信号格式、显示格式、抽头系数的学习装置的结构示例的方框图。
图10是表示SHD图像和HD图像的图。
图11是说明生成虚拟摄影图像的生成方法的图。
图12是说明生成虚拟摄影图像的生成方法的图。
图13是表示HD图像和显示器69的显示画面的图。
图14是表示HD图像和显示器69的显示画面的图。
图15是表示HD图像和显示器69的显示画面的图。
图16是说明评价显示在显示器69上的显示图像的评价方法的图。
图17是说明评价显示在显示器69上的显示图像的评价方法的图。
图18是说明评价显示在显示器69上的显示图像的评价方法的图。
图19是说明学习最佳的信号格式、显示格式、抽头系数的学习装置的处理的流程图。
图20是具体说明步骤S33的处理的流程图。
图21是具体说明步骤S37的处理的流程图。
图22是具体说明步骤S38的处理的流程图。
图23是具体说明步骤S39的处理的流程图。
图24是表示进行图像处理的图像处理系统的第2结构示例的方框图。
图25是表示格式转换部604和显示装置605的结构示例的方框图。
图26是表示信号转换部612的结构示例的方框图。
图27是说明信号转换部612的处理的流程图。
图28是说明格式转换部604的处理的流程图。
图29是表示学习信号转换部612使用的抽头系数的学习装置的结构示例的方框图。
图30是说明学习信号转换部612使用的抽头系数的学习装置的处理的流程图。
图31是表示图像转换部621的结构示例的方框图。
图32是说明图像转换部621的处理的流程图。
图33是说明显示装置605的处理的流程图。
图34是表示针对各个显示格式学习最佳的信号格式和抽头系数的学习装置的结构示例的方框图。
图35是说明针对各个显示格式学习最佳的信号格式和抽头系数的学习装置的处理的流程图。
图36是具体说明步骤S668的处理的流程图。
图37是具体说明步骤S669的处理的流程图。
图38是表示进行图像处理的图像处理系统的第3结构示例的方框图。
图39是表示进行图像处理的图像处理系统的第4结构示例的方框图。
图40是表示显示装置702的结构示例的方框图。
图41是表示前处理部712的结构示例的方框图。
图42是表示图像转换部713的结构示例的方框图。
图43是说明显示装置702的处理的流程图。
图44是表示针对信号格式和显示格式的组合，学习最佳的图像处理、抽头结构、前处理系数、抽头系数的学习装置的结构示例的方框图。
图45是说明针对信号格式和显示格式的组合，学习最佳的图像处理、抽头结构、前处理系数、抽头系数的学习装置的处理的流程图。
图46是具体说明步骤S724的处理的流程图。
图47是具体说明步骤S743的处理的流程图。
图48是具体说明步骤S747的处理的流程图。
图49是具体说明步骤S748的处理的流程图。
图50是具体说明步骤S749的处理的流程图。
图51是表示进行图像处理的图像处理系统的第5结构示例的方框图。
图52是表示图像转换部1012的结构示例的方框图。
图53是说明图像转换部1012的处理的流程图。
图54是表示学习在图像转换部1012中使用的抽头系数的学习装置的结构示例的方框图。
图55是说明学习在图像转换部1012中使用的抽头系数的学习装置的处理的流程图。
图56是表示进行图像处理的图像处理系统的第6结构示例的方框图。
图57是表示进行图像处理的图像处理系统的第7结构示例的方框图。
图58是表示执行进行图像处理的程序的计算机的结构示例的方框图。
符号说明
1：照相机；2：显示装置；11：图像转换部；12：显示控制部；13：显示器；41、42：抽头抽出部；43：类分类部；44：系数存储器；45：预测部；61：学习数据存储部；62：虚拟摄影图像生成部；63、64：抽头抽出部；65：类分类部；66：系数存储器；67：预测部；68：显示控制部；69：显示器；70：光检测器；71：评价值算出部；72：控制部；73：图像转换部；255：学习部；261：前处理部；262：图像转换部；601：照相机；602：发送装置；603：接收装置；604：格式转换部；605：显示装置；611：信号获取部；612：信号转换部；613：显示格式获取部；621：图像转换部；622：显示控制部；623：显示器；631、632：抽头抽出部；633：类分类部；634：系数存储器；635：预测部；636：系数选择部；641：学习数据存储部；642：学习对数据生成部；643：控制部；644、645：抽头抽出部；646：类分类部；647：正规方程式生成部；648：抽头系数算出部；651：系数存储器；661：控制部；671、701：照相机；702：显示装置；711：图像处理部；712：前处理部；713：图像转换部；714：显示控制部；715：显示器；716：信号格式获取部；717：显示格式获取部；718：操作部；719：控制部；731：前处理抽头抽出部；732：前处理运算部；733、741：系数存储器；751：学习对数据生成部；752：控制部；1001：照相机；1002：发送装置；1003：接收装置；1004：显示装置；1011：成像器；1012：图像转换部；1013、1021：I/F；1022：图像转换部；1023：信号处理部；1024：图像转换部；1025、1031：I/F；1032：图像转换部；1033：信号处理部；1034：图像转换部；1035、1041：I/F；1042：图像转换部；1043：显示控制部；1044：显示器；1061、1062：抽头抽出部；1063：类分类部；1064：系数存储器；1065：预测部；1071：学习数据存储部；1072：学习对数据生成部；1073、1074：抽头抽出部；1075：类分类部；1076：正规方程式生成部；1077：抽头系数算出部；1101：照相机；1102：发送装置；1103：接收装置；1104：显示装置；1111：图像转换部；1112、1121：I/F；1122：图像转换部；1123、1131：I/F；1132：图像转换部；1133、1141：I/F；1201：照相机；1211：图像转换部；1212：I/F；2001：总线；2002：CPU；2003：ROM；2004：RAM；2005：硬盘；2006：输出部；2007：输入部；2008：通信部；2009：驱动器；2010：输入输出接口；2011：可移动记录介质。
具体实施方式
以下，说明本发明的实施方式，下面举例说明本发明的技术特征与在说明书或附图中记述的实施方式的对应关系。该记述用于确认支持本发明的实施方式被记载在说明书或附图中。因此，即使存在虽然记载在说明书或附图中，但没有作为对应于本发明的技术特征的实施方式而记载在此处的实施方式，也不意味着该实施方式不对应于该技术特征。相反，尽管实施方式作为对应于技术特征的方式在此处进行了记载，也不意味着该实施方式不对应于该技术特征以外的技术特征。
本发明的第一侧面的图像处理装置是处理图像的图像处理装置(例如图25中的格式转换部604)，具有：
显示格式获取单元(例如图25中的显示格式获取部613)，获取在显示图像的显示单元中显示图像的显示格式；
摄影图像信号获取单元(例如图25中的信号获取部611)，获取来自对物体进行拍摄的摄影单元的图像信号即摄影图像信号；以及
信号转换单元(例如图25中的信号转换部612)，根据使下述信号格式和下述显示格式相对应的对应关系信息，把第1信号格式的所述摄影图像信号转换为与在所述显示格式获取单元中获取的显示格式对应的信号格式即第2信号格式的图像信号，所述信号格式是成为下述图像转换处理的对象的图像信号的信号格式，所述图像转换处理把图像信号转换为比对应于所述图像信号的图像更高像质的图像的高像质图像信号，所述显示格式是显示与通过所述图像转换处理得到的所述高像质图像信号对应的图像的显示格式。
第一侧面的图像处理装置还具备所述摄影单元(例如图25中的照相机601)。
在第一侧面的图像处理装置中，所述信号转换单元具有：
预测抽头抽出单元(例如图26中的抽头抽出部631)，从所述摄影图像信号抽出预测抽头，该预测抽头是在预测所述第2信号格式的图像信号的关注像素的像素值时使用的多个像素的像素值；
类抽头抽出单元(例如图26中的抽头抽出部632)，从所述摄影图像信号抽出类抽头，该类抽头是在将所述关注像素分类为多个类中的任一类的类分类中使用的多个像素的像素值；
类分类单元(例如图26中的类分类部633)，根据所述类抽头进行所述关注像素的类分类；
系数输出单元(例如图26中的系数存储器634)，从通过学习而预先求出的多个类各自的抽头系数中，输出所述关注像素的类的抽头系数；以及
运算单元(例如图26中的预测部635)，通过使用了所述关注像素的类的抽头系数和所述预测抽头的预测运算，求出所述关注像素的像素值。
本发明的第一侧面的图像处理方法或程序是处理图像的图像处理方法或使计算机执行处理图像的图像处理的程序，包括以下步骤：
获取在显示图像的显示单元中显示图像的显示格式(例如图28中的步骤S611)；
获取来自摄影物体的摄影单元的图像信号即摄影图像信号(例如图28中的步骤S612)；以及
根据使下述信号格式和下述显示格式相对应的对应关系信息，把第1信号格式的所述摄影图像信号转换为与所获取的显示格式对应的信号格式即第2信号格式的图像信号，所述信号格式是成为下述图像转换处理的对象的图像信号的信号格式，所述图像转换处理把图像信号转换为比对应于所述图像信号的图像更高像质的图像的高像质图像信号，所述显示格式是显示与通过所述图像转换处理获得的所述高像质图像信号对应的图像的显示格式(例如图28中的步骤S613)。
本发明的第二侧面的图像处理装置是处理图像的图像处理装置(例如图39中的显示装置702)，具有：
图像处理决定单元(例如图40中的控制部719)，决定对来自对物体进行拍摄的摄影单元的图像信号即摄影图像信号实施的图像处理；
信号格式获取单元(例如图40中的信号格式获取部716)，获取所述摄影图像信号的信号格式；
显示格式获取单元(例如图40中的显示格式获取部717)，获取显示格式，该显示格式用于在显示单元中显示通过对所述摄影图像信号实施由所述图像处理决定单元决定的图像处理而得到的图像；以及
图像处理单元(例如图40中的图像处理部711)，根据所述摄影图像信号的信号格式、用于在所述显示单元中显示图像的显示格式、和由所述图像处理决定单元决定的图像处理，进行不同的处理，由此对所述摄影图像信号实施由所述图像处理决定单元决定的图像处理。
在第二侧面的图像处理装置中，所述图像处理单元具有：
前处理单元(例如图40中的前处理部712)，对所述摄影图像信号实施前处理，输出前处理后图像信号；以及
图像转换单元(例如图40中的图像转换部713)，将所述前处理后图像信号即第1图像信号与通过预先进行的学习得到的抽头系数进行运算，从而转换为第2图像信号。
在第二侧面的图像处理装置中，所述前处理单元具有：
前处理抽头抽出单元(例如图41中的前处理抽头抽出部731)，从所述摄影图像信号抽出前处理抽头，该前处理抽头是通过所述前处理求出所述前处理后图像信号的关注像素的像素值时使用的多个像素的像素值；以及
前处理运算单元(例如图41中的前处理运算部732)，通过使用了在作为所述前处理的运算中使用的前处理系数和所述前处理抽头的运算，求出所述关注像素的像素值。
在第二侧面的图像处理装置中，所述图像转换单元具有：
预测抽头抽出单元(例如图42中的抽头抽出部41)，从所述第1图像信号抽出预测抽头，该预测抽头是在预测所述第2图像信号的关注像素的像素值时使用的多个像素的像素值；
类抽头抽出单元(例如图42中的抽头抽出部42)，从所述第1图像信号抽出类抽头，该类抽头是在将所述关注像素分类为多个类中的任一类的类分类中使用的多个像素的像素值；
类分类单元(例如图42中的类分类部43)，根据所述类抽头进行所述关注像素的类分类；
系数输出单元(例如图42中的系数存储器741)，从通过学习而预先求出的多个类各自的抽头系数中，输出所述关注像素的类的抽头系数；以及
运算单元(例如图42中的预测部45)，通过使用了所述关注像素的类的抽头系数和所述预测抽头的预测运算，求出所述关注像素的像素值。
本发明的第二侧面的图像处理方法或程序是处理图像的图像处理方法或使计算机执行的程序，包括以下步骤：
决定对来自对物体进行拍摄的摄影单元的图像信号即摄影图像信号实施的图像处理(例如图43中的步骤S701)；
获取所述摄影图像信号的信号格式(例如图43中的步骤S702)；
获取显示格式，该显示格式用于在显示单元中显示通过对所述摄影图像信号实施所决定的图像处理而得到的图像(例如图43中的步骤S703)；以及
根据所述摄影图像信号的信号格式、用于在所述显示单元中显示图像的显示格式和所决定的图像处理，进行不同的处理，由此对所述摄影图像信号实施所决定的图像处理(例如图43中的步骤S704)。
下面，说明处理某个信号格式的图像信号、并以某个显示格式显示与该处理结果得到的图像信号对应的图像的图像处理系统，和在该图像处理系统中采用的信号格式和显示格式的求出方法。
图1表示对图像进行处理的图像处理系统(系统是指多个装置逻辑上的集合，与各结构的装置是否在相同壳体中无关)的第一结构例。
在图1中，图像处理系统由照相机(摄像机)1和显示装置2构成。
照相机1对物体(被摄体)进行拍摄，输出通过该拍摄所得到的图像信号即摄影图像信号。显示装置2接收照相机1所输出的摄影图像信号，将该摄影图像信号转换为比对应于摄影图像信号的图像更高像质的图像的图像信号即高像质图像信号，显示对应于该高像质图像信号的图像。
此外，照相机1例如是单板式照相机，输出通过后述的学习而决定的信号格式的摄影图像信号。
即，当通过学习决定的摄影图像信号的信号格式例如为拜耳格式时，在照相机1中采用拜耳排列的滤色器，照相机1不将通过该拜耳排列的滤色器所得到的拜耳格式的摄影图像信号转换为RGB图像信号而直接输出。
在此，将照相机1所输出的摄影图像信号例如设为作为标准分辨率图像信号的SD(Standard Definition：标准清晰度)图像信号，将通过对该SD图像信号进行转换而得到的高像质图像信号设为作为高分辨率图像信号的HD(High Definition：高清晰度)图像信号。此外，下面适当将对应于SD图像信号的图像称为SD图像，将对应于HD图像信号的图像称为HD图像。
图2表示图1的显示装置2的结构例。
显示装置2由图像转换部11、显示控制部12、以及显示器13构成。
图像转换部11通过与由预先进行的学习而得到的抽头系数之间的运算，将来自照相机1的SD图像信号转换为HD图像信号，提供给显示控制部12。
显示控制部12进行显示控制，该显示控制以由使用比HD图像更高像质的图像进行的学习所决定的显示格式，使与从图像转换部11提供的HD图像信号对应的HD图像显示在显示器13上。
在此，下面适当将比HD图像更高像质的图像称为SHD图像(Super HD图像(超高清晰度))，将其图像信号称为SHD图像信号。
显示器13是例如由CRT(Cathode Ray Tube：阴极射线管)、LCD(Liquid Crystal Display：液晶显示器)面板等构成的显示单元，按照显示控制部12的控制来显示图像。
接着，参照图3的流程图，说明图2的显示装置2的动作。
来自照相机1的SD图像信号被提供到显示装置2中。在显示装置2中接收来自照相机1的SD图像信号，提供给图像转换部11。
在步骤S1中，图像转换部11进行例如如下的图像转换处理，将其结果所得到的HD图像信号提供给显示控制部12，进入到步骤S2，其中，所述图像转换处理通过使用了由后述的学习所得到的抽头系数的运算，将来自照相机1的SD图像信号转换为HD图像信号。
在步骤S2中，显示控制部12以通过使用S HD图像进行的后述的学习所决定的显示格式，将与从图像转换部11提供的HD图像信号对应的HD图像显示在显示器13上。
由此，在显示器13中显示HD图像。
接着，说明由图2的图像转换部11进行的图像转换处理。
图像转换部11进行以下的图像转换处理：将第一图像信号转换为比对应于该第一图像信号的图像更高像质的图像的第二图像信号。
在此，图像转换部11将来自照相机1的SD图像信号设为第一图像信号，并且，将HD图像信号设为第二图像信号，进行将第一图像信号转换为第二图像信号的图像转换处理，但是，根据该图像转换处理，可基于如何定义第一以及第二图像信号而实现各种处理。
即，例如如果将第二图像信号设为HD图像信号，并且将第一图像信号设为降低第二图像信号分辨率和像素数的SD图像信号，则图像转换处理可以是将SD图像转换为HD图像的处理。另外，例如如果将第二图像信号设为高S/N图像信号，并且将第一图像信号设为降低了第二图像信号的S/N的(在第二图像信号上添加噪声)低S/N的图像信号，则图像转换处理可以是去除噪声的噪声去除处理。而且，例如如果将第二图像信号设为某个图像信号，并且将第一图像信号设为间除(間引く)第二图像信号的像素数的图像信号，则图像转换处理可以是放大图像的放大处理。
图4表示图2的图像转换部11的结构例。
图像转换部11由抽头抽出部41以及42、类分类部43、系数存储器44、以及预测部45构成。
来自照相机1的SD图像信号作为第一图像信号提供给图像转换部11。并且，作为第一图像信号的SD图像信号被提供给抽头抽出部41以及42。
抽头抽出部41将对第一图像信号进行变换而将得到的构成第二图像信号(作为该第二图像信号的HD图像信号是将来求出的图像信号，由于在现阶段不存在，因此虚拟地设想)的像素，依次设为关注像素，而且从第一图像信号抽出在预测该关注像素的像素值中使用的多个像素的像素值即预测抽头。
具体地说，抽头抽出部41将相对于与关注像素对应的、第一图像信号的图像的位置(例如拍摄有与拍摄在关注像素位置上的被摄体相同的被摄体的一部分的第一图像信号在图像上的位置)，具有空间上或者时间上接近的位置关系的多个像素(例如最接近与关注像素对应的、第一图像信号在图像上的位置的像素、以及与该像素在空间上相邻的像素等)的像素值，作为预测抽头来抽出。
抽头抽出部42从第一图像信号抽出类抽头，该类抽头是在进行将关注像素分类为几个(多个)类中的某一个的类分类中使用的多个像素的像素值。
此外，在此为了使简化说明，作为预测抽头和类抽头，假设采用抽头结构相同的多个像素的像素值、即采用相对于与关注像素对应的位置的位置关系相同的多个像素的像素值。但是，预测抽头和类抽头能够设为不同的抽头结构。
由抽头抽出部41得到的预测抽头提供给预测部45，由抽头抽出部42得到的类抽头提供给类分类部43。
类分类部43根据来自抽头抽出部42的类抽头，将关注像素进行类分类，将与其结果所得到的类对应的类代码提供给系数存储器44。
在此，作为进行类分类的方法，例如可采用ADRC(AdaptiveDynamic Range Coding：自适应动态范围编码)等。
在使用ADRC的方法中，构成类抽头的像素的像素值被进行ADRC处理，按照其结果所得到的ADRC代码，决定关注像素的类。
此外，在K位ADRC中，例如检测构成类抽头的像素的像素值的最大值MAX和最小值MIN，将DR＝MAX-MIN设为作为类抽头的多个像素值的集合的局部动态范围，根据该动态范围DR，作为类抽头的多个像素值的各个被重新量化为K位。即，从作为类抽头的各像素值减去最小值MIN，将其减法值除以(量化)DR/2K。并且，将由此得到的作为类抽头的K位各像素值以规定的顺序排列的位串，作为ADRC代码输出。因而，在类抽头例如进行了1位ADRC处理的情况下，作为该类抽头的各像素值在减去最小值MIN之后，除以最大值MAX和最小值MIN之差的1/2(舍去小数点以下)，由此，各像素值成为1位(被2值化)。并且，作为ADRC代码输出将该1位的像素值以规定的顺序排列的位串。
此外，在类分类部43中，例如也可以将作为类抽头的多个像素值的水平分布图案，直接作为类代码输出。但是，在该情况下，类抽头由N个像素值构成，对各像素值分配有K位时，类分类部43所输出的类代码的情况的数为(2N)K个，变成与像素值的位数K成指数比例的庞大的数。
因而，在类分类部43中，最好是通过上述ADRC处理、或者向量量化等来压缩类抽头的信息量，使用其压缩结果进行类分类。
另外，除了类抽头之外，还可以根据表示与关注像素对应的第一图像信号的图像上的位置(下面适当称为对应位置)附近的运动的向量(运动向量)、表示与对应位置最近的第一图像信号的像素和对应位置之间的位置关系的向量(位置关系向量)等，进行类分类。即，例如可将类抽头的ADRC代码与表示作为运动向量或位置关系向量的向量量化结果的代码(符号)的位串排列成一行而得到的位串等，设为表示关注像素的类的类代码。
系数存储器44存储了通过后述的学习预先求出的每个类的抽头系数。即，系数存储器44关于可在类分类部43中将关注像素进行类分类的多个类，分别存储了抽头系数。系数存储器44输出每个类的抽头系数中的从类分类部43提供的表示类代码所表示的类、即关注像素的类的抽头系数。
此外，抽头系数例如相当于数字滤波器中的在所谓的抽头中与输入数据相乘的系数。
预测部45获取抽头抽出部41所输出的预测抽头、以及系数存储器44所输出的抽头系数，使用该预测抽头和抽头系数，进行求出关注像素真值的预测值的规定预测运算。由此，预测部45求出关注像素的像素值(的预测值)、即构成第二图像信号的像素的像素值并输出。
下面，参照图5的流程图说明图4的图像转换部11进行的图3的步骤S1的图像转换处理。
在抽头抽出部41中，将构成针对从照相机1提供的作为第一图像信号的SD图像信号的、作为第二图像信号的HD图像信号的各像素，依次作为关注像素。并且，在步骤S11中，抽头抽出部41和42从向其提供的第一图像信号中分别抽出作为关于关注像素的预测抽头和类抽头的像素的像素值。并且，预测抽头从抽头抽出部41提供给预测部45，类抽头从抽头抽出部42提供给类分类部43。
类分类部43从抽头抽出部42接收关于关注像素的类抽头，在步骤S12中，根据该类抽头将关注像素进行类分类。而且，类分类部43将表示该类分类的结果所得到的关注像素的类的类代码输出到系数存储器44，进入到步骤S13。
在步骤S13中，系数存储器44读出从类分类部43提供的类代码所表示的类的抽头系数、即关注像素的类的抽头系数并输出，进入到步骤S14。在预测部45中获取(接收)系数存储器44所输出的抽头系数。
在步骤S14中，预测部45使用抽头抽出部41所输出的预测抽头、以及从系数存储器44获取的抽头系数，通过进行规定的预测运算来求出关注像素的像素值、即第二图像信号的像素的像素值。预测部45如上所述每当求出例如1帧的第二图像信号的像素的像素值时，将作为该第二图像信号的HD图像信号输出到显示控制部12(图2)。
如上所述，在图像转换部11中，从第一图像信号抽出关于第二图像信号的关注像素的预测抽头和类抽头，根据类抽头求出关注像素的类，进行使用了该类的抽头系数以及预测抽头的运算，求出第二图像信号的关注像素的像素值(的预测值)，由此，第一图像信号被转换为第二图像信号。将这样通过求出关注像素的类并进行使用了该类的抽头系数和第一图像信号(预测抽头)的运算来求出关注像素的像素值的处理，称为类分类适应处理。
在类分类适应处理中，如上所述使用抽头系数，但是例如可通过利用了最小二乘法的学习来求出该抽头系数。
即，例如目前作为图像转换处理，考虑将HD图像信号设为第二图像信号，并且将间除该HD图像信号的像素、通过LPF(LowPass Filter：低通滤波器)进行滤波等所得到的SD图像信号作为第一图像信号，从第一图像信号抽出预测抽头，使用该预测抽头和抽头系数，通过规定的预测运算求出(预测)第二图像信号的像素值。
作为规定的预测运算，例如当采用线性1次预测运算时，可通过下面的线性1次式求出第二图像信号的像素(下面适当称为第二像素)的像素值y。
[式1]
y = Σ n = 1 N w n x n . . . ( 1 )
其中，在式(1)中，xn表示构成关于第二像素y的预测抽头的第n个第一图像信号像素(下面适当称为第一像素)的像素值，wn表示与第n个第一像素的像素值相乘的第n个抽头系数。此外，在式(1)中，预测抽头由多个即N个第一像素的像素值x1，x2，...，xN构成。在该情况下，抽头系数在每一类中存在N个。
在此，也可以不用式(1)所示的线性1次式，而通过2次以上的高次式求出第二像素的像素值y。
现在将第k样本的第二像素的像素值的真值表示为yk，并且将通过式(1)得到的该真值yk的预测值表示为yk’时，由下式表示其预测误差ek。
[式2]
ek＝yk-yk′...(2)
当前，按照式(1)来求出式(2)的预测值yk’，因此当按照式(1)来替换式(2)的yk’时，得到下式。
[式3]
e k = y k - ( Σ n = 1 N w n x n , k ) . . . ( 3 )
其中，在式(3)中，xn，k表示构成关于第k样本的第二像素的预测抽头的第n个第一像素的像素值。
式(3)(或者式(2))的预测误差ek为0的抽头系数wn最适合预测第二像素的像素值，但是关于全部的第二像素求出这种抽头系数wn，通常是困难的。
因此，作为表示最佳的抽头系数wn的规范，例如当采用最小二乘法时，能够通过使由下式表示的平方误差的总和E为最小来求出最适合的抽头系数Wn。
[式4]
E = Σ k = 1 K e k 2 . . . ( 4 )
其中，在式(4)中，K表示第二像素的像素值yk、和构成关于该第二像素的预测抽头的第一像素的像素值x1，k、x2，k、...、xN， k的集合的样本数(学习用的样本数)。
式(4)的平方误差的总和E的最小值(极小值)如式(5)所示，通过使以抽头系数wn对总和E进行偏微分的结果为0的wn而提供。
[式5]
∂ E ∂ w n = e 1 ∂ e 1 ∂ w n + e 2 ∂ e 2 ∂ w n + · · · + e k ∂ e k ∂ w n = 0 ( n = 1,2 , · · · , N ) . . . ( 5 )
另一方面，当将上述式(3)以抽头系数wn进行偏微分时，得到下式。
[式6]
∂ e k ∂ w 1 = - x 1 , k , ∂ e k ∂ w 2 = - x 2 , k , · · · , ∂ e k ∂ w N = - x N , k , ( k = 1,2 , · · · , K ) . . . ( 6 )
根据式(5)和式(6)得到下式。
[式7]
Σ k = 1 K e k x 1 , k = 0 , Σ k = 1 K e k x 2 , k = 0 , · · · Σ k = 1 K e k x N , k = 0 . . . ( 7 )
通过将式(3)代入式(7)的ek，能够由式(8)所示的正规方程式来表示式(7)。
[式8]
Figure C200710000302D00291
...(8)
式(8)的正规方程式，例如通过扫除法(Gauss-Jordan的消去法)等，能够求解抽头系数wn。
通过对每个类创建式(8)的正规方程式进行求解，能够对每个类求出最适合的抽头系数(在此使平方误差的总和E为最小的抽头系数)wn。
根据类分类适应处理，通过使用如上求出的每类的抽头系数并进行式(1)的运算，将作为第一图像信号的SD图像信号转换为作为第二图像信号的HD图像信号。
此外，通过对每个类创建式(8)的正规方程式并进行求解、从而求出每类的抽头系数的方法(下面适当称为使用正规方程式的学习方法)，是求出每类的抽头系数的学习的一例。在图4的系数存储器44中，存储有不是使用正规方程式的学习方法、而是通过后述的循环学习所求出的每类的抽头系数。
在此，以下图像转换处理只要没有特别解释，就假设意味着通过类分类适应处理将第一图像信号转换为第二图像信号的处理。
如果只看式(1)，类分类适应处理看起来像FIR(FiniteImpulse Response：有限脉冲响应)滤波器的滤波，但是例如将HD图像信号设为第二图像信号，并且将减少该HD图像信号的像素数等而得到的SD图像信号设为第二图像信号，通过使用这些第一图像信号和第二图像信号的学习能够求出与该FIR滤波器的系数(滤波器系数)相当的抽头系数w，因此能够再现虽然没有包含在第一图像信号中、但包含在第二图像信号中的信号成分。由此，类分类适应处理(的图像转换处理)，可称为是具有没有包含在第一图像信号中的信号成分的创造作用的处理。
接着，在图1的图像处理系统中，说明照相机1所输出的SD图像信号(摄影图像信号)的信号格式、显示装置2(图2)的显示控制部12使显示器13显示的HD图像的显示格式、以及显示装置2的图像转换部11(图4)在图像转换处理中使用的抽头系数。
如上所述，照相机1输出通过学习所决定的信号格式的SD图像信号，显示装置2的显示控制部12(图2)以通过学习所决定的显示格式，将HD图像显示在显示器13上。而且，显示装置2的图像转换部11(图4)，使用通过学习所决定的抽头系数，进行将来自照相机1的SD图像信号转换为HD图像信号的图像转换处理。
因而，照相机1所输出的SD图像信号的信号格式、将该SD图像信号转换为HD图像信号的图像转换处理中使用的抽头系数、以及对与由图像转换处理得到的HD图像信号对应的HD图像进行显示的显示格式，都通过学习来决定，为了提高图1的图像处理系统整体的性能、即为了使显示在显示装置2的显示器13(图2)上的图像最终成为合适的图像(用户感觉是高像质的图像)，而进行信号格式、抽头系数、以及显示格式的学习。
在此，作为现有的显示格式，例如有如图6所示的显示格式。
即，图6表示现有的显示格式的例子。
在普通的显示装置中，例如在显示与作为1个像素的像素值具有R、G、B三个颜色成分全部的图像信号(RGB图像信号)对应的图像的情况下，在相同的位置上显示R、G、B三个颜色成分在物理上是困难的，因此在显示装置中，将作为1个像素的像素值的R、G、B三个颜色成分排列在不同位置上进行显示。
即在显示装置中，作为显示画面上的1个像素的小区域被分割为分别用于R、G、B的更小的区域(下面适当称为子像素)，作为1个像素的像素值的R、G、B分别显示在R、G、B用的子像素上。
作为子像素排列图案，已知有例如在从图6的左起第一个、第二个、第三个(从右起第一个)中分别表示的排列图案。
在从图6的左起第一个中，将正方形状的区域设为1个像素，将1个像素在横方向上进行3等分的三个区域成为子像素。并且，在各像素中，从左起第一个、第二个、第三个子像素成为分别用于R、G、B的子像素，将这种子像素的排列(显示格式)称为条状。
在从图6的左起第二个中，由在横宽的长方形状的子像素的横方向上排列的两个第一和第二子像素、以及配置在该两个第一和第二子像素的上面或者下面的只偏移了子像素的横长度的一半的位置上的第三像素，构成1个像素。并且，这些第一至第三子像素分别成为用于R、G、B中的某个的子像素，但是相同的颜色成分的子像素不邻接。将这种子像素的排列(显示格式)称为德尔塔。
在从图6的左起第三个中，与从图6的左起第一个条状相同，将正方形状的区域设为1个像素，将1个像素在横方向上进行3等分的三个区域成为子像素。但是在从图6的左起第一个条状中，在纵方向上配置有相同颜色成分的子像素，但是在从图6的第三个中使得在纵方向上相同颜色成分的子像素不邻接，即，使得相同颜色成分的子像素排列在倾斜方向上。将这种子像素的排列(显示格式)称为马赛克。
如上所述的显示格式中的例如条状，例如可以说适于线、图形、文字的显示。另外，通过马赛克，可以说能够得到比条状更自然的图像，通过德尔塔，可以说能够得到更自然的图像。
如上所述的现有显示格式是例如根据对图像进行显示的显示装置的处理情况等决定的格式，因而，以现有的显示格式显示的图像未必是用户感觉为高像质的图像。即，有可能存在用户感觉到比以现有显示格式显示的图像更高像质的、不是现有显示格式的显示格式。
在此，图7示出了显示格式不是现有显示格式的例子。
即，图7示出了以条状为基准将该条状进行变形而得到的新的显示格式。
图7的左上示出了与从图6的左起第一个相同的条状的显示格式。
图7的左下示出了将以图7的左上所示的条状子像素所显示的颜色成分进行改变的显示格式。即，在图7的左上所示的条状中，在1个像素的横方向上排列的三个子像素按照分别显示R、G、B的子像素的顺序被排列，但是在图7的左下的显示格式中，按照分别显示G、B、R的子像素的顺序被排列。
图7的右上示出了将图7的左上所示的条状的子像素位置在纵方向上偏移的显示格式。即，在图7的左上所示的条状中，1个像素的按R、G、B的顺序在横方向上排列的三个子像素，在横方向上配置在相同的位置上，但是在图7的右上的显示格式中，1个像素的按R、G、B的顺序在横方向上排列的三个子像素中的G子像素，被配置在比R和B的子像素靠下的位置上。
图7的右下也与图7的右上所示的显示格式同样，示出了将图7的左上所示的条状的子像素位置在纵方向上偏移的显示格式。但是在图7的右下的显示格式中，1个像素的按R、G、B的顺序在横方向上排列的三个子像素中的G子像素，被配置在比R子像素靠下的位置上，且B子像素配置在比R子像素靠上的位置上。
通过学习来决定显示控制部12使显示器13显示图像的显示格式，使得在显示装置2(图2)中显示用户感觉是高像质的图像。
接着，图8(示意性地)示出了图像信号的信号格式的例子。
图8的上面表示拜耳格式的图像信号。
如上所述，在单板式照相机中，由于作为1个像素的像素值只能得到R、G、B中的某一个颜色成分，因此为了对其他两个颜色成分进行插值的处理等而决定的信号格式是拜耳格式。因而，这种拜耳格式的图像信号由显示装置2的图像转换部11转换为HD图像信号而最终显示在显示器13上的HD图像，未必成为合适的图像。即，与拜耳格式等现有信号格式相比，有可能存在最终显示在显示器13上的HD图像为更合适的图像的信号格式。
在此，图8的下面示出了信号格式不是现有信号格式的例子。
即，图8的下面(示意性地)示出了以拜耳格式为基准将该拜耳格式进行变形而得到的新的信号格式。
图8的下左示出了将图8的上面所示的拜耳格式的像素位置每隔一列向下方向偏移的信号格式。另外，图8的下右示出了将图8的上面所示的拜耳格式的像素位置每隔1行向右(或者左)方向偏移的信号格式。
如上所述，进行照相机1所输出的SD图像信号的信号格式、在将该SD图像信号转换为HD图像信号的图像转换处理中使用的抽头系数、以及显示与由图像转换处理所得到的HD图像信号对应的HD图像的显示格式的学习，以便提高图1的整个图像处理系统性能，即，使得显示装置2的显示器13(图2)上所显示的图像最终成为合适的图像(用户感觉是高像质的图像)，图9示出了进行这种学习的学习装置的结构例。
即，在图9的学习装置中，进行求出图像转换部11(图2)中使用的抽头系数的学习，以使得在显示器13(图2)上显示的图像成为合适的图像，其中图像转换部11用于进行将照相机1(图1)所输出的SD图像信号(摄影图像信号)转换为比与该SD图像信号对应的SD图像更高像质的图像(HD图像)的高像质图像信号(HD图像信号)的图像转换处理。而且，在图9的学习装置中，进行照相机1所输出的SD图像信号的信号格式、以及显示与通过以该SD图像信号为对象的图像转换处理而得到的HD图像信号对应的HD图像的显示格式的学习，以使得在显示器13(图2)上所显示的图像成为合适的图像。
具体地说，在图9的学习装置中，学习数据存储部61，作为抽头系数、信号格式、以及显示格式的学习中使用的学习数据，存储了SHD图像信号(SHD图像)。
从后述的控制部72将表示信号格式的信号格式信息提供给虚拟摄影图像生成部62。虚拟摄影图像生成部62将存储在学习数据存储部61中的SHD图像信号的各帧图像信号作为关注SHD图像信号依次选择，通过对该关注SHD图像信号的像素数进行间除等，生成来自控制部72的信号格式信息所表示的信号格式的SD图像信号，作为与照相机1(图1)所输出的摄影图像信号相当的虚拟摄影图像信号，提供给抽头抽出部63以及64。
抽头抽出部63、64、类分类部65、系数存储器66、预测部67，构成了与图4的图像转换部11进行相同的图像转换处理的图像转换部73，在该图像转换部73中，从虚拟摄影图像生成部62提供的虚拟摄影图像信号(SD图像信号)通过与从控制部72提供的抽头系数之间的运算，转换为HD图像信号。
即，抽头抽出部63将从虚拟摄影图像生成部62提供的虚拟摄影图像信号设为第一图像信号，并且将对该第一图像信号进行转换而将得到的高像质(高分辨率)的HD图像信号设为第二图像信号(作为该第二图像信号的HD图像信号是将来要求出的图像信号，由于在现阶段中不存在，因此虚拟地设想)，将构成第二图像信号的像素依次设为关注像素。并且，抽头抽出部63关于关注像素，从第一图像信号抽出与图4的抽头抽出部41所抽出的预测抽头相同的抽头结构的预测抽头，并提供给预测部67。
抽头抽出部64关于关注像素，从第一图像信号抽出与图4的抽头抽出部42所抽出的类抽头相同的抽头结构的类抽头，并提供给类分类部65。
类分类部65根据来自抽头抽出部64的类抽头，用与图4的类分类部43相同的方法，对关注像素进行类分类，并将与其结果所得到的类对应的类代码提供给系数存储器66。
系数存储器66按照控制部72的控制，存储每个类的抽头系数。并且，系数存储器66与图4的系数存储器44相同，输出每类的抽头系数中的从类分类部65提供的类代码所表示的类、即关注像素的类的抽头系数。
预测部67获取(接收)抽头抽出部63所输出的预测抽头、以及系数存储器66所输出的抽头系数，使用该预测抽头和抽头系数，进行与图4的预测部45相同的预测运算。由此，预测部67求出关注像素的像素值(的预测值)、即构成HD图像信号(第二图像信号)的像素的像素值，提供给显示控制部68。
从控制部72将表示显示格式的显示格式信息提供给显示控制部68。显示控制部68以来自控制部72的显示格式信息所表示的显示格式，将与从预测部67提供的HD图像信号对应的HD图像显示在显示器69上。
显示器69以按照显示控制部68的控制的显示格式，显示作为光的HD图像。
光检测器70检测(进行光电转换)作为显示在显示器69上的HD图像(显示图像)的光，将作为与该光对应的电信号的相当于HD图像信号的显示图像信号输出到评价值算出部71。
评价值算出部71评价来自光检测器70的显示图像信号，进而评价显示在显示器69上的HD图像。
即，在评价值算出部71中，除了从光检测器70提供显示图像信号之外，还从学习数据存储部61提供关注SHD图像信号。评价值算出部71通过将来自光检测器70的显示图像信号、和来自学习数据存储部61的关注SHD图像信号进行比较，进行作为显示图像信号的评价、进而作为观看显示在显示器69上的HD图像的用户所感觉的像质的评价的评价值算出，并提供给控制部72。
控制部72根据来自评价值算出部71的评价值，决定与照相机1(图1)所输出的SD图像信号相当的、在虚拟摄影图像生成部62中生成的虚拟摄影图像信号的信号格式，将表示该信号格式的信号格式信息提供给虚拟摄影图像生成部62。
另外，控制部72根据来自评价值算出部71的评价值，决定显示控制部68将与从预测部67提供的HD图像信号对应的HD图像显示在显示器69上的显示格式，将表示该显示格式的显示格式信息提供给显示控制部68。
并且，控制部72根据来自评价值算出部71的评价值，决定图像转换部73用于图像转换处理的每类的抽头系数，通过控制系数存储器66，将该抽头系数存储在系数存储器66中。
下面参照图10，说明图9的学习数据存储部61作为学习数据所存储的SHD图像信号、与图像转换部73(的预测部67)所输出的HD图像信号(显示在显示器69上的HD图像的HD图像信号)之间的关系。
SHD图像信号和HD图像信号，例如分别如图10的上面和下面所示，都是每1个像素具有R、G、B三个颜色成分的像素值的图像信号。
但是，HD图像信号是像素数比SHD图像信号少的低分辨率的图像信号(SHD图像信号是像素数比HD图像信号多的高分辨率的图像信号)。
即，例如HD图像信号是SHD图像信号的6×6像素对应于1个像素的图像信号。此外，在图10中，为了便于理解HD图像信号的1个像素和SHD图像信号的6×6像素之间的对应，以相同的大小图示了HD图像信号的1个像素和SHD图像信号的6×6像素，但是HD图像信号和SHD图像信号的像素大小本身未必是图10所示的关系。这点对于SD图像信号和HD图像信号的像素大小也相同。
下面，参照图11以及图12，说明图9的虚拟摄影图像生成部62根据作为学习数据的SHD图像信号生成虚拟摄影图像信号(SD图像信号)的生成方法。
虚拟摄影图像生成部62例如通过从SHD图像信号生成具有由图10所说明的关系的HD图像信号，即例如通过将SHD图像信号的6×6像素的R、G、B各自的平均值分别作为与该6×6像素对应的HD图像信号的1个像素的R、G、B求出、或者通过将SHD图像信号的6×6像素中的某一个像素的R、G、B分别作为与该6×6像素对应的HD图像信号的1个像素的R、G、B求出，从而生成HD图像信号，进而从该HD图像信号生成作为SD图像信号的虚拟摄影图像信号。
具体地说，将现在的SD图像信号设为例如HD图像信号的2×2像素与1个像素对应的图像信号，从控制部72对虚拟摄影图像生成部62提供例如表示图8的上面所示的拜耳格式的信号格式信息时，虚拟摄影图像生成部62例如如图11所示，从HD图像信号生成作为来自控制部72的信号格式信息所表示的信号格式的SD图像信号的虚拟摄影图像信号。
即，在该情况下，虚拟摄影图像生成部62如图11所示，检测与拜耳格式的SD图像信号的各像素对应的HD图像信号的2×2像素，从该2×2像素求出与该2×2像素对应的SD图像信号的1个像素的像素值，由此，生成作为虚拟摄影图像信号的拜耳格式的SD图像信号。
在此，拜耳格式的SD图像信号的各像素，作为像素值只具有R、G、B中的某个颜色成分，因此虚拟摄影图像生成部62从HD图像信号的2×2像素，求出与该2×2像素对应的SD图像信号的1个像素作为像素值所具有的颜色成分。
具体地说，在将拜耳格式的SD图像信号像素中的例如作为像素值只具有G成分的像素设为关注像素的情况下，如图11所示，作为关注像素的像素值，求出与关注像素对应的HD图像信号的2×2像素的像素值中的G成分的平均值等。
另外，在将拜耳格式的SD图像信号的像素中的例如作为像素值只具有B成分的像素设为关注像素的情况下，如图11所示，作为关注像素的像素值，求出与关注像素对应的HD图像信号的2×2像素的像素值中的B成分的平均值等。关于将拜耳格式的SD图像信号的像素中的例如作为像素值只具有R成分的像素，也同样地求出像素值。
此外，除此之外在从控制部72向虚拟摄影图像生成部62提供例如图8的下左所示的表示将拜耳格式的像素位置每隔1列向下方向偏移的信号格式的信号格式信号的情况下，虚拟摄影图像生成部62也与图11中说明的相同，从HD图像信号生成作为来自控制部72的信号格式信息所表示的信号格式的SD图像信号的虚拟摄影图像信号。
即，虚拟摄影图像生成部62在将图8的下左所示的信号格式的SD图像信号的像素中的例如作为像素值只具有G成分的像素设为关注像素的情况下，如图12所示，作为关注像素的像素值求出与关注像素对应的HD图像信号的2×2像素的像素值中的G成分的平均值等。
另外，在将图8的下左所示的信号格式的SD图像信号的像素中的例如作为像素值只具有R成分的像素设为关注像素的情况下，如图12所示，作为关注像素的像素值求出与关注像素对应的HD图像信号的2×2像素的像素值中的R成分的平均值等。关于图8的下左所示的信号格式的SD图像信号的像素中的作为像素值只具有B成分的像素，也同样地求出像素值。
下面，在图9的学习装置中，显示控制部68以从控制部72提供的显示格式信息所表示的显示格式，将与HD图像信号对应的HD图像显示在显示器69上。因此，显示器69构成为能够以各种显示格式来显示HD图像。
即，图13示出了显示器69的显示画面和HD图像之间的关系。
显示器69如图13的上面所示，具有将与SHD图像的1个像素对应的区域设为能够显示颜色成分的最小单位即最小显示单位的显示画面。如图10所述，SHD图像的6×6像素与HD图像的1个像素对应，因此关于将与SHD图像的1个像素对应的区域设为最小显示单位的显示画面，该6×6个的最小显示单位与图13的下面所示的HD图像的1个像素对应。此外，下面在显示画面中，将与HD图像的像素对应的6×6个的最小显示单元，适当称为像素。
显示控制部68例如如图14、图15所示，以来自控制部72的显示格式信息所表示的显示格式，将HD图像显示在显示器69的显示画面上。
即，在来自控制部72的显示格式信息例如表示图7的左上所示的条状的情况下，显示控制部68如图14所示，将显示画面的像素在横方向上进行3等分的、横×纵为2×6个的最小显示单位设为子像素。并且，显示控制部68如图14所示，将HD图像的像素的R、G、B的颜色成分分别显示在从与该像素对应的显示画面的像素的左起第一、第二、第三个子像素上，由此，以来自控制部72的显示格式信息所表示的条状来显示HD图像。
另外，在来自控制部72的显示格式信息表示例如图7的右上所示的1个像素的按R、G、B的顺序在横方向上排列的三个子像素中的G子像素配置在比R和B子像素靠下的位置上的显示格式的情况下，显示控制部68如图15所示，将显示画面的R、G、B这三个子像素(2×6个的最小显示单位)，与显示格式同样地设定成使G子像素配置在比R和B的子像素靠下的位置上。并且，显示控制部68如图15所示，将HD图像的像素的R、G、B的颜色成分显示在显示画面所对应的子像素上，由此以来自控制部72的显示格式信息所表示的显示格式来显示HD图像。
下面参照图16至图18说明图9的评价值算出部71的处理。
评价值算出部71如图9所述，通过将来自光检测器70的显示图像信号与来自学习数据存储部61的关注SHD图像信号进行比较，算出作为显示图像信号的评价、进而作为观看显示器69上显示的HD图像的用户感觉到的像质的评价的评价值。
在此，光检测部70对每个R、G、B检测(光电转换)作为显示在显示器69上的HD图像(显示图像)的光，将作为HD图像信号的显示图像信号输出到评价值算出部71，其中，该HD图像信号作为各像素的像素值具有分别与该R、G、B的光对应的电信号即R成分、G成分、B成分。
即，如图16的上面所示，光检测部70对每个R、G、B检测以显示器69的显示画面的6×6的最小显示单位构成的各像素的光，将作为HD图像信号的显示图像信号输出到评价值算出部71，其中，该HD图像信号作为各像素的像素值具有分别与该R、G、B的光对应的电信号即R成分、G成分、B成分。
另一方面，评价值算出部71从存储在学习数据存储部61中的关注SHD图像信号，生成用于显示图像信号评价的HD图像信号即评价用HD图像信号。
具体地说，评价值算出部71从与HD图像信号的像素对应的关注SHD图像信号的6×6像素的像素值，求出设为HD图像信号的像素的像素值的代表值。即，评价值算出部71，例如将与HD图像信号的像素对应的关注SHD像素信号的6×6像素的R、G、B成分各自的平均值、该6×6像素中的某1个像素的R、G、B成分，作为该6×6像素的R、G、B成分各自的代表值而求出。并且，评价值算出部71作为评价用HD图像信号，生成将关注SHD图像信号的6×6像素的R、G、B成分的代表值分别设为所对应的像素的R、G、B成分的HD图像信号。
而且，评价值算出部71，关于从存储在学习数据存储部61中的SHD图像信号得到的评价用HD图像信号的全部像素，求出评价用HD图像信号的像素的像素值(R1，G1，B1)、和显示图像信号所对应的像素的像素值(R2，G2，B2)之间的平方误差(R1-R2)2+(G1-G2)2+(B1-B2)2，作为评价值求出与对该全部像素的平方误差的总和成反比例的值。
因而，在显示器69中，在由例如作为图14所示的显示格式的条状显示HD图像的情况下，在光检测器70(图9)中，如图17所示检测出作为显示画面的1个像素的6×6个最小显示单位的R、G、B的光、即包含在显示画面的1个像素中的R、G、B各自的子像素(2×6个的最小显示单位)的R、G、B的光，将作为分别与该R、G、B的光对应的电信号的R、G、B成分提供给评价值算出部71。并且，在评价值算出部71中，关于从存储在学习数据存储部61中的SHD图像信号得到的评价用HD图像信号的全部像素，求出来自评价值算出部71的R、G、B成分、和将关注SHD图像信号的6×6像素的代表值设为像素值的评价用HD图像信号的像素的R、G、B成分之间的平方误差，作为评价值求出与对该全部像素的平方误差的总和成反比例的值。
另外，在显示器69中，在以例如图15所示的R、G、B子像素中的G子像素被配置在比R和B子像素靠下的位置上的显示格式来显示HD图像的情况下，在光检测器70(图9)中，如图18所示，检测出作为显示画面的1个像素的6×6个的最小显示单位的R、G、B的光，将作为分别与该R、G、B的光对应的电信号的R、G、B成分提供给评价值算出部71。
即，在该情况下关于R，在光检测器70中检测出包含在显示画面的1个像素中的R的一个子像素(2×6个的最小显示单位)的R的光，将作为与该R的光对应的电信号的R成分提供给评价值算出部71。关于B也与R同样，在光检测器70中检测出包含在显示画面的1个像素中的B的一个子像素(2×6个的最小显示单位)的B的光，将作为与该B的光对应的电信号的B成分，提供给评价值算出部71。
另外，关于G由于配置在比R和B子像素靠下的位置上，因此在显示画面的1个像素中包含两个G子像素的一部分。因此关于G，在光检测器70中检测出将显示画面的1个像素中包含的B的两个子像素(2×6个的最小显示单位)各自的B的光的一部分进行了合成(合计)的光(在图18中标记斜线表示的部分)，将作为与该合成的光对应的电信号的B成分，提供给评价值算出部71。
而且，在评价值算出部71中，关于从存储在学习数据存储部61中的SHD图像信号得到的评价用HD图像信号的全部像素，求出来自评价值算出部71的R、G、B成分、与将关注SHD图像信号的6×6像素的代表值设为像素值的评价用HD图像信号的像素的R、G、B成分的平方误差，作为评价值求出与对关于该全部像素的平方误差总和成反比例的值。
下面参照图19的流程图，说明图9的学习装置所进行的学习抽头系数、信号格式、以及显示格式的学习处理。
在步骤S31中，控制部72从多个初始信号格式中决定设为关注信号格式的初始信号格式Ai，将表示该关注信号格式Ai的信号格式信息提供给虚拟摄影图像生成部62，进入到步骤S32。
即，在图9的学习装置中，作为在学习处理的最初使用的初始信号格式，设定(决定)了例如拜耳格式及现有信号格式等多个信号格式，控制部72将表示多个初始信号格式各自的信号格式信息存储在内置的存储器(未图示)中。并且，控制部72，将存储在内置的存储器中的多个信号格式信息所表示的多个初始信号格式中的、还没有设为关注信号格式的一个信号格式，决定(设定)为关注信号格式Ai，将表示该关注信号格式Ai的信号格式信息提供给虚拟摄影图像生成部62。
在此，Ai表示例如多个初始信号格式中的第i个初始信号格式。
在步骤S32中，控制部72从多个初始显示格式中决定设为关注显示格式的初始显示格式Bj，将表示该关注显示格式Bj的显示格式信息提供给显示控制部68，进入到步骤S33。
即，在图9的学习装置中，作为在学习处理的最初使用的初始显示格式，设定了例如条状、德尔塔以及现有显示格式等多个显示格式，控制部72将表示多个初始显示格式各自的显示格式信息存储在内置的存储器中。并且，控制部72将存储在内置的存储器中的多个显示格式信息所表示的多个初始显示格式中的还没有作为关注显示格式的一个显示格式决定为关注显示格式Bj，将表示该关注显示格式Bj的显示格式信息提供给显示控制部68。
在此，Bj表示例如多个初始显示格式中的第j个初始显示格式。
在步骤S33中，在学习装置(图9)中，关于关注信号格式Ai和关注显示格式Bj的组合，决定临时最佳抽头系数的集合(式(1)的运算中使用的各类的抽头系数(x1，x2，...，xN)的集合)Fi，j。
即，在步骤S33中，在将关注像素格式Ai的SD图像信号设为第一图像信号，将通过在图4的图像转换部11中进行使用了抽头系数的图像转换处理而得到的、作为由具有作为像素值的R、G、B各成分的像素构成的第二图像信号的HD图像信号所对应的HD图像，以关注显示格式Bj显示在显示器69上的情况下，关于关注信号格式Ai和关注显示格式Bj的组合，作为临时最佳抽头系数的集合Fi，j，求出将通过由光检测器70检测出作为显示在该显示器69上的HD图像的光而得到的显示图像信号的评价值为最高的抽头系数的集合。
并且，从步骤S33进入到步骤S34，控制部72判断是否已将存储在内置的存储器中的多个显示格式信息所表示的多个初始显示格式的全部作为关注显示格式、通过步骤S33求出了抽头系数的集合。
在步骤S34中，在判断为还没有将多个初始显示格式的全部设为关注显示格式的情况下，返回到步骤S32，控制部72将多个初始显示格式中的还没有设为关注显示格式的一个初始显示格式决定为新的关注显示格式，将表示该关注显示格式的显示格式信息提供给显示控制部68，下面重复同样的处理。
另外，在步骤S34中，在判断为多个初始显示格式的全部被设为关注显示格式的情况下，进入到步骤S35，判断控制部72是否将存储在内置的存储器中的多个信号格式信息所表示的多个初始信号格式的全部作为关注信号格式、通过步骤S33求出了抽头系数的集合。
在步骤S35中，在判断为还没有将多个初始信号格式的全部设为关注信号格式的情况下，返回到步骤S31，控制部72将多个初始信号格式中的还没有设为关注信号格式的一个初始显示格式决定为新的关注信号格式，将表示该关注信号格式的信号格式信息提供给虚拟摄影图像生成部62，下面重复同样的处理。
另外，在步骤S35中，在被判断为多个初始信号格式的全部被设为关注信号格式的情况下，即关于多个初始信号格式各自和多个初始显示格式各自之间的全部组合都通过步骤S33求出了最佳的抽头系数的集合的情况下，进入到步骤S36，控制部72从初始信号格式和初始显示格式、与关于该初始信号格式和初始显示格式的组合的最佳抽头系数的集合的组合中，临时地决定(临时决定)最佳的信号格式、显示格式、以及抽头系数的集合的组合。
即，在作为多个初始信号格式有I个信号格式、作为多个初始显示格式有J个显示格式的情况下，在步骤S33中，对I×J个初始信号格式和初始显示格式之间的各个组合，求出临时最佳抽头系数的集合，其结果可得到I×J个初始信号格式、初始显示格式、以及抽头系数的集合的组合。在步骤S36中，从该I×J个初始信号格式、初始显示格式、以及抽头系数的集合的组合中，作为最佳的信号格式、显示格式、以及抽头系数的集合的组合，临时决定显示图像信号的评价值为最大的组合。
在步骤S36中，临时决定了最佳的信号格式、显示格式、以及抽头系数的集合的组合后，进入到步骤S37，关于当前最佳显示格式和抽头系数的集合的组合，进行临时决定最佳信号格式的最佳信号格式决定处理，进入步骤S38。
在步骤S38中，关于当前的最佳信号格式和抽头系数的集合的组合，进行临时决定最佳显示格式的最佳显示格式决定处理，进入到步骤S39。
在步骤S39中，关于当前的最佳信号格式和显示格式的组合，进行临时决定最佳抽头系数的集合的最佳抽头系数集合决定处理，进入到步骤S40。
在步骤S40中，控制部72判断由之前的步骤S37求出的当前最佳信号格式、由之前的步骤S38求出的当前最佳显示格式、以及由之前的步骤S39求出的当前最佳抽头系数的集合的组合，是否被最佳化。
即，在之前的步骤S39的最佳抽头系数集合决定处理中，关于当前的临时最佳信号格式和显示格式的组合，作为最佳抽头系数的集合临时决定如后所述评价值算出部71所算出的评价值为最大的抽头系数的集合，但是在步骤S40中，根据例如关于该最佳抽头系数的集合的评价值是否为预先决定的最佳化判断用的阈值以上(更大)，判断当前的临时最佳信号格式、当前的临时最佳显示格式、以及当前的临时最佳抽头系数的集合的组合是否被最佳化。
在步骤S40中，在判断为当前的临时最佳信号格式、当前的临时最佳显示格式、以及当前的临时最佳抽头系数的集合的组合没有被最佳化的情况下，即在关于由之前的步骤S39临时决定的最佳抽头系数的集合的评价值不是最佳化的判断用阈值以上的情况下，返回步骤S37，重复同样的处理。
另外，在步骤S40中，在判断为当前的临时最佳信号格式、当前的临时最佳显示格式、以及当前的临时最佳抽头系数的集合的组合被最佳化的情况下，即在关于由之前的步骤S39临时决定的最佳抽头系数的集合的评价值是最佳化的判断用阈值以上的情况下，控制部72将当前的临时最佳信号格式、当前的临时最佳显示格式、以及当前的临时最佳抽头系数的集合的组合，最终地决定为(最终决定)最佳信号格式、最佳显示格式、以及最佳抽头系数的集合的组合，并结束学习处理。
在图1的图像处理系统中，照相机1输出通过图19的学习处理最终决定的最佳信号格式的摄影图像信号(SD图像信号)。另外，显示装置2的显示控制部12(图2)，以通过图19的学习处理最终决定的最佳显示格式，将HD图像显示在显示器13上。而且，在显示装置2的图像转换部11的系数存储器44中存储有通过图19的学习处理最终决定的最佳抽头系数的集合，图像转换部11使用该抽头系数的集合，进行图像转换处理。
其结果，能够提高图1的照相机1和显示装置2的组合即图像处理系统的性能。即，根据作为图1的照相机1和显示装置2的组合的图像处理系统，姑且不论照相机1所输出的摄影图像信号、图像转换部11所输出的HD图像信号的S/N(Signal to Noise ratio：信噪比)等，能够将用户感觉是高像质的图像显示在显示器13上。
此外，在图19中，在关于在最佳抽头系数集合决定处理中求出的抽头系数的集合的评价值是最佳化的判断用阈值以上的情况下，判断为信号格式、显示格式、以及抽头系数的集合的组合被最佳化，但是除此之外，可以例如在最佳信号格式决定处理、最佳显示格式决定处理、以及最佳抽头系数集合决定处理被重复了规定次数的情况下，判断为信号格式、显示格式、以及抽头系数的集合的组合被最佳化。
下面，参照图20的流程图，详细说明关于关注信号格式Ai和关注像素格式Bj的组合决定临时最佳抽头系数集合Fi，j的图19的步骤S33的处理。
在步骤S51中，控制部72决定图像转换部73在图像转换处理中使用的每个类的抽头系数的集合。即，例如将类的总数设为α、将各类的抽头系数的数设为β(式(1)的N)、将抽头系数的位数设为γ时，抽头系数集合可能采用的情况数存在α×β×2γ个，控制部72将该α×β×2γ个抽头系数集合中的在本次的图20的处理中还没有设为关注抽头系数集合的一个集合，决定为关注抽头系数集合。
并且，控制部72将关注抽头系数集合提供给系数存储器66进行存储，从步骤S51进入到S52。
在步骤S52中，控制部72将表示关注信号格式Ai的信号格式信息提供给虚拟摄影图像生成部62，由此在虚拟摄影图像生成部62中生成作为关注信号格式Ai的虚拟摄影图像信号的SD图像信号。
即，虚拟摄影图像生成部62，当从控制部72提供表示关注信号格式Ai的信号格式信息时，通过将存储在学习数据存储部61中的SHD图像信号的像素数进行间除等，生成关注信号格式Ai的SD图像信号，作为与照相机1(图1)所输出的摄影图像信号相当的虚拟摄影图像信号，提供给图像转换部73。
然后，从步骤S52进入到步骤S53，图像转换部73进行如下的图像转换处理：将从虚拟摄影图像生成部62提供的关注信号格式Ai的虚拟摄影图像信号(SD图像信号)设为第一图像信号，将该第一图像信号转换为作为例如1个像素具有R、G、B成分全部的第二图像信号的HD图像信号的图像转换处理。
即，在步骤S53中，首先最初在步骤S531中，图像转换部73的抽头抽出部63将从虚拟摄影图像生成部62提供的虚拟摄影图像信号设为第一图像信号，并且将对该第一图像信号进行变换而将要得到的高像质(高分辨率)的HD图像信号设为第二图像信号(作为该第二图像信号的HD图像信号是将来要求出的图像信号，在现阶段不存在，因此是虚拟的设想)，将构成第二图像信号的像素依次设为关注像素。而且，抽头抽出部63关于关注像素，从第一图像信号抽出与图4的抽头抽出部41所抽出的预测抽头相同的抽头结构的预测抽头，提供给预测部67。
进而，在步骤S531中，抽头抽出部64关于关注像素，从第一图像信号抽出与图4的抽头抽出部42所抽出的类抽头相同的抽头结构的类抽头，提供给类分类部65。
然后，从步骤S531进入到步骤S532，类分类部65根据来自抽头抽出部64的类抽头，用与图4的类分类部43相同的方法，将关注像素进行类分类，将与其结果所得到的类对应的类代码提供给系数存储器66，进入到步骤S533。
在步骤S533中，系数存储器66获取按照控制部72的控制存储的关注抽头系数集合中的、从类分类部65提供的类代码所表示的类、即关注像素的类的抽头系数，输出到预测部67，并进入步骤S534。
在步骤S534中，预测部67获取抽头抽出部63所输出的预测抽头、以及系数存储器66所输出的抽头系数，使用该预测抽头和抽头系数，进行与图4的预测部45相同的预测运算、即例如进行式(1)的运算。由此预测部67求出关注像素的像素值(的预测值)、即构成HD图像信号(第二图像信号)的像素的像素值，提供给显示控制部68。
在步骤S53的处理后进入到步骤S54，控制部72将表示关注显示格式Bj的显示格式信息提供给显示控制部68。由此，显示控制部68以来自控制部72的显示格式信息所表示的关注显示格式Bj，将与图像转换部73所输出的HD图像信号对应的HD图像显示在显示器69上，从步骤S54进入步骤S55。
在步骤S55中，光检测器70检测出(进行光电转换)作为显示在显示器69上的HD图像(显示图像)的光，将作为与该光对应的电信号的与HD图像信号相当的显示图像信号输出到评价值算出部71，进入到步骤S56。
在步骤S56中，评价值算出部71评价来自光检测器79的显示图像信号，进而评价显示在显示器69上的HD图像。
即，评价值算出部71从学习数据存储部61读出与来自光检测器70的显示图像信号对应的SHD图像信号，通过比较显示图像信号和所对应的SHD图像信号，算出作为显示图像信号的评价、进而作为观看显示在显示器69上的HD图像的用户所感觉到的像质的评价的评价值，并提供给控制部72。
在此，对存储在学习数据存储部61中的SHD图像信号的全部帧进行步骤S52至S56的处理。而且，控制部72关于关注抽头系数集合，求出对存储在学习数据存储部61中的SHD图像信号的全部帧所得到的评价值的例如总和，并将该总和作为关于关注抽头系数集合的最终评价值，进行临时存储。
然后，从步骤S56进入到步骤S57，控制部72判断是否关于抽头系数的集合可能采用的α×β×2γ个值的全部算出了评价值。
在步骤S57中，在判断为还没有关于抽头系数的集合可能采用的α×β×2γ个值的全部算出评价值的情况下，即在α×β×2γ个抽头系数集合中有在本次图20的处理中还没有设为关注抽头系数集合的集合的情况下，返回到步骤S51，控制部72将α×β×2γ个抽头系数集合中的在本次图20的处理中还没有设为关注抽头系数集合的一个集合决定为新的关注抽头系数集合，下面重复同样的处理。
另外在步骤S57中，在判断为关于抽头系数的集合可能采用的α×β×2γ个值的全部算出了评价值的情况下，进入到步骤S58，控制部72将α×β×2γ个抽头系数集合中的评价值最高的抽头系数的集合，决定为关于关注信号格式Ai和关注显示格式Bj的组合的最佳抽头系数集合Fi，j并返回。
在此，如图19中所述，在作为多个初始信号格式有I个信号格式、作为多个初始显示格式有J个显示格式的情况下，作为步骤S33的处理的图20的处理进行I×J次，其结果可得到I×J个初始信号格式、初始显示格式、以及抽头系数的集合的组合。在图19的步骤S36中，从该I×J个初始信号格式、初始显示格式、以及抽头系数的集合的组合中，作为最佳的信号格式、显示格式、以及抽头系数的集合的组合，临时决定由图20的处理得到的评价值为最大的组合。
此外，将如上所述的、关于抽头系数的集合可能采用的α×β×2γ个值的全部算出评价值、求出该评价值为最高的抽头系数的抽头系数学习，称为循环学习。
下面，参照图21的流程图，详细说明图19的步骤S37的最佳信号格式决定处理。
在步骤S71中，控制部将当前的临时的(进行临时决定的)最佳信号格式作为基准，决定最佳信号格式的多个候选。
即，例如假设拜耳格式是当前的临时最佳信号格式时，控制部72例如如图8所示，将拜耳格式稍微变形而得到的几个(多个)信号格式，决定为最佳信号格式的多个候选。此外，关于为了得到最佳信号格式的多个候选应如何对当前的临时最佳信号格式进行变形，例如预先决定了变形规则，控制部72按照该变形规则，对当前的临时最佳信号格式进行变形，决定最佳信号格式的多个候选。
在步骤S71的处理后进入步骤S72，控制部72将最佳信号格式的多个候选中的还没有设为关注信号格式的一个候选，决定为关注信号格式，将表示该关注信号格式的信号格式信息提供给虚拟摄影图像生成部62，进入步骤S73。
在步骤S73中，虚拟摄影图像生成部62通过将存储在学习数据存储部61中的SHD图像信号的像素数进行间除等，生成来自控制部72的信号格式信息所表示的关注信号格式的SD图像信号，作为与照相机1(图1)所输出的摄影图像信号相当的虚拟摄影图像信号提供给图像转换部73，进入到步骤S74。
在步骤S74中，控制部72将当前的临时最佳抽头系数的集合储存到系数存储器66中。并且在步骤S74中，图像转换部73与图20的步骤S53同样，将从虚拟摄影图像生成部62提供的关注信号格式的虚拟摄影图像信号(SD图像信号)设为第一图像信号，进行将该第一图像信号通过与存储在系数存储器66中的当前的临时最佳抽头系数的集合之间的运算而转换为作为第二图像信号的HD图像信号的图像转换处理，将其结果所得到的HD图像信号提供给显示控制部68。
在步骤S74的处理后，进入步骤S75，控制部72将表示当前临时最佳显示格式的显示格式信息提供给显示控制部68。由此，显示控制部68以来自控制部72的显示格式信息所表示的当前临时最佳显示格式，将与图像转换部73所输出的HD图像信号对应的HD图像显示在显示器69上，从步骤S75进入步骤S76。
在步骤S76中，光检测器70检测出(进行光电转换)作为显示在显示器69上的HD图像(显示图像)的光，将作为与该光对应的电信号的与HD图像信号相当的显示图像信号输出到评价值算出部71，进入步骤S77。
在步骤S77中，评价值算出部71评价来自光检测器70的显示图像信号、进而评价显示在显示器69上的HD图像。
即，评价值算出部71从学习数据存储部61读出与来自光检测器70的显示图像信号对应的SHD图像信号，通过将显示图像信号和所对应的SHD图像信号进行比较，算出作为显示图像信号的评价、进而作为观看显示在显示器69上的HD图像的用户所感觉到的像质的评价的评价值，并供给控制部72。
在此，对存储在学习数据存储部61中的SHD图像信号的全部帧进行步骤S73至S77的处理。并且，控制部72关于关注信号格式，求出对存储在学习数据存储部61中的SHD图像信号的全部帧所得到的评价值的例如总和，将该总和作为关于关注信号格式的最终评价值进行临时存储。
然后，从步骤S77进入到步骤S78，控制部72判断关于最佳信号格式的多个候选的全部是否算出了评价值。
在步骤S78中，在判断为还没有关于最佳信号格式的多个候选的全部算出评价值的情况下，返回步骤S72，控制部72将最佳信号格式的多个候选中的还没有设为关注信号格式的一个候选决定为新的关注信号格式，下面重复同样的处理。
另外，在步骤S78中，在判断为关于最佳信号格式的多个候选的全部算出了评价值的情况下，进入步骤S79，控制部72将最佳信号格式的多个候选中的评价值为最高的候选，临时决定为新的对当前临时最佳显示格式和抽头系数的集合的组合的最佳信号格式并返回。
下面，参照图22的流程图，详细叙述图19的步骤S38的最佳显示格式决定处理。
在步骤S91中，控制部72以当前临时(进行临时决定)的最佳显示格式为基准决定最佳显示格式的多个候选。
即，例如假设条状是当前的临时最佳显示格式时，控制部72例如如图7所示，将条状稍微变形所得到的几个(多个)显示格式决定为最佳显示格式的多个候选。此外，关于为了得到最佳显示格式的多个候选应如何对当前的临时最佳显示格式进行变形，例如预先决定了变形规则，控制部72按照该变形规则，将当前的临时最佳显示格式进行变形，决定最佳显示格式的多个候选。
步骤S91的处理后进入到步骤S92，控制部72将表示当前临时最佳信号格式的信号格式信息提供给虚拟摄影图像生成部62。由此，虚拟摄影图像生成部62通过将存储在学习数据存储部61中的SHD图像信号的像素数进行间除等，生成来自控制部72的信号格式信号所表示的关注信号格式的SD图像信号，作为与照相机1(图1)所输出的摄影图像信号相当的虚拟摄影图像信号，提供给图像转换部73，进入步骤S93。
在步骤S93中，图像转换部73与图20的步骤S53同样，将从虚拟摄影图像生成部62提供的虚拟摄影图像信号(SD图像信号)设为第一图像信号，进行将该第一图像信号通过与存储在系数存储器66中的当前临时最佳抽头系数集合之间的运算而转换为作为第二图像信号的HD图像信号的图像转换处理，将其结果所得到的HD图像信号提供给显示控制部68。
在步骤S93的处理后进入到步骤S94，控制部72将最佳显示格式的多个候选中的还没有设为关注显示格式的一个候选，决定为关注显示格式，将表示该关注显示格式的显示格式信息提供给显示控制部68，进入步骤S95。
在步骤S95中，显示控制部68以来自控制部72的显示格式信息所表示的关注显示格式，将与图像转换部73所输出的HD图像信号对应的HD图像显示在显示器69上，进入步骤S96。
在步骤S96中，光检测器70检测出(进行光电转换)作为显示在显示器69上的HD图像(显示图像)的光，将作为与该光对应的电信号的与HD图像信号相当的显示图像信号输出到评价值算出部71，进入到步骤S97。
在步骤S97中，评价值算出部71评价来自光检测器70的显示图像信号、进而评价显示在显示器69上的HD图像。
即，评价值算出部71从学习数据存储部61读出与来自光检测器70的显示图像信号对应的SHD图像信号，通过将显示图像信号和所对应的SHD图像信号进行比较，算出作为显示图像信号的评价、进而作为观看显示在显示器69上的HD图像的用户所感觉到的像质的评价的评价值，提供给控制部72。
在此，对存储在学习数据存储部61中的SHD图像信号的全部帧，进行步骤S92和S93、以及S95至S97的处理。并且，控制部72关于关注显示格式，求出对存储在学习数据存储部61中的SHD图像信号的全部帧所得到的评价值的例如总和，将该总和作为关于关注显示格式的最终评价值，进行临时存储。
然后，从步骤S97进入到步骤S98，控制部72判断是否关于最佳显示格式的多个候选的全部算出了评价值。
在步骤S98中，在判断为还没有对最佳显示格式的多个候选的全部算出评价值的情况下，返回到步骤S94，控制部72将最佳显示格式的多个候选中的还没有设为关注显示格式的一个候选决定为新的关注显示格式，下面重复同样的处理。
另外，在步骤S98中，在判断为关于最佳显示格式的多个候选的全部算出了评价值的情况下，进入步骤S99，控制部72将最佳显示格式的多个候选中的评价值为最高的候选，决定为新的对当前临时最佳信号格式和抽头系数的集合的组合的最佳显示格式并返回。
下面参照图23的流程图，详细叙述图19的步骤S39的最佳抽头系数集合决定处理。
在步骤S111中，控制部72以当前临时(进行临时决定)的最佳抽头系数集合为基准，决定最佳抽头系数集合的多个候选。
即，控制部72例如选择将当前临时最佳抽头系数集合的各抽头系数设为分量的Z维向量(该情况下类总数和每1类的抽头系数的数之积为Z)所表示的、以Z维向量空间的点为基准的规定范围内的多个点，将分别表示该多个点的多个Z维向量(的分量)决定为最佳抽头系数集合的多个候选。此外，关于为了得到最佳抽头系数集合的多个候选而将与当前临时最佳抽头系数集合对应的Z维向量作为基准来选择哪个范围的哪个点，预先决定了规则，控制部72按照该规则，通过选择将与当前临时最佳抽头系数集合对应的Z维向量作为基准的规定范围内的多个点，决定最佳抽头系数集合的多个候选。
在步骤S111的处理后进入到步骤S112，控制部72将表示当前临时最佳信号格式的信号格式信息提供给虚拟摄影图像生成部62。由此，虚拟摄影图像生成部62通过将存储在学习数据存储部61中的SHD图像信号的像素数进行间除等，生成来自控制部72的信号格式信号所表示的信号格式的SD图像信号，作为与照相机1(图1)所输出的摄影图像信号相当的虚拟摄影图像信号，提供给图像转换部73，进入步骤S113。
在步骤S113中，控制部72将最佳抽头系数集合的多个候选中的还没有设为关注抽头系数集合的一个集合决定为关注抽头系数集合，通过控制系数存储器66来存储该关注抽头系数集合，进入步骤S114。
在步骤S114中，图像转换部73与图20的步骤S53同样，将从虚拟摄影图像生成部62提供的虚拟摄影图像信号(SD图像信号)设为第一图像信号，进行将该第一图像信号通过与存储在系数存储器66中的关注抽头系数集合的运算而转换为作为第二图像信号的HD图像信号的图像转换处理，将其结果所得到的HD图像信号提供给显示控制部68。
在步骤S114的处理后进入步骤S115，控制部72将表示当前临时最佳显示格式的显示格式信息提供给显示控制部68。由此，显示控制部68以来自控制部72的显示格式信息所表示的显示格式，将与图像转换部73所输出的HD图像信号对应的HD图像显示在显示器69上，进入步骤S116。
在步骤S116中，光检测器70检测出(进行光电转换)作为显示在显示器69上的HD图像(显示图像)的光，将作为与该光对应的电信号的与HD图像信号相当的显示图像信号输出到评价值算出部71，进入步骤S117。
在步骤S117中，评价值算出部71评价来自光检测器70的显示图像信号、进而评价显示在显示器69上的HD图像。
即，评价值算出部71从学习数据存储部61读出与来自光检测器70的显示图像信号对应的SHD图像信号，通过将显示图像信号和所对应的SHD图像信号进行比较，算出作为显示图像信号的评价、进而作为观看显示在显示器69上的HD图像的用户所感觉到的像质的评价的评价值，提供给控制部72。
在此，对存储在学习数据存储部61中的SHD图像信号的全部帧进行步骤S112、以及S114至S117的处理。并且，控制部72关于关注抽头系数集合，求出对存储在学习数据存储部61中的SHD图像信号的全部帧所得到的评价值的例如总和，将该总和作为关于关注抽头系数集合的最终评价值，进行临时存储。
然后，从步骤S117进入步骤S118，控制部72判断是否关于最佳抽头系数集合的多个候选的全部算出了评价值。
在步骤S118中，在判断为还没有关于最佳抽头系数集合的多个候选的全部算出评价值的情况下，返回步骤S113，控制部72将最佳抽头系数集合的多个候选中的还没有设为关注抽头系数集合的一个候选决定为新的关注抽头系数集合，下面重复同样的处理。
另外，在步骤S118中，在判断为关于最佳抽头系数集合的多个候选的全部算出了评价值的情况下，进入步骤S113，控制部72将最佳抽头系数集合的多个候选中的评价值为最高的候选，临时决定为新的对当前临时最佳信号格式和显示格式的组合的最佳抽头系数集合并返回。
如上所述，在图9的学习装置中，在图19的步骤S37中进行如下的最佳信号格式决定处理(图21)：控制部72作为最佳信号格式的多个候选决定多个信号格式，关于该多个信号格式的每个，虚拟摄影图像生成部62生成虚拟摄影图像信号，图像转换部73将虚拟摄影图像信号通过与由控制部72决定的抽头系数(当前临时最佳抽头系数的集合)的运算转换为HD图像信号，显示控制部68将与HD图像信号对应的HD图像，以由控制部72决定的某显示格式(当前临时最佳显示格式)显示在显示器69上，光检测器70检测作为显示图像的光，输出与该光对应的电信号即显示图像信号，评价值算出部71通过对显示图像信号进行评价，从多个信号格式中临时决定显示图像信号的评价为最高的信号格式。
而且，在图9的学习装置中，在图19的步骤S38中进行如下的最佳显示格式决定处理(图22)：控制部72作为最佳显示格式的多个候选决定多个显示格式，虚拟摄影图像生成部62生成由控制部72决定的信号格式(当前临时最佳信号格式)的虚拟摄影图像信号，图像转换部73将虚拟摄影图像信号通过与由控制部72决定的抽头系数(当前临时最佳抽头系数的集合)的运算而转换为HD图像信号，关于多个显示格式的每个，显示控制部68将与HD图像信号对应的HD图像显示在显示器69上，光检测器70检测作为显示图像的光，输出与该光对应的电信号即显示图像信号，评价值算出部71通过对显示图像信号进行评价，从多个显示格式中临时决定显示图像信号的评价为最高的显示格式。
另外，在图9的学习装置中，在图19的步骤S39中进行如下的最佳抽头系数集合决定处理(图23)：控制部72作为最佳抽头系数集合的多个候选，决定多个抽头系数(的集合)，虚拟摄影图像生成部62生成由控制部72决定的信号格式(当前临时最佳信号格式)的虚拟摄影图像信号，关于多个抽头系数的每个，图像转换部73将虚拟摄影图像信号转换为HD图像信号，显示控制部68将与HD图像信号对应的HD图像以由控制部72决定的显示格式(当前临时最佳显示格式)显示在显示器69上，光检测器70检测作为显示图像的光，输出与该光对应的电信号即显示图像信号，评价值算出部71通过对显示图像信号进行评价，从多个抽头系数中临时决定显示图像信号的评价为最高的抽头系数。
并且，在图9的学习装置中，如图19中所述，通过重复进行以上的最佳信号格式决定处理、最佳显示格式决定处理、以及最佳抽头系数集合决定处理，直到评价值(在此由之前的最佳抽头系数集合决定处理得到的评价值)成为最佳化判断用阈值以上为止，求出在进行使作为显示在显示器69上的HD图像的显示图像更高像质的图像转换处理中使用的抽头系数(的集合)、成为使用该抽头系数进行的图像转换处理对象的摄影图像信号的信号格式、以及显示与通过以该信号格式的摄影图像信号为对象的图像转换处理而得到的HD图像信号对应的HD图像的显示格式。
因而，根据图9的学习装置，能够求出用户感觉显示在显示器69上的显示图像是更高像质的抽头系数、信号格式、以及显示格式，也就是说能够求出进一步提高由图1的照相机1和显示装置2构成的图像处理系统性能的最佳(合适的)抽头系数、信号格式、以及显示格式。
并且，在图1的照相机1中，输出由图9的学习装置得到的最佳信号格式的摄影图像信号，并且在图1的显示装置2中，使用由图9的学习装置得到的最佳抽头系数而进行图像转换处理，而且通过将由该图像转换处理得到的HD图像以由图9的学习装置得到的最佳显示格式进行显示，从而由照相机1和显示装置2的组合构成图像处理系统的情况下，作为该整个图像处理系统，能够发挥最大性能。
此外，在图21的最佳信号格式决定处理中，在将当前临时最佳信号格式设为基准而决定最佳信号格式的多个候选时，作为当前临时最佳信号格式的变形方法，可采用如下方法：当图19的步骤S37至S39的重复次数小时，使变形很大，随着其重复次数的增加，使得变形渐渐微小。对于显示格式和抽头系数的集合也同样。
另外，在关于最佳信号格式的候选求出的评价值是不那么大的值、且几乎不增加的情况下，能够将当前临时最佳信号格式较大地变形，从而决定最佳信号格式的多个候选。此时，能够解除所谓局部最小的问题。对于显示格式和抽头系数的集合也同样。
下面图24示出了处理图像的图像处理系统的第二结构例。
图24的图像处理系统由照相机601、发送装置602、接收装置603和显示装置605构成。
照相机601拍摄物体(被摄体)，输出通过该摄影得到的SD图像信号即规定的信号格式的摄影图像信号。发送装置602将照相机601输出的规定的信号格式的摄影图像信号发送给接收装置603。
接收装置603接收从发送装置602发送来的规定的信号格式的摄影图像信号。另外接收装置603具有格式转换部604，接收装置603接收的规定的信号格式的摄影图像信号被提供到格式转换部604中，并且表示该显示装置605显示图像的显示格式的显示格式信息被从显示装置605提供到格式转换部604中。
格式转换部604对应由接收装置603接收的摄影图像信号的规定的信号格式、和来自显示装置605的显示格式信息所表示的显示格式，把规定的信号格式(第1信号格式)的摄影图像信号转换为其他信号格式(第2信号格式)的摄影图像信号(SD图像信号)，提供给显示装置605。
显示装置605把从接收装置603的格式转换部604提供的其他信号格式的摄影图像信号，转换为比与该摄影图像信号对应的图像更高像质的HD图像信号，显示与该HD图像信号对应的HD图像。
下面，图25表示了图24中的格式转换部604和显示装置605的结构示例。
格式转换部604由信号获取部611、信号转换部612和显示格式获取部613构成。
信号获取部611通过发送装置602接收并获取照相机601(图24)输出的规定的信号格式的摄影图像信号，提供给信号转换部612。另外，信号获取部611检测(识别)摄影图像信号的信号格式，把表示该信号格式的信号格式信息提供给信号转换部612。
信号转换部612存储格式对应关系信息，该格式对应关系信息表示在显示装置605的后述图像转换部621中成为图像转换处理的对象的SD图像信号的信号格式、和表示与通过图像转换处理得到的HD图像信号对应的HD图像的显示格式之间的对应关系。在此，格式对应关系信息是通过预先进行的学习求得的，表示SD图像信号的信号格式和显示格式之间的对应关系，该显示格式是在显示了与通过以该信号格式的SD图像信号为对象的图像转换处理而得到的HD图像信号对应的HD图像的情况下，用户感觉为最高像质的显示格式。
信号转换部612识别格式对应关系信息中与从显示格式获取部613提供的显示格式信息所表示的显示装置605的显示格式对应的信号格式(以下适当地称为对应信号格式)，把来自信号获取部611的规定的信号格式的摄影图像信号转换为作为其他信号格式的对应信号格式的摄影图像信号，提供给显示装置605。
显示格式获取部613从显示控制部622获取(接收)显示格式信息提供给信号转换部612，该显示格式信息表示显示装置605的显示控制部622使HD图像显示在显示器623中的显示格式。
此外，内置有格式转换部604的接收装置603和显示装置605通过有线或无线相连接，但在例如每当建立了接收装置603和显示装置605之间的连接时，显示格式获取部613从显示装置605获取显示格式信息，提供给信号转换部612。
显示装置605由图像转换部621、显示控制部622和显示器623构成。
作为其他信号格式的对应信号格式的摄影图像信号(SD图像信号)从格式转换部612提供给图像转换部621。图像转换部621存储通过预先进行的学习得到的抽头系数的集合，通过与该抽头系数的运算，把对应信号格式的摄影图像信号即SD图像信号转换为HD图像信号，提供给显示控制部622。
显示控制部622进行显示控制，使与从图像转换部621提供的HD图像信号对应的HD图像以下述显示格式显示在显示器623中，所述显示格式是例如通过使用比HD图像更高像质的SHD图像进行的学习而决定的显示格式、已有的显示格式及其他预先决定了的显示格式。此外，显示控制部622具有向外部输出显示格式信息的功能，该显示格式信息表示显示HD图像的显示格式。
显示器623是例如利用CRT、LCD面板等构成的显示单元，按照显示控制部622的控制显示图像。
然后，构成格式转换部604的信号转换部612按照上面所述，把来自信号获取部611的规定的信号格式的SD图像信号(摄影图像信号)，转换为作为其他信号格式的对应信号格式的SD图像信号。该转换可以通过像素(包括子像素)的间除和插值来进行，也可以通过把第1图像信号转换为第2图像信号的图像转换处理来进行。
因此，图26表示把规定的信号格式的SD图像信号设为第1图像信号、并且把作为其他信号格式的对应信号格式的SD图像信号设为第2图像信号，而把规定的信号格式的SD图像信号转换为对应信号格式的SD图像信号的信号转换部612的结构示例。
在图26中，信号转换部612由抽头抽出部631和632、类分类部633、系数存储器634、预测部635和系数选择部636构成。
来自信号获取部611的规定的信号格式的SD图像信号作为第1图像信号提供给信号转换部612。并且，作为第1图像信号的SD图像信号被提供给抽头抽出部631和632。
抽头抽出部631把构成将通过转换第1图像信号得到的、作为第2图像信号的对应信号格式的SD图像信号(该作为第2图像信号的SD图像信号是将来将要求出的图像信号，在当前阶段不存在，所以进行假想设定)的像素，依次作为关注像素，进而从第1图像信号抽出在预测该关注像素的像素值时使用的多个像素的像素值即预测抽头。
具体地讲，抽头抽出部631将相对于对应于关注像素的、第1图像信号的图像的位置(例如，拍摄有与拍摄在关注像素位置的被摄体相同的被摄体的一部分的第1图像信号在图像上的位置)，在空间上或时间上具有接近的位置关系的多个像素(例如最接近对应于关注像素的、第1图像信号在图像上的位置的像素、和在空间上与该像素相邻的像素等)的像素值，作为预测抽头抽出。
抽头抽出部632从第1图像信号，抽出在进行把关注像素分类为几个(多个)类中任一类的类分类时使用的多个像素的像素值即类抽头。
由抽头抽出部631获取的预测抽头提供给预测部635，通过抽头抽出部632获取的类抽头提供给类分类部633。
类分类部633根据来自抽头抽出部632的类抽头，对关注像素进行类分类，把其结果得到的关注像素的类提供给系数存储器634。
此处，作为在类分类部633进行类分类的方法，例如可以采用在图4的类分类部43中说明了的方法。
系数存储器634把多个(多种)信号格式中任意两个分别作为第1信号格式和第2信号格式，对于第1信号格式和第2信号格式的多个组合，分别存储用于把第1信号格式的SD图像信号转换为第2信号格式的SD图像信号的图像转换处理的抽头系数的集合(セツト)(以下适当地称为第1/第2转换抽头系数的集合)。
多个(多种)第1/第2转换抽头系数的集合是通过后述的学习而预先求出的每个类的抽头系数，系数存储器634按照系数选择部636的控制，从多个第1/第2转换抽头系数的集合中，选择把从信号获取部611(图25)提供的信号格式信息所表示的信号格式作为第1信号格式、并且把对应信号格式作为第2信号格式的第1/第2转换抽头系数的集合，作为有效的抽头系数的集合，读出并获取该有效的抽头系数的集合中从类分类部633提供的类的抽头系数，输出给预测部635。
预测部635获取抽头抽出部631输出的预测抽头、和系数存储器634输出的抽头系数，使用该预测抽头和抽头系数，进行求出关注像素的真值的预测值的作为规定的预测运算的算式(1)的运算。由此，预测部635求出关注像素的像素值(的预测值)并输出，即，在此求出构成作为第2图像信号的对应信号格式的SD图像信号的像素的像素值并输出。
从信号获取部611(图25)向系数选择部636提供表示照相机601所输出的SD图像信号的信号格式的信号格式信息(以下适当地称为照相机信号格式信息)，并且从显示格式获取部613(图25)向系数选择部636提供表示显示装置605的显示格式的显示格式信息。系数选择部636存储有格式对应关系信息，在格式对应关系信息中识别与来自显示格式获取部613的显示格式信息所表示的显示装置605的显示格式对应的对应信号格式。并且，系数选择部636控制系数存储器634，从存储在系数存储器634中的多个第1/第2转换抽头系数的集合中，选择把从信号获取部611(图25)提供的照相机信号格式信息所表示的信号格式设为第1信号格式、并把对应信号格式设为第2信号格式的第1/第2转换抽头系数的集合，作为有效的抽头系数的集合。
下面，参照图27的流程图，说明图26中的信号转换部612进行的图像转换处理。
在信号转换部612中，在步骤S601，系数选择部636控制系数存储器634，以在所存储的格式对应关系信息中、识别与从显示格式信息获取部613(图25)提供的显示格式信息所表示的显示装置605的显示格式对应的对应信号格式，选择把来自信号获取部611的照相机信号格式信息所表示的信号格式设为第1信号格式、并把对应信号格式设为第2信号格式的第1/第2转换抽头系数的集合，作为有效的抽头系数的集合。由此，系数存储器634按照系数选择部636的控制，从多个第1/第2转换抽头系数的集合中，选择把照相机信号格式信息所表示的信号格式设为第1信号格式、并把对应信号格式设为第2信号格式的第1/第2转换抽头系数的集合，作为有效的抽头系数的集合，转入步骤S602。
在步骤S602，抽头抽出部631把从信号获取部611(图25)提供的SD图像信号设为第1图像信号，并且把将该第1图像信号转换为对应信号格式的SD图像信号后的、该对应信号格式的SD图像信号设为第2图像信号，依次把构成作为第2图像信号的对应信号格式的SD图像信号的各个像素设为关注像素。并且，抽头抽出部631和632分别从作为第1图像信号的SD图像信号中，抽出成为有关关注像素的预测抽头和类抽头的像素的像素值。预测抽头被从抽头抽出部631提供给预测部635，类抽头被从抽头抽出部632提供给类分类部633。
类分类部633从抽头抽出部632接收有关关注像素的类抽头，在步骤S603，根据该类抽头对关注像素进行类分类。而且，类分类部633把该类分类的结果得到的关注像素的类输出给系数存储器634，转入步骤S604。
在步骤S604中，系数存储器634读出并输出有效的抽头系数的集合中从类分类部633提供的类的抽头系数，转入步骤S605。在预测部635中可获取系数存储器634输出的抽头系数。
在步骤S605中，预测部635使用抽头抽出部631输出的预测抽头和从系数存储器634获取的抽头系数，进行作为规定的预测运算的算式(1)的运算，由此求出关注像素的像素值即第2图像信号的像素的像素值。预测部635按照上面那样，例如每当对一帧求出第2图像信号的像素的像素值时，把该第2图像信号即对应信号格式的SD图像信号输出给显示装置605(的图像转换部621)(图25)。
下面，参照图28的流程图，说明图25中的格式转换部604的处理。
在格式转换部604中，在步骤S611中，显示格式获取部613从显示装置605的显示控制部622获取(接收)显示格式信息，提供给信号转换部612，转入步骤S612。
在步骤S612中，信号获取部611获取(接收)从发送装置602(图24)发送来的规定的信号格式的SD图像信号，检测该SD图像信号的信号格式。并且，信号获取部611把表示所检测出的信号格式的照相机信号格式信息和该信号格式的SD图像信号，提供给信号转换部612，从步骤S612转入步骤S613。
在步骤S613中，信号转换部612例如按照图27中说明的那样，根据格式对应关系信息，使用第1/第2转换抽头系数的集合，把来自信号获取部611的规定的信号格式(照相机信号格式信息所表示的信号格式)的SD图像信号，转换为对应信号格式的SD图像信号提供给显示装置605，所述第1/第2转换抽头系数的集合把来自信号获取部611的照相机信号格式信息所表示的信号格式设为第1信号格式，并把与来自显示格式获取部613的显示格式信息所表示的显示格式对应的对应信号格式设为第2信号格式。
下面，图29表示进行学习处理的学习装置的结构示例，该学习处理用于求出与存储在图26的系数存储器634中的多个信号格式分别相关的抽头系数的集合。
图29中的学习装置由学习数据存储部641、学习对数据生成部642、控制部643、抽头抽出部644和645、类分类部646、正规方程式生成部647、及抽头系数算出部648构成，通过以使用上述正规方程式的学习方法、也就是对每个类建立算式(8)的正规方程式并求解的学习方法进行学习，求出每个类的抽头系数。
学习数据存储部641存储例如SHD图像信号(SHD图像)、HD图像信号或SD图像信号，作为分别与在多个信号格式相关的抽头系数的学习中使用的学习数据。
学习对数据生成部642按照控制部643的控制，从存储在学习数据存储部641中的学习数据生成作为学生信号的第1信号格式的SD图像信号、和把该SD图像信号的信号格式设为第2信号格式的、作为教师信号的第2信号格式的SD图像信号，把这种作为学生信号的SD图像信号和作为教师信号的SD图像信号的集合作为学习对数据，提供给抽头抽出部644和645及正规方程式生成部647。
此处，教师信号是指针对某个输入信号的理想的输出信号。另外，学生信号是指为了获得教师信号而得到的输入信号。
控制部643把表示作为学生信号的SD图像信号的信号格式(第1信号格式)和作为教师信号的SD图像信号的信号格式(第2信号格式)的信号格式指示信息，提供给学习对数据生成部642，由此对学习对数据生成部642控制(指示)作为教师信号和学生信号的SD图像信号各自的信号格式。
另外，从抽头系数算出部648向控制部643提供第1/第2转换抽头系数的集合，该第1/第2转换抽头系数的集合是把提供给学习对数据生成部642的信号格式信息所表示的第1信号格式和第2信号格式各自的SD图像信号的集合用作学习对数据而求出的。控制部643与提供给学习对数据生成部642的信号格式信息相对应地，存储来自抽头系数算出部648的第1/第2转换抽头系数的集合。
抽头抽出部644依次把从学习对数据生成部642提供的学习对数据中作为教师信号的第2信号格式的SD图像信号的像素作为关注像素，对于该关注像素，从学习对数据中作为学生信号的第1信号格式的SD图像信号，抽出设为预测抽头的像素的像素值，把与在构成图26的信号转换部612的抽头抽出部631获得的预测抽头的抽头结构相同的预测抽头，提供给正规方程式生成部647。
抽头抽出部645对于关注像素，从由学习对数据生成部642提供的第1信号格式的SD图像信号，抽出设为类抽头的像素的像素值，把与在构成图26的信号转换部612的抽头抽出部632获得的类抽头的类抽头结构相同的类抽头，提供给类分类部646。
类分类部646根据从抽头抽出部645提供的类抽头，与构成图26的信号转换部612的类分类部633相同，对关注像素进行类分类，把其结果得到的关注像素的类提供给正规方程式生成部647。
正规方程式生成部647对从类分类部646提供的每个类进行累加，该累加以从学习对数据生成部642提供的学习对数据中作为教师信号的第2信号格式的SD图像信号中的关注像素(的像素值)yk、和构成从抽头抽出部631提供的关注像素的预测抽头的像素(的像素值)xn，k为对象。
即，正规方程式生成部647对从类分类部646提供的每个类，使用构成从抽头抽出部644提供的与关注像素相关的预测抽头的第1信号格式的SD图像信号的像素(以下适当地称为第1像素)xn，k，进行算式(8)中左边矩阵的各个第1像素的相乘(xn，kxn’，k)和相当于求和(∑)的运算。
而且，正规方程式生成部647还对从类分类部646提供的每个类，使用第1像素xn，k和第2信号格式的SD图像信号的像素(关注像素)yk，进行算式(8)中右边向量中的第1像素xn，k和关注像素yk的相乘(xn，kyk)以及相当于求和(∑)的运算。
即，正规方程式生成部647把对前次成为关注像素的第2信号格式的SD图像信号的像素(以下适当地称为第2像素)求出的、算式(8)中左边矩阵的成分(∑xn，kxn’，k)和右边向量中的成分(∑xn，kyk)，存储在其内置的存储器(未图示)中。
并且，正规方程式生成部647将存储在存储器中的矩阵的成分(∑xn，kxn’，k)，与使用构成与成为新的关注像素的第2像素相关的预测抽头的第1像素xn，k+1计算的、对应的成分xn，k+1xn’，k+1相加(进行利用算式(8)中左边矩阵内的求和表示的相加)，并且，将存储在存储器中的向量的成分(∑xn，kyk)，与关于成为新的关注像素的第2像素使用该第2像素yk+1和第1像素xn，k+1计算的对应的成分xn，k+1yk +1相加(进行利用算式(8)中右边向量内的求和表示的相加)。
正规方程式生成部647把从学习对数据生成部642提供的学习对数据中作为教师信号的第2信号格式的SD图像信号的所有像素作为关注像素，进行上述的累加，由此对于各个类列出算式(8)所示的正规方程式，把该正规方程式提供给抽头系数算出部648。
抽头系数算出部648通过求解从正规方程式生成部647提供的有关各个类的正规方程式，对各个类求出最佳的抽头系数(使算式(4)的平方误差的总和E为最小的抽头系数)wn的集合，作为第1/第2转换抽头系数的集合提供给控制部643。
下面，参照图30的流程图，说明图29中的学习装置进行的求出第1/第2转换抽头系数的集合的学习处理。
在图29的学习装置中，在步骤S621中，控制部643从预先决定的多个信号格式中，把尚未成为关注第1信号格式和关注第2信号格式的组合的一个信号格式与另一个信号格式的组合中的一个组合的一个信号格式，决定为关注第1信号格式，并且把另一个信号格式决定为关注第2信号格式，把表示该关注第1信号格式和关注第2信号格式的信号格式指示信息提供给学习对数据生成部642，转入步骤S622。
在步骤S622中，学习对数据生成部642按照来自控制部643的信号格式指示信息，从存储在学习数据存储部641中的学习数据，生成作为学生信号的、信号格式指示信息所表示的关注第1信号格式的SD图像信号、以及作为教师信号的、信号格式指示信息所表示的关注第2信号格式的SD图像信号，把这种作为学生信号的SD图像信号和作为教师信号的SD图像信号的集合，作为学习对数据，提供给抽头抽出部644和645及正规方程式生成部647，转入步骤S623。
在步骤S623中，抽头抽出部644依次把从学习对数据生成部642提供的学习对数据中作为教师信号的关注第2信号格式的SD图像信号的像素作为关注像素，对于该关注像素，从学习对数据中作为学生信号的关注第1信号格式的SD图像信号抽出成为预测抽头的像素的像素值，提供给正规方程式生成部647。
另外，抽头抽出部645对于关注像素，从学习对数据中作为学生信号的关注第1信号格式的SD图像信号，抽出成为类抽头的像素的像素值，提供给类分类部646。
在步骤S624中，类分类部646根据来自抽头抽出部645的类抽头，对关注像素进行类分类，把其结果得到的关注像素的类提供给正规方程式生成部647，转入步骤S625。
在步骤S625中，正规方程式生成部647把来自学习对数据生成部642的学习对数据中的关注像素(的像素值)、和构成对从抽头抽出部644提供的关注像素得到的预测抽头的关注第1信号格式的SD图像信号的像素(的像素值)作为对象，按照上面所述进行对从类分类部646提供的类建立的算式(8)的累加。
并且，正规方程式生成部647把从学习对数据生成部642提供的学习对数据中作为教师信号的关注第2信号格式的SD图像信号的所有像素作为关注像素，进行步骤S625的累加时，把通过该累加得到的各个类的正规方程式(每个类的算式(8)中的左边矩阵、右边的向量)，提供给抽头系数算出部648，从步骤S625转入步骤S626。
在步骤S626中，抽头系数算出部648通过求解从正规方程式生成部647提供的各个类的正规方程式(利用每个类的算式(8)中的左边矩阵和右边向量构成的每个类的正规方程式)，求出各个类的抽头系数的集合，把该抽头系数的集合作为第1/第2转换抽头系数的集合提供给控制部643，该第1/第2转换抽头系数的集合把关注第1信号格式设为第1信号格式、把关注第2信号格式设为第2信号格式。
控制部643把来自抽头系数算出部648的第1/第2转换抽头系数的集合与关注第1信号格式和关注第2信号格式相对应进行存储，从步骤S626转入步骤S627。
在步骤S627中，控制部643判断预先决定的多个信号格式中有无尚未成为关注第1信号格式和关注第2信号格式的组合的一个信号格式和另一个信号格式的组合。
在步骤S627，在判断为预先决定的多个信号格式中有未成为关注第1信号格式和关注第2信号格式的组合的一个信号格式和另一个信号格式的组合时，返回步骤S621，控制部643从预先决定的多个信号格式中，把尚未成为关注第1信号格式和关注第2信号格式的组合的一个信号格式和另一个信号格式的组合中的一个组合的一个信号格式，决定为新的关注第1信号格式，并且把另一个信号格式决定为新的关注第2信号格式，以后重复相同的处理。
另外，在步骤S627中，在判断为预先决定的多个信号格式中没有未成为关注第1信号格式和关注第2信号格式的组合的一个信号格式和另一个信号格式的组合时，即，在对于从预先决定的多个信号格式中作为关注第1信号格式和关注第2信号格式的组合而获得的所有情况，求出了第1/第2转换抽头系数的集合，控制部643在存储了与第1信号格式和第2信号格式的各种组合相对应的第1/第2转换抽头系数的集合时，结束学习处理。
在以上的学习处理中，存储在控制部643中的与第1信号格式和第2信号格式的各种组合相对应的第1/第2转换抽头系数的集合，被存储在构成图26中的信号转换部612的系数存储器634中。
并且，在具有该信号转换部612的格式转换部604(图25)中，在信号获取部611获取照相机601输出的SD图像信号，并且在显示格式获取部613获取显示装置605的显示格式。另外，在格式转换部604中，信号转换部612根据照相机601输出的SD图像信号的信号格式和显示装置605的显示格式，把来自照相机601的SD图像信号转换为在格式对应关系信息中与显示装置605的显示格式相对应的信号格式(对应信号格式)的图像信号。
如后面叙述的那样，在格式对应关系信息中与显示格式相对应的信号格式，是在以该信号格式所对应的显示格式、显示与通过以该信号格式的SD图像信号为对象进行图像转换处理得到的HD图像信号所对应的HD图像时，用户感觉为最高像质的格式。因而，通过图像转换部621中的图像转换处理把这种信号格式的SD图像信号转换为HD图像信号，通过显示控制部622把与该HD图像信号对应的HD图像以显示装置605的显示格式显示在显示器623上，由此对于用户而言可以显示合适的HD图像(用户感觉为高像质的图像)。
下面，图31表示图25中的图像转换部621的结构示例。
此外，关于图中与图4中的图像转换部11对应的部分赋予相同符号，所以以下适当省略其说明。即，图像转换部621与图4中的图像转换部11相同，进行把第1图像信号转换为第2图像信号的图像转换处理，具备抽头抽出部41和42、类分类部43及预测部45，这一点与图4中的图像转换部11相同。但是，与图4中的图像转换部11的不同之处是，图像转换部621设置系数存储器651来取代系数存储器44。
系数存储器651存储通过后述图34中的学习装置进行的学习而预先求出的每个类的抽头系数的集合，读出并获取该抽头系数的集合中从类分类部43提供的关注像素的类的抽头系数，提供给预测部45。
此处，在显示装置605中按照上面所述，在图像转换部621中把从格式转换部604(的信号转换部612)提供的对应信号格式的SD图像信号转换为HD图像信号，在显示控制部622中将与该HD图像信号对应的HD图像以预先决定的显示装置605的显示格式(以下适当地称为既定显示格式)显示在显示器623上，存储在系数存储器651中的抽头系数的集合用于进行把对应信号格式的SD图像信号转换为HD图像信号的图像转换处理，以使用户感觉到在显示器623上以既定显示格式显示的HD图像是高像质。
下面，参照图32的流程图，说明图31中的图像转换部621所进行的图像转换处理。
从格式转换部604(的信号转换部612)(图25)向图像转换部621提供对应信号格式的SD图像信号，该对应信号格式的SD图像信号被提供给抽头抽出部41和42。
在步骤S631中，抽头抽出部41把对应信号格式的SD图像信号设为第1图像信号，并且把将该SD图像信号高像质化后的HD图像信号设为第2图像信号，依次把构成作为该第2图像信号的HD图像信号的各个像素设为关注像素。并且，抽头抽出部41和42分别从作为第1图像信号的对应信号格式的SD图像信号，抽出作为与关注像素相关的预测抽头和类抽头的像素的像素值。预测抽头从抽头抽出部41提供给预测部45，类抽头从抽头抽出部42提供给类分类部43。
类分类部43从抽头抽出部42接收与关注像素相关的类抽头，在步骤S632中，根据该类抽头对关注像素进行类分类。另外，类分类部43把该类分类的结果得到的关注像素的类输出给系数存储器651，转入步骤S633。
在步骤S633中，系数存储器651读出并输出从类分类部43提供的关注像素的类的抽头系数，转入步骤S634。在预测部45中可获取系数存储器651输出的抽头系数。
在步骤S634中，预测部45使用抽头抽出部41输出的预测抽头和从系数存储器651获取的抽头系数，进行作为规定的预测运算的算式(1)的运算，由此求出关注像素的像素值即第2图像信号的像素的像素值。预测部45按照上面所述，例如每当求出一帧作为第2图像信号的HD图像信号的像素的像素值时，把该第2图像信号即HD图像信号输出给显示控制部622(图25)。
下面，参照图33的流程图，说明图25中的显示装置605的处理。
在显示装置605中，来自格式转换部604的对应信号格式的SD图像信号被提供给图像转换部621。在步骤S641中，图像转换部621按照在图32中说明的那样，进行把对应信号格式的SD图像信号转换为HD图像信号的图像转换处理，把其结果得到的HD图像信号提供给显示控制部622。
在步骤S642中，显示控制部622使来自图像转换部621的HD图像信号以既定显示格式显示在显示器623中。
下面，图34表示学习装置的结构示例，该学习装置进行求出存储在图像转换部621(图31)的系数存储器651中的抽头系数的集合的学习。
此外，关于图中与图9所示情况对应的部分赋予相同符号，所以以下适当省略其说明。即，图34中的学习装置设置控制部661来取代控制部72，其他结构与图9中的学习装置相同。
在控制部661中例如设定有已有的多个信号格式，作为多个初始信号格式，控制部661根据来自评价值算出部71的评价值，从多个初始信号格式等中，决定作为使虚拟摄影图像生成部62生成的虚拟摄影图像信号的SD图像信号的信号格式，把表示该信号格式的信号格式信息提供给虚拟摄影图像生成部62。
另外，在控制部661中，作为多个初始信号格式，例如设定了包含可以连接格式转换部604(具有格式转换部604的接收装置603(图24))的显示装置605的显示装置的显示格式的一部分或全部，控制部661依次把该多个初始信号格式作为关注显示格式，把表示该关注显示格式的显示格式信息提供给显示控制部68。
而且，控制部661根据来自评价值算出部71的评价值，决定图像转换部73在图像转换处理中使用的每个类的抽头系数，通过控制系数存储器66，把该抽头系数存储在系数存储器66中。
下面，参照图35的流程图，说明图34中的学习装置进行的学习抽头系数(的集合)的学习处理。
在步骤S661中，例如与图19中的步骤S31相同，控制部661从多个初始信号格式中决定设为关注信号格式的初始信号格式Ai，把表示该初始信号格式Ai的信号格式信息提供给虚拟摄影图像生成部62，转入步骤S662。
在步骤S662中，例如与图19中的步骤S32相同，控制部661从多个初始显示格式中决定设为关注显示格式的初始显示格式Bj，把表示该初始显示格式Bj的显示格式信息提供给显示控制部68，转入步骤S663。
在步骤S663中，在学习装置(图34)中，对于关注信号格式Ai和关注显示格式Bj的组合，决定临时的最佳抽头系数的集合(在算式(1)的运算中使用的各个类的抽头系数(x1、x2、...、xN)的集合)Fi，j。
即，在步骤S663中，与在图20的流程图中说明的情况相同，在把关注信号格式Ai的SD图像信号作为第1图像信号，把通过在图像转换部73使用抽头系数进行图像转换处理而得到的、与由具有作为像素值的R、G、B各成分的像素构成的作为第2图像信号的HD图像信号对应的HD图像以关注显示格式Bj显示在显示器69上的情况下，通过利用光检测器70检测作为显示在该显示器69上的HD图像的光而得到的显示图像信号的评价值为最高的抽头系数的集合，被作为关于关注信号格式Ai和关注显示格式Bj的组合的、临时的最佳抽头系数的集合Fi，j而求出。
并且，从步骤S663转入步骤S664，控制部661判断是否已把多个初始显示格式全部作为关注显示格式在步骤S663求出了抽头系数的集合。
在步骤S664中，在判断出多个初始显示格式尚未全部成为关注显示格式的情况下，返回步骤S662，控制部661对关注信号格式Ai，把多个初始显示格式中尚未成为关注显示格式的初始显示格式中的一个决定为新的关注显示格式，把表示该关注显示格式的显示格式信息提供给显示控制部68，以后重复相同的处理。
并且，在步骤S664中，在判断为多个初始显示格式已全部成为关注显示格式的情况下，转入步骤S665，控制部661判断是否多个初始信号格式已全部成为关注信号格式在步骤S663求出抽头系数的集合。
在步骤S665中，在判断出多个初始信号格式尚未全部成为关注信号格式的情况下，返回步骤S661，控制部661把多个初始信号格式中尚未成为关注信号格式的初始信号格式中的一个决定为新的关注信号格式，把表示该关注信号格式的信号格式信息提供给虚拟摄影图像生成部62，以后重复相同的处理。
另外，在步骤S665中，在判断出为多个初始信号格式已全部成为关注信号格式的情况下，即，在对于多个初始信号格式中的每个和多个初始显示格式中的每个的所有组合，在步骤S663求出了最佳抽头系数的集合的情况下，转入步骤S666，控制部661对于各个初始显示格式，从初始信号格式和初始显示格式、以及与该初始信号格式和初始显示格式的组合相关的最佳抽头系数的集合的组合(也就是说，初始信号格式、初始显示格式及抽头系数的集合的组合)中，临时地决定(临时决定)临时的最佳初始信号格式和抽头系数的集合。
即，在作为多个初始信号格式有I个信号格式，作为多个初始显示格式有J个显示格式的情况下，在步骤S663中，对于I×J个的初始信号格式和初始显示格式的各种组合，分别求出临时的最佳抽头系数的集合，其结果，得到I×J个初始信号格式、初始显示格式、和抽头系数的集合的组合。在步骤S666中，从该I×J个初始信号格式、初始显示格式、和抽头系数的集合的组合中，对于J个初始显示格式中的每一个，显示图像信号的评价值(在步骤S663得到的评价值)为最大的初始信号格式和抽头系数的集合的组合，被决定为临时的最佳初始信号格式和抽头系数的集合。
在步骤S666中，对于各个初始显示格式，在决定了临时的最佳信号格式和抽头系数的集合后，转入步骤S667，控制部661再次将多个初始显示格式中尚未成为关注显示格式的初始显示格式中的一个决定为关注显示格式，转入步骤S668。
在步骤S668中，对于关注显示格式和与该关注显示格式相关的当前的临时最佳抽头系数的集合的组合，进行临时决定最佳信号格式的最佳信号格式决定处理，转入步骤S669。
在步骤S669中，对于关注显示格式和与该关注显示格式相关的当前的临时最佳信号格式的组合，进行临时决定最佳抽头系数的集合的最佳抽头系数集合决定处理，转入步骤S670。
在步骤S670中，控制部661对于关注显示格式，判断在前面步骤S668求出的当前的临时最佳信号格式、和在前面步骤S669求出的当前的临时最佳抽头系数的集合是否已被最佳化。
即，在前面的步骤S669的最佳抽头系数集合决定处理中，对于与关注显示格式和与该关注显示格式相关的当前的临时最佳信号格式的组合，如后面所述，把评价值算出部71算出的评价值为最大的抽头系数的集合临时决定为最佳抽头系数的集合，但在步骤S670中，例如，根据与该最佳抽头系数的集合相关的评价值是否在预先决定的最佳化判断用阈值以上(比其大)，对于关注显示格式，判断当前的临时最佳信号格式和抽头系数的集合是否已被最佳化。
在步骤S670中，在判断出与关注显示格式相关的当前的临时最佳信号格式和抽头系数的集合未被最佳化的情况下，即，在与前面的步骤S669中求出的最佳抽头系数的集合相关的评价值不在最佳化判断用阈值以上的情况下，返回步骤S668，重复相同的处理。
另外，在步骤S670中，在判断出与关注显示格式相关的当前的临时最佳信号格式和抽头系数的集合已被最佳化的情况下，即，在与前面步骤S669中求出的最佳抽头系数的集合相关的评价值在最佳化判断用阈值以上、已求出与关注显示格式相关的最佳信号格式和抽头系数的集合的情况下，控制部661生成并存储使关注显示格式(表示其的显示格式信息)和对于该关注显示格式求出的最佳信号格式(表示其的信号格式信息)相对应的格式对应关系信息，并且将关注显示格式和对于该关注显示格式求出的最佳抽头系数的集合相对应存储，转入步骤S671。
在步骤S671中，控制部661判断是否已把多个初始显示格式全部作为关注显示格式，并对于多个初始显示格式分别求出了最佳化后的信号格式和抽头系数的集合。
在步骤S671中，在判断出多个初始显示格式尚未全部成为关注显示格式的情况下，返回步骤S667，控制部661把多个初始显示格式中尚未成为关注显示格式的初始显示格式中的一个决定为新的关注显示格式，以后重复相同的处理。
另外，在步骤S671中，在判断出多个初始显示格式已全部成为关注显示格式的情况下，即已求出与多个初始显示格式分别相关的最佳信号格式和抽头系数的集合时，学习处理结束。
在构成图31中的图像转换部621的系数存储器651中，存储着与在图35的学习处理中求出的多个初始显示格式分别相关的最佳抽头系数的集合中的、与内置有该图像转换部621的显示装置605(图25)相关的显示格式的最佳抽头系数的集合。
另外，在构成图26中的信号转换部612的系数选择部636中存储着格式对应关系信息，该信息使多个初始显示格式分别与通过图35的学习处理对各个初始显示格式求出的、最适合该初始显示格式的信号格式相对应，系数选择部636按照上面所述，在格式对应关系信息中识别与来自显示格式获取部613(图25)的显示格式信息所表示的显示装置605的显示格式对应的信号格式(对应信号格式)，并控制系数存储器634，使其选择把从信号获取部611提供的照相机信号格式信息所表示的信号格式设为第1信号格式、把对应信号格式设为第2信号格式的第1/第2转换抽头系数的集合，作为有效的抽头系数的集合。
并且，在内置有信号转换部612的图25的格式转换部604中，把成为下述图像转换处理的对象的SD图像信号的信号格式设为对应信号格式，将来自照相机601的SD图像信号转换为对应信号格式的SD图像信号，其中该图像转换处理用于在以显示装置605的显示格式显示时获得用户感觉为最高像质的HD图像信号。而且，在显示装置605(图25)中，在图像转换部621中以对应信号格式的SD图像信号为对象进行图像转换处理，在显示控制部622中以显示装置605的显示格式显示通过该图像转换处理而得到的HD图像。
因而，姑且不谈对应信号格式的SD图像信号的S/N等，作为组合了格式转换部604和显示装置605的整个系统，能够在显示器623上显示用户感觉为高像质的图像。
此外，在学习存储于构成图26的信号转换部612的系数存储器634中的第1/第2转换抽头系数的集合的、图29的学习装置中，如上面所述，通过图30的学习处理，求出与第1信号格式和第2信号格式的各种组合相关的第1/第2转换抽头系数的集合，但在各种第2信号格式中，在通过图35的学习处理求出的格式对应关系信息中，需要包含分别与多个初始显示格式相对应的多个信号格式。
另外，在图35的学习处理中，在最佳抽头系数集合决定处理中求出的抽头系数的集合的评价值在最佳化判断用阈值以上的情况下，判断出关于关注显示格式，信号格式和抽头系数的集合的组合已被最佳化，但除此以外，例如，可以在最佳信号格式决定处理和最佳抽头系数集合决定处理重复了规定次数的情况下，判断出信号格式和抽头系数的集合的组合已被最佳化。
下面，参照图36的流程图，具体说明图35中的步骤S668的最佳信号格式决定处理。
在步骤S681中，控制部661(图34)把当前的临时(临时决定的)最佳信号格式作为基准，例如与图21中的步骤S71的情况相同，决定最佳信号格式的多个候选，转入步骤S682。
在步骤S682中，控制部661把最佳信号格式的多个候选中尚未成为关注信号格式的一个决定为关注信号格式，把表示该关注信号格式的信号格式信息提供给虚拟摄影图像生成部62，转入步骤S683。
在步骤S683中，虚拟摄影图像生成部62通过将存储在学习数据存储部61中的SHD图像信号的像素数间除等，生成来自控制部661的信号格式信息所表示的关注信号格式的SD图像信号，提供给图像转换部73，转入步骤S684。
在步骤S684中，控制部661把与关注显示格式相关的当前的临时最佳抽头系数的集合存储在系数存储器66中。并且，在步骤S684中，与图20中的步骤S53相同，图像转换部73把从虚拟摄影图像生成部62提供的关注信号格式的SD图像信号设为第1图像信号，将该第1图像信号与存储在系数存储器66中的当前的临时最佳抽头系数的集合进行运算，从而进行转换为作为第2图像信号的HD图像信号的图像转换处理，把其结果得到的HD图像信号提供给显示控制部68。
在步骤S684的处理之后，转入步骤S685，控制部661把表示关注显示格式的显示格式信息提供给显示控制部68。由此，显示控制部68使与图像转换部73输出的HD图像信号对应的HD图像、以来自控制部661的显示格式信息表示的关注显示格式显示在显示器69中，从步骤S685转入步骤S686。
在步骤S686中，光检测器70检测作为显示在显示器69中的HD图像(显示图像)的光(并进行光电转换)，把与该光对应的电气信号即与HD图像信号相当的显示图像信号输出给评价值算出部71，转入步骤S687。
在步骤S687中，评价值算出部71评价来自光检测器70的显示图像信号，进而评价显示器69中显示的HD图像。
即，评价值算出部71从学习数据存储部61读出与来自光检测器70的显示图像信号对应的SHD图像信号，通过比较显示图像信号和对应的SHD图像信号，算出作为显示图像信号的评价、进而作为观看显示在显示器69中的HD图像的用户所感觉的像质的评价的评价值，提供给控制部661。
在此，对存储在学习数据存储部61中的SHD图像信号的所有帧进行步骤S683～S687的处理。并且，控制部661对于关注信号格式，求出对于存储在学习数据存储部61中的SHD图像信号的所有帧得到的评价值的例如总和，把该总和作为关注信号格式的最终评价值临时存储。
然后，从步骤S687转入步骤S688，控制部661判断是否已对最佳信号格式的多个候选全部算出评价值。
在步骤S688中，在判断出关于最佳信号格式的多个候选尚未全部算出评价值的情况下，返回步骤S682，控制部661把最佳信号格式的多个候选中尚未成为关注信号格式的一个决定为新的关注信号格式，以后重复相同的处理。
另外，在步骤S688中，在判断出最佳信号格式的多个候选已全部算出评价值的情况下，转入步骤S689，控制部661把最佳信号格式的多个候选中评价值最高的候选，临时决定为新的对于关注显示格式(和相对该关注显示格式的当前的临时最佳抽头系数的集合的组合)为最佳的信号格式，并返回。
下面，参照图37的流程图，详细说明图35中的步骤S669的最佳抽头系数集合决定处理。
在步骤S691中，控制部661把当前的临时(临时决定的)最佳抽头系数的集合作为基准，例如与图23中的步骤S111的情况相同，决定最佳抽头系数的集合的多个候选。
在步骤S691的处理之后转入步骤S692，控制部661把表示相对关注显示格式的当前的临时最佳信号格式的信号格式信息，提供给虚拟摄影图像生成部62。由此，虚拟摄影图像生成部62通过将存储在学习数据存储部61中的SHD图像信号的像素数间除等，生成来自控制部661的信号格式信息所表示的信号格式的SD图像信号，提供给图像转换部73，转入步骤S693。
在步骤S693中，控制部661把临时最佳抽头系数的集合的多个候选中尚未成为关注抽头系数集合的一个决定为关注抽头系数集合，通过控制系数存储器66，存储该关注抽头系数集合，转入步骤S694。
在步骤S694中，与图20中的步骤S53相同，图像转换部73把从虚拟摄影图像生成部62提供的SD图像信号作为第1图像信号，将该第1图像信号与存储在系数存储器66中的最佳抽头系数集合进行运算，从而进行转换为作为第2图像信号的HD图像信号的图像转换处理，把其结果得到的HD图像信号提供给显示控制部68。
在步骤S694的处理之后，转入步骤S695，控制部661把表示关注显示格式的显示格式信息提供给显示控制部68。由此，显示控制部68使与图像转换部73输出的HD图像信号对应的HD图像以来自控制部661的显示格式信息表示的关注显示格式，显示在显示器69中，转入步骤S696。
在步骤S696中，光检测器70检测作为显示在显示器69中的HD图像(显示图像)的光(并进行光电转换)，把与该光对应的电气信号即与HD图像信号相当的显示图像信号输出给评价值算出部71，转入步骤S697。
在步骤S697中，评价值算出部71评价来自光检测器70的显示图像信号，进而评价在显示器69中显示的HD图像。
即，评价值算出部71从学习数据存储部61读出与来自光检测器70的显示图像信号对应的SHD图像信号，通过比较显示图像信号和对应的SHD图像信号，算出作为显示图像信号的评价、进而作为观看显示在显示器69中的HD图像的用户所感觉的像质的评价的评价值，提供给控制部661。
在此，对存储在学习数据存储部61中的SHD图像信号的所有帧进行步骤S692、及步骤S694～S697的处理。并且，控制部661对于关注抽头系数集合，求出对于存储在学习数据存储部61中的SHD图像信号的所有帧得到的评价值的例如总和，把该总和作为与关注抽头系数集合相关的最终评价值进行临时存储。
然后，从步骤S697转入步骤S698，控制部661判断是否已对最佳抽头系数集合的多个候选全部算出评价值。
在步骤S698中，在判断出最佳抽头系数集合的多个候选尚未全部算出评价值时，返回步骤S693，控制部661把最佳抽头系数集合的多个候选中尚未成为关注抽头系数集合的一个决定为新的关注抽头系数集合，以后重复相同的处理。
另外，在步骤S698中，在判断出关于最佳抽头系数集合的多个候选已全部算出评价值的情况下，转入步骤S699，控制部661把最佳抽头系数集合的多个候选中评价值最高的候选，临时决定为新的对于关注显示格式(和相对该关注显示格式的当前的临时最佳信号格式的组合)为最佳的抽头系数的集合，并返回。
如以上那样，在图34的学习装置中，如在图35中说明的那样，对于各种显示格式(多个初始显示格式)，分别重复进行最佳信号格式决定处理和最佳抽头系数集合决定处理，直到评价值(在此为通过前面的最佳抽头系数集合决定处理得到的评价值)达到最佳化判断用阈值以上，由此求出在进行使要显示的HD图像即显示图像更高像质化的图像转换处理时使用的抽头系数(的集合)、成为使用该抽头系数而进行的图像转换处理的对象的SD图像信号的信号格式。
因而，根据图34所示的学习装置，可以求出抽头系数和信号格式，该抽头系数和信号格式使用户感觉以各种显示格式分别显示的显示图像为更高像质。
此外，在图36中的最佳信号格式决定处理中，在把当前的临时最佳信号格式作为基准，来决定最佳信号格式的多个候选时，作为使当前的临时最佳信号格式变形的方法，可以采用以下方法，即，在图35的步骤S668和S669重复次数较少时，使变形较大，随着该重复次数的增加，使变形逐渐变小。这对于抽头系数的集合也相同。
另外，在对于最佳信号格式的候选求出的评价值为不那么大的值、几乎不增加的情况下，可以使当前的临时最佳信号格式较大地变形，决定最佳信号格式的多个候选。在该情况下，可以解决所谓的局部最小的问题。这对于抽头系数的集合也相同。
下面，图38表示处理图像的图像处理系统的第3结构示例。
此外，对图中与图24的图像处理系统对应的部分赋予相同符号，所以以下适当省略其说明。
图38的图像处理系统由照相机671和显示装置605构成。
照相机671内置有格式转换部604，从显示装置605向该格式转换部604提供表示其显示格式的显示格式信息。
照相机671拍摄物体(被摄体)，得到通过该摄影得到的规定的信号格式的摄影图像信号即SD图像信号。并且，在照相机671中，其内置的格式转换部604把规定的信号格式的SD图像信号，转换为与来自显示装置605的显示格式信息所表示的显示格式对应的对应信号格式的SD图像信号，并输出。
照相机671输出的对应信号格式的SD图像信号提供给显示装置605。在显示装置605中，以照相机671输出的对应信号格式的SD图像信号为对象进行图像转换处理，以显示装置605的显示格式显示与其结果得到的HD图像信号对应的HD图像。
因而，在图38的图像处理系统中，姑且不谈照相机671输出的对应信号格式的SD图像信号的S/N等，作为由照相机671和显示装置605构成的整个图像处理系统，能够在显示装置605上显示用户感觉为高像质的图像。
下面，图39表示处理图像的图像处理系统的第4结构示例。
在图39中，图像处理系统由照相机(摄像机)701和显示装置702构成。
照相机701拍摄物体(被摄体)，输出通过该摄影得到的图像信号即摄影图像信号、例如SD图像信号。显示装置702接收照相机701输出的摄影图像信号，对该摄影图像信号实施图像处理，显示与通过该图像处理得到的图像信号(以下适当地称为图像处理后图像信号)对应的图像。
此外，照相机701例如是单板式照相机，输出某个信号格式的摄影图像信号。
图40表示图39中的显示装置702的结构示例。
显示装置702由图像处理部711、显示控制部714、显示器715、信号格式获取部716、显示格式获取部717、操作部718和控制部719构成。
照相机701输出的摄影图像信号(此处例如为SD图像信号)被提供给图像处理部711。图像处理部711例如由前处理部712和图像转换部713构成，对来自照相机701的摄影图像信号实施按照控制部719的控制的图像处理，把其结果得到的图像处理后图像信号提供给显示控制部714。
即，对于图像处理部711，从照相机701向前处理部712提供SD图像信号。前处理部712按照来自控制部719的控制，对来自照相机701的摄影图像信号实施用于获得适合于后级的图像转换处理部713中的图像转换处理的信号的前处理，把该前处理的结果得到的图像信号(以下适当地称为前处理后摄影图像信号)提供给图像转换部713。
图像转换部713把来自前处理部712的前处理后摄影图像信号设为第1图像信号，并把将要通过图像转换处理得到的图像信号设为第2图像信号，按照控制部719的控制，通过与经过预先进行的学习而得到的抽头系数的运算，把作为第1图像信号的前处理后摄影图像信号转换为第2图像信号，作为图像处理后图像信号提供给显示控制部714。
显示控制部714进行显示控制，使显示器715以某个显示格式，显示与从图像转换部713提供的图像处理后图像信号对应的图像。
显示器715例如是由CRT、LCD面板等构成的显示单元，按照显示控制部714的控制显示图像。
照相机701输出的摄影图像信号被提供给信号格式获取部716。信号格式获取部716对来自照相机701的摄影图像信号的信号格式进行检测等而获取该信号格式，把表示该信号格式的信号格式信息提供给控制部719。
显示格式获取部717从显示控制部714获取显示格式信息提供给控制部719，该显示格式信息表示显示控制部714在显示器715中显示图像的显示格式。
操作部718由用户操作，把表示对应用户操作的指示的指示信号提供给控制部719。在此，指示信号例如包括指示去除噪声、放大图像、SD图像向HD图像的转换等、对来自照相机701的摄影图像信号实施的图像处理(的内容)的信号。
控制部719按照从操作部718提供的指示信号，决定对摄影图像信号实施的图像处理，根据该图像处理、来自信号格式获取部716的信号格式信息及来自显示格式获取部717的显示格式信息，控制图像处理部711的前处理部712和图像转换部713。
下面，图41表示图40中的前处理部712的结构示例。
前处理部712例如由前处理抽头抽出部731、前处理运算部732和系数存储器733构成。
前处理抽头抽出部731依次把构成通过对来自照相机701(图40)的摄影图像信号实施前处理得到的前处理后摄影图像信号的像素作为关注像素，而且，从来自照相机701的摄影图像信号抽出在求出该关注像素的像素值时使用的多个像素的像素值即前处理抽头。并且，前处理抽头抽出部731把对于关注像素得到的前处理抽头提供给前处理运算部732。
此外，前处理抽头抽出部731根据来自控制部719(图40)的控制，获得按照该控制的抽头结构的前处理抽头。
前处理运算部732把从前处理抽头抽出部731提供的作为前处理抽头的像素值作为自变量，进行由前处理系数(集合)定义的规定的前处理用的函数运算，把该前处理用的函数运算结果作为前处理后摄影图像信号的关注像素的像素值输出，所述前处理系数(集合)是通过使用存储在系数存储器733中的比HD图像更高像质的SHD图像进行学习而决定的。
系数存储器733存储有多组通过使用比HD图像更高像质的SHD图像进行学习而预先求出的、用于定义前处理用的函数的前处理系数集合。并且，系数存储器733从该多组的前处理系数集合中选择与来自控制部719(图40)的控制相应的前处理系数集合，作为有效的前处理系数集合提供给前处理运算部732。
在此，在上述的前处理运算部732中，进行由来自系数存储器733的有效的前处理系数集合定义的前处理用的函数运算。
此外，作为前处理用的函数f()，例如假设采用线性一次式，前处理用的函数f(x1，x2，...，xM)以算式f(x1，x2，...，xM)＝p1x1+p2x2+...+pMxM来表示。其中，x1、x2、...、xM表示作为与关注像素相关的前处理抽头的多个像素(M个像素)的像素值，p1、p2、...、pM表示存储在系数存储器733中的用于定义前处理用的函数f()的系数的集合。
下面，图42表示图40中的图像转换部713的结构示例。
此外，关于图中与图4图像转换部11对应的部分赋予相同符号，所以以下适当省略其说明。即，图42中的图像转换部713设有抽头抽出部41和42、类分类部43、及预测部45，这一点与图4中的图像转换部11相同，但是与图4中的图像转换部11的不同之处是，设置系数存储器741来取代系数存储器44。
系数存储器741存储多组在图像转换处理中使用的抽头系数的集合。在此，存储在系数存储器741中的多个抽头系数的集合是通过使用比HD图像更高像质的SHD图像进行学习而预先求出的。
在图像转换部713中，多组的抽头系数的集合中与来自控制部719(图40)的控制相应的抽头系数的集合成为有效的抽头系数的集合，使用该有效的抽头系数的集合(有效抽头系数的集合)进行图像转换处理。
即，在图像转换部713中，把来自前处理部712(图40)的前处理后摄影图像信号设为第1图像信号、并把图像处理后图像信号设为第2图像信号，抽头抽出部41依次把作为第2图像信号的图像处理后图像信号设为关注像素，对于该关注像素，从作为第1图像信号的前处理后摄影图像信号抽出设为预测抽头的像素的像素值提供给预测部45。而且，抽头抽出部42对于关注像素，从作为第1图像信号的前处理后摄影图像信号抽出设为类抽头的像素的像素值提供给类分类部43。
类分类部43根据来自抽头抽出部42的类抽头，进行求出关注像素的类的类分类，把其结果得到的关注像素的类(表示该类的类代码)提供给系数存储器741。系数存储器741读出有效抽头系数的集合中来自类分类部43的类的抽头系数(的集合)，输出给预测部45。
预测部45使用来自抽头抽出部41的预测抽头和来自系数存储器741的抽头系数，例如进行上述算式(1)的运算，由此求出(预测)作为第2图像信号的图像处理后图像信号的关注像素的像素值。
下面，参照图43的流程图，说明图40中的显示装置702的动作。
来自照相机701的摄影图像信号被提供给显示装置702。在显示装置702中接收来自照相机701的摄影图像信号，提供给图像处理部711的前处理部712和信号格式获取部716。
并且，在步骤S701中，控制部719根据从操作部718提供的指示信号，决定对来自照相机701的摄影图像信号实施的图像处理。即，假设把控制部719作为对摄影图像信号实施的图像处理而决定的图像处理称为决定处理，在例如通过用户操作操作部718并从操作部718提供了指示信号的情况下，控制部719把该指示信号所指示的图像处理决定为决定处理。另外，在没有从操作部718提供指示信号的情况下，控制部719把此前从操作部718提供的指示信号所指示的图像处理、或预先决定的默认的图像处理决定为决定处理。
另一方面，在步骤S702中，信号格式获取部716获取来自照相机701的摄影图像信号的信号格式，把表示该信号格式的信号格式信息提供给控制部719。另外，在步骤S703中，显示格式获取部717从显示控制部714获取表示显示装置702的显示格式(显示控制部714在显示器715中显示图像的显示格式)的显示格式信息，提供给控制部719。
并且，控制部719根据在步骤S701中决定的决定处理、在步骤S702中从信号格式获取部716提供的信号格式信息、以及在步骤S703中从显示格式获取部717提供的显示格式信息，控制图像处理部711。在图像处理部711中，按照控制部719的控制，根据决定处理、信号格式信息、以及显示格式信息，进行不同的处理，由此进行作为决定处理的图像处理。
即，在步骤S704中，在步骤S7041中，前处理部712对来自照相机701的摄影图像信号实施按照来自控制部719的控制的前处理，把该前处理的结果得到的前处理后图摄影像信号提供给图像转换部713。
在步骤S7042中，图像转换部713把来自前处理部712的前处理后摄影图像信号设为第1图像信号、并把图像处理后图像信号设为第2图像信号，进行基于控制部719的控制的图像转换处理。
在此，如上面那样，控制部719根据决定处理、信号格式信息、以及显示格式信息，控制图像处理部711。构成图像处理部711的前处理部712和图像转换部713分别根据来自控制部719的控制，即根据决定处理、信号格式信息、以及显示格式信息，进行不同的处理，由此作为图像处理部711整体进行决定处理。
在图像转换部713中通过进行图像转换处理而得到的图像处理后图像信号，被提供给显示控制部714。
在步骤S705中，显示控制部714将与从图像转换部713提供的图像处理后图像信号对应的图像，以预先决定的某个显示格式显示在显示器715中。
然后，显示装置702(图40)的前处理部712(图41)中的前处理抽头抽出部731所抽出的前处理抽头的结构、存储在系数存储器733中的前处理系数集合、和存储在图像转换部713(图42)的系数存储器741中的抽头系数的集合这三个(参数)，例如是通过使用比HD图像更高像质的SHD图像进行学习而决定的。
图44表示学习装置的结构示例，该学习装置用于进行求出前处理抽头的抽头结构、前处理系数集合和抽头系数的集合的学习。
另外，关于图中与图9对应的部分赋予相同符号，所以以下适当省略其说明。即，图44中的学习装置设置学习对数据生成部751和控制部752，分别取代虚拟摄影图像生成部62和控制部72，并且设置学习部255来取代图像转换部73，其他结构与图9中的学习装置相同。
学习部255由前处理部261和图像转换部262构成。
前处理部261的结构与图40中的前处理部712(图41)相同，按照控制部752的控制，对从学习对数据生成部751按照后面所述提供的学习对数据中作为学生信号的虚拟摄影图像信号实施前处理，把其结果得到的前处理后摄影图像信号提供给图像转换部262。
图像转换部262的结构与图40中的图像转换部713(图42)相同，按照控制部752的控制，把从前处理部261提供的前处理后摄影图像信号设为第1图像信号，并把对该前处理后摄影图像信号实施图像处理得到的图像处理后图像信号设为第2图像信号，进行把前处理后摄影图像信号转换为图像处理后图像信号的图像转换处理。而且，图像转换部262把通过图像转换处理得到的图像处理后图像信号提供给显示控制部68。
从控制部752向学习对数据生成部751提供表示信号格式的信号格式信息和处理信息，该处理信息表示可以利用图40中的操作部718输出的指示信号进行指示的图像处理。
学习对数据生成部751从存储在学习数据存储部61中的学习数据，作为学生信号生成来自控制部752的信号格式信息表示的信号格式的图像信号。而且，学习对数据生成部751从存储在学习数据存储部61中的学习数据，作为教师信号生成通过对学生信号实施来自控制部752的处理信息所表示的图像处理而得到的所谓理想的图像信号(作为图像处理后图像信号的理想图像信号)。并且，学习对数据生成部751把作为学生信号的图像信号和作为对应该学生信号的教师信号的图像信号(通过对学生信号实施处理信息所表示的图像处理而得到的教师信号)的集合，作为学习对数据提供给评价值算出部71和学习部255。
从评价值算出部71向控制部752提供评价值。控制部752根据来自评价值算出部71的评价值，控制构成学习部255的前处理部261和图像转换部262。具体地讲，控制部752进行在前处理部261的前处理中使用的前处理抽头的抽头结构和前处理系数集合的控制(设定)、和在图像转换部262的图像转换处理中使用的抽头系数的集合的控制。
另外，控制部752决定显示控制部68将与从学习部255的图像转换部262提供的图像处理后图像信号对应的图像显示在显示器69中的显示格式，把表示该显示格式的显示格式信息提供给显示控制部68。而且，控制部752把信号格式信息和处理信息提供给学习对数据生成部751。
下面，参照图45的流程图，说明图44中的学习装置进行的学习前处理抽头的抽头结构、前处理系数集合和抽头系数的集合的学习处理。
首先，在步骤S721中，控制部752从多个信号格式中，把尚未成为关注信号格式的信号格式中的一个决定为关注信号格式Ai，把表示该关注信号格式Ai的信号格式信息提供给学习对数据生成部751，转入步骤S722。
在此，在图44中的学习装置中预先设定有在学习处理中使用的多个信号格式，控制部752从该预先决定的多个信号格式中决定关注信号格式Ai。此外，预先设定的多个信号格式例如可以是已有的信号格式，也可以是将已有的信号格式变形后的新的信号格式。
在步骤S722中，控制部752从多个显示格式中，把尚未成为关注显示格式的显示格式中的一个决定为关注显示格式Bj，把表示该关注显示格式Bj的显示格式信息提供给显示控制部68，转入步骤S723。
在此，在图44中的学习装置中预先设定有在学习处理中使用的多个显示格式，控制部752从该预先决定的多个显示格式中决定关注显示格式Bj。此外，预先设定的多个显示格式例如可以是已有的显示格式，也可以是将已有的显示格式变形后的新的显示格式。
在步骤S723中，控制部752从多个图像处理(的内容)中，把尚未成为关注处理的图像处理中的一个决定为关注处理Ck，把表示该关注处理Ck的处理信息提供给学习对数据生成部751，转入步骤S724。
在此，在图44中的学习装置中预先设定有在学习处理中使用的多个图像处理(的内容)，控制部752从该预先决定的多个图像处理中决定关注处理Ck。此外，预先设定的多个图像处理至少包含能够利用图40中的操作部718输出的指示信号进行指示的图像处理。
在步骤S724中，在学习装置(图44)中，对于关注信号格式Ai、关注显示格式Bj和关注处理Ck的组合，决定前处理抽头的最佳抽头结构Di，j，k、最佳前处理系数集合Ei，j，k、和最佳抽头系数的集合(在算式(1)的运算中使用的各个类的抽头系数(x1、x2、...、xN)的集合)Fi，j，k。
即，在步骤S724中，关于关注信号格式Ai、关注显示格式Bj和关注处理Ck的组合，在以关注显示格式Bj显示与对关注信号格式Ai的图像信号实施关注处理Ck而得到的图像信号对应的图像的情况下，决定在作为关注处理Ck的图像处理即前处理和图像转换处理中使用的抽头结构Di，j，k、前处理系数集合Ei，j，k、以及抽头系数的集合Fi，j，k，以使用户感觉为最高像质。
并且，从步骤S724转入步骤S725，控制部752对于关注信号格式Ai和关注显示格式Bj的组合，判断是否已把预先设定的多个图像处理全部设为关注处理、在步骤S724中求出(决定)抽头结构Di，j，k、前处理系数集合Ei，j，k、抽头系数的集合Fi，j，k。
在步骤S725中，在判断出多个图像处理没有全部成为关注处理时，返回步骤S723，控制部752把多个图像处理中尚未成为关注处理的图像处理中的一个决定为新的关注处理，把表示该关注处理的处理信息提供给学习对数据生成部751，以后重复相同的处理。
另外，在步骤S725中，在判断出多个图像处理已全部成为关注处理的情况下，转入步骤S726，控制部752对于关注信号格式Ai，判断是否已把预先设定的多个显示格式全部设为关注显示格式、在步骤S724求出(决定)抽头结构Di，j，k、前处理系数集合Ei，j，k、抽头系数的集合Fi，j，k。
在步骤S726中，在判断出预先设定的多个显示格式尚未全部成为关注显示格式的情况下，返回步骤S722，控制部752把多个显示格式中尚未成为关注显示格式的显示格式中的一个决定为新的关注显示格式，把表示该关注显示格式的显示格式信息提供给显示控制部68，以后重复相同的处理。
另外，在步骤S726中，在判断出预先设定的多个显示格式已全部成为关注显示格式的情况下，转入步骤S727，控制部752判断是否已把预先设定的多个信号格式全部设为关注信号格式、在步骤S724求出(决定)抽头结构Di，j，k、前处理系数集合Ei，j，k、抽头系数的集合Fi，j，k。
在步骤S727中，在判断出预先设定的多个信号格式尚未全部成为关注信号格式的情况下，返回步骤S721，控制部752把多个信号格式中尚未成为关注信号格式的信号格式中的一个决定为新的关注信号格式，把表示该关注信号格式的信号格式信息提供给学习对数据生成部751，以后重复相同的处理。
另外，在步骤S727中，在判断出预先设定的多个信号格式已全部成为关注信号格式的情况下，即，在已对多个信号格式、多个显示格式和多个图像处理的所有组合，求出最佳的抽头结构Di，j，k、前处理系数集合Ei，j，k、以及抽头系数的集合的情况下，学习处理结束。
图40中的控制部719在图45中的学习处理中，按照上面所述，存储表示对多个信号格式、多个显示格式和多个图像处理的所有组合求出的最佳的抽头结构Di，j，k、前处理系数集合Ei，j，k、以及抽头系数的集合的控制信息。
而且，在前处理部712的系数存储器733(图41)中，存储着对多个信号格式、多个显示格式和多个图像处理的所有组合求出的多个前处理系数集合Ei，j，k，在图像转换部713的系数存储器741(图42)中，存储着对多个信号格式、多个显示格式和多个图像处理的所有组合求出的多个抽头系数的集合。
并且，在图40的显示装置702中，控制部719对于来自信号格式获取部716的信号格式信息所表示的信号格式、来自显示格式获取部717的显示格式、和来自操作部718的指示信号所指示的图像处理的组合，通过参照控制信息识别最佳的抽头结构、前处理系数集合和抽头系数的集合。
而且，控制部719通过控制前处理部712，使在前处理抽头抽出部731得到的前处理抽头的抽头结构形成为参照控制信息识别出的最佳的抽头结构，并且把存储在系数存储器733中的多个前处理系数集合中参照控制信息识别出的最佳的前处理系数集合设为有效。
另外，控制部719通过控制图像转换部713，把存储在系数存储器741中的多个抽头系数的集合中参照控制信息识别出的最佳的抽头系数的集合设为有效。
由此，在前处理部712中，根据来自信号格式获取部716的信号格式信息所表示的信号格式、来自显示格式获取部717的显示格式、和来自操作部718的指示信号所指示的图像处理的组合，进行不同的前处理(使用了不同的抽头结构的前处理抽头和不同的前处理系数集合的前处理)。
另外，在图像转换部713中，也根据来自信号格式获取部716的信号格式信息所表示的信号格式、来自显示格式获取部717的显示格式、和来自操作部718的指示信号所指示的图像处理的组合，进行不同的图像转换处理(使用了不同的抽头系数的集合的图像转换处理)。
并且，在图39所示的图像处理系统中，姑且不谈照相机701输出的摄影图像信号、在前处理部712(图40)的前处理中得到的图像信号、在图像转换部713中得到的图像信号的S/N等，作为由照相机701和显示装置702构成的整个图像处理系统，能够在显示装置702上显示用户感觉为高像质的图像。
下面，参照图46的流程图，具体说明图45中的步骤S724的处理。
在步骤S741中，控制部752从多个初始抽头结构中决定作为关注抽头结构的初始抽头结构Dm，把表示该关注抽头结构Dm的抽头结构信息提供给学习部255的前处理部261，转入步骤S742。
即，在图44的学习装置中，前处理抽头的多个抽头结构被设定(决定)为在学习处理的初期使用的初始抽头结构，控制部752把分别表示多个初始抽头结构的抽头结构信息存储在内置的存储器(未图示)中。并且，控制部752把存储在内置的存储器中的多个抽头结构信息所表示的多个初始抽头结构中、尚未成为关注抽头结构的一个决定(设定)为关注抽头结构Dm，把表示该关注抽头结构Dm的抽头结构信息提供给前处理部261。
具体地讲，在图44的学习装置中，例如，像以最接近关注像素位置的像素为中心的横×纵为3×3的像素、以最接近关注像素位置的像素为中心的横向排列9像素纵向排列5像素等那样的前处理抽头的多个抽头结构，被设定(决定)为在学习处理的初期使用的初始抽头结构，控制部752把分别表示多个初始抽头结构的抽头结构信息存储在内置的存储器(未图示)中。并且，控制部752把存储在内置的存储器中的多个抽头结构信息所表示的多个初始抽头结构中、尚未成为关注抽头结构的一个决定(设定)为关注抽头结构Dm，把表示该关注抽头结构Dm的抽头结构信息提供给前处理部261。
在此，Dm例如表示多个初始抽头结构中第m个初始抽头结构。
在步骤S742中，控制部752决定前处理部261在前处理中使用的前处理系数的集合即关注前处理系数集合En。即，例如把构成关注抽头结构Dm的前处理抽头的像素(的像素值)的数量设为X、并把前处理系数的比特数设为Y时，对于关注抽头结构Dm的前处理抽头前处理系数的集合可能采用的情况数存在X×2Y个，控制部752把该X×2Y个前处理系数的集合中尚未成为关注前处理系数集合的一个决定为关注前处理系数集合En。
并且，控制部752把关注前处理系数集合En提供给前处理部261，从步骤S742转入步骤S743。
在步骤S743中，在学习装置(图44)中，对于关注抽头结构Dm和关注前处理系数集合En的组合，决定临时的最佳抽头系数的集合(在算式(1)的运算中使用的各个类的抽头系数(x1、x2、...、xN)的集合)Fm，n。
即，在步骤S743中，把通过使用关注抽头结构Dm的前处理抽头和关注前处理系数集合En、对SD图像信号实施前处理得到的前处理后图像信号设为第1图像信号，将与通过进行使用了抽头系数的集合的图像转换处理得到的作为第2图像信号的、对第1图像信号实施作为关注处理Ck的图像处理而得到的理想的图像信号(图像处理后图像信号)对应的图像以关注显示格式Bj显示在显示器69中，该情况下，对于关注抽头结构Dm和关注前处理系数集合En的组合，利用光检测器70检测作为显示于该显示器69的图像的光，求出使由此得到的显示图像信号的评价值为最高的抽头系数的集合，作为临时的最佳抽头系数的集合Fm，n。
然后，从步骤S743转入步骤S744，控制部752判断是否已把对于关注抽头结构Dm的前处理抽头可能采用的X×2Y个前处理系数的集合全部设为关注前处理系数集合。
在步骤S744中，在判断出尚未把对于关注抽头结构Dm的前处理抽头可能采用的X×2Y个前处理系数的集合全部设为关注前处理系数集合的情况下，返回步骤S742，控制部752把对于关注抽头结构Dm的前处理抽头可能采用的X×2Y个前处理系数的集合中尚未成为关注前处理系数集合中的一个，设定为新的关注前处理系数集合，重复相同的处理。
另外，在步骤S744中，在判断出已把对于关注抽头结构Dm的前处理抽头可能采用的X×2Y个前处理系数的集合全部设为关注前处理系数集合的情况下，转入步骤S745，控制部752判断是否已把存储在内置的存储器中的多个抽头结构信息所表示的多个初始抽头结构全部设为关注抽头结构。
在步骤S745中，在判断出多个初始抽头结构尚未全部成为关注抽头结构的情况下，返回步骤S741，控制部752把多个初始抽头结构中尚未成为关注抽头结构的初始抽头结构中的一个决定为关注抽头结构，重复相同的处理。
另外，在步骤S745中，在判断出多个初始抽头结构已全部成为关注抽头结构时，即，在步骤S743已对多个初始抽头结构和可能采用的前处理系数集合的全部组合求出最佳的抽头系数的集合的情况下，转入步骤S746，控制部752从在步骤S743求出的抽头结构、前处理系数集合和抽头系数集合的组合中，临时地决定(临时决定)最佳的抽头结构、前处理系数集合和抽头系数集合的组合。
即，在作为初始抽头结构有M个抽头结构，前处理系数集合可能采用的值的情况数为N个的情况下，作为(初始)抽头结构和前处理系数集合的组合，存在M×N个组合，在步骤S743中，对于该M×N个组合分别求出临时的最佳抽头系数的集合。因而，在步骤S743中，抽头结构、前处理系数集合和抽头系数集合的组合能得到M×N×J个，在步骤S746中，该M×N个组合(抽头结构、前处理系数集合和抽头系数集合的组合)中显示图像信号的评价值为最大的组合，被临时决定为最佳的抽头结构、前处理系数集合和抽头系数集合的组合。
在步骤S746中，在临时决定了最佳的抽头结构、前处理系数集合和抽头系数集合的组合后，转入步骤S747，对于当前的最佳前处理系数集合和抽头系数集合的组合，进行临时决定最佳的抽头结构的最佳抽头结构决定处理，转入步骤S748。
在步骤S748中，对于当前的最佳抽头结构和抽头系数集合的组合，进行临时决定最佳的前处理系数集合的最佳前处理系数集合决定处理，转入步骤S749。
在步骤S749中，对于当前的最佳抽头结构和前处理系数集合的组合，进行临时决定最佳的抽头系数的集合的最佳抽头系数集合决定处理，转入步骤S750。
在步骤S750中，控制部752判断在前面步骤S747中求出的当前的临时最佳抽头结构、在前面步骤S748中求出的当前的临时最佳前处理系数集合、和在前面步骤S749中求出的当前的临时最佳抽头系数的集合的组合是否已被最佳化。
即，在前面步骤S749的最佳抽头系数集合决定处理中，对于当前的临时最佳抽头结构和前处理系数集合的组合，使评价值算出部71算出的评价值为最大的抽头系数的集合，被临时设定为最佳的抽头系数的集合。在步骤S750中，例如，根据与该最佳抽头系数的集合相关的评价值是否在预先决定的最佳化判断用阈值以上(比其大)，判断当前的临时最佳抽头结构、前处理系数集合和抽头系数的集合的组合是否已被最佳化。
在步骤S750中，在判断出当前的临时最佳抽头结构、前处理系数集合和抽头系数的集合的组合没有被最佳化的情况下，即，与在前面的步骤S749中求出的最佳抽头系数的集合相关的评价值不在最佳化判断用阈值以上的情况下，返回步骤S747，重复相同的处理。
另外，在步骤S750中，在判断出当前的临时最佳抽头结构、前处理系数集合和抽头系数的集合的组合已被最佳化的情况下，即，在与在前面的步骤S749中求出的当前的临时最佳抽头系数的集合相关的评价值在最佳化判断用阈值以上，抽头结构、前处理系数集合和抽头系数的集合的组合已被最佳化的情况下，转入步骤S751，控制部752把该抽头结构、前处理系数集合和抽头系数的集合，决定为与关注信号格式Ai、关注显示格式Bj和关注处理Ck的组合相关的最佳的抽头结构Di，j，k、前处理系数集合Ei，j，k、抽头系数的集合Fi，j，k，存储在内置的存储器中并返回。
此外，在图46中的步骤S750中，在与通过步骤S749的最佳抽头系数集合决定处理得到的抽头系数的集合相关的评价值在最佳化判断用阈值以上的情况下，判断为抽头结构、前处理系数集合和抽头系数的集合的组合已被最佳化，但是除此以外，例如，也可以在步骤S749的最佳化处理重复了规定次数的情况下，判断为抽头结构、前处理系数集合和抽头系数的集合的组合已被最佳化。
另外，在步骤S750中，除与通过步骤S749的最佳抽头系数集合决定处理得到的抽头系数相关的集合的评价值之外，也可以在与通过步骤S747的最佳抽头结构决定处理得到的抽头结构相关的评价值、或与通过步骤S748的最佳前处理系数集合决定处理得到的前处理系数集合相关的评价值在最佳化判断用阈值以上的情况下，判断为抽头结构、前处理系数集合和抽头系数的集合的组合已被最佳化。
下面，参照图47的流程图，具体说明图46中的步骤S743的处理，该处理用于对于关注抽头结构Dm和关注前处理系数集合En的组合决定最佳的抽头系数的集合Fm，n。
在步骤S761中，学习对数据生成部751从存储在学习数据存储部61中的学习数据，生成来自控制部752的信号格式信息所表示的关注信号格式Ai的图像信号(虚拟摄影图像信号)，作为学生信号，转入步骤S762。在步骤S762中，学习对数据生成部751从存储在学习数据存储部61中的学习数据，生成通过对学生信号实施来自控制部752的处理信息所表示的作为关注处理Ck的图像处理而得到的图像信号(作为图像处理后图像信号的理想图像信号)，作为教师信号。
即，例如，在作为关注处理Ck的图像处理是去除噪声处理的情况下，学习对数据生成部751生成改善了作为学生信号的图像信号的S/N的图像信号，作为教师信号(生成向作为教师信号的图像信号附加了噪声的图像信号作为学生信号)。
并且，学习对数据生成部751把作为学生信号的图像信号、和与该学生信号对应的作为教师信号的图像信号(通过对学生信号实施处理信息所表示的作为关注处理Ck的图像处理而得到的教师信号)的集合，作为学习对数据提供给评价值算出部71和学习部255，从步骤S762转入步骤S763。
在步骤S763中，控制部752控制前处理部261，进行基于关注抽头结构Dm和关注前处理系数En的前处理。由此，前处理部261按照控制部752的控制，对从学习对数据生成部751提供给学习部255的学习对数据中作为学生信号的关注信号格式Ai的虚拟摄影图像信号实施前处理，把其结果得到的前处理后摄影图像信号提供给图像转换部262。
即，前处理部261依次把构成与从学习对数据生成部751提供的关注信号格式Ai的虚拟摄影图像信号对应的前处理后摄影图像信号的像素作为关注像素，对于该关注像素，从由学习对数据生成部751提供的关注信号格式Ai的虚拟摄影图像信号中抽出成为关注抽头结构Dm的前处理抽头的多个像素的像素值。而且，前处理部261把前处理抽头的像素值作为自变量，进行利用关注前处理系数集合En定义的前处理用的函数运算，把该前处理用的函数运算结果作为前处理后摄影图像信号的关注像素的像素值，提供给图像转换部262。
并且，在步骤S764中，控制部752决定在学习部255的图像转换部262的图像转换处理中使用的每个类的抽头系数的集合。即，例如把类的总数设为α、把各个类的抽头系数的数量设为β、把抽头系数的比特数设为γ时，抽头系数的集合可能采用的情况数存在α×β×2γ个，控制部752把该α×β×2γ个抽头系数的集合中、在此次的图所示的处理中尚未成为关注抽头系数集合的一个，决定为关注抽头系数集合。
而且，控制部752把关注抽头系数集合提供给图像转换部262，从步骤S764转入步骤S765。
在步骤S765中，图像转换部262把从前处理部261提供的前处理后摄影图像信号设为第1图像信号，并把对该前处理后摄影图像信号实施作为关注处理Ck的图像处理而得到的图像处理后图像信号设为第2图像信号，使用在前面的步骤S764中从控制部752提供的关注抽头系数集合，进行把前处理后摄影图像信号转换为图像处理后图像信号的图像转换处理。并且，图像转换部262把通过图像转换处理得到的图像处理后图像信号提供给显示控制部68。
在步骤S765的处理之后，转入步骤S766，显示控制部68使与图像转换部262输出的图像处理后图像信号对应的图像，以从控制部752提供的显示格式信息所表示的关注显示格式Bj，显示在显示器69中，从步骤S766转入步骤S767。
在步骤S767中，光检测器70检测在显示器69中显示的图像(显示图像)的光(并进行光电转换)，把对应该光的电气信号即显示图像信号输出给评价值算出部71，转入步骤S768。
在步骤S768中，评价值算出部71评价来自光检测器70的显示图像信号，进而评价在显示器69中显示的图像。
即，评价值算出部71从来自学习数据存储部61的学习对数据获得与来自光检测器70的显示图像信号对应的教师信号，通过比较显示图像信号和对应的教师信号，算出作为显示图像信号的评价、进而作为观看在显示器69中显示的HD图像的用户所感觉的像质的评价的评价值，提供给控制部752。
在此，对在步骤S761～S762生成的所有学习对数据进行步骤S765～S768的处理。并且，控制部752对于关注抽头系数集合，求出针对所有学习对数据得到的评价值的例如总和，把该总和作为与关注抽头系数集合相关的最终评价值而临时存储。
然后，从步骤S768转入步骤S769，控制部752判断对于抽头系数集合可能采用的α×β×2γ个值全部是否已算出评价值。
在步骤S769中，在判断为对于抽头系数集合可能采用的α×β×2γ个值尚未全部算出评价值的情况下，即，在此次图47所示处理中，α×β×2γ个抽头系数集合中还存在没有成为关注抽头系数集合的集合的情况下，返回步骤S764，控制部752把α×β×2γ个抽头系数集合中在此次图47的处理中尚未成为关注抽头系数集合的一个，决定为新的关注抽头系数集合，以后重复相同的处理。
另外，在步骤S769中，在判断为对于抽头系数集合可能采用的α×β×2γ个值全部已算出评价值的情况下，转入步骤S770，控制部752把α×β×2γ个抽头系数集合中评价值最高的抽头系数集合，决定(临时决定)为与关注抽头结构Dm和关注前处理系数集合En的组合相关的最佳关注抽头系数集合Em，n，并返回。
此外，在图46中的步骤S746中，与在图47中的步骤S770被决定为最佳抽头系数集合的抽头系数的集合相关的评价值为最大的抽头结构、前处理系数集合和抽头系数的集合的组合，被临时判断为最佳的抽头结构、前处理系数集合和抽头系数的集合的组合。
下面，参照图48的流程图，详细说明图46中的步骤S747的最佳抽头结构决定处理。
在步骤S781中，控制部752把当前的临时最佳抽头结构作为基准，按照预先决定的变形规则将该抽头结构变形，由此决定最佳抽头结构的多个候选。
即，例如，假设现在以最接近关注像素位置的像素为中心的横×纵为3×3的相邻的像素设为当前的临时最佳抽头结构，控制部752例如把以最接近关注像素位置的像素为中心的横×纵为3×3的每隔一个像素的像素和每隔两个像素的像素等的、将当前的临时最佳抽头结构变形后的抽头结构，决定为最佳的抽头结构的多个候选。
此外，关于为了获得最佳的抽头结构的多个候选应如何将当前的临时最佳抽头结构变形，例如预先决定变形规则，控制部752按照该变形规则，将当前的临时最佳抽头结构变形，决定最佳的抽头结构的多个候选。
另外，在最佳的抽头结构的多个候选中也包含当前的临时最佳抽头结构。
在步骤S781的处理之后转入步骤S782，学习对数据生成部751从存储在学习数据存储部61中的学习数据，生成来自控制部752的信号格式信息所表示的关注信号格式Ai的图像信号(虚拟摄影图像信号)，作为学生信号，转入步骤S783。在步骤S783中，学习对数据生成部751从存储在学习数据存储部61中的学习数据，生成通过对学生信号实施来自控制部752的处理信息所表示的作为关注处理Ck的图像处理而得到的作为图像处理后图像信号的理想图像信号，作为教师信号。并且，学习对数据生成部751把作为学生信号的图像信号、和与该学生信号对应的作为教师信号的图像信号(通过对学生信号实施处理信息所表示的作为关注处理Ck的图像处理而得到的教师信号)的集合，作为学习对数据提供给评价值算出部71和学习部255，从步骤S783转入步骤S784。
在步骤S784中，控制部752把最佳的抽头结构的多个候选中尚未成为关注抽头结构的一个决定为关注抽头结构，转入步骤S785。
在步骤S785中，控制部752控制前处理部261，使其进行基于关注抽头结构和当前的临时最佳前处理系数集合的前处理。由此，前处理部261按照控制部752的控制，对从学习对数据生成部751提供给学习部255的虚拟摄影图像信号实施前处理，把其结果得到的前处理后摄影图像信号提供给图像转换部262。
即，前处理部261依次把构成与从学习对数据生成部751提供的虚拟摄影图像信号对应的前处理后摄影图像信号的像素作为关注像素，对于该关注像素，从由学习对数据生成部751提供的虚拟摄影图像信号中抽出成为关注抽头结构的前处理抽头的多个像素的像素值。而且，前处理部261把作为前处理抽头的像素值作为自变量，进行利用当前的临时最佳前处理系数集合定义的前处理用的函数运算，把该前处理用的函数运算结果作为前处理后摄影图像信号的关注像素的像素值，提供给图像转换部262。
在步骤S786中，图像转换部262从控制部752接收当前的临时最佳抽头系数的集合的提供。而且，图像转换部262把从前处理部261提供的前处理后摄影图像信号设为第1图像信号，并把对该前处理后摄影图像信号实施作为关注处理Ck的图像处理而得到的图像处理后图像信号设为第2图像信号，使用来自控制部752的当前的临时最佳抽头系数集合，进行把前处理后摄影图像信号转换为图像处理后图像信号的图像转换处理。并且，图像转换部262把通过图像转换处理得到的图像处理后图像信号提供给显示控制部68。
在步骤S786的处理之后，转入步骤S787，显示控制部68使与图像转换部262输出的图像处理后图像信号对应的图像，以来自控制部752的显示格式信息所表示的关注显示格式Bj，显示在显示器69中，转入步骤S788。
在步骤S788中，光检测器70检测作为显示在显示器69中的图像(显示图像)的光(并进行光电转换)，把对应该光的电气信号即显示图像信号输出给评价值算出部71，转入步骤S789。
在步骤S789中，评价值算出部71评价来自光检测器70的显示图像信号，进而评价显示在显示器69中的图像。
即，评价值算出部71从来自学习对数据生成部751的学习对数据获得与来自光检测器70的显示图像信号对应的教师信号，通过比较显示图像信号和对应的教师信号，算出作为显示图像信号的评价、进而作为观看在显示器69中显示的图像的用户所感觉的像质的评价的评价值，提供给控制部752。
在此，对在步骤S782～S783生成的所有学习对数据进行步骤S785～S789的处理。并且，控制部752对于关注抽头结构，求出针对所有学习对数据得到的评价值的例如总和，把该总和作为关注抽头结构的最终评价值进行临时存储。
然后，从步骤S789转入步骤S790，控制部752判断是否已对在步骤S781中决定的最佳抽头结构的多个候选全部算出评价值。
在步骤S790中，在判断为尚未对最佳抽头结构的多个候选全部算出评价值的情况下，返回步骤S784，控制部752把最佳抽头结构的多个候选中尚未成为关注抽头结构的一个决定为新的关注抽头结构，以后重复相同的处理。
另外，在步骤S790中，在判断为已对最佳抽头结构的多个候选全部算出评价值的情况下，转入步骤S791，控制部752把最佳抽头结构的多个候选中评价值最高的候选，临时决定为新的对于当前的临时最佳前处理系数集合和抽头系数的集合的组合为最佳的抽头结构，并返回。
下面，参照图49的流程图，详细说明图46中的步骤S748的最佳前处理系数集合决定处理。
在步骤S801中，控制部752把当前的临时最佳前处理系数集合作为基准，根据预先决定的规则，决定最佳的前处理系数集合的多个候选。
即，控制部752例如选择把当前的临时最佳前处理系数集合的各个前处理系数作为分量的φ维向量空间(这种情况下作为前处理系数集合的前处理系数的总数为φ个)所表示的、以φ维向量空间的点为基准的规定范围内的多个点，把分别表示该多个点的多个φ维向量(的分量)决定为最佳的前处理系数集合的多个候选。此外，关于为了获得最佳的前处理系数集合的多个候选而把与当前的临时最佳前处理系数集合对应的φ维向量作为基准、选择什么范围的什么点，预先决定了规则，控制部752按照该规则，选择把与当前的临时最佳前处理系数集合对应的φ维向量作为基准的规定范围内的多个点，由此决定最佳的前处理系数集合的多个候选。
在步骤S801的处理之后转入步骤S802，学习对数据生成部751从存储在学习数据存储部61中的学习数据，生成来自控制部752的信号格式信息所表示的关注信号格式Ai的图像信号(虚拟摄影图像信号)，作为学生信号，转入步骤S803。在步骤S803中，学习对数据生成部751从存储在学习数据存储部61中的学习数据，生成通过对学生信号实施来自控制部752的处理信息所表示的作为关注处理Ck的图像处理而得到的作为图像处理后图像信号的理想图像信号，作为教师信号。并且，学习对数据生成部751把作为学生信号的图像信号、和与该学生信号对应的作为教师信号的图像信号(通过对学生信号实施处理信息所表示的作为关注处理Ck的图像处理而得到的教师信号)的集合，作为学习对数据提供给评价值算出部71和学习部255，从步骤S803转入步骤S804。
在步骤S804中，控制部752把最佳的前处理系数集合的多个候选中尚未成为关注前处理系数集合的一个决定为关注前处理系数集合，转入步骤S805。
在步骤S805中，控制部752控制前处理部261，使其进行基于当前的临时最佳抽头结构和关注前处理系数集合的前处理。由此，前处理部261按照控制部752的控制，对从学习对数据生成部751提供给学习部255的学习对数据中作为学生信号的虚拟摄影图像信号实施前处理，把其结果得到的前处理后摄影图像信号提供给图像转换部262。
即，前处理部261依次把构成与从学习对数据生成部751提供的虚拟摄影图像信号对应的前处理后摄影图像信号的像素作为关注像素，对于该关注像素，从由学习对数据生成部751提供的作为学生信号的虚拟摄影图像信号中，抽出成为当前的临时最佳抽头结构的前处理抽头的多个像素的像素值。而且，前处理部261把前处理抽头的像素值作为自变量，进行由关注前处理系数集合定义的前处理用的函数运算，把该前处理用的函数运算结果作为前处理后摄影图像信号的关注像素的像素值，提供给图像转换部262。
在步骤S806中，图像转换部262从控制部752接收当前的临时最佳抽头系数的集合的提供。而且，图像转换部262把从前处理部261提供的前处理后摄影图像信号设为第1图像信号，把对该前处理后摄影图像信号实施作为关注处理Ck的图像处理而得到的图像处理后图像信号设为第2图像信号，使用来自控制部752的当前的临时最佳抽头系数集合，进行把前处理后摄影图像信号转换为图像处理后图像信号的图像转换处理。并且，图像转换部262把通过图像转换处理得到的图像处理后图像信号提供给显示控制部68。
在步骤S806的处理之后，转入步骤S807，显示控制部68使与图像转换部262输出的图像处理后图像信号对应的图像，以来自控制部752的显示格式信息所表示的关注最佳显示格式Bj，显示在显示器69中，转入步骤S808。
在步骤S808中，光检测器70检测作为显示在显示器69中的图像(显示图像)的光(并进行光电转换)，把与该光对应的电气信号即显示图像信号输出给评价值算出部71，转入步骤S809。
在步骤S809中，评价值算出部71评价来自光检测器70的显示图像信号，进而评价在显示器69中显示的图像。
即，评价值算出部71从来自学习对数据生成部751的学习对数据获得与来自光检测器70的显示图像信号对应的教师信号，通过比较显示图像信号和对应的教师信号，算出作为显示图像信号的评价、进而作为观看在显示器69中显示的图像的用户所感觉的像质的评价的评价值，提供给控制部752。
在此，对在步骤S802～S803生成的所有学习对数据进行步骤S805～S809的处理。并且，控制部752对于关注前处理系数集合，求出针对所有学习对数据得到的评价值的例如总和，把该总和作为关注前处理系数集合的最终评价值进行临时存储。
然后，从步骤S809转入步骤S810，控制部752判断是否已对在步骤S801决定的最佳前处理系数集合的多个候选全部算出评价值。
在步骤S810中，在判断为尚未对最佳前处理系数集合的多个候选全部算出评价值的情况下，返回步骤S804，控制部752把最佳前处理系数集合的多个候选中尚未成为关注前处理系数集合的一个决定为新的关注前处理系数集合，以后重复相同的处理。
另外，在步骤S810中，在判断为已对最佳前处理系数集合的多个候选全部算出评价值的情况下，转入步骤S811，控制部752把最佳前处理系数集合的多个候选中评价值最高的候选，临时决定为新的对于当前的临时最佳抽头结构和抽头系数的集合的组合为最佳的前处理系数集合，并返回。
下面，参照图50的流程图，说明图46中的步骤S749的最佳抽头系数集合决定处理。
在步骤S831中，与图23中的步骤S111的情况相同，控制部752把当前的临时最佳抽头系数集合作为基准，根据预先决定的规则决定最佳抽头系数集合的多个候选。
在步骤S831的处理之后转入步骤S832，学习对数据生成部751从存储在学习数据存储部61中的学习数据，生成来自控制部752的信号格式信息所表示的关注信号格式Ai的图像信号(虚拟摄影图像信号)，作为学生信号，转入步骤S833。在步骤S833中，学习对数据生成部751从存储在学习数据存储部61中的学习数据，生成通过对学生信号实施来自控制部752的处理信息所表示的作为关注处理Ck的图像处理而得到的作为图像处理后图像信号的理想图像信号，作为教师信号。并且，学习对数据生成部751把作为学生信号的图像信号、和与该学生信号对应的作为教师信号的图像信号(通过对学生信号实施处理信息所表示的作为关注处理Ck的图像处理而得到的教师信号)的集合，作为学习对数据提供给评价值算出部71和学习部255，从步骤S833转入步骤S834。
在步骤S834中，控制部752控制前处理部261(图44)，使其进行基于当前的临时最佳抽头结构和前处理系数集合的前处理。由此，前处理部261按照控制部752的控制，对从学习对数据生成部751提供给学习部255的学习对数据中作为学生信号的虚拟摄影图像信号实施前处理，把其结果得到的前处理后摄影图像信号提供给图像转换部262。
即，前处理部261依次把构成与从学习对数据生成部751提供的虚拟摄影图像信号对应的前处理后摄影图像信号的像素作为关注像素，对于该关注像素，从由学习对数据生成部751提供的虚拟摄影图像信号中抽出成为当前的临时最佳抽头结构的前处理抽头的多个像素的像素值。而且，前处理部261把作为前处理抽头的像素值作为自变量，进行由当前的临时最佳前处理系数集合定义的前处理用的函数运算，把该前处理用的函数运算结果作为前处理后摄影图像信号的关注像素的像素值，提供给图像转换部262。
在步骤S835，控制部752把最佳抽头系数集合的多个候选中尚未成为关注抽头系数集合的一个决定为关注抽头系数集合，把该关注抽头系数集合提供给图像转换部262，转入步骤S836。
在步骤S836中，图像转换部262把从前处理部261提供的前处理后摄影图像信号设为第1图像信号，并把对该前处理后摄影图像信号实施作为关注处理Ck的图像处理而得到的图像处理后图像信号设为第2图像信号，使用在前面的步骤S835中从控制部752提供的关注抽头系数集合，进行把前处理后摄影图像信号转换为图像处理后图像信号的图像转换处理。并且，图像转换部262把通过图像转换处理得到的图像处理后图像信号提供给显示控制部68。
在步骤S836的处理之后，转入步骤S837，显示控制部68使与学习部255输出的图像处理后图像信号对应的图像，以来自控制部752的显示格式信息表示的关注显示格式Bj，显示在显示器69中，转入步骤S838。
在步骤S838中，光检测器70检测显示在显示器69中的作为显示图像的光(并进行光电转换)，把与该光对应的电气信号即显示图像信号输出给评价值算出部71，转入步骤S839。
在步骤S839中，评价值算出部71评价来自光检测器70的显示图像信号，进而评价在显示器69中显示的图像。
即，评价值算出部71从由学习对数据生成部751提供的学习对数据获得与来自光检测器70的显示图像信号对应的教师信号，通过比较显示图像信号和对应的教师信号，算出作为显示图像信号的评价、进而作为观看在显示器69中显示的图像的用户所感觉的像质的评价的评价值，提供给控制部752。
其中，对在步骤S832～S833中生成的所有学习对数据进行步骤S834、步骤S836～S839的处理。并且，控制部752对于关注抽头系数集合，求出针对所有学习对数据得到的评价值的例如总和，把该总和作为与关注抽头系数集合相关的最终评价值进行临时存储。
然后，从步骤S839转入步骤S840，控制部752判断是否已对最佳抽头系数集合的多个候选全部算出评价值。
在步骤S840中，在判断为尚未对最佳抽头系数集合的多个候选全部算出评价值的情况下，返回步骤S835，控制部752把最佳抽头系数集合的多个候选中尚未成为关注抽头系数集合的一个决定为新的关注抽头系数集合，以后重复相同的处理。
另外，在步骤S840中，在判断为已对最佳抽头系数集合的多个候选全部算出评价值的情况下，转入步骤S841，控制部752把最佳抽头系数集合的多个候选中评价值最高的候选，临时决定为新的对于当前的临时最佳抽头结构和前处理系数集合的组合为最佳的抽头系数集合并返回。
下面，图51表示处理图像的图像处理系统的第5结构示例。
在图51中，图像处理系统由照相机1001、发送装置1002、接收装置1003和显示装置1004构成。
照相机1001拍摄物体(被摄体)，作为通过该摄影得到的图像信号，输出已有的信号格式例如D1格式的SD图像信号。
即，照相机1001由成像器1011、图像转换部1012和IF(Interface：接口)1013构成。
成像器1011例如是CCD、CMOS成像器等光电转换元件，对射入此处的光进行光电转换，输出其结果得到的电气信号即规定信号格式的SD图像信号，即，例如拜耳格式的SD图像信号。
成像器1011输出的拜耳格式的SD图像信号提供给图像转换部1012。图像转换部1012进行图像转换处理，把来自成像器1011的拜耳格式的SD图像信号转换为可以从后级的I/F1013输出的D1格式的SD图像信号，把通过该图像转换处理得到的D1格式的SD图像信号提供给I/F1013。
I/F1013是用于进行D1格式的SD图像信号的输入输出的接口，把从图像转换部1012提供的D1格式的SD图像信号输出到外部。
从照相机1001的I/F1013输出的D1格式的SD图像信号通过有线或无线的通信发送给发送装置1002。
发送装置1002接收来自照相机1001的D1格式的SD图像信号，将其例如作电视播放信号进行发送。
即，发送装置1002由I/F1021、图像转换部1022、信号处理部1023、图像转换部1024和I/F1025构成。
I/F1021是用于进行D1格式的SD图像信号的输入输出的接口，接收来自照相机1001(的I/F1013)的D1格式的SD图像信号，提供给图像转换部1022。
图像转换部1022进行图像转换处理，把成分信号即来自I/F1021的D1格式的SD图像信号转换为可以在后级的信号处理部1023处理的例如混合信号的SD图像信号，把其结果得到的混合信号的SD图像信号提供给信号处理部1023。
信号处理部1023对来自图像转换部1022的混合信号的SD图像信号实施规定的信号处理，把该信号处理的结果得到的混合信号的SD图像信号提供给图像转换部1024。
图像转换部1024进行图像转换处理，把来自信号处理部1023的混合信号的SD图像信号转换为可以从后级的I/F1025输出的D1格式的SD图像信号，把通过该图像转换处理得到的D1格式的SD图像信号提供给I/F1025。
I/F1025是用于进行D1格式的SD图像信号的输入输出的接口，把从图像转换部1024提供的D1格式的SD图像信号输出到外部。
从发送装置1002的I/F1025输出的D1格式的SD图像信号，作为电视播放信号通过有线或无线通信发送给接收装置1003。
接收装置1003例如是接收电视播放信号的调谐器等，接收从发送装置1002发送来的D1格式的SD图像信号。
即，接收装置1003由I/F1031、图像转换部1032、信号处理部1033、图像转换部1034和I/F1035构成。
I/F1031是用于进行D1格式的SD图像信号的输入输出的接口，接收来自发送装置1002(的I/F1025)的D1格式的SD图像信号，提供给图像转换部1032。
图像转换部1032进行图像转换处理，把来自I/F1031的D1格式的SD图像信号转换为可以在后级的信号处理部1033处理的、例如亮度信号和色差信号(以下将两者统称为Y/C信号)，把其结果得到的Y/C信号提供给信号处理部1033。
信号处理部1033对来自图像转换部1032的Y/C信号实施规定的信号处理，把该信号处理的结果得到的Y/C信号提供给图像转换部1034。
图像转换部1034进行图像转换处理，把来自信号处理部1033的Y/C信号转换为可以从后级的I/F1035输出的D1格式的SD图像信号，把通过该图像转换处理得到的D1格式的SD图像信号提供给I/F1035。
I/F1035是用于进行D1格式的SD图像信号的输入输出的接口，把从图像转换部1034提供的D1格式的SD图像信号输出到外部。
从接收装置1003的I/F1035输出的D1格式的SD图像信号通过有线或无线通信发送给显示装置1004。
显示装置1004例如接收来自接收装置1003的D1格式的SD图像信号，显示对应的图像。
即，显示装置1004由I/F1041、图像转换部1042、显示控制部1043和显示器1044构成。
I/F1041是用于进行D1格式的SD图像信号的输入输出的接口，接收来自接收装置1003(的I/F1035)的D1格式的SD图像信号，提供给图像转换部1042。
图像转换部1042进行图像转换处理，把来自I/F1041的D1格式的SD图像信号转换为可以通过后级的显示控制部1043对显示器1044进行显示的例如RGB图像信号，把其结果得到的RGB图像信号提供给显示控制部1043，其中RGB图像信号对于一个像素作为像素值具有R、G、B的颜色成分。
显示控制部1043使与来自图像转换部1042的RGB图像信号对应的图像显示在显示器1044中。
显示器1044由CRT和LCD面板等构成，利用已有的显示格式例如条纹状显示图像。
在以上那样构成的图像处理系统中，通过图像转换部1012的图像转换处理，把在照相机1001中通过摄影得到的拜耳格式的SD图像信号，转换为适合于在装置之间传递的D1格式的SD图像信号并输出。
照相机1001输出的D1格式的SD图像信号提供给发送装置1002。发送装置1002通过图像转换部1022的图像转换处理，把来自照相机1001的D1格式的SD图像信号转换为适合于内部的信号处理部1023的信号处理的混合信号的SD图像信号，实施信号处理。而且，发送装置1002通过图像转换部1024的图像转换处理，把信号处理后的混合信号的SD图像信号转换为适合于在装置之间传递的D1格式的SD图像信号并发送。
发送装置1002发送的D1格式的SD图像信号在接收装置1003中接收。接收装置1003通过图像转换部1032的图像转换处理，把来自发送装置1002的D1格式的SD图像信号转换为适合于内部的信号处理部1033的信号处理的Y/C信号，实施信号处理。而且，接收装置1003通过图像转换部1034的图像转换处理，把信号处理后的Y/C信号转换为适合于在装置之间传递的D1格式的SD图像信号并输出。
接收装置1003输出的D1格式的SD图像信号提供给显示装置1004。显示装置1004把来自接收装置1003的D1格式的SD图像信号转换为适合于在显示器1044上显示的RGB图像信号，显示与该RGB图像信号对应的图像。
如以上那样，构成图51的图像处理系统的照相机1001、发送装置1002和接收装置1003均输出现有信号格式即D1格式的SD图像信号，所以具有输入D1格式的图像信号的I/F的装置，可以接受(输入)照相机1001、发送装置1002和接收装置1003任一方的输出。
另外，构成图51的图像处理系统的发送装置1002、接收装置1003和显示装置1004均可以接受现有信号格式即D1格式的SD图像信号，所以发送装置1002、接收装置1003和显示装置1004可以接受任何具有输出D1格式的图像信号的I/F的装置的输出。
那么，在图51所示的图像处理系统中，在照相机1001、发送装置1002、接收装置1003和显示装置1004中，进行把一种信号转换为另一种信号的处理。
即，在照相机1001中进行把拜耳格式的SD图像信号转换为D1格式的SD图像信号的处理，在发送装置1002中进行把D1格式的SD图像信号转换为混合信号的SD图像信号的处理、和把混合信号的SD图像信号转换为D1格式的SD图像信号的处理。另外，在接收装置1003中进行把D1格式的SD图像信号转换为Y/C信号的处理、和把Y/C信号的转换为D1格式的SD图像信号的处理，在显示装置1004中进行把D1格式的SD图像信号转换为RGB图像信号的处理。
在把一种信号转换为另一种信号的处理中，通常会发生信号成分的损失(包含S/N的降低)，但根据基于类分类适应处理的图像转换处理，类分类适应处理如上所述是具有信号成分的创造作用的处理，所以能够把信号成分的损失抑制(进一步降低)在最小限度。
因此，在图51的图像处理系统的照相机1001、发送装置1002、接收装置1003和显示装置1004中，在把一种信号转换为另一种信号的处理中采用基于类分类适应处理的图像转换处理。
即，在图51中，照相机1001的图像转换部1012、发送装置1002的图像转换部1022和1024、接收装置1003的图像转换部1032和1034、及显示装置1004的图像转换部1042，进行基于类分类适应处理的图像转换处理。
图52表示图51中的图像转换部1012的结构示例。
图像转换部1012由抽头抽出部1061和1062、类分类部1063、系数存储器1064、及预测部1065构成。
来自成像器1011的拜耳格式的SD图像信号作为第1图像信号提供给图像转换部1012。并且，作为第1图像信号的SD图像信号提供给抽头抽出部1061和1062。
抽头抽出部1061把转换作为第1图像信号的拜耳格式的SD图像信号而得到的D1信号格式的SD图像信号，设为第2图像信号(该作为第2图像信号的HD图像信号是将来将要求出的图像信号，在当前阶段不存在，所以进行假想设定)，依次把构成该第2图像信号的像素设为关注像素，并且，从第1图像信号抽出在预测该关注像素的像素值时使用的多个像素的像素值即预测抽头。
具体地讲，抽头抽出部1061将相对于与关注像素对应的第1图像信号的图像位置(例如，拍摄有与拍摄在关注像素位置上的被摄体相同的被摄体的一部分的第1图像信号在图像上的位置)，在空间上或时间上处于接近的位置关系的多个像素(例如最接近与关注像素对应的第1图像信号在图像上的位置的像素、和在空间上与该像素相邻的像素等)的像素值，作为预测抽头抽出。
抽头抽出部1062从第1图像信号，抽出在进行把关注像素分类为几个(多个)类中任一类的类分类时使用的作为多个像素的像素值的类抽头。
由抽头抽出部1061获取的预测抽头提供给预测部1065，由抽头抽出部1062获取的类抽头提供给类分类部1063。
类分类部1063根据来自抽头抽出部1062的类抽头，对关注像素进行类分类，把其结果得到的关注像素的类提供给系数存储器1064。
在此，作为进行类分类的方法，可以采用与在图4的类分类部43中说明的方法相同的方法。
系数存储器1064存储通过使用学习对数据的学习而预先求出的每个类的抽头系数(的集合)，该学习对数据是从作为在学习中使用的学习数据而准备的高像质的图像信号生成的、分别相当于第1图像信号和第2图像信号的作为学生信号的图像信号、与作为教师信号的图像信号的组合。即，系数存储器1064对于可以在类分类部1063将关注像素类分类的多个类，分别存储抽头系数的集合。系数存储器1064输出每个类的抽头系数的集合中从类分类部1063提供的类代码所表示的类、也就是关注像素的类的抽头系数的集合。
预测部1065获取抽头抽出部1061输出的预测抽头、和系数存储器1064输出的抽头系数，使用该预测抽头和抽头系数，进行求出关注像素的真值的预测值的规定的预测运算。由此，预测部1065求出关注像素的像素值(的预测值)并输出，即，求出并输出构成第2图像信号的像素的像素值。
下面，参照图53的流程图，说明图52中的图像转换部1012进行的图像转换处理。
在抽头抽出部1061中，构成与从成像器1011提供的作为第1图像信号的SD图像信号对应的、作为第2图像信号的D1格式的SD图像信号的各个像素，被依次设为关注像素。并且，在步骤S1001中，抽头抽出部1061和1062分别从提供给其的第1图像信号中抽出作为与关注像素相关的预测抽头和类抽头的像素的像素值。并且，预测抽头从抽头抽出部1061提供给预测部1065，类抽头从抽头抽出部1062提供给类分类部1063。
类分类部1063从抽头抽出部1062接收与关注像素相关的类抽头，在步骤S1002中，根据该类抽头对关注像素进行类分类。而且，类分类部1063把该类分类的结果得到的关注像素的类输出给系数存储器1064，转入步骤S1003。
在步骤S1003中，系数存储器1064读出并输出从类分类部1063提供的类代码所表示的类的抽头系数、即关注像素的类的抽头系数，转入步骤S1004。系数存储器1064输出的抽头系数在预测部中1065获取。
在步骤S1004中，预测部1065使用抽头抽出部1061输出的预测抽头和从系数存储器1064获取的抽头系数，进行作为规定的预测运算的算式(1)的运算，由此求出关注像素的像素值即第2图像信号的像素的像素值。预测部1065按照以上那样，例如每求出一帧的第2图像信号的像素的像素值，输出该第2图像信号即D1格式的SD图像信号。
下面，图54表示进行学习处理的学习装置的结构示例，该学习处理用于求出存储在图52的系数存储器1064中的抽头系数的集合。
图54中的学习装置由学习数据存储部1071、学习对数据生成部1072、抽头抽出部1073、1074、类分类部1075、正规方程式生成部1076、及抽头系数运算部1077构成，通过进行基于使用上述正规方程式的学习方法、即基于对每个类建立算式(8)的正规方程式并求解的学习方法的学习，求出每个类的抽头系数。
学习数据存储部1071存储例如SHD图像信号、HD图像信号或SD图像信号，作为学习数据。
学习对数据生成部1072依次把存储在学习数据存储部1071中作为学习数据的图像信号的帧设为关注帧，从关注帧生成作为学生信号的相当于第1图像信号的拜耳格式的SD图像信号、和作为教师信号的相当于第2图像信号的D1号格式的SD图像信号，把该作为学生信号的SD图像信号和作为教师信号的SD图像信号的集合作为学习对数据，提供给抽头抽出部1073和1074及正规方程式生成部1076。
抽头抽出部1073依次把从学习对数据生成部1072提供的学习对数据中作为教师信号的D1格式的SD图像信号的像素作为关注像素，对于该关注像素，从学习对数据中作为学生信号的拜耳格式的SD图像信号抽出作为预测抽头的像素的像素值，把与在构成图52的图像转换部1012的抽头抽出部1061中获得的预测抽头的抽头结构相同的预测抽头，提供给正规方程式生成部1076。
抽头抽出部1074对于关注像素，从由学习对数据生成部1072提供的拜耳格式的SD图像信号，抽出作为类抽头的像素的像素值，把与在构成图52的图像转换部1012的抽头抽出部1062中获得的类抽头的抽头结构相同的类抽头，提供给类分类部1075。
类分类部1075根据从抽头抽出部1074提供的类抽头，与构成图52的图像转换部1012的类分类部1063相同，对关注像素进行类分类，把其结果得到的关注像素的类提供给正规方程式生成部1076。
正规方程式生成部1076对从类分类部1075提供的每个类进行累加，该累加以从学习对数据生成部1072提供的学习对数据中作为教师信号的D1格式的SD图像信号中的关注像素(的像素值)yk、和构成从抽头抽出部1061提供的与关注像素相关的预测抽头的像素(的像素值)xn，k为对象。
即，正规方程式生成部1076对从类分类部1075提供的每个类，使用构成从抽头抽出部1073提供的与关注像素相关的预测抽头的拜耳格式的SD图像信号的像素(第1像素)xn，k，进行相当于算式(8)中左边矩阵中的各个第1像素的相乘(xn，kxn’，k)和求和(∑)的运算。
而且，正规方程式生成部1076还对从类分类部1075提供的每个类，使用第1像素xn，k和D1格式的SD图像信号的像素(关注像素)yk，进行相当于算式(8)中右边的向量中的第1像素xn，k和关注像素yk的相乘(xn，kyk)以及求和(∑)的运算。
即，正规方程式生成部1076把对前次成为关注像素的D1格式的SD图像信号的像素(第2像素)求出的、算式(8)中的左边矩阵的成分(∑xn，kxn’，k)和右边的向量中的成分(∑xn，kyk)，存储到其内置的存储器(未图示)中。
并且，正规方程式生成部1076将存储在存储器中的矩阵的成分(∑xn，kxn’，k)，与使用构成与重新成为关注像素的第2像素相关的预测抽头的第1像素xn，k+1而进行运算的对应的成分xn，k+1xn’，k+1相加(进行利用算式(8)中左边矩阵内的求和表示的相加)，并且将存储在存储器中的向量的成分(∑xn，kyk)，与对重新成为关注像素的第2像素使用该第2像素yk+1和第1像素xn，k+1而进行运算的对应的成分xn，k+1yk+1相加(进行利用算式(8)中右边向量内的求和表示的相加)。
正规方程式生成部1076把从学习对数据生成部1072提供的学习对数据中作为教师信号的D1格式的SD图像信号的所有像素作为关注像素，并进行上述的累加，由此对于各个类建立算式(8)所示的正规方程式，把该正规方程式提供给抽头系数算出部1077。
抽头系数算出部1077通过求解从正规方程式生成部1076提供的与各个类相关的正规方程式，对各个类求出最佳的抽头系数(使算式(4)的平方误差的总和E为最小的抽头系数)wn的集合。
下面，参照图55的流程图，说明图54中的学习装置进行的求出抽头系数的集合的学习处理。
在图54的学习装置中，在步骤S1011中，学习对数据生成部1072从存储在学习数据存储部1071中的学习数据，生成作为学生信号的拜耳格式的SD图像信号、和作为教师信号的D1格式的SD图像信号，把这种作为学生信号的SD图像信号和作为教师信号的SD图像信号的集合，作为学习对数据，提供给抽头抽出部1073和1074及正规方程式生成部1076，转入步骤S1012。
在步骤S1012中，抽头抽出部1073依次把从学习对数据生成部1072提供的学习对数据中作为教师信号的D1格式的SD图像信号的像素设为关注像素，对于该关注像素，从学习对数据中作为学生信号的拜耳格式的SD图像信号，抽出成为预测抽头的像素的像素值，提供给正规方程式生成部1076。
另外，抽头抽出部1074对于关注像素，从学习对数据中作为学生信号的拜耳格式的SD图像信号，抽出成为类抽头的像素的像素值，提供给类分类部1075。
在步骤S1013中，类分类部1075根据来自抽头抽出部1074的类抽头，对关注像素进行类分类，把其结果得到的关注像素的类提供给正规方程式生成部1075，转入步骤S1014。
在步骤S1014中，正规方程式生成部1076把来自学习对数据生成部1072的学习对数据中的关注像素(的像素值)、和构成对从抽头抽出部1073提供的关注像素得到的预测抽头的拜耳格式的SD图像信号的像素(的像素值)作为对象，按照上面所述进行对从类分类部1075提供的类而建立的算式(8)的累加。
并且，正规方程式生成部1076把从学习对数据生成部1072提供的学习对数据中作为教师信号的D1格式的SD图像信号的所有像素设为关注像素，进行步骤S1014的累加时，把通过该累加得到的各个类的正规方程式(每个类的算式(8)中的左边矩阵和右边的向量)，提供给抽头系数算出部1077，从步骤S1014转入步骤S1015。
在步骤S1015中，抽头系数算出部1077通过求解从正规方程式生成部1076提供的各个类的正规方程式(利用每个类的算式(8)中的左边矩阵和右边的向量而构成的每个类的正规方程式)，求出各个类的抽头系数的集合。
在以上的学习处理中，通过抽头系数算出部1077求出的抽头系数的集合，被存储在构成图52中的图像转换部1012的系数存储器1064中。
此外，除图51中的照相机1001的图像转换部1012以外，发送装置1002的图像转换部1022和1024、接收装置1003的图像转换部1032和1034、及显示装置1004的图像转换部1042也按照图52所示构成。但是，存储在系数存储器1064中的抽头系数的集合，因每个图像转换部1012、1022、1024、1032、1034和1042而各自不同。
即，在构成把拜耳格式的SD图像信号转换为D1格式的图像信号的图像转换部1012的系数存储器1064中，如上所述存储着如下抽头系数的集合，该抽头系数的集合是通过把从作为学习数据的图像信号生成的拜耳格式的SD图像信号和D1格式的SD图像信号分别作为学生信号和教师信号，并进行图55的学习处理而得到的。
另外，在构成把D1格式的SD图像信号转换为混合信号的SD图像信号的图像转换部1022的系数存储器1064中，存储着如下抽头系数的集合，该抽头系数的集合是通过把从作为学习数据的图像信号生成的D1格式的SD图像信号和混合信号的SD图像信号分别作为学生信号和教师信号，并进行图55的学习处理而得到的。
而且，在构成把混合信号的SD图像信号转换为D1格式的SD图像信号的图像转换部1024的系数存储器1064中，存储着如下抽头系数的集合，该抽头系数的集合是通过把从作为学习数据的图像信号生成的混合信号的SD图像信号和D1格式的SD图像信号分别作为学生信号和教师信号，并进行图55的学习处理而得到的。
同样，在构成把D1格式的SD图像信号转换为Y/C信号的图像转换部1032的系数存储器1064中，存储着如下抽头系数的集合，该抽头系数的集合是通过把从作为学习数据的图像信号生成的D1格式的SD图像信号和Y/C信号分别作为学生信号和教师信号，并进行图55的学习处理而得到的；在构成把Y/C信号转换为D1格式的SD图像信号的图像转换部1034的系数存储器1064中，存储着如下抽头系数的集合，该抽头系数的集合是通过把从作为学习数据的图像信号生成的Y/C信号和D1格式的SD图像信号分别作为学生信号和教师信号，并进行图55的学习处理而得到的。
另外，在构成把D1格式的SD图像信号转换为RGB图像信号的图像转换部1042的系数存储器1064中，存储着如下抽头系数的集合，该抽头系数的集合是通过把从作为学习数据的图像信号生成的D1格式的SD图像信号和RGB图像信号分别作为学生信号和教师信号，并进行图55的学习处理而得到的。
下面，图56表示处理图像的图像处理系统的第6结构示例。
此外，对于图中与图51的情况对应的部分赋予相同符号，所以以下适当省略其说明。
在图56中，图像处理系统由照相机1101、发送装置1102、接收装置1103和显示装置1104构成。
照相机1101拍摄物体(被摄体)，作为通过该摄影得到的图像信号，输出已有的信号格式例如D1格式的SD图像信号。
即，照相机1101由成像器1011、图像转换部1111和IF(Interface：接口)1112构成。
成像器1011输出的拜耳格式的SD图像信号提供给图像转换部1111。图像转换部1111进行图像转换处理，把来自成像器1011的拜耳格式的SD图像信号转换为可以在后级的发送装置1102中处理的混合信号的SD图像信号，把通过该图像转换处理得到的混合信号的SD图像信号提供给I/F1112。
I/F1112是用于进行混合信号的SD图像信号的输入输出的接口，把从图像转换部1111提供的混合信号的SD图像信号输出到外部。
从照相机1101的I/F1112输出的混合信号的SD图像信号，通过有线或无线通信发送给发送装置1102。
发送装置1102接收来自照相机1101的混合信号的SD图像信号，将其例如作为电视播放信号进行发送。
即，发送装置1102由I/F1121、信号处理部1023、图像转换部1122、及I/F1123构成。
I/F1121是用于进行混合信号的SD图像信号的输入输出的接口，接收来自照相机1101(的I/F1112)的混合信号的SD图像信号，提供给可以处理混合信号的信号处理部1023。
图像转换部1122进行图像转换处理，把信号处理部1023输出的混合信号的SD图像信号转换为可以在后级的接收装置1103中处理的Y/C信号，把通过该图像转换处理得到的Y/C信号提供给I/F1123。
I/F1123是用于进行Y/C信号的输入输出的接口，把从图像转换部1122提供的Y/C信号输出到外部。
从发送装置1102的I/F1123输出的Y/C信号，作为电视播放信号通过有线或无线通信发送给接收装置1103。
接收装置1103例如是接收电视播放信号的调谐器等，接收从发送装置1102发送来的Y/C信号。
即，接收装置1103由I/F1131、信号处理部1033、图像转换部1132和I/F1133构成。
I/F1131是用于进行Y/C信号的输入输出的接口，接收来自发送装置1102(的I/F1123)的Y/C信号，提供给可以处理Y/C信号的信号处理部1033。
图像转换部1132进行图像转换处理，把信号处理部1033输出的Y/C信号转换为可以在后级的显示装置1104的显示中使用的RGB图像信号，把通过该图像转换处理得到的RGB图像信号提供给I/F1133。
I/F1133是用于进行RGB图像信号的输入输出的接口，把从图像转换部1132提供的RGB图像信号输出到外部。
从接收装置1103的I/F1133输出的RGB图像信号通过有线或无线通信发送给显示装置1104。
显示装置1104例如接收来自接收装置1103的RGB图像信号，显示对应的图像。
即，显示装置1104由I/F1141、显示控制部1043和显示器1044构成。
I/F1141是用于进行RGB图像信号的输入输出的接口，接收来自接收装置1003(的I/F1133)的RGB图像信号，提供给控制与RGB图像信号对应的图像的显示的显示控制部1043。
在如以上那样构成的图像处理系统中，通过图像转换部1111的图像转换处理，把在照相机1101中通过摄影得到的拜耳格式的SD图像信号，转换为适合于在后级的发送装置1102中处理的混合信号的SD图像信号并输出。
在发送装置1102中，在信号处理部1023中对来自照相机1101的混合信号的SD图像信号实施信号处理，通过图像转换部1122的图像转换处理，把信号处理后的混合信号的SD图像信号转换为适合于在后级的接收装置1103中处理的Y/C信号并发送。
接收装置1003在信号处理部1133中对来自发送装置1102的Y/C信号实施信号处理，通过图像转换部1132的图像转换处理，把信号处理后的Y/C信号转换为适合于在后级的显示装置1104中处理的RGB图像信号并输出。
并且，在显示装置1104中，显示控制部1043在显示器1044中显示与来自接收装置1103的RGB图像信号对应的图像。
如以上那样，在图56的图像处理系统中，照相机1101输出适合于后级的发送装置1102的处理的混合信号的SD图像信号，发送装置1102也输出适合于后级的接收装置1103的处理的Y/C信号。同样，接收装置1103也输出适合于后级的显示装置1104的处理的RGB图像信号。
因而，在图56的图像处理系统中，发送装置1102可以构成为不设置用于把D1格式的SD图像信号转换为适合于信号处理部1023处理的混合信号的SD图像信号的图像转换部1022(图51)。
另外，接收装置1103可以构成为不设置用于把D1格式的SD图像信号转换为适合于信号处理部1033处理的Y/C信号的图像转换部1032(图51)。同样，显示装置1104也可以构成为不设置用于把D1格式的SD图像信号转换为适合于显示控制部1043的图像显示的RGB图像信号的图像转换部1042(图51)。
此外，在图56的图像处理系统的照相机1101的图像转换部1111、发送装置1102的图像转换部1122、和接收装置1103的图像转换部1132中，为了把信号成分的损失抑制在最小限度(进一步降低)，在图像转换处理中也可以采用类分类适应处理。
在该情况下，图像转换部1111、1122和1132构成为与图52所示的图像转换部1012相同。但是，存储在系数存储器1064(图51)中的抽头系数的集合，因每个图像转换部1111、1122和1132而分别不同。
即，在构成把拜耳格式的SD图像信号转换为混合信号的图像信号的图像转换部1111的系数存储器1064中，存储着如下抽头系数的集合，该抽头系数的集合是通过把从作为学习数据的图像信号生成的拜耳格式的SD图像信号和混合信号的SD图像信号分别作为学生信号和教师信号，并进行图55的学习处理而得到的。
另外，在构成把混合信号的SD图像信号转换为Y/C信号的图像转换部1122的系数存储器1064中，存储着如下抽头系数的集合，该抽头系数的集合是通过把从作为学习数据的图像信号生成的混合信号的SD图像信号和Y/C信号分别作为学生信号和教师信号，并进行图55的学习处理而得到的。
另外，在构成把Y/C信号转换为RGB图像信号的图像转换部1132的系数存储器1064中，存储着如下抽头系数的集合，该抽头系数的集合是通过把从作为学习数据的图像信号生成的Y/C信号和RGB图像信号分别作为学生信号和教师信号，并进行图55的学习处理而得到的。
下面，图57表示处理图像的图像处理系统的第7结构示例。
此外，对于图中与图51或图56对应的部分赋予相同符号，所以以下适当省略其说明。
在图57中，图像处理系统由照相机1201和显示装置1104构成。
照相机1201拍摄物体(被摄体)，作为通过该摄影得到的图像信号，输出可以在后级的显示装置1104的显示中使用的RGB图像信号。
即，照相机1201由成像器1011、图像转换部1211和I/F1212构成。
成像器1011输出的拜耳格式的SD图像信号提供给图像转换部1211。图像转换部1211进行图像转换处理，把来自成像器1011的拜耳格式的SD图像信号转换为可以在后级的显示装置1104的显示中使用的RGB图像信号，把通过该图像转换处理得到的RGB图像信号提供给I/F1212。
I/F1212是用于进行RGB图像信号的输入输出的接口，把从图像转换部1211提供的RGB图像信号输出到外部。
从照相机1201的I/F1212输出的RGB图像信号，通过有线或无线通信提供给显示装置1104。
在如以上那样构成的图像处理系统中，通过图像转换部1211的图像转换处理，把在照相机1201中通过摄影得到的拜耳格式的SD图像信号，转换为适合于在后级的显示装置1104中处理的RGB图像信号并输出。
并且，在显示装置1104中，显示控制部1043在显示器1044中显示与来自照相机1201的RGB图像信号对应的图像。
如以上那样，在图57的图像处理系统中，照相机1201输出适合于在后级的显示装置1104中处理的RGB图像信号。
因而，在图57的图像处理系统中，与图56的情况相同，显示装置1104可以构成为不设置用于把D1格式的SD图像信号转换为适合于显示控制部1043中的图像显示的RGB图像信号的图像转换部1042(图51)。
此外，在图57的图像处理系统的照相机1201的图像转换部1211中，为了把信号成分的损失抑制在最小限度(进一步降低)，图像转换处理也可以采用类分类适应处理。
在该情况下，图像转换部1211构成为与图52所示的图像转换部1012相同。但是，存储在系数存储器1064(图52)中的抽头系数的集合，需要是通过把从作为学习数据的图像信号生成的拜耳格式的SD图像信号和RGB图像信号分别作为学生信号和教师信号，并进行图55的学习处理而得到的抽头系数的集合。
如图56、图57的图像处理系统那样，在前级的装置(例如，图57中的照相机1201)中，输出使在内部得到的某个信号格式的图像信号(例如拜耳格式的SD图像信号)成为适合于后级的装置(例如，图57中的显示装置1104)中的处理的信号格式的图像信号(例如RGB图像信号)，由此后级的装置只能连接前级的装置那样的、输出适合于后级的装置的处理的信号格式的图像信号的装置(前级装置只能连接能够接受该前级装置所输出的信号格式的图像信号的、后级装置那样的装置)，在后级的装置中，不转换来自前级装置的图像信号的信号格式，即可进行信号处理。
此外，在图56、图57的图像处理系统中，设为使其在前级装置中输出使在内部得到的某个信号格式的图像信号成为适合于后级装置中的处理的信号格式的图像信号，但除此以外，也可以设为在前级装置中直接输出在内部得到的某个信号格式的图像信号，在后级装置中，把前级装置输出的图像信号转换为适合于后级装置的处理的信号格式的图像信号，然后进行信号处理。
然后，上述的一系列的处理可以通过硬件进行，也可以通过软件进行。在通过软件进行一系列处理的情况下，构成该软件的程序被安装在通用计算机等中。
因此，图58表示安装了执行上述一系列处理的程序的计算机的一个实施方式的结构示例。
程序可以预先记录在内置于计算机中的作为记录介质的硬盘2005、ROM2003中。
或者另外，程序可以临时或永久地保存(记录)在软盘、CD-ROM(Compact Disc Read Only Memory：光盘只读存储器)、MO(Magneto Optical：光磁)盘、DVD(Digital Versatile Disc)、磁盘、半导体存储器等可移动记录介质2011中。这种可移动记录介质2011可以作为所谓的包软件提供。
此外，程序除了从如上述的可移动记录介质2011安装在计算机上外，也可以从下载站点通过数字卫星播放用的人工卫星无线传送到计算机上，通过LAN(Local Area Network：局域网)、因特网等网络有线传送到计算机上，在计算机中通过通信部2008接收这样传送来的程序，并安装在内置的硬盘2005中。
计算机内置有CPU(Central Processing Unit：中央处理单元)2002。CPU2002通过总线2001连接着输入输出接口2010，CPU2002通过输入输出接口2010，通过由用户操作由键盘、鼠标和麦克风等构成的输入部2007等而输入指令时，随之执行保存在ROM(Read Only Memory：只读存储器)2003中的程序。或者，另外，CPU2002将保存在硬盘2005中的程序、从卫星或网络传送并由通信部2008接收后安装的硬盘2005中的程序、或从安装在驱动器2009上的可移动记录介质2011读出并安装的硬盘2005中的程序，载入到RAM(Random Access Memory：随机存取存储器)2004中并执行。由此，CPU2002进行基于上述流程图的处理、或通过上述方框图的结构进行的处理。并且，CPU2002根据需要，将该处理结果例如通过输入输出接口2010，从利用LCD(LiquidCrystal Display：液晶显示器)、扬声器等构成的输出部2006输出，或者从通信部2008发送，并且记录在硬盘2005中等。
在此，在本说明书中，用于记述使计算机执行各种处理的程序的处理步骤，未必一定需要在时间序列上按照作为流程图而记载的顺序进行处理，也包含并行或独立执行的处理(例如并行处理或基于目标的处理)。
另外，程序可以通过一台计算机处理，也可以通过多台计算机分散处理。另外，程序还可以传送到远程计算机上执行。
此外，本发明的实施方式不限于上述实施方式，可以在不脱离本发明宗旨的范围内进行各种变更。

Claims (12)

1.一种处理图像的图像处理装置，具有：
显示格式获取单元，获取在显示图像的显示单元中显示图像的显示格式；
摄影图像信号获取单元，获取来自对物体进行拍摄的摄影单元的图像信号即摄影图像信号；以及
信号转换单元，根据使下述信号格式和下述显示格式相对应的对应关系信息，把第1信号格式的所述摄影图像信号转换为与在所述显示格式获取单元中获取的显示格式对应的信号格式即第2信号格式的图像信号，所述信号格式是成为下述图像转换处理的对象的图像信号的信号格式，所述图像转换处理把图像信号转换为比对应于所述图像信号的图像更高像质的图像的高像质图像信号，所述显示格式是显示与通过所述图像转换处理得到的所述高像质图像信号对应的图像的显示格式。
2.根据权利要求1所述的图像处理装置，还具备所述摄影单元。
3.根据权利要求1所述的图像处理装置，所述信号转换单元具有：
预测抽头抽出单元，从所述摄影图像信号抽出预测抽头，该预测抽头是在预测所述第2信号格式的图像信号的关注像素的像素值时使用的多个像素的像素值；
类抽头抽出单元，从所述摄影图像信号抽出类抽头，该类抽头是在将所述关注像素分类为多个类中的任一类的类分类中使用的多个像素的像素值；
类分类单元，根据所述类抽头进行所述关注像素的类分类；
系数输出单元，从通过学习而预先求出的多个类各自的抽头系数中，输出所述关注像素的类的抽头系数；以及
运算单元，通过使用了所述关注像素的类的抽头系数和所述预测抽头的预测运算，求出所述关注像素的像素值。
4.一种处理图像的图像处理方法，包括以下步骤：
获取在显示图像的显示单元中显示图像的显示格式；
获取来自对物体进行拍摄的摄影单元的图像信号即摄影图像信号；以及
根据使下述信号格式和下述显示格式相对应的对应关系信息，把第1信号格式的所述摄影图像信号转换为与所获取的显示格式对应的信号格式即第2信号格式的图像信号，所述信号格式是成为下述图像转换处理的对象的图像信号的信号格式，所述图像转换处理把图像信号转换为比对应于所述图像信号的图像更高像质的图像的高像质图像信号，所述显示格式是显示与通过所述图像转换处理获得的所述高像质图像信号对应的图像的显示格式。
5.一种处理图像的图像处理装置，具有：
图像处理决定单元，决定对来自对物体进行拍摄的摄影单元的图像信号即摄影图像信号实施的图像处理；
信号格式获取单元，获取所述摄影图像信号的信号格式；
显示格式获取单元，获取显示格式，该显示格式用于在显示单元中显示通过对所述摄影图像信号实施由所述图像处理决定单元决定的图像处理而得到的图像；以及
图像处理单元，根据所述摄影图像信号的信号格式、用于在所述显示单元中显示图像的显示格式、和由所述图像处理决定单元决定的图像处理，进行不同的处理，由此对所述摄影图像信号实施由所述图像处理决定单元决定的图像处理。
6.根据权利要求5所述的图像处理装置，所述图像处理单元具有：
前处理单元，对所述摄影图像信号实施前处理，输出前处理后图像信号；以及
图像转换单元，将所述前处理后图像信号即第1图像信号，通过与通过预先进行的学习得到的抽头系数进行运算，转换为第2图像信号。
7.根据权利要求6所述的图像处理装置，所述前处理单元具有：
前处理抽头抽出单元，从所述摄影图像信号抽出前处理抽头，该前处理抽头是通过所述前处理求出所述前处理后图像信号的关注像素的像素值时使用的多个像素的像素值；以及
前处理运算单元，通过使用了在作为所述前处理的运算中使用的前处理系数和所述前处理抽头的运算，求出所述关注像素的像素值。
8.根据权利要求7所述的图像处理装置，所述前处理抽头抽出单元根据所述摄影图像信号的信号格式、在所述显示单元中显示图像的显示格式、和由所述图像处理决定单元决定的图像处理，抽出相对于所述关注像素为不同的位置关系的多个像素的像素值，作为所述前处理抽头。
9.根据权利要求7所述的图像处理装置，所述前处理运算单元通过进行根据所述摄影图像信号的信号格式、在所述显示单元中显示图像的显示格式、和由所述图像处理决定单元决定的图像处理而使用不同的所述前处理系数的运算，求出所述关注像素的像素值。
10.根据权利要求6所述的图像处理装置，所述图像转换单元具有：
预测抽头抽出单元，从所述第1图像信号抽出预测抽头，该预测抽头是在预测所述第2图像信号的关注像素的像素值时使用的多个像素的像素值；
类抽头抽出单元，从所述第1图像信号抽出类抽头，该类抽头是在将所述关注像素分类为多个类中的任一类的类分类中使用的多个像素的像素值；
类分类单元，根据所述类抽头进行所述关注像素的类分类；
系数输出单元，从通过学习而预先求出的多个类各自的抽头系数中，输出所述关注像素的类的抽头系数；以及
运算单元，通过使用了所述关注像素的类的抽头系数和所述预测抽头的预测运算，求出所述关注像素的像素值。
11.根据权利要求10所述的图像处理装置，所述图像转换单元通过进行根据所述摄影图像信号的信号格式、在所述显示单元中显示图像的显示格式、和由所述图像处理决定单元决定的图像处理而使用不同的所述抽头系数的运算，求出所述关注像素的像素值。
12.一种处理图像的图像处理方法，包括以下步骤：
决定对来自对物体进行拍摄的摄影单元的图像信号即摄影图像信号实施的图像处理；
获取所述摄影图像信号的信号格式；
获取显示格式，该显示格式用于在显示单元中显示通过对所述摄影图像信号实施所决定的图像处理而得到的图像；以及
根据所述摄影图像信号的信号格式、在所述显示单元中显示图像的显示格式和所决定的图像处理，进行不同的处理，由此对所述摄影图像信号实施所决定的图像处理。
CNB2007100003029A 2006-01-06 2007-01-08 图像处理装置和图像处理方法 Expired - Fee Related CN100521741C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006001580A JP4517301B2 (ja) 2006-01-06 2006-01-06 画像処理装置および画像処理方法、並びにプログラム
JP2006001580 2006-01-06

Publications (2)

Publication Number Publication Date
CN1997111A CN1997111A (zh) 2007-07-11
CN100521741C true CN100521741C (zh) 2009-07-29

Family

ID=38252015

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2007100003029A Expired - Fee Related CN100521741C (zh) 2006-01-06 2007-01-08 图像处理装置和图像处理方法

Country Status (4)

Country Link
US (1) US8228995B2 (zh)
JP (1) JP4517301B2 (zh)
KR (1) KR101312484B1 (zh)
CN (1) CN100521741C (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010171620A (ja) * 2009-01-21 2010-08-05 Canon Inc 表示装置及びその制御方法、並びに、撮像装置及びその制御方法
JP2010210704A (ja) * 2009-03-06 2010-09-24 Sanyo Electric Co Ltd 画像表示装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5473381A (en) * 1993-08-07 1995-12-05 Goldstar Co., Ltd. Apparatus for converting frame format of a television signal to a display format for a high definition television (HDTV) receiver
US6184935B1 (en) * 1997-03-12 2001-02-06 Matsushita Electric Industrial, Co. Ltd. Upsampling filter and half-pixel generator for an HDTV downconversion system

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3063670B2 (ja) 1997-04-25 2000-07-12 日本電気株式会社 マトリクス表示装置
JP4308473B2 (ja) * 2000-04-12 2009-08-05 株式会社リコー 画像信号処理方法及び画像信号処理装置、並びに画像信号処理システム
JP4839543B2 (ja) * 2001-08-08 2011-12-21 ソニー株式会社 画像信号処理装置、撮像装置、画像信号処理方法及び記録媒体
JP4038812B2 (ja) * 2001-12-27 2008-01-30 ソニー株式会社 データ処理装置およびデータ処理方法、プログラムおよび記録媒体、並びにデータ処理システム
JP2004248061A (ja) * 2003-02-14 2004-09-02 Fuji Photo Film Co Ltd 画像処理装置、方法及びプログラム
JP4552506B2 (ja) * 2003-05-29 2010-09-29 ソニー株式会社 情報信号の処理装置および処理方法、補正データテーブルの生成装置および生成方法、並びに各方法を実行するためのプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5473381A (en) * 1993-08-07 1995-12-05 Goldstar Co., Ltd. Apparatus for converting frame format of a television signal to a display format for a high definition television (HDTV) receiver
US6184935B1 (en) * 1997-03-12 2001-02-06 Matsushita Electric Industrial, Co. Ltd. Upsampling filter and half-pixel generator for an HDTV downconversion system

Also Published As

Publication number Publication date
JP4517301B2 (ja) 2010-08-04
KR101312484B1 (ko) 2013-10-01
US20070165140A1 (en) 2007-07-19
CN1997111A (zh) 2007-07-11
KR20070074470A (ko) 2007-07-12
JP2007184775A (ja) 2007-07-19
US8228995B2 (en) 2012-07-24

Similar Documents

Publication Publication Date Title
CN100571402C (zh) 用于彩色图象去马赛克的梯度校正线性插值方法和系统
KR101342806B1 (ko) 최종 디지털 컬러 이미지를 형성하는 방법
CN100407787C (zh) 图像处理装置和方法、学习设备和方法
US8224085B2 (en) Noise reduced color image using panchromatic image
CN1997112B (zh) 显示装置和显示方法以及学习装置和学习方法
US20080123997A1 (en) Providing a desired resolution color image
US7876956B2 (en) Noise reduction of panchromatic and color image
CN102726037B (zh) 图像处理装置、摄像装置和图像处理方法
CN101237553B (zh) 确定插值方法的程序、装置及方法
CN101005569A (zh) 信息处理装置和方法、学习装置和方法
CN104079801A (zh) 图像处理设备、图像处理方法及程序
CN100521741C (zh) 图像处理装置和图像处理方法
JP4062771B2 (ja) 画像変換装置および方法、並びに記録媒体
JP4175124B2 (ja) 画像信号処理装置
JP4139979B2 (ja) 画像変換装置および方法、並びに記録媒体
WO2014156732A1 (ja) 画像処理装置および方法、並びにプログラム
JP4131303B2 (ja) 画像変換装置および方法、学習装置および方法、画像変換システム、並びに記録媒体
JP2003134523A (ja) 撮像装置及び撮像方法
JP3540128B2 (ja) 画像処理回路
JP2006067214A (ja) 画像補間装置及び画像補間方法
JP2009077029A (ja) 信号変換装置、信号変換方法
JPH08163354A (ja) 網点領域判定装置
CN101378516A (zh) 影像位移检测方法与装置
JPH02312358A (ja) 中間調画像推定装置
JP2007142669A (ja) 走査線補間装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090729

Termination date: 20160108

CF01 Termination of patent right due to non-payment of annual fee