JP2007184775A - 画像処理装置および画像処理方法、並びにプログラム - Google Patents

画像処理装置および画像処理方法、並びにプログラム Download PDF

Info

Publication number
JP2007184775A
JP2007184775A JP2006001580A JP2006001580A JP2007184775A JP 2007184775 A JP2007184775 A JP 2007184775A JP 2006001580 A JP2006001580 A JP 2006001580A JP 2006001580 A JP2006001580 A JP 2006001580A JP 2007184775 A JP2007184775 A JP 2007184775A
Authority
JP
Japan
Prior art keywords
image
signal
format
image signal
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006001580A
Other languages
English (en)
Other versions
JP4517301B2 (ja
Inventor
Tetsujiro Kondo
哲二郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006001580A priority Critical patent/JP4517301B2/ja
Priority to US11/614,652 priority patent/US8228995B2/en
Priority to KR1020070000949A priority patent/KR101312484B1/ko
Priority to CNB2007100003029A priority patent/CN100521741C/zh
Publication of JP2007184775A publication Critical patent/JP2007184775A/ja
Application granted granted Critical
Publication of JP4517301B2 publication Critical patent/JP4517301B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01R—ELECTRICALLY-CONDUCTIVE CONNECTIONS; STRUCTURAL ASSOCIATIONS OF A PLURALITY OF MUTUALLY-INSULATED ELECTRICAL CONNECTING ELEMENTS; COUPLING DEVICES; CURRENT COLLECTORS
    • H01R13/00—Details of coupling devices of the kinds covered by groups H01R12/70 or H01R24/00 - H01R33/00
    • H01R13/648—Protective earth or shield arrangements on coupling devices, e.g. anti-static shielding  
    • H01R13/658—High frequency shielding arrangements, e.g. against EMI [Electro-Magnetic Interference] or EMP [Electro-Magnetic Pulse]
    • H01R13/6581—Shield structure
    • H01R13/6585—Shielding material individually surrounding or interposed between mutually spaced contacts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/04—Diagnosis, testing or measuring for television systems or their details for receivers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/30—Picture reproducers using solid-state colour display devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0145—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Television Systems (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

【課題】複数の装置から構成されるシステムの性能を向上させる。
【解決手段】制御部７１９は、物体を撮影するカメラ７０１からの撮影画像信号に対して施す画像処理を決定する。信号フォーマット取得部７１６は、撮影画像信号の信号フォーマットを取得し、表示フォーマット取得部７１７は、撮影画像信号に対して制御部７１９で決定された画像処理を施すことにより得られる画像をディスプレイ７１５に表示する表示フォーマットを取得する。画像処理部７１１は、撮影画像信号の信号フォーマット、ディスプレイ７１５に画像を表示する表示フォーマット、および、制御部７１９で決定された画像処理に応じて異なる処理を行うことにより、撮影画像信号に対して制御部７１９で決定された画像処理を施す。本発明は、例えば、カメラと、そのカメラによって得られた画像を表示する表示装置とからなる画像処理システムなどに適用できる。
【選択図】図４０

Description

本発明は、画像処理装置および画像処理方法、並びにプログラムに関し、複数の装置から構成されるシステムの性能を最大化することができるようにする画像処理装置および画像処理方法、並びにプログラムに関する。
例えば、番組の送受信を行う放送システムは、画像を撮影するカメラ（ビデオカメラ）、カメラが出力する画像信号を送信する送信装置、送信装置からの画像信号を受信する受信装置、および受信装置で受信された画像信号に対応する画像を表示する表示装置といった複数の装置で構成される。
このように、複数の装置で構成されるシステムでは、装置どうしの間で、信号がやりとりされる。例えば、放送システムでは、画像信号が、カメラから送信装置に送信され、送信装置で受信される。また、画像信号は、送信装置から受信装置に送信され、受信装置で受信される。さらに、画像信号は、受信装置から表示装置に送信され、表示装置で受信される。
放送システムを構成する装置どうしの間では、上述のように、画像信号がやりとりされる。このように、画像信号を、装置どうしの間でやりとりすることができるようにするために、さらには、放送システムを構成するカメラ、送信装置、受信装置、または表示装置を、他のカメラ、送信装置、受信装置、または表示装置に交換しても、画像信号を、装置どうしの間でやりとりすることができるようにするために、画像信号については、そのフォーマットが、規格化または標準化されている。
画像信号のフォーマットとしては、例えば、D1と呼ばれるフォーマット（Y:Cb:Crが4:2:2のフォーマット）がある。例えば、D1フォーマットの画像信号の入出力を行うことができるインタフェースを有する装置どうしの間では、どのような装置どうしの間であっても、画像信号をやりとりすることができる。
一方、カメラや、送信装置、受信装置、表示装置では、各装置において固有の処理が行われる。
即ち、カメラが、例えば、１つのイメージャ（１枚のCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)イメージャなどの光電変換素子）を有する単板式のカメラである場合には、人の視覚特性を考慮して、例えば、ベイヤ配列のカラーフィルタが採用される。ベイヤ配列のカラーフィルタが採用されている場合、イメージャからは、RGB(Red, Green, Blue)のうちのG成分が多く、R成分とB成分が少ない、ベイヤ配列に応じたフォーマット（以下、適宜、ベイヤフォーマットという）の画像信号が得られる。ベイヤフォーマットの画像信号においては、１画素の画素値として、R,G,Bのうちのいずれか１つの色成分しかなく、他の２つの色成分がないので、単板式のカメラでは、各画素につき、他の２つの色成分を補間し、１画素の画素値として、R,G,Bの３つの色成分すべてを有する画像信号を求める処理が行われる。
また、送信装置では、例えば、いわゆる白黒放送とカラー放送との共存を図るために、輝度信号と色信号とが別のコンポーネント信号を、輝度信号に色信号を重畳したコンポジット信号に変換する処理が行われる。
さらに、受信装置では、例えば、コンポジット信号を対象に、いわゆるY/C分離処理が行われ、コンポジット信号がコンポーネント信号に変換される。
また、表示装置では、例えば、画像を表示するディスプレイの表示フォーマットで、RGBのコンポーネント信号のR,G,Bを配列する処理が行われることにより、画像が表示される。なお、ディスプレイで画像を表示する表示フォーマット、即ち、R,G,Bの配列としては、例えば、ストライプ配列や、モザイク配列、デルタ配列などがある。
なお、ストライプ配列などの固定の表示フォーマットのカラー液晶ディスプレイが、例えば、特許文献１に開示されている（特に、0014段落）。
特開平10-301537号公報
放送システムを構成するカメラや、送信装置、受信装置、表示装置が、例えば、上述したように、D1フォーマットなどの、規格化または標準化されている信号フォーマットの画像信号の入出力を行うことができるインタフェースを有する限りは、画像信号のやりとりができなくなることはない。しかしながら、そのようなインタフェースを有する複数の装置を用いてシステムを構成しても、そのシステムの性能を最大化することができるとは限らない。
また、システムを構成する各装置では、各種の処理が行われるが、その処理は、システム全体の性能を考慮して行われるものではない。即ち、例えば、放送システムを構成するカメラでは、１画素の画素値として、R,G,Bのうちのいずれか１つの色成分しかないベイヤフォーマットの画像信号を、１画素の画素値として、R,G,Bの３つの色成分すべてを有する画像信号（以下、適宜、RGB画像信号という）に変換する処理が行われるが、この処理は、カメラ自体の性能には影響するが、放送システム全体の性能の向上に影響するとは限らない。
つまり、カメラにおいて、ベイヤフォーマットの画像信号をRGB画像信号に変換する処理が、いわば高機能な処理であれば、即ち、例えば、その処理によって、解像度やS/N(Signal to Noise ratio)が高いRGB画像信号が得られるのであれば、カメラ自体の性能が良い、とは言うことができる。
一方、放送システムにおいては、最終的には、表示装置に画像が表示され、その画像をユーザが視聴する。従って、例えば、表示装置に表示された画像を視聴したユーザが、その画像を高画質の画像であると感じれば、放送システムの全体の性能が良い、ということができる。
しかしながら、カメラ自体が高性能であっても、即ち、例えば、カメラが解像度やS/Nが高いRGB画像信号を出力することができても、その後、送信装置、受信装置、および表示装置で処理が行われる放送システムにおいて、ユーザが高画質であると感じる画像が、最終的に表示装置に表示されるとは限らない。
むしろ、カメラにおいて、ベイヤフォーマットの画像信号をRGB画像信号に変換せずに、そのまま出力し、後段の送信装置、受信装置、または表示装置において、ベイヤフォーマットの画像信号を処理した方が、ユーザが高画質であると感じる画像が、表示装置に表示される可能性がある。
本発明は、このような状況に鑑みてなされたものであり、複数の装置から構成されるシステムの性能を向上させ、好ましくは最大化することができるようにするものである。
本発明の第１の側面の画像処理装置は、画像を処理する画像処理装置において、画像を表示する表示手段において画像を表示する表示フォーマットを取得する表示フォーマット取得手段と、物体を撮影する撮影手段からの画像信号である撮影画像信号を取得する撮影画像信号取得手段と、画像信号を、前記画像信号に対応する画像よりも高画質の画像の高画質画像信号に変換する画像変換処理の対象となる前記画像信号の信号フォーマットと、前記画像変換処理によって得られる前記高画質画像信号に対応する画像を表示する表示フォーマットとを対応付けた対応関係情報に基づき、第１の信号フォーマットの前記撮影画像信号を、前記表示フォーマット取得手段において取得された表示フォーマットに対応付けられた信号フォーマットである第２の信号フォーマットの画像信号に変換する信号変換手段とを備える。
本発明の第１の側面の画像処理方法、または、プログラムは、画像を処理する画像処理方法、または、画像を処理する画像処理を、コンピュータに実行させるプログラムにおいて、画像を表示する表示手段において画像を表示する表示フォーマットを取得し、物体を撮影する撮影手段からの画像信号である撮影画像信号を取得し、画像信号を、前記画像信号に対応する画像よりも高画質の画像の高画質画像信号に変換する画像変換処理の対象となる前記画像信号の信号フォーマットと、前記画像変換処理によって得られる前記高画質画像信号に対応する画像を表示する表示フォーマットとを対応付けた対応関係情報に基づき、第１の信号フォーマットの前記撮影画像信号を、取得された表示フォーマットに対応付けられた信号フォーマットである第２の信号フォーマットの画像信号に変換するステップを含む。
以上のような第１の側面の画像処理装置、画像処理方法、またはプログラムにおいては、画像を表示する表示手段において画像を表示する表示フォーマットが取得されるとともに、物体を撮影する撮影手段からの画像信号である撮影画像信号が取得される。そして、画像信号を、前記画像信号に対応する画像よりも高画質の画像の高画質画像信号に変換する画像変換処理の対象となる前記画像信号の信号フォーマットと、前記画像変換処理によって得られる前記高画質画像信号に対応する画像を表示する表示フォーマットとを対応付けた対応関係情報に基づき、第１の信号フォーマットの前記撮影画像信号が、取得された表示フォーマットに対応付けられた信号フォーマットである第２の信号フォーマットの画像信号に変換される。
本発明の第２の側面の画像処理装置は、画像を処理する画像処理装置において、物体を撮影する撮影手段からの画像信号である撮影画像信号に対して施す画像処理を決定する画像処理決定手段と、前記撮影画像信号の信号フォーマットを取得する信号フォーマット取得手段と、前記撮影画像信号に対して前記画像処理決定手段で決定された画像処理を施すことにより得られる画像を表示手段に表示する表示フォーマットを取得する表示フォーマット取得手段と、前記撮影画像信号の信号フォーマット、前記表示手段に画像を表示する表示フォーマット、および、前記画像処理決定手段で決定された画像処理に応じて異なる処理を行うことにより、前記撮影画像信号に対して前記画像処理決定手段で決定された画像処理を施す画像処理手段とを備える。
本発明の第２の側面の画像処理方法、または、プログラムは、画像を処理する画像処理方法、または、コンピュータに実行させるプログラムにおいて、物体を撮影する撮影手段からの画像信号である撮影画像信号に対して施す画像処理を決定し、前記撮影画像信号の信号フォーマットを取得し、前記撮影画像信号に対して決定された画像処理を施すことにより得られる画像を表示手段に表示する表示フォーマットを取得し、前記撮影画像信号の信号フォーマット、前記表示手段に画像を表示する表示フォーマット、および、決定された画像処理に応じて異なる処理を行うことにより、前記撮影画像信号に対して決定された画像処理を施すステップを含む。
以上のような第２の側面の画像処理装置、画像処理方法、またはプログラムにおいては、物体を撮影する撮影手段からの画像信号である撮影画像信号に対して施す画像処理が決定される。さらに、前記撮影画像信号の信号フォーマットが取得されるとともに、前記撮影画像信号に対して決定された画像処理を施すことにより得られる画像を表示手段に表示する表示フォーマットが取得される。そして、前記撮影画像信号の信号フォーマット、前記表示手段に画像を表示する表示フォーマット、および、決定された画像処理に応じて異なる処理を行うことにより、前記撮影画像信号に対して決定された画像処理が施される。
本発明の第１および第２の側面によれば、システムの性能を向上させることが可能となる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の第１の側面の画像処理装置は、
画像を処理する画像処理装置（例えば、図２５のフォーマット変換部６０４）であり、
画像を表示する表示手段において画像を表示する表示フォーマットを取得する表示フォーマット取得手段（例えば、図２５の表示フォーマット取得部６１３）と、
物体を撮影する撮影手段からの画像信号である撮影画像信号を取得する撮影画像信号取得手段（例えば、図２５の信号取得部６１１）と、
画像信号を、前記画像信号に対応する画像よりも高画質の画像の高画質画像信号に変換する画像変換処理の対象となる前記画像信号の信号フォーマットと、前記画像変換処理によって得られる前記高画質画像信号に対応する画像を表示する表示フォーマットとを対応付けた対応関係情報に基づき、第１の信号フォーマットの前記撮影画像信号を、前記表示フォーマット取得手段において取得された表示フォーマットに対応付けられた信号フォーマットである第２の信号フォーマットの画像信号に変換する信号変換手段（例えば、図２５の信号変換部６１２）と
を備える。
第１の側面の画像処理装置は、
前記撮影手段（例えば、図２５のカメラ６０１）をさらに備える。
第１の側面の画像処理装置において、
前記信号変換手段は、
前記第２の信号フォーマットの画像信号の注目画素の画素値を予測するのに用いる複数の画素の画素値である予測タップを、前記撮影画像信号から抽出する予測タップ抽出手段（例えば、図２６のタップ抽出部６３１）と、
前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素の画素値であるクラスタップを、前記撮影画像信号から抽出するクラスタップ抽出手段（例えば、図２６のタップ抽出部６３２）と、
前記クラスタップに基づいて、前記注目画素のクラス分類を行うクラス分類手段（例えば、図２６のクラス分類部６３３）と、
学習によりあらかじめ求められた、複数のクラスそれぞれごとのタップ係数の中から、前記注目画素のクラスのタップ係数を出力する係数出力手段（例えば、図２６の係数メモリ６３４）と、
前記注目画素のクラスのタップ係数と、前記予測タップとを用いた予測演算により、前記注目画素の画素値を求める演算手段（例えば、図２６の予測部６３５）と
を有する。
本発明の第１の側面の画像処理方法、または、プログラムは、
画像を処理する画像処理方法、または、画像を処理する画像処理を、コンピュータに実行させるプログラムであり、
画像を表示する表示手段において画像を表示する表示フォーマットを取得し（例えば、図２８のステップＳ６１１）、
物体を撮影する撮影手段からの画像信号である撮影画像信号を取得し（例えば、図２８のステップＳ６１２）、
画像信号を、前記画像信号に対応する画像よりも高画質の画像の高画質画像信号に変換する画像変換処理の対象となる前記画像信号の信号フォーマットと、前記画像変換処理によって得られる前記高画質画像信号に対応する画像を表示する表示フォーマットとを対応付けた対応関係情報に基づき、第１の信号フォーマットの前記撮影画像信号を、取得された表示フォーマットに対応付けられた信号フォーマットである第２の信号フォーマットの画像信号に変換する（例えば、図２８のステップＳ６１３）
ステップを含む。
本発明の第２の側面の画像処理装置は、
画像を処理する画像処理装置（例えば、図３９の表示装置７０２）であり、
物体を撮影する撮影手段からの画像信号である撮影画像信号に対して施す画像処理を決定する画像処理決定手段（例えば、図４０の制御部７１９）と、
前記撮影画像信号の信号フォーマットを取得する信号フォーマット取得手段（例えば、図４０の信号フォーマット取得部７１６）と、
前記撮影画像信号に対して前記画像処理決定手段で決定された画像処理を施すことにより得られる画像を表示手段に表示する表示フォーマットを取得する表示フォーマット取得手段（例えば、図４０の表示フォーマット取得部７１７）と、
前記撮影画像信号の信号フォーマット、前記表示手段に画像を表示する表示フォーマット、および、前記画像処理決定手段で決定された画像処理に応じて異なる処理を行うことにより、前記撮影画像信号に対して前記画像処理決定手段で決定された画像処理を施す画像処理手段（例えば、図４０の画像処理部７１１）と
を備える。
第２の側面の画像処理装置において、
前記画像処理手段は、
前記撮影画像信号に前処理を施し、前処理後画像信号を出力する前処理手段（例えば、図４０の前処理部７１２）と、
前記前処理後画像信号である第１の画像信号を、あらかじめ行われた学習によって得られたタップ係数との演算によって、第２の画像信号に変換する画像変換手段（例えば、図４０の画像変換部７１３）と
を有する。
第２の側面の画像処理装置において、
前記前処理手段は、
前記前処理によって前記前処理後画像信号の注目画素の画素値を求めるのに用いる複数の画素の画素値である前処理タップを、前記撮影画像信号から抽出する前処理タップ抽出手段（例えば、図４１の前処理タップ抽出部７３１）と、
前記前処理としての演算に用いられる前処理係数と、前記前処理タップとを用いた演算により、前記注目画素の画素値を求める前処理演算手段（例えば、図４１の前処理演算部７３２）と
を有する。
第２の側面の画像処理装置において、
前記画像変換手段は、
前記第２の画像信号の注目画素の画素値を予測するのに用いる複数の画素の画素値である予測タップを、前記第１の画像信号から抽出する予測タップ抽出手段（例えば、図４２のタップ抽出部４１）と、
前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素の画素値であるクラスタップを、前記第１の画像信号から抽出するクラスタップ抽出手段（例えば、図４２のタップ抽出部４２）と、
前記クラスタップに基づいて、前記注目画素のクラス分類を行うクラス分類手段（例えば、図４２のクラス分類部４３）と、
学習によりあらかじめ求められた、複数のクラスそれぞれごとのタップ係数の中から、前記注目画素のクラスのタップ係数を出力する係数出力手段（例えば、図４２の係数メモリ７４１）と、
前記注目画素のクラスのタップ係数と、前記予測タップとを用いた予測演算により、前記注目画素の画素値を求める演算手段（例えば、図４２の予測部４５）と
を有する。
本発明の第２の側面の画像処理方法、または、プログラムは、
画像を処理する画像処理方法、または、コンピュータに実行させるプログラムであり、
物体を撮影する撮影手段からの画像信号である撮影画像信号に対して施す画像処理を決定し（例えば、図４３のステップＳ７０１）、
前記撮影画像信号の信号フォーマットを取得し（例えば、図４３のステップＳ７０２）、
前記撮影画像信号に対して決定された画像処理を施すことにより得られる画像を表示手段に表示する表示フォーマットを取得し（例えば、図４３のステップＳ７０３）、
前記撮影画像信号の信号フォーマット、前記表示手段に画像を表示する表示フォーマット、および、決定された画像処理に応じて異なる処理を行うことにより、前記撮影画像信号に対して決定された画像処理を施す（例えば、図４３のステップＳ７０４）
ステップを含む。
次に、ある信号フォーマットの画像信号を処理し、その処理の結果得られる画像信号に対応する画像を、ある表示フォーマットで表示する画像処理システムと、その画像処理システムで採用される信号フォーマットと表示フォーマットの求め方について説明する。
図１は、画像を処理する画像処理システム（システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは問わない）の第１の構成例を示している。
図１において、画像処理システムは、カメラ（ビデオカメラ）１と表示装置２とで構成されている。
カメラ１は、物体（被写体）を撮影し、その撮影によって得られる画像信号である撮影画像信号を出力する。表示装置２は、カメラ１が出力する撮影画像信号を受信し、その撮影画像信号を、撮影画像信号に対応する画像よりも高画質の画像の画像信号である高画質画像信号に変換して、その高画質画像信号に対応する画像を表示する。
なお、カメラ１は、例えば、単板式のカメラであり、後述する学習によって決定された信号フォーマットの撮影画像信号を出力するようになっている。
即ち、学習によって決定された撮影画像信号の信号フォーマットが、例えば、ベイヤフォーマットであるとすると、カメラ１には、ベイヤ配列のカラーフィルタが採用され、カメラ１は、そのベイヤ配列のカラーフィルタによって得られるベイヤフォーマットの撮影画像信号を、RGB画像信号に変換することなく、そのまま出力する。
ここで、カメラ１が出力する撮影画像信号は、例えば、標準解像度の画像信号であるSD(Standard Definition)画像信号であるとし、そのSD画像信号を変換することにより得られる高画質画像信号は、高解像度の画像信号であるHD(High Definition)画像信号であるとする。なお、以下、適宜、SD画像信号に対応する画像をSD画像ともいい、HD画像信号に対応する画像をHD画像ともいう。
図２は、図１の表示装置２の構成例を示している。
表示装置２は、画像変換部１１、表示制御部１２、およびディスプレイ１３で構成される。
画像変換部１１は、カメラ１からのSD画像信号を、あらかじめ行われた学習によって得られたタップ係数との演算によって、HD画像信号に変換し、表示制御部１２に供給する。
表示制御部１２は、HD画像よりも高画質の画像を用いて行われた学習によって決定された表示フォーマットで、画像変換部１１から供給されるHD画像信号に対応するHD画像を、ディスプレイ１３に表示させる表示制御を行う。
ここで、以下、適宜、HD画像よりも高画質の画像を、SHD画像（Super HD画像）ともいい、その画像信号を、SHD画像信号という。
ディスプレイ１３は、例えば、CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)パネル等で構成される表示手段であり、表示制御部１２の制御にしたがって、画像を表示する。
次に、図３のフローチャートを参照して、図２の表示装置２の動作について説明する。
表示装置２には、カメラ１からのSD画像信号が供給される。表示装置２では、カメラ１からのSD画像信号が受信され、画像変換部１１に供給される。
画像変換部１１は、ステップＳ１において、カメラ１からのSD画像信号を、例えば、後述する学習によって得られたタップ係数を用いた演算によって、HD画像信号に変換する画像変換処理を行い、その結果得られるHD画像信号を、表示制御部１２に供給して、ステップＳ２に進む。
ステップＳ２では、表示制御部１２が、SHD画像を用いて行われた後述する学習によって決定された表示フォーマットで、画像変換部１１から供給されるHD画像信号に対応するHD画像を、ディスプレイ１３に表示させる。
以上のようにして、ディスプレイ１３では、HD画像が表示される。
次に、図２の画像変換部１１で行われる画像変換処理について説明する。
画像変換部１１は、第１の画像信号を、その第１の画像信号に対応する画像よりも高画質の画像の第２の画像信号に変換する画像変換処理を行う。
ここで、画像変換部１１は、カメラ１からのSD画像信号を第１の画像信号とするとともに、HD画像信号を第２の画像信号として、第１の画像信号を第２の画像信号に変換する画像変換処理を行うが、かかる画像変換処理によれば、第１および第２の画像信号をどのように定義するかによって、様々な処理を実現することができる。
即ち、例えば、第２の画像信号をHD画像信号とするとともに、第１の画像信号を、第２の画像信号の解像度と画素数を低下させたSD画像信号とすれば、画像変換処理は、SD画像をHD画像に変換する処理ということができる。また、例えば、第２の画像信号を高S/Nの画像信号とするとともに、第１の画像信号を、第２の画像信号のS/Nを低下させた（第２の画像信号にノイズを付加した）低S/Nの画像信号とすれば、画像変換処理は、ノイズを除去するノイズ除去処理ということができる。さらに、例えば、第２の画像信号を、ある画像信号とするとともに、第１の画像信号を、第２の画像信号の画素数を間引いた画像信号とすれば、画像変換処理は、画像を拡大する拡大処理ということができる。
図４は、図２の画像変換部１１の構成例を示している。
画像変換部１１は、タップ抽出部４１および４２、クラス分類部４３、係数メモリ４４、並びに予測部４５から構成される。
画像変換部１１には、カメラ１からのSD画像信号が、第１の画像信号として供給される。そして、第１の画像信号としてのSD画像信号は、タップ抽出部４１および４２に供給される。
タップ抽出部４１は、第１の画像信号を変換して得ようとする第２の画像信号（この第２の画像信号としてのHD画像信号は、これから求めようとする画像信号であり、現段階では存在しないため、仮想的に想定される）を構成する画素を、順次、注目画素とし、さらに、その注目画素の画素値を予測するのに用いる複数の画素の画素値である予測タップを、第１の画像信号から抽出する。
具体的には、タップ抽出部４１は、注目画素に対応する、第１の画像信号の画像の位置（例えば、注目画素の位置に映っているのと同一の被写体の部分が映っている第１の画像信号の画像上の位置）に対して、空間的または時間的に近い位置関係にある複数の画素（例えば、注目画素に対応する、第１の画像信号の画像上の位置に最も近い画素と、その画素に空間的に隣接する画素など）の画素値を、予測タップとして抽出する。
タップ抽出部４２は、注目画素を、幾つか（複数）のクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる複数の画素の画素値であるクラスタップを、第１の画像信号から抽出する。
なお、ここでは、説明を簡単にするために、予測タップとクラスタップとしては、タップ構造が同一の複数の画素の画素値、即ち、注目画素に対応する位置に対する位置関係が同一の複数の画素の画素値を採用することとする。但し、予測タップとクラスタップとは、異なるタップ構造とすることが可能である。
タップ抽出部４１で得られた予測タップは、予測部４５に供給され、タップ抽出部４２で得られたクラスタップは、クラス分類部４３に供給される。
クラス分類部４３は、タップ抽出部４２からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数メモリ４４に供給する。
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
ADRCを用いる方法では、クラスタップを構成する画素の画素値が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。
なお、KビットADRCにおいては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、クラスタップとしての複数の画素値の集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップとしての複数の画素値それぞれがKビットに再量子化される。即ち、クラスタップとしての各画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップとしてのKビットの各画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理される場合には、そのクラスタップとしての各画素値は、最小値MINが減算された後に、最大値MAXと最小値MINとの差の１／２で除算され（小数点以下切り捨て）、これにより、各画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
なお、クラス分類部４３には、例えば、クラスタップとしての複数の画素値のレベル分布のパターンを、そのままクラスコードとして出力させることも可能である。しかしながら、この場合、クラスタップが、Ｎ個の画素値で構成され、各画素値に、Ｋビットが割り当てられているとすると、クラス分類部４３が出力するクラスコードの場合の数は、（２N）K通りとなり、画素値のビット数Ｋに指数的に比例した膨大な数となる。
従って、クラス分類部４３においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮し、その圧縮結果を用いて、クラス分類を行うのが好ましい。
また、クラス分類は、クラスタップの他、注目画素に対応する第１の画像信号の画像上の位置（以下、適宜、対応位置という）付近の動きを表すベクトル（動きベクトル）や、対応位置に最も近い第１の画像信号の画素と対応位置との位置関係を表すベクトル（位置関係ベクトル）などにも基づいて行うことができる。即ち、例えば、クラスタップのADRCコードと、動きベクトルや位置関係ベクトルのベクトル量子化結果としてのコード（シンボル）を表すビット列とを一列に並べたビット列などを、注目画素のクラスを表すクラスコードとすることが可能である。
係数メモリ４４は、後述する学習によってあらかじめ求められているクラスごとのタップ係数を記憶している。即ち、係数メモリ４４は、クラス分類部４３で注目画素がクラス分類されうる複数のクラスそれぞれについて、タップ係数を記憶している。係数メモリ４４は、クラスごとのタップ係数のうちの、クラス分類部４３から供給されるクラスコードが表すクラス、つまり、注目画素のクラスのタップ係数を出力する。
なお、タップ係数は、例えば、ディジタルフィルタにおける、いわゆるタップにおいて入力データと乗算される係数に相当する。
予測部４５は、タップ抽出部４１が出力する予測タップと、係数メモリ４４が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、予測部４５は、注目画素の画素値（の予測値）、即ち、第２の画像信号を構成する画素の画素値を求めて出力する。
次に、図５のフローチャートを参照して、図４の画像変換部１１が行う図３のステップＳ１の画像変換処理について説明する。
タップ抽出部４１では、カメラ１から供給される第１の画像信号としてのSD画像信号に対する第２の画像信号としてのHD画像信号を構成する各画素が、順次、注目画素とされる。そして、ステップＳ１１において、タップ抽出部４１と４２が、そこに供給される第１の画像信号から、注目画素についての予測タップとクラスタップとする画素の画素値を、それぞれ抽出する。そして、予測タップは、タップ抽出部４１から予測部４５に供給され、クラスタップは、タップ抽出部４２からクラス分類部４３に供給される。
クラス分類部４３は、タップ抽出部４２から、注目画素についてのクラスタップを受信し、ステップＳ１２において、そのクラスタップに基づき、注目画素をクラス分類する。さらに、クラス分類部４３は、そのクラス分類の結果得られる注目画素のクラスを表すクラスコードを、係数メモリ４４に出力し、ステップＳ１３に進む。
ステップＳ１３では、係数メモリ４４が、クラス分類部４３から供給されるクラスコードが表すクラスのタップ係数、即ち、注目画素のクラスのタップ係数を読み出して出力し、ステップＳ１４に進む。係数メモリ４４が出力するタップ係数は、予測部４５において取得（受信）される。
ステップＳ１４では、予測部４５が、タップ抽出部４１が出力した予測タップと、係数メモリ４４から取得したタップ係数とを用いて、所定の予測演算を行うことにより、注目画素の画素値、即ち、第２の画像信号の画素の画素値を求める。予測部４５は、以上のようにして、第２の画像信号の画素の画素値を、例えば１フレーム分求めるごとに、その第２の画像信号であるHD画像信号を、表示制御部１２（図２）に出力する。
以上のように、画像変換部１１では、第２の画像信号の注目画素についての予測タップとクラスタップを、第１の画像信号から抽出し、クラスタップに基づき、注目画素のクラスを求め、そのクラスのタップ係数と、予測タップとを用いた演算を行って、第２の画像信号の注目画素の画素値（の予測値）を求めることにより、第１の画像信号が第２の画像信号に変換される。このように、注目画素のクラスを求め、そのクラスのタップ係数と第１の画像信号（予測タップ）とを用いた演算を行うことにより、注目画素の画素値を求める処理は、クラス分類適応処理と呼ばれる。
クラス分類適応処理では、上述のように、タップ係数が用いられるが、このタップ係数は、例えば、最小自乗法を利用した学習によって求めることができる。
即ち、例えば、いま、画像変換処理として、HD画像信号を第２の画像信号とするとともに、そのHD画像信号の画素を間引き、LPF(Low Pass Filter)によってフィルタリングする等して得られるSD画像信号を第１の画像信号として、第１の画像信号から予測タップを抽出し、その予測タップとタップ係数を用いて、第２の画像信号の画素値を、所定の予測演算によって求める（予測する）ことを考える。
所定の予測演算として、例えば、線形１次予測演算を採用することとすると、第２の画像信号の画素（以下、適宜、第２の画素という）の画素値ｙは、次の線形１次式によって求められることになる。
Figure 2007184775
 ・・・（１）
但し、式（１）において、ｘnは、第２の画素ｙについての予測タップを構成する、ｎ番目の第１の画像信号の画素（以下、適宜、第１の画素という）の画素値を表し、ｗnは、ｎ番目の第１の画素の画素値と乗算されるｎ番目のタップ係数を表す。なお、式（１）では、予測タップが、複数であるＮ個の第１の画素の画素値ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。この場合、タップ係数は、１クラスにつき、Ｎ個存在する。
ここで、第２の画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
いま、第ｋサンプルの第２の画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk’と表すと、その予測誤差ｅkは、次式で表される。
Figure 2007184775
 ・・・（２）
いま、式（２）の予測値ｙk’は、式（１）にしたがって求められるため、式（２）のｙk’を、式（１）にしたがって置き換えると、次式が得られる。
Figure 2007184775
 ・・・（３）
但し、式（３）において、ｘn,kは、第ｋサンプルの第２の画素についての予測タップを構成するｎ番目の第１の画素の画素値を表す。
式（３）（または式（２））の予測誤差ｅkを０とするタップ係数ｗnが、第２の画素の画素値を予測するのに最適なものとなるが、すべての第２の画素について、そのようなタップ係数ｗnを求めることは、一般には困難である。
そこで、タップ係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
Figure 2007184775
 ・・・（４）
但し、式（４）において、Kは、第２の画素の画素値ｙkと、その第２の画素についての予測タップを構成する第１の画素の画素値ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（５）に示すように、総和Ｅをタップ係数ｗnで偏微分したものを０とするｗnによって与えられる。
Figure 2007184775
 ・・・（５）
一方、上述の式（３）をタップ係数ｗnで偏微分すると、次式が得られる。
Figure 2007184775
 ・・・（６）
式（５）と式（６）から、次式が得られる。
Figure 2007184775
 ・・・（７）
式（７）のｅkに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
Figure 2007184775
 ・・・（８）
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数ｗnについて解くことができる。
式（８）の正規方程式を、クラスごとにたてて解くことにより、最適なタップ係数（ここでは、自乗誤差の総和Ｅを最小にするタップ係数）ｗnを、クラスごとに求めることができる。
クラス分類適応処理によれば、以上のようにして求められるクラスごとのタップ係数を用いて、式（１）の演算を行うことにより、第１の画像信号としてのSD画像信号が、第２の画像信号としてのHD画像信号に変換される。
なお、式（８）の正規方程式を、クラスごとにたてて解くことにより、クラスごとのタップ係数を求める方法（以下、適宜、正規方程式を用いる学習方法という）は、クラスごとのタップ係数を求める学習の一例である。図４の係数メモリ４４には、正規方程式を用いる学習方法ではなく、後述する総当たり学習によって求められたクラスごとのタップ係数が記憶されている。
ここで、以下においては、画像変換処理は、特に断らない限り、クラス分類適応処理によって第１の画像信号を第２の画像信号に変換する処理を意味することとする。
クラス分類適応処理は、式（１）だけを見る限りは、一見、FIR(Finite Impulse Response）フィルタによるフィルタリングのように見えるが、そのFIRフィルタの係数（フィルタ係数）に相当するタップ係数ｗが、例えば、HD画像信号を第２の画像信号とするとともに、そのHD画像信号の画素数を少なくする等して得られるSD画像信号を第２の画像信号として、それらの第１の画像信号と第２の画像信号とを用いての学習により求められるため、第１の画像信号には含まれていないが、第２の画像信号には含まれる信号成分を再現することができる。このことから、クラス分類適応処理（による画像変換処理）は、いわば、第１の画像信号に含まれていない信号成分の創造作用がある処理であるということができる。
次に、図１の画像処理システムにおいて、カメラ１が出力するSD画像信号（撮影画像信号）の信号フォーマット、表示装置２（図２）の表示制御部１２がディスプレイ１３に表示させるHD画像の表示フォーマット、および表示装置２の画像変換部１１（図４）が画像変換処理に用いるタップ係数について説明をする。
上述したように、カメラ１は、学習によって決定された信号フォーマットのSD画像信号を出力し、表示装置２の表示制御部１２（図２）は、学習によって決定された表示フォーマットで、HD画像をディスプレイ１３に表示させる。さらに、表示装置２の画像変換部１１（図４）は、学習によって決定されたタップ係数を用いて、カメラ１からのSD画像信号を、HD画像信号に変換する画像変換処理を行う。
従って、カメラ１が出力するSD画像信号の信号フォーマット、そのSD画像信号をHD画像信号に変換する画像変換処理で用いられるタップ係数、および、画像変換処理で得られたHD画像信号に対応するHD画像を表示する表示フォーマットは、いずれも、学習によって決定されるのであるが、信号フォーマット、タップ係数、および表示フォーマットの学習は、図１の画像処理システム全体の性能を向上させるように、即ち、最終的に、表示装置２のディスプレイ１３（図２）に表示される画像が適切な画像（ユーザが高画質であると感じる画像）となるように行われる。
ここで、既存の表示フォーマットとしては、例えば、図６に示すような表示フォーマットがある。
即ち、図６は、既存の表示フォーマットの例を示している。
一般的な表示装置において、例えば、１画素の画素値として、R,G,Bの３つの色成分すべてを有する画像信号（RGB画像信号）に対応した画像を表示する場合、同一の位置に、R,G,Bの３つの色成分を表示することは、物理的に困難であるため、表示装置では、１画素の画素値としてのR,G,Bの３つの色成分が、異なる位置に配列されて表示される。
即ち、表示装置では、表示画面上の１画素としての小領域が、R,G,Bそれぞれ用のさらに小さな領域（以下、適宜、サブピクセルという）に分割されており、１画素の画素値としてのR,G,Bが、R,G,B用のサブピクセルに、それぞれ表示される。
サブピクセルの配列パターンとしては、例えば、図６の左から１番目、２番目、３番目（右から１番目）にそれぞれ示すような配列パターンが知られている。
図６の左から１番目では、正方形状の領域を１画素として、１画素を横方向に３等分した３つの領域がサブピクセルになっている。そして、各画素において、左から１番目、２番目、３番目のサブピクセルが、R,G,Bそれぞれ用のサブピクセルになっており、このようなサブピクセルの配列（表示フォーマット）は、ストライプと呼ばれる。
図６の左から２番目では、横長の長方形状のサブピクセルの横方向に並ぶ２つの第１と第２のサブピクセルと、その２つの第１と第２のサブピクセルの上または下の、サブピクセルの横の長さの半分だけずれた位置に配置された第３のピクセルとで、１画素が構成されている。そして、それらの第１乃至第３のサブピクセルのぞれぞれが、R,G,Bのうちのいずれか用のサブピクセルとなるのであるが、同一の色成分のサブピクセルは隣接しないようになっている。このようなサブピクセルの配列（表示フォーマット）は、デルタと呼ばれる。
図６の左から３番目では、図６の左から１番目のストライプと同様に、正方形状の領域を１画素として、１画素を横方向に３等分した３つの領域がサブピクセルになっている。但し、図６の左から１番目のストライプでは、縦方向に、同一の色成分のサブピクセルが配置されているが、図６の左から３番目では、縦方向に、同一の色成分のサブピクセルが隣接しないように、即ち、同一の色成分のサブピクセルが斜め方向に並ぶようになっている。このようなサブピクセルの配列（表示フォーマット）は、モザイクと呼ばれる。
以上のような表示フォーマットのうちの、例えば、ストライプは、線、図形、文字の表示に適していると言われている。また、モザイクによれば、ストライプより自然な画像が得られると言われており、デルタによれば、より自然な画像が得られると言われている。
以上のような既存の表示フォーマットは、例えば、画像を表示する表示装置の処理の都合等により定められたものであり、従って、既存の表示フォーマットで表示される画像が、ユーザが高画質であると感じる画像であるとは限らない。即ち、既存の表示フォーマットで表示された画像よりも、ユーザが高画質であると感じる、既存の表示フォーマットではない表示フォーマットが存在する可能性がある。
ここで、図７は、既存の表示フォーマットでない表示フォーマットの例を示している。
即ち、図７は、ストライプを基準として、そのストライプを変形して得られる新たな表示フォーマットを示している。
図７の左上は、図６の左から１番目と同一のストライプの表示フォーマットを示している。
図７の左下は、図７の左上に示したストライプのサブピクセルで表示する色成分を変えた表示フォーマットを示している。即ち、図７の左上に示したストライプでは、１画素の横方向に並ぶ３つのサブピクセルが、R,G,Bをそれぞれ表示するサブピクセルの順に並んでいるが、図７の左下の表示フォーマットでは、G,B,Rをそれぞれ表示するサブピクセルの順に並んでいる。
図７の右上は、図７の左上に示したストライプのサブピクセルの位置を縦方向にずらした表示フォーマットを示している。即ち、図７の左上に示したストライプでは、１画素のR,G,Bの順で横方向に並ぶ３つのサブピクセルが、縦方向については同一の位置に配置されているが、図７の右上の表示フォーマットでは、１画素のR,G,Bの順で横方向に並ぶ３つのサブピクセルのうちの、Gのサブピクセルが、RとBのサブピクセルよりも下の位置に配置されている。
図７の右下も、図７の右上に示した表示フォーマットと同様に、図７の左上に示したストライプのサブピクセルの位置を縦方向にずらした表示フォーマットを示している。但し、図７の右下の表示フォーマットでは、１画素のR,G,Bの順で横方向に並ぶ３つのサブピクセルのうちの、Gのサブピクセルが、Rのサブピクセルよりも下の位置に配置されており、かつ、Bのサブピクセルが、Rのサブピクセルよりも上の位置に配置されている。
表示制御部１２がディスプレイ１３に表示させる画像の表示フォーマットは、表示装置２（図２）においてユーザが高画質であると感じる画像が表示されるように、学習によって決定される。
次に、図８は、画像信号の信号フォーマットの例を（模式的に）示している。
図８の上は、ベイヤフォーマットの画像信号を表している。
上述したように、単板式のカメラでは、１画素の画素値として、R,G,Bのうちのいずれか１つの色成分しか得られないので、他の２つの色成分を補間する処理の都合等のために定められた信号フォーマットがベイヤフォーマットである。従って、そのようなベイヤフォーマットの画像信号が表示装置２の画像変換部１１でHD画像信号に変換されてディスプレイ１３に最終的に表示されるHD画像が、適切な画像になるとは限らない。即ち、ベイヤフォーマットなどの既存の信号フォーマットよりも、ディスプレイ１３に最終的に表示されるHD画像が、より適切な画像となる信号フォーマットが存在する可能性がある。
ここで、図８の下は、既存の信号フォーマットでない信号フォーマットの例を示している。
即ち、図８の下は、ベイヤフォーマットを基準として、そのベイヤフォーマットを変形して得られる新たな信号フォーマットを（模式的に）示している。
図８の下の左は、図８の上に示したベイヤフォーマットの画素の位置を、１列おきに下方向にずらした信号フォーマットを示している。また、図８の下の右は、図８の上に示したベイヤフォーマットの画素の位置を、１行おきに右（または左）方向にずらした信号フォーマットを示している。
上述したように、カメラ１が出力するSD画像信号の信号フォーマット、そのSD画像信号をHD画像信号に変換する画像変換処理で用いられるタップ係数、および、画像変換処理で得られたHD画像信号に対応するHD画像を表示する表示フォーマットの学習は、図１の画像処理システム全体の性能を向上させるように、即ち、最終的に、表示装置２のディスプレイ１３（図２）に表示される画像が適切な画像（ユーザが高画質であると感じる画像）となるように行われるのであるが、図９は、そのような学習を行う学習装置の構成例を示している。
即ち、図９の学習装置では、カメラ１（図１）が出力するSD画像信号（撮影画像信号）を、そのSD画像信号に対応するSD画像よりも高画質の画像（HD画像）の高画質画像信号(HD画像信号）に変換する画像変換処理を行うのに画像変換部１１（図２）で用いられるタップ係数を求める学習が、ディスプレイ１３（図２）に表示される画像が適切な画像となるように行われる。さらに、図９の学習装置では、カメラ１が出力するSD画像信号の信号フォーマットと、そのSD画像信号を対象とした画像変換処理によって得られるHD画像信号に対応するHD画像を表示する表示フォーマットとの学習も、ディスプレイ１３（図２）に表示される画像が適切な画像となるように行われる。
具体的には、図９の学習装置において、学習データ記憶部６１は、タップ係数、信号フォーマット、および表示フォーマットの学習に用いられる学習データとして、SHD画像信号（SHD画像）を記憶している。
疑似撮影画像生成部６２には、後述する制御部７２から、信号フォーマットを表す信号フォーマット情報が供給される。疑似撮影画像生成部６２は、学習データ記憶部６１に記憶されているSHD画像信号の各フレームの画像信号を注目SHD画像信号として順次選択し、その注目SHD画像信号の画素数を間引くこと等によって、制御部７２からの信号フォーマット情報が表す信号フォーマットのSD画像信号を生成し、カメラ１（図１）が出力する撮影画像信号に相当する疑似撮影画像信号として、タップ抽出部６３および６４に供給する。
タップ抽出部６３，６４、クラス分類部６５、係数メモリ６６、予測部６７は、図４の画像変換部１１と同様の画像変換処理を行う画像変換部７３を構成しており、この画像変換部７３では、疑似撮影画像生成部６２から供給される疑似撮影画像信号（SD画像信号）が、制御部７２から供給されるタップ係数との演算によって、HD画像信号に変換される。
即ち、タップ抽出部６３は、疑似撮影画像生成部６２から供給される疑似撮影画像信号を第１の画像信号とするとともに、その第１の画像信号を変換して得ようとする高画質（高解像度）のHD画像信号を第２の画像信号（この第２の画像信号としてのHD画像信号は、これから求めようとする画像信号であり、現段階では存在しないため、仮想的に想定される）として、第２の画像信号を構成する画素を、順次、注目画素とする。そして、タップ抽出部６３は、注目画素について、図４のタップ抽出部４１が抽出する予測タップと同一のタップ構造の予測タップを、第１の画像信号から抽出し、予測部６７に供給する。
タップ抽出部６４は、注目画素について、図４のタップ抽出部４２が抽出するクラスタップと同一のタップ構造のクラスタップを、第１の画像信号から抽出し、クラス分類部６５に供給する。
クラス分類部６５は、タップ抽出部６４からのクラスタップに基づき、図４のクラス分類部４３と同一の方法で、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数メモリ６６に供給する。
係数メモリ６６は、制御部７２の制御にしたがい、クラスごとのタップ係数を記憶する。そして、係数メモリ６６は、図４の係数メモリ４４と同様に、クラスごとのタップ係数のうちの、クラス分類部６５から供給されるクラスコードが表すクラス、つまり、注目画素のクラスのタップ係数を出力する。
予測部６７は、タップ抽出部６３が出力する予測タップと、係数メモリ６６が出力するタップ係数とを取得（受信）し、その予測タップとタップ係数とを用いて、図４の予測部４５と同一の予測演算を行う。これにより、予測部６７は、注目画素の画素値（の予測値）、即ち、HD画像信号（第２の画像信号）を構成する画素の画素値を求め、表示制御部６８に供給する。
表示制御部６８には、制御部７２から、表示フォーマットを表す表示フォーマット情報が供給される。表示制御部６８は、予測部６７から供給されるHD画像信号に対応するHD画像を、制御部７２からの表示フォーマット情報が表す表示フォーマットで、ディスプレイ６９に表示させる。
ディスプレイ６９は、表示制御部６８の制御にしたがった表示フォーマットで、光としてのHD画像を表示する。
光検出器７０は、ディスプレイ６９に表示されたHD画像（表示画像）としての光を検出し（光電変換し）、その光に対応する電気信号である、HD画像信号に相当する表示画像信号を、評価値算出部７１に出力する。
評価値算出部７１は、光検出器７０からの表示画像信号、ひいては、ディスプレイ６９に表示されたHD画像を評価する。
即ち、評価値算出部７１には、光検出器７０から表示画像信号が供給される他、学習データ記憶部６１から、注目SHD画像信号が供給される。評価値算出部７１は、光検出器７０からの表示画像信号と、学習データ記憶部６１からの注目SHD画像信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ６９に表示されたHD画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部７２に供給する。
制御部７２は、評価値算出部７１からの評価値に基づき、カメラ１（図１）が出力するSD画像信号に相当する、疑似撮影画像生成部６２に生成させる疑似撮影画像信号の信号フォーマットを決定し、その信号フォーマットを表す信号フォーマット情報を、疑似撮影画像生成部６２に供給する。
また、制御部７２は、評価値算出部７１からの評価値に基づき、表示制御部６８が、予測部６７から供給されるHD画像信号に対応するHD画像をディスプレイ６９に表示する表示フォーマットを決定し、その表示フォーマットを表す表示フォーマット情報を、表示制御部６８に供給する。
さらに、制御部７２は、評価値算出部７１からの評価値に基づき、画像変換部７３が画像変換処理に用いるクラスごとのタップ係数を決定し、そのタップ係数を、係数メモリ６６を制御することにより、係数メモリ６６に記憶させる。
次に、図１０を参照して、図９の学習データ記憶部６１が学習データとして記憶しているSHD画像信号と、画像変換部７３（の予測部６７）が出力するHD画像信号（ディスプレイ６９に表示されるHD画像のHD画像信号）との関係を説明する。
SHD画像信号とHD画像信号とは、例えば、それぞれ、図１０の上と下に示すように、１画素につき、R,G,Bの３つの色成分を画素値として有する画像信号である点で共通している。
但し、HD画像信号は、SHD画像信号よりも画素数の少ない低解像度の画像信号になっている（SHD画像信号は、HD画像信号よりも画素数の多い高解像度の画像信号になっている）。
即ち、例えば、HD画像信号は、SHD画像信号の６×６画素が１画素に対応する画像信号になっている。なお、図１０では、HD画像信号の１画素と、SHD画像信号の６×６画素とが対応することを分かりやすくするために、HD画像信号の１画素と、SHD画像信号の６×６画素とを同一の大きさで図示してあるが、HD画像信号とSHD画像信号との画素の大きさ自体は、必ずしも、図１０に示した関係にある必要はない。このことは、SD画像信号とHD画像信号との画素の大きさについても同様である。
次に、図１１および図１２を参照して、図９の疑似撮影画像生成部６２が学習データとしてのSHD画像信号から疑似撮影画像信号（SD画像信号）を生成する生成方法について説明する。
疑似撮影画像生成部６２は、例えば、SHD画像信号から、図１０で説明した関係にあるHD画像信号を生成し、即ち、例えば、SHD画像信号の６×６画素のR,G,Bそれぞれの平均値を、その６×６画素に対応するHD画像信号の１画素のR,G,Bそれぞれとして求めることにより、あるいは、SHD画像信号の６×６画素のうちのいずれか１画素のR,G,Bを、その６×６画素に対応するHD画像信号の１画素のR,G,Bそれぞれとすることにより、HD画像信号を生成し、さらに、そのHD画像信号から、SD画像信号としての疑似撮影画像信号を生成する。
具体的には、いま、SD画像信号が、例えば、HD画像信号の２×２画素が１画素に対応する画像信号であるとし、制御部７２から疑似撮影画像生成部６２に対して、例えば、図８の上に示したベイヤフォーマットを表す信号フォーマット情報が供給されたとすると、疑似撮影画像生成部６２は、例えば、図１１に示すように、HD画像信号から、制御部７２からの信号フォーマット情報が表す信号フォーマットのSD画像信号としての疑似撮影画像信号を生成する。
即ち、この場合、疑似撮影画像生成部６２は、図１１に示すように、ベイヤフォーマットのSD画像信号の各画素に対応する、HD画像信号の２×２画素を検出し、その２×２画素から、その２×２画素に対応するSD画像信号の１画素の画素値を求めることにより、疑似撮影画像信号としてのベイヤフォーマットのSD画像信号を生成する。
ここで、ベイヤフォーマットのSD画像信号の各画素は、R,G,Bのうちのいずれかの色成分だけを画素値として有するので、疑似撮影画像生成部６２は、HD画像信号の２×２画素から、その２×２画素に対応するSD画像信号の１画素が画素値として有する色成分だけを求める。
具体的には、ベイヤフォーマットのSD画像信号の画素のうちの、例えば、G成分だけを画素値として有する画素を注目画素とした場合、図１１に示すように、注目画素に対応するHD画像信号の２×２画素の画素値のうちのG成分の平均値等が、注目画素の画素値として求められる。
また、ベイヤフォーマットのSD画像信号の画素のうちの、例えば、B成分だけを画素値として有する画素を注目画素とした場合、図１１に示すように、注目画素に対応するHD画像信号の２×２画素の画素値のうちのB成分の平均値等が、注目画素の画素値として求められる。ベイヤフォーマットのSD画像信号の画素のうちの、R成分だけを画素値として有する画素についても、同様にして画素値が求められる。
なお、その他、制御部７２から疑似撮影画像生成部６２に対して、例えば、図８の下の左に示した、ベイヤフォーマットの画素の位置を１列おきに下方向にずらした信号フォーマットを表す信号フォーマット信号が供給された場合も、疑似撮影画像生成部６２は、図１１で説明したのと同様にして、HD画像信号から、制御部７２からの信号フォーマット情報が表す信号フォーマットのSD画像信号としての疑似撮影画像信号を生成する。
即ち、疑似撮影画像生成部６２は、図８の下の左に示した信号フォーマットのSD画像信号の画素のうちの、例えば、G成分だけを画素値として有する画素を注目画素とした場合、図１２に示すように、注目画素に対応するHD画像信号の２×２画素の画素値のうちのG成分の平均値等を、注目画素の画素値として求める。
また、図８の下の左に示した信号フォーマットのSD画像信号の画素のうちの、例えば、R成分だけを画素値として有する画素を注目画素とした場合、図１２に示すように、注目画素に対応するHD画像信号の２×２画素の画素値のうちのR成分の平均値等が、注目画素の画素値として求められる。図８の下の左に示した信号フォーマットのSD画像信号の画素のうちの、B成分だけを画素値として有する画素についても、同様にして画素値が求められる。
次に、図９の学習装置では、表示制御部６８が、制御部７２から供給される表示フォーマット情報が表す表示フォーマットで、HD画像信号に対応するHD画像を、ディスプレイ６９に表示させる。このため、ディスプレイ６９は、各種の表示フォーマットでHD画像を表示することができるように構成されている。
即ち、図１３は、ディスプレイ６９の表示画面と、HD画像との関係を示している。
ディスプレイ６９は、図１３の上に示すように、SHD画像の１画素に対応する領域を、色成分を表示することができる最小の単位である最小表示単位とする表示画面を有している。図１０で説明したように、SHD画像の６×６画素と、HD画像の１画素とが対応するので、SHD画像の１画素に対応する領域を最小表示単位とする表示画面については、その６×６個の最小表示単位が、図１３の下に示すHD画像の１画素と対応する。なお、表示画面において、HD画像の画素に対応する６×６個の最小表示単位を、以下、適宜、画素ともいう。
表示制御部６８は、例えば、図１４や図１５に示すように、制御部７２からの表示フォーマット情報が表す表示フォーマットで、HD画像を、ディスプレイ６９の表示画面に表示させる。
即ち、制御部７２からの表示フォーマット情報が、例えば、図７の左上に示したストライプを表している場合には、表示制御部６８は、図１４に示すように、表示画面の画素を、横方向に３等分するような、横×縦が２×６個の最小表示単位をサブピクセルとする。そして、表示制御部６８は、図１４に示すように、HD画像の画素のR,G,Bの色成分を、その画素に対応する表示画面の画素の左から１，２，３番目のサブピクセルに、それぞれ表示させ、これにより、HD画像が、制御部７２からの表示フォーマット情報が表すストライプで表示される。
また、制御部７２からの表示フォーマット情報が、例えば、図７の右上に示した、１画素のR,G,Bの順で横方向に並ぶ３つのサブピクセルのうちの、Gのサブピクセルが、RとBのサブピクセルよりも下の位置に配置される表示フォーマットを表している場合には、表示制御部６８は、図１５に示すように、表示画面のR,G,Bの３つのサブピクセル（２×６個の最小表示単位）を、表示フォーマットと同様に、Gのサブピクセルが、RとBのサブピクセルよりも下の位置に配置されるように設定する。そして、表示制御部６８は、図１５に示すように、HD画像の画素のR,G,Bの色成分を、表示画面の対応するサブピクセルに表示させ、これにより、HD画像が、制御部７２からの表示フォーマット情報が表す表示フォーマットで表示される。
次に、図１６乃至図１８を参照して、図９の評価値算出部７１の処理について説明する。
評価値算出部７１は、図９で説明したように、光検出器７０からの表示画像信号と、学習データ記憶部６１からの注目SHD画像信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ６９に表示されたHD画像を見たユーザが感じる画質の評価としての、評価値の算出を行う。
ここで、光検出部７０は、ディスプレイ６９に表示されたHD画像（表示画像）としての光を、R,G,Bごとに検出し（光電変換し）、そのR,G,Bの光にそれぞれ対応する電気信号であるR成分、G成分、B成分を、各画素の画素値として有するHD画像信号である表示画像信号を、評価値算出部７１に出力する。
即ち、図１６の上に示すように、光検出部７０は、ディスプレイ６９の表示画面の６×６の最小表示単位で構成される各画素の光を、R,G,Bごとに検出し、そのR,G,Bの光にそれぞれ対応する電気信号であるR成分、G成分、B成分を、各画素の画素値として有するHD画像信号である表示画像信号を、評価値算出部７１に出力する。
一方、評価値算出部７１は、学習データ記憶部６１に記憶されている注目SHD画像信号から、表示画像信号の評価に用いるHD画像信号である評価用HD画像信号を生成する。
具体的には、評価値算出部７１は、HD画像信号の画素に対応する注目SHD画像信号の６×６画素の画素値から、HD画像信号の画素の画素値とする代表値を求める。即ち、評価値算出部７１は、例えば、HD画像信号の画素に対応する注目SHD画像信号の６×６画素のR,G,B成分それぞれの平均値や、その６×６画素のうちのいずれか１画素のR,G,B成分を、その６×６画素のR,G,B成分それぞれの代表値として求める。そして、評価値算出部７１は、注目SHD画像信号の６×６画素のR,G,B成分の代表値を、それぞれ、対応する画素のR,G,B成分とするHD画像信号を、評価用HD画像信号として生成する。
さらに、評価値算出部７１は、評価用HD画像信号の画素の画素値(R1,G1,B1)と、表示画像信号の対応する画素の画素値(R2,G2,B2)との自乗誤差（R1-R2)2+（G1-G2)2+（B1-B2)2を、学習データ記憶部６１に記憶されたSHD画像信号から得られる評価用HD画像信号のすべての画素について求め、そのすべての画素についての自乗誤差の総和に反比例する値を、評価値として求める。
従って、ディスプレイ６９において、HD画像が、例えば、図１４に示した表示フォーマットであるストライプで表示される場合には、光検出器７０（図９）において、図１７に示すように、表示画面の１画素としての６×６個の最小表示単位のR,G,Bの光、即ち、表示画面の１画素に含まれる、R,G,Bそれぞれのサブピクセル（２×６個の最小表示単位）のR,G,Bの光が検出され、そのR,G,Bの光にそれぞれ対応する電気信号としてのR,G,B成分が、評価値算出部７１に供給される。そして、評価値算出部７１では、評価値算出部７１からのR,G,B成分と、注目SHD画像信号の６×６画素の代表値を画素値とする評価用HD画像信号の画素のR,G,B成分との自乗誤差が、学習データ記憶部６１に記憶されたSHD画像信号から得られる評価用HD画像信号のすべての画素について求められ、そのすべての画素についての自乗誤差の総和に反比例する値が、評価値として求められる。
また、ディスプレイ６９において、HD画像が、例えば、図１５に示した、R,G,Bのサブピクセルのうちの、Gのサブピクセルが、RとBのサブピクセルよりも下の位置に配置される表示フォーマットで表示される場合には、光検出器７０（図９）において、図１８に示すように、表示画面の１画素としての６×６個の最小表示単位のR,G,Bの光が検出され、そのR,G,Bの光にそれぞれ対応する電気信号としてのR,G,B成分が、評価値算出部７１に供給される。
即ち、この場合、Rについては、光検出器７０において、表示画面の１画素に含まれる、Rの１つのサブピクセル（２×６個の最小表示単位）のRの光が検出され、そのRの光に対応する電気信号としてのR成分が、評価値算出部７１に供給される。Bについても、Rと同様に、光検出器７０において、表示画面の１画素に含まれる、Bの１つのサブピクセル（２×６個の最小表示単位）のBの光が検出され、そのBの光に対応する電気信号としてのB成分が、評価値算出部７１に供給される。
また、Gについては、RとBのサブピクセルよりも下の位置に配置されているため、表示画面の１画素には、２つのGのサブピクセルの一部が含まれる。このため、Gについては、光検出器７０において、表示画面の１画素に含まれる、Bの２つのサブピクセル（２×６個の最小表示単位）それぞれのBの光の一部を合成（合計）した光（図１８において斜線を付して示す部分）が検出され、その合成した光に対応する電気信号としてのB成分が、評価値算出部７１に供給される。
そして、評価値算出部７１では、評価値算出部７１からのR,G,B成分と、注目SHD画像信号の６×６画素の代表値を画素値とする評価用HD画像信号の画素のR,G,B成分との自乗誤差が、学習データ記憶部６１に記憶されたSHD画像信号から得られる評価用HD画像信号のすべての画素について求められ、そのすべての画素についての自乗誤差の総和に反比例する値が、評価値として求められる。
次に、図１９のフローチャートを参照して、図９の学習装置が行う、タップ係数、信号フォーマット、および表示フォーマットを学習する学習処理について説明する。
ステップＳ３１において、制御部７２は、複数の初期信号フォーマットの中から、注目信号フォーマットとする初期信号フォーマットAiを決定し、その注目信号フォーマットAiを表す信号フォーマット情報を、疑似撮影画像生成部６２に供給して、ステップＳ３２に進む。
即ち、図９の学習装置には、例えば、ベイヤフォーマットその他の既存の信号フォーマットなどの複数の信号フォーマットが、学習処理の最初に用いる初期信号フォーマットとして設定（決定）されており、制御部７２は、複数の初期信号フォーマットそれぞれを表す信号フォーマット情報を、内蔵するメモリ（図示せず）に記憶している。そして、制御部７２は、内蔵するメモリに記憶している複数の信号フォーマット情報が表す複数の初期信号フォーマットのうちの、まだ注目信号フォーマットとしていないものの１つを注目信号フォーマットAiに決定（設定）し、その注目信号フォーマットAiを表す信号フォーマット情報を、疑似撮影画像生成部６２に供給する。
ここで、Aiは、例えば、複数の初期信号フォーマットのうちのi番目の初期信号フォーマットを表す。
ステップＳ３２では、制御部７２は、複数の初期表示フォーマットの中から、注目表示フォーマットとする初期表示フォーマットBjを決定し、その注目表示フォーマットBjを表す表示フォーマット情報を、表示制御部６８に供給して、ステップＳ３３に進む。
即ち、図９の学習装置には、例えば、ストライプやデルタその他の既存の表示フォーマットなどの複数の表示フォーマットが、学習処理の最初に用いる初期表示フォーマットとして設定されており、制御部７２は、複数の初期表示フォーマットそれぞれを表す表示フォーマット情報を、内蔵するメモリに記憶している。そして、制御部７２は、内蔵するメモリに記憶している複数の表示フォーマット情報が表す複数の初期表示フォーマットのうちの、まだ注目表示フォーマットとしていないものの１つを注目表示フォーマットBjに決定し、その注目表示フォーマットBjを表す表示フォーマット情報を、表示制御部６８に供給する。
ここで、Bjは、例えば、複数の初期表示フォーマットのうちのj番目の初期表示フォーマットを表す。
ステップＳ３３では、学習装置（図９）において、注目信号フォーマットAiと注目表示フォーマットBjとの組み合わせについて、仮の最適なタップ係数のセット（式（１）の演算で用いられる、各クラスのタップ係数(ｘ1，ｘ2，・・・，ｘN)のセット）Fi,jが決定される。
即ち、ステップＳ３３では、注目信号フォーマットAiのSD画像信号を第１の画像信号として、図４の画像変換部１１でタップ係数を用いた画像変換処理を行うことにより得られる、画素値としてのR,G,Bの各成分を有する画素からなる第２の画像信号としてのHD画像信号に対応するHD画像を、注目表示フォーマットBjで、ディスプレイ６９に表示した場合に、そのディスプレイ６９に表示されたHD画像としての光を光検出器７０で検出することにより得られる表示画像信号の評価値を最も高くするタップ係数のセットが、注目信号フォーマットAiと注目表示フォーマットBjとの組み合わせについて、仮の最適なタップ係数のセットFi,jとして求められる。
そして、ステップＳ３３からステップＳ３４に進み、制御部７２は、内蔵するメモリに記憶されている複数の表示フォーマット情報が表す複数の初期表示フォーマットのすべてを、注目表示フォーマットとして、ステップＳ３３でタップ係数のセットを求めたかどうかを判定する。
ステップＳ３４において、複数の初期表示フォーマットのすべてが、まだ、注目表示フォーマットとされていないと判定された場合、ステップＳ３２に戻り、制御部７２は、複数の初期表示フォーマットのうちの、まだ、注目表示フォーマットとしていない初期表示フォーマットの１つを、注目表示フォーマットに新たに決定し、その注目表示フォーマットを表す表示フォーマット情報を、表示制御部６８に供給して、以下、同様の処理を繰り返す。
また、ステップＳ３４において、複数の初期表示フォーマットのすべてが、注目表示フォーマットとされたと判定された場合、ステップＳ３５に進み、制御部７２は、内蔵するメモリに記憶されている複数の信号フォーマット情報が表す複数の初期信号フォーマットのすべてを、注目信号フォーマットとして、ステップＳ３３でタップ係数のセットを求めたかどうかを判定する。
ステップＳ３５において、複数の初期信号フォーマットのすべてが、まだ、注目信号フォーマットとされていないと判定された場合、ステップＳ３１に戻り、制御部７２は、複数の初期信号フォーマットのうちの、まだ、注目信号フォーマットとしていない初期表示フォーマットの１つを、注目信号フォーマットに新たに決定し、その注目信号フォーマットを表す信号フォーマット情報を、疑似撮影画像生成部６２に供給して、以下、同様の処理を繰り返す。
また、ステップＳ３５において、複数の初期信号フォーマットのすべてが、注目信号フォーマットとされたと判定された場合、即ち、複数の初期信号フォーマットそれぞれと、複数の初期表示フォーマットそれぞれとの組み合わせすべてについて、ステップＳ３３で最適なタップ係数のセットが求められた場合、ステップＳ３６に進み、制御部７２は、初期信号フォーマットおよび初期表示フォーマットと、その初期信号フォーマットおよび初期表示フォーマットの組み合わせについての最適なタップ係数のセットとの組み合わせの中から、最適な信号フォーマット、表示フォーマット、およびタップ係数のセットの組み合わせを、仮に決定する（仮決定する）。
即ち、複数の初期信号フォーマットとして、Ｉ通りの信号フォーマットがあり、複数の初期表示フォーマットとして、Ｊ通りの表示フォーマットがある場合には、ステップＳ３３において、Ｉ×Ｊ通りの初期信号フォーマットと初期表示フォーマットとの組み合わせそれぞれについて、仮の最適なタップ係数のセットが求められ、その結果、Ｉ×Ｊ通りの初期信号フォーマット、初期表示フォーマット、およびタップ係数のセットの組み合わせが得られる。ステップＳ３６では、そのＩ×Ｊ通りの初期信号フォーマット、初期表示フォーマット、およびタップ係数のセットの組み合わせの中から、表示画像信号の評価値が最大の組み合わせが、最適な信号フォーマット、表示フォーマット、およびタップ係数のセットの組み合わせとして仮決定される。
ステップＳ３６において、最適な信号フォーマット、表示フォーマット、およびタップ係数のセットの組み合わせが仮決定された後は、ステップＳ３７に進み、現在の最適な表示フォーマットとタップ係数のセットとの組み合わせについて、最適な信号フォーマットを仮決定する最適信号フォーマット決定処理が行われ、ステップＳ３８に進む。
ステップＳ３８では、現在の最適な信号フォーマットとタップ係数のセットとの組み合わせについて、最適な表示フォーマットを仮決定する最適表示フォーマット決定処理が行われ、ステップＳ３９に進む。
ステップＳ３９では、現在の最適な信号フォーマットと表示フォーマットとの組み合わせについて、最適なタップ係数のセットを仮決定する最適タップ係数セット決定処理が行われ、ステップＳ４０に進む。
ステップＳ４０では、制御部７２が、直前のステップＳ３７で求められた現在の最適な信号フォーマット、直前のステップＳ３８で求められた現在の最適な表示フォーマット、および直前のステップＳ３９で求められた現在の最適なタップ係数のセットの組み合わせが、最適化されたものであるかどうかを判定する。
即ち、直前のステップＳ３９の最適タップ係数セット決定処理では、現在の仮の最適な信号フォーマットと表示フォーマットとの組み合わせについて、後述するようにして評価値算出部７１が算出する評価値を最大にするタップ係数のセットが、最適なタップ係数のセットとして仮決定されるが、ステップＳ４０では、例えば、その最適なタップ係数のセットについての評価値が、あらかじめ定められた最適化の判定用の閾値以上である（より大きい）かどうかによって、現在の仮の最適な信号フォーマット、現在の仮の最適な表示フォーマット、および現在の仮の最適なタップ係数のセットの組み合わせが、最適化されたものであるかどうかが判定される。
ステップＳ４０において、現在の仮の最適な信号フォーマット、現在の仮の最適な表示フォーマット、および現在の仮の最適なタップ係数のセットの組み合わせが、最適化されたものでないと判定された場合、即ち、直前のステップＳ３９で仮決定された最適なタップ係数のセットについての評価値が、最適化の判定用の閾値以上でない場合、ステップＳ３７に戻り、同様の処理が繰り返される。
また、ステップＳ４０において、現在の仮の最適な信号フォーマット、現在の仮の最適な表示フォーマット、および現在の仮の最適なタップ係数のセットの組み合わせが、最適化されたものであると判定された場合、即ち、直前のステップＳ３９で仮決定された最適なタップ係数のセットについての評価値が、最適化の判定用の閾値以上である場合、制御部７２は、現在の仮の最適な信号フォーマット、現在の仮の最適な表示フォーマット、および現在の仮の最適なタップ係数のセットの組み合わせを、最適な信号フォーマット、表示フォーマット、およびタップ係数のセットの組み合わせに最終的に決定し（最終決定し）、学習処理を終了する。
図１の画像処理システムにおいて、カメラ１は、図１９の学習処理によって最終決定された最適な信号フォーマットの撮影画像信号（SD画像信号）を出力する。また、表示装置２の表示制御部１２（図２）は、図１９の学習処理によって最終決定された最適な表示フォーマットでHD画像をディスプレイ１３に表示させる。さらに、表示装置２の画像変換部１１の係数メモリ４４には、図１９の学習処理によって最終決定された最適なタップ係数のセットが記憶されており、画像変換部１１は、そのタップ係数のセットを用いて、画像変換処理を行う。
その結果、図１のカメラ１と表示装置２との組み合わせである画像処理システムの性能を向上させることができる。即ち、図１のカメラ１と表示装置２との組み合わせである画像処理システムによれば、カメラ１が出力する撮影画像信号や、画像変換部１１が出力するHD画像信号のS/N(Signal to Noise ratio)等はともかく、ユーザが高画質であると感じる画像を、ディスプレイ１３に表示することができる。
なお、図１９では、最適タップ係数セット決定処理において求められたタップ係数のセットについての評価値が、最適化の判定用の閾値以上である場合に、信号フォーマット、表示フォーマット、およびタップ係数のセットの組み合わせが最適化されたと判定するようにしたが、その他、例えば、最適信号フォーマット決定処理、最適表示フォーマット決定処理、および最適タップ係数セット決定処理が、所定の回数だけ繰り返された場合に、信号フォーマット、表示フォーマット、およびタップ係数のセットの組み合わせが最適化されたと判定するようにすることが可能である。
次に、図２０のフローチャートを参照して、注目信号フォーマットAiと注目表示フォーマットBjとの組み合わせについて、仮の最適なタップ係数のセットFi,jを決定する図１９のステップＳ３３の処理について、詳述する。
制御部７２は、ステップＳ５１において、画像変換部７３が画像変換処理に用いるクラスごとのタップ係数のセットを決定する。即ち、例えば、クラスの総数をαと、各クラスのタップ係数の数をβ（式（１）のＮ）と、タップ係数のビット数をγとすると、タップ係数のセットが取り得る場合の数は、α×β×２γ通りだけ存在するが、制御部７２は、そのα×β×２γ通りのタップ係数のセットのうちの、今回の図２０の処理において、まだ注目タップ係数セットとしていないものの１つを、注目タップ係数セットに決定する。
そして、制御部７２は、注目タップ係数セットを、係数メモリ６６に供給して記憶させ、ステップＳ５１からＳ５２に進む。
ステップＳ５２では、制御部７２は、注目信号フォーマットAiを表す信号フォーマット情報を、疑似撮影画像生成部６２に供給し、これにより、疑似撮影画像生成部６２に、注目信号フォーマットAiの疑似撮影画像信号としてのSD画像信号を生成させる。
即ち、疑似撮影画像生成部６２は、制御部７２から、注目信号フォーマットAiを表す信号フォーマット情報が供給されると、学習データ記憶部６１に記憶されているSHD画像信号の画素数を間引くこと等によって、注目信号フォーマットAiのSD画像信号を生成し、カメラ１（図１）が出力する撮影画像信号に相当する疑似撮影画像信号として、画像変換部７３に供給する。
その後、ステップＳ５２からステップＳ５３に進み、画像変換部７３は、疑似撮影画像生成部６２から供給される注目信号フォーマットAiの疑似撮影画像信号（SD画像信号）を第１の画像信号として、その第１の画像信号を、例えば、１画素がR,G,B成分のすべてを有する第２の画像信号としてのHD画像信号に変換する画像変換処理を行う。
即ち、ステップＳ５３では、まず最初に、ステップＳ５３1において、画像変換部７３のタップ抽出部６３が、疑似撮影画像生成部６２から供給される疑似撮影画像信号を第１の画像信号とするとともに、その第１の画像信号を変換して得ようとする高画質（高解像度）のHD画像信号を第２の画像信号（この第２の画像信号としてのHD画像信号は、これから求めようとする画像信号であり、現段階では存在しないため、仮想的に想定される）として、第２の画像信号を構成する画素を、順次、注目画素とする。そして、タップ抽出部６３は、注目画素について、図４のタップ抽出部４１が抽出する予測タップと同一のタップ構造の予測タップを、第１の画像信号から抽出し、予測部６７に供給する。
さらに、ステップＳ５３1では、タップ抽出部６４が、注目画素について、図４のタップ抽出部４２が抽出するクラスタップと同一のタップ構造のクラスタップを、第１の画像信号から抽出し、クラス分類部６５に供給する。
そして、ステップＳ５３1からステップＳ５３2に進み、クラス分類部６５が、タップ抽出部６４からのクラスタップに基づき、図４のクラス分類部４３と同一の方法で、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数メモリ６６に供給して、ステップＳ５３3に進む。
ステップＳ５３3では、係数メモリ６６が、制御部７２の制御にしたがって記憶している注目タップ係数セットのうちの、クラス分類部６５から供給されるクラスコードが表すクラス、つまり、注目画素のクラスのタップ係数を取得し、予測部６７に出力して、ステップＳ５３4に進む。
ステップＳ５３4では、予測部６７が、タップ抽出部６３が出力する予測タップと、係数メモリ６６が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、図４の予測部４５と同一の予測演算、即ち、例えば、式（１）の演算を行う。これにより、予測部６７は、注目画素の画素値（の予測値）、即ち、HD画像信号（第２の画像信号）を構成する画素の画素値を求め、表示制御部６８に供給する。
ステップＳ５３の処理後は、ステップＳ５４に進み、制御部７２は、注目表示フォーマットBjを表す表示フォーマット情報を、表示制御部６８に供給する。これにより、表示制御部６８は、制御部７２からの表示フォーマット情報が表す注目表示フォーマットBjで、画像変換部７３が出力するHD画像信号に対応するHD画像を、ディスプレイ６９に表示させ、ステップＳ５４からステップＳ５５に進む。
ステップＳ５５では、光検出器７０が、ディスプレイ６９に表示されたHD画像（表示画像）としての光を検出し（光電変換し）、その光に対応する電気信号である、HD画像信号に相当する表示画像信号を、評価値算出部７１に出力して、ステップＳ５６に進む。
ステップＳ５６では、評価値算出部７１が、光検出器７０からの表示画像信号、ひいては、ディスプレイ６９に表示されたHD画像を評価する。
即ち、評価値算出部７１は、光検出器７０からの表示画像信号に対応するSHD画像信号を、学習データ記憶部６１から読み出し、表示画像信号と、対応するSHD画像信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ６９に表示されたHD画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部７２に供給する。
ここで、ステップＳ５２乃至Ｓ５６の処理は、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して行われる。そして、制御部７２は、注目タップ係数セットにつき、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して得られた評価値の、例えば総和を求め、その総和を、注目タップ係数セットについての最終的な評価値として、一時記憶する。
その後、ステップＳ５６からステップＳ５７に進み、制御部７２は、タップ係数のセットが取り得るα×β×２γ通りの値のすべてについて、評価値を算出したかどうかを判定する。
ステップＳ５７において、タップ係数のセットが取り得るα×β×２γ通りの値のすべてについて、まだ、評価値を算出していないと判定された場合、即ち、α×β×２γ通りのタップ係数のセットの中に、今回の図２０の処理において、まだ注目タップ係数セットとしていないものがある場合、ステップＳ５１に戻り、制御部７２は、α×β×２γ通りのタップ係数のセットのうちの、今回の図２０の処理において、まだ注目タップ係数セットとしていないものの１つを、注目タップ係数セットに新たに決定し、以下、同様の処理が繰り返される。
また、ステップＳ５７において、タップ係数のセットが取り得るα×β×２γ通りの値のすべてについて、評価値を算出したと判定された場合、ステップＳ５８に進み、制御部７２は、α×β×２γ通りのタップ係数のセットのうちの、評価値が最も高いタップ係数のセットを、注目信号フォーマットAiと注目表示フォーマットBjとの組み合わせについての最適なタップ係数のセットFi,jとして決定してリターンする。
ここで、図１９で説明したように、複数の初期信号フォーマットとして、Ｉ通りの信号フォーマットがあり、複数の初期表示フォーマットとして、Ｊ通りの表示フォーマットがある場合には、ステップＳ３３の処理である図２０の処理が、I×J回行われ、その結果、Ｉ×Ｊ通りの初期信号フォーマット、初期表示フォーマット、およびタップ係数のセットの組み合わせが得られる。図１９のステップＳ３６では、そのＩ×Ｊ通りの初期信号フォーマット、初期表示フォーマット、およびタップ係数のセットの組み合わせの中から、図２０の処理で得られる評価値が最大の組み合わせが、最適な信号フォーマット、表示フォーマット、およびタップ係数のセットの組み合わせとして仮決定される。
なお、上述したように、タップ係数のセットが取り得るα×β×２γ通りの値のすべてについて評価値を算出し、その評価値が最も高いタップ係数を求めるタップ係数の学習を、総当たり学習と呼ぶ。
次に、図２１のフローチャートを参照して、図１９のステップＳ３７の最適信号フォーマット決定処理について詳述する。
ステップＳ７１において、制御部７２は、現在の仮の（仮決定された）最適な信号フォーマットを基準として、最適な信号フォーマットの複数の候補を決定する。
即ち、例えば、いま、ベイヤフォーマットが、現在の仮の最適な信号フォーマットであるとすると、制御部７２は、例えば、図８に示したように、ベイヤフォーマットを僅かに変形して得られる信号フォーマットの幾つか（複数）を、最適な信号フォーマットの複数の候補として決定する。なお、最適な信号フォーマットの複数の候補を得るために、現在の仮の最適な信号フォーマットを、どのように変形するかは、例えば、あらかじめ変形ルールが決められており、制御部７２は、その変形ルールにしたがって、現在の仮の最適な信号フォーマットを変形して、最適な信号フォーマットの複数の候補を決定する。
ステップＳ７１の処理後はステップＳ７２に進み、制御部７２は、最適な信号フォーマットの複数の候補のうちの、まだ、注目信号フォーマットとしていないものの１つを、注目信号フォーマットに決定し、その注目信号フォーマットを表す信号フォーマット情報を、疑似撮影画像生成部６２に供給して、ステップＳ７３に進む。
ステップＳ７３では、疑似撮影画像生成部６２は、学習データ記憶部６１に記憶されているSHD画像信号の画素数を間引くこと等によって、制御部７２からの信号フォーマット情報が表す注目信号フォーマットのSD画像信号を生成し、カメラ１（図１）が出力する撮影画像信号に相当する疑似撮影画像信号として、画像変換部７３に供給して、ステップＳ７４に進む。
ステップＳ７４では、制御部７２が、現在の仮の最適なタップ係数のセットを、係数メモリ６６に記憶させる。さらに、ステップＳ７４では、画像変換部７３が、図２０のステップＳ５３と同様に、疑似撮影画像生成部６２から供給される注目信号フォーマットの疑似撮影画像信号（SD画像信号）を第１の画像信号として、その第１の画像信号を、係数メモリ６６に記憶されている、現在の仮の最適なタップ係数のセットとの演算によって、第２の画像信号としてのHD画像信号に変換する画像変換処理を行い、その結果得られるHD画像信号を、表示制御部６８に供給する。
ステップＳ７４の処理後は、ステップＳ７５に進み、制御部７２は、現在の仮の最適な表示フォーマットを表す表示フォーマット情報を、表示制御部６８に供給する。これにより、表示制御部６８は、制御部７２からの表示フォーマット情報が表す現在の仮の最適な表示フォーマットで、画像変換部７３が出力するHD画像信号に対応するHD画像を、ディスプレイ６９に表示させ、ステップＳ７５からステップＳ７６に進む。
ステップＳ７６では、光検出器７０が、ディスプレイ６９に表示されたHD画像（表示画像）としての光を検出し（光電変換し）、その光に対応する電気信号である、HD画像信号に相当する表示画像信号を、評価値算出部７１に出力して、ステップＳ７７に進む。
ステップＳ７７では、評価値算出部７１が、光検出器７０からの表示画像信号、ひいては、ディスプレイ６９に表示されたHD画像を評価する。
即ち、評価値算出部７１は、光検出器７０からの表示画像信号に対応するSHD画像信号を、学習データ記憶部６１から読み出し、表示画像信号と、対応するSHD画像信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ６９に表示されたHD画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部７２に供給する。
ここで、ステップＳ７３乃至Ｓ７７の処理は、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して行われる。そして、制御部７２は、注目信号フォーマットにつき、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して得られた評価値の、例えば総和を求め、その総和を、注目信号フォーマットについての最終的な評価値として、一時記憶する。
その後、ステップＳ７７からステップＳ７８に進み、制御部７２は、最適な信号フォーマットの複数の候補のすべてについて、評価値を算出したかどうかを判定する。
ステップＳ７８において、最適な信号フォーマットの複数の候補のすべてについて、まだ、評価値を算出していないと判定された場合、ステップＳ７２に戻り、制御部７２は、最適な信号フォーマットの複数の候補のうちの、まだ注目信号フォーマットとしていないものの１つを、注目信号フォーマットに新たに決定し、以下、同様の処理が繰り返される。
また、ステップＳ７８において、最適な信号フォーマットの複数の候補のすべてについて、評価値を算出したと判定された場合、ステップＳ７９に進み、制御部７２は、最適な信号フォーマットの複数の候補のうちの、評価値が最も高い候補を、現在の仮の最適な表示フォーマットとタップ係数のセットとの組み合わせに対する最適な信号フォーマットに、新たに仮決定してリターンする。
次に、図２２のフローチャートを参照して、図１９のステップＳ３８の最適表示フォーマット決定処理について詳述する。
ステップＳ９１において、制御部７２は、現在の仮の（仮決定された）最適な表示フォーマットを基準として、最適な表示フォーマットの複数の候補を決定する。
即ち、例えば、いま、ストライプが、現在の仮の最適な表示フォーマットであるとすると、制御部７２は、例えば、図７に示したように、ストライプを僅かに変形して得られる表示フォーマットの幾つか（複数）を、最適な表示フォーマットの複数の候補として決定する。なお、最適な表示フォーマットの複数の候補を得るために、現在の仮の最適な表示フォーマットを、どのように変形するかは、例えば、あらかじめ変形ルールが決められており、制御部７２は、その変形ルールにしたがって、現在の仮の最適な表示フォーマットを変形して、最適な表示フォーマットの複数の候補を決定する。
ステップＳ９１の処理後はステップＳ９２に進み、制御部７２は、現在の仮の最適な信号フォーマットを表す信号フォーマット情報を、疑似撮影画像生成部６２に供給する。これにより、疑似撮影画像生成部６２は、学習データ記憶部６１に記憶されているSHD画像信号の画素数を間引くこと等によって、制御部７２からの信号フォーマット情報が表す注目信号フォーマットのSD画像信号を生成し、カメラ１（図１）が出力する撮影画像信号に相当する疑似撮影画像信号として、画像変換部７３に供給して、ステップＳ９３に進む。
ステップＳ９３では、画像変換部７３が、図２０のステップＳ５３と同様に、疑似撮影画像生成部６２から供給される疑似撮影画像信号（SD画像信号）を第１の画像信号として、その第１の画像信号を、係数メモリ６６に記憶されている、現在の仮の最適なタップ係数のセットとの演算によって、第２の画像信号としてのHD画像信号に変換する画像変換処理を行い、その結果得られるHD画像信号を、表示制御部６８に供給する。
ステップＳ９３の処理後はステップＳ９４に進み、制御部７２は、最適な表示フォーマットの複数の候補のうちの、まだ、注目表示フォーマットとしていないものの１つを、注目表示フォーマットに決定し、その注目表示フォーマットを表す表示フォーマット情報を、表示制御部６８に供給して、ステップＳ９５に進む。
ステップＳ９５では、表示制御部６８が、制御部７２からの表示フォーマット情報が表す注目表示フォーマットで、画像変換部７３が出力するHD画像信号に対応するHD画像を、ディスプレイ６９に表示させ、ステップＳ９６に進む。
ステップＳ９６では、光検出器７０が、ディスプレイ６９に表示されたHD画像（表示画像）としての光を検出し（光電変換し）、その光に対応する電気信号である、HD画像信号に相当する表示画像信号を、評価値算出部７１に出力して、ステップＳ９７に進む。
ステップＳ９７では、評価値算出部７１が、光検出器７０からの表示画像信号、ひいては、ディスプレイ６９に表示されたHD画像を評価する。
即ち、評価値算出部７１は、光検出器７０からの表示画像信号に対応するSHD画像信号を、学習データ記憶部６１から読み出し、表示画像信号と、対応するSHD画像信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ６９に表示されたHD画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部７２に供給する。
ここで、ステップＳ９２およびＳ９３、並びにステップＳ９５乃至Ｓ９７の処理は、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して行われる。そして、制御部７２は、注目表示フォーマットにつき、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して得られた評価値の、例えば総和を求め、その総和を、注目表示フォーマットについての最終的な評価値として、一時記憶する。
その後、ステップＳ９７からステップＳ９８に進み、制御部７２は、最適な表示フォーマットの複数の候補のすべてについて、評価値を算出したかどうかを判定する。
ステップＳ９８において、最適な表示フォーマットの複数の候補のすべてについて、まだ、評価値を算出していないと判定された場合、ステップＳ９４に戻り、制御部７２は、最適な表示フォーマットの複数の候補のうちの、まだ注目表示フォーマットとしていないものの１つを、注目表示フォーマットに新たに決定し、以下、同様の処理が繰り返される。
また、ステップＳ９８において、最適な表示フォーマットの複数の候補のすべてについて、評価値を算出したと判定された場合、ステップＳ９９に進み、制御部７２は、最適な表示フォーマットの複数の候補のうちの、評価値が最も高い候補を、現在の仮の最適な信号フォーマットとタップ係数のセットとの組み合わせに対する最適な表示フォーマットに、新たに仮決定してリターンする。
次に、図２３のフローチャートを参照して、図１９のステップＳ３９の最適タップ係数セット決定処理について詳述する。
ステップＳ１１１において、制御部７２は、現在の仮の（仮決定された）最適なタップ係数のセットを基準として、最適なタップ係数のセットの複数の候補を決定する。
即ち、制御部７２は、例えば、現在の仮の最適なタップ係数のセットの各タップ係数をコンポーネントとするZ次元のベクトル（この場合、クラスの総数と、１クラスあたりのタップ係数の数との積がZ）が表す、Z次元のベクトル空間の点を基準とする所定の範囲内の複数の点を選択し、その複数の点それぞれを表す複数のZ次元のベクトル（のコンポーネント）を、最適なタップ係数のセットの複数の候補として決定する。なお、最適なタップ係数のセットの複数の候補を得るために、現在の仮の最適なタップ係数のセットに対応するZ次元のベクトルを基準として、どのような範囲の、どのような点を選択するかは、あらかじめルールが決められており、制御部７２は、そのルールにしたがって、現在の仮の最適なタップ係数のセットに対応するZ次元のベクトルを基準とする所定の範囲内の複数の点を選択することにより、最適なタップ係数のセットの複数の候補を決定する。
ステップＳ１１１の処理後はステップＳ１１２に進み、制御部７２は、現在の仮の最適な信号フォーマットを表す信号フォーマット情報を、疑似撮影画像生成部６２に供給する。これにより、疑似撮影画像生成部６２は、学習データ記憶部６１に記憶されているSHD画像信号の画素数を間引くこと等によって、制御部７２からの信号フォーマット情報が表す信号フォーマットのSD画像信号を生成し、カメラ１（図１）が出力する撮影画像信号に相当する疑似撮影画像信号として、画像変換部７３に供給して、ステップＳ１１３に進む。
ステップＳ１１３では、制御部７２は、最適なタップ係数のセットの複数の候補のうちの、まだ、注目タップ係数セットとしていないものの１つを、注目タップ係数セットに決定し、その注目タップ係数セットを、係数メモリ６６を制御することにより記憶させ、ステップＳ１１４に進む。
ステップＳ１１４では、画像変換部７３が、図２０のステップＳ５３と同様に、疑似撮影画像生成部６２から供給される疑似撮影画像信号（SD画像信号）を第１の画像信号として、その第１の画像信号を、係数メモリ６６に記憶されている注目タップ係数セットとの演算によって、第２の画像信号としてのHD画像信号に変換する画像変換処理を行い、その結果得られるHD画像信号を、表示制御部６８に供給する。
ステップＳ１１４の処理後は、ステップＳ１１５に進み、制御部７２は、現在の仮の最適な表示フォーマットを表す表示フォーマット情報を、表示制御部６８に供給する。これにより、表示制御部６８は、制御部７２からの表示フォーマット情報が表す表示フォーマットで、画像変換部７３が出力するHD画像信号に対応するHD画像を、ディスプレイ６９に表示させ、ステップＳ１１６に進む。
ステップＳ１１６では、光検出器７０が、ディスプレイ６９に表示されたHD画像（表示画像）としての光を検出し（光電変換し）、その光に対応する電気信号である、HD画像信号に相当する表示画像信号を、評価値算出部７１に出力して、ステップＳ１１７に進む。
ステップＳ１１７では、評価値算出部７１が、光検出器７０からの表示画像信号、ひいては、ディスプレイ６９に表示されたHD画像を評価する。
即ち、評価値算出部７１は、光検出器７０からの表示画像信号に対応するSHD画像信号を、学習データ記憶部６１から読み出し、表示画像信号と、対応するSHD画像信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ６９に表示されたHD画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部７２に供給する。
ここで、ステップＳ１１２、およびステップＳ１１４乃至Ｓ１１７の処理は、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して行われる。そして、制御部７２は、注目タップ係数セットにつき、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して得られた評価値の、例えば総和を求め、その総和を、注目タップ係数セットについての最終的な評価値として、一時記憶する。
その後、ステップＳ１１７からステップＳ１１８に進み、制御部７２は、最適なタップ係数のセットの複数の候補のすべてについて、評価値を算出したかどうかを判定する。
ステップＳ１１８において、最適なタップ係数のセットの複数の候補のすべてについて、まだ、評価値を算出していないと判定された場合、ステップＳ１１３に戻り、制御部７２は、最適なタップ係数のセットの複数の候補のうちの、まだ注目タップ係数セットとしていないものの１つを、注目タップ係数セットに新たに決定し、以下、同様の処理が繰り返される。
また、ステップＳ１１８において、最適なタップ係数のセットの複数の候補のすべてについて、評価値を算出したと判定された場合、ステップＳ１１９に進み、制御部７２は、最適なタップ係数のセットの複数の候補のうちの、評価値が最も高い候補を、現在の仮の最適な信号フォーマットと表示フォーマットとの組み合わせに対する最適なタップ係数のセットに、新たに仮決定してリターンする。
以上のように、図９の学習装置では、図１９のステップＳ３７において、制御部７２が、最適な信号フォーマットの複数の候補として、複数の信号フォーマットを決定し、その複数の信号フォーマットそれぞれについて、疑似撮影画像生成部６２が、疑似撮影画像信号を生成し、画像変換部７３が、疑似撮影画像信号を、制御部７２で決定されたタップ係数（現在の仮の最適なタップ係数のセット）との演算によって、HD画像信号に変換し、表示制御部６８が、HD画像信号に対応するHD画像を、制御部７２で決定されたある表示フォーマット（現在の仮の最適な表示フォーマット）で、ディスプレイ６９に表示させ、光検出器７０が、表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、評価値算出部７１が、表示画像信号を評価することにより、表示画像信号の評価が最も高くなる信号フォーマットを、複数の信号フォーマットの中から仮決定する最適信号フォーマット決定処理（図２１）を行う。
さらに、図９の学習装置では、図１９のステップＳ３８において、制御部７２が、最適な表示フォーマットの複数の候補として、複数の表示フォーマットを決定し、疑似撮影画像生成部６２が、制御部７２で決定された信号フォーマット（現在の仮の最適な信号フォーマット）の疑似撮影画像信号を生成し、画像変換部７３が、疑似撮影画像信号を、制御部７２で決定されたタップ係数（現在の仮の最適なタップ係数のセット）との演算によって、HD画像信号に変換し、複数の表示フォーマットそれぞれについて、表示制御部６８が、HD画像信号に対応するHD画像を、ディスプレイ６９に表示させ、光検出器７０が、表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、評価値算出部７１が、表示画像信号を評価することにより、表示画像信号の評価が最も高くなる表示フォーマットを、複数の表示フォーマットの中から仮決定する最適表示フォーマット決定処理（図２２）を行う。
また、図９の学習装置では、図１９のステップＳ３９において、制御部７２が、最適なタップ係数のセットの複数の候補として、複数のタップ係数（のセット）を決定し、疑似撮影画像生成部６２が、制御部７２で決定された信号フォーマット（現在の仮の最適な信号フォーマット）の疑似撮影画像信号を生成し、複数のタップ係数それぞれについて、画像変換部７３が、疑似撮影画像信号を、HD画像信号に変換し、表示制御部６８が、HD画像信号に対応するHD画像を、制御部７２で決定された表示フォーマット（現在の仮の最適な表示フォーマット）で、ディスプレイ６９に表示させ、光検出器７０が、表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、評価値算出部７１が、表示画像信号を評価することにより、表示画像信号の評価が最も高くなるタップ係数を、複数のタップ係数の中から仮決定する最適タップ係数セット決定処理（図２３）を行う。
そして、図９の学習装置では、図１９で説明したように、以上の最適信号フォーマット決定処理、最適表示フォーマット決定処理、および最適タップ係数セット決定処理を、評価値（ここでは、直前の最適タップ係数セット決定処理で得られる評価値）が最適化の判定用の閾値以上となるまで繰り返すことにより、ディスプレイ６９に表示されるHD画像である表示画像をより高画質化する画像変換処理を行うのに用いられるタップ係数（のセット）、そのタップ係数を用いて行われる画像変換処理の対象となる撮影画像信号の信号フォーマット、および、その信号フォーマットの撮影画像信号を対象とした画像変換処理により得られるHD画像信号に対応するHD画像を表示する表示フォーマットを求める。
従って、図９の学習装置によれば、ディスプレイ６９に表示される表示画像がより高画質であるとユーザが感じるタップ係数、信号フォーマット、および表示フォーマット、つまりは、図１のカメラ１と表示装置２で構成される画像処理システムの性能をより向上させる最適な（適切な）タップ係数、信号フォーマット、および表示フォーマットを求めることができる。
そして、図１のカメラ１において、図９の学習装置で得られた最適な信号フォーマットの撮影画像信号を出力するとともに、図１の表示装置２において、図９の学習装置で得られた最適なタップ係数を用いて画像変換処理を行い、さらに、その画像変換処理によって得られるHD画像を、図９の学習装置で得られた最適な表示フォーマットで表示することにより、カメラ１と表示装置２との組み合わせで画像処理システムが構成される場合に、その画像処理システム全体として、最大の性能を発揮することができる。
なお、図２１の最適信号フォーマット決定処理において、現在の仮の最適な信号フォーマットを基準として、最適な信号フォーマットの複数の候補を決定するにあたり、現在の仮の最適な信号フォーマットの変形のさせ方としては、図１９のステップＳ３７乃至Ｓ３９の繰り返し回数が小のときに、いわば大きく変形し、その繰り返し回数が増えるに連れ、徐々に微小な変形にする方法を採用することができる。表示フォーマットとタップ係数のセットについても同様である。
また、最適な信号フォーマットの候補について求められる評価値が、それほど大きくない値で、ほとんど増加しなくなった場合には、現在の仮の最適な信号フォーマットを、大きく変形して、最適な信号フォーマットの複数の候補を決定することができる。この場合、いわゆるローカルミニマムの問題を解消することができる。表示フォーマットとタップ係数のセットについても同様である。
次に、図２４は、画像を処理する画像処理システムの第２の構成例を示している。
図２４の画像処理システムは、カメラ６０１、送信装置６０２、受信装置６０３、および表示装置６０５から構成されている。
カメラ６０１は、物体（被写体）を撮影し、その撮影によって得られるSD画像信号である、所定の信号フォーマットの撮影画像信号を出力する。送信装置６０２は、カメラ６０１が出力する所定の信号フォーマットの撮影画像信号を、受信装置６０３に送信する。
受信装置６０３は、送信装置６０２から送信されてくる所定の信号フォーマットの撮影画像信号を受信する。また、受信装置６０３は、フォーマット変換部６０４を有し、フォーマット変換部６０４には、受信装置６０３が受信した所定の信号フォーマットの撮影画像信号が供給されるとともに、表示装置６０５から、その表示装置６０５が画像を表示する表示フォーマットを表す表示フォーマット情報が供給される。
フォーマット変換部６０４は、受信装置６０３で受信された撮影画像信号の所定の信号フォーマットと、表示装置６０５からの表示フォーマット情報が表す表示フォーマットとに対応して、所定の信号フォーマット（第１の信号フォーマット）の撮影画像信号を、他の信号フォーマット（第２の信号フォーマット）の撮影画像信号（SD画像信号）に変換し、表示装置６０５に供給する。
表示装置６０５は、受信装置６０３のフォーマット変換部６０４から供給される他の信号フォーマットの撮影画像信号を、その撮影画像信号に対応する画像よりも高画質のHD画像信号に変換して、そのHD画像信号に対応するHD画像を表示する。
次に、図２５は、図２４のフォーマット変換部６０４と表示装置６０５の構成例を示している。
フォーマット変換部６０４は、信号取得部６１１、信号変換部６１２、および表示フォーマット取得部６１３から構成されている。
信号取得部６１１は、カメラ６０１（図２４）が出力する所定の信号フォーマットの撮影画像信号を、送信装置６０２を介して受信することにより取得し、信号変換部６１２に供給する。また、信号取得部６１１は、撮影画像信号の信号フォーマットを検出（認識）し、その信号フォーマットを表す信号フォーマット情報を、信号変換部６１２に供給する。
信号変換部６１２は、表示装置６０５の後述する画像変換部６２１において画像変換処理の対象となるSD画像信号の信号フォーマットと、画像変換処理によって得られるHD画像信号に対応するHD画像を表示する表示フォーマットとの対応関係を表すフォーマット対応関係情報を記憶している。ここで、フォーマット対応関係情報は、あらかじめ行われた学習によって求められたもので、SD画像信号の信号フォーマットと、その信号フォーマットのSD画像信号を対象とした画像変換処理によって得られるHD画像信号に対応するHD画像を表示した場合に、ユーザが最も高画質であると感じる表示フォーマットとの対応関係を表す。
信号変換部６１２は、フォーマット対応関係情報において、表示フォーマット取得部６１３から供給される表示フォーマット情報が表す表示装置６０５の表示フォーマットに対応付けられている信号フォーマット（以下、適宜、対応信号フォーマットという）を認識し、信号取得部６１１からの所定の信号フォーマットの撮影画像信号を、他の信号フォーマットとしての対応信号フォーマットの撮影画像信号に変換して、表示装置６０５に供給する。
表示フォーマット取得部６１３は、表示装置６０５の表示制御部６２２がHD画像をディスプレイ６２３に表示させる表示フォーマットを表す表示フォーマット情報を、表示制御部６２２から取得し（受信し）、信号変換部６１２に供給する。
なお、フォーマット変換部６０４を内蔵する受信装置６０３と、表示装置６０５とは、有線または無線で接続されるが、表示フォーマット取得部６１３は、例えば、受信装置６０３と表示装置６０５との接続が確立されるたびに、表示装置６０５から、表示フォーマット情報を取得して、信号変換部６１２に供給する。
表示装置６０５は、画像変換部６２１、表示制御部６２２、およびディスプレイ６２３から構成される。
画像変換部６２１には、フォーマット変換部６１２から、他の信号フォーマットとしての対応信号フォーマットの撮影画像信号（SD画像信号）が供給される。画像変換部５２１は、あらかじめ行われた学習によって得られたタップ係数のセットを記憶しており、そのタップ係数との演算によって、対応信号フォーマットの撮影画像信号であるSD画像信号を、HD画像信号に変換し、表示制御部６２２に供給する。
表示制御部６２２は、例えば、HD画像よりも高画質のSHD画像を用いて行われた学習によって決定された表示フォーマットや、既存の表示フォーマット、その他の、あらかじめ決められた表示フォーマットで、画像変換部６２１から供給されるHD画像信号に対応するHD画像を、ディスプレイ６２３に表示させる表示制御を行う。なお、表示制御部６２２は、HD画像を表示させる表示フォーマットを表す表示フォーマット情報を、外部に出力する機能を有する。
ディスプレイ６２３は、例えば、CRTやLCDパネル等で構成される表示手段であり、表示制御部６２２の制御にしたがって、画像を表示する。
次に、フォーマット変換部６０４を構成する信号変換部６１２は、上述したように、信号取得部６１１からの所定の信号フォーマットのSD画像信号（撮影画像信号）を、他の信号フォーマットとしての対応信号フォーマットのSD画像信号に変換する。この変換は、画素（サブピクセルを含む）の間引きや補間によって行うこともできるが、第１の画像信号を第２の画像信号に変換する画像変換処理によって行うこともできる。
そこで、図２６は、所定の信号フォーマットのSD画像信号を第１の画像信号とするとともに、他の信号フォーマットとしての対応信号フォーマットのSD画像信号を第２の画像信号として、所定の信号フォーマットのSD画像信号を対応信号フォーマットのSD画像信号に変換する信号変換部６１２の構成例を示している。
図２６において、信号変換部６１２は、タップ抽出部６３１および６３２、クラス分類部６３３、係数メモリ６３４、予測部６３５、および係数選択部６３６から構成される。
信号変換部６１２には、信号取得部６１１からの所定の信号フォーマットのSD画像信号が、第１の画像信号として供給される。そして、第１の画像信号としてのSD画像信号は、タップ抽出部６３１および６３２に供給される。
タップ抽出部６３１は、第１の画像信号を変換して得ようとする第２の画像信号としての対応信号フォーマットのSD画像信号（この第２の画像信号としてのSD画像信号は、これから求めようとする画像信号であり、現段階では存在しないため、仮想的に想定される）を構成する画素を、順次、注目画素とし、さらに、その注目画素の画素値を予測するのに用いる複数の画素の画素値である予測タップを、第１の画像信号から抽出する。
具体的には、タップ抽出部６３１は、注目画素に対応する、第１の画像信号の画像の位置（例えば、注目画素の位置に映っているのと同一の被写体の部分が映っている第１の画像信号の画像上の位置）に対して、空間的または時間的に近い位置関係にある複数の画素（例えば、注目画素に対応する、第１の画像信号の画像上の位置に最も近い画素と、その画素に空間的に隣接する画素など）の画素値を、予測タップとして抽出する。
タップ抽出部６３２は、注目画素を、幾つか（複数）のクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる複数の画素の画素値であるクラスタップを、第１の画像信号から抽出する。
タップ抽出部６３１で得られた予測タップは、予測部６３５に供給され、タップ抽出部６３２で得られたクラスタップは、クラス分類部６３３に供給される。
クラス分類部６３３は、タップ抽出部６３２からのクラスタップに基づき、注目画素をクラス分類し、その結果得られる注目画素のクラスを、係数メモリ６３４に供給する。
ここで、クラス分類部６３３でクラス分類を行う方法としては、例えば、図４のクラス分類部４３で説明した方法を採用することができる。
係数メモリ６３４は、複数（種類）の信号フォーマットのうちの任意の２つのそれぞれを、第１の信号フォーマットと第２の信号フォーマットとして、第１の信号フォーマットのSD画像信号を、第２の信号フォーマットのSD画像信号に変換する画像変換処理に用いるタップ係数のセット（以下、適宜、第１／第２変換タップ係数のセットという）を、第１の信号フォーマットと第２の信号フォーマットとの複数の組み合わせそれぞれについて記憶している。
複数（種類）の第１／第２変換タップ係数のセットは、後述する学習によってあらかじめ求められるクラスごとのタップ係数であり、係数メモリ６３４は、係数選択部６３６の制御にしたがい、複数の第１／第２変換タップ係数のセットの中から、信号取得部６１１（図２５）から供給される信号フォーマット情報が表す信号フォーマットを第１の信号フォーマットとするとともに、対応信号フォーマットを第２の信号フォーマットとする第１／第２変換タップ係数のセットを、有効なタップ係数のセットとして選択し、その有効なタップ係数のセットのうちの、クラス分類部６３３から供給されるクラスのタップ係数を読み出すことにより取得し、予測部６３５に出力する。
予測部６３５は、タップ抽出部６３１が出力する予測タップと、係数メモリ６３４が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、注目画素の真値の予測値を求める所定の予測演算としての式（１）の演算を行う。これにより、予測部６３５は、注目画素の画素値（の予測値）、即ち、ここでは、第２の画像信号としての対応信号フォーマットのSD画像信号を構成する画素の画素値を求めて出力する。
係数選択部６３６には、信号取得部６１１（図２５）から、カメラ６０１が出力するSD画像信号の信号フォーマットを表す信号フォーマット情報（以下、適宜、カメラ信号フォーマット情報という）が供給されるとともに、表示フォーマット取得部６１３（図２５）から、表示装置６０５の表示フォーマットを表す表示フォーマット情報が供給される。係数選択部６３６は、フォーマット対応関係情報を記憶しており、フォーマット対応関係情報において、表示フォーマット取得部６１３からの表示フォーマット情報が表す表示装置６０５の表示フォーマットに対応付けられている対応信号フォーマットを認識する。そして、係数選択部６３６は、係数メモリ６３４に記憶されている複数の第１／第２変換タップ係数のセットの中から、信号取得部６１１（図２５）から供給されるカメラ信号フォーマット情報が表す信号フォーマットを第１の信号フォーマットとするとともに、対応信号フォーマットを第２の信号フォーマットとする第１／第２変換タップ係数のセットを、有効なタップ係数のセットとして選択するように、係数メモリ６３４を制御する。
次に、図２７のフローチャートを参照して、図２６の信号変換部６１２が行う画像変換処理について説明する。
信号変換部６１２では、ステップＳ６０１において、係数選択部６３６が、記憶しているフォーマット対応関係情報において、表示フォーマット情報取得部６１３（図２５）から供給される表示フォーマット情報が表す表示装置６０５の表示フォーマットに対応付けられている対応信号フォーマットを認識し、信号取得部６１１からのカメラ信号フォーマット情報が表す信号フォーマットを第１の信号フォーマットとするとともに、対応信号フォーマットを第２の信号フォーマットとする第１／第２変換タップ係数のセットを、有効なタップ係数のセットとして選択するように、係数メモリ６３４を制御する。これにより、係数メモリ６３４は、係数選択部６３６の制御にしたがい、複数の第１／第２変換タップ係数のセットから、カメラ信号フォーマット情報が表す信号フォーマットを第１の信号フォーマットとするとともに、対応信号フォーマットを第２の信号フォーマットとする第１／第２変換タップ係数のセットを、有効なタップ係数のセットとして選択し、ステップＳ６０２に進む。
ステップＳ６０２では、タップ抽出部６３１が、信号取得部６１１（図２５）から供給されるSD画像信号を第１の画像信号とするとともに、その第１の画像信号を対応信号フォーマットのSD画像信号に変換した、その対応信号フォーマットのSD画像信号を第２の画像信号として、第２の画像信号としての対応信号フォーマットのSD画像信号を構成する各画素を、順次、注目画素とする。そして、タップ抽出部６３１と６３２は、第１の画像信号としてのSD画像信号から、注目画素についての予測タップとクラスタップとする画素の画素値を、それぞれ抽出する。予測タップは、タップ抽出部６３１から予測部６３５に供給され、クラスタップは、タップ抽出部６３２からクラス分類部６３３に供給される。
クラス分類部６３３は、タップ抽出部６３２から、注目画素についてのクラスタップを受信し、ステップＳ６０３において、そのクラスタップに基づき、注目画素をクラス分類する。さらに、クラス分類部６３３は、そのクラス分類の結果得られる注目画素のクラスを、係数メモリ６３４に出力し、ステップＳ６０４に進む。
ステップＳ６０４では、係数メモリ６３４が、有効なタップ係数のセットのうちの、クラス分類部６３３から供給されるクラスのタップ係数を読み出して出力し、ステップＳ６０５に進む。係数メモリ６３４が出力するタップ係数は、予測部６３５において取得される。
ステップＳ６０５では、予測部６３５が、タップ抽出部６３１が出力した予測タップと、係数メモリ６３４から取得したタップ係数とを用いて、所定の予測演算としての式（１）の演算を行うことにより、注目画素の画素値、即ち、第２の画像信号の画素の画素値を求める。予測部６３５は、以上のようにして、第２の画像信号の画素の画素値を、例えば１フレーム分求めるごとに、その第２の画像信号である対応信号フォーマットのSD画像信号を、表示装置６０５（の画像変換部６２１）（図２５）に出力する。
次に、図２８のフローチャートを参照して、図２５のフォーマット変換部６０４の処理について説明する。
フォーマット変換部６０４では、ステップＳ６１１において、表示フォーマット取得部６１３が、表示装置６０５の表示制御部６２２から表示フォーマット情報を取得（受信）し、信号変換部６１２に供給して、ステップＳ６１２に進む。
ステップＳ６１２では、信号取得部６１１が、送信装置６０２（図２４）から送信されてくる所定の信号フォーマットのSD画像信号を取得（受信）し、そのSD画像信号の信号フォーマットを検出する。さらに、信号取得部６１１は、検出した信号フォーマットを表すカメラ信号フォーマット情報と、その信号フォーマットのSD画像信号とを、信号変換部６１２に供給して、ステップＳ６１２からステップＳ６１３に進む。
ステップＳ６１３では、信号変換部６１２が、例えば、図２７で説明したように、フォーマット対応関係情報に基づき、信号取得部６１１からのカメラ信号フォーマット情報が表す信号フォーマットを第１の信号フォーマットとするとともに、表示フォーマット取得部６１３からの表示フォーマット情報が表す表示フォーマットに対応する対応信号フォーマットを第２の信号フォーマットとする第１／第２変換タップ係数のセットを用いて、信号取得部６１１からの所定の信号フォーマット（カメラ信号フォーマット情報が表す信号フォーマット）のSD画像信号を、対応信号フォーマットのSD画像信号に変換し、表示装置６０５に供給する。
次に、図２９は、図２６の係数メモリ６３４に記憶される複数の信号フォーマットそれぞれについてのタップ係数のセットを求める学習処理を行う学習装置の構成例を示している。
図２９の学習装置は、学習データ記憶部６４１、学習対データ生成部６４２、制御部６４３、タップ抽出部６４４，６４５、クラス分類部６４６、正規方程式生成部６４７、およびタップ係数算出部６４８から構成され、上述した正規方程式を用いる学習方法、つまり、式（８）の正規方程式を、クラスごとにたてて解く学習方法による学習を行うことにより、クラスごとのタップ係数を求める。
学習データ記憶部６４１は、複数の信号フォーマットそれぞれについてのタップ係数の学習に用いられる学習データとして、例えば、SHD画像信号（SHD画像）、HD画像信号、またはSD画像信号を記憶している。
学習対データ生成部６４２は、制御部６４３の制御にしたがい、学習データ記憶部６４１に記憶されている学習データから、生徒信号としての、第１の信号フォーマットのSD画像信号と、そのSD画像信号の信号フォーマットを第２の信号フォーマットとした、教師信号としての、第２の信号フォーマットのSD画像信号とを生成し、その生徒信号としてのSD画像信号と、教師信号としてのSD画像信号とのセットを、学習対データとして、タップ抽出部６４４および６４５、並びに正規方程式生成部６４７に供給する。
ここで、教師信号とは、ある入力信号に対する理想的な出力信号を意味する。また、生徒信号とは、教師信号を得るために与えられる入力信号を意味する。
制御部６４３は、生徒信号としてのSD画像信号の信号フォーマット（第１の信号フォーマット）と、教師信号としてのSD画像信号の信号フォーマット（第２の信号フォーマット）とを表す信号フォーマット指示情報を、学習対データ生成部６４２に供給することにより、学習対データ生成部６４２に対し、教師信号と生徒信号としてのSD画像信号それぞれの信号フォーマットを制御（指示）する。
また、制御部６４３には、学習対データ生成部６４２に供給した信号フォーマット情報が表す第１の信号フォーマットと第２の信号フォーマットそれぞれのSD画像信号のセットを学習対データとして用いて求められる第１／第２変換タップ係数のセットが、タップ係数算出部６４８から供給される。制御部６４３は、学習対データ生成部６４２に供給した信号フォーマット情報に対応付けて、タップ係数算出部６４８からの第１／第２変換タップ係数のセットを記憶する。
タップ抽出部６４４は、学習対データ生成部６４２から供給される学習対データのうちの教師信号としての第２の信号フォーマットのSD画像信号の画素を、順次、注目画素として、その注目画素について、学習対データのうちの生徒信号としての第１の信号フォーマットのSD画像信号から、予測タップとする画素の画素値を抽出し、図２６の信号変換部６１２を構成するタップ抽出部６３１で得られるのと同一のタップ構造の予測タップを、正規方程式生成部６４７に供給する。
タップ抽出部６４５は、注目画素について、学習対データ生成部６４２から供給される第１の信号フォーマットのSD画像信号から、クラスタップとする画素の画素値を抽出し、図２６の信号変換部６１２を構成するタップ抽出部６３２で得られるのと同一のタップ構造のクラスタップを、クラス分類部６４６に供給する。
クラス分類部６４６は、タップ抽出部６４５から供給されるクラスタップに基づき、図２６の信号変換部６１２を構成するクラス分類部６３３と同様にして、注目画素をクラス分類し、その結果得られる注目画素のクラスを、正規方程式生成部６４７に供給する。
正規方程式生成部６４７は、学習対データ生成部６４２から供給される学習対データの教師信号としての第２の信号フォーマットのSD画像信号のうちの、注目画素（の画素値）ｙkと、タップ抽出部６３１から供給される注目画素についての予測タップを構成する画素（の画素値）ｘn,kとを対象とした足し込みを、クラス分類部６４６から供給されるクラスごとに行う。
即ち、正規方程式生成部６４７は、クラス分類部６４６から供給されるクラスごとに、タップ抽出部６４４から供給される注目画素についての予測タップを構成する第１の信号フォーマットのSD画像信号の画素（以下、適宜、第１の画素ともいう）ｘn,kを用い、式（８）の左辺の行列における第１の画素どうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
さらに、正規方程式生成部６４７は、やはり、クラス分類部６４６から供給されるクラスごとに、第１の画素ｘn,kと第２の信号フォーマットのSD画像信号の画素（注目画素）ｙkを用い、式（８）の右辺のベクトルにおける、第１の画素ｘn,kおよび注目画素ｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
即ち、正規方程式生成部６４７は、前回、注目画素とされた第２の信号フォーマットのSD画像信号の画素（以下、適宜、第２の画素ともいう）について求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶している。
そして、正規方程式生成部６４７は、メモリに記憶している行列のコンポーネント（Σｘn,kｘn',k）に対して、新たに注目画素とされた第２の画素についての予測タップを構成する第１の画素ｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1を足し込む（式（８）における左辺の行列内のサメーションで表される加算を行う）とともに、メモリに記憶しているベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた第２の画素について、その第２の画素ｙk+1および第１の画素ｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｙk+1を足し込む（式（８）における右辺のベクトル内のサメーションで表される加算を行う）。
正規方程式生成部６４７は、学習対データ生成部６４２から供給される学習対データの教師信号としての第２の信号フォーマットのSD画像信号の画素すべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を、タップ係数算出部６４８に供給する。
タップ係数算出部６４８は、正規方程式生成部６４７から供給される各クラスについての正規方程式を解くことにより、各クラスについて、最適なタップ係数（式（４）の自乗誤差の総和Ｅを最小にするタップ係数）ｗnのセットを求め、第１／第２変換タップ係数のセットとして、制御部６４３に供給する。
次に、図３０のフローチャートを参照して、図２９の学習装置が行う、第１／第２変換タップ係数のセットを求める学習処理について説明する。
図２９の学習装置では、ステップＳ６２１において、制御部６４３が、あらかじめ決められている複数の信号フォーマットの中から、まだ、注目第１信号フォーマットと注目第２信号フォーマットとの組み合わせとされていない１の信号フォーマットと他の１の信号フォーマットとの組み合わせのうちの１つの組み合わせの１の信号フォーマットを注目第１信号フォーマットに決定するとともに、他の１の信号フォーマットを注目第２信号フォーマットに決定し、その注目第１信号フォーマットと注目第２信号フォーマットとを表す信号フォーマット指示情報を、学習対データ生成部６４２に供給して、ステップＳ６２２に進む。
ステップＳ６２２では、学習対データ生成部６４２が、制御部６４３からの信号フォーマット指示情報にしたがい、学習データ記憶部６４１に記憶されている学習データから、生徒信号としての、信号フォーマット指示情報が表す注目第１信号フォーマットのSD画像信号と、教師信号としての、信号フォーマット情報が表す注目第２信号フォーマットのSD画像信号とを生成し、その生徒信号としてのSD画像信号と、教師信号としてのSD画像信号とのセットを、学習対データとして、タップ抽出部６４４および６４５、並びに正規方程式生成部６４７に供給して、ステップＳ６２３に進む。
ステップＳ６２３では、タップ抽出部６４４が、学習対データ生成部６４２から供給される学習対データのうちの教師信号としての注目第２信号フォーマットのSD画像信号の画素を、順次、注目画素として、その注目画素について、予測タップとなる画素の画素値を、学習対データのうちの生徒信号としての注目第１信号フォーマットのSD画像信号から抽出し、正規方程式生成部６４７に供給する。
また、タップ抽出部６４５が、注目画素について、クラスタップとなる画素の画素値を、学習対データのうちの生徒信号としての注目第１信号フォーマットのSD画像信号から抽出し、クラス分類部６４６に供給する。
クラス分類部６４６は、ステップＳ６２４において、タップ抽出部６４５からのクラスタップに基づき、注目画素をクラス分類し、その結果得られる注目画素のクラスを、正規方程式生成部６４７に供給して、ステップＳ６２５に進む。
ステップＳ６２５では、正規方程式生成部６４７は、学習対データ生成部６４２からの学習対データのうちの、注目画素（の画素値）と、タップ抽出部６４４から供給される注目画素について得られた予測タップを構成する注目第１信号フォーマットのSD画像信号の画素（の画素値）とを対象として、クラス分類部６４６から供給されるクラスについてたてられた式（８）の足し込みを、上述したように行う。
そして、正規方程式生成部６４７は、学習対データ生成部６４２から供給された学習対データの教師信号としての注目第２信号フォーマットのSD画像信号の画素すべてを注目画素として、ステップＳ６２５の足し込みを行うと、その足し込みによって得られた各クラスの正規方程式（クラスごとの式（８）における左辺の行列と、右辺のベクトル）を、タップ係数算出部６４８に供給して、ステップＳ６２５からステップＳ６２６に進む。
ステップＳ６２６では、タップ係数算出部６４８は、正規方程式生成部６４７から供給された各クラスの正規方程式（クラスごとの式（８）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式）を解くことにより、各クラスごとのタップ係数のセットを求め、そのタップ係数のセットを、注目第１信号フォーマットを第１の信号フォーマットとするとともに、注目第２信号フォーマットを第２の信号フォーマットとする第１／第２変換タップ係数のセットとして、制御部６４３に供給する。
制御部６４３は、タップ係数算出部６４８からの第１／第２変換タップ係数のセットを、注目第１信号フォーマットおよび注目第２信号フォーマットと対応付けて記憶し、ステップＳ６２６からステップＳ６２７に進む。
ステップＳ６２７では、制御部６４３が、あらかじめ決められている複数の信号フォーマットの中に、注目第１信号フォーマットと注目第２信号フォーマットとの組み合わせとされていない１の信号フォーマットと他の１の信号フォーマットとの組み合わせがないかどうかを判定する。
ステップＳ６２７において、あらかじめ決められている複数の信号フォーマットの中に、注目第１信号フォーマットと注目第２信号フォーマットとの組み合わせとされていない１の信号フォーマットと他の１の信号フォーマットとの組み合わせがあると判定された場合、ステップＳ６２１に戻り、制御部６４３は、あらかじめ決められている複数の信号フォーマットの中から、まだ、注目第１信号フォーマットと注目第２信号フォーマットとの組み合わせとされていない１の信号フォーマットと他の１の信号フォーマットとの組み合わせのうちの１つの組み合わせの１の信号フォーマットを注目第１信号フォーマットに新たに決定するとともに、他の１の信号フォーマットを注目第２信号フォーマットに新たに決定し、以下、同様の処理を繰り返す。
また、ステップＳ６２７において、あらかじめ決められている複数の信号フォーマットの中に、注目第１信号フォーマットと注目第２信号フォーマットとの組み合わせとされていない１の信号フォーマットと他の１の信号フォーマットとの組み合わせがないと判定された場合、即ち、あらかじめ決められている複数の信号フォーマットから、注目第１信号フォーマットと注目第２信号フォーマットとの組み合わせとして得られるすべての場合について、第１／第２変換タップ係数のセットが求められ、制御部６４３が、各種の第１の信号フォーマットと第２の信号フォーマットの組み合わせに対応付けられた第１／第２変換タップ係数のセットを記憶した場合、学習処理は終了する。
以上の学習処理において制御部６４３に記憶された、各種の第１の信号フォーマットと第２の信号フォーマットの組み合わせに対応付けられた第１／第２変換タップ係数のセットが、図２６の信号変換部６１２を構成する係数メモリ６３４に記憶されている。
そして、その信号変換部６１２を有するフォーマット変換部６０４（図２５）では、信号取得部６１１において、カメラ６０１が出力するSD画像信号を取得するとともに、表示フォーマット取得部６１３において、表示装置６０５の表示フォーマットを取得する。さらに、フォーマット変換部６０４では、信号変換部６１２において、カメラ６０１が出力するSD画像信号の信号フォーマットと、表示装置６０５の表示フォーマットとに基づき、カメラ６０１からのSD画像信号が、フォーマット対応関係情報において表示装置６０５の表示フォーマットに対応付けられた信号フォーマット（対応信号フォーマット）の画像信号に変換される。
後述するように、フォーマット対応関係情報において表示フォーマットに対応付けられた信号フォーマットは、その信号フォーマットのSD画像信号を対象に画像変換処理を行うことによって得られるHD画像信号に対応するHD画像を、その信号フォーマットが対応付けられている表示フォーマットで表示した場合に、ユーザが最も高画質であると感じる信号フォーマットになっている。従って、そのような信号フォーマットのSD画像信号を、画像変換部６２１での画像変換処理によってHD画像信号に変換し、そのHD画像信号に対応するHD画像を、表示制御部６２２によって表示装置６０５の表示フォーマットでディスプレイ６２３に表示することにより、ユーザにとって適切なHD画像（ユーザが高画質であると感じる画像）を表示することができる。
次に、図３１は、図２５の画像変換部６２１の構成例を示している。
なお、図中、図４の画像変換部１１と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、画像変換部６２１は、図４の画像変換部１１と同様に、第１の画像信号を第２の画像信号に変換する画像変換処理を行うようになっており、タップ抽出部４１および４２、クラス分類部４３、並びに予測部４５を備える点で、図４の画像変換部１１と共通する。但し、画像変換部６２１は、係数メモリ４４に代えて、係数メモリ６５１が設けられている点で、図４の画像変換部１１と異なっている。
係数メモリ６５１は、後述する図３４の学習装置が行う学習によってあらかじめ求められたクラスごとのタップ係数のセットを記憶しており、そのタップ係数のセットのうちの、クラス分類部４３から供給される注目画素のクラスのタップ係数を読み出すことにより取得し、予測部４５に出力する。
ここで、表示装置６０５では、上述したように、画像変換部６２１において、フォーマット変換部６０４（の信号変換部６１２）から供給される対応信号フォーマットのSD画像信号がHD画像信号に変換され、表示制御部６２２において、そのHD画像信号に対応するHD画像が、あらかじめ決められた表示装置６０５の表示フォーマット（以下、適宜、既定表示フォーマットという）で、ディスプレイ６２３に表示されるが、係数メモリ６５１に記憶されているタップ係数のセットは、対応信号フォーマットのSD画像信号を、ディスプレイ６２３に既定表示フォーマットで表示されるHD画像が高画質であるとユーザが感じるようなHD画像信号に変換する画像変換処理を行うものとなっている。
次に、図３２のフローチャートを参照して、図３１の画像変換部６２１が行う画像変換処理について説明する。
画像変換部６２１には、フォーマット変換部６０４（の信号変換部６１２）（図２５）から、対応信号フォーマットのSD画像信号が供給され、その対応信号フォーマットのSD画像信号は、タップ抽出部４１および４２に供給される。
タップ抽出部４１は、ステップＳ６３１において、対応信号フォーマットのSD画像信号を第１の画像信号とするとともに、そのSD画像信号を高画質化したHD画像信号を第２の画像信号として、その第２の画像信号としてのHD画像信号を構成する各画素を、順次、注目画素とする。そして、タップ抽出部４１と４２は、第１の画像信号としての対応信号フォーマットのSD画像信号から、注目画素についての予測タップとクラスタップとする画素の画素値を、それぞれ抽出する。予測タップは、タップ抽出部４１から予測部４５に供給され、クラスタップは、タップ抽出部４２からクラス分類部４３に供給される。
クラス分類部４３は、タップ抽出部４２から、注目画素についてのクラスタップを受信し、ステップＳ６３２において、そのクラスタップに基づき、注目画素をクラス分類する。さらに、クラス分類部４３は、そのクラス分類の結果得られる注目画素のクラスを、係数メモリ６５１に出力し、ステップＳ６３３に進む。
ステップＳ６３３では、係数メモリ６５１が、クラス分類部４３から供給される注目画素のクラスのタップ係数を読み出して出力し、ステップＳ６３４に進む。係数メモリ６５１が出力するタップ係数は、予測部４５において取得される。
ステップＳ６３４では、予測部４５が、タップ抽出部４１が出力した予測タップと、係数メモリ６５１から取得したタップ係数とを用いて、所定の予測演算としての式（１）の演算を行うことにより、注目画素の画素値、即ち、第２の画像信号の画素の画素値を求める。予測部４５は、以上のようにして、第２の画像信号としてのHD画像信号の画素の画素値を、例えば１フレーム分求めるごとに、その第２の画像信号であるHD画像信号を、表示制御部６２２（図２５）に出力する。
次に、図３３のフローチャートを参照して、図２５の表示装置６０５の処理について説明する。
表示装置６０５では、フォーマット変換部６０４からの対応信号フォーマットのSD画像信号が、画像変換部６２１に供給される。画像変換部６２１は、ステップＳ６４１において、図３２で説明したように、対応信号フォーマットのSD画像信号をHD画像信号に変換する画像変換処理を行い、その結果得られるHD画像信号は、表示制御部６２２に供給される。
表示制御部６２２は、ステップＳ６４２において、画像変換部６２１からのHD画像信号を、既定表示フォーマットで、ディスプレイ６２３に表示させる。
次に、図３４は、画像変換部６２１（図３１）の係数メモリ６５１に記憶させるタップ係数のセットを求める学習を行う学習装置の構成例を示している。
なお、図中、図９の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図３４の学習装置は、制御部７２に代えて制御部６６１が設けられている他は、図９の学習装置と同様に構成されている。
制御部６６１には、複数の初期信号フォーマットとして、例えば、既存の複数の信号フォーマットが設定されており、制御部６６１は、評価値算出部７１からの評価値に基づき、複数の初期信号フォーマット等の中から、疑似撮影画像生成部６２に生成させる疑似撮影画像信号としてのSD画像信号の信号フォーマットを決定し、その信号フォーマットを表す信号フォーマット情報を、疑似撮影画像生成部６２に供給する。
また、制御部６６１には、複数の初期表示フォーマットとして、例えば、フォーマット変換部６０４（を有する受信装置６０３（図２４））に接続しうる、表示装置６０５を含む表示装置の表示フォーマットの一部またはすべてが設定されており、制御部６６１は、その複数の初期表示フォーマットを、順次、注目表示フォーマットとして、その注目表示フォーマットを表す表示フォーマット情報を、表示制御部６８に供給する。
さらに、制御部６６１は、評価値算出部７１からの評価値に基づき、画像変換部７３が画像変換処理に用いるクラスごとのタップ係数を決定し、そのタップ係数を、係数メモリ６６を制御することにより、係数メモリ６６に記憶させる。
次に、図３５のフローチャートを参照して、図３４の学習装置が行う、タップ係数（のセット）を学習する学習処理について説明する。
ステップＳ６６１において、制御部６６１は、例えば、図１９のステップＳ３１と同様に、複数の初期信号フォーマットの中から、注目信号フォーマットとする初期信号フォーマットAiを決定し、その注目信号フォーマットAiを表す信号フォーマット情報を、疑似撮影画像生成部６２に供給して、ステップＳ６６２に進む。
ステップＳ６６２では、制御部６６１は、例えば、図１９のステップＳ３２と同様に、複数の初期表示フォーマットの中から、注目表示フォーマットとする初期表示フォーマットBjを決定し、その注目表示フォーマットBjを表す表示フォーマット情報を、表示制御部６８に供給して、ステップＳ６６３に進む。
ステップＳ６６３では、学習装置（図３４）において、注目信号フォーマットAiと注目表示フォーマットBjとの組み合わせについて、仮の最適なタップ係数のセット（式（１）の演算で用いられる、各クラスのタップ係数(ｘ1，ｘ2，・・・，ｘN)のセット）Fi,jが決定される。
即ち、ステップＳ６６３では、図２０のフローチャートで説明した場合と同様にして、注目信号フォーマットAiのSD画像信号を第１の画像信号として、画像変換部７３でタップ係数を用いた画像変換処理を行うことにより得られる、画素値としてのR,G,Bの各成分を有する画素からなる第２の画像信号としてのHD画像信号に対応するHD画像を、注目表示フォーマットBjで、ディスプレイ６９に表示した場合に、そのディスプレイ６９に表示されたHD画像としての光を光検出器７０で検出することにより得られる表示画像信号の評価値を最も高くするタップ係数のセットが、注目信号フォーマットAiと注目表示フォーマットBjとの組み合わせについて、仮の最適なタップ係数のセットFi,jとして求められる。
そして、ステップＳ６６３からステップＳ６６４に進み、制御部６６１は、複数の初期表示フォーマットのすべてを、注目表示フォーマットとして、ステップＳ６６３でタップ係数のセットを求めたかどうかを判定する。
ステップＳ６６４において、複数の初期表示フォーマットのすべてが、まだ、注目表示フォーマットとされていないと判定された場合、ステップＳ６６２に戻り、制御部６６１は、注目信号フォーマットAiに対して、複数の初期表示フォーマットのうちの、まだ、注目表示フォーマットとしていない初期表示フォーマットの１つを、注目表示フォーマットに新たに決定し、その注目表示フォーマットを表す表示フォーマット情報を、表示制御部６８に供給して、以下、同様の処理を繰り返す。
また、ステップＳ６６４において、複数の初期表示フォーマットのすべてが、注目表示フォーマットとされたと判定された場合、ステップＳ６６５に進み、制御部６６１は、複数の初期信号フォーマットのすべてを、注目信号フォーマットとして、ステップＳ６６３でタップ係数のセットを求めたかどうかを判定する。
ステップＳ６６５において、複数の初期信号フォーマットのすべてが、まだ、注目信号フォーマットとされていないと判定された場合、ステップＳ６６１に戻り、制御部６６１は、複数の初期信号フォーマットのうちの、まだ、注目信号フォーマットとしていない初期表示フォーマットの１つを、注目信号フォーマットに新たに決定し、その注目信号フォーマットを表す信号フォーマット情報を、疑似撮影画像生成部６２に供給して、以下、同様の処理を繰り返す。
また、ステップＳ６６５において、複数の初期信号フォーマットのすべてが、注目信号フォーマットとされたと判定された場合、即ち、複数の初期信号フォーマットそれぞれと、複数の初期表示フォーマットそれぞれとの組み合わせすべてについて、ステップＳ６６３で最適なタップ係数のセットが求められた場合、ステップＳ６６６に進み、制御部６６１は、初期信号フォーマットおよび初期表示フォーマットと、その初期信号フォーマットおよび初期表示フォーマットの組み合わせについての最適なタップ係数のセットとの組み合わせ（つまりは、初期信号フォーマット、初期表示フォーマット、およびタップ係数のセットの組み合わせ）の中から、各初期表示フォーマットについて、仮の最適な初期信号フォーマットとタップ係数のセットを、仮に決定する（仮決定する）。
即ち、複数の初期信号フォーマットとして、Ｉ通りの信号フォーマットがあり、複数の初期表示フォーマットとして、Ｊ通りの表示フォーマットがある場合には、ステップＳ６６３において、Ｉ×Ｊ通りの初期信号フォーマットと初期表示フォーマットとの組み合わせそれぞれについて、仮の最適なタップ係数のセットが求められ、その結果、Ｉ×Ｊ通りの初期信号フォーマット、初期表示フォーマット、およびタップ係数のセットの組み合わせが得られる。ステップＳ６６６では、そのＩ×Ｊ通りの初期信号フォーマット、初期表示フォーマット、およびタップ係数のセットの組み合わせの中から、Ｊ通りの初期表示フォーマットそれぞれについて、表示画像信号の評価値（ステップＳ６６３で得られる評価値）が最大の初期信号フォーマットとタップ係数のセットとの組み合わせが、仮の最適な初期信号フォーマットとタップ係数のセットとして決定される。
ステップＳ６６６において、各初期表示フォーマットについて、仮の最適な信号フォーマットとタップ係数のセットが決定された後は、ステップＳ６６７に進み、制御部６６１は、再度、複数の初期表示フォーマットのうちの、まだ、注目表示フォーマットとしていない初期表示フォーマットの１つを、注目表示フォーマットに決定して、ステップＳ６６８に進む。
ステップＳ６６８では、注目表示フォーマットと、その注目表示フォーマットについての現在の仮の最適なタップ係数のセットとの組み合わせについて、最適な信号フォーマットを仮決定する最適信号フォーマット決定処理が行われ、ステップＳ６６９に進む。
ステップＳ６６９では、注目表示フォーマットと、その注目表示フォーマットについての現在の仮の最適な信号フォーマットとの組み合わせについて、最適なタップ係数のセットを仮決定する最適タップ係数セット決定処理が行われ、ステップＳ６７０に進む。
ステップＳ６７０では、制御部６６１が、注目表示フォーマットについて、直前のステップＳ６６８で求められた現在の仮の最適な信号フォーマットと、直前のステップＳ６６９で求められた現在の仮の最適なタップ係数のセットとが、最適化されたものであるかどうかを判定する。
即ち、直前のステップＳ６６９の最適タップ係数セット決定処理では、注目表示フォーマットと、その注目表示フォーマットについての現在の仮の最適な信号フォーマットとの組み合わせについて、後述するようにして評価値算出部７１が算出する評価値を最大にするタップ係数のセットが、最適なタップ係数のセットとして仮決定されるが、ステップＳ６７０では、例えば、その最適なタップ係数のセットについての評価値が、あらかじめ定められた最適化の判定用の閾値以上である（より大きい）かどうかによって、注目表示フォーマットについて、現在の仮の最適な信号フォーマットとタップ係数のセットとが、最適化されたものであるかどうかを判定する。
ステップＳ６７０において、注目表示フォーマットについての、現在の仮の最適な信号フォーマットとタップ係数のセットとが、最適化されたものでないと判定された場合、即ち、直前のステップＳ６６９で求められた最適なタップ係数のセットについての評価値が、最適化の判定用の閾値以上でない場合、ステップＳ６６８に戻り、同様の処理が繰り返される。
また、ステップＳ６７０において、注目表示フォーマットについての、現在の仮の最適な信号フォーマットとタップ係数のセットとが、最適化されたものであると判定された場合、即ち、直前のステップＳ６６９で求められた最適なタップ係数のセットについての評価値が、最適化の判定用の閾値以上であり、注目表示フォーマットについての最適な信号フォーマットとタップ係数のセットが求められた場合、制御部６６１は、注目表示フォーマット（を表す表示フォーマット情報）と、その注目表示フォーマットについて求められた最適な信号フォーマット（を表す信号フォーマット情報）とを対応付けたフォーマット対応関係情報を生成して記憶するとともに、注目表示フォーマットと、その注目表示フォーマットについて求められた最適なタップ係数のセットとを対応付けて記憶して、ステップＳ６７１に進む。
ステップＳ６７１では、制御部６６１は、複数の初期表示フォーマットのすべてを、注目表示フォーマットとして、複数の初期表示フォーマットそれぞれについて、最適化された信号フォーマットとタップ係数のセットとが求められたかどうかを判定する。
ステップＳ６７１において、複数の初期表示フォーマットのすべてが、まだ、注目表示フォーマットとされていないと判定された場合、ステップＳ６６７に戻り、制御部６６１は、複数の初期表示フォーマットのうちの、まだ、注目表示フォーマットとしていない初期表示フォーマットの１つを、注目表示フォーマットに新たに決定し、以下、同様の処理を繰り返す。
また、ステップＳ６７１において、複数の初期表示フォーマットのすべてが、注目表示フォーマットとされたと判定された場合、即ち、複数の初期表示フォーマットそれぞれについての最適な信号フォーマットとタップ係数のセットが求められた場合、学習処理は終了する。
図３１の画像変換部６２１を構成する係数メモリ６５１には、図３５の学習処理で求められた複数の初期表示フォーマットそれぞれについての最適なタップ係数のセットのうちの、その画像変換部６２１を内蔵する表示装置６０５（図２５）の表示フォーマットについての最適なタップ係数のセットが記憶される。
また、図２６の信号変換部６１２を構成する係数選択部６３６には、複数の初期表示フォーマットそれぞれと、各初期表示フォーマットについて図３５の学習処理で求められる、その初期表示フォーマットに最適な信号フォーマットとを対応付けたフォーマット対応関係情報が記憶され、係数選択部６３６は、上述したように、フォーマット対応関係情報において、表示フォーマット取得部６１３（図２５）からの表示フォーマット情報が表す表示装置６０５の表示フォーマットに対応付けられている信号フォーマット（対応信号フォーマット）を認識し、信号取得部６１１から供給されるカメラ信号フォーマット情報が表す信号フォーマットを第１の信号フォーマットとするとともに、対応信号フォーマットを第２の信号フォーマットとする第１／第２変換タップ係数のセットを、有効なタップ係数のセットとして選択するように、係数メモリ６３４を制御する。
そして、信号変換部６１２を内蔵する図２５のフォーマット変換部６０４では、表示装置６０５の表示フォーマットで表示したときにユーザが最も高画質であると感じるHD画像信号が得られる画像変換処理の対象となるSD画像信号の信号フォーマットを対応信号フォーマットとして、カメラ６０１からのSD画像信号が、対応信号フォーマットのSD画像信号に変換される。さらに、表示装置６０５（図２５）では、画像変換部６２１において、対応信号フォーマットのSD画像信号を対象に画像変換処理が行われ、表示制御部６２２において、その画像変換処理によって得られるHD画像が、表示装置６０５の表示フォーマットで表示される。
従って、対応信号フォーマットのSD画像信号のS/N等はともかく、フォーマット変換部６０４と表示装置６０５とを組み合わせたシステム全体としては、ユーザが高画質であると感じる画像を、ディスプレイ６２３に表示することができる。
なお、図２６の信号変換部６１２を構成する係数メモリ６３４に記憶させる第１／第２変換タップ係数のセットを学習する図２９の学習装置では、上述したように、図３０の学習処理によって、各種の第１の信号フォーマットと第２の信号フォーマットの組み合わせについての第１／第２変換タップ係数のセットが求められるが、各種の第２の信号フォーマットには、図３５の学習処理で求められるフォーマット対応関係情報において複数の初期表示フォーマットそれぞれに対応付けられる複数の信号フォーマットが含まれている必要がある。
また、図３５の学習処理では、最適タップ係数セット決定処理において求められたタップ係数のセットについての評価値が、最適化の判定用の閾値以上である場合に、注目表示フォーマットについて、信号フォーマットおよびタップ係数のセットの組み合わせが最適化されたと判定するようにしたが、その他、例えば、最適信号フォーマット決定処理および最適タップ係数セット決定処理が、所定の回数だけ繰り返された場合に、信号フォーマットおよびタップ係数のセットの組み合わせがが最適化されたと判定するようにすることが可能である。
次に、図３６のフローチャートを参照して、図３５のステップＳ６６８の最適信号フォーマット決定処理について詳述する。
ステップＳ６８１において、制御部６６１（図３４）は、現在の仮の（仮決定された）最適な信号フォーマットを基準として、例えば、図２１のステップＳ７１の場合と同様にして、最適な信号フォーマットの複数の候補を決定して、ステップＳ６８２に進む。
ステップＳ６８２では、制御部６６１は、最適な信号フォーマットの複数の候補のうちの、まだ、注目信号フォーマットとしていないものの１つを、注目信号フォーマットに決定し、その注目信号フォーマットを表す信号フォーマット情報を、疑似撮影画像生成部６２に供給して、ステップＳ６８３に進む。
ステップＳ６８３では、疑似撮影画像生成部６２は、学習データ記憶部６１に記憶されているSHD画像信号の画素数を間引くこと等によって、制御部６６１からの信号フォーマット情報が表す注目信号フォーマットのSD画像信号を生成し、画像変換部７３に供給して、ステップＳ６８４に進む。
ステップＳ６８４では、制御部６６１が、注目表示フォーマットについての現在の仮の最適なタップ係数のセットを、係数メモリ６６に記憶させる。さらに、ステップＳ６８４では、画像変換部７３が、図２０のステップＳ５３と同様に、疑似撮影画像生成部６２から供給される注目信号フォーマットのSD画像信号を第１の画像信号として、その第１の画像信号を、係数メモリ６６に記憶されている、現在の仮の最適なタップ係数のセットとの演算によって、第２の画像信号としてのHD画像信号に変換する画像変換処理を行い、その結果得られるHD画像信号を、表示制御部６８に供給する。
ステップＳ６８４の処理後は、ステップＳ６８５に進み、制御部６６１は、注目表示フォーマットを表す表示フォーマット情報を、表示制御部６８に供給する。これにより、表示制御部６８は、制御部６６１からの表示フォーマット情報が表す注目表示フォーマットで、画像変換部７３が出力するHD画像信号に対応するHD画像を、ディスプレイ６９に表示させ、ステップＳ６８５からステップＳ６８６に進む。
ステップＳ６８６では、光検出器７０が、ディスプレイ６９に表示されたHD画像（表示画像）としての光を検出し（光電変換し）、その光に対応する電気信号である、HD画像信号に相当する表示画像信号を、評価値算出部７１に出力して、ステップＳ６８７に進む。
ステップＳ６８７では、評価値算出部７１が、光検出器７０からの表示画像信号、ひいては、ディスプレイ６９に表示されたHD画像を評価する。
即ち、評価値算出部７１は、光検出器７０からの表示画像信号に対応するSHD画像信号を、学習データ記憶部６１から読み出し、表示画像信号と、対応するSHD画像信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ６９に表示されたHD画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部６６１に供給する。
ここで、ステップＳ６８３乃至Ｓ６８７の処理は、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して行われる。そして、制御部６６１は、注目信号フォーマットにつき、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して得られた評価値の、例えば総和を求め、その総和を、注目信号フォーマットについての最終的な評価値として、一時記憶する。
その後、ステップＳ６８７からステップＳ６８８に進み、制御部６６１は、最適な信号フォーマットの複数の候補のすべてについて、評価値を算出したかどうかを判定する。
ステップＳ６８８において、最適な信号フォーマットの複数の候補のすべてについて、まだ、評価値を算出していないと判定された場合、ステップＳ６８２に戻り、制御部６６１は、最適な信号フォーマットの複数の候補のうちの、まだ注目信号フォーマットとしていないものの１つを、注目信号フォーマットに新たに決定し、以下、同様の処理が繰り返される。
また、ステップＳ６８８において、最適な信号フォーマットの複数の候補のすべてについて、評価値を算出したと判定された場合、ステップＳ６８９に進み、制御部６６１は、最適な信号フォーマットの複数の候補のうちの、評価値が最も高い候補を、注目表示フォーマット（と、その注目表示フォーマットに対しての現在の仮の最適なタップ係数のセットとの組み合わせ）に対する最適な信号フォーマットに、新たに仮決定してリターンする。
次に、図３７のフローチャートを参照して、図３５のステップＳ６６９の最適タップ係数セット決定処理について詳述する。
ステップＳ６９１において、制御部６６１は、現在の仮の（仮決定された）最適なタップ係数のセットを基準として、例えば、図２３のステップＳ１１１の場合と同様にして、最適なタップ係数のセットの複数の候補を決定する。
ステップＳ６９１の処理後はステップＳ６９２に進み、制御部６６１は、注目表示フォーマットに対して現在の仮の最適な信号フォーマットを表す信号フォーマット情報を、疑似撮影画像生成部６２に供給する。これにより、疑似撮影画像生成部６２は、学習データ記憶部６１に記憶されているSHD画像信号の画素数を間引くこと等によって、制御部６６１からの信号フォーマット情報が表す信号フォーマットのSD画像信号を生成し、画像変換部７３に供給して、ステップＳ６９３に進む。
ステップＳ６９３では、制御部６６１は、最適なタップ係数のセットの複数の候補のうちの、まだ、注目タップ係数セットとしていないものの１つを、注目タップ係数セットに決定し、その注目タップ係数セットを、係数メモリ６６を制御することにより記憶させ、ステップＳ６９４に進む。
ステップＳ６９４では、画像変換部７３が、図２０のステップＳ５３と同様に、疑似撮影画像生成部６２から供給されるSD画像信号を第１の画像信号として、その第１の画像信号を、係数メモリ６６に記憶されている注目タップ係数セットとの演算によって、第２の画像信号としてのHD画像信号に変換する画像変換処理を行い、その結果得られるHD画像信号を、表示制御部６８に供給する。
ステップＳ６９４の処理後は、ステップＳ６９５に進み、制御部６６１は、注目表示フォーマットを表す表示フォーマット情報を、表示制御部６８に供給する。これにより、表示制御部６８は、制御部６６１からの表示フォーマット情報が表す注目表示フォーマットで、画像変換部７３が出力するHD画像信号に対応するHD画像を、ディスプレイ６９に表示させ、ステップＳ６９６に進む。
ステップＳ６９６では、光検出器７０が、ディスプレイ６９に表示されたHD画像（表示画像）としての光を検出し（光電変換し）、その光に対応する電気信号である、HD画像信号に相当する表示画像信号を、評価値算出部７１に出力して、ステップＳ６９７に進む。
ステップＳ６９７では、評価値算出部７１が、光検出器７０からの表示画像信号、ひいては、ディスプレイ６９に表示されたHD画像を評価する。
即ち、評価値算出部７１は、光検出器７０からの表示画像信号に対応するSHD画像信号を、学習データ記憶部６１から読み出し、表示画像信号と、対応するSHD画像信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ６９に表示されたHD画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部６６１に供給する。
ここで、ステップＳ６９２、およびステップＳ６９４乃至Ｓ６９７の処理は、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して行われる。そして、制御部６６１は、注目タップ係数セットにつき、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して得られた評価値の、例えば総和を求め、その総和を、注目タップ係数セットについての最終的な評価値として、一時記憶する。
その後、ステップＳ６９７からステップＳ６９８に進み、制御部６６１は、最適なタップ係数のセットの複数の候補のすべてについて、評価値を算出したかどうかを判定する。
ステップＳ６９８において、最適なタップ係数のセットの複数の候補のすべてについて、まだ、評価値を算出していないと判定された場合、ステップＳ６９３に戻り、制御部６６１は、最適なタップ係数のセットの複数の候補のうちの、まだ注目タップ係数セットとしていないものの１つを、注目タップ係数セットに新たに決定し、以下、同様の処理が繰り返される。
また、ステップＳ６９８において、最適なタップ係数のセットの複数の候補のすべてについて、評価値を算出したと判定された場合、ステップＳ６９９に進み、制御部６６１は、最適なタップ係数のセットの複数の候補のうちの、評価値が最も高い候補を、注目表示フォーマット（と、その注目表示フォーマットに対しての現在の仮の最適な信号フォーマットとの組み合わせ）に対する最適なタップ係数のセットに、新たに仮決定してリターンする。
以上のように、図３４の学習装置では、図３５で説明したように、各種の表示フォーマット（複数の初期表示フォーマット）それぞれについて、最適信号フォーマット決定処理および最適タップ係数セット決定処理を、評価値（ここでは、直前の最適タップ係数セット決定処理で得られる評価値）が最適化の判定用の閾値以上となるまで繰り返すことにより、表示されるHD画像である表示画像をより高画質化する画像変換処理を行うのに用いられるタップ係数（のセット）、そのタップ係数を用いて行われる画像変換処理の対象となるSD画像信号の信号フォーマットを求める。
従って、図３４の学習装置によれば、各種の表示フォーマットそれぞれで表示される表示画像がより高画質であるとユーザが感じるタップ係数および信号フォーマットを求めることができる。
なお、図３６の最適信号フォーマット決定処理において、現在の仮の最適な信号フォーマットを基準として、最適な信号フォーマットの複数の候補を決定するにあたり、現在の仮の最適な信号フォーマットの変形のさせ方としては、図３５のステップＳ６６８およびＳ６６９の繰り返し回数が小のときに、いわば大きく変形し、その繰り返し回数が増えるに連れ、徐々に微小な変形にする方法を採用することができる。タップ係数のセットについても同様である。
また、最適な信号フォーマットの候補について求められる評価値が、それほど大きくない値で、ほとんど増加しなくなった場合には、現在の仮の最適な信号フォーマットを、大きく変形して、最適な信号フォーマットの複数の候補を決定することができる。この場合、いわゆるローカルミニマムの問題を解消することができる。タップ係数のセットについても同様である。
次に、図３８は、画像を処理する画像処理システムの第３の構成例を示している。
なお、図中、図２４の画像処理システムと対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図３８の画像処理システムは、カメラ６７１および表示装置６０５から構成されている。
カメラ６７１は、フォーマット変換部６０４を内蔵しており、そのフォーマット変換部６０４には、表示装置６０５から、その表示フォーマットを表す表示フォーマット情報が供給される。
カメラ６７１は、物体（被写体）を撮影し、その撮影によって得られる所定の信号フォーマットの撮影画像信号であるSD画像信号を得る。さらに、カメラ６７１では、その内蔵するフォーマット変換部６０４が、所定の信号フォーマットのSD画像信号を、表示装置６０５からの表示フォーマット情報が表す表示フォーマットに対応する対応信号フォーマットのSD画像信号に変換して出力する。
カメラ６７１が出力する対応信号フォーマットのSD画像信号は、表示装置６０５に供給される。表示装置６０５では、カメラ６７１が出力する対応信号フォーマットのSD画像信号を対象に画像変換処理が行われ、その結果得られるHD画像信号に対応するHD画像が、表示装置６０５の表示フォーマットで表示される。
従って、図３８の画像処理システムでは、カメラ６７１が出力する対応信号フォーマットのSD画像信号のS/N等はともかく、カメラ６７１と表示装置６０５からなる画像処理システムシステム全体としては、ユーザが高画質であると感じる画像を、表示装置６０５で表示することができる。
次に、図３９は、画像を処理する画像処理システムの第４の構成例を示している。
図３９において、画像処理システムは、カメラ（ビデオカメラ）７０１と表示装置７０２とで構成されている。
カメラ７０１は、物体（被写体）を撮影し、その撮影によって得られる画像信号である撮影画像信号としての、例えばSD画像信号を出力する。表示装置７０２は、カメラ７０１が出力する撮影画像信号を受信して、その撮影画像信号に画像処理を施し、その画像処理によって得られる画像信号（以下、適宜、画像処理後画像信号という）に対応する画像を表示する。
なお、カメラ７０１は、例えば、単板式のカメラであり、ある信号フォーマットの撮影画像信号を出力するようになっている。
図４０は、図３９の表示装置７０２の構成例を示している。
表示装置７０２は、画像処理部７１１、表示制御部７１４、ディスプレイ７１５、信号フォーマット取得部７１６、表示フォーマット取得部７１７、操作部７１８、および制御部７１９で構成される。
画像処理部７１１には、カメラ７０１が出力する撮影画像信号（ここでは、例えばSD画像信号）が供給される。画像処理部７１１は、例えば、前処理部７１２と画像変換部７１３から構成され、カメラ７０１からの撮影画像信号に対して、制御部７１９の制御にしたがった画像処理を施し、その結果得られる画像処理後画像信号を、表示制御部７１４に供給する。
即ち、画像処理部７１１においては、前処理部７１２に、カメラ７０１からSD画像信号が供給される。前処理部７１２は、カメラ７０１からの撮影画像信号に対し、制御部７１９からの制御にしたがって、後段の画像変換処理部７１３での画像変換処理に適した信号を得るための前処理を施し、その前処理の結果得られる画像信号（以下、適宜、前処理後撮影画像信号ともいう）を、画像変換部７１３に供給する。
画像変換部７１３は、前処理部７１２からの前処理後撮影画像信号を、第１の画像信号とするとともに、画像変換処理によって得ようとする画像信号を、第２の画像信号として、制御部７１９の制御にしたがい、あらかじめ行われた学習によって得られたタップ係数との演算によって、第１の画像信号としての前処理後撮影画像信号を、第２の画像信号に変換し、画像処理後画像信号として、表示制御部７１４に供給する。
表示制御部７１４は、ある表示フォーマットで、画像変換部７１３から供給される画像処理後画像信号に対応する画像を、ディスプレイ７１５に表示させる表示制御を行う。
ディスプレイ７１５は、例えば、CRTやLCDパネル等で構成される表示手段であり、表示制御部７１４の制御にしたがって、画像を表示する。
信号フォーマット取得部７１６には、カメラ７０１が出力する撮影画像信号が供給される。信号フォーマット取得部７１６は、カメラ７０１からの撮影画像信号の信号フォーマットを検出する等して取得し、その信号フォーマットを表す信号フォーマット情報を、制御部７１９に供給する。
表示フォーマット取得部７１７は、表示制御部７１４がディスプレイ７１５に画像を表示する表示フォーマットを表す表示フォーマット情報を、表示制御部７１４から取得し、制御部７１９に供給する。
操作部７１８は、ユーザによって操作され、ユーザの操作に対応した指示を表す指示信号を、制御部７１９に供給する。ここで、指示信号には、例えば、ノイズ除去や、画像の拡大、SD画像のHD画像への変換などの、カメラ７０１からの撮影画像信号に対して施す画像処理（の内容）を指示する信号がある。
制御部７１９は、操作部７１８から供給される指示信号にしたがい、撮影画像信号に対して施す画像処理を決定し、その画像処理と、信号フォーマット取得部７１６からの信号フォーマット情報および表示フォーマット取得部７１７からの表示フォーマット情報に応じて、画像処理部７１１の前処理部７１２と画像変換部７１３を制御する。
次に、図４１は、図４０の前処理部７１２の構成例を示している。
前処理部７１２は、例えば、前処理タップ抽出部７３１、前処理演算部７３２、および係数メモリ７３３から構成されている。
前処理タップ抽出部７３１は、カメラ７０１（図４０）からの撮影画像信号に前処理を施して得ようとする前処理後撮影画像信号を構成する画素を、順次、注目画素とし、さらに、その注目画素の画素値を求めるのに用いる複数の画素の画素値である前処理タップを、カメラ７０１からの撮影画像信号から抽出する。そして、前処理タップ抽出部７３１は、注目画素に対して得た前処理タップを、前処理演算部７３２に供給する。
なお、前処理タップ抽出部７３１は、制御部７１９（図４０）からの制御に応じて、その制御にしたがったタップ構造の前処理タップを得る。
前処理演算部７３２は、係数メモリ７３３に記憶されている、HD画像よりも高画質のSHD画像を用いて行われた学習によって決定された前処理係数（セット）によって定義される所定の前処理用の関数の演算を、前処理タップ抽出部７３１から供給される前処理タップとしての画素値を引数として行い、その前処理用の関数の演算結果を、前処理後撮影画像信号の注目画素の画素値として出力する。
係数メモリ７３３は、HD画像よりも高画質のSHD画像を用いて行われた学習によってあらかじめ求められている、前処理用の関数を定義する前処理係数セットを、複数セット記憶している。そして、係数メモリ７３３は、その複数セットの前処理係数セットの中から、制御部７１９（図４０）からの制御に応じた前処理係数セットを、有効な前処理係数セットとして選択し、前処理演算部７３２に供給する。
ここで、上述した前処理演算部７３２では、係数メモリ７３３からの有効な前処理係数セットによって定義される前処理用の関数の演算が行われる。
なお、前処理用の関数f()として、例えば、線形一次式を採用することとすると、前処理用の関数f(x1,x2,・・・,xM）は、式f(x1,x2,・・・,xM）=p1x1+p2x2+・・・+pMxMで表される。但し、x1,x2,・・・,xMは、注目画素についての前処理タップとしての複数の画素（M個の画素）の画素値を表し、p1,p2,・・・,pMは、係数メモリ７３３に記憶されている、前処理用の関数f()を定義する係数のセットを表す。
次に、図４２は、図４０の画像変換部７１３の構成例を示している。
なお、図中、図４の画像変換部１１と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図４２の画像変換部７１３は、タップ抽出部４１，４２、クラス分類部４３、および予測部４５が設けられている点で、図４の画像変換部１１と共通するが、係数メモリ４４に代えて、係数メモリ７４１が設けられている点で、図４の画像変換部１１と相違している。
係数メモリ７４１は、画像変換処理に用いられるタップ係数のセットを、複数セット記憶している。ここで、係数メモリ７４１に記憶されている複数のタップ係数のセットは、HD画像よりも高画質のSHD画像を用いて行われた学習によってあらかじめ求められる。
画像変換部７１３では、複数セットのタップ係数のセットのうちの、制御部７１９（図４０）からの制御に応じたタップ係数のセットが、有効なタップ係数のセットとされ、その有効なタップ係数のセット（有効タップ係数のセット）を用いて画像変換処理が行われる。
即ち、画像変換部７１３では、前処理部７１２（図４０）からの前処理後撮影画像信号を、第１の画像信号とするとともに、画像処理後画像信号を、第２の画像信号として、タップ抽出部４１が、第２の画像信号としての画像処理後画像信号の画素を、順次、注目画素とし、その注目画素について、第１の画像信号としての前処理後撮影画像信号から、予測タップとする画素の画素値を抽出して、予測部４５に供給する。さらに、タップ抽出部４２が、注目画素について、第１の画像信号としての前処理後撮影画像信号から、クラスタップとする画素の画素値を抽出し、クラス分類部４３に供給する。
クラス分類部４３は、タップ抽出部４２からのクラスタップに基づき、注目画素のクラスを求めるクラス分類を行い、その結果得られる注目画素のクラス（を表すクラスコード）を、係数メモリ７４１に供給する。係数メモリ７４１は、有効タップ係数のセットのうちの、クラス分類部４３からのクラスのタップ係数（のセット）を読み出して、予測部４５に出力する。
予測部４５は、タップ抽出部４１からの予測タップと、係数メモリ７４１からのタップ係数とを用いて、例えば、上述した式（１）の演算を行い、これにより、第２の画像信号としての画像処理後画像信号の注目画素の画素値を求める（予測する）。
次に、図４３のフローチャートを参照して、図４０の表示装置７０２の動作について説明する。
表示装置７０２には、カメラ７０１からの撮影画像信号が供給される。表示装置７０２では、カメラ７０１からの撮影画像信号が受信され、画像処理部７１１の前処理部７１２と、信号フォーマット取得部７１６に供給される。
そして、ステップＳ７０１において、制御部７１９は、操作部７１８から供給される指示信号に応じて、カメラ７０１からの撮影画像信号に施す画像処理を決定する。即ち、制御部７１９が撮影画像信号に施す画像処理として決定する画像処理を、決定処理ということとすると、制御部７１９は、例えば、ユーザが操作部７１８を操作することにより、操作部７１８から指示信号が供給された場合、その指示信号が指示する画像処理を決定処理に決定する。また、制御部７１９は、操作部７１８から指示信号が供給されていない場合、直前に、操作部７１８から供給された指示信号が指示する画像処理、または、あらかじめ決められたデフォルトの画像処理を、決定処理に決定する。
一方、信号フォーマット取得部７１６は、ステップＳ７０２において、カメラ７０１からの撮影画像信号の信号フォーマットを取得し、その信号フォーマットを表す信号フォーマット情報を、制御部７１９に供給する。また、表示フォーマット取得部７１７は、ステップＳ７０３において、表示装置７０２の表示フォーマット（表示制御部７１４がディスプレイ７１５に画像を表示する表示フォーマット）を表す表示フォーマット情報を、表示制御部７１４から取得し、制御部７１９に供給する。
そして、制御部７１９は、ステップＳ７０１で決定した決定処理、ステップＳ７０２で信号フォーマット取得部７１６から供給された信号フォーマット情報、およびステップＳ７０３で表示フォーマット取得部７１７から供給された表示フォーマット情報に応じて、画像処理部７１１を制御する。画像処理部７１１では、制御部７１９の制御にしたがい、決定処理、信号フォーマット情報、および表示フォーマット情報に応じて異なる処理が行われることにより、決定処理としての画像処理が行われる。
即ち、ステップＳ７０４では、前処理部７１２が、ステップＳ７０４1において、カメラ７０１からの撮影画像信号に対し、制御部７１９からの制御にしたがった前処理を施し、その前処理の結果得られる前処理後撮影画像信号を、画像変換部７１３に供給する。
画像変換部７１３は、ステップＳ７０４2において、前処理部７１２からの前処理後撮影画像信号を、第１の画像信号とするとともに、画像処理後画像信号を、第２の画像信号として、制御部７１９の制御にしたがった画像変換処理を行う。
ここで、以上のように、制御部７１９は、決定処理、信号フォーマット情報、および表示フォーマット情報に応じて、画像処理部７１１を制御する。画像処理部７１１を構成する前処理部７１２と画像変換部７１３のそれぞれは、制御部７１９からの制御、即ち、決定処理、信号フォーマット情報、および表示フォーマット情報に応じて異なる処理を行い、これにより、画像処理部７１１全体としては、決定処理が行われる。
画像変換部７１３において画像変換処理が行われることにより得られる画像処理後画像信号は、表示制御部７１４に供給される。
表示制御部７１４は、ステップＳ７０５において、あらかじめ決められたある表示フォーマットで、画像変換部７１３から供給される画像処理後画像信号に対応する画像を、ディスプレイ７１５に表示させる。
次に、表示装置７０２（図４０）の前処理部７１２（図４１）における前処理タップ抽出部７３１が抽出する前処理タップのタップ構造と、係数メモリ７３３に記憶される前処理係数セット、および画像変換部７１３（図４２）の係数メモリ７４１に記憶されるタップ係数のセットの３つ（のパラメータ）は、例えば、HD画像よりも高画質のSHD画像を用いて学習を行うことにより決定される。
図４４は、前処理タップのタップ構造、前処理係数セット、およびタップ係数のセットを求める学習を行う学習装置の構成例を示している。
なお、図中、図９と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図４４の学習装置は、疑似撮影画像生成部６２と制御部７２にそれぞれ代えて、学習対データ生成部７５１と制御部７５２が設けられているとともに、画像変換部７３に代えて、学習部２５５が設けられている他は、図９の学習装置と同様に構成されている。
学習部２５５は、前処理部２６１および画像変換部２６２からなる。
前処理部２６１は、図４０の前処理部７１２（図４１）と同様に構成され、制御部７５２の制御にしたがい、学習対データ生成部７５１から後述するように供給される学習対データのうちの生徒信号としての疑似撮影画像信号に前処理を施し、その結果得られる前処理後撮影画像信号を、画像変換部２６２に供給する。
画像変換部２６２は、図４０の画像変換部７１３（図４２）と同様に構成され、制御部７５２の制御にしたがい、前処理部２６１から供給される前処理後撮影画像信号を第１の画像信号とするとともに、その前処理後撮影画像信号に画像処理を施して得られる画像処理後画像信号を、第２の画像信号として、前処理後撮影画像信号を、画像処理後画像信号に変換する画像変換処理を行う。さらに、画像変換部２６２は、画像変換処理によって得られる画像処理後画像信号を、表示制御部６８に供給する。
学習対データ生成部７５１には、制御部７５２から、信号フォーマットを表す信号フォーマット情報と、図４０の操作部７１８が出力する指示信号によって指示することができる画像処理を表す処理情報が供給される。
学習対データ生成部７５１は、学習データ記憶部６１に記憶されている学習データから、制御部７５２からの信号フォーマット情報が表す信号フォーマットの画像信号を、生徒信号として生成する。さらに、学習対データ生成部７５１は、学習データ記憶部６１に記憶されている学習データから、制御部７５２からの処理情報が表す画像処理を生徒信号に施すことにより得られる、いわば理想的な画像信号（画像処理後画像信号として理想的な画像信号）を、教師信号として生成する。そして、学習対データ生成部７５１は、生徒信号としての画像信号と、その生徒信号に対応する教師信号としての画像信号（処理情報が表す画像処理を生徒信号に施すことにより得られる教師信号）とのセットを、学習対データとして、評価値算出部７１および学習部２５５に供給する。
制御部７５２には、評価値算出部７１から評価値が供給される。制御部７５２は、評価値算出部７１からの評価値に基づき、学習部２５５を構成する前処理部２６１および画像変換部２６２を制御する。具体的には、制御部７５２は、前処理部２６１での前処理に用いられる前処理タップのタップ構造および前処理係数セットの制御（設定）と、画像変換部２６２での画像変換処理に用いられるタップ係数のセットの制御とを行う。
また、制御部７５２は、表示制御部６８が、学習部２５５の画像変換部２６２から供給される画像処理後画像信号に対応する画像をディスプレイ６９に表示する表示フォーマットを決定し、その表示フォーマットを表す表示フォーマット情報を、表示制御部６８に供給する。さらに、制御部７５２は、信号フォーマット情報と処理情報を、学習対データ生成部７５１に供給する。
次に、図４５のフローチャートを参照して、図４４の学習装置が行う、前処理タップのタップ構造、前処理係数セット、およびタップ係数のセットを学習する学習処理について説明する。
まず最初に、ステップＳ７２１において、制御部７５２は、複数の信号フォーマットの中から、まだ、注目信号フォーマットとしていない信号フォーマットの１つを、注目信号フォーマットAiに決定し、その注目信号フォーマットAiを表す信号フォーマット情報を、学習対データ生成部７５１に供給して、ステップＳ７２２に進む。
ここで、図４４の学習装置には、学習処理に用いる複数の信号フォーマットがあらかじめ設定されており、制御部７５２は、そのあらかじめ設定されている複数の信号フォーマットの中から、注目信号フォーマットAiを決定する。なお、あらかじめ設定されている複数の信号フォーマットは、例えば、既存の信号フォーマットであっても良いし、既存の信号フォーマットを変形した新たな信号フォーマットであっても良い。
ステップＳ７２２では、制御部７５２は、複数の表示フォーマットの中から、まだ、注目表示フォーマットとしていない表示フォーマットの１つを、注目表示フォーマットBjに決定し、その注目表示フォーマットBjを表す表示フォーマット情報を、表示制御部６８に供給して、ステップＳ７２３に進む。
ここで、図４４の学習装置には、学習処理に用いる複数の表示フォーマットがあらかじめ設定されており、制御部７５２は、そのあらかじめ設定されている複数の表示フォーマットの中から、注目表示フォーマットBjを決定する。なお、あらかじめ設定されている複数の表示フォーマットは、例えば、既存の表示フォーマットであっても良いし、既存の表示フォーマットを変形した新たな表示フォーマットであっても良い。
ステップＳ７２３では、制御部７５２は、複数の画像処理（の内容）の中から、まだ、注目処理としていない画像処理の１つを、注目処理Ckに決定し、その注目処理Ckを表す処理情報を、学習対データ生成部７５１に供給して、ステップＳ７２４に進む。
ここで、図４４の学習装置には、学習処理に用いる複数の画像処理（の内容）があらかじめ設定されており、制御部７５２は、そのあらかじめ設定されている複数の画像処理の中から、注目処理Ckを決定する。なお、あらかじめ設定されている複数の画像処理は、図４０の操作部７１８が出力する指示信号によって指示することができる画像処理を少なくとも含む。
ステップＳ７２４では、学習装置（図４４）において、注目信号フォーマットAi、注目表示フォーマットBj、および注目処理Ckの組み合わせについて、前処理タップの最適なタップ構造Di,j,k、最適な前処理係数セットEi,j,k、および最適なタップ係数のセット（式（１）の演算で用いられる、各クラスのタップ係数(ｘ1，ｘ2，・・・，ｘN)のセット）Fi,j,kが決定される。
即ち、ステップＳ７２４では、注目信号フォーマットAi、注目表示フォーマットBj、および注目処理Ckの組み合わせについて、注目信号フォーマットAiの画像信号に対し、注目処理Ckを施して得られる画像信号に対応する画像を、注目表示フォーマットBjで表示した場合に、ユーザが最も高画質であると感じるように、注目処理Ckとしての画像処理である前処理および画像変換処理に用いられるタップ構造Di,j,k、前処理係数セットEi,j,k、およびタップ係数のセットFi,j,kが決定される。
そして、ステップＳ７２４からステップＳ７２５に進み、制御部７５２は、注目信号フォーマットAiと注目表示フォーマットBjとの組み合わせに対して、あらかじめ設定されている複数の画像処理のすべてを、注目処理として、ステップＳ７２４でタップ構造Di,j,k、前処理係数セットEi,j,k、およびタップ係数のセットFi,j,kが求められた（決定された）かどうかを判定する。
ステップＳ７２５において、複数の画像処理のすべてが、まだ、注目処理とされていないと判定された場合、ステップＳ７２３に戻り、制御部７５２は、複数の画像処理のうちの、まだ、注目処理としていない画像処理の１つを、注目処理に新たに決定し、その注目処理を表す処理情報を、学習対データ生成部７５１に供給して、以下、同様の処理を繰り返す。
また、ステップＳ７２５において、複数の画像処理のすべてが、注目処理とされたと判定された場合、ステップＳ７２６に進み、制御部７５２は、注目信号フォーマットAiに対して、あらかじめ設定されている複数の表示フォーマットのすべてを、注目表示フォーマットとして、ステップＳ７２４でタップ構造Di,j,k、前処理係数セットEi,j,k、およびタップ係数のセットFi,j,kが求められた（決定された）かどうかを判定する。
ステップＳ７２６において、あらかじめ設定されている複数の表示フォーマットのすべてが、まだ、注目表示フォーマットとされていないと判定された場合、ステップＳ７２２に戻り、制御部７５２は、複数の表示フォーマットのうちの、まだ、注目表示フォーマットとしていない表示フォーマットの１つを、注目表示フォーマットに新たに決定し、その注目表示フォーマットを表す表示フォーマット情報を、表示制御部６８に供給して、以下、同様の処理を繰り返す。
また、ステップＳ７２６において、あらかじめ設定されている複数の表示フォーマットのすべてが、注目表示フォーマットとされたと判定された場合、ステップＳ７２７に進み、制御部７５２は、あらかじめ設定されている複数の信号フォーマットのすべてを、注目信号フォーマットとして、ステップＳ７２４でタップ構造Di,j,k、前処理係数セットEi,j,k、およびタップ係数のセットFi,j,kが求められた（決定された）かどうかを判定する。
ステップＳ７２７において、あらかじめ設定されている複数の信号フォーマットのすべてが、まだ、注目信号フォーマットとされていないと判定された場合、ステップＳ７２２に戻り、制御部７５２は、複数の信号フォーマットのうちの、まだ、注目信号フォーマットとしていない信号フォーマットの１つを、注目信号フォーマットに新たに決定し、その注目信号フォーマットを表す信号フォーマット情報を、学習対データ生成部７５１に供給して、以下、同様の処理を繰り返す。
また、ステップＳ７２７において、あらかじめ設定されている複数の信号フォーマットのすべてが、注目信号フォーマットとされたと判定された場合、即ち、複数の信号フォーマット、複数の表示フォーマット、および複数の画像処理の組み合わせのすべてについて、最適なタップ構造Di,j,k、前処理係数セットEi,j,k、およびタップ係数のセットが求められた場合、学習処理は終了する。
図４０の制御部７１９は、図４５の学習処理において、上述したように、複数の信号フォーマット、複数の表示フォーマット、および複数の画像処理の組み合わせのすべてについて求められた最適なタップ構造Di,j,k、前処理係数セットEi,j,k、およびタップ係数のセットを表す制御情報を記憶している。
さらに、前処理部７１２の係数メモリ７３３（図４１）には、複数の信号フォーマット、複数の表示フォーマット、および複数の画像処理の組み合わせのすべてについて求められた複数の前処理係数セットEi,j,kが記憶されており、画像変換部７１３の係数メモリ７４１（図４２）には、複数の信号フォーマット、複数の表示フォーマット、および複数の画像処理の組み合わせのすべてについて求められた複数のタップ係数のセットが記憶されている。
そして、図４０の表示装置７０２では、制御部７１９が、制御情報を参照することにより、信号フォーマット取得部７１６からの信号フォーマット情報が表す信号フォーマット、表示フォーマット取得部７１７からの表示フォーマット、および操作部７１８からの指示信号が指示する画像処理の組み合わせについて最適なタップ構造、前処理係数セット、およびタップ係数のセットを認識する。
さらに、制御部７１９は、前処理部７１２を制御することにより、前処理タップ抽出部７３１で得られる前処理タップのタップ構造を、制御情報を参照して認識した最適なタップ構造とさせるとともに、係数メモリ７３３に記憶されている複数の前処理係数セットのうちの、制御情報を参照して認識した最適な前処理係数セットを有効にさせる。
また、制御部７１９は、画像変換部７１３を制御することにより、係数メモリ７４１に記憶されている複数のタップ係数のセットのうちの、制御情報を参照して認識した最適なタップ係数のセットを有効にさせる。
これにより、前処理部７１２においては、信号フォーマット取得部７１６からの信号フォーマット情報が表す信号フォーマット、表示フォーマット取得部７１７からの表示フォーマット、および操作部７１８からの指示信号が指示する画像処理の組み合わせに応じて異なる前処理（異なるタップ構造の前処理タップと、異なる前処理係数セットとを用いた前処理）が行われる。
また、画像変換部７１３においても、信号フォーマット取得部７１６からの信号フォーマット情報が表す信号フォーマット、表示フォーマット取得部７１７からの表示フォーマット、および操作部７１８からの指示信号が指示する画像処理の組み合わせに応じて異なる画像変換処理（異なるタップ係数のセットを用いた画像変換処理）が行われる。
そして、図３９の画像処理システムでは、カメラ７０１が出力する撮影画像信号や、前処理部７１２（図４０）の前処理で得られる画像信号、画像変換部７１３で得られる画像信号のS/N等はともかく、カメラ７０１と表示装置７０２からなる画像処理システムシステム全体としては、ユーザが高画質であると感じる画像を、表示装置７０２で表示することができる。
次に、図４６のフローチャートを参照して、図４５のステップＳ７２４の処理の詳細について説明する。
ステップＳ７４１において、制御部７５２は、複数の初期タップ構造の中から、注目タップ構造とする初期タップ構造Dmを決定し、その注目タップ構造Dmを表すタップ構造情報を、学習部２５５の前処理部２６１に供給して、ステップＳ７４２に進む。
即ち、図４４の学習装置には、前処理タップの複数のタップ構造が、学習処理の最初に用いる初期タップ構造として設定（決定）されており、制御部７５２は、複数の初期タップ構造それぞれを表すタップ構造情報を、内蔵するメモリ（図示せず）に記憶している。そして、制御部７５２は、内蔵するメモリに記憶している複数のタップ構造情報が表す複数の初期タップ構造のうちの、まだ注目タップ構造としていないものの１つを注目タップ構造Dmに決定（設定）し、その注目タップ構造Dmを表すタップ構造情報を、前処理部２６１に供給する。
具体的には、図４４の学習装置には、例えば、注目画素の位置に最も近い画素を中心とする横×縦が３×３の画素や、注目画素の位置に最も近い画素を中心として横方向に並ぶ９画素と縦方向に並ぶ５画素などといったような、前処理タップの複数のタップ構造が、学習処理の最初に用いる初期タップ構造として設定（決定）されており、制御部７５２は、複数の初期タップ構造それぞれを表すタップ構造情報を、内蔵するメモリ（図示せず）に記憶している。そして、制御部７５２は、内蔵するメモリに記憶している複数のタップ構造情報が表す複数の初期タップ構造のうちの、まだ注目タップ構造としていないものの１つを注目タップ構造Dmに決定（設定）し、その注目タップ構造Dmを表すタップ構造情報を、前処理部２６１に供給する。
ここで、Dmは、例えば、複数の初期タップ構造のうちのm番目の初期タップ構造を表す。
ステップＳ７４２では、制御部７５２は、前処理部２６１が前処理に用いる前処理係数のセットである注目前処理係数セットEnを決定する。即ち、例えば、注目タップ構造Dmの前処理タップを構成する画素（の画素値）の数をXとするとともに、前処理係数のビット数をYとすると、注目タップ構造Dmの前処理タップに対して前処理係数のセットが取り得る場合の数は、X×２Y通りだけ存在するが、制御部７５２は、そのX×２Y通りの前処理係数のセットのうちの、まだ注目前処理係数セットとしていないものの１つを、注目前処理係数セットEnに決定する。
そして、制御部７５２は、注目前処理係数セットEnを、前処理部２６１に供給して、ステップＳ７４２からステップＳ７４３に進む。
ステップＳ７４３では、学習装置（図４４）において、注目タップ構造Dmおよび注目前処理係数セットEnの組み合わせについて、仮の最適なタップ係数のセット（式（１）の演算で用いられる、各クラスのタップ係数(ｘ1，ｘ2，・・・，ｘN)のセット）Fm,nが決定される。
即ち、ステップＳ７４３では、注目タップ構造Dmの前処理タップと、注目前処理係数セットEnとを用い、SD画像信号に対して前処理を施すことにより得られる前処理後撮影画像信号を第１の画像信号として、タップ係数のセットを用いた画像変換処理を行うことにより得られる、第２の画像信号としての、第１の画像信号に注目処理Ckとしての画像処理を施して得られる理想的な画像信号（画像処理後画像信号）に対応する画像を、注目表示フォーマットBjで、ディスプレイ６９に表示した場合に、そのディスプレイ６９に表示された画像としての光を光検出器７０で検出することにより得られる表示画像信号の評価値を最も高くするタップ係数のセットが、注目タップ構造Dmおよび注目前処理係数セットEnの組み合わせについて、仮の最適なタップ係数のセットFm,nとして求められる。
そして、ステップＳ７４３からステップＳ７４４に進み、制御部７５２は、注目タップ構造Dmの前処理タップに対して取り得るX×２Y通りの前処理係数のセットのすべてを、注目前処理係数セットとしたかどうかを判定する。
ステップＳ７４４において、注目タップ構造Dmの前処理タップに対して取り得るX×２Y通りの前処理係数のセットのすべてを、まだ、注目前処理係数セットとしていないと判定された場合、ステップＳ７４２に戻り、制御部７５２は、注目タップ構造Dmの前処理タップに対して取り得るX×２Y通りの前処理係数のセットのうちの、まだ、注目前処理係数セットとしていないものの１つを、新たに、注目前処理係数セットに決定して、同様の処理を繰り返す。
また、ステップＳ７４４において、注目タップ構造Dmの前処理タップに対して取り得るX×２Y通りの前処理係数のセットのすべてを、注目前処理係数セットとしたと判定された場合、ステップＳ７４５に進み、制御部７５２は、内蔵するメモリに記憶されている複数のタップ構造情報が表す複数の初期タップ構造のすべてを、注目タップ構造としたかどうかを判定する。
ステップＳ７４５において、複数の初期タップ構造のすべてが、まだ、注目タップ構造とされていないと判定された場合、ステップＳ７４１に戻り、制御部７５２は、複数の初期タップ構造のうちの、まだ、注目タップ構造としていない初期タップ構造の１つを、注目タップ構造に決定し、同様の処理を繰り返す。
また、ステップＳ７４５において、複数の初期タップ構造のすべてが、注目タップ構造とされたと判定された場合、即ち、複数の初期タップ構造と、取り得る前処理係数セットとの組み合わせすべてについて、ステップＳ７４３で最適なタップ係数のセットが求められた場合、ステップＳ７４６に進み、制御部７５２は、ステップＳ７４３で求められたタップ構造、前処理係数セット、およびタップ係数のセットの組み合わせの中から、最適なタップ構造、前処理係数セット、およびタップ係数のセットの組み合わせを、仮に決定する（仮決定する）。
即ち、初期タップ構造としてM通りのタップ構造があり、前処理係数セットが取り得る値の場合の数がN通りある場合には、（初期）タップ構造および前処理係数セットの組み合わせとして、M×N通りの組み合わせが存在し、ステップＳ７４３では、そのM×N通りの組み合わせそれぞれについて、仮の最適なタップ係数のセットが求められる。従って、ステップＳ７４３では、タップ構造、前処理係数セット、およびタップ係数のセットの組み合わせが、M×N×J通りだけ得られるが、ステップＳ７４６では、そのM×N通りの組み合わせ（タップ構造、前処理係数セット、およびタップ係数のセットの組み合わせ）の中から、表示画像信号の評価値が最大の組み合わせが、最適なタップ構造、前処理係数セット、およびタップ係数のセットの組み合わせとして仮決定される。
ステップＳ７４６において、最適なタップ構造、前処理係数セット、およびタップ係数のセットの組み合わせが仮決定された後は、ステップＳ７４７に進み、現在の最適な前処理係数セットとタップ係数のセットとの組み合わせについて、最適なタップ構造を仮決定する最適タップ構造決定処理が行われ、ステップＳ７４８に進む。
ステップＳ７４８では、現在の最適なタップ構造とタップ係数のセットとの組み合わせについて、最適な前処理係数セットを仮決定する最適前処理係数セット決定処理が行われ、ステップＳ７４９に進む。
ステップＳ７４９では、現在の最適なタップ構造と前処理係数セットとの組み合わせについて、最適なタップ係数のセットを仮決定する最適タップ係数セット決定処理が行われ、ステップＳ７５０に進む。
ステップＳ７５０では、制御部７５２が、直前のステップＳ７４７で求められた現在の仮の最適なタップ構造、直前のステップＳ７４８で求められた現在の仮の最適な前処理係数セット、および直前のステップＳ７４９で求められた現在の仮の最適なタップ係数のセットの組み合わせが、最適化されたものであるかどうかを判定する。
即ち、直前のステップＳ７４９の最適タップ係数セット決定処理では、現在の仮の最適なタップ構造と前処理係数セットとの組み合わせについて、評価値算出部７１が算出する評価値を最大にするタップ係数のセットが、最適なタップ係数のセットとして仮決定される。ステップＳ７５０では、例えば、その最適なタップ係数のセットについての評価値が、あらかじめ定められた最適化の判定用の閾値以上である（より大きい）かどうかによって、現在の仮の最適なタップ構造、前処理係数セット、およびタップ係数のセットの組み合わせが、最適化されたものであるかどうかが判定される。
ステップＳ７５０において、現在の仮の最適なタップ構造、前処理係数セット、およびタップ係数のセットの組み合わせが、最適化されたものでないと判定された場合、即ち、直前のステップＳ７４９で求められた最適なタップ係数のセットについての評価値が、最適化の判定用の閾値以上でない場合、ステップＳ７４７に戻り、同様の処理が繰り返される。
また、ステップＳ７５０において、現在の仮の最適なタップ構造、前処理係数セット、およびタップ係数のセットの組み合わせが、最適化されたものであると判定された場合、即ち、直前のステップＳ７４９で求められた最適なタップ係数のセットについての評価値が、最適化の判定用の閾値以上であり、タップ構造、前処理係数セット、およびタップ係数のセットの組み合わせが最適化されたものとなった場合、ステップＳ７５１に進み、制御部７５２は、そのタップ構造、前処理係数セット、およびタップ係数のセットを、注目信号フォーマットAi、注目表示フォーマットBj、および注目処理Ckの組み合わせについての最適なタップ構造Di,j,k、前処理係数セットEi,j,k、およびタップ係数のセットFi,j,kに決定し、内蔵するメモリに記憶してリターンする。
なお、図４６のステップＳ７５０では、ステップＳ７４９の最適タップ係数セット決定処理で得られたタップ係数のセットについての評価値が、最適化の判定用の閾値以上である場合に、タップ構造、前処理係数セット、およびタップ係数のセットの組み合わせが最適化されたと判定するようにしたが、その他、例えば、ステップＳ７４９の最適化処理が、所定の回数だけ繰り返された場合に、タップ構造、前処理係数セット、およびタップ係数のセットの組み合わせが最適化されたと判定するようにすることが可能である。
また、ステップＳ７５０では、ステップＳ７４９の最適タップ係数セット決定処理で得られたタップ係数のセットについての評価値の他、ステップＳ7４７の最適タップ構造決定処理で得られたタップ構造についての評価値、または、ステップＳ７４８の最適前処理係数セット決定処理で得られた前処理係数セットについての評価値が、最適化の判定用の閾値以上である場合に、タップ構造、前処理係数セット、およびタップ係数のセットの組み合わせが最適化されたと判定するようにしても良い。
次に、図４７のフローチャートを参照して、注目タップ構造Dmおよび注目前処理係数セットEnの組み合わせについて、最適なタップ係数のセットFm,nを決定する図４６のステップＳ７４３の処理について、詳述する。
学習対データ生成部７５１は、ステップＳ７６１において、学習データ記憶部６１に記憶されている学習データから、制御部７５２からの信号フォーマット情報が表す注目信号フォーマットAiの画像信号（疑似撮影画像信号）を、生徒信号として生成して、ステップＳ７６２に進む。ステップＳ７６２では、学習対データ生成部７５１が、学習データ記憶部６１に記憶されている学習データから、制御部７５２からの処理情報が表す注目処理Ckとしての画像処理を生徒信号に施すことにより得られる画像信号（画像処理後画像信号として理想的な画像信号）を、教師信号として生成する。
即ち、例えば、注目処理Ckとしての画像処理が、ノイズ除去処理である場合、学習対データ生成部７５１は、生徒信号としての画像信号のS/Nを良くした画像信号を教師信号として生成する（教師信号としての画像信号にノイズを付加した画像信号を、生徒信号として生成する）。
そして、学習対データ生成部７５１は、生徒信号としての画像信号と、その生徒信号に対応する教師信号としての画像信号（処理情報が表す注目処理Ckとしての画像処理を生徒信号に施すことにより得られる教師信号）とのセットを、学習対データとして、評価値算出部７１および学習部２５５に供給して、ステップＳ７６２からステップＳ７６３に進む。
ステップＳ７６３では、制御部７５２が、注目タップ構造Dm、および注目前処理係数セットEnに基づく前処理を行うように、前処理部２６１を制御する。これにより、前処理部２６１は、制御部７５２の制御にしたがい、学習対データ生成部７５１から学習部２５５に供給される学習対データのうちの生徒信号としての注目信号フォーマットAiの疑似撮影画像信号に前処理を施し、その結果得られる前処理後撮影画像信号を、画像変換部２６２に供給する。
即ち、前処理部２６１は、学習対データ生成部７５１から供給される注目信号フォーマットAiの疑似撮影画像信号に対応する前処理後撮影画像信号を構成する画素を、順次、注目画素とし、その注目画素について、注目タップ構造Dmの前処理タップとなる複数の画素の画素値を、学習対データ生成部７５１から供給される注目信号フォーマットAiの疑似撮影画像信号から抽出する。さらに、前処理部２６１は、注目前処理係数セットEnによって定義される前処理用の関数の演算を、前処理タップとしての画素値を引数として行い、その前処理用の関数の演算結果を、前処理後撮影画像信号の注目画素の画素値として、画像変換部２６２に供給する。
そして、制御部７５２は、ステップＳ７６４において、学習部２５５の画像変換部２６２が画像変換処理に用いるクラスごとのタップ係数のセットを決定する。即ち、例えば、クラスの総数をαと、各クラスのタップ係数の数をβと、タップ係数のビット数をγとすると、タップ係数のセットが取り得る場合の数は、α×β×２γ通りだけ存在するが、制御部７５２は、そのα×β×２γ通りのタップ係数のセットのうちの、今回の図４７の処理において、まだ注目タップ係数セットとしていないものの１つを、注目タップ係数セットに決定する。
さらに、制御部７５２は、注目タップ係数セットを、画像変換部２６２に供給して、ステップＳ７６４からＳ７６５に進む。
ステップＳ７６５では、画像変換部２６２が、前処理部２６１から供給される前処理後撮影画像信号を第１の画像信号とするとともに、その前処理後撮影画像信号に注目処理Ckとしての画像処理を施して得られる画像処理後画像信号を、第２の画像信号として、直前のステップＳ７６４で制御部７５２から供給された注目タップ係数セットを用い、前処理後撮影画像信号を、画像処理後画像信号に変換する画像変換処理を行う。そして、画像変換部２６２は、画像変換処理によって得られる画像処理後画像信号を、表示制御部６８に供給する。
ステップＳ７６５の処理後は、ステップＳ７６６に進み、表示制御部６８は、制御部７５２から供給された表示フォーマット情報が表す注目表示フォーマットBjで、画像変換部２６２が出力する画像処理後画像信号に対応する画像を、ディスプレイ６９に表示させ、ステップＳ７６６からステップＳ７６７に進む。
ステップＳ７６７では、光検出器７０が、ディスプレイ６９に表示された画像（表示画像）としての光を検出し（光電変換し）、その光に対応する電気信号である表示画像信号を、評価値算出部７１に出力して、ステップＳ７６８に進む。
ステップＳ７６８では、評価値算出部７１が、光検出器７０からの表示画像信号、ひいては、ディスプレイ６９に表示された画像を評価する。
即ち、評価値算出部７１は、光検出器７０からの表示画像信号に対応する教師信号を、学習データ記憶部６１からの学習対データから得て、表示画像信号と、対応する教師信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ６９に表示された画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部７５２に供給する。
ここで、ステップＳ７６５乃至Ｓ７６８の処理は、ステップＳ７６１およびＳ７６２で生成された学習対データのすべてに対して行われる。そして、制御部７５２は、注目タップ係数セットにつき、学習対データのすべてに対して得られた評価値の、例えば総和を求め、その総和を、注目タップ係数セットについての最終的な評価値として、一時記憶する。
その後、ステップＳ７６８からステップＳ７６９に進み、制御部７５２は、タップ係数のセットが取り得るα×β×２γ通りの値のすべてについて、評価値を算出したかどうかを判定する。
ステップＳ７６９において、タップ係数のセットが取り得るα×β×２γ通りの値のすべてについて、まだ、評価値を算出していないと判定された場合、即ち、α×β×２γ通りのタップ係数のセットの中に、今回の図４７の処理において、まだ注目タップ係数セットとしていないものがある場合、ステップＳ７６４に戻り、制御部７５２は、α×β×２γ通りのタップ係数のセットのうちの、今回の図４７の処理において、まだ注目タップ係数セットとしていないものの１つを、注目タップ係数セットに新たに決定し、以下、同様の処理が繰り返される。
また、ステップＳ７６９において、タップ係数のセットが取り得るα×β×２γ通りの値のすべてについて、評価値を算出したと判定された場合、ステップＳ７７０に進み、制御部７５２は、α×β×２γ通りのタップ係数のセットのうちの、評価値が最も高いタップ係数のセットを、注目タップ構造Dmおよび注目前処理係数セットEnの組み合わせについての最適なタップ係数のセットFm,nとして決定（仮決定）してリターンする。
なお、図４６のステップＳ７４６では、図４７のステップＳ７７０で最適なタップ係数のセットに決定されたタップ係数のセットについての評価値が最大のタップ構造、前処理係数セット、およびタップ係数のセットの組み合わせが、最適なタップ構造、前処理係数セット、およびタップ係数のセットの組み合わせに仮決定される。
次に、図４８のフローチャートを参照して、図４６のステップＳ７４７の最適タップ構造決定処理について詳述する。
ステップＳ７８１において、制御部７５２は、現在の仮の最適なタップ構造を基準として、そのタップ構造を、あらかじめ決められた変形ルールにしたがって変形することにより、最適なタップ構造の複数の候補を決定する。
即ち、例えば、いま、注目画素の位置に最も近い画素を中心とする横×縦が３×３の隣接する画素が、現在の仮の最適なタップ構造であるとすると、制御部７５２は、例えば、注目画素の位置に最も近い画素を中心とする横×縦が３×３の１画素おきの画素や、２画素おきの画素などの、現在の仮の最適なタップ構造を変形したタップ構造を、最適なタップ構造の複数の候補として決定する。
なお、最適なタップ構造の複数の候補を得るために、現在の仮の最適なタップ構造を、どのように変形するかは、例えば、あらかじめ変形ルールが決められており、制御部７５２は、その変形ルールにしたがって、現在の仮の最適なタップ構造を変形して、最適なタップ構造の複数の候補を決定する。
また、最適なタップ構造の複数の候補には、現在の仮の最適なタップ構造も含まれる。
ステップＳ７８１の処理後はステップＳ７８２に進み、学習対データ生成部７５１は、学習データ記憶部６１に記憶されている学習データから、制御部７５２からの信号フォーマット情報が表す注目信号フォーマットAiの画像信号（疑似撮影画像信号）を、生徒信号として生成して、ステップＳ７８３に進む。ステップＳ７８３では、学習対データ生成部７５１が、学習データ記憶部６１に記憶されている学習データから、制御部７５２からの処理情報が表す注目処理Ckとしての画像処理を生徒信号に施すことにより得られる画像処理後画像信号として理想的な画像信号を、教師信号として生成する。そして、学習対データ生成部７５１は、生徒信号としての画像信号と、その生徒信号に対応する教師信号としての画像信号（処理情報が表す注目処理Ckとしての画像処理を生徒信号に施すことにより得られる教師信号）とのセットを、学習対データとして、評価値算出部７１および学習部２５５に供給して、ステップＳ７８３からステップＳ７８４に進む。
ステップＳ７８４では、制御部７５２は、最適なタップ構造の複数の候補のうちの、まだ、注目タップ構造としていないものの１つを、注目タップ構造に決定し、ステップＳ７８５に進む。
ステップＳ７８５では、制御部７５２が、注目タップ構造、および現在の仮の最適な前処理係数セットに基づく前処理を行うように、前処理部２６１を制御する。これにより、前処理部２６１は、制御部７５２の制御にしたがい、学習対データ生成部７５１から学習部２５５に供給される疑似撮影画像信号に前処理を施し、その結果得られる前処理後撮影画像信号を、画像変換部２６２に供給する。
即ち、前処理部２６１は、学習対データ生成部７５１から供給される疑似撮影画像信号に対応する前処理後撮影画像信号を構成する画素を、順次、注目画素とし、その注目画素について、注目タップ構造の前処理タップとなる複数の画素の画素値を、学習対データ生成部７５１から供給される疑似撮影画像信号から抽出する。さらに、前処理部２６１は、現在の仮の最適な前処理係数セットによって定義される前処理用の関数の演算を、前処理タップとしての画素値を引数として行い、その前処理用の関数の演算結果を、前処理後撮影画像信号の注目画素の画素値として、画像変換部２６２に供給する。
画像変換部２６２は、ステップＳ７８６において、制御部７５２から、現在の仮の最適なタップ係数のセットの供給を受ける。さらに、画像変換部２６２は、前処理部２６１から供給される前処理後撮影画像信号を第１の画像信号とするとともに、その前処理後撮影画像信号に注目処理Ckとしての画像処理を施して得られる画像処理後画像信号を、第２の画像信号として、制御部７５２からの現在の仮の最適なタップ係数のセットを用い、前処理後撮影画像信号を、画像処理後画像信号に変換する画像変換処理を行う。そして、画像変換部２６２は、画像変換処理によって得られる画像処理後画像信号を、表示制御部６８に供給する。
ステップＳ７８６の処理後は、ステップＳ７８７に進み、表示制御部６８が、制御部７５２からの表示フォーマット情報が表す注目表示フォーマットBjで、画像変換部２６２が出力する画像処理後画像信号に対応する画像を、ディスプレイ６９に表示させ、ステップＳ７８８に進む。
ステップＳ７８８では、光検出器７０が、ディスプレイ６９に表示された画像（表示画像）としての光を検出し（光電変換し）、その光に対応する電気信号である表示画像信号を、評価値算出部７１に出力して、ステップＳ７８９に進む。
ステップＳ７８９では、評価値算出部７１が、光検出器７０からの表示画像信号、ひいては、ディスプレイ６９に表示された画像を評価する。
即ち、評価値算出部７１は、光検出器７０からの表示画像信号に対応する教師信号を、学習対データ生成部７５１からの学習対データから得て、表示画像信号と、対応する教師信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ６９に表示された画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部７５２に供給する。
ここで、ステップＳ７８５乃至Ｓ７８９の処理は、ステップＳ７８２およびＳ７８３で生成された学習対データすべてに対して行われる。そして、制御部７５２は、注目タップ構造につき、学習対データすべてに対して得られた評価値の、例えば総和を求め、その総和を、注目タップ構造についての最終的な評価値として、一時記憶する。
その後、ステップＳ７８９からステップＳ７９０に進み、制御部７５２は、ステップＳ７８１で決定した最適なタップ構造の複数の候補のすべてについて、評価値を算出したかどうかを判定する。
ステップＳ７９０において、最適なタップ構造の複数の候補のすべてについて、まだ、評価値を算出していないと判定された場合、ステップＳ７８４に戻り、制御部７５２は、最適なタップ構造の複数の候補のうちの、まだ注目タップ構造としていないものの１つを、注目タップ構造に新たに決定し、以下、同様の処理が繰り返される。
また、ステップＳ７９０において、最適なタップ構造の複数の候補のすべてについて、評価値を算出したと判定された場合、ステップＳ７９１に進み、制御部７５２は、最適なタップ構造の複数の候補のうちの、評価値が最も高い候補を、現在の仮の最適な前処理係数セットおよびタップ係数のセットの組み合わせに対する最適なタップ構造に、新たに仮決定してリターンする。
次に、図４９のフローチャートを参照して、図４６のステップＳ７４８の最適前処理係数セット決定処理について詳述する。
ステップＳ８０１において、制御部７５２は、現在の仮の最適な前処理係数セットを基準として、あらかじめ決められたルールに基づき、最適な前処理係数セットの複数の候補を決定する。
即ち、制御部７５２は、例えば、現在の仮の最適な前処理係数セットの各前処理係数をコンポーネントとするΦ次元のベクトル（この場合、前処理係数セットとしての前処理係数の総数がΦ個）が表す、Φ次元のベクトル空間の点を基準とする所定の範囲内の複数の点を選択し、その複数の点それぞれを表す複数のΦ次元のベクトル（のコンポーネント）を、最適な前処理係数セットの複数の候補として決定する。なお、最適な前処理係数セットの複数の候補を得るために、現在の仮の最適な前処理係数セットに対応するΦ次元のベクトルを基準として、どのような範囲の、どのような点を選択するかは、あらかじめルールが決められており、制御部７５２は、そのルールにしたがって、現在の仮の最適な前処理係数セットに対応するΦ次元のベクトルを基準とする所定の範囲内の複数の点を選択することにより、最適な前処理係数セットの複数の候補を決定する。
ステップＳ８０１の処理後は、ステップＳ８０２に進み、学習対データ生成部７５１は、学習データ記憶部６１に記憶されている学習データから、制御部７５２からの信号フォーマット情報が表す注目信号フォーマットAiの画像信号（疑似撮影画像信号）を、生徒信号として生成して、ステップＳ８０３に進む。ステップＳ８０３では、学習対データ生成部７５１が、学習データ記憶部６１に記憶されている学習データから、制御部７５２からの処理情報が表す注目処理Ckとしての画像処理を生徒信号に施すことにより得られる画像処理後画像信号として理想的な画像信号を、教師信号として生成する。そして、学習対データ生成部７５１は、生徒信号としての画像信号と、その生徒信号に対応する教師信号としての画像信号（処理情報が表す注目処理Ckとしての画像処理を生徒信号に施すことにより得られる教師信号）とのセットを、学習対データとして、評価値算出部７１および学習部２５５に供給して、ステップＳ８０３からステップＳ８０４に進む。
ステップＳ８０４では、制御部７５２は、最適な前処理係数セットの複数の候補のうちの、まだ、注目前処理係数セットとしていないものの１つを、注目前処理係数セットに決定し、ステップＳ８０５に進む。
ステップＳ８０５では、制御部７５２が、現在の仮の最適なタップ構造、および注目前処理係数セットに基づく前処理を行うように、前処理部２６１を制御する。これにより、前処理部２６１は、制御部７５２の制御にしたがい、学習対データ生成部７５１から学習部２５５に供給される学習対データのうちの生徒信号としての疑似撮影画像信号に前処理を施し、その結果得られる前処理後撮影画像信号を、画像変換部２６２に供給する。
即ち、前処理部２６１は、学習対データ生成部７５１から供給される疑似撮影画像信号に対応する前処理後撮影画像信号を構成する画素を、順次、注目画素とし、その注目画素について、現在の仮の最適なタップ構造の前処理タップとなる複数の画素の画素値を、学習対データ生成部７５１から供給される生徒信号としての疑似撮影画像信号から抽出する。さらに、前処理部２６１は、注目前処理係数セットによって定義される前処理用の関数の演算を、前処理タップとしての画素値を引数として行い、その前処理用の関数の演算結果を、前処理後撮影画像信号の注目画素の画素値として、画像変換部２６２に供給する。
画像変換部２６２は、ステップＳ８０６において、制御部７５２から、現在の仮の最適なタップ係数のセットの供給を受ける。さらに、画像変換部２６２は、前処理部２６１から供給される前処理後撮影画像信号を第１の画像信号とするとともに、その前処理後撮影画像信号に注目処理Ckとしての画像処理を施して得られる画像処理後画像信号を、第２の画像信号として、制御部７５２からの現在の仮の最適なタップ係数のセットを用い、前処理後撮影画像信号を、画像処理後画像信号に変換する画像変換処理を行う。そして、画像変換部２６２は、画像変換処理によって得られる画像処理後画像信号を、表示制御部６８に供給する。
ステップＳ８０６の処理後は、ステップＳ８０７に進み、表示制御部６８は、制御部７５２からの表示フォーマット情報が表す注目最適な表示フォーマットBjで、画像変換部２６２が出力する画像処理後画像信号に対応する画像を、ディスプレイ６９に表示させ、ステップＳ８０８に進む。
ステップＳ８０８では、光検出器７０が、ディスプレイ６９に表示された画像（表示画像）としての光を検出し（光電変換し）、その光に対応する電気信号である表示画像信号を、評価値算出部７１に出力して、ステップＳ８０９に進む。
ステップＳ８０９では、評価値算出部７１が、光検出器７０からの表示画像信号、ひいては、ディスプレイ６９に表示された画像を評価する。
即ち、評価値算出部７１は、光検出器７０からの表示画像信号に対応する教師信号を、学習対データ生成部７５１からの学習対データから得て、表示画像信号と、対応する教師信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ６９に表示された画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部７５２に供給する。
ここで、ステップＳ８０５乃至Ｓ８０９の処理は、ステップＳ８０２およびＳ８０３で生成された学習対データすべてに対して行われる。そして、制御部７５２は、注目前処理係数セットにつき、学習対データすべてに対して得られた評価値の、例えば総和を求め、その総和を、注目前処理係数セットについての最終的な評価値として、一時記憶する。
その後、ステップＳ８０９からステップＳ８１０に進み、制御部７５２は、ステップＳ８０１で決定した最適な前処理係数セットの複数の候補のすべてについて、評価値を算出したかどうかを判定する。
ステップＳ８１０において、最適な前処理係数セットの複数の候補のすべてについて、まだ、評価値を算出していないと判定された場合、ステップＳ８０４に戻り、制御部７５２は、最適な前処理係数セットの複数の候補のうちの、まだ注目前処理係数セットとしていないものの１つを、注目前処理係数セットに新たに決定し、以下、同様の処理が繰り返される。
また、ステップＳ８１０において、最適な前処理係数セットの複数の候補のすべてについて、評価値を算出したと判定された場合、ステップＳ８１１に進み、制御部７５２は、最適な前処理係数セットの複数の候補のうちの、評価値が最も高い候補を、現在の仮の最適なタップ構造およびタップ係数のセットの組み合わせに対する最適な前処理係数セットに、新たに仮決定してリターンする。
次に、図５０のフローチャートを参照して、図４６のステップＳ７４９の最適タップ係数セット決定処理について詳述する。
ステップＳ８３１において、制御部７５２は、図２３のステップＳ１１１の場合と同様に、現在の仮の最適なタップ係数のセットを基準として、あらかじめ決められたルールに基づき、最適なタップ係数のセットの複数の候補を決定する。
ステップＳ８３１の処理後は、ステップＳ８３２に進み、学習対データ生成部７５１は、学習データ記憶部６１に記憶されている学習データから、制御部７５２からの信号フォーマット情報が表す注目信号フォーマットAiの画像信号（疑似撮影画像信号）を、生徒信号として生成して、ステップＳ８３３に進む。ステップＳ８３３では、学習対データ生成部７５１が、学習データ記憶部６１に記憶されている学習データから、制御部７５２からの処理情報が表す注目処理Ckとしての画像処理を生徒信号に施すことにより得られる画像処理後画像信号として理想的な画像信号を、教師信号として生成する。そして、学習対データ生成部７５１は、生徒信号としての画像信号と、その生徒信号に対応する教師信号としての画像信号（処理情報が表す注目処理Ckとしての画像処理を生徒信号に施すことにより得られる教師信号）とのセットを、学習対データとして、評価値算出部７１および学習部２５５に供給して、ステップＳ８３３からステップＳ８３４に進む。
ステップＳ８３４では、制御部７５２は、現在の仮の最適なタップ構造と前処理係数セットに基づく前処理を行うように、前処理部２６１（図４４）を制御する。これにより、前処理部２６１は、制御部７５２の制御にしたがい、学習対データ生成部７５１から学習部２５５に供給される学習対データのうちの生徒信号としての疑似撮影画像信号に前処理を施し、その結果得られる前処理後撮影画像信号を、画像変換部２６２に供給する。
即ち、前処理部２６１は、学習対データ生成部７５１から供給される疑似撮影画像信号に対応する前処理後撮影画像信号を構成する画素を、順次、注目画素とし、その注目画素について、現在の仮の最適なタップ構造の前処理タップとなる複数の画素の画素値を、学習対データ生成部７５１から供給される疑似撮影画像信号から抽出する。さらに、前処理部２６１は、現在の仮の最適な前処理係数セットによって定義される前処理用の関数の演算を、前処理タップとしての画素値を引数として行い、その前処理用の関数の演算結果を、前処理後撮影画像信号の注目画素の画素値として、画像変換部２６２に供給する。
ステップＳ８３５では、制御部７５２は、最適なタップ係数のセットの複数の候補のうちの、まだ、注目タップ係数セットとしていないものの１つを、注目タップ係数セットに決定し、その注目タップ係数セットを、画像変換部２６２に供給して、ステップＳ８３６に進む。
ステップＳ８３６では、画像変換部２６２は、前処理部２６１から供給される前処理後撮影画像信号を第１の画像信号とするとともに、その前処理後撮影画像信号に注目処理Ckとしての画像処理を施して得られる画像処理後画像信号を、第２の画像信号として、直前のステップＳ８３５で制御部７５２から供給された注目タップ係数セットを用い、前処理後撮影画像信号を、画像処理後画像信号に変換する画像変換処理を行う。そして、画像変換部２６２は、画像変換処理によって得られる画像処理後画像信号を、表示制御部６８に供給する。
ステップＳ８３６の処理後は、ステップＳ８３７に進み、表示制御部６８は、制御部７５２からの表示フォーマット情報が表す注目表示フォーマットBjで、学習部２５５が出力する画像処理後画像信号に対応する画像を、ディスプレイ６９に表示させ、ステップＳ８３８に進む。
ステップＳ８３８では、光検出器７０が、ディスプレイ６９に表示された表示画像としての光を検出し（光電変換し）、その光に対応する電気信号である表示画像信号を、評価値算出部７１に出力して、ステップＳ８３９に進む。
ステップＳ８３９では、評価値算出部７１が、光検出器７０からの表示画像信号、ひいては、ディスプレイ６９に表示された画像を評価する。
即ち、評価値算出部７１は、光検出器７０からの表示画像信号に対応する教師信号を、学習対データ生成部７５１から供給される学習対データから得て、表示画像信号と、対応する教師信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ６９に表示された画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部７５２に供給する。
ここで、ステップＳ８３４、およびステップＳ８３６乃至Ｓ８３９の処理は、ステップＳ８３２およびＳ８３３で生成された学習対データすべてに対して行われる。そして、制御部７５２は、注目タップ係数セットにつき、学習対データすべてに対して得られた評価値の、例えば総和を求め、その総和を、注目タップ係数セットについての最終的な評価値として、一時記憶する。
その後、ステップＳ８３９からステップＳ８４０に進み、制御部７５２は、最適なタップ係数のセットの複数の候補のすべてについて、評価値を算出したかどうかを判定する。
ステップＳ８４０において、最適なタップ係数のセットの複数の候補のすべてについて、まだ、評価値を算出していないと判定された場合、ステップＳ８３５に戻り、制御部７５２は、最適なタップ係数のセットの複数の候補のうちの、まだ注目タップ係数セットとしていないものの１つを、注目タップ係数セットに新たに決定し、以下、同様の処理が繰り返される。
また、ステップＳ８４０において、最適なタップ係数のセットの複数の候補のすべてについて、評価値を算出したと判定された場合、ステップＳ８４１に進み、制御部７５２は、最適なタップ係数のセットの複数の候補のうちの、評価値が最も高い候補を、現在の仮の最適なタップ構造および前処理係数セットの組み合わせに対する最適なタップ係数のセットに、新たに仮決定してリターンする。
次に、図５１は、画像を処理する画像処理システムの第５の構成例を示している。
図５１において、画像処理システムは、カメラ１００１、送信装置１００２、受信装置１００３、および表示装置１００４から構成されている。
カメラ１００１は、物体（被写体）を撮影し、その撮影によって得られる画像信号として、既存の信号フォーマットである、例えば、D1フォーマットのSD画像信号を出力する。
即ち、カメラ１００１は、イメージャ１０１１、画像変換部１０１２、およびI/F(Interface)１０１３から構成される。
イメージャ１０１１は、例えば、CCDやCMOSイメージャなどの光電変換素子であり、そこに入射する光を光電変換し、その結果得られる電気信号である、所定の信号フォーマットのSD画像信号、即ち、例えば、ベイヤフォーマットのSD画像信号を出力する。
イメージャ１０１１が出力するベイヤフォーマットのSD画像信号は、画像変換部１０１２に供給される。画像変換部１０１２は、イメージャ１０１１からのベイヤフォーマットのSD画像信号を、後段のI/F１０１３から出力することができるD1フォーマットのSD画像信号に変換する画像変換処理を行い、その画像変換処理によって得られるD1フォーマットのSD画像信号を、I/F１０１３に供給する。
I/F１０１３は、D1フォーマットのSD画像信号の入出力を行うためのインタフェースで、画像変換部１０１２から供給されるD1フォーマットのSD画像信号を外部に出力する。
カメラ１００１のI/F１０１３から出力されるD1フォーマットのSD画像信号は、有線または無線による通信によって、送信装置１００２に送信される。
送信装置１００２は、カメラ１００１からのD1フォーマットのSD画像信号を受信し、例えば、テレビジョン放送信号として送信する。
即ち、送信装置１００２は、I/F１０２１、画像変換部１０２２、信号処理部１０２３、画像変換部１０２４、およびI/F１０２５から構成される。
I/F１０２１は、D1フォーマットのSD画像信号の入出力を行うためのインタフェースで、カメラ１００１（のI/F１０１３）からのD1フォーマットのSD画像信号を受信し、画像変換部１０２２に供給する。
画像変換部１０２２は、コンポーネント信号である、I/F１０２１からのD1フォーマットのSD画像信号を、後段の信号処理部１０２３で処理することができる、例えば、コンポジット信号のSD画像信号に変換する画像変換処理を行い、その結果得られるコンポジット信号のSD画像信号を、信号処理部１０２３に供給する。
信号処理部１０２３は、画像変換部１０２２からのコンポジット信号のSD画像信号に対して所定の信号処理を施し、その信号処理の結果得られるコンポジット信号のSD画像信号を、画像変換部１０２４に供給する。
画像変換部１０２４は、信号処理部１０２３からのコンポジット信号のSD画像信号を、後段のI/F１０２５から出力することができるD1フォーマットのSD画像信号に変換する画像変換処理を行い、その画像変換処理によって得られるD1フォーマットのSD画像信号を、I/F１０２５に供給する。
I/F１０２５は、D1フォーマットのSD画像信号の入出力を行うためのインタフェースで、画像変換部１０２４から供給されるD1フォーマットのSD画像信号を外部に出力する。
送信装置１００２のI/F１０２５から出力されるD1フォーマットのSD画像信号は、有線または無線による通信によって、テレビジョン放送信号として、受信装置１００３に送信される。
受信装置１００３は、例えば、テレビジョン放送信号を受信するチューナなどであり、送信装置１００２から送信されてくるD1フォーマットのSD画像信号を受信する。
即ち、受信装置１００３は、I/F１０３１、画像変換部１０３２、信号処理部１０３３、画像変換部１０３４、およびI/F１０３５から構成される。
I/F１０３１は、D1フォーマットのSD画像信号の入出力を行うためのインタフェースで、送信装置１００２（のI/F１０２５）からのD1フォーマットのSD画像信号を受信し、画像変換部１０３２に供給する。
画像変換部１０３２は、I/F１０３１からのD1フォーマットのSD画像信号を、後段の信号処理部１０３３で処理することができる、例えば、輝度信号と色差信号（以下、両方まとめてY/C信号という）に変換する画像変換処理を行い、その結果得られるY/C信号を、信号処理部１０３３に供給する。
信号処理部１０３３は、画像変換部１０３２からのY/C信号に対して所定の信号処理を施し、その信号処理の結果得られるY/C信号を、画像変換部１０３４に供給する。
画像変換部１０３４は、信号処理部１０３３からのY/C信号を、後段のI/F１０３５から出力することができるD1フォーマットのSD画像信号に変換する画像変換処理を行い、その画像変換処理によって得られるD1フォーマットのSD画像信号を、I/F１０３５に供給する。
I/F１０３５は、D1フォーマットのSD画像信号の入出力を行うためのインタフェースで、画像変換部１０３４から供給されるD1フォーマットのSD画像信号を外部に出力する。
受信装置１００３のI/F１０３５から出力されるD1フォーマットのSD画像信号は、有線または無線による通信によって、表示装置１００４に送信される。
表示装置１００４は、例えば、受信装置１００３からのD1フォーマットのSD画像信号を受信し、対応する画像を表示する。
即ち、表示装置１００４は、I/F１０４１、画像変換部１０４２、表示制御部１０４３、およびディスプレイ１０４４から構成される。
I/F１０４１は、D1フォーマットのSD画像信号の入出力を行うためのインタフェースで、受信装置１００３（のI/F１０３５）からのD1フォーマットのSD画像信号を受信し、画像変換部１０４２に供給する。
画像変換部１０４２は、I/F１０４１からのD1フォーマットのSD画像信号を、後段の表示制御部１０４３でディスプレイ１０４４への表示をすることができる、例えば、１画素につき、R,G,Bの色成分を画素値として有するRGB画像信号に変換する画像変換処理を行い、その結果得られるRGB画像信号を、表示制御部１０４３に供給する。
表示制御部１０４３は、画像変換部１０４２からのRGB画像信号に対応する画像を、ディスプレイ１０４４に表示させる。
ディスプレイ１０４４は、CRTやLCDパネル等で構成され、既存の表示フォーマットである、例えば、ストライプで画像を表示する。
以上のように構成される画像処理システムでは、カメラ１００１において、撮影によって得られたベイヤフォーマットのSD画像信号を、画像変換部１０１２の画像変換処理によって、装置間でのやりとりに適したD1フォーマットのSD画像信号に変換して出力する。
カメラ１００１が出力したD1フォーマットのSD画像信号は、送信装置１００２に供給される。送信装置１００２は、カメラ１００１からのD1フォーマットのSD画像信号を、画像変換部１０２２の画像変換処理によって、内部の信号処理部１０２３の信号処理に適したコンポジット信号のSD画像信号に変換し、信号処理を施す。さらに、送信装置１００２は、信号処理後のコンポジット信号のSD画像信号を、画像変換部１０２４の画像変換処理によって、装置間でのやりとりに適したD1フォーマットのSD画像信号に変換して送信する。
送信装置１００２が送信したD1フォーマットのSD画像信号は、受信装置１００３において受信される。受信装置１００３は、送信装置１００２からのD1フォーマットのSD画像信号を、画像変換部１０３２の画像変換処理によって、内部の信号処理部１０３３の信号処理に適したY/C信号に変換し、信号処理を施す。さらに、受信装置１００３は、信号処理後のY/C信号を、画像変換部１０３４の画像変換処理によって、装置間でのやりとりに適したD1フォーマットのSD画像信号に変換して出力する。
受信装置１００３が出力したD1フォーマットのSD画像信号は、表示装置１００４に供給される。表示装置１００４は、受信装置１００３からのD1フォーマットのSD画像信号を、ディスプレイ１０４４への表示に適したRGB画像信号に変換し、そのRGB画像信号に対応する画像を表示する。
以上のように、図５１の画像処理システムを構成するカメラ１００１、送信装置１００２、および受信装置１００３のいずれも、既存の信号フォーマットであるD1フォーマットのSD画像信号を出力するので、D1フォーマットの画像信号を入力するI/Fを有する装置は、カメラ１００１、送信装置１００２、および受信装置１００３のいずれの出力も受け付ける（入力する）ことができる。
また、図５１の画像処理システムを構成する送信装置１００２、受信装置１００３、および表示装置１００４のいずれも、既存の信号フォーマットであるD1フォーマットのSD画像信号を受け付けることができるので、送信装置１００２、受信装置１００３、および表示装置１００４は、D1フォーマットの画像信号を出力するI/Fを有する装置であれば、どのような装置の出力であっても受け付けることができる。
ところで、図５１の画像処理システムでは、カメラ１００１、送信装置１００２、受信装置１００３、および表示装置１００４において、１の信号を他の１の信号に変換する処理が行われる。
即ち、カメラ１００１では、ベイヤフォーマットのSD画像信号をD1フォーマットのSD画像信号に変換する処理が行われ、送信装置１００２では、D1フォーマットのSD画像信号をコンポジット信号のSD画像信号に変換する処理と、コンポジット信号のSD画像信号をD1フォーマットのSD画像信号に変換する処理とが行われる。また、受信装置１００３では、D1フォーマットのSD画像信号をY/C信号に変換する処理と、Y/C信号をD1フォーマットのSD画像信号に変換する処理とが行われ、表示装置１００４では、D1フォーマットのSD画像信号をRGB画像信号に変換する処理が行われる。
１の信号を他の１の信号に変換する処理では、一般に、信号成分のロス（S/Nの低下を含む）が生じるが、クラス分類適応処理による画像変換処理によれば、クラス分類適応処理は、上述したように、信号成分の創造作用がある処理であるため、信号成分のロスを最小限に抑えること（より低減すること）ができる。
そこで、図５１の画像処理システムのカメラ１００１、送信装置１００２、受信装置１００３、および表示装置１００４では、１の信号を他の１の信号に変換する処理に、クラス分類適応処理による画像変換処理が採用されている。
即ち、図５１において、カメラ１００１の画像変換部１０１２、送信装置１００２の画像変換部１０２２および１０２４、受信装置１００３の画像変換部１０３２および１０３４、並びに表示装置１００４の画像変換部１０４２は、クラス分類適応処理による画像変換処理を行う。
図５２は、図５１の画像変換部１０１２の構成例を示している。
画像変換部１０１２は、タップ抽出部１０６１および１０６２、クラス分類部１０６３、係数メモリ１０６４、並びに予測部１０６５から構成される。
画像変換部１０１２には、イメージャ１０１１からのベイヤフォーマットのSD画像信号が、第１の画像信号として供給される。そして、第１の画像信号としてのSD画像信号は、タップ抽出部１０６１および１０６２に供給される。
タップ抽出部１０６１は、第１の画像信号としてのベイヤフォーマットのSD画像信号を変換して得ようとするD1フォーマットのSD画像信号を、第２の画像信号（この第２の画像信号としてのHD画像信号は、これから求めようとする画像信号であり、現段階では存在しないため、仮想的に想定される）として、その第２の画像信号を構成する画素を、順次、注目画素とし、さらに、その注目画素の画素値を予測するのに用いる複数の画素の画素値である予測タップを、第１の画像信号から抽出する。
具体的には、タップ抽出部１０６１は、注目画素に対応する、第１の画像信号の画像の位置（例えば、注目画素の位置に映っているのと同一の被写体の部分が映っている第１の画像信号の画像上の位置）に対して、空間的または時間的に近い位置関係にある複数の画素（例えば、注目画素に対応する、第１の画像信号の画像上の位置に最も近い画素と、その画素に空間的に隣接する画素など）の画素値を、予測タップとして抽出する。
タップ抽出部１０６２は、注目画素を、幾つか（複数）のクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる複数の画素の画素値であるクラスタップを、第１の画像信号から抽出する。
タップ抽出部１０６１で得られた予測タップは、予測部１０６５に供給され、タップ抽出部１０６２で得られたクラスタップは、クラス分類部１０６３に供給される。
クラス分類部１０６３は、タップ抽出部１０６２からのクラスタップに基づき、注目画素をクラス分類し、その結果得られる注目画素のクラスを、係数メモリ１０６４に供給する。
ここで、クラス分類を行う方法としては、図４のクラス分類部４３で説明したのと同様の方法を採用することができる。
係数メモリ１０６４は、学習に用いられる学習データとして用意された高画質の画像信号から生成された、第１の画像信号と第２の画像信号とにそれぞれ相当する生徒信号としての画像信号と教師信号としての画像信号との組み合わせである学習対データを用いた学習によってあらかじめ求められているクラスごとのタップ係数（のセット）を記憶している。即ち、係数メモリ１０６４は、クラス分類部１０６３で注目画素がクラス分類されうる複数のクラスそれぞれについて、タップ係数のセットを記憶している。係数メモリ１０６４は、クラスごとのタップ係数のセットのうちの、クラス分類部１０６３から供給されるクラスコードが表すクラス、つまり、注目画素のクラスのタップ係数のセットを出力する。
予測部１０６５は、タップ抽出部１０６１が出力する予測タップと、係数メモリ１０６４が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、予測部１０６５は、注目画素の画素値（の予測値）、即ち、第２の画像信号を構成する画素の画素値を求めて出力する。
次に、図５３のフローチャートを参照して、図５２の画像変換部１０１２が行う画像変換処理について説明する。
タップ抽出部１０６１では、イメージャ１０１１から供給される第１の画像信号としてのSD画像信号に対応する第２の画像信号としてのD1フォーマットのSD画像信号を構成する各画素が、順次、注目画素とされる。そして、ステップＳ１００１において、タップ抽出部１０６１と１０６２が、そこに供給される第１の画像信号から、注目画素についての予測タップとクラスタップとする画素の画素値を、それぞれ抽出する。そして、予測タップは、タップ抽出部１０６１から予測部１０６５に供給され、クラスタップは、タップ抽出部１０６２からクラス分類部１０６３に供給される。
クラス分類部１０６３は、タップ抽出部１０６２から、注目画素についてのクラスタップを受信し、ステップＳ１００２において、そのクラスタップに基づき、注目画素をクラス分類する。さらに、クラス分類部１０６３は、そのクラス分類の結果得られる注目画素のクラスを、係数メモリ１０６４に出力し、ステップＳ１００３に進む。
ステップＳ１００３では、係数メモリ１０６４が、クラス分類部１０６３から供給されるクラスコードが表すクラスのタップ係数、即ち、注目画素のクラスのタップ係数を読み出して出力し、ステップＳ１００４に進む。係数メモリ１０６４が出力するタップ係数は、予測部１０６５において取得される。
ステップＳ１００４では、予測部１０６５が、タップ抽出部１０６１が出力した予測タップと、係数メモリ１０６４から取得したタップ係数とを用いて、所定の予測演算としての式（１）の演算を行うことにより、注目画素の画素値、即ち、第２の画像信号の画素の画素値を求める。予測部１０６５は、以上のようにして、第２の画像信号の画素の画素値を、例えば１フレーム分求めるごとに、その第２の画像信号であるD1フォーマットのSD画像信号を出力する。
次に、図５４は、図５２の係数メモリ１０６４に記憶されるタップ係数のセットを求める学習処理を行う学習装置の構成例を示している。
図５４の学習装置は、学習データ記憶部１０７１、学習対データ生成部１０７２、タップ抽出部１０７３，１０７４、クラス分類部１０７５、正規方程式生成部１０７６、およびタップ係数算出部１０７７から構成され、上述した正規方程式を用いる学習方法、つまり、式（８）の正規方程式を、クラスごとにたてて解く学習方法による学習を行うことにより、クラスごとのタップ係数を求める。
学習データ記憶部１０７１は、学習データとして、例えば、SHD画像信号、HD画像信号、またはSD画像信号を記憶している。
学習対データ生成部１０７２は、学習データ記憶部１０７１に記憶されている学習データとしての画像信号のフレームを、順次、注目フレームとして、注目フレームから、生徒信号としての、第１の画像信号に相当するベイヤフォーマットのSD画像信号と、教師信号としての、第２の画像信号に相当するD1フォーマットのSD画像信号とを生成し、その生徒信号としてのSD画像信号と、教師信号としてのSD画像信号とのセットを、学習対データとして、タップ抽出部１０７３および１０７４、並びに正規方程式生成部１０７６に供給する。
タップ抽出部１０７３は、学習対データ生成部１０７２から供給される学習対データのうちの教師信号としてのD1フォーマットのSD画像信号の画素を、順次、注目画素として、その注目画素について、学習対データのうちの生徒信号としてのベイヤフォーマットのSD画像信号から、予測タップとする画素の画素値を抽出し、図５２の画像変換部１０１２を構成するタップ抽出部１０６１で得られるのと同一のタップ構造の予測タップを、正規方程式生成部１０７６に供給する。
タップ抽出部１０７４は、注目画素について、学習対データ生成部１０７２から供給されるベイヤフォーマットのSD画像信号から、クラスタップとする画素の画素値を抽出し、図５２の画像変換部１０１２を構成するタップ抽出部１０６２で得られるのと同一のタップ構造のクラスタップを、クラス分類部１０７５に供給する。
クラス分類部１０７５は、タップ抽出部１０７４から供給されるクラスタップに基づき、図５２の画像変換部１０１２を構成するクラス分類部１０６３と同様にして、注目画素をクラス分類し、その結果得られる注目画素のクラスを、正規方程式生成部１０７６に供給する。
正規方程式生成部１０７６は、学習対データ生成部１０７２から供給される学習対データの教師信号としてのD1フォーマットのSD画像信号のうちの、注目画素（の画素値）ｙkと、タップ抽出部１０６１から供給される注目画素についての予測タップを構成する画素（の画素値）ｘn,kとを対象とした足し込みを、クラス分類部１０７５から供給されるクラスごとに行う。
即ち、正規方程式生成部１０７６は、クラス分類部１０７５から供給されるクラスごとに、タップ抽出部１０７３から供給される注目画素についての予測タップを構成するベイヤフォーマットのSD画像信号の画素（第１の画素）ｘn,kを用い、式（８）の左辺の行列における第１の画素どうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
さらに、正規方程式生成部１０７６は、やはり、クラス分類部１０７５から供給されるクラスごとに、第１の画素ｘn,kとD1フォーマットのSD画像信号の画素（注目画素）ｙkを用い、式（８）の右辺のベクトルにおける、第１の画素ｘn,kおよび注目画素ｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
即ち、正規方程式生成部１０７６は、前回、注目画素とされたD1フォーマットのSD画像信号の画素（第２の画素）について求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶している。
そして、正規方程式生成部１０７６は、メモリに記憶している行列のコンポーネント（Σｘn,kｘn',k）に対して、新たに注目画素とされた第２の画素についての予測タップを構成する第１の画素ｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1を足し込む（式（８）における左辺の行列内のサメーションで表される加算を行う）とともに、メモリに記憶しているベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた第２の画素について、その第２の画素ｙk+1および第１の画素ｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｙk+1を足し込む（式（８）における右辺のベクトル内のサメーションで表される加算を行う）。
正規方程式生成部１０７６は、学習対データ生成部１０７２から供給される学習対データの教師信号としてのD1フォーマットのSD画像信号の画素すべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を、タップ係数算出部１０７７に供給する。
タップ係数算出部１０７７は、正規方程式生成部１０７６から供給される各クラスについての正規方程式を解くことにより、各クラスについて、最適なタップ係数（式（４）の自乗誤差の総和Ｅを最小にするタップ係数）ｗnのセットを求める。
次に、図５５のフローチャートを参照して、図５４の学習装置が行う、タップ係数のセットを求める学習処理について説明する。
図５４の学習装置では、ステップＳ１０１１において、学習対データ生成部１０７２が、学習データ記憶部１０７１に記憶されている学習データから、生徒信号としてのベイヤフォーマットのSD画像信号と、教師信号としてのD1フォーマットのSD画像信号とを生成し、その生徒信号としてのSD画像信号と、教師信号としてのSD画像信号とのセットを、学習対データとして、タップ抽出部１０７３および１０７４、並びに正規方程式生成部１０７６に供給して、ステップＳ１０１２に進む。
ステップＳ１０１２では、タップ抽出部１０７３が、学習対データ生成部１０７２から供給される学習対データのうちの教師信号としてのD1フォーマットのSD画像信号の画素を、順次、注目画素として、その注目画素について、予測タップとなる画素の画素値を、学習対データのうちの生徒信号としてのベイヤフォーマットのSD画像信号から抽出し、正規方程式生成部１０７６に供給する。
また、タップ抽出部１０７４が、注目画素について、クラスタップとなる画素の画素値を、学習対データのうちの生徒信号としてのベイヤフォーマットのSD画像信号から抽出し、クラス分類部１０７５に供給する。
クラス分類部１０７５は、ステップＳ１０１３において、タップ抽出部１０７４からのクラスタップに基づき、注目画素をクラス分類し、その結果得られる注目画素のクラスを、正規方程式生成部１０７６に供給して、ステップＳ１０１４に進む。
ステップＳ１０１４では、正規方程式生成部１０７６は、学習対データ生成部１０７２からの学習対データのうちの、注目画素（の画素値）と、タップ抽出部１０７３から供給される注目画素について得られた予測タップを構成するベイヤフォーマットのSD画像信号の画素（の画素値）とを対象として、クラス分類部１０７５から供給されるクラスについてたてられた式（８）の足し込みを、上述したように行う。
そして、正規方程式生成部１０７６は、学習対データ生成部１０７２から供給された学習対データの教師信号としてのD1フォーマットのSD画像信号の画素すべてを注目画素として、ステップＳ１０１４の足し込みを行うと、その足し込みによって得られた各クラスの正規方程式（クラスごとの式（８）における左辺の行列と、右辺のベクトル）を、タップ係数算出部１０７７に供給して、ステップＳ１０１４からステップＳ１０１５に進む。
ステップＳ１０１５では、タップ係数算出部１０７７は、正規方程式生成部１０７６から供給される各クラスの正規方程式（クラスごとの式（８）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式）を解くことにより、各クラスごとのタップ係数のセットを求める。
以上の学習処理においてタップ係数算出部１０７７で求められたタップ係数のセットが、図５２の画像変換部１０１２を構成する係数メモリ１０６４に記憶されている。
なお、図５１のカメラ１００１の画像変換部１０１２の他、送信装置１００２の画像変換部１０２２および１０２４、受信装置１００３の画像変換部１０３２および１０３４、並びに表示装置１００４の画像変換部１０４２も、図５２に示したように構成される。但し、係数メモリ１０６４に記憶されるタップ係数のセットは、画像変換部１０１２，１０２２，１０２４，１０３２，１０３４，１０４２それぞれごとに異なる。
即ち、ベイヤフォーマットのSD画像信号をD1フォーマットの画像信号に変換する画像変換部１０１２を構成する係数メモリ１０６４には、上述したように、学習データとしての画像信号から生成されたベイヤフォーマットのSD画像信号と、D1フォーマットのSD画像信号を、それぞれ、生徒信号と教師信号として図５５の学習処理を行うことにより得られるタップ係数のセットが記憶される。
また、D1フォーマットのSD画像信号をコンポジット信号のSD画像信号に変換する画像変換部１０２２を構成する係数メモリ１０６４には、学習データとしての画像信号から生成されたD1フォーマットのSD画像信号と、コンポジット信号のSD画像信号を、それぞれ、生徒信号と教師信号として図５５の学習処理を行うことにより得られるタップ係数のセットが記憶される。
さらに、コンポジット信号のSD画像信号をD1フォーマットのSD画像信号に変換する画像変換部１０２４を構成する係数メモリ１０６４には、学習データとしての画像信号から生成されたコンポジット信号のSD画像信号と、D1フォーマットのSD画像信号を、それぞれ、生徒信号と教師信号として図５５の学習処理を行うことにより得られるタップ係数のセットが記憶される。
同様に、D1フォーマットのSD画像信号をY/C信号に変換する画像変換部１０３２を構成する係数メモリ１０６４には、学習データとしての画像信号から生成されたD1フォーマットのSD画像信号と、Y/C信号を、それぞれ、生徒信号と教師信号として図５５の学習処理を行うことにより得られるタップ係数のセットが記憶され、Y/C信号をD1フォーマットのSD画像信号に変換する画像変換部１０３４を構成する係数メモリ１０６４には、学習データとしての画像信号から生成されたY/C信号と、D1フォーマットのSD画像信号を、それぞれ、生徒信号と教師信号として図５５の学習処理を行うことにより得られるタップ係数のセットが記憶される。
また、D1フォーマットのSD画像信号をRGB画像信号に変換する画像変換部１０４２を構成する係数メモリ１０６４には、学習データとしての画像信号から生成されたD1フォーマットのSD画像信号と、RGB画像信号を、それぞれ、生徒信号と教師信号として図５５の学習処理を行うことにより得られるタップ係数のセットが記憶される。
次に、図５６は、画像を処理する画像処理システムの第６の構成例を示している。
なお、図中、図５１の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図５６において、画像処理システムは、カメラ１１０１、送信装置１１０２、受信装置１１０３、および表示装置１１０４から構成されている。
カメラ１１０１は、物体（被写体）を撮影し、その撮影によって得られる画像信号として、既存の信号フォーマットである、例えば、D1フォーマットのSD画像信号を出力する。
即ち、カメラ１１０１は、イメージャ１０１１、画像変換部１１１１、およびI/F(Interface)１１１２から構成される。
画像変換部１１１１には、イメージャ１０１１が出力するベイヤフォーマットのSD画像信号が供給される。画像変換部１１１１は、イメージャ１０１１からのベイヤフォーマットのSD画像信号を、後段の送信装置１１０２で処理することができるコンポジット信号のSD画像信号に変換する画像変換処理を行い、その画像変換処理によって得られるコンポジット信号のSD画像信号を、I/F１１１２に供給する。
I/F１１１２は、コンポジット信号のSD画像信号の入出力を行うためのインタフェースで、画像変換部１１１１から供給されるコンポジット信号のSD画像信号を外部に出力する。
カメラ１１０１のI/F１１１２から出力されるコンポジット信号のSD画像信号は、有線または無線による通信によって、送信装置１１０２に送信される。
送信装置１１０２は、カメラ１１０１からのコンポジット信号のSD画像信号を受信し、例えば、テレビジョン放送信号として送信する。
即ち、送信装置１１０２は、I/F１１２１、信号処理部１０２３、画像変換部１１２２、およびI/F１１２３から構成される。
I/F１１２１は、コンポジット信号のSD画像信号の入出力を行うためのインタフェースで、カメラ１１０１（のI/F１１１２）からのコンポジット信号のSD画像信号を受信し、コンポジット信号を処理することができる信号処理部１０２３に供給する。
画像変換部１１２２は、信号処理部１０２３が出力するコンポジット信号のSD画像信号を、後段の受信装置１１０３で処理することができるY/C信号に変換する画像変換処理を行い、その画像変換処理によって得られるY/C信号を、I/F１１２３に供給する。
I/F１１２３は、Y/C信号の入出力を行うためのインタフェースで、画像変換部１１２２から供給されるY/C信号を外部に出力する。
送信装置１１０２のI/F１１２３から出力されるY/C信号は、有線または無線による通信によって、テレビジョン放送信号として、受信装置１１０３に送信される。
受信装置１１０３は、例えば、テレビジョン放送信号を受信するチューナなどであり、送信装置１１０２から送信されてくるY/C信号を受信する。
即ち、受信装置１１０３は、I/F１１３１、信号処理部１０３３、画像変換部１１３２、およびI/F１１３３から構成される。
I/F１１３１は、Y/C信号の入出力を行うためのインタフェースで、送信装置１１０２（のI/F１１２３）からのY/C信号を受信し、Y/C信号を処理することができる信号処理部１０３３に供給する。
画像変換部１１３２は、信号処理部１０３３が出力するY/C信号を、後段の表示装置１１０４での表示に用いることができるRGB画像信号に変換する画像変換処理を行い、その画像変換処理によって得られるRGB画像信号を、I/F１１３３に供給する。
I/F１１３３は、RGB画像信号の入出力を行うためのインタフェースで、画像変換部１１３２から供給されるRGB画像信号を外部に出力する。
受信装置１１０３のI/F１１３３から出力されるRGB画像信号は、有線または無線による通信によって、表示装置１１０４に送信される。
表示装置１１０４は、例えば、受信装置１１０３からのRGB画像信号を受信し、対応する画像を表示する。
即ち、表示装置１１０４は、I/F１１４１、表示制御部１０４３、およびディスプレイ１０４４から構成される。
I/F１１４１は、RGB画像信号の入出力を行うためのインタフェースで、受信装置１１０３（のI/F１１３３）からのRGB画像信号を受信し、RGB画像信号に対応する画像の表示を制御する表示制御部１０４３に供給する。
以上のように構成される画像処理システムでは、カメラ１１０１において、撮影によって得られたベイヤフォーマットのSD画像信号を、画像変換部１１１１の画像変換処理によって、後段の送信装置１１０２での処理に適したコンポジット信号のSD画像信号に変換して出力する。
送信装置１１０２では、信号処理部１０２３において、カメラ１１０１からのコンポジット信号のSD画像信号に信号処理が施され、信号処理後のコンポジット信号のSD画像信号が、画像変換部１１２２の画像変換処理によって、後段の受信装置１１０３での処理に適したY/C信号に変換されて送信される。
受信装置１１０３は、信号処理部１０３３において、送信装置１１０２からのY/C信号に信号処理を施し、信号処理後のY/C信号を、画像変換部１１３２の画像変換処理によって、後段の表示装置１１０４での処理に適したRGB画像信号に変換して出力する。
そして、表示装置１１０４では、表示制御部１０４３が、受信装置１１０３からのRGB画像信号に対応する画像を、ディスプレイ１０４４に表示する。
以上のように、図５６の画像処理システムでは、カメラ１１０１が、後段の送信装置１１０２の処理に適したコンポジット信号のSD画像信号を出力し、送信装置１１０２が、やはり後段の受信装置１１０３の処理に適したY/C信号を出力する。同様に、受信装置１１０３も、後段の表示装置１１０４の処理に適したRGB画像信号を出力する。
従って、図５６の画像処理システムでは、送信装置１１０２は、D1フォーマットのSD画像信号を、信号処理部１０２３での処理に適したコンポジット信号のSD画像信号に変換する画像変換部１０２２（図５１）を設けずに構成することができる。
また、受信装置１１０３は、D1フォーマットのSD画像信号を、信号処理部１０３３での処理に適したY/C信号に変換する画像変換部１０３２（図５１）を設けずに構成することができる。同様に、表示装置１１０４も、D1フォーマットのSD画像信号を、表示制御部１０４３での画像の表示に適したRGB画像信号に変換する画像変換部１０４２（図５１）を設けずに構成することができる。
なお、図５６の画像処理システムのカメラ１１０１の画像変換部１１１１、送信装置１１０２の画像変換部１１２２、および受信装置１１０３の画像変換部１１３２でも、信号成分のロスを最小限に抑える（より低減する）ために、画像変換処理には、クラス分類適応処理を採用することができる。
この場合、画像変換部１１１１，１１２２、および１１３２は、図５２に示した画像変換部１０１２と同様に構成される。但し、係数メモリ１０６４（図５１）に記憶されるタップ係数のセットは、画像変換部１１１１，１１２２，１１３２それぞれごとに異なる。
即ち、ベイヤフォーマットのSD画像信号をコンポジット信号の画像信号に変換する画像変換部１１１１を構成する係数メモリ１０６４には、学習データとしての画像信号から生成されたベイヤフォーマットのSD画像信号と、コンポジット信号のSD画像信号を、それぞれ、生徒信号と教師信号として図５５の学習処理を行うことにより得られるタップ係数のセットが記憶される。
また、コンポジット信号のSD画像信号をY/C信号に変換する画像変換部１１２２を構成する係数メモリ１０６４には、学習データとしての画像信号から生成されたコンポジット信号のSD画像信号と、Y/C信号を、それぞれ、生徒信号と教師信号として図５５の学習処理を行うことにより得られるタップ係数のセットが記憶される。
さらに、Y/C信号をRGB画像信号に変換する画像変換部１１３２を構成する係数メモリ１０６４には、学習データとしての画像信号から生成されたY/C信号と、RGB画像信号を、それぞれ、生徒信号と教師信号として図５５の学習処理を行うことにより得られるタップ係数のセットが記憶される。
次に、図５７は、画像を処理する画像処理システムの第７の構成例を示している。
なお、図中、図５１または図５６の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図５７において、画像処理システムは、カメラ１２０１と表示装置１１０４から構成されている。
カメラ１２０１は、物体（被写体）を撮影し、その撮影によって得られる画像信号として、後段の表示装置１１０４での表示に用いることができるRGB画像信号を出力する。
即ち、カメラ１２０１は、イメージャ１０１１、画像変換部１２１１、およびI/F１２１２から構成される。
画像変換部１２１１には、イメージャ１０１１が出力するベイヤフォーマットのSD画像信号が供給される。画像変換部１２１１は、イメージャ１０１１からのベイヤフォーマットのSD画像信号を、後段の表示装置１１０４での表示に用いることができるRGB画像信号に変換する画像変換処理を行い、その画像変換処理によって得られるRGB画像信号を、I/F１２１２に供給する。
I/F１２１２は、RGB画像信号の入出力を行うためのインタフェースで、画像変換部１２１１から供給されるRGB画像信号を外部に出力する。
カメラ１２０１のI/F１２１２から出力されるRGB画像信号は、有線または無線による通信によって、表示装置１２０２に供給される。
以上のように構成される画像処理システムでは、カメラ１２０１において、撮影によって得られたベイヤフォーマットのSD画像信号を、画像変換部１２１１の画像変換処理によって、後段の表示装置１１０４での処理に適したRGB画像信号に変換して出力する。
そして、表示装置１１０４では、表示制御部１０４３が、カメラ１２０１からのRGB画像信号に対応する画像を、ディスプレイ１０４４に表示する。
以上のように、図５７の画像処理システムでは、カメラ１２０１が、後段の表示装置１１０４の処理に適したRGB画像信号を出力する。
従って、図５７の画像処理システムでは、図５６の場合と同様に、表示装置１１０４は、D1フォーマットのSD画像信号を、表示制御部１０４３での画像の表示に適したRGB画像信号に変換する画像変換部１０４２（図５１）を設けずに構成することができる。
なお、図５７の画像処理システムのカメラ１２０１の画像変換部１２１１でも、信号成分のロスを最小限に抑える（より低減する）ために、画像変換処理には、クラス分類適応処理を採用することができる。
この場合、画像変換部１２１１は、図５２に示した画像変換部１０１２と同様に構成される。但し、係数メモリ１０６４（図５２）に記憶されるタップ係数のセットは、学習データとしての画像信号から生成されたベイヤフォーマットのSD画像信号と、RGB画像信号を、それぞれ、生徒信号と教師信号として図５５の学習処理を行うことにより得られるタップ係数のセットである必要がある。
図５６や図５７の画像処理システムのように、前段の装置（例えば、図５７のカメラ１２０１）において、内部で得たある信号フォーマットの画像信号（例えば、ベイヤフォーマットのSD画像信号）を、後段の装置（例えば、図５７の表示装置１１０４）での処理に適した信号フォーマットの画像信号（例えば、RGB画像信号）を出力することにより、後段の装置は、前段の装置のように、後段の装置での処理に適した信号フォーマットの画像信号を出力する装置にしか接続することができなくなるが（前段の装置は、その前段の装置が出力する信号フォーマットの画像信号を受け付けることができる、後段の装置のような装置にしか接続することができなくなるが）、後段の装置では、前段の装置からの画像信号の信号フォーマットを変換せずに、信号処理を行うことができる。
なお、図５６や図５７の画像処理システムでは、前段の装置において、内部で得たある信号フォーマットの画像信号を、後段の装置での処理に適した信号フォーマットの画像信号を出力するようにしたが、その他、前段の装置では、内部で得たある信号フォーマットの画像信号をそのまま出力し、後段の装置では、前段の装置が出力する画像信号を、後段の装置の処理に適した信号フォーマットの画像信号に変換してから、信号処理を行うようにすることが可能である。
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図５８は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２００５やＲＯＭ２００３に予め記録しておくことができる。
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２０１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２０１１は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体２０１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２００８で受信し、内蔵するハードディスク２００５にインストールすることができる。
コンピュータは、CPU(Central Processing Unit)２００２を内蔵している。CPU２００２には、バス２００１を介して、入出力インタフェース２０１０が接続されており、CPU２００２は、入出力インタフェース２０１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２００７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)２００３に格納されているプログラムを実行する。あるいは、また、CPU２００２は、ハードディスク２００５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２００８で受信されてハードディスク２００５にインストールされたプログラム、またはドライブ２００９に装着されたリムーバブル記録媒体２０１１から読み出されてハードディスク２００５にインストールされたプログラムを、RAM(Random Access Memory)２００４にロードして実行する。これにより、CPU２００２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２００２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部２００６から出力、あるいは、通信部２００８から送信、さらには、ハードディスク２００５に記録等させる。
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
画像の処理を行う画像処理システムの第１の構成例を示すブロック図である。 表示装置２の構成例を示すブロック図である。 表示装置２の処理を説明するフローチャートである。 画像変換部１２の構成例を示すブロック図である。 画像変換部１２の処理を説明するフローチャートである。 表示フォーマットの例を示す図である。 ストライプフォーマットを基準として変形した表示フォーマットの例を示す図である。 ベイヤフォーマットを基準として変形した信号フォーマットの例を示す図である。 最適な信号フォーマット、表示フォーマット、タップ係数を学習する学習装置の構成例を示すブロック図である。 SHD画像とHD画像とを示す図である。 疑似撮影画像を生成する生成方法を説明する図である。 疑似撮影画像を生成する生成方法を説明する図である。 HD画像と、ディスプレイ６９の表示画面とを示す図である。 HD画像と、ディスプレイ６９の表示画面とを示す図である。 HD画像と、ディスプレイ６９の表示画面とを示す図である。 ディスプレイ６９に表示された表示画像を評価する評価方法を説明する図である。 ディスプレイ６９に表示された表示画像を評価する評価方法を説明する図である。 ディスプレイ６９に表示された表示画像を評価する評価方法を説明する図である。 最適な信号フォーマット、表示フォーマット、タップ係数を学習する学習装置の処理を説明するフローチャートである。 ステップＳ３３の処理の詳細を説明するフローチャートである。 ステップＳ３７の処理の詳細を説明するフローチャートである。 ステップＳ３８の処理の詳細を説明するフローチャートである。 ステップＳ３９の処理の詳細を説明するフローチャートである。 画像の処理を行う画像処理システムの第２の構成例を示すブロック図である。 フォーマット変換部６０４と表示装置６０５の構成例を示すブロック図である。 信号変換部６１２の構成例を示すブロック図である。 信号変換部６１２の処理を説明するフローチャートである。 フォーマット変換部６０４の処理を説明するフローチャートである。 信号変換部６１２が用いるタップ係数を学習する学習装置の構成例を示すブロック図である。 信号変換部６１２が用いるタップ係数を学習する学習装置の処理を説明するフローチャートである。 画像変換部６２１の構成例を示すブロック図である。 画像変換部６２１の処理を説明するフローチャートである。 表示装置６０５の処理を説明するフローチャートである。 各表示フォーマットに対して、最適な信号フォーマットとタップ係数を学習する学習装置の構成例を示すブロック図である。 各表示フォーマットに対して、最適な信号フォーマットとタップ係数を学習する学習装置の処理を説明するフローチャートである。 ステップＳ６６８の処理の詳細を説明するフローチャートである。 ステップＳ６６９の処理の詳細を説明するフローチャートである。 画像の処理を行う画像処理システムの第３の構成例を示すブロック図である。 画像の処理を行う画像処理システムの第４の構成例を示すブロック図である。 表示装置７０２の構成例を示すブロック図である。 前処理部７１２の構成例を示すブロック図である。 画像変換部７１３の構成例を示すブロック図である。 表示装置７０２の処理を説明するフローチャートである。 信号フォーマットと表示フォーマットとの組合せに対して、最適な画像処理、タップ構造、前処理係数、タップ係数を学習する学習装置の構成例を示すブロック図である。 信号フォーマットと表示フォーマットとの組合せに対して、最適な画像処理、タップ構造、前処理係数、タップ係数を学習する学習装置の処理を説明するフローチャートである。 ステップＳ７２４の処理の詳細を説明するフローチャートである。 ステップＳ７４３の処理の詳細を説明するフローチャートである。 ステップＳ７４６の処理の詳細を説明するフローチャートである。 ステップＳ７４７の処理の詳細を説明するフローチャートである。 ステップＳ７４８の処理の詳細を説明するフローチャートである。 画像の処理を行う画像処理システムの第５の構成例を示すブロック図である。 画像変換部１０１２の構成例を示すブロック図である。 画像変換部１０１２の処理を説明するフローチャートである。 画像変換部１０１２で用いるタップ係数を学習する学習装置の構成例を示すブロック図である。 画像変換部１０１２で用いるタップ係数を学習する学習装置の処理を説明するフローチャートである。 画像の処理を行う画像処理システムの第６の構成例を示すブロック図である。 画像の処理を行う画像処理システムの第７の構成例を示すブロック図である。 画像の処理を行うプログラムを実行するコンピュータの構成例を示すブロック図である。
符号の説明
１ カメラ， ２ 表示装置， １１ 画像変換部， １２ 表示制御部， １３ ディスプレイ， ４１，４２ タップ抽出部， ４３ クラス分類部， ４４ 係数メモリ， ４５ 予測部， ６１ 学習データ記憶部， ６２ 疑似撮影画像生成部， ６３，６４ タップ抽出部， ６５ クラス分類部， ６６ 係数メモリ， ６７ 予測部， ６８ 表示制御部， ６９ ディスプレイ， ７０ 光検出器， ７１ 評価値算出部， ７２ 制御部， ７３ 画像変換部， ２５５ 学習部， ２６１ 前処理部， ２６２ 画像変換部， ６０１ カメラ， ６０２ 送信装置， ６０３ 受信装置， ６０４ フォーマット変換部， ６０５ 表示装置， ６１１ 信号取得部， ６１２ 信号変換部， ６１３ 表示フォーマット取得部， ６２１ 画像変換部， ６２２ 表示制御部， ６２３ ディスプレイ， ６３１，６３２ タップ抽出部， ６３３ クラス分類部， ６３４ 係数メモリ， ６３５ 予測部， ６３６ 係数選択部， ６４１ 学習データ記憶部， ６４２ 学習対データ生成部， ６４３ 制御部， ６４４，６４５ タップ抽出部， ６４６ クラス分類部， ６４７ 正規方程式生成部， ６４８ タップ係数算出部， ６５１ 係数メモリ， ６６１ 制御部， ６７１，７０１ カメラ， ７０２ 表示装置， ７１１ 画像処理部， ７１２ 前処理部， ７１３ 画像変換部， ７１４ 表示制御部， ７１５ ディスプレイ， ７１６ 信号フォーマット取得部， ７１７ 表示フォーマット取得部， ７１８ 操作部， ７１９ 制御部， ７３１ 前処理タップ抽出部， ７３２ 前処理演算部， ７３３，７４１ 係数メモリ， ７５１ 学習対データ生成部， ７５２ 制御部， １００１ カメラ， １００２ 送信装置， １００３ 受信装置， １００４ 表示装置， １０１１ イメージャ， １０１２ 画像変換部， １０１３，１０２１ I/F， １０２２ 画像変換部， １０２３ 信号処理部， １０２４ 画像変換部， １０２５，１０３１ I/F， １０３２ 画像変換部， １０３３ 信号処理部， １０３４ 画像変換部， １０３５，１０４１ I/F， １０４２ 画像変換部， １０４３ 表示制御部， １０４４ ディスプレイ， １０６１，１０６２ タップ抽出部， １０６３ クラス分類部， １０６４ 係数メモリ， １０６５ 予測部， １０７１ 学習データ記憶部， １０７２ 学習対データ生成部， １０７３ １０７４ タップ抽出部， １０７５ クラス分類部， １０７６ 正規方程式生成部， １０７７ タップ係数算出部， １１０１ カメラ， １１０２ 送信装置， １１０３ 受信装置， １１０４ 表示装置， １１１１ 画像変換部， １１１２，１１２１ I/F， １１２２ 画像変換部， １１２３，１１３１ I/F， １１３２ 画像変換部， １１３３，１１４１ I/F， １２０１ カメラ， １２１１ 画像変換部， １２１２ I/F， ２００１ バス， ２００２ CPU， ２００３ ROM， ２００４ RAM， ２００５ ハードディスク， ２００６ 出力部， ２００７ 入力部， ２００８ 通信部， ２００９ ドライブ， ２０１０ 入出力インタフェース， ２０１１ リムーバブル記録媒体

Claims (14)

  1. 画像を処理する画像処理装置において、
    画像を表示する表示手段において画像を表示する表示フォーマットを取得する表示フォーマット取得手段と、
    物体を撮影する撮影手段からの画像信号である撮影画像信号を取得する撮影画像信号取得手段と、
    画像信号を、前記画像信号に対応する画像よりも高画質の画像の高画質画像信号に変換する画像変換処理の対象となる前記画像信号の信号フォーマットと、前記画像変換処理によって得られる前記高画質画像信号に対応する画像を表示する表示フォーマットとを対応付けた対応関係情報に基づき、第１の信号フォーマットの前記撮影画像信号を、前記表示フォーマット取得手段において取得された表示フォーマットに対応付けられた信号フォーマットである第２の信号フォーマットの画像信号に変換する信号変換手段と
    を備える画像処理装置。
  2. 前記撮影手段をさらに備える
    請求項１に記載の画像処理装置。
  3. 前記信号変換手段は、
    前記第２の信号フォーマットの画像信号の注目画素の画素値を予測するのに用いる複数の画素の画素値である予測タップを、前記撮影画像信号から抽出する予測タップ抽出手段と、
    前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素の画素値であるクラスタップを、前記撮影画像信号から抽出するクラスタップ抽出手段と、
    前記クラスタップに基づいて、前記注目画素のクラス分類を行うクラス分類手段と、
    学習によりあらかじめ求められた、複数のクラスそれぞれごとのタップ係数の中から、前記注目画素のクラスのタップ係数を出力する係数出力手段と、
    前記注目画素のクラスのタップ係数と、前記予測タップとを用いた予測演算により、前記注目画素の画素値を求める演算手段と
    を有する
    請求項１に記載の画像処理装置。
  4. 画像を処理する画像処理方法において、
    画像を表示する表示手段において画像を表示する表示フォーマットを取得し、
    物体を撮影する撮影手段からの画像信号である撮影画像信号を取得し、
    画像信号を、前記画像信号に対応する画像よりも高画質の画像の高画質画像信号に変換する画像変換処理の対象となる前記画像信号の信号フォーマットと、前記画像変換処理によって得られる前記高画質画像信号に対応する画像を表示する表示フォーマットとを対応付けた対応関係情報に基づき、第１の信号フォーマットの前記撮影画像信号を、取得された表示フォーマットに対応付けられた信号フォーマットである第２の信号フォーマットの画像信号に変換する
    ステップを含む画像処理方法。
  5. 画像を処理する画像処理を、コンピュータに実行させるプログラムにおいて、
    画像を表示する表示手段において画像を表示する表示フォーマットを取得し、
    物体を撮影する撮影手段からの画像信号である撮影画像信号を取得し、
    画像信号を、前記画像信号に対応する画像よりも高画質の画像の高画質画像信号に変換する画像変換処理の対象となる前記画像信号の信号フォーマットと、前記画像変換処理によって得られる前記高画質画像信号に対応する画像を表示する表示フォーマットとを対応付けた対応関係情報に基づき、第１の信号フォーマットの前記撮影画像信号を、取得された表示フォーマットに対応付けられた信号フォーマットである第２の信号フォーマットの画像信号に変換する
    ステップを含む画像処理を、コンピュータに実行させるプログラム。
  6. 画像を処理する画像処理装置において、
    物体を撮影する撮影手段からの画像信号である撮影画像信号に対して施す画像処理を決定する画像処理決定手段と、
    前記撮影画像信号の信号フォーマットを取得する信号フォーマット取得手段と、
    前記撮影画像信号に対して前記画像処理決定手段で決定された画像処理を施すことにより得られる画像を表示手段に表示する表示フォーマットを取得する表示フォーマット取得手段と、
    前記撮影画像信号の信号フォーマット、前記表示手段に画像を表示する表示フォーマット、および、前記画像処理決定手段で決定された画像処理に応じて異なる処理を行うことにより、前記撮影画像信号に対して前記画像処理決定手段で決定された画像処理を施す画像処理手段と
    を備える画像処理装置。
  7. 前記画像処理手段は、
    前記撮影画像信号に前処理を施し、前処理後画像信号を出力する前処理手段と、
    前記前処理後画像信号である第１の画像信号を、あらかじめ行われた学習によって得られたタップ係数との演算によって、第２の画像信号に変換する画像変換手段と
    を有する
    請求項６に記載の画像処理装置。
  8. 前記前処理手段は、
    前記前処理によって前記前処理後画像信号の注目画素の画素値を求めるのに用いる複数の画素の画素値である前処理タップを、前記撮影画像信号から抽出する前処理タップ抽出手段と、
    前記前処理としての演算に用いられる前処理係数と、前記前処理タップとを用いた演算により、前記注目画素の画素値を求める前処理演算手段と
    を有する
    請求項７に記載の画像処理装置。
  9. 前記前処理タップ抽出手段は、前記撮影画像信号の信号フォーマット、前記表示手段に画像を表示する表示フォーマット、および、前記画像処理決定手段で決定された画像処理に応じ、前記注目画素に対して異なる位置関係にある複数の画素の画素値を、前記前処理タップとして抽出する
    請求項８に記載の画像処理装置。
  10. 前記前処理演算手段は、前記撮影画像信号の信号フォーマット、前記表示手段に画像を表示する表示フォーマット、および、前記画像処理決定手段で決定された画像処理に応じて異なる前記前処理係数を用いた演算により、前記注目画素の画素値を求める
    請求項８に記載の画像処理装置。
  11. 前記画像変換手段は、
    前記第２の画像信号の注目画素の画素値を予測するのに用いる複数の画素の画素値である予測タップを、前記第１の画像信号から抽出する予測タップ抽出手段と、
    前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素の画素値であるクラスタップを、前記第１の画像信号から抽出するクラスタップ抽出手段と、
    前記クラスタップに基づいて、前記注目画素のクラス分類を行うクラス分類手段と、
    学習によりあらかじめ求められた、複数のクラスそれぞれごとのタップ係数の中から、前記注目画素のクラスのタップ係数を出力する係数出力手段と、
    前記注目画素のクラスのタップ係数と、前記予測タップとを用いた予測演算により、前記注目画素の画素値を求める演算手段と
    を有する
    請求項７に記載の画像処理装置。
  12. 前記画像変換手段は、前記撮影画像信号の信号フォーマット、前記表示手段に画像を表示する表示フォーマット、および、前記画像処理決定手段で決定された画像処理に応じて異なる前記タップ係数を用いた演算により、前記注目画素の画素値を求める
    請求項１１に記載の画像処理装置。
  13. 画像を処理する画像処理方法において、
    物体を撮影する撮影手段からの画像信号である撮影画像信号に対して施す画像処理を決定し、
    前記撮影画像信号の信号フォーマットを取得し、
    前記撮影画像信号に対して決定された画像処理を施すことにより得られる画像を表示手段に表示する表示フォーマットを取得し、
    前記撮影画像信号の信号フォーマット、前記表示手段に画像を表示する表示フォーマット、および、決定された画像処理に応じて異なる処理を行うことにより、前記撮影画像信号に対して決定された画像処理を施す
    ステップを含む画像処理方法。
  14. コンピュータに実行させるプログラムにおいて、
    物体を撮影する撮影手段からの画像信号である撮影画像信号に対して施す画像処理を決定し、
    前記撮影画像信号の信号フォーマットを取得し、
    前記撮影画像信号に対して決定された画像処理を施すことにより得られる画像を表示手段に表示する表示フォーマットを取得し、
    前記撮影画像信号の信号フォーマット、前記表示手段に画像を表示する表示フォーマット、および、決定された画像処理に応じて異なる処理を行うことにより、前記撮影画像信号に対して決定された画像処理を施す
    ステップを含む処理を、コンピュータに実行させるプログラム。
JP2006001580A 2006-01-06 2006-01-06 画像処理装置および画像処理方法、並びにプログラム Expired - Fee Related JP4517301B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2006001580A JP4517301B2 (ja) 2006-01-06 2006-01-06 画像処理装置および画像処理方法、並びにプログラム
US11/614,652 US8228995B2 (en) 2006-01-06 2006-12-21 Image processing apparatus, image processing method, and program
KR1020070000949A KR101312484B1 (ko) 2006-01-06 2007-01-04 화상 처리 장치 및 화상 처리 방법과 컴퓨터 판독가능한 기록매체
CNB2007100003029A CN100521741C (zh) 2006-01-06 2007-01-08 图像处理装置和图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006001580A JP4517301B2 (ja) 2006-01-06 2006-01-06 画像処理装置および画像処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2007184775A true JP2007184775A (ja) 2007-07-19
JP4517301B2 JP4517301B2 (ja) 2010-08-04

Family

ID=38252015

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006001580A Expired - Fee Related JP4517301B2 (ja) 2006-01-06 2006-01-06 画像処理装置および画像処理方法、並びにプログラム

Country Status (4)

Country Link
US (1) US8228995B2 (ja)
JP (1) JP4517301B2 (ja)
KR (1) KR101312484B1 (ja)
CN (1) CN100521741C (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010171620A (ja) * 2009-01-21 2010-08-05 Canon Inc 表示装置及びその制御方法、並びに、撮像装置及びその制御方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010210704A (ja) * 2009-03-06 2010-09-24 Sanyo Electric Co Ltd 画像表示装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003052051A (ja) * 2001-08-08 2003-02-21 Sony Corp 画像信号処理方法、画像信号処理装置、撮像装置及び記録媒体
JP2003198970A (ja) * 2001-12-27 2003-07-11 Sony Corp データ処理装置およびデータ処理方法、プログラムおよび記録媒体、並びにデータ処理システム
JP2005012772A (ja) * 2003-05-29 2005-01-13 Sony Corp 情報信号の処理装置および処理方法、補正データテーブルの生成装置および生成方法、並びに各方法を実行するためのプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5473381A (en) * 1993-08-07 1995-12-05 Goldstar Co., Ltd. Apparatus for converting frame format of a television signal to a display format for a high definition television (HDTV) receiver
JP4346114B2 (ja) * 1997-03-12 2009-10-21 パナソニック株式会社 複数の標準的な出力信号を提供するｍｐｅｇデコーダ
JP3063670B2 (ja) 1997-04-25 2000-07-12 日本電気株式会社 マトリクス表示装置
JP4308473B2 (ja) * 2000-04-12 2009-08-05 株式会社リコー 画像信号処理方法及び画像信号処理装置、並びに画像信号処理システム
JP2004248061A (ja) * 2003-02-14 2004-09-02 Fuji Photo Film Co Ltd 画像処理装置、方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003052051A (ja) * 2001-08-08 2003-02-21 Sony Corp 画像信号処理方法、画像信号処理装置、撮像装置及び記録媒体
JP2003198970A (ja) * 2001-12-27 2003-07-11 Sony Corp データ処理装置およびデータ処理方法、プログラムおよび記録媒体、並びにデータ処理システム
JP2005012772A (ja) * 2003-05-29 2005-01-13 Sony Corp 情報信号の処理装置および処理方法、補正データテーブルの生成装置および生成方法、並びに各方法を実行するためのプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010171620A (ja) * 2009-01-21 2010-08-05 Canon Inc 表示装置及びその制御方法、並びに、撮像装置及びその制御方法

Also Published As

Publication number Publication date
US20070165140A1 (en) 2007-07-19
CN1997111A (zh) 2007-07-11
CN100521741C (zh) 2009-07-29
KR101312484B1 (ko) 2013-10-01
JP4517301B2 (ja) 2010-08-04
KR20070074470A (ko) 2007-07-12
US8228995B2 (en) 2012-07-24

Similar Documents

Publication Publication Date Title
JP5263565B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP4517300B2 (ja) 表示装置および表示方法、学習装置および学習方法、並びにプログラム
KR101342806B1 (ko) 최종 디지털 컬러 이미지를 형성하는 방법
JP4154661B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP2008098800A (ja) 画像処理装置、画像処理方法、及びプログラム
JP5152559B2 (ja) 画像処理装置、画像処理方法、およびプログラム
EP2119246B1 (en) Motion adaptive upsampling of chroma video signals
JP4650123B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP4517301B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
JPH07154642A (ja) ディジタル画像信号処理装置
KR20060042124A (ko) 신호 처리 장치, 신호 처리 방법 및 커맨드 열 데이터 구조
JP2004072528A (ja) 補間処理方法、補間処理プログラムおよびこれを記録した記録媒体ならびに画像処理装置およびこれを備えた画像形成装置
JP4734239B2 (ja) 空間的信号変換
JP5400655B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び、電子機器
JPWO2015083502A1 (ja) 画像処理装置、該方法および該プログラム
JP4235918B2 (ja) 画像処理装置および画像処理方法
JP3750702B2 (ja) 信号変換装置および方法
JP6316640B2 (ja) 映像記録装置、映像再生装置及び映像記録プログラム
JP4674439B2 (ja) 信号処理装置および信号処理方法、並びに情報記録媒体
JP4232430B2 (ja) 画像処理装置および方法、記録媒体、並びに、プログラム
JPWO2015083499A1 (ja) 画像処理装置、該方法および該プログラム
JP4154903B2 (ja) 画像処理装置および画像処理方法、並びにプログラムおよび記録媒体
JP2010079411A (ja) 学習装置、画像処理装置、学習方法、画像処理方法、及びプログラム
JPH0856335A (ja) ディジタル画像信号の変換装置
JP2003299098A (ja) データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100405

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100422

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100505

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130528

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees