JP2013009293A - 画像処理装置、画像処理方法、プログラム、および記録媒体、並びに学習装置 - Google Patents

画像処理装置、画像処理方法、プログラム、および記録媒体、並びに学習装置 Download PDF

Info

Publication number
JP2013009293A
JP2013009293A JP2011253531A JP2011253531A JP2013009293A JP 2013009293 A JP2013009293 A JP 2013009293A JP 2011253531 A JP2011253531 A JP 2011253531A JP 2011253531 A JP2011253531 A JP 2011253531A JP 2013009293 A JP2013009293 A JP 2013009293A
Authority
JP
Japan
Prior art keywords
pixel
image
prediction
bayer array
color component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011253531A
Other languages
English (en)
Inventor
Keisuke Senda
圭祐 千田
Takashi Miyai
岳志 宮井
Noriaki Takahashi
紀晃 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011253531A priority Critical patent/JP2013009293A/ja
Priority to EP12162020.7A priority patent/EP2525325B1/en
Priority to US13/440,334 priority patent/US20120294513A1/en
Priority to CN201210144916.5A priority patent/CN102789630B/zh
Publication of JP2013009293A publication Critical patent/JP2013009293A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

【課題】ベイヤ配列の画像から拡大されたカラー画像を高精度に生成することできるようにする。
【解決手段】予測演算部は、学習された予測係数と予測タップとの演算により、色成分ごとに注目画素の画素値を求め、色成分ごとの注目画素の画素値から構成される出力画像を出力する。本技術は、例えば、画像処理装置に適用することができる。
【選択図】図５

Description

本技術は、画像処理装置、画像処理方法、プログラム、および記録媒体、並びに学習装置に関し、特に、ベイヤ配列の画像から拡大されたカラー画像を高精度に生成することできるようにした画像処理装置、画像処理方法、プログラム、および記録媒体、並びに学習装置に関する。
従来、小型化のため、CCD（Charge Coupled Device）やCMOS（Complementary Metal-Oxide Semiconductor）イメージセンサ等の撮像素子を１つだけ備える撮影装置がある。このような撮影装置では、一般的に、撮像素子の各画素に異なるカラーフィルタが施され、画素ごとに、ＲＧＢ等の複数の色のうちのいずれか１つの色の信号が取得される。これにより、撮像素子で取得される画像は、例えば、図１に示すようなカラー配列の画像となる。以下では、図１のカラー配列をベイヤ配列という。
撮像素子により取得されたベイヤ配列の画像は、通常、デモザイク処理と呼ばれる補間処理により、画素ごとにＲＧＢ等の複数の色の成分の画素値を有するカラー画像に変換される。
また、ベイヤ配列の画像から拡大されたカラー画像を生成する方法としては、デモザイク処理によりベイヤ配列の画像からカラー画像を生成し、そのカラー画像に対して拡大処理を行う方法がある(例えば、特許文献１参照)。
図２は、このような方法で拡大されたカラー画像を生成する画像処理装置の構成の一例を示すブロック図である。
図２の画像処理装置１０は、撮像素子１１、デモザイク処理部１２、および拡大処理部１３により構成される。
画像処理装置１０の撮像素子１１は、各画素に異なるカラーフィルタが施されている。撮像素子１１は、被写体からの光のＲ成分、Ｇ成分、およびＢ成分のうちのいずれか１つの成分のアナログ信号を画素ごとに取得し、A/D変換等を行うことにより、ベイヤ配列の画像を生成する。撮像素子１１は、生成されたベイヤ配列の画像をデモザイク処理部１２に供給する。
デモザイク処理部１２は、撮像素子１１から供給されるベイヤ配列の画像に対してデモザイク処理を行い、各画素のＲ成分、Ｇ成分、およびＢ成分の画素値からなるカラー画像(以下、ＲＧＢ画像という)を生成する。そして、デモザイク処理部１２は、生成されたＲＧＢ画像を拡大処理部１３に供給する。
拡大処理部１３は、外部から入力される水平方向および垂直方向の拡大率に基づいて、デモザイク処理部１２から供給されるＲＧＢ画像に対して拡大処理を行い、拡大処理後のＲＧＢ画像を出力画像として出力する。
また、ＲＧＢ画像を任意の倍率に拡大する方法として、クラス分類適応処理を用いる方法がある(例えば、特許文献２参照)。クラス分類適応処理とは、処理後の画像の注目している画素である注目画素を所定のクラスに分類し、そのクラスに対応する学習により求められた予測係数と、注目画素に対応する処理前の画像の画素値との線形結合により注目画素の画素値を予測する処理である。
特開２００６−５４５７６号公報 特許４４４１８６０号公報
図１の画像処理装置１０におけるデモザイク処理および拡大処理として、例えば、クラス分類適応処理が用いられた場合、デモザイク処理によりベイヤ配列の画像に存在する細線部などの情報が失われると、出力画像の精度が劣化する。
具体的には、デモザイク処理により細線部などの情報が失われ、ＲＧＢ画像が平坦部を有する場合、拡大処理部１３では、ＲＧＢ画像の平坦部が、本来存在する平坦部であるか、細線部が失われたことによる平坦部であるかを認識することは困難である。従って、デモザイク処理により細線部などの情報が失われた場合であっても、拡大処理部１３は、デモザイク処理部１２から供給されるＲＧＢ画像を、細線部などの情報が失われていないＲＧＢ画像として拡大処理する。これにより、出力画像は、デモザイク処理前のベイヤ配列の画像を平滑化した画像に対応するものとなり、出力画像の精度が劣化する。
同様に、デモザイク処理によりベイヤ配列の画像には存在しない色のエッジなどが生成された場合も、出力画像の精度が劣化する。
本技術は、このような状況に鑑みてなされたものであり、ベイヤ配列の画像から拡大されたカラー画像を高精度に生成することできるようにするものである。
本技術の第１の側面の画像処理装置は、第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分ごとに、前記教師画像の各画素の画素値、その画素に対応する前記第１の拡大率で拡大された前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数と、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素に対応する、前記第２の拡大率で拡大された前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値を求め、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像を出力する予測演算部を備える画像処理装置である。
本技術の第１の側面の画像処理方法、プログラム、および記録媒体に記録されているプログラムは、本技術の第１の側面の画像処理装置に対応する。
本技術の第１の側面においては、第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分ごとに、前記教師画像の各画素の画素値、その画素に対応する前記第１の拡大率で拡大された前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数と、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素に対応する、前記第２の拡大率で拡大された前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値が求められ、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像が出力される。
本技術の第２の側面の学習装置は、所定のベイヤ配列の画像を、第１の拡大率で拡大された前記所定のベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成される所定のカラー画像に変換するときに用いられる予測係数の学習に用いる、前記所定のベイヤ配列の画像に対応する生徒画像が第２の拡大率に基づいて拡大された結果得られる画像のうちの、その画像に対応するカラー画像である教師画像のうちの注目している画素である注目画素に対応する画素の画素値からなる予測タップと、前記注目画素の画素値とを用いて、前記教師画像の各画素の色成分ごとに、前記教師画像の各画素の画素値、その画素の前記予測タップ、および前記予測係数の関係を示す式を解くことで、前記色成分ごとの前記予測係数を求める学習部を備える学習装置である。
本技術の第２の側面の学習方法、プログラム、および記録媒体に記録されているプログラムは、本技術の第２の側面の学習装置に対応する。
本技術の第２の側面においては、所定のベイヤ配列の画像を、第１の拡大率で拡大された前記所定のベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成される所定のカラー画像に変換するときに用いられる予測係数の学習に用いる、前記所定のベイヤ配列の画像に対応する生徒画像が第２の拡大率に基づいて拡大された結果得られる画像のうちの、その画像に対応するカラー画像である教師画像のうちの注目している画素である注目画素に対応する画素の画素値からなる予測タップと、前記注目画素の画素値とを用いて、前記教師画像の各画素の色成分ごとに、前記教師画像の各画素の画素値、その画素の前記予測タップ、および前記予測係数の関係を示す式を解かれることで、前記色成分ごとの前記予測係数が求められる。
本技術の第３の側面の画像処理装置は、第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分、および、前記教師画像の各画素の前記生徒画像上の位置と、その位置に最も近い前記生徒画像の画素の位置との距離である画素間距離ごとに、前記教師画像の各画素の画素値、その画素に対応する前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数のうちの、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素の前記所定のベイヤ配列の画像上の位置と、その位置に最も近い前記所定のベイヤ配列の画像の画素である注目直近画素の位置との距離である注目画素間距離に対応する予測係数と、前記注目画素に対応する前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値を求め、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像を出力する予測演算部を備える画像処理装置である。
本技術の第３の側面においては、第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分、および、前記教師画像の各画素の前記生徒画像上の位置と、その位置に最も近い前記生徒画像の画素の位置との距離である画素間距離ごとに、前記教師画像の各画素の画素値、その画素に対応する前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数のうちの、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素の前記所定のベイヤ配列の画像上の位置と、その位置に最も近い前記所定のベイヤ配列の画像の画素である注目直近画素の位置との距離である注目画素間距離に対応する予測係数と、前記注目画素に対応する前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値が求められ、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像が出力される。
本技術の第４の側面の学習装置は、所定のベイヤ配列の画像を、第１の拡大率で拡大された前記所定のベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成される所定のカラー画像に変換するときに用いられる予測係数の学習に用いる、前記所定のベイヤ配列の画像に対応する生徒画像が第２の拡大率に基づいて拡大された結果得られる画像のうちの、その画像に対応するカラー画像である教師画像のうちの注目している画素である注目画素に対応する画素の画素値からなる予測タップと、前記注目画素の画素値とを用いて、前記教師画像の各画素の色成分ごとに、前記教師画像の各画素の画素値、その画素の前記予測タップ、および前記予測係数の関係を示す式を解くことで、前記色成分ごとの前記予測係数を求める学習部を備える学習装置である。
本技術の第４の側面においては、所定のベイヤ配列の画像を、第１の拡大率で拡大された前記所定のベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成される所定のカラー画像に変換するときに用いられる予測係数の学習に用いる、前記所定のベイヤ配列の画像に対応する生徒画像が第２の拡大率に基づいて拡大された結果得られる画像のうちの、その画像に対応するカラー画像である教師画像のうちの注目している画素である注目画素に対応する画素の画素値からなる予測タップと、前記注目画素の画素値とを用いて、前記教師画像の各画素の色成分ごとに、前記教師画像の各画素の画素値、その画素の前記予測タップ、および前記予測係数の関係を示す式が解かれることで、前記色成分ごとの前記予測係数が求められる。
本技術の第１および第３の側面によれば、ベイヤ配列の画像から拡大されたカラー画像を高精度に生成することできる。
また、本技術の第２および第４の側面によれば、ベイヤ配列の画像から拡大されたカラー画像を高精度に生成するための予測係数を学習することができる。
ベイヤ配列の例を示す図である。 画像処理装置の構成の一例を示すブロック図である。 本技術を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。 図３の拡大処理部の詳細構成例を示すブロック図である。 図４の拡大予測処理部の詳細構成例を示すブロック図である。 出力画像の各画素の位置を示す第１の図である。 図５の拡大予測処理部におけるクラスタップのタップ構造の例を示す図である。 図５の拡大予測処理部における予測タップのタップ構造の例を示す図である。 図５の補間部により補間されるクラスタップに対応する位置を示す図である。 拡大処理部の画像処理を説明するフローチャートである。 図５の拡大予測処理部における予測係数を学習する学習装置の構成例を示すブロック図である。 図１１の学習装置の学習処理を説明するフローチャートである。 出力画像の例を示す図である。 本技術を適用した画像処理装置の第２実施の形態の拡大予測処理部の構成例を示すブロック図である。 出力画像の各画素の位置を示す第２の図である。 図１４の拡大予測処理部におけるクラスタップのタップ構造の例を示す図である。 図１４の拡大予測処理部における予測タップのタップ構造の例を示す図である。 センター画素の位置を説明する図である。 図１４の拡大予測処理部を有する拡大処理部の画像処理を説明するフローチャートである。 図１４の拡大予測処理部における予測係数を学習する学習装置の構成例を示すブロック図である。 図２０の学習装置の学習処理を説明するフローチャートである。 コンピュータの一実施の形態の構成例を示す図である。
＜第１実施の形態＞
［画像処理装置の構成例］
図３は、本技術を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。
図３に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図３の画像処理装置３０の構成は、主に、デモザイク処理部１２と拡大処理部１３の代わりに拡大処理部３１が設けられている点が図２の構成と異なる。画像処理装置３０は、クラス分類適応処理を用いて、ベイヤ配列の画像から拡大されたＲＧＢ画像を直接生成する。
具体的には、画像処理装置３０の拡大処理部３１は、図示せぬユーザなどにより外部から入力される水平方向および垂直方向の拡大率に基づいて、撮像素子１１により生成されるベイヤ配列の画像を拡大する。
なお、水平方向および垂直方向の拡大率は、同一であっても異なっていてもよい。また、水平方向および垂直方向の拡大率は、整数であっても分数であってもよい。
また、拡大処理部３１は、拡大後のベイヤ配列の画像に対してクラス分類適応処理を行い、ＲＧＢ画像を生成する。拡大処理部３１は、生成されたＲＧＢ画像を出力画像として出力する。
［拡大処理部の構成例］
図４は、図３の拡大処理部３１の詳細構成例を示すブロック図である。
図４の拡大処理部３１は、画素欠陥補正部５１、クランプ処理部５２、ホワイトバランス部５３、および拡大予測処理部５４により構成される。
拡大処理部３１の画素欠陥補正部５１、クランプ処理部５２、およびホワイトバランス部５３は、出力画像の画質を高めるために、ベイヤ配列の画像に対して前処理を行う。
具体的には、拡大処理部３１の画素欠陥補正部５１は、図３の撮像素子１１から供給されるベイヤ配列の画像のうち、撮像素子１１の欠陥のある画素の画素値を検出する。ここで、撮像素子１１の欠陥のある画素とは、何らかの理由で入射光に反応しない素子や常に電荷を蓄えている素子である。画素欠陥補正部５１は、検出された撮像素子１１の欠陥のある画素の画素値を、周囲の欠陥のない画素の画素値などを用いて補正し、補正後のベイヤ配列の画像をクランプ処理部５２に供給する。
クランプ処理部５２は、画素欠陥補正部５１から供給される補正後のベイヤ配列の画像をクランプする。具体的には、撮像素子１１は、負の値が削除されることを防止するため、アナログ信号の信号値を正の方向にシフトした後、A/D変換を行う。従って、クランプ処理部５２は、そのA/D変換時のシフト分を打ち消すように、補正後のベイヤ配列の画像をクランプする。クランプ処理部５２は、クランプ後のベイヤ配列の画像をホワイトバランス部５３に供給する。
ホワイトバランス部５３は、クランプ処理部５２から供給されるベイヤ配列の画像の各色成分のゲインを補正することにより、ホワイトバランスを調整する。ホワイトバランス部５３は、ホワイトバランスが調整されたベイヤ配列の画像を拡大予測処理部５４に供給する。
拡大予測処理部５４は、外部から入力される水平方向および垂直方向の拡大率に基づいて、ホワイトバランス部５３から供給されるベイヤ配列の画像を拡大する。そして、拡大予測処理部５４は、拡大後のベイヤ配列の画像に対してクラス分類適応処理を行い、ＲＧＢ画像を生成する。拡大予測処理部５４は、生成されたＲＧＢ画像を出力画像として出力する。
［拡大予測処理部の詳細構成例］
図５は、図４の拡大予測処理部５４の詳細構成例を示すブロック図である。
図５の拡大予測処理部５４は、補間部７１、予測タップ取得部７２、クラスタップ取得部７３、クラス番号発生部７４、係数発生部７５、および予測演算部７６により構成される。
拡大予測処理部５４の補間部７１は、拡大処理部として機能し、外部から入力される水平方向および垂直方向の拡大率に基づいて、予測する出力画像の各画素の、図４のホワイトバランス部５３から供給されるベイヤ配列の画像内の位置を決定する。補間部７１は、出力画像の各画素を順に注目画素とする。補間部７１は、ベイヤ配列の画像内の、注目画素の画素値を予測するために用いる１以上の画素値（以下、予測タップという）に対応する位置を決定する。具体的には、補間部７１は、出力画像内の注目画素の位置と同一のベイヤ配列の画像内の位置に対して、空間的に所定の位置関係にある位置を、予測タップに対応する位置に決定する。
補間部７１は、ベイヤ配列の画像に対して所定の補間処理を行い、予測タップに対応する位置の各色成分の画素値を補間する。補間部７１は、補間の結果得られる各色成分の予測タップを予測タップ取得部７２に供給する。
また、補間部７１は、ベイヤ配列の画像内の、注目画素を１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うために用いる１以上の画素値（以下、クラスタップという）に対応する位置を決定する。具体的には、補間部７１は、出力画像内の注目画素の位置と同一のベイヤ配列の画像内の位置に対して、空間的に所定の位置関係にある位置を、クラスタップに対応する位置に決定する。
補間部７１は、ベイヤ配列の画像に対して所定の補間処理を行い、クラスタップに対応する位置の各色成分の画素値を補間する。補間部７１は、補間の結果得られる各色成分のクラスタップをクラスタップ取得部７３に供給する。
なお、補間部７１における補間処理としては、例えば、バイキュービク法による補間処理、線形補間処理などを用いることができる。また、予測タップとクラスタップは、同一のタップ構造を有するものとすることも、異なるタップ構造を有するものとすることも可能である。但し、予測タップとクラスタップのタップ構造は、拡大率によらず一定である。
予測タップ取得部７２は、補間部７１から供給される各色成分の予測タップを取得し、予測演算部７６に供給する。
クラスタップ取得部７３は、補間部７１から供給される各色成分のクラスタップを取得し、クラス番号発生部７４に供給する。
クラス番号発生部７４は、クラス分類部として機能し、クラスタップ取得部７３から供給される各色成分のクラスタップに基づいて、色成分ごとに注目画素をクラス分類する。クラス番号発生部７４は、その結果得られるクラスに対応するクラス番号を発生して、係数発生部７５に供給する。
クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)を用いる方法を採用することができる。
クラス分類を行う方法としてADRCを用いる方法が採用された場合、クラスタップを構成する画素値がADRC処理され、その結果得られる再量子化コードにしたがって、注目画素のクラス番号が決定される。
具体的には、ADRC処理として、以下の式（１）により、クラスタップの最大値MAXと最小値MINの間を指定されたビット数ｐで均等に分割して再量子化する処理が行われる。
qi=[(ki-MIN+0.5)*2^p/DR]
・・・（１）
なお、式（１）において、［］は、［］内の値の小数点以下を切り捨てることを意味する。また、kiは、クラスタップのi番目の画素値を表し、qiは、クラスタップのi番目の画素値の再量子化コードを表す。また、DRは、ダイナミックレンジであり、MAX-MIN+1である。
そして、このようにして求められた再量子化コードqiを用いて、以下の式（２）により、注目画素のクラス番号classが算出される。
Figure 2013009293
なお、式（２）において、ｎは、クラスタップを構成する画素値の数である。
クラス分類を行う方法としては、ADRCを用いる方法の他に、DCT(Discrete Cosine Transform)，VQ(Vector Quantization)，DPCM（differential pulse code modulation）などのデータ圧縮方式を応用し、データ圧縮した結果のデータ量をクラス番号とする方法などを用いることもできる。
係数発生部７５は、図１１および図１２を参照して後述する学習によって求められた色成分およびクラスごとの予測係数を記憶する。係数発生部７５は、記憶している予測係数のうちの、クラス番号発生部７４から供給される各色成分のクラス番号に対応するクラスの予測係数を読み出し、予測演算部７６に供給する。
予測演算部７６は、予測タップ取得部７２から供給される各色成分の予測タップと、係数発生部７５から供給される各色成分の予測係数とを用いて、色成分ごとに、注目画素の画素値の真値の予測値を求める所定の予測演算を行う。これにより、予測演算部７６は、注目画素の各色成分の画素値の予測値を、出力画像の注目画素の各色成分の画素値として生成し、出力する。
［出力画像の各画素の位置の例］
図６は、水平方向および垂直方向の拡大率が２倍である場合の出力画像の各画素の位置を示す図である。
なお、図６において、白丸は、補間部７１に入力されるベイヤ配列の画像の画素の位置を表し、黒丸は出力画像の画素の位置を表す。
図６に示すように、水平方向および垂直方向の拡大率が２倍である場合、出力画像の各画素の水平方向の位置の間隔は、補間部７１に入力されるベイヤ配列の画像の各画素の水平方向の位置の間隔の1/2である。また、出力画像の各画素の垂直方向の位置の間隔は、補間部７１に入力されるベイヤ配列の画像の各画素の垂直方向の位置の間隔の1/2である。
［クラスタップのタップ構造の例］
図７は、クラスタップのタップ構造の例を示す図である。なお、クラスタップのタップ構造は、図７の構造以外の構造とすることが可能である。
図７において、バツ印は、出力画像内の注目画素の位置と同一のベイヤ配列の画像内の位置（以下、注目画素対応位置という）を表している。また、図７において、丸印は、注目画素のクラスタップに対応するベイヤ配列の画像内の位置を表している。
図７の例では、注目画素対応位置を中心として、水平方向および垂直方向に、それぞれ、ベイヤ配列の画像の画素単位の間隔で５個ずつ並ぶ合計９個の位置に対応する画素値がクラスタップとされる。
この場合、クラスタップに対応する位置は、外部から入力される水平方向および垂直方向の拡大率で拡大されたベイヤ配列の画像のいずれかの画素の位置と同一である。即ち、クラスタップは、外部から入力される水平方向および垂直方向の拡大率で拡大されたベイヤ配列の画像のうちの９個の画素値からなる。また、注目画素対応位置と、クラスタップに対応する位置との関係は、外部から入力される水平方向および垂直方向の拡大率によらず一定となる。
［予測タップのタップ構造の例］
図８は、予測タップのタップ構造の例を示す図である。なお、予測タップのタップ構造は、図８の構造以外の構造とすることが可能である。
図８において、バツ印は、注目画素対応位置を表している。また、図８において、丸印は、注目画素の予測タップに対応するベイヤ配列の画像内の位置を表している。
図８の例では、注目画素対応位置を中心として水平方向および垂直方向に、それぞれ、ベイヤ配列の画像の画素単位の間隔で５個ずつ並ぶ合計９個の位置と、その位置のうちの、注目画素対応位置と左右に隣り合う２個の位置それぞれから上下方向にベイヤ配列の画像の画素単位の間隔で１個ずつ並ぶ合計４個の位置とからなる合計１３個の位置に対応する画素値が予測タップとされる。即ち、予測タップを構成する画素値に対応する位置は、いわばひし形状に並んでいる。
この場合、予測タップに対応する位置は、外部から入力される水平方向および垂直方向の拡大率で拡大されたベイヤ配列の画像のいずれかの画素の位置と同一である。即ち、予測タップは、外部から入力される水平方向および垂直方向の拡大率で拡大されたベイヤ配列の画像のうちの１３個の画素値からなる。また、注目画素対応位置と、予測タップに対応する位置との関係は、外部から入力される水平方向および垂直方向の拡大率によらず一定となる。
［補間部による補間の説明］
図９は、図５の補間部７１により補間されるクラスタップに対応する位置を示す図である。
なお、図９において、バツ印は、注目画素対応位置を表している。また、図９において、白丸は、補間部７１に入力されるベイヤ配列の画像の画素の位置を表し、黒丸は出力画像の画素の位置を表す。また、図９の例では、水平方向および垂直方向の拡大率が２倍であり、クラスタップの構造は図７の構造である。
図９に示すように、補間部７１は、例えば、注目画素対応位置を中心として、水平方向および垂直方向に、それぞれ、ベイヤ配列の画像の１画素分の間隔ずつ離れて５個ずつ並ぶ合計９個の位置に対応する画素値がクラスタップとして補間される。即ち、図９において、点線の丸で囲われた黒丸で表される位置の画素値がクラスタップとして補間される。
なお、クラスタップの補間は、色成分ごとに、その色成分のベイヤ配列の画像の画素値のうちの、クラスタップを構成する各画素値に対応する位置の周辺位置の画素値を用いて行われる。例えば、図９の注目画素対応位置の注目画素のＲ成分の画素値を生成する際に用いられるＲ成分のクラスタップは、ベイヤ配列の画像のうちの、図９中点線の丸で囲われた黒丸で表される９個の位置それぞれの周辺位置のＲ成分の画素値を用いて補間される。
［予測演算の説明］
次に、図５の予測演算部７６における予測演算と、その予測演算に用いられる予測係数の学習について説明する。
いま、所定の予測演算として、例えば、線形１次予測演算を採用することとすると、出力画像の各画素の各色成分の画素値ｙは、次の線形１次式によって求められることになる。
Figure 2013009293
なお、式（３）において、ｘiは、画素値ｙについての予測タップを構成する画素値のうちのｉ番目の画素値を表し、Ｗiは、そのｉ番目の画素値と乗算されるi番目の予測係数を表す。また、nは、予測タップを構成する画素値の数を表している。
また、第ｋサンプルの出力画像の画素の各色成分の画素値の予測値をｙk’と表すと、予測値ｙk’は以下の式（４）で表される。
yk’=W1×xk1＋W2×xk2＋・・・＋Wn×xkn
・・・（４）
なお、式（４）において、ｘkiは、予測値ｙk’の真値についての予測タップを構成する画素値のうちのi番目の画素値を表し、Ｗiは、そのｉ番目の画素値と乗算されるi番目の予測係数を表す。また、nは、予測タップを構成する画素値の数を表している。
また、予測値ｙk’の真値をｙkと表すと、予測誤差ｅkは、以下の式（５）で表される。
ek=yk-｛W1×xk1＋W2×xk2＋・・・＋Wn×xkn｝
・・・（５）
なお、式（５）において、ｘkiは、予測値ｙk’の真値についての予測タップを構成する画素値のうちのi番目の画素値を表し、Ｗiは、そのｉ番目の画素値と乗算されるi番目の予測係数を表す。また、nは、予測タップを構成する画素値の数を表している。
式（５）の予測誤差ｅkを０とする予測係数Ｗiが、真値ｙkを予測するのに最適なものとなるが、学習用のサンプルの数がｎより小さい場合は、予測係数Ｗiは一意に定まらない。
そこで、予測係数Ｗiが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な予測係数Ｗiは、以下の式（６）で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
Figure 2013009293
式（６）の自乗誤差の総和Ｅの最小値（極小値）は、以下の式（７）に示すように、総和Ｅを予測係数Ｗiで偏微分したものを０とするＷiによって与えられる。
Figure 2013009293
以下の式（８）および式（９）に示すようにＸjiとＹiを定義すると、式（７）は、以下の式（１０）のように行列式の形で表すことができる。
Figure 2013009293
Figure 2013009293
Figure 2013009293
なお、式（８）乃至（１０）において、ｘkiは、予測値ｙk’の真値についての予測タップを構成する画素値のうちのi番目の画素値を表し、Ｗiは、そのｉ番目の画素値と乗算されるi番目の予測係数を表す。また、nは、予測タップを構成する画素値の数を表し、ｍは、学習用のサンプルの数を表している。
式（１０）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などの一般的な行列解法を用いることにより、予測係数Ｗiについて解くことができる。
以上により、クラスおよび色成分ごとの最適な予測係数Ｗiの学習は、式（１０）の正規方程式をクラスおよび色成分ごとにたてて解くことにより行うことができる。
なお、画素値ｙは、式（３）に示した線形１次式ではなく、２次以上の高次の式によって求められるようにすることも可能である。
［画像処理装置の処理の説明］
図１０は、図４の拡大処理部３１の画像処理を説明するフローチャートである。この画像処理は、例えば、撮像素子１１からベイヤ配列の画像が供給されたとき、開始される。
図１０のステップＳ１１において、拡大処理部３１の画素欠陥補正部５１は、図３の撮像素子１１から供給されるベイヤ配列の画像のうち、撮像素子１１の欠陥のある画素の画素値を検出する。
ステップＳ１２において、画素欠陥補正部５１は、ステップＳ１１で検出された撮像素子１１の欠陥のある画素の画素値を、周囲の欠陥のない画素の画素値などを用いて補正し、補正後のベイヤ配列の画像をクランプ処理部５２に供給する。
ステップＳ１３において、クランプ処理部５２は、画素欠陥補正部５１から供給される補正後のベイヤ配列の画像をクランプする。クランプ処理部５２は、クランプ後のベイヤ配列の画像をホワイトバランス部５３に供給する。
ステップＳ１４において、ホワイトバランス部５３は、クランプ処理部５２から供給されるクランプ後のベイヤ配列の画像の各色成分のゲインを補正することにより、ホワイトバランスを調整する。ホワイトバランス部５３は、ホワイトバランスが調整されたベイヤ配列の画像を拡大予測処理部５４に供給する。
ステップＳ１５において、拡大予測処理部５４の補間部７１（図５）は、外部から入力される水平方向および垂直方向の拡大率に基づいて、予測する出力画像の画素数を決定し、出力画像の画素のうちの、まだ注目画素とされていない画素を注目画素に決定する。
ステップＳ１６において、補間部７１は、図４のホワイトバランス部５３から供給されるベイヤ配列の画像内の、注目画素の予測タップに対応する位置を決定する。
ステップＳ１７において、補間部７１は、ベイヤ配列の画像に対して所定の補間処理を行い、予測タップに対応する位置の各色成分の画素値を予測タップとして補間する。補間部７１は、各色成分の予測タップを、予測タップ取得部７２を介して予測演算部７６に供給する。
ステップＳ１８において、補間部７１は、ベイヤ配列の画像内の、注目画素のクラスタップに対応する位置を決定する。
ステップＳ１９において、補間部７１は、ホワイトバランス部５３から供給されるベイヤ配列の画像に対して所定の補間処理を行い、クラスタップに対応する位置の各色成分の画素値をクラスタップとして補間する。補間部７１は、各色成分のクラスタップを、クラスタップ取得部７３を介してクラス番号発生部７４に供給する。
ステップＳ２０において、クラス番号発生部７４は、クラスタップ取得部７３から供給される各色成分のクラスタップに基づいて、色成分ごとに注目画素をクラス分類し、その結果得られるクラスに対応するクラス番号を発生して、係数発生部７５に供給する。
ステップＳ２１において、係数発生部７５は、記憶しているクラスおよび色成分ごとの予測係数のうちの、クラス番号発生部７４から供給される各色成分のクラス番号に対応するクラスの予測係数を読み出し、予測演算部７６に供給する。
ステップＳ２２において、予測演算部７６は、予測タップ取得部７２が供給する各色成分の予測タップと、係数発生部７５から供給される各色成分の予測係数とを用いて、色成分ごとに、上述した式（３）の演算を所定の予測演算として行う。これにより、予測演算部７６は、注目画素の各色成分の画素値の予測値を、出力画像の注目画素の各色成分の画素値として生成し、出力する。
ステップＳ２３において、補間部７１は、出力画像の全ての画素を注目画素としたかどうかを判定する。ステップＳ２３でまだ出力画像の全ての画素を注目画素としていないと判定された場合、処理はステップＳ１５に戻り、出力画像の全ての画素を注目画素とするまで、ステップＳ１５乃至Ｓ２３の処理を繰り返す。
一方、ステップＳ２３で出力画像の全ての画素を注目画素としたと判定された場合、処理は終了する。
以上のように、画像処理装置３０は、外部から入力される拡大率に基づいてベイヤ配列の画像を拡大することにより注目画素の各色成分の予測タップを生成し、色成分ごとに、予測タップと予測係数を用いて所定の予測演算を行い、注目画素の各色成分の画素値を求める。即ち、画像処理装置３０は、ベイヤ配列の画像から出力画像を直接生成する。従って、２回の処理に分けて出力画像を生成する従来の画像処理装置１０に比べて、細線部や色のエッジなどが変化した可能性のある１回目の処理結果を用いて出力画像が生成されないので、出力画像を高精度に生成することができる。
また、従来の画像処理装置１０に比べて、１回目の処理結果を一時的に記憶する必要がないため、出力画像の精度の劣化を防止することができる。
具体的には、従来の画像処理装置１０では、２回の処理に分けて出力画像が生成されるので、１回目の処理結果であるＲＧＢ画像を、少なくとも２回目の処理で出力画像の１つの画素を生成するために用いられる画素分だけ図示せぬメモリに蓄えておく必要がある。このメモリの記憶容量は、現実的には有限であるため、１回目の処理結果であるＲＧＢ画像の各画素の画素値のビット数を削減する必要がある場合があり、この場合、出力画像の精度が劣化する。これに対して、画像処理装置３０は、ベイヤ配列の画像から出力画像を直接生成するので、処理の途中結果を記憶させておく必要がなく、出力画像の精度の劣化を防止することができる。
さらに、画像処理装置３０は、クラス分類適応処理を行うブロックを１つだけ備えるので、デモザイク処理用および拡大処理用にクラス分類適応処理を行うブロックをそれぞれ備える従来の画像処理装置１０に比べて、回路規模を縮小することができる。
［学習装置の構成例］
図１１は、図５の係数発生部７５に記憶される予測係数Ｗiを学習する学習装置１００の構成例を示すブロック図である。
図１１の学習装置１００は、教師画像記憶部１０１、縮小処理部１０２、間引き処理部１０３、補間部１０４、予測タップ取得部１０５、クラスタップ取得部１０６、クラス番号発生部１０７、足し込み部１０８、および予測係数算出部１０９により構成される。
学習装置１００には、予測係数Ｗiの学習に用いられる学習用の画像として教師画像が入力される。ここでは、教師画像として、図５の拡大予測処理部５４で生成される理想的な出力画像、即ち、出力画像と同一の解像度の高精度のＲＧＢ画像が用いられる。
教師画像記憶部１０１は、教師画像を記憶する。教師画像記憶部１０１は、記憶している教師画像を複数の画素からなるブロックに分割し、各ブロックを順次注目ブロックとする。教師画像記憶部１０１は、注目ブロックの各色成分の画素値を足し込み部１０８に供給する。
縮小処理部１０２は、水平方向および垂直方向の所定の縮小率で、教師画像を水平方向および垂直方向に縮小し、縮小後の教師画像を間引き処理部１０３に供給する。
間引き処理部１０３は、ベイヤ配列にしたがって、縮小処理部１０２から供給される縮小後の教師画像の各色成分の画素値のうちの所定の色成分の画素値を間引き、ベイヤ配列の画像を生成する。また、間引き処理部１０３は、生成されたベイヤ配列の画像に対して、撮像素子１１が有する図示せぬ光学ローパスフィルタの処理に対応するフィルタ処理を行う。これにより、撮像素子１１で生成されるベイヤ配列の画像により近似したベイヤ配列の画像を生成することができる。間引き処理部１０３は、フィルタ処理後のベイヤ配列の画像を、教師画像に対応する生徒画像として補間部１０４に供給する。
補間部１０４は、拡大処理部として機能し、縮小処理部１０２における水平方向および垂直方向の所定の縮小率に対応する拡大率に基づいて、注目ブロックの各画素の、間引き処理部１０３から供給される生徒画像内の位置を求める。そして、補間部１０４は、注目ブロックの各画素を注目画素とし、図５の補間部７１と同様に、注目画素の予測タップに対応する位置およびクラスタップに対応する位置を決定する。補間部１０４は、生徒画像に対して補間部７１と同様の補間処理を行い、注目ブロックの各色成分の予測タップおよびクラスタップを補間する。そして、補間部１０４は、注目ブロックの各画素の各色成分の予測タップを予測タップ取得部１０５に供給し、クラスタップをクラスタップ取得部１０６に供給する。
予測タップ取得部１０５は、補間部１０４から供給される注目ブロックの各画素の各色成分の予測タップを取得し、足し込み部１０８に供給する。
クラスタップ取得部１０６は、補間部１０４から供給される注目ブロックの各画素の各色成分のクラスタップを取得し、クラス番号発生部１０７に供給する。
クラス番号発生部１０７は、クラスタップ取得部１０６から供給される注目ブロックの各画素の各色成分のクラスタップに基づいて、図５のクラス番号発生部７４と同様に、色成分ごとに注目ブロックの各画素をクラス分類する。クラス番号発生部１０７は、その結果得られる注目ブロックの各画素のクラスに対応するクラス番号を発生して、足し込み部１０８に供給する。
足し込み部１０８は、教師画像記憶部１０１からの注目ブロックの各色成分の画素値と、予測タップ取得部１０５からの注目ブロックの各色成分の予測タップとを対象とした足し込みを、クラス番号発生部１０７からの注目ブロックのクラス番号のクラスおよび色成分ごとに行う。
具体的には、足し込み部１０８は、注目ブロックの各画素の予測タップの各画素の画素値をｘkiおよびｘkj（i,j=1,2,・・・,n）として、クラスおよび色成分ごとに、式（１０）の左辺の行列におけるＸijを演算する。
また、足し込み部１０８は、注目ブロックの各画素の各色成分の画素値をｙkとして、画素値ｘkiを用いて、クラスおよび色成分ごとに、式（１０）の右辺の行列におけるＹiを演算する。
そして、足し込み部１０８は、全ての教師画像の全てのブロックを注目ブロックとして足し込みを行うことにより生成された、クラスおよび色成分ごとの式（１０）の正規方程式を、予測係数算出部１０９に供給する。
予測係数算出部１０９は、学習部として機能し、足し込み部１０８から供給されるクラスおよび色成分ごとの正規方程式を解くことにより、クラスおよび色成分ごとに、最適な予測係数Ｗiを求めて出力する。このクラスおよび色成分ごとの予測係数Ｗiは、図５の係数発生部７５に記憶される。
［学習装置の処理の説明］
図１２は、図１１の学習装置１００の学習処理を説明するフローチャートである。この学習処理は、例えば、教師画像の入力が開始されたとき、開始される。
図１２のステップＳ４１において、学習装置１００の縮小処理部１０２は、水平方向および垂直方向の所定の縮小率で、教師画像を水平方向および垂直方向に縮小し、縮小後の教師画像を間引き処理部１０３に供給する。
ステップＳ４２において、間引き処理部１０３は、ベイヤ配列にしたがって、縮小処理部１０２から供給される縮小後の教師画像の各色成分の画素値のうちの所定の色成分の画素値を間引き、ベイヤ配列の画像を生成する。また、間引き処理部１０３は、生成されたベイヤ配列の画像に対して、撮像素子１１が有する図示せぬ光学ローパスフィルタの処理に対応するフィルタ処理を行う。間引き処理部１０３は、フィルタ処理後のベイヤ配列の画像を、教師画像に対応する生徒画像として補間部１０４に供給する。
ステップＳ４３において、教師画像記憶部１０１は、入力された教師画像を記憶し、記憶している教師画像を複数の画素からなるブロックに分割し、そのブロックのうちの、まだ注目ブロックとされていないブロックを注目ブロックに決定する。
ステップＳ４４において、教師画像記憶部１０１は、記憶している注目ブロックの各色成分の画素値を読み出し、足し込み部１０８に供給する。
ステップＳ４５において、補間部１０４は、間引き処理部１０３から供給される生徒画像内の、注目ブロックの各画素の予測タップに対応する位置を決定する。
ステップＳ４６において、補間部１０４は、生徒画像に対して補間部７１と同様の補間処理を行い、注目ブロックの各色成分の予測タップを補間する。そして、補間部１０４は、注目ブロックの各画素の各色成分の予測タップを、予測タップ取得部１０５を介して、足し込み部１０８に供給する。
ステップＳ４７において、補間部１０４は、生徒画像内の注目ブロックの各画素のクラスタップに対応する位置を決定する。
ステップＳ４８において、補間部１０４は、生徒画像に対して補間部７１と同様の補間処理を行い、注目ブロックの各色成分のクラスタップを補間する。そして、補間部１０４は、注目ブロックの各画素の各色成分のクラスタップを、クラスタップ取得部１０６を介してクラス番号発生部１０７に供給する。
ステップＳ４９において、クラス番号発生部１０７は、クラスタップ取得部１０６から供給される注目ブロックの各画素の各色成分のクラスタップに基づいて、図５のクラス番号発生部７４と同様に、色成分ごとに注目ブロックの各画素をクラス分類する。クラス番号発生部１０７は、その結果得られる注目ブロックの各画素のクラスに対応するクラス番号を、足し込み部１０８に供給する。
ステップＳ５０において、足し込み部１０８は、教師画像記憶部１０１からの注目ブロックの各色成分の画素値と、予測タップ取得部１０５からの注目ブロックの各色成分の予測タップとを対象とした足し込みを、クラス番号発生部１０７からの注目ブロックのクラス番号のクラスおよび色成分ごとに行う。
ステップＳ５１において、足し込み部１０８は、教師画像の全てのブロックを注目ブロックとしたかどうかを判定する。ステップＳ５１でまだ教師画像の全てのブロックを注目ブロックとしていないと判定された場合、処理はステップＳ４３に戻り、全てのブロックを注目ブロックとするまで、ステップＳ４３乃至Ｓ５１の処理が繰り返される。
一方、ステップＳ５１で教師画像の全てのブロックを注目ブロックとしたと判定された場合、処理はステップＳ５２に進む。ステップＳ５２において、足し込み部１０８は、教師画像の入力が終了したかどうか、即ち学習装置１００に新たな教師画像が入力されていないかどうかを判定する。
ステップＳ５２で教師画像の入力が終了していないと判定された場合、即ち学習装置１００に新たな教師画像が入力されている場合、処理はステップＳ４１に戻り、新たな教師画像が入力されなくなるまで、ステップＳ４１乃至Ｓ５２の処理が繰り返される。
一方、ステップＳ５２で教師画像の入力が終了したと判定された場合、即ち学習装置１００に新たな教師画像が入力されなくなった場合、足し込み部１０８は、ステップＳ５０で足し込みを行うことにより生成された、クラスおよび色成分ごとの式（１０）の正規方程式を、予測係数算出部１０９に供給する。
そして、ステップＳ５３において、予測係数算出部１０９は、足し込み部１０８から供給されるクラスおよび色成分ごとの式（１０）の正規方程式のうち、所定のクラスの各色成分の式（１０）の正規方程式を解く。これにより、予測係数算出部１０９は、所定のクラスの各色成分の最適な予測係数Ｗiを求めて出力する。
ステップＳ５４において、予測係数算出部１０９は、全てのクラスの各色成分の式（１０）の正規方程式を解いたかどうかを判定する。ステップＳ５４で全てのクラスの各色成分の式（１０）の正規方程式を解いていないと判定された場合、処理はステップＳ５３に戻り、予測係数算出部１０９は、まだ解かれていないクラスの各色成分の式（１０）の正規方程式を解き、ステップＳ５４の処理を行う。
一方、ステップＳ５４で全てのクラスの各色成分の式（１０）の正規方程式を解いたと判定された場合、処理は終了する。
以上のように、学習装置１００は、水平方向および垂直方向の所定の拡大率に基づいて図５の拡大予測処理部５４に入力されるベイヤ配列の画像に対応する生徒画像を拡大することにより、出力画像に対応する教師画像の注目ブロックの各画素の各色成分の予測タップを生成する。そして、学習装置１００は、注目ブロックの各画素の画素値と予測タップとを用いて、色成分ごとに正規方程式を解くことで、予測係数を求める。これにより、学習装置１００は、図５の拡大予測処理部５４において出力画像を高精度に生成するための予測係数を学習することができる。
なお、縮小処理部１０２における水平方向および垂直方向の縮小率としては、任意の値を用いることができる。
また、上述した説明では、拡大処理部３１は、図１３Ａに示すようにベイヤ配列の画像全体から出力画像を生成したが、図１３Ｂに示すように、ベイヤ配列の画像のうちの所定の範囲（図１３Ｂ中点線で囲われた範囲）から出力画像を生成するようにしてもよい。即ち、拡大処理部３１は、ベイヤ配列の画像に対して拡大ではなく、ズームを行うようにしてもよい。この場合、出力画像は、撮像素子１１により生成されたベイヤ配列の画像の所定の範囲が出力画像全体のサイズに拡大されたベイヤ配列の画像に対応するＲＧＢ画像となる。なお、所定の範囲は、例えば外部からユーザなどにより入力されるようにすることができる。
さらに、上述した説明では、色成分ごとにクラスタップと予測タップが補間されたが、全ての色成分に共通のクラスタップと予測タップが補間されるようにしてもよい。但し、予測係数は、色成分ごとに求められる。
また、第１実施の形態では、クラスタップが、補間部７１により補間されたベイヤ配列の画像または補間部１０４により補間された生徒画像の画素値から構成されたが、補間前のベイヤ配列の画像または生徒画像の画素値から構成されるようにしてもよい。
さらに、第１実施の形態では、図５の補間部７１が、注目画素ごとに所定の補間処理を行い、各色成分の予測タップおよびクラスタップを生成したが、ベイヤ配列の画像全体を色成分ごとに補間処理により拡大し、拡大後の各色成分のベイヤ配列の画像から各色成分の予測タップおよびクラスタップを抽出するようにしてもよい。また、補間部７１は、ベイヤ配列の画像全体を補間処理により拡大し、拡大後のベイヤ配列の画像から全ての色成分に共通の予測タップおよびクラスタップを抽出するようにしてもよい。これらの場合、図１１の補間部１０４においても、図５の補間部７１と同様の処理が行われる。
＜第２実施の形態＞
［画像処理装置の構成例］
本技術を適用した画像処理装置の第２実施の形態の構成は、拡大予測処理部５４の構成を除いて、図３の画像処理装置３０の構成と同様であるので、拡大予測処理部５４の構成についてのみ説明する。
図１４は、本技術を適用した画像処理装置の第２実施の形態の拡大予測処理部５４の構成例を示すブロック図である。
図１４に示す構成のうち、図５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図１４の拡大予測処理部５４の構成は、主に、注目画素位置決定部１３１が新たに設けられる点、および、予測タップ取得部７２、クラスタップ取得部７３、係数発生部７５の代わりに、予測タップ取得部１３２、クラスタップ取得部１３３、係数発生部１３４が設けられている点が図５の構成と異なる。図１４の拡大予測処理部５４は、ベイヤ配列の画像に対して所定の補間処理を行わずに、出力画像を生成する。
具体的には、拡大予測処理部５４の注目画素位置決定部１３１は、外部から入力される水平方向および垂直方向の拡大率に基づいて、予測する出力画像の各画素の、図４のホワイトバランス部５３から供給されるベイヤ配列の画像上の位置を決定する。注目画素位置決定部１３１は、出力画像の各画素を順に注目画素とする。注目画素位置決定部１３１は、注目画素のベイヤ配列の画像上の位置を、注目画素位置として、予測タップ取得部１３２とクラスタップ取得部１３３に供給する。
予測タップ取得部１３２は、注目画素位置決定部１３１から供給される注目画素位置に基づいて、ホワイトバランス部５３から供給されるベイヤ配列の画像から予測タップを取得する。具体的には、予測タップ取得部１３２は、注目画素位置に最も近いベイヤ配列の画像の画素をセンター画素とし、そのセンター画素に対して、空間的に所定の位置関係にあるベイヤ配列の画像の画素の画素値を予測タップとして取得する。予測タップ取得部１３２は、予測タップを予測演算部７６に供給する。
クラスタップ取得部１３３は、注目画素位置決定部１３１から供給される注目画素位置に基づいて、ホワイトバランス部５３から供給されるベイヤ配列の画像からクラスタップを取得する。具体的には、クラスタップ取得部１３３は、注目画素位置に最も近いベイヤ配列の画像の画素をセンター画素（注目直近画素）とし、そのセンター画素に対して、空間的に所定の位置関係にあるベイヤ配列の画像の画素の画素値をクラスタップとして取得する。クラスタップ取得部１３３は、クラスタップをクラス番号発生部７４に供給する。
係数発生部１３４は、図２０および図２１を参照して後述する学習によって求められた注目画素の色成分、クラス、センター画素の色成分、注目画素とセンター画素の距離ごとの予測係数を記憶する。このとき、係数発生部１３４は、予測係数をそのまま記憶するのではなく、DCT、VQ、DPCMなどのデータ圧縮方式を応用したり、多項式近似を用いたりすることによって情報量を削減して記憶する。従って、係数発生部１３４は、予測係数を読み出す際、元の予測係数を復元する。
係数発生部１３４は、記憶している予測係数のうちの、クラス番号発生部７４から供給されるクラス番号のクラス、センター画素の色成分、および注目画素とセンター画素の距離に対応する注目画素の色成分ごとの予測係数を読み出す。そして、係数発生部１３４は、読み出された注目画素の色成分ごとの予測係数を予測演算部７６に供給する。
［出力画像の各画素の位置の例］
図１５は、水平方向および垂直方向の拡大率が３倍である場合の出力画像の各画素の位置を示す図である。
なお、図１５において、白丸は、ベイヤ配列の画像の画素の位置を表し、黒丸は出力画像の画素の位置を表す。
図１５に示すように、水平方向および垂直方向の拡大率が３倍である場合、出力画像の各画素の水平方向の位置の間隔は、図１４の拡大予測処理部５４に入力されるベイヤ配列の画像の各画素の水平方向の位置の間隔の1/3である。また、出力画像の各画素の垂直方向の位置の間隔は、拡大予測処理部５４に入力されるベイヤ配列の画像の各画素の垂直方向の位置の間隔の1/3である。
［クラスタップのタップ構造の例］
図１６は、図１４のクラスタップ取得部１３３が取得するクラスタップのタップ構造の例を示す図である。なお、クラスタップのタップ構造は、図１６の構造以外の構造とすることが可能である。
図１６において、点線の丸は、センター画素を表している。また、図１６において、実線の丸は、注目画素のクラスタップに対応するベイヤ配列の画像の画素を表している。
図１６の例では、センター画素を中心として、水平方向および垂直方向に、それぞれ、５個ずつ並ぶ合計９個のベイヤ配列の画像の画素の画素値がクラスタップとされる。
［予測タップのタップ構造の例］
図１７は、図１４の予測タップ取得部１３２が取得する予測タップのタップ構造の例を示す図である。なお、予測タップのタップ構造は、図１７の構造以外の構造とすることが可能である。
図１７において、点線の丸は、センター画素を表している。また、図１７において、実線の丸は、注目画素の予測タップに対応するベイヤ配列の画像の画素を表している。
図１７の例では、センター画素を中心として、水平方向および垂直方向に、それぞれ、５個ずつ並ぶ合計９個のベイヤ配列の画像の画素と、その画素のうちの、センター画素と左右に隣り合う２個の画素それぞれの上下方向に１個ずつ並ぶ合計４個のベイヤ配列の画像の画素とからなる合計１３個の画素の画素値が予測タップとされる。即ち、予測タップを構成する画素値に対応する画素は、いわばひし形状に並んでいる。
［センター画素の位置の説明］
図１８は、センター画素の位置を説明する図である。
なお、図１８において、点線の丸印は、センター画素の位置を表し、バツ印は、注目画素のベイヤ配列の画像上の位置を表している。また、図１８において、白丸は、ベイヤ配列の画像の画素の位置を表し、黒丸は出力画像の画素の位置を表している。さらに、図１８の例では、水平方向および垂直方向の拡大率が３倍である。
図１８に示すように、センター画素の位置は、注目画素のベイヤ配列の画像上の位置から最も近いベイヤ配列の画像の画素の位置である。従って、センター画素と注目画素の水平方向の距離の絶対値の最大値は、ベイヤ配列の画像の画素の水平方向の間隔の1/2である。同様に、センター画素と注目画素の垂直方向の距離の絶対値の最大値は、ベイヤ配列の画像の画素の垂直方向の間隔の1/2である。
［画像処理装置の処理の説明］
図１９は、画像処理装置３０の第２の実施の形態の拡大処理部３１の画像処理を説明するフローチャートである。この画像処理は、例えば、撮像素子１１からベイヤ配列の画像が供給されたとき、開始される。
図１９のステップＳ７１乃至Ｓ７４の処理は、図１０のステップＳ１１乃至Ｓ１４の処理と同様であるので、説明は省略する。
ステップＳ７５において、拡大予測処理部５４の注目画素位置決定部１３１（図１４）は、外部から入力される水平方向および垂直方向の拡大率に基づいて、予測する出力画像の画素数を決定し、出力画像の画素のうちの、まだ注目画素とされていない画素を注目画素に決定する。
ステップＳ７６において、注目画素位置決定部１３１は、外部から入力される水平方向および垂直方向の拡大率に基づいて注目画素位置を決定し、予測タップ取得部１３２とクラスタップ取得部１３３に供給する。
ステップＳ７７において、予測タップ取得部１３２は、注目画素位置決定部１３１から供給される注目画素位置に基づいて、ホワイトバランス部５３から供給されるベイヤ配列の画像から予測タップを取得する。そして、予測タップ取得部１３２は、予測タップを予測演算部７６に供給する。
ステップＳ７８において、クラスタップ取得部１３３は、注目画素位置決定部１３１から供給される注目画素位置に基づいて、ホワイトバランス部５３から供給されるベイヤ配列の画像からクラスタップを取得する。そして、クラスタップ取得部１３３は、クラスタップをクラス番号発生部７４に供給する。
ステップＳ７９において、クラス番号発生部７４は、クラスタップ取得部１３３から供給されるクラスタップに基づいて、注目画素をクラス分類し、その結果得られるクラスに対応するクラス番号を発生して、係数発生部１３４に供給する。
ステップＳ８０において、係数発生部１３４は、記憶している予測係数のうちの、クラス番号発生部７４から供給されるクラス番号のクラス、センター画素の色成分、および注目画素とセンター画素の距離に対応する注目画素の色成分ごとの予測係数を読み出す。そして、係数発生部１３４は、読み出された注目画素の色成分ごとの予測係数を予測演算部７６に供給する。
ステップＳ８１において、予測演算部７６は、予測タップ取得部１３２から供給される予測タップと、係数発生部１３４から供給される注目画素の色成分ごとの予測係数とを用いて、注目画素の色成分ごとに上述した（３）の演算を所定の予測演算として行う。これにより、予測演算部７６は、注目画素の各色成分の画素値の予測値を、出力画像の注目画素の各色成分の画素値として生成し、出力する。
ステップＳ８２において、注目画素位置決定部１３１は、出力画像の全ての画素を注目画素としたかどうかを判定する。ステップＳ８２でまだ出力画像の全ての画素を注目画素としていないと判定された場合、処理はステップＳ７５に戻り、出力画像の全ての画素を注目画素とするまで、ステップＳ７５乃至Ｓ８２の処理を繰り返す。
一方、ステップＳ８２で出力画像の全ての画素を注目画素としたと判定された場合、処理は終了する。
以上のように、図１４の拡大予測処理部５４を有する画像処理装置３０は、ベイヤ配列のセンター画素に対応する画素の画素値からなる予測タップと、注目画素とセンター画素の距離に対応する注目画素の色成分ごとの予測係数を用いて所定の予測演算を行い、注目画素の各色成分の画素値を求める。即ち、図１４の拡大予測処理部５４を有する画像処理装置３０は、ベイヤ配列の画像から出力画像を直接生成する。従って、２回の処理に分けて出力画像を生成する従来の画像処理装置１０に比べて、細線部や色のエッジなどが変化した可能性のある１回目の処理結果を用いて出力画像が生成されないので、出力画像を高精度に生成することができる。
また、従来の画像処理装置１０に比べて、１回目の処理結果を一時的に記憶する必要がないため、出力画像の精度の劣化を防止することができる。さらに、図１４の拡大予測処理部５４を有する画像処理装置３０は、クラス分類適応処理を行うブロックを１つだけ備えるので、デモザイク処理用および拡大処理用にクラス分類適応処理を行うブロックをそれぞれ備える従来の画像処理装置１０に比べて、回路規模を縮小することができる。
さらに、図１４の拡大予測処理部５４は、拡大率ごとではなく、注目画素とセンター画素の距離ごとの予測係数を記憶するため、拡大率ごとの予測係数を記憶する場合に比べて、予測係数を記憶するために必要な記憶容量が少なくて済む。例えば、拡大率が２倍や４倍である場合の注目画素とセンター画素の距離の種類は、拡大率が８倍である場合の注目画素とセンター画素の距離の種類に含まれるため、図１４の拡大予測処理部５４は、拡大率が８倍である場合の予測係数を記憶すれば、拡大率が２倍や４倍である場合の予測係数を記憶する必要がない。
また、図１４の拡大予測処理部５４は、補間処理を行わなくて済むため、図５の拡大予測処理部５４に比べて処理量を削減することができる。
［学習装置の構成例］
図２０は、図１４の係数発生部１３４に記憶される予測係数Ｗiを学習する学習装置１５０の構成例を示すブロック図である。
図２０に示す構成のうち、図１１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図２０の学習装置１５０の構成は、主に、注目画素位置決定部１５１が新たに設けられる点、および、予測タップ取得部１０５、クラスタップ取得部１０６、足し込み部１０８の代わりに予測タップ取得部１５２、クラスタップ取得部１５３、足し込み部１５４が設けられている点が図１１の構成と異なる。学習装置１５０は、注目画素の色成分、センター画素の色成分、センター画素と注目画素との距離、および注目画素のクラスごとの予測係数を学習する。
具体的には、注目画素位置決定部１５１は、注目ブロックの各画素を注目画素とし、その注目画素の生徒画像上の位置を注目画素位置として決定し、予測タップ取得部１５２とクラスタップ取得部１５３に供給する。
予測タップ取得部１５２は、注目画素位置決定部１５１から供給される注目ブロックの各注目画素位置に基づいて、間引き処理部１０３により生成された生徒画像から注目ブロックの予測タップを取得する。具体的には、予測タップ取得部１５２は、注目画素位置ごとに、その注目画素位置に最も近い生徒画像の画素をセンター画素とし、そのセンター画素に対して、空間的に所定の位置関係にある生徒画像の画素の画素値を予測タップとして取得する。予測タップ取得部１５２は、注目ブロックの予測タップを足し込み部１５４に供給する。
クラスタップ取得部１５３は、注目画素位置決定部１５１から供給される注目ブロックの各注目画素位置に基づいて、間引き処理部１０３により生成された生徒画像から注目ブロックのクラスタップを取得する。具体的には、クラスタップ取得部１５３は、注目画素位置ごとに、その注目画素位置に最も近い生徒画像の画素をセンター画素とし、そのセンター画素に対して、空間的に所定の位置関係にある生徒画像の画素の画素値をクラスタップとして取得する。クラスタップ取得部１５３は、注目ブロックのクラスタップをクラス番号発生部１０７に供給する。
足し込み部１５４は、教師画像記憶部１０１からの注目ブロックの各色成分の画素値と、予測タップ取得部１５２からの注目ブロックの予測タップとを対象とした足し込みを、クラス番号発生部１０７からの注目ブロックの各画素のクラス番号のクラス、その画素の色成分、その画素に対応するセンター画素の色成分、および、その画素とセンター画素との距離ごとに行う。
そして、足し込み部１５４は、全ての教師画像の全てのブロックを注目ブロックとして足し込みを行うことにより生成された、教師画像の画素のクラス、その画素の色成分、その画素に対応するセンター画素の色成分、および、その画素とセンター画素の距離ごとの式（１０）の正規方程式を、予測係数算出部１０９に供給する。
［学習装置の処理の説明］
図２１は、図２０の学習装置１５０の学習処理を説明するフローチャートである。この学習処理は、例えば、教師画像の入力が開始されたとき、開始される。
図２１のステップＳ１０１乃至Ｓ１０４の処理は、図１２のステップＳ４１乃至Ｓ４４の処理と同様であるので、説明は省略する。
ステップＳ１０５において、注目画素位置決定部１５１は、注目ブロックの各画素を注目画素とし、その注目画素の生徒画像上の位置を注目画素位置として決定し、予測タップ取得部１５２とクラスタップ取得部１５３に供給する。
ステップＳ１０６において、予測タップ取得部１５２は、注目画素位置決定部１５１から供給される注目ブロックの各注目画素位置に基づいて、間引き処理部１０３により生成された生徒画像から注目ブロックの予測タップを取得する。そして、予測タップ取得部１５２は、注目ブロックの予測タップを足し込み部１５４に供給する。
ステップＳ１０７において、クラスタップ取得部１５３は、注目画素位置決定部１５１から供給される注目ブロックの各注目画素位置に基づいて、間引き処理部１０３により生成された生徒画像から注目ブロックのクラスタップを取得する。そして、クラスタップ取得部１５３は、注目ブロックのクラスタップをクラス番号発生部１０７に供給する。
ステップＳ１０８において、クラス番号発生部１０７は、クラスタップ取得部１５３から供給される注目ブロックのクラスタップに基づいて、図１４のクラス番号発生部７４と同様に、注目ブロックの各画素をクラス分類する。クラス番号発生部１０７は、その結果得られる注目ブロックの各画素のクラスに対応するクラス番号を発生し、足し込み部１５４に供給する。
ステップＳ１０９において、足し込み部１５４は、教師画像記憶部１０１からの注目ブロックの各色成分の画素値と、予測タップ取得部１５２からの注目ブロックの予測タップとを対象とした足し込みを、クラス番号発生部１０７からの注目ブロックの各画素のクラス番号のクラス、その画素の色成分、その画素に対応するセンター画素の色成分、および、その画素とセンター画素との距離ごとに行う。
ステップＳ１１０およびＳ１１１の処理は、図１２のステップＳ５１とＳ５２の処理と同様である。ステップＳ１１１で教師画像の入力が終了したと判定された場合、足し込み部１５４は、ステップＳ１０９で足しこみを行うことにより生成された、教師画像の画素のクラス、その画素の色成分、その画素に対応するセンター画素の色成分、および、その画素とセンター画素との距離ごとの式（１０）の正規方程式を予測係数算出部１０９に供給する。
そして、ステップＳ１１２において、予測係数算出部１０９は、足し込み部１５４から供給される式（１０）の正規方程式のうち、所定のクラスの、教師画像の画素の色成分、その画素に対応するセンター画素の色成分、および、その画素とセンター画素との距離ごとの式（１０）の正規方程式を解く。これにより、予測係数算出部１０９は、所定のクラスの、注目画素の色成分、センター画素の色成分、および注目画素とセンター画素の距離ごとの最適な予測係数Ｗiを求めて出力する。
ステップＳ１１３において、予測係数算出部１０９は、全てのクラスの、教師画像の画素の色成分、その画素に対応するセンター画素の色成分、および、その画素とセンター画素との距離ごとの式（１０）の正規方程式を解いたかどうかを判定する。
ステップＳ１１３で、全てのクラスの、教師画像の画素の色成分、その画素に対応するセンター画素の色成分、および、その画素とセンター画素との距離ごとの式（１０）の正規方程式を解いていないと判定された場合、処理はステップＳ１１２に戻る。そして、予測係数算出部１０９は、まだ解かれていないクラスの、教師画像の画素の色成分、その画素に対応するセンター画素の色成分、および、その画素とセンター画素との距離ごとの式（１０）の正規方程式を解き、ステップＳ１１３の処理を行う。
一方、ステップＳ１１３で、全てのクラスの、教師画像の画素の色成分、その画素に対応するセンター画素の色成分、および、その画素とセンター画素との距離ごとの式（１０）の正規方程式を解いたと判定された場合、処理は終了する。
以上のように、学習装置１５０は、出力画像に対応する教師画像の各画素の画素値と、図１４の拡大予測処理部５４に入力されるベイヤ配列の画像に対応する生徒画像の画素値からなる予測タップとを用いて、教師画像の画素の色成分、および、その画素とセンター画素との距離ごとに正規方程式を解くことで、予測係数を求める。これにより、学習装置１５０は、図１４の拡大予測処理部５４において出力画像を高精度に生成するための予測係数を学習することができる。
なお、学習装置１００（１５０）では、注目ブロックごとに足し込みが行われたが、教師画像の各画素を注目画素として、注目画素ごとに足し込みが行われるようにしてもよい。
また、図５や図１４の拡大予測処理部５４は、出力画像として、拡大されたＲＧＢ画像ではなく、拡大されたベイヤ配列の画像を生成するようにしてもよい。この場合、ベイヤ配列にしたがって、注目画素の色成分が決定され、その色成分の画素値のみが予測される。また、出力画像の各色成分の配列は、撮像素子１１から入力されるベイヤ配列の画像と同一のベイヤ配列であってもよいし、異なっていてもよい。さらに、出力画像の各色成分の配列は、外部からユーザにより指定されるようにしてもよい。
さらに、上述した説明では、撮像素子１１によりベイヤ配列の画像が生成されるものとしたが、撮像素子１１により生成される画像の各色成分の配列は、ベイヤ配列以外であってもよい。
また、上述した説明では、出力画像は、ＲＧＢ画像であるものとしたが、出力画像は、ＲＧＢ画像以外のカラー画像であってもよい。即ち、出力画像の色成分は、Ｒ成分、Ｇ成分、およびＢ成分に限定されない。
[本技術を適用したコンピュータの説明]
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図２２は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部２０８やROM（Read Only Memory）２０２に予め記録しておくことができる。
あるいはまた、プログラムは、リムーバブルメディア２１１に格納（記録）しておくことができる。このようなリムーバブルメディア２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア２１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブルメディア２１１からドライブ２１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部２０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)２０１を内蔵しており、CPU２０１には、バス２０４を介して、入出力インタフェース２０５が接続されている。
CPU２０１は、入出力インタフェース２０５を介して、ユーザによって、入力部２０６が操作等されることにより指令が入力されると、それに従って、ROM２０２に格納されているプログラムを実行する。あるいは、CPU２０１は、記憶部２０８に格納されたプログラムを、RAM(Random Access Memory)２０３にロードして実行する。
これにより、CPU２０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０５を介して、出力部２０７から出力、あるいは、通信部２０９から送信、さらには、記憶部２０８に記録等させる。
なお、入力部２０６は、キーボードや、マウス、マイク等で構成される。また、出力部２０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
なお、本技術は、以下のような構成もとることができる。
（１）
第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分ごとに、前記教師画像の各画素の画素値、その画素に対応する前記第１の拡大率で拡大された前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数と、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素に対応する、前記第２の拡大率で拡大された前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値を求め、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像を出力する予測演算部
を備える画像処理装置。
（２）
前記第２の拡大率に基づいて、前記所定のベイヤ配列の画像を拡大する拡大処理部
をさらに備え、
前記予測演算部は、前記色成分ごとの前記予測係数と、前記注目画素に対応する、前記拡大処理部により前記第２の拡大率で拡大された前記所定のベイヤ配列の画像の画素の画素値からなる前記予測タップとの前記演算により、前記色成分ごとに前記注目画素の画素値を求める
前記（１）に記載の画像処理装置。
（３）
前記拡大処理部は、前記第２の拡大率に基づいて、前記注目画素ごとに、前記所定のベイヤ配列の画像の一部を拡大して前記予測タップを生成する
前記（２）に記載の画像処理装置。
（４）
前記拡大処理部は、前記第２の拡大率に基づいて、前記色成分ごとに、その色成分の前記所定のベイヤ配列の画像の画素値を補間することにより拡大し、
前記予測演算部は、前記色成分ごとの前記予測係数と、前記注目画素に対応する、前記拡大処理部により前記色成分ごとに拡大された前記所定のベイヤ配列の画像の画素の画素値からなる前記予測タップとの前記色成分ごとの前記演算により、前記色成分ごとに前記注目画素の画素値を求める
前記（２）または（３）に記載の画像処理装置。
（５）
前記注目画素に対応する、前記第２の拡大率で拡大された前記所定のベイヤ配列の画像の画素の画素値を、前記予測タップとして取得する予測タップ取得部
をさらに備え、
前記予測演算部は、前記色成分ごとの前記予測係数と、前記予測タップ取得部により取得された前記予測タップとの前記演算により、前記色成分ごとに前記注目画素の画素値を求める
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記注目画素に対応する、前記第２の拡大率で拡大された前記所定のベイヤ配列の画像の画素の画素値を、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うために用いるクラスタップとして取得するクラスタップ取得部と、
前記クラスタップ取得部により取得された前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類部と
をさらに備え、
前記予測係数は、前記クラスおよび前記教師画像の各画素の色成分ごとに学習され、
前記予測演算部は、前記クラス分類部によるクラス分類の結果得られる前記注目画素のクラスに対応する前記色成分ごとの前記予測係数と、前記予測タップとの前記演算により、前記色成分ごとに前記注目画素の画素値を求める
前記（１）に記載の画像処理装置。
（７）
前記第２の拡大率に基づいて、前記注目画素ごとに、前記所定のベイヤ配列の画像の一部を拡大して前記予測タップと前記クラスタップを生成する拡大処理部と、
前記拡大処理部により生成された前記予測タップを取得する予測タップ取得部と
をさらに備え、
前記クラスタップ取得部は、前記拡大処理部により生成された前記クラスタップを取得する
前記（６）に記載の画像処理装置。
（８）
前記第２の拡大率に基づいて、前記色成分ごとに、その色成分の前記所定のベイヤ配列の画像の画素値を補間することにより拡大する拡大処理部と、
前記注目画素に対応する、前記拡大処理部により前記色成分ごとに拡大された前記所定のベイヤ配列の画像の画素の画素値を、その色成分の前記予測タップとして取得する予測タップ取得部と
をさらに備え、
前記クラスタップ取得部は、前記注目画素に対応する、前記拡大処理部により前記色成分ごとに拡大された前記所定のベイヤ配列の画像の画素の画素値を、その色成分の前記クラスタップとして取得し、
前記クラス分類部は、前記クラスタップ取得部により取得された前記色成分ごとの前記クラスタップに基づいて、前記色成分ごとに前記注目画素をクラス分類し、
前記予測演算部は、前記クラス分類部によるクラス分類の結果得られる前記注目画素の前記色成分ごとのクラスに対応する前記予測係数と、前記予測タップ取得部により取得された前記色成分ごとの前記予測タップとの前記色成分ごとの前記演算により、前記色成分ごとに前記注目画素の画素値を求める
前記（６）に記載の画像処理装置。
（９）
画像処理装置が、
第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分ごとに、前記教師画像の各画素の画素値、その画素に対応する前記第１の拡大率で拡大された前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数と、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素に対応する、前記第２の拡大率で拡大された前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値を求め、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像を出力する予測演算ステップ
を含む画像処理方法。
（１０）
コンピュータに、
第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分ごとに、前記教師画像の各画素の画素値、その画素に対応する前記第１の拡大率で拡大された前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数と、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素に対応する、前記第２の拡大率で拡大された前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値を求め、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像を出力する予測演算ステップ
を含む処理を実行させるためのプログラム。
（１１）
前記（１０）に記載のプログラムが記録されている記録媒体。
（１２）
所定のベイヤ配列の画像を、第１の拡大率で拡大された前記所定のベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成される所定のカラー画像に変換するときに用いられる予測係数の学習に用いる、前記所定のベイヤ配列の画像に対応する生徒画像が第２の拡大率に基づいて拡大された結果得られる画像のうちの、その画像に対応するカラー画像である教師画像のうちの注目している画素である注目画素に対応する画素の画素値からなる予測タップと、前記注目画素の画素値とを用いて、前記教師画像の各画素の色成分ごとに、前記教師画像の各画素の画素値、その画素の前記予測タップ、および前記予測係数の関係を示す式を解くことで、前記色成分ごとの前記予測係数を求める学習部
を備える学習装置。
（１３）
第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分、および、前記教師画像の各画素の前記生徒画像上の位置と、その位置に最も近い前記生徒画像の画素の位置との距離である画素間距離ごとに、前記教師画像の各画素の画素値、その画素に対応する前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数のうちの、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素の前記所定のベイヤ配列の画像上の位置と、その位置に最も近い前記所定のベイヤ配列の画像の画素である注目直近画素の位置との距離である注目画素間距離に対応する予測係数と、前記注目画素に対応する前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値を求め、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像を出力する予測演算部
を備える画像処理装置。
（１４）
前記予測係数は、前記教師画像の各画素の色成分、前記画素間距離、前記教師画像の各画素の前記生徒画像上の位置に最も近い前記生徒画像の画素の色成分ごとに学習され、
前記予測演算部は、前記予測係数のうちの、前記注目画素間距離および前記注目直近画素の色成分に対応する予測係数と、前記予測タップとの前記演算により、前記色成分ごとに前記注目画素の画素値を求める
前記（１３）に記載の画像処理装置。
（１５）
前記注目直近画素に対応する前記所定のベイヤ配列の画像の画素の画素値を、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うために用いるクラスタップとして取得するクラスタップ取得部と、
前記クラスタップ取得部により取得された前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類部と
をさらに備え、
前記予測係数は、前記クラス、前記教師画像の各画素の色成分、および前記画素間距離ごとに学習され、
前記予測演算部は、前記予測係数のうちの、前記クラス分類部によるクラス分類の結果得られる前記注目画素のクラスおよび前記注目画素間距離に対応する予測係数と、前記予測タップとの前記演算により、前記色成分ごとに前記注目画素の画素値を求める
前記（１３）または（１４）に記載の画像処理装置。
（１６）
画像処理装置が、
第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分、および、前記教師画像の各画素の前記生徒画像上の位置と、その位置に最も近い前記生徒画像の画素の位置との距離である画素間距離ごとに、前記教師画像の各画素の画素値、その画素に対応する前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数のうちの、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素の前記所定のベイヤ配列の画像上の位置と、その位置に最も近い前記所定のベイヤ配列の画像の画素である注目直近画素の位置との距離である注目画素間距離に対応する予測係数と、前記注目画素に対応する前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値を求め、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像を出力する予測演算ステップ
を含む画像処理方法。
（１７）
コンピュータに、
第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分、および、前記教師画像の各画素の前記生徒画像上の位置と、その位置に最も近い前記生徒画像の画素の位置との距離である画素間距離ごとに、前記教師画像の各画素の画素値、その画素に対応する前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数のうちの、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素の前記所定のベイヤ配列の画像上の位置と、その位置に最も近い前記所定のベイヤ配列の画像の画素である注目直近画素の位置との距離である注目画素間距離に対応する予測係数と、前記注目画素に対応する前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値を求め、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像を出力する予測演算ステップ
を含む処理を実行させるためのプログラム。
（１８）
前記（１７）に記載のプログラムが記録されている記録媒体。
（１９）
所定のベイヤ配列の画像を、第１の拡大率で拡大された前記所定のベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成される所定のカラー画像に変換するときに用いられる予測係数の学習に用いる、前記所定のベイヤ配列の画像に対応する生徒画像のうちの、第２の拡大率で拡大された前記生徒画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像である教師画像のうちの注目している画素である注目画素に対応する画素の画素値からなる予測タップと、前記注目画素の画素値とを用いて、前記教師画像の各画素の色成分、および、前記教師画像の各画素の前記生徒画像上の位置と、その位置に最も近い前記生徒画像の画素の位置との距離である画素間距離ごとに、前記教師画像の各画素の画素値、その画素の前記予測タップ、および前記予測係数の関係を示す式を解くことで、前記色成分および前記画素間距離ごとの前記予測係数を求める学習部
を備える学習装置。
５４ 拡大予測処理部， ７１ 補間部， ７２ 予測タップ取得部， ７３ クラスタップ取得部， ７４ クラス番号発生部， ７６ 予測演算部， １００ 学習装置， １０２ 縮小処理部， １０３ 間引き処理部， １０４ 補間部， １０５ 予測タップ取得部， １０６ クラスタップ取得部， １０７ クラス番号発生部， １０８ 足し込み部， １０９ 予測係数算出部， １３３ クラスタップ取得部， １５０ 学習装置

Claims (19)

  1. 第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分ごとに、前記教師画像の各画素の画素値、その画素に対応する前記第１の拡大率で拡大された前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数と、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素に対応する、前記第２の拡大率で拡大された前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値を求め、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像を出力する予測演算部
    を備える画像処理装置。
  2. 前記第２の拡大率に基づいて、前記所定のベイヤ配列の画像を拡大する拡大処理部
    をさらに備え、
    前記予測演算部は、前記色成分ごとの前記予測係数と、前記注目画素に対応する、前記拡大処理部により前記第２の拡大率で拡大された前記所定のベイヤ配列の画像の画素の画素値からなる前記予測タップとの前記演算により、前記色成分ごとに前記注目画素の画素値を求める
    請求項１に記載の画像処理装置。
  3. 前記拡大処理部は、前記第２の拡大率に基づいて、前記注目画素ごとに、前記所定のベイヤ配列の画像の一部を拡大して前記予測タップを生成する
    請求項２に記載の画像処理装置。
  4. 前記拡大処理部は、前記第２の拡大率に基づいて、前記色成分ごとに、その色成分の前記所定のベイヤ配列の画像の画素値を補間することにより拡大し、
    前記予測演算部は、前記色成分ごとの前記予測係数と、前記注目画素に対応する、前記拡大処理部により前記色成分ごとに拡大された前記所定のベイヤ配列の画像の画素の画素値からなる前記予測タップとの前記色成分ごとの前記演算により、前記色成分ごとに前記注目画素の画素値を求める
    請求項２に記載の画像処理装置。
  5. 前記注目画素に対応する、前記第２の拡大率で拡大された前記所定のベイヤ配列の画像の画素の画素値を、前記予測タップとして取得する予測タップ取得部
    をさらに備え、
    前記予測演算部は、前記色成分ごとの前記予測係数と、前記予測タップ取得部により取得された前記予測タップとの前記演算により、前記色成分ごとに前記注目画素の画素値を求める
    請求項１に記載の画像処理装置。
  6. 前記注目画素に対応する、前記第２の拡大率で拡大された前記所定のベイヤ配列の画像の画素の画素値を、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うために用いるクラスタップとして取得するクラスタップ取得部と、
    前記クラスタップ取得部により取得された前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類部と
    をさらに備え、
    前記予測係数は、前記クラスおよび前記教師画像の各画素の色成分ごとに学習され、
    前記予測演算部は、前記クラス分類部によるクラス分類の結果得られる前記注目画素のクラスに対応する前記色成分ごとの前記予測係数と、前記予測タップとの前記演算により、前記色成分ごとに前記注目画素の画素値を求める
    請求項１に記載の画像処理装置。
  7. 前記第２の拡大率に基づいて、前記注目画素ごとに、前記所定のベイヤ配列の画像の一部を拡大して前記予測タップと前記クラスタップを生成する拡大処理部と、
    前記拡大処理部により生成された前記予測タップを取得する予測タップ取得部と
    をさらに備え、
    前記クラスタップ取得部は、前記拡大処理部により生成された前記クラスタップを取得する
    請求項６に記載の画像処理装置。
  8. 前記第２の拡大率に基づいて、前記色成分ごとに、その色成分の前記所定のベイヤ配列の画像の画素値を補間することにより拡大する拡大処理部と、
    前記注目画素に対応する、前記拡大処理部により前記色成分ごとに拡大された前記所定のベイヤ配列の画像の画素の画素値を、その色成分の前記予測タップとして取得する予測タップ取得部と
    をさらに備え、
    前記クラスタップ取得部は、前記注目画素に対応する、前記拡大処理部により前記色成分ごとに拡大された前記所定のベイヤ配列の画像の画素の画素値を、その色成分の前記クラスタップとして取得し、
    前記クラス分類部は、前記クラスタップ取得部により取得された前記色成分ごとの前記クラスタップに基づいて、前記色成分ごとに前記注目画素をクラス分類し、
    前記予測演算部は、前記クラス分類部によるクラス分類の結果得られる前記注目画素の前記色成分ごとのクラスに対応する前記予測係数と、前記予測タップ取得部により取得された前記色成分ごとの前記予測タップとの前記色成分ごとの前記演算により、前記色成分ごとに前記注目画素の画素値を求める
    請求項６に記載の画像処理装置。
  9. 画像処理装置が、
    第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分ごとに、前記教師画像の各画素の画素値、その画素に対応する前記第１の拡大率で拡大された前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数と、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素に対応する、前記第２の拡大率で拡大された前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値を求め、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像を出力する予測演算ステップ
    を含む画像処理方法。
  10. コンピュータに、
    第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分ごとに、前記教師画像の各画素の画素値、その画素に対応する前記第１の拡大率で拡大された前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数と、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素に対応する、前記第２の拡大率で拡大された前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値を求め、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像を出力する予測演算ステップ
    を含む処理を実行させるためのプログラム。
  11. 請求項１０に記載のプログラムが記録されている記録媒体。
  12. 所定のベイヤ配列の画像を、第１の拡大率で拡大された前記所定のベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成される所定のカラー画像に変換するときに用いられる予測係数の学習に用いる、前記所定のベイヤ配列の画像に対応する生徒画像が第２の拡大率に基づいて拡大された結果得られる画像のうちの、その画像に対応するカラー画像である教師画像のうちの注目している画素である注目画素に対応する画素の画素値からなる予測タップと、前記注目画素の画素値とを用いて、前記教師画像の各画素の色成分ごとに、前記教師画像の各画素の画素値、その画素の前記予測タップ、および前記予測係数の関係を示す式を解くことで、前記色成分ごとの前記予測係数を求める学習部
    を備える学習装置。
  13. 第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分、および、前記教師画像の各画素の前記生徒画像上の位置と、その位置に最も近い前記生徒画像の画素の位置との距離である画素間距離ごとに、前記教師画像の各画素の画素値、その画素に対応する前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数のうちの、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素の前記所定のベイヤ配列の画像上の位置と、その位置に最も近い前記所定のベイヤ配列の画像の画素である注目直近画素の位置との距離である注目画素間距離に対応する予測係数と、前記注目画素に対応する前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値を求め、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像を出力する予測演算部
    を備える画像処理装置。
  14. 前記予測係数は、前記教師画像の各画素の色成分、前記画素間距離、前記教師画像の各画素の前記生徒画像上の位置に最も近い前記生徒画像の画素の色成分ごとに学習され、
    前記予測演算部は、前記予測係数のうちの、前記注目画素間距離および前記注目直近画素の色成分に対応する予測係数と、前記予測タップとの前記演算により、前記色成分ごとに前記注目画素の画素値を求める
    請求項１３に記載の画像処理装置。
  15. 前記注目直近画素に対応する前記所定のベイヤ配列の画像の画素の画素値を、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うために用いるクラスタップとして取得するクラスタップ取得部と、
    前記クラスタップ取得部により取得された前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類部と
    をさらに備え、
    前記予測係数は、前記クラス、前記教師画像の各画素の色成分、および前記画素間距離ごとに学習され、
    前記予測演算部は、前記予測係数のうちの、前記クラス分類部によるクラス分類の結果得られる前記注目画素のクラスおよび前記注目画素間距離に対応する予測係数と、前記予測タップとの前記演算により、前記色成分ごとに前記注目画素の画素値を求める
    請求項１３に記載の画像処理装置。
  16. 画像処理装置が、
    第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分、および、前記教師画像の各画素の前記生徒画像上の位置と、その位置に最も近い前記生徒画像の画素の位置との距離である画素間距離ごとに、前記教師画像の各画素の画素値、その画素に対応する前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数のうちの、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素の前記所定のベイヤ配列の画像上の位置と、その位置に最も近い前記所定のベイヤ配列の画像の画素である注目直近画素の位置との距離である注目画素間距離に対応する予測係数と、前記注目画素に対応する前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値を求め、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像を出力する予測演算ステップ
    を含む画像処理方法。
  17. コンピュータに、
    第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分、および、前記教師画像の各画素の前記生徒画像上の位置と、その位置に最も近い前記生徒画像の画素の位置との距離である画素間距離ごとに、前記教師画像の各画素の画素値、その画素に対応する前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数のうちの、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素の前記所定のベイヤ配列の画像上の位置と、その位置に最も近い前記所定のベイヤ配列の画像の画素である注目直近画素の位置との距離である注目画素間距離に対応する予測係数と、前記注目画素に対応する前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値を求め、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像を出力する予測演算ステップ
    を含む処理を実行させるためのプログラム。
  18. 請求項１７に記載のプログラムが記録されている記録媒体。
  19. 所定のベイヤ配列の画像を、第１の拡大率で拡大された前記所定のベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成される所定のカラー画像に変換するときに用いられる予測係数の学習に用いる、前記所定のベイヤ配列の画像に対応する生徒画像のうちの、第２の拡大率で拡大された前記生徒画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像である教師画像のうちの注目している画素である注目画素に対応する画素の画素値からなる予測タップと、前記注目画素の画素値とを用いて、前記教師画像の各画素の色成分、および、前記教師画像の各画素の前記生徒画像上の位置と、その位置に最も近い前記生徒画像の画素の位置との距離である画素間距離ごとに、前記教師画像の各画素の画素値、その画素の前記予測タップ、および前記予測係数の関係を示す式を解くことで、前記色成分および前記画素間距離ごとの前記予測係数を求める学習部
    を備える学習装置。
JP2011253531A 2011-05-20 2011-11-21 画像処理装置、画像処理方法、プログラム、および記録媒体、並びに学習装置 Pending JP2013009293A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011253531A JP2013009293A (ja) 2011-05-20 2011-11-21 画像処理装置、画像処理方法、プログラム、および記録媒体、並びに学習装置
EP12162020.7A EP2525325B1 (en) 2011-05-20 2012-03-29 Image processing apparatus, image processing method, program, storage medium, and learning apparatus
US13/440,334 US20120294513A1 (en) 2011-05-20 2012-04-05 Image processing apparatus, image processing method, program, storage medium, and learning apparatus
CN201210144916.5A CN102789630B (zh) 2011-05-20 2012-05-11 图像处理设备、图像处理方法和学习设备

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011113058 2011-05-20
JP2011113058 2011-05-20
JP2011253531A JP2013009293A (ja) 2011-05-20 2011-11-21 画像処理装置、画像処理方法、プログラム、および記録媒体、並びに学習装置

Publications (1)

Publication Number Publication Date
JP2013009293A true JP2013009293A (ja) 2013-01-10

Family

ID=46085331

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011253531A Pending JP2013009293A (ja) 2011-05-20 2011-11-21 画像処理装置、画像処理方法、プログラム、および記録媒体、並びに学習装置

Country Status (4)

Country Link
US (1) US20120294513A1 (ja)
EP (1) EP2525325B1 (ja)
JP (1) JP2013009293A (ja)
CN (1) CN102789630B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021169051A (ja) * 2017-12-26 2021-10-28 株式会社Ｊｖｃケンウッド 画像切り出し装置及び方法
US11282168B2 (en) 2017-10-23 2022-03-22 Sony Interactive Entertainment Inc. Image processing apparatus, image processing method, and program

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014200008A (ja) * 2013-03-29 2014-10-23 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2014200009A (ja) * 2013-03-29 2014-10-23 ソニー株式会社 画像処理装置および方法、並びにプログラム
CN104143176A (zh) * 2013-05-10 2014-11-12 富士通株式会社 图像放大方法和装置
US9716889B2 (en) 2014-12-09 2017-07-25 Sony Corporation Intra and inter-color prediction for Bayer image coding

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5946044A (en) * 1995-06-30 1999-08-31 Sony Corporation Image signal converting method and image signal converting apparatus
US5912708A (en) * 1996-12-26 1999-06-15 Sony Corporation Picture signal encoding device, picture signal encoding method, picture signal decoding device, picture signal decoding method, and recording medium
US7573508B1 (en) * 1999-02-19 2009-08-11 Sony Corporation Image signal processing apparatus and method for performing an adaptation process on an image signal
US6678405B1 (en) * 1999-06-08 2004-01-13 Sony Corporation Data processing apparatus, data processing method, learning apparatus, learning method, and medium
AUPQ289099A0 (en) * 1999-09-16 1999-10-07 Silverbrook Research Pty Ltd Method and apparatus for manipulating a bayer image
JP4362895B2 (ja) * 1999-06-21 2009-11-11 ソニー株式会社 データ処理装置およびデータ処理方法、並びに記録媒体
WO2001063921A1 (en) * 2000-02-24 2001-08-30 Sony Corporation Image signal converter, image signal converting method, and image display using it, and coefficient data generator for use therein
WO2001065847A1 (en) * 2000-02-29 2001-09-07 Sony Corporation Data processing device and method, and recording medium and program
JP2001318745A (ja) * 2000-05-11 2001-11-16 Sony Corp データ処理装置およびデータ処理方法、並びに記録媒体
JP4596197B2 (ja) * 2000-08-02 2010-12-08 ソニー株式会社 ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体
JP4691812B2 (ja) * 2001-03-29 2011-06-01 ソニー株式会社 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法
CN101969537B (zh) * 2002-01-30 2012-10-10 索尼公司 数据处理设备、数据处理方法
CN1152619C (zh) * 2002-04-26 2004-06-09 常德卷烟厂 一种复烤片烟烟包真空降温的方法
JP3922543B2 (ja) * 2002-06-05 2007-05-30 ソニー株式会社 撮像装置、および画像表示装置
EP1439715A1 (en) * 2003-01-16 2004-07-21 Dialog Semiconductor GmbH Weighted gradient based colour interpolation for colour filter array
US7515747B2 (en) * 2003-01-31 2009-04-07 The Circle For The Promotion Of Science And Engineering Method for creating high resolution color image, system for creating high resolution color image and program creating high resolution color image
US7595819B2 (en) * 2003-07-31 2009-09-29 Sony Corporation Signal processing device and signal processing method, program, and recording medium
JP4238678B2 (ja) * 2003-09-08 2009-03-18 ソニー株式会社 受信装置および受信方法、記録媒体、並びにプログラム
JP4441860B2 (ja) * 2004-03-19 2010-03-31 ソニー株式会社 情報信号の処理装置および処理方法、並びにプログラムおよびそれを記録した媒体
JP2006054576A (ja) 2004-08-10 2006-02-23 Canon Inc 画像処理装置及び方法及びプログラム及び記憶媒体
JP5151075B2 (ja) * 2005-06-21 2013-02-27 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
JP4983093B2 (ja) * 2006-05-15 2012-07-25 ソニー株式会社 撮像装置および方法
JP5152559B2 (ja) * 2007-07-19 2013-02-27 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP2009239888A (ja) * 2008-03-05 2009-10-15 Sony Corp データ処理装置、データ処理方法、及び、プログラム
JP2011113058A (ja) 2009-11-30 2011-06-09 Sanyo Electric Co Ltd カメラ
JP5743142B2 (ja) * 2011-03-29 2015-07-01 ソニー株式会社 画像理装置および方法、並びにプログラム
JP2012244449A (ja) * 2011-05-20 2012-12-10 Sony Corp 画像処理装置および画像処理方法、学習装置および学習方法、プログラム、並びに記録媒体
JP2014042176A (ja) * 2012-08-23 2014-03-06 Sony Corp 画像処理装置および方法、プログラム、並びに、固体撮像装置
JP2014200008A (ja) * 2013-03-29 2014-10-23 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2014200009A (ja) * 2013-03-29 2014-10-23 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2014200001A (ja) * 2013-03-29 2014-10-23 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2014194706A (ja) * 2013-03-29 2014-10-09 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
JP2014200000A (ja) * 2013-03-29 2014-10-23 ソニー株式会社 画像処理装置および方法、並びにプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11282168B2 (en) 2017-10-23 2022-03-22 Sony Interactive Entertainment Inc. Image processing apparatus, image processing method, and program
JP2021169051A (ja) * 2017-12-26 2021-10-28 株式会社Ｊｖｃケンウッド 画像切り出し装置及び方法
JP7248062B2 (ja) 2017-12-26 2023-03-29 株式会社Ｊｖｃケンウッド 画像切り出し装置及び方法

Also Published As

Publication number Publication date
EP2525325A3 (en) 2013-01-23
CN102789630A (zh) 2012-11-21
CN102789630B (zh) 2017-01-18
US20120294513A1 (en) 2012-11-22
EP2525325A2 (en) 2012-11-21
EP2525325B1 (en) 2017-07-12

Similar Documents

Publication Publication Date Title
JP6164564B1 (ja) 画像処理装置、画像処理方法、記録媒体、プログラム及び撮像装置
US8031232B2 (en) Image pickup apparatus including a first image formation system and a second image formation system, method for capturing image, and method for designing image pickup apparatus
US8526729B2 (en) Image processing apparatus and method, and program
JP2012244449A (ja) 画像処理装置および画像処理方法、学習装置および学習方法、プログラム、並びに記録媒体
JP2013009293A (ja) 画像処理装置、画像処理方法、プログラム、および記録媒体、並びに学習装置
US8982248B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program
JP2013218654A (ja) 画像処理装置
US8289420B2 (en) Image processing device, camera device, image processing method, and program
KR20090050080A (ko) 화상 처리 장치, 화상 처리 방법 및 프로그램
JP2013162347A (ja) 画像処理装置、画像処理方法、プログラム、および装置
JP2014042176A (ja) 画像処理装置および方法、プログラム、並びに、固体撮像装置
JP6435560B1 (ja) 画像処理装置、画像処理方法、プログラム及び撮像装置
JP2006238188A (ja) 補間フィルタおよび映像信号処理装置
JP2004266768A (ja) 画像処理システム及びデジタルカメラ
JP2017017609A (ja) 画像処理装置
JP6694626B1 (ja) 画像処理装置、画像処理方法、プログラム及び撮像装置
US20240029321A1 (en) Image processing method, image processing apparatus, storage medium, image processing system, method of generating machine learning model, and learning apparatus
WO2022249934A1 (ja) 画像処理方法、画像処理装置、プログラム、訓練済み機械学習モデルの製造方法、処理装置、画像処理システム
JP3608228B2 (ja) ディジタル画像信号の変換装置
JP2011114480A (ja) 画像処理装置
JP2006139697A (ja) 画像処理装置及び画像処理方法
JP5007729B2 (ja) 信号処理装置および信号処理方法、プログラム、並びに記録媒体
JP2023116364A (ja) 画像処理方法、画像処理装置、画像処理システム、およびプログラム
JP2014072877A (ja) 撮像装置および撮像方法
JP4305743B2 (ja) 信号処理装置および信号処理方法、プログラム、並びに記録媒体